Fixed lingering init_llama_backend() bool calls in tests and examples

This commit is contained in:
root 2024-02-08 16:28:49 +00:00
parent f156112f56
commit 12c23b60c6
8 changed files with 8 additions and 8 deletions

View file

@ -17,7 +17,7 @@ let n_parallel: Int = arguments.count > 3 && Int(arguments[3]) != nil ? Int(argu
let n_len: Int = 32
// init LLM
llama_backend_init(false)
llama_backend_init(GGML_NUMA_STRATEGY_DISABLED)
defer {
llama_backend_free()
}

View file

@ -51,7 +51,7 @@ actor LlamaContext {
}
static func create_context(path: String) throws -> LlamaContext {
llama_backend_init(false)
llama_backend_init(GGML_NUMA_STRATEGY_DISABLED)
var model_params = llama_model_default_params()
#if targetEnvironment(simulator)

View file

@ -12,7 +12,7 @@ int main(int argc, char ** argv) {
auto * model_path = get_model_or_exit(argc, argv);
std::thread([&model_path]() {
llama_backend_init(false);
llama_backend_init(GGML_NUMA_STRATEGY_DISABLED);
auto * model = llama_load_model_from_file(model_path, llama_model_default_params());
auto * ctx = llama_new_context_with_model(model, llama_context_default_params());
llama_free(ctx);

View file

@ -14,7 +14,7 @@ int main(int argc, char *argv[] ) {
fprintf(stderr, "using '%s'\n", model_path);
fclose(file);
llama_backend_init(false);
llama_backend_init(GGML_NUMA_STRATEGY_DISABLED);
auto params = llama_model_params{};
params.use_mmap = false;
params.progress_callback = [](float progress, void * ctx){

View file

@ -61,7 +61,7 @@ int main(int argc, char **argv) {
llama_model * model;
llama_context * ctx;
llama_backend_init(false);
llama_backend_init(GGML_NUMA_STRATEGY_DISABLED);
// load the vocab
{

View file

@ -60,7 +60,7 @@ int main(int argc, char **argv) {
llama_model * model;
llama_context * ctx;
llama_backend_init(false);
llama_backend_init(GGML_NUMA_STRATEGY_DISABLED);
// load the vocab
{

View file

@ -25,7 +25,7 @@ int main(int argc, char **argv) {
llama_model * model;
llama_context * ctx;
llama_backend_init(false);
llama_backend_init(GGML_NUMA_STRATEGY_DISABLED);
// load the vocab
{

View file

@ -25,7 +25,7 @@ int main(int argc, char **argv) {
llama_model * model;
llama_context * ctx;
llama_backend_init(false);
llama_backend_init(GGML_NUMA_STRATEGY_DISABLED);
// load the vocab
{