Fixed lingering init_llama_backend() bool calls in tests and examples
This commit is contained in:
parent
f156112f56
commit
12c23b60c6
8 changed files with 8 additions and 8 deletions
|
@ -17,7 +17,7 @@ let n_parallel: Int = arguments.count > 3 && Int(arguments[3]) != nil ? Int(argu
|
||||||
let n_len: Int = 32
|
let n_len: Int = 32
|
||||||
|
|
||||||
// init LLM
|
// init LLM
|
||||||
llama_backend_init(false)
|
llama_backend_init(GGML_NUMA_STRATEGY_DISABLED)
|
||||||
defer {
|
defer {
|
||||||
llama_backend_free()
|
llama_backend_free()
|
||||||
}
|
}
|
||||||
|
|
|
@ -51,7 +51,7 @@ actor LlamaContext {
|
||||||
}
|
}
|
||||||
|
|
||||||
static func create_context(path: String) throws -> LlamaContext {
|
static func create_context(path: String) throws -> LlamaContext {
|
||||||
llama_backend_init(false)
|
llama_backend_init(GGML_NUMA_STRATEGY_DISABLED)
|
||||||
var model_params = llama_model_default_params()
|
var model_params = llama_model_default_params()
|
||||||
|
|
||||||
#if targetEnvironment(simulator)
|
#if targetEnvironment(simulator)
|
||||||
|
|
|
@ -12,7 +12,7 @@ int main(int argc, char ** argv) {
|
||||||
auto * model_path = get_model_or_exit(argc, argv);
|
auto * model_path = get_model_or_exit(argc, argv);
|
||||||
|
|
||||||
std::thread([&model_path]() {
|
std::thread([&model_path]() {
|
||||||
llama_backend_init(false);
|
llama_backend_init(GGML_NUMA_STRATEGY_DISABLED);
|
||||||
auto * model = llama_load_model_from_file(model_path, llama_model_default_params());
|
auto * model = llama_load_model_from_file(model_path, llama_model_default_params());
|
||||||
auto * ctx = llama_new_context_with_model(model, llama_context_default_params());
|
auto * ctx = llama_new_context_with_model(model, llama_context_default_params());
|
||||||
llama_free(ctx);
|
llama_free(ctx);
|
||||||
|
|
|
@ -14,7 +14,7 @@ int main(int argc, char *argv[] ) {
|
||||||
fprintf(stderr, "using '%s'\n", model_path);
|
fprintf(stderr, "using '%s'\n", model_path);
|
||||||
fclose(file);
|
fclose(file);
|
||||||
|
|
||||||
llama_backend_init(false);
|
llama_backend_init(GGML_NUMA_STRATEGY_DISABLED);
|
||||||
auto params = llama_model_params{};
|
auto params = llama_model_params{};
|
||||||
params.use_mmap = false;
|
params.use_mmap = false;
|
||||||
params.progress_callback = [](float progress, void * ctx){
|
params.progress_callback = [](float progress, void * ctx){
|
||||||
|
|
|
@ -61,7 +61,7 @@ int main(int argc, char **argv) {
|
||||||
llama_model * model;
|
llama_model * model;
|
||||||
llama_context * ctx;
|
llama_context * ctx;
|
||||||
|
|
||||||
llama_backend_init(false);
|
llama_backend_init(GGML_NUMA_STRATEGY_DISABLED);
|
||||||
|
|
||||||
// load the vocab
|
// load the vocab
|
||||||
{
|
{
|
||||||
|
|
|
@ -60,7 +60,7 @@ int main(int argc, char **argv) {
|
||||||
llama_model * model;
|
llama_model * model;
|
||||||
llama_context * ctx;
|
llama_context * ctx;
|
||||||
|
|
||||||
llama_backend_init(false);
|
llama_backend_init(GGML_NUMA_STRATEGY_DISABLED);
|
||||||
|
|
||||||
// load the vocab
|
// load the vocab
|
||||||
{
|
{
|
||||||
|
|
|
@ -25,7 +25,7 @@ int main(int argc, char **argv) {
|
||||||
llama_model * model;
|
llama_model * model;
|
||||||
llama_context * ctx;
|
llama_context * ctx;
|
||||||
|
|
||||||
llama_backend_init(false);
|
llama_backend_init(GGML_NUMA_STRATEGY_DISABLED);
|
||||||
|
|
||||||
// load the vocab
|
// load the vocab
|
||||||
{
|
{
|
||||||
|
|
|
@ -25,7 +25,7 @@ int main(int argc, char **argv) {
|
||||||
llama_model * model;
|
llama_model * model;
|
||||||
llama_context * ctx;
|
llama_context * ctx;
|
||||||
|
|
||||||
llama_backend_init(false);
|
llama_backend_init(GGML_NUMA_STRATEGY_DISABLED);
|
||||||
|
|
||||||
// load the vocab
|
// load the vocab
|
||||||
{
|
{
|
||||||
|
|
Loading…
Add table
Add a link
Reference in a new issue