diff --git a/common/sampling.cpp b/common/sampling.cpp index 852904552..20026d2de 100644 --- a/common/sampling.cpp +++ b/common/sampling.cpp @@ -158,7 +158,7 @@ struct common_sampler * common_sampler_init(const struct llama_model * model, co } auto * result = new common_sampler { /* .params = */ params, - /* .grmr = */ llama_sampler_init_grammar(vocab, params.grammar.c_str(), "root", + /* .grmr = */ llama_sampler_grammar_init(vocab, params.grammar.c_str(), "root", params.grammar_lazy, trigger_words.data(), trigger_words.size(), params.grammar_trigger_tokens.data(), params.grammar_trigger_tokens.size()), diff --git a/include/llama.h b/include/llama.h index fc37974d3..32a3de051 100644 --- a/include/llama.h +++ b/include/llama.h @@ -1194,7 +1194,13 @@ extern "C" { float tau, float eta); - LLAMA_API struct llama_sampler * llama_sampler_init_grammar( + DEPRECATED(LLAMA_API struct llama_sampler * llama_sampler_init_grammar( + const struct llama_vocab * vocab, + const char * grammar_str, + const char * grammar_root), + "use llama_sampler_grammar_init instead"); + + LLAMA_API struct llama_sampler * llama_sampler_grammar_init( const struct llama_vocab * vocab, const char * grammar_str, const char * grammar_root, diff --git a/src/llama-sampling.cpp b/src/llama-sampling.cpp index f9fd7441d..67c921b8b 100644 --- a/src/llama-sampling.cpp +++ b/src/llama-sampling.cpp @@ -1454,7 +1454,7 @@ static void llama_sampler_grammar_reset(struct llama_sampler * smpl) { static struct llama_sampler * llama_sampler_grammar_clone(const struct llama_sampler * smpl) { const auto * ctx = (const llama_sampler_grammar *) smpl->ctx; - auto * result = llama_sampler_init_grammar(ctx->vocab, nullptr, nullptr, false, nullptr, 0, nullptr, 0); + auto * result = llama_sampler_grammar_init(ctx->vocab, nullptr, nullptr, false, nullptr, 0, nullptr, 0); // copy the state { @@ -1492,6 +1492,13 @@ static struct llama_sampler_i llama_sampler_grammar_i = { struct llama_sampler * llama_sampler_init_grammar( + const struct llama_vocab * vocab, + const char * grammar_str, + const char * grammar_root) { + return llama_sampler_grammar_init(vocab, grammar_str, grammar_root, false, nullptr, 0, nullptr, 0); +} + +struct llama_sampler * llama_sampler_grammar_init( const struct llama_vocab * vocab, const char * grammar_str, const char * grammar_root,