llama : add infill sampler (#9896)

ggml-ci
2024-10-15 16:35:33 +03:00 · 2024-10-15 16:35:33 +03:00 · 755a9b2bf0
commit 755a9b2bf0
parent 223c25a72f
9 changed files with 300 additions and 29 deletions
--- a/src/llama-sampling.h
+++ b/src/llama-sampling.h
@ -4,8 +4,6 @@

 #include "llama-grammar.h"

-#include <unordered_map>
-
 struct llama_vocab;
 struct llama_grammar;

@ -27,3 +25,6 @@ struct llama_sampler * llama_sampler_init_grammar_impl(
        const struct llama_vocab & vocab,
                      const char * grammar_str,
                      const char * grammar_root);
+
+struct llama_sampler * llama_sampler_init_infill_impl(
+        const struct llama_vocab & vocab);