diff --git a/llama.h b/llama.h index d01aef8bd..2f2fee0e2 100644 --- a/llama.h +++ b/llama.h @@ -501,9 +501,9 @@ extern "C" { LLAMA_API enum llama_token_type llama_token_get_type(const struct llama_model * model, llama_token token); // Special tokens - LLAMA_API llama_token llama_token_bos(const struct llama_model * model); - LLAMA_API llama_token llama_token_eos(const struct llama_model * model); - LLAMA_API llama_token llama_token_nl (const struct llama_model * model); + LLAMA_API llama_token llama_token_bos(const struct llama_model * model); // beginning-of-sentence + LLAMA_API llama_token llama_token_eos(const struct llama_model * model); // end-of-sentence + LLAMA_API llama_token llama_token_nl (const struct llama_model * model); // next-line // codellama infill tokens LLAMA_API llama_token llama_token_prefix(const struct llama_model * model); // Beginning of infill prefix