From 4646c9dadd4855835c2b0e2e72a66cf0af2120b3 Mon Sep 17 00:00:00 2001 From: Marcus Dunn Date: Mon, 23 Oct 2023 09:25:05 -0700 Subject: [PATCH] added back docs --- llama.h | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/llama.h b/llama.h index d01aef8bd..2f2fee0e2 100644 --- a/llama.h +++ b/llama.h @@ -501,9 +501,9 @@ extern "C" { LLAMA_API enum llama_token_type llama_token_get_type(const struct llama_model * model, llama_token token); // Special tokens - LLAMA_API llama_token llama_token_bos(const struct llama_model * model); - LLAMA_API llama_token llama_token_eos(const struct llama_model * model); - LLAMA_API llama_token llama_token_nl (const struct llama_model * model); + LLAMA_API llama_token llama_token_bos(const struct llama_model * model); // beginning-of-sentence + LLAMA_API llama_token llama_token_eos(const struct llama_model * model); // end-of-sentence + LLAMA_API llama_token llama_token_nl (const struct llama_model * model); // next-line // codellama infill tokens LLAMA_API llama_token llama_token_prefix(const struct llama_model * model); // Beginning of infill prefix