From 45aa01ed710073bf7eac023e9b198a26454d0bec Mon Sep 17 00:00:00 2001 From: vvhg1 Date: Sat, 30 Sep 2023 14:00:47 +0200 Subject: [PATCH] naming improvement --- llama.h | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git a/llama.h b/llama.h index d7aa9d5ef..9fd117058 100644 --- a/llama.h +++ b/llama.h @@ -362,11 +362,11 @@ extern "C" { LLAMA_API llama_token llama_token_bos(const struct llama_context * ctx); // beginning-of-sentence LLAMA_API llama_token llama_token_eos(const struct llama_context * ctx); // end-of-sentence LLAMA_API llama_token llama_token_nl (const struct llama_context * ctx); // next-line - // codellama FIM tokens - LLAMA_API llama_token llama_token_prefix(const struct llama_context * ctx); // Beginning of FIM prefix - LLAMA_API llama_token llama_token_middle(const struct llama_context * ctx); // Beginning of FIM middle - LLAMA_API llama_token llama_token_suffix(const struct llama_context * ctx); // Beginning of FIM suffix - LLAMA_API llama_token llama_token_eot (const struct llama_context * ctx); // End of FIM middle + // codellama infill tokens + LLAMA_API llama_token llama_token_prefix(const struct llama_context * ctx); // Beginning of infill prefix + LLAMA_API llama_token llama_token_middle(const struct llama_context * ctx); // Beginning of infill middle + LLAMA_API llama_token llama_token_suffix(const struct llama_context * ctx); // Beginning of infill suffix + LLAMA_API llama_token llama_token_eot (const struct llama_context * ctx); // End of infill middle // // Tokenization