From 12fcea5d0431f31340524e1dcfebbab4e416a737 Mon Sep 17 00:00:00 2001 From: brian khuu Date: Wed, 22 May 2024 01:45:07 +1000 Subject: [PATCH] llama: rename llama_token_is_control_token() to llama_token_is_control() --- examples/main/main.cpp | 2 +- llama.cpp | 2 +- llama.h | 2 +- 3 files changed, 3 insertions(+), 3 deletions(-) diff --git a/examples/main/main.cpp b/examples/main/main.cpp index fc5486181..f11abe007 100644 --- a/examples/main/main.cpp +++ b/examples/main/main.cpp @@ -757,7 +757,7 @@ int main(int argc, char ** argv) { const std::string token_str = llama_token_to_piece(ctx, id); // Console/Stream Output - if (!llama_token_is_control_token(llama_get_model(ctx), id)) { + if (!llama_token_is_control(llama_get_model(ctx), id)) { // Stream Output Token To Standard Output fprintf(stdout, "%s", token_str.c_str()); } else if (!params.no_special) { diff --git a/llama.cpp b/llama.cpp index e83857eba..477ccec02 100644 --- a/llama.cpp +++ b/llama.cpp @@ -17347,7 +17347,7 @@ bool llama_token_is_eog(const struct llama_model * model, llama_token token) { ); } -bool llama_token_is_control_token(const struct llama_model * model, llama_token token) { +bool llama_token_is_control(const struct llama_model * model, llama_token token) { return llama_is_control_token(model->vocab, token); } diff --git a/llama.h b/llama.h index 9b59076d0..393c951d5 100644 --- a/llama.h +++ b/llama.h @@ -818,7 +818,7 @@ extern "C" { LLAMA_API bool llama_token_is_eog(const struct llama_model * model, llama_token token); // Identify if Token Id is a control token or a render-able token - LLAMA_API bool llama_token_is_control_token(const struct llama_model * model, llama_token token); + LLAMA_API bool llama_token_is_control(const struct llama_model * model, llama_token token); // Special tokens LLAMA_API llama_token llama_token_bos(const struct llama_model * model); // beginning-of-sentence