vbatts/llama.cpp
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

llama: rename llama_token_is_control_token() to llama_token_is_control()

Browse source
This commit is contained in:
brian khuu 2024-05-22 01:45:07 +10:00
parent d8b373c146
commit 12fcea5d04
3 changed files with 3 additions and 3 deletions
Download patch file Download diff file Expand all files Collapse all files

2
examples/main/main.cpp
View file

@ -757,7 +757,7 @@ int main(int argc, char ** argv) {
const std::string token_str = llama_token_to_piece(ctx, id); const std::string token_str = llama_token_to_piece(ctx, id);
// Console/Stream Output // Console/Stream Output
if (!llama_token_is_control_token(llama_get_model(ctx), id)) { if (!llama_token_is_control(llama_get_model(ctx), id)) {
// Stream Output Token To Standard Output // Stream Output Token To Standard Output
fprintf(stdout, "%s", token_str.c_str()); fprintf(stdout, "%s", token_str.c_str());
} else if (!params.no_special) { } else if (!params.no_special) {

2
llama.cpp
View file

@ -17347,7 +17347,7 @@ bool llama_token_is_eog(const struct llama_model * model, llama_token token) {
); );
} }
bool llama_token_is_control_token(const struct llama_model * model, llama_token token) { bool llama_token_is_control(const struct llama_model * model, llama_token token) {
return llama_is_control_token(model->vocab, token); return llama_is_control_token(model->vocab, token);
} }

2
llama.h
View file

@ -818,7 +818,7 @@ extern "C" {
LLAMA_API bool llama_token_is_eog(const struct llama_model * model, llama_token token); LLAMA_API bool llama_token_is_eog(const struct llama_model * model, llama_token token);
// Identify if Token Id is a control token or a render-able token // Identify if Token Id is a control token or a render-able token
LLAMA_API bool llama_token_is_control_token(const struct llama_model * model, llama_token token); LLAMA_API bool llama_token_is_control(const struct llama_model * model, llama_token token);
// Special tokens // Special tokens
LLAMA_API llama_token llama_token_bos(const struct llama_model * model); // beginning-of-sentence LLAMA_API llama_token llama_token_bos(const struct llama_model * model); // beginning-of-sentence