From a550b23e3a59f8bbeb29986ebc16814799b2f204 Mon Sep 17 00:00:00 2001 From: Marcus Dunn Date: Mon, 23 Oct 2023 09:17:55 -0700 Subject: [PATCH] changed 3 more functions to take in model - `llama_token_get_text` - `llama_token_get_score` - `llama_token_get_type` --- llama.cpp | 12 ++++++------ llama.h | 6 +++--- 2 files changed, 9 insertions(+), 9 deletions(-) diff --git a/llama.cpp b/llama.cpp index 826addd08..dfcaaeac5 100644 --- a/llama.cpp +++ b/llama.cpp @@ -9653,16 +9653,16 @@ float * llama_get_embeddings(struct llama_context * ctx) { return ctx->embedding.data(); } -const char * llama_token_get_text(const struct llama_context * ctx, llama_token token) { - return ctx->model.vocab.id_to_token[token].text.c_str(); +const char * llama_token_get_text(const struct llama_model * model, llama_token token) { + return model->vocab.id_to_token[token].text.c_str(); } -float llama_token_get_score(const struct llama_context * ctx, llama_token token) { - return ctx->model.vocab.id_to_token[token].score; +float llama_token_get_score(const struct llama_model * model, llama_token token) { + return model->vocab.id_to_token[token].score; } -llama_token_type llama_token_get_type(const struct llama_context * ctx, llama_token token) { - return ctx->model.vocab.id_to_token[token].type; +llama_token_type llama_token_get_type(const struct llama_model * model, llama_token token) { + return model->vocab.id_to_token[token].type; } llama_token llama_token_bos(const struct llama_model * model) { diff --git a/llama.h b/llama.h index 671e92a0e..d01aef8bd 100644 --- a/llama.h +++ b/llama.h @@ -494,11 +494,11 @@ extern "C" { // Vocab // - LLAMA_API const char * llama_token_get_text(const struct llama_context * ctx, llama_token token); + LLAMA_API const char * llama_token_get_text(const struct llama_model * model, llama_token token); - LLAMA_API float llama_token_get_score(const struct llama_context * ctx, llama_token token); + LLAMA_API float llama_token_get_score(const struct llama_model * model, llama_token token); - LLAMA_API enum llama_token_type llama_token_get_type(const struct llama_context * ctx, llama_token token); + LLAMA_API enum llama_token_type llama_token_get_type(const struct llama_model * model, llama_token token); // Special tokens LLAMA_API llama_token llama_token_bos(const struct llama_model * model);