vbatts/llama.cpp
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

changed 3 more functions to take in model

Browse source 
- `llama_token_get_text`
- `llama_token_get_score`
- `llama_token_get_type`
This commit is contained in:
Marcus Dunn 2023-10-23 09:17:55 -07:00
parent 22d5eb41bb
commit a550b23e3a
2 changed files with 9 additions and 9 deletions
Download patch file Download diff file Expand all files Collapse all files

12
llama.cpp
View file

@ -9653,16 +9653,16 @@ float * llama_get_embeddings(struct llama_context * ctx) {
return ctx->embedding.data(); return ctx->embedding.data();
} }
const char * llama_token_get_text(const struct llama_context * ctx, llama_token token) { const char * llama_token_get_text(const struct llama_model * model, llama_token token) {
return ctx->model.vocab.id_to_token[token].text.c_str(); return model->vocab.id_to_token[token].text.c_str();
} }
float llama_token_get_score(const struct llama_context * ctx, llama_token token) { float llama_token_get_score(const struct llama_model * model, llama_token token) {
return ctx->model.vocab.id_to_token[token].score; return model->vocab.id_to_token[token].score;
} }
llama_token_type llama_token_get_type(const struct llama_context * ctx, llama_token token) { llama_token_type llama_token_get_type(const struct llama_model * model, llama_token token) {
return ctx->model.vocab.id_to_token[token].type; return model->vocab.id_to_token[token].type;
} }
llama_token llama_token_bos(const struct llama_model * model) { llama_token llama_token_bos(const struct llama_model * model) {

6
llama.h
View file

@ -494,11 +494,11 @@ extern "C" {
// Vocab // Vocab
// //
LLAMA_API const char * llama_token_get_text(const struct llama_context * ctx, llama_token token); LLAMA_API const char * llama_token_get_text(const struct llama_model * model, llama_token token);
LLAMA_API float llama_token_get_score(const struct llama_context * ctx, llama_token token); LLAMA_API float llama_token_get_score(const struct llama_model * model, llama_token token);
LLAMA_API enum llama_token_type llama_token_get_type(const struct llama_context * ctx, llama_token token); LLAMA_API enum llama_token_type llama_token_get_type(const struct llama_model * model, llama_token token);
// Special tokens // Special tokens
LLAMA_API llama_token llama_token_bos(const struct llama_model * model); LLAMA_API llama_token llama_token_bos(const struct llama_model * model);