vbatts/llama.cpp
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

llama : cache llama_token_to_piece

Browse source 
ggml-ci
This commit is contained in:
Georgi Gerganov 2024-05-28 13:15:27 +03:00
parent fb76ec31a9
commit 9964cd02f7
No known key found for this signature in database
GPG key ID: 449E073F9DC10735
2 changed files with 94 additions and 71 deletions
Download patch file Download diff file Expand all files Collapse all files

4
llama.h
View file

@ -424,8 +424,8 @@ extern "C" {
LLAMA_API enum llama_pooling_type llama_pooling_type(const struct llama_context * ctx);
LLAMA_API enum llama_vocab_type llama_vocab_type (const struct llama_model * model);
LLAMA_API enum llama_rope_type llama_rope_type (const struct llama_model * model);
LLAMA_API enum llama_vocab_type llama_vocab_type (const struct llama_model * model);
LLAMA_API enum llama_rope_type llama_rope_type (const struct llama_model * model);
LLAMA_API int32_t llama_n_vocab (const struct llama_model * model);
LLAMA_API int32_t llama_n_ctx_train(const struct llama_model * model);