vbatts/llama.cpp
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

allowed getting n_batch from llama_context in c api

Browse source
This commit is contained in:
marcus 2023-12-19 15:06:49 -08:00
parent 328b83de23
commit d173ddac9e
2 changed files with 5 additions and 0 deletions
Download patch file Download diff file Expand all files Collapse all files

4
llama.cpp
View file

@ -9536,6 +9536,10 @@ int llama_n_ctx(const struct llama_context * ctx) {
return ctx->cparams.n_ctx;
}
int llama_n_batch(const struct llama_context * ctx) {
return ctx->cparams.n_batch;
}
enum llama_vocab_type llama_vocab_type(const struct llama_model * model) {
return model->vocab.type;
}

1
llama.h
View file

@ -315,6 +315,7 @@ extern "C" {
LLAMA_API const struct llama_model * llama_get_model(const struct llama_context * ctx);
LLAMA_API int llama_n_ctx (const struct llama_context * ctx);
LLAMA_API int llama_n_batch (const struct llama_context * ctx);
LLAMA_API enum llama_vocab_type llama_vocab_type(const struct llama_model * model);