diff --git a/llama.cpp b/llama.cpp index f8a540773..c84292ca9 100644 --- a/llama.cpp +++ b/llama.cpp @@ -9536,7 +9536,7 @@ int llama_n_ctx(const struct llama_context * ctx) { return ctx->cparams.n_ctx; } -int llama_n_batch(const struct llama_context * ctx) { +uint32_t llama_n_batch(const struct llama_context * ctx) { return ctx->cparams.n_batch; } diff --git a/llama.h b/llama.h index 62f02260d..9c9e9f970 100644 --- a/llama.h +++ b/llama.h @@ -315,7 +315,7 @@ extern "C" { LLAMA_API const struct llama_model * llama_get_model(const struct llama_context * ctx); LLAMA_API int llama_n_ctx (const struct llama_context * ctx); - LLAMA_API int llama_n_batch (const struct llama_context * ctx); + LLAMA_API uint32_t llama_n_batch (const struct llama_context * ctx); LLAMA_API enum llama_vocab_type llama_vocab_type(const struct llama_model * model);