From 032ff857064176fbf8f1028311129b89faf336fe Mon Sep 17 00:00:00 2001 From: Georgi Gerganov Date: Sun, 25 Feb 2024 10:58:18 +0200 Subject: [PATCH] passkey : fix llama_kv_cache_seq_pos_max() usage --- examples/passkey/passkey.cpp | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/examples/passkey/passkey.cpp b/examples/passkey/passkey.cpp index 1e483edc0..a3a63977f 100644 --- a/examples/passkey/passkey.cpp +++ b/examples/passkey/passkey.cpp @@ -150,7 +150,7 @@ int main(int argc, char ** argv) { llama_kv_cache_seq_div(ctx, 0, n_past - n_batch + ib*bd, n_past + ib*bd, n_grp); llama_kv_cache_update (ctx); - n_past = llama_kv_cache_seq_pos_max(ctx, 0); + n_past = llama_kv_cache_seq_pos_max(ctx, 0) + 1; } llama_batch_clear(batch); @@ -184,7 +184,7 @@ int main(int argc, char ** argv) { llama_kv_cache_seq_add(ctx, 0, n_keep + n_discard, n_ctx, -n_discard); llama_kv_cache_update (ctx); - n_past = llama_kv_cache_seq_pos_max(ctx, 0); + n_past = llama_kv_cache_seq_pos_max(ctx, 0) + 1; llama_batch_clear(batch); @@ -214,7 +214,7 @@ int main(int argc, char ** argv) { llama_kv_cache_seq_add(ctx, 0, n_keep + n_discard, n_ctx, -n_discard); llama_kv_cache_update (ctx); - n_past = llama_kv_cache_seq_pos_max(ctx, 0); + n_past = llama_kv_cache_seq_pos_max(ctx, 0) + 1; } }