diff --git a/examples/passkey/passkey.cpp b/examples/passkey/passkey.cpp index f5db05c2d..4e129947c 100644 --- a/examples/passkey/passkey.cpp +++ b/examples/passkey/passkey.cpp @@ -148,6 +148,7 @@ int main(int argc, char ** argv) { llama_kv_cache_seq_add(ctx, 0, n_past - n_batch, n_past, ib*bd); llama_kv_cache_seq_div(ctx, 0, n_past - n_batch + ib*bd, n_past + ib*bd, n_grp); + llama_kv_cache_apply (ctx); n_past -= bd; } @@ -181,6 +182,7 @@ int main(int argc, char ** argv) { llama_kv_cache_seq_rm (ctx, 0, n_keep , n_keep + n_discard); llama_kv_cache_seq_add(ctx, 0, n_keep + n_discard, n_ctx, -n_discard); + llama_kv_cache_apply (ctx); n_past -= n_discard; @@ -210,6 +212,7 @@ int main(int argc, char ** argv) { llama_kv_cache_seq_rm (ctx, 0, n_keep , n_keep + n_discard); llama_kv_cache_seq_add(ctx, 0, n_keep + n_discard, n_ctx, -n_discard); + llama_kv_cache_apply (ctx); n_past -= n_discard; }