diff --git a/llama.cpp b/llama.cpp
index 5b9387fc6..0572e35c1 100644
--- a/llama.cpp
+++ b/llama.cpp
@@ -5616,7 +5616,7 @@ static int llama_decode_internal(
 #ifndef NDEBUG
         auto & logits_valid = lctx.logits_valid;
         logits_valid.clear();
-        logits_valid.resize(n_vocab);
+        logits_valid.resize(n_tokens);
 #endif
 
         if (batch.logits) {