diff --git a/llama.cpp b/llama.cpp
index 02fe2f596..d078f92fd 100644
--- a/llama.cpp
+++ b/llama.cpp
@@ -1776,7 +1776,7 @@ static struct ggml_cgraph * llama_build_graph(
     ggml_free(ctx0);
 
 #if defined(GGML_USE_KOMPUTE)
-    if (lctx.ctx_kompute && N == 1) {
+    if (lctx.ctx_kompute) {
         if (!ggml_vk_has_h2d_all(lctx.ctx_kompute)) {
             ggml_vk_h2d_all(lctx.ctx_kompute);
         } else {