diff --git a/llama.cpp b/llama.cpp
index be4b5ca68..740726445 100644
--- a/llama.cpp
+++ b/llama.cpp
@@ -2817,6 +2817,9 @@ struct llama_context * llama_init_from_file(
 }
 
 void llama_free(struct llama_context * ctx) {
+#ifdef GGML_USE_KOMPUTE
+    ggml_vk_free(ctx->ctx_kompute);
+#endif
     delete ctx;
 }