llama : offload KV cache per-layer

llama.h

@@ -196,6 +196,8 @@ extern "C" {
         bool f16_kv;     // use fp16 for KV cache, fp32 otherwise
         bool logits_all; // the llama_eval() call computes all logits, not just the last one
         bool embedding;  // embedding mode only
+        bool offload_k;
+        bool offload_v;
     };
 
     // model quantization parameters