From 23bb78fbdc5e41c873d7baa61f1a67fe4256cd64 Mon Sep 17 00:00:00 2001 From: rabidcopy Date: Wed, 22 Mar 2023 01:55:57 -0500 Subject: [PATCH] add newline token --- llama.cpp | 3 +++ 1 file changed, 3 insertions(+) diff --git a/llama.cpp b/llama.cpp index fde4d2516..be0e58f7f 100644 --- a/llama.cpp +++ b/llama.cpp @@ -1496,6 +1496,9 @@ llama_token llama_token_bos() { llama_token llama_token_eos() { return 2; } +llama_token llama_token_newline() { + return 13; +} llama_token llama_sample_top_p_top_k( llama_context * ctx,