From 1752bc92eb13d1e2ad5674cf8c4cef92004d0d42 Mon Sep 17 00:00:00 2001 From: rabidcopy Date: Wed, 22 Mar 2023 01:55:17 -0500 Subject: [PATCH] add newline token --- llama.h | 1 + 1 file changed, 1 insertion(+) diff --git a/llama.h b/llama.h index 3df9ed1fd..ce7f5a49a 100644 --- a/llama.h +++ b/llama.h @@ -114,6 +114,7 @@ extern "C" { // Special tokens LLAMA_API llama_token llama_token_bos(); LLAMA_API llama_token llama_token_eos(); + LLAMA_API llama_token llama_token_newline(); // TODO: improve the last_n_tokens interface ? LLAMA_API llama_token llama_sample_top_p_top_k(