add newline token

This commit is contained in:
rabidcopy 2023-03-22 01:55:57 -05:00 committed by GitHub
parent 1752bc92eb
commit 23bb78fbdc
No known key found for this signature in database
GPG key ID: 4AEE18F83AFDEB23

View file

@ -1496,6 +1496,9 @@ llama_token llama_token_bos() {
llama_token llama_token_eos() {
return 2;
}
llama_token llama_token_newline() {
return 13;
}
llama_token llama_sample_top_p_top_k(
llama_context * ctx,