add newline token
This commit is contained in:
parent
1752bc92eb
commit
23bb78fbdc
1 changed files with 3 additions and 0 deletions
|
@ -1496,6 +1496,9 @@ llama_token llama_token_bos() {
|
|||
llama_token llama_token_eos() {
|
||||
return 2;
|
||||
}
|
||||
llama_token llama_token_newline() {
|
||||
return 13;
|
||||
}
|
||||
|
||||
llama_token llama_sample_top_p_top_k(
|
||||
llama_context * ctx,
|
||||
|
|
Loading…
Add table
Add a link
Reference in a new issue