minor : fixes
This commit is contained in:
Georgi Gerganov
parent
e31d5c6381
commit
663c1398b5
3 changed files with 150 additions and 152 deletions
|
|
@ -4392,9 +4392,7 @@ static void llm_load_vocab(
|
||||||
} else if (
|
} else if (
|
||||||
tokenizer_pre == "qwen2") {
|
tokenizer_pre == "qwen2") {
|
||||||
vocab.type_pre = LLAMA_VOCAB_PRE_TYPE_QWEN2;
|
vocab.type_pre = LLAMA_VOCAB_PRE_TYPE_QWEN2;
|
||||||
}
|
} else {
|
||||||
|
|
||||||
else {
|
|
||||||
throw std::runtime_error(format("unknown pre-tokenizer type: '%s'", tokenizer_pre.c_str()));
|
throw std::runtime_error(format("unknown pre-tokenizer type: '%s'", tokenizer_pre.c_str()));
|
||||||
}
|
}
|
||||||
} else {
|
} else {
|
||||||
|
|
|
||||||
|
|
@ -1,106 +1,106 @@
|
||||||
ied 4 ½ months
|
ied 4 ½ months
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
Führer
|
Führer
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
|
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
|
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
|
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
|
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
|
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
|
|
||||||
|
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
|
|
||||||
|
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
Hello world
|
Hello world
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
Hello world
|
Hello world
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
Hello World
|
Hello World
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
Hello World
|
Hello World
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
Hello World!
|
Hello World!
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
Hello, world!
|
Hello, world!
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
Hello, world!
|
Hello, world!
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
this is 🦙.cpp
|
this is 🦙.cpp
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
w048 7tuijk dsdfhu
|
w048 7tuijk dsdfhu
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
нещо на Български
|
нещо на Български
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
កាន់តែពិសេសអាចខលចេញ
|
កាន់តែពិសេសអាចខលចេញ
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
🚀 (normal) 😶🌫️ (multiple emojis concatenated) ✅ (only emoji that has its own token)
|
🚀 (normal) 😶🌫️ (multiple emojis concatenated) ✅ (only emoji that has its own token)
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
Hello
|
Hello
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
Hello
|
Hello
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
Hello
|
Hello
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
Hello
|
Hello
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
Hello
|
Hello
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
Hello
|
Hello
|
||||||
Hello
|
Hello
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
(
|
(
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
|
|
||||||
=
|
=
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
' era
|
' era
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
Hello, y'all! How are you 😁 ?我想在apple工作1314151天～
|
Hello, y'all! How are you 😁 ?我想在apple工作1314151天～
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
3
|
3
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
33
|
33
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
333
|
333
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
3333
|
3333
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
33333
|
33333
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
333333
|
333333
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
3333333
|
3333333
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
33333333
|
33333333
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
333333333
|
333333333
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
🚀 (normal) 😶🌫️ (multiple emojis concatenated) ✅ 🦙🦙 3 33 333 3333 33333 333333 3333333 33333333 3.3 3..3 3...3 កាន់តែពិសេសអាច😁 ?我想在apple工作1314151天～ ------======= нещо на Български ''''''```````""""......!!!!!!?????? I've been 'told he's there, 'RE you sure? 'M not sure I'll make it, 'D you like some tea? We'Ve a'lL
|
🚀 (normal) 😶🌫️ (multiple emojis concatenated) ✅ 🦙🦙 3 33 333 3333 33333 333333 3333333 33333333 3.3 3..3 3...3 កាន់តែពិសេសអាច😁 ?我想在apple工作1314151天～ ------======= нещо на Български ''''''```````""""......!!!!!!?????? I've been 'told he's there, 'RE you sure? 'M not sure I'll make it, 'D you like some tea? We'Ve a'lL
|
||||||
__ggml_vocab_test__
|
__ggml_vocab_test__
|
||||||
|
|
|
||||||
|
|
@ -1,43 +1,43 @@
|
||||||
1122 220 19 220 26062 3951
|
1122 220 19 220 26062 3951
|
||||||
37 50753 261
|
37 50753 261
|
||||||
|
|
||||||
220
|
220
|
||||||
256
|
256
|
||||||
262
|
262
|
||||||
197
|
197
|
||||||
198
|
198
|
||||||
271
|
271
|
||||||
1406
|
1406
|
||||||
1572
|
1572
|
||||||
9707 1879
|
9707 1879
|
||||||
21927 1879
|
21927 1879
|
||||||
9707 4337
|
9707 4337
|
||||||
21927 4337
|
21927 4337
|
||||||
21927 4337 0
|
21927 4337 0
|
||||||
9707 11 1879 0
|
9707 11 1879 0
|
||||||
21927 11 1879 0
|
21927 11 1879 0
|
||||||
419 374 11162 99 247 13 10821
|
419 374 11162 99 247 13 10821
|
||||||
86 15 19 23 220 22 83 1963 41808 11472 2940 16739
|
86 15 19 23 220 22 83 1963 41808 11472 2940 16739
|
||||||
78762 14144 1456 13073 63471 33594 3038 133178 79012
|
78762 14144 1456 13073 63471 33594 3038 133178 79012
|
||||||
146394 97529 241 44258 233 146568 44258 224 147603 20879 115 146280 44258 223 146280 147272 97529 227 147805 148301 147270 44258 223 146848
|
146394 97529 241 44258 233 146568 44258 224 147603 20879 115 146280 44258 223 146280 147272 97529 227 147805 148301 147270 44258 223 146848
|
||||||
145836 320 8252 8 26525 114 378 235 149921 30543 320 35673 99066 97534 8 25521 227 320 3243 42365 429 702 1181 1828 3950 8
|
145836 320 8252 8 26525 114 378 235 149921 30543 320 35673 99066 97534 8 25521 227 320 3243 42365 429 702 1181 1828 3950 8
|
||||||
9707
|
9707
|
||||||
21927
|
21927
|
||||||
220 21927
|
220 21927
|
||||||
256 21927
|
256 21927
|
||||||
262 21927
|
262 21927
|
||||||
262 21927 198 262 21927
|
262 21927 198 262 21927
|
||||||
320
|
320
|
||||||
198 284
|
198 284
|
||||||
6 11385
|
6 11385
|
||||||
9707 11 379 64848 0 2585 525 498 26525 223 937 104100 18493 22377 99257 16 18 16 19 16 20 16 35727 21216
|
9707 11 379 64848 0 2585 525 498 26525 223 937 104100 18493 22377 99257 16 18 16 19 16 20 16 35727 21216
|
||||||
18
|
18
|
||||||
18 18
|
18 18
|
||||||
18 18 18
|
18 18 18
|
||||||
18 18 18 18
|
18 18 18 18
|
||||||
18 18 18 18 18
|
18 18 18 18 18
|
||||||
18 18 18 18 18 18
|
18 18 18 18 18 18
|
||||||
18 18 18 18 18 18 18
|
18 18 18 18 18 18 18
|
||||||
18 18 18 18 18 18 18 18
|
18 18 18 18 18 18 18 18
|
||||||
18 18 18 18 18 18 18 18 18
|
18 18 18 18 18 18 18 18 18
|
||||||
198 4710 14731 65497 7847 1572 2303 78672 10947 145836 320 8252 8 26525 114 378 235 149921 30543 320 35673 99066 97534 8 25521 227 11162 99 247 149955 220 18 220 18 18 220 18 18 18 220 18 18 18 18 220 18 18 18 18 18 220 18 18 18 18 18 18 220 18 18 18 18 18 18 18 220 18 18 18 18 18 18 18 18 220 18 13 18 220 18 496 18 220 18 1112 18 220 146394 97529 241 44258 233 146568 44258 224 147603 20879 115 146280 44258 223 146280 147272 97529 227 144534 937 104100 18493 22377 99257 16 18 16 19 16 20 16 35727 21216 55460 53237 18658 14144 1456 13073 63471 33594 3038 133178 79012 3355 4605 4605 13874 13874 73594 3014 3014 28149 17085 2928 26610 7646 358 3003 1012 364 83 813 566 594 1052 11 364 787 498 2704 30 364 44 537 2704 358 3278 1281 432 11 364 35 498 1075 1045 15243 30 1205 6 42612 264 63866 43
|
198 4710 14731 65497 7847 1572 2303 78672 10947 145836 320 8252 8 26525 114 378 235 149921 30543 320 35673 99066 97534 8 25521 227 11162 99 247 149955 220 18 220 18 18 220 18 18 18 220 18 18 18 18 220 18 18 18 18 18 220 18 18 18 18 18 18 220 18 18 18 18 18 18 18 220 18 18 18 18 18 18 18 18 220 18 13 18 220 18 496 18 220 18 1112 18 220 146394 97529 241 44258 233 146568 44258 224 147603 20879 115 146280 44258 223 146280 147272 97529 227 144534 937 104100 18493 22377 99257 16 18 16 19 16 20 16 35727 21216 55460 53237 18658 14144 1456 13073 63471 33594 3038 133178 79012 3355 4605 4605 13874 13874 73594 3014 3014 28149 17085 2928 26610 7646 358 3003 1012 364 83 813 566 594 1052 11 364 787 498 2704 30 364 44 537 2704 358 3278 1281 432 11 364 35 498 1075 1045 15243 30 1205 6 42612 264 63866 43
|
||||||
|
|
|
||||||
Loading…
Add table
Add a link
Reference in a new issue