diff --git a/llama.cpp b/llama.cpp index 5e597ea44..adbcc07e2 100644 --- a/llama.cpp +++ b/llama.cpp @@ -4423,6 +4423,8 @@ static void llm_load_vocab( vocab.type_pre = LLAMA_VOCAB_PRE_TYPE_STARCODER; } else if ( tokenizer_pre == "gpt-2" || + tokenizer_pre == "jina-es" || + tokenizer_pre == "jina-de" || tokenizer_pre == "jina-v2-es" || tokenizer_pre == "jina-v2-de") { vocab.type_pre = LLAMA_VOCAB_PRE_TYPE_GPT2;