From 5f6b7150714e4db2d0804bab4f89d704ba656924 Mon Sep 17 00:00:00 2001 From: xaedes Date: Fri, 14 Apr 2023 14:40:06 +0200 Subject: [PATCH] fix decoding error. adds errors=ignore parameter --- py/llama_cpp/llama.py | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/py/llama_cpp/llama.py b/py/llama_cpp/llama.py index 39da58f17..a09c8425e 100644 --- a/py/llama_cpp/llama.py +++ b/py/llama_cpp/llama.py @@ -151,7 +151,7 @@ def llama_get_embeddings(ctx: llama_context_p): def llama_token_to_str(ctx: llama_context_p, token: int) -> str: """Token Id -> String. Uses the vocabulary in the provided context""" - return lib.llama_token_to_str(ctx, token).decode('utf-8') + return lib.llama_token_to_str(ctx, token).decode('utf-8', errors='ignore') def llama_token_bos() -> llama_token: return lib.llama_token_bos()