From 4ad62c489d76b633480d8bfd1d1d2e974db67f1b Mon Sep 17 00:00:00 2001 From: Don Mahurin <@> Date: Mon, 22 May 2023 23:54:57 -0700 Subject: [PATCH] fix "missing 1 required positional argument: 'min_keep'" --- examples/low_level_api_chat_cpp.py | 8 ++++---- examples/low_level_api_llama_cpp.py | 4 ++-- 2 files changed, 6 insertions(+), 6 deletions(-) diff --git a/examples/low_level_api_chat_cpp.py b/examples/low_level_api_chat_cpp.py index e67cd8e43..5e8172434 100644 --- a/examples/low_level_api_chat_cpp.py +++ b/examples/low_level_api_chat_cpp.py @@ -395,10 +395,10 @@ n_keep = {self.params.n_keep} id = llama_cpp.llama_sample_token_mirostat_v2(self.ctx, candidates_p, llama_cpp.c_float(self.params.mirostat_tau), llama_cpp.c_float(self.params.mirostat_eta), llama_cpp.c_float(mirostat_mu)) else: # Temperature sampling - llama_cpp.llama_sample_top_k(self.ctx, candidates_p, top_k) - llama_cpp.llama_sample_tail_free(self.ctx, candidates_p, llama_cpp.c_float(self.params.tfs_z)) - llama_cpp.llama_sample_typical(self.ctx, candidates_p, llama_cpp.c_float(self.params.typical_p)) - llama_cpp.llama_sample_top_p(self.ctx, candidates_p, llama_cpp.c_float(self.params.top_p)) + llama_cpp.llama_sample_top_k(self.ctx, candidates_p, top_k, min_keep=llama_cpp.c_size_t(1)) + llama_cpp.llama_sample_tail_free(self.ctx, candidates_p, llama_cpp.c_float(self.params.tfs_z),min_keep=llama_cpp.c_size_t(1)) + llama_cpp.llama_sample_typical(self.ctx, candidates_p, llama_cpp.c_float(self.params.typical_p),min_keep=llama_cpp.c_size_t(1)) + llama_cpp.llama_sample_top_p(self.ctx, candidates_p, llama_cpp.c_float(self.params.top_p),min_keep=llama_cpp.c_size_t(1)) llama_cpp.llama_sample_temperature(self.ctx, candidates_p, llama_cpp.c_float(self.params.temp)) id = llama_cpp.llama_sample_token(self.ctx, candidates_p) # print("`{}`".format(candidates_p.size)) diff --git a/examples/low_level_api_llama_cpp.py b/examples/low_level_api_llama_cpp.py index 9e38ec7cb..2d1bab3f8 100644 --- a/examples/low_level_api_llama_cpp.py +++ b/examples/low_level_api_llama_cpp.py @@ -68,8 +68,8 @@ while remaining_tokens > 0: _arr, last_n_repeat, frequency_penalty, presence_penalty) - llama_cpp.llama_sample_top_k(ctx, candidates_p, 40) - llama_cpp.llama_sample_top_p(ctx, candidates_p, 0.8) + llama_cpp.llama_sample_top_k(ctx, candidates_p, 40, min_keep=llama_cpp.c_size_t(1)) + llama_cpp.llama_sample_top_p(ctx, candidates_p, 0.8, min_keep=llama_cpp.c_size_t(1)) llama_cpp.llama_sample_temperature(ctx, candidates_p, 0.2) id = llama_cpp.llama_sample_token(ctx, candidates_p)