diff --git a/examples/gpt4all.sh b/examples/gpt4all.sh index 4b1c15f0d..ff2b02118 100755 --- a/examples/gpt4all.sh +++ b/examples/gpt4all.sh @@ -7,8 +7,9 @@ cd `dirname $0` cd .. -./main --color --instruct --threads 6 \ - --model ./models/gpt4all.bin \ - --batch_size 8 --ctx_size 2048 \ +./main --color --instruct --threads 4 \ + --model ./models/gpt4all-7B/gpt4all-lora-quantized.bin \ + --file ./prompts/alpaca.txt \ + --batch_size 8 --ctx_size 2048 -n -1 \ --repeat_last_n 64 --repeat_penalty 1.3 \ - --n_predict 2048 --temp 0.1 --top_k 50 --top_p 0.99 --mlock + --n_predict 128 --temp 0.1 --top_k 40 --top_p 0.95 \ No newline at end of file