太记AI现在支持加载中文模型了
-
https://github.com/tiddly-gittly/TidGi-Desktop/releases/tag/v0.9.4-prerelease4 可以下载 https://hf-mirror.com/Qwen/Qwen1.5-32B-Chat-GGUF/tree/main 通义千问等中文模型的 GGUF 版本,选择较小的模型版本。
然后放到模型文件夹里,重命名为 llama.gguf 即可(或将设置里的
llama.gguf
改为你的模型的名字也行)。下面这个截图是太记的设置(不是太微的设置),通过左下角哪个齿轮图标打开的。
可以点击「加载模型」尝试加载看看模型能不能用。
平时使用时不需要手动加载模型。在侧边栏的「太记语言模型」标签页里,直接和模型对话,就会自动开始加载了:
加载一段时间后,就会开始生成,再等一段时间,就会看到它说的话了:
目前效果还不是特别好,可能是系统提示词的问题?你可以在太微设置(注意不是太记设置)里,自行调整默认的系统提示词: