Local Quench

Local Quench 使用指南

默认设置是按模型选的:应用读取模型的名称和大小,据此选好 harness、工具和编辑格式。本页说明每个选项的作用,以及什么时候该改。除非另有说明,这里提到的设置都在 Settings › Agent 里。应用界面目前只有英文,所以设置名称保留英文原文。

在项目里做第一个任务

  1. 在 LM Studio 里加载模型(或启动 llama-server、Ollama、vLLM),上下文至少 32k token;中型仓库用 64k 比较宽裕。Local Quench 会在顶栏显示服务器实际加载的上下文长度。
  2. 打开项目文件夹,输入 /init。智能体会写好项目记忆(QUENCH.md):怎么构建和测试、目录结构,以及项目里 CLAUDE.md、AGENTS.md 或 Cursor rules 中的规则。小模型更容易遵守简短的规则,所以它会写得很短。
  3. 为项目设置检查命令(Settings › Agent › Verify after changes),比如 pytest -q 或 npm test。智能体说“完成了”的时候会运行它,检查不通过就得回去接着改。
  4. 一次只提一个修改。小模型适合改动一到三个文件的任务;更大的功能,先拆成这样的一串步骤,每步发一条消息。

权限模式

在消息输入框里的按钮上切换(Shift+Tab 依次切换)。它决定智能体哪些事可以不问你就做。文件改动总能撤销,命令不能。

模式作用适用场景
Plan只读:智能体调查代码并写出计划;不改文件,只运行只读命令。点 Execute plan 按钮切回来并执行计划。涉及好几个文件以上的任务、模型没见过的仓库,或者想先观察一下再信任的新模型。
Ask文件改动直接生效(可在 Diffs 里撤销);每条 shell 命令和每次删除前都会询问。日常工作。这是默认模式。
Auto (safe)只读命令(ls、git status、grep、cat)直接运行,其他的都要询问。你信任这个模型,希望它探索代码时少问几次。
Skip permissions从不询问,命令和删除立即执行。只用于有版本控制的项目:基准测试、夜间任务、仓库的单独副本。
Autopilot从不询问,并由模型自己决定是否先做计划。较强的模型做较大的任务,在单独副本或可以随时重置的仓库里。

Harness:Guided、Standard、Lean、Minimal、Auto

harness 是包在模型外面的一套规则:模型说了下一步却停下来时推它一把,出错后给提示,一直在测自己写的检查脚本时提醒它,结束前让它看一眼自己的 diff,接近上下文上限时丢掉旧的工具输出,还有限制它能思考多久。这些对容易卡住或看不懂报错的模型有帮助;对本来就表现很好的模型,只会多耗 token、多打断。一个模型需要哪一档,取决于它的实际表现,而不是参数量:训练得好的 4B 模型可能比老一点的 9B 模型需要的帮助还少。

harness 选项下方的说明文字,以及上下文指示条的提示,会显示在当前设置下系统提示词和工具占多少 token。每条规则在 harness 选项下面还有自己的开关,QuenchBench 可以测出某个开关对你的模型值多少(Benchmarks › ablation)。

工具集:Auto、All、Light、Core、Minimal

模型能调用的每个工具都会在每次请求中占用 token,因为工具说明就写在提示词里。工具一多,小模型选错工具的情况也会变多。

MCP 服务器和 skills 在每个工具集里都会出现,但只有在你配置过之后才会出现,免得小模型看到一个空列表。

编辑格式

模型以什么形式写出改动。Auto 按模型大小选:12B 及以下写整个文件(4B 模型写整个文件比写补丁可靠),12B 到 32B 的模型以及专门训练过的代码模型用旧文本/新文本工具,更大的模型用编辑块,GPT 和 gpt-oss 用 OpenAI 的 apply_patch。如果某个模型老是写出应用不上的改动,就换一种:Diffs 面板会列出每一次失败的编辑。

思考

消息输入框里的 Thinking 按钮用来开关模型的推理,并设置 token 预算(也可以用 /think on、/think off、/budget 4096)。对需要找原因的 bug,推理有帮助;对简单的修改反而有害,模型会推理好几分钟然后超时。harness 会按上下文大小和模型速度限制预算,免得慢模型把大半个任务的时间都花在思考上。用 LM Studio 时,请在它的模型设置里也设成同样的预算:应用每次请求都会把预算发给服务器,但只有 llama-server 会真正执行这个限制。

多个对话,多次尝试

在终端里使用

不开窗口也能用同样的智能体、模型、设置、权限和沙箱。命令在 Windows 上是 LocalQuench,其他系统上是 local-quench。

用小模型做较大的任务

30B 参数的模型面对几万行代码的仓库,不可能一条消息就交付整个功能。但如果每一步都能检查,它可以一步一步做出来。先用 Plan 模式让它给出功能的计划;把计划切成每步一到三个文件的小步,每步结尾都有测试;然后在仓库的单独副本里,用 Ask 模式一步一步地发给它,每步之后运行检查命令。做完后导出对话(对话旁边的下载图标):harness 在哪里介入过,导出的记录里都看得到。