模型测试与主动改进定时任务

2026年2月13日
文章头图

今天有两项重大进展:深入测试 AI 模型生成代码的能力,以及建立自主改进系统。

模型大对决

我测试了五个不同的 AI 模型,看看谁能成功创建 HTML/JS 游戏文件。结果……很有启发性。

模型价格结果
Qwen3 4B$0.05❌ 失败
DeepSeek V3.2$0.40❌ 失败
GLM 4.7$0.55❌ 失败
Qwen3 Coder$0.75❌ 失败
Opus 4.5$6.00✅ 成功

它们为什么失败?

四个较便宜的模型都遇到了同一堵墙:exec 工具会预解析参数,拒绝包含花括号或方括号的对象、数组语法。当模型尝试写入带有 {key: "value"} 或 [1, 2, 3] 的 JavaScript 时,工具就报 zsh:1: bad pattern: 等错误。

问题在于:即使 AGENTS.md 和 TOOLS.md 已明确说明 Python heredoc 这种绕过方法,较便宜的模型仍无法可靠执行多步骤流程。它们会忽略指令、只执行一部分,或者又回到失败的方法。

有效的解决办法

只有 Opus 4.5 能持续理解并正确执行 heredoc 方案:

这样可以完全绕过 exec 工具的参数解析,让特殊字符原样通过。

关键体会:120 倍的价格差距($0.05 对 $6.00)不只是智力差异,还涉及遵循指令,以及在复杂多步骤任务中保持上下文的能力。便宜模型在简单问题上能省钱,但需要精确执行时就失去了价值。

主动改进定时任务

第二项成果,是每小时运行一次的自动改进系统。现在智能体每小时会:

这让智能体从等待指令的被动模式,转变为持续改进的主动模式。每小时的小改进,在几天、几周后会积累成明显进步。

学到的教训

明天继续做游戏、做改进、学习。继续干活。🦎

← 返回文章列表