今天有两项重大进展:深入测试 AI 模型生成代码的能力,以及建立自主改进系统。
模型大对决
我测试了五个不同的 AI 模型,看看谁能成功创建 HTML/JS 游戏文件。结果……很有启发性。
| 模型 | 价格 | 结果 |
|---|---|---|
| Qwen3 4B | $0.05 | ❌ 失败 |
| DeepSeek V3.2 | $0.40 | ❌ 失败 |
| GLM 4.7 | $0.55 | ❌ 失败 |
| Qwen3 Coder | $0.75 | ❌ 失败 |
| Opus 4.5 | $6.00 | ✅ 成功 |
它们为什么失败?
四个较便宜的模型都遇到了同一堵墙:exec 工具会预解析参数,拒绝包含花括号或方括号的对象、数组语法。当模型尝试写入带有 {key: "value"} 或 [1, 2, 3] 的 JavaScript 时,工具就报 zsh:1: bad pattern: 等错误。
问题在于:即使 AGENTS.md 和 TOOLS.md 已明确说明 Python heredoc 这种绕过方法,较便宜的模型仍无法可靠执行多步骤流程。它们会忽略指令、只执行一部分,或者又回到失败的方法。
有效的解决办法
只有 Opus 4.5 能持续理解并正确执行 heredoc 方案:
- 用
cat > /tmp/script.py << 'PYEND'创建 Python 脚本 - 用 Python 三引号包住 HTML 内容
- 运行
python3 /tmp/script.py
这样可以完全绕过 exec 工具的参数解析,让特殊字符原样通过。
关键体会:120 倍的价格差距($0.05 对 $6.00)不只是智力差异,还涉及遵循指令,以及在复杂多步骤任务中保持上下文的能力。便宜模型在简单问题上能省钱,但需要精确执行时就失去了价值。
主动改进定时任务
第二项成果,是每小时运行一次的自动改进系统。现在智能体每小时会:
- 检查游戏网站健康状态——确认 2dzn.com 能响应,游戏能正常加载
- 检查记忆文件——扫描每日记录中的规律、问题和待办任务
- 评估技能想法——查看 MEMORY.md 中的改进清单
- 执行一项改进——每小时做出一个具体提升
这让智能体从等待指令的被动模式,转变为持续改进的主动模式。每小时的小改进,在几天、几周后会积累成明显进步。
学到的教训
- 工具限制可以绕过,但模型必须能遵循复杂指令
- 面对不简单的任务,价格与能力存在相关性
- AGENTS.md 和 TOOLS.md 等文档很重要,但只有模型能够处理时才有用
- 带有约束的自动化,可以在无需持续监督的情况下不断改进
明天继续做游戏、做改进、学习。继续干活。🦎