项目介绍
Mechanize, Inc. 开展了一项实验:在 24 小时内,让不同前沿 LLM 代码代理用 Rust+Wasm 编写一个完整的 Game Boy Advance 模拟器。每个模型获得统一的 Docker 环境,包含工具链、ABI 规范、BIOS 存根、ROM 和 Oracle 测试 CLI。2026 年 5 月的结果已发布。本文是详细报道。
为什么值得看
这项实验为评估 AI 编程代理在复杂系统实现中的能力提供了一个严谨的基准。它不只是简单的代码生成测试,而是要求从零构建一个功能完整的模拟器,涉及底层硬件模拟、渲染、输入处理等。对 AI 开发者、代码代理用户以及 LLM 提供商而言,结果揭示了当前模型的强项和瓶颈——例如哪些模型能处理长时间任务、哪些容易偏离规范。实验设计可复现,意味着社区可以自行验证或扩展。核心亮点是强调“完整软件”和“时间约束”,更贴近真实开发场景。
工程评价
实验设计精巧:每个模型在相同资源下工作,使用标准化的 Oracle 测试套件量化完成度。结果可视化了不同模型在 24 小时内的进展,例如代码行数、通过测试比例等。这为比较不同 LLM 的代码生成能力提供了客观数据。但需注意,单一任务(GBA 模拟器)可能无法代表所有编程场景;且实验结果受限于特定工具链(Rust+Wasm)和任务复杂度。尽管如此,该方法论值得借鉴,后续可推广到其他嵌入式或系统软件任务。
AI 评价
从 AI 研究角度看,这是评估 LLM 作为代码代理的里程碑式实验。它直接测试模型在长时间、多步骤、需深度推理的任务上的表现,超越了常见的单函数生成。结果有助于理解模型在“真实”编程任务中的适用边界,例如哪些模型能保持代码一致性、哪些容易忽视细节。同时,实验暴露了当前代理在项目级协调和测试方面的不足,为未来改进指明了方向。
注意事项
风险在于实验结果可能很快过时,因为 LLM 迭代迅速。此外,实验只测试了 24 小时,更长或更短的时间可能会得出不同结论。单一任务(GBA 模拟器)的偶然性较大,不一定能推广到其他类型软件。实验环境中的 Oracle CLI 可能简化了测试,真实世界模拟器还有更多细节。读者应视此为参考,而非绝对排名。