#LLM limitations

Ars Technica 的一篇文章及 Hacker News 上的讨论指出，AI 编码代理虽然让代码产出量上升，却没有带来等比例的软件交付成果，瓶颈转移到代码审查与代码质量上。讨论中的从业者表示，代码审查原本就是显著瓶颈，在代理式编码下更加突出；尝试更多依赖自动化审查迄今没有转化为实际改善。有评论提醒，相关研究描述的是研究进行时的状况，主要涉及 Claude 3.5 至 Sonnet 4.5、GPT-4.1 至 GPT-5、Gemini 2.5 等模型，论文写作与发表存在滞后，因此反映的是 2025 年前后的图景，未必代表当前模型能力。需要说明的是，所依据的材料为分析摘要与社区讨论，未包含原文全文。

rss · ByteByteGo · 10月12日 15:00 「背景」 大语言模型逐 token 从左到右生成，输出又是离散的，因此在数独这类需要同时满足多重约束的问题上很吃力：据 Logical Intelligence 的一场公开演示，GPT-5.2、Claude Opus 4.5、Gemini 3 Pro、DeepSeek V3.2 等前沿模型合计只解出 2%，烧掉约 1.1 万美元 API 费用，而参数量小约千倍的 Kona 解出 96.2%、仅用 4 美元 GPU 时间（均为厂商自报数据）。作者由此提出：大多数日常任务本就不是语言问题，语言只是智能的界面，而非智能本身。 「方案」 Logical Intelligence 的替代方案是能量基推理模型（EBRM）：它不生成 token，而是学习能量函数 E\(x,y\)，能量越低表示候选答案与问题越一致。训练用对比损失压低正确答案、抬高错误答案（可由扰动正确答案或模型自身搜索产生），从而形成连续的能量地形；推理从随机噪声出发，沿能量下降梯度迭代至能量不再下降，对多步问题还会对每一步中间状态打分，即作者所说的“在理解而非数据上导航”。Kona 平均 313 毫秒收敛，LLM 单题最长要 90 秒；随后用机器可校验的检查（数独用简单程序，定理证明用 Lean 4）判定，不通过就回到搜索——中间是概率性的，末端是精确的。作者强调能量只是规则的近似、搜索依赖起点，低能量是强证据而非证明，约束是否写对仍靠人；EBRM 也不擅长需要判断与表达的写作任务，且文中未与经典约束求解器对比。 「启示」 作者的核心论点是：语言是智能的界面而非智能本身，硬约束、可机器验证的任务更适合小模型加潜空间搜索，未来更可能是专用模型与语言模型分工协作的生态，而非单一通用大模型包打天下。 标签: energy-based models, latent reasoning, constraint satisfaction, LLM limitations, AI verification