一篇 Reddit 帖子指出,思维链(CoT)推理存在忠实性和成本问题,并推广 Coconut、HRM、RecursiveMAS 和 BDH 等潜在推理方法作为 LLM 推理的下一波浪潮。 这一批评挑战了主流的 CoT 范式,可能推动研究转向更高效、可扩展的推理方法,尤其是在可解释性和成本至关重要的高风险应用中。 CoT 追踪可能不忠实于模型的实际计算,并增加延迟和成本。Coconut(连续思考步骤)、HRM(层次规划)和 RecursiveMAS(潜在智能体通信)等潜在方法减少了 token 使用,但引入了黑盒可解释性挑战。BDH 提供了原生可解释性钩子和可恢复图。
背景
思维链(CoT)推理提示 LLM 生成显式的中间步骤,提高了准确性但 token 成本高。潜在推理方法将推理过程转移到连续向量空间,绕过 token 生成。BDH(Dragon Hatchling)是一种结合循环潜在计算与语言建模的模型,在不使用 CoT 的情况下在数独谜题上实现了高准确率。