Anthropic 的研究人员在大型语言模型（LLM）中发现了一个“全局工作空间”，信息在此跨层整合，类似于意识的全局神经工作空间理论。 这一发现为理解 LLM 如何跨层整合信息提供了新框架，可能推动模型可解释性和对齐性的提升。 该研究定义了一个基于每层微小扰动对最终 logits 输出期望变化的“J-space”，揭示了一个跨上下文共享的子空间。
背景
全局工作空间理论（GWT）是关于意识的主流科学解释之一，提出信息通过神经工作空间的广播而变得全局可用，用于推理和行动。在基于 transformer 的 LLM 中，信息流经多层自注意力和前馈网络，实现跨 token 的整合。本研究将 GWT 应用于人工神经网络，表明 LLM 中存在类似的整合机制。
参考链接
社区讨论
社区评论反应不一：一些人欣赏与意识的概念联系，而另一些人（如 snaking0776）警告不要过度类比，指出 J-space 更多是关于共享推理子空间。几位评论者回忆起相关实验，如重复层以提高数学能力，以及 Neel Nanda 的独立复现。