#interpretability

Anthropic 的研究人员在大型语言模型（LLM）中发现了一个“全局工作空间”，信息在此跨层整合，类似于意识的全局神经工作空间理论。 这一发现为理解 LLM 如何跨层整合信息提供了新框架，可能推动模型可解释性和对齐性的提升。 该研究定义了一个基于每层微小扰动对最终 logits 输出期望变化的“J-space”，揭示了一个跨上下文共享的子空间。