MathFormer 是一个仅有 400 万参数的 seq2seq 模型，在没有任何先验数学知识的情况下，在符号数学展开任务上达到 98.6% 的准确率，这表明它学习的是结构化 token 变换而非真正的推理。 这一发现挑战了大型语言模型（LLM）具备数学“推理”能力的普遍假设，暗示其表现可能源自复杂的模式补全。理解这一区别对于开发具备真正推理能力的模型至关重要。 该模型采用 GPT 风格的 transformer 架构，仅训练从因子化到展开的多项式表达式的 token 级序列映射，未编码任何数学运算符或变量语义。
背景
符号数学任务（如多项式展开）需要根据代数规则操作表达式。序列到序列模型通过编码器-解码器架构将输入序列转换为可能长度不同的输出序列。本实验专门测试小型模型是否能在没有显式规则知识的情况下学习此类变换，为 LLM 是推理还是依赖模式识别的争论提供启示。