#transformers

MathFormer 是一个仅有 400 万参数的 seq2seq 模型，在没有任何先验数学知识的情况下，在符号数学展开任务上达到 98.6% 的准确率，这表明它学习的是结构化 token 变换而非真正的推理。 这一发现挑战了大型语言模型（LLM）具备数学“推理”能力的普遍假设，暗示其表现可能源自复杂的模式补全。理解这一区别对于开发具备真正推理能力的模型至关重要。 该模型采用 GPT 风格的 transformer 架构，仅训练从因子化到展开的多项式表达式的 token 级序列映射，未编码任何数学运算符或变量语义。