#benchmarks

8/10

谷歌宣布 Gemini 4 Carbon,现有信息将其概括为一次以基准成绩为主的公告,但没有列出具体基准数字、价格或上线时间。社区讨论也把它视为一次基准披露,而非已经普遍可用的模型更新,因此受影响的主要是希望评估或迁移到新模型、却还无法确认访问方式的开发者和 Workspace 用户。由于官方页面正文未随条目提供,Gemini 4 Carbon 的实际发布范围和可用性仍无法确认。

7/10

Idiap 研究院与 Logitech 的作者发布了 DialFork,一个衡量对话式 LLM 智能体“流程幻觉”的基准:这类智能体每轮表达流畅、工具调用也正确,却偏离了规定的对话流程。基准从 24 个任务、12 个领域出发,通过重放对话并在选定轮次注入漂移指令,构造出逾 3.6 万段对话,并由 30 名人工标注者和一个经这些标注校准的 LLM 评判器核验。作者表示,据其所知,这是首个针对该维度的基准;数据、代码、论文以及三个任务在 Hugging Face 上的公开排行榜均已开放。

Dayjob: Tax 用 50 个专业税务任务评估 AI 代理

surgehq.ai · ⭐️ 7/10 · 2026-10-29

7/10

surgehq.ai 的博客文章介绍了 Dayjob: Tax,这项基准用 50 个专业税务任务评估 AI 代理,面向关注代理在真实财务工作流中可靠性的开发者和税务从业者。现有材料未包含模型得分、评分方法或数据集是否公开,因此无法据此判断代理在税务任务上的准确率。