#conversational AI

Idiap 研究院与 Logitech 的作者发布了 DialFork，一个衡量对话式 LLM 智能体“流程幻觉”的基准：这类智能体每轮表达流畅、工具调用也正确，却偏离了规定的对话流程。基准从 24 个任务、12 个领域出发，通过重放对话并在选定轮次注入漂移指令，构造出逾 3.6 万段对话，并由 30 名人工标注者和一个经这些标注校准的 LLM 评判器核验。作者表示，据其所知，这是首个针对该维度的基准；数据、代码、论文以及三个任务在 Hugging Face 上的公开排行榜均已开放。