#Multi-Agent
新 ALEM 基准测试评估 LLM 多智能体协调能力
8/10reddit.com · ⭐️ 8/10 · 2026-07-14
研究人员推出了 ALEM,一个基于 JAX 的开放式多智能体协调基准,并评估了 13 个 LLM,发现它们平均仅达到 6%的归一化回报,而零样本 Gemini 3.1 Pro 在最难设置下与经过训练的 MARL 智能体表现相当。 该基准填补了评估 LLM 在长期、开放式环境中协调能力的空白,强调了协调是超越个体任务能力的独立瓶颈,这对在多智能体系统中部署 LLM 具有重要意义。 ALEM 基准包含九个程序化生成的关卡,具有可控制的协调需求,研究中的消融实验表明通信对性能影响最大。论文、代码和交互轨迹均已公开。