#full-duplex models

7/10

Boson AI 发布了 Higgs Realtime Duplex:一个 45B 混合专家(MoE)全双工多模态模型,可同时处理音频、视频和文本流,并在说话的同时于同一条流中执行思考、工具调用和任务委派。所有输入被切成 160 毫秒的块——音频输入每块 1 个 token(约 6.25 token/s),音频输出每块 2 个 token(12.5 token/s),每 6 块送入一帧约 12 token 的摄像头画面;静音同样以块表示,模型据此决定何时接话、打断或保持安静。模型从文本预训练 LLM 出发,在约 2T token 的文本、音频和视频上继续预训练,再以多教师 on-policy 蒸馏把经 RL 训练的专家合并为单一学生模型;声音和形象在部署时用一段参考音频和一张图片零样本设定,无需微调。目前权重不开放,Duplex API 需排队申请(上一代回合制 Higgs Realtime 已可用),且公布的基准为厂商自测:Big Bench Audio 为 98.9,高于其对比的 TML Interaction Small 96.5 与 OpenAI 97,但 Full-Duplex-Bench v1.5 为 75.5,落后 TML 的 77.8,OpenAI 在七项基准中的五项领先。