导语：7月15日，阿里巴巴发布及时语音交互对于话模子Qwen-Audio-3.0-Realtime，于智商、Agent 东西挪用、共情对于话及双工交互流利度四条主线上同步

7月15日，阿里巴巴发布及时语音交互对于话模子Qwen-Audio-3.0-Realtime，于智商、Agent 东西挪用、共情对于话及双工交互流利度四条主线上同步进级，力图“又快又智慧”。模子包括推理更强的Plus 版本及速率更快的Flash 版本，合用在智能客服、教诲培训、文娱互动与感情陪伴等场景。本年5月，模子的Preview版本曾经于全世界权势巨子第三方评测平台Artificial Analysis榜单斩获了两项冠军，逾越GPT-Realtime-2。

为压低时延，及时语音模子往往捐躯推理深度，智商衰减。Qwen-Audio-3.0-Realtime针对于一样平常对于话、简朴问答等对于时延敏感的场景，可直接天生答复，毫秒级相应。于磨练“AI会不会答”的语音问答基准 VoiceBench 上，以书面化的尺度 prompt及白话化的prompt发问，Plus版本患上分别离为92.5及90.5，仅降落 2.0——象征着模子能扛住真人措辞的随便性。于更难的多轮音频对于话挑战AudioMultiChallenge 基准测试中，Flash版本尺度及白话化prompt患上分别离为 43.6及38.1，仅降落5.5。本年5月，模子的Preview 版本Fun-Realtime-Audiochat于“语音推理能力”指标上曾经以 97.6% 登顶Artificial Analysis。

文本年夜模子的Agent能力已经相称成熟，但语音模子往往是“能谈天不克不及服务”，模子要边听边判定什么时候该调东西，往往需要用户较着说出“帮我打开 XX ”才能触发东西，且切回闲谈后，轻易呈现上下文断裂。Qwen-Audio-3.0-Realtime无需明确的指令，便可自行挪用外部东西，挪用成果还有会主动融入对于话影象，一次挪用的成果会被记住，后面几轮追问都能接着用。例如用户先问“四周有甚么川菜馆”，再追问“评分 4.5 以上的哪家近来”，模子会主动跟尾舆图东西的上一次返回成果继承检索。模子基在 FunctionCall 尺度和谈，可以完成 MCP、API、常识库的引入。

共情对于话是本版本最能转变用户主不雅体验的部门。Qwen-Audio-3.0-Realtime 挣脱了传统语音助手的机械感，可按照对于话语境动态调解语气、节拍、调子与感情，好比于辩说场景中，模子能正确抓取对于方论点并快速构造辩驳，并连结得当的语气强度。于感情陪伴中，则经由过程语调、节拍与笑声、感喟、夷由等副语言旌旗灯号举行共情回应。于专门考“AI 说患上像不像人”的 S2S 语音指令遵照公然基准 VStyle 上，模子取患上 SOTA 成就。

双工交互流利度意为即模子能边说边听，像真人同样随时打断、插话，而非一问一答的对于讲机模式。Qwen-Audio-3.0-Realtime内置“多模态感知的双工节制”子模子，经由过程阐发音频旌旗灯号、语义内容与措辞人声纹特性，来判定怎样扳谈。好比于餐厅、开下班区等嘈杂情况中，它不会被配景噪声误打断；于多人会商中能锁定主对于话对于象、纰漏旁听者扳谈；于多措辞人切换时，则能按照语义线索天然过渡。是以，本年5月，模子的Preview 版本于对于话流利度指标上曾经以 97.6% 登顶Artificial Analysis。此外，模子的API还有预留了 audio_prompt 字段，用户可上传提早录制的音频样本，锁定声纹，聚焦特定的措辞人。

上述能力的晋升源在模子采用的 On-Policy Distillation（于线计谋蒸馏）框架。研究团队将文本年夜模子的完备推理能力蒸馏至语音模子——语音模子一边本身天生回覆、一边由文本年夜模子及时改正。同时引入多西席蒸馏计谋：白话多轮偏好西席保障白话化表达与指令遵照，通用西席卖力基础问答与推理，Agentic 西席锁定东西挪用与繁杂使命，音频理解西席处置惩罚副语言与音频语义信息，确保模子于四条主线上均不偏科。