阿里發(fā)布Qwen3.5-Omni，多模態(tài)能力超越Gemini-3.1 Pro
來(lái)源： 紫牛新聞
2026-03-31 12:50:00
3月30日，阿里發(fā)布千問(wèn)新一代全模態(tài)大模型Qwen3.5-Omni，在音視頻理解、識(shí)別、交互等215項(xiàng)任務(wù)中取得SOTA（性能最佳），超越Gemini-3.1 Pro，成為目前全球最強(qiáng)的全模態(tài)大模型之一。新模型擁有極強(qiáng)的音視頻理解與實(shí)時(shí)交互能力，能夠?qū)σ粢曨l內(nèi)容生成詳細(xì)且可控的結(jié)構(gòu)化描述，可識(shí)別語(yǔ)言和方言數(shù)量多達(dá)113種，還驚喜地涌現(xiàn)出了音視頻Vibe Coding能力，用戶對(duì)著鏡頭闡述需求，就能讓模型自主生成APP、網(wǎng)頁(yè)、游戲等復(fù)雜產(chǎn)品代碼。目前，阿里云百煉已上新Qwen3.5-Omni的Plus、Flash、Light三種API，可廣泛應(yīng)用于短視頻/直播平臺(tái)、游戲、自媒體等行業(yè)。
Qwen3.5-Omni采用混合注意力MoE架構(gòu)，在海量文本、視覺(jué)以及超過(guò)1億小時(shí)的音視頻數(shù)據(jù)上進(jìn)行了原生多模態(tài)預(yù)訓(xùn)練，可實(shí)現(xiàn)圖片、視頻、語(yǔ)音、文字等全模態(tài)內(nèi)容的輸入與輸出。新模型在音視頻理解、跨模態(tài)推理、Agent方面實(shí)現(xiàn)了性能飛躍，在音視頻理解、語(yǔ)音識(shí)別、多語(yǔ)種翻譯、對(duì)話等215項(xiàng)第三方性能測(cè)試任務(wù)中取得SOTA。比如，在聚焦視聽(tīng)交互能力的DailyOmni、QualcommInteractive、Omni Cloze等測(cè)試中，Qwen3.5-Omni得分大幅領(lǐng)先Gemini-3.1 Pro；在檢測(cè)嘈雜環(huán)境抗干擾能力的WenetSpeech測(cè)試中，Qwen3.5-Omni錯(cuò)誤率遠(yuǎn)低于Gemini，識(shí)別準(zhǔn)確率極高；在考察多語(yǔ)言語(yǔ)音生成質(zhì)量的Multi-Lingual (30lang) 測(cè)試中，Qwen3.5-Omni同樣顯著優(yōu)于Gemini-2.5-Pro-TTS。
Qwen3.5-Omni跑分圖
Qwen3.5-Omni擁有極強(qiáng)的語(yǔ)言能力，支持113種語(yǔ)言及方言的語(yǔ)音識(shí)別和36種語(yǔ)言及方言的語(yǔ)音生成，就連使用人數(shù)不足一百萬(wàn)的毛利語(yǔ)和國(guó)內(nèi)的海南方言，也能精準(zhǔn)識(shí)別。新模型還大幅增強(qiáng)了實(shí)時(shí)交互體驗(yàn)，能高情商聽(tīng)懂用戶對(duì)話意圖，準(zhǔn)確區(qū)分有效回應(yīng)和隨口附和，就像和真人聊天一樣。同時(shí)，模型還可以根據(jù)指令自由調(diào)節(jié)語(yǔ)音、語(yǔ)調(diào)，并基于創(chuàng)新的ARIA技術(shù)，使生成的語(yǔ)音更自然、更穩(wěn)定。 在面對(duì)類似“今天的天氣怎樣”的實(shí)時(shí)提問(wèn)時(shí)，模型還能自主判斷并調(diào)用工具，確?；貜?fù)內(nèi)容準(zhǔn)確且時(shí)效性強(qiáng)。
基于一系列技術(shù)創(chuàng)新，Qwen3.5-Omni將Vibe Coding推入下一階段。與純文本或圖片驅(qū)動(dòng)的Vibe Coding不同，千問(wèn)可以實(shí)現(xiàn)音視頻編程：打開(kāi)攝像頭，用戶對(duì)著草圖口述需求，哪怕是包括復(fù)雜產(chǎn)品邏輯的描述，模型也能直接生成帶有復(fù)雜UI的產(chǎn)品原型界面，真正實(shí)現(xiàn)“動(dòng)動(dòng)嘴即可編程”。這一能力并非刻意設(shè)計(jì)，而是模型在原生多模態(tài)能力持續(xù)擴(kuò)展過(guò)程中自然涌現(xiàn)出的結(jié)果。
Qwen3.5-Omni頂尖的全模態(tài)能力，還能為專業(yè)領(lǐng)域帶來(lái)超級(jí)生產(chǎn)力。新模型可對(duì)畫(huà)面主體、人物關(guān)系、對(duì)話邏輯、乃至人物情緒起伏進(jìn)行極細(xì)的拆解，并自動(dòng)完成視頻章節(jié)切片與時(shí)間戳標(biāo)注，支持超過(guò)10小時(shí)的音頻輸入，將繁瑣的視頻后期梳理工作縮短至秒級(jí)，大幅降低了企業(yè)的內(nèi)容管理成本，在視頻創(chuàng)作、內(nèi)容審核等領(lǐng)域具有極高的落地價(jià)值。
目前，普通用戶也可前往Qwen Chat免費(fèi)體驗(yàn)，開(kāi)發(fā)者和企業(yè)可通過(guò)阿里云百煉平臺(tái)調(diào)用Qwen3.5-Omni模型，每百萬(wàn)Tokens輸入不到0.8元，比Gemini-3.1 Pro的1/10還低。據(jù)了解，千問(wèn)穩(wěn)居中國(guó)企業(yè)級(jí)大模型調(diào)用市場(chǎng)第一，服務(wù)涵蓋互聯(lián)網(wǎng)、金融、消費(fèi)電子及汽車(chē)等重點(diǎn)行業(yè)超100萬(wàn)家客戶。
揚(yáng)子晚報(bào)/紫牛新聞?dòng)浾? 徐曉風(fēng)
Qwen3.5-Omni跑分圖