上海交大推出口語對話情感大模型，支持多人實時對話
摘要: 4月16日消息，上海交通大學聽覺認知與計算聲學實驗室推出純學術界自研的支持多人實時口語對話的語音情感大模型交交，它不僅是一個智能語音助手，更
4月16日消息，上海交通大學聽覺認知與計算聲學實驗室推出純學術界自研的支持多人實時口語對話的語音情感大模型“交交”，它不僅是一個智能語音助手，更是一個多說話人、多語言、多角色、多情感的全能對話伙伴。當前，該模型已經開啟內測申請。
據介紹，“交交”可用于教育輔導、家庭互動、商務溝通、客服支持、娛樂陪伴等。
（“交交”對話界面）
根據介紹， “交交”，除了在對話上下文內容上的強大理解和知識問答能力，還同時具備多人對話與身份辨識，多語種和方言感知，角色切換與實時模仿，情感實時理解和表達等多項能力。這在目前已知發布的語音對話大模型中，尚屬首次。
實時對話采用了端到端語音對話，還有基于上下文信息，用思維鏈技術生成符合對話場景的情感全局表征，用在生動的情感語音回復生成。可以用于客服支持。
多人對話很像一個家庭聚會，或者開會的場景， “交交”能針對不同的人給出不同的回應。這采用了實時音色克隆技術。
“交交”支持漢語、英語、日語和法語四大主流語言，具備跨語言回復能力。
“交交”還具備角色扮演與情感互動，根據對話內容和場景理解用戶情緒，生成富有情感的回應。
知識問答方面，涵蓋廣泛的知識領域，如古詩詞背誦、科學原理講解、文學名著解讀等。這可用于家庭輔導，輔助教學。
根據介紹，“交交”可靈活拓展，具備對齊策略，支持文本與音頻模態的任意方式拼接融合，為集成大規模文本大模型中的多種增強機制(如聯網搜索、RAG檢索增強生成等)提供統一且可擴展的接口。
相關推薦
新教育 · 新觀察 · 新視點
