DoNews1月26日消息，云知聲今天迎來了“山?！ぶ簟?.0的發(fā)布，正在完成“一基兩翼”技術(shù)戰(zhàn)略升級(jí)的能力拼圖。
“山海·知音”大模型 2.0——依托“山?！tlas”的多模態(tài)、跨語言基座能力，讓“山?！ぶt(yī)”等垂直專業(yè)智能體，惠及千家萬戶——聽懂專業(yè)與鄉(xiāng)音、聊出親情與溫度、極致機(jī)敏反應(yīng)，是本次升級(jí)的三大能力進(jìn)化。
聽懂專業(yè)與鄉(xiāng)音——ASR全景升級(jí)
此次模型ASR能力在公開測(cè)試集和自有全場(chǎng)景測(cè)試集中，均顯現(xiàn)了領(lǐng)先的語音識(shí)別能力，在評(píng)測(cè)中實(shí)現(xiàn)了從通用到極端全面的領(lǐng)先水平，超過了國(guó)內(nèi)主流的開源和閉源語音大模型，達(dá)到業(yè)界最高水平。
特別是在高難度的復(fù)雜噪音與方言口音場(chǎng)景下，相比主流ASR模型性能提升了2.5%至3.6%，在復(fù)雜背景音環(huán)境下識(shí)別準(zhǔn)確率更是在業(yè)內(nèi)首次突破90%。
公有測(cè)試集
隨著智能體時(shí)代到來，云知聲在“山海·Atlas”通用智算基座持續(xù)演進(jìn)基礎(chǔ)上，年前實(shí)現(xiàn)了“山海·知醫(yī)”5.0醫(yī)療大模型升級(jí)，今天迎來了“山海·知音”2.0的重磅發(fā)布，正在完成“一基兩翼”技術(shù)戰(zhàn)略升級(jí)的能力拼圖。
自有測(cè)試集
“山?！ぶ簟贝竽Ｐ?2.0——依托“山?！tlas”的多模態(tài)、跨語言基座能力，讓“山?！ぶt(yī)”等垂直專業(yè)智能體，惠及千家萬戶——聽懂專業(yè)與鄉(xiāng)音、聊出親情與溫度、極致機(jī)敏反應(yīng)，是本次升級(jí)的三大能力進(jìn)化。
聽懂專業(yè)與鄉(xiāng)音——ASR全景升級(jí)
此次模型ASR能力在公開測(cè)試集和自有全場(chǎng)景測(cè)試集中，均顯現(xiàn)了領(lǐng)先的語音識(shí)別能力，在評(píng)測(cè)中實(shí)現(xiàn)了從通用到極端全面的領(lǐng)先水平，超過了國(guó)內(nèi)主流的開源和閉源語音大模型，達(dá)到業(yè)界最高水平。
特別是在高難度的復(fù)雜噪音與方言口音場(chǎng)景下，相比主流ASR模型性能提升了2.5%至3.6%，在復(fù)雜背景音環(huán)境下識(shí)別準(zhǔn)確率更是在業(yè)內(nèi)首次突破90%。
聊出親情與溫度——TTS聲動(dòng)進(jìn)化
如果說ASR能力是“耳朵”，那么TTS能力便是“嘴巴”。山?！ぶ?TTS以“高度擬人+創(chuàng)意多元”為核心，讓語音合成兼具真實(shí)感與創(chuàng)造力，使科技更有溫度。它目前支持12種方言（粵語、四川話、上海話全拿下）+ 10種外語，清嗓、笑聲、呼吸聲都自然還原，甚至能切換 12種普通話風(fēng)格，溫柔、干練、親切隨你選。“科技不該高高在上，而該用你最舒服的方式說話?！?/p>
基于大模型的語音合成通常采用流匹配(Flow Matching)將大語言模型預(yù)測(cè)的語音Token轉(zhuǎn)換為梅爾譜，再通過神經(jīng)聲碼器(Neural Vocoder)重建為最終語音。但該方案普遍存在延遲較高的問題。
因果注意力機(jī)制
業(yè)界常通過流匹配分段處理來降低延遲，但效果有限，且容易犧牲音質(zhì)。為實(shí)現(xiàn)真正高質(zhì)量、低延遲的流式語音生成，云知聲創(chuàng)新性地設(shè)計(jì)了基于純因果注意力機(jī)制的流匹配模塊，并與神經(jīng)聲碼器進(jìn)行聯(lián)合優(yōu)化，構(gòu)建出端到端的純流式推理架構(gòu)。該方案在不損失合成質(zhì)量的前提下，顯著降低系統(tǒng)延遲——在低并發(fā)場(chǎng)景下，首包延遲已壓縮至90毫秒以內(nèi)，達(dá)到業(yè)界領(lǐng)先的實(shí)時(shí)交互水平。
極致機(jī)敏反應(yīng)——端到端全雙工交互
真正的智能交互，在于“理解語境、感受情緒、自然回應(yīng)”。端到端模型實(shí)現(xiàn)流暢全雙工面臨的核心挑戰(zhàn)是：需在流式收聲時(shí)同步完成理解、決策與生成，并在任意打斷瞬間保持對(duì)話狀態(tài)連貫。
山海·知音2.0基于端到端交互大腦攻克了這一難題，將全雙工能力提升至新高度。支持隨時(shí)打斷、即時(shí)接話、連貫追問，就像和一個(gè)真正聰明的朋友聊天，行云流水，毫無卡頓?！斑@不是問答，是對(duì)話?！?/p>
背后是誰在支撐這一切？答案是云知聲獨(dú)創(chuàng)的 “山?！tlas”智算一體基座，將通用多模態(tài)大模型底座與Atlas基礎(chǔ)架構(gòu)深度整合，既是專業(yè)智能體的基礎(chǔ)，也是感知AI中樞的根基——將傳統(tǒng)的ASR、TTS和全雙工能力，有效整合到端到端大模型中，做到傳統(tǒng)模塊級(jí)聯(lián)無法實(shí)現(xiàn)的極致交互體驗(yàn)和效率。
智起山海，知音萬物從手術(shù)室到鄉(xiāng)間小路，從駕駛艙到老人床頭，云知聲相信：真正的智能，不是炫技，而是融入生活。山?！ぶ?2.0，讓 AI 不再“人工智障”，而是聽得清、說得真、懂人心的伙伴。這一次，AI 終于學(xué)會(huì)好好說話了。
