聯(lián)系我們，獲取一對(duì)一客戶服務(wù)
合作咨詢
云知聲數(shù)字人通過音頻和視頻多模態(tài)融合、領(lǐng)先的人機(jī)對(duì)話交互全鏈路技術(shù)，結(jié)合語(yǔ)音識(shí)別、語(yǔ)義理解(大模型)、深度學(xué)習(xí)真人合成、有機(jī)融合視覺和聽覺交互感受,提供高度模擬真人交互體驗(yàn)。廣泛應(yīng)用于交通客服導(dǎo)覽、交通智能培訓(xùn)、勤務(wù)指揮監(jiān)督、品牌形象代言等服務(wù)場(chǎng)景。
云知聲數(shù)字人通過音頻和視頻多模態(tài)融合、領(lǐng)先的人機(jī)對(duì)話交互全鏈路技術(shù)，結(jié)合語(yǔ)音識(shí)別、語(yǔ)義理解(大模型)、深度學(xué)習(xí)真人合成、有機(jī)融合視覺和聽覺交互感受,提供高度模擬真人交互體驗(yàn)。廣泛應(yīng)用于交通客服導(dǎo)覽、交通智能培訓(xùn)、勤務(wù)指揮監(jiān)督、品牌形象代言等服務(wù)場(chǎng)景。
方案架構(gòu)
方案介紹
真人形象1:1還原定制
先由真人拍攝視頻，后通過AI算法訓(xùn)練生成，多形象、多音色可選，支持多套服裝、站姿、坐姿，滿足不同使用場(chǎng)景，錄制3分鐘視頻完成形象定制，錄制2分鐘語(yǔ)音完成聲音定制。
3D擬真/卡通數(shù)字人形象定制
高／低擬真的卡通數(shù)字人，需要先設(shè)計(jì)卡通形象，然后進(jìn)行3D建模和動(dòng)作綁定，以精細(xì)／低擬的卡通形象與用戶進(jìn)行交互，整體制作周期一個(gè)月。
數(shù)字人引擎
口唇匹配
分析音頻信號(hào)提取語(yǔ)音特征，實(shí)時(shí)驅(qū)動(dòng)數(shù)字人口型模型變化
- 驅(qū)動(dòng)口型運(yùn)動(dòng)
- 高度匹配語(yǔ)音輸入
- 數(shù)百種口型模板
- 精準(zhǔn)表達(dá)口型動(dòng)作
- 真實(shí)流暢發(fā)音
面部驅(qū)動(dòng)
利用深度學(xué)習(xí)技術(shù)，訓(xùn)練模型將面部數(shù)據(jù)映射至3D數(shù)字人模型，實(shí)現(xiàn)實(shí)時(shí)應(yīng)用
- 表情自然逼真
- 語(yǔ)音內(nèi)容驅(qū)動(dòng)表情及肢體動(dòng)作
- 豐富表情庫(kù)和動(dòng)作庫(kù)
- 支持表情動(dòng)作定制
動(dòng)作觸發(fā)
傳感器捕捉慣性動(dòng)作，AI實(shí)時(shí)渲染，語(yǔ)音、表情、情感與場(chǎng)景驅(qū)動(dòng)，實(shí)現(xiàn)智能逼真3D數(shù)字人動(dòng)作
- 動(dòng)作觸發(fā)驅(qū)動(dòng)
- 動(dòng)捕設(shè)備驅(qū)動(dòng)
- 攝像頭驅(qū)動(dòng)
- 動(dòng)作庫(kù)
感知交互
產(chǎn)品特性:業(yè)界領(lǐng)先降噪算法確保音頻純凈輸入，通過高精度ASR識(shí)別和大模型文字理解和意圖識(shí)別能力，最后通過端到端TTS技術(shù)將文字合成語(yǔ)音或復(fù)刻個(gè)性化聲音，TTS在參數(shù)預(yù)測(cè)部分采用基于tacotron的seg2seg技術(shù)方案，在聲碼器部分采用 WaveNet 的技術(shù)方案，基于GAN和RNN 進(jìn)行關(guān)鍵點(diǎn)預(yù)測(cè)和音視頻生成。
認(rèn)知交互
云知聲山海大模型賦予數(shù)字人多模態(tài)融合認(rèn)知大腦、感知聲音融合、形成多模態(tài)交互閉環(huán)。應(yīng)用到軌道交通、公交交通、航空交通、交通樞紐、道路交通等領(lǐng)域、實(shí)現(xiàn)知識(shí)檢索查詢、智能推理和比對(duì)、自動(dòng)生成內(nèi)容等智能化服務(wù)，并配合插件API擴(kuò)展功能與應(yīng)用場(chǎng)景。
技術(shù)路線
方案優(yōu)勢(shì)
高度逼真的視覺呈現(xiàn)
先進(jìn)渲染技術(shù)： 運(yùn)用尖端的圖形渲染技術(shù)，創(chuàng)造出接近真實(shí)的數(shù)字人物形象。
動(dòng)態(tài)表情捕捉： 通過高精度的表情捕捉系統(tǒng)，實(shí)現(xiàn)自然流暢的表情變化，增強(qiáng)互動(dòng)的真實(shí)感。
肢體動(dòng)作模擬： 精細(xì)的肢體動(dòng)作模擬技術(shù)，使得數(shù)字人能夠在各種場(chǎng)景中自然地表達(dá)情感和意圖。
智能交互能力
自然語(yǔ)言處理(NLP)： 強(qiáng)大的自然語(yǔ)言處理引警使數(shù)字人能夠理解復(fù)雜的語(yǔ)義，進(jìn)行流暢的人機(jī)對(duì)話。
情境感知： 能夠根據(jù)不同的場(chǎng)景自動(dòng)調(diào)整交互策略，提供個(gè)性化的服務(wù)體驗(yàn)。
多模態(tài)交互： 支持語(yǔ)音、文字、圖像等多種輸入方式，豐富了用戶與數(shù)字人之間的溝通手段。
一站式解決方案
跨平臺(tái)兼容性: 支持多種接入方式，包括H5網(wǎng)頁(yè)、微信小程序以及Android和iOS移動(dòng)應(yīng)用程序，覆蓋廣泛的用戶群體。
高性能渲染: 采用WebGL、Unitv和UE (Unreal Enaine) 等先進(jìn)的渲染引擎，確保在不同平臺(tái)上都能星現(xiàn)出高質(zhì)量的視覺效果。
實(shí)時(shí)互動(dòng)體驗(yàn): 兼容多種通信協(xié)議(如RTSP、WebRTC和TRTC)，保了低延遲、高清晰度的實(shí)時(shí)視頻流傳輸，增強(qiáng)了用戶與動(dòng)體驗(yàn)。
高效的內(nèi)容創(chuàng)作
自動(dòng)化生成： 支持快速創(chuàng)建個(gè)性化內(nèi)容，降低內(nèi)容制作成本。
模板化編輯： 提供豐富的模板選擇，簡(jiǎn)化內(nèi)容創(chuàng)作流程。
一鍵發(fā)布： 方便快捷地將數(shù)字人內(nèi)容發(fā)布到不同的平臺(tái)和渠道。
應(yīng)用場(chǎng)景
提供服務(wù)咨詢、站內(nèi)引導(dǎo)、融合換乘指導(dǎo)、周邊商家等功能
交通領(lǐng)域教育培訓(xùn)與模擬實(shí)訓(xùn)虛擬數(shù)字人方案
實(shí)現(xiàn)對(duì)勤務(wù)工作的全面監(jiān)控、精準(zhǔn)指揮和有效監(jiān)督
青島地鐵吉祥物：青小鐵、青小通
相關(guān)資源