央廣網北京5月17日消息（記者 牛谷月）5月17日，由搜狐科技主辦、央廣網作為戰略支持媒體參與的“2021搜狐科技5G&AI峰會”在北京開幕。峰會大咖齊聚，共同探討5G和AI技術的最前沿發展以及應用落地情況。

　　上午，峰會上特別進行了搜狐新聞24小時數字人發布（Powered By Sogou）。搜狗公司CEO王小川發表了主題演講，與大家分享數字機器人背后的黑科技。

　　王小川指出，早在2018年，搜狗推出了第一款“數字人”，這是以新華社的崔浩命名合作了“新小浩”的形象，這也是全球第一款AI合成主播的亮相。第一代“數字人”的表情和手勢還非常拘束�！爸�后我們在道路上一直引領著發展，現在已經推出了七代‘數字人’產品�！�

　　為什么會考慮推出“數字人”？王小川指出，源頭是搜狗基因里涵蓋著搜索，表達了知識獲取、和人對話的能力，輸入法更強調溝通，輸入法和搜索背后的原始核心都是強調的語言。

　　以下為王小川演講全文：

　　搜狗更讓人熟悉的產品是輸入法搜索，背后也有一套AI的理念和產品，這次和搜狐一塊推出柳巖主播形象，背后有更多的內容跟大家分享。

　　早在2018年，搜狗推出了第一款“數字人”，這是以新華社的崔浩命名合作了“新小浩”的形象，這也是全球第一款AI合成主播的亮相。引起了國際上面的熱議，尤其是全球的頂尖媒體，包括像華盛頓郵報、Times，從主流到擴展開有500多家媒體報道事件，當時新華社的人物成為了全球AI人物的亮點。

　　當然，第一代“數字人”的整個表情和手勢還是非常拘束的。之后我們在道路上一直引領著發展，現在我們已經推出了七代“數字人”產品，從第一代，之后2019年第一季度推出了表情更加豐富的“數字人”。

　　第一代還很僵硬，第二代的時候從坐立的形象走向站起來，有肢體語言。三季度的時候發布了第四代技術，開始有多種語言，從中文走向英文、俄文，應用也是在海淀知識產權法庭使用。

　　2019年“數字人”有完整的能力，一個感知的人的表情和語言能力，另一方面語言的問答能力合并，客服的能力，這個產品在平安進行了使用。2019年的時候有了第六代的大規模肢體語言，到了2020年的時候走向3D，這是更大的突破，從2D到3D使它的肢體和場景有無限的展開。

　　在行業應用中，新聞主播是第一代的原型，之后有了AI營養師，在搜狗產品里面跟用戶交互，能夠使用戶的體驗度有更多的好感。還有AI的法官，下面的客服和證券也是在使用的，包括平安有“數字人”，我們還有數字人分身。這是著名的氣象主播楊丹，我們也數字化了。

　　為什么會考慮推出“數字人”？源頭是搜狗基因里涵蓋著搜索，表達了知識獲取、和人對話的能力，輸入法更強調溝通，輸入法和搜索背后的原始核心都是強調的語言。

　　語言存在兩個能力。首先語言承載了溝通的能力，通過語言人和人進行交流。其次語言承載了認知能力，如果沒有語言人類是沒辦法進行深層次思考的。以語言為核心以交互的技術進行溝通，從文字走向語音、圖像、視覺。在認知層面的知識計算，語言搜索的核心加進去，里面有對話、翻譯的能力，把溝通能力和它的計算思考合在一塊。

　　我們認為有機會給行業人士去制造他們的分身，讓他們的知識能力拓展到不止一個肉身去工作，同時讓他一天24小時無休地做更多的服務。在行業當中今天有另一個走向是偶像，是打造一個虛擬的情感和崇拜能力，解決行業效率提升的問題。

　　除了剛才講的以外，搜狗在語音識別合成里面做了非常多年的積累，今天可以秀一下口音里面背后有大量的技術，包括語音音節的表征遷移技術。比如特朗普口音，下載素材并通過半個小時聲音皮膚技術處理，把他的音色提取出來，他就可以說中文了。

　　這是原始的工作，他的口音還帶有川普的音色，我們現在也有更多的技術對他的底層皮膚聲音的音節進行更多的修正，一種情況是修正成普通話。同時也有能力修正為其它的各種方言，可以把口音修成普通話，也可以把普通話做成其它的口音，比如陜西口音的合成，有不同方言的合成，也有韻味帶進來，有非常多的工作可以讓這種口音播報更加自然和有趣。

　　除了合成里面蘊含的黑科技，搜狗也是行業當中最早實現唇語識別工作。深度學習可以做到的一項工作就是做到了唇語識別，還可以獨立工作，不需要語音提取，只看嘴型變化就可以到60%的識別。把語音和口型放在一塊，語音非常嘈雜的情況里面幾乎只用視覺也可以達到90%的高度，在電梯以及外部環境聽不清的地方都可以使用。這不止是處理文字、語音或者簡單圖像的合成，而是在語音圖像的合成里面找到核心的技術。

　　基于這樣的技術，我們可以看到全面的能力，有圖像識別、人體識別、語音合成，嘴部語言合成，耳朵聽聲音，大腦思考變化，面部的表情和嘴唇言語的合成，打造全方位互動的形象，成為更多的分身。

　　比如銀行客服人員，她有真實的原型，但是一旦用自數字合成之后就有孿生的系統。國家在定的法規在保險行業是必須要進行面簽，網絡上的面簽希望節省客服人員的工作量，最后就有這樣的虛擬形象和面簽，對消費者有一個告知和全程數據錄像，解決了金融行業出現的問題。

　　還有什么工種更有社會意義呢？搜狗跟搜狐完成媒體的升級的同時，我們考慮自己的社會責任。全球大概有4.6億的聽障人士，中國有2700萬人，他們直接看電視和網絡新聞的時候聲音的敏感度不夠。

　　國際公約要求媒體能夠提供有聽障人士需要的節目，大家看到新聞能夠提供聽障人士的版本供他們使用，中國08年參與這項公約。在聽障人士的節目制作上，與歐美發達國家和港臺地區相比，我們相對都是落后的狀態，這樣的情況并沒有引起學界高度重視和跟進，整個的研究水平和實驗水平相對偏低。

　　這樣一個技術背后的原因也是有相當大的挑戰，國外在發達國家有更多的真實人士配置。我們提倡數字分身的技術是否能夠把更多手語主播的能力合成進來變成分身。這是蠻難的，我們有非常多的技術難點。

　　第一件事情，手語語言并不是純正的漢語，語法規則不一樣。普通話貓追老鼠，手語就是貓、老鼠追，還有開車不準喝酒，開車喝酒不準，要進行一層一層語義的翻譯工作。在這種情況下，我們今天看到在新聞電視主播的使用離殘疾人士和聽障人士是有距離的，打手勢的優化程度不足理解度只有60%。而翻譯技術上反而幫助我們把正常語序翻譯成聽障人士需要的語序。

　　第二件事情，當我們在做手語的時候，“數字人”的表達動作需要非常豐富，尤其是有大的肢體動作和細膩的手勢表達，不簡單是語言語音的問題，肢體本身成為他們獲取信息最重要的場景。隨著我們從期待的“數字人”技術進步到今天到大的肢體表演和小的肢體里面，有機會完全手語的表現能力。

　　第三件事情，不僅是手語，我們發現聽障人士表達的時候他們的表情在傳遞信息，表情參與了整個語義里面。比如他打的手勢——“他究竟什么意思”有不同的表情傳遞不同的意思。比如問句、感嘆句、陳述句。在合成的時候不僅要有一個大范圍手勢和細膩手勢，對于表情的聯合建模也非常關鍵，極大提高了他們對語義的理解。

　　在這樣一個大的情況里面把搜狗的語言和語音、圖像相關的很多能力用到了，在前期有文本的預處理之后開始用了手語翻譯，里面借鑒了機器翻譯能力，把手語表征進行合成，形成了自然語言到手語切分的表達，所有的生成一方面是生成手勢能力，一方面是生成面部表情，最后合成得到一個新的“數字人”。最終就合成了全球首個AI合成手語主播。

　　我們今天正式做一個“手語AI合成主播”發布。希望在今年年底之前這樣的產品能正式上線，幫助中國人民和全體人民享受更好的數字生活。