騰訊天籟實驗室的成功之聲
商世東(dong)是(shi)云端會議(yi)軟(ruan)件騰(teng)(teng)訊(xun)(xun)會議(yi)(國際版(ban)為VooV Meeting)旗下騰(teng)(teng)訊(xun)(xun)天籟(lai)實驗室的總經(jing)(jing)理。自2019年加入騰(teng)(teng)訊(xun)(xun)以來,商世東(dong)帶(dai)領團隊為騰(teng)(teng)訊(xun)(xun)會議(yi)開發實時音頻技術(shu),并通過各種努力為聽(ting)障人(ren)士提供幫助。在(zai)(zai)加入騰(teng)(teng)訊(xun)(xun)之前,他在(zai)(zai)視聽(ting)技術(shu)領域擁有近20年的經(jing)(jing)驗,曾就職于摩(mo)托(tuo)羅拉(la)和杜比實驗室。
在(zai)(zai)最新一期騰訊(xun)視角中,商世東與我們分享(xiang)了天(tian)籟實驗室的最新進(jin)展以及他在(zai)(zai)騰訊(xun)的生活點滴。??
1. 您當初為何決定加入騰訊?
這對我(wo)來(lai)說并不是一個艱難的決定。在(zai)從事音視(shi)頻技術研發(fa)工(gong)作近(jin)二十年后(hou),我(wo)愈發(fa)渴望直(zhi)(zhi)接參與產品開發(fa)和迭代,直(zhi)(zhi)接與用戶交流,讓(rang)自己的研究(jiu)對世界(jie)產生真正的影響。
以前,我(wo)更(geng)多是(shi)投身于實驗室(shi)進行(xing)一線的科學(xue)研(yan)究。而現(xian)在(zai)我(wo)每天可以為幾(ji)千萬(wan)甚至數(shu)億(yi)用戶提供(gong)技術(shu)支持,讓(rang)他們的工作和生活更(geng)加方便,這讓(rang)我(wo)倍感振奮(fen)和自豪。
2. 在過去的兩年中,您為自己和團隊設定了哪些目標?加入騰訊以來最難忘的是什么?
加(jia)入團隊的第一年,我(wo)的目標是(shi)改善(shan)騰訊(xun)多媒體實驗(yan)室與(yu)音頻相關的技術解(jie)決方案,了解(jie)騰訊(xun)的企(qi)業(ye)文(wen)化和(he)各項業(ye)務,與(yu)其他團隊積(ji)極溝通,使我(wo)們開(kai)發(fa)的技術可以在現有平臺(tai)上發(fa)揮更大作(zuo)用。
隨后我們開始思考如何將遠程通信和音頻相關的技術應用于更多場景。整個天籟語音模塊就是基于這些理念設計的。采用天籟語音技術的騰訊會議于2019年底正式發布,目前全球用戶數已接近2億。疫情爆發后,我們能夠滿足用戶對高效、穩定的遠程通信和協同辦公的需求。
我(wo)(wo)們(men)在(zai)(zai)這一階段取得的(de)成果超出了(le)我(wo)(wo)的(de)預(yu)期。非常(chang)感謝(xie)騰訊讓我(wo)(wo)和我(wo)(wo)的(de)團(tuan)隊(dui)可以自由地決定(ding)研發工作的(de)方向和方法(fa),鼓勵我(wo)(wo)們(men)全情(qing)投(tou)入(ru)在(zai)(zai)對(dui)公司、行業和社(she)會(hui)均具價值的(de)技術研究,這不僅(jin)實(shi)現了(le)我(wo)(wo)為自身職業生涯(ya)設定(ding)的(de)目標,也幫助了(le)有需要的(de)人。
3. 天籟AI音頻技術是天籟實驗室的重要成果。您能簡單介紹一下這項技術的研發過程嗎?
大約6年前,隨著網絡的(de)普及以及云計算、深(shen)度學習和其他(ta)技術(shu)的(de)進步,我們預見到視聽(ting)技術(shu)將在(zai)虛擬會議、協同(tong)辦(ban)公等(deng)領域發揮更(geng)大的(de)作(zuo)用。
近20年(nian)來(lai),騰訊在(zai)(zai)音(yin)視(shi)頻(pin)(pin)通信領域(yu)積累了豐富的(de)經驗和強大(da)的(de)技(ji)術(shu)(shu)能(neng)力。我們的(de)音(yin)頻(pin)(pin)技(ji)術(shu)(shu)被(bei)采用(yong)于(yu)擁(yong)(yong)有(you)龐(pang)(pang)大(da)用(yong)戶群的(de)社交軟件(jian)、視(shi)頻(pin)(pin)和游(you)戲等消費產品,以及(ji)云計算和AI行(xing)業服務等工業解決方案。這(zhe)項技(ji)術(shu)(shu)在(zai)(zai)多個行(xing)業具備巨大(da)的(de)應用(yong)潛力,并且擁(yong)(yong)有(you)龐(pang)(pang)大(da)的(de)用(yong)戶群,這(zhe)對研(yan)發人員來(lai)說(shuo)無疑是獨特(te)的(de)優(you)勢。
不過(guo),視頻會(hui)議仍存在一(yi)些(xie)亟待解(jie)決的(de)痛點,例如(ru)如(ru)何(he)讓用(yong)戶在實(shi)時(shi)虛擬(ni)會(hui)議中聽得更清楚。天籟實(shi)驗室(shi)繼續通過(guo)語音(yin)(yin)信(xin)號本身來降低噪音(yin)(yin),同時(shi)不斷改善電路設計、聲學效果和(he)算法。
我們運用聲場感知、采集和重建技術,創造性地解決了會議室復雜場景中實時音頻技術的諸多問題。此外,我們利用深度學習模型,消除了會議室中的200余種非平穩噪聲,例如來自空調、風扇葉片旋轉、在手機屏幕上書寫、敲擊鍵盤、放下杯子和翻頁等等的噪聲。(點擊了解商世東的團隊如何讓聲音更清晰)
4. 天籟實驗室與國際知名制造商美笛樂(MED-EL)聯合開發了全球首個集聽力測試、輔聽、遠程聽力服務于一體的助聽應用。雙方是如何合作的?
隨著騰訊會議和我們的其他產品相繼取得成功,天籟技術的出色表現有目共睹。我們開始思考這項技術是否可以應用到更廣泛的領域。多年來,騰訊一直與公益組織緊密合作,所以我們把目光投向了聽障人群的潛在需求。?
雖然我們擁有先進的音頻技術和通訊領域的成功經驗,但我們不是專業的醫療設備公司。去年,我們通過與中國知名的人工耳蝸制造商諾爾康合作,將天籟AI技術應用于人工耳蝸,將人工耳蝸的語音清晰度和可懂度提高了40%。
我(wo)們(men)了解(jie)到(dao),受(shou)疫情影響,部分聽(ting)障用(yong)戶(hu)難(nan)以外出就診或接受(shou)聽(ting)力檢測,因此我(wo)們(men)開始思考如(ru)何滿足聽(ting)障用(yong)戶(hu)居家(jia)進行康復(fu)和(he)(he)問診的(de)(de)需求(qiu)。起(qi)初,我(wo)們(men)開發了一(yi)個微(wei)信小程序(xu)。經過(guo)(guo)與(yu)用(yong)戶(hu)、廠商和(he)(he)醫療專家(jia)的(de)(de)無數次溝通,同時結合(he)(he)數據分析,我(wo)們(men)不斷升級和(he)(he)優化這個小程序(xu)的(de)(de)各項功能,并將其升級為一(yi)個獨(du)立的(de)(de)移動端應用(yong)程序(xu)。在此過(guo)(guo)程中,我(wo)們(men)的(de)(de)決(jue)心和(he)(he)能力給合(he)(he)作伙伴(ban)留下了深刻印象,為此后的(de)(de)合(he)(he)作奠(dian)定了基礎。
在我(wo)看(kan)來(lai),作(zuo)為(wei)技(ji)術(shu)部門的(de)負責人(ren),你(ni)首先必(bi)須信賴自(zi)己的(de)技(ji)術(shu),然后從(cong)用戶的(de)角(jiao)度出發去理解他們的(de)感受。此外(wai),你(ni)必(bi)須有推(tui)動項目發展的(de)決(jue)心和毅力,積極尋(xun)求外(wai)部合作(zuo)伙伴或公司內部資源的(de)支持,實現互(hu)利共(gong)贏。
5. 我們如何才能在未來充分發揮技術的潛力,為社會創造價值?
騰訊始終秉(bing)承“科技(ji)(ji)向善”的(de)(de)使命,在商(shang)業、技(ji)(ji)術、產品(pin)等各個(ge)方面(mian)躬耕不輟。以我們(men)實(shi)驗室為例(li),公司從來沒有給我們(men)設(she)定明確的(de)(de)短期(qi)商(shang)業化目標(biao),而是鼓(gu)勵大(da)家思(si)考我們(men)的(de)(de)技(ji)(ji)術如何才能惠及更多(duo)的(de)(de)人(ren),創造更大(da)的(de)(de)社會價值。在這樣一(yi)個(ge)寬松靈活的(de)(de)環境中,我們(men)可以根據自(zi)己對技(ji)(ji)術的(de)(de)理解和(he)現有的(de)(de)技(ji)(ji)術儲備,思(si)考弱勢群體(ti)的(de)(de)真實(shi)需求和(he)相關(guan)應用場景,從而開發出(chu)服務不同(tong)人(ren)群的(de)(de)產品(pin)。
其次(ci),騰(teng)訊一直(zhi)倡導雙贏戰略,與(yu)合作(zuo)(zuo)伙(huo)伴共建產(chan)業生態。例如,公(gong)司與(yu)專業志(zhi)愿(yuan)者(zhe)(zhe)、志(zhi)愿(yuan)者(zhe)(zhe)組織(zhi)和公(gong)益機構聯(lian)合設(she)立“”,通過技術創新和協作(zuo)(zuo)來解決社會痛點。我們與(yu)美笛樂合作(zuo)(zuo)時,雙方首要考慮的(de)是攜手(shou)實(shi)現(xian)我們的(de)愿(yuan)景(jing),而(er)非(fei)自身的(de)利益。
我(wo)認為,音(yin)頻(pin)技(ji)術(shu)在助力實(shi)現無障礙社會(hui)方(fang)面擁有巨(ju)大(da)(da)的(de)(de)(de)(de)潛力。今年4月,騰訊(xun)宣布(bu)升(sheng)級(ji)總體戰略,將“推動可持(chi)續社會(hui)價(jia)(jia)值(zhi)創新(xin)”作為核心(xin)。我(wo)們(men)與新(xin)成(cheng)立的(de)(de)(de)(de)可持(chi)續社會(hui)價(jia)(jia)值(zhi)事業部(bu)旗下(xia)實(shi)驗室,積(ji)極討論(lun)和探索(suo)音(yin)頻(pin)技(ji)術(shu)的(de)(de)(de)(de)社會(hui)價(jia)(jia)值(zhi)。例如,我(wo)們(men)正在研究音(yin)頻(pin)技(ji)術(shu)如何幫助老年人,以便更好地滿(man)足養(yang)老院和老年人康(kang)復中(zhong)心(xin)等(deng)場景的(de)(de)(de)(de)需求(qiu)。許多長輩聽(ting)力受(shou)損,通過語音(yin)增(zeng)強和降噪等(deng)技(ji)術(shu),可以大(da)(da)大(da)(da)改善他們(men)的(de)(de)(de)(de)生(sheng)活質(zhi)量。
6. 您的一天通常是怎么度過的?可否簡單介紹一下天籟實驗室的日常工作和團隊文化?
天籟實驗室倡導開放、創(chuang)新和變革。團隊(dui)里的(de)(de)(de)每(mei)個(ge)人都(dou)有各自的(de)(de)(de)技術專長(chang),能(neng)夠在不同業務場景(jing)發揮所長(chang),我們鼓勵大家走出自己的(de)(de)(de)舒適(shi)區(qu),更多了解外面的(de)(de)(de)世界,看(kan)看(kan)其(qi)他行(xing)業取得的(de)(de)(de)哪些重(zhong)要進(jin)展可以啟發或融(rong)入(ru)我們的(de)(de)(de)技術之中。
只(zhi)有保持開放的視野和思(si)維,我(wo)們才(cai)能(neng)更(geng)(geng)好(hao)地進行跨行業合作和創新(xin)。例如,許多(duo)用戶希望(wang)在(zai)音頻產品中(zhong)使用視覺、圖像、文字等功能(neng),這就需要(yao)我(wo)們進行多(duo)模態和跨模態的語音處理,以提供更(geng)(geng)好(hao)的體(ti)驗。
我非常喜歡(huan)聽故事,經常聽播客,最喜歡(huan)的(de)播客是“People Fixing the World”。世界上有(you)許(xu)多問(wen)題。有(you)的(de)人(ren)只看(kan)到困難(nan),而有(you)的(de)人(ren)卻思考如何(he)解決困難(nan)。我經常會深受鼓舞,更(geng)加(jia)確信自己可以作出更(geng)大的(de)貢獻,讓世界變得(de)更(geng)美好(hao)。