5G、AI等技術(shù)的不斷發(fā)展，正在逐步拉近虛擬與現(xiàn)實空間的物理距離，XR作為全真互聯(lián)的重要入口之一，也進入了高速發(fā)展期。近年來，XR頻繁出現(xiàn)在各類政府工作報告中，并被列為數(shù)字經(jīng)濟發(fā)展的七大重點產(chǎn)業(yè)之一。作為XR落地產(chǎn)業(yè)應(yīng)用的橋頭堡領(lǐng)域，多媒體賽道更是備受期待和關(guān)注。

針對XR技術(shù)趨勢及落地場景，在2022騰訊數(shù)字生態(tài)大會·騰訊云多媒體技術(shù)專場上，多位行業(yè)專家就“多媒體與XR技術(shù)的演進、現(xiàn)狀和發(fā)展”展開深度討論。圍繞如何基于低碼率高畫質(zhì)、超分等視頻處理技術(shù)帶來的畫質(zhì)提升、三維視頻帶來的深度感知、任意視點視頻帶來的用戶交互、擴展現(xiàn)實與虛擬現(xiàn)實帶來的超現(xiàn)實感等業(yè)界關(guān)注的焦點問題，輸出自身獨到的觀點和建議。

IEEE Fellow、騰訊杰出科學(xué)家、騰訊多媒體實驗室負(fù)責(zé)人劉杉表示：“近年來XR在產(chǎn)學(xué)研各界被反復(fù)提及，XR無論是發(fā)展的廣闊前景還可能的廣泛應(yīng)用，都有很多技術(shù)空間可以讓我們?nèi)ヌ嵘部梢杂懈两捏w驗。除了技術(shù)性的音視頻標(biāo)準(zhǔn)之外，關(guān)于XR以及相關(guān)的合規(guī)的標(biāo)準(zhǔn)也非常重要。因為這些標(biāo)準(zhǔn)不僅有其商業(yè)價值，更有其社會價值。目前國內(nèi)國際包括騰訊在內(nèi)的企業(yè)都非常重視這一部分的投入。”

（圖：IEEE Fellow、騰訊杰出科學(xué)家、騰訊多媒體實驗室負(fù)責(zé)人劉杉）

隨著XR不斷滲透到游戲、影視、娛樂等消費類ToC場景，以及醫(yī)療、零售、教育等產(chǎn)業(yè)類ToB場景。中國工程院院士、廣播電視技術(shù)專家丁文華表示，XR與多媒體的技術(shù)演進相輔相成，它不僅影響著每個人的工作、學(xué)習(xí)，未來還有可能影響到包括教育、醫(yī)療、工業(yè)乃至整個制造環(huán)境的再造。

無論是消費類ToC場景還是產(chǎn)業(yè)類ToB場景，在IEEE Fellow、清華大學(xué)計算機科學(xué)與技術(shù)系教授溫江濤看來，XR真正實現(xiàn)落地的前提，是需要更多不同技術(shù)及理論的支撐。多媒體技術(shù)是其中最主要的一部分，另外還涉及顯示材料、電池等技術(shù)方向。

全景聲科技創(chuàng)始人、董事長潘興德補充認(rèn)為，XR產(chǎn)業(yè)的發(fā)展更多由內(nèi)容驅(qū)動，C端文娛內(nèi)容或成為第一階段最重要的落地方向。未來包括電影、音樂、游戲、視頻等行業(yè)都可以在虛擬世界里面匹配對應(yīng)的呈現(xiàn)方式。

騰訊多媒體實驗室擴展媒體中心負(fù)責(zé)人、國際標(biāo)準(zhǔn)專家許曉中，騰訊在線視頻BU播放技術(shù)中心總監(jiān)朱子榮參與了本次討論。

此外，騰訊多媒體實驗室還對外宣布即將發(fā)布一份基于產(chǎn)業(yè)洞察、自研技術(shù)積累梳理而出的VR技術(shù)白皮書，將為行業(yè)的高效、健康發(fā)展提供重要的參考價值。

丁文華：重視軟硬件合規(guī)性，XR應(yīng)用可對人類生活產(chǎn)生深遠(yuǎn)影響

XR是一種近眼顯示的綜合技術(shù)應(yīng)用，人們過去更多通過手機、ipad、電腦等遠(yuǎn)場顯示去獲取信息。如今，近眼顯示的發(fā)展已經(jīng)融入了很多技術(shù)元素，譬如如何實現(xiàn)感知問題、如何讓顯示圖像更具沉浸感、如何將聲音更好融入其中，甚至還能控制互動，多種技術(shù)的疊加能夠為消費者帶來更為沉浸式的體驗。

XR作為人機交互最主要的入口裝置之一，它與多媒體技術(shù)的演進相輔相成，能夠為人們的生產(chǎn)、生活帶來比較大的變化。它不僅影響著每個人的工作、學(xué)習(xí)，還可能影響到醫(yī)療、教育，乃至工業(yè)等整個制造環(huán)境的再造。目前，XR相關(guān)技術(shù)都在不停地更新迭代，這幾年的進步比較明顯，未來前景可以期待。

（圖：中國工程院院士、廣播電視技術(shù)專家 丁文華）

從行業(yè)標(biāo)準(zhǔn)出發(fā)，XR應(yīng)用應(yīng)該具備一個下限——佩戴的舒適性；同時，我們還應(yīng)該去不斷追求它的上限——效果的逼真度、體驗的沉浸式，而這些都需要產(chǎn)業(yè)界去制定相對應(yīng)的標(biāo)準(zhǔn)。

從合規(guī)角度出發(fā)，軟硬件合規(guī)非常重要，應(yīng)該由政府牽頭、企業(yè)跟進，一同促進行業(yè)的高效、健康發(fā)展，目前整個行業(yè)的核心還是聚焦在內(nèi)容生產(chǎn)方面，未來應(yīng)該在多層面做進一步的革新和突破。

XR眼下大受關(guān)注，它下一步的技術(shù)拓展也遠(yuǎn)不止于視覺、聽覺層面。而是面向交互、面向感知、面向腦機接口技術(shù)，去做更多的技術(shù)探索與突破。“X”是未知的，它的變化對人類產(chǎn)生的影響是非常深遠(yuǎn)的。

溫江濤：未來的多媒體技術(shù)應(yīng)用更像是網(wǎng)格架構(gòu)，而非金字塔架構(gòu)

XR實現(xiàn)真正落地的前提，需要多種技術(shù)及理論的支撐。多媒體技術(shù)是其中最主要的一部分，另外還涉及顯示材料、電池等技術(shù)方向的突破，最終目標(biāo)是為了能夠讓消費者更舒適、更長時間地去佩戴、體驗相關(guān)產(chǎn)品。

通常，大眾所理解的多媒體是包括音頻、圖像等多個不同媒體形態(tài)的組成。比如電視臺，它是“一個生產(chǎn)者面向眾多消費者”的形態(tài)，類似金字塔架構(gòu)。但在目前的融媒體生態(tài)中，無論是直播形態(tài)或是社交網(wǎng)絡(luò)上其他各式各樣的形態(tài)，多媒體已經(jīng)變成了“眾多生產(chǎn)者面對眾多消費者”的形態(tài)，更像是網(wǎng)格架構(gòu)，而非金字塔架構(gòu)。

在我看來，網(wǎng)格架構(gòu)更適合未來技術(shù)趨勢的發(fā)展。所有偉大的產(chǎn)品，我們看到的可能不只是技術(shù)，而是體驗。譬如剛剛拿到的第一款I(lǐng)phone，首先不會想到其中有上百億個晶體管、有上億行復(fù)雜的代碼，消費者最先關(guān)注到的是更好的體驗。XR未來也是這樣，一方面我們希望多媒體的技術(shù)能夠不斷地演進去促進XR產(chǎn)業(yè)的發(fā)展；另外一方面可能也需要使用多媒體技術(shù)去彌補其他行業(yè)發(fā)展的不足。

（圖：IEEE Fellow、清華大學(xué)計算機科學(xué)與技術(shù)系教授 溫江濤）

此外，我認(rèn)為面向XR的標(biāo)準(zhǔn)可以分為兩類：一類是企業(yè)喜歡的標(biāo)準(zhǔn)，另外一類是企業(yè)排斥的標(biāo)準(zhǔn)。比如說視頻編解碼等，這些標(biāo)準(zhǔn)能夠推動產(chǎn)品的落地，企業(yè)都會積極參與；另一類標(biāo)準(zhǔn)可能涉及安全、倫理等問題，有些企業(yè)則避之不及，因為會阻礙相關(guān)產(chǎn)品的落地。未來，我希望更多的產(chǎn)品在投入市場之前，可以保證它的安全性、合規(guī)性得到完全驗證。

XR中的“X”象征著未知。未來如何去使用XR技術(shù)，以及它的應(yīng)用形態(tài)在哪些方面能夠落地，需要大家一起探索。

潘興德： XR產(chǎn)業(yè)未來的發(fā)展在第一階段更多由內(nèi)容推動

我們一直在關(guān)注產(chǎn)業(yè)的發(fā)展。未來的XR行業(yè)必然會深入影響人們?nèi)粘Ｉ畹姆椒矫婷?，會深刻影響現(xiàn)實世界的運轉(zhuǎn)規(guī)則。但我們距離沉浸式的或者能夠媲美現(xiàn)實世界的XR應(yīng)用還有很長一段路要走。一方面是技術(shù)本身的鴻溝，另一方面則是標(biāo)準(zhǔn)化問題，其中涉及互通互聯(lián)、社會倫理等方面的問題。

XR落地，內(nèi)容為王。未來，電影、音樂、游戲、視頻等行業(yè)都可以在虛擬世界里面找到對應(yīng)的呈現(xiàn)方式。

（圖：全景聲科技創(chuàng)始人、董事長 潘興德）

在終端顯示層面，我們也正在嘗試使用越來越少的揚聲器去實現(xiàn)更好的效果。比如目前使用兩只揚聲器在理想條件下，就能夠?qū)崿F(xiàn)接近八分之一的聲場。接下來，我們還要解決包括渲染模型個性化問題和各種更精確建模等極具挑戰(zhàn)性的問題。

XR對于音頻場景，需要解決的是三自由度、六自由度、沉浸感、互動性問題。在一個虛擬世界或虛實共生的世界中，用戶需要聽到真實的聲音。而聲音中又包括各種各樣的聲音源，這會涉及大量的建模問題。未來，XR場景的聲學(xué)問題可能會帶來很多新的挑戰(zhàn)，需要整個產(chǎn)業(yè)界去一同面對、解決。

許曉中： 希望搭建一個標(biāo)準(zhǔn)平臺為業(yè)界提供更寬廣的舞臺

從底層技術(shù)角度出發(fā)，XR涉及視覺、聽覺、觸覺和其他更接近于現(xiàn)實感官的技術(shù)。為了能夠支撐使用體驗，我們需要為用戶提供更高維度的數(shù)據(jù)，會涉及諸多與多媒體相關(guān)的技術(shù)元素。

譬如，從視覺角度出發(fā)，為了能夠消費更高維度、更豐富的視覺信息，我們需要對更高維度的內(nèi)容進行壓縮編碼操作；從聽覺角度出發(fā)，包括六自由度的視頻、音頻之間協(xié)同的系統(tǒng)設(shè)計比較重要，消費者要有更多的自由度去感知自己所消費的內(nèi)容。

（圖：騰訊多媒體實驗室擴展媒體中心負(fù)責(zé)人、國際標(biāo)準(zhǔn)專家 許曉中）

但這個融合過程會遇到不少挑戰(zhàn)。一方面，視覺、聽覺等感知技術(shù)的標(biāo)準(zhǔn)化工作還在推進、探索中；另一方面，如何將更多的技術(shù)進行系統(tǒng)整合，從而協(xié)同一致地為用戶提升體驗，都比較考驗技術(shù)基礎(chǔ)和整合能力。

我個人的觀點是，XR可以有一個標(biāo)準(zhǔn)平臺，為工業(yè)界、學(xué)術(shù)界和其他研究力量提供開放寬廣的平臺，業(yè)界同仁們可以將自己的長處發(fā)揮起來，去促進XR技術(shù)方方面面的進展。

朱子榮：多技術(shù)融合才能實現(xiàn)XR的沉浸式體驗

從軟、硬件到人機交互，XR的底層技術(shù)非常復(fù)雜，想要實現(xiàn)更為沉浸式體驗感受，需要將這些技術(shù)互融互通。近些年，不管是硬件、軟件、還是內(nèi)容方面，都有很大的發(fā)展。但是，目前的XR仍然處于技術(shù)的早期階段，距離我們預(yù)期的虛擬世界感受還有較大差距。

（圖：騰訊在線視頻BU播放技術(shù)中心總監(jiān) 朱子榮）

從XR的應(yīng)用層面出發(fā)，游戲、運動健身和視頻占據(jù)前三甲。游戲跟運動健身比較好理解，它們本身具有一定的三維立體或者沉浸體驗的感受，用戶自然會比較青睞。在視頻領(lǐng)域，人們從公共影院再到對私人空間的期待，用戶非常希望在觀看視頻時能夠有非常好的沉浸感受。

但是在這個過程中，內(nèi)容硬件的發(fā)展必不可少，用戶會要求更高的畫面清晰度、更低的時延以及更準(zhǔn)確、更自然的人機交互方式，讓人們在VR、AR里面有更好的體驗。這樣慢慢從生態(tài)的角度、從需求角度再傳導(dǎo)到上游的生產(chǎn)跟分發(fā)生態(tài)，整個生態(tài)就會發(fā)展起來。

圓桌論壇之后，在活動的主題分享環(huán)節(jié)，騰訊多媒體實驗室專家研究員趙欣帶來《國際視頻編碼標(biāo)準(zhǔn)前沿進展》主題演講，他表示各個國際視頻編碼標(biāo)準(zhǔn)組織目前正在推動下一代視頻編碼標(biāo)準(zhǔn)項目，VVC標(biāo)準(zhǔn)化項目是騰訊第一次站上國際視頻標(biāo)準(zhǔn)的大舞臺。根據(jù)第三方德國專利信息分析機構(gòu)IPLytics報告，騰訊在VVC采納技術(shù)提案總數(shù)中位列所有公司排名前三。

（圖：騰訊多媒體實驗室專家研究員趙欣）

開放媒體聯(lián)盟（AOMedia）在2018年發(fā)布了AV1標(biāo)準(zhǔn)，在視頻應(yīng)用產(chǎn)業(yè)中產(chǎn)生了巨大影響。開放媒體聯(lián)盟2020年啟動下一代AV2視頻編碼標(biāo)準(zhǔn)項目，騰訊多媒體實驗室團隊從AV2項目的籌備階段就開始參與，目前已貢獻了30多項技術(shù)提案，其中17項技術(shù)提案獲得采納并且進入了AV2的AVM編解碼軟件平臺。在AV2項目中，騰訊多媒體實驗室團隊創(chuàng)新地提出了“跨色度像素偏移濾波”的自研技術(shù)，該技術(shù)屬于傳統(tǒng)混合編碼框架下的六大編碼模塊之一的濾波技術(shù)。

騰訊多媒體實驗室高級研究員李一鳴以《O264rt編解碼——實時業(yè)務(wù)優(yōu)化實踐》為主題，分享了實時業(yè)務(wù)場景驅(qū)動的264相關(guān)優(yōu)化。他表示視頻編碼標(biāo)準(zhǔn)目前仍然是屬于一個百家爭鳴的時代，在生態(tài)方面264仍有它獨特的優(yōu)勢，比如說專利、終端支持度。

（圖：騰訊多媒體實驗室高級研究員李一鳴）

多媒體實驗室主導(dǎo)的實時的端側(cè)的264編碼器，被命名為O264rt。O264rt編碼器拋棄了X264的設(shè)計方向，在設(shè)計上是直接針對業(yè)務(wù)場景去深度定制的目前，O264rt的對接場景其實包含了純RTC應(yīng)用，電競直播，以及云游戲、短視頻錄制等等，場景的話包括了騰訊很多ToB、ToC的產(chǎn)品，比如說TRTC、全民K歌等等。

騰訊多媒體實驗室高級應(yīng)用研究員田思達(dá)帶來《開箱即用的智能音樂平臺》，他表示騰訊的智能音樂平臺的技術(shù)能力，按照方向可以分為三個部分。音樂理解方面，不僅可以處理整曲，還可以細(xì)化到片段，甚至是音符或者字詞的粒度，實現(xiàn)了對一首音樂全方位無死角的解析；在音樂生成方面，不僅能作曲，還可以寫詞，也可以通過演奏和演唱的方式來對音樂的作品進行呈現(xiàn)；在音樂融合方面，將音樂和視頻等其他模態(tài)的信息進行跨模態(tài)的融合，這樣能夠批量產(chǎn)生高質(zhì)量的內(nèi)容。

（圖：騰訊多媒體實驗室高級應(yīng)用研究員田思達(dá)）

田思達(dá)介紹了騰訊的智能音樂平臺的業(yè)務(wù)情況，包括為騰訊云的各條業(yè)務(wù)線提供多個算法，為金融產(chǎn)品提供了音樂標(biāo)簽的能力，為騰訊水墨畫提供了智能配樂的能力等。

整場論壇中，“未知”一詞頻頻出現(xiàn)，這是人們對XR充滿想象和期待的縮影，它可以是AR，可以是VR，也可以是MR，不同的形態(tài)對應(yīng)著不同的技術(shù)標(biāo)準(zhǔn)，業(yè)界都在實踐和探索。而騰訊多媒體實驗室分享的多項技術(shù)進展可以看到其對于XR的思考與選擇，以及XR如何改變多媒體的形態(tài)。在即將發(fā)布的VR技術(shù)白皮書中，騰訊多媒體實驗室或?qū)⒎窒砀郮R的研究與產(chǎn)業(yè)調(diào)查，敬請期待。