5G、AI等技術的不斷發(fā)展，正在逐步拉近虛擬與現(xiàn)實空間的物理距離，XR作為全真互聯(lián)的重要入口之一，也進入了高速發(fā)展期。近年來，XR頻繁出現(xiàn)在各類政府工作報告中，并被列為數(shù)字經濟發(fā)展的七大重點產業(yè)之一。作為XR落地產業(yè)應用的橋頭堡領域，多媒體賽道更是備受期待和關注。

針對XR技術趨勢及落地場景，在2022騰訊數(shù)字生態(tài)大會·騰訊云多媒體技術專場上，多位行業(yè)專家就“多媒體與XR技術的演進、現(xiàn)狀和發(fā)展”展開深度討論。圍繞如何基于低碼率高畫質、超分等視頻處理技術帶來的畫質提升、三維視頻帶來的深度感知、任意視點視頻帶來的用戶交互、擴展現(xiàn)實與虛擬現(xiàn)實帶來的超現(xiàn)實感等業(yè)界關注的焦點問題，輸出自身獨到的觀點和建議。

IEEE Fellow、騰訊杰出科學家、騰訊多媒體實驗室負責人劉杉表示：“近年來XR在產學研各界被反復提及，XR無論是發(fā)展的廣闊前景還可能的廣泛應用，都有很多技術空間可以讓我們去提升，也可以有更沉浸的體驗。除了技術性的音視頻標準之外，關于XR以及相關的合規(guī)的標準也非常重要。因為這些標準不僅有其商業(yè)價值，更有其社會價值。目前國內國際包括騰訊在內的企業(yè)都非常重視這一部分的投入。”

（圖：IEEE Fellow、騰訊杰出科學家、騰訊多媒體實驗室負責人劉杉）

隨著XR不斷滲透到游戲、影視、娛樂等消費類ToC場景，以及醫(yī)療、零售、教育等產業(yè)類ToB場景。中國工程院院士、廣播電視技術專家丁文華表示，XR與多媒體的技術演進相輔相成，它不僅影響著每個人的工作、學習，未來還有可能影響到包括教育、醫(yī)療、工業(yè)乃至整個制造環(huán)境的再造。

無論是消費類ToC場景還是產業(yè)類ToB場景，在IEEE Fellow、清華大學計算機科學與技術系教授溫江濤看來，XR真正實現(xiàn)落地的前提，是需要更多不同技術及理論的支撐。多媒體技術是其中最主要的一部分，另外還涉及顯示材料、電池等技術方向。

全景聲科技創(chuàng)始人、董事長潘興德補充認為，XR產業(yè)的發(fā)展更多由內容驅動，C端文娛內容或成為第一階段最重要的落地方向。未來包括電影、音樂、游戲、視頻等行業(yè)都可以在虛擬世界里面匹配對應的呈現(xiàn)方式。

騰訊多媒體實驗室擴展媒體中心負責人、國際標準專家許曉中，騰訊在線視頻BU播放技術中心總監(jiān)朱子榮參與了本次討論。

此外，騰訊多媒體實驗室還對外宣布即將發(fā)布一份基于產業(yè)洞察、自研技術積累梳理而出的VR技術白皮書，將為行業(yè)的高效、健康發(fā)展提供重要的參考價值。

丁文華：重視軟硬件合規(guī)性，XR應用可對人類生活產生深遠影響

XR是一種近眼顯示的綜合技術應用，人們過去更多通過手機、ipad、電腦等遠場顯示去獲取信息。如今，近眼顯示的發(fā)展已經融入了很多技術元素，譬如如何實現(xiàn)感知問題、如何讓顯示圖像更具沉浸感、如何將聲音更好融入其中，甚至還能控制互動，多種技術的疊加能夠為消費者帶來更為沉浸式的體驗。

XR作為人機交互最主要的入口裝置之一，它與多媒體技術的演進相輔相成，能夠為人們的生產、生活帶來比較大的變化。它不僅影響著每個人的工作、學習，還可能影響到醫(yī)療、教育，乃至工業(yè)等整個制造環(huán)境的再造。目前，XR相關技術都在不停地更新迭代，這幾年的進步比較明顯，未來前景可以期待。

（圖：中國工程院院士、廣播電視技術專家 丁文華）

從行業(yè)標準出發(fā)，XR應用應該具備一個下限——佩戴的舒適性；同時，我們還應該去不斷追求它的上限——效果的逼真度、體驗的沉浸式，而這些都需要產業(yè)界去制定相對應的標準。

從合規(guī)角度出發(fā)，軟硬件合規(guī)非常重要，應該由政府牽頭、企業(yè)跟進，一同促進行業(yè)的高效、健康發(fā)展，目前整個行業(yè)的核心還是聚焦在內容生產方面，未來應該在多層面做進一步的革新和突破。

XR眼下大受關注，它下一步的技術拓展也遠不止于視覺、聽覺層面。而是面向交互、面向感知、面向腦機接口技術，去做更多的技術探索與突破。“X”是未知的，它的變化對人類產生的影響是非常深遠的。

溫江濤：未來的多媒體技術應用更像是網(wǎng)格架構，而非金字塔架構

XR實現(xiàn)真正落地的前提，需要多種技術及理論的支撐。多媒體技術是其中最主要的一部分，另外還涉及顯示材料、電池等技術方向的突破，最終目標是為了能夠讓消費者更舒適、更長時間地去佩戴、體驗相關產品。

通常，大眾所理解的多媒體是包括音頻、圖像等多個不同媒體形態(tài)的組成。比如電視臺，它是“一個生產者面向眾多消費者”的形態(tài)，類似金字塔架構。但在目前的融媒體生態(tài)中，無論是直播形態(tài)或是社交網(wǎng)絡上其他各式各樣的形態(tài)，多媒體已經變成了“眾多生產者面對眾多消費者”的形態(tài)，更像是網(wǎng)格架構，而非金字塔架構。

在我看來，網(wǎng)格架構更適合未來技術趨勢的發(fā)展。所有偉大的產品，我們看到的可能不只是技術，而是體驗。譬如剛剛拿到的第一款Iphone，首先不會想到其中有上百億個晶體管、有上億行復雜的代碼，消費者最先關注到的是更好的體驗。XR未來也是這樣，一方面我們希望多媒體的技術能夠不斷地演進去促進XR產業(yè)的發(fā)展；另外一方面可能也需要使用多媒體技術去彌補其他行業(yè)發(fā)展的不足。

（圖：IEEE Fellow、清華大學計算機科學與技術系教授 溫江濤）

此外，我認為面向XR的標準可以分為兩類：一類是企業(yè)喜歡的標準，另外一類是企業(yè)排斥的標準。比如說視頻編解碼等，這些標準能夠推動產品的落地，企業(yè)都會積極參與；另一類標準可能涉及安全、倫理等問題，有些企業(yè)則避之不及，因為會阻礙相關產品的落地。未來，我希望更多的產品在投入市場之前，可以保證它的安全性、合規(guī)性得到完全驗證。

XR中的“X”象征著未知。未來如何去使用XR技術，以及它的應用形態(tài)在哪些方面能夠落地，需要大家一起探索。

潘興德： XR產業(yè)未來的發(fā)展在第一階段更多由內容推動

我們一直在關注產業(yè)的發(fā)展。未來的XR行業(yè)必然會深入影響人們日常生活的方方面面，會深刻影響現(xiàn)實世界的運轉規(guī)則。但我們距離沉浸式的或者能夠媲美現(xiàn)實世界的XR應用還有很長一段路要走。一方面是技術本身的鴻溝，另一方面則是標準化問題，其中涉及互通互聯(lián)、社會倫理等方面的問題。

XR落地，內容為王。未來，電影、音樂、游戲、視頻等行業(yè)都可以在虛擬世界里面找到對應的呈現(xiàn)方式。

（圖：全景聲科技創(chuàng)始人、董事長 潘興德）

在終端顯示層面，我們也正在嘗試使用越來越少的揚聲器去實現(xiàn)更好的效果。比如目前使用兩只揚聲器在理想條件下，就能夠實現(xiàn)接近八分之一的聲場。接下來，我們還要解決包括渲染模型個性化問題和各種更精確建模等極具挑戰(zhàn)性的問題。

XR對于音頻場景，需要解決的是三自由度、六自由度、沉浸感、互動性問題。在一個虛擬世界或虛實共生的世界中，用戶需要聽到真實的聲音。而聲音中又包括各種各樣的聲音源，這會涉及大量的建模問題。未來，XR場景的聲學問題可能會帶來很多新的挑戰(zhàn)，需要整個產業(yè)界去一同面對、解決。

許曉中： 希望搭建一個標準平臺為業(yè)界提供更寬廣的舞臺

從底層技術角度出發(fā)，XR涉及視覺、聽覺、觸覺和其他更接近于現(xiàn)實感官的技術。為了能夠支撐使用體驗，我們需要為用戶提供更高維度的數(shù)據(jù)，會涉及諸多與多媒體相關的技術元素。

譬如，從視覺角度出發(fā)，為了能夠消費更高維度、更豐富的視覺信息，我們需要對更高維度的內容進行壓縮編碼操作；從聽覺角度出發(fā)，包括六自由度的視頻、音頻之間協(xié)同的系統(tǒng)設計比較重要，消費者要有更多的自由度去感知自己所消費的內容。

（圖：騰訊多媒體實驗室擴展媒體中心負責人、國際標準專家 許曉中）

但這個融合過程會遇到不少挑戰(zhàn)。一方面，視覺、聽覺等感知技術的標準化工作還在推進、探索中；另一方面，如何將更多的技術進行系統(tǒng)整合，從而協(xié)同一致地為用戶提升體驗，都比較考驗技術基礎和整合能力。

我個人的觀點是，XR可以有一個標準平臺，為工業(yè)界、學術界和其他研究力量提供開放寬廣的平臺，業(yè)界同仁們可以將自己的長處發(fā)揮起來，去促進XR技術方方面面的進展。

朱子榮：多技術融合才能實現(xiàn)XR的沉浸式體驗

從軟、硬件到人機交互，XR的底層技術非常復雜，想要實現(xiàn)更為沉浸式體驗感受，需要將這些技術互融互通。近些年，不管是硬件、軟件、還是內容方面，都有很大的發(fā)展。但是，目前的XR仍然處于技術的早期階段，距離我們預期的虛擬世界感受還有較大差距。

（圖：騰訊在線視頻BU播放技術中心總監(jiān) 朱子榮）

從XR的應用層面出發(fā)，游戲、運動健身和視頻占據(jù)前三甲。游戲跟運動健身比較好理解，它們本身具有一定的三維立體或者沉浸體驗的感受，用戶自然會比較青睞。在視頻領域，人們從公共影院再到對私人空間的期待，用戶非常希望在觀看視頻時能夠有非常好的沉浸感受。

但是在這個過程中，內容硬件的發(fā)展必不可少，用戶會要求更高的畫面清晰度、更低的時延以及更準確、更自然的人機交互方式，讓人們在VR、AR里面有更好的體驗。這樣慢慢從生態(tài)的角度、從需求角度再傳導到上游的生產跟分發(fā)生態(tài)，整個生態(tài)就會發(fā)展起來。

圓桌論壇之后，在活動的主題分享環(huán)節(jié)，騰訊多媒體實驗室專家研究員趙欣帶來《國際視頻編碼標準前沿進展》主題演講，他表示各個國際視頻編碼標準組織目前正在推動下一代視頻編碼標準項目，VVC標準化項目是騰訊第一次站上國際視頻標準的大舞臺。根據(jù)第三方德國專利信息分析機構IPLytics報告，騰訊在VVC采納技術提案總數(shù)中位列所有公司排名前三。

（圖：騰訊多媒體實驗室專家研究員趙欣）

開放媒體聯(lián)盟（AOMedia）在2018年發(fā)布了AV1標準，在視頻應用產業(yè)中產生了巨大影響。開放媒體聯(lián)盟2020年啟動下一代AV2視頻編碼標準項目，騰訊多媒體實驗室團隊從AV2項目的籌備階段就開始參與，目前已貢獻了30多項技術提案，其中17項技術提案獲得采納并且進入了AV2的AVM編解碼軟件平臺。在AV2項目中，騰訊多媒體實驗室團隊創(chuàng)新地提出了“跨色度像素偏移濾波”的自研技術，該技術屬于傳統(tǒng)混合編碼框架下的六大編碼模塊之一的濾波技術。

騰訊多媒體實驗室高級研究員李一鳴以《O264rt編解碼——實時業(yè)務優(yōu)化實踐》為主題，分享了實時業(yè)務場景驅動的264相關優(yōu)化。他表示視頻編碼標準目前仍然是屬于一個百家爭鳴的時代，在生態(tài)方面264仍有它獨特的優(yōu)勢，比如說專利、終端支持度。

（圖：騰訊多媒體實驗室高級研究員李一鳴）

多媒體實驗室主導的實時的端側的264編碼器，被命名為O264rt。O264rt編碼器拋棄了X264的設計方向，在設計上是直接針對業(yè)務場景去深度定制的目前，O264rt的對接場景其實包含了純RTC應用，電競直播，以及云游戲、短視頻錄制等等，場景的話包括了騰訊很多ToB、ToC的產品，比如說TRTC、全民K歌等等。

騰訊多媒體實驗室高級應用研究員田思達帶來《開箱即用的智能音樂平臺》，他表示騰訊的智能音樂平臺的技術能力，按照方向可以分為三個部分。音樂理解方面，不僅可以處理整曲，還可以細化到片段，甚至是音符或者字詞的粒度，實現(xiàn)了對一首音樂全方位無死角的解析；在音樂生成方面，不僅能作曲，還可以寫詞，也可以通過演奏和演唱的方式來對音樂的作品進行呈現(xiàn)；在音樂融合方面，將音樂和視頻等其他模態(tài)的信息進行跨模態(tài)的融合，這樣能夠批量產生高質量的內容。

（圖：騰訊多媒體實驗室高級應用研究員田思達）

田思達介紹了騰訊的智能音樂平臺的業(yè)務情況，包括為騰訊云的各條業(yè)務線提供多個算法，為金融產品提供了音樂標簽的能力，為騰訊水墨畫提供了智能配樂的能力等。

整場論壇中，“未知”一詞頻頻出現(xiàn)，這是人們對XR充滿想象和期待的縮影，它可以是AR，可以是VR，也可以是MR，不同的形態(tài)對應著不同的技術標準，業(yè)界都在實踐和探索。而騰訊多媒體實驗室分享的多項技術進展可以看到其對于XR的思考與選擇，以及XR如何改變多媒體的形態(tài)。在即將發(fā)布的VR技術白皮書中，騰訊多媒體實驗室或將分享更多XR的研究與產業(yè)調查，敬請期待。