九位业界专家齐聚，聚焦智能时代下多媒体与XR技术的融合发展( 三 ) 5G、AI等技术的不断发展

XR对于音频场景，需要解决的是三自由度、六自由度、沉浸感、互动性问题。在一个虚拟世界或虚实共生的世界中，用户需要听到真实的声音。而声音中又包括各种各样的声音源，这会涉及到大量的建模问题。未来， XR场景的声学问题可能会带来很多新的挑战，需要整个产业界去一同面对、解决。
许晓中：希望搭建一个标准平台为业界提供更宽广的舞台从底层技术角度出发， XR涉及到视觉、听觉、触觉和其他更接近于现实感官的技术。为了能够支撑使用体验，我们需要为用户提供更高维度的数据，会涉及到诸多与多媒体相关的技术元素。
譬如，从视觉角度出发，为了能够消费更高维度、更丰富的视觉信息，我们需要对更高维度的内容进行压缩编码操作；从听觉角度出发，包括六自由度的视频、音频之间协同的系统设计比较重要，消费者要有更多的自由度去感知自己所消费的内容。

文章图片
（图：腾讯多媒体实验室扩展媒体中心负责人、国际标准专家许晓中）
但这个融合过程会遇到不少挑战。一方面，视觉、听觉等感知技术的标准化工作还在推进、探索中；另一方面，如何将更多的技术进行系统整合，从而协同一致地为用户提升体验，都比较考验技术基础和整合能力。
我个人的观点是， XR可以有一个标准平台，为工业界、学术界和其他研究力量提供开放宽广的平台，业界同仁们可以将自己的长处发挥起来，去促进XR技术方方面面的进展。
朱子荣：多技术融合才能实现XR的沉浸式体验从软、硬件到人机交互， XR的底层技术非常复杂，想要实现更为沉浸式体验感受，需要将这些技术互融互通。近些年，不管是硬件、软件、还是内容方面，都有很大的发展。但是，目前的XR仍然处于技术的早期阶段，距离我们预期的虚拟世界感受还有较大差距。

文章图片
（图：腾讯在线视频BU播放技术中心总监朱子荣）
从XR的应用层面出发，游戏、运动健身和视频占据前三甲。游戏跟运动健身比较好理解，它们本身具有一定的三维立体或者沉浸体验的感受，用户自然会比较青睐。在视频领域，人们从公共影院再到对私人空间的期待，用户非常希望在观看视频时能够有非常好的沉浸感受。
但是在这个过程中，内容硬件的发展必不可少，用户会要求更高的画面清晰度、更低的时延以及更准确、更自然的人机交互方式，让人们在VR、AR里面有更好的体验。这样慢慢从生态的角度、从需求角度再传导到上游的生产跟分发生态，整个生态就会发展起来。
圆桌论坛之后，在活动的主题分享环节，腾讯多媒体实验室专家研究员赵欣带来《国际视频编码标准前沿进展》主题演讲，他表示各个国际视频编码标准组织目前正在推动下一代视频编码标准项目， VVC标准化项目是腾讯第一次站上国际视频标准的大舞台。根据第三方德国专利信息分析机构IPLytics报告，腾讯在VVC采纳技术提案总数中位列所有公司排名前三。

文章图片
（图：腾讯多媒体实验室专家研究员赵欣）
开放媒体联盟（AOMedia）在2018年发布了AV1标准，在视频应用产业中产生了巨大影响。开放媒体联盟2020年启动下一代AV2视频编码标准项目，腾讯多媒体实验室团队从AV2项目的筹备阶段就开始参与，目前已贡献了30多项技术提案，其中17项技术提案获得采纳并且进入了AV2的AVM编解码软件平台。在AV2项目中，腾讯多媒体实验室团队创新地提出了“跨色度像素偏移滤波”的自研技术，该技术属于传统混合编码框架下的六大编码模块之一的滤波技术。