什么是VVC?

通用视频编码(VVC)是由ITU-T和ISO/IEC专家组成的联合协作小组(JVET)起草的编解码器。, 它是ITU-T视频编码专家组(VCEG)和ISO/IEC运动图像专家组(MPEG)的合作伙伴关系。,” as MPEG解释说. 编解码器是旨在满足在视频会议、OTT流媒体、移动电话和贡献方面的未来需求.

根据最后的需求文档 (第5版), 目标压缩性能与HEVC主配置文件相比，具有相同的感知质量，编码复杂度约为HEVC的10倍或更多，比特率降低30%至50%. 早期第三方履约结果显示27%到33%范围内的改善. VVC将是一种需要支付版税的编解码器，但版税将如何设定和管理尚不清楚.

VVC应该是最终确定到2020年底.

VVC概述

图1 显示了最近编解码器标准的发展时间表，最右边是红色的VVC. 和以前的标准一样, VVC由ISO/IEC通过电影专家组联合颁布, 或MPEG, 和国际电信联盟(ITU). VVC最初的工作是共同进行与ISO/IEC JTC1 SC29/WG11 (MPEG)于2015年10月至2017年10月联合视频探索团队(JVET). 2017年10月新的团队成立了同样的首字母缩略词，但被称为联合视频专家团队(JVET).”

图1. 视频标准的发展. 从视频编码标准化的趋势和最新发展作者:Jens-Rainer Ohm和马赛厄斯维恩.

最初的需求文件要求一种能够管理以下方面的技术:

图片格式: 至少从VGA到8Kx4K.
色彩空间和色彩采样: 以4:2:0采样的YCbCr色彩空间, 每个组件10位, YCbCr/RGB 4:4:4和YCbCr 4:2:2, 每个组件的位深度可达16位, 具有高动态范围和宽色域, 以及辅助的透明渠道, 深度, 和更多的.
帧率: 从0赫兹开始，上限由级别定义.

这种编解码器被命名为通用视频编码，因为它“意味着非常通用，可以满足从低分辨率和低比特率到高分辨率和高比特率的所有视频需求。, HDR, 360全方位等等,” 克里斯蒂安·费尔德曼解释道他是Bitmovin的编解码器工程师. 图2 列表中定义的测试序列说明了该思想征集建议书, 其中包括1080p和4K内容的标准动态范围, 以及8个HDR视频和5个360°视频.

图2. 测试序列在VVC征稿图由马蒂亚斯·维恩.

VVC形成

每个MPEG规范听起来都像是在制作詹姆斯·邦德(James Bond)电影期间组装的. VVC是首字母请求对未来视频压缩技术作出贡献在日内瓦举行的MPEG第111次会议上发表了, 瑞士(2015年2月), 而最初的需求文件在华沙出版, 波兰, 2015年6月.

在澳大利亚的霍巴特，MPEG发布了一个联合呼吁提供有能力的视频压缩证据 2017年4月，超越HEVC. 2017年7月，在意大利都灵，MPEG 发表证据的结果, 发现“在相当多的测试用例中实现了与HEVC相比的显着增益?. 比较的主观素质(i.e. 在SDR和HDR测试用例中，观察到比特率比HEVC低40%至50%. 此外，对于某些测试序列，甚至可以观察到更高的比特率节省... 作为对提交的证据进行评估的结果, 结论是，有证据表明，在进一步发展和标准化之后，存在可能显著优于HEVC标准压缩能力的技术.”

这导致了联合征集超越HEVC功能的视频压缩方案于2017年10月在澳门发布，并开始正式标准化进程. 本文件中提供的时间表显示，该标准将于2020年10月完成.

在此基础上，VVC通过了多个工作草案草案5该报告于2019年3月在日内瓦出版. 最近的测试模型 (6) 2019年7月在瑞典哥德堡出版.

VVC的技术组成

和之前的大多数标准一样, VVC具有基于块的混合编码体系结构, 结合图间和图内预测和熵编码的变换编码”(来自 VVC测试模型).

图3. VVC编码器的框图(来自 VVC测试模型).

在VVC中有一系列主要是进化的技术, 包括内部预测, 帧间预测, 转换, 在循环中过滤, 调色板编码, 块分区, 仿射运动, 以及解码器侧搜索. 总结如下图4，摘自2018年题为“ 多功能视频编码-视频压缩超越HEVC:编码工具的SDR和360°视频 by 马赛厄斯维恩他是亚琛工业大学的讲师. 请注意，我将两张幻灯片合并为一张来创建这个图.

图4. VVC的新功能.

您可以在标题为。的文章中找到对新特性的更详细解释 VVC视频编解码器-下一代编解码器 Bitmovin的克里斯蒂安·费尔德曼. 费尔德曼还在2019年流媒体东部大会的一次演讲中比较了AV1和VVC. 下载讲义和观看视频.

VVC的早期性能测试

如上所述，反应联合呼吁证据表明，SDR和HDR测试的节省幅度在40%至50%之间，某些片段的节省幅度更高, 尽管在360°视频序列中报告了较低的增益. 这些结果说服了MPEG为VVC开绿灯. 从那时起，有几个主要涉及VVC、AV1和HEVC的比较.

在深入研究之前，让我们先澄清一下术语. JEM代表联合勘探模式，这是一个实验性的软件版本，包含了VVC规范中的所有工具. 看来JEM已经被 VVC测试模型(VTM) 由于下面描述的初始测试集. 再一次。, VTM是包含所有编解码器工具的参考软件, 我找不到使用VTM软件的测试.

HM是 HEVC试验模型它还包含规范中的所有编码工具，并不是一个商业编码器. AV1是AV1编解码器的实际出货版本. JM等价于H.264，同样不是一个正式版本的编解码器，而是参考版本使用规范中所有可用的工具.

虽然这些名称听起来很迟钝，并且使图5和图6所示的比较解释变得复杂, 名称标识用于产生比较的实际编码器. 由于这个原因，这些名称比指定结果VVC、HEVC或H更精确.它可以由任何编码供应商生产的任何兼容的编解码器产生.

言归正传，BBC做了一个比较，发表于2018年6月更新，并于2019年6月更新. 测试涉及高清和超高清片段，“代表典型的广播内容”，并通过客观和主观测试进行测量. As 图5 显示, 与HEVC相比，AV1的效率较低，而VVC(用绿色标记JEM)在超高清内容下的效率比HEVC高27%，在高清视频内容下的效率比HEVC高33%.

图5. 比较VVC (JEM为绿色)、AV1(黄色)和HEVC (HM为橙色)的BBC结果.

还有一家公司叫 b<>com、谐波产生编解码器研究比较H.264、HEVC、VP9、AV1、VVC. 图6 显示BD-Results, 哪个列出了每个编解码器产生与它所比较的编解码器相同质量所需的比特率节省(负数)或剩余, 左边是PSNR，右边是VMAF.

关注最下面一行，用PSNR测量，VVC可以产生与H相同的质量.264 (JM)，比特率节省63%, 与HEVC (HM)相同的质量，比特率节省24%, 质量与AV1相同，比特率节省20%. 使用VMAF，这些数字节省了65% (H.264)， 30% (HEVC)和18% (AV1).

图6. 与H相比，VVC的b - rate节省.264、HEVC和AV1. 编辑图像以突出显示JEM性能(没有更改数字).

不要偏离轨道, 但公平地说，对AV1来说, 这些结果与其他人发表的结果不同, 包括脸谱网, Bitmovin, 莫斯科国立大学, AV1与HEVC或VP9的比较, 不是VVC, 使用实际出货的编解码器，如x264和x265, 不是参考模型. In 流媒体还使用x264和x265进行了测试, AV1产生了与x265相同的质量，数据速率节省了18%.

关于VVC, 这些结果是有希望的，但一旦我们知道最终的工具集将包含在任何特定的VVC许可版本中，就需要重新校准. 要解释这个问题，请看最后一节.

VVC授权架构

VVC将收取版税. 正如我们在文章中讨论的那样， MPEG计划在2020年推出3种视频编解码器, 似乎有第三方, 媒体编码产业论坛, 将根据每个IP所有者提出的许可条款创建配置文件和级别. 似乎也有可能出现多个专利池. 在此模式中，池定价可以确定每个配置文件中包含哪些编码工具.

这将如何运作还没有公开, 但是大概, 如果一个池子收取的版税是其他池子的三倍, 在该池中表示的工具可能被放置在很少实现者会选择使用的概要文件中. 很明显, this impacts competitive quality; the 结果 above include all existing tools, 包括那些可能不在任何特定用户选择的配置文件中的内容. 这种模式是由MPEG创建的，以避免HEVC出现的专利拖延，在HEVC中，几个专利持有人在编解码器实现后很长一段时间才宣布他们提出的版税结构.

这是第一个可以根据版税率或其他许可条款将专利编码工具降级到不同配置文件的编解码器. 有HEVC和H.264, 所有工具都包含在最终的可授权编解码器中, 因此，使用包含所有工具的参考模型来评估编解码器性能是公平的. 然而, 与VVC, 直到我们知道最终的版税相关档案结构, 我们不知道参考模型的性能如何与特定实现者部署的版本相关联. 底线是，在我们了解VVC的许可结构之前，我们真的无法衡量VVC的质量或性能.

总结

VVC显然是一种cpu密集型编解码器，在广泛部署之前需要硬件支持, 这使得部署在规范最终确定后至少需要两年时间. 如果当时的许可结构还不清楚的话, 预计很少有产品开发人员开始将VVC纳入他们的产品计划. 出于同样的原因, 直到知识产权情况明朗, 任何质量或其他性能评估可能与任何实现者实际部署的内容几乎没有相似之处.