2016年1月14日
By 1月时特约编辑
专题文章

Netflix是如何开创逐标题视频编码优化的

编者注:这篇文章是经过重写的，包含了原文中提出的问题和作者的回答大卫Ronca他是Netflix编码技术总监安妮·亚伦， Netflix视频算法经理. 作者谨向David和Anne与我们分享他们的专业知识表示感谢 流媒体 读者.

Netflix的博客文章题为逐标题编码优化大胆宣称“为我们的会员提供最优质的视频, 每个标题应该接收一个唯一的比特率阶梯, 根据其特定的复杂性特征量身定制.“在这个世界上，许多公司只是不加修改地采用TN2224的苹果建议, 这是一种新鲜空气. 这篇博文还详细介绍了Netflix是如何创建每个标题的编码阶梯的.

而Netflix的帖子提供了一些有价值的普遍真理, 由于Netflix是一种订阅服务，所以非类似行业的公司应该考虑一些注意事项. 在快速概述之后，我将讨论这些事实和警告.

你会在这篇文章的最后读到, 1月26日, 2016, 美国东部时间下午2点，我将主持一个网络研讨会，详细介绍从Netflix帖子中吸取的教训, 并描述了公司可以用来实现Netflix强烈提倡的内容感知编码的程序. 你可以在这里阅读更多关于网络研讨会的信息.

概述:每标题优化

编码世界长期以来一直被一刀切的编码“阶梯”所主导,或分辨率/比特率对. 在其博客文章中, Netflix分享说，它以前使用以下组合为大多数内容生成“高质量的编码”.

按标题排序的Netflix表

表1. Netflix传统的一刀切的比特率阶梯.

Netflix随后描述了这种方法的问题, 这是一些具有挑战性的视频吗, “最高的5800kbps流仍然会出现阻塞.“在光谱的另一端, 为简单的内容，如漫画, 5800 KBPS远远超过产生优秀的1080p编码所需要的. 除了, 网络带宽限制在1750kbps的用户可能能够以高清分辨率观看卡通, 而不是上面梯子指定的SD分辨率.简而言之, 每个视频都有独特的复杂性, 单一的编码阶梯无法优化所有观众的效率或观看体验.

为了表示视频的“信号特征非常高的多样性”，Netflix进行了编码, 该博客展示了以下图表, 其中显示了使用x264的常量QP(量化参数)编码的100个文件, 如何将每个文件编码为一致的质量. 在高水平上, QP编码寻求提供一定的质量水平, 并改变数据速率来实现这一点. Netflix使用峰值信噪比(Peak Signal-to-Noise ratio)来衡量质量, 分数越高，质量越好.

Netflix按标题计费

图1. 表示100个Netflix标题的比特率/PSNR.

要创建图形, Netflix以四种不同的QP级别对所有文件进行编码, 你可以看到底部淡紫色线上的四个点. 看看这张图, 加上它上面的水平线, 你可以看到，尽管QP编码提供了很高的数据速率, 质量水平, 两个文件都是38db左右, 相对较低. 这表明这些文件很难编码.

在光谱的另一端, 在图表顶部几乎垂直指向的水色线在2Mbps时达到了超过48 dB的峰值, 尽管使用与底部两个编码相同的QP值. 在不到10%的数据速率下，这是非常高的质量, 表明顶部的水色线表示易于编码的文件. 因为它与压缩梯有关, 这些结果证明，一个放之四海而皆准的解决方案要么对图表顶部的文件应用过高的数据速率，要么对图表底部的文件应用过低的数据速率.

好吧, you get it; some files are hard to compress, 有些文件很容易压缩, 所以你应该用不同的比特率阶梯对它们进行编码. 在继续之前, 我想把PSNR分数和主观评分联系起来, Netflix显然有资格做什么. 具体地说, 对于图底部难以压缩的文件, PSNR为38db是“可接受的”.在讨论的其他点上, Netflix表示，35分贝以下的分数会显示编码伪影, 而分数在45分贝以上则没有明显的音质改善. 虽然我不喜欢PSNR(如下所述), 对于使用度量的人来说，这些都是有用的数据点.

熟悉x的读者.264可能知道有一种替代QP编码的方法，称为恒定速率因子(CRF)编码, 根据场景内容调整质量. 我们询问Netflix是否考虑过使用CRF编码来衡量文件的编码复杂度, 朗卡回应道, “我们从QP开始，最近迁移到CRF. 结果是差不多的.”

说到x.264, 长期以来，人们一直猜测Netflix正在使用某种预处理或后处理功能来优化质量, 我们问了这个问题. Ronca回应说Netflix使用的是Plain x.但我们所描述的技术应该适用于任何编解码器. 有时被忽略的一点是，我们的工作实际上是预先编码步骤，以确定编码器的最佳配方. 在过去，专业编码器会做出这些决定. 我们只是让它在非常大的范围内工作.”

绘制凸壳

在确定所有文件都需要不同的编码阶梯之后, 这篇博文接着描述了Netflix是如何制作梯子的. 在高水平上, Netflix在不同的分辨率和QP值下运行了许多测试编码，以绘制每个数据速率/分辨率对下的PSNR质量, 然后用它来确定最佳的编码阶梯.

文章中的一个观察结果是，在相同分辨率下提高数据速率的同时，也会持续提高流质量, 一旦比特率超过某个阈值，这些质量增加就会趋于平缓. 您可以在图2中的低、中、高分辨率图中看到这一点. 如果您绘制一条包含所有分辨率的峰值质量/比特率效率点的线, 你会得到一个“凸壳”,这个术语描述了最有效地约束所有数据点的形状.

Netflix按标题计费

图2. 绘制凸壳，其中每个分辨率或分辨率提供最高质量.

在这里，我对文章中描述的数学和技术的掌握变得紧张起来. 很明显，对于每个决议, 所选择的数据速率将是凸包上的点. Netflix很清楚，它的制作分辨率是有限的. 不清楚的是，是否每个分辨率都有一个编码, 或者Netflix在相同分辨率下以多种数据速率进行编码.

这句话引起了我的困惑:“比特率的选择也被限制在一个有限的集合中, 相邻比特率的增量大约是5%.“这是否意味着存在多个比特率相差约5%的编码, 或者这些是Netflix试图确定的最高质量分辨率的比特率, 本质上是测试目标?

请注意，这是一个关键问题. 博客文章中详细介绍的过程只关注优化质量, 而不是看编码阶梯在自适应群体中是否表现良好. 在这方面，苹果技术说明TN2224 建议制作人将“相邻比特率”保持在1倍.间隔5比2.” A 开创性土坯白皮书关于这个话题的解释是:“太多的比特率彼此太接近可能导致太多的流切换, 即使带宽波动较小. 除了开关的轻微开销, 观众对过于频繁的质量波动的体验可能并不愉快.“所以一个大问题是，每个源文件产生了多少自适应变体, 以及不同的内容是如何变化的.

我们问Netflix最后一组有多少比特率, 如果它们相差5%, 或者更分散. Netflix提供了表2所示的样例阶梯, 和回应, “比特率的总数取决于游戏. 理想情况下，每个比特率之间存在一个JND(只是明显的差异). 下面的示例是动画原版的CBE. 这是有代表性的，但不同的游戏会有所不同.”

表2:动画素材新旧编码阶梯. 请注意，在720x480及以上的分辨率下，数据速率显著降低.

另一个关键问题是Netflix生产编码实际使用的编码技术. 具体地说, 而Netflix显然使用QP编码作为工具来确定每个文件的最佳数据速率目标, 我们对最终视频的编码技术很好奇, 特别是考虑到苹果技术说明TN2224规定的10%的可变性阈值. Ronca建议使用双通道VBR, 有限的编码器参数，以保持与传统设备的兼容性. 举个例子, Ronca表示，使用的最大缓冲区大约是平均目标比特率的200%.

Netflix的比较之谜

一读时, 最大的谜团是Netflix如何计算不同分辨率文件的PSNR, 因为大多数客观的质量工具，如莫斯科大学视频质量测量工具，不能执行任何形式的交叉分辨率测试(阅读评论). 为了清楚起见，所有编码的源文件(大概)都是1080p的原始文件. 然而，要计算PSNR，您需要逐像素比较. 那么Netflix电脑是如何处理像720x480这样的低分辨率文件的PSNR呢?

下一个页面