基于差分的深度感知预处理
每Hultin讨论了如何应对不断增长的内容量和在线视频流日益增长的碳足迹所带来的挑战.
今天的消费者对他们消费的内容的质量比以往任何时候都有更高的期望. 他们也有了比以往更多的选择. 结果是, 尽可能经济有效地交付更多高质量的内容是内容提供商的头等大事.
在应对网络媒体消费激增的问题上，媒体部门面临着一系列挑战, 这给全球网络基础设施带来了前所未有的压力. 互联网基础设施的巨大负载不仅造成了内容传输的瓶颈, 但也会影响内容如何有效地分发给更多的观众，并对环境造成影响.
思科预测，超过一半的全球IP视频流量(56%.8%的人会选择高清，四分之一(22%)的人会选择高清.3%) will be Ultra HD by 2022; this demand for high-resolution video means an inevitable trade-off between bandwidth and the end-user experience. 高分辨率视频通常也需要极高的比特率, 这可能导致启动缓慢, 视频缓冲, 内容分发网络(CDN)和存储成本高.
继续努力平衡效率和能力, 对视频感知优化的兴趣——换句话说, 数字视频流的处理，以提供用户期望的在最小带宽下不妥协的质量，正在上升. 传统上, 数字视频的世界依赖于压缩, 哪个是处理器密集型进程, 要解决这些问题. 提供更高质量的内容, 同时降低了带宽要求, 业界一直在努力提高它所使用的编解码器的效率和复杂性，但这带来了更高的复杂性.
我们现在所处的阶段是，视频编码复杂性的增长速度超过了摩尔定律. 即使有更多的GPU和CPU容量来编码视频内容, 制作和观看的内容的绝对数量意味着我们将很快超过可用的计算周期. 我们还面临着互联网的碳足迹估计比航空业的碳足迹还要大的情况.
作为一家公司，我们认为对视频流媒体的颠覆性创新是迫切需要的. 我们需要新的预处理和后处理, 编码, 以及设备感知和跨编解码器兼容的交付工具. 这是我们满足日益增长的在线视频需求的唯一途径, 减少加工, 能源, 存储要求. 红杉资本(SEQUOIA)， 96万美元&iSIZE, BBC R&D, 和伦敦玛丽女王大学(QMUL), 作为一个公司，我们正在努力实现这些目标吗.
红杉资本专注于带来创新技术, 包括人工智能, 改进视频内容的分发方式，以满足视频流媒体更加可持续发展的迫切需求. SEQUOIA项目正在关注视频流的感知优化，以此作为一种显著减少同等质量所需带宽的方法. 这是iSIZE工作的核心，我们在这一领域积累了广泛的专业知识.
新影像时代的新途径
iSIZE采用一种独特的方法来解决在各种指标之间寻找折衷的日益紧迫的挑战, 在比特率和感知之间，同时管理处理和编码的复杂性. 而不是依赖于更复杂的编解码器和更大的GPU/CPU容量, 我们开发了一种预处理解决方案，可以在编码器之前操作时降低编码比特率, 并且不需要任何关于编码器规范的信息.
我们创新的BitSave解决方案利用了正在申请专利的人工智能(AI)功能和机器学习, 结合感知质量指标的最新进展. 在典型的基于分块的预测和量化之后，它增强了每帧中影响内容感知质量分数的区域的细节，减弱了不重要的细节. 通过减少感知度量告诉我们对人类观众不重要的图像元素所需的位数, BitSave确保感知质量与编码比特率达到最佳平衡.
BitSave是一种服务器端预处理增强，适用于跨编解码器，并优化了AVC/H等传统编码器.264以及HEVC/H.265、AV1和VVC/H.266，而不需要知道每个编码器的编码细节. 最重要的是, BitSave不改变编码, 包装, 传输或解码机制-不像lcevc这样的解决方案-使其完全兼容任何编码, 流媒体, 没有任何修改的播放设备.
大多数预处理解决方案使用锐化或对比度调整技术的一些变体来提供感知优化, e.g.， HEVC或AV1编码器中的tune-vmaf选项. 使BitSave与众不同的是，它在不锐化或改变对比度/亮度/颜色属性的情况下保持了源的感知特征, 并且它消除了许多其他编码或感知优化工具所使用的循环内集成的需要. BitSave是一种单遍预处理解决方案，不需要元数据或与后续编码引擎集成，并且在质量方面有显著提高.
把我们的技术放在编码器之前, 我们确保它不依赖于特定的编解码器, 它优化了低层次的指标，如SSIM(结构相似指数指标), 以及更高层次(更以感知为导向)的指标，如Netflix的VMAF和苹果的AVQT指标，或基于人工智能的感知质量指标，如LPIPS. 对于这些指标，BitSave被证明提供了平均比特率节省. 同样的编码器和配方往往超过20%. 我们还以不违反编码标准的方式设计了我们的解决方案, 允许在现有的分销链和现有的客户端设备中使用它.
为了更大的灵活性, iSIZE软件开发工具包(SDK)允许BitSave作为Linux二进制文件进行试验, Docker容器服务, 或者作为CPU或GPU与内部编码器集成的Linux SDK. SDK的CPU运行时可与低复杂度的编码(例如.g., AVC x264中预置), 这一结果部分得益于我们最近与英特尔的合作，以优化我们在英特尔cpu上的推理框架. 此外, 它在主流NVIDIA硬件(如T4 gpu)上的运行速度可以达到1080p分辨率下的3毫秒/帧.
Widereaching好处
那么，使用BitSave的好处是什么? 简而言之，它在两个关键领域提供了显著的节省. 首先，它降低了标准编解码器提供一定质量水平所需的比特率. 除了, 如果比特率节省不是唯一的目标, BitSave的适度运行意味着它也可以用来使实际的编码更快——高达500%——甚至在VP9这样的情况下更快, AV1, 或VVC编码.
整体, BitSave改进了多个最先进的质量指标, 并跨越多种视频编码标准. 我们相信我们可以走得更远，因为我们的方法为任何编码器特定的感知质量优化提供了复合收益:一个真正的, 可衡量的, 显著节省比特率而不影响视觉质量.
这项创新技术巧妙地解决了行业面临的一个日益严峻的挑战:超高清内容的可持续分发, 同时限制视频对互联网流量的影响，降低分发成本. 我们相信，我们的解决方案将在媒体分销链的每一个阶段产生影响, 通过在媒体价值链的各个阶段主动减少能源消耗，为整个行业带来效益.
iSIZE目前正与客户合作，在游戏中推广这项技术, 社交媒体, 以及娱乐视频流媒体行业. 在接下来的几个月, 我们期待着就我们的框架提供的商业利益发布一些重要的公告.
http://www.isize.co/
这篇文章是赞助内容
相关文章
如果你真的想尝试不同的编解码器和/或编码参数, 密歇根州立大学的视频质量测量工具是一个必不可少的工具, 版本13带来了一些受欢迎的改进.
2021年6月1日
Akamai首席架构师Will Law讨论了影响用户感知视频质量的所有视频流元素, 以及为什么在流媒体连接2021年的这个剪辑中，比特率本身并不是流质量的一个糟糕指标.
2021年3月22日
Jan Ozer讨论了三个关键目标质量度量工具的优缺点, SSIMplus, 和Hybrik(杜比).
2020年5月4日
平均分数可能具有欺骗性, 因此，请确保您使用的工具可以更准确地评估您的视频质量
2020年2月10日