回顾:iSize BitSave视频预处理

iSize BitSave是一种视频预处理技术，旨在提高您制作的视频的质量. 我将从一个简明扼要的总结开始，然后再深入探讨.

TL /博士

iSize的 网站 声称它提供了40%到60%的比特率降低, 所以我测试的数据率是其他测试方法的60%. 因为很容易“破解”VMAF来提供可能与主观视频改进无关的改进分数, 我创建了自己的基于ffmpeg的黑客算法来与BitSave进行比较.

我使用17个20秒的测试文件生成了三组文件, 包括电影, 动画, 体育, 和游戏. 一组文件是未经处理编码的源文件(基线). 第二种是使用FFmpeg方法处理的文件(FFmpeg过滤器), 第三个通过BitSave (BitSave)处理. 我使用相同的FFmpeg参数对所有文件进行编码，并测量了VMAF、SSIM和PSNR值. 我没有调优PSNR值或SSIM，因为我使用相同的编解码器和编码器执行了所有测试.

图1 显示结果度量分数，PSNR值平均值乘以2.5和SSIM的平均值乘以100，将它们显示在与VMAF相同的图中. 澄清一下, 基线结果和FFmpeg过滤器的目标数据率为100%，而BitSave的目标数据率为60%.

图1. 将BitSave与我自己的FFmpeg过滤器和基线结果进行比较.

如你所见, FFmpeg滤波器(在100%的数据速率下)提供了最好的VMAF改进，但PSNR值和SSIM分数最差. 未处理的基线文件提供了PSNR值和SSIM的最佳总分, 其次是BitSave，第三是FFmpeg方法. BitSave(和, 事实上, (所有视频预处理公司)将SSIM和PSNR值分数的下降归因于“我们正在改变编码器的输入”, 这样我们的视频信号就会转向人类的感知.换句话说, 多年来，我们一直认为PSNR值和SSIM得分与主观得分无关, 所以你不应该期望预处理算法能够提高感知质量来提高这些分数.

图2 使用11个以相同数据速率编码的BitSave的5秒测试片段进行相同的分析. 在这里, BitSave赢得了VMAF的比较，并且比FFmpeg滤波方法获得了更高的SSIM和PSNR值分数.

图2. 与我自己的FFmpeg过滤器相比，BitSave的基线结果为100%.

我在下面分享我的主观观察. 我的结论如下:

• VMAF是, 事实上, 很容易破解, 在比较预处理方法时，你应该对VMAF分数持保留态度.
• BitSave是一种合法的处理技术，而不是黑客, 尽管它明显受益于VMAF的“可破解性”，因为它提高了大多数视频的对比度.
• 唯一合理比较预处理算法的方法是主观测试.
• 应用我制定的FFmpeg过滤器可以提高VMAF分数并改善大多数视频的对比度, 但可能不应该考虑通用部署, 尤其是优质内容, 因为它确实会使一些视频变暗. 但是，如果您正在处理低质量的输入视频，则值得一看.

现在让我们看看我是如何测试的.

我的测试

该公司网站上声称的关键性能指标是“当iSize技术与MPEG H一起使用时”.264/AVC，它允许40-60%的比特率降低*在一系列编码器(AVC/H.264, HEVC, VP9, AV1, VVC), 与使用相同的基线编码器和编码配方相比-所有这些都具有我们专有的机器学习IP的力量."

我在网站上搜索了这个星号，没有发现任何警告. 在我完成测试之后, 我把我的结果分享给了iSize，他回应了我, "澄清一下, 我们声明在一系列编码标准(AVC/H)上节省40%-60%.264, HEVC, AV1, VVC)和一系列编码食谱, 与使用相同的编码配方而没有对编解码器进行任何额外的感知预处理时相比(例如为“FFmpeg过滤器”测试选择不清晰/对比度).一周后，iSize仍然没有在他们的网站上澄清这一点, 所以我假设其他人在他们的网站上读到这篇文章也会得出同样的结论, 我在报告我的发现.

BitSave如何工作

你可以阅读BitSave的工作原理 在这里. 从工作流的角度来看, 我通过将测试文件上传到公司网站，然后下载一个高比特率HEVC文件来代替原始源代码来使用这项技术. 这对于大量使用来说很麻烦, 当然, 因此，iSize提供了许多许可和集成选项.

我通过将原始源代码和BitSave预处理文件编码到相同的编码参数来开始测试. 这证实了VMAF分数的显著提高，尽管PSNR值分数普遍下降，SSIM分数基本持平. 当我直接研究视频时, 我注意到从BitSave源编码的一些帧比从原始源编码的视频显示出更好的对比度和更少的雾霾, 就好像它们被调色师在另一轮色彩分级中处理过一样.

这就提出了几个问题，比如, 我是否可以通过提高编码视频文件的对比度来提高VMAF分数, 或者VMAF是否会被黑客入侵. 在谷歌上搜索一下“黑客入侵VMAF”，就会发现一份名为“黑客VMAF与视频颜色和对比度失真,该报告由莫斯科国立大学的几名研究人员共同撰写, 视频质量测量工具的开发者和多种编解码器比较的生产者.

论文指出, 在这篇论文中, 我们描述了视频颜色和对比度变换，这些变换可以提高VMAF分数，同时保持SSIM分数相同或更好. 在对扭曲的图像添加任何转换后，提高全参考度量得分的可能性意味着在某些情况下度量可能会被欺骗.“在白皮书里, 研究人员测试了不同值的非锐化和直方图均衡化如何影响VMAF和SSIM分数. 正如文章的标题所暗示的那样，他们得出结论，VMAF可能被“黑客入侵”."

我的测试

我认为这是一个挑战，并开始试验几个FFmpeg命令，以了解我是否可以提高VMAF分数，甚至视频的实际质量. 具体来说，我应用了对比度和不锐利的蒙版过滤器，并添加了以下命令字符串. 我唯一调整的两个数字是对比度和第三个不锐利的遮罩配置, 它们的默认值都是1.0.

亮度vf情商= = 0.0:对比= 1.075年,钝的= 5:5:1.05:5:5:0.0

然后，我根据下表中的值调整了对比度，得到了所示的度量分数. 你可以看到 表1, 碰撞对比使VMAF得分提高了14分，尽管SSIM因此受到影响. 显然，VMAF可以被黑客攻击.

表1. 通过对比度调整破解VMAF.

处于这些值的极端, VMAF得分很高, 但视频中的暗化效果比任何制作人实际使用的都要多, 远远超出了我在BitSave视频中看到的. 因为我的目标是找到一套任何制作人在任何时候都可以自信地使用的价值, 我调整了对比度值，最终确定了这些设置.

亮度vf情商= = 0.0:对比= 1.015年,钝的= 5:5:1.025:5:5:0.0

任何FFmpeg爱好者(或压缩爱好者)都知道, 这些类型的优化实验非常耗时，我不能说这些设置(甚至这些过滤器)是最优的方法. 但, 您将在下面的结果部分中看到, 它们确实提高了VMAF分数，在大多数情况下也似乎提高了实际视频质量, 也.

测试BitSave

So, 来测试BitSave技术, 我用了17个夹子, 每个大约20秒长, 有四个动画, 四场比赛, 四个体育片段和六个其他片段，包括一些电影和其他内容. 我通过BitSave网站处理这些文件，并使用简单的两遍FFmpeg命令字符串进行编码.

输入.Mp4 -c:v libx264 -b:v 6000k -maxrate 12000k -bufsize 12000k -g 50 -keyint_min 50 -sc_threshold 0 -pass 1 -an -f mp4 NUL && \

输入.Mp4 -c:v libx264 -b:v 6000k -maxrate 12000k -bufsize 12000k -g 50 -keyint_min 50 -sc_threshold 0  -an -pass 2 input_x264_baseline.mp4

我为每个测试生成了三个文件:

• 在原始源文件上使用脚本的_baseline文件.
• _BS文件使用BitSave上的脚本处理中间文件
• 使用上述脚本的_both文件加上上面在原始源文件上显示的两个视频过滤器. 该文件对应于FFmpeg Filters输出.

我改变了关键帧间隔，以匹配每个文件的帧速率，范围从24到60 fps. 我通过在每个源文件上运行CRF 27编码来为每个测试定制数据速率，以确定产生大约93-95的VMAF值的数据速率. 我以这个速率对_baseline和_both文件进行编码. 我将BitSave文件编码为a 比特率降低40%这是一个非常苛刻的测试，尽管测试iSize的营销宣传是合理的.

请注意，我没有对编码中的PSNR值或SSIM进行调优，因为我对所有编码使用相同的编解码器, 所以我认为对度量分数的影响是均匀的. 我也有一种强烈的感觉，即视觉对比将是最重要的，而调整可能会抛弃主观结果.

基准测试结果

表2 显示了使用VMAF单独列的基准测试结果, PSNR值, 和SSIM(表2中的总平均分是上面图1的基础). 橙色背景表示三个中得分最低的, 而绿色表示得分最高. 对于VMAF, FFmpeg Filters方法显然是赢家. 具有PSNR值和SSIM, 基线文件(原始源代码), 没有过滤器)表现最好, 在PSNR值中，BitSave是FFmpeg滤波器的获胜者，在SSIM测试中输了一个. 同样，这是BitSave，比特率是其他两个文件的60%.

表2. 将基线和FFmpeg文件与其他两个文件的比特率为60%的BitSave进行比较.

从这个角度来看， 表3 显示了我在一组单独的5秒文件上运行的一些初步测试，这些文件使用相同的编码字符串，但使用单一的数据速率, 1.所有技术的平均速度为每秒75 Mbps(表3中的总平均分数是上面图2的基础). 在这里，BitSave在这三个指标上明显优于我的基于过滤器的FFmpeg方法. 

表3. 以相同的数据速率比较基线和FFmpeg文件到BitSave.

主观质量

主观素质总是很难的, 特别是因为我使用基于过滤器的方法“与游戏息息相关”. 在我看来，BitSave并没有为H提供承诺的40%带宽节省.264编码, 至少与FFmpeg过滤器方法相比，甚至可能与基线视频相比.

您可以下载三个PDF文档和屏幕截图，以帮助您得出自己的结论. 第一个标题是BitSave1_Contrast and Overview 在这里. 这个演示包括了显示最大反差差异的片段, 有些用圈出的区域来引导你的注意力. 最好的方法是全屏打开PDF，灯光调暗，在图像之间来回切换, 哪个先显示FFmpeg过滤, 然后是基线, 然后是BitSave，以便将基线与两种方法进行比较. 除了最后的足球剪辑外，所有图像都显示BitSave的数据速率是其他两个的60%.

深入研究与60%的BitSave的比较细节，会发现一些戏剧性的差异, 包括图4中的侠盗猎车手框架. 我们向BitSave询问了与游戏相关的结果, 他们说, “我们首先承认，我们需要进一步改进我们的模型，以适应游戏等一些用例, 实际上，我们正计划在您的文章发布时发布一个新版本."

你可以从这组剪辑中下载一个PDF格式的其他帧 在这里. 本演示展示了来自莫斯科国立大学视频质量测量工具的VMAF分数的帧图剪辑，然后是源帧, 然后基线, 然后是FFmpeg过滤器, 然后BitSave.

图4. 比较FFmpeg过滤方法与BitSave 

以相同的数据速率, BitSave显然比我基于过滤器的方法要好，你可以下载一个类似的PDF 在这里.

Summary

底线是VMAF的可攻击性使评估预处理技术变得复杂. 尽管我们喜欢相信客观度量的简单性, 以及它可以生成的漂亮的图表和BD-Rate统计数据, VMAF并不是对预处理技术的准确衡量.

此外，我的医生妻子喜欢说相关性不是因果关系. 这里的类比是，仅仅因为我们在审查BitSave时发现VMAF是可攻击的，并不意味着BitSave正在攻击VMAF. 经过几个小时的测试, 我发现BitSave的技术是有效和有价值的, 虽然布丁的证据将是如何表现在主观测试与您的测试剪辑. 

最后, 对比度和清晰度对我们编码文件的主观外观产生了巨大的影响, 我很惊讶我的许多测试文件都通过这两种预处理方法得到了改进. 任何调整过颜色的人, 亮度, 在Adobe Premiere Pro或其他编辑器中对剪辑进行对比的人知道，大多数没有经过专业着色的剪辑可以在几分钟内大大改善. 如果你负责剪辑，那么花额外的时间绝对是值得的. 如果你是负责压缩的人负责对产品发送给你的内容进行编码, 与他们分享这个词, 或者尝试在编码器中进行最小的调整(如果可用). 你的观众会感谢你的.

免费的

合资格订户

现在就订阅 最新一期 过去的问题

相关文章

把不好看的变成好看的

Sergio Grce讨论了BitClear，一种基于人工智能的去噪技术.

2022年4月6日

买家必备视频工具指南

任何优秀的压缩师都需要工具来帮助揭示编码文件的关键数据, 从编解码器和分辨率到GOP结构和质量水平. 下面是一些最有用的.

2020年3月18日