深度学习之图像视频压缩技术

作者：图鸭  微信公众号：Tucodec

前言

说到图像压缩算法，最典型的就是JPEG、JPEG2000等。

其中JPEG 采用的是以离散余弦转换(Discrete Cosine Transform) 为主的区块编码方式（如图2）。JPEG2000则改用以小波转换(Wavelet Transform) 为主的多解析编码方式，小波转换的主要目的是将图像的频率成分抽取出来。

（图2 JPEG 编码框图）

在有损压缩下，JPEG2000的明显优势在于其避免了JPEG压缩中的马赛克失真效果。JPEG2000的失真主要是模糊失真，而模糊失真的主要原因在于高频量在编码过程中一定程度的衰减。在低压缩比情形下（比如压缩比小于10：1），传统的JPEG图像质量有可能比JPEG2000好。JPEG2000在高压缩比的情形下，优势才开始明显。

整体来说，JPEG2000相比于传统JPEG，仍有很大技术优势，通常压缩性能可提高20%以上。当压缩比达到100：1时，JPEG压缩的图像已经严重失真并开始难以识别了，而JPEG2000的图像仍可识别。

深度学习技术设计压缩算法的目的

通过深度学习技术设计压缩算法的目的之一是学习一个比离散余弦变换或小波变换更优的变换，同时借助于深度学习技术还可以设计更简洁的端到端算法，因而能够设计出比JPEG2000等商用算法性能更优的算法。

在图片、视频压缩领域，使用最多的深度学习技术就是卷积神经网络(CNN)，下面会就卷积神经网络进行简单介绍。如图3所显示，像搭积木一样，一个卷积神经网络由卷积、池化、非线性函数、归一化层等模块组成。最终的输出根据应用而定，如在人脸识别领域，我们可以用它来提取一串数字（专业术语称为特征）来表示一幅人脸图片。然后通过比较特征的异同进行人脸识别。
     
图3 卷积神经网络示意图（来源http://blog.csdn.net/hjimce/article/details/47323463）

那如何利用卷积神经网络做压缩？如图4所示，完整的框架包括CNN编码网络、量化、反量化、CNN解码、熵编码等几个模块。编码网络的作用是将图片转换为压缩特征，解码网络就是从压缩特征恢复出原始图片。其中编码网络和解码网络，可以用卷积、池化、非线性等模块进行设计和搭建。

（图4 用深度学习进行图片压缩示意图）

如何评判压缩算法

在深入技术细节前，我们先来了解一下如何评判压缩算法。评判一个压缩算法好坏的重要指标有两个:一个是每个像素占据的比特位数（bit per pixel, BPP），一个是PSNR。我们知道，数据在计算机中以比特形式存储，所需比特数越多则占据的存储空间越大。BPP用于表示图像中每个像素所占据的比特数，如一张RGB三通道图，表示每个像素需要消耗24个比特。PSNR用来评估解码后图像的恢复质量，简单理解就是PSNR越高，恢复质量越好。

我们举个例子，假设长宽为768*512的图片大小为1M，利用深度学习技术对它编码，通过编码网络后产生包括96*64*192个数据单元的压缩特征数据，如果表示每个数据单元平均需要消耗1个比特，则编码整张图需要96*64*192个比特。经过压缩后，编码每个像素需要的比特数为（96*64*192）/(768*512）=3，所以BPP值为3bit/pixel，压缩比为24:3=8:1。这意味着一张1M的图，通过压缩后只需要消耗0.125M的空间，换句话说，之前只能放1张照片的空间，现在可以放8张。

如何用深度学习做压缩

谈到如何用深度学习做压缩，还是用刚才那个例子。将一张大小768*512的三通道图片送入编码网络，进行前向处理后，会得到占据96*64*192个数据单元的压缩特征。有计算机基础的读者可能会想到，这个数据单元中可放一个浮点数，整形数，或者是二进制数。那问题来了，到底应该放入什么类型的数据？从图像恢复角度和神经网络原理来讲，如果压缩特征数据都是浮点数，恢复图像质量是最高的。但一个浮点数占据32个比特位，那之前讲的比特数计算公式变为（96*64*192*32）/（768*512）=96，压缩后反而每个像素占据比特从24变到96，非但没有压缩，反而增加了，这是一个糟糕的结果，很显然浮点数不是好的选择。

所以为了设计靠谱的算法，我们使用一种称为量化的技术，它的目的是将浮点数转换为整数或二进制数，最简单的操作是去掉浮点数后面的小数，浮点数变成整数后只占据8比特，则表示每个像素要占据24个比特位。与之对应，在解码端，可以使用反量化技术将变换后的特征数据恢复成浮点数，如给整数加上一个随机小数，这样可以一定程度上降低量化对神经网络精度的影响，从而提高恢复图像的质量。

即使压缩特征中每个数据占据1个比特位，可是 8:1的压缩比在我们看来并不是一个很理想的结果。那如何进一步优化算法？再看下BPP的计算公式。假设每个压缩特征数据单元占据1个比特，则公式可写成：（96*64*192*1）/(768*512）=3，计算结果是3 bit/pixel，从压缩的目的来看，BPP越小越好。在这个公式中，分母由图像决定，可以调整的部分在分子，分子中96、64、192这三个数字与网络结构相关。很显然，当我们设计出更优的网络结构，这三个数字就会变小。

那1与哪些模块相关？1表示每个压缩特征数据单元平均占据1个比特位，量化会影响这个数字，但它不是唯一的影响因素，它还与码率控制和熵编码有关。码率控制的目的是在保证图像恢复质量的前提下，让压缩特征数据单元中的数据分布尽可能集中、出现数值范围尽可能小，这样我们就可以通过熵编码技术来进一步降低1这个数值，图像压缩率会进一步提升。

用深度学习做视频压缩，可以看作是在深度学习图片压缩基础上的扩展，可结合视频序列帧间的光流等时空信息，在单张压缩的基础上，进一步降低码率。


图 5 在kodak24标准数据集上测评结果，上图为PSNR结果，下图为MS-SSIM的结果

总结

总体而言，借助于深度学习设计视频和图像压缩算法是一项非常具有前景但也非常具有挑战性的技术。目前，其已经在人脸识别等领域证明了它的强大能力，有理由相信在不久的将来，深度学习技术将为图像视频压缩领域带来更大的突破。现阶段图鸭团队自主研发的算法已经超过商用的JPEG2000。如图6和图7

图 6 在同等压缩率下压缩视觉效果对比。上图为图鸭所提出的算法，下图为JPEG2000算法。在纹理细节上，我们的算法能得到更好的效果。


图 7 在同等压缩率下，对复杂图像压缩视觉效果对比。上图为图鸭所提出的算法，下图为JPEG2000算法。在细节上，我们的算法能得到更好的效果。