CN110310343B

CN110310343B - 图像处理方法及装置

Info

Publication number: CN110310343B
Application number: CN201910451850.6A
Authority: CN
Inventors: 陈海宝; 孙浩然; 刘奕晨
Original assignee: Xian Wanxiang Electronics Technology Co Ltd
Current assignee: Xian Wanxiang Electronics Technology Co Ltd
Priority date: 2019-05-28
Filing date: 2019-05-28
Publication date: 2023-10-03
Anticipated expiration: 2039-05-28
Also published as: CN110310343A

Abstract

本公开提供一种图像处理方法及装置，涉及图像处理技术领域，能够解决现有技术方案中对图像的处理无法兼顾高质量显示与低占用带宽的问题。具体技术方案为：将目标图像输入预设的显著性检测神经网络确定目标图像的关键区域以及非关键区域；对关键区域对应的图像编码处理后得到关键区域对应的图像数据，并通过预设的生成对抗网络的生成器生成非关键区域对应的图像数据。本公开用于在图像处理中兼顾高质量显示与低占用带宽。

Description

图像处理方法及装置

技术领域

本公开涉及图像处理技术领域，尤其涉及图像处理方法及装置。

背景技术

图像是人们获取信息的主要渠道，随着技术的发展，图像质量越来越高，相应的，图像数据量也越来越大，对于图像的传输，由于传输时带宽有限，一般都需要对图像进行压缩处理后再进行传输。

现有图像压缩可分为有损压缩和无损压缩两大类。目前业界主流的有损压缩算法例如JPEG等，其设计目标是在不影响人类可分辨的图片质量的前提下，尽可能的压缩文件大小，这意味着去掉了一部分图片的原始信息；而无损压缩算法例如PNG-24使用直接色的点阵图，无损压缩后的数据量是有损压缩的五倍左右，但是，显示效果的提升却相对较小。

目前现有的图像处理方案中存在以下问题：有损压缩图像显示效果差、无损压缩占用带宽高，在传输带宽有限的情况下，对图像的处理无法兼顾高质量显示与低占用带宽。

发明内容

本公开实施例提供一种图像处理方法及装置，能够解决现有技术方案中对图像的处理无法兼顾高质量显示与低占用带宽的问题。所述技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，该方法包括：

将目标图像输入预设的显著性检测神经网络确定目标图像的关键区域以及非关键区域；

对关键区域对应的图像编码处理后得到关键区域对应的图像数据，并通过预设的生成对抗网络的生成器生成非关键区域对应的图像数据。

通过显著性检测神经网络确定出目标图像的关键区域以及非关键区域，对于非关键区域的图像采用生成对抗网络生成显示效果更好且数据量更小的图像，对于关键区域的图像不做高压缩比的压缩处理，从而在传输带宽有限的情况下，对图像的处理可以兼顾高质量显示与低占用带宽。

在一个实施例中，将目标图像输入预设的显著性检测神经网络确定目标图像的关键区域以及非关键区域，包括：

将目标图像输入显著性检测神经网络获取目标图像对应的显著图；

根据显著图确定目标图像的关键区域以及非关键区域。

在一个实施例中，对关键区域对应的图像编码处理后得到关键区域对应的图像数据，包括：

对关键区域对应的图像采用无损压缩算法处理后得到关键区域对应的图像数据。

对于关键区域的图像采用无损压缩算法处理可以有效保证用户关注的部分图像内容的图像质量，提高用户体验。

在一个实施例中，根据显著图确定目标图像的关键区域以及非关键区域，包括：

根据预设阈值对显著图进行处理；其中，显著图中灰度值大于预设阈值的像素点赋值为1，显著图中灰度值小于或等于预设阈值的像素点赋值为0；

根据处理后的显著图与目标图像进行矩阵点乘运算确定关键区域，并根据关键区域与目标图像确定非关键区域。

在一个实施例中，显著性检测神经网络以及生成对抗网络中包含的卷积神经网络中数据类型为16位定点；显著性检测神经网络以及生成对抗网络中的稀疏矩阵是按照以下方式存储的：按照预设顺序存储稀疏矩阵中的非零值后将非零值记为1转化为二进制矩阵并存储。

通过简化卷积神经网络中的数据类型以及稀疏矩阵的数据存储，可以有效节省存储空间并且可以加快处理速度。

在一个实施例中，显著性检测神经网络是基于VGG卷积神经网络搭建的。

根据本公开实施例的第二方面，提供一种图像处理装置，该装置包括：

确定模块，用于将目标图像输入预设的显著性检测神经网络确定目标图像的关键区域以及非关键区域；

处理模块，用于对关键区域对应的图像编码处理后得到关键区域对应的图像数据，并通过预设的生成对抗网络的生成器生成非关键区域对应的图像数据。

在一个实施例中，确定模块具体用于：

根据显著图确定目标图像的关键区域以及非关键区域。

在一个实施例中，处理模块具体用于：

在一个实施例中，确定模块具体用于包括：

本公开实施例提供的图像处理方法及装置，通过显著性检测神经网络确定出目标图像的关键区域以及非关键区域，对于非关键区域的图像采用生成对抗网络生成显示效果更好且数据量更小的图像，对于关键区域的图像不做高压缩比的压缩处理，从而在传输带宽有限的情况下，对图像的处理可以兼顾高质量显示与低占用带宽。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开实施例提供的一种图像处理方法的流程示意图；

图2是本公开实施例中用于描述显著性的一个示意图；

图3是本公开实施例提供的一个显著图的示意图；

图4是本公开实施例中生成对抗网络生成图像的流程示意图；

图5是本公开实施例提供的一种图像处理方法的实施示意图；

图6是本公开实施例提供的一种图像处理方法的效果示意图；

图7是本公开实施例中用于描述稀疏矩阵存储的一个示意图；

图8是本公开实施例提供的一种图像处理装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开实施例提供一种图像处理方法，应用于图像发送设备，例如可以是服务器、移动终端等设备，如图1所示，该图像处理方法包括以下步骤：

101、将目标图像输入预设的显著性检测神经网络确定目标图像的关键区域以及非关键区域。

视觉显著性(Visual Attention Mechanism，VA)是指面对一个场景时，人类自动地对感兴趣区域进行处理而选择性地忽略不感兴趣区域，这些人们感兴趣区域被称之为显著区域。例如图2海洋中的水母相对于海洋更显著。

视觉显著性检测计算是指利用卷积神经网络(Convolutional Neural Networks，CNN)模拟人的视觉注意机制，对视场中信息的重要程度进行计算。

在本公开的一个实施例中，显著性检测神经网络可以基于VGG卷积神经网络搭建。VGG卷积神经网络的优点是简化了神经网络结构，基于VGG卷积神经网络搭建显著性检测神经网络可以在训练阶段提高训练效率，并且在实际应用中取得很好的效果。具体的，本公开实施例可以使用VGG卷积神经网络中的VGG16搭建显著性检测神经网络对图像进行显著性检测，VGG16是牛津大学计算机视觉组和DeepMind公司共同研发的一种深度卷积神经网络，经常被用来提取图像特征，以ImageNet作为训练集用于视觉对象识别软件研究的大型可视化数据库，VGG16可识别1000种物体。

需要说明的是，本公开实施例中的显著性检测神经网络搭建好后，需要利用大量图像进行训练达到预期效果后再进行使用。具体的训练方式和过程可以参照相关技术资料理解，本公开实施例中不做详述。

在一个实施例中，步骤101具体可以包括：

1011、将目标图像输入显著性检测神经网络获取目标图像对应的显著图。

显著区域的显著度值高于非显著区域的显著度值，显著度值是显著性度量参数的值，显著度值是通过预设方法计算出的值，根据显著度值可以得到显著图。

具体的，将目标图像输入显著性检测神经网络后，对于目标图像中每一个像素点，经过VGG卷积神经网络中最后一层全连接层中的sigmoid函数输出每个像素点对应的显著度值为[0,1]区间内的值，量化至[0,255]的灰度值区间以灰度图的方式可视化为显著图，显著度值越高，则在灰度图中越亮，例如图3中的显著图。灰度图是一种具有从黑到白256级灰度色阶或等级的单色图像，该图像中的每个像素用8位数据表示，因此像素点值介于黑白间的256种灰度之间。

1012、根据显著图确定目标图像的关键区域以及非关键区域。

在一个实施例中，步骤1012，具体可以包括：

1012a、根据预设阈值对显著图进行处理；其中，显著图中灰度值大于预设阈值的像素点赋值为1，显著图中灰度值小于或等于预设阈值的像素点赋值为0。

其中，显著图是目标图像经过显著度检测神经网络输出的显著度值量化到0-255得到的一个灰度图，存储着目标图像每个像素点的显著度信息，实质上对应一个数值取值在[0,255]区间的矩阵。

具体的，根据预设阈值对显著图进行处理，将高于该预设阈值的灰度值对应的像素点均赋值为1；低于该预设阈值的灰度值对应的像素点均赋值为0。

值得一提的是，预设阈值的不同会导致关键区域的大小发生变化。预设阈值越高，关键区域的评判越严格，关键区域面积越小。随着预设阈值的下降，图像中显著内容周围有更多的像素点被界定为关键像素点，关键区域面积增大。另外，随着关键区域面积的增大，在解码器一端会解码得到质量更高的图片，但需要无损保留或较高质量压缩的数据就越多，图像的存储也会变大。

1012b、根据处理后的显著图与目标图像进行矩阵点乘运算确定关键区域，并根据关键区域与目标图像确定非关键区域。

具体的，显著图经过步骤1012a的处理后，对应的矩阵中元素的取值为0或1，利用处理后的显著图对应的矩阵与目标图像对应的矩阵做点乘运算可以得到关键区域的矩阵从而确定关键区域，目标图像对应的矩阵减去关键区域对应的矩阵就可以得到非关键区域的矩阵从而确定非关键区域。值得一提的是，当步骤1012a中预设阈值为255时，显著图对应的矩阵中元素的取值为0全部为0，则通过点乘运算后确定目标图像全部区域均为非关键区域。另外，上述通过点乘运算得到的也可以确定非关键区域，本公开实施例中关键区域/非关键区域根据实际需要来确定，显著度高的区域可以是关键区域也可以是非关键区域。

需要说明的是，对于目标图像还可以通过对显著度值进行等级划分形成多级关键区域。例如将范围0到255的显著度值划分为五个区间[0，50)、[51,100)、[101,150)、[151,200)、[201,255]。灰度值阈值的设置也可根据显著度区间的划分来确定，例如可以设置灰度值阈值为0、50、100、150或200。对于步骤1012a可以使用前述5个阈值分别对显著图进行处理，然后步骤1012b中分别使用前述处理后得到的5个显著图对应的矩阵与目标图像对应的矩阵做点乘运算后确定5级关键区域以及对应的5级非关键区域。

102、对关键区域对应的图像编码处理后得到关键区域对应的图像数据，并通过预设的生成对抗网络的生成器生成非关键区域对应的图像数据。

生成对抗网络(Generative Adversarial Networks，GAN)于2014年由Ian Goodfellow在他的论文中提出，思想起源于博弈论，由一个生成器(Generator)与一个判别器(Discriminator)组成。生成对抗网络，要解决的问题是如何从训练样本中学习出新样本，训练样本是图片就生成新图片，训练样本是文章就输出新文章等等。

具体的，可以对目标图像中用户重点关注的区域也即显著度高的区域确定关键区域后对其对应的图像部分进行无损压缩/低圧缩比的编码处理，保留更高的质量与更多的细节；由于GAN生成图像是基于图像数据的分布，人的肉眼更加认同，目前在一些图像质量评价指标和主观肉眼好感度上可以超过JPEG、JPEG2000、WebP甚至PNG等图像压缩标准，对于非关键区域对应的图像，在同一图像尺寸的前提下，相比采用高压缩比的编码处理方式，GAN具有主观质量更好的潜在优势，通过GAN生成的图像人眼好感度更佳，因此可以对非关键区域通过GAN生成对应的图像数据。优选的，一般在条件允许的情况下，步骤102中对关键区域对应的图像采用无损压缩算法进行处理。

GAN的训练目标是生成器要尽可能地欺骗判别器。生成器与判别器相互对抗、不断调整参数，最终目的是使：1)判别器无法判断生成网络的输出结果是否真实；2)生成对抗网络能够生成以假乱真的图片。

GAN需要使用大量样本图像进行训练，训练过程如下：样本图像经过本公开实施例中上述的显著性检测神经网络以确定样本图像的关键区域以及非关键区域，由编码器与量化器对样本图像生成特征图；结合前述内容，一代生成器根据关键区域的特征图随机生成一些很差的图像，然后送入到一代判别器，判别器作为一个二分类器根据原始图像可以准确地分类，可以设定为对生成的与原始图像相差大的图像输出0，对生成的与原始图像相差小的图像输出1。以目标函数的下降为目的，训练生成器的参数使二代生成器生成更好的图像，输入一代判别器识别为真即输出1，然后训练判别器的参数，使二代判别器判别出二代生成器生成图片为假。以此类推第三次、第四次……，随着训练次数的迭代，生成器的权重参数发生改变，使生成的图像的像素分布趋向于原图的像素分布，直到判别器无法分辨生成的图像和原始图像即网络拟合，此时二者经判别器输出值均为0.5，本轮训练结束。同时，还需要在训练过程中加入对生成图像大小的限制条件，使生成的图片小于原始图片大小，进而达到图片压缩的效果。

利用训练好的GAN生成图像的过程如下：如图4所示，对原图像通过编码器以及量化器进行处理后得到相应的特征图，存储特征图为压缩后的实际大小，将特征图送入生成器解码(图4中解码器即为生成器，解码器解码的过程也即生成器生成的过程)恢复图像。其中，图像编码(卷积)量化后得到的特征图存储着图像的信息，再经过解码器解码后(反卷积)得到与原图相近的图像。

另外，存储着图像信息的中间过程中的量化后的特征向量的存储即为图像压缩大小，对于全部区域都使用GAN网络压缩的压缩后图像存储大小S_GAN计算公式如下：

参照图4，上述公式中，W为待压缩图片的宽度，H为待压缩图片的高度，N为降采倍数，代表编码量化后特征图的宽/高缩小倍数，C为特征图的通道数，L为量化位数(如未量化前每个权重参数的数据存储格式为浮点32位，即位数是32，量化成级数为8的权重后位数变为log₂ ⁸＝3)，通过调节N、C、L来控制生成图像的存储大小。此外对于特征图使用算术编码等熵编码方式可进一步降低存储空间，得到更高的压缩比。

对于额外的小部分显著度区域，可以采用二进制编码记录原图像位置，进行叠加。其中显著度区域的大小需要额外添加，显著度区域的存储大小最大值S_key为：

S_key＝Sum(key pixel)*log₂D_key 单位：bit

上述公式中；key pixel为关键区域(具有较高显著度)的像素点个数，D_key为每个像素点对应的像素深度。因为此部分关键图片也可以采用无损压缩或者其他有损压缩方式进行压缩，所以存储大小一般会小于S_key，因此本公开实施例技术方案下的图像大小S满足如下不等式关系：

S≤S_GAN+S_key

值得一提的是，当GAN完成训练后实际使用时，由于生成器已经学会生成图像，可以去掉判别器只保留生成器，也可以继续保留判别器，本公开实施例对此不做限定。另外，当对目标图像处理后的数据量大小有不同要求时，如有实现较高压缩比需求时，可以减小关键区域即选取较小的关键区域，如图5多级显著度区域中对皮划艇中心的人物无损压缩/低圧缩比压缩，其余部分用GAN生成；如有降低压缩比的需求时，可以增大关键区域即选取较大的关键区域，如图5多级显著度区域中对人物和皮划艇均无损压缩/低圧缩比压缩，其余部分用GAN生成。显然，由于后者压缩区域更小，叠加后的图片存储更大，压缩比更小。实际应用中，如图5所示，可以分割出不同的关键区域以供根据压缩比需求来选择关键区域面积的大小。

还需指出的是，GAN网络对于背景具有较高质量的生成，但是具有大量细节的小目标并不能有效的保留，甚至不能识别出物体的信息。如图6所示，图6a为原始图像以及相应的显著区域示意图(非显著图，此示意图是为了更直观的对视觉显著性内容进行展现)；图6b为直接用GAN生成的图片，可以从细节图中看出在马路尽头远端的高楼丢失了大量的细节，道路旁的停车指示牌“P”也不能很好的生成，但是这些建筑、指示牌等物体往往具有较高的信息量；图6c所示为根据本公开实施例提供的技术方案首先对于图像中具有较多信息的显著区域进行识别，以较高质量保留或者低压缩比压缩，其余部分利用具有高压缩比的GAN进行生成后得到的图像。相较于图6b中直接用GAN生成的图片，经过对显著度高的区域进行高质量保留后，可以图6c的细节图中看出道路远端的高楼保留了丰富的细节，道路旁的停车指示牌“P”也可以识别出来。

具体的，对于显著性检测神经网络以及生成对抗网络中使用的CNN的权重进行参数量化，例如将数据类型32位浮点转化为16位定点，可以在保证基本训练效果的要求下有效节省存储空间。对于显著性检测神经网络以及生成对抗网络中出现的稀疏矩阵，采用新的存储方案，如图7所示，4×4稀疏矩阵中每个值为16位整型数据，共占用16×4×4＝256位。二进制矩阵按照规定顺序记录非零值位置，占用4×4＝16位存储；按照一定顺序记录每个非零值，每个非零值是16位整型数据，共占用16×5＝80位存储，因此采用新方案存储矩阵节省了256-(16+80)＝160位存储，矩阵存储降低了62.5％。

值得一提的是，对于神经网络模型的压缩有利于移植到手机等便携终端上，并提高网络的运算速度。对于基于神经网络的图像压缩模型进行压缩与加速可提高模型的移植性与压缩速率(压缩图片的张数/秒)。

在一个实施例中，所述方法还可以包括；

103、向图像接收设备发送处理后的关键区域图像数据以及生成的非关键区域图像数据。

具体的，将关键区域图像数据对应的矩阵与生成的非关键区域图像数据对应的矩阵相加，即可得到完整的图像数据的矩阵从而得到完成的图像数据，图像发送设备可以将前述两部分数据合并得到完成的图像数据后，发送给图像接收设备后由图像接收设备解码得到对应目标图像内容的高质量图像；或者，图像发送设备也可以直接将两部分数据发送给图像接收设备后，由图像接收设备接收后合并得到完成的图像数据后再进行解码得到对应目标图像内容的高质量图像。

上述图像接收设备可以是移动终端、服务器等设备，本公开实施例中的图像发送设备、图像接收设备是从功能上对设备的一种划分方式，实际应用中，某个设备可能在一个场景下是图像发送设备，可能在另一个场景下是图像接收设备。

本公开实施例提供的图像处理方法，通过显著性检测神经网络确定出目标图像的关键区域以及非关键区域，对于非关键区域的图像采用生成对抗网络生成显示效果更好且数据量更小的图像，对于关键区域的图像不做高压缩比的压缩处理，从而在传输带宽有限的情况下，对图像的处理可以兼顾高质量显示与低占用带宽。

基于上述对应的实施例中所描述的图像处理方法，下述为本公开装置实施例，可以用于执行上述本公开方法实施例。

本公开实施例提供一种图像处理装置，如图8所示，该图像处理装置80包括：

确定模块801，用于将目标图像输入预设的显著性检测神经网络确定目标图像的关键区域以及非关键区域；

处理模块802，用于对关键区域对应的图像编码处理后得到关键区域对应的图像数据，并通过预设的生成对抗网络的生成器生成非关键区域对应的图像数据。

在一个实施例中，确定模块801具体用于：

根据显著图确定目标图像的关键区域以及非关键区域。

在一个实施例中，处理模块802具体用于：

在一个实施例中，确定模块801具体用于包括：

VGG卷积神经网络的优点是简化了神经网络结构，基于VGG卷积神经网络搭建显著性检测神经网络可以在训练阶段提高训练效率，并且在实际应用中取得很好的效果。

本公开实施例提供的图像处理装置，通过显著性检测神经网络确定出目标图像的关键区域以及非关键区域，对于非关键区域的图像采用生成对抗网络生成显示效果更好且数据量更小的图像，对于关键区域的图像不做高压缩比的压缩处理，从而在传输带宽有限的情况下，对图像的处理可以兼顾高质量显示与低占用带宽。

基于上述图1对应的实施例中所描述的图像处理方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：ReadOnly Memory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1对应的实施例中所描述的图像处理方法，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims

1.一种图像处理方法，其特征在于，所述方法包括：

将目标图像输入预设的显著性检测神经网络确定所述目标图像的关键区域以及非关键区域；

对所述关键区域对应的图像编码处理后得到所述关键区域对应的图像数据，并通过预设的生成对抗网络的生成器生成所述非关键区域对应的图像数据；

所述将目标图像输入预设的显著性检测神经网络确定所述目标图像的关键区域以及非关键区域，包括：

将所述目标图像输入所述显著性检测神经网络获取所述目标图像对应的显著图；

根据所述显著图确定所述目标图像的关键区域以及非关键区域；

所述对所述关键区域对应的图像编码处理后得到所述关键区域对应的图像数据，包括：

对所述关键区域对应的图像采用无损压缩算法处理后得到所述关键区域对应的图像数据；

所述根据所述显著图确定所述目标图像的关键区域以及非关键区域，包括：

根据预设阈值对所述显著图进行处理；其中，所述显著图中灰度值大于所述预设阈值的像素点赋值为1，所述显著图中灰度值小于或等于所述预设阈值的像素点赋值为0；

根据所述处理后的显著图与所述目标图像进行矩阵点乘运算确定所述关键区域，并根据所述关键区域与所述目标图像确定所述非关键区域。

2.根据权利要求1所述的方法，其特征在于，所述显著性检测神经网络以及所述生成对抗网络中包含的卷积神经网络中数据类型为16位定点；所述显著性检测神经网络以及所述生成对抗网络中的稀疏矩阵是按照以下方式存储的：按照预设顺序存储所述稀疏矩阵中的非零值后将所述非零值记为1转化为二进制矩阵并存储。

3.一种图像处理装置，其特征在于，所述装置包括：

确定模块，用于将目标图像输入预设的显著性检测神经网络确定所述目标图像的关键区域以及非关键区域；

处理模块，用于对所述关键区域对应的图像编码处理后得到所述关键区域对应的图像数据，并通过预设的生成对抗网络的生成器生成所述非关键区域对应的图像数据；

所述确定模块具体用于：

所述处理模块具体用于：

所述确定模块具体用于包括：

4.根据权利要求3所述的装置，其特征在于，所述显著性检测神经网络以及所述生成对抗网络中包含的卷积神经网络中数据类型为16位定点；所述显著性检测神经网络以及所述生成对抗网络中的稀疏矩阵是按照以下方式存储的：按照预设顺序存储所述稀疏矩阵中的非零值后将所述非零值记为1转化为二进制矩阵并存储。