CN114708180B

CN114708180B - 具有动态范围保持的预失真图像比特深度量化和增强方法

Info

Publication number: CN114708180B
Application number: CN202210398259.0A
Authority: CN
Inventors: 傅志中; 余娇; 彭昌猛; 徐进
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2022-04-15
Filing date: 2022-04-15
Publication date: 2023-05-30
Anticipated expiration: 2042-04-15
Also published as: CN114708180A

Abstract

本发明公开了一种具有动态范围保持的预失真图像比特深度量化和增强方法，属于图像处理技术领域。本发明首先对输入高比特图像进行归一化处理，然后计算预失真模板图像并调整其分辨率，得到预失真图像，之后将归一化后的高比特图像与预失真图像逐像素相加，再者根据低比特图像位深计算具有动态范围保持特性的量化函数对预失真高比特图像进行量化处理，最后将该低比特图像作为网络的输入图像，通过卷积神经网络对低比特图像进行比特深度增强得到高比特图像。这种具有动态范围保持的量化方法能够抑制重建图像中在过明或过暗区域的模糊，提高图像重构质量。

Description

具有动态范围保持的预失真图像比特深度量化和增强方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种具有动态范围保持的预失真图像的比特深度增强方法。

背景技术

图像作为现代主流的信息载体，给日常生活带来便利的同时也给存储与传输设备带来较大的挑战。并且在一些像无线传感网络这类具有非对称***复杂性的应用场景，即在数据接收端计算资源不受限，在数据传输端计算资源受限，故降低图像传输端的数据量是十分有必要的。通过将高比特图像(即高比特深度图像，图像的比特深度是描述像素每个通道所能表达的灰度范围，例如位深度为n的图像能够表示2n种灰度，颜色表示也更细腻，图像在视觉上的体验也更好)量化为低比特图像能够实现对图像的简单压缩，然而，降低图像的比特深度会带来颜色失真和伪轮廓的问题，这将严重影响观看体验。增大量化步长可以提升压缩效率，但是会引入更严重的伪轮廓和颜色失真，使得即使是性能最好的神经网络方法也无法保证对这两种伪迹的有效抑制。为此，联合重构方法在低比特图像生成时，通过施加预失真获得具有较少伪迹的低比特图像，有利于重构高质量的高比特图像。然而，现有的量化方法由于动态范围损失，使得基于深度学习的联合重构方法生成的高比特图像的过明和过暗区域的边界出现明显的模糊，影响主观视觉体验。

发明内容

本发明的目的在于提出一种具有动态范围保持的比特深度量化方法，能够进一步提升比特深度增强性能，实现对重构高比特图像在过明和过暗区域明显模糊的抑制，使得重构高比特图像达到最佳的主客观质量。

本发明采用的技术方案为：

具有动态范围保持的预失真图像比特深度量化和增强方法，包括以下步骤：

步骤S1：对高比特图像进行量化处理：

步骤S101：对输入的高比特图像进行归一化处理：将每个像素的灰度值除以所述高比特图像的最大灰度值；

基于量化目标的比特深度l计算得到量化步长Q＝1/(2^l-1)，即高比特图像经量化处理后将得到比特深度为l的低比特图像；

步骤S102：根据量化步长Q计算得到预失真函数(Planned Sensor Distortion，PSD)模板图像；

步骤S102：对得到的模板图像进行无重叠平铺处理，得到图像分辨率与所述高比特图像一致的预失真图像；

步骤S103：将预失真图像与归一化处理后的高比特图像进行逐像素相加，得到预失真高比特图像；

步骤S104：根据量化步长Q设置具有动态范围保持的量化方式，对预失真高比特图像进行量化，得到低比特图像；

步骤S2：通过卷积神经网络建立低比特图像到高比特图像间的映射关系，得到图像比特深度增强网络；以步骤S1得到的低比特图像作为所述图像比特深度增强网络的输入，基于其输出得到增强后的图像，即重构后的高比特图像。

进一步的，所述步骤S104中，具有动态范围保持的量化方式具体为：

若当前像素的灰度值小于或等于Q/2，则当前像素的灰度值被量化为0；

若当前像素的灰度值大于1-Q/2，则当前像素的灰度值被量化为1；

若当前像素的灰度值位于[Q/2,1-Q/2]，将取值范围[Q/2,1-Q/2]均匀划分为多个子区间，对每个子区间，基于其中点得到当前子区间的量化值。

进一步的，所述步骤S104中，对于取值范围为[Q/2,1-Q/2]的灰度值，量化时的新量化步长Δ＝(1-Q)/(2^l-2)，每个子区间的量化值为[Q+(2k+1)Δ]/2，其中，k＝0,1,…2^l-3。

进一步的，S102中，模板图像为3×3，且在任意3×3邻域中为{Q(1-L)/2L,Q(3-L)/2L,…,Q(L-1)/2L}的完整集合，其中L＝(2n+1)²，n＝1。

即本发明中，所采用的具有动态范围保持的量化方式属于一种非均匀量化方法，由于经过预失真模板图像处理的高比特图像的灰度值范围会出现小于0和大于1的情况，分别超出规定范围[0,1]外Q/2，故新的值域修改为[-Q/2,1+Q/2]。当对图像进行l bit量化，则共有2^l个量化区间，当预失真高比特图像处于小于等于Q/2的范围内时，灰度值被量化为0，当预失真高比特图像处于大于1-Q/2的灰度范围时被量化为1，当预失真高比特图像在中间范围[Q/2,1-Q/2]时，首先将该范围进行均匀量化，得到新的量化步长Δ＝(1-Q)/(2ⁿ-2)，每个区间都取其中点作为量化值，即[Q+(2k+1)Δ]/2。对预失真高比特图像用该方式进行量化，从而得到低比特图像，该过程可以用函数表示如下：

其中，I_L表示量化后的低比特图像，I_PSD表示预失真高比特图像。

本发明提供的技术方案至少带来如下有益效果：

对预失真高比特图像进行传统的例如四舍五入和向下取整的均匀量化方法会带来动态范围损失的问题，改进后的量化方法对最亮和最暗区间采取非均匀量化，对中间区域采取均匀量化，达到动态范围保持的目的，从而抑制重建高比特图像在过明和过暗区域的模糊问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例提供的一种具有动态范围保持的预失真图像比特深度量化和增强方法的处理过程示意图；

图2是本发明实施例中的预失真模板图像示意图；

图3是本发明实施例中的量化处理示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例提供了一种具有动态范围保持的预失真图像比特深度量化和增强方法，基于PSD的比特深度增强算法属于联合重构类算法，同时考虑低比特图像的生成过程和高比特图像的重构过程，在量化前对图像进行预失真处理以构建信号的有效多观测，有利于后续阶段卷积神经网络对比特深度进行重建，提高图像重构质量。当应用在图像传输处理时，可通过本发明实施例提供的量化处理，对将高比特图像进行压缩处理，然后进行图像传输处理，在接收端，基于本发明实施例提供的增强方式进行低比特到高比特的图像增强，以实现在接收端重构出质量较高的高比特图像，从而实现对接收的低比特图像在高比特显示器中的显示转换处理。

如图1所示，本发明实施例提供的具有动态范围保持的预失真图像比特深度量化和增强方法的具体实施过程包括：高比特图像的归一化处理、预失真函数模板图像(预失真模板图像)的计算、预失真图像的获取、量化函数的计算、对预失真图像进行量化、基于神经网络的比特深度重建。

步骤1：对高比特图像I_H(即具有第一图像数据格式的图像)进行归一化处理，根据低比特图像(具有第二图像数据格式的图像，其中第二图像数据格式的图像比特深度低于第一图像数据格式)I_L的比特深度计算得到量化步长，本实施例中，假设高比特图像的比特深度为16，低比特图像的比特深度为2，则16bit位深所能表示的最大灰度值为2¹⁶-1，归一化后为I'_H＝I_H/(2¹⁶-1)，量化步长为Q＝1/2²＝0.25；

步骤2：根据量化步长Q＝0.25计算得到预失真模板图像，预失真模板图像在任意3×3邻域中是{-4/9Q,-3/9Q,-2/9Q,-1/9Q,0,1/9Q,2/9Q,3/9Q,4/9Q}的完整集合，即在3×3的模板中对该9个像素值进行随机排布。作为一种优选的方式则是如图2所示的排布，即预失真模板图像的中心点的灰度值为0，中心点的邻接像素点的灰度值关于中心点呈中心对称分布，且对称的两个像素点的取值相反；

步骤3：假设高比特图像分辨率为M×N，在高比特图像量化为低比特图像前，将步骤2计算得到的预失真模板图像从左到右从上到下进行无重叠无遗漏的平铺，以获取分辨率大小为M×N的预失真图像，将其设为δ^psd，将其与高比特图像I_H进行逐像素相加，表示为I_PSD＝I_H+δ^psd；

作为一种可能的实现方式，本步骤中，在获取预失真图像时，可首先将预失真模板图像从左到右从上到下进行无重叠无遗漏的平铺，平铺后的图像尺寸大于或等于M×N，若平铺后的图像尺寸超过M×N，则将多余的部分裁剪掉，从而得到M×N的预失真图像。

作为一种可能的实现方式，还可采用滑窗的方式来获取M×N的预失真图像，滑窗窗口大小与预失真模板图像相同，步长为预失真模板图像的边长，在M×N的图像范围内，每滑动一次，则将预失真模板图像的像素逐像素点填充，当每次滑动到最末端时，对超出图像范围的窗口则跳过，即不进行像素填充，从而得到M×N的预失真图像。

步骤4：根据量化步长Q＝0.25设计具有动态范围保持的量化函数如下所示：

其中，I_L表示量化后的图像。这是一种非均匀量化方法，对于两端和中间区域采用不同的量化方式，由于经过预失真模板图像处理的高比特图像其灰度值范围会出现小于0和大于1的情况，分别超出规定范围[0,1]外0.125，故新的值域修改为[-0.125,1.125]。2bit量化将整个区间划分为4段，对预失真高比特图像用该方式进行量化，得到低比特图像I_L，量化示意图如图3所示。

步骤5：在图像接收端，通过卷积神经网络建立2bit的预失真低比特图像到16bit的高比特图像间的非线性映射关系。

其中卷积神经网络可以采用本领域任一惯用的网络结构，本发明实施例不做具体限定，例如选用如EBDA-CNN这类简单且高效的神经网络，从低比特图像中重构出主客观质量都较好的高比特图像，其中对于图像质量的评价方式主要有峰值信噪比(PSNR)和结构相似性指数(SSIM)，计算公式如下所示。

其中，I_H表示原始16bit图像，

表示通过网络重构得到的16bit图像。PSNR越大，表示比特深度重建图像质量越好，反之则越差。

其中，μ_x表示原始高比特图像I_H的均值，μ_y表示比特深度重建后高比特图像

的均值，/>

和/>

分别代表原始图像和恢复图像之间的方差，σ_xy代表I_H和/>

的协方差，C₁和C₂为常数。根据公式可知，若比特深度重建算法得到的高比特图像与原始高比特图像间差别越小，输出图像质量越好，证明算法效果也越好。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims

1.具有动态范围保持的预失真图像比特深度量化和增强方法，其特征在于，包括以下步骤：

步骤S1：对高比特图像进行量化处理：

基于量化目标的比特深度l计算得到量化步长Q＝1/(2^l-1)；

步骤S102：根据量化步长Q计算得到预失真函数模板图像；

具有动态范围保持的量化方式具体为：

若当前像素的灰度值位于[Q/2，1-Q/2]，将取值范围[Q/2，1-Q/2]均匀划分为多个子区间，对每个子区间，基于其中点得到当前子区间的量化值；

步骤S2：通过卷积神经网络建立低比特图像到高比特图像间的映射关系，得到图像增强网络；以步骤S1得到的低比特图像作为所述图像增强网络的输入，基于其输出得到增强后的图像。

2.如权利要求1所述的方法，其特征在于，所述步骤S104中，对于取值范围为[Q/2，1-Q/2]的灰度值，量化时的新量化步长Δ＝(1-Q)/(2^l-2)，每个子区间的量化值为[g+(2k+1)Δ]/2，其中，k＝0，1，…2^l-3。

3.如权利要求1至2任一项所述的方法，其特征在于，所述步骤S102中，模板图像为3×3，且在任意3×3邻域中为{Q(1-L)/2L，Q(3-L)/2L，…，Q(L-1)/2L}的完整集合，其中L＝9。