CN115953332B - 动态图像融合的亮度调整方法、***、电子设备 - Google Patents

Abstract

本发明提供一种动态图像融合的亮度调整方法、***、电子设备，通过预处理图像img1和img2，所述图像img1和img2大小相同且包含重叠区域；然后提取经过预处理的图像img1和img2中的关键特征点；依据图像img1和img2中关键特征点的平均亮度比值调整图像img2的亮度。本方案利用与特征点相邻的四个像素点的亮度进行双线性插值得到特征点位置的亮度，通过计算特征点的亮度比统一多幅图像序列的亮度，提高亮度比值计算结果的准确性；同时采用两级预处理的方式，通过图像灰度化和大滤波核进行滤波处理，以减少运算量，同时针对滤波过程创新剔除了异常点的影响，保证了滤波预处理效果，较好地解决了效果和效率的关系。

Description

动态图像融合的亮度调整方法、***、电子设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种动态图像融合的亮度调整方法、***、电子设备。

背景技术

作为视频和图像处理中的一种核心技术，图像拼接是指将具有重合区域的两幅或多幅小视域图像连接在一起，最终得到一幅大视域的图像。它广泛应用于运动跟踪与分析、大场景监控、虚拟现实、汽车辅助驾驶、广电传媒等领域。图像配准和图像融合是图像拼接的两大关键技术，其中，在图像融合过程中，由于拍摄条件或外部因素等影响，很可能造成两幅待融合图像的亮度差异较大，一般常用方法为计算两幅图像重合部分，即待融合部分内所有像素点的亮度和，求得参考图像与观测图像亮度和的比值，然后根据比值对观测图像的亮度进行调整。但对于运动场景，如果运动目标刚好位于参考图像重叠区域外，而在观测图像的重叠区域内，这时按照常规方法计算亮度比，由于参考图像与观测图像间融合部分的差异，会导致亮度比值计算结果的不准确，影响图像融合效果。

针对传统方法在运动场景下的图像融合亮度效果的不稳定性，本专利提出一种改进的运动场景下的图像融合亮度调整方法，利用与特征点相邻的四个像素点的亮度进行双线性插值得到特征点位置的亮度，通过计算特征点的亮度比实现对多幅图像序列的亮度进行统一，提高亮度比值计算结果的准确性，得到最佳的图像拼接效果。

因此，有必要提供一种动态图像融合的亮度调整方法、***、电子设备解决上述技术问题。

发明内容

为解决上述技术问题，本发明提供一种动态图像融合的亮度调整方法、***、电子设备。

本发明提供的一种动态图像融合的亮度调整方法，包括：

预处理图像img1和img2，所述图像img1和img2大小相同且包含重叠区域；

提取经过预处理的图像img1和img2中的关键特征点；

依据图像img1和img2中关键特征点的平均亮度比值调整图像img2的亮度。

优选的，所述预处理图像img1和img2，包括：

灰度化处理图像img1和img2，获取灰度图像img1和img2；

降噪处理灰度图像img1和img2。

优选的，所述提取经过预处理的图像img1和img2中的关键特征点，包括：

提取预处理后的图像img1和img2的特征点信息，所述特征点信息包括位置、尺度和方向；

对所述特征点进行特征描述；

匹配图像img1和img2中的关键特征点，并剔除匹配错误的特征点。

优选的，所述提取预处理后的图像img1和img2的特征点信息，包括：

利用高斯函数建立高斯金字塔与高斯差分金字塔/>；

通过高斯差分金字塔寻找局部极值点；

拟合离散的特征点；

计算每个特征点的主方向。

优选的，所述对所述特征点进行特征描述，包括：

所述特征描述包含特征点及周围对其有贡献的像素点。

优选的，所述匹配图像img1和img2中的关键特征点，包括：

计算图像img1和 img2的特征点的特征向量在128维向上的欧氏距离；

根据欧氏距离判断图像img1和 img2对应特征点的相似性；

匹配满足欧氏距离条件的特征点。

优选的，所述剔除匹配错误的特征点采用鲁棒性的参数估计方法。

优选的，所述依据图像img1和img2中关键特征点的平均亮度比值调整图像img2的亮度，包括：

根据特征点位置得到相邻四个像素点的位置及亮度；

筛选相邻四个像素点的亮度；

根据筛选结果计算特征点位置亮度；

计算图像img1和img2所有特征点亮度比值的平均值；

利用平均值调整图像img2的亮度。

一种动态图像融合的亮度调整***，包括：

预处理模块，用于预处理图像img1和img2；

特征提取模块，用于提取经过预处理的图像img1和img2中的关键特征点；

亮度调整模块，用于依据图像img1和img2中关键特征点的平均亮度比值调整图像img2的亮度。

一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序，以实现上述所述方法的步骤。

与相关技术相比较，本发明提供的一种动态图像融合的亮度调整方法、***、电子设备具有如下有益效果：

1、本发明通过预处理图像img1和img2，所述图像img1和img2大小相同且包含重叠区域；然后提取经过预处理的图像img1和img2中的关键特征点；最后依据图像img1和img2中关键特征点的平均亮度比值调整图像img2的亮度。本方案利用与特征点相邻的四个像素点的亮度进行双线性插值得到特征点位置的亮度，通过计算特征点的亮度比实现对多幅图像序列的亮度进行统一，提高亮度比值计算结果的准确性，得到最佳的图像拼接效果。

2、本发明采用两级预处理的方式，通过图像灰度化和采用大滤波核进行滤波处理，以减少运算量，同时针对滤波过程创新剔除了异常点的影响，保证了滤波预处理效果，较好地解决了效果和效率的关系，克服了现有技术在彩色图像预处理中无法很好地兼顾预处理效果和运算复杂度的缺点。

附图说明

图1为本发明公开的一种动态图像融合的亮度调整方法的流程示意图；

图2为本发明公开的一种动态图像融合的亮度调整方法的整体流程示意图；

图3为本发明公开的一种动态图像融合的亮度调整方法的预处理流程示意图；

图4为本发明公开的一种动态图像融合的亮度调整方法的特征提取流程流程示意图；

图5为本发明公开的一种动态图像融合的亮度调整方法的调整图像亮度流程示意图；

图6为本发明公开的一种动态图像融合的亮度调整方法的特征点及相邻像素点分布示意图；

图7为本发明公开的一种动态图像融合的亮度调整***的结构示意图；

图8为本发明公开的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施方式对本发明做进一步说明。

本发明提供的一种动态图像融合的亮度调整方法，在本实施例中，如图1和图2所示，包括：

步骤S100：利用预处理模块预处理图像img1和img2，所述图像img1和img2大小相同且包含重叠区域。

具体的，例如设定图像img1和img2均为分辨率8000（W）6000（H），RGB颜色通道的8K彩色数字图像，也即是img1（x，y，z），img2（x，y，z），其中，x=8000，y=6000，z=3。

预处理图像img1和img2的步骤如图3所示，包括如下操作步骤：

步骤S101：灰度化处理图像img1和img2，获取灰度图像img1和img2；

具体地，考虑到本方法对颜色信息的无关性，同时减少运算量，所以首先需要将彩色图像img1（x，y，z），img2（x，y，z）转为灰度图像img1（x，y），img2（x，y）。

步骤S102：降噪处理灰度图像img1和img2。

具体的，为进一步提高计算结果的准确性，本方法需要对步骤S101得到的灰度图像进行降噪处理，使用7*7大小的滤波核进行均值滤波，同时为避免异常数据（如坏点与孤立点等）的影响，剔除10%的最大值与最小值作为滤波结果；

步骤S200：利用特征提取模块提取经过预处理的图像img1和img2中的关键特征点；

具体地，该步骤如图4所示，包括如下步骤：

步骤S201：提取预处理后的图像img1和img2的特征点信息，所述特征点信息包括位置、尺度和方向；

具体地，该特征点提取的方法包括如下步骤：

首先利用高斯函数建立高斯金字塔与高斯差分金字塔/>

其中，m、n表示高斯模板的维度，（x，y）代表图像像素的位置，为尺度空间因子，为卷积。

其次，利用差分金字塔寻找局部极值点，函数内的每一个采样点与它周围的像素点相比较，若为极值点，则该点为图像在该尺度下的一个特征点，采样点周围的像素点包含同一尺度的八个相邻像素点及其他尺度相同位置的九个像素点。

接着，对离散的特征点进行三维二次函数拟合，得到准确的特征点所在位置与尺度，并通过计算2×2的Hessian矩阵得到峰值点在边缘方向的主曲率，去除边缘响应，T取1.2。

其中，，D_xx代表高斯差分金字塔中某一尺度的图像x方向连续求导两次，D_yy代表高斯差分金字塔中某一尺度的图像y方向连续求导两次，D_xy代表高斯差分金字塔中某一尺度的图像x和y方向各求导一次。

最后，为每个特征点计算一个方向，具体使用直方图统计特征点邻域内像素的梯度和方向，将直方图中最大值作为特征点的主方向。

步骤S202：对所述特征点进行特征描述；

具体地，对图像img1和img2的特征点进行特征描述，即用一组向量将这个特征点描述出来，使其不随视角等变化而改变；

此外，该特征描述包含特征点及周围对其有贡献的像素点；该特征描述使用在特征点尺度空间内4*4的网格中计算的八个方向的梯度信息，共4*4*8=128维向量表征。

步骤S203：匹配图像img1和img2中的关键特征点，并剔除匹配错误的特征点，具体地包括如下操作步骤：

首先，计算图像img1和img2的特征点的特征向量在128维上的欧氏距离，计算公式如下：

其中，j是维度，r_i和s_i代表像素点的横纵坐标位置，d为欧氏距离。

其次，利用欧氏距离判断两特征点的相似性，对于img1中的特征点A，其与img2中欧氏距离最近的特征点B与次近特征点C，其欧氏距离的比值小于0.6，则A与B匹配成功。

最后，利用鲁棒性估计的方法筛除基于欧氏距离匹配错误的特征点。

步骤S300：依据图像img1和img2中关键特征点的平均亮度比值调整图像img2的亮度。

具体的，如图5所示，包括如下操作步骤：

步骤S301：根据特征点位置得到相邻四个像素点的位置及亮度；

具体地，如图6所示，根据特征点位置得到其相邻四个像素点的位置及亮度，因为在特征点匹配过程中由于需要保证特征点的精度，其坐标通常为小数，导致在进行亮度计算时无法直接得到特征点的亮度，本方案利用特征点P（x,y）周围相邻四个像素Q11（x1,y1），Q12（x1,y2），Q21（x2,y1），Q22（x2,y2）的亮度，/>，/>，/>计算特征点亮度。

步骤S302：筛选相邻四个像素点的亮度；

具体地，对相邻像素点的亮度，/>，/>，/>进行筛选，判断各点亮度与亮度均值的差异，差异大于15%像素点本身亮度认为是波动较大的点。

步骤S303：根据筛选结果计算特征点位置亮度；

具体的，计算特征点亮度，根据上述亮度的筛选结果，若有且仅有一个差异点，且为与特征点距离最近点，特征点亮度按照该点亮度计算；

若为其他情况，则根据双线性插值计算特征点位置的亮度

步骤S304：计算图像img1和img2所有特征点亮度比值的平均值；

具体地，计算img1与img2所有特征点的亮度比，对/>进行排序，去除最大和最小的10%取均值R，作为调整后的亮度比，计算公式如下：

其中，f₁代表img1的亮度，f₂代表img2的亮度。

步骤S305：利用平均值调整图像img2的亮度；

具体的，利用求得的亮度比均值R对img2的亮度进行调整，公式如下：

。

本发明简单高效，通用性好，适用于各种运动非运动场景，不区分视频和图像、不区分分辨率，兼容8K/4K/2K/1080P等，相较传统的计算两幅图像融合部分的亮度和来得到亮度比，本发明通过对比特征点的亮度比，计算结果更准确。

下表为移动不同大小物体，传统方案与本方案计算的亮度比例大小，以没有物体移动时计算的亮度比进行归一化，结果表明，运动物体越大，本发明的方法计算越准确。

运动方案 物体大小	传统方案（归一化）	本方案（归一化）
			无物体移动	1	1
小运动物体	0.993	0.997
			中等运动物体	0.972	1.001
大运动物体	0.953	0.996

一种动态图像融合的亮度调整***，如图6所示，包括：

预处理模块，用于预处理图像img1和img2；

具体的，预处理模块用于灰度化处理图像img1和img2，获取灰度图像img1和img2，以及降噪处理灰度图像img1和img2

特征提取模块，用于提取经过预处理的图像img1和img2中的关键特征点；

具体的，所述特征提取模块用于提取预处理后的图像img1和img2的特征点信息，所述特征点信息包括位置、尺度和方向；

更进一步地，特征提取模块用于利用高斯函数建立高斯金字塔与高斯差分金字塔；通过高斯差分金字塔寻找局部极值点；拟合离散的特征点；计算每个特征点的主方向；

具体地，特征提取模块用于对所述特征点进行特征描述；

具体地，特征提取模块用于匹配图像img1和img2中的关键特征点，并剔除匹配错误的特征点。

更进一步地，特征提取模块用于计算图像img1和 img2的特征点的特征向量在维向上的欧氏距离；根据欧氏距离判断图像img1和 img2对应特征点的相似性；匹配满足欧氏距离条件的特征点。

亮度调整模块，用于依据图像img1和img2中关键特征点的平均亮度比值调整图像img2的亮度；

具体地，亮度调整模块用于根据特征点位置得到相邻四个像素点的位置及亮度；筛选相邻四个像素点的亮度；根据筛选结果计算特征点位置亮度；计算图像img1和img2所有特征点亮度比值的平均值；利用平均值调整图像img2的亮度。

本实施例公开的一种动态图像融合的亮度调整***是基于上述实施例公开的一种动态图像融合的亮度调整方法实现的，在此不再赘述。

本实施例公开的一种动态图像融合的亮度调整***，通过预处理图像img1和img2，所述图像img1和img2大小相同且包含重叠区域；然后提取经过预处理的图像img1和img2中的关键特征点；最后依据图像img1和img2中关键特征点的平均亮度比值调整图像img2的亮度。本方案利用与特征点相邻的四个像素点的亮度进行双线性插值得到特征点位置的亮度，通过计算特征点的亮度比实现对多幅图像序列的亮度进行统一，提高亮度比值计算结果的准确性；同时采用两级预处理的方式，通过图像灰度化和采用大滤波核进行滤波处理，以减少运算量，同时针对滤波过程创新剔除了异常点的影响，保证了滤波预处理效果，较好地解决了效果和效率的关系。

本实施例公开了一种电子设备，如图7所示，包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，处理器执行所述计算机程序，以实现一种动态图像融合的亮度调整方法的步骤：

其中，处理器用于预处理图像img1和img2，所述图像img1和img2大小相同且包含重叠区域；提取经过预处理的图像img1和img2中的关键特征点；

依据图像img1和img2中关键特征点的平均亮度比值调整图像img2的亮度。

存储器用于存储处理器执行上述处理过程的程序。

本实施例公开的电子设备是基于上述实施例公开的一种动态图像融合的亮度调整方法实现的，在此不再赘述。

本实施例公开的电子设备，通过预处理图像img1和img2，所述图像img1和img2大小相同且包含重叠区域；然后提取经过预处理的图像img1和img2中的关键特征点；最后依据图像img1和img2中关键特征点的平均亮度比值调整图像img2的亮度。本方案利用与特征点相邻的四个像素点的亮度进行双线性插值得到特征点位置的亮度，通过计算特征点的亮度比实现对多幅图像序列的亮度进行统一，提高亮度比值计算结果的准确性；同时采用两级预处理的方式，通过图像灰度化和采用大滤波核进行滤波处理，以减少运算量，同时针对滤波过程创新剔除了异常点的影响，保证了滤波预处理效果，较好地解决了效果和效率的关系。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其他实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种动态图像融合的亮度调整方法，其特征在于，包括：

预处理图像img1和img2，所述图像img1和img2大小相同且包含重叠区域；

提取经过预处理的图像img1和img2中的关键特征点；

依据图像img1和img2中关键特征点的平均亮度比值调整图像img2的亮度；

所述依据图像img1和img2中关键特征点的平均亮度比值调整图像img2的亮度，包括：

根据特征点位置得到相邻四个像素点的位置及亮度；

筛选相邻四个像素点的亮度：对相邻像素点的亮度f(Q₁₁)，f(Q₁₂)，f(Q₂₁)，f(Q₂₂)进行筛选，判断各点亮度与亮度均值的差异，差异大于15％像素点本身亮度认为是波动较大的点；

根据筛选结果计算特征点位置亮度：计算特征点亮度，根据上述亮度的筛选结果，若有且仅有一个差异点，且为与特征点距离最近点，特征点亮度按照该点亮度计算；

若为其他情况，则根据双线性插值计算特征点位置的亮度f(x,y)

计算图像img1和img2所有特征点亮度比值的平均值；

利用平均值调整图像img2的亮度。

2.根据权利要求1所述的一种动态图像融合的亮度调整方法，其特征在于，所述预处理图像img1和img2，包括：

灰度化处理图像img1和img2，获取灰度图像img1和img2；

降噪处理灰度图像img1和img2。

3.根据权利要求1所述的一种动态图像融合的亮度调整方法，其特征在于，所述提取经过预处理的图像img1和img2中的关键特征点，包括：

提取预处理后的图像img1和img2的特征点信息，所述特征点信息包括位置、尺度和方向；

对所述特征点进行特征描述；

匹配图像img1和img2中的关键特征点，并剔除匹配错误的特征点。

4.根据权利要求3所述的一种动态图像融合的亮度调整方法，其特征在于，所述提取预处理后的图像img1和img2的特征点信息，包括：

利用高斯函数建立高斯金字塔L(x,y,δ)与高斯差分金字塔D(x,y,δ)；

通过高斯差分金字塔寻找局部极值点；

拟合离散的特征点；

计算每个特征点的主方向。

5.根据权利要求3所述的一种动态图像融合的亮度调整方法，其特征在于，所述对所述特征点进行特征描述，包括：

所述特征描述包含特征点及周围对其有贡献的像素点。

6.根据权利要求3所述的一种动态图像融合的亮度调整方法，其特征在于，所述匹配图像img1和img2中的关键特征点，包括：

计算图像img1和img2的特征点的特征向量在128维向上的欧氏距离；

根据欧氏距离判断图像img1和img2对应特征点的相似性；

匹配满足欧氏距离条件的特征点。

7.根据权利要求3所述的一种动态图像融合的亮度调整方法，其特征在于，所述剔除匹配错误的特征点采用鲁棒性的参数估计方法。

8.一种动态图像融合的亮度调整***，其特征在于，包括：

预处理模块，用于预处理图像img1和img2；

特征提取模块，用于提取经过预处理的图像img1和img2中的关键特征点；

亮度调整模块，用于依据图像img1和img2中关键特征点的平均亮度比值调整图像img2的亮度；

所述依据图像img1和img2中关键特征点的平均亮度比值调整图像img2的亮度，包括：

根据特征点位置得到相邻四个像素点的位置及亮度；

筛选相邻四个像素点的亮度：对相邻像素点的亮度f(Q₁₁)，f(Q₁₂)，f(Q₂₁)，f(Q₂₂)进行筛选，判断各点亮度与亮度均值的差异，差异大于15％像素点本身亮度认为是波动较大的点；

根据筛选结果计算特征点位置亮度：计算特征点亮度，根据上述亮度的筛选结果，若有且仅有一个差异点，且为与特征点距离最近点，特征点亮度按照该点亮度计算；

若为其他情况，则根据双线性插值计算特征点位置的亮度f(x,y)

计算图像img1和img2所有特征点亮度比值的平均值；

利用平均值调整图像img2的亮度。

9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序，以实现上述权利要求1至7任一项所述方法的步骤。