CN107633498B - 图像暗态增强方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供了一种图像暗态增强方法、装置及电子设备，涉及图像处理领域。所述方法通过获取摄像装置拍摄的具有重合视野的第一图像和第二图像，将第一图像与第二图像进行立体匹配，获得包括多个视差层的视差图，获取视差图的各个视差层的掩模，得到多个掩模，将多个掩模分别叠加覆盖到第一图像和第二图像，分别得到带有第一边沿细节的第一细节图像和带有第二边沿细节的第二细节图像，通过调整第一细节图像与第二细节图像的相对位置，得到配准图像对，将配准图像对的亮度信息进行融合，得到暗态增强图像，该方法能够快速进行图像暗态增强，效果好。

Description

图像暗态增强方法、装置及电子设备

技术领域

本发明涉及图像处理领域，具体而言，涉及一种图像暗态增强方法、装置及电子设备。

背景技术

近年来，随着消费型和专业型数码相机的日益普及，海量的图像数据正在被产生。但由于场景条件的影响，很多在高动态范围场景、昏暗环境或特殊光线条件下拍摄的图像视觉效果不佳，需要进行后期增强处理、调整动态范围或提取一致色感才能满足显示和印刷的要求。

图像暗态增强技术用于解决图像灰暗问题，在早期摸索阶段，图像暗态增强技术采用了视差图来进行配准尝试，具体在视差图标定的图像上进行整体视差图切割，然后依据分割出来的块进行像元配准，该方法相对粗糙，对真正的夜景无法出视差图，没法得到具有丰富细节的图像，图像暗态增强效果差，且计算量大。

发明内容

基于上述研究，本发明提供一种图像暗态增强方法、装置及电子设备，用以解决上述问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

本发明实施例提供了一种图像暗态增强方法，所述方法包括：

获取摄像装置采集的具有重合视野的第一图像和第二图像，所述第一图像由所述摄像装置的第一摄像头采集得到，所述第二图像由所述摄像装置的第二摄像头采集得到；

将所述第一图像与所述第二图像进行立体匹配，获得包括多个视差层的视差图；

获取所述视差图的各个视差层的掩模，得到多个掩模；

将所述多个掩模叠加覆盖到所述第一图像，得到带有第一边沿细节的第一细节图像；将所述多个掩模叠加覆盖到所述第二图像，得到带有第二边沿细节的第二细节图像；

调整所述第一细节图像与所述第二细节图像的相对位置，得到配准图像对，该配准图像对中的所述第一细节图像的第一边沿细节和所述第二细节图像的第二边沿细节重合；

将所述配准图像对进行融合，得到暗态增强图像。

作为进一步的，所述调整所述第一细节图像与所述第二细节图像的相对位置，得到配准图像对的步骤，包括：

根据所述第一边沿细节与所述第二边沿细节求取移动像元值；

根据所述移动像元值，调整所述第一细节图像与所述第二细节图像的相对位置，得到配准图像对。

作为进一步的，所述根据所述第一边沿细节与所述第二边沿细节求取移动像元值的步骤，包括：

对所述第一边沿细节进行膨胀处理，得到带有第一膨胀边沿的第一膨胀图像，对所述第二边沿细节进行膨胀处理，得到带有第二膨胀边沿的第二膨胀图像；

将所述第一膨胀边沿与所述第二膨胀边沿叠加，得到叠加边沿；

根据所述叠加边沿求取移动像元值。

作为进一步的，将所述第一膨胀边沿与所述第二膨胀边沿叠加，得到叠加边沿的步骤，包括：

调整所述第一膨胀图像与所述第二膨胀图像的相对位置，使得所述第一膨胀图像和所述第二膨胀图像重合；

针对所述第一膨胀图像的第一膨胀边沿的每个像素点，获得该像素点在所述第二膨胀图像的第二膨胀边沿中对应的像素点；

提取所述第一膨胀边沿的每个像素点的位置信息和在所述第二膨胀边沿中与该像素点对应的像素点的位置信息；

将所述第一膨胀边沿的每个像素点的位置信息与在所述第二膨胀边沿中与该像素点对应的像素点的位置信息相加，得到累加边沿位置信息；

根据所述累加边沿位置信息求取叠加边沿。

作为进一步的，所述将所述配准图像对进行融合，得到暗态增强图像的步骤，包括：

分别获取所述第一细节图像和所述第二细节图像的亮度信息，根据所述第一细节图像和第二细节图像的亮度信息，得到暗态增强图像。

作为进一步的，所述根据所述第一细节图像和第二细节图像的亮度信息，得到暗态增强图像的步骤，包括：

对所述第一细节图像进行亮度融合，其中若所述第一细节图像的像素点的亮度信息大于或等于在所述第二细节图像中与该像素点对应的像素点的亮度信息，则所述第一细节图像的像素点的亮度信息保持不变，若所述第一细节图像的像素点的亮度信息小于在所述第二细节图像中与该像素点对应的像素点的亮度信息，以在所述第二细节图像中与该像素点对应的像素点的亮度信息替换所述第一细节图像的像素点的亮度信息；

以完成亮度融合的所述第一细节图像作为暗态增强图像输出。

本发明实施例提供了一种图像暗态增强装置，所述装置包括图像获取模块、立体匹配模块、掩模提取模块、图像细节生成模块、图像配准模块和图像融合模块；

所述图像获取模块用于获取摄像装置采集的具有重合视野的第一图像和第二图像，所述第一图像由所述摄像装置的第一摄像头采集得到，所述第二图像由所述摄像装置的第二摄像头采集得到；

所述立体匹配模块用于将所述第一图像与所述第二图像进行立体匹配，获得包括多个视差层的视差图；

所述掩模提取模块用于获取所述视差图的各个视差层的掩模，得到多个掩模；

所述图像细节生成模块用于将所述多个掩模叠加覆盖到所述第一图像，得到带有第一边沿细节的第一细节图像，将所述多个掩模叠加覆盖到所述第二图像，得到带有第二边沿细节的第二细节图像；

所述图像配准模块用于调整所述第一细节图像与所述第二细节图像的相对位置，得到配准图像对，该配准图像对中的所述第一边沿细节和所述第二边沿细节重合；

所述图像融合模块用于将所述配准图像对进行融合，得到暗态增强图像。

作为进一步的，所述图像配准模块包括求取移动像元值单元和调整图像相对位置单元；

所述求取移动像元值单元用于根据所述第一边沿细节与所述第二边沿细节求取移动像元值；

所述调整图像相对位置单元用于根据移动像元值，调整第一细节图像与第二细节图像的相对位置，得到配准图像对。

作为进一步的，所述图像融合模块包括获取亮度信息单元和图像暗态增强单元；

所述获取亮度信息单元用于分别获取所述第一细节图像和所述第二细节图像的亮度信息；

所述图像暗态增强单元用于根据所述第一细节图像和第二细节图像的亮度信息，得到暗态增强图像。

本发明实施例还提供了一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

获取摄像装置采集的具有重合视野的第一图像和第二图像，所述第一图像由所述摄像装置的第一摄像头采集得到，所述第二图像由所述摄像装置的第二摄像头采集得到；

将所述第一图像与所述第二图像进行立体匹配，获得包括多个视差层的视差图；

获取所述视差图的各个视差层的掩模，得到多个掩模；

将所述多个掩模叠加覆盖到所述第一图像，得到带有第一边沿细节的第一细节图像；将所述多个掩模叠加覆盖到所述第二图像，得到带有第二边沿细节的第二细节图像；

调整所述第一细节图像与所述第二细节图像的相对位置，得到配准图像对，该配准图像对中的所述第一细节图像的第一边沿细节和所述第二细节图像的第二边沿细节重合；

将所述配准图像对进行融合，得到暗态增强图像。

本发明实施例提供了一种图像暗态增强方法、装置及电子设备，通过获取摄像装置拍摄的具有重合视野的第一图像和第二图像，将第一图像与第二图像进行立体匹配，获得包括多个视差层的视差图，获取视差图的各个视差层的掩模，得到多个掩模，将多个掩模分别叠加覆盖到第一图像和第二图像，分别得到带有第一边沿细节的第一细节图像和带有第二边沿细节的第二细节图像，通过调整第一细节图像与第二细节图像的相对位置，得到配准图像对，将配准图像对进行融合，得到暗态增强图像，该图像暗态增强方法计算速度快，暗态增强效果好。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明较佳实施例提供的电子设备100的方框示意图。

图2示出了本发明实施例提供的图像暗态增强方法流程图。

图3为实施例中图2所述的步骤S105包括的子步骤的示意图。

图4为实施例中图3所述的步骤S1051包括的子步骤的示意图。

图5为实施例中图4所述的步骤A2包括的子步骤的示意图。

图6示出了本发明较佳实施例提供的图像暗态增强装置的方框示意图。

图7为图6示出的图像暗态增强装置中图像配准模块的方框示意图。

图8为图6示出的图像暗态增强装置中图像融合模块的方框示意图。

图标：100-电子设备；101-存储器；102-存储控制器；103-处理器；104-外设接口；105-摄像装置；106-显示装置；200-图像暗态增强装置；201-图像获取模块；202-立体匹配模块；203-掩模提取模块；204-图像细节生成模块；205-图像配准模块；206-图像融合模块；2051-求取移动像元值单元；2052-调整图像相对位置单元；2061-获取亮度信息单元；2062-图像暗态增强单元。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参阅图1，图1示出了本发明较佳实施例提供的电子设备100的方框示意图。电子设备100可以是，但不限于智能手机、平板电脑、膝上便携计算机、车载电脑、个人数字助理(personal digital assistant，PDA)、穿戴式移动终端、台式电脑等。所述电子设备100包括存储器101、存储控制器102、处理器103、外设接口104、摄像装置105、显示装置106和图像暗态增强装置200。

所述存储器101、存储控制器102、处理器103、外设接口104、摄像装置105和显示装置106各个元件之间直接或间接地电性连接，以实现数据的传输或交互。例如这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述图像暗态增强装置200包括至少一个可以以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述电子设备100的操作***(operation system，OS)中的软件功能模块。所述处理器103用于执行存储器101中储存的可执行模块或计算机程序，例如所述图像暗态增强装置200包括的软件功能模块或计算机程序。

其中，存储器101可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。存储器101用于储存程序，所述处理器103在接收到执行指令后，执行所述程序，本发明任一实施例解释的流程定义的服务器所执行的方法可以应用于处理器103中，或者由处理器103实现。

处理器103可以是一种集成芯片，具有信号处理能力。上述的处理器103可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)、语音处理器以及视频处理器等；还可以是数字处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。

所述外设接口104用于将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中，外设接口104、处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中，它们可以分别由独立的芯片实现。

摄像装置105用于采集图像，摄像装置105包括第一摄像头和第二摄像头，第一摄像头用于采集第一图像，第二摄像头用于采集第二图像。在本实施例中，摄像装置105可以是，但不限于双目摄像头或者多目摄像头。在本发明实施例中，第一摄像头可以包括三基色传感器，如RGB传感器，第一摄像头通过RGB传感器可以拍摄得到RGB图像，如此，由第一摄像头采集到的第一图像可以是，但不限于RGB图像。第二摄像头可以包括黑白夜视传感器，如mono传感器，第二摄像头通过mono传感器可以拍摄得到黑白夜视图像，如此，由第二摄像头采集到的第二图像可以是，但不限于黑白夜视图像。

显示装置106用于实现用户与电子设备100之间的交互，例如，但不限于显示装置106可以将经过暗态增强后的图像进行显示。

请参阅图2，图2示出了本发明实施例提供的图像暗态增强方法流程图。图像暗态增强方法包括以下步骤：

步骤S101：获取摄像装置105采集的具有重合视野的第一图像和第二图像，第一图像由摄像装置105的第一摄像头采集得到，第二图像由所述摄像装置105的第二摄像头采集得到。

在本发明实施例中，第一图像和第二图像可以由设置在可以执行实现图像暗态增强的计算机程序的设备上的摄像装置105采集得到，也可以由别的双目或多目摄像装置105采集得到，例如具有存储功能的双目数码相机。

在本发明实施例中，摄像装置105可以选用双目摄像头，其中，第一摄像头可以包括三基色传感器，例如RGB传感器，用于采集彩色图像，第二摄像头可以包括黑白夜视传感器，例如mono传感器，用于采集黑白夜视图像。第一摄像头可以是双目摄像头中的左摄像头，第二摄像头可以是双目摄像头中的右摄像头，对应的，第一图像可以是双目摄像头的做摄像头采集到的左图像，第二图像可以是双目摄像头的右摄像头采集到的右图像。

步骤S102：将第一图像与第二图像进行立体匹配，获得包括多个视差层的视差图。

在本发明实施例中，将第一图像与第二图像进行立体匹配，获得包括多个视差层的视差图的方法可以是，但不限于：1、通过建立第一图像上的第一标志像素点与第二图像的第二标志像素点之间的一一对应关系，得到多对匹配像素点对。2、分别提取匹配像素点对中第一标志像素点和第二标志像素点的位置信息。3、根据第一标志像素点的位置信息与第二标志像素点的位置信息求取第一标志像素点与第二标志像素点之间的视差。4、将多对匹配像素点对计算得到对应的多个视差转换成像素信息，得到视差图，视差图中每一个像素点对应与每一对匹配像素点对有一一对应关系。5、将视差图中具有相同像素信息的点归作为同一个视差层输出。视差图中具有相同像素值的点表示这些点的视差值相同，进一步的，这些点对应在场景中的点到相机的距离相同。在本发明实施例中，所述第一标志像素点和所述第二标志像素点指的是第一图像中与第二图像具有重合视野的部分能够匹配成功的像素点，如果第一图像与第二图像的所有像素点都能够匹配成功，则指所有像素点。

在本发明实施例中，将第一图像与第二图像进行立体匹配，获得包括多个视差层的视差图的方法可以是，但不限于：1、通过建立第一图像上的左像素点与第二图像的右像素点之间的一一对应关系，得到多对匹配像素点对。2、分别提取匹配像素点对中左像素点和右像素点的位置信息。3、根据左像素点的位置信息与右像素点的位置信息求取左像素点与右像素点之间的视差。4、将多对匹配像素点对计算得到对应的多个视差转换成像素信息，得到视差图，视差图中每一个像素点对应与每一对匹配像素点对有一一对应关系。5、将视差图中具有相同像素信息的点归作为同一个视差层输出。视差图中具有相同像素值的点表示这些点的视差值相同，进一步的，这些点对应在场景中的点到相机的距离相同。

在本发明实施例中，例如可以使用高效大规模立体匹配(Efficient Large-scaleStereo，ELAS)算法将第一图像与第二图像进行立体匹配，获得具有多个视差层的视差图。

步骤S103：获取视差图的各个视差层的掩模，得到多个掩模。

在本发明实施例中，获取所述视差图的各个视差层的掩模，其中，所述掩模可以是，但不限于视差图中各个视差层对应于第一图像或者第二图像中需要进行暗态增强的目标的轮廓，也可以是视差图中所有的边缘、文理或者轮廓特征。获取视差图的各个视差层的掩模的方法可以是，但不限于，使用拉普拉斯(Laplacian)算子在视差图中提取各个视差层对应于第一图像或者第二图像中需要进行暗态增强的目标的轮廓，得到多个掩模，多个掩模的尺寸与第一细节图像和第二细节图像的尺寸相同。

步骤S104：将多个掩模叠加覆盖到第一图像，得到带有第一边沿细节的第一细节图像；将多个掩模叠加覆盖到第二图像，得到带有第二边沿细节的第二细节图像。

在本实施例中，所述将多个掩模叠加覆盖到第一图像，得到带有第一边沿细节的第一细节图像的方法，可以是，但不限于：调整视差图和第一图像的相对位置，使得视差图和第一图像重合；将附带于视差图中的多个掩模叠加覆盖到第一图像中的对应位置，得到带有第一边沿细节的第一细节图像。同样的，将多个掩模叠加覆盖到第二图像，得到带有第二边沿细节的第二细节图像的方法，可以是，但不限于：调整视差图和第二图像的相对位置，使得视差图和第二图像重合；将附带于视差图中的多个掩模叠加覆盖到第二图像中的对应位置，得到带有第二边沿细节的第二细节图像。

在本发明实施例中，将多个掩模分别覆盖到第一图像上和第二图像上的方法，可以是，但不限于：将多个掩模分别与第一图像和第二图像进行乘法运算，最后能够保留第一图像中需要进行暗态增强的目标和第二图像中需要进行暗态增强的目标，即到得到带有第一边沿细节的第一细节图像和得到带有第二边沿细节的第二细节图像。

步骤105：调整第一细节图像与第二细节图像的相对位置，得到配准图像对，该配准图像对中的第一细节图像的第一边沿细节和第二细节图像的第二边沿细节重合。

在本发明实施例中，经过调整第一细节图像与第二细节图像之间的相对位置使得第一细节图像的第一边沿细节和第二细节图像的第二边沿细节重合，可以减小图像对准过程中的计算量。

请结合图3，步骤S105可以包括步骤S1051和步骤S1052，图3为实施例中图2所述的步骤S105包括的子步骤的示意图。

步骤S1051：根据第一边沿细节与第二边沿细节求取移动像元值。

在本发明实施例中，根据第一边沿细节与第二边沿细节求取移动像元值的方法，可以是，但不限于：将第一边沿细节与第二边沿细节叠加，得到叠加边沿，根据叠加边沿求取移动像元值。请结合图4，所述步骤S1051可以包括步骤A1、步骤A2和步骤A3三个子步骤。图4为实施例中图3所述的步骤S1051包括的子步骤的示意图。

步骤A1：对第一边沿细节进行膨胀处理，得到带有第一膨胀边沿的第一膨胀图像，对第二边沿细节进行膨胀处理，得到带有第二膨胀边沿的第二膨胀图像。

在本发明实施例中，分别对第一边沿细节和第二边沿细节进行膨胀处理，得到第一膨胀图像和第二膨胀图像的方法，可以是，但不限于：1、构建一个3x3的结构元素；2、用3x3的结构元素扫描图像的每一个像素；3、用结构元素分别与第一边沿细节中的每一个像素点和第二边沿细节中的每一个像素点做“与”操作：如果第一边沿细节中的像素点的像素值和结构元素的像素值都为0，将第一边沿细节中的像素点的像素值设置为0，否则为1；完成结构元素和第二边沿细节中的所有像素点的“与”操作后，得到带有第一膨胀边沿的第一膨胀图像；如果第二边沿细节中的像素点的像素值和结构元素的像素值都为0，将第二边沿细节中的像素点的像素值设置为0，否则为1；完成结构元素和第二边沿细节中的所有像素点的“与”操作后，得到带有第二膨胀边沿的第二膨胀图像。

步骤A2：将第一膨胀边沿与第二膨胀边沿叠加，得到叠加边沿。

请结合图5，所述步骤A2可以包括步骤A21～A25。图5为实施例中图4所述的步骤A2包括的子步骤的示意图。

步骤A21：调整第一膨胀图像与第二膨胀图像的相对位置，使得第一膨胀图像和第二膨胀图像重合。

在本发明实施例中，调整所述第一细节图像与所述第二细节图像的相对位置的方法，例如：

分别提取第一膨胀图像和第二膨胀图像的四个顶点构成一个集合：Vl＝{vl₁,vl₂,vl₃,vl₄}、Vr＝{vr₁,vr₂,vr₃,vr₄}，其中vl_i,i＝1,2,3,4表示第一膨胀图像的第i个顶点，vr_i,i＝1,2,3,4表示第二膨胀图像的第i个顶点；确定第一膨胀图像和第二膨胀图像重合的阈值为ε，ε是一个常数；

计算第一膨胀图像的顶点与该顶点在第二膨胀图像中对应的顶点之间的欧拉距离：

其中，

分别表示第一膨胀图像的第i个顶点的坐标和第二膨胀图像的第i个顶点的坐标；

求第一膨胀图像四个顶点与第二膨胀图像的四个顶点之间的欧拉距离之和，得到总误差：

判断总误差是否大于第一膨胀图像和第二膨胀图像重合的阈值，如果大于，移动第二膨胀图像，并重新计算总误差，判断总误差是否大于第一膨胀图像和第二膨胀图像重合的阈值；否则，说明第一膨胀图像与第二膨胀图像已经重合，停止移动第二膨胀图像。

步骤A22：针对所述第一膨胀边沿的每个像素点，获得该像素点在所述第二膨胀边沿中对应的像素点。

在本发明实施例中，获得第一膨胀图像的第一膨胀边沿中的像素点在第二膨胀图像的第二膨胀边沿中对应的像素点的方法，例如，可以利用下述方法实现：通过获取已经重合的第一膨胀图像中第一膨胀边沿的每个像素点的位置信息和第二膨胀图像中第二膨胀边沿对应的像素点的位置信息；根据位置信息求取第一膨胀图像的第一膨胀边沿中每个像素点在第二膨胀图像的第二膨胀边沿中对应的像素点。又例如，可以利用基于像素信息的匹配方法，获得第一膨胀图像的第一膨胀边沿中的像素点在第二膨胀图像的第二膨胀边沿中对应的像素点。

步骤A23：提取第一膨胀边沿的每个像素点的位置信息和在第二膨胀边沿中与该像素点对应的像素点的位置信息。

步骤A24：将第一膨胀边沿的每个像素点的位置信息与在第二膨胀边沿中与该像素点对应的像素点的位置信息相加，得到累加边沿位置信息；

步骤A25：根据累加边沿位置信息求取叠加边沿。

在本发明实施例中，根据累加边沿位置信息求取叠加边沿的方法，例如，将累加边沿位置信息进行除2运算，得到叠加边沿。

在本发明实施例中，可以通过提取第一膨胀边沿的每个像素点的像素信息与第二膨胀边沿的每个像素点的像素信息，根据第一膨胀边沿的每个像素点的像素信息与第二膨胀边沿的每个像素点的像素信息求取叠加边沿。

步骤A3：根据叠加边沿求取移动像元值。

在本发明实施例中，根据所述叠加边沿求取所述移动像元值。的方法，可以是，但不限于：获取所述叠加边沿的最小值，以所述最小值作为所述移动像元值。

步骤S1052：根据移动像元值，调整第一细节图像与第二细节图像的相对位置，得到配准图像对。

在本发明实施例中，步骤S1052所述的方法，可以是，但不限于：以所述移动像元值作为步长，调整所述第一细节图像与所述第二细节图像的相对位置。步骤S1052所述的方法，还可以包括，在以所述移动像元值作为步长，调整所述第一细节图像与所述第二细节图像的相对位置之后，判断所述第一边沿细节与所述第二边沿细节是否重合，如果重合，完成调整所述第一细节图像与所述第二细节图像的相对位置，得到配准图像对，配准图像对包括第一细节图像和第二细节图像；否则，求取新移动像元值，以所述新移动像元值作为调整所述第一细节图像与所述第二细节图像的相对位置的步长，调整所述第一细节图像与所述第二细节图像的相对位置。

步骤S106：将配准图像对进行融合，得到暗态增强图像。

在本发明实施例中，将配准图像对进行融合，得到暗态增强图像的方法，可以是，但不限于：分别获取第一细节图像和第二细节图像的亮度信息，根据第一细节图像和第二细节图像的亮度信息，得到暗态增强图像。作为进一步的，根据第一细节图像和第二细节图像的亮度信息，得到暗态增强图像的方法，可以是，但不限于：对所述第一细节图像进行亮度融合，其中若所述第一细节图像的像素点的亮度信息大于或等于在所述第二细节图像中与该像素点对应的像素点的亮度信息，则所述第一细节图像的像素点的亮度信息保持不变，若所述第一细节图像的像素点的亮度信息小于在所述第二细节图像中与该像素点对应的像素点的亮度信息，以在所述第二细节图像中与该像素点对应的像素点的亮度信息替换所述第一细节图像的像素点的亮度信息。以完成亮度融合的所述第一细节图像作为暗态增强图像输出。

在本发明实施例中，根据第一细节图像和第二细节图像的亮度信息，得到暗态增强图像的方法，可以是：建立一张空图像，将第一细节图像的像素值赋值给所述空图像，得到原图像；对比第一细节图像与第二细节图像的亮度信息，如果第一细节图像的亮度值大于或等于第二细节图像的亮度值，将第一细节图像的亮度值赋值给原图像的亮度通道，否则，以第二细节图像的亮度值赋值给原图像的亮度通道；将完成亮度融合后的原图像作为暗态增强图像输出。

请参阅图6，图6示出了本发明较佳实施例提供的图像暗态增强装置200的方框示意图。图像暗态增强装置200包括图像获取模块201、立体匹配模块202、掩模提取模块203、图像细节生成模块204、图像配准模块205和图像融合模块206。

图像获取模块201用于获取摄像装置105采集的具有重合视野的第一图像和第二图像，第一图像由摄像装置105的第一摄像头采集得到，第二图像由摄像装置105的第二摄像头采集得到。在本发明实施例中，图像获取模块201可以用于执行步骤S101。

立体匹配模块202用于将第一图像与第二图像进行立体匹配，获得包括多个视差层的视差图。在本发明实施例中，立体匹配模块202可以用于执行步骤S102。

掩模提取模块203用于获取视差图的各个视差层的掩模，得到多个掩模。在本发明实施例中，掩模提取模块203可以用于执行步骤S103。

图像细节生成模块204用于将多个掩模叠加覆盖到第一图像，得到带有第一边沿细节的第一细节图像，将多个掩模叠加覆盖到第二图像，得到带有第二边沿细节的第二细节图像。在本发明实施例中，图像细节生成模块204可以用于执行步骤S204。

图像配准模块205用于调整第一细节图像与第二细节图像的相对位置，得到配准图像对，该配准图像对中的第一边沿细节和第二边沿细节重合。在本发明实施例中，图像配准模块205可以用于执行步骤S105。

请参阅图7，图7为图6示出的图像暗态增强装置200中图像配准模块205的方框示意图。图像配准模块205包括求取移动像元值单元2051和调整图像相对位置单元2052。求取移动像元值单元2051用于根据第一边沿细节与第二边沿细节求取移动像元值。在本发明实施例中，求取移动像元值单元2051可以用于执行步骤S1051。调整图像相对位置单元2052用于根据移动像元值，调整第一细节图像与第二细节图像的相对位置。在本发明实施例中，调整图像相对位置单元2052可以用于执行步骤S1052。

图像融合模块206用于将配准图像对进行融合，得到暗态增强图像。在本发明实施例中，图像融合模块206可以用于执行步骤S106。请参阅图8，图8为图6示出的图像暗态增强装置200中图像融合模块206的方框示意图。图像融合模块206包括获取亮度信息单元2061和图像暗态增强单元2062。获取亮度信息单元2061用于分别获取第一细节图像和第二细节图像的亮度信息。在本发明实施例中，获取亮度信息单元2061可以用于执行步骤S1061。图像暗态增强单元2062用于根据第一细节图像和第二细节图像的亮度信息，得到暗态增强图像。在本发明实施例中，图像暗态增强单元2062可以用于执行步骤S1062。

综上所述，本发明实施例提供的一种图像暗态增强方法、装置及电子设备，通过将基于深度图的多个掩模分别叠加覆盖到第一图像和第二图像中，能够得到精准地得到第一边沿细节和第二边沿细节，通过基于第一边沿细节和第二边沿细节对第一细节图像和第二细节图像进行配准，方便简单，计算量小，根据第一图像与第二图像进行图像融合，实现暗态增强，使得输出的暗态增强图像具有第一图像的信息和第二图像的信息。进一步的，第一摄像头包括RGB传感器，由第一摄像拍摄的第一图像具有彩色信息，第二摄像头包括mono传感器，由第二摄像头拍摄的第二图像具有黑白夜视信息，根据第一图像与第二图像进行图像融合，实现暗态增强，使得输出的暗态增强图像具有第一图像的彩色信息，还具有第二图像的黑白夜视信息，从而拥有较高的分辨率和拥有丰富的图像细节，暗态增强效果好。通过使用包括RGB传感器与mono传感器结合的摄像装置，装置成本低，适用于众多应用场景，特别是消费级的应用场景。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像暗态增强方法，其特征在于，所述方法包括：

获取摄像装置采集的具有重合视野的第一图像和第二图像，所述第一图像由所述摄像装置的第一摄像头采集得到，所述第二图像由所述摄像装置的第二摄像头采集得到；将所述第一图像与所述第二图像进行立体匹配，获得包括多个视差层的视差图；所述视差图中具有相同像素值的点的视差值相同；

获取所述视差图的各个视差层的掩模，得到多个掩模；

将所述多个掩模叠加覆盖到所述第一图像，得到带有第一边沿细节的第一细节图像；将所述多个掩模叠加覆盖到所述第二图像，得到带有第二边沿细节的第二细节图像；

调整所述第一细节图像与所述第二细节图像的相对位置，得到配准图像对，该配准图像对中的所述第一细节图像的第一边沿细节和所述第二细节图像的第二边沿细节重合；

将所述配准图像对进行融合，得到暗态增强图像。

2.根据权利要求1所述的图像暗态增强方法，其特征在于，所述调整所述第一细节图像与所述第二细节图像的相对位置，得到配准图像对的步骤，包括：

根据所述第一边沿细节与所述第二边沿细节求取移动像元值；

根据所述移动像元值，调整所述第一细节图像与所述第二细节图像的相对位置，得到配准图像对。

3.根据权利要求2所述的图像暗态增强方法，其特征在于，所述根据所述第一边沿细节与所述第二边沿细节求取移动像元值的步骤，包括：

对所述第一边沿细节进行膨胀处理，得到带有第一膨胀边沿的第一膨胀图像，对所述第二边沿细节进行膨胀处理，得到带有第二膨胀边沿的第二膨胀图像；

将所述第一膨胀边沿与所述第二膨胀边沿叠加，得到叠加边沿；

根据所述叠加边沿求取移动像元值。

4.根据权利要求3所述的图像暗态增强方法，其特征在于，将所述第一膨胀边沿与所述第二膨胀边沿叠加，得到叠加边沿的步骤，包括：

调整所述第一膨胀图像与所述第二膨胀图像的相对位置，使得所述第一膨胀图像和所述第二膨胀图像重合；

针对所述第一膨胀图像的第一膨胀边沿的每个像素点，获得该像素点在所述第二膨胀图像的第二膨胀边沿中对应的像素点；

提取所述第一膨胀边沿的每个像素点的位置信息和在所述第二膨胀边沿中与该像素点对应的像素点的位置信息；

将所述第一膨胀边沿的每个像素点的位置信息与在所述第二膨胀边沿中与该像素点对应的像素点的位置信息相加，得到累加边沿位置信息；

根据所述累加边沿位置信息求取叠加边沿。

5.根据权利要求1所述的图像暗态增强方法，其特征在于，所述将所述配准图像对进行融合，得到暗态增强图像的步骤，包括：

分别获取所述第一细节图像和所述第二细节图像的亮度信息，根据所述第一细节图像和第二细节图像的亮度信息，得到暗态增强图像。

6.根据权利要求5所述的图像暗态增强方法，其特征在于，所述根据所述第一细节图像和第二细节图像的亮度信息，得到暗态增强图像的步骤，包括：

对所述第一细节图像进行亮度融合，其中若所述第一细节图像的像素点的亮度信息大于或等于在所述第二细节图像中与该像素点对应的像素点的亮度信息，则所述第一细节图像的像素点的亮度信息保持不变，若所述第一细节图像的像素点的亮度信息小于在所述第二细节图像中与该像素点对应的像素点的亮度信息，以在所述第二细节图像中与该像素点对应的像素点的亮度信息替换所述第一细节图像的像素点的亮度信息；

以完成亮度融合的所述第一细节图像作为暗态增强图像输出。

7.一种图像暗态增强装置，其特征在于，所述装置包括图像获取模块、立体匹配模块、掩模提取模块、图像细节生成模块、图像配准模块和图像融合模块；

所述图像获取模块用于获取摄像装置采集的具有重合视野的第一图像和第二图像，所述第一图像由所述摄像装置的第一摄像头采集得到，所述第二图像由所述摄像装置的第二摄像头采集得到；

所述立体匹配模块用于将所述第一图像与所述第二图像进行立体匹配，获得包括多个视差层的视差图；所述视差图中具有相同像素值的点的视差值相同；

所述掩模提取模块用于获取所述视差图的各个视差层的掩模，得到多个掩模；

所述图像细节生成模块用于将所述多个掩模叠加覆盖到所述第一图像，得到带有第一边沿细节的第一细节图像，将所述多个掩模叠加覆盖到所述第二图像，得到带有第二边沿细节的第二细节图像；

所述图像配准模块用于调整所述第一细节图像与所述第二细节图像的相对位置，得到配准图像对，该配准图像对中的所述第一边沿细节和所述第二边沿细节重合；

所述图像融合模块用于将所述配准图像对进行融合，得到暗态增强图像。

8.根据权利要求7所述的图像暗态增强装置，其特征在于，所述图像配准模块包括求取移动像元值单元和调整图像相对位置单元；

所述求取移动像元值单元用于根据所述第一边沿细节与所述第二边沿细节求取移动像元值；

所述调整图像相对位置单元用于根据移动像元值，调整第一细节图像与第二细节图像的相对位置，得到配准图像对。

9.根据权利要求7所述的图像暗态增强装置，其特征在于，所述图像融合模块包括获取亮度信息单元和图像暗态增强单元；

所述获取亮度信息单元用于分别获取所述第一细节图像和所述第二细节图像的亮度信息；

所述图像暗态增强单元用于根据所述第一细节图像和第二细节图像的亮度信息，得到暗态增强图像。

10.一种电子设备，其特征在于，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

获取摄像装置采集的具有重合视野的第一图像和第二图像，所述第一图像由所述摄像装置的第一摄像头采集得到，所述第二图像由所述摄像装置的第二摄像头采集得到；

将所述第一图像与所述第二图像进行立体匹配，获得包括多个视差层的视差图；所述视差图中具有相同像素值的点的视差值相同；

获取所述视差图的各个视差层的掩模，得到多个掩模；

将所述多个掩模叠加覆盖到所述第一图像，得到带有第一边沿细节的第一细节图像；将所述多个掩模叠加覆盖到所述第二图像，得到带有第二边沿细节的第二细节图像；

调整所述第一细节图像与所述第二细节图像的相对位置，得到配准图像对，该配准图像对中的所述第一细节图像的第一边沿细节和所述第二细节图像的第二边沿细节重合；

将所述配准图像对进行融合，得到暗态增强图像。

Images