CN109816619B - 图像融合方法、装置、终端及计算机可读存储介质 - Google Patents

Abstract

本发明提供一种图像融合方法，包括：获取第一图像作为基准图，获取第二图像作为配准图；对所述基准图及所述配准图分别进行分块处理，以得到所述基准图的第一分块图像及所述配准图的第二分块图像；利用配准算法将第一分块图像中的各块图像与第二分块图像中对应的各块图像进行配准处理，以得到第一图像中的各块图像与第二图像中对应的各块图像进行配置处理后的配准参数，并基于所述配准参数按块逐点融合。本发明还提供一种图像融合装置、终端及计算机可读存储介质。本发明实现了通过按块逐点融合，从而提高了图像融合的效果。

Description

图像融合方法、装置、终端及计算机可读存储介质

技术领域

本发明涉及图像处理领域，尤其涉及一种图像融合方法、装置、终端及计算机可读存储介质。

背景技术

图像融合是将多张图像通过一定的方法处理后得到一张图像，它是图像处理中比较常见的一种技术，例如，多帧降噪、HDR拍照等，这些技术中处理的图片方法比较相近，但又不完全相同，存在一定的形变，比如平移、旋转等，目前，图像融合一般通过配准、对齐等方式，配准对齐的精度决定了最后图像融合的质量，由于是分块进行的配准对齐，所以它只能确保极少部分像素点的精确匹配，导致图像融合的效果差。

发明内容

本发明的主要目的在于提供一种图像融合方法、装置、终端及计算机可读存储介质，旨在解决图像融合的效果差技术问题。

为实现上述目的，本发明提供一种图像融合方法，所述图像融合方法包括以下步骤：

获取第一图像作为基准图，获取第二图像作为配准图；

对所述基准图及所述配准图分别进行分块处理，以得到所述基准图的第一分块图像及所述配准图的第二分块图像；

利用配准算法将第一分块图像中的各块图像与第二分块图像中对应的各块图像进行配准处理，以得到第一图像中的各块图像与第二图像中对应的各块图像进行配准处理后的配准参数，并基于所述配准参数按块逐点融合。

可选地，所述配准参数包括偏移量，所述基于所述配准参数按块逐点融合的步骤包括：

获取第一分块图像中待融合点所在块的点坐标，基于所述偏移量及所述点坐标计算所述待融合点在第二分块图像中对应点的估算坐标；

将所述估算坐标作为坐标中心，并在以所述估算坐标为坐标中心的预设区域中匹配与所述待融合点最接近的目标点，将所述目标点与所述待融合点进行融合。

可选地，所述在以所述估算坐标为坐标中心的预设区域中匹配与所述待融合点最接近的目标点的步骤包括：

获取所述待融合点的第一像素及所述预设区域中待匹配的待匹配点的第二像素；

计算所述第一像素及所述第二像素的像素差的第一绝对值，并确定所述第一绝对值是否小于预设阈值；

若是，则将所述待匹配点作为候选点，并在各所述候选点中查找与所述待融合点最接近的目标点。

可选地，所述若是，则将所述待匹配点作为候选点，并在各所述候选点中查找与所述待融合点最接近的目标点的步骤包括：

若是，则获取所述待融合点的第一梯度值及各所述待匹配点的各第二梯度值，计算所述第一梯度值与所述第二梯度值之差的第二绝对值，并将所述待匹配点作为候选点；

确定各所述第二绝对值中的最小绝对值，在所述候选点中查找所述最小绝对值对应的目标点。

可选地，所述将所述目标点与所述待融合点进行融合的步骤包括：

获取所述目标点的目标点像素，计算所述目标点像素与所述第一像素的加权平均值；

将所述加权平均值作为融合后的像素点的像素值，以得到融合后的图像。

可选地，所述若是，则获取所述待融合点的第一梯度值及各所述待匹配点的各第二梯度值，计算所述第一梯度值与所述第二梯度值之差的第二绝对值，并将所述待匹配点作为候选点的步骤之前，所述图像融合方法还包括：

计算所述第一图像中各像素点的梯度值，以得到所述第一图像的第一梯度图；

计算所述第二图像中各像素点的梯度值，以得到所述第二图像的第二梯度图。

可选地，所述计算所述第一图像中各像素点的梯度值，以得到所述第一图像的第一梯度图的步骤包括：

逐一获取第一图像中的各像素点，并将当前获取的像素点确定为目标像素点；

确定各目标像素点在预设范围内的其他像素点，并逐一计算所述目标像素点与各所述其他像素点之间的像素差值，对各所述像素差值进行绝对值处理，生成各绝对值结果；

对各所述绝对值结果进行加和处理，生成绝对值和，直到生成各目标像素点对应的绝对值和；

基于各目标像素点对应的绝对值和生成第一梯度图，其中，各目标像素点的绝对值和为各目标像素点在第一梯度图中的梯度值。

此外，为实现上述目的，本发明还提供一种图像融合装置，所述图像融合装置包括：

获取模块，用于获取第一图像作为基准图，获取第二图像作为配准图；

分块模块，用于对所述基准图及所述配准图分别进行分块处理，以得到所述基准图的第一分块图像及所述配准图的第二分块图像；

配准融合模块，用于利用配准算法将第一分块图像中的各块图像与第二分块图像中对应的各块图像进行配准处理，以得到第一图像中的各块图像与第二图像中对应的各块图像进行配准处理后的配准参数，并基于所述配准参数按块逐点融合。

此外，为实现上述目的，本发明还提供一种终端，所终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像融合程序，所述图像融合程序被所述处理器执行时实现上述任一项图像融合方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像融合程序，所述图像融合程序被处理器执行时实现上述任一项图像融合方法的步骤。

本发明提出一种图像融合方法、装置、终端及计算机可读存储介质，通过获取第一图像作为基准图，获取第二图像作为配准图，然后对所述基准图及所述配准图分别进行分块处理，以得到所述基准图的第一分块图像及所述配准图的第二分块图像，最后利用配准算法将第一分块图像中的各块图像与第二分块图像中对应的各块图像进行配准处理，以得到第一图像中的各块图像与第二图像中对应的各块图像进行配准处理后的配准参数，并基于所述配准参数按块逐点融合；实现了通过按块逐点融合，从而提高了图像融合的效果。

附图说明

图1是一种终端的硬件结构示意图；

图2为一种通信网络***架构图；

图3为本发明图像融合方法第一实施例的流程示意图；

图4为本发明图像融合装置第一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理（Personal Digital Assistant，PDA）、便捷式媒体播放器（Portable Media Player，PMP）、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。

后续描述中将以终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

请参阅图1，其为实现本发明各个实施例的一种终端的硬件结构示意图，该终端100可以包括： RF（Radio Frequency，射频）单元101、WiFi模块102、音频输出单元103、A/V（音频/视频）输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对终端的各个部件进行具体的介绍：

射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于GSM （Global System of Mobile communication，全球移动通讯***）、GPRS（General Packet Radio Service，通用分组无线服务）、CDMA2000（CodeDivision Multiple Access 2000，码分多址2000）、WCDMA（Wideband Code DivisionMultiple Access, 宽带码分多址）、TD-SCDMA（Time Division-Synchronous CodeDivision Multiple Access，时分同步码分多址）、FDD-LTE（Frequency DivisionDuplexing- Long Term Evolution，频分双工长期演进）和TDD-LTE (Time DivisionDuplexing- Long Term Evolution，分时双工长期演进)等。

WiFi属于短距离无线传输技术，终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102，但是可以理解的是，其并不属于终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

音频输出单元103可以在终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。

A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器（Graphics Processing Unit，GPU）1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置（如摄像头）获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109（或其它计算机可读存储介质）中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音（音频数据），并且能够将这样的声音处理为音频数据。处理后的音频（语音）数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等; 至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器（Liquid Crystal Display，LCD）、有机发光二极管（Organic Light-Emitting Diode, OLED）等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作），并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。

进一步的，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现终端的输入和输出功能，具体此处不做限定。

接口单元108用作至少一个外部装置与终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到终端100内的一个或多个元件或者可以用于在终端100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

终端100还可以包括给各个部件供电的电源111（比如电池），优选的，电源111可以通过电源管理***与处理器110逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。

尽管图1未示出，终端100还可以包括蓝牙模块等，在此不再赘述。

为了便于理解本发明实施例，下面对本发明的终端所基于的通信网络***进行描述。

请参阅图2，图2为本发明实施例提供的一种通信网络***架构图，该通信网络***为通用移动通信技术的LTE***，该LTE***包括依次通讯连接的UE（User Equipment，用户设备）201， E-UTRAN（Evolved UMTS Terrestrial Radio Access Network，演进式UMTS陆地无线接入网）202，EPC（Evolved Packet Core，演进式分组核心网）203和运营商的IP业务204。

具体地，UE201可以是上述终端100，此处不再赘述。

E-UTRAN202包括eNodeB2021和其它eNodeB2022等。其中，eNodeB2021可以通过回程（backhaul）（例如X2接口）与其它eNodeB2022连接，eNodeB2021连接到EPC203，eNodeB2021可以提供UE201到EPC203的接入。

EPC203可以包括MME（Mobility Management Entity，移动性管理实体）2031,HSS（Home Subscriber Server，归属用户服务器）2032,其它MME2033, SGW（Serving GateWay，服务网关）2034， PGW（PDN Gate Way，分组数据网络网关）2035和PCRF（Policy andCharging Rules Function，政策和资费功能实体）2036等。其中,MME2031是处理UE201和EPC203之间信令的控制节点，提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器（图中未示）之类的功能，并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送，PGW2035可以提供UE 201的IP地址分配以及其它功能，PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元（图中未示）选择及提供可用的策略和计费控制决策。

IP业务204可以包括因特网、内联网、IMS（IP Multimedia Subsystem，IP多媒体子***）或其它IP业务等。

虽然上述以LTE***为例进行了介绍，但本领域技术人员应当知晓，本发明不仅仅适用于LTE***，也可以适用于其他无线通信***，例如GSM、CDMA2000、WCDMA、TD-SCDMA以及未来新的网络***等，此处不做限定。

基于上述终端硬件结构以及通信网络***，提出本发明方法各个实施例。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示的终端结构中，处理器110可以调用存储器109中存储的图像融合程序，执行本发明实施例提供的图像融合方法。

本发明进一步提供一种图像融合方法。参照图3，图3为本发明图像融合方法第一实施例的方法示意图。

本发明的图像融合方法首先对基准图及配准图进行分块处理，然后对基准图中各块图像与配准图中对应的各块图像进行配准处理，以得到配准参数，通过配准参数进行按块进行逐点融合，从而实现图像中各像素点的精准融合，提高了图像融合的效果。

在本实施例中，该图像融合方法包括：

步骤S10，获取第一图像作为基准图，获取第二图像作为配准图；

在本实施例中，在待融合的图像中选择并获取第一图像作为基准图，将其它图像（第二图像）作为配准图，将第二图像配准到第一图像，该第二图像可以包括一个图像、两个图像、三个图像等。

步骤S20，对所述基准图及所述配准图分别进行分块处理，以得到所述基准图的第一分块图像及所述配准图的第二分块图像；

在实施例中，按照预的分块设规则对基准图及配准图进行分块处理，分块规则包括将基准图分为W x H块，同时将配准图也分为W x H块，以得到基准图的第一分块图像及配准图的第二分块图像，其中，基准图中每一块图像对应配准图中的每一块图像，可以对第一分块图像中每一块图像进行编号，则在第二分块图像中存在与第一分块图像中各块图像对应的编号，进而根据编号可以按块逐点融合。

步骤S30，利用配准算法将第一分块图像中的各块图像与第二分块图像中对应的各块图像进行配准处理，以得到第一图像中的各块图像与第二图像中对应的各块图像进行配准处理后的配准参数，并基于所述配准参数按块逐点融合。

在本实施例中，通过配准算法将第一分块图像中的各块图像与第二分块图像中对应的各块图像进行配准处理，例如，将第一分块图像中编号为1的该块图像与第二分块图像中编号为1的该块图像进行配准，得到第一分块图像中编号为1的该块图像与第二分块图像中编号为1的该块图像配准的配准参数，根据配准参数按块进行逐点融合。

具体地，所述基于所述配准参数按块逐点融合的步骤包括：

步骤S31，获取第一图像中待融合点所在块的点坐标，基于所述偏移量及所述点坐标计算所述待融合点在第二图像中对应点的估算坐标；

在本实施例中，该配准参数包括偏移量，首先在第一图像中确定待融合点，根据该待融合点的像素获取对应的点坐标，然后，根据偏移量及该点坐标计算该待融合点在第二图像中对应点的估算坐标，例如，待融合点的坐标为a（x，y），偏移量为（Mx，My），则待融合点在第二图像中对应点的估算坐标为（x+Mx，y+My）。

步骤S32，将所述估算坐标作为坐标中心，并在以所述估算坐标为坐标中心的预设区域中匹配与所述待融合点最接近的目标点，将所述目标点与所述待融合点进行融合；

在本实施例中，将该估算坐标作为坐标中心，在以该估算坐标为坐标中心的预设区域中匹配与待融合点最接近的目标点，该预设区域可以是矩形区域、圆形区域等，例如，以该估算坐标为坐标中心，以预设长度作为边长在第二分块图像中生成矩形区域，或者，以估算坐标为坐标中心，与预设长度为半径在第二分块图像中生成圆形区域。从而在预设区域内匹配与待融合点最接近的目标点，将目标点与待融合点进行融合。

其中，所述在以所述估算坐标为坐标中心的预设区域中匹配与所述待融合点最接近的目标点的步骤包括：

步骤S321，获取所述待融合点的第一像素及所述预设区域中待匹配的待匹配点的第二像素；

步骤S322，计算所述第一像素及所述第二像素的像素差的第一绝对值，并确定所述第一绝对值是否小于预设阈值；

步骤S323，若是，则将所述待匹配点作为候选点，并在各所述候选点中查找与所述待融合点最接近的目标点。

在本实施例中，在第一分块图像中获取待融合点的第一像素，在第二图像的预设区域中待匹配点的第二像素，计算第一像素及第二像素的像素差，并对该像素差求绝对值，得到第一绝对值，并确定该第一绝对值是否小于预设阈值，若第一绝对值小于预设阈值，则将该待匹配点作为候选点，并在候选点中查找与待融合点最接近的目标点，具体地，将各候选点对应的绝对值进行比较，获取绝对值最小的候选点，将该候选点作为预待融合点最接近的目标点。或者，逐点进行比较，具体地，首先确定待匹配点中第一点的像素，然后计算第一点的像素与第一像素的像素差的绝对值，并确定该绝对值是否小于预设阈值，若是，则将第一点作为候选点，然后计算待匹配点中第二点的像素与第一像素的像素差的绝对值，确定该绝对值是否小于预设阈值，若小于，则将第二点与第一点的绝对值进行比较，将绝对值较小的点作为新的候选点，以此类推，逐点比较获得最终的目标点。

本实施例提出的图像融合方法，通过获取第一图像作为基准图，获取第二图像作为配准图，然后对所述基准图及所述配准图分别进行分块处理，以得到所述基准图的第一分块图像及所述配准图的第二分块图像，最后利用配准算法将第一分块图像中的各块图像与第二分块图像中对应的各块图像进行配准处理，以得到第一图像中的各块图像与第二图像中对应的各块图像进行配准处理后的配准参数，并基于所述配准参数按块逐点融合；实现了通过按块逐点融合，从而提高了图像融合的效果。

基于第一实施例，提出本发明图像融合方法的第二实施例，本实施例中，步骤S323包括：

步骤S3231，若是，则获取所述待融合点的第一梯度值及各所述待匹配点的各第二梯度值，计算所述第一梯度值与所述第二梯度值之差的第二绝对值，并将所述待匹配点作为候选点；

步骤S3232，确定各所述第二绝对值中的最小绝对值，在所述候选点中查找所述最小绝对值对应的目标点。

在本实施例中，计算第一像素与第二像素的像素差的第一绝对值，并对第一绝对值进行判断，根据该判断结果确定目标点的方法可能还不够准确，所以，本实施例在第一绝对值小于预设阈值时，通过对待融合点的第一梯度值及各待匹配点的各第二梯度值进行判断，从而根据判断结果确定候选点，具体地，首先获取待融合点的第一梯度值及各待匹配点的第二梯度值，计算第一梯度值与第二梯度值之差的第二绝对值，并将待匹配点作为候选点，在候选点中查找第二绝对值最小的点作为目标点。或者，进行逐点匹配，具体地，确定待匹配点中第一点对应的第一绝对值小于预设阈值时，获取第一点的第二梯度值及待融合点第一梯度值，计算第一梯度与第二梯度的绝对值，从而得到第一点对应的绝对值，然后，以此类推计算计算待匹配点中第二点对应的绝对值，将第一点对应的绝对值与第二点对应的绝对值进行比较，取绝对值较小的点作为候选点，以此类推，更新候选点，从而查找到绝对值最小的目标点。

本实施例提出的图像融合方法，通过若是，则获取所述待融合点的第一梯度值及各所述待匹配点的各第二梯度值，计算所述第一梯度值与所述第二梯度值之差的第二绝对值，并将所述待匹配点作为候选点，然后根据各所述第二绝对值在所述候选点中查找第二绝对值最小的目标点；实现了通过对梯度值进行判断，进一步提高了图像融合的效果。

基于第二实施例，提出本发明图像融合方法的第三实施例，本实施例中，步骤S32还包括：

步骤S324，获取所述目标点的目标点像素，计算所述目标点像素与所述第一像素的加权平均值；

步骤S325，将所述加权平均值作为融合后的像素点的像素值，以得到融合后的图像。

在本实施例中，在确定目标点时，获取目标点的目标点像素，计算目标点像素与待融合点的第一像素的加权平均值，并将该加权平均值作为融合后的像素点的像素值。由此可知，可以计算各块图像中各像素点融合后的像素值，从而得到融合后的图像。其中，该权重的计算方法可以是，计算目标点像素与第一像素的总和，并计算目标点的像素占总和的百分比，将该百分比作为目标点像素的权重，计算第一像素占总和的百分比，将该百分比作为第一像素的权重，从而再计算目标点像素与第一像素的加权平均值。当然，该权重还可以由技术人员通过实验进行设置。

本实施例提出的图像融合方法，通过获取所述目标点的目标点像素，计算所述目标点像素与所述第一像素的加权平均值，然后将所述加权平均值作为融合后的像素点的像素值，以得到融合后的图像；实现了通过加权平均值的算法进行图像融合，从而提高了图像融合的效果。

基于第三实施例，提出本发明图像融合方法第四实施例，本实施例中，步骤S3231之前，还包括：

步骤S3233，计算所述第一图像中各像素点的梯度值，以得到所述第一图像的第一梯度图；

步骤S3234，计算所述第二图像中各像素点的梯度值，以得到所述第二图像的第二梯度图。

在本实施例中，可以通过计算第一图像中各像素点的第一梯度值，以得到第一图像对应的第一梯度图，通过计算第二图像中各像素点的第二梯度值，以得到第二图像对应的第二梯度图。

其中，所述计算所述第一图像中各像素点的梯度值，以得到所述第一图像的第一梯度图的步骤包括：

步骤a：逐一获取第一图像中的各像素点，并将当前获取的像素点确定为目标像素点；

步骤b：确定各目标像素点在预设范围内的其他像素点，并逐一计算所述目标像素点与各所述其他像素点之间的像素差值，对各所述像素差值进行绝对值处理，生成各绝对值结果；

步骤c：对各所述绝对值结果进行加和处理，生成绝对值和，直到生成各目标像素点对应的绝对值和；

步骤d：基于各目标像素点对应的绝对值和生成第一梯度图，其中，各目标像素点的绝对值和为各目标像素点在第一梯度图中的梯度值。

在本实施例中，本实施例对各像素点的梯度值计算进行具体描述，通过计算各像素点的梯度值生成第一梯度图，具体地，首先逐一获取第一图像中的各像素点，并将当前获取到的像素点确定为目标像素点，并确定目标像素点在预设范围内的其他像素点，并逐一计算目标像素点与其他像素点之间的像素差值，并计算该像素差值的绝对值，得打绝对值结果，对得到的各绝对值结果进行加和处理，得到绝对值和，从而生成各目标像素点的绝对值和，进而得到第一梯度图，该绝对值和为各目标像素点在第一梯度图中的梯度值。下面进行举例说明：

确定当前获取的像素点为a，获取a的像素值，并确定a在预设范围内的其他像素点b、c，获取b、c的像素值，并计算a的像素值与b的像素值的像素差值，计算a 的像素值与c的像素值的像素差值，并对两个像素差值取绝对值，并将两个绝对值进行加和处理，得到绝对值和，依次类推，计算第一图像中所有像素点对应的绝对值和，从而生成第一梯度图。

第二图像中像素点的梯度的计算与第一图像中像素点的梯度的计算相同，本实施例不在赘述。

本实施例提出的图像融合方法，通过计算所述第一图像中各像素点的梯度值，以得到所述第一图像的第一梯度图，然后计算所述第二图像中各像素点的梯度值，以得到所述第二图像的第二梯度图；从而能够在图像融合过程中直接从梯度图中获取各像素点的梯度，进而提高了图像融合的速度。

进一步地，本发明实施例还提供一种图像融合装置。

参照图4，图4为本发明图像融合装置第一实施例的功能模块示意图。

本发明图像融合装置为虚拟装置，存储于图终端的存储器1005中，用于实现图像融合程序的所有功能：获取第一图像作为基准图，获取第二图像作为配准图；对所述基准图及所述配准图分别进行分块处理，以得到所述基准图的第一分块图像及所述配准图的第二分块图像；利用配准算法将第一分块图像中的各块图像与第二分块图像中对应的各块图像进行配准处理，以得到第一图像中的各块图像与第二图像中对应的各块图像进行配准处理后的配准参数，并基于所述配准参数按块逐点融合。

具体的，本实施例中，所述图像融合装置包括：

获取模块1001，用于获取第一图像作为基准图，获取第二图像作为配准图；

分块模块1002，用于对所述基准图及所述配准图分别进行分块处理，以得到所述基准图的第一分块图像及所述配准图的第二分块图像；

配准融合模块1003，用于利用配准算法将第一分块图像中的各块图像与第二分块图像中对应的各块图像进行配准处理，以得到第一图像中的各块图像与第二图像中对应的各块图像进行配准处理后的配准参数，并基于所述配准参数按块逐点融合。

进一步地，该配准融合模块1003用于：

获取第一分块图像中待融合点所在块的点坐标，基于所述偏移量及所述点坐标计算所述待融合点在第二分块图像中对应点的估算坐标；

将所述估算坐标作为坐标中心，并在以所述估算坐标为坐标中心的预设区域中匹配与所述待融合点最接近的目标点，将所述目标点与所述待融合点进行融合。

进一步地，该配准融合模块1003用于：

获取所述待融合点的第一像素及所述预设区域中待匹配的待匹配点的第二像素；

计算所述第一像素及所述第二像素的像素差的第一绝对值，并确定所述第一绝对值是否小于预设阈值；

若是，则将所述待匹配点作为候选点，并在各所述候选点中查找与所述待融合点最接近的目标点。

进一步地，该配准融合模块1003用于：

若是，则获取所述待融合点的第一梯度值及各所述待匹配点的各第二梯度值，计算所述第一梯度值与所述第二梯度值之差的第二绝对值，并将所述待匹配点作为候选点；

确定各所述第二绝对值中的最小绝对值，在所述候选点中查找所述最小绝对值对应的目标点。

进一步地，该配准融合模块1003用于：

获取所述目标点的目标点像素，计算所述目标点像素与所述第一像素的加权平均值；

将所述加权平均值作为融合后的像素点的像素值，以得到融合后的图像。

进一步地，该图像融合装置还包括：

第一梯度计算模块，用于计算所述第一图像中各像素点的梯度值，以得到所述第一图像的第一梯度图；

第二梯度计算模块计算所述第二图像中各像素点的梯度值，以得到所述第二图像的第二梯度图。

进一步地，该第一梯度计算模块用于：

逐一获取第一图像中的各像素点，并将当前获取的像素点确定为目标像素点；

确定各目标像素点在预设范围内的其他像素点，并逐一计算所述目标像素点与各所述其他像素点之间的像素差值，对各所述像素差值进行绝对值处理，生成各绝对值结果；

对各所述绝对值结果进行加和处理，生成绝对值和，直到生成各目标像素点对应的绝对值和；

基于各目标像素点对应的绝对值和生成第一梯度图，其中，各目标像素点的绝对值和为各目标像素点在第一梯度图中的梯度值。

进一步地，本发明还提供一种终端，所述终端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像融合程序，所述图像融合程序被所述处理器执行时所被执行时所实现的方法可参照本发明图像融合方法的各个实施例，此处不再赘述。

进一步地，此外，本发明实施例还提出一种计算机可读存储介质。

本发明计算机可读存储介质上存储有图像融合程序，所述图像融合程序执行时实现如上所述的身份认证方法的步骤。

其中，在所述处理器上运行的图像融合程序被执行时所实现的方法可参照本发明图像融合方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种图像融合方法，其特征在于，所述图像融合方法包括以下步骤：

获取第一图像作为基准图，获取第二图像作为配准图；

对所述基准图及所述配准图分别进行分块处理，以得到所述基准图的第一分块图像及所述配准图的第二分块图像；

利用配准算法将第一分块图像中的各块图像与第二分块图像中对应的各块图像进行配准处理，以得到第一图像中的各块图像与第二图像中对应的各块图像进行配准处理后的配准参数，并基于所述配准参数按块逐点融合；

所述配准参数包括偏移量，所述基于所述配准参数按块逐点融合的步骤包括：

获取第一分块图像中待融合点所在块的点坐标，基于所述偏移量及所述点坐标计算所述待融合点在第二分块图像中对应点的估算坐标；

将所述估算坐标作为坐标中心，并在以所述估算坐标为坐标中心的预设区域中匹配与所述待融合点最接近的目标点，将所述目标点与所述待融合点进行融合；其中，所述预设区域是矩形区域或圆形区域，以所述估算坐标为坐标中心，以预设长度作为边长在第二分块图像中生成所述矩形区域，或者，以所述估算坐标为坐标中心，与预设长度为半径在第二分块图像中生成所述圆形区域；

所述在以所述估算坐标为坐标中心的预设区域中匹配与所述待融合点最接近的目标点的步骤包括：

获取所述待融合点的第一像素及所述预设区域中待匹配的待匹配点的第二像素；

计算所述第一像素及所述第二像素的像素差的第一绝对值，并确定所述第一绝对值是否小于预设阈值；

若所述第一绝对值小于预设阈值，则将所述待匹配点作为候选点，并在各所述候选点中查找与所述待融合点最接近的目标点；

其中，

将各所述候选点对应的绝对值进行比较，获取绝对值最小的所述候选点，将绝对值最小的所述候选点作为预待融合点最接近的目标点；

或者，逐点进行比较，首先确定待匹配点中第一点的像素，然后计算所述第一点的像素与所述第一像素的像素差的绝对值，并确定所述绝对值是否小于预设阈值，若所述第一绝对值小于预设阈值，则将所述第一点作为候选点，然后计算待匹配点中第二点的像素与所述第一像素的像素差的绝对值，确定所述绝对值是否小于预设阈值，若所述绝对值小于预设阈值，则将所述第二点与第一点的绝对值进行比较，并将绝对值较小的点作为新的候选点，以此类推，逐点比较获得最终的所述目标点；

所述若所述第一绝对值小于预设阈值，则将所述待匹配点作为候选点，并在各所述候选点中查找与所述待融合点最接近的目标点的步骤包括：

若所述第一绝对值小于预设阈值，则获取所述待融合点的第一梯度值及各所述待匹配点的各第二梯度值，计算所述第一梯度值与所述第二梯度值之差的第二绝对值，并将所述待匹配点作为候选点；

确定各所述第二绝对值中的最小绝对值，在所述候选点中查找所述最小绝对值对应的目标点；

其中，

获取所述待融合点的第一梯度值及各待匹配点的第二梯度值，计算所述第一梯度值与所述第二梯度值之差的第二绝对值，并将待匹配点作为所述候选点，在所述候选点中查找所述第二绝对值最小的点作为所述目标点；

或者，进行逐点匹配，首先，确定所述待匹配点中第一点对应的第一绝对值小于预设阈值时，获取所述第一点的第二梯度值及待融合点第一梯度值，计算所述第一梯度与所述第二梯度的绝对值，得到所述第一点对应的绝对值，然后，以此类推计算待匹配点中所述第二点对应的绝对值，将所述第一点对应的绝对值与所述第二点对应的绝对值进行比较，取绝对值较小的点作为所述候选点，以此类推，更新所述候选点，查找到绝对值最小的所述目标点；

所述将所述目标点与所述待融合点进行融合的步骤包括：

获取所述目标点的目标点像素，计算所述目标点像素与所述第一像素的加权平均值；

将所述加权平均值作为融合后的像素点的像素值，以得到融合后的图像；

其中，

权重的计算方法是，计算所述目标点像素与所述第一像素的总和，并计算所述目标点的像素占总和的百分比，将所述百分比作为所述目标点像素的权重，计算所述第一像素占总和的百分比，将所述百分比作为所述第一像素的权重，从而再计算所述目标点像素与所述第一像素的加权平均值；

所述若所述第一绝对值小于预设阈值，则获取所述待融合点的第一梯度值及各所述待匹配点的各第二梯度值，计算所述第一梯度值与所述第二梯度值之差的第二绝对值，并将所述待匹配点作为候选点的步骤之前，所述图像融合方法还包括：

计算所述第一图像中各像素点的梯度值，以得到所述第一图像的第一梯度图；

计算所述第二图像中各像素点的梯度值，以得到所述第二图像的第二梯度图；

所述计算所述第一图像中各像素点的梯度值，以得到所述第一图像的第一梯度图的步骤包括：

逐一获取第一图像中的各像素点，并将当前获取的像素点确定为目标像素点；

确定各目标像素点在预设范围内的其他像素点，并逐一计算所述目标像素点与各所述其他像素点之间的像素差值，对各所述像素差值进行绝对值处理，生成各绝对值结果；

对各所述绝对值结果进行加和处理，生成绝对值和，直到生成各目标像素点对应的绝对值和；

基于各目标像素点对应的绝对值和生成第一梯度图，其中，各目标像素点的绝对值和为各目标像素点在第一梯度图中的梯度值。

2.一种图像融合装置，其特征在于，所述图像融合装置包括：

获取模块，用于获取第一图像作为基准图，获取第二图像作为配准图；

分块模块，用于对所述基准图及所述配准图分别进行分块处理，以得到所述基准图的第一分块图像及所述配准图的第二分块图像；

配准融合模块，用于利用配准算法将第一分块图像中的各块图像与第二分块图像中对应的各块图像进行配准处理，以得到第一图像中的各块图像与第二图像中对应的各块图像进行配准处理后的配准参数，并基于所述配准参数按块逐点融合；

其中，

所述获取模块，还用于：获取第一分块图像中待融合点所在块的点坐标，基于偏移量及所述点坐标计算所述待融合点在第二分块图像中对应点的估算坐标；将所述估算坐标作为坐标中心，并在以所述估算坐标为坐标中心的预设区域中匹配与所述待融合点最接近的目标点，将所述目标点与所述待融合点进行融合；其中，所述预设区域是矩形区域或圆形区域，以所述估算坐标为坐标中心，以预设长度作为边长在第二分块图像中生成所述矩形区域，或者，以所述估算坐标为坐标中心，与预设长度为半径在第二分块图像中生成所述圆形区域；

所述配准融合模块，还用于：

获取所述待融合点的第一像素及所述预设区域中待匹配的待匹配点的第二像素；计算所述第一像素及所述第二像素的像素差的第一绝对值，并确定所述第一绝对值是否小于预设阈值；若所述第一绝对值小于预设阈值，则将所述待匹配点作为候选点，并在各所述候选点中查找与所述待融合点最接近的目标点；

其中，

将各所述候选点对应的绝对值进行比较，获取绝对值最小的所述候选点，将绝对值最小的所述候选点作为预待融合点最接近的目标点；

或者，逐点进行比较，首先确定待匹配点中第一点的像素，然后计算所述第一点的像素与所述第一像素的像素差的绝对值，并确定所述绝对值是否小于预设阈值，若所述第一绝对值小于预设阈值，则将所述第一点作为候选点，然后计算待匹配点中第二点的像素与所述第一像素的像素差的绝对值，确定所述绝对值是否小于预设阈值，若所述绝对值小于预设阈值，则将所述第二点与第一点的绝对值进行比较，并将绝对值较小的点作为新的候选点，以此类推，逐点比较获得最终的所述目标点；

获取所述待融合点的第一梯度值及各所述待匹配点的各第二梯度值，计算所述第一梯度值与所述第二梯度值之差的第二绝对值，并将所述待匹配点作为候选点；

确定各所述第二绝对值中的最小绝对值，在所述候选点中查找所述最小绝对值对应的目标点；

其中，

获取所述待融合点的第一梯度值及各待匹配点的第二梯度值，计算所述第一梯度值与所述第二梯度值之差的第二绝对值，并将待匹配点作为所述候选点，在所述候选点中查找所述第二绝对值最小的点作为所述目标点；

或者，进行逐点匹配，首先，确定所述待匹配点中第一点对应的第一绝对值小于预设阈值时，获取所述第一点的第二梯度值及待融合点第一梯度值，计算所述第一梯度与所述第二梯度的绝对值，得到所述第一点对应的绝对值，然后，以此类推计算待匹配点中所述第二点对应的绝对值，将所述第一点对应的绝对值与所述第二点对应的绝对值进行比较，取绝对值较小的点作为所述候选点，以此类推，更新所述候选点，查找到绝对值最小的所述目标点；

所述配准融合模块，还用于：

获取所述目标点的目标点像素，计算所述目标点像素与所述第一像素的加权平均值；

将所述加权平均值作为融合后的像素点的像素值，以得到融合后的图像；

其中，

权重的计算方法是，计算所述目标点像素与所述第一像素的总和，并计算所述目标点的像素占总和的百分比，将所述百分比作为所述目标点像素的权重，计算所述第一像素占总和的百分比，将所述百分比作为所述第一像素的权重，从而再计算所述目标点像素与所述第一像素的加权平均值；

所述配准融合模块，还用于：

计算所述第一图像中各像素点的梯度值，以得到所述第一图像的第一梯度图；

计算所述第二图像中各像素点的梯度值，以得到所述第二图像的第二梯度图；

所述配准融合模块，还用于：

逐一获取第一图像中的各像素点，并将当前获取的像素点确定为目标像素点；

确定各目标像素点在预设范围内的其他像素点，并逐一计算所述目标像素点与各所述其他像素点之间的像素差值，对各所述像素差值进行绝对值处理，生成各绝对值结果；

对各所述绝对值结果进行加和处理，生成绝对值和，直到生成各目标像素点对应的绝对值和；

基于各目标像素点对应的绝对值和生成第一梯度图，其中，各目标像素点的绝对值和为各目标像素点在第一梯度图中的梯度值。

3.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像融合程序，所述图像融合程序被所述处理器执行时实现如权利要求1所述的方法的步骤。

4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像融合程序，所述图像融合程序被处理器执行时实现如权利要求1所述的图像融合方法步骤。