CN105894009A - 图像融合方法和图像融合设备 - Google Patents

Abstract

公开了一种图像融合方法和图像融合设备。提供了一种用于对对象的热图像和可见图像进行融合的图像融合设备。所述图像融合设备包括：确定处理器，被配置为基于热图像和可见图像的每个像素的亮度值，确定每个像素的重要度；像素系数设置处理器，被配置为基于热图像和可见图像的每个像素的重要度来设置针对热图像的每个像素的像素系数；热图像处理器，被配置为通过将像素系数施加到热图像的每个像素的亮度值来生成另一个热图像；图像融合处理器，被配置为对所述另一个热图像和可见图像进行融合来生成融合图像。

Description

图像融合方法和图像融合设备

本申请要求于2014年5月8日提交到韩国知识产权局的第10-2014-0054928号韩国专利申请的优先权，其公开通过引用完整地包含于此。

技术领域

与示例性实施例一致的设备和方法涉及图像融合，更具体地讲，涉及融合对象的热图像和对象的可见图像。

背景技术

在包括可见图像相机、控制设备和显示器设备的监视***中，观察显示器设备中的移动图像的监视器在夜间照明范围内具有相对较低的信息识别能力和情况管理能力。

因此，最近添加了捕获对象的热图像的热图像相机以显示通过对热图像和可见图像进行融合而产生的融合图像。

然而，在这种融合图像中，图像的清晰度在相对较亮的重要区域中基本上降低。

因此，现有技术中使用了以下的图像融合方法。

首先，在热图像中，具有大于可见图像的亮度值的平均值的亮度值的像素被选择，使这些被选择的像素的亮度值增大并且使其他像素的亮度值减小，从而获得另一个热图像。

其次，将如上获得的可见图像和另一个热图像融合在一起。

根据以上图像融合方法，可部分地改善在相对较亮的区域中的图像的清晰度。然而，由于热图像的高亮度而导致在相对较亮的区域的某些部分中图像的清晰度降低。

发明内容

本发明构思的示例性实施例包括可提高在相对较亮的区域中的图像的整体清晰度的对热图像和可见图像进行融合的方法。

本发明构思的各个方面将在下面的描述中部分地阐明，并且通过描述部分将是显然的，或者可通过呈现的示例性实施例的实施而得知。

根据示例性实施例，提供了一种用于对对象的热图像和可见图像进行融合的图像融合方法，所述图像融合方法可包括：基于热图像和可见图像的每个像素的亮度值，确定每个像素的重要度；基于热图像和可见图像的每个像素的重要度来设置针对热图像的每个像素的像素系数；通过将像素系数施加到热图像的每个像素的亮度值来生成另一个热图像；对所述另一个热图像和可见图像进行融合来生成融合图像。

确定每个像素的重要度的步骤可包括：确定亮度值等于或者大于基于热图像的亮度值的平均值计算的第一参考值的热图像的像素，作为热图像的重要像素；确定亮度值等于或者大于基于可见图像的亮度值的平均值计算的第二参考值的可见图像的像素，作为可见图像的第一重要像素；确定亮度值等于或者大于预设的第三参考值的可见图像的像素，作为可见图像的第二重要像素。

第一参考值可通过将热图像的亮度值的平均值和标准偏差相加来获得。

第二参考值可通过从可见图像的亮度值的平均值减去标准偏差来获得。

第三参考值可在执行融合的图像融合处理器中被预设。

设置针对热图像的每个像素的像素系数的步骤可包括：作为确定的结果，如果热图像的某个像素被确定为热图像的重要像素，并且可见图像的对应像素被确定为不是可见图像的第一重要像素而是可见图像的第二重要像素，则将针对热图像的该像素的像素系数设置为值1。

设置针对热图像的每个像素的像素系数的步骤还可包括：作为确定的结果，如果可见图像的某个像素被确定为不是可见图像的第二重要像素而是可见图像的第一重要像素，则将针对热图像的对应像素的像素系数设置为在0和1之间选择的值。

在设置针对热图像的每个像素的像素系数的步骤中，作为确定的结果，在热图像的某个像素被确定为不是热图像的重要像素时设置的针对热图像的该像素的像素系数小于在热图像的该像素被确定为热图像的重要像素且可见图像的对应像素被确定为不是可见图像的第二重要像素而是可见图像的第一重要像素时设置的针对热图像的该像素的像素系数。

对所述另一个热图像和可见图像进行融合的步骤可通过将施加权重的可见图像与施加像素系数和另一个权重的所述另一个热图像相加来执行。

图像融合方法还可包括：在确定热图像的每个像素的重要度之前调整对象的原始热图像的每个像素的亮度值来生成所述热图像。调整的步骤可通过如下步骤来执行：如果原始热图像的某个像素的亮度值大于可见图像的亮度值的平均值，则增大该像素的亮度值，如果该像素的亮度值不大于可见图像的亮度值的平均值，则减小该像素的亮度值。

根据另一个示例性实施例，提供了一种用于对对象的热图像和可见图像进行融合的图像融合设备，所述图像融合设备可包括：确定处理器，被配置为基于热图像和可见图像的每个像素的亮度值，确定每个像素的重要度；像素系数设置处理器，被配置为基于热图像和可见图像的每个像素的重要度来设置针对热图像的每个像素的像素系数；热图像处理器，被配置为通过将像素系数施加到热图像的每个像素的亮度值来生成另一个热图像；图像融合处理器，被配置为对所述另一个热图像和可见图像进行融合来生成融合图像。

确定处理器可包括：第一确定处理器，被配置为确定亮度值等于或者大于基于热图像的亮度值的平均值计算的第一参考值的热图像的像素，作为热图像的重要像素；第二确定处理器，被配置为确定亮度值等于或者大于基于可见图像的亮度值的平均值计算的第二参考值的可见图像的像素，作为可见图像的第一重要像素，并且确定亮度值等于或者大于预设的第三参考值的可见图像的像素，作为可见图像的第二重要像素。

第一参考值可通过将热图像的亮度值的平均值和标准偏差相加来获得。

第二参考值可通过从可见图像的亮度值的平均值减去标准偏差来获得。

第三参考值可在图像融合处理器中被预设。

作为通过第一确定处理器和第二确定处理器确定的结果，如果热图像的某个像素被确定为热图像的重要像素，并且可见图像的对应像素被确定为不是可见图像的第一重要像素而是可见图像的第二重要像素，则像素系数设置处理器可将针对热图像的该像素的像素系数设置为值1。

作为通过第一确定处理器和第二确定处理器确定的结果，如果可见图像的某个像素被确定为不是可见图像的第二重要像素而是可见图像的第一重要像素，则像素系数设置处理器可将针对热图像的对应像素的像素系数设置为在0和1之间选择的值。

作为通过第一确定处理器和第二确定处理器确定的结果，像素系数设置处理器可设置针对热图像的每个像素的像素系数，以使在热图像的某个像素被确定为不是热图像的重要像素时设置的针对热图像的该像素的像素系数小于在热图像的该像素被确定为热图像的重要像素且可见图像的对应像素被确定为不是可见图像的第二重要像素而是可见图像的第一重要像素时设置的针对热图像的该像素的像素系数。

图像融合处理器可被配置为通过将施加权重的可见图像与施加像素系数和另一个权重的所述另一个热图像相加来对所述另一个热图像和可见图像进行融合。

图像融合处理器还可被配置为在确定处理器确定热图像的每个像素的重要度之前调整对象的原始热图像的每个像素的亮度值来生成所述热图像。热图像处理器可调整原始热图像的每个像素的亮度值，从而如果原始热图像的某个像素的亮度值大于可见图像的亮度值的平均值，则增大该像素的亮度值，如果该像素的亮度值不大于可见图像的亮度值的平均值，则减小该像素的亮度值。

附图说明

通过下面结合附图对示例性实施例进行的描述，这些和/或其他方面将会变得清楚和更易于理解，其中：

图1是示出根据示例性实施例的用于执行图像融合方法的控制器的示图；

图2是通过图1的控制器执行的第一示例性实施例的图像融合方法的流程图；

图3是通过图1的控制器执行的第二示例性实施例的图像融合方法的流程图；

图4是示出根据示例性实施例的通过图3的图像融合方法生成的数据流的示图；

图5是根据示例性实施例的图3的操作S307的详细流程图；

图6是根据示例性实施例的图3的操作S303的详细流程图；

图7是根据示例性实施例的图3的操作S305的详细流程图；

图8是根据示例性实施例的图5的操作d1的详细流程图；

图9是示出用来描述示例性实施例的效果的图片的示图；

图10是根据示例性实施例的图像融合方法的流程图；

图11是根据示例性实施例的图像融合设备的框图。

具体实施方式

现在将详细参照示例性实施例，在附图中示出示例性实施例，其中，相同的参考标号始终表示相同的元件。就这点而言，示例性实施例可具有不同的形式，并且不应被解释为局限于这里阐明的描述。因此，下面通过参照附图仅对示例性实施例进行描述以解释本发明构思的多个方面。

以下描述和附图用于理解根据示例性实施例的操作，为了简明，可省略对本领域的普通技术人员可容易实现的公知的特征的描述。

此外，说明书和附图不是为了限制本发明构思的范围，本发明构思的范围由权利要求来限定。为了更好地理解本发明构思，这里所使用的术语被解释为具有与现有技术一致的含义和概念。

以下，将参照附图对示例性实施例进行详细描述。

图1是示出根据示例性实施例的用于执行图像融合方法的控制器103的示图。

参照图1，热图像相机102输出对象的热图像Ithe。可见图像相机101输出对象的可见图像Ivis。

控制器103对来自可见图像相机101的可见图像和来自热图像相机102的热图像进行融合。

控制器103将通过对可见图像Ivis和热图像Ithe进行融合而产生的融合图像Imix提供给显示设备104。控制器103可在记录器中存储可见图像Ivis、热图像Ithe和/或融合图像Imix。

在下文中，将对通过根据示例性实施例的控制器103执行的图像融合方法进行描述。

图2是通过图1的控制器103执行的第一示例性实施例的图像融合方法的流程图。以下将参照图1和图2对第一示例性实施例的图像融合方法进行描述。

控制器103基于每个像素的亮度值来确定热图像Ithe的每个像素是否为重要像素以获得第一确定结果(操作S201)。这里，重要像素是亮度值等于或者大于第一参考值的像素，第一参考值是热图像Ithe的亮度值的平均值或者基于该平均值计算。

此后，控制器103基于每个像素的亮度值来确定可见图像Ivis的每个像素是否为重要像素以获得第二确定结果(操作S203)。这里，重要像素是亮度值等于或者大于第二参考值的像素，第二参考值是可见图像Ivis的亮度值的平均值或者基于该平均值计算。

此后，控制器103基于第一确定结果和第二确定结果，通过调整热图像Ithe的每个像素的亮度来获得经调整的热图像(操作S205)。

然后，控制器103对可见图像Ivis和经调整的热图像进行融合(操作S207)。

根据第一示例性实施例的图像融合方法，考虑到根据亮度的热图像Ithe的每个像素的重要度和可见图像Ivis的每个像素的重要度来调整热图像Ithe的每个像素的亮度。然后，可对可见图像Ivis和经调整的热图像进行融合来生成最终的图像。

因此，由于热图像Ithe的高亮度而导致的在一部分相对较亮的区域中图像的清晰度降低的问题(即，根据现有技术的图像融合方法的问题)可被解决。即，通过考虑根据亮度的热图像Ithe的每个像素的重要度和可见图像Ivis的每个像素的重要度来确定针对特定区域的像素的系数而增大者减小针对包括在相对较亮的区域中的像素的热图像Ithe的系数，可提高融合图像的整体清晰度。

图2的第一示例性实施例可通过将参照图3至图9描述的第二示例性实施例来充分理解。这是因为图2的操作S201对应于图3的操作S303，图2的操作S203对应于图3的操作S305，图2的操作S205对应于图3的操作S307，图2的操作S207对应于图3的操作S309。

图3是通过图1的控制器103执行的第二示例性实施例的图像融合方法的流程图。图4是示出通过图3的图像融合方法生成的数据流的示图。在图4中，参考标号403表示统计数据。

以下将参照图1、图3和图4对第二示例性实施例的图像融合方法进行描述。

控制器103在第一热图像(与图1的Ithe对应)中选择亮度值高于可见图像(与图1的Ivis对应)的亮度值的平均值M_CCD的像素，增大选择的像素的亮度且减小第一热图像的其他像素的亮度，从而获得第二热图像(操作S301)。这里，亮度增大的量和亮度减小的量可被预定或者由控制器103控制。

即，可见图像的数据401被用于获得可见图像的亮度值的平均值M_CCD，并且根据可见图像的亮度值的平均值M_CCD，第一热图像的数据402被转换为第二热图像的数据404，如以下等式1中所示。

在以上等式中，x_IR表示第一热图像中的像素的亮度值，M_CCD表示可见图像的亮度值的平均值，x_IRt表示第二热图像中的像素的亮度值。

此后，控制器103基于第二热图像的每个像素的亮度值来确定第二热图像的每个像素是否为重要像素，从而获得第一确定结果(操作S303)。详细地讲，第一热图像的数据402被用于获得第一热图像的亮度值的平均值M_IR和标准偏差S_IR，并且根据第一热图像Ithe的亮度值的平均值M_IR和标准偏差S_IR来获得针对第二热图像的数据404的每个像素的第一确定结果的变量R_IR407。稍后将参照图6对操作S303进行更详细的描述。

此后，控制器103基于可见图像的每个像素的亮度值来确定可见图像的每个像素是否为重要像素，从而获得第二确定结果(操作S305)。详细地讲，根据可见图像的亮度值的平均值M_CCD和标准偏差S_CCD来获得针对可见图像的数据401的每个像素的第二确定结果的变量R_CCD406和T_CCD405。稍后将参照图7对操作S305进行更详细的描述。

此后，控制器103基于第一确定结果和第二确定结果，通过调整第二热图像的每个像素的亮度值获得第三热图像(操作S307)。即，根据第一确定结果的变量R_IR和第二确定结果的变量R_CCD406和T_CCD405来获得针对第二热图像的数据404的每个像素的像素系数g_IR408，并且根据像素系数g_IR将第二热图像的数据404转换为第三图像的数据409。稍后将参照图5和图8对操作S307进行更详细的描述。

此后，控制器103对可见图像和第三热图像进行融合(操作S309)。即，对可见图像的数据401和第三热图像的数据409进行融合来生成最终的融合图像的数据410。

根据第二示例性实施例的图像融合方法，考虑到根据亮度的热图像的每个像素的重要度和可见图像的每个像素的重要度来调整第二热图像的数据404。然后，将可见图像的数据401和第三热图像的数据409融合在一起。

因此，由于第二热图像的高亮度而导致的在一部分相对较亮的区域中图像的清晰度降低的问题(即，根据现有技术的图像融合方法的问题)可被解决。即，通过考虑根据亮度的热图像的每个像素的重要度和可见图像的每个像素的重要度来确定针对特定区域的像素的系数而增大者减小针对包括在相对较亮的区域中的像素的热图像的系数，可提高融合图像的整体清晰度。在下文中，将对第二示例性实施例的配置和效果进行更详细的描述。

图5是图3的操作S307的详细流程图。以下将参照图1、图4和图5对图3的操作S307进行更详细的描述。

控制器103根据第一确定结果和第二确定结果(R_IR、R_CCD和T_CCD的值)获得与第二热图像的每个像素对应的像素系数g_IR(操作d1)。稍后将参照图8对操作d1进行更详细的描述。

此后，控制器103将第二热图像的每个像素的亮度值和与每个像素对应的像素系数g_IR相乘，并将相乘的结果设置为第三热图像的每个像素的亮度值(操作d2)。即，当第二热图像中的像素的亮度值为x_IRt且与该像素对应的像素系数为g_IR时，第三热图像中的对应像素的亮度值为g_IR×x_IRt。

在这个情况下，在图3的操作S309中，当在可见图像中的像素的亮度值为x_CCD时，通过以下等式2来获得对应像素的融合结果的亮度值x_F。

x_F＝x_CCD×w_CCD+x_IRt×g_IR×w_IR...(2)

在以上等式中，w_CCD表示可见图像的像素的权重，w_IR表示热图像的对应像素的权重，x_F表示最终融合图像的对应像素的亮度值，x_CCD表示可见图像的对应像素的亮度值，x_IRt表示热图像的对应像素的亮度值。这里，可通过等式3来确定w_CCD和w_IR。

$w_{\mathrm{CCD}}=\frac{x_{\mathrm{CCD}}}{x_{\mathrm{CCD}}+x_{\mathrm{IRt}}},w_{\mathrm{IR}}=\frac{x_{\mathrm{IRt}}}{x_{\mathrm{CCD}}+x_{\mathrm{IRt}}}...\left(3\right)$

在以上等式中，w_CCD表示可见图像数据，w_IR表示热图像数据。

图6是图3的操作S303的详细流程图。以下将参照图1、图4和图6对图3的操作S303进行详细的描述。

控制器103通过将第一热图像的亮度值的平均值M_IR和标准偏差S_IR相加来设置第一参考值M_IR+S_IR(操作b1)。

此后，控制器103将二进制数“1”赋予第二热图像中亮度值大于第一参考值M_IR+S_IR的像素作为第一确定结果的变量R_IR，并且将二进制数“0”赋予第二热图像中的其他像素作为第一确定结果的变量R_IR(操作b2)。

图7是图3的操作S305的详细流程图。以下将参照图1、图4和图7对图3的操作S305进行详细的描述。

控制器103通过从可见图像的亮度值的平均值M_CCD减去标准偏差S_CCD来设置第二参考值M_CCD-S_CCD(操作c1)。

此后，控制器103将第三参考值P_THR(未示出)设置为可见图像的阈值亮度值(操作c2)。这里，阈值亮度值为用于确定光饱和的参考值。具有等于或者大于阈值亮度值的亮度值的像素可被认为是饱和区域，并且在可见图像中包括具有等于或者大于阈值亮度值的亮度值的像素的区域的清晰度降低。此后，控制器103将二进制数“1”赋予可见图像中亮度值大于第二参考值M_CCD-S_CCD的像素作为第二确定结果的第一变量R_CCD，并且将二进制数“0”赋予可见图像中的其他像素作为第二确定结果的第一变量R_CCD(操作c3)。

此后，控制器103将二进制数“1”赋予可见图像中亮度值大于第三参考值P_THR的像素作为第二确定结果的第二变量T_CCD，并且将二进制数“0”赋予可见图像中的其他像素作为第二确定结果的第二变量T_CCD(操作c4)。

图8是图5的操作d1的详细流程图。以下将参照图1、图4和图8对图5的操作d1进行详细的描述。

控制器103将值“1”赋予如下像素作为像素系数g_IR：被赋予二进制数“1”作为第一确定结果的变量R_IR、被赋予二进制数“0”作为第二确定结果的第一变量R_CCD且被赋予二进制数“1”作为第二确定结果的第二变量T_CCD的像素(操作S801和操作S803)。

在操作803中被赋予值“1”的像素为可见图像中由于光饱和所导致的高亮度而具有低分辨率的区域以及热图像中的具有高分辨率的区域，并且为了维持热图像的亮度而将该像素的像素系数g_IR设置为“1”。

此后，控制器103将“0.31”到“0.99”范围内选择的值赋予如下像素作为像素系数g_IR：被赋予二进制数“1”作为第一确定结果的变量R_IR、被赋予二进制数“1”作为第二确定结果的第一变量R_CCD且被赋予二进制数“0”作为第二确定结果的第二变量T_CCD的像素(操作S801和操作S805)。这里，由于这些像素被包括在光未饱和的区域，因此这些像素与可见图像中具有高分辨率的区域对应。例如，值“0.7”被赋予这些像素作为像素系数g_IR。因此，热图像的亮度会减小，并且由此可见图像数据的亮度会增大。即，对于热图像和可见图像两者中可被清楚地识别的区域而言，由于可见图像数据与热图像数据相比可被更清楚地识别，因此可通过将像素系数g_IR设置为小于1来减小热图像数据的亮度。

由于被赋予“0.31”到“0.99”范围内的值(例如，“0.7”)的像素会是热图像和可见图像两者中可被清楚地识别的区域的可能性大，因此第二热图像的像素的亮度可略有下降。

此后，由于被赋予二进制数“0”作为第一确定结果的变量R_IR的像素包括在热图像中被识别为暗的区域中，因此控制器103将“0”到“0.30”范围内的值赋予这些像素作为像素系数g_IR以进一步减小热图像数据的亮度(操作S801和操作S807)。值“0.30”被赋予这些像素作为像素系数g_IR。

由于被赋予“0”到“0.30”范围内的值(例如，“0.30”)的像素在热图像中不重要，因此为了进一步减小第二热图像的这些像素的亮度值而赋予更小的像素系数。

这里，亮度减小的量和亮度进一步减小的量可预先确定或由控制器103控制。

图9是示出用来描述示例性实施例的效果的图片的示图。

在图9中，参考标号“901”表示第一热图像(图1中的Ithe)，参考标号“902”表示可见图像(图1中的Ivis)，参考标号“903”表示第二热图像。

此外，参考标号“904”表示通过可见图像902和第二热图像903的融合而产生的融合图像，参考标号“904a”表示其中的重要区域。参考标号“905”表示第三热图像。

此外，参考标号“906”表示通过可见图像902和第三热图像905的融合而产生的融合图像，参考标号“906a”表示其中的重要区域。

参照图9，可以看出，包含通过可见图像902和第三热图像905的融合而产生的重要像素的区域906a的清晰度高于通过可见图像902和第二热图像903的融合而产生的重要像素的区域904a的清晰度。

图10是根据示例性实施例的图像融合方法的流程图。

参照图10，示例性实施例的图像融合方法是用于融合对象的热图像和对象的可见图像的方法，该方法包括检测热图像的重要像素的操作S1002、检测可见图像的第一重要像素和第二重要像素的操作S1003和计算像素系数的操作S1004。

在操作S1002中，图像融合设备可检测具有等于或者大于基于热图像的亮度值的平均值计算的第一参考值的亮度值的热图像的重要像素。操作S1002可与图3的操作S303对应，并且具有值“1”作为变量的像素可以是热图像的重要像素。这里，第一参考值可与热图像的亮度值的平均值对应并且可等于热图像的亮度值的平均值和标准偏差的总和。通过操作S1002，检测出包括在热图像中且具有相当高的亮度的重要像素。

在操作S1003中，图像融合设备可检测亮度值等于或者大于基于可见图像的亮度值的平均值计算的第二参考值的可见图像的第一重要像素，并检测亮度值等于或者大于第三参考值的可见图像的第二重要像素。操作S1003可与图3的操作S305对应，第一重要像素可以是具有值1作为第一变量的像素，第二重要像素可以是具有值1作为第二变量的像素。这里，第二参考值可通过从可见图像的亮度值的平均值减去标准偏差来获得，第三参考值可以是可见图像的阈值亮度值。通过操作S1003，检测出包括在可见图像中且具有非暗(non-dark)亮度的第一重要像素，可检测出包括在可见图像中且具有饱和亮度的第二重要像素。

在操作S1004中，用于调整用于对热图像和可见图像进行融合的热图像的权重的针对热图像的每个像素的像素系数基于每个像素的重要度被设置。由于已参照图5描述过调整权重的操作，因此为了简明而将省略其中的多余的描述。

根据示例性实施例的图像融合方法还可包括调整热图像的亮度值以处理热图像的操作S1001。由于操作S1001与操作S301相同，因此将省略其中的多余的描述。

图11是根据示例性实施例的图像融合设备的框图。

参照图11，根据示例性实施例的图像融合设备可与图1示出的控制器对应，并且包括第一确定处理器1101、第二确定处理器1102、系数设置处理器1103、热图像处理器1104和图像融合处理器1105。

第一确定处理器1101确定具有等于或者大于基于热图像的亮度值的平均值计算的第一参考值的亮度值的热图像的像素作为热图像的重要像素。由于第一确定处理器1101的操作与操作S303相同，因此将省略其中的多余的描述。

第二确定处理器1102确定亮度值等于或者大于基于可见图像的亮度值的平均值计算的第二参考值的可见图像的像素作为可见图像的第一重要像素，并且检测具有等于或者大于预设的第三参考值的亮度值的可见图像的像素作为可见图像的第二重要像素。由于第二确定处理器1102的操作与操作S305相同，因此将省略其中的多余的描述。根据示例性实施例，第一确定处理器和第二确定处理器可作为单个确定处理器来实施。

系数设置处理器1103基于每个像素的重要度，通过设置针对热图像的每个像素的像素系数来调整用于对热图像和可见图像进行融合的热图像的权重。由于系数设置处理器1103的操作与操作S307相同，因此将省略其中的多余的描述。

由于用于预处理热图像的热图像处理器1104的操作与操作S301和操作S307相同，因此将省略其中的多余的描述。

图像融合处理器105通过施加像素系数的热图像和可见图像的加权的总和来对热图像和可见图像进行融合。由于图像融合处理器1105的操作与操作S309相同，因此将省略其中的多余的描述。

如上所述，根据以上的示例性实施例，在图像融合方法中，考虑到根据亮度的热图像的每个像素的重要度和可见图像的每个像素的重要度来调整热图像的每个像素的亮度。然后，将可见图像和第二热图像融合在一起。

因此，根据现有技术的图像融合方法的问题可被解决。即，由于热图像的高亮度而导致的在一部分相对较亮的重要区域中清晰度降低的问题可被解决。

因此，通过根据以上示例性实施例的图像融合方法，可提高在相对较亮的重要区域中的图像的整体清晰度。即，通过考虑热图像的每个像素的重要度和可见图像的每个像素重要度来确定针对特定区域的像素的像素系数而增大者减小针对包括在相对较亮的重要区域中的像素的热图像的系数，可提高融合图像的整体清晰度。

可提供一种存储用于执行如上所述的图像融合方法的操作的程序的非暂时性计算机可读介质。非暂时性计算机可读介质是指半永久地存储数据并可由装置读取的介质，而不是诸如寄存器、高速缓冲存储器、内存等的短期存储数据的介质。详细地讲，可将如上所述的应用或程序存储和设置在非暂时性计算机可读介质(诸如，致密盘(CD)、数字通用盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡和只读存储器(ROM)等)中。

根据示例性实施例，由如图11所示的块表示的组件、元件或者单元中的至少一个可被实现为执行如上所述的各自的功能的各种数量的硬件、软件和/或固件结构。例如，这些组件、元件或者单元中的至少一个可使用可通过一个或者更多个微处理器或其他控制设备的控制来执行各自的功能的直接的电路结构(诸如，存储器、处理装置、逻辑、查找表等)。此外，这些组件、元件或者单元中的至少一个可通过模块、程序或者代码的一部分来专门体现，所述模块、程序或者代码的一部分包含用于执行指定的逻辑功能的一个或更多个可执行的指令。此外，这些组件、元件或者单元中的至少一个还可包括处理器，诸如执行各自的功能的中央处理器(CPU)、微处理器等。此外，虽然在以上框图中没有示出总线，但可通过总线来执行组件、元件或者单元之间的通信。可以以在一个或者更多个处理器上执行的算法来实现以上示例性实施例的功能方面。此外，由块或者处理步骤表示的组件、元件或者单元可采用用于电子配置、信号处理和/或控制、数据处理等的任意数量的现有技术。

本发明构思不仅可用于对热图像和可见图像进行融合，而且还可用于对其他的图像进行融合。

应理解的是，这里所描述的示例性实施例应该被认为仅是描述性的意义而不是为了限制的目的。每个实施例的特征或方面的描述通常应被认为可用于其他示例性实施例中的其他类似的特征或者方面。

虽然已经参照附图描述了示例性实施例，但是本领域普通技术人员将理解的是，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可对其做出形式和细节上的各种改变。

Claims (20)

1.一种用于对对象的热图像和可见图像进行融合的图像融合方法，所述图像融合方法包括：

基于热图像和可见图像的每个像素的亮度值，确定每个像素的重要度；

基于热图像和可见图像的每个像素的重要度来设置针对热图像的每个像素的像素系数；

通过将像素系数施加到热图像的每个像素的亮度值来生成另一个热图像；

对所述另一个热图像和可见图像进行融合来生成融合图像。

2.如权利要求1所述的图像融合方法，其中，确定每个像素的重要度的步骤包括：

确定亮度值等于或者大于基于热图像的亮度值的平均值计算的第一参考值的热图像的像素，作为热图像的重要像素；

确定亮度值等于或者大于基于可见图像的亮度值的平均值计算的第二参考值的可见图像的像素，作为可见图像的第一重要像素；

确定亮度值等于或者大于预设的第三参考值的可见图像的像素，作为可见图像的第二重要像素。

3.如权利要求2所述的图像融合方法，其中，第一参考值通过将热图像的亮度值的平均值和标准偏差相加来获得。

4.如权利要求2所述的图像融合方法，其中，第二参考值通过从可见图像的亮度值的平均值减去标准偏差来获得。

5.如权利要求2所述的图像融合方法，其中，第三参考值在执行融合的图像融合处理器中被预设。

6.如权利要求2所述的图像融合方法，其中，设置针对热图像的每个像素的像素系数的步骤包括：作为确定的结果，如果热图像的某个像素被确定为热图像的重要像素，并且可见图像的对应像素被确定为不是可见图像的第一重要像素而是可见图像的第二重要像素，则将针对热图像的该像素的像素系数设置为值1。

7.如权利要求2所述的图像融合方法，其中，设置针对热图像的每个像素的像素系数的步骤包括：作为确定的结果，如果可见图像的某个像素被确定为不是可见图像的第二重要像素而是可见图像的第一重要像素，则将针对热图像的对应像素的像素系数设置为在0和1之间选择的值。

8.如权利要求7所述的图像融合方法，其中，在设置针对热图像的每个像素的像素系数的步骤中，作为确定的结果，在热图像的某个像素被确定为不是热图像的重要像素时设置的针对热图像的该像素的像素系数小于在热图像的该像素被确定为热图像的重要像素且可见图像的对应像素被确定为不是可见图像的第二重要像素而是可见图像的第一重要像素时设置的针对热图像的该像素的像素系数。

9.如权利要求1所述的图像融合方法，其中，对所述另一个热图像和可见图像进行融合的步骤通过将施加权重的可见图像与施加像素系数和另一个权重的所述另一个热图像相加来执行。

10.如权利要求2所述的图像融合方法，还包括：在确定热图像的每个像素的重要度之前调整对象的原始热图像的每个像素的亮度值来生成所述热图像，

其中，调整的步骤包括：

如果原始热图像的某个像素的亮度值大于可见图像的亮度值的平均值，则增大该像素的亮度值；

如果该像素的亮度值不大于可见图像的亮度值的平均值，则减小该像素的亮度值。

11.一种用于对对象的热图像和可见图像进行融合的图像融合设备，所述图像融合设备包括：

确定处理器，被配置为基于热图像和可见图像的每个像素的亮度值，确定每个像素的重要度；

像素系数设置处理器，被配置为基于热图像和可见图像的每个像素的重要度来设置针对热图像的每个像素的像素系数；

热图像处理器，被配置为通过将像素系数施加到热图像的每个像素的亮度值来生成另一个热图像；

图像融合处理器，被配置为对所述另一个热图像和可见图像进行融合来生成融合图像。

12.如权利要求11所述的图像融合设备，其中，确定处理器包括：

第一确定处理器，被配置为确定亮度值等于或者大于基于热图像的亮度值的平均值计算的第一参考值的热图像的像素，作为热图像的重要像素；

第二确定处理器，被配置为确定亮度值等于或者大于基于可见图像的亮度值的平均值计算的第二参考值的可见图像的像素，作为可见图像的第一重要像素，并且确定亮度值等于或者大于预设的第三参考值的可见图像的像素，作为可见图像的第二重要像素。

13.如权利要求12所述的图像融合设备，其中，第一参考值通过将热图像的亮度值的平均值和标准偏差相加来获得。

14.如权利要求12所述的图像融合设备，其中，第二参考值通过从可见图像的亮度值的平均值减去标准偏差来获得。

15.如权利要求12所述的图像融合设备，其中，第三参考值在图像融合处理器中被预设。

16.如权利要求12所述的图像融合设备，其中，作为通过第一确定处理器和第二确定处理器确定的结果，如果热图像的某个像素被确定为热图像的重要像素，并且可见图像的对应像素被确定为不是可见图像的第一重要像素而是可见图像的第二重要像素，则像素系数设置处理器将针对热图像的该像素的像素系数设置为值1。

17.如权利要求12所述的图像融合设备，其中，作为通过第一确定处理器和第二确定处理器确定的结果，如果可见图像的某个像素被确定为不是可见图像的第二重要像素而是可见图像的第一重要像素，则像素系数设置处理器将针对热图像的对应像素的像素系数设置为在0和1之间选择的值。

18.如权利要求17所述的图像融合设备，其中，作为通过第一确定处理器和第二确定处理器确定的结果，像素系数设置处理器设置针对热图像的每个像素的像素系数，以使在热图像的某个像素被确定为不是热图像的重要像素时设置的针对热图像的该像素的像素系数小于在热图像的该像素被确定为热图像的重要像素且可见图像的对应像素被确定为不是可见图像的第二重要像素而是可见图像的第一重要像素时设置的针对热图像的该像素的像素系数。

19.如权利要求11所述的图像融合设备，其中，图像融合处理器被配置为通过将施加权重的可见图像与施加像素系数和另一个权重的所述另一个热图像相加来对所述另一个热图像和可见图像进行融合。

20.如权利要求12所述的图像融合设备，其中，热图像处理器还被配置为在确定处理器确定热图像的每个像素的重要度之前调整对象的原始热图像的每个像素的亮度值来生成所述热图像，

其中，热图像处理器调整原始热图像的每个像素的亮度值，从而如果原始热图像的某个像素的亮度值大于可见图像的亮度值的平均值，则增大该像素的亮度值，如果该像素的亮度值不大于可见图像的亮度值的平均值，则减小该像素的亮度值。