CN107633499A - 图像处理方法及相关产品 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法及相关产品，其中，方法包括：在暗视觉环境下，获取人脸图像；获取预设人脸模板的颜色分量图像；将所述人脸图像与所述颜色分量图像进行图像融合，得到目标人脸图像。本发明实施例可以在获取到人脸图像之后，从预设人脸模板中获取颜色分量图像，用模板的颜色来弥补暗视觉下采集到的人脸图像的颜色信息不足，从而，得到颜色信息丰富的人脸图像，提升了用户体验。

Description

图像处理方法及相关产品

技术领域

本发明涉及移动终端技术领域，具体涉及一种图像处理方法及相关产品。

背景技术

随着移动终端(手机、平板电脑等)的大量普及应用，移动终端能够支持的应用越来越多，功能越来越强大，移动终端向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品。

目前来看，人脸识别越来越受到移动终端生产厂商的青睐，通过情况下，会将摄取的人脸展现在移动终端的显示屏上。但在暗视觉环境下，由于摄像头采集的颜色信息较少，因此，得到的人脸图像会呈现灰度图像，因此，展示效果不佳，如何提升暗视觉环境下的人脸图像的展示效果的问题亟待解决。

发明内容

本发明实施例提供了一种图像处理方法及相关产品，可以提升暗视觉环境下的人脸图像的展示效果。

第一方面，本发明实施例提供一种移动终端，包括应用处理器(ApplicationProcessor，AP)，以及与所述AP连接的人脸识别装置，其中，

所述人脸识别装置，用于在暗视觉环境下，获取人脸图像；

所述AP，用于获取预设人脸模板的颜色分量图像；以及将所述人脸图像与所述颜色分量图像进行图像融合，得到目标人脸图像。

第二方面，本发明实施例提供了一种图像处理方法，应用于包括应用处理器AP，以及与所述AP连接的人脸识别装置的移动终端，所述方法包括：

所述人脸识别装置在暗视觉环境下，获取人脸图像；

所述AP获取预设人脸模板的颜色分量图像；以及将所述人脸图像与所述颜色分量图像进行图像融合，得到目标人脸图像。

第三方面，本发明实施例提供了一种图像处理方法，包括：

在暗视觉环境下，获取人脸图像；

获取预设人脸模板的颜色分量图像；

将所述人脸图像与所述颜色分量图像进行图像融合，得到目标人脸图像。

第四方面，本发明实施例提供了一种图像处理装置，包括：

第一获取单元，用于在暗视觉环境下，获取人脸图像；

第二获取单元，用于获取预设人脸模板的颜色分量图像；

图像融合单元，用于将所述人脸图像与所述颜色分量图像进行图像融合，得到目标人脸图像。

第五方面，本发明实施例提供了一种移动终端，包括：应用处理器AP和存储器；以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置成由所述AP执行，所述程序包括用于如第三方面中所描述的部分或全部步骤的指令。

第六方面，本发明实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如本发明实施例第三方面中所描述的部分或全部步骤的指令。

第七方面，本发明实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如本发明实施例第三方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本发明实施例，具有如下有益效果：

可以看出，本发明实施例中所描述的图像处理方法及相关产品，在暗视觉环境下，获取人脸图像，获取预设人脸模板的颜色分量图像，将人脸图像与颜色分量图像进行图像融合，得到目标人脸图像，从而，可以在获取到人脸图像之后，从预设人脸模板中获取颜色分量图像，用模板的颜色来弥补暗视觉下采集到的人脸图像的颜色信息不足，从而，得到颜色信息丰富的人脸图像，提升了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本发明实施例提供的一种示例移动终端的架构示意图；

图1B是本发明实施例提供的一种移动终端的结构示意图；

图1C是本发明实施例公开的一种图像处理方法的流程示意图；

图1D是本发明实施例公开的人脸图像的演示效果图；

图2是本发明实施例公开的另一种图像处理方法的流程示意图；

图3是本发明实施例提供的一种移动终端的另一结构示意图；

图4A是本发明实施例提供的一种图像处理装置的结构示意图；

图4B是本发明实施例提供的图4A所描述的图像处理装置的图像融合单元的结构示意图；

图4C是本发明实施例提供的图4B所描述的图像融合单元的图像融合模块的结构示意图；

图4D是本发明实施例提供的一种图像处理装置的另一结构示意图；

图4E是本发明实施例提供的一种图像处理装置的另一结构示意图；

图5是本发明实施例公开的另一种移动终端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明实施例所涉及到的移动终端可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为移动终端。

下面对本发明实施例进行详细介绍。如图1A所示的一种示例移动终端1000，该移动终端1000的人脸识别装置可以为摄像头模组21，该摄像头模组可以为双摄像头，上述双摄像头可以一个是可见光摄像头，一个是红外摄像头，或者，两者都是可见光摄像头，例如，一个摄像头为可见光摄像头，另一个摄像头为红外摄像头，又例如，一个摄像头为可见光摄像头且另一个摄像头也为可见光摄像头，或者上述摄像头模组可以为单摄像头，例如，可见光摄像头，或者，红外摄像头。上述摄像头模组21可以是前置摄像头或者后置摄像头。

请参阅图1B，图1B是所示的一种移动终端100的结构示意图，所述移动终端100包括：应用处理器AP110、人脸识别装置120，其中，所述AP110通过总线150连接人脸识别装置120。

基于图1A-图1B所描述的移动终端，可以用于实现如下功能：

所述人脸识别装置120，用于在暗视觉环境下，获取人脸图像；

所述AP110，用于获取预设人脸模板的颜色分量图像；以及将所述人脸图像与所述颜色分量图像进行图像融合，得到目标人脸图像。

在一个可能的示例中，在所述将所述人脸图像与所述颜色分量图像进行图像融合方面，所述AP110具体用于：

将所述人脸图像转化为灰度图像；

将所述灰度图像与所述颜色分量图像进行图像融合。

在一个可能的示例中，在所述将所述灰度图像与所述颜色分量图像进行图像融合方面，所述AP110具体用于：

确定所述灰度图像的第一质心和所述颜色分量图像的第二质心；

根据所述第一质心和所述第二质心将所述灰度图像与所述颜色分量图像进行重叠处理，所述第一质心与所述第二质心完全叠合，并对所述灰度图像进行尺寸调整，得到第一图像，使得所述第一图像的第一竖直距离与所述颜色分量图像的第二竖直距离相等，其中，所述第一竖直距离为所述第一图像中贯穿人脸区域且经过所述第一质心的竖直线段的长度，所述第二竖直距离为所述颜色分量图像中贯穿人脸区域且经过所述第二质心的竖直线段的长度；

将所述第一图像与所述颜色分量图像进行合成。

在一个可能的示例中，所述AP110还具体用于还包括：

确定所述人脸图像对应的人脸角度；

从预设人脸模板库中选取所述人脸角度对应的所述预设人脸模板，执行所述获取预设人脸模板的颜色分量图像的步骤。

在一个可能的示例中，所述AP110还具体用于：

将所述人脸图像与所述预设人脸模板进行匹配，并在所述人脸图像与所述预设人脸模板匹配成功时，执行所述获取预设人脸模板的颜色分量图像。

基于上述图1A-图1B所描述的移动终端，可用于执行如下所描述的一种图像处理方法，具体如下：

所述人脸识别装置120在暗视觉环境下，获取人脸图像；

所述AP110获取预设人脸模板的颜色分量图像；以及将所述人脸图像与所述颜色分量图像进行图像融合，得到目标人脸图像。

可以看出，本发明实施例中所描述的图像处理方法，在暗视觉环境下，获取人脸图像，获取预设人脸模板的颜色分量图像，将人脸图像与颜色分量图像进行图像融合，得到目标人脸图像，从而，可以在获取到人脸图像之后，从预设人脸模板中获取颜色分量图像，用模板的颜色来弥补暗视觉下采集到的人脸图像的颜色信息不足，从而，得到颜色信息丰富的人脸图像，提升了用户体验。

基于图1A-图1B所描述的移动终端，请参阅图1C，为本发明实施例提供的一种图像处理方法的实施例流程示意图。本实施例中所描述的图像处理方法，其可包括以下步骤：

101、在暗视觉环境下，获取人脸图像。

其中，可以通过对人脸进行对焦，得到人脸图像，人脸图像可以为包含人脸的图像，或者，仅仅只有人脸的抠图图像。上述暗视觉环境可以由环境光传感器检测得到。

其中，上述步骤101之前，可以包括如下步骤：

A1、获取目标环境参数；

A2、确定与所述目标环境参数对应的目标拍摄参数；

则，上述步骤101，获取人脸图像，可以按照如下方式实施：

根据所述目标拍摄参数对人脸进行拍摄，得到所述人脸图像。

其中，上述目标环境参数可以由环境传感器检测得到，上述环境传感器可以用于检测环境参数，环境传感器可以为以下至少一个：呼吸检测传感器、环境光传感器、电磁检测传感器、环境色温检测传感器、定位传感器、温度传感器、湿度传感器等等，环境参数可以为以下至少一种：呼吸参数、环境亮度、环境色温、环境磁场干扰系数、天气情况、环境光源数目、地理位置等等，呼吸参数可以为以下至少一种：呼吸次数、呼吸频率、呼吸声音、呼吸曲线等等。

进一步地，移动终端中可以预先存储拍摄参数与环境参数之间的对应关系，进而，根据该对应关系确定与目标环境参数对应的目标拍摄参数，上述拍摄参数可以包括但不仅限于：焦距、曝光时长、光圈大小、拍照模式、感光度ISO、白平衡参数等等。如此，可以得到在该环境下最佳的图像。

可选地，在执行上述步骤101之前，还可以包括如下步骤：

获取当前环境亮度，在所述当前环境亮度低于预设亮度阈值时，确认当前环境为暗视觉环境。

其中，上述预设亮度阈值可以由用户自行设置或者***默认。在当前环境亮度低于预设亮度阈值时，则可以认为当前是处于暗视觉环境。

102、获取预设人脸模板的颜色分量图像。

其中，上述预设人脸模板可以预先保存在移动终端的存储器中。可以先将预设人脸模板进行颜色空间转换，例如，转化到YUV颜色空间，或者，HIS颜色空间等等，进而，提取颜色分量图像。

可选地，上述步骤101与步骤102之间，还可以包括如下步骤：

B1、确定所述人脸图像对应的人脸角度；

B2、从预设人脸模板库中选取所述人脸角度对应的所述预设人脸模板，执行所述获取预设人脸模板的颜色分量图像的步骤。

其中，在人脸识别过程中，人脸也可具备不同的人脸角度，例如，正脸和侧脸，其人脸角度是不一样的，因此，每一人脸图像可对应一个人脸角度，当然，移动终端中也可以存储预设人脸模板库，预设人脸模板库中可包含多个预设人脸模板，每一预设人脸模板可对应一个人脸角度，进而，可以从预设人脸模板库中选取人脸角度对应的预设人脸模板，进而，获取与人脸图像的人脸角度对应的预设人脸模板的颜色分量图像，如此，这种方式使得颜色分量图像可以更好地融合在人脸图像，用以弥补人脸图像颜色信息的不足。

进一步可选地，在上述步骤B2与102之间，还可以包括如下步骤：

将所述人脸图像与所述预设人脸模板进行匹配，并在所述人脸图像与所述预设人脸模板匹配成功时，执行所述获取预设人脸模板的颜色分量图像。

其中，可以将人脸图像与所述预设人脸模板进行匹配，若匹配失败，则可以不执行步骤102，若匹配成功，则可以执行步骤102。

103、将所述人脸图像与所述颜色分量图像进行图像融合，得到目标人脸图像。

其中，由于人脸图像中缺少颜色信息，而颜色分量图像中包含较多颜色信息，因而，两者进行图像融合，可以得到目标人脸图像，该目标人脸图像中会表现出较多颜色信息，可将目标人脸图像展示在移动终端的显示屏上，呈现出彩色人脸图像，提升了用户体验。

可选地，上述步骤103中，将所述人脸图像与所述颜色分量图像进行图像融合，可包括如下步骤：

31、将所述人脸图像转化为灰度图像；

32、将所述灰度图像与所述颜色分量图像进行图像融合。

其中，由于人脸图像虽然缺少颜色信息，但是其也包含一部分颜色信息，若直接在人脸图像上融合上颜色分量图像，会表现出人脸图像的颜色不均匀，即人脸肤色失真，因此，本发明实施例中，将人脸图像转化为灰度图像，进而，将灰度图像与颜色分量图像进行图像融合，这样的合成图像颜色更加均匀，肤色更为自然。

进一步可选地，上述步骤32将所述灰度图像与所述颜色分量图像进行图像融合，可包括如下步骤：

321、确定所述灰度图像的第一质心和所述颜色分量图像的第二质心；

322、根据所述第一质心和所述第二质心将所述灰度图像与所述颜色分量图像进行重叠处理，所述第一质心与所述第二质心完全叠合，并对所述灰度图像进行尺寸调整，得到第一图像，使得所述第一图像的第一竖直距离与所述颜色分量图像的第二竖直距离相等，其中，所述第一竖直距离为所述第一图像中贯穿人脸区域且经过所述第一质心的竖直线段的长度，所述第二竖直距离为所述颜色分量图像中贯穿人脸区域且经过所述第二质心的竖直线段的长度；

323、将所述第一图像与所述颜色分量图像进行合成。

其中，质量中心简称质心，指物质***上被认为质量集中于此的一个假想点。当然，图像也可以包含一个质心，一个图像也只有唯一的一个质心。本发明实施例中，可以通过几何方式得到灰度图像的第一质心和颜色分量图像的第二质心，进而，根据第一质心和第二质心将灰度图像与颜色分量图像进行重叠处理，第一质心与第二质心完全叠合，并对灰度图像进行尺寸调整，得到第一图像，使得第一图像的第一竖直距离与颜色分量图像的第二竖直距离相等，其中，第一竖直距离为第一图像中的贯穿人脸区域且经过第一质心的竖直线段的长度，第二竖直距离为颜色分量图像中贯穿人脸区域且经过第二质心的竖直线段的长度，上述尺寸调整可以包括放大处理或者缩小处理。例如，如图1D所示，其中，示出了质心，以及第一竖直距离。进一步地，如此，得到了一个彩色图像的两个分量，亮度分量，以及颜色分量，即第一图像为亮度分量，而颜色分量图像为颜色分量，进而，两者之间可以进入合成，例如，将两者像素叠加进行显示即可，得到目标人脸图像，或者，合成之后的图像再转换到RGB颜色空间，得到目标人脸图像，可在移动终端的显示屏上展示该目标人脸图像。

可选地，上述步骤322与步骤323之间，还可以包括如下步骤：

对所述第一图像进行插值处理；

则，上述步骤323中，将所述第一图像与所述颜色分量图像进行合成，可以按照如下方式实施：

将插值处理后的所述第一图像与所述颜色分量图像进行合成。

其中，由于第一图像进行了一定的调整，因此，可对其进行插值处理，使得其图像中像素之间过渡自然，上述插值处理可以为以下至少一种：线性插值、二次插值、双线性插值，或者，非线性插值等等。

可选地，在上述步骤31与32之间，还可以包括如下步骤：

对所述灰度图像进行图像增强处理；

则，上述步骤32，将所述灰度图像与所述颜色分量图像进行图像融合，可以按照如下方式实施：

将图像增强处理后的所述灰度图像与所述颜色分量图像进行图像融合。

其中，上述图像增强处理可包括但不仅限于：图像去噪(例如，小波变换进行图像去噪)、图像复原(例如，维纳滤波)、暗视觉增强算法(例如，直方图均衡化、灰度拉伸等等)，在对灰度图像进行图像增强处理之后，灰度图像的质量可在一定程度上得到提升。

可选地，在上述步骤对所述灰度图像进行图像增强处理之前，还可以包括如下步骤：

对所述灰度图像进行图像质量评价，得到图像质量评价值，在所述图像质量评价值低于预设质量阈值时，对所述灰度图像进行图像增强处理。

其中，上述预设质量阈值可由用户自行设置或者***默认，可先对灰度图像进行图像质量评价，得到一个图像质量评价值，通过该图像质量评价值判断该灰度图像的质量是好还是坏，在图像质量评价值大于或等于预设质量阈值时，可认为灰度图像质量好，在图像质量评价值小于预设质量阈值时，可认为灰度图像质量差，进而，可对灰度图像进行图像增强处理。

其中，上述对所述灰度图像进行图像质量评价，可以按照如下方式实施；

采用至少一个图像质量评价指标对灰度图像进行图像质量评价，从而，得到图像质量评价值。

具体匹配中，对灰度图像进行评价时，可包含多个图像质量评价指标，每一图像质量评价指标也对应一个权重，如此，每一图像质量评价指标对图像进行图像质量评价时，均可得到一个评价结果，最终，进行加权运算，也就得到最终的图像质量评价值。图像质量评价指标可包括但不仅限于：均值、标准差、熵、清晰度、信噪比等等。

需要说明的是，由于采用单一评价指标对图像质量进行评价时，具有一定的局限性，因此，可采用多个图像质量评价指标对图像质量进行评价，当然，对图像质量进行评价时，并非图像质量评价指标越多越好，因为图像质量评价指标越多，图像质量评价过程的计算复杂度越高，也不见得图像质量评价效果越好，因此，在对图像质量评价要求较高的情况下，可采用2～10个图像质量评价指标对图像质量进行评价。具体地，选取图像质量评价指标的个数及哪个指标，依据具体实现情况而定。当然，也得结合具体地场景选取图像质量评价指标，在暗环境下进行图像质量评价和亮环境下进行图像质量评价选取的图像质量指标可不一样。

可选地，在对图像质量评价精度要求不高的情况下，可用一个图像质量评价指标进行评价，例如，以熵对待处理图像进行图像质量评价值，可认为熵越大，则说明图像质量越好，相反地，熵越小，则说明图像质量越差。

可选地，在对图像质量评价精度要求较高的情况下，可以采用多个图像质量评价指标对图像进行评价，在多个图像质量评价指标对图像进行图像质量评价时，可设置该多个图像质量评价指标中每一图像质量评价指标的权重，可得到多个图像质量评价值，根据该多个图像质量评价值及其对应的权重可得到最终的图像质量评价值，例如，三个图像质量评价指标分别为：A指标、B指标和C指标，A的权重为a1，B的权重为a2，C的权重为a3，采用A、B和C对某一图像进行图像质量评价时，A对应的图像质量评价值为b1，B对应的图像质量评价值为b2，C对应的图像质量评价值为b3，那么，最后的图像质量评价值＝a1b1+a2b2+a3b3。通常情况下，图像质量评价值越大，说明图像质量越好。

可选地，在上述步骤103之后，还可以包括如下步骤：

将所述目标人脸图像与所述预设人脸模板进行匹配，在所述目标人脸图像与所述预设人脸模板匹配成功时，进行解锁操作。

其中，在目标人脸图像与预设人脸模板匹配成功时，可以进行解锁操作，在目标人脸图像与预设人脸模板匹配失败，则可以提示用户重新进行人脸识别。上述进行解锁操作，可以为以下至少一种情况：例如，移动终端处于熄屏状态下，解锁操作可以是，点亮屏幕，并进入移动终端的主页面，或者指定页面；移动终端处于亮屏状态下，解锁操作可以是，进入移动终端的主页面，或者指定页面；移动终端某一应用的解锁页面，解锁操作可以是，完成解锁，进入解锁后的页面，例如，移动终端可以处于支付页面，解锁操作可以是，进行支付。上述指定页面可以为以下至少一种：某个应用的页面，或者，用户自行指定的页面。

可以看出，本发明实施例中所描述的图像处理方法，在暗视觉环境下，获取人脸图像，获取预设人脸模板的颜色分量图像，将人脸图像与颜色分量图像进行图像融合，得到目标人脸图像，从而，可以在获取到人脸图像之后，从预设人脸模板中获取颜色分量图像，用模板的颜色来弥补暗视觉下采集到的人脸图像的颜色信息不足，从而，得到颜色信息丰富的人脸图像，提升了用户体验。

与上述一致地，请参阅图2，为本发明实施例提供的一种图像处理方法的实施例流程示意图。本实施例中所描述的图像处理方法，其可包括以下步骤：

201、在暗视觉环境下，获取人脸图像。

202、将所述人脸图像与预设人脸模板进行匹配。

其中，在人脸图像与预设人脸模板匹配成功时，可以认为该人脸图像来自于机主，则可以执行后续步骤，进而，在移动终端的显示屏上展示目标人脸图像。

可选地，上述步骤202中，将所述人脸图像与预设人脸模板进行匹配，可包括如下步骤：

21、选取所述人脸图像中清晰度满足预设要求的目标区域，并对所述目标区域进行特征点提取，得到第一特征点集；

22、提取所述人脸图像的***轮廓，得到第一轮廓；

23、将所述第一轮廓与所述预设人脸模板的第二轮廓进行匹配，以及将所述第一特征点集与所述预设人脸模板进行匹配；

24、在所述第一轮廓与所述预设人脸模板的第二轮廓匹配成功且所述第一特征点集与所述预设人脸模板匹配成功时，确认匹配成功；在所述第一轮廓与所述预设人脸模板的第二轮廓匹配失败，或者，所述第一特征点集与所述预设人脸模板匹配失败时，确认匹配失败。

其中，本发明实施例中，可以从人脸图像中选取目标区域，目标区域的话，采集的特征完整，因此，有利于提升人脸识别效率，另一方面，由于目标区域只是部分区域，可能存在偶然性匹配，或者，识别区域较少，故对人脸图像进行轮廓提取，得到第一轮廓，在匹配过程中，将目标区域的特征点与预设人脸模板进行匹配，同时，也将第一轮廓与预设人脸模板进行匹配，且需要两者均匹配时，才确认匹配成功，若两者之中的任一者匹配失败，则匹配失败，如此，在保证成功率的同时，也保证了匹配速度以及安全性。

可选地，上述清晰度还可以用特征点个数来定义，毕竟，图像越清晰，则其包含的特征点越多，那么，上述预设要求则为：特征点个数大于预设数量阈值，上述预设数量阈值可以由用户自行设置或者***默认，则上述步骤21可按照如下方式实施：确定所述人脸图像中特征点个数大于预设数量阈值的区域为所述目标区域。

可选地，上述清晰度可以用具体公式来计算，在相关技术中有介绍，在此不再赘述，那么，上述预设要求则为：清晰度值大于预设清晰度阈值，上述预设清晰度阈值可以由用户自行设置或者***默认，则上述步骤21可按照如下方式实施：确定所述人脸图像中清晰度值大于预设清晰度阈值的区域为所述目标区域。

另外，上述特征提取可采用如下算法实现：Harris角点检测算法、尺度不变特征变换、SUSAN角点检测算法等等，在此不再赘述。上述步骤22中的轮廓提取可以为如下算法：霍夫变换，haar或者canny等等。

203、在所述人脸图像与所述预设人脸模板匹配成功时，获取所述预设人脸模板的颜色分量图像。

204、将所述人脸图像与所述颜色分量图像进行图像融合，得到目标人脸图像。

其中，上述步骤201-步骤204的具体描述可参照图1C所描述的图像处理方法的对应步骤，在此不再赘述。

可以看出，本发明实施例中所描述的图像处理方法，在暗视觉环境下，获取人脸图像，将人脸图像与预设人脸模板进行匹配，若匹配成功，获取预设人脸模板的颜色分量图像，将人脸图像与颜色分量图像进行图像融合，得到目标人脸图像，从而，可以在获取到人脸图像之后，从预设人脸模板中获取颜色分量图像，用模板的颜色来弥补暗视觉下采集到的人脸图像的颜色信息不足，从而，得到颜色信息丰富的人脸图像，提升了用户体验。

请参阅图3，图3是本发明实施例提供的一种移动终端，包括：应用处理器AP和存储器；以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置成由所述AP执行，所述程序包括用于执行以下步骤的指令：

在暗视觉环境下，获取人脸图像；

获取预设人脸模板的颜色分量图像；

将所述人脸图像与所述颜色分量图像进行图像融合，得到目标人脸图像。

在一个可能的示例中，所述将所述人脸图像与所述颜色分量图像进行图像融合，所述程序包括用于执行以下步骤的指令：

将所述人脸图像转化为灰度图像；

将所述灰度图像与所述颜色分量图像进行图像融合。

在一个可能的示例中，所述将所述灰度图像与所述颜色分量图像进行图像融合，所述程序包括用于执行以下步骤的指令：

确定所述灰度图像的第一质心和所述颜色分量图像的第二质心；

根据所述第一质心和所述第二质心将所述灰度图像与所述颜色分量图像进行重叠处理，所述第一质心与所述第二质心完全叠合，并对所述灰度图像进行尺寸调整，得到第一图像，使得所述第一图像的第一竖直距离与所述颜色分量图像的第二竖直距离相等，其中，所述第一竖直距离为所述第一图像中贯穿人脸区域且经过所述第一质心的竖直线段的长度，所述第二竖直距离为所述颜色分量图像中贯穿人脸区域且经过所述第二质心的竖直线段的长度；

将所述第一图像与所述颜色分量图像进行合成。

在一个可能的示例中，所述程序还包括用于执行以下步骤的指令：

确定所述人脸图像对应的人脸角度；

从预设人脸模板库中选取所述人脸角度对应的所述预设人脸模板，执行所述获取预设人脸模板的颜色分量图像的步骤。

在一个可能的示例中，所述程序还包括用于执行以下步骤的指令：

将所述人脸图像与所述预设人脸模板进行匹配，并在所述人脸图像与所述预设人脸模板匹配成功时，执行所述获取预设人脸模板的颜色分量图像。

以下是实施上述图像处理方法的装置，具体如下：

请参阅图4A，图4A是本实施例提供的一种图像处理装置的结构示意图。该图像处理装置包括第一获取单元401、第二获取单元402和图像融合单元403，其中，

第一获取单元401，用于在暗视觉环境下，获取人脸图像；

第二获取单元402，用于获取预设人脸模板的颜色分量图像；

图像融合单元403，用于将所述人脸图像与所述颜色分量图像进行图像融合，得到目标人脸图像。

可选地，如图4B，图4B是图4A所描述的图像处理装置的图像融合单元403的具体细节结构，所述图像融合单元403可包括：转化模块4031和图像融合模块4032，具体如下：

转化模块4031，用于将所述人脸图像转化为灰度图像；

图像融合模块4032，用于将所述灰度图像与所述颜色分量图像进行图像融合。

可选地，如图4C，图4C是图4B所描述的图像融合单元403的图像融合模块4032的具体细节结构，所述图像融合模块4032，可包括：确定模块501、调整模块502和合成模块503，具体如下：

确定模块501，用于确定所述灰度图像的第一质心和所述颜色分量图像的第二质心；

调整模块502，用于根据所述第一质心和所述第二质心将所述灰度图像与所述颜色分量图像进行重叠处理，所述第一质心与所述第二质心完全叠合，并对所述灰度图像进行尺寸调整，得到第一图像，使得所述第一图像的第一竖直距离与所述颜色分量图像的第二竖直距离相等，其中，所述第一竖直距离为所述第一图像中贯穿人脸区域且经过所述第一质心的竖直线段的长度，所述第二竖直距离为所述颜色分量图像中贯穿人脸区域且经过所述第二质心的竖直线段的长度；

合成模块503，用于将所述第一图像与所述颜色分量图像进行合成。

可选地，如图4D，图4D为图4A所描述的图像处理装置的变型结构，其与图4A相比较，还可包括：确定单元404和选取单元405，具体如下：

确定单元404，用于确定所述人脸图像对应的人脸角度；

选取单元405，用于从预设人脸模板库中选取所述人脸角度对应的所述预设人脸模板，由所述第二获取单元502执行所述获取预设人脸模板的颜色分量图像的步骤。

可选地，如图4E，图4E为图4A所描述的图像处理装置的变型结构，其与图4A相比较，还可包括：匹配单元406，具体如下：

匹配单元406，用于将所述人脸图像与所述预设人脸模板进行匹配，并在所述人脸图像与所述预设人脸模板匹配成功时，执行所述获取预设人脸模板的颜色分量图像。

可以看出，本发明实施例中所描述的图像处理装置，在暗视觉环境下，获取人脸图像，对预设人脸模板进行暗化处理，得到预设人脸模板，将人脸图像与预设人脸模板进行匹配，在人脸图像与预设人脸模板匹配成功时，进行解锁操作，从而，可以在暗视觉环境下，对人脸模板进行暗化处理，降低了人脸模板的质量，使得其与暗视觉环境下的人脸图像之间的匹配值得以提升，因此，可以提升人脸识别效率。

可以理解的是，本实施例的图像处理装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本发明实施例还提供了另一种移动终端，如图5所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该移动终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备，以移动终端为手机为例：

图5示出的是与本发明实施例提供的移动终端相关的手机的部分结构的框图。参考图5，手机包括：射频(Radio Frequency，RF)电路910、存储器920、输入单元930、传感器950、音频电路960、无线保真(Wireless Fidelity，WiFi)模块970、应用处理器AP980、以及电源990等部件。本领域技术人员可以理解，图5中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图5对手机的各个构成部件进行具体的介绍：

输入单元930可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元930可包括触控显示屏933、人脸识别装置931以及其他输入设备932。人脸识别装置931可参照上述结构，具体结构组成可参照上述描述，在此不过多赘述。输入单元930还可以包括其他输入设备932。具体地，其他输入设备932可以包括但不限于物理按键、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

其中，所述AP980，用于执行如下步骤：

在暗视觉环境下，获取人脸图像；

获取预设人脸模板的颜色分量图像；

将所述人脸图像与所述颜色分量图像进行图像融合，得到目标人脸图像。

AP980是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器920内的软件程序和/或模块，以及调用存储在存储器920内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，AP980可包括一个或多个处理单元，该处理单元可为人工智能芯片、量子芯片；优选的，AP980可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到AP980中。

此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

RF电路910可用于信息的接收和发送。通常，RF电路910包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路910还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(Global System of Mobilecommunication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

手机还可包括至少一种传感器950，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境传感器及接近传感器，其中，环境传感器可根据环境光线的明暗来调节触控显示屏的亮度，接近传感器可在手机移动到耳边时，关闭触控显示屏和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路960、扬声器961，传声器962可提供用户与手机之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号，传输到扬声器961，由扬声器961转换为声音信号播放；另一方面，传声器962将收集的声音信号转换为电信号，由音频电路960接收后转换为音频数据，再将音频数据播放AP980处理后，经RF电路910以发送给比如另一手机，或者将音频数据播放至存储器920以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块970可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块970，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

手机还包括给各个部件供电的电源990(比如电池)，优选的，电源可以通过电源管理***与AP980逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

前述图1C或图2所示的实施例中，各步骤方法流程可以基于该手机的结构实现。

前述图3、图4A～图4E所示的实施例中，各单元功能可以基于该手机的结构实现。

本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。

本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种移动终端，其特征在于，包括应用处理器AP，以及与所述AP连接的人脸识别装置，其中，

所述人脸识别装置，用于在暗视觉环境下，获取人脸图像；

所述AP，用于获取预设人脸模板的颜色分量图像；以及将所述人脸图像与所述颜色分量图像进行图像融合，得到目标人脸图像。

2.根据权利要求1所述的移动终端，其特征在于，在所述将所述人脸图像与所述颜色分量图像进行图像融合方面，所述AP具体用于：

将所述人脸图像转化为灰度图像；

将所述灰度图像与所述颜色分量图像进行图像融合。

3.根据权利要求2所述的移动终端，其特征在于，在所述将所述灰度图像与所述颜色分量图像进行图像融合方面，所述AP具体用于：

确定所述灰度图像的第一质心和所述颜色分量图像的第二质心；

根据所述第一质心和所述第二质心将所述灰度图像与所述颜色分量图像进行重叠处理，所述第一质心与所述第二质心完全叠合，并对所述灰度图像进行尺寸调整，得到第一图像，使得所述第一图像的第一竖直距离与所述颜色分量图像的第二竖直距离相等，其中，所述第一竖直距离为所述第一图像中贯穿人脸区域且经过所述第一质心的竖直线段的长度，所述第二竖直距离为所述颜色分量图像中贯穿人脸区域且经过所述第二质心的竖直线段的长度；

将所述第一图像与所述颜色分量图像进行合成。

4.根据权利要求1至3任一项所述的移动终端，其特征在于，所述AP还具体用于还包括：

确定所述人脸图像对应的人脸角度；

从预设人脸模板库中选取所述人脸角度对应的所述预设人脸模板，执行所述获取预设人脸模板的颜色分量图像的步骤。

5.根据权利要求1至4任一项所述的移动终端，其特征在于，所述AP还具体用于：

将所述人脸图像与所述预设人脸模板进行匹配，并在所述人脸图像与所述预设人脸模板匹配成功时，执行所述获取预设人脸模板的颜色分量图像。

6.一种图像处理方法，其特征在于，应用于包括应用处理器AP，以及与所述AP连接的人脸识别装置的移动终端，所述方法包括：

所述人脸识别装置在暗视觉环境下，获取人脸图像；

所述AP获取预设人脸模板的颜色分量图像；以及将所述人脸图像与所述颜色分量图像进行图像融合，得到目标人脸图像。

7.一种图像处理方法，其特征在于，包括：

在暗视觉环境下，获取人脸图像；

获取预设人脸模板的颜色分量图像；

将所述人脸图像与所述颜色分量图像进行图像融合，得到目标人脸图像。

8.根据权利要求7所述的方法，其特征在于，所述将所述人脸图像与所述颜色分量图像进行图像融合，包括：

将所述人脸图像转化为灰度图像；

将所述灰度图像与所述颜色分量图像进行图像融合。

9.根据权利要求8所述的方法，其特征在于，所述将所述灰度图像与所述颜色分量图像进行图像融合，包括：

确定所述灰度图像的第一质心和所述颜色分量图像的第二质心；

根据所述第一质心和所述第二质心将所述灰度图像与所述颜色分量图像进行重叠处理，所述第一质心与所述第二质心完全叠合，并对所述灰度图像进行尺寸调整，得到第一图像，使得所述第一图像的第一竖直距离与所述颜色分量图像的第二竖直距离相等，其中，所述第一竖直距离为所述第一图像中贯穿人脸区域且经过所述第一质心的竖直线段的长度，所述第二竖直距离为所述颜色分量图像中贯穿人脸区域且经过所述第二质心的竖直线段的长度；

将所述第一图像与所述颜色分量图像进行合成。

10.根据权利要求7至9任一项所述的方法，其特征在于，所述方法还包括：

确定所述人脸图像对应的人脸角度；

从预设人脸模板库中选取所述人脸角度对应的所述预设人脸模板，执行所述获取预设人脸模板的颜色分量图像的步骤。

11.根据权利要求7至10任一项所述的方法，其特征在于，所述方法还包括：

将所述人脸图像与所述预设人脸模板进行匹配，并在所述人脸图像与所述预设人脸模板匹配成功时，执行所述获取预设人脸模板的颜色分量图像。

12.一种图像处理装置，其特征在于，包括：

第一获取单元，用于在暗视觉环境下，获取人脸图像；

第二获取单元，用于获取预设人脸模板的颜色分量图像；

图像融合单元，用于将所述人脸图像与所述颜色分量图像进行图像融合，得到目标人脸图像。

13.一种移动终端，其特征在于，包括：应用处理器AP和存储器；以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置成由所述AP执行，所述程序包括用于如权利要求7-11任一项方法的指令。

14.一种计算机可读存储介质，其特征在于，其用于存储计算机程序，其中，所述计算机程序使得计算机执行如权利要求7-11任一项所述的方法。