CN108875476A - 自动近红外人脸注册与识别方法、装置和***及存储介质 - Google Patents

Abstract

本发明的实施例提供了一种自动近红外人脸注册方法和装置、自动近红外人脸识别方法和装置及存储介质。自动近红外人脸注册方法包括：步骤S210：自动获取近红外相机在RGB相机采集包含目标人脸的人脸RGB图像的同时所自动采集的包含目标人脸的人脸近红外图像；步骤S220：至少基于人脸近红外图像获得包含目标人脸的目标近红外图像；步骤S230：获取与人脸RGB图像中的目标人脸相关的目标对象信息，其中，目标对象信息为目标人脸所属对象的标识信息；步骤S240：至少基于目标近红外图像以及目标对象信息获得与目标人脸对应的近红外注册信息；以及步骤S250：将近红外注册信息存储到近红外底库中。对用户的配合要求低，用户体验好，且人脸识别率高。

Description

自动近红外人脸注册与识别方法、装置和***及存储介质

技术领域

本发明涉及人脸识别领域，更具体地涉及一种自动近红外人脸注册方法、装置和***及自动近红外人脸识别方法、装置和***及存储介质。

背景技术

目前人脸识别***可以分成两种主要类型，一种是在RGB可见光波段成像的RGB人脸识别***，其特点是训练数据来源广泛，在近年广泛采用深度学习***后，其识别精度已经超越了人眼，广泛应用于线上和线下***。另一大类是近红外人脸识别***，其缺点是缺乏大量的训练数据。另外，近红外人脸识别***在使用前，需要用户(即需要进行人脸识别的人)预先在指定设备上注册其近红外人脸数据(例如，包含用户人脸的近红外图像、用户的个人信息等)，对用户的配合要求比较高。因此，需要提供一种能够较方便地收集用户的近红外人脸数据的方法。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种自动近红外人脸注册方法、装置和***及自动近红外人脸识别方法、装置和***及存储介质。

根据本发明一方面，提供了一种自动近红外人脸注册方法。该方法包括：步骤S210：自动获取近红外相机在RGB相机采集包含目标人脸的人脸RGB图像的同时所自动采集的包含目标人脸的人脸近红外图像；步骤S220：至少基于人脸近红外图像获得包含目标人脸的目标近红外图像；步骤S230：获取与人脸RGB图像中的目标人脸相关的目标对象信息，其中，目标对象信息为目标人脸所属对象的标识信息；步骤S240：至少基于目标近红外图像以及目标对象信息获得与目标人脸对应的近红外注册信息；以及步骤S250：将近红外注册信息存储到近红外底库中。

示例性地，步骤S240包括：将目标近红外图像以及目标对象信息存储到临时图像库中；以及当临时图像库中所存储的、包含目标人脸的目标近红外图像的数目达到预设数目时，从临时图像库中所存储的、包含目标人脸的目标近红外图像中选择图像质量最好的一个或多个目标近红外图像，以获得近红外注册信息，其中，近红外注册信息包括一个或多个目标近红外图像或者一个或多个目标近红外图像的标识特征，以及目标对象信息。

示例性地，步骤S240包括：确定近红外注册信息包括目标近红外图像或者目标近红外图像的标识特征，以及目标对象信息。

示例性地，在步骤S230之前，方法还包括：获取人脸RGB图像；基于人脸RGB图像获得包含目标人脸的目标RGB图像；以及基于目标RGB图像在RGB底库中进行检索，以确定RGB底库中是否存在与目标RGB图像匹配的底库RGB图像，或者基于目标RGB图像的标识特征在RGB底库中进行检索，以确定RGB底库中是否存在与目标RGB图像的标识特征匹配的底库RGB图像的标识特征。

示例性地，步骤S230包括：确定RGB底库中存储的、与检索到的底库RGB图像或者检索到的底库RGB图像的标识特征相关的底库对象信息为目标对象信息。

示例性地，步骤S230包括：在未检索到与目标RGB图像匹配的底库RGB图像或者未检索到与目标RGB图像的标识特征匹配的底库RGB图像的标识特征的情况下，输出用于提示目标人脸为未知人脸的提示信息；以及接收操作者的输入信息并基于输入信息确定目标对象信息。

示例性地，在步骤S230之后，方法还包括：将目标RGB图像或者目标RGB图像的标识特征，以及目标对象信息一起存储在RGB底库中。

示例性地，步骤S230包括：接收操作者的输入信息并基于输入信息确定目标对象信息。

示例性地，方法还包括：获取人脸RGB图像；基于人脸RGB图像获得包含目标人脸的目标RGB图像；以及将目标RGB图像或者目标RGB图像的标识特征，以及目标对象信息一起存储在RGB底库中。

示例性地，基于人脸RGB图像获得包含目标人脸的目标RGB图像包括：对人脸RGB图像进行人脸检测，以获得仅包含目标人脸的图像作为目标RGB图像。

示例性地，步骤S220包括：对人脸近红外图像进行人脸检测，以确定人脸近红外图像中所包含的所有人脸；根据人脸RGB图像和人脸近红外图像的像素对应关系以及目标人脸在人脸RGB图像中的位置确定目标人脸在人脸近红外图像中的位置，其中，像素对应关系基于RGB相机和近红外相机之间的物理位置关系确定；以及根据目标人脸在人脸近红外图像中的位置以及人脸近红外图像的人脸检测结果，提取目标人脸所在的图像区域，以获得仅包含目标人脸的图像作为目标近红外图像。

示例性地，在步骤S210之前，方法还包括：获取RGB相机所采集的包含目标人脸的初始RGB图像；以及判断初始RGB图像的图像质量是否满足预设要求，如果是，则确定初始RGB图像为人脸RGB图像。

根据本发明另一方面，提供了一种自动近红外人脸识别方法，包括：步骤S310：获取RGB相机所采集的包含待识别人脸的人脸RGB图像；步骤S320：在人脸RGB图像的图像质量不满足预设要求的情况下，自动获取近红外相机在RGB相机采集人脸RGB图像的同时所自动采集的包含待识别人脸的人脸近红外图像；步骤S330：至少基于人脸近红外图像获得包含待识别人脸的待识别近红外图像；以及步骤S340：基于待识别近红外图像或待识别近红外图像的标识特征在自动近红外人脸注册方法中所述的近红外底库中进行检索，以确定待识别人脸是否是已知人脸。

示例性地，在步骤S310之后，方法还包括：在人脸RGB图像的图像质量满足预设要求的情况下，基于人脸RGB图像获得包含待识别人脸的待识别RGB图像；以及基于待识别RGB图像或待识别RGB图像的标识特征在RGB底库中进行检索，以确定待识别人脸是否是已知人脸。

示例性地，步骤S320仅在近红外底库中存储的底库近红外图像的数目或者近红外底库中存储的标识特征所属的底库近红外图像的数目达到第一数目阈值和/或近红外底库中存储的底库近红外图像所对应的对象的数目或者近红外底库中存储的底库近红外图像的标识特征所对应的对象的数目达到第二数目阈值时才执行。

根据本发明另一方面，提供了一种自动近红外人脸注册装置，包括：人脸近红外图像获取模块，用于自动获取近红外相机在RGB相机采集包含目标人脸的人脸RGB图像的同时所自动采集的包含目标人脸的人脸近红外图像；目标近红外图像获取模块，用于至少基于人脸近红外图像获得包含目标人脸的目标近红外图像；对象信息获取模块，用于获取与人脸RGB图像中的目标人脸相关的目标对象信息，其中，目标对象信息为目标人脸所属对象的标识信息；近红外注册信息获得模块，用于至少基于目标近红外图像以及目标对象信息获得与目标人脸对应的近红外注册信息；以及近红外注册信息存储模块，用于将近红外注册信息存储到近红外底库中。

示例性地，近红外注册信息获得模块包括：临时存储子模块，用于将目标近红外图像以及目标对象信息存储到临时图像库中；以及近红外注册信息获得子模块，用于当临时图像库中所存储的、包含目标人脸的目标近红外图像的数目达到预设数目时，从临时图像库中所存储的、包含目标人脸的目标近红外图像中选择图像质量最好的一个或多个目标近红外图像，以获得近红外注册信息，其中，近红外注册信息包括一个或多个目标近红外图像或者一个或多个目标近红外图像的标识特征，以及目标对象信息。

示例性地，近红外注册信息获得模块包括：近红外注册信息确定子模块，用于确定近红外注册信息包括目标近红外图像或者目标近红外图像的标识特征，以及目标对象信息。

示例性地，自动近红外人脸注册装置还包括：第一人脸RGB图像获取模块，用于在对象信息获取模块获取与目标RGB图像中的目标人脸相关的目标对象信息之前，获取人脸RGB图像；第二目标RGB图像获取模块，用于基于人脸RGB图像获得包含目标人脸的目标RGB图像；以及RGB检索模块，用于基于目标RGB图像在RGB底库中进行检索，以确定RGB底库中是否存在与目标RGB图像匹配的底库RGB图像，或者基于目标RGB图像的标识特征在RGB底库中进行检索，以确定RGB底库中是否存在与目标RGB图像的标识特征匹配的底库RGB图像的标识特征。

示例性地，对象信息获取模块包括：对象信息确定子模块，用于确定RGB底库中存储的、与检索到的底库RGB图像或者检索到的底库RGB图像的标识特征相关的底库对象信息为目标对象信息。

示例性地，对象信息获取模块包括：提示输出子模块，用于在未检索到与目标RGB图像匹配的底库RGB图像或者未检索到与目标RGB图像的标识特征匹配的底库RGB图像的标识特征的情况下，输出用于提示目标人脸为未知人脸的提示信息；以及第一信息接收和确定子模块，用于接收操作者的输入信息并基于输入信息确定目标对象信息。

示例性地，自动近红外人脸注册装置还包括：第一RGB存储模块，用于在对象信息获取模块获取与目标RGB图像中的目标人脸相关的目标对象信息之后，将目标RGB图像或者目标RGB图像的标识特征，以及目标对象信息一起存储在RGB底库中。

示例性地，对象信息获取模块包括：第二信息接收和确定子模块，用于接收操作者的输入信息并基于输入信息确定目标对象信息。

示例性地，自动近红外人脸注册装置还包括：第二人脸RGB图像获取模块，用于获取人脸RGB图像；第二目标RGB图像获取模块，用于基于人脸RGB图像获得包含目标人脸的目标RGB图像；以及第二RGB存储模块，用于将目标RGB图像或者目标RGB图像的标识特征，以及目标对象信息一起存储在RGB底库中。

示例性地，第一目标RGB图像获取模块或第二目标RGB图像获取模块包括：第一人脸检测子模块，用于对人脸RGB图像进行人脸检测，以获得仅包含目标人脸的图像作为目标RGB图像。

示例性地，目标近红外图像获取模块包括：第二人脸检测子模块，用于对人脸近红外图像进行人脸检测，以确定人脸近红外图像中所包含的所有人脸；位置确定子模块，用于根据人脸RGB图像和人脸近红外图像的像素对应关系以及目标人脸在人脸RGB图像中的位置确定目标人脸在人脸近红外图像中的位置，其中，像素对应关系基于RGB相机和近红外相机之间的物理位置关系确定；以及目标近红外图像获得子模块，用于根据目标人脸在人脸近红外图像中的位置以及人脸近红外图像的人脸检测结果，提取目标人脸所在的图像区域，以获得仅包含目标人脸的图像作为目标近红外图像。

示例性地，自动近红外人脸注册装置还包括：初始RGB图像获取模块，用于在人脸近红外图像获取模块自动获取近红外相机在RGB相机采集包含目标人脸的人脸RGB图像的同时所自动采集的包含所述目标人脸的人脸近红外图像之前，获取RGB相机所采集的包含目标人脸的初始RGB图像；以及人脸RGB图像确定模块，用于判断初始RGB图像的图像质量是否满足预设要求，如果是，则确定初始RGB图像为人脸RGB图像。

根据本发明另一方面，提供了一种自动近红外人脸识别装置，包括：人脸RGB图像获取模块，用于获取RGB相机所采集的包含待识别人脸的人脸RGB图像；人脸近红外图像获取模块，用于在人脸RGB图像的图像质量不满足预设要求的情况下，自动获取近红外相机在RGB相机采集人脸RGB图像的同时所自动采集的包含待识别人脸的人脸近红外图像；待识别近红外图像获取模块，用于至少基于人脸近红外图像获得包含待识别人脸的待识别近红外图像；以及近红外检索模块，用于基于待识别近红外图像或待识别近红外图像的标识特征在自动近红外人脸注册方法中所述的近红外底库中进行检索，以确定待识别人脸是否是已知人脸。

示例性地，自动近红外人脸识别装置还包括：待识别RGB图像获取模块，用于在人脸RGB图像获取模块获取RGB相机所采集的包含待识别人脸的人脸RGB图像之后，在人脸RGB图像的图像质量满足预设要求的情况下，基于人脸RGB图像获得包含待识别人脸的待识别RGB图像；以及RGB检索模块，用于基于待识别RGB图像或待识别RGB图像的标识特征在RGB底库中进行检索，以确定待识别人脸是否是已知人脸。

示例性地，人脸近红外图像获取模块仅在近红外底库中存储的底库近红外图像的数目或者近红外底库中存储的标识特征所属的底库近红外图像的数目达到第一数目阈值和/或近红外底库中存储的底库近红外图像所对应的对象的数目或者近红外底库中存储的底库近红外图像的标识特征所对应的对象的数目达到第二数目阈值时才启动。

根据本发明另一方面，提供了一种自动近红外人脸注册***，包括图像采集装置、近红外光源、处理器和存储器，其中，图像采集装置包括RGB相机和近红外相机，近红外光源用于发出用于照射目标人脸的近红外光，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行以下步骤：步骤S210：自动获取近红外相机在RGB相机采集包含目标人脸的人脸RGB图像的同时所自动采集的包含目标人脸的人脸近红外图像；步骤S220：至少基于人脸近红外图像获得包含目标人脸的目标近红外图像；步骤S230：获取与人脸RGB图像中的目标人脸相关的目标对象信息，其中，目标对象信息为目标人脸所属对象的标识信息；步骤S240：至少基于目标近红外图像以及目标对象信息获得与目标人脸对应的近红外注册信息；以及步骤S250：将近红外注册信息存储到近红外底库中。

示例性地，计算机程序指令被处理器运行时所用于执行的步骤S240包括：将目标近红外图像以及目标对象信息存储到临时图像库中；以及当临时图像库中所存储的、包含目标人脸的目标近红外图像的数目达到预设数目时，从临时图像库中所存储的、包含目标人脸的目标近红外图像中选择图像质量最好的一个或多个目标近红外图像，以获得近红外注册信息，其中，近红外注册信息包括一个或多个目标近红外图像或者一个或多个目标近红外图像的标识特征，以及目标对象信息。

示例性地，计算机程序指令被处理器运行时所用于执行的步骤S240包括：确定近红外注册信息包括目标近红外图像或者目标近红外图像的标识特征，以及目标对象信息。

示例性地，在计算机程序指令被处理器运行时所用于执行的步骤S230之前，计算机程序指令被处理器运行时还用于执行以下步骤：获取人脸RGB图像；基于人脸RGB图像获得包含目标人脸的目标RGB图像；以及基于目标RGB图像在RGB底库中进行检索，以确定RGB底库中是否存在与目标RGB图像匹配的底库RGB图像，或者基于目标RGB图像的标识特征在RGB底库中进行检索，以确定RGB底库中是否存在与目标RGB图像的标识特征匹配的底库RGB图像的标识特征。

示例性地，计算机程序指令被处理器运行时所用于执行的步骤S230包括：确定RGB底库中存储的、与检索到的底库RGB图像或者检索到的底库RGB图像的标识特征相关的底库对象信息为目标对象信息。

示例性地，计算机程序指令被处理器运行时所用于执行的步骤S230包括：在未检索到与目标RGB图像匹配的底库RGB图像或者未检索到与目标RGB图像的标识特征匹配的底库RGB图像的标识特征的情况下，输出用于提示目标人脸为未知人脸的提示信息；以及接收操作者的输入信息并基于输入信息确定目标对象信息。

示例性地，在计算机程序指令被处理器运行时所用于执行的步骤S230之后，计算机程序指令被处理器运行时还用于执行以下步骤：将目标RGB图像或者目标RGB图像的标识特征，以及目标对象信息一起存储在RGB底库中。

示例性地，计算机程序指令被处理器运行时所用于执行的步骤S230包括：接收操作者的输入信息并基于输入信息确定目标对象信息。

示例性地，计算机程序指令被处理器运行时还用于执行以下步骤：获取人脸RGB图像；基于人脸RGB图像获得包含目标人脸的目标RGB图像；以及将目标RGB图像或者目标RGB图像的标识特征，以及目标对象信息一起存储在RGB底库中。

示例性地，计算机程序指令被处理器运行时所用于执行的基于人脸RGB图像获得包含目标人脸的目标RGB图像的步骤包括：对人脸RGB图像进行人脸检测，以获得仅包含目标人脸的图像作为目标RGB图像。

示例性地，计算机程序指令被处理器运行时所用于执行的步骤S220包括：对人脸近红外图像进行人脸检测，以确定人脸近红外图像中所包含的所有人脸；根据人脸RGB图像和人脸近红外图像的像素对应关系以及目标人脸在人脸RGB图像中的位置确定目标人脸在人脸近红外图像中的位置，其中，像素对应关系基于RGB相机和近红外相机之间的物理位置关系确定；以及根据目标人脸在人脸近红外图像中的位置以及人脸近红外图像的人脸检测结果，提取目标人脸所在的图像区域，以获得仅包含目标人脸的图像作为目标近红外图像。

示例性地，在计算机程序指令被处理器运行时所用于执行的步骤S210之前，计算机程序指令被处理器运行时还用于执行以下步骤：获取RGB相机所采集的包含目标人脸的初始RGB图像；以及判断初始RGB图像的图像质量是否满足预设要求，如果是，则确定初始RGB图像为人脸RGB图像。

根据本发明另一方面，提供了一种自动近红外人脸识别***，包括图像采集装置、近红外光源、处理器和存储器，其中，图像采集装置包括RGB相机和近红外相机，近红外光源用于发射用于照射待识别人脸的近红外光，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行以下步骤：步骤S310：获取RGB相机所采集的包含待识别人脸的人脸RGB图像；步骤S320：在人脸RGB图像的图像质量不满足预设要求的情况下，自动获取近红外相机在RGB相机采集人脸RGB图像的同时所自动采集的包含待识别人脸的人脸近红外图像；步骤S330：至少基于人脸近红外图像获得包含待识别人脸的待识别近红外图像；以及步骤S340：基于待识别近红外图像或待识别近红外图像的标识特征在自动近红外人脸注册方法中所述的近红外底库中进行检索，以确定待识别人脸是否是已知人脸。

示例性地，在计算机程序指令被处理器运行时所用于执行的步骤S310之后，计算机程序指令被处理器运行时还用于执行以下步骤：在人脸RGB图像的图像质量满足预设要求的情况下，基于人脸RGB图像获得包含待识别人脸的待识别RGB图像；以及基于待识别RGB图像或待识别RGB图像的标识特征在RGB底库中进行检索，以确定待识别人脸是否是已知人脸。

示例性地，计算机程序指令被处理器运行时所用于执行的步骤S320仅在近红外底库中存储的底库近红外图像的数目或者近红外底库中存储的标识特征所属的底库近红外图像的数目达到第一数目阈值和/或近红外底库中存储的底库近红外图像所对应的对象的数目或者近红外底库中存储的底库近红外图像的标识特征所对应的对象的数目达到第二数目阈值时才执行。

根据本发明另一方面，提供了一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行以下步骤：步骤S210：自动获取近红外相机在RGB相机采集包含目标人脸的人脸RGB图像的同时所自动采集的包含目标人脸的人脸近红外图像；步骤S220：至少基于人脸近红外图像获得包含目标人脸的目标近红外图像；步骤S230：获取与人脸RGB图像中的目标人脸相关的目标对象信息，其中，目标对象信息为目标人脸所属对象的标识信息；步骤S240：至少基于目标近红外图像以及目标对象信息获得与目标人脸对应的近红外注册信息；以及步骤S250：将近红外注册信息存储到近红外底库中。

示例性地，程序指令在运行时所用于执行的步骤S240包括：将目标近红外图像以及目标对象信息存储到临时图像库中；以及当临时图像库中所存储的、包含目标人脸的目标近红外图像的数目达到预设数目时，从临时图像库中所存储的、包含目标人脸的目标近红外图像中选择图像质量最好的一个或多个目标近红外图像，以获得近红外注册信息，其中，近红外注册信息包括一个或多个目标近红外图像或者一个或多个目标近红外图像的标识特征，以及目标对象信息。

示例性地，程序指令在运行时所用于执行的步骤S240包括：确定近红外注册信息包括目标近红外图像或者目标近红外图像的标识特征，以及目标对象信息。

示例性地，在程序指令在运行时所用于执行的步骤S230之前，程序指令在运行时还用于执行以下步骤：获取人脸RGB图像；基于人脸RGB图像获得包含目标人脸的目标RGB图像；以及基于目标RGB图像在RGB底库中进行检索，以确定RGB底库中是否存在与目标RGB图像匹配的底库RGB图像，或者基于目标RGB图像的标识特征在RGB底库中进行检索，以确定RGB底库中是否存在与目标RGB图像的标识特征匹配的底库RGB图像的标识特征。

示例性地，程序指令在运行时所用于执行的步骤S230包括：确定RGB底库中存储的、与检索到的底库RGB图像或者检索到的底库RGB图像的标识特征相关的底库对象信息为目标对象信息。

示例性地，程序指令在运行时所用于执行的步骤S230包括：在未检索到与目标RGB图像匹配的底库RGB图像或者未检索到与目标RGB图像的标识特征匹配的底库RGB图像的标识特征的情况下，输出用于提示目标人脸为未知人脸的提示信息；以及接收操作者的输入信息并基于输入信息确定目标对象信息。

示例性地，在程序指令在运行时所用于执行的步骤S230之后，程序指令在运行时还用于执行以下步骤：将目标RGB图像或者目标RGB图像的标识特征，以及目标对象信息一起存储在RGB底库中。

示例性地，程序指令在运行时所用于执行的步骤S230包括：接收操作者的输入信息并基于输入信息确定目标对象信息。

示例性地，程序指令在运行时还用于执行以下步骤：获取人脸RGB图像；基于人脸RGB图像获得包含目标人脸的目标RGB图像；以及将目标RGB图像或者目标RGB图像的标识特征，以及目标对象信息一起存储在RGB底库中。

示例性地，程序指令在运行时所用于执行的基于人脸RGB图像获得包含目标人脸的目标RGB图像的步骤包括：对人脸RGB图像进行人脸检测，以获得仅包含目标人脸的图像作为目标RGB图像。

示例性地，程序指令在运行时所用于执行的步骤S220包括：对人脸近红外图像进行人脸检测，以确定人脸近红外图像中所包含的所有人脸；根据人脸RGB图像和人脸近红外图像的像素对应关系以及目标人脸在人脸RGB图像中的位置确定目标人脸在人脸近红外图像中的位置，其中，像素对应关系基于RGB相机和近红外相机之间的物理位置关系确定；以及根据目标人脸在人脸近红外图像中的位置以及人脸近红外图像的人脸检测结果，提取目标人脸所在的图像区域，以获得仅包含目标人脸的图像作为目标近红外图像。

示例性地，在程序指令在运行时所用于执行的步骤S210之前，程序指令在运行时还用于执行以下步骤：获取RGB相机所采集的包含目标人脸的初始RGB图像；以及判断初始RGB图像的图像质量是否满足预设要求，如果是，则确定初始RGB图像为人脸RGB图像。

根据本发明另一方面，提供了一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行以下步骤：步骤S310：获取RGB相机所采集的包含待识别人脸的人脸RGB图像；步骤S320：在人脸RGB图像的图像质量不满足预设要求的情况下，自动获取近红外相机在RGB相机采集人脸RGB图像的同时所自动采集的包含待识别人脸的人脸近红外图像；步骤S330：至少基于人脸近红外图像获得包含待识别人脸的待识别近红外图像；以及步骤S340：基于待识别近红外图像或待识别近红外图像的标识特征在自动近红外人脸注册方法中所述的近红外底库中进行检索，以确定待识别人脸是否是已知人脸。

示例性地，在程序指令在运行时所用于执行的步骤S310之后，程序指令在运行时还用于执行以下步骤：在人脸RGB图像的图像质量满足预设要求的情况下，基于人脸RGB图像获得包含待识别人脸的待识别RGB图像；以及基于待识别RGB图像或待识别RGB图像的标识特征在RGB底库中进行检索，以确定待识别人脸是否是已知人脸。

示例性地，程序指令在运行时所用于执行的步骤S320仅在近红外底库中存储的底库近红外图像的数目或者近红外底库中存储的标识特征所属的底库近红外图像的数目达到第一数目阈值和/或近红外底库中存储的底库近红外图像所对应的对象的数目或者近红外底库中存储的底库近红外图像的标识特征所对应的对象的数目达到第二数目阈值时才执行。

根据本发明实施例的自动近红外人脸注册方法、装置和***及自动近红外人脸识别方法、装置和***及存储介质，无需用户主动注册即可实现用户的近红外人脸注册和识别，对用户的配合要求低，用户体验好，且人脸识别率高。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出用于实现根据本发明实施例的自动近红外人脸注册方法和装置的示例电子设备的示意性框图；

图2示出根据本发明一个实施例的自动近红外人脸注册方法的示意性流程图；

图3示出根据本发明一个实施例的自动近红外人脸识别方法的示意性流程图；

图4示出了根据本发明一个实施例的自动近红外人脸注册装置的示意性框图；

图5示出了根据本发明一个实施例的自动近红外人脸识别装置的示意性框图；以及

图6示出了根据本发明一个实施例的自动近红外人脸注册***的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

为了解决上文所述的问题，本发明实施例提供一种自动近红外人脸注册方法和装置以及对应的自动近红外人脸识别方法和装置。根据本发明实施例的自动近红外人脸注册方法在采集目标人脸的RGB图像的同时，自动采集其近红外图像，获得近红外注册信息并将其存储起来，完成目标人脸的近红外人脸注册。无论是在RGB人脸注册过程中，还是在RGB人脸识别过程中，都可以进行自动的近红外人脸注册。所累积的近红外注册信息可以用于RGB图像的图像质量不好时自动进行近红外人脸识别，还可以用作近红外人脸识别***的训练数据。通过以上方式，可以在用户无感知的情况下累积用户的近红外人脸数据(即本文所述的近红外注册信息)，有利于实现后续的近红外人脸识别。本发明实施例提供的自动近红外人脸注册方法和自动近红外人脸识别方法可以很好地应用于各种采用人脸识别技术的领域。

首先，参照图1来描述用于实现根据本发明实施例的自动近红外人脸注册方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108、图像采集装置110和近红外光源112，这些组件通过总线***114和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以采集图像(包括视频帧)，并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是监控摄像头。应当理解，图像采集装置110仅是示例，电子设备100可以不包括图像采集装置110。在这种情况下，可以利用其他图像采集装置采集RGB图像和近红外图像，并将采集的图像发送给电子设备100。

所述图像采集装置110可以是包括RGB相机和近红外相机的RGB及近红外双目相机，RGB相机和近红外相机分别用于采集RGB图像和近红外图像。

所述近红外光源112是任意能够产生近红外光的光源，例如，近红外发光二极管(LED)等。所述近红外光源112仅是示例，电子设备100可以不包括近红外光源112。在这种情况下，可以利用独立的发光装置产生近红外光。

示例性地，用于实现根据本发明实施例的自动近红外人脸注册方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。

下面，将参考图2描述根据本发明实施例的自动近红外人脸注册方法。图2示出根据本发明一个实施例的自动近红外人脸注册方法200的示意性流程图。如图2所示，自动近红外人脸注册方法200包括以下步骤。

在步骤S210，自动获取近红外相机在RGB相机采集包含目标人脸的人脸RGB图像的同时所自动采集的包含目标人脸的人脸近红外图像。

目标人脸可以是任一需要进行RGB人脸注册或RGB人脸识别的对象(即用户)的人脸。在RGB人脸注册或RGB人脸识别的过程中，需要采集目标人脸的RGB图像(即人脸RGB图像)进行注册或识别。同时，在此过程中，可以自动采集目标人脸的近红外图像(即人脸近红外图像)用于近红外人脸注册。

示例性地，人脸RGB图像及人脸近红外图像可以分别是RGB相机和近红外相机针对各自的图像采集区域采集到的完整图像。人脸RGB图像及人脸近红外图像可以是RGB相机及近红外相机采集到的原始图像，也可以是对原始图像进行预处理之后获得的图像。此外，人脸RGB图像及人脸近红外图像可以是单个的静态图像，也可以是视频流中的某一视频帧。

人脸RGB图像和/或人脸近红外图像可以由客户端设备(诸如包括RGB及近红外双目相机的安防设备)发送到电子设备100以由电子设备100的处理器102进行RGB人脸注册或识别以及近红外人脸注册，也可以由电子设备100包括的图像采集装置110(包括RGB相机和近红外相机)采集并传送到处理器102进行RGB人脸注册或识别以及近红外人脸注册。

当利用RGB相机采集包含目标人脸的人脸RGB图像时，可以自动开启近红外光源112和近红外相机。近红外光源112用于发出近红外光来照射目标人脸。近红外相机用于采集目标人脸在近红外光的照射下的图像，以获得包含目标人脸的人脸近红外图像。

在步骤S220，至少基于人脸近红外图像获得包含目标人脸的目标近红外图像。

示例性地，在步骤S230之前，方法200还可以包括：基于人脸RGB图像获得包含目标人脸的目标RGB图像。

在一个实施例中，可以对人脸RGB图像和人脸近红外图像进行一些处理，以获得新的图像作为目标RGB图像和目标近红外图像。例如，基于人脸RGB图像获得包含目标人脸的目标RGB图像可以包括：对人脸RGB图像进行人脸检测，以获得仅包含目标人脸的图像作为目标RGB图像。类似地，也可以通过人脸检测等方式提取出人脸近红外图像中仅包含目标人脸的图像区域，获得新的图像并将其作为目标近红外图像。在另一个实施例中，可以直接将人脸RGB图像作为目标RGB图像，并直接将人脸近红外图像作为目标近红外图像用于后续的操作。下面分情况描述步骤S220的一些实施方式。

在某些情况下，人脸RGB图像和人脸近红外图像可能仅包含目标人脸。例如，在进行RGB人脸注册时，要求出现在RGB相机和近红外相机的图像采集区域中的仅是目标人脸所属对象一个人，而不能有其他无关对象。对于这种情况，根据一个示例，可以直接将人脸RGB图像作为目标RGB图像，并直接将人脸近红外图像作为目标近红外图像用于后续的操作。根据另一个示例，可以分别对人脸RGB图像和人脸近红外图像进行人脸检测，提取各自仅包含目标人脸的图像区域，进而获得目标RGB图像和目标近红外图像。

在某些情况下，可能无法确定人脸RGB图像和人脸近红外图像中会出现多少人脸。在这种情况下，可以分别对人脸RGB图像和人脸近红外图像进行人脸检测，根据人脸RGB图像和人脸近红外图像的像素对应关系对准人脸RGB图像中的人脸以及人脸近红外图像中的人脸，以保证用于近红外人脸注册的目标人脸与用于RGB人脸注册或识别的目标人脸一致，进而保证用于近红外人脸注册的目标人脸与目标对象信息之间的关联关系是正确的。

示例性地，步骤S220可以包括：对人脸近红外图像进行人脸检测，以确定人脸近红外图像中所包含的所有人脸；根据人脸RGB图像和人脸近红外图像的像素对应关系以及目标人脸在人脸RGB图像中的位置确定目标人脸在人脸近红外图像中的位置，其中，像素对应关系基于RGB相机和近红外相机之间的物理位置关系确定；以及根据目标人脸在人脸近红外图像中的位置以及人脸近红外图像的人脸检测结果，提取目标人脸所在的图像区域，以获得仅包含目标人脸的图像作为目标近红外图像。

在确定目标人脸在人脸近红外图像中的位置之前，可以预先确定目标人脸在人脸RGB图像中的位置。例如，在进行RGB人脸注册的时候，为了获得正确的RGB人脸数据，人脸识别***通常要求目标人脸位于RGB相机的图像采集区域中的特定位置处，和/或要求RGB相机的图像采集区域中不可以有其他无关对象(如上文所述)。在这种情况下，可以非常容易地辨识出目标人脸在人脸RGB图像中的位置，而不用担心其他人脸对目标人脸的干扰。

人脸RGB图像和人脸近红外图像的像素对应关系是已知的。在RGB相机和近红外相机安置好之后，二者之间的物理位置关系基本是固定的，因此二者采集到的图像之间的像素对应关系也是固定的。该像素对应关系可以预先计算出来。

例如，如果根据所述像素对应关系确定出现在人脸RGB图像中的人脸A应当出现在人脸近红外图像中的某一图像区域，同时在人脸近红外图像中的该图像区域处检测到一人脸，则可以确定该人脸即为人脸A。可选地，可以将人脸近红外图像中人脸A所在的图像区域提取出来，经归一化处理之后获得目标近红外图像。

在图像采集环境比较复杂的情况(例如在人流量较大的场所)下，根据像素对应关系可以比较准确地确定目标人脸在人脸近红外图像中的位置，避免复杂环境造成近红外注册信息出现错误。

在步骤S230，获取与人脸RGB图像中的所述目标人脸相关的目标对象信息，其中，目标对象信息为目标人脸所属对象的标识信息。

例如，目标对象信息可以包括但不限于以下项中的一项或多项：目标人脸所属对象的姓名、性别、年龄、身份证号、籍贯、住址等。目标对象信息可以是由操作者输入的，也可以是从存储了大量底库对象信息的底库中检索获得的，这将在下文描述。本文所述的操作者可以是用户本人，也可以是人脸识别***的管理员。

以具有人脸识别功能的办公楼的门卫管理***为例，员工为了进出办公楼，可以首先在门卫管理***处进行RGB人脸注册。注册过程可以是，由RGB相机采集包含员工人脸的RGB图像，并且由***管理员(或者员工本人)输入该员工的个人信息(即目标对象信息)，示例性地，可以输入员工的姓名和工号。随后，门卫管理***可以将采集到的RGB图像与该员工的姓名和工号关联在一起，并存储在RGB底库中，完成该员工的RGB人脸注册。***管理员(或者员工本人)输入的员工的个人信息虽然是为了标记员工的RGB图像的，但是其可以被门卫管理***自动用于该员工的近红外人脸注册。

在步骤S240，至少基于目标近红外图像以及目标对象信息获得与目标人脸对应的近红外注册信息。

近红外注册信息可以包括与目标人脸对应的目标近红外图像或者目标近红外图像的标识特征。近红外注册信息还可以包括与目标人脸对应的目标对象信息。沿用上述门卫管理***的示例，在员工进行RGB人脸注册的过程中，可以同时利用近红外相机自动采集包含员工人脸的近红外图像，并且可以将采集到的近红外图像与***管理员(或者员工本人)输入的目标对象信息关联在一起，并存储在近红外底库中，完成该员工的近红外人脸注册。

在一个实施例中，每当获得一个目标近红外图像，则直接将该目标近红外图像本身或者其标识特征与目标对象信息关联在一起作为与目标人脸对应的近红外注册信息。示例性地，步骤S240可以包括：确定近红外注册信息包括目标近红外图像或者目标近红外图像的标识特征，以及目标对象信息。不对目标近红外图像进行筛选，可以快速收集到较大数量的近红外注册信息。在近红外相机的图像采集条件比较好的情况下，这种工作方式效率比较高。

在另一个实施例中，对于同一人脸来说，将所对应的目标近红外图像临时存储起来，逐渐累积，当累积的目标近红外图像足够多时，再从其中挑选质量好的目标近红外图像，将挑选出的目标近红外图像本身或者其标识特征与目标对象信息关联在一起作为与目标人脸对应的近红外注册信息。这种方式可以保证存储在近红外底库中的底库近红外图像或存储在近红外底库中的标识特征所属的底库近红外图像的清晰度，保证近红外注册信息的质量，进而保证后续将近红外底库用于近红外人脸识别时的识别准确率。

示例性地，步骤S240可以包括：将目标近红外图像以及目标对象信息存储到临时图像库中；以及当临时图像库中所存储的、包含目标人脸的目标近红外图像的数目达到预设数目时，从临时图像库中所存储的、包含目标人脸的目标近红外图像中选择图像质量最好的一个或多个目标近红外图像，以获得近红外注册信息，其中，近红外注册信息包括一个或多个目标近红外图像或者一个或多个目标近红外图像的标识特征，以及目标对象信息。

在一个示例中，RGB相机和近红外相机可以采集视频流，在某一连续时段中，近红外相机可以针对目标人脸采集多个人脸近红外图像，对应获得多个目标近红外图像。在另一示例中，RGB相机和近红外相机可以采集静态图像，近红外相机在多个不同时段针对目标人脸分别采集多个人脸近红外图像，对应获得多个目标近红外图像。

下面继续沿用上述门卫管理***的示例。例如，假设RGB底库中存储有与人脸B对应的底库对象信息和底库RGB图像，并假设人脸B所属员工X共进出办公楼十次，每次对其进行了一次RGB人脸识别。这样，每次均识别出员工X的身份，同时采集员工X的一个人脸近红外图像，将人脸近红外图像作为目标近红外图像。每次均将获得的目标近红外图像与员工X的个人信息关联在一起。最终累积获得员工X的十个目标近红外图像。假设预设数目是十，此时就可以从累积的十个目标近红外图像中选出质量最好的一个或多个目标近红外图像。示例性地，还可以提取所选择的一个或多个目标近红外图像的标识特征并将提取的标识特征与目标对象信息关联在一起形成所需的近红外注册信息。

在步骤S250，将近红外注册信息存储到近红外底库中。

示例性地，近红外底库中可以存储逐渐累积的底库近红外图像或底库近红外图像的标识特征以及相关的底库对象信息。后续进行近红外人脸识别时，可以从近红外底库中检索，以判断是否存在与待识别人脸匹配的近红外注册信息。

本文所述的标识特征可以是基于任何现有的或将来可能出现的特征提取方法从对应图像(例如目标近红外图像、目标RGB图像、底库近红外图像、底库RGB图像、待识别近红外图像、待识别RGB图像等)中提取出的图像特征。

需理解，目标近红外图像存储在近红外底库中之后，其转变为底库近红外图像。类似地，目标近红外图像的标识特征存储在近红外底库中之后，其转变为底库近红外图像的标识特征。目标RGB图像、目标RGB图像的标识特征、目标对象信息等信息均具有类似的转变情况，不再赘述。

根据本发明实施例的自动近红外人脸注册方法，在采集目标人脸的RGB图像的同时，自动采集人脸的近红外图像，获得近红外注册信息并将其存储起来，完成目标人脸的近红外人脸注册。无论是在RGB人脸注册过程中，还是在RGB人脸识别过程中，都可以进行自动的近红外人脸注册。

根据本发明实施例的自动近红外人脸注册方法对用户的配合要求低，能够实现在用户无感知情况下的近红外注册信息的自动累积。所累积的近红外注册信息可以用于RGB图像的图像质量不好时自动进行近红外人脸识别，还可以用作近红外人脸识别***的训练数据。例如，将所累积的近红外注册信息用于自动近红外人脸识别，可以解决在光照条件差的情况下的RGB人脸识别率低的问题。

示例性地，根据本发明实施例的自动近红外人脸注册方法可以在具有存储器和处理器的设备、装置或者***中实现。

根据本发明实施例的自动近红外人脸注册方法可以部署在图像采集端处，例如，可以部署在门禁管理***的图像采集端或者部署在诸如车站、商场、银行等公共场所的安防监控***的图像采集端。替代地，根据本发明实施例的自动近红外人脸注册方法还可以分布地部署在服务器端(或云端)和客户端处。例如，可以在客户端采集场景RGB图像和场景近红外图像，客户端将采集到的图像传送给服务器端(或云端)，由服务器端(或云端)进行自动近红外人脸注册。

根据本发明实施例，在步骤S230之前，方法200还可以包括：获取人脸RGB图像；基于人脸RGB图像获得包含目标人脸的目标RGB图像；以及基于目标RGB图像在RGB底库中进行检索，以确定RGB底库中是否存在与目标RGB图像匹配的底库RGB图像，或者基于目标RGB图像的标识特征在RGB底库中进行检索，以确定RGB底库中是否存在与目标RGB图像的标识特征匹配的底库RGB图像的标识特征。

上文已经描述了基于人脸RGB图像获得目标RGB图像的方法，此处不再赘述。

如上文所述，近红外人脸注册可以是在RGB人脸识别的过程中实施。RGB底库可以存储大量已知对象的底库RGB图像或底库RGB图像的标识特征以及相关的底库对象信息。例如，可以将目标RGB图像与RGB底库中的底库RGB图像一一对比，分别计算相似度。如果存在相似度大于预设相似度阈值的底库RGB图像，则确定目标人脸为已知人脸。假设检索出的底库RGB图像属于对象C，则说明目标人脸所属对象是对象C。

根据本发明实施例，步骤S230可以包括：确定RGB底库中存储的、与检索到的底库RGB图像或者检索到的底库RGB图像的标识特征相关的底库对象信息为目标对象信息。

可以利用RGB人脸识别的识别结果进行近红外人脸注册。沿用上述示例，假设在RGB底库中检索到一与目标RGB图像匹配的底库RGB图像，该底库RGB图像属于对象C，与检索到的底库RGB图像相关的底库对象信息即为对象C的底库对象信息。这样，可以将对象C的底库对象信息作为所需的目标对象信息用于与目标近红外图像或目标近红外图像的标识特征关联存储。

根据本发明实施例，步骤S230可以包括：在未检索到与目标RGB图像匹配的底库RGB图像或者未检索到与目标RGB图像的标识特征匹配的底库RGB图像的标识特征的情况下，输出用于提示目标人脸为未知人脸的提示信息；以及接收操作者的输入信息并基于输入信息确定目标对象信息。

RGB人脸注册可以是用户被动注册。例如，在RGB人脸识别过程中，发现用户是新用户，可以提示用户进行RGB人脸注册。同时利用RGB人脸注册时的对象信息进行近红外人脸注册。

例如，如果RGB人脸识别的识别结果显示目标人脸为未知人脸，则可以输出提示信息，提示操作者输入目标人脸所属对象的目标对象信息。假设目标人脸属于对象K，该对象之前从未进行过RGB人脸注册，因此在RGB底库中检索不到与其匹配的RGB注册信息。在这种情况下，操作者可以通过上述输入装置106输入对象K的对象信息。基于操作者的输入信息可以确定对象K的目标对象信息，该目标对象信息可以用于与对象K的目标近红外图像或对象K的目标近红外图像的标识特征关联存储。

示例性地，在步骤S230之后，方法200还可以包括：将目标RGB图像或者目标RGB图像的标识特征，以及目标对象信息一起存储在RGB底库中。

与近红外人脸注册类似地，可以基于目标RGB图像以及目标对象信息获得RGB注册信息。示例性地，RGB注册信息可以包括目标RGB图像或者目标RGB图像的标识特征。RGB注册信息还可以包括目标对象信息。在RGB人脸注册阶段或者RGB人脸识别阶段，可以将目标RGB图像或目标RGB图像的标识特征与基于操作者的输入信息所确定的目标对象信息一起存储在RGB底库中，用于以后的RGB人脸识别。将RGB注册信息存储起来可以增加RGB人脸识别能够使用的底库数据，有利于提高人脸的识别率。

根据本发明实施例，步骤S230可以包括：接收操作者的输入信息并基于输入信息确定目标对象信息。

RGB人脸注册还可以是用户主动注册，即不进行RGB人脸识别，直接将用户视为新用户进行注册。在RGB人脸注册过程中，操作者直接输入目标人脸所属对象的对象信息。基于操作者的输入信息可以确定所需的目标对象信息，该目标对象信息可以用于与目标近红外图像或目标近红外图像的标识特征关联存储。

示例性地，方法200还可以包括：获取人脸RGB图像；基于人脸RGB图像获得包含目标人脸的目标RGB图像；以及将目标RGB图像或者目标RGB图像的标识特征，以及目标对象信息一起存储在RGB底库中。

上文已经描述了基于人脸RGB图像获得目标RGB图像以及存储目标RGB图像或者目标RGB图像的标识特征以及目标对象信息的方式及意义，参考上文描述可以理解本实施例的实现方式，不再赘述。

根据本发明实施例，在步骤S210之前，方法200还可以包括：获取RGB相机所采集的包含目标人脸的初始RGB图像；以及判断初始RGB图像的图像质量是否满足预设要求，如果是，则确定初始RGB图像为人脸RGB图像。

RGB图像的图像质量与其光照条件有关，光照条件好，图像质量也比较好。仅将图像质量好的RGB图像用于后续的RGB人脸注册，可以保证存储在RGB底库中的RGB注册信息(底库RGB图像或底库RGB图像的标识特征)的有效性，进一步保证后续RGB人脸识别的准确率。同理，仅将图像质量好的RGB图像用于RGB人脸识别可以保证RGB人脸识别的准确率。

例如，可以对采集到的初始RGB图像进行质量评价，获得初始RGB图像的质量评分。仅对于质量评分大于预设评分阈值的初始RGB图像，才将其作为人脸RGB图像用于RGB人脸注册或RGB人脸识别。

根据本发明另一方面，提供一种自动近红外人脸识别方法。图3示出根据本发明一个实施例的自动近红外人脸识别方法300的示意性流程图。如图3所示，自动近红外人脸识别方法300包括以下步骤。

在步骤S310，获取RGB相机所采集的包含待识别人脸的人脸RGB图像。

在步骤S320，在人脸RGB图像的图像质量不满足预设要求的情况下，自动获取近红外相机在RGB相机采集人脸RGB图像的同时所自动采集的包含待识别人脸的人脸近红外图像。

在步骤S330，至少基于人脸近红外图像获得包含待识别人脸的待识别近红外图像。

在步骤S340，基于待识别近红外图像或待识别近红外图像的标识特征在自动近红外注册方法200中所述的近红外底库中进行检索，以确定待识别人脸是否是已知人脸。

上文所述的自动累积人脸的近红外注册信息的近红外底库可以用于自动近红外人脸识别。

与上述自动近红外人脸注册方法200中所涉及的人脸RGB图像及人脸近红外图像类似地，自动近红外人脸识别方法300中所涉及的人脸RGB图像及人脸近红外图像可以分别是RGB相机和近红外相机针对各自的图像采集区域采集到的完整图像。人脸RGB图像及人脸近红外图像可以是RGB相机及近红外相机采集到的原始图像，也可以是对原始图像进行预处理之后获得的图像。此外，人脸RGB图像及人脸近红外图像可以是单个的静态图像，也可以是视频流中的某一视频帧。

基于人脸RGB图像可以获得包含待识别人脸的待识别RGB图像，其实施方式与上述自动近红外人脸注册方法200中的基于人脸RGB图像获得目标RGB图像的实施方式类似。本领域技术人员可以基于上文描述理解待识别RGB图像及其获得方式，在此不再赘述。类似地，至少基于人脸近红外图像可以获得包含待识别人脸的待识别近红外图像，其实施方式与上述自动近红外人脸注册方法200中的至少基于人脸近红外图像获得包含目标人脸的目标近红外图像的实施方式类似。本领域技术人员可以基于上文描述理解待识别近红外图像及其获得方式，在此不再赘述。

示例性地，在待识别人脸进行RGB人脸识别时，如果发现采集到的人脸RGB图像的图像质量不好，无法进行RGB人脸识别或者可能导致识别结果不准确，则可以自动采集待识别人脸的人脸近红外图像，并利用上文所述的近红外底库进行检索。例如，如果近红外底库中存储的是底库近红外图像，则可以将待识别近红外图像与所有底库近红外图像一一对比，分别计算相似度，相似度大于预设相似度阈值的为与待识别近红外图像匹配的底库近红外图像。如果在近红外底库中检索到与近红外图像匹配的底库近红外图像，说明待识别人脸为已知人脸，否则说明待识别人脸为未知人脸。

用于判断场景RGB图像的图像质量的预设要求与上文所述的用于判断初始RGB图像的图像质量的预设要求可以相同，也可以不同。

如果近红外底库中存储的是底库近红外图像的标识特征，则可以将待识别近红外图像的标识特征与所有底库近红外图像的标识特征一一对比，分别计算相似度。本领域技术人员可以根据上述底库近红外图像的检索过程理解底库近红外图像的标识特征的检索过程，不再赘述。

RGB人脸识别***在光照条件不好的环境中，如在黑暗环境或者点光源环境中，所采集的RGB图像光照不均匀或者信噪低，从而导致人脸识别率大幅下降。由于近红外相机能够滤除大部分可见光波段的能量，因此其成像质量稳定，基本不受外界光线干扰。根据本发明实施例的自动近红外人脸识别方法，在RGB图像的图像质量不好的情况下，自动采用近红外人脸识别方式进行人脸识别，可以大大提高人脸识别率。并且，根据本发明实施例的自动近红外人脸识别方法无需用户配合，在用户无感知的情况下实现近红外人脸识别，因此用户体验比较好。此外，由于采用先前自动累积用户的近红外注册信息的近红外底库进行近红外人脸识别，因此根据本发明实施例的自动近红外人脸识别方法是一种可以自主升级的方法。自动近红外人脸识别和注册可以交叉或同时进行，随着近红外底库中的信息量越来越大，自动近红外人脸识别的识别率也会越来越高。

根据本发明实施例，在步骤S310之后，方法300还可以包括：在人脸RGB图像的图像质量满足预设要求的情况下，基于人脸RGB图像获得包含待识别人脸的待识别RGB图像；以及基于待识别RGB图像或待识别RGB图像的标识特征在RGB底库中进行检索，以确定待识别人脸是否是已知人脸。

如果人脸RGB图像的图像质量足够好，可以直接进行RGB人脸识别，如果人脸RGB图像的图像质量不好，可以自动进行近红外人脸识别。这是一种双识别模式自动切换的工作方式，这种方式可以在用户无感知的情况下，自动选择合适的识别模式来进行人脸识别。因此，双识别模式自动切换的工作方式不影响用户体验，同时还可以实现高质量和高效率的人脸识别。

根据本发明实施例，步骤S320仅在近红外底库中存储的底库近红外图像的数目或者近红外底库中存储的标识特征所属的底库近红外图像的数目达到第一数目阈值和/或近红外底库中存储的底库近红外图像所对应的对象的数目或者近红外底库中存储的底库近红外图像的标识特征所对应的对象的数目达到第二数目阈值时才执行。

在一个示例中，在进行近红外人脸注册时，存储到近红外底库中的是近红外图像的标识特征。假设第一数目阈值为10000，则在近红外底库中存储10000个底库近红外图像的标识特征之前，不开启近红外人脸识别功能，当近红外底库中存储到10000个底库近红外图像的标识特征时，开启近红外人脸识别功能。开启近红外人脸识别功能之后，当人脸RGB图像的图像质量不好时，可以自动进行近红外人脸识别。

在一个示例中，在进行近红外人脸注册时，存储到近红外底库中的是近红外图像。假设第二数目阈值为100，则在近红外底库中存储与100个对象对应的底库近红外图像之前，不开启近红外人脸识别功能，当近红外底库中存储到与100个对象对应的底库近红外图像时，开启近红外人脸识别功能。开启近红外人脸识别功能之后，当人脸RGB图像的图像质量不好时，可以自动进行近红外人脸识别。

在近红外人脸识别功能的开启条件中，还可以同时考虑底库近红外图像或标识特征所属的底库近红外图像的数目以及底库近红外图像或底库近红外图像的标识特征所对应的对象的数目，不再赘述。

根据本发明另一方面，提供一种自动近红外人脸注册装置。图4示出了根据本发明一个实施例的自动近红外人脸注册装置400的示意性框图。

如图4所示，根据本发明实施例的自动近红外人脸注册装置400包括人脸近红外图像获取模块410、目标近红外图像获取模块420、对象信息获取模块430、近红外注册信息获得模块440和近红外注册信息存储模块450。所述各个模块可分别执行上文中结合图2描述的自动近红外人脸注册方法的各个步骤/功能。以下仅对该自动近红外人脸注册装置400的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。

人脸近红外图像获取模块410用于自动获取近红外相机在RGB相机采集包含目标人脸的人脸RGB图像的同时所自动采集的包含目标人脸的人脸近红外图像。人脸近红外图像获取模块410可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

目标近红外图像获取模块420用于至少基于人脸近红外图像获得包含目标人脸的目标近红外图像。目标近红外图像获取模块420可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

对象信息获取模块430用于获取与人脸RGB图像中的目标人脸相关的目标对象信息，其中，目标对象信息为目标人脸所属对象的标识信息。对象信息获取模块430可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

近红外注册信息获得模块440用于至少基于目标近红外图像以及目标对象信息获得与目标人脸对应的近红外注册信息。近红外注册信息获得模块440可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

近红外注册信息存储模块450用于将近红外注册信息存储到近红外底库中。近红外注册信息存储模块450可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

示例性地，近红外注册信息获得模块440包括：临时存储子模块，用于将目标近红外图像以及目标对象信息存储到临时图像库中；以及近红外注册信息获得子模块，用于当临时图像库中所存储的、包含目标人脸的目标近红外图像的数目达到预设数目时，从临时图像库中所存储的、包含目标人脸的目标近红外图像中选择图像质量最好的一个或多个目标近红外图像，以获得近红外注册信息，其中，近红外注册信息包括一个或多个目标近红外图像或者一个或多个目标近红外图像的标识特征，以及目标对象信息。

示例性地，近红外注册信息获得模块440包括：近红外注册信息确定子模块，用于确定近红外注册信息包括目标近红外图像或者目标近红外图像的标识特征，以及目标对象信息。

示例性地，自动近红外人脸注册装置400还包括：第一人脸RGB图像获取模块(未示出)，用于在对象信息获取模块430获取与目标RGB图像中的目标人脸相关的目标对象信息之前，获取人脸RGB图像；第二目标RGB图像获取模块(未示出)，用于基于人脸RGB图像获得包含目标人脸的目标RGB图像；以及RGB检索模块(未示出)，用于基于目标RGB图像在RGB底库中进行检索，以确定RGB底库中是否存在与目标RGB图像匹配的底库RGB图像，或者基于目标RGB图像的标识特征在RGB底库中进行检索，以确定RGB底库中是否存在与目标RGB图像的标识特征匹配的底库RGB图像的标识特征。

示例性地，对象信息获取模块430包括：对象信息确定子模块，用于确定RGB底库中存储的、与检索到的底库RGB图像或者检索到的底库RGB图像的标识特征相关的底库对象信息为目标对象信息。

示例性地，对象信息获取模块430包括：提示输出子模块，用于在未检索到与目标RGB图像匹配的底库RGB图像或者未检索到与目标RGB图像的标识特征匹配的底库RGB图像的标识特征的情况下，输出用于提示目标人脸为未知人脸的提示信息；以及第一信息接收和确定子模块，用于接收操作者的输入信息并基于输入信息确定目标对象信息。

示例性地，自动近红外人脸注册装置400还包括：第一RGB存储模块(未示出)，用于在对象信息获取模块430获取与目标RGB图像中的目标人脸相关的目标对象信息之后，将目标RGB图像或者目标RGB图像的标识特征，以及目标对象信息一起存储在RGB底库中。

示例性地，对象信息获取模块430包括：第二信息接收和确定子模块，用于接收操作者的输入信息并基于输入信息确定目标对象信息。

示例性地，自动近红外人脸注册装置400还包括：第二人脸RGB图像获取模块(未示出)，用于获取人脸RGB图像；第二目标RGB图像获取模块(未示出)，用于基于人脸RGB图像获得包含目标人脸的目标RGB图像；以及第二RGB存储模块(未示出)，用于将目标RGB图像或者目标RGB图像的标识特征，以及目标对象信息一起存储在RGB底库中。

示例性地，第一目标RGB图像获取模块或第二目标RGB图像获取模块包括：第一人脸检测子模块，用于对人脸RGB图像进行人脸检测，以获得仅包含目标人脸的图像作为目标RGB图像。

示例性地，目标近红外图像获取模块420包括：第二人脸检测子模块，用于对人脸近红外图像进行人脸检测，以确定人脸近红外图像中所包含的所有人脸；位置确定子模块，用于根据人脸RGB图像和人脸近红外图像的像素对应关系以及目标人脸在人脸RGB图像中的位置确定目标人脸在人脸近红外图像中的位置，其中，像素对应关系基于RGB相机和近红外相机之间的物理位置关系确定；以及目标近红外图像获得子模块，用于根据目标人脸在人脸近红外图像中的位置以及人脸近红外图像的人脸检测结果，提取目标人脸所在的图像区域，以获得仅包含目标人脸的图像作为目标近红外图像。

示例性地，自动近红外人脸注册装置400还包括：初始RGB图像获取模块(未示出)，用于在人脸近红外图像获取模块410自动获取近红外相机在RGB相机采集包含目标人脸的人脸RGB图像的同时所自动采集的包含所述目标人脸的人脸近红外图像之前，获取RGB相机所采集的包含目标人脸的初始RGB图像；以及人脸RGB图像确定模块，用于判断初始RGB图像的图像质量是否满足预设要求，如果是，则确定初始RGB图像为人脸RGB图像。

根据本发明另一方面，提供一种自动近红外人脸识别装置。图5示出了根据本发明一个实施例的自动近红外人脸识别装置500的示意性框图。

如图5所示，根据本发明实施例的自动近红外人脸识别装置500包括人脸RGB图像获取模块510、人脸近红外图像获取模块520、待识别近红外图像获取模块530和近红外检索模块540。所述各个模块可分别执行上文中结合图3描述的自动近红外人脸识别方法的各个步骤/功能。以下仅对该自动近红外人脸识别装置500的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。

人脸RGB图像获取模块510用于获取RGB相机所采集的包含待识别人脸的人脸RGB图像。人脸RGB图像获取模块510可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

人脸近红外图像获取模块520用于在人脸RGB图像的图像质量不满足预设要求的情况下，自动获取近红外相机在RGB相机采集人脸RGB图像的同时所自动采集的包含待识别人脸的人脸近红外图像。人脸近红外图像获取模块520可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

待识别近红外图像获取模块530用于至少基于人脸近红外图像获得包含待识别人脸的待识别近红外图像。待识别近红外图像获取模块530可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

近红外检索模块540用于基于待识别近红外图像或待识别近红外图像的标识特征在自动近红外人脸注册方法200中的近红外底库中进行检索，以确定待识别人脸是否是已知人脸。近红外检索模块540可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

示例性地，自动近红外人脸识别装置500还包括：待识别RGB图像获取模块(未示出)，用于在人脸RGB图像获取模块510获取RGB相机所采集的包含待识别人脸的人脸RGB图像之后，在人脸RGB图像的图像质量满足预设要求的情况下，基于人脸RGB图像获得包含待识别人脸的待识别RGB图像；以及RGB检索模块，用于基于待识别RGB图像或待识别RGB图像的标识特征在RGB底库中进行检索，以确定待识别人脸是否是已知人脸。

示例性地，人脸近红外图像获取模块520仅在近红外底库中存储的底库近红外图像的数目或者近红外底库中存储的标识特征所属的底库近红外图像的数目达到第一数目阈值和/或近红外底库中存储的底库近红外图像所对应的对象的数目或者近红外底库中存储的底库近红外图像的标识特征所对应的对象的数目达到第二数目阈值时才启动。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

可以理解，自动近红外人脸注册装置400与自动近红外人脸识别装置500可以在同一设备(例如上述电子设备100)上实现。

图6示出了根据本发明一个实施例的自动近红外人脸注册***600的示意性框图。自动近红外人脸注册***600包括图像采集装置610、存储装置620、处理器630以及近红外光源640。

图像采集装置610用于采集图像，例如人脸RGB图像和人脸近红外图像。图像采集装置610是可选的，自动近红外人脸注册***600可以不包括图像采集装置610。在这种情况下，可以利用其他图像采集装置采集人脸RGB图像和人脸近红外图像，并将采集的图像发送给自动近红外人脸注册***600。

所述存储装置620存储用于实现根据本发明实施例的自动近红外人脸注册方法中的相应步骤的计算机程序指令。

所述处理器630用于运行所述存储装置620中存储的计算机程序指令，以执行根据本发明实施例的自动近红外人脸注册方法的相应步骤，并且用于实现根据本发明实施例的自动近红外人脸注册装置400中的人脸近红外图像获取模块410、目标近红外图像获取模块420、对象信息获取模块430、近红外注册信息获得模块440和近红外注册信息存储模块450。

在一个实施例中，所述计算机程序指令被所述处理器830运行时用于执行以下步骤：步骤S210：自动获取近红外相机在RGB相机采集包含目标人脸的人脸RGB图像的同时所自动采集的包含目标人脸的人脸近红外图像；步骤S220：至少基于人脸近红外图像获得包含目标人脸的目标近红外图像；步骤S230：获取与人脸RGB图像中的目标人脸相关的目标对象信息，其中，目标对象信息为目标人脸所属对象的标识信息；步骤S240：至少基于目标近红外图像以及目标对象信息获得与目标人脸对应的近红外注册信息；以及步骤S250：将近红外注册信息存储到近红外底库中。

示例性地，计算机程序指令被处理器运行时所用于执行的步骤S240包括：将目标近红外图像以及目标对象信息存储到临时图像库中；以及当临时图像库中所存储的、包含目标人脸的目标近红外图像的数目达到预设数目时，从临时图像库中所存储的、包含目标人脸的目标近红外图像中选择图像质量最好的一个或多个目标近红外图像，以获得近红外注册信息，其中，近红外注册信息包括一个或多个目标近红外图像或者一个或多个目标近红外图像的标识特征，以及目标对象信息。

示例性地，计算机程序指令被处理器运行时所用于执行的步骤S240包括：确定近红外注册信息包括目标近红外图像或者目标近红外图像的标识特征，以及目标对象信息。

示例性地，在计算机程序指令被处理器运行时所用于执行的步骤S230之前，计算机程序指令被处理器运行时还用于执行以下步骤：获取人脸RGB图像；基于人脸RGB图像获得包含目标人脸的目标RGB图像；以及基于目标RGB图像在RGB底库中进行检索，以确定RGB底库中是否存在与目标RGB图像匹配的底库RGB图像，或者基于目标RGB图像的标识特征在RGB底库中进行检索，以确定RGB底库中是否存在与目标RGB图像的标识特征匹配的底库RGB图像的标识特征。

示例性地，计算机程序指令被处理器运行时所用于执行的步骤S230包括：确定RGB底库中存储的、与检索到的底库RGB图像或者检索到的底库RGB图像的标识特征相关的底库对象信息为目标对象信息。

示例性地，计算机程序指令被处理器运行时所用于执行的步骤S230包括：在未检索到与目标RGB图像匹配的底库RGB图像或者未检索到与目标RGB图像的标识特征匹配的底库RGB图像的标识特征的情况下，输出用于提示目标人脸为未知人脸的提示信息；以及接收操作者的输入信息并基于输入信息确定目标对象信息。

示例性地，在计算机程序指令被处理器运行时所用于执行的步骤S230之后，计算机程序指令被处理器运行时还用于执行以下步骤：将目标RGB图像或者目标RGB图像的标识特征，以及目标对象信息一起存储在RGB底库中。

示例性地，计算机程序指令被处理器运行时所用于执行的步骤S230包括：接收操作者的输入信息并基于输入信息确定目标对象信息。

示例性地，计算机程序指令被处理器运行时还用于执行以下步骤：获取人脸RGB图像；基于人脸RGB图像获得包含目标人脸的目标RGB图像；以及将目标RGB图像或者目标RGB图像的标识特征，以及目标对象信息一起存储在RGB底库中。

示例性地，计算机程序指令被处理器运行时所用于执行的基于人脸RGB图像获得包含目标人脸的目标RGB图像的步骤包括：对人脸RGB图像进行人脸检测，以获得仅包含目标人脸的图像作为目标RGB图像。

示例性地，计算机程序指令被处理器运行时所用于执行的步骤S220包括：对人脸近红外图像进行人脸检测，以确定人脸近红外图像中所包含的所有人脸；根据人脸RGB图像和人脸近红外图像的像素对应关系以及目标人脸在人脸RGB图像中的位置确定目标人脸在人脸近红外图像中的位置，其中，像素对应关系基于RGB相机和近红外相机之间的物理位置关系确定；以及根据目标人脸在人脸近红外图像中的位置以及人脸近红外图像的人脸检测结果，提取目标人脸所在的图像区域，以获得仅包含目标人脸的图像作为目标近红外图像。

示例性地，在计算机程序指令被处理器运行时所用于执行的步骤S210之前，计算机程序指令被处理器运行时还用于执行以下步骤：获取RGB相机所采集的包含目标人脸的初始RGB图像；以及判断初始RGB图像的图像质量是否满足预设要求，如果是，则确定初始RGB图像为人脸RGB图像。

根据本发明另一方面，提供一种自动近红外人脸识别***，该自动近红外人脸识别***包括图像采集装置、存储装置、处理器以及近红外光源。自动近红外人脸识别***中的图像采集装置、存储装置、处理器以及近红外光源分别与自动近红外人脸注册***600中的图像采集装置610、存储装置620、处理器630以及近红外光源640结构类似，本领域技术人员可以参考图6理解自动近红外人脸识别***的结构，为了简洁，不再单独示出。

图像采集装置用于采集图像，例如人脸RGB图像和人脸近红外图像。图像采集装置是可选的，自动近红外人脸识别***可以不包括图像采集装置。在这种情况下，可以利用其他图像采集装置采集人脸RGB图像和人脸近红外图像，并将采集的图像发送给自动近红外人脸识别***。

所述存储装置存储用于实现根据本发明实施例的自动近红外人脸识别方法中的相应步骤的计算机程序指令。

所述处理器用于运行所述存储装置中存储的计算机程序指令，以执行根据本发明实施例的自动近红外人脸识别方法的相应步骤，并且用于实现根据本发明实施例的自动近红外人脸识别装置500中的人脸RGB图像获取模块510、人脸近红外图像获取模块520、待识别近红外图像获取模块530和近红外检索模块540。

在一个实施例中，所述计算机程序指令被所述处理器运行时用于执行以下步骤：步骤S310：获取RGB相机所采集的包含待识别人脸的人脸RGB图像；步骤S320：在人脸RGB图像的图像质量不满足预设要求的情况下，自动获取近红外相机在RGB相机采集人脸RGB图像的同时所自动采集的包含待识别人脸的人脸近红外图像；步骤S330：至少基于人脸近红外图像获得包含待识别人脸的待识别近红外图像；以及步骤S340：基于待识别近红外图像或待识别近红外图像的标识特征在自动近红外人脸注册方法中所述的近红外底库中进行检索，以确定待识别人脸是否是已知人脸。

示例性地，在计算机程序指令被处理器运行时所用于执行的步骤S310之后，计算机程序指令被处理器运行时还用于执行以下步骤：在人脸RGB图像的图像质量满足预设要求的情况下，基于人脸RGB图像获得包含待识别人脸的待识别RGB图像；以及基于待识别RGB图像或待识别RGB图像的标识特征在RGB底库中进行检索，以确定待识别人脸是否是已知人脸。

示例性地，计算机程序指令被处理器运行时所用于执行的步骤S320仅在近红外底库中存储的底库近红外图像的数目或者近红外底库中存储的标识特征所属的底库近红外图像的数目达到第一数目阈值和/或近红外底库中存储的底库近红外图像所对应的对象的数目或者近红外底库中存储的底库近红外图像的标识特征所对应的对象的数目达到第二数目阈值时才执行。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的自动近红外人脸注册方法的相应步骤，并且用于实现根据本发明实施例的自动近红外人脸注册装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。

在一个实施例中，所述程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的自动近红外人脸注册装置的各个功能模块，并且/或者可以执行根据本发明实施例的自动近红外人脸注册方法。

在一个实施例中，所述程序指令在运行时用于执行以下步骤：步骤S210：自动获取近红外相机在RGB相机采集包含目标人脸的人脸RGB图像的同时所自动采集的包含目标人脸的人脸近红外图像；步骤S220：至少基于人脸近红外图像获得包含目标人脸的目标近红外图像；步骤S230：获取与人脸RGB图像中的目标人脸相关的目标对象信息，其中，目标对象信息为目标人脸所属对象的标识信息；步骤S240：至少基于目标近红外图像以及目标对象信息获得与目标人脸对应的近红外注册信息；以及步骤S250：将近红外注册信息存储到近红外底库中。

示例性地，程序指令在运行时所用于执行的步骤S240包括：将目标近红外图像以及目标对象信息存储到临时图像库中；以及当临时图像库中所存储的、包含目标人脸的目标近红外图像的数目达到预设数目时，从临时图像库中所存储的、包含目标人脸的目标近红外图像中选择图像质量最好的一个或多个目标近红外图像，以获得近红外注册信息，其中，近红外注册信息包括一个或多个目标近红外图像或者一个或多个目标近红外图像的标识特征，以及目标对象信息。

示例性地，程序指令在运行时所用于执行的步骤S240包括：确定近红外注册信息包括目标近红外图像或者目标近红外图像的标识特征，以及目标对象信息。

示例性地，在程序指令在运行时所用于执行的步骤S230之前，程序指令在运行时还用于执行以下步骤：获取人脸RGB图像；基于人脸RGB图像获得包含目标人脸的目标RGB图像；以及基于目标RGB图像在RGB底库中进行检索，以确定RGB底库中是否存在与目标RGB图像匹配的底库RGB图像，或者基于目标RGB图像的标识特征在RGB底库中进行检索，以确定RGB底库中是否存在与目标RGB图像的标识特征匹配的底库RGB图像的标识特征。

示例性地，程序指令在运行时所用于执行的步骤S230包括：确定RGB底库中存储的、与检索到的底库RGB图像或者检索到的底库RGB图像的标识特征相关的底库对象信息为目标对象信息。

示例性地，程序指令在运行时所用于执行的步骤S230包括：在未检索到与目标RGB图像匹配的底库RGB图像或者未检索到与目标RGB图像的标识特征匹配的底库RGB图像的标识特征的情况下，输出用于提示目标人脸为未知人脸的提示信息；以及接收操作者的输入信息并基于输入信息确定目标对象信息。

示例性地，在程序指令在运行时所用于执行的步骤S230之后，程序指令在运行时还用于执行以下步骤：将目标RGB图像或者目标RGB图像的标识特征，以及目标对象信息一起存储在RGB底库中。

示例性地，程序指令在运行时所用于执行的步骤S230包括：接收操作者的输入信息并基于输入信息确定目标对象信息。

示例性地，程序指令在运行时还用于执行以下步骤：获取人脸RGB图像；基于人脸RGB图像获得包含目标人脸的目标RGB图像；以及将目标RGB图像或者目标RGB图像的标识特征，以及目标对象信息一起存储在RGB底库中。

示例性地，程序指令在运行时所用于执行的基于人脸RGB图像获得包含目标人脸的目标RGB图像的步骤包括：对人脸RGB图像进行人脸检测，以获得仅包含目标人脸的图像作为目标RGB图像。

示例性地，程序指令在运行时所用于执行的步骤S220包括：对人脸近红外图像进行人脸检测，以确定人脸近红外图像中所包含的所有人脸；根据人脸RGB图像和人脸近红外图像的像素对应关系以及目标人脸在人脸RGB图像中的位置确定目标人脸在人脸近红外图像中的位置，其中，像素对应关系基于RGB相机和近红外相机之间的物理位置关系确定；以及根据目标人脸在人脸近红外图像中的位置以及人脸近红外图像的人脸检测结果，提取目标人脸所在的图像区域，以获得仅包含目标人脸的图像作为目标近红外图像。

示例性地，在程序指令在运行时所用于执行的步骤S210之前，程序指令在运行时还用于执行以下步骤：获取RGB相机所采集的包含目标人脸的初始RGB图像；以及判断初始RGB图像的图像质量是否满足预设要求，如果是，则确定初始RGB图像为人脸RGB图像。

根据本发明实施例的自动近红外人脸注册***中的各模块可以通过根据本发明实施例的实施自动近红外人脸注册的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

根据本发明另一方面，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的自动近红外人脸识别方法的相应步骤，并且用于实现根据本发明实施例的自动近红外人脸识别装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。

在一个实施例中，所述程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的自动近红外人脸识别装置的各个功能模块，并且/或者可以执行根据本发明实施例的自动近红外人脸识别方法。

在一个实施例中，所述程序指令在运行时用于执行以下步骤：步骤S310：获取RGB相机所采集的包含待识别人脸的人脸RGB图像；步骤S320：在人脸RGB图像的图像质量不满足预设要求的情况下，自动获取近红外相机在RGB相机采集人脸RGB图像的同时所自动采集的包含待识别人脸的人脸近红外图像；步骤S330：至少基于人脸近红外图像获得包含待识别人脸的待识别近红外图像；以及步骤S340：基于待识别近红外图像或待识别近红外图像的标识特征在自动近红外人脸注册方法中所述的近红外底库中进行检索，以确定待识别人脸是否是已知人脸。

示例性地，在程序指令在运行时所用于执行的步骤S310之后，程序指令在运行时还用于执行以下步骤：在人脸RGB图像的图像质量满足预设要求的情况下，基于人脸RGB图像获得包含待识别人脸的待识别RGB图像；以及基于待识别RGB图像或待识别RGB图像的标识特征在RGB底库中进行检索，以确定待识别人脸是否是已知人脸。

示例性地，程序指令在运行时所用于执行的步骤S320仅在近红外底库中存储的底库近红外图像的数目或者近红外底库中存储的标识特征所属的底库近红外图像的数目达到第一数目阈值和/或近红外底库中存储的底库近红外图像所对应的对象的数目或者近红外底库中存储的底库近红外图像的标识特征所对应的对象的数目达到第二数目阈值时才执行。

根据本发明实施例的自动近红外人脸识别***中的各模块可以通过根据本发明实施例的实施自动近红外人脸识别的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的自动近红外人脸注册装置或自动近红外人脸识别装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (21)

1.一种自动近红外人脸注册方法，包括：

步骤S210：自动获取近红外相机在RGB相机采集包含目标人脸的人脸RGB图像的同时所自动采集的包含所述目标人脸的人脸近红外图像；

步骤S220：至少基于所述人脸近红外图像获得包含所述目标人脸的目标近红外图像；

步骤S230：获取与所述人脸RGB图像中的所述目标人脸相关的目标对象信息，其中，所述目标对象信息为所述目标人脸所属对象的标识信息；

步骤S240：至少基于所述目标近红外图像以及所述目标对象信息获得与所述目标人脸对应的近红外注册信息；以及

步骤S250：将所述近红外注册信息存储到近红外底库中。

2.如权利要求1所述的方法，其中，所述步骤S240包括：

将所述目标近红外图像以及所述目标对象信息存储到临时图像库中；以及

当所述临时图像库中所存储的、包含所述目标人脸的目标近红外图像的数目达到预设数目时，从所述临时图像库中所存储的、包含所述目标人脸的目标近红外图像中选择图像质量最好的一个或多个目标近红外图像，以获得所述近红外注册信息，其中，所述近红外注册信息包括所述一个或多个目标近红外图像或者所述一个或多个目标近红外图像的标识特征，以及所述目标对象信息。

3.如权利要求1所述的方法，其中，所述步骤S240包括：

确定所述近红外注册信息包括所述目标近红外图像或者所述目标近红外图像的标识特征，以及所述目标对象信息。

4.如权利要求1所述的方法，其中，在所述步骤S230之前，所述方法还包括：

获取所述人脸RGB图像；

基于所述人脸RGB图像获得包含所述目标人脸的目标RGB图像；以及

基于所述目标RGB图像在RGB底库中进行检索，以确定所述RGB底库中是否存在与所述目标RGB图像匹配的底库RGB图像，或者基于所述目标RGB图像的标识特征在RGB底库中进行检索，以确定所述RGB底库中是否存在与所述目标RGB图像的标识特征匹配的底库RGB图像的标识特征。

5.如权利要求4所述的方法，其中，所述步骤S230包括：

确定所述RGB底库中存储的、与检索到的底库RGB图像或者检索到的底库RGB图像的标识特征相关的底库对象信息为所述目标对象信息。

6.如权利要求4所述的方法，其中，所述步骤S230包括：

在未检索到与所述目标RGB图像匹配的底库RGB图像或者未检索到与所述目标RGB图像的标识特征匹配的底库RGB图像的标识特征的情况下，输出用于提示所述目标人脸为未知人脸的提示信息；以及

接收操作者的输入信息并基于所述输入信息确定所述目标对象信息。

7.如权利要求6所述的方法，其中，在所述步骤S230之后，所述方法还包括：

将所述目标RGB图像或者所述目标RGB图像的标识特征，以及所述目标对象信息一起存储在RGB底库中。

8.如权利要求1所述的方法，其中，所述步骤S230包括：

接收操作者的输入信息并基于所述输入信息确定所述目标对象信息。

9.如权利要求8所述的方法，其中，所述方法还包括：

获取所述人脸RGB图像；

基于所述人脸RGB图像获得包含所述目标人脸的目标RGB图像；以及

将所述目标RGB图像或者所述目标RGB图像的标识特征，以及所述目标对象信息一起存储在RGB底库中。

10.如权利要求4或9所述的方法，其中，所述基于所述人脸RGB图像获得包含所述目标人脸的目标RGB图像包括：

对所述人脸RGB图像进行人脸检测，以获得仅包含所述目标人脸的图像作为所述目标RGB图像。

11.如权利要求1所述的方法，其中，所述步骤S220包括：

对所述人脸近红外图像进行人脸检测，以确定所述人脸近红外图像中所包含的所有人脸；

根据所述人脸RGB图像和所述人脸近红外图像的像素对应关系以及所述目标人脸在所述人脸RGB图像中的位置确定所述目标人脸在所述人脸近红外图像中的位置，其中，所述像素对应关系基于所述RGB相机和所述近红外相机之间的物理位置关系确定；以及

根据所述目标人脸在所述人脸近红外图像中的位置以及所述人脸近红外图像的人脸检测结果，提取所述目标人脸所在的图像区域，以获得仅包含所述目标人脸的图像作为所述目标近红外图像。

12.如权利要求1所述的方法，其中，在所述步骤S210之前，所述方法还包括：

获取所述RGB相机所采集的包含所述目标人脸的初始RGB图像；以及

判断所述初始RGB图像的图像质量是否满足预设要求，如果是，则确定所述初始RGB图像为所述人脸RGB图像。

13.一种自动近红外人脸识别方法，包括：

步骤S310：获取RGB相机所采集的包含待识别人脸的人脸RGB图像；

步骤S320：在所述人脸RGB图像的图像质量不满足预设要求的情况下，自动获取近红外相机在所述RGB相机采集所述人脸RGB图像的同时所自动采集的包含所述待识别人脸的人脸近红外图像；

步骤S330：至少基于所述人脸近红外图像获得包含所述待识别人脸的待识别近红外图像；以及

步骤S340：基于所述待识别近红外图像或所述待识别近红外图像的标识特征在如权利要求1至12任一项所述的近红外底库中进行检索，以确定所述待识别人脸是否是已知人脸。

14.如权利要求13所述的方法，其中，在步骤S310之后，所述方法还包括：

在所述人脸RGB图像的图像质量满足所述预设要求的情况下，

基于所述人脸RGB图像获得包含所述待识别人脸的待识别RGB图像；以及

基于所述待识别RGB图像或所述待识别RGB图像的标识特征在RGB底库中进行检索，以确定所述待识别人脸是否是已知人脸。

15.如权利要求13所述的方法，其中，所述步骤S320仅在所述近红外底库中存储的底库近红外图像的数目或者所述近红外底库中存储的标识特征所属的底库近红外图像的数目达到第一数目阈值和/或所述近红外底库中存储的底库近红外图像所对应的对象的数目或者所述近红外底库中存储的底库近红外图像的标识特征所对应的对象的数目达到第二数目阈值时才执行。

16.一种自动近红外人脸注册装置，包括：

人脸近红外图像获取模块，用于自动获取近红外相机在RGB相机采集包含目标人脸的人脸RGB图像的同时所自动采集的包含所述目标人脸的人脸近红外图像；

目标近红外图像获取模块，用于至少基于所述人脸近红外图像获得包含所述目标人脸的目标近红外图像；

对象信息获取模块，用于获取与所述目标RGB图像中的所述目标人脸相关的目标对象信息，其中，所述目标对象信息为所述目标人脸所属对象的标识信息；

近红外注册信息获得模块，用于至少基于所述目标近红外图像以及所述目标对象信息获得与所述目标人脸对应的近红外注册信息；以及

近红外注册信息存储模块，用于将所述近红外注册信息存储到近红外底库中。

17.一种自动近红外人脸识别装置，包括：

人脸RGB图像获取模块，用于获取RGB相机所采集的包含待识别人脸的人脸RGB图像；

人脸近红外图像获取模块，用于在所述人脸RGB图像的图像质量不满足预设要求的情况下，自动获取近红外相机在所述RGB相机采集所述人脸RGB图像的同时所自动采集的包含所述待识别人脸的人脸近红外图像；

待识别近红外图像获取模块，用于至少基于所述人脸近红外图像获得包含所述待识别人脸的待识别近红外图像；以及

近红外检索模块，用于基于所述待识别近红外图像或所述待识别近红外图像的标识特征在如权利要求1至12任一项所述的近红外底库中进行检索，以确定所述待识别人脸是否是已知人脸。

18.一种自动近红外人脸注册***，包括图像采集装置、近红外光源、处理器和存储器，其中，所述图像采集装置包括RGB相机和近红外相机，所述近红外光源用于发出用于照射目标人脸的近红外光，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行以下步骤：

步骤S210：自动获取所述近红外相机在所述RGB相机采集包含所述目标人脸的人脸RGB图像的同时所自动采集的包含所述目标人脸的人脸近红外图像；

步骤S220：至少基于所述人脸近红外图像获得包含所述目标人脸的目标近红外图像；

步骤S230：获取与所述目标RGB图像中的所述目标人脸相关的目标对象信息，其中，所述目标对象信息为所述目标人脸所属对象的标识信息；

步骤S240：至少基于所述目标近红外图像以及所述目标对象信息获得与所述目标人脸对应的近红外注册信息；以及

步骤S250：将所述近红外注册信息存储到近红外底库中。

19.一种自动近红外人脸识别***，包括图像采集装置、近红外光源、处理器和存储器，其中，所述图像采集装置包括RGB相机和近红外相机，所述近红外光源用于发射用于照射待识别人脸的近红外光，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行以下步骤：

步骤S310：获取RGB相机所采集的包含待识别人脸的人脸RGB图像；

步骤S320：在所述人脸RGB图像的图像质量不满足预设要求的情况下，自动获取近红外相机在所述RGB相机采集所述人脸RGB图像的同时所自动采集的包含所述待识别人脸的人脸近红外图像；

步骤S330：至少基于所述人脸近红外图像获得包含所述待识别人脸的待识别近红外图像；以及

步骤S340：基于所述待识别近红外图像或所述待识别近红外图像的标识特征在如权利要求1至12任一项所述的近红外底库中进行检索，以确定所述待识别人脸是否是已知人脸。

20.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行以下步骤：

步骤S210：自动获取所述近红外相机在所述RGB相机采集包含所述目标人脸的人脸RGB图像的同时所自动采集的包含所述目标人脸的人脸近红外图像；

步骤S220：至少基于所述人脸近红外图像获得包含所述目标人脸的目标近红外图像；

步骤S230：获取与所述目标RGB图像中的所述目标人脸相关的目标对象信息，其中，所述目标对象信息为所述目标人脸所属对象的标识信息；

步骤S240：至少基于所述目标近红外图像以及所述目标对象信息获得与所述目标人脸对应的近红外注册信息；以及

步骤S250：将所述近红外注册信息存储到近红外底库中。

21.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行以下步骤：

步骤S310：获取RGB相机所采集的包含待识别人脸的人脸RGB图像；

步骤S320：在所述人脸RGB图像的图像质量不满足预设要求的情况下，自动获取近红外相机在所述RGB相机采集所述人脸RGB图像的同时所自动采集的包含所述待识别人脸的人脸近红外图像；

步骤S330：至少基于所述人脸近红外图像获得包含所述待识别人脸的待识别近红外图像；以及

步骤S340：基于所述待识别近红外图像或所述待识别近红外图像的标识特征在如权利要求1至12任一项所述的近红外底库中进行检索，以确定所述待识别人脸是否是已知人脸。