CN109190495B - 性别识别方法、装置及电子设备 - Google Patents

Abstract

本申请涉及一种性别识别方法、装置及电子设备。根据一示例性实施例，识别对象的性别的方法可包括：通过人脸识别对对象的性别进行第一识别；以及响应于所述第一识别不成功，通过热成像来对对象的性别进行第二识别，其中，所述第一识别和所述第二识别每个都包括：获得所述对象的多幅图像；关于所述多幅图像来识别所述对象的性别，以获得多个识别结果；以及如果所述多个识别结果中的一种性别判定的比率大于或等于第一阈值，则识别成功，否则识别失败。

Description

性别识别方法、装置及电子设备

技术领域

本申请总体上涉及图像识别领域，更具体地，涉及一种性别识别方法、装置及电子设备。

背景技术

近年来，人工智能已经在许多方面逐渐投入到商业应用中，以促进商业的进一步发展。例如，在商场环境中监视客流量、识别客户特征、以及确定客户偏好等。性别是客户的一个重要特征，因此在许多情况下，希望能够识别客户的性别，以进行例如有针对性的商业推广等。一般而言，可以通过人脸识别来容易地确定客户性别，然而在一些商场环境中，由于人流量大、移动速度快以及移动方向随机等原因，摄像头往往难以准确捕捉到全部进出对象全面的面部信息，因此不能准确判别大量客户的性别。

现有的一种技术方案是收集大量覆盖各种场景的视频，然后通过人工来对进出对象的性别进行判断。之后，可以与人脸识别算法给出的数据结果进行对比，从而发现算法的缺陷以完善算法，提高识别成功率和准确度。然而，这种现有技术方案基本上依赖于IPC(网络摄像头)算法的提升，受制于人脸识别技术的发展,仅仅依靠人脸识别算法在短期内还是难以从根本上提高性别识别准确率。

发明内容

鉴于上述现有技术状况，本申请提出一种性别识别方案，其通过辅助的技术方法，对人脸识别失败的对象进行进一步的性别识别，通过补充识别，提高整体性别识别准确率。另一方面，通过对识别结果进行稳定性判断，可以进一步提高识别结果的准确性。

根据一示例性实施例，提供一种识别对象的性别的方法，包括：通过人脸识别对对象的性别进行第一识别；以及响应于所述第一识别不成功，通过热成像来对对象的性别进行第二识别，其中，所述第一识别和所述第二识别每个都包括：获得所述对象的多幅图像；关于所述多幅图像来识别所述对象的性别，以获得多个识别结果；以及如果所述多个识别结果中的一种性别判定的比率大于或等于第一阈值，则识别成功，否则识别失败。

在一些示例中，通过热成像来对对象的性别进行第二识别包括：通过热成像获得所述对象的热成像图像；以及基于所述热成像图像中所述对象的面部、身体轮廓或特征部位来识别所述对象的性别。

在一些示例中，所述方法还包括：响应于所述第二识别不成功，通过衣着来对所述对象的性别进行第三识别。

在一些示例中，通过衣着来对所述对象的性别进行第三识别包括：通过所述对象的衣着的颜色、款式或类别来识别所述对象的性别。

在一些示例中，通过所述对象的衣着的颜色来识别所述对象的性别包括：如果第一预定衣着颜色占所述对象在图像中的衣着总面积的比率大于或等于第二阈值，则识别为第一性别，以及如果第二预定衣着颜色占所述对象在图像中的衣着总面积的比率大于或等于第二阈值，则识别为第二性别。

在一些示例中，通过所述对象的衣着的颜色来识别所述对象的性别包括：如果对象的衣着颜色的总数大于或等于第三阈值，则识别为女性，否则，识别为男性。

在一些示例中，所述方法还包括：响应于所述第三识别不成功，统计不成功识别的对象的数量；以及响应于所述不成功识别的对象的数量达到第四阈值，引入第一参考比率来确定所述不成功识别的对象中的男女数量。

在一些示例中，所述第一参考比率为进行识别的场所的注册会员的性别比率。

在一些示例中，所述方法还包括：统计成功识别以及通过引入第一参考比率而识别的对象的性别比率，得到整体性别比率；以及将所述整体性别比率与第二参考比率相比较，如果差别小于第五阈值，则输出成功识别以及通过引入第一参考比率而识别的对象的数据，如果差别等于或大于第五阈值，则丢弃通过引入第一参考比率而识别的对象的数据，而输出成功识别的对象的数据。

在一些示例中，所述第二参考比率为在相似场景下之前的统计数据。

根据另一示例性实施例，提供一种识别对象的性别的装置，包括：人脸识别模块，配置为通过人脸识别来对对象的性别进行第一识别；以及热成像图像识别模块，配置为响应于所述第一识别不成功，通过热成像图像来对所述对象的性别进行第二识别，其中，所述第一识别和所述第二识别每个都包括：获得所述对象的多幅图像；关于所述多幅图像来识别所述对象的性别，以获得多个识别结果；以及如果所述多个识别结果中的一种性别判定的比率大于或等于第一阈值，则识别成功，否则，则识别失败。

在一些示例中，所述装置还包括：衣着识别模块，配置为响应于所述第二识别不成功，通过衣着来对所述对象的性别进行第三识别。

在一些示例中，所述装置还包括：不成功对象处理模块，配置为对所述第三识别未成功识别的对象进行处理，以输出最终识别结果。

根据另一示例性实施例，提供一种电子设备，包括：摄像头，用于获取对象的图像；热成像模块，用于获取所述对象的热成像图像；以及处理器，配置为运行存储器中的计算机程序指令以执行上述方法。

根据另一示例性实施例，提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述方法。

通过本申请的性别识别方案，以辅助的技术方法，对人脸识别失败的对象进行进一步的性别识别，通过补充识别，提高了整体性别识别的准确率。

本申请的上述和其他特征和优点将从下面对示例性实施例的描述而变得显而易见。

附图说明

通过结合附图对本申请的示例性实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请一示例性实施例的综合性别识别方法的流程图。

图2图示了根据本申请一示例性实施例的特定性别识别方法的流程图。

图3图示了根据本申请一示例性实施例的性别识别装置的功能框图。

图4图示了根据本申请一示例性实施例的电子设备的结构框图。

具体实施方式

下面，将参考附图详细地描述本申请的示例性实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

如上所述，现有的性别识别方案存在如下问题：

1.完全依赖于人脸识别技术，但人脸识别算法在短期内难以显著性别识别的准确率；

2.收集大量覆盖各种场景的视频，以人工对进出对象的性别进行判断，自动化程度低，人员工作量大，无法摆脱人工处理关联的劣势。

针对现有技术中的上述缺陷，本申请的基本构思是增加辅助性别识别方法，在人脸识别算法识别性别不确定的情况下，使用热成像摄像头对对象的性别特征包括面部、身体轮廓或特征部位进行性别识别。热成像摄像头为主要辅助方法，若该方法依旧不能识别对象的性别，则采用次要辅助方法：对对象的衣着特征包括颜色、款式、类型等进行识别，从而判定其性别。对上述方法都无法判断性别的对象，在此类对象的数量累积到一定程度时，将性别识别所在场所的注册会员资料数据应用在这些人数上进行估计。通过这样一层层地筛选出判定不成功的对象，用区别于直接进行人脸识别的方法对这些信息进行再判定，以完善识别结果，由此提高整体性别识别的准确率。

需要说明的是，本申请的上述基本构思不但可以应用于商用环境场景中，还可以应用于其他***应用中。例如，本申请同样适用于社区环境中的性别识别。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

图1图示了根据本申请一示例性实施例的综合性别识别方法的流程图。如图1所示，识别对象的性别的方法100可始于步骤S101，对待识别对象的视频进行人脸识别(第一识别)，这可以通过摄像头捕获人脸图像，并且利用现有的人脸识别算法来进行。一般而言，如果能完整捕获人脸图像，则正确识别对象性别的成功率较高。如果在步骤S101可以成功识别对象的性别，则在步骤S102，输出识别出的性别。这里，步骤S102输出的数据可包括当前识别对象的性别信息，还可以包括已识别对象的性别比率信息等。如果在步骤S101无法识别对象的性别，例如未能获得对象的完整面部信息，或虽然已获得面部信息但人脸识别算法无法确定性别，则可进展至步骤S111，通过待识别对象的热成像图像来进行性别识别(第二识别)。待识别对象的热成像图像可以通过热成像摄像头来获得，并且可以基于热成像图像中的对象的面部、身体轮廓或特征部位等来识别对象的性别。例如，由于光线原因，在一些情况下普通摄像头可能不能获得对象的完整面部图像，而热成像摄像头可以不受可见光的影响，获得对象面部的热成像图像。或者，热成像摄像头可以直接获得对象的身体轮廓或特征部位的信息，这些信息可以用于容易地确定对象的性别。在一个特定示例中，可以基于对象的***例如***、喉结等确定其性别。如果在步骤S111成功识别出对象的性别，则在步骤S112输出识别结果。如果在步骤S111无法识别出对象的性别，则可以进展到步骤S121。

应理解，在进行上述性别识别步骤时，在对同一对象进行跟踪和识别期间可能连续拍摄了其多幅图像，进行了多次识别，而多次识别的结果可能不一定完全相同。此时，识别结果的稳定性是识别准确性的重要指标，稳定性越高，则准确性越高。因此，在本发明一实施例中，将识别结果的稳定性作为判断其是否识别成功的重要标准。图2图示了根据本申请一示例性实施例的通过人脸识别或者热成像识别进行性别识别的过程的流程图。参考图2，上述人脸识别或者热成像识别可以包括以下过程：在步骤S210，获取待识别对象的多幅图像，例如视频，然后在步骤S220，基于视频中的多幅图像对待识别对象进行性别识别，以获得多个识别结果。在步骤S230，将这些识别结果中的性别判定比率与第一阈值相比较，如果性别判定比率大于或等于该第一阈值，说明识别结果很稳定，成功识别的可能性高；相反，如果性别判定比率小于该第一阈值，说明识别结果很不稳定，成功识别的可能性低。因此，在成功识别的可能性高时，进展到步骤S240，认为识别成功；否则，则进展到步骤S250，认为识别失败。这里的第一阈值可以根据经验值设置，如66.7％、75％等。

继续参照图1，在步骤S121中，可以根据视频图像中对象的衣着来对所述对象的性别进行识别(第三识别)。这里，衣着不仅包括穿着的上衣、裤子等，还可以包括佩戴的饰品以及领带等。通过一些饰品可以容易且直接地确定对象的性别。

在一个示例中，可以通过对象的衣着的颜色和/或款式来识别对象的性别。例如，通过衣着的颜色来识别对象性别可以包括：如果第一预定衣着颜色(如女性常穿着的鲜艳颜色)占对象在图像中的衣着总面积的比率大于或等于第二阈值，则识别为第一性别(如女性)；如果第二预定衣着颜色(如男性常穿着的暗色系)占对象在图像中的衣着总面积的比率大于或等于第二阈值，则识别为第二性别(如男性)。同样，第二阈值也可以根据经验值设置。

在一个示例中，如果通过衣着颜色无法识别性别，则还可以根据衣着颜色总数、衣着款式等来识别性别。例如，如果衣着颜色总数多(大于或等于第三阈值，如3个)，则判定性别为女，否则判定性别为男。

可以理解，上述第一识别(人脸识别)、第二识别(热成像识别)和第三识别(衣着识别)都可以利用机器学习模型来实现。例如，首先利用训练数据对神经网络进行训练，然后利用训练好的模型来执行识别。

在步骤S121中，如果第三识别成功，则在步骤S122中，输出识别结果。如果步骤S121无法识别对象的性别，则转向步骤S131，对以上无法成功识别的对象的数量进行统计累加；然后在步骤S132中，判断累加的数量是否达到第四阈值。如果达到第四阈值，则在步骤S133，可以引入第一参考比率来确定所述不成功识别的对象中的男女数量。这里引入的第一参考比率可以是例如进行性别识别的场所的注册会员的性别比率。也就是说，对以上无法成功识别的对象的数量累计到第四阈值(例如100等)时，可以应用进行识别的场所的注册会员的性别比率信息(如男女比例为a:b)，则估算这100人中有100*(a/(a+b))位男士，有100*(b/(a+b))位女士。

接着，在步骤S141中，统计之前通过第一至第三识别成功识别的性别数据以及在步骤S131中估算的性别数据，获得总的整体性别比率。在步骤S142中，将所得的整体性别比率与第二参考比率相比较。这里，第二参考比率可以为例如之前在相似场景下(例如前一周的相同时间)获得的统计数据。如果整体性别比率与第二参考比率之间的差别小于第五阈值(例如20％或其他值)，则在步骤S150中，输出整体性别比率，即成功识别的以及通过引入第一参考比率而识别的对象的总体数据。如果在步骤S142中差别等于或大于第五阈值，则认为引入第一参考比率获得的结果导致的差异较大，则可以在步骤S160中，丢弃通过引入第一参考比率而识别的对象的数据，而仅输出成功识别的对象的数据。

在上面描述的各个步骤中，利用到了一些阈值，例如第一至第五阈值。可以理解，上述各个阈值的数值都可以根据经验来确定，例如可以在神经网络的训练过程中来进行调整。

通过上述根据本申请一示例性实施例的性别识别方法，将性别识别不成功的对象筛选出，采用区别于直接进行人脸识别的其它辅助手段进行进一步的性别识别，可以完善识别结果，提高性别识别准确度，从而可以提供给商户更完善和准确的顾客性别数据。

图3图示了根据本申请一示例性实施例的性别识别装置200的功能框图。如图3所示，性别识别装置200可包括人脸识别模块210、热成像识别模块220和衣着识别模块230。识别模块210-230分别可以根据上面描述的人脸识别方法、热成像图像识别方法和衣着识别方法来识别对象的性别，这里不再一一赘述。此外，性别识别装置200还可以包括未识别对象处理模块240，其可以统计未成功识别的对象的数量，并且当该数量达到第四阈值时，则引入前述第一参考比率来对未成功识别的对象进行性别判别，以输出最终识别结果。引入第一参考比率所进行的判别步骤在上面已经进行了详细描述，这里不再重复描述。

上述性别识别装置200中的各个单元和模块的具体功能和操作已经在上面参考图1到图2描述的性别识别方法中得到了详细介绍，因此这里仅简要说明，而省略了其重复详细描述。根据本申请实施例的性别识别装置200可以实现在图像处理电子设备中，例如可以作为一个软件模块和/或硬件模块而集成到图像处理电子设备中。

图4示出可实现性别识别装置200的示例性电子设备300的结构框图。如图4所示，电子设备300可包括处理器310、摄像头320、存储器330、以及热成像模块340，它们通过总线370彼此连接。

处理器310可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

摄像头320可以获取待识别对象的常规图像，即可见光图像。热成像模块340则可以获取待识别对象的热成像图像，例如红外图像。

存储器330可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。存储器330中可以存储有计算机程序指令，处理器310可以运行这些计算机程序指令，以实现上文的本申请的各实施例的性别识别方法以及/或者其他期望的功能。

在一些示例中，电子设备300还可包括输入单元350和输出单元360。输入单元350和输出单元360可执行各种输入和输出功能，例如输入单元350可接受商业场所的注册会员资料数据，输出单元350可以输出性别识别结果等。在一个实施例中，输入单元350和输出单元360可以集成于单个器件，例如触摸屏显示器。处理器310通过总线370与各个模块或单元连接，以控制它们的操作。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得处理器执行上文描述的根据本申请实施例的性别识别方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得处理器执行上文描述的根据本申请实施例的性别识别方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种识别对象的性别的方法，包括：

通过人脸识别对对象的性别进行第一识别；以及

响应于所述第一识别不成功，通过热成像来对对象的性别进行第二识别，

其中，所述第一识别和所述第二识别每个都包括：

获得所述对象的多幅图像；

关于所述多幅图像来识别所述对象的性别，以获得多个识别结果；以及

如果所述多个识别结果中的一种性别判定的比率大于或等于第一阈值，则识别成功，否则识别失败；其中

通过热成像来对对象的性别进行第二识别包括：

通过热成像获得所述对象的热成像图像；以及

基于所述热成像图像中所述对象的面部、身体轮廓或特征部位来识别所述对象的性别；

响应于所述第二识别不成功，通过衣着来对所述对象的性别进行第三识别，

响应于所述第三识别不成功，统计不成功识别的对象的数量；以及

响应于所述不成功识别的对象的数量达到第四阈值，引入第一参考比率来确定所述不成功识别的对象中的男女数量。

2.如权利要求1所述的方法，其中，通过衣着来对所述对象的性别进行第三识别包括：

通过所述对象的衣着的颜色、款式或类别来识别所述对象的性别。

3.如权利要求2所述的方法，其中，通过所述对象的衣着的颜色来识别所述对象的性别包括：

如果第一预定衣着颜色占所述对象在图像中的衣着总面积的比率大于或等于第二阈值，则识别为第一性别，以及

如果第二预定衣着颜色占所述对象在图像中的衣着总面积的比率大于或等于第二阈值，则识别为第二性别。

4.如权利要求2所述的方法，其中，通过所述对象的衣着的颜色来识别所述对象的性别包括：

如果对象的衣着颜色的总数大于或等于第三阈值，则识别为女性，否则，识别为男性。

5.如权利要求1所述的方法，其中，所述第一参考比率为进行识别的场所的注册会员的性别比率。

6.如权利要求1所述的方法，还包括：

统计成功识别以及通过引入第一参考比率而识别的对象的性别比率，得到整体性别比率；以及

将所述整体性别比率与第二参考比率相比较，如果差别小于第五阈值，则输出成功识别以及通过引入第一参考比率而识别的对象的数据，如果差别等于或大于第五阈值，则丢弃通过引入第一参考比率而识别的对象的数据，而输出成功识别的对象的数据。

7.如权利要求6所述的方法，其中，所述第二参考比率为在相似场景下之前的统计数据。

8.一种识别对象的性别的装置，包括：

人脸识别模块，配置为通过人脸识别来对对象的性别进行第一识别；以及

热成像图像识别模块，配置为响应于所述第一识别不成功，通过热成像图像来对所述对象的性别进行第二识别，

其中，所述第一识别和所述第二识别每个都包括：

获得所述对象的多幅图像；

关于所述多幅图像来识别所述对象的性别，以获得多个识别结果；以及

如果所述多个识别结果中的一种性别判定的比率大于或等于第一阈值，则识别成功，否则，则识别失败；其中

通过热成像来对对象的性别进行第二识别包括：

通过热成像获得所述对象的热成像图像；以及

基于所述热成像图像中所述对象的面部、身体轮廓或特征部位来识别所述对象的性别；

衣着识别模块，配置为响应于所述第二识别不成功，通过衣着来对所述对象的性别进行第三识别；

未识别对象处理模块，其可以统计未成功识别的对象的数量，并且当该数量达到第四阈值时，引入第一参考比率来确定不成功识别的对象中的男女数量。

9.如权利要求8所述的装置，还包括：

不成功对象处理模块，配置为对所述第三识别未成功识别的对象进行处理，以输出最终识别结果。

10.一种电子设备，包括：

摄像头，用于获取对象的图像；

热成像模块，用于获取所述对象的热成像图像；以及

处理器，配置为运行存储器中的计算机程序指令以执行权利要求1-7中的任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-7中任一项所述的方法。

Images