CN108229353B - 人体图像的分类方法和装置、电子设备、存储介质、程序 - Google Patents

Abstract

本发明实施例公开了一种人体图像的分类方法和装置、电子设备、存储介质、程序，其中，方法包括：分别对待处理图像进行特征提取和掩码提取操作，获得对应所述待处理图像的图像特征和对应所述待处理图像中人体区域的区域掩码；所述待处理图像中包括至少一个人体区域；融合所述图像特征和区域掩码，得到所述人体区域的区域增强特征；基于分类网络，根据所述区域增强特征获得所述待处理图像的分类结果。本发明实施例能够有效的关注图像的局部信息，而不只是根据全局信息对图片进行预测待处理图像的分类结果。

Description

人体图像的分类方法和装置、电子设备、存储介质、程序

技术领域

本发明涉计算机视觉技术，尤其是一种人体图像的分类方法和装置、电子设备、存储介质、程序。

背景技术

图像分类是根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法；通常图像分类通过利用计算机对图像进行定量分析，把图像或图像中的每个像元划归为若干个类别中的某一种，以代替人的视觉判读。

随着网络直播的流行，网络直播的规范化也已提上日程，对网络直播的色情监控就是其中重要的问题。目前对于图像或视频中的色情监控主要基于深度学习的方法，直接提取特征并进行分类。

发明内容

本发明实施例提供了一种人体图像的分类技术。

本发明实施例提供的一种人体图像的分类方法，包括：

分别对待处理图像进行特征提取和掩码提取操作，获得对应所述待处理图像的图像特征和对应所述待处理图像中人体区域的区域掩码；所述待处理图像中包括至少一个人体区域；所述区域掩码用于突出所述待处理图像中的人体区域；

融合所述图像特征和所述区域掩码，得到所述人体区域的区域增强特征；

基于分类网络，根据所述区域增强特征获得所述待处理图像的分类结果。

在基于本发明上述方法的另一个实施例中，所述分别对待处理图像进行特征提取和掩码提取操作，获得对应所述待处理图像的图像特征和对应所述待处理图像中人体区域的区域掩码，包括：

利用第一神经网络对待处理图像进行特征提取操作，获得对应所述待处理图像的图像特征；

利用第二神经网络对待处理图像进行掩码提取操作，获得对应所述待处理图像中人体区域的区域掩码；所述图像特征与所述区域掩码在长和宽的维度上大小相同。

在基于本发明上述方法的另一个实施例中，所述利用第二神经网络对待处理图像进行掩码提取操作，获得对应所述待处理图像中人体区域的区域掩码，包括：

利用第二神经网络对所述待处理图像执行人体关键点检测操作，获得具有人体区域轮廓的关键点特征图；所述人体关键点用于标识待处理图像中人体区域的位置；

通过计算所述关键点特征图中所有像素点与所有所述人体关键点的距离获得所述区域掩码。

在基于本发明上述方法的另一个实施例中，通过计算所述关键点特征图中所有像素点与所有所述人体关键点的距离获得所述区域掩码，包括：

通过计算所述关键点特征图中的像素点与所有所述人体关键点的距离，获得所述像素点的目标距离值；

利用正态分布函数，基于所述像素点的目标距离值获得所述像素点对应的掩码值；

基于所述关键点特征图中所有所述像素点对应的掩码值构成所述区域掩码。

在基于本发明上述方法的另一个实施例中，所述通过计算所述关键点特征图中的像素点与所有所述人体关键点的距离，获得所述像素点的目标距离值，包括：

计算所述关键点特征图中的像素点与所述人体关键点的欧式距离，获得多个距离值；

将所述距离值中的最小距离值作为所述像素点的目标距离值。

在基于本发明上述方法的另一个实施例中，所述利用正态分布函数，基于所述像素点的目标距离值获得所述像素点对应的掩码值，包括：

将所述像素点的目标距离值输入正态分布函数，获得对应所述像素点的掩码中间值；

基于所述掩码中间值计算得到对应所述像素点的掩码值。

在基于本发明上述方法的另一个实施例中，所述基于掩码中间值计算得到对应所述像素点的掩码值，包括：

将所述得到的掩码中间值加设定值得到对应的掩码值；与所述人体关键点的距离小于预设值的像素点对应的所述掩码值大于预设阈值，与所述人体关键点的距离大于预设值的像素点对应的所述掩码值小于预设阈值。

在基于本发明上述方法的另一个实施例中，融合所述图像特征和区域掩码，得到所述人体区域的区域增强特征，包括：

将所述图像特征中的元素与所述区域掩码中对应的元素执行点乘运算，得到所述人体区域的图像特征增强后的区域增强特征；所述图像特征与所述区域掩码在长度维度和宽度维度上的大小相对应，所述元素包括所述图像特征对应的特征图中的像素点或所述图像特征对应的特征向量中的向量值。

在基于本发明上述方法的另一个实施例中，基于分类网络，根据所述区域增强特征获得所述待处理图像的分类结果，包括：

基于所述得到的区域增强特征获得中心点坐标；所述中心点坐标对应所述待处理图像中人体区域的中心；

将所述中心点坐标的区域增强特征输入分类网络，经所述分类网络获得分类概率值，基于所述分类概率值得到分类结果。

在基于本发明上述方法的另一个实施例中，基于所述得到的区域增强特征获得中心点坐标，包括：

对融合后人体区域特征增强的图像特征图进行筛选得到对应人体区域的人体区域特征，基于所述人体区域特征获得对应人体区域的中心点坐标。

在基于本发明上述方法的另一个实施例中，基于所述人体区域特征获得对应人体区域的中心点坐标，包括：

基于所述人体区域特征获得所述图像特征图中对应人体区域的所有坐标，对所述对应人体区域的所有坐标求二维均值，得到对应人体区域的中心点坐标。

根据本发明实施例的另一个方面，提供的一种人体图像的分类装置，包括：

提取单元，用于分别对待处理图像进行特征提取和掩码提取操作，获得对应所述待处理图像的图像特征和对应所述待处理图像中人体区域的区域掩码；所述待处理图像中包括至少一个人体区域；所述区域掩码用于突出所述待处理图像中的人体区域；

融合单元，用于融合所述图像特征和所述区域掩码，得到所述人体区域的区域增强特征；

分类单元，用于基于分类网络，根据所述区域增强特征获得所述待处理图像的分类结果。

在基于本发明上述装置的另一个实施例中，所述提取单元，包括：

特征提取模块，用于利用第一神经网络对待处理图像进行特征提取操作，获得对应所述待处理图像的图像特征；

掩码提取模块，用于利用第二神经网络对待处理图像进行掩码提取操作，获得对应所述待处理图像中人体区域的区域掩码；所述图像特征与所述区域掩码在长和宽的维度上大小相同。

在基于本发明上述装置的另一个实施例中，所述掩码提取模块，包括：

关键点检测模块，用于利用第二神经网络对所述待处理图像执行人体关键点检测操作，获得具有人体区域轮廓的关键点特征图；所述人体关键点用于标识待处理图像中人体区域的位置；

掩码区域模块，用于通过计算所述关键点特征图中所有像素点与所有所述人体关键点的距离获得所述区域掩码。

在基于本发明上述装置的另一个实施例中，所述掩码区域模块，包括：

距离计算模块，用于通过计算所述关键点特征图中的像素点与所有所述人体关键点的距离，获得所述像素点的目标距离值；

掩码值计算模块，用于利用正态分布函数，基于所述像素点的目标距离值获得所述像素点对应的掩码值；

区域确定模块，用于基于所述关键点特征图中所有所述像素点对应的掩码值构成所述区域掩码。

在基于本发明上述装置的另一个实施例中，所述距离计算模块，具体用于计算所述关键点特征图中的像素点与所述人体关键点的欧式距离，获得多个距离值；将所述距离值中的最小距离值作为所述像素点的目标距离值。

在基于本发明上述装置的另一个实施例中，所述掩码值计算模块，包括：

中间值计算模块，用于将所述像素点的目标距离值输入正态分布函数，获得对应所述像素点的掩码中间值；

掩码值获取模块，用于基于所述掩码中间值计算得到对应所述像素点的掩码值。

在基于本发明上述装置的另一个实施例中，所述掩码值获取模块，具体用于将所述得到的掩码中间值加设定值得到对应的掩码值；所述与人体关键点的距离小于预设值的像素点对应的掩码值大于预设阈值，所述与人体关键点的距离大于预设值的像素点对应的掩码值小于预设阈值。

在基于本发明上述装置的另一个实施例中，所述融合单元，具体用于将所述图像特征中的元素与所述区域掩码中对应的元素执行点乘运算，得到所述人体区域的图像特征增强后的区域增强特征；所述图像特征与所述区域掩码在长度维度和宽度维度上的大小相对应，所述元素包括所述图像特征对应的特征图中的像素点或所述图像特征对应的特征向量中的向量值。

在基于本发明上述装置的另一个实施例中，所述分类单元，包括：

中心获得模块，用于基于所述得到的区域增强特征获得中心点坐标；所述中心点坐标对应所述待处理图像中人体区域的中心；

概率分类模块，用于将所述中心点坐标的区域增强特征输入分类网络，经所述分类网络获得分类概率值，基于所述分类概率值得到分类结果。

在基于本发明上述装置的另一个实施例中，所述中心获得模块，具体用于对融合后人体区域特征增强的图像特征图进行筛选得到对应人体区域的人体区域特征，基于所述人体区域特征获得对应人体区域的中心点坐标。

在基于本发明上述装置的另一个实施例中，所述中心获得模块，还用于基于所述人体区域特征获得所述图像特征图中对应人体区域的所有坐标，对所述对应人体区域的所有坐标求二维均值，得到对应人体区域的中心点坐标。

根据本发明实施例的另一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上所述的人体图像的分类装置。

根据本发明实施例的一个方面，提供的一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；

以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上所述人体图像的分类方法的操作。

根据本发明实施例的一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行如上所述人体图像的分类方法的操作。

根据本发明实施例的一个方面，提供的一种计算机程序，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上所述人体图像的分类方法中各步骤的指令。

基于本发明上述实施例提供的一种人体图像的分类方法和装置、电子设备、存储介质、程序，分别对待处理图像进行特征提取和掩码提取操作，获得对应待处理图像的图像特征和对应待处理图像中人体区域的区域掩码；克服了仅依靠特征提取进行分类而忽略图像中人体区域的技术问题，通过融合图像特征和区域掩码，得到人体区域的区域增强特征，实现了对图像中对应人体区域的特征进行增强，并且以人体区域的特征作为主要的分类依据的技术效果；将得到的区域增强特征输入分类网络，经分类网络得到对应输出，能够有效的关注图像的局部信息，而不只是根据全局信息对图片进行预测待处理图像的分类结果。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1为本发明人体图像的分类方法一个实施例的流程图。

图2为本发明人体图像的分类方法的一个具体示例。

图3为本发明人体图像的分类装置一个实施例的结构示意图。

图4为用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明实施例可以应用于计算机***/服务器，其可与众多其它通用或专用计算***环境或配置一起操作。适于与计算机***/服务器一起使用的众所周知的计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***、大型计算机***和包括上述任何***的分布式云计算技术环境，等等。

计算机***/服务器可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。

现有技术中，色情检测主要基于深度学习的方法，直接提取特征并进行分类。虽然随着深度学习技术的发展，图片分类的精度得到了显著的提升，但是对于图片色情检测这一场景复杂的分类问题，仍然存在着较多的问题，比如正常场景下存在小范围局部的色情动作，敏感部位的图片就难以通过直接分类的方式得到解决。

图1为本发明人体图像的分类方法一个实施例的流程图。如图1所示，该实施例方法包括：

步骤101，分别对待处理图像进行特征提取和掩码提取操作，获得对应待处理图像的图像特征和对应待处理图像中人体区域的区域掩码。

其中，待处理图像中包括至少一个人体区域；区域掩码用于突出待处理图像中的人体区域；掩码是一串二进制代码对目标字段进行位与运算，屏蔽当前的输入位；具体地，掩码的生成主要依赖于到关键点的距离，掩码在关键点附近取值大，远离关键点取值小，这样就使得特征融合时，人体区域附近的特征得到增强，远离人体区域的特征得到抑制，使分类的注意力能更加专注于需要注意的区域(人体区域)；本实施例中区域掩码基于待处理图像中的人体区域通过掩码提取获得，用于屏蔽待处理图像对应的特征值，该区域掩码对应人体区域附近的取值大，远离人体区域的取值小。

步骤102，融合图像特征和区域掩码，得到人体区域的区域增强特征。

通过融合特征和区域掩码，将人体区域在特征中特出表示，具体地，融合方式可以包括将对应位置的特征点乘或叠加，本发明对具体融合方法不作限制。

步骤103，基于分类网络，根据区域增强特征获得待处理图像的分类结果。

基于本发明上述实施例提供的一种人体图像的分类方法，分别对待处理图像进行特征提取和掩码提取操作，获得对应待处理图像的图像特征和对应待处理图像中人体区域的区域掩码；克服了仅依靠特征提取进行分类而忽略图像中人体区域的技术问题，通过融合图像特征和区域掩码，得到人体区域的区域增强特征，实现了对图像中对应人体区域的特征进行增强，并且以人体区域的特征作为主要的分类依据的技术效果；将得到的区域增强特征输入分类网络，经分类网络得到对应输出，能够有效的关注图像的局部信息，而不只是根据全局信息对图片进行预测待处理图像的分类结果。

本发明人体图像的分类方法的另一个实施例，在上述实施例的基础上，操作101包括：

利用第一神经网络对待处理图像进行特征提取操作，获得对应待处理图像的图像特征；

利用第二神经网络对待处理图像进行掩码提取操作，获得对应待处理图像中人体区域的区域掩码；图像特征与区域掩码在长和宽的维度上的大小相同。

本实施例中，通过不同神经网络实现特征提取和掩码提取，掩码提取的神经网络可应用关键点提取的网络，具体可以采用mask RCNN关键点检测神经网络，而特征提取网络具体可以采用CNN卷积神经网络，由于不同任务会使得提取出来的特征关注不同的细节，因此，第一神经网络、第二神经网络和分类网络之间的权重不能共享；特征具有四个维度，本实施例中所指大小是指特征的长和宽，在长和宽的维度上，特征和区域掩码相同，才能实现特征融合。

在本发明人体图像的分类方法上述各实施例的一个具体示例中，利用第二神经网络对待处理图像进行掩码提取操作，获得对应待处理图像中人体区域的区域掩码，包括：

利用第二神经网络对待处理图像执行人体关键点检测操作，获得具有人体区域轮廓的关键点特征图；人体关键点用于标识待处理图像中人体区域的位置；

通过计算关键点特征图中所有像素点与所有人体关键点的距离获得区域掩码。

在本实施例中，由于关注点在于人体区域，因此，第二神经网络实现的是对人体关键点的检测，将人体区域从待处理图像中识别出来，再通过掩码的方式将对应人体区域的位置进行表达，以实现对人体区域的突出表示。

在本发明人体图像的分类方法上述各实施例的一个具体示例中，通过计算关键点特征图中所有像素点与所有人体关键点的距离获得区域掩码，包括：

通过计算关键点特征图中的像素点与所有人体关键点的距离，获得像素点的目标距离值；

利用正态分布函数，基于像素点的目标距离值获得像素点对应的掩码值；

基于关键点特征图中所有像素点对应的掩码值构成区域掩码。

具体地，掩码可以理解为一張大小与特征长宽相同的图像，对于掩码上的任意一点，计算这个点到所有关键点的距离的最小值，以这个最小值作为这个点的目标距离值，将每个点的目标距离值作为参数输入正态分布函数，得到的值在0-1之间，对得到的值加1就是掩码的值。对于关键点，得到的距离最小值为0，经过正太分别函数输出为1；正态分布(Normal distribution)，也称“常态分布”，又名高斯分布(Gaussian distribution)，正态分布是一种概率分布，正态分布是具有两个参数μ和σ2的连续型随机变量的分布，第一参数μ是服从正态分布的随机变量的均值，第二个参数σ2是此随机变量的方差，所以正态分布记作N(μ，σ2)。正态曲线呈钟型，两头低，中间高，左右对称因其曲线呈钟形，因此人们又经常称之为钟形曲线。

在本发明人体图像的分类方法上述各实施例的一个具体示例中，通过计算关键点特征图中的像素点与所有人体关键点的距离，获得像素点的目标距离值，包括：

计算关键点特征图中的像素点与人体关键点的欧式距离，获得多个距离值；

将距离值中的最小距离值作为像素点的目标距离值。

本实施例中，对于像素点和关键点之间的距离是通过计算欧式距离计算的，实际应用中，可以通过其他距离计算方式(如：余弦距离等)实现，其中距离值中最小值可表达一个像素点与关键点的距离，因此将最小距离值作为目标距离值，该目标距离值越小说明距离人体关键点越近，人体关键点本身为0，而通过输入正态分布，将得到在人体关键点的值最大，远离人体关键点的像素点的值越小的掩码值。

在本发明人体图像的分类方法上述各实施例的一个具体示例中，利用正态分布函数，基于像素点的目标距离值获得像素点对应的掩码值，包括：

将像素点的目标距离值输入正态分布函数，获得对应像素点的掩码中间值；

基于掩码中间值计算得到对应像素点的掩码值。

在本实施例中，通过距离计算，得到距离人体关键点越近值越小、距离人体关键点越远值越大的目标距离值，具体地，计算掩码值可以将目标距离值作为参数输入正态分布函数，得到的值加上设定值(如：1)得到掩码的值；对于关键点，距离为0，经过正态分布函数将输出1，加上设定值(如：加上1得到2)得到增大的数值，可以将关键点的特征放大；而远离关键点，距离大，经过正态分布函数，目标距离值接近为0，加上设定值(如：加上1得到1)得到增大的数值，该增大后的数值可以将除关键点之外的其他点的特征正常表示，或相对做较小的缩放，使特征图在突出人体关键点的同时，其他区域的特征正常或相对缩小的表示，不会忽略图像整体的特征。

在本发明人体图像的分类方法上述各实施例的一个具体示例中，基于掩码中间值计算得到对应像素点的掩码值，包括：

将得到的掩码中间值加设定值得到对应的掩码值；与人体关键点的距离小于预设值的像素点对应的掩码值大于预设阈值，与人体关键点的距离大于预设值的像素点对应的掩码值小于预设阈值。

本实施例中，通过对掩码中间值加设定值的方式使人体关键点附近的掩码值增大，而远离人体关键点的掩码值减小；具体地，掩码的取值范围为1～2，关键点的掩码取值为2，越远离关键点越小，这个取值是经验值，意思就是，在进行特征融合进行点乘操作时，关键点的特征值得到了翻倍，特征得到了增强，远离关键点的掩码值接近于1，点乘后，特征几乎不变，越靠近关键点的地方值越接近2，特征也可以得到加强，总之，就是远离关键点的地方，融合之后特征不变(乘以1)，特征得到保留，越靠近关键点的地方特征得到增强，关键点增强最多。原则上取值的下限为1，上限不一定为2，该值只是一个经验值，并不用于限定本发明。

本发明人体图像的分类方法的又一个实施例，在上述实施例的基础上，操作102包括：

将图像特征中的元素与区域掩码中对应的元素执行点乘运算，得到人体区域的图像特征增强后的区域增强特征。

其中，图像特征与区域掩码在长度维度和宽度维度上的大小相对应，元素包括图像特征对应的特征图中的像素点或图像特征对应的特征向量中的向量值，由于人体区域附近对应的掩码值较大，就会使得人体区域的特征值变大，远离人体区域的掩码值相对较小，点乘后图像特征相对变小，从而人体区域的图像特征得到增强，远离人体区域的图像特征得到抑制，进而得到关注局部信息的增强特征。

本发明人体图像的分类方法的还一个实施例，在上述实施例的基础上，操作103包括：

基于得到的区域增强特征获得中心点坐标；中心点坐标对应待处理图像中人体区域的中心；

将中心点坐标的区域增强特征输入分类网络，经分类网络获得分类概率值，基于分类概率值得到分类结果。

本实施例中，应用分类网络对区域增强特征进行分类时，具体可以应用softmax作为分类网络，softmax就是一個映射函数，对于二分类问题，可以分为两类(如：色情和非色情)，网络的输出会是两个值，第一个值代表属于非色情的可能性，第二个值代表色情的可能性，对于softmax，如果有两个数字a，b。如果a>b，经过softmax之后a会接近于1，b会接近于0，且a+b＝1；a<b同理，经过softmax之后的值才是真正代表分类的概率值。

在本发明人体图像的分类方法上述各实施例的一个具体示例中，基于得到的区域增强特征获得中心点坐标，包括：

对融合后人体区域特征增强的图像特征图进行筛选得到对应人体区域的人体区域特征，基于人体区域特征获得对应人体区域的中心点坐标。

在本实施中，为获得人体区域的中心点坐标，首先需要将人体区域拆分出来，具体地，通过筛选获得人体区域特征，基于人体区域特征就可以确定人体区域的中心点坐标。

在本发明人体图像的分类方法上述各实施例的一个具体示例中，基于人体区域特征获得对应人体区域的中心点坐标，包括：

基于人体区域特征获得图像特征图中对应人体区域的所有坐标，对对应人体区域的所有坐标求二维均值，得到对应人体区域的中心点坐标。

本实施例中提供的是通过计算二维均值的方式得到中心点坐标，但实际应用过程中，还可以应用其他计算中心点坐标的方式，本发明并不限制计算中心点坐标的方式。

图2为本发明人体图像的分类方法的一个具体示例。如图2所示，将本发明应用到色情检测中时，首先对应第一个处理框，对待处理图像处理得到特征和人体区域掩码(中间掩码值)；然后对应第二个处理框，将得到的特征和经过重构的掩码(掩码值)进行融合，得到人体区域增强的区域增强特征；最后对应第三个处理框，经过CNN神经网络的判别，输出色情或非色情的分类结果。

对于现有技术中图像经过CNN网络之后虽然可以获得高度抽象且全局的特征信息，但同时也丢掉了局部的细节信息，使得一般分类模型在大场景(正常场景)下容易忽略局部色情信息。本发明方法通过对人体区域特征增强，同时不缩小或较少的缩小全局特征，实现在突出人体特征的同时不丢掉局部的细节信息，提升包含人物的图片的色情检测的精度，缩小了误检率。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图3为本发明人体图像的分类装置一个实施例的结构示意图。该实施例的装置可用于实现本发明上述各方法实施例。如图3所示，该实施例的装置包括：

提取单元31，用于分别对待处理图像进行特征提取和掩码提取操作，获得对应待处理图像的图像特征和对应待处理图像中人体区域的区域掩码。

其中，待处理图像中包括至少一个人体区域；区域掩码用于突出待处理图像中的人体区域；掩码是一串二进制代码对目标字段进行位与运算，屏蔽当前的输入位；具体他，掩码的生成主要依赖于到关键点的距离，掩码在关键点附近取值大，远离关键点取值小，这样就使得特征融合时，人体区域附近的特征得到增强，远离人体区域的特征得到抑制，使分类的注意力能更加专注于需要注意的区域(人体区域)；本实施例中区域掩码基于待处理图像中的人体区域通过掩码提取获得，用于屏蔽待处理图像对应的特征值，该区域掩码对应人体区域附近的取值大，远离人体区域的取值小。

融合单元32，用于融合获得的图像特征和区域掩码，得到人体区域的区域增强特征。

分类单元33，用于基于分类网络，根据区域增强特征获得待处理图像的分类结果。

基于本发明上述实施例提供的一种人体图像的分类装置，分别对待处理图像进行特征提取和掩码提取操作，获得对应待处理图像的图像特征和对应待处理图像中人体区域的区域掩码；克服了仅依靠特征提取进行分类而忽略图像中人体区域的技术问题，通过融合图像特征和区域掩码，得到人体区域的区域增强特征，实现了对图像中对应人体区域的特征进行增强，并且以人体区域的特征作为主要的分类依据的技术效果；将得到的区域增强特征输入分类网络，经分类网络得到对应输出，能够有效的关注图像的局部信息，而不只是根据全局信息对图片进行预测待处理图像的分类结果。

本发明人体图像的分类装置的另一个实施例，在上述实施例的基础上，提取单元31，包括：

特征提取模块，用于利用第一神经网络对待处理图像进行特征提取操作，获得对应待处理图像的图像特征；

掩码提取模块，用于利用第二神经网络对待处理图像进行掩码提取操作，获得对应待处理图像中人体区域的区域掩码；图像特征与区域掩码在长和宽的维度上大小相同。

本实施例中，通过不同神经网络实现特征提取和掩码提取，掩码提取的神经网络可应用关键点提取的网络，具体可以采用mask RCNN关键点检测神经网络，而特征提取网络具体可以采用CNN卷积神经网络，由于不同任务会使得提取出来的特征关注不同的细节，因此，第一神经网络、第二神经网络和分类网络之间的权重不能共享；特征具有四个维度，本实施例中所指大小是指特征的长和宽，在长和宽的维度上，特征和区域掩码相同，才能实现特征融合。

在本发明人体图像的分类装置上述各实施例的一个具体示例中，掩码提取模块，包括：

关键点检测模块，用于利用第二神经网络对待处理图像执行人体关键点检测操作，获得具有人体区域轮廓的关键点特征图；人体关键点用于标识待处理图像中人体区域的位置；

掩码区域模块，用于通过计算关键点特征图中所有像素点与所有人体关键点的距离获得区域掩码。

在本发明人体图像的分类装置上述各实施例的一个具体示例中，掩码区域模块，包括：

距离计算模块，用于通过计算关键点特征图中的像素点与所有人体关键点的距离，获得像素点的目标距离值；

掩码值计算模块，用于利用正态分布函数，基于像素点的目标距离值获得像素点对应的掩码值；

区域确定模块，用于基于关键点特征图中所有像素点对应的掩码值构成区域掩码。

在本发明人体图像的分类装置上述各实施例的一个具体示例中，距离计算模块，具体用于计算关键点特征图中的像素点与人体关键点的欧式距离，获得多个距离值；将距离值中的最小距离值作为像素点的目标距离值。

在本发明人体图像的分类装置上述各实施例的一个具体示例中，掩码值计算模块，包括：

中间值计算模块，用于将像素点的目标距离值输入正态分布函数，获得对应像素点的掩码中间值；

掩码值获取模块，用于基于掩码中间值计算得到对应像素点的掩码值。

在本发明人体图像的分类装置上述各实施例的一个具体示例中，掩码值获取模块，具体用于将得到的掩码中间值加设定值得到对应的掩码值；与人体关键点的距离小于预设值的像素点对应的掩码值大于预设阈值，与人体关键点的距离大于预设值的像素点对应的掩码值小于预设阈值。

本发明人体图像的分类装置的又一个实施例，在上述实施例的基础上，融合单元32，具体用于将图像特征中的元素与区域掩码中对应的元素执行点乘运算，得到人体区域的图像特征增强后的区域增强特征。

其中，图像特征与所述区域掩码在长度维度和宽度维度上的大小相对应，元素包括图像特征对应的特征图中的像素点或图像特征对应的特征向量中的向量值，由于人体区域附近对应的掩码值较大，就会使得人体区域的特征值变大，远离人体区域的掩码值相对较小，点乘后特征相对变小，从而人体区域的图像特征得到增强，远离人体区域的图像特征得到抑制，进而得到关注局部信息的增强特征。

本发明人体图像的分类方法的还一个实施例，在上述实施例的基础上，分类单元33，包括：

中心获得模块，用于基于得到的区域增强特征获得中心点坐标；中心点坐标对应待处理图像中人体区域的中心；

概率分类模块，用于将中心点坐标的区域增强特征输入分类网络，经分类网络获得分类概率值，基于分类概率值得到分类结果。

本实施例中，应用分类网络对区域增强特征进行分类时，具体可以应用softmax作为分类网络，softmax就是一個映射函数，对于二分类问题，可以分为两类(如：色情和非色情)，网络的输出会是两个值，第一个值代表属于非色情的可能性，第二个值代表色情的可能性，对于softmax，如果有两个数字a，b。如果a>b，经过softmax之后a会接近于1，b会接近于0，且a+b＝1；a<b同理，经过softmax之后的值才是真正代表分类的概率值。

在本发明人体图像的分类装置上述各实施例的一个具体示例中，中心获得模块，具体用于对融合后人体区域特征增强的图像特征图进行筛选得到对应人体区域的人体区域特征，基于人体区域特征获得对应人体区域的中心点坐标。

在本发明人体图像的分类装置上述各实施例的一个具体示例中，中心获得模块，还用于基于人体区域特征获得图像特征图中对应人体区域的所有坐标，对对应人体区域的所有坐标求二维均值，得到对应人体区域的中心点坐标。

根据本发明实施例的一个方面，提供的一种电子设备，包括处理器，处理器包括本发明上述任一实施例所述的人体图像的分类装置。

根据本发明实施例的一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；

以及处理器，用于与存储器通信以执行可执行指令从而完成本发明人体图像的分类方法上述任一实施例的操作。

根据本发明实施例的一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行本发明人体图像的分类方法上述任一实施例的操作。

根据本发明实施例的另一个方面，提供的一种计算机程序，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行本发明人体图像的分类方法中各步骤的指令。

本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图4，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备400的结构示意图：如图4所示，计算机***400包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)401，和/或一个或多个图像处理器(GPU)413等，处理器可以根据存储在只读存储器(ROM)402中的可执行指令或者从存储部分408加载到随机访问存储器(RAM)403中的可执行指令而执行各种适当的动作和处理。通信部412可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。

处理器可与只读存储器402和/或随机访问存储器430中通信以执行可执行指令，通过总线404与通信部412相连、并经通信部412与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，分别对待处理图像进行特征提取和掩码提取操作，获得对应待处理图像的特征和对应待处理图像中人体区域的区域掩码；融合获得的特征和区域掩码，得到人体区域的区域增强特征；将区域增强特征输入分类网络，经分类网络输出待处理图像的分类结果。

此外，在RAM 403中，还可存储有装置操作所需的各种程序和数据。CPU401、ROM402以及RAM403通过总线404彼此相连。在有RAM403的情况下，ROM402为可选模块。RAM403存储可执行指令，或在运行时向ROM402中写入可执行指令，可执行指令使处理器401执行上述通信方法对应的操作。输入/输出(I/O)接口405也连接至总线404。通信部412可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

需要说明的，如图4所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图4的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明公开的保护范围。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，分别对待处理图像进行特征提取和掩码提取操作，获得对应待处理图像的特征和对应待处理图像中人体区域的区域掩码；融合获得的特征和区域掩码，得到人体区域的区域增强特征；将区域增强特征输入分类网络，经分类网络输出待处理图像的分类结果。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。

可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (25)

1.一种人体图像的分类方法，其特征在于，包括：

分别对待处理图像进行特征提取和掩码提取操作，获得对应所述待处理图像的图像特征和对应所述待处理图像中人体区域的区域掩码；所述待处理图像中包括至少一个人体区域，所述区域掩码用于突出所述待处理图像中的人体区域；其中，所述区域掩码的生成依赖于到人体关键点的距离，所述区域掩码在所述人体关键点附近取值大，远离关键点取值小；所述人体关键点用于标识待处理图像中人体区域的位置；

融合所述图像特征和所述区域掩码，得到所述人体区域的区域增强特征；

基于分类网络，根据所述区域增强特征获得所述待处理图像的分类结果。

2.根据权利要求1所述的方法，其特征在于，所述分别对待处理图像进行特征提取和掩码提取操作，获得对应所述待处理图像的图像特征和对应所述待处理图像中人体区域的区域掩码，包括：

利用第一神经网络对待处理图像进行特征提取操作，获得对应所述待处理图像的图像特征；

利用第二神经网络对待处理图像进行掩码提取操作，获得对应所述待处理图像中人体区域的区域掩码；所述图像特征与所述区域掩码在长和宽的维度上大小相同。

3.根据权利要求2所述的方法，其特征在于，所述利用第二神经网络对待处理图像进行掩码提取操作，获得对应所述待处理图像中人体区域的区域掩码，包括：

利用第二神经网络对所述待处理图像执行人体关键点检测操作，获得具有人体区域轮廓的关键点特征图；

通过计算所述关键点特征图中所有像素点与所有所述人体关键点的距离获得所述区域掩码。

4.根据权利要求3所述的方法，其特征在于，通过计算所述关键点特征图中所有像素点与所有所述人体关键点的距离获得所述区域掩码，包括：

通过计算所述关键点特征图中的像素点与所有所述人体关键点的距离，获得所述像素点的目标距离值；

利用正态分布函数，基于所述像素点的目标距离值获得所述像素点对应的掩码值；

基于所述关键点特征图中所有所述像素点对应的掩码值构成所述区域掩码。

5.根据权利要求4所述的方法，其特征在于，所述通过计算所述关键点特征图中的像素点与所有所述人体关键点的距离，获得所述像素点的目标距离值，包括：

计算所述关键点特征图中的像素点与所述人体关键点的欧式距离，获得多个距离值；

将所述距离值中的最小距离值作为所述像素点的目标距离值。

6.根据权利要求4所述的方法，其特征在于，所述利用正态分布函数，基于所述像素点的目标距离值获得所述像素点对应的掩码值，包括：

将所述像素点的目标距离值输入正态分布函数，获得对应所述像素点的掩码中间值；

基于所述掩码中间值计算得到对应所述像素点的掩码值。

7.根据权利要求6所述的方法，其特征在于，所述基于掩码中间值计算得到对应所述像素点的掩码值，包括：

将所述得到的掩码中间值加设定值得到对应的掩码值；与所述人体关键点的距离小于预设值的像素点对应的掩码值大于预设阈值，与所述人体关键点的距离大于预设值的像素点对应的掩码值小于预设阈值。

8.根据权利要求1-7任一所述的方法，其特征在于，融合所述图像特征和区域掩码，得到所述人体区域的区域增强特征，包括：

将所述图像特征中的元素与所述区域掩码中对应的元素执行点乘运算，得到所述人体区域的图像特征增强后的区域增强特征；所述图像特征与所述区域掩码在长度维度和宽度维度上的大小相对应，所述元素包括所述图像特征对应的特征图中的像素点或所述图像特征对应的特征向量中的向量值。

9.根据权利要求1-7任一所述的方法，其特征在于，基于分类网络，根据所述区域增强特征获得所述待处理图像的分类结果，包括：

基于所述得到的区域增强特征获得中心点坐标；所述中心点坐标对应所述待处理图像中人体区域的中心；

将所述中心点坐标的区域增强特征输入分类网络，经所述分类网络获得分类概率值，基于所述分类概率值得到分类结果。

10.根据权利要求9所述的方法，其特征在于，基于所述得到的区域增强特征获得中心点坐标，包括：

对融合后人体区域特征增强的图像特征图进行筛选得到对应人体区域的人体区域特征，基于所述人体区域特征获得对应人体区域的中心点坐标。

11.根据权利要求10所述的方法，其特征在于，基于所述人体区域特征获得对应人体区域的中心点坐标，包括：

基于所述人体区域特征获得所述图像特征图中对应人体区域的所有坐标，对所述对应人体区域的所有坐标求二维均值，得到对应人体区域的中心点坐标。

12.一种人体图像的分类装置，其特征在于，包括：

提取单元，用于分别对待处理图像进行特征提取和掩码提取操作，获得对应所述待处理图像的图像特征和对应所述待处理图像中人体区域的区域掩码；所述待处理图像中包括至少一个人体区域，所述区域掩码用于突出所述待处理图像中的人体区域；其中，所述区域掩码的生成依赖于到人体关键点的距离，所述区域掩码在所述人体关键点附近取值大，远离关键点取值小；所述人体关键点用于标识待处理图像中人体区域的位置；

融合单元，用于融合所述图像特征和所述区域掩码，得到所述人体区域的区域增强特征；

分类单元，用于基于分类网络，根据所述区域增强特征获得所述待处理图像的分类结果。

13.根据权利要求12所述的装置，其特征在于，所述提取单元，包括：

特征提取模块，用于利用第一神经网络对待处理图像进行特征提取操作，获得对应所述待处理图像的图像特征；

掩码提取模块，用于利用第二神经网络对待处理图像进行掩码提取操作，获得对应所述待处理图像中人体区域的区域掩码；所述图像特征与所述区域掩码在长和宽的维度上大小相同。

14.根据权利要求13所述的装置，其特征在于，所述掩码提取模块，包括：

关键点检测模块，用于利用第二神经网络对所述待处理图像执行人体关键点检测操作，获得具有人体区域轮廓的关键点特征图；

掩码区域模块，用于通过计算所述关键点特征图中所有像素点与所有所述人体关键点的距离获得所述区域掩码。

15.根据权利要求14所述的装置，其特征在于，所述掩码区域模块，包括：

距离计算模块，用于通过计算所述关键点特征图中的像素点与所有所述人体关键点的距离，获得所述像素点的目标距离值；

掩码值计算模块，用于利用正态分布函数，基于所述像素点的目标距离值获得所述像素点对应的掩码值；

区域确定模块，用于基于所述关键点特征图中所有所述像素点对应的掩码值构成所述区域掩码。

16.根据权利要求15所述的装置，其特征在于，所述距离计算模块，具体用于计算所述关键点特征图中的像素点与所述人体关键点的欧式距离，获得多个距离值；将所述距离值中的最小距离值作为所述像素点的目标距离值。

17.根据权利要求15所述的装置，其特征在于，所述掩码值计算模块，包括：

中间值计算模块，用于将所述像素点的目标距离值输入正态分布函数，获得对应所述像素点的掩码中间值；

掩码值获取模块，用于基于所述掩码中间值计算得到对应所述像素点的掩码值。

18.根据权利要求17所述的装置，其特征在于，所述掩码值获取模块，具体用于将所述得到的掩码中间值加设定值得到对应的掩码值；与所述人体关键点的距离小于预设值的像素点对应的掩码值大于预设阈值，与所述人体关键点的距离大于预设值的像素点对应的掩码值小于预设阈值。

19.根据权利要求12-18任一所述的装置，其特征在于，所述融合单元，具体用于将所述图像特征中的元素与所述区域掩码中对应的元素执行点乘运算，得到所述人体区域的图像特征增强后的区域增强特征；所述图像特征与所述区域掩码在长度维度和宽度维度上的大小相对应，所述元素包括所述图像特征对应的特征图中的像素点或所述图像特征对应的特征向量中的向量值。

20.根据权利要求12-18任一所述的装置，其特征在于，所述分类单元，包括：

中心获得模块，用于基于所述得到的区域增强特征获得中心点坐标；所述中心点坐标对应所述待处理图像中人体区域的中心；

概率分类模块，用于将所述中心点坐标的区域增强特征输入分类网络，经所述分类网络获得分类概率值，基于所述分类概率值得到分类结果。

21.根据权利要求20所述的装置，其特征在于，所述中心获得模块，具体用于对融合后人体区域特征增强的图像特征图进行筛选得到对应人体区域的人体区域特征，基于所述人体区域特征获得对应人体区域的中心点坐标。

22.根据权利要求21所述的装置，其特征在于，所述中心获得模块，还用于基于所述人体区域特征获得所述图像特征图中对应人体区域的所有坐标，对所述对应人体区域的所有坐标求二维均值，得到对应人体区域的中心点坐标。

23.一种电子设备，其特征在于，包括处理器，所述处理器包括权利要求12至22任意一项所述的人体图像的分类装置。

24.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；

以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至11任意一项所述人体图像的分类方法的操作。

25.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至11任意一项所述人体图像的分类方法的操作。

Images