CN110717476A - 图像处理方法、装置、计算机设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、计算机设备和计算机可读存储介质。所述图像处理方法包括：从原始图像中获取目标图像；所述目标图像包括目标人像和遮挡人像；根据所述目标图像，分别获取各人像的人像检测结果和人体姿态点；所述人像检测结果包括人像类别及检测位置信息；根据各人像的人体姿态点，分别获取各人像的姿态点位置信息；将多个所述检测位置信息分别与各所述姿态点位置信息进行匹配，并基于匹配结果和所述人像类别，得到所述目标人像对应的目标人体姿态点。采用本方法能够提升基于视频或者图像的服务监管工作的准确性及效率。

Description

图像处理方法、装置、计算机设备和计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、计算机设备和计算机可读存储介质。

背景技术

Open Pose，开源人体姿态识别项目，通过检测人体的多个姿态点，实现人体动作、面部表情、手指运动等姿态的估计；Open Pose可以检测到图像中所有人的姿态点坐标，适用于单人和多人，具有极好的鲁棒性。

Open Pose应用于服务机构，通过检测监控图像中人体的姿态点坐标，辅助判别工作人员的服务动作及着装礼仪，以便于监管工作人员的服务质量。

然而，若目标工作人员被客户或其他工作人员遮挡，需要通过Open Pose获取该目标工作人员的人体姿态点时，实际获取到的很可能是遮挡该目标工作人员的客户或其他工作人员的姿态点，造成对目标工作人员的错误监管判断，监管准确性有待提升。

发明内容

基于此，有必要针对上述技术问题，提供一种在目标人员被他人遮挡的情况下，能够准确获取目标人员的人体姿态点的图像处理方法、装置、计算机设备和计算机可读存储介质。

第一方面，本申请实施例提供了一种图像处理方法，所述图像处理方法包括：

从原始图像中获取目标图像；所述目标图像包括目标人像和遮挡人像；

根据所述目标图像，分别获取各人像的人像检测结果和人体姿态点；所述人像检测结果包括人像类别及检测位置信息；

根据各人像的人体姿态点，分别获取各人像的姿态点位置信息；

将多个所述检测位置信息分别与各所述姿态点位置信息进行匹配，并基于匹配结果和所述人像类别，得到所述目标人像对应的目标人体姿态点。

可选地，所述从原始图像中获取目标图像，包括：

获取原始图像；

利用预设人体检测模型对所述目标人像在所述原始图像中的位置进行检测，确定所述原始图像中所述目标人像的初始位置框；

基于所述初始位置框，从所述原始图像中获取所述目标图像。

可选地，所述基于所述初始位置框，从所述原始图像中获取所述目标图像，包括：

对所述初始位置框进行坐标修正，得到截取位置框；

根据所述截取位置框，在所述原始图像中截取与所述截取位置框对应的图像区域，得到所述目标图像。

可选地，所述对所述初始位置框进行坐标修正，得到截取位置框，包括：

获取与所述初始位置框的各点坐标分别对应的比例扩充参数；

根据各所述比例扩充参数，对所述初始位置框的各点坐标进行修正，得到所述截取位置框。

可选地，所述根据各人像的人体姿态点，分别获取各人像的姿态点位置信息，包括：

基于各人像分别对应的一组人体姿态点，获取每组人体姿态点的坐标最大值及坐标最小值；

根据每组人体姿态点的坐标最大值及坐标最小值，生成各人像分别对应的姿态点位置信息。

可选地，所述检测位置信息包括检测位置框，所述姿态点位置信息包括姿态点位置框，所述将多个所述检测位置信息分别与各所述姿态点位置信息进行匹配，并基于匹配结果和所述人像类别，得到所述目标人像对应的目标人体姿态点，包括：

分别计算每个所述检测位置框与每个所述姿态点位置框之间的交并比；

确定与所述目标人像对应的检测位置框的交并比最大的姿态点位置框；

将所述交并比最大的姿态点位置框所对应的人体姿态点作为所述目标人像对应的目标人体姿态点。

可选地，所述人像检测结果还包括类别置信度，所述确定与所述目标人像对应的检测位置框的交并比最大的姿态点位置框之前，还包括：

根据各所述人像检测结果包括的所述人像类别，检测是否存在多个人像类别均为目标类别：

若存在，则根据各所述人像检测结果包括的所述类别置信度，确定所述目标人像对应的检测位置框。

第二方面，本申请实施例提供一种图像处理装置，所述装置包括：

第一获取模块，用于从原始图像中获取目标图像；所述目标图像包括目标人像和遮挡人像；

第二获取模块，用于根据所述目标图像，分别获取各人像的人像检测结果和人体姿态点；所述人像检测结果包括人像类别及检测位置信息；

第三获取模块，用于根据各人像的人体姿态点，分别获取各人像的姿态点位置信息；

匹配模块，用于将多个所述检测位置信息分别与各所述姿态点位置信息进行匹配，并基于匹配结果和所述人像类别，得到所述目标人像对应的目标人体姿态点。

第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法的步骤。

本申请实施例提供的技术方案带来的有益效果至少包括：

通过从原始图像中获取目标图像；所述目标图像包括目标人像和遮挡人像；根据所述目标图像，分别获取各人像的人像检测结果和人体姿态点；所述人像检测结果包括人像类别及检测位置信息；根据各人像的人体姿态点，分别获取各人像的姿态点位置信息；将多个所述检测位置信息分别与各所述姿态点位置信息进行匹配，并基于匹配结果和所述人像类别，得到所述目标人像对应的目标人体姿态点；由此，根据目标图像中各人像的人像检测结果和人体姿态点，将多个检测位置信息分别与各姿态点位置信息进行匹配，并基于匹配结果和人像类别，在目标人像被遮挡人像遮挡的情况下，从各人像对应的多组人体姿态点中，确定目标人像对应的目标人体姿态点；避免了传统技术中，若目标人像被遮挡人像遮挡，需要通过人体姿态识别模型获取目标人像的人体姿态点时，实际获取到的很可能是遮挡人像的姿态点，造成对目标人像的错误监管判断，监管准确性低的问题。本申请可以提升服务行业监管工作的准确性及效率。

附图说明

图1为一个实施例提供的图像处理方法的应用环境图；

图2为一个实施例提供的图像处理方法的流程示意图；

图3为一个实施例中步骤S100的细化步骤示意图；

图4为一个实施例中步骤S130的细化步骤示意图；

图5为一个实施例提供的图像处理方法的流程示意图；

图6为一个实施例提供的图像处理方法的流程示意图；

图7为一个实施例提供的图像处理方法的流程示意图；

图8为一个实施例提供的图像处理装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的图像处理方法，可以应用于如图1所示的计算机设备，该计算机设备可以是服务器，其内部结构图可以如图1所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存图像处理方法的数据。

本申请实施例提供的图像处理方法、装置、计算机设备和计算机可读存储介质，旨在解决传统技术中，若目标人像被遮挡人像遮挡，对目标人像基于人体姿态点进行服务监管时，监管准确性低的技术问题。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体地实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

需要说明的是，本申请实施例提供的图像处理方法，其执行主体可以是图像处理装置，该图像处理装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例中，均以执行主体是计算机设备为例来进行说明。

请参考图2，其示出了本申请实施例提供的一种图像处理方法的流程图，如图2所示，本实施例图像处理方法可以包括以下步骤：

步骤S100，从原始图像中获取目标图像。

其中，目标图像包括目标人像和遮挡人像。原始图像可以是计算机设备从视频流中抽取到的一帧图像，视频流可以是终端拍摄的视频或者是监控摄设备拍摄的视频，等等。

以服务机构为例，为了对服务人员的服务礼仪、着装配饰等进行监管，服务区域往往安装有监控设备以获取服务区域的监控视频。当需要对特定服务人员进行服务礼仪或穿着配饰的合规度检查时，本实施例计算机设备从监控视频中抽取一帧原始图像，并从原始图像中提取目标图像，目标图像中包括该特定服务人员对应的目标人像以及遮挡该目标人像的遮挡人像。可以理解的是，遮挡人像可以是一个，也可以是多个。

步骤S200，根据目标图像，分别获取各人像的人像检测结果和人体姿态点；人像检测结果包括人像类别及检测位置信息。

计算机设备获取到目标图像后，根据该目标图像，分别获取目标人像的人像检测结果和人体姿态点、以及遮挡人像的人像检测结果和人体姿态点。可以理解的是，目标图像中，每个人像均对应一个人像检测结果和一组人体姿态点。其中，每个人像检测结果均包括人像类别及检测位置信息。

本实施例中，具体地，采用YOLO目标检测算法，从目标人像中获取各人像的人像检测结果；在其它实施例中，获取各人像的人像检测结果，也可是采用SSD目标检测算法从目标人像中获取，在此不做具体限制。

目标图像中，每个人像检测结果包括对应人像的人像类别，人像类别可以包括目标类别及非目标类别，目标类别对应的人像为目标人像，非目标类别对应的人像为遮挡人像。人像检测结果还包括对应人像的检测位置信息，本实施例中，检测位置信息包括检测位置框，每个检测位置框分别框定对应人像在目标图像中的位置；在其它实施例中，检测位置信息还可以包括用于表征对应人像在目标图像中位置的位置点坐标，等等，在此不做具体限制。

本实施例中，采用Open Pose人体姿态识别模型，获取各人像分别对应的一组人体姿态点。一个完整人像的人体姿态点包括人体骨架的25个主要关节点：鼻子、脖子、右肩膀、右手肘、右手腕、左肩膀、左手肘、左手腕、骶骨、右胯骨、右膝盖、脚踝、左胯骨、左膝盖、左脚踝、右眼、左眼、右耳、左耳、左脚趾1、左脚趾2、左脚跟、右脚趾1、右脚趾2、右脚跟；本实施例中，计算机设备获取到的每组人体姿态点，包括对应人像的25个关节点中的部分或者全部。

步骤S300,根据各人像的人体姿态点，分别获取各人像的姿态点位置信息。

本实施例中，与检测位置框对应，作为一种实施方式，计算机设备根据每个人像对应的一组人体姿态点，确定每个人像分别对应的姿态点位置信息，即姿态点位置框。姿态点位置框是根据人像对应的一组人体姿态点中各点的坐标确定的，例如，当目标图像处于直角坐标系的第四象限时，计算机设备根据目标人像的一组人体姿态点，获取目标人像的姿态点位置信息，具体可以是从目标人像对应的一组人体姿态点中，选取各姿态点坐标的横轴最大值和最小值、竖轴最大值和最小值，将横轴最小值及竖轴最大值作为目标人像对应的姿态点位置框的左上角坐标，将横轴最大值和竖轴最小值作为该姿态点位置框的右下角坐标，即可得到目标人像对应的矩形姿态点位置框。以此类推，根据每个人像对应的一组人体姿态点，确定每个人像分别对应的姿态点位置框。

步骤S400，将多个检测位置信息分别与各姿态点位置信息进行匹配，并基于匹配结果和人像类别，得到目标人像对应的目标人体姿态点。

本实施例中，计算机设备将多个检测位置信息分别与各姿态点位置信息进行匹配，并基于匹配结果和人像类别，得到目标人像对应的目标人体姿态点。具体地，计算机设备将每个检测位置框与每个姿态点位置框两两进行匹配，对于每一个检测位置框，都会得到一个与之匹配度最高的姿态点位置框，其中，匹配的过程具体可以是计算检测位置框与姿态点位置框的交集面积与并集面积之比；与一个检测位置框匹配度最高的姿态点位置框，即为各姿态点位置框中，与该检测位置框的交集面积与并集面积之比最大的那个姿态点位置框。

进一步地，计算机设备根据每个人像检测结果包括的人像类别，筛选出目标人像对应的检测位置框，并根据匹配结果，得到与目标人像的检测位置框匹配度最高的姿态点位置框，确定该匹配度最高的姿态点位置框对应的一组人体姿态点为目标人像对应的目标人体姿态点。

由此，当需要对特定服务人员进行服务礼仪或穿着配饰的合规度检查时，本实施例通过上述实施方式，在特定服务人员被其他人遮挡时，计算机设备从原始图像中获取该特定服务人员对应的目标人像的目标人体姿态点，以便于根据目标人体姿态点对目标人像的服务礼仪及着装配饰进行下一步的识别检测，以完成对该特定服务人员的服务合规度检测。

本实施例通过从原始图像中获取目标图像；目标图像包括目标人像和遮挡人像；根据目标图像，分别获取各人像的人像检测结果和人体姿态点；人像检测结果包括人像类别及检测位置信息；根据各人像的人体姿态点，分别获取各人像的姿态点位置信息；将多个检测位置信息分别与各姿态点位置信息进行匹配，并基于匹配结果和人像类别，得到目标人像对应的目标人体姿态点；由此，根据目标图像中各人像的人像检测结果和人体姿态点，将多个检测位置信息分别与各姿态点位置信息进行匹配，并基于匹配结果和人像类别，在目标人像被遮挡人像遮挡的情况下，从各人像对应的多组人体姿态点中，确定目标人像对应的目标人体姿态点；避免了传统技术中，若目标人像被遮挡人像遮挡，需要通过人体姿态识别模型获取目标人像的人体姿态点时，实际获取到的很可能是遮挡人像的姿态点，造成对目标人像的错误监管判断，监管准确性低的问题。本实施例可以提升服务行业监管工作的准确性及效率。

在上述图2所示实施例的基础上，参见图3，图3为另一个实施例中，步骤S100的细化步骤示意图，本实施例图像处理方法中，步骤S100具体包括步骤S110、步骤S120以及步骤S130：

步骤S110，获取原始图像。

具体地，原始图像可以是计算机设备从视频流中抽取到的一帧图像，视频流可以是终端拍摄的视频或者是监控摄设备拍摄的视频，等等。

原始图像中包括目标人像，且目标人像存在人物遮挡。

步骤S120，利用预设人体检测模型对目标人像在原始图像中的位置进行检测，确定原始图像中目标人像的初始位置框。

本实施例中，人体检测模型是基于YOLO目标检测算法或者SSD目标检测算法实现的端到端的目标检测器，主要包括特征提取子模块和检测子模块，特征提取子模块由若干卷积层、归一化层、激活层、池化层等堆叠而成；检测子模块在特征提取子模块的基础上继续构造若干特征层，在构造的每个特征层上设置多个预设框用于获取目标人像的初始位置框。

计算机设备获取到原始图像后,人体检测模型根据原始图像中目标人像的位置，从多个预设框中选取与目标人像的位置重合或者与目标人像的位置最接近的预设框，作为目标人像对应的初始位置框。

作为一种实施方式，针对原始图像，人体检测模型输出原始图像中每个人像的人像检测结果，人像检测结果表示为{clsid,loc,score},其中，clsid代表当前人像检测结果对应人像的人像类别，例如，目标类别或者非目标类别；loc代表对应人像的初始位置框信息，loc表示为(tlx,tly,w,h),其中，tlx,tly,w,h依次代表初始位置框的左上角点的x坐标、y坐标、初始位置框的宽、初始位置框的高；score代表对应人像的人像类别置信度,score是一个0-1之间的概率值。

本实施例中，计算机设备根据原始图像对应的多个人像检测结果，从中筛选clsid为目标类别的人像检测结果，若筛选到多个clsid为目标类别的人像检测结果，再基于筛选到的人像检测结果，进一步筛选score大于设定阈值的人像检测结果，设定阈值可以是0.5，将最终筛选到的人像检测结果作为目标人像的人像检测结果，将最终筛选到的人像检测结果中的loc作为目标人像的初始位置框。

步骤S130，基于初始位置框，从原始图像中获取目标图像。

计算机设备根据目标人像对应的初始位置框的坐标位置，从原始图像中截取与该坐标位置覆盖区域相同的目标图像。

在另一个实施例中，作为一种实施方式，参见图4，图4为步骤S130的细化步骤示意图,步骤S130具体包括步骤S131和步骤S132：

步骤S131，对初始位置框进行坐标修正，得到截取位置框。

本实施例中，为了提高目标人像对应的初始位置框的准确性，计算机设备对目标人像的初始位置框进行坐标修正，修正后得到截取位置框。

作为一种实施方式，步骤S131可以包括细化步骤a和步骤b：

步骤a，获取与初始位置框的各点坐标分别对应的比例扩充参数。

步骤b，根据各比例扩充参数，对初始位置框的各点坐标进行修正，得到截取位置框。

可以理解的是，初始位置框可能没有把原始图像中的目标人像全部框在初始位置框内，即初始位置框存在误差。本实施例中，计算机设备获取与目标人像的初始位置框的各点坐标分别对应的比例扩充参数，对初始位置框进行扩大。比例扩充参数可以是用户输入的，也可以是由计算机设备从数据库中获取到的。

作为一种实施方式，本实施例中，比例扩充参数分别用kleft、ktop、kbottom、kright表示。假设原始图像处于直角坐标系的第四象限，则计算机设备对初始位置框的左上角点的x坐标采用以下公式1进行修正，对初始位置框的左上角点的y坐标采用以下公式2进行修正,对初始位置框的宽采用以下公式3进行修正，对初始位置框的高采用以下公式4进行修正：

ntlx＝(1-kleft)*tlx 公式1

ntly＝(1-ktop)*tly 公式2

nw＝w+(kleft+kright)*tlx 公式3

nh＝h-(ktop+kbottom)*tly 公式4

本实施例中，设置ktop＝10％、kbottom＝10％、kleft＝10％、kright＝10％，即计算机设备对初始位置框扩大10％，得到的(ntlx,ntly,nw,nh)即为截取位置框的坐标。

比例扩充参数的取值，在实际设置时与初始位置框的误差程度相关。可以理解的是，若原始图像处于直角坐标系的其它象限，公式1-4会随着初始位置框坐标的正负变化作相应改变，坐标修正的目的是为了修正后的截取位置框可以将目标人像框完整，避免初始位置框由于误差对目标人像框定不完整的情况。

步骤S132，根据截取位置框，在原始图像中截取与截取位置框对应的图像区域，得到目标图像。

计算机设备根据修正后的截取位置框，在原始图像中截取与截取位置框对应的图像区域，得到目标图像。

本实施例通过获取原始图像，利用预设人体检测模型对目标人像在原始图像中的位置进行检测，确定原始图像中目标人像的初始位置框，对初始位置框进行坐标修正，得到截取位置框，根据截取位置框，在原始图像中截取与截取位置框对应的图像区域，得到目标图像；由此，提升了从原始图像中识别目标人像的准确度，提升了目标图像的准确度，进一步提升了基于目标图像的目标人像人体姿态点的获取准确性，在服务监管中，提升了对目标人像的监管准确性。

图5为另一个实施例提供的图像处理方法的流程示意图。在上述图2所示实施例的基础上，本实施例步骤S200，包括：

步骤S210，根据目标图像及预设人体检测模型，获取各人像的人像检测结果。

人体检测模型是基于YOLO目标检测算法或者SSD目标检测算法实现的端到端的目标检测器，本实施例中，将目标图像输入至预设人体检测模型，获取目标图像中各人像的人像检测结果。

步骤S220，根据目标图像及预设姿态识别模型，获取各人像的人体姿态点。

Open Pose，开源人体姿态识别项目，通过检测人体的多个姿态点，实现人体动作、面部表情、手指运动等姿态的估计；Open Pose可以检测到图像中所有人的姿态点坐标，适用于单人和多人，具有极好的鲁棒性。本实施例中，将目标图像输入至Open Pose中，获取目标图像中每个人像对应的一组人体姿态点。

本实施例通过预设人体检测模型及预设姿态识别模型，提升了人像检测结果和人体姿态点的获取速度，加快了目标人像对应的目标人体姿态点的获取速度，在服务监管中，提升了对目标人像的监管效率。

图6为另一个实施例提供的图像处理方法的流程示意图。在上述图2所示实施例的基础上，本实施例步骤S300包括：

步骤S310，基于各人像分别对应的一组人体姿态点，获取每组人体姿态点的坐标最大值及坐标最小值。

本实施例中，目标图像中每个人像分别对应一组人体姿态点，每个人体姿态点包括该姿态点在目标图像中的位置坐标。

目标图像输入至Open Pose姿态识别模型得到的输出结果为：

bpoints＝vector<P1,P2,…,Pj>，其中P1,P2,…,Pj均代表目标图像中一个人像对应的一组人体姿态点。

Pj＝vector<bpt1,bpt2,…,bptk>，其中，bpt1，bpt2，…，bptk分别代表一组人体姿态点Pj中各姿态点的坐标，bptk包括bptk.x以及bptk.y,即bptk姿态点对应的x坐标和y坐标。

假设目标图像处于直角坐标系的第四象限，计算机设备通过公式5至公式8，获取人体姿态点Pj的坐标最大值及坐标最小值：

x1＝min(bptk.x) 公式5

y1＝max(bptk.y) 公式6

x2＝max(bptk.x) 公式7

y2＝min(bptk.y) 公式8

1≤k≤25，即一组人体姿态点最多包括人体的25个关节点。

步骤S320，根据每组人体姿态点的坐标最大值及坐标最小值，生成各人像分别对应的姿态点位置信息。

得到(x1,y1),(x2,y2)，即为Pj对应的人像的姿态点位置信息。其中，(x1,y1),(x2,y2)分别代表姿态点位置信息对应的矩形姿态点位置框的左上角坐标和右下角坐标。

本实施例通过基于各人像分别对应的一组人体姿态点，获取每组人体姿态点的坐标最大值及坐标最小值；根据每组人体姿态点的坐标最大值及坐标最小值，生成各人像分别对应的姿态点位置信息；由此，根据人像对应的一组人体姿态点，生成该人像对应的姿态点位置信息，以便于将多个检测位置信息分别与各姿态点位置信息进行匹配，并基于匹配结果和人像类别，得到目标人像对应的目标人体姿态点。

在另一实施例中，参考图7，图7为一个实施例提供的图像处理方法的流程示意图，该实施例中，检测位置信息包括检测位置框，姿态点位置信息包括姿态点位置框，步骤S400具体包括：

步骤S410，分别计算每个检测位置框与每个姿态点位置框之间的交并比。

姿态点位置框的坐标为(x1,y1,x2,y2)，其中，(x1,y1),(x2,y2)分别代表姿态点位置框的左上角坐标和右下角坐标，以目标图像处于直角坐标系的第四象限为例，姿态点位置框的面积S1＝(x2-x1)*(y1-y2)。

计算机设备根据目标图像，分别获取各人像的人像检测结果，人像检测结果包括人像类别及检测位置信息，检测位置信息即检测位置框的坐标信息，检测位置框的坐标信息表示为(tlx,tly,w,h),tlx,tly,w,h依次代表检测位置框的左上角点的x坐标、y坐标、检测位置框的宽、检测位置框的高，检测位置框的面积S2＝w*h。

计算机设备计算每个检测位置框与每个姿态点位置框之间的交并比，具体可以通过公式9计算：

ioui＝cross/union 公式9

其中，ioui表示一个检测位置框与一个姿态点位置框之间的交并比，cross代表检测位置框与姿态点位置框交集的面积，union代表检测位置框与姿态点位置框并集的面积。

cross通过以下公式10计算得到：

cross＝[min(x2，tlx+w)-max(x1，tlx)]*[min(y1,tly)-max(y2,tly-h)] 公式10

union通过以下公式11计算得到：

union＝S1+S2-cross 公式11

由此，得到每个姿态点位置框与每个检测位置框之间的交并比。

步骤S420，确定与目标人像对应的检测位置框的交并比最大的姿态点位置框。

将每个检测位置框的交并比结果按从大到小的顺序排序，根据目标图像的人像检测结果包括的人像类别，筛选出目标类别对应的检测位置框，即目标人像对应的检测位置框，得到与目标人像对应的检测位置框的多个交并比计算结果。

确定目标人像对应的检测位置框的交并比最大的姿态点位置框。

步骤S430，将交并比最大的姿态点位置框所对应的人体姿态点作为目标人像对应的目标人体姿态点。

确定与目标人像的检测位置框对应的交并比最大的姿态点位置框后，将该交并比最大的姿态点位置框对应的一组人体姿态点作为目标人像对应的目标人体姿态点。

作为一种实施方式，步骤S420之前还包括：

步骤c，根据各人像检测结果包括的人像类别，检测是否存在多个人像类别均为目标类别；

步骤d，若存在，则根据各人像检测结果包括的类别置信度，确定目标人像对应的检测位置框。

人像检测结果还包括类别置信度，计算机设备根据人像检测结果包括的人像类别，检测是否存在多个人像类别均为目标类别，若存在，即人体检测模型检测到不只一个人像类别为目标类别的人像检测结果，计算机设备则根据人像类别为目标类别的多个人像检测结果分别包括的类别置信度，将类别置信度高于阈值的人像检测结果作为目标人像对应的人像检测结果，由此，提升了目标图像中目标人像的识别准确度。

本实施例通过分别计算每个检测位置框与每个姿态点位置框之间的交并比，确定与目标人像对应的检测位置框的交并比最大的姿态点位置框，将交并比最大的姿态点位置框所对应的人体姿态点作为目标人像对应的目标人体姿态点；由此，通过计算交并比，得到检测位置框与姿态点位置框之间的重合度，将重合度最大的一组检测位置框与姿态点位置框认为是同一个人像的，由此确定出目标人像对应的目标人体姿态点；在目标人像被遮挡的情况下，依然可以准确获取目标人像的人体姿态点，提升服务行业监管工作的准确性及效率。

应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种图像处理装置，包括：

第一获取模块10，用于从原始图像中获取目标图像；所述目标图像包括目标人像和遮挡人像；

第二获取模块20，用于根据所述目标图像，分别获取各人像的人像检测结果和人体姿态点；所述人像检测结果包括人像类别及检测位置信息；

第三获取模块30，用于根据各人像的人体姿态点，分别获取各人像的姿态点位置信息；

匹配模块40，用于将多个所述检测位置信息分别与各所述姿态点位置信息进行匹配，并基于匹配结果和所述人像类别，得到所述目标人像对应的目标人体姿态点。

可选地，所述第一获取模块10，包括：

第一获取单元，获取原始图像；

第一确定单元，用于利用预设人体检测模型对所述目标人像在所述原始图像中的位置进行检测，确定所述原始图像中所述目标人像的初始位置框；

第二获取单元，用于基于所述初始位置框，从所述原始图像中获取所述目标图像。

可选地，所述第二获取单元，包括：

修正子单元，用于对所述初始位置框进行坐标修正，得到截取位置框；

截取子单元，用于根据所述截取位置框，在所述原始图像中截取与所述截取位置框对应的图像区域，得到所述目标图像。

可选地，所述修正子单元，包括：

获取组件，用于获取与所述初始位置框的各点坐标分别对应的比例扩充参数；

修正组件，用于根据各所述比例扩充参数，对所述初始位置框的各点坐标进行修正，得到所述截取位置框。

可选地，所述第三获取模块30，包括：

第三获取单元，用于基于各人像分别对应的一组人体姿态点，获取每组人体姿态点的坐标最大值及坐标最小值；

生成单元，用于根据每组人体姿态点的坐标最大值及坐标最小值，生成各人像分别对应的姿态点位置信息。

可选地，所述检测位置信息包括检测位置框，所述姿态点位置信息包括姿态点位置框，所述匹配模块40，包括：

计算单元，用于分别计算每个所述检测位置框与每个所述姿态点位置框之间的交并比；

第二确定单元，用于确定与所述目标人像对应的检测位置框的交并比最大的姿态点位置框；

第三确定单元，用于将所述交并比最大的姿态点位置框所对应的人体姿态点作为所述目标人像对应的目标人体姿态点。

可选地，所述人像检测结果还包括类别置信度，所述匹配模块40，还包括：

检测单元，用于根据各所述人像检测结果包括的所述人像类别，检测是否存在多个人像类别均为目标类别；

第四确定单元，用于若存在，则根据各所述人像检测结果包括的所述类别置信度，确定所述目标人像对应的检测位置框。

本实施例提供的图像处理装置，可以执行上述图像处理方法实施例，其实现原理和技术效果类似，在此不再赘述。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，还提供了一种如图1所示的计算机设备，该计算机设备可以是服务器。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体地计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

从原始图像中获取目标图像；所述目标图像包括目标人像和遮挡人像；

根据所述目标图像，分别获取各人像的人像检测结果和人体姿态点；所述人像检测结果包括人像类别及检测位置信息；

根据各人像的人体姿态点，分别获取各人像的姿态点位置信息；

将多个所述检测位置信息分别与各所述姿态点位置信息进行匹配，并基于匹配结果和所述人像类别，得到所述目标人像对应的目标人体姿态点。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Ramb微秒)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

从原始图像中获取目标图像；所述目标图像包括目标人像和遮挡人像；

根据所述目标图像，分别获取各人像的人像检测结果和人体姿态点；所述人像检测结果包括人像类别及检测位置信息；

根据各人像的人体姿态点，分别获取各人像的姿态点位置信息；

将多个所述检测位置信息分别与各所述姿态点位置信息进行匹配，并基于匹配结果和所述人像类别，得到所述目标人像对应的目标人体姿态点。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

从原始图像中获取目标图像；所述目标图像包括目标人像和遮挡人像；

根据所述目标图像，分别获取各人像的人像检测结果和人体姿态点；所述人像检测结果包括人像类别及检测位置信息；

根据各人像的人体姿态点，分别获取各人像的姿态点位置信息；

将多个所述检测位置信息分别与各所述姿态点位置信息进行匹配，并基于匹配结果和所述人像类别，得到所述目标人像对应的目标人体姿态点。

2.根据权利要求1所述的方法，其特征在于，所述从原始图像中获取目标图像，包括：

获取原始图像；

利用预设人体检测模型对所述目标人像在所述原始图像中的位置进行检测，确定所述原始图像中所述目标人像的初始位置框；

基于所述初始位置框，从所述原始图像中获取所述目标图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述初始位置框，从所述原始图像中获取所述目标图像，包括：

对所述初始位置框进行坐标修正，得到截取位置框；

根据所述截取位置框，在所述原始图像中截取与所述截取位置框对应的图像区域，得到所述目标图像。

4.根据权利要求3所述的方法，其特征在于，所述对所述初始位置框进行坐标修正，得到截取位置框，包括：

获取与所述初始位置框的各点坐标分别对应的比例扩充参数；

根据各所述比例扩充参数，对所述初始位置框的各点坐标进行修正，得到所述截取位置框。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据各人像的人体姿态点，分别获取各人像的姿态点位置信息，包括：

基于各人像分别对应的一组人体姿态点，获取每组人体姿态点的坐标最大值及坐标最小值；

根据每组人体姿态点的坐标最大值及坐标最小值，生成各人像分别对应的姿态点位置信息。

6.根据权利要求5所述的方法，其特征在于，所述检测位置信息包括检测位置框，所述姿态点位置信息包括姿态点位置框，所述将多个所述检测位置信息分别与各所述姿态点位置信息进行匹配，并基于匹配结果和所述人像类别，得到所述目标人像对应的目标人体姿态点，包括：

分别计算每个所述检测位置框与每个所述姿态点位置框之间的交并比；

确定与所述目标人像对应的检测位置框的交并比最大的姿态点位置框；

将所述交并比最大的姿态点位置框所对应的人体姿态点作为所述目标人像对应的目标人体姿态点。

7.根据权利要求6所述的方法，其特征在于，所述人像检测结果还包括类别置信度，所述确定与所述目标人像对应的检测位置框的交并比最大的姿态点位置框之前，还包括：

根据各所述人像检测结果包括的所述人像类别，检测是否存在多个人像类别均为目标类别；

若存在，则根据各所述人像检测结果包括的所述类别置信度，确定所述目标人像对应的检测位置框。

8.一种图像处理装置，其特征在于，所述装置包括：

第一获取模块，用于从原始图像中获取目标图像；所述目标图像包括目标人像和遮挡人像；

第二获取模块，用于根据所述目标图像，分别获取各人像的人像检测结果和人体姿态点；所述人像检测结果包括人像类别及检测位置信息；

第三获取模块，用于根据各人像的人体姿态点，分别获取各人像的姿态点位置信息；

匹配模块，用于将多个所述检测位置信息分别与各所述姿态点位置信息进行匹配，并基于匹配结果和所述人像类别，得到所述目标人像对应的目标人体姿态点。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images