CN111738174B - 基于深度解耦的人体实例解析方法、*** - Google Patents

基于深度解耦的人体实例解析方法、*** Download PDF

Info

Publication number
CN111738174B
CN111738174B CN202010592997.XA CN202010592997A CN111738174B CN 111738174 B CN111738174 B CN 111738174B CN 202010592997 A CN202010592997 A CN 202010592997A CN 111738174 B CN111738174 B CN 111738174B
Authority
CN
China
Prior art keywords
human body
clustering
candidate region
integral
body part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010592997.XA
Other languages
English (en)
Other versions
CN111738174A (zh
Inventor
陈盈盈
朱炳科
王金桥
唐明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute Of Scientific And Technical Information Of China
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute Of Scientific And Technical Information Of China
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute Of Scientific And Technical Information Of China, Institute of Automation of Chinese Academy of Science filed Critical Institute Of Scientific And Technical Information Of China
Priority to CN202010592997.XA priority Critical patent/CN111738174B/zh
Publication of CN111738174A publication Critical patent/CN111738174A/zh
Application granted granted Critical
Publication of CN111738174B publication Critical patent/CN111738174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于计算机视觉领域，具体涉及一种基于深度解耦的人体实例解析方法、***，旨在为了解决漏检和误检影响实例人体解析识别精度的问题，本发明方法包括：获取输入图像中候选区域的实例检测框和特征；所述候选区域为人体实例的候选区域；所述人体实例包括人体整体实例、人体部件实例；基于所述候选区域的特征，获取候选区域对应实例的实例掩模和实例特征；基于各候选区域对应的实例检测框、实例掩模、实例特征，通过层级式聚类算法进行人体整体‑人体部件关联聚类，获取人体实例解析结果。本发明可以提升实例人体解析的识别精度并减少人体实例的漏检和误检。

Description

基于深度解耦的人体实例解析方法、***
技术领域
本发明属于计算机视觉领域，具体涉及一种基于深度解耦的人体实例解析方法、***。
背景技术
人体解析研究将图像中每个人体部件(如头发、脸、躯干、腿等)从背景中提取出来并依据部件类别定义分割成不同语义区域，从而赋予全图每个像素对应的语义类别标签。而实例人体解析则进一步将各人体部件与其从属的人体关联，将各部件的语义区域划分给不同人体实例。当前大部分实例人体解析方法采取先检测再解析的流程，该流程先定位整个人体检测框作为实例，再对每个实例检测框进行像素级语义解析。这类方法由于图像中包含多人且人体姿态多种多样导致两类问题：检测框出现偏差未能包含该人体实例的所有部件因此后续语义解析阶段继承偏差无法解析漏掉的部件；当多个人体实例大面积重叠时，一个检测框中可能包含了多个人体实例无法区别且语义解析阶段仍基于检测框中只包含一个人体实例进行解析导致误识别。
发明内容
为了解决现有技术中的上述问题，即为了解决漏检和误检影响实例人体解析识别精度的问题，本发明的第一方面，提出了一种基于深度解耦的人体实例解析方法，该方法包括以下步骤：
步骤S100，获取输入图像中候选区域的实例检测框和特征；所述候选区域为人体实例的候选区域；所述人体实例包括人体整体实例、人体部件实例；
步骤S200，基于所述候选区域的特征，获取候选区域对应实例的实例掩模和实例特征；
步骤S300，基于各候选区域对应的实例检测框、实例掩模、实例特征，通过层级式聚类算法进行人体整体-人体部件关联聚类，获取人体实例解析结果。
在一些优选的实施方式中，步骤S100中“获取输入图像中候选区域的实例检测框和特征”，其方法包括：
步骤S110，基于卷积神经网络提取所述输入图像的图像特征，作为第一特征；
步骤S120，基于所述第一特征，获取所述候选区域的中人体整体实例和人体部件实例的实例检测框，并提取各实例检测框的内图像的特征，作为第二特征。
在一些优选的实施方式中，步骤S110中“基于卷积神经网络提取所述输入图像的图像特征”，其方法包括：
对所述输入图像，通过深度卷积神经网络提取图像特征，并基于可形变卷积的特征金字塔网络提取不同尺度的图像特征。
在一些优选的实施方式中，步骤S200中“获取候选区域对应实例的实例掩模和实例特征”，其方法包括：
步骤S210，基于所述第二特征，提取每个候选区域中的对应人体实例的掩模，作为实例掩模；
步骤S220，基于每个候选区的实例掩模，对相应的第二特征进行加权，获取候选区域中对应人体实例的特征，作为实例特征。
在一些优选的实施方式中，步骤S300中“通过层级式聚类算法进行人体整体-人体部件关联聚类，获取人体实例解析结果”，其方法包括：
步骤S310，根据各候选区域对应的实例检测框进行聚类，得到第一聚类结果IS1；
步骤S320，根据预设的人体结构约束条件，基于人体整体实例和人体部件实例的实例特征相似度，对IS1进行筛选，得到第二聚类结果IS2；
步骤S330，将IS2外的孤立的人体部件实例和所有人体整体实例分为两组构建二分图模型并建立全连接，在所述预设的人体结构约束条件下进行二分图匹配后，结合IS2构建最终聚类结果IS3；
步骤S340，根据IS3得到人体整体-人体部件聚类的实例结果，再将每个人体整体实例中各人体部件实例的实例掩模和类别进行对应，得到人体实例解析结果。
在一些优选的实施方式中，所述第一聚类结果IS1，其获取方法包括：
根据人体整体实例、人体部件实例对应各的实例检测框进行聚类，若人体部件实例的实例检测框中心点位于人体整体实例的实例检测框内部，则判定人体部件实例与对应的人体整体实例匹配，匹配公式为
Figure BDA0002556399990000031
其中，
Figure BDA0002556399990000032
表示第i个人体部件实例的实例检测框，
Figure BDA0002556399990000033
表示第j个人体整体实例的实例检测框，
Figure BDA0002556399990000034
表示聚类结果IS1的一组实例检测框聚类，S1表示第一个聚类阶段。
在一些优选的实施方式中，所述预设的人体结构约束条件为预设的每个人体实例对应各类部件的数量。
在一些优选的实施方式中，所述第二聚类结果IS2，其获取方法为：
基于预设的每个人体实例对应各类部件的数量，对于每一个聚类，依据该聚类中人体部件实例和人体实例的实例特征相似度，去除相似度较低的人体部件实例，得到第二聚类结果IS2。
在一些优选的实施方式中，步骤S340中所述二分类匹配采用匈牙利算法。
本发明的第二方面，提出了一种基于深度解耦的人体实例解析***，该***包括第一模块、第二模块、第三模块；
所述第一模块，配置为获取输入图像中候选区域的实例检测框和特征；所述候选区域为人体实例的候选区域；所述人体实例包括人体整体实例、人体部件实例；
所述第二模块，配置为基于所述候选区域的特征，获取候选区域对应实例的实例掩模和实例特征；
所述第三模块，配置为基于各候选区域对应的实例检测框、实例掩模、实例特征，通过层级式聚类算法进行人体整体-人体部件关联聚类，获取人体实例解析结果。
本发明的有益效果：
在获得人体和人体部件候选区域的检测框和特征后，基于候选区域特征提取实例特征和实例掩模，然后将实例检测框、实例特征和实例掩模进行人体和部件的层级式聚类逐步校正人体和人体部件实例的匹配关系，从而提升实例人体解析的识别精度并减少人体实例的漏检和误检。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种实施例的基于深度解耦的人体实例解析方法流程示意图；
图2是本发明一种实施例中基于可形变卷积的特征金字塔网络结构示意图；
图3是本发明一种实施例中实例支路和分割支路的网络结构示意图；
图4是本发明一种实施例中二分图模型匹配的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的一种基于深度解耦的人体实例解析方法，如图1所示，该方法包括以下步骤：
步骤S100，获取输入图像中候选区域的实例检测框和特征；所述候选区域为人体实例的候选区域；所述人体实例包括人体整体实例、人体部件实例；
步骤S200，基于所述候选区域的特征，获取候选区域对应实例的实例掩模和实例特征；
步骤S300，基于各候选区域对应的实例检测框、实例掩模、实例特征，通过层级式聚类算法进行人体整体-人体部件关联聚类，获取人体实例解析结果。
为了更清晰地对本发明基于深度解耦的人体实例解析方法进行说明，下面结合附图对本方发明方法一种实施例中各步骤进行展开详述。
本发明一种实施例的基于深度解耦的人体实例解析方法，包括如下步骤S100－S300。
步骤S100，获取输入图像中候选区域的实例检测框和特征；所述候选区域为人体实例的候选区域；所述人体实例包括人体整体实例、人体部件实例。该步骤进一步包括步骤S110、步骤S120。
步骤S110，基于卷积神经网络提取所述输入图像的图像特征，作为第一特征。
在一些优选的实施例中，所述第一特征还可以按照下述方法获取：对所述输入图像，通过深度卷积神经网络提取图像特征，并基于可形变卷积的特征金字塔网络提取不同尺度的图像特征，作为第一特征。本实施例中采用的可形变卷积的特征金字塔网络的网络结构参照图如图2所示，具体的，基于可形变卷积的特征金字塔网络将原始特征金字塔网络的3×3卷积替换为3×3可形变卷积。图2中res2-res5分别为残差模块，F2-F5分别为对应层输出特征图，RoI为池化层。
步骤S120，基于所述第一特征，获取所述候选区域的中人体整体实例和人体部件实例的实例检测框，并提取各实例检测框的内图像的特征，作为第二特征。
本实施例中，可以通过检测支路进行实例检测框、第二特征的提取，检测支路采用Mask R-CNN的结构，即2个全连接层进行特征提
取,再采用1个全连接层用于预测类别，1个全连接层预测检测框。
步骤S200，基于所述候选区域的特征，获取候选区域对应实例的实例掩模和实例特征。该步骤进一步包括步骤步骤S210、步骤S220。
步骤S210，基于所述第二特征，提取每个候选区域中的对应人体实例的掩模，作为实例掩模。
该步骤中可以通过分割支路进行实例掩模的提取，分割支路以第二特征为输入，由全卷积网络和二元交叉熵损失进行训练提取实例掩模。全卷积网络的结构不做限定。本实施例中分割支路采用Mask R-CNN的结构，采用4个3x3卷积进行特征提取，1个反卷积上采样，1个1x1卷积进行最终分割掩膜预测。
步骤S220，基于每个候选区的实例掩模，对相应的第二特征进行加权，获取候选区域中对应人体实例的特征，作为实例特征。
该步骤中可以通过实例支路进行实例特征的提取，本实施例中，实例支路利用分割支路结果作为注意力掩膜过滤背景信息，然后采用4个3x3卷积层和2个全连接层进行实例特征提取。通过本发明提出的实例支路，将实例掩模作为注意力权重与候选区域的特征加权，再经过网络映射得到相同维度的人体整体和人体部件实例特征，从而可以通过特征度量判别他们是否属于同一实例。具体的，先将分割支路输出的实例掩模与候选区域的特征进行点乘，然后经过4个3×3维度为256的卷积层和2个维度为1024的全连接层，最后使用1个64维的全连接层输出实例特征；另外，训练阶段实例支路使用对比损失进行度量学习，同一实例的人体整体和人体部件实例特征之间的距离应当小于来源不同实例的特征距离。该对比损失公式如下：
Figure BDA0002556399990000081
其中，vi表示人体部件的实例特征，uj表示人体整体的实例特征，
Figure BDA0002556399990000082
表示与vi同一人体实例的正样本实例特征，
Figure BDA0002556399990000083
表示与vi不同人体实例的负样本实例特征，K表示所有负样本的数量。
图3示出了本发明一种实施例中实例支路和分割支路的网络结构示意图。
步骤S300，基于各候选区域对应的实例检测框、实例掩模、实例特征，通过层级式聚类算法进行人体整体-人体部件关联聚类，获取人体实例解析结果。具体包括步骤S310－步骤S340。
步骤S310，根据各候选区域对应的实例检测框进行聚类，得到第一聚类结果IS1。
该步骤中，根据人体整体和人体部件检测框位置进行聚类，若人体部件检测框的中心位于人体整体检测框内部，则判定人体部件与人体整体检测框属于同一人体实例。
根据人体整体实例、人体部件实例对应各的实例检测框进行聚类，若人体部件实例的实例检测框中心点位于人体整体实例的实例检测框内部，则判定人体部件实例与对应的人体整体实例匹配，匹配公式为
Figure BDA0002556399990000084
其中，
Figure BDA0002556399990000091
表示第i个人体部件实例的实例检测框，
Figure BDA0002556399990000092
表示第j个人体整体实例的实例检测框，
Figure BDA0002556399990000093
表示聚类结果IS1的一组实例检测框聚类，S1表示第一个聚类阶段。
步骤S320，根据预设的人体结构约束条件，基于人体整体实例和人体部件实例的实例特征相似度，对IS1进行筛选，得到第二聚类结果IS2。
根据聚类结果IS1和人体结构约束条件，即每个人体实例对应各类部件的数量有限，通过本发的实例支路提取实例特征度量人体和人体部件实例的匹配度(即聚类得分wi，j，
Figure BDA0002556399990000094
是两者实例特征的聚类得分，pi，j表示第i个人体部件的实例特征与第j个人体整体实例特征的相似性得分，可以采用余弦相似度的方法计算，
Figure BDA0002556399990000095
表示检测支路输出的类别得分)，可以去除匹配度低的部件，从而减少人体整体和人体部件实例的错误匹配，尤其场景复杂多人身体交叠使得一个检测框中包含多个人的人体部件时，可以纠正部件实例避免后续人体解析的误识别。
人体结构约束条件是基于人体物理结构模型，限定一个人体实例对应各类人体部件的数量上限(例如，一个人最多只有两只手)，将此约束条件记为R并应用于第一聚类结果IS1，分别计算超过R限定的同类别的人体部件实例特征与对应的人体整体实例特征之间的余弦距离，该约束R可以表示为下述公式：
Figure BDA0002556399990000096
其中，xi，j表示第i个人体部件实例与第j个人体实例是否匹配，0表示不匹配，1表示匹配，PartM表示M个相同类别的人体部件实例的集合。该公式表示同一类别的部件匹配次数不应超过1次。
基于预设的每个人体实例对应各类部件的数量，对于每一个聚类，依据该聚类中人体部件实例和人体实例的实例特征相似度，从聚类结果IS1中去除相似度较低的人体部件实例，得到第二聚类结果IS2。
步骤S330，将IS2外的孤立的人体部件实例和所有人体整体实例分为两组构建二分图模型并建立全连接，在所述预设的人体结构约束条件下进行二分图匹配后，增加入IS2中，得到最终聚类结果IS3。
如图4所示，通过二分图匹配，可以将不包含在人体检测框中部件与之匹配，从而解决因人体检测框不准确导致未能包含所有人体部件并且后续人体解析继承其偏差的问题，降低实例人体解析中的漏检。如图4所示，孤立的人体部件实例表示为人体部件节点集合(包括头发1、头发2、帽子3、人脸4、人脸5、大衣6…右脚M)，人体整体实例表示为行人节点集合(包括行人1-行人N)。
使用匈牙利算法计算最佳匹配时，人体结构约束条件R依然生效以减少错误匹配，该二分图匹配可以下述公式表示：
Figure BDA0002556399990000101
其中，xi，j表示第i个人体部件实例与第j个人体整体实例是否匹配，M为人体部件实例的数量，N表示人体整体实例的数量。
步骤S340，根据IS3得到人体整体-人体部件聚类的实例结果，再将每个人体整体实例中各人体部件实例的实例掩模和类别进行对应，得到人体实例解析结果。
本发明通过检测人体整体和人体部件获取细粒度的部件级实例，并由分割支路和实例支路提取实例掩模和实例特征共同进行“人体-部件”间的层级式聚类得到实例人体解析结果，以提升实例人体解析的识别精度并减少人体实例的漏检和误检，尤其对复杂人体姿态场景提升更显著。
本发明第二实施例的一种基于深度解耦的人体实例解析***，包括第一模块、第二模块、第三模块；
所述第一模块，配置为获取输入图像中候选区域的实例检测框和特征；所述候选区域为人体实例的候选区域；所述人体实例包括人体整体实例、人体部件实例；
所述第二模块，配置为基于所述候选区域的特征，获取候选区域对应实例的实例掩模和实例特征；
所述第三模块，配置为基于各候选区域对应的实例检测框、实例掩模、实例特征，通过层级式聚类算法进行人体整体-人体部件关联聚类，获取人体实例解析结果。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于深度解耦的人体实例解析***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明还提供了一种存储装置实施例，该存储装置中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于深度解耦的人体实例解析方法。
本发明还提供了一种处理装置实施例，该处理装置包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于深度解耦的人体实例解析方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种基于深度解耦的人体实例解析方法，其特征在于，该方法包括以下步骤：
步骤S100，获取输入图像中候选区域的实例检测框和特征；所述候选区域为人体实例的候选区域；所述人体实例包括人体整体实例、人体部件实例；
步骤S200，基于所述候选区域的特征，获取候选区域对应实例的实例掩模和实例特征；
步骤S300，基于各候选区域对应的实例检测框、实例掩模、实例特征，通过层级式聚类算法进行人体整体-人体部件关联聚类，获取人体实例解析结果；
通过层级式聚类算法进行人体整体-人体部件关联聚类，获取人体实例解析结果，其方法为：
步骤S310，根据各候选区域对应的实例检测框进行聚类，得到第一聚类结果IS1；
步骤S320，根据预设的人体结构约束条件，基于人体整体实例和人体部件实例的实例特征相似度，对IS1进行筛选，得到第二聚类结果IS2；
步骤S330，将IS2外的孤立的人体部件实例和所有人体整体实例分为两组构建二分图模型并建立全连接，在所述预设的人体结构约束条件下进行二分图匹配后，结合IS2构建最终聚类结果IS3；
步骤S340，根据IS3得到人体整体-人体部件聚类的实例结果，再将每个人体整体实例中各人体部件实例的实例掩模和类别进行对应，得到人体实例解析结果；
所述第一聚类结果IS1，其获取方法包括：
根据人体整体实例、人体部件实例对应各的实例检测框进行聚类，若人体部件实例的实例检测框中心点位于人体整体实例的实例检测框内部，则判定人体部件实例与对应的人体整体实例匹配，匹配公式为
Figure FDA0003799351770000021
其中，
Figure FDA0003799351770000022
表示第i个人体部件实例的实例检测框，
Figure FDA0003799351770000023
表示第j个人体整体实例的实例检测框，Ij，S1表示聚类结果IS1的一组实例检测框聚类，S表示第一个聚类阶段。
2.根据权利要求1所述的基于深度解耦的人体实例解析方法，其特征在于，步骤S100中“获取输入图像中候选区域的实例检测框和特征”，其方法包括：
步骤S110，基于卷积神经网络提取所述输入图像的图像特征，作为第一特征；
步骤S120，基于所述第一特征，获取所述候选区域的中人体整体实例和人体部件实例的实例检测框，并提取各实例检测框的内图像的特征，作为第二特征。
3.根据权利要求2所述的基于深度解耦的人体实例解析方法，其特征在于，步骤S110中“基于卷积神经网络提取所述输入图像的图像特征”，其方法包括：
对所述输入图像，通过深度卷积神经网络提取图像特征，并基于可形变卷积的特征金字塔网络提取不同尺度的图像特征。
4.根据权利要求2所述的基于深度解耦的人体实例解析方法，其特征在于，步骤S200中“获取候选区域对应实例的实例掩模和实例特征”，其方法包括：
步骤S210，基于所述第二特征，提取每个候选区域中的对应人体实例的掩模，作为实例掩模；
步骤S220，基于每个候选区的实例掩模，对相应的第二特征进行加权，获取候选区域中对应人体实例的特征，作为实例特征。
5.根据权利要求4所述的基于深度解耦的人体实例解析方法，其特征在于，所述预设的人体结构约束条件为预设的每个人体实例对应各类部件的数量。
6.根据权利要求5所述的基于深度解耦的人体实例解析方法，其特征在于，所述第二聚类结果IS2，其获取方法为：
基于预设的每个人体实例对应各类部件的数量，对于每一个聚类，依据该聚类中人体部件实例和人体实例的实例特征相似度，去除相似度较低的人体部件实例，得到第二聚类结果IS2。
7.根据权利要求4所述的基于深度解耦的人体实例解析方法，其特征在于，步骤S340中所述二分图 匹配采用匈牙利算法。
8.一种基于深度解耦的人体实例解析***，其特征在于，该***包括第一模块、第二模块、第三模块；
所述第一模块，配置为获取输入图像中候选区域的实例检测框和特征；所述候选区域为人体实例的候选区域；所述人体实例包括人体整体实例、人体部件实例；
所述第二模块，配置为基于所述候选区域的特征，获取候选区域对应实例的实例掩模和实例特征；
所述第三模块，配置为基于各候选区域对应的实例检测框、实例掩模、实例特征，通过层级式聚类算法进行人体整体-人体部件关联聚类，获取人体实例解析结果；
通过层级式聚类算法进行人体整体-人体部件关联聚类，获取人体实例解析结果，其方法为：
步骤S310，根据各候选区域对应的实例检测框进行聚类，得到第一聚类结果IS1；
步骤S320，根据预设的人体结构约束条件，基于人体整体实例和人体部件实例的实例特征相似度，对IS1进行筛选，得到第二聚类结果IS2；
步骤S330，将IS2外的孤立的人体部件实例和所有人体整体实例分为两组构建二分图模型并建立全连接，在所述预设的人体结构约束条件下进行二分图匹配后，结合IS2构建最终聚类结果IS3；
步骤S340，根据IS3得到人体整体-人体部件聚类的实例结果，再将每个人体整体实例中各人体部件实例的实例掩模和类别进行对应，得到人体实例解析结果；
所述第一聚类结果IS1，其获取方法包括：
根据人体整体实例、人体部件实例对应各的实例检测框进行聚类，若人体部件实例的实例检测框中心点位于人体整体实例的实例检测框内部，则判定人体部件实例与对应的人体整体实例匹配，匹配公式为
Figure FDA0003799351770000041
其中，
Figure FDA0003799351770000042
表示第i个人体部件实例的实例检测框，
Figure FDA0003799351770000043
表示第j个人体整体实例的实例检测框，Ij，S1表示聚类结果IS1的一组实例检测框聚类，S1表示第一个聚类阶段。
CN202010592997.XA 2020-06-25 2020-06-25 基于深度解耦的人体实例解析方法、*** Active CN111738174B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010592997.XA CN111738174B (zh) 2020-06-25 2020-06-25 基于深度解耦的人体实例解析方法、***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010592997.XA CN111738174B (zh) 2020-06-25 2020-06-25 基于深度解耦的人体实例解析方法、***

Publications (2)

Publication Number Publication Date
CN111738174A CN111738174A (zh) 2020-10-02
CN111738174B true CN111738174B (zh) 2022-09-20

Family

ID=72651173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010592997.XA Active CN111738174B (zh) 2020-06-25 2020-06-25 基于深度解耦的人体实例解析方法、***

Country Status (1)

Country Link
CN (1) CN111738174B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233777A (zh) * 2020-11-19 2021-01-15 中国石油大学(华东) 基于深度学习的胆结石自动识别及分割***、计算机设备、存储介质
JP2023511241A (ja) * 2020-12-31 2023-03-17 商▲湯▼国▲際▼私人有限公司 ニューラルネットワークのトレーニング方法と装置、および、関連対象検出方法と装置
WO2022144603A1 (en) * 2020-12-31 2022-07-07 Sensetime International Pte. Ltd. Methods and apparatuses for training neural network, and methods and apparatuses for detecting correlated objects
CN113627269B (zh) * 2021-07-16 2023-04-28 中国科学院合肥物质科学研究院 基于解耦分类和回归特征最优层技术的害虫目标检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345744A (zh) * 2013-06-19 2013-10-09 北京航空航天大学 一种基于多图像的人体目标部件自动解析方法
CN106548194A (zh) * 2016-09-29 2017-03-29 中国科学院自动化研究所 二维图像人体关节点定位模型的构建方法及定位方法
CN107194338A (zh) * 2017-05-14 2017-09-22 北京工业大学 基于人体树图模型的交通环境行人检测方法
CN108460411A (zh) * 2018-02-09 2018-08-28 北京市商汤科技开发有限公司 实例分割方法和装置、电子设备、程序和介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430966B2 (en) * 2017-04-05 2019-10-01 Intel Corporation Estimating multi-person poses using greedy part assignment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345744A (zh) * 2013-06-19 2013-10-09 北京航空航天大学 一种基于多图像的人体目标部件自动解析方法
CN106548194A (zh) * 2016-09-29 2017-03-29 中国科学院自动化研究所 二维图像人体关节点定位模型的构建方法及定位方法
CN107194338A (zh) * 2017-05-14 2017-09-22 北京工业大学 基于人体树图模型的交通环境行人检测方法
CN108460411A (zh) * 2018-02-09 2018-08-28 北京市商汤科技开发有限公司 实例分割方法和装置、电子设备、程序和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hierarchical Human Parsing With Typed Part-Relation Reasoning;Wenguan Wang 等;《arXiv:2003.04845v1》;20200310;第8929-8239页 *

Also Published As

Publication number Publication date
CN111738174A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111738174B (zh) 基于深度解耦的人体实例解析方法、***
Zhao et al. Hyperspectral anomaly detection based on stacked denoising autoencoders
US9251420B2 (en) System for mapping and identification of plants using digital image processing and route generation
CN104504366A (zh) 基于光流特征的笑脸识别***及方法
US20110182516A1 (en) Learning device, learning method, identifying device, identifying method, program, and information processing system
US20170091613A1 (en) Computational device, computational method, and computer program product
KR102606734B1 (ko) 생체 검출 방법 및 장치
US10679096B2 (en) System and method for plant leaf identification
CN111091101B (zh) 基于一步法的高精度行人检测方法、***、装置
Kroupi et al. Deep convolutional neural networks for land-cover classification with Sentinel-2 images
CN111444807A (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN115546586A (zh) 红外弱小目标的检测方法、装置、计算设备及存储介质
CN113469099A (zh) 目标检测模型的训练方法、检测方法、装置、设备及介质
CN115661573A (zh) 红外弱小目标的检测方法、装置、计算设备及存储介质
CN113920255B (zh) 基于点云数据的高效测绘***
CN114168768A (zh) 图像检索方法及相关设备
CN113065634B (zh) 一种图像处理方法、神经网络的训练方法以及相关设备
Drobnjak et al. Testing a new ensemble vegetation classification method based on deep learning and machine learning methods using aerial photogrammetric images
CN116958724A (zh) 一种产品分类模型的训练方法和相关装置
CN111626373B (zh) 多尺度加宽残差网络、小目标识别检测网络及其优化方法
CN114387465A (zh) 图像识别方法、装置、电子设备和计算机可读介质
CN114463764A (zh) 表格线检测方法、装置、计算机设备和存储介质
CN113408356A (zh) 基于深度学习的行人重识别方法、装置、设备及存储介质
Stanski et al. Flower detection using object analysis: new ways to quantify plant phenology in a warming tundra biome
US20230298326A1 (en) Image augmentation method, electronic device and readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant