CN115019349B - 图像分析方法、装置、电子设备和存储介质 - Google Patents

图像分析方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115019349B
CN115019349B CN202210947162.0A CN202210947162A CN115019349B CN 115019349 B CN115019349 B CN 115019349B CN 202210947162 A CN202210947162 A CN 202210947162A CN 115019349 B CN115019349 B CN 115019349B
Authority
CN
China
Prior art keywords
task
human body
tasks
attention
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210947162.0A
Other languages
English (en)
Other versions
CN115019349A (zh
Inventor
王金桥
陈盈盈
周鲁
赵朝阳
陈康扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Objecteye Beijing Technology Co Ltd
Original Assignee
Objecteye Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Objecteye Beijing Technology Co Ltd filed Critical Objecteye Beijing Technology Co Ltd
Priority to CN202210947162.0A priority Critical patent/CN115019349B/zh
Publication of CN115019349A publication Critical patent/CN115019349A/zh
Application granted granted Critical
Publication of CN115019349B publication Critical patent/CN115019349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)

Abstract

本发明涉及计算机视觉技术领域，提供一种图像分析方法、装置、电子设备和存储介质，其中方法包括：确定待分析的人体图像；基于多任务人体分析模型中的特征提取模块，对人体图像进行特征提取，得到至少两个单任务分别对应的单任务特征；基于多任务人体分析模型中的跨任务注意力模块，对至少两个单任务分别对应的单任务特征进行注意力交互，得到至少两个单任务分别对应的注意力特征；基于多任务人体分析模型中的任务分析模块，对至少两个单任务分别对应的注意力特征进行对应单任务的任务分析，得到至少两个单任务分别对应的分析结果。本发明实施例提供的图像分析方法、装置、电子设备和存储介质，实现了多任务模型在人体分析场景下的应用。

Description

图像分析方法、装置、电子设备和存储介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种图像分析方法、装置、电子设备和存储介质。
背景技术
多任务人体分析是计算机视觉中的热门研究课题之一，也是基于视觉的模式识别应用的一个重要研究方向。它需要得到输入图像中的人在多种任务下的分析结果，由于在多种任务下同时推理，因此相比较多个单任务模型有着更少的参数量和更短的推理时间。然而传统的基于多个单任务的分析模型，任务间运算隔离、参数隔离，导致***较为复杂。
现有基于深度学习的多任务模型，大多是应用于搜索广告推荐领域的多任务模型，尚未有人体分析场景下的尝试。
发明内容
本发明提供一种图像分析方法、装置、电子设备和存储介质，用以解决现有技术中基于深度学习的多任务模型，尚未有人体分析场景下的尝试的缺陷。
本发明提供一种图像分析方法，包括：
确定待分析的人体图像；
基于多任务人体分析模型中的特征提取模块，对所述人体图像进行特征提取，得到至少两个单任务分别对应的单任务特征；
基于所述多任务人体分析模型中的跨任务注意力模块，对所述至少两个单任务分别对应的单任务特征进行注意力交互，得到所述至少两个单任务分别对应的注意力特征；
基于所述多任务人体分析模型中的任务分析模块，对所述至少两个单任务分别对应的注意力特征进行对应单任务的任务分析，得到所述至少两个单任务分别对应的分析结果；
其中，所述多任务人体分析模型是基于样本人体图像，以及所述样本人体图像对应的所述至少两个单任务标签训练得到的。
根据本发明提供的图像分析方法，所述基于所述多任务人体分析模型中的跨任务注意力模块，对所述至少两个单任务分别对应的单任务特征进行注意力交互，得到所述至少两个单任务分别对应的注意力特征，包括：
基于所述跨任务注意力模块中的特征拼接模块，对所述至少两个单任务分别对应的单任务特征进行特征拼接，得到拼接特征；
基于所述跨任务注意力模块中的自注意力模块，对所述拼接特征进行自注意力变换，并对自注意力变换所得的变换特征进行拆分，得到所述至少两个单任务分别对应的注意力特征。
根据本发明提供的图像分析方法，所述基于多任务人体分析模型中的特征提取模块，对所述人体图像进行特征提取，得到至少两个单任务分别对应的单任务特征，包括：
基于所述特征提取模块中的共享特征提取模块，对所述人体图像进行共享特征提取，得到所述人体图像的共享特征；
基于所述特征提取模块中的至少两个单任务特征提取模块，对所述共享特征分别进行所述至少两个单任务的特征提取，得到所述至少两个单任务分别对应的单任务特征。
根据本发明提供的图像分析方法，所述多任务人体分析模型基于如下步骤训练得到：
将所述样本人体图像输入至初始多任务学生模型，得到所述初始多任务学生模型输出的所述至少两个单任务分别对应的学生预测结果；
将所述样本人体图像分别输入到至少两个单任务教师模型，得到每个单任务教师模型输出的所述至少两个单任务分别对应的教师预测结果；
基于所述至少两个单任务分别对应的学生预测结果和教师预测结果，以及所述样本人体图像对应的所述至少两个单任务的标签，对所述初始多任务学生模型进行蒸馏训练，得到所述多任务人体分析模型。
根据本发明提供的图像分析方法，所述样本人体图像对应的所述至少两个单任务标签包括真实标签和伪标签，所述伪标签基于所述至少两个单任务教师模型确定。
根据本发明提供的图像分析方法，所述基于所述至少两个单任务分别对应的学生预测结果和教师预测结果，以及所述样本人体图像对应的至少两个单任务标签，对所述初始多任务学生模型进行蒸馏训练，得到所述多任务人体分析模型，包括：
基于所述至少两个单任务分别对应的学生预测结果和教师预测结果，以及所述样本人体图像对应的至少两个单任务标签，对所述初始多任务学生模型进行蒸馏训练，得到多任务人体分析的预训练模型；
将所述样本人体图像输入至所述预训练模型，得到所述预训练模型输出的所述至少两个单任务分别对应的预测结果；
基于所述预测结果与所述至少两个单任务标签中的真实标签确定的损失，以及所述至少两个单任务分别对应的惩罚项，对所述预训练模型进行微调，得到所述多任务人体分析模型。
根据本发明提供的图像分析方法，所述多任务人体分析包括：人体行为识别、服装识别、人体姿态估计和人体解析中的至少两种。
本发明还提供一种图像分析装置，包括：
人体图像确定单元，用于确定待分析的人体图像；
特征提取单元，用于基于多任务人体分析模型中的特征提取模块，对所述人体图像进行特征提取，得到至少两个单任务分别对应的单任务特征；
注意力交互单元，用于基于所述多任务人体分析模型中的跨任务注意力模块，对所述至少两个单任务分别对应的单任务特征进行注意力交互，得到所述至少两个单任务分别对应的注意力特征；
任务分析单元，用于基于所述多任务人体分析模型中的任务分析模块，对所述至少两个单任务分别对应的注意力特征进行对应单任务的任务分析，得到所述至少两个单任务分别对应的分析结果；
其中，所述多任务人体分析模型是基于样本人体图像，以及所述样本人体图像对应的至少两个单任务标签训练得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像分析方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像分析方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像分析方法。
本发明提供的图像分析方法、装置、电子设备和存储介质，采用多任务人体分析模型中的特征提取模块对人体图像进行特征提取，得到针对每个单任务的单任务特征；采用跨任务注意力模块，对每个单任务特征进行注意力交互，得到针对每个单任务的注意力特征；采用任务分析模块，对每个注意力特征进行任务分析，从而得到每个单任务的人体分析结果。由此实现了多任务模型在人体分析场景下的应用，并通过跨任务注意力模块，弥补单任务特征的局限性，增强单任务关注的语义信息，进一步提高了各个单任务人体分析的准确性、鲁棒性和泛化性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的图像分析方法的流程示意图；
图2是本发明提供的共享特征提取流程示意图；
图3是本发明提供的单任务特征提取流程示意图；
图4是本发明提供的注意力交互的流程示意图；
图5是本发明提供的任务分析的流程示意图；
图6是本发明提供的模型训练方法微调阶段的流程示意图；
图7是本发明提供的图像分析装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有多任务学习尚未有人体分析场景下的尝试，而大多是应用于搜索广告推荐领域，用于确定最适合用户的客服和该客服向用户推荐的产品，从而提高产品推荐的效果。
此外，现有的人体分析场景下的行为识别任务大多基于3D特征，其综合利用空间和时序信息，适用于视频级别的行为识别，但参数量和计算量都大于基于2D特征，因此难以在边缘端设备上轻量化部署。
鉴于此，本发明实施例提供一种图像分析方法，可应用于监控场景多任务人体分析场景下，具有较高的识别准确率。图1是本发明提供的图像分析方法的流程示意图，如图1所示，该方法包括：
步骤110，确定待分析的人体图像。
具体地，待分析的人体图像即需要进行多任务人体分析的包含人体的图像。此处的人体图像可通过图像采集设备采集得到，还可以基于图像采集设备采集得到的原始人体图像，进行人体目标检测，将目标检测得到的人体框作为待分析的人体图像，例如，可使用yolov5检测器识别原始人体图像中的人***置。
步骤120，基于多任务人体分析模型中的特征提取模块，对人体图像进行特征提取，得到至少两个单任务分别对应的单任务特征。
其中，多任务人体分析模型是基于样本人体图像，以及样本人体图像对应的至少两个单任务标签训练得到的。
具体地，多任务人体分析模型可以是深度学习模型，将待分析的人体图像输入至多任务人体分析模型，得到多任务人体分析模型输出的针对每个单任务的分析结果。
其中，多任务人体分析模型包括特征提取模块，用于对输入的人体图像进行特征提取，得到至少两个单任务分别对应的单任务特征。可理解的是，得到的单任务特征的数量与单任务的数量相同，针对每一个单任务，均得到一个与单任务对应的单任务特征。例如，需要进行人体分析的单任务包括人体行为识别、服装识别、人体姿态估计和人体解析4个任务，则进行特征提取后，分别得到人体行为特征、服装特征、人体姿态特征和人体解析特征。
需要说明的是，在执行步骤120之前，可对待分析的人体图像进行数据增强，具体可包括随机旋转、随机缩放，随机裁剪，随机颜色抖动，归一化，标准化等一系列数据增强方案。
在执行步骤120之前，还可以预先对多任务人体分析模型进行训练，具体可以通过如下方法进行模型训练：
首先，采集大量样本人体图像，以及样本人体图像对应的至少两个单任务标签；其中，每个单任务标签可以是人工标注的真实标签，也可以是模型标注的伪标签。随即，将样本人体图像输入至初始模型中进行有监督训练，由此训练得到的多任务人体分析模型能够更好地针对每个单任务进行人体分析。
步骤130，基于多任务人体分析模型中的跨任务注意力模块，对至少两个单任务分别对应的单任务特征进行注意力交互，得到至少两个单任务分别对应的注意力特征。
具体地，得到每个单任务分别对应的单任务特征的基础上，为了使得各个任务之间能够互相借鉴学习，可对每个单任务特征进行注意力交互，得到每个单任务分别对应的注意力特征。比如，姿态估计和人体解析任务对应的单任务特征能得到更精细化的语义信息，有助于提高其他分类任务（如行为识别和服装识别任务）的准确度。同时，行为识别任务和服装识别任务对应的单任务特征有着更全局的语义信息，有助于提高更关注局部像素级别和区域级别信息的任务（如姿态估计和人体解析任务）的分析准确度。
多任务人体分析模型还包括跨任务注意力模块，用于对每个单任务特征进行注意力交互，使得不同任务之间的特征可以相互学习和补充，大大扩展了模型的使用领域。
由于每个单任务特征能够从其他单任务特征中学习到与自身任务相关的特征，由此得到的每个单任务对应的注意力特征，能够进一步提高每个单任务分析的准确度。
步骤140，基于所述多任务人体分析模型中的任务分析模块，对所述至少两个单任务分别对应的注意力特征进行对应单任务的任务分析，得到所述至少两个单任务分别对应的分析结果。
具体地，得到每个单任务对应的注意力特征的基础上，即可采用多任务人体分析模型中的任务分析模块，用于对每个单任务特征分别对应的注意力特征进行对应单任务的任务分析，得到每个单任务分别对应的分析结果。
优选的，此处的任务分析模块可以包括至少两个单任务分析模块，每个单任务分析模块针对各自对应的单任务分别进行任务分析。
举例而言，可得到人体行为识别任务对应的人体行为识别结果，比如打电话、抽烟、摔倒等行为类别；得到服装识别任务对应的服装识别结果，比如上衣属性类别、下衣属性类别或头部属性类别等；得到人体姿态估计任务对应的人体姿态分析结果，比如人体关节点的热力图；得到人体解析任务对应的人体解析结果，比如头部、躯干、大腿或小腿等人体部位类别。
本发明实施例提供的方法，采用多任务人体分析模型中的特征提取模块对人体图像进行特征提取，得到针对每个单任务的单任务特征；采用跨任务注意力模块，对每个单任务特征进行注意力交互，得到针对每个单任务的注意力特征；采用任务分析模块，对每个注意力特征进行任务分析，从而得到每个单任务的人体分析结果。由此实现了多任务模型在人体分析场景下的应用，并通过跨任务注意力模块，弥补单任务特征的局限性，增强单任务关注的语义信息，进一步提高了各个单任务人体分析的准确性、鲁棒性和泛化性。
基于上述任一实施例，步骤130具体包括：
步骤131，基于跨任务注意力模块中的特征拼接模块，对至少两个单任务分别对应的单任务特征进行特征拼接，得到拼接特征；
步骤132，基于跨任务注意力模块中的自注意力模块，对拼接特征进行自注意力变换，并对自注意力变换所得的变换特征进行拆分，得到至少两个单任务分别对应的注意力特征。
具体地，针对每个单任务特征进行注意力交互，得到每个单任务分别对应的注意力特征，可通过特征拼接和特征变换实现。
多任务人体分析模型中的跨任务注意力模块包括特征拼接模块和自注意力模块，其中，特征拼接模块用于对至少两个单任务分别对应的单任务特征进行特征拼接，得到拼接特征。
在此基础上，可采用自注意力模块对拼接特征进行自注意力变换，自注意力模块还可以视作一种路由机制，将相关度大的任务特征更多的路由到当前任务，相关度小的任务特征更少的路由到当前任务。由自注意力变换所得的变换特征进行拆分，即可得到至少两个单任务分别对应的注意力特征。
在一个实施例中，每个单任务分别对应的单任务特征可表示为7*7像素，256通道的特征图，可将其整形为（256*7*7）维度的向量。共有4个单任务，由此得到的拼接特征可表示为（4，256*7*7）维度的向量组，4个向量之间采用基于内积相似度的加权，融合任务间特征，经自注意力变换所得的变换特征可表示为（4，256*7*7）的向量组。再将变换特征进行拆分，得到4个单任务分别对应的注意力特征，可整形为4个（256，7，7）的特征图。
基于上述任一实施例，步骤120具体包括：
步骤121，基于特征提取模块中的共享特征提取模块，对人体图像进行共享特征提取，得到人体图像的共享特征；
步骤122，基于特征提取模块中的至少两个单任务特征提取模块，对共享特征分别进行至少两个单任务的特征提取，得到至少两个单任务分别对应的单任务特征。
具体地，针对人体图像进行特征提取，可通过共享特征提取和单任务特征提取实现。相应地，多任务人体分析模型中的特征提取模块包括共享特征提取模块和至少两个单任务特征提取模块，经过特征提取模块中的共享特征提取模块，得到人体图像的共享特征，将共享特征输入每个单任务特征提取模块，得到由每个单任务特征提取模块输出的对应的单任务特征。
其中，每个单任务特征提取模块相互独立，针对每个单任务的特点，设计与之相适应的单任务特征提取模块。
在一个实施例中，行为识别任务中的行为比如摔倒需要联系环境中的信息进行判断，可采用Non-Local模块，这是一个空间中所有像素间的self-attention，用于建模空间全局信息。而服装识别任务和人体解析任务由于任务难度较低，仅使用1个轻量的BottleNeck模块做特征提取。而姿态估计任务，由于任务难度较大，使用2个轻量的BottleNeck模块做特征提取。
基于上述任一实施例，以人体行为识别、服装识别、人体姿态估计和人体解析4个单任务为例，提供一种基于多任务的图像分析方法，该方法包括：
收集不同领域的不同任务下的图像，使用yolov5检测器模型识别人***置，作为待分析的人体图像。
基于多任务人体分析模型中的共享特征提取模块，对所述人体图像进行共享特征提取，得到所述人体图像的共享特征。
输入人体图像经过随机旋转，随机缩放，随机裁剪，随机颜色抖动，归一化，标准化等一系列数据增强方案后，得到224*224像素的人体图像，进入多任务共享的共享特征提取模块。
本发明实施例中的共享特征提取模块采用ResNet18架构，首先经过3x3卷积、ReLU激活、BatchNorm和Maxpooling操作将3通道（RGB）的图像上采样到64通道，空间下采样到56*56像素。再经过四个BasicBlock，其中，第一个BasicBlock将特征图通道下采样到32，空间保持56*56像素。3个BasicBlock将特征图通道上采样2倍、空间下采样2倍。由此，特征图的通道维度从32上采样8倍，空间维度从56*56下采样8倍，得到 7*7像素，256通道的特征图，记为（256，7，7），作为人体图像的共享特征。
图2是本发明提供的共享特征提取流程示意图，如图2所示，人体图像首先经过卷积层1（conv1），卷积层2（conv2），卷积层3（conv3），卷积核大小都为3*3。每个卷积层之后先接一个批标准化层（BatchNorm层），这一层具体是由一个batchnorm层和一个scale层组成，batchnorm负责对输入做0均值1方差的归一化，scale层则负责对输入做缩放和平移，batchnorm层的均值和方差来自于输入，而scale层的缩放和平移参数需要从数据中学习。Batch Normalization通过对网络输入做归一化，有效的消除了网络内部的协变量转移，加快了网络的收敛，同时也是一种正则化机制，有效的防止了网络过拟合。BatchNorm层之后接一个激活函数层，这里采用的是ReLU，一种常用的有效的非线性激活函数，可以避免梯度消失。
经过卷积、BatchNorm和ReLU之后的特征图大小为64通道，长112像素，宽112像素，记为（64，112，112）。接着经过池化层（Maxpooling层），采用卷积核大小为3*3，步长为2的卷积，得到（64，56，56）的输出特征图。
接着经过layer1，其中包含2个BasicBlock层，每个BasicBlock层都对特征进行提取，其中第2个BasicBlock层对特征图的通道数进行下采样。得到（32，56，56）的输出特征。接着，经过layer2，layer3，layer4，这三层都包含2个BasicBlock层，在进行特征提取的同时，将特征图的通道数上采样2倍，空间边长下采样2倍。3层共对通道上采样8倍，边长下采样8倍，得到（256，7，7）的输出特征图，得到人体图像的共享特征。
图3是本发明提供的单任务特征提取流程示意图，如图3所示，基于多任务人体分析模型中的4个单任务特征提取模块，对所述共享特征分别进行4个单任务的特征提取，得到4个单任务分别对应的单任务特征。其中，
（1）行为识别任务由（256，7，7）的特征图，经过行为识别任务特征提取模块，得到行为识别任务特征。具体可通过1个Non-Local模块，空间上基于self-attention全局融合，通道上采用bottleneck模式，先下采样再上采样，得到（256通道，7像素，7像素）特征图后，再整形为“256*7*7”维度的向量。
（2）服装识别任务由（256，7，7）的特征图，经过服装识别任务特征提取模块，得到服装识别任务特征。具体可经过1个BottleNeck模块，通道先下采样再上采样，输出为（256，7，7）的特征图，再整形为“256*7*7”维度的向量。
（3）人体姿态估计任务由（256，7，7）的特征图，经过人体姿态估计任务特征提取模块，得到人体姿态估计任务特征，具体可经过2个BottleNeck模块，通道先下采样再上采样，输出为（256，7，7）的特征图，再整形为“256*7*7”维度的向量。
（4）人体解析任务由（256，7，7）的特征图，经过人体解析任务特征提取模块，具体可经过1个BottleNeck模块，通道先下采样再上采样，输出为（256，7，7）的特征图，再整形为“256*7*7”维度的向量。
图4是本发明提供的注意力交互的流程示意图，如图4所示，基于多任务人体分析模型的跨任务注意模块中的特征拼接模块，对4个单任务分别对应的单任务特征进行特征拼接，得到拼接特征，将4个任务的特征向量拼接为（4，256*7*7）的向量组。
基于多任务人体分析模型的跨任务注意模块中的自注意力模块，对拼接特征进行自注意力变换，并对自注意力变换所得的变换特征进行拆分，得到4个单任务分别对应的注意力特征，表示为（256，7，7）的特征图。
图5是本发明提供的任务分析的流程示意图，如图5所示，基于多任务人体分析模型中的任务分析模块，对所述4个单任务特征分别对应的注意力特征进行对应单任务的任务分析，得到4个单任务分别对应的分析结果。
（1）行为识别任务，将特征向量首先整形为（256，7，7）的特征图，再用一个核大小为7*7的MaxPooling层下采样到1*1像素，整形为一个256维度的特征向量，再通过2个全连接层，得到维度大小为“行为类别数”的概率，输出为num_actions个概率值，即为各个行为类别的预测值。
（2）服装识别任务，经过整形和MaxPooling层得到256维度的特征向量，再经过3个并行的全连接层，输出为头部属性、上衣属性、下衣服属性的3个概率向量，维度分别为num_heads，num_ups，num_bottoms。
（3）人体姿态估计任务，使用整形后得到的（256，7，7）特征图，经过一个deconv_layers模块，其中包括3次反卷积操作，3次BatchNorm操作，3次ReLU操作，将特征图上采样到（64，56，56），再经过final_layer，其中包括一个卷积下采样操作，将特征图输出为(num_joints，56，56)的热力图，num_joints代表关节点个数。
（4）人体解析任务，使用整形后得到的（256，7，7）特征图，经过一个deconv_layers模块，其中包括3次反卷积操作，3次BatchNorm操作，3次ReLU操作，将特征图上采样到（64，56，56），再经过final_layer，其中包括一个卷积下采样操作，将特征图输出为(num_parts，56，56)的类别激活图，num_parts代表人体部分类别数。
本发明实施例提供的图像分析方法，基于多任务人体分析模型，共享了低层跨任务基础的共享图像特征，提取了各自任务独有的任务特征，最后用注意力机制共享了任务语义层级的高层特征，使得其他任务能够辅助当前任务的识别，从而提高了至少两个单任务识别的准确性。
基于上述任一实施例，多任务人体分析模型基于如下步骤训练得到：
步骤210，将样本人体图像输入至初始多任务学生模型，得到初始多任务学生模型输出的至少两个单任务分别对应的学生预测结果；
步骤220，将样本人体图像分别输入到至少两个单任务教师模型，得到每个单任务教师模型输出的至少两个单任务分别对应的教师预测结果；
步骤230，基于至少两个单任务分别对应的学生预测结果和教师预测结果，以及样本人体图像对应的至少两个单任务的标签，对初始多任务学生模型进行蒸馏训练，得到多任务人体分析模型。
具体地，多任务人体分析模型可采用知识蒸馏的形式进行蒸馏训练。蒸馏训练***包括初始多任务学生模型和至少两个单任务教师模型。初始多任务学生模型可采用上述实施例所描述的模型结构，至少两个单任务教师模型可以选择任意结构的，在各自任务上表现优秀的模型。
训练过程中，将样本人体图像输入至初始多任务学生模型，得到初始多任务学生模型输出的至少两个单任务分别对应的学生预测结果；将样本人体图像分别输入到至少两个单任务教师模型，得到每个单任务教师模型输出的至少两个单任务分别对应的教师预测结果。在学生预测结果与教师预测结果之间构建蒸馏损失，在训练时，冻结至少两个单任务教师模型的参数，而仅对多任务学生模型的参数进行更新。
此处的学生预测结果和教师预测结果，具体可以包括各个行为类别的预测概率，各个服装属性的预测概率，各个人体关节点的回归目标，逐像素人体解析的预测概率等。
如果是基于行为识别、服装属性识别或人体解析此类的分类任务，则通过设置蒸馏温度，将初始多任务学生模型和单任务教师模型的输出概率向量都归一化到趋于平滑，接着将初始多任务学生模型和单任务教师模型的输出视作是两种不同的分布，以最小化两种分布的交叉熵为目标，构建基于交叉熵损失函函数的蒸馏损失。由此，对齐两个模型在分类任务上的输出。
如果是基于人体姿态估计此类的回归任务，则采用L2损失函数，将教师预测结果和学生预测结果逐关节点特征热力图对齐。
基于上述任一实施例，样本人体图像对应的至少两个单任务标签包括真实标签和伪标签，伪标签基于至少两个单任务教师模型确定。
具体地，真实标签是指样本图像上标记的标签是真实的，通常是人工标注的，本发明实施例中的伪标签是由各自任务上已经训练好的单任务教师模型推理得到。
首先收集各类包含人体图像，对每个单任务的数据集做各自标签的人工标注，而其他任务的标签由单任务教师模型生成。举个例子，行为识别任务所用的人体图像具有人工标注的行为识别真实标签（摔倒、打架、抽烟、电话等），还需要服装识别、姿态估计、人体解析的标签，而这些标签则由各自任务上已经训练好的神经网络推理得到，称之为伪标签。由此，可以将每个数据集的人体图像和标签合并成一个有监督的多任务数据集。将样本人体图像输入至多任务学生模型，得到多任务学生模型输出的学生预测结果。
针对具有真实标签的样本图像的输出，分类任务则使用交叉熵损失函数和L2损失函数做对齐。例如行为识别任务、服装识别任务、人体解析任务在真实标签上使用的交叉熵损失函数可表示如下：
Figure 363839DEST_PATH_IMAGE001
其中，N为分类类别数，
Figure 411561DEST_PATH_IMAGE002
指示该样本是否为j类别，是则为1，不是则为0；
Figure 628916DEST_PATH_IMAGE003
为多任 务学生模型输出的j类别的概率。
Figure 413070DEST_PATH_IMAGE004
代表分类任务基于真实标签的交叉熵损失函数。
以回归任务为姿态估计任务为例，姿态估计任务在真实标签上使用的L2损失函数可表示如下：
Figure 870727DEST_PATH_IMAGE005
其中，A为关节点热力图像素个数，K为预估关节点个数，
Figure 858275DEST_PATH_IMAGE006
为样本的第k个关节点 在第j个位置的标签值，
Figure 190905DEST_PATH_IMAGE007
为多任务学生模型输出的第k个关节点在第j个位置回归值。
Figure 49139DEST_PATH_IMAGE008
代表姿态估计任务的L2损失函数。
针对具有伪标签的样本图像的输出，对于分类任务，如行为识别、服装识别、人体解析任务使用的蒸馏损失可表示如下：
Figure 146539DEST_PATH_IMAGE009
其中，N为分类类别数；
Figure 667388DEST_PATH_IMAGE010
为蒸馏温度T下，单任务教师模型在类别j下，经过 softmax函数，输出的j类别分类概率值；
Figure 757704DEST_PATH_IMAGE011
为蒸馏温度T下，多任务学生模型在类别j下，经 过softmax函数，输出的j类别分类概率值；
Figure 486757DEST_PATH_IMAGE012
为单任务教师模型分类层之后第j类的输出；
Figure 738747DEST_PATH_IMAGE013
为单任务教师模型分类层之后第k类的输出；
Figure 741032DEST_PATH_IMAGE014
为多任务学生模型分类层之后第j类的 输出；
Figure 103880DEST_PATH_IMAGE015
为多任务学生模型分类层之后第j类的输出。
Figure 15336DEST_PATH_IMAGE016
代表分类任务基于soft标签（温度T控制下的单任务教师模型输出）的KL散 度损失函数。
本发明实施例提供的方法，训练阶段多个单任务教师模型可灵活替换，只要保证尽最大程度满足各个子任务目标即可；不仅利用真实标签，还利用伪标签，无需人工进行跨任务标注，降低成本；真实标签和伪标签混合使用，扩大了初始多任务学生模型感知的数据量，使得训练得到的多任务人体分析模型具有一定的多任务识别能力；同时采用蒸馏温度控制的单任务教师和初始多任务学生模型，做到了输出值范围的有效对齐，平衡了各任务的倾向性。
基于上述任一实施例，步骤230具体包括：
步骤231，基于至少两个单任务分别对应的学生预测结果和教师预测结果，以及样本人体图像对应的至少两个单任务标签，对初始多任务学生模型进行蒸馏训练，得到多任务人体分析的预训练模型；
步骤232，将样本人体图像输入至预训练模型，得到预训练模型输出的至少两个单任务分别对应的预测结果；
步骤233，基于预测结果与至少两个单任务标签中的真实标签确定的损失，以及至少两个单任务分别对应的惩罚项，对预训练模型进行微调，得到多任务人体分析模型。
具体地，由于上述实施例在模型训练阶段为了扩大样本量使用了伪标签，当伪标签的使用引入了噪声，因此为了进一步提高多任务人体分析模型的准确性，有必要对模型进行精细化微调。
首先执行步骤231，得到多任务人体分析模型的预训练模型，在此基础上，对得到的预训练模型进行微调。
在微调阶段，仅使用每个单任务上的人工标注的真实标签。图6是本发明提供的模型训练方法微调阶段的流程示意图，如图6所示，对各领域下游任务人体图像分别进行人工标注，得到多个单任务人体分析数据集。
预训练模型在微调的每一轮中，对行为识别任务、服装识别任务、姿态估计任务、人体解析任务分别采样4组数据，再分别推理4次，得到4个损失函数，分别记为：L1，L2，L3，L4。
接着引入基于任务不确定性的多任务损失。假设其中的回归任务输出值服从正态分布，基于正态分布的方差惩罚其任务损失，而对其中的分类任务加上温度T的平方项作为惩罚项。此处的惩罚项既可以是经验观察的固定值，也可以是可学习的值。
在此基础上，预训练模型在微调阶段的损失函数可表示如下：
Figure 687494DEST_PATH_IMAGE017
其中
Figure 871351DEST_PATH_IMAGE018
为预训练模型的多任务损失函数，
Figure 850940DEST_PATH_IMAGE019
为行为识别任务的交叉熵损失函 数
Figure 803852DEST_PATH_IMAGE020
的温度，温度的平方即为惩罚项，
Figure 646912DEST_PATH_IMAGE021
为服装识别任务的交叉熵损失函数
Figure 318065DEST_PATH_IMAGE022
的温度，
Figure 101344DEST_PATH_IMAGE023
为人体解析任务的交叉熵损失函数
Figure 423610DEST_PATH_IMAGE024
的温度，
Figure 188304DEST_PATH_IMAGE025
为姿态估计任务输入值服从的正态分布 的方差。其中的log函数都为损失函数的正则化项，有效防止网络过拟合其中的某个任务。
由此设计出的基于不确定性度量的多任务损失函数，对多个任务损失函数进行加权的时候，对不确定性高的任务，施加大惩罚，减少其任务权重；对不确定性小的任务，施加小惩罚，加大其任务权重。
每一轮训练迭代中，采样4种任务数据，执行4次前向传播，与任务标签对齐，得到4个单任务损失函数，计算不确定度，计算损失权重，最后得到基于不确定性度量的总损失函数，执行1次反向传播。
在预训练模型的微调阶段，由于各个下游任务数据和标注都来自不同领域，且不进行耗时且昂贵的多任务人工标注，为保证模型做到在各领域的下游任务上都保持高性能，不同于以往各任务仅微调其独有的特征解码模块，本发明实施例对预训练模型的全局参数采用了联合微调方法，并设计了基于不确定性度量的多任务损失，平衡任务间的权重；结合了跨域知识，且不需要使用难以人工标注的域间共有监督标签，降低了成本。
基于上述任一实施例，提供一种图像分析方法，该方法包括：
S1，收集各类人体图像，人工标注一部分形成真实标签，并且机器标注一部分形成伪标签，组合成为多任务人体分析数据集。
S2，收集各个单任务对应的子数据集，子数据集之间相互独立。整理4类单任务数据集：行为识别、服装识别、姿态估计、人体解析。各个单任务都选用其适合的深度学习模型，训练出4个单任务教师模型，作为知识蒸馏所用的教师模型。
S3，构建初始多任务学生模型，初始多任务学生模型包括：
共享特征提取模块，用于对人体图像进行共享特征提取，得到人体图像的共享特征；
每个单任务独有的单任务特征提取模块，用于对共享特征分别进行单任务的特征提取，得到4个单任务分别对应的单任务特征；
跨任务注意力模块，用于对4个单任务分别对应的单任务特征进行注意力交互，得到4个单任务分别对应的注意力特征；
任务分析模块，对4个单任务分别对应的注意力特征分别进行任务分析，得到4个单任务分别对应的分析结果。
S4，预训练阶段，合并4个单任务数据集，缺失的多任务标签由其他训练好的单任务教师模型推理得到，由此构建出人体分析多任务数据集。采用知识蒸馏的形式，基于温度控制的蒸馏损失函数做监督，对初始多任务人体分析模型进行蒸馏训练，得到预训练模型。
S5，进入跨任务微调阶段，基于预训练模型的预测结果与4个单任务标签中的真实标签确定的损失，以及4个单任务分别对应的惩罚项，对预训练模型进行微调，得到多任务人体分析模型。
S6，基于训练好的多任务人体分析模型，进行多任务人体分析，多任务人体分析包括：人体行为识别、服装识别、人体姿态估计和人体解析中的至少两种。
下面对本发明提供的图像分析装置进行描述，下文描述的图像分析装置与上文描述的图像分析方法可相互对应参照。
基于上述任一实施例，图7是本发明提供的图像分析装置的结构示意图，如图7所示，该装置包括：
人体图像确定单元710，用于确定待分析的人体图像；
特征提取单元720，用于基于多任务人体分析模型中的特征提取模块，对所述人体图像进行特征提取，得到至少两个单任务分别对应的单任务特征；
注意力交互单元730，用于基于所述多任务人体分析模型中的跨任务注意力模块，对所述至少两个单任务分别对应的单任务特征进行注意力交互，得到所述至少两个单任务分别对应的注意力特征；
任务分析单元740，用于基于所述多任务人体分析模型中的任务分析模块，对所述至少两个单任务分别对应的注意力特征进行对应单任务的任务分析，得到所述至少两个单任务分别对应的分析结果；
其中，所述多任务人体分析模型是基于样本人体图像，以及所述样本人体图像对应的至少两个单任务标签训练得到的。
本发明实施例提供的图像分析装置，采用多任务人体分析模型中的特征提取模块对人体图像进行特征提取，得到针对每个单任务的单任务特征；采用跨任务注意力模块，对每个单任务特征进行注意力交互，得到针对每个单任务的注意力特征；采用任务分析模块，对每个注意力特征进行任务分析，从而得到每个单任务的人体分析结果。由此实现了多任务模型在人体分析场景下的应用，并通过跨任务注意力模块，弥补了单任务特征的局限性，增强单任务关注的语义信息，进一步提高了各个单任务人体分析的准确性、鲁棒性和泛化性。
基于上述任一实施例，注意力交互单元730进一步用于：
基于所述跨任务注意力模块中的特征拼接模块，对所述至少两个单任务分别对应的单任务特征进行特征拼接，得到拼接特征；
基于所述跨任务注意力模块中的自注意力模块，对所述拼接特征进行自注意力变换，并对自注意力变换所得的变换特征进行拆分，得到所述至少两个单任务分别对应的注意力特征。
基于上述任一实施例，特征提取单元720进一步用于：
基于所述特征提取模块中的共享特征提取模块，对所述人体图像进行共享特征提取，得到所述人体图像的共享特征；
基于所述特征提取模块中的至少两个单任务特征提取模块，对所述共享特征分别进行所述至少两个单任务的特征提取，得到所述至少两个单任务分别对应的单任务特征。
基于上述任一实施例，图像分析装置还包括模型训练单元，用于：
将所述样本人体图像输入至初始多任务学生模型，得到所述初始多任务学生模型输出的所述至少两个单任务分别对应的学生预测结果；
将所述样本人体图像分别输入到至少两个单任务教师模型，得到每个单任务教师模型输出的所述至少两个单任务分别对应的教师预测结果；
基于所述至少两个单任务分别对应的学生预测结果和教师预测结果，以及所述样本人体图像对应的所述至少两个单任务的标签，对所述初始多任务学生模型进行蒸馏训练，得到所述多任务人体分析模型。
基于上述任一实施例，所述样本人体图像对应的所述至少两个单任务标签包括真实标签和伪标签，所述伪标签基于所述至少两个单任务教师模型确定。
基于上述任一实施例，模型训练单元，进一步用于：
基于所述至少两个单任务分别对应的学生预测结果和教师预测结果，以及所述样本人体图像对应的至少两个单任务标签，对所述初始多任务学生模型进行蒸馏训练，得到多任务人体分析的预训练模型；
将所述样本人体图像输入至所述预训练模型，得到所述预训练模型输出的所述至少两个单任务分别对应的预测结果；
基于所述预测结果与所述至少两个单任务标签中的真实标签确定的损失，以及所述至少两个单任务分别对应的惩罚项，对所述预训练模型进行微调，得到所述多任务人体分析模型。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器（processor）810、通信接口（Communications Interface）820、存储器（memory）830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行图像分析方法，该方法包括：
确定待分析的人体图像；
基于多任务人体分析模型中的特征提取模块，对所述人体图像进行特征提取，得到至少两个单任务分别对应的单任务特征；
基于所述多任务人体分析模型中的跨任务注意力模块，对所述至少两个单任务分别对应的单任务特征进行注意力交互，得到所述至少两个单任务分别对应的注意力特征；
基于所述多任务人体分析模型中的任务分析模块，对所述至少两个单任务分别对应的注意力特征进行对应单任务的任务分析，得到所述至少两个单任务分别对应的分析结果；
其中，所述多任务人体分析模型是基于样本人体图像，以及所述样本人体图像对应的所述至少两个单任务标签训练得到的。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像分析方法，该方法包括：
确定待分析的人体图像；
基于多任务人体分析模型中的特征提取模块，对所述人体图像进行特征提取，得到至少两个单任务分别对应的单任务特征；
基于所述多任务人体分析模型中的跨任务注意力模块，对所述至少两个单任务分别对应的单任务特征进行注意力交互，得到所述至少两个单任务分别对应的注意力特征；
基于所述多任务人体分析模型中的任务分析模块，对所述至少两个单任务分别对应的注意力特征进行对应单任务的任务分析，得到所述至少两个单任务分别对应的分析结果；
其中，所述多任务人体分析模型是基于样本人体图像，以及所述样本人体图像对应的所述至少两个单任务标签训练得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像分析方法，该方法包括：
确定待分析的人体图像；
基于多任务人体分析模型中的特征提取模块，对所述人体图像进行特征提取，得到至少两个单任务分别对应的单任务特征；
基于所述多任务人体分析模型中的跨任务注意力模块，对所述至少两个单任务分别对应的单任务特征进行注意力交互，得到所述至少两个单任务分别对应的注意力特征；
基于所述多任务人体分析模型中的任务分析模块，对所述至少两个单任务分别对应的注意力特征进行对应单任务的任务分析，得到所述至少两个单任务分别对应的分析结果；
其中，所述多任务人体分析模型是基于样本人体图像，以及所述样本人体图像对应的所述至少两个单任务标签训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到至少两个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种图像分析方法，其特征在于，包括：
确定待分析的人体图像；
基于多任务人体分析模型中的特征提取模块，对所述人体图像进行特征提取，得到至少两个单任务分别对应的单任务特征；
基于所述多任务人体分析模型中的跨任务注意力模块，对所述至少两个单任务分别对应的单任务特征进行注意力交互，得到所述至少两个单任务分别对应的注意力特征；
基于所述多任务人体分析模型中的任务分析模块，对所述至少两个单任务分别对应的注意力特征进行对应单任务的任务分析，得到所述至少两个单任务分别对应的分析结果；
其中，所述多任务人体分析模型是基于样本人体图像，以及所述样本人体图像对应的所述至少两个单任务标签训练得到的；
所述基于所述多任务人体分析模型中的跨任务注意力模块，对所述至少两个单任务分别对应的单任务特征进行注意力交互，得到所述至少两个单任务分别对应的注意力特征，包括：
基于所述跨任务注意力模块中的特征拼接模块，对所述至少两个单任务分别对应的单任务特征进行特征拼接，得到拼接特征；
基于所述跨任务注意力模块中的自注意力模块，对所述拼接特征进行自注意力变换，并对自注意力变换所得的变换特征进行拆分，得到所述至少两个单任务分别对应的注意力特征，所述注意力特征用于表征所述至少两个单任务分别对应的语义信息；
所述多任务人体分析模型基于如下步骤训练得到：
将所述样本人体图像输入至初始多任务学生模型，得到所述初始多任务学生模型输出的所述至少两个单任务分别对应的学生预测结果；
将所述样本人体图像分别输入到至少两个单任务教师模型，得到每个单任务教师模型输出的所述至少两个单任务分别对应的教师预测结果；
基于所述至少两个单任务分别对应的学生预测结果和教师预测结果，以及所述样本人体图像对应的所述至少两个单任务的标签，对所述初始多任务学生模型进行蒸馏训练，得到所述多任务人体分析模型；
所述样本人体图像对应的所述至少两个单任务标签包括真实标签和伪标签，所述伪标签基于所述至少两个单任务教师模型确定；针对任一所述样本人体图像，所述至少两个单任务中的一个单任务采用真实标签，所述至少两个单任务中的其他单任务采用伪标签。
2.根据权利要求1所述的图像分析方法，其特征在于，所述基于多任务人体分析模型中的特征提取模块，对所述人体图像进行特征提取，得到至少两个单任务分别对应的单任务特征，包括：
基于所述特征提取模块中的共享特征提取模块，对所述人体图像进行共享特征提取，得到所述人体图像的共享特征；
基于所述特征提取模块中的至少两个单任务特征提取模块，对所述共享特征分别进行所述至少两个单任务的特征提取，得到所述至少两个单任务分别对应的单任务特征。
3.根据权利要求1所述的图像分析方法，其特征在于，所述基于所述至少两个单任务分别对应的学生预测结果和教师预测结果，以及所述样本人体图像对应的至少两个单任务标签，对所述初始多任务学生模型进行蒸馏训练，得到所述多任务人体分析模型，包括：
基于所述至少两个单任务分别对应的学生预测结果和教师预测结果，以及所述样本人体图像对应的至少两个单任务标签，对所述初始多任务学生模型进行蒸馏训练，得到多任务人体分析的预训练模型；
将所述样本人体图像输入至所述预训练模型，得到所述预训练模型输出的所述至少两个单任务分别对应的预测结果；
基于所述预测结果与所述至少两个单任务标签中的真实标签确定的损失，以及所述至少两个单任务分别对应的惩罚项，对所述预训练模型进行微调，得到所述多任务人体分析模型。
4.根据权利要求1-3中任一项所述的图像分析方法，其特征在于，所述多任务人体分析包括：人体行为识别、服装识别、人体姿态估计和人体解析中的至少两种。
5.一种图像分析装置，其特征在于，包括：
人体图像确定单元，用于确定待分析的人体图像；
特征提取单元，用于基于多任务人体分析模型中的特征提取模块，对所述人体图像进行特征提取，得到至少两个单任务分别对应的单任务特征；
注意力交互单元，用于基于所述多任务人体分析模型中的跨任务注意力模块，对所述至少两个单任务分别对应的单任务特征进行注意力交互，得到所述至少两个单任务分别对应的注意力特征；
任务分析单元，用于基于所述多任务人体分析模型中的任务分析模块，对所述至少两个单任务分别对应的注意力特征进行对应单任务的任务分析，得到所述至少两个单任务分别对应的分析结果；
其中，所述多任务人体分析模型是基于样本人体图像，以及所述样本人体图像对应的至少两个单任务标签训练得到的；
所述注意力交互单元，进一步用于：
基于所述跨任务注意力模块中的特征拼接模块，对所述至少两个单任务分别对应的单任务特征进行特征拼接，得到拼接特征；
基于所述跨任务注意力模块中的自注意力模块，对所述拼接特征进行自注意力变换，并对自注意力变换所得的变换特征进行拆分，得到所述至少两个单任务分别对应的注意力特征，所述注意力特征用于表征所述至少两个单任务分别对应的语义信息；
所述多任务人体分析模型基于如下步骤训练得到：
将所述样本人体图像输入至初始多任务学生模型，得到所述初始多任务学生模型输出的所述至少两个单任务分别对应的学生预测结果；
将所述样本人体图像分别输入到至少两个单任务教师模型，得到每个单任务教师模型输出的所述至少两个单任务分别对应的教师预测结果；
基于所述至少两个单任务分别对应的学生预测结果和教师预测结果，以及所述样本人体图像对应的所述至少两个单任务的标签，对所述初始多任务学生模型进行蒸馏训练，得到所述多任务人体分析模型；
所述样本人体图像对应的所述至少两个单任务标签包括真实标签和伪标签，所述伪标签基于所述至少两个单任务教师模型确定；针对任一所述样本人体图像，所述至少两个单任务中的一个单任务采用真实标签，所述至少两个单任务中的其他单任务采用伪标签。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述图像分析方法。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述图像分析方法。
CN202210947162.0A 2022-08-09 2022-08-09 图像分析方法、装置、电子设备和存储介质 Active CN115019349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210947162.0A CN115019349B (zh) 2022-08-09 2022-08-09 图像分析方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210947162.0A CN115019349B (zh) 2022-08-09 2022-08-09 图像分析方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN115019349A CN115019349A (zh) 2022-09-06
CN115019349B true CN115019349B (zh) 2022-11-04

Family

ID=83065632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210947162.0A Active CN115019349B (zh) 2022-08-09 2022-08-09 图像分析方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115019349B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376308A (zh) * 2014-11-24 2015-02-25 天津大学 一种基于多任务学习的人体动作识别方法
CN107563279A (zh) * 2017-07-22 2018-01-09 复旦大学 针对人体属性分类的自适应权重调整的模型训练方法
CN110765960A (zh) * 2019-10-29 2020-02-07 黄山学院 一种自适应多任务深度学习的行人再识别方法
CN111597870A (zh) * 2020-03-26 2020-08-28 中国电子科技集团公司第五十二研究所 一种基于注意力机制与多任务学习的人体属性识别方法
CN111709289A (zh) * 2020-05-18 2020-09-25 杭州电子科技大学 一种用于提高人体解析效果的多任务深度学习模型
CN111738091A (zh) * 2020-05-27 2020-10-02 复旦大学 一种基于多任务深度学习的姿态估计与人体解析***
CN114708553A (zh) * 2022-04-11 2022-07-05 山东大学 一种基于多任务多视图增量学习的用户行为识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11620515B2 (en) * 2019-11-07 2023-04-04 Salesforce.Com, Inc. Multi-task knowledge distillation for language model
US11720782B2 (en) * 2020-06-15 2023-08-08 Samsung Electronics Co., Ltd. Multi-sensor, multi-view, multi-frame, multi-task synthetic image fusion engine for mobile imaging system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376308A (zh) * 2014-11-24 2015-02-25 天津大学 一种基于多任务学习的人体动作识别方法
CN107563279A (zh) * 2017-07-22 2018-01-09 复旦大学 针对人体属性分类的自适应权重调整的模型训练方法
CN110765960A (zh) * 2019-10-29 2020-02-07 黄山学院 一种自适应多任务深度学习的行人再识别方法
CN111597870A (zh) * 2020-03-26 2020-08-28 中国电子科技集团公司第五十二研究所 一种基于注意力机制与多任务学习的人体属性识别方法
CN111709289A (zh) * 2020-05-18 2020-09-25 杭州电子科技大学 一种用于提高人体解析效果的多任务深度学习模型
CN111738091A (zh) * 2020-05-27 2020-10-02 复旦大学 一种基于多任务深度学习的姿态估计与人体解析***
CN114708553A (zh) * 2022-04-11 2022-07-05 山东大学 一种基于多任务多视图增量学习的用户行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于人体骨架特征学习的动作识别;林里浪等;《中国传媒大学学报(自然科学版)》;20211020;全文 *

Also Published As

Publication number Publication date
CN115019349A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
US20210397876A1 (en) Similarity propagation for one-shot and few-shot image segmentation
CN108229478B (zh) 图像语义分割及训练方法和装置、电子设备、存储介质和程序
CN109754015B (zh) 用于画作多标签识别的神经网络及相关方法、介质和设备
Rahmon et al. Motion U-Net: Multi-cue encoder-decoder network for motion segmentation
CN110866140A (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
CN109740413A (zh) 行人重识别方法、装置、计算机设备及计算机存储介质
CN110633632A (zh) 一种基于循环指导的弱监督联合目标检测和语义分割方法
US11966829B2 (en) Convolutional artificial neural network based recognition system in which registration, search, and reproduction of image and video are divided between and performed by mobile device and server
CN111444370A (zh) 图像检索方法、装置、设备及其存储介质
CN114998601B (zh) 基于Transformer的在线更新目标跟踪方法及***
US20230053911A1 (en) Detecting an object in an image using multiband and multidirectional filtering
CN113011320A (zh) 视频处理方法、装置、电子设备及存储介质
Pise et al. Relational reasoning using neural networks: a survey
US20230222841A1 (en) Ensemble Deep Learning Method for Identifying Unsafe Behaviors of Operators in Maritime Working Environment
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
Wang et al. Convolutional LSTM-based hierarchical feature fusion for multispectral pan-sharpening
CN115578770A (zh) 基于自监督的小样本面部表情识别方法及***
Gutierrez et al. Deep learning for automated tagging of fashion images
Kang et al. Pivot correlational neural network for multimodal video categorization
CN115620122A (zh) 神经网络模型的训练方法、图像重识别方法及相关设备
CN115019349B (zh) 图像分析方法、装置、电子设备和存储介质
CN111738186A (zh) 目标定位方法、装置、电子设备及可读存储介质
WO2023185074A1 (zh) 一种基于互补时空信息建模的群体行为识别方法
Cygert et al. Robust object detection with multi-input multi-output faster r-cnn
CN116110005A (zh) 一种人群行为属性的计数方法、***及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant