CN110837580A - 一种行人图片标注方法、装置、存储介质和智能设备 - Google Patents

Abstract

本申请适用于信息处理技术领域，提出一种行人图片标注方法、装置、存储介质和智能设备。该方法包括：播放待标注的视频，基于所述待标注的视频包含的每一帧视频图片进行行人检测；获取检测到行人的目标视频图片，提取所述目标视频图片中的行人特征信息；获取所述目标视频图片的图片特征信息；根据所述图片特征信息与所述行人特征信息，对所述目标视频图片进行标注。本申请可在提高处理海量视频行人图片标注的效率的同时提高标注的精确性，从而使得标注后的行人图片的适用性更高。

Description

一种行人图片标注方法、装置、存储介质和智能设备

技术领域

本申请属于信息处理技术领域，尤其涉及一种行人图片标注方法、装置、存储介质和智能设备。

背景技术

行人检测是可广泛应用于车辆辅助驾驶、人体运动分析和智能视频监控等领域中。行人检测是对于给定的图像和视频，判断出其中是否有行人，进一步地，如果有行人，则对行人进行标注，标注后的行人图像可用于研究实验，如模型训练。

传统的行人图片标注方法，仅标注图片中的行人特征信息，标注信息不够精确，标注后的行人图片适用性较低。

发明内容

有鉴于此，本申请实施例提供了一种行人图片标注方法、装置、存储介质和智能设备，以解决现有技术中，传统的行人图片标注方法，仅标注图片中的行人特征信息，标注信息不够精确，标注后的行人图片适用性较低的问题。

第一方面，本申请实施例提供了一种行人图片标注方法，包括：

播放待标注的视频，基于所述待标注的视频包含的每一帧视频图片进行行人检测；

获取检测到行人的目标视频图片，提取所述目标视频图片中的行人特征信息；

获取所述目标视频图片的图片特征信息；

根据所述图片特征信息与所述行人特征信息，对所述目标视频图片进行标注。

进一步的，所述行人特征信息包括着装特征信息，所述提取所述目标视频图片中的行人特征信息，包括：

获取所述目标视频图片中的人体区域的图像；

对所述人体区域的图像进行图像预处理；

应用训练好的用于着装识别的深度学习模型对经过所述图像预处理的所述人体区域的图像进行着装识别，得到所述人体区域的着装特征信息。

进一步的，所述图片特征信息包括图片位置信息，所述获取所述目标视频图片的图片特征信息，包括：

根据所述待标注的视频的每一帧视频图片及各帧视频图片的播放顺序，构建初始图片序列；

按序分别为所述初始图片序列中的各帧视频图片标号，得到各帧视频图片的序列号，所述序列号用于标识所述视频图片在所述待标注的视频中的位置；

从所述初始图片序列中，依次提取检测到行人的目标视频图片及其序列号；

根据所述目标视频图片的序列号，分别确定所述目标视频图片在所述待标注的视频中的位置信息。

进一步的，在所述根据所述图片特征信息与所述行人特征信息，对所述目标视频图片进行标注的步骤之后，还包括：

根据所述行人特征信息，构建用于存储所述行人特征信息对应的行人的目标视频图片的个人图片集，将所述个人图片集中的目标视频图片进行关联标记；

根据所述关联标记，按指定统计算法将所述个人图片集中的目标视频图片进行统计分析；

将所述统计分析的结果作为新的标注信息，对已标注的所述目标视频图片进行二次标注。

进一步的，所述行人图片标注方法还包括：

将标注后的所述目标视频图片存入临时图片集合中，对所述临时图片集合中的目标视频图片进行标注验证；

将标注验证过的所述临时图片集合存入所述待标注的视频对应的标注文件夹中。

进一步的，所述对所述临时图片集合中的目标视频图片进行标注验证，包括：

从所述临时视频集合中抽取指定数量的目标视频图片，并获取所述指定数量的目标视频图片的标注信息；

将所述指定数量的目标视频图片作为验证样本图片，发送至标注平台进行人工标注，获取人工标注信息；

计算所述验证样本图片的标注信息与所述人工标注信息的文本相似度；

若所述文本相似度达到预设相似度阈值，则所述临时图片集合中的目标视频图片验证通过。

第二方面，本申请实施例提供了一种行人图片标注装置，包括：

行人检测单元，用于播放待标注的视频，基于所述待标注的视频包含的每一帧视频图片进行行人检测；

行人特征信息获取单元，用于获取检测到行人的目标视频图片，提取所述目标视频图片中的行人特征信息；

图片特征信息获取单元，用于获取所述目标的视频图片的图片特征信息；

行人图片标注单元，用于根据所述图片特征信息与所述行人特征信息，对所述目标视频图片进行标注。

第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请实施例第一方面提出的行人图片标注方法。

第四方面，本申请实施例提供了一种智能设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例第一方面提出的行人图片标注方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面所述的行人图片标注方法。

本申请实施例中，通过播放待标注的视频，基于所述待标注的视频包含的每一帧视频图片进行行人检测，在检测到行人时自动获取检测到行人的目标视频图片，提取所述目标视频图片中的行人特征信息，再获取所述目标视频图片的图片特征信息，根据所述图片特征信息与所述行人特征信息，自动对所述目标视频图片进行标注，可提高处理海量视频中行人图片标注的效率，并且，结合行人特性信息与图片特征信息对视频中的行人图片进行标注，可提高标注的精确性和有效性，从而使得标注后的行人图片的适用性更高。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的行人图片标注方法的实现流程图；

图2是本发明实施例提供的行人图片标注方法提取行人特征信息的具体实现流程图；

图3是本发明实施例提供的行人图片标注方法S103的具体实现流程图；

图4是本发明实施例提供的行人图片标注方法S104的具体实现流程图；

图5是本发明另一实施例提供的行人图片标注方法的实现流程图；

图6是本发明另一实施例提供的行人图片标注方法S505的具体实现流程图；

图7是本发明实施例提供的行人图片标注装置的结构框图；

图8是本发明实施例提供的智能设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

本申请提出一种行人图片标注方法，能够处理海量视频的行人图片标注，有效减少视频行人图片标注的时间和人力，提高行人图片标注的效率。

图1示出了本申请实施例提供的行人图片标注方法的实现流程，该方法流程包括步骤S101至S104。各步骤的具体实现原理如下：

S101：播放待标注的视频，基于所述待标注的视频包含的每一帧视频图片进行行人检测。

具体地，在本申请实施例中，在待标注的视频的播放过程中进行行人检测，即播放的同时对待标注的视频的播放方面进行行人检测。所述播放待标注的视频是指待进行行人图片标注的视频。通过播放待标注的视频，基于所述待标注的视频包含的每一帧视频图片进行行人检测。所述待标注的视频包含的每一帧视频图片是指视频播放时显示的每一帧画面(即视频图片)。所述行人检测是指检测视频图片中是否存在行人。所述行人检测包括人脸检测，通过人脸识别技术检测所述视频图片中是否存在人脸。所述行人检测还包括人体检测，通过人体识别技术检测所述视频图片中是否存在人体。

可选地，在本申请实施例中，在所述待标注的视频播放过程中，监测用户的视频暂停指令，所述视频暂停指令用于暂停视频，对所述视频暂停播放时的当前播放画面对应的视频图片进行行人检测。或者，为节省人力，可通过自动对构成所述视频的每一帧视频图片进行行人检测。在本申请实施例中，既可以自动对所述待标注的视频的每一帧视频图片进行行人检测，也可以通过监测用户的视频暂停指令，对视频播放暂停画面对应的视频图片进行行人检测。所述视频暂停指令包括按键暂停指令、触摸暂停指令以及语音暂停指令。用户可通过触发暂停按键暂停播放视频，也可以通过触摸屏幕暂停播放视频，还可以通过包含指定关键字的语音暂停播放视频。

可选地，在本申请实施例中，所述待标注的视频的播放速度可调节，即播放速度可快进或者慢放。通过获取用户输入的播放速度控制指令，根据所述播放速度控制指令携带的播放速度，播放所述待标记的视频。所述待标注的视频可以是摄像设备拍摄的原始视频，可以是同一时间段内设置在不同位置的摄像设备拍摄的视频，也可以是同一摄像设备在不同时间段内的拍摄的视频，或者不同时间段内，不同位置的摄像设备拍摄的视频。

可选地，在本申请实施例中，构建两路及以上的视频通道，基于所述两路及以上的视频通道同时播放两个及以上的待标注视频。具体地，若监测到用户的多视频播放指令，根据所述多视频播放指令，启动两个或者两个以上的视频播放窗口同时播放不同的待标注的视频，同时播放的待标注的视频的数量与所述多视频播放指令对应，从而可使得进一步提高标注的效率。

S102：获取检测到行人的目标视频图片，提取所述目标视频图片中的行人特征信息。

在本申请实施例中，在根据上述步骤S101进行行人检测之后，若在所述待标注的视频的视频图片中检测到行人，则自动截取当前播放画面，获取检测到行人的目标视频图片，提取所述目标视频图片中行人的行人特征信息。可选地，在获取检测到行人的目标视频图片之后，在提取所述目标视频图片中的行人特征信息之前，对获取的所述目标视频图片进行去噪处理，以提升所述目标视频图片的清晰度，进而使得提取的行人特征信息更为准确。

在本申请实施例中，所述行人特征信息包括人脸特征信息、人体特征信息与着装特征信息中的一种或者多种。在所述待标注的视频播放画面中检测到人脸和/或人体时，截取检测到的人脸和/或人体的目标视频图片，从所述目标视频图片中提取行人特征信息。具体地，人体特征可以包括行人的外形轮廓，在不同摄像头中，由于尺度、光照和角度的变化，同一个行人在不同图片中的外貌特征会有一定程度的变化，因此，在上述检测到行人的目标视频图片中，并不是必须对行人进行区分，而是只检测该目标视频图片中是否有行人特征信息。在检测到人体特征信息时，进一步提取人脸特征信息与着装特征信息，以便提高标注的准确性。所述着装特征信息包括着装类型如外套、单衣，着装颜色如白色、红色，还可以包括是否背包或者戴帽子。所述人脸特征信息包括脸型、五官，例如眼睛大小、鼻梁高度等，通过检测人脸特征信息与着装特征信息，可以提高行人重识别的精度。

可选地，作为本申请的一个实施例，所述行人特征信息包括人脸特征信息，提取所述目标视频图片中所述行人的人脸特征信息可以通过检测所述目标视频图片中的人脸关键点，所述人脸关键点为预先指定的脸部特征点，根据所述人脸关键点获取所述目标视频图片中的人脸区域，对所述人脸区域进行特征提取，获取所述目标视频图片中行人的人脸特征信息。具体地，使用MTCNN检测所述目标视频图片，在所述目标视频图片中检测人脸关键点，在本实施例中，所述人脸关键点包括左右眼，鼻尖，左右嘴角。进一步地，在所述目标视频图片检测到的人脸并不一定是正对的，多种角度的人脸会给人脸特征提取算法带来困难。在本申请实施例中，根据所述人脸关键点，按照统一规则采用仿射变换对所述目标视频图片中的人脸图片进行矫正，通过矫正操作可减少人脸姿势角度的多样性带来的影响，从而使得人脸特征信息提取更为准确。

可选地，作为本申请的一个实施例，所述行人特征信息包括人体特征信息，提取所述目标视频图片中所述行人的人体特征信息可通过检测所述目标视频图片中的人体关键点，根据检测到的所述人体关键点，获取所述目标视频图片中的人体区域，对所述人体区域进行特征提取，获取所述目标视频图片中行人的人体特征信息。所述人体关键点为预先指定的人体特征点。具体地，使用OpenPose检测指定个数的人体关键点，例如，检测指定的18个人体关键点，根据检测到的指定个数的人体关键点获取所述目标视频图片中的人体区域。具体地，人体关键点通常对应人体上有一定自由度的关键，比如颈、肩、肘、腕、腰、膝、踝等。在本申请实施例中，在检测到指定个数的人体关键点之后，通过将图片中已检测到的人体关键点按各个人体关键点预设的位置关系正确的联系起来，根据联系确定人体区域，进一步地，可通过对人体关键点在三维空间相对位置的计算，来估计人体当前的姿态。

可选地，作为本申请的一个实施例，所述行人特征信息包括着装特征信息，所述着装特征信息包括服饰类型、服饰颜色、服饰款式以及配饰中的一种或者多种，图2示出了本申请实施例提供的提取所述目标视频图片中的行人特征信息的一种具体实现流程，详述如下：

A1：获取所述目标视频图片中的人体区域的图像。具体地，将检测到行人的目标视频图片进行图像切割，获取所述目标视频图中的人体区域的图像，或者根据上述人体特征信息的提取得到所述目标视频图片中的人体区域的图像。在本实施例中，人体区域包括头部区域、上身区域和下身区域中的至少一种，也可以是诸如头部区域、上肢区域、下肢区域、上身躯干区域等其他类型的人体区域中的至少一种，在此不做限定。

A2：对所述人体区域的图像进行图像预处理。所述图像预处理的操作包括裁剪、旋转、翻转、调整亮度以及调整对比度中的一种或者多种。通过图像预处理得到更加清晰易辨别的图像，从而提高图像识别的精度。

A3：应用训练好的用于着装识别的深度学习模型对经过所述图像预处理的所述人体区域的图像进行着装识别，得到所述人体区域的着装特征信息。

具体地，在本申请实施例中，所述用于着装识别的深度学习模型的训练包括：

a1、获取样本人体区域的图像以及所述样本人体区域的图像对应的样本着装特征信息；

a2、对所述样本人体区域的图像进行图像预处理；

a3、调用深度学习引擎对经过所述图像预处理的所述样本人体区域的图像及所述样本人体区域的图像对应的样本着装特征信息进行训练，直至误差在允许范围内，得到训练好的深度学习模型。

进一步，由于着装特征信息可以包括服饰类型、服饰颜色、服饰款式以及配饰中的一种或者多种，而服饰类型、服饰颜色、服饰款式以及配饰也是多种多样，因此，可以根据样本人体区域的图像对应的不同的样本着装特征信息分别进行训练，得到多个深度学习模型，应用训练的多个深度学习模型对经过所述图像预处理的所述人体区域的图像进行着装识别，提高着装特征信息识别的精度。

S103：获取所述目标视频图片的图片特征信息。

具体地，所述图片特征信息包括所述目标视频图片的位置信息，所述位置信息是指截取的所述目标视频图片在所述待标注的视频中的位置，在本实施例中，可根据所述位置信息确定目标视频图片在所述待标注的视频中的位置。

作为本申请的一个实施例，所述图片特征信息包括图片位置信息，图3示出了本申请实施例提供的行人图片标注方法S103的具体实现流程，详述如下：

B1：根据所述待标注的视频的每一帧视频图片及各帧视频图片的播放顺序，构建初始图片序列。具体地，所述待标注的视频由一帧一帧的视频图片构成，所述初始图片序列中包括构成所述待标注的视频的全部视频图片。

B2：按序分别为所述初始图片序列中的各帧视频图片标号，得到各帧视频图片的序列号，所述序列号用于标识所述视频图片在所述待标注的视频中的位置。具体地，所述初始图片序列中的视频图片按各帧视频图片的播放顺序依次进行标号，得到所述初始图片序列中个帧视频图片的序列号。例如，所述待标注的视频由N帧视频图片构成，所述初始图片序列包括N帧视频图片，根据N帧视频图片的播放顺序，依次进行标号，所述初始图片序列中的视频图片的序列号为1至N，序列号1或者序列号N表示所述视频图片在所述初始图片序列也即所述待标注的视频中的位置。

B3：从所述初始图片序列中，依次提取检测到行人的目标视频图片及其序列号。例如，所述初始图片序列中的N帧视频图片，其中第1帧视频图片、第2帧视频图片、第6帧图片、第7帧图片以及第N帧图片检测到行人，则第1帧视频图片、第2帧视频图片、第6帧图片、第7帧图片和第N帧图片为目标视频图片，依次从所述初始图片序列中提取出第1帧视频图片、第2帧视频图片、第6帧图片、第7帧图片和第N帧图片，并且，提取的目标视频图片对应的序列号分别为1、2、6、7和N。

B4：根据所述目标视频图片的序列号，分别确定所述目标视频图片在所述待标注的视频中的位置信息。

具体地，所述待标注的视频包括一帧一帧的视频图片，根据所述待标注的视频的播放顺序，构建所述待标注的视频的初始图片序列，按序分别为所述图片序列中的各帧图片标号，得到各帧视频图片的序列号，根据组成所述待标注的视频的初始图片序列的序列号，可确定截取的所述视频图片在所述待标注的视频中的位置信息。从所述图片序列中，按所述待标注的视频的播放顺序依次提取检测到行人的目标视频图片以及所述目标视频图片在所述待标注的视频中的序列号，构建行人图片序列，所述行人图片序列包括按所述待标注的视频的播放顺序排序的检测到行人的目标视频图片，按所述序列号为所述行人图片序列中的目标视频图片排序，根据所述序列号查找所述目标视频图片在所述待标注的视频的初始图片序列中的位置。示例性地，所述初始图片序列包括N帧视频图片，所述初始图片序列中的视频图片的序列号为1至N，若检测到行人的目标视频图片的序列号为1，则该目标视频图片为所述待标注的视频的初始图片序列中的第1帧视频图片，若目标视频图片的序列号为N，则该目标视频图片为所述待标注的视频的初始图片序列中的第N帧视频图片。

在本申请实施例中，可通过所述位置信息确定检测到的行人的目标视频图片在所述待标注的视频中的位置，从而可从视频中快速查找所述行人的目标视频图片。

可选地，所述目标视频图片的图片特征信息还包括视频图片的拍摄地址信息，所述拍摄地址信息是指目标视频图片中场景的地址，即视频拍摄的地址，可通过查询用于保存待标注的视频的ID与视频拍摄地址的对应关系的数据库来确定该目标视频图片的地址信息。

S104：根据所述图片特征信息与所述行人特征信息，对所述目标视频图片进行标注。

具体地，对所述目标视频图片进行标注是为目标视频图片添加可用于分析的信息，例如，将经过标注的目标视频图片作为神经网络模型训练的样本图片。在本申请实施例中，将所述图片特征信息与所述行人特征信息作为标注信息，建立并存储所述标注信息与所述目标视频图片的映射关系，从而实现对所述目标视频图片的自动标注，从而实现自动化行人图片标注，节省人力。

可选地，在本申请实施例中，所述人脸特征信息还包括所述人脸区域的大小以及所述人脸区域在所述目标视频图片中的位置，根据所述人脸区域的大小以及所述人脸区域的位置，生成封闭曲线，可通过封闭曲线如矩形框框住所述人脸区域。所述人体特征信息还包括所述人体区域的大小以及所述人体区域在所述目标视频图片中的位置。可通过封闭曲线如矩形框框住所述人体区域。若同一张目标视频图片中包括不止一个行人，即检测到多张人脸或者多个人体，则所述目标视频图片上会出现多个矩形框，用编号标注区分所述矩形框。具体地，建立所述图片特征信息、所述行人特征信息与所述目标视频图片上封闭曲线如矩形框的对应关系，并将该对应关系存储，可以表格的形式存储，也可以按指定的格式规则处理后存储。

可选地，作为本申请的一个实施例，如图4所示，在上述步骤S104之后，还包括：

C1：根据所述行人特征信息，构建用于存储所述行人特征信息对应的行人的目标视频图片的个人图片集，将所述个人图片集中的目标视频图片进行关联标记，具体地，同一行人特征信息对应一个行人，不同行人特征信息对应不同的行人，将相同的行人特征信息确定为一个行人对应的行人特征信息，根据前述描述可知，通过封闭曲线框住所述目标视频图片中的人脸或人体区域，根据所述图片特征信息、所述行人特征信息与所述目标视频图片上封闭曲线的对应关系，确定所述行人特征信息对应的所以的封闭曲线，也即确定所述行人特征信息对应的所有的目标视频图片，将同一行人特征信息对应的所有目标视频图片关联标记起来。例如，确定所述行人特征信息对应的行人编号，将同一行人特征信息对应的所有目标视频图片标记所述行人编号。

C2：根据所述关联标记，按指定统计算法将所述个人图片集中的目标视频图片进行统计分析。具体地，统计所述个人图片集中的目标视频图片的帧数。

C3：将所述统计分析的结果作为新的标注信息，对已标注的所述目标视频图片进行二次标注。

具体地，在本申请实施例中，从所述行人图片序列中提取包含同一行人特征信息的目标视频图片，构建专门存储所述同一行人特征信息对应的行人的目标视频图片的个人图片集，所述个人图片集中的目标视频图片可进行关联标记，统计该个人图片集中目标视频图片的帧数，确定所述行人特征信息对应的行人在所述待标注的视频中出现的时长，根据所述个人图片集中目标视频图的所述图片特征信息，可确定所述行人特征信息对应的行人在所述待标注的视频中出现的次数和位置，从而进一步提高标注的精确性。

本申请实施例中，通过播放待标注的视频，基于所述待标注的视频的每一帧视频图片进行行人检测，在检测到行人时自动获取所述目标视频图片，提取所述目标视频图片中的行人特征信息，再获取所述目标视频图片的图片特征信息，根据所述图片特征信息与所述行人特征信息，自动对所述目标视频图片进行标注，可提高处理海量视频中行人图片标注的效率，并且，结合行人特性信息与图片特征信息对视频中的行人图片进行标注，可提高标注的精确性和有效性，从而使得标注后的行人图片的适用性更高。

进一步地，基于上述图1实施例中所提供的行人图片标注方法，提出本申请的另一实施例。在本申请实施例中，在图1所示的步骤S101-S104的基础上，如图5所示，所述行人图片标注方法还包括：

S505：将标注后的所述目标视频图片存入临时图片集合中，对所述临时图片集合中的目标视频图片进行标注验证。

在本申请实施例中，将标注后的所述目标视频图片存入临时图片集合中，对所述临时图片集合中的目标视频图片进行标注验证。具体地，将标注后的所述目标视频图片按所述目标视频图片在所述待标注的视频中的位置顺序依次存入临时图片集合中，对所述临时图片集合中的目标视频图片进行人工抽查验证。

作为本申请的一个实施例，如图6所示，上述对所述临时图片集合中的目标视频图片进行标注验证的步骤，具体包括：

D1：从所述临时视频集合中抽取指定数量的目标视频图片，并获取所述指定数量的目标视频图片的标注信息。具体地，利用随机算法从所述临时视频集合中抽取若干数量的目标视频图片作为验证样本图片，抽取的数量根据所述临时视频集合中目标视频图片的总数量按比例确定。

D2：将所述指定数量的目标视频图片作为验证样本图片，发送至标注平台进行人工标注，获取人工标注信息。具体地，人工标注是指通过人工确认获取所述验证样本图片中的行人特征信息，并通过人工获取验证样本图片的图片特征信息，将人工获取的行人特征信息与图片特征信息作为人工标注信息。可选地，将所述临时视频集合中的目标视频图片按位置顺序构建图片序列，抽取指定间隔数的目标视频图片作为验证样本图片，发送至标注平台进行人工标注。

D3：计算所述验证样本图片的标注信息与所述人工标注信息的文本相似度。

D4：若所述文本相似度达到预设相似度阈值，则所述临时图片集合中的目标视频图片验证通过。若所述文本相似度未达到预设相似度阈值，所述临时图片集合中的目标视频图片验证不通过。

本申请实施例中，通过随机抽取一定数量的已标注的目标视频图片进行人工标注，将自动标注的目标视频图片的标注信息与人工标注的标注信息进行相似度比较，验证自动标注的准确性，有效保障自动化行人图片标注的可靠性。

S506：将标注验证过的所述临时图片集合存入所述待标注的视频对应的标注文件夹中。

本申请实施例中，通过播放待标注的视频，基于所述待标注的视频包含的每一帧视频图片进行行人检测，在检测到行人时自动获取所述目标视频图片，提取所述目标视频图片中的行人特征信息，然后获取所述目标视频图片的图片特征信息，根据所述图片特征信息与所述行人特征信息，自动对所述目标视频图片进行标注，可提高处理海量视频中行人图片标注的效率，并且，结合行人特性信息与图片特征信息对视频中的行人图片进行标注，可提高标注的精确性和有效性，从而使得标注后的行人图片的适用性更高。进一步地，再将标注后的所述目标视频图片存入临时图片集合中，对所述临时图片集合中的目标视频图片进行标注验证，验证自动行人图片标注的准确性，有效保障自动化行人图片标注的可靠性，最后将标注验证过的所述临时图片集合存入所述待标注的视频对应的标注文件夹中，进一步地提高标注的有效性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例所述的行人图片标注方法，图7示出了本申请实施例提供的行人图片标注装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图7，该行人图片标注装置包括：行人检测单元71，行人特征信息获取单元72，图片特征信息获取单元73，行人图片标注单元74，其中：

行人检测单元71，用于播放待标注的视频，基于所述待标注的视频包含的每一帧视频图片进行行人检测；

行人特征信息获取单元72，用于获取检测到行人的目标视频图片，提取所述目标视频图片中的行人特征信息；

图片特征信息获取单元73，用于获取所述目标视频图片的图片特征信息；

行人图片标注单元74，用于根据所述图片特征信息与所述行人特征信息，对所述目标视频图片进行标注。

可选地，所述行人特征信息包括着装特征信息，所述行人特征信息获取单元72包括：

区域图像获取模块，用于获取所述目标视频图片中的人体区域的图像；

图像预处理模块，用于对所述人体区域的图像进行图像预处理；

着装信息获取模块，用于应用训练好的用于着装识别的深度学习模型对经过所述图像预处理的所述人体区域的图像进行着装识别，得到所述人体区域的着装特征信息。

可选地，所述图片特征信息包括图片位置信息，所述图片特征信息获取单元73包括：

初始序列构建模块，用于根据所述待标注的视频的每一帧视频图片及各帧视频图片的播放顺序，构建初始图片序列；

图片标号模块，用于按序分别为所述初始图片序列中的各帧视频图片标号，得到各帧视频图片的序列号，所述序列号用于标识所述视频图片在所述待标注的视频中的位置；

序列号提取模块，用于从所述初始图片序列中，依次提取检测到行人的目标视频图片及其序列号；

位置信息确定模块，用于根据所述目标视频图片的序列号，分别确定所述目标视频图片在所述待标注的视频中的位置信息。

可选地，所述行人图片标注装置还包括：

关联标记单元，用于根据所述行人特征信息，构建用于存储所述行人特征信息对应的行人的目标视频图片的个人图片集，将所述个人图片集中的目标视频图片进行关联标记；

信息分析单元，用于根据所述关联标记，按指定统计算法将所述个人图片集中的目标视频图片进行统计分析；

图片标注单元，用于将所述统计分析的结果作为新的标注信息，对已标注的所述目标视频图片进行二次标注。

可选地，所述行人图片标注装置还包括：

标注验证单元，用于将标注后的所述目标视频图片存入临时图片集合中，对所述临时图片集合中的目标视频图片进行标注验证；

信息存储单元，用于将标注验证过的所述临时图片集合存入所述待标注的视频对应的标注文件夹中。

可选地，所述标注验证单元包括：

信息抽取模块，用于从所述临时视频集合中抽取指定数量的目标视频图片，并获取所述指定数量的目标视频图片的标注信息；

人工标注模块，用于将所述指定数量的目标视频图片作为验证样本图片，发送至标注平台进行人工标注，获取人工标注信息；

相似度计算模块，用于计算所述验证样本图片的标注信息与所述人工标注信息的文本相似度；若所述文本相似度达到预设相似度阈值，则所述临时图片集合中的目标视频图片验证通过。

本申请实施例中，通过播放待标注的视频，基于所述待标注的视频包含的每一帧视频图片进行行人检测，在检测到行人时自动获取所述目标视频图片，提取所述目标视频图片中的行人特征信息，然后获取所述目标视频图片的图片特征信息，根据所述图片特征信息与所述行人特征信息，自动对所述目标视频图片进行标注，可提高处理海量视频中行人图片标注的效率，并且，结合行人特性信息与图片特征信息对视频中的行人图片进行标注，可提高标注的精确性和有效性，从而使得标注后的行人图片的适用性更高。进一步地，再将标注后的所述目标视频图片存入临时图片集合中，对所述临时图片集合中的目标视频图片进行标注验证，验证自动行人图片标注的准确性，有效保障自动化行人图片标注的可靠性，最后将标注验证过的所述临时图片集合存入所述待标注的视频对应的标注文件夹中，进一步地提高标注的有效性。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如图1至图6表示的任意一种行人图片标注方法的步骤。

本申请实施例还提供一种计算机程序产品，当该计算机程序产品在智能设备上运行时，使得智能设备执行实现如图1至图6表示的任意一种行人图片标注方法的步骤。

本申请实施例还提供一种智能设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如图1至图6表示的任意一种行人图片标注方法的步骤。

图8是本申请一实施例提供的智能设备的示意图。如图8所示，该实施例的智能设备8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机可读指令82。所述处理器80执行所述计算机可读指令82时实现上述各个行人图片标注方法实施例中的步骤，例如图1所示的步骤101至104。或者，所述处理器80执行所述计算机可读指令82时实现上述各装置实施例中各模块/单元的功能，例如图7所示单元71至74的功能。

示例性的，所述计算机可读指令82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器81中，并由所述处理器80执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机可读指令82在所述智能设备8中的执行过程。

所述智能设备8可以是服务器、笔记本、掌上电脑及云端智能设备等计算设备。所述智能设备8可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是智能设备8的示例，并不构成对智能设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述智能设备8还可以包括输入输出设备、网络接入设备、总线等。

所述处理器80可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器81可以是所述智能设备8的内部存储单元，例如智能设备8的硬盘或内存。所述存储器81也可以是所述智能设备8的外部存储设备，例如所述智能设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述智能设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机可读指令以及所述智能设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种行人图片标注方法，其特征在于，包括：

播放待标注的视频，基于所述待标注的视频包含的每一帧视频图片进行行人检测；

获取检测到行人的目标视频图片，提取所述目标视频图片中的行人特征信息；

获取所述目标视频图片的图片特征信息；

根据所述图片特征信息与所述行人特征信息，对所述目标视频图片进行标注。

2.如权利要求1所述的行人图片标注方法，其特征在于，所述行人特征信息包括着装特征信息，所述提取所述目标视频图片中的行人特征信息，包括：

获取所述目标视频图片中的人体区域的图像；

对所述人体区域的图像进行图像预处理；

应用训练好的用于着装识别的深度学习模型对经过所述图像预处理的所述人体区域的图像进行着装识别，得到所述人体区域的着装特征信息。

3.如权利要求1所述的行人图片标注方法，其特征在于，所述图片特征信息包括图片位置信息，所述获取所述目标视频图片的图片特征信息，包括：

根据所述待标注的视频的每一帧视频图片及各帧视频图片的播放顺序，构建初始图片序列；

按序分别为所述初始图片序列中的各帧视频图片标号，得到各帧视频图片的序列号，所述序列号用于标识所述视频图片在所述待标注的视频中的位置；

从所述初始图片序列中，依次提取检测到行人的目标视频图片及其序列号；

根据所述目标视频图片的序列号，分别确定所述目标视频图片在所述待标注的视频中的位置信息。

4.如权利要求1所述的行人图片标注方法，其特征在于，在所述根据所述图片特征信息与所述行人特征信息，对所述目标视频图片进行标注之后，包括：

根据所述行人特征信息，构建用于存储所述行人特征信息对应的行人的目标视频图片的个人图片集，将所述个人图片集中的目标视频图片进行关联标记；

根据所述关联标记，按指定统计算法将所述个人图片集中的目标视频图片进行统计分析；

将所述统计分析的结果作为新的标注信息，对已标注的所述目标视频图片进行二次标注。

5.如权利要求1所述的行人图片标注方法，其特征在于，所述行人图片标注方法还包括：

将标注后的所述目标视频图片存入临时图片集合中，对所述临时图片集合中的目标视频图片进行标注验证；

将标注验证过的所述临时图片集合存入所述待标注的视频对应的标注文件夹中。

6.如权利要求5所述的行人图片标注方法，其特征在于，所述对所述临时图片集合中的目标视频图片进行标注验证，包括：

从所述临时视频集合中抽取指定数量的目标视频图片，并获取所述指定数量的目标视频图片的标注信息；

将所述指定数量的目标视频图片作为验证样本图片，发送至标注平台进行人工标注，获取人工标注信息；

计算所述验证样本图片的标注信息与所述人工标注信息的文本相似度；

若所述文本相似度达到预设相似度阈值，则所述临时图片集合中的目标视频图片验证通过。

7.一种行人图片标注装置，其特征在于，包括：

行人检测单元，用于播放待标注的视频，基于所述待标注的视频包含的每一帧视频图片进行行人检测；

行人特征信息获取单元，用于获取检测到行人的目标视频图片，提取所述目标视频图片中的行人特征信息；

图片特征信息获取单元，用于获取所述目标视频图片的图片特征信息；

行人图片标注单元，用于根据所述图片特征信息与所述行人特征信息，对所述目标视频图片进行标注。

8.如权利要求7所述的行人图片标注装置，其特征在于，所述行人图片标注装置还包括：

标注验证单元，用于将标注后的所述目标视频图片存入临时图片集合中，对所述临时图片集合中的目标视频图片进行标注验证；

信息存储单元，用于将标注验证过的所述临时图片集合存入所述待标注的视频对应的标注文件夹中。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的行人图片标注方法。

10.一种智能设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的行人图片标注方法。

Images