CN108875548A - 人物轨迹生成方法及装置、存储介质、电子设备 - Google Patents

人物轨迹生成方法及装置、存储介质、电子设备 Download PDF

Info

Publication number
CN108875548A
CN108875548A CN201810348274.8A CN201810348274A CN108875548A CN 108875548 A CN108875548 A CN 108875548A CN 201810348274 A CN201810348274 A CN 201810348274A CN 108875548 A CN108875548 A CN 108875548A
Authority
CN
China
Prior art keywords
target object
image
pedestrian
point
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810348274.8A
Other languages
English (en)
Other versions
CN108875548B (zh
Inventor
陆磊
吴子扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN201810348274.8A priority Critical patent/CN108875548B/zh
Publication of CN108875548A publication Critical patent/CN108875548A/zh
Application granted granted Critical
Publication of CN108875548B publication Critical patent/CN108875548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种人物轨迹生成方法及装置、存储介质、电子设备。该方法包括：根据目标对象的特征信息，从监控视频中搜索目标对象，获得目标对象的运动点位，生成初始人物轨迹；查找与目标对象具有对应关系的关联对象，并根据关联对象的特征信息，从监控视频中搜索关联对象，获得关联对象的运动点位，目标对象与关联对象具有不同的属性类别；利用关联对象的运动点位更新初始人物轨迹，得到最终人物轨迹。如此方案，有助于提高人物轨迹的准确性。

Description

人物轨迹生成方法及装置、存储介质、电子设备
技术领域
本公开涉及视频监控技术领域，具体地，涉及一种人物轨迹生成方法及装置、存储介质、电子设备。
背景技术
视频监控作为安全防范***的重要组成部分，被广泛应用于多种领域，例如，智能交通、公共安全、日常生活等领域。在实际应用过程中，可能会涉及到对视频场景下的某个指定人物进行查询、检索的情况，例如，追捕嫌犯、查找丢失人员等。
目前，大多通过人脸识别或者行人识别，实现对指定人物的单一检索。结合实际应用可知，单一的人脸识别对摄像头的摆设方向有较高要求，需要较大且清晰的人脸才能很好的进行人脸识别；单一的行人识别存在对行人表达不准确的问题，很难准确确定行人的身份。也就是说，单一检索的效果并不理想，如此，势必会影响基于单一检索的检索结果绘制的人物轨迹的准确性。
发明内容
本公开的主要目的是提供一种人物轨迹生成方法及装置、存储介质、电子设备，有助于提高人物轨迹的准确性。
为了实现上述目的，本公开提供一种人物轨迹生成方法，所述方法包括：
根据目标对象的特征信息，从监控视频中搜索所述目标对象，获得所述目标对象的运动点位，生成初始人物轨迹；
查找与所述目标对象具有对应关系的关联对象，并根据所述关联对象的特征信息，从所述监控视频中搜索所述关联对象，获得所述关联对象的运动点位，所述目标对象与所述关联对象具有不同的属性类别；
利用所述关联对象的运动点位更新所述初始人物轨迹，得到最终人物轨迹。
可选地，如果所述目标对象包含于待检索图像中，且所述待检索图像的类型为行人图像，则获取所述目标对象的特征信息的方式为：
将所述待检索图像作为输入，经预先构建的行人特征提取模型处理后，输出所述目标对象的特征信息，所述目标对象的特征信息包括目标对象的全局特征信息和/或所述目标对象的局部特征信息。
可选地，如果所述行人特征提取模型的网络结构为CNN，且所述目标对象的特征信息为所述目标对象的局部特征信息，则所述经预先构建的行人特征提取模型处理后，输出所述目标对象的特征信息，包括：
获取从所述待检索图像中提取的目标对象的特征点坐标、以及所述待检索图像的特征图；
对所述特征点坐标进行下采样，将所述特征点映射到所述特征图中；
利用映射到所述特征图中的特征点坐标，在所述特征图中划分出至少一个ROI感兴趣区域，所述ROI区域用于表示所述目标对象的一个部件的局部特征信息。
可选地，所述方法还包括：
基于所述待检索图像中的目标对象的腰部特征点的连线、以及颈部与腰部中心点的连线，得到旋转角度α；
利用所述旋转角度对所述待检索图像进行图像对齐旋转，得到旋转后检索图像；
所述将所述待检索图像作为输入，包括：将所述旋转后检索图像作为输入。
可选地，建立所述目标对象与所述关联对象之间对应关系的方式为：
如果建立人脸与车牌之间的对应关系，方式为：在待处理图像中定位出车牌位置以及人脸框位置；根据所述车牌位置，在所述待处理图像中确定出车辆框的位置；判断所述人脸框是否位于所述车辆框内部、远离车牌的上方区域；如果是，则建立所述人脸框表示的人脸与所述车牌之间的对应关系；
如果建立人脸与行人之间的对应关系，方式为：在待处理图像中定位出人脸框以及行人框；判断所述人脸框与所述行人框的交集区域与所述人脸框的面积比值，是否小于预设比值；如果否，则建立所述人脸框表示的人脸与所述行人框表示的行人之间的对应关系。
可选地，所述利用所述关联对象的运动点位更新所述初始人物轨迹，包括：
利用所述关联对象的运动点位，对所述初始人物轨迹中的运动点位进行增加和/或删除操作。
可选地，所述属性类别包括车牌、人脸和行人。
可选地，所述方法还包括：
获取所述目标对象的运动点位和/或所述关联对象的运动点位对应的图像采集设备的空间拓扑关系；
根据所述图像采集设备的空间拓扑关系，判断人物在相邻运动点位之间的运动状态是否与预设状态相符；
如果不相符，则删除对应的运动点位。
本公开提供一种人物轨迹生成装置，所述装置包括：
初始人物轨迹生成模块，用于根据目标对象的特征信息，从监控视频中搜索所述目标对象，获得所述目标对象的运动点位，生成初始人物轨迹；
关联对象的运动点位获得模块，用于查找与所述目标对象具有对应关系的关联对象，并根据所述关联对象的特征信息，从所述监控视频中搜索所述关联对象，获得所述关联对象的运动点位，所述目标对象与所述关联对象具有不同的属性类别；
人物轨迹更新模块，用于利用所述关联对象的运动点位更新所述初始人物轨迹，得到最终人物轨迹。
可选地，如果所述目标对象包含于待检索图像中，且所述待检索图像的类型为行人图像，所述装置还包括：
目标对象的特征信息提取模块，用于将所述待检索图像作为输入，经预先构建的行人特征提取模型处理后，输出所述目标对象的特征信息，所述目标对象的特征信息包括目标对象的全局特征信息和/或所述目标对象的局部特征信息。
可选地，如果所述行人特征提取模型的网络结构为CNN，且所述目标对象的特征信息为所述目标对象的局部特征信息，则
所述目标对象的特征信息提取模块，用于获取从所述待检索图像中提取的目标对象的特征点坐标、以及所述待检索图像的特征图；对所述特征点坐标进行下采样，将所述特征点映射到所述特征图中；利用映射到所述特征图中的特征点坐标，在所述特征图中划分出至少一个ROI感兴趣区域，所述ROI区域用于表示所述目标对象的一个部件的局部特征信息。
可选地，所述装置还包括：
图像旋转模块，用于基于所述待检索图像中的目标对象的腰部特征点的连线、以及颈部与腰部中心点的连线，得到旋转角度α；利用所述旋转角度对所述待检索图像进行图像对齐旋转，得到旋转后检索图像；
所述目标对象的特征信息提取模块，用于将所述旋转后检索图像作为输入，经所述行人特征提取模型处理后，输出所述目标对象的特征信息。
可选地，所述装置还包括：
第一对应关系建立模块，用于在待处理图像中定位出车牌位置以及人脸框位置；根据所述车牌位置，在所述待处理图像中确定出车辆框的位置；判断所述人脸框是否位于所述车辆框内部、远离车牌的上方区域；如果是，则建立所述人脸框表示的人脸与所述车牌之间的对应关系；
和/或，
第二对应关系建立模块，用于在待处理图像中定位出人脸框以及行人框；判断所述人脸框与所述行人框的交集区域与所述人脸框的面积比值，是否小于预设比值；如果否，则建立所述人脸框表示的人脸与所述行人框表示的行人之间的对应关系。
可选地，所述人物轨迹更新模块，用于利用所述关联对象的运动点位，对所述初始人物轨迹中的运动点位进行增加和/或删除操作。
可选地，所述属性类别包括车牌、人脸和行人。
可选地，所述装置还包括：
运动点位删除模块，用于获取所述目标对象的运动点位和/或所述关联对象的运动点位对应的图像采集设备的空间拓扑关系；根据所述图像采集设备的空间拓扑关系，判断人物在相邻运动点位之间的运动状态是否与预设状态相符；如果不相符，则删除对应的运动点位。
本公开提供一种存储介质，其中存储有多条指令，所述指令由处理器加载，执行上述人物轨迹生成方法的步骤。
本公开提供一种电子设备，所述电子设备包括；
上述的存储介质；以及
处理器，用于执行所述存储介质中的指令。
本公开方案中，可以基于目标对象的特征信息绘制初始人物轨迹，还可以查找出与目标对象具有不同属性类别的关联对象，基于关联对象的特征信息进行关联检索，有助于发现初始人物轨迹中遗漏的正确运动点位、和/或删除初始人物轨迹中多余的错误运动点位，提高生成人物轨迹的准确性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1为本公开方案人物轨迹生成方法的流程示意图；
图2为本公开方案中对待检索图像进行对齐处理的示意图；
图3为本公开方案中建立人脸与车牌之间对应关系的流程示意图；
图4为本公开方案中建立人脸与行人之间对应关系的流程示意图；
图5为本公开方案中行人特征提取模型的网络层的结构示意图；
图6为本公开方案人物轨迹生成装置的构成示意图；
图7为本公开方案进行人物轨迹生成的电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
参见图1，示出了本公开人物轨迹生成方法的流程示意图。可以包括以下步骤：
S101，根据目标对象的特征信息，从监控视频中搜索所述目标对象，获得所述目标对象的运动点位，生成初始人物轨迹。
作为一种示例，本公开方案中目标对象的特征信息，可以由外部直接输入；或者，可以从待检索图像中自动提取，本公开方案对此可不做具体限定。
以从待检索图像中提取目标对象的特征信息为例，具体过程可以体现如下：
举例来说，如果待检索图像的类型为车牌图像，对应的目标对象的属性类别可以体现为车牌。至少可以通过开源的EasyPR库、OpenALPR库等，提取车牌信息。以EasyPR流程为例，可以先通过SVM(英文：Support Vector Machine，中文：支持向量机)、SSD(英文：Single Shot Detector，中文：单步检测器)等方法进行车牌检测，从待检索图像中框选出车牌区域；再通过人工神经网络(英文：Artificial Neural Network，简称：ANN)对车牌区域进行文字识别，提取出具体的车牌信息。具体过程可参照相关技术实现，此处不做详述。举例来说，ANN模型的网络结构可以为MLP(英文：Multi-layer Perceptron，中文：多层感知器、CNN(英文：Convolutional Neural Network，中文：卷积神经网络)等，本公开方案对此可不做具体限定。
举例来说，如果待检索图像的类型为人脸图像，对应的目标对象的属性类别可以体现为人脸。可以先通过MTCNN(英文：Multi-task Cascaded Convolutional Networks，中文：多任务级联卷积神经网络)、FaceBox、Faster RCNN等方案，从待检索图像中框选出人脸区域，进行人脸对齐；再通过FaceNet、SiameseNet、CenterLoss等方案提取人脸特征。具体过程可参照相关技术实现，此处不做详述。
举例来说，如果待检索图像的类型为行人图像，对应的目标对象的属性类别可以体现为行人。可以通过预先构建的行人特征提取模型，提取目标对象的特征信息。具体地，可以将待检索图像作为输入，经行人特征提取模型处理后，输出目标对象的特征信息，其中，目标对象的特征信息可以包括目标对象的全局特征信息和/或目标对象的局部特征信息。关于行人特征提取模型的相关介绍，可参见下文图5处所做解释，此处暂不详述。
作为一种示例，在通过行人特征提取模型提取目标对象的特征信息之前，可以先对待检索图像进行对齐处理。具体地，可以先对待检索图像中的目标对象进行特征点定位，具体过程可参照相关技术实现，此处不做详述；再基于腰部特征点的连线、以及颈部与腰部中心点的连线，得到旋转角度α，具体可参见图2所示示意图；最后利用旋转角度α进行图像对齐旋转，得到旋转后检索图像。如此，便可将旋转后检索图像作为输入，经模型处理后提取出目标对象的特征信息。
举例来说，旋转后检索图像各点坐标可以表示为：
x＝cosα*x0+sinα*y0
y＝-sinα*x0+cosα*y0
其中，(x0,y0)为待检索图像中各点的坐标，(x,y)为旋转后检索图像中各点的坐标。
获取到目标对象的特征信息后，可以基于此从监控视频中进行目标对象搜索。例如，可以从监控视频中截取待匹配图像，并提取待匹配图像所含对象的特征信息，与目标对象的特征信息相比较，如果二者相同或相近，则判定待匹配图像所含对象为目标对象。作为一种示例，可以将拍摄到目标对象的图像采集设备所在的位置，确定为目标对象的一个运动点位。可以理解地，图像采集设备所在的位置通常与图像采集设备的身份标识一一对应，故还可以将图像采集设备的身份标识，作为目标对象的运动点位，本公开方案对此可不做具体限定。
如此，在多个图像采集设备采集的监控视频下，完成目标对象的检索，即可得到目标对象的所有运动点位，再结合各运动点位对应的时间，便可绘制出初始人物轨迹。
作为一种示例，本公开方案中的图像采集设备可以是人脸抓拍机、卡口抓拍机等，本公开方案对此可不做具体限定。
S102，查找与所述目标对象具有对应关系的关联对象，并根据所述关联对象的特征信息，从所述监控视频中搜索所述关联对象，获得所述关联对象的运动点位，所述目标对象与所述关联对象具有不同的属性类别。
由实际应用可知，现有技术的单一检索效果并不理想，为了提高人物轨迹生成的准确性，本公开方案可以结合其他属性类别的关联对象进行关联检索，有助于发现初始人物轨迹中遗漏的正确运动点位、删除初始人物轨迹中多余的错误运动点位。
作为一种示例，关联对象的属性类别可以为车牌、人脸、行人中的至少一种，与目标对象具有不同的属性类别即可。举例来说，目标对象的属性类别为车牌，关联对象的属性类别可以为人脸、行人中的至少一种。
进行关联检索时，可以先基于预先建立的对应关系，确定出目标对象对应的关联对象，再根据关联对象的特征信息，在监控视频中进行关联检索，得到关联对象的运动点位，用于更新初始人物轨迹。
在实际应用过程中，可以建立任两种对象之间的对应关系，例如，建立车牌与人脸之间的对应关系、车牌与行人之间的对应关系、人脸与行人之间的对应关系等，本公开方案对此可不做具体限定。
通常，在相同时间内，车辆相比行人的运动范围要大，故建立车牌与人脸之间的对应关系、车牌与行人之间的对应关系，并基于此进行车牌检测，有助于实现人物轨迹的大范围串联。
作为一种示例，考虑到人脸识别的准确性较高，可以将人脸作为基础，分别建立人脸与车牌之间的对应关系、人脸与行人之间的对应关系。可以理解地，基于此，还可在需要时实现车牌与行人、不同车牌之间的串联。
可以理解地，对象之间的对应关系，可以是预先知晓并录入保存的；或者，也可以是自动识别建立的，本公开方案对此可不做具体限定。下面对自动识别建立对象之间对应关系的过程，进行举例说明。
参见图3，示出了本公开中建立人脸与车牌之间对应关系的流程示意图。可以包括以下步骤：
S201，在待处理图像中定位出车牌位置以及人脸框位置。
作为一种示例，该对应关系大多发生在能够抓拍到车牌的区域，例如，园区的闸机口、道路监控的抓拍等。
获取到待处理图像后，可以从中定位出车牌位置和人脸框位置。具体过程可参照相关技术实现，此处不做详述。可以理解地，待处理图像可以来自于生成人物轨迹的监控视频，也可以来自于其他视频文件，只要视频中包括需要建立对应关系的人脸、车牌即可，本公开方案对待处理图像的来源可不做具体限定。
S202，根据所述车牌位置，在所述待处理图像中确定出车辆框的位置。
本公开方案中，建立人脸与车牌之间的对应关系，可以理解为确定出车牌对应的车辆内乘坐了哪些人，故可以先根据车牌位置确定出车辆框的位置，再结合车辆框与人脸框的相对位置关系，确定出车内乘坐的人。
作为一种示例，获得车牌位置后，可以结合车牌大小、车辆大小之间的关系，确定出车辆框的位置。例如，以车牌位置为基础，向上延伸5～6倍的车牌高度作为车辆框的上边缘，向下延伸1～2倍的车牌高度作为车辆框的下边缘，向左、右分别延伸1～2倍的车牌宽度作为车辆框的左、右边缘，得到车辆框的位置。本公开方案对上下左右延伸的数值可不做具体限定，可以结合车辆的实际情况设定。
S203，判断所述人脸框是否位于所述车辆框内部、远离车牌的上方区域。
S204，如果是，则建立所述人脸框表示的人脸与所述车牌之间的对应关系。
可以理解地，S201中确定出的人脸框可能属于车内乘客，也可能属于车外行人，还可能是误检，故本公开方案还可以结合车辆框与人脸框的相对位置关系，识别出车内乘客，再建立人脸与车牌之间的对应关系。
结合实际应用可知，车内乘客的脸部通常位于车辆的上部分区域，可以据此判断S201中确定出的人脸框是否属于车内乘客。具体地，如果人脸框位于车辆框内部、远离车牌的上方区域，即车辆的上部分区域，则属于车内乘客，可以建立该人脸框表示的人脸与车牌之间的对应关系。
作为一种示例，本公开方案可以在车牌与人脸之间建立1:1关联，例如，建立车牌与驾驶位人脸之间的对应关系；或者，可以在车牌与人脸之间建立1:2关联，例如，建立车牌与驾驶位、副驾驶位两个人的人脸之间的对应关系。本公开方案对此可不做具体限定，可以结合实际应用需求确定。
在实际应用过程中，如果限定了与车牌具有对应关系的人脸的数量，例如进行1:1关联时，若确定出至少2个人脸框，均符合人脸与车辆的相对位置关系，则可随机从中选取一个人脸框，或者可以结合人脸框的置信度，选取置信度高的人脸框，与车牌建立对应关系，本公开方案对此可不做具体限定。
参见图4，示出了本公开中建立人脸与行人之间对应关系的流程示意图。可以包括以下步骤：
S301，在待处理图像中定位出人脸框以及行人框。
作为一种示例，该对应关系大多发生在普通道路监控、含有人脸抓拍机的场景，例如，平安城市的天网环境等。
获取到待处理图像后，可以从中定位出人脸框和行人框。具体过程可参照相关技术实现，此处不做详述。可以理解地，待处理图像可以来自于生成人物轨迹的监控视频，也可以来自于其他视频文件，只要视频中包括需要建立对应关系的人脸、行人即可，本公开方案对待处理图像的来源可不做具体限定。
S302，判断所述人脸框与所述行人框的交集区域与所述人脸框的面积比值，是否小于预设比值。
S303，如果否，则建立所述人脸框表示的人脸与所述行人框表示的行人之间的对应关系。
作为一种示例，本公开方案可以通过交集比关联人脸与行人。交集比可以理解为人脸框与行人框的交集区域的大小、与人脸框大小的比值，即通过计算交集区域与人脸框的面积比值的方式，判断人脸与行人之间是否具有对应关系，即是否为同一人。如果面积比值不小于预设比值，则匹配成功，可以建立人脸框表示的人脸与行人框表示的行人之间的对应关系。举例来说，预设比值可以设置为0.9，本公开方案对此可不做具体限定。
在实际应用过程中，可以选取一帧待处理图像，作为关联帧建立上述对应关系。例如，考虑到行人检测的速度较人脸检测的速度稍慢，可以使用行人检测帧作为关联帧，选取一帧后，若该帧中人脸框与行人框的交集比不小于预设比值，则可建立人脸与行人之间的对应关系。或者，可以选取多帧作为关联帧建立上述对应关系。例如，选取100帧作为关联帧，若其中匹配成功的关联帧的数量不小于预设数目，则可建立人脸与行人之间的对应关系。举例来说，预设数目可以设置为80，本公开方案对此可不做具体限定。
结合实际应用可知，本公开方案中人脸与行人之间为1:1关联，故在S301确定出至少2个人脸框时，除了可以结合交集比确定匹配的人脸之外，还可以结合人脸框与行人框的相对位置关系、人脸框的置信度等，最终为每个行人框匹配出一个人脸框。本公开方案对确定唯一人脸框的方式可不做限定，具体可结合实际应用情况而定。
S103，利用所述关联对象的运动点位更新所述初始人物轨迹，得到最终人物轨迹。
作为一种示例，本公开方案中的更新可以体现为增加正确运动点位，和/或删除错误运动点位。
举例来说，待检索图像为人脸图像，按照上文介绍生成初始人物轨迹S1后，可以基于人脸与车牌之间的对应关系，找到对应的车牌信息，如此，便可根据车牌号码进行车辆检索。举例来说，如果在某个运动点位上，检索到车牌、但未检测到人脸，则可将该运动点位作为遗漏的正确运动点位，添加到对应的轨迹S1上；如果在某个运动点位上，检测到了人脸，但该点位上的车牌号码与其它点位上的车牌号码不同，则可将该运动点位作为多余的错误运动点位，从对应的轨迹S1中删除。如此，便可得到包含人脸和车牌的轨迹S2，作为最终人物轨迹。
可以理解地，对于检测到人脸、但车牌号码不同的运动点位，也可能是用户更换所乘车辆导致的，针对于此，亦可保留该运动点位，不进行删除操作。本公开方案对该情况的处理方式可不做具体限定，可以结合实际应用需求确定。
举例来说，基于人脸图像生成初始人物轨迹S1后，还可以基于人脸与行人之间的对应关系，找到对应的行人，如此，便可根据该行人具有的特征信息进行行人检索。举例来说，如果在某个运动点位上，检测到行人、但未检测到人脸，则可将该运动点位作为遗漏的正确运动点位，添加到对应的轨迹S1上；如果在某个运动点位上，检测到了人脸，但该点位上行人的特征信息与其它点位上行人的特征信息不匹配，则可将该运动点位作为多余的错误运动点位，从对应的轨迹S1中删除。如此，便可得到包含人脸和行人的轨迹S3，作为最终人物轨迹。
举例来说，还可以在轨迹S1的基础上，综合行人和车牌进行初始人物轨迹更新，得到包含人脸、车牌和行人的人物轨迹S4，作为最终人物轨迹。具体过程可参照上文所做介绍，此处不再详述。
由上述示例可知，相对人脸图像单一检索得到的轨迹S1，本公开方案有助于发现被遗漏的正确运动点位、删除多余的错误运动点位，使最终人物轨迹的准确性更高。
作为一种示例，本公开方案还可提供如下更新人物轨迹的方案，有助于进一步提高人物轨迹的准确性。具体地，可以获取目标对象的运动点位和/或关联对象的运动点位对应的图像采集设备的空间拓扑关系；根据图像采集设备的空间拓扑关系，判断人物在相邻运动点位之间的运动状态是否与预设状态相符；如果不相符，则删除对应的运动点位。
也就是说，本公开方案可以结合图像采集设备的空间拓扑关系，删除多余的错误运动点位。举例来说，在轨迹上，运动点位A可以到达运动点位B、C，若结合空间拓扑关系可知，人物实际上不可能在短时间内从A点运动到B点，即人物在运动点位A、B之间的运动状态与预设状态不相符，则可将运动点位B确定为多余的错误运动点位，从对应的轨迹中删除。
作为一种示例，人物在相邻运动点位之间的运动状态可以是运动速度，对应的预设状态可以体现为预设速度；或者，人物在相邻运动点位之间的运动状态可以是运动时间，对应的预设状态可以体现为预设时间。本公开方案对此可不做具体限定。
举例来说，得到初始人物轨迹后，可以先根据目标对象的运动点位对应的图像采集设备的空间拓扑关系，进行人物轨迹更新；再利用关联对象的运动点位，进行人物轨迹更新，得到最终人物轨迹。或者，得到初始人物轨迹后，可以先利用关联对象的运动点位，进行人物轨迹更新；再利用目标对象的运动点位和/或关联对象的运动点位对应的图像采集设备的空间拓扑关系，进行人物轨迹更新，得到最终人物轨迹。本公开方案对此可不做具体限定，可以结合实际应用需求确定。
下面对本公开方案中的行人特征提取模型，进行解释说明。
作为一种示例，行人特征提取模型可以基于行人图像，提取行人的全局特征信息；和/或，提取行人的局部特征信息。举例来说，行人的局部特征信息可以是上半身特征信息、下半身特征信息中的至少一种；或者，行人的局部特征信息可以进一步细分为头部特征信息、胸部特征信息、腹部特征信息、腿部特征信息等中的至少一种，本公开方案对局部划分的方式可不做具体限定。
下面以可同时提取全局特征信息和局部特征信息的行人特征提取模型为例，对本公开方案中的行人特征提取模型进行解释说明。
作为一种示例，行人特征提取模型的网络结构可以体现为CNN，例如，可以是深度残差网络ResNet50的CNN网络结构；或者，还可以体现为GoogleNet、VGG、SENet等网络结构，本公开方案对此可不做具体限定。
在实际应用过程中，模型的某个网络层，例如Res4f层，即第四个残差块的最后一层，可以体现为图5所示结构，包括：用于提取全局特征信息的全局分支、用于提取局部特征信息的局部分支，其中，N表示局部划分的数量，N≥2。可以理解地，图5所示结构亦可位于模型的其他网络层，例如Res3d、Res5c等，本公开方案对此可不做具体限定。
以图5所示结构位于Res4f层为例，待检索图像经Res4f层之前的网络层处理后，可以得到待检索图像的特征图，全局分支可以基于特征图提取到行人全局的语义信息，作为行人的全局特征信息。
对于Res4f层中的局部分支来说，可以利用从待检索图像中提取的目标对象的特征点坐标，即，特征点在原图中的坐标，进行特征图切分，并基于切分后的局部特征图提取到行人局部的语义信息，作为行人的局部特征信息。
具体地，可以获取从待检索图像中提取的目标对象的特征点坐标、以及待检索图像的特征图；对特征点坐标进行下采样，将特征点映射到特征图中；利用映射到特征图中的特征点坐标，即，特征点在特征图中的坐标，在特征图中划分出至少一个ROI(英文：regionof interest，中文：感兴趣区域)，每个ROI区域用于表示目标对象的一个部件的局部特征信息。
以根据腰部特征点坐标将特征图切分为上半身特征图、下半身特征图为例，局部分支的处理过程可以体现为：Res4f层获取到腰部特征点在待检索图像中的坐标、待检索图像的特征图后，可以先按照特征图对应的下采样倍数，对腰部特征点坐标进行下采样，得到腰部特征点对应在特征图上的坐标，也即完成腰部特征点到特征图的映射；然后，可以利用腰部特征点对应在特征图上的坐标，在特征图中划分出两个ROI区域，即，上半身特征图和下半身特征图，基于上半身特征图可以提取到目标对象的上半身特征信息，基于下半身特征图可以提取到目标对象的下半身特征信息。
通常，确定好在哪个网络层提取局部特征信息后，便可预先知晓特征图到达该网络层之前进行下采样的倍数。例如，待检索图像的大小为80*80，特征图在Res4f层之前进行了8倍下采样，则Res4f层获取到的特征图的大小为10*10。为了实现腰部特征点到特征图的映射，可以对腰部特征点坐标进行8倍下采样，得到腰部特征点在特征图上的坐标，若基于此进行特征图切分，可以得到10*5大小的上半身特征图和10*5大小的下半身特征图。
可以理解地，为了使局部分支提取的特征更具区分性，还可以利用ConvNet对切分后的局部特征图进行卷积处理，并将卷积处理的结果作为行人的局部特征信息。作为一种示例，ConvNet可以使用2～5个卷积层完成卷积处理，本公开方案对此可不做具体限定。
作为一种示例，为了方便后续进行卷积计算，可以将切分后的局部特征图调整到固定尺寸，再输入到ConvNet处理。例如，可以使用SPPNet(英文：Spatial PyramidPooling，中文：空间金字塔池化)的池化思想，实现固定尺寸调整。本公开方案对固定尺寸的大小可不做具体限定。
综上，通过全局分支得到行人的全局特征信息、通过局部分支得到行人的局部特征信息后，可以将所有特征信息进行线性连接，得到目标对象的特征信息。
举例来说，行人的全局特征信息可以体现为K1维的特征向量，例如，行人的性别、种族、发色、上衣颜色、下衣颜色等，本公开方案对全局特征信息包括的维度信息、维度数目等可不做具体限定。行人的局部特征信息可以体现为K2维的特征向量，本公开方案对局部特征信息包括的维度信息、维度数目等亦可不做具体限定。
若各局部特征信息均包含K2个维度的特征向量，则将所有特征信息进行线性连接后，可以得到(K1+N*K2)维的特征向量，基于目标对象的特征信息进行行人检索时，可以计算两个(K1+N*K2)维的特征向量之间的相似度，如果相似度超过预设值，例如预设值为0.8，则认为两个(K1+N*K2)维的特征向量表示的是同一个人。
作为一种示例，若模型训练时的训练集较小，为了加快收敛，本公开方案可以使用在ImageNet上训好的模型作为预训练模型，使用SGD(英文：Stochastic gradientdescent，中文：随机梯度下降)、Adam(英文：Adaptive Moment Estimation中文：自适应矩估计)等优化方法，在数据集上训练20～30个epoch(中文：纪元)直至网络收敛。
举例来说，本公开方案中用于约束模型训练的损失函数可以包括：SoftmaxLoss、VerifyLoss、MutualLoss。
SoftmaxLoss用于约束行人识别的分类概率。当全局分支的分类概率、局部分支的分类概率满足预设概率时，表示模型训练完毕。
SoftmaxLoss可以体现为以下公式：
其中，pj表示一个样本在预测时属于第j类的概率；yj是一个指示函数，表示该样本的真值类别，当样本属于第j类时，yj＝1；当样本不属于第j类时，yj＝0；L是该样本在预测时产生的交叉熵损失。
VerifyLoss用于约束不同行人之间的区分性。当两张行人图像为同一个人、且特征信息相近时，对应的Loss值较小；当两张行人图像为不同人、且特征信息相近时，对应的Loss值较大，VerifyLoss可以使相同的人更加聚合，不同的人更加分散。当全局分支的Loss值、局部分支的Loss值满足预设条件时，表示模型训练完毕。
VerifyLoss可以体现为以下公式：
其中，fi和fj分别是两个样本i和j的特征，m(margin)是超参，调节对不同类别样本特征的约束能力，m越大则使得不同类别样本特征距离越远，反之则越近；而yij＝1表示两样本所属同一类别，yij＝-1表示两样本所属不同类别。
MutualLoss用于约束全局分支的分类概率、局部分支的分类概率之间的KL距离(英文：Kullback–Leibler divergence，中文：相对熵)。当模型包括全局分支和局部分支，且两个分支采用了SoftmaxLoss时，将全局分支提取的全局特征信息和局部分支提取的局部特征信息线性连接后，还可以使用MutualLoss约束模型训练。通常，KL距离越小，说明两个分支的分类概率越接近。当KL距离满足预设值时，表示模型训练完毕。
MutualLoss可以体现为以下公式：
其中，M表示待分类类别总数，对于行人来说，M表示行人的总个数；表示样本x在全局或局部分支上预测为第m类的概率；表示样本x在局部或全局分支上预测为第m类的概率；训练过程中需固定使学习由于既可表示全局概率又可表示局部概率，因此上式就是一个全局和局部互学习的过程。
可以理解地，本公开方案中损失函数满足预设条件，可以体现为损失函数达到最小；或者，损失函数不大于预定值，本公开方案对此可不做具体限定。
参见图6，示出了本公开人物轨迹生成装置的构成示意图。所述装置可以包括：
初始人物轨迹生成模块401，用于根据目标对象的特征信息，从监控视频中搜索所述目标对象，获得所述目标对象的运动点位，生成初始人物轨迹；
关联对象的运动点位获得模块402，用于查找与所述目标对象具有对应关系的关联对象，并根据所述关联对象的特征信息，从所述监控视频中搜索所述关联对象，获得所述关联对象的运动点位，所述目标对象与所述关联对象具有不同的属性类别；
人物轨迹更新模块403，用于利用所述关联对象的运动点位更新所述初始人物轨迹，得到最终人物轨迹。
可选地，如果所述目标对象包含于待检索图像中，且所述待检索图像的类型为行人图像，所述装置还包括：
目标对象的特征信息提取模块，用于将所述待检索图像作为输入，经预先构建的行人特征提取模型处理后，输出所述目标对象的特征信息，所述目标对象的特征信息包括目标对象的全局特征信息和/或所述目标对象的局部特征信息。
可选地，如果所述行人特征提取模型的网络结构为CNN，且所述目标对象的特征信息为所述目标对象的局部特征信息，则
所述目标对象的特征信息提取模块，用于获取从所述待检索图像中提取的目标对象的特征点坐标、以及所述待检索图像的特征图；对所述特征点坐标进行下采样，将所述特征点映射到所述特征图中；利用映射到所述特征图中的特征点坐标，在所述特征图中划分出至少一个ROI感兴趣区域，所述ROI区域用于表示所述目标对象的一个部件的局部特征信息。
可选地，所述装置还包括：
图像旋转模块，用于基于所述待检索图像中的目标对象的腰部特征点的连线、以及颈部与腰部中心点的连线，得到旋转角度α；利用所述旋转角度对所述待检索图像进行图像对齐旋转，得到旋转后检索图像；
所述目标对象的特征信息提取模块，用于将所述旋转后检索图像作为输入，经所述行人特征提取模型处理后，输出所述目标对象的特征信息。
可选地，所述装置还包括：
第一对应关系建立模块，用于在待处理图像中定位出车牌位置以及人脸框位置；根据所述车牌位置，在所述待处理图像中确定出车辆框的位置；判断所述人脸框是否位于所述车辆框内部、远离车牌的上方区域；如果是，则建立所述人脸框表示的人脸与所述车牌之间的对应关系；
和/或，
第二对应关系建立模块，用于在待处理图像中定位出人脸框以及行人框；判断所述人脸框与所述行人框的交集区域与所述人脸框的面积比值，是否小于预设比值；如果否，则建立所述人脸框表示的人脸与所述行人框表示的行人之间的对应关系。
可选地，所述人物轨迹更新模块，用于利用所述关联对象的运动点位，对所述初始人物轨迹中的运动点位进行增加和/或删除操作。
可选地，所述属性类别包括车牌、人脸和行人。
可选地，所述装置还包括：
运动点位删除模块，用于获取所述目标对象的运动点位和/或所述关联对象的运动点位对应的图像采集设备的空间拓扑关系；根据所述图像采集设备的空间拓扑关系，判断人物在相邻运动点位之间的运动状态是否与预设状态相符；如果不相符，则删除对应的运动点位。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
参见图7，示出了本公开用于进行人物轨迹生成的电子设备500的结构示意图。电子设备500至少可以包括处理器501和存储介质502，作为一种示例，处理器501和存储介质502可以通过总线或其它方式连接，图7所示以通过总线连接为例。处理器501的数量可以为一个或者多个，图7所示以一个处理器为例。存储介质502所代表的存储设备资源，用于存储可由处理器501执行的指令，例如应用程序。此外，处理器501可以被配置为加载存储介质中的指令，以执行上述人物轨迹生成方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (18)

1.一种人物轨迹生成方法，其特征在于，所述方法包括：
根据目标对象的特征信息，从监控视频中搜索所述目标对象，获得所述目标对象的运动点位，生成初始人物轨迹；
查找与所述目标对象具有对应关系的关联对象，并根据所述关联对象的特征信息，从所述监控视频中搜索所述关联对象，获得所述关联对象的运动点位，所述目标对象与所述关联对象具有不同的属性类别；
利用所述关联对象的运动点位更新所述初始人物轨迹，得到最终人物轨迹。
2.根据权利要求1所述的方法，其特征在于，如果所述目标对象包含于待检索图像中，且所述待检索图像的类型为行人图像，则获取所述目标对象的特征信息的方式为：
将所述待检索图像作为输入，经预先构建的行人特征提取模型处理后，输出所述目标对象的特征信息，所述目标对象的特征信息包括目标对象的全局特征信息和/或所述目标对象的局部特征信息。
3.根据权利要求2所述的方法，其特征在于，如果所述行人特征提取模型的网络结构为CNN，且所述目标对象的特征信息为所述目标对象的局部特征信息，则所述经预先构建的行人特征提取模型处理后，输出所述目标对象的特征信息，包括：
获取从所述待检索图像中提取的目标对象的特征点坐标、以及所述待检索图像的特征图；
对所述特征点坐标进行下采样，将所述特征点映射到所述特征图中；
利用映射到所述特征图中的特征点坐标，在所述特征图中划分出至少一个ROI感兴趣区域，所述ROI区域用于表示所述目标对象的一个部件的局部特征信息。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
基于所述待检索图像中的目标对象的腰部特征点的连线、以及颈部与腰部中心点的连线，得到旋转角度α；
利用所述旋转角度对所述待检索图像进行图像对齐旋转，得到旋转后检索图像；
所述将所述待检索图像作为输入，包括：将所述旋转后检索图像作为输入。
5.根据权利要求1所述的方法，其特征在于，建立所述目标对象与所述关联对象之间对应关系的方式为：
如果建立人脸与车牌之间的对应关系，方式为：在待处理图像中定位出车牌位置以及人脸框位置；根据所述车牌位置，在所述待处理图像中确定出车辆框的位置；判断所述人脸框是否位于所述车辆框内部、远离车牌的上方区域；如果是，则建立所述人脸框表示的人脸与所述车牌之间的对应关系；
如果建立人脸与行人之间的对应关系，方式为：在待处理图像中定位出人脸框以及行人框；判断所述人脸框与所述行人框的交集区域与所述人脸框的面积比值，是否小于预设比值；如果否，则建立所述人脸框表示的人脸与所述行人框表示的行人之间的对应关系。
6.根据权利要求1所述的方法，其特征在于，所述利用所述关联对象的运动点位更新所述初始人物轨迹，包括：
利用所述关联对象的运动点位，对所述初始人物轨迹中的运动点位进行增加和/或删除操作。
7.根据权利要求1所述的方法，其特征在于，所述属性类别包括车牌、人脸和行人。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：
获取所述目标对象的运动点位和/或所述关联对象的运动点位对应的图像采集设备的空间拓扑关系；
根据所述图像采集设备的空间拓扑关系，判断人物在相邻运动点位之间的运动状态是否与预设状态相符；
如果不相符，则删除对应的运动点位。
9.一种人物轨迹生成装置，其特征在于，所述装置包括：
初始人物轨迹生成模块，用于根据目标对象的特征信息，从监控视频中搜索所述目标对象，获得所述目标对象的运动点位，生成初始人物轨迹；
关联对象的运动点位获得模块，用于查找与所述目标对象具有对应关系的关联对象，并根据所述关联对象的特征信息，从所述监控视频中搜索所述关联对象，获得所述关联对象的运动点位，所述目标对象与所述关联对象具有不同的属性类别；
人物轨迹更新模块，用于利用所述关联对象的运动点位更新所述初始人物轨迹，得到最终人物轨迹。
10.根据权利要求9所述的装置，其特征在于，如果所述目标对象包含于待检索图像中，且所述待检索图像的类型为行人图像，所述装置还包括：
目标对象的特征信息提取模块，用于将所述待检索图像作为输入，经预先构建的行人特征提取模型处理后，输出所述目标对象的特征信息，所述目标对象的特征信息包括目标对象的全局特征信息和/或所述目标对象的局部特征信息。
11.根据权利要求10所述的装置，其特征在于，如果所述行人特征提取模型的网络结构为CNN，且所述目标对象的特征信息为所述目标对象的局部特征信息，则
所述目标对象的特征信息提取模块，用于获取从所述待检索图像中提取的目标对象的特征点坐标、以及所述待检索图像的特征图；对所述特征点坐标进行下采样，将所述特征点映射到所述特征图中；利用映射到所述特征图中的特征点坐标，在所述特征图中划分出至少一个ROI感兴趣区域，所述ROI区域用于表示所述目标对象的一个部件的局部特征信息。
12.根据权利要求10所述的装置，其特征在于，所述装置还包括：
图像旋转模块，用于基于所述待检索图像中的目标对象的腰部特征点的连线、以及颈部与腰部中心点的连线，得到旋转角度α；利用所述旋转角度对所述待检索图像进行图像对齐旋转，得到旋转后检索图像；
所述目标对象的特征信息提取模块，用于将所述旋转后检索图像作为输入，经所述行人特征提取模型处理后，输出所述目标对象的特征信息。
13.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第一对应关系建立模块，用于在待处理图像中定位出车牌位置以及人脸框位置；根据所述车牌位置，在所述待处理图像中确定出车辆框的位置；判断所述人脸框是否位于所述车辆框内部、远离车牌的上方区域；如果是，则建立所述人脸框表示的人脸与所述车牌之间的对应关系；
和/或，
第二对应关系建立模块，用于在待处理图像中定位出人脸框以及行人框；判断所述人脸框与所述行人框的交集区域与所述人脸框的面积比值，是否小于预设比值；如果否，则建立所述人脸框表示的人脸与所述行人框表示的行人之间的对应关系。
14.根据权利要求9所述的装置，其特征在于，
所述人物轨迹更新模块，用于利用所述关联对象的运动点位，对所述初始人物轨迹中的运动点位进行增加和/或删除操作。
15.根据权利要求9所述的装置，其特征在于，所述属性类别包括车牌、人脸和行人。
16.根据权利要求9至15任一项所述的装置，其特征在于，所述装置还包括：
运动点位删除模块，用于获取所述目标对象的运动点位和/或所述关联对象的运动点位对应的图像采集设备的空间拓扑关系；根据所述图像采集设备的空间拓扑关系，判断人物在相邻运动点位之间的运动状态是否与预设状态相符；如果不相符，则删除对应的运动点位。
17.一种存储介质，其中存储有多条指令，其特征在于，所述指令由处理器加载，执行权利要求1至8任一项所述方法的步骤。
18.一种电子设备，其特征在于，所述电子设备包括；
权利要求17所述的存储介质；以及
处理器，用于执行所述存储介质中的指令。
CN201810348274.8A 2018-04-18 2018-04-18 人物轨迹生成方法及装置、存储介质、电子设备 Active CN108875548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810348274.8A CN108875548B (zh) 2018-04-18 2018-04-18 人物轨迹生成方法及装置、存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810348274.8A CN108875548B (zh) 2018-04-18 2018-04-18 人物轨迹生成方法及装置、存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN108875548A true CN108875548A (zh) 2018-11-23
CN108875548B CN108875548B (zh) 2022-02-01

Family

ID=64326981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810348274.8A Active CN108875548B (zh) 2018-04-18 2018-04-18 人物轨迹生成方法及装置、存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN108875548B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753901A (zh) * 2018-12-21 2019-05-14 上海交通大学 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
CN110008379A (zh) * 2019-03-19 2019-07-12 北京旷视科技有限公司 监控图像处理方法及装置
CN110458113A (zh) * 2019-08-14 2019-11-15 旭辉卓越健康信息科技有限公司 一种人脸非配合场景下的小人脸识别方法
CN110852269A (zh) * 2019-11-11 2020-02-28 青岛海信网络科技股份有限公司 一种基于特征聚类的跨镜头人像关联分析方法及装置
CN110955794A (zh) * 2019-10-12 2020-04-03 北京地平线机器人技术研发有限公司 关联对象的查找方法及装置、电子设备
CN111291129A (zh) * 2018-12-06 2020-06-16 浙江宇视科技有限公司 一种基于多维数据研判的目标人员追踪方法及装置
CN111400550A (zh) * 2019-12-30 2020-07-10 深圳市商汤科技有限公司 一种目标运动轨迹构建方法、设备以及计算机存储介质
CN111429476A (zh) * 2019-01-09 2020-07-17 杭州海康威视***技术有限公司 确定目标人物行动轨迹的方法和装置
CN111506691A (zh) * 2020-04-20 2020-08-07 杭州数澜科技有限公司 一种基于深度匹配模型的轨迹匹配方法和***
CN111582008A (zh) * 2019-02-19 2020-08-25 富士通株式会社 训练分类模型的装置和方法及利用分类模型分类的装置
WO2020172870A1 (zh) * 2019-02-28 2020-09-03 深圳市大疆创新科技有限公司 一种目标对象的移动轨迹确定方法和装置
CN112069993A (zh) * 2020-09-04 2020-12-11 西安西图之光智能科技有限公司 基于五官掩膜约束的密集人脸检测方法及***和存储介质
CN112734802A (zh) * 2020-12-31 2021-04-30 杭州海康威视***技术有限公司 一种轨迹获取方法及装置
CN110309765B (zh) * 2019-06-27 2021-08-24 浙江工业大学 一种视频运动目标高效检测方法
CN113850243A (zh) * 2021-11-29 2021-12-28 北京的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质
CN116935305A (zh) * 2023-06-20 2023-10-24 联城科技(河北)股份有限公司 智能化安防监测方法、***、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130035265A (ko) * 2013-03-19 2013-04-08 (주)파슨텍 영상데이터 검색시스템
CN104717471A (zh) * 2015-03-27 2015-06-17 成都逸泊科技有限公司 一种分布式视频监视泊车防盗***
CN106448160A (zh) * 2016-09-22 2017-02-22 江苏理工学院 结合车辆行驶轨迹和监控视频数据的目标人物追踪方法
CN106649487A (zh) * 2016-10-09 2017-05-10 苏州大学 基于兴趣目标的图像检索方法
CN107563323A (zh) * 2017-08-30 2018-01-09 华中科技大学 一种视频人脸特征点定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130035265A (ko) * 2013-03-19 2013-04-08 (주)파슨텍 영상데이터 검색시스템
CN104717471A (zh) * 2015-03-27 2015-06-17 成都逸泊科技有限公司 一种分布式视频监视泊车防盗***
CN106448160A (zh) * 2016-09-22 2017-02-22 江苏理工学院 结合车辆行驶轨迹和监控视频数据的目标人物追踪方法
CN106649487A (zh) * 2016-10-09 2017-05-10 苏州大学 基于兴趣目标的图像检索方法
CN107563323A (zh) * 2017-08-30 2018-01-09 华中科技大学 一种视频人脸特征点定位方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291129A (zh) * 2018-12-06 2020-06-16 浙江宇视科技有限公司 一种基于多维数据研判的目标人员追踪方法及装置
CN111291129B (zh) * 2018-12-06 2024-02-02 浙江宇视科技有限公司 一种基于多维数据研判的目标人员追踪方法及装置
CN109753901B (zh) * 2018-12-21 2023-03-24 上海交通大学 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
CN109753901A (zh) * 2018-12-21 2019-05-14 上海交通大学 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
CN111429476B (zh) * 2019-01-09 2023-10-20 杭州海康威视***技术有限公司 确定目标人物行动轨迹的方法和装置
CN111429476A (zh) * 2019-01-09 2020-07-17 杭州海康威视***技术有限公司 确定目标人物行动轨迹的方法和装置
CN111582008A (zh) * 2019-02-19 2020-08-25 富士通株式会社 训练分类模型的装置和方法及利用分类模型分类的装置
EP3699813A1 (en) * 2019-02-19 2020-08-26 Fujitsu Limited Apparatus and method for training classification model and apparatus for classifying with classification model
CN111582008B (zh) * 2019-02-19 2023-09-08 富士通株式会社 训练分类模型的装置和方法及利用分类模型分类的装置
US11113513B2 (en) 2019-02-19 2021-09-07 Fujitsu Limited Apparatus and method for training classification model and apparatus for classifying with classification model
WO2020172870A1 (zh) * 2019-02-28 2020-09-03 深圳市大疆创新科技有限公司 一种目标对象的移动轨迹确定方法和装置
CN110008379A (zh) * 2019-03-19 2019-07-12 北京旷视科技有限公司 监控图像处理方法及装置
CN110309765B (zh) * 2019-06-27 2021-08-24 浙江工业大学 一种视频运动目标高效检测方法
CN110458113A (zh) * 2019-08-14 2019-11-15 旭辉卓越健康信息科技有限公司 一种人脸非配合场景下的小人脸识别方法
CN110955794A (zh) * 2019-10-12 2020-04-03 北京地平线机器人技术研发有限公司 关联对象的查找方法及装置、电子设备
CN110852269A (zh) * 2019-11-11 2020-02-28 青岛海信网络科技股份有限公司 一种基于特征聚类的跨镜头人像关联分析方法及装置
CN110852269B (zh) * 2019-11-11 2022-05-20 青岛海信网络科技股份有限公司 一种基于特征聚类的跨镜头人像关联分析方法及装置
CN111400550A (zh) * 2019-12-30 2020-07-10 深圳市商汤科技有限公司 一种目标运动轨迹构建方法、设备以及计算机存储介质
CN111506691A (zh) * 2020-04-20 2020-08-07 杭州数澜科技有限公司 一种基于深度匹配模型的轨迹匹配方法和***
CN111506691B (zh) * 2020-04-20 2024-05-31 杭州数澜科技有限公司 一种基于深度匹配模型的轨迹匹配方法和***
CN112069993A (zh) * 2020-09-04 2020-12-11 西安西图之光智能科技有限公司 基于五官掩膜约束的密集人脸检测方法及***和存储介质
CN112069993B (zh) * 2020-09-04 2024-02-13 西安西图之光智能科技有限公司 基于五官掩膜约束的密集人脸检测方法及***和存储介质
CN112734802A (zh) * 2020-12-31 2021-04-30 杭州海康威视***技术有限公司 一种轨迹获取方法及装置
CN112734802B (zh) * 2020-12-31 2024-02-09 杭州海康威视***技术有限公司 一种轨迹获取方法及装置
CN113850243A (zh) * 2021-11-29 2021-12-28 北京的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质
CN116935305A (zh) * 2023-06-20 2023-10-24 联城科技(河北)股份有限公司 智能化安防监测方法、***、电子设备和存储介质

Also Published As

Publication number Publication date
CN108875548B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN108875548A (zh) 人物轨迹生成方法及装置、存储介质、电子设备
Tran et al. Rich image captioning in the wild
CN109657533A (zh) 行人重识别方法及相关产品
Lopez-Fuentes et al. Multi-modal Deep Learning Approach for Flood Detection.
CN109271832A (zh) 人流分析方法、人流分析装置以及人流分析***
CN107506707A (zh) 采用嵌入式***中的小规模卷积神经网络模块的人脸检测
WO2019214453A1 (zh) 一种内容分享***、方法、标注方法、服务器及终端设备
CN109241349A (zh) 一种基于深度学习的监控视频多目标分类检索方法及***
CN106030610A (zh) 移动设备的实时3d姿势识别和跟踪***
CN112734803B (zh) 基于文字描述的单目标跟踪方法、装置、设备及存储介质
CN105913507A (zh) 一种考勤方法及***
CN108960124A (zh) 用于行人再识别的图像处理方法及装置
Stylianou et al. Traffickcam: Crowdsourced and computer vision based approaches to fighting sex trafficking
CN112149494A (zh) 一种多人姿态识别方法及***
Chen et al. Smartphone based outdoor navigation and obstacle avoidance system for the visually impaired
CN111582224A (zh) 人脸识别***及方法
CN109784295A (zh) 视频流特征识别方法、装置、设备及存储介质
CN113762331A (zh) 关系型自蒸馏方法、装置和***及存储介质
Fan et al. Global contextual attention for pure regression object detection
Nakjai et al. Thai finger spelling localization and classification under complex background using a YOLO-based deep learning
CN116958512A (zh) 目标检测方法、装置、计算机可读介质及电子设备
US11783587B2 (en) Deep learning tattoo match system based
CN110287761A (zh) 一种基于卷积神经网络和隐变量分析的人脸年龄估计方法
CN109359543A (zh) 一种基于骨骼化的人像检索方法及装置
CN115018215A (zh) 基于多模态认知图谱的人口居住预测方法、***和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant