CN112446355B - 一种公共场所行人识别方法及人流统计*** - Google Patents

一种公共场所行人识别方法及人流统计*** Download PDF

Info

Publication number
CN112446355B
CN112446355B CN202011477711.XA CN202011477711A CN112446355B CN 112446355 B CN112446355 B CN 112446355B CN 202011477711 A CN202011477711 A CN 202011477711A CN 112446355 B CN112446355 B CN 112446355B
Authority
CN
China
Prior art keywords
pedestrian
pedestrians
matching
dimensional
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011477711.XA
Other languages
English (en)
Other versions
CN112446355A (zh
Inventor
舒元昊
张一杨
马小雯
刘倚剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETHIK Group Ltd
Original Assignee
CETHIK Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETHIK Group Ltd filed Critical CETHIK Group Ltd
Priority to CN202011477711.XA priority Critical patent/CN112446355B/zh
Priority to PCT/CN2020/137803 priority patent/WO2022126668A1/zh
Publication of CN112446355A publication Critical patent/CN112446355A/zh
Application granted granted Critical
Publication of CN112446355B publication Critical patent/CN112446355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种公共场所行人识别方法及人流统计***，方法包括：获取光学图像，检测光学图像中的行人，输出行人的三维包围盒及对应的时间戳；基于光学图像和三维包围盒获取行人特征；基于历史特征库中的行人特征进行行人识别；根据本次的匹配结果以及历史的匹配结果标记三维包围盒所对应行人的行人状态为初次匹配成功、丢失、丢失后重新匹配成功、连续匹配成功或走出摄像范围。本发明综合考虑行人表观特征、三维运动特征及运动模式，准确识别行人，获取行人进出统计范围的时间、位置及在统计范围内的移动轨迹，并基于该方法提出一种人流统计***，能够准确地统计出单位时间内出入统计范围的人流量。

Description

一种公共场所行人识别方法及人流统计***
技术领域
本发明属于计算机视觉技术领域，具体涉及一种公共场所行人识别方法及人流统计***。
背景技术
人流统计涉及到行人识别、行人在统计区域内的停留时间与出入轨迹，目前常用的统计方法有基于基站的统计方法，如蓝牙基站、4G基站等，但以上方法定位精度不够准确；有基于非光学成像设备的统计方法，如红外阵列、毫米波雷达的统计方法，以上方法定位精度相对较高，但无法准确识别行人，容易造成重复统计；有基于光学成像设备的统计方法，如摄像头，定位精度较高，能够准确识别行人，但是存在行人被遮挡的问题，部分基于行人重识别的统计方法，还存在行人运动模式与滤波预测轨迹不符导致的重复统计问题。
发明内容
本发明的目的在于提供一种公共场所行人识别方法及人流统计***，准确识别行人，人流量统计准确率高。
为实现上述目的，本发明所采取的技术方案为：
一种公共场所行人识别方法，所述公共场所行人识别方法，包括：
步骤1、获取光学图像，检测光学图像中的行人，输出行人的三维包围盒及对应的时间戳；
步骤2、基于光学图像和三维包围盒获取行人特征，包括：
步骤2.1、提取光学图像中行人的人体形状和特征作为每个行人的行人表观特征，并保存至历史特征库中；
步骤2.2、基于行人当前的三维包围盒以及历史特征库中按照时间序列分布的三维包围盒，提取每个行人的行人三维运动特征，并保存至历史特征库中；
步骤2.3、基于行人三维运动特征及历史特征库中指定时间内的行人三维运动特征预测下一时刻的行人三维运动特征，并保存至历史特征库中；
步骤3、基于历史特征库中的行人特征进行行人识别，包括：
步骤3.1、基于当前的行人表观特征和历史特征库中每个行人历史的行人表观特征逐一计算表观特征距离，若表观特征距离大于表观阈值则判断当前的行人表观特征与历史特征库中的行人表观特征属于同一行人，确定当前的表观特征距离作为该行人的表观特征距离；
步骤3.2、基于当前的行人三维运动特征以及历史特征库中每个行人的上一时刻预测得到的下一时刻的行人三维运动特征逐一计算空间特征距离，若空间特征距离大于空间阈值则判断当前的行人三维运动特征与历史特征库中的上一时刻预测得到的下一时刻的行人三维运动特征属于同一行人，确定当前的空间特征距离作为该行人的空间特征距离；
步骤3.3、基于当前的行人三维运动特征、表观特征距离、空间特征距离，以及历史特征库中每个行人历史的行人三维运动特征判断是否符合同一行人的运动模式，输出运动模式匹配度作为该行人的运动模式匹配度；
步骤3.4、将属于同一行人的表观特征距离、空间特征距离、运动模式匹配度进行加权计算，得到当前三维包围盒内行人与历史特征库中行人的匹配结果，所述匹配结果包括匹配成功或匹配失败，匹配成功时还包括匹配得到的行人信息；
步骤4、根据本次的匹配结果以及历史的匹配结果标记三维包围盒所对应行人的行人状态为初次匹配成功、丢失、丢失后重新匹配成功、连续匹配成功或走出摄像范围。
以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
作为优选，所述检测光学图像中的行人，输出行人的三维包围盒，包括：
对用于获取光学图像的摄像头进行标定，得到光学图像中像素与摄像头距离的映射关系；
检测光学图像中的行人，获取光学图像中行人的二维包围框；
基于二维包围框和映射关系得到行人的三维包围盒。
作为优选，所述基于行人当前的三维包围盒以及历史特征库中按照时间序列分布的三维包围盒，提取每个行人的行人三维运动特征，包括：
步骤2.2.1、方向矢量提取：通过当前三维包围盒及历史的三维包围盒，提取行人在水平方向的运动方向及垂直方向的运动方向；
步骤2.2.2、运动速度提取：通过当前三维包围盒及历史的三维包围盒，提取人在水平方向的运动速度及垂直方向的运动速度；
步骤2.2.3、相对位置提取：根据摄像头标定后得到的映射关系，基于当前三维包围盒及历史的三维包围盒输出行人在以摄像头为中心的三维坐标系中的坐标；
步骤2.2.4、将步骤2.2.1～2.2.3中提取的方向矢量、运动速度和相对位置作为行人三维运动特征。
作为优选，所述根据本次的匹配结果以及历史的匹配结果标记三维包围盒所对应行人的行人状态为初次匹配成功、丢失、丢失后重新匹配成功、连续匹配成功或走出摄像范围，包括：
若成功提取行人特征，但匹配结果为匹配失败，则标记当前行人的状态为初次匹配成功；
若连续M次未匹配到历史匹配结果中的同一行人，则标记该行人的状态为丢失；
若被标记为丢失的行人本次匹配结果中重新匹配成功，则更新该行人的状态为丢失后重新匹配成功；
若连续L次匹配到历史匹配结果中的同一行人，则更新该行人的状态为连续匹配成功；
若连续N次未匹配到历史匹配结果中的同一行人，则标记该行人的状态为走出摄像范围，且M<N。
作为优选，若当前行人的状态标记为初次匹配成功，则在历史特征库中为该行人分配新的行人信息，并将该行人的行人特征与新分配的行人信息关联。
本发明还提供一种人流统计***，所述人流统计***，包括：
行人检测模块，用于获取光学图像，检测光学图像中的行人，输出行人的三维包围盒及对应的时间戳；
特征提取模块，用于基于光学图像和三维包围盒获取行人特征，具体执行以下步骤：
a、提取光学图像中行人的人体形状和特征作为每个行人的行人表观特征，并保存至历史特征库中；
b、基于行人当前的三维包围盒以及历史特征库中按照时间序列分布的三维包围盒，提取每个行人的行人三维运动特征，并保存至历史特征库中；
c、基于行人三维运动特征及历史特征库中指定时间内的行人三维运动特征预测下一时刻的行人三维运动特征，并保存至历史特征库中；
行人识别模块，用于基于历史特征库中的行人特征进行行人识别，具体执行以下步骤：
a、基于当前的行人表观特征和历史特征库中每个行人历史的行人表观特征逐一计算表观特征距离，若表观特征距离大于表观阈值则判断当前的行人表观特征与历史特征库中的行人表观特征属于同一行人，确定当前的表观特征距离作为该行人的表观特征距离；
b、基于当前的行人三维运动特征以及历史特征库中每个行人的上一时刻预测得到的下一时刻的行人三维运动特征逐一计算空间特征距离，若空间特征距离大于空间阈值则判断当前的行人三维运动特征与历史特征库中的上一时刻预测得到的下一时刻的行人三维运动特征属于同一行人，确定当前的空间特征距离作为该行人的空间特征距离；
c、基于当前的行人三维运动特征、表观特征距离、空间特征距离，以及历史特征库中每个行人历史的行人三维运动特征判断是否符合同一行人的运动模式，输出运动模式匹配度作为该行人的运动模式匹配度；
d、将属于同一行人的表观特征距离、空间特征距离、运动模式匹配度进行加权计算，得到当前三维包围盒内行人与历史特征库中行人的匹配结果，所述匹配结果包括匹配成功或匹配失败，匹配成功时还包括匹配得到的行人信息；
行人标记模块，用于根据本次的匹配结果以及历史的匹配结果标记三维包围盒所对应行人的行人状态为初次匹配成功、丢失、丢失后重新匹配成功、连续匹配成功或走出摄像范围；
人流统计模块，用于根据行人状态统计预设时间内光学图像所对应的统计范围内的人流量。
作为优选，所述检测光学图像中的行人，输出行人的三维包围盒，执行如下操作：
对用于获取光学图像的摄像头进行标定，得到光学图像中像素与摄像头距离的映射关系；
检测光学图像中的行人，获取光学图像中行人的二维包围框；
基于二维包围框和映射关系得到行人的三维包围盒。
作为优选，所述基于行人当前的三维包围盒以及历史特征库中按照时间序列分布的三维包围盒，提取每个行人的行人三维运动特征，执行如下操作：
方向矢量提取：通过当前三维包围盒及历史的三维包围盒，提取行人在水平方向的运动方向及垂直方向的运动方向；
运动速度提取：通过当前三维包围盒及历史的三维包围盒，提取人在水平方向的运动速度及垂直方向的运动速度；
相对位置提取：根据摄像头标定后得到的映射关系，基于当前三维包围盒及历史的三维包围盒输出行人在以摄像头为中心的三维坐标系中的坐标；
特征整合：将提取的方向矢量、运动速度和相对位置作为行人三维运动特征。
作为优选，所述根据本次的匹配结果以及历史的匹配结果标记三维包围盒所对应行人的行人状态为初次匹配成功、丢失、丢失后重新匹配成功、连续匹配成功或走出摄像范围，执行如下操作：
若成功提取行人特征，但匹配结果为匹配失败，则标记当前行人的状态为初次匹配成功；
若连续M次未匹配到历史匹配结果中的同一行人，则标记该行人的状态为丢失；
若被标记为丢失的行人本次匹配结果中重新匹配成功，则更新该行人的状态为丢失后重新匹配成功；
若连续L次匹配到历史匹配结果中的同一行人，则更新该行人的状态为连续匹配成功；
若连续N次未匹配到历史匹配结果中的同一行人，则标记该行人的状态为走出摄像范围，且M<N。
作为优选，若当前行人的状态标记为初次匹配成功，则在历史特征库中为该行人分配新的行人信息，并将该行人的行人特征与新分配的行人信息关联。
本发明提供的一种公共场所行人识别方法，综合考虑行人表观特征、三维运动特征及运动模式，准确识别行人，获取行人进出统计范围的时间、位置及在统计范围内的移动轨迹，并基于该方法提出一种人流统计***，能够准确地统计出单位时间内出入统计范围的人流量。
附图说明
图1为本发明公共场所行人识别方法的流程图；
图2为本发明输出行人的三维包围盒的流程图；
图3为本发明基于光学图像和三维包围盒获取行人特征的流程图；
图4为本发明在右手坐标系下按人体结构提取运动特征的示意图；
图5为本发明基于历史特征库中的行人特征进行行人识别的流程图；
图6为本发明进行行人状态标记的流程图；
图7为本发明人流统计***的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本发明。
其中一个实施例中，提供一种公共场所行人识别方法，对行人识别准确，可用于基于行人识别统计人流进行城市规划，商场人流统计进行营业策略调整、地铁站人流统计进行地铁班次调整等场景。
如图1所示，本实施例中的公共场所行人识别方法，包括以下步骤：
步骤1、获取光学图像，检测光学图像中的行人，输出行人的三维包围盒及对应的时间戳。
本实施例基于摄像头获取光学图像，得到的时间戳即为摄像头拍摄光学图像时的时间。容易理解的是，获取光学图像可以是基于任意图像采集设备，本实施例以摄像头为例进行说明。
由于三维包围盒是带有深度信息的，而光学图像中不含有深度信息，因此本实施例在形成三维包围盒时包括以下步骤，如图2所示：
对用于获取光学图像的摄像头进行标定，得到光学图像中像素与摄像头距离的映射关系；检测光学图像中的行人，获取光学图像中行人的二维包围框(Bounding Box，BBox)；基于二维包围框和映射关系得到行人的三维包围盒(3D Bounding Box，3D BBox)。
本实施例通过对摄像头的标定得到光学图像中行人像素与摄像头距离的映射关系，基于该映射关系得到对应的深度信息，该深度信息体现了行人与摄像头之间的实际距离，包含了行人的移动变化，便于后续基于深度信息提取出行人的三维运动特征。
在本实施例中，使用单目定焦摄像头拍摄视频，使用各边长为1米的立方体对映射关系进行标定，该立方体每一个面平均划分成100个黑白相间的网格，摄像头拍摄范围为统计范围。
需要说明的是，标定为摄像头使用的常规技术手段，本实施例中不限制标定具体步骤，并且基于摄像头标定的映射关系得到深度信息，为本实施例提供的优选方法，但不限制为唯一手段，例如可以通过摄像机和深度相机的结合叠加深度信息等。
本实施例中基于行人检测方法识别光学图像中的行人并输出二维包围框，所使用的行人检测方法为图像识别中的常规方法，例如使用在行人数据集上训练得到的基于Yolo拓展的识别网络。而在得到三维包围盒时，将二维包围框和映射关系输入三维估算方法，输出三维包围盒。
本实施例中使用的三维估算方法为基于光流的单目深度估计方法，该方法可以输出逆深度，由逆深度可计算得到深度信息。该深度信息在距离摄像头不同范围内误差系数不同，在本实施例中，使用了一个误差矩阵。
基于三维包围盒进行行人识别可有效克服行人遮挡问题，由于人的身体结构符合几何约束，被部分遮挡的二维包围框可以恢复成完整的三维包围盒，其空间误差在容许范围内。
步骤2、基于光学图像和三维包围盒获取行人特征，如图3所示，包括：
步骤2.1、提取光学图像中行人的人体形状和特征作为每个行人的行人表观特征，并保存至历史特征库中。
由于人体形状和特征是区别不同行人的重要特征，所以本实施例采用行人表观特征提取方法，主要提取可以通过视觉观察到的人体性状和特征，为便于区分，并标记行人表观特征为Fappearance。
本实施例中使用基于Yolo拓展的识别网络的嵌入结构(embedding，嵌入)作为行人表观特征提取方法。
步骤2.2、基于行人当前的三维包围盒以及历史特征库中按照时间序列分布的三维包围盒，提取每个行人的行人三维运动特征，并保存至历史特征库中。
行人三维运动特征为行人在三维空间中的位置变化特征，为便于区分，标记为Fdisplacemenr，是在时间序列上进行数据关联的重要特征。
如图4所示，本实施例中建立右手坐标系，依据人体结构将三维包围盒分为头、上身、下身三部分，输入三维包围盒到行人三维运动特征提取方法，主要提取人在三维空间中的位置变化特征，输出行人三维运动特征。
在本实施例中，三维运动特征提取方法由以下部分组成：
步骤2.2.1、方向矢量提取：通过当前三维包围盒及历史的三维包围盒，提取行人在水平方向的运动方向及垂直方向的运动方向。
由于三维包围盒具有对应的时间戳，因此基于时间分布的三维包围盒的位置变化能够得到行人的方向矢量。多个三维包围盒可以仅使用首位两个包围盒进行方向矢量确定，也可以使用多对三维包围盒，并取多个方向矢量的均值、中值或其他值作为最终确定的方向矢量。
步骤2.2.2、运动速度提取：通过当前三维包围盒及历史的三维包围盒，提取人在水平方向的运动速度及垂直方向的运动速度。
与方向矢量提取类似，基于时间分布的三维包围盒，根据时间差以及对应的三维包围盒的位置差得到行人的运动速度，并且多个三维包围盒可以仅使用首位两个包围盒进行运动速度计算，也可以使用多对三维包围盒，并取多个运动速度的均值、中值或其他值作为最终确定的运动速度。
步骤2.2.3、相对位置提取：根据摄像头标定后得到的映射关系，基于当前三维包围盒及历史的三维包围盒输出行人在以摄像头为中心的三维坐标系中的坐标。
在确定坐标时，将每个三维包围盒等价为一个点，求取该点的坐标作为行人的坐标，该点可以是三维包围盒的中心点、某一顶点或任意一点。
步骤2.2.4、将步骤2.2.1～2.2.3中提取的方向矢量、运动速度和相对位置作为行人三维运动特征。
由于历史特征库中通常存在多个行人的三维包围盒，因此在进行行人三维运动特征提取时，首先对当前和历史的三维包围盒进行特征匹配(例如采用匈牙利匹配算法)，取未被使用且匹配度最高的历史的三维包围盒进行行人三维运动特征的提取。
若当前的三维包围盒为新进入统计范围的新的行人的三维包围盒，则上述匹配未能得到相应的历史的三维包围盒，则设置新的行人的方向矢量、运动速度为默认值(例如方向矢量为无、运输速度为0)，坐标为当前三维包围盒的坐标作为该行人的行人三维运动特征。
步骤2.3、基于行人三维运动特征及历史特征库中指定时间内的行人三维运动特征预测下一时刻的行人三维运动特征，并保存至历史特征库中。
下一时刻的行人三维运动特征标记为Fpredicted，由轨迹预测算法预测得到，表现的是行人在时空上的运动趋势，使用该特征能够进一步解决行人被遮挡导致的目标丢失问题；本实施例中使用卡尔曼滤波预测行人下一时刻的行人三维运动特征。
与行人三维运动特征提取类似，由于历史特征库中通常存在多个行人的行人三维运动特征，因此在进行行人三维运动特征预测时，首先对当前和历史的行人三维运动特征进行特征匹配(例如采用匈牙利匹配算法)，取未被使用且匹配度最高的历史的行人三维运动特征进行行人三维运动特征的预测。
若当前的行人三维运动特征为新进入统计范围的新行人的行人三维运动特征，则上述匹配未能得到相应的历史的行人三维运动特征，则直接基于当前的行人三维运动特征进行预测。步骤3、基于历史特征库中的行人特征进行行人识别，如图5所示，包括：
步骤3.1、基于当前的行人表观特征和历史特征库中每个行人历史的行人表观特征逐一计算表观特征距离，若表观特征距离大于表观阈值则判断当前的行人表观特征与历史特征库中的行人表观特征属于同一行人，确定该表观特征距离作为该行人的表观特征距离。
本实施例中使用行人表观特征匹配方法，通过计算当前行人表观特征与历史特征库中行人表观特征/>的特征距离，判断是否属于同一行人，例如使用马氏距离和余弦距离的加权计算表观特征距离，系数分别为0.02和0.98。本实施例中的历史的行人表观特征主要取用上一时刻的行人表观特征。为了提高匹配结果，在另一个实施例中，若判断到属于同一行人的行人表观特征，则可以建立表观相似行人列表，每个行人对应一个表观相似行人列表，基于该列表进一步区分表观特征距离。
例如当前时刻具有A和B两个人的表观特征，其中A和A{t-1}(上一时刻的行人表观特征),B和A{t-1}的相似度也很高，甚至B和A的表观相似行人列表中多个时间段的相似度都很高，但是B和B的表观相似行人列表中多个时间段的相似度更高，那么可以判断B就是B。但是由于该搜索方法会比较耗时，因此一般在行人识别要求较高的场景下使用。
步骤3.2、基于当前的行人三维运动特征以及历史特征库中每个行人的上一时刻预测得到的下一时刻的行人三维运动特征逐一计算空间特征距离，若空间特征距离大于空间阈值则判断当前的行人三维运动特征与历史特征库中的上一时刻预测得到的下一时刻的行人三维运动特征属于同一行人，确定当前的空间特征距离作为该行人的空间特征距离。
上一时刻预测得到的下一时刻的行人三维运动特征也就是预测得到的当前的行人三维运动特征，将预测的和实际的当前的行人三维运动特征进行匹配，可以作为是否属于同一行人的判断依据之一，因为同一行人的三维运动特征变化不会过大，因此该匹配具有参考性。在本实施例中使用匈牙利算法作为行人三维运动特征匹配方法进行计算，判断是否属于同一行人。
与表观相似行人列表类似，在另一个实施例中，若判断到属于同一行人的行人三维运动特征，则可以建立空间相似行人列表。
步骤3.3、基于当前的行人三维运动特征、表观特征距离、空间特征距离，以及历史特征库中每个行人历史的行人三维运动特征判断是否符合同一行人的运动模式，输出运动模式匹配度作为该行人的运动模式匹配度。
针对行人的运动模式，本实施例着重考虑行人在时间序列上的变化速度和空间位置上的移动逻辑，移动逻辑包括但不限于折返、原地停留、小跑、下蹲等常见行为。同时考虑到行人的常规运动，本实施例中重点考察目标在3秒内的变化速度和目标在拍摄空间内的移动逻辑。由于摄像机基于预设间隔获取光学图像，因此可以将速度变化合理的行人判断为同一行人。
将当前行人三维运动特征与历史特征库中的三维运动特征、表观特征距离、空间特征距离输入运动模式匹配方法，判断行人行为是否符合公共场所行人常见运动模式，若运动模式匹配度小于运动阈值则认为属于同一行人，建立运动模式相似行人列表。
计算行人的运动模式匹配度可基于预训练的神经网络直接输出匹配度，也可以预计预设的匹配规则进行直接判断。前者判断相对灵活，但需要基于大量样本进行神经网络的训练，后者可以直接生成使用，并且便于添加、删除和修改，但是灵活度相对较低，可根据实际需求选择合适的方式。
在一个实施例中，根据实际观察及统计，建立了匹配规则(具体概率值略)如表1所示，该表格表示上一阶段的行为模式向当前阶段对应行为模式转换的概率。
表1上一阶段的行为模式向当前阶段对应行为模式转换的概率
基于表1进行运动模式匹配度时，取表观特征距离所对应的行人的历史行人三维运动特征，取空间特征距离所对应的行人的历史行人三维运动特征，若所取的两个历史行人三维运动特征所对应的行人不是同一个行人，则放弃本次匹配，若是同一个行人，则根据取到的历史行人三维运动特征和当前的行人三维运动特征判断该行人上一阶段的行为模式和当前阶段的行为模式，即可查表得到概率值作为运动模式匹配度。
需要说明的是，一个阶段的行为模式至少由两个行人三维运动特征进行确定，由于一个行人三维运动特征带有方向矢量、运动速度和坐标，因此通过两个方向矢量的变化可以确定当前阶段为前进、折返或转弯，并结合坐标变化可以进一步区分是前进还是停留，结合运动速度进一步区分为前进还是加速前进。
当然上述表格为本实施例采用的一种优选的匹配规则，在实际使用时可进一步优化，例如细化转弯为左转弯或右转弯等，并且表格中的概率值也可以根据实际使用时统计的概率进行更新，以提高行人识别率。
步骤3.4、将属于同一行人的表观特征距离、空间特征距离、运动模式匹配度进行加权计算(即输入至加权计算器中)，得到当前三维包围盒内行人与历史特征库中行人的匹配结果，所述匹配结果包括匹配成功或匹配失败，匹配成功时还包括匹配得到的行人信息。
本实施例中表观特征距离、空间特征距离、运动模式匹配度的权重分别为0.6、0.2、0.2，由于表观特征是区分不同行人最为直观的特征，因此本实施例中设置表观特征距离具有最高权重。当然在实际使用时，可以进行权重调整，例提升运动模式匹配度的权重，以避免因表观特征过于相似的两个人造成误判。
最终匹配结果中的匹配失败表示当前行人的特征不存在历史记录，即该行人为新进入统计范围的行人；而匹配成功表示当前行人的特征存在历史记录，因此输出匹配得到的行人信息，以关联同一行人的新特征和历史特征。行人信息可以是唯一标识符(例如ID值)、空间位置、时间等。
步骤4、根据本次的匹配结果以及历史的匹配结果标记三维包围盒所对应行人的行人状态为初次匹配成功、丢失、丢失后重新匹配成功、连续匹配成功或走出摄像范围。
如图6所示本实施例中提供一种具体的匹配方法可以是：
若成功提取行人特征(即当前时刻识别成功)，但匹配结果为匹配失败(即不存在历史记录)，则标记当前行人的状态为初次匹配成功；
若连续M次(例如连续50次(10秒*5次/秒))未匹配到历史匹配结果中的同一行人(例如当前识别失败且上一时刻也识别失败，或者当前识别失败且连续识别失败的次数不大于阈值)，则标记该行人的状态为丢失；
若被标记为丢失的行人本次匹配结果中重新匹配成功(例如当前时刻识别成功，存在历史记录，但上一时刻匹配失败)，则更新该行人的状态为丢失后重新匹配成功；
若连续L次(例如连续50次(10秒*5次/秒))匹配到历史匹配结果中的同一行人(例如当前时刻识别成功，存在历史记录，且上一时刻也是匹配成功)，则更新该行人的状态为连续匹配成功；
若连续N次(例如连续150次(10秒*15次/秒))未匹配到历史匹配结果中的同一行人(例如当前识别失败且连续识别失败的次数大于阈值)，则标记该行人的状态为走出摄像范围，且M<N。
若当前行人的状态标记为初次匹配成功，则在历史特征库中为该行人分配新的行人信息，并将该行人的行人特征与新分配的行人信息关联，在下一时刻即可作为历史数据用于对该行人进行识别跟踪。
如图7所示，在另一个实施中，提供一种人流统计***，包括：
行人检测模块，用于获取光学图像，检测光学图像中的行人，输出行人的三维包围盒及对应的时间戳；
特征提取模块，用于基于光学图像和三维包围盒获取行人特征，具体执行以下步骤：
a、提取光学图像中行人的人体形状和特征作为每个行人的行人表观特征，并保存至历史特征库中；
b、基于行人当前的三维包围盒以及历史特征库中按照时间序列分布的三维包围盒，提取每个行人的行人三维运动特征，并保存至历史特征库中；
c、基于行人三维运动特征及历史特征库中指定时间内的行人三维运动特征预测下一时刻的行人三维运动特征，并保存至历史特征库中；
行人识别模块，用于基于历史特征库中的行人特征进行行人识别，具体执行以下步骤：
a、基于当前的行人表观特征和历史特征库中每个行人历史的行人表观特征逐一计算表观特征距离，若表观特征距离大于表观阈值则判断当前的行人表观特征与历史特征库中的行人表观特征属于同一行人，确定当前的表观特征距离作为该行人的表观特征距离；
b、基于当前的行人三维运动特征以及历史特征库中每个行人的上一时刻预测得到的下一时刻的行人三维运动特征逐一计算空间特征距离，若空间特征距离大于空间阈值则判断当前的行人三维运动特征与历史特征库中的上一时刻预测得到的下一时刻的行人三维运动特征属于同一行人，确定当前的空间特征距离作为该行人的空间特征距离；
c、基于当前的行人三维运动特征、表观特征距离、空间特征距离，以及历史特征库中每个行人历史的行人三维运动特征判断是否符合同一行人的运动模式，输出运动模式匹配度作为该行人的运动模式匹配度；
d、将属于同一行人的表观特征距离、空间特征距离、运动模式匹配度进行加权计算，得到当前三维包围盒内行人与历史特征库中行人的匹配结果，所述匹配结果包括匹配成功或匹配失败，匹配成功时还包括匹配得到的行人信息；
行人标记模块，用于根据本次的匹配结果以及历史的匹配结果标记三维包围盒所对应行人的行人状态为初次匹配成功、丢失、丢失后重新匹配成功、连续匹配成功或走出摄像范围；
人流统计模块，用于根据行人状态统计预设时间内光学图像所对应的统计范围内的人流量。
关于人流统计***中的具体限定，参见上述对于公共场所行人识别方法的具体限定，在此不再进行赘述。
在一个优选实施例中，所述检测光学图像中的行人，输出行人的三维包围盒，执行如下操作：
对用于获取光学图像的摄像头进行标定，得到光学图像中像素与摄像头距离的映射关系；
检测光学图像中的行人，获取光学图像中行人的二维包围框；
基于二维包围框和映射关系得到行人的三维包围盒。
本实施例中行人检测模块带有摄像头标定功能以及参数管理功能，在其他实施例中，摄像头标定装置可作为独立于本实施例的人流统计***之外的部分，将标定后的设备外参以及映射关系发送至本实施例的人流统计***的参数管理模块即可。
需要说明的是，本实施例基于光学图像进程人流统计，即人流统计***还包括视频采集模块，该视频采集模块与外设的视频采集装置连接，获取统计范围内的实时视频后，将每一帧的光学图片发送至行人检测模块。
在另一个实施例中，所述基于行人当前的三维包围盒以及历史特征库中按照时间序列分布的三维包围盒，提取每个行人的行人三维运动特征，执行如下操作：
方向矢量提取：通过当前三维包围盒及历史的三维包围盒，提取行人在水平方向的运动方向及垂直方向的运动方向；
运动速度提取：通过当前三维包围盒及历史的三维包围盒，提取人在水平方向的运动速度及垂直方向的运动速度；
相对位置提取：根据摄像头标定后得到的映射关系，基于当前三维包围盒及历史的三维包围盒输出行人在以摄像头为中心的三维坐标系中的坐标；
特征整合：将提取的方向矢量、运动速度和相对位置作为行人三维运动特征。
在另一个实施例中，所述根据本次的匹配结果以及历史的匹配结果标记三维包围盒所对应行人的行人状态为初次匹配成功、丢失、丢失后重新匹配成功、连续匹配成功或走出摄像范围，执行如下操作：
若成功提取行人特征，但匹配结果为匹配失败，则标记当前行人的状态为初次匹配成功；
若连续M次未匹配到历史匹配结果中的同一行人，则标记该行人的状态为丢失；
若被标记为丢失的行人本次匹配结果中重新匹配成功，则更新该行人的状态为丢失后重新匹配成功；
若连续L次匹配到历史匹配结果中的同一行人，则更新该行人的状态为连续匹配成功；
若连续N次未匹配到历史匹配结果中的同一行人，则标记该行人的状态为走出摄像范围，且M<N。
在另一个实施例中，若当前行人的状态标记为初次匹配成功，则在历史特征库中为该行人分配新的行人信息，并将该行人的行人特征与新分配的行人信息关联。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种公共场所行人识别方法，其特征在于，所述公共场所行人识别方法，包括：
步骤1、获取光学图像，检测光学图像中的行人，输出行人的三维包围盒及对应的时间戳；
步骤2、基于光学图像和三维包围盒获取行人特征，包括：
步骤2.1、提取光学图像中行人的人体形状和特征作为每个行人的行人表观特征，并保存至历史特征库中；
步骤2.2、基于行人当前的三维包围盒以及历史特征库中按照时间序列分布的三维包围盒，提取每个行人的行人三维运动特征，并保存至历史特征库中；
步骤2.3、基于行人三维运动特征及历史特征库中指定时间内的行人三维运动特征预测下一时刻的行人三维运动特征，并保存至历史特征库中；
步骤3、基于历史特征库中的行人特征进行行人识别，包括：
步骤3.1、基于当前的行人表观特征和历史特征库中每个行人历史的行人表观特征逐一计算表观特征距离，若表观特征距离大于表观阈值则判断当前的行人表观特征与历史特征库中的行人表观特征属于同一行人，确定当前的表观特征距离作为该行人的表观特征距离；
步骤3.2、基于当前的行人三维运动特征以及历史特征库中每个行人的上一时刻预测得到的下一时刻的行人三维运动特征逐一计算空间特征距离，若空间特征距离大于空间阈值则判断当前的行人三维运动特征与历史特征库中的上一时刻预测得到的下一时刻的行人三维运动特征属于同一行人，确定当前的空间特征距离作为该行人的空间特征距离；
步骤3.3、基于当前的行人三维运动特征、表观特征距离、空间特征距离，以及历史特征库中每个行人历史的行人三维运动特征判断是否符合同一行人的运动模式，输出运动模式匹配度作为该行人的运动模式匹配度；
步骤3.4、将属于同一行人的表观特征距离、空间特征距离、运动模式匹配度进行加权计算，得到当前三维包围盒内行人与历史特征库中行人的匹配结果，所述匹配结果包括匹配成功或匹配失败，匹配成功时还包括匹配得到的行人信息；
步骤4、根据本次的匹配结果以及历史的匹配结果标记三维包围盒所对应行人的行人状态为初次匹配成功、丢失、丢失后重新匹配成功、连续匹配成功或走出摄像范围。
2.如权利要求1所述的公共场所行人识别方法，其特征在于，所述检测光学图像中的行人，输出行人的三维包围盒，包括：
对用于获取光学图像的摄像头进行标定，得到光学图像中像素与摄像头距离的映射关系；
检测光学图像中的行人，获取光学图像中行人的二维包围框；
基于二维包围框和映射关系得到行人的三维包围盒。
3.如权利要求2所述的公共场所行人识别方法，其特征在于，所述基于行人当前的三维包围盒以及历史特征库中按照时间序列分布的三维包围盒，提取每个行人的行人三维运动特征，包括：
步骤2.2.1、方向矢量提取：通过当前三维包围盒及历史的三维包围盒，提取行人在水平方向的运动方向及垂直方向的运动方向；
步骤2.2.2、运动速度提取：通过当前三维包围盒及历史的三维包围盒，提取人在水平方向的运动速度及垂直方向的运动速度；
步骤2.2.3、相对位置提取：根据摄像头标定后得到的映射关系，基于当前三维包围盒及历史的三维包围盒输出行人在以摄像头为中心的三维坐标系中的坐标；
步骤2.2.4、将步骤2.2.1～2.2.3中提取的方向矢量、运动速度和相对位置作为行人三维运动特征。
4.如权利要求1所述的公共场所行人识别方法，其特征在于，所述根据本次的匹配结果以及历史的匹配结果标记三维包围盒所对应行人的行人状态为初次匹配成功、丢失、丢失后重新匹配成功、连续匹配成功或走出摄像范围，包括：
若成功提取行人特征，但匹配结果为匹配失败，则标记当前行人的状态为初次匹配成功；
若连续M次未匹配到历史匹配结果中的同一行人，则标记该行人的状态为丢失；
若被标记为丢失的行人本次匹配结果中重新匹配成功，则更新该行人的状态为丢失后重新匹配成功；
若连续L次匹配到历史匹配结果中的同一行人，则更新该行人的状态为连续匹配成功；
若连续N次未匹配到历史匹配结果中的同一行人，则标记该行人的状态为走出摄像范围，且M<N。
5.如权利要求1所述的公共场所行人识别方法，其特征在于，若当前行人的状态标记为初次匹配成功，则在历史特征库中为该行人分配新的行人信息，并将该行人的行人特征与新分配的行人信息关联。
6.一种人流统计***，其特征在于，所述人流统计***，包括：
行人检测模块，用于获取光学图像，检测光学图像中的行人，输出行人的三维包围盒及对应的时间戳；
特征提取模块，用于基于光学图像和三维包围盒获取行人特征，具体执行以下步骤：
a、提取光学图像中行人的人体形状和特征作为每个行人的行人表观特征，并保存至历史特征库中；
b、基于行人当前的三维包围盒以及历史特征库中按照时间序列分布的三维包围盒，提取每个行人的行人三维运动特征，并保存至历史特征库中；
c、基于行人三维运动特征及历史特征库中指定时间内的行人三维运动特征预测下一时刻的行人三维运动特征，并保存至历史特征库中；
行人识别模块，用于基于历史特征库中的行人特征进行行人识别，具体执行以下步骤：
a、基于当前的行人表观特征和历史特征库中每个行人历史的行人表观特征逐一计算表观特征距离，若表观特征距离大于表观阈值则判断当前的行人表观特征与历史特征库中的行人表观特征属于同一行人，确定当前的表观特征距离作为该行人的表观特征距离；
b、基于当前的行人三维运动特征以及历史特征库中每个行人的上一时刻预测得到的下一时刻的行人三维运动特征逐一计算空间特征距离，若空间特征距离大于空间阈值则判断当前的行人三维运动特征与历史特征库中的上一时刻预测得到的下一时刻的行人三维运动特征属于同一行人，确定当前的空间特征距离作为该行人的空间特征距离；
c、基于当前的行人三维运动特征、表观特征距离、空间特征距离，以及历史特征库中每个行人历史的行人三维运动特征判断是否符合同一行人的运动模式，输出运动模式匹配度作为该行人的运动模式匹配度；
d、将属于同一行人的表观特征距离、空间特征距离、运动模式匹配度进行加权计算，得到当前三维包围盒内行人与历史特征库中行人的匹配结果，所述匹配结果包括匹配成功或匹配失败，匹配成功时还包括匹配得到的行人信息；
行人标记模块，用于根据本次的匹配结果以及历史的匹配结果标记三维包围盒所对应行人的行人状态为初次匹配成功、丢失、丢失后重新匹配成功、连续匹配成功或走出摄像范围；
人流统计模块，用于根据行人状态统计预设时间内光学图像所对应的统计范围内的人流量。
7.如权利要求6所述的人流统计***，其特征在于，所述检测光学图像中的行人，输出行人的三维包围盒，执行如下操作：
对用于获取光学图像的摄像头进行标定，得到光学图像中像素与摄像头距离的映射关系；
检测光学图像中的行人，获取光学图像中行人的二维包围框；
基于二维包围框和映射关系得到行人的三维包围盒。
8.如权利要求7所述的人流统计***，其特征在于，所述基于行人当前的三维包围盒以及历史特征库中按照时间序列分布的三维包围盒，提取每个行人的行人三维运动特征，执行如下操作：
方向矢量提取：通过当前三维包围盒及历史的三维包围盒，提取行人在水平方向的运动方向及垂直方向的运动方向；
运动速度提取：通过当前三维包围盒及历史的三维包围盒，提取人在水平方向的运动速度及垂直方向的运动速度；
相对位置提取：根据摄像头标定后得到的映射关系，基于当前三维包围盒及历史的三维包围盒输出行人在以摄像头为中心的三维坐标系中的坐标；
特征整合：将提取的方向矢量、运动速度和相对位置作为行人三维运动特征。
9.如权利要求6所述的人流统计***，其特征在于，所述根据本次的匹配结果以及历史的匹配结果标记三维包围盒所对应行人的行人状态为初次匹配成功、丢失、丢失后重新匹配成功、连续匹配成功或走出摄像范围，执行如下操作：
若成功提取行人特征，但匹配结果为匹配失败，则标记当前行人的状态为初次匹配成功；
若连续M次未匹配到历史匹配结果中的同一行人，则标记该行人的状态为丢失；
若被标记为丢失的行人本次匹配结果中重新匹配成功，则更新该行人的状态为丢失后重新匹配成功；
若连续L次匹配到历史匹配结果中的同一行人，则更新该行人的状态为连续匹配成功；
若连续N次未匹配到历史匹配结果中的同一行人，则标记该行人的状态为走出摄像范围，且M<N。
10.如权利要求6所述的人流统计***，其特征在于，若当前行人的状态标记为初次匹配成功，则在历史特征库中为该行人分配新的行人信息，并将该行人的行人特征与新分配的行人信息关联。
CN202011477711.XA 2020-12-15 2020-12-15 一种公共场所行人识别方法及人流统计*** Active CN112446355B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011477711.XA CN112446355B (zh) 2020-12-15 2020-12-15 一种公共场所行人识别方法及人流统计***
PCT/CN2020/137803 WO2022126668A1 (zh) 2020-12-15 2020-12-19 一种公共场所行人识别方法及人流统计***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011477711.XA CN112446355B (zh) 2020-12-15 2020-12-15 一种公共场所行人识别方法及人流统计***

Publications (2)

Publication Number Publication Date
CN112446355A CN112446355A (zh) 2021-03-05
CN112446355B true CN112446355B (zh) 2023-10-17

Family

ID=74739432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011477711.XA Active CN112446355B (zh) 2020-12-15 2020-12-15 一种公共场所行人识别方法及人流统计***

Country Status (2)

Country Link
CN (1) CN112446355B (zh)
WO (1) WO2022126668A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011329B (zh) * 2021-03-19 2024-03-12 陕西科技大学 一种基于多尺度特征金字塔网络及密集人群计数方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650562A (zh) * 2016-06-14 2017-05-10 西安电子科技大学 一种基于Kinect的在线连续人体行为识别方法
CN109829476A (zh) * 2018-12-27 2019-05-31 青岛中科慧畅信息科技有限公司 基于yolo的端到端三维物体检测方法
CN110490901A (zh) * 2019-07-15 2019-11-22 武汉大学 抗姿态变化的行人检测跟踪方法
US10839203B1 (en) * 2016-12-27 2020-11-17 Amazon Technologies, Inc. Recognizing and tracking poses using digital imagery captured from multiple fields of view
CN111968235A (zh) * 2020-07-08 2020-11-20 杭州易现先进科技有限公司 一种物体姿态估计方法、装置、***和计算机设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709974B (zh) * 2020-06-22 2022-08-02 苏宁云计算有限公司 基于rgb-d图像的人体跟踪方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650562A (zh) * 2016-06-14 2017-05-10 西安电子科技大学 一种基于Kinect的在线连续人体行为识别方法
US10839203B1 (en) * 2016-12-27 2020-11-17 Amazon Technologies, Inc. Recognizing and tracking poses using digital imagery captured from multiple fields of view
CN109829476A (zh) * 2018-12-27 2019-05-31 青岛中科慧畅信息科技有限公司 基于yolo的端到端三维物体检测方法
CN110490901A (zh) * 2019-07-15 2019-11-22 武汉大学 抗姿态变化的行人检测跟踪方法
CN111968235A (zh) * 2020-07-08 2020-11-20 杭州易现先进科技有限公司 一种物体姿态估计方法、装置、***和计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
行人动态实时监测***的设计与实现;李随伟;李刚柱;;信息技术(第05期);正文15-20页 *

Also Published As

Publication number Publication date
CN112446355A (zh) 2021-03-05
WO2022126668A1 (zh) 2022-06-23

Similar Documents

Publication Publication Date Title
CN110675418B (zh) 一种基于ds证据理论的目标轨迹优化方法
LU102028B1 (en) Multiple view multiple target tracking method and system based on distributed camera network
CN107431786B (zh) 图像处理设备、图像处理***和图像处理方法
CN112836640B (zh) 一种单摄像头多目标行人跟踪方法
US9165190B2 (en) 3D human pose and shape modeling
US7873208B2 (en) Image matching system using three-dimensional object model, image matching method, and image matching program
CN107851318A (zh) 用于对象跟踪的***和方法
Berrio et al. Camera-LIDAR integration: Probabilistic sensor fusion for semantic mapping
CN106647742A (zh) 移动路径规划方法及装置
CN111310728B (zh) 基于监控相机和无线定位的行人重识别***
CN111144213A (zh) 一种对象检测方法和相关设备
CN112613668A (zh) 基于人工智能的景区危险区域管控方法
CN111652900A (zh) 基于场景流的客流量的计数方法、***及设备、存储装置
KR20150065370A (ko) 행동 인식 장치 및 그 방법
CN112446355B (zh) 一种公共场所行人识别方法及人流统计***
WO2020213099A1 (ja) オブジェクト検出・追跡装置、方法、およびプログラム記録媒体
CN114820765A (zh) 图像识别方法、装置、电子设备及计算机可读存储介质
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
CN114155278A (zh) 目标跟踪及相关模型的训练方法和相关装置、设备、介质
JP7488674B2 (ja) 物体認識装置、物体認識方法及び物体認識プログラム
Bardas et al. 3D tracking and classification system using a monocular camera
CN114372996B (zh) 一种面向室内场景的行人轨迹生成方法
CN113763418B (zh) 一种基于头肩检测的多目标跟踪方法
CN114782496A (zh) 一种对象的跟踪方法、装置、存储介质及电子装置
Nateghinia et al. Video-based multiple vehicle tracking at intersections

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant