CN114511592B - 一种基于rgbd相机和bim***的人员轨迹追踪方法及*** - Google Patents

一种基于rgbd相机和bim***的人员轨迹追踪方法及*** Download PDF

Info

Publication number
CN114511592B
CN114511592B CN202210071107.XA CN202210071107A CN114511592B CN 114511592 B CN114511592 B CN 114511592B CN 202210071107 A CN202210071107 A CN 202210071107A CN 114511592 B CN114511592 B CN 114511592B
Authority
CN
China
Prior art keywords
rgbd
person
target
frame
personnel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210071107.XA
Other languages
English (en)
Other versions
CN114511592A (zh
Inventor
陈斌
唐至威
刘继超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainayun IoT Technology Co Ltd
Qingdao Hainayun Digital Technology Co Ltd
Qingdao Hainayun Intelligent System Co Ltd
Original Assignee
Hainayun IoT Technology Co Ltd
Qingdao Hainayun Digital Technology Co Ltd
Qingdao Hainayun Intelligent System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainayun IoT Technology Co Ltd, Qingdao Hainayun Digital Technology Co Ltd, Qingdao Hainayun Intelligent System Co Ltd filed Critical Hainayun IoT Technology Co Ltd
Priority to CN202210071107.XA priority Critical patent/CN114511592B/zh
Publication of CN114511592A publication Critical patent/CN114511592A/zh
Application granted granted Critical
Publication of CN114511592B publication Critical patent/CN114511592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于RGBD相机和BIM***的人员轨迹追踪方法及***，该方法基于对RGBD图像中的目标人员进行检测、跟踪，再通过坐标变换的手段计算目标人员中心点在RGBD相机所能拍摄的目标区域的实际位置(x,y)，再结合RGBD相机编号和人员ID编号计算目标人员在实际场景中的位置，并根据目标人员在实际场景中的位置绘制目标人员在实际场景中的运动轨迹，将目标人员在实际场景中的位置和运动轨迹映射至BIM***进行实时展示。本发明提供的基于RGBD相机和BIM***的人员轨迹追踪方法及***，有效的解决了现有技术中无法对人员在实际场景中的位置进行定位以及无法对人员在实际场景中的运动轨迹进行绘制并实时展示的技术问题。

Description

一种基于RGBD相机和BIM***的人员轨迹追踪方法及***
技术领域
本发明涉及计算机视觉研究领域，尤其是一种基于RGBD相机和BIM***的人员轨迹追踪方法及***。
背景技术
随着计算机视觉领域的发展，人员轨迹分析的应用也越来越广泛，现有技术中人员轨迹追踪方法大多数是基于RGB图像信息对人员轨迹追踪，这种技术方案虽然可以确定目标人员出现在了相机监控的目标区域内，但是无法对目标人员在实际场景中的位置进行定位并展示，也无法准确的刻画目标人员在实际场景中的运动轨迹，目前在很多领域中，尤其是在智能安防、智慧社区以及智慧楼宇等涉及到BIM构建的领域中，获取目标人员在实际场景中的位置并进行展示的需求越来越高，上述人员轨迹追踪方法已经远远不能满足这一需求。鉴于此，提出本申请。
发明内容
本发明主要目的在于解决上述问题和不足，提供一种基于RGBD相机对人员在实际场景中的位置进行计算并绘制人员的运动轨迹在BIM***中实时展示的基于RGBD相机和BIM***的人员轨迹追踪方法，本发明进一步提供一种基于RGBD相机和BIM***的人员轨迹追踪***。
为实现上述目的，本发明首先提供了一种基于RGBD相机和BIM***的人员轨迹追踪方法，其技术方案是：
一种基于RGBD相机和BIM***的人员轨迹追踪方法，所述方法包括，
S1、采用RGBD相机获取目标区域的RGBD图像，为所述RGBD相机分配RGBD相机编号；
S2、对所述RGBD图像进行检测，获取人员检测框，并为所述人员检测框分配人员ID编号；
S3、对所述人员检测框中的目标人员进行追踪，获取所述目标人员在每一帧所述RGBD图像中的人员检测框，并为每一帧所述RGBD图像中同一所述目标人员的人员检测框分配相同的所述人员ID编号；
S4、基于所述目标人员在每一帧RGBD图像中的人员检测框和所述RGBD图像中的深度信息，计算每一帧RGBD图像中的所述目标人员在实际场景中的位置，并将所述实际场景中的位置和所述目标人员的运动轨迹映射至BIM***中进行实时展示。
进一步的，所述步骤S4中，首先通过坐标变换手段计算每一帧RGBD图像中的所述目标人员的中心点在所述目标区域的实际位置(x,y)，然后根据所述RGBD相机编号和所述人员ID编号计算每一帧RGBD图像中的所述目标人员在实际场景中的位置。
进一步的，在所述步骤S4中，所述通过坐标变换手段计算每一帧RGBD图像中的所述目标人员的中心点在所述目标区域的实际位置(x,y)为将所述RGBD图像转换至俯视视角，以所述RGBD图像的左上角为原点，取向右和向下的方向分别为x轴和y轴的正方向，建立平面直角坐标系，计算所述目标人员的中心点在所述目标区域的实际位置(x,y)，其中，
x的计算公式为：
当所述目标人员的中心点位于所述RGBD相机光轴所在直线上方时，y的计算公式为：
当所述目标人员的中心点位于所述RGBD相机光轴所在直线下方时，y的计算公式为：
式中，
d：人员检测框中心点与RGBD相机光心的实际直线距离，
d1：人员检测框中心点与RGBD相机光心的垂直像素距离，
d2：人员检测框中心点与RGBD相机光心的水平像素距离，
θ1：RGBD相机光轴在竖直方向上的夹角，
f：RGBD相机的像素焦距，
y1：RGBD图像上边缘到相机光轴所在直线的垂直距离。
进一步的，所述步骤S2中，对所述RGBD图像进行检测，获取人员检测框的方法包括：
S21、调整单帧所述RGBD图像的分辨率，对单帧所述RGBD图像的每个像素值进行归一化处理；
S22、采用行人检测网络对归一化处理后的RGBD图像进行特征提取和分类处理，筛选出所有人员检测框。
进一步的，所述步骤S21中所述归一化处理的公式为：
式中，
u：归一化后的像素值，
v：归一化前的像素值，
vmin：单帧所述RGBD图像中最小的像素值，
vmax：单帧所述RGBD图像中最大的像素值。
进一步的，所述行人检测网络包括但不限于SSD网络、RCNN网络和YOLO系列网络中的一个。
进一步的，在所述步骤S3中采用多目标追踪算法对所述人员检测框中的目标人员进行追踪，包括以下步骤：
S31、预测第i-1帧中所述人员检测框在第i帧所述RGBD图像中的位置，获得预测位置，将所述预测位置与第i帧RGBD图像中所有的人员检测框进行匹配，得到与之匹配的目标检测框；
S32、在第i帧RGBD图像中截取所述目标检测框对应位置的目标图像，调整所述目标图像的大小；
S33、提取所述目标图像中所有人员的512维特征，采用余弦距离计算每个人员的所述512维特征与所述第i-1帧RGBD图像中所述目标人员的512维特征的相似度；
S34、使用匈牙利算法对第i-1帧RGBD图像中的所述目标人员和所述目标图像中的人员进行匹配，所述相似度符合匹配条件的定义为所述目标人员，并获取所述目标人员在第i帧RGBD图像中的人员检测框；
其中，i≥2。
进一步的，所述多目标跟踪算法包括但不限于DeepSORT追踪算法和pysot追踪算法中的一个。
本发明进一步提供了一种基于RGBD相机和BIM***的人员轨迹追踪***，其技术方案是：
一种基于RGBD相机和BIM***的人员轨迹追踪***，包括相机拍摄模块、行人检测模块、目标跟踪模块、定位模块和BIM***模块，其中，
相机拍摄模块，采用RGBD相机获取目标区域的RGBD图像，并为所述RGBD相机分配RGBD相机编号；
行人检测模块，对所述RGBD图像进行检测，获取人员检测框，并为所述人员检测框分配人员ID编号；
目标跟踪模块，对所述人员检测框中的目标人员进行追踪，获取所述目标人员在每一帧RGBD图像中的人员检测框，并为同一所述目标人员的人员检测框分配相同的所述人员ID编号；
定位模块，计算每一帧RGBD图像中的所述目标人员的中心点在所述目标区域的实际位置(x,y)，并将所述RGBD相机编号、所述人员ID编号和单帧RGBD图像中所述目标人员的中心点的实际位置(x,y)融合成一条位置信息发送至所述BIM***模块；
BIM***模块，根据所述位置信息确定所述目标人员在实际场景中的位置，并将所述实际场景中的位置按照时间顺序映射至BIM***前端进行展示。
本发明进一步提供了一种计算机设备，其技术方案是：
一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述存储器上存储有前文所述的基于RGBD相机和BIM***的人员轨迹追踪方法的程序代码，所述处理器执行所述计算机程序时至少实现前文所述的基于RGBD相机和BIM***的人员轨迹追踪方法的步骤。
综上所述，本发明提供的一种基于RGBD相机和BIM***的人员轨迹追踪方法及***与现有技术相比，基于RGBD图像所包含的RGB图像信息和深度信息计算目标人员的中心点在RGBD相机的目标区域中的实际位置(x,y)，再根据RGBD相机编号和人员ID编号确定人员在实际场景中的位置，并将该位置和根据该位置绘制的目标人员的运动轨迹映射至BIM***中进行实时展示，有效的解决了现有技术中无法对人员在实际场景中的位置进行定位以及无法对人员在实际场景中的运动轨迹进行绘制并展示的技术技术问题；在步骤S3中基于RGBD图像中包含的RGB图像信息对人员检测框中的人员进行追踪，无需结合深度信息，在保证人员轨迹追踪准确率的同时降低了运算量，实现了低功耗的目的。
附图说明：
图1：本发明的基于RGBD相机和BIM***的人员轨迹追踪方法的总体流程图；
图2：本发明的人员检测步骤的流程图；
图3：本发明的人员跟踪步骤的流程图；
图4：本发明的人员位置计算的流程图；
图5：本发明的正视视角下RGDB相机与人员相对位置的示意图；
图6：本发明的俯视视角下RGDB相机与人员相对位置的示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步的详细描述。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本实施例提供了一种基于RGBD相机和BIM***的人员轨迹追踪方法及***，在对人员的轨迹进行准确追踪的同时，还可以对人员在实际场景中的位置进行定位，并将人员在实际场景中的位置实时展示在BIM***前端，更好的满足在智能安防、智慧社区以及智慧楼宇等涉及到BIM构建的领域中对人员追踪的需求，如图1所示，本实施例提供的基于RGBD相机和BIM***的人员轨迹追踪方法主要包括对RGBD图像中的人员检测、人员跟踪、人员在实际场景中的位置计算以及人员在实际场景中的位置在BIM***中展示的过程，具体包括以下步骤：
S1、采用RGBD相机获取目标区域的RGBD图像，并为RGBD相机分配RGBD相机编号。RGBD图像包括RGB图像信息和深度信息，其中，RGB图像信息用于人员的检测与追踪，RGB图像信息和深度信息结合用于人员在实际场景中的位置计算。
S2、对RGBD图像进行检测，获取人员检测框，并为人员检测框分配人员ID编号。
在步骤S2中以帧为单位对RGBD图像中包含的RGB图像信息进行检测，获取人员检测框，参见图2，具体包括以下步骤：
S21、调整单帧RGBD图像的分辨率，对单帧RGBD图像的每个像素值进行归一化处理；
具体的，为了可以快速准确的进行人员检测，减少计算量，首先将每帧RGBD图像的分辨率统一调整为640*640，然后对调整分辨率之后的RGBD图像的每个像素值进行归一化处理，并将归一化处理后的RGBD图像送入YOLOv5行人检测网络进行人员检测。其中，归一化公式为：
式中，
u：归一化后的像素值，
v：归一化前的像素值，
vmin：单帧RGBD图像中最小的像素值，
vmax：单帧RGBD图像中最大的像素值。
S22、采用YOLOv5行人检测网络对归一化处理后的RGBD图像进行特征提取和分类处理，筛选出所有人员检测框。
YOLOv5行人检测网络接收到归一化处理后的RGB图像后，对RGBD图像的特征进行提取和分类得到80*80*255、40*40*255、20*20*255的三张特征图，对三张特征图进行处理，得到RGBD图像中所有目标的检测框坐标和类别标签，根据类别标签最终筛选出所有人员检测框。
需要说明的是，在本发明中，行人检测网络包括但不限于SSD网络、RCNN网络和YOLO系列网络中的一个，本实施例以YOLO系列网络中的YOLOv5行人检测网络对人员检测框进行获取，但不以任何方式对本发明加以限制，在实际应用中只要采用的行人检测网络可以筛选出类别标签为“人”的所有检测框即可。
S3、对人员检测框中的目标人员进行追踪，获取目标人员在每一帧RGBD图像中的人员检测框，并为每一帧RGBD图像中同一目标人员的人员检测框分配相同的人员ID编号。
在步骤S3中，基于步骤S2中获取的人员检测框和原始RGBD图像所包含的RGB图像信息，采用DeepSORT多目标跟踪算法对人员检测框中的目标人员进行追踪，参见图3，包括以下步骤：
S31、通过卡尔曼滤波算法预测第i-1帧中的人员检测框在第i帧RGBD图像中的位置，获得预测位置，将预测位置与第i帧RGBD图像中所有的人员检测框进行匹配，得到匹配度最高的目标检测框；
S32、在第i帧RGBD图像中截取目标检测框对应位置的目标图像，调整目标图像的大小至128*64，并将调整后目标图像送至特征提取器；
S33、在特征提取器中提取目标图像中所有人员的512维特征，采用余弦距离计算每个人员的512维特征与第i-1帧RGBD图像中人员检测框中的目标人员的512维特征的相似度，作为优选的，选取小型残差网络作为特征提取器获取上述512维特征；
S34、使用匈牙利算法对第i-1帧RGBD图像中的目标人员和截取的目标图像中的人员进行特征匹配，若相似度的值≥0.4，则取相似度最大值所对应的目标图像中的人员作为匹配目标，并定义为目标人员，从而获取目标人员在第i帧RGBD图像中的人员检测框，并为该人员检测框分配同一人员ID编号；若相似度的值＜0.4，则匹配失败，对该人员采取跨相机追踪。
其中，i≥2。
在步骤S3中，基于RGB图像信息对人员检测框中的人员进行追踪，无需结合深度信息，在保证人员轨迹追踪准确率的同时降低了运算量，实现了低功耗的目的。
需要说明的是，在本发明中，多目标跟踪算法包括但不限于DeepSORT追踪算法和pysot追踪算法中的一个。
S4、基于目标人员在每一帧RGBD图像中的人员检测框和RGBD图像中的深度信息，计算每一帧RGBD图像中的目标人员的中心点在实际场景中的位置，并将实际场景中的位置和目标人员的运动轨迹映射至BIM***中进行实时展示。
在步骤S4中首先通过坐标变换手段计算每一帧RGBD图像中的目标人员的中心点在目标区域的实际位置(x,y)，然后根据RGBD相机编号确定目标人员在实际场景中出现的区域，再根据目标人员的中心点在目标区域的实际位置(x,y)和人员ID编号，确定该目标人员的中心点在实际场景中的位置，即该目标人员在实际场景中的位置，并将该目标人员的中心点在实际场景中的位置映射至BIM***中进行实时展示，将该目标人员的中心点在实际场景中的位置按照时间顺序进行连线，即可绘制该目标人员的运动轨迹，并展示在BIM***中。
参见图4，通过坐标变换手段计算每一帧RGBD图像中的目标人员的中心点在目标区域的实际位置(x,y)的具体过程为，首先在正视视角下计算目标人员的人员检测框中心点和RGBD相机光心的连线与RGBD相机光轴之间的夹角θ2的值、人员检测框中心点与RGBD相机光心的水平距离w的值，然后在俯视视角下计算目标人员中心点和RGBD相机光心的连线与RGBD相机光轴水平方向上的夹角θ的值，然后根据θ的值和w的值计算目标人员的中心点在目标区域的实际位置(x,y)。具体的，如图5所示，首先将RGBD图像转换至正视视角计算人员检测框中心点和RGBD相机光心的连线与RGBD相机光轴之间的夹角θ2的值以及人员检测框中心点与RGBD相机光心的水平距离w的值，其中，θ2的计算公式为：w的计算公式为： 然后如图6所示，将RGBD图像转换至俯视视角，以RGBD图像的左上角为原点，取向右和向下的方向分别为x轴和y轴的正方向，建立平面直角坐标系，计算人员在目标区域的实际位置(x,y)，具体的，首先计算目标人员中心点和RGBD相机光心的连线与RGBD相机光轴水平方向的夹角θ的值，θ的计算公式为：然后根据人员检测框中心点与RGBD相机光心的水平距离w的值以及目标人员中心点和RGBD相机光心的连线与RGBD相机光轴水平方向上的夹角θ的值计算目标人员的中心点在目标区域的实际位置(x,y)，其中，
x的计算公式为：
当所述目标人员的中心点位于所述RGBD相机光轴所在直线上方时，y的计算公式为：
当所述目标人员的中心点位于所述RGBD相机光轴所在直线下方时，y的计算公式为：
当当所述目标人员的中心点位于所述RGBD相机光轴所在直线上时，y的计算公式为：y＝y1，
式中，
d：人员检测框中心点与RGBD相机光心的实际直线距离，
d1：人员检测框中心点与RGBD相机光心的垂直像素距离，
d2：人员检测框中心点与RGBD相机光心的水平像素距离，
θ1：RGBD相机光轴在竖直方向上的夹角，
f：RGBD相机的像素焦距，
y1：RGBD图像上边缘到相机光轴所在直线的垂直距离，
y2：目标人员的中心点到相机光轴所在直线的垂直距离。
为了便于理解和解释本发明，本实施例将RGBD图像转换至正视视角和俯视视角说明目标人员的中心点在目标区域的实际位置(x,y)的计算步骤，本发明提供的基于RGBD相机和BIM***的人员轨迹追踪的方法在实际应用中只需要将相关参数代入计算公式即可直接得出目标人员的中心点在目标区域的实际位置(x,y)。
本发明进一步提供了一种基于RGBD相机和BIM***的人员轨迹追踪***包括相机拍摄模块、行人检测模块、目标跟踪模块、定位模块和BIM***模块，其中，相机拍摄模块，采用RGBD相机获取目标区域的RGBD图像，为RGBD相机分配RGBD相机编号，并将包含RGB图像信息和深度信息的RGBD图像输送至行人检测模块；行人检测模块，用于对RGBD图像进行检测，获取人员检测框，并为人员检测框分配人员ID编号，然后将获取的所有人员检测框和原始RGBD图像输送至目标追踪模块；目标跟踪模块，对人员检测框中的目标人员进行追踪，获取目标人员在每一帧RGBD图像中的人员检测框，并为同一目标人员的人员检测框分配相同的人员ID编号；定位模块，用于结合RGBD图像中的RGB图像信息和深度信息计算每一帧RGBD图像中的目标人员的中心点在目标区域的实际位置(x,y)，并将RGBD相机编号、人员ID编号和单帧RGBD图像中目标人员的中心点的实际位置(x,y)融合成一条位置信息发送至所述BIM***模块；BIM***模块，BIM***模块的后台根据上述位置信息计算目标人员在实际场景中的位置，并将实际场景中的位置按照时间顺序进行排列，实时绘制目标人员的运动轨迹，在BIM***模块的前端进行展示。
本发明进一步提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中存储器上存储有前文所述的基于RGBD相机和BIM***的人员轨迹追踪方法的程序代码，处理器执行计算机程序时至少实现前文所述的基于RGBD相机和BIM***的人员轨迹追踪方法的步骤。
综上所述，本发明提供的一种基于RGBD相机和BIM***的人员轨迹追踪方法及***与现有技术相比，基于RGBD图像所包含的RGB图像信息和深度信息计算目标人员的中心点在RGBD相机的目标区域中的实际位置(x,y)，再根据RGBD相机编号和人员ID编号确定人员在实际场景中的位置，并将该位置和根据该位置绘制的目标人员的运动轨迹映射至BIM***中进行实时展示，有效的解决了现有技术中无法对人员在实际场景中的位置进行定位以及无法对人员在实际场景中的运动轨迹进行绘制并展示的技术技术问题；在步骤S3中基于RGBD图像中包含的RGB图像信息对人员检测框中的人员进行追踪，无需结合深度信息，在保证人员轨迹追踪准确率的同时降低了运算量，实现了低功耗的目的。
如上所述，结合所给出的方案内容，可以衍生出类似的技术方案。但凡是未脱离本发明技术方案的内容，依据发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (9)

1.一种基于RGBD相机和BIM***的人员轨迹追踪方法，其特征在于：所述方法包括，
S1、采用RGBD相机获取目标区域的RGBD图像，为所述RGBD相机分配RGBD相机编号；
S2、对所述RGBD图像进行检测，获取人员检测框，并为所述人员检测框分配人员ID编号；
S3、对所述人员检测框中的目标人员进行追踪，获取所述目标人员在每一帧所述RGBD图像中的人员检测框，并为每一帧所述RGBD图像中同一所述目标人员的人员检测框分配相同的所述人员ID编号；
S4、基于所述目标人员在每一帧RGBD图像中的人员检测框和所述RGBD图像中的深度信息，计算每一帧RGBD图像中的所述目标人员在实际场景中的位置，并将所述实际场景中的位置和所述目标人员的运动轨迹映射至BIM***中进行实时展示；
在所述步骤S4中，通过坐标变换手段计算每一帧RGBD图像中的所述目标人员的中心点在所述目标区域的实际位置(x,y)为将所述RGBD图像转换至俯视视角，以所述RGBD图像的左上角为原点，取向右和向下的方向分别为x轴和y轴的正方向，建立平面直角坐标系，计算所述目标人员的中心点在所述目标区域的实际位置(x,y)，其中，
x的计算公式为：
当所述目标人员的中心点位于所述RGBD相机光轴所在直线上方时，y的计算公式为：
当所述目标人员的中心点位于所述RGBD相机光轴所在直线下方时，y的计算公式为：
式中，
d：人员检测框中心点与RGBD相机光心的实际直线距离，
d1：人员检测框中心点与RGBD相机光心的垂直像素距离，
d2：人员检测框中心点与RGBD相机光心的水平像素距离，
θ1：RGBD相机光轴在竖直方向上的夹角，
f：RGBD相机的像素焦距，
y1：RGBD图像上边缘到相机光轴所在直线的垂直距离。
2.如权利要求1所述的一种基于RGBD相机和BIM***的人员轨迹追踪方法，其特征在于：所述步骤S4中，首先通过坐标变换手段计算每一帧RGBD图像中的所述目标人员的中心点在所述目标区域的实际位置(x,y)，然后根据所述RGBD相机编号和所述人员ID编号计算每一帧RGBD图像中的所述目标人员在实际场景中的位置。
3.如权利要求1所述的一种基于RGBD相机和BIM***的人员轨迹追踪方法，其特征在于：所述步骤S2中，对所述RGBD图像进行检测，获取人员检测框的方法包括：
S21、调整单帧所述RGBD图像的分辨率，对单帧所述RGBD图像的每个像素值进行归一化处理；
S22、采用行人检测网络对归一化处理后的RGBD图像进行特征提取和分类处理，筛选出所有人员检测框。
4.如权利要求3所述的一种基于RGBD相机和BIM***的人员轨迹追踪方法，其特征在于：所述步骤S21中所述归一化处理的公式为：
式中，
u：归一化后的像素值，
v：归一化前的像素值，
vmin：单帧所述RGBD图像中最小的像素值，
vmax：单帧所述RGBD图像中最大的像素值。
5.如权利要求3所述的一种基于RGBD相机和BIM***的人员轨迹追踪方法，其特征在于：所述行人检测网络包括但不限于SSD网络、RCNN网络和YOLO系列网络中的一个。
6.如权利要求1所述的一种基于RGBD相机和BIM***的人员轨迹追踪方法，其特征在于：在所述步骤S3中采用多目标追踪算法对所述人员检测框中的目标人员进行追踪，包括以下步骤：
S31、预测第i-1帧中所述人员检测框在第i帧所述RGBD图像中的位置，获得预测位置，将所述预测位置与第i帧RGBD图像中所有的人员检测框进行匹配，得到与之匹配的目标检测框；
S32、在第i帧RGBD图像中截取所述目标检测框对应位置的目标图像，调整所述目标图像的大小；
S33、提取所述目标图像中所有人员的512维特征，采用余弦距离计算每个人员的所述512维特征与所述第i-1帧RGBD图像中所述目标人员的512维特征的相似度；
S34、使用匈牙利算法对第i-1帧RGBD图像中的所述目标人员和所述目标图像中的人员进行匹配，所述相似度符合匹配条件的定义为所述目标人员，并获取所述目标人员在第i帧RGBD图像中的人员检测框；
其中，i≥2。
7.如权利要求6所述的一种基于RGBD相机和BIM***的人员轨迹追踪方法，其特征在于：所述多目标跟踪算法包括但不限于DeepSORT追踪算法和pysot追踪算法中的一个。
8.一种采用权利要求1-7任一项所述的基于RGBD相机和BIM***的人员轨迹追踪方法的追踪***，其特征在于：包括相机拍摄模块、行人检测模块、目标跟踪模块、定位模块和BIM***模块，其中，
相机拍摄模块，采用RGBD相机获取目标区域的RGBD图像，并为所述RGBD相机分配RGBD相机编号；
行人检测模块，对所述RGBD图像进行检测，获取人员检测框，并为所述人员检测框分配人员ID编号；
目标跟踪模块，对所述人员检测框中的目标人员进行追踪，获取所述目标人员在每一帧RGBD图像中的人员检测框，并为同一所述目标人员的人员检测框分配相同的所述人员ID编号；
定位模块，计算每一帧RGBD图像中的所述目标人员的中心点在所述目标区域的实际位置(x,y)，并将所述RGBD相机编号、所述人员ID编号和单帧RGBD图像中所述目标人员的中心点的实际位置(x,y)融合成一条位置信息发送至所述BIM***模块；
BIM***模块，根据所述位置信息确定所述目标人员在实际场景中的位置，并将所述实际场景中的位置按照时间顺序映射至BIM***前端进行展示。
9.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于：所述存储器上存储有如权利要求1-7任一项所述的基于RGBD相机和BIM***的人员轨迹追踪方法的程序代码，所述处理器执行所述计算机程序时至少实现如权利要求1-7任一项所述的基于RGBD相机和BIM***的人员轨迹追踪方法的步骤。
CN202210071107.XA 2022-01-21 2022-01-21 一种基于rgbd相机和bim***的人员轨迹追踪方法及*** Active CN114511592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210071107.XA CN114511592B (zh) 2022-01-21 2022-01-21 一种基于rgbd相机和bim***的人员轨迹追踪方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210071107.XA CN114511592B (zh) 2022-01-21 2022-01-21 一种基于rgbd相机和bim***的人员轨迹追踪方法及***

Publications (2)

Publication Number Publication Date
CN114511592A CN114511592A (zh) 2022-05-17
CN114511592B true CN114511592B (zh) 2024-07-05

Family

ID=81550042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210071107.XA Active CN114511592B (zh) 2022-01-21 2022-01-21 一种基于rgbd相机和bim***的人员轨迹追踪方法及***

Country Status (1)

Country Link
CN (1) CN114511592B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998768B (zh) * 2022-06-02 2023-04-04 广州市港航工程研究所 一种基于无人机的智慧工地管理***及方法
CN115019241B (zh) * 2022-08-05 2022-11-01 江西中业智能科技有限公司 一种行人识别与追踪方法、装置、可读存储介质及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570883A (zh) * 2016-10-25 2017-04-19 长安大学 一种基于rgb‑d相机的人数统计方法
CN106599776A (zh) * 2016-10-25 2017-04-26 长安大学 一种基于轨迹分析的人数统计方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903246A (zh) * 2012-12-26 2014-07-02 株式会社理光 物体检测方法和装置
US10699421B1 (en) * 2017-03-29 2020-06-30 Amazon Technologies, Inc. Tracking objects in three-dimensional space using calibrated visual cameras and depth cameras
CN109325963B (zh) * 2018-08-07 2021-05-18 长安大学 一种基于svm的公交乘客三维轨迹分类方法
RU2696548C1 (ru) * 2018-08-29 2019-08-02 Александр Владимирович Абрамов Способ построения системы видеонаблюдения для поиска и отслеживания объектов
CN110619657B (zh) * 2019-08-15 2023-10-24 青岛文达通科技股份有限公司 一种面向智慧社区的多摄像机联动多目标追踪方法及***
CN110706259B (zh) * 2019-10-12 2022-11-29 四川航天神坤科技有限公司 一种基于空间约束的可疑人员跨镜头追踪方法及装置
CN112667850A (zh) * 2019-10-16 2021-04-16 北京航天长峰科技工业集团有限公司 一种监控视频中的多行人追踪方法
CN112154444B (zh) * 2019-10-17 2021-12-17 深圳市大疆创新科技有限公司 目标检测与跟踪方法、***、可移动平台、相机及介质
CN112560617B (zh) * 2020-12-05 2023-08-01 江苏爱科赛尔云数据科技有限公司 基于阵列相机的大场景行人轨迹跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570883A (zh) * 2016-10-25 2017-04-19 长安大学 一种基于rgb‑d相机的人数统计方法
CN106599776A (zh) * 2016-10-25 2017-04-26 长安大学 一种基于轨迹分析的人数统计方法

Also Published As

Publication number Publication date
CN114511592A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
WO2021196294A1 (zh) 一种跨视频人员定位追踪方法、***及设备
CN110674746B (zh) 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质
US11393103B2 (en) Target tracking method, device, system and non-transitory computer readable medium
Sidla et al. Pedestrian detection and tracking for counting applications in crowded situations
CN109887040B (zh) 面向视频监控的运动目标主动感知方法及***
WO2022135511A1 (zh) 运动物体的定位方法、装置、电子设备及存储介质
CN110400352B (zh) 利用特征识别的摄像机校准
CN114511592B (zh) 一种基于rgbd相机和bim***的人员轨迹追踪方法及***
US20150138310A1 (en) Automatic scene parsing
US20220180534A1 (en) Pedestrian tracking method, computing device, pedestrian tracking system and storage medium
CN115439424A (zh) 一种无人机航拍视频图像智能检测方法
CN109359577B (zh) 一种基于机器学习的复杂背景下人数检测***
CN112085534A (zh) 一种关注度分析方法、***及存储介质
WO2021248564A1 (zh) 一种全景大数据应用监测管控***
KR102171384B1 (ko) 영상 보정 필터를 이용한 객체 인식 시스템 및 방법
CN111144260A (zh) 一种翻越闸机的检测方法、装置及***
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
CN113887384B (zh) 基于多轨迹融合的行人轨迹分析方法、装置、设备及介质
CN112767452B (zh) 摄像机主动感知方法及***
CN113743380A (zh) 一种基于视频图像动态监测的主动跟踪方法
CN111754713B (zh) 视频监控方法、装置及***
Chowdhury et al. Human surveillance system for security application
CN113111777A (zh) 基于arm平台的室内人员密度检测***及检测方法
CN114979567B (zh) 一种应用于视频智能监控的物体与区域交互方法及***
CN110232353B (zh) 一种获取场景人员深度位置的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant