CN110782483B - 基于分布式相机网络的多视图多目标跟踪方法及*** - Google Patents

基于分布式相机网络的多视图多目标跟踪方法及*** Download PDF

Info

Publication number
CN110782483B
CN110782483B CN201911012807.6A CN201911012807A CN110782483B CN 110782483 B CN110782483 B CN 110782483B CN 201911012807 A CN201911012807 A CN 201911012807A CN 110782483 B CN110782483 B CN 110782483B
Authority
CN
China
Prior art keywords
detected target
information
current frame
camera
frame view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911012807.6A
Other languages
English (en)
Other versions
CN110782483A (zh
Inventor
刘国良
和立
田国会
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201911012807.6A priority Critical patent/CN110782483B/zh
Publication of CN110782483A publication Critical patent/CN110782483A/zh
Priority to LU102028A priority patent/LU102028B1/en
Application granted granted Critical
Publication of CN110782483B publication Critical patent/CN110782483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开公开了基于分布式相机网络的多视图多目标跟踪方法及***，包括：获取分布式相机网络中的每台相机采集的当前帧视图；从所述当前帧视图中提取被检测目标的矩形边界框；利用预先训练好的卷积神经网络，从矩形边界框内部图像中提取被检测目标的视觉外观信息；将被检测目标在当前帧视图中的图像坐标转换为地面坐标；输出步骤：基于被检测目标的视觉外观信息和地面坐标构建数据关联矩阵；采用匈牙利算法对数据关联矩阵进行处理，输出当前帧视图内被检测目标与已知轨迹的匹配成功或匹配失败的结果。

Description

基于分布式相机网络的多视图多目标跟踪方法及***
技术领域
本公开涉及多目标跟踪技术领域，特别是涉及基于分布式相机网络的多视图多目标跟踪方法及***。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
多目标跟踪(Multiple Object Tracking)技术在当今社会有许多应用，如监视、监控、人群行为分析等。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
多目标跟踪仍然是一个具有挑战性的任务，因为它需要同时解决目标检测、轨迹估计、数据关联和重识别等问题。为了探测目标，可以根据具体任务的需要使用各种传感器，如雷达、激光、声纳、相机等，还需要配备相应的检测算法，目标的检测是多目标跟踪的难点之一。多目标跟踪的另一个具有挑战性的问题是遮挡。目标可以被其他物体遮挡，也可以被当前视场(Field Of View)遮挡，频繁的遮挡容易使目标丢失，影响跟踪精度。
发明内容
为了解决现有技术的不足，本公开提供了基于分布式相机网络的多视图多目标跟踪方法及***；
第一方面，本公开提供了基于分布式相机网络的多视图多目标跟踪方法；
基于分布式相机网络的多视图多目标跟踪方法，包括：
获取分布式相机网络中的每台相机采集的当前帧视图；
从所述当前帧视图中提取被检测目标的矩形边界框；
利用预先训练好的卷积神经网络，从矩形边界框内部图像中提取被检测目标的视觉外观信息；将被检测目标在当前帧视图中的图像坐标转换为地面坐标；
输出步骤：基于被检测目标的视觉外观信息和地面坐标构建数据关联矩阵；采用匈牙利算法对数据关联矩阵进行处理，输出当前帧视图内被检测目标与已知轨迹的匹配成功或匹配失败的结果。
第二方面，本公开还提供了基于分布式相机网络的多视图多目标跟踪***；
基于分布式相机网络的多视图多目标跟踪***，包括：
获取模块，其被配置为：获取分布式相机网络中的每台相机采集的当前帧视图；
预处理模块，其被配置为：从所述当前帧视图中提取被检测目标的矩形边界框；
提取模块，其被配置为：利用预先训练好的卷积神经网络，从矩形边界框内部图像中提取被检测目标的视觉外观信息；将被检测目标在当前帧视图中的图像坐标转换为地面坐标；
输出模块，其被配置为：基于被检测目标的视觉外观信息和地面坐标构建数据关联矩阵；采用匈牙利算法对数据关联矩阵进行处理，输出当前帧视图内被检测目标与已知轨迹的匹配成功或匹配失败的结果。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
与现有技术相比，本公开的有益效果是：
该方法采用视觉外观信息和地面坐标结合产生的数据关联矩阵，采用数据关联矩阵实现被检测目标与已知轨迹的匹配，可以提高匹配的准确度；
既能受益于深度外观视觉特征，又能受益于分布式轨迹估计，相比于原始的DeepSORT方法，该方法在处理目标重识别和遮挡问题时具有更强的鲁棒性。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为第一个实施例的分布式多视图多目标跟踪***的总体结构。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一，本实施例提供了基于分布式相机网络的多视图多目标跟踪方法；
基于分布式相机网络的多视图多目标跟踪方法，包括：
S1：获取分布式相机网络中的每台相机采集的当前帧视图；
S2：从所述当前帧视图中提取被检测目标的矩形边界框；
S3：利用预先训练好的卷积神经网络，从矩形边界框内部图像中提取被检测目标的视觉外观信息；将被检测目标在当前帧视图中的图像坐标转换为地面坐标；
S4：输出步骤：基于被检测目标的视觉外观信息和地面坐标构建数据关联矩阵；采用匈牙利算法对数据关联矩阵进行处理，输出当前帧视图内被检测目标与已知轨迹的匹配成功或匹配失败的结果。
作为一个或多个实施例，S4中，所述输出步骤的具体步骤包括：
计算被检测目标的地面坐标与当前帧视图中的各个存储轨迹终点坐标之间的马氏距离；
计算被检测目标的视觉外观信息与当前帧视图的相邻前M帧的视觉外观信息之间的M个余弦距离；将M个余弦距离的最小值作为最终的余弦距离保存；
当马氏距离和最终的余弦距离均小于设定阈值时，则将马氏距离和最终的余弦距离进行加权求和，得到数据关联矩阵；
将数据关联矩阵输入到匈牙利算法中，匈牙利算法输出当前帧视图内被检测目标与已知轨迹的匹配成功或匹配失败的结果。
作为一个或多个实施例，所述方法，还包括：
S5：如果当前相机中存在匹配成功的被检测目标的图像坐标信息与对应的轨迹编号ID；则将当前相机中匹配成功的信息与相邻相机中关联成功的信息反复迭代进行交换，计算平均一致性，得到收敛的信息向量和收敛的信息矩阵；
基于收敛的信息向量和收敛的信息矩阵，计算后验位姿信息；至此，实现多视图多目标跟踪；然后，预测下一帧视图的被检测目标的位置信息。
作为一个或多个实施例，所述方法，还包括：
S6：如果当前相机中存在匹配失败的被检测目标的地面坐标与对应的轨迹编号ID；则计算当前相机中匹配失败的被检测目标的坐标信息与剩余其他相机拍摄的视图中的各个存储轨迹终点坐标信息之间的欧式距离；
若欧式距离小于设定阈值，则将当前相机中被检测目标的地面坐标与剩余其他相机拍摄的视图中对应的轨迹进行匹配。
作为一个或多个实施例，分布式相机网络，是指：分布式与集中式相对，集中式是将数据集中起来在中心处理器处理；分布式是数据分别在各自处理器上处理，处理器之间可以相互通信。
作为一个或多个实施例，S2中，从所述当前帧视图中提取被检测目标的矩形边界框，是利用YOLOv3网络，从所述当前帧视图中提取被检测目标的矩形边界框。
作为一个或多个实施例，S3中，预先训练好的卷积神经网络的具体训练步骤包括：
构建卷积神经网络；构建训练集；所述训练集为已知视觉外观信息的图像；
将训练集输入到卷积神经网络中，对卷积神经网络进行训练；
得到训练好的卷积神经网络。
例如：所述训练集为：一个包含1261个行人的超过1100000张图像的大规模行人再识别数据集。
作为一个或多个实施例，S3中，视觉外观信息，具体是指卷积神经网络输出的128维归一化特征。例如，可以是轮廓特征。
作为一个或多个实施例，S3中，将被检测目标在当前帧视图中的图像坐标信息转换为地面坐标；具体步骤包括：
使用图像中人物的边界框底边中点的像素坐标作为人物的位置信息，通过一个单应性矩阵(homography matrix)转化为地面坐标，单应性矩阵是通过相机标定而来的。
作为一个或多个实施例，S5中，计算平均一致性的具体步骤包括：
基于ICF算法，相邻相机之间反复迭代进行信息交换，得到收敛的信息向量和收敛的信息矩阵：
Figure BDA0002244717290000061
Figure BDA0002244717290000062
其中，∈表示常数，
Figure BDA0002244717290000063
表示信息向量，
Figure BDA0002244717290000064
表示信息矩阵。
作为一个或多个实施例，S5中，计算后验位姿信息的具体步骤包括：
当前帧下的后验状态向量
Figure BDA0002244717290000065
和后验信息矩阵
Figure BDA0002244717290000066
Figure BDA0002244717290000067
Figure BDA0002244717290000068
其中，N为相机的个数。
作为一个或多个实施例，S5中，预测下一帧视图的被检测目标的位置信息；具体步骤包括：
预测目标下一步的状态变量
Figure BDA0002244717290000069
和信息矩阵
Figure BDA00022447172900000610
Figure BDA00022447172900000611
Figure BDA00022447172900000612
其中，i指第i个节点，t为第t帧，Φ是线性状态转移矩阵，Q为过程噪声协方差。
本公开所提出的分布式多目标跟踪方法总体结构如图1所示。首先利用YOLOv3对每台相机进行目标检测，该算法可以提取出帧率较高的被检测目标的矩形边界框。然后，由一个预先训练好的卷积神经网络得到目标的视觉外观信息。我们使用匈牙利算法将目标的视觉外观信息和位置信息结合起来进行数据关联。利用信息加权一致滤波器(InformationWeighed Consensus Filter)，可以从多个视图信息中融合目标的位置信息。具体步骤如下：
1.目标检测
目标检测是指获取图像中不同的目标，并确定其类型和位置。基于深度学习的目标检测方法对于光照变化、遮挡问题和复杂的环境具有很强的鲁棒性，主要有两大研究方向：两阶段法和一阶段法。两阶段方法首先预测可能有目标的候选帧的数量，然后调整帧的大小并对帧进行分类，得到目标的精确位置、大小和类别，如Faster R-CNN。一阶段方法省略的第一步，直接预测目标的位置和类别，如YOLOv3与两阶段相比，一阶段法通常速度更快，性能相当。因此，我们选用YOLOv3作为目标检测器。
2.数据关联
我们使用了一个简单的匈牙利算法进行数据关联，目标的视觉外观信息为由一个训练好的卷积神经网络得到的128维特征向量，而目标的位置信息是使用校正后的单应矩阵(homography matrix)将图像坐标转换到地面上，最后的关联矩阵由视觉外观信息和目标位置信息加权得到：
ci,j＝λd(1)(i,j)+(1-λ)d(2)(i,j) (1)
其中i,j分别代表第i条轨迹的和第j个测量值，λ是一个可调的权重参数，d(1)为测量位置与当前视图各储存轨迹最后一帧之间的马氏距离，d(2)为测量外观信息与各轨迹中储存的外观信息的最小余弦距离。
应理解的，所述单应矩阵，是指通过相机标定得到的单应性矩阵，单应性矩阵可以将像素坐标转化为地面坐标。
此外，我们使用了阀值函数来忽略不相关的候选项：
Figure BDA0002244717290000081
其中k等于1或2，代表外观信息或位置信息，仅当马氏距离和余弦距离都小于对应阀值时，第i个轨迹和第j个被跟踪目标之间的关联才是允许的，即b被设为1。
3.使用多视图信息的轨迹处理
轨迹处理步骤用于ID管理，包括恢复旧轨迹或创建新轨迹。恢复旧轨迹是一个人走出了视场30帧后，他的轨迹会被删除，当他重新回来时，会赋予他原来的ID；创建新轨迹是一个新的人进入视场分配给他一个新的ID。在当前视图中发现匹配失败的检测值时，首先使用欧氏距离将其位置信息和与轨迹最后一帧的位置信息匹配，恢复旧轨迹，若找到一个匹配的候选项，则将这个轨迹的ID赋予该检测值。
如果再次匹配失败，那么算法将会检查其他视图中是否出现，即与其他视图中同样匹配失败的检测匹配，用于新轨迹的生成，若距离满足阀值要求，则为他们初始化一个新的ID。此外，算法会移除当前视图中消失超过30S的轨迹以减少干扰。
4.用于多视图信息融合的信息加权一致滤波器
信息加权一致滤波器(ICF)是一种有效的分布式状态估计方法。在此，我们使用ICF进行多视图信息融合来估计目标的位置。ICF主要包括三个步骤：状态预测，测量更新和加权一致。在状态预测方面，S6中，我们利用一个线性匀速模型来预测目标下一步的状态变量x和信息矩阵W。
Figure BDA0002244717290000091
Figure BDA0002244717290000092
其中，i指第i个节点，t为第t帧，Φ是线性状态转移矩阵，Q为过程噪声协方差。将预测的位置信息发送到数据关联模块，与测量值相匹配。在测量更新时，我们用当前测量值zi来计算信息向量vi和信息矩阵Vi。
Figure BDA0002244717290000093
Figure BDA0002244717290000094
式中
Figure BDA0002244717290000095
Hi，Ri和N分别为先验状态向量，信息矩阵，观测矩阵，测量噪声协方差和相机个数。对于加权一致，每个相机都会向其相邻相机发送和接受信息向量vi和信息矩阵Vi，经过k次迭代直到滤波器收敛。
Figure BDA0002244717290000096
Figure BDA0002244717290000097
其中，∈表示常数。
最后得到当前帧下的后验状态向量
Figure BDA0002244717290000098
和信息矩阵
Figure BDA0002244717290000099
Figure BDA00022447172900000910
Figure BDA00022447172900000911
其中，N为相机的个数。
实施例二，本实施例还提供了基于分布式相机网络的多视图多目标跟踪***；
基于分布式相机网络的多视图多目标跟踪***，包括：
获取模块，其被配置为：获取分布式相机网络中的每台相机采集的当前帧视图；
预处理模块，其被配置为：从所述当前帧视图中提取被检测目标的矩形边界框；
提取模块，其被配置为：利用预先训练好的卷积神经网络，从矩形边界框内部图像中提取被检测目标的视觉外观信息；将被检测目标在当前帧视图中的图像坐标转换为地面坐标；
输出模块，其被配置为：基于被检测目标的视觉外观信息和地面坐标构建数据关联矩阵；采用匈牙利算法对数据关联矩阵进行处理，输出当前帧视图内被检测目标与已知轨迹的匹配成功或匹配失败的结果。
实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
实施例四，本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.基于分布式相机网络的多视图多目标跟踪方法，其特征是，包括：
获取分布式相机网络中的每台相机采集的当前帧视图；
从所述当前帧视图中提取被检测目标的矩形边界框；
利用预先训练好的卷积神经网络，从矩形边界框内部图像中提取被检测目标的视觉外观信息；将被检测目标在当前帧视图中的图像坐标转换为地面坐标；
输出步骤：基于被检测目标的视觉外观信息和地面坐标构建数据关联矩阵；采用匈牙利算法对数据关联矩阵进行处理，输出当前帧视图内被检测目标与已知轨迹的匹配成功或匹配失败的结果。
2.如权利要求1所述的方法，其特征是，所述输出步骤的具体步骤包括：
计算被检测目标的地面坐标与当前帧视图中的各个存储轨迹终点坐标之间的马氏距离；
计算被检测目标的视觉外观信息与当前帧视图的相邻前M帧的视觉外观信息之间的M个余弦距离；选取M个余弦距离中的最小值，作为最终的余弦距离并进行保存；
当马氏距离和最终的余弦距离均小于设定阈值时，则将马氏距离和最终的余弦距离进行加权求和，得到数据关联矩阵；
将数据关联矩阵输入到匈牙利算法中，匈牙利算法输出当前帧视图内被检测目标与已知轨迹的匹配成功或匹配失败的结果。
3.如权利要求1所述的方法，其特征是，所述方法，还包括：
如果当前相机中存在匹配成功的被检测目标的图像坐标信息与对应的轨迹编号ID；则将当前相机中匹配成功的信息与相邻相机中关联成功的信息反复迭代进行交换，计算平均一致性，得到收敛的信息向量和收敛的信息矩阵；
基于收敛的信息向量和收敛的信息矩阵，计算后验位姿信息；至此，实现多视图多目标跟踪；然后，预测下一帧视图的被检测目标的位置信息。
4.如权利要求3所述的方法，其特征是，所述方法，还包括：
如果当前相机中存在匹配失败的被检测目标的地面坐标与对应的轨迹编号ID；则计算当前相机中匹配失败的被检测目标的坐标信息与剩余其他相机拍摄的视图中的各个存储轨迹终点坐标信息之间的欧式距离；
若欧式距离小于设定阈值，则将当前相机中被检测目标的地面坐标与剩余其他相机拍摄的视图中对应的轨迹进行匹配。
5.如权利要求3所述的方法，其特征是，从所述当前帧视图中提取被检测目标的矩形边界框，是利用YOLOv3网络，从所述当前帧视图中提取被检测目标的矩形边界框。
6.如权利要求3所述的方法，其特征是，预先训练好的卷积神经网络的具体训练步骤包括：
构建卷积神经网络；构建训练集；所述训练集为已知视觉外观信息的图像；
将训练集输入到卷积神经网络中，对卷积神经网络进行训练；
得到训练好的卷积神经网络。
7.如权利要求1所述的方法，其特征是，将被检测目标在当前帧视图中的图像坐标转换为地面坐标；具体步骤包括：
使用图像中人物的边界框底边中点的像素坐标作为人物的位置信息，通过一个单应性矩阵转化为地面坐标，单应性矩阵是通过相机标定而来的。
8.基于分布式相机网络的多视图多目标跟踪***，其特征是，包括：
获取模块，其被配置为：获取分布式相机网络中的每台相机采集的当前帧视图；
预处理模块，其被配置为：从所述当前帧视图中提取被检测目标的矩形边界框；
提取模块，其被配置为：利用预先训练好的卷积神经网络，从矩形边界框内部图像中提取被检测目标的视觉外观信息；将被检测目标在当前帧视图中的图像坐标转换为地面坐标；
输出模块，其被配置为：基于被检测目标的视觉外观信息和地面坐标构建数据关联矩阵；采用匈牙利算法对数据关联矩阵进行处理，输出当前帧视图内被检测目标与已知轨迹的匹配成功或匹配失败的结果。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。
CN201911012807.6A 2019-10-23 2019-10-23 基于分布式相机网络的多视图多目标跟踪方法及*** Active CN110782483B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911012807.6A CN110782483B (zh) 2019-10-23 2019-10-23 基于分布式相机网络的多视图多目标跟踪方法及***
LU102028A LU102028B1 (en) 2019-10-23 2020-09-03 Multiple view multiple target tracking method and system based on distributed camera network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911012807.6A CN110782483B (zh) 2019-10-23 2019-10-23 基于分布式相机网络的多视图多目标跟踪方法及***

Publications (2)

Publication Number Publication Date
CN110782483A CN110782483A (zh) 2020-02-11
CN110782483B true CN110782483B (zh) 2022-03-15

Family

ID=69386547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911012807.6A Active CN110782483B (zh) 2019-10-23 2019-10-23 基于分布式相机网络的多视图多目标跟踪方法及***

Country Status (2)

Country Link
CN (1) CN110782483B (zh)
LU (1) LU102028B1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738075A (zh) * 2020-05-18 2020-10-02 深圳奥比中光科技有限公司 一种基于行人检测的关节点跟踪方法及***
CN111626194B (zh) * 2020-05-26 2024-02-02 佛山市南海区广工大数控装备协同创新研究院 一种使用深度关联度量的行人多目标跟踪方法
CN112215873A (zh) * 2020-08-27 2021-01-12 国网浙江省电力有限公司电力科学研究院 用于对变电站内多目标跟踪定位的方法
CN112070807B (zh) * 2020-11-11 2021-02-05 湖北亿咖通科技有限公司 多目标跟踪方法和电子装置
CN112633205A (zh) * 2020-12-28 2021-04-09 北京眼神智能科技有限公司 基于头肩检测的行人追踪方法及装置、电子设备、存储介质
CN113674317B (zh) * 2021-08-10 2024-04-26 深圳市捷顺科技实业股份有限公司 一种高位视频的车辆跟踪方法及装置
CN114089675B (zh) * 2021-11-23 2023-06-09 长春工业大学 一种基于人机距离的机器控制方法及控制***
CN114299128A (zh) * 2021-12-30 2022-04-08 咪咕视讯科技有限公司 多视角定位检测方法及装置
CN114596337B (zh) * 2022-03-03 2022-11-25 捻果科技(深圳)有限公司 一种基于多摄像机位联动性的自识别目标追踪方法及***
CN116758119B (zh) * 2023-06-27 2024-04-19 重庆比特数图科技有限公司 基于运动补偿、联动的多目标循环检测跟踪方法及***
CN117726656B (zh) * 2024-02-08 2024-06-04 开拓导航控制技术股份有限公司 基于超分辨率图像的目标跟踪方法、装置、***和介质
CN117853759B (zh) * 2024-03-08 2024-05-10 山东海润数聚科技有限公司 一种多目标跟踪方法、***、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292911A (zh) * 2017-05-23 2017-10-24 南京邮电大学 一种基于多模型融合和数据关联的多目标跟踪方法
CN109447121A (zh) * 2018-09-27 2019-03-08 清华大学 一种视觉传感器网络多目标跟踪方法、装置及***
CN109816690A (zh) * 2018-12-25 2019-05-28 北京飞搜科技有限公司 基于深度特征的多目标追踪方法及***
CN109919981A (zh) * 2019-03-11 2019-06-21 南京邮电大学 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法
CN109934844A (zh) * 2019-01-28 2019-06-25 中国人民解放军战略支援部队信息工程大学 一种融合地理空间信息的多目标跟踪方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11144761B2 (en) * 2016-04-04 2021-10-12 Xerox Corporation Deep data association for online multi-class multi-object tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292911A (zh) * 2017-05-23 2017-10-24 南京邮电大学 一种基于多模型融合和数据关联的多目标跟踪方法
CN109447121A (zh) * 2018-09-27 2019-03-08 清华大学 一种视觉传感器网络多目标跟踪方法、装置及***
CN109816690A (zh) * 2018-12-25 2019-05-28 北京飞搜科技有限公司 基于深度特征的多目标追踪方法及***
CN109934844A (zh) * 2019-01-28 2019-06-25 中国人民解放军战略支援部队信息工程大学 一种融合地理空间信息的多目标跟踪方法及***
CN109919981A (zh) * 2019-03-11 2019-06-21 南京邮电大学 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Human Action Recognition Using a Distributed RGB-Depth Camera Network;Guoliang Liu 等;《IEEE》;20180915;第18卷(第18期);全文 *
基于卡尔曼滤波的多目标跟踪方法;赵广辉 等;《计算机科学》;20180831;第45卷(第8期);全文 *

Also Published As

Publication number Publication date
LU102028B1 (en) 2021-03-03
CN110782483A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN110782483B (zh) 基于分布式相机网络的多视图多目标跟踪方法及***
CN108470332B (zh) 一种多目标跟踪方法及装置
Kendall et al. Modelling uncertainty in deep learning for camera relocalization
Zhang et al. Motion analysis
US9098740B2 (en) Apparatus, method, and medium detecting object pose
Boniardi et al. Robot localization in floor plans using a room layout edge extraction network
Jellal et al. LS-ELAS: Line segment based efficient large scale stereo matching
CN111354022B (zh) 基于核相关滤波的目标跟踪方法及***
Chang et al. Fast Random‐Forest‐Based Human Pose Estimation Using a Multi‐scale and Cascade Approach
CN107194950B (zh) 一种基于慢特征分析的多人跟踪方法
KR101681104B1 (ko) 부분적 가림을 갖는 영상 객체 내의 주요 특징점 기반 다중 객체 추적 방법
Klinger et al. Probabilistic multi-person localisation and tracking in image sequences
CN112184757A (zh) 运动轨迹的确定方法及装置、存储介质、电子装置
Bashar et al. Multiple object tracking in recent times: A literature review
Urdiales et al. An improved deep learning architecture for multi-object tracking systems
Wang et al. Effective multiple pedestrian tracking system in video surveillance with monocular stationary camera
CN115035158A (zh) 目标跟踪的方法及装置、电子设备和存储介质
CN107665495B (zh) 对象跟踪方法及对象跟踪装置
Nguyen et al. 3d pedestrian tracking using local structure constraints
Ginhoux et al. Model-based object tracking using stereo vision
JP4879257B2 (ja) 移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラム
CN108346158B (zh) 基于主块数据关联的多目标跟踪方法及***
Franchi et al. Tracking hundreds of people in densely crowded scenes with particle filtering supervising deep convolutional neural networks
Palma-Amestoy et al. Bayesian spatiotemporal context integration sources in robot vision systems
KR102589987B1 (ko) 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant