CN112131929A - 一种基于区块链的跨摄像机行人跟踪***及方法 - Google Patents

一种基于区块链的跨摄像机行人跟踪***及方法 Download PDF

Info

Publication number
CN112131929A
CN112131929A CN202010783800.0A CN202010783800A CN112131929A CN 112131929 A CN112131929 A CN 112131929A CN 202010783800 A CN202010783800 A CN 202010783800A CN 112131929 A CN112131929 A CN 112131929A
Authority
CN
China
Prior art keywords
pedestrian
tracked
module
short track
short
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010783800.0A
Other languages
English (en)
Other versions
CN112131929B (zh
Inventor
盛浩
王帅
张洋
刘洋
吕凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010783800.0A priority Critical patent/CN112131929B/zh
Publication of CN112131929A publication Critical patent/CN112131929A/zh
Application granted granted Critical
Publication of CN112131929B publication Critical patent/CN112131929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于区块链的跨摄像机行人跟踪***及方法，包括以下6大模块：入口模块、数据收集模块、短轨迹生成模块、跟踪模块、输出模块、区块链共享模块。本发明主要完成跨摄像机场景下部署在摄像机端的行人跟踪任务和功能。用户可利用该***，完成行人在跨摄像机监控场景下的跟踪，并保持跨摄像机监控场景下的行人标签的一致性。

Description

一种基于区块链的跨摄像机行人跟踪***及方法
技术领域
本发明涉及一种基于区块链的跨摄像机行人跟踪***及方法，具体说是一种使用区块链技术完成跨摄像机跟踪行人信息共享的近实时行人跟踪***，不依赖于中心服务器，可部署到摄像机端，提供行人在跨摄像机场景下的历史运动轨迹，属于监测安保领域。
背景技术
目前，监控摄像机所采集的监控视频一般被上传到中心服务器，由服务器来进行视频分析任务，例如进行行人检测、行人跟踪等。然而实际应用中，由于网络的速度、服务器的容量、服务器的性能等多种因素的限制，在中心服务器上集中进行行人跟踪的任务是非常艰难的，无法满足近实时行人跟踪的需求。
传统的行人跟踪方法，是将多个摄像机采集的监控视频集中传输到一个中心服务器上。在中心服务器上对这些监控视频进行集中处理，然后对多个监控视频的行人跟踪结果做进一步融合。主流框架是基于检测的跟踪，即首先获取行人的检测框，然后提取行人的外观特征，利用外观信息和边框位置进行边框的关联，最终形成完整的行人轨迹。如果需要处理跨摄像机的行人跟踪任务，则会对单个摄像机得到的行人轨迹进行进一步处理得到跨摄像机下的行人轨迹。目前，跨摄像机行人跟踪研究的主要问题是跟踪算法的处理速度以及跨摄像机行人跟踪信息的可信性。
目前行人跟踪算法已经取得了很多研究成果，但是在速度以及资源消耗方面还存在一些困难，跨摄像机的行人跟踪仍然是一个非常具有挑战性的问题。其中不仅有计算机视觉领域共同的一些经典难题，也有着深度学习技术进行检测的固有缺陷。如何在诸如摄像机等边缘计算设备有限的计算资源环境下达到实时或近实时的行人跟踪，是安保领域非常有意义的问题。高效的行人跟踪方法以及可信地信息共享方式会极大的提升跨摄像机行人跟踪的效果，在时间监控场景中，复杂的遮挡对行人跟踪算法提出了非常严峻的要求，因此，抗遮挡的跨摄像机行人跟踪算法的研究依然是目前的研究重心之一。
此外，目前对于行人跟踪的应用，大多都是使用集中化的处理框架去进行处理，这一框架虽然可以完成大多数行人跟踪任务，但是所需要的计算资源与时间消耗是非常大的，在很多延迟敏感的应用中是不可承受的。如何提升跟踪算法的速度，也是目前计算机视觉领域核心问题的发展方向之一。
本发明着眼与高准确率的近实时行人跟踪需求，以提高监控***对多中场景下对于人群的流向追踪、舆情控制的应对能力。利用区块链对于数据共享的能力，建立高效的数据关联方法，本发明可满足近实时的跨摄像机跟踪需求。
科学研究方面，满足了多种跟踪视觉任务的研究需要，提供了一个准确率高、能耗低的近实时行人跟踪***，为城市智能管理提供了实质性的帮助。
发明内容
本发明技术解决问题：克服现有技术的不足，提供了一种基于区块链的跨摄像机行人跟踪***，使用区块链技术完成跨摄像机行人跟踪信息的交互，并设计了高效的高遮挡跟踪方法。
本发明采用如下的技术方案：
本发明的一种基于区块链的跨摄像机行人跟踪***，包括：入口模块、数据收集模块、短轨迹生成模块、跟踪模块、输出模块、区块链共享模块；其中：
入口模块，提供一个管理接口，方便用户从图形化终端管理，用户根据自己的实际需求，选择进入数据收集模块、短轨迹生成模块、跟踪模块、输出模块、区块链共享模块的操作；作为用户登录的界面，用户登录时输入用户名和密码，核检用户名和密码开放对应的权限；对于普通用户，仅提供在线查看权限，不可导出各项数据；对于管理员，提供全部权限，从入口模块提供的数据导出接口导出各项数据；
数据收集模块，负责数据的收集，包括摄像机的实时视频数据(24fps)，获取当前摄像机的编号；通过摄像机拍摄监控场景的图像，从摄像机提供的导出接口获取24小时内监控空间内连续的视频图像帧；将摄像机编号传递到区块链模块，将视频图像帧传递到短轨迹生成模块；
短轨迹生成模块：首先接收数据收集模块传入的视频图像帧，每接受8个视频图像帧，就使用YOLOV3检测网络处理这8个视频图像帧，得到8个视频图像帧中行人的检测框；根据得到的检测框，从8个视频帧中将对应的区域裁剪下来形成行人裁剪区域，将行人裁剪区域和对应的行人的检测框打包为行人的检测片图；使用聚类的方法对行人的检测片图进行聚类，生成最小长度为3帧，最大长度为8帧的短轨迹，使用完成训练的共现约束网络提取短轨迹的特征，最后将短轨迹以及提取出的短轨迹特征，传入跟踪模块；
跟踪模块，基于区块链的跨摄像机行人跟踪方法，跟踪多个行人，并为每一个行人维护多种数据，并将部分数据保存到数据库中，所述多种数据包括保存行人外观特征的特征池、未命中次数、历史轨迹、行人当前状态、行人的序号、命中次数、行人当前位置，其中命中次数是指该行人成功获得短轨迹匹配的次数，未命中次数是指该行人上一次获得成功匹配距离当前的帧数；所述当前状态包括敏感、确认、删除三者之一(其中敏感是指该行人可能是误检造成的，确认表示该行人正在被跟踪，删除表示该行人已经从检测区域内丢失)；该模块实现时，首先接收短轨迹生成模块生成的短轨迹及短轨迹的特征，然后更新当前所跟踪的行人的状态，计算当前跟踪的行人和接收的短轨迹之间的相似度矩阵；再根据当前所跟踪的行人的位置和输入的短轨迹，对相似度矩阵进行过滤，得到过滤后的相似度矩阵；过滤后的相似度矩阵的最优化分配方案使用匈牙利算法解决，会得到多个成对的矩阵下标，即为成功匹配的行人和短轨迹，则未得到成功匹配的行人和短轨迹称为未成功匹配的行人；未成功匹配的行人的未命中次数加一，未成功得到匹配的短轨迹被初始化为新的行人；在所有未成功匹配的行人和短轨迹处理完毕后，使用基于时间模拟退火的特征修复算法对所有行人当前状态为确认的跟踪的行人外观特征的特征池进行更新；当所有跟踪的行人外观特征的特征池完成更新后，使用基于置信度的虚拟短轨迹算法对所有跟踪的行人增加，即不是由短轨迹生成模块产生的，而是根据行人历史轨迹估计的短轨迹；将虚拟短轨迹添加到跟踪的行人的历史轨迹中；如果入口模块结束跟踪的命令，则将所有跟踪的行人的历史轨迹保存到数据库中；
区块链模块，负责不同摄像机之间跟踪的行人的数据的共享；该模块检测跟踪模块跟踪行人的状态变化，如果跟踪模块中某一个跟踪的行人状态变为删除，则将该行人的特征池和序号还有当前相机的编号打包到一个区块中，并将此区块发送到区块链中；该模块同时不断检测区块链是否有新的区块，当有新区块被上传到区块链中时，下载新区块中的数据，若新区块中保存的摄像机编号与当前摄像机不同，则将新区块中的特征池以及行人的序号下载下来，使用ReID(人重识别)网络对该特征池与当前跟踪模块跟踪的所有行人做人重识别，如果ReID网络判断该特征池和某个跟踪的行人是一致的，则向跟踪模块发送融合序号请求，该请求包含从新区块中下载的序号以及对应的当前跟踪模块跟踪的行人的序号；
输出模块，提供两个数据接口，一个仅提供对数据库中行人的历史轨迹的查看，另一个不但查看，而且还提供导出行人历史轨迹的接口；该模块提供了用户查看信息的接口，封装了其余各个模块，使得各个模块对用户透明。
本发明的创新点是共现约束网络、基于区块链的行人跟踪方法、基于时间模拟退火的特征修复算法以及基于置信度的虚拟短轨迹算法，其中共现约束网络被用于短轨迹生成模块以提取短轨迹特征，基于区块链的跨摄像机行人跟踪方法由跟踪模块和区块链模块实现，基于时间模拟退火的特征修复算法以及基于置信度的虚拟短轨迹算法均实现于跟踪模块。
所述短轨迹生成模块中，共现约束网络的结构和训练过程如下：
(1)共现约束网络接收长度为8的短轨迹作为输入，如果给定的短轨长度不足8，则用线性插值法插帧，使得短轨迹长度为8；
(2)如图2所示，建立共现约束网络，使用ResNet50全局平均池化层前的网络结构作为骨干网络，后面使用一个固定分割层对骨干网络输出的特征图进行均匀分割，共分割为6块，每一块称为共现局部特征；使用1*1的卷积核和平均池化层处理所有共现局部特征，降低共现局部特征的维度从而得到压缩特征；压缩特征被输入到多头注意力层以计算压缩特征间的空间共现约束；同时，多个压缩特征被拼接为个体特征；从骨干网络到完成压缩特征的拼接的结构是对短轨迹中所有帧共享的，即，短轨迹中的每一帧经过同样的结构处理，最终得到各自的个体特征和各自的空间共现约束；所有帧的空间共现约束被打包为一个序列，并被输入到一个256个隐藏单元的LSTM层中，LSTM层的输出经过一个随机丢弃层后，随机丢弃层的输出被输入到另一个256个隐藏单元的LSTM层中，该LSTM层的输出被输入到了另一个随机丢弃层，该随机丢弃层的输出被输入进一个全连接层，全连接的输出被softmax层转化为一组权重，利用改组时间权重，所有帧的个体特征被组合为短轨迹特征；短轨迹特征被输入到一个全连接层以进行短轨迹分类，即，网络最后一个全连接层输出短轨迹对应的标签；
(3)共现约束网络在iLIDS-VID(互联网上的公开数据集)上完成训练，该数据集中的视频数据被切分为长度为8的短轨迹，同一视频生成的短轨迹拥有相同的标签；所有短轨迹被输入到共现约束网络中，对短轨迹进行分类，获得预测的标签；通过计算共现约束网络预测的标签和数据集中真实的标签的损失，使用梯度下降法更新共现约束网络骨干网络后所有层的权重参数；当损失收敛后，固定权重参数并保存，同时保存共现约束网络的网络结构；
(4)短轨迹生成模块加载完成预训练的共现约束网络的权重参数，并使用该网络对聚类生成的短轨迹进行特征提取，得到短轨迹的特征。
所述跟踪模块中，基于区块链的跨摄像机行人跟踪方法如下：
(1)接受短轨迹生成模块传递的短轨迹和短轨迹的特征，该特征为一个1536维度的特征向量；
(2)如果当前跟踪的行人为空，则转入步骤(6)；否则，更新所有跟踪的行人的当前状态：如果跟踪的行人的当前状态是敏感，并且命中次数大于等于2，则更改其状态为确认；如果跟踪的行人的当前状态是确认，并且未命中次数大于等于18，则更改其状态为删除；如果跟踪的行人的当前状态是敏感，并且未命中次数大于等于3且命中次数等于0，则更改其状态为删除；
(3)建立相似度矩阵，计算当前跟踪的行人的特征池中的特征与短轨迹的特征之间的余弦距离，以此得到的余弦距离作为基本元素建立相似度矩阵；
(4)相似度矩阵过滤，计算当前跟踪的行人的位置和短轨迹的位置的距离，距离大于阈值的跟踪的行人与和短轨迹在相似度矩阵中的余弦距离被置为0；
(5)分配，相似度矩阵的最优化求解是一个二分图问题，使用匈牙利算法解决，得到多个成功的跟踪的行人与短轨迹的匹配，剩下的即为未成功匹配的短轨迹与未成功匹配的跟踪的行人；
(6)初始化新的跟踪的行人，未成功匹配的短轨迹被初始化为新的跟踪的行人，新的跟踪的行人的状态为敏感，新的跟踪的行人的特征池中添加对轨迹的外观特征，新的跟踪的行人的位置为短轨迹的边框的平均值，历史轨迹为短轨迹的所有边框未命中次数和命中次数初始化为0，序号为当前跟踪的行人的最大序号加1；
(7)使用基于时间模拟退火的特征修复算法对跟踪的行人的特征池中的进行更新，使用该算法对与确认的跟踪的行人匹配的短轨迹的外观特征进行修复，得到修复后的特征，并将修复后的特征加入确认的跟踪的行人特征池中；
(8)使用基于置信度虚拟短轨迹算法对所有跟踪的行人增加虚拟短轨迹，将虚拟短轨迹添加到跟踪的行人的历史轨迹中；
(9)检测区块链模块是否有融合序号的请求，如果有，则根据请求中包含的序号修改当前跟踪的行人的序号；如果无情求，转入步骤(10)；
(10)如果接收到了结束跟踪的命令，根据虚拟短轨迹与真实轨迹数量之比过滤跟踪的行人，高于阈值的删除，剩下的保存到数据库中，结束；如果未接收到入口模块发送的结束跟踪的命令，则转入步骤(1)。
所述跟踪模块中，基于时间模拟退火的特征修复算法如下：
(1)基于时间模拟退火的特征修复算法的输入为当前跟踪的行人，短轨迹生成模块传递的短轨迹，基于区块链的行人跟踪方法得到的成功的跟踪的行人与短轨迹的匹配，以下称匹配集合；
(2)如果匹配集合为空，则转入步骤(7)；否则，按顺序从匹配集合中取出一个匹配，包括短轨迹和跟踪的行人；
(3)如果跟踪的行人的状态为确认，转入(4)；否则，转入(6)；
(4)计算短轨迹的置信度和短轨迹和跟踪的行人的外观差异，并判断两者是否满足阈值，如果均满足阈值，转入(5)；否则，转入步骤(6)；
(5)对短轨迹的特征(1536维的特征向量)进行修复，得到修复后的特征，将修复后的特征添加到跟踪的行人的特征池中；完成所述特征池的更新，保存所述特征池，并转入步骤(2)。
所述跟踪模块中，基于置信度的虚拟短轨迹算法如下：
(1)基于置信度的虚拟短轨迹算法的输入为当前跟踪的行人，短轨迹生成模块传递的短轨迹，基于区块链的行人跟踪方法得到的成功的跟踪的行人与短轨迹的匹配，以下称匹配集合；
(2)如果匹配集合为空，则转入步骤(7)；否则，按顺序从匹配集合中取出一个匹配，包括短轨迹和跟踪的行人；
(3)如果跟踪的行人的状态不是删除，转入步骤(4)；否则，转入步骤(6)；
(4)计算短轨迹的置信度、短轨迹与跟踪的行人之间的外观差异，并判断两者是否满足阈值，如果均满足阈值，转入；否则，转入步骤(6)；
(5)检测跟踪的行人的历史轨迹，判断在哪些帧发生了断裂，即该跟踪的行人在哪些帧是没有边框的，记录这些帧；
(6)对所有记录的帧，根据其前后帧的边框，使用插值算法插值出虚拟的边框；完成插值后，转入步骤(2)；
(7)算法结束，退出。
本发明与现有技术相比的优点在于：
(1)本发明设计了共现约束网络，利用时空信息的约束对短轨迹中的遮挡进行了抑制，从而获得了更为精准的外观特征，使得短轨迹可以得到更准确的匹配，其优点是网络部署简单，提取短轨迹效率高；
(2)本发明建立了一个基于区块链的跨摄像机行人跟踪方法，该方法基于区块链技术，且该方法计算资源消耗少，适合边缘计算环境的部署，不但具有较高的跟踪准确率，而且具有较快的处理速度；
(3)本发明针对行人跟踪时存在的长期遮挡问题，提出了基于时间模拟退火的特征修复算法，该算法可以修复外观特征中被遮挡的区域，从而避免遮挡对行人跟踪的影响，优点是在密集场景下显著提升跟踪准确率；
(4)本发明针对行人跟踪时存在的轨迹断裂问题，提出了基于置信度的虚拟短轨迹算法，该算法通过置信度和特征的变化，为跟踪的行人建立虚拟短轨迹，从而避免轨迹断裂对行人跟踪的影响，优点是提升了目标跟踪的完整性。
附图说明
图1为本发明***的流程图；
图2为本发明设计的共现约束网络结构图；
图3为本发明的短轨迹生成模块；
图4为本发明的跟踪模块；
图5为本发明的跟踪模块的基于时间模拟退火的特征修复算法的流程图；
图6为本发明的跟踪模块的基于置信度虚拟短轨迹算法的流程图。
具体实施方式
下面给合附图及实施例对本发明进行详细说明。
如图1所示，为本发明的基于区块链的跨摄像机行人跟踪***包括：入口模块、数据收集模块、短轨迹生成模块、跟踪模块、输出模块、区块链共享模块；
上述各模块的具体实现过程如下：
1、入口模块
(1)用户通过文本输入框输入用户名name和密码password，***在数据库中查找用户名name对应的信息是否与用户输入一致；如果信息一致，那么用户登录成功，并返回该用户所有信息I；如果信息不一致，那么提示密码错误或用户不存在，退出模块；
(2)从I中获取用户的权限级别，如果是管理员，对用户开放数据导出接口，在操作界面中显示数据导出的选项；如果是普通用户，则仅提供在线查看功能，操作界面仅显示查看选项；
(3)呈现最终的操作界面，用户操作完毕后退出模块。
2、数据收集模块，通过摄像机拍摄监控场景的图像，从摄像机提供的导出接口获取24小时内监控空间内连续的视频图像帧Video；获取摄像机编号ci，将摄像机编号ci传递到区块链模块，将视频图像帧Video传递到短轨迹生成模块。
3、短轨迹生成模块，如图3所示，
(1)短轨迹生成模块的输入是数据收集模块传递的视频图像帧Video，当视频图像帧Video内包含的帧数目达到8时，转入(2)；否则继续等待新的视频图像帧；
(2)将视频图像帧Video分为8个单独的帧F1,…,F8，使用YOLOV3检测网络对8个单独的帧进行处理，得到若干个行人检测框dets＝{det1,…,detN},N为检测框的数量；
(3)根据得到的行人检测框dets，在8个单独的帧做裁剪，将裁剪下的区域patches＝{patch1,…,patchN},N为裁剪下的区域的数量和行人检测框dets打包为行人的检测片图detections＝{detectioni＝(deti,patchi)|i∈[1,N]}；
(4)使用聚类的方法对行人的检测片图进行聚类，生成多个最小长度为3，最大长度为8的短轨迹tracklets＝{T1,…,TM}，其中T代表一个短轨迹，M表示短轨迹的数量；
(5)使用共现约束网络提取所有短轨迹的特征features＝{f1,…,fM}，并将短轨迹和短轨迹的外观特征传入跟踪模块。
上述共现约束网络的结构如图2所示，共现约束网络接受短轨迹作为输入，短轨迹中每一帧经过同一个骨干网络。在图2中，骨网络由一个卷积层、一个池化层，和四个残差层组成，输出特征h的大小为(2048×24×9)。将特征h的均匀分割为6块，每一块记为
Figure BDA0002621181010000081
对每一块使用1×1的卷积核进行卷积降维，然后使用全局平均池化得到压缩特征
Figure BDA0002621181010000082
将所有的压缩特征传入Attention(注意力)层，得到个体特征li和由注意力机制计算得到的空间共现约束Si。此时，将空间共现约束Si传入由多个LSTM单元(LSTM-cell)堆叠而成的LSTM层中进行时间维度特征的计算，共现约束网络中设计了两个LSTM层，每一个都紧随一个随机丢弃层。个体特征和第二个随即丢弃层的输出在softmax层中计算，得到一组时间权重Tw，使用该权重Tw和个体特征计算加权平均，则可得到最终的短轨迹的特征f。
4、跟踪模块，如图4所示，
(1)跟踪模块接收短轨迹生成模块传递的短轨迹tracklets＝{T1,…,TM}和短轨迹的外观特征features＝{f1,…,fM}作为输入；
(2)如果当前跟踪的行人h数量为0，则转入(6)；否则，更新所有跟踪的行人的当前状态：如果跟踪的行人的当前状态state是敏感，并且命中次数hit大于等于2，则更改其状态为确认；如果跟踪的行人的当前状态state是确认，并且未命中次数unhits大于等于18，则更改其状态state为删除；如果跟踪的行人的当前状态是敏感，并且未命中次数unhits大于等于3且命中次数等于0，则更改其状态states为删除；
(3)建立相似度矩阵matrix，计算当前跟踪的行人的特征池FP＝{p1,…,pk}与短轨迹的外观特征之间的余弦距离
Figure BDA0002621181010000083
以此得到的余弦距离作为基本元素建立相似度矩阵；其中,k为特征池中特征的数量,p为特征池中的特征，具体计算公式和相似度矩阵的建立如下式所示：
Figure BDA0002621181010000091
Figure BDA0002621181010000092
式中i,j表示第i个跟踪的行人的特征池，j表示第j个短轨迹的外观特征，H为当前跟踪行人的总数量，M表示短轨迹的数量。
(4)相似度矩阵过滤，计算当前跟踪的行人的位置Pi和短轨迹的位置P′j的距离
Figure BDA0002621181010000093
距离大于阈值的跟踪的行人与和短轨迹在相似度矩阵中的余弦距离被置为0；其中式中i,j表示第i个跟踪的行人的位置，j表示第j个短轨迹的位置，具体计算公式如下：
Figure BDA0002621181010000094
(5)分配，相似度矩阵的最优化求解是一个二分图问题，使用匈牙利算法解决，得到多个成功的跟踪的行人与短轨迹的匹配A＝{(hi,Tj),…}，剩下的即为未成功匹配的短轨迹与未成功匹配的跟踪的行人；
(6)初始化新的跟踪的行人，未成功匹配的短轨迹被初始化未新的跟踪的行人，新的跟踪的行人的状态为敏感，新的跟踪的行人的特征池中添加对轨迹的外观特征，新的跟踪的行人的的位置为短轨迹的边框的平均值，历史轨迹为短轨迹的所有边框未命中次数和命中次数初始化为0，序号ID为当前跟踪的行人的最大序号Cur_Max_ID加1；每初始化一个新的跟踪的行人，Cur_Max_ID都会加1；
(7)使用基于时间模拟退火的特征修复算法对跟踪的行人的特征池中的进行更新，使用该算法对与确认的跟踪的行人匹配的短轨迹的外观特征进行修复，得到修复后的特征rf，并将修复后的特征rf加入确认的跟踪的行人特征池中；
(8)使用基于置信度虚拟短轨迹算法对所有跟踪的行人增加虚拟短轨迹dt，将虚拟短轨迹dt添加到跟踪的行人的历史轨迹中；
(9)检测区块链模块是否有融合序号的请求，如果有，则根据请求中包含的序号修改当前跟踪的行人的序号；如果无请求，转入(10)；
(10)如果接收到了结束跟踪的命令，根据虚拟短轨迹与真实轨迹数量之比过滤跟踪的行人，高于阈值的删除，剩下的保存到数据库中，结束算法；如果未接收到结束跟踪的命令，则转入(1)，开始下一轮循环。
5、跟踪模块的基于时间模拟退火的特征修复算法，如图5所示，
(1)基于时间模拟退火的特征修复算法的输入为当前跟踪的行人h，跟踪的行人的特征池FP，短轨迹生成模块传递的短轨迹tracklets＝{T1,…,TM}，基于区块链的行人跟踪方法得到的成功的跟踪的行人与短轨迹的匹配A＝{(hi,Tj),…}(以下称匹配集合)，其中i,j为下标；
(2)如果匹配集合为空，则转入(7)；否则，按顺序从匹配集合中取出一个匹配，包括短轨迹Tj和跟踪的行人hi；
(3)如果跟踪的行人的状态state为确认，转入(4)；否则，转入(6)；
(4)获取短轨迹Tj的外观特征fj，计算短轨迹的置信度
Figure BDA0002621181010000101
和短轨迹和跟踪的行人的外观差异
Figure BDA0002621181010000102
p′为跟踪的行人hi的特征池中最后一个特征，并判断两者是否满足
Figure BDA0002621181010000103
和dif≥θdif，如果均满足阈值，转入(2)；否则，转入(6)；其中θc和θdif均为阈值，根据多次实验结果，θc＝0.7而θdif＝0.55；
(5)对短轨迹的特征进行修复，得到修复后的特征rf，将修复后的特征添加到跟踪的行人的特征池中,修复的公式为；
Figure BDA0002621181010000104
Figure BDA0002621181010000105
式中D为特征池中特征的数目，pi代表其中第i个特征，τ为一个温度参数，设置为1，e为自然对数。
(6)完成特征池的更新，保存特征池，并转入(2)；
(7)算法结束，退出循环。
6、跟踪模块的基于置信度虚拟短轨迹算法，如图6所示，
(1)基于置信度虚拟短轨迹算法的输入为当前跟踪的行人h，跟踪的行人的特征池FP，跟踪的行人的历史轨迹history＝{P1,…}短轨迹生成模块传递的短轨迹tracklets＝{T1,…,TM}，基于区块链的行人跟踪方法得到的成功的跟踪的行人与短轨迹的匹配A＝{(hi,Tj),…}(以下称匹配集合)，其中i,j为下标；
(2)如果匹配集合为空，则转入(7)；否则，按顺序从匹配集合中取出一个匹配，包括短轨迹Tj和跟踪的行人hi；
(3)如果跟踪的行人的状态state为确认，转入(4)；否则，转入(6)；
(4)获取短轨迹Tj的外观特征fj，计算短轨迹的置信度
Figure BDA0002621181010000106
和短轨迹和跟踪的行人的外观差异
Figure BDA0002621181010000111
p′为跟踪的行人hi的特征池中最后一个特征，并判断两者是否满足
Figure BDA0002621181010000112
和dif≥θdif，如果均满足阈值，转入(2)；否则，转入(6)；
(5)判断特征池中哪些帧没有对应的位置Pi，根据前后帧的位置Pi-1和Pi+1进行插值，补全Pi；
(6)完成插值，转入(2)；
(7)算法结束，退出循环。
7、区块链模块，负责不同摄像机之间跟踪的行人的数据的共享。该模块检测跟踪模块跟踪行人的状态变化，如果跟踪模块中某一个跟踪的行人状态state变为删除，则将该行人的特征池FP和序号还有当前相机的编号ci打包到一个区块block中，并将此区块链发送到区块链中；该模块同时不断检测区块链是否有新的区块n_block，当有新区块n_block被上传到区块链中时，下载新区块n_block中的数据，若新区块n_block中保存的摄像机编号c′i与当前摄像机不同ci，则将新区块中的特征池FP′以及行人的序号ID′下载下来，使用ReID网络对该特征池与当前跟踪模块跟踪的所有行人做人重识别，如果ReID网络判断该特征池和某个跟踪的行人是一致的，则向跟踪模块发送融合序号请求req，该请求包含从新区块中下载的序号ID′以及对应的当前跟踪模块跟踪的行人的序号ID。

Claims (6)

1.一种基于区块链的跨摄像机行人跟踪***，其特征在于，包括：入口模块、数据收集模块、短轨迹生成模块、跟踪模块、输出模块和区块链共享模块；其中：
入口模块，提供一个管理接口，方便用户从图形化终端管理，用户根据自己的实际需求，选择进入数据收集模块、短轨迹生成模块、跟踪模块、输出模块、区块链共享模块的操作；作为用户登录的界面，用户登录时输入用户名和密码，核检用户名和密码开放对应的权限；对于普通用户，仅提供在线查看权限，不可导出各项数据；对于管理员，提供全部权限，从入口模块提供的数据导出接口导出各项数据；
数据收集模块，负责数据的收集，包括摄像机的实时视频数据，获取当前摄像机的编号；通过摄像机拍摄监控场景的图像，从摄像机提供的导出接口获取24小时内监控空间内连续的视频图像帧；将摄像机编号传递到区块链模块，将视频图像帧传递到短轨迹生成模块；
短轨迹生成模块：首先接收数据收集模块传入的视频图像帧，每接受8个视频图像帧，就使用YOLOV3检测网络处理这8个视频图像帧，得到8个视频图像帧中行人的检测框；根据得到的检测框，从8个视频帧中将对应的区域裁剪下来形成行人裁剪区域，将行人裁剪区域和对应的行人的检测框打包为行人的检测片图；使用聚类的方法对行人的检测片图进行聚类，生成最小长度为3帧，最大长度为8帧的短轨迹，使用完成训练的共现约束网络提取短轨迹的特征，最后将短轨迹以及提取出的短轨迹特征，传入跟踪模块；
跟踪模块，基于区块链的跨摄像机行人跟踪方法，跟踪多个行人，并为每一个行人维护多种数据，并将部分数据保存到数据库中，所述多种数据包括保存行人外观特征的特征池、未命中次数、历史轨迹、行人当前状态、行人的序号、命中次数、行人当前位置，其中命中次数是指该行人成功获得短轨迹匹配的次数，未命中次数是指该行人上一次获得成功匹配距离当前的帧数；所述当前状态包括敏感、确认、删除三者之一(其中敏感是指该行人可能是误检造成的，确认表示该行人正在被跟踪，删除表示该行人已经从检测区域内丢失)；该模块实现时，首先接收短轨迹生成模块生成的短轨迹及短轨迹的特征，然后更新当前所跟踪的行人的状态，计算当前跟踪的行人和接收的短轨迹之间的相似度矩阵；再根据当前所跟踪的行人的位置和输入的短轨迹，对相似度矩阵进行过滤，得到过滤后的相似度矩阵；过滤后的相似度矩阵的最优化分配方案使用匈牙利算法解决，会得到多个成对的矩阵下标，即为成功匹配的行人和短轨迹，则未得到成功匹配的行人和短轨迹称为未成功匹配的行人；未成功匹配的行人的未命中次数加一，未成功得到匹配的短轨迹被初始化为新的行人；在所有未成功匹配的行人和短轨迹处理完毕后，使用基于时间模拟退火的特征修复算法对所有行人当前状态为确认的跟踪的行人外观特征的特征池进行更新；当所有跟踪的行人外观特征的特征池完成更新后，使用基于置信度的虚拟短轨迹算法对所有跟踪的行人增加虚拟短轨迹,即不是由短轨迹生成模块直接产生的，而是根据行人历史轨迹估计得到的短轨迹；将虚拟短轨迹添加到跟踪的行人的历史轨迹中；如果入口模块结束跟踪的命令，则将所有跟踪的行人的历史轨迹保存到数据库中；
区块链模块，负责不同摄像机之间跟踪的行人的数据的共享；该模块检测跟踪模块跟踪行人的状态变化，如果跟踪模块中某一个跟踪的行人状态变为删除，则将该行人的特征池和序号还有当前相机的编号打包到一个区块中，并将此区块发送到区块链中；该模块同时不断检测区块链是否有新的区块，当有新区块被上传到区块链中时，下载新区块中的数据，若新区块中保存的摄像机编号与当前摄像机不同，则将新区块中的特征池以及行人的序号下载下来，使用ReID网络对该特征池与当前跟踪模块跟踪的所有行人做人重识别，如果ReID网络判断该特征池和某个跟踪的行人是一致的，则向跟踪模块发送融合序号请求，该请求包含从新区块中下载的序号以及对应的当前跟踪模块跟踪的行人的序号；
输出模块，提供两个数据接口，一个仅提供对数据库中行人的历史轨迹的查看，另一个不但查看，而且还提供导出行人历史轨迹的接口；该模块提供了用户查看信息的接口，封装了其余各个模块，使得各个模块对用户透明。
2.根据权利要求1所述的基于区块链的跨摄像机行人跟踪***，其特征在于：所述短轨迹生成模块中，共现约束网络的结构和训练过程如下：
(1)共现约束网络接收长度为8的短轨迹作为输入，如果给定的短轨长度不足8，则用线性插值法插帧，使得短轨迹长度为8；
(2)建立共现约束网络，使用ResNet50全局平均池化层前的网络结构作为骨干网络，后面使用一个固定分割层对骨干网络输出的特征图进行均匀分割，共分割为6块，每一块称为共现局部特征；使用1*1的卷积核和平均池化层处理所有共现局部特征，降低共现局部特征的维度从而得到压缩特征；压缩特征被输入到多头注意力层以计算压缩特征间的空间共现约束；同时，多个压缩特征被拼接为个体特征；从骨干网络到完成压缩特征的拼接的结构是对短轨迹中所有帧共享的，即，短轨迹中的每一帧经过同样的结构处理，最终得到各自的个体特征和各自的空间共现约束；所有帧的空间共现约束被打包为一个序列，并被输入到一个256个隐藏单元的LSTM层中，LSTM层的输出经过一个随机丢弃层后，随机丢弃层的输出被输入到另一个256个隐藏单元的LSTM层中，该LSTM层的输出被输入到了另一个随机丢弃层，该随机丢弃层的输出被输入进一个全连接层，全连接的输出被sofmax层转化为一组权重，利用改组时间权重，所有帧的个体特征被组合为短轨迹特征；短轨迹特征被输入到一个全连接层以进行短轨迹分类，即，网络最后一个全连接层输出短轨迹对应的标签；
(3)共现约束网络在iLIDS-VID(互联网上的公开数据集)上完成训练，该数据集中的视频数据被切分为长度为8的短轨迹，同一视频生成的短轨迹拥有相同的标签；所有短轨迹被输入到共现约束网络中，对短轨迹进行分类，获得预测的标签；通过计算共现约束网络预测的标签和数据集中真实的标签的损失，使用梯度下降法更新共现约束网络骨干网络后所有层的权重参数；当损失收敛后，固定权重参数并保存，同时保存共现约束网络的网络结构；
(4)短轨迹生成模块加载完成预训练的共现约束网络的权重参数，并使用该网络对聚类生成的短轨迹进行特征提取，得到短轨迹的特征。
3.根据权利要求1所述的基于区块链的跨摄像机行人跟踪***，其特征在于：所述跟踪模块中，基于区块链的跨摄像机行人跟踪方法如下：
(1)接受短轨迹生成模块传递的短轨迹和短轨迹的特征，该特征为一个1536维度的特征向量；
(2)如果当前跟踪的行人为空，则转入步骤(6)；否则，更新所有跟踪的行人的当前状态：如果跟踪的行人的当前状态是敏感，并且命中次数大于等于2，则更改其状态为确认；如果跟踪的行人的当前状态是确认，并且未命中次数大于等于18，则更改其状态为删除；如果跟踪的行人的当前状态是敏感，并且未命中次数大于等于3且命中次数等于0，则更改其状态为删除；
(3)建立相似度矩阵，计算当前跟踪的行人的特征池中的特征与短轨迹的特征之间的余弦距离，以此得到的余弦距离作为基本元素建立相似度矩阵；
(4)相似度矩阵过滤，计算当前跟踪的行人的位置和短轨迹的位置的距离，距离大于阈值的跟踪的行人与和短轨迹在相似度矩阵中的余弦距离被置为0；
(5)分配，相似度矩阵的最优化求解是一个二分图问题，使用匈牙利算法解决，得到多个成功的跟踪的行人与短轨迹的匹配，剩下的即为未成功匹配的短轨迹与未成功匹配的跟踪的行人；
(6)初始化新的跟踪的行人，未成功匹配的短轨迹被初始化未新的跟踪的行人，新的跟踪的行人的状态为敏感，新的跟踪的行人的特征池中添加对轨迹的外观特征，新的跟踪的行人的位置为短轨迹的边框的平均值，历史轨迹为短轨迹的所有边框未命中次数和命中次数初始化为0，序号为当前跟踪的行人的最大序号加1；
(7)使用基于时间模拟退火的特征修复算法对跟踪的行人的特征池中的进行更新，使用该算法对与确认的跟踪的行人匹配的短轨迹的外观特征进行修复，得到修复后的特征，并将修复后的特征加入确认的跟踪的行人特征池中；
(8)使用基于置信度虚拟短轨迹算法对所有跟踪的行人增加虚拟短轨迹，将虚拟短轨迹添加到跟踪的行人的历史轨迹中；
(9)检测区块链模块是否有融合序号的请求，如果有，则根据请求中包含的序号修改当前跟踪的行人的序号；如果无情求，转入步骤(10)；
(10)如果接收到了结束跟踪的命令，根据虚拟短轨迹与真实轨迹数量之比过滤跟踪的行人，高于阈值的删除，剩下的保存到数据库中，结束；如果未接收到入口模块发送的结束跟踪的命令，则转入步骤(1)。
4.根据权利要求1所述的基于区块链的跨摄像机行人跟踪***，其特征在于：所述跟踪模块中，基于时间模拟退火的特征修复算法实现如下：
(1)基于时间模拟退火的特征修复算法的输入为当前跟踪的行人，短轨迹生成模块传递的短轨迹，基于区块链的行人跟踪方法得到的成功的跟踪的行人与短轨迹的匹配，以下称匹配集合；
(2)如果匹配集合为空，则转入步骤(7)；否则，按顺序从匹配集合中取出一个匹配，包括短轨迹和跟踪的行人；
(3)如果跟踪的行人的状态为确认，转入步骤(4)；否则，转入步骤(6)；
(4)计算短轨迹的置信度和短轨迹和跟踪的行人的外观差异，并判断两者是否满足阈值，如果均满足阈值，转入步骤(5)；否则，转入步骤(6)；
(5)对短轨迹的特征进行修复，得到修复后的特征，将修复后的特征添加到跟踪的行人的特征池中；完成所述特征池的更新，保存所述特征池，并转入步骤(2)；
(6)结束并退出。
5.根据权利要求1所述的基于区块链的跨摄像机行人跟踪***，其特征在于：所述跟踪模块中，基于置信度的虚拟短轨迹算法如下：
(1)基于置信度的虚拟短轨迹算法的输入为当前跟踪的行人，短轨迹生成模块传递的短轨迹，基于区块链的行人跟踪方法得到的成功的跟踪的行人与短轨迹的匹配，以下称匹配集合；
(2)如果匹配集合为空，则转入步骤(7)；否则，按顺序从匹配集合中取出一个匹配，包括短轨迹和跟踪的行人；
(3)如果跟踪的行人的状态不是删除，转入步骤(4)；否则，转入步骤(6)；
(4)计算短轨迹的置信度、短轨迹与跟踪的行人之间的外观差异，并判断两者是否满足阈值，如果均满足阈值，转入；否则，转入步骤(6)；
(5)检测跟踪的行人的历史轨迹，判断在哪些帧发生了断裂，即该跟踪的行人在哪些帧是没有边框的，记录这些帧；
(6)对所有记录的帧，根据其前后帧的边框，使用插值算法插值出虚拟的边框；完成插值后，转入步骤(2)；
(7)结束并退出。
6.一种基于区块链的跨摄像机行人跟踪方法，其特征在于，实现步骤如下：
(1)用户打开入口界面，根据界面提示输入自己的用户名和密码，登陆后入口模块会对用户名和密码进行核检，核检通过后允许用户登入***；根据用户账户对应的权限信息，开放不同的权限，如果用户是管理员，则提供全部权限，开放数据导出接口，如果是普通用户，则仅提供在线查看功能；
(2)用户正常登陆***，则开始执行行人跟踪任务。数据收集模块获得实时视频数据输入，并传递到短轨迹生成模块。短轨迹生成模块从获得的视频数据获得检测并生成短轨迹，同时使用共现约束网络完成短轨迹的特征提取，将短轨迹与其特征打包传递到跟踪模块；
(3)跟踪模块获得短轨迹生成模块传递的短轨迹和短轨迹特征，跟踪多个行人，更新当前所跟踪的行人的状态，计算当前跟踪的行人和接收的短轨迹之间的相似度矩阵；再根据当前所跟踪的行人的位置和输入的短轨迹，对相似度矩阵进行过滤，得到过滤后的相似度矩阵；过滤后的相似度矩阵的最优化分配方案使用匈牙利算法解决，得到成功匹配的行人和短轨迹；未成功匹配的行人的未命中次数加一，未成功得到匹配的短轨迹被初始化为新的行人；在所有未成功匹配的行人和短轨迹处理完毕后，使用基于时间模拟退火的特征修复算法对所有行人当前状态为确认的跟踪的行人外观特征的特征池进行更新；当所有跟踪的行人外观特征的特征池完成更新后，使用基于置信度的虚拟短轨迹算法对所有跟踪的行人增加虚拟短轨迹,即不是由短轨迹生成模块产生的，而是根据行人历史轨迹估计的短轨迹，将虚拟短轨迹添加到跟踪的行人的历史轨迹中；如果入口模块结束跟踪的命令，则将所有跟踪的行人的历史轨迹保存到数据库中；
(4)区块链模块与跟踪模块在***中同时开始启动，以检测跟踪行人的状态变化，如果跟踪模块中某一个跟踪的行人状态变为删除，则将该行人的信息打包并发送到区块链中；该模块不断检测区块链是否有新的区块，当有新区块被上传到区块链中时，下载新区块中的数据，若新区块中保存的摄像机编号与当前摄像机不同，则将新区块中的特征池以及行人的序号下载下来，使用人重识别ReID网络对该特征池与当前跟踪模块跟踪的所有行人做人重识别，如果ReID网络判断该特征池和某个跟踪的行人是一致的，则向跟踪模块发送融合序号请求，该请求包含从新区块中下载的序号以及对应的当前跟踪模块跟踪的行人的序号；
(5)用户入口模块发送结束跟踪的指令，输出模块根据用户权限开放对应的接口供用户导出数据。
CN202010783800.0A 2020-08-06 2020-08-06 一种基于区块链的跨摄像机行人跟踪***及方法 Active CN112131929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010783800.0A CN112131929B (zh) 2020-08-06 2020-08-06 一种基于区块链的跨摄像机行人跟踪***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010783800.0A CN112131929B (zh) 2020-08-06 2020-08-06 一种基于区块链的跨摄像机行人跟踪***及方法

Publications (2)

Publication Number Publication Date
CN112131929A true CN112131929A (zh) 2020-12-25
CN112131929B CN112131929B (zh) 2022-10-11

Family

ID=73850813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010783800.0A Active CN112131929B (zh) 2020-08-06 2020-08-06 一种基于区块链的跨摄像机行人跟踪***及方法

Country Status (1)

Country Link
CN (1) CN112131929B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668487A (zh) * 2020-12-29 2021-04-16 杭州晨安科技股份有限公司 一种基于身体重合度与人体相似性相融合的老师跟踪方法
CN112861785A (zh) * 2021-03-09 2021-05-28 中山大学 一种基于实例分割和图像修复的带遮挡行人重识别方法
CN113206980A (zh) * 2021-04-08 2021-08-03 北京航空航天大学 一种端边云融合群智感知环境中的智能节点推荐***
CN116542858A (zh) * 2023-07-03 2023-08-04 众芯汉创(江苏)科技有限公司 一种基于空间轨迹的数据拼接分析***
CN117435934A (zh) * 2023-12-22 2024-01-23 中国科学院自动化研究所 基于二分图的运动目标轨迹的匹配方法、装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017016516A1 (zh) * 2015-07-24 2017-02-02 上海依图网络科技有限公司 一种复杂场景下基于人脸识别的视频人像跟踪方法
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN110427904A (zh) * 2019-08-08 2019-11-08 高冬法 基于行人重识别的商场监控***、方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017016516A1 (zh) * 2015-07-24 2017-02-02 上海依图网络科技有限公司 一种复杂场景下基于人脸识别的视频人像跟踪方法
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN110427904A (zh) * 2019-08-08 2019-11-08 高冬法 基于行人重识别的商场监控***、方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668487A (zh) * 2020-12-29 2021-04-16 杭州晨安科技股份有限公司 一种基于身体重合度与人体相似性相融合的老师跟踪方法
CN112668487B (zh) * 2020-12-29 2022-05-27 杭州晨安科技股份有限公司 一种基于身体重合度与人体相似性相融合的老师跟踪方法
CN112861785A (zh) * 2021-03-09 2021-05-28 中山大学 一种基于实例分割和图像修复的带遮挡行人重识别方法
CN112861785B (zh) * 2021-03-09 2023-09-29 中山大学 一种基于实例分割和图像修复的带遮挡行人重识别方法
CN113206980A (zh) * 2021-04-08 2021-08-03 北京航空航天大学 一种端边云融合群智感知环境中的智能节点推荐***
CN116542858A (zh) * 2023-07-03 2023-08-04 众芯汉创(江苏)科技有限公司 一种基于空间轨迹的数据拼接分析***
CN116542858B (zh) * 2023-07-03 2023-09-05 众芯汉创(江苏)科技有限公司 一种基于空间轨迹的数据拼接分析***
CN117435934A (zh) * 2023-12-22 2024-01-23 中国科学院自动化研究所 基于二分图的运动目标轨迹的匹配方法、装置和存储介质

Also Published As

Publication number Publication date
CN112131929B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN112131929B (zh) 一种基于区块链的跨摄像机行人跟踪***及方法
CN112001339B (zh) 一种基于YOLO v4的行人社交距离实时监测方法
CN111161315B (zh) 一种基于图神经网络的多目标跟踪方法和***
CN109784269A (zh) 一种基于时空联合的人体动作检测和定位方法
CN110222592B (zh) 一种基于互补时序行为提案生成的时序行为检测网络模型的构建方法
CN110163069A (zh) 用于辅助驾驶的车道线检测方法
CN110457984A (zh) 监控场景下基于ResNet-50的行人属性识别方法
CN114821374B (zh) 一种知识与数据协同驱动的无人机航拍目标检测方法
CN112801019B (zh) 基于合成数据消除无监督车辆再识别偏差的方法及***
CN110532937A (zh) 基于识别模型与分类模型进行列车前向目标精准识别的方法
CN113297972A (zh) 一种基于数据融合深度学习的变电站设备缺陷智能分析方法
CN115147459A (zh) 基于Swin Transformer的无人机目标跟踪方法
CN113870312B (zh) 基于孪生网络的单目标跟踪方法
CN111126155A (zh) 一种基于语义约束生成对抗网络的行人再识别方法
Gan et al. Traffic sign recognition based on improved YOLOv4
Chu et al. Illumination-guided transformer-based network for multispectral pedestrian detection
CN110688512A (zh) 基于ptgan区域差距与深度神经网络的行人图像搜索算法
CN112733734B (zh) 一种基于黎曼流形特征和lstm网络相结合的交通异常事件检测方法
CN113869412A (zh) 一种联合轻量级注意力机制和YOLOv3网络的图像目标检测方法
CN117576149A (zh) 一种基于注意力机制的单目标跟踪方法
CN115294176B (zh) 一种双光多模型长时间目标跟踪方法、***及存储介质
CN115187906A (zh) 一种行人检测与重识别方法、装置和***
Nan et al. Safety Helmet Detection Dynamic Model Based on the Critical Area Attention Mechanism
Wang et al. Thermal infrared object tracking based on adaptive feature fusion
Li et al. Research on Visible Light Pedestrian Detection Algorithm Based on Improved YOLOv5m

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant