CN110675430A - 一种基于运动和表观适应融合的无人机多目标跟踪方法 - Google Patents

一种基于运动和表观适应融合的无人机多目标跟踪方法 Download PDF

Info

Publication number
CN110675430A
CN110675430A CN201910907796.1A CN201910907796A CN110675430A CN 110675430 A CN110675430 A CN 110675430A CN 201910907796 A CN201910907796 A CN 201910907796A CN 110675430 A CN110675430 A CN 110675430A
Authority
CN
China
Prior art keywords
motion
similarity
objects
apparent
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910907796.1A
Other languages
English (en)
Other versions
CN110675430B (zh
Inventor
李国荣
于洪洋
黄庆明
苏荔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Chinese Academy of Sciences
Original Assignee
University of Chinese Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Chinese Academy of Sciences filed Critical University of Chinese Academy of Sciences
Priority to CN201910907796.1A priority Critical patent/CN110675430B/zh
Publication of CN110675430A publication Critical patent/CN110675430A/zh
Application granted granted Critical
Publication of CN110675430B publication Critical patent/CN110675430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉的技术领域，特别是涉及一种基于运动和表观适应融合的无人机多目标跟踪方法，其无需人工设置融合权重的MOT，并且可以提高无人机视频中多目标跟踪性能；包括以下步骤：S1、使用已训练好的目标重新识别网络来计算同一帧中物体之间的表观相似性，并计算邻帧中物体间的表观相似性；S2、使用Social LSTM来预测目标的运动趋势，从而计算相邻帧中物体间的运动相似性；S3、使用同一帧中物体之间的表观相似性来学习表观特征的重要性，并用于融合表观和运动特征，得到相邻帧中目标间的总体相似性，最终得到目标的最优关联，从而实现多目标的跟踪。

Description

一种基于运动和表观适应融合的无人机多目标跟踪方法
技术领域
本发明涉及计算机视觉的技术领域，特别是涉及一种基于运动和表观适应融合的无人机多目标跟踪方法。
背景技术
多目标跟踪(MOT)是许多视频分析任务的关键步骤，如视频事件分析、行为理解。MOT旨在跟踪视频中出现的物体，并给出每个物体在每帧中的位置。现有的MOT方法可以根据利用目标检测结果的方式分为两类：线下跟踪和线上跟踪。线下跟踪在关联检测结果时考虑整个视频上的目标检测结果；而线上跟踪则跟踪考虑当前帧上的检测结果及已得到的每个物体的运动轨迹。
线下的方法由于可以利用未来帧中的信息，因此性能较好，但难以实施；而线上方法依据历史信息及当前检测结果进行跟踪，其难度较大。
现有的方法通常使用多种线索来综合衡量相邻帧中物体间的相似性。但是，在无人机视频中，由于背景等因素多变，因此在不同情况下，每种线索对每个物体的重要性是不一样。并且，现有的方法多使用人工经验设置的权重来融合不同线索，难以用于无人机视频，因此跟踪性能不好。
发明内容
为解决上述技术问题，本发明提供一种无需人工设置融合权重的MOT，并且可以提高无人机视频中多目标跟踪性能的基于运动和表观适应融合的无人机多目标跟踪方法。
本发明的一种基于运动和表观适应融合的无人机多目标跟踪方法，包括以下步骤：
S1、使用已训练好的目标重新识别网络来计算同一帧中物体之间的表观相似性，并计算邻帧中物体间的表观相似性；
S2、使用Social LSTM来预测目标的运动趋势，从而计算相邻帧中物体间的运动相似性；
S3、使用同一帧中物体之间的表观相似性来学习表观特征的重要性，并用于融合表观和运动特征，得到相邻帧中目标间的总体相似性，最终得到目标的最优关联，从而实现多目标的跟踪。
本发明的一种基于运动和表观适应融合的无人机多目标跟踪方法，所述步骤S1的具体操作为：利用物体检测器先检测物体，然后使用在物体重识别数据库上预训练好的VGG网络，计算同一帧中物体间的表观相似性，及相邻两帧中物体间的表观相似性。
本发明的一种基于运动和表观适应融合的无人机多目标跟踪方法，所述步骤S2的具体操作为：预训练Social LSTM模型，使用现有的多目标跟踪数据集或轨迹预测数据集来预训练运动相似性计算分支。
本发明的一种基于运动和表观适应融合的无人机多目标跟踪方法，所述步骤S3的具体操作为：利用同一帧中，依据一个物体与其周围物体的最大表观相似性来衡量表观特征对该物体的判别性：利用自适应权重的线性加权方式融合表观和运动特征；每帧自动调节权重的大小。
与现有技术相比本发明的有益效果为：
1、本发明的方法利用预训练好的重识别网络，有效学习目标表观之间的相似性，从而可以有效衡量表观特征的相似性，不需要调整重识别网络，从而能够快速的计算表观特征的重要性，有利于实现实时多目标跟踪；
2、本发明的方法利用Social LSTM建模物体的运动模型，考虑到物体之间的相互影响，从而可以使运动相似性更加准确；
3、本发明的方法在跟踪过程中自适应计算表观及运动信息的权重，从而避免了人工设定，减少了人工操作，因此避免了人工失误的引入，进而可以提升算法的性能和自动化水平。
附图说明
图1是本发明的追踪方法流程图。
具体实施方式
下面结合实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例
S1、利用物体检测器先检测物体，然后使用在物体重识别数据库上预训练好的VGG网络，使用目标重识别数据库训练目标重识别网络(基干网络为VGG)；并将其用于同一帧不同目标之间或相邻帧中目标之间的表观相似性度量；
S2、利用多目标跟踪数据集或轨迹预测数据集来预训练social LSTM模型，使用现有的多目标跟踪数据集或轨迹预测数据集来预训练运动相似性计算分支，并根据预测位置来计算相邻帧中目标之间的运动相似性；
利用目标检测器如Faster-RCNN，SSD，R-FCN等检测当前帧It的物体
Figure BDA0002213799420000031
并利用目标重识别网络计算前一帧不同物体间的相似性
Figure BDA0002213799420000032
相邻帧中物体的表观相似性
Figure BDA0002213799420000033
然后计算当前帧中，表观对物体
Figure BDA0002213799420000041
的重要性
Figure BDA0002213799420000042
计算公式如下：
Figure BDA0002213799420000043
S3、利用Social LSTM计算当前帧It中物体与前一帧中物体的运动相似性
Figure BDA0002213799420000044
并利自动融合表观和运动相似性，得到相邻帧中目标的相似性矩阵，计算公式如下：
Figure BDA0002213799420000045
最后利用最优化方法如葡萄牙算法求解最优匹配，获得目标的运动轨迹。
因此，本发明的方法在使用时，由于其采用预训练好的重识别网络，有效学***。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (4)

1.一种基于运动和表观适应融合的无人机多目标跟踪方法，其特征在于，包括以下步骤：
S1、使用已训练好的目标重新识别网络来计算同一帧中物体之间的表观相似性，并计算邻帧中物体间的表观相似性；
S2、使用Social LSTM来预测目标的运动趋势，从而计算相邻帧中物体间的运动相似性；
S3、使用同一帧中物体之间的表观相似性来学习表观特征的重要性，并用于融合表观和运动特征，得到相邻帧中目标间的总体相似性，最终得到目标的最优关联，从而实现多目标的跟踪。
2.如权利要求1所述的一种基于运动和表观适应融合的无人机多目标跟踪方法，其特征在于，所述步骤S1的具体操作为：利用物体检测器先检测物体，然后使用在物体重识别数据库上预训练好的VGG网络，计算同一帧中物体间的表观相似性，及相邻两帧中物体间的表观相似性。
3.如权利要求1所述的一种基于运动和表观适应融合的无人机多目标跟踪方法，其特征在于，所述步骤S2的具体操作为：预训练Social LSTM模型，使用现有的多目标跟踪数据集或轨迹预测数据集来预训练运动相似性计算分支。
4.如权利要求1所述的一种基于运动和表观适应融合的无人机多目标跟踪方法，其特征在于，所述步骤S3的具体操作为：利用同一帧中，依据一个物体与其周围物体的最大表观相似性来衡量表观特征对该物体的判别性：利用自适应权重的线性加权方式融合表观和运动特征；每帧自动调节权重的大小。
CN201910907796.1A 2019-09-24 2019-09-24 一种基于运动和表观适应融合的无人机多目标跟踪方法 Active CN110675430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910907796.1A CN110675430B (zh) 2019-09-24 2019-09-24 一种基于运动和表观适应融合的无人机多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910907796.1A CN110675430B (zh) 2019-09-24 2019-09-24 一种基于运动和表观适应融合的无人机多目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110675430A true CN110675430A (zh) 2020-01-10
CN110675430B CN110675430B (zh) 2022-09-27

Family

ID=69078918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910907796.1A Active CN110675430B (zh) 2019-09-24 2019-09-24 一种基于运动和表观适应融合的无人机多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110675430B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862090A (zh) * 2021-01-22 2021-05-28 南开大学 一种基于深度时空神经网络的气温预报方法
CN116453103A (zh) * 2023-06-15 2023-07-18 松立控股集团股份有限公司 一种车辆跨镜跟踪车牌识别方法、***及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360226A (zh) * 2018-10-17 2019-02-19 武汉大学 一种基于时间序列多特征融合的多目标跟踪方法
CN109740653A (zh) * 2018-12-25 2019-05-10 北京航空航天大学 一种融合视觉表观与时空约束的车辆再识别方法
US20190147610A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. End-to-End Tracking of Objects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190147610A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. End-to-End Tracking of Objects
CN109360226A (zh) * 2018-10-17 2019-02-19 武汉大学 一种基于时间序列多特征融合的多目标跟踪方法
CN109740653A (zh) * 2018-12-25 2019-05-10 北京航空航天大学 一种融合视觉表观与时空约束的车辆再识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALEXANDRE ALAHI ET AL.: "Social LSTM: Human Trajectory Prediction in Crowded Spaces", 《IEEE XPLORE》 *
于洪洋: "基于多源信息融合的多目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862090A (zh) * 2021-01-22 2021-05-28 南开大学 一种基于深度时空神经网络的气温预报方法
CN112862090B (zh) * 2021-01-22 2023-01-31 南开大学 一种基于深度时空神经网络的气温预报方法
CN116453103A (zh) * 2023-06-15 2023-07-18 松立控股集团股份有限公司 一种车辆跨镜跟踪车牌识别方法、***及电子设备
CN116453103B (zh) * 2023-06-15 2023-08-18 松立控股集团股份有限公司 一种车辆跨镜跟踪车牌识别方法、***及电子设备

Also Published As

Publication number Publication date
CN110675430B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN109344725B (zh) 一种基于时空关注度机制的多行人在线跟踪方法
CN110276783B (zh) 一种多目标跟踪方法、装置及计算机***
CN111161315B (zh) 一种基于图神经网络的多目标跟踪方法和***
CN110738690A (zh) 一种基于多目标追踪框架的无人机视频中车速校正方法
CN113052873B (zh) 一种在线自监督学习场景适应的单目标跟踪方法
CN111862145B (zh) 一种基于多尺度行人检测的目标跟踪方法
CN114049382B (zh) 一种智能网联环境下目标融合跟踪方法、***和介质
CN109543615B (zh) 一种基于多级特征的双学习模型目标跟踪方法
CN107368802B (zh) 基于kcf和人脑记忆机制的运动目标跟踪方法
CN110120064A (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN110675430B (zh) 一种基于运动和表观适应融合的无人机多目标跟踪方法
CN111562571B (zh) 一种未知新生强度的机动多目标跟踪与航迹维持方法
CN114090718B (zh) 基于Bi-LSTM预测与模糊分析的中断航迹关联方法
CN112052802A (zh) 一种基于机器视觉的前方车辆行为识别方法
CN110189362B (zh) 基于多分支自编码对抗网络的高效目标跟踪方法
CN110728694A (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN113327272A (zh) 一种基于相关滤波的鲁棒性长时跟踪方法
CN113971688B (zh) 一种增强id重识别的无锚多目标跟踪方法
CN107657627B (zh) 基于人脑记忆机制的时空上下文目标跟踪方法
CN116630376A (zh) 基于ByteTrack的无人机多目标跟踪方法
CN105894014B (zh) 基于多因素不一致度量的异常行为序贯检测方法
CN104091352A (zh) 基于结构相似度的视觉跟踪方法
CN110689557A (zh) 一种基于kcf的改进型抗遮挡目标跟踪方法
CN113129336A (zh) 一种端到端多车辆跟踪方法、***及计算机可读介质
CN112163521A (zh) 一种车辆行驶行为的识别方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant