CN108664930A - 一种智能的多目标检测跟踪方法 - Google Patents

一种智能的多目标检测跟踪方法 Download PDF

Info

Publication number
CN108664930A
CN108664930A CN201810449676.7A CN201810449676A CN108664930A CN 108664930 A CN108664930 A CN 108664930A CN 201810449676 A CN201810449676 A CN 201810449676A CN 108664930 A CN108664930 A CN 108664930A
Authority
CN
China
Prior art keywords
target
tracking
frame image
max
candidate region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810449676.7A
Other languages
English (en)
Inventor
李宁鸟
王文涛
韩雪云
李�权
魏璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd
Original Assignee
XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd filed Critical XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd
Priority to CN201810449676.7A priority Critical patent/CN108664930A/zh
Publication of CN108664930A publication Critical patent/CN108664930A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及目标检测与跟踪领域，具体涉及一种智能的多目标检测跟踪方法。一种智能的多目标检测跟踪方法，该方法如下：对获取的当前帧图像进行检测获得检测目标信息；将所有检测目标信息进行数据关联、编号并进行跟踪；以编号的目标所在位置的中心点为中心，选取候选区域；利用分类器模型在候选区域中获取候选目标所对应的目标位置；判断候选目标是否为跟踪目标。本发明能够准确的判断目标是否碰到遮挡、丢失或者模糊等状况；且能够在目标丢失的情况下准确的检测到目标后继续进行跟踪，实现多个目标的检测和跟踪。

Description

一种智能的多目标检测跟踪方法
技术领域
本发明涉及目标检测与跟踪领域，具体涉及一种智能的多目标检测跟踪方法。
背景技术
在复杂背景下运动目标检测和跟踪是光电制导、目标探测、自动识别等领域的共同关键技术。如何自动、准确且快速地从复杂背景中检测到运动目标并进行稳定跟踪，在军事和民用领域都具有十分重要的地位和广阔的应用前景。
目前，军事领域的应用环境往往比较复杂，如水面的浪花、雨雪天气和树木摇动会产生噪声，日照条件的不同也会导致图像发生不同的变化，这些因素都使运动目标的检测变得困难，但是***要求快速检测和稳定跟踪。此外，现有大多数被动式雷达在目标侦察过程中，容易受到电子干扰，无法检测到目标位置信息并提供给跟踪设备，导致跟踪任务失败，那么需要一种主动式不受干扰的目标检测方法来提供准确的目标坐标信息。在民用领域仍然存在类似的问题，比如低空背景下的无人机检测和跟踪，容易受建筑物构件、树梢、不明飞行物等的影响，导致无法准确的检测和稳定的跟踪。
针对上述状况，传统的目标检测方法存在复杂背景下目标检测难度高且准确度低的问题，导致无法进行正常跟踪；同时在目标跟踪过程中发生跟踪丢失或者遮挡时不能及时做出判断，甚至在目标重新出现时，也存在检测较为困难的问题，导致无法持续稳定的跟踪。因此，有必要提出一种高效的目标检测跟踪方法，以实现复杂背景下运动目标的智能检测和跟踪。
发明内容
本发明旨在针对上述问题，提出一种能够对复杂背景下运动目标进行智能检测和跟踪的方法。
本发明的技术方案在于：
一种智能的多目标检测跟踪方法，该方法如下：
获取当前帧图像，并对获取的当前帧图像进行检测获得检测目标信息；将所有检测目标信息进行数据关联、编号并进行跟踪；以编号的目标所在位置的中心点为中心，选取候选区域；利用分类器模型在候选区域中获取候选目标所对应的目标位置；
判断候选目标是否为跟踪目标：
若为跟踪目标，则用当前帧图像中跟踪目标的坐标信息进行跟踪，并更新分类器模型，完成多目标检测跟踪；若非跟踪目标，则循环上述步骤，直至找到正确的跟踪目标并更新分类器模型。
一种智能的多目标检测跟踪方法，该方法如下：
获取当前帧图像；
利用深度学习目标检测模型对当前帧图像进行检测，并对当前帧图像检测后的每个目标预设保留数以及互联数；获得满足预设条件的检测目标信息，所述预设条件包括长宽比和占空比；
将获得的所有检测目标信息进行数据关联，判断检测目标信息是否符合编号条件；
若检测目标信息满足编号条件时，进行跟踪：以预设编号的目标所在位置的中心点为中心，以目标大小的2～5倍的范围选取候选区域；
用分类器模型求取候选区域的响应图，获得响应图中的最大响应值，该最大响应值所在位置即为候选目标所对应的目标位置；
根据跟踪失效判断条件判断候选区域内的目标是否为跟踪目标；若为跟踪目标，则用当前帧图像中跟踪目标的坐标信息进行跟踪，并更新分类器模型，完成多目标检测跟踪；若非跟踪目标，则重复上述步骤，直至找到正确的跟踪目标并更新分类器模型,完成智能多目标检测和跟踪。
所述对当前帧图像进行检测借助深度学习目标检测分类器模型完成，该方法如下：
用深度学习目标检测模型对当前帧图像进行检测，获得多个目标和满足预设条件的检测目标的对应概率，
取多个目标中概率值最大的检测目标作为当前帧的检测目标，获得检测目标的左上角坐标、宽度及高度信息。
所述目标数据关联的方法如下：
目标配准：通过目标的位置信息以及相似性信息，将当前帧中所有目标与前一帧图像中所有目标进行匹配，若存在匹配成功的目标，该目标的保留数不变，互联数递增，则将匹配成功的前一帧图像中目标信息替换成当前帧图像中目标信息；若无匹配成功的目标，则该目标的保留数递减，互联数保持不变，则保存匹配不成功的当前帧图像中的目标信息和前一帧图像中的目标信息；
目标配准的依据如下：
结合图像本身的信息，设定一个相似度判据，求解两个目标之间的归一化互相关值NCC；NCC值为两个目标之间的归一化互相关值；利用NCC值描述两个目标之间的相似程度，从而进一步确定两个目标是否匹配；
NCC的计算公式如下：
其中I1和I2分别表示两个目标对应的图像区域，⊙表示点乘运算；
目标剔除：匹配不成功时，若该目标的保留数递减到预设值，则剔除该目标；
判断目标是否满足编号要求：若该目标的互联数递增到预设值时，满足标号要求，则对该目标进行编号，编号顺序从小到大，编号0到9。
进行跟踪时，以预设编号的目标所在位置的中心点为中心，在当前帧图像中，在目标大小2-5倍的范围中选取3-7个候选区域，方法如下：
以检测目标所在位置的中心点为中心，在当前帧图像中选取第一候选区域，第一候选区域的宽和高分别为跟踪目标在上一帧图像中宽和高的2-2.5倍；
以第一候选区域范围大小为基准，以其中心点为中心，以k为尺度因子，选取1-3个候选区域，其中1＜k≤1.5；
以第一候选区域范围大小为基准，以其中心点为中心，以1/k倍在当前帧图像中选取1-3个候选区域。
用分类器模型求取候选区域的响应图的方法如下：
在训练分类器模型之前，对初始图像中的跟踪目标进行扩展，即以初始图像中的目标区域的2-2.5倍的范围进行扩展，提取扩展后目标区域所对应的Hog特征向量；
根据扩展后的目标区域对应的Hog特征向量，训练分类器模型；分类器模型的训练公式如下：
其中，表示对α的傅里叶变换，表示训练得到的分类器模型，y表示初始图像中训练样本对应的标签，k表示核函数，x表示扩展后区域的Hog特征向量，λ是一个正则化参数，为常量，取值0.000001；然后在训练分类器模型过程中采用连续的标签标记训练样本，对样本中心距离目标中心的远近分别赋0-1范围内的数值，且服从高斯分布，离目标越近，值越趋向于1，离目标越远，值越趋向于0；
利用目标分类器模型，获得当前帧中多个尺度的候选区域对应的响应图；
其中，表示对f(z)的傅里叶变换，f(z)表示候选区域z对应的响应图，z表示当前帧中其中一个候选区域对应的Hog特征向量，x表示扩展后的目标区域对应的Hog特征向量,表示训练得到的分类器模型。
候选目标所对应的目标位置的确定方法如下：
通过分类器模型分别计算3-7个候选区域所对应响应图中的最大响应值，其中第一候选区域的最大响应值记为FmaxA，以k为尺度因子，选取的候选区域的最大响应值记为FmaxA′,以1/k为尺度因子，选取的候选区域的最大响应值记为FmaxA″，其中A为第一候选区域，A′为以k为尺度因子选取的候选区域，A″为以1/k为尺度因子选取的候选区域；
同时，引入尺度权重因子scale_weight，设定其取值范围在0.9-1之间；
判断FmaxA是否大于scale_weight与FmaxA′的乘积；
当FmaxA>scale_weight×FmaxA′时，则认定FmaxA为最大响应值Fmax’，进入下一步判断；否则认定FmaxA′为最大响应值Fmax’，进入下一步判断，同时更新候选区域的信息；
判断Fmax’是否大于scale_weight与FmaxA″的乘积；
当Fmax’>scale_weight×FmaxA″时，则认定Fmax’为最大响应值Fmax，则直接进入下一步；否则认定FmaxA′为最大响应值Fmax，同时更新候选区域的信息；
最大响应值Fmax所在的候选区域，即为当前帧目标最可能出现的位置。
跟踪目标的判定方法如下：
判断候选区域最大响应值Fmax是否大于预设响应值，其中所述预设响应值是指候选区域内最大响应值的最小值，取值范围在0-1之间，优选为0.3；
当最大响应值Fmax大于预设响应值时，则计算当前帧能够反应候选区域响应图振荡程度的APCE值，记为APCEcurrent，以及上一帧图像到第二帧图像中跟踪目标的平均APCE值，记为APCEaverage；
其中：APCE值的求取公式如下：
判断当前帧候选区域的APCEcurrent是否大于预设震荡比例的APCEaverage；
当APCEcurrent大于预设震荡比例的平均APCEaverage时，认为当前帧图像中的候选目标为跟踪目标，更新分类器模型；否则，判断候选目标出现遮挡、丢失或者模糊情况，进入下一帧图像进行目标检测；所述预设震荡比例在0-1之间，优选为0.4。
更新分类器模型的方法如下：
用当前帧图像中跟踪目标的信息更新上一帧图像中跟踪目标信息，并计算当前帧图像中跟踪目标的APCEaverage；
判断跟踪目标的Fmax是否大于预设响应比例倍的平均Fmax-average，设定该预设比例在0-1之间，优选为0.7；
在判断跟踪目标的Fmax大于预设响应比例倍的平均Fmax-average时，则直接进入下一步判断进行确定；否则，当前帧图像不进行分类器模型更新；
判断跟踪目标的APCEaverage值是否大于预设平均震荡比例倍的平均APCE值，设定预设平均震荡比例在0-1之间，优选为0.45；
在判断跟踪目标的APCE值大于预设平均震荡比例倍的平均APCE值时，则对当前帧图像进行分类器模型更新；否则，当前帧图像不进行分类器模型更新；
对当前帧图像进行模型更新；
其中：Fmax-average为当前帧图像中响应图的最大响应值Fmax与上一帧图像中响应图的最大响应值Fmax的平均值；其中预设响应比例是指当前帧跟踪目标区域的最大响应值相对于跟踪目标历史平均响应值的浮动程度，取值范围在0-1之间，优选为0.7；
预设平均震荡比例是指通过当前帧候选区域响应图的得到的平均震荡值相对于跟踪目标历史平均响应图震荡值的剧烈程度，取值范围在0-1之间，优选为0.45。
所述模型更新的公式如下所述：
其中，表示第n帧图像的分类器模型参数，表示第n-1帧图像的分类器模型参数，η表示学习率参数，取值为0.015。
本发明的技术效果在于：
本发明对视频图像进行处理时，对连续多帧图像检测后的所有目标进行数据关联，对满足数据关联的条件的目标进行编号，后期跟踪时仅根据编号进行跟踪即可；另一方面，本发明利用深度学习的目标检测模型准确的检测目标，解决传统目标检测困难且准确度低的问题；通过目标响应图振荡情况设定的跟踪丢失判断条件，从而能够准确的判断目标是否碰到遮挡、丢失或者模糊等状况；且能够在目标丢失的情况下准确的检测到目标后继续进行跟踪，实现多个目标的检测和跟踪。
附图说明
图1为本发明一种智能的多目标检测跟踪方法的实现流程图；
图2为本发明一种智能的多目标检测跟踪方法的具体实现框图；
图3为连续多帧图像检测后的目标进行数据关联后结果图；
图4为对编号0的行驶车辆开始进行跟踪图；
图5为编号0的行驶车辆持续稳定跟踪图；
图6目标丢失导致跟踪失效重新进入检测图。
具体实施方式
一种智能的多目标检测跟踪方法，该方法如下：
获取当前帧图像；
在首次跟踪时，需要包含跟踪目标信息的初始图像，以及包含初始图像的跟踪视频。
利用深度学习目标检测模型对当前帧图像进行检测，并对当前帧图像检测后的每个目标预设保留数以及互联数；获得满足预设条件的检测目标信息，所述预设条件包括长宽比和占空比；
为了解决传统复杂背景下目标检测困难且准确度低的情况，本发明主要利用深度学习来实现对低空复杂背景下的目标检测。深度学习目标检测算法模型主要是通过对指定类别的目标图像样本数据进行模型训练，利用深度学习强大的目标特征提取能力来实现对该类目标的检测识别，从而达到目标检测模块准确检测的目的。
一般情况下，通过检测模型获得当前帧图像中的多个目标，每个目标对应属于指定类别的概率。为了提高跟踪的可靠性，挑选符合预设概率值的检测目标作为当前帧的最终检测目标。
方法如下：
用深度学习目标检测模型对当前帧图像进行检测，获得多个目标和满足预设条件的检测目标的对应概率；
取多个目标中概率值最大的检测目标作为当前帧的检测目标，获得检测目标的左上角坐标、宽度及高度信息。
将获得的所有检测目标信息进行数据关联，判断检测目标信息是否符合编号条件；
目标配准：通过目标的位置信息以及相似性信息，将当前帧中所有目标与前一帧图像中所有目标进行匹配，若存在匹配成功的目标，该目标的保留数不变，互联数递增，则将匹配成功的前一帧图像中目标信息替换成当前帧图像中目标信息；若无匹配成功的目标，则该目标的保留数递减，互联数保持不变，则保存匹配不成功的当前帧图像中的目标信息和前一帧图像中的目标信息；
目标配准的依据如下所述：
结合图像本身的信息，设定一个相似度判据，求解两个目标之间的归一化互相关值NCC；NCC值为两个目标之间的归一化互相关值；利用NCC值描述两个目标之间的相似程度，从而进一步确定两个目标是否匹配；
NCC的计算公式如下：
其中I1和I2分别表示两个目标对应的图像区域，⊙表示点乘运算；
目标剔除：利用目标剔除方法，分别判断所有目标是否满足剔除依据；匹配不成功时，若该目标的保留数递减到预设值，则剔除该目标；
目标剔除的依据为：
在多目标数据关联处理中，虽然每帧检测的目标较多，但并不是相邻帧之间检测的目标都能匹配成功，可能存在长期未匹配成功的目标或者目标丢失的情况。因此，通常给当前帧图像检测后的每个目标预设保留数，该保留数通常为一常数。如果当前帧图像的目标和前一帧的目标匹配成功时，则该目标的保留数不变；否则，该目标的保留数递减，当目标的保留数递减到预设值时，则将该目标剔除。
判断目标是否满足编号要求：利用目标编号方法，分别判断所有目标是否满足编号要求；若该目标的互联数递增到预设值时，满足标号要求，则对该目标进行编号，编号顺序从小到大，编号0到9。
目标编号的依据为：
本发明通过目标的互联数是否符合编号条件来进行编号。通常给当前帧图像检测后的每个目标预设互联数，该互联数通常为一常数。如果当前帧图像的目标和前一帧的目标匹配成功时，则该目标的互联数递增；否则，该目标的互联数保持不变。当目标的互联数递增到预设值时，则对该目标进行编号。此外，目标编号时按照从小到大的顺序依次进行，编号从0到9。
方法如下：
首先，分别求解当前帧图像中目标与前一帧图像中目标在对应图像区域的NCC值，挑选出前一帧中与当前块的NCC值最大的目标为最匹配目标，即当前帧目标匹配成功，用当前目标的坐标信息替换前一帧中与当前块的NCC值最大的目标的坐标信息；
其次，分别设置当前帧检测完后的所有目标的保留数为5。待前后帧目标配准处理完成后，如果当前帧图像的目标和前一帧的目标匹配成功时，则该目标的保留数仍为原值；否则，该目标的保留数递减1。循环判断所有目标的保留数是否小于等于0。若某个目标的保留数小于等于0，则剔除该目标。
最后，分别设置当前帧检测完后的所有目标的互联数为0。待前后帧目标剔除处理完成后，如果当前帧图像的目标和前一帧的目标匹配成功时，则该目标的互联数递增1；否则，该目标的互联数仍为原值。循环判断所有目标的互联数是否大于4。若某个目标的互联数大于4，则对其进行编号。
若检测目标信息满足编号条件时，进行跟踪：以预设编号的目标所在位置的中心点为中心，在目标大小2-5倍的范围中选取3-7个候选区域，方法如下：
以检测目标所在位置的中心点为中心，在当前帧图像中选取第一候选区域，第一候选区域的宽和高分别为跟踪目标在上一帧图像中宽和高的2倍或2.5倍；
以第一候选区域范围大小为基准，以其中心点为中心，以k为尺度因子，选取1-3个候选区域，其中1＜k≤1.5；
以第一候选区域范围大小为基准，以其中心点为中心，以1/k倍在当前帧图像中选取1-3个候选区域。
本实施例中第一候选区域是以检测目标所在位置的中心点为中心，以跟踪目标在上一帧图像中宽和高的2.5倍为范围选取的1个候选区域，第二候选区域是以第一候选区域范围大小为基准，以其中心点为中心，以1.05倍的尺度因子选取的一个候选区域；第三候选区域是以第一候选区域范围大小为基准，以其中心点为中心，以1/1.05倍的尺度因子选取的一个候选区域。
考虑到目标在运动过程中，可能会发生尺度变化，可以以第一候选区域的范围大小为基础，在1＜k≤1.5的范围中再选取2个或3个尺度因子，如1.1、1.5以此确定多个候选区域，从而帮助分类器模型在更多的候选区域中精准的获取候选目标所对应的精确目标位置。用分类器模型求取候选区域的响应图，获得响应图中的最大响应值，该最大响应值所在位置即为候选目标所对应的目标位置；
计算候选区域的响应图的方法如下：
在训练分类器模型之前，对初始图像中的跟踪目标进行扩展，即以初始图像中的目标区域的2倍或2.5倍进行扩展，提取扩展后目标区域所对应的Hog特征向量；
根据扩展后的目标区域对应的Hog特征向量，训练分类器模型；
考虑到Hog特征是一种多维特征，对目标的光照变化以及尺度变化具有鲁棒性，因此，通过对扩展后的目标区域进行提取Hog特征，利用该特征向量训练分类器。另外，将目标跟踪的问题转化为求解脊回归模型的问题，通过构建训练样本的循环矩阵，利用循环矩阵在傅里叶域中的可对角化特性，大大简化脊回归模型参数的求解过程，从而更加快速的得到目标分类器。
分类器模型的训练公式如下：
其中，表示对α的傅里叶变换，表示训练得到的分类器模型，y表示初始图像中训练样本对应的标签，k表示核函数，x表示扩展后区域的Hog特征向量，λ是一个正则化参数，为常量，取值0.000001；
此外，由于目前大部分算法都是采用非正即负的方式来标记训练样本，即正样本标签为1，负样本为0。这种标记样本的方法有一个问题就是不能很好的反应每个负样本的权重，即对离目标中心远的样本和离目标中心的近的样本同等对待。
然后在训练分类器模型过程中采用连续的标签标记训练样本，对样本中心距离目标中心的远近分别赋0-1范围内的数值，且服从高斯分布，离目标越近，值越趋向于1，离目标越远，值越趋向于0；
利用目标分类器模型，获得当前帧中多个尺度的候选区域对应的响应图；
其中，表示对f(z)的傅里叶变换，f(z)表示候选区域z对应的响应图，z表示当前帧中其中一个候选区域对应的Hog特征向量，x表示扩展后的目标区域对应的Hog特征向量,表示训练得到的分类器模型。
候选目标所对应的目标位置的确定方法如下：
本发明选取三个候选区域，第一候选区域为1倍、第二候选区域为1.05倍、第三候选区域为1/1.05倍三个尺度大小，分别记为Fmax-1.05，Fmax-1，Fmax-1/1.05；
通过分类器模型分别计算三个尺度下候选区域对应响应图中最大响应值；
引入尺度权重因子scale_weight，取值设定为0.95；
判断Fmax-1是否大于scale_weight与Fmax-1.05的乘积；当Fmax-1>scale_weight×Fmax-1.05时，则将Fmax-1认定为最大响应值Fmax’，则直接进入下一步判断进行确定；否则将Fmax-1.05认定为最大响应值Fmax’，也进入下一步判断进行确定，同时更新候选区域的信息；
判断Fmax’是否大于scale_weight与Fmax-1/1.05的乘积；当Fmax’>scale_weight×Fmax-1/1.05时，则将Fmax’认定为最大响应值Fmax，则直接进入下一步判断进行确定；否则将Fmax-1.05认定为最大响应值Fmax，同时更新候选区域的信息；
最终确定最大响应值Fmax所在的候选区域，即其所在位置为当前帧目标位置。
根据跟踪失效判断条件判断候选区域内的目标是否为跟踪目标；若为跟踪目标，则用当前帧图像中跟踪目标的坐标信息进行跟踪，并更新分类器模型，完成多目标检测跟踪；若非跟踪目标，则重复上述步骤，直至找到正确的跟踪目标并更新分类器模型,完成智能多目标检测和跟踪。
跟踪目标的判定方法如下：
如何判断***跟踪稳定性的强弱程度，或者说如何能够准确的判断当前帧图像中目标出现了遮挡，甚至目标丢失，通过跟踪过程中跟踪丢失判断方法的优劣来进行评估？一旦能够判断这一点，模型更新的准确性就可以有较大提升，跟踪的稳定性也得到加强。
在跟踪准确的情况下，候选目标响应图的最大值，也就是峰值，是一个明显的波峰，接近理想的二维高斯分布。而在跟踪不好的情况中，尤其是碰到遮挡、丢失或者模糊等状况，候选目标的响应图会发生剧烈的振荡。此时，响应图将会出现多个峰值的情况，导致无法通过响应峰值来确定目标的中心位置。但是可以通过振荡程度及时的反应目标当前的状态，从而准确的判断目标是否碰到遮挡、丢失或者模糊等状况。因此利用一个能够反应响应图振荡程度的判据APCE(平均峰值相关能量)：
判断候选区域最大响应值Fmax是否大于预设响应值，其中所述预设响应值是指候选区域内最大响应值的最小值，取值范围在0-1之间，优选为0.3；
当最大响应值Fmax大于预设响应值时，则计算当前帧能够反应候选区域响应图振荡程度的APCE值，记为APCEcurrent，以及上一帧图像到第二帧图像中跟踪目标的平均APCE值，记为APCEaverage；
其中：APCE值的求取公式如下：
其中Fmax为响应图中的最大响应值，Fmin为响应图中的最小响应值，Fw,h为响应图中对应(w，h)位置的响应值，mean为求取均值。当APCE值突然减小时，就是目标被遮挡，或者目标丢失，甚至目标模糊的情况。
判断当前帧候选区域的APCEcurrent是否大于预设震荡比例的APCEaverage；
当APCEcurrent大于预设震荡比例的平均APCEaverage时，认为当前帧图像中的候选目标为跟踪目标，更新分类器模型；否则，判断候选目标出现遮挡、丢失或者模糊情况，进入下一帧图像进行目标检测；所述预设震荡比例在0-1之间，优选为0.4。
更新分类器模型的方法如下：
通过上一步进行跟踪结果可靠性的判定，确定是否每一帧的跟踪结果都用来更新。特别是当目标被遮挡，或者***已经跟的不好的时候，如果再去更新模型，只会使得***越来越无法识别目标，从而造成模型漂移问题。
另外，由于想要保证跟踪速度，就需要一种简单有效的模型更新策略，最好能够通过已经获得的一些资源来进行判断，而不需要进行太多复杂的计算。
用当前帧图像中跟踪目标的信息更新上一帧图像中跟踪目标信息，并计算当前帧图像中跟踪目标的APCEaverage；
判断跟踪目标的Fmax是否大于预设响应比例倍的平均Fmax-average，设定该预设比例在0-1之间，优选为0.7；
在判断跟踪目标的Fmax大于预设响应比例倍的平均Fmax-average时，则直接进入下一步判断进行确定；否则，当前帧图像不进行分类器模型更新；
判断跟踪目标的APCEaverage值是否大于预设平均震荡比例倍的平均APCE值，设定预设平均震荡比例在0-1之间，优选为0.45；
在判断跟踪目标的APCE值大于预设平均震荡比例倍的平均APCE值时，则对当前帧图像进行分类器模型更新；否则，当前帧图像不进行分类器模型更新；
对当前帧图像进行模型更新；
其中：Fmax-average为当前帧图像中响应图的最大响应值Fmax与上一帧图像中响应图的最大响应值Fmax的平均值；其中预设响应比例是指当前帧跟踪目标区域的最大响应值相对于跟踪目标历史平均响应值的浮动程度，取值范围在0-1之间，优选为0.7；
预设平均震荡比例是指通过当前帧候选区域响应图的得到的平均震荡值相对于跟踪目标历史平均响应图震荡值的剧烈程度，取值范围在0-1之间，优选为0.45。
所述模型更新的公式如下所述：
其中，表示第n帧图像的分类器模型参数，表示第n-1帧图像的分类器模型参数，η表示学习率参数，取值为0.015。
若判断候选目标不是跟踪目标时，则重新进行多目标检测；循环执行上述方法，完成多目标的检测与跟踪。
下面是结合照片对本发明复杂背景下运动目标检测与跟踪方法进行效果的验证：
本视频为外场采集的某道路监控视频，主要针对复杂场景(如建筑物、树丛及干扰物等)对行驶车辆进行实时的检测和跟踪。
开始对视频图像进行处理时，主要对连续多帧图像检测后的目标进行数据关联，对满足数据关联中各种判据的目标块进行编号，如图3所示。从图中可以看出，首次满足编号条件的行驶车辆有8个，编号从0到7。依据跟踪条件，仅对满足编号0条件的行驶车辆进行跟踪。
当行驶车辆满足编号0的条件时，开始对编号0的行驶车辆进行跟踪，如图4所示。此时，本方法直接从检测转入跟踪，开启检测和跟踪的智能切换。开始跟踪后，编号0的行驶车辆进行稳定的跟踪。
该方法能够保证持续稳定的跟踪，直至目标出现遮挡、丢失或者模糊，如图5所示。编号0的行驶车辆进入持续稳定跟踪状态，终端界面始终返回跟踪成功的标志1(i＝1)。此外，当目标跟踪过程中突然丢失时，该方法能够准确的判断目标丢失的情况，此时目标失踪失效，重新启动检测，如图6所示。编号0的车辆在转弯处丢失，该方法及时作出判断，此时终端界面返回跟踪丢失的标志0(i＝0)；同时启动检测，开始对当前帧图像进行检测目标，直至满足编号0的条件才转入跟踪。

Claims (10)

1.一种智能的多目标检测跟踪方法，其特征在于，该方法如下：
获取当前帧图像，并对获取的当前帧图像进行检测获得检测目标信息；
将所有检测目标信息进行数据关联、编号并进行跟踪；以编号的目标所在位置的中心点为中心，选取候选区域；利用分类器模型在候选区域中获取候选目标所对应的目标位置；
判断候选目标是否为跟踪目标：若为跟踪目标，则用当前帧图像中跟踪目标的坐标信息进行跟踪，并更新分类器模型，完成多目标检测跟踪；若非跟踪目标，则循环上述步骤，直至找到正确的跟踪目标并更新分类器模型。
2.根据权利要求1所述智能的多目标检测跟踪方法，其特征在于，该方法如下：
获取当前帧图像；
利用深度学习目标检测模型对当前帧图像进行检测，并对当前帧图像检测后的每个目标预设保留数以及互联数；获得满足预设条件的检测目标信息，所述预设条件包括长宽比和占空比；
将获得的所有检测目标信息进行数据关联，判断检测目标信息是否符合编号条件；
若检测目标信息满足编号条件时，进行跟踪：以预设编号的目标所在位置的中心点为中心，以目标大小的2-5倍的范围选取候选区域；
用分类器模型求取候选区域的响应图，获得响应图中的最大响应值，该最大响应值所在位置即为候选目标所对应的目标位置；
根据跟踪失效判断条件判断候选区域内的目标是否为跟踪目标；若为跟踪目标，则用当前帧图像中跟踪目标的坐标信息进行跟踪，并更新分类器模型，完成多目标检测跟踪；若非跟踪目标，则循环上述步骤，直至找到正确的跟踪目标并更新分类器模型,完成智能多目标检测和跟踪。
3.如权利要求2所述智能的多目标检测跟踪方法，其特征在于，所述对当前帧图像进行检测借助深度学习目标检测分类器模型完成，该方法如下：
用深度学习目标检测模型对当前帧图像进行检测，获得多个目标和满足预设条件的检测目标的对应概率，
取多个目标中概率值最大的检测目标作为当前帧的检测目标，获得检测目标的左上角坐标、宽度及高度信息。
4.根据权利要求3所述智能的多目标检测跟踪方法，其特征在于，所述目标数据关联的方法如下：
目标配准：通过目标的位置信息以及相似性信息，将当前帧中所有目标与前一帧图像中所有目标进行匹配，若存在匹配成功的目标，该目标的保留数不变，互联数递增，则将匹配成功的前一帧图像中目标信息替换成当前帧图像中目标信息；若无匹配成功的目标，则该目标的保留数递减，互联数保持不变，则保存匹配不成功的当前帧图像中的目标信息和前一帧图像中的目标信息；
目标配准的方法如下：
结合图像本身的信息，设定一个相似度判据，求解两个目标之间的归一化互相关值NCC；NCC值为两个目标之间的归一化互相关值；利用NCC值描述两个目标之间的相似程度，从而进一步确定两个目标是否匹配；
NCC的计算公式如下：
其中I1和I2分别表示两个目标对应的图像区域，⊙表示点乘运算；
目标剔除：匹配不成功时，若该目标的保留数递减到预设值，则剔除该目标；
判断目标是否满足编号要求：若该目标的互联数递增到预设值时，满足标号要求，则对该目标进行编号，编号顺序从小到大，编号0到9。
5.根据权利要求4所述智能的多目标检测跟踪方法，其特征在于，进行跟踪时，以预设编号的目标所在位置的中心点为中心，在目标大小2-5倍的范围中选取3-7个候选区域，方法如下：
以检测目标所在位置的中心点为中心，在当前帧图像中选取第一候选区域，第一候选区域的宽和高分别为跟踪目标在上一帧图像中宽和高的2-2.5倍；
以第一候选区域范围大小为基准，以其中心点为中心，以k为尺度因子，选取1-3个候选区域，其中1＜k≤1.5；
以第一候选区域范围大小为基准，以其中心点为中心，以1/k倍在当前帧图像中选取1-3个候选区域。
6.根据权利要求5所述智能的多目标检测跟踪方法，其特征在于，用分类器模型求取候选区域的响应图的方法如下：
在训练分类器模型之前，对初始图像中的跟踪目标进行扩展，即以初始图像中的目标区域2-2.5倍的范围进行扩展，提取扩展后目标区域所对应的Hog特征向量；
根据扩展后的目标区域对应的Hog特征向量，训练分类器模型；
分类器模型的训练公式如下：
其中，表示对α的傅里叶变换，表示训练得到的分类器模型，y表示初始图像中训练样本对应的标签，k表示核函数，x表示扩展后区域的Hog特征向量，λ是一个正则化参数；
然后在训练分类器模型过程中采用连续的标签标记训练样本，对样本中心距离目标中心的远近分别赋0-1范围内的数值，且服从高斯分布，离目标越近，值越趋向于1，离目标越远，值越趋向于0；
利用目标分类器模型，获得当前帧中多个尺度的候选区域对应的响应图；
其中，表示对f(z)的傅里叶变换，f(z)表示候选区域z对应的响应图，z表示当前帧中其中一个候选区域对应的Hog特征向量，x表示扩展后的目标区域对应的Hog特征向量,表示训练得到的分类器模型。
7.根据权利要求6所述智能的多目标检测跟踪方法，其特征在于，候选目标所对应的目标位置的确定方法如下：
通过分类器模型分别计算3-7个候选区域所对应响应图中的最大响应值，其中第一候选区域的最大响应值记为FmaxA，以k为尺度因子，选取的候选区域的最大响应值记为FmaxA′,以1/k为尺度因子，选取的候选区域的最大响应值记为FmaxA″，其中A为第一候选区域，A′为以k为尺度因子选取的候选区域，A″为以1/k为尺度因子选取的候选区域；
同时，引入尺度权重因子scale_weight，设定其取值范围在0.9-1之间；
判断FmaxA是否大于scale_weight与FmaxA′的乘积；
当FmaxA>scale_weight×FmaxA′时，则认定FmaxA为最大响应值Fmax’，进入下一步判断；否则认定FmaxA′为最大响应值Fmax’，进入下一步判断，同时更新候选区域的信息；
判断Fmax’是否大于scale_weight与FmaxA″的乘积；
当Fmax’>scale_weight×FmaxA″时，则认定Fmax’为最大响应值Fmax，则直接进入下一步；否则认定FmaxA′为最大响应值Fmax，同时更新候选区域的信息；
最大响应值Fmax所在的候选区域，即为当前帧目标最可能出现的位置。
8.根据权利要求7所述智能的多目标检测跟踪方法，其特征在于，跟踪目标的判定方法如下：
判断候选区域最大响应值Fmax是否大于预设响应值，其中所述预设响应值是指候选区域内最大响应值的最小值，取值范围在0-1之间；
当最大响应值Fmax大于预设响应值时，则计算当前帧能够反应候选区域响应图振荡程度的APCE值，记为APCEcurrent，以及上一帧图像到第二帧图像中跟踪目标的平均APCE值，记为APCEaverage；
其中：APCE值的求取公式如下：
判断当前帧候选区域的APCEcurrent是否大于预设震荡比例的APCEaverage；
当APCEcurrent大于预设震荡比例的平均APCEaverage时，认为当前帧图像中的候选目标为跟踪目标，更新分类器模型；否则，判断候选目标出现遮挡、丢失或者模糊情况，进入下一帧图像进行目标检测；所述预设震荡比例在0-1之间。
9.根据权利要求8所述智能的多目标检测跟踪方法，其特征在于，更新分类器模型的方法如下：
用当前帧图像中跟踪目标的信息更新上一帧图像中跟踪目标信息，并计算当前帧图像中跟踪目标的APCEaverage；
判断跟踪目标的Fmax是否大于预设响应比例倍的平均Fmax-average，设定该预设比例在0-1之间；
在判断跟踪目标的Fmax大于预设响应比例倍的平均Fmax-average时，则直接进入下一步判断进行确定；否则，当前帧图像不进行分类器模型更新；
判断跟踪目标的APCEaverage值是否大于预设平均震荡比例倍的平均APCE值，设定预设平均震荡比例在0-1之间；
在判断跟踪目标的APCE值大于预设平均震荡比例倍的平均APCE值时，则对当前帧图像进行分类器模型更新；否则，当前帧图像不进行分类器模型更新；
对当前帧图像进行模型更新；
其中：Fmax-average为当前帧图像中响应图的最大响应值Fmax与上一帧图像中响应图的最大响应值Fmax的平均值；其中预设响应比例是指当前帧跟踪目标区域的最大响应值相对于跟踪目标历史平均响应值的浮动程度，取值范围在0-1之间；
预设平均震荡比例是指通过当前帧候选区域响应图的得到的平均震荡值相对于跟踪目标历史平均响应图震荡值的剧烈程度，取值范围在0-1之间。
10.根据权利要求9所述智能的多目标检测跟踪方法，其特征在于，所述模型更新的公式如下所述：
其中，表示第n帧图像的分类器模型参数，表示第n-1帧图像的分类器模型参数，η表示学习率参数。
CN201810449676.7A 2018-05-11 2018-05-11 一种智能的多目标检测跟踪方法 Pending CN108664930A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810449676.7A CN108664930A (zh) 2018-05-11 2018-05-11 一种智能的多目标检测跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810449676.7A CN108664930A (zh) 2018-05-11 2018-05-11 一种智能的多目标检测跟踪方法

Publications (1)

Publication Number Publication Date
CN108664930A true CN108664930A (zh) 2018-10-16

Family

ID=63779286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810449676.7A Pending CN108664930A (zh) 2018-05-11 2018-05-11 一种智能的多目标检测跟踪方法

Country Status (1)

Country Link
CN (1) CN108664930A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492537A (zh) * 2018-10-17 2019-03-19 桂林飞宇科技股份有限公司 一种物体识别方法及装置
CN109615641A (zh) * 2018-11-23 2019-04-12 中山大学 基于kcf算法的多目标行人跟踪***及跟踪方法
CN109743497A (zh) * 2018-12-21 2019-05-10 创新奇智(重庆)科技有限公司 一种数据集采集方法、***及电子装置
CN110021032A (zh) * 2019-03-04 2019-07-16 五邑大学 一种多目标跟踪方法、装置、设备和存储介质
CN110148153A (zh) * 2019-04-03 2019-08-20 深圳云天励飞技术有限公司 一种多目标的跟踪方法和相关装置
CN110245643A (zh) * 2019-06-21 2019-09-17 上海摩象网络科技有限公司 目标跟踪拍摄方法、装置、电子设备
CN110363165A (zh) * 2019-07-18 2019-10-22 深圳大学 基于tsk模糊***的多目标跟踪方法、装置及存储介质
CN110414439A (zh) * 2019-07-30 2019-11-05 武汉理工大学 基于多峰值检测的抗遮挡行人跟踪方法
CN110533690A (zh) * 2019-08-08 2019-12-03 河海大学 特征融合与学习率优化的核相关滤波水下目标跟踪方法
CN111161323A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种基于相关滤波的复杂场景目标跟踪方法及***
CN111512317A (zh) * 2018-10-24 2020-08-07 深圳鲲云信息科技有限公司 一种多目标实时跟踪方法、装置及电子设备
CN111932583A (zh) * 2020-06-05 2020-11-13 西安羚控电子科技有限公司 一种基于复杂背景下的时空信息一体化智能跟踪方法
CN112287794A (zh) * 2020-10-22 2021-01-29 中国电子科技集团公司第三十八研究所 一种视频图像自动识别目标的编号一致性管理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100124358A1 (en) * 2008-11-17 2010-05-20 Industrial Technology Research Institute Method for tracking moving object
CN106204638A (zh) * 2016-06-29 2016-12-07 西安电子科技大学 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法
CN106203513A (zh) * 2016-07-08 2016-12-07 浙江工业大学 一种基于行人头肩多目标检测及跟踪的统计方法
CN107330920A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于深度学习的监控视频多目标追踪方法
CN107424171A (zh) * 2017-07-21 2017-12-01 华中科技大学 一种基于分块的抗遮挡目标跟踪方法
CN107516321A (zh) * 2017-07-04 2017-12-26 深圳大学 一种视频多目标跟踪方法及装置
CN107563387A (zh) * 2017-09-14 2018-01-09 成都掌中全景信息技术有限公司 一种基于循环神经网络的图像目标检测选框方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100124358A1 (en) * 2008-11-17 2010-05-20 Industrial Technology Research Institute Method for tracking moving object
CN106204638A (zh) * 2016-06-29 2016-12-07 西安电子科技大学 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法
CN106203513A (zh) * 2016-07-08 2016-12-07 浙江工业大学 一种基于行人头肩多目标检测及跟踪的统计方法
CN107330920A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于深度学习的监控视频多目标追踪方法
CN107516321A (zh) * 2017-07-04 2017-12-26 深圳大学 一种视频多目标跟踪方法及装置
CN107424171A (zh) * 2017-07-21 2017-12-01 华中科技大学 一种基于分块的抗遮挡目标跟踪方法
CN107563387A (zh) * 2017-09-14 2018-01-09 成都掌中全景信息技术有限公司 一种基于循环神经网络的图像目标检测选框方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FAN LI 等: "Scene-Aware Adaptive Updating for Visual Tracking via Correlation Filters", 《SENSORS》 *
MENGMENG WANG 等: "Large Margin Object Tracking with Circulant Feature Maps", 《ARXIV》 *
吴慧玲: "基于检测的在线多目标跟踪算法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492537A (zh) * 2018-10-17 2019-03-19 桂林飞宇科技股份有限公司 一种物体识别方法及装置
CN109492537B (zh) * 2018-10-17 2023-03-14 桂林飞宇科技股份有限公司 一种物体识别方法及装置
CN111512317A (zh) * 2018-10-24 2020-08-07 深圳鲲云信息科技有限公司 一种多目标实时跟踪方法、装置及电子设备
CN111512317B (zh) * 2018-10-24 2023-06-06 深圳鲲云信息科技有限公司 一种多目标实时跟踪方法、装置及电子设备
CN109615641A (zh) * 2018-11-23 2019-04-12 中山大学 基于kcf算法的多目标行人跟踪***及跟踪方法
CN109615641B (zh) * 2018-11-23 2022-11-29 中山大学 基于kcf算法的多目标行人跟踪***及跟踪方法
CN109743497A (zh) * 2018-12-21 2019-05-10 创新奇智(重庆)科技有限公司 一种数据集采集方法、***及电子装置
CN110021032A (zh) * 2019-03-04 2019-07-16 五邑大学 一种多目标跟踪方法、装置、设备和存储介质
CN110148153A (zh) * 2019-04-03 2019-08-20 深圳云天励飞技术有限公司 一种多目标的跟踪方法和相关装置
CN110245643A (zh) * 2019-06-21 2019-09-17 上海摩象网络科技有限公司 目标跟踪拍摄方法、装置、电子设备
CN110363165B (zh) * 2019-07-18 2023-04-14 深圳大学 基于tsk模糊***的多目标跟踪方法、装置及存储介质
CN110363165A (zh) * 2019-07-18 2019-10-22 深圳大学 基于tsk模糊***的多目标跟踪方法、装置及存储介质
CN110414439B (zh) * 2019-07-30 2022-03-15 武汉理工大学 基于多峰值检测的抗遮挡行人跟踪方法
CN110414439A (zh) * 2019-07-30 2019-11-05 武汉理工大学 基于多峰值检测的抗遮挡行人跟踪方法
CN110533690B (zh) * 2019-08-08 2022-02-11 河海大学 特征融合与学习率优化的核相关滤波水下目标跟踪方法
CN110533690A (zh) * 2019-08-08 2019-12-03 河海大学 特征融合与学习率优化的核相关滤波水下目标跟踪方法
CN111161323A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种基于相关滤波的复杂场景目标跟踪方法及***
CN111161323B (zh) * 2019-12-31 2023-11-28 北京理工大学重庆创新中心 一种基于相关滤波的复杂场景目标跟踪方法及***
CN111932583A (zh) * 2020-06-05 2020-11-13 西安羚控电子科技有限公司 一种基于复杂背景下的时空信息一体化智能跟踪方法
CN112287794A (zh) * 2020-10-22 2021-01-29 中国电子科技集团公司第三十八研究所 一种视频图像自动识别目标的编号一致性管理方法
CN112287794B (zh) * 2020-10-22 2022-09-16 中国电子科技集团公司第三十八研究所 一种视频图像自动识别目标的编号一致性管理方法

Similar Documents

Publication Publication Date Title
CN108664930A (zh) 一种智能的多目标检测跟踪方法
CN108765452A (zh) 一种复杂背景下运动目标检测与跟踪方法
CN112132042B (zh) 基于对抗域适应的sar图像目标检测方法
CN108694724A (zh) 一种长时间目标跟踪方法
CN105930819B (zh) 基于单目视觉和gps组合导航***的实时城区交通灯识别***
CN112325883B (zh) 一种WiFi和视觉多源融合的移动机器人室内定位方法
CN104112282B (zh) 一种基于在线学习跟踪监控视频中多个运动目标的方法
CN108921873B (zh) 基于核相关滤波优化的马尔科夫决策在线多目标跟踪方法
CN110361727A (zh) 一种毫米波雷达多目标跟踪方法
CN110782481A (zh) 无人艇智能决策方法及***
CN101701818B (zh) 远距离障碍的检测方法
CN110275153A (zh) 一种基于激光雷达的水面目标检测与跟踪方法
CN103268616A (zh) 多特征多传感器的移动机器人运动人体跟踪方法
CN105427342A (zh) 一种水下小目标声呐图像目标检测跟踪方法和***
CN104880160B (zh) 一种工件表面轮廓的二维激光实时探测方法
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及***
CN104778699B (zh) 一种自适应对象特征的跟踪方法
CN105224947A (zh) 分类器训练方法和***
CN108052887A (zh) 一种融合slam/gnss信息的疑似违法用地自动识别***及方法
US20230104047A1 (en) Track fusion method and device for unmanned surface vehicle
CN109859202A (zh) 一种基于usv水面光学目标跟踪的深度学习检测方法
Khan et al. An IR-UWB multi-sensor approach for collision avoidance in indoor environments
CN112580479A (zh) 一种基于空洞卷积神经网络的地磁式室内定位***
CN113947636B (zh) 一种基于深度学习的激光slam定位***及方法
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181016