CN111383252B - 多相机目标追踪方法、***、装置及存储介质 - Google Patents

多相机目标追踪方法、***、装置及存储介质 Download PDF

Info

Publication number
CN111383252B
CN111383252B CN201811637626.8A CN201811637626A CN111383252B CN 111383252 B CN111383252 B CN 111383252B CN 201811637626 A CN201811637626 A CN 201811637626A CN 111383252 B CN111383252 B CN 111383252B
Authority
CN
China
Prior art keywords
camera
tracking
image
target
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811637626.8A
Other languages
English (en)
Other versions
CN111383252A (zh
Inventor
吴旻烨
毕凝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaoke Intelligent Technology Shanghai Co ltd
Original Assignee
Yaoke Intelligent Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaoke Intelligent Technology Shanghai Co ltd filed Critical Yaoke Intelligent Technology Shanghai Co ltd
Priority to CN201811637626.8A priority Critical patent/CN111383252B/zh
Publication of CN111383252A publication Critical patent/CN111383252A/zh
Application granted granted Critical
Publication of CN111383252B publication Critical patent/CN111383252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请的多相机目标追踪方法、***、装置及存储介质，该方法通过对多个相机每次同步拍摄的多个图像帧中的每个图像帧进行多个原始图像区域的选取，并对应提取的特征图且据以通过滤波器生成响应图，通过辨别包含得分最高的目标点的响应图所确定的追踪目标边界框在对应的图像帧中提取追踪结果；且在判断在某些相机下追踪目标被遮挡时，通过多相机间约束方法来得到被遮挡图像帧的追踪结果，有效消除追踪遮挡，且多相机可以同时提供追踪目标在多个视角的信息，作为输入可以使得相关滤波器学习到多角度的特征从而对视角变化更具有鲁棒性。

Description

多相机目标追踪方法、***、装置及存储介质
技术领域
本申请涉及目标追踪技术领域，尤其涉及多相机目标追踪方法、***、装置及存储介质。
背景技术
通用视觉追踪(generic visual tracking)是计算机视觉领域中的一个基础任务。该任务会给 出视频序列中第一帧被追踪物体的边界框，追踪器预测被追踪物体在此后每一帧的位置以及 大小。随着视觉追踪的快速发展，该技术被越来越多地运用到人流密集区域以及安检卡口等 场所对特定的追踪上。另一方面，视觉追踪也是自动驾驶中的一项关键技术。根据相机的数 目以及被追踪物体的数目，视觉追踪任务可被划分为四类，即单相机单目标追踪，单相机多 目标追踪，多相机单目标追踪和多相机多目标追踪。追踪任务的关键在于准确的目标定位以 及算法的高效性。
目前，追踪任务主要面临的问题包括遮挡，光照变化，被追踪物体发生形变，运动模糊 (motion blur)。其中，基于单相机的追踪方法受限于追踪器的物理性质，对被追踪物体发生遮 挡的情况鲁棒性差。
现有的多相机追踪算法基本为多目标追踪。此类追踪算法主要是先对人进行物体检测， 再使用ReID(Re-Identificatio，重检测)网络进行特征提取与帧间匹配，从而达到追踪的效果。 然而，由于其中检测算法的限制，此类方法只能用于人的追踪而不能实现对任意物体的追踪。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供多相机目标追踪方法、***、装 置及存储介质，解决现有技术的目标追踪技术的各种问题。
为实现上述目标及其他相关目标，本申请提供一种多相机目标追踪方法，应用于与相机 阵列相关的电子装置，所述相机阵列中的每个相机同步拍摄，并以每次各相机拍摄到的各图 像帧作为一图像序列；所述方法包括：在一图像序列对应配置有用于从其中的图像帧框选追 踪目标的一初始边界框的情况下，利用该初始边界框、及其在中心不变而缩放尺度变化情况 下得到的多个备选边界框分别在该图像序列中的每个图像帧中分别提取多个原始图像区域； 将每个图像帧的多个原始图像区域输入至特征提取器，以得到对应的每个图像帧的多个特征 图；利用滤波器对每个图像帧的多个特征图进行滤波，以得到对应的多个响应图；在根据每 个图像序列中对应每个相机的一图像帧所得到的多个响应图中，获得包含最高得分的目标点 的响应图来作为跟踪结果获取依据，并以该最高得分作为对应的相机在该图像帧的得分的生 成依据；以该目标点在该图像帧中的相应像素点所在位置为边界框参考点，并以得到该跟踪 结果获取依据所使用的备选边界框的尺度为边界框尺度，结合所述边界框参考点及边界框尺 度以构建用于在该图像帧中提取出追踪结果的追踪结果边界框；将各相机在该图像序列中对 应图像帧的得分与一预设阈值比较，据以判别相机是否存在追踪目标被遮挡情况；对于判别 为存在追踪目标被遮挡情况的相机的第一类图像帧，通过多相机间约束方法修正对应的追踪 结果边界框，并据以在第一类图像帧中提取追踪结果；对于判别为不存在追踪目标被遮挡情 况的相机的第二类图像帧，利用对应的追踪结果边界框提取得到追踪结果。
于一实施例中，所述滤波器和特征提取器是经预训练得到的，所述预训练包括：一或多 次迭代计算，每次迭代计算包括：在随机选取的追踪目标的视频中，随机选取预定数量图像 帧，用于生成多个训练样本对，每个训练样本对包括：根据参考标准在所述随机选取的每个 图像帧中提取的原始图像区域、及根据原始图像区域得到的响应图；或者，每个训练样本对 包括：对该原始图像区域进行偏移得到的图像区域、及根据所述偏移得到的图像区域生成的 响应图；使用所述多个训练样本对中的一部分、及其它部分分别训练所述滤波器和特征提取 器。
于一实施例中，所述滤波器在训练时固定所述特征提取器的参数，以对滤波器最小化所 述特征提取器的第一目标函数；和/或，所述特征提取器在训练时固定所述滤波器的参数，以 对特征提取器最小化所述滤波器的第二目标函数。
于一实施例中，所述视频来自目标跟踪数据集，所述目标跟踪数据集包括：OTB数据集、 VOT数据集、Temple Color 128数据集、VIVID Tracking数据集、及UAV123 Dataset数据集 中的一种或多种组合。
于一实施例中，所述滤波器通过目标训练集进行在线训练以得到更新。
于一实施例中，所述滤波器的在线训练包括：根据各相机采集的图像帧生成加入所述目 标训练集的训练样本，所述训练样本包括从该图像帧提取的原始图像区域；将训练样本输入 滤波器的第三目标函数，其中，所述滤波器的第三目标函数：
Figure BDA0001930412920000021
Figure BDA0001930412920000022
其中，/>
Figure BDA0001930412920000023
表示第i个相机第j个训练样本滤波得到的响应图，/>
Figure BDA0001930412920000024
表示第i个 相机的第j个训练样本的参考标准对应的响应图；/>
Figure BDA0001930412920000025
表示根据第i个相机第j个训练样本获取 追踪结果时的得分；将目标函数转换至频域，表示为：
Figure BDA0001930412920000026
Figure BDA0001930412920000027
其中，conj()表示求复数的共轭；^表示傅里叶变换；利用梯度迭代求解出/>
Figure BDA0001930412920000028
并使用共轭梯度的方法来优化目标函数E(f)，以训练滤波器。
于一实施例中，所述的多相机目标追踪方法，还包括：对所述目标训练集进行更新动作， 其包括：在每个相机每采集预定数量图像帧时，对于当前判别为不存在追踪目标被遮挡情况 的相机，将其追踪结果作为训练样本加入至该目标训练集中以作更新。
于一实施例中，所述响应图表达为以参考标准提取的原始图像区域中参考点为中心的高 斯分布。
于一实施例中，所述多相机间约束方法，包括：从包含判别为存在追踪目标被遮挡情况 的各相机的第一相机集合中选择第一相机，从图像序列中包含判别为不存在追踪目标被遮挡 情况的各相机的第二相机集合中获取第二相机，所述第一相机集合和第二相机集合中的各相 机对应于同一图像序列中的各图像帧；根据第一相机和第二相机在若干个图像序列得到的若 干对追踪结果，计算用于估计追踪目标的运动平面在第一相机和第二相机下的变换关系的单 应矩阵；利用所述单应矩阵，将每个图像序列中的各第二类图像帧中追踪目标的预定点，映 射得到同一图像序列中的第一类图像帧的映射点；根据所得到的每个第一类图像帧的各个映 射点对所获得的追踪结果边界框进行约束修正，以用于获取修正后的追踪结果。
于一实施例中，所述单应矩阵是根据第一相机的第一追踪轨迹和第二相机的第二追踪轨 迹在若干相同时刻得到的若干对追踪结果中的每对匹配点间位置关系计算得到的；其中，追 踪轨迹指的是每个相机随时间顺序采集的各图像帧的追踪结果的按该时间顺序排序的集合。
于一实施例中，在各所述特征图像进行滤波前，还包括：对特征图像进行平滑的步骤。
为实现上述目标及其他相关目标，本申请提供一种电子装置，与相机阵列相关，其包括： 至少一收发器，耦接所述相机阵列；至少一存储器，存储计算机程序；至少一处理器，耦接 所述收发器及存储器，用于运行所述计算机程序，以执行所述的多相机目标追踪方法。
为实现上述目标及其他相关目标，本申请提供一种计算机存储介质，存储有计算机程序， 所述计算机程序运行时执行所述的多相机目标追踪方法。
为实现上述目标及其他相关目标，本申请提供一种多相机目标追踪***，应用于与相机 阵列相关的电子装置，所述相机阵列中的每个相机同步拍摄，并以每次各相机拍摄到的各图 像帧作为一图像序列；所述***包括：图像处理模块，用于在一图像序列对应配置有用于从 其中的图像帧框选追踪目标的一初始边界框的情况下，利用该初始边界框、及其在中心不变 而缩放尺度变化情况下得到的多个备选边界框分别在该图像序列中的每个图像帧中分别提取 多个原始图像区域；特征提取器，用于将每个图像帧的多个原始图像区域进行特征提取，以 得到对应的每个图像帧的多个特征图；滤波器，用于对每个图像帧的多个特征图进行滤波， 以得到对应的多个响应图；追踪计算模块，用于在根据每个图像序列中对应每个相机的一图 像帧所得到的多个响应图中，获得包含最高得分的目标点的响应图来作为跟踪结果获取依据， 并以该最高得分作为对应的相机在该图像帧的得分的生成依据；以该目标点在该图像帧中的 相应像素点所在位置为边界框参考点，并以得到该跟踪结果获取依据所使用的备选边界框的 尺度为边界框尺度，结合所述边界框参考点及边界框尺度以构建用于在该图像帧中提取出追 踪结果的追踪结果边界框；将各相机在该图像序列中对应图像帧的得分与一预设阈值比较， 据以判别相机是否存在追踪目标被遮挡情况；对于判别为存在追踪目标被遮挡情况的相机的 第一类图像帧，通过多相机间约束方法修正对应的追踪结果边界框，并据以在第一类图像帧 中提取追踪结果；对于判别为不存在追踪目标被遮挡情况的相机的第二类图像帧，利用对应 的追踪结果边界框提取得到追踪结果。
如上所述，本申请的多相机目标追踪方法、***、装置及存储介质，该方法通过对多个 相机每次同步拍摄的多个图像帧中的每个图像帧进行多个原始图像区域的选取，并对应提取 的特征图且据以通过滤波器生成响应图，通过辨别包含得分最高的目标点的响应图所确定的 追踪目标边界框在对应的图像帧中提取追踪结果；且在判断在某些相机下追踪目标被遮挡时， 通过多相机间约束方法来得到被遮挡图像帧的追踪结果，有效消除追踪遮挡，且多相机可以 同时提供追踪目标在多个视角的信息，作为输入可以使得相关滤波器学习到多角度的特征从 而对视角变化更具有鲁棒性。
附图说明
图1显示为本申请实施例中的多相机目标追踪方法的流程示意图。
图2显示为本申请实施例中的多相机间约束方法的流程示意图。
图3显示为本申请实施例中的电子装置的结构示意图。
图4显示为显示为本申请实施例中的多相机目标追踪***的模块示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露 的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加 以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精 神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本申请中的实施例及实施例中 的特征可以相互组合。
针对现有的目标追踪的缺陷，本文提出通过对相机阵列所拍摄的多角度的各帧图像进行 分析以实现目标追踪的方案，尤其是对于单目标的追踪，能达到更精的效果。
所述相机阵列指的是将多个相机加以组合，以构成的对同一场景或同一目标进行拍摄的 拍摄装置，所述相机阵列的结构可以例如是一行相机、一列相机、或M行*N列的相机，当 然，相机阵列未必是方阵形式，也可以呈现例如圆形、三角形或其它各种形状。
通过相机阵列中的多个相机从不同角度去拍摄追踪目标的图像，通过图像分析以定位该 跟踪目标，能实现较好地呈现追踪目标在各角度的信息，也能避免某些相机视角下跟踪目标 被遮挡而导致跟踪目标丧失的问题。
在一些实施例中，所述追踪目标可以例如为人、动物或其他如车等移动物体。
如图1所示，展示本申请实施例中提供的多相机目标追踪方法的流程示意图。
所述方法应用于与相机阵列相关的电子装置。在一些实施例中，所述电子装置可以独立 于相机阵列以外而与相机阵列耦接的处理终端，如台式电脑、笔记型电脑、智能手机、平板 电脑或其它具有处理能力的终端；在一些实施例中，所述相机阵列和电子装置也可以作为部 件集成在一起，作为一个产品，例如光场相机，则所述电子装置可以是该光场相机中的电路 实现，该电路附着于光场相机中的一或多个电路板上；在一些实施例中，各所述相机之间也 可以耦接，所述电子装置也可以由每个所述相机中的电路协同工作实现。
所述相机阵列中的每个相机同步拍摄，并以每次各相机拍摄到的各图像帧作为一图像序 列。
举例来说，相机阵列中的N个相机在t时刻进行同步拍摄，得到I1～IN分别为N个相机 所采集的图像帧，则对应的图像序列表示为Ii,i＝1,…,N。
所述方法具体包括：
步骤S101：在一图像序列对应配置有用于从其中的图像帧框选追踪目标的一初始边界框 的情况下，利用该初始边界框、及其在中心不变而缩放尺度变化情况下得到的多个备选边界 框分别在该图像序列中的每个图像帧中分别提取多个原始图像区域。
在一实施例中，设追踪目标在每个相机i的图片序列Ii下对应的初始边界框Bi，即每个图 片序列需要一个初始边界框。其中，边界框(bounding box)，是通过人工或机器识别方式在 图像中框选出追踪目标所在的图像区域的几何框，而初始边界框的框选结果可以作为参考标 准即groud truth来使用。
在本实施例中，初始边界框采用的是矩形的边界框，其框选的图像区域表示为：
Bi＝(x,y,w,h)；
其中，(x,y)表示边界框的参考点的坐标，所述参考点例如为中心点，也可以是其它特征 点。
在本实施例中，所述参考点(x,y)为边界框左上角点的坐标，(w,h)表示边界框的宽度和 长度，以像素为单位。
以用于选出原始图像区域Bi的初始边界框的中心
Figure BDA0001930412920000061
为中心，在相机i于图像序 列Ii中对应图像帧中通过不同缩放尺度d下的备选边界框取出原始图像区域/>
Figure BDA0001930412920000062
Figure BDA0001930412920000063
其中，d＝1,…,Nd,d表示不同缩放尺度。
步骤S102：将每个图像帧的多个原始图像区域输入至特征提取器，以得到对应的每个图 像帧的多个特征图。
于一实施例中，较好的，针对图像特征提取，所述特征提取器可以采用CNN网络模型来 实现，常见的，例如VGG，ResNet，AlexNet，Inception等各种模型。
于一实施例中，承接前述举例，将多尺度下的原始图像区域集合Pi,i＝1,…,N作为预训 练好的特征提取器g的输入，得到当前图像帧下的特征图集合(feature map)：
Figure BDA0001930412920000064
d 表示不同缩放尺度，i＝1,…,N。特征图集合表示为：
Figure BDA0001930412920000065
可选的，在得到特征图集之后，可以用平滑函数对特征图集合进行平滑处理，例如一个 二维余弦窗函数w对每个缩放尺度下的图像区域
Figure BDA0001930412920000068
相乘，对该区域进行加权平滑得到
Figure BDA0001930412920000069
使 其在频域下具有更好的连续性。对于/>
Figure BDA00019304129200000610
的图像区域，有：
Figure BDA0001930412920000066
Figure BDA0001930412920000067
需说明的是，上述平滑处理只是可选，而非必须；而且，平滑处理方式也并非以上述二 维余弦窗函数为限，也可以采用类似的平滑处理方式，例如高斯滤波等。
步骤S103：利用滤波器对每个图像帧的多个特征图进行滤波，以得到对应的多个响应图。
于一实施例中，承接上述举例，较优地，可以对经平滑处理后的特征图进行滤波；当然 在其它实施例中也可以对未平滑的特征图进行滤波。
使用滤波器f对每个相机i的每个尺度d下对应特征图像
Figure BDA00019304129200000611
进行相关滤波,得到当前帧下每 个相机i在尺度d下的响应图/>
Figure BDA00019304129200000612
表达为:
Figure BDA0001930412920000071
其中，Nt表示
Figure BDA0001930412920000074
的通道数目,*表示相关滤波操作。
于一实施例中，所述响应图表达为以参考标准提取的原始图像区域中参考点为中心的高 斯分布，响应图中每个点对应于一得分，最高得分为1；每个响应图用于描述原始图像区域 中各像素与追踪目标的相关程度。
步骤S104：在根据每个图像序列中对应每个相机的一图像帧所得到的多个响应图中，获 得包含最高得分的目标点的响应图来作为跟踪结果获取依据，并以该最高得分作为对应的相 机在该图像帧的得分的生成依据；以该目标点在该图像帧中的相应像素点所在位置为边界框 参考点，并以得到该跟踪结果获取依据所使用的备选边界框的尺度为边界框尺度，结合所述 边界框参考点及边界框尺度以构建用于在该图像帧中提取出追踪结果的追踪结果边界框。
于一实施例中，承接上述举例，每个图像序列包含多个图像帧，每个图像帧对应由一相 机阵列中的一相机所采集，则在根据该图像帧中提取的各种尺度的原始图像区域所对应的各 个响应图中，通过包含与最相近像素对应的最高得分的目标点的响应图作为跟踪结果获取依 据，进而构建追踪结果边界框以在该图像帧中得到追踪结果。
较优地，以每个相机得分最高得分
Figure BDA0001930412920000075
对应的尺度/>
Figure BDA0001930412920000076
作为当前图像帧的追踪结果边界 框的缩放尺度,移动后的物体框的中心由/>
Figure BDA0001930412920000077
中得分最高的像素的位置坐标(xmax,ymax)决定， 最高得分表示为：
Figure RE-GDA0001981010730000076
追踪结果表示为：
Figure BDA0001930412920000073
也就是利用
Figure BDA0001930412920000078
对应的追踪结果边界框在当前图像帧中截取的区域，作为追踪结果。
步骤S105：将各相机在该图像序列中对应图像帧的得分与一预设阈值比较，据以判别相 机是否存在追踪目标被遮挡情况。
其中，该阈值可以根据经验加以设定。
步骤S106：对于判别为存在追踪目标被遮挡情况的相机的第一类图像帧，通过多相机间 约束方法修正对应的追踪结果边界框，并据以在第一类图像帧中提取追踪结果。
于一实施例中，承接上述举例，如果
Figure BDA0001930412920000079
小于一个阈值thocc,那么认为该相机i发生了相机 遮挡,则这个相机在当前帧的追踪结果将由多相机间约束方法确定。
如图2所示，展示所述多相机间约束方法的流程示意图。
所述多相机间约束方法包括：
步骤S201：从包含判别为存在追踪目标被遮挡情况的各相机的第一相机集合中选择第一 相机，从图像序列中包含判别为不存在追踪目标被遮挡情况的各相机的第二相机集合中获取 第二相机，所述第一相机集合和第二相机集合中的各相机对应于同一图像序列中的各图像帧。
于一实施例中，承接上述举例，对于未标定的同步的多相机的相机阵列，通过上述追踪 算法得到的相机i的追踪轨迹Ti，其由在每个相机在其时间顺序采集的图像帧下的
Figure BDA0001930412920000083
的中心 点构成。
在判断出当前图像序列中被遮挡相机集合O,o∈O，未被遮挡的相机集合K，k∈K，从 发生遮挡的相机集合和未发生遮挡的相机集合中取2个相机k1,k2∈K；并且，获取所有相机 在当前图像帧的最高分数
Figure BDA0001930412920000084
步骤S202：根据第一相机和第二相机在若干个图像序列得到的若干对追踪结果，计算用 于估计追踪目标的运动平面在第一相机和第二相机下的变换关系的单应矩阵。
于一实施例中，所述单应矩阵是根据第一相机的第一追踪轨迹和第二相机的第二追踪轨 迹在若干相同时刻得到的若干对追踪结果中的每对匹配点间位置关系计算得到的；其中，追 踪轨迹指的是每个相机随时间顺序采集的各图像帧的追踪结果的按该时间顺序排序的集合。
承接前述举例，举例来说，根据
Figure BDA0001930412920000085
和/>
Figure BDA0001930412920000086
的最后n个追踪结果的中心点,n≥4,计算单应矩 阵Hji,用于估计追踪目标的运动平面在两个相机下的变换关系。Hji表示从相机j到相机i的坐 标变换。Hji根据/>
Figure BDA0001930412920000087
和/>
Figure BDA0001930412920000088
列线性方程，使用SVD求解。
对于
Figure BDA0001930412920000089
和/>
Figure BDA00019304129200000810
同一时刻t下物体框的中心点/>
Figure BDA00019304129200000811
一对匹配的点对，其单应 矩阵为H,则有：
Figure BDA0001930412920000081
展开得到：
Figure BDA0001930412920000082
为方便求解，可以将上面的等式变为Ax＝0的形式：
x2(H31x1+H32y1+H33)-H11x1+H12y1+H13＝0
y2(H31x1+H32y1+H33)-H21x1+H22y1+H23＝0
将上面的等式改写为向量积的形式并将最后一个元素归一化为1，令h＝(H11,H12,H13,H21,H22,H23,H31,H32,1)T，则上面两个式子可以改写为：
axh＝0
ayh＝0
其中，ax＝(-x1,-y1,0,0,0,x2x1,x2y1,x2)T,ay＝(0,0,0,-x1,-y1,-1,y2x1,y2y1,y2)T
一对匹配的点对，可以得到上述等式，H有8个未知量，利用
Figure BDA0001930412920000094
和/>
Figure BDA0001930412920000095
的最后n个追踪结 果的中心点,n≥4,可以得到如下的等式：/>
Ah＝0
其中，
Figure BDA0001930412920000091
对于此类超定方程的求解，可通过对系数矩阵A进行奇异值分解获得最小二乘解：
UΣVT＝SVD(ATA)
选取奇异矩阵Σ中最大的奇异值λmax对应的向量u即为Ah＝0的最小二乘解，从而求得H。
步骤S203：利用所述单应矩阵，将每个图像序列中的各第二类图像帧中追踪目标的预定 点，映射得到同一图像序列中的第一类图像帧的映射点。
承接上述举例，计算所有未被遮挡的相机k中的追踪目标在当前图像帧下中心xk到被遮挡 的相机o的坐标变换：
λx′ko＝Hkoxk
步骤S204：根据所得到的每个第一类图像帧的各个映射点对所获得的追踪结果边界框进 行约束修正，以用于获取修正后的追踪结果。
承接上述举例，借助Nk个为被遮挡的相机分别计算出被遮挡物体在相机o下的坐标
Figure BDA0001930412920000096
并用其对被跟踪物体在发生遮挡相机中的预测位置xo进行如下的约束修正：
Figure BDA0001930412920000092
Figure BDA0001930412920000093
其中，Nk表示相机集合K中的相机个数，xo表示相机o在当前图像帧经过相关滤波后得到 的追踪结果边界框的位置信息(x，y，W，H)，x′o表示经过多相机约束后得到的当前帧图像 帧修正后的追踪结果边界框的参考点(如中心点的)位置信息(x'，y'，W'，H')，进而获得 修正后的追踪结果。
步骤S107：对于判别为不存在追踪目标被遮挡情况的相机的第二类图像帧，利用对应的 追踪结果边界框提取得到追踪结果。
根据上述可知，本申请的实施例中的方案，在得分确定性较低的情况下，更偏向使用多 相机间约束方法得到最终的追踪结果，否则偏向使用滤波器滤波的结果得到追踪结果。
于一实施例中，所述滤波器和特征提取器是经预训练得到的，所述预训练包括：一或多 次迭代计算。
每次迭代计算包括：
在随机选取的追踪目标的视频中，随机选取预定数量图像帧，用于生成多个训练样本对， 每个训练样本对包括：根据参考标准在所述随机选取的每个图像帧中提取的原始图像区域、 及根据原始图像区域得到的响应图；或者，每个训练样本对包括：对该原始图像区域进行偏 移得到的图像区域、及根据所述偏移得到的图像区域生成的响应图；使用所述多个训练样本 对中的一部分、及其它部分分别训练所述滤波器和特征提取器。
于一实施例中，所述滤波器在训练时固定所述特征提取器的参数，以对滤波器最小化所 述特征提取器的第一目标函数；和/或，所述特征提取器在训练时固定所述滤波器的参数，以 对特征提取器最小化所述滤波器的第二目标函数。
具体的，所述视频来自目标跟踪数据集，所述目标跟踪数据集包括：OTB数据集、VOT 数据集、Temple Color 128数据集、VIVID Tracking数据集、及UAV123 Dataset数据集中的 一种或多种组合。
举例来说，每次迭代，可以随机选取一个追踪目标，从对应的视频中随机抽取出16张图 片，用于生成训练样本对(pi,yi),pi是根据参考标准(ground truth)从原始图像帧中截取出来的 原始图像区域(patch)。其中，追踪目标不一定在截取图像的中心，而是会随机偏移一定位置δ而 增加数据多样性。相应的，使用高斯核wG以物体为中心生成的响应图yi的中心也做相应的偏 移δ。
pi＝(x,y,W,H)
p′i＝(x±δ,y±δ,W,H)
Figure BDA0001930412920000101
其中，μ1,μ2表征水平方向和竖直方向的均值，σ1,σ2表征两个方向上高斯函数的方差，ρ表 示两个方向的相关系数。wG(x,y)表示以(x,y)为中心的二维高斯分布。
每次迭代会重数据集中抽取16个样本对(p,y)，分别表示图像区域和对应的响应图，训 练分为两个阶段：
训练滤波器f，使用每组输入(batch)的例如前10个样本用来训练相关滤波的滤波器。此 时固定特征提取网络的参数，对滤波结果最小化其损失函数。
Figure BDA0001930412920000111
其中，
Figure BDA0001930412920000115
是参考标准对应的响应图，F是深度学习提取特征操作，/>
Figure BDA0001930412920000116
是输入的图像patch, ω是神经网络的参数，下同；f*就是通过优化损失函数得到的滤波器。优化方法使用共轭梯度 算法。
训练特征提取器F，使用后6个样本。此时固定滤波器的参数f*，对特征提取网络最小化 其损失函数。
Figure BDA0001930412920000112
其中，yi是参考标准对应的响应图，si是以xi作为输入，经过相关滤波得到的滤波结果， grad()表示求图像的梯度。使用梯度下降的方法来更新ω*。
于一实施例中，所述滤波器的在线训练包括：
根据各相机采集的图像帧生成加入所述目标训练集的训练样本，所述训练样本包括从该 图像帧提取的原始图像区域；将训练样本输入滤波器的第三目标函数，其中，所述滤波器的 第三目标函数：
Figure BDA0001930412920000113
其中，
Figure BDA0001930412920000117
表示第i个相机第j个训练样本滤波得到的响应图，/>
Figure BDA0001930412920000118
表示第i个相机的第j 个训练样本的参考标准对应的响应图；/>
Figure BDA0001930412920000119
表示根据第i个相机第j个训练样本获取追踪结果时 的得分；
将目标函数转换至频域，表示为：
Figure BDA0001930412920000114
其中，conj()表示求复数的共轭；^表示傅里叶变换；利用梯度迭代求解出/>
Figure BDA00019304129200001110
并使用共轭梯度的方法来优化目标函数E(f)，以训练滤波器。
于一实施例中，所述的多相机目标追踪方法，还包括：对所述目标训练集进行更新动作， 其包括：在每个相机每采集预定数量图像帧时，对于当前判别为不存在追踪目标被遮挡情况 的相机，将其追踪结果作为训练样本加入至该目标训练集中以作更新。
举例来说，每隔7帧，对于判别出根据当前图像帧计算得到对应的
Figure BDA00019304129200001111
大于阈值thsp的相 机，其追踪结果/>
Figure BDA00019304129200001112
将被认为是一个新的训练数据，作为训练样本加入到目标训练集D中， 并使用更新后的目标训练集D′训练新的滤波器f′。
如图3所示，展示本申请实施例中的电子装置300的结构示意图。
在一些实施例中，所述电子装置300可以独立于相机阵列304以外而与相机阵列304耦 接的处理终端，如台式电脑、笔记型电脑、智能手机、平板电脑或其它具有处理能力的终端； 在一些实施例中，所述相机阵列304和电子装置300也可以作为部件集成在一起，作为一个 产品，例如光场相机，则所述电子装置300可以是该光场相机中的电路实现，该电路附着于 光场相机中的一或多个电路板上；在一些实施例中，各所述相机之间也可以耦接，所述电子 装置300也可以由每个所述相机中的电路协同工作实现。
所述电子装置300包括：
至少一收发器301，耦接所述相机阵列。
在一实施例中，所述收发器301包括：例如CVBS、VGA、DVI、HDMI、SDI、 GigE、USB3.0、Cameralink、HSLink、或CoaXPress中的一或多种接口。
至少一存储器302，存储计算机程序；
至少一处理器303，耦接所述收发器301及存储器302，用于运行所述计算机程序，以执 行所述的多相机目标追踪方法。
在一些实施例中，所述存储器302可能包括但不限于高速随机存取存储器302、非易失 性存储器302。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。
所述处理器301可以是通用处理器301，包括中央处理器(CentralProcessingUnit，简称 CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器 (DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称 ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程逻辑 器件、分立门或者晶体管逻辑器件、分立硬件组件。
另外，前述多相机目标追踪方法实施例(例如图1、图2的实施例)中所涉及的各种计 算机程序可以装载在计算机可读存储介质中，所述计算机可读存储介质可包括，但不限于， 软盘、光盘、CD-ROM(紧致盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可 读存储介质可以是未接入计算机设备的产品，也可以是已接入计算机设备使用的部件。
在具体实现上，所述计算机程序为执行特定任务或实现特定抽象数据类型的例程、程序、 对象、组件、数据结构等等。
如图4所示，展示本申请实施例中的多相机目标追踪***，应用于与相机阵列相关的电 子装置，所述相机阵列中的每个相机同步拍摄，并以每次各相机拍摄到的各图像帧作为一图 像序列。本实施例中，所述***的具体实现的技术特征与前述实施例中的多相机目标追踪方 法基本相同，实施例间可以通用的技术内容不作重复赘述。
所述***包括：
图像处理模块401，用于在一图像序列对应配置有用于从其中的图像帧框选追踪目标的 一初始边界框的情况下，利用该初始边界框、及其在中心不变而缩放尺度变化情况下得到的 多个备选边界框分别在该图像序列中的每个图像帧中分别提取多个原始图像区域；
特征提取器402，用于将每个图像帧的多个原始图像区域进行特征提取，以得到对应的 每个图像帧的多个特征图；
滤波器403，用于对每个图像帧的多个特征图进行滤波，以得到对应的多个响应图；
追踪计算模块404，用于在根据每个图像序列中对应每个相机的一图像帧所得到的多个 响应图中，获得包含最高得分的目标点的响应图来作为跟踪结果获取依据，并以该最高得分 作为对应的相机在该图像帧的得分的生成依据；以该目标点在该图像帧中的相应像素点所在 位置为边界框参考点，并以得到该跟踪结果获取依据所使用的备选边界框的尺度为边界框尺 度，结合所述边界框参考点及边界框尺度以构建用于在该图像帧中提取出追踪结果的追踪结 果边界框；将各相机在该图像序列中对应图像帧的得分与一预设阈值比较，据以判别相机是 否存在追踪目标被遮挡情况；对于判别为存在追踪目标被遮挡情况的相机的第一类图像帧， 通过多相机间约束方法修正对应的追踪结果边界框，并据以在第一类图像帧中提取追踪结果； 对于判别为不存在追踪目标被遮挡情况的相机的第二类图像帧，利用对应的追踪结果边界框 提取得到追踪结果。
于一实施例中，所述滤波器和特征提取器是经预训练得到的，所述预训练包括：一或多 次迭代计算，每次迭代计算包括：在随机选取的追踪目标的视频中，随机选取预定数量图像 帧，用于生成多个训练样本对，每个训练样本对包括：根据参考标准在所述随机选取的每个 图像帧中提取的原始图像区域、及根据原始图像区域得到的响应图；或者，每个训练样本对 包括：对该原始图像区域进行偏移得到的图像区域、及根据所述偏移得到的图像区域生成的 响应图；使用所述多个训练样本对中的一部分、及其它部分分别训练所述滤波器和特征提取 器。
于一实施例中，所述滤波器在训练时固定所述特征提取器的参数，以对滤波器最小化所 述特征提取器的第一目标函数；和/或，所述特征提取器在训练时固定所述滤波器的参数，以 对特征提取器最小化所述滤波器的第二目标函数。
于一实施例中，所述视频来自目标跟踪数据集，所述目标跟踪数据集包括：OTB数据集、 VOT数据集、Temple Color 128数据集、VIVID Tracking数据集、及UAV123 Dataset数据集 中的一种或多种组合。
于一实施例中，所述滤波器通过目标训练集进行在线训练以得到更新。
于一实施例中，所述滤波器的在线训练包括：根据各相机采集的图像帧生成加入所述目 标训练集的训练样本，所述训练样本包括从该图像帧提取的原始图像区域；将训练样本输入 滤波器的第三目标函数，其中，所述滤波器的第三目标函数：
Figure BDA0001930412920000141
Figure BDA0001930412920000142
其中，/>
Figure BDA0001930412920000145
表示第i个相机第j个训练样本滤波得到的响应图，/>
Figure BDA0001930412920000146
表示第i个 相机的第j个训练样本的参考标准对应的响应图；/>
Figure BDA0001930412920000147
表示根据第i个相机第j个训练样本获取 追踪结果时的得分；将目标函数转换至频域，表示为：
Figure BDA0001930412920000143
Figure BDA0001930412920000144
其中，conj()表示求复数的共轭；^表示傅里叶变换；利用梯度迭代求解出/>
Figure BDA0001930412920000148
并使用共轭梯度的方法来优化目标函数E(f)，以训练滤波器。
于一实施例中，***还包括：训练集更新模块，用于对所述目标训练集进行更新动作， 其包括：在每个相机每采集预定数量图像帧时，对于当前判别为不存在追踪目标被遮挡情况 的相机，将其追踪结果作为训练样本加入至该目标训练集中以作更新。
于一实施例中，所述响应图表达为以参考标准提取的原始图像区域中参考点为中心的高 斯分布。
于一实施例中，所述多相机间约束方法，包括：从包含判别为存在追踪目标被遮挡情况 的各相机的第一相机集合中选择第一相机，从图像序列中包含判别为不存在追踪目标被遮挡 情况的各相机的第二相机集合中获取第二相机，所述第一相机集合和第二相机集合中的各相 机对应于同一图像序列中的各图像帧；根据第一相机和第二相机在若干个图像序列得到的若 干对追踪结果，计算用于估计追踪目标的运动平面在第一相机和第二相机下的变换关系的单 应矩阵；利用所述单应矩阵，将每个图像序列中的各第二类图像帧中追踪目标的预定点，映 射得到同一图像序列中的第一类图像帧的映射点；根据所得到的每个第一类图像帧的各个映 射点对所获得的追踪结果边界框进行约束修正，以用于获取修正后的追踪结果。
于一实施例中，所述单应矩阵是根据第一相机的第一追踪轨迹和第二相机的第二追踪轨 迹在若干相同时刻得到的若干对追踪结果中的每对匹配点间位置关系计算得到的；其中，追 踪轨迹指的是每个相机随时间顺序采集的各图像帧的追踪结果的按该时间顺序排序的集合。
于一实施例中，***还包括：平滑模块，设于所述特征提取器和滤波器之间，用于对特 征图像进行平滑后输出至所述滤波器。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实 现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软 件通过处理元件调用的形式实现，例如，所述特征提取器可以通过CNN网络模型实现；也可 以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通 过硬件的形式实现。例如，追踪计算模块可以为单独设立的处理元件，也可以集成在上述装 置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上 述装置的某一个处理元件调用并执行以上追踪计算模块的功能。其它模块的实现与之类似。 此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一 种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以 通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个 或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微 处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代 码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit， 简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上*** (system-on-a-chip，简称SOC)的形式实现。
综上所述，本申请的多相机目标追踪方法、***、装置及存储介质，该方法通过对多个 相机每次同步拍摄的多个图像帧中的每个图像帧进行多个原始图像区域的选取，并对应提取 的特征图且据以通过滤波器生成响应图，通过辨别包含得分最高的目标点的响应图所确定的 追踪目标边界框在对应的图像帧中提取追踪结果；且在判断在某些相机下追踪目标被遮挡时， 通过多相机间约束方法来得到被遮挡图像帧的追踪结果，有效消除追踪遮挡，且多相机可以 同时提供追踪目标在多个视角的信息，作为输入可以使得相关滤波器学习到多角度的特征从 而对视角变化更具有鲁棒性。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技 术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡 所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等 效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (14)

1.一种多相机目标追踪方法，其特征在于，应用于与相机阵列相关的电子装置，所述相机阵列中的每个相机同步拍摄，并以每次各相机拍摄到的各图像帧作为一图像序列；所述方法包括：
在一图像序列对应配置有用于从其中的图像帧框选追踪目标的一初始边界框的情况下，利用该初始边界框、及其在中心不变而缩放尺度变化情况下得到的多个备选边界框分别在该图像序列中的每个图像帧中分别提取多个原始图像区域；
将每个图像帧的多个原始图像区域输入至特征提取器，以得到对应的每个图像帧的多个特征图；
利用滤波器对每个图像帧的多个特征图进行滤波，以得到对应的多个响应图；
在根据每个图像序列中对应每个相机的一图像帧所得到的多个响应图中，获得包含最高得分的目标点的响应图来作为跟踪结果获取依据，并以该最高得分作为对应的相机在该图像帧的得分的生成依据；以该目标点在该图像帧中的相应像素点所在位置为边界框参考点，并以得到该跟踪结果获取依据所使用的备选边界框的尺度为边界框尺度，结合所述边界框参考点及边界框尺度以构建用于在该图像帧中提取出追踪结果的追踪结果边界框；
将各相机在该图像序列中对应图像帧的得分与一预设阈值比较，据以判别相机是否存在追踪目标被遮挡情况；
对于判别为存在追踪目标被遮挡情况的相机的第一类图像帧，通过多相机间约束方法修正对应的追踪结果边界框，并据以在第一类图像帧中提取追踪结果；对于判别为不存在追踪目标被遮挡情况的相机的第二类图像帧，利用对应的追踪结果边界框提取得到追踪结果。
2.根据权利要求1所述的多相机目标追踪方法，其特征在于，所述滤波器和特征提取器是经预训练得到的，所述预训练包括：
一或多次迭代计算，每次迭代计算包括：
在随机选取的追踪目标的视频中，随机选取预定数量图像帧，用于生成多个训练样本对，每个训练样本对包括：根据参考标准在所述随机选取的每个图像帧中提取的原始图像区域、及根据原始图像区域得到的响应图；或者，每个训练样本对包括：对该原始图像区域进行偏移得到的图像区域、及根据所述偏移得到的图像区域生成的响应图；
使用所述多个训练样本对中的一部分、及其它部分分别训练所述滤波器和特征提取器。
3.根据权利要求2所述的多相机目标追踪方法，其特征在于，所述滤波器在训练时固定所述特征提取器的参数，以对滤波器最小化所述特征提取器的第一目标函数；和/或，所述特征提取器在训练时固定所述滤波器的参数，以对特征提取器最小化所述滤波器的第二目标函数。
4.根据权利要求2所述的多相机目标追踪方法，其特征在于，所述视频来自目标跟踪数据集，所述目标跟踪数据集包括：OTB数据集、VOT数据集、Temple Color 128数据集、VIVIDTracking数据集、及UAV123 Dataset数据集中的一种或多种组合。
5.根据权利要求1所述的多相机目标追踪方法，其特征在于，所述滤波器通过目标训练集进行在线训练以得到更新。
6.根据权利要求5所述的多相机目标追踪方法，其特征在于，所述滤波器的在线训练包括：
根据各相机采集的图像帧生成加入所述目标训练集的训练样本，所述训练样本包括从该图像帧提取的原始图像区域；
将训练样本输入滤波器的第三目标函数，其中，所述滤波器的第三目标函数：
Figure FDA0001930412910000021
其中，
Figure FDA0001930412910000022
表示第i个相机第j个训练样本滤波得到的响应图，
Figure FDA0001930412910000023
表示第i个相机的第j个训练样本的参考标准对应的响应图；
Figure FDA0001930412910000024
表示根据第i个相机第j个训练样本获取追踪结果时的得分；
将目标函数转换至频域，表示为：
Figure FDA0001930412910000025
Figure FDA0001930412910000026
其中，conj()表示求复数的共轭；^表示傅里叶变换；
利用梯度迭代求解出
Figure FDA0001930412910000027
并使用共轭梯度的方法来优化目标函数E(f)，以训练滤波器。
7.根据权利要求5或6所述的多相机目标追踪方法，其特征在于，还包括：对所述目标训练集进行更新动作，其包括：在每个相机每采集预定数量图像帧时，对于当前判别为不存在追踪目标被遮挡情况的相机，将其追踪结果作为训练样本加入至该目标训练集中以作更新。
8.根据权利要求1、2或6所述的多相机目标追踪方法，其特征在于，所述响应图表达为以参考标准提取的原始图像区域中参考点为中心的高斯分布。
9.根据权利要求1所述的多相机目标追踪方法，其特征在于，所述多相机间约束方法，包括：
从包含判别为存在追踪目标被遮挡情况的各相机的第一相机集合中选择第一相机，从图像序列中包含判别为不存在追踪目标被遮挡情况的各相机的第二相机集合中获取第二相机，所述第一相机集合和第二相机集合中的各相机对应于同一图像序列中的各图像帧；
根据第一相机和第二相机在若干个图像序列得到的若干对追踪结果，计算用于估计追踪目标的运动平面在第一相机和第二相机下的变换关系的单应矩阵；
利用所述单应矩阵，将每个图像序列中的各第二类图像帧中追踪目标的预定点，映射得到同一图像序列中的第一类图像帧的映射点；
根据所得到的每个第一类图像帧的各个映射点对所获得的追踪结果边界框进行约束修正，以用于获取修正后的追踪结果。
10.根据权利要求9所述的多相机目标追踪方法，其特征在于，所述单应矩阵是根据第一相机的第一追踪轨迹和第二相机的第二追踪轨迹在若干相同时刻得到的若干对追踪结果中的每对匹配点间位置关系计算得到的；其中，追踪轨迹指的是每个相机随时间顺序采集的各图像帧的追踪结果的按该时间顺序排序的集合。
11.根据权利要求1所述的多相机目标追踪方法，其特征在于，在各所述特征图像进行滤波前，还包括：对特征图像进行平滑的步骤。
12.一种电子装置，其特征在于，与相机阵列相关，其包括：
至少一收发器，耦接所述相机阵列；
至少一存储器，存储计算机程序；
至少一处理器，耦接所述收发器及存储器，用于运行所述计算机程序，以执行如权利要求1至11中任一项所述的多相机目标追踪方法。
13.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序运行时执行如权利要求1至11中任一项所述的多相机目标追踪方法。
14.一种多相机目标追踪***，其特征在于，应用于与相机阵列相关的电子装置，所述相机阵列中的每个相机同步拍摄，并以每次各相机拍摄到的各图像帧作为一图像序列；所述***包括：
图像处理模块，用于在一图像序列对应配置有用于从其中的图像帧框选追踪目标的一初始边界框的情况下，利用该初始边界框、及其在中心不变而缩放尺度变化情况下得到的多个备选边界框分别在该图像序列中的每个图像帧中分别提取多个原始图像区域；
特征提取器，用于将每个图像帧的多个原始图像区域进行特征提取，以得到对应的每个图像帧的多个特征图；
滤波器，用于对每个图像帧的多个特征图进行滤波，以得到对应的多个响应图；
追踪计算模块，用于在根据每个图像序列中对应每个相机的一图像帧所得到的多个响应图中，获得包含最高得分的目标点的响应图来作为跟踪结果获取依据，并以该最高得分作为对应的相机在该图像帧的得分的生成依据；以该目标点在该图像帧中的相应像素点所在位置为边界框参考点，并以得到该跟踪结果获取依据所使用的备选边界框的尺度为边界框尺度，结合所述边界框参考点及边界框尺度以构建用于在该图像帧中提取出追踪结果的追踪结果边界框；将各相机在该图像序列中对应图像帧的得分与一预设阈值比较，据以判别相机是否存在追踪目标被遮挡情况；对于判别为存在追踪目标被遮挡情况的相机的第一类图像帧，通过多相机间约束方法修正对应的追踪结果边界框，并据以在第一类图像帧中提取追踪结果；对于判别为不存在追踪目标被遮挡情况的相机的第二类图像帧，利用对应的追踪结果边界框提取得到追踪结果。
CN201811637626.8A 2018-12-29 2018-12-29 多相机目标追踪方法、***、装置及存储介质 Active CN111383252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811637626.8A CN111383252B (zh) 2018-12-29 2018-12-29 多相机目标追踪方法、***、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811637626.8A CN111383252B (zh) 2018-12-29 2018-12-29 多相机目标追踪方法、***、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111383252A CN111383252A (zh) 2020-07-07
CN111383252B true CN111383252B (zh) 2023-03-24

Family

ID=71218038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811637626.8A Active CN111383252B (zh) 2018-12-29 2018-12-29 多相机目标追踪方法、***、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111383252B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833379B (zh) * 2020-07-16 2023-07-28 西安电子科技大学 用单目摄像头追踪移动物体中目标位置的方法
CN111815682B (zh) * 2020-09-07 2020-12-22 长沙鹏阳信息技术有限公司 一种基于多轨迹融合的多目标跟踪方法
CN113012194B (zh) * 2020-12-25 2024-04-09 深圳市铂岩科技有限公司 目标追踪方法、装置、介质和设备
CN115424187B (zh) * 2022-11-07 2023-03-24 松立控股集团股份有限公司 多角度相机协同重要性排名约束的辅助驾驶方法
CN115619832B (zh) * 2022-12-20 2023-04-07 浙江莲荷科技有限公司 多摄像头协同进行多目标轨迹确认方法、***及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163830A1 (en) * 2014-04-22 2015-10-29 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Target localization and size estimation via multiple model learning in visual tracking
WO2016026370A1 (en) * 2014-08-22 2016-02-25 Zhejiang Shenghui Lighting Co., Ltd. High-speed automatic multi-object tracking method and system with kernelized correlation filters
CN106981071A (zh) * 2017-03-21 2017-07-25 广东华中科技大学工业技术研究院 一种基于无人艇应用的目标跟踪方法
CN107730536A (zh) * 2017-09-15 2018-02-23 北京飞搜科技有限公司 一种基于深度特征的高速相关滤波物体追踪方法
CN108776975A (zh) * 2018-05-29 2018-11-09 安徽大学 一种基于半监督特征和滤波器联合学习的视觉跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11144761B2 (en) * 2016-04-04 2021-10-12 Xerox Corporation Deep data association for online multi-class multi-object tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163830A1 (en) * 2014-04-22 2015-10-29 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Target localization and size estimation via multiple model learning in visual tracking
WO2016026370A1 (en) * 2014-08-22 2016-02-25 Zhejiang Shenghui Lighting Co., Ltd. High-speed automatic multi-object tracking method and system with kernelized correlation filters
CN106981071A (zh) * 2017-03-21 2017-07-25 广东华中科技大学工业技术研究院 一种基于无人艇应用的目标跟踪方法
CN107730536A (zh) * 2017-09-15 2018-02-23 北京飞搜科技有限公司 一种基于深度特征的高速相关滤波物体追踪方法
CN108776975A (zh) * 2018-05-29 2018-11-09 安徽大学 一种基于半监督特征和滤波器联合学习的视觉跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于KCF和SIFT特征的抗遮挡目标跟踪算法;包晓安等;《计算机测量与控制》;20180525(第05期);全文 *
遮挡判别下的多尺度相关滤波跟踪算法;刘万军等;《中国图象图形学报》;20181216(第12期);全文 *

Also Published As

Publication number Publication date
CN111383252A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN111383252B (zh) 多相机目标追踪方法、***、装置及存储介质
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
US8290212B2 (en) Super-resolving moving vehicles in an unregistered set of video frames
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
KR101333871B1 (ko) 멀티-카메라 교정을 위한 방법 및 장치
CN103578116B (zh) 用于跟踪对象的设备和方法
US8446468B1 (en) Moving object detection using a mobile infrared camera
CN108229475B (zh) 车辆跟踪方法、***、计算机设备及可读存储介质
CN109685045B (zh) 一种运动目标视频跟踪方法及***
EP3798975B1 (en) Method and apparatus for detecting subject, electronic device, and computer readable storage medium
WO2014001610A1 (en) Method, apparatus and computer program product for human-face features extraction
US9767383B2 (en) Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image
EP3093822B1 (en) Displaying a target object imaged in a moving picture
CN111340749B (zh) 图像质量的检测方法、装置、设备及存储介质
CN111738032B (zh) 一种车辆行驶信息确定方法及装置、车载终端
CN111507340B (zh) 一种基于三维点云数据的目标点云数据提取方法
CN110675426A (zh) 人体跟踪方法、装置、设备及存储介质
CN108875500B (zh) 行人再识别方法、装置、***及存储介质
Hua et al. Removing atmospheric turbulence effects via geometric distortion and blur representation
CN116883897A (zh) 一种低分辨率目标识别方法
Halperin et al. Clear Skies Ahead: Towards Real‐Time Automatic Sky Replacement in Video
CN114757984A (zh) 光场相机的场景深度估计方法及装置
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备
Carbajal et al. Single image non-uniform blur kernel estimation via adaptive basis decomposition
JP2018010359A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant