CN107730535A - 一种可见光红外级联视频跟踪方法 - Google Patents
一种可见光红外级联视频跟踪方法 Download PDFInfo
- Publication number
- CN107730535A CN107730535A CN201710829198.8A CN201710829198A CN107730535A CN 107730535 A CN107730535 A CN 107730535A CN 201710829198 A CN201710829198 A CN 201710829198A CN 107730535 A CN107730535 A CN 107730535A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- image
- infrared
- visible
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种可见光红外级联视频跟踪方法。所述方法使用可见光数据通道和红外数据通道级联的方式分别获取两路数据通道的追踪结果，并对追踪结果进行取舍。兼顾了两种通道目标探测的长处，弥补了各自的缺陷，提升了跟踪能力。
Description
技术领域
本发明属于视频图像处理和应用领域，具体涉及一种可见光红外级联视频跟踪方法。
背景技术
视频目标跟踪指的是通过对视频序列进行分析，自动获取感兴趣目标的位置、速度、大小等属性信息。
随着时代发展，早期雷达跟踪体系(1937年世界第一部跟踪雷达站SCR-28出现)正面临着反辐射武器攻击、目标电磁隐身、电子干扰和低空突防等威胁的挑战。被动成像方式，尤其是光电平台，以分辨率高、图像信息丰富的特点成为目标探测的主力军，这也是近年来光学类目标跟踪研究热度不减的主要原因。
近年来，随着对目标探测认识和设计水平的提升，同时为了兼顾分辨率提高后相机尺寸和质量的需求，减少相机和卫星的成本。由于可见光波段捕获信号能量带宽，目标分辨清晰；红外热交互特征可大大增强目标发现能力，同时具备昼夜成像能力，因此提出了可见光红外一体化相机***并投入使用。
基于简单的全局特征如颜色(Meanshift方法)和灰度直方图并采用轨迹滤波的方法由于精度和稳定性不高，已不独立成为实际***，多成为广义跟踪算法的一部分。自从实现TLD长时跟踪算法后，各类扰动(遮挡、光照等)下的跟踪数学方法和目标学习方法的发展越来越受到重视，如相关跟踪(算法效率高)。2013年开始VOT(Visual Object TrackingChallenge)项目持续每年对图像目标跟踪算法性能进行比较。2015年该项目组公开征集多源图像数据集(特别是热红外数据)和跟踪方法，并公开了红外图像的乏纹理***(如LT-FLO)，取得了一些基础的比较结果。然而上述跟踪方法均采用单一传感器获取到的信息(可见光或红外)，受各自工作机理限制，在反映目标属性上存在局限。如可见光容易被目标伪装迷惑；而红外图像中目标纹理弱，清晰度较差。另外，TLD中的长时跟踪框架在双通道图像中缺少工作指导原则。
现有技术中，公开了采用Meanshift实现可见光、红外双通道目标跟踪，但其***性能不高(长时跟踪容易失稳)；在Meanshift方法的基础上引入轮廓特征，用于计算目标的位置、宽和高，但其水平集轮廓提取方法复杂度高，且同样不能维持长时间目标先验跟踪信息；对可见光红外图像进行融合，并采用Camshift方法进行目标跟踪，但其跟踪性能严重依赖于图像融合算法且基础跟踪方法落后。
综上所述，现有跟踪方法应用到可见光红外视频序列中均存在不同程度的不适应。在实际操作过程中存在以下缺点：
1)短时***不具备自动再启动功能，当目标遮挡或离场再进场后无法再维持跟踪状态；
2)长时跟踪框架未考虑红外图像的弱纹理特性及可见光红外两通道信息的级联，缺少联合跟踪的准则；
3)可见光、红外图像分辨率通常存在很大程度的分辨率差异，采用图像融合方法进行跟踪则继承了现有融合的一般缺陷，面临信息取舍的难题。
发明内容
本发明的技术解决问题是：针对可见光红外双通道目标视频跟踪问题，改善长时稳定跟踪框架中子块组成，选择性能最佳的短时***替代原用的检测器，提升跟踪速度和准确度；提出红外和可见的级联工作原则，综合使用可见光图像和红外图像，弥补单谱段跟踪的缺陷；克服现有短时***的非学习机制，得到目标历史先验信息，形成信息积累的闭环。
本发明的技术解决方案是：提出一种可见光红外级联视频跟踪方法，包括以下步骤：
从可见光红外一体化探测得到的视频序列中分离可见光数据和红外数据，分别送入可见光数据通道和红外数据通道；
当首次跟踪所述视频序列T0时刻的图像时，在可见光数据通道和红外数据通道的任一通道中的数据图像中手动框选初始窗口R0作为目标的跟踪区域，当非首次跟踪视频序列中的图像时，启动离线检测器获取初始窗口；
对初始窗口R0进行变换，形成正样本库Wgood，初始窗口R0外其它区域均进入负样本库Wbad；
在T1时刻的图像中，在搜索空间L内基于所述初始窗口进行滑动搜索，在可见光数据通道中，使用有方差检测器筛选正样本和负样本，并使用相关短时***，在红外数据通道中，使用无方差检测器筛选正样本和负样本，并使用乏纹理短时***，有方差检测器或无方差检测器获得的检测结果为Dbest，相关短时***或乏纹理短时***获得的跟踪结果为Tbest，其中，有方差检测器由方差分类器、集成分类器和最近邻分类器组成，无方差分类器由集成分类器和最近邻分类器组成，其中，T1时刻的图像是T0时刻的图像的下一帧；
按照与上一帧图像跟踪区域的重叠率，对Dbest和Tbest进行抉择；
将可见光数据通道和红外数据通道分别选择的Dbest或Tbest输入各自的学习器，以用于训练集成分类器；
按照可见光红外一体化跟踪准则对可见光数据通道和红外数据通道的搜索结果进行取舍，得到准确的跟踪区域Rnew，并作为正样本送入Wgood中，其余作为负样本送入Wbad；
将正样本库Wgood和负样本库Wbad用于训练离线检测器，并进行T2时刻图像的跟踪，直到视频序列结束或可见光红外一体化跟踪准则判断停止，其中，T2时刻图像是T1时刻图像的下一帧图像，所述视频序列的每一帧图像均搜索完毕时视频序列结束。
根据本发明的一个实施例，对初始窗口图像子块R0进行变换，形成正样本库Wgood的步骤为：对初始窗口R0进行n次旋转，得到由旋转角度为θ的R0的n个图像子块组成的集合作为正样本库Wgood＝Rotate{R0，θ}，θ＝0，θm，…，θm*n，其中，θm*n≤360，θm为每次旋转的角度，θ为当前的旋转角度。
根据本发明的一个实施例，所述搜索空间L的按照以下公式计算：
其中，n，m为图像的宽和高，w，h为初始窗口的宽和高，dx，dy为平移尺度。
根据本发明的一个实施例，所述方差分类器通过以下步骤筛选正样本和负样本：设定输入所述方差分类器的图像块为p，通过公式E(p2)-E(p)2计算图像块p所有像素点灰度的方差，其中E(p)是图像区域的灰度均值，E(p2)表示区域像素平方和的均值，如果图像块p所有像素点灰度得方差小于阈值Eth，则图像块p是负样本，否则图像块p是正样本。
根据本发明的一个实施例，所述集成分类器通过以下步骤筛选正样本和负样本：
首次跟踪图像时，采用以下特征描述方法，筛选正样本和负样本：
a)图像分块，将检测窗口内的图像区域按水平和垂直方向分为四块，将水平方向分割出的图像子块记为a1与a2；将竖直方向分割出的图像子块记为a3与a4；
b)梯度比较，计算ai(i＝1，2，3，4)图像块内的像素和值I(ai)，并分别比较；
c)根据以下等式获取编码值BP：
使用集成分类器在线检测时，统计样本库中的样本与检测窗口得到同样一组编码值BP的概率，当多个集成分类器得到的概率均值超过概率阈值时，则检测窗口为正样本，否则为负样本；
非首次跟踪图像时，使用更新的样本库Wgood和Wbad中的样本重新计算集成分类器的编码值BP。
根据本发明的一个实施例，最近邻分类器通过以下步骤筛选正样本和负样本：
设定图像块pi和pj之间的相似度S由等式表示，其中其中，n表示归一化后图像块内的像素个数，μ1，μ2与σ1，σ2分别表示图像块pi与pj的均值和标准差；
待检测图像块p与最相似的正样本的相似度为：
待检测图像块p与最相似的负样本的相似度为：
其中，M为由多个正样本和负样本组成的目标模型，待检测图像块p与目标模型的最终相似度为：
如果则待检测图像块p是正样本，否则待检测图像块p为负样本，其中，θNN为相似度阈值，值最大的正样本为检测器获得的检测结果Dbest。
根据本发明的一个实施例，按照与上一帧图像跟踪区域的重叠率，对Dbest和Tbest进行抉择包括：按重叠率最大原则抉择Dbest和Tbest，其中，重叠率Overlap按照等式来计算，R为上一帧图像跟踪区域。
根据本发明的一个实施例，可见光红外一体化跟踪准则为：
当在红外数据通道中跟踪上所述目标时，直接修正可见光跟踪结果同时以维持红外通道中的跟踪区域灰度值偏差最小为约束方程；
当在可见光通道中跟踪上所述目标时，对可见光数据通道的集成分类器的后验置信概率进行阈值设置，以防止可见光数据图像中的目标伪装；
当在红外数据通道中未跟踪上目标时，维持预定的帧数，如果目标仍未出现，则跟踪过程结束。
本发明与现有技术相比的优点在于：
(1)本发明可见光通道短时***采用相关跟踪，计算速度明显优于原始TLD中的光流法；红外通道采用乏纹理***，稳定性优于原始光流法。
(2)采用长时跟踪框架，使得跟踪具备再启动能力，当目标短暂遮挡或出视场时，能够维持其跟踪先验；
(3)提出了可见光红外一体化跟踪准则，兼顾了两个通道目标探测的长处，弥补了各自的缺陷，维持跟踪的能力大大增强；
(4)目标历史学习信息能够存储，作为下一次跟踪的先验，并且在后续跟踪过程中进一步修正，跟踪精度高。
附图说明
图1为根据本发明的实施例的可见光红外级联视频跟踪方法原理图；
图2为根据本发明的实施例的检测器示意图；
图3为根据本发明的实施例的可见光红外级联跟踪方法示意图。
具体实施方式
以下结合附图，详细说明本发明的实施例。
如图1所示，典型的目标跟踪机制主要由***、检测器、学习器三部分组成。
在***方面，在可见光数据通道中，目标纹理清晰，适合采用计算速度快的相关跟踪方法。相关是衡量两个信号相似值的度量，信号越相似其相关值就越高。自相关与卷积的换算关系为：当且仅当即f为Hermite矩阵时互相关值才完全等同于卷积值。
因此，可以采用等式(1)的快速傅立叶变换完成互相关计算：
其中表示傅立叶变换。设图像I中像素个数为n，已知傅立叶变换时间开销为O(nlogn），等式(1)的计算开销为O(nlogn)！，远比其他跟踪方法速度快，其中O为复杂度。
在红外数据通道中，图像纹理较为模糊，在本发明的实施例中，采用乏纹理***进行跟踪。
在检测器方面，如图2所示，在可见光数据通道中，使用有方差检测器，有方差检测器由方差分类器、集成分类器和最近邻分类器组成。在红外数据通道中，使用无方差检测器，无方差分类器由集成分类器和最近邻分类器组成。
如果图像块的所有像素点灰度值的方差比初始目标图像块所有像素点灰度的方差的50％(参数可调)要小，则这个图像块将不会通过方差分类。方差分类阶段一般会拒绝多于50％的不含跟踪目标的图像块，比如平态区域、天空等乏信息候选子块。由于红外图像的热弥散特性，在红外数据通道中不使用方差分类器。
集成分类器采用随机蕨分类器对目标进行检测，随机蕨分类器类似于随机森林分类器，用来对具有多个特征值的不同目标种类进行数字概率分类，最终使用类似多人投票的方式决定被检测目标的属类。区别在于随机森林的树中每层节点判断准则不同，而随机蕨中每层中只有一种判断准则。
最近邻分类器基于KNN(K Nearest Neighbors Algorithms，最近邻算法)，即每个样本都可以采用它最接近的k个邻近样本来表示，如果一个样本的k个邻近样本中的大多数属于同一类别，则该样本也属于这个类别。在本发明的实施例中，采用k＝1。
在学习器方面，在本发明的实施例中，采用半监督机器学习(Positive-Negative学习，正负样本学习)的方法。在视频序列中，数据很少是独立的，一个独立的目标在一幅输入图像中最多占据一个位置，目标的位置变化轨迹光滑。通过学习，可以产生更多的对象模型从而和背景进行区分，并对集成分类器进行重构。
图3是根据本发明的实施例的可见光红外级联跟踪方法示意图。在可见光红外一体化探测得到的视频序列中，红外图像反映的是目标温度信息，温度短时间内不会发生大幅度改变，可作为基准通道。同时对可见光通道的跟踪后验置信概率进行高阈值设置以防止可见光图像中目标伪装。
可见光红外级联视频跟踪方法的步骤如下：
从可见光红外一体化探测得到的视频序列中分离可见光数据和红外数据，分别送入可见光数据通道和红外数据通道。在首次跟踪所述视频序列T0时刻的图像时，在可见光数据通道和红外数据通道的任一通道中的数据图像中手动框选初始窗口R0作为目标的跟踪区域。如果不是首次跟踪视频序列中的图像，则启动离线检测器获取初始窗口。
对初始窗口R0进行变换，形成正样本库Wgood，初始窗口R0外其它区域均进入负样本库Wbad。初始窗口图像子块R0进行变换，形成正样本库Wgood的步骤为：对初始窗口R0进行n次旋转，得到由旋转角度为θ的R0的n个图像子块组成的集合作为正样本库Wgood＝Rotate{R0，θ}，θ＝0，θm，…，θm*n，其中，θm*n≤360，θm为每次旋转的角度，θ为当前的旋转角度。θm越小跟踪性能越好，但计算复杂度越高。在本发明的实施例中，θm＝20，n＝18。
在T1时刻的图像中(T1时刻的图像是T0时刻的图像的下一帧)，在搜索空间L内基于所述初始窗口进行滑动搜索。搜索空间L的按照以下公式(2)计算：
其中，n，m为图像的宽和高，w，h为初始窗口的宽和高，dx，dy为平移尺度，在本发明的实施例中，平移尺度dx，dy设定为初始窗口R0的10％，即水平方向的平移尺度dx为初始窗口R0宽度的10％，竖直方向的平移尺度dy为初始窗口R0宽度的10％。
在可见光数据通道中，使用有方差检测器筛选正样本和负样本，并使用相关短时***进行搜索。在红外数据通道中，使用无方差检测器筛选正样本和负样本，并使用乏纹理短时***进行搜索。有方差检测器或无方差检测器获得的检测结果为Dbest，相关短时***或乏纹理短时***获得的跟踪结果为Tbest。
如上所述，有方差检测器由方差分类器、集成分类器和最近邻分类器组成，无方差分类器由集成分类器和最近邻分类器组成。
待检测的数据图像经过方差分类器(红外数据通道没有方差分类器)和集成分类器后，最后经过最近邻分类器得到Dbest，方差分类器通过以下步骤筛选正样本和负样本：设定输入所述方差分类器的图像块为p，通过公式E(p2)-E(p)2计算图像块p所有像素点灰度的方差，其中E(p)是图像区域的灰度均值，E(p2)表示区域像素平方和的均值，如果图像块p所有像素点灰度得方差小于阈值Eth，则图像块p是负样本，否则图像块p是正样本，其中阈值Eth可由用户进行设置。
集成分类器通过以下步骤筛选正样本和负样本：
首次跟踪图像时，采用以下特征描述方法，筛选正样本和负样本：
a)图像分块，将检测窗口内的图像区域按水平和垂直方向分为四块，将水平方向分割出的图像子块记为a1与a2；将竖直方向分割出的图像子块记为a3与a4；
b)梯度比较，计算ai(i＝1，2，3，4)图像块内的像素和值I(ai)，并分别比较；
c)根据以下等式(3)获取编码值BP：
使用集成分类器在线检测时，统计样本库中的样本与检测窗口得到同样一组编码值BP的概率，当多个集成分类器得到的概率均值超过概率阈值时，则检测窗口为正样本，否则为负样本，在本发明的实施例中，概率阈值为50％。
如果集成分类器不是首次跟踪图像时，使用更新的样本库Wgood和Wbad中的样本重新计算集成分类器的编码值BP。
最近邻分类器通过以下步骤筛选正样本和负样本：
设定图像块pi和pj之间的相似度S由等式表示，
其中由以下等式(4)表示：
其中，n表示归一化后图像块内的像素个数，μ1，μ2与σ1，σ2分别表示图像块pi与pj的均值和标准差；
待检测图像块p与最相似的正样本的相似度由以下等式(5)表示：
待检测图像块p与最相似的负样本的相似度由以下等式(6)表示：
其中，M为由多个正样本和负样本组成的目标模型，待检测图像块p与目标模型的最终相似度由以下等式(7)表示：
如果则待检测图像块p是正样本，否则待检测图像块p为负样本，其中，θNN为相似度阈值，在本发明的实施例中，θNN的范围为0.5～0.7，Sr值最大的正样本为检测器获得的检测结果Dbest。
可见光数据通道采用相关短时***以提高其计算速度。红外数据通道采用乏纹理短时***以提高其跟踪稳定性。相关短时***和乏纹理短时***得到的最终跟踪结果记为Tbest；
在T1时刻的图像中，红外数据通道中的无方差检测器以及可见光数据通道中的有方差检测器获得的检测结果为Dbest，红外数据通道中的乏纹理短时***和可见光数据通道中的相关短时***获得的跟踪结果为Tbest，按照与上一帧图像跟踪区域的重叠率，对Dbest和Tbest进行抉择。
对Dbest和Tbest进行抉择的步骤包括按照重叠率最大原则抉择Dbest和Tbest，其中，重叠率Overlap按照等式(8)表示：
其中，R为上一帧图像跟踪区域。Dbest和Tbest的抉择结果被输入各自的学习器，以用于训练集成分类器。
可见光数据通道和红外数据通道分别抉择出各自的抉择结果，经过可见光红外一体化跟踪准则对可见光数据通道和红外数据通道的抉择结果进行取舍。可见光红外一体化跟踪准则为：
当在红外数据通道中跟踪上所述目标时，由于目标温度短时不会发生大幅度改变，因此直接修正可见光跟踪结果同时以维持红外通道中的跟踪区域灰度值偏差最小为约束方程；
当在可见光通道中跟踪上所述目标时，对可见光数据通道的集成分类器的后验置信概率进行阈值设置，以防止可见光数据图像中的目标伪装；
当在红外数据通道中未跟踪上目标时，维持预定的帧数Fn，如果目标仍未出现，则跟踪过程结束。
通过上述规则进行取舍后，得到准确的跟踪区域Rnew，并作为正样本送入Wgood中，其余作为负样本送入Wbad。将正样本库Wgood和负样本库Wbad用于训练离线检测器，并进行T2时刻图像(T1时刻图像的下一帧图像)的跟踪，直到视频序列结束或可见光红外一体化跟踪准则判断停止，视频序列的每一帧图像均搜索完毕时视频序列结束。
在本发明的实施例中，在标准测试集上的跟踪漂移率显著小于5％，跟踪速度在320×240图像序列中优于60帧每秒，两通道相互维持另一通道的目标跟踪，同时可见光红外通道同时具备再启动跟踪能力，对遮挡等干扰不敏感。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。
Claims (8)
1.一种可见光红外级联视频跟踪方法，其特征在于，包括以下步骤：
从可见光红外一体化视频序列中分离可见光数据和红外数据，分别送入可见光数据通道和红外数据通道；
当首次跟踪所述视频序列T0时刻的图像时，在可见光数据通道和红外数据通道的任一通道中的数据图像中框选初始窗口R0作为目标的跟踪区域，当非首次跟踪视频序列中的图像时，启动离线检测器获取初始窗口；
对初始窗口R0进行变换，形成正样本库Wgood，初始窗口R0外其它区域均进入负样本库Wbad；
在T1时刻的图像中，在搜索空间L内基于所述初始窗口进行滑动搜索，在可见光数据通道中，使用有方差检测器筛选正样本和负样本，并使用相关短时***，在红外数据通道中，使用无方差检测器筛选正样本和负样本，并使用乏纹理短时***，有方差检测器或无方差检测器获得的检测结果为Dbest，相关短时***或乏纹理短时***获得的跟踪结果为Tbest，其中，有方差检测器由方差分类器、集成分类器和最近邻分类器组成，无方差分类器由集成分类器和最近邻分类器组成，其中，T1时刻的图像是T0时刻的图像的下一帧；
按照与上一帧图像跟踪区域的重叠率，对Dbest和Tbest进行抉择；
将可见光数据通道和红外数据通道分别选择的Dbest或Tbest输入各自的学习器，以用于训练集成分类器；
按照可见光红外一体化跟踪准则对可见光数据通道和红外数据通道的搜索结果进行取舍，得到准确的跟踪区域Rnew，并作为正样本送入Wgood中，其余作为负样本送入Wbad；
将正样本库Wgood和负样本库Wbad用于训练离线检测器，并进行T2时刻图像的跟踪，直到视频序列结束或可见光红外一体化跟踪准则判断停止，其中，T2时刻图像是T1时刻图像的下一帧图像，所述视频序列的每一帧图像均搜索完毕时视频序列结束。
2.根据权利要求1所述的一种可见光红外级联视频跟踪方法，其特征在于，对初始窗口图像子块R0进行变换，形成正样本库Wgood的步骤为：对初始窗口R0进行n次旋转，得到由旋转角度为θ的R0的n个图像子块组成的集合作为正样本库Wgood＝Rotate{R0，θ}，θ＝0，θm，…，θm*n，其中，θm*n≤360，θm为每次旋转的角度，θ为当前的旋转角度。
3.根据权利要求1所述的一种可见光红外级联视频跟踪方法，其特征在于，所述搜索空间L的按照以下公式计算：
<mrow>
<mi>L</mi>
<mo>=</mo>
<msub>
<mi>&Sigma;</mi>
<mrow>
<mi>s</mi>
<mo>&Element;</mo>
<msup>
<mn>1.2</mn>
<mrow>
<mo>{</mo>
<mrow>
<mo>-</mo>
<mn>10</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mn>10</mn>
</mrow>
<mo>}</mo>
</mrow>
</msup>
</mrow>
</msub>
<mo>&lsqb;</mo>
<mfrac>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>+</mo>
<mi>d</mi>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>s</mi>
<mi>d</mi>
<mi>x</mi>
</mrow>
</mfrac>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mfrac>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>h</mi>
<mo>+</mo>
<mi>d</mi>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>s</mi>
<mi>d</mi>
<mi>y</mi>
</mrow>
</mfrac>
<mo>&rsqb;</mo>
</mrow>
其中，n，m为图像的宽和高，w，h为初始窗口的宽和高，dx，dy为平移尺度。
4.根据权利要求1所述的一种可见光红外级联视频跟踪方法，其特征在于，所述方差分类器通过以下步骤筛选正样本和负样本：设定输入所述方差分类器的图像块为p，通过公式E(p2)-E(p)2计算图像块p所有像素点灰度的方差，其中E(p)是图像区域的灰度均值，E(p2)表示区域像素平方和的均值，如果图像块p所有像素点灰度得方差小于阈值Eth，则图像块p是负样本，否则图像块p是正样本。
5.根据权利要求1所述的一种可见光红外级联视频跟踪方法，其特征在于，所述集成分类器通过以下步骤筛选正样本和负样本：
首次跟踪图像时，采用以下特征描述方法，筛选正样本和负样本：
a)图像分块，将检测窗口内的图像区域按水平和垂直方向分为四块，将水平方向分割出的图像子块记为a1与a2；将竖直方向分割出的图像子块记为a3与a4；
b)梯度比较，计算ai(i＝1，2，3，4)图像块内的像素和值I(ai)，并分别比较；
c)根据以下等式获取编码值BP：
<mrow>
<mi>B</mi>
<mi>P</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>I</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo><</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mn>3</mn>
</msub>
<mo>)</mo>
</mrow>
<mo><</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mn>4</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>I</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo><</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mn>3</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>></mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mn>4</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>2</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>I</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>></mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mn>3</mn>
</msub>
<mo>)</mo>
</mrow>
<mo><</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mn>4</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>3</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>I</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>></mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mn>3</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>></mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mn>4</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
使用集成分类器在线检测时，统计样本库中的样本与检测窗口得到同样一组编码值BP的概率，当多个集成分类器得到的概率均值超过概率阈值时，则检测窗口为正样本，否则为负样本；
非首次跟踪图像时，使用更新的样本库Wgood和Wbad中的样本重新计算集成分类器的编码值BP。
6.根据权利要求1所述的一种可见光红外级联视频跟踪方法，其特征在于，最近邻分类器通过以下步骤筛选正样本和负样本：
设定图像块pi和pj之间的相似度S由等式S＝0.5(NCC(pi，pj)+1)，表示，其中其中，n表示归一化后图像块内的像素个数，μ1，μ2与σ1，σ2分别表示图像块pi与pj的均值和标准差；
待检测图像块p与最相似的正样本的相似度为：
待检测图像块p与最相似的负样本的相似度为：
其中，M为由多个正样本和负样本组成的目标模型，待检测图像块p与目标模型的最终相似度Sr为：
如果Sr＞θNN，则待检测图像块p是正样本，否则待检测图像块p为负样本，其中，θNN为相似度阈值，ST值最大的正样本为检测器获得的检测结果Dbest。
7.根据权利要求1所述的一种可见光红外级联视频跟踪方法，其特征在于，按照与上一帧图像跟踪区域的重叠率，对Dbest和Tbest进行抉择的步骤包括：按重叠率最大原则抉择Dbest和Tbest，其中，重叠率Overlap按照等式来计算，R为上一帧图像跟踪区域。
8.根据权利要求1所述的一种可见光红外级联视频跟踪方法，其特征在于，可见光红外一体化跟踪准则为：
当在红外数据通道中跟踪上所述目标时，直接修正可见光跟踪结果同时以维持红外通道中的跟踪区域灰度值偏差最小为约束方程；
当在可见光通道中跟踪上所述目标时，对可见光数据通道的集成分类器的后验置信概率进行阈值设置，以防止可见光数据图像中的目标伪装；
当在红外数据通道中未跟踪上目标时，维持预定的帧数，如果目标仍未出现，则跟踪过程结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710829198.8A CN107730535B (zh) | 2017-09-14 | 2017-09-14 | 一种可见光红外级联视频跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710829198.8A CN107730535B (zh) | 2017-09-14 | 2017-09-14 | 一种可见光红外级联视频跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107730535A true CN107730535A (zh) | 2018-02-23 |
| CN107730535B CN107730535B (zh) | 2020-03-24 |
Family
ID=61206278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710829198.8A Active CN107730535B (zh) | 2017-09-14 | 2017-09-14 | 一种可见光红外级联视频跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107730535B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110413836A (zh) * | 2019-07-18 | 2019-11-05 | 湖南宏动光电有限公司 | 一种全景搜索*** |
| CN117237619A (zh) * | 2023-11-16 | 2023-12-15 | 数聚(山东)医疗科技有限公司 | 基于机器视觉技术的水上救援探测***及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040051659A1 (en) * | 2002-09-18 | 2004-03-18 | Garrison Darwin A. | Vehicular situational awareness system |
| CN103136526A (zh) * | 2013-03-01 | 2013-06-05 | 西北工业大学 | 基于多源图像特征融合的在线目标跟踪方法 |
| CN106250878A (zh) * | 2016-08-19 | 2016-12-21 | 中山大学 | 一种结合可见光和红外图像的多模态目标跟踪方法 |
-
2017
- 2017-09-14 CN CN201710829198.8A patent/CN107730535B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040051659A1 (en) * | 2002-09-18 | 2004-03-18 | Garrison Darwin A. | Vehicular situational awareness system |
| CN103136526A (zh) * | 2013-03-01 | 2013-06-05 | 西北工业大学 | 基于多源图像特征融合的在线目标跟踪方法 |
| CN106250878A (zh) * | 2016-08-19 | 2016-12-21 | 中山大学 | 一种结合可见光和红外图像的多模态目标跟踪方法 |
Non-Patent Citations (3)
| Title |
|---|
| ZHEN CHEN ET AL.: "High-quality fusion for visible and infrared images based on the double NSCT", 《IEEE》 * |
| 蔡冰 等: "基于联合直方图的红外与可见光目标融合跟踪", 《广东师范大学学报（自然科学版）》 * |
| 马海菲 等: "基于L1-APG的红外与可见光目标实时融合跟踪", 《计算机工程》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110413836A (zh) * | 2019-07-18 | 2019-11-05 | 湖南宏动光电有限公司 | 一种全景搜索*** |
| CN117237619A (zh) * | 2023-11-16 | 2023-12-15 | 数聚(山东)医疗科技有限公司 | 基于机器视觉技术的水上救援探测***及方法 |
| CN117237619B (zh) * | 2023-11-16 | 2024-02-02 | 数聚(山东)医疗科技有限公司 | 基于机器视觉技术的水上救援探测***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107730535B (zh) | 2020-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919974B (zh) | 基于r-fcn框架多候选关联的在线多目标跟踪方法 | |
| CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| CN110378931A (zh) | 一种基于多摄像头的行人目标移动轨迹获取方法及*** | |
| CN110119728A (zh) | 基于多尺度融合语义分割网络的遥感图像云检测方法 | |
| CN109961006A (zh) | 一种低像素多目标人脸检测和关键点定位方法以及对齐方法 | |
| CN111079556A (zh) | 一种多时相无人机视频图像变化区域检测及分类方法 | |
| CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
| CN102932605A (zh) | 一种视觉感知网络中摄像机的组合选择方法 | |
| CN105260749B (zh) | 基于方向梯度二值模式和软级联svm的实时目标检测方法 | |
| CN109871763A (zh) | 一种基于yolo的特定目标跟踪方法 | |
| CN105930822A (zh) | 一种人脸抓拍方法及*** | |
| CN108154159B (zh) | 一种基于多级检测器的具有自恢复能力的目标跟踪方法 | |
| CN103886325B (zh) | 一种分块的循环矩阵视频跟踪方法 | |
| CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
| CN104517095B (zh) | 一种基于深度图像的人头分割方法 | |
| CN101630363A (zh) | 复杂背景下彩色图像人脸的快速检测方法 | |
| CN102214291A (zh) | 一种快速准确的基于视频序列的人脸检测跟踪方法 | |
| CN103035013A (zh) | 一种基于多特征融合的精确运动阴影检测方法 | |
| CN108460790A (zh) | 一种基于一致性预测器模型的视觉跟踪方法 | |
| CN104123529A (zh) | 人手检测方法及*** | |
| CN107248174A (zh) | 一种基于tld算法的目标跟踪方法 | |
| CN110189375A (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
| CN105160649A (zh) | 基于核函数非监督聚类的多目标跟踪方法及*** | |
| CN103761747B (zh) | 一种基于加权分布场的目标跟踪方法 | |
| CN107123130A (zh) | 一种基于超像素和混合哈希的核相关滤波目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |