CN105279772B - 一种红外序列图像的可跟踪性判别方法 - Google Patents

一种红外序列图像的可跟踪性判别方法 Download PDF

Info

Publication number
CN105279772B
CN105279772B CN201510698152.8A CN201510698152A CN105279772B CN 105279772 B CN105279772 B CN 105279772B CN 201510698152 A CN201510698152 A CN 201510698152A CN 105279772 B CN105279772 B CN 105279772B
Authority
CN
China
Prior art keywords
image
sample
infrared
target
trackability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510698152.8A
Other languages
English (en)
Other versions
CN105279772A (zh
Inventor
李航
张琦
王立强
李元元
胡超
李宇飞
魏向旺
黄辉
席福彪
毛羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Launch Vehicle Technology CALT
Original Assignee
China Academy of Launch Vehicle Technology CALT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Launch Vehicle Technology CALT filed Critical China Academy of Launch Vehicle Technology CALT
Priority to CN201510698152.8A priority Critical patent/CN105279772B/zh
Publication of CN105279772A publication Critical patent/CN105279772A/zh
Application granted granted Critical
Publication of CN105279772B publication Critical patent/CN105279772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种红外序列图像的可跟踪性判别方法,利用红外图像质量特征、图像梯度特征、图像纹理特征,计算序列图像中每帧图像的单帧图像可检测性置信度,加权获得序列图像可跟踪性置信度;本发明提出一种利用图像熵特征和图像中前后帧之间目标背景特征差异,直接计算序列图像可跟踪性置信度的方法。两种方法都主要用于红外目标检测和红外目标跟踪,属于红外目标探测识别领域。

Description

一种红外序列图像的可跟踪性判别方法
技术领域
本发明涉及一种红外序列图像的可跟踪性判别方法,属于红外目标探测识别领域。
背景技术
可跟踪性分析是为跟踪算法服务的,用来判断目标区域是否适用于某种跟踪算法。不同的跟踪算法在计算量、跟踪精度等性能指标上有很大的差异,同时,由于在成像跟踪***中的目标尺寸、形状、灰度及其分布、图像的分辨率等都可因为环境条件的不同而有较大的差异,因此当选择的跟踪算法不合适时,跟踪结果往往效果很差。同时较差的环境条件和相机抖动等因素造成成像质量较差,进而影响跟踪性能的情况也屡见不鲜。
为了提高序列图像的跟踪性能,文献《从移动背景红外序列图像中检测运动目标》(曹炬等,电子与信息学报,2005年01期)论述了使用三对图像进行差分,每对图像之间相差两帧,差分获得跟踪目标的方法。文献《红外图像序列的目标增强和检测》(张风超等,红外与激光工程,2004年04期)论述了利用红外图像目标和背景区域局部纹理特征的差异来增强目标和背景区域的对比度。文献《基于独立成分分析的遥感影像可匹配性度量》(巨西诺等,光子学报,2014年07期)论述了使用尺度不同的基准图和实时影像度量遥感影像的可匹配性问题。文献《基于特征匹配的影像可匹配性研究》(安如等,红外与激光工程,2005年04期)论述了使用信息熵和累加梯度值度量影响可匹配性问题。专利《红外图像序列中弱小目标的检测和跟踪方法》(敬忠良等)公开了一种红外图像序列中弱小目标的检测和跟踪方法。专利《一种实时红外图像目标跟踪方法》(孙宁等)公开了一种实时红外图像目标跟踪方法,根据相关性分析,对红外图像目标进行实时跟踪。专利《一种复杂背景下红外弱小目标检测和跟踪方法》(李映等)公开了一种复杂背景下红外弱小目标检测与跟踪方法,使用多特征跟踪解决复杂背景条件下的跟踪不稳定问题。专利《基于多特征图像和均值漂移的红外目标跟踪方法》(杨杰等)公开了一种基于多特征图像和均值漂移的红外目标跟踪方法,主要是通过提取多种特征对目标进行跟踪。文献《Matchability-oriented featureselection for recognition structure learning》(H.Yamakawa,Proceedings of the13th International Conference on Pattern Recognition,1996)定义目标可匹配性是针对匹配选取特征,并提出了可匹配性特征提取方法。
以上文献使用多种角度来提高跟踪性能,然而,国内外已公开发表的非专利文献和专利文献中,均未发现有从红外图像的角度计算红外序列图像可跟踪性置信度,进而为红外序列图像预处理和红外序列图像跟踪算法选择提供依据的方法。
发明内容
本发明解决的技术问题是:较差的环境条件和相机抖动等因素造成红外序列图像的成像质量较差,进而影响跟踪性能的情况屡见不鲜。同时,红外成像跟踪***中的目标尺寸、形状、灰度及其分布、图像的分辨率等都可因为环境条件的不同而有较大的差异,从而造成同一组红外序列图像使用不同的跟踪算法在计算量、跟踪精度等性能指标上有很大的差异。为了判别红外序列图像的成像质量对跟踪性能的影响,解决判别红外图像是否需要预处理的问题;同时为了针对红外序列图像选择合适的跟踪算法,解决跟踪算法选择问题,本发明提出了红外序列图像的目标可跟踪性判别方法。
本发明的技术方案是:一种红外序列图像的可跟踪性判别方法,包括单帧图像特征提取模块、单帧图像可检测性分析模块、序列图像可跟踪性分析模块和置信度判别模块;
单帧图像特征提取模块:对待跟踪视频中的每幅图像提取特征,包括图像质量特征提取模块、目标特征提取模块、背景特征提取模块;
单帧图像可检测性分析模块:根据单帧图像特征提取模块提取到的单帧图像特征,使用基于随机森林的分类器对图像特征进行分类,根据分类结果获得单帧图像可检测置信度;
序列图像可跟踪性分析模块:提取序列图像相邻帧之间的图像熵、目标特征以及目标和背景的差异特征,获得红外序列图像可跟踪置信度;或根据单帧图像可检测置信度的输出结果,获得红外序列图像可跟踪性的置信度;
置信度判别模块:对得到的红外序列图像可跟踪性的置信度进行判断,大于50%表示可对红外序列图像进行跟踪,小于等于50%表示不可对红外序列图像进行跟踪。
所述的图像质量特征提取模块计算获得有参照图像质量特征和无参照图像质量特征,其中有参照图像质量特征包括归一化均方差、信噪比、平均绝对误差、均方误差、峰值信噪比;无参照图像质量特征包括视在对比度、固有对比度和调制对比度,图像功率谱峰值、次峰值,基于Sobel算子、Laplace算子和Robert算子清晰度;
目标特征提取模块:计算获得纹理特征、亮度特征、梯度特征;其中纹理特征包括目标区域角二阶矩差值、灰度自相关差值、反差分矩阵差值;亮度特征包括目标区域平均亮度,目标区域亮度均匀性;梯度特征包括目标区域一阶梯度直方图熵值、一阶梯度方向直方图熵值、二阶梯度直方图熵值、二阶梯度方向直方图熵值;
背景特征提取模块:计算获得纹理特征、亮度特征、梯度特征;其中纹理特征包括背景区域角二阶矩差值、灰度自相关差值、反差分矩阵差值;亮度特征包括背景区域平均亮度,背景区域亮度均匀性;梯度特征包括背景区域一阶梯度直方图熵值、一阶梯度方向直方图熵值、二阶梯度直方图熵值、二阶梯度方向直方图熵值。
所述单帧图像可检测性分析模块包括算法库制备单元、样本库制备单元、分类器更新单元;
算法库制备单元:算法库获得现有典型单帧红外目标检测算法的可执行程序,并将典型单帧红外目标检测算法按照特征类型分为三类,即基于亮度特征的红外目标检测算法,基于纹理特征的红外目标检测算法、基于梯度特征的红外目标检测算法;
样本库制备单元:获取图像质量不同的红外目标图像和加噪红外目标图像,建立样本库,同时按照不同的单帧红外目标检测算法对样本库中的图像进行检测,获得对应每个算法的正样本和负样本,其中正样本表示能检测到目标的图像,负样本表示检测错误或者无法检测的图像;对于某类算法中任一算法都可以检测到的正样本作为该类算法的普遍正样本,其余作为普遍负样本,建立对应不同类别的普遍样本库;普遍样本库分为:亮度特征普遍样本库、梯度特征普遍样本库、纹理特征普遍样本库;对所有普遍样本库中的正样本取交集,获得通用样本库正样本,其余为通用样本库负样本;
分类器更新单元:接受样本库输出的正负样本,获取正负样本特征,采用随机森林分类算法对正负样本进行训练并更新随机森林分类器,将分类器更新信息输出给目标特征可检测性模块,将使用分类器分类结果获得的目标特征可检测性置信度输出给红外序列图像可跟踪性置信度计算模块;接受普遍样本库输出的正负普遍样本,获取正负普遍样本特征,采用随机森林分类算法对正负普遍样本进行训练并更新随机森林分类器,将分类器更新信息输出给目标特征可检测性模块,将使用分类器分类结果获得的目标特征可检测性置信度输出给红外序列图像可跟踪性置信度计算模块;接受通用样本库输出的正负通用样本,获取正负通用样本特征,采用随机森林分类算法对正负通用样本进行训练并更新随机森林分类器,将分类器更新信息输出给目标特征可检测性模块,将使用分类器分类结果获得的目标特征可检测性置信度输出给红外序列图像可跟踪性置信度计算模块。
所述序列图像可跟踪性分析模块,根据TBD跟踪算法中使用的检测算法,调用对应检测算法样本库,将序列图像中的每帧图像输入到单帧图像可检测性分析模块的分类器中,获得该序列图像中的正样本个数和负样本个数,获得对应TBD跟踪算法的可跟踪置信度;根据TBD跟踪算法中使用的目标特征类型,调用对应目标特征普遍样本库,将序列图像中的每帧图像输入到单帧图像可检测性分析模块的分类器中,获得该序列图像中的正样本个数和负样本个数,获得对应目标特征的可跟踪置信度;调用通用样本库,将序列图像中的每帧图像输入到单帧图像可检测性分析模块的分类器中,获得该序列图像中的正样本个数和负样本个数,进而获得红外序列图像可跟踪置信度。
所述序列图像可跟踪性分析模块,对红外目标图像序列的前十帧有效图像进行目标标记,作为正样本,计算图像熵、目标特征、目标和背景的特征差异,并归一化,构建最大后验概率模型,记录参数值;对序列第十一帧,使用在线EM算法迭代模型参数,获得新参数值,若原参数值和新参数值有一个大于3ε,ε为高斯分布的均方差,则第十一帧为负样本,反之,则为正样本;接收初始化正样本,采用在线EM分类算法对正负样本进行训练并更新模型参数;第十二帧开始,和十一帧一样的处理方法,最终对该红外目标图像序列迭代完成。
所述加噪红外目标图像按照添加噪声均匀增长的方式对原始红外图像进行加噪处理,其中加噪起始值为5%,增加值为5%。
本发明与现有技术相比具有的有益效果是:
(1)国内外已公开发表的非专利文献和专利文献中,均未发现有从红外图像的角度计算红外序列图像可跟踪性置信度,进而为红外序列图像预处理和红外序列图像跟踪算法选择提供依据的方法。本发明提出了两种红外序列图像的可跟踪性判别方法,计算红外序列图像的可跟踪性置信度,填补了红外序列图像可跟踪性判别方法的技术空白。
(2)使用归一化均方差、信噪比、平均绝对误差、均方误差、峰值信噪比度量有参照图像质量特征,使用视在对比度、固有对比度和调制对比度,图像功率谱峰值、次峰值,基于Sobel算子、Laplace算子和Robert算子清晰度度量无参照图像质量特征;使用目标区域角二阶矩差值、灰度自相关差值、反差分矩阵差值度量纹理特征,使用目标区域平均亮度,目标区域亮度均匀性度量亮度特征,使用目标区域一阶梯度直方图熵值、一阶梯度方向直方图熵值、二阶梯度直方图熵值、二阶梯度方向直方图熵值度量梯度特征;首次使用较为完备的图像质量特征和目标及背景区域的亮度、梯度、纹理特征来实现单帧红外图像特征度量,特征值计算具有全面性,为有效地判别使用哪类红外序列图像跟踪算法提供依据。
(3)获取图像质量不同的红外目标图像和加噪红外目标图像,首次建立三个层次的样本库:对应每个算法的正负样本库、对应某类算法的普遍政府样本库、对应所有算法的通用正负样本库。根据这三个层次的样本库,使用基于随机森林的分类器,可获得红外序列图像三个层次的可跟踪性置信度,直接实现根据正负样本库判别使用某种红外序列图像跟踪算法,根据普遍样本库判别使用某类红外序列图像跟踪算法以及根据通用样本库判别是否需要预处理的判别算法,判别效果准确性和直观性较强。
(4)在第二种红外序列图像的目标可跟踪性判别方法中,使用红外目标图像序列的前十帧有效图像进行目标标记,作为正样本,计算图像熵、目标特征、目标和背景的特征差异,并归一化,构建最大后验概率模型,记录参数值;对序列第十一帧,使用在线EM算法迭代模型参数,获得新参数值。依据上述样本制备算法,使用在线EM算法更新最大后验概率模型参数,为在红外序列图像中目标特征快速变化的情况下避免旧样本影响模型准确度提供保障。
附图说明
图1为本发明红外序列图像的目标可跟踪性分析方法整体结构图;
图2a、2b、2c为单帧图像特征提取示意图;
图3为单帧图像可检测性分析方法工作原理图;
图4为样本库和算法库构建工作原理图;
图5为基于随机森林的分类器工作原理图;
图6为序列图像可跟踪性分析工作原理图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细的描述:
如图1所示为红外序列图像的可跟踪性判别方法整体结构图,由图可知本发明为红外序列图像的可跟踪性判别方法,由单帧图像特征提取模块、单帧图像可检测性分析模块、序列图像可跟踪性分析模块和置信度判别模块组成。
单帧图像特征提取模块:如图2所示,对待跟踪视频中的每幅图像提取特征,包括图像质量特征提取模块、目标特征提取模块、背景特征提取模块;
图像质量特征提取模块:如图3所示,计算获得有参照图像质量特征和无参照图像质量特征,其中有参照图像质量特征包括归一化均方差、信噪比、平均绝对误差、均方误差、峰值信噪比;无参照图像质量特征包括对比度、图像功率谱峰值、图像功率次峰值、清晰度。
信噪比:即Signal to Noise Ratio,SNR,数学表达式如下:
其中f(x,y)代表图像;f′(x,y)代表加噪后的图像;(x,y)代表像素点在图像上的坐标;m,n分别表示图像的横纵分辨率。
平均绝对误差:即Mean Average Error,MAE,数学表达式如下:
其中f(x,y)代表图像;f′(x,y)代表加噪后的图像;(x,y)代表像素点在图像上的坐标;m,n分别表示图像的横纵分辨率。
均方误差:即Mean Square Error,MSE,是认知度最高的一种算法,它的值与图像质量成反比,数学表达式为:
其中f(x,y)代表图像;f′(x,y)代表加噪后的图像;(x,y)代表像素点在图像上的坐标;m,n分别表示图像的横纵分辨率。
归一化均方差:即Normalized Mean Square Error,NMSE,其理论基础是能量归一化,它的值也与图像质量成反比。数学表达式表示如下:
其中f(x,y)代表图像;f′(x,y)代表加噪后的图像;(x,y)代表像素点在图像上的坐标;m,n分别表示图像的横纵分辨率。
峰值信噪比:即Peak Signal to Noise Ratio,PSNR,数学表达式表示如下:
其中f(x,y)代表图像;f′(x,y)代表加噪后的图像;(x,y)代表像素点在图像上的坐标;m,n分别表示图像的横纵分辨率。
根据场景的要求的不同,以及目标和背景的不同,目标亮度对比度和背景的亮度对比度通常分为以下三种对比度:视在对比度(表现对比度)、固有对比度(零对比度)和调制对比度。
视在对比度:视在对比度是指目标亮度和背景亮度的差与背景亮度之比,数学公式表示为:
其中c代表视在对比度;Lb为背景的亮度;Lm为目标的亮度。
固有对比度:固有对比度是指在视在对比度测试中,以天空为背景时,所测得的视在对比度。用数学公式表示为:
其中C0代表固有对比度;Ls代表天空背景亮度;Lm代表目标的亮度。
调制对比度:调制对比度是指目标和背景亮度之差与目标和背景亮度之和的比值,用数学公式表示为:
其中M代表调制对比度;Lb代表背景的亮度;Lm代表目标的亮度。
图像功率谱峰值和图像功率谱次峰值:分别表示图像的功率谱函数最大值和次大值。
清晰度函数:清晰度函数数学表达式为:
其中grad(x,y)代表梯度;(x,y)代表梯度位置。
基于Sobel算子的清晰度:Sobel算子是先加权平均,然后再微分,因此,它具有一定的抗噪声性能。梯度算子为:
其中,
其中grad(x,y)为点(x,y)出的梯度能量;(x,y)代表像素点在图像上的坐标。
基于Laplace算子的清晰度:Laplacian算子是一种不依赖于边缘方向的二阶微分算子,它是一个标量,具有各向同性的性质。梯度算子为:
grad(x,y)=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y) (13)
其中grad(x,y)为点(x,y)出的梯度能量;(x,y)代表像素点在图像上的坐标。
基于Robert算子的清晰度:Roberts边缘检测算子是一种利用局部边缘差分寻找边缘的算子。梯度函数为:
其中,grad(x,y)为点(x,y)出的梯度能量。
目标特征提取模块:如图4所示,计算获得纹理特征、亮度特征、梯度特征;其中纹理特征包括目标区域角二阶矩差值、灰度自相关差值、反差分矩阵差值;亮度特征包括目标区域平均亮度,目标区域亮度均匀性;梯度特征包括目标区域一阶梯度直方图熵值、一阶梯度方向直方图熵值、二阶梯度直方图熵值、二阶梯度方向直方图熵值;背景特征表征背景区域模型,和目标特征一致,提取背景特征主要是为了分析前景背景差异是否满足跟踪要求;
角二阶矩:即Energy or Angular Second Moment,征图像亮度分布的平衡程度及纹理的粗细。数学表达式如下所示。
其中Pk为区域的灰度共生矩阵。灰度共生矩阵是一个统计矩阵,其统计的是图像中某个方向上一定距离的一对象元的灰度出现的统计。(x,y)为灰度共生矩阵内的坐标位置。
灰度自相关:即Correlation,表现了灰度共生矩阵元素在行或列方向上的相似程度,图中纹理区域有某种方向性时,相关值比较大。数学表达式如下所示。
其中
反差分矩阵:即Inverse Differential Moment,IDM,表征的是纹理的易辨识特征以及规律性特征。数学表达式如下所示。
其中Pk为区域的灰度共生矩阵灰度。(x,y)为灰度共生矩阵内的坐标位置。
区域平均亮度:区域平均亮度数学公式如下所示:
其中f(x,y)为图像区域。(x,y)为图像区域内的坐标位置。
区域亮度均匀性:区域亮度均匀性数学表达式如下所示:
其中f(x,y)为图像区域。(x,y)为图像区域内的坐标位置。
直方图熵值:图像熵表示为图像灰度级的概率统计,描述了一幅图像的平均信息量。假设一幅图像I的灰度范围为[0,L-1],各像素灰度出现的概率为p0,p1,...,pL-1。则该幅图像的平均信息量即图像熵为:
单帧图像可检测性分析模块:如图5所示,根据单帧图像特征提取模块提取到的单帧图像特征,使用基于随机森林的分类器对图像特征进行分类,根据分类结果获得单帧图像可检测置信度;
单帧图像可检测性分析模块包括算法库制备单元、样本库制备单元、分类器更新单元;
算法库制备单元:算法库获得现有典型单帧红外目标检测算法的可执行程序,并将典型单帧红外目标检测算法按照特征类型分为三类,即基于亮度特征的红外目标检测算法,基于纹理特征的红外目标检测算法、基于梯度特征的红外目标检测算法;
样本库制备单元:如图6所示,获取图像质量不同的红外目标图像和加噪红外目标图像,建立样本库。加噪红外目标图像按照添加噪声均匀增长的方式对原始红外图像进行加噪处理,其中加噪起始值为5%,增加值为5%。同时按照不同的单帧红外目标检测算法对样本库中的图像进行检测,获得对应每个算法的正样本和负样本,其中正样本表示能检测到目标的图像,负样本表示检测错误或者无法检测的图像;对于某类算法中任一算法都可以检测到的正样本作为该类算法的普遍正样本,其余作为普遍负样本,建立对应不同类别的普遍样本库;普遍样本库分为:亮度特征普遍样本库、梯度特征普遍样本库、纹理特征普遍样本库;对所有普遍样本库中的正样本取交集,获得通用样本库正样本,其余为通用样本库负样本;
分类器更新单元:接受样本库输出的正负样本,获取正负样本特征,采用随机森林分类算法对正负样本进行训练并更新随机森林分类器,将分类器更新信息输出给目标特征可检测性模块,将使用分类器分类结果获得的目标特征可检测性置信度输出给红外序列图像可跟踪性置信度计算模块;接受普遍样本库输出的正负普遍样本,获取正负普遍样本特征,采用随机森林分类算法对正负普遍样本进行训练并更新随机森林分类器,将分类器更新信息输出给目标特征可检测性模块,将使用分类器分类结果获得的目标特征可检测性置信度输出给红外序列图像可跟踪性置信度计算模块;接受通用样本库输出的正负通用样本,获取正负通用样本特征,采用随机森林分类算法对正负通用样本进行训练并更新随机森林分类器,将分类器更新信息输出给目标特征可检测性模块,将使用分类器分类结果获得的目标特征可检测性置信度输出给红外序列图像可跟踪性置信度计算模块。
序列图像可跟踪性分析模块:根据单帧图像可检测置信度的输出结果,获得红外序列图像可跟踪性的置信度;提取序列图像相邻帧之间的图像熵、目标特征以及目标和背景的差异特征,获得红外序列图像可跟踪置信度。
第一种红外序列图像的目标可跟踪性分析模块,根据TBD跟踪算法中使用的检测算法,调用对应检测算法样本库,将序列图像中的每帧图像输入到单帧图像可检测性分析模块的分类器中,获得该序列图像中的正样本个数和负样本个数,获得对应TBD跟踪算法的可跟踪置信度;根据TBD跟踪算法中使用的目标特征类型,调用对应目标特征普遍样本库,将序列图像中的每帧图像输入到单帧图像可检测性分析模块的分类器中,获得该序列图像中的正样本个数和负样本个数,获得对应目标特征的可跟踪置信度;调用通用样本库,将序列图像中的每帧图像输入到单帧图像可检测性分析模块的分类器中,获得该序列图像中的正样本个数和负样本个数,进而获得红外序列图像可跟踪置信度。
置信度计算数学表达式如下所示:
假设评价中N为红外图像序列中图像的个数,n+为判定图像属于正样本的个数,则被测图像的置信度为:
C=n+/N (21)
第二种红外序列图像的目标可跟踪性分析模块,对红外目标图像序列的前十帧有效图像进行目标标记,作为正样本,计算图像熵、目标特征、目标和背景的特征差异,并归一化,构建最大后验概率模型,记录参数值;对序列第十一帧,使用在线EM算法迭代模型参数,获得新参数值,若原参数值和新参数值有一个大于3ε,ε为高斯分布的均方差,则第十一帧为负样本,反之,则为正样本;接收初始化正样本,采用在线EM分类算法对正负样本进行训练并更新模型参数;第十二帧开始,和十一帧一样的处理方法,最终对该红外目标图像序列迭代完成;
在线EM算法是EM算法的一个变形,适用于在线分析和大数据级的快速应用。相比EM算法,在线EM的差异在于在线EM的数据分布模型是动态的,依据实时输入的数据来对统计模型进行调整。而并非像EM模型一样,估计出的模型是完全符合样本中的所有数据。因此在线EM模型依赖的已知样本较少,可以在保证参数估计准确性的条件下极大地降低更新模型时的时间复杂度,收敛速度较快,更新模型时需要更少的样本数据。因此适用于我们的***。
我们使用在线EM算法来通过前k-1帧的数据估计k帧数据。假设有k-1个已知样本数据Zk-1={z1,...,zk-1}和第k个未知样本zk。定义(Zk-1,zk)为完整样本且满足指数概率模型
pθ(Zk-1,zk;θ)=h(Zk-1,zk)exp(<s(Zk-1,zk),ψ(θ)>-A(θ)) (22)
其中s(Zk-1,zk)属于凸集S,<·,·>表示内积,A表征log-partition函数,θ∈Θ是需要估计的参数。ψ(·)是一个将θ映射到自然参数的函数。对于任意的s∈S,似然函数在值域Θ上有且只有一个全局最大值定义为
对于第n次迭代,在线EM使用下列公式来得到迭代结果
其中γn=n,α∈[0.6,0.9]。
置信度判别模块:对得到的红外序列图像可跟踪性的置信度进行判断,大于50%表示可对红外序列图像进行跟踪,小于等于50%表示不可对红外序列图像进行跟踪。
以上所述,仅为本发明最佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
本发明说明书中未作详细描述内容属于本领域专业技术人员公知技术。

Claims (6)

1.一种红外序列图像的可跟踪性判别方法,其特征在于:包括单帧图像特征提取模块、单帧图像可检测性分析模块、序列图像可跟踪性分析模块和置信度判别模块;
单帧图像特征提取模块:对待跟踪视频中的每幅图像提取特征,包括图像质量特征提取模块、目标特征提取模块、背景特征提取模块;
单帧图像可检测性分析模块:根据单帧图像特征提取模块提取到的单帧图像特征,使用基于随机森林的分类器对图像特征进行分类,根据分类结果获得单帧图像可检测置信度;
序列图像可跟踪性分析模块:提取序列图像相邻帧之间图像熵的差值、相邻帧之间目标特征的差值以及相邻帧之间图像的目标和背景对同一类特征的差值,获得红外序列图像可跟踪置信度;或根据单帧图像可检测置信度的输出结果,获得红外序列图像可跟踪性的置信度;
置信度判别模块:对得到的红外序列图像可跟踪性的置信度进行判断,大于50%表示可对红外序列图像进行跟踪,小于等于50%表示不可对红外序列图像进行跟踪。
2.根据权利要求1所述的一种红外序列图像的可跟踪性判别方法,其特征在于:所述的图像质量特征提取模块计算获得有参照图像质量特征和无参照图像质量特征,其中有参照图像质量特征包括归一化均方差、信噪比、平均绝对误差、均方误差、峰值信噪比;无参照图像质量特征包括视在对比度、固有对比度和调制对比度,图像功率谱峰值、次峰值,基于Sobel算子、Laplace算子和Robert算子清晰度;
目标特征提取模块:计算获得纹理特征、亮度特征、梯度特征;其中纹理特征包括目标区域角二阶矩差值、灰度自相关差值、反差分矩阵差值;亮度特征包括目标区域平均亮度,目标区域亮度均匀性;梯度特征包括目标区域一阶梯度直方图熵值、一阶梯度方向直方图熵值、二阶梯度直方图熵值、二阶梯度方向直方图熵值;
背景特征提取模块:计算获得纹理特征、亮度特征、梯度特征;其中纹理特征包括背景区域角二阶矩差值、灰度自相关差值、反差分矩阵差值;亮度特征包括背景区域平均亮度,背景区域亮度均匀性;梯度特征包括背景区域一阶梯度直方图熵值、一阶梯度方向直方图熵值、二阶梯度直方图熵值、二阶梯度方向直方图熵值。
3.根据权利要求1所述的一种红外序列图像的可跟踪性判别方法,其特征在于:所述单帧图像可检测性分析模块包括算法库制备单元、样本库制备单元、分类器更新单元;
算法库制备单元:算法库获得现有典型单帧红外目标检测算法的可执行程序,并将典型单帧红外目标检测算法按照特征类型分为三类,即基于亮度特征的红外目标检测算法,基于纹理特征的红外目标检测算法、基于梯度特征的红外目标检测算法;
样本库制备单元:获取图像质量不同的红外目标图像和加噪红外目标图像,建立样本库,同时按照不同的单帧红外目标检测算法对样本库中的图像进行检测,获得对应每个算法的正样本和负样本,其中正样本表示能检测到目标的图像,负样本表示检测错误或者无法检测的图像;对于某类算法中任一算法都可以检测到的正样本作为该类算法的普遍正样本,其余作为普遍负样本,建立对应不同类别的普遍样本库;普遍样本库分为:亮度特征普遍样本库、梯度特征普遍样本库、纹理特征普遍样本库;对所有普遍样本库中的正样本取交集,获得通用样本库正样本,其余为通用样本库负样本;
分类器更新单元:接受样本库输出的正负样本,获取正负样本特征,采用随机森林分类算法对正负样本进行训练并更新随机森林分类器,将分类器更新信息输出给目标特征可检测性模块,将使用分类器分类结果获得的目标特征可检测性置信度输出给红外序列图像可跟踪性置信度计算模块;接受普遍样本库输出的正负普遍样本,获取正负普遍样本特征,采用随机森林分类算法对正负普遍样本进行训练并更新随机森林分类器,将分类器更新信息输出给目标特征可检测性模块,将使用分类器分类结果获得的目标特征可检测性置信度输出给红外序列图像可跟踪性置信度计算模块;接受通用样本库输出的正负通用样本,获取正负通用样本特征,采用随机森林分类算法对正负通用样本进行训练并更新随机森林分类器,将分类器更新信息输出给目标特征可检测性模块,将使用分类器分类结果获得的目标特征可检测性置信度输出给红外序列图像可跟踪性置信度计算模块。
4.根据权利要求1所述的一种红外序列图像的可跟踪性判别方法,其特征在于:所述序列图像可跟踪性分析模块,根据TBD跟踪算法中使用的检测算法,调用对应检测算法样本库,将序列图像中的每帧图像输入到单帧图像可检测性分析模块的分类器中,获得该序列图像中的正样本个数和负样本个数,获得对应TBD跟踪算法的可跟踪置信度;根据TBD跟踪算法中使用的目标特征类型,调用对应目标特征普遍样本库,将序列图像中的每帧图像输入到单帧图像可检测性分析模块的分类器中,获得该序列图像中的正样本个数和负样本个数,获得对应目标特征的可跟踪置信度;调用通用样本库,将序列图像中的每帧图像输入到单帧图像可检测性分析模块的分类器中,获得该序列图像中的正样本个数和负样本个数,进而获得红外序列图像可跟踪置信度。
5.根据权利要求1所述的一种红外序列图像的可跟踪性判别方法,其特征在于:所述序列图像可跟踪性分析模块,对红外目标图像序列的前十帧有效图像进行目标标记,作为正样本,计算图像熵、目标特征、目标和背景的特征差异,并归一化,构建最大后验概率模型,记录参数值;对序列第十一帧,使用在线EM算法迭代模型参数,获得新参数值,若原参数值和新参数值有一个大于3ε,ε为高斯分布的均方差,则第十一帧为负样本,反之,则为正样本;接收初始化正样本,采用在线EM分类算法对正负样本进行训练并更新模型参数;第十二帧开始,和十一帧一样的处理方法,最终对该红外目标图像序列迭代完成。
6.根据权利要求3所述的一种红外序列图像的可跟踪性判别方法,其特征在于:所述加噪红外目标图像按照添加噪声均匀增长的方式对原始红外图像进行加噪处理,其中加噪起始值为5%,增加值为5%。
CN201510698152.8A 2015-10-23 2015-10-23 一种红外序列图像的可跟踪性判别方法 Active CN105279772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510698152.8A CN105279772B (zh) 2015-10-23 2015-10-23 一种红外序列图像的可跟踪性判别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510698152.8A CN105279772B (zh) 2015-10-23 2015-10-23 一种红外序列图像的可跟踪性判别方法

Publications (2)

Publication Number Publication Date
CN105279772A CN105279772A (zh) 2016-01-27
CN105279772B true CN105279772B (zh) 2018-02-09

Family

ID=55148723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510698152.8A Active CN105279772B (zh) 2015-10-23 2015-10-23 一种红外序列图像的可跟踪性判别方法

Country Status (1)

Country Link
CN (1) CN105279772B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874949B (zh) * 2017-02-10 2019-10-11 华中科技大学 基于红外图像的运动成像平台运动目标检测方法及***
KR102495359B1 (ko) * 2017-10-27 2023-02-02 삼성전자주식회사 객체 트래킹 방법 및 장치
CN109859234B (zh) * 2017-11-29 2023-03-24 深圳Tcl新技术有限公司 一种视频人体轨迹跟踪方法、装置及存储介质
CN108053425B (zh) * 2017-12-25 2018-10-26 北京航空航天大学 一种基于多通道特征的高速相关滤波目标跟踪方法
CN109151285A (zh) * 2018-10-11 2019-01-04 西安神洲雷达科技有限公司 一种光电巡检控制***及方法、光电巡检仪
CN110009509B (zh) * 2019-01-02 2021-02-19 创新先进技术有限公司 评估车损识别模型的方法及装置
CN109862263B (zh) * 2019-01-25 2021-07-30 桂林长海发展有限责任公司 一种基于图像多维特征识别的移动目标自动跟踪方法
CN110349183B (zh) * 2019-05-30 2022-12-09 西安电子科技大学 一种基于kcf的跟踪方法、装置、电子设备及存储介质
CN110968711B (zh) * 2019-10-24 2021-04-02 湖南大学 一种基于序列图像特征的自主无人***位置识别定位方法
CN113610839A (zh) * 2021-08-26 2021-11-05 北京中星天视科技有限公司 红外目标显著性检测方法、装置、电子设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1716520A2 (fr) * 2004-02-06 2006-11-02 Yann Boutant UTILISATION D UNE SIGNATURE NUMERIQUE OBTENUE A PARTIR D&apo s;AU MOINS UNE CARACTERISTIQUE STRUCTURELLE D UN ELEMENT MAT ERIEL POUR PROTEGER DE LA LECTURE DIRECTE DES INFORMATIONS SENSIBLES ET PROCEDE DE LECTURE DE CES INFORMATIONS PROTEGEES
CN104732215A (zh) * 2015-03-25 2015-06-24 广西大学 一种基于信息向量机的遥感影像海岸线提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1716520A2 (fr) * 2004-02-06 2006-11-02 Yann Boutant UTILISATION D UNE SIGNATURE NUMERIQUE OBTENUE A PARTIR D&apo s;AU MOINS UNE CARACTERISTIQUE STRUCTURELLE D UN ELEMENT MAT ERIEL POUR PROTEGER DE LA LECTURE DIRECTE DES INFORMATIONS SENSIBLES ET PROCEDE DE LECTURE DE CES INFORMATIONS PROTEGEES
CN104732215A (zh) * 2015-03-25 2015-06-24 广西大学 一种基于信息向量机的遥感影像海岸线提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Classification of highly monodisperse nanoparticles of NIST-traceable sizes by TDMA and control of deposition spot size on a surface by electrophoresis";Se-Jin Yook等;《Journal of Aerosol Science》;20080306;第39卷(第6期);第537-548页 *
"低对比度弱小目标检测算法研究";顾静良;《中国优秀硕士论文全文数据库 信息科技辑》;20151215(第8期);第I136-42页 *

Also Published As

Publication number Publication date
CN105279772A (zh) 2016-01-27

Similar Documents

Publication Publication Date Title
CN105279772B (zh) 一种红外序列图像的可跟踪性判别方法
CN105931220B (zh) 基于暗通道先验与最小图像熵的交通雾霾能见度检测方法
CN103971386B (zh) 一种动态背景场景下的前景检测方法
CN109949340A (zh) 基于OpenCV的目标尺度自适应跟踪方法
CN103632158B (zh) 森林防火监控方法及森林防火监控***
CN111079556A (zh) 一种多时相无人机视频图像变化区域检测及分类方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN102737370B (zh) 检测图像前景的方法及设备
CN109918971B (zh) 监控视频中人数检测方法及装置
CN108197604A (zh) 基于嵌入式设备的快速人脸定位跟踪方法
CN105335726B (zh) 人脸识别置信度获取方法和***
CN101739551A (zh) 运动目标识别方法及***
CN104517095B (zh) 一种基于深度图像的人头分割方法
CN104050478A (zh) 烟雾检测方法与***
CN104408707A (zh) 一种快速数字成像模糊鉴别与复原图像质量评估方法
CN103035013A (zh) 一种基于多特征融合的精确运动阴影检测方法
CN101286239A (zh) 航拍交通视频车辆快速检测方法
CN108804992B (zh) 一种基于深度学习的人群统计方法
CN104599291B (zh) 基于结构相似度和显著性分析的红外运动目标检测方法
CN110197185B (zh) 一种基于尺度不变特征变换算法监测桥下空间的方法和***
CN108052887A (zh) 一种融合slam/gnss信息的疑似违法用地自动识别***及方法
CN103413149B (zh) 复杂背景中实现静态目标检测和识别的方法
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
CN110852164A (zh) 一种基于YOLOv3的自动检测违章建筑方法及***
CN108009556A (zh) 一种基于定点图像分析的河道漂浮物检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant