CN104835178B - 一种低信噪比运动小目标的跟踪与识别的方法 - Google Patents
一种低信噪比运动小目标的跟踪与识别的方法 Download PDFInfo
- Publication number
- CN104835178B CN104835178B CN201510052873.1A CN201510052873A CN104835178B CN 104835178 B CN104835178 B CN 104835178B CN 201510052873 A CN201510052873 A CN 201510052873A CN 104835178 B CN104835178 B CN 104835178B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- target
- fuzzy
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种低信噪比运动小目标的跟踪与识别的方法，包括：给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响；给出弱小目标运动信息提取和状态预测建模；建立两帧间图像运动小目标的关联矩阵；基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法。本发明有助于目标识别与图像处理人员了解检测目标运动规律、活跃程度及其对其他目标的影响，从而给出相应的决策，寻求抑制或消除不良因素对其或其他重要目标的影响都是非常必要的，对军事、民事、公安***、道路交通所有基于视频***的目标识别与跟踪的发展起到重要借鉴和参考作用。
Description
技术领域
本发明属于模式识别与分类技术领域，尤其涉及一种低信噪比运动小目标的跟踪与识别的方法。
背景技术
随着科技的发展和人类的安防意识的提升，网络环境下视频监控***在各个领域得到越来越广泛的应用，如军事、交通、银行、工厂、社区等。而基于视频监控的运动目标的识别是一项十分有用的工作,可以应用在航天、军事、导弹轨迹识别跟踪，交通违章检测等众多领域。但在有些场合如世界各国对周边地区环境监视中，需要能够尽快地截获并锁定跟踪目标。那么对运动小目标的准确检测与跟踪，对在军事、民事等各个领域的应用显得越来越重要，也越来越急迫。网络环境强杂波背景条件下低信噪比运动弱小目标的检测问题直接决定探测***的作用距离及检测性能，其解决对于提高探测***性能具有非常重要的实际意义。
目前对复杂背景下视频图像的去噪处理、运动目标的多维参数提取、视频图像处理及运动目标的跟踪与识别等问题的处理缺乏解决方法，这些问题已成为图像处理领域的一个热点问题，这也是现在许多部门棘手且亟待解决的问题。
由于不同的航空视频采集***、不同的物理现象如光照不能完全均匀分布等多方面的原因，使获得的图像边缘强度不同。而且，在实际场合中，图像数据往往还被噪声所污染。同时景物特性混在一起又会使随后的解释变得非常困难。要实现对航空图像画面意图的准确领会，需要研究既能检测出图像目标强度的非连续性，又要能同时确定它们的精确位置的目标识别方法。
低信噪比下运动小目标信号探测与提取是目前各种先进探测***需要解决的关键技术问题之一，此时目标的图像只占有一个或几个像素的面积，并且由于背景环境复杂、大气辐射的不均匀性、探测器的内部噪声等等因素影响，目标几乎淹没在杂波起伏背景中，不具有形状和结构信息，有时甚至可能丢失目标，这就给弱小目标检测带来了很大的难度。强杂波背景条件下低信噪比运动弱小目标的检测问题直接决定探测***的作用距离及检测性能，其解决对于提高探测***性能具有非常重要的实际意义。也将对军事、民事、公安***、道路交通等所有基于视频***的目标识别与跟踪的发展起到重要的借鉴和参考作用。
发明内容
本发明实施例的目的在于提供一种低信噪比运动小目标的跟踪与识别的方法，旨在解决现有技术存在跟踪实时速度较慢、跟踪或识别效果较差的问题。
本发明实施例是这样实现的，一种低信噪比运动小目标的跟踪与识别的方法，其特征在于，该低信噪比运动小目标的跟踪与识别的方法以一种分阶段、按目标分别给出不同的实施方法，对视频图像中运动小目标容易被复杂背景中的其他物体或噪声遮挡或淹没的情况，提出了开闭变换的消除或减弱背景与噪声的算法；对小目标的弱小特性，提出了在线学习的自适应神经网络竞争模型，利用竞争的活动单元提取弱小目标的多维特征参数；对于视频中小目标的运动特性，利用灰度的突变，给出了小目标运动状态模型和预测模型；对运动小目标实时检测与跟踪，采用了模糊下推自动机链进行轨迹识别与跟踪，以模糊下推自动机链深度为阈值进行轨迹判决；
具体包括以下步骤：
步骤一，给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响；
步骤二，给出弱小目标运动信息提取和状态预测建模；
步骤三，建立两帧间图像运动小目标的关联矩阵；
步骤四，基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法。
进一步，在步骤一中，给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响时，具体实现方法为：
利用数学形态学组合运算求取局部极大值与极小值，减轻后续处理的计算量，尽量减少虚警率点数，对每个局部极大值点进行区域生长、极小值点实施减弱或消除，对可能的目标进行选择；
使用开运算变换g＝f-fοB或闭运算变换g＝f·B-f，对单帧图像进行滤波，检测到图像中变化较大的地方，即相当于高频分量，同时能滤去图像中灰度值变化相对较为平缓的地方，相当于低频分量，利用这个变换就对一幅单帧图像进行滤波，滤掉低频成分，相当于滤掉大面积背景，留下包含小目标在内的高频部分；式中，f为图像灰度帧，B为结构体，ο表示开运算，·表示闭运算；
为准确识别目标或轨迹,进行小目标增强和干扰的抑制，由于小目标点在各帧之间运动，对视频图像可进行多帧叠加，在叠加的最后帧上，小目标点表现为相关性很强的轨迹点，但噪声仍有可能淹没小目标轨迹，提出多帧差分叠加算法，选取包含运动小目标点在内的图像序列，奇数帧与偶数帧各n帧差值的叠加值，即：
式中,fi为图像序列中的第i帧,f z为最后的叠加帧；
通过对叠加帧采取阈值化处理，方法如下:
δ是阈值，取M,N为叠加帧图像的尺寸。
进一步，在步骤二中，给出弱小目标运动信息提取和状态预测建模时，具体实现方法为：
首先构建了在线学习的自适应神经网络竞争模型，利用其竞争的活动单元提取弱小目标的多维特征参数：
第一步，初始化网络：固定输出神经网络格子的维数为N×M，输入层为四阶网络，并随机初始化输入神经元和输出神经元连接的权重，令t表示算法迭代次数，置t＝0；
第二步，选择获胜者：把各帧小目标图像的灰度、色度、运动参数值X＝{x1,x2,…,xd}输入到网络中的输入神经元，对每一个输入神经元值xj，竞争层中的结点i的输出为G是一个激活函数，如取α＞0是常数，控制曲线的斜率；μi(t)是p维输入向量xj和p维权重向量ωji(t)间的欧氏距离||xj-ωji(t)||和，即ωji(t)是在t时刻从输入层结点j到竞争层结点i的连接权重向量，j∈J，J＝{1,…,d}，i∈I，I＝{1,…,Ni}是竞争层的某局部区域；
选择获胜的输出神经元i*，在竞争层中，对应最小的结点将获胜，即如果那么竞争层中获胜的结点为i*，则与i*关联的权重及与i*点邻近的点关联的权重都会得到调整；
第三步，更新权重：N(i*)是获胜输出神经元i*的近邻，由输出神经元间的距离具体指定，对每一个输出神经元i∈{N(i*),i*}，按照下式来调整更新：
η(t)＝η预先已确定好；这条规则只更新获胜输出神经元的近邻；
第四步，标准化权重：更新权重后对标准化，从而与输入测量标准是一致的；
第五步，继续循环：重复第一步到第四步，迭代的次数被置成t＝t+1，直到满足停机准则，停机准则为||xj-ωji(t)||＜ε，取ε＝0.5，或者超过了最大的循环次数为止。
进一步，在步骤三中，建立两帧间图像运动小目标的关联矩阵的实现方法为：
建立m×n目标匹配矩阵M，这里，m为目前帧的运动小目标的个数，n为上一帧的运动小目标的个数，元素M(i,j)的值由下式给定：
式中ri为第i目标的半径；r j为第j目标的半径；(x i,yi)为第i目标的质心坐标；(xj,yj)为第j目标的质心坐标；∞表示一个很大的数值；
首先，在矩阵M中选择值最小且不为∞的元素，该元素所对应的行和列分别是当前运动小目标和上一帧运动小目标的编号，行对应的运动小目标与列对应的运动小目标相匹配，然后把完成匹配的行与列的所有元素值变为∞；继续在矩阵M中寻找最小值，完成运动小目标的匹配，直到矩阵内的所有值都变为∞；搜索结束后，没有找到匹配目标的行代表在当前图像中有新运动小目标的出现，没有找到匹配目标的列代表在当前图像中某运动小目标消失。
进一步，在步骤四中，基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法为：
第一步，各模糊下推自动机对运动小目标识别在时间上的融合：
fip(t)和Ξi(t)分别表示t时刻由模糊下推自动机i测得的被识别运动小目标属于第p类的模糊隶属度及模糊分布，表示到l时刻为止由第i个模糊下推自动机积累融合得到的被识别目标属于第p类的模糊隶属度，表示到l时刻为止由第i个模糊下推自动机积累融合得到的被识别目标的模糊分布，这里，l＝1,2,…,t,即
和
op(p∈U)是运动小目标，将t-1时刻的累积融合模糊分布与t时刻的测量模糊分布进行融合，得第i个模糊下推自动机到t时刻为止的目标识别累积融合模糊分布为：
其中，S2是模糊综合函数，通常S 2取下式：
此时，以模糊分布对应的小目标的运动状态为是当前第t时刻的小目标的运动状态估计：
Fi(t)为从上一时刻到当前时刻的运动状态转移矩阵，选择转移模型，为上一时刻的状态估计值，为当前时刻的状态估计值；
第二步，模糊下推自动机对小目标识别的空间融合：
在得到t时刻各模糊下推自动机目标识别的积累模糊分布之后，这里i＝1,…,N，利用模糊综合函数对这N个模糊分布进行融合，就得到了到t时刻为止对目标识别的时-空累积融合模糊分布为：
利用模糊综合函数理论，可得
SN也表示模糊综合函数；设
此时，以模糊分布Ξt对应的小目标的运动状态为是当前第k帧的所有小目标的运动状态估计，运动状态融合结果为： 是由第1帧到第k帧的运动信息预测当前第k帧的第i个小目标的运动状态估计，是当前第k帧的所有小目标的运动状态估计，是模型的模糊隶属度；跟踪的关键是通过测量从开始时刻到k-1时刻预测当前k时刻第i个跟踪***模型的模糊隶属度这里是k-1时刻跟踪***模型的模糊隶属度，是已知的，πji＝Pr{mk＝m(i)|mk-1＝m(j)}是从模型mk-1到模型mk的状态转移模糊隶属度。
进一步，经过多帧融合后，小目标点得到进一步增强，大部分噪声点被滤去，滤除随机噪声干扰通过模糊下推自动机链长度进行判决，为了在保留小目标点的同时尽可能减少模糊下推自动机链长度，对融合帧采取了阈值化处理，方法如下:
阈值T是模糊下推自动机链的长度，但此链必须保证含有小目标点，fA为总的融合帧，在最后的融合帧上，小目标点表现为一相关性很强的轨迹；
根据融合算法计算出待识别运动小目标或轨迹的特征向量各分量fA的模糊隶属度μij，即获得未知运动小目标或轨迹的特征向量为Ui＝[μi1,μi2,…,μik]T；把它同已经训练好的已知第i0类别的多维参数特征向量Ui0相比较，当且仅当时，判决待识别运动小目标或轨迹属于第i0类；即若使得则判断待识别运动小目标或轨迹属于第i0类；这里，δ为门限值，B为目标或轨迹类的指标集。
本发明提供的低信噪比运动小目标的跟踪与识别的方法，提出了一种基于单帧与多帧的时空域融合滤波的小目标跟踪算法与识别方法，对视频图像中运动小目标容易被复杂背景中的其他物体或噪声遮挡或淹没的情况，提出了开闭变换的消除或减弱背景与噪声的算法；对小目标的弱小特性，提出了在线学***均正确识别率最高，实验中，随着样本数的增多，平均正确识别率不断增大，达到一定的样本量时再增大样本曲线逐渐趋于平稳。
附图说明
图1是本发明实施例提供的低信噪比下的运动小目标的跟踪与识别方法的实现流程图；
图2是本发明实施例提供的开闭变换对运动小目标图像的滤波结果的示意图；
图中：(a)图像序列的第5帧；(b)第5帧开闭变换算法滤波效果；
图3是本发明实施例提供的所建立跟踪***状态融合对图像或视频中运动小目标的跟踪；
图4是本发明实施例提供的模糊下推自动机链对运动小目标的跟踪轨迹图像；
图5是本发明实施例提供的提出的与现有的识别法的正确识别率比较示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图及具体实施例对本发明的应用原理作进一步描述。
如图1所示，本发明实施例的低信噪比运动小目标的跟踪与识别的方法包括以下步骤：
步骤S101，给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响；
步骤S102，给出弱小目标运动信息提取和状态预测建模；
步骤S103，建立两帧间图像运动小目标的关联矩阵；
步骤S104，基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法。
在本发明实施例中，在步骤S101中，给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响时，具体实现方法为：
在基于数学形态学的基础上，提出了开闭变换的图像目标检测算法。该算法的主要思路是利用数学形态学组合运算求取局部极大值与极小值，减轻后续处理的计算量，尽量减少虚警率点数。对每个局部极大值点进行区域生长、极小值点实施减弱或消除，对可能的目标进行选择。
利用此算法使达到对于每一帧经过开闭变换滤波后的图像其表现为大面积的零背景和包含小面积目标，以及随机的点状噪声在内的高频分量。然后根据相邻帧之间运动目标的相关性，进行差分多帧叠加，小目标由于其运动性，在叠加帧上表现为相关性很强的轨迹点，而高频点状噪声，则由于其随机性相互抵消一部分,未抵消部分在几何面积上表现为相关性很差的随机分布干扰点。
例如，使用简单的一种开运算变换g＝f-fοB，对单帧图像进行滤波，可以检测到图像中变化较大的地方，即相当于高频分量，同时能滤去图像中灰度值变化相对较为平缓的地方，相当于低频分量。利用这个变换就可以对一幅单帧图像进行滤波，滤掉低频成分，相当于滤掉大面积背景，留下包含小目标在内的高频部分。式中，f为图像灰度帧，B为结构体，ο表示开运算。使用开闭变换，对运动小目标的视频图像的其中一帧处理结果如图2所示。
在本发明实施例中，在步骤S102中，给出弱小目标运动信息提取和状态预测建模时，具体实现方法为：
对目标进行检测与跟踪，首先建立一个参考模板作为标准模板。
给定已知的运动目标，即在一定视频条件下的含有此目标的一帧图像中，检测出其运动速度、当前位置、运动方向o、成像的高度h、灰度均值μ与方差σ。把此帧的图像作为参考模板。
建立参考模板如下：以目标位置中心点为圆心，以拍帧时间与目标在成像平面内的投影速度的乘积为半径的前半圆区域内,进行搜索。以灰度的变化次数为门限，设置阈值。沿像宽与像高方向分别查找灰度的变化次数，若两个方向的变化次数都小于或等于2，延长拍帧时间，直到至少一个方向上的灰度变化次数为3或3次以上。然后，以圆心为起点，计算连续三次相邻的灰度变化之间的距离d1和d2，可得目标的运动幅度与目标在一帧的成像宽度，以此幅度和宽度为当前位置时的目标运动特征参数s1和s2。由灰度的跳变可以定位目标的位置并以其计算出运动方向、速度和成像的高度等。半圆区域内目标的灰度均值和方差为另两个特征参数，得到一个为后续图像处理所使用的主要特征向量V作为标准特征向量。
由小目标的运动信息，将给出运动状态预测模型为
这里，Fi(k)为从上一帧到当前帧的运动状态转移矩阵，将必须对其选择合适的转移模型，为上一帧的状态估计值，为当前帧的状态估计值。
在本发明实施例中，在步骤S103中，建立两帧间图像运动小目标的关联矩阵的实现方法为：
建立m×n目标匹配矩阵M。这里，m为目前帧的运动小目标的个数，n为上一帧的运动小目标的个数。元素M(i,j)的值由下式给定。
式中ri为第i目标的半径；r j为第j目标的半径；(x i,yi)为第i目标的质心坐标；(xj,yj)为第j目标的质心坐标；∞表示一个很大的数值。
利用匹配矩阵来实现当前图像中的运动小目标与上一帧图像中运动小目标的匹配。首先，在矩阵M中选择值最小且不为∞的元素，该元素所对应的行和列分别是当前运动小目标和上一帧运动小目标的编号，这样行对应的运动小目标与列对应的运动小目标相匹配。然后把完成匹配的行与列的所有元素值变为∞。继续在矩阵M中寻找最小值，完成运动小目标的匹配，直到矩阵内的所有值都变为∞。搜索结束后，没有找到匹配目标的行代表在当前图像中有新运动小目标的出现，没有找到匹配目标的列代表在当前图像中某运动小目标消失。
在本发明实施例中，在步骤S104中，基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法为：
基于多特征融合，提出了基于当前帧与上一帧运动小目标的特征和运动状态的联合概率和粗糙度数据关联算法、假设检验方法。利用联合概率和粗糙度数据关联算法预估计多状态小目标跟踪算法。采用多假设检验方法利用后帧中的信息更新假设状态。在提出这些算法和方法的同时，给出合适的“门限”，只计算位于“门限”内的观测值与小目标的关联概率和粗糙度，这就大大减少了计算量，用观测位置与预测位置的距离解决小目标冲突问题。
要实现图像的运动小目标跟踪与识别，就必须提出一种合适的识别算法，即可认为待识别的和已经训练好的已知类别的运动小目标特征向量都是模糊数向量，将其特征向量相比较，定义特征隶属函数、隶属度及匹配规则，给出模糊目标识别算法。具体实施为：
为对图像或视频中运动小目标的轨迹实施跟踪，本发明提出了多帧叠加的运动状态融合算法：根据图像或视频中运动小目标的运动状态，将设计出一种检测与跟踪***的融合算法，以实现对运动小目标的跟踪。本算法由三部分组成：(a)映射跟踪***进入具有N个反馈神经元的神经网络中；(b)让N个反馈神经元在时间上即多帧融合上完成跟踪***的状态融合；(c)使M个非反馈输出神经元再来完成在空间上即单帧融合上的跟踪***的状态融合，最后计算跟踪***状态的时－空累积融合，来完成跟踪***对运动小目标的融合跟踪算法。
设计出跟踪***状态融合算法为：这里，是由第1帧到第k帧的运动信息预测当前第k帧的第i个小目标的运动状态估计，是当前第k帧的所有小目标的运动状态估计，是模型的模糊隶属度。跟踪的关键是通过测量从开始时刻到k-1时刻预测当前k时刻第i个跟踪***模型的模糊隶属度这里是k-1时刻跟踪***模型的模糊隶属度，是已知的，πji＝Pr{mk＝m(i)|mk-1＝m(j)}是从模型mk-1到模型mk的状态转移模糊隶属度。建立的跟踪***状态融合对运动小目标的跟踪过程如图3所示。
在最后的叠加帧上，小目标点表现为一相关性很强的轨迹。但要识别出小目标点的轨迹仍非易事，主要是一些离散干扰点仍有可能存在。另外还可能出现轨迹点与干扰点相互交错。因此只能在一定的假设下从全局出发根据整体相关性进行判决。为此，提出基于模糊下推自动机链，利用弹栈与出栈的方法以轨迹的相关长度为门限进行轨迹判决。跟踪结果如图4所示。从图4可以看出，说明本发明提出的模糊下推自动机链跟踪算法在模式识别***中取得了较大的成功。
根据融合算法计算出待识别运动小目标或轨迹的特征向量各分量的模糊隶属度μij，即可获得未知运动小目标或轨迹的特征向量为Ui＝[μi1,μi2,…,μik]T。把它同已经训练好的已知第i0类别的多维参数特征向量Ui0相比较，当且仅当时，判决待识别运动小目标或轨迹属于第i0类。即若使得则判断待识别运动小目标或轨迹属于第i0类。这里，δ为门限值，B为目标或轨迹类的指标集。
本发明的具体步骤为：
步骤一，给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响；
步骤二，给出弱小目标运动信息提取和状态预测建模；
步骤三，建立两帧间图像运动小目标的关联矩阵；
步骤四，基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法。
进一步，在步骤一中，给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响时，具体实现方法为：
由于场景的复杂程度、稳定程度影响着目标跟踪的效果。例如，目标图像受光照不均匀、背景中物体的变动的影响等。要从图像中有效地分割、提取出目标，必须提出一种减弱或消除背景或噪声影响的算法。本发明将在基于数学形态学的基础上，提出开闭变换的图像目标检测算法。该算法的主要思路是利用数学形态学组合运算求取局部极大值与极小值，减轻后续处理的计算量，尽量减少虚警率点数。对每个局部极大值点进行区域生长、极小值点实施减弱或消除，对可能的目标进行选择。
利用此算法使达到对于每一帧经过开闭变换滤波后的图像其表现为大面积的零背景和包含小面积目标，以及随机的点状噪声在内的高频分量。然后根据相邻帧之间运动目标的相关性，进行差分多帧叠加，小目标由于其运动性，在叠加帧上表现为相关性很强的轨迹点，而高频点状噪声，则由于其随机性相互抵消一部分,未抵消部分在几何面积上表现为相关性很差的随机分布干扰点。
例如，使用简单的一种开运算变换g＝f-fοB，对单帧图像进行滤波，可以检测到图像中变化较大的地方，即相当于高频分量，同时能滤去图像中灰度值变化相对较为平缓的地方，相当于低频分量。利用这个变换就可以对一幅单帧图像进行滤波，滤掉低频成分，相当于滤掉大面积背景，留下包含小目标在内的高频部分。式中，f为图像灰度帧，B为结构体，ο表示开运算。使用开闭变换，对运动小目标的视频图像的其中一帧处理结果如图2所示。
由于开闭变换滤波与结构体尺寸有关，结构体尺寸的大小决定着高通滤波效果。结构体尺寸越小，滤除低频背景就越彻底，所能保留的目标尺寸就越小。
进一步，在步骤二中，实施弱小目标运动信息提取和状态预测建模，具体实现方法为：
对目标进行检测与跟踪，首先建立一个参考模板作为标准模板。
给定已知的运动目标，即在一定视频条件下的含有此目标的一帧图像中，检测出其运动速度、当前位置、运动方向o、成像的高度h、灰度均值μ与方差σ。把此帧的图像作为参考模板。
建立参考模板如下：以目标位置中心点为圆心，以拍帧时间与目标在成像平面内的投影速度的乘积为半径的前半圆区域内,进行搜索。以灰度的变化次数为门限，设置阈值。沿像宽与像高方向分别查找灰度的变化次数，若两个方向的变化次数都小于或等于2，延长拍帧时间，直到至少一个方向上的灰度变化次数为3或3次以上。然后，以圆心为起点，计算连续三次相邻的灰度变化之间的距离d1和d2，可得目标的运动幅度与目标在一帧的成像宽度，以此幅度和宽度为当前位置时的目标运动特征参数s1和s2。由灰度的跳变可以定位目标的位置并以其计算出运动方向、速度和成像的高度等。半圆区域内目标的灰度均值和方差为另两个特征参数，得到一个为后续图像处理所使用的主要特征向量V作为标准特征向量。
由小目标的运动信息，将给出运动状态预测模型为
这里，Fi(k)为从上一帧到当前帧的运动状态转移矩阵，将必须对其选择合适的转移模型，为上一帧的状态估计值，为当前帧的状态估计值。
进一步，在步骤三中，建立两帧间图像运动小目标的关联矩阵的实现方法为：
建立m×n目标匹配矩阵M。这里，m为目前帧的运动小目标的个数，n为上一帧的运动小目标的个数。元素M(i,j)的值由下式给定。
式中ri为第i目标的半径；r j为第j目标的半径；(x i,yi)为第i目标的质心坐标；(xj,yj)为第j目标的质心坐标；∞表示一个很大的数值。
利用匹配矩阵来实现当前图像中的运动小目标与上一帧图像中运动小目标的匹配。首先，在矩阵M中选择值最小且不为∞的元素，该元素所对应的行和列分别是当前运动小目标和上一帧运动小目标的编号，这样行对应的运动小目标与列对应的运动小目标相匹配。然后把完成匹配的行与列的所有元素值变为∞。继续在矩阵M中寻找最小值，完成运动小目标的匹配，直到矩阵内的所有值都变为∞。搜索结束后，没有找到匹配目标的行代表在当前图像中有新运动小目标的出现，没有找到匹配目标的列代表在当前图像中某运动小目标消失。
进一步，在步骤四中，基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法为：
基于多特征融合，本发明提出了描述运动小目标与跟踪其运动轨迹的数据关联算法。同时提出基于当前帧与上一帧运动小目标的特征和运动状态的联合概率和粗糙度数据关联算法、假设检验方法。利用联合概率和粗糙度数据关联算法预估计多状态小目标跟踪算法。采用多假设检验方法利用后帧中的信息更新假设状态。在提出这些算法和方法的同时，给出合适的“门限”，只计算位于“门限”内的观测值与小目标的关联概率和粗糙度，这就大大减少了计算量，用观测位置与预测位置的距离解决小目标冲突问题。
要实现图像的运动小目标跟踪与识别，就必须提出一种合适的识别算法，即可认为待识别的和已经训练好的已知类别的运动小目标特征向量都是模糊数向量，将其特征向量相比较，定义特征隶属函数、隶属度及匹配规则，给出模糊目标识别算法。具体实施为：
为对图像或视频中运动小目标的轨迹实施跟踪，本发明提出了多帧叠加的运动状态融合算法：根据图像或视频中运动小目标的运动状态，将设计出一种检测与跟踪***的融合算法，以实现对运动小目标的跟踪。本算法由三部分组成：(a)映射跟踪***进入具有N个反馈神经元的神经网络中；(b)让N个反馈神经元在时间上即多帧融合上完成跟踪***的状态融合；(c)使M个非反馈输出神经元再来完成在空间上即单帧融合上的跟踪***的状态融合，最后计算跟踪***状态的时－空累积融合，来完成跟踪***对运动小目标的融合跟踪算法。
设计出跟踪***状态融合算法为：这里，是由第1帧到第k帧的运动信息预测当前第k帧的第i个小目标的运动状态估计，是当前第k帧的所有小目标的运动状态估计，是模型的模糊隶属度。跟踪的关键是通过测量从开始时刻到k-1时刻预测当前k时刻第i个跟踪***模型的模糊隶属度这里是k-1时刻跟踪***模型的模糊隶属度，是已知的，πji＝Pr{mk＝m(i)|mk-1＝m(j)}是从模型mk-1到模型mk的状态转移模糊隶属度。建立的跟踪***状态融合对运动小目标的跟踪过程如图3所示。
在最后的叠加帧上，小目标点表现为一相关性很强的轨迹。但要识别出小目标点的轨迹仍非易事，主要是一些离散干扰点仍有可能存在。另外还可能出现轨迹点与干扰点相互交错。因此只能在一定的假设下从全局出发根据整体相关性进行判决。为此，提出基于模糊下推自动机链，利用弹栈与出栈的方法以轨迹的相关长度为门限进行轨迹判决。跟踪结果如图4所示。从图4可以看出，说明本发明提出的模糊下推自动机链跟踪算法在模式识别***中取得了较大的成功。
根据融合算法计算出待识别运动小目标或轨迹的特征向量各分量的模糊隶属度μij，即可获得未知运动小目标或轨迹的特征向量为Ui＝[μi1,μi2,…,μik]T。把它同已经训练好的已知第i0类别的多维参数特征向量Ui0相比较，当且仅当时，判决待识别运动小目标或轨迹属于第i0类。即若使得则判断待识别运动小目标或轨迹属于第i0类。这里，δ为门限值，B为目标或轨迹类的指标集。
本发明提供的低信噪比下的运动小目标的跟踪与识别问题，现有的文献也有类似的研究，但这些文献方法中都存在跟踪实时速度较慢、跟踪或识别效果较差等弱点。然而，本发明以一种分阶段、按目标分别给出不同的实施方法，提出了一种基于单帧与多帧的时空域融合滤波的小目标跟踪算法与识别方法。对视频图像中运动小目标容易被复杂背景中的其他物体或噪声遮挡或淹没的情况，提出了开闭变换的消除或减弱背景与噪声的算法；对小目标的弱小特性，提出了在线学习的自适应神经网络竞争模型，利用其竞争的活动单元提取弱小目标的多维特征参数；对于视频中小目标的运动特性，利用灰度的突变，给出了小目标运动状态模型和预测模型；对运动小目标实时检测与跟踪，采用了模糊下推自动机链进行轨迹识别与跟踪，以模糊下推自动机链深度为阈值进行轨迹判决，从而提出了一种基于复杂环境下的运动小目标跟踪算法与识别方法。本发明的这些研究有助于目标识别与图像处理人员了解检测目标的运动规律、活跃程度及其对其他目标的影响，从而给出相应的决策，寻求抑制或消除不良因素对其或其他重要目标的影响都是非常必要的。这将对军事、民事、公安***、道路交通等所有基于视频***的目标识别与跟踪的发展起到重要的借鉴和参考作用。
本发明提出的这种运动小目标跟踪与识别方法与现有的识别方法相比较，仿真结果如图5和表1所示。
对视频中每幅运动小目标图像，仿真中选用给定尺度为28的小波基函数按照本发明提出的方法进行10次重复实验，每次实验分别取不同个数的样本。本发明方法与目前文献给出的运用较多的两种运动小目标跟踪和识别法进行比较，在仿真500次时的正确平均识别率分别为95.14％，92.45％，88.17％。而且，本发明方法的识别速度也较目前两种识别方法较快，结果如图5和表1所示。
从图5知，基于本发明的特征提取识别法的平均正确识别率最高。实验中，随着样本数的增多，平均正确识别率不断增大，达到一定的样本量时再增大样本曲线逐渐趋于平稳。
为了评价各算法的综合性能，我们根据计算速度、存储量、通信量、正确识别率等几个方面，采用定量与定性相结合的方法，综合比较。评价了不同掌纹识别法的优劣。表1给出了综合比较结果。
表1不同运动小目标识别法的综合比较
| 算法 | 正确识别率均值 | 计算速度 | 存储量 | 通信量 |
| 现有方法1 | 0.8817 | 0.82s | 中 | 中 |
| 现有方法2 | 0.9245 | 0.49s | 较低 | 较低 |
| 本发明提出方法 | 0.9514 | 0.426s | 低 | 低 |
表1中的计算速度是算法在仿真环境下每步都计算10次重复实验所用的平均计算时间，只是算法本身的计算时间。仿真使用的计算机是奔4，2G的内存，所用的程序设计语言是MATLAB。表1中的存储与通信量要求只是根据各种算法的计算过程，复杂度大致估计的。从表的结果可以看出，存储量与通信量是紧密相联系的。表中正确平均识别率是各算法在给定的仿真实验环境情况下，经过500次仿真实验取平均后，再取10个时间步的平均值。实际上它们是正确识别率在空间和时间上的平均，因而是正确识别率的总体平均。
从仿真结果知，基于本发明特征提取的识别法不但具有较快的处理速度、较低的存储量和通信量，而且还有较好的识别效果。
本发明的实现方案如下：
(1)给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响在基于数学形态学的基础上，提出了开闭变换的图像目标检测算法。该算法的主要思路是利用数学形态学组合运算求取局部极大值与极小值，减轻后续处理的计算量，尽量减少虚警率点数。对每个局部极大值点进行区域生长、极小值点实施减弱或消除，对可能的目标进行选择。
利用此算法使达到对于每一帧经过开闭变换滤波后的图像其表现为大面积的零背景和包含小面积目标，以及随机的点状噪声在内的高频分量。然后根据相邻帧之间运动目标的相关性，进行差分多帧叠加，小目标由于其运动性，在叠加帧上表现为相关性很强的轨迹点，而高频点状噪声，则由于其随机性相互抵消一部分,未抵消部分在几何面积上表现为相关性很差的随机分布干扰点。
例如，使用简单的一种开运算变换g＝f-fοB，对单帧图像进行滤波，可以检测到图像中变化较大的地方，即相当于高频分量，同时能滤去图像中灰度值变化相对较为平缓的地方，相当于低频分量。利用这个变换就可以对一幅单帧图像进行滤波，滤掉低频成分，相当于滤掉大面积背景，留下包含小目标在内的高频部分。式中，f为图像灰度帧，B为结构体，ο表示开运算。使用开闭变换，对运动小目标的视频图像的其中一帧处理结果如图2所示。
(2)给出弱小目标运动信息提取和状态预测建模
对目标进行检测与跟踪，首先建立一个参考模板作为标准模板。
给定已知的运动目标，即在一定视频条件下的含有此目标的一帧图像中，检测出其运动速度、当前位置、运动方向o、成像的高度h、灰度均值μ与方差σ。把此帧的图像作为参考模板。
建立参考模板如下：以目标位置中心点为圆心，以拍帧时间与目标在成像平面内的投影速度的乘积为半径的前半圆区域内,进行搜索。以灰度的变化次数为门限，设置阈值。沿像宽与像高方向分别查找灰度的变化次数，若两个方向的变化次数都小于或等于2，延长拍帧时间，直到至少一个方向上的灰度变化次数为3或3次以上。然后，以圆心为起点，计算连续三次相邻的灰度变化之间的距离d1和d2，可得目标的运动幅度与目标在一帧的成像宽度，以此幅度和宽度为当前位置时的目标运动特征参数s1和s2。由灰度的跳变可以定位目标的位置并以其计算出运动方向、速度和成像的高度等。半圆区域内目标的灰度均值和方差为另两个特征参数，得到一个为后续图像处理所使用的主要特征向量V作为标准特征向量。
由小目标的运动信息，将给出运动状态预测模型为
这里，Fi(k)为从上一帧到当前帧的运动状态转移矩阵，将必须对其选择合适的转移模型，为上一帧的状态估计值，为当前帧的状态估计值。
(3)建立两帧间图像运动小目标的关联矩阵
建立m×n目标匹配矩阵M。这里，m为目前帧的运动小目标的个数，n为上一帧的运动小目标的个数。元素M(i,j)的值由下式给定。
式中ri为第i目标的半径；rj为第j目标的半径；(xi,yi)为第i目标的质心坐标；(xj,yj)为第j目标的质心坐标；∞表示一个很大的数值。
利用匹配矩阵来实现当前图像中的运动小目标与上一帧图像中运动小目标的匹配。首先，在矩阵M中选择值最小且不为∞的元素，该元素所对应的行和列分别是当前运动小目标和上一帧运动小目标的编号，这样行对应的运动小目标与列对应的运动小目标相匹配。然后把完成匹配的行与列的所有元素值变为∞。继续在矩阵M中寻找最小值，完成运动小目标的匹配，直到矩阵内的所有值都变为∞。搜索结束后，没有找到匹配目标的行代表在当前图像中有新运动小目标的出现，没有找到匹配目标的列代表在当前图像中某运动小目标消失。
(4)基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法
基于多特征融合，本发明提出了描述运动小目标与跟踪其运动轨迹的数据关联算法。同时提出了基于当前帧与上一帧运动小目标的特征和运动状态的联合概率和粗糙度数据关联算法、假设检验方法。利用联合概率和粗糙度数据关联算法预估计多状态小目标跟踪算法。采用多假设检验方法利用后帧中的信息更新假设状态。在提出这些算法和方法的同时，给出合适的“门限”，只计算位于“门限”内的观测值与小目标的关联概率和粗糙度，这就大大减少了计算量，用观测位置与预测位置的距离解决小目标冲突问题。
要实现图像的运动小目标跟踪与识别，就必须提出一种合适的识别算法，即可认为待识别的和已经训练好的已知类别的运动小目标特征向量都是模糊数向量，将其特征向量相比较，定义特征隶属函数、隶属度及匹配规则，给出模糊目标识别算法。具体实施为：
为对图像或视频中运动小目标的轨迹实施跟踪，本发明提出了多帧叠加的运动状态融合算法：根据图像或视频中运动小目标的运动状态，将设计出一种检测与跟踪***的融合算法，以实现对运动小目标的跟踪。本算法由三部分组成：(a)映射跟踪***进入具有N个反馈神经元的神经网络中；(b)让N个反馈神经元在时间上即多帧融合上完成跟踪***的状态融合；(c)使M个非反馈输出神经元再来完成在空间上即单帧融合上的跟踪***的状态融合，最后计算跟踪***状态的时－空累积融合，来完成跟踪***对运动小目标的融合跟踪算法。
设计出跟踪***状态融合算法为：这里，是由第1帧到第k帧的运动信息预测当前第k帧的第i个小目标的运动状态估计，是当前第k帧的所有小目标的运动状态估计，是模型的模糊隶属度。跟踪的关键是通过测量从开始时刻到k-1时刻预测当前k时刻第i个跟踪***模型的模糊隶属度这里是k-1时刻跟踪***模型的模糊隶属度，是已知的，πji＝Pr{mk＝m(i)|mk-1＝m(j)}是从模型mk-1到模型mk的状态转移模糊隶属度。建立的跟踪***状态融合对运动小目标的跟踪过程如图3所示。
在最后的叠加帧上，小目标点表现为一相关性很强的轨迹。但要识别出小目标点的轨迹仍非易事，主要是一些离散干扰点仍有可能存在。另外还可能出现轨迹点与干扰点相互交错。因此只能在一定的假设下从全局出发根据整体相关性进行判决。为此，提出基于模糊下推自动机链，利用弹栈与出栈的方法以轨迹的相关长度为门限进行轨迹判决。跟踪结果如图4所示。从图4可以看出，说明本发明提出的模糊下推自动机链跟踪算法在模式识别***中取得了较大的成功。
根据融合算法计算出待识别运动小目标或轨迹的特征向量各分量的模糊隶属度μij，即可获得未知运动小目标或轨迹的特征向量为Ui＝[μi1,μi2,…,μik]T。把它同已经训练好的已知第i0类别的多维参数特征向量Ui0相比较，当且仅当时，判决待识别运动小目标或轨迹属于第i0类。即若使得则判断待识别运动小目标或轨迹属于第i0类。这里，δ为门限值，B为目标或轨迹类的指标集。
本发明的创新点如下：
(1)如何对视频序列中两帧间图像小目标建立数据关联是运动小目标跟踪算法的主要难点。网络环境下背景的复杂性，小目标在图像中占据的比例小、目标颜色与背景颜色的相似程度、背景的稳定程度，多目标的交互及各种特殊情况的发生都会给运动小目标跟踪带来困难。小目标外观特征如目标形状和纹理等信息，由于遮挡过程的发生在图像中几乎被淹没，以及小目标运动的不确定性，导致小目标信息的丢失，很容易发生跟踪失败。如何有效的处理遮挡，特别是严重的遮挡，一直是运动小目标跟踪中的一个难点。在监控视频中，各帧中的小目标外观往往非常相似，如何选取合适的特征以较好的区分不同小目标运动状态来实现准确的数据关联，是本项目将要研究的一个关键问题。而目前国内外对这个问题的研究几乎是一个空白。
对这个问题的探讨，本发明分析小目标在图像中的成像特点及运动信息，首先对目标的弱小和运动特性，采用开闭变换去掉背景、消除或减小噪声等算法处理。然后根据相邻帧之间运动小目标的运动相关性，进行差分多帧叠加。
(2)利用运动小目标本身的特性，建立运动信息向量、抽取小目标多特征点运动小目标的多维参数提取是现在许多部门棘手且亟待解决的难题。本发明利用了运动小目标本身的特性，挖掘运动小目标各特征参数及特征参数的特征点，建立运动学特征向量，给出了运动小目标的多维参数提取。
(3)采用基于多帧图像叠加的信息融合和模糊下推自动机链递归运算进行轨迹判决，建立模型算法和基于特征选取并行的机制进行图像识别。
随着科技的发展和人类的安防意识的提升，网络环境下视频监控***在各个领域得到越来越广泛的应用。而基于视频监控的运动目标的识别是一项十分有用的工作,可以应用在航天、军事、导弹轨迹识别跟踪，交通违章检测等众多领域。但在有些场合如红外制导中，需要能够尽快地截获并锁定跟踪目标。那么对运动小目标的准确检测与跟踪，对在军事、民事等各个领域的应用显得越来越重要，也越来越急迫。网络环境强杂波背景条件下低信噪比运动小目标的检测问题直接决定探测***的作用距离及检测性能，其解决对于提高探测***性能具有非常重要的实际意义。
针对这些问题的研究，本发明分析了多形态目标的各种特征，利用跟踪***状态融合、模糊下推自动机链弹栈递归运算对视频图像的运动小目标进行轨迹跟踪，给出运动小目标识别算法。
本发明的具体实施例：
本发明提供的低信噪比下的运动小目标的跟踪与识别问题，现有的文献也有类似的研究，但这些方法中都存在跟踪实时速度较慢、跟踪或识别效果较差等弱点。然而，本发明以一种分阶段、按目标分别给出不同的实施方法，提出了一种基于单帧与多帧的时空域融合滤波的小目标跟踪算法与识别方法(基于如图3)。①对视频图像中运动小目标容易被复杂背景中的其他物体或噪声遮挡或淹没的情况，提出了开闭变换的消除或减弱背景与噪声的算法；②对小目标的弱小特性，提出了在线学习的自适应神经网络竞争模型，利用其竞争的活动单元提取弱小目标的多维特征参数；③对于视频中小目标的运动特性，利用灰度的突变，给出了小目标运动状态模型和预测模型；④对运动小目标实时检测与跟踪，采用了模糊下推自动机链进行轨迹识别与跟踪，以模糊下推自动机链深度为阈值进行轨迹判决，从而提出了一种基于复杂环境下的运动小目标跟踪算法与识别方法。
对技术方案①的实施是:
使用开运算变换g＝f-fοB或闭运算变换g＝f·B-f，对单帧图像进行滤波，检测到图像中变化较大的地方，即相当于高频分量，同时能滤去图像中灰度值变化相对较为平缓的地方，相当于低频分量，利用这个变换就对一幅单帧图像进行滤波，滤掉低频成分，相当于滤掉大面积背景，留下包含小目标在内的高频部分；式中，f为图像灰度帧，B为结构体，ο表示开运算，·表示闭运算。
为准确识别目标或轨迹, 仅对单帧处理是不够的，必须进行小目标增强和干扰的抑制，由于小目标点在各帧之间运动，具有很强的相关性，因此对视频图像可进行多帧叠加。在叠加的最后帧上，小目标点表现为相关性很强的轨迹点，但噪声仍有可能淹没小目标轨迹，因此提出多帧差分叠加算法。其算法是选取包含运动小目标点在内的图像序列，其奇数帧与偶数帧各n 帧差值的叠加值。即
式中,fi 为图像序列中的第i帧,fz 为最后的叠加帧。
这样经过多帧差分叠加后, 小目标点得到进一步增强, 大面积背景同时也可得到进一步抑制, 但噪声点可能也会得到增强，因此, 可以通过对叠加帧采取阈值化处理。其方法如下
这里，δ是阈值，根据多次实验取M,N 为叠加帧图像的尺寸。
这样处理后, 小目标点得到进一步增强，而随机噪声点会得到进一步抑制或消除。
对技术方案②的实施是
首先构建了在线学习的自适应神经网络竞争模型，利用其竞争的活动单元提取弱小目标的多维特征参数。其方法如下：
P1. 初始化网络：固定输出神经网络格子的维数为N×M ，输入层为四阶网络，并随机初始化输入神经元和输出神经元连接的权重。令t表示算法迭代次数，置t ＝0 。
P2. 选择获胜者：把各帧小目标图像的灰度、色度、运动等参数值X ＝{x1,x2, …,xd} 输入到网络中的输入神经元，对每一个输入神经元值xj ，竞争层中的结点i的输出为这里G是一个激活函数，如取α＞0 是常数，可以控制曲线的斜率。μi (t) 是p 维输入向量xj 和p 维权重向量ω ji (t) 间的欧氏距离||xj-ωji (t)|| 和，即ωji (t) 是在t时刻从输入层结点j 到竞争层结点i的连接权重向量，这里j ∈J ，J ＝{1, …,d} ，i∈I ，I ＝{1, …,Ni}是竞争层的某局部区域。
选择获胜的输出神经元i* 。在竞争层中，对应最小的结点将获胜，即如果那么竞争层中获胜的结点为i*，则与i* 关联的权重及与i* 点邻近的点关联的权重都会得到调整。
P3. 更新权重：设N(i*)是获胜输出神经元i*的近邻，由输出神经元间的距离具体指定。对每一个输出神经元i∈{N(i*),i*}，权重按照下式来调整更新。
这里η(t) ＝η预先已确定好。这条规则只更新获胜输出神经元的近邻。
P4. 标准化权重：更新权重后对其标准化，从而它们与输入测量标准是一致的。
P5. 继续循环：重复步骤P1到P4 ，迭代的次数被置成t＝t+1，直到满足停机准则，这里停机准则为||xj-ωji (t)||＜ε，取ε＝0.5，或者超过了最大的循环次数为止。
对技术方案③的实施是:
灰度突变算法如下：
若把原图像预处理为二值图像，利用的阈值为1 ，计算跳变次数。对水平和竖直方向灰度跳变实施的图像小目标分割计算如下：
通过实验确定图像的高m和宽n。一方面，在像高某一固定点情况下，即height＝mi时，沿像宽方向找跳变次数ci，i＝1, …,m 。根据对小目标和背景区域 的实验知，小目标区域的跳变次数比较大的特点，由跳变次数ci，给定一个阈值M1。任何跳变次数大于这个阈值的，即ci＞M1 ，记录下这时的高与宽，分别记为yk1 和xk1 ，k1 ∈N 。得到序对集
另一方面，在像宽某一固定点情况下，即width ＝nj 时，沿像高方向找跳变次数dj，j＝1,…,n 。由跳变次数dj，给定一个阈值M2 。任何跳变次数大于这个阈值的，即dj＞M2，记录下这时的宽与高，分别记为和k2∈N 。得到序对集
由(I)和(II) ，可求得序对集I ＝I1 ∪I2 ＝{(xk,yk),k ∈N}。根据(xk,yk) ，可得xk和yk满足的曲线，实施小目标运动曲线的建模，可得小目标i运动曲线si。称这种运动曲线建模的算法为灰度跳变算法。
利用灰度的突变，给出了小目标运动状态模型si ，同时还可给出预测模型Vi如下：本发明提出了利用灰度值跳变的特点，在水平方向、竖直方向、1/4 弧线方向，进行确定运动小目标的方向、距离和运动特征。以像素点i为顶点，在其邻域开一个大小为r×r 的窗口。计算此窗口的灰度均值μi 与方差σi，作为像素点i的两个特征参数。以此像素点i为圆心，r为半径作一个1/4圆周，标记为Θi (1/4) 。沿像宽半径方向、像高半径方向、1/4弧线方向分别找出灰度的变化次数ch、cv、c1/4，定义这三个参数作为像素点i的方向特征向量，记为diri＝(cih,civ,ci,1/4) 。再沿1/4弧线方向，标记灰度跳变的位置Qkl(xk,yl) ，k,l∈N，计算相邻两跳变点的距离k,l＝1,2, …，并同时计算相邻两跳变点间的任意一点的灰度值G，G ′。计算灰度值相近的距离的平均值 再结合运动状态参数si ，则可得像素点i的特征向量为
对技术方案④的实施是:
映射跟踪***进入具有N个反馈神经元的模糊下推自动机的神经网络中；让N 个反馈神经元在时间上即多帧融合上完成跟踪***的状态融合；使M个非反馈输出神经元再来完成在空间上即单帧融合上的跟踪***的状态融合，最后计算跟踪***状态的时－空累积融合，来完成跟踪***对运动小目标的融合跟踪算法：
①各模糊下推自动机对运动小目标识别在时间上的融合
设fip(t)和Ξi (t)分别表示t时刻由模糊下推自动机i测得的被识别运动小目标属于第p类的模糊隶属度及模糊分布，表示到l时刻为止由第i个模糊下推自动机积累融合得到的被识别目标属于第p类的模糊隶属度，表示到l 时刻为止由第i个模糊下推自动机积累融合得到的被识别目标的模糊分布，这里，l＝1,2, …,t, 即
和
这里，op(p∈U) 是运动小目标。将t-1时刻的累积融合模糊分布与t 时刻的测量模糊分布进行融合，可得第i个模糊下推自动机到t时刻为止的目标识别累积融合模糊分布为：
其中，S2是模糊综合函数，通常S2取下式。
此时，以模糊分布对应的小目标的运动状态为是当前第t时刻的小目标的运动状态估计。
这里，Fi(t)为从上一时刻到当前时刻的运动状态转移矩阵，将必须对选择合适的转移模型，为上一时刻的状态估计值，为当前时刻的状态估计值。
②模糊下推自动机对小目标识别的空间融合
在得到t 时刻各模糊下推自动机目标识别的积累模糊分布之后，这里i＝1,…,N，利用模糊综合函数对这N个模糊分布进行融合，就得到了到t 时刻为止对目标识别的时-空累积融合模糊分布为
利用模糊综合函数理论，可得
这里，SN 也表示模糊综合函数。设p＝1, …,M 。
此时，以模糊分布Ξ t 对应的小目标的运动状态为是当前第k帧的所有小目标的运动状态估计。运动状态融合结果为：这里，是由第1帧到第k帧的运动信息预测当前第k 帧的第i个小目标的运动状态估计，是当前第k 帧的所有小目标的运动状态估计，是模型的模糊隶属度；跟踪的关键是通过测量从开始时刻到k-1时刻预测当前k 时刻第i个跟踪***模型的模糊隶属度这里是k-1时刻跟踪***模型的模糊隶属度，是已知的，πji＝Pr{mk＝m(i)|mk-1＝m(j)}是从模型mk-1 到模型mk的状态转移模糊隶属度。
这样经过多帧融合后，小目标点得到进一步增强，大部分噪声点被滤去，但一些随机噪声干扰可能会得到增强，为了滤除这些噪声，可以通过模糊下推自动机链长度进行判决。为了在保留小目标点的同时尽可能减少模糊下推自动机链长度，对融合帧采取了阈值化处理。其方法如下:
阈值T是模糊下推自动机链的长度，但此链必须保证含有小目标点。这里fA为总的融合帧。在最后的融合帧上，小目标点表现为一相关性很强的轨迹。
根据融合算法计算出待识别运动小目标或轨迹的特征向量各分量fA 的模糊隶属度μij，即获得未知运动小目标或轨迹的特征向量为Ui＝[μi1 , μi2 , …, μik ]T ；把它同已经训练好的已知第i0类别的多维参数特征向量相比较，当且仅当时，判决待识别运动小目标或轨迹属于第i0 类；即若使得则判断待识别运动小目标或轨迹属于第i0类；这里，δ为门限值，B为目标或轨迹类的指标集。
本发明提供的低信噪比下的运动小目标的跟踪与识别问题，提出了一种基于单帧与多帧的时空域融合滤波的小目标跟踪算法与识别方法。对视频图像中运动小目标容易被复杂背景中的其他物体或噪声遮挡或淹没的情况，提出了开闭变换的消除或减弱背景与噪声的算法；对小目标的弱小特性，提出了在线学习的自适应神经网络竞争模型，利用其竞争的活动单元提取弱小目标的多维特征参数；对于视频中小目标的运动特性，利用灰度的突变，给出了小目标运动状态模型和预测模型；对运动小目标实时检测与跟踪，采用了模糊下推自动机链进行轨迹识别与跟踪，以模糊下推自动机链深度为阈值进行轨迹判决，从而提出了一种基于复杂环境下的运动小目标跟踪算法与识别方法。本发明的这些研究有助于目标识别与图像处理人员了解检测目标的运动规律、活跃程度及其对其他目标的影响，从而给出相应的决策，寻求抑制或消除不良因素对其或其他重要目标的影响都是非常必要的。这将对军事、民事、公安***、道路交通等所有基于视频***的目标识别与跟踪的发展起到重要的借鉴和参考作用。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种低信噪比运动小目标的跟踪与识别的方法，其特征在于，该低信噪比运动小目标的跟踪与识别的方法以一种分阶段、按目标分别给出不同的实施方法，对视频图像中运动小目标容易被复杂背景中的其他物体或噪声遮挡或淹没的情况，提出了开闭变换的消除或减弱背景与噪声的算法；对小目标的弱小特性，提出了在线学习的自适应神经网络竞争模型，利用竞争的活动单元提取弱小目标的多维特征参数；对于视频中小目标的运动特性，利用灰度的突变，给出了小目标运动状态模型和预测模型；对运动小目标实时检测与跟踪，采用了模糊下推自动机链进行轨迹识别与跟踪，以模糊下推自动机链深度为阈值进行轨迹判决；
具体包括以下步骤：
步骤一，给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响；
步骤二，给出弱小目标运动信息提取和状态预测建模；
步骤三，建立两帧间图像运动小目标的关联矩阵；
步骤四，基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法。
2.如权利要求1所述的低信噪比运动小目标的跟踪与识别的方法，其特征在于，在步骤一中，给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响时，具体实现方法为：
利用数学形态学组合运算求取局部极大值与极小值，减轻后续处理的计算量，尽量减少虚警率点数，对每个局部极大值点进行区域生长、极小值点实施减弱或消除，对可能的目标进行选择；
使用开运算变换或闭运算变换g＝f·B-f，对单帧图像进行滤波，检测到图像中变化较大的地方，即相当于高频分量，同时能滤去图像中灰度值变化相对较为平缓的地方，相当于低频分量，利用这个变换就对一幅单帧图像进行滤波，滤掉低频成分，相当于滤掉大面积背景，留下包含小目标在内的高频部分；式中，f为图像灰度帧，B为结构体，表示开运算，·表示闭运算；
为准确识别目标或轨迹，进行小目标增强和干扰的抑制，由于小目标点在各帧之间运动，对视频图像可进行多帧叠加，在叠加的最后帧上，小目标点表现为相关性很强的轨迹点，但噪声仍有可能淹没小目标轨迹，提出多帧差分叠加算法，选取包含运动小目标点在内的图像序列，奇数帧与偶数帧各n帧差值的叠加值，即：
<mrow>
<msub>
<mi>f</mi>
<mi>z</mi>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>n</mi>
</munderover>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mrow>
<mn>2</mn>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mrow>
<mn>2</mn>
<mi>i</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
式中，fi为图像序列中的第i帧，fz为最后的叠加帧；
通过对叠加帧采取阈值化处理，方法如下：
<mrow>
<msub>
<mi>f</mi>
<mi>z</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>f</mi>
<mi>z</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>f</mi>
<mi>z</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>&GreaterEqual;</mo>
<mi>&delta;</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>f</mi>
<mi>z</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo><</mo>
<mi>&delta;</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
δ是阈值，取M,N为叠加帧图像的尺寸。
3.如权利要求1所述的低信噪比运动小目标的跟踪与识别的方法，其特征在于，在步骤二中，给出弱小目标运动信息提取和状态预测建模时，具体实现方法为：
首先构建了在线学习的自适应神经网络竞争模型，利用其竞争的活动单元提取弱小目标的多维特征参数：
第一步，初始化网络：固定输出神经网络格子的维数为N×M，输入层为四阶网络，并随机初始化输入神经元和输出神经元连接的权重，令t表示算法迭代次数，置t＝0；
第二步，选择获胜者：把各帧小目标图像的灰度、色度、运动参数值X＝{x1,x2,…,xd}输入到网络中的输入神经元，对每一个输入神经元值xj，竞争层中的结点i的输出为G是一个激活函数，且α＞0是常数，控制曲线的斜率；μi(t)是p维输入向量xj和p维权重向量ωji(t)间的欧氏距离||xj-ωji(t)||和，即ωji(t)是在t时刻从输入层结点j到竞争层结点i的连接权重向量，j∈J，J＝{1,…,d}，i∈I，I＝{1,…,Ni}是竞争层的某局部区域；
选择获胜的输出神经元i*，在竞争层中，对应最小的结点将获胜，即如果那么竞争层中获胜的结点为i*，则与i*关联的权重及与i*点邻近的点关联的权重都会得到调整；
第三步，更新权重：N(i*)是获胜输出神经元i*的近邻，由输出神经元间的距离具体指定，对每一个输出神经元i∈{N(i*),i*}，按照下式来调整更新：
<mrow>
<msub>
<mi>&omega;</mi>
<mrow>
<mi>a</mi>
<mi>j</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&omega;</mi>
<mrow>
<mi>a</mi>
<mi>j</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>&eta;</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>a</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&omega;</mi>
<mrow>
<mi>a</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>)</mo>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>j</mi>
<mo>&Element;</mo>
<msub>
<mi>N</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
η(t)＝η预先已确定好；这条规则只更新获胜输出神经元的近邻；
第四步，标准化权重：更新权重后再标准化，从而与输入测量标准是一致的；
第五步，继续循环：重复第一步到第四步，迭代的次数被置成t＝t+1，直到满足停机准则，停机准则为||xj-ωji(t)||＜ε，取ε＝0.5，或者超过了最大的循环次数为止。
4.如权利要求1所述的低信噪比运动小目标的跟踪与识别的方法，其特征在于，在步骤三中，建立两帧间图像运动小目标的关联矩阵的实现方法为：
建立m×n目标匹配矩阵A，这里，m为目前帧的运动小目标的个数，n为上一帧的运动小目标的个数，元素A(i,j)的值由下式给定：
<mrow>
<mi>A</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>|</mo>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
<mo>></mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>&infin;</mi>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>e</mi>
<mi>l</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
式中ri为第i目标的半径；rj为第j目标的半径；(xi,yi)为第i目标的质心坐标；(xj,yj)为第j目标的质心坐标；∞表示一个很大的数值；
首先，在矩阵A中选择值最小且不为∞的元素，该元素所对应的行和列分别是当前运动小目标和上一帧运动小目标的编号，行对应的运动小目标与列对应的运动小目标相匹配，然后把完成匹配的行与列的所有元素值变为∞；继续在矩阵A中寻找最小值，完成运动小目标的匹配，直到矩阵内的所有值都变为∞；搜索结束后，没有找到匹配目标的行代表在当前图像中有新运动小目标的出现，没有找到匹配目标的列代表在当前图像中有运动小目标消失。
5.如权利要求1所述的低信噪比运动小目标的跟踪与识别的方法，其特征在于，在步骤四中，基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法为：
第一步，各模糊下推自动机对运动小目标识别在时间上的融合：
fip(t)和Ξi(t)分别表示t时刻由模糊下推自动机i测得的被识别运动小目标属于第p类的模糊隶属度及模糊分布，表示到l时刻为止由第i个模糊下推自动机积累融合得到的被识别目标属于第p类的模糊隶属度，表示到l时刻为止由第i个模糊下推自动机积累融合得到的被识别目标的模糊分布，这里，l＝1,2,…,t，即
<mrow>
<msub>
<mi>&Xi;</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>&Element;</mo>
<mi>U</mi>
</mrow>
</munder>
<msub>
<mi>f</mi>
<mrow>
<mi>i</mi>
<mi>p</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>/</mo>
<msub>
<mi>o</mi>
<mi>p</mi>
</msub>
</mrow>
和
<mrow>
<msubsup>
<mi>&Xi;</mi>
<mi>i</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>&Element;</mo>
<mi>U</mi>
</mrow>
</munder>
<msubsup>
<mi>f</mi>
<mrow>
<mi>i</mi>
<mi>p</mi>
</mrow>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
<mo>/</mo>
<msub>
<mi>o</mi>
<mi>p</mi>
</msub>
</mrow>
op是运动小目标，其中，p∈U，将t-1时刻的累积融合模糊分布与t时刻的测量模糊分布进行融合，得到第i个模糊下推自动机到t时刻为止的目标识别累积融合模糊分布为：
<mrow>
<msubsup>
<mi>&Xi;</mi>
<mi>i</mi>
<mi>t</mi>
</msubsup>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>&Element;</mo>
<mi>U</mi>
</mrow>
</munder>
<msubsup>
<mi>f</mi>
<mrow>
<mi>i</mi>
<mi>p</mi>
</mrow>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>/</mo>
<msub>
<mi>o</mi>
<mi>p</mi>
</msub>
</mrow>
其中，S2是模糊综合函数，通常S2取下式：
<mrow>
<msub>
<mi>S</mi>
<mi>t</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>M</mi>
<mrow>
<mi>i</mi>
<mi>p</mi>
</mrow>
</msub>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mi>t</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>l</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>t</mi>
</munderover>
<msubsup>
<mi>f</mi>
<mrow>
<mi>i</mi>
<mi>p</mi>
</mrow>
<mi>q</mi>
</msubsup>
<mo>(</mo>
<mi>l</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mi>q</mi>
</mfrac>
</msup>
<mo>,</mo>
<mi>q</mi>
<mo>></mo>
<mn>0</mn>
</mrow>
此时，以模糊分布对应的小目标的运动状态为
<mrow>
<msubsup>
<mover>
<mi>x</mi>
<mi>&Lambda;</mi>
</mover>
<mrow>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
<mo>|</mo>
<mi>t</mi>
</mrow>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>=</mo>
<msup>
<mover>
<mi>x</mi>
<mi>&Lambda;</mi>
</mover>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
<mo>|</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>F</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<msup>
<mover>
<mi>x</mi>
<mi>&Lambda;</mi>
</mover>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>|</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
Fi(t)为从上一时刻到当前时刻的运动状态转移矩阵，选择转移模型，为上一时刻的状态估计值，为当前时刻的状态估计值；
第二步，模糊下推自动机对小目标识别的空间融合：
在得到t时刻各模糊下推自动机目标识别的积累模糊分布之后，这里i＝1,…,N，利用模糊综合函数对这N个模糊分布进行融合，就得到了到t时刻为止对目标识别的时-空累积融合模糊分布为：
<mrow>
<msup>
<mi>&Xi;</mi>
<mi>t</mi>
</msup>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>&Element;</mo>
<mi>U</mi>
</mrow>
</munder>
<msubsup>
<mi>f</mi>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>/</mo>
<msub>
<mi>o</mi>
<mi>p</mi>
</msub>
</mrow>
利用模糊综合函数理论，可得
<mrow>
<msubsup>
<mi>f</mi>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>=</mo>
<msub>
<mi>S</mi>
<mi>N</mi>
</msub>
<mo>&lsqb;</mo>
<msubsup>
<mi>f</mi>
<mrow>
<mn>1</mn>
<mi>p</mi>
</mrow>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>f</mi>
<mrow>
<mn>2</mn>
<mi>p</mi>
</mrow>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msubsup>
<mi>f</mi>
<mrow>
<mi>N</mi>
<mi>p</mi>
</mrow>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>&rsqb;</mo>
</mrow>
3
SN也表示模糊综合函数；设p＝1,…,M；
此时，以模糊分布Ξt对应的小目标的运动状态为是当前第k帧的所有小目标的运动状态估计，运动状态融合结果为： 是由第1帧到第k帧的运动信息预测当前第k帧的第i个小目标的运动状态估计，是当前第k帧的所有小目标的运动状态估计，是模型的模糊隶属度；跟踪的关键是通过测量从开始时刻到k-1时刻预测当前k时刻第i个跟踪***模型的模糊隶属度这里是k-1时刻跟踪***模型的模糊隶属度，是已知的，πji＝Pr{mk＝m(i)|mk-1＝m(j)}是从模型mk-1到模型mk的状态转移模糊隶属度。
6.如权利要求5所述的低信噪比运动小目标的跟踪与识别的方法，其特征在于，经过多帧融合后，小目标点得到进一步增强，大部分噪声点被滤去，滤除随机噪声干扰通过模糊下推自动机链长度进行判决，为了在保留小目标点的同时尽可能减少模糊下推自动机链长度，对融合帧采取了阈值化处理，方法如下:
<mrow>
<msub>
<mi>f</mi>
<mi>A</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>f</mi>
<mi>A</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>f</mi>
<mi>A</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>&GreaterEqual;</mo>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>f</mi>
<mi>A</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo><</mo>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
阈值T是模糊下推自动机链的长度，但此链必须保证含有小目标点，fA为总的融合帧，在最后的融合帧上，小目标点表现为一相关性很强的轨迹；
根据融合算法计算出待识别运动小目标或轨迹的特征向量各分量fA的模糊隶属度μij，即获得未知运动小目标或轨迹的特征向量为Ui＝[μi1,μi2,…,μik]T；把它同已经训练好的已知第i0类别的多维参数特征向量相比较，当且仅当时，判决待识别运动小目标或轨迹属于第i0类；即若使得则判断待识别运动小目标或轨迹属于第i0类；这里，δ为门限值，λ为目标或轨迹类的指标集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510052873.1A CN104835178B (zh) | 2015-02-02 | 2015-02-02 | 一种低信噪比运动小目标的跟踪与识别的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510052873.1A CN104835178B (zh) | 2015-02-02 | 2015-02-02 | 一种低信噪比运动小目标的跟踪与识别的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104835178A CN104835178A (zh) | 2015-08-12 |
| CN104835178B true CN104835178B (zh) | 2017-08-18 |
Family
ID=53813043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510052873.1A Active CN104835178B (zh) | 2015-02-02 | 2015-02-02 | 一种低信噪比运动小目标的跟踪与识别的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104835178B (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469423B (zh) * | 2015-11-16 | 2018-06-22 | 北京师范大学 | 一种基于连续吸引子神经网络的在线目标跟踪方法 |
| CN107977979B (zh) * | 2016-10-21 | 2021-05-14 | 北京君正集成电路股份有限公司 | 视频处理方法及装置 |
| CN108073933B (zh) * | 2016-11-08 | 2021-05-25 | 杭州海康威视数字技术股份有限公司 | 一种目标检测方法及装置 |
| CN106911914A (zh) * | 2017-02-28 | 2017-06-30 | 中国科学院城市环境研究所 | 红外热成像动物活动追踪*** |
| CN108234904B (zh) * | 2018-02-05 | 2020-10-27 | 刘捷 | 一种多视频融合方法、装置与*** |
| CN108734717B (zh) * | 2018-04-17 | 2021-11-23 | 西北工业大学 | 基于深度学习的单帧星图背景暗弱目标提取方法 |
| CN108564136B (zh) * | 2018-05-02 | 2019-05-03 | 北京航空航天大学 | 一种基于模糊推理的空域运行态势评估分类方法 |
| CN109492524B (zh) * | 2018-09-20 | 2021-11-26 | 中国矿业大学 | 用于视觉跟踪的内结构关联性网络 |
| CN109493365A (zh) * | 2018-10-11 | 2019-03-19 | 中国科学院上海技术物理研究所 | 一种弱小目标的跟踪方法 |
| CN109727274B (zh) * | 2018-11-28 | 2023-04-28 | 吉林大学 | 视频处理方法 |
| CN110276783B (zh) * | 2019-04-23 | 2021-01-08 | 上海高重信息科技有限公司 | 一种多目标跟踪方法、装置及计算机*** |
| CN110288627B (zh) * | 2019-05-22 | 2023-03-31 | 江苏大学 | 一种基于深度学习和数据关联的在线多目标跟踪方法 |
| CN112085762B (zh) * | 2019-06-14 | 2023-07-07 | 福建天晴数码有限公司 | 基于曲率半径的目标位置预测方法及存储介质 |
| CN110363123A (zh) * | 2019-07-03 | 2019-10-22 | 中国电子科技集团公司第三研究所 | 水下运动小目标的检测跟踪方法及*** |
| CN110443182B (zh) * | 2019-07-30 | 2021-11-09 | 深圳市博铭维智能科技有限公司 | 一种基于多实例学习的城市排水管道视频异常检测方法 |
| CN110505534B (zh) * | 2019-08-26 | 2022-03-08 | 腾讯科技（深圳）有限公司 | 监控视频处理方法、装置及存储介质 |
| CN110555405B (zh) * | 2019-08-30 | 2022-05-06 | 北京迈格威科技有限公司 | 目标跟踪方法及装置、存储介质和电子设备 |
| CN110796041B (zh) | 2019-10-16 | 2023-08-18 | Oppo广东移动通信有限公司 | 主体识别方法和装置、电子设备、计算机可读存储介质 |
| CN111060076B (zh) * | 2019-12-12 | 2021-10-08 | 南京航空航天大学 | 一种面向机场飞行区无人机巡检路径规划和异物探测方法 |
| CN111652150B (zh) * | 2020-06-04 | 2024-03-19 | 北京环境特性研究所 | 一种红外抗干扰跟踪方法 |
| CN112183221B (zh) * | 2020-09-04 | 2024-05-03 | 北京科技大学 | 一种基于语义的动态物体自适应轨迹预测方法 |
| CN112288768A (zh) * | 2020-09-27 | 2021-01-29 | 绍兴文理学院 | 一种结肠镜图像序列肠息肉区域的跟踪初始化决策*** |
| CN112308876B (zh) * | 2020-10-28 | 2024-05-10 | 西北工业大学 | 一种主动声呐回波图中小目标运动状态估计方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102034239A (zh) * | 2010-12-07 | 2011-04-27 | 北京理工大学 | 一种基于局部灰度突变的红外小目标检测方法 |
-
2015
- 2015-02-02 CN CN201510052873.1A patent/CN104835178B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102034239A (zh) * | 2010-12-07 | 2011-04-27 | 北京理工大学 | 一种基于局部灰度突变的红外小目标检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| Video Target Tracking by using Competitive Neural Networks;ERNESTO ARAUJO 等;《WSEAS TRANSACTIONS on SIGNAL PROCESSING》;20080831;第4卷(第8期);第420-431页 * |
| Visual Multi-Target Tracking by using Modified Kohonen Neural Networks;Francis Garcia 等;《2008 International Joint Conference on Neural Networks》;20080608;第4163-4168页 * |
| 一种低信噪比小弱运动目标探测方法;李正周 等;《全国光电技术学术交流会》;20021231;第117-122页 * |
| 基于形态面形态学和Kohonen神经网络的小目标检测算法;张兆宁 等;《全国光电技术学术交流会》;20041231;第803-806页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104835178A (zh) | 2015-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104835178B (zh) | 一种低信噪比运动小目标的跟踪与识别的方法 | |
| CN110660082B (zh) | 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法 | |
| CN103886344B (zh) | 一种图像型火灾火焰识别方法 | |
| CN109949278B (zh) | 基于对抗自编码网络的高光谱异常检测方法 | |
| CN109543606A (zh) | 一种加入注意力机制的人脸识别方法 | |
| CN107862705A (zh) | 一种基于运动特征和深度学习特征的无人机小目标检测方法 | |
| CN103729854B (zh) | 一种基于张量模型的红外弱小目标检测方法 | |
| CN108010067A (zh) | 一种基于组合判断策略的视觉目标跟踪方法 | |
| CN104134077B (zh) | 一种基于确定学习理论的与视角无关的步态识别方法 | |
| CN102496016B (zh) | 一种基于时空协同框架的红外目标检测方法 | |
| CN106127204A (zh) | 一种全卷积神经网络的多方向水表读数区域检测算法 | |
| CN106127812B (zh) | 一种基于视频监控的客运站非出入口区域的客流统计方法 | |
| CN107886498A (zh) | 一种基于星载图像序列的空间目标检测跟踪方法 | |
| CN108154159B (zh) | 一种基于多级检测器的具有自恢复能力的目标跟踪方法 | |
| CN107247956A (zh) | 一种基于网格判断的快速目标检测方法 | |
| CN107025420A (zh) | 视频中人体行为识别的方法和装置 | |
| Arabi et al. | Optical remote sensing change detection through deep siamese network | |
| CN107833239A (zh) | 一种基于加权模型约束的寻优匹配目标跟踪方法 | |
| CN106056097A (zh) | 毫米波弱小目标检测方法 | |
| Wang et al. | Study on the method of transmission line foreign body detection based on deep learning | |
| CN108388828A (zh) | 一种综合多源遥感数据的滨海湿地土地覆盖信息提取方法 | |
| Zhang et al. | Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image | |
| Sun et al. | Salience biased loss for object detection in aerial images | |
| CN114495170A (zh) | 一种基于局部抑制自注意力的行人重识别方法及*** | |
| CN112556682A (zh) | 一种水下复合传感器目标自动检测算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wu Qinge Inventor after: Qian Xiaoliang Inventor after: Zheng Xiaowan Inventor after: Wu Qinggang Inventor after: Wang Jifang Inventor after: Fang Jie Inventor after: Jiang Suxia Inventor after: Ding Lifen Inventor after: Sun Dong Inventor after: Diao Zhihua Inventor after: Yang Cunxiang Inventor before: Wu Qinge Inventor before: Qian Xiaoliang Inventor before: Zheng Xiaowan Inventor before: Wang Jifang Inventor before: Fang Jie Inventor before: Jiang Suxia Inventor before: Ding Lifen Inventor before: Sun Dong Inventor before: Diao Zhihua Inventor before: Yang Cunxiang |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |