CN106815576A - 基于连续时空置信图和半监督极限学习机的目标追踪方法 - Google Patents

基于连续时空置信图和半监督极限学习机的目标追踪方法 Download PDF

Info

Publication number
CN106815576A
CN106815576A CN201710047829.0A CN201710047829A CN106815576A CN 106815576 A CN106815576 A CN 106815576A CN 201710047829 A CN201710047829 A CN 201710047829A CN 106815576 A CN106815576 A CN 106815576A
Authority
CN
China
Prior art keywords
target
sample
trail
followed
semi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710047829.0A
Other languages
English (en)
Other versions
CN106815576B (zh
Inventor
年睿
邱书琦
常瑞杰
肖玫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN201710047829.0A priority Critical patent/CN106815576B/zh
Publication of CN106815576A publication Critical patent/CN106815576A/zh
Application granted granted Critical
Publication of CN106815576B publication Critical patent/CN106815576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于连续时空置信图和半监督极限学习机的目标追踪方法,该方法考虑到视频图像帧在时间上是连续的,同时待追踪目标位置也不会发生突变,另外视频图像帧在空间上也是连续的,空间连续性体现在目标和目标周围背景存在某种特定关系,当目标的外观发生很大变化时,这种关系可以帮助区分待追踪目标和背景区域。本发明针对形变以及遮挡问题,充分考虑到真实目标所能提供的信息,充分挖掘有标签样本和无标签样本的分布相似性,提高追踪的精度,提出了一种挖掘有标签样本和无标签样本分布相似性的基于极限学习机的半监督追踪方法,将上述两种方法结合在一个耦合的追踪框架中,本发明实现了一种健壮性佳、高鲁棒性的追踪。

Description

基于连续时空置信图和半监督极限学习机的目标追踪方法
技术领域
本发明涉及基于连续时空置信图和半监督极限学习机的目标追踪方法,属于智能信息处理和目标追踪技术领域。
背景技术
目标跟踪是绝大多数视觉***中不可或缺的环节。在特定的场景应用中(如视频监控等领域),自动化、快速、高鲁棒性的目标追踪受到关注。视频监控、交通检测,智能机器人,海底目标探测追踪等方面具有广阔的应用前景。
目标追踪是计算机视觉领域中极其重要的一部分,视频中运动物体跟踪算法是通过分析待追踪视频图像序列中每一帧的视频图像的信息,在视频中进行数据挖掘,学习目标行为并进行大量的动作捕捉,对信息进行一系列的处理,得到并标记出所追踪到目标在视频图像中相应的位置。物体之间的遮挡形变、背景的复杂性,光照明暗变化,实时性和健壮性差等是追踪过程亟待解决的问题。经典的追踪方法如Meanshift、粒子滤波等依赖于视频中所含目标信息的丰富程度,在实际的视频图像序列中,目标所能提供的信息相当有限,导致不能稳定的追踪目标,如场景中有形变遮挡,这些经典算法更是无能为力。
即现有技术中存在的主要问题:(1)待追踪视频场景中追踪的过程中实时性和健壮性差,目标时空位置信息匮乏,目标特征不明显问题;(2)当场景有遮挡物和待追踪目标发生形变的情况下,尤其是会出现整个目标被遮挡和待追踪目标发生巨大的形变的状况,会导致追踪的目标丢失的问题。
发明内容
本发明的目的是提供一种基于连续时空置信图和半监督极限学习机的目标追踪方法,以弥补现有技术的不足。
本发明考虑到视频图像帧在时间上是连续的,时间的连续性体现在邻近帧间待追踪目标变化不会很大,同时待追踪目标位置也不会发生突变;与此同时视频图像帧在空间上也是连续的,空间连续性体现在目标和目标周围背景存在某种特定关系,当目标的外观发生很大变化时,这种关系可以帮助区分待追踪目标和背景区域,提出利用连续时空置信图学习的追踪方法克服实时性和健壮性差、目标时空位置信息匮乏和目标特征不明显等的问题。针对形变以及遮挡问题,充分考虑到真实目标所能提供的信息,充分挖掘有标签样本和无标签样本的分布相似性,提高追踪的精度,提出了一种挖掘有标签样本和无标签样本分布相似性的基于极限学习机的半监督追踪方法,将上述两种方法结合在一个耦合的追踪框架中,实现了一种健壮性佳、高鲁棒性的追踪。
为达到上述目的,本发明采取的具体技术方案是通过以下步骤实现的:
步骤一、在特定待追踪监控场景中采集n帧待追踪目标视频A={I1,…,Ii,…In},其中Ii表示第i帧待追踪视频图像序列,利用图像滤波去噪、对比度增强预处理待追踪视频序列降低噪声且突出感兴趣待追踪区域;
步骤二、在第t帧待追踪视频图像序列It中使用矩形窗口选取待追踪目标O,确定目标中心位置o*,O表示新目标在场景中的存在,o代表新目标位置,定义一个二维待追踪目标的置信图模型Ct(o);将待追踪目标区域扩大两倍形成局部背景区域表示为内提取坐标位置k处的强度位置特征w(k),组成强度位置特征集I(k)表示坐标位置k处图像的亮度,表示坐标o*的邻域;建立第t帧待追踪目标的先验模型P(w(k)|O),以此推算出t帧时空模型
步骤三、在待追踪目标中心位置所在区域重叠采样,获得N1个区域块图像作为正样本和N2个区域块图像作为负样本,提取正负样本数据特征xj,记正样本的类别标签是1,负样本的类别标签是0,yj∈{1,0};建立有标注样本集和无标注样本集Xu组成训练样本集X={Xs,Xu}={(xj,yj)},j=1,...,N1+N2
步骤四、用步骤三得到的训练样本集X训练半监督极限学习机网络模型;
步骤五、在It+1中,利用步骤二求得的第t帧时空模型进行模型更新,计算得到第t+1帧的时空模型利用求得的t+1帧时空模型卷积It+1得到新目标的时空置信图Ct+1(o),最大化Ct+1(o)确定在t+1帧中目标位置o;
步骤六、判断目标是否被遮挡,若目标未被遮挡,进入步骤五,反之,进入步骤七;
步骤七、在It+1中,由It中已求得的o*为目标位置,在目标位置o*所在区域,以目标区域矩形窗口大小重叠采样,获得N个区域块图像作为候选目标,提取候选目标数据特征建立待追踪目标图像块测试样本集将测试样本集输入步骤四已训练完成的半监督极限学习机网络,得到t+1帧测试输出T,最大化在线半监督极限学习机最大分类响应位置,得到t+1帧中目标位置o;
步骤八、对最大分类响应结果进行在线半监督极限学习机网络模型更新阈值判定,若在线半监督极限学习机模型不需要更新,进入步骤五,反之进入步骤九;
步骤九、由步骤三得到的有标注数据集和步骤七得到的测试样本集作为无标注数据集Xu=Xt+1,进行步骤四,重新训练半监督极限学习机网络模型;
循环重复上述步骤,直至追踪完成整个视频序列。
进一步的,所述步骤三:在待追踪目标中心位置o*所在区域,以目标区域矩形窗口大小重叠采样,第j个采样点到目标中心位置的欧式距离为时,采样获得N1个区域块图像作为正样本,当时,采样获得N2个区域块图像作为负样本,r1、r2和r3分别是采样半径;提取正负样本数据特征xj,建立待追踪目标图像块训练样本集,共收集(N1+N2)个目标图像块作为训练样本集X={(xj,yj)},j=1,...,N1+N2,记正样本的类别标签是1,负样本的类别标签是0,yj∈{1,0};将训练样本集中的样本顺序打乱并重排,取排在最前面的一定比例的样本(通常比例较低)作为已标注样本集Xs,取剩余样本(通常比例较高)作为未标注样本集Xu,且X={Xs,Xu}。
所述步骤四:采用随机方式设置输入权值和隐藏层偏置,若用(a,b)表示隐藏层结点获得的输入权重a和阈值b,训练样本为有标注数据集无标注数据集其中Xs和Xu表示输入样本,Ys是与Xs对应的输出样本;隐藏层的映射函数为G(x),映射函数形式可以表示为G(x)=1/(1+e-x),输出权重用β表示,h(xi)=[G(a1,b1,xi),…,G(aL,bL,xi)]s×m表示第i个隐含层输出矩阵,隐藏层的节点数为m,ei表示第i个输入节点的学习误差(残差)
半监督极限学习机的目标函数为:
fi=h(xi)β,i=1,...,s+u
其中ci表示惩罚参数,λ表示权衡参数,L是由标签数据和无标签数据得到的图拉普拉斯运算结果,F是网络的输出矩阵,Tr是迹运算;
用矩阵形式表示半监督极限学习机目标函数为:
其中是前s行等于Ys,后u行等于零的输出标签样,C是前s个对角线元素为Ci剩余为零的对角阵;
对上式对β求偏导得到:
令偏导为零,求解得到输出权重β为:
当有标签数据大于隐藏层结点数时
当有标签数据小于隐藏层结点数时
其中,HT为矩阵H的转置矩阵。
步骤六所述的判断目标是否被遮挡的方法为对置信图的结果进行遮挡阈值th1判定,若时,表明目标出现遮挡,th1表示遮挡的临界值,会根据场景的不同而变化,本算法应用于不同场景时,人为地调整th1值,正常情况下会在某个范围波动,当目标被遮挡时,会迅速下降,将迅速下降之后的值定义为th1值,以此判断目标是否被遮挡。
步骤八所述的判断在线半监督极限学习机网络模型是否需更新的方法为对最大分类响应结果Tmax进行更新阈值th2判定,若Tmax>th2时,表明在线半监督极限学习机网络模型不需更新,以更新阈值th2判断网络模型是否需更新。
本发明的有益效果:本发明将连续时空置信图学习追踪方法和半监督极限学习机追踪方法相结合,解决了追踪过程中实时性和健壮性差、目标时空位置信息匮乏、目标特征不明显以及形变遮挡以导致追踪目标丢失的问题。本发明具体是通过计算连续时空置信图进行遮挡阈值判定,得到了一种判断目标是否进入遮挡区域的方法,有效的解决了目标遮挡的判定问题,以及通过计算半监督极限学习机网络输出最大响应值进行半监督极限学习机网络模型更新阈值判定,得到了一种判断该网络模型是否需更新的方法,有效解决了网络模型泛化性差的问题。本发明极大地提高了追踪的精度,实现了一种健壮性佳、高鲁棒性的追踪过程。
附图说明
图1为本发明的整体追踪流程示意图。
图2为具体实施例中待追踪目标的区域标记图。
图3为具体实施例中基于连续时空置信图目标追踪方法框图。
图4为半监督极限学习机网络的基本框架图。
图5为具体实施例中基于半监督极限学习机目标追踪方法框图。
图6为具体实施例中遮挡情况下追踪效果示例,图(a)是具有待追踪感兴趣目标的视频帧,(b)、(c)、(d)、(e)、(f)分别是在(a)帧后对该感兴趣目标进行追踪的视频帧。
具体实施方式
为使本发明的目的、实施方案和优点更为清晰,下面结合附图并通过具体实施例来进一步说明本发明。
本发明的具体流程图如图1所示。
本实施例中具体采用一段经典的走廊监控视频caviar(384*288像素,每秒25帧)作为待追踪视频。
步骤一、利用图像滤波去噪、对比度增强预处理待追踪视频序列,降低噪声且突出感兴趣待追踪区域;具体包括以下步骤:
步骤1-1、对一段经典的走廊监控视频caviar定义为A,进行分帧处理获得200帧待追踪视频图像序列,即A={I1,…,Ii,…I200},其中Ii表示该走廊监视视频caviar第i帧待追踪视频图像;
步骤1-2、对该200帧视频图像序列进行滤波去噪、对比度增强的预处理。
步骤二、在第t=1帧待追踪视频图像序列It=1中选取待追踪目标O,确定目标中心位置o*,O表示新目标在场景中的存在,o表示新目标位置,定义一个二维待追踪目标的置信图模型Ct(o);建立t帧待追踪目标的先验模型P(w(k)|O),以此推算出t帧时空模型如图3所示;具体包括以下步骤:
步骤2-1、在It=1中由用户使用矩形窗口W选取待追踪感兴趣目标O,目标区域矩形窗口的宽度为w与高度为h,o表示新目标位置,将目标区域扩大两倍形成局部背景区域表示为如图2所示;在局部背景区域内提取坐标位置k处强度位置特征w(k),组成强度位置特征集I(k)表示坐标位置k处图像的亮度,表示坐标o*的邻域;
步骤2-2、将追踪问题转化为计算待追踪感兴趣目标位置置信图问题:
其中Ct(o)表示第t帧的置信图模型,表示新目标位置o和旧目标位置o*的相对位置和方向,新目标位置距离旧目标位置越近,置信值越大;表示时空模型,描述新目标o和局部背景区域坐标点k的相对位置和方向,P(w(k)|O)表示先验模型,描述旧目标位置和局部背景区域坐标点k的强度和相对位置方向,模拟待追踪感兴趣目标O的低级轮廓信息;
步骤2-3、计算第t=1帧It=1的置信图同时得到最大置信值
步骤2-4、计算第t=1帧的先验模型其中是尺度参数;
步骤2-5、由计算出第t=1帧It=1的置信图模型Ct(o)和先验模型P(w(k),O)计算第t=1帧的感兴趣目标的时空模型
其中F表示快速傅立叶变换,F-1表示快速傅立叶逆变换。
步骤三、在待追踪目标中心位置所在区域重叠采样,获得N1个区域块图像作为正样本和N2个区域块图像作为负样本,提取正负样本数据特征xj,建立有标注样本集和无标注样本集Xu组成训练样本集X={(xj,yj)},j=1,...,N1+N2,如图5所示,具体包括以下步骤:
步骤3-1、在中心位置o*所在区域,以目标区域矩形窗口大小重叠采样,第j个采样点到目标中心位置的欧式距离为时,采样获得45个区域块图像作为正样本,当时,采样获得31个区域块图像作为负样本,采样半径r1、r2和r3分别是设置的参数5,10和20(单位:像素);
步骤3-2、提取正负样本数据特征xj,建立待追踪目标图像块训练样本集,共收集76个目标图像块作为训练样本集X={(xj,yj)},j=1,...,76,记正样本的类别标签是1,负样本的类别标签是0,yj∈{1,0};
步骤3-3、将训练样本集中的样本顺序打乱并重排,取排在最前面的50个的样本作为已标注样本集Xs,取剩余26个样本作为未标注样本集Xu,且X={Xs,Xu}。
步骤四、用步骤三得到的训练样本集X训练在线半监督极限学习机网络模型,具体包括以下步骤:
步骤4-1、半监督极限学习机是一种单隐层的前馈神经网络模型如图4所示,整个网络模型分为三层,包括:输入层,隐藏层和输出层,采用随机方式设置输入权值和隐藏层偏置,独立于训练样本,算法结构简单计算效率高,若用(a,b)表示隐藏层结点获得的输入权重a和阈值b,训练样本为有标注数据集无标注数据集其中Xs和Xu表示输入样本,Ys是与Xs对应的输出样本;隐藏层的映射函数为G(x),映射函数形式可以表示为G(x)=1/(1+e-x),输出权重用β表示,h(xi)=[G(a1,b1,xi),…,G(a2000,b2000,xi)]50×2000表示第i个隐含层输出矩阵,隐藏层的节点数为2000,ei表示第i个输入节点的学习误差(残差);
步骤4-2、需训练的半监督极限学习机的目标函数为:
fi=h(xi)β,i=1,...,s+u
其中ci表示惩罚参数,λ表示权衡参数,L是由标签数据和无标签数据得到的图拉普拉斯运算结果,F是网络的输出矩阵,Tr是迹运算;
步骤4-3、用矩阵形式表示半监督极限学习机目标函数为:
其中是前50行等于Ys,后26行等于零的输出标签样本。C是前50个对角线元素为Ci剩余为零的对角阵;
步骤4-4、对上式对β求偏导得到:
步骤4-5、令偏导为零,求解得到输出权重β为:
当有标签数据大于隐藏层结点数时
当有标签数据小于隐藏层结点数时
其中,HT为矩阵H的转置矩阵,至此半监督极限学习机网络模型训练完毕。
步骤五、在第t+1帧中,利用步骤二求得的第t帧时空模型进行模型更新,计算得到第t+1帧的时空模型利用求得的t+1帧时空模型卷积图像It+1得到新目标的时空置信图Ct+1(o),最大化该求得的置信图Ct+1(o)确定在t+1帧中目标位置o,如图3所示,具体包括以下步骤:
步骤5-1、在It+1中,以o*为目标位置取两倍于目标大小的局部背景区域在该区域内提取强度位置特征,组成强度位置特征集
步骤5-2、第t帧待追踪感兴趣目标的时空模型更新:
其中ρ是学习率,是第t帧计算得到的待追踪感兴趣目标时空模型,在频域表示为:
其中的时域傅立叶变换。时域滤波器Fw表示为:
Fw=ρ/(ejw-(1-ρ))
其中j是虚数单位;
步骤5-3、计算t+1帧待追踪感兴趣目标置信图:
步骤5-4、在t+1帧中感兴趣目标位置o即最大化t+1帧的置信图:
o=arg maxCt+1(o)
最大置信值为
步骤六、判断目标是否被遮挡,具体包括以下步骤:
步骤6-1、对步骤5-4得到的最大置信值进行遮挡阈值th1判定,若时,表明目标出现遮挡,以此判断目标是否被遮挡。th1表示遮挡的临界值,会根据场景的不同而变化,本算法应用于不同场景时,人为地调整th1值,正常情况下会在某个范围波动,当目标被遮挡时,会迅速下降,将迅速下降之后的值定义为th1值;本具体方案中定义
步骤6-2、若时,表明目标未出现遮挡,进行步骤5-1,否则进行步骤7-1。
步骤七、在第t+1帧中,在第t帧已追踪到目标中心位置处重叠采样,提取候选目标数据特征,建立待追踪目标图像块测试样本,将测试样本输入上述训练好的在线半监督极限学习机中,将测试样本内最大分类响应位置为预测新目标位置,如图5所示,具体包括以下步骤:
步骤7-1、对第t+1帧视频图像,以o*为目标位置,在中心位置o*所在区域,以目标区域矩形窗口大小重叠采样,第j个采样点到o*的欧式距离为时,采样获得232个区域块图像作为候选目标即测试数据,提取的样本数据特征为并记测试集为采样半径r1设置的参数为20(单位:像素);
步骤7-2、测试输出为:
T=H*β
其中β为t帧计算的输出权重,H*为测试的隐层输出矩阵,
步骤7-3、在t+1帧中,待追踪感兴趣目标位置o即最大化t+1帧半监督极限学习机最大分类响应位置:
o=arg max T
最大分类响应值为Tmax
步骤八、对最大分类响应结果进行在线半监督极限学习机网络模型更新阈值判定,具体步骤如下:
步骤8-1、对最大分类响应结果Tmax进行半监督极限学习机的更新阈值th2判定,若Tmax>th2时,表明在线半监督极限学习机网络模型不需更新,以此判断在线半监督极限学习机模型是否需要更新,th2表示更新的临界值,本具体方案中定义th2=0。
步骤8-2、若Tmax>0时,表明在线半监督极限学习机网络模型不需更新,进行步骤5-1,否则进行步骤九。
步骤九、重新训练在线半监督极限学习机网络模型,如图5所示,具体如下:由步骤3-3得到的有标注数据集和步骤7-1得到的测试集作为无标注数据集Xu=Xt+1,进行步骤4-1重新训练在线半监督极限学习机网络模型。
循环重复上述步骤,直至完成对于整个待追踪监控视频序列的追踪。
对以上提到的待追踪监控视频,分别用粒子滤波、Meanshift和本发明方法追踪性能的比较,结果见表1,可以看出,本发明方法不论中心位置偏差结果还是偏差均方差结果均优于粒子滤波和Meanshift方法,实现了对目标追踪的健壮性和鲁棒性。
表1为显示粒子滤波、Meanshift和本发明方法追踪性能对比
粒子滤波 Meanshift 本发明方法
中心位置偏差 75.4796 22.9740 10.1834
偏差均方差 47.8903 12.2607 7.9702
图6为具体实施例中遮挡情况下追踪效果示例,可以看出在连续经历了两次严重的遮挡情况下,仍能准确的追踪上目标,进一步证明了本发明方法的健壮性和鲁棒性。
以上所述是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于连续时空置信图和半监督极限学习机的目标追踪方法,其特征在于,包括以下步骤:
步骤一、在特定待追踪监控场景中采集n帧待追踪目标视频A={I1,…,Ii,…In},其中Ii表示第i帧待追踪视频图像序列,利用图像滤波去噪、对比度增强预处理待追踪视频序列降低噪声且突出感兴趣待追踪区域;
步骤二、在第t帧待追踪视频图像序列It中使用矩形窗口选取待追踪目标O,确定目标中心位置o*,O表示新目标在场景中的存在,o代表新目标位置,定义一个二维待追踪目标O的置信图模型Ct(o);将待追踪目标区域扩大两倍形成局部背景区域表示为内提取坐标位置k处的强度位置特征w(k),组成强度位置特征集I(k)表示坐标位置k处图像的亮度,表示坐标o*的邻域。建立第t帧待追踪目标的先验模型P(w(k)|O),以此推算出t帧时空模型
步骤三、在待追踪目标中心位置所在区域重叠采样,获得N1个区域块图像作为正样本和N2个区域块图像作为负样本,提取正负样本数据特征xj,记正样本的类别标签是1,负样本的类别标签是0,yj∈{1,0};建立有标注样本集和无标注样本集Xu组成训练样本集X={Xs,Xu}={(xj,yj)},j=1,...,N1+N2
步骤四、用步骤三得到的训练样本集X训练半监督极限学习机网络模型;
步骤五、在It+1中,利用步骤二求得的第t帧时空模型进行模型更新,计算得到第t+1帧的时空模型利用求得的t+1帧时空模型卷积It+1得到新目标的时空置信图Ct+1(o),最大化Ct+1(o)确定在t+1帧中目标位置o;
步骤六、判断目标是否被遮挡,若目标未被遮挡,进入步骤五,反之,进入步骤七;
步骤七、在It+1中,由It中已求得的o*为目标位置,在目标位置o*所在区域,以目标区域矩形窗口大小重叠采样,获得N个区域块图像作为候选目标,提取候选目标数据特征建立待追踪目标图像块测试样本集将测试样本集输入步骤四已训练完成的半监督极限学习机网络,得到t+1帧测试输出T,最大化半监督极限学习机最大分类响应位置,得到t+1帧中目标位置o;
步骤八、对最大分类响应结果进行半监督极限学习机网络模型更新阈值判定,若半监督极限学习机模型不需要更新,进入步骤五,反之进入步骤九;
步骤九、由步骤三得到的有标注数据集和步骤七得到的测试样本集作为无标注数据集Xu=Xt+1,进行步骤四,重新训练半监督极限学习机网络模型;
循环重复上述步骤,直至追踪完成整个视频序列。
2.如权利要求1所述的目标追踪方法,其特征在于,所述步骤三具体为:在待追踪目标中心位置o*所在区域,以目标区域矩形窗口大小重叠采样,第j个采样点到目标中心位置的欧式距离为时,采样获得N1个区域块图像作为正样本,当时,采样获得N2个区域块图像作为负样本,r1、r2和r3分别是采样半径。提取正负样本数据特征xj,建立待追踪目标图像块训练样本集,共收集(N1+N2)个目标图像块作为训练样本集X={(xj,yj)},j=1,…,N1+N2,记正样本的类别标签是1,负样本的类别标签是0,yj∈{1,0};将训练样本集中的样本顺序打乱并重排,取排在最前面的一定比例的样本作为已标注样本集Xs,取剩余样本作为未标注样本集Xu,且X={Xs,Xu}。
3.如权利要求1所述的目标追踪方法,其特征在于,所述步骤四具体为:采用随机方式设置输入权值和隐藏层偏置,若用(a,b)表示隐藏层结点获得的输入权重a和阈值b,训练样本为有标注数据集无标注数据集其中Xs和Xu表示输入样本,Ys是与Xs对应的输出样本;隐藏层的映射函数为G(x),映射函数形式可以表示为G(x)=1/(1+e-x),输出权重用β表示,h(xi)=[G(a1,b1,xi),…,G(aL,bL,xi)]1×m表示第i个隐含层输出矩阵,隐藏层的节点数为m,ei表示第i个输入节点的学习误差;
半监督极限学习机的目标函数为:
fi=h(xi)β,i=1,...,s+u
其中ci表示惩罚参数,λ表示权衡参数,L是由标签数据和无标签数据得到的图拉普拉斯运算结果,F是网络的输出矩阵,Tr是迹运算;
用矩阵形式表示半监督极限学习机目标函数为:
其中是前s行等于Ys,后u行等于零的输出标签样,C是前s个对角线元素为Ci剩余为零的对角阵;
对上式对β求偏导得到:
令偏导为零,求解得到输出权重β为:
当有标签数据大于隐藏层结点数时
当有标签数据小于隐藏层结点数时
其中,HT为矩阵H的转置矩阵。
4.如权利要求1所述的目标追踪方法,其特征在于,步骤六所述的判断目标是否被遮挡的方法为对置信图的结果进行遮挡阈值th1判定,若时,表明目标出现遮挡,th1表示遮挡的临界值,会根据场景的不同而变化,本算法应用于不同场景时,人为地调整th1值,正常情况下会在某个范围波动,当目标被遮挡时,会迅速下降,将迅速下降之后的值定义为th1值,以此判断目标是否被遮挡。
5.如权利要求1所述的目标追踪方法,其特征在于,步骤八所述的判断半监督极限学习机网络模型是否需更新的方法为对最大分类响应结果Tmax进行更新阈值th2判定,若Tmax>th2时,表明半监督极限学习机网络模型不需更新,以更新阈值th2判断网络模型是否需更新。
CN201710047829.0A 2017-01-20 2017-01-20 基于连续时空置信图和半监督极限学习机的目标追踪方法 Active CN106815576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710047829.0A CN106815576B (zh) 2017-01-20 2017-01-20 基于连续时空置信图和半监督极限学习机的目标追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710047829.0A CN106815576B (zh) 2017-01-20 2017-01-20 基于连续时空置信图和半监督极限学习机的目标追踪方法

Publications (2)

Publication Number Publication Date
CN106815576A true CN106815576A (zh) 2017-06-09
CN106815576B CN106815576B (zh) 2020-07-07

Family

ID=59111417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710047829.0A Active CN106815576B (zh) 2017-01-20 2017-01-20 基于连续时空置信图和半监督极限学习机的目标追踪方法

Country Status (1)

Country Link
CN (1) CN106815576B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423762A (zh) * 2017-07-26 2017-12-01 江南大学 基于流形正则化的半监督指纹定位算法
CN109255321A (zh) * 2018-09-03 2019-01-22 电子科技大学 一种结合历史与即时信息的视觉追踪分类器构建方法
CN110211104A (zh) * 2019-05-23 2019-09-06 复旦大学 一种用于肺部肿块计算机辅助检测的图像分析方法和***
CN110675382A (zh) * 2019-09-24 2020-01-10 中南大学 基于CNN-LapsELM的铝电解过热度识别方法
CN113378673A (zh) * 2021-05-31 2021-09-10 中国科学技术大学 一种基于一致性正则化的半监督脑电信号分类方法
CN113408984A (zh) * 2021-06-21 2021-09-17 北京思路智园科技有限公司 危化品运输追踪***及追踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8254633B1 (en) * 2009-04-21 2012-08-28 Videomining Corporation Method and system for finding correspondence between face camera views and behavior camera views
CN102663453A (zh) * 2012-05-03 2012-09-12 西安电子科技大学 基于第二代条带波变换和极速学习机的人体运动跟踪方法
CN103942749A (zh) * 2014-02-24 2014-07-23 西安电子科技大学 一种基于修正聚类假设和半监督极速学习机的高光谱地物分类方法
CN104992453A (zh) * 2015-07-14 2015-10-21 国家电网公司 基于极限学习机的复杂背景下目标跟踪方法
CN106296734A (zh) * 2016-08-05 2017-01-04 合肥工业大学 基于极限学习机和boosting多核学习的目标跟踪算法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8254633B1 (en) * 2009-04-21 2012-08-28 Videomining Corporation Method and system for finding correspondence between face camera views and behavior camera views
CN102663453A (zh) * 2012-05-03 2012-09-12 西安电子科技大学 基于第二代条带波变换和极速学习机的人体运动跟踪方法
CN103942749A (zh) * 2014-02-24 2014-07-23 西安电子科技大学 一种基于修正聚类假设和半监督极速学习机的高光谱地物分类方法
CN104992453A (zh) * 2015-07-14 2015-10-21 国家电网公司 基于极限学习机的复杂背景下目标跟踪方法
CN106296734A (zh) * 2016-08-05 2017-01-04 合肥工业大学 基于极限学习机和boosting多核学习的目标跟踪算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何传阳等: "基于智能监控的中小人群异常行为检测", 《计算机应用》 *
朱博等: "基于极限学习机(ELM)的视线落点估计方法", 《东北大学学报(自然科学版)》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423762A (zh) * 2017-07-26 2017-12-01 江南大学 基于流形正则化的半监督指纹定位算法
CN109255321A (zh) * 2018-09-03 2019-01-22 电子科技大学 一种结合历史与即时信息的视觉追踪分类器构建方法
CN109255321B (zh) * 2018-09-03 2021-12-10 电子科技大学 一种结合历史与即时信息的视觉追踪分类器构建方法
CN110211104A (zh) * 2019-05-23 2019-09-06 复旦大学 一种用于肺部肿块计算机辅助检测的图像分析方法和***
CN110211104B (zh) * 2019-05-23 2023-01-06 复旦大学 一种用于肺部肿块计算机辅助检测的图像分析方法和***
CN110675382A (zh) * 2019-09-24 2020-01-10 中南大学 基于CNN-LapsELM的铝电解过热度识别方法
CN113378673A (zh) * 2021-05-31 2021-09-10 中国科学技术大学 一种基于一致性正则化的半监督脑电信号分类方法
CN113378673B (zh) * 2021-05-31 2022-09-06 中国科学技术大学 一种基于一致性正则化的半监督脑电信号分类方法
CN113408984A (zh) * 2021-06-21 2021-09-17 北京思路智园科技有限公司 危化品运输追踪***及追踪方法
CN113408984B (zh) * 2021-06-21 2024-03-22 北京思路智园科技有限公司 危化品运输追踪***及追踪方法

Also Published As

Publication number Publication date
CN106815576B (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN106815576A (zh) 基于连续时空置信图和半监督极限学习机的目标追踪方法
CN106971152B (zh) 一种基于航拍图像的检测输电线路中鸟巢的方法
CN106997597B (zh) 一种基于有监督显著性检测的目标跟踪方法
CN109543606A (zh) 一种加入注意力机制的人脸识别方法
CN107506722A (zh) 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN102256065B (zh) 基于视频监控网络的视频自动浓缩方法
CN102722714B (zh) 基于目标跟踪的人工神经网络扩张式学习方法
CN108053419A (zh) 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN106650690A (zh) 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法
CN106778604A (zh) 基于匹配卷积神经网络的行人再识别方法
CN107025420A (zh) 视频中人体行为识别的方法和装置
CN103886325B (zh) 一种分块的循环矩阵视频跟踪方法
CN107341480A (zh) 一种改进型pccnn神经网络模型的人群聚集检测方法
CN110110649A (zh) 基于速度方向的可选择性人脸检测方法
CN104751466B (zh) 一种基于显著性的形变物体跟踪方法及其***
CN109740483A (zh) 一种基于深层神经网络的水稻生长期检测方法
CN107633226A (zh) 一种人体动作跟踪识别方法及***
CN108009493A (zh) 基于动作增强的人脸防欺骗识别方法
CN105825233B (zh) 一种基于在线学习随机蕨分类器的行人检测方法
CN107833241A (zh) 对环境光照变化具有鲁棒性的实时视觉目标检测方法
CN106611421A (zh) 基于特征学习和素描线段约束的sar图像分割方法
CN107895379A (zh) 一种视频监控中前景提取的改进算法
CN107067410A (zh) 一种基于增广样本的流形正则化相关滤波目标跟踪方法
CN109035300A (zh) 一种基于深度特征与平均峰值相关能量的目标跟踪方法
CN113139501B (zh) 一种联合局部区域检测与多级特征抓取的行人多属性识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant