CN103413120A - 基于物体整体性和局部性识别的跟踪方法 - Google Patents
基于物体整体性和局部性识别的跟踪方法 Download PDFInfo
- Publication number
- CN103413120A CN103413120A CN2013103174000A CN201310317400A CN103413120A CN 103413120 A CN103413120 A CN 103413120A CN 2013103174000 A CN2013103174000 A CN 2013103174000A CN 201310317400 A CN201310317400 A CN 201310317400A CN 103413120 A CN103413120 A CN 103413120A
- Authority
- CN
- China
- Prior art keywords
- frame
- super pixel
- feature
- weights
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 9
- 230000008929 regeneration Effects 0.000 claims description 7
- 238000011069 regeneration method Methods 0.000 claims description 7
- 238000011524 similarity measure Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract 4
- 239000003086 colorant Substances 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于物体整体性和局部性识别的跟踪方法,基于局部性信息的识别把各候选区域进行超像素分割,根据物体局部表征的特征,为超像素赋予不同的权值,提出加权相似度量,计算各候选目标区域置信度。基于整体性的识别将物体性度量引入到当前帧的目标物体检测部分,选取色彩、边缘和超像素作为物体性度量的三个线索,给出各自的评分规则,结合这三个线索和基于局部性信息的识别计算置信度对扩展区域中的所有候选目标区域进行评分,根据评分确定目标区域。本发明方法可以较好地描述动态变化的跟踪场景中的目标物体,结合物体性度量使目标区域更好收敛于目标物体,减少背景出现在目标区域中,增强了跟踪的准确率和稳定性。
Description
技术领域
本发明涉及计算机视觉领域,更具体地,涉及到一种基于物体整体性和局部性识别的跟踪方法。
背景技术
物体跟踪是计算机视觉领域的一个重要研究内容,近年来已引起人们的广泛关注,成为当前的研究热点。该技术具有广阔的应用前景,在多个领域起着重要作用,如安全监控、人机交互、医疗诊断和车辆流量监控等等。尽管人们已经提出了大量的物体跟踪方法,但在光照和物体外形变化较大或有严重遮挡的情况下,这些方法经常不能提供理想的跟踪结果,常无法追踪到目标物体。因此,提出一种有效的物体跟踪方法具有重要的应用价值和现实意义。
当前,虽然很多成功的物体跟踪算法已经被提出,但是要开发一个能处理复杂的、动态的场景的健壮算法仍然是一个具有挑战性的问题。因为光照发生变化、镜头发生移动、物体发生形变、目标物体发生部分或全部遮挡等等会导致场景的外观发生很大的变化。这些变化只能通过能够增量更新它们的表达的自适应方法进行处理。因此,能够不断学习的在线更新对跟踪物体表观的表达对于跟踪任务而言是很有必要的。基于局部性信息的识别把模板划分为若干部分,通过在线更新各部分的权值,根据各局部表征的相似度量,计算目标物体的位置。基于局部性信息的识别方法在目标物体发生局部遮挡或发生非刚性变化情况下的跟踪有不错的效果,然而,缺乏对目标物体整体性的识别,容易导致偏移和只识别目标物体的部分情况。
物体性度量在图像识别中广泛运用,以显著性、颜色、边缘和超像素等作为物体性度量的线索,并给出各自的评分规则,结合线索对感兴趣区域中所有检测窗口进行评分,根据评分确定最有可能覆盖目标的检测窗口。物体性度量使检测窗口能很好地收敛于标物体,既尽可能使检测窗口覆盖目标物体,又使得检测窗口中背景内容尽量少。
发明内容
为了克服现有技术的不足,本发明提出一种基于物体整体性和局部性识别的跟踪方法,该方法是在搜索机制中结合物体整体性和局部性识别,通过线性组合边缘密度、颜色对比度、超像素跨界程度和候选目标置信度,以其值确定目标区域位置,旨在增强搜索机制对确定目标区域的准确率和稳定性。
为了实现上述目的,本发明的技术方案为:
一种基于物体整体性和局部性识别的跟踪方法,包括以下步骤:
S1.跟踪前m帧图像,以第一帧目标区域为模板,计算新帧的候选目标区域与模板进行相似度量,以相似度最高的为新帧的目标区域,并记录每帧的目标区域;
S2.针对前m帧图像以其目标区域为中心向四周扩展得到扩展区域,超像素分割每个扩展区域,以超像素记录目标物体部件信息,作为物体的局部表征,提取各超像素的特征,并收集所有帧的特征构建特征池;
S3.基于特征池中的特征集来计算物体的局部表征的权值;
S4.设已完成前t帧图像的跟踪,t≥m,计算第t+1帧图像的扩展区域、候选目标区域、及其扩展区域内超像素的特征集,并根据特征池中与扩展区域内的超像素的相似度计算扩展区域内的物体局部表征的置信度;
S5.计算各候选目标区域的置信值、各候选目标区域边界附近的边缘密度、各候选目标区域与它直接相邻的包围区域的颜色对比度以及各候选目标区域的超像素跨界程度;
S6.结合候选目标区域置信值、边缘密度、颜色对比度和超像素跨界程度计算当前帧的目标区域;
S7.更新特征池的特征集;
S8.若满足更新物体局部表征的权值条件,根据更新后的特征池内的物体局部表征的权值,实现其权值的更新;
S9.执行程序结束判断,当跟踪完所有帧,则结束程序;否则,转到步骤S3进入下一帧图像的跟踪,直到完成整个视频图像序列的跟踪为止。
更进一步的,所述步骤S1中跟踪前m帧图像,计算其目标区域的具体实现方式为:
给定第一帧图像Frame1中目标区域,包括中心点和区域大小;基于前m帧目标表观变化小,以第一帧图像的目标区域为模板;
在上一帧目标区域周围随机采样,作为当前帧的候选目标区域;
计算新帧的候选目标区域与模板进行相似度量,相似度最高的为新帧的目标区域,如此迭代计算Frame2,……,Framem的目标区域,并记录各帧的目标区域。
更进一步的,所述步骤S2中的收集物体局部表征,构建局部表征特征池的具体实现为:
基于需要在目标区域周边范围采样作为候选目标区域,以目标区域为中心向四周扩展λ倍,λ为常量,为了保证扩展区域足够大,需覆盖各采样,得到扩展区域,并分别对m帧的扩展区域进行超像素分割成Ni个超像素sp(i,j),其中i=1,…,m,j=1,…,Ni;
把m帧特征集按先后跟踪顺序组织成用于计算物体局部表征的权值的特征池 ,并记录。
更进一步的,所述步骤S3中计算物体局部表征的权值包括通过均值聚类法对特征池中的特征聚类和计算各聚类权值两部分,用每个聚类代表特征相似的一类部件,并且用权值表示部件为目标部件的概率,根据特征池中的特征集信息,描述目标部件的超像素的权值比描述背景的超像素的权值大,具体实现如下:
设S+(k)为特征池中属于第k个聚类的部件覆盖在目标区域内的面积总和,S-(k)为特征池中属于第k个聚类的部件覆盖在目标区域外的面积总和,则聚类的权值表示为:
更进一步的,所述步骤S4中设已完成前t帧图像的跟踪,根据第t帧图像的目标区域计算第t+1帧图像的扩展区域,超像素分割各个扩展区域,并采样作为候选目标区域;其具体方法如下:
特征矢量分别与特征池中的特征矢量进行相似性比较,通过特征池中特征矢量与聚类的对应关系来确定第t+1帧的超像素与聚类之间的对应关系;从而,设λd常量,超像素sp(t+1,j)属于聚类clst(k),则与聚类中心特征矢量fc(k)的聚类权值为:,进而,超像素sp(t+1,j)的置信度为conf(t+1,j)=dist(j,k)×Ck,并记录超像素的置信度;
以第t帧目标区域为基础,通过把该目标区域框四周边界向外延伸和收缩,产生Mt+1个候选目标区域。
更进一步的,
所述步骤S5中计算各候选目标区域的置信值,具体方法如下:
给超像素中的每个像素成员都赋予该超像素的权值,所有在扩展区域外的像素点都赋予权值-1,得到了当前所有像素点的置信值,并且进一步得到当前帧的置信图;
把所有候选目标区域的置信值归一化到区间[0,1]中。
步骤S5中将物体性度量引入到方法中实现对目标区域对目标物体进行完整性覆盖,使得目标物体尽量包含在目标框中,其中物体性度量选择颜色、边缘和超像素作为物体性度量的三个线索。
所述步骤S5中计算各候选目标区域边界附近的边缘密度,其中边缘密度这一线索能够捕捉到物体具有封闭边缘这一特征,具体方法如下:
设Inn(u,w)为候选目标区域的检测窗口w的矩形环,二进制的边缘图IED(p)是用canny算子计算得到的,Len(.)为矩形环的周长,则边缘密度线索计算表示为:;由此式计算检测窗口的边缘密度评分值,评分值越高,检测窗口覆盖目标的可能性越大;
针对彩色图像进行跟踪,目标物体在颜色上往往会与背景有较大的差异,进而检测窗口与所包围矩形环之间的颜色差异,因此,颜色对比度在针对目标物体的物体性度量中也能发挥积极的作用,步骤S5中计算各候选目标区域与它直接相邻的包围区域的颜色对比度的具体实现方式为:
设候选目标区域的检测窗口w的包围区域Surr(w)是将检测窗口的宽和高按比例θ扩展的矩形;
将灰度图像量化为256个等级得到直方图;然后,设h(w)=[p1,p2,…,p256]为统计检测窗口的直方图,h(Surr(w))=[q1,q2,…,q256]为统计检测窗口的包围区域的直方图,使用检测窗口和其包围矩形环之间的颜色对比度二者之间的Chi-squanre距离来计算:CCu=X(h(w),通过计算可得到检测窗口的颜色对比度评分值;评分值越高,检测窗口覆盖目标物体的可能性就越大。
所述步骤S5中计算各候选目标区域的超像素跨界程度的具体实现方式为:
当超像素中的像素满足至少有一个在窗口中和至少一个在窗口外时,超像素跨界;
通过超像素跨界程度来衡量超像素跨界情况,设s为扩展区域内的超像素,|s\w|为超像素在检测窗口外的像素量,|s∩w|为超像素在检测窗口内的像素量,则超像素跨界程度为:;对于每个超像素s,其在检测窗口内的区域大小和在检测窗口外的区域大小,二者中的较小值表示了其横跨窗口w的程度和对上式中累加和的贡献程度,其中完全在窗口之内和完全在窗口之外的超像素对上式中的累加和的贡献为0;在检测窗口完全覆盖目标物体时,超像素跨界的评分值最大。
更进一步的,所述步骤S6中结合候选目标区域置信值、边缘密度、颜色对比度和超像素跨界程度计算当前帧的目标区域的具体实现方式如下:通过线性组合候选目标区域置信值、边缘密度、颜色对比度和超像素跨界程度求出每个候选目标区域是目标区域的可能性:Pu=α*Cu+β*EDu+θ*CCu+λ*SSu,根据Pu的计算结果,以其值最大者为第t+1帧的目标区域。
更进一步的,所述步骤S7中更新特征池的特征集的具体实现方式为:
针对更新特征池的特征集,提出目标发生严重遮挡和没有严重遮挡的处理策略。首先,定义了发生严重遮挡判断标准:设θo为遮挡阈值,当候选目标置信度小于θo与扩展区域的乘积。然后,执行目标发生严重遮挡和没有严重遮挡的处理策略:由于特征池中的特征集是按照先后跟踪顺序排列的,跟踪事件是在场景动态变化环境下发生的,所以需要学习跟踪时间相近的帧的知识,使得目标的最新表观得以识别。当没有严重遮挡时,以特征池中距离当前时间最久帧作为被替换帧,否则以特征池中距离当前时间最近第3帧作为被替换帧;最后,删除特征池中被替换帧的特征集,并把当前帧特征集加入特征池中,完成一次特征池更新。
更进一步的,所述步骤S8中执行利用更新后的特征池信息来计算特征池中的物体局部性表征的权值,实现其权值的更新,其具体实现方式为:
设定f跟踪帧为更新物体局部性表征的权值间隔,当满足更新物体局部表征的权值条件,即离上次更新已达f帧,利用更新后的特征池来计算物体局部性表征的权值;否则,忽略此步;
实现物体局部性表征的权值的更新,和计算物体局部性表征的权值的步骤相同:包括通过均值聚类法对特征池中的特征聚类和计算各聚类的权值两部分,用每个聚类代表特征相似的一类部件,并且用权值表示部件为目标部件的可能性,根据特征池中的信息,描述目标部件的超像素的权值比描述背景的超像素的权值大。
步骤S9中执行程序结束判断,当跟踪完所有帧,则结束程序;否则,转到步骤S3进入下一帧图像的跟踪,直到完成整个视频图像序列的跟踪为止。
这样既保留基本局部性信息识别方法在解决跟踪目标在形变畸变的难题上的优势,同时,物体性度量对在图像中检测窗口收敛于目标有较好的效果。搜索机制的优化提高跟踪过程中检测到目标的信息的准确率,同时更准确地物体局部性表征权值。
与现有技术相比,本发明的有益效果为:
1)中层视觉线索,能更有效地、灵活地表示图像结果信息。把目标中具有意义的、具有明显边界信息的目标部分割成众多的超像素,进而用超像素描述跟踪物体的部件,操作起来更直观。
2)对特征池中物体局部表征进行聚类,同一聚类内的超像素的权值相同,与直观中的同一物体部件的权值相同的概念一致,更具有可解析性。
3)结合物体整体性和局部性识别方法,通过线性组合边缘密度、颜色对比度、超像素跨界程度和候选目标置信度,以确定目标区域,旨在增强搜索机制对确定目标区域的准确率和稳定性。
附图说明
图1为本发明的方法执行步骤示意图。
图2为本发明和不结合物体性度量的基于物体局部性识别方法在跟踪图像序列“basketball”第261帧图时效果对比图。
图3为本发明和不结合物体性度量的基于物体局部性识别方法在跟踪图像序列“Diving”第135帧图时效果对比图。
图4为本发明和不结合物体性度量的基于物体局部性识别方法在跟踪图像序列“Gymnastics”第233帧图时效果对比图。
具体实施方式
下面结合附图对本发明做进一步的描述,但本发明的实施方式并不限于此。
发明的方法执行步骤示意图如附图1所示,具体包括如下步骤:
(1)简单跟踪前m(在本实施中m取7)帧图像阶段:首先,人为给定第一帧图像Frame1中目标区域(包括中心点和区域大小),以第一帧图像的目标区域为模板;然后,在上一帧目标区域周围随机采样,作为当前帧的候选目标区域;最后,计算新帧的候选目标区域与模板进行相似度量,相似度最高的为新帧的目标区域,如此迭代计算Frame2,……,Frame7的目标区域,并记录各帧的目标区域。
(2)构建特征池阶段:首先,基于需要在目标区域周边范围采样作为候选目标区域,以目标区域为中心向四周扩展λ倍得到扩展区域,并分别对7帧的扩展区域进行超像素分割成Ni个超像素sp(i,j)(i=1,…,7,j=1,…,Ni);然后,由于HSI彩色空间更接近人眼视觉状态,与人眼视觉对目标部件的理解一致,分别提取各帧的超像素的HSI色彩特征,用特征矢量表示,并且记录各超像素是否属于目标区域内;最后,把7帧特征集按先后跟踪顺序组织成用于计算物体局部表征的权值的特征池,并记录。
(3)计算特征池中物体局部表征的权值阶段:首先,根据均值聚类算法对特征池中的特征矢量聚类成n类clst(k)(k=1,…,n),用fc表示聚类中心特征矢量,rc(k)为在特征空间中聚类clst(k)的半径。然后,设S+(k)为特征池中属于第k个聚类的部件覆盖在目标区域内的面积总和,S-(k)为特征池中属于第k个聚类的部件覆盖在目标区域外的面积总和,则聚类的权值表示为:聚类中任意超像素的权值相同。
(4)计算扩展区域内超像素的置信度:假设已完成前t帧图像的跟踪,根据第t帧图像的目标区域计算第t+1帧图像的扩展区域,超像素分割各个扩展区域,并采样作为候选目标区域。具体方法如下:首先,对以第t帧的目标区域的中心点和大小在第t+1帧图像的扩展区域进行超像素分割,并提取各超像素的HSI特征,用特征矢量表示;然后,特征矢量分别与特征池中的特征矢量进行相似性比较,通过特征池中特征矢量与聚类的对应关系来确定第t+1帧的超像素与聚类之间的对应关系;从而,设λd常量,在本实施例中,λd取2,超像素sp(t+1,j)属于聚类clst(k),则与聚类中心特征矢量fc(k)的聚类权重为:,进而,超像素sp(t+1,j)的置信度为conf(t+1,j)=dist(j,k)×Ck,并记录超像素的置信度;最后,以第t帧目标区域为基础,通过把该目标区域框四周边界向外延伸和收缩,产生Mt+1个候选目标区域。
(5)计算候选目标区域的置信度阶段:首先,给超像素中的每个像素成员都赋予该超像素的置信值,而所有在扩展区域外的像素点都赋予置信值-1,这样,我们就得到了当前所有像素点的置信值,并且进一步得到了当前帧的置信图;然后,设代表候选目标区域所覆盖的区域,用V(i,j)代表在位置(i,j)的像素字啊置信图上的置信值,那么可以通过计算候选目标区域的置信度表示区域所覆盖的像素点集属于目标/背景的可能性:;最后,把所有候选目标区域的置信值归一化到区间[0,1]中。
(6)计算候选目标区域的边界附近的边缘密度阶段:设Inn(u,w)为候选目标区域的检测窗口w的矩形环,二进制的边缘图IED(p)是用canny算子计算得到的,Len(.)为矩形环的周长,则边缘密度线索计算表示为:。由此式可以计算检测窗口的边缘密度评分值,评分值越高,检测窗口覆盖目标的可能性越大。
(7)计算候选目标区域与它直接相邻的包围区域的颜色对比度阶段:设候选目标区域的检测窗口w的包围区域Surr(w)是将检测窗口的宽和高按比例θ扩展的矩形,在本实施例中,θ取0.3;首先,将灰度图像量化为256个等级得到直方图;然后,设h(w)=[p1,p2,…,p256]为统计检测窗口的直方图,h(Surr(w))=[q1,q2,…,q256]为统计检测窗口的包围区域的直方图,使用检测窗口和其包围矩形环之间的颜色对比度二者之间的Chi-squanre距离来计算:CCu=X(h(w),,通过计算可得到检测窗口的颜色对比度评分值,评分值越高,检测窗口覆盖目标物体的可能性就越大。
(8)计算候选目标区域的超像素跨界程度阶段:设s为扩展区域内的超像素,|s\w|为超像素在检测窗口外的像素量,|s∩w|为超像素在检测窗口内的像素量,则超像素跨界程度为:
(9)计算目标区域阶段:通过线性组合候选目标区域置信值、边缘密度、颜色对比度和超像素跨界程度求出每个候选目标区域是目标区域的可能性:Pu=α*Cu+β*EDu+θ*CCu+λ*SSu,根据Pu的计算结果,以其值最大者为第t+1帧的目标区域。
(10)更新特征池阶段:定义发生严重遮挡判断标准,设θo为遮挡阈值,当候选目标置信度小于θo与扩展区域的乘积时,判断为发生了严重遮挡。当没有严重遮挡时,删除特征池中距离当前时间最久帧的特征集,并把当前帧特征集加入特征池中,完成一次特征池更新。否则删除特征池中距离当前时间最近第3帧的特征集,并把当前帧特征集加入特征池中,完成一次特征池更新。
(11)更新特征池内的物体局部表征的权值阶段:设定f跟踪帧为更新物体局部性表征的权值间隔,在本实施例中,f取5,,当满足更新物体局部表征的权值条件,即离上次更新已达f帧,利用更新后的特征池来计算物体局部性表征的权值;否则,忽略此步。此处实现物体局部性表征的权值的更新,和初次计算物体局部性表征的权值的步骤一样:包括通过均值聚类法对特征池中的特征聚类和计算各聚类的权值两部分,用每个聚类代表特征相似的一类部件,并且用权值表示部件为目标部件的可能性,根据特征池中的信息,描述目标部件的超像素的权值比描述背景的超像素的权值大。
图2、3和4均为本发明和不结合物体性度量的基于局部性识别方法在跟踪图像序列的效果对比图。其中(a)和(b)分别表示扩展区域的置信度图和两种方法跟踪结果的对比。采用灰度图表示,图(a)中浅色(灰色)部分置信度小于0,该部分识别为背景;相反,深色(黑色)部分置信值大于0,该部分识别为跟踪目标;图(b)中实线(-)窗口为本发明的跟踪结果,而虚线(--)窗口为不结合物体性度量的基于物体局部性识别方法的跟踪结果。
如图2、3和4中所示,由于背景存在部分和目标相似部分,在训练过程中,单纯靠局部表征信息误把部分背景知识描述为前景,对这些背景赋予了较高的置信值,因此,纯粹的基于局部信息的方法通过计算出扩展区域的置信值图,并通过最大后验概率来寻找最佳的目标候选区域,这样由于建模误把背景描述为前景就导致目标窗口发生漂移。本发明结合描述整体信息的物体性度量和描述局部信息的局部表征度量方法,线性组合候选目标区域的置信值、候选目标区域的边界附近的边缘密度、候选目标区域与它直接相邻的包围区域的颜色对比度和候选目标区域的超像素跨界程度,进一步对目标区域边界、目标物体完整性(即边界的超像素的完整性)和目标和背景在颜色上的差异对比计算,使目标窗口收敛于跟踪目标,如图2-4(b)中实线窗口。
图2为对一般的平面中移动目标跟踪;图3为对复杂背景中移动目标跟踪;图4为对非刚性目标跟踪。
以上所述的本发明的实施方式,并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等,均应包含在本发明的权利要求保护范围之内。
Claims (9)
1.一种基于物体整体性和局部性识别的跟踪方法,其特征在于,包括以下步骤:
S1.跟踪前m帧图像,以第一帧目标区域为模板,计算新帧的候选目标区域与模板进行相似度量,以相似度最高的为新帧的目标区域,并记录每帧的目标区域;
S2.针对前m帧图像以其目标区域为中心向四周扩展得到扩展区域,超像素分割每个扩展区域,以超像素记录目标物体部件信息,作为物体的局部表征,提取各超像素的特征,并收集所有帧的特征构建特征池;
S3.基于特征池中的特征集来计算物体的局部表征的权值;
S4.设已完成前t帧图像的跟踪,t≥m,计算第t+1帧图像的扩展区域、候选目标区域、及其扩展区域内超像素的特征集,并根据特征池中与扩展区域内的超像素的相似度计算扩展区域内的物体局部表征的置信度;
S5.计算各候选目标区域的置信值、各候选目标区域边界附近的边缘密度、各候选目标区域与它直接相邻的包围区域的颜色对比度以及各候选目标区域的超像素跨界程度;
S6.结合候选目标区域置信值、边缘密度、颜色对比度和超像素跨界程度计算当前帧的目标区域;
S7.更新特征池的特征集;
S8.若满足更新物体局部表征的权值条件,根据更新后的特征池内的物体局部表征的权值,实现其权值的更新;
S9.执行程序结束判断,当跟踪完所有帧,则结束程序;否则,转到步骤S3进入下一帧图像的跟踪,直到完成整个视频图像序列的跟踪为止。
2.根据权利要求1所述的基于物体整体性和局部性识别的跟踪方法,其特征在于,所述步骤S1中跟踪前m帧图像,计算其目标区域的具体实现方式为:
给定第一帧图像Frame1中目标区域,包括中心点和区域大小;基于前m帧目标表观变化小,以第一帧图像的目标区域为模板;
在上一帧目标区域周围随机采样,作为当前帧的候选目标区域;
计算新帧的候选目标区域与模板进行相似度量,相似度最高的为新帧的目标区域,如此迭代计算Frame2,……,Framem的目标区域,并记录各帧的目标区域。
3.根据权利要求2所述的基于物体整体性和局部性识别的跟踪方法,其特征在于,所述步骤S2中的收集物体局部表征,构建局部表征特征池的具体实现为:
基于需要在目标区域周边范围采样作为候选目标区域,以目标区域为中心向四周扩展λ倍,λ为常量,得到扩展区域,并分别对m帧的扩展区域进行超像素分割成Ni个超像素sp(i,j),其中i=1,…,m,j=1,…,Ni;
提取各帧超像素的HSI色彩特征,用特征矢量fij表示,并且记录各超像素是否属于目标区域内;
把m帧特征集按先后跟踪顺序组织成用于计算物体局部表征的权值的特征池 ,并记录。
4.根据权利要求3所述的基于物体整体性和局部性识别的跟踪方法,其特征在于,所述步骤S3中计算物体局部表征的权值包括通过均值聚类法对特征池中的特征聚类和计算各聚类权值两部分,用每个聚类代表特征相似的一类部件,并且用权值表示部件为目标部件的概率,根据特征池中的特征集信息,描述目标部件的超像素的权值比描述背景的超像素的权值大,具体实现如下:
设S+(k)为特征池中属于第k个聚类的部件覆盖在目标区域内的面积总和,S-(k)为特征池中属于第k个聚类的部件覆盖在目标区域外的面积总和,则聚类的权值表示为:
5.根据权利要求4所述的基于物体整体性和局部性识别的跟踪方法,其特征在于,所述步骤S4中设已完成前t帧图像的跟踪,根据第t帧图像的目标区域计算第t+1帧图像的扩展区域,超像素分割各个扩展区域,并采样作为候选目标区域;其具体方法如下:
特征矢量分别与特征池中的特征矢量进行相似性比较,通过特征池中特征矢量与聚类的对应关系来确定第t+1帧的超像素与聚类之间的对应关系;从而,设λd常量,超像素sp(t+1,j)属于聚类clst(k),则与聚类中心特征矢量fc(k)的聚类权值为:,进而,超像素sp(t+1,j)的置信度为conf(t+1,j)=dist(j,k)×Ck,并记录超像素的置信度;
以第t帧目标区域为基础,通过把该目标区域框四周边界向外延伸和收缩,产生Mt+1个候选目标区域。
6.根据权利要求5所述的基于物体整体性和局部性识别的跟踪方法,其特征在于,
所述步骤S5中计算各候选目标区域的置信值,具体方法如下:
给超像素中的每个像素成员都赋予该超像素的权值,所有在扩展区域外的像素点都赋予权值-1,得到了当前所有像素点的置信值,并且进一步得到当前帧的置信图;
把所有候选目标区域的置信值归一化到区间[0,1]中;
所述步骤S5中计算各候选目标区域边界附近的边缘密度,其中边缘密度这一线索能够捕捉到物体具有封闭边缘这一特征,具体方法如下:
设Inn(u,w)为候选目标区域的检测窗口w的矩形环,二进制的边缘图IED(p)是用canny算子计算得到的,Len(.)为矩形环的周长,则边缘密度线索计算表示为:;由此式计算检测窗口的边缘密度评分值;
所述步骤S5中计算各候选目标区域与它直接相邻的包围区域的颜色对比度的具体实现方式为:
设候选目标区域的检测窗口w的包围区域Surr(w)是将检测窗口的宽和高按比例θ扩展的矩形;
将灰度图像量化为256个等级得到直方图;然后,设h(w)=[p1,p2,…,p256]为统计检测窗口的直方图,h(Surr(w))=[q1,q2,…,q256]为统计检测窗口的包围区域的直方图,使用检测窗口和其包围矩形环之间的颜色对比度二者之间的Chi-squanre距离来计算:CCu=X(h(w),通过计算可得到检测窗口的颜色对比度评分值;
所述步骤S5中计算各候选目标区域的超像素跨界程度的具体实现方式为:
当超像素中的像素满足至少有一个在窗口中和至少一个在窗口外时,超像素跨界;
8.根据权利要求7所述的基于物体整体性和局部性识别的跟踪方法,其特征在于,所述步骤S7中更新特征池的特征集的具体实现方式为:
判断目标是否发生严重遮挡,当发生严重遮挡时,学习跟踪时间相近的帧的知识,使得目标的最新表观得以识别,否则以特征池中距离当前时间最近第3帧作为被替换帧;
删除特征池中被替换帧的特征集,并把当前帧特征集加入特征池中,完成一次特征池更新;
所述发生严重遮挡具体是指:设θo为遮挡阈值,当候选目标置信度小于θo与扩展区域的乘积。
9.根据权利要求8所述的基于物体整体性和局部性识别的跟踪方法,其特征在于,所述步骤S8中执行利用更新后的特征池信息来计算特征池中的物体局部性表征的权值,实现其权值的更新,其具体实现方式为:
设定f跟踪帧为更新物体局部性表征的权值间隔,当满足更新物体局部表征的权值条件,即离上次更新已达f帧,利用更新后的特征池来计算物体局部性表征的权值;否则,忽略此步;
实现物体局部性表征的权值的更新,和计算物体局部性表征的权值的步骤相同:包括通过均值聚类法对特征池中的特征聚类和计算各聚类的权值两部分,用每个聚类代表特征相似的一类部件,并且用权值表示部件为目标部件的可能性,根据特征池中的信息,描述目标部件的超像素的权值比描述背景的超像素的权值大。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310317400.0A CN103413120B (zh) | 2013-07-25 | 2013-07-25 | 基于物体整体性和局部性识别的跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310317400.0A CN103413120B (zh) | 2013-07-25 | 2013-07-25 | 基于物体整体性和局部性识别的跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103413120A true CN103413120A (zh) | 2013-11-27 |
CN103413120B CN103413120B (zh) | 2016-07-20 |
Family
ID=49606129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310317400.0A Expired - Fee Related CN103413120B (zh) | 2013-07-25 | 2013-07-25 | 基于物体整体性和局部性识别的跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103413120B (zh) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104298968A (zh) * | 2014-09-25 | 2015-01-21 | 电子科技大学 | 一种基于超像素的复杂场景下的目标跟踪方法 |
CN104517116A (zh) * | 2013-09-30 | 2015-04-15 | 北京三星通信技术研究有限公司 | 在图像中确定目标区域的装置和方法 |
CN105654505A (zh) * | 2015-12-18 | 2016-06-08 | 中山大学 | 一种基于超像素的协同跟踪算法和*** |
CN105989367A (zh) * | 2015-02-04 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 目标获取方法及设备 |
CN106355604A (zh) * | 2016-08-22 | 2017-01-25 | 湖南挚新科技发展有限公司 | 图像目标跟踪方法与*** |
CN103824079B (zh) * | 2014-02-08 | 2017-02-01 | 重庆市国土资源和房屋勘测规划院 | 基于多层次模式子块划分的图像分类方法 |
CN106373144A (zh) * | 2016-08-22 | 2017-02-01 | 湖南挚新科技发展有限公司 | 图像目标相对位置确定方法与*** |
CN106846400A (zh) * | 2015-12-04 | 2017-06-13 | 南京大学 | 一种结合窗口评分与超像素组合的物***置预估方法 |
CN106997597A (zh) * | 2017-03-22 | 2017-08-01 | 南京大学 | 一种基于有监督显著性检测的目标跟踪方法 |
CN107229917A (zh) * | 2017-05-31 | 2017-10-03 | 北京师范大学 | 一种基于迭代聚类的多幅遥感影像共性显著目标检测方法 |
CN107403437A (zh) * | 2016-05-19 | 2017-11-28 | 上海慧流云计算科技有限公司 | 机器人跟踪物体的方法、装置及机器人 |
CN107564035A (zh) * | 2017-07-31 | 2018-01-09 | 华南农业大学 | 基于重要区域识别和匹配的视频跟踪方法 |
CN107590154A (zh) * | 2016-07-08 | 2018-01-16 | 阿里巴巴集团控股有限公司 | 基于图像识别的物体相似度判定方法和装置 |
CN107809583A (zh) * | 2017-10-25 | 2018-03-16 | 努比亚技术有限公司 | 拍照处理方法、移动终端及计算机可读存储介质 |
CN108122237A (zh) * | 2017-12-25 | 2018-06-05 | 北京中科慧眼科技有限公司 | 一种基于超像素生成的行车环境图像分割方法与装置 |
CN108427919A (zh) * | 2018-02-22 | 2018-08-21 | 北京航空航天大学 | 一种基于形状引导显著性模型的无监督油罐目标检测方法 |
WO2018153319A1 (zh) * | 2017-02-23 | 2018-08-30 | 北京市商汤科技开发有限公司 | 物体检测方法、神经网络的训练方法、装置和电子设备 |
CN108596957A (zh) * | 2018-04-26 | 2018-09-28 | 北京小米移动软件有限公司 | 物体跟踪方法及装置 |
WO2018201444A1 (en) * | 2017-05-05 | 2018-11-08 | Boe Technology Group Co., Ltd. | Method for detecting and tracking target object, target object tracking apparatus, and computer-program product |
CN108830219A (zh) * | 2018-06-15 | 2018-11-16 | 北京小米移动软件有限公司 | 基于人机交互的目标跟踪方法、装置及存储介质 |
US10249046B2 (en) * | 2014-05-28 | 2019-04-02 | Interdigital Ce Patent Holdings | Method and apparatus for object tracking and segmentation via background tracking |
CN109711445A (zh) * | 2018-12-18 | 2019-05-03 | 绍兴文理学院 | 目标跟踪分类器在线训练样本的超像素中智相似加权方法 |
CN113436201A (zh) * | 2021-05-26 | 2021-09-24 | 清华大学 | 物品指纹区域选取方法及装置 |
CN113837171A (zh) * | 2021-11-26 | 2021-12-24 | 成都数之联科技有限公司 | 候选区域提取方法及***及装置及介质及目标检测方法 |
CN114113198A (zh) * | 2020-09-01 | 2022-03-01 | 中国石油化工股份有限公司 | 用于测试岩石流体包裹体均一温度的方法及*** |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101308607A (zh) * | 2008-06-25 | 2008-11-19 | 河海大学 | 基于视频的混合交通环境下移动目标多特征融合跟踪方法 |
CN101533474A (zh) * | 2008-03-12 | 2009-09-16 | 三星电子株式会社 | 基于视频图像的字符和图像识别***和方法 |
CN102637253A (zh) * | 2011-12-30 | 2012-08-15 | 清华大学 | 基于视觉显著性和超像素分割的视频前景目标提取方法 |
US20120275703A1 (en) * | 2011-04-27 | 2012-11-01 | Xutao Lv | Superpixel segmentation methods and systems |
CN102831439A (zh) * | 2012-08-15 | 2012-12-19 | 深圳先进技术研究院 | 手势跟踪方法及*** |
CN102930539A (zh) * | 2012-10-25 | 2013-02-13 | 江苏物联网研究发展中心 | 基于动态图匹配的目标跟踪方法 |
CN103035001A (zh) * | 2012-12-06 | 2013-04-10 | 中国科学院自动化研究所 | 一种基于超像素分割的地基云自动检测方法 |
CN103164858A (zh) * | 2013-03-20 | 2013-06-19 | 浙江大学 | 基于超像素和图模型的粘连人群分割与跟踪方法 |
-
2013
- 2013-07-25 CN CN201310317400.0A patent/CN103413120B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101533474A (zh) * | 2008-03-12 | 2009-09-16 | 三星电子株式会社 | 基于视频图像的字符和图像识别***和方法 |
CN101308607A (zh) * | 2008-06-25 | 2008-11-19 | 河海大学 | 基于视频的混合交通环境下移动目标多特征融合跟踪方法 |
US20120275703A1 (en) * | 2011-04-27 | 2012-11-01 | Xutao Lv | Superpixel segmentation methods and systems |
CN102637253A (zh) * | 2011-12-30 | 2012-08-15 | 清华大学 | 基于视觉显著性和超像素分割的视频前景目标提取方法 |
CN102831439A (zh) * | 2012-08-15 | 2012-12-19 | 深圳先进技术研究院 | 手势跟踪方法及*** |
CN102930539A (zh) * | 2012-10-25 | 2013-02-13 | 江苏物联网研究发展中心 | 基于动态图匹配的目标跟踪方法 |
CN103035001A (zh) * | 2012-12-06 | 2013-04-10 | 中国科学院自动化研究所 | 一种基于超像素分割的地基云自动检测方法 |
CN103164858A (zh) * | 2013-03-20 | 2013-06-19 | 浙江大学 | 基于超像素和图模型的粘连人群分割与跟踪方法 |
Non-Patent Citations (1)
Title |
---|
XUEJUN GU ETAL: "Implementation and evaluation of various demons deformable image registration algorithms on GPU", 《PHYSICS IN MEDICINE AND BIOLOGY》, vol. 55, no. 1, 7 January 2010 (2010-01-07), pages 207 - 19, XP020167068 * |
Cited By (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104517116A (zh) * | 2013-09-30 | 2015-04-15 | 北京三星通信技术研究有限公司 | 在图像中确定目标区域的装置和方法 |
CN103824079B (zh) * | 2014-02-08 | 2017-02-01 | 重庆市国土资源和房屋勘测规划院 | 基于多层次模式子块划分的图像分类方法 |
US10249046B2 (en) * | 2014-05-28 | 2019-04-02 | Interdigital Ce Patent Holdings | Method and apparatus for object tracking and segmentation via background tracking |
CN104298968B (zh) * | 2014-09-25 | 2017-10-31 | 电子科技大学 | 一种基于超像素的复杂场景下的目标跟踪方法 |
CN104298968A (zh) * | 2014-09-25 | 2015-01-21 | 电子科技大学 | 一种基于超像素的复杂场景下的目标跟踪方法 |
CN105989367A (zh) * | 2015-02-04 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 目标获取方法及设备 |
CN105989367B (zh) * | 2015-02-04 | 2019-06-28 | 阿里巴巴集团控股有限公司 | 目标获取方法及设备 |
CN106846400B (zh) * | 2015-12-04 | 2020-06-16 | 南京大学 | 一种结合窗口评分与超像素组合的物***置预估方法 |
CN106846400A (zh) * | 2015-12-04 | 2017-06-13 | 南京大学 | 一种结合窗口评分与超像素组合的物***置预估方法 |
CN105654505B (zh) * | 2015-12-18 | 2018-06-26 | 中山大学 | 一种基于超像素的协同跟踪算法和*** |
CN105654505A (zh) * | 2015-12-18 | 2016-06-08 | 中山大学 | 一种基于超像素的协同跟踪算法和*** |
CN107403437A (zh) * | 2016-05-19 | 2017-11-28 | 上海慧流云计算科技有限公司 | 机器人跟踪物体的方法、装置及机器人 |
CN107590154B (zh) * | 2016-07-08 | 2021-03-02 | 阿里巴巴集团控股有限公司 | 基于图像识别的物体相似度判定方法和装置 |
CN107590154A (zh) * | 2016-07-08 | 2018-01-16 | 阿里巴巴集团控股有限公司 | 基于图像识别的物体相似度判定方法和装置 |
CN106355604A (zh) * | 2016-08-22 | 2017-01-25 | 湖南挚新科技发展有限公司 | 图像目标跟踪方法与*** |
CN106355604B (zh) * | 2016-08-22 | 2019-10-18 | 杭州保新科技有限公司 | 图像目标跟踪方法与*** |
CN106373144A (zh) * | 2016-08-22 | 2017-02-01 | 湖南挚新科技发展有限公司 | 图像目标相对位置确定方法与*** |
US11321593B2 (en) | 2017-02-23 | 2022-05-03 | Beijing Sensetime Technology Development Co., Ltd | Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device |
WO2018153319A1 (zh) * | 2017-02-23 | 2018-08-30 | 北京市商汤科技开发有限公司 | 物体检测方法、神经网络的训练方法、装置和电子设备 |
CN106997597A (zh) * | 2017-03-22 | 2017-08-01 | 南京大学 | 一种基于有监督显著性检测的目标跟踪方法 |
CN106997597B (zh) * | 2017-03-22 | 2019-06-25 | 南京大学 | 一种基于有监督显著性检测的目标跟踪方法 |
WO2018201444A1 (en) * | 2017-05-05 | 2018-11-08 | Boe Technology Group Co., Ltd. | Method for detecting and tracking target object, target object tracking apparatus, and computer-program product |
US10896495B2 (en) | 2017-05-05 | 2021-01-19 | Boe Technology Group Co., Ltd. | Method for detecting and tracking target object, target object tracking apparatus, and computer-program product |
CN109791615B (zh) * | 2017-05-05 | 2023-07-28 | 京东方科技集团股份有限公司 | 用于检测并跟踪目标对象的方法、目标对象跟踪设备和计算机程序产品 |
CN109791615A (zh) * | 2017-05-05 | 2019-05-21 | 京东方科技集团股份有限公司 | 用于检测并跟踪目标对象的方法、目标对象跟踪设备和计算机程序产品 |
CN107229917B (zh) * | 2017-05-31 | 2019-10-15 | 北京师范大学 | 一种基于迭代聚类的多幅遥感影像共性显著目标检测方法 |
CN107229917A (zh) * | 2017-05-31 | 2017-10-03 | 北京师范大学 | 一种基于迭代聚类的多幅遥感影像共性显著目标检测方法 |
CN107564035B (zh) * | 2017-07-31 | 2020-10-09 | 华南农业大学 | 基于重要区域识别和匹配的视频跟踪方法 |
CN107564035A (zh) * | 2017-07-31 | 2018-01-09 | 华南农业大学 | 基于重要区域识别和匹配的视频跟踪方法 |
CN107809583A (zh) * | 2017-10-25 | 2018-03-16 | 努比亚技术有限公司 | 拍照处理方法、移动终端及计算机可读存储介质 |
CN108122237A (zh) * | 2017-12-25 | 2018-06-05 | 北京中科慧眼科技有限公司 | 一种基于超像素生成的行车环境图像分割方法与装置 |
CN108427919B (zh) * | 2018-02-22 | 2021-09-28 | 北京航空航天大学 | 一种基于形状引导显著性模型的无监督油罐目标检测方法 |
CN108427919A (zh) * | 2018-02-22 | 2018-08-21 | 北京航空航天大学 | 一种基于形状引导显著性模型的无监督油罐目标检测方法 |
CN108596957A (zh) * | 2018-04-26 | 2018-09-28 | 北京小米移动软件有限公司 | 物体跟踪方法及装置 |
CN108830219B (zh) * | 2018-06-15 | 2022-03-18 | 北京小米移动软件有限公司 | 基于人机交互的目标跟踪方法、装置及存储介质 |
CN108830219A (zh) * | 2018-06-15 | 2018-11-16 | 北京小米移动软件有限公司 | 基于人机交互的目标跟踪方法、装置及存储介质 |
CN109711445B (zh) * | 2018-12-18 | 2020-10-16 | 绍兴文理学院 | 目标跟踪分类器在线训练样本的超像素中智相似加权方法 |
CN109711445A (zh) * | 2018-12-18 | 2019-05-03 | 绍兴文理学院 | 目标跟踪分类器在线训练样本的超像素中智相似加权方法 |
CN114113198A (zh) * | 2020-09-01 | 2022-03-01 | 中国石油化工股份有限公司 | 用于测试岩石流体包裹体均一温度的方法及*** |
CN113436201A (zh) * | 2021-05-26 | 2021-09-24 | 清华大学 | 物品指纹区域选取方法及装置 |
CN113436201B (zh) * | 2021-05-26 | 2023-01-06 | 清华大学 | 物品指纹区域选取方法及装置 |
CN113837171A (zh) * | 2021-11-26 | 2021-12-24 | 成都数之联科技有限公司 | 候选区域提取方法及***及装置及介质及目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103413120B (zh) | 2016-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103413120B (zh) | 基于物体整体性和局部性识别的跟踪方法 | |
CN102324025B (zh) | 基于高斯肤色模型和特征分析的人脸检测与跟踪方法 | |
CN102289948B (zh) | 高速公路场景下一种多特征融合的多车辆视频跟踪方法 | |
CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
CN109145708B (zh) | 一种基于rgb和d信息融合的人流量统计方法 | |
CN102214309B (zh) | 一种基于头肩模型的特定人体识别方法 | |
CN109087328A (zh) | 基于计算机视觉的羽毛球落点位置预测方法 | |
CN103020992B (zh) | 一种基于运动颜色关联的视频图像显著性检测方法 | |
CN105046206B (zh) | 基于视频中运动先验信息的行人检测方法及装置 | |
CN103049751A (zh) | 一种改进的加权区域匹配高空视频行人识别方法 | |
CN105512618B (zh) | 视频跟踪方法 | |
CN104715238A (zh) | 一种基于多特征融合的行人检测方法 | |
CN103413303A (zh) | 基于联合显著性的红外目标分割方法 | |
CN103035013A (zh) | 一种基于多特征融合的精确运动阴影检测方法 | |
CN107564035B (zh) | 基于重要区域识别和匹配的视频跟踪方法 | |
CN109919053A (zh) | 一种基于监控视频的深度学习车辆停车检测方法 | |
CN106780727B (zh) | 一种车头检测模型重建方法及装置 | |
Li et al. | Automatic detection technology of sports athletes based on image recognition technology | |
CN103413323B (zh) | 基于部件级表观模型的物体跟踪方法 | |
CN103577832B (zh) | 一种基于时空上下文的人流量统计方法 | |
CN109359549A (zh) | 一种基于混合高斯和hog_lbp的行人检测方法 | |
CN103106409A (zh) | 一种针对头肩检测的混合特征提取方法 | |
CN107230219A (zh) | 一种单目机器人上的目标人发现与跟随方法 | |
CN104809742A (zh) | 一种复杂场景下的物品安全检测方法 | |
CN104766316A (zh) | 中医望诊中新型嘴唇分割算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160720 |
|
CF01 | Termination of patent right due to non-payment of annual fee |