CN106097385A - 一种目标跟踪的方法和装置 - Google Patents
一种目标跟踪的方法和装置 Download PDFInfo
- Publication number
- CN106097385A CN106097385A CN201610377828.8A CN201610377828A CN106097385A CN 106097385 A CN106097385 A CN 106097385A CN 201610377828 A CN201610377828 A CN 201610377828A CN 106097385 A CN106097385 A CN 106097385A
- Authority
- CN
- China
- Prior art keywords
- image
- tracking
- similarity
- target
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种目标跟踪的方法和装置,涉及图像处理技术领域,旨在解决目标跟踪的准确性和可靠性较低的问题。该目标跟踪的方法包括:判断整体相似度是否小于预设的整体相似度阈值;若整体相似度小于预设的整体相似度阈值,在当前图像帧中获取候选跟踪框;判断第一前景相似度是否小于预设的前景相似度阈值;若第一前景相似度大于或等于预设的前景相似度阈值,将候选跟踪框内视频图像的整体特征作为跟踪目标图像的整体特征;将候选跟踪框内视频图像的前景特征作为跟踪目标图像的前景特征。本发明提供的目标跟踪的方法和装置用于目标跟踪过程中。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种目标跟踪的方法和装置。
背景技术
目标跟踪是一项融合图像处理、模式识别、人工智能及自动控制等多种不同技术的综合性应用技术,广泛应用于各种领域中。目标跟踪是指对图像序列中的运动目标或是特征单一的物体进行检测、识别和跟踪,通过获取跟踪目标的位置、速度等参数或是目标的形状和颜色等特征,对其进一步处理,得到跟踪目标的具体信息,从而实现对跟踪目标的准确跟踪。在进行目标跟踪过程中,由于跟踪目标的变化、外界光线的变化以及障碍物的遮挡等因素,目标跟踪效果较差,当跟踪目标丢失后,很难实现跟踪目标的再匹配。
目前,在本领域中,往往对跟踪目标所在的跟踪框中的整体图像提取特征,根据提取到的特征进行目标跟踪。但是,在一些背景复杂的场景中,随着跟踪目标的不断移动,跟踪目标所在的跟踪框中的背景图像可能会发生剧烈变化,或者,跟踪目标可能会被其他物体遮挡,利用上述情况中提取的跟踪框中的图像的特征对跟踪目标的特征进行更新,由于不能准确判断背景变化情况以及跟踪目标被遮挡的具体部分,导致更新后的跟踪目标的特征不准确,从而导致目标跟踪的准确性和可靠性较低。
发明内容
本发明的目的在于提供一种目标跟踪的方法和装置,用于提高目标跟踪的准确性和可靠性。
为了实现上述目的,本发明提供如下技术方案:
一方面,本发明提供了一种目标跟踪的方法,包括:
判断整体相似度是否小于预设的整体相似度阈值,所述整体相似度为当前图像帧中预设跟踪框内视频图像的整体特征与跟踪目标图像的整体特征之间的相似度;
若所述整体相似度小于预设的整体相似度阈值,在当前图像帧中获取候选跟踪框,所述候选跟踪框内视频图像的前景特征与所述跟踪目标图像的前景特征之间的相似度最高,或者所述候选跟踪框内视频图像的整体特征与所述跟踪目标图像的整体特征之间的相似度最高;
判断第一前景相似度是否小于预设的前景相似度阈值,所述第一前景相似度为所述候选跟踪框内视频图像的前景特征与所述跟踪目标图像的前景特征之间的相似度;
若所述第一前景相似度大于或等于预设的前景相似度阈值,将所述候选跟踪框内视频图像的整体特征作为所述跟踪目标图像的整体特征;
将所述候选跟踪框内视频图像的前景特征作为所述跟踪目标图像的前景特征。
另一方面,本发明提供了一种目标跟踪的装置,包括:
第一判断模块,用于判断整体相似度是否小于预设的整体相似度阈值,所述整体相似度为当前图像帧中预设跟踪框内视频图像的整体特征与跟踪目标图像的整体特征之间的相似度;
第一获取模块,用于当所述整体相似度小于预设的整体相似度阈值时,在当前图像帧中获取候选跟踪框,所述候选跟踪框内视频图像的前景特征与所述跟踪目标图像的前景特征之间的相似度最高,或者所述候选跟踪框内视频图像的整体特征与所述跟踪目标图像的整体特征之间的相似度最高;
第二判断模块,用于判断第一前景相似度是否小于预设的前景相似度阈值,所述第一前景相似度为所述候选跟踪框内视频图像的前景特征与所述跟踪目标图像的前景特征之间的相似度;
第一更新模块,用于当所述第一前景相似度大于或等于预设的前景相似度阈值时,将所述候选跟踪框内视频图像的整体特征作为所述跟踪目标图像的整体特征;
第二更新模块,用于将所述候选跟踪框内视频图像的前景特征作为所述跟踪目标图像的前景特征。
本发明提供的目标跟踪的方法和装置中,根据整体相似度与预设的整体相似度的对比,以及第一前景相似度与预设的前景相似度阈值的对比,决定是否进行跟踪目标图像的整体特征的更新以及前景特征的更新。与在跟踪框中的视频图像发生剧烈变化时依然利用跟踪框中的图像的特征进行更新的现有技术相比,本发明中当整体相似度小于整体相似阈值时,表示预设跟踪框中的视频图像较跟踪目标图像变化较大,需要重新搜索跟踪目标,利用前景特征的相似度,得到候选跟踪框,当第一前景相似度大于或等于预设的前景相似度阈值时,确定候选跟踪框中的跟踪目标与跟踪目标图像对应的跟踪目标为相同目标,可以将候选跟踪框内视频图像的整体特征和前景特征作为跟踪目标图像的整体特征和前景特征,从而避免错误的跟踪目标图像的整体特征和前景特征的更新,通过利用跟踪目标图像的整体特征和前景特征进行目标跟踪,提高了目标跟踪的准确性和可靠性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实施例中目标跟踪的方法的流程图之一;
图2为本发明实施例中图像帧的举例示意图;
图3为与图2对应的前景图像的举例示意图;
图4为本发明实施例中目标跟踪的方法的流程图之二;
图5为本发明实施例中目标跟踪的方法的流程图之三;
图6为本发明实施例中目标跟踪的方法的流程图之四;
图7为本发明实施例中目标跟踪的方法的流程图之五;
图8为本发明实施例中目标跟踪的方法的流程图之六;
图9为本发明实施例中目标跟踪的装置的结构示意图之一;
图10为本发明实施例中目标跟踪的装置的结构示意图之二;
图11为本发明实施例中目标跟踪的装置的结构示意图之三;
图12为本发明实施例中目标跟踪的装置的结构示意图之四;
图13为本发明实施例中目标跟踪的装置的结构示意图之五。
具体实施方式
为了进一步说明本发明实施例提供的目标跟踪的方法和装置,下面结合说明书附图进行详细描述。
在本发明实施例提供的目标跟踪的方法,应用于终端设备,示例的,应用于智能交通领域的目标车辆跟踪、社区内的目标人物跟踪或者视频录像中的目标跟踪等,可以对单一跟踪目标进行跟踪,也可以对多个跟踪目标进行跟踪。本发明的执行主体包括但不限于智能手机、台式电脑、智能电视、笔记本电脑、平板电脑、监控器等终端设备。
请参阅图1,本发明实施例提供的目标跟踪的方法包括:
步骤101,判断整体相似度是否小于预设的整体相似度阈值。整体相似度为当前图像帧中预设跟踪框内视频图像的整体特征与跟踪目标图像的整体特征之间的相似度,整体相似度越高,证明当前图像帧中预设跟踪框内视频图像的整体图像与跟踪目标图像的整体图像越相似。预设跟踪框为终端设备在当前图像帧预设的搜索范围内与跟踪目标图像的整体特征的相似度最高的视频图像所在的跟踪框,或者预设跟踪框为终端设备在当前图像帧预设的搜索范围内与跟踪目标图像的前景特征的相似度最高的视频图像所在的跟踪框。其中,可以检测得到当前图像帧的搜索范围内的目标人物,将目标人物所在的跟踪框中的图像的整体特征与跟踪目标图像的整体特征进行比对,将整体特征的相似度最高的目标人物所在的跟踪框作为预设跟踪框,或者将目标人物所在的跟踪框中的图像的前景特征与跟踪目标图像的前景特征进行比对,将前景特征的相似度最高的目标人物所在的跟踪框作为预设跟踪框。搜索范围可以根据跟踪目标的移动速度设定,比如,以跟踪目标图像所在的跟踪框的位置为中心,以r为半径得到的圆为搜索区域,r可以根据跟踪目标的移动速度设定。跟踪目标图像是在目标跟踪过程中的跟踪目标的图像,目标跟踪图像会在目标跟踪过程中进行多次更新,每次更新后的目标跟踪图像会替换掉原来的目标跟踪图像。
其中,可以利用巴氏(Bhattacharyya)距离公式来计算相似度,巴氏距离公式为其中,s(x,x')为相似度,N为图像的特征以向量集合的形式表示时的向量的个数,f(x)为最近一次更新的图像帧的跟踪框中的图像的特征(包括整体特征或前景特征),f(x')为当前图像帧的跟踪框中的图像的特征(包括整体特征或前景特征),上述巴氏距离公式可以用于计算整体相似度,以及后续出现的第一前景相似度和第二前景相似度。值得一提的是,整体相似阈值的具体数值可以根据具体工作场景设定,在此并不限定
跟踪框中的视频图像既包括前景图像,也包括背景图像,前景图像主要指跟踪框中被跟踪的运动物体的图像,比如,图像中去除背景图像后的一个或多个人物。前景特征为根据前景图像提取出的特征,整体特征为根据跟踪框中的视频图像的整体图像提取出的特征,前景特征和整体特征具体可以用向量集合来表示,进行整体特征和前景特征的提取可以采用方向梯度直方图(Histogram of Oriented Gradient,HOG)特征提取方法、局部二值模式(Local Binary Pattern,LBP)特征提取方法以及颜色直方图特征提取方法等。值得一提的是,预设跟踪框以及后续提到的候选跟踪框均为跟踪框,预设跟踪框以及候选跟踪框内的视频图像的前景特征提取和整体特征提取的方法与下面介绍的跟踪框内的前景特征提取方法一致。具体的,可以将图像帧的跟踪框中的视频图像分为N1块,获取N1块中每一块对应的整体子特征,将N1块分别对应的整体子特征的合集作为图像帧内视频图像的整体特征,N1为正整数;将图像帧的跟踪框内视频图像的前景图像分为N2块,获取N2块中每一块对应的前景子特征,将N2块分别对应的前景子特征的合集作为前景特征,N2为正整数。由于前景图像为跟踪框内的视频图像除去背景图像得到的,因此对前景图像分块的块数N2较少,要少于跟踪框内视频图像分块的块数N1,即N1>N2。
具体实施过程中,可以对当前图像帧的跟踪框可以利用背景建模的方式,将图像帧的前景图像和背景图像分割开来,便于对整体特征和前景特征的提取。比如,构建背景模型,背景模型的尺寸和图像帧的视频图像的大小是一致的,具体对背景模型中的每一个像素进行建模,背景模型中每一个像素的对应位置都存储有多个历史图像帧中的像素值,可以用B1(xi)={B1(xi),…,Bk(xi),…,BM(xi)}表示,像素值可以是该像素位置对应的像素值,也可以是该像素位置的四邻域的位置对应的像素值,构建的背景模型的像素值也会按照一定的更新频率更新。可以利用公式#{dist(I(xi),Bk(xi))<R(xi)}<#min来进行背景像素和前景像素的区分,其中,I(xi)为当前图像帧中某一位置的像素值,Bk(xi)为已构建的背景模型中的某一个像素的像素值,R(xi)为差异阈值,dist表示计算差异度,差异度表示对比的两个对象不同的程度,差异度越高,对比的两个对象差别越大,#min为预设的像素匹配个数阈值,#表示计算像素个数,满足公式#{dist(I(xi),Bk(xi))<R(xi)}<#min的像素值对应的像素为前景像素,不满足公式#{dist(I(xi),Bk(xi))<R(xi)}<#min的像素值对应的像素为背景像素。根据前景像素和背景像素,从而得到背景图像和前景图像,比如,如图2所示的图像帧的视频图像以及图3中白色部分所示的前景图像。
步骤102,若整体相似度小于预设的整体相似度阈值,在当前图像帧中获取候选跟踪框。其中,候选跟踪框内视频图像的前景特征与跟踪目标图像的前景特征之间的相似度最高,或者候选跟踪框内视频图像的整体特征与跟踪目标图像的整体特征之间的相似度最高。整体相似度小于整体相似度阈值,表示当前图像帧中的预设跟踪框中的视频图像与跟踪目标图像相比变化较大,需要选取与跟踪目标图像更加相似的候选跟踪框,由于跟踪目标有可能离开了搜索范围,为了保证能够在当前图像帧重新匹配到跟踪目标,提高目标跟踪的准确性,在扩大搜索范围内获取候选跟踪框,扩大搜索范围的面积大于搜索区域,且包含搜索区域。其中,可以检测得到当前图像帧的扩大搜索范围内的目标人物,将目标人物所在的跟踪框中的图像的整体特征与跟踪目标图像的整体特征进行比对,将整体特征的相似度最高的目标人物所在的跟踪框作为候选跟踪框,或者将目标人物所在的跟踪框中的图像的前景特征与跟踪目标图像的前景特征进行比对,将前景特征的相似度最高的目标人物所在的跟踪框作为候选跟踪框。
步骤103,判断第一前景相似度是否小于预设的前景相似度阈值。其中,第一前景相似度为候选跟踪框内视频图像的前景特征与跟踪目标图像的前景特征之间的相似度,第一前景相似度也可以利用巴氏距离公式计算。需要说明的是,前景相似度阈值的具体数值可以根据具体工作场景进行设定,在此并不限定。
步骤104,若第一前景相似度大于或等于预设的前景相似度阈值,将候选跟踪框内视频图像的整体特征作为跟踪目标图像的整体特征。当第一前景相似度大于或等于预设的前景相似度阈值时,认为候选跟踪框内视频图像为跟踪目标图像,因此需要对跟踪目标图像重新进行特征初始化,即将当前图像帧候选跟踪框内视频图像的整体特征直接作为跟踪目标图像更新后的整体特征。
步骤105,将候选跟踪框内视频图像的前景特征作为跟踪目标图像的前景特征。在第一前景相似度大于或等于预设的前景相似度阈值时,将候选跟踪框内视频图像的前景特征作为跟踪目标图像的前景特征。需要说明的是,步骤105可以和将候选跟踪框内视频图像的整体特征作为跟踪目标图像的整体特征的步骤同时执行,也可以先后执行,具体执行时序在这里并不限定。
本发明提供的目标跟踪的方法中,根据整体相似度与预设的整体相似度的对比,以及第一前景相似度与预设的前景相似度阈值的对比,决定是否进行跟踪目标图像的整体特征的更新以及前景特征的更新。与在跟踪框中的视频图像发生剧烈变化时依然利用跟踪框中的图像的特征进行更新的现有技术相比,本发明中当整体相似度小于整体相似阈值时,表示预设跟踪框中的视频图像较跟踪目标图像变化较大,需要重新搜索跟踪目标,利用前景特征的相似度,得到候选跟踪框,当第一前景相似度大于或等于预设的前景相似度阈值时,确定候选跟踪框中的跟踪目标与跟踪目标图像对应的跟踪目标为相同目标,可以将候选跟踪框内视频图像的整体特征和前景特征作为跟踪目标图像的整体特征和前景特征,从而避免错误的跟踪目标图像的整体特征和前景特征的更新,通过利用跟踪目标图像的整体特征和前景特征进行目标跟踪,提高了目标跟踪的准确性和可靠性。
请参阅图4,为了能够使跟踪目标图像的前景特征更新更加准确,还可以在上述步骤105之前增添步骤106,具体内容如下:
步骤106,若第一前景相似度大于或等于预设的前景相似度阈值,判断第一前景图像比例是否大于或等于预设的第一比例阈值。其中,第一前景图像比例为候选跟踪框内视频图像的前景图像的面积占候选跟踪框内视频图像的面积的比例。当第一前景图像比例大于或等于预设的第一比例阈值时,才执行上述步骤105,从而进一步提高目标跟踪的准确性和可靠性。
由于在图像帧的跟踪框中,占跟踪框内视频图形的面积的比例过小的前景图像在前景特征的更新过程中会产生些许影响,可能会降低前景特征更新的准确性,因此在前景图像的面积占候选跟踪框内视频图像的面积的比例大至不会降低前景特征更新的准确性时,才进行前景特征的更新,即在第一前景图像比例大于或等于预设的第一比例阈值时,将候选跟踪框内视频图像的前景特征作为跟踪目标图像的前景特征,进一步提高前景特征更新的准确性和可靠性。
需要说明的是,步骤106可以和上述步骤104同时执行,或在步骤104之后执行,在此并不限定。
请参阅图5,当整体相似度大于或等于预设的整体相似度阈值时,还可以在步骤103之后增添步骤107-步骤109,具体内容如下:
步骤107,若整体相似度大于或等于预设的整体相似度阈值,判断预设跟踪框内视频图像中的跟踪目标被遮挡面积是否小于预设遮挡面积阈值。整体相似度大于或等于预设的整体相似度阈值,表示当前图像帧的预设跟踪框内视频图像与跟踪目标图像相比,变化并不大,可以利用当前图像帧的预设跟踪框内的视频图像的整体特征更新跟踪目标图像的整体特征。由于如果跟踪目标被遮挡面积较大时,会影响前景特征的更新,更新的前景特征的准确率较低,因此需要判断预设跟踪框内视频图像中的跟踪目标被遮挡面积是否小于预设遮挡面积阈值,从而决定是否需要更新跟踪目标图像的前景特征。具体的,可以用像素数目来表示跟踪目标被遮挡的面积、遮挡面积阈值,遮挡面积阈值的具体数值可以根据具体工作场景设定,在此并不限定。
步骤108,若预设跟踪框内视频图像中的跟踪目标被遮挡面积小于预设遮挡面积阈值,获取第二前景相似度,保证在预设跟踪框内视频图像中的跟踪目标被遮挡现象不严重的前提下,获取更新跟踪目标图像的前景特征所需的第二前景相似度。其中,第二前景相似度为预设跟踪框内视频图像的前景特征与跟踪目标图像的前景特征之间的相似度。
步骤109,根据整体相似度和预设跟踪框内视频图像的整体特征,更新跟踪目标图像的整体特征,以及根据第二前景相似度和预设跟踪框内视频图像的前景特征,更新跟踪目标图像的前景特征。需要说明的是,根据整体相似度和预设跟踪框内视频图像的整体特征,更新跟踪目标图像的整体特征在步骤109中执行只是本实施例中的一种可能,根据整体相似度和预设跟踪框内视频图像的整体特征,更新跟踪目标图像的整体特征的流程也可以在步骤107中确定整体相似度大于或等于预设的整体相似度阈值时执行。
请参阅图6,为了能够使跟踪目标图像的前景特征更新更加准确,还可以在上述步骤108之前增添步骤110,具体内容如下:
步骤110,若预设跟踪框内视频图像中的跟踪目标被遮挡面积小于预设的遮挡面积阈值,则判断第二前景图像比例是否大于或等于预设的第二比例阈值。其中,第二前景图像比例为预设跟踪框内视频图像的前景图像的面积占预设跟踪框内视频图像的面积的比例。当第二前景图像比例大于或等于预设第二比例阈值时,执行上述步骤108中的获取第二前景相似度的流程。
由于在图像帧的跟踪框中,占跟踪框内视频图形的面积的比例过小的前景图像在前景特征的更新过程中会产生些许影响,可能会降低前景特征更新的准确性,因此在前景图像的面积占候选跟踪框内视频图像的面积的比例大至不会降低前景特征更新的准确性时,才进行前景特征的更新,即在第二前景图像比例大于或等于预设的第二比例阈值时,根据第二前景相似度和预设跟踪框内视频图像的前景特征,更新跟踪目标图像的前景特征,进一步提高前景特征更新的准确性和可靠性。
请参阅图7,上述步骤109可以具体细化为步骤1091-步骤1093,具体内容如下:
步骤1091,根据公式得到第一更新比重u。其中,s为整体相似度,Δt为当前图像帧与上次更新跟踪目标图像的整体特征对应的图像帧之间的间隔帧数,本发明实施例中并不一定每一帧图像帧都进行更新,只有在满足上述实施例中的特定条件后,才对整体特征和前景特征进行更新。
步骤1092,根据公式得到第二更新比重u',其中,s'为第二前景相似度,Δt为当前图像帧与上次更新的跟踪目标图像的前景特征对应的图像帧之间的间隔帧数,关于Δt的说明可以参见步骤1091的相关说明,在此不再赘述。
步骤1093,根据第一更新比重和预设跟踪框内视频图像的整体特征,更新跟踪目标图像的整体特征,以及根据第二更新比重和预设跟踪框内视频图像的前景特征,更新跟踪目标图像的前景特征。具体的,可以利用根据公式更新跟踪目标图像的整体特征,其中,为预设跟踪框内视频图像的整体特征,为上次更新的跟踪目标图像的整体特征,为本次更新后的跟踪目标图像的整体特征。可以利用根据公式更新跟踪目标图像的前景特征,其中,为预设跟踪框内视频图像的前景特征,为上次更新的跟踪目标图像的前景特征,为本次更新后的跟踪目标图像的前景特征。
需要说明的是,在多目标跟踪的场景中,图像帧中往往存在多个跟踪目标,多个跟踪目标之间可能会相互遮挡,整体相似度阈值包括遮挡整体阈值和非遮挡整体阈值,其中,遮挡整体阈值大于非遮挡整体阈值,需要检测当前图像帧的预设跟踪框内的跟踪目标与任意另一其他跟踪目标的重合面积是否大于或等于预设的重合面积阈值;若当前图像帧的预设跟踪框内的跟踪目标与任意另一其他跟踪目标的重合面积大于或等于预设的重合面积阈值,则将遮挡整体阈值作为预设的整体相似度阈值;若当前图像帧的预设跟踪框内的跟踪目标与任意另一其他跟踪目标的重合面积小于预设的重合面积阈值,则将非遮挡整体阈值作为预设的整体相似度阈值。即设整体相似阈值为p,遮挡整体阈值为p1,非遮挡整体阈值为p2,p1>p2;当前图像帧的跟踪框中的跟踪目标与任意另一跟踪目标的重合面积大于或等于预设的重合面积阈值,p=p1;当前图像帧的跟踪框中的跟踪目标与任意另一跟踪目标的重合面积小于预设的重合面积阈值,p=p2。
请参阅图8,在对一段视频图像进行目标跟踪时,需要对第一帧图像帧中的跟踪目标图像的整体特征和前景特征进行初始化,在上述步骤101之前还可以增添步骤110,具体内容如下:
步骤110,接收用户对初始图像帧的目标选取指令,并根据目标选取指令,选定跟踪目标,获取跟踪目标所在的跟踪框内视频图像的整体特征和前景特征。在初始图像帧中,需要用户选定在这一段视频图像中的跟踪目标,用户可以通过按钮、触屏等方式发出目标选取指令,终端设备接收用户的目标选取指令,选定跟踪目标,选定跟踪目标后,可以得到跟踪目标在第一帧视频图像中的跟踪框,跟踪框的尺寸略大于跟踪目标,能够将跟踪目标圈在跟踪框内,再获取跟踪目标所在的跟踪框内视频图像的整体特征和前景特征,作为初始的跟踪目标图像的整体特征和前景特征。
请参阅图9,本发明实施例提供了一种目标跟踪的装置200,包括:
第一判断模块201,用于判断整体相似度是否小于预设的整体相似度阈值,整体相似度为当前图像帧中预设跟踪框内视频图像的整体特征与跟踪目标图像的整体特征之间的相似度;
第一获取模块202,用于当整体相似度小于预设的整体相似度阈值时,在当前图像帧中获取候选跟踪框,候选跟踪框内视频图像的前景特征与跟踪目标图像的前景特征之间的相似度最高,或者候选跟踪框内视频图像的整体特征与跟踪目标图像的整体特征之间的相似度最高;
第二判断模块203,用于判断第一前景相似度是否小于预设的前景相似度阈值,第一前景相似度为候选跟踪框内视频图像的前景特征与跟踪目标图像的前景特征之间的相似度;
第一更新模块204,用于当第一前景相似度大于或等于预设的前景相似度阈值时,将候选跟踪框内视频图像的整体特征作为跟踪目标图像的整体特征;
第二更新模块205,用于将候选跟踪框内视频图像的前景特征作为跟踪目标图像的前景特征。
本发明提供的目标跟踪的装置200中,根据整体相似度与预设的整体相似度的对比,以及第一前景相似度与预设的前景相似度阈值的对比,决定是否进行跟踪目标图像的整体特征的更新以及前景特征的更新。与在跟踪框中的视频图像发生剧烈变化时依然利用跟踪框中的图像的特征进行更新的现有技术相比,本发明中当整体相似度小于整体相似阈值时,表示预设跟踪框中的视频图像较跟踪目标图像变化较大,需要重新搜索跟踪目标,利用前景特征的相似度,得到候选跟踪框,当第一前景相似度大于或等于预设的前景相似度阈值时,确定候选跟踪框中的跟踪目标与跟踪目标图像对应的跟踪目标为相同目标,可以将候选跟踪框内视频图像的整体特征和前景特征作为跟踪目标图像的整体特征和前景特征,从而避免错误的跟踪目标图像的整体特征和前景图像的更新,提高了利用跟踪目标图像的整体特征和前景特征进行目标跟踪的准确性和可靠性。
请参阅图10,上述实施例中的目标跟踪的装置200还包括第三判断模块206,第三判断模块206用于当第一前景相似度大于或等于预设的前景相似度阈值时,判断第一前景图像比例是否大于或等于预设的第一比例阈值,第一前景图像比例为候选跟踪框内视频图像的前景图像的面积占候选跟踪框内视频图像的面积的比例。
且第二更新模块205具体用于当第一前景图像比例大于或等于预设的第一比例阈值时,将候选跟踪框内视频图像的前景特征作为跟踪目标图像的前景特征。
请参阅图11,上述实施例中的目标跟踪的装置200还包括:
第四判断模块207,用于当整体相似度大于或等于预设的整体相似度阈值时,判断预设跟踪框内视频图像中的跟踪目标被遮挡面积是否小于预设遮挡面积阈值;
第二获取模块208,用于当预设跟踪框内视频图像中的跟踪目标被遮挡面积小于预设遮挡面积阈值时,获取第二前景相似度,第二前景相似度为预设跟踪框内视频图像的前景特征与跟踪目标图像的前景特征之间的相似度;
第三更新模块209,用于根据整体相似度和预设跟踪框内视频图像的整体特征,更新跟踪目标图像的整体特征,以及根据第二前景相似度和预设跟踪框内视频图像的前景特征,更新跟踪目标图像的前景特征。
请参阅图12,上述实施例中的目标跟踪的装置200还包括第五判断模块210,第五判断模块210用于当预设跟踪框内视频图像中的跟踪目标被遮挡面积小于预设的遮挡面积阈值时,判断第二前景图像比例是否大于或等于预设的第二比例阈值,第二前景图像比例为预设跟踪框内视频图像的前景图像的面积占预设跟踪框内视频图像的面积的比例。
上述第二获取模块208具体用于当第二前景图像比例大于或等于预设第二比例阈值时,获取第二前景相似度。
需要说明的是,上述第三更新模块209具体用于根据公式得到第一更新比重u,其中,s为整体相似度,Δt为当前图像帧与上次更新跟踪目标图像的整体特征对应的图像帧之间的间隔帧数;以及用于根据公式得到第二更新比重u',其中,s'为第二前景相似度,Δt为当前图像帧与上次更新跟踪目标图像的前景特征对应的图像帧之间的间隔帧数;以及用于根据第一更新比重和预设跟踪框内视频图像的整体特征,更新跟踪目标图像的整体特征,以及根据第二更新比重和预设跟踪框内视频图像的前景特征,更新跟踪目标图像的前景特征。
请参阅图13,当前图像帧中存在多个跟踪目标时,上述实施例中的目标跟踪的装置200还包括:
检测模块211,用于检测当前图像帧的预设跟踪框内的跟踪目标与任意另一其他跟踪目标的重合面积是否大于或等于预设的重合面积阈值;
第一确定模块212,用于当当前图像帧的预设跟踪框内的跟踪目标与任意另一其他跟踪目标的重合面积大于或等于预设的重合面积阈值时,将遮挡整体阈值作为预设的整体相似度阈值;
第二确定模块213,用于当当前图像帧的预设跟踪框内的跟踪目标与任意另一其他跟踪目标的重合面积小于预设的重合面积阈值时,将非遮挡整体阈值作为预设的整体相似度阈值,其中,遮挡整体阈值大于非遮挡整体阈值。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。对于目标跟踪的装置的实施例而言,由于其基本相似于目标跟踪的方法的实施例,所以描述得比较简单,相关之处参见目标跟踪的方法的实施例的部分说明即可。
在上述实施方式的描述中,具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (13)
1.一种目标跟踪的方法,其特征在于,包括:
判断整体相似度是否小于预设的整体相似度阈值,所述整体相似度为当前图像帧中预设跟踪框内视频图像的整体特征与跟踪目标图像的整体特征之间的相似度;
若所述整体相似度小于预设的整体相似度阈值,在当前图像帧中获取候选跟踪框,所述候选跟踪框内视频图像的前景特征与所述跟踪目标图像的前景特征之间的相似度最高,或者所述候选跟踪框内视频图像的整体特征与所述跟踪目标图像的整体特征之间的相似度最高;
判断第一前景相似度是否小于预设的前景相似度阈值,所述第一前景相似度为所述候选跟踪框内视频图像的前景特征与所述跟踪目标图像的前景特征之间的相似度;
若所述第一前景相似度大于或等于预设的前景相似度阈值,将所述候选跟踪框内视频图像的整体特征作为所述跟踪目标图像的整体特征;
将所述候选跟踪框内视频图像的前景特征作为所述跟踪目标图像的前景特征。
2.根据权利要求1所述的目标跟踪的方法,其特征在于,在所述将所述候选跟踪框内视频图像的前景特征作为所述跟踪目标图像的前景特征之前,还包括:
若所述第一前景相似度大于或等于预设的前景相似度阈值,判断第一前景图像比例是否大于或等于预设的第一比例阈值,所述第一前景图像比例为所述候选跟踪框内视频图像的前景图像的面积占所述候选跟踪框内视频图像的面积的比例;
若所述第一前景图像比例大于或等于预设的第一比例阈值,则执行所述将所述候选跟踪框内视频图像的前景特征作为所述跟踪目标图像的前景特征的步骤。
3.根据权利要求1所述的目标跟踪的方法,其特征在于,所述判断当前图像帧中预设跟踪框内的整体特征与跟踪目标图像的整体特征之间的整体相似度是否小于预设整体相似度阈值之后,还包括:
若所述整体相似度大于或等于预设的整体相似度阈值,判断所述预设跟踪框内视频图像中的跟踪目标被遮挡面积是否小于预设遮挡面积阈值;
若所述预设跟踪框内视频图像中的跟踪目标被遮挡面积小于预设遮挡面积阈值,获取第二前景相似度,所述第二前景相似度为所述预设跟踪框内视频图像的前景特征与所述跟踪目标图像的前景特征之间的相似度;
根据所述整体相似度和所述预设跟踪框内视频图像的整体特征,更新所述跟踪目标图像的整体特征,以及根据所述第二前景相似度和所述预设跟踪框内视频图像的前景特征,更新所述跟踪目标图像的前景特征。
4.根据权利要求3所述的目标跟踪的方法,其特征在于,在所述获取第二前景相似度之前,还包括:
若所述预设跟踪框内视频图像中的跟踪目标被遮挡面积小于预设的遮挡面积阈值,则判断第二前景图像比例是否大于或等于预设的第二比例阈值,所述第二前景图像比例为所述预设跟踪框内视频图像的前景图像的面积占所述预设跟踪框内视频图像的面积的比例;
若所述第二前景图像比例大于或等于预设第二比例阈值,执行获取所述第二前景相似度的步骤。
5.根据权利要求3或4所述的目标跟踪的方法,其特征在于,所述根据所述整体相似度和所述预设跟踪框内视频图像的整体特征,更新所述跟踪目标图像的整体特征,以及根据所述第二前景相似度和所述预设跟踪框内视频图像的前景特征,更新所述跟踪目标图像的前景特征,包括:
根据公式得到第一更新比重u,其中,s为所述整体相似度,Δt为当前图像帧与上次更新所述跟踪目标图像的整体特征对应的图像帧之间的间隔帧数;
根据公式得到第二更新比重u',其中,s'为所述第二前景相似度,Δt为当前图像帧与上次更新所述跟踪目标图像的前景特征对应的图像帧之间的间隔帧数;
根据所述第一更新比重和所述预设跟踪框内视频图像的整体特征,更新所述跟踪目标图像的整体特征,以及根据所述第二更新比重和所述预设跟踪框内视频图像的前景特征,更新所述跟踪目标图像的前景特征。
6.根据权利要求1-5中任一项所述的目标跟踪的方法,其特征在于,还包括:
接收用户对初始图像帧的目标选取指令,并根据所述目标选取指令,选定跟踪目标,获取所述跟踪目标所在的跟踪框内视频图像的整体特征和前景特征。
7.根据权利要求1所述的目标跟踪的方法,其特征在于,当前图像帧中存在多个跟踪目标时;
在检测所述整体相似度是否大于或等于预设的整体相似阈值之前,还包括:
检测当前图像帧的预设跟踪框内的跟踪目标与任意另一其他跟踪目标的重合面积是否大于或等于预设的重合面积阈值;
若当前图像帧的预设跟踪框内的跟踪目标与任意另一其他跟踪目标的重合面积大于或等于预设的重合面积阈值,则将遮挡整体阈值作为预设的整体相似度阈值;
若当前图像帧的预设跟踪框内的跟踪目标与任意另一其他跟踪目标的重合面积小于预设的重合面积阈值,则将非遮挡整体阈值作为预设的整体相似度阈值,其中,所述遮挡整体阈值大于所述非遮挡整体阈值。
8.一种目标跟踪的装置,其特征在于,包括:
第一判断模块,用于判断整体相似度是否小于预设的整体相似度阈值,所述整体相似度为当前图像帧中预设跟踪框内视频图像的整体特征与跟踪目标图像的整体特征之间的相似度;
第一获取模块,用于当所述整体相似度小于预设的整体相似度阈值时,在当前图像帧中获取候选跟踪框,所述候选跟踪框内视频图像的前景特征与所述跟踪目标图像的前景特征之间的相似度最高,或者所述候选跟踪框内视频图像的整体特征与所述跟踪目标图像的整体特征之间的相似度最高;
第二判断模块,用于判断第一前景相似度是否小于预设的前景相似度阈值,所述第一前景相似度为所述候选跟踪框内视频图像的前景特征与所述跟踪目标图像的前景特征之间的相似度;
第一更新模块,用于当所述第一前景相似度大于或等于预设的前景相似度阈值时,将所述候选跟踪框内视频图像的整体特征作为所述跟踪目标图像的整体特征;
第二更新模块,用于将所述候选跟踪框内视频图像的前景特征作为所述跟踪目标图像的前景特征。
9.根据权利要求8所述的目标跟踪的装置,其特征在于,还包括:
第三判断模块,用于当所述第一前景相似度大于或等于预设的前景相似度阈值时,判断第一前景图像比例是否大于或等于预设的第一比例阈值,所述第一前景图像比例为所述候选跟踪框内视频图像的前景图像的面积占所述候选跟踪框内视频图像的面积的比例;
第二更新模块具体用于当所述第一前景图像比例大于或等于预设的第一比例阈值时,将所述候选跟踪框内视频图像的前景特征作为所述跟踪目标图像的前景特征。
10.根据权利要求8所述的目标跟踪的装置,其特征在于,还包括:
第四判断模块,用于当所述整体相似度大于或等于预设的整体相似度阈值时,判断所述预设跟踪框内视频图像中的跟踪目标被遮挡面积是否小于预设遮挡面积阈值;
第二获取模块,用于当所述预设跟踪框内视频图像中的跟踪目标被遮挡面积小于预设遮挡面积阈值时,获取第二前景相似度,所述第二前景相似度为所述预设跟踪框内视频图像的前景特征与所述跟踪目标图像的前景特征之间的相似度;
第三更新模块,用于根据所述整体相似度和所述预设跟踪框内视频图像的整体特征,更新所述跟踪目标图像的整体特征,以及根据所述第二前景相似度和所述预设跟踪框内视频图像的前景特征,更新所述跟踪目标图像的前景特征。
11.根据权利要求10所述的目标跟踪的装置,其特征在于,还包括:
第五判断模块,用于当所述预设跟踪框内视频图像中的跟踪目标被遮挡面积小于预设的遮挡面积阈值时,判断第二前景图像比例是否大于或等于预设的第二比例阈值,所述第二前景图像比例为所述预设跟踪框内视频图像的前景图像的面积占所述预设跟踪框内视频图像的面积的比例;
所述第二获取模块具体用于当所述第二前景图像比例大于或等于预设第二比例阈值时,获取所述第二前景相似度。
12.根据权利要求10或11所述的目标跟踪的装置,其特征在于,所述第三更新模块具体用于:
根据公式得到第一更新比重u,其中,s为所述整体相似度,Δt为当前图像帧与上次更新所述跟踪目标图像的整体特征对应的图像帧之间的间隔帧数;
根据公式得到第二更新比重u',其中,s'为所述第二前景相似度,Δt为当前图像帧与上次更新所述跟踪目标图像的前景特征对应的图像帧之间的间隔帧数;
根据所述第一更新比重和所述预设跟踪框内视频图像的整体特征,更新所述跟踪目标图像的整体特征,以及根据所述第二更新比重和所述预设跟踪框内视频图像的前景特征,更新所述跟踪目标图像的前景特征。
13.根据权利要求8所述的目标跟踪的装置,其特征在于,当前图像帧中存在多个跟踪目标;所述目标跟踪的装置还包括:
检测模块,用于检测当前图像帧的预设跟踪框内的跟踪目标与任意另一其他跟踪目标的重合面积是否大于或等于预设的重合面积阈值;
第一确定模块,用于当当前图像帧的预设跟踪框内的跟踪目标与任意另一其他跟踪目标的重合面积大于或等于预设的重合面积阈值时,将遮挡整体阈值作为预设的整体相似度阈值;
第二确定模块,用于当当前图像帧的预设跟踪框内的跟踪目标与任意另一其他跟踪目标的重合面积小于预设的重合面积阈值时,将非遮挡整体阈值作为预设的整体相似度阈值,其中,所述遮挡整体阈值大于所述非遮挡整体阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610377828.8A CN106097385B (zh) | 2016-05-31 | 2016-05-31 | 一种目标跟踪的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610377828.8A CN106097385B (zh) | 2016-05-31 | 2016-05-31 | 一种目标跟踪的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106097385A true CN106097385A (zh) | 2016-11-09 |
CN106097385B CN106097385B (zh) | 2019-03-05 |
Family
ID=57230554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610377828.8A Active CN106097385B (zh) | 2016-05-31 | 2016-05-31 | 一种目标跟踪的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106097385B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107316322A (zh) * | 2017-06-27 | 2017-11-03 | 上海智臻智能网络科技股份有限公司 | 视频跟踪方法和装置、以及对象识别方法和装置 |
CN107992839A (zh) * | 2017-12-12 | 2018-05-04 | 北京小米移动软件有限公司 | 人物跟踪方法、装置及可读存储介质 |
WO2018121287A1 (zh) * | 2016-12-30 | 2018-07-05 | 纳恩博(北京)科技有限公司 | 目标再识别方法和装置 |
CN109460077A (zh) * | 2018-11-19 | 2019-03-12 | 深圳博为教育科技有限公司 | 一种自动跟踪方法、自动跟踪设备及自动跟踪*** |
CN109800667A (zh) * | 2018-12-28 | 2019-05-24 | 广州烽火众智数字技术有限公司 | 一种行人跟踪方法和*** |
CN111260929A (zh) * | 2018-11-30 | 2020-06-09 | 西安宇视信息科技有限公司 | 车辆跟踪异常检测方法及装置 |
CN111626990A (zh) * | 2020-05-06 | 2020-09-04 | 北京字节跳动网络技术有限公司 | 目标检测框处理方法、装置及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090141940A1 (en) * | 2007-12-03 | 2009-06-04 | Digitalsmiths Corporation | Integrated Systems and Methods For Video-Based Object Modeling, Recognition, and Tracking |
CN101493944A (zh) * | 2009-03-06 | 2009-07-29 | 北京中星微电子有限公司 | 一种运动目标检测与跟踪的方法和*** |
US20110222727A1 (en) * | 2010-03-10 | 2011-09-15 | Vinay Sharma | Object Localization Using Tracked Object Trajectories |
CN103489199A (zh) * | 2012-06-13 | 2014-01-01 | 通号通信信息集团有限公司 | 视频图像目标跟踪处理方法和*** |
CN105139417A (zh) * | 2015-07-27 | 2015-12-09 | 河海大学 | 视频监控下的多目标实时跟踪方法 |
-
2016
- 2016-05-31 CN CN201610377828.8A patent/CN106097385B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090141940A1 (en) * | 2007-12-03 | 2009-06-04 | Digitalsmiths Corporation | Integrated Systems and Methods For Video-Based Object Modeling, Recognition, and Tracking |
CN101493944A (zh) * | 2009-03-06 | 2009-07-29 | 北京中星微电子有限公司 | 一种运动目标检测与跟踪的方法和*** |
US20110222727A1 (en) * | 2010-03-10 | 2011-09-15 | Vinay Sharma | Object Localization Using Tracked Object Trajectories |
CN103489199A (zh) * | 2012-06-13 | 2014-01-01 | 通号通信信息集团有限公司 | 视频图像目标跟踪处理方法和*** |
CN105139417A (zh) * | 2015-07-27 | 2015-12-09 | 河海大学 | 视频监控下的多目标实时跟踪方法 |
Non-Patent Citations (4)
Title |
---|
BO YANG 等: "Online Learned discriminative Part-Based Appearance Models for Multi-human Tracking", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 * |
GUANG SHU 等: "Part-based Multiple-Person Tracking with Partial Occlusion Handling", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
唐继勇 等: "融合梯度和色度信息的分块均值漂移目标跟踪", 《电讯技术》 * |
张丹: "多帧样本模板更新的视频图像运动目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018121287A1 (zh) * | 2016-12-30 | 2018-07-05 | 纳恩博(北京)科技有限公司 | 目标再识别方法和装置 |
CN108268823A (zh) * | 2016-12-30 | 2018-07-10 | 纳恩博(北京)科技有限公司 | 目标再识别方法和装置 |
CN108268823B (zh) * | 2016-12-30 | 2021-07-20 | 纳恩博(北京)科技有限公司 | 目标再识别方法和装置 |
CN107316322A (zh) * | 2017-06-27 | 2017-11-03 | 上海智臻智能网络科技股份有限公司 | 视频跟踪方法和装置、以及对象识别方法和装置 |
US10726562B2 (en) | 2017-06-27 | 2020-07-28 | Shanghai Xiaoi Robot Technology Co., Ltd. | Video tracking method and device, and object recognition method and device |
CN107992839A (zh) * | 2017-12-12 | 2018-05-04 | 北京小米移动软件有限公司 | 人物跟踪方法、装置及可读存储介质 |
CN109460077A (zh) * | 2018-11-19 | 2019-03-12 | 深圳博为教育科技有限公司 | 一种自动跟踪方法、自动跟踪设备及自动跟踪*** |
CN109460077B (zh) * | 2018-11-19 | 2022-05-17 | 深圳博为教育科技有限公司 | 一种自动跟踪方法、自动跟踪设备及自动跟踪*** |
CN111260929A (zh) * | 2018-11-30 | 2020-06-09 | 西安宇视信息科技有限公司 | 车辆跟踪异常检测方法及装置 |
CN109800667A (zh) * | 2018-12-28 | 2019-05-24 | 广州烽火众智数字技术有限公司 | 一种行人跟踪方法和*** |
CN111626990A (zh) * | 2020-05-06 | 2020-09-04 | 北京字节跳动网络技术有限公司 | 目标检测框处理方法、装置及电子设备 |
CN111626990B (zh) * | 2020-05-06 | 2023-05-23 | 北京字节跳动网络技术有限公司 | 目标检测框处理方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN106097385B (zh) | 2019-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106097385A (zh) | 一种目标跟踪的方法和装置 | |
US10198823B1 (en) | Segmentation of object image data from background image data | |
CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
CN110163076B (zh) | 一种图像数据处理方法和相关装置 | |
JP2022534337A (ja) | ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム | |
Tan et al. | Color model-based real-time learning for road following | |
CN103514432B (zh) | 人脸特征提取方法、设备和计算机程序产品 | |
CN105046206B (zh) | 基于视频中运动先验信息的行人检测方法及装置 | |
CN103093198B (zh) | 一种人群密度监测方法及装置 | |
CN116324878A (zh) | 针对图像效果的分割 | |
CN109035295B (zh) | 多目标跟踪方法、装置、计算机设备和存储介质 | |
CN103105924B (zh) | 人机交互方法和装置 | |
Yang et al. | MGC-VSLAM: A meshing-based and geometric constraint VSLAM for dynamic indoor environments | |
CN104281839A (zh) | 一种人体姿势识别方法和装置 | |
CN108961304B (zh) | 识别视频中运动前景的方法和确定视频中目标位置的方法 | |
Van den Bergh et al. | Depth SEEDS: Recovering incomplete depth data using superpixels | |
CN103413323B (zh) | 基于部件级表观模型的物体跟踪方法 | |
Nallasivam et al. | Moving human target detection and tracking in video frames | |
CN108629799B (zh) | 一种实现增强现实的方法及设备 | |
WO2017081839A1 (ja) | 移動体追跡方法、移動体追跡装置、およびプログラム | |
CN106023249A (zh) | 一种基于局部二值相似性模式的运动目标检测方法 | |
CN106558069A (zh) | 一种基于视频监控下的目标跟踪方法及*** | |
CN103281476A (zh) | 基于电视图像运动目标的自动跟踪方法 | |
CN108256567A (zh) | 一种基于深度学习的目标识别方法及*** | |
CN109215047A (zh) | 基于深海视频的运动目标检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |