CN106875426B - 基于相关粒子滤波的视觉跟踪方法及装置 - Google Patents
基于相关粒子滤波的视觉跟踪方法及装置 Download PDFInfo
- Publication number
- CN106875426B CN106875426B CN201710094496.7A CN201710094496A CN106875426B CN 106875426 B CN106875426 B CN 106875426B CN 201710094496 A CN201710094496 A CN 201710094496A CN 106875426 B CN106875426 B CN 106875426B
- Authority
- CN
- China
- Prior art keywords
- particle
- state
- response
- weight
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002245 particle Substances 0.000 title claims abstract description 191
- 238000001914 filtration Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000000007 visual effect Effects 0.000 title claims abstract description 16
- 230000004044 response Effects 0.000 claims abstract description 45
- 238000012952 Resampling Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000000875 corresponding effect Effects 0.000 claims description 10
- 230000007704 transition Effects 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims description 5
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 101100161752 Mus musculus Acot11 gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于相关粒子滤波的视觉跟踪方法及装置,该方法包括:根据上一时刻的粒子状态和粒子权重在当前时刻生成粒子并进行重采样;对当前时刻重采样得到的每个粒子进行混合相关滤波使其移动并到达一个稳定的位置;使用混合相关滤波响应更新所述每个粒子的权重并更新进行混合相关滤波的相关滤波器的参数;根据更新后的粒子权重对每个粒子状态进行加权从而获得被跟踪目标在当前帧的跟踪状态。
Description
技术领域
本发明属于计算机视觉领域,具体涉及基于相关粒子滤波的视觉跟踪方法及装置。
背景技术
视觉跟踪由于其广泛应用(如视频监控,行为分析,人机交互和车辆导航等)而成为计算机视觉中最为重要的领域之一。目标物体的外观随时间发生大的变化是鲁棒视觉跟踪的主要难点。虽然近几年取得了一定的进展,但其仍然是一个很困难的任务。当下急需在存在诸如光照变化,快速动作,姿势变化,局部遮挡和背景杂乱等因素影响下的跟踪场景中设计鲁棒的算法来进行目标状态估计。
基于相关滤波的跟踪方法已经被证明可以达到相当高的速度和好的鲁棒性效果。对于跟踪而言,相关滤波器估计相似度是通过计算每一个对齐后的基于测试图像样本学得的模板(或滤波器)得点积来得到的。相关滤波的计算可以利用卷积定理来加快计算速度,即时域中的卷积可以通过傅里叶变换转化为频域中的相乘运算。由于其计算效率高,在视觉跟踪领域中,相关滤波被给予较高的关注度。尽管CSK和KCF方法在准确率和鲁棒性方面都达到了最先进的水平,但这些基于相关滤波的***不能很好地解决尺度变化和遮挡问题。为了解决跟踪过程中的尺度变化问题,DSST***使用了具有HOG特征的多尺度相关滤波。尽管DSST对于基于尺度金字塔表示学得的相关滤波器在鲁棒性尺度估计的任务中效果好,但对于局部和全部遮挡问题表现不佳。然而,当目标物体被较大程度遮挡时,这两类***会失去作用。这些基于相关滤波的跟踪方法不能够很好解决遮挡问题,因为他们只使用了一种单一假设,这意味着这些跟踪方法只是在上一时刻的状态附近去搜索现在目标物体的状态。结果是当局部遮挡和快速动作出现时,这些***很有可能失效。
另一方面,粒子滤波可以被用来解决大尺度变化和局部遮挡。粒子滤波是基于贝叶斯公式的。公式中样本是随时间而增加多种假设,并且样本使用一个随机运动模型去预测下一时间的状态。在基于粒子的跟踪算法中,多样的假设使得跟踪方法能够解决背景杂乱,局部和完全遮挡,从失败和目标暂时消失中恢复。因此,粒子滤波由于其能够解决非线性目标动作和与其他不同物体表示兼容的灵活性优势,在跟踪方法中被广泛使用。总体来说,当采样更多的粒子来建立鲁棒的目标表示时,基于粒子滤波的跟踪算法在杂乱和噪声的环境中的表现可信度更高。然而,基于粒子滤波的***的计算成本随着粒子的数目会线性增加,这就是其在视觉跟踪中的使用瓶颈。进一步来说,基于粒子滤波的***是通过采样粒子确定每个目标物体状态的。如果采样粒子不能够很好覆盖目标物体状态,则预测的目标物体状态很可能不准确。为了去克服这个问题,最好是能够引导粒子中心朝向目标物体。
发明内容
本发明的目的是结合相关滤波和粒子滤波的优势,设计鲁棒性的视觉跟踪方法。通过利用粒子滤波有效辅助相关滤波解决尺度变化和局部遮挡问题。另外,相关滤波可以将粒子移动到局部最大激活的地方,进而使用更为少量的粒子进行相关滤波,从而降低运算复杂度。
为实现上述目的,本发明提供一种基于相关粒子滤波的视觉跟踪方法,该方法包括以下步骤:
步骤S1,根据上一时刻的粒子状态和粒子权重在当前时刻生成粒子并进行重采样;
步骤S2,对当前时刻重采样得到的每个粒子进行混合相关滤波使其移动并到达一个稳定的位置;
步骤S3,使用混合相关滤波响应更新所述每个粒子的权重并更新进行混合相关滤波的相关滤波器的参数;
步骤S4,根据更新后的粒子权重对每个粒子状态进行加权从而获得被跟踪目标在当前帧的跟踪状态。
步骤S1包括:
步骤S11:根据上一时刻的粒子状态和粒子权重推测得到在当前时刻生成的粒子状态;
步骤S12:对前一时刻得到的粒子权重进行重采样。
步骤S11中当前时刻可能的粒子状态的状态分布转移概率p(st|st-1)的计算方式如下:
步骤S12中对前一时刻得到的粒子权重进行重采样包括,利用下式更新前一时刻的得到的粒子权重:
这里为第i个粒子在t-1时刻的权重,n是粒子数目。
步骤S2包括:
步骤S21;利用混合相关滤波计算当前时刻所述每个粒子的响应分布:
这里x是一个P×Q维的图像块,对应于粒子的观测,r={r(p,q)}对应于所有的关于图像块的循环平移xp,q,(p,q)∈{0,1,...,P-1}×{0,1,...,Q-1}的高斯函数标签,λ是正则化参数;
步骤S3包括:
步骤S32:使用混合相关滤波器,选取具有最大响应的相关滤波器更新相关滤波器参数,同时更新相关滤波器的重要性。
步骤S32中如下更新相关滤波器的模型参数:
这里,索引k代表在当前时刻t时第k个相关滤波器在所有K个滤波器中具有最大响应,η为学习速率参数,αk和xk为相关滤波器的模型参数,πk是第k个相关滤波器的最大响应值。
步骤S4包括:
步骤S41,计算当前时刻t预测目标的跟踪状态的期望值:
这里E[st|y1:t]为当前时刻t预测目标的跟踪状态的期望值,y1:t表示从第一时刻到当前时刻t的视频图像帧,该步骤利用此期望值作为目标状态的预测。
根据本发明第二方面,提供了一种基于相关粒子滤波的视觉跟踪装置,该装置包括:
粒子生成模块,被配置为根据上一时刻的粒子状态和粒子权重在当前时刻生成粒子并进行重采样;
滤波模块,被配置为对当前时刻重采样得到的每个粒子进行混合相关滤波使其移动并到达一个稳定的位置;
更新模块,被配置为使用混合相关滤波响应更新所述每个粒子的权重并更新进行混合相关滤波的相关滤波器的参数;
跟踪模块,被配置为根据更新后的粒子权重对每个粒子状态进行加权从而获得被跟踪目标在当前帧的跟踪状态。
本发明的有益效果:1)本发明对于局部和完全遮挡具有鲁棒性,并能够通过增加多种假设从丢失轨迹的状态中恢复。2)本发明可以像传统粒子滤波一样通过粒子采样策略克服尺度变化问题。3)本发明可以在后验密度中对较少的粒子使用卷积相关滤波而有效增加多种模型,从而降低计算代价。4)本发明通过使用混合相关滤波,引导采样粒子朝向目标物体,从而增加跟踪时鲁棒性。
附图说明
图1是本发明基于相关粒子滤波的视觉跟踪方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
图1为本发明提出的基于相关粒子滤波的视觉跟踪方法的流程图,所述方法通过混合相关滤波对物体表观变化建模,结合粒子滤波进行粒子重采样,并在一个统一的框架对目标状态进行最优估计。如图1所示,所述方法包括四个部分:1)使用状态转移模型产生粒子并对其进行重采样,2)对每个粒子进行相关滤波使其移动并到达一个稳定的位置,3)使用相关滤波响应更新粒子权重并更新各相关滤波器参数,4)根据粒子权重对粒子状态进行加权从而获得被跟踪目标在当前帧的最佳状态。
本发明针对传统的基于相关滤波的跟踪方法无法很好的解决局部遮挡和快速移动等问题和传统的基于粒子滤波的跟踪方法计算复杂度高的问题,提出了基于相关粒子滤波的视觉跟踪方法。本发明具有以下优势:(1)对于局部和完全遮挡具有鲁棒性,并能够通过维持多个假设从丢失轨迹中恢复跟踪目标的状态;(2)本发明可以像传统粒子滤波方法一样通过粒子采样策略克服尺度变化问题;(3)在后验密度中较少的粒子保持多种模式,从而降低计算代价;(4)利用混合相关滤波方法,使得采样粒子被引导向目标物体,从而增加跟踪的鲁棒性。
在一实施例中,如图1所示,本发明所提供的基于相关滤波的跟踪方法方法包括以下步骤:
步骤S1,根据上一时刻的粒子状态和粒子权重在当前时刻生成粒子并重采样他们。所述粒子状态表示目标在视频帧中可能的状态,即目标的位置和尺度等。所述目标可以是任意感兴趣的物体,包括人、车辆、动物、商品等。
所述步骤S1进一步包括以下步骤:
步骤S11:根据上一时刻的粒子状态和粒子权重在当前时刻生成粒子。该步骤利用目标在上一帧的状态分布st-1和权重分布wt-1推测目标在当前帧的状态分布st:
p(st|st-1)代表状态分布转移概率,这里表示t-1时刻第i个粒子的状态,表示t-1时刻第i个粒子的权重,除外,其余由步骤S3逐帧确定。设置为默认初始值:这里n为粒子数量。假定相邻帧存在一个仿射运动模型,因此,状态变量由6个仿射变换参数组成(2D线性转换和2D平移)。为状态转移函数,由一个对角高斯分布函数进行建模,该高斯函数的均值为各状态变量的均值,对角协方差矩阵中对角线上的元素取各状态变量均值的0.25倍。
步骤S12:对前一时刻得到的粒子权重进行重采样,即更新各粒子的重要性。
由于在步骤S31中对当前时刻粒子权重的计算依赖于上一时刻的粒子权重,为了防止某些粒子的权重在当前时刻出现过大或过小的情况,本步骤对上一时刻的粒子进行重采样,重采样的方式如下:
这里为第i个粒子在t-1时刻的权重。n是粒子数目。
步骤S2,对每个粒子进行混合相关滤波使其移动并到达一个稳定的位置。利用混合相关滤波计算每个粒子的响应分布:
这里为t时刻第i个粒子通过混合相关滤波获得的响应分布,πk是第k个相关滤波器的归一化后的最大响应值。是粒子i的观测(即指代粒子i对应的图像块),是目标的表观模型。和代表傅里叶变换及其反变换。φ是核函数,说明了从输入的低维空间到高维核空间的映射,在一实施例中,φ可以是高斯核函数。αk的计算方式如下:
这里x是一个P×Q维的图像块,对应于粒子观测的具体像素值,r={r(p,q)}对应于所有的关于图像块的循环平移xp,q,(p,q)∈{0,1,...,P-1}×{0,1,...,Q-1}的高斯函数标签,λ是正则化参数;
当粒子状态计算完成后,对于所述每个粒子,搜索该粒子响应分布最大值,得到所述响应分布最大值对应的位置并据此位置把粒子的中心横纵坐标平移至响应最大值对应的位置处,得到更新后的粒子状态(在一实施例中,采用6个状态变换参数来表示),记为
步骤S3,使用混合相关滤波响应更新粒子权重并更新各相关滤波器的参数。
所述步骤S3进一步包括以下步骤:
步骤S32:更新相关滤波器的模型参数。该步骤使用混合相关滤波器,在所有K个滤波器中选取具有最大响应的相关滤波器,对其滤波器参数进行更新,同时更新该相关滤波器的重要性。在一实施例中,K可以取3。
更新相关滤波器的模型参数如下:
这里,索引k代表在时间t时第k个相关滤波器在所有K个滤波器中具有最大响应。η为学习速率参数,αk和更新时考虑了当前数值,πk是第k个相关滤波器的最大响应值,用以表示该相关滤波器的重要性。每次更新之后,权重πk被标准化,即
步骤S4,根据粒子权重对粒子状态进行加权从而获得被跟踪目标在当前帧的最佳状态。
当前时刻t的最佳状态的期望可以被离散近似为:
这里n是粒子数目。E[st|y1:t]为当前时刻预测状态的期望值,y1:t表示从时刻1到时刻t的视频图像帧,该步骤利用此期望值作为目标状态的预测,即当前时刻的目标状态为E[st|y1:t],由各粒子状态的加权组合来确定。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于相关粒子滤波的视觉跟踪方法,其特征在于,该方法包括以下步骤:
步骤S1,根据上一时刻的粒子状态和粒子权重在当前时刻生成粒子并进行重采样;
步骤S2,对当前时刻重采样得到的每个粒子进行混合相关滤波使其移动并到达一个稳定的位置;
步骤S2包括:
步骤S21;利用混合相关滤波计算当前时刻所述每个粒子的响应分布:
这里x是一个P×Q维的图像块,对应于粒子的观测,r={r(p,q)}对应于所有的关于图像块的循环平移xp,q,(p,q)∈{0,1,K,P-1}×{0,1,K,Q-1}的高斯函数标签,λ是正则化参数;以及
步骤S3,使用混合相关滤波响应更新所述每个粒子的权重并更新进行混合相关滤波的相关滤波器的参数;
步骤S4,根据更新后的粒子权重对每个粒子状态进行加权从而获得被跟踪目标在当前帧的跟踪状态。
2.根据权利要求1所述的方法,其特征在于,步骤S1包括:
步骤S11:根据上一时刻的粒子状态和粒子权重推测得到在当前时刻生成的粒子状态;
步骤S12:对前一时刻得到的粒子权重进行重采样。
8.根据权利要求1所述的方法,其特征在于,步骤S4包括:
步骤S41,计算当前时刻t预测目标的跟踪状态的期望值:
这里E[st|y1:t]为当前时刻t预测目标的跟踪状态的期望值,y1:t表示从第一时刻到当前时刻t的视频图像帧,该步骤利用此期望值作为目标状态的预测。
9.一种基于相关粒子滤波的视觉跟踪装置,其特征在于,该装置包括:
粒子生成模块,被配置为根据上一时刻的粒子状态和粒子权重在当前时刻生成粒子并进行重采样;
滤波模块,被配置为对当前时刻重采样得到的每个粒子进行混合相关滤波使其移动并到达一个稳定的位置;包括:
利用混合相关滤波计算当前时刻所述每个粒子的响应分布:
这里x是一个P×Q维的图像块,对应于粒子的观测,r={r(p,q)}对应于所有的关于图像块的循环平移xp,q,(p,q)∈{0,1,K,P-1}×{0,1,K,Q-1}的高斯函数标签,λ是正则化参数;以及
更新模块,被配置为使用混合相关滤波响应更新所述每个粒子的权重并更新进行混合相关滤波的相关滤波器的参数;
跟踪模块,被配置为根据更新后的粒子权重对每个粒子状态进行加权从而获得被跟踪目标在当前帧的跟踪状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710094496.7A CN106875426B (zh) | 2017-02-21 | 2017-02-21 | 基于相关粒子滤波的视觉跟踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710094496.7A CN106875426B (zh) | 2017-02-21 | 2017-02-21 | 基于相关粒子滤波的视觉跟踪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106875426A CN106875426A (zh) | 2017-06-20 |
CN106875426B true CN106875426B (zh) | 2020-01-21 |
Family
ID=59167427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710094496.7A Active CN106875426B (zh) | 2017-02-21 | 2017-02-21 | 基于相关粒子滤波的视觉跟踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106875426B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107481262B (zh) * | 2017-07-19 | 2020-02-28 | 中国科学院自动化研究所 | 基于多任务相关粒子滤波的视觉跟踪方法、装置 |
CN109697385A (zh) * | 2017-10-20 | 2019-04-30 | 中移(苏州)软件技术有限公司 | 一种目标跟踪方法及装置 |
CN108133489A (zh) * | 2017-12-21 | 2018-06-08 | 燕山大学 | 一种增强的多层卷积视觉跟踪方法 |
CN108846851B (zh) * | 2018-04-25 | 2020-07-28 | 河北工业职业技术学院 | 运动目标跟踪方法及终端设备 |
CN109212480B (zh) * | 2018-09-05 | 2020-07-28 | 浙江理工大学 | 一种基于分布式辅助粒子滤波的声源跟踪方法 |
CN109919982B (zh) * | 2019-03-12 | 2022-05-20 | 哈尔滨工程大学 | 一种基于粒子滤波的多尺度目标跟踪改进方法 |
CN110598614B (zh) * | 2019-09-04 | 2022-08-26 | 南京邮电大学 | 一种结合粒子滤波的相关滤波目标跟踪方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101251593A (zh) * | 2008-03-31 | 2008-08-27 | 中国科学院计算技术研究所 | 一种无线传感器网络的目标跟踪方法 |
CN101394546A (zh) * | 2007-09-17 | 2009-03-25 | 华为技术有限公司 | 视频目标轮廓跟踪方法及装置 |
CN103298156A (zh) * | 2013-06-13 | 2013-09-11 | 北京空间飞行器总体设计部 | 基于无线传感器网络的无源多目标检测跟踪方法 |
CN104574445A (zh) * | 2015-01-23 | 2015-04-29 | 北京航空航天大学 | 一种目标跟踪方法及装置 |
-
2017
- 2017-02-21 CN CN201710094496.7A patent/CN106875426B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101394546A (zh) * | 2007-09-17 | 2009-03-25 | 华为技术有限公司 | 视频目标轮廓跟踪方法及装置 |
CN101251593A (zh) * | 2008-03-31 | 2008-08-27 | 中国科学院计算技术研究所 | 一种无线传感器网络的目标跟踪方法 |
CN103298156A (zh) * | 2013-06-13 | 2013-09-11 | 北京空间飞行器总体设计部 | 基于无线传感器网络的无源多目标检测跟踪方法 |
CN104574445A (zh) * | 2015-01-23 | 2015-04-29 | 北京航空航天大学 | 一种目标跟踪方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106875426A (zh) | 2017-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106875426B (zh) | 基于相关粒子滤波的视觉跟踪方法及装置 | |
Dabral et al. | Learning 3d human pose from structure and motion | |
CN107358623B (zh) | 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法 | |
Gao et al. | Firefly algorithm (FA) based particle filter method for visual tracking | |
Zhang et al. | Motion analysis | |
Li et al. | Unscented Kalman filter for visual curve tracking | |
Kwon et al. | Highly nonrigid object tracking via patch-based dynamic appearance modeling | |
CN106952288B (zh) | 基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法 | |
Pruteanu-Malinici et al. | Infinite hidden Markov models for unusual-event detection in video | |
US9111172B2 (en) | Information processing device, information processing method, and program | |
Arnaud et al. | Conditional filters for image sequence-based tracking-application to point tracking | |
CN110390685B (zh) | 一种基于事件相机的特征点跟踪方法 | |
US9805285B2 (en) | State estimation apparatus, state estimation method, and integrated circuit | |
Krzeszowski et al. | Articulated body motion tracking by combined particle swarm optimization and particle filtering | |
CN105654518B (zh) | 一种跟踪模板自适应方法 | |
CN111027586A (zh) | 一种基于新型响应图融合的目标跟踪方法 | |
CN112489088A (zh) | 一种基于记忆单元的孪生网络视觉跟踪方法 | |
Dorini et al. | Unscented feature tracking | |
CN111429481A (zh) | 一种基于自适应表达的目标追踪方法、装置及终端 | |
Lee et al. | Human body tracking with auxiliary measurements | |
CN111993429B (zh) | 一种基于仿射群的改进高斯重采样粒子滤波目标跟踪方法 | |
CN110598614B (zh) | 一种结合粒子滤波的相关滤波目标跟踪方法 | |
CN109166138B (zh) | 基于高阶累积量的目标跟踪方法、装置及存储介质 | |
Zhang et al. | Force: Dataset and method for intuitive physics guided human-object interaction | |
Sharifi et al. | Marker-based human pose tracking using adaptive annealed particle swarm optimization with search space partitioning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |