CN111239691B - 一种抑制主声源的多声源跟踪方法 - Google Patents
一种抑制主声源的多声源跟踪方法 Download PDFInfo
- Publication number
- CN111239691B CN111239691B CN202010184264.2A CN202010184264A CN111239691B CN 111239691 B CN111239691 B CN 111239691B CN 202010184264 A CN202010184264 A CN 202010184264A CN 111239691 B CN111239691 B CN 111239691B
- Authority
- CN
- China
- Prior art keywords
- sound source
- source
- state
- particle
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000000452 restraining effect Effects 0.000 title description 4
- 239000002245 particle Substances 0.000 claims abstract description 102
- 238000009432 framing Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000002238 attenuated effect Effects 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000005314 correlation function Methods 0.000 claims description 3
- 230000010363 phase shift Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 29
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 230000002401 inhibitory effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 101100460704 Aspergillus sp. (strain MF297-2) notI gene Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
- G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
一种抑制主声源的多声源跟踪方法,将麦克风阵列接收的语音声源信号分帧、加窗;根据声源的初始状态产生初始粒子组;根据状态方程预测新的粒子状态,并计算粒子状态观测值;根据上一时刻声源位置估计处的定位函数值判定主源;计算较弱声源粒子与主源的距离,并根据该距离构造一个衰减系数;将靠近主源的较弱声源粒子状态观测值乘以衰减系数以减小其值;根据定位函数和衰减系数构造各声源的伪似然函数,并根据该伪似然函数计算当前时刻各声源的粒子权重;将各声源的粒子权重归一化,并根据粒子权重和粒子状态估计当前时刻各声源的位置。本发明可以在两个声源靠近或声源轨迹交叉时保持对两个声源的跟踪,可广泛用于机器人听觉、音频监控等领域。
Description
技术领域
本发明涉及基于麦克风阵列的多声源跟踪技术领域,特别涉及一种抑制主声源的多声源跟踪方法。
背景技术
基于麦克风阵列的语音声源定位与跟踪技术在数字助听器、机器人听觉、智能监控等领域有着非常广泛的应用。早期的语音声源定位与跟踪技术主要针对单个声源,如视频会议,车载免提语音通信等应用。经过多年的研究,单声源的定位与跟踪算法已经能达到较高的精度。近年来,随着声源跟踪技术应用领域的拓展,很多情况下,需要考虑多声源定位与跟踪的问题。
基于麦克风阵列的声源跟踪算法目前主要有两类,一类以采用卡尔曼滤波及其改进算法为代表;另一类就是以采用粒子滤波为代表的算法。前者必须在满足诸多假设的情况下才能使用,而后者的适用范围更广,精度更高,在跟踪算法中占据主流位置。目前,室内环境中的单声源跟踪算法研究比较多,而多声源跟踪算法的研究相对较少。相比于单声源情况,在混响环境中实现多声源跟踪要困难得多。除了混响和噪声会影响跟踪精度外,声源之间的干扰将严重降低跟踪算法的精度,尤其当声源轨迹靠近或交叉时,传统跟踪算法很难辨识声源轨迹,这将导致目标丢失。
粒子滤波的过程中,粒子群随目标轨迹移动。当两个目标距离较近,较弱声源有部分粒子落入较强声源的空间谱峰所在区域,导致这部分粒子被赋予过大的权重,相应的较弱声源的位置估计误差较大,即过于靠近较强声源的位置。随着迭代的进行,较弱声源的粒子分布将会与较强声源的粒子分布越来越相似,前者的估计轨迹就会与后者接近重合。即使声源距离重新增大,传统跟踪算法也很难跟踪到较弱的声源,从而丢失该目标。
发明内容
为了克服上述现有技术的不足,本发明提供一种基于粒子滤波的多个语音声源跟踪算法。该算法在两个语音声源轨迹交叉或靠近的情况下,保持对两个声源的跟踪。
为了实现上述目的,本发明提供一种抑制主声源的多声源跟踪方法。该方法把较强的声源称为主源。在跟踪过程中,对于接近主源的较弱声源的粒子,其权重乘以适当的衰减系数,使其不至于过大,减小位置估计的误差,从而避免估计的轨迹重叠。本发明提供的方法包括以下步骤:
S1、建立二维直角坐标系,确定麦克风阵列中各阵元的坐标,将麦克风阵列接收到的声源信号分帧、加窗,存入缓冲区;
S2、根据各声源的初始状态产生各声源的初始粒子组:
直角坐标系下,第i个声源在第t帧时的状态矢量为
S3、根据状态方程预测各声源新的粒子状态:
状态方程可以表示为
具体地可以采用Langevin方程来作为声源的状态方程,其表达式如下:
S4、根据接收信号帧,利用定位函数计算当前时刻各声源粒子状态的观测值:
麦克风阵列的接收信号帧用Xt=[x1(n),x2(n),...,xM(n)]T表示,其中M是麦克风阵列的阵元个数。采用相位变换加权的导引响应功率函数(steered response power-phase transform,SRP-PHAT)作为定位函数,其表达式为:
Xm(k)是第m个阵元接收信号xm(n)的离散傅里叶变换,K为其点数,*表示取共轭;ω是模拟角频率。是假想声源到阵元对的到达时间差(timedifference ofarrival,TDOA),其中表示第m个阵元的坐标,c为声速(342m/s),||·||表示求矢量的2-范数。根据定位函数计算得到的粒子状态观测值为:
S6、根据定位函数和衰减系数构造各声源的伪似然函数:
其中函数max(·)的作用是确保似然函数非负,r为正实数,其目的是调整似然函数的形状,提高跟踪算法的性能;
S7、根据伪似然函数计算当前时刻各声源粒子权重:
S8、将各声源的粒子权重归一化:
S9、根据粒子权重和粒子的状态估计当前时刻各声源的位置;
S11、存储重采样后的粒子和它们的权重,进入步骤S3。
更进一步的,所述步骤S5的衰减较弱声源粒子的状态观测值包括以下步骤:
S5.1、根据上一时刻的接收信号帧计算上一时刻各声源位置估计处的定位函数值,其表达式为:
S5.2、将定位函数值大的源确定为主源,即t时刻的主源编号为:
S5.3、计算较弱声源的粒子与上一时刻主源位置估计处的距离:
S5.4、根据步骤S5.3所述的距离构造衰减系数,并将较弱声源粒子的状态观测值乘以该系数,得到衰减后的粒子状态观测值:
其中μ为小于1的常数,该值越大衰减幅度越大,z是决定衰减速率的常数,同等距离下,该值越大衰减幅度越大。
本发明的有益效果:
(1)与现有技术相比,本发明在声源跟踪过程中,采用了抑制主声源的方法,较好地解决了两个声源接近时较弱声源的估计轨迹与主声源轨迹重合的问题。具体的,本发明在步骤S5中将靠近主源的较弱声源的粒子状态观测值乘以一个适当的衰减系数,因此减小了这些粒子的权重。当两个声源靠近或者轨迹交叉时,由于减小了靠近主源的较弱声源粒子的权重,因而较弱声源的粒子就不会被主源吸引,保持了各声源粒子的独立性,从而能保持对两个声源的跟踪。
(2)本发明方法没有限制麦克风阵列的形状,因此可以适用于任意阵型;对声源运动轨迹也没有加以限制,因此适用于声源作曲线运动的情形。
附图说明
图1为本发明的方法主流程图。
图2为本发明的方法步骤S5的流程图。
图3为本发明麦克风的位置与声源轨迹示意图。
图4为本发明的方法对不交叉目标的跟踪轨迹与真实轨迹的比较示意图。
图5为本发明的方法对交叉目标的跟踪轨迹与真实轨迹的比较示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
实施例:
模拟的房间大小为4m×4m×2.7m,如图1、图2和图3所示,8个麦克风设置在房间四周的墙面,其高度均为1.464m。图中的半圆为声源轨迹,声源沿箭头所指方向运动,其高度与麦克风相同。声源信号为取自TIMIT数据库的两段时长约为3.6s的男声语音,采样频率fs=8kHz。麦克风的接收信号用image法产生,加入高斯白噪声信号。信噪比SNR=20dB,混响时间T60=0.132s。帧长L=512点,帧之间不重叠,加Hanning窗,具体的步骤如下:
S1、建立二维直角坐标系,确定麦克风阵列中各阵元的坐标,将麦克风阵列接收到的声源信号分帧、加窗,存入缓冲区;
S2、根据各声源的初始状态产生各声源的初始粒子组;
直角坐标系下,第i个声源在第t帧时的状态矢量为
S3、根据状态方程预测各声源新的粒子状态;
状态方程可以表示为
具体地可以采用Langevin方程来作为声源的状态方程,其表达式如下:
其中ut是二维高斯随机向量,其均值向量为[0,0]T,协方差矩阵为二阶单位矩阵,T为一帧信号的时长,也就是状态更新的时间间隔,本例中T=L/fs=64ms;参数a=exp(-βT),本例中考虑人正常行走的速度,取β=10Hz,
S4、根据接收信号帧,利用定位函数计算当前时刻各声源粒子状态的观测值;
麦克风阵列的接收信号帧用Xt=[x1(n),x2(n),...,xM(n)]T表示,其中M是麦克风阵列的阵元个数,本例中M=8。采用相位变换加权的导引响应功率函数(steered responsepower-phase transform,SRP-PHAT)作为定位函数,其表达式为:
Xm(k)是第m个阵元接收信号xm(n)的离散傅里叶变换,K为其点数,本例中K=512,*表示取共轭,ω=2πkfs/K,为模拟角频率。是假想声源到阵元对的到达时间差(time difference of arrival,TDOA),其中表示第m个阵元的坐标,c为声速(342m/s),||·||表示求矢量的2-范数。根据定位函数计算得到的粒子状态观测值为:
S5.1、根据上一时刻的接收信号帧计算上一时刻各声源位置估计处的定位函数值,其表达式为:
S5.2、将定位函数值大的源确定为主源,即t时刻的主源编号为:
S5.3、计算较弱声源的粒子与上一时刻主源位置估计处的距离:
S5.4、根据步骤S5.3所述的距离构造衰减系数,并将较弱声源粒子的状态观测值乘以该系数,得到衰减后的粒子状态观测值:
其中μ为小于1的常数,该值越大衰减幅度越大,z是决定衰减速率的参数,同等距离下,该值越大衰减幅度越大。在声源之间的距离很近的情况下,较弱声源有很多粒子的很小,不应该让这些粒子的观测值衰减为接近零,而是要保留适当的比例,使得这些粒子仍然可以为状态估计作贡献,因此,μ不能取过于接近1的值。μ的取值也不能太小,否则不足以减弱主源的影响。考虑到说话人之间的距离通常大于0.5m,当时,衰减系数应接近1。本实施例中取μ=0.8,z=0.15m;
S6、根据定位函数和衰减系数构造各声源的伪似然函数;
其中函数max(·)的作用是确保似然函数非负,r为正实数,其目的是调整似然函数的形状,提高跟踪算法的性能,本实施例中取r=3。
S7、根据伪似然函数计算当前时刻各声源粒子权重;
S8、将各声源的粒子权重归一化;
S9、根据粒子权重和粒子的状态估计当前时刻各声源的位置;
S11、存储重采样后的粒子和它们的权重,进入步骤S3。
为了说明本发明方法的跟踪效果,定义两种跟踪性能的评价指标,即均方根误差(root mean square error,RMSE)和跟踪丢失率。这两个指标都是对各声源分别计算的。均方根误差定义为
声源轨迹不交叉的情况:
如图2所示,两个声源的轨迹都是半圆,半径均为0.75m。声源S1的起点坐标为[1.2,3],圆心坐标为[1.95,3],声源S2的起点坐标为[1.2,1.8],圆心坐标为[1.95,1.8]。两个声源在3.6s的时间内作匀速率圆周运动,距离保持为1.2m。分别用传统算法和本发明的算法进行跟踪,图4为具有代表性的一次跟踪结果,图中虚线表示真实的轨迹,实线表示估计的轨迹。
由图3可见,在声源轨迹不交叉且距离较远时,本发明的方法可以较好地实现对两个声源的跟踪。为了进一步检验本发明方法的跟踪性能,用本发明方法和传统的跟踪方法做了不同声源距离下的跟踪实验,每种情况作30次运算,结果如表1所示。表1中的Ds表示声源之间的距离,表示平均均方根误差,该值是成功跟踪的RMSE的平均值,体现了算法的跟踪精度。
表1
由表1可见,当声源距离较远时,两种方法的跟踪精度接近,本发明的方法跟踪丢失率略低于传统的方法;当声源距离较近时,传统方法的跟踪丢失率较高,这是因为距离近时较弱声源的粒子容易被主源“吸引”,从而导致目标丢失。本发明的方法通过及时调整粒子的观测值,可有效降低跟踪丢失率,跟踪精度也比传统方法要高。
声源轨迹交叉的情况:
声源S1的轨迹仍为半圆,半径仍为0.75m,起点坐标为[1.2,2.4],圆心坐标为[1.95,2.4];声源S2的轨迹为直线,起点坐标为[1.8,3.1],终点坐标为[1.9,0.9]。图5为一次典型的跟踪结果。
由图5可见,对于声源轨迹交叉的情况,本发明的方法仍可持续地跟踪两个目标。这表明对于靠近主源的较弱声源粒子,采用衰减其观测值的方法,能有效避免被主源“吸引”。对于声源轨迹交叉的情况也做30次运算,结果如表2所示。
表2
由表2可见,传统方法对声源S2的跟踪丢失率急剧升高。这表明,在交叉时刻S1是主源,S2是较弱声源,目标轨迹交叉后,传统方法很难保持对较弱声源的跟踪。仍由表2可见,本发明的方法可显著降低较弱声源的跟踪丢失率。
Claims (1)
1.一种抑制主声源的多声源跟踪方法,其特征在于,包括以下步骤:
S1、建立二维直角坐标系,确定麦克风阵列中各阵元的坐标,将麦克风阵列接收到的声源信号分帧、加窗,存入缓冲区;
S2、根据各声源的初始状态产生各声源的初始粒子组:
直角坐标系下,第i个声源在第t帧时的状态矢量为
S3、根据状态方程预测各声源新的粒子状态:
状态方程可以表示为
具体地可以采用Langevin方程来作为声源的状态方程,其表达式如下:
S4、根据接收信号帧,利用定位函数计算当前时刻各声源粒子状态的观测值:
麦克风阵列的接收信号帧用Xt=[x1(n),x2(n),...,xM(n)]T表示,其中M是麦克风阵列的阵元个数;采用相位变换加权的导引响应功率函数(steered response power-phasetransform,SRP-PHAT)作为定位函数,其表达式为:
Xm(k)是第m个阵元接收信号xm(n)的离散傅里叶变换,K为其点数,*表示取共轭;ω是模拟角频率;是假想声源到阵元对的到达时间差(timedifference of arrival,TDOA),其中表示第m个阵元的坐标,c为声速(342m/s),||·||表示求矢量的2-范数;根据定位函数计算得到的粒子状态观测值为:
S6、根据定位函数和衰减系数构造各声源的伪似然函数:
其中函数max(·)的作用是确保似然函数非负,r为正实数,其目的是调整似然函数的形状,提高跟踪算法的性能;
S7、根据伪似然函数计算当前时刻各声源粒子权重:
S8、将各声源的粒子权重归一化:
S9、根据粒子权重和粒子的状态估计当前时刻各声源的位置:
S11、存储重采样后的粒子和它们的权重,进入步骤S3;
所述步骤S5中的衰减较弱声源粒子的状态观测值包括以下步骤:
S5.1、根据上一时刻的接收信号帧计算上一时刻各声源位置估计处的定位函数值,其表达式为:
S5.2、将定位函数值大的源确定为主源,即t时刻的主源编号为:
S5.3、计算较弱声源的粒子与上一时刻主源位置估计处的距离:
S5.4、根据步骤S5.3所述的距离构造衰减系数,并将较弱声源粒子的状态观测值乘以该系数,得到衰减后的粒子状态观测值:
其中μ为小于1的常数,该值越大衰减幅度越大,z是决定衰减速率的常数,同等距离下,该值越大衰减幅度越大。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010184264.2A CN111239691B (zh) | 2020-03-08 | 2020-03-08 | 一种抑制主声源的多声源跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010184264.2A CN111239691B (zh) | 2020-03-08 | 2020-03-08 | 一种抑制主声源的多声源跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111239691A CN111239691A (zh) | 2020-06-05 |
CN111239691B true CN111239691B (zh) | 2022-03-08 |
Family
ID=70870674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010184264.2A Active CN111239691B (zh) | 2020-03-08 | 2020-03-08 | 一种抑制主声源的多声源跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111239691B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115662383B (zh) * | 2022-12-22 | 2023-04-14 | 杭州爱华智能科技有限公司 | 主声源删除方法及***、多声源识别方法及***、装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4686532A (en) * | 1985-05-31 | 1987-08-11 | Texas Instruments Incorporated | Accurate location sonar and radar |
CN104991573A (zh) * | 2015-06-25 | 2015-10-21 | 北京品创汇通科技有限公司 | 一种基于声源阵列的定位跟踪方法及其装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5403896B2 (ja) * | 2007-10-31 | 2014-01-29 | 株式会社東芝 | 音場制御システム |
CN103152820B (zh) * | 2013-02-06 | 2015-08-12 | 长安大学 | 一种无线传感器网络声源目标迭代定位方法 |
JP6030012B2 (ja) * | 2013-03-21 | 2016-11-24 | 株式会社東芝 | 方位測定装置、方位測定プログラム及び方位測定方法 |
KR20160146718A (ko) * | 2014-04-22 | 2016-12-21 | 바스프 에스이 | 적어도 하나의 물체를 광학적으로 검출하기 위한 검출기 |
CN104820993B (zh) * | 2015-03-27 | 2017-12-01 | 浙江大学 | 一种联合粒子滤波和跟踪置前检测的水下弱目标跟踪方法 |
CN108828524B (zh) * | 2018-06-03 | 2021-04-06 | 桂林电子科技大学 | 基于Delaunay三角剖分的粒子滤波声源跟踪定位方法 |
CN109407515A (zh) * | 2018-12-17 | 2019-03-01 | 厦门理工学院 | 一种适用于非最小相位***的干扰观测器设计方法 |
-
2020
- 2020-03-08 CN CN202010184264.2A patent/CN111239691B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4686532A (en) * | 1985-05-31 | 1987-08-11 | Texas Instruments Incorporated | Accurate location sonar and radar |
CN104991573A (zh) * | 2015-06-25 | 2015-10-21 | 北京品创汇通科技有限公司 | 一种基于声源阵列的定位跟踪方法及其装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111239691A (zh) | 2020-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Brandstein et al. | A practical methodology for speech source localization with microphone arrays | |
Brandstein et al. | A practical time-delay estimator for localizing speech sources with a microphone array | |
CN104076331B (zh) | 一种七元麦克风阵列的声源定位方法 | |
CN111025233B (zh) | 一种声源方向定位方法和装置、语音设备和*** | |
CN103901401B (zh) | 一种基于双耳匹配滤波器的双耳声音源定位方法 | |
CN104991573A (zh) | 一种基于声源阵列的定位跟踪方法及其装置 | |
Valin et al. | Robust 3D localization and tracking of sound sources using beamforming and particle filtering | |
CN103308889A (zh) | 复杂环境下被动声源二维doa估计方法 | |
CN109901112B (zh) | 基于多通道声获取的声学同时定位与建图方法 | |
CN102305925A (zh) | 一种机器人连续声源定位方法 | |
CN103278801A (zh) | 一种变电站噪声成像侦测装置及侦测计算方法 | |
CN103176166B (zh) | 一种用于水声被动定位的信号到达时延差跟踪算法 | |
CN107167770B (zh) | 一种混响条件下的麦克风阵列声源定位装置 | |
CN103901400B (zh) | 一种基于时延补偿和双耳一致性的双耳声音源定位方法 | |
Nakadai et al. | Robust tracking of multiple sound sources by spatial integration of room and robot microphone arrays | |
Zhong et al. | Particle filtering for TDOA based acoustic source tracking: Nonconcurrent multiple talkers | |
CN109212481A (zh) | 一种利用麦克风阵列进行声源定位的方法 | |
Huang et al. | Microphone arrays for video camera steering | |
CN111239691B (zh) | 一种抑制主声源的多声源跟踪方法 | |
CN105607042A (zh) | 用麦克风阵列时延估计定位声源的方法 | |
CN110827846A (zh) | 采用加权叠加合成波束的语音降噪方法及装置 | |
CN105590021B (zh) | 基于麦克风阵列的动态数量声源跟踪方法 | |
CN110927668A (zh) | 基于粒子群的正方体麦克风阵列的声源定位优化方法 | |
Kossyk et al. | Binaural bearing only tracking of stationary sound sources in reverberant environment | |
Warsitz et al. | Adaptive beamforming combined with particle filtering for acoustic source localization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |