CN108694950B - 一种基于深度混合模型的说话人确认方法 - Google Patents

一种基于深度混合模型的说话人确认方法 Download PDF

Info

Publication number
CN108694950B
CN108694950B CN201810465602.2A CN201810465602A CN108694950B CN 108694950 B CN108694950 B CN 108694950B CN 201810465602 A CN201810465602 A CN 201810465602A CN 108694950 B CN108694950 B CN 108694950B
Authority
CN
China
Prior art keywords
voice data
speaker
layer
derivative
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810465602.2A
Other languages
English (en)
Other versions
CN108694950A (zh
Inventor
何亮
陈仙红
徐灿
梁天宇
刘加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810465602.2A priority Critical patent/CN108694950B/zh
Publication of CN108694950A publication Critical patent/CN108694950A/zh
Application granted granted Critical
Publication of CN108694950B publication Critical patent/CN108694950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/04Training, enrolment or model building
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/02Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明提出一种基于深度混合模型的说话人确认方法,属于声纹识别、模式识别与机器学习技术领域。该方法首先获取目标说话人的训练语音数据并进行预处理,得到训练语音数据的梅尔倒谱特征集;对梅尔倒谱特征集建立第0层高斯混合模型并求导,得到一阶导数集;然后依次建立第一层高斯混合模型、第二层高斯混合模型,直至建立建立第S层高斯混合模型,将所有高斯混合模型组合得到说话人的深度混合模型;然后获取测试语音数据并提取梅尔倒谱特征集,建立测试语音数据的深度混合模型;计算两个模型的相似度:若相似度小于等于阈值,则测试语音数据属于目标说话人。本发明不仅考虑数据自身分布,还考虑数据的导数分布,提升说话人确认的准确性。

Description

一种基于深度混合模型的说话人确认方法
技术领域
本发明属于声纹识别、模式识别与机器学习技术领域,特别地涉及一种基于深度混合模型(deep mixture model,DMM)的说话人确认方法。
背景技术
说话人确认是指判断一条测试语音是否是指定的说话人说的。随着信息技术和通信技术的迅速发展,说话人确认技术越来越受到重视并在诸多领域得到广泛的应用。如身份鉴别,缉拿电话信道罪犯,法庭中根据电话录音做身份确认,电话语音跟踪,提供防盗门开启功能。互联网应用和通信领域,说话人确认技术可以应用于声音拨号、电话银行、电话购物、数据库访问、信息服务、语音e-mail、安全控制、计算机远程登录等领域。
传统说话人确认一般先对每个人的训练语音进行分帧,得到每帧的特征向量。将这些特征向量作为训练数据对每个说话人建立高斯混合模型(Gaussian mixture model,GMM)。高斯混合模型由几个高斯模型的加权和组成,具有很强的描述能力,理论上可以近似任意的概率分布。高斯混合模型一般通过期望最大化(Expection-Maximizationalgorithm,EM)算法训练得到。通过迭代步骤E步和M步,使训练数据的似然函数逐步增大。但是高斯混合模型对数据进行建模时,仅仅考虑了数据自身的分布,没有考虑数据的导数性质。而导数性质对数据分析起着重要的作用,如果能将数据的导数性质考虑在数据概率模型中,可以大大提高说话人建模的准确性,进而提高说话人确认方法的性能。
发明内容
本发明的目的是为克服传统高斯混合模型对说话人进行建模时没有考虑数据的导数性质的缺点,提出一种基于深度混合模型的说话人确认方法。本发明不仅考虑数据自身的分布,还考虑数据的一阶导数、二阶导数至S阶导数的分布,增强了数据分布描述的准确性,提高说话人模型的准确性,进而提高说话人确认的准确性。
本发明提出一种基于深度混合模型的说话人确认方法:其特征在于,包括以下步骤
1)建立说话人的深度混合模型,具体步骤如下:
1.1)获取说话人的训练语音数据;
选取一个目标说话人的语音数据作为训练语音数据,训练语音数据数目为1条-5条,每条长度10秒-120秒;
1.2)对训练语音数据进行预处理,提取步骤1.1)获取的所有训练语音数据对应的M个D维梅尔倒谱特征集
Figure GDA0003147868800000021
其中,M为训练语音数据的总帧数,D为特征维数,
Figure GDA0003147868800000022
代表第i帧的梅尔倒谱特征,i=1,2…M,上标0表示未求导;
1.3)对步骤1.2)得到的梅尔倒谱特征集
Figure GDA0003147868800000023
建立第0层高斯混合模型,表达式如下:
Figure GDA0003147868800000024
其中,C0表示f0(x)的高斯个数,100≤C0≤2000;
Figure GDA0003147868800000025
Figure GDA0003147868800000026
分别表示f0(x)的第c个高斯的权重、均值和方差,权重服从
Figure GDA0003147868800000027
为单高斯分布,其概率密度函数为:
Figure GDA0003147868800000028
1.4)求取f0(x)的导数;
Figure GDA0003147868800000029
Figure GDA00031478688000000210
中的每个数对应的导数分别为:
Figure GDA00031478688000000211
将式(4)求得的所有导数组成一阶导数集
Figure GDA00031478688000000212
上标1表示1阶导数;
1.5)对一阶导数集
Figure GDA00031478688000000213
建立第一层高斯混合模型,表达式如下:
Figure GDA00031478688000000214
其中,C1表示f1(x)的高斯个数,100≤C1≤2000;
Figure GDA00031478688000000215
Figure GDA00031478688000000216
分别表示f1(x)的第c个高斯的权重、均值和方差;
1.6)求取f1(x)的导数;
Figure GDA00031478688000000217
Figure GDA00031478688000000218
中的每个数对应的导数分别为:
Figure GDA00031478688000000219
将式(7)求得的所有导数组成二阶导数集
Figure GDA00031478688000000220
上标2表示2阶导数;
1.7)重复步骤1.5)至步骤1.6),直至建立第S层高斯混合模型fS(x),S的取值范围为2-10,得到最终说话人的深度混合模型DMM=[f0(x),f1(x),f2(x),……,fS(x)];
2)说话人确认;具体步骤如下:
2.1)获取一条测试语音数据;
2.2)对步骤2.1)获取的测试语音数据进行预处理,提取测试语音数据的D维梅尔倒谱特征集;
2.3)重复步骤1.3)至1.7),令S及每层高斯个数C0,C1,……,CS不变,建立测试语音数据的深度混合模型
Figure GDA0003147868800000031
其中,
Figure GDA0003147868800000032
表示测试语音数据的第i层高斯混合模型,i=0,1,2,......,S;
2.4)利用KL距离计算DMM和DMMtest之间的相似度;具体如下:
首先分别计算两个模型每层之间的相似度,其中第s层的相似度为:
Figure GDA0003147868800000033
再根据每层的相似度计算总体相似度:
Figure GDA0003147868800000034
其中weights表示第s层所占的权重:
weights=S+1-s
2.5)对步骤2.4)计算得到的相似度进行判定:若DKL小于或等于设定的阈值,则判断测试语音数据属于步骤1)选取的目标说话人;若相似度DKL大于阈值,则判断测试语音数据不属于该目标说话人;说话人确认完毕。
本发明的特点及有益效果在于:
本发明提出的一种基于深度混合模型的说话人确认方法不仅考虑了语音数据自身的分布特性,还考虑了数据的导数的分布特性,可提高说话人模型的准确性,从而提高说话人确认的准确性。
附图说明
图1是本发明方法的整体流程图。
图2是本发明中建立说话人的深度混合模型的流程图。
具体实施方式
本发明提出一种基于深度混合模型的说话人确认方法,下面结合附图和具体实施例进一步详细说明如下。
本发明提出一种基于深度混合模型的说话人确认方法,包括以下步骤:
1)建立说话人的深度混合模型,流程如图1所示,具体步骤如下:
1.1)获取说话人的训练语音数据;
本实施例中,采用NISTsre16评测中的一个目标说话人的语音数据作为训练语音数据。训练语音数据数目为1条-5条,每条长度10秒-120秒,每条训练数据都已知是该目标说话人的语音。
1.2)对训练语音数据进行预处理,提取步骤1.1)获取的所有训练语音数据对应的M个D维梅尔倒谱特征集
Figure GDA0003147868800000041
其中,M为训练语音数据的总帧数,M等于所有训练语音数据的总长度除以每帧语音的长度,每帧长度为25ms。D为特征维数,D的取值一般为12,24,36,40,60。
Figure GDA0003147868800000042
代表第i帧的梅尔倒谱特征,i=1,2…M,上标0表示未求导。本实施例中,维数D=40。
1.3)对步骤1.2)得到的梅尔倒谱特征集
Figure GDA0003147868800000043
建立第0层高斯混合模型(Gaussian mixture model,GMM),表达式如下:
Figure GDA0003147868800000044
其中C0表示f0(x)的高斯个数,100≤C0≤2000。本实施例中,C0取值为1024;
Figure GDA0003147868800000045
Figure GDA0003147868800000046
Figure GDA0003147868800000047
分别表示f0(x)的第c个高斯的权重、均值和方差,权重服从
Figure GDA0003147868800000048
为单高斯分布,其概率密度函数为:
Figure GDA0003147868800000049
高斯混合模型f0(x)可以通过EM算法训练得到。
1.4)求取f0(x)的导数;
Figure GDA00031478688000000410
Figure GDA00031478688000000411
中的每个数对应的导数分别为:
Figure GDA00031478688000000412
将式(4)求得的所有导数组成一阶导数集
Figure GDA00031478688000000413
上标1表示1阶导数。
1.5)对一阶导数集
Figure GDA00031478688000000414
建立第一层高斯混合模型,表达式如下:
Figure GDA00031478688000000415
其中,C1表示f1(x)的高斯个数,100≤C1≤2000;本实施例中,C1取值为512;
Figure GDA00031478688000000416
Figure GDA00031478688000000417
Figure GDA00031478688000000418
分别表示f1(x)的第c个高斯的权重、均值和方差;通过EM算法训练得到f1(x)。
1.6)求取f1(x)的导数;
Figure GDA00031478688000000419
Figure GDA0003147868800000051
中的每个数对应的导数分别为:
Figure GDA0003147868800000052
将式(7)求得的所有导数组成二阶导数集
Figure GDA0003147868800000053
上标2表示2阶导数后。
1.7)重复步骤1.5)至步骤1.6),继续建立第二层高斯混合模型f2(x)并组成三阶导数集
Figure GDA0003147868800000054
建立第三层高斯混合模型f3(x)并组成四阶导数集
Figure GDA0003147868800000055
……,直到建立第S层高斯混合模型fS(x),循环结束(S的取值范围为2-10),得到最终说话人的深度混合模型DMM=[f0(x),f1(x),f2(x),f3(x),……,fS(x)]。本实施例中,S=2,C2取值为512,最终该说话人的模型为DMM=[f0(x),f1(x),f2(x)]。
本发明中建的S层深度混合模型,每一层为一个高斯混合模型,f0(x)为第0层,f1(x)为第1层,……,fS(x)为第S层。2)说话人确认;具体步骤如下:
2.1)获取测试语音数据;获取方式可以为现场录音或电话录音。测试语音数据一般是10秒-120秒的一条语音数据。测试语音数据对应的说话人是未知的。本发明所提的方法目的就是判断测试语音数据是否是步骤1)中给定的目标说话人说的。
2.2)对步骤2.1)获取的测试语音数据进行预处理,提取测试语音数据的D维梅尔倒谱特征集;其中,测试语音数据的每个特征也为D维,帧数随语音长度变化,为语音长度除以每帧长度,每帧长度25ms。
2.3)重复步骤1.3)至1.7),令S及每层高斯个数C0,C1,……,CS不变,建立测试语音数据的深度混合模型
Figure GDA0003147868800000056
其中,
Figure GDA0003147868800000057
表示测试语音数据的第i层高斯混合模型,i=0,1,2,......,S。本实施例中,测试语音数据的深度混合模型为:
Figure GDA0003147868800000058
2.4)利用KL距离(Kullback-Leibler divergence)计算DMM和DMMtest之间的相似度;具体如下:
首先分别计算两个模型每层之间的相似度,其中第s层的相似度为:
Figure GDA0003147868800000059
再根据每层的相似度计算总体相似度:
Figure GDA00031478688000000510
其中weights表示第s层所占的权重:
weights=S+1-s
本实施例中,S=2,所以:
Figure GDA0003147868800000061
weights=3-s
2.5)对步骤2.4)计算得到的相似度进行判定:若相似度DKL小于或等于设定的阈值(阈值取值范围大于0,本实施例中,阈值取值为0.5),则判断测试语音数据属于步骤1)选取的目标说话人;若相似度DKL大于阈值,则判断测试语音数据不属于该目标说话人;说话人确认完毕。
本发明所述方法可通过本领域普通技术人员编程实现,本领域普通技术人员可以理解为,上述深度混合模型可以通过程序来完成的,所述的程序可以存储于一种计算机可读存储介质中。
以上所述的仅为本发明的一个具体实施例而已,显然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (1)

1.一种基于深度混合模型的说话人确认方法:其特征在于,包括以下步骤
1)建立说话人的深度混合模型,具体步骤如下:
1.1)获取说话人的训练语音数据;
选取一个目标说话人的语音数据作为训练语音数据,训练语音数据数目为1条-5条,每条长度10秒-120秒;
1.2)对训练语音数据进行预处理,提取步骤1.1)获取的所有训练语音数据对应的M个D维梅尔倒谱特征集
Figure FDA0003147868790000011
其中,M为训练语音数据的总帧数,D为特征维数,
Figure FDA0003147868790000012
代表第i帧的梅尔倒谱特征,i=1,2...M,上标0表示未求导;
1.3)对步骤1.2)得到的梅尔倒谱特征集
Figure FDA0003147868790000013
建立第0层高斯混合模型,表达式如下:
Figure FDA0003147868790000014
其中,C0表示f0(x)的高斯个数,100≤C0≤2000;
Figure FDA0003147868790000015
Figure FDA0003147868790000016
分别表示f0(x)的第c个高斯的权重、均值和方差,权重服从
Figure FDA0003147868790000017
Figure FDA0003147868790000018
为单高斯分布,其概率密度函数为:
Figure FDA0003147868790000019
1.4)求取f0(x)的导数;
Figure FDA00031478687900000110
Figure FDA00031478687900000111
中的每个数对应的导数分别为:
Figure FDA00031478687900000112
将式(4)求得的所有导数组成一阶导数集
Figure FDA00031478687900000113
上标1表示1阶导数;
1.5)对一阶导数集
Figure FDA00031478687900000114
建立第一层高斯混合模型,表达式如下:
Figure FDA00031478687900000115
其中,C1表示f1(x)的高斯个数,100≤C1≤2000;
Figure FDA00031478687900000116
Figure FDA00031478687900000117
分别表示f1(x)的第c个高斯的权重、均值和方差;
1.6)求取f1(x)的导数;
Figure FDA00031478687900000118
Figure FDA00031478687900000119
中的每个数对应的导数分别为:
Figure FDA0003147868790000021
将式(7)求得的所有导数组成二阶导数集
Figure FDA0003147868790000022
上标2表示2阶导数;
1.7)重复步骤1.5)至步骤1.6),直至建立第S层高斯混合模型fs(x),S的取值范围为2-10,得到最终说话人的深度混合模型DMM=[f0(x),f1(x),f2(x),……,fS(x)];
2)说话人确认;具体步骤如下:
2.1)获取一条测试语音数据;
2.2)对步骤2.1)获取的测试语音数据进行预处理,提取测试语音数据的D维梅尔倒谱特征集;
2.3)重复步骤1.3)至1.7),令S及每层高斯个数C0,C1,……,CS不变,建立测试语音数据的深度混合模型
Figure FDA0003147868790000023
其中,
Figure FDA0003147868790000024
表示测试语音数据的第i层高斯混合模型,i=0,1,2,……,S;
2.4)利用KL距离计算DMM和DMMtest之间的相似度;具体如下:
首先分别计算两个模型每层之间的相似度,其中第s层的相似度为:
Figure FDA0003147868790000025
再根据每层的相似度计算总体相似度:
Figure FDA0003147868790000026
其中weights表示第s层所占的权重:
weights=S+1-s
2.5)对步骤2.4)计算得到的相似度进行判定:若DKL小于或等于设定的阈值,则判断测试语音数据属于步骤1)选取的目标说话人;若相似度DKL大于阈值,则判断测试语音数据不属于该目标说话人;说话人确认完毕。
CN201810465602.2A 2018-05-16 2018-05-16 一种基于深度混合模型的说话人确认方法 Active CN108694950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810465602.2A CN108694950B (zh) 2018-05-16 2018-05-16 一种基于深度混合模型的说话人确认方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810465602.2A CN108694950B (zh) 2018-05-16 2018-05-16 一种基于深度混合模型的说话人确认方法

Publications (2)

Publication Number Publication Date
CN108694950A CN108694950A (zh) 2018-10-23
CN108694950B true CN108694950B (zh) 2021-10-01

Family

ID=63846358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810465602.2A Active CN108694950B (zh) 2018-05-16 2018-05-16 一种基于深度混合模型的说话人确认方法

Country Status (1)

Country Link
CN (1) CN108694950B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111933152B (zh) * 2020-10-12 2021-01-08 北京捷通华声科技股份有限公司 注册音频的有效性的检测方法、检测装置和电子设备
CN113468892A (zh) * 2021-06-21 2021-10-01 北京搜狗科技发展有限公司 一种模型测试方法、装置和用于模型测试的装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102820033A (zh) * 2012-08-17 2012-12-12 南京大学 一种声纹识别方法
CN103811020A (zh) * 2014-03-05 2014-05-21 东北大学 一种智能语音处理方法
CN106683680A (zh) * 2017-03-10 2017-05-17 百度在线网络技术(北京)有限公司 说话人识别方法及装置、计算机设备及计算机可读介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140222423A1 (en) * 2013-02-07 2014-08-07 Nuance Communications, Inc. Method and Apparatus for Efficient I-Vector Extraction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102820033A (zh) * 2012-08-17 2012-12-12 南京大学 一种声纹识别方法
CN103811020A (zh) * 2014-03-05 2014-05-21 东北大学 一种智能语音处理方法
CN106683680A (zh) * 2017-03-10 2017-05-17 百度在线网络技术(北京)有限公司 说话人识别方法及装置、计算机设备及计算机可读介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"New technique to use the GMM in speaker recognition system (SRS)";Snani Cherifa et al.;《2013 International Conference on Computer Applications Technology (ICCAT)》;20130330;全文 *
"Speaker Recognition using Gaussian Mixture Model";SN Mandal et al.;《UNIVERSITE M’HAMED BOUGARA-BOUMERDES(Année Universitaire 2013/2014)》;20151231;全文 *
"基于高斯混合模型的说话人识别***的研究";王书诏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20070215;全文 *

Also Published As

Publication number Publication date
CN108694950A (zh) 2018-10-23

Similar Documents

Publication Publication Date Title
Liu et al. Speaker verification with deep features
Qian et al. Deep feature engineering for noise robust spoofing detection
CN106898355B (zh) 一种基于二次建模的说话人识别方法
CN108986824A (zh) 一种回放语音检测方法
CN109346084A (zh) 基于深度堆栈自编码网络的说话人识别方法
CN110299142A (zh) 一种基于网络融合的声纹识别方法及装置
Li et al. SNR-invariant PLDA modeling in nonparametric subspace for robust speaker verification
CN104485108A (zh) 一种基于多说话人模型的噪声与说话人联合补偿方法
Poorjam et al. Multitask speaker profiling for estimating age, height, weight and smoking habits from spontaneous telephone speech signals
CN109378014A (zh) 一种基于卷积神经网络的移动设备源识别方法及***
CN112053694A (zh) 一种基于cnn与gru网络融合的声纹识别方法
CN108694950B (zh) 一种基于深度混合模型的说话人确认方法
CN110111798A (zh) 一种识别说话人的方法及终端
CN110085236B (zh) 一种基于自适应语音帧加权的说话人识别方法
CN111243621A (zh) 一种用于合成语音检测的gru-svm深度学习模型的构造方法
Kanagasundaram Speaker verification using I-vector features
Desai et al. Speaker recognition using MFCC and hybrid model of VQ and GMM
Michalevsky et al. Speaker identification using diffusion maps
Tuasikal et al. Voice activation using speaker recognition for controlling humanoid robot
Zhonghua et al. An overview of modeling technology of speaker recognition
Herrera-Camacho et al. Design and testing of a corpus for forensic speaker recognition using MFCC, GMM and MLE
CN114067803A (zh) 一种基于距离相关的度量学习的说话人确认方法
Sarmah Comparison studies of speaker modeling techniques in speaker verification system
Komlen et al. Text independent speaker recognition using LBG vector quantization
Mohamed et al. An Overview of the Development of Speaker Recognition Techniques for Various Applications.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant