CN103700371B - 一种基于声纹识别的来电身份识别***及其识别方法 - Google Patents
一种基于声纹识别的来电身份识别***及其识别方法 Download PDFInfo
- Publication number
- CN103700371B CN103700371B CN201310677837.5A CN201310677837A CN103700371B CN 103700371 B CN103700371 B CN 103700371B CN 201310677837 A CN201310677837 A CN 201310677837A CN 103700371 B CN103700371 B CN 103700371B
- Authority
- CN
- China
- Prior art keywords
- sound
- feature
- application
- voice print
- vocal print
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
Abstract
本发明公开了一种基于声纹识别的来电身份识别***及其识别方法,该***包括声纹获取单元、声纹处理器单元、声纹数据存储单元、声纹识别单元;所述声纹获取单元、声纹数据存储单元、声纹识别单元分别与声纹处理器单元相连,声纹获取单元向声纹处理器单元单向通信,声纹识别单元向声纹处理器单元单向通信,声纹数据存储单元和声纹处理器单元相互通信,声纹识别单元向声纹数据存储单元单向通信。本发明在通信设备中建立一个声纹模型库,在通话中将通话人的声学特征与预先存入的已知联系人的声纹模型逐一作对比来判别通话人的身份信息。即当某已知联系人使用不同通信设备中未记录号码电话与机主通话时都能通过来电者的声音来辅助判别其身份。
Description
技术领域
本发明涉及声纹识别技术,即根据说话人的发音特征,自动识别说话人身份的一种生物识别方法。
背景技术
所谓声纹(Voiceprint),是用电声学仪器显示的携带言语信息的声波频谱。人类语言的产生是人体语言中枢与发音器官之间一个复杂的生理物理过程,人在讲话时使用的发声器官--舌、牙齿、喉头、肺、鼻腔在尺寸和形态方面每个人的差异很大,所以任何两个人的声纹图谱都有差异。每个人的语音声学特征既有相对稳定性,又有变异性,不是绝对的、一成不变的。这种变异可来自生理、病理、心理、模拟、伪装,也与环境干扰有关。尽管如此,由于每个人的发音器官都不尽相同,因此在一般情况下,人们仍能区别不同的人的声音或判断是否是同一人的声音。
声纹识别的一般过程:
(1)从待识别人的声音中提取声学特征形成待识别的特征矢量序列;
(2)将待识别的特征矢量序列与该模型库中的声纹模型逐一进行匹配比较得到特征矢量序列与每个说话人声纹模型的匹配得分(也称为对数似然的分,或似然得分,或得分),并进行判决;计算特征矢量序列与说话人模型匹配分数;
(3)根据声纹的识别方法的类型(闭集声纹鉴别、开集声纹鉴别和声纹确认),在需要的时候进行拒识判决,从而得出结果。
声纹识别可以说有两个关键问题,一是特征提取,二是模式匹配(模式识别)。特征提取的任务是提取并选择声音片段中具有可分性强、稳定性高等特性的声学或语言特征。与语音识别不同,声纹识别的特征必须是“个性化”特征,而说话人识别的特征对说话者本人来讲必须是“共性特征”。
现有的语音识别装置当通信设备中存储联系人换了号码或用未知电话给机主通话时,机主不能及时判断通话人的身份。
发明内容
针对现有技术中语音识别存在的识别率不高的问题,本发明提供一种基于声纹识别的来电身份识别***及其识别方法,在通信设备中植入声纹识别模块用来判别联系人身份。
本发明的技术方案如下:
一种基于声纹识别的来电身份识别***,包括声纹获取单元、声纹处理器单元、声纹数据存储单元、声纹识别单元;所述声纹获取单元、声纹数据存储单元、声纹识别单元分别与声纹处理器单元相连,声纹获取单元向声纹处理器单元单向通信,声纹识别单元向声纹处理器单元单向通信,声纹数据存储单元和声纹处理器单元相互通信,声纹识别单元向声纹数据存储单元单向通信。
一种基于声纹识别的来电身份识别***的识别方法,包括如下步骤:
(1)声纹特征提取:
当有未知声纹源进入声纹获取单元后,自动触发保存提示功能,提示使用者保存该声纹数据以便下一次通话时自动识别该联系人;使用者确认保存该声纹数据后,声纹处理器单元将形成由所有联系人的声纹模型构成的声纹模型库,所述声纹模型是从联系人的声音中提取声学特征构建而成,声纹模型中的声学特征和身份信息相互关联绑定在一起;
(2)声纹特征通讯录的存储:
将所述声纹模型库存储于声纹数据存储单元中,所述声纹数据存储单元设置于手机内存中,或者设置于外部存储卡中;
(3)模式识别:
当已保存的联系人来电时,声纹识别单元提取来电者的声学特征形成待识别的特征矢量序列并通过模式匹配来判别联系人身份;当新联系人与机主通话时,声纹识别单元无法识别,但仍提取来电人的声学特征,通话结束后自动提醒机主是否将来电者存为新联系人。
进一步,所述提取声学特征构和存储声纹特征的具体过程为:
(1)当来电通话开始时,启动声纹获取模块,获取来电者的声音片段并存储;
(2)通过分析声音片段提取来电者的声学特征;
(3)模式匹配,将已获得的声纹特征与声纹模型库中已存储的声纹模型进行比对;
(4)判定,将得分与预先设定的得分判定阈值进行比较;
(5)输出,当匹配成功后,输出匹配结果,即识别到的联系人相关信息;当匹配不成功时,通话结束后输出提示信息提示用户存储该声纹信息以及相关电话号码姓名信息,以便下次通话时实时识别;
(6)存储,当通话结束后,使用者采纳提示建议,***将该声纹信息及其相关身份信息存入存储单元,并加入声纹模型库;反之,不存储。
进一步,步骤(1)中,声纹获取单元获取来电者通话的一段声音片段,存入声纹数据存储单元中分配的一块临时存储区中,以备对其进行声学特征分析;当分析结束后,声纹特征被保留,其余被声音数据自动删除。
进一步,步骤(2)中,提取声音片段中能反映通话者的可分性强、稳定性高的声纹特征,并将之存放在临时存储区。
进一步,步骤(3)中,将待识别的特征矢量序列与模型库中的声纹模型逐一进行匹配比较得到特征矢量序列与每个说话人声纹模型的匹配得分,也即对数似然得分或似然得分或得分。
进一步,步骤(4)中,当得分大于或等于阈值时判定为匹配成功;当得分小于阈值时判定为匹配失败。
进一步,步骤(5)中,输出方式为语音提示、震动、屏幕显示,或三种方式的两两组合、又或以上三种方式组合在一起。
本发明的有益效果是:
本发明一种基于声纹识别的来电身份识别***建立了一个声纹模型库(相当于我们现在的通讯录),通讯录是以声学特征为标识并与联系人身份信息绑定形成声纹模型,在通话中将通话人的声学特征与预先存入的已知联系人的声纹模型逐一作对比来判别通话人的身份信息。当无法通过电话号码判别来电身份时,可以通过声学特征匹配来判别来电者的身份。当通信设备中存储的联系人换了号码或用未知电话给机主通话时,机主仍能及时判断通话人的身份。
附图说明
图1是基于声纹识别的来电身份识别***的示意图;
图2是识别来电者身份的方法流程图。
具体实施方式
以下将结合附图所示的各实施方式对本发明进行详细描述。但这些实施方式并不限制本发明,本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。本例以手机为例对本发明具体实施方式进行说明。
Step1 ***建立。如图1所示,基于声纹识别的来电身份识别***包含如下部分:声纹获取单元、声纹处理器单元、声纹数据存储单元、声纹识别单元。本发明包含的功能主要有以下方面:
声纹特征提取:
当有未知声纹源进入声纹采集单元后,自动触发保存提示功能,提示使用者保存该声纹数据以便下一次通话时自动识别该联系人。使用者确认保存该声纹数据后,将会形成一个特殊的通讯录,即声纹模型库:从联系人的声音中提取声学特征构建声纹模型,所有联系人的声纹模型构成声纹模型库。声纹模型中会有联系人的声学特征及其身份信息,身份信息包括电话号码、姓名等,声学特征和身份信息是相互关联绑定在一起的。
声纹特征通讯录的存储:
声纹模型库可以建在手机内存中,也可以建在外部存储卡中,便于未知号码来电时,通话开始后自动调用声纹数据,并开展比对确认通话者身份。
模式匹配(模式识别):
与一般手机通讯录不同的是,一般都是以电话号码为标识并与联系人身份信息绑定,通过电话号码匹配来识别来电者的身份;而此通讯录是以声学特征为标识并与联系人身份信息绑定形成声纹模型,当无法通过电话号码判别来电身份时,可以通过声学特征匹配来判别来电者的身份;
当已保存的联系人来电时,声纹识别模块将提取来电者的声学特征形成待识别的特征矢量序列并通过模式匹配来判别联系人身份;当新联系人与机主通话时,声纹识别模块无法识别,并会提取来电人的声学特征,通话结束后便会自动提醒机主是否要将刚才的通话人存为新联系人。
Step2 当来电通话开始时,启动声纹模块,获取来电者的声音片段;
Step21 获取来电者通话的一段声音片段,存入声纹存储单元中分配的一块临时存储区中,以备对其进行声学特征分析。当分析结束后,声纹特征被保留,其余被声音数据自动删除。
Step3 通过分析声音片段提取来电者的声学特征;
Step31手机中植入的声纹识别模块会对获取的声音片段进行声学特征提取。提取声音片段中能反映该通话者的可分性强、稳定性高的声纹特征,并将之存放在临时存储区。
Step4模式匹配;将已获得的声纹特征与声纹模型库中已存储的声纹模型进行比对;
Step41 将待识别的特征矢量序列与该模型库中的声纹模型逐一进行匹配比较得到特征矢量序列与每个说话人声纹模型的匹配得分,也称为对数似然得分或似然得分或得分;
Step5 判定,将得分与预先设定的得分判定阈值进行比较;
Step51当得分大于或等于阈值时判定为匹配成功;
Step52当得分小于阈值时判定为匹配失败;
Step6 输出,当匹配成功后,输出匹配结果,即识别到的联系人相关信息;当匹配不成功时,通话结束后输出提示信息提示用户存储该声纹信息以及相关电话号码姓名等信息,以便下次通话时实时识别。
Step61 输出方式有多种,可以是语音提示、震动、屏幕显示、或三者组合。
Step7 存储,当通话结束后,使用者采纳提示建议,***将该声纹信息及其相关身份信息存入存储单元,并加入声纹模型库。反之,不存储。
Claims (6)
1.一种基于声纹识别的来电身份识别***的识别方法,所述***包括声纹获取单元、声纹处理器单元、声纹数据存储单元、声纹识别单元;所述声纹获取单元、声纹数据存储单元、声纹识别单元分别与声纹处理器单元相连,声纹获取单元向声纹处理器单元单向通信,声纹识别单元向声纹处理器单元单向通信,声纹数据存储单元和声纹处理器单元相互通信,声纹识别单元向声纹数据存储单元单向通信;所述方法包括如下步骤:
(1)声纹特征提取:
当有未知声纹源进入声纹获取单元后,自动触发保存提示功能,提示使用者保存该声纹数据以便下一次通话时自动识别该声纹数据对应的联系人;使用者确认保存该声纹数据后,声纹处理器单元将形成由所有联系人的声纹模型构成的声纹模型库,所述声纹模型是从联系人的声音中提取声学特征构建而成,声纹模型中的声学特征和身份信息相互关联绑定在一起;
(2)声纹特征通讯录的存储:
将所述声纹模型库存储于声纹数据存储单元中,所述声纹数据存储单元设置于手机内存中,或者设置于外部存储卡中;
(3)模式识别:
当已保存的联系人来电时,声纹识别单元提取来电者的声学特征形成待识别的特征矢量序列并通过模式匹配来判别联系人身份;当新联系人与机主通话时,声纹识别单元无法识别,但仍提取来电人的声学特征,通话结束后自动提醒机主是否将来电者存为新联系人;
所述提取声学特征构和存储声纹特征的具体过程为:
(1)当来电通话开始时,启动声纹获取模块,获取来电者的声音片段并存储;
(2)通过分析声音片段提取来电者的声学特征;
(3)模式匹配,将已获得的声纹特征与声纹模型库中已存储的声纹模型进行比对;
(4)判定,将得分与预先设定的得分判定阈值进行比较;
(5)输出,当匹配成功后,输出匹配结果,即识别到的联系人相关信息;当匹配不成功时,通话结束后输出提示信息提示用户存储该声纹信息以及相关电话号码姓名信息,以便下次通话时实时识别;
(6)存储,当通话结束后,使用者采纳提示建议,***将该声纹信息及其相关身份信息存入存储单元,并加入声纹模型库;反之,不存储。
2.根据权利要求1所述的一种基于声纹识别的来电身份识别***的识别方法,其特征在于,步骤(1)中,声纹获取单元获取来电者通话的一段声音片段,存入声纹数据存储单元中分配的一块临时存储区中,以备对其进行声学特征分析;当分析结束后,声纹特征被保留,其余被声音数据自动删除。
3.根据权利要求1所述的一种基于声纹识别的来电身份识别***的识别方法,其特征在于,步骤(2)中,提取声音片段中能反映通话者的可分性强、稳定性高的声纹特征,并将之存放在临时存储区。
4.根据权利要求1所述的一种基于声纹识别的来电身份识别***的识别方法,其特征在于,步骤(3)中,将待识别的特征矢量序列与模型库中的声纹模型逐一进行匹配比较得到特征矢量序列与每个说话人声纹模型的匹配得分,也即对数似然得分。
5.根据权利要求1所述的一种基于声纹识别的来电身份识别***的识别方法,其特征在于,步骤(4)中,当得分大于或等于阈值时判定为匹配成功;当得分小于阈值时判定为匹配失败。
6.根据权利要求1所述的一种基于声纹识别的来电身份识别***的识别方法,其特征在于,步骤(5)中,输出方式为语音提示、震动、屏幕显示,或三种方式的两两组合、又或以上三种方式组合在一起。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310677837.5A CN103700371B (zh) | 2013-12-13 | 2013-12-13 | 一种基于声纹识别的来电身份识别***及其识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310677837.5A CN103700371B (zh) | 2013-12-13 | 2013-12-13 | 一种基于声纹识别的来电身份识别***及其识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103700371A CN103700371A (zh) | 2014-04-02 |
CN103700371B true CN103700371B (zh) | 2017-10-20 |
Family
ID=50361877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310677837.5A Active CN103700371B (zh) | 2013-12-13 | 2013-12-13 | 一种基于声纹识别的来电身份识别***及其识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103700371B (zh) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105306657B (zh) * | 2014-06-20 | 2019-07-26 | 中兴通讯股份有限公司 | 身份识别方法、装置及通讯终端 |
CN104123115B (zh) * | 2014-07-28 | 2017-05-24 | 联想(北京)有限公司 | 一种音频信息处理方法及电子设备 |
CN104135573A (zh) * | 2014-08-18 | 2014-11-05 | 联想(北京)有限公司 | 信息处理方法和装置 |
CN104284021A (zh) * | 2014-09-24 | 2015-01-14 | 深圳市金立通信设备有限公司 | 一种信息提醒方法 |
CN106161749B (zh) * | 2015-04-13 | 2020-09-08 | 深圳市腾讯计算机***有限公司 | 一种恶意电话识别方法,及装置 |
CN104835498B (zh) * | 2015-05-25 | 2018-12-18 | 重庆大学 | 基于多类型组合特征参数的声纹识别方法 |
CN104954532B (zh) * | 2015-06-19 | 2018-08-31 | 深圳天珑无线科技有限公司 | 语音识别的方法及装置与移动终端 |
CN105022263B (zh) * | 2015-07-28 | 2018-03-27 | 广东欧珀移动通信有限公司 | 一种控制智能手表的方法及智能手表 |
CN107370865A (zh) * | 2016-05-12 | 2017-11-21 | 中兴通讯股份有限公司 | 骚扰电话的识别方法、装置及终端 |
CN107705791B (zh) * | 2016-08-08 | 2021-06-04 | 中国电信股份有限公司 | 基于声纹识别的来电身份确认方法、装置和声纹识别*** |
CN110121879B (zh) * | 2016-12-30 | 2020-12-15 | 华为技术有限公司 | 识别通话对象身份的方法和终端设备 |
CN106782571A (zh) * | 2017-01-19 | 2017-05-31 | 广东美的厨房电器制造有限公司 | 一种控制界面的显示方法和装置 |
CN107181851A (zh) * | 2017-04-25 | 2017-09-19 | 上海与德科技有限公司 | 通话控制方法及装置 |
CN107690036A (zh) * | 2017-06-24 | 2018-02-13 | 平安科技(深圳)有限公司 | 电子装置、进线身份识别方法和计算机可读存储介质 |
CN107563758A (zh) * | 2017-07-18 | 2018-01-09 | 厦门快商通科技股份有限公司 | 一种解决金融信审业务中惯犯诈骗的检测方法与*** |
CN107680598B (zh) * | 2017-09-04 | 2020-12-11 | 百度在线网络技术(北京)有限公司 | 基于好友声纹通讯录的信息交互方法、装置及其设备 |
CN107731234A (zh) * | 2017-09-06 | 2018-02-23 | 阿里巴巴集团控股有限公司 | 一种身份验证的方法及装置 |
CN107623614B (zh) * | 2017-09-19 | 2020-12-08 | 百度在线网络技术(北京)有限公司 | 用于推送信息的方法和装置 |
CN108170710A (zh) * | 2017-11-28 | 2018-06-15 | 苏州市东皓计算机***工程有限公司 | 一种计算机声音识别*** |
CN110010135B (zh) * | 2018-01-05 | 2024-05-07 | 北京搜狗科技发展有限公司 | 一种基于语音的身份识别方法、装置和电子设备 |
CN108307056A (zh) * | 2018-01-22 | 2018-07-20 | 维沃移动通信有限公司 | 一种号码的处理方法及移动终端 |
CN108683789A (zh) * | 2018-05-23 | 2018-10-19 | Oppo广东移动通信有限公司 | 联系人信息添加方法、装置、终端及存储介质 |
CN109009170A (zh) * | 2018-07-20 | 2018-12-18 | 深圳市沃特沃德股份有限公司 | 探测情绪的方法与装置 |
CN109599116B (zh) * | 2018-10-08 | 2022-11-04 | 中国平安财产保险股份有限公司 | 基于语音识别的监管保险理赔的方法、装置和计算机设备 |
CN110430321A (zh) * | 2019-07-30 | 2019-11-08 | 奇酷互联网络科技(深圳)有限公司 | 给来电用户备注的方法、存储介质以及移动终端 |
CN111046366B (zh) * | 2019-12-17 | 2022-05-20 | 佳讯飞鸿(北京)智能科技研究院有限公司 | 用户身份识别方法、装置和电子设备 |
CN111343328B (zh) * | 2020-02-14 | 2021-04-06 | 厦门快商通科技股份有限公司 | 基于声纹识别的通话管理方法、***及移动终端 |
CN113948092A (zh) * | 2021-09-01 | 2022-01-18 | 联通(广东)产业互联网有限公司 | 基于声纹的目标人物识别方法、***、装置及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101321387A (zh) * | 2008-07-10 | 2008-12-10 | ***通信集团广东有限公司 | 基于通信***的声纹识别方法及*** |
CN101794577A (zh) * | 2009-01-30 | 2010-08-04 | 株式会社Ntt都科摩 | 声音识别服务器、电话机、声音识别***以及声音识别方法 |
CN102708867A (zh) * | 2012-05-30 | 2012-10-03 | 北京正鹰科技有限责任公司 | 一种基于声纹和语音的防录音假冒身份识别方法及*** |
CN102724278A (zh) * | 2012-05-07 | 2012-10-10 | 华为终端有限公司 | 云端语音信箱实现方法、终端和云服务平台 |
CN102831890A (zh) * | 2011-06-15 | 2012-12-19 | 镇江佳得信息技术有限公司 | 一种对文本无关的声纹进行识别的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001274907A (ja) * | 2000-03-24 | 2001-10-05 | Nec Shizuoka Ltd | 発信者認識システムおよび発信者認識方法 |
-
2013
- 2013-12-13 CN CN201310677837.5A patent/CN103700371B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101321387A (zh) * | 2008-07-10 | 2008-12-10 | ***通信集团广东有限公司 | 基于通信***的声纹识别方法及*** |
CN101794577A (zh) * | 2009-01-30 | 2010-08-04 | 株式会社Ntt都科摩 | 声音识别服务器、电话机、声音识别***以及声音识别方法 |
CN102831890A (zh) * | 2011-06-15 | 2012-12-19 | 镇江佳得信息技术有限公司 | 一种对文本无关的声纹进行识别的方法 |
CN102724278A (zh) * | 2012-05-07 | 2012-10-10 | 华为终端有限公司 | 云端语音信箱实现方法、终端和云服务平台 |
CN102708867A (zh) * | 2012-05-30 | 2012-10-03 | 北京正鹰科技有限责任公司 | 一种基于声纹和语音的防录音假冒身份识别方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN103700371A (zh) | 2014-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103700371B (zh) | 一种基于声纹识别的来电身份识别***及其识别方法 | |
CN107767861B (zh) | 语音唤醒方法、***及智能终端 | |
CN109493847B (zh) | 声音识别***以及声音识别装置 | |
CN108766441B (zh) | 一种基于离线声纹识别和语音识别的语音控制方法及装置 | |
CN104217152A (zh) | 一种移动终端在待机状态下进入应用程序的实现方法和装置 | |
CN108447471A (zh) | 语音识别方法及语音识别装置 | |
CN104811559B (zh) | 降噪方法、通信方法及移动终端 | |
CN103106717A (zh) | 基于声纹识别的智能仓库声控门卫***及其身份认证方法 | |
CN107591155A (zh) | 语音识别方法及装置、终端及计算机可读存储介质 | |
CN106920548A (zh) | 语音控制装置、语音控制***和语音控制方法 | |
CN102413100A (zh) | 声纹密码图片提示的声纹认证***及其实现方法 | |
CN102708867A (zh) | 一种基于声纹和语音的防录音假冒身份识别方法及*** | |
CN107886958A (zh) | 一种基于声纹的快递柜取件方法及装置 | |
CN107506166A (zh) | 信息提示方法及装置、计算机装置及可读存储介质 | |
CN102324232A (zh) | 基于高斯混合模型的声纹识别方法及*** | |
CN102404278A (zh) | 一种基于声纹识别的点歌***及其应用方法 | |
CN110060693A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
CN101540170B (zh) | 一种基于仿生模式识别的声纹识别方法 | |
CN109473105A (zh) | 与文本无关的声纹验证方法、装置和计算机设备 | |
CN106230689A (zh) | 一种语音信息交互的方法、装置及服务器 | |
CN104183238B (zh) | 一种基于提问应答的老年人声纹识别方法 | |
CN107895576A (zh) | 服务机器人的识别启动方法及装置 | |
CN108711429A (zh) | 电子设备及设备控制方法 | |
CN107086983A (zh) | 一种智能汽车语音快速登录方法及装置 | |
CN109637526A (zh) | 基于个人身份特征的dnn声学模型的自适应方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |