CN115665894A - 全屋分布式语音网关***及语音控制方法 - Google Patents

全屋分布式语音网关***及语音控制方法 Download PDF

Info

Publication number
CN115665894A
CN115665894A CN202211285654.4A CN202211285654A CN115665894A CN 115665894 A CN115665894 A CN 115665894A CN 202211285654 A CN202211285654 A CN 202211285654A CN 115665894 A CN115665894 A CN 115665894A
Authority
CN
China
Prior art keywords
voice
panel
module
room
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211285654.4A
Other languages
English (en)
Other versions
CN115665894B (zh
Inventor
彭世伟
李晓冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Cric Technology Co ltd
Original Assignee
Sichuan Cric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Cric Technology Co ltd filed Critical Sichuan Cric Technology Co ltd
Priority to CN202211285654.4A priority Critical patent/CN115665894B/zh
Publication of CN115665894A publication Critical patent/CN115665894A/zh
Application granted granted Critical
Publication of CN115665894B publication Critical patent/CN115665894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Selective Calling Equipment (AREA)

Abstract

本发明全屋分布式语音网关***及语音控制方法,涉及智能家居技术领域,包括多个语音面板,所述语音面板包括语音识别模块、网关模块、speaker模块、音频管理模块、配置模块和主从协同模块,通过语音面板的主从设定,对于同一个房间而言,将从语音面板分别与主语音面板相连,对于全屋而言,将所有主语音面板通过局域网组成全屋分布式语音网关***,解决了现有技术只能实现单一区域内的设备协同的问题,本发明适用于智能家居。

Description

全屋分布式语音网关***及语音控制方法
技术领域
本发明涉及智能家居技术领域,特别涉及全屋分布式语音网关***及语音控制方法。
背景技术
当前的智慧家庭***通过融合网关、终端设备、无线网络设备等多设备的协同,通过手机APP或语音来完成设备控制,主要方式是在全屋部署一个中心网关设备,单点语音设备来实现家庭某个单一区域内的设备协同。
发明内容
本发明所解决的技术问题:本发明提供一种全屋分布式语音网关***及语音控制方法,解决现有技术中只能实现单一区域内的设备协同的问题。
本发明解决上述技术问题采用的技术方案:全屋分布式语音网关***,包括多个语音面板,所述语音面板包括语音识别模块、网关模块、speaker模块、音频管理模块、配置模块和主从协同模块;
所述语音识别模块用于语音采集和语音定位,所述语音采集包括采集语音强度,所述语音定位包括定位角度;
所述网关模块用于连接语音面板所在房间中的智能设备;
所述speaker模块用于播放声音;
所述音频管理模块用于根据语音处理音频数据,并发送给speaker模块播放;
所述配置模块用于配置网络和场景;
所述主从协同模块用于将语音面板设为主语音面板或从语音面板;
安装有所述语音面板的房间中如果包含多个语音面板,则通过主从协同模块设定其中一个为该房间的主语音面板,剩余语音面板为从语音面板,所述从语音面板分别与主语音面板相连;安装有所述语音面板的房间中如果只有一个语音面板,则通过主从协同模块设定所述语音面板为该房间的主语音面板;所有主语音面板通过局域网组成全屋分布式语音网关***。
进一步的,所述网关模块包括蓝牙mesh网关和/或zigbee网关,所述蓝牙mesh网关用于连接语音面板所在房间的蓝牙设备,所述zigbee网关用于连接语音面板所在房间的zigbee设备。
进一步的,所述语音面板还包括继电器控制模块,所述继电器控制模块用于控制房间电路的开断。
进一步的,所述语音识别模块还用于语音降噪、语音离线识别和语音活动检测。
进一步的,所述语音面板还包括指示灯,所述指示灯用于区分主语音面板和从语音面板。
语音控制方法,应用于上述全屋分布式语音网关***,包括以下步骤:
S01、语音识别模块采集到语音,则将语音发送到所述语音识别模块所在房间中的主语音面板;
S02、所述主语音面板判断语音为唤醒词或者控制命令,若为唤醒词,则执行步骤S03,若为控制命令,则执行步骤S04;
S03、所述主语音面板根据收到的语音对语音发出者进行定位并唤醒一个语音面板,利用音频管理模块和speaker模块与语音发出者进行语音交互;
S04、所述主语音面板判断语音是否包含特定设备,所述特定设备包括带有房间名的设备和重命名的设备;若否,则执行步骤S05,若是,执行步骤S06;
S05、所述主语音面板根据收到的语音对语音发出者进行定位,若语音发出者在所述主语音面板所在房间中,则根据语音内容执行控制,否则不执行;
S06、所述主语音面板将语音通过局域网传输到特定设备所在房间的主语音面板,所述特定设备所在房间的主语音面板根据语音内容执行控制。
进一步的,S05和S06中,所述语音识别模块所在房间中的主语音面板还用于唤醒一个语音面板与语音发出者进行语音交互。
进一步的,所述一个语音面板的选取依据为:唤醒语音信号强度与语音面板和所述定位之间的距离的商的最大者。
进一步的,语音识别模块所在房间中的主语音面板根据收到的语音对语音发出者进行定位的依据为:
若只有一个语音面板收到语音,则语音发出者在所述语音面板定位角度延长线上;
若只有两个语音面板收到语音,则两个语音面板定位角度延长线的交点为语音发出者的位置;
若不小于三个语音面板收到语音,则语音面板定位角度延长线的交点的最小包围圆圆心为语音发出者的位置。
本发明的有益效果:本发明全屋分布式语音网关***及语音控制方法,通过语音面板的主从设定,对于同一个房间而言,将从语音面板分别与主语音面板相连,对于全屋而言,将所有主语音面板通过局域网组成全屋分布式语音网关***,解决了现有技术只能实现单一区域内的设备协同的问题。
附图说明
附图1是本发明全屋分布式语音网关***包含2个房间,每个房间3个语音面板的框架图。
具体实施方式
全屋分布式语音网关***,包括多个语音面板,所述语音面板包括语音识别模块、网关模块、speaker模块、音频管理模块、配置模块和主从协同模块;
所述语音识别模块用于语音采集和语音定位,所述语音采集包括采集语音强度,所述语音定位包括定位角度;
所述网关模块用于连接语音面板所在房间中的智能设备;
所述speaker模块用于播放声音;
所述音频管理模块用于根据语音处理音频数据,并发送给speaker模块播放;
所述配置模块用于配置网络和场景;
所述主从协同模块用于将语音面板设为主语音面板或从语音面板;
安装有所述语音面板的房间中如果包含多个语音面板,则通过主从协同模块设定其中一个为该房间的主语音面板,剩余语音面板为从语音面板,所述从语音面板分别与主语音面板相连;安装有所述语音面板的房间中如果只有一个语音面板,则通过主从协同模块设定所述语音面板为该房间的主语音面板;所有主语音面板通过局域网组成全屋分布式语音网关***。
具体的,音频管理模块用于根据语音处理回复内容,并利用speaker模块将回复内容播放出来,所述回复内容包括歌曲以及对用户的语音命令进行答复,所述场景包括语音面板所在房间、位置以及智能设备的命名。
进一步的,所述网关模块包括蓝牙mesh网关和/或zigbee网关,所述蓝牙mesh网关用于连接语音面板所在房间的蓝牙设备,所述zigbee网关用于连接语音面板所在房间的zigbee设备。
具体的,如果智能设备为蓝牙设备设备,则将智能设备通过蓝牙mesh网关连接到语音面板,如果智能设备为zigbee设备,则将智能设备通过zigbee网关连接到语音面板。
进一步的,所述语音面板还包括继电器控制模块,所述继电器控制模块用于控制房间电路的开断。
具体的,如果智能设备为普通的电灯,只需要控制开或关,则将电灯的电路接入继电器控制模块,通过继电器的开断控制电灯的开关。
进一步的,所述语音识别模块还用于语音降噪、语音离线识别和语音活动检测。
具体的,语音降噪可以提高语音识别准确度,语音离线识别可以扩宽使用条件,语音活动检测用于检测语音识别模块的工作状态。
进一步的,所述语音面板还包括指示灯,所述指示灯用于区分主语音面板和从语音面板。
具体的,指示灯亮为主语音面板,指示灯不亮为从语音面板;或者指示灯亮红灯为主语音面板,指示灯亮绿灯为从语音面板。
语音控制方法,应用于上述全屋分布式语音网关***,包括以下步骤:
S01、语音识别模块采集到语音,则将语音发送到所述语音识别模块所在房间中的主语音面板;
S02、所述主语音面板判断语音为唤醒词或者控制命令,若为唤醒词,则执行步骤S03,若为控制命令,则执行步骤S04;
S03、所述主语音面板根据收到的语音对语音发出者进行定位并唤醒一个语音面板,利用音频管理模块和speaker模块与语音发出者进行语音交互;
S04、所述主语音面板判断语音是否包含特定设备,所述特定设备包括带有房间名的设备和重命名的设备;若否,则执行步骤S05,若是,执行步骤S06;
S05、所述主语音面板根据收到的语音对语音发出者进行定位,若语音发出者在所述主语音面板所在房间中,则根据语音内容执行控制,否则不执行;
S06、所述主语音面板将语音通过局域网传输到特定设备所在房间的主语音面板,所述特定设备所在房间的主语音面板根据语音内容执行控制。
具体的,S05和S06中,所述主语音面板还用于唤醒一个语音面板与语音发出者进行语音交互,如,语音为“打开电灯”或“打开客厅空调”,则唤醒一个语音面板回复“收到”或者“好的”,回复内容“收到”由音频管理模块控制,回复声音通过speaker模块播放。
具体的,所述一个语音面板的选取依据为:唤醒语音信号强度与语音面板和所述定位之间的距离的商的最大者。
具体的,定位通过语音面板位置及语音识别模块的定位角度计算获得,若只有一个语音面板收到语音,则语音发出者在所述语音面板定位角度延长线上;若只有两个语音面板收到语音,则两个语音面板定位角度延长线的交点为语音发出者的位置;若不小于三个语音面板收到语音,则语音面板定位角度延长线的交点的最小包围圆圆心为语音发出者的位置。
具体的,以2个房间,每个房间安装有3个语音面板的全屋分布式语音网关***为例,其框架图如附图1所示。
语音控制如下:
若用户在房间1中发出语音,语音内容为唤醒词,则从语音面板1、从语音面板2和主语音面板1的语音识别模块均会采集到唤醒词,语音面板1和从语音面板2将唤醒词发送给主语音面板1,则主语音面板1根据收到的唤醒词的语音强度、从语音面板1的位置和定位角度以及从语音面板2的位置和定位角度,判断出用户的位置,计算出从语音面板1采集到的语音强度与从语音面板1与用户位置之间的距离的商,以及从语音面板2采集到的语音强度与从语音面板2与用户位置之间的距离的商,将两个商的最大者对应的从语音面板唤醒,与用户进行语音交互。
若用户在房间1中发出语音“打开空调”,则从语音面板1、从语音面板2和主语音面板1的语音识别模块均会采集到语音“打开空调”,从语音面板1和从语音面板2将“打开空调”发送给主语音面板1,由于“打开空调”为不包含特定设备的控制命令,则主语音面板1根据收到的“打开空调”的语音强度、从语音面板1的位置和定位角度以及从语音面板2的位置和定位角度,判断出用户的位置,定位的依据为:两个语音面板定位角度延长线的交点为语音发出者的位置,结果为用户在房间1中,则根据语音执行控制,打开房间1的空调。另外,还可以计算出从语音面板1采集到的语音强度与从语音面板1与用户位置之间的距离的商,以及从语音面板2采集到的语音强度与从语音面板2与用户位置之间的距离的商,将两个商的最大者对应的从语音面板唤醒,与用户进行语音交互,比如回复“收到”,提高用户体验。
特别的,从语音面板21、从语音面板22和主语音面板2的语音识别模块也可能会收到语音“打开空调”,但是,主语音面板2计算出的结果是用户不在房间2中,所以不执行。
若用户在房间1中发出语音“打开房间2空调”,则从语音面板1、从语音面板2和主语音面板1的语音识别模块均会采集到语音“打开房间2空调”,从语音面板1和从语音面板2将“打开房间2空调”发送给主语音面板1,由于“打开房间2空调”含有特定设备,则主语音面板1将“打开房间2空调”发送到主语音面板2,主语音面板2收到“打开房间2空调”,并执行打开空调。另外,主语音面板1根据收到的“打开房间2空调”的语音强度、从语音面板1的位置和定位角度以及从语音面板2的位置和定位角度,判断出用户的位置,计算出从语音面板1采集到的语音强度与从语音面板1与用户位置之间的距离的商,以及从语音面板2采集到的语音强度与从语音面板2与用户位置之间的距离的商,将两个商的最大者对应的从语音面板唤醒,与用户进行语音交互。
另外、从语音面板21、从语音面板22和主语音面板2的语音识别模块也可能会收到语音“打开房间2空调”,由于房间2是主语音面板2所在房间,所以主语音面板2执行打开空调。
特别的,对于重复的语音,可以根据设备运行状态决定是否执行语音控制,如房间2的空调已经打开,但又收到房间1的主语音面板发来的“打开房间2空调”,则不执行,或者收到房间2中的从语音面板21和从语音面板22发来的“打开空调”,也不执行。

Claims (9)

1.全屋分布式语音网关***,其特征在于,包括多个语音面板,所述语音面板包括语音识别模块、网关模块、speaker模块、音频管理模块、配置模块和主从协同模块;
所述语音识别模块用于语音采集和语音定位,所述语音采集包括采集语音强度,所述语音定位包括定位角度;
所述网关模块用于连接语音面板所在房间中的智能设备;
所述speaker模块用于播放声音;
所述音频管理模块用于根据语音处理音频数据,并发送给speaker模块播放;
所述配置模块用于配置网络和场景;
所述主从协同模块用于将语音面板设为主语音面板或从语音面板;
安装有所述语音面板的房间中如果包含多个语音面板,则通过主从协同模块设定其中一个为该房间的主语音面板,剩余语音面板为从语音面板,所述从语音面板分别与主语音面板相连;安装有所述语音面板的房间中如果只有一个语音面板,则通过主从协同模块设定所述语音面板为该房间的主语音面板;所有主语音面板通过局域网组成全屋分布式语音网关***。
2.根据权利要求1所述的全屋分布式语音网关***,其特征在于,所述网关模块包括蓝牙mesh网关和/或zigbee网关,所述蓝牙mesh网关用于连接语音面板所在房间的蓝牙设备,所述zigbee网关用于连接语音面板所在房间的zigbee设备。
3.根据权利要求1或2所述的全屋分布式语音网关***,其特征在于,所述语音面板还包括继电器控制模块,所述继电器控制模块用于控制房间电路的开断。
4.根据权利要求1或2所述的全屋分布式语音网关***,其特征在于,所述语音识别模块还用于语音降噪、语音离线识别和语音活动检测。
5.根据权利要求1或2所述的全屋分布式语音网关***,其特征在于,所述语音面板还包括指示灯,所述指示灯用于区分主语音面板和从语音面板。
6.语音控制方法,应用于权利要求1所述的全屋分布式语音网关***,其特征在于,包括以下步骤:
S01、语音识别模块采集到语音,则将语音发送到所述语音识别模块所在房间中的主语音面板;
S02、所述主语音面板判断语音为唤醒词或者控制命令,若为唤醒词,则执行步骤S03,若为控制命令,则执行步骤S04;
S03、所述主语音面板根据收到的语音对语音发出者进行定位并唤醒一个语音面板,利用音频管理模块和speaker模块与语音发出者进行语音交互;
S04、所述主语音面板判断语音是否包含特定设备,所述特定设备包括带有房间名的设备和重命名的设备;若否,则执行步骤S05,若是,执行步骤S06;
S05、所述主语音面板根据收到的语音对语音发出者进行定位,若语音发出者在所述主语音面板所在房间中,则根据语音内容执行控制,否则不执行;
S06、所述主语音面板将语音通过局域网传输到特定设备所在房间的主语音面板,所述特定设备所在房间的主语音面板根据语音内容执行控制。
7.根据权利要求6所述的语音控制方法,其特征在于,S05和S06中,所述主语音面板还用于唤醒一个语音面板与语音发出者进行语音交互。
8.根据权利要求6或7所述的语音控制方法,其特征在于,所述一个语音面板的选取依据为:唤醒语音信号强度与语音面板和所述定位之间的距离的商的最大者。
9.根据权利要求6或7所述的语音控制方法,其特征在于,语音识别模块所在房间中的主语音面板根据收到的语音对语音发出者进行定位的依据为:
若只有一个语音面板收到语音,则语音发出者在所述语音面板定位角度延长线上;
若只有两个语音面板收到语音,则两个语音面板定位角度延长线的交点为语音发出者的位置;
若不小于三个语音面板收到语音,则语音面板定位角度延长线的交点的最小包围圆圆心为语音发出者的位置。
CN202211285654.4A 2022-10-20 2022-10-20 全屋分布式语音网关***及语音控制方法 Active CN115665894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211285654.4A CN115665894B (zh) 2022-10-20 2022-10-20 全屋分布式语音网关***及语音控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211285654.4A CN115665894B (zh) 2022-10-20 2022-10-20 全屋分布式语音网关***及语音控制方法

Publications (2)

Publication Number Publication Date
CN115665894A true CN115665894A (zh) 2023-01-31
CN115665894B CN115665894B (zh) 2024-07-19

Family

ID=84989781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211285654.4A Active CN115665894B (zh) 2022-10-20 2022-10-20 全屋分布式语音网关***及语音控制方法

Country Status (1)

Country Link
CN (1) CN115665894B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107276864A (zh) * 2017-07-25 2017-10-20 广东美的制冷设备有限公司 智能语音设备控制家电的方法、装置及***
CN107770009A (zh) * 2017-09-29 2018-03-06 珠海格力电器股份有限公司 一种控制装置、方法、存储介质及设备
CN108447480A (zh) * 2018-02-26 2018-08-24 深圳市晟瑞科技有限公司 智能家居设备控制的方法、智能语音终端和网络设备
CN208283794U (zh) * 2018-04-18 2018-12-25 苏州宏云智能科技有限公司 智能家居语音交互智能终端
US20190214010A1 (en) * 2016-08-15 2019-07-11 Goertek Inc. Method and apparatus for voice interaction control of smart device
CN110164436A (zh) * 2019-05-22 2019-08-23 深圳市智乐创科技有限公司 便携式多点智能语音控制家居的***及方法
CN111294258A (zh) * 2020-02-10 2020-06-16 成都捷顺宝信息科技有限公司 一种控制智能家居设备的语音交互***及方法
CN112151013A (zh) * 2020-09-25 2020-12-29 海尔优家智能科技(北京)有限公司 智能设备交互方法
WO2021024466A1 (ja) * 2019-08-08 2021-02-11 三菱電機株式会社 音声対話装置、音声対話方法およびプログラム記録媒体
CN113496701A (zh) * 2020-04-02 2021-10-12 阿里巴巴集团控股有限公司 语音交互***、方法、设备和会议***
CN113573292A (zh) * 2021-08-18 2021-10-29 四川启睿克科技有限公司 一种智慧家庭场景下语音设备组网***及自动组网方法
CN113608449A (zh) * 2021-08-18 2021-11-05 四川启睿克科技有限公司 一种智慧家庭场景下语音设备定位***及自动定位方法
CN113674738A (zh) * 2020-05-14 2021-11-19 青岛鼎信通讯股份有限公司 一种全屋分布式语音的***和方法
CN114172757A (zh) * 2021-12-13 2022-03-11 海信视像科技股份有限公司 服务器、智能家居***及多设备语音唤醒方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190214010A1 (en) * 2016-08-15 2019-07-11 Goertek Inc. Method and apparatus for voice interaction control of smart device
CN107276864A (zh) * 2017-07-25 2017-10-20 广东美的制冷设备有限公司 智能语音设备控制家电的方法、装置及***
CN107770009A (zh) * 2017-09-29 2018-03-06 珠海格力电器股份有限公司 一种控制装置、方法、存储介质及设备
CN108447480A (zh) * 2018-02-26 2018-08-24 深圳市晟瑞科技有限公司 智能家居设备控制的方法、智能语音终端和网络设备
CN208283794U (zh) * 2018-04-18 2018-12-25 苏州宏云智能科技有限公司 智能家居语音交互智能终端
CN110164436A (zh) * 2019-05-22 2019-08-23 深圳市智乐创科技有限公司 便携式多点智能语音控制家居的***及方法
WO2021024466A1 (ja) * 2019-08-08 2021-02-11 三菱電機株式会社 音声対話装置、音声対話方法およびプログラム記録媒体
CN111294258A (zh) * 2020-02-10 2020-06-16 成都捷顺宝信息科技有限公司 一种控制智能家居设备的语音交互***及方法
CN113496701A (zh) * 2020-04-02 2021-10-12 阿里巴巴集团控股有限公司 语音交互***、方法、设备和会议***
CN113674738A (zh) * 2020-05-14 2021-11-19 青岛鼎信通讯股份有限公司 一种全屋分布式语音的***和方法
CN112151013A (zh) * 2020-09-25 2020-12-29 海尔优家智能科技(北京)有限公司 智能设备交互方法
CN113573292A (zh) * 2021-08-18 2021-10-29 四川启睿克科技有限公司 一种智慧家庭场景下语音设备组网***及自动组网方法
CN113608449A (zh) * 2021-08-18 2021-11-05 四川启睿克科技有限公司 一种智慧家庭场景下语音设备定位***及自动定位方法
CN114172757A (zh) * 2021-12-13 2022-03-11 海信视像科技股份有限公司 服务器、智能家居***及多设备语音唤醒方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐海: "基于语音识别的智能家居方案设计研究" *

Also Published As

Publication number Publication date
CN115665894B (zh) 2024-07-19

Similar Documents

Publication Publication Date Title
CN110085233B (zh) 语音控制方法及其装置、电子设备和计算机可读存储介质
WO2019134473A1 (zh) 语音识别***、方法和装置
CN201129826Y (zh) 空调控制装置
CN106879130B (zh) 可组网的语音识别灯及其语音识别灯控***
CN108538297B (zh) 一种基于无线麦克风阵列的智能语音交互方法及交互***
CN106023995A (zh) 一种语音识别方法及运用该方法的穿戴式语音控制设备
CN105699936B (zh) 一种智能家庭室内定位方法
CN108989162A (zh) 一种家用智能机器人管家***
CN108388225A (zh) 智能家居语音交互智能终端
CN110164436A (zh) 便携式多点智能语音控制家居的***及方法
CN111988208A (zh) 一种基于智能音箱的居家控制***及方法
CN111477230A (zh) 一种智能音箱***、智能音箱***的控制方法及存储介质
CN113674738A (zh) 一种全屋分布式语音的***和方法
CN110493092B (zh) 基于远场语音和iot的万能遥控以及家电遥控方法
CN112838967B (zh) 主控设备、智能家居及其控制装置、控制***及控制方法
CN111667825A (zh) 语音控制方法、云平台及语音设备
CN114203176A (zh) 智能设备的控制方法、装置、存储介质及电子装置
CN115665894A (zh) 全屋分布式语音网关***及语音控制方法
CN211237722U (zh) 一种具有语音识别功能的电动家具遥控***
CN106162475A (zh) 基于麦克风的声源识别***及智能家电设备
CN109458720A (zh) 一种中央空调***
CN111415657A (zh) 一种去中心化设备、多设备***及其语音控制方法
CN112867141B (zh) 一种定位控制方法、蓝牙服务节点及电子设备
CN203287751U (zh) 基于物联网的室内控制装置
CN219246370U (zh) 一种离线语音面板

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant