CN104332159B - 一种车载语音操作***人机互动方法及装置 - Google Patents
一种车载语音操作***人机互动方法及装置 Download PDFInfo
- Publication number
- CN104332159B CN104332159B CN201410595192.5A CN201410595192A CN104332159B CN 104332159 B CN104332159 B CN 104332159B CN 201410595192 A CN201410595192 A CN 201410595192A CN 104332159 B CN104332159 B CN 104332159B
- Authority
- CN
- China
- Prior art keywords
- data
- voice
- vehicle
- operating system
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000003993 interaction Effects 0.000 title claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 6
- 238000007405 data analysis Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
Landscapes
- Navigation (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本发明公开了一种车载语音操作***人机互动方法及装置,多个麦克风对采集到的声音进行过滤,分离出不同人说话的声音,首先将背景音或噪音分离开,仅收集来自用户的语音,同时将接收到的语音转化成文本数据,语音云服务器对该文本数据进行识别,若成功识别为可执行命令,则***将执行此命令,若不能识别此命令,则忽略。整个过程中,并不需要人为开启***,不需要在发出语音命令前做任何物理操作启动语音操作***。本发明能够实时收集用户语音指令,智能甄别来自用户的可能的操作指令,忽略非操作指令,更加精确的发现、分析、处理指令,除驾驶人以外,其他车内乘客也能通过语音控制车辆相关的软件、硬件操作。
Description
技术领域
本发明涉及一种车载语音操作***人机互动方法及装置。
背景技术
随着中国经济的高速发展,越来越多的家庭和个人拥有汽车。汽车的普及不仅促进了汽车行业的发展,也促进了汽车相关技术及汽车用户体验相关技术的更新迭代。
汽车操作***作为汽车的大脑,相关技术也在不断进步,但市场上的车辆操作***却一直没有足够颠覆的用户体验,最大的原因是用户需要进行诸多手动操作,而在用户驾车时手动操作需要用户转移注意力和时间,这对用户来说不仅不够便捷,对于驾车这种特别需要用户专注的行为来说有时候将是致命的。
语音识别、控制技术的不断成熟,其被更广泛的应用到各个领域,也有更多的汽车的智能操作***开始使用语音识别与控制技术。然而现行的语音识别、控制技术应用到操作***中仍有一些问题需要解决。
首先,当前所有的语音操作***都需要用户提前开启语音程序,若操作***当前不在语音程序所在的界面时,或者用户驾车不方便手动开启语音程序时,用户不能顺畅的使用语音***。
其次,当前的车辆语音操作***的声音收集装置多位于车辆中控面板,虽然靠近驾驶人,但对汽车内其他座位的乘客来说,因为距离的原因则有可能产生识别不精确、识别错误等,不利于驾驶人以外的用户通过语音控制操作。
再次,当前的车辆语音操作***大多只能通过语音做简单的部分操作,且集中在通讯、导航等方面,很多操作还是需要用户手动完成,尤其是车辆硬件操作部分。
最后,当前的车辆语音操作***在识别用户命令上不够精确,用户必须按照预先设定好的语音命令规则发出命令,或者可以按照个人习惯发出命令,但因为数据的存储、分析能力有限,用户的一些语音命令不能被识别。
发明内容
本发明所要解决的技术问题是,针对上述现有技术的不足,提供一种车载语音操作***人机互动方法及装置。
为解决上述技术问题,本发明所采用的技术方案是:一种车载语音操作***人机互动方法,包括以下步骤:
1)在车辆内安装多个监听设备;
2)上述多个监听设备对采集到的声音进行过滤,分离出不同音源的声音,并保存来自用户的声音;
3)监听设备将用户的声音发送给车辆操作***上的语音控件;
4)语音控件内的语音处理模块将接收到的语音数据转化为文本数据,并将所述文本数据发送给语音云服务器;
5)上述文本数据进入语音云服务器的缓存区,若所述文本数据命中缓存区已储存的历史语音命令数据,则语音云服务器将所述历史命令数据所载的执行命令发送给车辆操作***上的语音控件,并进入步骤8);若所述文本数据与缓存区数据不匹配,则进入步骤6);
6)所述文本数据进入语音云服务器的数据分析区,数据分析区预设编码器、语句数据库与属性分类区,编码器将文本数据编码为数据分析区可识别的编码数据,然后将编码数据按照数据识别规则进行识别,识别后的数据若未命中语句数据库,则语音云服务器得到该命令不是一个语音命令的结果,语音云服务器自动忽略该数据;若命中语句数据库,则语音云服务器认为该数据是一个语音命令,并将此数据发送给属性分类区,属性分类区再次按照数据识别规则识别该命令,并生成一个可执行命令;
7)语音云服务器将属性分类区生成的可执行命令数据发送给车辆操作***上的语音控件,同时,将此可执行命令数据写入缓存区作为历史语音命令数据;
8)语音控件的语音执行模块将所述可执行命令数据发送给车辆网关或车辆操作***上,车辆网关或车辆操作***执行所述可执行的命令。
车辆网关或车辆操作***执行所述可执行的命令后,还包括以下步骤:
9)若需要用户的进一步指令才能够执行所述可执行的命令后,则车辆操作***启动语音询问模块,语音询问模块根据预设的相关语音指令向用户发出询问;
10)用户回答上述询问;
11)重复执行上述步骤1)~步骤10)。
12)若命令被执行仍需要用户的进一步指令,则重复上述步骤1)~步骤11),直到命令被执行完成。
本发明还提供了一种车载语音操作***人机互动装置,包括:
多个监听模块,用于对采集到的声音进行过滤,分离出不同音源的声音,并保存来自用户的声音,将用户的声音发送给车辆操作***上的语音控件;
语音控件,包括语音处理模块和语音执行模块,所述语音处理模块用于将接收到的语音数据转化为文本数据,并将所述文本数据发送给语音云服务器;语音执行模块用于将语音云服务器发送的可执行命令数据发送给车辆网关或车辆操作***上;
语音云服务器,包括缓存区和数据分析区,所述缓存区用于存储用户历史语音命令数据,并判断所述文本数据与缓存区用户历史语音命令数据是否相匹配,若匹配,则将所述文本数据发送给车辆操作***上的语音控件;若不匹配,则将该文本数据发送给数据分析区;所述数据分析区包括编码器、语句数据库与属性分类区,编码器用于将文本数据编码为数据分析区可识别的编码数据,然后将编码数据按照数据识别规则进行识别,识别后的数据若未命中语句数据库,则得到该命令不是一个语音命令的结果,自动忽略该结果,结束对该命令的处理;若命中语句数据库,则认为该数据是一个语音命令,并将此数据发送给所述属性分类区,属性分类区再次按照数据识别规则识别该命令,并生成一个可执行命令。
与现有技术相比,本发明所具有的有益效果为:通过本发明的方法,用户可以通过分散在车辆各个部位的麦克风监听设备,在车辆的任何一个位置、任何一个时间向汽车发出语音指令,不需要提前启动语音程序,用户可以根据自己的说话习惯向车辆发出语音指令,对车辆各个部件(如空调、车门、座椅、灯光)及与车辆相连接的任何设备、程序(如通讯、导航、音乐、日历、闹钟)发出语音指令,云数据库通过特殊识别、学习规则及不断更新的海量数据库,更加精确地识别用户指令,有利于驾驶人以外的用户通过语音控制操作,能自动完成车辆相关软硬件操作。
具体实施方式
本发明具体实现过程如下:
第一:监听设备数量为4个,其中两个监听设备分别安装在中控车机左右两侧,另外两个监听设备分别安装在车辆后排中央扶手箱左右两侧。
第二:上述多个监听设备对采集到的声音进行过滤,分离出不同音源的声音,并保存来自用户的声音;
第三:监听设备将用户的声音发送给车辆操作***上的语音控件;
第四:语音控件内的语音处理模块将接收到的语音数据转化为文本数据,并将所述文本数据发送给语音云服务器;
第五:上述文本数据进入语音云服务器的缓存区,若所述文本数据命中缓存区已储存的历史语音命令数据,则语音云服务器将所述历史命令数据所载的执行命令发送给车辆操作***上的语音控件,并进入步骤8);若所述文本数据与缓存区数据不匹配,则进入步骤六;
第六:所述文本数据进入语音云服务器的数据分析区,数据分析区预设编码器、语句数据库与属性分类区,编码器将文本数据编码为数据分析区可识别的编码数据,然后将编码数据按照数据识别规则进行识别,识别后的数据若未命中语句数据库,则语音云服务器得到该命令不是一个语音命令的结果,语音云服务器自动忽略该数据;若命中语句数据库,则语音云服务器认为该数据是一个语音命令,并将此数据发送给属性分类区,属性分类区再次按照数据识别规则识别该命令,并生成一个可执行命令;
数据识别规则如下:
1、对编码数据进行分词;
2、对分词后的编码数据进行容错,服务器预设容错数据库,编码器根据容错数据库将错误词汇替换成正确词汇;
3、过滤无效词汇,判断过滤后的数据与语句数据库标准语句的匹配程度,如果找到与语句数据库标准语句匹配的数据,则将匹配的数据格式化为标准语句数据并跳转到步骤5),如果找不到则跳转至步骤4);
4、使用贝叶斯网络判断过滤后的数据所属的分类,得到分类结果后,将过滤后的数据格式化为标准语句数据;
5、编码器将标准语句数据发送给属性分类区,属性分类区对所述标准语句数据按照步骤1)~步骤4)的规则进行再次识别后生成可执行命令数据。
第七:语音云服务器将属性分类区生成的可执行命令数据发送给车辆操作***上的语音控件,同时,将此可执行命令数据写入缓存区作为历史语音命令数据;
第八:语音控件的语音执行模块将所述可执行命令数据发送给车辆网关或车辆操作***上,车辆网关或车辆操作***执行所述可执行的命令。
车辆网关或车辆操作***执行所述可执行的命令后,还包括以下步骤:
第九:若需要用户的进一步指令才能够执行所述可执行的命令后,则车辆操作***启动语音询问模块,语音询问模块根据预设的相关语音指令向用户发出询问;
第十:用户回答上述询问;
第十一:重复执行上述步骤1)~步骤10)。
第十二:若命令被执行仍需要用户的进一步指令,则重复上述步骤1)~步骤11),直到命令被执行完成。
整个过程中,并不需要人为开启***,不需要在发出语音命令前做任何物理操作启动语音操作***。
Claims (5)
1.一种车载语音操作***人机互动方法,其特征在于,包括以下步骤:
1)在车辆内安装多个监听设备;
2)上述多个监听设备对采集到的声音进行过滤,分离出不同音源的声音,并保存来自用户的声音;
3)监听设备将用户的声音发送给车辆操作***上的语音控件;
4)语音控件内的语音处理模块将接收到的语音数据转化为文本数据,并将所述文本数据发送给语音云服务器;
5)上述文本数据进入语音云服务器的缓存区,若所述文本数据命中缓存区已储存的历史语音命令数据,则语音云服务器将所述历史语音命令数据所载的执行命令发送给车辆操作***上的语音控件,并进入步骤8);若所述文本数据与缓存区数据不匹配,则进入步骤6);
6)所述文本数据进入语音云服务器的数据分析区,数据分析区预设编码器、语句数据库与属性分类区,编码器将文本数据编码为数据分析区可识别的编码数据,然后将编码数据按照数据识别规则进行识别,识别后的数据若未命中语句数据库,则语音云服务器得到该命令不是一个语音命令的结果,语音云服务器自动忽略该数据;若命中语句数据库,则语音云服务器认为该数据是一个语音命令,并将此编码数据发送给属性分类区,属性分类区再次按照数据识别规则识别该命令,并生成一个执行命令;
7)语音云服务器将属性分类区生成的可执行命令数据发送给车辆操作***上的语音控件,同时,将此可执行命令数据写入缓存区作为历史语音命令数据;
8)语音控件的语音执行模块将所述执行命令数据发送给车辆网关或车辆操作***上,车辆网关或车辆操作***执行所述执行命令。
2.根据权利要求1所述的车载语音操作***人机互动方法,其特征在于,车辆网关或车辆操作***执行所述执行命令后,还包括以下步骤:
9)若需要用户的进一步指令才能够执行所述可执行的命令后,则车辆操作***启动语音询问模块,语音询问模块根据预设的相关语音指令向用户发出询问;
10)用户回答上述询问;
11)重复执行上述步骤1)~步骤10);
12)若命令被执行仍需要用户的进一步指令,则重复上述步骤1)~步骤11),直到命令被执行完成。
3.根据权利要求2所述的车载语音操作***人机互动方法,其特征在于,所述监听设备为麦克风。
4.根据权利要求3所述的车载语音操作***人机互动方法,其特征在于,所述数据识别规则如下:
1)对编码数据进行分词;
2)对分词后的编码数据进行容错,服务器预设容错数据库,编码器根据容错数据库将错误词汇替换成正确词汇;
3)过滤无效词汇,判断过滤后的数据与语句数据库标准语句的匹配程度,如果找到与语句数据库标准语句匹配的数据,则将匹配的数据格式化为标准语句数据并跳转到步骤5),如果找不到则跳转至步骤4);
4)使用贝叶斯网络判断过滤后的数据所属的分类,得到分类结果后,将过滤后的数据格式化为标准语句数据;
5)编码器将标准语句数据发送给属性分类区,属性分类区对所述标准语句数据按照步骤1)~步骤4)的规则进行再次识别后生成可执行命令数据。
5.一种车载语音操作***人机互动装置,其特征在于,包括:
多个监听模块,用于对采集到的声音进行过滤,分离出不同音源的声音,并保存来自用户的声音,将用户的声音发送给车辆操作***上的语音控件;
语音控件,包括语音处理模块和语音执行模块,所述语音处理模块用于将接收到的语音数据转化为文本数据,并将所述文本数据发送给语音云服务器;语音执行模块用于将语音云服务器发送的执行命令数据发送给车辆网关或车辆操作***上;
语音云服务器,包括缓存区和数据分析区,所述缓存区用于存储用户历史语音命令数据,并判断所述文本数据与缓存区用户历史语音命令数据是否相匹配,若匹配,则将所述文本数据发送给车辆操作***上的语音控件;若不匹配,则将该文本数据发送给数据分析区;所述数据分析区包括编码器、语句数据库与属性分类区,编码器用于将文本数据编码为数据分析区可识别的编码数据,然后将编码数据按照数据识别规则进行识别,识别后的数据若未命中语句数据库,则得到该命令不是一个语音命令的结果,自动忽略该结果,结束对该命令的处理;若命中语句数据库,则认为该数据是一个语音命令,并将此数据发送给所述属性分类区,属性分类区再次按照数据识别规则识别该命令,并生成一个执行命令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410595192.5A CN104332159B (zh) | 2014-10-30 | 2014-10-30 | 一种车载语音操作***人机互动方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410595192.5A CN104332159B (zh) | 2014-10-30 | 2014-10-30 | 一种车载语音操作***人机互动方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104332159A CN104332159A (zh) | 2015-02-04 |
CN104332159B true CN104332159B (zh) | 2017-05-10 |
Family
ID=52406875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410595192.5A Expired - Fee Related CN104332159B (zh) | 2014-10-30 | 2014-10-30 | 一种车载语音操作***人机互动方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104332159B (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105989841B (zh) * | 2015-02-17 | 2019-12-27 | 上海汽车集团股份有限公司 | 车载语音控制方法及装置 |
CN106328143A (zh) * | 2015-06-23 | 2017-01-11 | 中兴通讯股份有限公司 | 语音控制方法、装置和移动终端 |
CN106527193A (zh) * | 2015-09-13 | 2017-03-22 | 青海汉拉信息科技股份有限公司 | 汉语文本全自动云计算集群遥控驱动器的方法 |
CN105263088B (zh) * | 2015-10-21 | 2016-07-06 | 福建省汽车工业集团云度新能源汽车股份有限公司 | 一种汽车降噪方法及*** |
CN105389400B (zh) * | 2015-12-24 | 2020-02-14 | Tcl集团股份有限公司 | 语音交互方法及装置 |
US10409550B2 (en) * | 2016-03-04 | 2019-09-10 | Ricoh Company, Ltd. | Voice control of interactive whiteboard appliances |
CN105913844A (zh) * | 2016-04-22 | 2016-08-31 | 乐视控股(北京)有限公司 | 车载语音获取方法及装置 |
CN106379262B (zh) * | 2016-08-31 | 2020-01-07 | 北京兴科迪科技有限公司 | 一种带语音识别控制的车载蓝牙麦克风 |
CN106335436B (zh) * | 2016-08-31 | 2022-03-25 | 北京兴科迪科技有限公司 | 一种集成麦克风的内后视镜 |
CN106218557B (zh) * | 2016-08-31 | 2020-01-07 | 北京兴科迪科技有限公司 | 一种带语音识别控制的车载麦克风 |
US10266182B2 (en) * | 2017-01-10 | 2019-04-23 | Ford Global Technologies, Llc | Autonomous-vehicle-control system and method incorporating occupant preferences |
CN108010525A (zh) * | 2017-12-07 | 2018-05-08 | 横琴七弦琴知识产权服务有限公司 | 一种语音控制智能抽屉*** |
CN110231863B (zh) * | 2018-03-06 | 2023-03-24 | 斑马智行网络(香港)有限公司 | 语音交互方法和车载设备 |
CN108901002B (zh) * | 2018-07-25 | 2021-06-18 | 苏州车萝卜汽车电子科技有限公司 | 车内语音处理方法及装置 |
CN109087640A (zh) * | 2018-08-22 | 2018-12-25 | 蔚来汽车有限公司 | 信息交互方法、***以及用于信息交互的车机和服务器 |
CN109240272B (zh) * | 2018-11-02 | 2022-04-29 | 安克创新科技股份有限公司 | 车载监控设备、数据处理***、用户终端设备以及车辆监控方法 |
CN109754803B (zh) * | 2019-01-23 | 2021-06-22 | 上海华镇电子科技有限公司 | 车载多音区语音交互***及方法 |
CN111306709B (zh) * | 2020-01-20 | 2021-09-07 | 海信视像科技股份有限公司 | 一种空调 |
CN112118311B (zh) * | 2020-09-17 | 2023-10-27 | 阿波罗智联(北京)科技有限公司 | 信息车载交互方法、装置、设备以及存储介质 |
CN112820271A (zh) * | 2021-01-09 | 2021-05-18 | 江苏威尔曼科技有限公司 | 一种带有智能识别的语音呼梯*** |
CN112711586A (zh) * | 2021-01-14 | 2021-04-27 | 北京致远宣大科技有限公司 | 一种基于云服务的智能数据分析管理方法及*** |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020058363A (ko) * | 2000-12-29 | 2002-07-12 | 엘지전자 주식회사 | 실시간 음성인식을 위한 음성처리장치 및 그의 제어방법 |
US7026957B2 (en) * | 2001-10-01 | 2006-04-11 | Advanced Public Safety, Inc. | Apparatus for communicating with a vehicle during remote vehicle operations, program product, and associated methods |
CN101950564A (zh) * | 2010-10-13 | 2011-01-19 | 镇江华扬信息科技有限公司 | 一种远程数字化语音采集分析识别*** |
CN102006373B (zh) * | 2010-11-24 | 2015-01-28 | 深圳市车音网科技有限公司 | 基于语音命令控制的车载服务***及方法 |
CN102566961A (zh) * | 2010-12-31 | 2012-07-11 | 上海博泰悦臻电子设备制造有限公司 | 基于车载设备的应用程序的语音执行方法及装置 |
CN103187061A (zh) * | 2011-12-28 | 2013-07-03 | 上海博泰悦臻电子设备制造有限公司 | 车内语音对话*** |
CN103187059B (zh) * | 2011-12-28 | 2017-09-05 | 上海博泰悦臻电子设备制造有限公司 | 基于车载应用的语音处理*** |
CN102543082B (zh) * | 2012-01-19 | 2014-01-15 | 北京赛德斯汽车信息技术有限公司 | 使用自然语言的车载信息服务***语音操作方法及*** |
CN103489444A (zh) * | 2013-09-30 | 2014-01-01 | 乐视致新电子科技(天津)有限公司 | 一种语音识别方法和装置 |
CN103730119B (zh) * | 2013-12-18 | 2017-01-11 | 惠州市车仆电子科技有限公司 | 车载人机语音交互*** |
-
2014
- 2014-10-30 CN CN201410595192.5A patent/CN104332159B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN104332159A (zh) | 2015-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104332159B (zh) | 一种车载语音操作***人机互动方法及装置 | |
CN107316643B (zh) | 语音交互方法及装置 | |
DE102013222507B4 (de) | Verfahren zum Adaptieren eines Sprachsystems | |
CN107240398B (zh) | 智能语音交互方法及装置 | |
US7437297B2 (en) | Systems and methods for predicting consequences of misinterpretation of user commands in automated systems | |
DE102013223036B4 (de) | Adaptionsverfahren für Sprachsysteme | |
CN110660397A (zh) | 对话***、车辆和用于控制车辆的方法 | |
CN104240700B (zh) | 一种面向车载终端设备的全局语音交互方法及*** | |
US20050192730A1 (en) | Driver safety manager | |
CN105427858A (zh) | 实现语音自动分类的方法及*** | |
CN106297785A (zh) | 一种基于车联网的智能服务*** | |
DE102013222757A1 (de) | Adaptionsverfahren und -systeme für Sprachsysteme | |
DE102010034433B4 (de) | Verfahren zum Erkennen von Sprache | |
DE102019107624A1 (de) | System und Verfahren zur Erfüllung einer Sprachanforderung | |
CN108437993A (zh) | 一种路怒车辆自适应驾驶控制***及方法 | |
CN104361887A (zh) | 行车噪声环境下的快速声学事件检测*** | |
CN108492819A (zh) | 语言练习方法、装置、智能车载终端及存储介质 | |
CN104966514A (zh) | 一种语音识别方法和车载设备 | |
CN111916088B (zh) | 一种语音语料的生成方法、设备及计算机可读存储介质 | |
CN106904122A (zh) | 车辆语音警示方法和装置 | |
CN109243427A (zh) | 一种车辆故障诊断方法及装置 | |
CN113879235A (zh) | 汽车多屏控制的方法、***、设备及存储介质 | |
DE102021212744A1 (de) | Dialogsystem, fahrzeug mit demselben und verfahren zum steuern eines dialogsystems | |
CN101645716A (zh) | 一种具有语音识别功能的车载通讯***及其识别方法 | |
CN109919657A (zh) | 用户需求信息的获取方法、装置、存储介质及语音设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170510 Termination date: 20201030 |