CN106921544A - 预设语音交互命令词库的智能家居语音控制*** - Google Patents

预设语音交互命令词库的智能家居语音控制*** Download PDF

Info

Publication number
CN106921544A
CN106921544A CN201610438637.8A CN201610438637A CN106921544A CN 106921544 A CN106921544 A CN 106921544A CN 201610438637 A CN201610438637 A CN 201610438637A CN 106921544 A CN106921544 A CN 106921544A
Authority
CN
China
Prior art keywords
voice
intelligent
interactive
equipment
default
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610438637.8A
Other languages
English (en)
Inventor
向忠宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Robotzero Software Technology Co Ltd
Original Assignee
Guangzhou Robotzero Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Robotzero Software Technology Co Ltd filed Critical Guangzhou Robotzero Software Technology Co Ltd
Priority to CN201610438637.8A priority Critical patent/CN106921544A/zh
Publication of CN106921544A publication Critical patent/CN106921544A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明涉及一种预设语音交互命令词库的智能家居语音控制***，该***安装在服务机器人、智能手机等智能终端并为这些终端提供智能家居语音交互控制功能；该***由语音识别单元、语义理解单元、家庭常用设备清单的预设交互命令词库、可上传更新的现场已安装设备库、智能家居连接控制单元、设备添加管理界面六部分组成。该***的核心是内置一个包含家庭常用设备清单的预设交互命令词库，以“空间场所＋设备类型＋编号”的组合形式预先编排生成需要控制的设备名称清单列表，然后这种组合形式由语音***软件训练形成固定的语音交互指令库。通过这种方式可以让语音交互这种交互控制方式在智能家居行业快速普及应用，提升用户使用智能家居的用户体验。

Description

预设语音交互命令词库的智能家居语音控制***
技术领域
本发明涉及一种预设语音交互命令词库的智能家居语音控制***，该***安装在服务机器人、智能手机、智能路由器、机顶盒、智能硬件等智能终端并为这些智能终端提供智能家居语音交互控制功能；该***由语音识别单元、语义理解单元、包含家庭常用设备清单的预设交互命令词库、可上传更新的现场已安装设备库、智能家居连接控制单元、设备添加管理界面等六部分组成。
背景技术
目前语音交互技术广泛使用在一些需要大量人机交互的产品中，如智能手机、智能电视、服务机器人。智能家居经过多年的发展，交互控制方式也由原来的机械开关控制演变到了包括PC端软件控制、智能手机APP控制、服务机器人语音交互控制等多种控制方式，尤其是语音交互控制由于亲和力强、学习成本低受到越来越多的用户的欢迎，也成为主流的智能家居***厂商、智能家居单品厂商重点突破的方向。
现有的智能家居语音控制***都是针对某一具体的智能家居***和产品定制开发的，每一个交互控制指令都是与用户空间内的设备严格一一对应的，甚至来场景这样多个设备联动控制都是做好的详细的控制清单，这个过程都需要有专业的技术工程师进行编程，然后再培训用户进行使用，用户的任何设备的增加、修改、删除操作都需要由技术工程师进行，这就造成了现有的智能家居语音控制***都只能作为一个与成套设计安装的智能家居***的一个不可分割的配件进行销售、设计安装，无法独立提供给用户，用户也无法自行方便地进行配置管理，这种现状极大地制约了语音交互技术在智能家居领域的应用，也让服务机器人这种以语音交互作为主要交互方式的新产品很难连接智能家居***，为用户提供更多应用服务。
发明内容
为了让语音交互方式控制智能家居***更为简单，现发明一种预设交互命令词库的智能家居语音控制***，这个***的核心是内置一个包含家庭常用设备清单的预设交互命令词库，这个命令词库要将家庭内需要交互控制的主要的智能家居、智能家电、智能硬件产品以“空间场所＋设备类型＋编号”的组合形式预先编排生成需要控制的设备名称清单列表，然后这种组合形式由语音***软件训练形成固定的语音交互指令库。
语音交互指令库需要与可上传更新的现场已安装设备库连接，获得产品数值。最初，语音交互指令库中的设备是空的，这就意味着语音交互不能控制任何产品，语音交互时都会反馈信息：您需要添加这个设备。现场已安装设备库上传更新了设备列表后，已经赋值的表栏里的设备都可正常地通过语音交互控制了。
本发明的有益效果是，减少智能家居***生成语音交互控制指令的配置环节，通过预先设置好交互指令库的形式让语音交互指令提前生成，用户只需要通过设备添加管理界面将空间内已经存在的设备告诉给智能家居语音控制***，该***即可将该设备与预设交互命令词库建立起对应关系，此时预设交互命令词库中对该设备的控制就可生效了。通过这种方式可以让语音交互这种交互控制方式在智能家居行业快速普及应用，提升用户使用智能家居的用户体验。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是智能家居语音控制***示意图。
图2是语音交互流程图。
图3是智能家居产品配置过程流程图。
图4是使用场景模拟图。
图5是预设交互命令词库编号规则。
图中1. 语音识别单元，2. 语义理解单元，3. 包含家庭常用设备清单的预设交互命令词库，4. 可上传更新的现场已安装设备库，5. 智能家居连接控制单元，6. 设备添加管理界面，7.智能家居产品进行本地扫描，8. 命名规则“空间场所＋设备类型＋编号”，9.本地网络链接，10. 对应的智能家居控制指令被激活，11. 正常可连接交互，12.集合类产品交互，13.已配置安装但失联产品交互，14.未配置安装产品交互，15.超出识别范围产品交互。
具体实施方式
在图1中，智能家居语音控制***，安装在服务机器人、智能手机、智能路由器、机顶盒、智能硬件等智能终端并为这些智能终端提供智能家居语音交互控制功能；该***由语音识别单元（1）、语义理解单元（2）、包含家庭常用设备清单的预设交互命令词库（3）、可上传更新的现场已安装设备库（4）、智能家居连接控制单元（5）、设备添加管理界面（6）六部分组成。
在图2中，本发明的语音识别单元（1）通过麦克风或麦克风阵列获得的语音信息进行识别、降噪、回声消除最后转换为文本信息，此文本信息将与包含家庭常用设备清单的预设交互命令词库（3）进行比对，以判断是否收到一条控制指令。
本发明的语义理解单元（2）是配合语音识别单元（1）的，目的是尽可能地穷举每一个交互控制指令的常用表达，以及方言俗语等，这样更符合人们日常交互习惯。语义理解的做法是将多个近似的语音控制说法都指向同一个预设交互命令词。
如说明书附图，本发明包含家庭常用设备清单的预设交互命令词库（3），这个命令词库（3）要将家庭内需要交互控制的主要的智能家居、智能家电、智能硬件产品以“空间场所＋设备类型＋编号”的组合形式预先编排生成需要控制的设备名称清单列表，然后这种组合形式由语音***软件训练形成固定的语音交互指令库，并且已经明确规定了常见的48种空间场所、13种设备类型，以及默认采用的1-9的数字编号规则。
本发明包括智能家居连接控制单元（5），其作用是将语音交互获得的文本内容与智能家居连接控制指令建立对应关系，并在明确了控制指令后启动控制，这些控制即包括具体的智能家居产品的开关状态控制、变量控制，也包括由多个智能家居产品联动组成的场景的调用控制。智能家居连接控制单元（5）连接着语音交互设备和智能家居***网关设备。
在图3所示实施例中，本发明包含可上传更新的现场已安装设备库（4），这个设备库（4）由用户采用设备添加管理界面（6）手动添加完成，添加过程为用户借助智能手机或者服务机器人的摄像头获取设备二维码，智能家居产品进行本地扫描（7），识别此设备并建立该设备与智能家居语音控制模块的连接，然后这个可上传更新的现场已安装设备库（4）中就增加了该设备的信息。最初，语音交互指令库中的设备是空的，这就意味着语音交互不能控制任何产品，语音交互时都会反馈信息：您需要添加这个设备。可上传更新的现场已安装设备库（4）信息通过本地网络连接（9）发送给智能终端的包含家庭常用设备清单的预设交互命令词库（3），现场已安装设备库(4)中已经增加的智能家居产品清单对应的智能家居控制指令被激活，可接收语音交互控制指令。
本发明包括设备添加管理界面（6），这个界面是供用户或专业工程师添加、管理、删除设备使用的，通常以智能手机APP形式或服务机器人APP形式呈现，也可以通过远程终端连接方式打开。

Claims (8)

1.本发明涉及一种预设语音交互命令词库的智能家居语音控制***，该***安装在服务机器人、智能手机、智能路由器、机顶盒、智能硬件等智能终端并为这些智能终端提供智能家居语音交互控制功能；该***由语音识别单元、语义理解单元、包含家庭常用设备清单的预设交互命令词库、可上传更新的现场已安装设备库、智能家居连接控制单元、设备添加管理界面等六部分组成；这个***的核心是内置一个包含家庭常用设备清单的预设交互命令词库，这个命令词库要将家庭内需要交互控制的主要的智能家居、智能家电、智能硬件产品以“空间场所＋设备类型＋编号”的组合形式预先编排生成需要控制的设备名称清单列表，然后这种组合形式由语音***软件训练形成固定的语音交互指令库，本***已经明确规定了常见的48种空间场所、13种设备类型，以及默认采用的1-9的数字编号规则； 用户只需要通过智能终端添加管理界面将空间内已经存在的设备告诉给智能家居语音控制***，该***即可将该设备与预设交互命令词库建立起对应关系，此时预设交互命令词库中对该设备的控制就可生效了；通过这种方式可以让语音交互这种交互控制方式在智能家居行业快速普及应用，提升用户使用智能家居的用户体验。
2.根据权利要求1所述的预设语音交互命令词库的智能家居语音控制***，其特征是：该***安装在服务机器人、智能手机、智能路由器、机顶盒、智能硬件等智能终端中。
3.根据权利要求1所述的预设语音交互命令词库的智能家居语音控制***，其特征是：该***由语音识别单元、语义理解单元、包含家庭常用设备清单的预设交互命令词库、可上传更新的现场已安装设备库、智能家居连接控制单元、设备添加管理界面等六部分组成。
4.根据权利要求1所述的预设语音交互命令词库的智能家居语音控制***，其特征是：该***内置一个包含家庭常用设备清单的预设交互命令词库，这个命令词库要将家庭内需要交互控制的主要的智能家居、智能家电、智能硬件产品以“空间场所＋设备类型＋编号”的组合形式预先编排生成需要控制的设备名称清单列表，然后这种组合形式由语音***软件训练形成固定的语音交互指令库。
5.根据权利要求1所述的预设语音交互命令词库的智能家居语音控制***，其特征是：本***已经明确规定了常见的48种空间场所、13种设备类型，以及默认采用的1-9的数字编号规则。
6.根据权利要求1所述的预设语音交互命令词库的智能家居语音控制***，其特征是：用户只需要通过智能终端添加管理界面将空间内已经存在的设备告诉给智能家居语音控制***，该***即可将该设备与预设交互命令词库建立起对应关系，此时预设交互命令词库中对该设备的控制就可生效了。
7.根据权利要求1所述的预设语音交互命令词库的智能家居语音控制***，其特征是：用户对着智能终端通过语音方式下达智能家居交互控制指令，格式为“命令＋空间场所＋设备类型＋编号”，如打开客厅灯1。
8.根据权利要求1所述的预设语音交互命令词库的智能家居语音控制***，其特征是：用户对着智能终端通过语音方式下达智能家居交互控制指令后，有正常可连接交互、集合类产品交互、已配置安装但失联的产品交互、未配置安装的产品交互、超出识别范畴的产品交互等五种不同的交互形态。
CN201610438637.8A 2016-06-20 2016-06-20 预设语音交互命令词库的智能家居语音控制*** Pending CN106921544A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610438637.8A CN106921544A (zh) 2016-06-20 2016-06-20 预设语音交互命令词库的智能家居语音控制***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610438637.8A CN106921544A (zh) 2016-06-20 2016-06-20 预设语音交互命令词库的智能家居语音控制***

Publications (1)

Publication Number Publication Date
CN106921544A true CN106921544A (zh) 2017-07-04

Family

ID=59453268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610438637.8A Pending CN106921544A (zh) 2016-06-20 2016-06-20 预设语音交互命令词库的智能家居语音控制***

Country Status (1)

Country Link
CN (1) CN106921544A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577151A (zh) * 2017-08-25 2018-01-12 谢锋 一种语音识别的方法、装置、设备和存储介质
CN107743083A (zh) * 2017-10-27 2018-02-27 朱秋华 一种智能家居***
CN108172228A (zh) * 2018-01-25 2018-06-15 深圳阿凡达智控有限公司 语音命令词更换方法、装置、声控设备及计算机存储介质
CN108337139A (zh) * 2018-01-29 2018-07-27 广州索答信息科技有限公司 家电语音控制方法、电子设备、存储介质及***
CN108447480A (zh) * 2018-02-26 2018-08-24 深圳市晟瑞科技有限公司 智能家居设备控制的方法、智能语音终端和网络设备
CN109246459A (zh) * 2018-10-30 2019-01-18 广州金视网络信息工程有限公司 基于人工智能机顶盒控制设备的方法、装置和设备
CN109754797A (zh) * 2018-12-18 2019-05-14 广东金祺盛工业设备有限公司 基于语音交互的智能终端操作***
CN109903754A (zh) * 2017-12-08 2019-06-18 北京京东尚科信息技术有限公司 用于语音识别的方法、设备和存储器设备
CN110097885A (zh) * 2018-01-31 2019-08-06 深圳市锐吉电子科技有限公司 一种语音控制方法及***
CN110687811A (zh) * 2019-10-25 2020-01-14 青岛海信智慧家居***股份有限公司 一种智慧家居离线语音设备的场景配置的方法及装置
CN110782897A (zh) * 2019-11-18 2020-02-11 成都启英泰伦科技有限公司 一种基于自然语义编码的语音终端通信方法及***
CN111028830A (zh) * 2019-12-26 2020-04-17 大众问问(北京)信息科技有限公司 一种本地热词库更新方法、装置及设备
CN111210813A (zh) * 2018-11-22 2020-05-29 青岛海尔洗衣机有限公司 家用电器的语音控制方法
CN111696541A (zh) * 2019-03-13 2020-09-22 青岛海尔电冰箱有限公司 向冰箱内添加食材的语音数据交互方法及交互***
CN111724768A (zh) * 2020-04-22 2020-09-29 深圳市伟文无线通讯技术有限公司 用于离线语音识别的实时生成解码文件的***和方法
CN112735410A (zh) * 2020-12-25 2021-04-30 中国人民解放军63892部队 一种自动语音交互式兵力模型控制方法及***
CN113035187A (zh) * 2021-02-01 2021-06-25 昆山恒巨电子有限公司 基于移动终端控制健身器材的方法、装置和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255780A (zh) * 2010-05-20 2011-11-23 株式会社曙飞电子 家庭网络***及其控制方法
US20120173238A1 (en) * 2010-12-31 2012-07-05 Echostar Technologies L.L.C. Remote Control Audio Link
CN102830687A (zh) * 2012-09-24 2012-12-19 杨炙龙 一种智能家居控制***和方法
CN105323275A (zh) * 2014-07-02 2016-02-10 上海仪电控股(集团)公司 一种物联网设备的移动网络控制方法
CN105488032A (zh) * 2015-12-31 2016-04-13 杭州智蚁科技有限公司 一种语音识别输入的控制方法及***
CN105629747A (zh) * 2015-09-18 2016-06-01 宇龙计算机通信科技(深圳)有限公司 智能家居***的语音控制方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255780A (zh) * 2010-05-20 2011-11-23 株式会社曙飞电子 家庭网络***及其控制方法
US20120173238A1 (en) * 2010-12-31 2012-07-05 Echostar Technologies L.L.C. Remote Control Audio Link
CN102830687A (zh) * 2012-09-24 2012-12-19 杨炙龙 一种智能家居控制***和方法
CN105323275A (zh) * 2014-07-02 2016-02-10 上海仪电控股(集团)公司 一种物联网设备的移动网络控制方法
CN105629747A (zh) * 2015-09-18 2016-06-01 宇龙计算机通信科技(深圳)有限公司 智能家居***的语音控制方法及装置
CN105488032A (zh) * 2015-12-31 2016-04-13 杭州智蚁科技有限公司 一种语音识别输入的控制方法及***

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577151A (zh) * 2017-08-25 2018-01-12 谢锋 一种语音识别的方法、装置、设备和存储介质
CN107743083A (zh) * 2017-10-27 2018-02-27 朱秋华 一种智能家居***
CN109903754A (zh) * 2017-12-08 2019-06-18 北京京东尚科信息技术有限公司 用于语音识别的方法、设备和存储器设备
CN108172228A (zh) * 2018-01-25 2018-06-15 深圳阿凡达智控有限公司 语音命令词更换方法、装置、声控设备及计算机存储介质
CN108172228B (zh) * 2018-01-25 2021-07-23 深圳阿凡达智控有限公司 语音命令词更换方法、装置、声控设备及计算机存储介质
CN108337139A (zh) * 2018-01-29 2018-07-27 广州索答信息科技有限公司 家电语音控制方法、电子设备、存储介质及***
CN110097885A (zh) * 2018-01-31 2019-08-06 深圳市锐吉电子科技有限公司 一种语音控制方法及***
CN108447480A (zh) * 2018-02-26 2018-08-24 深圳市晟瑞科技有限公司 智能家居设备控制的方法、智能语音终端和网络设备
CN108447480B (zh) * 2018-02-26 2020-10-20 深圳市晟瑞科技有限公司 智能家居设备控制的方法、智能语音终端和网络设备
CN109246459A (zh) * 2018-10-30 2019-01-18 广州金视网络信息工程有限公司 基于人工智能机顶盒控制设备的方法、装置和设备
CN111210813A (zh) * 2018-11-22 2020-05-29 青岛海尔洗衣机有限公司 家用电器的语音控制方法
CN109754797A (zh) * 2018-12-18 2019-05-14 广东金祺盛工业设备有限公司 基于语音交互的智能终端操作***
CN111696541A (zh) * 2019-03-13 2020-09-22 青岛海尔电冰箱有限公司 向冰箱内添加食材的语音数据交互方法及交互***
CN111696541B (zh) * 2019-03-13 2022-09-20 青岛海尔电冰箱有限公司 向冰箱内添加食材的语音数据交互方法及交互***
CN110687811B (zh) * 2019-10-25 2022-06-07 青岛海信智慧生活科技股份有限公司 一种智慧家居离线语音设备的场景配置的方法及装置
CN110687811A (zh) * 2019-10-25 2020-01-14 青岛海信智慧家居***股份有限公司 一种智慧家居离线语音设备的场景配置的方法及装置
CN110782897A (zh) * 2019-11-18 2020-02-11 成都启英泰伦科技有限公司 一种基于自然语义编码的语音终端通信方法及***
CN110782897B (zh) * 2019-11-18 2021-11-23 成都启英泰伦科技有限公司 一种基于自然语义编码的语音终端通信方法及***
CN111028830A (zh) * 2019-12-26 2020-04-17 大众问问(北京)信息科技有限公司 一种本地热词库更新方法、装置及设备
CN111028830B (zh) * 2019-12-26 2022-07-15 大众问问(北京)信息科技有限公司 一种本地热词库更新方法、装置及设备
CN111724768A (zh) * 2020-04-22 2020-09-29 深圳市伟文无线通讯技术有限公司 用于离线语音识别的实时生成解码文件的***和方法
CN112735410A (zh) * 2020-12-25 2021-04-30 中国人民解放军63892部队 一种自动语音交互式兵力模型控制方法及***
CN112735410B (zh) * 2020-12-25 2024-06-07 中国人民解放军63892部队 一种自动语音交互式兵力模型控制方法及***
CN113035187A (zh) * 2021-02-01 2021-06-25 昆山恒巨电子有限公司 基于移动终端控制健身器材的方法、装置和存储介质

Similar Documents

Publication Publication Date Title
CN106921544A (zh) 预设语音交互命令词库的智能家居语音控制***
CN100450032C (zh) 信息家电的远程控制***及控制方法
CN109601017B (zh) 信息处理装置、声音识别***及信息处理方法
CN107276864A (zh) 智能语音设备控制家电的方法、装置及***
CN110687811B (zh) 一种智慧家居离线语音设备的场景配置的方法及装置
CN103051734A (zh) 家电远程语音控制方法、***及通信终端
CN208094766U (zh) 智能音箱
CN106713113A (zh) 一种基于即时通信的智能家居控制装置及拟人化交互方法
CN110501988B (zh) 一种实现物联网设备融合控制方法及其装置
CN107204903A (zh) 智能家居***及其控制方法
CN104157115A (zh) 基于云服务的网络型万能遥控装置及方法
CN105357277A (zh) 基于无线路由器的智能设备场景控制方法及***
CN105493178A (zh) 语音服务器
CN103107925A (zh) 一种数字家庭控制***及方法
CN107547314A (zh) 用于智能家居服务的***和方法
CN105978775A (zh) 语音控制***和语音控制方法
CN207441234U (zh) 一种基于ZigBee网关的语音识别***
CN103747067A (zh) 一种基于数字家庭智能网关的数据配置方法
CN107404567A (zh) 通过语音盒控制移动终端的方法和***
CN106453922A (zh) 情景模式设置方法、装置以及终端
CN111128177B (zh) 一种语音控制命令词动态加载***及方法
CN107566223A (zh) 一种拟人化智能家居管控***和方法
CN107193227A (zh) 网关与智能移动插座双***
CN103997685A (zh) 一种机顶盒个性化方法及机顶盒
Bittins et al. Supervision and regulation of home automation systems with smartphones

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170704

WD01 Invention patent application deemed withdrawn after publication