CN108447475A - 一种基于电力调度***的语音识别模型的建立方法 - Google Patents

一种基于电力调度***的语音识别模型的建立方法 Download PDF

Info

Publication number
CN108447475A
CN108447475A CN201810173642.XA CN201810173642A CN108447475A CN 108447475 A CN108447475 A CN 108447475A CN 201810173642 A CN201810173642 A CN 201810173642A CN 108447475 A CN108447475 A CN 108447475A
Authority
CN
China
Prior art keywords
model
electric power
dispatching system
speech recognition
power dispatching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810173642.XA
Other languages
English (en)
Inventor
鄢发齐
王春明
杨超
江保锋
李炳志
肖志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yisoft Technology Co Ltd
STATE GRID CENTER CHINA GRID Co Ltd
Central China Grid Co Ltd
Original Assignee
Beijing Yisoft Technology Co Ltd
STATE GRID CENTER CHINA GRID Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yisoft Technology Co Ltd, STATE GRID CENTER CHINA GRID Co Ltd filed Critical Beijing Yisoft Technology Co Ltd
Priority to CN201810173642.XA priority Critical patent/CN108447475A/zh
Publication of CN108447475A publication Critical patent/CN108447475A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/14Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142Hidden Markov Models [HMMs]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/14Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142Hidden Markov Models [HMMs]
    • G10L15/148Duration modelling in HMMs, e.g. semi HMM, segmental models or transition probabilities
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/16Speech classification or search using artificial neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • G10L2015/0631Creating reference templates; Clustering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • G10L2015/0635Training updating or merging of old and new templates; Mean values; Weighting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • G10L2015/0638Interactive procedures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种基于电力调度***的语音识别模型的建立方法,其主要技术特点是包括步骤1、采用HMM模型和深度神经网络建立基于电力调度***的声音模型;步骤2、采用统计语言模型方法建立基于电力调度***的语言模型。本发明采用HMM(隐马尔科夫)和DNN(深度神经网络)的技术建立电网专属行业声学模型以及基于N‑Gram语音模型,有效提高了语音识别的准确率和工作效率,并消除了误差,能够较好地满足电力调度行业语音识别的需要,经在华中电网试验表明,华中电网发输电计划调整、山火场景、一次设备操作(转状态)和故障汇报四个工作场景连续语音识别实验准确率达到85%以上,具有广泛的应用前景。

Description

一种基于电力调度***的语音识别模型的建立方法
技术领域
本发明属于语音识别技术领域,尤其是一种基于电力调度***的语音识别模型的建立方法。
背景技术
语音识别是将语音转换为文本的技术,是人工智能自然语言处理的一个分支。目前,常规语音识别软件无法运用于电力调度行业,主要通过在线语音接口方式对语音内容进行识别,应用于电力调度日志语音识别准确率不足60%,难以满足电力调度的需要。如何将人工智能语音识别技术应用于电力调度中,在电力调度过程中,识别调度员之间的通话内容,并触发相对应的命令,让机器更多地替代人的工作,提高调度运行的智能化水平,提高工作效率,消除人为差错,确保电网安全稳定运行,是目前迫切需要解决的问题。
发明内容
本发明的目的在于克服现有技术的不足,提出一种设计合理、语音识别准确、工作效率高且能有效消除认为差错的基于电力调度***的语音识别模型的建立方法。
本发明解决其技术问题是采取以下技术方案实现的:
一种基于电力调度***的语音识别模型的建立方法,包括以下步骤:
步骤1、采用HMM模型和深度神经网络建立基于电力调度***的声音模型;
步骤2、采用统计语言模型方法建立基于电力调度***的语言模型。
进一步地,所述步骤1的具体实现方法包括以下步骤:
⑴通过录音材料获取MFCC特征,得到一个13维*帧数的矩阵;
⑵混合高斯模型:运用多维的高斯模型区模拟13维*帧数的矩阵,设该矩阵服从高斯分布,然后寻找均值和方差矩阵;
⑶进行声音模型训练。
进一步地,所述步骤⑶进行声音模型训练的方法包括以下步骤:
①将录音文本分词得到基本单元,在HMM模型中使用3-5个上述基本单元表示一个音素;
②初始化HMM模型:设置每个音素的均值和方差分别为0和1,转移概率矩阵设置为两头小中间大,对于3-5个状态的HMM模型,每个音素分为3-5个状态;
③对初始后的HMM模型分析整理,生成各个音素的HMM模型;
④根据训练数据来训练音素级的HMM模型,得到如下三个参数:初始状态概率分布、隐含状态序列的转移矩阵和隐含状态下输出观察值的概率分布。
进一步地,所述步骤2的语言模型包括字典知识、语法知识和句法知识三层结构,其通过对训练文本数据库进行语法、语义分析,并经过统计语言模型方法训练得到。
本发明的优点和积极效果是:
本发明采用HMM(隐马尔科夫)和DNN(深度神经网络)的技术建立电网专属行业声学模型以及基于N-Gram语音模型,有效提高了语音识别的准确率和工作效率,并消除了误差,能够较好地满足电力调度行业语音识别的需要,经在华中电网试验表明,华中电网发输电计划调整、山火场景、一次设备操作(转状态)和故障汇报四个工作场景连续语音识别实验准确率达到85%以上,具有广泛的应用前景。
说明书附图
图1为本发明的DNN运算模块通过GPU进行运算示意图。
具体实施方式
以下结合实施例对本发明做进一步说明。
一种基于电力调度***的语音识别模型的建立方法,包括声音模型和语音模型的建立。本发明采用电网行业语料DNN模型提取Bottleneck特征以代替该模型中的短时频谱特征来计算充分统计量,使用频能比进行语音信号端点检测,采用HMM(隐马尔科夫)和DNN(深度神经网络)的技术建设电网专属行业的声学模型以及基于N-Gram(N元模型)语音模型,以满足电力调度语音识别***的语音识别准确率。
本发明包括以下步骤:
步骤1、采用HMM(隐马尔科夫)和DNN(深度神经网络)技术建立基于电力调度***的声音模型。具体方法如下:
⑴通过录音材料获取MFCC特征,得到一个13维*帧数的矩阵。
⑵混合高斯模型:运用多维的高斯模型区模拟13维*帧数的矩阵,假设该矩阵服从高斯分布,然后寻找均值和方差矩阵。在模拟过程中,可以用一个多维高斯函数进行模拟。
⑶进行声音模型训练:
①将录音文本分词得到基本单元,在HMM(隐马尔科夫)模型中使用3-5个上述基本单元表示一个音素。简单的理解就是:每个音素的均值和方差矩阵已知,通过我们的录音材料,就可以知道每个音素间的转移概率矩阵。
②初始化HMM模型:设置每个音素的均值和方差分别为0和1,转移概率矩阵设置为两头小中间大,这个对于5个状态的hmm,即每个音素分为5个状态,即完成了HMM的初始化的整个过程。
③对初始后的HMM模型分析整理,生成各个音素的HMM模型。
④根据训练数据来训练音素级的HMM模型:通过训练将得到三个参数:初始状态概率分布π、隐含状态序列的转移矩阵A(就是某个状态转移到另一个状态的概率观察序列中的这个均值或者方差的概率)和某个隐含状态下输出观察值的概率分布B。
以华中电网为例,在linux上搭建了针对华中电网的声学模型。在训练过程中,采用准备好的录音材料和音素训练声学模型。传统方法采用GMM+HMM建立声学模型,本发明采用HMM+DNN方法建立声学模型(如图1所示)。本发明在声学模型训练中,使用到GPU,使得训练的速度的得到了很大的提高,声学模型训练的准确率从87%到94%。其计算流程如下:首先将音频文件转换为离散的数字特征MFCC和Fbanks feature,然后通过DNN进行矩阵运算和非线性映射,将映射结果通过HMM模型进行最终的语音识别。其中的DNN运算模块通过GPU进行运算。根据目前收集的语音训练语料及训练交叉验证结果,筛选出模型效果最好的超参。
DNN模型可以决定HMM的发射概率。通常情况下这个DNN模型的层数不会小于5层,每层大概数千个神经元组成。在识别语音的过程中,一小段语音都会被提取成图1中所对应的Observation,并根据HMM中的状态计算发射概率(也就是跟不同的发音比较相似度),选择发射概率最大路径作为最终的结果。DNN网络具有数据巨大的参数需要学习,每一层网络都有数百万的参数,而下一层网络的输入又是上一层网络的输出,通常情况下训练一个中等的声学模型需要近两千个CPU内核运行近一个月。此外,由于声学模型所用到的DNN较为特殊:每一层的一个神经元都依赖上一层的所有神经元,因此,如果把模型不同层次切分到不同的服务器上分别进行训练的话,会带来巨大的网络开销,使***实际上不可用,因此我们在训练DNN的过程中使用了GPU,并通过不断的优化,使得训练速度相比单台服务器有近两千倍的速度提高,从而使DNN模型的训练成为现实。为了使DNN模型可以应用到线上的服务中,我们对DNN在CPU上的计算也做了优化,在乎不影响准确率的情况下,将计算速度提升了将近10倍。同时,通过DNN模型的应用,我们语音识别***的字错误率下降了35%左右。
步骤2、采用统计语言模型方法N-Gram模型(N元模型)建立基于电力调度***的语言模型。
本发明的语言模型包括字典知识、语法知识和句法知识三层结构,其对训练文本数据库进行语法、语义分析,经过基于统计模型训练得到。该语言模型是用来计算一个句子出现概率的概率模型,其主要用于决定哪个词序列的可能性更大,或者在出现了几个词的情况下预测下一个即将出现的词语的内容;换一个说法说,语言模型是用来约束单词搜索的,其定义了哪些词能跟在上一个已经识别的词的后面(匹配是一个顺序的处理过程),这样就可以为匹配过程排除一些不可能的单词。另外,其能够有效地结合汉语语法和语义的知识,描述词之间的内在关系,从而提高识别率,减少搜索范围。
统计语言模型是用概率统计的方法来揭示语言单位内在的统计规律,其中N-Gram模型(N元模型)简单有效,被广泛使用,N元模型包含了单词序列的统计。N-Gram模型基于这样一种假设,第n个词的出现只与前面N-1个词相关,而与其它任何词都不相关,整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的N元模型是二元的Bi-Gram和三元的Tri-Gram。通过使用到N-Gram算法,使得我们语言模型的准确率提高了33%。
需要强调的是,本发明所述的实施例是说明性的,而不是限定性的,因此本发明包括并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式,同样属于本发明保护的范围。

Claims (4)

1.一种基于电力调度***的语音识别模型的建立方法,其特征在于包括以下步骤:
步骤1、采用HMM模型和深度神经网络建立基于电力调度***的声音模型;
步骤2、采用统计语言模型方法建立基于电力调度***的语言模型。
2.根据权利要求1所述的一种基于电力调度***的语音识别模型的建立方法,其特征在于:所述步骤1的具体实现方法包括以下步骤:
⑴通过录音材料获取MFCC特征,得到一个13维*帧数的矩阵;
⑵混合高斯模型:运用多维的高斯模型区模拟13维*帧数的矩阵,设该矩阵服从高斯分布,然后寻找均值和方差矩阵;
⑶进行声音模型训练。
3.根据权利要求2所述的一种基于电力调度***的语音识别模型的建立方法,其特征在于:所述步骤⑶进行声音模型训练的方法包括以下步骤:
①将录音文本分词得到基本单元,在HMM模型中使用3-5个上述基本单元表示一个音素;
②初始化HMM模型:设置每个音素的均值和方差分别为0和1,转移概率矩阵设置为两头小中间大,对于3-5个状态的HMM模型,每个音素分为3-5个状态;
③对初始后的HMM模型分析整理,生成各个音素的HMM模型;
④根据训练数据来训练音素级的HMM模型,得到如下三个参数:初始状态概率分布、隐含状态序列的转移矩阵和隐含状态下输出观察值的概率分布。
4.根据权利要求1所述的一种基于电力调度***的语音识别模型的建立方法,其特征在于:所述步骤2的语言模型包括字典知识、语法知识和句法知识三层结构,其通过对训练文本数据库进行语法、语义分析,并经过统计语言模型方法训练得到。
CN201810173642.XA 2018-03-02 2018-03-02 一种基于电力调度***的语音识别模型的建立方法 Pending CN108447475A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810173642.XA CN108447475A (zh) 2018-03-02 2018-03-02 一种基于电力调度***的语音识别模型的建立方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810173642.XA CN108447475A (zh) 2018-03-02 2018-03-02 一种基于电力调度***的语音识别模型的建立方法

Publications (1)

Publication Number Publication Date
CN108447475A true CN108447475A (zh) 2018-08-24

Family

ID=63192885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810173642.XA Pending CN108447475A (zh) 2018-03-02 2018-03-02 一种基于电力调度***的语音识别模型的建立方法

Country Status (1)

Country Link
CN (1) CN108447475A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689880A (zh) * 2019-10-21 2020-01-14 国家电网公司华中分部 一种应用于电力调度领域的语音识别方法及装置
CN112420042A (zh) * 2020-11-19 2021-02-26 国网北京市电力公司 电力***的控制方法及装置
CN112530434A (zh) * 2020-12-21 2021-03-19 云南电网有限责任公司玉溪供电局 电站自动化智能机器人值守调度***
CN112530440A (zh) * 2021-02-08 2021-03-19 浙江浙达能源科技有限公司 一种基于端到端模型的配电网调度任务智能语音识别***
CN113920990A (zh) * 2021-12-14 2022-01-11 国网山东省电力公司乳山市供电公司 一种用于供电客户的智能语音识别处理***和方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209980A (ja) * 2010-03-30 2011-10-20 Toshiba Corp 電力系統監視制御装置
CN102867276A (zh) * 2012-08-14 2013-01-09 俞琳 基于电力业务***的交互式控制方法
CN103578464A (zh) * 2013-10-18 2014-02-12 威盛电子股份有限公司 语言模型的建立方法、语音辨识方法及电子装置
KR20140096844A (ko) * 2013-01-29 2014-08-06 엘에스산전 주식회사 고립어 음성 인식을 이용한 에너지 관리 시스템의 운전 방법
US20150379988A1 (en) * 2014-06-26 2015-12-31 Nvoq Incorporated System and methods to create and determine when to use a minimal user specific language model
US20160240190A1 (en) * 2015-02-12 2016-08-18 Electronics And Telecommunications Research Institute Apparatus and method for large vocabulary continuous speech recognition
US20160253989A1 (en) * 2015-02-27 2016-09-01 Microsoft Technology Licensing, Llc Speech recognition error diagnosis
CN107301234A (zh) * 2017-06-27 2017-10-27 国网浙江省电力公司宁波供电公司 一种基于调控非典型数据的语音和文字交互***
CN107680582A (zh) * 2017-07-28 2018-02-09 平安科技(深圳)有限公司 声学模型训练方法、语音识别方法、装置、设备及介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209980A (ja) * 2010-03-30 2011-10-20 Toshiba Corp 電力系統監視制御装置
CN102867276A (zh) * 2012-08-14 2013-01-09 俞琳 基于电力业务***的交互式控制方法
KR20140096844A (ko) * 2013-01-29 2014-08-06 엘에스산전 주식회사 고립어 음성 인식을 이용한 에너지 관리 시스템의 운전 방법
CN103578464A (zh) * 2013-10-18 2014-02-12 威盛电子股份有限公司 语言模型的建立方法、语音辨识方法及电子装置
US20150379988A1 (en) * 2014-06-26 2015-12-31 Nvoq Incorporated System and methods to create and determine when to use a minimal user specific language model
US20160240190A1 (en) * 2015-02-12 2016-08-18 Electronics And Telecommunications Research Institute Apparatus and method for large vocabulary continuous speech recognition
US20160253989A1 (en) * 2015-02-27 2016-09-01 Microsoft Technology Licensing, Llc Speech recognition error diagnosis
CN107301234A (zh) * 2017-06-27 2017-10-27 国网浙江省电力公司宁波供电公司 一种基于调控非典型数据的语音和文字交互***
CN107680582A (zh) * 2017-07-28 2018-02-09 平安科技(深圳)有限公司 声学模型训练方法、语音识别方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梁静: "基于深度学习的语音识别研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689880A (zh) * 2019-10-21 2020-01-14 国家电网公司华中分部 一种应用于电力调度领域的语音识别方法及装置
CN112420042A (zh) * 2020-11-19 2021-02-26 国网北京市电力公司 电力***的控制方法及装置
CN112530434A (zh) * 2020-12-21 2021-03-19 云南电网有限责任公司玉溪供电局 电站自动化智能机器人值守调度***
CN112530440A (zh) * 2021-02-08 2021-03-19 浙江浙达能源科技有限公司 一种基于端到端模型的配电网调度任务智能语音识别***
CN112530440B (zh) * 2021-02-08 2021-05-07 浙江浙达能源科技有限公司 一种基于端到端模型的配电网调度任务智能语音识别***
CN113920990A (zh) * 2021-12-14 2022-01-11 国网山东省电力公司乳山市供电公司 一种用于供电客户的智能语音识别处理***和方法

Similar Documents

Publication Publication Date Title
CN108447475A (zh) 一种基于电力调度***的语音识别模型的建立方法
CN110134946B (zh) 一种针对复杂数据的机器阅读理解方法
CN101447185B (zh) 一种基于内容的音频快速分类方法
CN112149316A (zh) 基于改进的cnn模型的航空发动机剩余寿命预测方法
CN110379416A (zh) 一种神经网络语言模型训练方法、装置、设备及存储介质
CN108255805A (zh) 舆情分析方法及装置、存储介质、电子设备
CN111475655B (zh) 一种基于配电网知识图谱的电力调度文本实体链接方法
CN112735383A (zh) 语音信号的处理方法、装置、设备及存储介质
CN112818105A (zh) 一种融合上下文信息的多轮对话方法及***
CN104575497B (zh) 一种声学模型建立方法及基于该模型的语音解码方法
CN112560486A (zh) 基于多层神经网络的电力实体识别方法、存储介质和设备
CN108538285A (zh) 一种基于多任务神经网络的多样例关键词检测方法
CN111353029A (zh) 一种基于语义匹配的多轮对话口语理解方法
CN110992959A (zh) 一种语音识别方法及***
CN112838946A (zh) 基于通信网故障智能感知与预警模型的构建方法
CN112151015A (zh) 关键词检测方法、装置、电子设备以及存储介质
CN111653275A (zh) 基于lstm-ctc尾部卷积的语音识别模型的构建方法及装置、语音识别方法
CN111597328A (zh) 一种新事件主题提取方法
CN110704616A (zh) 设备告警工单识别方法及装置
CN113420548A (zh) 一种基于知识蒸馏和pu学习的实体抽取采样方法
CN116110405A (zh) 一种基于半监督学习的陆空通话说话人识别方法及设备
Haikun et al. Speech recognition model based on deep learning and application in pronunciation quality evaluation system
CN112882899B (zh) 一种日志异常检测方法及装置
CN112559741B (zh) 核电设备缺陷记录文本分类方法、***、介质及电子设备
CN113674846A (zh) 基于lstm网络的医院智慧服务舆情监控平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180824

WD01 Invention patent application deemed withdrawn after publication