CN113288172A - 癫痫脑电信号识别方法及*** - Google Patents
癫痫脑电信号识别方法及*** Download PDFInfo
- Publication number
- CN113288172A CN113288172A CN202110564684.8A CN202110564684A CN113288172A CN 113288172 A CN113288172 A CN 113288172A CN 202110564684 A CN202110564684 A CN 202110564684A CN 113288172 A CN113288172 A CN 113288172A
- Authority
- CN
- China
- Prior art keywords
- time
- electroencephalogram
- layer
- memory network
- epileptic seizure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 206010015037 epilepsy Diseases 0.000 claims abstract description 86
- 238000012549 training Methods 0.000 claims abstract description 71
- 230000015654 memory Effects 0.000 claims abstract description 70
- 206010010904 Convulsion Diseases 0.000 claims abstract description 69
- 208000028329 epileptic seizure Diseases 0.000 claims abstract description 64
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000001037 epileptic effect Effects 0.000 claims description 22
- 238000002759 z-score normalization Methods 0.000 claims description 22
- 210000004556 brain Anatomy 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 7
- 238000004880 explosion Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 230000002123 temporal effect Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000000537 electroencephalography Methods 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000004761 scalp Anatomy 0.000 description 3
- 210000005013 brain tissue Anatomy 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 235000019994 cava Nutrition 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 208000037974 severe injury Diseases 0.000 description 1
- 230000009528 severe injury Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4094—Diagnosing or monitoring seizure diseases, e.g. epilepsy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Neurology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Neurosurgery (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供一种癫痫脑电信号识别方法及***,属于脑电信号处理技术领域,获取待检测的多通道脑电信号,输入训练好的双向长短时记忆网络中进行处理,输出癫痫发作期或癫痫发作间期的检测结果;其中,所述训练好的双向长短时记忆网络由训练集训练得到,所述训练集包括多通道脑电信号,以及标注多通道脑电信号为癫痫发作期的标签和标注多通道脑电信号为癫痫发作间期的脑电信号。本发明将双向长短时记忆网络和注意力机制结合,建立双向长短时记忆网络解决了长序列训练过程中梯度消失和梯度***问题,能够在更长的序列中有更好的表现;在模型中嵌入了注意力机制,从原始EEG信号中选择最关键的信息,进而挑选最优特征,提升了癫痫检测准确率的目的。
Description
技术领域
本发明涉及脑电信号处理技术领域,具体涉及一种基于双向长短时记忆网络与注意力机制的癫痫脑电信号识别方法及***。
背景技术
脑电图是一种复杂的信号,需要几年的训练,以及先进的信号处理和特征提取方法才能正确解释。脑电图是通过在头皮表面通过生物电极记录脑组织生物电活动的一种诊断方法,通过医学仪器把正常脑组织电活动放大100万倍并转化为波形图,用于协助癫痫检测。癫癫痫是一种神经疾病,影响1%的世界人口。它会导致突发和不可预见的癫痫发作,从而导致患者严重受伤,甚至死亡。三分之一的癫痫患者没有适当的医疗手段。对于其余三分之二的患者,治疗选择和质量各不相同。诊断癫痫的一项重要技术是通过医生对脑电图记录的视觉检查来分析大脑活动的异常。这项任务非常耗时,并且会受到观察者间差异的影响。
发明内容
本发明的目的在于提供一种可靠的、应用于癫痫发作自动检测的癫痫脑电信号识别方法及***,以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的,本发明采取了如下技术方案:
第一方面,本发明提供一种癫痫脑电信号识别方法,包括:
获取待检测的多通道脑电信号,输入训练好的双向长短时记忆网络中进行处理,输出癫痫发作期或癫痫发作间期的检测结果;其中,所述训练好的双向长短时记忆网络由训练集训练得到,所述训练集包括多通道脑电信号,以及标注多通道脑电信号为癫痫发作期的标签和标注多通道脑电信号为癫痫发作间期的脑电信号。
优选的,对待检测的多通道脑电信号进行去噪处理,对去噪处理后的每个通道的脑电信号,按照设定时间长度,划分为若干个时间段的脑电信号;
将每个时间段的脑电信号以预定点数为一帧,对每一帧的数据进行Z-Score归一化;
将所有的Z-Score归一化后的数据组成待检测的脑电信号时频特征矩阵;
基于待检测的脑电信号时频特征矩阵,利用训练好的双向长短时记忆网络进行二分类检测,输出癫痫发作期或癫痫发作间期的检测结果。
优选的,训练所述双向长短时记忆网络包括:
采集多通道脑电信号,对所采集的多通道脑电信号进行癫痫发作间期标注和癫痫发作期标注;
将采集的多通道脑电信号,以及癫痫发作间期标注和癫痫发作期标注组成训练集;
对训练集的脑电信号进行去噪处理,按照设定时间长度,划分为若干个时间段的脑电信号,每个时间段的脑电信号以预定点数为一帧,对每一帧的数据进行Z-Score归一化,将所有的Z-Score归一化后的数据组成训练集的脑电信号时频特征矩阵;
构建基础双向长短时记忆网络,利用训练集的脑电信号时频特征矩阵训练所述基础双向长短时记忆网络,当损失函数达到最小值,或者迭代次数满足设定要求时,停止训练,得到训练好的双向长短时记忆网络。
优选的,所述双向长短时记忆网络包括依次连接的前向层、后向层、第一Dropout层、第二Dropout层、结合层、注意力机制层、第三Dropout层、批标准化层、激活函数层、第四Dropout层、全连接层和输出层。
优选的,所述前向层,用于向前推算;所述后向层,用于向后推算;所述第一Dropout层、第二Dropout层、第三Dropout层以及第四Dropout层,用于随机舍弃部分神经元,防止模型过拟合;所述结合层,用前向的长短时记忆网络与后向的长短时记忆网络结合得到;所述注意力机制层,用于提取关键信息;所述全连接层,用于在模型最后进行癫痫二分类检测。
优选的,在训练过程中,使用Euclidean Distance损失函数来平衡正负样本权重。
优选的,获取23通道脑电信号,进行去噪处理,对去噪处理后的每个通道的脑电信号,按照设定时间长度,划分为若干个时间段的脑电信号;
将每个时间段的脑电信号以256个点为一帧来划分,对每一帧的数据进行Z-Score归一化。
第二方面,本发明提供一种癫痫脑电信号识别***,包括:
获取模块,用于获取待检测的多通道脑电信号;
检测模块,用于利用训练好的双向长短时记忆网络中进行处理,输出癫痫发作期或癫痫发作间期的检测结果;其中,所述训练好的双向长短时记忆网络由训练集训练得到,所述训练集包括多通道脑电信号,以及标注多通道脑电信号为癫痫发作期的标签和标注多通道脑电信号为癫痫发作间期的脑电信号;其中,
对待检测的多通道脑电信号进行去噪处理,对去噪处理后的每个通道的脑电信号,按照设定时间长度,划分为若干个时间段的脑电信号;
将每个时间段的脑电信号以预定点数为一帧,对每一帧的数据进行Z-Score归一化;
将所有的Z-Score归一化后的数据组成待检测的脑电信号时频特征矩阵;
基于待检测的脑电信号时频特征矩阵,利用训练好的双向长短时记忆网络进行二分类检测,输出癫痫发作期或癫痫发作间期的检测结果。
第三方面,本发明提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质包括用于执行如上所述的癫痫脑电信号识别方法的指令。
第四方面,本发明提供一种电子设备,包括如上所述的非暂态计算机可读存储介质;以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。
本发明有益效果:将双向长短时记忆网络和注意力机制结合起来应用到癫痫检测上,无需人工设计特征来进行分类,而是直接将多通道的原始信号输入网络,通过双向长短时记忆网络神经网络来自动学习信号特征,最后进行分类;建立双向长短时记忆网络解决了长序列训练过程中梯度消失和梯度***问题,相比普通的RNN,能够在更长的序列中有更好的表现;在模型中嵌入了注意力机制,其作用是从原始EEG信号中选择最关键的信息,进而挑选最优特征,达到提升癫痫检测准确率的目的。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的癫痫脑电数据预处理过程以及基于双向长短时记忆网络和注意力机制的癫痫检测方法流程图。
图2为本发明实施例所述的双向长短时记忆网络框架结构图。
图3为本发明实施例所述的癫痫发作的脑电信号示意图。
具体实施方式
下面详细叙述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明,下面结合附图以具体实施例对本发明作进一步解释说明,且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解,附图只是实施例的示意图,附图中的部件并不一定是实施本发明所必须的。
实施例1
本发明实施例1提供一种癫痫脑电信号识别***,该***包括:
获取模块,用于获取待检测的多通道脑电信号;
检测模块,用于利用训练好的双向长短时记忆网络中进行处理,输出癫痫发作期或癫痫发作间期的检测结果;其中,所述训练好的双向长短时记忆网络由训练集训练得到,所述训练集包括多通道脑电信号,以及标注多通道脑电信号为癫痫发作期的标签和标注多通道脑电信号为癫痫发作间期的脑电信号;其中,
对待检测的多通道脑电信号进行去噪处理,对去噪处理后的每个通道的脑电信号,按照设定时间长度,划分为若干个时间段的脑电信号;
将每个时间段的脑电信号以预定点数为一帧,对每一帧的数据进行Z-Score归一化;
将所有的Z-Score归一化后的数据组成待检测的脑电信号时频特征矩阵;
基于待检测的脑电信号时频特征矩阵,利用训练好的双向长短时记忆网络进行二分类检测,输出癫痫发作期或癫痫发作间期的检测结果。
在本实施例1中,利用上述的癫痫脑电信号识别***实现了癫痫脑电信号识别方法,包括:
获取待检测的多通道脑电信号,输入训练好的双向长短时记忆网络中进行处理,输出癫痫发作期或癫痫发作间期的检测结果;其中,所述训练好的双向长短时记忆网络由训练集训练得到,所述训练集包括多通道脑电信号,以及标注多通道脑电信号为癫痫发作期的标签和标注多通道脑电信号为癫痫发作间期的脑电信号。
在本实施例1中,对待检测的多通道脑电信号进行去噪处理,对去噪处理后的每个通道的脑电信号,按照设定时间长度,划分为若干个时间段的脑电信号;
将每个时间段的脑电信号以预定点数为一帧,对每一帧的数据进行Z-Score归一化;
将所有的Z-Score归一化后的数据组成待检测的脑电信号时频特征矩阵;
基于待检测的脑电信号时频特征矩阵,利用训练好的双向长短时记忆网络进行二分类检测,输出癫痫发作期或癫痫发作间期的检测结果。
在本实施例1中,训练所述双向长短时记忆网络包括:
采集多通道脑电信号,对所采集的多通道脑电信号进行癫痫发作间期标注和癫痫发作期标注;
将采集的多通道脑电信号,以及癫痫发作间期标注和癫痫发作期标注组成训练集;
对训练集的脑电信号进行去噪处理,按照设定时间长度,划分为若干个时间段的脑电信号,每个时间段的脑电信号以预定点数为一帧,对每一帧的数据进行Z-Score归一化,将所有的Z-Score归一化后的数据组成训练集的脑电信号时频特征矩阵;
构建基础双向长短时记忆网络,利用训练集的脑电信号时频特征矩阵训练所述基础双向长短时记忆网络,当损失函数达到最小值,或者迭代次数满足设定要求时,停止训练,得到训练好的双向长短时记忆网络。
在本实施例1中,所述双向长短时记忆网络包括依次连接的前向层、后向层、第一Dropout层、第二Dropout层、结合层、注意力机制层、第三Dropout层、批标准化层、激活函数层、第四Dropout层、全连接层和输出层。
在本实施例1中,所述前向层,用于向前推算;所述后向层,用于向后推算;所述第一Dropout层、第二Dropout层、第三Dropout层以及第四Dropout层,用于随机舍弃部分神经元,防止模型过拟合;所述结合层,用前向的长短时记忆网络与后向的长短时记忆网络结合得到;所述注意力机制层,用于提取关键信息;所述全连接层,用于在模型最后进行癫痫二分类检测。
在本实施例1中,在训练过程中,使用Euclidean Distance损失函数来平衡正负样本权重。
在本实施例1中,获取的是23通道脑电信号,进行去噪处理,对去噪处理后的每个通道的脑电信号,按照设定时间长度,划分为若干个时间段的脑电信号;将每个时间段的脑电信号以256个点为一帧来划分,对每一帧的数据进行Z-Score归一化。
实施例2
本实施例2提供了基于双向长短时记忆网络与注意力机制的癫痫检测***.
如图1所示,基于双向长短时记忆网络与注意力机制的癫痫检测***,包括:
获取模块,其被配置为:获取待检测的多通道脑电信号;
预处理模块,其被配置为:对待检测的多通道脑电信号进行预处理,将预处理后的23通道脑电信号以256个点为一帧来划分。对每一帧的数据进行Z-Score归一化。给每一帧数据制作对应的标签;
检测模块,其被配置为:将所有读取的原始脑电信号(待检测的脑电信号),输入到预先训练好的双向长短时记忆网络网络中,输出待检测的多通道脑电信号的癫痫诊断结果。
在本实施例2中,所述获取待检测的多通道脑电信号;具体包括:
采用23个脑电电极,采集脑电信号,获得待检测的23个通道的脑电信号。
在本实施例2中,所述对待检测的多通道脑电信号进行预处理,具体包括:
对待检测的多通道脑电信号进行去噪处理;
对去噪处理后的每个通道的脑电信号,按照设定时间长度,划分为若干个时间段的脑电信号。
在本实施例2中,所述将所有读取的脑电信号,输入到预先训练好的双向长短时记忆网络网络中,输出待检测的多通道脑电信号的癫痫诊断结果。
具体包括:
将所有通道的脑电信号特征矩阵,均输入到预先训练好的双向长短时记忆网络中;
预先训练好的双向长短时记忆网络,使用相应的癫痫标签来训练分类器,
输出待检测的多通道脑电信号的癫痫诊断结果。
在本实施例2中,如图2所示,所述双向长短时记忆网络,其网络结构包括:
依次连接的Forward LSTM层a1、Backward LSTM层a2、Dropout层b1、Dropout层b2、Bi-LSTM层c1、注意力机制层d1、Dropout层b3、批标准化层n1、激活函数层e1、Dropout层b4、全连接层和输出层。
其中,所述Forward LSTM层,用于向前推算。所述Backward LSTM层,用于向后推算。所述Dropout层,用于随机舍弃部分神经元,防止模型过拟合。所述Bi-LSTM层,用前向的LSTM与后向的LSTM结合成BiLSTM。所述注意力机制层,用于将计算资源合理分配,提取关键信息。所述批标准化层,用于改善神经网络的性能和稳定性。所述激活函数层,用于增添非线性元素,增强模型的泛化能力。所述全连接层,用于在模型最后进行癫痫二分类检测。
在本实施例2中,所述双向长短时记忆网络,其工作原理包括:
先经过前向LSTM层a1进行向前推算,再经过后向LSTM层a2进行后向推算,经过Dropout层b1随机舍弃部分神经元;
BiLSTM层c1将前向的LSTM与后向的LSTM结合成BiLSTM。再经过注意力机制层d1提取关键信息,批标准化层n1改善神经网络的性能和稳定性,结果送入激活函数层e1,激活函数层e1的输出值再送入全连接层FC进行癫痫二分类检测,检测结果为二分类-癫痫发作期或者癫痫发作间期。
在本实施例2中,预先训练好的双向长短时记忆网络,训练步骤包括:
构建训练集、验证集和测试集;
构建双向长短时记忆网络;
利用训练集和测试集,对双向长短时记忆网络进行训练、验证和测试,当损失函数达到最小值,或者迭代次数满足设定要求时,停止训练,得到训练好的双向长短时记忆网络。
在训练过程中,基于样本库随机将样本分成8:2,其中80%为训练样本,其余20%为测试样本,样本值为所得信号片段的特征向量。
在本实施例2中,训练集和测试集中均包含已知癫痫或非癫痫诊断结果的脑电信号。
在训练过程中,对EEG图像进行预处理,再将处理好的脑电信号片段放入到双向长短时记忆网络中,提取主要特征,利用损失函数进一步提高实验的准确性;并最终在全连接层进行癫痫检测。该发明为癫痫检测的计算机辅助诊断提供了一种新的思路。
在本实施例2中,引用了一个双向长短时记忆网络,对输入的癫痫数据进行特征提取,具体的运行规则是:
ft=σ(Wf·[ht-1,Xt]+bf)
it=σ(Wi·[ht-1,Xt]+bi)
C~t=tanh(Wc·[ht-1,Xt]+bc)
Ct=ft·Ct-1+it·C~t
Ot=σ(Wo·[ht-1,Xt]+bo)
ht=ot·tanh(Ct)
该公式是LSTM的计算公式。其中,W代表LSTM单元中各个门的权重矩阵,Xt表示t时刻的输入,C是LSTM中的细胞状态。ft表示LSTM中t时刻遗忘门的输出,σ表示sigmoid函数,Wf表示遗忘门的权重矩阵,ht-1表示t-1时刻的隐藏状态,bf表示遗忘门的偏置,bi表示输入门的偏置,Wi表示输入门的权重矩阵,it表示t时刻输入门的输出,C~t表示t时刻的候选细胞状态,Ct表示t时刻的新细胞状态,bc表示细胞状态的偏置,Ct-1表示t-1时刻的细胞状态,Wo表示输出门的权重矩阵,bo表示输出门的偏置,Ot表示t时刻输出门的输出,ht表示t时刻的隐藏状态。
模型Attention-based Bi-LSTM的初始输入为x,x代表脑电信号片段的特征向量。再加上softplus激活函数,批标准化层和全连接层,就形成了本实施例2中的模型架构。
如图2所示,双向长短时记忆网络,是根据传统的双向RNN与LSTM进一步改变得到的,也可理解为是LSTM的升级版本。双向长短时记忆网络是由前向的LSTM与后向的LSTM结合而成的。双向LSTM模型作为由两个独立的LSTM网络组成的特殊RNN,不仅可以将信息从前端传递到后端,还可以从后端传递到前端,共同决定输出值。
本实施例2中,得到的数据集如表1所示。首先通过硬件设备以及10-20国际脑电导联***环境得到原始脑电图,再利用MNE-python将原始脑电数据读取出计算机所能识别的数据格式,读取出脑电波的属性矩阵x,其中每一行代表一个通道的特征信息,列代表通道个数。再对数据进行划分根据比例划分成训练数据和测试数据,取得信号片段的特征向量。
将x输入到Attention-based Bi-LSTM模型中,首先先经过第一层LSTM层向前推算,在经过第二层LSTM层向后推算,经过dropout层随机舍弃部分神经元,防止过拟合。
在到注意力层提取特征,在进入激活函数层增强模型的泛化能力,最后放入全连接层进行癫痫二分类检测(癫痫发作间期或者癫痫发作期)实现癫痫检测。
表1:某地区儿童癫痫数据集
编号 | 性别 | 年龄 | 频率HZ | 导联数 | 记录总时长(小时) | 发作次数 | 发作总时长(分:秒) |
chb01 | 女 | 11 | 256 | 23 | 40.55 | 7 | 7:10 |
chb02 | 男 | 11 | 256 | 23 | 25.3 | 3 | 2:50 |
chb03 | 女 | 14 | 256 | 23 | 28 | 7 | 5:40 |
chb04 | 男 | 22 | 256 | 23 | 155.9 | 4 | 9:00 |
chb05 | 女 | 7 | 256 | 23 | 39 | 5 | 2:00 |
chb06 | 女 | 1.5 | 256 | 23 | 66.7 | 9 | 5:10 |
chb07 | 女 | 14.5 | 256 | 23 | 68.1 | 3 | 15:10 |
chb08 | 男 | 3.5 | 256 | 23 | 20 | 5 | 4:00 |
chb09 | 女 | 10 | 256 | 23 | 67.8 | 4 | 6:50 |
chb10 | 男 | 3 | 256 | 23 | 50 | 7 | 13:20 |
chb11 | 女 | 12 | 256 | 23 | 34.8 | 3 | 8:10 |
chb12 | 女 | 2 | 256 | 23 | 23 | 39 | 25:15 |
chb13 | 女 | 3 | 256 | 23 | 33 | 12 | 2:30 |
chb14 | 女 | 9 | 256 | 23 | 26 | 8 | 27:20 |
chb15 | 男 | 16 | 256 | 31 | 40 | 20 | 1:20 |
chb16 | 女 | 7 | 256 | 28 | 19 | 10 | 4:40 |
chb17 | 女 | 12 | 256 | 28 | 21 | 3 | 4:50 |
chb18 | 女 | 18 | 256 | 22 | 36 | 6 | 3:40 |
chb19 | 女 | 19 | 256 | 28 | 30 | 3 | 3:30 |
chb20 | 女 | 6 | 256 | 28 | 29 | 8 | 3:10 |
chb21 | 女 | 13 | 256 | 28 | 33 | 4 | 3:10 |
chb22 | 女 | 9 | 256 | 28 | 31 | 3 | 3:10 |
chb23 | 女 | 6 | 256 | 23 | 28 | 7 | 6:40 |
chb24 | 未知 | 未知 | 256 | 23 | 未知 | 16 | 8:47 |
现在头皮电极脑电图常规使用的是国际10-20***。10-20***包括19个记录电极和2个参考电极。首先在头皮表面确定两条线,一条为鼻根至枕外粗隆的前后连线为100%,另一条为双耳前凹之间的左右连线为100%。两者在头顶的交点为Cz电极的位置。从鼻根向后10%处为FPz(额极中线),从FPz向后每20%为一个电极的位置,依次为Fz(额中线)、Cz(中央中线)、Pz(顶中线)及Oz(枕中线)。Oz与枕外粗隆的间距为10%。双耳前凹连线距左耳前凹10%处为T3(左中颞)电极位置,以后向右每20%放置一个电极,依次为C3(左中央)、Cz、C4(右中央)和T4(右中颞)。T4距右耳前凹间距为10%。从FPz通过T3至Oz的连线为左颞连线,从FPz向左10%为FP1(左额极),从FP1每向后每20%放置一个电极,依次为F7(左前颞)、T3(左中颞)、T5(左后颞)及O1(左枕),其中T3为此线与双耳前凹连线的交点,O1距Oz为10%。右颞连线与此相对应,从前向后依次为FP2(右颞极)、F8(右前颞)、T4(右中颞)、T6(右后颞)、O2(右枕)。从FP1至O1和从FP2至O2各做一连线,为左、右矢状旁连线,从FP1和FP2向后每20%为一个电极位点,左侧一次为F3(左额)、C3(左中央)、P3(左顶)和O1(左枕),右侧依次为F4(右额)、C4(右中央)、P4(右顶)和O2(右枕)。在10-20***中,FPz和Oz不包括19个记录点内。
如图3所示,主要是展示了癫痫检测的设备测出来的癫痫发作期的脑电图的实例图。
本实施例2中,在CHB-MIT数据集(国际10-20***)上进行了癫痫检测实验。该数据集是由波士顿儿童医院(Boston Chil-dren's Hospital)收集,共有5位男性(3-22岁)和17位女性(1.5-19岁)组成。脑电信号以256Hz的采样,每条脑电记录总时长约一小时。该数据集总共收集了958小时的信号,其中198小时是癫痫发作时间。在对脑电图进行通道选择:选择23条双电极通道,这里的23条通道是脑电数据在获取时不同的位置不同的电极中选择通用的部分,有利于统一的进行程序的运行。
本实施例2中,使用从CHB-MIT数据集中的每个受试者获得的EEG记录来评估所提出模型的性能,并使用国际10-20脑电图电极***收集脑电图记录。将去噪后的长时程的23通道脑电图信号以256个点为一帧来划分,其中,输入数据的大小为N*256*23,其中N表示一共有N帧数据样本;256表示每一帧的单通道数据大小为256个点;23表示一共有23个通道。
选择了1秒的滑动窗口来分析23个通道的EEG记录。这些设置是通过经验和试验获得的,可确保取得结果的良好动力。在训练过程中,基于样本库随机将样本分成8:2,其中80%为训练样本,其余20%为测试样本,样本值为所得信号片段的特征向量。
本实施例2中,通过放置在大脑皮层的电极进行测试得到EEG图;进而对该图像进行滤波以及Z-SCORE归一化;将预处理后的23通道脑电信号以256个点为一帧来划分。对每一帧的数据进行Z-Score归一化。给每一帧数据制作对应的标签,并利用Attention-basedBi-LSTM模型来实现癫痫的自动检测。癫痫脑电信号检测识别的结果与传统的方法检测结果进行比较,如表2所示。
表2
由表2可以看出,本实施例2所述的癫痫脑电信号的检测识别准确率、F1分数均优于其他方法。
实施例3
本发明实施例3提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质包括用于执行癫痫脑电信号识别方法的指令,该方法包括:
获取待检测的多通道脑电信号,输入训练好的双向长短时记忆网络中进行处理,输出癫痫发作期或癫痫发作间期的检测结果;其中,所述训练好的双向长短时记忆网络由训练集训练得到,所述训练集包括多通道脑电信号,以及标注多通道脑电信号为癫痫发作期的标签和标注多通道脑电信号为癫痫发作间期的脑电信号。
实施例4
本发明实施例4提供一种电子设备,该电子设备包括一种非暂态计算机可读存储介质;以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。所述非暂态计算机可读存储介质包括用于执行癫痫脑电信号识别方法的指令,该方法包括:
获取待检测的多通道脑电信号,输入训练好的双向长短时记忆网络中进行处理,输出癫痫发作期或癫痫发作间期的检测结果;其中,所述训练好的双向长短时记忆网络由训练集训练得到,所述训练集包括多通道脑电信号,以及标注多通道脑电信号为癫痫发作期的标签和标注多通道脑电信号为癫痫发作间期的脑电信号。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本发明公开的技术方案的基础上,本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种癫痫脑电信号识别方法,其特征在于,包括:
获取待检测的多通道脑电信号,输入训练好的双向长短时记忆网络中进行处理,输出癫痫发作期或癫痫发作间期的检测结果;其中,所述训练好的双向长短时记忆网络由训练集训练得到,所述训练集包括多通道脑电信号,以及标注多通道脑电信号为癫痫发作期的标签和标注多通道脑电信号为癫痫发作间期的脑电信号。
2.根据权利要求1所述的癫痫脑电信号识别方法,其特征在于:
对待检测的多通道脑电信号进行去噪处理,对去噪处理后的每个通道的脑电信号,按照设定时间长度,划分为若干个时间段的脑电信号;
将每个时间段的脑电信号以预定点数为一帧,对每一帧的数据进行Z-Score归一化;
将所有的Z-Score归一化后的数据组成待检测的脑电信号时频特征矩阵;
基于待检测的脑电信号时频特征矩阵,利用训练好的双向长短时记忆网络进行二分类检测,输出癫痫发作期或癫痫发作间期的检测结果。
3.根据权利要求2所述的癫痫脑电信号识别方法,其特征在于,训练所述双向长短时记忆网络包括:
采集多通道脑电信号,对所采集的多通道脑电信号进行癫痫发作间期标注和癫痫发作期标注;
将采集的多通道脑电信号,以及癫痫发作间期标注和癫痫发作期标注组成训练集;
对训练集的脑电信号进行去噪处理,按照设定时间长度,划分为若干个时间段的脑电信号,每个时间段的脑电信号以预定点数为一帧,对每一帧的数据进行Z-Score归一化,将所有的Z-Score归一化后的数据组成训练集的脑电信号时频特征矩阵;
构建基础双向长短时记忆网络,利用训练集的脑电信号时频特征矩阵训练所述基础双向长短时记忆网络,当损失函数达到最小值,或者迭代次数满足设定要求时,停止训练,得到训练好的双向长短时记忆网络。
4.根据权利要求2所述的癫痫脑电信号识别方法,其特征在于,所述双向长短时记忆网络包括依次连接的前向层、后向层、第一Dropout层、第二Dropout层、结合层、注意力机制层、第三Dropout层、批标准化层、激活函数层、第四Dropout层、全连接层和输出层。
5.根据权利要求4所述的癫痫脑电信号识别方法,其特征在于,所述前向层,用于向前推算;所述后向层,用于向后推算;所述第一Dropout层、第二Dropout层、第三Dropout层以及第四Dropout层,用于随机舍弃部分神经元,防止模型过拟合;所述结合层,用前向的长短时记忆网络与后向的长短时记忆网络结合得到;所述注意力机制层,用于提取关键信息;所述全连接层,用于在模型最后进行癫痫二分类检测。
6.根据权利要求3所述的癫痫脑电信号识别方法,其特征在于,在训练过程中,使用Euclidean Distance损失函数来平衡正负样本权重。
7.根据权利要求3所述的癫痫脑电信号识别方法,其特征在于,获取23通道脑电信号,进行去噪处理,对去噪处理后的每个通道的脑电信号,按照设定时间长度,划分为若干个时间段的脑电信号;
将每个时间段的脑电信号以256个点为一帧来划分,对每一帧的数据进行Z-Score归一化。
8.一种癫痫脑电信号识别***,其特征在于,包括:
获取模块,用于获取待检测的多通道脑电信号;
检测模块,用于利用训练好的双向长短时记忆网络中进行处理,输出癫痫发作期或癫痫发作间期的检测结果;其中,所述训练好的双向长短时记忆网络由训练集训练得到,所述训练集包括多通道脑电信号,以及标注多通道脑电信号为癫痫发作期的标签和标注多通道脑电信号为癫痫发作间期的脑电信号;其中,
训练好的双向长短时记忆网络被配置为:
对待检测的多通道脑电信号进行去噪处理,对去噪处理后的每个通道的脑电信号,按照设定时间长度,划分为若干个时间段的脑电信号;
将每个时间段的脑电信号以预定点数为一帧,对每一帧的数据进行Z-Score归一化;
将所有的Z-Score归一化后的数据组成待检测的脑电信号时频特征矩阵;
基于待检测的脑电信号时频特征矩阵,进行二分类检测,输出癫痫发作期或癫痫发作间期的检测结果。
9.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质包括用于执行如权利要求1-7任一项所述的癫痫脑电信号识别方法的指令。
10.一种电子设备,包括如权利要求9所述的非暂态计算机可读存储介质;以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110564684.8A CN113288172A (zh) | 2021-05-24 | 2021-05-24 | 癫痫脑电信号识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110564684.8A CN113288172A (zh) | 2021-05-24 | 2021-05-24 | 癫痫脑电信号识别方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113288172A true CN113288172A (zh) | 2021-08-24 |
Family
ID=77324273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110564684.8A Pending CN113288172A (zh) | 2021-05-24 | 2021-05-24 | 癫痫脑电信号识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113288172A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113786204A (zh) * | 2021-09-03 | 2021-12-14 | 北京航空航天大学 | 基于深度卷积注意力网络的癫痫颅内脑电信号预警方法 |
CN114129129A (zh) * | 2021-10-28 | 2022-03-04 | 山东师范大学 | 一种基于CNN与Transformer的癫痫检测*** |
CN114176598A (zh) * | 2021-12-22 | 2022-03-15 | 昆明市儿童医院 | 基于多模态的癫痫发病预警方法及智能手环装置 |
CN114224288A (zh) * | 2021-12-13 | 2022-03-25 | 中国人民解放军军事科学院军事医学研究院 | 检测癫痫脑电信号的微型胶囊神经网络训练方法及设备 |
CN114360644A (zh) * | 2021-12-30 | 2022-04-15 | 山东师范大学 | T细胞受体与抗原表位的结合预测方法及*** |
CN114358081A (zh) * | 2022-01-05 | 2022-04-15 | 河北工业大学 | 心冲击信号的波峰定位方法、装置和电子设备 |
CN115500790A (zh) * | 2022-09-23 | 2022-12-23 | 燕山大学 | 基于bi-lstm网络的癫痫发作预测分析的方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109793528A (zh) * | 2019-01-28 | 2019-05-24 | 华南理工大学 | 一种基于动态脑功能网络的情绪分类方法 |
CN110515456A (zh) * | 2019-08-14 | 2019-11-29 | 东南大学 | 基于注意力机制的脑电信号情感判别方法及装置 |
CN110840432A (zh) * | 2019-12-02 | 2020-02-28 | 苏州大学 | 基于一维cnn-lstm的多通道脑电图癫痫自动检测装置 |
CN111597991A (zh) * | 2020-05-15 | 2020-08-28 | 南京邮电大学 | 一种基于信道状态信息和BiLSTM-Attention的康复检测方法 |
CN111870241A (zh) * | 2020-07-03 | 2020-11-03 | 杭州电子科技大学 | 基于优化的多维样本熵的癫痫发作信号检测方法 |
CN112037179A (zh) * | 2020-08-11 | 2020-12-04 | 深圳大学 | 一种脑疾病诊断模型的生成方法、***及设备 |
-
2021
- 2021-05-24 CN CN202110564684.8A patent/CN113288172A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109793528A (zh) * | 2019-01-28 | 2019-05-24 | 华南理工大学 | 一种基于动态脑功能网络的情绪分类方法 |
CN110515456A (zh) * | 2019-08-14 | 2019-11-29 | 东南大学 | 基于注意力机制的脑电信号情感判别方法及装置 |
CN110840432A (zh) * | 2019-12-02 | 2020-02-28 | 苏州大学 | 基于一维cnn-lstm的多通道脑电图癫痫自动检测装置 |
CN111597991A (zh) * | 2020-05-15 | 2020-08-28 | 南京邮电大学 | 一种基于信道状态信息和BiLSTM-Attention的康复检测方法 |
CN111870241A (zh) * | 2020-07-03 | 2020-11-03 | 杭州电子科技大学 | 基于优化的多维样本熵的癫痫发作信号检测方法 |
CN112037179A (zh) * | 2020-08-11 | 2020-12-04 | 深圳大学 | 一种脑疾病诊断模型的生成方法、***及设备 |
Non-Patent Citations (1)
Title |
---|
扈新梅: "基于双向LSTM深度网络的癫痫自动检测研究", 《中国博士学位论文全文数据库 医药卫生科技辑》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113786204A (zh) * | 2021-09-03 | 2021-12-14 | 北京航空航天大学 | 基于深度卷积注意力网络的癫痫颅内脑电信号预警方法 |
CN113786204B (zh) * | 2021-09-03 | 2023-10-03 | 北京航空航天大学 | 基于深度卷积注意力网络的癫痫颅内脑电信号预警方法 |
CN114129129A (zh) * | 2021-10-28 | 2022-03-04 | 山东师范大学 | 一种基于CNN与Transformer的癫痫检测*** |
CN114224288A (zh) * | 2021-12-13 | 2022-03-25 | 中国人民解放军军事科学院军事医学研究院 | 检测癫痫脑电信号的微型胶囊神经网络训练方法及设备 |
CN114224288B (zh) * | 2021-12-13 | 2023-10-31 | 中国人民解放军军事科学院军事医学研究院 | 检测癫痫脑电信号的微型胶囊神经网络训练方法及设备 |
CN114176598A (zh) * | 2021-12-22 | 2022-03-15 | 昆明市儿童医院 | 基于多模态的癫痫发病预警方法及智能手环装置 |
CN114176598B (zh) * | 2021-12-22 | 2023-09-29 | 昆明市儿童医院 | 基于多模态的癫痫发病预警方法及智能手环装置 |
CN114360644A (zh) * | 2021-12-30 | 2022-04-15 | 山东师范大学 | T细胞受体与抗原表位的结合预测方法及*** |
CN114358081A (zh) * | 2022-01-05 | 2022-04-15 | 河北工业大学 | 心冲击信号的波峰定位方法、装置和电子设备 |
CN115500790A (zh) * | 2022-09-23 | 2022-12-23 | 燕山大学 | 基于bi-lstm网络的癫痫发作预测分析的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113288172A (zh) | 癫痫脑电信号识别方法及*** | |
Zhang et al. | Adversarial representation learning for robust patient-independent epileptic seizure detection | |
Nguyen et al. | A lightweight and inexpensive in-ear sensing system for automatic whole-night sleep stage monitoring | |
Li et al. | Clustering technique-based least square support vector machine for EEG signal classification | |
CN106529476B (zh) | 一种基于深层堆叠网络的脑电信号特征提取及分类方法 | |
CN115590529A (zh) | 基于时空注意力机制的癫痫脑电信号监测方法及*** | |
Alotaibi et al. | Ensemble Machine Learning Based Identification of Pediatric Epilepsy. | |
Nagar et al. | Brain mapping based stress identification using portable eeg based device | |
CN114266276A (zh) | 一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法 | |
CN114129129A (zh) | 一种基于CNN与Transformer的癫痫检测*** | |
EP3554361B1 (en) | Improved signal quality index of multichannel bio-signal using riemannian geometry | |
Hehenberger et al. | Long-term mutual training for the CYBATHLON BCI race with a tetraplegic pilot: a case study on inter-session transfer and intra-session adaptation | |
CN117457229A (zh) | 基于人工智能的麻醉深度监测***及方法 | |
CN115363531A (zh) | 基于双模态脑电信号信息瓶颈的癫痫检测*** | |
Ibrahim et al. | Formulation of a novel classification indices for classification of human hearing abilities according to cortical auditory event potential signals | |
Gu et al. | Application of bi-modal signal in the classification and recognition of drug addiction degree based on machine learning | |
CN111671419B (zh) | 一种基于脑电信号的癫痫早期检测与识别方法及*** | |
CN111128387A (zh) | 建立癫痫发作检测模型的方法和设备 | |
Chen et al. | Mental state classification using multi-graph features | |
CN110705656A (zh) | 一种基于eeg传感器的面部动作识别方法 | |
Xu et al. | Unsupervised EEG channel selection based on nonnegative matrix factorization | |
AILENI et al. | Epileptic seizure classification based on supervised learning models | |
Özbeyaz et al. | Classification of EEG signals of familiar and unfamiliar face stimuli exploiting most discriminative channels | |
CN107092925B (zh) | 基于成组sim算法的大脑功能磁共振成像盲源分离方法 | |
CN114305454A (zh) | 基于域对抗神经网络的疲劳状态识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210824 |
|
RJ01 | Rejection of invention patent application after publication |