CN117503057B - 基于高阶张量分解构建脑网络的癫痫发作检测装置及介质 - Google Patents
基于高阶张量分解构建脑网络的癫痫发作检测装置及介质 Download PDFInfo
- Publication number
- CN117503057B CN117503057B CN202311482149.3A CN202311482149A CN117503057B CN 117503057 B CN117503057 B CN 117503057B CN 202311482149 A CN202311482149 A CN 202311482149A CN 117503057 B CN117503057 B CN 117503057B
- Authority
- CN
- China
- Prior art keywords
- tensor
- order
- decomposition
- electroencephalogram
- twd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 70
- 210000004556 brain Anatomy 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 206010010904 Convulsion Diseases 0.000 title claims abstract description 33
- 206010015037 epilepsy Diseases 0.000 title abstract description 22
- 208000028329 epileptic seizure Diseases 0.000 title description 12
- 238000000034 method Methods 0.000 claims abstract description 57
- 239000011159 matrix material Substances 0.000 claims abstract description 49
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims description 17
- 125000004122 cyclic group Chemical group 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000003925 brain function Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 210000003478 temporal lobe Anatomy 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 4
- 238000003745 diagnosis Methods 0.000 abstract 1
- 230000001037 epileptic effect Effects 0.000 description 36
- 238000004364 calculation method Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 13
- 238000000605 extraction Methods 0.000 description 12
- 230000005611 electricity Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 210000004761 scalp Anatomy 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000007177 brain activity Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000036461 convulsion Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 208000007101 Muscle Cramp Diseases 0.000 description 1
- 208000005392 Spasm Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4094—Diagnosing or monitoring seizure diseases, e.g. epilepsy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Neurosurgery (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于高阶张量分解构建脑网络的癫痫发作检测装置及介质，属于信号处理技术领域。本发明的检测装置包括处理器和存储器，处理器用于执行下述操作：对输入的原始多通道脑电信号进行信号预处理，构造维度均衡的高阶脑电张量，包括使用连续小波变换将信号转换到时频域，在时频域构建维度均衡的三阶张量，三阶张量按通道堆叠为四阶脑电张量；使用张量轮分解TWD对四阶脑电张量的TWD分解，利用TWD分解得到的环因子张量计算表征大脑网络功能连接的邻接矩阵；展开邻接矩阵作为特征向量并输入多项式核SVM进行脑电信号的自动分类，并输出分类结果。本发明可辅助癫痫的诊断和治疗，其输出的检测结果客观准确，可解释性强，易于训练。
Description
技术领域
本发明属于信号处理技术领域，具体涉及一种基于高阶张量分解构建脑网络的癫痫发作检测装置及介质。
背景技术
癫痫是由于大量神经元异常放电导致的大脑功能暂时性障碍，主要表现为不自主的抽搐或痉挛，并伴随意识障碍，一段时间后会自动终止。癫痫发作突然，患者时常由于突然的发病抽搐而导致跌伤等二次伤害，全球大约5000万人深受其困扰。
癫痫检测是诊断和治疗癫痫的重要辅助手段，可以帮助确诊癫痫、及时给癫痫发作患者提供医疗救助，对后期的治疗方案调整也具有很高的参考价值。
目前国内外主要通过以下两种方式进行癫痫检测：(1)基于癫痫发作抽搐时的身体运动特征进行检测。这种方法适用于生活中的实时癫痫检测，但是准确率低，并且不能提供大脑异常放电位置、放电强度、放电波形等治疗关键信息(2)基于脑电波形特征，由经验丰富的医生进行观察判断，是当前临床的主流方法。脑电作为癫痫检测的“金标准”，它能够记录大脑的异常放电，为癫痫检测提供更全面和直接的信息。但是这个方法严重依赖医护人员的经验积累。此外，在患者多、发作量大时，会给临床医护人员造成非常繁重的工作量。
近年来，国内外学者致力于开发基于脑电的癫痫自动化检测方法，实现准确、迅速并且低成本的癫痫检测甚至发作预测。目前，脑电癫痫检测的方法主要分为以下几类：(1)使用神经网络进行特征提取和分类，例如卷积神经网络(Convolutional Neural Network，CNN)，此外还有深度玻尔兹曼机(Depth Boltzmann Machine，DBM)、循环神经网络(Recurrent Neural Network，RNN)、长短记忆网络(Long Short Memory Network，LSTM)以及图神经网络(Graph Neural Network，GNN)等。研究者在网络搭建中常结合注意力机制和残差网络等组件来提升模型检测性能。该类方法虽然能取得较优异的分类性能，但在癫痫脑电检测领域仍存在许多缺陷：神经网络的训练依靠大量的样本，但是通常一个患者收集到的癫痫脑电样本较少，而不同患者之间的发作模式存在较大差别，因此神经网络对个体而言容易陷入过拟合，虽然在训练时能取得很高的识别准确率，但是实际应用时性能不佳。此外，对于最常使用的CNN，受限于卷积核的感受野覆盖范围限制，CNN并不擅长提取脑电所有通道的全局信息。(2)多域信号处理方法。这类方法通常通过短时傅里叶变换、小波变换、空间滤波等方法获取癫痫脑电信号的时域、频域、时频域、空间域和频带功率等多视图，再设计基于模型的特征提取架构。但是这种方法各个视角之间存在大量的信息冗余，缺少包含全部通道脑电信号的全局融合特征，识别准确率较低。(3)基于脑网络的方法。这类方法通常直接使用时域的脑电信号，在通道之间计算相关，从而构建脑网络连接，再利用网络连接特性作为特征进行分类识别。然而由于癫痫脑电是高度时变的信号，直接使用时域信号计算相关并不能很有效的提取癫痫发作的网络特征。(4)基于张量的方法。张量是癫痫脑电非常自然的表示方法，但是目前癫痫的脑电识别中，主要使用最基本的张量CP分解和Tucker分解，而且一般只用到三阶张量，没有充分利用张量强大的表示能力和癫痫脑电信号的特有结构，识别性能还有待提高。此外，普遍将张量分解作为一种降维的特征提取方法，没有利用张量分解结果中，各个模态可解释的现实含义。
发明内容
本发明提供了一种基于高阶张量分解构建脑网络的癫痫发作检测装置及介质，以保持较低的超参数尺度的条件下实现正常脑电信号和癫痫发作脑电信号的自动分类检测。
一方面，本发明提供了一种于高阶张量分解构建脑网络的癫痫发作检测装置，该检测装置包括处理器和存储器，该存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现本发明的基于高阶张量分解构建脑网络的癫痫发作检测方法，该检测方法具体包括下列步骤：
步骤1，信号预处理，对输入的原始多通道脑电信号进行信号预处理，包括：降采样、滤波以及组合重参考；
步骤2，构造维度均衡的高阶脑电张量，包括使用连续小波变换将信号预处理后的脑电信号转换到时频域，在时频域构建维度均衡的三阶张量，三阶张量按通道堆叠为四阶张量；
步骤3，使用张量轮分解(Tensor Wheel Decomposition，TWD)构建大脑功能连接网络：包括超参数调节，四阶脑电张量的TWD分解，以及利用TWD分解得到的环因子张量，计算表征大脑网络功能连接的邻接矩阵，即步骤3具体包括：
步骤301，确定超参数，然后执行TWD分解，进一步的，在确定TWD分解的超参数时可使用以重建精度尽量高、TW秩尽量低为原则的超参数调节方法；
步骤302，对上一步得到的TWD分解结果，展开空间通道所对应维度上的环因子张量，得到通道信息矩阵M，再对每两个通道分别计算其非线性相关系数(优选斯皮尔曼相关系数)，构建表征大脑功能连接网络的邻接矩阵A；
步骤4，分类识别，展开上一步得到的邻接矩阵A，作为特征向量，输入预置的分类器中进行脑电信号的癫痫是否发作的自动分类，并输出分类结果。
进一步的，步骤1中的信号预处理具体为：
降采样：将原始脑电信号降采样到250Hz，根据奈奎斯特采样定理可知，降采样可以使需要处理的数据量大幅降低，并且完整保留所关注频带内的信息，有利于加快信号处理；
滤波：对每个通道的信号均进行0.5～70Hz的带通滤波和50Hz的陷波滤波处理，带通滤波可以保留头皮癫痫脑电的目标频带，滤除其他杂波信号，陷波滤波可以滤除环境中广泛存在的工频干扰；
组合重参考：对实际的物理通道使用参考导联法(单极导联)中的左右耳电极局部参考；再选取左右颞叶区的实际物理通道，更改参考方式为半球双极导联，生成对应的辅助通道，能更好的定位实际波峰位置，增强对大脑两侧广泛异常活动的记录，和癫痫的异常放电特性匹配。
进一步的，所述步骤2具体为：
连续小波变换：小波变换是一种常见的时频变换方法，相比于傅里叶变换，小波可以反应频率成分随时间的动态变化，适合处理脑电这类非平稳性信号。此外，小波具有多分辨特性：在信号的低频段，有较高的频率分辨率；在信号的高频段，有较高的时间分辨率，这样可以更细致地观察癫痫脑电的低频成分，同时更精准地定位高频尖波的出现时间。相比于广泛使用的离散小波，本发明使用连续小波变换，这是因为离散小波具有压缩特性，更偏向于一个降维的特征提取过程；连续小波则偏向于只改变信号的呈现形式，输出结果在时间维度上是不变的。由于本发明的特征提取是由TWD完成，故此处选择连续小波变换，仅为了将癫痫脑电信号转换到时频域。具体的，选择bump作为小波基，单独对每个通道进行连续小波变换。选择bump小波基是因为它的波形更加接近癫痫脑电信号，所谓的连续小波变换，就是计算一系列经过尺度缩放的小波基在不同时间段上和待分析信号的相似程度，选择和待测信号类似的小波基可以更好的拟合信号，提取信息。头皮癫痫脑电包含大脑活动信息的频带通常为0.5～50Hz，故均匀截取小波结果中，位于0.5～50Hz范围内的指定数量(用符号表示频点数，预选的/>)的频点，得到时频矩阵Tf；
在时频域构建维度均衡的三阶张量，本发明采用以维度均衡为原则的脑电三阶张量构造方法，张量的计算过程中存在许多矩阵求逆等中间计算，在各个模态上的维度保持均衡可以避免矩阵长宽差异过大导致不利于计算的情况，对张量分解的计算和信息的有效提取十分有利。因此先用单个通道的信号构建均衡的小张量块：沿着Tf的时间维度，以频率点数为帧长，将Tf切割成长宽相等的若干帧矩阵，对Tf末端不足以切成一个完整帧的部分，直接抛弃。得到的帧矩阵作为切片，堆叠成维度均衡的三阶张量/>其中，I2＝完整帧的数量；
三阶张量按通道堆叠为四阶张量，直接按通道顺序堆叠三阶张量，得到代表全脑的四阶张量各个模态都有可解释的物理意义：I1对应模态是一帧内/>个连续的时间采样点，代表小间隔精细时间；I2对应模态是不同的帧，代表大间隔的时间；I3对应模态代表频率；I4对应模态代表空间通道，大小等于通道数。
进一步的，所述步骤301包括：
将四阶张量分解为四个环因子和一个核因子构成的张量网：
基于给定的秩从元素的角度将四阶张量/>表示为：
其中，阶数N＝4，Rn表示环因子张量的秩，Ln表示核因子张量的秩，rn表示Rn的元素编号，ln表示Ln的元素编号，下标n＝1，…，N，表示环因子张量，/>表示核因子张量；
四阶张量的张量缩并形式为：
并将其简记为：
采用基于近端梯度的交替最小二乘法求解TWD分解结果中的各个因子张量：
求解过程中各个因子张量的更新过程为：
其中，其中，分别表示在第t+1次、t次迭代的第k个环因子张量，分别表示在第t+1次、t次迭代的核因子张量，ρ是近端算子；
超参数调参设置：
设置秩的所有元素都为小于(I1+I2+I3+I4)/K的最大整数，重建误差阈值设置为ε(优选取值范围为0.1-0.01)，最大迭代次数为τ，其中，K为经验预设值；
对所有训练样本执行首次TWD，执行完毕后将重建误差最大的前α％的训练样本作为大误差样本；α的值为经验预设值，优选的其取值范围为1-10；
以大误差样本的收敛情况为基准，执行TWD，不断增大秩r，直到大误差样本能够收敛到设定的重建误差阈值ε；
并选择大误差样本满足重建误差的平均最小迭代次数，作为整个模型的最大迭代次数τ；
再基于ε、r、α％、τ、K的值执行TWD分解。
进一步的，所述步骤302具体为：
完成TWD分解之后，取空间通道对应的环因子张量取空间通道对应的环因子张量以I4对应的模态为行，展开得到空间信息矩阵/>即M的每一行表示一个通道，共I4个通道。
进一步的，再对矩阵M的每两行两两组合计算斯皮尔曼相关系数，得到代表大脑网络功能连接的实对称邻接矩阵为选择斯皮尔曼相关系数是因为它不要求数据符合正态分布，也不要求样本容量超过一定阈值，适合癫痫脑电这类高度非平稳的小样本信号。除此之外，斯皮尔曼相关系数不关注数据的分布，只关注每个变量在各组内的排列顺位是否相似。因此它很少受癫痫脑电中棘波、尖波等带来离群值的影响，适用于提取脑电信号的非线性相关信息。
进一步的，所述步骤4具体为：
取邻接矩阵A的上三角或下三角中不包含主对角线的部分，作为特征向量输入预置的分类器中进行脑电信号的癫痫是否发作的自动分类。
进一步的，针对脑电的非线性特性，选择多项式核SVM(支持向量机)作为分类器，将f输入分类器，输出识别结果。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以实现上述的基于高阶张量分解构建脑网络的癫痫发作检测方法的步骤1至4。
本发明提供的技术方案至少带来如下有益效果：
(1)本发明可以基于获取的脑电信号进行自动检测，利用半球双极导联扩充脑电通道数量，利用张量网络分解的方法提取信号的空间特征，构建大脑的功能连接矩阵，进而实现癫痫的自动检测，相比于现有的技术，本发明的检测方法检测结果客观准确，可解释性强，易于训练，实现较高程度的自动测量，可以辅助癫痫的诊断和治疗。
(2)本发明在时频域构造维度均衡的四阶张量。张量的计算过程中存在许多矩阵求逆等中间计算过程，在各个模态上的维度保持均衡可以避免矩阵长宽差异过大而不利于计算的情况，对张量分解的计算和信息的有效提取十分有利。对癫痫脑电信号选择这样的张量数据结构，可以在信号处理的源头，即信号建模表示阶段，完整的保留原始脑电时序信号的信息，并且提供了一种不同域的联合集中表示，有利于后续提取多模态全局融合特征。
(3)本发明通过TWD提取脑功能网络连接矩阵。使用TWD得到的分解因子具有很好的可解释性，和信号的时域、频域、空域直接对应，并且这种张量分解方式使得各个模态之间的信息充分交互，能更好地提取癫痫脑电的全局信息。
(4)本发明用不需要数据符合高斯分布的斯皮尔曼相关系数计算得到的邻接矩阵元素作为特征向量，使用多项式核SVM进行分类识别，有效地分辨了正常脑电信号和癫痫脑电信号。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的癫痫发作自动检测方法流程图。
图2是本发明实施例提供的脑电信号预处理流程图。
图3是本发明实施例提供的构造维度均衡高阶张量示意图。
图4是TWD分解的示意图。
图5是计算得到的脑功能网络邻接矩阵示例。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了基于高阶张量分解构建脑网络的癫痫发作检测装置及介质，其选择张量作为信号数据形式，可以在信号处理初段，完整的保留原始脑电信号中的信息，分解方式采用张量轮分解(Tensor Wheel Decomposition，TWD)，它将一个N阶张量分解为N个四阶环因子和一个N阶核因子构成的张量网络，由核因子来物理地继承来自各个模态的复杂相互作用。因此TWD的网络结构能充分适配癫痫脑电的数据结构，同时保持较低的超参数尺度，利用简单高效的信号处理框架，实现正常脑电信号和癫痫发作脑电信号的自动分类检测。
需要说明的是，在本实施例中采用的癫痫发作脑电数据来自未年满18岁的癫痫患者。所有数据的实际物理通道为19个，原始采样频率为500Hz，单片段时长15秒，有7500个时间点，包括50名癫痫患者和71名正常人，每人都有多次脑电信号记录。患者在前期由专业的医生诊断为确诊为全局型癫痫。
进一步需要说明的是，本发明以及相应实施例提出的信号特征处理方法、特征提取方法、信号识别与分类方法都仅仅是对信号的处理和识别方法本身进行研究和改进，虽然针对的是癫痫脑电信号，实现的自动分类识别结果可以作为评估参考，但在临床或医疗领域其识别结果也仅仅是一个辅助性的评估，对于具体的治疗方法仍需要并主要依赖于医生的临床经验和医生提供的治疗方法。
本实施例提供的基于高阶张量分解构建脑网络的癫痫发作检测装置包括处理器和存储器，该存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现本发明实施例提供的基于高阶张量分解构建脑网络的癫痫发作检测方法，如图1所示，该检测方法具体包括下列步骤：
步骤S1：信号预处理，对输入的原始多通道脑电信号进行降采样、滤波以及组合重参考。
如图2所示，该步骤具体包括下列步骤：
步骤S101：降采样。在本实施例中将原始脑电信号从500Hz降采样到250Hz，根据奈奎斯特采样定理可知，降采样可以使需要处理的数据量大幅降低，并且完整保留所关注频带内的信息，有利于加快信号处理。
步骤S102：滤波。对每个通道的信号都进行0.5～70Hz的带通滤波和50Hz的陷波滤波处理，带通滤波可以保留头皮癫痫脑电的目标频带，滤除其他杂波信号，陷波滤波可以滤除环境中广泛存在的工频干扰；
步骤S103：组合重参考。在本实施例合计35个通道，其中对19个物理通道使用参考导联法(单极导联)中的左右耳电极局部参考；再选取左右颞叶区的实际物理通道，更改参考方式为半球双极导联，生成对应的16个辅助通道，能更好的定位实际波峰位置，增强对大脑两侧广泛异常活动的记录，和癫痫的异常放电特性匹配。
步骤S2：构造维度均衡的高阶脑电张量。
具体包括使用连续小波变换将信号转换到时频域，在时频域构建维度均衡的三阶张量，三阶张量按通道堆叠为四阶张量，如图3所示，步骤S2具体包括：
步骤S201：连续小波变换。由于脑电信号是非平稳的，它的统计量在15秒的采集时间内会随时间变化，直接对整段信号进行傅里叶变换在这里并不适用。因此信号处理领域针对这类非平稳信号，提出了时频变换的方法。这种方法对信号加窗，并认为在较短的时间窗口内，信号是近似平稳的。小波变换就是一种常见的时频变换方法，可以反应频率成分随时间的动态变化，适合处理脑电这类非平稳性信号。此外，小波还具有短时傅里叶变换等其他时频变换不具备的多分辨特性：在信号的低频段，有较高的频率分辨率；在信号的高频段，有较高的时间分辨率，这样可以更细致地观察癫痫脑电的低频成分，同时更精准地定位高频尖波的出现时间。相比于广泛使用的离散小波，本方法使用连续小波变换，这是因为离散小波具有压缩特性，更偏向于一个降维的特征提取过程；连续小波则偏向于只改变信号的呈现形式，输出结果在时间维度上是不变的。由于本方法的特征提取是由TWD完成，故此处选择连续小波变换，仅为了将癫痫脑电信号转换到时频域。具体的，选择bump作为小波基，单独对每个通道进行连续小波变换。选择bump小波基是因为它的波形更加接近癫痫脑电信号，所谓的连续小波变换，就是计算一系列经过尺度缩放的小波基在不同时间段上和待分析信号的相似程度，选择和待测信号类似的小波基可以更好的拟合信号，提取信息。头皮癫痫脑电包含大脑活动信息的频带通常为0.5～50Hz，故均匀截取小波结果中，位于0.5～50Hz范围内的62个频点，得到时频矩阵Tf。
步骤S202：以维度均衡为原则的脑电三阶张量构造方法。张量的计算过程中存在许多矩阵求逆等中间计算，在各个模态上的维度保持均衡可以避免矩阵长宽差异过大导致不利于计算的情况，在实验过程中发现，这样的构造方式对加快张量分解计算和提高分解精度都有明显效果。因此先用单个通道的信号构建均衡的小张量块：沿着Tf的时间维度，以频率点数62为帧长，将Tf切割成长宽相等的若干帧矩阵，对Tf末端不足以切成一个完整帧的部分，直接抛弃。得到的帧矩阵作为切片，堆叠成维度均衡的三阶张量其中，I1＝I3＝62，I2＝完整帧的数量＝61。可以看到，在这个实例中，三阶张量的维度很均衡。
步骤S203：直接按通道顺序堆叠三阶张量，得到代表全脑的四阶张量各个模态都有可解释的物理意义：I1对应模态是一帧内62个连续的时间采样点，代表小间隔精细时间；I2对应模态是不同的帧，代表大间隔的时间；I3对应模态代表频率；I4对应模态代表空间通道，大小等于通道数35。
步骤S3：使用TWD构建大脑功能连接网络。
该步骤包括超参数调节方法，四阶脑电张量的TWD分解，以及利用TWD分解得到的环因子张量，计算表征大脑网络功能连接的邻接矩阵。具体包括：
步骤S301：确定超参数，然后执行TWD。
该步骤使用了以重建精度尽量高、TW秩尽量低为原则的超参数调节方法。在张量分解过程中，秩对信号特征提取的效果影响非常大。
需要说明的是：在矩阵中，秩代表了数量最大的一组线性无关行向量(或者列向量)中的向量个数，矩阵的其余行(或者列)都可以用这一组向量线性表出。从另一个角度，极大无关向量组就是矩阵中包含的本质信息，其余向量则是冗余信息。这个思想对张量秩同样适用，如果设定的TWD秩过小，就会丢失大量不可替代的关键信息；过大又会导致本质信息淹没在冗余信息中，无法很好提取到信号的辨别性特征。因此本步骤中，本发明实施例采用试探性方法去动态的选择秩。
步骤S301-1：TWD的计算。
张量是矩阵的推广，是一种高维数组，标量、向量和矩阵可以看作是0阶、1阶和2阶的张量。张量分解是将一个高维张量表示为一组低维张量组合的过程，最常见的有CP分解和Tucker分解。本发实施例采用张量分解中的张量网络分解，它将高阶张量分解成多个稀疏互连的低阶因子张量，相比于传统的张量分解，可以避免阶数增加导致的“维数诅咒”，适合于高阶高维数据。而脑电信号具有多个电极通道，每个通道上采集的时间序列很长，脑电的频域分析也具有较多的频点数，因此张量网络分解是脑电自然而高效的处理方式。在张量网络分解中本发明实施例使用TWD分解，从而能更好的提取高阶脑电张量的全局融合特征。
TWD过程见图4，可描述为以下过程：
将四阶张量分解为四个环因子和一个核因子构成的张量网络，若给定秩为/> 其中，Ri(i＝1，…，N)代表环因子张量的秩，Li(i＝1，…，N)代表核因子张量的秩，则从元素的角度可以表示为：
其中，阶数N＝4；表示环因子张量；表示核因子张量，ri(i＝1，…，N)表示元素编号，等价地，写成张量缩并的形式为
上式可以简记为
接下来，求解TWD分解结果中的各个因子张量。TWD因子的求解可以采用基于近端梯度的交替最小二乘法，优化问题的形式为：
各个因子张量的更新过程为：
其中，分别表示在第t+1次、t次迭代的第k个环因子张量，分别表示在第t+1次、t次迭代的核因子张量，ρ是近端算子，本实例采用0.001。
针对构建的四阶脑电张量本发明实施例希望提取的是信号的空间通道特征，即I4所对应的模态。从上面的表达式中可以看出，TWD结构中I4所对应的模态，可以通过环因子，直接连接到精细的时间模态I1和频率模态I3；通过核因子/>间接连接到大间隔的时间模态I2。此外/>还物理地继承来自各个模态的复杂相互作用，因此TWD模型使得各个模态的信息充分交互，能够融合癫痫脑电的各个模态、提取多域全局特征。
步骤S301-2：以重建精度尽量高、TW秩尽量低为原则的调参方法。对上述TWD计算过程中需要使用到的超参数，本发明实施例提供了以重建精度尽量高、TW秩尽量低为原则的调参方法。TWD模型的超参数主要为TW秩和迭代终止条件，迭代终止条件主要包括迭代次数和重建误差的终止阈值。这几个超参数对模型的训练速度和识别性能有很大的影响，故用以下步骤获取：首先令TW秩的所有元素都为(I1+I2+I3+I4)/40＝5(取地板数)，重建误差阈值设置为ε＝0.03，最大迭代次数为τ＝20。对所有训练样本执行首次TWD。结束后找到重建误差最大的前百分之α＝1的大误差样本，以大误差样本的收敛情况为基准，执行TWD，不断增大秩r，直到大误差样本能够收敛到设定的重建误差，本实施例中，最终r＝(6，6，6，6，6，6，6，6)。此外，选择大误差样本满足重建误差的平均最小迭代次数，作为整个模型的最大迭代次数τ。最终，本实施例中得到τ＝20。然后使用这些超参数，对四阶脑电信号执行TWD分解。
步骤S302：完成TWD之后，取空间通道对应的环因子张量以I4对应的模态为行，展开得到空间信息矩阵/>M的每一行表示一个通道，共I4＝35个通道，两两组合计算斯皮尔曼相关系数，得到代表大脑网络功能连接的实对称邻接矩阵为/>本实施例中选择斯皮尔曼相关系数提取脑电信号的非线性相关信息的原因在于：选择斯皮尔曼相关系数是因为它不要求数据符合正态分布，也不要求样本容量超过一定阈值，适合癫痫脑电这类高度非平稳的小样本信号。除此之外，斯皮尔曼相关系数不关注数据的分布，只关注每个变量在各组内的排列顺位是否相似。因此它很少受癫痫脑电中棘波、尖波等带来离群值的影响，适用于提取脑电信号的非线性相关信息。图5所示，为本实施例中的第10个癫痫患者第10次发作时所计算得到的脑功能网络邻接矩阵示例。本实施例中，是在皮尔森(person)、斯皮尔曼、KL散度、余弦相似度、高斯相似度、欧氏距离、直方图相似度、kendall相似度中经过试验选取的最佳结果。
步骤S4：分类识别，取上述邻接矩阵A的上三角(也可选取下三角)中不包含主对角线的部分，作为特征向量针对脑电的非线性特性，选择多项式核SVM作为分类器。将f输入分类器，输出识别结果，即癫痫是否发作的二分类识别结果。
使用本实例所述数据集，在十折交叉验证下，本发明实施例提供的方法实现了91.2％的分类准确率，并且模型对首诊患者的第一次记录脑电信号仍具有较好的分类准确率，泛化性能良好，具有一定的应用价值。
在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由计算机设备的处理器加载并执行，以实现本发明实施例的基于高阶张量分解构建脑网络的癫痫发作检测方法。在一种可能实现方式中，该计算机可读存储介质可以是只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact DiscRead-Only Memory，CD-ROMD)、磁带和光数据存储设备等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (10)
1.一种于高阶张量分解构建脑网络的癫痫发作检测装置，其特征在于，该检测装置包括处理器和存储器，该存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现基于高阶张量分解构建脑网络的癫痫发作检测方法，该检测方法具体包括下列步骤：
步骤1，对输入的原始多通道脑电信号进行信号预处理，其中，信号预处理包括：降采样、滤波以及组合重参考；
步骤2，使用连续小波变换将信号预处理后的脑电信号转换到时频域，在时频域构建维度均衡的三阶张量，将三阶张量按通道堆叠为四阶脑电张量；
步骤3，使用张量轮分解TWD对四阶脑电张量进行张量分解，对TWD分解得到的环因子张量，展开空间通道所对应维度上的环因子张量得到通道信息矩阵M，再对每两个通道分别计算其非线性相关系数，构建表征大脑功能连接网络的邻接矩阵A；
步骤4，从邻接矩阵A中提取特征向量，将特征向量输入预置的分类器中进行脑电信号的癫痫发作的分类识别处理，并输出分类结果。
2.如权利要求1所述的检测装置，其特征在于，步骤1中的信号预处理具体为：
降采样：将原始脑电信号降采样到250Hz；
滤波：对每个通道的信号均进行0.5～70Hz的带通滤波和50Hz的陷波滤波处理；
组合重参考：对实际的物理通道使用参考导联法中的左右耳电极局部参考；再选取左右颞叶区的实际物理通道，更改参考方式为半球双极导联，生成对应的辅助通道。
3.如权利要求1或2所述的检测装置，其特征在于，所述步骤2中，使用连续小波变换将信号预处理后的脑电信号转换到时频域具体为：
选择bump小波基对信号预处理后的脑电信号进行连续小波变换；
再均匀截取连续小波变换结果中位于0.5～50Hz范围内的个频点，得到连续小波时频矩阵Tf，其中，每次截距的频点数/>为预设值。
4.如权利要求3所述的检测装置，其特征在于，所述步骤2中，在时频域构建维度均衡的三阶张量，将三阶张量按通道堆叠为四阶脑电张量具体为：
沿着时频矩阵Tf时间维度，以频率点数为帧长，将连续小波时频矩阵Tf切割成长宽相等的若干帧矩阵；
将得到的帧长为的帧矩阵作为切片，堆叠成维度均衡的三阶张量/>其中，/>I2表示帧长为/>的帧矩阵数；
对χ3D按通道顺序堆叠，得到代表全脑的四阶脑电张量其中，模态I1表征一帧内/>个连续的时间采样点，模态I2表征不同的帧，模态I3表征频率；模态I4表征空间通道，取值为脑电信号的通道数。
5.如权利要求1所述的检测装置，其特征在于，步骤3中，使用张量轮分解TWD对四阶脑电张量进行张量分解具体为：
将四阶脑电张量分解为四个环因子和一个核因子构成的张量网，其中，模态I1表征一帧内NTs个连续的时间采样点，模态I2表征不同的帧，模态I3表征频率，模态I4表征空间通道，取值为脑电信号的通道数；
记四阶脑电张量的张量缩并形式为：/>其中，阶数N＝4，/>表示核因子张量，/>表示环因子张量；
采用交替最小二乘法求解TWD分解结果中的各个因子张量：
TWD分解的超参数设置：
设置TWD的秩的所有元素都为小于(I1+I2+I3+I4)/K的最大整数，其中，Rn表示环因子张量的秩，Ln表示核因子张量的秩，下标n＝1,…,N；K为经验预设值；
对所有训练样本执行首次TWD分解，执行完毕后将重建误差最大的前α％的训练样本作为大误差样本，其中α的值为预设值；以大误差样本执行TWD分解，不断增大秩r，直到大误差样本收敛到设定的重建误差阈值ε；并选择大误差样本满足重建误差的平均最小迭代次数，作为TWD分解的最大迭代次数τ；
再基于ε、r、α％、τ、K的值对四阶脑电张量执行TWD分解，基于分解结果构建通道信息矩阵M及邻接矩阵A。
6.如权利要求1所述的检测装置，其特征在于，步骤3中，通道信息矩阵M具体为：
取空间通道对应的环因子张量取空间通道对应的环因子张量以I4对应的模态为行，展开得到空间信息矩阵/>其中，模态I4表征空间通道，Rk表示环因子张量的秩，Lk表示核因子张量的秩，k＝1,2,…,4。
7.如权利要求1所述的检测装置，其特征在于，步骤3中,对通道信息矩阵M的每两行两两组合计算斯皮尔曼相关系数，得到邻接矩阵为A。
8.如权利要求1所述的检测装置，其特征在于，步骤4中，取邻接矩阵A的上三角或下三角中不包含主对角线的部分作为特征向量。
9.如权利要求1所述的检测装置，其特征在于，步骤4中，多项式核支持向量机SVM作为分类器。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以实现如权利要求1至9任一所述的基于高阶张量分解构建脑网络的癫痫发作检测方法的步骤1至步骤4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311482149.3A CN117503057B (zh) | 2023-11-09 | 2023-11-09 | 基于高阶张量分解构建脑网络的癫痫发作检测装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311482149.3A CN117503057B (zh) | 2023-11-09 | 2023-11-09 | 基于高阶张量分解构建脑网络的癫痫发作检测装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117503057A CN117503057A (zh) | 2024-02-06 |
| CN117503057B true CN117503057B (zh) | 2024-05-31 |
Family
ID=89763759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311482149.3A Active CN117503057B (zh) | 2023-11-09 | 2023-11-09 | 基于高阶张量分解构建脑网络的癫痫发作检测装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117503057B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117784939B (zh) * | 2024-02-23 | 2024-06-11 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 基于五笔输入法的汉字书写想象方法、装置及存储介质 |
| CN117784940B (zh) * | 2024-02-23 | 2024-06-14 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 针对汉字笔画书写想象的高维张量分析方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012133185A1 (ja) * | 2011-03-31 | 2012-10-04 | 独立行政法人理化学研究所 | 脳波解析装置、脳波解析方法、プログラム、及び記録媒体 |
| CN112674773A (zh) * | 2020-12-22 | 2021-04-20 | 北京航空航天大学 | 基于Tucker分解和ripple时间窗的脑磁图源定位方法和装置 |
| CN113349795A (zh) * | 2021-06-15 | 2021-09-07 | 杭州电子科技大学 | 基于稀疏低秩张量分解的抑郁症脑电分析方法 |
| CN113796874A (zh) * | 2021-11-19 | 2021-12-17 | 北京大学 | 一种基于张量分解模型的多元脑电数据识别分析方法 |
| CN114119426A (zh) * | 2022-01-26 | 2022-03-01 | 之江实验室 | 非局部低秩转换域与全连接张量分解图像重构方法及装置 |
| CN114139628A (zh) * | 2021-12-01 | 2022-03-04 | 哈尔滨工业大学（深圳） | 运动想象脑电信号处理方法、设备和计算机可读存储介质 |
| CN115969392A (zh) * | 2023-02-17 | 2023-04-18 | 杭州电子科技大学 | 基于张量化频空注意力域适应网络的跨时段脑纹识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220139543A1 (en) * | 2019-02-08 | 2022-05-05 | Nanyang Technological University | Method and system for seizure detection |
| WO2021102679A1 (en) * | 2019-11-26 | 2021-06-03 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Rank selection in tensor decomposition based on reinforcement learning for deep neural networks |
-
2023
- 2023-11-09 CN CN202311482149.3A patent/CN117503057B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012133185A1 (ja) * | 2011-03-31 | 2012-10-04 | 独立行政法人理化学研究所 | 脳波解析装置、脳波解析方法、プログラム、及び記録媒体 |
| CN112674773A (zh) * | 2020-12-22 | 2021-04-20 | 北京航空航天大学 | 基于Tucker分解和ripple时间窗的脑磁图源定位方法和装置 |
| CN113951885A (zh) * | 2020-12-22 | 2022-01-21 | 北京航空航天大学 | 一种脑磁图源定位方法、存储介质和设备 |
| CN113349795A (zh) * | 2021-06-15 | 2021-09-07 | 杭州电子科技大学 | 基于稀疏低秩张量分解的抑郁症脑电分析方法 |
| CN113796874A (zh) * | 2021-11-19 | 2021-12-17 | 北京大学 | 一种基于张量分解模型的多元脑电数据识别分析方法 |
| CN114139628A (zh) * | 2021-12-01 | 2022-03-04 | 哈尔滨工业大学（深圳） | 运动想象脑电信号处理方法、设备和计算机可读存储介质 |
| CN114119426A (zh) * | 2022-01-26 | 2022-03-01 | 之江实验室 | 非局部低秩转换域与全连接张量分解图像重构方法及装置 |
| CN115969392A (zh) * | 2023-02-17 | 2023-04-18 | 杭州电子科技大学 | 基于张量化频空注意力域适应网络的跨时段脑纹识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| Automatic Seizure Prediction based on Modified Stockwell Transform and Tensor Decomposition;Shasha Yuan等;IEEE International Conference on Bioinformatics and Biomedicine (IEEE BIBM);20210815;1503-1509 * |
| 基于张量分析的癫痫发作自动检测算法研究;马德璐;中国优秀硕士学位论文全文数据库（电子期刊）医药卫生科技辑;20220215;E070-46 * |
| 新型张量分解与高性能算法及其在高维数据复原中的应用;郑玉棒;中国博士学位论文全文数据库（电子期刊）工程科技Ⅱ辑;20230515;C028-5 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117503057A (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11564612B2 (en) | Automatic recognition and classification method for electrocardiogram heartbeat based on artificial intelligence | |
| CN110693493B (zh) | 一种基于卷积与循环神经网络结合时间多尺度的癫痫脑电预测特征提取方法 | |
| Li et al. | Classification of ECG signals based on 1D convolution neural network | |
| CN109389059B (zh) | 一种基于cnn-lstm网络的p300检测方法 | |
| CN117503057B (zh) | 基于高阶张量分解构建脑网络的癫痫发作检测装置及介质 | |
| Covert et al. | Temporal graph convolutional networks for automatic seizure detection | |
| CN108714026B (zh) | 基于深度卷积神经网络和在线决策融合的细粒度心电信号分类方法 | |
| Ghosh et al. | Automatic eyeblink and muscular artifact detection and removal from EEG signals using k-nearest neighbor classifier and long short-term memory networks | |
| Hassan et al. | Fusion of multivariate EEG signals for schizophrenia detection using CNN and machine learning techniques | |
| Taqi et al. | Classification and discrimination of focal and non-focal EEG signals based on deep neural network | |
| CN114366124B (zh) | 一种基于半监督深度卷积通道注意力单分类网络的癫痫脑电识别方法 | |
| CN112450885B (zh) | 一种面向癫痫脑电的识别方法 | |
| CN112990008B (zh) | 基于三维特征图和卷积神经网络的情绪识别方法及*** | |
| Liu et al. | A data driven approach for resting-state EEG signal classification of schizophrenia with control participants using random matrix theory | |
| CN113274037B (zh) | 一种动态脑功能网络的生成方法、***及设备 | |
| CN113768519A (zh) | 基于深度学***的方法 | |
| Peláez et al. | Ischemia classification via ECG using MLP neural networks | |
| CN113974653B (zh) | 基于约登指数优化棘波检测方法和装置、存储介质和终端 | |
| Motin et al. | Detecting Parkinson’s disease from electroencephalogram signals: an explainable machine learning approach | |
| Obeidat et al. | EEG based epilepsy diagnosis system using reconstruction phase space and naive Bayes classifier | |
| CN112057068A (zh) | 一种癫痫病理数据分类方法、装置及存储介质 | |
| CN116831594A (zh) | 一种基于迭代图卷积神经网络的癫痫脑电分类方法 | |
| CN113598792B (zh) | 基于有监督特征融合算法的癫痫脑电分类方法 | |
| Hou et al. | Epilepsy detection using random forest classification based on locally linear embedding algorithm | |
| Murthy et al. | Design and implementation of hybrid techniques and DA-based reconfigurable FIR filter design for noise removal in EEG signals on FPGA |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |