CN111150372B - 一种结合快速表示学习和语义学习的睡眠阶段分期*** - Google Patents
一种结合快速表示学习和语义学习的睡眠阶段分期*** Download PDFInfo
- Publication number
- CN111150372B CN111150372B CN202010090052.8A CN202010090052A CN111150372B CN 111150372 B CN111150372 B CN 111150372B CN 202010090052 A CN202010090052 A CN 202010090052A CN 111150372 B CN111150372 B CN 111150372B
- Authority
- CN
- China
- Prior art keywords
- semantic
- learning
- module
- sleep stage
- prediction result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4812—Detecting sleep stages or cycles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4815—Sleep quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychology (AREA)
- Anesthesiology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供了一种结合快速表示学习和语义学习的睡眠阶段分期***,包括信号采集单元、数据预处理单元、信号处理单元和预测结果处理单元;信号采集单元包括EEG信号采集模块和知识数据采集模块,分别用来获取原始EEG信号和睡眠阶段分期的相关知识;数据预处理单元包括特征预处理模块和知识预处理模块分别对采集的EEG信号和知识数据进行预处理;信号处理单元包括表示学习模块和语义学习模块呢能够有效的提取EEG信号特征和与睡眠分期相关的语义特征并得到两个分类结果;最后通过预测结果处理单元将得到两个分类结果加权融合得到最终结果。该***提高了训练和预测速度,有效利用了信号特征和语义特征大大提高了睡眠阶段分期的准确性。
Description
技术领域
本发明涉及信号处理和睡眠阶段分期领域,特别是涉及一种结合快速表示学习和语义学习的睡眠阶段分期***。
背景技术
传统的基于医生观察的睡眠阶段评分是非常繁琐、费时和主观的,这需要医生对PSG记录中的信号进行分析,得出大约8小时的睡眠评分。因此,许多自动睡眠评估方法被提出。这些研究首先从脑电信号中提取与睡眠相关的各种特征,如时域特征、频率特征、相关特征、熵特征等,再使用机器学习方法(决策树、支持向量机等)对提取的特征进行分类。但是,这些特征提取方法具有主观性,很多潜在的睡眠特征没有被挖掘,而这些潜在的睡眠特征在自动睡眠阶段评估中能起到关键作用。
目前越来越多的深度学习方法被应用于睡眠分类。卷积神经网络(CNN)用于提取时间不变的局部特征。循环神经网络(RNN)用于学习与时序相关的信息,例如挖掘同一30s内的EEG中不同序列之间的时间关联。然而,为了保证模型的性能,这些模型往往非常的复杂,导致这些深度学习方法的训练速度和预测速度很慢,难以在EEG数据在线学习场景中使用,比如A.Supratak提出的DeepSleepNet模型,该模型使用两个不同大小滤波器的CNN提取时间不变性特征,之后使用BiLSTM提取时间相关性特征。但是,该网络结构比较复杂,该方法训练时间长达3小时;而H.Phan所提方法中的最简单结构one-to-one 1-maxCNN,该模型仅使用CNN提取特征并利用softmax层进行分类。但是其训练时间仍需1个小时,而且在网络中存在大量关于睡眠阶段分期的知识,这些知识可以作为睡眠阶段评估的辅助信息。但是目前还没有一种方法将这些知识有效的利用起来进而提高分类准确率。因此本发明提供了一种精确度高且计算复杂度低的睡眠分期方法来解决现有技术中亟待解决的问题。
发明内容
本发明提供了一种结合快速表示学习和语义学习的睡眠阶段分期***,利用快速表示学习使用较浅的网络来提高训练和预测速度,同时保证准确性,还提供了一种语义特征提取方法,有效提取并运用了大量睡眠分期的语义信息来提高***的性能。
该***首先使用深度学习的方法提取睡眠过程中的EEG信号特征并得到分类结果1,其次使用ACGAN中的生成器提取具有语义信息的信号特征,使用这些具有语义信息的信号特征训练任意机器学习算法,并得到分类结果2,最后将结果1和结果2加权融合得到最终的分类结果,该***包括以下单元模块:
1.信号采集单元:包括EEG信号采集模块和知识数据采集模块,原始EEG信号与睡眠分期相关知识的获取;
2.数据预处理单元:包括特征预处理模块和知识预处理模块,将获取的EEG信号和文本信息进行预处理;
3.信号处理单元:包括表示学习模块和语义学习模块,将预处理的EEG信号和语义特征分别输入到表示学习模块和语义学习模块中获得预测结果1和预测结果2;
4.预测结果处理单元:将得到的预测结果1和预测结果2进行加权融合得到最终结果。
优选的,原始EEG信号从SleepEDF、MASS等公开睡眠数据库收集,从AASM出版的《睡眠及其相关事件判读手册》中采集与睡眠分期判定的知识,以及***上关于各个睡眠分期特征的描述。
优选的,EEG信号的采集频率为100Hz,以30s为评估睡眠分期的一个周期,长度为3000的数据点决定一个睡眠分期的结果,将EEG数据进行25段或者任意段等分,将等分后的数据纵向拼接得到(25,120)的二维数据作为表示学习模块的输入。
优选的,对获取到的文本信息先去除停用词,再使用jieba分词器进行分词,最后用TF-IDF的方法提取出语义特征。
优选的,表示学习模块由3个并行的卷积神经网络(CNN)和2个串行的双向长短记忆网络(BiLSTM)组成第一层,CNN用来提取时间不变性特征,BiLSTM来提取时域特征,三个并行CNN的滤波器大小分别是从小到大,小滤波器可以更好地捕捉特定模式的脑电信号特征,而大滤波器可以更好地捕捉全局脑电信号的频率信息。
优选的,在表示学习模块的每个卷积层后,通过批标准化(BN)加速卷积层的训练并优化卷积层的性能,把线性整流单元(ReLU)作为激活函数,用最大池层进行采样,最后将经过CNNs和BiLSTM提取的特征横向拼接传播到softmax层来获得分类结果。
优选的,语义学习模块中通过两个全连接层来提取特征以降低文本噪声,提取的特征与10维的高斯随机噪声串联,利用两个带有LeakyReLU激活器的FC层将特征维度升维到3000维,判别器通过这个生成的3000维数据和真实的3000维EEG数据训练并计算生成器的损失来引导生成器训练,并对测试集的原始EEG信号预测得出预测结果。
优选的,将表示学习模块输出的结果数据与语义学习模块输出的结果进行加权融合得到最终结果。
优选的,语义学习模块中得到的预测结果可以和使用EEG信号训练的其它任意机器学习模型进行融合得到最终结果。
上述方法使网络结构更加小巧,减少了参数,通过大小不同的滤波器更好地捕捉特定模式的脑电信号特征也更好地捕捉全局脑电信号的频率信息,缩短了训练时间和预测时间并保证了特征的有效性和准确性,同时使用语义特征和EEG信号特征进行对抗式训练,充分利用了关于睡眠阶段分期的知识,提高了分类的准确率。
附图说明
图1是自动睡眠阶段分期流程图;
图2是表示学习模型的网络结构图;
图3是语义学习模块的流程图;
具体实施方式
在下面的描述中对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中提供了一种结合快速表示学习和语义学习的睡眠阶段分期***,如图1所示包括以下单元模块:信号采集单元包括EEG信号采集模块和知识数据采集模块,用来进行原始EEG信号与睡眠分期相关知识的获取,数据预处理单元包括特征预处理模块和知识预处理模块,将获取的EEG信号和文本信息进行预处理,信号处理单元包括表示学习模块和语义学习模块,将预处理的EEG信号和语义特征分别输入到表示学习模块和语义学习模块中获得预测结果1和预测结果2,预测结果处理单元将得到的预测结果1和预测结果2进行加权融合得到最终结果。
该实施例中EEG信号的从SleepEDF公开睡眠数据库中获取,采集目标对象为没有任何睡眠相关药物和疾病的年龄在21-35岁的白人男性和女性,数据包括水平眼电图,Fpz-Cz通道的脑电图和Pz-Oz通道的脑电图,每一个通道的数据都以100Hz进行采样,以30秒为一个周期,每条样本为3000个数据点。
如图2所示,对EEG信号做特征预处理,将3000个数据点等分为具有120个数据点的25段,再纵向拼接成(25,120)的二维矩阵,输入到表示学习模块中通过3个并行的卷积神经网络CNN和2个串行的双向长短记忆网络BiLSTM进行特征提取,并在每个卷积层后执行批标准化BN、以ReLUctant为激活函数的线性整流和最大池层采样的三个序列操作,最后将卷积层提取的特征横向拼接输入到softmax层得出表示学习模块的分类结果1。
如图3所示,对从从AASM出版的《睡眠及其相关事件判读手册》中采集与睡眠分期判定的知识,以及***上关于各个睡眠分期特征的描述获取到的文本信息先去除停用词,再使用jieba分词器进行分词,之后通过两个全连接层提取特征,将提取的特征与10维高斯随机噪声串联,再使用带有LeakyReLU激活器的两个FC层完成进一步的特征提取操作,将特征维度升维到3000维,判别器接受这个生成的3000维数据和真实的3000维EEG数据训练并计算生成器的损失来引导生成器训练,最终生成器根据语义特征就能够生成带有语义信息的信号特征,通过来训练AdaBoost分类器获得分类结果2。
如图1所示将表示学习模块和语义学习模块输出的两个分类结果加权融合得到最终的睡眠阶段分期结果。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (8)
1.一种结合快速表示学习和语义学习的睡眠阶段分期***,其特征在于,包括:
信号采集单元,包括EEG信号采集模块和知识数据采集模块,所述EEG信号采集模块从公开睡眠数据库中获取原始EEG信号,所述知识数据采集模块从知识库中采集与睡眠分期判定的知识和关于各个睡眠分期特征的描述;
数据预处理单元,将从公开睡眠数据库中获得的EEG信号进行划分为训练集、验证集和测试集,并对EEG信号进行等值分段处理,在将分段后的信号进行拼接扩充;
信号处理单元,包括表示学习模块和语义学习模块,将数据预处理单元中划分得到并经过分段处理的训练集输入到表示学习模块中进行训练,利用模型对测试集进行预测得出预测结果1,同时将信号采集单元中的睡眠分期知识输入到语义学习模块中的生成器中,提取语义特征并使用语义特征训练分类器对测试集的EEG信号进行预测得出预测结果2;
预测结果处理单元,将信号处理单元中预测的两个结果通过加权融合得出最终的预测结果。
2.如权利要求1所述的结合快速表示学习和语义学习的睡眠阶段分期***,其特征在于,所述数据预处理单元包括特征预处理模块和知识预处理模块,所述特征预处理模块将EEG信号分成25等分,并将这25段进行纵向拼接成(25,120)的二维矩阵,所述知识预处理模块将文本只是先去除停用词,再使用jieba分词器进行分词,最后用TF-IDF的方法提取出语义特征。
3.如权利要求2所述的结合快速表示学习和语义学习的睡眠阶段分期***,其特征在于,所述表示学习模块包括卷积层和softmax层,所述卷积层包括3个并行的卷积神经网络和2个串行的双向长短记忆网络,将经过所述数据预处理单元处理得到的形状为(25,120)的二维数据输入到卷积层中进行特征提取,将提取的特征横向拼接并输入到softmax层得出预测结果1。
4.如权利要求3所述的结合快速表示学习和语义学习的睡眠阶段分期***,其特征在于,所述表示学习模块中数据从卷积层输出后要通过拟标准化、线性整流单元和最大池层采样的处理。
5.如权利要求4所述的结合快速表示学习和语义学习的睡眠阶段分期***,其特征在于,所述语义学习模块包括两个全连接层和两个带有LeakyReLU激活器的FC层,将经过所述数据
预处理单元提取得到的语义特征输入到两个全连接层并与从高斯分布采样中获取的10维高斯随机噪声串联,再输入到两个带有LeakyReLU激活器的FC层中得到特征维度为3000维的语义特征。
6.如权利要求5所述的结合快速表示学习和语义学习的睡眠阶段分期***,其特征在于,所述语义特征的维度和EEG信号的特征维度相同,通过语义特征训练分类器,并对测试集的原始EEG信号预测得出预测结果2。
7.如权利要求6所述的结合快速表示学习和语义学习的睡眠阶段分期***,其特征在于,所述表示学习模块中得到的预测结果1与所述语义学习模块中得到的预测结果2进行加权融合得到最终预测结果。
8.如权利要求6所述的结合快速表示学习和语义学习的睡眠阶段分期***,其特征在于,所述语义学习模块中得到的预测结果2可以和使用EEG信号训练的其它任意机器学习模型输出的预测结果1进行融合得到最终结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010090052.8A CN111150372B (zh) | 2020-02-13 | 2020-02-13 | 一种结合快速表示学习和语义学习的睡眠阶段分期*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010090052.8A CN111150372B (zh) | 2020-02-13 | 2020-02-13 | 一种结合快速表示学习和语义学习的睡眠阶段分期*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111150372A CN111150372A (zh) | 2020-05-15 |
CN111150372B true CN111150372B (zh) | 2021-03-16 |
Family
ID=70565849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010090052.8A Active CN111150372B (zh) | 2020-02-13 | 2020-02-13 | 一种结合快速表示学习和语义学习的睡眠阶段分期*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111150372B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111723572B (zh) * | 2020-06-12 | 2021-11-19 | 广西师范大学 | 基于CNN卷积层和BiLSTM的中文短文本相关性度量方法 |
CN112869711B (zh) * | 2021-01-19 | 2022-06-03 | 华南理工大学 | 一种基于深度神经网络的自动睡眠分期及迁移方法 |
CN113208623A (zh) * | 2021-04-07 | 2021-08-06 | 北京脑陆科技有限公司 | 一种基于卷积神经网络的睡眠分期方法、*** |
CN114366038B (zh) * | 2022-02-17 | 2024-01-23 | 重庆邮电大学 | 基于改进的深度学习算法模型的睡眠信号自动分期方法 |
CN116843377B (zh) * | 2023-07-25 | 2024-06-18 | 河北鑫考科技股份有限公司 | 基于大数据的消费行为预测方法、装置、设备及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102254552A (zh) * | 2011-07-14 | 2011-11-23 | 杭州电子科技大学 | 一种语义增强型交通车辆声信息融合方法 |
CN107788976A (zh) * | 2017-09-22 | 2018-03-13 | 复旦大学 | 基于振幅整合脑电图的睡眠监测*** |
CN108366763A (zh) * | 2015-06-15 | 2018-08-03 | Medibio有限公司 | 用于评估精神状态的方法和*** |
CN109145187A (zh) * | 2018-07-23 | 2019-01-04 | 浙江大学 | 基于评论数据的跨平台电商欺诈检测方法和*** |
CN110432870A (zh) * | 2019-08-13 | 2019-11-12 | 重庆邮电大学 | 一种基于1d cnn-lstm的睡眠信号自动分期方法 |
CN110728997A (zh) * | 2019-11-29 | 2020-01-24 | 中国科学院深圳先进技术研究院 | 一种基于情景感知的多模态抑郁症检测方法和*** |
-
2020
- 2020-02-13 CN CN202010090052.8A patent/CN111150372B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102254552A (zh) * | 2011-07-14 | 2011-11-23 | 杭州电子科技大学 | 一种语义增强型交通车辆声信息融合方法 |
CN108366763A (zh) * | 2015-06-15 | 2018-08-03 | Medibio有限公司 | 用于评估精神状态的方法和*** |
CN107788976A (zh) * | 2017-09-22 | 2018-03-13 | 复旦大学 | 基于振幅整合脑电图的睡眠监测*** |
CN109145187A (zh) * | 2018-07-23 | 2019-01-04 | 浙江大学 | 基于评论数据的跨平台电商欺诈检测方法和*** |
CN110432870A (zh) * | 2019-08-13 | 2019-11-12 | 重庆邮电大学 | 一种基于1d cnn-lstm的睡眠信号自动分期方法 |
CN110728997A (zh) * | 2019-11-29 | 2020-01-24 | 中国科学院深圳先进技术研究院 | 一种基于情景感知的多模态抑郁症检测方法和*** |
Non-Patent Citations (3)
Title |
---|
A New Method for Automatic Sleep Stage Classification;Junming Zhang and Yan Wu;《IEEE》;20171031;第11卷(第5期);第1097-1110页 * |
Embedded Deep Learning for Sleep Staging;Engin Turetken,ET AL;《IEEE》;20191231;第95-96页 * |
不平衡数据挖掘方法综述;向鸿鑫,杨云;《计算机工程与应用》;20191231;第55卷(第4期);第1-16页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111150372A (zh) | 2020-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111150372B (zh) | 一种结合快速表示学习和语义学习的睡眠阶段分期*** | |
CN109919031B (zh) | 一种基于深度神经网络的人体行为识别方法 | |
Gomez-Alanis et al. | A light convolutional GRU-RNN deep feature extractor for ASV spoofing detection | |
CN108597541B (zh) | 一种增强愤怒与开心识别的语音情感识别方法及*** | |
CN110084202B (zh) | 一种基于高效三维卷积的视频行为识别方法 | |
Müller et al. | Acoustic anomaly detection for machine sounds based on image transfer learning | |
CN110353673B (zh) | 一种基于标准互信息的脑电通道选择方法 | |
Senthilkumar et al. | Speech emotion recognition based on Bi-directional LSTM architecture and deep belief networks | |
CN107256392A (zh) | 一种联合图像、语音的全面情绪识别方法 | |
Saidi et al. | Hybrid CNN-SVM classifier for efficient depression detection system | |
Wu et al. | End-to-end chromosome Karyotyping with data augmentation using GAN | |
CN110852215A (zh) | 一种多模态情感识别方法、***及存储介质 | |
CN110263215A (zh) | 一种视频情感定位方法及*** | |
CN114333070A (zh) | 一种基于深度学习的考生异常行为检测方法 | |
Arniriparian et al. | A fusion of deep convolutional generative adversarial networks and sequence to sequence autoencoders for acoustic scene classification | |
CN109903053A (zh) | 一种基于传感器数据进行行为识别的反欺诈方法 | |
CN107918487A (zh) | 一种基于皮肤电信号识别中文情感词的方法 | |
CN116230234A (zh) | 多模态特征一致性心理健康异常识别方法及*** | |
CN116129405A (zh) | 一种基于多模态混合融合的驾驶员愤怒情绪识别方法 | |
CN109271889A (zh) | 一种基于双层lstm神经网络的动作识别方法 | |
Li et al. | Automatic depression level assessment from speech by long-term global information embedding | |
CN113627218A (zh) | 基于视频数据的人物识别方法及装置 | |
CN116721458A (zh) | 一种基于跨模态时序对比学习的自监督动作识别方法 | |
PALOMINO | Efficient Technique for Facial Image Recognition with Support Vector Machines in 2D Images with Cross-Validation in Matlab | |
CN112948554B (zh) | 基于强化学习和领域知识的实时多模态对话情感分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |