CN114711725A - 一种基于双重注意力机制的睡眠呼吸暂停检测方法及装置 - Google Patents

一种基于双重注意力机制的睡眠呼吸暂停检测方法及装置 Download PDF

Info

Publication number
CN114711725A
CN114711725A CN202210393579.7A CN202210393579A CN114711725A CN 114711725 A CN114711725 A CN 114711725A CN 202210393579 A CN202210393579 A CN 202210393579A CN 114711725 A CN114711725 A CN 114711725A
Authority
CN
China
Prior art keywords
feature
module
rpeak
rri
sleep apnea
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210393579.7A
Other languages
English (en)
Inventor
马文俊
李攀
樊小毛
蒋运承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202210393579.7A priority Critical patent/CN114711725A/zh
Publication of CN114711725A publication Critical patent/CN114711725A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4818Sleep apnoea
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于双重注意力机制的睡眠呼吸暂停检测方法及装置,方法包括:获取原始心电信号,对原始心电信号进行数据预处理得到RRI和Rpeak;通过一维卷积神经网络模块对RRI和Rpeak进行特征提取得到第一特征和第二特征;随后通过第一注意力模块对第一特征和第二特征进行权重运算处理得到第三特征;然后通过双向长短期记忆网络模块对第三特征进行上下文依赖关系捕获处理得到第四特征;之后通过第二注意力模块对第一特征和第四特征进行权重运算处理得到第五特征;最终通过分类器对第五特征进行分类处理得到分类结果。本发明能够综合考虑心电信号对睡眠呼吸暂停检测的影响,实现高效准确的睡眠呼吸暂停检测,可广泛应用于医学数据检测技术领域。

Description

一种基于双重注意力机制的睡眠呼吸暂停检测方法及装置
技术领域
本发明涉及医学数据检测技术领域,尤其是一种基于双重注意力机制的睡眠呼吸暂停检测方法及装置。
背景技术
睡眠呼吸暂停(SA)是一种与睡眠有关的呼吸障碍,其特征是睡眠过程中呼吸气流会反复完全或不完全停止。据估计,全世界约有10亿人患有这种疾病。成年人口中,超过14%的男性和5%的女性患有睡眠呼吸暂停。然而,绝大多数睡眠呼吸暂停患者没有及时诊断和治疗。如不能及时诊断和治疗睡眠呼吸暂停,则会导致白天嗜睡、高血压、冠心病和心力衰竭等并发症。及时诊断和治疗睡眠呼吸暂停对预防其并发症很重要。
多导睡眠图(PSG)是国际公认的一种有效的睡眠呼吸暂停检测仪器。多导睡眠图对患者进行夜间记录,使用附着在身体上的传感器测量多种生理信号,如脑电图(EEG)、肌电图(EMG)、心电图(ECG)和眼电图(EOG),用于监测呼吸患者的呼吸变化和其他生理变化。使用多导睡眠图进行检测时,患者需要在医院佩戴大量的电线和电极进行睡眠信号采集,这可能会带来不舒服的体验和昂贵的费用。此外,在收集多导睡眠图的数据后,医生需要花费大量时间观察和分析这些数据来做出诊断。所以,尽管多导睡眠图是诊断睡眠呼吸暂停的金标准,一种简单且廉价的替代方案是很有必要的。
心电图易于采集,而且是SA事件中最具生理相关性的信号之一。许多研究表明,使用单导联ECG信号检测SA是一种低成本的实用替代方案。近年来,很多研究人员应用深度学习方法从心电信号检测数据呼吸暂停。
为了利用心电信号自动检测SA,一些研究人员主要采用传统的基于特征工程的机器学习方法,需要设计人工特征并选择合适的分类器。例如,有的方法从心电信号的R峰间隙中提取了24个特征,从ECG衍生的呼吸信号提取了8个特征,通过分割信号的时间相关性,建立了一种用于SA检测的模型。有的方法则利用从心电信号中提取的心率和呼吸频率信号,使用支持向量机(SVM)检测睡眠呼吸暂停。然而,这些方法在特征提取过程中往往严重依赖于专家的先验知识,检测性能受到很大的限制。
发明内容
有鉴于此,本发明实施例提供一种基于双重注意力机制的睡眠呼吸暂停检测方法及装置,能够综合考虑心电信号对睡眠呼吸暂停检测的影响,实现高效准确的睡眠呼吸暂停检测。
第一方面,本发明的实施例提供了一种基于双重注意力机制的睡眠呼吸暂停检测方法,包括:
获取原始心电信号,对所述原始心电信号进行数据预处理得到RRI和Rpeak;
通过一维卷积神经网络模块对所述RRI和所述Rpeak进行特征提取得到第一特征和第二特征;
通过第一注意力模块对所述第一特征和所述第二特征进行权重运算处理得到第三特征;
通过双向长短期记忆网络模块对所述第三特征进行上下文依赖关系捕获处理得到第四特征;
通过第二注意力模块对第一特征和所述第四特征进行权重运算处理得到第五特征;
通过分类器对所述第五特征进行分类处理得到分类结果。
可选地,所述获取原始心电信号,对所述原始心电信号进行数据预处理得到RRI和Rpeak,包括:
获取原始心电信号;
根据所述原始心电信号,提取标记段和与所述标记段相邻段,得到5-min-RRI、5-min-Rpeak和1-min-RRI-Rpeak;
通过插值技术对所述5-min-RRI、所述5-min-Rpeak和所述1-min-RRI-Rpeak进行长度统一处理;
其中,所述5-min-RRI表示5分钟长的RRI,所述5-min-Rpeak表示5分钟长的Rpeak,所述1-min-RRI-Rpeak表示1分钟长的RRI和Rpeak。
可选地,所述通过一维卷积神经网络模块对所述RRI和所述Rpeak进行特征提取得到第一特征和第二特征,包括:
通过第一一维卷积神经网络对所述5-min-RRI和所述5-min-Rpeak进行特征提取,得到F′r和F′p;在通道维上对所述F′r和所述F′p进行拼接处理,得到第一特征;
通过第二一维卷积神经网络对所述1-min-RRI-Rpeak进行特征提取,得到第二特征;
其中,所述第一一维卷积神经网络和所述第二一维卷积神经网络均包括三个一维卷积层和两个一维最大池化层。
可选地,所述通过第一注意力模块对所述第一特征和所述第二特征进行融合处理得到第三特征,包括:
对所述第一特征进行挤压处理和激励处理,得到第一权重;
对所述第一权重和所述第二特征进行尺度运算,得到第三特征。
可选地,所述通过双向长短期记忆网络模块对所述第三特征进行上下文依赖关系捕获处理得到第四特征,包括:
通过LSTM单元进行信息流的调节增删处理,根据所述调节增删处理完成上下文依赖关系捕获处理;
其中,所述双向长短期记忆网络模块包括正向LSTM单元和反向LSTM单元,所述LSTM单元包括输入门、输出门和遗忘门。
可选地,所述通过第二注意力模块对第一特征和所述第四特征进行权重运算处理得到第五特征,包括:
对所述第一特征进行挤压处理和激励处理,得到第二权重;
对所述第二权重和所述第四特征进行尺度运算,得到第五特征。
可选地,所述方法还包括:
确定睡眠呼吸暂停检测的评价指标和呼吸暂停低通气指数。
第二方面,本发明的实施例提供了一种基于双重注意力机制的睡眠呼吸暂停检测装置,包括:
第一模块,用于获取原始心电信号,对所述原始心电信号进行数据预处理得到RRI和Rpeak;
第二模块,用于通过一维卷积神经网络模块对所述RRI和所述Rpeak进行特征提取得到第一特征和第二特征;
第三模块,用于通过第一注意力模块对所述第一特征和所述第二特征进行权重运算处理得到第三特征;
第四模块,用于通过双向长短期记忆网络模块对所述第三特征进行上下文依赖关系捕获处理得到第四特征;
第五模块,用于通过第二注意力模块对第一特征和所述第四特征进行权重运算处理得到第五特征;
第六模块,用于通过分类器对所述第五特征进行分类处理得到分类结果。
第三方面,本发明的实施例提供了一种电子设备,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如本发明实施例第一方面所述的方法。
第四方面,本发明的实施例提供了一种计算机可读存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前面的方法。
本发明实施例首先获取原始心电信号,对所述原始心电信号进行数据预处理得到RRI和Rpeak;随后通过一维卷积神经网络模块对所述RRI和所述Rpeak进行特征提取得到第一特征和第二特征;随后通过第一注意力模块对所述第一特征和所述第二特征进行权重运算处理得到第三特征;然后通过双向长短期记忆网络模块对所述第三特征进行上下文依赖关系捕获处理得到第四特征;之后通过第二注意力模块对第一特征和所述第四特征进行权重运算处理得到第五特征;最终通过分类器对所述第五特征进行分类处理得到分类结果。本发明通过双重注意力模块准确关注通道特征,实现从心电标记的信号片段中提取重要信息,并利用这些信息来确定融合的特征中重要通道,并通过双向长短期记忆网络模块获取心电特征中的上下文依赖关系,能够充分考虑相邻心电信号对睡眠呼吸暂停检测的影响。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于双重注意力机制的睡眠呼吸暂停检测方法的流程示意图;
图2为心电图的RRI和Rpeak示意图;
图3为本发明实施例提供的睡眠呼吸暂停检测的流程示意图;
图4为本发明实施例提供的RRI和Rpeak数据提取流程示意图;
图5为本发明实施例提供的DANet的体系结构示意图;
图6为本发明实施例提供的一维卷积神经网络模块的详细结构参数示意图;
图7为本发明实施例提供的LSTM和BiLSTM的结构示意图;
图8为本发明实施例提供的双重注意力模块的结构图;
图9为本发明实施例提供的分类器的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
第一方面,参照图1,本发明的实施例提供了一种基于双重注意力机制的睡眠呼吸暂停检测方法,包括:
获取原始心电信号,对所述原始心电信号进行数据预处理得到RRI和Rpeak;
通过一维卷积神经网络模块对所述RRI和所述Rpeak进行特征提取得到第一特征和第二特征;
通过第一注意力模块对所述第一特征和所述第二特征进行权重运算处理得到第三特征;
通过双向长短期记忆网络模块对所述第三特征进行上下文依赖关系捕获处理得到第四特征;
通过第二注意力模块对第一特征和所述第四特征进行权重运算处理得到第五特征;
通过分类器对所述第五特征进行分类处理得到分类结果。
可选地,所述获取原始心电信号,对所述原始心电信号进行数据预处理得到RRI和Rpeak,包括:
获取原始心电信号;
根据所述原始心电信号,提取标记段和与所述标记段相邻段,得到5-min-RRI、5-min-Rpeak和1-min-RRI-Rpeak;
通过插值技术对所述5-min-RRI、所述5-min-Rpeak和所述1-min-RRI-Rpeak进行长度统一处理;
其中,所述5-min-RRI表示5分钟长的RRI,所述5-min-Rpeak表示5分钟长的Rpeak,所述1-min-RRI-Rpeak表示1分钟长的RRI和Rpeak。
可选地,所述通过一维卷积神经网络模块对所述RRI和所述Rpeak进行特征提取得到第一特征和第二特征,包括:
通过第一一维卷积神经网络对所述5-min-RRI和所述5-min-Rpeak进行特征提取,得到F′r和F′p;在通道维上对所述F′r和所述F′p进行拼接处理,得到第一特征;
通过第二一维卷积神经网络对所述1-min-RRI-Rpeak进行特征提取,得到第二特征;
其中,所述第一一维卷积神经网络和所述第二一维卷积神经网络均包括三个一维卷积层和两个一维最大池化层。
可选地,所述通过第一注意力模块对所述第一特征和所述第二特征进行融合处理得到第三特征,包括:
对所述第一特征进行挤压处理和激励处理,得到第一权重;
对所述第一权重和所述第二特征进行尺度运算,得到第三特征。
可选地,所述通过双向长短期记忆网络模块对所述第三特征进行上下文依赖关系捕获处理得到第四特征,包括:
通过LSTM单元进行信息流的调节增删处理,根据所述调节增删处理完成上下文依赖关系捕获处理;
其中,所述双向长短期记忆网络模块包括正向LSTM单元和反向LSTM单元,所述LSTM单元包括输入门、输出门和遗忘门。
可选地,所述通过第二注意力模块对第一特征和所述第四特征进行权重运算处理得到第五特征,包括:
对所述第一特征进行挤压处理和激励处理,得到第二权重;
对所述第二权重和所述第四特征进行尺度运算,得到第五特征。
可选地,所述方法还包括:
确定睡眠呼吸暂停检测的评价指标和呼吸暂停低通气指数。
第二方面,本发明的实施例提供了一种基于双重注意力机制的睡眠呼吸暂停检测装置,包括:
第一模块,用于获取原始心电信号,对所述原始心电信号进行数据预处理得到RRI和Rpeak;
第二模块,用于通过一维卷积神经网络模块对所述RRI和所述Rpeak进行特征提取得到第一特征和第二特征;
第三模块,用于通过第一注意力模块对所述第一特征和所述第二特征进行权重运算处理得到第三特征;
第四模块,用于通过双向长短期记忆网络模块对所述第三特征进行上下文依赖关系捕获处理得到第四特征;
第五模块,用于通过第二注意力模块对第一特征和所述第四特征进行权重运算处理得到第五特征;
第六模块,用于通过分类器对所述第五特征进行分类处理得到分类结果。
本发明方法实施例的内容均适用于本装置实施例,本装置实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例的另一方面还提供了一种电子设备,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如前面所述的方法。
本发明方法实施例的内容均适用于本电子设备实施例,本电子设备实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例的另一方面还提供了一种计算机可读存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如前面所述的方法。
本发明方法实施例的内容均适用于本计算机可读存储介质实施例,本计算机可读存储介质实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前面的方法。
下面结合一些具体实施例对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
首先需要说明的是,本发明提出了一种充分利用心电信号的深度学习模型。(1)模型的输入包括相邻段的R峰间隙(RR intervals,RRI)和R峰伏值(Rpeak)以及标记段的RRI和Rpeak。利用了相邻心电信号提供的信息并融合RRI和Rpeak两种特征。心电图的R峰间隙,R峰振幅如图2所示。(2)提出了一种双重注意力(dual attention)模块,该模块不仅能从心电标记的信号片段中提取重要信息,还能利用这些信息来确定融合的特征中哪些通道更重要,并赋予相应的权重。(3)通过泛化实验,验证了该方法的优越性。
在本发明中,使用的数据集PhysioNet Apnea-ECG数据集,该数据集是由飞利浦大学公开提供的。心电图信号的采样频率为100hz。该数据集将心电图记录进行分段标记,每段时间长1分钟,并将这些数据段标记为正常或睡眠呼吸暂停。心电图记录总数为70条,包括训练数据集和测试数据集两组,其中训练数据集包含35条记录(划分30%用作验证),测试数据集包含35条记录。此外我们从一家医院采集了140条真实数据。
本发明提出的双重注意力网络(DANet)检测SA的工作流程如图3所示。首先,利用Hamilton算法提取原始心电信号的R峰,计算出R峰间隙(RR intervals,RRI)和R峰伏值(Rpeak)。然后,使用标记段心电信号的RRI和Rpeak,以及它左右相邻各2段心电信号的RRI和Rpeak,作为DANet的输入。最后,我们训练DANet,然后自动检测并输出每个段是正常或睡眠呼吸暂停。同时,还判断每个记录是否来自于睡眠呼吸暂停患者。
具体地,下面详细阐述本发明技术方案:
(1)数据预处理
通过Hamilton算法检测心电图信号的r峰,记录为Rpeak,并计算RRI。由于心电信号段长度的不同以及它的相邻段信息会影响睡眠呼吸暂停的检测准确率,如图4,在本发明中,我们分别提取了5-min-RRI、5-min-Rpeak和1-min-RRI-Rpeak,目的是将标记段和其相邻段的重要信息结合起来,提高检测性能。用中值滤波器对提取的RRI进行滤波后,利用三次插值技术将所有RRI和Rpeak的长度进行统一,方便输入到模型中。
(2)深度学习模型DANet
模型的输入由3部分组成:5-min-RRI、5-min-Rpeak和1-min-RRI-Rpeak,记为input=[Fr,Fp,Frp]。
图5显示了本发明DANet的体系结构,该结构由四部分组成:一维卷积神经网络模块、双向长短时记忆网络模块、双重注意模块和分类器模块。
一维卷积神经网络(1D-CNN)模块。1D-CNN旨在从输入中提取有用的特征。DANet中包含两个1D-CNN,1D-CNN-1和1D-CNN-2。1D-CNN-1和1D-CNN-2的详细结构和参数如图6所示,其中,图6(a)为1D-CNN-1结构和参数,图6(b)为1D-CNN-2结构和参数。1D-CNN-1提取5-min-RRI Fr的特征和5-min-Rpeak Fp的特征,并在通道维上将这两个特征拼接得到融合特征Fu。1D-CNN-2提取1-min-RRI-Rpeak Frp的特征。1D-CNN-1和1D-CNN-2都包含3个一维卷积层(Conv1D)和2个一维最大池化层(Maxpooling1D),每个卷积层之后都使用ReLu函数。卷积层的作用是提取特征。对卷积结果应用非线性激活函数ReLU有利于形成网络的稀疏性,降低参数之间的相互依赖性。池化层的作用是降低计算开销。
1D-CNN-1。1D-CNN-1的输入是5-min-RRI Fr和5-min-Rpeak Fp,两者的大小都是900×1,并且都使用了附加的两个相邻段作为输入。输入Fr和Fp经过1D-CNN-1(参数记作θ1)得到输出和,然后拼接得到Fu,如公式(1)、(2)和(3):
F′r=f(Fr,θ1)#(1)
F′p=f(Fp,θ1)#(2)
Fu=[F′r,F′p]#(3)
1D-CNN-2与1D-CNN-1不同,1-min-RRI-Rpeak Frp是1D-CNN-2的唯一输入,长度为180×2。Frp经过1D-CNN-2可以得到F′rp,如公式(4):
F′rp=f(Frp,θ2)#(4)
双向长短期记忆网络(Bidirectional Long-Short-Term Memory Network,简称BiLSTM)模块。LSTM(Long-short-term Memory Network,简称LSTM)可以解决梯度消失和长期依赖的问题。由于心电数据不是独立分割的,而是连续的。被试当前时刻的心电信号可能与前一时刻和后一时刻的信号有关。因此,可以使用BiLSTM来获取心电特征中的上下文依赖关系。LSTM和BiLSTM的结构如图7所示,图7(a)为LSTM结构图,图7(b)为BiLSTM结构图。BiLSTM由正向LSTM和反向LSTM网络组成,两者包含相同数量的LSTM单元,本发明设置LSTM单元个数为16。LSTM单元由输入门、输出门和遗忘门组成,它们能够通过调节单元中的信息流来增加或删除信息,从而使单元能够在时间流中捕获信息。
双重注意力模块。双重注意力模块的详细结构如图8所示。双重注意力机制是目前深度学习领域广泛应用的一种机制。注意力机制本质上是根据对象的重要性来分配资源,权重就是需要分配的资源。其中,通道注意力机制是一种简单有效的注意机制。通道注意机制对通道维度进行一系列操作,使模型能够关注包含重要信息的通道特征。本发明采用一维通道注意力机制。
传统的通道注意力机制只从自身学习特征,并将通道权重赋给自身。在本发明中,设计了一维通道注意,将1分钟长信号和5分钟长信号结合起来学习。从1分钟长的信号特征中学习,获取通道权重,然后将其分配给5分钟长的信号特征,提出了由channel-attention-1和channel-attention-2组成的双重注意力机制模块。将channel-attention-1应用于1D-CNN模块提取的特征,将channel-attention-2应用于BiLSTM模块提取的特征。
channel-attention-1。channel-attention-1的输入为1D-CNN-1融合的特征Fu和1D-CNN-2提取的特征F′rp。首先,通过对特征进行挤压(Squeeze)操作fsq,利用一维全局平均池化操作实现将信道上的特征编码为全局特征。然后,通过参数为θex1的激励(excitation)操作fex1捕获通道之间的关系,得到赋给Fu的权重λ1,这是通过两个全连接层实现的。最后是尺度运算fscale1,将权重λ1与特征Fu相乘,得到新的特征Fat1,如公式(5)和(6):
λ1=fex1(fsq(F′rp;);θex1)#(5)
Figure BDA0003598031910000091
其中,i表示特征Fu的通道数,i的范围为1~2c,
Figure BDA0003598031910000092
channel-attention-2。channel-attention-2的输入是F′rp和BiLSTM模块提取的特征Fb。同样地,先对F′rp进行挤压和激励操作获得分配给Fb的通道权重λ2,然后将权重λ2与特征Fb相乘,得到特征Fat2,如公式(7)、(8)和(9):
Fb=f(Fat1,θb)#(7)
λ2=fex2(fsq(F′rp;);θex2)#(8)
Figure BDA0003598031910000101
其中,θb表示BiLSTM模块的参数,i的范围为1~c,c表示特征Fb的通道数,
Figure BDA0003598031910000102
分类器。如图9所示,本发明中使用的分类器包含一个一维的全局平均池层和一个全连接层,其中全连接层中使用的激活函数是Sigmoid函数。池化层的作用是稀疏得到的特征,降低计算开销。深度神经网络的最后一层往往是全连接层,全连接层把前面经过卷积、激励和池化等操作后的特征一个接一个串联在一起,作为分类的投票值,最终得出分类结果。分类器的输入是双重注意力模块输出的特征Fat2。分类器的输出是正常(Normal)或睡眠呼吸暂停(SA)。
(3)评价指标
SA检测有两个阶段。第一阶段,检测时长一分钟的脑电信号片段是否为SA。第二阶段检测整个脑电信号记录是否为SA,可用于判断该脑电信号是否来自于睡眠呼吸暂停患者。在本发明中,这两种SA检测评价指标主要包括:准确率(accuracy,Acc)、灵敏度(sensitivity,Sens)、特异性(specificity,Spec)、F1值和模型评估指标AUC(area underthe curve)。各评价指标计算方式如下:
Figure BDA0003598031910000103
Figure BDA0003598031910000104
Figure BDA0003598031910000105
Figure BDA0003598031910000106
Figure BDA0003598031910000107
其中,TP、TN、FP和FP分别代表“真阳性”、“真阴性”、“假阳性”和“假阴性”。本发明将睡眠呼吸暂停作为正类(Positive class),以正常作为负类(Negative class)。
每个记录的性能指标包括准确性,灵敏度,特异性,皮尔逊相关系数(Corr)。Corr是AHI真实值与预测值之间的相关系数。其中,AHI指的是呼吸暂停低通气指数,它是英文Apnea–Hypopnea Index的缩写。AHI是指每小时睡眠内呼吸暂停加上低通气的次数。它实际上就是用呼吸暂停的次数除以夜间睡眠的小时数。这是一种广泛使用的睡眠呼吸暂停评价指标。如果AHI大于等于5,则受试者患有睡眠呼吸暂停。AHI的计算方式如下:
Figure BDA0003598031910000111
其中,T表示一个脑电信号记录中1分钟段的总数量,N表示该脑电信号记录中标签为SA的1分钟段的数量。
(4)实验验证
为了证明有效性,将本发明提出的算法与现有的机器学习的方法(HMM-SVM、SVM和LS-SVM等)和基于深度学习的方法(LeNet-5、LSTM和SE-MSCNN等)在公开数据集PhysioNetApnea-ECG进行了比较,其中,表1是对一分钟心电信号段的睡眠呼吸暂停识别的性能比较,表2是对每个心电信号记录的睡眠呼吸暂停识别的性能比较。
表1
Figure BDA0003598031910000112
Figure BDA0003598031910000121
表2
Figure BDA0003598031910000122
在本发明中,开发了一种新的基于深度学习技术的算法DANet来检测SA。提出的DANet使用1D-CNN和BiLSTM分别学习1分钟段和5分钟段的特征。并通过双重注意力机制将1分钟长的信号特征和5分钟长的信号特征进行融合。各段和各记录的检测准确率分别为91.34%和100%。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外,在本发明的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本发明的范围,本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行装置、装置或设备(如基于计算机的装置、包括处理器的装置或其他可以从指令执行装置、装置或设备取指令并执行指令的装置)使用,或结合这些指令执行装置、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行装置、装置或设备或结合这些指令执行装置、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims (10)

1.一种基于双重注意力机制的睡眠呼吸暂停检测方法,其特征在于,包括:
获取原始心电信号,对所述原始心电信号进行数据预处理得到RRI和Rpeak;
通过一维卷积神经网络模块对所述RRI和所述Rpeak进行特征提取得到第一特征和第二特征;
通过第一注意力模块对所述第一特征和所述第二特征进行权重运算处理得到第三特征;
通过双向长短期记忆网络模块对所述第三特征进行上下文依赖关系捕获处理得到第四特征;
通过第二注意力模块对第一特征和所述第四特征进行权重运算处理得到第五特征;
通过分类器对所述第五特征进行分类处理得到分类结果。
2.根据权利要求1所述的一种基于双重注意力机制的睡眠呼吸暂停检测方法,其特征在于,所述获取原始心电信号,对所述原始心电信号进行数据预处理得到RRI和Rpeak,包括:
获取原始心电信号;
根据所述原始心电信号,提取标记段和与所述标记段相邻段,得到5-min-RRI、5-min-Rpeak和1-min-RRI-Rpeak;
通过插值技术对所述5-min-RRI、所述5-min-Rpeak和所述1-min-RRI-Rpeak进行长度统一处理;
其中,所述5-min-RRI表示5分钟长的RRI,所述5-min-Rpeak表示5分钟长的Rpeak,所述1-min-RRI-Rpeak表示1分钟长的RRI和Rpeak。
3.根据权利要求2所述的一种基于双重注意力机制的睡眠呼吸暂停检测方法,其特征在于,所述通过一维卷积神经网络模块对所述RRI和所述Rpeak进行特征提取得到第一特征和第二特征,包括:
通过第一一维卷积神经网络对所述5-min-RRI和所述5-min-Rpeak进行特征提取,得到F′r和F′p;在通道维上对所述F′r和所述F′p进行拼接处理,得到第一特征;
通过第二一维卷积神经网络对所述1-min-RRI-Rpeak进行特征提取,得到第二特征;
其中,所述第一一维卷积神经网络和所述第二一维卷积神经网络均包括三个一维卷积层和两个一维最大池化层。
4.根据权利要求1所述的一种基于双重注意力机制的睡眠呼吸暂停检测方法,其特征在于,所述通过第一注意力模块对所述第一特征和所述第二特征进行融合处理得到第三特征,包括:
对所述第一特征进行挤压处理和激励处理,得到第一权重;
对所述第一权重和所述第二特征进行尺度运算,得到第三特征。
5.根据权利要求1所述的一种基于双重注意力机制的睡眠呼吸暂停检测方法,其特征在于,所述通过双向长短期记忆网络模块对所述第三特征进行上下文依赖关系捕获处理得到第四特征,包括:
通过LSTM单元进行信息流的调节增删处理,根据所述调节增删处理完成上下文依赖关系捕获处理;
其中,所述双向长短期记忆网络模块包括正向LSTM单元和反向LSTM单元,所述LSTM单元包括输入门、输出门和遗忘门。
6.根据权利要求1所述的一种基于双重注意力机制的睡眠呼吸暂停检测方法,其特征在于,所述通过第二注意力模块对第一特征和所述第四特征进行权重运算处理得到第五特征,包括:
对所述第一特征进行挤压处理和激励处理,得到第二权重;
对所述第二权重和所述第四特征进行尺度运算,得到第五特征。
7.根据权利要求1至6任一项所述的一种基于双重注意力机制的睡眠呼吸暂停检测方法,其特征在于,还包括:
确定睡眠呼吸暂停检测的评价指标和呼吸暂停低通气指数。
8.一种基于双重注意力机制的睡眠呼吸暂停检测装置,其特征在于,包括:
第一模块,用于获取原始心电信号,对所述原始心电信号进行数据预处理得到RRI和Rpeak;
第二模块,用于通过一维卷积神经网络模块对所述RRI和所述Rpeak进行特征提取得到第一特征和第二特征;
第三模块,用于通过第一注意力模块对所述第一特征和所述第二特征进行权重运算处理得到第三特征;
第四模块,用于通过双向长短期记忆网络模块对所述第三特征进行上下文依赖关系捕获处理得到第四特征;
第五模块,用于通过第二注意力模块对第一特征和所述第四特征进行权重运算处理得到第五特征;
第六模块,用于通过分类器对所述第五特征进行分类处理得到分类结果。
9.一种电子设备,其特征在于,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行实现如权利要求1至7中任一项所述的方法。
CN202210393579.7A 2022-04-15 2022-04-15 一种基于双重注意力机制的睡眠呼吸暂停检测方法及装置 Pending CN114711725A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210393579.7A CN114711725A (zh) 2022-04-15 2022-04-15 一种基于双重注意力机制的睡眠呼吸暂停检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210393579.7A CN114711725A (zh) 2022-04-15 2022-04-15 一种基于双重注意力机制的睡眠呼吸暂停检测方法及装置

Publications (1)

Publication Number Publication Date
CN114711725A true CN114711725A (zh) 2022-07-08

Family

ID=82242946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210393579.7A Pending CN114711725A (zh) 2022-04-15 2022-04-15 一种基于双重注意力机制的睡眠呼吸暂停检测方法及装置

Country Status (1)

Country Link
CN (1) CN114711725A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115486833A (zh) * 2022-08-22 2022-12-20 华南师范大学 呼吸状态检测方法、装置、计算机设备以及存储介质
CN116616792A (zh) * 2023-07-21 2023-08-22 山东大学 基于轻量化设计和特征融合的心房颤动检测***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1151719A2 (en) * 2000-05-05 2001-11-07 Pacesetter, Inc. Apparatus for monitoring heart failure via respiratory patterns
CN110349676A (zh) * 2019-06-14 2019-10-18 华南师范大学 时序生理数据分类方法、装置、存储介质和处理器
WO2020166239A1 (ja) * 2019-02-13 2020-08-20 国立大学法人京都大学 睡眠時無呼吸症候群判定装置、睡眠時無呼吸症候群判定方法、及び、睡眠時無呼吸症候群判定プログラム
US20200388287A1 (en) * 2018-11-13 2020-12-10 CurieAI, Inc. Intelligent health monitoring
CN112426147A (zh) * 2020-10-21 2021-03-02 华南师范大学 睡眠呼吸事件检测模型处理方法、***和存储介质
CN113243890A (zh) * 2021-05-10 2021-08-13 清华大学深圳国际研究生院 睡眠呼吸暂停综合症识别装置
KR102298119B1 (ko) * 2020-12-10 2021-09-03 주식회사 에이슬립 수면에 관련한 분석 정보를 제공하기 위한 방법 및 컴퓨팅 장치
WO2022031038A1 (ko) * 2020-08-04 2022-02-10 주식회사 에이슬립 사용자의 수면 환경에서 측정된 데이터에 기반하여 수면 상태를 예측하기 위한 컴퓨팅 장치
CN114067435A (zh) * 2021-11-15 2022-02-18 山东大学 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1151719A2 (en) * 2000-05-05 2001-11-07 Pacesetter, Inc. Apparatus for monitoring heart failure via respiratory patterns
US20200388287A1 (en) * 2018-11-13 2020-12-10 CurieAI, Inc. Intelligent health monitoring
WO2020166239A1 (ja) * 2019-02-13 2020-08-20 国立大学法人京都大学 睡眠時無呼吸症候群判定装置、睡眠時無呼吸症候群判定方法、及び、睡眠時無呼吸症候群判定プログラム
CN110349676A (zh) * 2019-06-14 2019-10-18 华南师范大学 时序生理数据分类方法、装置、存储介质和处理器
WO2022031038A1 (ko) * 2020-08-04 2022-02-10 주식회사 에이슬립 사용자의 수면 환경에서 측정된 데이터에 기반하여 수면 상태를 예측하기 위한 컴퓨팅 장치
CN112426147A (zh) * 2020-10-21 2021-03-02 华南师范大学 睡眠呼吸事件检测模型处理方法、***和存储介质
KR102298119B1 (ko) * 2020-12-10 2021-09-03 주식회사 에이슬립 수면에 관련한 분석 정보를 제공하기 위한 방법 및 컴퓨팅 장치
CN113243890A (zh) * 2021-05-10 2021-08-13 清华大学深圳国际研究生院 睡眠呼吸暂停综合症识别装置
CN114067435A (zh) * 2021-11-15 2022-02-18 山东大学 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115486833A (zh) * 2022-08-22 2022-12-20 华南师范大学 呼吸状态检测方法、装置、计算机设备以及存储介质
CN116616792A (zh) * 2023-07-21 2023-08-22 山东大学 基于轻量化设计和特征融合的心房颤动检测***
CN116616792B (zh) * 2023-07-21 2023-12-01 山东大学 基于轻量化设计和特征融合的心房颤动检测***

Similar Documents

Publication Publication Date Title
Li et al. A method to detect sleep apnea based on deep neural network and hidden Markov model using single-lead ECG signal
CN111449645B (zh) 心电图心拍智能分类识别方法
Taji et al. False alarm reduction in atrial fibrillation detection using deep belief networks
CN114711725A (zh) 一种基于双重注意力机制的睡眠呼吸暂停检测方法及装置
Almutairi et al. Classification of Obstructive Sleep Apnoea from single-lead ECG signals using convolutional neural and Long Short Term Memory networks
Azimi et al. Machine learning-based automatic detection of central sleep apnea events from a pressure sensitive mat
CN114391807B (zh) 睡眠呼吸障碍分析方法、装置、设备及可读介质
Roy et al. On-device reliability assessment and prediction of missing photoplethysmographic data using deep neural networks
Dhyani et al. Arrhythmia disease classification utilizing ResRNN
Olsen et al. Automatic, electrocardiographic-based detection of autonomic arousals and their association with cortical arousals, leg movements, and respiratory events in sleep
CN114267444A (zh) 利用睡眠结构检测阻塞性呼吸暂停及夜间额叶癫痫的方法
CN113925459A (zh) 一种基于脑电特征融合的睡眠分期方法
Shen et al. Multitask residual shrinkage convolutional neural network for sleep apnea detection based on wearable bracelet photoplethysmography
Prakash et al. A system for automatic cardiac arrhythmia recognition using electrocardiogram signal
CN116098602A (zh) 一种基于ir-uwb雷达的非接触式睡眠呼吸监测方法及装置
Cao et al. Multi-task feature fusion network for Obstructive Sleep Apnea detection using single-lead ECG signal
Paul et al. ECG and SpO2 signal-based real-time sleep apnea detection using feed-forward artificial neural network
Kumar et al. CACHET-CADB: A contextualized ambulatory electrocardiography arrhythmia dataset
CN116807405A (zh) 基于人体压力分布图像的睡眠状态及睡眠疾病检测***
Feng et al. Machine learning-aided detection of heart failure (LVEF≤ 49%) by using ballistocardiography and respiratory effort signals
Jothi et al. Deep Learning Based Obstructive Sleep Apnea Detection for e-health Applications
Chen et al. Contactless screening for sleep apnea with breathing vibration signals based on modified U-Net
de Melo A brief review on electrocardiogram analysis and classification techniques with machine learning approaches
Sathish et al. Predicting Sleeping Quality Using Convolutional Neural Networks
Iwasaki et al. Development of a sleep apnea detection algorithm using long short-term memory and heart rate variability

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination