CN115969329A - 一种睡眠分期方法、***、装置及介质 - Google Patents

一种睡眠分期方法、***、装置及介质 Download PDF

Info

Publication number
CN115969329A
CN115969329A CN202310094153.6A CN202310094153A CN115969329A CN 115969329 A CN115969329 A CN 115969329A CN 202310094153 A CN202310094153 A CN 202310094153A CN 115969329 A CN115969329 A CN 115969329A
Authority
CN
China
Prior art keywords
result
convolution
feature
neural network
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310094153.6A
Other languages
English (en)
Inventor
宫玉琳
李天星
陈晓娟
胡命嘉
景治新
张福君
王慧杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202310094153.6A priority Critical patent/CN115969329A/zh
Publication of CN115969329A publication Critical patent/CN115969329A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Image Analysis (AREA)

Abstract

本申请公开了一种睡眠分期方法、***、装置及介质,应用于睡眠分期领域,该方法包括:获取与睡眠有关的生理信号;获取所述生理信号经过图卷积神经网络进行特征提取后的第一输出特征;获取所述生理信号经过注意力机制卷积神经网络进行特征提取后的第二输出特征;获取所述第一输出特征和所述第二输出特征进行特征融合后的特征融合结果;根据所述特征融合结果获取睡眠分期结果。通过增加图卷积神经网络进行特征提取,解决了目前只能在欧几里得空间上进行特征提取的问题,同时增加了注意力机制卷积神经网络,利用注意力机制提取全局特征,最大限度的淡化了因为个体差异带来的局部最优的影响。不仅实现了对睡眠的分期,同时对睡眠分期的准确率也较高。

Description

一种睡眠分期方法、***、装置及介质
技术领域
本申请涉及睡眠分期领域,特别是涉及一种睡眠分期方法、***、装置及介质。
背景技术
随着生活水平的提高,越来越多的人注重睡眠质量,对于睡眠质量的分析也更加数字化,由于脑电信号本质上是一种序列信号,目前研究者们使用循环神经网络(Recurrent Neural Network,RNN)进行睡眠分期,通过对时域、频域特征进行提取,但是RNN具有计算复杂以及不可并行的缺点。于是有研究者将卷积神经网络(ConvolutionalNeural Network,CNN)作为自编码器的结构进行睡眠分期,大幅度减少了模型参数,提高了性能。
目前采用的RNN和CNN都是在欧几里得空间上提取时域和频域上的脑电信号特征,但由于大脑区域处于非欧几里得空间,所以采用上述方式进行睡眠分期并不准确,此外,采用RNN和CNN对睡眠进行分期个体差异带来的影响较大,这两种神经网络依赖于睡眠专家提取构造的特征空间,但是由于不同的睡眠分类***所需求的睡眠特征不尽相同,甚至是同一睡眠分类***的、不同数据集以及不同通道上的表现也有较大差异,导致泛化能力较差,计算睡眠分期算法准确率较低。
如何解决目前采用RNN和CNN进行睡眠分期时泛化能力较差,计算睡眠分期算法准确率较低且只能在欧几里得空间上提取时域和频域上的脑电信号特征的问题是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种睡眠分期方法、***、装置及介质,通过增加图卷积神经网络进行特征提取,解决了目前只能在欧几里得空间上进行特征提取的问题,同时增加了注意力机制卷积神经网络,利用注意力机制提取全局特征,最大限度的淡化了因为个体差异带来的局部最优的影响。
为解决上述技术问题,本申请提供一种睡眠分期方法,包括:
获取与睡眠有关的生理信号;
调用图卷积神经网络和注意力机制卷积神经网络得到与图卷积神经网络对应的第一输出特征和与注意力机制卷积神经网络对应的第二输出特征;
对第一输出特征和第二输出特征进行特征融合得到特征融合结果;
根据特征融合结果确定睡眠分期结果。
优选地,在获取与睡眠有关的生理信号后,还包括:
对生理信号进行样本增强处理。
优选地,对生理信号进行样本增强处理包括:
利用dni=di+rand(0,1)×(dmi-di)将所述生理信号合成样本集;
其中dni为所述样本集中n个样本中的第i个样本,di为每个单独的样本,dmi为m个最近邻的第i个样本。
优选地,调用图卷积神经网络得到与图卷积神经网络对应的第一输出特征包括:
调用邻接矩阵和特征矩阵;
利用邻接矩阵和特征矩阵经过第一图卷积层提取第一图卷积结果;
通过图池化层对第一图卷积结果进行池化得到池化结果;
调用第二图卷积层对池化结果提取得到第二图卷积结果;
获取读出层对第二图卷积结果读出得到的读出结果;
通过多层感知机对读出结果感知得到感知结果;
根据感知结果输出第一输出特征。
优选地,调用邻接矩阵包括:
利用
Figure BDA0004071185740000021
对原始的邻接矩阵进行构建;
其中
Figure BDA0004071185740000022
为构建后的所述邻接矩阵,A为原始的邻接矩阵,I为同维度的单位矩阵,λ为常系数;
利用
Figure BDA0004071185740000023
对构建后的所述邻接矩阵进行对称归一化处理;
其中
Figure BDA0004071185740000024
为对称且归一化的所述邻接矩阵,
Figure BDA0004071185740000025
为构建后的所述邻接矩阵
Figure BDA0004071185740000026
的度矩阵。
优选地,调用注意力机制卷积神经网络得到与注意力机制卷积神经网络对应的第二输出特征包括:
获取第一样本集;
调用第一卷积层对第一样本集提取得到第一卷积结果;
利用第一池化层对第一卷积结果池化得到第一池化结果;
获取丢弃层对第一池化结果处理得到的处理结果;
调用第二卷积层对处理结果提取得到第二卷积结果;
通过卷积注意力模块对第二卷积结果卷积得到注意力卷积结果;
利用第二池化层对注意力卷积结果池化得到第二池化结果;
根据第二池化结果输出第二输出特征。
优选地,卷积注意力模块包括:通道注意力函数和空间注意力函数,调用第三卷积层对第二卷积结果处理得到第三卷积结果,包括:
利用通道注意力函数对第三卷积结果进行一维卷积得到通道卷积结果;
通过空间注意力函数对通道卷积结果经过进行二维卷积得到空间卷积结果;
根据空间卷积结果输出注意力卷积结果。
优选地,对第一输出特征和第二输出特征进行特征融合得到特征融合结果包括:
利用
Figure BDA0004071185740000031
对第一输出特征和第二输出特征进行特征融合;
其中yi为最终的融合特征,C为所有训练样本的类别数,Softmax为分类函数。
为解决上述技术问题,本申请还提供一种睡眠分期***,包括:
获取模块,用于获取与睡眠有关的生理信号;
调用模块,用于调用图卷积神经网络和注意力机制卷积神经网络得到与图卷积神经网络对应的第一输出特征和与注意力机制卷积神经网络对应的第二输出特征;
融合模块,用于对第一输出特征和第二输出特征进行特征融合得到特征融合结果;
确定模块,用于根据特征融合结果确定睡眠分期结果。
为解决上述技术问题,本申请还提供一种睡眠分期装置,包括存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现如上述的睡眠分期方法的步骤。
为解决上述技术问题,本申请还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述的睡眠分期方法的步骤。
本申请所提供的睡眠分期方法,包括:获取与睡眠有关的生理信号;获取生理信号经过图卷积神经网络进行特征提取后的第一输出特征;获取生理信号经过注意力机制卷积神经网络进行特征提取后的第二输出特征;获取第一输出特征和第二输出特征进行特征融合后的特征融合结果;根据特征融合结果获取睡眠分期结果。通过增加图卷积神经网络进行特征提取,解决了目前只能在欧几里得空间上进行特征提取的问题,同时增加了注意力机制卷积神经网络,利用注意力机制提取全局特征,最大限度的淡化了因为个体差异带来的局部最优的影响。不仅实现了对睡眠的分期,同时对睡眠分期的准确率也较高。
附图说明
为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的睡眠分期方法的流程图;
图2为本申请实施例提供的图卷积神经网络的工作流程图;
图3为本申请实施例提供的图卷积神经网络的结构图;
图4为本申请实施例提供的注意力机制卷积神经网络的工作流程图;
图5为本申请实施例提供的注意力机制卷积神经网络的结构图;
图6为本申请实施例提供的卷积注意力模块工作示意图;
图7为本申请实施例提供的通道注意力函数的工作示意图;
图8为本申请实施例提供的空间注意力函数的工作示意图;
图9为本申请实施例提供的睡眠分期***的结构图;
图10为本申请实施例提供的睡眠分期装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下,所获得的所有其他实施例,都属于本申请保护范围。
本申请的核心是提供一种睡眠分期方法,通过增加图卷积神经网络进行特征提取,解决了目前只能在欧几里得空间上进行特征提取的问题,同时增加了注意力机制卷积神经网络,利用注意力机制提取全局特征,最大限度的淡化了因为个体差异带来的局部最优的影响。
本申请提供的睡眠分期方法中的获取、调用、利用、确定等操作可以由上位机中的控制器实现,例如控制器可以为微控制单元(Microcontroller Unit;MCU),当然还可以是除MCU以外其他的控制器实现,本申请不作限定。
为了使本技术领域的人员更好地理解本申请方案,下面结合附图和具体实施方式对本申请作进一步的详细说明。
图1为本申请实施例提供的睡眠分期方法的流程图,如图1所示,该方法包括:
S10:获取与睡眠有关的生理信号。
具体地,本实施例中MCU采集监测睡眠过程中所记录的脑电信号(EEG)和眼电信号(EOG),EEG信号和EOG信号均以100Hz采样,然后将整晚的睡眠数据切分为30s每帧的若干数据片段,并按照美国睡眠医学会(American Academy of Sleep Medicine,AASM)的睡眠标准,划分为:清醒期(W)、快速眼动期(Rapid Eye Movement,REM)和非快速眼动期(N)。在非快速眼动期,随着睡眠状态的由浅入深,又进一步分为三个睡眠分期,分别为睡眠Ⅰ期(N1),睡眠Ⅱ期(N2),睡眠Ⅲ期(N3)。需要说明的是,上述采样频率以及切分频率均可以根据用户需求自行设定,本实施例中不作特殊限定。
可见,MCU采集与睡眠有关的EEG信号和EOG信号,将所采集的生理信号按照AASM标准进行划分,实现了对睡眠过程的精准划分,可以针对不同时期的生理信号进行具体化的分析。
S11:调用图卷积神经网络和注意力机制卷积神经网络得到与图卷积神经网络对应的第一输出特征和与注意力机制卷积神经网络对应的第二输出特征。
具体地,由于目前采用的RNN和CNN都是在欧几里得空间上提取时域和频域上的脑电信号特征,但由于大脑区域处于非欧几里得空间,所以采用上述方式进行睡眠分期并不准确,此外,采用RNN和CNN对睡眠进行分期个体差异带来的影响较大,这两种神经网络依赖于睡眠专家提取构造的特征空间,但是由于不同的睡眠分类***所需求的睡眠特征不尽相同,甚至是同一睡眠分类***的、不同数据集以及不同通道上的表现也有较大差异,导致泛化能力较差,计算睡眠分期算法准确率较低。本实施例中利用图卷积神经网络和注意力机制卷积神经网络,将所获取的生理信号,通过图卷积神经网络转变为第一输出特征,通过注意力机制卷积神经网络转变为第二输出特征。其中,图卷积神经网络通过使用无向图来构造图卷积神经网络结构,无向图描述公式为:G=(V,E),其中G代表无向图、V表示结点集合,网络中的每个结点代表一个电极通道、E为边的集合,用来表示不同结点之间的连接关系,其中|V|=N,N为图卷积神经网络的结点数(node),每个结点具备对应的特征向量,N个结点的特征构成一个N×D维的特征矩阵X,D代表特征数;用A来表示图卷积神经网络的邻接矩阵,邻接矩阵是根据各个结点间的相互关系形成的一个N×N维的矩阵。X和A是模型最初的输入,并且定义每个样本的特征矩阵Xi,通过X来确定睡眠阶段y,其中X表示Xi的时间背景,y表示Xi睡眠阶段类别标签。通过上述图卷积神经网络结构对所获取的生理信号进行特征提取,将提取后的结果作为第一输出特征。对于注意力机制卷积神经网络,构建基于卷积注意力模块(Convolutional Block Attention Module,CBAM)的卷积神经网络模型,卷积块注意力函数是一种轻量级的、用于前馈CNN的注意力算法。该函数包括通道注意力函数和空间注意力函数两个子函数,依次从通道和空间两个不同维度生成注意图,并将注意图与输入的特征图按位相乘,进行自适应特征优化,将优化后的结果作为第二输出特征。
可见,通过调用图卷积神经网络和注意力机制卷积神经网络得到与图卷积神经网络对应的第一输出特征和与注意力机制卷积神经网络对应的第二输出特征,由于大脑的不同区域不在欧几里得空间中,因此图卷积神经网络非常合适描述脑电信号特征的数据结构,用于提取生理信号数据的深层信息。注意力机制卷积神经网络改良了个体差异的影响增加了通道注意力函数和空间注意力函数,对提取到的特征进行优化后输出。
S12:对第一输出特征和第二输出特征进行特征融合得到特征融合结果。
具体地,本实施例中将第一输出特征和第二输出特征将两种特征合并连接,然后使用Softmax分类器,将最终的睡眠融合特征作为输入,进行睡眠阶段分类。
S13:根据特征融合结果确定睡眠分期结果。
具体地,本实施例中将输出得到的特征融合结果通过MCU睡眠分期自动判读结果,并计算准确率、精确率、召回率等指标,直至模型收敛且测试集准确率稳定。
可见,本实施例所提供的睡眠分期方法,包括:获取与睡眠有关的生理信号;获取生理信号经过图卷积神经网络进行特征提取后的第一输出特征;获取生理信号经过注意力机制卷积神经网络进行特征提取后的第二输出特征;获取第一输出特征和第二输出特征进行特征融合后的特征融合结果;根据特征融合结果获取睡眠分期结果。通过增加图卷积神经网络进行特征提取,解决了目前只能在欧几里得空间上进行特征提取的问题,同时增加了注意力机制卷积神经网络,利用注意力机制提取全局特征,最大限度的淡化了因为个体差异带来的局部最优的影响。不仅实现了对睡眠的分期,同时对睡眠分期的准确率也较高。
在上述实施例的基础上,作为一种优选的实施例,在获取与睡眠有关的生理信号后,还包括:
对生理信号进行样本增强处理。
具体地,本实施例中由于在不同睡眠阶段数据时长占比有较大差异,而且不同个体的同期数据时长也存在差异,在对生理信号处理时,容易造成样本不平衡而使得信号特征学***衡。对于边界人工合成少数类过采样算法是通过将原本的少数样本集合成为数量更大的样本集,以便后续信号特征学习更加充分、有效。
可见,通过对生理信号的增强处理实现了对生理信号中少数类样本集的扩容,可以保证样本的平衡性,使信号特征学习更加充分、有效。
在上述实施例的基础上,作为一种优选的实施例,对生理信号进行样本增强处理包括:
利用dni=di+rand(0,1)×(dmi-di)将所述生理信号合成样本集;
其中dni为所述样本集中n个样本中的第i个样本,di为每个单独的样本,dmi为m个最近邻的第i个样本。
具体地,本实施例中对每个少数类样本Mi利用K近邻算法从整个数据集中计算距离Mi的k个最近邻样本,其距离计算公式为:
Figure BDA0004071185740000081
其中d(X,Y)为两个样本点之间的欧式距离,xi和yi为n维空间中的两个样本点。其中样本分为:安全样本、危险样本、噪声样本。安全样本周围k个最近邻样本有超过1/2为少数类样本;危险样本周围k个最近邻样本有超过1/2为多数类样本;噪声样本周围k个最近邻样本均为多数类样本。安全样本为处于少数类决策区域的样本,可以移除;危险样本可能处于决策边界附近,将其保留;噪声样本极大可能处于多数类决策区域,需要移除。对于每个危险样本di,从其k个最近邻中随机选择m个最近邻,在这m个最近邻样本和原危险样本之间随机合成n个新样本,并将新合成的样本并入到原样本中参与组合,形成新的样本集。其中利用dni=di+rand(0,1)×(dmi-di)将生理信号合成样本集;其中dni为所述样本集中n个样本中的第i个样本,di为每个单独的样本,dmi为m个最近邻的第i个样本。通过上述处理即可将少数类样本进行增强处理,为图卷积神经网络和注意力机制卷积神经网络提供更佳的样本。
可见,通过对样本进行增强处理克服了在不同睡眠阶段数据时长占比有较大差异,同时容易造成样本不平衡而使得信号特征学习不充分的问题,为图卷积神经网络和注意力机制卷积神经网络提供更佳的样本。
在上述实施例的基础上,作为一种优选的实施例,图2为本申请实施例提供的图卷积神经网络的结构图,如图2所示,图卷积神经网络由2个图卷积层,1个图池化层,1个读出层和1个多层感知机构成调用图卷积神经网络得到与图卷积神经网络对应的第一输出特征包括:
S14:调用邻接矩阵和特征矩阵。
具体地,本实施例中输入特征矩阵和邻接矩阵作为输入层,通过特征矩阵和邻接矩阵构造图卷积神经网络的输入层。
S15:利用邻接矩阵和特征矩阵经过第一图卷积层提取第一图卷积结果。
具体地,本实施例中卷积层会顺序执行3个操作:卷积运算、批量归一化和函数激活。对于激活函数分别采用ReLU函数和Softmax函数,整体的正向传播的公式为:Z=f(X,A),
Figure BDA0004071185740000091
Z为正向传播的公式,X为特征矩阵,A为邻接矩阵,
Figure BDA0004071185740000092
为构建后的邻接矩阵,W(0)和W(1)分别为每一层的权重矩阵,ReLU为ReLU函数。使用交叉熵表达损失函数,损失函数计算神经网络每次迭代的前向计算结果与真实值的差距,从而指导下一步的训练向正确的方向进行。对所有带标签的节点计算损失函数,其表达式为:
Figure BDA0004071185740000093
L表示损失函数,yl是带有标签的节点索引集,l表示第l个节点,F表示输出特征,Ylf表示标签节点的真实状态值,Zlf表示标签节点的预测状态值。
S16:通过图池化层对第一图卷积结果进行池化得到池化结果。
具体地,本实施例中通过图池化层对第一图卷积结果进行池化,图池化层则起到下采样的作用,生成更深层次的子结构,池化操作后的结果相比其输入缩小了。池化层的引入是仿照人的视觉***对视觉输入对象进行降维和抽象,可以在一定程度上防止过拟合。
S17:调用第二图卷积层对池化结果提取得到第二图卷积结果。
具体地,本实施例中采取第二图卷积层对池化结果进行卷积得到第二图卷积结果。
S18:获取读出层对第二图卷积结果读出得到的读出结果。
具体地,本实施例中的读出层对第二图卷积结果读出得到读出结果,读出层通过读取子结构的隐藏表示的和值来刻画最终的图表示。
S19:通过多层感知机(Multilayer Perceptron)对读出结果感知得到感知结果。
具体地,本实施例中多层感知机对读出结果感知得到感知结果,经过一系列处理后的图数据经过多层感知机转变成一个特征向量,作为图卷积神经网络特征提取模块的最终输出特征。
S20:根据感知结果输出第一输出特征。
具体地,本实施例中根据感知结果输出第一输出特征作为经过图卷积神经网络的输出结果。
如图3所示,图卷积神经网络包括,特征矩阵X和邻接矩阵A作为输入层、第一图卷积层、图池化层、第二图卷积层、读出层、多层感知机,每一级的输出结果进入下一级进行处理,多层感知机得到的感知结果输出第一输出特征作为经过图卷积神经网络的输出结果。
可见,通过2个图卷积层,1个图池化层,1个读出层和1个多层感知机构成的图卷积神经网络在输入层输入特征矩阵和邻接矩阵,经过图卷积层提取特征的高级表示,经过图池化层进行下采样操作,生成更深层次的子结构。将结果通过读出层读取子结构的隐藏表示的和值来刻画最终的图表示。最后经过一系列处理后的图数据经过多层感知机转变成一个特征向量,作为图卷积神经网络特征提取模块的最终输出特征。
在上述实施例的基础上,作为一种优选的实施例,调用邻接矩阵包括:
利用
Figure BDA0004071185740000101
对原始的邻接矩阵进行构建;
其中
Figure BDA0004071185740000102
为构建后的邻接矩阵,A为原始的邻接矩阵,I为同维度的单位矩阵,λ为常系数;
利用
Figure BDA0004071185740000103
对构建后的邻接矩阵进行对称归一化处理;
其中
Figure BDA0004071185740000104
为对称且归一化的邻接矩阵,
Figure BDA0004071185740000105
为构建后的邻接矩阵
Figure BDA0004071185740000106
的度矩阵。
具体地,本实施例中由于邻接矩阵对角线元素均为0,其在与特征矩阵相乘运算时,只能计算各结点与除其自身外的其他相邻结点特征的加权和,该结点自身的特征却无法参与运算。为了克服邻接矩阵单位结点特征无法参与运算的缺陷,采用重参数化技巧,添加同维度的单位矩阵,构建邻接矩阵
Figure BDA0004071185740000107
取λ值为1,默认结点本身特征的重要性与其邻结点的重要性一样,此时,
Figure BDA0004071185740000108
未经归一化的矩阵
Figure BDA0004071185740000109
与特征矩阵相乘会改变特征原本的分布,因此需要对构建后的邻接矩阵
Figure BDA00040711857400001010
进行标准化处理。使用加权平均作为标准化的策略,给予那些较低度的结点更大的权重,加权平均会使得较低度的结点对其邻结点产生较大的影响;而较高度的结点由于其影响被分散到很多的邻结点,所以会产生更小的影响。首先构建邻接矩阵
Figure BDA00040711857400001011
的度矩阵
Figure BDA00040711857400001012
度矩阵是对角阵,对角上的元素为各个顶点的度,其他元素均为零,度矩阵的公式为:
Figure BDA00040711857400001013
其中,
Figure BDA00040711857400001014
表示构建后的度矩阵,i表示第i行,j表示第j列,
Figure BDA00040711857400001015
表示邻接矩阵
Figure BDA0004071185740000111
中的每一项元素;通过使用切比雪夫近似,为每一个结点提取一阶近邻的信息,得到对称且归一化的矩阵
Figure BDA0004071185740000112
Figure BDA0004071185740000113
用H表示网络结构中每一层的特征,得到图卷积神经网络特征层与层之间传播的表达式为:
Figure BDA0004071185740000114
其中H(l+1)是第l+1层的特征,σ是非线性激活函数,H(l)是第l层的特征,W(l)是权重系数矩阵中的第l层。此时对于输入层H即为特征矩阵。
可见,本实施例中通过构建邻接矩阵
Figure BDA0004071185740000115
克服了邻接矩阵单位结点特征无法参与运算的缺陷,但对于未经归一化的矩阵
Figure BDA0004071185740000116
与特征矩阵相乘会改变特征原本的分布,因此需要对构建后的邻接矩阵
Figure BDA0004071185740000117
进行标准化处理。又对
Figure BDA0004071185740000118
进行对称归一化处理,最后输出较为理想的邻接矩阵和特征矩阵,作为输入层的输入项进行输入。
在上述实施例的基础上,作为一种优选的实施例,图4为本申请实施例提供的注意力机制卷积神经网络的工作流程图,如图4所示,调用注意力机制卷积神经网络得到与注意力机制卷积神经网络对应的第二输出特征包括:
S21:获取第一样本集。
具体地,本实施例中获取到经过样本增强处理的第一样本集。
S22:调用第一卷积层对第一样本集提取得到第一卷积结果。
具体地,本实施例中通过第一卷积层对第一样本集提取得到第一卷积结果。其中每个卷积层会顺序执行3个操作:卷积运算、批量归一化和函数激活。函数激活中使用非线性函数ReLU函数,来增加网络的非线性拟合能力。ReLU激活函数的表达式为:ReLU(x)=max(0,x)。其中ReLU为ReLU函数,x为输入值。
S23:利用第一池化层对第一卷积结果池化得到第一池化结果。
具体地,本实施例中利用第一池化层对第一卷积结果池化得到第一池化结果,池化层则起到下采样的作用,生成更深层次的子结构,池化操作后的结果相比其输入缩小了。池化层的引入是仿照人的视觉***对视觉输入对象进行降维和抽象,可以在一定程度上防止过拟合。
S24:获取丢弃层对第一池化结果处理得到的处理结果。
具体地,本实施例中为了减少网络过拟合,同时降低网络模型的耗时,在第一个最大池化层之后设置丢弃层。设置Dropout函数,对输入到丢弃层的信息进行一定数量的归零,参数p表示归零概率,通常取p为0.5对信息进行一定数量的归零。
S25:调用第二卷积层对处理结果提取得到第二卷积结果。
具体地,本实施例通过第二卷积层包含多个子卷积层,作用相同,均对上一级所得到的结果进行特征提取得到卷积结果,在考虑网络结构不发生过拟合现象,一定范围内,包含的子卷积层越多,对数据的处理效果越好,如图5所示,第二卷积层包含两个子卷积层。
S26:通过卷积注意力模块对第二卷积结果卷积得到注意力卷积结果。
具体地,本实施例中卷积注意力模块包括:通道注意力函数和空间注意力函数,通过上述函数对第二卷积结果卷积得到注意力卷积结果。
S27:利用第二池化层对注意力卷积结果池化得到第二池化结果。
具体地,本实施例中本实施例中利用第二池化层对注意力卷积结果池化得到第二池化结果,池化层则起到了采样的作用,生成更深层次的子结构,池化操作后的结果相比其输入缩小了。池化层的引入是仿照人的视觉***对视觉输入对象进行降维和抽象,可以在一定程度上防止过拟合。
S28:根据第二池化结果输出第二输出特征。
具体地,本实施例中第二池化结果作为输出第二输出特征。
如图5所示,注意力机制卷积神经网络包括第一卷积层、第一池化层、丢弃层、第一子卷积层、第二子卷积层、卷积注意力模块、第二池化层,经过样本增强处理的第一样本集作为输入数据,每一级的输出结果进入下一级进行处理,第二池化层输出的第二池化结果作为输出第二输出特征。
可见,通过利用注意力机制提取全局特征,最大限度的淡化了因为个体差异带来的局部最优的影响。不仅实现了对睡眠的分期,同时对睡眠分期的准确率也较高。
在上述实施例的基础上,作为一种优选的实施例,图6为本申请实施例提供的卷积注意力模块结构图,如图6所示,卷积注意力模块包括:通道注意力函数和空间注意力函数,调用第二卷积层对处理结果提取得到第二卷积结果包括:
利用通道注意力函数对第二卷积结果进行一维卷积得到通道卷积结果;
通过空间注意力函数对通道卷积结果经过进行二维卷积得到空间卷积结果;
根据空间卷积结果输出注意力卷积结果。
具体地,本实施例中首先,输入特征F,经过通道注意力函数进行一维卷积,得到通道注意力图MC,将通道注意力图MC与原输入特征F按位相乘,得到通道注意力输出特征F′将通道注意力函数的输出特征F′作为空间注意力函数的输入,进行空间注意力函数的二维卷积运算,生成空间注意力图MS并与空间注意力函数输入F′按位相乘,得到空间注意力函数的输出特征F″,也即最终的输出特征。通道注意力输出特征F′和空间注意力输出特征F″表达式为:
Figure BDA0004071185740000131
其中F′为通道注意力函数输出量、MC为通道注意力图、F为输入特征;F″为空间注意力函数输出量、MS为空间注意力图。图7为本申请实施例提供的通道注意力函数的工作示意图,如图7所示,建立通道注意力函数,利用特征的通道间关系,生成通道注意图。首先使用平均池化和最大池化两种方法并行聚合特征映射的空间信息,生成两个不同的空间描述符,其中
Figure BDA0004071185740000132
为平均池化,
Figure BDA0004071185740000133
为最大池化,然后将两个描述符送到一个共享网络中。平均池化用于计算图像区域的平均值作为该区域池化后的值,最大池化用于选图像区域的最大值作为该区域池化后的值,然后将两个描述符送到一个共享网络中。该共享网络由多层感知机和一个隐藏层组成。为了减少参数开销,先将通道数压缩为原来的1/r,r为压缩系数,再扩张到原通道数。经过ReLU激活函数得到两个激活后的结果,将这两个结果按位相加后输出特征向量,该特征向量再通过sigmoid函数标准化得到通道注意力模块的输出结果。通道注意力图MC表达式为:
Figure BDA0004071185740000134
其中MC(F)为通道注意力图MC的输入量为输入特征F时的通道注意力图、σ是非线性激活函数、W1为1层的权重系数、W0为0层的权重系数。图8为本申请实施例提供的空间注意力函数的工作示意图,如图8所示,建立空间注意力函数,利用特征间的空间关系,生成空间注意图。计算空间注意力图,首先沿着通道轴,使用两个池化操作来聚合特征图的通道信息,生成两个二维映射:
Figure BDA0004071185740000135
为平均池化对应的映射,
Figure BDA0004071185740000136
为最大池化对应的映射,分别用来表示跨通道的平均池化特征和最大池化特征。将这些特征信息串联拼接起来并通过一个7×7的卷积层进行卷积运算,生成二维空间注意图,最后通过sigmoid函数标准化得到最终注意力图MS表达式为:
Figure BDA0004071185740000141
其中MS(F)为空间注意力图MS的输入量为输入特征F时的空间注意力图、f7×7表示进行7×7的卷积运算。
可见,通过将两个注意力函数进行串联顺序布局,通道注意力函数在前,空间注意力函数在后,组成注意力卷积神经网络结构。解决了因为个体差异带来的局部最优的影响。不仅实现了对睡眠的分期,同时对睡眠分期的准确率也较高。
在上述实施例的基础上,作为一种优选的实施例,对第一输出特征和第二输出特征进行特征融合得到特征融合结果包括:
利用
Figure BDA0004071185740000142
对第一输出特征和第二输出特征进行特征融合;
其中yi为最终的融合特征,C为所有训练样本的类别数,Softmax为分类函数。
具体地,本实施例中将所获取的第一输出特征和第二输出特征进行特征融合将两种特征合并连接,然后使用Softmax分类器,将最终的睡眠融合特征作为输入,进行睡眠阶段分类。输出得到睡眠分期自动判读结果,并计算准确率、精确率、召回率等指标,直至模型收敛且测试集准确率稳定。
可见,通过将所获取的经过图卷积神经网络和注意力机制卷积神经网络得到的特征进行融合,实现了最终的对睡眠进行分期的功能。
在上述实施例中,对于睡眠分期方法进行了详细描述,本申请还提供睡眠分期***对应的实施例。需要说明的是,本申请从两个角度对***部分的实施例进行描述,一种是基于功能模块的角度,另一种是基于硬件的角度。
基于功能模块的角度,图9为本申请实施例提供的睡眠分期***的结构图,如图9所示,该睡眠分期***包括:
获取模块10,用于获取与睡眠有关的生理信号;
调用模块11,用于调用图卷积神经网络和注意力机制卷积神经网络得到与图卷积神经网络对应的第一输出特征和与注意力机制卷积神经网络对应的第二输出特征;
融合模块12,用于对第一输出特征和第二输出特征进行特征融合得到特征融合结果;
确定模块13,用于根据特征融合结果确定睡眠分期结果。
由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
本实施例提供的睡眠分期***,与上述方法对应,故具有与上述方法相同的有益效果。
图10为本申请实施例提供的睡眠分期装置的结构图,如图10所示,睡眠分期装置包括:存储器20,用于存储计算机程序;
处理器21,用于执行计算机程序时实现如上述实施例中所提到的睡眠分期方法的步骤。
本实施例提供的睡眠分期装置可以包括但不限于能够实现睡眠分期方法的装置等。
其中,处理器21可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称中央处理器(CentralProcessing Unit,CPU);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器21可以集成有图像处理器(Graphics Processing Unit,GPU),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器21还可以包括人工智能(Artificial Intelligence,AI)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。本实施例中,存储器20至少用于存储以下计算机程序201,其中,该计算机程序被处理器21加载并执行之后,能够实现前述任一实施例公开的睡眠分期方法的相关步骤。另外,存储器20所存储的资源还可以包括操作***202和数据203等,存储方式可以是短暂存储或者永久存储。其中,操作***202可以包括Windows、Unix、Linux等。数据203可以包括但不限于与睡眠分期方法有关的数据等。
在一些实施例中,睡眠分期装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
本领域技术人员可以理解,图10中示出的结构并不构成对睡眠分期装置的限定,可以包括比图示更多或更少的组件。
本申请实施例提供的睡眠分期装置,包括存储器和处理器,处理器在执行存储器存储的程序时,能够实现如上述方法。
最后,本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是,如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本申请所提供的睡眠分期方法、***、装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (11)

1.一种睡眠分期方法,其特征在于,包括:
获取与睡眠有关的生理信号;
调用图卷积神经网络和注意力机制卷积神经网络得到与所述图卷积神经网络对应的第一输出特征和与所述注意力机制卷积神经网络对应的第二输出特征;
对所述第一输出特征和所述第二输出特征进行特征融合得到特征融合结果;
根据所述特征融合结果确定睡眠分期结果。
2.根据权利要求1所述的睡眠分期方法,其特征在于,在所述获取与睡眠有关的生理信号后,还包括:
对所述生理信号进行样本增强处理。
3.根据权利要求2所述的睡眠分期方法,其特征在于,所述对所述生理信号进行样本增强处理包括:
利用dni=di+rand(0,1)×(dmi-di)将所述生理信号合成样本集;
其中dni为所述样本集中n个样本中的第i个样本,di为每个单独的样本,dmi为m个最近邻的第i个样本。
4.根据权利要求1所述的睡眠分期方法,其特征在于,调用所述图卷积神经网络得到与所述图卷积神经网络对应的所述第一输出特征包括:
调用邻接矩阵和特征矩阵;
利用所述邻接矩阵和所述特征矩阵经过第一图卷积层提取第一图卷积结果;
通过图池化层对所述第一图卷积结果进行池化得到池化结果;
调用第二图卷积层对所述池化结果提取得到第二图卷积结果;
获取读出层对所述第二图卷积结果读出得到的读出结果;
通过多层感知机对所述读出结果感知得到感知结果;
根据所述感知结果输出所述第一输出特征。
5.根据权利要求4所述的睡眠分期方法,其特征在于,所述调用邻接矩阵包括:
利用
Figure FDA0004071185710000011
对原始的邻接矩阵进行构建;
其中
Figure FDA0004071185710000021
为构建后的所述邻接矩阵,A为原始的邻接矩阵,I为同维度的单位矩阵,λ为常系数;
利用
Figure FDA0004071185710000022
对构建后的所述邻接矩阵进行对称归一化处理;
其中
Figure FDA0004071185710000023
为对称且归一化的所述邻接矩阵,
Figure FDA0004071185710000024
为构建后的所述邻接矩阵
Figure FDA0004071185710000025
的度矩阵。
6.根据权利要求3所述的睡眠分期方法,其特征在于,所述调用所述注意力机制卷积神经网络得到与所述注意力机制卷积神经网络对应的所述第二输出特征包括:
获取所述第一样本集;
调用第一卷积层对所述第一样本集提取得到第一卷积结果;
利用第一池化层对所述第一卷积结果池化得到第一池化结果;
获取丢弃层对所述第一池化结果处理得到的处理结果;
调用第二卷积层对所述处理结果提取得到第二卷积结果;
通过卷积注意力模块对所述第二卷积结果卷积得到注意力卷积结果;
利用第二池化层对所述注意力卷积结果池化得到第二池化结果;
根据所述第二池化结果输出所述第二输出特征。
7.根据权利要求6所述的睡眠分期方法,其特征在于,所述卷积注意力模块包括:通道注意力函数和空间注意力函数,所述调用第二卷积层对所述处理结果提取得到第二卷积结果包括:
利用所述通道注意力函数对所述第二卷积结果进行一维卷积得到通道卷积结果;
通过所述空间注意力函数对所述通道卷积结果经过进行二维卷积得到空间卷积结果;
根据所述空间卷积结果输出所述注意力卷积结果。
8.根据权利要求1所述的睡眠分期方法,其特征在于,所述对所述第一输出特征和所述第二输出特征进行特征融合得到特征融合结果包括:
利用
Figure FDA0004071185710000026
对所述第一输出特征和所述第二输出特征进行特征融合;
其中yi为最终的融合特征,C为所有训练样本的类别数,Softmax为分类函数。
9.一种睡眠分期***,其特征在于,包括:
获取模块,用于获取与睡眠有关的生理信号;
调用模块,用于调用图卷积神经网络和注意力机制卷积神经网络得到与所述图卷积神经网络对应的第一输出特征和与所述注意力机制卷积神经网络对应的第二输出特征;
融合模块,用于对所述第一输出特征和所述第二输出特征进行特征融合得到特征融合结果;
确定模块,用于根据所述特征融合结果确定睡眠分期结果。
10.一种睡眠分期装置,其特征在于,包括存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至8任一项所述的睡眠分期方法的步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的睡眠分期方法的步骤。
CN202310094153.6A 2023-02-08 2023-02-08 一种睡眠分期方法、***、装置及介质 Pending CN115969329A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310094153.6A CN115969329A (zh) 2023-02-08 2023-02-08 一种睡眠分期方法、***、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310094153.6A CN115969329A (zh) 2023-02-08 2023-02-08 一种睡眠分期方法、***、装置及介质

Publications (1)

Publication Number Publication Date
CN115969329A true CN115969329A (zh) 2023-04-18

Family

ID=85963277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310094153.6A Pending CN115969329A (zh) 2023-02-08 2023-02-08 一种睡眠分期方法、***、装置及介质

Country Status (1)

Country Link
CN (1) CN115969329A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116421152A (zh) * 2023-06-13 2023-07-14 长春理工大学 一种睡眠分期结果确定方法、装置、设备及介质
CN116720545A (zh) * 2023-08-10 2023-09-08 中国医学科学院药用植物研究所 神经网络的信息流动控制方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110811558A (zh) * 2019-11-18 2020-02-21 郑州大学 基于深度学习的睡眠觉醒分析方法
CN115054270A (zh) * 2022-06-17 2022-09-16 上海大学绍兴研究院 基于gcn提取睡眠频谱图特征的睡眠分期方法及***
CN115349821A (zh) * 2022-06-15 2022-11-18 深圳技术大学 一种基于多模态生理信号融合的睡眠分期方法及***
CN115530847A (zh) * 2022-09-30 2022-12-30 哈尔滨理工大学 一种基于多尺度注意力的脑电信号自动睡眠分期方法
CN115620484A (zh) * 2022-09-30 2023-01-17 重庆长安汽车股份有限公司 疲劳驾驶的报警方法、装置、车机***、车辆和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110811558A (zh) * 2019-11-18 2020-02-21 郑州大学 基于深度学习的睡眠觉醒分析方法
CN115349821A (zh) * 2022-06-15 2022-11-18 深圳技术大学 一种基于多模态生理信号融合的睡眠分期方法及***
CN115054270A (zh) * 2022-06-17 2022-09-16 上海大学绍兴研究院 基于gcn提取睡眠频谱图特征的睡眠分期方法及***
CN115530847A (zh) * 2022-09-30 2022-12-30 哈尔滨理工大学 一种基于多尺度注意力的脑电信号自动睡眠分期方法
CN115620484A (zh) * 2022-09-30 2023-01-17 重庆长安汽车股份有限公司 疲劳驾驶的报警方法、装置、车机***、车辆和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI, MENGLEI; CHEN, HONGBO; CHENG, ZIXUE: "An Attention-Guided Spatiotemporal Graph Convolutional Network for Sleep Stage Classification", LIFE-BASEL, vol. 12, no. 5, 21 April 2022 (2022-04-21), pages 2 - 10 *
李青香: "基于深度学习的睡眠分期方法研究", 中国优秀硕士学位论文全文数据库 医药卫生科技辑, no. 1, 15 January 2022 (2022-01-15) *
郑和裕, 林美娜: "基于空洞卷积和注意力机制的睡眠呼吸暂停检测方法", 自动化与信息工程, vol. 43, no. 2, 28 April 2022 (2022-04-28) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116421152A (zh) * 2023-06-13 2023-07-14 长春理工大学 一种睡眠分期结果确定方法、装置、设备及介质
CN116421152B (zh) * 2023-06-13 2023-08-22 长春理工大学 一种睡眠分期结果确定方法、装置、设备及介质
CN116720545A (zh) * 2023-08-10 2023-09-08 中国医学科学院药用植物研究所 神经网络的信息流动控制方法、装置、设备及介质
CN116720545B (zh) * 2023-08-10 2023-10-27 中国医学科学院药用植物研究所 神经网络的信息流动控制方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110399929B (zh) 眼底图像分类方法、装置以及计算机可读存储介质
CN115969329A (zh) 一种睡眠分期方法、***、装置及介质
CN111144329B (zh) 一种基于多标签的轻量快速人群计数方法
JP2022548712A (ja) フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法
US20230334632A1 (en) Image recognition method and device, and computer-readable storage medium
CN111291604A (zh) 面部属性识别方法、装置、存储介质及处理器
CN106874921A (zh) 图像分类方法和装置
CN112508110A (zh) 一种基于深度学习的心电信号图的分类方法
CN113420651B (zh) 深度卷积神经网络的轻量化方法、***及目标检测方法
CN112990008B (zh) 基于三维特征图和卷积神经网络的情绪识别方法及***
CN115359576A (zh) 一种多模态情绪识别方法、装置、电子设备及存储介质
CN112465069A (zh) 一种基于多尺度卷积核cnn的脑电情绪分类方法
CN110674774A (zh) 一种改进的深度学习人脸面部表情识别方法及***
CN113554084A (zh) 基于剪枝和轻量卷积的车辆再辨识模型压缩方法及***
CN114677730A (zh) 活体检测方法、装置、电子设备及存储介质
Asghar et al. Semi-skipping layered gated unit and efficient network: hybrid deep feature selection method for edge computing in EEG-based emotion classification
CN110827963A (zh) 针对病理图像的语义分割方法和电子设备
Subbarao et al. Detection of Retinal Degeneration via High-Resolution Fundus Images using Deep Neural Networks
CN117574059A (zh) 高分辨率脑电信号深度神经网络压缩方法及脑机接口***
CN113158970A (zh) 一种基于快慢双流图卷积神经网络的动作识别方法与***
Zhang et al. A novel DenseNet Generative Adversarial network for Heterogenous low-Light image enhancement
CN116129193B (zh) 一种类器官生长预测方法、***及设备
CN115330759B (zh) 一种基于豪斯多夫距离计算距离损失的方法及装置
CN116226717A (zh) 一种基于混合神经网络的脑电信号硬件加速识别***
CN110569790B (zh) 基于纹理增强卷积网络的居民区要素提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination