CN113598784B - 心律失常检测方法及*** - Google Patents

心律失常检测方法及*** Download PDF

Info

Publication number
CN113598784B
CN113598784B CN202110983506.9A CN202110983506A CN113598784B CN 113598784 B CN113598784 B CN 113598784B CN 202110983506 A CN202110983506 A CN 202110983506A CN 113598784 B CN113598784 B CN 113598784B
Authority
CN
China
Prior art keywords
electrocardiosignal
hilbert
time sequence
original
arrhythmia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110983506.9A
Other languages
English (en)
Other versions
CN113598784A (zh
Inventor
刘常春
王吉阔
杨磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Huiyi Ronggong Technology Co ltd
Original Assignee
Jinan Huiyi Ronggong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Huiyi Ronggong Technology Co ltd filed Critical Jinan Huiyi Ronggong Technology Co ltd
Priority to CN202110983506.9A priority Critical patent/CN113598784B/zh
Publication of CN113598784A publication Critical patent/CN113598784A/zh
Application granted granted Critical
Publication of CN113598784B publication Critical patent/CN113598784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供一种心律失常检测方法及***,属于心律检测设备技术领域,包括:获取待检测的原始心电信号;对原始心电信号进行预处理,分别得到时序心电信号和Hilbert谱图;基于时序心电信号和Hilbert谱图,分别提取时序心电信号特征和Hilbert谱特征;利用训练好的检测模型,对时序心电信号特征和Hilbert谱特征进行处理,得到最终的检测结果;其中,所述检测结果包括待检测的原始心电信号是否为心律失常的信号。本发明充分利用现有的大数据,对多个数据库的心电数据进行模型训练,解决了需要耗费大量的人力物力去统一划分标准的问题;针对心电信号的随机性问题,引入Hilbert谱分析,使模型获取到更丰富的信息,进一步提高了心律失常检测的精度。

Description

心律失常检测方法及***
技术领域
本发明涉及心律检测设备技术领域,具体涉及一种心律失常检测方法及***。
背景技术
心肌损伤和心律失常的患者死亡率较高,尤其是一些频发性心律失常患者(房颤、室颤等),心律失常检测(或预警)对于重症急症患者的抢救至关重要,对于公共卫生安全防控或者流行性疾病的治疗也具有重要意义。
心电信号,尤其对危重患者而言,是典型的非平稳医学信号,可作为心律失常的诊断依据。在心律失常检测方面,传统的检测方法一般将心电信号作为平稳随机信号直接从时域或者频域进行分析。
现存大量的心电图是直接采集的无专家标注数据,有专家标注的公开数据也存在标注标准不一致问题,使用有监督学习算法直接对多个数据库的心电数据进行模型训练比较困难,导致心律失常检测的结果不准确、不可靠。
发明内容
本发明的目的在于提供一种心电信号的统计特征,同时引入了Hilbert谱,保证获取到更丰富的信息,进一步提高了心律失常检测精度的心律失常检测方法及***,以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的,本发明采取了如下技术方案:
一方面,本发明提供一种心律失常检测方法,包括:
获取待检测的原始心电信号;
对原始心电信号进行预处理,分别得到时序心电信号和Hilbert谱图;
基于时序心电信号和Hilbert谱图,分别提取时序心电信号特征和Hilbert谱特征;
利用训练好的检测模型,对时序心电信号特征和Hilbert谱特征进行处理,得到最终的检测结果;其中,所述检测结果包括待检测的原始心电信号是否为心律失常的信号。
优选的,获取待检测的原始心电信号包括:采集被测者的原始心电信号,使用Hilbert-Huang变换(简称HHT变换)去除基线漂移、高频噪声和工频干扰,得到待检测的原始心电信号。
优选的,使用最大最小归一化方法对原始心电信号进行归一化处理,得到时序心电信号;利用HHT变换获得心电信号转化为Hilbert谱图。
优选的,基于正样本和负样本,进行对比预测编码CPC模型训练,使用训练好的对比预测编码CPC模型,对时序心电信号进行处理,提取时序心电信号特征。
优选的,利用卷积神经网络提取时序心电信号中某一时刻的特征;利用循环神经网络将该某一时刻及该某一时刻之前的心电信号特征生成融合历史信息;融合历史信息与预测的该某一时刻之后的心电信号特征组成一个正样本,融合历史信息与任意采样的序列点的特征表示组成负样本。
优选的,根据某一时刻之前的心电信号特征表示,基于心电信号上下文关系,引入互信息公式,预测该某一时刻之后的心电信号特征。
优选的,使用训练好的对比学习SimCLR模型,对Hilbert谱图进行处理,提取Hilbert谱特征。
优选的,对比学习SimCLR模型的基本框架包括数据增强模块、卷积神经网络、全连接网络和对比损失函数;数据增强模块用于对图片进行转换,包括翻转,旋转,缩放,随机裁剪;卷积神经网络,用于提取转换后的图片的各自的特征表示;全连接网络用于将卷积神经网络学习到的特征表示映射到一维特征表示。
第二方面,本发明提供一种心律失常检测***,包括:
获取模块,用于获取待检测的原始心电信号;
预处理模块,用于对原始心电信号进行预处理,分别得到时序心电信号和Hilbert谱图;
提取模块,用于基于时序心电信号和Hilbert谱图,分别提取时序心电信号特征和Hilbert谱特征;
检测模块,用于利用训练好的检测模型,对时序心电信号特征和Hilbert谱特征进行处理,得到最终的检测结果;其中,所述检测结果包括待检测的原始心电信号是否为心律失常的信号。
第三方面,本发明提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质用于存储计算机指令,所述计算机指令被处理器执行时,实现如上所述的心律失常检测方法。
第四方面,本发明提供一种电子设备,包括:处理器、存储器以及计算机程序;其中,处理器与存储器连接,计算机程序被存储在存储器中,当电子设备运行时,所述处理器执行所述存储器存储的计算机程序,以使电子设备执行实现如上所述的心律失常检测方法的指令。
本发明有益效果:充分利用现有的大数据,对多个数据库的心电数据进行模型训练,解决了需要耗费大量的人力物力去统一划分标准的问题;针对心电信号的非平稳随机性问题,引入Hilbert谱分析,使模型获取到更丰富的信息,进一步提高了心律失常检测的精度。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的基于对比学习的心律失常检测方法的基本流程示意图;
图2为本发明实施例所述的基于对比预测编码CPC模型的框架结构图;
图3为本发明实施例所述的样本1的示意图;
图4为本发明实施例所述的样本2的示意图;
图5为本发明实施例所述的对比学习SimCLR模型的网络框架结构图。
具体实施方式
下面详细叙述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明,下面结合附图以具体实施例对本发明作进一步解释说明,且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解,附图只是实施例的示意图,附图中的部件并不一定是实施本发明所必须的。
实施例1
本实施例1提供一种心律失常检测***,该***包括:
获取模块,用于获取待检测的原始心电信号;
预处理模块,用于对原始心电信号进行预处理,分别得到时序心电信号和Hilbert谱图;
提取模块,用于基于时序心电信号和Hilbert谱图,分别提取时序心电信号特征和Hilbert谱特征;
检测模块,用于利用训练好的检测模型,对时序心电信号特征和Hilbert谱特征进行处理,得到最终的检测结果;其中,所述检测结果包括待检测的原始心电信号是否为心律失常的信号。
本实施例1中,利用如上所述的心律失常检测***,实现了一种心律失常检测方法,该方法包括:
利用获取模块,获取待检测的原始心电信号;
利用预处理模块,对原始心电信号进行预处理,分别得到时序心电信号和Hilbert谱图;
利用提取模块,基于时序心电信号和Hilbert谱图,分别提取时序心电信号特征和Hilbert谱特征;
利用检测模块,基于训练好的检测模型,对时序心电信号特征和Hilbert谱特征进行处理,得到最终的检测结果;其中,所述检测结果包括待检测的原始心电信号是否为心律失常的信号。
本实施例1中,获取待检测的原始心电信号包括:采集被测者的原始心电信号,使用HHT变换去除基线漂移和高频噪声干扰,利用陷波器去除工频干扰,得到待检测的原始心电信号。
本实施例1中,使用最大最小归一化方法对原始心电信号进行归一化处理,得到时序心电信号;利用HHT变换获得心电信号的Hilbert谱图。
本实施例1中,基于正样本和负样本,进行对比预测编码CPC模型训练,使用训练好的对比预测编码CPC模型,对时序心电信号进行处理,提取时序心电信号特征。
本实施例1中,利用卷积神经网络提取时序心电信号中某一时刻的特征;利用循环神经网络将该某一时刻及该某一时刻之前的心电信号特征生成融合历史信息;融合历史信息与预测的该某一时刻之后的心电信号特征组成一个正样本,融合历史信息与任意采样的序列点的特征表示组成负样本。
其中,根据某一时刻之前的心电信号特征表示,基于心电信号上下文关系,引入互信息公式,预测该某一时刻之后的心电信号特征。
本实施例1中,使用训练好的对比学习SimCLR模型,对Hilbert谱图进行处理,提取Hilbert谱特征。
本实施例1中,对比学习SimCLR模型的基本框架包括数据增强模块、卷积神经网络、全连接网络和对比损失函数;数据增强模块用于对图片进行转换,包括翻转,旋转,缩放,随机裁剪;卷积神经网络,用于提取转换后的图片的各自的特征表示;全连接网络用于将卷积神经网络学习到的特征表示映射到一维特征表示。
实施例2
本实施例2提供一种心律失常检测***,该***包括:
获取模块,用于获取待检测的原始心电信号;
预处理模块,用于对原始心电信号进行预处理,分别得到时序心电信号和Hilbert谱图;
提取模块,用于基于时序心电信号和Hilbert谱图,分别提取时序心电信号特征和Hilbert谱特征;
检测模块,用于利用训练好的检测模型,对时序心电信号特征和Hilbert谱特征进行处理,得到最终的检测结果;其中,所述检测结果包括待检测的原始心电信号是否为心律失常的信号。
本实施例2中,利用如上所述的心律失常检测***,实现了一种心律失常检测方法,该方法包括:
利用获取模块,获取待检测的原始心电信号;
利用预处理模块,对原始心电信号进行预处理,分别得到时序心电信号和Hilbert谱图;
利用提取模块,基于时序心电信号和Hilbert谱图,分别提取时序心电信号特征和Hilbert谱特征;
利用检测模块,基于训练好的检测模型,对时序心电信号特征和Hilbert谱特征进行处理,得到最终的检测结果;其中,所述检测结果包括待检测的原始心电信号是否为心律失常的信号。
本实施例2中,获取待检测的原始心电信号包括:采集被测者的原始心电信号,使用HHT变换去除基线漂移、高频噪声干扰和工频干扰,得到待检测的原始心电信号。
HHT变换包括如下步骤:
(1)对信号x(t),找出其局部最大值点和局部最小值点,然后利用三次样条函数分别对这些局部最大值点和局部最小值点进行插值得到x(t)的上包络u(t)和下包络l(t);令m1(t)=[u(t)+l(t)]/2,则m1(t)为上、下包络之和的均值。
(2)令h1(t)=x(t)-m1(t),同样找出h1(t)的局部最大值点和局部最小值点,再利用三次样条函数分别对它们插值得到上、下包络u11(t)和l11(t),求出它们的均值曲线m11(t),从而得到h11(t)=h1(t)-m11(t)。
检查h11(t)是否符合下述固有模态函数(IMF)的条件,如果不符合,继续上述迭代过程,直到h1k(t)=h1(k-1)(t)-m1k(t)符合IMF的条件。并令c1(t)=h1k(t),则c1(t)是筛选出的第一个IMF分量,上述过程完成了第一次筛选。其中,停止准则为:
式中,T是数据长度。该值是两次连续迭代过程的归一化标准差,其参考值为0.2~0.3。一旦SDk小于该值,则可停止迭代。
(3)令r1(t)=x(t)-c1(t)。显然,r1(t)是原信号x(t)和第一个IMF分量c1(t)之差。将c1(t)视为原信号x(t),对c1(t)重复步骤(1)和(2),可得到
r2(t)=r1(t)-c2(t)
...
rm(t)=rm-1(t)-cm(t)
式中c2(t),…,cm(t)是新筛选出的IMF分量。该分解过程直到rm(t)变成一个单调函数,或只含有一个极值点时停止。这样,原信号x(t)就被分解成m个IMF分量和最后的残余rm(t)之和,即实际上,rm(t)是一个简单的趋势函数,或是一个常数。
(4)对每个IMF分量ck(t),求其Hilbert变换
从而构造ck(t)的解析信号
式中,为时变幅度,/>为瞬时频率。则ck(t)的时变能量为Ek(t)=|ak(t)|2
(5)求出原信号x(t)的每个IMF分量以及相应时变能量之后,将时变能量求和,就可得到Hilbert谱。
本实施例2中,使用最大最小归一化方法对原始心电信号进行归一化处理,得到时序心电信号。
最大最小归一化方法是一种数据标准化方法。通常情况下,在建模之前,都需要对数据进行标准化处理,以消除量纲的影响。如果对未标准化的数据直接进行建模,可能会导致模型对数值大的变量学习过多,而对数值小的变量训练不够充分,往往模型效果会不好。常用的数据标准化方法有最大最小归一化、均值方差标准化、小数定标法、定量特征二值化等。
最大最小归一化,就是利用数据列中的最大值和最小值进行标准化处理,标准化后的数值处于[0,1]之间,计算方式为数据与该列的最小值作差,再除以极差。具体公式为:
公式中,x′表示单个数据的取值,min是数据所在列的最小值,max是数据所在列的最大值。
最大最小归一化容易受极端值的影响,当某列数据中存在极端值时,可以根据实际的业务场景,考虑事先将极端值或异常值剔除,或者是对标准化后的数据进行变换,如取对数等,使得变换后的数据接近于正态分布。
本实施例2中,利用HHT变换获得心电信号的Hilbert谱图。
MATLAB中可以直接调用hht函数估计信号的Hilbert谱,窗口的长度表示每次处理的分段数据长度。
本实施例2中,基于正样本和负样本,进行对比预测编码CPC模型训练,使用训练好的对比预测编码CPC模型,对时序心电信号进行处理,提取时序心电信号特征。
本实施例2中,利用卷积神经网络提取时序心电信号中某一时刻的特征;利用循环神经网络将该某一时刻及该某一时刻之前的心电信号特征生成融合历史信息;融合历史信息与预测的该某一时刻之后的心电信号特征组成一个正样本,融合历史信息与任意采样的序列点的特征表示组成负样本。
其中,根据某一时刻之前的心电信号特征表示,基于心电信号上下文关系,引入互信息公式,预测该某一时刻之后的心电信号特征。
具体的,本实施例2中,对比预测编码CPC模型训练具体包括如下:
给定10秒的心电时间序列,假设当前时刻为t,可根据t时刻之前的心电信号特征表示ct预测t时刻之后k时刻的心电信号xt+k,若直接构建条件生成模型p(xt+kct),计算度比较复杂,并且易忽略心电信号的上下文关系,效果不佳。因此,本实施例2中,引入互信息公式如(1)所示:
其中,xt+k尺寸为(B,C,L),B表示批处理数量,一般设置为32,C表示心电导联个数,默认为12,L为心电时间序列的第t+k时刻的样本点,心电序列总长度默认为1000(10秒心电信号采样频率为100hz)。ct尺寸为(B,L1,H),L1表示经过循环神经网络处理以后t时刻的特征点,H表示循环神经网络输出的隐藏层个数。
本实施例2中,可以将(1)式看作离散型随机变量函数的数学期望,因此,只需要计算密度比为了计算密度比引入噪声对比估计算法,从p(xt+k|ct)分布中取出数据记作正样本,正样本是已知t时刻之前的心电信号特征表示ct条件下,t之后k时刻的心电信号是真实信号的样本点,标签为1。
从p(xt+k)分布中随机取出数据记作负样本,标签为0,其中p(xt+k)是与ct无关联的噪声分布。在得到两类有标签的数据之后,需要训练一个分类器能够辨别两类数据。
分类器损失函数构建,对于给定的正负样本假设为集合X={x1,x2,...,xN},其中,包含一个正样本xt+k来自分布p(xt+k|ct),其余N-1个负样本来自分布p(xt+k),损失函数可以写成(2)式:
其中,E表示数学期望运算,fk(*)表示用来评价真实值和预测值之间近似度的函数,如公式(5)。
当模型训练的足够好,正确区分出一个正样本和N-1个负样本的概率如公式(3)所示:
其中,d表示样本集合X中正样本的索引,因此,当d=i时,xi表示一个正样本,对于单个样本p(xi|ct)表示在已知ct的条件下,从p(xt+k|ct)分布中取出正样本xi的概率,表示从p(xt+k)分布中取出负样本的概率乘积,因为样本取自两个不同的分布,事件发生的概率是相互独立的,可以直接相乘,同时/>为常数项,故容易化简得到(3)式最后一步等式,分子/>表示1个正样本和N-1个负样本发生的概率,而分母则是考虑N个样本中每个样本作为正样本和其他N-1个负样本发生的概率。
根据神经概率语言模型,可得到p(xt+k|ct)如公式(4):
其中,f(xt+k,ct)如公式(5)所示:
其中,表示第t+k时刻的卷积神经网络输出的特征表示,Wk表示线性矩阵。
公式(5)表示log双线性模型f(xt+k,ct),因为公式(3)和公式(4)优化目标相同,所以f(xt+k,ct)正比于
将f(xt+k,ct)替换为带入公式(2)化简可得式(7):
式(7)中将求和运算改为期望运算可得式(8),因为xj与ct相互独立,故p(xj|ct)=p(xj)即得式(9)。由于p(xt+k|ct)≥p(xt+k)带入(9)式易得(10),最后将(1)式带入(10)得到损失与互信息之间的关系,此时最小化模型的损失函数相当于最大化xt+k与ct互信息的下界。
本实施例2中,使用训练好的对比学习SimCLR模型,对Hilbert谱图进行处理,提取Hilbert谱特征。
本实施例2中,对比学习SimCLR模型的基本框架包括数据增强模块、卷积神经网络、全连接网络和对比损失函数;数据增强模块用于对图片进行转换,包括翻转,旋转,缩放,随机裁剪;卷积神经网络,用于提取转换后的图片的各自的特征表示;全连接网络用于将卷积神经网络学习到的特征表示映射到一维特征表示。
本实施例2中,数据增强模块是对图片进行转换,包括翻转,旋转,缩放,随机裁剪,如给定样本1和2,经过数据增强模块将样本1转换为X1和X2,将样本2转换为X3和X4。
卷积神经网络,将X1、X2、X3和X4作为输入,提取出其各自的特征表示分别记作H1、H2、H3和H4。卷积神经网络包含33个端到端的卷积层,用于特征的自动提取。每个卷积层的计算公式如(12)所示:
其中,f(·)表示非线性激活函数,N表示输入特征图的总数,M表示卷积核的总数,Xi表示第i幅输入特征图,j表示第j个卷积核,Wij表示第i个输入和第j个输出卷积核的权重,bj表示第j个卷积核的偏置。
全连接网络将卷积神经网络学习到的特征表示Hi映射到一维特征表示Zi,输入至激活模型中的非线性激活函数Relu中,
如公式(13)、(14)所示:
σi=wHi+b (13)
Zi=max(0,σi) (14)
其中,σi表示经过感知器之后的输出,w和b分别为权重和偏置,Zi为非线性激活函数的输出。
本实施例2中,利用对比损失函数,自监督学习训练SimCLR模型,假设输入N个样本,则经过数据增强以后输出2N个样本对,那么对于1个正样本经过全连接网络以后得到的输出记做Zi和Zj,则剩余2N-2个负样本,损失函数的定义公式如(15)、(16)所示:
sim(u,v)=uTv/||u||||v|| (15)
其中,u、v表示形式参数,uT表示u的转置,τ表示温度因子,为了使得exp(sim(zi,zj)/τ)更快的趋向于1,等同于损失函数尽快的达到最小值。
实施例3
如图1所示,本实施例3中,提供一种基于对比学习的心律失常检测筛查***,该***包括:心电信号采集模块、心电信号预处理模块、对比学习模块和评估模块,心电信号采集模块与心电信号预处理模块相连接,预处理模块输出的两路数据分别送入对比学习模块里对应的两个子模块,对比学习模型经过经训练后产生的预训练模型与有标签的数据相结合训练出临床需要的有监督模型。
心电信号采集模块,用于对原始心电信号进行滤波、去噪处理;心电信号预处理模块,用于对采集的心电信号进行归一化处理,然后输出一路心电时间序列和另一路心电信号Hilbert谱图;对比学习模块,由Contrastive Predictive Coding(CPC)模块和SimpleFramework for Contrastive Learning of Visual Representations(SimCLR)模块构成,用于对无标签的心电信号进行特征学习;评估模块,用于评估自监督模型训练出来的特征提取器优劣,针对不同的疾病检测任务,加入有标签的数据,使模型更快的收敛同时也能保证精确地无创心律失常类疾病筛查。
本实施例3中,利用上述***进行心律失常筛查,包括以下具体步骤:
步骤1:信号采集
首先,采集被测者的原始心电信号,使用HHT变换去除心电信号的基线漂移、高频噪声干扰和50Hz工频干扰;
步骤2:心电信号预处理模块
使用最大最小归一化方法对滤波后的心电信号进行归一化处理,输出时序心电信号,同时利用HHT将心电信号转化为Hilbert谱图。
步骤3:CPC模块特征提取
给定10秒的心电时间序列,假设当前时刻为t,可以根据t时刻之前的心电信号特征表示ct预测t之后k时刻的心电信号xt+k,直接构建条件生成模型p(xt+k|ct)计算度复杂,并且经常忽略心电信号上下文关系,效果并不理想。因此,引入互信息公式如(1)所示:
其中,xt+k尺寸为(B,C,L)B表示批处理数量一般设置为32,C表示心电导联个数默认为12,L为心电时间序列的第t+k时刻的样本点,心电序列总长度默认为1000(10秒心电信号采样频率为100hz)。ct尺寸为(B,L1,H),L1表示经过循环神经网络处理以后t时刻的特征点,H表示循环神经网络输出的隐藏层个数。可以将(1)式看作离散型随机变量函数的数学期望,因此,只需要计算密度比为了计算密度比引入噪声对比估计算法,从p(xt+k|ct)分布中取出数据记作正样本,正样本是已知t时刻之前的心电信号特征表示ct条件下,t之后k时刻的心电信号是真实信号的样本点,标签为1。从p(xt+k)分布中随机取出数据记作负样本,标签为0,其中p(xt+k)是与ct无关联的噪声分布。在得到两类有标签的数据之后,需要训练一个分类器能够辨别两类数据。
分类器损失函数构建,对于给定的正负样本假设为集合X={x1,x2,...xN},其中包含一个正样本xt+k来自分布p(xt+k|ct),其余N-1个负样本来自分布p(xt+k),损失函数可以写成(2)式:
当模型训练的足够好,正确区分出一个正样本和N-1个负样本的概率如公式(3)所示:
d表示样本集合X中正样本的索引,因此当d=i时,xi表示一个正样本,对于单个样本p(xi|ct)表示在已知ct的条件下,从p(xt+k|ct)分布中取出正样本xi的概率,表示从p(xt+k)分布中取出负样本的概率乘积,因为样本取自两个不同的分布,事件发生的概率是相互独立的,可以直接相乘,同时/>为常数项,故容易化简得到(3)式最后一步等式,分子/>表示1个正样本和N-1个负样本发生的概率,而分母则是考虑N个样本中每个样本作为正样本和其他N-1个负样本发生的概率。
根据神经概率语言模型,可得到p(xt+k|ct)如公式(4):
其中f(xt+k,ct)如公式(5)所示:
公式(5)表示log双线性模型f(xt+k,ct),因为公式(3)和公式(4)优化目标相同,所以f(xt+k,ct)正比于将f(xt+k,ct)替换为/>带入公式(2)化简可得式(7):/>
式(7)中将求和运算改为期望运算可得式(8),因为xj与ct相互独立,故p(xj|ct)=p(xj)即得式(9)。由于p(xt+k|ct)≥p(xt+k)带入(9)式易得(10),最后将(1)式带入(10)得到损失与互信息之间的关系,此时最小化模型的损失函数相当于最大化xt+k与ct互信息的下界。
如图2所示,在CPC模块中,利用卷积神经网络对输入的10秒心电信号中t时刻的心电数据xt做特征提取得到zt,再用自回归模型(循环神经网络)将t时刻及t时刻之前的特征表示生成融合历史信息的表示ct。ct可以与zt+k(k∈[1,2,3,4])组成一个正样本,而负样本由ct和任意采样的序列点的特征表示组成。
步骤4:SimCLR模块特征提取
SimCLR模块基本框图如图5所示,包括数据增强模块、卷积神经网络、全连接网络和对比损失函数。
数据增强模块是对图片进行转换,包括翻转,旋转,缩放,随机裁剪,给定样本1和2,经过数据增强模块将如图3所示的样本1转换为X1和X2,将如图4所示的样本2转换为X3和X4。
卷积神经网络,将X1、X2、X3和X4作为输入,提取出其各自的特征表示分别记作H1、H2、H3和H4。卷积神经网络包含33个端到端的卷积层,用于特征的自动提取。每个卷积层的计算公式如(12)所示:
其中,f(·)表示非线性激活函数,N表示输入特征图的总数,M表示卷积核的总数,Xi表示第i幅输入特征图,j表示第j个卷积核,Wij表示第i个输入和第j个输出卷积核的权重,bj表示第j个卷积核的偏置。
(3)全连接网络将卷积神经网络学习到的特征表示Hi映射到一维特征表示Zi,输入至激活模型中的非线性激活函数Relu中,公式如(13)、(14)所示:
σi=wHi+b (13)
Zi=max(0,σi) (14)
其中,σi表示经过感知器之后的输出,w和b分别为权重和偏置,Zi为非线性激活函数的输出。
(4)对比损失函数,用于训练自监督模型,假设输入N个样本,则经过数据增强以后输出2N个样本对,那么对于1个正样本经过(3)以后得到的输出记做Zi和Zj,则剩余2N-2个负样本,损失函数的定义公式如(15)、(16)所示:
sim(u,v)=uTv/||u||||v|| (15)
步骤5:评估器进行预测结果的评估
经过3和4自监督训练模型以后可以得到两个预训练模型,此时我们固定好预训练模型的参数,后面根据下游任务的需要连接分类器,输入有标签的数据,进行有监督训练,此时根据模型输出的预测结果和真实标签做对比查看模型的精度。
实施例4
本发明实施例4提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质用于存储计算机指令,所述计算机指令被处理器执行时,实现如上所述的心律失常检测方法,该方法包括:
获取待检测的原始心电信号;
对原始心电信号进行预处理,分别得到时序心电信号和Hilbert谱图;
基于时序心电信号和Hilbert谱图,分别提取时序心电信号特征和Hilbert谱特征;
利用训练好的检测模型,对时序心电信号特征和Hilbert谱特征进行处理,得到最终的检测结果;其中,所述检测结果包括待检测的原始心电信号是否为心律失常的信号。
实施例5
本发明实施例5提供一种计算机程序(产品),包括计算机程序,所述计算机程序当在一个或多个处理器上运行时,用于实现如上所述的心律失常检测方法,该方法包括:
获取待检测的原始心电信号;
对原始心电信号进行预处理,分别得到时序心电信号和Hilbert谱图;
基于时序心电信号和Hilbert谱图,分别提取时序心电信号特征和Hilbert谱特征;
利用训练好的检测模型,对时序心电信号特征和Hilbert谱特征进行处理,得到最终的检测结果;其中,所述检测结果包括待检测的原始心电信号是否为心律失常的信号。
实施例6
本发明实施例6提供一种电子设备,包括:处理器、存储器以及计算机程序;其中,处理器与存储器连接,计算机程序被存储在存储器中,当电子设备运行时,所述处理器执行所述存储器存储的计算机程序,以使电子设备执行实现如上所述的心律失常检测方法的指令,该方法包括:
获取待检测的原始心电信号;
对原始心电信号进行预处理,分别得到时序心电信号和Hilbert谱图;
基于时序心电信号和Hilbert谱图,分别提取时序心电信号特征和Hilbert谱特征;
利用训练好的检测模型,对时序心电信号特征和Hilbert谱特征进行处理,得到最终的检测结果;其中,所述检测结果包括待检测的原始心电信号是否为心律失常的信号。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明公开的技术方案的基础上,本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形,都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种心律失常检测方法,其特征在于,包括:
获取待检测的原始心电信号;
对原始心电信号进行预处理,分别得到时序心电信号和Hilbert谱图;
基于时序心电信号和Hilbert谱图,分别提取时序心电信号特征和Hilbert谱特征;
利用训练好的检测模型,对时序心电信号特征和Hilbert谱特征进行处理,得到最终的检测结果;其中,所述检测结果包括待检测的原始心电信号是否为心律失常的信号;
基于正样本和负样本,进行对比预测编码CPC模型训练,使用训练好的对比预测编码CPC模型,对时序心电信号进行处理,提取时序心电信号特征。
2.根据权利要求1所述的心律失常检测方法,其特征在于,获取待检测的原始心电信号包括:采集被测者的原始心电信号,使用HHT带通滤波器去除基线漂移和高频噪声干扰,利用陷波器去除工频干扰,得到待检测的原始心电信号。
3.根据权利要求1所述的心律失常检测方法,其特征在于,使用最大最小归一化方法对原始心电信号进行归一化处理,得到时序心电信号;利用HHT将心电信号转化为Hilbert谱图。
4.根据权利要求1所述的心律失常检测方法,其特征在于,利用卷积神经网络提取时序心电信号中某一时刻的特征;利用循环神经网络将该某一时刻及该某一时刻之前的心电信号特征生成融合历史信息;融合历史信息与预测的该某一时刻之后的心电信号特征组成一个正样本,融合历史信息与任意采样的序列点的特征表示组成负样本。
5.根据权利要求4所述的心律失常检测方法,其特征在于,根据某一时刻之前的心电信号特征表示,基于心电信号上下文关系,引入互信息公式,预测该某一时刻之后的心电信号特征。
6.根据权利要求1所述的心律失常检测方法,其特征在于,使用训练好的对比学习SimCLR模型,对Hilbert谱图进行处理,提取Hilbert谱特征。
7.根据权利要求6所述的心律失常检测方法,其特征在于,对比学习SimCLR模型的基本框架包括数据增强模块、卷积神经网络、全连接网络和对比损失函数;数据增强模块用于对图片进行转换,包括翻转,旋转,缩放,随机裁剪;卷积神经网络,用于提取转换后的图片的各自的特征表示;全连接网络用于将卷积神经网络学习到的特征表示映射到一维特征表示。
8.一种心律失常检测***,其特征在于,包括:
获取模块,用于获取待检测的原始心电信号;
预处理模块,用于对原始心电信号进行预处理,分别得到时序心电信号和Hilbert谱图;
提取模块,用于基于时序心电信号和Hilbert谱图,分别提取时序心电信号特征和Hilbert谱特征;
检测模块,用于利用训练好的检测模型,对时序心电信号特征和Hilbert谱特征进行处理,得到最终的检测结果;其中,所述检测结果包括待检测的原始心电信号是否为心律失常的信号;
基于正样本和负样本,进行对比预测编码CPC模型训练,使用训练好的对比预测编码CPC模型,对时序心电信号进行处理,提取时序心电信号特征。
9.一种电子设备,其特征在于,包括:处理器、存储器以及计算机程序;其中,处理器与存储器连接,计算机程序被存储在存储器中,当电子设备运行时,所述处理器执行所述存储器存储的计算机程序,以使电子设备执行实现如权利要求1-7任一项所述的心律失常检测方法的指令。
CN202110983506.9A 2021-08-25 2021-08-25 心律失常检测方法及*** Active CN113598784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110983506.9A CN113598784B (zh) 2021-08-25 2021-08-25 心律失常检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110983506.9A CN113598784B (zh) 2021-08-25 2021-08-25 心律失常检测方法及***

Publications (2)

Publication Number Publication Date
CN113598784A CN113598784A (zh) 2021-11-05
CN113598784B true CN113598784B (zh) 2024-04-09

Family

ID=78341997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110983506.9A Active CN113598784B (zh) 2021-08-25 2021-08-25 心律失常检测方法及***

Country Status (1)

Country Link
CN (1) CN113598784B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294342B (zh) * 2022-09-26 2023-02-28 荣耀终端有限公司 图像处理方法及相关装置
CN117958831A (zh) * 2023-11-08 2024-05-03 齐鲁工业大学(山东省科学院) 一种基于自监督学习的多导联心电分类方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107811626A (zh) * 2017-09-10 2018-03-20 天津大学 一种基于一维卷积神经网络和s变换的心律失常分类方法
CN109497991A (zh) * 2019-01-04 2019-03-22 济南汇医融工科技有限公司 基于机器学习的心衰检测装置
CN109745033A (zh) * 2018-12-25 2019-05-14 东南大学 基于时频二维图像和机器学习的动态心电质量评估方法
CN109953755A (zh) * 2019-03-15 2019-07-02 度特斯(大连)实业有限公司 一种心电向量数据特征的提取方法及装置
CN110090012A (zh) * 2019-03-15 2019-08-06 上海图灵医疗科技有限公司 一种基于机器学习的人体疾病检测方法及检测产品
CN110537910A (zh) * 2019-09-18 2019-12-06 山东大学 基于心电和心音信号联合分析的冠心病无创筛查***
CN110974172A (zh) * 2019-12-13 2020-04-10 北京理工大学 一种实时生理参数的测量***
CN111067505A (zh) * 2019-12-25 2020-04-28 北京多唯阳光科技有限责任公司 心律失常检测的方法、装置以及存储介质
CN111449644A (zh) * 2020-03-19 2020-07-28 复旦大学 一种基于时频变换和数据增强技术的生物电信号分类方法
CN111588370A (zh) * 2020-05-18 2020-08-28 胡硕 心脏信号一体化智能采集传感***终端、方法、云控平台
CN112329609A (zh) * 2020-11-03 2021-02-05 山东大学 基于2d心拍的特征融合迁移学习心律失常分类***
CN112426160A (zh) * 2020-11-30 2021-03-02 贵州省人民医院 一种心电信号类型识别方法及装置
CN112617849A (zh) * 2020-12-31 2021-04-09 山西三友和智慧信息技术股份有限公司 一种基于cnn+lstm的心房颤动检测与分类方法
CN112674779A (zh) * 2020-12-25 2021-04-20 西华大学 一种基于ecg信号的睡眠自动分期方法
CN112932498A (zh) * 2021-01-29 2021-06-11 山东大学 一种基于深度学习的强泛化能力的t波形态分类***
CN113116300A (zh) * 2021-03-12 2021-07-16 复旦大学 一种基于模型融合的生理信号分类方法
CN113288156A (zh) * 2021-05-18 2021-08-24 浙江大学 一种任意导联视角的心电数据的生成方法
WO2023025650A1 (en) * 2021-08-26 2023-03-02 Nemo Healthcare B.V. Fetal heart rate signal processing

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084546A1 (zh) * 2015-11-17 2017-05-26 安徽华米信息科技有限公司 基于可穿戴设备的用户关注信息确定方法、装置和可穿戴设备
CN111183424B (zh) * 2017-08-30 2024-04-12 深圳市长桑技术有限公司 识别用户的***和方法
US11311201B2 (en) * 2018-11-02 2022-04-26 Samsung Electronics Co., Ltd. Feature selection for cardiac arrhythmia classification and screening
US20220261651A1 (en) * 2021-02-08 2022-08-18 Salesforce.Com, Inc. Systems and methods for self supervised multi-view representation learning for time series

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107811626A (zh) * 2017-09-10 2018-03-20 天津大学 一种基于一维卷积神经网络和s变换的心律失常分类方法
CN109745033A (zh) * 2018-12-25 2019-05-14 东南大学 基于时频二维图像和机器学习的动态心电质量评估方法
CN109497991A (zh) * 2019-01-04 2019-03-22 济南汇医融工科技有限公司 基于机器学习的心衰检测装置
CN109953755A (zh) * 2019-03-15 2019-07-02 度特斯(大连)实业有限公司 一种心电向量数据特征的提取方法及装置
CN110090012A (zh) * 2019-03-15 2019-08-06 上海图灵医疗科技有限公司 一种基于机器学习的人体疾病检测方法及检测产品
CN110537910A (zh) * 2019-09-18 2019-12-06 山东大学 基于心电和心音信号联合分析的冠心病无创筛查***
CN110974172A (zh) * 2019-12-13 2020-04-10 北京理工大学 一种实时生理参数的测量***
CN111067505A (zh) * 2019-12-25 2020-04-28 北京多唯阳光科技有限责任公司 心律失常检测的方法、装置以及存储介质
CN111449644A (zh) * 2020-03-19 2020-07-28 复旦大学 一种基于时频变换和数据增强技术的生物电信号分类方法
CN111588370A (zh) * 2020-05-18 2020-08-28 胡硕 心脏信号一体化智能采集传感***终端、方法、云控平台
CN112329609A (zh) * 2020-11-03 2021-02-05 山东大学 基于2d心拍的特征融合迁移学习心律失常分类***
CN112426160A (zh) * 2020-11-30 2021-03-02 贵州省人民医院 一种心电信号类型识别方法及装置
CN112674779A (zh) * 2020-12-25 2021-04-20 西华大学 一种基于ecg信号的睡眠自动分期方法
CN112617849A (zh) * 2020-12-31 2021-04-09 山西三友和智慧信息技术股份有限公司 一种基于cnn+lstm的心房颤动检测与分类方法
CN112932498A (zh) * 2021-01-29 2021-06-11 山东大学 一种基于深度学习的强泛化能力的t波形态分类***
CN113116300A (zh) * 2021-03-12 2021-07-16 复旦大学 一种基于模型融合的生理信号分类方法
CN113288156A (zh) * 2021-05-18 2021-08-24 浙江大学 一种任意导联视角的心电数据的生成方法
WO2023025650A1 (en) * 2021-08-26 2023-03-02 Nemo Healthcare B.V. Fetal heart rate signal processing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于机器学习方法的心电信号分类研究;章洁;武东;;科技风;20190610(第16期);全文 *

Also Published As

Publication number Publication date
CN113598784A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN113598784B (zh) 心律失常检测方法及***
Singh et al. Classification of unsegmented heart sound recording using KNN classifier
Abdalla et al. ECG arrhythmia classification using artificial intelligence and nonlinear and nonstationary decomposition
CN108511055B (zh) 基于分类器融合及诊断规则的室性早搏识别***及方法
CN111759345B (zh) 基于卷积神经网络的心脏瓣膜异常分析方法、***和装置
CN112036467B (zh) 基于多尺度注意力神经网络的异常心音识别方法及装置
CN110705456A (zh) 一种基于迁移学习的微型电机异常检测方法
CN111449644A (zh) 一种基于时频变换和数据增强技术的生物电信号分类方法
CN111956214A (zh) 基于U-net端对端神经网络模型的QRS波自动检测方法
CN113076878B (zh) 基于注意力机制卷积网络结构的体质辨识方法
CN111626114A (zh) 基于卷积神经网络的心电信号心律失常分类***
CN111476339B (zh) 滚动轴承故障特征提取方法、智能诊断方法及***
CN112426160A (zh) 一种心电信号类型识别方法及装置
CN113349793A (zh) 一种基于分层注意力模型的心律失常分类方法
Owida et al. Classification of Chest X-Ray Images using Wavelet and MFCC Features and Support Vector Machine Classifier
CN113796873B (zh) 穿戴式动态心电信号分类方法及***
Hasanah et al. Classification of brain tumor on magnetic resonance imaging using support vector machine
CN115281676B (zh) 基于gru神经网络和ecg信号的疲劳检测方法
Tiwari et al. Heartbeat sound classification using Mel-frequency cepstral coefficients and deep convolutional neural network
CN116584902A (zh) 基于特征选优及可视化的心音分类装置
CN116340812A (zh) 一种变压器局部放电故障模式识别方法及***
Jasim ECG signal classification based on deep learning by using convolutional neural network (CNN)
Mitrokhin et al. Deep learning approach for QRS wave detection in ECG monitoring
Raghav et al. Fractal feature based ECG arrhythmia classification
Zhang et al. Research on lung sound classification model based on dual-channel CNN-LSTM algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant