CN117421678B - 一种基于知识蒸馏的单导联房颤识别*** - Google Patents

一种基于知识蒸馏的单导联房颤识别*** Download PDF

Info

Publication number
CN117421678B
CN117421678B CN202311750008.5A CN202311750008A CN117421678B CN 117421678 B CN117421678 B CN 117421678B CN 202311750008 A CN202311750008 A CN 202311750008A CN 117421678 B CN117421678 B CN 117421678B
Authority
CN
China
Prior art keywords
lead
training module
student
identification network
network training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311750008.5A
Other languages
English (en)
Other versions
CN117421678A (zh
Inventor
彭博
蔡家骏
王俞松
周秘
谭静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Petroleum University
Chengdu Wenjiang District Peoples Hospital
Original Assignee
Southwest Petroleum University
Chengdu Wenjiang District Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Petroleum University, Chengdu Wenjiang District Peoples Hospital filed Critical Southwest Petroleum University
Priority to CN202311750008.5A priority Critical patent/CN117421678B/zh
Publication of CN117421678A publication Critical patent/CN117421678A/zh
Application granted granted Critical
Publication of CN117421678B publication Critical patent/CN117421678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/361—Detecting fibrillation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Cardiology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及人工智能领域，尤其涉及一种基于知识蒸馏的单导联房颤识别***，包括：十二导联预处理模块，对原始十二导联数据预处理；II导联提取模块，将十二导联预处理模块处理后的数据，提取其中的II导联；教师识别网络训练模块，利用ResNet34网络作为教师网络对十二导联数据进行训练；学生识别网络训练模块，利用ResNet10网络作为学生网络，并利用教师识别网络训练模块的知识进行知识蒸馏；基于注意力的特征融合的中间层知识传递模块，利用基于注意力机制将学生识别网络训练模块邻近的两层进行特征拟合，形成新的中间层。本发明使用知识蒸馏单导联心电识别模型，可以保持高性能的同时，降低网络内存需求，使其可部署在资源受限的环境，并且预测速度更快。

Description

一种基于知识蒸馏的单导联房颤识别***
技术领域
本发明属于人工智能领域，具体涉及一种基于知识蒸馏的单导联房颤识别***。
背景技术
心电图(ECG)是医学诊断中最常用的记录心脏生物电活动波动的无创技术之一，在检测心律失常方面起着举足轻重的作用，可以帮助医生对患者进行针对性治疗；然而，在实际的临床诊断中，经验丰富的医生往往需要花费大量时间才能准确识别心电图，这给长期监测带来了效率低下和困难，而且随着人口的老龄化，心律失常患者的数量也呈现出爆发式的增长，这迫使我们寻求更高效、准确和具有成本效益的自动心电图诊断工具，这些工具的开发对于及时发现和治疗心脏相关问题，改善患者的生活质量和减少心血管疾病的不良后果至关重要。
因此，从20世纪60年代开始，就出现了计算机辅助心电判读***用于心律诊断，并且随着软硬件的升级和人工智能的逐渐强大，心电识别的自动化程度越来越高，尤其是在深度学习领域。
深度学习模型在处理心律失常方面具有很大的潜力，因为它可以自动学习特征，可以处理大量数据，从而提高准确性和鲁棒性，但是过往的心电数据识别模型都是基于多导联或者单导联的模型，这些研究表明，ECG在多导联和单导联模型上都表现出了优异的性能，然而多导联模型内存参数的庞大，以及单导联缺乏多导联心电信息，导致性能较差的缺点，使得这些模型难以部署在边缘设备上；因此，本发明提出了一种基于知识蒸馏的单导联房颤识别***，能够有效解决或者缓解上述问题。
发明内容
基于以上问题，本发明提出了一种基于知识蒸馏的单导联房颤识别***，解决了深度学习多导联模型在边缘设备上应用受到模型参数庞大的限制的难点，并且有效的提高了单导联模型的性能，所述***包括：
十二导联预处理模块，用于基于原始十二导联心电数据库实现对每一条心电数据导联的预处理；
II导联提取模块，用于提取十二导联模块的II导联，用于学生识别网络训练模块的训练；
教师识别网络训练模块，用于将预处理后的十二导联心电数据经过ResNet34深度神经网络训练得到教师识别网络；
基于注意力的特征融合的中间层知识传递模块，用于将学生识别网络训练模块的中间层进行重建，利用注意力机制将相邻的学生识别网络训练模块的中间层进行特征融合形成新的学生识别网络训练模块的中间层；
学生识别网络训练模块，用于将预处理后的II导联心电数据，在教师识别网络训练模块的中间层和输出指导下，经过基于注意力的特征融合的中间层知识传递模块和ResNet10深度神经网络训练得到学生识别网络；
在一实施例中，所述的十二导联预处理模块具体用于对所述原始十二导联心电数据库中十二导联数据使用巴特沃斯带通滤波方法以及平滑卷积、标准化处理所有数据，用以去除数据的噪音、毛刺和提高数据的泛化性；
在一实施例中，所述的II导联提取模块具体用于将十二导联预处理模块处理后的数据，按照位置索引，将所有十二导联的II导联数据提取出来，并且只保留单导联的数据形状；
在一实施例中，所述的教师识别网络训练模块使用十二导联预处理模块处理后的十二导联数据集进行训练和预测，在该数据集中，将8384条数据和由专业医生所标注的相应标签作为训练集，将2099条数据和由专业医生所标注的相应标签作为测试集；所述教师识别网络训练模块使用ResNet34深度神经网络，所有网络层都将用以对心电数据的特征提取，其中除了卷积层和前馈神经网络外每一层都由多个残差块组成，以避免梯度消失的问题，模型训练时采用多分类交叉熵损失作为损失函数；
在一实施例中，所述的基于注意力的特征融合的中间层知识传递模块用以将学生识别网络训练模块中每一对相邻的残差层使用基于注意力机制的方法进行特征融合形成新的学生识别网络训练模块的中间层，并且与教师识别网络训练模块的中间层进行同位置的匹配，以丰富学生识别网络中间层的特征张量信息；
在一实施例中，所述的学生识别网络训练模块使用II导联提取模块提取后的所有II导联数据集进行训练和预测，在该数据集中，将8384条单导联数据和由专业医生所标注的相应标签作为训练集，将2099条单导联数据和由专业医生所标注的相应标签作为测试集；所述学生识别网络训练模块使用ResNet10深度神经网络，所有网络层都将用以对心电数据的特征提取，其中除了卷积层和前馈神经网络外每一层都由多个残差块组成，以避免梯度消失的问题，并且残差层由基于注意力的特征融合的中间层知识传递模块进行了改造；模型训练时采用多分类交叉熵损失、教师识别网络训练模块的中间层传递的信息张量与基于注意力的特征融合的中间层知识传递模块下的学生识别网络训练模块的中间层的信息张量使用特征金字塔公式进行损失计算以及基于教师识别网络训练模块的输出概率与学生识别网络训练模块的输出概率做KL散度计算，三者结合作为损失函数。
与现有技术相比，所描述的***首先将原始十二导联数据集使用十二导联预处理模块进行数据预处理，这一过程消除了十二导联中的噪音和毛刺，并且提高了泛化性；接下来，将预处理后的十二导联数据分割为训练集和测试集，将训练集输入教师识别网络训练模块中进行训练，并用测试集进行验证，得到离线教师识别模型；再用II导联提取模块提取出预处理后的十二导联中的II导联，按照相同的方法输入学生识别网络训练模块进行最后的特征分类，值得一提的是，学生识别网络训练模块中的残差层采用了基于注意力的特征融合的中间层知识传递模块，因此这一技术可以在提高准确性的同时，有效地减小了多导联数据模型的尺寸。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍：
图1为一实施例中一种基于知识蒸馏的单导联房颤识别***的结构示意图，其中标记数字为模块的序列号，并且结合线段表明***的执行顺序，其中101为数据处理的第一步操作，即得到预处理后的十二导联数据，102为数据处理的第二步操作，提取预处理后的十二导联中的II导联，103是利用101得到的十二导联数据，将其送入教师识别网络训练模块进行训练，105是利用102得到的II导联数据，将其送入学生识别网络训练模块进行训练，104是将103得到的教师识别网络通过基于注意力的特征融合的中间层知识传递模块对105得到的学生识别网络进行知识蒸馏，最终得到基于知识蒸馏的单导联房颤识别网络；
图2为一实施例中十二导联预处理模块处理后的数据的结果图，其中图中的标记表示6个肢体导联（Ⅰ、Ⅱ、Ⅲ、aVR、aVL、aVF）和6个胸导联（V1、V2、V3、V4、V5、V6）；
图3为一实施例中II导联提取模块的提取结果图；
图4为一实施例中知识蒸馏网络结构示意图；
图5为一实施例中基于注意力的特征融合的中间层知识传递模块的网络结构示意图。
实施方式
为了更清楚地说明本发明的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍；显而易见地,下面描述中的附图仅仅是本发明的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本发明应用于其他类似情景，除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
如本发明和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数；一般来说，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
应当理解的是，当单元或模块被描述为“连接”、“耦接”其它单元、模块或块时，其可以指直接连接或耦接,或者与其它单元、模块或块通信，或者可以存在中间的单元、模块或块，除非上下文明确指明其它方式；本文所使用的术语“和/或”可包括一个或多个相关列出项目的任意与所有组合。
如图1所示，本发明实施例提供了一种基于知识蒸馏的单导联房颤识别***，所述***包括十二导联预处理模块101，用于基于原始十二导联心电数据库实现对每一条心电数据导联的预处理；II导联提取模块102，用于提取十二导联模块的II导联，用于学生识别网络训练模块的训练；教师识别网络训练模块103，用于将预处理后的十二导联心电数据经过ResNet34深度神经网络训练得到教师识别网络；基于注意力的特征融合的中间层知识传递模块104，用于将学生识别网络训练模块的中间层进行重建，利用注意力机制将相邻的学生网络中间层进行特征融合形成新的学生识别网络训练模块的中间层；学生识别网络训练模块105，用于将预处理后的II导联心电数据，在教师识别网络训练模块的中间层和输出指导下，经过基于注意力的特征融合的中间层知识传递模块和ResNet10深度神经网络训练得到学生识别网络。
本实施例中，首先将原始十二导联数据集使用十二导联预处理模块进行数据预处理；这一过程消除了十二导联中的噪音和毛刺，并且提高了泛化性；接下来，将预处理后的十二导联数据分割为训练集和测试集，将训练集输入教师识别网络训练模块中进行训练，并用测试集进行验证，得到离线教师识别模型，再用II导联提取模块提取出预处理后的十二导联中的II导联，按照相同的方法输入学生识别网络训练模块进行最后的特征分类，值得一提的是，学生识别网络训练模块中的残差层采用了基于注意力的特征融合的中间层知识传递模块；因此这一技术可以在提高准确性的同时，有效地减小了多导联数据模型的尺寸；
具体的，原始十二导联数据集包括I、II、III、AVR、AVL、AVF、V1、V2、V3、V4、V5和V6这十二条信息数据。
在一实施例中，所述的十二导联预处理模块具体用于对所述原始十二导联心电数据库中十二导联数据使用巴特沃斯带通滤波方法以及平滑卷积、标准化处理所有数据，用以去除数据的噪音、毛刺和提高数据的泛化性；
如图2所示，图2是本发明中十二导联预处理模块处理后的数据的结果图，除了上述处理技术外，我们根据II导联的PQRST波最为明显的已知信息的前提下，所有导联均按照II导联的R波索引位置进行统一分割，从而保证数据波形能够与之匹配，从而提供可靠的数据预测结果；
具体的预处理过程包括以下步骤：
将每一份样本按照十二导联的顺序进行输入，由于心电数据需要排除肌电干扰、工频干扰和基线漂移，我们利用巴特沃斯带通滤波器截断50Hz~1Hz以外的信号频率；
再对每一条导联使用卷积平滑窗口进行毛刺去除，窗口大小为5，便能得到一个相对平滑的图像，避免毛刺过度干扰模型识别；
最后对每一个十二导联样本采取标准化，使得样本的泛化程度提高。
在一实施例中，所述的II导联提取模块具体用于将十二导联预处理模块处理后的数据，按照II导联的位置索引，将所有十二导联的II导联数据提取出来，并且只保留单导联的数据形状；
如图3所示，图3是经过十二导联预处理模块后使用II导联提取模块的提取结果图；提取的步骤为：
将十二导联数据按照顺序索引得到的II数据直接存入一个一维的数据张量中，而非将其他导联数据清空；
并将所有提取得到的II导联按照相同维度叠加形成新的II导联数据集。
在一实施例中，所述的教师识别网络训练模块使用十二导联预处理模块处理后的十二导联数据集进行训练和预测，在该数据集中，将8384条数据和由专业医生所标注的相应标签作为训练集，将2099条数据和由专业医生所标注的相应标签作为测试集；所述教师识别网络训练模块使用ResNet34深度神经网络，所有网络层都将用以对心电数据的特征提取，其中除了卷积层和前馈神经网络外每一层都由多个残差块组成，以避免梯度消失的问题；模型训练时采用多分类交叉熵损失作为损失函数；
多分类交叉熵损失函数为：；
其中，代表类别数，模型的输出是一个包含/>个类别分数的向量；/>是损失函数；/>是真实类别标签向量中的第/>个元素，如果样本属于第/>个类别，则为1，否则为0；/>是模型的输出向量中的第/>个元素，表示模型对第/>个类别的预测概率；
如图4上方的ResNet34(教师识别网络)，网络接收张量(12,2500)大小的数据，首先经过卷积核为7，步长为2的卷积层，再通过卷积核为3，步长为2的最大池化层，然后再分别经过3,4,6,3数量的残差块组成的残差层，最后用平均池化层结合全连接层得到结果；其中残差块由输入的特征张量和特征张量经过两个卷积核为3的卷积层得到的特征张量组成，并且设定一个残差层的输出作为教师识别网络训练模块的一个中间层输出张量。
在一实施例中，所述的基于注意力的特征融合的中间层知识传递模块用以将学生识别网络训练模块中每一对相邻的残差层使用基于注意力机制的方法进行特征融合形成新的学生识别网络训练模块的中间层，并且与教师识别网络训练模块的中间层进行同位置的匹配，以丰富学生识别网络训练模块的中间层的特征张量信息；
如图5所示，基于注意力的特征融合的中间层知识传递模块将学生识别网络训练模块的残差层输出的相邻中间层特征张量使用基于注意力机制的方法融合，作为权重重新分配给两个中间层，然后形成一个新的学生识别网络训练模块的中间层输出，如图4下方在ResNet10(学生识别网络)的方框中所示，公式步骤如下：
先将学生识别网络训练模块需要输出的中间层的相邻两层进行特征匹配，使其张量统一，然后在用注意力的方法将两个张量融合，再将融合的结果作为权重分别传回原来的两层，最终得到新的集成输出层，如下：
；
；
其中interpolate是用于将相邻的中间层特征张量进行匹配,fj和fj+1分别是相邻中间层的前后特征张量；
；
AT用于将张量匹配后的特征层进行基于注意力的融合,unsqueeze用于增加特征维度，便于融合；
；
最后依顺序将新的前后层图像与原来的前后层分别组合起来，然后组合得到更好的特征张量。
在一实施例中，所述的学生识别网络训练模块使用II导联提取模块提取后的所有II导联数据集进行训练和预测，在该数据集中，将8384条单导联数据和由专业医生所标注的相应标签作为训练集，将2099条单导联数据和由专业医生所标注的相应标签作为测试集；所述学生识别网络训练模块使用ResNet10深度神经网络，所有网络层都将用以对心电数据的特征提取，其中除了卷积层和前馈神经网络外每一层都由多个残差块组成，以避免梯度消失的问题，并且残差层由基于注意力的特征融合的中间层知识传递模块进行了改造；模型训练时采用多分类交叉熵损失、教师识别网络训练模块中间层传递的信息张量与基于注意力的特征融合的中间层知识传递模块下的学生识别网络训练模块的中间层的信息张量使用特征金字塔公式进行损失计算以及基于教师识别网络训练模块的输出概率与学生识别网络训练模块的输出概率做KL散度计算，三者结合作为损失函数，公式步骤如下：
在将新的学生识别网络的中间层输出与离线的教师识别网络的对应的中间层输出进行匹配，然后利用特征金字塔进行拟合，最后计算出损失函数，公式如下：
；
；
；
其中Sz表示学生识别网络训练模块使用基于注意力的特征融合的中间层知识传递模块得到的新的学生识别网络训练模块的中间层，本发明中n为5;
Tz同理，表示离线的教师识别网络训练模块的各个对应于学生识别网络训练模块的新的中间层张量大小的中间层输出；在将其中对应的两个网络的层使用特征金字塔形式的层次结构上下文进行损失计算；
最后计算蒸馏网络的总损失：
首先我们将教师识别网络训练模块和经过基于注意力的特征融合的中间层知识传递模块后的学生识别网络训练模块中的某一对应层的层次结构上下文的损失计算扩展到所有需要的层中，总的损失如下：
；
之后我们利用基于概率响应的知识蒸馏计算方法，将离线的教师识别网络输出的结果对学生网络进行知识传递，计算输出概率的损失：
；
；
；
其中T是温度、α是比例，两个变量均为超参数，KLDivLoss表示使用KL散度计算，fstudent和fteacher分别表示学生网络和教师网络的输出层的输出张量，Stu_Loss表示学生网络的输出预测损失；
最后计算总的损失：
；
其中γ是超参数，LKD和Lossreview分别是上述中基于输出概率的知识蒸馏的损失和基于中间层特征张量的知识蒸馏的损失，然后以此损失函数作为优化目标，使损失函数最小化，对蒸馏网络模型优化。
在一实施例中，对原始十二导联数据集收集到的1万多例样本，包含3889例窦性心动过缓，1826例窦性心律，1780例心房颤动，1568例窦性心动过速，445例心房扑动，399例窦性心律不齐，587例室上性心动过速，按照8:2的分割比例对其所有样本使用，得到训练集和测试集，并且经过***的十二导联预处理模块和II导联提取模块处理后，将训练集送入教师识别网络训练模块和经过基于注意力的特征融合的中间层知识传递模块的学生识别网络训练模块进行训练，并且通过知识蒸馏方法让教师识别网络训练模块对基于注意力的特征融合的中间层知识传递模块的学生识别网络训练模块进行知识转移，最后得到基于知识蒸馏的单导联房颤识别网络，并且用测试集对其进行测试，如下表1所示，分别在心房颤动二分类的情况和七分类的情况进行性能测试；
表一：基于知识蒸馏的单导联房颤识别***在心房颤动二分类和七分类标准下的性能表现
；
综上，本发明提出一种基于知识蒸馏的单导联房颤识别***有较好的分类性能。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而，只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进,这些都属于本申请的保护范围；因此，本申请专利的保护范围应以所附权利要求为准。

Claims (1)

1.一种基于知识蒸馏的单导联房颤识别***，其特征在于，至少包括如下步骤：
十二导联预处理模块，用于基于原始的十二导联心电数据库实现对每一条心电数据导联进行降噪预处理；
II导联提取模块，按照位置索引，提取十二导联模块的II导联，并且按照相同维度叠加形成新的II导联数据集，用于学生识别网络训练模块的训练；
教师识别网络训练模块，用于将预处理后的十二导联心电数据经过以二维卷积块构成的ResNet34深度神经网络训练得到教师识别网络；
基于注意力的特征融合的中间层知识传递模块，用于将学生识别网络训练模块的中间层进行重建，利用注意力机制将相邻的学生识别网络训练模块的中间层进行特征融合，然后作为权重，重新分配给两个中间层，最终形成一个新的学生识别网络训练模块的中间层输出；
学生识别网络训练模块，经过基于注意力的特征融合的中间层知识传递模块的改造，在教师识别网络训练模块的中间层和输出指导下，将预处理后的II导联心电数据送入以一维卷积块构成的ResNet10深度神经网络训练得到学生识别网络，最终用于二分类和七分类的心房颤动识别，其具体细节如下：
所述的学生识别网络训练模块的残差层基于注意力的特征融合的中间层知识传递模块进行了改造，得到新的学生识别网络训练模块的中间层，然后在模型训练时采用多分类交叉熵损失、教师识别网络训练模块中间层传递的信息张量与基于注意力的特征融合的中间层知识传递模块下的学生识别网络训练模块的中间层的信息张量使用特征金字塔公式进行损失计算以及基于教师识别网络训练模块的输出概率与学生识别网络训练模块的输出概率做KL散度计算，三者结合作为损失函数，其步骤和计算公式如下：
先将学生识别网络训练模块需要输出的中间层的相邻两层进行特征匹配，使其张量统一，然后再用注意力的方法将两个张量融合，再将融合的结果作为权重分别传回原来的两层，最终得到新的集成输出层，如下：
fi＝interpolate(fj)；
fi+1＝interpolate(fj+1)；
其中interpolate是用于将相邻的中间层特征张量进行匹配，fj和fj+1分别是相邻中间层的前后特征张量；
Fj＝AT(unsqueeze(fi)，unsqueeze(fi+1))；
AT用于将张量匹配后的特征层进行基于注意力的融合，unsqueeze用于增加特征维度，便于融合；
最后依顺序将新的前后层图像与原来的前后层分别组合起来，然后组合得到更好的特征张量；
再将新的学生识别网络的中间层输出与离线的教师识别网络的对应的中间层输出进行匹配，然后利用特征金字塔进行拟合，最后计算出损失函数，公式如下：
Sz＝s1，s2，s3，...，sn；
Tz＝t1，t2，t3，...，tn；
其中Sz表示学生识别网络训练模块使用基于注意力的特征融合的中间层知识传递模块得到的新的学生识别网络训练模块的中间层，n为5；
Tz同理，表示离线的教师识别网络训练模块的各个对应于学生识别网络训练模块的新的中间层张量大小的中间层输出；在将其中对应的两个网络的层使用特征金字塔形式的层次结构上下文进行损失计算；
最后计算蒸馏网络的总损失：
首先我们将教师识别网络训练模块和经过基于注意力的特征融合的中间层知识传递模块后的学生识别网络训练模块中的某一对应层的层次结构上下文的损失计算扩展到所有需要的层中，总的损失如下：
之后我们利用基于概率响应的知识蒸馏计算方法，将离线的教师识别网络输出的结果对学生网络进行知识传递，计算输出概率的损失：
Distillation_Loss＝KLDivLoss(fstudent，fteacher*(T^2)/fstudent.shape[0]；
LKD＝α*Stu_Loss+(1-α)*Distillation_Loss；
其中T是温度、α是比例，两个变量均为超参数，KLDivLoss表示使用KL散度计算，fstudent和fteacher分别表示学生网络和教师网络的输出层的输出张量，Stu_Loss表示学生网络的输出预测损失；
最后计算总的损失：
Loss_all＝γ*LKD+(1-γ)*Lossreview；
其中γ是超参数，LKD和Lossreview分别是上述中基于输出概率的知识蒸馏的损失和基于中间层特征张量的知识蒸馏的损失，然后以此损失函数作为优化目标，使损失函数最小化，对蒸馏网络模型优化。
CN202311750008.5A 2023-12-19 2023-12-19 一种基于知识蒸馏的单导联房颤识别*** Active CN117421678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311750008.5A CN117421678B (zh) 2023-12-19 2023-12-19 一种基于知识蒸馏的单导联房颤识别***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311750008.5A CN117421678B (zh) 2023-12-19 2023-12-19 一种基于知识蒸馏的单导联房颤识别***

Publications (2)

Publication Number Publication Date
CN117421678A CN117421678A (zh) 2024-01-19
CN117421678B true CN117421678B (zh) 2024-03-22

Family

ID=89525216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311750008.5A Active CN117421678B (zh) 2023-12-19 2023-12-19 一种基于知识蒸馏的单导联房颤识别***

Country Status (1)

Country Link
CN (1) CN117421678B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110379506A (zh) * 2019-06-14 2019-10-25 杭州电子科技大学 针对心电图数据使用二值化神经网络的心律不齐检测方法
CN111488793A (zh) * 2020-02-21 2020-08-04 广州视源电子科技股份有限公司 心电信号分类方法、装置、电子设备和存储介质
CN112418343A (zh) * 2020-12-08 2021-02-26 中山大学 多教师自适应联合知识蒸馏
CN113288162A (zh) * 2021-06-03 2021-08-24 北京航空航天大学 基于自适应注意力机制的短时心电信号房颤自动检测***
CN116071635A (zh) * 2023-03-06 2023-05-05 之江实验室 基于结构性知识传播的图像识别方法与装置
CN116090503A (zh) * 2022-12-23 2023-05-09 北京鹰瞳科技发展股份有限公司 一种基于知识蒸馏训练神经网络模型的方法和相关产品
CN116260642A (zh) * 2023-02-27 2023-06-13 南京邮电大学 一种基于知识蒸馏时空神经网络的轻量化物联网恶意流量识别方法
CN116257751A (zh) * 2023-02-23 2023-06-13 安徽理工大学 基于在线协作与特征融合的蒸馏方法与装置
CN116796810A (zh) * 2023-06-28 2023-09-22 河海大学 一种基于知识蒸馏的深度神经网络模型压缩方法及装置
CN116824334A (zh) * 2023-06-25 2023-09-29 中国科学院软件研究所 一种基于频域特征融合再构的模型后门攻击对抗方法
CN116913504A (zh) * 2023-07-13 2023-10-20 重庆理工大学 用于单导联心律失常诊断的自监督多视图知识蒸馏方法
WO2023212997A1 (zh) * 2022-05-05 2023-11-09 五邑大学 基于知识蒸馏的神经网络训练方法、设备及存储介质
CN117132870A (zh) * 2023-10-25 2023-11-28 西南石油大学 一种CenterNet与混合注意力相融合的机翼结冰检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201910657D0 (en) * 2019-07-25 2019-09-11 Univ Oxford Innovation Ltd Deep end-to-end classification of electrocardiogram data

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110379506A (zh) * 2019-06-14 2019-10-25 杭州电子科技大学 针对心电图数据使用二值化神经网络的心律不齐检测方法
CN111488793A (zh) * 2020-02-21 2020-08-04 广州视源电子科技股份有限公司 心电信号分类方法、装置、电子设备和存储介质
CN112418343A (zh) * 2020-12-08 2021-02-26 中山大学 多教师自适应联合知识蒸馏
CN113288162A (zh) * 2021-06-03 2021-08-24 北京航空航天大学 基于自适应注意力机制的短时心电信号房颤自动检测***
WO2023212997A1 (zh) * 2022-05-05 2023-11-09 五邑大学 基于知识蒸馏的神经网络训练方法、设备及存储介质
CN116090503A (zh) * 2022-12-23 2023-05-09 北京鹰瞳科技发展股份有限公司 一种基于知识蒸馏训练神经网络模型的方法和相关产品
CN116257751A (zh) * 2023-02-23 2023-06-13 安徽理工大学 基于在线协作与特征融合的蒸馏方法与装置
CN116260642A (zh) * 2023-02-27 2023-06-13 南京邮电大学 一种基于知识蒸馏时空神经网络的轻量化物联网恶意流量识别方法
CN116071635A (zh) * 2023-03-06 2023-05-05 之江实验室 基于结构性知识传播的图像识别方法与装置
CN116824334A (zh) * 2023-06-25 2023-09-29 中国科学院软件研究所 一种基于频域特征融合再构的模型后门攻击对抗方法
CN116796810A (zh) * 2023-06-28 2023-09-22 河海大学 一种基于知识蒸馏的深度神经网络模型压缩方法及装置
CN116913504A (zh) * 2023-07-13 2023-10-20 重庆理工大学 用于单导联心律失常诊断的自监督多视图知识蒸馏方法
CN117132870A (zh) * 2023-10-25 2023-11-28 西南石油大学 一种CenterNet与混合注意力相融合的机翼结冰检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Distilling Knowledge via Knowledge Review;Pengguang Chen等;《arXiv:2104.09044v1》;20210419;第1-10页第1-3节 *
面向房颤信号提取网络的知识蒸馏方法研究;谢卓延;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20230115;E062-475 *

Also Published As

Publication number Publication date
CN117421678A (zh) 2024-01-19

Similar Documents

Publication Publication Date Title
Kachuee et al. Ecg heartbeat classification: A deep transferable representation
JP7091451B2 (ja) 人工知能自己学習に基づく心電図自動解析方法、その解析方法の実行に用いられる装置、コンピュータプログラム製品及びコンピュータ読み取り可能な記憶媒体
JP6986724B2 (ja) 人工知能に基づく心電図干渉識別方法
US11617528B2 (en) Systems and methods for reduced lead electrocardiogram diagnosis using deep neural networks and rule-based systems
Alquran et al. ECG classification using higher order spectral estimation and deep learning techniques
CN111990989A (zh) 一种基于生成对抗及卷积循环网络的心电信号识别方法
CN112906748A (zh) 基于残差网络的12导联ecg心律失常检测分类模型构建方法
Musa et al. A systematic review and Meta-data analysis on the applications of Deep Learning in Electrocardiogram
Zhang et al. Semi-supervised learning for automatic atrial fibrillation detection in 24-hour Holter monitoring
Zhou et al. ECG quality assessment using 1D-convolutional neural network
JP7487965B2 (ja) グラフ畳み込みに基づく心電図心拍数マルチタイプの予測方法
Deevi et al. HeartNetEC: a deep representation learning approach for ECG beat classification
Al-Huseiny et al. Diagnosis of arrhythmia based on ECG analysis using CNN
Wang et al. Multiscale residual network based on channel spatial attention mechanism for multilabel ECG classification
Tung et al. Multi-lead ECG classification via an information-based attention convolutional neural network
CN114041800A (zh) 心电信号实时分类方法、装置及可读存储介质
Xu et al. Arrhythmia detection using gated recurrent unit network with ECG signals
CN117582235A (zh) 基于cnn-lstm模型的心电信号分类方法
CN117421678B (zh) 一种基于知识蒸馏的单导联房颤识别***
CN113171102B (zh) 基于持续深度学习的ecg数据分类方法
Zhang et al. Multi-scale and multi-channel information fusion for exercise electrocardiogram feature extraction and classification
Shafaatfar et al. Improving the Efficiency of Automatic Cardiac Arrhythmias Classification by a Novel Patient-Specific Feature Space Mapping
Yin et al. An algorithm for locating pvc and spb in wearable ecgs
Makhir et al. Comprehensive Cardiac Ischemia Classification Using Hybrid CNN-Based Models.
Xie et al. Arrhythmia Detection Based on Semantic Segmentation for Multi-lead ECG

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant