CN114863185A - 一种轻量化超声心动图标准切面识别方法、装置和介质 - Google Patents

一种轻量化超声心动图标准切面识别方法、装置和介质 Download PDF

Info

Publication number
CN114863185A
CN114863185A CN202210605200.4A CN202210605200A CN114863185A CN 114863185 A CN114863185 A CN 114863185A CN 202210605200 A CN202210605200 A CN 202210605200A CN 114863185 A CN114863185 A CN 114863185A
Authority
CN
China
Prior art keywords
echocardiogram
module
bneck
unit
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210605200.4A
Other languages
English (en)
Inventor
赖广源
庄恒锋
麦浩楠
黄正阳
李晓航
陈嘉雯
陈钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Industry Technical College
Original Assignee
Guangdong Industry Technical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Industry Technical College filed Critical Guangdong Industry Technical College
Priority to CN202210605200.4A priority Critical patent/CN114863185A/zh
Publication of CN114863185A publication Critical patent/CN114863185A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及轻量化超声心动图标准切面识别方法、装置及介质，该方法包括如下步骤：S1：收集二维超声心动图标准切面的数据，形成数据集；S2：对数据集进行分类，将数据集划分为训练集、测试集和验证集；S3：对数据集进行预处理和数据增强；S4：搭建深度学习网络模型作为训练模型，用训练集对训练模型进行训练；S5：用验证集对训练模型进行验证，根据评估结果调整训练模型的超参数，用测试集测试训练模型的泛化能力，得到超声心动图分类模型；S6：将超声心动图输入到已训练好的超声心动图分类模型中，得到超声心动图分类识别结果。通过在Mobilenet‑Echo网络结构中，基于轻量化网络设计，以减少模型参数。属于检测技术领域。

Description

一种轻量化超声心动图标准切面识别方法、装置和介质
技术领域
本发明涉及检测技术领域，具体涉及一种轻量化超声心动图标准切面识别方法、装置和介质。
背景技术
目前心脏疾病不但对人类生活质量造成重大影响而且使得人类的健康面临威胁。对此，心脏疾病进行早期诊断及诊疗至关重要。近年来，随着计算机技术和人工智能医学影像技术的不断进步，人工智能医学影像已逐渐由辅助检查手段发展成为现代医学最重要的临床诊断和鉴别诊断方法。
超声心动图能够直观显示和定量测量心脏解剖结构、功能及血流动力学方面的重要信息，从而反映心脏生理或病理状态下的构型特征，是心脏病诊断的主要医学影像手段，而准确的参数测量是超声心动图诊断的重要环节。
在临床检查中，医生首先需要寻找心脏感兴趣的区域进行参数测量，但心脏结构复杂，每个病人的超声心动图都有许多标准切面，如心尖二腔室(A2C)、心尖三腔室(A3C)、心尖四腔室(A4C)、大动脉短轴(PSA)、胸骨旁长轴(PLA)等超声心动图标准切面图像，如何准确辨别超声心动图像成为了耗时耗力的工作，不仅加大了医生的工作量，而且还可能医生经验不足而引起诊断结果不准确。
专利名称：一种基于深度学习的超声心动图视图识别方法及***，申请号：CN202111049989.1，该专利公开的方法包括获取超声心动图视图；将超声心动图视图输入至训练完成的超声心动图视图识别模型中，得到超声心动图视图类别识别结果；其中，所述超声心动图视图识别模型由StyleGAN与DenseNet101网络构成；所述StyleGAN仅应用在训练过程中，用于补充超声心动图视图训练数据；所述DenseNet101用于提取超声心动图视图特征，识别超声心动图视图类别。
专利名称：基于深度学习的心脏视图识别与左心室检测装置、***，申请号：CN202110553831.1，该发明公开了基于深度学习的心脏视图识别与左心室检测装置、***，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：接收超声心动图；采集超声心动图中心尖二腔室、心尖三腔室、心尖四腔室的医学图像；标注不同视图中左心室的轮廓，制作为原始图像数据集；对原始图像数据集进行预处理，获得实验数据集；将实验数据集输入到经过深度学习的网络中得到心脏视图识别结果和左心室检测结果。
上述现有的图像识别技术并没有针嵌入式设备进行研发，无法解决该场景下模型参数量大、识别耗时过长等问题带来的挑战。第一个专利采用DenseNet101对超声心动图标准切面进行分类，该网络计算量大，对设备性能有较高要求。第二个专利采用FPN(图像金字塔)提取图像各层特征，但每层进行特征提取有很明显的限制，推断时间将急剧上升，并且在FPN上进行端到端训练的内存占用较大。
基于深度学习的超声心动标准切面识别会遇到以下挑战：现有的分类模型参数量过多，导致在嵌入式设备中运行速度过慢，不能很好的满足实时性的要求。
发明内容
针对现有技术中存在的技术问题，本发明的目的是：提供一种可以对超声心动图进行快速、准确地识别出标准切面的类别的轻量化超声心动图标准切面识别方法、装置和介质。
为了达到上述目的，本发明采用如下技术方案：
一种轻量化超声心动图标准切面识别方法，包括如下步骤，
S1：收集二维超声心动图标准切面的数据，形成数据集；其中二维超声心动图标准切面的数据包括超声心动图标准切面图像和标识该图像的超声心动切面类型，超声心动切面类型包括心尖二腔室、心尖三腔室、心尖四腔室、大动脉短轴和胸骨旁长轴；
S2：对数据集进行分类，将数据集划分为训练集、测试集以及验证集；
S3：对步骤S2的数据集进行预处理以及数据增强；
S4：搭建深度学习网络模型作为训练模型，用步骤S2中的训练集对训练模型进行训练；
S5：使用验证集对训练模型进行验证，进一步根据评估结果来调整训练模型的超参数；用测试集测试训练模型最终的泛化能力，进而得到超声心动图分类模型；
S6：将超声心动图输入到已训练好的超声心动图分类模型中，得到超声心动图分类识别结果。
作为一种优选，在超声心动图分类模型中，深度学习网络模型包括起始部分、中间部分和最后部分；
其中，在起始部分中：将大小为224x224x3的超声图像输入到1个二维卷积层，通过3x3的卷积核，提取超声心动图标准切面特征，并输出特征层；
在中间部分中：由9个bneck模块组成，9个bneck模块依次连接；将起始部分输出的特征层作为输入，经每个bneck模块卷积操作之后，输出特征层，并作为下一个bneck模块的输入；
在最后部分中：将中间部分的输出的特征层作为输入，先通过1个二维卷积层进行1x1卷积操作，进而再将卷积操作后得到的特征层输入到池化层，经7x7卷积核后，通过两个1x1的卷积层代替全连接层，输出类别索引k；类别索引k与超声心动切面类型匹配。
作为一种优选，每个bneck模块包括输入单元、第一单元、第二单元、第三单元、第四单元以及输出单元，所述输入单元、第一单元、第二单元、第三单元、第四单元以及输出单元依次连接；
输入bneck模块的特征层先在输入单元利用1x1卷积进行升维度，通过Relu激活函数后输入到下一级；
接着通过Relu函数在第二单元、第三单元以及第四单元进行3x3深度分离卷积，通过Relu函数输入到下一级；
最后在输出单元中通过1x1卷积核进行降维度，经线性函数后进行输出。
作为一种优选，在中间部分中，9个bneck模块依次为bneck模块1、bneck模块2、bneck模块3、bneck模块4、bneck模块5、bneck模块6、bneck模块7、bneck模块8以及bneck模块9；
在bneck模块4、bneck模块6和bneck模块7中分别引入卷积注意力机制模块；
每个卷积注意力机制模块包括通道注意力模块和空间注意力模块，其中第二单元的输出与通道注意力模块的输入相连以池化降维，通道注意力模块的输出与第三单元的输入相连，第三单元的输出与空间注意力模块的输入相连以池化降维，空间注意力模块的输出与第四单元的输入相连；其中通道注意力模块的输出为第一加权结果，空间注意力模块的输出为第二加权结果，进而再通过第四单元进行3x3深度分离卷积得到最终加权结果。
作为一种优选，在步骤S1中，数据集的形成是先通过获取数据mhd文件，mhd文件为超声心动图数据集，超声心动图数据集中包含对心脏左心室标准切面的标注，即对超声心动切面类型的标注；
在步骤S2中，对超声心动图数据集转成JPG格式的图像；
对图像进行分类，对分类好的超声心动图数据集进行划分，超声心动图数据集划分为训练集、测试集以及验证集，获得的训练集、测试集以及验证集的比例为6：2：2；
在步骤S3中，对训练集、测试集以及验证集进行预处理；对训练集、测试集以及验证集进行数据增强，使用在线增强模式。
作为一种优选，预处理包括对数据脱敏、裁剪和遮罩，去除文本、心电图以及扫描扇区以外的其他信息；其他信息包括帧率和医院信息；最终将图像通过下采样为224x224大小的图片。
作为一种优选，增强方式包括旋转、平移、翻折。
一种轻量化超声心动图标准切面识别装置，包括存储器、处理器及程序执行文件，程序执行文件使用弱监督的学习方式学习标注图像的特征，从而对数据集中其他心脏未标注的超声心动图标准切面进行识别，所述处理器执行所述程序时实现一种轻量化超声心动图标准切面识别方法。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行一种轻量化超声心动图标准切面识别方法。
总的说来，本发明具有如下优点：
1.本发明使用1x1卷积、3x3卷积等技术减少网络计算量的同时，尽可能的保证网络的精度；在保证模型精度的情况下，使模型参数量减少，运行速度更快；本发明能够为医生提供心脏超声诊断过程中的标准切面类别提示，减轻医生的工作量，而且还避免医生经验不足而引起诊断结果不准确。
2.本发明使用更轻量化的模型，更容易在嵌入式设备中运行，减少部署成本。
附图说明
图1为一种轻量化超声心动图标准切面识别方法的流程图。
图2为超声心动图识别的流程图。
图3为Mobilenet-Echo网络结构图。
图4为Bneck结构图。
图5为形成数据集的流程图。
其中，k为输出类别索引，conv2d为二维卷积层，bneck(bottleneck)是瓶颈层，pool为池化层，NBN代表不使用批量归一化，Relu为激活函数，CBAM为卷积注意力机制模块。
具体实施方式
下面将结合具体实施方式来对本发明做进一步详细的说明。
实施例一
本实施例的一种轻量化超声心动图标准切面识别方法，包括如下步骤，
S1：收集二维超声心动图标准切面的数据，形成数据集；其中二维超声心动图标准切面的数据包括超声心动图标准切面图像和标识该图像的超声心动切面类型，超声心动切面类型包括心尖二腔室、心尖三腔室、心尖四腔室、大动脉短轴和胸骨旁长轴；
S2：对数据集进行分类，将数据集划分为训练集、测试集以及验证集；
S3：对步骤S2的数据集进行预处理以及数据增强；
S4：搭建深度学习网络模型作为训练模型，用步骤S2中的训练集对训练模型进行训练；
S5：使用验证集对训练模型进行验证，进一步根据评估结果来调整训练模型的超参数；用测试集测试训练模型最终的泛化能力，进而得到超声心动图分类模型；
S6：将超声心动图输入到已训练好的超声心动图分类模型中，得到超声心动图分类识别结果。
在超声心动图分类模型中，深度学习网络模型包括起始部分、中间部分和最后部分；
其中，在起始部分中：将大小为224x224x3的超声图像输入到1个二维卷积层，通过3x3的卷积核，提取超声心动图标准切面特征，并输出特征层；
在中间部分中：由9个bneck模块组成，9个bneck模块依次连接；将起始部分输出的特征层作为输入，经每个bneck模块卷积操作之后，输出特征层，并作为下一个bneck模块的输入；
在最后部分中：将中间部分的输出的特征层作为输入，先通过1个二维卷积层进行1x1卷积操作，进而再将卷积操作后得到的特征层输入到池化层，经7x7卷积核后，通过两个1x1的卷积层代替全连接层，输出类别索引k；类别索引k与超声心动切面类型匹配。
本实施例的深度学习网络采用Mobilnet-Echo的网络结构。其中，conv2d是二维卷积层；bneck(bottleneck)是瓶颈层；pool是池化层；NBN代表不使用批量归一化；k代表类别索引。
每个bneck模块包括输入单元、第一单元、第二单元、第三单元、第四单元以及输出单元，所述输入单元、第一单元、第二单元、第三单元、第四单元以及输出单元依次连接；
输入bneck模块的特征层先在输入单元利用1x1卷积进行升维度，通过Relu激活函数后输入到下一级；
接着通过Relu函数在第二单元、第三单元以及第四单元进行3x3深度分离卷积，通过Relu函数输入到下一级；
最后在输出单元中通过1x1卷积核进行降维度，经线性函数后进行输出。在中间部分中，9个bneck模块依次为bneck模块1、bneck模块2、bneck模块3、bneck模块4、bneck模块5、bneck模块6、bneck模块7、bneck模块8以及bneck模块9；
在bneck模块4、bneck模块6和bneck模块7中分别引入卷积注意力机制模块；
每个卷积注意力机制模块包括通道注意力模块和空间注意力模块，其中第二单元的输出与通道注意力模块的输入相连以池化降维，通道注意力模块的输出与第三单元的输入相连，第三单元的输出与空间注意力模块的输入相连以池化降维，空间注意力模块的输出与第四单元的输入相连；其中通道注意力模块的输出为第一加权结果，空间注意力模块的输出为第二加权结果，进而再通过第四单元进行3x3深度分离卷积得到最终加权结果。
在步骤S1中，数据集的形成是先通过获取数据mhd文件，mhd文件为超声心动图数据集，超声心动图数据集中包含对心脏左心室标准切面的标注，即对超声心动切面类型的标注；
在步骤S2中，对超声心动图数据集转成JPG格式的图像；
对图像进行分类，对分类好的超声心动图数据集进行划分，超声心动图数据集划分为训练集、测试集以及验证集，获得的训练集、测试集以及验证集的比例为6：2：2；
在步骤S3中，对训练集、测试集以及验证集进行预处理；对训练集、测试集以及验证集进行数据增强，使用在线增强模式。
预处理包括对数据脱敏、裁剪和遮罩，去除文本、心电图以及扫描扇区以外的其他信息；其他信息包括帧率和医院信息；最终将图像通过下采样为224x224大小的图片。
增强方式包括旋转、平移、翻折。
步骤S4中，训练模型的训练方法包括：在训练阶段，使用Tensorflow深度学习框架对训练集进行模型参数的学习，首先将图像输入到Mobilnet-Echo的残差网络结构中，使用多个小卷积代替大卷积核，以减少模型参数且增加了非线性激活函数的数量，最后采用ReLU激活函数进行激活。本实施例中，TensorFlow是一个开源的、基于Python的深度学习框架，本发明采用TensorFlow来搭建Mobilnet-Echo网络模型进行训练。将图片输入到Mobilnet-Echo的起始部分做卷积操作之后，再经过中间部分的9个bneck模块做进一步卷积操作，最后通过最后部分的两个1x1卷积层，输出类别索引k。
本实施例中，
超声心动图识别方法技术方案：
步骤1：构建超声心动图数据集；
步骤2：将步骤1形成的数据集输入到Mobilnet-Echo网络模型中训练；
步骤3：部署步骤2训练的模型；
步骤4：输入超声心动图数据到步骤3中，得到分类结果；
步骤5：将步骤4的分类结果输入到步骤1中，形成数据集。
实施例二
本实施例的一种基于深度学习的轻量化超声心动图标准切面识别装置，包括存储器、处理器及程序执行文件，程序执行文件使用弱监督的学习方式学习标注图像的特征，从而对数据集中其他心脏未标注的超声心动图标准切面进行识别，所述处理器执行所述程序时实现一种基于深度学习的轻量化超声心动图标准切面识别方法。
所述程序执行文件在处理器运行时的流程为：
S101：接收超声心动图；
S102：获取超声心动图标准切面；
在本实施例中，超声心动图标准切面的类别包括心尖二腔室(A2C)、心尖三腔室(A3C)、心尖四腔室(A4C)、大动脉短轴(PSA)、胸骨旁长轴(PLA)等所有超声心动图标准切面图像。
S103：将超声心动图视图输入至训练完成的超声心动图视图识别模型中，得到超声心动图视图类别识别结果。
其中，所述超声心动图视图识别模型由Mobilenet-Echo网络构成；所述Mobilenet-Echo用于提取超声心动图视图特征，识别超声心动图视图类别。
在本实施例中，首先将图像输入到Mobilenet-Echo的残差网络结构中，使用多个小卷积代替大卷积核的方法，减少模型参数且增加了非线性激活函数的数量，使得计算量更小；最后采用ReLU激活函数进行激活，ReLU函数可以使网络具有稀疏性，减弱网络中参数相互依存关系，从而抑制过拟合现象。
在具体实施中，将超声心动图视图输入至超声心动图视图识别模型中之前还包括图像预处理。
其中，所述图像预处理包括随机翻转、随机裁剪和大小调整。
包括：
(1)随机翻转：以0.4的概率翻转输入图像；
(2)随机裁剪：将给定图像裁剪为随机大小和纵横比；
(3)调整大小：将输入图像调整为给定大小，如上采样或下采样。
本实施例利用训练完成的超声心动图视图识别模型进行自动识别出超声心动图视图的分类结果，其中，超声心动图视图识别模型由Mobilenet-Echo网络构成，所述Mobilenet-Echo用于提取超声心动图视图特征，识别超声心动图视图类别，减轻了医生的工作量，同时避免由于医生经验不足而引起诊断结果不准确，提高了超声心动图视图识别的准确性。
本实施例未提及部分同实施例一。
实施例三
本实施例的一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行一种基于深度学习的轻量化超声心动图标准切面识别方法。
本实施例未提及部分同实施例一。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种轻量化超声心动图标准切面识别方法，其特征在于：包括如下步骤，
S1：收集二维超声心动图标准切面的数据，形成数据集；其中二维超声心动图标准切面的数据包括超声心动图标准切面图像和标识该图像的超声心动切面类型，超声心动切面类型包括心尖二腔室、心尖三腔室、心尖四腔室、大动脉短轴和胸骨旁长轴；
S2：对数据集进行分类，将数据集划分为训练集、测试集以及验证集；
S3：对步骤S2的数据集进行预处理以及数据增强；
S4：搭建深度学习网络模型作为训练模型，用步骤S2中的训练集对训练模型进行训练；
S5：使用验证集对训练模型进行验证，进一步根据评估结果来调整训练模型的超参数；用测试集测试训练模型最终的泛化能力，进而得到超声心动图分类模型；
S6：将超声心动图输入到已训练好的超声心动图分类模型中，得到超声心动图分类识别结果。
2.按照权利要求1所述的一种轻量化超声心动图标准切面识别方法，其特征在于：
在超声心动图分类模型中，深度学习网络模型包括起始部分、中间部分和最后部分；
其中，在起始部分中：将大小为224x224x3的超声图像输入到1个二维卷积层，通过3x3的卷积核，提取超声心动图标准切面特征，并输出特征层；
在中间部分中：由9个bneck模块组成，9个bneck模块依次连接；将起始部分输出的特征层作为输入，经每个bneck模块卷积操作之后，输出特征层，并作为下一个bneck模块的输入；
在最后部分中：将中间部分的输出的特征层作为输入，先通过1个二维卷积层进行1x1卷积操作，进而再将卷积操作后得到的特征层输入到池化层，经7x7卷积核后，通过两个1x1的卷积层代替全连接层，输出类别索引k；类别索引k与超声心动切面类型匹配。
3.按照权利要求2所述的一种轻量化超声心动图标准切面识别方法，其特征在于：每个bneck模块包括输入单元、第一单元、第二单元、第三单元、第四单元以及输出单元，所述输入单元、第一单元、第二单元、第三单元、第四单元以及输出单元依次连接；
输入bneck模块的特征层先在输入单元利用1x1卷积进行升维度，通过Relu激活函数后输入到下一级；
接着通过Relu函数在第二单元、第三单元以及第四单元进行3x3深度分离卷积，通过Relu函数输入到下一级；
最后在输出单元中通过1x1卷积核进行降维度，经线性函数后进行输出。
4.按照权利要求3所述的一种轻量化超声心动图标准切面识别方法，其特征在于：在中间部分中，9个bneck模块依次为bneck模块1、bneck模块2、bneck模块3、bneck模块4、bneck模块5、bneck模块6、bneck模块7、bneck模块8以及bneck模块9；
在bneck模块4、bneck模块6和bneck模块7中分别引入卷积注意力机制模块；
每个卷积注意力机制模块包括通道注意力模块和空间注意力模块，其中第二单元的输出与通道注意力模块的输入相连以池化降维，通道注意力模块的输出与第三单元的输入相连，第三单元的输出与空间注意力模块的输入相连以池化降维，空间注意力模块的输出与第四单元的输入相连；其中通道注意力模块的输出为第一加权结果，空间注意力模块的输出为第二加权结果，进而再通过第四单元进行3x3深度分离卷积得到最终加权结果。
5.按照权利要求1所述的一种轻量化超声心动图标准切面识别方法，其特征在于：在步骤S1中，数据集的形成是先通过获取数据mhd文件，mhd文件为超声心动图数据集，超声心动图数据集中包含对心脏左心室标准切面的标注，即对超声心动切面类型的标注；
在步骤S2中，对超声心动图数据集转成JPG格式的图像；对图像进行分类，对分类好的超声心动图数据集进行划分，超声心动图数据集划分为训练集、测试集以及验证集，获得的训练集、测试集以及验证集的比例为6：2：2；
在步骤S3中，对训练集、测试集以及验证集进行预处理；对训练集、测试集以及验证集进行数据增强，使用在线增强模式。
6.按照权利要求5所述的一种轻量化超声心动图标准切面识别方法，其特征在于：预处理包括对数据脱敏、裁剪和遮罩，去除文本、心电图以及扫描扇区以外的其他信息；其他信息包括帧率和医院信息；最终将图像通过下采样为224x224大小的图片。
7.按照权利要求5所述的一种轻量化超声心动图标准切面识别方法，其特征在于：增强方式包括旋转、平移、翻折。
8.一种轻量化超声心动图标准切面识别装置，其特征在于：包括存储器、处理器及程序执行文件，程序执行文件使用弱监督的学习方式学习标注图像的特征，从而对数据集中其他心脏未标注的超声心动图标准切面进行识别，所述处理器执行所述程序时实现如权利要求1-7任一所述的一种轻量化超声心动图标准切面识别方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时执行如权利要求1-7任一所述的一种轻量化超声心动图标准切面识别方法。
CN202210605200.4A 2022-05-31 2022-05-31 一种轻量化超声心动图标准切面识别方法、装置和介质 Pending CN114863185A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210605200.4A CN114863185A (zh) 2022-05-31 2022-05-31 一种轻量化超声心动图标准切面识别方法、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210605200.4A CN114863185A (zh) 2022-05-31 2022-05-31 一种轻量化超声心动图标准切面识别方法、装置和介质

Publications (1)

Publication Number Publication Date
CN114863185A true CN114863185A (zh) 2022-08-05

Family

ID=82641270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210605200.4A Pending CN114863185A (zh) 2022-05-31 2022-05-31 一种轻量化超声心动图标准切面识别方法、装置和介质

Country Status (1)

Country Link
CN (1) CN114863185A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761381A (zh) * 2022-12-14 2023-03-07 安徽鲲隆康鑫医疗科技有限公司 超声心动图的分类方法、分类装置
CN115578589B (zh) * 2022-10-12 2023-08-18 江苏瑞康成医疗科技有限公司 一种无监督超声心动图切面识别方法
CN116704305A (zh) * 2023-06-20 2023-09-05 华中科技大学同济医学院附属协和医院 基于深度学习算法的超声心动图多模态多切面分类方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578589B (zh) * 2022-10-12 2023-08-18 江苏瑞康成医疗科技有限公司 一种无监督超声心动图切面识别方法
CN115761381A (zh) * 2022-12-14 2023-03-07 安徽鲲隆康鑫医疗科技有限公司 超声心动图的分类方法、分类装置
CN115761381B (zh) * 2022-12-14 2023-11-07 安徽鲲隆康鑫医疗科技有限公司 超声心动图的分类方法、分类装置
CN116704305A (zh) * 2023-06-20 2023-09-05 华中科技大学同济医学院附属协和医院 基于深度学习算法的超声心动图多模态多切面分类方法

Similar Documents

Publication Publication Date Title
US10482603B1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
CN114863185A (zh) 一种轻量化超声心动图标准切面识别方法、装置和介质
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
CN110475505A (zh) 利用全卷积网络的自动分割
CN111681219A (zh) 基于深度学习的新冠肺炎ct图像分类方法、***及设备
CN112215858A (zh) 用于图像分割和识别的方法和***
Militante et al. Pneumonia detection through adaptive deep learning models of convolutional neural networks
CN111598867A (zh) 用于检测特定面部综合征的方法、装置及计算机可读存储介质
CN112819818B (zh) 图像识别模块训练方法和装置
Zhang et al. Attention-based multi-model ensemble for automatic cataract detection in B-scan eye ultrasound images
CN111462082A (zh) 一种病灶图片识别装置、方法、设备及可读存储介质
Qiao et al. SPReCHD: Four-chamber semantic parsing network for recognizing fetal congenital heart disease in medical metaverse
CN115206478A (zh) 医学报告生成方法以及装置、电子设备、可读存储介质
Gulati et al. Comparative analysis of deep learning approaches for the diagnosis of diabetic retinopathy
CN116704305A (zh) 基于深度学习算法的超声心动图多模态多切面分类方法
CN112562819B (zh) 一种针对先心病的超声多切面数据的报告生成方法
Thammarach et al. AI chest 4 all
Alharthi et al. Do it the transformer way: a comprehensive review of brain and vision transformers for autism spectrum disorder diagnosis and classification
Sowmya et al. Vision transformer based ResNet model for pneumonia prediction
Yang et al. Not All Areas Are Equal: Detecting Thoracic Disease With ChestWNet
Mannepalli et al. An Early Detection of Pneumonia in CXR Images using Deep Learning Techniques
Bandyopadhyay et al. A distillation based approach for the diagnosis of diseases
Chandrasekar et al. ANALYSIS FOR HEART DISEASE PREDICTION USING DEEP NEURAL NETWORK AND VGG_19 CONVOLUTION NEURAL NETWORK.
Patra Delving deep into fetal ultrasound video analysis
Srinivasarao et al. Hybrid Classification Model by Using CNN to Detect COVID-19 and Chest Related Problems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination