CN112017198B - 基于自注意力机制多尺度特征的右心室分割方法及装置 - Google Patents

基于自注意力机制多尺度特征的右心室分割方法及装置 Download PDF

Info

Publication number
CN112017198B
CN112017198B CN202011106465.7A CN202011106465A CN112017198B CN 112017198 B CN112017198 B CN 112017198B CN 202011106465 A CN202011106465 A CN 202011106465A CN 112017198 B CN112017198 B CN 112017198B
Authority
CN
China
Prior art keywords
right ventricle
self
attention
feature
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011106465.7A
Other languages
English (en)
Other versions
CN112017198A (zh
Inventor
刘金平
高全全
贺俊宾
曾聘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Normal University
Original Assignee
Hunan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Normal University filed Critical Hunan Normal University
Priority to CN202011106465.7A priority Critical patent/CN112017198B/zh
Publication of CN112017198A publication Critical patent/CN112017198A/zh
Application granted granted Critical
Publication of CN112017198B publication Critical patent/CN112017198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本说明书一个或多个实施例提供一种基于自注意力机制多尺度特征的右心室分割方法及装置，通过基于自注意力机制多尺度特征的右心室分割网络模型，提取心脏磁共振图像中的右心室特征；根据右心室特征，对待分割的心脏磁共振图像中的区域进行标记，得到右心室分割结果。本公开通过若干不同扩张速率的空洞卷积层，提取不同尺度的右心室的特征，基于自注意力机制，动态的在空间和通道维度上分段性聚焦右心室的特征，并通过集成骰子损失与加权交叉熵损失的复合损失函数，解决了右心室区域和背景区域不均衡的问题，提高了右心室分割的准确性以及效率。

Description

基于自注意力机制多尺度特征的右心室分割方法及装置
技术领域
本说明书一个或多个实施例涉及图像分析技术领域，尤其涉及一种基于自注意力机制多尺度特征的右心室分割方法及装置。
背景技术
心脏核磁共振图像分析任务中，左心室是一个厚壁的圆柱型区域，形状较为规则易于分割，而右心室是一个不规则新月形的区域，较薄的心室壁有时会与周围的组织混在一起，对其精确的分割与左心室相比具有一定的难度。实践中，需要加倍的时间来确定右心室的体积，且结果比左心室具有的变异性。
使用传统的图像分割方法对右心室进行分割，有基于地图集、基于几何性质和基于先验模型等方法，然而，这些算法大多对心脏核磁共振图像中的图像噪声干扰和信号强度不均匀性重视不够，这无疑对分割结果的准确性造成影响。其中基于地图集和基于几何性质的方法，其分割性能依赖登记的质量，基于先科模型的方法依赖专业知识，并且鲁棒性和准确性较低。此外，传统分割方法的效率和准确性远低于人工分割，这主要是由于传统的分割模型是浅层模型，没有足够的复杂性来建模右心室的模糊边界、不规则空腔和复杂的新月形结构。
另外，心脏核磁共振图像中，大部分像素都属于背景，只有大约5.1％的像素是右心室腔的一部分，因此存在类别不平衡问题。这种不平衡问题会导致网络的训练效率低下，因为大多数特征信息都属于背景，在训练中提供给模型太多无用的背景信息，只有少数右心室信息参与模型的训练；此外，背景信息在数量上占极大优势，在训练过程中会使模型分割性能退化，无法识别和分割出右心室区域。所以，现有的右心室分割方案不能准确分割心脏磁共振图像中的右心室，且效率较低。
发明内容
有鉴于此，本说明书一个或多个实施例的目的在于提出一种基于自注意力机制多尺度特征的右心室分割方法及装置，以解决现有的右心室分割方案不能准确分割心脏磁共振图像中的右心室，且效率较低的问题。
基于上述目的，本说明书一个或多个实施例提供了一种基于自注意力机制多尺度特征的右心室分割方法，包括：
获取待分割的心脏磁共振图像；
通过预先获取的基于自注意力机制多尺度特征的右心室分割网络模型，提取所述心脏磁共振图像中的右心室特征；
根据所述右心室特征，对所述心脏磁共振图像中的区域进行标记，得到右心室分割结果。
可选的，所述通过预先获取的基于自注意力机制多尺度特征的右心室分割网络模型，提取所述心脏磁共振图像中的右心室特征，包括：
通过若干不同扩张速率的空洞卷积层，提取不同尺度的右心室原始特征；
对所述不同尺度的右心室原始特征进行组合，得到右心室组合特征；
对于所述右心室组合特征，通过自注意力机制，在空间维度上学习自注意力矩阵，得到右心室空间注意力特征；
对于所述右心室组合特征，通过自注意力机制，在通道维度上学习自注意力矩阵，得到右心室通道注意力特征；
将所述右心室空间注意力特征和所述右心室通道注意力特征进行组合，融入所述基于自注意力机制多尺度特征的右心室分割网络模型的特征提取和特征还原网络中，得到所述右心室特征。
可选的，所述对于所述右心室组合特征，通过自注意力机制，在空间维度上学习自注意力矩阵，得到右心室空间注意力特征，包括：
输入所述右心室组合特征；所述右心室组合特征为右心室组合特征图；用
Figure 640830DEST_PATH_IMAGE001
表示右心室组合特征图；
利用卷积层，处理所述右心室组合特征图，生成第一特征图、第二特征图和第三特征图；其中，所述第一特征图、第二特征图和第三特征图的像素，与所述右心室组合特征图的像素相同，用
Figure 676657DEST_PATH_IMAGE002
表示；其中，A表示第一特征图，B表示第二特征图，C表示第三特征图；
对所述第一特征图和第二特征图进行矩阵重构，得到重构后的所述第一特征图和第二特征图，用
Figure 284356DEST_PATH_IMAGE003
表示；其中，N为特征图中单个通道的像素个数，即
Figure 336626DEST_PATH_IMAGE004
；
对
Figure 851921DEST_PATH_IMAGE005
和
Figure 306036DEST_PATH_IMAGE006
的转置矩阵
Figure 84636DEST_PATH_IMAGE007
做矩阵乘法，将得到的结果输入到激活函数层来计算得到空间自注意力矩阵
Figure 358622DEST_PATH_IMAGE008
，计算公式为：
Figure 880871DEST_PATH_IMAGE009
其中，
Figure 688027DEST_PATH_IMAGE010
用来度量位置
Figure 637529DEST_PATH_IMAGE011
的像素对位置
Figure 398811DEST_PATH_IMAGE012
的像素的影响；
对所述第三特征图进行矩阵重构，得到重构后的所述第三特征图，用
Figure 521488DEST_PATH_IMAGE013
表示；
用重构后的所述第三特征图与所述空间自注意力矩阵
Figure 419037DEST_PATH_IMAGE014
的转置矩阵
Figure 539440DEST_PATH_IMAGE015
做矩阵乘法，得到空间自注意力矩阵；
将所述空间自注意力矩阵融入输入的所述右心室组合特征图，输出为
Figure 850335DEST_PATH_IMAGE016
，计算公式为：
Figure 448807DEST_PATH_IMAGE017
其中，
Figure 466442DEST_PATH_IMAGE018
为自学习参数，其初始值为0。
可选的，所述对于所述右心室组合特征，通过自注意力机制，在通道维度上学习自注意力矩阵，得到右心室通道注意力特征，包括：
输入所述右心室组合特征；所述右心室组合特征为右心室组合特征图；用
Figure 820063DEST_PATH_IMAGE019
表示右心室组合特征图；
将所述右心室组合特征图重构为
Figure 290358DEST_PATH_IMAGE020
；
将
Figure 456635DEST_PATH_IMAGE021
与其转置矩阵
Figure 125514DEST_PATH_IMAGE022
做矩阵乘法，将得到的结果输入到激活函数层来计算得到通道自注意力矩阵
Figure 587719DEST_PATH_IMAGE023
，计算公式为：
Figure 810890DEST_PATH_IMAGE024
其中，
Figure 813481DEST_PATH_IMAGE025
用来度量通道
Figure 540129DEST_PATH_IMAGE026
的像素对通道
Figure 438815DEST_PATH_IMAGE027
的的像素的影响；
将
Figure 680440DEST_PATH_IMAGE028
的转置矩阵
Figure 424405DEST_PATH_IMAGE029
和
Figure 333455DEST_PATH_IMAGE021
做矩阵乘法后重构使其维数为
Figure 137463DEST_PATH_IMAGE030
；
将所述通道自注意力矩阵融入输入的所述右心室组合特征图，输出为
Figure 69647DEST_PATH_IMAGE031
，计算公式为：
Figure 414041DEST_PATH_IMAGE032
其中，
Figure 879395DEST_PATH_IMAGE033
为自学习参数，其初始值设置为0；
可选的，所述基于自注意力机制多尺度特征的右心室分割网络模型包括：
下采样块、上采样块、连接层；
其中，所述下采样块包括：自注意力机制多尺度特征扩张块和池化层；
所述上采样块包括：特征跳跃融合、自注意力机制多尺度特征扩张块、上采样层和卷积层；
所述连接层采用跳越连接的方式连接所述下采样块和所述上采样块。
可选的，所述自注意力机制多尺度特征扩张块，包括：
空洞卷积层、连接层、空间自注意力模块、通道自注意力模块和标准卷积层。
可选的，所述基于自注意力机制多尺度特征的右心室分割网络模型的损失函数包括：
Figure 588725DEST_PATH_IMAGE034
其中，LTOTAL表示基于自注意力机制多尺度特征的右心室分割网络模型的损失函数；
LDice表示骰子损失函数；
LWCE表示加权交叉熵损失函数；
λ表示平衡骰子损失函数与加权交叉熵损失函数的权重参数。
可选的，所述根据所述右心室特征，对所述心脏磁共振图像中的区域进行标记，得到右心室分割结果，包括：
根据所述右心室特征，利用二进制标记所述待分割的心脏磁共振图像中的右心室区域的像素和其余区域的像素，将标记后的所述待分割的心脏磁共振图像，作为所述右心室分割结果。
基于同一发明构思，本说明书一个或多个实施例提供了一种基于自注意力机制多尺度特征的右心室分割装置，包括：
图像获取模块，用于获取待分割的心脏磁共振图像；
特征提取模块，用于通过预先获取的基于自注意力机制多尺度特征的右心室分割网络模型，提取所述心脏磁共振图像中的右心室特征；
结果生成模块，用于根据所述右心室特征，对所述心脏磁共振图像中的区域进行标记，得到右心室分割结果。
基于同一发明构思，本说明书一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的方法。
从上面所述可以看出，本说明书一个或多个实施例提供的基于自注意力机制多尺度特征的右心室分割方法及装置，通过基于自注意力机制多尺度特征的右心室分割网络模型，提取心脏磁共振图像中的右心室特征；根据右心室特征，对待分割的心脏磁共振图像中的区域进行标记，得到右心室分割结果。本公开通过若干不同扩张速率的空洞卷积层，提取不同尺度的右心室的特征，基于自注意力机制，动态的在空间和通道维度上分段性聚焦右心室的特征，并通过集成骰子损失与加权交叉熵损失的复合损失函数，解决了右心室区域和背景区域不均衡的问题，提高了右心室分割的准确性以及效率。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例提供的基于自注意力机制多尺度特征的右心室分割方法的一种流程示意图；
图2为本说明书一个或多个实施例提供的心脏磁共振图像的一种示意图；
图3为本说明书一个或多个实施例提供的基于自注意力机制多尺度特征的右心室分割网络模型的一种示意图；
图4为本说明书一个或多个实施例提供的自注意力机制多尺度特征扩张块的一种示意图；
图5为本说明书一个或多个实施例提供的空间自注意力模块的一种示意图；
图6为本说明书一个或多个实施例提供的特征提取的过程的一种示意图；
图7为本说明书一个或多个实施例提供的基于自注意力机制多尺度特征的右心室分割装置的一种结构示意图；
图8为本说明书一个或多个实施例提供的一种更为具体的电子设备硬件结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
在心脏核磁共振图像分析任务中，分割出左心室和右心室是基础，对比左心室而言，右心室具有在腔内与心肌具有相似的信号、边界模糊、空腔不规则、复杂的新月形、个体差异大等特点，给右心室的精确分割带来巨大的挑战。
图2为本说明书一个或多个实施例提供的心脏磁共振图像的一种示意图，参照图2，对于心脏核磁共振图像，如果不使用医学术语而对其进行简单的描述，那么，左心室是一个厚壁的圆柱型区域，形状较为规则易于分割，而右心室是一个不规则新月形的区域，且较薄的心室壁有时会与周围的组织混在一起，对其进行精确的分割与左心室相比具有一定的难度。实践中，在心脏核磁共振图像分析任务中需要加倍的时间来确定右心室的体积，且结果比左心室具有较大的差异性。
使用传统的图像分割方法对右心室进行分割，有基于地图集、基于几何性质和基于先验模型等方法，然而，这些算法大多对心脏核磁共振图像中的图像噪声干扰和信号强度不均匀性重视不够，这无疑对分割结果的准确性造成影响。其中基于地图集和基于几何性质的方法，其分割性能依赖登记的质量，基于先科模型的方法依赖专业知识，并且鲁棒性和准确性较低。此外，传统分割方法的效率和准确性远低于人工分割，这主要是由于传统的分割模型是浅层模型，没有足够的复杂性来建模右心室的模糊边界、不规则空腔和复杂的新月形结构。
另外，心脏核磁共振图像中，大部分像素都属于背景，只有大约5.1％的像素是右心室腔的一部分，因此存在类别不平衡问题。这种不平衡问题会导致网络的训练效率低下，因为大多数特征信息都属于背景，在训练中提供给模型太多无用的背景信息，只有少数右心室信息参与模型的训练；此外，背景信息在数量上占极大优势，在训练过程中会使模型分割性能退化，无法识别和分割出右心室区域。
所以，现有的右心室分割方案，因为右心室结构复杂、类别不均衡的特点，不能准确分割心脏磁共振图像中的右心室，且效率较低。
有鉴于此，本说明书一个或多个实施例的目的在于提出一种基于自注意力机制多尺度特征的右心室分割方法及装置，以解决现有的右心室分割方案不能准确分割心脏磁共振图像中的右心室，且效率较低的问题。
图1为本说明书一个或多个实施例提供的基于自注意力机制多尺度特征的右心室分割方法的一种流程示意图，基于自注意力机制多尺度特征的右心室分割方法，包括：
S101、获取待分割的心脏磁共振图像。
一些实施方式中，在获取待分割的心脏磁共振图像之后，还包括：对所述待分割的心脏磁共振图像进行预处理。
其中，对所述待分割的心脏磁共振图像进行预处理，包括：
统一图像的分辨率为256×216；
将图像的像素规划到0-256范围内；
对图像进行标准化与归一化处理以增强图像的辨识度。
例如，所述待分割的心脏磁共振图像的分辨率为256×216或216×526，由于基于自注意力机制多尺度特征的右心室分割网络模型的输入图像和输出图像的分辨率均为256×216，那么，就需要将分辨率为216×526的图像旋转90°，转换得到分辨率为256×216的图像。
S102、通过预先构建的基于自注意力机制多尺度特征的右心室分割网络模型，提取所述心脏磁共振图像中右心室的特征。
一些实施方式中，获取基于自注意力机制多尺度特征的右心室分割网络模型包括：构建基于自注意力机制多尺度特征的右心室分割网络模型、训练基于自注意力机制多尺度特征的右心室分割网络模型，还包括：测试基于自注意力机制多尺度特征的右心室分割网络模型。
一些实施方式中，构建基于自注意力机制多尺度特征的右心室分割网络模型，包括：
参照图3，本公开设计了一个六十九层的深度神经网络，作为基于自注意力机制多尺度特征的右心室分割网络模型AFRS-Net，其中包括三个下采样块、三个上采样块和三个连接层。
图3中，输入Input为待分割的心脏磁共振图像；输出Output为得到的右心室分割结果；Conv表示卷积层；DS1、DS2和DS3分别表示第一下采样块、第二下采样块和第三下采样块；US1、US2和US3分别表示第一上采样块、第二上采样块和第三上采样块；AIB表示自注意力机制多尺度特征扩张块；Maxppoling表示最大池化层；UpSampling表示上采样层；Concatenation1、Concatenation2和Concatenation3表示第一连接层、第二连接层和第三连接层；ReLU表示为校正线性单元的激活单元。
其中，每个下采样块包括：一个自注意力机制多尺度特征扩张块和一个池化层。
每个上采样块包括：一个特征跳跃融合、一个自注意力机制多尺度特征扩张块、一个上采样层和一个卷积层。
对于连接层，使用跳越连接以组合下采样块和上采样块输出的特征，跳跃连接有助于加快训练过程，提高基于自注意力机制多尺度特征的右心室分割网络模型的性能。
进一步的，每个自注意力机制多尺度特征扩张块包括：四个扩张性卷积层、两个连接层、一个空间自注意力模块、一个通道自注意力模块和一个标准1×1卷积层。
每个最大池化层的池化窗口大小为2×2。
在每个上采样层中，使用2×2的上采样窗口进行上采样。
基于自注意力机制多尺度特征的右心室分割网络模型，还包括：输入层和输出层。
其中，输入心脏磁共振图像到所述输入层中。
在输出层中，应用了具有softmax激活函数的1×1卷积层来预测分割结果，在预测结果中，输入图像的每个像素都被分类为右心室腔或背景。例如，输出是二进制的标记的图像，将右心室内膜和外膜区域的像素标记为1，其余背景区域标记为0。
基于自注意力机制多尺度特征的右心室分割网络模型包含用于提取特征的收缩路径和用于恢复目标对象的扩展路径；在收缩路径中，随着网络的深入，不断对输入图像的抽象表示进行编码，提取图像丰富的特征；在扩展路径中，提取收缩路径中的特征，以精确定位感兴趣的目标结构。其中，收缩路径通过下采样块实现，扩展路径通过上采样块实现。
一些实施方式中，训练基于自注意力机制多尺度特征的右心室分割网络模型，包括：
获取心脏磁共振图像数据库，数据库由训练集和测试集组成，每组数据均包含若干心脏磁共振图像。其中，只有训练集提供了手动标注的心内膜和心外膜区域，而测试集中的数据用于对网络模型进行评估。
在实际的右心室分割任务中，还面临着右心室数据量不足的问题。现有的数据库，如RVSC基准数据库，仅包含来自16例患者243张经临床专家标注的心脏磁共振图像，这种体量的训练数据用于训练有监督网络是远远不够的。
为了利用有限的数据提升基于自注意力机制多尺度特征的右心室分割网络模型的泛化性能，利用仿射变换增强数据：随机旋转，平移，缩放和剪切，此外，还应用了弹性形变，局部拉伸和压缩图像。应用这些图像增强算法防止基于自注意力机制多尺度特征的右心室分割网络模型只记住训练的样例，强迫其学习右心室是一个实心的、新月形的、方向任意的右心室特征。
另外，在实际的训练框架中，将随机对心脏磁共振图像进行数据增强算法，这样，模型就能在每次训练时获得随机变换的数据图像以增强模型的泛化性能。
在训练网络模型之前，还包括：对所述训练集的心脏磁共振图像进行预处理。
其中，对所述训练集的心脏磁共振图像进行预处理，包括：
统一图像的分辨率为256×216；
将图像的像素规划到0-256范围内；
对图像进行标准化与归一化处理以增强图像的辨识度。
例如，所述训练集的心脏磁共振图像的分辨率为256×216或216×526，由于基于自注意力机制多尺度特征的右心室分割网络模型的输入图像和输出图像的分辨率均为256×216，那么，就需要将分辨率为216×526的图像旋转90°，转换得到分辨率为256×216的图像。
网络模型的训练过程就是使用训练集给定的输入和输出构成的数据对，使用损失函数的值对网络模型的参数进行优化，例如，是损失函数最小化，迭代训练若干次后，得到训练好的基于自注意力机制多尺度特征的右心室分割网络模型。
其中，损失函数的计算公式如下：
Figure 70522DEST_PATH_IMAGE035
其中，LTOTAL表示基于自注意力机制多尺度特征的右心室分割网络模型的损失函数；
LDice表示骰子损失函数；
LWCE表示加权交叉熵损失函数；
λ表示平衡骰子损失函数与加权交叉熵损失函数的权重参数。
根据验证集上的表现，λ设置为0.1、0.5或1。
在本示例中，我们取λ的值为1。
骰子损失学***衡的问题，而加权交叉熵损失函数根据权重迫使模型更好地学习少数类，从而解决类别不均衡问题。
Figure 156290DEST_PATH_IMAGE036
其中，
Figure 977615DEST_PATH_IMAGE037
,
Figure 185742DEST_PATH_IMAGE038
和
Figure 826939DEST_PATH_IMAGE039
分别为预测概率计算出的
Figure 513136DEST_PATH_IMAGE040
类的真阳性、假阴性和假阳性；
Figure 188968DEST_PATH_IMAGE041
Figure 505679DEST_PATH_IMAGE042
Figure 696489DEST_PATH_IMAGE043
Figure 124060DEST_PATH_IMAGE044
为像素
Figure 418513DEST_PATH_IMAGE045
被预测为
Figure 968443DEST_PATH_IMAGE040
类的概率；
Figure 584232DEST_PATH_IMAGE046
为像素
Figure 815493DEST_PATH_IMAGE045
被预测为
Figure 262655DEST_PATH_IMAGE040
类的真实值；
C 为小目标总数加一（背景）；
Figure 921169DEST_PATH_IMAGE047
和
Figure 289834DEST_PATH_IMAGE048
为假阴性和假阳性的惩罚权衡，这里设为 0.5。
Figure 121523DEST_PATH_IMAGE049
其中，
Figure 360875DEST_PATH_IMAGE050
是归属于小目标类的权重，这里定义为：
Figure 252607DEST_PATH_IMAGE051
N是RV图像中像素的总数量。
由于右心室分割是属于二分类问题，即右心室和背景，因此得到本公开的复合损失函数的定义：
Figure 108568DEST_PATH_IMAGE052
在训练过程中为了避免基于自注意力机制多尺度特征的右心室分割网络模型在训练过程中出现过拟合，我们只保留验证集中损失函数最小时的权重作为模型的最优权重。
一些实施方式中，测试基于自注意力机制多尺度特征的右心室分割网络模型，包括：
本公开采用Dice度量（Dice Metric, DM）和Hausdorff距离（HausdorffDistance, HD）来评估基于自注意力机制多尺度特征的右心室分割网络模型的性能。
Dice度量是常用的分割性能评价指标，用来计算两个分离的区域在空间上的重叠率。假设自动分割轮廓为S，手动分割轮廓为T，那么Dice度量的定义是：
Figure 416053DEST_PATH_IMAGE053
上式中，
Figure 31883DEST_PATH_IMAGE054
代表两个区域的重叠部分。Dice度量的取值范围是0到1，数值越大，重叠区域越多，分割效果越精确。
Hausdorff距离用来计算两个区域分离最大时的非对称距离。假设属于自动分割轮廓S的点p与在手动分割轮廓T上相应的点事
Figure 563359DEST_PATH_IMAGE055
，那么p到
Figure 375457DEST_PATH_IMAGE055
的最小距离是：
Figure 17791DEST_PATH_IMAGE056
其中，
Figure 966155DEST_PATH_IMAGE057
表示欧几里得范数（Euclidean norm）。Hausdorff距离的定义是S与T的最大的轮廓点距离。对于S（或T）中的每一个点，用上式寻找到它到T（或S）的最小距离并记为
Figure 402953DEST_PATH_IMAGE058
（或
Figure 764664DEST_PATH_IMAGE059
），最后比较这两个最小距离的最大值，较大者就是所求的HD，即：
Figure 912486DEST_PATH_IMAGE060
HD表示两个轮廓的相似度，HD越小，两个轮廓就越相近，反之亦然。
为了验证基于自注意力机制多尺度特征的右心室分割网络模型的有效性，建立了三个结构稍有不同的比较网络模型进行性能比较：
模型I，其网络结构采用U-Net模型结构，在结构和深度上与基于自注意力机制多尺度特征的右心室分割网络模型相似，损耗函数用骰子损失函数代替原损失函数；
模型II，它具有与模型I相同的网络结构和深度，但损失函数使用复合损失函数；
模型III，它的网络结构和深度与基于自注意力机制多尺度特征的右心室分割网络模型相似，包括自注意力机制多尺度特征扩张块，但损失函数使用与模型I相同的骰子损失函数。
为了评价比较网络模型对心脏右心室的分割性能，使用Dice Metric（DM）和Hausdorff Distance（HD）对右心室的分割性能进行评定，评估结果如表1和表2所示，其中，Endo为右心室内膜，Epi为右心室外膜。
Figure 512095DEST_PATH_IMAGE061
Figure 916531DEST_PATH_IMAGE062
Figure 968801DEST_PATH_IMAGE063
为进一步评估AFRS-Net在右心室内膜(Endo)和心外膜(Epi)的分割的有效性，还列出了很多最先进方法的性能比较，其中，CMIC、NTUST和SBIA是右心室分割挑战赛中最好的三种方法；Jord和FCN等是近年来被应用于右心室分割的方法；U-net、DilatedCNN和InceptionCNN应用到RVSC数据库中，其分割性能结果也是由RVSC组织者提供；DIN是基于U-net和空洞卷积改进的网络，用于提取和聚合多尺度的特征用于右心室分割，但是DIN在特征提取网络中并未考虑到特征之间的关系，特征提取网络中含有大量冗余的特征，另外，损失函数使用的是二分交叉熵损失函数，也并未考虑到类别不均衡问题。
Figure 421779DEST_PATH_IMAGE064
Figure 672632DEST_PATH_IMAGE065
Figure 451232DEST_PATH_IMAGE066
由表3和表4可以看出，所提出的基于自注意力机制多尺度特征的右心室分割网络模型在两个不同的评价指标上都优于其他模型，特别是在HD得分上（HD得分越小越好）。在Test1 Set和Test2 Set的Endo和Epi分割上，提出的方法的平均HD得分都在6.8mm以下，比表3中的其他方法要小得多。此外，基于自注意力机制多尺度特征的右心室分割网络模型在Test1 Set和Test2 Set的Epi分割上的DM得分分别为0.89(0.10)和0.90(0.15)。根据之前的研究，临床专家对右心室分割的DM得分为0.90(0.10)。因此，由实验结果可以得出结论，基于自注意力机制多尺度特征的右心室分割网络模型具有达到临床专家级分割性能的潜力。实验结果表明该方法比其他方法具有优越性，并确立了其在未来作为右心室分割的一种有前景的方法。
结果表明无论是简单还是复杂的右心室数据集上，基于自注意力机制多尺度特征扩张块和复合函数构成的基于自注意力机制多尺度特征的右心室分割网络模型对右心室内膜和外模分割性能得到了明显提升。
S103、根据所述右心室特征，对所述心脏磁共振图像中的区域进行标记，得到右心室分割结果。
一些实施方式中，包括：
根据所述右心室特征，利用二进制标记所述待分割的心脏磁共振图像中的右心室区域的像素和其余区域的像素，将标记后的所述待分割的心脏磁共振图像，作为所述右心室分割结果。
例如，输出是二进制的标记的图像，将右心室内膜和外膜区域的像素标记为1，其余背景区域标记为0。
本说明书一个或多个实施例提供的基于自注意力机制多尺度特征的右心室分割方法及装置，通过基于自注意力机制多尺度特征的右心室分割网络模型，提取心脏磁共振图像中的右心室特征；根据右心室特征，对待分割的心脏磁共振图像中的区域进行标记，得到右心室分割结果。本公开通过若干不同扩张速率的空洞卷积层，提取不同尺度的右心室的特征，基于自注意力机制，动态的在空间和通道维度上分段性聚焦右心室的特征，并通过集成骰子损失与加权交叉熵损失的复合损失函数，解决了右心室区域和背景区域不均衡的问题，提高了右心室分割的准确性以及效率。
可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。
需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
图4为本说明书一个或多个实施例提供的自注意力机制多尺度特征扩张块的一种示意图，自注意力机制多尺度特征扩张块，用于：
通过若干不同扩张速率的空洞卷积层，提取不同尺度的右心室原始特征；
对所述不同尺度的右心室原始特征进行组合，得到右心室组合特征；
对于所述右心室组合特征，通过自注意力机制，在空间维度上学习自注意力矩阵，得到右心室空间注意力特征；
对于所述右心室组合特征，通过自注意力机制，在通道维度上学习自注意力矩阵，得到右心室通道注意力特征；
将所述右心室空间注意力特征和所述右心室通道注意力特征进行组合，融入所述基于自注意力机制多尺度特征的右心室分割网络模型的特征提取和特征还原网络中，得到所述右心室特征。
扩张卷积能够在不丢失分辨率或覆盖率的情况下极大地扩展接受域，所以通过不同扩张率下的扩张卷积，可以得到不同大小的接受域，提取多尺度特征。
图4中，input表示输入，output表示输出，PAM表示空间自注意力模块，CAM表示通道自注意力模块，ReLU表示为校正线性单元的激活单元。
本公开提出的自注意力机制多尺度特征扩张块，首先通过不同扩张率的空洞卷积组合多个扩张卷积层，用于提取和聚合模型的多尺度特征，其次，通过自注意力机制，动态的在特征空间和通道两个维度上去学习自注意力矩阵；最后，将自注意力机制多尺度特征扩张块融入特征提取和特征还原网络中，进而驱动基于自注意力机制多尺度特征的右心室分割网络模型分段性的聚焦于关注右心室内部特征，最后获得更为鲁棒的分割方法。
具体的，首先应用了4个不同扩张速率(1、2、4和8)的卷积核大小为3×3的卷积层，提取出不同尺度(3×3、5×5、9×9和17×17)的特征；其次，将4个扩张卷积层的输出特征通过级联层进行特征组合，并通过空间自注意力模块和通道自注意力模块学习自注意力矩阵；然后，将空间自注意力模块和通道自注意力模块输出特征通过级联层进行自注意力特征组合，并通过标准的1×1卷积层聚合自注意力矩阵提取的特征。其中，每个卷积层的n表示卷积核的数量，每个卷积层的激活单元是校正线性单元。
与传统的网络结构相比，自注意力机制多尺度特征扩张块，首先，能够获得多个大小不同的接收域，并且在较少的参数下学习多尺度特征。其次，通过空间自注意力模块和通道自注意力模块对右心室区域投入更多自注意力资源，以获取更多有关右心室区域的特征信息，减少了无关信息的影响进而捕捉数据与右心室特征的内部相关性。
图5为本说明书一个或多个实施例提供的空间自注意力模块的一种示意图，空间自注意力模块，包括：
图5中，F表示输入，E表示输出。
空间自注意力模块，用于对于所述右心室组合特征，通过自注意力机制，在空间维度上学习自注意力矩阵，得到右心室空间注意力特征。
一些实施方式中，具体用于：
输入所述右心室组合特征；所述右心室组合特征为右心室组合特征图；用
Figure 990798DEST_PATH_IMAGE067
表示右心室组合特征图；
利用卷积层，处理所述右心室组合特征图，生成第一特征图、第二特征图和第三特征图；其中，所述第一特征图、第二特征图和第三特征图的像素，与所述右心室组合特征图的像素相同，用
Figure 513046DEST_PATH_IMAGE068
表示；其中，A表示第一特征图，B表示第二特征图，C表示第三特征图；
可选的，所述卷积层为一维卷积层；
对所述第一特征图和第二特征图进行矩阵重构，得到重构后的所述第一特征图和第二特征图，用
Figure 821668DEST_PATH_IMAGE069
表示；其中，N为特征图中单个通道的像素个数，即
Figure 269704DEST_PATH_IMAGE070
；
对
Figure 765408DEST_PATH_IMAGE071
和
Figure 888084DEST_PATH_IMAGE072
的转置矩阵
Figure 785633DEST_PATH_IMAGE073
做矩阵乘法，将得到的结果输入到激活函数层来计算得到空间自注意力矩阵
Figure 906036DEST_PATH_IMAGE074
，计算公式为：
Figure 216932DEST_PATH_IMAGE075
其中，
Figure 80982DEST_PATH_IMAGE076
用来度量位置
Figure 98617DEST_PATH_IMAGE077
的像素对位置
Figure 655500DEST_PATH_IMAGE078
的像素的影响；
可选的，所述激活函数为softmax。
对所述第三特征图进行矩阵重构，得到重构后的所述第三特征图，用
Figure 391375DEST_PATH_IMAGE079
表示；
用重构后的所述第三特征图与所述空间自注意力矩阵
Figure 292073DEST_PATH_IMAGE080
的转置矩阵
Figure 164214DEST_PATH_IMAGE081
做矩阵乘法，得到空间自注意力矩阵；
将所述空间自注意力矩阵融入输入的所述右心室组合特征图，输出为
Figure 688736DEST_PATH_IMAGE082
，计算公式为：
Figure 646328DEST_PATH_IMAGE083
其中，
Figure 852181DEST_PATH_IMAGE084
为自学习参数，其初始值为0。
对通道自注意力模块而言，和空间自注意力模块不同的是，通道自注意力矩阵
Figure 641146DEST_PATH_IMAGE085
是通过输入的所述右心室组合特征图
Figure 274252DEST_PATH_IMAGE086
直接计算出来的。
输入所述右心室组合特征；所述右心室组合特征为右心室组合特征图；用
Figure 719140DEST_PATH_IMAGE087
表示右心室组合特征图；
将所述右心室组合特征图重构为
Figure 728684DEST_PATH_IMAGE088
；
将
Figure 372155DEST_PATH_IMAGE089
与其转置矩阵
Figure 441743DEST_PATH_IMAGE090
做矩阵乘法，将得到的结果输入到激活函数层来计算得到通道自注意力矩阵
Figure 606882DEST_PATH_IMAGE091
，计算公式为：
Figure 420118DEST_PATH_IMAGE092
其中，
Figure 183674DEST_PATH_IMAGE093
用来度量通道
Figure 158584DEST_PATH_IMAGE094
的像素对通道
Figure 578064DEST_PATH_IMAGE095
的的像素的影响；
将
Figure 726148DEST_PATH_IMAGE096
的转置矩阵
Figure 547474DEST_PATH_IMAGE097
和
Figure 427705DEST_PATH_IMAGE098
做矩阵乘法后重构使其维数为
Figure 131219DEST_PATH_IMAGE099
；
将所述通道自注意力矩阵融入输入的所述右心室组合特征图，输出为
Figure 286257DEST_PATH_IMAGE100
，计算公式为：
Figure 696509DEST_PATH_IMAGE101
其中，
Figure 75538DEST_PATH_IMAGE102
为自学习参数，其初始值设置为0；
可选的，通过自适应的方式，在总体上控制通道自注意力对每个通道的影响。
图6为本说明书一个或多个实施例提供的特征提取的过程的一种示意图，可视化了基于自注意力机制多尺度特征的右心室分割网络模型的内部提取特征的过程。
图6中，输入Input为待分割的心脏磁共振图像，输出Output为得到的右心室分割结果；AIB1至AIB6分别为第一自注意力机制多尺度特征扩张块至第六自注意力机制多尺度特征扩张块。
本图仅示出每个自注意力机制多尺度特征扩张块提取的前9个的特征。基于自注意力机制多尺度特征的右心室分割网络模型的内部分割过程可以看作是两个阶段，图中用虚线框示出。
第一阶段是从第一自注意力机制多尺度特征扩张块AIB1到第三自注意力机制多尺度特征扩张块AIB3的过程中，基于自注意力机制多尺度特征的右心室分割网络模型逐步扩大视野获取高层语义特征。随着自注意力机制多尺度特征扩张块的增加，浅层的特征提取结果保留了丰富的细节，但语义类别预测的很差，而深层的特征分割结果保持了大语义结构，大部分不相关的组织被去除，但细小结构损失严重。
第二阶段是从第四自注意力机制多尺度特征扩张块AIB4到第六自注意力机制多尺度特征扩张块AIB6是右心室的边界和形状逐渐确定和生成的过程。为了维护详细的分辨率信息，而且获得表现出强大的语义表示的特征，利用横向自上而下的方式融合特征图，融合后的特征包含高分辨率特征和高级语义特征。随着自注意力机制多尺度特征扩张块的增加，自注意力机制多尺度特征扩张块输出的右心室的解剖结构越来越清晰并与周围的组织和器官进行了明显的区分，特别是第六自注意力机制多尺度特征扩张块AIB6输出的特征图，右心室的识别区域已经完全与周围的组织和器官进行了有效的区别，具有单独的颜色。可以看出，基于自注意力机制多尺度特征的右心室分割网络模型能有效的提取出右心室的特征并能对右心室进行精确的分割。
图7为本说明书一个或多个实施例提供的基于自注意力机制多尺度特征的右心室分割装置的一种结构示意图，基于自注意力机制多尺度特征的右心室分割装置，包括：
图像获取模块701，用于获取待分割的心脏磁共振图像。
特征提取模块702，用于通过预先获取的基于自注意力机制多尺度特征的右心室分割网络模型，提取所述心脏磁共振图像中的右心室特征。
结果生成模块703，用于根据所述右心室特征，对所述心脏磁共振图像中的区域进行标记，得到右心室分割结果。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
图8为本说明书一个或多个实施例提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU（Central Processing Unit，中央处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。
总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围（包括权利要求）被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路（IC）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态RAM（DRAM））可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (9)

1.一种基于自注意力机制多尺度特征的右心室分割方法，其特征在于，包括：
获取待分割的心脏磁共振图像；
通过预先获取的基于自注意力机制多尺度特征的右心室分割网络模型，提取所述心脏磁共振图像中的右心室特征；具体包括：
通过若干不同扩张速率的空洞卷积层，提取不同尺度的右心室原始特征；
对所述不同尺度的右心室原始特征进行组合，得到右心室组合特征；
对于所述右心室组合特征，通过自注意力机制，在空间维度上学习自注意力矩阵，得到右心室空间注意力特征；
对于所述右心室组合特征，通过自注意力机制，在通道维度上学习自注意力矩阵，得到右心室通道注意力特征；
将所述右心室空间注意力特征和所述右心室通道注意力特征进行组合，融入所述基于自注意力机制多尺度特征的右心室分割网络模型的特征提取和特征还原网络中，得到所述右心室特征；
根据所述右心室特征，对所述心脏磁共振图像中的区域进行标记，得到右心室分割结果。
2.根据权利要求1所述的右心室分割方法，其特征在于，所述对于所述右心室组合特征，通过自注意力机制，在空间维度上学习自注意力矩阵，得到右心室空间注意力特征，包括：
输入所述右心室组合特征；所述右心室组合特征为右心室组合特征图；用
Figure DEST_PATH_IMAGE001
表示右心室组合特征图；
利用卷积层，处理所述右心室组合特征图，生成第一特征图、第二特征图和第三特征图；其中，所述第一特征图、第二特征图和第三特征图的像素，与所述右心室组合特征图的像素相同，用
Figure 764691DEST_PATH_IMAGE002
表示；其中，A表示第一特征图，B表示第二特征图，Z表示第三特征图；
对所述第一特征图和第二特征图进行矩阵重构，得到重构后的所述第一特征图和第二特征图，用
Figure DEST_PATH_IMAGE003
表示；其中，N为特征图中单个通道的像素个数，即
Figure 375801DEST_PATH_IMAGE004
；
对
Figure DEST_PATH_IMAGE005
和
Figure 57318DEST_PATH_IMAGE006
的转置矩阵
Figure DEST_PATH_IMAGE007
做矩阵乘法，将得到的结果输入到激活函数层来计算得到空间自注意力矩阵
Figure 121089DEST_PATH_IMAGE008
，计算公式为：
Figure DEST_PATH_IMAGE009
其中，
Figure 788830DEST_PATH_IMAGE010
用来度量位置
Figure DEST_PATH_IMAGE011
的像素对位置
Figure 316764DEST_PATH_IMAGE012
的像素的影响；
对所述第三特征图进行矩阵重构，得到重构后的所述第三特征图，用
Figure DEST_PATH_IMAGE013
表示；
用重构后的所述第三特征图与所述空间自注意力矩阵
Figure 106865DEST_PATH_IMAGE014
的转置矩阵
Figure DEST_PATH_IMAGE015
做矩阵乘法，得到空间自注意力矩阵；
将得到的空间自注意力矩阵融入输入的所述右心室组合特征图，输出为
Figure 330036DEST_PATH_IMAGE016
，计算公式为：
Figure DEST_PATH_IMAGE017
其中，
Figure 926102DEST_PATH_IMAGE018
为自学习参数，其初始值为0。
3.根据权利要求1所述的右心室分割方法，其特征在于，所述对于所述右心室组合特征，通过自注意力机制，在通道维度上学习自注意力矩阵，得到右心室通道注意力特征，包括：
输入所述右心室组合特征；所述右心室组合特征为右心室组合特征图；用
Figure DEST_PATH_IMAGE019
表示右心室组合特征图；
将所述右心室组合特征图重构为
Figure 918329DEST_PATH_IMAGE020
；
将
Figure DEST_PATH_IMAGE021
与其转置矩阵
Figure 147841DEST_PATH_IMAGE022
做矩阵乘法，将得到的结果输入到激活函数层来计算得到通道自注意力矩阵
Figure DEST_PATH_IMAGE023
，计算公式为：
Figure 982942DEST_PATH_IMAGE024
其中，
Figure DEST_PATH_IMAGE025
用来度量通道
Figure 992486DEST_PATH_IMAGE011
的像素对通道
Figure 963853DEST_PATH_IMAGE012
的像素的影响；
将
Figure 564599DEST_PATH_IMAGE026
的转置矩阵
Figure DEST_PATH_IMAGE027
和
Figure 90258DEST_PATH_IMAGE021
做矩阵乘法后重构使其维数为
Figure 434652DEST_PATH_IMAGE028
；
将所述通道自注意力矩阵融入输入的所述右心室组合特征图，输出为
Figure DEST_PATH_IMAGE029
，计算公式为：
Figure 729367DEST_PATH_IMAGE030
其中，
Figure DEST_PATH_IMAGE031
为自学习参数，其初始值设置为0。
4.根据权利要求1所述的右心室分割方法，其特征在于，所述基于自注意力机制多尺度特征的右心室分割网络模型包括：
下采样块、上采样块、连接层；
其中，所述下采样块包括：自注意力机制多尺度特征扩张块和池化层；
所述上采样块包括：特征跳跃融合、自注意力机制多尺度特征扩张块、上采样层和卷积层；
所述连接层采用跳越连接的方式连接所述下采样块和所述上采样块。
5.根据权利要求4所述的右心室分割方法，其特征在于，所述自注意力机制多尺度特征扩张块，包括：
空洞卷积层、连接层、空间自注意力模块、通道自注意力模块和标准卷积层。
6.根据权利要求1所述的右心室分割方法，其特征在于，所述基于自注意力机制多尺度特征的右心室分割网络模型的损失函数包括：
Figure 969855DEST_PATH_IMAGE032
其中，LTOTAL表示基于自注意力机制多尺度特征的右心室分割网络模型的损失函数；
LDice表示骰子损失函数；
LWCE表示加权交叉熵损失函数；
λ表示平衡骰子损失函数与加权交叉熵损失函数的权重参数。
7.根据权利要求1所述的右心室分割方法，其特征在于，所述根据所述右心室特征，对所述心脏磁共振图像中的区域进行标记，得到右心室分割结果，包括：
根据所述右心室特征，利用二进制标记所述待分割的心脏磁共振图像中的右心室区域的像素和其余区域的像素，将标记后的所述待分割的心脏磁共振图像，作为所述右心室分割结果。
8.一种基于自注意力机制多尺度特征的右心室分割装置，其特征在于，包括：
图像获取模块，用于获取待分割的心脏磁共振图像；
特征提取模块，用于通过预先获取的基于自注意力机制多尺度特征的右心室分割网络模型，提取所述心脏磁共振图像中的右心室特征；具体用于：
通过若干不同扩张速率的空洞卷积层，提取不同尺度的右心室原始特征；
对所述不同尺度的右心室原始特征进行组合，得到右心室组合特征；
对于所述右心室组合特征，通过自注意力机制，在空间维度上学习自注意力矩阵，得到右心室空间注意力特征；
对于所述右心室组合特征，通过自注意力机制，在通道维度上学习自注意力矩阵，得到右心室通道注意力特征；
将所述右心室空间注意力特征和所述右心室通道注意力特征进行组合，融入所述基于自注意力机制多尺度特征的右心室分割网络模型的特征提取和特征还原网络中，得到所述右心室特征；
结果生成模块，用于根据所述右心室特征，对所述心脏磁共振图像中的区域进行标记，得到右心室分割结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
CN202011106465.7A 2020-10-16 2020-10-16 基于自注意力机制多尺度特征的右心室分割方法及装置 Active CN112017198B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011106465.7A CN112017198B (zh) 2020-10-16 2020-10-16 基于自注意力机制多尺度特征的右心室分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011106465.7A CN112017198B (zh) 2020-10-16 2020-10-16 基于自注意力机制多尺度特征的右心室分割方法及装置

Publications (2)

Publication Number Publication Date
CN112017198A CN112017198A (zh) 2020-12-01
CN112017198B true CN112017198B (zh) 2021-01-15

Family

ID=73527541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011106465.7A Active CN112017198B (zh) 2020-10-16 2020-10-16 基于自注意力机制多尺度特征的右心室分割方法及装置

Country Status (1)

Country Link
CN (1) CN112017198B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489061B (zh) * 2020-12-09 2024-04-16 浙江工业大学 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法
CN112465828B (zh) * 2020-12-15 2024-05-31 益升益恒(北京)医学技术股份公司 一种图像语义分割方法、装置、电子设备及存储介质
CN112419320B (zh) * 2021-01-22 2021-04-27 湖南师范大学 基于sam与多层uda的跨模态心脏分割方法
CN113256592B (zh) * 2021-06-07 2021-10-08 中国人民解放军总医院 图像特征提取模型的训练方法、***及装置
CN113243886B (zh) * 2021-06-11 2021-11-09 四川翼飞视科技有限公司 一种基于深度学习的视力检测***、方法和存储介质
CN113591859A (zh) * 2021-06-23 2021-11-02 北京旷视科技有限公司 图像分割方法、装置、设备及介质
CN113344935B (zh) * 2021-06-30 2023-02-03 山东建筑大学 基于多尺度难度感知的图像分割方法及***
EP4136613A1 (en) * 2021-07-01 2023-02-22 Google LLC Multi-scale transformer for image analysis
CN113793345B (zh) * 2021-09-07 2023-10-31 复旦大学附属华山医院 一种基于改进注意力模块的医疗影像分割方法及装置
CN113869181B (zh) * 2021-09-24 2023-05-02 电子科技大学 一种选择池化核结构的无人机目标检测方法
CN114005138A (zh) * 2021-10-29 2022-02-01 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和介质
CN114359310B (zh) * 2022-01-13 2024-06-04 浙江大学 一种基于深度学习的3d心室核磁共振视频分割优化***
CN114219817A (zh) * 2022-02-22 2022-03-22 湖南师范大学 新冠肺炎ct图像分割方法及终端设备
CN115205298B (zh) * 2022-09-19 2022-12-09 真健康（北京）医疗科技有限公司 肝部区域血管分割的方法及设备
CN115590481B (zh) * 2022-12-15 2023-04-11 北京鹰瞳科技发展股份有限公司 一种用于预测认知障碍的装置和计算机可读存储介质
CN116129207B (zh) * 2023-04-18 2023-08-04 江西师范大学 一种多尺度通道注意力的图像数据处理方法
CN116152253B (zh) * 2023-04-20 2023-06-16 四川大学华西医院 心脏磁共振mapping量化方法、***和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163878A (zh) * 2019-05-28 2019-08-23 四川智盈科技有限公司 一种基于双重多尺度注意力机制的图像语义分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163878A (zh) * 2019-05-28 2019-08-23 四川智盈科技有限公司 一种基于双重多尺度注意力机制的图像语义分割方法

Also Published As

Publication number Publication date
CN112017198A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112017198B (zh) 基于自注意力机制多尺度特征的右心室分割方法及装置
Zheng et al. 3-D consistent and robust segmentation of cardiac images by deep learning with spatial propagation
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
CN107492071B (zh) 医学图像处理方法及设备
CN109978037B (zh) 图像处理方法、模型训练方法、装置、和存储介质
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及***
CN110930416B (zh) 一种基于u型网络的mri图像***分割方法
Ma Histogram matching augmentation for domain adaptation with application to multi-centre, multi-vendor and multi-disease cardiac image segmentation
CN106408001A (zh) 基于深度核哈希的感兴趣区域快速检测方法
Yang et al. A deep learning segmentation approach in free‐breathing real‐time cardiac magnetic resonance imaging
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
CN110910408A (zh) 图像分割方法、装置、电子设备及可读存储介质
WO2022127500A1 (zh) 基于多个神经网络的mri图像分割方法、装置及设备
Cui et al. Bidirectional cross-modality unsupervised domain adaptation using generative adversarial networks for cardiac image segmentation
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN110992352A (zh) 基于卷积神经网络的婴儿头围ct图像自动测量方法
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN113223015A (zh) 血管壁图像分割方法、装置、计算机设备和存储介质
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
Debnath et al. Brain tumour segmentation using memory based learning method
Ameen et al. Explainable residual network for tuberculosis classification in the IoT era
CN111815569B (zh) 基于深度学习的图像分割方法、装置、设备和存储介质
CN116704305A (zh) 基于深度学习算法的超声心动图多模态多切面分类方法
Zhang et al. Multi-scale aggregation networks with flexible receptive fields for melanoma segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant