CN111325751A - 基于注意力卷积神经网络的ct图像分割*** - Google Patents

基于注意力卷积神经网络的ct图像分割*** Download PDF

Info

Publication number
CN111325751A
CN111325751A CN202010190946.4A CN202010190946A CN111325751A CN 111325751 A CN111325751 A CN 111325751A CN 202010190946 A CN202010190946 A CN 202010190946A CN 111325751 A CN111325751 A CN 111325751A
Authority
CN
China
Prior art keywords
module
attention
convolution
feature
pooling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010190946.4A
Other languages
English (en)
Other versions
CN111325751B (zh
Inventor
龙建武
宋鑫磊
安勇
鄢泽然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Technology
Original Assignee
Chongqing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology filed Critical Chongqing University of Technology
Priority to CN202010190946.4A priority Critical patent/CN111325751B/zh
Publication of CN111325751A publication Critical patent/CN111325751A/zh
Application granted granted Critical
Publication of CN111325751B publication Critical patent/CN111325751B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种基于注意力卷积神经网络的CT图像分割***，包括使用并联卷积神经网络来逐步减小输入图像的特征图大小，通过网络层复用以及各层特征的截取与融合，实现同时提取出图像语义信息和空间信息的特征编码模块；使用池化生成注意力特征，将特征编码模块提取的语义信息特征进一步精练细化的语义信息提取注意力模块；使用最大池化与平均池化并联，将经过精细化的语义信息特征与经过特征编码模块拼接的语义信息和空间信息特征进行融合组成为注意力特征图的特征融合池化注意力模块；使用卷积模块与上采样模块，将注意力特征图逐步精细还原为输入图像大小的特征图解码模块。本发明通过融合注意力模块，实现了高效而精准的图像分割。

Description

基于注意力卷积神经网络的CT图像分割***
技术领域
本发明涉及图像理解技术领域，具体涉及一种基于注意力卷积神经网络的CT图像分割***。
背景技术
图像分割作为计算机视觉领域重要的基础性研究问题，而医学影像分割作为图像分割的一种应用，可以短时间并迅速的对于大量患者的病灶精确准定位。因此如何有效的将图像分割技术应用在医学影像中，成为研究者们的主要任务。
医学影像分割通过对医学影像特征的提取，逐像素将图像中的语义表达分类，医学影像分割需要精确定位对象与所属于的类和对象所在的位置，且需要清楚的划分出对象边界，以区分出不同类别对象。
目前国内外广泛应用的医学图像分割方法有很多种，其中传统方法主要包括：基于阈值的分割，阈值分割的优点是实现相对简单，但是不太适用于多通道图像和特征值相差不大的图像，对于图像中不存在明显的灰度差异或各物体的灰度值范围有较大重叠的图像分割问题难以得到准确的结果；基于边缘分割方法，边缘检测的优点是搜索检测速度很快，对边缘检测效果好，但是也有着不能得到较好的区域结构、边缘检测时抗噪性和检测精度之间的矛盾的缺点；基于活动轮廓模型的方法又称Snake模型，原始的Snake模型其基本思想是通过能量最小化，将一条带有能量函数的初始曲线朝着待检测的目标轮廓方向逐步变形与运动，最终收敛到目标边界，得到一个光滑并且连续的轮廓，原始的Snake模型存在难以捕捉目标凹陷边界及对初始轮廓线敏感等不足，因而后续有许多改进的方法。
另外基于神经网络的分割方法，自从Long等人于2014年提出FCN算法(FullyConvolutional Networks)之后，就将端到端的卷积网络推广到语义分割中。其重新将预训练好的ImageNet网络用于分割问题中，使用反卷积层进行上采样，提出了跳跃连接来改善上采样的粗糙程度，但是FCN得到的结果距离实际应用还是有着一定的差距。虽然使用跳跃结构进行精度的提升，但是对于图像的边缘信息，模型无法很好的分离出来。对逐像素分类的过程当中，FCN没有充分考虑到像素间的联系，缺少空间一致性。Vijay等人于2015年提出SegNet(Semantic Segmentation)算法，该算法将大池化指数转移至解码器中，改善了分割分辨率。在FCN网络中，通过卷积层和一些跳跃连接产生了粗糙的分割图，为了提升效果而引入了更多的跳跃连接。然而，FCN仅仅复制了编码器特征，而SegNet复制了最大池化指数，这使得在内存使用上，SegNet比FCN更为高效。
Ronneberger等人提出的U-Net将浅层语义信息与深层语义信息相结合，使用Encoder与Decoder架构对于医疗图像进行分割，但是其特征提取的部分并不好。Yu等人于2016年提出了空洞卷积层(DilatedConvolutions)，在不降低空间维度的前提下增大了相应的感受野指数。在接下来将提到的DeepLab中，空洞卷积被称为多孔卷积(AtrousConvolution)。从预训练好的分类网络中(这里采用VGG，Visual Geometry GroupNetwork)移除最后两个池化层，而用空洞卷积取代了随后的卷积层。DeepLabV2和V3中使用了空洞卷积，并且在空间维度上实现金字塔型的空洞池化ASPP(Atrous Spatial PyramidPooling)，同时使用了全连接条件随机场，空洞卷积在不增加参数量的情况下增大了感受野。
Zhao等人于2017年提出了PSPNet(Pyramid Scene Parsing Network)该算法提出了金字塔池化模块来聚合背景信息，并使用了附加损失(Auxiliary Loss)。另外全局场景分类很重要，由于它提供了分割类别分布的线索，金字塔池化模块使用大内核池化层来捕获这些信息。和上文提到的空洞卷积***一样，PSPNet也用空洞卷积来改善ResNet结构，并添加了一个金字塔池化模块，该模块将ResNet的特征图谱连接到并行池化层的上采样输出，其中内核分别覆盖了图像的整个区域、半个区域和小块区域。
Chen等人又于2018年提出了DeepLabV3+模型，使用空间金字塔池模块和编码-解码器结构被用于深度神经网络用于语义分割任务。前一种网络能够通过以多种速率和多个有效视场探测具有滤波器或汇集操作的输入特征来对多尺度上下文信息进行编码，而后一种网络能够通过逐渐恢复空间信息来捕获更清晰的对象边界。该算法结合两种方法的优点，通过添加一个简单而有效的解码器模块来扩展DeepLabv3+，以细化分割结果，特别是沿着对象边界。通过进一步探索Xception模型，并将深度可分离卷积应用于ASPP(AtrousSpatial Pyramid Pooling)和解码器模块，构造了更快更强的编码器-解码器网络，但是却存在计算资源消耗大等缺点。金字塔结构作为语义分割的一个模块，具有很好的整合性，可以很容易的添加在任何神经网络结构中，在进行上下文信息提取的过程中，获得了优秀的效果。但是金字塔结构存在一些缺陷，例如对于提取到的信息来说，什么是真正需要网络去重视的部分，这一点金字塔结构并没有很好的解释。
发明内容
针对现有技术存在的技术问题，本发明提供一种基于注意力卷积神经网络的CT图像分割***，该***通过使用深度学习方法，融合注意力模块设计出一个精准并高效的分割模型，以此来提高现有CT图像分割方法的执行效率，得到更为准确的分割结果。
为了解决上述技术问题，本发明采用了如下的技术方案：
一种基于注意力卷积神经网络的CT图像分割***，包括特征编码模块、语义信息提取注意力模块、特征融合池化注意力模块和特征图解码模块；其中，所述特征编码模块使用并联卷积神经网络来逐步减小输入图像的特征图大小，通过网络层复用以及各层特征的截取与融合，实现同时提取出图像的语义信息特征和空间信息特征；所述语义信息提取注意力模块使用池化生成注意力特征，将所述特征编码模块提取的语义信息特征进一步精练细化；所述特征融合池化注意力模块使用最大池化与平均池化并联，将经过所述语义信息提取注意力模块精细化的语义信息特征与经过所述特征编码模块拼接的语义信息和空间信息特征进行融合组成为注意力特征图；所述特征图解码模块使用卷积模块与上采样模块，将所述特征融合池化注意力模块融合的注意力特征图逐步精细还原为输入图像大小。
与现有技术相比，本发明提供的基于注意力卷积神经网络的CT图像分割***，首先通过使用卷积神经网络逐步减小输入图像的特征图大小，进而提取出丰富的语义信息特征用以优化分类任务，同时在语义信息特征提取时通过网络设计，减少空间信息特征压缩的损失，由于同时考虑到语义信息和空间信息的提取，由此不但能够提高图像分割执行效率，而且能够学习到更多的特征且收敛速度非常快，同时具有较高的相似度(dice)值和较低的损失(loss)值；接着使用语义信息提取注意力模块来优化语义信息的提取；然后使用特征融合池化注意力模块将语义信息提取注意力模块精细化的语义信息特征与特征编码模块拼接的语义信息和空间信息特征相结合，通过池化注意力进行融合处理得到注意力特征图，由于通过融合将语义信息特征和空间信息特征有效地结合在了一起，因此无论是在精准率上还是召回率上各项指标都得到了较大提升，进而带来了较高的分割精度提升；最后使用特征图解码模块进行上采样和卷积操作，将注意力特征图逐步精细还原为输入图像大小。另外，本发明提供的分割***模型与目前典型的分割网络相比，本发明对于CT图像数据集分割具有更高的适应性。
进一步，所述特征编码模块包括顺序设置的第一卷积模块、第二卷积模块、第一至第四瓶颈通路和第一拼接操作模块，所述第一卷积模块包括顺序设置的卷积层和批正则化，所述第二卷积模块包括顺序设置的卷积层、批正则化和ReLu激活函数，所述第一至第四瓶颈通路并行设置，从所述第一瓶颈通路开始到第四瓶颈通路结束，每条瓶颈通路中的瓶颈层不断减少，而第二至第四瓶颈通路相比于第一瓶颈通路输出特征图的大小不断缩小，且每个瓶颈层最终输出的特征图通道数随着层数的增加而增加，所述第一拼接操作模块将四个瓶颈通路提取的语义信息特征和空间信息特征进行拼接。
进一步，所述卷积层的卷积核大小为3×3，步长为2。
进一步，所述第一至第四瓶颈通路中瓶颈层数分别为4、3、2、1，而第二至第四瓶颈通路相比于第一瓶颈通路输出的特征图大小分别为1/2、1/4、1/8，且第一至第四瓶颈通路中输出特征图的通道数分别为128、256、512和1024。
进一步，每个瓶颈层包括顺序设置的三个卷积单元、相加单元和ReLu激活函数单元，每个卷积单元包括顺序设置的卷积核、批正则化和ReLu激活函数，所述相加单元还与输入至第一个卷积单元的卷积核中的特征图跳跃连接。
进一步，所述语义信息提取注意力模块包括第一通道注意力模块、第二通道注意力模块、全局池化模块、乘操作模块以及第二拼接操作模块，所述第一通道注意力模块和第二通道注意力模块并列设置，每个所述通道注意力模块包括顺序设置的用于捕捉输入特征图中上下文语义特征信息的全局平均池化，用于计算语义信息权重的卷积，用于细化语义信息提取的批正则化和Sigmoid激活函数，以及用于将细化后的语义信息与输入特征图相乘的乘操作，所述乘操作模块用于将第二通道注意力模块输出的特征图与该特征图经全局池化模块处理后的输出特征图相乘，所述第二拼接操作模块用于将第一通道注意力模块输出的特征图与乘操作模块的输出特征图进行拼接，两个所述通道注意力模块的输入特征图通过对接特征编码模块提取的语义信息特征获得。
进一步，所述特征融合池化注意力模块包括第三卷积模块、平均池化通路、最大池化通路和双路池化乘操作模块，所述第三卷积模块用于对融合的语义信息特征和空间信息特征的混合信息特征进行提取并同时转换信息的通道，所述平均池化通路和最大池化通路并联设置分别用于对第三卷积模块提取的特征进行处理，所述双路池化乘操作模块用于对平均池化通路和最大池化通路处理后的两路特征相乘组成为注意力特征图。
进一步，所述平均池化通路使用两个串联的平均池化模块对特征进行处理作为特征提取第一通路，所述最大池化通路使用两个串联的最大池化模块对特征进行处理作为特征提取第二通路。
进一步，所述特征图解码模块包括顺序设置的第一上采样模块、第四卷积模块、第二上采样模块、第五卷积模块和第六卷积模块，所述第一上采样模块和第四卷积模块输出的特征图大小相同，所述第二上采样模块、第五卷积模块和第六卷积模块输出的特征图大小均与输入图像相同。
进一步，所述第一上采样模块和第二上采样模块的采样系数为2。
附图说明
图1是本发明提供的基于注意力卷积神经网络的CT图像分割***原理框图。
图2是图1特征编码模块的结构示意图。
图3是图2特征编码模块中每个瓶颈层的结构示意图。
图4是图1语义信息提取注意力模块中通道注意力模块的结构示意图。
图5是图1特征融合池化注意力模块的结构示意图。
图6是图1特征图解码模块的结构示意图。
图7是FCN与FEM训练过程曲线示意图。
图8是本发明提供的胰腺分割测试结果图像对照示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
请参考图1所示，本发明提供一种基于注意力卷积神经网络的CT图像分割***，包括特征编码模块、语义信息提取注意力模块、特征融合池化注意力模块和特征图解码模块；其中，所述特征编码模块使用并联卷积神经网络来逐步减小输入图像的特征图大小，通过网络层复用以及各层特征的截取与融合，实现同时提取出图像的语义信息特征和空间信息特征；所述语义信息提取注意力模块使用池化生成注意力特征，将所述特征编码模块提取的语义信息特征进一步精练细化；所述特征融合池化注意力模块使用最大池化与平均池化并联，将经过所述语义信息提取注意力模块精细化的语义信息特征与经过所述特征编码模块拼接的语义信息和空间信息特征进行融合组成为注意力特征图；所述特征图解码模块使用卷积模块与上采样模块，将所述特征融合池化注意力模块融合的注意力特征图逐步精细还原为输入图像大小。
与现有技术相比，本发明提供的基于注意力卷积神经网络的CT图像分割***，首先通过使用卷积神经网络逐步减小输入图像的特征图大小，进而提取出丰富的语义信息特征用以优化分类任务，同时在语义信息特征提取时通过网络设计，减少空间信息特征压缩的损失，由于同时考虑到语义信息和空间信息的提取，由此不但能够提高图像分割执行效率，而且能够学习到更多的特征且收敛速度非常快，同时具有较高的相似度(dice)值和较低的损失(loss)值；接着使用语义信息提取注意力模块来优化语义信息的提取；然后使用特征融合池化注意力模块将语义信息提取注意力模块精细化的语义信息特征与特征编码模块拼接的语义信息和空间信息特征相结合，通过池化注意力进行融合处理得到注意力特征图，由于通过融合将语义信息特征和空间信息特征有效地结合在了一起，因此无论是在精准率上还是召回率上各项指标都得到了较大提升，进而带来了较高的分割精度提升；最后使用特征图解码模块进行上采样和卷积操作，将注意力特征图逐步精细还原为输入图像大小。另外，本发明提供的分割***模型与目前典型的分割网络相比，本发明对于CT图像数据集分割具有更高的适应性。
具体地，关于特征编码模块的设计背景如下：众所周知，对于语义分割任务来说，空间信息与语义信息同样重要，传统的深度学习方法使用串联卷积的方式，通过卷积与池化来一步一步缩小特征图的大小以达到提取语义信息与空间信息的目的，例如FCN、SegNet、U-Net、DeepLab等方法。但是通过缩小特征图的方式，在其过程中会无可避免的损失掉空间信息，所以很多模型针对这一点进行了大量的改进，例如：DeepLabV3、PSPNet使用金字塔池化与空洞卷积提取空间信息，BiseNet使用重新增加一个很短的网络，来进行空间特征提取，DenseaASPP使用Dense的连接结构，将特征空间损失降到最小，PAN在主干网络的尾部与中间，增加注意力模块以增加网络的空间特征提取力。但是如果过于注重空间信息，又无法得到非常精确的语义信息，造成两难的局面。对此本发明通过设计一个网络，同时进行语义信息提取和空间信息提取这两个复杂的任务，在仅增加少量网络参数的情况下，通过网络层复用，以及各层特征的截取与融合，实现同时提取出空间信息和语义信息特征，并且不会带来额外的损失。
作为具体实施例，请参考图2所示，所述特征编码模块包括顺序设置的第一卷积模块、第二卷积模块、第一至第四瓶颈通路和第一拼接操作模块，所述第一卷积模块包括顺序设置的卷积层(Conv)和批正则化(BN)，所述第二卷积模块包括顺序设置的卷积层(Conv)、批正则化(BN)和ReLu激活函数，所述第一至第四瓶颈通路并行设置，从所述第一瓶颈通路开始到第四瓶颈通路结束，每条瓶颈通路中的瓶颈层(Bottleneck)不断减少，而第二至第四瓶颈通路相比于第一瓶颈通路输出特征图的大小不断缩小，且每个瓶颈层最终输出的特征图通道数随着层数的增加而增加，所述第一拼接(concat)操作模块将四个瓶颈通路提取的语义信息特征和空间信息特征进行拼接。本实施例提供的特征编码模块设计，一改传统的卷积串联模式，使用并联的方式以同时提取语义信息特征与空间信息特征，设计网络时将瓶颈层(Bottleneck)设置为4条并行通路，由于每条通路上特征图的大小没有改变，所以空间信息特征得以保留，并且由于每条通道特征图尺度大小不同，所以实现了多尺度特征图的结合；每条通路特征图大小逐步减小，因而在每条通路的顶层实现了语义信息特征的提取。
作为优选实施例，请参考图2所示，所述卷积层的卷积核大小为3×3，步长为2，由此第一卷积模块和第二卷积模块能用以缩小输入图像的特征图，减少计算量。
作为优选实施例，请参考图2所示，所述第一至第四瓶颈通路中瓶颈层数分别为4、3、2、1，而第二至第四瓶颈通路相比于第一瓶颈通路输出的特征图大小分别为1/2、1/4、1/8，且第一至第四瓶颈通路中输出特征图的通道数分别为128、256、512和1024，由此可以更好地同时提取语义信息特征和空间信息特征。
作为具体实施例，请参考图3所示，每个瓶颈层包括顺序设置的三个卷积单元、相加单元(Add)和ReLu激活函数单元，每个卷积单元包括顺序设置的卷积核(ConV2D)、批正则化(BN，Batch Normalization)和ReLu激活函数，所述相加单元还与输入至第一个卷积单元的卷积核中的特征图跳跃连接，以此本发明为卷积层添加了跳跃连接与ReLu激活函数，这样可以通过网络的学习自主选择卷积神经网络的通路，从而更进一步提升精度。
具体地，针对语义信息特征，本发明为该任务重新重点设计了语义信息提取注意力模块(Semantic Information Extraction Attention Module，SIEAM)。作为具体实施例，请参考图1和图4所示，所述语义信息提取注意力模块包括第一通道注意力模块、第二通道注意力模块、全局池化模块、乘操作模块以及第二拼接操作模块，所述第一通道注意力模块和第二通道注意力模块并列设置，每个所述通道注意力模块包括顺序设置的用于捕捉输入特征图中上下文语义特征信息的全局平均池化，用于计算语义信息权重的卷积(ConV2D)，在卷积之后用于细化语义信息提取的批正则化(BN)和Sigmoid激活函数，以及用于将细化后的语义信息与输入特征图相乘的乘(Mul)操作，所述乘(Mul)操作模块用于将第二通道注意力模块输出的特征图与该特征图经全局池化模块处理后的输出特征图相乘，所述第二拼接(concat)操作模块用于将第一通道注意力模块输出的特征图与乘操作模块的输出特征图进行拼接，通过相乘以此作为权重影响输入特征图，从而达到细化语义信息的任务；其中，两个所述通道注意力模块的输入特征图通过对接特征编码模块提取的语义信息特征获得，具体请参考图2所示，图2中最左的瓶颈层(Bottleneck)与次左的上层瓶颈层(Bottleneck)中富含大量的语义信息特征，所以针对这两个Bottleneck，将语义信息提取注意力模块(SIEAM)中的两个通道注意力模块与这两个瓶颈层一一对应对接，具体将最左的瓶颈层与第二通道注意力模块连，而将次左的上层瓶颈层与第一通道注意力模块连，由此将这两个瓶颈层提取的语义信息特征分别一一作为两个通道注意力模块的输入特征图，之后经语义信息提取注意力模块细化后送至特征融合池化注意力模块整合，据此SIEAM在实现整合大量的全局上下文语义信息特征前提下，仅仅增加了一点计算成本。
具体地，关于特征融合池化注意力模块的设计背景如下：虽然特征编码模块可以充分提取到图像特征的空间信息，通过语义信息提取注意力模块也可以更加精细语义信息的提取，但是空间信息与语义信息并不匹配，需要一个模块去整合这两个信息而不是去粗暴的融合。因此本发明提出了特征融合池化注意力模块(Feature Fusion PoolingAttention Module，FFPAM)，将语义信息特征与空间信息特征通过该模块进行融合，并作为注意力信息施加在特征图上，由此可以保证上下文语义信息与空间信息充分融合，从而提升分割精度。
作为具体实施例，请参考图5所示，所述特征融合池化注意力模块包括第三卷积模块、平均池化通路、最大池化通路和双路池化乘操作模块，所述第三卷积模块(包括卷积ConV2D-BN-ReLU激活函数)用于对融合的语义信息特征和空间信息特征的混合信息特征进行提取并同时转换信息的通道，所述平均池化通路和最大池化通路并联设置分别用于对第三卷积模块提取的特征进行处理，所述双路池化乘操作模块用于对平均池化通路和最大池化通路处理后的两路特征相乘组成为注意力特征图。本发明通过并联的平均池化通路和最大池化通路共两路来融合空间信息特征与语义信息特征，由此可以增加模型的感受野，并增强模型的特征提取能力，而且两路特征相乘组成的注意力特征图，同时具有平均池化通路的特征和最大池化通路的特征，将该注意力特征与输入特征图相乘，叠加在输入特征上，作为权重以影响输入特征图，最后使用ResNet中跳跃连接的结构，可以减少注意力模块对于输入特征图的负影响并输出最终特征图。本实施例中的特征融合池化注意力模块，通过两条路线相乘成功将上下文语义信息与图像空间信息结合在一起，带来了较高的精度提升，为了验证平均池化与最大池化的效用，本发明实验测试了单路最大池化、单路平均池化、双路池化相加、双路池化合并与双路池化相乘这5种情况，实验证明双路池化相乘确实带来了最佳的精度，并通过设计该模块的有无，证明了该模块提升了2.71％的相似度(dice)精度。
作为优选实施例，请参考图5所示，所述平均池化通路使用两个串联的平均池化模块(包括平均池化AvgPool-卷积ConV2D-ReLU激活函数)对特征进行处理作为特征提取第一通路，第二平均池化模块中ReLU激活函数的输出与该通路的输入特征图相乘后，再将相乘组成的特征图与该通路的输入特征图相加作为该通路最终输出结果；所述最大池化通路使用两个串联的最大池化模块(包括最大池化MaxPool-卷积ConV2D-ReLU激活函数)对特征进行处理作为特征提取第二通路，第二最大池化模块中ReLU激活函数的输出与该通路的输入特征图相乘后，再将相乘组成的特征图与该通路的输入特征图相加作为该通路最终输出结果；最后将两个通路最终输出的特征与第三卷积模块提取的特征(即第三卷积模块中ReLU激活函数的输出)相乘，再将相乘的结果与第三卷积模块提取的特征相加(Add)后经ReLU激活函数组成为注意力特征图。
作为具体实施例，请参考图6所示，所述特征图解码模块包括顺序设置的第一上采样模块(Upsample)、第四卷积模块(包括卷积Conv-BN-ReLU激活函数)、第二上采样模块(Upsample)、第五卷积模块(包括卷积Conv-BN-ReLU激活函数)和第六卷积模块(包括卷积Conv-BN-ReLU激活函数)，所述第一上采样模块和第四卷积模块输出的特征图大小相同(例如为96，128)，所述第二上采样模块、第五卷积模块和第六卷积模块输出的特征图大小(例如为192，256)均与输入图像相同。本实施例通过使用三个卷积模块来对上采样信息进行精细化处理，由此达到一步一步细化分割结果，最终实现精度提升。
作为具体实施例，所述第一上采样模块和第二上采样模块的采样系数为2，具体可使用现有的双线性插值法进行采样，即采用双线性插值法2倍上采样来进行采样，并通过卷积模块对双线性插值法上采样带来的一定空间信息损失进行精细化处理，进而减小了采样带来的空间信息损失。
作为优选实施例，在设计本发明提供的CT图像(如胰腺图像)分割***模型时，首先需要准备数据集并对数据集进行预处理，处理为模型所需要的输入，以提升模型的鲁棒性。具体地，数据预处理包括：对每个切片进行处理，将像素大于240的像素全部归为240，将像素小于-100的像素，全部归为-100，计算公式如下：
image Pixel[Pixel＜low_range]＝low_range
image Pixel[Pixel＞high_range]＝high_range
其中image Pixel为图像像素，low_range为-100，high_range为240。然后对各切片进行归一化，使其像素强度等比映射在(-1，1)之间。
数据集准备包括：采用公开数据集NIH pancreas segmentation dataset，并使用4折交叉验证，将数据集分为训练集、验证集和测试集三部分。其中训练集与验证集共62个样本，测试集总共20个样本。在训练时，使用Adam优化器，初始学习率设置为10-5，之后每10epochs(可理解为批次，等于使用训练集中的全部样本训练一次)学习率衰减0.2，实验中共重复训练100批次。结果表明，从头开始训练医学图像与微调自然图像预训练的模型相比，可以实现更好的性能且训练时间更短。
与现有技术相比，本发明提供的基于注意力卷积神经网络的CT图像分割***优点如下：
第一、在特征编码模块中，本发明使用FCN相对于主干网络比较进行了实验，本发明由于使用了学习率衰减、初始化参数、正则化输入和防止过拟合等策略，从训练过程图7中可以看出重复100epochs的情况下，本发明提出的***方案图像中物体分割具有较高的dice值；由于同时考虑到语义信息与空间信息，可以看到收敛速度非常快，同时loss值要比基线FCN要低，也体现在dice值要比FCN更高。
第二、本发明所使用的交叉并行网络在提取图像信息的过程中，比FCN学习到了更多的特征。如下表1所示，在参数量远远小于VGG16为基本架构的FCN的同时，本发明的网络不论在精准率还是召回率或是dice分数上，得分都远高于FCN，这证明了本发明所使用的特征编码模块的有效性。
表1
模型 平均dice％ 最大dice％ 最小dice％ 精准率 召回率 参数量
FCN 69.02±6.3 76.14 49.48 0.7092 0.6754 134.3M
FEM 78.93±5.6 86.54 65.15 0.8339 0.7543 16.15M
第三、本发明在特征融合池化注意力模块中，如下表2所示，将特征融合池化注意力模块的通路设置为一条，将平均池化通路与最大池化通路两条通路相乘做实验，各方面指标都得到了较大的提升，所有指标均高于前项，两条通路结果相乘成功将上下文语义信息与图像空间信息结合在一起，带来了较高的精度。
表2
Figure BDA0002415879340000131
Figure BDA0002415879340000141
第四、如下表3所示，本发明所使用框架在参数量远远少于目前典型网络FCN与U-Net的情况下，dice值有着较大的提升。
表3
模型 基础网络 Dice％ 参数量
FCN VGG16 80.3 134.3M
U-Net VGG16 79.7 23.3M
Bisenet XceptionV1 82.8 44.8M
本***所使用框架 FEM 86.6 18.9M
第五、如下表4所示，本发明将与目前典型的网络对比，以观察各模型对于胰腺CT数据集的适应性。在目前82个样本之中，大部分模型使用了62/20训练/测试集比，#Folds为交叉验证的折数可以看到，本发明***模型高于目前的这些典型模型。
表4
Figure BDA0002415879340000142
第六、本发明对于各模块的融合实验与之前的实验一样，使用20个样本作为测试集，接着对这20个样本分别测试其精准率、召回率和dice值。如下表5所示，可以看到Base+Decoder+ARM+GAM，除了精准率略低于Base+Decoder+ARM以外，在召回率与dice值的体现上，都远远高于其他，这也验证了所有模块叠加的有效性。
表5
模型 平均dice％ 最大dice％ 最小dice％ 精准率 召回率 参数量
FCN(baseline) 69.02±6.3 76.14 49.48 0.7092 0.6754 134.3M
FEM+FDM 82.81±4.2 88.54 74.07 0.8477 0.8115 16.15M
FEM+FDM+SIEAM 83.91±4.4 89.70 73.89 0.8726 0.8106 18,96M
FEM+FDM+SIEAM+FFPAM 86.62±3.6 91.31 78.91 0.8607 0.8737 19.8M
同时请参考图8所示，第1行为分割前的图像Image，第2行为标签GT，第3行为FCN所分割测试结果，第4行为U-Net所分割测试结果，第5行为FEM+FDM所分割测试结果，第6行为FEM+FDM+SIEAM+FFPAM也就是最终算法所分割测试结果。根据该图可以看出，由于FCN将分割小的特征图使用转置卷积直接上采样，该结果缺乏边缘平滑性，呈现出马赛克一样的分割结果。由于U-Net具有平缓的上采样，所以该算法很好的平滑了FCN生硬的边缘特征，但是U-Net在细节分割上，产生了很多的额外的小碎片，不如在第4行的第2张、第3张、第4张分割预测图上，都出现了细小的碎片。在第5行，本发明使用的FEM+FDM上，由于有效的保留了图像的空间信息与语义信息，有效的减少了U-Net在分割过程中产生的碎片，使整个画面变得干净；但是在细节分割中，存在一些欠缺。比如在第5行的第2张，胰腺的褶皱并没有有效的分割出来，在第5行的第3张，胰腺区域被过多分割。在此基础上本发明增加了两个注意力模块专注解决上面所存在的细节缺陷。在第6行，本发明使用的最终模型在有效解决分割目标周围区域碎片化的同时，对于细节区域也较FEM+FDM更加完善，整体也更加接近GT。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.基于注意力卷积神经网络的CT图像分割***，其特征在于，包括特征编码模块、语义信息提取注意力模块、特征融合池化注意力模块和特征图解码模块；其中，所述特征编码模块使用并联卷积神经网络来逐步减小输入图像的特征图大小，通过网络层复用以及各层特征的截取与融合，实现同时提取出图像的语义信息特征和空间信息特征；所述语义信息提取注意力模块使用池化生成注意力特征，将所述特征编码模块提取的语义信息特征进一步精练细化；所述特征融合池化注意力模块使用最大池化与平均池化并联，将经过所述语义信息提取注意力模块精细化的语义信息特征与经过所述特征编码模块拼接的语义信息和空间信息特征进行融合组成为注意力特征图；所述特征图解码模块使用卷积模块与上采样模块，将所述特征融合池化注意力模块融合的注意力特征图逐步精细还原为输入图像大小。
2.根据权利要求1所述的基于注意力卷积神经网络的CT图像分割***，其特征在于，所述特征编码模块包括顺序设置的第一卷积模块、第二卷积模块、第一至第四瓶颈通路和第一拼接操作模块，所述第一卷积模块包括顺序设置的卷积层和批正则化，所述第二卷积模块包括顺序设置的卷积层、批正则化和ReLu激活函数，所述第一至第四瓶颈通路并行设置，从所述第一瓶颈通路开始到第四瓶颈通路结束，每条瓶颈通路中的瓶颈层不断减少，而第二至第四瓶颈通路相比于第一瓶颈通路输出特征图的大小不断缩小，且每个瓶颈层最终输出的特征图通道数随着层数的增加而增加，所述第一拼接操作模块将四个瓶颈通路提取的语义信息特征和空间信息特征进行拼接。
3.根据权利要求2所述的基于注意力卷积神经网络的CT图像分割***，其特征在于，所述卷积层的卷积核大小为3×3，步长为2。
4.根据权利要求2所述的基于注意力卷积神经网络的CT图像分割***，其特征在于，所述第一至第四瓶颈通路中瓶颈层数分别为4、3、2、1，而第二至第四瓶颈通路相比于第一瓶颈通路输出的特征图大小分别为1/2、1/4、1/8，且第一至第四瓶颈通路中输出特征图的通道数分别为128、256、512和1024。
5.根据权利要求2所述的基于注意力卷积神经网络的CT图像分割***，其特征在于，每个瓶颈层包括顺序设置的三个卷积单元、相加单元和ReLu激活函数单元，每个卷积单元包括顺序设置的卷积核、批正则化和ReLu激活函数，所述相加单元还与输入至第一个卷积单元的卷积核中的特征图跳跃连接。
6.根据权利要求1所述的基于注意力卷积神经网络的CT图像分割***，其特征在于，所述语义信息提取注意力模块包括第一通道注意力模块、第二通道注意力模块、全局池化模块、乘操作模块以及第二拼接操作模块，所述第一通道注意力模块和第二通道注意力模块并列设置，每个所述通道注意力模块包括顺序设置的用于捕捉输入特征图中上下文语义特征信息的全局平均池化，用于计算语义信息权重的卷积，用于细化语义信息提取的批正则化和Sigmoid激活函数，以及用于将细化后的语义信息与输入特征图相乘的乘操作，所述乘操作模块用于将第二通道注意力模块输出的特征图与该特征图经全局池化模块处理后的输出特征图相乘，所述第二拼接操作模块用于将第一通道注意力模块输出的特征图与乘操作模块的输出特征图进行拼接，两个所述通道注意力模块的输入特征图通过对接特征编码模块提取的语义信息特征获得。
7.根据权利要求1所述的基于注意力卷积神经网络的CT图像分割***，其特征在于，所述特征融合池化注意力模块包括第三卷积模块、平均池化通路、最大池化通路和双路池化乘操作模块，所述第三卷积模块用于对融合的语义信息特征和空间信息特征的混合信息特征进行提取并同时转换信息的通道，所述平均池化通路和最大池化通路并联设置分别用于对第三卷积模块提取的特征进行处理，所述双路池化乘操作模块用于对平均池化通路和最大池化通路处理后的两路特征相乘组成为注意力特征图。
8.根据权利要求7所述的基于注意力卷积神经网络的CT图像分割***，其特征在于，所述平均池化通路使用两个串联的平均池化模块对特征进行处理作为特征提取第一通路，所述最大池化通路使用两个串联的最大池化模块对特征进行处理作为特征提取第二通路。
9.根据权利要求1所述的基于注意力卷积神经网络的CT图像分割***，其特征在于，所述特征图解码模块包括顺序设置的第一上采样模块、第四卷积模块、第二上采样模块、第五卷积模块和第六卷积模块，所述第一上采样模块和第四卷积模块输出的特征图大小相同，所述第二上采样模块、第五卷积模块和第六卷积模块输出的特征图大小均与输入图像相同。
10.根据权利要求9所述的基于注意力卷积神经网络的CT图像分割***，其特征在于，所述第一上采样模块和第二上采样模块的采样系数为2。
CN202010190946.4A 2020-03-18 2020-03-18 基于注意力卷积神经网络的ct图像分割*** Expired - Fee Related CN111325751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010190946.4A CN111325751B (zh) 2020-03-18 2020-03-18 基于注意力卷积神经网络的ct图像分割***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010190946.4A CN111325751B (zh) 2020-03-18 2020-03-18 基于注意力卷积神经网络的ct图像分割***

Publications (2)

Publication Number Publication Date
CN111325751A true CN111325751A (zh) 2020-06-23
CN111325751B CN111325751B (zh) 2022-05-27

Family

ID=71171544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010190946.4A Expired - Fee Related CN111325751B (zh) 2020-03-18 2020-03-18 基于注意力卷积神经网络的ct图像分割***

Country Status (1)

Country Link
CN (1) CN111325751B (zh)

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798428A (zh) * 2020-07-03 2020-10-20 南京信息工程大学 一种皮肤病理图像多种组织自动分割方法
CN111914947A (zh) * 2020-08-20 2020-11-10 华侨大学 基于特征融合图像实例分割方法、装置、设备及存储介质
CN112085760A (zh) * 2020-09-04 2020-12-15 厦门大学 一种腹腔镜手术视频的前景分割方法
CN112084911A (zh) * 2020-08-28 2020-12-15 安徽清新互联信息科技有限公司 一种基于全局注意力的人脸特征点定位方法及***
CN112085741A (zh) * 2020-09-04 2020-12-15 厦门大学 一种基于深度学习的胃癌病理切片分割算法
CN112149661A (zh) * 2020-08-07 2020-12-29 珠海欧比特宇航科技股份有限公司 车牌识别方法、装置及介质
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
CN112365480A (zh) * 2020-11-13 2021-02-12 哈尔滨市科佳通用机电股份有限公司 制动夹钳装置闸片丢失故障识别方法
CN112446891A (zh) * 2020-10-23 2021-03-05 浙江工业大学 基于U-Net网络脑胶质瘤的医学图像分割方法
CN112509052A (zh) * 2020-12-22 2021-03-16 苏州超云生命智能产业研究院有限公司 黄斑中心凹的检测方法、装置、计算机设备和存储介质
CN112580654A (zh) * 2020-12-25 2021-03-30 西南电子技术研究所（中国电子科技集团公司第十研究所） 遥感图像地物语义分割方法
CN112598650A (zh) * 2020-12-24 2021-04-02 苏州大学 眼底医学影像中视杯视盘的联合分割方法
CN112767502A (zh) * 2021-01-08 2021-05-07 广东中科天机医疗装备有限公司 基于医学影像模型的影像处理方法及装置
CN112767247A (zh) * 2021-01-13 2021-05-07 京东方科技集团股份有限公司 图像超分辨率重建方法、模型蒸馏方法、装置及存储介质
CN112784856A (zh) * 2021-01-29 2021-05-11 长沙理工大学 胸部x射线图像的通道注意力特征提取方法和识别方法
CN112927255A (zh) * 2021-02-22 2021-06-08 武汉科技大学 一种基于上下文注意力策略的三维肝脏影像语义分割方法
CN113033572A (zh) * 2021-04-23 2021-06-25 上海海事大学 一种基于usv的障碍物分割网络及其生成方法
CN113065412A (zh) * 2021-03-12 2021-07-02 武汉大学 基于改进的Deeplabv3+的航拍图像电磁介质语义识别方法及装置
CN113112465A (zh) * 2021-03-31 2021-07-13 上海深至信息科技有限公司 一种颈动脉内中膜分割模型的生成***及方法
CN113129321A (zh) * 2021-04-20 2021-07-16 重庆邮电大学 一种基于全卷积神经网络的涡轮叶片ct图像分割方法
CN113158802A (zh) * 2021-03-22 2021-07-23 安徽理工大学 智慧场景分割技术
CN113298174A (zh) * 2021-06-10 2021-08-24 东南大学 一种基于渐进特征融合的语义分割模型的改进方法
CN113298083A (zh) * 2021-02-25 2021-08-24 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN113298825A (zh) * 2021-06-09 2021-08-24 东北大学 一种基于MSF-Net网络的图像分割方法
CN113361537A (zh) * 2021-07-23 2021-09-07 人民网股份有限公司 基于通道注意力的图像语义分割方法及装置
CN113378791A (zh) * 2021-07-09 2021-09-10 合肥工业大学 基于双注意力机制和多尺度特征融合的宫颈细胞分类方法
CN113436094A (zh) * 2021-06-24 2021-09-24 湖南大学 一种基于多视角注意力机制的灰度图像自动上色方法
CN113610164A (zh) * 2021-08-10 2021-11-05 北京邮电大学 一种基于注意力平衡的细粒度图像识别方法及其***
CN113689326A (zh) * 2021-08-06 2021-11-23 西南科技大学 一种基于二维图像分割引导的三维定位方法
CN113689434A (zh) * 2021-07-14 2021-11-23 淮阴工学院 一种基于条带池化的图像语义分割方法
CN113744279A (zh) * 2021-06-09 2021-12-03 东北大学 一种基于FAF-Net网络的图像分割方法
CN113989507A (zh) * 2021-11-23 2022-01-28 江苏科技大学 一种水下图像语义分割模型及分割方法
CN114038037A (zh) * 2021-11-09 2022-02-11 合肥工业大学 基于可分离残差注意力网络的表情标签修正和识别方法
CN114049315A (zh) * 2021-10-29 2022-02-15 北京长木谷医疗科技有限公司 关节识别方法、电子设备、存储介质及计算机程序产品
CN114565766A (zh) * 2022-03-01 2022-05-31 智道网联科技(北京)有限公司 基于BiSeNet V2的路面图像语义分割方法及装置
CN114638256A (zh) * 2022-02-22 2022-06-17 合肥华威自动化有限公司 基于声波信号及注意力网络的变压器故障检测方法及其***
CN116229065A (zh) * 2023-02-14 2023-06-06 湖南大学 一种基于多分支融合的机器人手术器械分割方法
CN116630626A (zh) * 2023-06-05 2023-08-22 吉林农业科技学院 连通双注意力多尺度融合语义分割网络

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124432A1 (en) * 2015-11-03 2017-05-04 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (abc-cnn) for visual question answering
CN107506774A (zh) * 2017-10-09 2017-12-22 深圳市唯特视科技有限公司 一种基于局部注意掩模的分段感知神经网络方法
US20180144208A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. Adaptive attention model for image captioning
CN110211127A (zh) * 2019-08-01 2019-09-06 成都考拉悠然科技有限公司 基于双相关性网络的图像分割方法
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110490813A (zh) * 2019-07-05 2019-11-22 特斯联（北京）科技有限公司 卷积神经网络的特征图增强方法、装置、设备及介质
CN110490891A (zh) * 2019-08-23 2019-11-22 杭州依图医疗技术有限公司 分割图像中关注对象的方法、设备和计算机可读存储介质
CN110532955A (zh) * 2019-08-30 2019-12-03 中国科学院宁波材料技术与工程研究所 基于特征注意力和子上采样的实例分割方法和装置
US20200027211A1 (en) * 2018-07-17 2020-01-23 International Business Machines Corporation Knockout Autoencoder for Detecting Anomalies in Biomedical Images
US20200065969A1 (en) * 2018-08-27 2020-02-27 Siemens Healthcare Gmbh Medical image segmentation from raw data using a deep attention neural network

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124432A1 (en) * 2015-11-03 2017-05-04 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (abc-cnn) for visual question answering
US20180144208A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. Adaptive attention model for image captioning
CN107506774A (zh) * 2017-10-09 2017-12-22 深圳市唯特视科技有限公司 一种基于局部注意掩模的分段感知神经网络方法
US20200027211A1 (en) * 2018-07-17 2020-01-23 International Business Machines Corporation Knockout Autoencoder for Detecting Anomalies in Biomedical Images
US20200065969A1 (en) * 2018-08-27 2020-02-27 Siemens Healthcare Gmbh Medical image segmentation from raw data using a deep attention neural network
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110490813A (zh) * 2019-07-05 2019-11-22 特斯联（北京）科技有限公司 卷积神经网络的特征图增强方法、装置、设备及介质
CN110211127A (zh) * 2019-08-01 2019-09-06 成都考拉悠然科技有限公司 基于双相关性网络的图像分割方法
CN110490891A (zh) * 2019-08-23 2019-11-22 杭州依图医疗技术有限公司 分割图像中关注对象的方法、设备和计算机可读存储介质
CN110532955A (zh) * 2019-08-30 2019-12-03 中国科学院宁波材料技术与工程研究所 基于特征注意力和子上采样的实例分割方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHANGQIAN YU: ""BiSeNet: Bilateral Segmentation Network for Real-time Semantic Segmentation"", 《EPRINT ARXIV:1808.00897》 *
YONG AN,JIANWU LONG: ""A segmentation network with multi-attention and its application to SAR image analysis"", 《IEEJ TRANSACTIONS ON ELECTRICAL AND ELECTRONIC ENGINEERING》 *
陶永才等: ""池化和注意力相结合的新闻文本分类方法"", 《小型微型计算机***》 *

Cited By (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798428B (zh) * 2020-07-03 2023-05-30 南京信息工程大学 一种皮肤病理图像多种组织自动分割方法
CN111798428A (zh) * 2020-07-03 2020-10-20 南京信息工程大学 一种皮肤病理图像多种组织自动分割方法
CN112149661A (zh) * 2020-08-07 2020-12-29 珠海欧比特宇航科技股份有限公司 车牌识别方法、装置及介质
CN111914947B (zh) * 2020-08-20 2024-04-16 华侨大学 基于特征融合图像实例分割方法、装置、设备及存储介质
CN111914947A (zh) * 2020-08-20 2020-11-10 华侨大学 基于特征融合图像实例分割方法、装置、设备及存储介质
CN112084911A (zh) * 2020-08-28 2020-12-15 安徽清新互联信息科技有限公司 一种基于全局注意力的人脸特征点定位方法及***
CN112084911B (zh) * 2020-08-28 2023-03-07 安徽清新互联信息科技有限公司 一种基于全局注意力的人脸特征点定位方法及***
CN112085760A (zh) * 2020-09-04 2020-12-15 厦门大学 一种腹腔镜手术视频的前景分割方法
CN112085741A (zh) * 2020-09-04 2020-12-15 厦门大学 一种基于深度学习的胃癌病理切片分割算法
CN112085741B (zh) * 2020-09-04 2024-03-26 厦门大学 一种基于深度学习的胃癌病理切片分割算法
CN112085760B (zh) * 2020-09-04 2024-04-26 厦门大学 一种腹腔镜手术视频的前景分割方法
CN112446891A (zh) * 2020-10-23 2021-03-05 浙江工业大学 基于U-Net网络脑胶质瘤的医学图像分割方法
CN112446891B (zh) * 2020-10-23 2024-04-02 浙江工业大学 基于U-Net网络脑胶质瘤的医学图像分割方法
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
CN112365480A (zh) * 2020-11-13 2021-02-12 哈尔滨市科佳通用机电股份有限公司 制动夹钳装置闸片丢失故障识别方法
CN112509052B (zh) * 2020-12-22 2024-04-23 苏州超云生命智能产业研究院有限公司 黄斑中心凹的检测方法、装置、计算机设备和存储介质
CN112509052A (zh) * 2020-12-22 2021-03-16 苏州超云生命智能产业研究院有限公司 黄斑中心凹的检测方法、装置、计算机设备和存储介质
CN112598650A (zh) * 2020-12-24 2021-04-02 苏州大学 眼底医学影像中视杯视盘的联合分割方法
CN112580654A (zh) * 2020-12-25 2021-03-30 西南电子技术研究所（中国电子科技集团公司第十研究所） 遥感图像地物语义分割方法
CN112767502A (zh) * 2021-01-08 2021-05-07 广东中科天机医疗装备有限公司 基于医学影像模型的影像处理方法及装置
CN112767502B (zh) * 2021-01-08 2023-04-07 广东中科天机医疗装备有限公司 基于医学影像模型的影像处理方法及装置
CN112767247A (zh) * 2021-01-13 2021-05-07 京东方科技集团股份有限公司 图像超分辨率重建方法、模型蒸馏方法、装置及存储介质
CN112784856A (zh) * 2021-01-29 2021-05-11 长沙理工大学 胸部x射线图像的通道注意力特征提取方法和识别方法
CN112927255B (zh) * 2021-02-22 2022-06-21 武汉科技大学 一种基于上下文注意力策略的三维肝脏影像语义分割方法
CN112927255A (zh) * 2021-02-22 2021-06-08 武汉科技大学 一种基于上下文注意力策略的三维肝脏影像语义分割方法
CN113298083A (zh) * 2021-02-25 2021-08-24 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN113065412A (zh) * 2021-03-12 2021-07-02 武汉大学 基于改进的Deeplabv3+的航拍图像电磁介质语义识别方法及装置
CN113158802A (zh) * 2021-03-22 2021-07-23 安徽理工大学 智慧场景分割技术
CN113112465A (zh) * 2021-03-31 2021-07-13 上海深至信息科技有限公司 一种颈动脉内中膜分割模型的生成***及方法
CN113129321A (zh) * 2021-04-20 2021-07-16 重庆邮电大学 一种基于全卷积神经网络的涡轮叶片ct图像分割方法
CN113033572B (zh) * 2021-04-23 2024-04-05 上海海事大学 一种基于usv的障碍物分割网络及其生成方法
CN113033572A (zh) * 2021-04-23 2021-06-25 上海海事大学 一种基于usv的障碍物分割网络及其生成方法
CN113298825A (zh) * 2021-06-09 2021-08-24 东北大学 一种基于MSF-Net网络的图像分割方法
CN113744279B (zh) * 2021-06-09 2023-11-14 东北大学 一种基于FAF-Net网络的图像分割方法
CN113298825B (zh) * 2021-06-09 2023-11-14 东北大学 一种基于MSF-Net网络的图像分割方法
CN113744279A (zh) * 2021-06-09 2021-12-03 东北大学 一种基于FAF-Net网络的图像分割方法
CN113298174A (zh) * 2021-06-10 2021-08-24 东南大学 一种基于渐进特征融合的语义分割模型的改进方法
CN113298174B (zh) * 2021-06-10 2022-04-29 东南大学 一种基于渐进特征融合的语义分割模型的改进方法
CN113436094A (zh) * 2021-06-24 2021-09-24 湖南大学 一种基于多视角注意力机制的灰度图像自动上色方法
CN113378791A (zh) * 2021-07-09 2021-09-10 合肥工业大学 基于双注意力机制和多尺度特征融合的宫颈细胞分类方法
CN113378791B (zh) * 2021-07-09 2022-08-05 合肥工业大学 基于双注意力机制和多尺度特征融合的宫颈细胞分类方法
CN113689434A (zh) * 2021-07-14 2021-11-23 淮阴工学院 一种基于条带池化的图像语义分割方法
CN113689434B (zh) * 2021-07-14 2022-05-27 淮阴工学院 一种基于条带池化的图像语义分割方法
CN113361537A (zh) * 2021-07-23 2021-09-07 人民网股份有限公司 基于通道注意力的图像语义分割方法及装置
CN113361537B (zh) * 2021-07-23 2022-05-10 人民网股份有限公司 基于通道注意力的图像语义分割方法及装置
CN113689326B (zh) * 2021-08-06 2023-08-04 西南科技大学 一种基于二维图像分割引导的三维定位方法
CN113689326A (zh) * 2021-08-06 2021-11-23 西南科技大学 一种基于二维图像分割引导的三维定位方法
CN113610164A (zh) * 2021-08-10 2021-11-05 北京邮电大学 一种基于注意力平衡的细粒度图像识别方法及其***
CN113610164B (zh) * 2021-08-10 2023-12-22 北京邮电大学 一种基于注意力平衡的细粒度图像识别方法及其***
CN114049315A (zh) * 2021-10-29 2022-02-15 北京长木谷医疗科技有限公司 关节识别方法、电子设备、存储介质及计算机程序产品
CN114038037A (zh) * 2021-11-09 2022-02-11 合肥工业大学 基于可分离残差注意力网络的表情标签修正和识别方法
CN114038037B (zh) * 2021-11-09 2024-02-13 合肥工业大学 基于可分离残差注意力网络的表情标签修正和识别方法
CN113989507A (zh) * 2021-11-23 2022-01-28 江苏科技大学 一种水下图像语义分割模型及分割方法
CN113989507B (zh) * 2021-11-23 2024-07-12 江苏科技大学 一种水下图像语义分割模型及分割方法
CN114638256A (zh) * 2022-02-22 2022-06-17 合肥华威自动化有限公司 基于声波信号及注意力网络的变压器故障检测方法及其***
CN114638256B (zh) * 2022-02-22 2024-05-31 合肥华威自动化有限公司 基于声波信号及注意力网络的变压器故障检测方法及其***
CN114565766A (zh) * 2022-03-01 2022-05-31 智道网联科技(北京)有限公司 基于BiSeNet V2的路面图像语义分割方法及装置
CN116229065B (zh) * 2023-02-14 2023-12-01 湖南大学 一种基于多分支融合的机器人手术器械分割方法
CN116229065A (zh) * 2023-02-14 2023-06-06 湖南大学 一种基于多分支融合的机器人手术器械分割方法
CN116630626A (zh) * 2023-06-05 2023-08-22 吉林农业科技学院 连通双注意力多尺度融合语义分割网络
CN116630626B (zh) * 2023-06-05 2024-04-26 吉林农业科技学院 连通双注意力多尺度融合语义分割网络

Also Published As

Publication number Publication date
CN111325751B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN111325751B (zh) 基于注意力卷积神经网络的ct图像分割***
Zhou et al. GMNet: Graded-feature multilabel-learning network for RGB-thermal urban scene semantic segmentation
CN111340814B (zh) 一种基于多模态自适应卷积的rgb-d图像语义分割方法
CN109241982B (zh) 基于深浅层卷积神经网络的目标检测方法
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
CN113642390B (zh) 一种基于局部注意力网络的街景图像语义分割方法
CN111612008A (zh) 基于卷积网络的图像分割方法
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN113743269B (zh) 一种轻量化识别视频人体姿态的方法
CN111797841B (zh) 一种基于深度残差网络的视觉显著性检测方法
CN113554032B (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN110866938B (zh) 一种全自动视频运动目标分割方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及***
CN115620010A (zh) 一种rgb-t双模态特征融合的语义分割方法
CN116129289A (zh) 一种注意力边缘交互的光学遥感图像显著性目标检测方法
CN113870286A (zh) 一种基于多级特征和掩码融合的前景分割方法
CN113963170A (zh) 一种基于交互式特征融合的rgbd图像显著性检测方法
CN114219824A (zh) 基于深度网络的可见光-红外目标跟踪方法及***
CN116486080A (zh) 一种基于深度学习的轻量化图像语义分割方法
CN115330703A (zh) 基于上下文信息融合的遥感影像云与云阴影检测方法
CN110599495A (zh) 一种基于语义信息挖掘的图像分割方法
Zhang et al. CSNet: a ConvNeXt-based Siamese network for RGB-D salient object detection
CN111612803B (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN117237641A (zh) 一种基于双分支特征融合网络的息肉分割方法及***
CN116597138A (zh) 一种基于深度卷积神经网络的息肉图像语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220527