CN112785601B - 一种图像分割方法、***、介质及电子终端 - Google Patents

一种图像分割方法、***、介质及电子终端 Download PDF

Info

Publication number
CN112785601B
CN112785601B CN202110019612.5A CN202110019612A CN112785601B CN 112785601 B CN112785601 B CN 112785601B CN 202110019612 A CN202110019612 A CN 202110019612A CN 112785601 B CN112785601 B CN 112785601B
Authority
CN
China
Prior art keywords
feature map
attention
positioning
original
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110019612.5A
Other languages
English (en)
Other versions
CN112785601A (zh
Inventor
彭德光
朱楚洪
唐贤伦
孙健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Zhaokun Intelligent Medical Technology Co ltd
Original Assignee
Chongqing Zhaokun Intelligent Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Zhaokun Intelligent Medical Technology Co ltd filed Critical Chongqing Zhaokun Intelligent Medical Technology Co ltd
Priority to CN202110019612.5A priority Critical patent/CN112785601B/zh
Publication of CN112785601A publication Critical patent/CN112785601A/zh
Application granted granted Critical
Publication of CN112785601B publication Critical patent/CN112785601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像分割方法、***、介质及电子终端，方法包括：获取待分割训练图像；将成对的待分割训练图像输入定位网络，获取定位特征图，其中，获取定位特征图的步骤包括：对成对的待分割训练图像进行相同点特征图提取与整体注意特征图提取，并根据整体注意特征图，获取定位特征图；将定位特征图输入分割网络进行训练，获取图像分割模型；将成对的待分割的肿瘤图像输入图像分割模型，进行肿瘤图像分割；本发明中的图像分割方法通过将成对的待分割训练图像输入定位网络，不仅提取出相同语义特征，还可以提取出不同点语义特征，并将获取的定位特征图输入分割网络进行训练，获取图像分割模型，实现了跨图像语义提取，分割精确度较高。

Description

一种图像分割方法、***、介质及电子终端
技术领域
本发明涉及图像分割技术领域，尤其涉及一种图像分割方法、***、介质及电子终端。
背景技术
随着图像分割技术的发展，弱监督图像分割学习受到了越来越多的关注，弱监督图像分割学习为使用少注释的图像级标注代替逐像素的标注，例如，对肿瘤图像进行弱监督图像分割，现存的弱监督图像分割学习通常通过分类网络得到定位特征图用来监督分割网络学习，然而目前，在弱监督图像分割学习的过程中，对于定位特征图的生成策略，仅保留了相同的语义特征，并且仅注意当前图像内的信息，不能获得较完整的对象信息，导致图像分割效果较差，分割精确度较低。
发明内容
本发明提供一种图像分割方法、***、介质及电子终端，以解决现有技术中对于定位特征图的生成策略，仅保留了相同的语义特征，并且仅注意当前图像内的信息，不能获得较完整的对象信息，导致图像分割效果较差，分割精确度较低的问题。
本发明提供的图像分割方法，包括：
获取待分割训练图像；
将成对的所述待分割训练图像输入定位网络，获取定位特征图，其中，获取所述定位特征图的步骤包括：对成对的所述待分割训练图像进行相同点特征图提取与整体注意特征图提取，并根据所述整体注意特征图，获取所述定位特征图；所述定位网络包括：分类网络、用于获取相同点特征图的第一注意模块、用于获取整体注意特征图的第二注意模块；
将所述定位特征图输入分割网络进行训练，获取图像分割模型；
将成对的待分割的肿瘤图像输入所述图像分割模型，进行肿瘤图像分割；
将成对的所述待分割训练图像输入定位网络，获取定位特征图的步骤包括：
将成对的所述待分割训练图像输入所述分类网络，分别进行特征提取，获取第一原始特征图和第二原始特征图；
将所述第一原始特征图与所述第二原始特征图输入所述第一注意模块，提取所述第一原始特征图与所述第二原始特征图中的相同语义特征，进而获取第一相同点特征图和第二相同点特征图；
将所述第一相同点特征图和所述第二相同点特征图输入所述第二注意模块，提取所述第一相同点特征图和所述第二相同点特征图中的不同语义特征，进而获取整体注意特征图；
根据所述整体注意特征图，获取定位特征图。
可选的，获取待分割图像的步骤包括：
获取原始训练图像；
对所述原始训练图像进行预处理，获取预处理图像；
对所述预处理图像进行标注，获取待分割训练图像，所述待分割训练图像包括：用于表示图像中所包含的类别情况的标签向量。
可选的，将成对的所述待分割训练图像输入定位网络，获取定位特征图的步骤包括：
将成对的所述待分割训练图像输入所述分类网络，分别进行特征提取，获取原始特征图；
将所述原始特征图输入所述第一注意模块，获取相同点特征图；
将所述相同点特征图输入所述第二注意模块，获取整体注意特征图；
根据所述整体注意特征图，获取定位特征图。
可选的，获取第一相同点特征图和第二相同点特征图的步骤包括：
根据所述第一原始特征图和所述第二原始特征图，获取所述第一原始特征图和所述第二原始特征图的亲密矩阵；
根据所述亲密矩阵，利用Softmax函数，获取第一相同点注意图和第二相同点注意图；
根据所述第一相同点注意图、第二相同点注意图、第一原始特征图和第二原始特征图，获取第一相同点特征图和第二相同点特征图。
可选的，根据整体注意特征图，获取定位特征图的步骤包括：
根据所述第一相同点特征图和第二相同点特征图，利用sigmod函数，获取第一类未知特征图和第二类未知特征图；
根据所述第一类未知特征图和所述第二类未知特征图，获取第一不同点注意图和第二不同点注意图；
将所述第一原始特征图与所述第二原始特征图输入所述第二注意模块；
根据所述第一原始特征图、第二原始特征图、第一不同点注意图和第二不同点注意图，获取第一整体注意特征图和第二整体注意特征图；
将所述第一整体注意特征图和第二整体注意特征图输入定位网络的类感知激活层，获取第一类感知激活图和第二类感知激活图，将所述第一类感知激活图作为第一定位特征图，将所述第二类感知激活图作为第二定位特征图。
可选的，将成对的待分割训练图像输入定位网络，获取定位特征图的步骤之后包括：
将所述原始特征图、相同点特征图和整体注意特征图分别输入所述定位网络的类感知激活层，获取类感知原始特征图、类感知相同点特征图和类感知整体注意特征图；
将所述类感知原始特征图、类感知相同点特征图和类感知整体注意特征图分别进行全局平均池化，获取原始预测向量、相同点预测向量、整体预测向量；
根据所述原始预测向量、相同点预测向量、整体预测向量，利用交叉熵函数，获取所述定位网络的损失；
根据所述定位网络的损失，对定位网络进行优化。
本发明还提供一种图像分割***，包括：
预处理模块，用于获取待分割训练图像；
定位模块，用于将成对的所述待分割训练图像输入定位网络，获取定位特征图，其中，获取所述定位特征图的步骤包括：对成对的所述待分割训练图像进行相同点特征图提取与整体注意特征图提取，并根据所述整体注意特征图，获取所述定位特征图；所述定位网络包括：分类网络、用于获取相同点特征图的第一注意模块、用于获取整体注意特征图的第二注意模块；
训练模块，用于将所述定位特征图输入分割网络进行训练，获取图像分割模型；
图像分割模块，用于将成对的待分割的肿瘤图像输入所述图像分割模型，进行肿瘤图像分割，所述预处理模块、定位模块、训练模块和图像分割模块连接；
将成对的所述待分割训练图像输入定位网络，获取定位特征图的步骤包括：
将成对的所述待分割训练图像输入所述分类网络，分别进行特征提取，获取第一原始特征图和第二原始特征图；
将所述第一原始特征图与所述第二原始特征图输入所述第一注意模块，提取所述第一原始特征图与所述第二原始特征图中的相同语义特征，进而获取第一相同点特征图和第二相同点特征图；
将所述第一相同点特征图和所述第二相同点特征图输入所述第二注意模块，提取所述第一相同点特征图和所述第二相同点特征图中的不同语义特征，进而获取整体注意特征图；
根据所述整体注意特征图，获取定位特征图。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述方法。
本发明还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述任一项所述方法。
本发明的有益效果：本发明中的图像分割方法通过将成对的待分割训练图像输入定位网络，不仅提取出相同语义特征，还可以提取出不同点语义特征，并将获取的定位特征图输入分割网络进行训练，获取图像分割模型，实现了跨图像语义提取，能够获得较完整的对象信息，具有较好的图像分割效果，分割精确度较高。
附图说明
图1是本发明实施例中图像分割方法的一流程示意图；
图2是本发明实施例中图像分割方法的另一流程示意图；
图3是本发明实施例中图像分割方法的定位网络的结构示意图；
图4是本发明实施例中图像分割方法的第一注意模块的结构示意图；
图5是本发明实施例中图像分割方法的第二注意模块的结构示意图；
图6是本发明实施例中图像分割***的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
发明人发现，随着图像分割技术的发展，弱监督图像分割学习受到了越来越多的关注，弱监督图像分割学习为使用少注释的图像级标注代替逐像素的标注，例如，对肿瘤图像进行弱监督图像分割，现存的弱监督图像分割学习通常通过分类网络得到定位特征图用来监督分割网络学习，然而目前，在弱监督图像分割学习的过程中，对于定位特征图的生成策略，仅保留了相同的语义特征，并且仅注意当前图像内的信息，不能获得较完整的对象信息，导致图像分割效果较差，分割精确度较低。因此，发明人提出一种图像分割方法、***、介质及电子终端，通过将成对的待分割训练图像输入定位网络，定位网络中的第一注意模块和第二注意模块依次提取相同语义特征和不同语义特征，并将获取的定位特征图输入分割网络进行训练，获取图像分割模型，实现了跨图像语义提取，能够获得较完整的对象信息，具有较好的图像分割效果，分割精确度较高。
如图1所示，本实施例中的图像分割方法，包括：
S101：获取待分割训练图像；
S102：将成对的所述待分割训练图像输入定位网络，获取定位特征图，其中，获取所述定位特征图的步骤包括：对成对的所述待分割训练图像进行相同点特征图提取与整体注意特征图提取，并根据所述整体注意特征图，获取所述定位特征图；
S103：将所述定位特征图输入分割网络进行训练，获取图像分割模型；在一些实施例中，所述分割网络为语义分割网络；
S104：将成对的待分割的肿瘤图像输入所述图像分割模型，进行肿瘤图像分割。在一些实施例中，所述定位网络包括：分类网络、用于获取相同点特征图的第一注意模块、用于获取整体注意特征图的第二注意模块；通过将成对的待分割训练图像输入定位网络，定位网络中的第一注意模块和第二注意模块依次提取相同语义特征和不同语义特征，进而获取定位特征图，所述定位特征图包括：相同语义特征、不同语义特征以及相同语义特征、不同语义特征分别对应的定位，并将获取的定位特征图输入分割网络进行训练，获取图像分割模型，实现了跨图像语义提取，能够获得较完整的对象信息，具有较好的图像分割效果，分割精确度较高。
如图2所示，在一些实施例中的图像分割方法，包括：
S201：获取原始训练图像；例如：采集多个肿瘤磁共振(Magnetic ResonanceImaging，MRI)图像，作为原始训练图像；
S202：对所述原始训练图像进行预处理，获取预处理图像；在一些实施例中，对原始训练图像进行预处理的步骤包括：裁剪、分块、合并保存；通过对原始训练图像进行预处理，能够降低后续图像处理的复杂度；
S203：对所述预处理图像进行标注，获取待分割训练图像，所述待分割训练图像包括：用于表示图像中所包含的类别情况的标签向量；例如：对所述预处理图像进行标签标注，即获取预处理图像中的各个类别物体存在情况的列向量标签，所述列向量标签的维度即为所述预处理图像中的等待分割的肿瘤的类别数；
S204：将成对的所述待分割训练图像输入分类网络，分别进行特征提取，获取原始特征图；可以理解的，将成对的所述待分割训练图像输入所述分类网络，分别进行特征提取，获取第一原始特征图和第二原始特征图；在一些实施例中，所述第一原始特征图与成对的所述待分割训练图像中的一待分割训练图像相对应，所述第二原始特征图与另一所述待分割训练图像相对应；例如：将成对的所述待分割图像输入分类网络，分别提取出其原始特征图；
S205：将所述原始特征图输入所述第一注意模块，获取相同点特征图；可以理解的，将所述第一原始特征图与所述第二原始特征图输入所述第一注意模块，提取所述第一原始特征图与所述第二原始特征图中的相同语义特征，进而获取第一相同点特征图和第二相同点特征图；
在一些实施例中，获取第一相同点特征图和第二相同点特征图的步骤包括：
根据所述第一原始特征图和所述第二原始特征图，获取所述第一原始特征图和所述第二原始特征图的亲密矩阵；
根据所述亲密矩阵，利用Softmax函数，获取第一相同点注意图和第二相同点注意图；
根据所述第一相同点注意图、第二相同点注意图、第一原始特征图和第二原始特征图，获取第一相同点特征图和第二相同点特征图；
其中，如图4所示，所述获取第一相同点特征图和第二相同点特征图的步骤的数学表达为：
Figure GDA0003376270740000061
Am＝softmax(P)，An＝softmax(PT)
Figure GDA0003376270740000062
其中，P为亲密矩阵，Fm为第一原始特征图，
Figure GDA0003376270740000063
为Fm的转置，WP为可学习的矩阵，Fn为第二原始特征图，Am为第一相同点注意图，An为第二相同点注意图，
Figure GDA0003376270740000064
为第一相同点特征图，
Figure GDA0003376270740000065
为第二相同点特征图；Am、An的维度为HW×HW，
Figure GDA0003376270740000066
的维度为H×W×C；
S206：将所述相同点特征图输入所述第二注意模块，获取整体注意特征图；可以理解的，将所述第一相同点特征图和所述第二相同点特征图输入所述第二注意模块，所述第二注意模块提取所述第一相同点特征图和所述第二相同点特征图中的不同语义特征，进而获取整体注意特征图；
其中，获取整体注意特征图的步骤包括：
根据所述第一相同点特征图和第二相同点特征图，利用sigmod函数，获取第一类未知特征图和第二类未知特征图；
根据所述第一类未知特征图和所述第二类未知特征图，获取第一不同点注意图和第二不同点注意图；
将所述第一原始特征图与所述第二原始特征图输入所述第二注意模块；
根据所述第一原始特征图、第二原始特征图、第一不同点注意图和第二不同点注意图，获取第一整体注意特征图和第二整体注意特征图；
其中，如图5所示，获取整体注意特征图的步骤的数学表达为：
Figure GDA0003376270740000071
Figure GDA0003376270740000072
Figure GDA0003376270740000073
其中，
Figure GDA0003376270740000074
为第一类未知特征图，WB为卷积核，
Figure GDA0003376270740000075
为第一相同点特征图，
Figure GDA0003376270740000076
为第二类未知特征图，
Figure GDA0003376270740000077
为第二相同点特征图，
Figure GDA0003376270740000078
为第一不同点注意图，
Figure GDA0003376270740000079
为第二不同点注意图，
Figure GDA00033762707400000710
为第一整体注意特征图，Fm为第一原始特征图，
Figure GDA00033762707400000711
为第二整体注意特征图，Fn为第二原始特征图，
Figure GDA00033762707400000712
表示直积；
Figure GDA00033762707400000713
的维度为H×W，
Figure GDA00033762707400000714
的维度为H×W；
S207：根据所述整体注意特征图，获取定位特征图；
在一些实施例中，根据所述整体注意特征图，获取定位特征图的步骤包括：将所述第一整体注意特征图和第二整体注意特征图输入所述定位网络的类感知激活层，获取第一类感知激活图和第二类感知激活图，将所述第一类感知激活图作为第一定位特征图，将所述第二类感知激活图作为第二定位特征图；
S208：将所述原始特征图、相同点特征图和整体注意特征图分别输入所述定位网络的类感知激活层，获取类感知原始特征图、类感知相同点特征图和类感知整体注意特征图；例如：如图3所示，将成对的待分割训练图像Im、In输入分类网络(classifier)，获取第一原始特征图Fm和第二原始特征图Fn，通过第一注意模块和第二注意模块获取第一相同点特征图
Figure GDA00033762707400000715
第二相同点特征图
Figure GDA00033762707400000716
第一整体注意特征图
Figure GDA00033762707400000717
和第二整体注意特征图
Figure GDA00033762707400000718
将第一相同点特征图
Figure GDA00033762707400000719
第二相同点特征图
Figure GDA00033762707400000720
第一整体注意特征图
Figure GDA00033762707400000721
和第二整体注意特征图
Figure GDA00033762707400000722
分别输入所述类感知激活层(CAAL)，获取第一类感知原始特征图Sm、第二类感知原始特征图Sn、第一类感知相同点特征图
Figure GDA00033762707400000723
第二类感知相同点特征图
Figure GDA00033762707400000724
第一类感知整体注意特征图
Figure GDA00033762707400000725
和第二类感知整体注意特征图
Figure GDA00033762707400000726
S209：将所述类感知原始特征图、类感知相同点特征图和类感知整体注意特征图分别进行全局平均池化，获取原始预测向量、相同点预测向量、整体预测向量；例如：将第一类感知原始特征图、第二类感知原始特征图、第一类感知相同点特征图、第二类感知相同点特征图、第一类感知整体注意特征图、第二类感知整体注意特征图分别进行全局平均池化，获取第一原始预测向量、第二原始预测向量、第一相同点预测向量、第二相同点预测向量、第一整体预测向量、第二整体预测向量；
S210：根据所述原始预测向量、相同点预测向量、整体预测向量，利用交叉熵函数，获取所述定位网络的损失；
在一些实施例中，获取所述定位网络的损失的步骤包括：
根据所述原始预测向量，获取分类网络损失LCN；
根据所述相同点预测向量，获取第一注意模块损失LSAM；
根据所述整体预测向量，获取第二注意模块损失LDAM；
根据所述分类网络损失、第一注意模块损失、第二注意模块损失，获取定位网络的损失；
在一些实施例中，获取定位网络的损失LLN的数学表达为：
LLN＝LCN+LSAM+LDAM
其中，LLN为定位网络的损失，LCN为分类网络损失，LSAM为第一注意模块损失，LDAM为第二注意模块损失；
在一些实施例中，获取所述分类网络损失LCN的数学表达为：
LCN＝LCE(lm，pm)+LCE(ln，pn)
其中，LCE为交叉熵损失函数，lm为第一原始特征图中的标签向量，ln为第二原始特征图中的标签向量，pm为第一原始预测向量，pn为第二原始预测向量；
在一些实施例中，获取所述第一注意模块损失LSAM的数学表达为：
Figure GDA0003376270740000081
其中，
Figure GDA0003376270740000082
为第一相同点特征图中的标签向量，
Figure GDA0003376270740000083
为第二相同点特征图中的标签向量，
Figure GDA0003376270740000084
为第一相同点预测向量，
Figure GDA0003376270740000085
为第二相同点预测向量；
在一些实施例中，获取第二注意模块损失LDAM的数学表达为：
Figure GDA0003376270740000086
其中，
Figure GDA0003376270740000087
为第一整体注意特征图的特征向量，
Figure GDA0003376270740000088
为第二整体注意特征图的特征向量，
Figure GDA0003376270740000089
为第一整体预测向量，
Figure GDA00033762707400000810
为第二整体预测向量；
S211：根据所述定位网络的损失，对定位网络进行优化；通过对定位网络进行优化，能够有效增强定位网络的精确度；
S212：将所述定位特征图输入分割网络进行训练，获取图像分割模型；例如：使用动态调整学习率机制，并使用端到端的方式训练网络，获取图像分割模型，实现图像级标签的弱监督肿瘤图像分割。
S213：将成对的待分割的肿瘤图像输入所述图像分割模型，进行肿瘤图像分割。
如图6所示，本实施例还提供一种图像分割***，包括：
预处理模块，用于获取待分割训练图像；
定位模块，用于将成对的所述待分割训练图像输入定位网络，获取定位特征图，其中，获取所述定位特征图的步骤包括：对成对的所述待分割训练图像进行相同点特征图提取与整体注意特征图提取，并根据所述整体注意特征图，获取所述定位特征图；
训练模块，用于将所述定位特征图输入分割网络进行训练，获取图像分割模型；所述分割网络为语义分割网络；
图像分割模块，用于将成对的待分割的肿瘤图像输入所述图像分割模型，进行肿瘤图像分割，所述预处理模块、定位模块、训练模块和图像分割模块依次连接。在一些实施例中，所述定位网络包括：分类网络、用于获取相同点特征图的第一注意模块、用于获取整体注意特征图的第二注意模块；通过将成对的待分割训练图像输入定位网络，定位网络中的第一注意模块和第二注意模块依次提取相同语义特征和不同语义特征，进而获取定位特征图，所述定位特征图包括：相同语义特征、不同语义特征以及相同语义特征、不同语义特征分别对应的定位，并将获取的定位特征图输入分割网络进行训练，获取图像分割模型，实现了跨图像语义提取，能够获得较完整的对象信息，具有较好的图像分割效果，分割精确度较高。
在一些实施例中，所述预处理模块获取待分割训练图像的步骤包括：
获取原始训练图像；例如：采集多个肿瘤磁共振(Magnetic Resonance Imaging，MRI)图像，作为原始训练图像；
对所述原始训练图像进行预处理，获取预处理图像；在一些实施例中，对原始训练图像进行预处理的步骤包括：裁剪、分块、合并保存；通过对原始训练图像进行预处理，能够降低后续图像处理的复杂度；
对所述预处理图像进行标注，获取待分割训练图像，所述待分割训练图像包括：用于表示图像中所包含的类别情况的标签向量；例如：对所述预处理图像进行标签标注，即获取预处理图像中的各个类别物体存在情况的列向量标签，所述列向量标签的维度即为所述预处理图像中的等待分割的肿瘤的类别数。
在一些实施例中，所述定位模块获取定位特征图的步骤包括：
将成对的所述待分割训练图像输入分类网络，分别进行特征提取，获取原始特征图；可以理解的，将成对的所述待分割训练图像输入所述分类网络，分别进行特征提取，获取第一原始特征图和第二原始特征图；在一些实施例中，所述第一原始特征图与成对的所述待分割训练图像中的一待分割训练图像相对应，所述第二原始特征图与另一所述待分割训练图像相对应；例如：将成对的所述待分割图像输入分类网络，分别提取出其原始特征图；
将所述原始特征图输入所述第一注意模块，获取相同点特征图；可以理解的，将所述第一原始特征图与所述第二原始特征图输入所述第一注意模块，提取所述第一原始特征图与所述第二原始特征图中的相同语义特征，进而获取第一相同点特征图和第二相同点特征图；
在一些实施例中，获取第一相同点特征图和第二相同点特征图的步骤包括：
根据所述第一原始特征图和所述第二原始特征图，获取所述第一原始特征图和所述第二原始特征图的亲密矩阵；
根据所述亲密矩阵，利用Softmax函数，获取第一相同点注意图和第二相同点注意图；
根据所述第一相同点注意图、第二相同点注意图、第一原始特征图和第二原始特征图，获取第一相同点特征图和第二相同点特征图；
其中，如图4所示，所述获取第一相同点特征图和第二相同点特征图的步骤的数学表达为：
Figure GDA0003376270740000101
Am＝softmax(P)，An＝softmax(PT)
Figure GDA0003376270740000102
其中，P为亲密矩阵，Fm为第一原始特征图，
Figure GDA0003376270740000103
为Fm的转置，WP为可学习的矩阵，Fn为第二原始特征图，Am为第一相同点注意图，An为第二相同点注意图，
Figure GDA0003376270740000104
为第一相同点特征图，
Figure GDA0003376270740000105
为第二相同点特征图；Am、An的维度为HW＝HW，
Figure GDA0003376270740000106
的维度为H×W×C；
将所述相同点特征图输入所述第二注意模块，获取整体注意特征图；可以理解的，将所述第一相同点特征图和所述第二相同点特征图输入所述第二注意模块，所述第二注意模块提取所述第一相同点特征图和所述第二相同点特征图中的不同语义特征，进而获取整体注意特征图；
其中，获取整体注意特征图的步骤包括：
根据所述第一相同点特征图和第二相同点特征图，利用sigmod函数，获取第一类未知特征图和第二类未知特征图；
根据所述第一类未知特征图和所述第二类未知特征图，获取第一不同点注意图和第二不同点注意图；
将所述第一原始特征图与所述第二原始特征图输入所述第二注意模块；
根据所述第一原始特征图、第二原始特征图、第一不同点注意图和第二不同点注意图，获取第一整体注意特征图和第二整体注意特征图；
其中，如图5所示，获取整体注意特征图的步骤的数学表达为：
Figure GDA0003376270740000111
Figure GDA0003376270740000112
Figure GDA0003376270740000113
其中，
Figure GDA0003376270740000114
为第一类未知特征图，WB为卷积核，
Figure GDA0003376270740000115
为第一相同点特征图，
Figure GDA0003376270740000116
为第二类未知特征图，
Figure GDA0003376270740000117
为第二相同点特征图，
Figure GDA0003376270740000118
为第一不同点注意图，
Figure GDA0003376270740000119
为第二不同点注意图，
Figure GDA00033762707400001110
为第一整体注意特征图，Fm为第一原始特征图，
Figure GDA00033762707400001111
为第二整体注意特征图，Fn为第二原始特征图，
Figure GDA00033762707400001126
表示直积；
Figure GDA00033762707400001112
的维度为H×W，
Figure GDA00033762707400001113
的维度为H×W；
根据所述整体注意特征图，获取定位特征图；
在一些实施例中，根据所述整体注意特征图，获取定位特征图的步骤包括：将所述第一整体注意特征图和第二整体注意特征图输入所述定位网络的类感知激活层，获取第一类感知激活图和第二类感知激活图，将所述第一类感知激活图作为第一定位特征图，将所述第二类感知激活图作为第二定位特征图。
在一些实施例中，还包括：损失检测模块，用于对定位网络的损失进行优化，其中，所述损失检测模块对定位网络的损失进行优化的步骤包括：
将所述原始特征图、相同点特征图和整体注意特征图分别输入所述定位网络的类感知激活层，获取类感知原始特征图、类感知相同点特征图和类感知整体注意特征图；例如：如图3所示，将成对的待分割训练图像Im、In输入分类网络(classifier)，获取第一原始特征图Fm和第二原始特征图Fn，通过第一注意模块和第二注意模块获取第一相同点特征图
Figure GDA00033762707400001114
第二相同点特征图
Figure GDA00033762707400001115
第一整体注意特征图
Figure GDA00033762707400001116
和第二整体注意特征图
Figure GDA00033762707400001117
将第一相同点特征图
Figure GDA00033762707400001118
第二相同点特征图
Figure GDA00033762707400001119
第一整体注意特征图
Figure GDA00033762707400001120
和第二整体注意特征图
Figure GDA00033762707400001121
分别输入所述类感知激活层(CAAL)，获取第一类感知原始特征图Sm、第二类感知原始特征图Sn、第一类感知相同点特征图
Figure GDA00033762707400001122
第二类感知相同点特征图
Figure GDA00033762707400001123
第一类感知整体注意特征图
Figure GDA00033762707400001124
和第二类感知整体注意特征图
Figure GDA00033762707400001125
将所述类感知原始特征图、类感知相同点特征图和类感知整体注意特征图分别进行全局平均池化，获取原始预测向量、相同点预测向量、整体预测向量；例如：将第一类感知原始特征图、第二类感知原始特征图、第一类感知相同点特征图、第二类感知相同点特征图、第一类感知整体注意特征图、第二类感知整体注意特征图分别进行全局平均池化，获取第一原始预测向量、第二原始预测向量、第一相同点预测向量、第二相同点预测向量、第一整体预测向量、第二整体预测向量；
根据所述原始预测向量、相同点预测向量、整体预测向量，利用交叉熵函数，获取所述定位网络的损失；
在一些实施例中，获取所述定位网络的损失的步骤包括：
根据所述原始预测向量，获取分类网络损失LCN；
根据所述相同点预测向量，获取第一注意模块损失LSAM；
根据所述整体预测向量，获取第二注意模块损失LDAM；
根据所述分类网络损失、第一注意模块损失、第二注意模块损失，获取定位网络的损失；
在一些实施例中，获取定位网络的损失LLN的数学表达为：
LLN＝LCN+LSAM+LDAM
其中，LLN为定位网络的损失，LCN为分类网络损失，LSAM为第一注意模块损失，LDAM为第二注意模块损失；
在一些实施例中，获取所述分类网络损失LCN的数学表达为：
LCN＝LCE(lm，pm)+LCE(ln，pn)
其中，LCE为交叉熵损失函数，lm为第一原始特征图中的标签向量，ln为第二原始特征图中的标签向量，pm为第一原始预测向量，pn为第二原始预测向量；
在一些实施例中，获取所述第一注意模块损失LSAM的数学表达为：
Figure GDA0003376270740000121
其中，
Figure GDA0003376270740000122
为第一相同点特征图中的标签向量，
Figure GDA0003376270740000123
为第二相同点特征图中的标签向量，
Figure GDA0003376270740000124
为第一相同点预测向量，
Figure GDA0003376270740000125
为第二相同点预测向量；
在一些实施例中，获取第二注意模块损失LDAM的数学表达为：
Figure GDA0003376270740000126
其中，
Figure GDA0003376270740000127
为第一整体注意特征图的特征向量，
Figure GDA0003376270740000128
为第二整体注意特征图的特征向量，
Figure GDA0003376270740000129
为第一整体预测向量，
Figure GDA00033762707400001210
为第二整体预测向量；
根据所述定位网络的损失，对定位网络进行优化；通过对定位网络进行优化，能够有效增强定位网络的精确度；
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种图像分割方法，其特征在于，包括：
获取待分割训练图像；
将成对的所述待分割训练图像输入定位网络，获取定位特征图，其中，获取所述定位特征图的步骤包括：对成对的所述待分割训练图像进行相同点特征图提取与整体注意特征图提取，并根据所述整体注意特征图，获取所述定位特征图；所述定位网络包括：分类网络、用于获取相同点特征图的第一注意模块、用于获取整体注意特征图的第二注意模块；
将所述定位特征图输入分割网络进行训练，获取图像分割模型；
将成对的待分割的肿瘤图像输入所述图像分割模型，进行肿瘤图像分割；
将成对的所述待分割训练图像输入定位网络，获取定位特征图的步骤包括：
将成对的所述待分割训练图像输入所述分类网络，分别进行特征提取，获取第一原始特征图和第二原始特征图；
将所述第一原始特征图与所述第二原始特征图输入所述第一注意模块，提取所述第一原始特征图与所述第二原始特征图中的相同语义特征，进而获取第一相同点特征图和第二相同点特征图；
将所述第一相同点特征图和所述第二相同点特征图输入所述第二注意模块，提取所述第一相同点特征图和所述第二相同点特征图中的不同语义特征，进而获取整体注意特征图；
根据所述整体注意特征图，获取定位特征图。
2.根据权利要求1所述的图像分割方法，其特征在于，获取待分割图像的步骤包括：
获取原始训练图像；
对所述原始训练图像进行预处理，获取预处理图像；
对所述预处理图像进行标注，获取待分割训练图像，所述待分割训练图像包括：用于表示图像中所包含的类别情况的标签向量。
3.根据权利要求1所述的图像分割方法，其特征在于，将成对的所述待分割训练图像输入定位网络，获取定位特征图的步骤包括：
将成对的所述待分割训练图像输入所述分类网络，分别进行特征提取，获取原始特征图；
将所述原始特征图输入所述第一注意模块，获取相同点特征图；
将所述相同点特征图输入所述第二注意模块，获取整体注意特征图；
根据所述整体注意特征图，获取定位特征图。
4.根据权利要求1所述的图像分割方法，其特征在于，获取第一相同点特征图和第二相同点特征图的步骤包括：
根据所述第一原始特征图和所述第二原始特征图，获取所述第一原始特征图和所述第二原始特征图的亲密矩阵；
根据所述亲密矩阵，利用Softmax函数，获取第一相同点注意图和第二相同点注意图；
根据所述第一相同点注意图、第二相同点注意图、第一原始特征图和第二原始特征图，获取第一相同点特征图和第二相同点特征图。
5.根据权利要求1所述的图像分割方法，其特征在于，根据整体注意特征图，获取定位特征图的步骤包括：
根据所述第一相同点特征图和第二相同点特征图，利用sigmod函数，获取第一类未知特征图和第二类未知特征图；
根据所述第一类未知特征图和所述第二类未知特征图，获取第一不同点注意图和第二不同点注意图；
将所述第一原始特征图与所述第二原始特征图输入所述第二注意模块；
根据所述第一原始特征图、第二原始特征图、第一不同点注意图和第二不同点注意图，获取第一整体注意特征图和第二整体注意特征图；
将所述第一整体注意特征图和第二整体注意特征图输入定位网络的类感知激活层，获取第一类感知激活图和第二类感知激活图，将所述第一类感知激活图作为第一定位特征图，将所述第二类感知激活图作为第二定位特征图。
6.根据权利要求3所述的图像分割方法，其特征在于，将成对的待分割训练图像输入定位网络，获取定位特征图的步骤之后包括：
将所述原始特征图、相同点特征图和整体注意特征图分别输入所述定位网络的类感知激活层，获取类感知原始特征图、类感知相同点特征图和类感知整体注意特征图；
将所述类感知原始特征图、类感知相同点特征图和类感知整体注意特征图分别进行全局平均池化，获取原始预测向量、相同点预测向量、整体预测向量；
根据所述原始预测向量、相同点预测向量、整体预测向量，利用交叉熵函数，获取所述定位网络的损失；
根据所述定位网络的损失，对定位网络进行优化。
7.一种图像分割***，其特征在于，包括：
预处理模块，用于获取待分割训练图像；
定位模块，用于将成对的所述待分割训练图像输入定位网络，获取定位特征图，其中，获取所述定位特征图的步骤包括：对成对的所述待分割训练图像进行相同点特征图提取与整体注意特征图提取，并根据所述整体注意特征图，获取所述定位特征图；所述定位网络包括：分类网络、用于获取相同点特征图的第一注意模块、用于获取整体注意特征图的第二注意模块；
训练模块，用于将所述定位特征图输入分割网络进行训练，获取图像分割模型；
图像分割模块，用于将成对的待分割的肿瘤图像输入所述图像分割模型，进行肿瘤图像分割，所述预处理模块、定位模块、训练模块和图像分割模块连接；
将成对的所述待分割训练图像输入定位网络，获取定位特征图的步骤包括：
将成对的所述待分割训练图像输入所述分类网络，分别进行特征提取，获取第一原始特征图和第二原始特征图；
将所述第一原始特征图与所述第二原始特征图输入所述第一注意模块，提取所述第一原始特征图与所述第二原始特征图中的相同语义特征，进而获取第一相同点特征图和第二相同点特征图；
将所述第一相同点特征图和所述第二相同点特征图输入所述第二注意模块，提取所述第一相同点特征图和所述第二相同点特征图中的不同语义特征，进而获取整体注意特征图；
根据所述整体注意特征图，获取定位特征图。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述方法。
9.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至6中任一项所述方法。
CN202110019612.5A 2021-01-07 2021-01-07 一种图像分割方法、***、介质及电子终端 Active CN112785601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110019612.5A CN112785601B (zh) 2021-01-07 2021-01-07 一种图像分割方法、***、介质及电子终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110019612.5A CN112785601B (zh) 2021-01-07 2021-01-07 一种图像分割方法、***、介质及电子终端

Publications (2)

Publication Number Publication Date
CN112785601A CN112785601A (zh) 2021-05-11
CN112785601B true CN112785601B (zh) 2022-02-18

Family

ID=75756819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110019612.5A Active CN112785601B (zh) 2021-01-07 2021-01-07 一种图像分割方法、***、介质及电子终端

Country Status (1)

Country Link
CN (1) CN112785601B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131409B (zh) * 2022-08-26 2023-01-24 深圳深知未来智能有限公司 一种基于深度学习的亲密矩阵视点合成方法、应用及***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507343B (zh) * 2019-01-30 2021-05-18 广州市百果园信息技术有限公司 语义分割网络的训练及其图像处理方法、装置
CN110245659B (zh) * 2019-05-21 2021-08-13 北京航空航天大学 基于前背景相互关系的图像显著对象分割方法及装置
CN111353539A (zh) * 2020-02-29 2020-06-30 武汉大学 一种基于双路注意力卷积神经网络的宫颈oct图像分类方法及***
CN111368846B (zh) * 2020-03-19 2022-09-09 中国人民解放军国防科技大学 一种基于边界语义分割的道路积水识别方法
CN112102283B (zh) * 2020-09-14 2022-12-16 北京航空航天大学 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法

Also Published As

Publication number Publication date
CN112785601A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
US10740640B2 (en) Image processing method and processing device
US11670071B2 (en) Fine-grained image recognition
Liao et al. Guidance and evaluation: Semantic-aware image inpainting for mixed scenes
CN107424159B (zh) 基于超像素边缘和全卷积网络的图像语义分割方法
CN106529511B (zh) 图像结构化方法及装置
CN107103326B (zh) 基于超像素聚类的协同显著性检测方法
CN111814794B (zh) 文本检测方法、装置、电子设备及存储介质
CN111444807B (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN111401309B (zh) 基于小波变换的cnn训练和遥感图像目标识别方法
Khalil et al. Text detection and script identification in natural scene images using deep learning
CN113869371A (zh) 模型训练方法、服装细粒度分割方法及相关装置
Nemade et al. Image segmentation using convolutional neural network for image annotation
CN114972947A (zh) 一种基于模糊语义建模的深度场景文本检测方法和装置
CN112785601B (zh) 一种图像分割方法、***、介质及电子终端
Arulananth et al. Semantic segmentation of urban environments: Leveraging U-Net deep learning model for cityscape image analysis
Tang et al. Salient object detection via two-stage absorbing Markov chain based on background and foreground
Zhou et al. Self-supervised saliency estimation for pixel embedding in road detection
CN112419249B (zh) 一种特殊服饰图片转化方法、终端设备及存储介质
US20200372368A1 (en) Apparatus and method for semi-supervised learning
CN115147434A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
Lou et al. Mse-net: Pedestrian attribute recognition using mlsc and se-blocks
CN116541549B (zh) 子图分割方法、装置、电子设备及计算机可读存储介质
Kawano et al. TAG: Guidance-free Open-Vocabulary Semantic Segmentation
Wang et al. EBANet: Efficient Boundary-Aware Network for RGB-D Semantic Segmentation
CN113435339B (zh) 车辆属性检测方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant