CN115578400A - 图像处理方法、图像分割网络的训练方法及装置 - Google Patents

图像处理方法、图像分割网络的训练方法及装置 Download PDF

Info

Publication number
CN115578400A
CN115578400A CN202110672460.9A CN202110672460A CN115578400A CN 115578400 A CN115578400 A CN 115578400A CN 202110672460 A CN202110672460 A CN 202110672460A CN 115578400 A CN115578400 A CN 115578400A
Authority
CN
China
Prior art keywords
segmentation
network
image
quality score
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110672460.9A
Other languages
English (en)
Inventor
任厚桦
唐明轩
柳岸
陈诚
袁磊
黄承基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Chengdu ICT Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Chengdu ICT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Chengdu ICT Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110672460.9A priority Critical patent/CN115578400A/zh
Publication of CN115578400A publication Critical patent/CN115578400A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像处理方法、图像分割网络的训练方法及装置。该方法包括：针对MRI影像图像，利用图像分割网络的Inception卷积模块进行Inception卷积，得到第一图像特征；利用图像分割网络的空洞卷积模块对第一图像特征进行空洞卷积，得到第二图像特征；基于所述第二图像特征，从所述MRI影像图像中分割出肿瘤病变区域，其中，所述肿瘤病变区域为肿瘤病变组织成像的像素所在区域。如此，能够获得MRI影像图像更多的轮廓信息和细节信息，提高图像的分割精度；并且能够增加网络的深度，增强网络对尺度的适应性和网络的非线性能力，有效提高MRI影像图像的分割精度。

Description

图像处理方法、图像分割网络的训练方法及装置
技术领域
本发明涉及智能医疗技术领域，尤其涉及一种图像处理方法、图像分割网络的训练方法、装置、电子设备及存储介质。
背景技术
脑肿瘤是指各种位于脑部的肿瘤，其生长速度和位置决定了它对神经***的影响。根据调查，脑肿瘤患者的数量逐年增加，形势非常严峻。计算机科学和成像技术的进步推动了智能医疗行业的发展，基于磁共振成像(Magnetic Resonance Imaging，MRI)影像图像和深度学习技术是实现脑肿瘤自动分割的有效手段；从MRI影像图像中自动且准确地分割肿瘤区域是临床实践中建立脑肿瘤自动分割计算机辅助诊断***的关键步骤之一。
相关技术中，脑肿瘤MRI影像图像分割方法包括：半自动图像分割方法和全自动图像分割方法。
对于所述半自动图像分割方法而言，在MRI影像图像的分割过程中需要影像科医生进行少量的参与，但不需要进行像素级的精细标注，通常需要医生手动选择初始种子点或标记出感兴趣区域(Region of Interest，ROI)，然后基于灰度直方图的图像阈值分割算法结合高斯方程计算出ROI中肿瘤的灰度范围，从而通过阈值分割获得肿瘤区域；或者将Roil的边界作为目标区域的初始轮廓，采用Snake算法，以外部能量项和内部能量项来共同控制轮廓变化，不断逼近真实肿瘤轮廓。但是这种需要人工进行初始种子点或ROI选择的方法，这些选择操作对于影像科医生来说是十分枯燥又严重依赖于临床经验的，若面临大规模MRI影像图像的自动诊断时，这个方法就显得十分费时且极其容易受到人工操作误差的影响。
对于所述全自动图像分割方法而言，不需要人工参与，可直接通过深层堆叠的非线性模块将图像特征进行转化和提取，从而输出高维度的特征表达，自动实现肿瘤区域分割。但是这种全自动的方法都是通过完全监督学习进行训练的，需要大规模的有标注的训练数据，才能有效避免模型过拟合，并保证神经网络模型的鲁棒性。但很难获得大量标注好的医学影像图像，数据的标注过程也比较困难，医学影像图像的标注往往需要十年以上行业经验的医生才能完成。标注数量少会影响神经网络模块的准确率，而进行大规模图像数据标注又会带来人力和财力的巨大开销。
但是由于肿瘤病变区域的尺寸变换范围比较大，上述两种方案无法同时兼顾不同尺寸的肿瘤病变区域的分割，容易出现分割不准确的情况。
发明内容
本发明实施例提供一种图像处理方法、图像分割网络的训练方法、装置、电子设备及存储介质。
本发明实施例的技术方案是这样实现的：
第一方面，本发明实施例提供一种图像处理方法，包括：
针对MRI影像图像，利用图像分割网络的Inception卷积模块进行Inception卷积，得到第一图像特征；
利用图像分割网络的空洞卷积模块对第一图像特征进行空洞卷积，得到第二图像特征；
基于所述第二图像特征，从所述MRI影像图像中分割出肿瘤病变区域，其中，所述肿瘤病变区域为肿瘤病变组织成像的像素所在区域。
第二方面，本发明实施例提供一种图像分割网络的训练方法，包括：
获取MRI影像图像的训练样本集；其中，所述训练样本集包括：有标签的训练样本和无标签的训练样本；
将所述训练样本集的MRI影像图像输入至利用有标签的训练数据完成预训练的第一网络，得到所述第一网络输出的预测分割信息；其中，所述预测分割信息包括：有标签的训练样本的预测分割信息；
通过第二网络基于有标签的训练样本的预测分割信息，得到对所述第一网络的预测分割信息的第一分割质量评分；
根据所述有标签的训练样本的预测分割信息和所述标签之间的差异，确定所述第一网络的第一损失值；
基于所述第一分割质量评分和所述有标签的训练样本的标签，确定所述第二网络的第二损失值；
基于所述第一损失值和所述第二损失值，确定是否继续训练所述第一网络。
第三方面，本发明实施例提供一种图像处理装置，所述装置包括：
第一卷积模块，用于针对MRI影像图像，利用图像分割网络的Inception卷积模块进行Inception卷积，得到第一图像特征；
第二卷积模块，用于利用图像分割网络的空洞卷积模块对第一图像特征进行空洞卷积，得到第二图像特征；
分割模块，用于基于所述第二图像特征，从所述MRI影像图像中分割出肿瘤病变区域，其中，所述肿瘤病变区域为肿瘤病变组织成像的像素所在区域。
第四方面，本发明实施例提供一种图像分割网络的训练装置，所述训练装置包括：
获取模块，用于获取MRI影像图像的训练样本集；其中，所述训练样本集包括：有标签的训练样本和无标签的训练样本；
第一网络模块，用于将所述训练样本集的MRI影像图像输入至利用有标签的训练数据完成预训练的第一网络，得到所述第一网络输出的预测分割信息；其中，所述预测分割信息包括：有标签的训练样本的预测分割信息；
第二网络模块，用于通过第二网络基于有标签的训练样本的预测分割信息，得到对所述第一网络的预测分割信息的第一分割质量评分；
损失确定模块，用于根据所述有标签的训练样本的预测分割信息和所述标签之间的差异，确定所述第一网络的第一损失值；基于所述第一分割质量评分和所述有标签的训练样本的标签，确定所述第二网络的第二损失值；基于所述第一损失值和所述第二损失值，确定是否继续训练所述第一网络。
第五方面，本发明实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现如前述一个或多个技术方案提供的图像处理方法。
第六方面，本发明实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现如前述一个或多个技术方案提供的图像分割网络的训练方法。
第七方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现前述一个或多个技术方案提供的图像处理方法。
第八方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现前述一个或多个技术方案提供的图像分割网络的训练方法。
本发明实施例提供的一种图像处理方法、图像分割网络的训练方法、装置、电子设备及存储介质。通过将MRI影像图像输入至训练好的图像分割网络，由图像分割网络中的Inception卷积模块，对所述MRI影像图像进行Inception卷积，得到第一图像特征；并通过空洞卷积模块，对第一图像特征进行空洞卷积，得到第二图像特征；基于所述第二图像特征，从所述MRI影像图像中分割出肿瘤病变区域。
通过Inception卷积模块和空洞卷积模块对MRI影像图像进行Inception卷积和空洞卷积，一方面，能够利用Inception卷积模块中不同尺寸的卷积核，提取所述MRI影像图像中多尺度的图像特征，以获得MRI影像图像更多的轮廓信息和细节信息，提高图像的分割精度；并且能够增加网络的深度，增强网络对尺度的适应性和网络的非线性能力。
另一方面，能够利用空洞卷积模块，在保证图像分辨率不变的情况下，增大感受野，以适应MRI影像图像中不同大小肿瘤病变区域。因而通过直接对MRI影像图像进行Inception卷积和空洞卷积，能够有效提高MRI影像图像的分割精度。
附图说明
图1是本发明实施例提供的一种图像处理方法的流程示意图；
图2是本发明实施例提供的一种图像分割网络的训练方法的流程示意图；
图3是本发明实施例提供的一种图像处理装置的结构示意图；
图4是本发明实施例提供的一种图像分割网络的训练装置的结构示意图；
图5为本示例提供的一种图像处理方法的流程示意图；
图6是本示例提供的一种图像分割网络的网络架构示意图；
图7是本示例提供的一种判别网络的网络架构示意图；
图8是本示例提供的一种生成对抗网络的网络架构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
本发明实施例提供一种图像处理方法，图1是本发明实施例提供的一种图像处理方法的流程示意图，如图1所示，包括以下步骤：
步骤101，针对MRI影像图像，利用图像分割网络的Inception卷积模块进行Inception卷积，得到第一图像特征；
步骤102，利用图像分割网络的空洞卷积模块对第一图像特征进行空洞卷积，得到第二图像特征；
步骤103，基于所述第二图像特征，从所述MRI影像图像中分割出肿瘤病变区域，其中，所述肿瘤病变区域为肿瘤病变组织成像的像素所在区域。
在本发明实施例中所涉及的图像处理方法可以应用于电子设备；这里，所述电子设备包括终端或服务器等设备，该终端可以为手机、平板电脑、笔记本电脑等；该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***。
在步骤101中，可通过将MRI影像图像输入至预先训练好的图像分割网络中，由图像分割网络的Inception卷积模块进行Inception卷积，得到第一图像特征。
需要说明的是，Inception卷积模块可以并行地执行多个卷积运算或池化操作，并将所有的输出结果拼接为一个特征图，从而提高网络资源的利用率，在计算量不变的情况下，提高网络的宽度和深度。
在一些实施例中，所述步骤101可包括：
基于预设尺寸滑窗在所述MRI影像图像上的滑动操作，确定多个待分割图像；
利用图像分割网络的Inception卷积模块对所述多个待分割图像进行Inception卷积，得到第一图像特征；
需要说明的是，由于利用医学影像设备获取到的MRI影像图像的尺寸与图像分割网络在训练过程中适应的尺寸未必相同，因此可以通过预设尺寸滑窗在MRI影像图像上的滑动的方式，从所述MRI影像图像中截取出多个预设尺寸的待分割图像，从而使得待分割图像的尺寸与网络模型适应。
在本发明实施例中，相邻待分割图像之间可存在重叠部分，且所有的待分割图像可以包括完整MRI影像图像中的信息，这样，不仅能够保证MRI影像图像输入图像分割网络后，得到的预测结果的准确性，还能够保证最终获取到结果的完整性。
在步骤102中，通过所述空洞卷积模块对所述第一图像特征进行空洞卷积，以得到扩大感受野之后的第二图像特征。
通过空洞卷积模块可以提取多尺度的特征，同时具有卷积层和池化层的作用，在保证输出图像的尺寸和输入空洞卷积模块的图像尺寸相同的同时，可以扩大卷积核的感受野，提取图像的更深层次信息的同时保留浅层信息。也就是说，通过对图像特征进行空洞卷积，可以增大感受野范围内像素的利用率，使得所有像素参与计算，充分利用输入图像特征，使得预测结果更精准。
这里，在神经网络的卷积操作中，感受野是神经网络每一层输出特征图上的像素点在输入特征图上映射的区域大小，也就是说感受野是神经网络中某一层输出结果上的元素点在输入图像上映射的大小。一般的，第一层卷积层的输入特征的感受野大小等于卷积核的大小，而高层卷积层的感受野大小则与它之前所有层的卷积核大小和步长有关系，因此，基于不同的感受野，可以捕获到不同级别的信息，进而达到提取不同尺度特征信息的目的。
需要说明的是，常规的扩大感受野的方法是使用最大池化层对图像特征进行池化处理，但这种方式会降低图像的分辨率。而空洞卷积是在常规的卷积操作的基础上，通过在卷积核中每个参数的四周***值为0的空洞，从而使得在增加感受野的同时，不丢失特征图的分辨率。
在步骤103中，所述第二图像特征可为用于指示所述MRI影像图像中肿瘤病变区域的多尺度图像特征。
本发明实施例中，可将空洞卷积模块输出的不同尺度下的第二图像特征进行融合，得到多通道图像特征，并对多通道图像特征进行通道变换处理，得到预测分割信息。
示例性地，可将不同尺度的第二图像特征进行拼接，得到多通道图像特征；利用1×1卷积层来变换通道，使所述1×1卷积层输出的预测分割信息与图像分割网络的输入图像的通道数量保持一致。
还可通过对所述预测分割信息进行上采样处理，得到与输入的MRI影像图像尺寸一致的分割概率图；并根据所述分割概率图，对MRI影像图像进行分割，得到所述MRI影像图像中的肿瘤病变区域。
可选地，所述Inception卷积模块具有N个Inception卷积层，不同所述Inception卷积层的卷积核不同；不同Inception卷积层用于提取出不同尺度的所述第一图像特征。
这里，所述N为大于或等于1的正整数；
本发明实施例中，所述Inception卷积模块中不同Inception卷积层的卷积核不同，对MRI影像图像采用不同尺度的卷积核进行Inception卷积，可同时提取MRI影像图像的多种尺度的图像特征。
需要说明的是，所述Inception卷积模块通过应用不同的卷积核，将输入分为多个分支，并利用不同卷积核的Inception卷积层来分别提取多个分支的不同尺度的图像特征。
可选地，所述空洞卷积模块包括：N个所述空洞卷积稠密子模块；
所述Inception卷积层和所述空洞卷积稠密子模块穿插排布在所述图像分割网络中，通过所述空洞卷积稠密子模块，用于对不同尺度的所述第一图像特征进行空洞卷积处理。
这里，所述N为大于或等于1的正整数；可以理解的是，所述空洞卷积模块中的空洞卷积稠密子模块的数量与所述Inception卷积模块中Inception卷积层的数量相同。
本发明实施例中，所述Inception卷积层和所述空洞卷积稠密子模块穿插排布在所述图像分割网络中，通过Inception卷积层对输入的MRI影像图像进行Inception卷积，得到不同尺度的第一图像特征；并通过空洞卷积稠密子模块对所述Inception卷积层输出的不同尺度的第一图像特征进行空洞卷积处理，得到多尺度的第二图像特征。
需要说明的是，所述稠密子模块由多个卷积层组成，每个稠密子模块使用相同的输出通道数，但在正向传播时，将每个稠密子模块的输出在通道维度上同其输出合并进行下一个稠密子模块。
可选地，所述利用图像分割网络的空洞卷积模块对第一图像特征进行空洞卷积，得到第二图像特征，包括：
对接收到第一图像特征进行空洞卷积，得到空洞卷积结果；
对所述空洞卷积结果进行批量归一化(Batch Normalization，BN)处理得到归一化处理结果；
基于带泄露整流函数对所述归一化处理结果进行整流处理，得到所述第二图像特征。
本发明实施例中，所述对所述空洞卷积结果进行批量归一化处理得到归一化处理结果，包括：
获取所述空洞卷积结果的均值和标准差；
基于所述均值和标准差，对所述空洞卷积结果进行归一化处理；
并基于预设的学习参数，对归一化处理后的空洞卷积结果进行重构，得到所述归一化处理结果。
这里，所述预设的学习参数可根据实际需求进行设定；
本发明实施例先通过均值和标准差，对空洞卷积结果进行归一化处理，使得每一个空洞卷积稠密子模块的输出结果具有相同的数据分布，从而能够提高网络的泛化能力，加快收敛速度；然后利用预设的学习参数，对归一化处理后线性的空洞卷积结果进行重构，使得归一化处理结果能够更切合空洞卷积结果的真实分布，保证模型的非线性表达能力。
示例性地，所述基于所述均值和方差，对所述空洞卷积结果进行归一化处理，可包括：
将所述空洞卷积结果与所述均值相减，得到第一空洞卷积结果；
将所述第一空洞卷积结果与所述方差相除，得到批量归一化处理后的空洞卷积结果。
需要说明的是，所述带泄露整流函数(Leaky Rectified Linear Unit，Leaky-ReLU)作为激活函数，能够在修正数据分布的同时，保留一些负轴的值，使得负轴的信息不会全部丢失，不经可以避免梯度消失的问题，还可以减少静默神经元的出现。
可选地，所述图像处理方法还包括：
对所述MRI影像图像进行标准卷积处理，得到标准卷积结果；
所述针对MRI影像图像，利用图像分割网络的Inception卷积模块进行Inception卷积，得到多个不同尺度的第一图像特征，包括：
利用所述Inception卷积模块对所述标准卷积结果基于不同卷积核进行Inception卷积，得到多个不同尺度的第一图像特征。
在本发明实施例中，通过对所述MRI影像图像进行标准卷积处理，得到用于指示MRI影像图像的低维特征的标准卷积结果；将标准卷积结果输入至Inception卷积模块，利用Inception卷积模块中不同卷积核，对所述标准卷积结果进行Inception卷积处理，得到不同尺度的第一图像特征。
这里，所述低维特征用于指示所述MRI影像图像的全局轮廓信息，例如，边缘、线条信息等；所述第一图像特征可为用于指示MRI影像图像的细节信息的高维特征。
下面，本发明实施例提供一种图像分割网络的训练方法，如图2所示，图2是本发明实施例提供的一种图像分割网络的训练方法的流程示意图。所述方法包括：
步骤201，获取MRI影像图像的训练样本集；其中，所述训练样本集包括：有标签的训练样本和无标签的训练样本；
步骤202，将所述训练样本集的MRI影像图像输入至利用有标签的训练数据完成预训练的第一网络，得到所述第一网络输出的预测分割信息；其中，所述预测分割信息包括：有标签的训练样本的预测分割信息；
步骤203，通过第二网络基于有标签的训练样本的预测分割信息，得到对所述第一网络的预测分割信息的第一分割质量评分；
步骤204，根据所述有标签的训练样本的预测分割信息和所述标签之间的差异，确定所述第一网络的第一损失值；
步骤205，基于所述第一分割质量评分和所述有标签的训练样本的标签，确定所述第二网络的第二损失值；
步骤206，基于所述第一损失值和所述第二损失值，确定是否继续训练所述第一网络。
在步骤201中，获取大量MRI影像图像，并根据所述MRI影像图像是否携带有标签，将所述MRI影像图像分为有标签的训练样本和无标签的训练样本。其中，所述标签用于指示所述训练样本的MRI影像图像中肿瘤病变区域。
需要说明的是，训练样本集是用于调整第一网络和第二网络中待训练参数的MRI影像图像；在本发明实施例中，所述训练样本集包括：有标签的训练样本和无标签的训练样本。
相关技术中，由于图像分割网络是通过完全监督学习的方式进行训练的，需要大量的有标签的MRI影像图像参与训练，才能够有效避免网络模型过拟合，保证网络模型的鲁棒性。但是在医学领域，对MRI影像图像进行标注，得到所述MRI影像图像的标签的过程较为困难，有标签的MRI影像图像的数量较少，会对图像分割网络的准确性造成影响。对此，本发明实施例通过有标签的MRI影像图像对图像分割网络进行预训练，并通过判别网络，利用无标签的MRI影像图像和有标签的MRI影像图像，采用半监督学习的方式对预训练后的图像分割网络进行训练，充分利用大量的无标签的MRI影像图像，提高图像分割网络的准确性。
在步骤202中，所述预测分割信息用于指示所述MRI影像图像中肿瘤病变区域。
所述第一网络是利用有标签的训练数据，基于完全监督的方式训练得到的网络模型；将训练样本集中的MRI影像图像输入至第一网络中，得到所述第一网络输出的预测分割信息；
在步骤203中，将所述MRI影像图像和所述MRI影像图像对应的预测分割信息，输入至第二网络，得到所述预测分割信息对应的第一分割质量评分。
在本发明实施例中，所述第一分割质量评分用于指示所述第一网络输出的所述有标签的训练样本的预测分割结果的准确性。示例性地，若所述第一分割质量评分为1，表征所述第一网络输出的所述预测分割信息的分割质量良好；若所述第一分割质量评分为0，表征所述第一网络输出的所述预测分割信息的分割质量较差。
在图像分割网络的训练过程中，可先利用有标签的训练样本的预测分割信息和标签，对所述第二网络进行预训练。
可将有标签的训练样本的MRI影像图像、所述MRI影像图像对应的标签和预测分割信息，输入至第二网络中，得到第二网络输出的有标签的MRI影像图像对应的预测分割信息的第一分割质量评分；利用所述第一分割质量评分和所述预测分割信息，对所述第二网络内的待训练参数进行调整。
在步骤204中，可利用所述有标签的训练样本的预测分割信息和所述标签之间的差异，以及所述有标签的训练样本的第一分割质量评分，确定所述第一网络的第一损失值；
本发明实施例中，第一网络和第二网络分别为生成对抗网络中的生成子网络和判别子网络，通过第一网络和第二网络之间的对抗学习，利用第一网络的输出结果，指导所述第二网络输出更准确的分割质量评分，又利用第二网络输出的分割质量评分，促使第一网络提高图像分割的准确性。
因而，在确定所述第一网络的第一损失函数值时，既需要考虑到有标签的训练样本的预测分割信息和所述标签之间的差异，还需要考虑到有标签的训练样本的第一分割质量评分。
在步骤205中，对于有标签的训练样本，将所述有标签的训练样本的MRI影像图像、所述MRI影像图像的预测分割信息和标签输入到第二网络，并根据第二网络输出的针对所述预测分割信息的第一分割质量评分和针对所述标签的分割质量评分，确定所述第二网络的第二损失值。
本发明实施例中，在图像分割网络的训练过程中，可先利用有标签的训练样本的预测分割信息和标签，确定所述第二网络的第二损失值；利用所述第二损失值，对所述第二网络进行预训练；并利用预训练后的第二网络，重新对所述有标签的训练样本和无标签的训练样本进行分割质量评估，从而根据所述有标签的训练样本的第一分割质量评分和无标签的训练样本的第二分割质量评分，对第一网络进行训练。
在步骤206中，判断所述第一损失值和第二损失值是否满足停止训练条件，若第一损失值或第二损失值不满足停止训练条件时，继续对第一网络和第二网络中的待训练参数进行优化，直至所述第一损失值和第二损失值均满足停止训练条件，即可得到图像分割网络。
这里，所述停止训练条件可为训练达到迭代次数和/或第一损失函数和第二损失函数收敛。这里，迭代次数可根据训练样本集内MRI影像图像的数量和初始网络的大小来确定，本发明就不具体限定了。
可选地，所述图像分割网络的训练方法还包括：
通过第二网络基于无标签的训练样本的预测分割信息，得到对所述第一网络的预测分割信息的第二分割质量评分；
所述根据所述有标签的训练样本的预测分割信息和所述标签之间的差异，确定所述第一网络的第一损失值，包括：
根据所述有标签的训练样本的预测分割信息和所述标签之间的差异、所述第一分割质量评分和第二分割质量评分，得到所述第一损失值。
在本发明实施例中，所述第二分割质量评分用于指示所述第一网络输出的所述无标签的训练样本的预测分割结果的准确性。
将所述无标签的训练样本中的MRI影像图像输入第一网络中，得到所述第一网络输出的所述无标签的训练样本的预测分割信息；并将所述预测分割信息和所述MRI影像图像输入至第二网络中，得到所述第二网络输出的第二分割质量评分。
需要说明的是，由于在实际应用中，有标签的MRI影像图像的数量有限，而采用完全监督的方式对第一网络的训练，需要大量的有标签的训练数据，才能有效的提高第一网络的准确性。
对此，本发明实施例采用半监督的方式，通过将无标签的训练样本和有标签的训练样本输入至第一网络，得到所述第一网络输出的无标签的训练样本对应的预测分割信息和有标签的训练样本对应的预测分割信息；利用第二网络分别得到有标签的预测分割信息对应的第一分割质量评分和无标签的预测分割信息对应的第二分割质量评分；利用所述有标签的训练数据的预测分割信息和标签之间的差异、第一分割质量评分和第二分割质量评分，确定所述第一网络的损失函数值，从而对所述第一网络中的待训练参数进行调整。
可选地，所述根据所述有标签的训练样本的预测分割信息和所述标签之间的差异、所述第一分割质量评分和第二分割质量评分，得到所述第一损失值，包括：
基于所述第一分割质量评分，确定所述第二网络的损失值；
基于所述第二网络的损失值，调整所述第二网络中的待训练参数；
利用调整后的第二网络，对有标签的训练样本的预测分割信息和无标签的训练样本的预测分割信息进行评估，得到有标签的训练样本的预测分割信息的第一分割质量评分和无标签的训练样本的预测分割信息的第二分割质量评分；
根据所述有标签的训练样本的预测分割信息和所述标签之间的差异、所述第一分割质量评分和所述第二分割质量评分，确定所述第一网络的第一损失值。
本发明实施例中，所述第一网络和第二网络通过对抗训练的方式，所述第一网络的输出结果，能够用于指导所述第二网络，以输出更准确的分割质量评分；第二网络输出的分割质量评分，能够用于促使第一网络，以提高图像分割的准确性。
利用所述第一分割质量评分、以及所述有标签的训练样本的预测分割信息和所述标签之间的差异，确定所述第二网络的损失值；并根据所述第二网络的损失值，对所述第二网络进行预训练；将第一网络输出的有标签的预测分割信息和无标签的预测分割信息分别输入至预训练后的第二网络，利用所述第二网络输出的第一分割质量评分和第二分割质量评分，以及所述预测分割信息和所述标签，确定第一网络的损失值；从而能够利用有标签的训练样本和无标签的训练样本，对第一网络进行训练，得到图像分割网络。
可选地，所述根据所述有标签的训练样本的预测分割信息和所述标签之间的差异、第一分割质量评分和第二分割质量评分，确定所述第一网络的第一损失值，包括：
根据所述有标签的训练样本的预测分割信息和所述标签，确定所述标签对应的分割损失函数值；
根据所述第一分割质量评分，确定所述第一分割质量评分对应的二值交叉熵；
根据所述第二分割质量评分，确定所述第二分割质量评分对应的二值交叉熵；
对所述分割损失函数值、所述第一分割质量评分对应的二值交叉熵和所述第二分割质量评分对应的二值交叉熵进行加权融合，得到所述第一网络的第一损失值。
本发明实施例中，所述第一网络的第一损失函数由分割损失函数和对抗损失函数组成；所述标签对应的分割损失函数值用于指示所述有标签的训练样本与标签之间的差异。所述对抗损失函数可包括：第一分割质量评分对应的二值交叉熵和第二分割质量评分对应的二值交叉熵；
其中，所述第一分割质量评分对应的二值交叉熵用于确定所述有标签的训练样本对应的第一分割质量评分的损失值；所述第二分割质量评分对应的二值交叉熵用于确定所述无标签的训练样本对应的第二分割质量评分的损失值。
需要说明的是，通过所述分割损失函数，利用有标签的训练样本，提升所述第一网络的基础分割效果；通过所述第一分割质量评分对应的二值交叉熵，和所述第二分割质量评分对应的二值交叉熵表征所述第一网络输出的预测分割信息和真实标签之间的对抗关系；从而使得有标签的训练样本和无标签的训练样本更接近于标签。
所述分割损失函数值、所述第一分割质量评分的二值交叉熵和所述第二分割质量评分的二值交叉熵对应的权值，可根据实际需求进行设置。
在一些实施例中，所述第一网络的第一损失函数可由下式表示：
Figure BDA0003119916210000151
其中，所述lG(·)为第一网络的第一损失函数；所述Il为有标签的MRI影像图像；所述Iul为无标签的MRI影像图像；所述yl′为有标签的MRI影像图像对应的预测分割信息；所述yul′为无标签的MRI影像图像对应的预测分割信息；所述θG为所述第一网络的待训练的权重参数；所述lseg(·)为所述第一网络的分割损失函数；所述
Figure BDA0003119916210000152
为所述第一分割质量评分的二值交叉熵的权值；所述
Figure BDA0003119916210000153
为所述第二分割质量评分的二值交叉熵的权值；所述lDCE(·)为所述Dice交叉熵损失函数；所述D(Il,yl′)为所述第二网络输出的第一分割质量评分；所述D(Iul,yul′)为所述第二网络输出的第二分割质量评分。
可选地，所述基于所述第一分割质量评分和所述有标签的训练样本的标签，确定所述第二网络的第二损失值，包括：
基于所述第一分割质量评分、所述有标签的训练样本的标签和所述第二分割质量评分，确定所述第二网络的第二损失值。
本发明实施例中，通过所述第一网络输出有标签的MRI影像图像的预测分割信息和无标签的MRI影像图像的预测分割信息；并将所述有标签的MRI影像图像，以及所述有标签的MRI影像图像对应的标签和预测分割信息输入至第二网络，得到第二网络输出的有标签的预测分割信息对应的第一分割质量评分和所述标签对应的分割质量评分；将所述无标签的MRI影像图像，以及所述无标签的MRI影像图像对应的预测分割信息输入至第二网络，得到第二网络输出的无标签的预测分割信息对应的第二分割质量评分；
根据所述标签对应的分割质量评分、所述第一分割质量评分和所述第二分割质量评分，确定有标签的预测分割结果、无标签的预测分割结果与MRI影像图像之间的差异和所述标签与所述MRI影像图像之间的差异，从而确定所述第二网络的第二损失值。
可选地，所述基于所述第一分割质量评分、所述有标签的训练样本的标签和所述第二分割质量评分，确定所述第二网络的第二损失值，包括：
根据所述标签对应的分割质量评分，确定所述标签对应的二值交叉熵；
根据所述第一分割质量评分，确定所述第一分割质量评分对应的二值交叉熵；
根据所述第二分割质量评分，确定所述第二分割质量评分对应的二值交叉熵；
对所述标签对应的二值交叉熵、所述第一分割质量评分对应的二值交叉熵和所述第二分割质量评分对应的二值交叉熵进行加权融合，得到所述第二网络的第二损失值。
本发明实施例中，利用第二网络，基于所述有标签的MRI影像图像和标签，确定所述标签对应的分割质量评分和第一分割质量评分，并利用所述标签对应的分割质量评分的二值交叉熵、所述第一分割质量评分的二值交叉熵和所述第二分割质量评分的二值交叉熵
在一些实施例中，所述第二网络的第二损失函数可由下式表示：
Figure BDA0003119916210000171
其中，所述lD(·)为第二网络的第二损失函数；所述θD为所述第二网络的待训练的权重参数；所述
Figure BDA0003119916210000172
为所述第一分割质量评分的二值交叉熵的权值；所述
Figure BDA0003119916210000173
为所述第二分割质量评分的二值交叉熵的权值。
可选地，所述图像分割网络的训练方法还包括：
将有标签的训练数据输入至初始网络，得到所述初始网络输出的预测分割信息；
根据所述预测分割信息和所述标签之间的差异，确定所述初始网络的分割损失函数值；
根据所述初始网络的分割损失函数值，对所述初始网络的待训练参数进行调整，得到第一网络。
在本发明实施例中，利用有标签的训练数据，基于完全监督的方式对初始网络进行训练，得到第一网络。
所述初始网络的待训练参数可包括以下参数中的一个或多个：迭代次数、批处理大小、图像大小、学习率和学习率衰减值。
这里，迭代次数是指训练样本集中所有训练的图像的训练次数，一般根据训练图像的数量和初始网络大小来决定；示例性地，可将迭代次数设置为1500次。所述批处理大小表示网络一次前向传播载入的图像数量；示例性地，所述批处理大小可设置为16。图像大小是指图像在训练前需要调整到适当的大小，根据预先定义的长宽来改变图像的大小，示例性地，所述图像大小可设置为224×224。所述学习率表示控制模型的学习速率，若设置的学习率太小，会造成训练的网络模型收敛过慢；若设置的学习率太大，会导致损失函数振荡。因而，在训练过程中为了避免学习率设置不合理，通常采用动态调节学习率的方式，通过设置学习率衰减值，使训练过程中学习率随着训练轮数不断按指数级下降，收敛梯度下降的学习步长。
通过将有标签的MRI影像图像的训练数据输入至初始网络中，得到所述初始网络输出的用于指示所述MRI影像图像中肿瘤病变区域的预测分割信息；并根据所述预测分割信息和所述标签之间的差异，计算初始网络的分割损失函数值，根据分割损失函数值计算反向传播梯度，更新初始网络中待训练参数，然后重复上述步骤，直到达到迭代次数或损失函数收敛，得到第一网络。
可选地，所述根据所述预测分割信息和所述标注信息之间的差异，确定所述初始网络的分割损失函数值，包括：
基于预测分割信息和所述标注信息，分别确定所述预测分割信息和所述标注信息的二值交叉熵和Dice交叉熵；
对所述二值交叉熵和所述Dice交叉熵进行加权融合，得到所述初始网络的分割损失函数值。
本发明实施例中，所述初始网络的分割损失函数由Dice交叉熵损失函数和二值交叉熵损失函数组成，其中，所述Dice交叉熵损失函数用于确定所述MR I影像图像中两个肿瘤病变区域之间的相似程度；所述二值交叉熵损失函数用于确定所述MRI影像图像中每一个像素点的损失值，针对边界不明确、灰度不均匀的MRI影像图像的分割细节有较好的效果。
通过对所述预测分割信息和所述标注信息的二值交叉熵和Dice交叉熵进行加权融合，既能够考虑到MRI影像图像中肿瘤病变区域的不同尺度形状，还能考虑MRI影像图像自身的成像质量(例如，灰度不均、噪声等)对肿瘤病变区域的边界分割的影响。
这里，所述二值交叉熵和所述Dice交叉熵的权值可根据实际需求进行设置，示例性地，可将所述二值交叉熵和所述Dice交叉熵的权值均设置为0.5。
在一些实施例中，所述初始网络的分割损失函数可由下式表示：
lseg(y′,y；θG)＝αlDCE(y′,y；θG)+βlBCE(y′,y；θG)；
其中，所述lseg(·)为所述初始网络的分割损失函数；所述y为所述MRI影像图像的标签；所述y′为所述MRI影像图像的预测分割信息；所述θG为所述初始网络的待训练的权重参数；所述α为所述Dice交叉熵的权值；所述lDCE(·)为所述Dice交叉熵损失函数；所述β为所述二值交叉熵的权值；所述lBCE(·)为所述二值交叉熵损失函数。
可选地，所述通过第二网络基于有标签的训练样本的预测分割信息，得到对所述第一网络的预测分割信息的分割质量评分，包括：
将所述预测分割信息和所述有标签的训练样本输入至第二网络，通过第二网络的图像强度注意力模块和几何边界注意力模块，对所述预测分割信息进行处理，得到所述有标签的训练样本的MRI影像图像的肿瘤病变区域和背景区域之间的强度信息差异特征、所述肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征；
根据所述强度信号差异特征、肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征，确定所述预测分割信息对应的分割质量评分。
本发明实施例中，所述图像强度注意力模块用于基于所述预测分割信息和所述训练样本，提取所述MRI影像图像中肿瘤病变区域和背景区域之间的强度信息差异特征；所述几何边界注意力模块用于提取所述MRI影像图像中肿瘤病变区域的轮廓特征和背景区域的轮廓特征。
需要说明的是，通过图像强度注意力模块和几何边界注意力模块，充分利用所述MRI影像图像中肿瘤病变区域和背景区域中包含的信息，扩大所述肿瘤病变区域和背景区域之间的对比度，从而便于第二网络能够利用所述强度信号差异特征、肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征，更有效识别肿瘤病变区域，从而判别出所述预测分割信息的准确性。
基于所述MRI影像图像，提取所述MRI影像图像的图像特征；基于所述MRI影像图像的预测分割信息，提取强度信号差异特征、肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征；利用所述MRI影像图像和所述预测分割信息的强度信号差异特征和轮廓特征，确定所述MRI影像图像与所述预测分割信息之间差异，从而确定所述预测分割信息对应的分割质量评分。
可选地，所述通过第二网络的图像强度注意力模块和几何边界注意力模块，对所述预测分割信息进行处理，得到所述有标签的训练样本的MRI影像图像的肿瘤病变区域和背景区域之间的强度信息差异特征、所述肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征，包括：
对所述预测分割信息进行标准卷积处理，分别得到所述MRI影像图像的肿瘤病变区域特征和所述背景区域特征；
对所述肿瘤病变区域特征和所述背景区域特征进行分类处理，得到所述MRI影像图像的肿瘤病变区域对应的注意力信息和所述背景区域的注意力信息；
对所述MRI影像图像、所述肿瘤病变区域对应的注意力信息和所述背景区域的注意力信息进行融合，得到所述MRI影像图像的肿瘤病变区域和背景区域之间的强度信息差异特征、所述肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征。
本发明实施例中，通过对所述预测分割信息进行并行的标准卷积处理，分别提取所述MRI影像图像中肿瘤病变区域特征和所述背景区域特征；并分别利用激活函数对所述肿瘤病变区域特征和所述背景区域特征进行处理，得到所述肿瘤病变区域对应的注意力信息和所述背景区域对应的注意力信息；
所述对所述MRI影像图像、所述肿瘤病变区域对应的注意力信息和所述背景区域的注意力信息进行融合，可包括：
对所述MRI影像图像进行卷积处理，得到MRI影像图像的图像特征；
将所述MRI影像图像的图像特征与所述肿瘤病变区域对应的注意力信息相乘，得到第一注意力特征；
将所述MRI影像图像的图像特征与所述背景区域对应的注意力信息相乘，得到第二注意力特征。
本公开实施例中，所述第一注意力特征为融合了肿瘤病变区域对应的注意力信息的图像特征；所述第二注意力特征为融合了背景区域对应的注意力信息的图像特征。
所述第一注意力特征可用于指示所述肿瘤病变区域的轮廓特征，所述第二注意力特征可用于指示所述背景区域的轮廓特征；并可利用所述第一注意力特征与所述第二注意力特征之间差异，确定所述肿瘤病变区域和背景区域之间的强度信息差异特征。
可选地，所述根据所述强度信号差异特征、肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征，确定所述预测分割信息对应的分割质量评分，包括：
对所述强度信号差异特征、肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征进行级联处理，得到双重注意力特征；
基于所述双重注意力特征，确定所述预测分割信息对应的分割质量评分。
本发明实施例中，可通过第一注意力特征与第二注意力特征进行特征融合，实现对所述强度信号差异特征、肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征的级联处理，从而得到双重注意力特征。
示例性地，可通过将所述第一注意力特征和第二注意力特征采用元素相加的方式，实现第一注意力特征和第二注意力特征的特征融合。
需要说明的是，基于所述双重注意力特征，能够充分利用所述背景区域包含的信息和所述肿瘤病变区域包含的信息，来扩大所述背景区域和所述肿瘤病变区域之间的对比度，从而便于从识别出所述肿瘤病变区域。
通过对所述双重注意力特征进行卷积处理，得到第三图像特征；所述第三图像特征可用于指示所述预测分割信息为有标注样本的概率值。根据所述第三图像概率，得到所述预测分割信息对应的分割质量评分。
可选地，所述基于所述双重注意力特征，确定所述预测分割信息对应的分割质量评分，包括：
针对所述双重注意力特征，利用所述第二网络的Inception卷积模块进行Inception卷积，得到不同尺度的第三图像特征；
利用第二网络的空洞卷积模块对所述第三图像特征进行空洞卷积，得到第四图像特征；
基于所述第四图像特征，确定所述预测分割信息对应的的分割质量评分。
本发明实施例中，所述Inception卷积模块中具有N个Inception卷积层，不同Inception卷积层的卷积核不同；这里，所述N为大于或等于1的正整数。
通过所述Inception卷积模块中不同的Inception卷积层，分别从所述双重注意力特征提取不同尺度的第三图像特征；
所述空洞卷积模块中具有N个空洞卷积稠密子模块，所述Inception卷积层和所述空洞卷积稠密子模块穿插排布在所述第二网络中，通过所述空洞卷积稠密子模块，对所述Inception卷积层输出的不同尺度的第三图像特征进行空洞卷积处理，得到第四图像特征。
可选地，所述图像分割网络的训练方法还包括：
对训练样本集中的MRI影像图像进行裁剪处理的，得到所述MRI影像图像中的肿瘤病变区域图像；
对所述肿瘤病变区域图像进行灰度归一化处理；
将灰度归一化处理后的肿瘤病变区域图像进行几何变换处理，得到增强后的MRI影像图像；
所述将所述训练样本集的MRI影像图像输入至利用有标签的训练数据完成预训练的第一网络，包括：
将所述增强后的MRI影像图像输入到所述第一网络中。
在本发明实施例中，所述裁剪处理可包括：对所述MRI影像图像中不包含肿瘤信息的区域、以及MRI影像图像中的边界区域和背景区域进行裁剪；
通过对训练样本集中的MRI影像图像进行裁剪处理，得到裁剪后的MRI影像图像，通过预设尺寸的滑窗在所述裁剪后的MRI影像图像进行滑动，以获得多个预设尺寸的待分割图像；
这里，所述滑窗的预设尺寸与所述第一网络适应的图像尺寸相同。例如，所述预设尺寸为224×224。
所述灰度归一化处理是指将待处理图像中各个像素点的灰度值都设置在特定的范围内。在本发明实施例中，可通过对所述多个肿瘤病变区域图像进行灰度归一化处理，以使所述多个肿瘤病变区域图像的灰度值分布相近。
所述对所述肿瘤病变区域图像进行灰度归一化处理，可包括：
根据所述肿瘤病变区域图像，确定出所述肿瘤病变区域图像中的最大像素值和最小像素值，以及所述最大像素值与所述最小像素值之间的差值信息；
根据所述肿瘤病变区域图像中各个像素点的像素值和所述最小像素值，确定所述各个像素点对应的像素差值；
根据所述各个像素点对应的像素差值和所述差值信息的比值，确定灰度归一化后的肿瘤病变区域图像。
可通过对灰度归一化处理后的肿瘤病变区域图像与几何变换函数进行运算的方式实现对肿瘤病变区域图像的几何变换处理。这里，几何变换函数的具体形式不限制，可以是表示水平翻转的几何变换函数，也可以表示垂直翻转的几何变换函数等。
需要说明的是，由于训练图像分割网络需要大量的有标签的训练样本，但在实际应中，有标签的训练样本的数量有限，为了使训练样本集尽可能的多样化，提高图像分割网络的泛化能力，需要对训练样本集中的MRI影像图像进行几何变换处理，实现对训练样本集的数据增强。
下面，本发明实施例提供一种图像处理装置30，如图3所示，图3是本发明实施例提供的一种图像处理装置的结构示意图。所述图像处理装置包括：
第一卷积模块31，用于针对MRI影像图像，利用图像分割网络的Inceptio n卷积模块进行Inception卷积，得到第一图像特征；
第二卷积模块32，用于利用图像分割网络的空洞卷积模块对第一图像特征进行空洞卷积，得到第二图像特征；
分割模块33，用于基于所述第二图像特征，从所述MRI影像图像中分割出肿瘤病变区域，其中，所述肿瘤病变区域为肿瘤病变组织成像的像素所在区域。
可选地，所述Inception卷积模块具有N个Inception卷积层，不同所述Inc eption卷积层的卷积核不同；不同Inception卷积层用于提取出不同尺度的所述第一图像特征。
可选地，所述空洞卷积模块包括：N个所述空洞卷积稠密子模块；
所述Inception卷积层和所述空洞卷积稠密子模块穿插排布在所述图像分割网络中，通过所述空洞卷积稠密子模块，用于对不同尺度的所述第一图像特征进行空洞卷积处理。
可选地，所述第二卷积模块具体用于：
对接收到第一图像特征进行空洞卷积，得到空洞卷积结果；
对所述空洞卷积结果进行批量归一化处理得到归一化处理结果；
基于带泄露整流函数对所述归一化处理结果进行整流处理，得到所述第二图像特征。
可选地，所述图像处理装置还包括：第三卷积模块，用于对所述MRI影像图像进行标准卷积处理，得到标准卷积结果；
所述第一卷积模块，用于利用所述Inception卷积模块对所述标准卷积结果基于不同卷积核进行Inception卷积，得到多个不同尺度的第一图像特征。
下面，本发明实施例提供一种图像分割网络的训练装置40，如图4所示，图4是本发明实施例提供的一种图像分割网络的训练装置的结构示意图。所述图像分割网络的训练装置包括：
获取模块41，用于获取MRI影像图像的训练样本集；其中，所述训练样本集包括：有标签的训练样本和无标签的训练样本；
第一网络模块42，用于将所述训练样本集的MRI影像图像输入至利用有标签的训练数据完成预训练的第一网络，得到所述第一网络输出的预测分割信息；其中，所述预测分割信息包括：有标签的训练样本的预测分割信息；
第二网络模块43，用于通过第二网络基于有标签的训练样本的预测分割信息，得到对所述第一网络的预测分割信息的第一分割质量评分；
损失确定模块44，用于根据所述有标签的训练样本的预测分割信息和所述标签之间的差异，确定所述第一网络的第一损失值；基于所述第一分割质量评分和所述有标签的训练样本的标签，确定所述第二网络的第二损失值；基于所述第一损失值和所述第二损失值，确定是否继续训练所述第一网络。
可选地，第二网络模块，还用于通过第二网络基于无标签的训练样本的预测分割信息，得到对所述第一网络的预测分割信息的第二分割质量评分；
所述损失确定模块，用于根据所述有标签的训练样本的预测分割信息和所述标签之间的差异、所述第一分割质量评分和第二分割质量评分，得到所述第一损失值。
可选地，所述损失确定模块，具体用于：
基于所述第一分割质量评分，确定所述第二网络的损失值；
基于所述第二网络的损失值，调整所述第二网络中的待训练参数；
利用调整后的第二网络，对有标签的训练样本的预测分割信息和无标签的训练样本的预测分割信息进行评估，得到有标签的训练样本的预测分割信息的第一分割质量评分和无标签的训练样本的预测分割信息的第二分割质量评分；
根据所述有标签的训练样本的预测分割信息和所述标签之间的差异、所述第一分割质量评分和所述第二分割质量评分，确定所述第一网络的第一损失值。
可选地，所述损失确定模块，用于：
根据所述有标签的训练样本的预测分割信息和所述标签，确定所述标签对应的分割损失函数值；
根据所述第一分割质量评分，确定所述第一分割质量评分对应的二值交叉熵；
根据所述第二分割质量评分，确定所述第二分割质量评分对应的二值交叉熵；
对所述分割损失函数值、所述第一分割质量评分对应的二值交叉熵和所述第二分割质量评分对应的二值交叉熵进行加权融合，得到所述第一网络的第一损失值。
可选地，所述损失确定模块，用于：
基于所述第一分割质量评分、所述有标签的训练样本的标签和所述第二分割质量评分，确定所述第二网络的第二损失值。
可选地，所述损失确定模块，具体用于：
根据所述标签对应的分割质量评分，确定所述标签对应的二值交叉熵；
根据所述第一分割质量评分，确定所述第一分割质量评分对应的二值交叉熵；
根据所述第二分割质量评分，确定所述第二分割质量评分对应的二值交叉熵；
对所述标签对应的二值交叉熵、所述第一分割质量评分对应的二值交叉熵和所述第二分割质量评分对应的二值交叉熵进行加权融合，得到所述第二网络的第二损失值。
可选地，所述图像分割网络的训练装置还包括：预训练模块，用于：
将有标签的训练数据输入至初始网络，得到所述初始网络输出的预测分割信息；
根据所述预测分割信息和所述标签之间的差异，确定所述初始网络的分割损失函数值；
根据所述初始网络的分割损失函数值，对所述初始网络的待训练参数进行调整，得到第一网络。
可选地，所述预训练模块，还用于：
基于预测分割信息和所述标注信息，分别确定所述预测分割信息和所述标注信息的二值交叉熵和Dice交叉熵；
对所述二值交叉熵和所述Dice交叉熵进行加权融合，得到所述初始网络的分割损失函数值。
可选地，所述第二网络模块，用于：
将所述预测分割信息和所述有标签的训练样本输入至第二网络，通过第二网络的图像强度注意力模块和几何边界注意力模块，对所述预测分割信息进行处理，得到所述有标签的训练样本的MRI影像图像的肿瘤病变区域和背景区域之间的强度信息差异特征、所述肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征；
根据所述强度信号差异特征、肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征，确定所述预测分割信息对应的分割质量评分。
可选地，所述第二网络模块，具体用于：
对所述预测分割信息进行标准卷积处理，分别得到所述MRI影像图像的肿瘤病变区域特征和所述背景区域特征；
对所述肿瘤病变区域特征和所述背景区域特征进行分类处理，得到所述MRI影像图像的肿瘤病变区域对应的注意力信息和所述背景区域的注意力信息；
对所述MRI影像图像、所述肿瘤病变区域对应的注意力信息和所述背景区域的注意力信息进行融合，得到所述MRI影像图像的肿瘤病变区域和背景区域之间的强度信息差异特征、所述肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征。
可选地，所述第二网络模块，具体用于：
对所述强度信号差异特征、肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征进行级联处理，得到双重注意力特征；
基于所述双重注意力特征，确定所述预测分割信息对应的分割质量评分。
可选地，所述第二网络模块，还具体用于：
针对所述双重注意力特征，利用所述第二网络的Inception卷积模块进行Inception卷积，得到不同尺度的第三图像特征；
利用第二网络的空洞卷积模块对所述第三图像特征进行空洞卷积，得到第四图像特征；
基于所述第四图像特征，确定所述预测分割信息对应的的分割质量评分。
可选地，所述装置还包括：预处理模块，用于：
对训练样本集中的MRI影像图像进行裁剪处理的，得到所述MRI影像图像中的肿瘤病变区域图像；
对所述肿瘤病变区域图像进行灰度归一化处理；
将灰度归一化处理后的肿瘤病变区域图像进行几何变换处理，得到增强后的MRI影像图像；
所述第一网络模块，用于将所述增强后的MRI影像图像输入到所述第一网络中。
结合本发明上述实施例，下面将说明本发明实施例在一个实际的应用场景中的示例性应用。
本示例提供了一种图像处理方法，如图5所示，图5为本示例提供的一种图像处理方法的流程示意图。具体步骤如下：
步骤501，获取MRI影像图像的训练样本集，并对所述MRI影像图像进行预处理；
获取大量的MRI影像图像，形成训练样本集；其中，所述训练样本集包括：有标签的训练样本和无标签的训练样本；对所述训练样本集中的MRI影像图像进行裁剪处理，去除所述MRI影像图像中不包含任何肿瘤信息的区域，以及所述MRI影像图像中像素值为0的边界信息和背景信息。并将裁剪后得到的MRI影像图像统一缩放为224×224；并对缩放后的MRI影像图像进行图像灰度归一化处理，将所述MRI影像图像的灰度值的取值范围压缩到[-1,1]，使得所有MRI影像图像的灰度值分布相近；将灰度归一化处理后的MRI影像图像进行几何变换处理。
需要说明的是，由于通过完全监督的方式训练神经网络需要大量的有标签的训练样本，但在实际应用中，有标签的MRI影像图像的数量有限，因此，为了让训练样本集尽可能的多样化，提高神经网络的泛化能力，可通过对MRI影像图像进行几何变换处理，实现训练样本集的数据增强。
这里，所述几何变换处理可包括：随机角度旋转、水平翻转和垂直翻转等。
步骤502，构建半监督生成对抗网络；
在本发明实施例中，半监督生成对抗网络包括：图像分割网络和判别网络；其中图像分割网络，用于将随机噪声映射到真实图像数据分布；判别网络用于判别输入图像属于真实样本还是生成图像样本。通过半监督生成对抗网络，可有效利用大量无标签的训练样本，提升图像分割网络的准确率，并大幅减少数据标注带来的人力、物力的开销。
在本发明实施例中，可通过分别构建第一网络和第二网络，以构建半监督生成对抗网络。
这里，第一网络为基于有标签的训练样本，对初始网络训练得到的基础分割网络。所述初始网络可采用编码器-解码器结构。
在编码器部分，如图6所示，图6是本示例提供的一种图像分割网络的网络架构示意图。在所述初始网络的起始部分设置标准卷积层，通过所述标准卷积层对输入的MRI影像图像进行标准卷积，提取所述MRI影像图像的低维特征。具体地，所述标准卷积层的卷积核大小为5×5，步长为2。
通过初始网络中位于所述标准卷积层输出端的Inception卷积模块，基于所述MRI影像图像的低维特征进行Inception卷积，得到第一图像特征；并通过空洞卷积模块，对所述第一图像特征进行空洞卷积，得到第二图像特征。
需要说明的是，由于脑肿瘤MRI影像图像中肿瘤病变的边界不明确，图像模糊且灰度分布不均，为了更有效地合并MRI影像图像的低层特征信息，生成更高层的特征信息。
这里，所述Inception卷积模块由多个不同Inception卷积层组成，不同Inception卷积层的卷积核不同。例如，所述Inception卷积模块可由1×1、3×3和5×5等卷积核对应的Inception卷积层组成。所述空洞卷积层包括多个空洞卷积稠密子模块；其中，每个空洞卷积稠密子模块包括：空洞卷积层、BN层和Leaky-ReLU函数。
所述Inception卷积模块可通过多个不同Inception卷积层，对MRI影像图像的低维特征进行Inception卷积，得到不同尺度的第一图像特征；
所述空洞卷积模块可通过空洞卷积层对接收到的第一图像特征进行空洞卷积，得到空洞卷积结果；通过所述BN层对所述空洞卷积结果进行批量归一化，得到归一化处理结果；通过Leaky-ReLU函数对所述归一化处理结果进行整流处理，得到第二图像特征。
在本示例中，所述每个空洞卷积稠密子模块中的空洞卷积层可采用卷积核大小为3×3，扩充率参数为2且步长为1的空洞卷积层；通过对第一图像特征进行空洞卷积来增加感受野，以适应不同大小的肿瘤病变区域。
需要说明的是，空洞卷积模块中每一个空洞卷积稠密子模块都是由其前馈网络中所有层的输出迭代按通道串联而成的，借助空洞卷积层可以以更少的下采样次数感知更大的视野。通过空洞卷积稠密子模块可调用较低维度层的图像特征，以帮助生成较高维度层的图像特征，并确保梯度传播到更深的层中。本发明实施例考虑到不同MRI影像图像的肿瘤病变区域大小可能存在较大差异，通过Inception卷积模块和空洞卷积模块，可以捕获多尺度的图像特征，更准确地表征肿瘤病变区域，适应MRI影像图像中肿瘤病变区域变化多样的外观形状。
对于解码器部分，可在空洞卷积模块的输出端设置标准卷积层、BN层和Leaky-ReLU，通过所述标准卷积层、BN层和Leaky-ReLU对所述空洞卷积模块输出的第二图像特征进行合并，得到分割概率图，并使用卷积核大小为1×1的卷积层对分割概率图进行通道变换处理，使分割概率图与输入的MRI影像的通道数量一致；并利用上采样层对分割概率图进行上采样，将分割概率图的尺寸恢复至与输入MRI影像图像的尺寸相同。
所述第二网络是用于确定所述第一网络输出的分割概率图分布是否满足真实标签的判别网络。所述第二网络需要两个输入，即，脑肿瘤MRI影像图像和与所述脑肿瘤MRI影像图像对应的肿瘤分割结果。在实际应用中，对于有标签的训练样本，需要将脑肿瘤MRI影像图像、标签和图像分割网络输出的所述脑肿瘤MRI影像图像对应的分割概率图；而对于无标签的训练样本，只需要将脑肿瘤MRI影像图像和图像分割网络输出的所述脑肿瘤MRI影像图像对应的分割概率图。
如图7所示，图7是本示例提供的一种判别网络的网络架构示意图。在所述第二网络的起始部分设置有双重注意力模块，即，图像强度注意力模块和几何边界注意力模块；其中，所述图像强度注意力模块用于获取所述MRI影像图像中肿瘤病变区域和背景区域之间的强度信号差异；所述几何边界注意力模块用于获取所述MRI影像图像中肿瘤病变区域的边界特征和几何形变特征。通过双重注意力模块可分别提取所述MRI影像图像中肿瘤病变区域和背景区域中的重要特征，从而根据所述重要特征，有效评估图像分割网络输出的预测分割结果的质量。
利用双重注意力模块，首先从所述脑肿瘤MRI影像图像中提取图像特征；并通过两个并列的卷积层，分别用于提取所述分割概率图中肿瘤病变区域和背景区域的特征；采用S型函数分别对所述两个并列的卷积层输出的肿瘤病变区域和背景区域的特征进行激活处理，得到肿瘤病变区域的注意力图和背景区域的注意力图。
通过所述脑肿瘤MRI影像图像的图像特征分别与所述肿瘤病变区域的注意力图和背景区域的注意力图以逐个元素对应相乘的方式结合，得到用于指示肿瘤病变区域信息的注意力特征和用于指示背景区域信息的反向注意力特征。
通过Inception卷积模块和空洞卷积模块从所述双重注意力模块输出的注意力特征和反向注意力特征中，提取用于指示分割概率图中细节信息的深层图像特征。
由全局平均池化层将提取的深层图像特征转换为特征向量，并输入至全连接层，通过所述全连接层基于所述特征向量分类，输出最终的评估分数。
步骤503，利用有标签的训练样本，对初始网络进行预训练，得到第一网络；
使用有标签的训练样本对初始网络进行训练，在训练阶段的每一次迭代中，将预处理后的图像数据输入至初始网络中，并根据所述初始网络输出的预测分割概率图和标签之间的差异，确定所述初始网络的分割损失函数值。
其中，将所述初始网络的批处理大小设置为16，将初始网络的迭代次数设置为1500；为了训练初始网络，并最小化所述初始网络的分割损失函数值，可采用Adam优化器，对初始网络进行优化，将所述Adam优化器的参数设置为β1＝0.9，β2＝0.999，初始学习率设置为0.01。
所述初始网络的分割损失函数可由Dice交叉熵损失函数和二值交叉熵损失函数两部分组成，所述Dice交叉熵损失函数标识脑肿瘤MRI影像图像中分割的两个肿瘤目标区域的轮廓之间的相似程度；但是当两个肿瘤目标区域都很小时，会使得梯度变化剧烈，训练难以收敛。而二值交叉熵损失函数计算了图像中每一个像素的对数损失，针对边界不明确、灰度不均匀的脑肿瘤MRI影像图像的分割细节有较好的效果。通过Dice交叉熵损失函数和二值交叉熵损失函数的加权组合，既考虑到MRI影像图像中肿瘤病变区域的不同尺度形状，也考虑到MRI影像图像本身的成像质量(灰度不均、噪声等)对肿瘤病变区域的边界分割的影响，能够更好的实现对有标签的MRI影像图像分割的初始网络的完全监督训练。并在不断地迭代训练中，通过最小化分割损失函数值，使得初始网络生成的分割概率图更加接近标签，从而得到第一网络。
步骤504，利用有标签的训练样本和无标签的训练样本，对所述生成对抗网络进行训练；
使用有标签的训练样本和无标签的训练样本对第一网络和第二网络进行训练，如图8所示，图8是本示例提供的一种生成对抗网络的网络架构示意图。在训练阶段的每一次迭代中，将预处理的图像数据输入至第一网络中，并将第一网络输出的分割概率图和所述图像数据输入至第二网络，得到第二网络输出的质量评分；根据所述分割概率图和标签之间的差异，以及质量评分，确定第一网络的第一损失值和第二网络的第二损失值。
其中，将批处理大小设置为16，迭代次数设置为1500；为了训练第一网络和第二网络，并最小化所述第一网络的第一损失值和第二网络的第二损失值可采用Adam优化器，对初始网络进行优化，将所述Adam优化器的参数设置为β1＝0.9，β2＝0.999，并将第一网络和第二网络的初始学习率均设置为0.01。
利用基于有标签的训练样本预训练得到的第一网络作为生成对抗网络中的生成器，将有标签的训练样本和无标签的训练样本输入至第一网络中，得到所述第一网络输出的有标签的训练样本对应的分割概率图和无标签的训练样本对应的预测分割概率图。然后，使用第二网络作为生成对抗网络中的判别器；将所述分割概率图、有标签的训练样本和无标签的训练样本输入至第二网络，得到第二网络输出的质量评分；第二网络评估的分割结果对象包括：有标签的训练样本的标签，以及第一网络输出的预测分割概率图。利用第二网络输出的质量评分，进一步执行第一网络和第二网络之间的对抗学习，通过对抗训练，第二网络能够提高对分割质量的评估能力，并反过来指导第一网络输出更准确的分割结果。
对于第二网络的训练来说，第二网络需要两个输入，包括：脑肿瘤MRI影像图像和与之对应的肿瘤分割结果。对于有标签的训练样本，肿瘤分割结果这一路径有两种来源，一种是影像科医生标注的肿瘤病变区域的标签；另一种是由第一网络输出的分割概率图。而对于无标签的训练样本，肿瘤分割结果这一路径仅包含从第一网络输出的分割概率图。
基于第二网络的输入图像，双重注意力模块(即图像强度注意力模块和几何边界注意力模块)通过提取所述输入图像的双重注意力特征。再由Inception卷积模块和空洞卷积模块，从所述双重注意力模块提出的混合特征中提取深层特征。再通过全局平均池化层将深层特征转化为特征向量；利用全连接层，根据所述特征向量，输出质量评分。
本示例中，对第一网络的损失函数由完全监督下的分割损失函数和对抗损失函数组成，分割损失函数的主要作用是针对有标签的MRI影像图像的训练样本进行学习，决定了所述生成对抗网络的基础分割效果，而对抗损失函数建立了第一网络预测的分割概率图与真实标签之间的对抗关系，使得有标签的训练样本和无标签的训练样本的预测分割概率图分布更接近与标签。而第二网络的损失函数能够让第二网络有效地识别第一网络输出的预测分割概率图和真实标签。
步骤505，将待分割的MRI影像图像输入至训练好的图像分割网络，得到图像分割网络输出的分割概率图，基于所述分割概率图，确定所述MRI影像图像中的肿瘤病变区域。
本发明实施例还提供一种电子设备，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现前述一个或多个技术方案提供的图像处理方法。
其中，所述存储器可包括：各种类型的存储介质，可以用于数据存储。在本实施例中，所述存储器包括的存储介质至少部分为非易失性存储介质，可以用于存储所述计算机程序。
所述处理器可包括：中央处理器、微处理器、数字信号处理器、应用处理器、专用集成电路或可编程阵列等，可以用于通过计算机程序的前述一个或多个技术方案的图像处理方法。
在本实施例中，所述处理器可通过集成电路总线等设备内总线，与所述存储器连接。
本发明实施例还提供一种电子设备，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现前述一个或多个技术方案提供的图像分割网络的训练方法。
本发明实施例还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行后，并执行前述一个或多个技术方案提供的图像处理方法，例如，可执行如图1所示的方法。
本发明实施例还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行后，并执行前述一个或多个技术方案提供的图像分割网络的训练方法，例如，可执行如图2所示的方法。
本发明实施例提供的计算机存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。可选为，所述计算机存储介质可为非瞬间存储介质。这里的非瞬间存储介质又可以称为非易失性存储介质。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (24)

1.一种图像处理方法，其特征在于，包括：
针对MRI影像图像，利用图像分割网络的Inception卷积模块进行Inception卷积，得到第一图像特征；
利用图像分割网络的空洞卷积模块对第一图像特征进行空洞卷积，得到第二图像特征；
基于所述第二图像特征，从所述MRI影像图像中分割出肿瘤病变区域，其中，所述肿瘤病变区域为肿瘤病变组织成像的像素所在区域。
2.根据权利要求1所述的方法，其特征在于，所述Inception卷积模块具有N个Inception卷积层，不同所述Inception卷积层的卷积核不同；不同Inception卷积层用于提取出不同尺度的所述第一图像特征。
3.根据权利要求2所述的方法，其特征在于，所述空洞卷积模块包括：N个所述空洞卷积稠密子模块；
所述Inception卷积层和所述空洞卷积稠密子模块穿插排布在所述图像分割网络中，通过所述空洞卷积稠密子模块，用于对不同尺度的所述第一图像特征进行空洞卷积处理。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述利用图像分割网络的空洞卷积模块对第一图像特征进行空洞卷积，得到第二图像特征，包括：
对接收到第一图像特征进行空洞卷积，得到空洞卷积结果；
对所述空洞卷积结果进行批量归一化处理得到归一化处理结果；
基于带泄露整流函数对所述归一化处理结果进行整流处理，得到所述第二图像特征。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述MRI影像图像进行标准卷积处理，得到标准卷积结果；
所述针对MRI影像图像，利用图像分割网络的Inception卷积模块进行Inception卷积，得到多个不同尺度的第一图像特征，包括：
利用所述Inception卷积模块对所述标准卷积结果基于不同卷积核进行Inception卷积，得到多个不同尺度的第一图像特征。
6.一种图像分割网络的训练方法，其特征在于，包括：
获取MRI影像图像的训练样本集；其中，所述训练样本集包括：有标签的训练样本和无标签的训练样本；
将所述训练样本集的MRI影像图像输入至利用有标签的训练数据完成预训练的第一网络，得到所述第一网络输出的预测分割信息；其中，所述预测分割信息包括：有标签的训练样本的预测分割信息；
通过第二网络基于有标签的训练样本的预测分割信息，得到对所述第一网络的预测分割信息的第一分割质量评分；
根据所述有标签的训练样本的预测分割信息和所述标签之间的差异，确定所述第一网络的第一损失值；
基于所述第一分割质量评分和所述有标签的训练样本的标签，确定所述第二网络的第二损失值；
基于所述第一损失值和所述第二损失值，确定是否继续训练所述第一网络。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
通过第二网络基于无标签的训练样本的预测分割信息，得到对所述第一网络的预测分割信息的第二分割质量评分；
所述根据所述有标签的训练样本的预测分割信息和所述标签之间的差异，确定所述第一网络的第一损失值，包括：
根据所述有标签的训练样本的预测分割信息和所述标签之间的差异、所述第一分割质量评分和第二分割质量评分，得到所述第一损失值。
8.根据权利要求7所述的方法，其特征在于，所述根据所述有标签的训练样本的预测分割信息和所述标签之间的差异、所述第一分割质量评分和第二分割质量评分，得到所述第一损失值，包括：
基于所述第一分割质量评分，确定所述第二网络的损失值；
基于所述第二网络的损失值，调整所述第二网络中的待训练参数；
利用调整后的第二网络，对有标签的训练样本的预测分割信息和无标签的训练样本的预测分割信息进行评估，得到有标签的训练样本的预测分割信息的第一分割质量评分和无标签的训练样本的预测分割信息的第二分割质量评分；
根据所述有标签的训练样本的预测分割信息和所述标签之间的差异、所述第一分割质量评分和所述第二分割质量评分，确定所述第一网络的第一损失值。
9.根据权利要求8所述的方法，其特征在于，所述根据所述有标签的训练样本的预测分割信息和所述标签之间的差异、第一分割质量评分和第二分割质量评分，确定所述第一网络的第一损失值，包括：
根据所述有标签的训练样本的预测分割信息和所述标签，确定所述标签对应的分割损失函数值；
根据所述第一分割质量评分，确定所述第一分割质量评分对应的二值交叉熵；
根据所述第二分割质量评分，确定所述第二分割质量评分对应的二值交叉熵；
对所述分割损失函数值、所述第一分割质量评分对应的二值交叉熵和所述第二分割质量评分对应的二值交叉熵进行加权融合，得到所述第一网络的第一损失值。
10.根据权利要求6所述的方法，其特征在于，所述基于所述第一分割质量评分和所述有标签的训练样本的标签，确定所述第二网络的第二损失值，包括：
基于所述第一分割质量评分、所述有标签的训练样本的标签和所述第二分割质量评分，确定所述第二网络的第二损失值。
11.根据权利要求10所述的方法，其特征在于，所述基于所述第一分割质量评分、所述有标签的训练样本的标签和所述第二分割质量评分，确定所述第二网络的第二损失值，包括：
根据所述标签对应的分割质量评分，确定所述标签对应的二值交叉熵；
根据所述第一分割质量评分，确定所述第一分割质量评分对应的二值交叉熵；
根据所述第二分割质量评分，确定所述第二分割质量评分对应的二值交叉熵；
对所述标签对应的二值交叉熵、所述第一分割质量评分对应的二值交叉熵和所述第二分割质量评分对应的二值交叉熵进行加权融合，得到所述第二网络的第二损失值。
12.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将有标签的训练数据输入至初始网络，得到所述初始网络输出的预测分割信息；
根据所述预测分割信息和所述标签之间的差异，确定所述初始网络的分割损失函数值；
根据所述初始网络的分割损失函数值，对所述初始网络的待训练参数进行调整，得到第一网络。
13.根据权利要求12所述的方法，其特征在于，所述根据所述预测分割信息和所述标注信息之间的差异，确定所述初始网络的分割损失函数值，包括：
基于预测分割信息和所述标注信息，分别确定所述预测分割信息和所述标注信息的二值交叉熵和Dice交叉熵；
对所述二值交叉熵和所述Dice交叉熵进行加权融合，得到所述初始网络的分割损失函数值。
14.根据权利要求6所述的方法，其特征在于，所述通过第二网络基于有标签的训练样本的预测分割信息，得到对所述第一网络的预测分割信息的分割质量评分，包括：
将所述预测分割信息和所述有标签的训练样本输入至第二网络，通过第二网络的图像强度注意力模块和几何边界注意力模块，对所述预测分割信息进行处理，得到所述有标签的训练样本的MRI影像图像的肿瘤病变区域和背景区域之间的强度信息差异特征、所述肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征；
根据所述强度信号差异特征、肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征，确定所述预测分割信息对应的分割质量评分。
15.根据权利要求14所述的方法，其特征在于，所述通过第二网络的图像强度注意力模块和几何边界注意力模块，对所述预测分割信息进行处理，得到所述有标签的训练样本的MRI影像图像的肿瘤病变区域和背景区域之间的强度信息差异特征、所述肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征，包括：
对所述预测分割信息进行标准卷积处理，分别得到所述MRI影像图像的肿瘤病变区域特征和所述背景区域特征；
对所述肿瘤病变区域特征和所述背景区域特征进行分类处理，得到所述MRI影像图像的肿瘤病变区域对应的注意力信息和所述背景区域的注意力信息；
对所述MRI影像图像、所述肿瘤病变区域对应的注意力信息和所述背景区域的注意力信息进行融合，得到所述MRI影像图像的肿瘤病变区域和背景区域之间的强度信息差异特征、所述肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征。
16.根据权利要求14所述的方法，其特征在于，所述根据所述强度信号差异特征、肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征，确定所述预测分割信息对应的分割质量评分，包括：
对所述强度信号差异特征、肿瘤病变区域的轮廓特征和所述背景区域的轮廓特征进行级联处理，得到双重注意力特征；
基于所述双重注意力特征，确定所述预测分割信息对应的分割质量评分。
17.根据权利要求16所述的方法，其特征在于，所述基于所述双重注意力特征，确定所述预测分割信息对应的分割质量评分，包括：
针对所述双重注意力特征，利用所述第二网络的Inception卷积模块进行Inception卷积，得到不同尺度的第三图像特征；
利用第二网络的空洞卷积模块对所述第三图像特征进行空洞卷积，得到第四图像特征；
基于所述第四图像特征，确定所述预测分割信息对应的的分割质量评分。
18.根据权利要求6所述的方法，其特征在于，所述方法还包括：
对训练样本集中的MRI影像图像进行裁剪处理的，得到所述MRI影像图像中的肿瘤病变区域图像；
对所述肿瘤病变区域图像进行灰度归一化处理；
将灰度归一化处理后的肿瘤病变区域图像进行几何变换处理，得到增强后的MRI影像图像；
所述将所述训练样本集的MRI影像图像输入至利用有标签的训练数据完成预训练的第一网络，包括：
将所述增强后的MRI影像图像输入到所述第一网络中。
19.一种图像处理装置，其特征在于，包括：
第一卷积模块，用于针对MRI影像图像，利用图像分割网络的Inception卷积模块进行Inception卷积，得到第一图像特征；
第二卷积模块，用于利用图像分割网络的空洞卷积模块对第一图像特征进行空洞卷积，得到第二图像特征；
分割模块，用于基于所述第二图像特征，从所述MRI影像图像中分割出肿瘤病变区域，其中，所述肿瘤病变区域为肿瘤病变组织成像的像素所在区域。
20.一种图像分割网络的训练装置，其特征在于，包括：
获取模块，用于获取MRI影像图像的训练样本集；其中，所述训练样本集包括：有标签的训练样本和无标签的训练样本；
第一网络模块，用于将所述训练样本集的MRI影像图像输入至利用有标签的训练数据完成预训练的第一网络，得到所述第一网络输出的预测分割信息；其中，所述预测分割信息包括：有标签的训练样本的预测分割信息；
第二网络模块，用于通过第二网络基于有标签的训练样本的预测分割信息，得到对所述第一网络的预测分割信息的第一分割质量评分；
损失确定模块，用于根据所述有标签的训练样本的预测分割信息和所述标签之间的差异，确定所述第一网络的第一损失值；基于所述第一分割质量评分和所述有标签的训练样本的标签，确定所述第二网络的第二损失值；基于所述第一损失值和所述第二损失值，确定是否继续训练所述第一网络。
21.一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现如权利要求1-5任一项所述的图像处理方法。
22.一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现如权利要求6-18任一项所述的图像分割网络的训练方法。
23.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有可执行指令，所述可执行指令被处理器执行时，实现如权利要求1-5任一项所述的图像处理方法。
24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有可执行指令，所述可执行指令被处理器执行时，实现如权利要求6-18任一项所述的图像分割网络的训练方法。
CN202110672460.9A 2021-06-17 2021-06-17 图像处理方法、图像分割网络的训练方法及装置 Pending CN115578400A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110672460.9A CN115578400A (zh) 2021-06-17 2021-06-17 图像处理方法、图像分割网络的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110672460.9A CN115578400A (zh) 2021-06-17 2021-06-17 图像处理方法、图像分割网络的训练方法及装置

Publications (1)

Publication Number Publication Date
CN115578400A true CN115578400A (zh) 2023-01-06

Family

ID=84579368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110672460.9A Pending CN115578400A (zh) 2021-06-17 2021-06-17 图像处理方法、图像分割网络的训练方法及装置

Country Status (1)

Country Link
CN (1) CN115578400A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117672463A (zh) * 2024-02-02 2024-03-08 吉林大学 用于放射治疗的数据处理***及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117672463A (zh) * 2024-02-02 2024-03-08 吉林大学 用于放射治疗的数据处理***及方法
CN117672463B (zh) * 2024-02-02 2024-04-05 吉林大学 用于放射治疗的数据处理***及方法

Similar Documents

Publication Publication Date Title
CN110503654B (zh) 一种基于生成对抗网络的医学图像分割方法、***及电子设备
US11593943B2 (en) RECIST assessment of tumour progression
CN107464250B (zh) 基于三维mri图像的乳腺肿瘤自动分割方法
EP3989119A1 (en) Detection model training method and apparatus, computer device, and storage medium
CN110930416B (zh) 一种基于u型网络的mri图像***分割方法
US11562491B2 (en) Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network
US20180260957A1 (en) Automatic Liver Segmentation Using Adversarial Image-to-Image Network
CN110276745B (zh) 一种基于生成对抗网络的病理图像检测算法
US20180114313A1 (en) Medical Image Segmentation Method and Apparatus
CN115661144B (zh) 基于可变形U-Net的自适应医学图像分割方法
CN107451615A (zh) 基于Faster RCNN的甲状腺***状癌超声图像识别方法及***
Sharma et al. Brain tumor segmentation using genetic algorithm and artificial neural network fuzzy inference system (ANFIS)
US20150003701A1 (en) Method and System for the Automatic Analysis of an Image of a Biological Sample
Aranguren et al. Improving the segmentation of magnetic resonance brain images using the LSHADE optimization algorithm
CN112085714B (zh) 一种肺结节检测方法、模型训练方法、装置、设备及介质
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN112750137B (zh) 基于深度学习的肝脏肿瘤分割方法及***
CN112991363A (zh) 脑肿瘤图像分割方法、装置、电子设备及存储介质
CN111325750A (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
Skeika et al. Convolutional neural network to detect and measure fetal skull circumference in ultrasound imaging
CN113344933B (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
Guo et al. Learning with noise: Mask-guided attention model for weakly supervised nuclei segmentation
CN111127400A (zh) 一种乳腺病变检测方法和装置
CN113781488A (zh) 舌象图像的分割方法、装置及介质
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination