CN110503654A - 一种基于生成对抗网络的医学图像分割方法、***及电子设备 - Google Patents

一种基于生成对抗网络的医学图像分割方法、***及电子设备 Download PDF

Info

Publication number
CN110503654A
CN110503654A CN201910707712.XA CN201910707712A CN110503654A CN 110503654 A CN110503654 A CN 110503654A CN 201910707712 A CN201910707712 A CN 201910707712A CN 110503654 A CN110503654 A CN 110503654A
Authority
CN
China
Prior art keywords
image
sample
pixel
level
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910707712.XA
Other languages
English (en)
Other versions
CN110503654B (zh
Inventor
王书强
吴昆�
陈卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201910707712.XA priority Critical patent/CN110503654B/zh
Publication of CN110503654A publication Critical patent/CN110503654A/zh
Priority to PCT/CN2019/125428 priority patent/WO2021017372A1/zh
Application granted granted Critical
Publication of CN110503654B publication Critical patent/CN110503654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于生成对抗网络的医学图像分割方法、***及电子设备。首先，研究生成器如何对不同类别的高质量图像的像素级特征进行提取，并利用胶囊模型进行结构化特征表示，进而实现像素级标注样本的生成；其次构建合适的判别器，用于判别生成像素级标注样本的真伪，并设计合适的误差优化函数，将判别结果分别反馈到生成器和判别器的模型当中，通过不断的对抗训练，分别提高生成器和判别器的样本生成能力和判别能力，最后利用训练好的生成器生成像素级标注样本，实现图像级标注医学图像的像素级分割。本申请有效地降低分割模型对像素级标注数据的依赖，既能提高生成样本与真实样本对抗训练的效率，又可以有效实现高精度的像素级图像分割。

Description

一种基于生成对抗网络的医学图像分割方法、***及电子 设备
技术领域
本申请属于医学图像处理技术领域，特别涉及一种基于生成对抗网络的医学图像分割方法、***及电子设备。
背景技术
随着医学影像技术的蓬勃发展，医学影像在临床医疗中有着广泛和深入的应用。据统计，全球每年有几千万病例通过医学影像进行辅助诊断和治疗。在基于医学影像诊断和治疗的传统方法中，医师对医学影像数据进行阅读、识别，并对疾病的诊断和治疗做出判断。这种诊疗方式非常低效，且个体差异大，医生凭个人的经验很容易漏诊和误诊，长时间阅片会导致医生疲劳，阅片准确率下降。随着人工智能的兴起，通过用机器预先对影像数据的筛选和判断，标注重点可疑区域，再交由医生进行诊断和治疗，可以大大减轻医生的工作量，且结果全面、稳定和高效。因此，人工智能在医学影像领域内具有重要的应用前景。
医学影像技术包括医学成像和医学图像处理两部分。常见的医学成像技术主要有MRI(Magnetic Resonance Imaging,磁共振成像)、计算机断层扫描成像(CT)、正电子发射型计算机断层显像(PET)、超声成像(US)和X射线成像。不同的成像技术，在不同的疾病诊断和治疗的应用上各有优势，在具体的临床应用中逐渐形成了针对特定疾病的诊疗目的选择相应的成像技术。比如，磁共振成像能够对软组织成像具有极好的分辨率，没有电离辐射等危害，在大脑和子宫等部位的诊疗上具有广泛的应用。深度学习应用于医学图像处理的基本流程如图1所示。
而在传统的基于生成对抗网络的医学图像分割任务中，为了能够充分的训练神经网络，达到高准确率的结果，需要准备大量的相关的医学影像数据，并且需要对这些医学影像数据进行人工的逐像素的标注。例如研究人脑的肿瘤区域分割，就需要人为的去标注对应的脑部肿瘤图像。医学疾病多种多样，对应的医学图像也是多种多样，利用深度学习进行医学影像的分割，每一种疾病对应的医学影像都需要进行人为的手工标注，而这样会耗费大量的人力物力。即使是最大的公共数据集，也只能提供有限的语义类别的像素级标注样本。高质量的数据在医学图像数据集中稀缺，严重限制语义分割模型的精确度。
生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。现有的基于生成对抗网络的图像分割模型可应用于跨类别的物体图像分割，但是在医学图像领域，该模型则存在特征提取不够充分、对抗训练的计算量大等问题。
发明内容
本申请提供了一种基于生成对抗网络的医学图像分割方法、***及电子设备，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种基于生成对抗网络的医学图像分割方法，包括以下步骤：
步骤a：分别采集其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本；
步骤b：通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本训练基于胶囊网络的生成对抗网络，所述生成对抗网络包括生成器和判别器；
步骤c：所述生成器对其他医学图像的像素级标注样本进行像素级特征提取，通过所述像素级特征对待分割医学图像的图像级标注样本进行处理，生成所述待分割医学图像的像素级标注样本，并基于所述像素级标注样本生成所述待分割医学图像的分割预测样本；
步骤d：将所述生成器生成的分割预测样本和待分割图像的真实标注样本一起输入到判别器进行“生成-对抗”训练，判别所述分割预测样本的真伪，并根据误差函数对生成器和判别器进行优化，得到训练好的生成对抗网络；
步骤e：将图像级标注的待分割医学图像输入训练好的生成对抗网络，通过所述生成对抗网络输出待分割医学图像的像素级分割图像。
本申请实施例采取的技术方案还包括：在所述步骤c中，所述生成器包括胶囊网络模块和区域定位网络，所述生成器生成待分割医学图像的分割预测样本具体包括：
步骤b1：通过其他医学图像的像素级标注样本对胶囊网络模块进行预训练，得到无语义标签样本，通过所述无语义标签样本对待分割图像的图像级标注样本进行处理，区分所述待分割图像的图像级标注样本的背景和有效分割区域；
步骤b2：将所述待分割图像的图像级标注样本输入完成预训练后的胶囊网络模块，通过所述胶囊网络模块输出待分割图像的图像级标注样本的重建图像；
步骤b3：区域定位网络利用卷积层的特征提取生成待分割图像的图像级标注样本的包含位置信息的特征图，并采用全局平均池化层，将权重(w1,w2…,wn)与特征图进行加权平均，得到待分割图像的图像级标注样本的区域定位特征图；
步骤b4：根据所述重建图像和区域定位特征图执行自扩散算法，确定区域像素点分割线，得到待分割图像的图像级标注样本的分割预测样本。
本申请实施例采取的技术方案还包括：在所述步骤b2中，所述胶囊网络模块包括卷积层、PrimaryCaps层、DigitCaps层和解码层，所述胶囊网络模块采用单个胶囊神经元的输出向量，记录待分割图像的图像级标注样本分割区域边缘像素的方向和位置信息，采用矢量的非线性激活函数提取分类的概率值，确定待分割图像的图像级标注样本的分割区域与背景，计算边缘损失并输出待分割图像的图像级标注样本的重建图像。
本申请实施例采取的技术方案还包括：在所述步骤b4中，所述根据重建图像和区域定位特征图执行自扩散算法具体包括：在区域定位特征图中激活值越大的区域运用随机漫步的自扩散算法扩散像素点，利用区域定位特征图的输入点，计算图像上每个像素到输入点的高斯距离，并从中选择最优的路径，获得区域像素点的分割线，最终生成分割预测样本。
本申请实施例采取的技术方案还包括：在所述步骤d中，所述判别器包括级联Cascade模块、Capsule网络模块和参数优化模块，所述判别器进行的“生成-对抗”训练具体包括：
步骤d1：通过级联Cascade模块提取所述分割预测样本中标注错误的像素以及置信度低于设定阈值的关键像素以及对应的ground truth，并过滤标注正确且置信度高于设定阈值的像素；
步骤d2：通过Capsule网络模块将提取到的关键像素以及对应的groundtruth进行处理，并产生误差；
步骤d3：所述参数优化模块利用Capsule网络模块产生的误差对生成器与判别器的网络参数进行优化；其中，对于给定的分割预测样本{If,Lf*}和对应的真实标注样本{If,Lf}，网络的整体误差函数为：
上述公式中，θS和θp分别表示生成器和判别器的参数，Jb表示二元交叉熵损失函数，Os和Op分别表示生成器和判别器的输出，当输入来自真实标注样本{If,Lf}和分割预测样本{If,Lf*}时，通过输出1和0来标注像素点类别的真伪。
本申请实施例采取的另一技术方案为：一种基于生成对抗网络的医学图像分割***，包括样本采集模块和生成对抗网络，
样本采集模块：用于分别采集其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本；
通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本训练基于胶囊网络的生成对抗网络；
所述生成对抗网络包括生成器和判别器，所述生成器对其他医学图像的像素级标注样本进行像素级特征提取，通过所述像素级特征对待分割医学图像的图像级标注样本进行处理，生成所述待分割医学图像的像素级标注样本，并基于所述像素级标注样本生成所述待分割医学图像的分割预测样本；
将所述生成器生成的分割预测样本和待分割图像的真实标注样本一起输入到判别器进行“生成-对抗”训练，判别所述分割预测样本的真伪，并根据误差函数对生成器和判别器进行优化，得到训练好的生成对抗网络；
将图像级标注的待分割医学图像输入训练好的生成对抗网络，通过所述生成对抗网络输出待分割医学图像的像素级分割图像。
本申请实施例采取的技术方案还包括：所述生成器包括预训练模块、胶囊网络模块、区域定位网络模块和样本生成模块：
预训练模块：用于通过其他医学图像的像素级标注样本对胶囊网络模块进行预训练，得到无语义标签样本，通过所述无语义标签样本对待分割图像的图像级标注样本进行处理，区分所述待分割图像的图像级标注样本的背景和有效分割区域；
胶囊网络模块：用于将所述待分割图像的图像级标注样本输入完成预训练后的胶囊网络模块，通过所述胶囊网络模块输出待分割图像的图像级标注样本的重建图像；
区域定位网络：用于利用卷积层的特征提取生成待分割图像的图像级标注样本的包含位置信息的特征图，并采用全局平均池化层，将权重(w1,w2…,wn)与特征图进行加权平均，得到待分割图像的图像级标注样本的区域定位特征图；
样本生成模块：用于根据所述重建图像和区域定位特征图执行自扩散算法，确定区域像素点分割线，得到待分割图像的图像级标注样本的分割预测样本。
本申请实施例采取的技术方案还包括：所述胶囊网络模块包括卷积层、PrimaryCaps层、DigitCaps层和解码层，所述胶囊网络模块采用单个胶囊神经元的输出向量，记录待分割图像的图像级标注样本分割区域边缘像素的方向和位置信息，采用矢量的非线性激活函数提取分类的概率值，确定待分割图像的图像级标注样本的分割区域与背景，计算边缘损失并输出待分割图像的图像级标注样本的重建图像。
本申请实施例采取的技术方案还包括：所述样本生成模块根据重建图像和区域定位特征图执行自扩散算法具体包括：在区域定位特征图中激活值越大的区域运用随机漫步的自扩散算法扩散像素点，利用区域定位特征图的输入点，计算图像上每个像素到输入点的高斯距离，并从中选择最优的路径，获得区域像素点的分割线，最终生成分割预测样本。
本申请实施例采取的技术方案还包括：所述判别器包括级联Cascade模块、Capsule网络模块和参数优化模块：
级联Cascade模块：用于提取所述分割预测样本中标注错误的像素以及置信度低于设定阈值的关键像素以及对应的ground truth，并过滤标注正确且置信度高于设定阈值的像素；
Capsule网络模块：用于将提取到的关键像素以及对应的ground truth进行处理，并产生误差；
参数优化模块：用于利用Capsule网络模块产生的误差对生成器与判别器的网络参数进行优化；其中，对于给定的分割预测样本{If,Lf*}和对应的真实标注样本{If,Lf}，网络的整体误差函数为：
上述公式中，θS和θp分别表示生成器和判别器的参数，Jb表示二元交叉熵损失函数，Os和Op分别表示生成器和判别器的输出，当输入来自真实标注样本{If,Lf}和分割预测样本{If,Lf*}时，通过输出1和0来标注像素点类别的真伪。
本申请实施例采取的又一技术方案为：一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于生成对抗网络的医学图像分割方法的以下操作：
步骤a：分别采集其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本；
步骤b：通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本训练基于胶囊网络的生成对抗网络，所述生成对抗网络包括生成器和判别器；
步骤c：所述生成器对其他医学图像的像素级标注样本进行像素级特征提取，通过所述像素级特征对待分割医学图像的图像级标注样本进行处理，生成所述待分割医学图像的像素级标注样本，并基于所述像素级标注样本生成所述待分割医学图像的分割预测样本；
步骤d：将所述生成器生成的分割预测样本和待分割图像的真实标注样本一起输入到判别器进行“生成-对抗”训练，判别所述分割预测样本的真伪，并根据误差函数对生成器和判别器进行优化，得到训练好的生成对抗网络；
步骤e：将图像级标注的待分割医学图像输入训练好的生成对抗网络，通过所述生成对抗网络输出待分割医学图像的像素级分割图像。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的基于生成对抗网络的医学图像分割方法、***及电子设备通过融合胶囊机制对深度卷积神经网络进行优化，融合Capsule网络和级联瀑布的思想，在医学图像样本量小的情况下，生成新的训练图像样本，实现对低质量仅有图像级别标签的医学影像数据的语义分割，将学习到的分割知识从像素级标注的全标注数据，转移到图像级别的弱标注数据，从而提高了模型特征表达能力，扩展医学图像标注样本的可适用性，有效地降低分割模型对像素级标注数据的依赖，具有网络信息冗余少，特征提取充分的特点，在少量像素级标注样本的前提下，既能提高生成样本与真实样本对抗训练的效率，又可以有效实现高精度的像素级图像分割。
附图说明
图1是深度学习应用于医学图像处理的基本流程图；
图2是本申请实施例的基于生成对抗网络的医学图像分割方法的流程图；
图3是本申请实施例的生成对抗网络的结构示意图；
图4是胶囊网络模块的结构示意图；
图5是区域定位网络的网络结构示意图；
图6是本申请实施例的基于生成对抗网络的医学图像分割***的结构示意图；
图7是本申请实施例提供的基于生成对抗网络的医学图像分割方法的硬件设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
为了解决现有技术存在的不足，本申请实施例的基于生成对抗网络的医学图像分割方法通过融合胶囊机制对生成对抗网络进行改进，首先，研究生成器如何对不同类别的高质量图像的像素级特征进行提取，并利用胶囊模型进行结构化特征表示，进而实现像素级标注样本的生成；其次构建合适的判别器，用于判别生成像素级标注样本的真伪，并设计合适的误差优化函数，将判别结果分别反馈到生成器和判别器的模型当中，通过不断的对抗训练，分别提高生成器和判别器的样本生成能力和判别能力，最后利用训练好的生成器生成像素级标注样本，实现图像级标注医学图像的像素级分割。以下实施例中，本申请仅以脊髓型颈椎病(cervical spondylotic myelopathy,CSM)的医学图像分割为例进行详细阐述，病源种类不局限于单一病例，可延伸到多种病例的图像分割场景中，例如脑部MRI图像分割等。针对不同病例的图像分割，只需在数据采集阶段采集对应病例的训练样本，并在模型的生成器中将训练样本进行替换即可。
请参阅图2，是本申请实施例的基于生成对抗网络的医学图像分割方法的流程图。本申请实施例的基于生成对抗网络的医学图像分割方法包括以下步骤：
步骤100：分别采集其他医学图像的像素级标注样本以及CSM图像级标注样本；
步骤100中，其他医学图像包括肺部等部位的医学图像，标注样本的获取方式具体为：采集少量的全标注CSM图像样本{If,Lf,Tf}的共500张DTI样本(diffusion tensorimaging，弥散张量成像)，图像尺寸为28x28，CSM组60例，其中男27例女33例，年龄20～71岁，平均45岁，包含像素级标注样本和图像级标注样本{Lf,Tf}；其他医学图像(如人的肺部)的像素级标注样本{IO,LO}的8000张DTI样本，图像尺寸为28x28。通过校正变形及选定阈值后分别获取到CSM图像和其他医学图像的DTI样本，在DTI样本上确定感兴趣分割区域(ROI)，并将ROI放置于脊髓病变区中央，保证DTI样本尺寸的统一，避免脊髓液和伪影的影响。
请参阅图3，是本申请实施例的生成对抗网络的结构示意图。本申请实施例的生成对抗网络包括生成器和判别器，其中，生成器负责生成医学图像的像素级标注数据，而判别器则负责精细化生成的标注。生成器包括胶囊网络模块和区域定位网络两个部分，将其他医学图像的像素级标注样本{IO,LO}作为胶囊网络模块的预训练样本，并将CSM图像级标注样本{Lf,Tf}作为区域定位网络的训练样本。
步骤200：通过其他医学图像的像素级标注样本对胶囊网络模块进行预训练，得到无语义标签样本，并通过无语义标签样本对CSM图像级标注样本进行处理，区分CSM图像级标注样本的背景和有效分割区域；
步骤200中，胶囊网络模块采用可迁移的语义分割模型，该模型可以将学习到的分割知识，从全标注数据的像素级标注转移到弱标注数据的图像级标注中。在实际的应用中，高质量的医学图像获取十分困难，因此，本申请通过已训练好的模型使得新的数据与目标域的数据进行匹配，获取像素级分割的特征，从而在样本量较少的情况下同样能够实现高精度的图像分割。胶囊网络模块的预训练过程具体包括：
步骤201：对其他医学图像的像素级标注样本进行处理，将其变成无语义的分割图像标注；
步骤201中，无语义的分割图像标注即标注仅仅区分样本的有效分割区域与背景，而并不区分样本的形状。这样的训练数据训练出的网络，学习到的是区分物体与背景的知识，属于宽泛的高阶特征，而对于图像来说，都有物体与背景的区分，因此宽泛的高阶特征具有较强的通用性，可以很容易的迁移至其他不同的任务中，如此就可以将从高质量像素级别标注的医学图像中学习到的知识，迁移到低质量图像级别标注的医学图像中，而高质量的图像与低质量的图像并不需要有直接的关联性。
步骤202：根据其他医学图像的无语义分割图像标注对CSM图像级标注样本进行处理，生成CSM图像级标注样本的无语义标签样本{IO,LO}，并通过过滤语义信息，获取像素级别的无语义标注LO；
步骤202中，获取像素级别的无语义标注的目的在于区分数据的有效分割区域和背景，从而更容易在强弱标注的数据中迁移所学习到的知识。
步骤300：将CSM图像级标注样本{Lf,Tf}输入完成预训练后的胶囊网络模块，胶囊网络模块输出CSM图像级标注样本的重建图像；
步骤300中，胶囊网络模块采用单个胶囊神经元的输出向量，记录CSM图像级标注样本分割区域边缘像素的方向和位置信息，采用矢量的非线性激活函数提取分类的概率值，确定CSM图像级标注样本的分割区域与背景，计算边缘损失并输出CSM图像级标注样本的重建图像。本申请利用胶囊网络模块实例化像素的参数信息，输出激活向量记录分割区域的位置和角度信息，能有效地提高分割区域边界区域的锐化程度。
胶囊网络模块的结构如图4所示。该模型包括卷积层、PrimaryCaps层、DigitCaps层和解码层，每个胶囊代表一个函数，输出激活的向量，向量长度代表胶囊所寻找的区域分割线正确的概率。胶囊网络模块每层的功能分别为：
卷积层：通过对CSM图像级标注样本{Lf,Tf}进行卷积操作获得脊髓间盘形态、受压位置等初级特征。以输入尺寸为28x28的CSM图像为例，卷积层有256个步长为1的9x9x1的卷积核，使用Relu激活函数，经过卷积层的特征提取，输出20x20x256的特征张量。
PrimaryCaps层：包含32个主胶囊，接受卷积层获得的初级特征，每个胶囊生成特征的组合并进行向量化表达，向量的每个维度表示特征的方向、位置等信息。每个主胶囊将8个9x9x256的卷积核应用到20x20x256的输入张量中，由于有32个主胶囊，输出为6x6x8x32的特征张量。
DigitCaps层：每个数字胶囊对应PrimaryCaps层输出的向量，每个数字胶囊接受一个6x6x8x32的张量作为输入，采用动态路由将每个主胶囊的输出变量嵌套映射到多层数字胶囊中，激活向量的关键特征，通过8x16的权重矩阵将8维输入空间映射到16维胶囊输出空间。
解码层：解码层即为网络最后的全连接层，包含Relu函数和Sigmoid函数，接受DigitCaps层输出的正确的16维向量，并作为输入学习胶囊输出向量表达的多重特征，计算边缘损失，学习重建一张与输入图像相同像素的28x28大小的图像。
本申请实施例中，胶囊网络模块的损失函数如下：
对于给定的CSM图像级标注样本{If,Tf}，对应的损失函数为：
公式(1)中，OL((If,Tf)；θL)表示胶囊网络模块的输出，θL表示网络训练的权重及参数，Jb表示括号内元素的二元交叉熵损失函数。
将胶囊网络模块应用到CSM图像级标注样本{If,Tf}，输出无语义的粗分割图M＝OL((If,Tf)；θL)。
S400：通过区域定位网络对CSM图像级标注样本{If,Tf}进行像素级标签预测，并输出区域定位特征图；
步骤400中，区域定位网络的网络结构如图5所示。区域定位网络利用卷积层的特征提取生成包含位置信息的特征图，并采用全局平均池化层，将权重(w1,w2…,wn)与特征图进行加权平均，得到区域定位特征图。区域定位特征图中激活值越大的区域最可能是脊髓颈椎的损伤区域分割位置。区域定位网络充分利用训练样本在卷积层操作后获得的初级特征定位特征图的热点区域，由于卷积神经网络需要训练的参数很多，对特征图的重复利用，能够降低网络的参数量，使得模型的训练效率更高。
步骤500：样本生成模块根据胶囊网络输出的重建图像和区域定位网络输出的区域定位特征图执行自扩散算法，确定区域像素点分割线，得到较为粗糙的分割预测样本{If,Lf*}；
步骤500中，为了将包含语义信息的分割图M输出为像素级标注的分割样本，在激活值越大的区域运用随机漫步(Random Walk)思想，通过随机漫步的自扩散算法扩散像素点，利用区域定位特征图的输入点，计算图像上每个像素到输入点的高斯距离，并从中选择最优的路径，获得区域像素点的分割线，从每个激活值较大的分类点扩散，最终生成较为粗糙的分割预测样本{If,lf*}。
给定一个CSM图像级标注样本{If,Tf}，将它转换成超像素p＝{p1，p2，...，pN}，这些图像由一个无向图模型G进行描述，其中每个节点对应一个特定的超像素，然后在无向图模型G上执行自扩散算法。以粗分割图M为基础，定义类别的自扩散过程的目标函数：
公式(2)中，q＝[q1，q2，...，qN]表示所有超像素p的标签向量，如果pi∈A，则qi固定为1，否则其初始值为0。
Zi,j＝exp(-||F(pi)-F(pj)||/2σ2) (3)
公式(3)中，Zi,j表示两个相邻超像素之间的高斯距离。
通过以上操作，就可以利用少量的高质量有像素级别标注的图像来实现对仅有图像级别标注的CSM图像进行语义分割。
步骤600：将生成器输出的分割预测样本{If,Lf*}和真实标注样本{If,Lf}一起输入到判别器进行“生成-对抗”训练，对生成器进行优化；
步骤600中，判别器利用胶囊网络模块记录分割区域的方向和位置信息，提高分割区域边界区域的锐化程度，并利用级联模式提取出图像中难以正确分类的关键区域像素，过滤掉简单明确的平坦区域像素，利用处理过的图像进行“生成-对抗”训练，直至生成器与判别器之间形成纳什均衡，判别器无法区分图像是来自于生成器生成的分割预测样本{If,Lf*}还是真实标注样本{If,Lf}，完成生成对抗网络的训练。
如图3所示，本申请实施例中，判别器包括级联Cascade模块、Capsule网络模块和参数优化模块；各模块具体功能如下：
级联Cascade模块：用于负责提取分割预测样本的关键像素；在图像分割的过程中，每一个像素标注的难易程度是不一样的，平坦的背景区域可以很容易的被区分出来，但是物体与背景区域的边界像素却难以区分。以往的网络结构将这些像素统统放入网络中进行处理，造成网络不必要的冗余。而本申请采用级联Cascade的思想，对像素区别对待，重点处理难以分类的重点像素区域。将生成器生成的分割预测样本中标注错误以及置信度低于一定阈值的关键像素以及对应的ground truth提取出来，而将标注正确且置信度很高的像素过滤掉。这样，输入到下一阶段训练的像素仅为不容易区分的关键像素，可以减少网络中的冗余信息，提高网络的工作效率。
Capsule网络模块负责将提取到的关键像素以及对应的ground truth进行处理，并产生误差；具体的，Capsule网络模块的功能包括：
步骤610：局部特征提取；将关键像素以及对应的ground truth作为输入分别输入到对应的卷积层中；然后利用若干卷积层，对输入的关键像素与对应的ground truth分别进行卷积，提取出分割预测样本{If,Lf*}中的低级特征；其中卷积层的激活函数为ReLU函数。
步骤611：高维特征提取；通过构建PrimaryCaps层，将提取的低级特征作输入到PrimaryCaps层，获取包含空间位置信息的高维特征向量；构建DigitCaps层，采用动态路由将PrimaryCaps层中的输出变量嵌套映射到DigitCaps层中，构建出当前最能够表征所有输入特征的高级特征，并将其输入到下一层；
步骤611中涉及到的PrimaryCaps层与DigitCaps层之间的计算方式如下：
设关键像素与对应的Ground truth经过卷积层卷积后提取出的特征向量为ui，将低级特征向量ui作为PrimaryCaps层的输入，与权重矩阵Wij相乘得到预测向量其中：
而预测向量之间可以通过线性组合的方式得到加权和Sj，权重系数为cij，其中：
获得加权和Sj后，通过压缩函数将Sj向量长度限定，获得输出向量Vj，其中：
公式(6)中，前半部分为输入向量Sj的缩放尺度，后半部分为Sj的单位向量。而在计算Sj的过程中，系数cij为常量，cij的计算公式为：
公式(7)中，bij为常量，bij的数值通过上次迭代的bij的值与Vj和的积求和得到，即，bij的更新方式为：
步骤612：判别器将DigitCaps层输出的高级特征向量V放入解码层中，通过若干全连接层，最终输出图像真伪的判别结果；具体为：若输出结果为0，则判别为假，表示输入图像被判别为伪造图像；若输出结果为1，则判别为真，表示输入图像成功混淆了判别器。
参数优化模块：利用Capsule网络模块产生的误差对生成器与判别器的网络参数进行优化，使生成器可以输出更优化的分割结果。
对于给定的分割预测样本{If,Lf*}和对应的真实标注样本{If,Lf}，网络的整体误差函数如下所示：
公式(9)中，θS和θp分别表示生成器和判别器的参数，Jb表示二元交叉熵损失函数，Os和Op分别表示生成器和判别器的输出。当输入来自真实标注样本{If,Lf}和分割预测样本{If,Lf*}时，输出1和0来标注像素点类别的真伪。
本申请实施例中，参数优化的过程包括两部分：
步骤620：固定生成器参数θS，优化判别器参数θp；在对抗训练过程中，首先固定生成器参数θS，利用生成器生成的分割预测样本送入到判别器中，由判别器判断真伪，并利用判别器误差函数，通过反向传播算法调整判别器参数θp，提高自身鉴别能力。而判别器对应的误差函数为：
在训练的过程中，判别器的参数不断优化，判别能力不断增强，越来越容易区分出生成器的生成图像，从而进入到下一个阶段。
步骤621：固定判别器参数θp，优化生成器参数θS；网络将判别器的判别结果带入到生成器误差函数中，通过反向传播算法调整生成器参数θS，使得生成器生成更高质量的分割结果，这样，生成器生成更加精确的结果来迷惑判别器。而生成器对应的误差函数为：
重复上述两个优化步骤，最后，生成器与判别器之间形成纳什均衡，判别器无法区分图像是来自于生成器输出的分割预测样本{If,Lf*}还是真实标注样本{If,Lf}，则生成对抗网络训练完成。
步骤700：将图像级标注的CSM图像输入训练好的生成对抗网络，通过生成对抗网络输出CSM图像的像素级分割图像。
请参阅图6，是本申请实施例的基于生成对抗网络的医学图像分割***的结构示意图。本申请实施例的基于生成对抗网络的医学图像分割***包括样本采集模块和生成对抗网络，通过样本采集模块采集的图像样本训练生成对抗网络，生成对抗网络包括包括生成器和判别器，生成器利用胶囊模型进行结构化特征表示，进而实现像素级标注样本的生成，判别器用于判别生成像素级标注样本的真伪，并设计合适的误差优化函数，将判别结果分别反馈到生成器和判别器的模型当中，通过不断的对抗训练，分别提高生成器和判别器的样本生成能力和判别能力，最后利用训练好的生成器生成像素级标注样本，实现图像级标注医学图像的像素级分割。具体的：
样本采集模块：用于分别采集其他医学图像的像素级标注样本以及CSM图像级标注样本；其中，其他医学图像包括肺部等部位的医学图像，标注样本的获取方式具体为：采集少量的全标注CSM图像样本{If,Lf,Tf}的共500张DTI样本(diffusion tensor imaging，弥散张量成像)，图像尺寸为28x28，CSM组60例，其中男27例女33例，年龄20～71岁，平均45岁，包含像素级标注样本和图像级标注样本{Lf,Tf}；其他医学图像(如人的肺部)的像素级标注样本{IO,LO}的8000张DTI样本，图像尺寸为28x28。通过校正变形及选定阈值后分别获取到CSM图像和其他医学图像的DTI样本，在DTI样本上确定感兴趣分割区域(ROI)，并将ROI放置于脊髓病变区中央，保证DTI样本尺寸的统一，避免脊髓液和伪影的影响。
生成器包括预训练模块、胶囊网络模块、区域定位网络模块和样本生成模块，各模块功能具体如下：
预训练模块：用于通过其他医学图像的像素级标注样本对胶囊网络模块进行预训练，得到无语义标签样本，并通过无语义标签样本对CSM图像级标注样本进行处理，区分CSM图像级标注样本的背景和有效分割区域；其中，胶囊网络模块采用可迁移的语义分割模型，该模型可以将学习到的分割知识，从全标注数据的像素级标注转移到弱标注数据的图像级标注中。在实际的应用中，高质量的医学图像获取十分困难，因此，本申请通过已训练好的模型使得新的数据与目标域的数据进行匹配，获取像素级分割的特征，从而在样本量较少的情况下同样能够实现高精度的图像分割。胶囊网络模块的预训练过程具体包括：
1、对其他医学图像的像素级标注样本进行处理，将其变成无语义的分割图像标注；其中，无语义的分割图像标注即标注仅仅区分样本的有效分割区域与背景，而并不区分样本的形状。这样的训练数据训练出的网络，学习到的是区分物体与背景的知识，属于宽泛的高阶特征，而对于图像来说，都有物体与背景的区分，因此宽泛的高阶特征具有较强的通用性，可以很容易的迁移至其他不同的任务中，如此就可以将从高质量像素级别标注的医学图像中学习到的知识，迁移到低质量图像级别标注的医学图像中，而高质量的图像与低质量的图像并不需要有直接的关联性。
2、根据其他医学图像的无语义分割图像标注对CSM图像级标注样本进行处理，生成CSM图像级标注样本的无语义标签样本{IO,LO}，并通过过滤语义信息，获取像素级别的无语义标注LO；其中，获取像素级别的无语义标注的目的在于区分数据的有效分割区域和背景，从而更容易在强弱标注的数据中迁移所学习到的知识。
胶囊网络模块：用于将CSM图像级标注样本{Lf,Tf}输入完成预训练后的胶囊网络模块，胶囊网络模块输出CSM图像级标注样本的重建图像；其中，胶囊网络模块采用单个胶囊神经元的输出向量，记录CSM图像级标注样本分割区域边缘像素的方向和位置信息，采用矢量的非线性激活函数提取分类的概率值，确定CSM图像级标注样本的分割区域与背景，计算边缘损失并输出CSM图像级标注样本的重建图像。本申请利用胶囊网络模块实例化像素的参数信息，输出激活向量记录分割区域的位置和角度信息，能有效地提高分割区域边界区域的锐化程度。
胶囊网络模块包括卷积层、PrimaryCaps层、DigitCaps层和解码层，每个胶囊代表一个函数，输出激活的向量，向量长度代表胶囊所寻找的区域分割线正确的概率。胶囊网络模块每层的功能分别为：
卷积层：通过对CSM图像级标注样本{Lf,Tf}进行卷积操作获得脊髓间盘形态、受压位置等初级特征。以输入尺寸为28x28的CSM图像为例，卷积层有256个步长为1的9x9x1的卷积核，使用Relu激活函数，经过卷积层的特征提取，输出20x20x256的特征张量。
PrimaryCaps层：包含32个主胶囊，接受卷积层获得的初级特征，每个胶囊生成特征的组合并进行向量化表达，向量的每个维度表示特征的方向、位置等信息。每个主胶囊将8个9x9x256的卷积核应用到20x20x256的输入张量中，由于有32个主胶囊，输出为6x6x8x32的特征张量。
DigitCaps层：每个数字胶囊对应PrimaryCaps层输出的向量，每个数字胶囊接受一个6x6x8x32的张量作为输入，采用动态路由将每个主胶囊的输出变量嵌套映射到多层数字胶囊中，激活向量的关键特征，通过8x16的权重矩阵将8维输入空间映射到16维胶囊输出空间。
解码层：解码层即为网络最后的全连接层，包含Relu函数和Sigmoid函数，接受DigitCaps层输出的正确的16维向量，并作为输入学习胶囊输出向量表达的多重特征，计算边缘损失，学习重建一张与输入图像相同像素的28x28大小的图像。
本申请实施例中，胶囊网络模块的损失函数如下：
对于给定的CSM图像级标注样本{If,Tf}，对应的损失函数为：
公式(1)中，OL((If,Tf)；θL)表示胶囊网络模块的输出，θL表示网络训练的权重及参数，Jb表示括号内元素的二元交叉熵损失函数。
将胶囊网络模块应用到CSM图像级标注样本{If,Tf}，输出无语义的粗分割图M＝OL((If,Tf)；θL)。
区域定位网络模块：用于对CSM图像级标注样本{If,Tf}进行像素级标签预测，并输出区域定位特征图；其中，区域定位网络利用卷积层的特征提取生成包含位置信息的特征图，并采用全局平均池化层，将权重(w1,w2…,wn)与特征图进行加权平均，得到区域定位特征图。区域定位特征图中激活值越大的区域最可能是脊髓颈椎的损伤区域分割位置。区域定位网络充分利用训练样本在卷积层操作后获得的初级特征定位特征图的热点区域，由于卷积神经网络需要训练的参数很多，对特征图的重复利用，能够降低网络的参数量，使得模型的训练效率更高。
样本生成模块：用于根据胶囊网络模块输出的重建图像和区域定位网络输出的区域定位特征图执行自扩散算法，确定区域像素点分割线，得到较为粗糙的分割预测样本{If,Lf*}；其中，为了将包含语义信息的分割图M输出为像素级标注的分割样本，在激活值越大的区域运用随机漫步(RandomWalk)思想，通过随机漫步的自扩散算法扩散像素点，利用区域定位特征图的输入点，计算图像上每个像素到输入点的高斯距离，并从中选择最优的路径，获得区域像素点的分割线，从每个激活值较大的分类点扩散，最终生成较为粗糙的分割预测样本{If,Lf*}。
给定一个CSM图像级标注样本{If,Tf}，将它转换成超像素p＝{p1，p2，...，pN}，这些图像由一个无向图模型G进行描述，其中每个节点对应一个特定的超像素，然后在无向图模型G上执行自扩散算法。以粗分割图M为基础，定义类别的自扩散过程的目标函数：
公式(2)中，q＝[q1，q2，...，qN]表示所有超像素p的标签向量，如果pi∈A，则qi固定为1，否则其初始值为0。
Zi,j＝exp(-||F(pi)-F(pj)||/2σ2) (3)
公式(3)中，Zi,j表示两个相邻超像素之间的高斯距离。
通过以上操作，就可以利用少量的高质量有像素级别标注的图像来实现对仅有图像级别标注的CSM图像进行语义分割。
将生成器生成的分割预测样本{If,Lf*}与真实标注样本{If,Lf}输入判别器进行对抗训练，判别器利用胶囊网络记录分割区域的方向和位置信息，提高分割区域边界区域的锐化程度，并利用级联模式提取出图像中难以正确分类的关键区域像素，过滤掉简单明确的平坦区域像素，利用处理过的图像进行“生成-对抗”训练，直至生成器与判别器之间形成纳什均衡，判别器无法区分图像是来自于生成器生成的分割预测样本{If,Lf*}还是真实标注样本{If,Lf}，完成生成对抗网络的训练。
具体的，判别器包括级联Cascade模块、Capsule网络模块和参数优化模块；各模块具体功能如下：
级联Cascade模块：用于负责提取分割预测样本的关键像素；在图像分割的过程中，每一个像素标注的难易程度是不一样的，平坦的背景区域可以很容易的被区分出来，但是物体与背景区域的边界像素却难以区分。以往的网络结构将这些像素统统放入网络中进行处理，造成网络不必要的冗余。而本申请采用级联Cascade的思想，对像素区别对待，重点处理难以分类的重点像素区域。将生成器生成的分割预测样本中标注错误的像素以及置信度低于一定阈值的像素提取出来，而将标注正确且置信度很高的像素过滤掉。这样，输入到下一阶段训练的像素仅为不容易区分的关键像素，可以减少网络中的冗余信息，提高网络的工作效率。
Capsule网络模块负责将提取到的关键像素进行处理，并产生误差；具体的，Capsule网络模块的功能包括：
1、局部特征提取；将生成器输出的分割预测样本{If,Lf*}经过级联Cascade模块过滤，提取出关键像素以及对应的ground truth，将其作为输入分别输入到对应的卷积层中；然后利用若干卷积层，对输入的关键像素与对应的ground truth分别进行卷积，提取出分割预测样本{If,Lf*}中的低级特征；其中卷积层的激活函数为ReLU函数。
2、高维特征提取；通过构建PrimaryCaps层，将提取的低级特征作输入到PrimaryCaps层，获取包含空间位置信息的高维特征向量；构建DigitCaps层，采用动态路由将PrimaryCaps层中的输出变量嵌套映射到DigitCaps层中，构建出当前最能够表征所有输入特征的高级特征，并将其输入到下一层；
上述中，PrimaryCaps层与DigitCaps层之间的计算方式如下：
设关键像素与对应的Ground truth经过卷积层卷积后提取出的特征向量为ui，将低级特征向量ui作为PrimaryCaps层的输入，与权重矩阵Wij相乘得到预测向量其中：
而预测向量之间可以通过线性组合的方式得到加权和Sj，权重系数为cij，其中：
获得加权和Sj后，通过压缩函数将Sj向量长度限定，获得输出向量Vj，其中：
公式(6)中，前半部分为输入向量Sj的缩放尺度，后半部分为Sj的单位向量。而在计算Sj的过程中，系数cij为常量，cij的计算公式为：
公式(7)中，bij为常量，bij的数值通过上次迭代的bij的值与Vj和的积求和得到，即，bij的更新方式为：
3、判别器将DigitCaps层输出的高级特征向量V放入解码层中，通过若干全连接层，最终输出图像真伪的判别结果；具体为：若输出结果为0，则判别为假，表示输入图像被判别为伪造图像；若输出结果为1，则判别为真，表示输入图像成功混淆了判别器。
参数优化模块：用于利用Capsule网络模块产生的误差对生成器与判别器的网络参数进行优化，使生成器可以输出更优化的分割结果。
对于给定的分割预测样本{If,Lf*}和对应的真实标注样本{If,Lf}，网络的整体误差函数如下所示：
公式(9)中，θS和θp分别表示生成器和判别器的参数，Jb表示二元交叉熵损失函数，Os和Op分别表示生成器和判别器的输出。当输入来自真实标注样本{If,Lf}和分割预测样本{If,Lf*}时，输出1和0来标注像素点类别的真伪。
本申请实施例中，参数优化的过程包括两部分：
1、固定生成器参数θS，优化判别器参数θp；在对抗训练过程中，首先固定生成器参数θS，利用生成器生成的分割预测样本送入到判别器中，由判别器判断真伪，并利用判别器误差函数，通过反向传播算法调整判别器参数θp，提高自身鉴别能力。而判别器对应的误差函数为：
在训练的过程中，判别器的参数不断优化，判别能力不断增强，越来越容易区分出生成器的生成图像，从而进入到下一个阶段。
2、固定判别器参数θp，优化生成器参数θS；网络将判别器的判别结果带入到生成器误差函数中，通过反向传播算法调整生成器参数θS，使得生成器生成更高质量的分割结果，这样，生成器生成更加精确的结果来迷惑判别器。而生成器对应的误差函数为：
重复上述两个优化步骤，最后，生成器与判别器之间形成纳什均衡，判别器无法区分图像是来自于生成器输出的分割预测样本{If,Lf*}还是真实标注样本{If,Lf}，则生成对抗网络训练完成。
将图像级标注的待分割CSM图像输入训练好的生成对抗网络，通过生成对抗网络输出待分割CSM图像的像素级分割图像。
图7是本申请实施例提供的基于生成对抗网络的医学图像分割方法的硬件设备结构示意图。如图3所示，该设备包括一个或多个处理器以及存储器。以一个处理器为例，该设备还可以包括：输入***和输出***。
处理器、存储器、输入***和输出***可以通过总线或者其他方式连接，图3中以通过总线连接为例。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的处理方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理***。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入***可接收输入的数字或字符信息，以及产生信号输入。输出***可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任一方法实施例的以下操作：
步骤a：分别采集其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本；
步骤b：通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本训练基于胶囊网络的生成对抗网络，所述生成对抗网络包括生成器和判别器；
步骤c：所述生成器对其他医学图像的像素级标注样本进行像素级特征提取，通过所述像素级特征对待分割医学图像的图像级标注样本进行处理，生成所述待分割医学图像的像素级标注样本，并基于所述像素级标注样本生成所述待分割医学图像的分割预测样本；
步骤d：将所述生成器生成的分割预测样本和待分割图像的真实标注样本一起输入到判别器进行“生成-对抗”训练，判别所述分割预测样本的真伪，并根据误差函数对生成器和判别器进行优化，得到训练好的生成对抗网络；
步骤e：将图像级标注的待分割医学图像输入训练好的生成对抗网络，通过所述生成对抗网络输出待分割医学图像的像素级分割图像。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例提供的方法。
本申请实施例提供了一种非暂态(非易失性)计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行以下操作：
步骤a：分别采集其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本；
步骤b：通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本训练基于胶囊网络的生成对抗网络，所述生成对抗网络包括生成器和判别器；
步骤c：所述生成器对其他医学图像的像素级标注样本进行像素级特征提取，通过所述像素级特征对待分割医学图像的图像级标注样本进行处理，生成所述待分割医学图像的像素级标注样本，并基于所述像素级标注样本生成所述待分割医学图像的分割预测样本；
步骤d：将所述生成器生成的分割预测样本和待分割图像的真实标注样本一起输入到判别器进行“生成-对抗”训练，判别所述分割预测样本的真伪，并根据误差函数对生成器和判别器进行优化，得到训练好的生成对抗网络；
步骤e：将图像级标注的待分割医学图像输入训练好的生成对抗网络，通过所述生成对抗网络输出待分割医学图像的像素级分割图像。
本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行以下操作：
步骤a：分别采集其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本；
步骤b：通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本训练基于胶囊网络的生成对抗网络，所述生成对抗网络包括生成器和判别器；
步骤c：所述生成器对其他医学图像的像素级标注样本进行像素级特征提取，通过所述像素级特征对待分割医学图像的图像级标注样本进行处理，生成所述待分割医学图像的像素级标注样本，并基于所述像素级标注样本生成所述待分割医学图像的分割预测样本；
步骤d：将所述生成器生成的分割预测样本和待分割图像的真实标注样本一起输入到判别器进行“生成-对抗”训练，判别所述分割预测样本的真伪，并根据误差函数对生成器和判别器进行优化，得到训练好的生成对抗网络；
步骤e：将图像级标注的待分割医学图像输入训练好的生成对抗网络，通过所述生成对抗网络输出待分割医学图像的像素级分割图像。
本申请实施例的基于生成对抗网络的医学图像分割方法、***及电子设备通过融合胶囊机制对深度卷积神经网络进行优化，融合Capsule网络和级联瀑布的思想，在医学图像样本量小的情况下，生成新的训练图像样本，实现对低质量仅有图像级别标签的医学影像数据的语义分割，将学习到的分割知识从像素级标注的全标注数据，转移到图像级别的弱标注数据，从而提高了模型特征表达能力，扩展医学图像标注样本的可适用性，有效地降低分割模型对像素级标注数据的依赖，具有网络信息冗余少，特征提取充分的特点，在少量像素级标注样本的前提下，既能提高生成样本与真实样本对抗训练的效率，又可以有效实现高精度的像素级图像分割。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种基于生成对抗网络的医学图像分割方法，其特征在于，包括以下步骤：
步骤a：分别采集其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本；
步骤b：通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本训练基于胶囊网络的生成对抗网络，所述生成对抗网络包括生成器和判别器；
步骤c：所述生成器对其他医学图像的像素级标注样本进行像素级特征提取，通过所述像素级特征对待分割医学图像的图像级标注样本进行处理，生成所述待分割医学图像的像素级标注样本，并基于所述像素级标注样本生成所述待分割医学图像的分割预测样本；
步骤d：将所述生成器生成的分割预测样本和待分割图像的真实标注样本一起输入到判别器进行“生成-对抗”训练，判别所述分割预测样本的真伪，并根据误差函数对生成器和判别器进行优化，得到训练好的生成对抗网络；
步骤e：将图像级标注的待分割医学图像输入训练好的生成对抗网络，通过所述生成对抗网络输出待分割医学图像的像素级分割图像。
2.根据权利要求1所述的基于生成对抗网络的医学图像分割方法，其特征在于，在所述步骤c中，所述生成器包括胶囊网络模块和区域定位网络，所述生成器生成待分割医学图像的分割预测样本具体包括：
步骤b1：通过其他医学图像的像素级标注样本对胶囊网络模块进行预训练，得到无语义标签样本，通过所述无语义标签样本对待分割图像的图像级标注样本进行处理，区分所述待分割图像的图像级标注样本的背景和有效分割区域；
步骤b2：将所述待分割图像的图像级标注样本输入完成预训练后的胶囊网络模块，通过所述胶囊网络模块输出待分割图像的图像级标注样本的重建图像；
步骤b3：区域定位网络利用卷积层的特征提取生成待分割图像的图像级标注样本的包含位置信息的特征图，并采用全局平均池化层，将权重(w1,w2…,wn)与特征图进行加权平均，得到待分割图像的图像级标注样本的区域定位特征图；
步骤b4：根据所述重建图像和区域定位特征图执行自扩散算法，确定区域像素点分割线，得到待分割图像的图像级标注样本的分割预测样本。
3.根据权利要求2所述的基于生成对抗网络的医学图像分割方法，其特征在于，在所述步骤b2中，所述胶囊网络模块包括卷积层、PrimaryCaps层、DigitCaps层和解码层，所述胶囊网络模块采用单个胶囊神经元的输出向量，记录待分割图像的图像级标注样本分割区域边缘像素的方向和位置信息，采用矢量的非线性激活函数提取分类的概率值，确定待分割图像的图像级标注样本的分割区域与背景，计算边缘损失并输出待分割图像的图像级标注样本的重建图像。
4.根据权利要求2所述的基于生成对抗网络的医学图像分割方法，其特征在于，在所述步骤b4中，所述根据重建图像和区域定位特征图执行自扩散算法具体包括：在区域定位特征图中激活值越大的区域运用随机漫步的自扩散算法扩散像素点，利用区域定位特征图的输入点，计算图像上每个像素到输入点的高斯距离，并从中选择最优的路径，获得区域像素点的分割线，最终生成分割预测样本。
5.根据权利要求1至4任一项所述的基于生成对抗网络的医学图像分割方法，其特征在于，在所述步骤d中，所述判别器包括级联Cascade模块、Capsule网络模块和参数优化模块，所述判别器进行的“生成-对抗”训练具体包括：
步骤d1：通过级联Cascade模块提取所述分割预测样本中标注错误的像素以及置信度低于设定阈值的关键像素以及对应的ground truth，并过滤标注正确且置信度高于设定阈值的像素；
步骤d2：通过Capsule网络模块将提取到的关键像素以及对应的ground truth进行处理，并产生误差；
步骤d3：所述参数优化模块利用Capsule网络模块产生的误差对生成器与判别器的网络参数进行优化；其中，对于给定的分割预测样本{If,Lf*}和对应的真实标注样本{If,Lf}，网络的整体误差函数为：
上述公式中，θS和θp分别表示生成器和判别器的参数，Jb表示二元交叉熵损失函数，Os和Op分别表示生成器和判别器的输出，当输入来自真实标注样本{If,Lf}和分割预测样本{If,Lf*}时，通过输出1和0来标注像素点类别的真伪。
6.一种基于生成对抗网络的医学图像分割***，其特征在于，包括样本采集模块和生成对抗网络，
样本采集模块：用于分别采集其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本；
通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本训练基于胶囊网络的生成对抗网络；
所述生成对抗网络包括生成器和判别器，所述生成器对其他医学图像的像素级标注样本进行像素级特征提取，通过所述像素级特征对待分割医学图像的图像级标注样本进行处理，生成所述待分割医学图像的像素级标注样本，并基于所述像素级标注样本生成所述待分割医学图像的分割预测样本；
将所述生成器生成的分割预测样本和待分割图像的真实标注样本一起输入到判别器进行“生成-对抗”训练，判别所述分割预测样本的真伪，并根据误差函数对生成器和判别器进行优化，得到训练好的生成对抗网络；
将图像级标注的待分割医学图像输入训练好的生成对抗网络，通过所述生成对抗网络输出待分割医学图像的像素级分割图像。
7.根据权利要求6所述的基于生成对抗网络的医学图像分割***，其特征在于，所述生成器包括预训练模块、胶囊网络模块、区域定位网络模块和样本生成模块：
预训练模块：用于通过其他医学图像的像素级标注样本对胶囊网络模块进行预训练，得到无语义标签样本，通过所述无语义标签样本对待分割图像的图像级标注样本进行处理，区分所述待分割图像的图像级标注样本的背景和有效分割区域；
胶囊网络模块：用于将所述待分割图像的图像级标注样本输入完成预训练后的胶囊网络模块，通过所述胶囊网络模块输出待分割图像的图像级标注样本的重建图像；
区域定位网络：用于利用卷积层的特征提取生成待分割图像的图像级标注样本的包含位置信息的特征图，并采用全局平均池化层，将权重(w1,w2…,wn)与特征图进行加权平均，得到待分割图像的图像级标注样本的区域定位特征图；
样本生成模块：用于根据所述重建图像和区域定位特征图执行自扩散算法，确定区域像素点分割线，得到待分割图像的图像级标注样本的分割预测样本。
8.根据权利要求7所述的基于生成对抗网络的医学图像分割***，其特征在于，所述胶囊网络模块包括卷积层、PrimaryCaps层、DigitCaps层和解码层，所述胶囊网络模块采用单个胶囊神经元的输出向量，记录待分割图像的图像级标注样本分割区域边缘像素的方向和位置信息，采用矢量的非线性激活函数提取分类的概率值，确定待分割图像的图像级标注样本的分割区域与背景，计算边缘损失并输出待分割图像的图像级标注样本的重建图像。
9.根据权利要求7所述的基于生成对抗网络的医学图像分割***，其特征在于，所述样本生成模块根据重建图像和区域定位特征图执行自扩散算法具体包括：在区域定位特征图中激活值越大的区域运用随机漫步的自扩散算法扩散像素点，利用区域定位特征图的输入点，计算图像上每个像素到输入点的高斯距离，并从中选择最优的路径，获得区域像素点的分割线，最终生成分割预测样本。
10.根据权利要求6至9任一项所述的基于生成对抗网络的医学图像分割***，其特征在于，所述判别器包括级联Cascade模块、Capsule网络模块和参数优化模块：
级联Cascade模块：用于提取所述分割预测样本中标注错误的像素以及置信度低于设定阈值的关键像素以及对应的ground truth，并过滤标注正确且置信度高于设定阈值的像素；
Capsule网络模块：用于将提取到的关键像素以及对应的ground truth进行处理，并产生误差；
参数优化模块：用于利用Capsule网络模块产生的误差对生成器与判别器的网络参数进行优化；其中，对于给定的分割预测样本{If,Lf*}和对应的真实标注样本{If,Lf}，网络的整体误差函数为：
上述公式中，θS和θp分别表示生成器和判别器的参数，Jb表示二元交叉熵损失函数，Os和Op分别表示生成器和判别器的输出，当输入来自真实标注样本{If,Lf}和分割预测样本{If,Lf*}时，通过输出1和0来标注像素点类别的真伪。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述1至5任一项所述的基于生成对抗网络的医学图像分割方法的以下操作：
步骤a：分别采集其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本；
步骤b：通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本训练基于胶囊网络的生成对抗网络，所述生成对抗网络包括生成器和判别器；
步骤c：所述生成器对其他医学图像的像素级标注样本进行像素级特征提取，通过所述像素级特征对待分割医学图像的图像级标注样本进行处理，生成所述待分割医学图像的像素级标注样本，并基于所述像素级标注样本生成所述待分割医学图像的分割预测样本；
步骤d：将所述生成器生成的分割预测样本和待分割图像的真实标注样本一起输入到判别器进行“生成-对抗”训练，判别所述分割预测样本的真伪，并根据误差函数对生成器和判别器进行优化，得到训练好的生成对抗网络；
步骤e：将图像级标注的待分割医学图像输入训练好的生成对抗网络，通过所述生成对抗网络输出待分割医学图像的像素级分割图像。
CN201910707712.XA 2019-08-01 2019-08-01 一种基于生成对抗网络的医学图像分割方法、***及电子设备 Active CN110503654B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910707712.XA CN110503654B (zh) 2019-08-01 2019-08-01 一种基于生成对抗网络的医学图像分割方法、***及电子设备
PCT/CN2019/125428 WO2021017372A1 (zh) 2019-08-01 2019-12-14 一种基于生成对抗网络的医学图像分割方法、***及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910707712.XA CN110503654B (zh) 2019-08-01 2019-08-01 一种基于生成对抗网络的医学图像分割方法、***及电子设备

Publications (2)

Publication Number Publication Date
CN110503654A true CN110503654A (zh) 2019-11-26
CN110503654B CN110503654B (zh) 2022-04-26

Family

ID=68586980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910707712.XA Active CN110503654B (zh) 2019-08-01 2019-08-01 一种基于生成对抗网络的医学图像分割方法、***及电子设备

Country Status (2)

Country Link
CN (1) CN110503654B (zh)
WO (1) WO2021017372A1 (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160441A (zh) * 2019-12-24 2020-05-15 上海联影智能医疗科技有限公司 分类方法、计算机设备和存储介质
CN111275686A (zh) * 2020-01-20 2020-06-12 中山大学 用于人工神经网络训练的医学图像数据的生成方法及装置
CN111383215A (zh) * 2020-03-10 2020-07-07 图玛深维医疗科技(北京)有限公司 一种基于生成对抗网络的病灶检测模型的训练方法
CN111383217A (zh) * 2020-03-11 2020-07-07 深圳先进技术研究院 大脑成瘾性状评估的可视化方法、装置及介质
CN111429464A (zh) * 2020-03-11 2020-07-17 深圳先进技术研究院 医学图像分割方法、医学图像分割装置及终端设备
CN111436936A (zh) * 2020-04-29 2020-07-24 浙江大学 基于mri的ct图像重建方法
CN111598900A (zh) * 2020-05-18 2020-08-28 腾讯科技（深圳）有限公司 一种图像区域分割模型训练方法、分割方法和装置
CN111798471A (zh) * 2020-07-27 2020-10-20 中科智脑(北京)技术有限公司 图像语义分割网络的训练方法
CN111899251A (zh) * 2020-08-06 2020-11-06 中国科学院深圳先进技术研究院 一种区分伪造来源和目标区域的copy-move型伪造图像检测方法
CN111932555A (zh) * 2020-07-31 2020-11-13 商汤集团有限公司 一种图像处理方法及装置、计算机可读存储介质
CN112150478A (zh) * 2020-08-31 2020-12-29 温州医科大学 一种构建半监督图像分割框架的方法及***
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN112420205A (zh) * 2020-12-08 2021-02-26 医惠科技有限公司 实体识别模型生成方法、装置及计算机可读存储介质
CN112507950A (zh) * 2020-12-18 2021-03-16 中国科学院空天信息创新研究院 一种生成对抗式多任务多要素样本自动标注方法及装置
CN112560925A (zh) * 2020-12-10 2021-03-26 中国科学院深圳先进技术研究院 一种复杂场景目标检测数据集构建方法及***
CN112686906A (zh) * 2020-12-25 2021-04-20 山东大学 基于均匀分布迁移引导的图像分割方法及***
CN112749791A (zh) * 2021-01-22 2021-05-04 重庆理工大学 一种基于图神经网络和胶囊网络的链路预测方法
CN112837338A (zh) * 2021-01-12 2021-05-25 浙江大学 一种基于生成对抗网络的半监督医学图像分割方法
CN112890766A (zh) * 2020-12-31 2021-06-04 山东省千佛山医院 一种乳腺癌辅助治疗设备
WO2021120961A1 (zh) * 2019-12-16 2021-06-24 中国科学院深圳先进技术研究院 大脑成瘾结构图谱评估方法及装置
CN113052840A (zh) * 2021-04-30 2021-06-29 江苏赛诺格兰医疗科技有限公司 一种基于低信噪比pet图像的处理方法
CN113160243A (zh) * 2021-03-24 2021-07-23 联想(北京)有限公司 一种图像分割方法及电子设备
CN113223010A (zh) * 2021-04-22 2021-08-06 北京大学口腔医学院 口腔图像多组织全自动分割的方法和***
WO2021179205A1 (zh) * 2020-03-11 2021-09-16 深圳先进技术研究院 医学图像分割方法、医学图像分割装置及终端设备
WO2021184799A1 (zh) * 2020-03-19 2021-09-23 中国科学院深圳先进技术研究院 医学图像处理方法、装置、设备及存储介质
CN113487617A (zh) * 2021-07-26 2021-10-08 推想医疗科技股份有限公司 数据处理方法、装置、电子设备以及存储介质
CN113850804A (zh) * 2021-11-29 2021-12-28 北京鹰瞳科技发展股份有限公司 基于生成对抗网络的视网膜图像生成***及方法
CN114021698A (zh) * 2021-10-30 2022-02-08 河南省鼎信信息安全等级测评有限公司 基于胶囊生成对抗网络的恶意域名训练样本扩充方法及装置
WO2022121213A1 (zh) * 2020-12-10 2022-06-16 深圳先进技术研究院 一种基于gan的无造影剂医学图像增强建模方法
WO2022205657A1 (zh) * 2021-04-02 2022-10-06 中国科学院深圳先进技术研究院 一种csm图像分割方法、装置、终端设备及存储介质
CN116168242A (zh) * 2023-02-08 2023-05-26 阿里巴巴（中国）有限公司 像素级标签的生成方法、模型训练方法及设备
WO2023165033A1 (zh) * 2022-03-02 2023-09-07 深圳硅基智能科技有限公司 识别医学图像中的目标的模型训练、方法、设备及介质

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950569B (zh) * 2021-02-25 2023-07-25 平安科技（深圳）有限公司 黑色素瘤图像识别方法、装置、计算机设备及存储介质
CN113066094B (zh) * 2021-03-09 2024-01-30 中国地质大学（武汉） 一种基于生成对抗网络的地理栅格智能化局部脱敏方法
CN113052369B (zh) * 2021-03-15 2024-05-10 北京农业智能装备技术研究中心 智能农机作业管理方法及***
CN113112454B (zh) * 2021-03-22 2024-03-19 西北工业大学 一种基于任务动态学习部分标记的医学图像分割方法
CN112991304B (zh) * 2021-03-23 2024-06-14 湖南珞佳智能科技有限公司 一种基于激光定向能量沉积监测***的熔池溅射检测方法
CN113171118B (zh) * 2021-04-06 2023-07-14 上海深至信息科技有限公司 一种基于生成式对抗网络的超声检查操作引导方法
CN113130050B (zh) * 2021-04-20 2023-11-24 皖南医学院第一附属医院（皖南医学院弋矶山医院） 一种医学信息显示方法及显示***
CN113239978B (zh) * 2021-04-22 2024-06-04 科大讯飞股份有限公司 医学图像预处理模型与分析模型的相关方法和装置
CN113470046B (zh) * 2021-06-16 2024-04-16 浙江工业大学 一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法
CN113628159A (zh) * 2021-06-16 2021-11-09 维库（厦门）信息技术有限公司 一种基于深度学习网络全自动训练方法、装置及存储介质
CN113378472B (zh) * 2021-06-23 2022-09-13 合肥工业大学 一种基于生成对抗网络的混合边界电磁逆散射成像方法
CN113469084B (zh) * 2021-07-07 2023-06-30 西安电子科技大学 基于对比生成对抗网络的高光谱图像分类方法
CN113553954A (zh) * 2021-07-23 2021-10-26 上海商汤智能科技有限公司 行为识别模型的训练方法及装置、设备、介质和程序产品
CN113705371B (zh) * 2021-08-10 2023-12-01 武汉理工大学 一种水上视觉场景分割方法及装置
CN113706546B (zh) * 2021-08-23 2024-03-19 浙江工业大学 一种基于轻量级孪生网络的医学图像分割方法及装置
CN113763394B (zh) * 2021-08-24 2024-03-29 同济大学 一种基于医疗风险的医学图像分割控制方法
CN113902674B (zh) * 2021-09-02 2024-05-24 北京邮电大学 医学影像分割方法和电子设备
CN113936165B (zh) * 2021-09-07 2024-06-07 上海商涌科技有限公司 Ct图像的处理方法、终端及计算机存储介质
CN113935977A (zh) * 2021-10-22 2022-01-14 河北工业大学 一种基于生成对抗网络的太阳能电池板缺陷生成方法
CN113920127B (zh) * 2021-10-27 2024-04-23 华南理工大学 一种训练数据集独立的单样本图像分割方法和***
CN114066964B (zh) * 2021-11-17 2024-04-05 江南大学 一种基于深度学习的水产实时尺寸检测方法
CN114240950B (zh) * 2021-11-23 2023-04-07 电子科技大学 一种基于深度神经网络的脑部肿瘤图像生成和分割方法
CN114140368B (zh) * 2021-12-03 2024-04-23 天津大学 一种基于生成式对抗网络的多模态医学图像合成方法
EP4220562A4 (en) * 2021-12-03 2024-05-08 Contemporary Amperex Technology Co., Limited METHOD AND SYSTEM FOR GENERATING AN IMAGE SAMPLE WITH A SPECIFIC FEATURE
CN114331875B (zh) * 2021-12-09 2024-06-18 上海大学 一种基于对抗边缘学习的印刷工艺中图像出血位预测方法
CN114186735B (zh) * 2021-12-10 2023-10-20 沭阳鸿行照明有限公司 基于人工智能的消防应急照明灯布局优化方法
CN114494322B (zh) * 2022-02-11 2024-03-01 合肥工业大学 一种基于图像融合技术的多模态图像分割方法
CN114549554B (zh) * 2022-02-22 2024-05-14 山东融瓴科技集团有限公司 基于风格不变性的空气污染源分割方法
CN114897782B (zh) * 2022-04-13 2024-04-23 华南理工大学 基于生成式对抗网络的胃癌病理切片图像分割预测方法
CN114821229B (zh) * 2022-04-14 2023-07-28 江苏集萃清联智控科技有限公司 基于条件生成对抗网络的水下声学数据集增广方法及***
CN114882047A (zh) * 2022-04-19 2022-08-09 厦门大学 一种基于半监督与Transformers的医学图像分割方法及***
CN114549842B (zh) * 2022-04-22 2022-08-02 山东建筑大学 基于不确定性知识域自适应的半监督图像分割方法及***
CN114677515B (zh) * 2022-04-25 2023-05-26 电子科技大学 基于类间相似性的弱监督语义分割方法
CN114998124B (zh) * 2022-05-23 2024-06-18 北京航空航天大学 面向目标检测的图像清晰化处理方法
CN114818734B (zh) * 2022-05-25 2023-10-31 清华大学 基于目标-属性-关系的对抗场景语义分析方法以及装置
CN115081920A (zh) * 2022-07-08 2022-09-20 华南农业大学 考勤签到调度管理方法、***、设备及存储介质
CN115439846B (zh) * 2022-08-09 2023-04-25 北京邮电大学 图像的分割方法、装置、电子设备及介质
CN115272136B (zh) * 2022-09-27 2023-05-05 广州卓腾科技有限公司 基于大数据的证件照眼镜反光消除方法、装置、介质及设备
CN115546239B (zh) * 2022-11-30 2023-04-07 珠海横琴圣澳云智科技有限公司 基于边界注意力与距离变换的目标分割方法和装置
CN115880440B (zh) * 2023-01-31 2023-04-28 中国科学院自动化研究所 一种基于生成对抗网络的磁粒子三维重建成像方法
CN117094986B (zh) * 2023-10-13 2024-04-05 中山大学深圳研究院 基于小样本的自适应缺陷检测方法及终端设备
CN117093548B (zh) * 2023-10-20 2024-01-26 公诚管理咨询有限公司 一种招投标管理稽核***
CN117152138B (zh) * 2023-10-30 2024-01-16 陕西惠宾电子科技有限公司 一种基于无监督学习的医学图像肿瘤目标检测方法
CN117523318B (zh) * 2023-12-26 2024-04-16 宁波微科光电股份有限公司 一种抗光干扰的地铁屏蔽门异物检测方法、装置及介质
CN117726642B (zh) * 2024-02-07 2024-05-31 中国科学院宁波材料技术与工程研究所 一种用于光学相干断层扫描图像的高反射病灶分割方法和装置
CN118015021A (zh) * 2024-04-07 2024-05-10 安徽农业大学 基于滑动窗口的主动域自适应跨模态医学图像分割方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961217A (zh) * 2018-06-08 2018-12-07 南京大学 一种基于正例训练的表面缺陷检测方法
CN109063724A (zh) * 2018-06-12 2018-12-21 中国科学院深圳先进技术研究院 一种增强型生成式对抗网络以及目标样本识别方法
CN109344833A (zh) * 2018-09-04 2019-02-15 中国科学院深圳先进技术研究院 医学图像分割方法、分割***及计算机可读存储介质
US20190080206A1 (en) * 2017-09-08 2019-03-14 Ford Global Technologies, Llc Refining Synthetic Data With A Generative Adversarial Network Using Auxiliary Inputs
CN109584337A (zh) * 2018-11-09 2019-04-05 暨南大学 一种基于条件胶囊生成对抗网络的图像生成方法
WO2019118613A1 (en) * 2017-12-12 2019-06-20 Oncoustics Inc. Machine learning to extract quantitative biomarkers from ultrasound rf spectrums

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10643320B2 (en) * 2017-11-15 2020-05-05 Toyota Research Institute, Inc. Adversarial learning of photorealistic post-processing of simulation with privileged information
CN108062753B (zh) * 2017-12-29 2020-04-17 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN108198179A (zh) * 2018-01-03 2018-06-22 华南理工大学 一种生成对抗网络改进的ct医学图像肺结节检测方法
CN108932484A (zh) * 2018-06-20 2018-12-04 华南理工大学 一种基于Capsule Net的人脸表情识别方法
CN109242849A (zh) * 2018-09-26 2019-01-18 上海联影智能医疗科技有限公司 医学图像处理方法、装置、***和存储介质
CN110503654B (zh) * 2019-08-01 2022-04-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190080206A1 (en) * 2017-09-08 2019-03-14 Ford Global Technologies, Llc Refining Synthetic Data With A Generative Adversarial Network Using Auxiliary Inputs
WO2019118613A1 (en) * 2017-12-12 2019-06-20 Oncoustics Inc. Machine learning to extract quantitative biomarkers from ultrasound rf spectrums
CN108961217A (zh) * 2018-06-08 2018-12-07 南京大学 一种基于正例训练的表面缺陷检测方法
CN109063724A (zh) * 2018-06-12 2018-12-21 中国科学院深圳先进技术研究院 一种增强型生成式对抗网络以及目标样本识别方法
CN109344833A (zh) * 2018-09-04 2019-02-15 中国科学院深圳先进技术研究院 医学图像分割方法、分割***及计算机可读存储介质
CN109584337A (zh) * 2018-11-09 2019-04-05 暨南大学 一种基于条件胶囊生成对抗网络的图像生成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A. ODENA: "Semi-supervised learning with generative adversarial", 《ARXIV》 *
FEI YANG ET AL.: "Capsule Based Image Translation Network", 《IET DOCTORAL FORUM ON BIOMEDICAL ENGINEERING, HEALTHCARE, ROBOTICS AND ARTIFICIAL INTELLIGENCE 2018 (BRAIN 2018)》 *
陈锟 等: "生成对抗网络在医学图像处理中的应用", 《生命科学仪器》 *

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
WO2021120961A1 (zh) * 2019-12-16 2021-06-24 中国科学院深圳先进技术研究院 大脑成瘾结构图谱评估方法及装置
CN111160441A (zh) * 2019-12-24 2020-05-15 上海联影智能医疗科技有限公司 分类方法、计算机设备和存储介质
CN111160441B (zh) * 2019-12-24 2024-03-26 上海联影智能医疗科技有限公司 分类方法、计算机设备和存储介质
CN111275686A (zh) * 2020-01-20 2020-06-12 中山大学 用于人工神经网络训练的医学图像数据的生成方法及装置
CN111275686B (zh) * 2020-01-20 2023-05-26 中山大学 用于人工神经网络训练的医学图像数据的生成方法及装置
CN111383215A (zh) * 2020-03-10 2020-07-07 图玛深维医疗科技(北京)有限公司 一种基于生成对抗网络的病灶检测模型的训练方法
WO2021179205A1 (zh) * 2020-03-11 2021-09-16 深圳先进技术研究院 医学图像分割方法、医学图像分割装置及终端设备
CN111429464A (zh) * 2020-03-11 2020-07-17 深圳先进技术研究院 医学图像分割方法、医学图像分割装置及终端设备
CN111383217B (zh) * 2020-03-11 2023-08-29 深圳先进技术研究院 大脑成瘾性状评估的可视化方法、装置及介质
CN111383217A (zh) * 2020-03-11 2020-07-07 深圳先进技术研究院 大脑成瘾性状评估的可视化方法、装置及介质
WO2021184799A1 (zh) * 2020-03-19 2021-09-23 中国科学院深圳先进技术研究院 医学图像处理方法、装置、设备及存储介质
CN111436936A (zh) * 2020-04-29 2020-07-24 浙江大学 基于mri的ct图像重建方法
CN111598900A (zh) * 2020-05-18 2020-08-28 腾讯科技（深圳）有限公司 一种图像区域分割模型训练方法、分割方法和装置
CN111798471A (zh) * 2020-07-27 2020-10-20 中科智脑(北京)技术有限公司 图像语义分割网络的训练方法
CN111798471B (zh) * 2020-07-27 2024-04-02 中科智脑(北京)技术有限公司 图像语义分割网络的训练方法
US11663293B2 (en) * 2020-07-31 2023-05-30 Sensetime Group Limited Image processing method and device, and computer-readable storage medium
US20220036124A1 (en) * 2020-07-31 2022-02-03 Sensetime Group Limited Image processing method and device, and computer-readable storage medium
CN111932555A (zh) * 2020-07-31 2020-11-13 商汤集团有限公司 一种图像处理方法及装置、计算机可读存储介质
CN111899251A (zh) * 2020-08-06 2020-11-06 中国科学院深圳先进技术研究院 一种区分伪造来源和目标区域的copy-move型伪造图像检测方法
CN112150478B (zh) * 2020-08-31 2021-06-22 温州医科大学 一种构建半监督图像分割框架的方法及***
CN112150478A (zh) * 2020-08-31 2020-12-29 温州医科大学 一种构建半监督图像分割框架的方法及***
CN112420205A (zh) * 2020-12-08 2021-02-26 医惠科技有限公司 实体识别模型生成方法、装置及计算机可读存储介质
WO2022121213A1 (zh) * 2020-12-10 2022-06-16 深圳先进技术研究院 一种基于gan的无造影剂医学图像增强建模方法
CN112560925A (zh) * 2020-12-10 2021-03-26 中国科学院深圳先进技术研究院 一种复杂场景目标检测数据集构建方法及***
CN112507950A (zh) * 2020-12-18 2021-03-16 中国科学院空天信息创新研究院 一种生成对抗式多任务多要素样本自动标注方法及装置
CN112686906A (zh) * 2020-12-25 2021-04-20 山东大学 基于均匀分布迁移引导的图像分割方法及***
CN112686906B (zh) * 2020-12-25 2022-06-14 山东大学 基于均匀分布迁移引导的图像分割方法及***
CN112890766A (zh) * 2020-12-31 2021-06-04 山东省千佛山医院 一种乳腺癌辅助治疗设备
CN112837338B (zh) * 2021-01-12 2022-06-21 浙江大学 一种基于生成对抗网络的半监督医学图像分割方法
CN112837338A (zh) * 2021-01-12 2021-05-25 浙江大学 一种基于生成对抗网络的半监督医学图像分割方法
CN112749791A (zh) * 2021-01-22 2021-05-04 重庆理工大学 一种基于图神经网络和胶囊网络的链路预测方法
CN113160243A (zh) * 2021-03-24 2021-07-23 联想(北京)有限公司 一种图像分割方法及电子设备
WO2022205657A1 (zh) * 2021-04-02 2022-10-06 中国科学院深圳先进技术研究院 一种csm图像分割方法、装置、终端设备及存储介质
CN113223010B (zh) * 2021-04-22 2024-02-27 北京大学口腔医学院 口腔图像多组织全自动分割的方法和***
CN113223010A (zh) * 2021-04-22 2021-08-06 北京大学口腔医学院 口腔图像多组织全自动分割的方法和***
CN113052840A (zh) * 2021-04-30 2021-06-29 江苏赛诺格兰医疗科技有限公司 一种基于低信噪比pet图像的处理方法
CN113052840B (zh) * 2021-04-30 2024-02-02 江苏赛诺格兰医疗科技有限公司 一种基于低信噪比pet图像的处理方法
CN113487617A (zh) * 2021-07-26 2021-10-08 推想医疗科技股份有限公司 数据处理方法、装置、电子设备以及存储介质
CN114021698A (zh) * 2021-10-30 2022-02-08 河南省鼎信信息安全等级测评有限公司 基于胶囊生成对抗网络的恶意域名训练样本扩充方法及装置
CN113850804A (zh) * 2021-11-29 2021-12-28 北京鹰瞳科技发展股份有限公司 基于生成对抗网络的视网膜图像生成***及方法
CN113850804B (zh) * 2021-11-29 2022-03-18 北京鹰瞳科技发展股份有限公司 基于生成对抗网络的视网膜图像生成***及方法
WO2023165033A1 (zh) * 2022-03-02 2023-09-07 深圳硅基智能科技有限公司 识别医学图像中的目标的模型训练、方法、设备及介质
CN116168242B (zh) * 2023-02-08 2023-12-01 阿里巴巴（中国）有限公司 像素级标签的生成方法、模型训练方法及设备
CN116168242A (zh) * 2023-02-08 2023-05-26 阿里巴巴（中国）有限公司 像素级标签的生成方法、模型训练方法及设备

Also Published As

Publication number Publication date
WO2021017372A1 (zh) 2021-02-04
CN110503654B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN110503654A (zh) 一种基于生成对抗网络的医学图像分割方法、***及电子设备
Zhang et al. ME‐Net: multi‐encoder net framework for brain tumor segmentation
Liao et al. Evaluate the malignancy of pulmonary nodules using the 3-d deep leaky noisy-or network
Kitrungrotsakul et al. VesselNet: A deep convolutional neural network with multi pathways for robust hepatic vessel segmentation
Al-Antari et al. Deep learning computer-aided diagnosis for breast lesion in digital mammogram
Ni et al. GC-Net: Global context network for medical image segmentation
Qureshi et al. Medical image segmentation using deep semantic-based methods: A review of techniques, applications and emerging trends
Solovyev et al. 3D convolutional neural networks for stalled brain capillary detection
CN109583440A (zh) 结合影像识别与报告编辑的医学影像辅助诊断方法及***
Perre et al. Lesion classification in mammograms using convolutional neural networks and transfer learning
Gonçalves et al. Carcass image segmentation using CNN-based methods
Farhangi et al. Recurrent attention network for false positive reduction in the detection of pulmonary nodules in thoracic CT scans
Jia et al. Two-branch network for brain tumor segmentation using attention mechanism and super-resolution reconstruction
Deng et al. An effective image-based tomato leaf disease segmentation method using MC-UNet
Özcan et al. Fully automatic liver and tumor segmentation from CT image using an AIM-Unet
Singh et al. A study on convolution neural network for breast cancer detection
Liang et al. Residual convolutional neural networks with global and local pathways for classification of focal liver lesions
Gao et al. Multi-label deep regression and unordered pooling for holistic interstitial lung disease pattern detection
Banerjee et al. A CADe system for gliomas in brain MRI using convolutional neural networks
Wang et al. Multi-view fusion segmentation for brain glioma on CT images
Chatterjee et al. A survey on techniques used in medical imaging processing
Xiao et al. PET and CT image fusion of lung cancer with siamese pyramid fusion network
Wang et al. Deep learning based nodule detection from pulmonary CT images
He et al. Midcn: A multiple instance deep convolutional network for image classification
Bong et al. Adaptive multi-objective archive-based hybrid scatter search for segmentation in lung computed tomography imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant