CN111932555A - 一种图像处理方法及装置、计算机可读存储介质 - Google Patents

一种图像处理方法及装置、计算机可读存储介质 Download PDF

Info

Publication number
CN111932555A
CN111932555A CN202010761819.5A CN202010761819A CN111932555A CN 111932555 A CN111932555 A CN 111932555A CN 202010761819 A CN202010761819 A CN 202010761819A CN 111932555 A CN111932555 A CN 111932555A
Authority
CN
China
Prior art keywords
image
segmentation
target
model
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010761819.5A
Other languages
English (en)
Inventor
高云河
黄锐
胡志强
李鸿升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shangtang Shancui Medical Technology Co ltd
Original Assignee
Sensetime Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime Group Ltd filed Critical Sensetime Group Ltd
Priority to CN202010761819.5A priority Critical patent/CN111932555A/zh
Publication of CN111932555A publication Critical patent/CN111932555A/zh
Priority to US17/107,005 priority patent/US11663293B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)

Abstract

本公开提供了一种图像处理方法、装置及计算机可读存储介质；方法包括：通过主图像分割模型对待处理图像进行特征提取，得到待处理图像的特征图；根据特征图，通过目标图像分割模型对分割目标进行图像分割，得到目标分割结果；其中，目标图像分割模型通过与图像编码模型进行对抗训练得到；图像编码模型用于对目标分割结果进行形状约束。通过本公开，能够提高图像分割的准确度。

Description

一种图像处理方法及装置、计算机可读存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、计算机可读存储介质。
背景技术
目前的深度学***滑形状，导致图像分割结果与先验知识不符，降低了图像分割的准确度。
发明内容
本公开实施例期望提供一种图像处理方法及装置和计算机可读存储介质，能够提高图像分割的准确度。
本公开的技术方案是这样实现的：
本公开实施例提供一种图像处理方法，所述方法包括：
通过主图像分割模型对待处理图像进行特征提取，得到所述待处理图像的特征图；
根据所述特征图，通过目标图像分割模型对所述分割目标进行图像分割，得到目标分割结果；其中，所述目标图像分割模型通过与图像编码模型进行对抗训练得到；所述图像编码模型用于对所述目标分割结果进行形状约束。
上述方案中，所述根据所述特征图，通过目标图像分割模型对所述分割目标进行图像分割，得到目标分割结果之前，所述方法还包括：
获取训练样本图像集合，所述训练样本图像集合中包含所述分割目标对应的至少一个训练样本图像，所述训练样本图像上带有标注分割目标；
通过初始目标图像分割模型，对每个训练样本图像进行图像分割，得到预测分割图像；
根据所述标注分割目标和所述预测分割图像，结合初始图像编码模型，对所述初始目标图像分割模型进行对抗训练，得到目标图像分割模型。
上述方案中，所述根据所述标注分割目标和所述预测分割图像，结合初始图像编码模型，对所述初始目标图像分割模型进行对抗训练，得到目标图像分割模型，包括：
利用初始图像编码模型，对所述标注分割目标和所述预测分割图像进行编码，得到第一空间形状编码和第二空间形状编码；其中，所述第一空间形状编码为所述标注分割目标的低维流形空间表示；所述第二空间形状编码为所述预测分割图像的低维流形空间表示；
通过预设最小平方误差损失函数，计算所述第一空间形状编码和所述第二空间形状编码之间的编码距离，得到预测误差；
基于所述预测误差的形状约束，对所述初始目标图像分割模型的网络参数进行更新，迭代上述对抗训练过程直至最终的预测误差小于预设分割误差阈值时，结束所述训练过程，得到所述目标图像分割模型。
上述方案中，其特征在于，所述初始图像编码模型包括解码子模型，所述通过预设最小平方误差损失函数，对第一空间形状编码和第二空间形状编码进行处理，得到预测误差之后，所述方法还包括：
通过所述解码子模型，对所述第一空间形状编码与所述第二空间形状编码分别进行解码与图形重构，对应得到第一重构图像与第二重构图像；
通过预设重构损失函数，对所述标注分割目标与所述第一重构图像之间的误差，以及所述预测分割图像与所述第二重构图像之间的误差进行组合，得到所述初始图像编码模型的重构误差。
上述方案中，其特征在于，所述基于所述预测误差的形状约束，对所述初始目标图像分割模型的网络参数进行更新，迭代上述对抗训练过程直至最终的预测误差小于预设分割误差阈值时，结束所述训练过程，得到所述目标图像分割模型包括：
在第M次训练过程中，利用所述预测误差，对所述初始目标图像分割模型的网络参数进行更新；其中，M为大于或等于1的整数；
在第M+1次训练中，基于所述重构误差和所述预测误差，得到综合编码误差；
利用所述综合编码误差，对所述初始图像编码模型的网络参数进行更新；
迭代上述对抗训练过程直至最终的预测误差小于预设编码误差阈值时，得到所述目标编码模型与所述目标图像分割模型。
上述方案中，所述初始图像编码模型包括编码子模型，所述编码子模型包括至少一个卷积层与全连接层；
所述利用初始图像编码模型，对所述标注分割目标和所述预测分割图像进行编码，得到第一空间形状编码和第二空间形状编码，包括：
根据所述至少一个卷积层的预设步长，通过所述至少一个卷积层对所述标注分割目标和所述预测分割图像进行压缩，并通过所述全连接层，对压缩后的训练样本图像中的标注分割目标和压缩后的预测分割图像进行编码，得到所述第一空间形状编码和所述第二空间形状编码。
上述方案中，所述解码子模型包括至少一个反卷积层、线性整流函数与批归一化层。
上述方案中，所述根据所述特征图定位结果，通过目标图像分割模型对所述分割目标进行图像分割，得到目标分割结果，包括：
通过目标定位模型，根据所述特征图对分割目标进行定位，得到所述分割目标的定位结果；
根据所述定位结果，通过目标图像分割模型对所述分割目标进行图像分割，得到目标分割结果。
上述方案中，所述主图像分割模型包括压缩激活模块，所述通过主图像分割模型对待处理图像进行特征提取，得到所述待处理图像的特征图，包括：
对所述待处理图像进行两次降采样，得到降采样图像；
根据预设卷积层膨胀率，对所述降采样图像进行卷积处理，得到卷积结果；
通过所述压缩激活模块对所述卷积结果进行残差及压缩激活处理，得到激活结果；
对所述激活结果进行多尺度特征提取及反卷积处理，得到所述待处理图像的特征图。
上述方案中，所述特征图包括N层特征图，N为大于1的整数，所述通过目标定位模型，根据所述特征图对分割目标进行定位，得到所述分割目标的定位结果，包括：
通过所述目标定位模型，对第N层特征图进行特征识别和归一化处理，得到所述第N层特征图中每个像素属于所述分割目标中心位置的概率；
根据所述概率对所述第N层特征图进行图像分割，得到所述分割目标的定位结果。
上述方案中，所述根据所述定位结果，通过目标图像分割模型对所述分割目标进行图像分割，得到目标分割结果，包括：
通过目标图像分割模型对所述分割目标的形状进行预测，得到所述分割目标的裁切范围；
根据所述分割目标的定位结果与所述裁切范围，对所述第N层特征图进行裁切处理，得到所述目标分割结果。
上述方案中，所述通过主图像分割模型对待处理图像进行特征提取，得到所述待处理图像的特征图之后，所述方法还包括：
根据预设的主分割目标，通过所述主图像分割模型对所述特征图进行定位及分割处理，得到所述主分割目标对应的主分割结果；
所述根据所述定位结果，通过目标图像分割模型对所述分割目标进行图像分割，得到目标分割结果之后，所述方法还包括：
在所述待处理图像中融合所述主分割结果与所述目标分割结果，得到所述待处理图像的图像分割结果。
本公开实施例提供一种图像处理装置，所述装置包括：
主图像分割模型，用于对待处理图像进行特征提取，得到所述待处理图像的特征图；
目标图像分割模型，用于根据所述特征图，对所述分割目标进行图像分割，得到目标分割结果；其中，所述目标图像分割模型通过与图像编码模型进行对抗训练得到；所述图像编码模型用于对所述目标分割结果进行形状约束。
上述装置中，所述图像处理装置还包括训练单元，其中，
所述训练单元，用于在所述根据所述特征图，通过目标图像分割模型对所述分割目标进行图像分割，得到目标分割结果之前，获取训练样本图像集合，所述训练样本图像集合中包含所述分割目标对应的至少一个训练样本图像，所述训练样本图像上带有标注分割目标；通过初始目标图像分割模型，对每个训练样本图像进行图像分割，得到预测分割图像；根据所述标注分割目标和所述预测分割图像，结合初始图像编码模型，对所述初始目标图像分割模型进行对抗训练，得到目标图像分割模型。
上述装置中，所述训练单元，还用于利用初始图像编码模型，对所述标注分割目标和所述预测分割图像进行编码，得到第一空间形状编码和第二空间形状编码；其中，所述第一空间形状编码为所述标注分割目标的低维流形空间表示；所述第二空间形状编码为所述预测分割图像的低维流形空间表示；通过预设最小平方误差损失函数，计算所述第一空间形状编码和所述第二空间形状编码之间的编码距离，得到预测误差；基于所述预测误差的形状约束，对所述初始目标图像分割模型的网络参数进行更新，迭代上述对抗训练过程直至最终的预测误差小于预设分割误差阈值时，结束所述训练过程，得到所述目标图像分割模型。
上述装置中，所述初始图像编码模型包括解码子模型，所述训练单元，还用于在所述通过预设最小平方误差损失函数，对第一空间形状编码和第二空间形状编码进行处理，得到预测误差之后，通过所述解码子模型，对所述第一空间形状编码与所述第二空间形状编码分别进行解码与图形重构，对应得到第一重构图像与第二重构图像；通过预设重构损失函数，对所述标注分割目标与所述第一重构图像之间的误差，以及所述预测分割图像与所述第二重构图像之间的误差进行组合，得到所述初始图像编码模型的重构误差。
上述装置中，所述训练单元，还用于在第M次训练过程中，利用所述预测误差，对所述初始目标图像分割模型的网络参数进行更新；其中，M为大于或等于1的整数；在第M+1次训练中，基于所述重构误差和所述预测误差，得到综合编码误差；利用所述综合编码误差，对所述初始图像编码模型的网络参数进行更新；迭代上述对抗训练过程直至最终的预测误差小于预设编码误差阈值时，得到所述目标编码模型与所述目标图像分割模型。
上述装置中，所述初始图像编码模型包括编码子模型，所述编码子模型包括至少一个卷积层与全连接层；所述训练单元，还用于根据所述至少一个卷积层的预设步长，通过所述至少一个卷积层对所述训练样本图像和所述预测分割图像进行压缩，并通过所述全连接层对压缩后的训练样本图像中的标注分割目标和压缩后的预测分割图像进行编码，得到所述第一空间形状编码和所述第二空间形状编码。
上述装置中，所述解码子模型包括至少一个反卷积层、线性整流函数与批归一化层。
上述装置中，所述图像处理装置还包括目标定位模型，所述目标定位模型，用于根据所述特征图对分割目标进行定位，得到所述分割目标的定位结果；根据所述定位结果，通过目标图像分割模型对所述分割目标进行图像分割，得到目标分割结果。
上述装置中，主图像分割模型包括压缩激活模块，所述主图像分割模型，还用于对所述待处理图像进行两次降采样，得到降采样图像；根据预设卷积层膨胀率，对所述降采样图像进行卷积处理，得到卷积结果；通过所述压缩激活模块对所述卷积结果进行残差及压缩激活处理，得到激活结果；对所述激活结果进行多尺度特征提取及反卷积处理，得到所述待处理图像的特征图。
上述装置中，特征图包括N层特征图，N为大于1的整数，所述目标定位模型，还用于对第N层特征图进行特征识别和归一化处理，得到所述第N层特征图中每个像素属于所述分割目标中心位置的概率；根据所述概率对所述第N层特征图进行图像分割，得到所述分割目标的定位结果。
上述装置中，所述目标定位模型，还用于通过目标图像分割模型对所述分割目标的形状进行预测，得到所述分割目标的裁切范围；根据所述分割目标的定位结果与所述裁切范围，对所述第N层特征图进行裁切处理，得到所述目标分割结果。
上述装置中，所述主图像分割模型，还用于在对待处理图像进行特征提取，得到所述待处理图像的特征图之后，根据预设的主分割目标，对所述特征图进行定位及分割处理，得到所述主分割目标对应的主分割结果；
所述图像处理装置还包括融合单元，所述融合单元，用于在目标图像分割模型根据所述定位结果，对所述分割目标进行图像分割，得到目标分割结果之后，在所述待处理图像中融合所述主分割结果与所述目标分割结果，得到所述待处理图像的图像分割结果。
本公开实施例提供一种图像处理装置，所述装置包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序时，实现上述任一项所述的图像处理方法。
本公开实施例提供一种计算机可读存储介质，存储有计算机程序，用于引起处理器执行时，实现上述任一项所述的图像处理方法。
本公开实施例提供了一种图像处理方法及装置和计算机可读存储介质，由于图像编码模型可以对目标分割结果进行形状约束，因此与图像编码模型进行对抗训练所得到的目标图像分割模型能够学习到分割目标的准确形状。这样，图像处理装置在使用目标图像分割模型对分割目标进行图像分割时，可以得到更加准确的目标分割结果，从而提高了图像分割的准确度。
附图说明
图1为本公开实施例提供的图像处理方法的流程示意图一；
图2为本公开实施例提供的主图像分割模型的结构示意图；
图3为本公开实施例提供的图像处理方法的流程示意图二；
图4为本公开实施例提供的图像处理方法的流程示意图三；
图5为本公开实施例提供的图像处理方法的流程示意图四；
图6为本公开实施例提供的图像编码模型的训练过程示意图；
图7为本公开实施例提供的图像处理方法的流程示意图五；
图8为本公开实施例提供的压缩激活模块的结构示意图；
图9为本公开实施例提供的图像处理方法的流程示意图六；
图10为本公开实施例提供的图像处理方法的流程示意图七
图11为本公开实施例提供的图像处理装置的网络架构示意图；
图12为本公开实施例提供的图像处理方法的图像分割效果示意图一；
图13为本公开实施例提供的图像处理方法的图像分割效果示意图二；
图14为本公开实施例提供的图像处理装置的结构示意图一；
图15为本公开实施例提供的图像处理装置的结构示意图二。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
目前，对于精确的图像分割方法，尤其是医学领域中，在临床上进行放疗规划时，有二十多个危及器官需要被考虑在内，通常需要医生在电子计算机断层扫描(ComputedTomography，CT)图像上根据自己的医学先验知识进行勾画，然而在三维CT图像上标注通常费时费力。由于头颈部复杂的解剖结构，通常一个勾画一个患者的器官需要花费专业医生2.5个小时以上，同时由于主观因素影响，不同医生对同一患者的勾画可能不完全一致。另外，由于CT对软组织不敏感的特性，很多器官与周围组织对比度较低，边界不清晰，导致分割算法可能会产生错误的分割结果。
因此一个快速高效，性能优秀，鲁棒性强的计算机辅助分割算法能够极大的减少医生的工作量，提高放疗规划速度和质量，并且提高放射治疗的效果。
目前的深度学***滑形状，从而导致了通过目前图像分割方法得到的器官形状与医学先验知识不符，图像分割准确度低。
图1是本公开实施例提供的方法的一个可选的流程示意图，将结合图1示出的步骤进行说明。
S101、通过主图像分割模型对待处理图像进行特征提取，得到待处理图像的特征图。
本公开实施例中提供的图像处理方法适用于图像分割场景，如医学图像分割、图片效果处理，或其他需要进行图像分割的场景，本公开实施例不做限定。
本公开实施例中，图像处理装置可以通过主图像分割模型对待处理图像进行特征提取，得到待处理图像的特征图。其中，主图像分割模型是训练好的神经网络模型，用于对待处理图像中每个像素的特征进行识别，并将识别结果，通常为该像素属于的某一类别的概率标记在对应的像素上，从而得到待处理图像的特征图。
本公开实施例中，主图像分割模型可以采用相关的特征提取技术提取待处理图像的特征图。例如，可以基于图像局部亮度特征、器官形状特征等人工设计特征提取待处理图像的特征图。
在一些实施例中，待处理图像可以是包含危及器官(Organs At Risk，OAR)的医学图像，主图像分割模型可以是基于编码器-解码器(Encoder-Decoder)架构的3D U-Net修改的全卷积神经网络，用来学习医学图像的多尺度特征。图像处理装置将医学图像，如CT原始图像输入主图像分割模型，由主图像分割模型输出是每个像素属于每个器官的概率张量。
本公开实施例中，对于边界清晰，体积较大的分割目标，如CT图像中的大器官，可以通过主图像分割模型输出其分割结果。
本公开实施例中，可以输入为了提高主图像分割模型的分割准确度，图像处理装置可以采用包含卷积层、线性整流函数、以及批归一化层的残差模块(Residue Block)作为主图像分割模型的骨干网络，同时进一步加入压缩-激活模块(Squeeze-and-excitationModule，SE module)作为特征层面的注意力机制。进一步的，为了减少由降采样带来的细节损失，可以在主图像分割模型中只使用两次降采样。
本公开实施例中，为了能够学习到多尺度的特征，图像处理装置可以使用密集连接的空洞卷积空间金字塔模块(densely connected atrous spatial pyramid pooling，DenseASPP)作为主图像分割模型的网络架构。
在一些实施例中，主图像分割模型的网络架构可以如图2所示。在图2中，主图像分割模型对输入的待处理图像先进行两次降采样，得到尺寸较小的降采样图像；在对降采样图像进行预设膨胀率d为2的一次卷积，扩大了降采样图像的感受野，并通过DenseASPP中预设的不同的预设卷积层膨胀率d，如d为3、6、12和18，去学习降采样图像的不同尺度的特征；其中，可以看出，预设卷积层膨胀率(dilation rate)越大，主图像分割模型能够学习到的特征的尺度规模越大。主图像分割模型将学到的不同尺度的特征再通过一次反卷积上采样，并将上采样后的特征通过跨越层连接与相同尺度的特征进行融合，之后再进行一次相同的上采样和融合过程，得到最终从待处理图像中提取出的特征图。通过上述过程，主图像分割模型可以通过设置预设卷积层膨胀率，来捕获学习不同尺度的特征以融合多尺度特征、确保足够大的卷积核感受野(receptive field)，从而能够增强主图像分割模型的特征表达能力。
S102、根据特征图，通过目标图像分割模型对分割目标进行图像分割，得到目标分割结果；其中，目标图像分割模型通过与图像编码模型进行对抗训练得到；图像编码模型用于对目标分割结果进行形状约束。
本公开实施例中，图像处理装置可以根据得到的特征图，通过目标图像分割模型，从特征图中识别出所需的分割目标并进行图像分割，得到目标分割结果。
本公开实施例中，目标图像分割模型是通过与图像编码模型进行对抗训练得到的神经网络模型。
本公开实施例中，由于分割目标的形状很难用数值定量来描述，因此图像处理装置可以通过图像编码模型，在对抗训练阶段对训练样本图像中标注分割目标的形状进行编码，用编码的形式来表征标注分割目标的形状。其中，训练样本图像中标注分割目标的形状边界是可以人工根据先验知识勾画出来的，这样，对于一些在实际图像中边界不明晰的分割目标，图像编码模型通过学习到的先验知识中该分割目标的形状，对与之共同对抗训练的目标图像分割模型输出的目标分割结果进行形状约束，使目标图像分割模型输出的目标分割结果符合先验知识。
本公开实施例中，图像编码模型可以与目标图像分割模型共同进行对抗训练，在对抗训练的过程中，将使用最小化网络预测形状与真实形状之间的相似度损失函数作为初始目标图像分割模型的目标函数，并使用最大化网络预测形状与真实形状之间的相似度损失函数作为初始图像编码模型的目标函数；这样，通过对抗训练，初始图像编码模型能够更好的捕捉网络预测形状与真实形状之间的区别，并对初始目标图像分割模型提供更有效的监督信号。当初始目标图像分割模型能够使得初始图像编码模型无法分辨输入为网络预测的形状还是真实标注形状时，可以视为达到了对抗训练的目标，得到训练完成的图像编码模型和目标图像分割模型。这样，在应用目标图像分割模型进行图像分割时，可以通过目标图像分割模型在对抗训练过程中学习到的形状约束，提高目标分割结果的精度，从而提高目标图像分割模型分割的准确度。
可以理解的是，由于目标图像分割模型在与图像编码模型进行对抗训练的过程中，学习到了对于分割目标的形状约束，因此可以得到更加准确的目标分割结果，从而提高了图像分割的准确度。
本公开实施例中，对于目标图像分割模型与图像编码模型的对抗训练过程，在S102之前，还可以如图3所示，包括S201-S203，如下：
S201、获取训练样本图像集合，训练样本图像集合中包含分割目标对应的至少一个训练样本图像，训练样本图像上带有预先标注好的分割目标。
S202、通过初始目标图像分割模型，对每个训练样本图像进行图像分割，得到预测分割图像。
本公开实施例中，图像处理装置可以建立初始目标图像分割模型，其中，初始目标图像分割模型中各层网络参数的权重为初始值。在一轮训练中，图像处理装置通过初始目标图像分割模型，对训练样本图像集合中的一个训练样本图像进行图像分割，得到预测分割图像，从而开始对初始目标图像分割模型的对抗训练。
S203、根据标注分割目标和预测分割图像，结合初始图像编码模型，对初始目标图像分割模型进行对抗训练，得到目标图像分割模型。
本公开实施例中，预测分割图像表征了使用初始目标图像分割模型进行图像分割的效果。图像处理装置可以将预测分割图像与训练样本图像上的标注分割目标进行对比，以了解每轮训练后初始目标图像分割模型的训练效果，并且在下一次训练开始前，根据初始图像编码模型给出的形状约束，对初始目标图像分割模型的各层网络权重进行更新，以使初始目标图像分割模型下一次训练输出的预测分割图像可以更加接近于标注分割目标。图像处理装置持续上述迭代训练过程，直至图像编码模型无法区分出预测分割图像与标注分割目标时，图像处理装置认为训练达到了预设训练目标，结束迭代训练并得到目标图像分割模型。
本公开实施例中，图像编码模型的主要作用是尽可能捕捉预测分割图像与标注分割目标之间的区别，只要图像编码模型可以区分出预测分割图像与标注分割目标，说明初始目标图像分割模型的图像分割准确度还没有达到预设训练目标的要求，还需要继续进行下一轮训练。因此，图像编码模型可以对初始目标图像分割模型的训练过程起到监督作用。为此，为了提高图像编码模型捕捉预测分割图像与标注分割目标之间区别的能力，图像编码模型同样会先使用初始图像编码模型开始与初始目标图像编码模型的对抗训练，并且在对抗训练过程中与初始目标图像编码模型交替更新各自的网络模型参数，在最终达到预设训练目标时，得到目标图像编码模型。
本公开实施例中，参见图4，图3中示出的S203的具体实现过程可以通过S2031-S2033实现，将结合各步骤进行说明。
S2031、利用初始图像编码模型，对标注分割目标和预测分割图像进行编码，得到第一空间形状编码和第二空间形状编码；其中，第一空间形状编码为标注分割目标的低维流形空间表示；第二空间形状编码为预测分割图像的低维流形空间表示。
本公开实施例中，为了准确的表征出预先标注好的分割目标的形状以及预测分割图像中包含的分割结果的形状，图像处理装置可以首先利用初始图像编码模型，对样本图像中的标注分割目标进行编码，得到第一空间形状编码；图像处理装置利用初始图像编码模型，对预测分割图像进行编码，得到第二空间形状编码。
本公开实施例中，初始图像编码模型包括编码子模型，编码子模型包括至少一个卷积层与全连接层；编码子模型可以根据至少一个卷积层的预设步长，通过至少一个卷积层对样本图像和预测分割图像进行压缩，并通过全连接层对压缩后的样本图像中的标注分割目标和压缩后的预测分割图像进行编码，得到第一空间形状编码和第二空间形状编码。
本公开实施例中，当初始图像编码模型的输入为样本图像时，输出为标注分割目标的形状的低维流形表示，这样，初始图像编码模型可以通过训练，学习到标注分割目标的形状的潜在空间表征。在一些实施例中，当样本图像为人工标注好危及器官的医学图像时，初始图像编码模型中可以学到人工标注好的危及器官的形状，以通过先验知识中危及器官的形状来约束对初始图像编码模型输出的预测分割图像的形状，以此将形状约束融入初始图像编码模型的学习训练中。
S2032、通过预设最小平方误差损失函数，计算第一空间形状编码和第二空间形状编码之间的编码距离，得到预测误差。
本公开实施例中，由于第一空间形状编码能够表征标注分割目标的形状；而第二空间形状编码能够表征预测分割图像的形状，因此，图像处理装置可以通过预设最小平方误差损失函数，计算出第一空间形状编码和第二空间形状编码之间的编码距离，作为预测误差，用以表征初始目标图像分割模型输出的预测分割图像与标注分割目标之间的差距。
本公开实施例中，预设最小平方误差损失函数可以如公式(1)所示，如下：
Figure BDA0002613287820000141
公式(1)中，x为样本图像，pdata为样本图像的分布函数，y为标注分割目标，pgt为标注分割目标的分布函数，D为初始图像编码模型，G为初始目标图像分割模型，G(x)为预测分割图像，Dlatent(y)为第一空间形状编码，Dlatent(G(x))为第二空间形状编码，Lshape为预测误差。在训练过程中，初始图像编码模型需要通过公式(1)最大化第一空间形状编码与第二空间形状编码之间的距离，以最大程度的辨别出预测分割图像与标注分割目标之间的区别，而初始目标图像分割模型需要通过公式(1)最小化第一空间形状编码与第二空间形状编码之间的距离，用来在对抗训练中使得初始图像编码模型无法区分出预测分割图像与标注分割目标，以达到预设训练目标。
S2033、基于预测误差的形状约束，对初始目标图像分割模型的网络参数进行更新，迭代上述对抗训练过程直至最终的预测误差小于预设分割误差阈值时，结束训练过程，得到目标图像分割模型。
本公开实施例中，由于预测误差表征了预测分割图像与标注分割目标的区别，图像处理装置在对初始目标图像分割模型的网络参数进行更新的过程中，可以基于预测误差的形状约束来进行更新步长的调整。图像处理装置在每次训练过程中以上述方式进行迭代，直至最终的预测误差小于预设分割误差阈值时，说明此时预测分割图像与标注分割目标之间已经非常接近，即说明了初始目标图像分割模型的图像分割的准确度已经达到预设训练目标，因此图像处理装置可以结束训练过程，得到目标图像分割模型。
本公开实施例中，对于在对抗训练中，对图像编码模型进行训练的阶段，参见图5，在图4中示出的S2032之后，还可以执行S301-S302，将结合各步骤进行说明：
S301、通过解码子模型，对第一空间形状编码与第二空间形状编码分别进行解码与图形重构，对应得到第一重构图像与第二重构图像。
本公开实施例中，初始图像编码模型还包括解码子模型。为了提高在训练中提高初始图像编码模型对标注分割目标的形状特征的学习能力，图像处理装置可以通过解码子模型，对第一空间形状编码与第二空间形状编码分别进行解码与图形重构，对应得到第一重构图像与第二重构图像，通过对比编解码后得到的第一重构图像与第二重构图像与原始的标注分割目标与预测分割图像之间的区别，对初始图像编码模型的网络参数进行更新，在训练中逐渐提高初始图像编码模型的对标注分割目标的形状的学习能力。
本公开实施例中，解码子模型包括至少一个反卷积层、线性整流函数与批归一化层。图像处理装置可以通过解码子模型中的至少一个反卷积层、线性整流函数与批归一化层，从潜在空间表征重构第一空间形状编码对应的标注分割目标，以及第二空间形状编码对应的预测分割图像，从而得到第一重构图像与第二重构图像。
本公开实施例中，第一重构图像为初始图像编码模型对标注分割目标进行编解码重构后得到的图像，第二重构图像为初始图像编码模型对预测分割图像进行编解码重构后得到的图像。
S302、通过预设重构损失函数，对标注分割目标与第一重构图像之间的误差，以及预测分割图像与第二重构图像之间的误差进行组合，得到初始图像编码模型的重构误差。
本公开实施例中，图像处理装置可以通过预设重构损失函数，计算出标注分割目标与第一重构图像之间的误差以及预测分割图像与第二重构图像之间的误差，并对两种误差进行组合，得到初始图像编码模型的重构误差。
本公开实施例中，预设重构损失函数可以如公式(2)所示，如下：
Figure BDA0002613287820000161
公式(2)中，D(y)为第一重构图像，D(G(x))为第二重构图像，Lrec为重构误差。图像处理装置通过公式(2)，分别计算出标注分割目标与第一重构图像、预测分割图像与第二重构图像之间的误差并相加，得到重构误差。
本公开实施例中，参见图5，图4中示出的S2033可以通过S303-S306实现，将结合各步骤进行说明：
S303、在第M次训练过程中，利用预测误差，对初始目标图像分割模型的网络参数进行更新；其中，M为大于或等于1的整数。
本公开实施例中，在实际的对抗训练过程中，网络参数的更新是交替进行的。图像处理装置会首先对初始目标图像分割模型的网络参数进行更新，使用更新网络参数的初始目标图像分割模型进行下一轮训练，并根据下一轮训练的结果对初始图像编码模型的网络参数进行更新。
本公开实施例中，对于第M次训练过程，图像处理装置可以根据初始目标图像分割模型对应的预设优化函数，利用预测误差对初始目标图像分割模型的网络参数进行更新。其中，M为大于或等于1的整数。
本公开实施例中，初始目标图像分割模型对应的预设优化函数可以如公式(3)所示，如下：
Figure BDA0002613287820000162
Lseg＝-Lfocal+λLdice (4)
公式(3)中，λ1为平衡因子，用于平衡预测误差Lshape与分割误差Lseg这两个损失项，按经验值可以取值为5。分割误差Lseg为主图像分割模型的损失函数，可以通过公式(4)获得。图像处理装置可以通过公式(3)，以最小化预测误差与分割误差之和LG为目标，对初始目标图像分割模型进行网络参数的更新，以使初始目标图像分割模型在下一轮训练即第M+1次训练中输出的预测分割图像进一步与标注分割目标相接近。
公式(4)中，Lfocal为训练主图像分割模型时使用的聚焦损失函数(focal loss)，用于增加训练中错分的样本的权重，起到聚焦作用；Ldice为训练主图像分割模型时使用的广义戴斯损失函数(generalized dice loss)，λ为平衡两种损失在总损失所占比重的权重，在一些实施例中，λ可以为1。
S304、在第M+1次训练中，基于重构误差和预测误差，得到综合编码误差。
S305、利用综合编码误差，对初始图像编码模型的网络参数进行更新。
本公开实施例中，图像处理装置完成对初始图像分割模型的网络参数更新之后，进入第M+1次训练，在第M+1次训练中，图像处理装置基于第M+1次训练中计算出的重构误差和预测误差，根据初始图像编码模型对应的预设优化函数得到综合编码误差，并利用综合编码误差，对初始图像编码模型的网络参数进行更新。
本公开实施例中，初始图像编码模型对应的预设优化函数可以如公式(5)所示，如下：
Figure BDA0002613287820000171
公式(5)中，λ2为扰乱因子。由于在对初始目标图像分割模型进行训练的过程中，其输出的预测分割图像会与标注分割目标逐渐接近，因此，如果初始图像编码模型不能有效区分预测分割图像与标注分割目标，就无法对目标图像分割模型的训练过程提供有效的监督。扰乱因子的加入可以适当加大预测分割图像与标注分割目标之间的区别，有利于提高对抗训练的效果。在一些实施例中，λ2的取值一般不超过0.001，以免过大的λ2增加训练的不稳定性。LD为综合编码误差，体现了预测误差与重构误差之间的差距。图像处理装置通过公式(5)，以最大化综合误差LD为目标，对初始图像分割模型的网络参数进行调整，至此，通过连续两轮对抗训练，分别完成对初始目标图像分割模型与初始图像编码模型的网络参数的更新。
在一些实施例中，初始图像编码模型的对抗训练过程可以如图6所示。在图6中，初始图像编码模型分别对标注分割目标，以及预测分割图像进行编码，得到第一空间形状编码与第二空间形状编码。初始图像编码模型通过S302中的方法得到重构误差，并通过S2032中的方法得到预测误差，基于重构误差与预测误差，通过公式5得到综合编码误差以对初始图像编码模型的网络参数进行更新。
S306、迭代上述对抗训练过程直至最终的预测误差小于预设编码误差阈值时，得到目标编码模型与目标图像分割模型。
本公开实施例中，图像处理装置迭代进行上述对抗训练过程，直至最终一轮训练过程得到的预测误差小于预设编码误差阈值时，结束对抗训练，得到目标编码模型与目标图像分割模型。
可以理解的是，本公开实施例中，在对目标图像分割模型进行训练的过程中，图像处理装置使用图像编码模型对目标图像分割模型的预测结果加入了形状约束，目标图像分割模型能够将输入形状编码到潜在空间，通过最小化网络预测形状与真实形状在潜在空间中的距离，使网络预测的形状符合先验知识，约束目标图像分割模型的预测结果，从而提高了图像分割的准确度。
本公开实施例中，主图像分割模型包括压缩激活模块，参见图7，图1中示出的S101可以通过S1011-S1014来实现，将结合各步骤进行说明。
S1011、对待处理图像进行两次降采样，得到降采样图像。
本公开实施例中，图像处理装置在利用主图像分割模型进行特征提取时，为了减少由降采样带来的细节损失，只在主图像分割模型中使用两次降采样，以得到降采样图像。
本公开实施例中，由于图像分割模型减少了降采样的次数，因此在降采样图像中减少了高分辨率信息的丢失。
S1012、根据预设卷积层膨胀率，对降采样图像进行卷积处理，得到卷积结果。
本公开实施例中，图像处理装置可以利用主图像分割模型如图2中所示的密集连接的空洞卷积空间金字塔模块DenseASPP，根据预设卷积层膨胀率，对降采样图像进行卷积处理，得到卷积结果。
在一些实施例中，图2中的反卷积上采样过程也可以使用三线性差值上采过程来实现，具体的根据实际情况进行选择，本公开实施例不做限定。
S1013、通过压缩激活模块对卷积结果进行残差及压缩激活处理，得到激活结果。
S1014、对激活结果进行多尺度特征提取及反卷积处理，得到待处理图像的特征图。
本公开实施例中，为了进一步增强网络的特征表达能力，图像处理装置在残差模块为基础结构的主图像分割模型中更进一步加入了压缩激活模块(Squeeze-and-Excitation module，SE module)作为特征层面的注意力机制。图像处理装置可以通过压缩激活模块对卷积结果进行残差及压缩激活处理，得到激活结果。然后，通过DenseASPP对激活结果进行多尺度特征提取，之后通过反卷积处理，得到待处理图像的特征图。
可以理解的是，本公开实施例中，主图像分割模型通过密集连接的空洞卷积空间金字塔模块DenseASPP以及加入的压缩-激活模块，增强了网络的特征表达能力，提高了主图像分割模型进行特征提取的准确度，进而提高了图像处理装置进行图像分割的准确度。
本公开实施例中，参见图9，图1中示出的S102可以通过S1021-S1022来实现，将结合各步骤进行说明。
S1021、通过目标定位模型，根据特征图对分割目标进行定位，得到分割目标的定位结果。
目前，待处理图像中包含很多体积不一的目标图像，示例性的，CT图像中的危及器官中包含很多体积不一的器官，对于大器官，如腮腺，其体积是最小器官晶状体的250倍以上。对于体积较小的分割目标存在极大的样本不均衡的问题，可能导致分割准确度较低。因此，本公开实施例中的图像处理装置可以使用先定位再分割的两阶段网络：首先通过目标定位模型，对主图像分割模型输出的第N层特征图进行特征识别和归一化处理，得到第N层特征图中每个像素属于分割目标中心位置的概率，以此定位出分割目标所在的位置，然后基于每个像素属于分割目标中心位置的概率，通过目标图像分割模型对第N层特征图进行图像分割，得到分割目标的定位结果。
本公开实施例中，分割目标的定位结果为包含分割目标的特征图区域，图像处理装置可以以分割目标的定位结果为基础，专门针对分割目标进行下一步的图像分割。
在一些实施例中，对于主图像分割模型为CT图像输出的第N层特征图，图像处理装置可以经过目标定位模型中的两个压缩激活模块SEResBlock进行特征处理，再通过一个S型激活函数Sigmoid层，将计算结果归到0至1的区间，从而输出CT图像中各个小器官中心位置的概率图。图像处理装置根据各个小器官中心位置的概率图，从第N层特征图中将小器官中心位置的概率集中在一定范围的图像区域裁切出来，作为分割目标的定位结果。
在一些实施例中，压缩激活模块的结构可以如图8所示，目前的卷积层网络模块，在残差模块Residue Block后直接进入尺度模块Scale Block。为了对不同强度的特征对应进行不同深度的学习，本公开实施例中的卷积层网络模块方法在残差层模块之后引入了压缩激活模块，以提高网络的注意力机制。具体的，压缩激活模块可以包括全局池化层、卷积层和线性整流函数层和S型激活函数层，图8中，C为卷积的通道数，D为特征图的深度，H为特征图的高度，W为特征图的宽度，当特征图通过残差模块进入压缩激活模块后，通过全局池化将特征图的尺寸缩小到了1*1*1，再通过卷积层对缩小后的特征图进行卷积，再通过线性整流函数(Rectified Linear Unit,ReLU)将通道数压缩r倍，对特征图进行激活，之后再将激活结果经过一次卷积和一次S型函数激活，将S型函数激活模块输出的结果通过尺度模块进行输出。通过上述压缩激活模块处理后。卷积网络模块可以将学习注意力放在特征图中更重要的特征上，提高图像分割的准确度。
S1022、根据定位结果，通过目标图像分割模型对分割目标进行图像分割，得到目标分割结果。
本公开实施例中，图像处理装置可以根据定位结果，通过目标图像分割模型对分割目标的形状进行预测，得到分割目标的裁切范围；并根据分割目标的定位结果与裁切范围，在高分辨率的第N层特征图中找到对应的区域，对第N层特征图进行裁切处理，得到目标分割结果。
可以理解的是，本公开实施例中，图像处理装置可以先对体积较小的分割目标进行定位，通过裁切特征图，再对裁切的特征图部分进行精细分割，从而解决了小型分割目标的样本不均衡问题，降低了分割难度，提高了图像分割的准确度。并且，由于目标图像分割模型在训练过程中加入了形状约束，因此，通过目标图像分割模型进行的形状预测更加准确，从而进一步提高了图像分割的准确度。
本公开实施例中，参见图10，图9中示出的S101之后，还可以执行S401，S1022之后，还可以执行S402，将结合各步骤进行说明。
S401、根据预设的主分割目标，通过主图像分割模型对特征图进行定位及分割处理，得到主分割目标对应的主分割结果。
本公开实施例中，由于主图像分割模型输出的特征图为各个像素属于各种分割目标的概率图，因此，对于一些体积较大，边界清晰的主分割目标，可以在主图像分割模型输出的特征图中直接进行定位和分割处理，得到主分割目标对应的主分割结果。
S402、在待处理图像中融合主分割结果与目标分割结果，得到待处理图像的图像分割结果。
本公开实施例中，图像处理装置可以在待处理图像中，融合通过主图像分割模型分割得到的主分割结果，以及通过目标图像分割模型分割得到的目标分割结果，最终得到可以体现多种分割目标的待处理图像的图像分割结果。
在一些实施例中，主分割结果可以是CT图像中大器官的分割结果，目标分割结果可以是CT图像中小器官的分割结果，图像处理装置融合主分割结果与目标分割结果，得到包含大器官分割结果与小器官分割结果的待处理图像的图像分割结果。
下面，将说明本公开实施例在一个实际的应用场景中的示例性应用。
在一些实施例中，对于医学图像的分割，本公开实施例提供一种图像处理装置的网络架构，如图11所示。图11中小器官分割网络140相当于目标图像分割网络，在小器官分割网络140的训练阶段，图像处理装置可以通过对抗自编码器160与小器官分割网络140进行对抗训练。具体的，通过对抗自编码器160中包含的编码器160_1对小器官分割网络140输出的预测分割图像和训练样本图像中的标注分割目标进行编码，得到第一空间形状编码与第二空间形状编码。其中，编码器160_1相当于编码子模型，训练样本图像中包含标注分割目标。图像处理装置通过第一空间形状编码与第二空间形状编码，计算出预测误差，通过预测误差对训练中的小器官分割网络140进行网络参数的更新，完成一次训练。在下一次训练过程中，图像处理装置通过对抗自编码器160中包含的解码器160_2，其中，解码器160_2相当于解码子模型，对当前训练得到的第一空间形状编码与第二空间形状编码进行解码重构，得到第一重构图像与第二重构图像。图像处理装置基于标注分割目标与第一重构图像、预测分割图像与第二重构图像之间的误差计算出重构误差，并通过重构误差和当前训练得到出的预测误差计算出综合编码误差，通过综合编码误差对对抗自编码器160的网络参数进行更新，从而实现小器官分割网络140与对抗自编码器160的交替对抗训练。图像处理装置迭代上述训练过程，直至对抗自编码器160无法区分出小器官分割网络140输出的预测分割图像与标注分割目标的区别时，结束对抗训练，得到训练完成的小器官分割网络140。
在小器官分割网络140的应用阶段，图像处理装置对于输入的原始CT图像，首先通过主图像分割模型110，从中进行特征提取，得到特征图，并基于特征图直接获得大器官分割结果，其中，大器官相当于主分割目标，大器官分割结果相当于主分割结果。然后，图像处理装置基于特征图中的第N层特征图，通过小器官定位网络120对特征图中属于小器官的概率的图像范围进行定位，并根据定位位置对特征图进行区域分割，得到小器官概率图。其中，小器官定位网络120相当于目标定位模型，小器官概率图相当于定位结果。为了减小数据维度，提高处理效率，图像处理装置可以将小器官概率图进行ROI(region of interest)池化，并通过训练好的小器官分割网络140，基于小器官概率图上的小器官位置和小器官分割网络140预测的小器官形状，对特征图中的第N层特征图进行分割，得到小器官分割结果，相当于目标分割结果。图像处理装置通过融合单元150对大器官分割结果与小器官分割结果进行融合，得到最终图像分割结果，相当于待处理图像分割结果。
在一些实施例中，在使用本公开实施例中的图像处理方法对头部CT图像进行器官分割时，其与基于地图集的分割算法Multi-Atlas、深度标注网络DeepLavV3+以及解剖网络AnatomyNet进行CT图分割的对比效果图可以如图12所示。可以看出，本公开实施例中的方法所得到的小器官分割形状更加接近于人工标注结果，图像分割准确度更高。
在一些实施例中，可以如图13所示，将使用本公开实施例中的图像处理方法对头部CT图像进行器官分割所得到的目标分割结果，重叠到人工标注结果的图像上进行比对时，可以看出，本公开实施例得到的目标分割结果与人工标注结果的图像重合度高，说明本公开实施例得到的目标分割结果的形状与人工标注结果基本一致，图像分割准确度高。
本公开实施例提供一种图像处理装置，如图14所示，图14为本公开实施例提供的图像处理装置455的一种结构示意图，该图像处理装置455包括主图像分割模型4551与目标图像分割模型4552，其中，
所述主图像分割模型4551，用于对待处理图像进行特征提取，得到所述待处理图像的特征图；
所述目标图像分割模型4552，用于根据所述特征图，对所述分割目标进行图像分割，得到目标分割结果；其中，所述目标图像分割模型通过与图像编码模型进行对抗训练得到；所述图像编码模型用于对所述目标分割结果进行形状约束。
在一些实施例中，所述图像处理装置455还包括训练单元，其中，
所述训练单元，用于在所述根据所述特征图，通过目标图像分割模型对所述分割目标进行图像分割，得到目标分割结果之前，获取训练样本图像集合，所述训练样本图像集合中包含所述分割目标对应的至少一个训练样本图像，所述训练样本图像上带有标注分割目标；通过初始目标图像分割模型，对每个训练样本图像进行图像分割，得到预测分割图像；根据所述标注分割目标和所述预测分割图像，结合初始图像编码模型，对所述初始目标图像分割模型进行对抗训练，得到目标图像分割模型。
在一些实施例中，所述训练单元，还用于利用初始图像编码模型，对所述标注分割目标和所述预测分割图像进行编码，得到第一空间形状编码和第二空间形状编码；其中，所述第一空间形状编码为所述标注分割目标的低维流形空间表示；所述第二空间形状编码为所述预测分割图像的低维流形空间表示；通过预设最小平方误差损失函数，计算所述第一空间形状编码和所述第二空间形状编码之间的编码距离，得到预测误差；基于所述预测误差的形状约束，对所述初始目标图像分割模型的网络参数进行更新，迭代上述对抗训练过程直至最终的预测误差小于预设分割误差阈值时，结束所述训练过程，得到所述目标图像分割模型。
在一些实施例中，所述初始图像编码模型包括解码子模型，所述训练单元，还用于在所述通过预设最小平方误差损失函数，对第一空间形状编码和第二空间形状编码进行处理，得到预测误差之后，通过所述解码子模型，对所述第一空间形状编码与所述第二空间形状编码分别进行解码与图形重构，对应得到第一重构图像与第二重构图像；通过预设重构损失函数，对所述标注分割目标与所述第一重构图像之间的误差，以及所述预测分割图像与所述第二重构图像之间的误差进行组合，得到所述初始图像编码模型的重构误差。
在一些实施例中，所述训练单元，还用于在第M次训练过程中，利用所述预测误差，对所述初始目标图像分割模型的网络参数进行更新；其中，M为大于或等于1的整数；在第M+1次训练中，基于所述重构误差和所述预测误差，得到综合编码误差；利用所述综合编码误差，对所述初始图像编码模型的网络参数进行更新；迭代上述对抗训练过程直至最终的预测误差小于预设编码误差阈值时，得到所述目标编码模型与所述目标图像分割模型。
在一些实施例中，所述初始图像编码模型包括编码子模型，所述编码子模型包括至少一个卷积层与全连接层；所述训练单元，还用于根据所述至少一个卷积层的预设步长，通过所述至少一个卷积层对所述训练样本图像和所述预测分割图像进行压缩，并通过所述全连接层对压缩后的训练样本图像中的标注分割目标和压缩后的预测分割图像进行编码，得到所述第一空间形状编码和所述第二空间形状编码。
在一些实施例中，所述解码子模型包括至少一个反卷积层、线性整流函数与批归一化层。
在一些实施例中，所述图像处理装置455还包括目标定位模型，所述目标定位模型，用于根据所述特征图对分割目标进行定位，得到所述分割目标的定位结果；根据所述定位结果，通过目标图像分割模型4552对所述分割目标进行图像分割，得到目标分割结果。
在一些实施例中，主图像分割模型4551包括压缩激活模块，所述主图像分割模型4551，还用于对所述待处理图像进行两次降采样，得到降采样图像；根据预设卷积层膨胀率，对所述降采样图像进行卷积处理，得到卷积结果；通过所述压缩激活模块对所述卷积结果进行残差及压缩激活处理，得到激活结果；对所述激活结果进行多尺度特征提取及反卷积处理，得到所述待处理图像的特征图。
在一些实施例中，特征图包括N层特征图，N为大于1的整数，所述目标定位模型，还用于对第N层特征图进行特征识别和归一化处理，得到所述第N层特征图中每个像素属于所述分割目标中心位置的概率；根据所述概率对所述第N层特征图进行图像分割，得到所述分割目标的定位结果。
在一些实施例中，所述目标定位模型，还用于通过目标图像分割模型对所述分割目标的形状进行预测，得到所述分割目标的裁切范围；根据所述分割目标的定位结果与所述裁切范围，对所述第N层特征图进行裁切处理，得到所述目标分割结果。
在一些实施例中，所述主图像分割模型4551，还用于在对待处理图像进行特征提取，得到所述待处理图像的特征图之后，根据预设的主分割目标，对所述特征图进行定位及分割处理，得到所述主分割目标对应的主分割结果；
所述图像处理装置455还包括融合单元，所述融合单元，用于在目标图像分割模型根据所述定位结果，对所述分割目标进行图像分割，得到目标分割结果之后，在所述待处理图像中融合所述主分割结果与所述目标分割结果，得到所述待处理图像的图像分割结果。
需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开装置实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
需要说明的是，本公开实施例中，如果以软件功能模块的形式实现上述的图像处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是终端、服务器等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本公开实施例不限制于任何特定的硬件和软件结合。
对应地，本公开实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令用于实现本公开实施例提供的图像处理方法中的步骤。
相应的，本公开实施例再提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序用于实现上述实施例提供的图像处理方法的步骤。
本公开实施例还提供一种图像处理装置，图15为本公开实施例提供的图像处理装置的一个可选的组成结构示意图，如图15所示，所述图像处理装置110包括：
存储器1102，用于存储计算机程序；
处理器1103，用于执行所述存储器1102中存储的计算机程序时，实现上述实施例提供的图像处理方法的步骤。
图像处理装置110还包括：通信总线1104。通信总线1104配置为实现这些组件之间的连接通信。
在本公开实施例中，存储器1102配置为存储由处理器1103计算机程序和应用，还可以缓存待处理器1103中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。
处理器1103执行程序时实现上述任一项图像处理方法的步骤。
上述处理器1103可以为特定用途集成电路(Application Specific IntegratedCircuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Programmable LogicDevice，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本公开实施例不作限制。
上述计算机可读存储介质/存储器可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、个人数字助理等。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开存储介质和设备实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本公开的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本公开实施例方案的目的。
另外，在本公开各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得设备自动测试线执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本公开所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本公开所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本公开的实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
通过主图像分割模型对待处理图像进行特征提取，得到所述待处理图像的特征图；
根据所述特征图，通过目标图像分割模型对所述分割目标进行图像分割，得到目标分割结果；其中，所述目标图像分割模型通过与图像编码模型进行对抗训练得到；所述图像编码模型用于对所述目标分割结果进行形状约束。
2.根据权利要求1所述的方法，其特征在于，所述根据所述特征图，通过目标图像分割模型对所述分割目标进行图像分割，得到目标分割结果之前，所述方法还包括：
获取训练样本图像集合，所述训练样本图像集合中包含所述分割目标对应的至少一个训练样本图像，所述训练样本图像上带有标注分割目标；
通过初始目标图像分割模型，对每个训练样本图像进行图像分割，得到预测分割图像；
根据所述标注分割目标和所述预测分割图像，结合初始图像编码模型，对所述初始目标图像分割模型进行对抗训练，得到目标图像分割模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述标注分割目标和所述预测分割图像，结合初始图像编码模型，对所述初始目标图像分割模型进行对抗训练，得到目标图像分割模型，包括：
利用初始图像编码模型，对所述标注分割目标和所述预测分割图像进行编码，得到第一空间形状编码和第二空间形状编码；其中，所述第一空间形状编码为所述标注分割目标的低维流形空间表示；所述第二空间形状编码为所述预测分割图像的低维流形空间表示；
通过预设最小平方误差损失函数，计算所述第一空间形状编码和所述第二空间形状编码之间的编码距离，得到预测误差；
基于所述预测误差的形状约束，对所述初始目标图像分割模型的网络参数进行更新，迭代上述对抗训练过程直至最终的预测误差小于预设分割误差阈值时，结束所述训练过程，得到所述目标图像分割模型。
4.根据权利要求3所述方法，其特征在于，所述初始图像编码模型包括解码子模型，所述通过预设最小平方误差损失函数，对第一空间形状编码和第二空间形状编码进行处理，得到预测误差之后，所述方法还包括：
通过所述解码子模型，对所述第一空间形状编码与所述第二空间形状编码分别进行解码与图形重构，对应得到第一重构图像与第二重构图像；
通过预设重构损失函数，对所述标注分割目标与所述第一重构图像之间的误差，以及所述预测分割图像与所述第二重构图像之间的误差进行组合，得到所述初始图像编码模型的重构误差。
5.根据权利要求4所述的方法，其特征在于，所述基于所述预测误差的形状约束，对所述初始目标图像分割模型的网络参数进行更新，迭代上述对抗训练过程直至最终的预测误差小于预设分割误差阈值时，结束所述训练过程，得到所述目标图像分割模型包括：
在第M次训练过程中，利用所述预测误差，对所述初始目标图像分割模型的网络参数进行更新；其中，M为大于或等于1的整数；
在第M+1次训练中，基于所述重构误差和所述预测误差，得到综合编码误差；
利用所述综合编码误差，对所述初始图像编码模型的网络参数进行更新；
迭代上述对抗训练过程直至最终的预测误差小于预设编码误差阈值时，得到所述目标编码模型与所述目标图像分割模型。
6.根据权利要求3所述的方法，其特征在于，所述初始图像编码模型包括编码子模型，所述编码子模型包括至少一个卷积层与全连接层；
所述利用初始图像编码模型，对所述标注分割目标和所述预测分割图像进行编码，得到第一空间形状编码和第二空间形状编码，包括：
根据所述至少一个卷积层的预设步长，通过所述至少一个卷积层对所述训练样本图像和所述预测分割图像进行压缩，并通过所述全连接层，对压缩后的训练样本图像中的标注分割目标和压缩后的预测分割图像进行编码，得到所述第一空间形状编码和所述第二空间形状编码。
7.根据权利要求4所述的方法，其特征在于，所述解码子模型包括至少一个反卷积层、线性整流函数与批归一化层。
8.根据权利要求1所述的方法，其特征在于，所述根据所述特征图定位结果，通过目标图像分割模型对所述分割目标进行图像分割，得到目标分割结果，包括：
通过目标定位模型，根据所述特征图对分割目标进行定位，得到所述分割目标的定位结果；
根据所述定位结果，通过目标图像分割模型对所述分割目标进行图像分割，得到目标分割结果。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述主图像分割模型包括压缩激活模块，所述通过主图像分割模型对待处理图像进行特征提取，得到所述待处理图像的特征图，包括：
对所述待处理图像进行两次降采样，得到降采样图像；
根据预设卷积层膨胀率，对所述降采样图像进行卷积处理，得到卷积结果；
通过所述压缩激活模块对所述卷积结果进行残差及压缩激活处理，得到激活结果；
对所述激活结果进行多尺度特征提取及反卷积处理，得到所述待处理图像的特征图。
10.根据权利要求8或9所述的方法，其特征在于，所述特征图包括N层特征图，N为大于1的整数，所述通过目标定位模型，根据所述特征图对分割目标进行定位，得到所述分割目标的定位结果，包括：
通过所述目标定位模型，对第N层特征图进行特征识别和归一化处理，得到所述第N层特征图中每个像素属于所述分割目标中心位置的概率；
根据所述概率对所述第N层特征图进行图像分割，得到所述分割目标的定位结果。
11.根据权利要求10所述的方法，其特征在于，所述根据所述定位结果，通过目标图像分割模型对所述分割目标进行图像分割，得到目标分割结果，包括：
通过目标图像分割模型对所述分割目标的形状进行预测，得到所述分割目标的裁切范围；
根据所述分割目标的定位结果与所述裁切范围，对所述第N层特征图进行裁切处理，得到所述目标分割结果。
12.根据权利要求8或11所述的方法，其特征在于，所述通过主图像分割模型对待处理图像进行特征提取，得到所述待处理图像的特征图之后，所述方法还包括：
根据预设的主分割目标，通过所述主图像分割模型对所述特征图进行定位及分割处理，得到所述主分割目标对应的主分割结果；
所述根据所述定位结果，通过目标图像分割模型对所述分割目标进行图像分割，得到目标分割结果之后，所述方法还包括：
在所述待处理图像中融合所述主分割结果与所述目标分割结果，得到所述待处理图像的图像分割结果。
13.一种图像处理装置，其特征在于，包括：
主图像分割模型，用于对待处理图像进行特征提取，得到所述待处理图像的特征图；
目标图像分割模型，用于根据所述特征图，对所述分割目标进行图像分割，得到目标分割结果；其中，所述目标图像分割模型通过与图像编码模型进行对抗训练得到；所述图像编码模型用于对所述目标分割结果进行形状约束。
14.一种图像处理装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序时，实现权利要求1至12任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，存储有计算机程序，用于引起处理器执行时，实现权利要求1至12任一项所述的方法。
CN202010761819.5A 2020-07-31 2020-07-31 一种图像处理方法及装置、计算机可读存储介质 Pending CN111932555A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010761819.5A CN111932555A (zh) 2020-07-31 2020-07-31 一种图像处理方法及装置、计算机可读存储介质
US17/107,005 US11663293B2 (en) 2020-07-31 2020-11-30 Image processing method and device, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010761819.5A CN111932555A (zh) 2020-07-31 2020-07-31 一种图像处理方法及装置、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111932555A true CN111932555A (zh) 2020-11-13

Family

ID=73316018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010761819.5A Pending CN111932555A (zh) 2020-07-31 2020-07-31 一种图像处理方法及装置、计算机可读存储介质

Country Status (2)

Country Link
US (1) US11663293B2 (zh)
CN (1) CN111932555A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529897A (zh) * 2020-12-24 2021-03-19 上海商汤智能科技有限公司 一种图像检测方法、装置、计算机设备及存储介质
CN113128583A (zh) * 2021-04-15 2021-07-16 重庆邮电大学 基于多尺度机制和残差注意力的医学图像融合方法及介质
CN113744271A (zh) * 2021-11-08 2021-12-03 四川大学 基于神经网络的视神经自动分割和受压迫程度测算方法
CN114627143A (zh) * 2021-10-12 2022-06-14 深圳宏芯宇电子股份有限公司 一种图像处理方法、装置、终端设备和可读存储介质
CN114693830A (zh) * 2022-05-27 2022-07-01 阿里巴巴达摩院(杭州)科技有限公司 医学影像的多器官分割、模型训练方法、设备及介质
WO2022156235A1 (zh) * 2021-01-22 2022-07-28 上海商汤智能科技有限公司 神经网络训练和图像处理方法及装置、电子设备及存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494275B (zh) * 2022-04-15 2022-08-05 北京美摄网络科技有限公司 一种用于移动终端图像分割模型训练方法和装置
CN114926480A (zh) * 2022-05-30 2022-08-19 腾讯科技（深圳）有限公司 一种训练图像分割模型的方法、装置、设备及存储介质
CN115272667B (zh) * 2022-06-24 2023-08-29 中科星睿科技(北京)有限公司 农田图像分割模型训练方法、装置、电子设备和介质
CN115713535B (zh) * 2022-11-07 2024-05-14 阿里巴巴（中国）有限公司 图像分割模型确定方法以及图像分割方法
CN115984269B (zh) * 2023-03-20 2023-07-14 湖南长理尚洋科技有限公司 一种非侵入式局部水生态安全检测方法与***
CN115993365B (zh) * 2023-03-23 2023-06-13 山东省科学院激光研究所 一种基于深度学习的皮带缺陷检测方法及***
CN116152278B (zh) * 2023-04-17 2023-07-21 杭州堃博生物科技有限公司 医疗图像的分割方法及装置、非易失性存储介质
CN117315264B (zh) * 2023-11-30 2024-03-08 深圳市普拉托科技有限公司 基于图像识别的托盘检测方法及相关装置
CN117911430A (zh) * 2024-03-19 2024-04-19 中国医学科学院北京协和医院 基于transformer的交互式微生物图像分割方法与装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260957A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
CN108921782A (zh) * 2018-05-17 2018-11-30 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
US20190066281A1 (en) * 2017-08-24 2019-02-28 Siemens Healthcare Gmbh Synthesizing and Segmenting Cross-Domain Medical Images
CN109685813A (zh) * 2018-12-27 2019-04-26 江西理工大学 一种自适应尺度信息的u型视网膜血管分割方法
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN110503654A (zh) * 2019-08-01 2019-11-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN111199550A (zh) * 2020-04-09 2020-05-26 腾讯科技（深圳）有限公司 图像分割网络的训练方法、分割方法、装置和存储介质
CN111310582A (zh) * 2020-01-19 2020-06-19 北京航空航天大学 基于边界感知和对抗学习的湍流退化图像语义分割方法
CN111402257A (zh) * 2020-03-11 2020-07-10 华侨大学 一种基于多任务协同跨域迁移的医学图像自动分割方法
CN111429464A (zh) * 2020-03-11 2020-07-17 深圳先进技术研究院 医学图像分割方法、医学图像分割装置及终端设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910343A (zh) * 2019-09-29 2020-03-24 北京建筑大学 路面裂缝检测的方法、装置及计算机设备
US11704804B2 (en) * 2020-04-02 2023-07-18 GE Precision Healthcare LLC Domain adaptation using post-processing model correction

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260957A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
US20190066281A1 (en) * 2017-08-24 2019-02-28 Siemens Healthcare Gmbh Synthesizing and Segmenting Cross-Domain Medical Images
CN108921782A (zh) * 2018-05-17 2018-11-30 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
CN109685813A (zh) * 2018-12-27 2019-04-26 江西理工大学 一种自适应尺度信息的u型视网膜血管分割方法
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN110503654A (zh) * 2019-08-01 2019-11-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN111310582A (zh) * 2020-01-19 2020-06-19 北京航空航天大学 基于边界感知和对抗学习的湍流退化图像语义分割方法
CN111402257A (zh) * 2020-03-11 2020-07-10 华侨大学 一种基于多任务协同跨域迁移的医学图像自动分割方法
CN111429464A (zh) * 2020-03-11 2020-07-17 深圳先进技术研究院 医学图像分割方法、医学图像分割装置及终端设备
CN111199550A (zh) * 2020-04-09 2020-05-26 腾讯科技（深圳）有限公司 图像分割网络的训练方法、分割方法、装置和存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529897A (zh) * 2020-12-24 2021-03-19 上海商汤智能科技有限公司 一种图像检测方法、装置、计算机设备及存储介质
WO2022156235A1 (zh) * 2021-01-22 2022-07-28 上海商汤智能科技有限公司 神经网络训练和图像处理方法及装置、电子设备及存储介质
CN113128583A (zh) * 2021-04-15 2021-07-16 重庆邮电大学 基于多尺度机制和残差注意力的医学图像融合方法及介质
CN113128583B (zh) * 2021-04-15 2022-08-23 重庆邮电大学 基于多尺度机制和残差注意力的医学图像融合方法及介质
CN114627143A (zh) * 2021-10-12 2022-06-14 深圳宏芯宇电子股份有限公司 一种图像处理方法、装置、终端设备和可读存储介质
CN113744271A (zh) * 2021-11-08 2021-12-03 四川大学 基于神经网络的视神经自动分割和受压迫程度测算方法
CN113744271B (zh) * 2021-11-08 2022-02-11 四川大学 基于神经网络的视神经自动分割和受压迫程度测算方法
CN114693830A (zh) * 2022-05-27 2022-07-01 阿里巴巴达摩院(杭州)科技有限公司 医学影像的多器官分割、模型训练方法、设备及介质

Also Published As

Publication number Publication date
US11663293B2 (en) 2023-05-30
US20220036124A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
CN111932555A (zh) 一种图像处理方法及装置、计算机可读存储介质
CN111026915B (zh) 视频分类方法、视频分类装置、存储介质与电子设备
CN110599492A (zh) 图像分割模型的训练方法、装置、电子设备及存储介质
CN113435451A (zh) 模型、模型的训练方法和装置、字符序列的识别和装置
CN113159056A (zh) 图像分割方法、装置、设备及存储介质
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与***
CN110969632B (zh) 一种深度学习模型的训练方法、图像处理方法及装置
CN116958163B (zh) 一种多器官和/或病灶的医学图像分割方法及装置
CN112270246B (zh) 视频行为识别方法及装置、存储介质、电子设备
CN115880317A (zh) 一种基于多分支特征融合精炼的医学图像分割方法
CN113284155A (zh) 视频目标分割方法、装置、存储介质及电子设备
CN112329745A (zh) 训练方法、人脸防伪检测方法、相关设备及存储介质
CN114723760A (zh) 人像分割模型的训练方法、装置及人像分割方法、装置
CN111626134A (zh) 一种基于隐密度分布的密集人群计数方法、***及终端
CN116757978A (zh) 一种红外与可见光图像自适应融合方法、***和电子设备
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
CN113409803B (zh) 语音信号处理方法、装置、存储介质及设备
CN114139703A (zh) 知识蒸馏方法及装置、存储介质及电子设备
CN116258756B (zh) 一种自监督单目深度估计方法及***
CN116957921A (zh) 图像渲染方法、装置、设备及存储介质
CN116542988A (zh) 结节分割方法、装置、电子设备及存储介质
CN115965833A (zh) 点云序列识别模型的训练、识别方法、装置、设备及介质
CN113177483B (zh) 视频目标分割方法、装置、设备以及存储介质
CN116012662A (zh) 特征编解码方法、编解码器的训练方法、设备和介质
CN114648604A (zh) 一种图像渲染方法、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240614

Address after: 200233, Units 6-01, 6-49, 6-80, 6th Floor, No. 1900 Hongmei Road, Xuhui District, Shanghai

Applicant after: Shanghai Shangtang Shancui Medical Technology Co.,Ltd.

Country or region after: China

Address before: Room 226-230, 2nd Floor, Building 2, Core Building, 1 Science and Technology Avenue West, Hong Kong Science Park, Sha Tin, New Territories, Hong Kong, China

Applicant before: SENSETIME Group Ltd.

Country or region before: Hong-Kong