CN111369567A - 三维图像中目标对象的分割方法、装置及电子设备 - Google Patents

三维图像中目标对象的分割方法、装置及电子设备 Download PDF

Info

Publication number
CN111369567A
CN111369567A CN201811603470.1A CN201811603470A CN111369567A CN 111369567 A CN111369567 A CN 111369567A CN 201811603470 A CN201811603470 A CN 201811603470A CN 111369567 A CN111369567 A CN 111369567A
Authority
CN
China
Prior art keywords
dimensional
branch
feature
fusion
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811603470.1A
Other languages
English (en)
Other versions
CN111369567B (zh
Inventor
卓嘉璇
李悦翔
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811603470.1A priority Critical patent/CN111369567B/zh
Publication of CN111369567A publication Critical patent/CN111369567A/zh
Application granted granted Critical
Publication of CN111369567B publication Critical patent/CN111369567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种三维图像中目标对象的分割方法、装置及电子设备。该方法包括：根据多通道三维网络模型的多个分支特征三维网络，分别对待分割的多个模态组的三维图像进行特征提取，得到多个分支的分支特征图；根据融合特征三维网络，对多个分支的分支特征图进行特征提取和融合，得到融合特征图；根据尺寸放大三维网络，对融合特征图和多个分支的分支特征图进行融合和尺寸放大，得到分割出目标对象的三维图像。本申请实施例中，提取并融合了同一目标对象在不同模态组的三维图像中不同的形态特征，大大提升了目标对象的类型和边缘识别精度，从而提升目标对象的分割精度。

Description

三维图像中目标对象的分割方法、装置及电子设备
技术领域
本申请涉及图像处理技术领域，具体而言，本发明涉及一种三维图像中目标对象的分割方法、装置及电子设备。
背景技术
目前，存在一些三维图像，包括医学三维图像，例如，CT(Computed Tomography，电子计算机断层扫描)图像和MRI(nuclear Magnetic Resonance Imaging，核磁共振成像)图像。用户从三维图像中目视识别出各目标对象比较困难，例如医生从医学三维图像中逐一筛查识别出目标对象比较困难，很容易出现误检与漏检，并比较耗费时间。因此，相关技术人员开发了三维图像中目标对象的分割方法。
现有技术存在一种基于实例分割(Instance Segmentation)的目标对象的分割方法，通过对某一模态的三维图像进行分类，将三维图像中的各目标对象(例如细胞核)分割出来。
然而，本申请的发明人发现，利用现有技术从三维图像中分割出的目标对象的精度较为低下，或者分割过程速度较慢，耗时较长。
发明内容
本申请提供了一种三维图像中目标对象的分割方法、装置和电子设备，可以解决目标对象的分割精度较为低下或分割过程速度较慢的问题。
技术方案如下：
第一方面，提供了一种三维图像中目标对象的分割方法，包括：
根据多通道三维网络模型的多个分支特征三维网络，分别对待分割的多个模态组的三维图像进行特征提取，得到多个分支的分支特征图；多通道三维网络模型包括依次级联的分支特征三维网络组、融合特征三维网络和尺寸放大三维网络；分支特征三维网络组包括多个并列的分支特征三维网络；
根据融合特征三维网络，对多个分支的分支特征图进行特征提取和融合，得到融合特征图；
根据尺寸放大三维网络，对融合特征图和多个分支的分支特征图进行融合和尺寸放大，得到分割出目标对象的三维图像。
可选地，融合特征三维网络包括级联的一级融合特征三维子网络和二级融合特征三维子网络；
以及，根据融合特征三维网络，对多个分支的分支特征图进行特征提取和融合，得到融合特征图，包括：
根据一级融合特征三维子网络，对各分支的分支特征图进行融合，对融合后的各分支的分支特征图进行特征提取，得到融合特征图中的一级融合特征图；
根据二级融合特征三维子网络，对一级融合特征图进行特征提取，得到融合特征图中的二级融合特征图。
可选地，根据一级融合特征三维子网络，对各分支的分支特征图进行融合，对融合后的各分支的分支特征图进行特征提取，得到融合特征图中的一级融合特征图，包括：
一级融合特征三维子网络包括级联的融合三维卷积块和至少一个三维卷积块；
根据融合三维卷积块，分别对各分支的分支特征图进行卷积，并将各分支卷积后的分支特征图进行融合，得到原始融合特征图；
根据至少一个三维卷积块，对原始融合特征图进行特征提取，得到一级融合特征图。
可选地，根据融合三维卷积块，分别对各分支的分支特征图进行卷积，并将各分支卷积后的分支特征图进行融合，得到原始融合特征图，包括：
根据融合三维卷积块的各三维卷积单元中的三维卷积层，分别对各分支的分支特征图进行卷积，各三维卷积单元相并列；
根据融合三维卷积块中的连接层，对各分支卷积后的分支特征图在通道维度上进行连接，得到原始融合特征图，连接层级联在各三维卷积单元之后。
可选地，在对各分支卷积后的分支特征图在通道维度上进行连接之前，还包括：
根据融合三维卷积块的各三维卷积单元中依次级联的批归一化层和激活函数层，对各分支卷积后的分支特征图依次进行归一化和非线性处理；
以及，根据融合三维卷积块中的连接层，对各分支卷积后的分支特征图在通道维度上进行连接，得到原始融合特征图，包括：
根据连接层，对依次经过卷积、归一化和非线性处理的各分支的分支特征图在通道维度上进行连接，得到连接特征图；
根据融合三维卷积块中的三维卷积层，对连接特征图进行平滑，得到原始融合特征图。
可选地，二级融合特征三维子网络包括级联的步进三维卷积块和至少一个三维卷积块；
和/或，至少一个三维卷积块包括级联的多个三维卷积块；三维卷积块包括：深度立体密集网络块和三维图卷积网络块中的至少一种；以及，三维图卷积网络块包括并联的两个二维卷积单元分支、级联在两个二维卷积单元分支之后的平行连接块、以及级联在平行连接块之后的第一维卷积单元；二维卷积单元分支中包括级联的第二维卷积单元和第三维卷积单元、或级联的第三维卷积单元和第二维卷积单元。
可选地，根据至少一个三维卷积块，对原始融合特征图进行特征提取，得到一级融合特征图，包括：
对于级联的每个三维图卷积网络块，将原始融合特征图或前一个三维图卷积网络块输出的中间融合特征图作为输入特征图；
根据该三维图卷积网络块的两个二维卷积单元分支，分别对输入特征图在第二维和第三维上进行特征提取，得到各分支的第二维和第三维的特征图；
根据该三维图卷积网络块的平行连接块，对各分支的第二维和第三维的特征图进行平行连接；
根据该三维图卷积网络块的第一维卷积单元，对平行连接得到的第二维和第三维的特征图在第一维上进行特征提取，并叠加输入特征图，得到该三维图卷积网络块对应的中间融合特征图或一级融合特征图并输出。
可选地，分支特征三维网络包括级联的一级分支特征三维子网络和二级分支特征三维子网络；
以及，根据多个分支特征三维网络，分别对待分割的多个模态组的三维图像进行特征提取，得到多个分支的分支特征图，包括：
根据每个分支特征三维网络中的一级分支特征三维子网络，对待分割的每个模态组的三维图像进行特征提取，得到该分支的分支特征图中的一级分支特征图；
根据该分支特征网络中的二级分支特征三维子网络，对一级分支特征图进行特征提取，得到该分支的分支特征图中的二级分支特征图。
可选地，二级分支特征三维子网络包括二维级联密集块或者级联的深度立体残差网络块；
以及，根据该分支特征网络中的二级分支特征三维子网络，对一级分支特征图进行特征提取，得到该分支的分支特征图中的二级分支特征图，包括：
二维级联密集块包括级联的第一二维卷积单元、第二二维卷积单元和第三二维卷积单元；
根据第一二维卷积单元，在第一个二维上提取一级分支特征图的特征，得到第一二维特征图；
对第一二维特征图和一级分支特征图进行一级叠加；根据第二二维卷积单元，在第二个二维上提取一级叠加后的特征图的特征，得到第二二维特征图；
对第二二维特征图、第一二维特征图和一级分支特征图进行二级叠加；根据第三二维卷积单元，在第三个二维上提取二级叠加后的特征图的特征，得到第三二维特征图；
对第三二维特征图、第一二维特征图和一级分支特征图进行叠加，得到该模态组的待分割三维图像的二级分支特征图。
可选地，尺寸放大三维网络包括级联的第一至第四尺寸放大叠加块；
以及，根据尺寸放大三维网络，对融合特征图和多个分支的分支特征图进行融合和尺寸放大，得到分割出目标对象的三维图像，包括：
根据第一尺寸放大叠加块，对二级融合特征图进行通道数转换和尺寸放大，得到一级尺寸放大图；
根据第二尺寸放大叠加块，对一级融合特征图进行通道数转换后，与一级尺寸放大图进行叠加，并对叠加后的三维图像进行尺寸放大，得到二级尺寸放大图；
对各分支的二级分支特征图进行叠加；根据第三尺寸放大叠加块，对叠加后的二级分支特征图进行通道数转换后，与二级尺寸放大图进行叠加，并对叠加后的三维图像进行尺寸放大，得到三级尺寸放大图；
对各分支的一级分支特征图进行叠加；根据第四尺寸放大叠加块，对叠加后的一级分支特征图进行通道数转换后，与三级尺寸放大图进行叠加，得到分割出目标对象的三维图像。
可选地，多通道三维网络模型是通过下述方法预先训练得到的：
根据原始样本集，确定出扩展样本集；
从扩展样本集中划分出验证集和训练集；
利用训练集对原始的多通道三维网络模型进行初步训练，得到初步训练后的多通道三维网络模型；
利用初步训练后的多通道三维网络模型对验证集进行验证性的目标对象分割，得到分割结果；
根据分割结果，确定出各疑难样本三维图像；疑难样本三维图像包括目标对象所占面积小于面积阈值或目标对象分类错误率高于错误率阈值的样本三维图像；
根据各疑难样本三维图像，对初步训练后的多通道三维网络模型进行训练，得到选定的多通道三维网络模型。
可选地，多通道三维网络模型在训练过程中包括级联在尺寸放大三维网络之后的损失函数层；损失函数层包括交叉熵函数和辅助加权损失函数；
以及，根据各疑难样本三维图像，对初步训练后的多通道三维网络模型进行训练，得到选定的多通道三维网络模型，包括：
根据各疑难样本三维图像，对初步训练后的多通道三维网络模型进行迭代训练，直到满足预设的收敛条件；迭代训练中的一次训练包括：
将当前疑难样本三维图像，输入上一次训练得到的多通道三维网络模型；通过该多通道三维网络模型的损失函数层输出当前预测结果；
确定出当前预测结果、与当前疑难样本三维图像对应的样本分割结果之间的误差；将误差向该多通道三维网络模型中的各隐层反向传播，计算误差反向传播至各隐层处的梯度；根据梯度更新该多通道三维网络模型中的各隐层的参数，得到本次迭代训练得到的多通道三维网络模型。
可选地，第一方面提供的三维图像中目标对象的分割方法，还包括下述至少一项：
多个模态组的三维图像包括三个模态组的医学三维图像；三个模态组的医学三维图像包括：第一模态组的电子计算机断层扫描三维图像和四维度灌注弥散加权成像三维图像、第二模态组的脑血流流量三维图像和脑血流容量三维图像和第三模态组的对比剂平均通过时间三维图像和脑血流达峰时间三维图像；目标对象包括组织、内脏器官和病灶中的一种；
分割出目标对象的三维图像的尺寸与待分割的三维图像的尺寸一致；
尺寸放大包括上采样、反卷积和插值中的一种。
第二方面，本申请实施例提供了一种三维图像中目标对象的分割装置，包括：
分支特征提取模块，用于根据多通道三维网络模型的多个分支特征三维网络，分别对待分割的多个模态组的三维图像进行特征提取，得到多个分支的分支特征图；多通道三维网络模型包括依次级联的分支特征三维网络组、融合特征三维网络和尺寸放大三维网络；分支特征三维网络组包括多个并列的分支特征三维网络；
特征融合模块，用于根据融合特征三维网络，对多个分支的分支特征图进行特征提取和融合，得到融合特征图；
融合放大模块，用于根据尺寸放大三维网络，对融合特征图和多个分支的分支特征图进行融合和尺寸放大，得到分割出目标对象的三维图像。
可选地，特征融合模块包括：
特征融合单元用于根据一级融合特征三维子网络，对各分支的分支特征图进行融合，对融合后的各分支的分支特征图进行特征提取，得到融合特征图中的一级融合特征图；
特征提取单元用于根据二级融合特征三维子网络，对一级融合特征图进行特征提取，得到融合特征图中的二级融合特征图。
可选地，特征融合单元具体用于根据融合三维卷积块，分别对各分支的分支特征图进行卷积，并将各分支卷积后的分支特征图进行融合，得到原始融合特征图；根据至少一个三维卷积块，对原始融合特征图进行特征提取，得到一级融合特征图；一级融合特征三维子网络包括级联的融合三维卷积块和至少一个三维卷积块。
可选地，特征融合单元具体用于根据融合三维卷积块的各三维卷积单元中的三维卷积层，分别对各分支的分支特征图进行卷积，各三维卷积单元相并列；根据融合三维卷积块中的连接层，对各分支卷积后的分支特征图在通道维度上进行连接，得到原始融合特征图，连接层级联在各三维卷积单元之后。
可选地，特征融合单元还用于在对各分支卷积后的分支特征图在通道维度上进行连接操作之前，根据融合三维卷积块的各三维卷积单元中依次级联的批归一化层和激活函数层，对各分支卷积后的分支特征图依次进行归一化和非线性处理；以及根据连接层，对依次经过卷积、归一化和非线性处理的各分支的分支特征图在通道维度上进行连接，得到连接特征图；根据融合三维卷积块中的三维卷积层，对连接特征图进行平滑，得到原始融合特征图。
可选地，特征融合单元具体用于对于级联的每个三维图卷积网络块，将原始融合特征图或前一个三维图卷积网络块输出的中间融合特征图作为输入特征图；根据该三维图卷积网络块的两个二维卷积单元分支，分别对输入特征图在第二维和第三维上进行特征提取，得到各分支的第二维和第三维的特征图；根据该三维图卷积网络块的平行连接块，对各分支的第二维和第三维的特征图进行平行连接；根据该三维图卷积网络块的第一维卷积单元，对平行连接得到的第二维和第三维的特征图在第一维上进行特征提取，并叠加输入特征图，得到该三维图卷积网络块对应的中间融合特征图或一级融合特征图并输出；
其中，二级融合特征三维子网络包括级联的步进三维卷积块和至少一个三维卷积块；和/或，至少一个三维卷积块包括级联的多个三维卷积块；三维卷积块包括：深度立体密集网络块和三维图卷积网络块中的至少一种；以及，三维图卷积网络块包括并联的两个二维卷积单元分支、级联在两个二维卷积单元分支之后的平行连接块、以及级联在平行连接块之后的第一维卷积单元；二维卷积单元分支中包括级联的第二维卷积单元和第三维卷积单元、或级联的第三维卷积单元和第二维卷积单元。
可选地，分支特征提取模块包括：
一级分支特征提取单元用于根据每个分支特征三维网络中的一级分支特征三维子网络，对待分割的每个模态组的三维图像进行特征提取，得到该分支的分支特征图中的一级分支特征图；分支特征三维网络包括级联的一级分支特征三维子网络和二级分支特征三维子网络；
二级分支特征提取单元用于根据该分支特征网络中的二级分支特征三维子网络，对一级分支特征图进行特征提取，得到该分支的分支特征图中的二级分支特征图。
可选地，二级分支特征提取单元具体用于根据第一二维卷积单元，在第一个二维上提取一级分支特征图的特征，得到第一二维特征图；对第一二维特征图和一级分支特征图进行一级叠加；根据第二二维卷积单元，在第二个二维上提取一级叠加后的特征图的特征，得到第二二维特征图；对第二二维特征图、第一二维特征图和一级分支特征图进行二级叠加；根据第三二维卷积单元，在第三个二维上提取二级叠加后的特征图的特征，得到第三二维特征图；对第三二维特征图、第一二维特征图和一级分支特征图进行叠加，得到该模态组的待分割三维图像的二级分支特征图；
其中，二级分支特征三维子网络包括二维级联密集块或者级联的深度立体残差网络块；二维级联密集块包括级联的第一二维卷积单元、第二二维卷积单元和第三二维卷积单元。
可选地，融合放大模块包括：
第一放大叠加单元用于根据第一尺寸放大叠加块，对二级融合特征图进行通道数转换和尺寸放大，得到一级尺寸放大图。尺寸放大三维网络包括级联的第一至第四尺寸放大叠加块；
第二放大叠加单元用于根据第二尺寸放大叠加块，对一级融合特征图进行通道数转换后，与一级尺寸放大图进行叠加，并对叠加后的三维图像进行尺寸放大，得到二级尺寸放大图；
第三放大叠加单元用于对各分支的二级分支特征图进行叠加；根据第三尺寸放大叠加块，对叠加后的二级分支特征图进行通道数转换后，与二级尺寸放大图进行叠加，并对叠加后的三维图像进行尺寸放大，得到三级尺寸放大图；
第四放大叠加单元用于对各分支的一级分支特征图进行叠加；根据第四尺寸放大叠加块，对叠加后的一级分支特征图进行通道数转换后，与三级尺寸放大图进行叠加，得到分割出目标对象的三维图像。
可选地，本申请实施例第二方面提供的三维图像中目标对象的分割装置，还包括：
训练模块，用于通过下述方法预先训练得到多通道三维网络模型：根据原始样本集，确定出扩展样本集；从扩展样本集中划分出验证集和训练集；利用训练集对原始的多通道三维网络模型进行初步训练，得到初步训练后的多通道三维网络模型；利用初步训练后的多通道三维网络模型对验证集进行验证性的目标对象分割，得到分割结果；根据分割结果，确定出各疑难样本三维图像；疑难样本三维图像包括目标对象所占面积小于面积阈值或目标对象分类错误率高于错误率阈值的样本三维图像；根据各疑难样本三维图像，对初步训练后的多通道三维网络模型进行训练，得到选定的多通道三维网络模型。
可选地，训练模块具体用于根据各疑难样本三维图像，对初步训练后的多通道三维网络模型进行迭代训练，直到满足预设的收敛条件；迭代训练中的一次训练包括：将当前疑难样本三维图像，输入上一次训练得到的多通道三维网络模型；通过该多通道三维网络模型的损失函数层输出当前预测结果；确定出当前预测结果、与当前疑难样本三维图像对应的样本分割结果之间的误差；将误差向该多通道三维网络模型中的各隐层反向传播，计算误差反向传播至各隐层处的梯度；根据梯度更新该多通道三维网络模型中的各隐层的参数，得到本次迭代训练得到的多通道三维网络模型。
第三方面，提供了一种电子设备，该电子设备包括：
处理器、存储器和总线；
所述总线，用于连接所述处理器和所述存储器；
所述存储器，用于存储操作指令；
所述处理器，用于通过调用所述操作指令，执行本申请实施例第一方面提供的任一项所述的三维图像中目标对象的分割方法。
第四方面，提供了一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如本申请实施例第一方面任一项所述的三维图像中目标对象的分割方法。
本申请实施例提供的技术方案带来的有益效果是：
本申请实施例中，多个分支特征三维网络相当于多个输入通道，接收了多个模态组的三维图像，并提取了同一目标对象在不同模态组的三维图像中不同的形态特征；根据融合特征三维网络，把同一目标对象在不同模态组的三维图像中的不同形态特征进行了融合并进一步提取特征，综合利用了目标对象在不同模态的三维图像中的不同形态特征，大大提升了目标对象的类型和边缘识别精度，从而提升目标对象的分割精度；根据尺寸放大三维网络，把分辨率较高的较浅层的分支特征图、与特征(即语义信息)比较丰富突出的较深层的融合特征图进行融合，既能够根据丰富的特征提升目标对象类别的识别精度，又能够根据高分辨率提升目标对象边缘的识别精度，从而整体上提升了三维图像中目标对象的分割精度。
可选地，本申请实施例提供的多通道三维网络模型的训练方法，根据疑难样本三维图像对初步训练得到的多通道三维网络模型进行进一步训练，提升了多通道三维网络模型对目标对象的分割精度等性能；而且，在多通道三维网络模型的损失函数层中增加了辅助加权损失函数，提升了多通道三维网络模型对目标对象的分类精度，从而整体上提升了多通道三维网络模型的分割精度等性能。
可选地，本申请实施例中，电子设备根据二维级联密集块对输入的三维特征图在三个不同的二维方向(即方向轴)上进行卷积，相当于提取了三维特征图在各维度上的特征，并且与直接进行三维卷积相比，大大减少了计算量；而且用密集操作对多个层次的特征图通过叠加处理进行融合，相当于将各二维维度的特征图进行融合，大大丰富了特征图中目标对象的特征信息，提升了目标对象的边缘信息的精度，提升了特征图的质量，从而整体上提升目标对象的分割精度。
可选地，本发明实施例中，电子设备利用多个不同维度方向的单维度卷积模块，对输入特征图在多个不同维度上进行卷积，提取出输入特征图在各维度上的特征，并叠加输入特征图，使得在保证特征提取性能的基础上，利用各单维度卷积模块大大减少了三维图卷积网络块的参数量，从而在整体上保证多通道三维网络模型的性能的基础上，能够减少多通道三维网络模型的参数量，可以提升多通道三维网络模型的处理速度和训练速度，可以在保证分割精度的基础上提升分割速度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种三维图像中目标对象的分割***的架构示意图；
图2为本申请实施例提供的一种一种医学图像中目标对象的分割方法的流程示意图；
图3为本申请实施例提供的多通道三维网络模型的框架结构示意图；
图4a为本申请实施例提供的各模态的样本三维图像的示意图；
图4b为本申请实施例提供的预处理后的各模态的样本三维图像的示意图；
图5为本申请实施例训练过程中的多通道三维网络模型的框架结构示意图；
图6为本申请实施例提供的一至二级融合特征三维子网络的结构示意图；
图7为本申请实施例提供的多通道三维网络模型的一种具体结构的示意图；
图8为本申请实施例提供的VoxRes block的一种内部结构的示意图；
图9为本申请实施例提供的多通道三维网络模型的另一种具体结构的示意图；
图10为本申请实施例提供的另一种三维图像中目标对象的分割方法的流程示意图；
图11为本申请实施例的2D级联Dense block的一种具体内部结构和工作原理示意图；
图12a为本申请实施例的融合三维卷积块的一种具体内部结构的示意图；
图12b为本申请实施例的融合三维卷积块中连接层的工作原理的示意图；
图13为本申请实施例的3D GCN block的一种具体内部结构和工作原理示意图；
图14为本申请实施例的parallel concat块的工作原理图；
图15a为本申请实施例的fusion block的一种具体内部结构的示意图；
图15b为本申请实施例的多通道三维网络模型处理得到的各阶段的特征图的一个实例示意图；
图16为本申请实施例待分割的多个模态组的脑部病理三维图像和病灶的一个具体事例的示意图；
图17为本申请实施例提供的一种三维图像中目标对象的分割装置的内部结构示意图；
图18为本申请实施例提供的另一种三维图像中目标对象的分割装置的内部结构示意图；
图19为本申请实施例提供的一种电子设备的内部结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请涉及的几个名词进行介绍和解释：
ISLES(Ischemic stroke lesion segmentation，缺血性中风病灶分割)，指脑血栓形成或脑血栓的基础上导致脑梗塞、脑动脉堵塞而引起的偏瘫和意识障碍。
MRI(nuclear Magnetic Resonance Imaging，核磁共振成像)，是医学影像的一种。
CT(Computed Tomography，电子计算机断层扫描)，是医学影像的一种，可用于多种疾病的检查。
Instance Segmentation，实例分割，是指将图片中的每个物体都单独分割出来并给出其类别信息。
Interactive Segmentation，交互分割，是指通过人机之间的交互来对图片中的物体进行分割。
Fully convolutional network，全卷积网络，是图像分割中常用的一种卷积网络，完全由卷积层和池化层组成。
Feature map，特征图，指图像和滤波器进行卷积后得到的特征图。Feature map可以和滤波器进行卷积生成新的feature map。
本申请的发明人经过研究发现，采用不同的成像方式，可以得到不同模态的三维图像，同一目标对象在不同模态的三维图像中具有不同的形态特点。例如，同一病灶在CT图像和MRI图像下的形态各具特点。然而，现有技术的三维图像中目标对象的分割方法，往往采用单通道的输入方式，同时只能输入一种模态的三维图像，只能利用一种模态的三维图像中的目标对象的形态特点对目标对象进行分割，无法利用多种模态的三维图像中同一目标对象的形态特点对该目标对象进行分割，导致三维图像中目标对象的分割精度较低。
目标对象包括组织、内脏器官和病灶中的一种。病灶指机体上发生病变的部分、或者机体中一个局限的、具有病原微生物的病变组织。例如，肺的某一部分被结核菌破坏，这部分就是肺结核病灶；例如，脑部肿瘤或脑中风病灶等。
本申请的发明人还发现，现有技术的三维图像中目标对象的分割方法，采用了较多的三维(3D)卷积模块导致整个模型参数巨大，大大增加了计算负担，导致分割速度较慢，耗时较长。
本申请提供的三维图像中目标对象的分割方法、装置及电子设备，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请实施例提供了一种三维图像中目标对象的分割***，如图1所示，该***包括：终端设备和电子设备。
终端设备通过网络与电子设备电连接。本申请实施例中的网络可以包括互联网和移动通信网络中的至少一种；互联网可以包括局域网。
终端设备具有联网、输入输出和显示功能，例如终端设备可以是台式电脑、智能手机或平板电脑等设备。终端设备还可以具有采集三维图像的功能，例如CT(ComputedTomography，电子计算机断层扫描)仪或MRI(Magnetic Resonance Imaging，核磁共振成像)仪等。
终端设备可以通过局域网接入网络，也可以通过移动通信网络接入网络。
例如，终端设备可以通过WiFi(Wireless Fidelity，无线保真)局域网接入互联网。
再如，终端设备可以通过3G(3rd-Generation wireless telephone technology，第三代手机通信技术)、LTE(Long Term Evolution，长期演进)等移动通信网络接入互联网。
电子设备可以是单台服务器、服务器集群和分布式服务器中的至少一种。
电子设备可以以有线的方式接入网络。例如，电子设备通过光纤接入互联网的广域网或者主干网。
可选地，本申请实施例的三维图像中目标对象的分割***中，终端设备可以是单个，终端设备用于将获取的三维图像向电子设备发送；电子设备用于实施本申请实施例后续提供的三维图像中目标对象(实例)的分割方法(具体方法在后续详解介绍，此处不赘述)，向该终端设备输出包含各独立的目标对象的图像；该终端设备显示该图像。
可选地，本申请实施例的三维图像中目标对象的分割***中，终端设备可以是多个，与上述仅包含单个终端设备的分割***的不同之处在于，电子设备可以根据实际情况，可以将包含各独立的目标对象的图像，向提供三维图像的终端设备输出(相当于返回)或向另一个终端设备输出。
基于同一发明构思，本申请实施例提供了一种医学图像中目标对象的分割方法，如图2所示，该方法包括下述步骤：
S201：根据多通道三维网络模型的多个分支特征三维网络，分别对待分割的多个模态组的三维图像进行特征提取，得到多个分支的分支特征图。
具体地，本申请的电子设备根据多通道三维网络模型的多个分支特征三维网络，分别对待分割的多个模态组的三维图像进行特征提取，得到多个分支的分支特征图。
本申请中，多通道三维网络模型包括依次级联的分支特征三维网络组、融合特征三维网络和尺寸放大三维网络；分支特征三维网络组包括多个并列的分支特征三维网络。
可选地，本申请多通道三维网络模型的框架结构示意图如图3所示，分支特征三维网络组包括并列的第1分支特征三维网络至第N分支特征三维网络；N为大于1的正整数。
S202：根据融合特征三维网络，对多个分支的分支特征图进行特征提取和融合，得到融合特征图。
具体地，本申请的电子设备根据融合特征三维网络，对多个分支的分支特征图进行特征提取和融合，得到融合特征图。
可选地，多个模态组的三维图像包括三个模态组的医学三维图像。
可选地，医学三维图像中包括CT三维图像和MRI三维图像，CT三维图像可以由CT图像合成得到，MRI三维图像可以由MRI图像合成得到。MRI图像中包括4PDWI(4PerfusionDiffusion Weighted Imaging，四维度灌注弥散加权成像)模态、CBF(Cerebral BloodFlow，脑血流流量)模态、CBV(Cerebral Blood Volume，脑血流容量)模态、MTT(contrastmedia Mean Transit Time，对比剂平均通过时间)模态和Tmax(cerebral blood Timemax，脑血流达峰时间)模态的图像，4PDWI模态的图像包括3个子4PDWI模态的图像。
可选地，三个模态组的医学三维图像包括：第一模态组的CT和4PDWI三维图像、第二模态组的CBF和CBV三维图像和第三模态组的MTT和Tmax三维图像；目标对象包括组织、内脏器官和病灶中的一种。
S203：根据尺寸放大三维网络，对融合特征图和多个分支的分支特征图进行融合和尺寸放大，得到分割出目标对象的三维图像。
具体地，本申请的电子设备根据尺寸放大三维网络，对融合特征图和多个分支的分支特征图进行融合和尺寸放大，得到分割出目标对象的三维图像。本申请中的目标对象是三维的。
可选地，本申请中的目标对象包括组织、内脏器官和病灶中的一种。病灶指机体上发生病变的部分、或者机体中一个局限的、具有病原微生物的病变组织。例如，肺的某一部分被结核菌破坏，这部分就是肺结核病灶；例如，脑部肿瘤或脑中风病灶等。细胞核包括机体各器官或组织的细胞核。例如，脑肿瘤的细胞核，以及胃癌、直肠癌、乳腺癌等病灶处的细胞核。
可选地，本申请中的尺寸放大包括上采样、反卷积和插值中的一种
本申请实施例中，多个分支特征三维网络相当于多个输入通道，接收了多个模态组的三维图像，并提取了同一目标对象在不同模态组的三维图像中不同的形态特征；根据融合特征三维网络，把同一目标对象在不同模态组的三维图像中的不同形态特征进行了融合并进一步提取特征，综合利用了目标对象在不同模态的三维图像中的不同形态特征，大大提升了目标对象的类型和边缘识别精度，从而提升目标对象的分割精度；根据尺寸放大三维网络，把分辨率较高的较浅层的分支特征图、与特征(即语义信息)比较丰富突出的较深层的融合特征图进行融合，既能够根据丰富的特征提升目标对象类别的识别精度，又能够根据高分辨率提升目标对象边缘的识别精度，从而整体上提升了三维图像中目标对象的分割精度。
本申请中，若无特别说明，多通道三维网络模型涉及的特征图都为三维特征图，即使简写为特征图，仍应当认为是三维特征图。
下面介绍本申请另一个实施例，本申请实施例提供了三维图像中目标对象的分割方法另一种可能的实现方式。
可选地，本申请中的多通道三维网络模型，是本发明实施例的电子设备在实施三维图像中目标对象的分割方法之前训练得到的。
下面介绍本发明实施例的多通道三维网络模型的训练方法。
可选地，本申请的电子设备根据原始样本集，确定出扩展样本集。具体地，本申请的电子设备获取原始样本集，以原始样本集为基础进行预处理(扩展)，得到扩展样本集。
例如，电子设备获取公开的ISLES2017和ISLES2018缺血性中风病灶分割数据集作为训练用的原始样本集。原始样本集包括医学样本三维图像和标注出的病灶。医学样本三维图像包括CT、4PDWI、CBF、CBV MTT和Tmax模态的样本三维图像，如图4a所示，从左至右分别是CT、MR(MRI的缩写)_4PDWI、MR_CBF、MR_CBV、MR_MTT和MR_Tmax模态的样本三维图像。
电子设备对原始样本集中的样本医学三维图像进行预处理。
具体地，由于CBV模态的样本三维图像中脑部区域的体素(即立体像素Voxel)与其它区域(即非脑部区域或脑部区域之外的区域)的体素之间存在较大的灰度差，电子设备利用灰度阈值算法，可以从CBV模态的样本三维图像中提取出作为前景的脑部区域(简称脑区域前景)和背景(即其它区域)；根据提取出的脑区域前景和背景，对其他模态下的样本三维图像进行脑区域前景和背景的分离。
电子设备对每个模态的样本三维图像的脑区域进行颜色直方图均衡化的操作；对均衡化后的每个样本三维图像进行翻转，翻转包括对样本三维图像以中心点为轴分别旋转90度、180度和270度；对翻转后的每个样本三维图像进行下采样(例如，每个样本三维图像采样大小为原来的四分之一)，得到如图4b所示的预处理后的各模态的样本三维图像。每个样本三维图像随机采样100次，此时样本集扩大为原始样本集的100倍，将其作为扩展样本集。
可选地，本申请实施例中多通道三维网络模型在训练过程中包括：级联在尺寸放大三维网络之后的损失函数层，如图5所示。
本申请实施例中，电子设备采用Kaiming norm(恺明归一化)方式对多通道三维网络模型进行初始化，得到原始的多通道三维网络模型。具体地，对于多通道三维网络模型中的Batch Normalize权重参数设置为1，偏差参数设置为0。
可选地，本申请的多通道三维网络模型的具体训练过程分为第一阶段和第二阶段。
第一阶段，电子设备根据扩展样本集对原始多通道三维网络模型进行K折交叉验证，K为正整数，例如5折交叉验证，得到初步训练后的多通道三维网络模型和验证性的分割结果。
具体地，本申请的电子设备，从扩展样本集中划分出验证集和训练集；利用训练集对原始的多通道三维网络模型进行初步训练，得到初步训练后的多通道三维网络模型；利用初步训练后的多通道三维网络模型对验证集进行验证性的目标对象分割，得到分割结果。
第二阶段，电子设备根据分割结果，确定出各疑难样本三维图像；根据各疑难样本三维图像，对初步训练后的多通道三维网络模型进行训练，得到选定的多通道三维网络模型。可选地，疑难样本三维图像包括目标对象所占面积小于面积阈值或目标对象分类错误率高于错误率阈值的样本三维图像。
可选地，本申请实施例中，多通道三维网络模型的损失函数层包括交叉熵函数和auxiliary loss(辅助加权损失)函数。
auxiliary loss函数又称BF-loss函数，表达式中记为是本申请实施例提供前景背景距离监督的辅助loss，用于辅助交叉熵对正负样本(正样本指包含目标对象的样本三维图像，负样本指未含有目标对象的样本三维图像)的分类判断，如下表达式所示：
lossforegroud＝||mean(gt×probforegroud)-mean(gt)||2 表达式(1)
lossbackgroud＝||mean((1-gt)×probbackgroud)-mean(1-gt)||2 表达式(2)
lossbf＝lossforegroud+lossbackground 表达式(3)
上述表达式中，gt表示的是真实的病灶区域(ground truth)，probforeground表示预测的前景概率图，probbackground表示预测的背景概率图，lossbf由前景和背景的损失函数组成，对预测区域(预测的目标对象区域)进行监督学习，表达式(1)和(2)采用了二范数的表达方式。
可选地，本申请实施例中，电子设备根据各疑难样本三维图像，对初步训练后的多通道三维网络模型进行训练，得到选定的多通道三维网络模型，包括：
根据各疑难样本三维图像，对初步训练后的多通道三维网络模型进行迭代训练，直到满足预设的收敛条件。例如，电子设备采用基于Adam(Adaptive moment estimation，适应性矩估计)的梯度下降法进行迭代训练。
对初步训练后的多通道三维网络模型进行迭代训练中的一次训练包括：将当前疑难样本三维图像，输入上一次训练得到的多通道三维网络模型；通过该多通道三维网络模型的损失函数层输出当前预测结果；确定出当前预测结果、与当前疑难样本三维图像对应的样本分割结果之间的误差；将误差向该多通道三维网络模型中的各隐层反向传播，计算误差反向传播至各隐层处的梯度；根据梯度更新该多通道三维网络模型中的各隐层的参数，例如更新各卷积模块的参数w和偏置参数b，得到本次迭代训练得到的多通道三维网络模型。
本申请实施例提供的多通道三维网络模型的训练方法，根据疑难样本三维图像对初步训练得到的多通道三维网络模型进行进一步训练，提升了多通道三维网络模型对目标对象的分割精度等性能；而且，在多通道三维网络模型的损失函数层中增加了auxiliaryloss函数，提升了多通道三维网络模型对目标对象的分类精度，从而整体上提升了多通道三维网络模型的分割精度等性能。
下面介绍本申请实施例的多通道三维网络模型的内部结构。
可选地，如图3所示，本申请实施例的多通道三维网络模型中，分支特征三维网络包括级联的一级分支特征三维子网络和二级分支特征三维子网络；融合特征三维网络包括级联的一级融合特征三维子网络和二级融合特征三维子网络；尺寸放大三维网络包括级联的第一放大叠加块、第二放大叠加块、第三放大叠加块和第四尺寸放大叠加块。
可选地，本申请实施例中，一级分支特征三维子网络包括级联的三维卷积块；二级分支特征三维子网络包括2D级联Dense block(二维级联密集块)或者级联的VoxRes block(deep Voxelwise Resdiual Networks block，深度立体残差网络块)。
可选地，如图6所示，一级融合特征三维子网络包括级联的融合三维卷积块和至少一个三维卷积块；二级融合特征三维子网络包括级联的步进三维卷积块和至少一个三维卷积块。
可选地，本申请实施例中，所述至少一个三维卷积块包括级联的多个所述三维卷积块；所述三维卷积块包括：VoxDense(deep Voxelwise Dense networks，深度立体密集网络)块和3D GCN(three-Dimensional Graph Convolutional Network，三维图卷积网络)块中的至少一种。
可选地，各一级分支特征三维子网络中最后一个三维卷积块相互连接，并连接至第四尺寸放大叠加块；各二级分支特征三维子网络中的2D级联Dense block或者最后一个VoxRes块相互连接，并连接至第三放大叠加块；一级融合特征三维子网络中最后一个三维卷积块连接至第二放大叠加块。
可选地，图7为本申请实施例的多通道三维网络模型的一种具体结构的示意图。
如图7所示，多通道三维网络模型中包括3个分支特征三维网络，分别用于接收第一组CT+4PDWI模态的医学三维图像、第二组CBF+CBV模态的医学三维图像和第三组MTT+Tmax模态的医学三维图像；由于4PDWI实际包含3个子模态，因此该分支提供了4个channels(通道)对应4个模态；其它分支都是2个channels对应2个模态。
每个一级分支特征三维子网络中包括两个级联的Conv(三维卷积)块，第一分支(即第一个分支特征网络)的最后一个Conv块连接至第二分支的最后一个Conv块，第二分支的最后一个Conv块连接至第三分支的最后一个Conv块。
每个二级分支特征三维子网络中包括两个级联的VoxRes block。图8为VoxResblock的一种内部结构的示意图。第一分支的最后一个VoxRes block连接至第二分支的最后一个VoxRes block，第二分支的最后一个VoxRes block连接至第三分支的最后一个VoxRes block。
一级融合特征三维子网络包括级联的Conv，stride＝2(即融合三维卷积)块和两个VoxDense Block(块)；二级融合特征三维子网络包括级联的Conv，stride＝2(即步进三维卷积块)和两个VoxDense Block(块)。
图7中，×8处的两个长方形表示尺寸放大三维网络中的第一放大叠加块，同理×4处的两个长方形、×2处的两个长方形、×1处的两个长方形，分别表示第二放大叠加块、第三放大叠加块、和第四尺寸放大叠加块，第一至第四尺寸放大叠加块依次级联。第三分支中最后一个Conv块连接至第四尺寸放大叠加块，第三分支中最后一个VoxRes block连接至第三放大叠加块，一级融合特征三维子网络中最后一个VoxDense Block连接至第二放大叠加块。
图7中，最下方的长方形表示仅在训练过程中使用的损失函数层。Softmax loss表示交叉熵损失函数，auxiliary loss表示辅助加权损失函数。
可选地，图9为本申请实施例的多通道三维网络模型的另一种具体结构的示意图。图9的多通道三维网络模型的具体结构，与图7的具体结构相比，不同之处在于，使用2D级联Dense block代替了图7中级联的两个VoxRes block，使用3D GCN block代替了图7中的VoxDense块。
下面基于多通道三维网络模型，介绍本申请实施例的另一种三维图像中目标对象的分割方法，该方法的流程示意图如图10所示，包括下述步骤：
S1001：电子设备根据每个分支特征三维网络中的一级分支特征三维子网络，对待分割的每个模态组的三维图像进行特征提取，得到该分支的分支特征图中的一级分支特征图。
例如，如图7或图9所示，每个分支特征三维网络中的一级分支特征三维子网络包括级联的两个Conv块(三维卷积块)。
电子设备根据第一个一级分支特征三维子网络中级联的两个Conv块，对待分割的第一模态组中CT模态和4PDWI模态的三维图像进行特征提取，得到第一分支的一级分支特征图。
电子设备根据第二个一级分支特征三维子网络中级联的两个Conv块，对待分割的第二模态组中CBF模态和CBV模态的三维图像进行特征提取，得到第二分支的一级分支特征图。
电子设备根据第三个一级分支特征三维子网络中级联的两个Conv块，对待分割的第三模态组中MTT模态和Tmax模态的三维图像进行特征提取，得到第三分支的一级分支特征图。
S1002：电子设备根据该分支特征网络中的二级分支特征三维子网络，对一级分支特征图进行特征提取，得到该分支的分支特征图中的二级分支特征图。
可选地，二级分支特征三维子网络包括2D级联Dense block或者级联的VoxResblock。
可选地，电子设备根据每个二级分支特征三维子网络中的2D级联Dense block或者级联的VoxRes block，对该分支的一级分支特征图进行特征提取，得到该分支的二级分支特征图。
下面介绍2D级联Dense block的内部结构和工作原理。
可选地，2D级联Dense block包括级联的第一二维卷积单元、第二二维卷积单元和第三二维卷积单元。
可选地，电子设备根据2D级联Dense block中第一二维卷积单元，在第一个二维上提取一级分支特征图的特征，得到第一二维特征图。
电子设备对第一二维特征图和一级分支特征图进行一级叠加；根据第二二维卷积单元，在第二个二维上提取一级叠加后的特征图的特征，得到第二二维特征图。
电子设备对第二二维特征图、第一二维特征图和一级分支特征图进行二级叠加；根据第三二维卷积单元，在第三个二维上提取二级叠加后的特征图的特征，得到第三二维特征图。
电子设备对第三二维特征图、第一二维特征图和一级分支特征图进行叠加(sum)，得到该模态组的待分割三维图像的二级分支特征图。
例如，图11示出了2D级联Dense block的一种具体内部结构和工作原理。如图11所示，2D级联Dense block中长方形框表示卷积单元，长方形框中以Z×X×Y的形式表示该卷积单元分别在Z轴、X轴和Y轴上感受野；1×3×3卷积单元、与3×1×3卷积单元、3×3×1卷积单元依次级联；1×3×3卷积单元为在Z轴、X轴和Y轴感受野分别为1个像素、3个像素、3个像素的第一二维(即XY维度)卷积单元；3×1×3卷积单元为在Z轴、X轴和Y轴感受野分别为3个像素、1个像素、3个像素的第二二维(即YZ维度)卷积单元；3×3×1卷积单元为在Z轴、X轴和Y轴感受野分别为3个像素、3个像素、1个像素的第三二维(即ZX维度)卷积单元；输入图像input(图中未标)以箭头线的形式，分别传递到1×3×3卷积单元、3×1×3卷积单元和3×3×1卷积单元的输出端进行叠加；1×3×3卷积单元的输出结果分别传递到3×1×3卷积单元和3×3×1卷积单元的输出端进行叠加。
本申请实施例中，电子设备根据2D级联Dense block对输入的三维特征图在三个不同的二维方向(即方向轴)上进行卷积，相当于提取了三维特征图在各维度上的特征，并且与直接进行三维卷积相比，大大减少了计算量；而且用dense操作对多个层次的特征图通过叠加处理进行融合，相当于将各二维维度的特征图进行融合，大大丰富了特征图中目标对象的特征信息，提升了目标对象的边缘信息的精度，提升了特征图的质量，从而整体上提升目标对象的分割精度。
S1003：电子设备根据一级融合特征三维子网络，对各分支的分支特征图进行融合，对融合后的各分支的分支特征图进行特征提取，得到融合特征图中的一级融合特征图。
可选地，本申请实施例的一级融合特征三维子网络包括级联的融合三维卷积块和至少一个三维卷积块。
可选地，电子设备根据融合三维卷积块，分别对各分支的分支特征图进行卷积，并将各分支卷积后的分支特征图进行融合，得到原始融合特征图；根据至少一个三维卷积块，对原始融合特征图进行特征提取，得到一级融合特征图。一级融合特征三维子网络包括级联的融合三维卷积块和至少一个三维卷积块。
可选地，电子设备根据融合三维卷积块的各三维卷积单元中的三维卷积层，分别对各分支的分支特征图进行卷积；根据融合三维卷积块中的连接层，对各分支卷积后的分支特征图在通道维度上进行连接，得到原始融合特征图。融合三维卷积块包括多个并列的三维卷积单元、以及级联在各三维卷积单元之后的连接层。每个三维卷积单元中包括三维卷积层。
例如，图12a示出了融合三维卷积块的一种具体内部结构。如图12a所示，一种融合三维卷积块包括多个并联的三维卷积单元，每个三维卷积单元中包括依次级联的三维卷积(Conv)层、批归一化(Batch Normalization)层和激活函数(ReLU)层；该种融合三维卷积块还包括级联在各三维卷积单元的激活函数层之后的连接(concatenate)层和级联在连接层之后的三维卷积(Conv)层。每个三维卷积单元中三维卷积(Conv)层中64表示该层具有64个卷积核，3×3×3表示每个卷积核在三个维度(X轴、Y轴和Z轴)上的视野分为3个像素，/2表示该三维卷积层对输入图像在每个维度上的边界向外扩展2个像素后，再进行卷积。
可选地，电子设备在对各分支卷积后的分支特征图在通道维度上进行连接之前，还包括：电子设备根据融合三维卷积块的各三维卷积单元中依次级联的批归一化层和激活函数层，对各分支卷积后的分支特征图依次进行归一化和非线性处理。
以及，电子设备根据融合三维卷积块中的连接层，对各分支卷积后的分支特征图在通道(channel)维度上进行连接，得到原始融合特征图，包括：电子设备根据连接层，对依次经过卷积、归一化和非线性处理的各分支的分支特征图在通道维度上进行连接，得到连接特征图；根据融合三维卷积块中的三维卷积层，对连接特征图进行平滑(smooth)，得到原始融合特征图。
对各分支卷积后的分支特征图在通道维度上进行连接，包括：
在连接之前，电子设备根据三个分支特征三维网络，分别对待分割的第一模态组的三维图像、第二模态组的三维图像和第三模态组的三维图像进行特征提取(包括3D卷积)，得到每个分支的多个通道(channels)的3D立体的分支特征图。
电子设备根据融合三维卷积块中各三维卷积单元中的三维卷积层，分别对各分支的分支特征图进行卷积，得到各支路卷积后的分支特征图。
例如，如图12b所示，待分割的第一模态组的CT和4PDWI三维图像，依次经过第一分支特征三维网络、以及融合三维卷积块的第一三维卷积单元中的三维卷积层的卷积，得到第一分支通道数为32(即channel＝32)的第0至31个通道的卷积后的分支特征图；待分割的第二模态组的CBF和CBV三维图像，依次经过第二分支特征三维网络、以及融合三维卷积块的第二三维卷积单元中的三维卷积层的卷积，得到第二分支通道数为32(即channel＝32)的第0至31个通道的卷积后的分支特征图；待分割的第三模态组的MTT和Tmax三维图像，依次经过第三分支特征三维网络、以及融合三维卷积块的第三三维卷积单元中的三维卷积层的卷积，得到第三分支通道数为32(即channel＝32)的第0至31个通道的卷积后的分支特征图。
电子设备根据融合三维卷积块中的连接层(Conatenate)，将各分支的各通道的卷积后的分支特征图，排列连接(conate)成总路的总通道的连接特征图。该总路的总通道的数量等于各分支的各通道的数量总和。
例如，如图12b所示，电子设备根据融合三维卷积块中的连接层，将第一分支第0至31个通道的卷积后的分支特征图，排列连接成总路的总通道中第0至31个通道的连接特征图；将第二分支第0至31个通道的卷积后的分支特征图，排列连接成总路的总通道中第32至63个通道的连接特征图；将第三分支第0至31个通道的卷积后的分支特征图，排列连接成总路的总通道中第64至95个通道的连接特征图。
电子设备根据融合三维卷积块中的三维卷积层，对排列连接成总路的总通道的连接特征图，进行3D卷积，实现通道数量的变换。例如，如图12b所示，电子设备对排列连接成96个通道的连接特征图，再通过一个1×1×1的3D卷积进行通道的变换，得到一个128通道的3D特征图，作为原始融合特征图。
可选地，一级融合特征三维子网络中的至少一个三维卷积块包括级联的多个三维卷积块；三维卷积块包括：VoxDense块和3D GCN块中的至少一种。
可选地，3D GCN block包括并联的两个二维卷积单元分支、级联在两个二维卷积单元分支之后的平行连接块、以及级联在平行连接块之后的第一维卷积单元；二维卷积单元分支中包括级联的第二维卷积单元和第三维卷积单元、或级联的第三维卷积单元和第二维卷积单元。
可选地，电子设备根据至少一个三维卷积块，对原始融合特征图进行特征提取，得到一级融合特征图，包括：
电子设备对于级联的每个3D GCN块，将原始融合特征图或前一个3D GCN块输出的中间融合特征图作为输入特征图。
电子设备根据该3D GCN块的两个二维卷积单元分支，分别对输入特征图在第二维和第三维上进行特征提取，得到各分支的第二维和第三维的特征图。
电子设备根据该3D GCN块的平行连接块，对各分支的第二维和第三维的特征图进行平行连接。
电子设备根据该3D GCN块的第一维卷积单元，对平行连接得到的第二维和第三维的特征图在第一维上进行特征提取，并叠加输入特征图，得到该3D GCN块对应的中间融合特征图或一级融合特征图并输出。
本发明实施例中，电子设备利用多个不同维度方向的单维度卷积模块，对输入特征图在多个不同维度上进行卷积，提取出输入特征图在各维度上的特征，并叠加输入特征图，使得在保证特征提取性能的基础上，利用各单维度卷积模块大大减少了3D GCN块的参数量，从而在整体上保证多通道三维网络模型的性能的基础上，能够减少多通道三维网络模型的参数量，可以提升多通道三维网络模型的处理速度和训练速度，可以在保证分割精度的基础上提升分割速度。
例如，图13示出了3D GCN block的一种具体内部结构和工作原理。如图13所示，input表示输入特征图。
图13中，一个二维卷积单元分支包括级联的1×7×1卷积单元和1×1×7卷积单元；对于Z×X×Y结构的卷积单元来说，哪一维上的视野大于1，即为哪一维的卷积单元；1×7×1卷积单元为X轴卷积单元(属于第二维卷积单元)，1×1×7卷积单元为Y轴卷积单元(属于第三维卷积单元)，该二维卷积单元分支依次对输入特征图进行X轴和Y轴方向上的卷积，提取出X轴和Y轴方向上的特征。
图13中，另一个卷积单元分支包括级联的1×7×1卷积单元和1×1×7卷积单元，依次对输入特征图在Y轴和X轴方向上进行卷积，提取出Y轴和X轴方向上的特征。
图13中，parallel concat(平行连接)块级联在两个分支的最后一个卷积单元之后，将两个分支分别输出的包含X轴和Y轴特征的特征图和包含Y轴和X轴特征的特征图进行平行连接。
图13中，parallel concat块后级联有7×1×1卷积单元，7×1×1卷积单元为Z轴卷积单元(属于第一维卷积单元)，对parallel concat块输出的平行连接后的特征图在Z轴方向上进行卷积，提取出Z轴方向上的特征，然后与输入特征图进行叠加后得到该3D GCN块对应的中间融合特征图或一级融合特征图并输出。
从图13中可以看出，假设3D GCN块中仅包含一个7×7×7卷积单元，那么该卷积单元的结构的参数量是7的三次方等于343；而本申请实施例中的3D GCN块使用若干1×7×1卷积单元、1×1×7卷积单元和7×1×1卷积单元来代替7×7×7卷积单元进行三个维度上的卷积(特征提取)，根据图13的连接结构，每个分支中级联的两个卷积单元的参数量是相加的(即7+7)，由于存在两个分支所以需要×2，级联最后一个卷积单元使得参数+7，因此图13的3D GCN块中的参数量为(7+7)×2+7＝35，与343相比，参数量大概减少了90％，特征提取的性能却基本相同，因此在保证特征提取性能的基础上，能够大大提升3D GCN块的处理速度以及训练速度，从而整体上减少多通道三维网络模型的参数量，提升多通道三维网络模型的处理速度和训练速度，在保证分割精度的基础上，提升分割速度。
可选地，图14为parallel concat(平行连接)块的工作原理图。由于3D GCN块中前面的卷积分了两个支路提取特征，支路1：卷积Y轴→卷积X轴；支路2：卷积X轴→卷积Y轴，分别得到两个支路的三维特征图(图14中由两个立方体表示)，每个三维特征图在z轴方向上的切片，代表的物理意义是核磁扫描切片的切片(scile)1、切片2……切片n；n为正整数。
对这样两个立方体进行合并(属于连接)的时候，为了使得切片的相对位置不变，也就是切片1一定要排在大于1的切片前面，才能使得串联后的三维特征图符合物理上的样子，所以图14中第一行的那种两个支路的三维特征图以整个三维特征图为单位进行普通合并会导致切片n在切片1前面，因此本申请实施例采用了图14下面一行的合并方式，具体地是将两个支路的三维特征图中序号为1的切片都取出合并、且排序在前面，再接下去合并所有序号为2的切片、且排列在合并后的序号为1的切片之后；直到合并所有序号为n的切片、且排列最后，得到平行连接后的包含X轴和Y轴特征的三维特征图。
S1004：电子设备根据二级融合特征三维子网络，对一级融合特征图进行特征提取，得到融合特征图中的二级融合特征图。
可选地，本申请实施例的二级融合特征三维子网络包括级联的步进三维卷积块和至少一个三维卷积块。可选地，至少一个三维卷积块包括级联的多个三维卷积块；三维卷积块包括：VoxDense块和3D GCN块中的至少一种。
可选地，本申请实施例中的电子设备，依次根据步进三维卷积块和至少一个三维卷积块，对一级融合特征图依次进行特征提取，得到二级融合特征图。
S1005：电子设备根据第一尺寸放大叠加块，对二级融合特征图进行通道数转换和尺寸放大，得到一级尺寸放大图。
例如，如图7或图9所示，电子设备将待分割每个模态的三维图像在各维度上的尺寸作为基准尺寸(具体可以是1024、512或256个像素等)，记为1；一级分支特征图的尺寸也为1，二级分支特征图的尺寸缩小为基准尺寸的1/2，记为1/2；同理，一级融合特征图的尺寸缩小为1/4，二级融合特征图的尺寸缩小为1/8。
因此，如图7或图9所示，第一尺寸放大叠加块至第四尺寸放大叠加块处的×8、×4、×2和×1，表示该尺寸放大叠加块接收的(前一级输入的)三维特征图的尺寸分别为1/8、1/4、1/2和1，需要分别×8、×4、×2和×1之后，才能与待分割的三维图像的尺寸一致。
第一尺寸放大叠加块至第三尺寸放大叠加块中的每个尺寸放大叠加块，包括：级联的转换卷积单元和尺寸放大单元。可选地，尺寸放大单元之后还级联有平滑卷积单元。
第四尺寸放大叠加块包括转换卷积单元；可选地，转换卷积单元之后还级联有平滑卷积单元。
可选地，尺寸放大包括上采样、反卷积和插值中的一种。每个尺寸放大叠加块可以是上采样叠加块、反卷积叠加块和插值叠加块中的一种。例如，上采样叠加块可以是如图15a所示的fusion block(融合块)，fusion block中包括级联的1×1×1conv单元、upsampling(上采样)单元和3×3×3conv单元。1×1×1conv单元表示转换卷积单元，3×3×3conv单元表示平滑卷积单元。
例如，电子设备根据图7或图9中×8处的第一尺寸放大叠加块中的转换卷积单元，对1/8的二级融合特征图进行通道数转换；根据尺寸放大单元，将通道数转换后的1/8的二级融合特征图的尺寸放大至1/4，得到一级尺寸放大图；根据平滑卷积单元，对1/4的一级尺寸放大图进行平滑后，向×4处的第二尺寸放大叠加块输送。
S1006：电子设备根据第二尺寸放大叠加块，对一级融合特征图进行通道数转换后，与一级尺寸放大图进行叠加，并对叠加后的三维图像进行尺寸放大，得到二级尺寸放大图。
例如，电子设备根据图7或图9中×4处第二尺寸放大叠加块中的转换卷积单元，对1/4的一级融合特征图进行通道数转换，将通道数转换后的1/4的一级融合特征图与1/4的一级尺寸放大图进行叠加；根据尺寸放大单元，将叠加后的三维图像的尺寸放大至1/2，得到二级尺寸放大图；根据平滑卷积单元，对1/2的二级尺寸放大图进行平滑后，向×2处的第三尺寸放大叠加块输送。
S1007：电子设备对各分支的二级分支特征图进行叠加；根据第三尺寸放大叠加块，对叠加后的二级分支特征图进行通道数转换后，与二级尺寸放大图进行叠加，并对叠加后的三维图像进行尺寸放大，得到三级尺寸放大图。
例如，电子设备对各分支的1/2(尺寸)的二级分支特征图进行叠加；根据图7或图9中×2处第三尺寸放大叠加块中的转换卷积单元，对叠加后的1/2的二级分支特征图进行通道数转换，将通道数转换后的1/2的二级分支特征图与1/2的二级尺寸放大图进行叠加；根据尺寸放大单元，将叠加后的三维图像的尺寸放大至1，得到三级尺寸放大图；根据平滑卷积单元，对1的三级尺寸放大图进行平滑后，向×1处的第四尺寸放大叠加块输送。
S1008：电子设备对各分支的一级分支特征图进行叠加；根据第四尺寸放大叠加块，对叠加后的一级分支特征图进行通道数转换后，与三级尺寸放大图进行叠加，得到分割出目标对象的三维图像。
例如，电子设备对各分支的1(尺寸)的一级分支特征图进行叠加；根据图7或图9中×1处第四尺寸放大叠加块中的转换卷积单元，对叠加后的1的一级分支特征图进行通道数转换，将通道数转换后的1的一级分支特征图与1的三级尺寸放大图进行叠加；根据尺寸放大单元，将叠加后的三维图像的尺寸放大至1，得到分割出目标对象的三维图像；根据平滑卷积单元，对分割出目标对象的三维图像进行平滑后输送。
可选地，分割出目标对象的三维图像的尺寸与待分割的三维图像的尺寸一致，从而实现三维图像端到端的输出。
可选地，如图3、图7和图9所示，本申请实施例的多通道三维网络模型中任意一个具有卷积功能的块或单元中，卷积层后面都可以级联有BN(Batch Normalization，批归一化层)层和RelU(激活函数)层。
具有卷积功能的块，包括但不限于：融合三维卷积块、步进三维卷积块、三维卷积块、2D级联Dense block、VoxRes block、3D GCN block、各尺寸放大叠加块和Fusion block等等。
具有卷积功能的单元，包括但不限于：2D级联Dense block中的各二维卷积单元，3D GCN block中的各一维卷积单元，尺寸放大叠加块中的转换卷积单元和平滑卷积单元，以及反卷积单元(属于尺寸放大单元中的一种)等等。
本申请实施例中，一级分支特征图像和二级分支特征图像的分辨率较高(即尺寸较大)但图中目标对象的特征信息(即语义信息)不够丰富，一级融合特征图像和二级融合特征图中目标对象的特征信息比较丰富但是分辨率较低；电子设备从分辨率最小的二级融合特征图像开始，逐层进行尺寸放大且依层次逐步与一级融合特征图像、二级分支特征图像和一级分支特征图像进行叠加，相当于融合了各层次的分辨率和特征信息，既提升了多通道三维网络模型提取目标对象的特征信息的丰富程度，便于根据更丰富的特征信息提升目标对象的分类精度，又通过融合浅层的高分辨率提升了多通道三维网络模型对目标对象边缘的识别精度，从而整体上提升目标对象的分割精度。
可选地，本发明实施例中，电子设备是将多个分支的一级分支特征图像和二级分支特征图像叠加到特征图中，相当于将多个分支对应的多个模态的三维图像的特征信息融合到一起，能够提升多通道三维网络模型提取目标对象的特征信息的全面性和完整性，从而整体上提升目标对象的分割精度。
下面介绍实施本申请实施例的一个实例。
终端设备采集到或接收到如图16所示针对同一目标对象的待分割的多个模态组的脑部病理三维图像后，传输至电子设备。图16中，待分割的多个模态组的脑部病理三维图像，包括属于第一模态组的CT模态和MR_4DPWI模态的脑部病理三维图像、属于第二模态组的MR_CBF模态和MR_CBV模态的脑部病理三维图像、以及属于第三模态组的MR_MTT和MR_Tmax模态的脑部病理三维图像。
电子设备基于本申请实施例的多通道三维网络模型，对待分割的多个模态组的脑部病理三维图像进行目标对象的分割。
可选地，电子设备将待分割的多个模态组的脑部病理三维图像，输入多通道三维网络模型，得到如图15b所示的各个阶段的特征图。
图15b中，input表示作为输入图像的待分割的多个模态组的脑部病理三维图像，各长方体表示各阶段的(三维)特征图；各长方体中的1/1、1/2、1/4和1/8，表示各阶段特征图的尺寸分别是待分割的脑部病理三维图像的尺寸(即基准尺寸)的1/1、1/2、1/4和1/8；c(channel，通道)＝32、c＝64、c＝128和c＝256，表示各阶段特征图的channel数分别32个、64个、128个和256个；output表示作为输出图像的分割出目标对象的三维图像；第一至第四尺寸放大叠加块都是fusion block。
由于本申请实施例的多通道三维网络模型中各分支特征三维网络的结构都是相同的，输出的分支特征图的尺寸和channel数都是一致的，因此图15b中仅以一个分支的分支特征图，来代表各分支的分支特征图。
具体地，电子设备将待分割的多个模态组的脑部病理三维图像，分别输入多个一级分支特征三维子网络，得到多个分支的一级分支特征图，一级分支特征图的c＝32且尺寸为1/1。
电子设备将各分支c＝32且尺寸为1/1的一级分支特征图，输入各二级分支特征三维子网络，得到各分支的二级分支特征图，二级分支特征图的c＝64且尺寸为1/2。
电子设备将各分支的二级分支特征图，输入一级融合特征三维子网络，得到一级融合特征图，一级融合特征图的c＝128且尺寸为1/4。
电子设备将一级融合特征图，输入二级融合特征三维子网络，得到二级融合特征图，二级融合特征图的c＝256且尺寸为1/8。
电子设备将二级融合特征图，输入第一尺寸放大叠加块(图15b中未标出)，得到通道数转换为c＝128且尺寸为1/8的二级融合特征图(即图15b中右分支最下方的标注有1/8和c＝128的长方体组)，将通道数转换后c＝128且尺寸为1/8的二级融合特征图放大至1/4，得到c＝128且尺寸为1/4的一级尺寸放大图，向第一个fusion block(即图15b中最下方的一个fusion block，表示第二尺寸放大叠加块)传输。
电子设备将c＝128且尺寸为1/4的一级融合特征图和c＝128且尺寸为1/4的一级尺寸放大图，输入第一个fusion block，得到叠加后c＝128且尺寸为1/4的三维图像(即图15b中右分支从下至上第二个长方体组，第二个长方体组标注有1/4和c128)；将通道数转换后且叠加后的三维图像放大至1/2，得到c＝128且尺寸为1/2的二级尺寸放大图，并向第二个fusion block(图15b中位于中间的一个fusion block，表示第三尺寸放大叠加块)传输。
电子设备将各分支c＝64且尺寸为1/2的二级分支特征图进行叠加，将叠加后c＝64且尺寸为1/2的二级分支特征图，输入第二个fusion block，得到通道数转换为c＝128的二级分支特征图；根据该fusion block将叠加后c＝128且尺寸为1/2的二级分支特征图、和c＝128且尺寸为1/2的二级尺寸放大图进行叠加，得到叠加后c＝128且尺寸为1/2的三维图像(即图15b中右分支从下至上第三个长方体组，第三个长方体组标注有1/2和c128)；将叠加后的三维图像放大至1/1，得到c＝128且尺寸为1/1的三级尺寸放大图，并向第三个fusion block(图15b中位于上方的一个fusion block，表示第四尺寸放大叠加块)传输。
电子设备将各分支c＝32且尺寸为1/1的一级分支特征图进行叠加，将叠加后c＝32且尺寸为1/1的一级分支特征图，输入第三个fusion block，得到通道数转换为c＝128的一级分支特征图；根据该fusion block将叠加后c＝128且尺寸为1/1的二级分支特征图、和c＝128且尺寸为1/1的三级尺寸放大图进行叠加，得到叠加后c＝128且尺寸为1/1的三维图像(即图15b中右分支从下至上第三个长方体组，第三个长方体组标注有1/2和c128)；将该三维图像作为分割出病灶(属于目标对象)的脑部病理三维图像output输出，分割出病灶的脑部病理三维图像中的病灶可以如图16中的最右方部分所示。
电子设备将分割出病灶的脑部病理三维图像，输出至终端设备进行显示，便于用户根据显示的分割后的脑部病理三维图像进行进一步的操作。
基于同一发明构思，本申请实施例提供了一种三维图像中目标对象的分割装置，如图17所示，该三维图像中目标对象的分割装置1700可以包括：分支特征提取模块1701、特征融合模块1702和融合放大模块1703。
其中，分支特征提取模块1701用于根据多通道三维网络模型的多个分支特征三维网络，分别对待分割的多个模态组的三维图像进行特征提取，得到多个分支的分支特征图。多通道三维网络模型包括依次级联的分支特征三维网络组、融合特征三维网络和尺寸放大三维网络；分支特征三维网络组包括多个并列的分支特征三维网络。
特征融合模块1702用于根据融合特征三维网络，对多个分支的分支特征图进行特征提取和融合，得到融合特征图。
融合放大模块1703用于根据尺寸放大三维网络，对融合特征图和多个分支的分支特征图进行融合和尺寸放大，得到分割出目标对象的三维图像。
可选地，如图18所示，本申请实施例提供另一种三维图像中目标对象的分割装置1700，该分割装置1700除了包括分支特征提取模块1701、特征融合模块1702和融合放大模块1703之外，该分割装置1700的特征融合模块1702包括：特征融合单元17021和特征提取单元17022。
特征融合单元17021用于根据一级融合特征三维子网络，对各分支的分支特征图进行融合，对融合后的各分支的分支特征图进行特征提取，得到融合特征图中的一级融合特征图。
特征提取单元17022用于根据二级融合特征三维子网络，对一级融合特征图进行特征提取，得到融合特征图中的二级融合特征图。
可选地，特征融合单元17021具体用于根据融合三维卷积块，分别对各分支的分支特征图进行卷积，并将各分支卷积后的分支特征图进行融合，得到原始融合特征图；根据至少一个三维卷积块，对原始融合特征图进行特征提取，得到一级融合特征图；一级融合特征三维子网络包括级联的融合三维卷积块和至少一个三维卷积块。
可选地，特征融合单元17021具体用于根据融合三维卷积块的各三维卷积单元中的三维卷积层，分别对各分支的分支特征图进行卷积，各三维卷积单元相并列；根据融合三维卷积块中的连接层，对各分支卷积后的分支特征图在通道维度上进行连接，得到原始融合特征图，连接层级联在各三维卷积单元之后。
可选地，特征融合单元17021还用于在对各分支卷积后的分支特征图在通道维度上进行连接之前，根据融合三维卷积块的各三维卷积单元中依次级联的批归一化层和激活函数层，对各分支卷积后的分支特征图依次进行归一化和非线性处理；以及根据连接层，对依次经过卷积、归一化和非线性处理的各分支的分支特征图在通道维度上进行连接，得到连接特征图；根据融合三维卷积块中的三维卷积层，对连接特征图进行平滑，得到原始融合特征图。
可选地，特征融合单元17021具体用于对于级联的每个3D GCN块，将原始融合特征图或前一个3D GCN块输出的中间融合特征图作为输入特征图；根据该3D GCN块的两个二维卷积单元分支，分别对输入特征图在第二维和第三维上进行特征提取，得到各分支的第二维和第三维的特征图；根据该3D GCN块的平行连接块，对各分支的第二维和第三维的特征图进行平行连接；根据该3D GCN块的第一维卷积单元，对平行连接得到的第二维和第三维的特征图在第一维上进行特征提取，并叠加输入特征图，得到该3D GCN块对应的中间融合特征图或一级融合特征图并输出。
其中，二级融合特征三维子网络包括级联的步进三维卷积块和至少一个三维卷积块；和/或，至少一个三维卷积块包括级联的多个三维卷积块；三维卷积块包括：VoxDense块和3D GCN块中的至少一种；以及，3D GCN块包括并联的两个二维卷积单元分支、级联在两个二维卷积单元分支之后的平行连接块、以及级联在平行连接块之后的第一维卷积单元；二维卷积单元分支中包括级联的第二维卷积单元和第三维卷积单元、或级联的第三维卷积单元和第二维卷积单元。
可选地，如图18所示，本申请实施例的分支特征提取模块1701包括：一级分支特征提取单元17011和二级分支特征提取单元17012。
一级分支特征提取单元17011用于根据每个分支特征三维网络中的一级分支特征三维子网络，对待分割的每个模态组的三维图像进行特征提取，得到该分支的分支特征图中的一级分支特征图；分支特征三维网络包括级联的一级分支特征三维子网络和二级分支特征三维子网络。
二级分支特征提取单元17012用于根据该分支特征网络中的二级分支特征三维子网络，对一级分支特征图进行特征提取，得到该分支的分支特征图中的二级分支特征图。
可选地，二级分支特征提取单元17012具体用于根据第一二维卷积单元，在第一个二维上提取一级分支特征图的特征，得到第一二维特征图；对第一二维特征图和一级分支特征图进行一级叠加；根据第二二维卷积单元，在第二个二维上提取一级叠加后的特征图的特征，得到第二二维特征图；对第二二维特征图、第一二维特征图和一级分支特征图进行二级叠加；根据第三二维卷积单元，在第三个二维上提取二级叠加后的特征图的特征，得到第三二维特征图；对第三二维特征图、第一二维特征图和一级分支特征图进行叠加，得到该模态组的待分割三维图像的二级分支特征图。
其中，二级分支特征三维子网络包括2D级联Dense block或者级联的VoxResblock；2D级联Dense block包括级联的第一二维卷积单元、第二二维卷积单元和第三二维卷积单元。
可选地，如图18所示，本申请实施例的融合放大模块1703包括：第一放大叠加单元17031、第二放大叠加单元17032、第三放大叠加单元17033和第四放大叠加单元17034。
第一放大叠加单元17031用于根据第一尺寸放大叠加块，对二级融合特征图进行通道数转换和尺寸放大，得到一级尺寸放大图。尺寸放大三维网络包括级联的第一至第四尺寸放大叠加块。
第二放大叠加单元17032用于根据第二尺寸放大叠加块，对一级融合特征图进行通道数转换后，与一级尺寸放大图进行叠加，并对叠加后的三维图像进行尺寸放大，得到二级尺寸放大图。
第三放大叠加单元17033用于对各分支的二级分支特征图进行叠加；根据第三尺寸放大叠加块，对叠加后的二级分支特征图进行通道数转换后，与二级尺寸放大图进行叠加，并对叠加后的三维图像进行尺寸放大，得到三级尺寸放大图。
第四放大叠加单元17034用于对各分支的一级分支特征图进行叠加；根据第四尺寸放大叠加块，对叠加后的一级分支特征图进行通道数转换后，与三级尺寸放大图进行叠加，得到分割出目标对象的三维图像。
可选地，如图18所示，本申请实施例提供另一种三维图像中目标对象的分割装置1700，还包括：训练模块1704。
训练模块1704用于通过下述方法预先训练得到多通道三维网络模型：根据原始样本集，确定出扩展样本集；从扩展样本集中划分出验证集和训练集；利用训练集对原始的多通道三维网络模型进行初步训练，得到初步训练后的多通道三维网络模型；利用初步训练后的多通道三维网络模型对验证集进行验证性的目标对象分割，得到分割结果；根据分割结果，确定出各疑难样本三维图像；疑难样本三维图像包括目标对象所占面积小于面积阈值或目标对象分类错误率高于错误率阈值的样本三维图像；根据各疑难样本三维图像，对初步训练后的多通道三维网络模型进行训练，得到选定的多通道三维网络模型。
可选地，训练模块1704具体用于根据各疑难样本三维图像，对初步训练后的多通道三维网络模型进行迭代训练，直到满足预设的收敛条件；迭代训练中的一次训练包括：将当前疑难样本三维图像，输入上一次训练得到的多通道三维网络模型；通过该多通道三维网络模型的损失函数层输出当前预测结果；确定出当前预测结果、与当前疑难样本三维图像对应的样本分割结果之间的误差；将误差向该多通道三维网络模型中的各隐层反向传播，计算误差反向传播至各隐层处的梯度；根据梯度更新该多通道三维网络模型中的各隐层的参数，得到本次迭代训练得到的多通道三维网络模型。
多通道三维网络模型在训练过程中包括级联在尺寸放大三维网络之后的损失函数层；损失函数层包括交叉熵函数和辅助加权损失函数。
本实施例的三维图像中目标对象的分割装置1700可执行本申请上述各实施例中任一实施例或任一可选的实施方式的三维图像中目标对象的分割方法，其实现原理和所取得的有益技术效果与本申请的三维图像中目标对象的分割方法相类似，此处不再赘述。
基于同一发明构思，本申请实施例提供了一种电子设备，如图19所示，图19所示的电子设备1900包括：处理器1901和存储器1903。其中，处理器1901和存储器1903相电连接，如通过总线1902相连。可选的，电子设备1900还包括网络模块1904。需要说明的是，实际应用中网络模块1904不限于一个，该电子设备1900的结构并不构成对本申请实施例的限定。
其中，处理器1901应用于本申请实施例中，用于实现图17或图18所示的医学图像中目标对象的分割装置中各模块的功能。
处理器1901可以是CPU(Central Processing Unit，中央处理器)，GPU(GraphicsProcessing Unit，图形处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application Specific Integrated Circuit，专用集成电路)，FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器1901也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线1902可包括一通路，在上述组件之间传送信息。总线1902可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线1902可以分为地址总线、数据总线、控制总线等。为便于表示，图19中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器1903可以是ROM(Read-Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(random access memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead-Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
可选的，存储器1903用于存储执行本申请方案的应用程序代码或操作指令，并由处理器1901来控制执行。处理器1901用于执行存储器1903中存储的应用程序代码或操作指令，以实现本申请上述各实施例中任一实施例或任一可选的实施方式的三维图像中目标对象的分割方法；或者，以实现图17或图18所示的三维图像中目标对象的分割装置的动作，其实现原理和所取得的有益技术效果与本申请的三维图像中目标对象的分割方法相类似，此处不再赘述。
基于同一发明构思，本申请实施例提供了一种计算机可读存储介质，存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现本申请上述各实施例中任一实施例或任一可选的实施方式的三维图像中目标对象的分割方法。
本申请实施例提供了一种计算机可读存储介质适用于上述方法实施例，其实现原理和所取得的有益技术效果与本申请的三维图像中目标对象的分割方法相类似，在此不再赘述。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种三维图像中目标对象的分割方法，其特征在于，包括：
根据多通道三维网络模型的多个分支特征三维网络，分别对待分割的多个模态组的三维图像进行特征提取，得到多个分支的分支特征图；所述多通道三维网络模型包括依次级联的分支特征三维网络组、融合特征三维网络和尺寸放大三维网络；所述分支特征三维网络组包括多个并列的所述分支特征三维网络；
根据所述融合特征三维网络，对多个分支的分支特征图进行特征提取和融合，得到融合特征图；
根据所述尺寸放大三维网络，对所述融合特征图和多个分支的分支特征图进行融合和尺寸放大，得到分割出目标对象的三维图像。
2.根据权利要求1所述的方法，其特征在于，所述融合特征三维网络包括级联的一级融合特征三维子网络和二级融合特征三维子网络；
以及，所述根据所述融合特征三维网络，对多个分支的分支特征图进行特征提取和融合，得到融合特征图，包括：
根据所述一级融合特征三维子网络，对各分支的所述分支特征图进行融合，对融合后的各分支的所述分支特征图进行特征提取，得到所述融合特征图中的一级融合特征图；
根据所述二级融合特征三维子网络，对所述一级融合特征图进行特征提取，得到所述融合特征图中的二级融合特征图。
3.根据权利要求2所述的方法，其特征在于，所述根据所述一级融合特征三维子网络，对各分支的所述分支特征图进行融合，对融合后的各分支的所述分支特征图进行特征提取，得到所述融合特征图中的一级融合特征图，包括：
所述一级融合特征三维子网络包括级联的融合三维卷积块和至少一个三维卷积块；
根据所述融合三维卷积块，分别对各分支的所述分支特征图进行卷积，并将各分支卷积后的分支特征图进行融合，得到原始融合特征图；
根据所述至少一个三维卷积块，对所述原始融合特征图进行特征提取，得到所述一级融合特征图。
4.根据权利要求3所述的方法，其特征在于，所述根据所述融合三维卷积块，分别对各分支的所述分支特征图进行卷积，并将各分支卷积后的分支特征图进行融合，得到原始融合特征图，包括：
根据所述融合三维卷积块的各三维卷积单元中的三维卷积层，分别对各分支的所述分支特征图进行卷积，所述各三维卷积单元相并列；
根据所述融合三维卷积块中的连接层，对各分支卷积后的所述分支特征图在通道维度上进行连接，得到所述原始融合特征图，所述连接层级联在所述各三维卷积单元之后。
5.根据权利要求3所述的方法，所述二级融合特征三维子网络包括级联的步进三维卷积块和至少一个三维卷积块；
和/或，所述至少一个三维卷积块包括级联的多个所述三维卷积块；所述三维卷积块包括：深度立体密集网络块和三维图卷积网络块中的至少一种；以及，所述三维图卷积网络块包括并联的两个二维卷积单元分支、级联在两个所述二维卷积单元分支之后的平行连接块、以及级联在所述平行连接块之后的第一维卷积单元；所述二维卷积单元分支中包括级联的第二维卷积单元和第三维卷积单元、或级联的第三维卷积单元和第二维卷积单元。
6.根据权利要求5所述的方法，其特征在于，所述根据所述至少一个三维卷积块，对所述原始融合特征图进行特征提取，得到所述一级融合特征图，包括：
对于级联的每个三维图卷积网络块，将所述原始融合特征图或前一个三维图卷积网络块输出的中间融合特征图作为输入特征图；
根据该三维图卷积网络块的两个所述二维卷积单元分支，分别对所述输入特征图在第二维和第三维上进行特征提取，得到各分支的第二维和第三维的特征图；
根据该三维图卷积网络块的所述平行连接块，对各分支的第二维和第三维的特征图进行平行连接；
根据该三维图卷积网络块的所述第一维卷积单元，对平行连接得到的第二维和第三维的特征图在第一维上进行特征提取，并叠加所述输入特征图，得到该三维图卷积网络块对应的中间融合特征图或所述一级融合特征图并输出。
7.根据权利要求2所述的方法，其特征在于，所述分支特征三维网络包括级联的一级分支特征三维子网络和二级分支特征三维子网络；
以及，所述根据多个分支特征三维网络，分别对待分割的多个模态组的三维图像进行特征提取，得到多个分支的分支特征图，包括：
根据每个所述分支特征三维网络中的一级分支特征三维子网络，对待分割的每个模态组的三维图像进行特征提取，得到该分支的分支特征图中的一级分支特征图；
根据该所述分支特征网络中的二级分支特征三维子网络，对所述一级分支特征图进行特征提取，得到该分支的分支特征图中的二级分支特征图。
8.根据权利要求7所述的方法，其特征在于，所述二级分支特征三维子网络包括二维级联密集块或者级联的深度立体残差网络块；
以及，所述根据该所述分支特征网络中的二级分支特征三维子网络，对所述一级分支特征图进行特征提取，得到该分支的分支特征图中的二级分支特征图，包括：
所述二维级联密集块包括级联的第一二维卷积单元、第二二维卷积单元和第三二维卷积单元；
根据所述第一二维卷积单元，在第一个二维上提取所述一级分支特征图的特征，得到第一二维特征图；
对所述第一二维特征图和所述一级分支特征图进行一级叠加；根据所述第二二维卷积单元，在第二个二维上提取一级叠加后的特征图的特征，得到第二二维特征图；
对所述第二二维特征图、所述第一二维特征图和所述一级分支特征图进行二级叠加；根据所述第三二维卷积单元，在第三个二维上提取二级叠加后的特征图的特征，得到第三二维特征图；
对所述第三二维特征图、所述第一二维特征图和所述一级分支特征图进行叠加，得到该模态组的待分割三维图像的二级分支特征图。
9.根据权利要求7所述的方法，其特征在于，所述尺寸放大三维网络包括级联的第一至第四尺寸放大叠加块；
以及，所述根据所述尺寸放大三维网络，对所述融合特征图和多个分支的分支特征图进行融合和尺寸放大，得到分割出目标对象的三维图像，包括：
根据所述第一尺寸放大叠加块，对所述二级融合特征图进行通道数转换和尺寸放大，得到一级尺寸放大图；
根据所述第二尺寸放大叠加块，对所述一级融合特征图进行通道数转换后，与所述一级尺寸放大图进行叠加，并对叠加后的三维图像进行尺寸放大，得到二级尺寸放大图；
对各分支的所述二级分支特征图进行叠加；根据所述第三尺寸放大叠加块，对叠加后的所述二级分支特征图进行通道数转换后，与所述二级尺寸放大图进行叠加，并对叠加后的三维图像进行尺寸放大，得到三级尺寸放大图；
对各分支的所述一级分支特征图进行叠加；根据所述第四尺寸放大叠加块，对叠加后的所述一级分支特征图进行通道数转换后，与所述三级尺寸放大图进行叠加，得到所述分割出目标对象的三维图像。
10.根据权利要求1所述的方法，其特征在于，所述多通道三维网络模型是通过下述方法预先训练得到的：
根据原始样本集，确定出扩展样本集；
从所述扩展样本集中划分出验证集和训练集；
利用所述训练集对原始的多通道三维网络模型进行初步训练，得到初步训练后的多通道三维网络模型；
利用初步训练后的多通道三维网络模型对验证集进行验证性的目标对象分割，得到分割结果；
根据所述分割结果，确定出各疑难样本三维图像；所述疑难样本三维图像包括目标对象所占面积小于面积阈值或目标对象分类错误率高于错误率阈值的样本三维图像；
根据各所述疑难样本三维图像，对初步训练后的多通道三维网络模型进行训练，得到选定的多通道三维网络模型。
11.根据权利要求10所述的方法，其特征在于，所述多通道三维网络模型在训练过程中包括级联在所述尺寸放大三维网络之后的损失函数层；所述损失函数层包括交叉熵函数和辅助加权损失函数；
以及，所述根据各所述疑难样本三维图像，对初步训练后的多通道三维网络模型进行训练，得到选定的多通道三维网络模型，包括：
根据各所述疑难样本三维图像，对初步训练后的多通道三维网络模型进行迭代训练，直到满足预设的收敛条件；所述迭代训练中的一次训练包括：
将当前疑难样本三维图像，输入上一次训练得到的多通道三维网络模型；通过该多通道三维网络模型的损失函数层输出当前预测结果；
确定出所述当前预测结果、与所述当前疑难样本三维图像对应的样本分割结果之间的误差；将所述误差向该多通道三维网络模型中的各隐层反向传播，计算所述误差反向传播至各隐层处的梯度；根据所述梯度更新该多通道三维网络模型中的各隐层的参数，得到本次迭代训练得到的多通道三维网络模型。
12.根据权利要求1-11任一项所述的方法，其特征在于，还包括下述至少一项：
所述多个模态组的三维图像包括三个模态组的医学三维图像；所述三个模态组的医学三维图像包括：第一模态组的电子计算机断层扫描三维图像和四维度灌注弥散加权成像三维图像、第二模态组的脑血流流量三维图像和脑血流容量三维图像和第三模态组的对比剂平均通过时间三维图像和脑血流达峰时间三维图像；所述目标对象包括组织、内脏器官和病灶中的一种；
所述分割出目标对象的三维图像的尺寸与待分割的所述三维图像的尺寸一致；
所述尺寸放大包括上采样、反卷积和插值中的一种。
13.一种三维图像中目标对象的分割装置，其特征在于，包括：
分支特征提取模块，用于根据多通道三维网络模型的多个分支特征三维网络，分别对待分割的多个模态组的三维图像进行特征提取，得到多个分支的分支特征图；所述多通道三维网络模型包括依次级联的分支特征三维网络组、融合特征三维网络和尺寸放大三维网络；所述分支特征三维网络组包括多个并列的所述分支特征三维网络；
特征融合模块，用于根据所述融合特征三维网络，对多个分支的分支特征图进行特征提取和融合，得到融合特征图；
融合放大模块，用于根据所述尺寸放大三维网络，对所述融合特征图和多个分支的分支特征图进行融合和尺寸放大，得到分割出目标对象的三维图像。
14.一种电子设备，其特征在于，其包括：
处理器、存储器和总线；
所述总线，用于连接所述处理器和所述存储器；
所述存储器，用于存储操作指令；
所述处理器，用于通过调用所述操作指令，执行上述权利要求1-12中任一项所述的三维图像中目标对象的分割方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至12任一项所述的三维图像中目标对象的分割方法。
CN201811603470.1A 2018-12-26 2018-12-26 三维图像中目标对象的分割方法、装置及电子设备 Active CN111369567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811603470.1A CN111369567B (zh) 2018-12-26 2018-12-26 三维图像中目标对象的分割方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811603470.1A CN111369567B (zh) 2018-12-26 2018-12-26 三维图像中目标对象的分割方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111369567A true CN111369567A (zh) 2020-07-03
CN111369567B CN111369567B (zh) 2022-12-16

Family

ID=71206268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811603470.1A Active CN111369567B (zh) 2018-12-26 2018-12-26 三维图像中目标对象的分割方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111369567B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560864A (zh) * 2020-12-22 2021-03-26 苏州超云生命智能产业研究院有限公司 图像语义分割方法、装置及图像语义分割模型的训练方法
CN112686875A (zh) * 2021-01-04 2021-04-20 浙江明峰智能医疗科技有限公司 基于神经网络的pet-ct图像的肿瘤预测方法及计算机可读存储介质
CN113780364A (zh) * 2021-08-18 2021-12-10 西安电子科技大学 一种模型与数据联合驱动的sar图像目标识别方法
CN115170510A (zh) * 2022-07-04 2022-10-11 北京医准智能科技有限公司 一种病灶检测方法、装置、电子设备及可读存储介质
WO2022247173A1 (zh) * 2021-05-26 2022-12-01 北京长木谷医疗科技有限公司 图像识别及模型训练的方法、关节位置识别的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909905A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的多模态人脸识别方法
CN107506797A (zh) * 2017-08-25 2017-12-22 电子科技大学 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108319977A (zh) * 2018-01-30 2018-07-24 浙江大学 基于通道信息多模态网络的宫颈活检区域识别方法及装置
CN108629784A (zh) * 2018-05-08 2018-10-09 上海嘉奥信息科技发展有限公司 一种基于深度学习的ct图像颅内血管分割方法及***
CN108717568A (zh) * 2018-05-16 2018-10-30 陕西师范大学 一种基于三维卷积神经网络的图像特征提取与训练方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909905A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的多模态人脸识别方法
CN107506797A (zh) * 2017-08-25 2017-12-22 电子科技大学 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108319977A (zh) * 2018-01-30 2018-07-24 浙江大学 基于通道信息多模态网络的宫颈活检区域识别方法及装置
CN108629784A (zh) * 2018-05-08 2018-10-09 上海嘉奥信息科技发展有限公司 一种基于深度学习的ct图像颅内血管分割方法及***
CN108717568A (zh) * 2018-05-16 2018-10-30 陕西师范大学 一种基于三维卷积神经网络的图像特征提取与训练方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560864A (zh) * 2020-12-22 2021-03-26 苏州超云生命智能产业研究院有限公司 图像语义分割方法、装置及图像语义分割模型的训练方法
CN112686875A (zh) * 2021-01-04 2021-04-20 浙江明峰智能医疗科技有限公司 基于神经网络的pet-ct图像的肿瘤预测方法及计算机可读存储介质
WO2022247173A1 (zh) * 2021-05-26 2022-12-01 北京长木谷医疗科技有限公司 图像识别及模型训练的方法、关节位置识别的方法
CN113780364A (zh) * 2021-08-18 2021-12-10 西安电子科技大学 一种模型与数据联合驱动的sar图像目标识别方法
CN115170510A (zh) * 2022-07-04 2022-10-11 北京医准智能科技有限公司 一种病灶检测方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN111369567B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
CN111369567B (zh) 三维图像中目标对象的分割方法、装置及电子设备
US20200380695A1 (en) Methods, systems, and media for segmenting images
CN111161275B (zh) 医学图像中目标对象的分割方法、装置和电子设备
CN114972756B (zh) 一种医学图像的语义分割方法及装置
CN111862127A (zh) 图像处理方法、装置、存储介质及电子设备
CN112037171B (zh) 基于多模态特征融合的多任务mri脑瘤图像分割方法
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN112348818B (zh) 一种图像分割方法、装置、设备以及存储介质
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN114298971A (zh) 一种冠状动脉分割方法、***、终端以及存储介质
CN110599495B (zh) 一种基于语义信息挖掘的图像分割方法
CN114037699B (zh) 一种病理图像分类方法、设备、***及存储介质
Jian et al. Dual-branch-UNnet: A dual-branch convolutional neural network for medical image segmentation
CN110827963A (zh) 针对病理图像的语义分割方法和电子设备
US20230386067A1 (en) Systems and methods for segmenting 3d images
CN112884702A (zh) 一种基于内窥镜图像的息肉识别***和方法
CN116740081A (zh) Ct图像中肺血管分割方法、装置、终端设备及介质
CN116433686A (zh) 基于Transformer上下文信息融合的医学图像分割方法及相关设备
Samanta et al. Context aggregation network for semantic labeling in histopathology images
CN116128895A (zh) 医学图像分割方法、装置和计算机可读存储介质
CN115908811A (zh) 一种基于Transformer和卷积注意力机制的CT图像分割方法
CN113177938B (zh) 基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件
CN113724184A (zh) 脑出血预后预测方法、装置、电子设备及存储介质
CN114782532A (zh) 一种用于pet-ct多模态肿瘤分割的空间注意力方法及装置
CN113920099A (zh) 一种息肉分割方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40026152

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant