CN112991355B - 基于最优传输的3d大脑病变分割方法 - Google Patents

基于最优传输的3d大脑病变分割方法 Download PDF

Info

Publication number
CN112991355B
CN112991355B CN202110519585.8A CN202110519585A CN112991355B CN 112991355 B CN112991355 B CN 112991355B CN 202110519585 A CN202110519585 A CN 202110519585A CN 112991355 B CN112991355 B CN 112991355B
Authority
CN
China
Prior art keywords
brain
optimal transmission
mapping
cuboid
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110519585.8A
Other languages
English (en)
Other versions
CN112991355A (zh
Inventor
丘成桐
林文伟
李铁香
黄聪明
乐美亨
王瀚
谭忠恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Applied Mathematics Center
Original Assignee
Nanjing Applied Mathematics Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Applied Mathematics Center filed Critical Nanjing Applied Mathematics Center
Priority to CN202110519585.8A priority Critical patent/CN112991355B/zh
Publication of CN112991355A publication Critical patent/CN112991355A/zh
Application granted granted Critical
Publication of CN112991355B publication Critical patent/CN112991355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明设计了一种基于二阶段最优传输的3D大脑病变分割方法，主要步骤为：针对3D大脑医学影像发展有效、可靠且稳定的二阶段最优传输数值算法，将3D大脑影像二阶段最优传输映射到一个长方体，两者之间的转换所产生的精度损失仅为0.5%左右；选择精度损失最少的映射所得到的长方体图像，放入神经网络进行训练，利用权威网站提供的数据集训练模型，得到数据集的预测结果；借助最优传输映射的逆映射，将其还原至原始大脑影像，得到的训练集及测试集的整体病变分割精度分别达到98.5%及92.0%。

Description

基于最优传输的3D大脑病变分割方法
技术领域
本发明涉及一种大脑智能医学影像的最优传输应用方法，属于医学图像预测处理领域。
背景技术
病变的分割与定量评估是需要非常专业的知识与技术，其对应到大脑上主要体现为大脑肿瘤的分割；这促使近年大力推动发展以人工智能（AI）及机器学习（ML）的技术来执行人体器官内部肿瘤的精准分割任务，进而减轻专业医事人员的判读负担，为临床医生提供视觉和像素级语义解释。
然而医学影像分割问题尤其是三维图像分割，都需要对原始图像进行高效的预处理工作，以便将其应用于相应的机器学习算法。对于大脑医学影像，想要从图像中高效完整地得到大脑的全局信息，国外团队是利用高斯分布随机地选取16组128^3立方体来覆盖3D大脑影像以达到这个效果，但这种做法步骤繁杂，计算过程昂贵；其他团队使用了滑动窗口结合IoU手法，这种方法也是非常局部地针对一个又一个小窗口作分割，很容易丢失数据的全局信息。现今最好的分割结果来自于德国癌症研究中心的团队，他们在整体肿瘤上的测试精度达到88.95%，在核心肿瘤上达到85.06%，在强化肿瘤上达到82.03%，而借助我们的方法，3D脑肿瘤分割精度还可以得到进一步的提高。
发明内容
发明目的：针对上述现有技术存在的问题，本发明提供了一种基于最优传输的3D大脑病变分割方法，主要目标是有效减少脑图像预处理所造成的精度损失，同时保证图像全局信息的完整性，扩大病变信息的影响力，利用合适的神经网络模型，提高病变分割精度。
技术方案：一种基于最优传输的3D大脑病变分割方法，其特征在于，包括以下步骤：
步骤1：构造一种针对3D大脑医学影像的传输成本函数，建立相应的最优传输模型，并设计算法快速求解该模型问题；利用最优传输模型计算3D大脑到长方体的二阶段最优传输映射，得到张量表示的3D大脑医学图像数据集；
步骤1.1：建立3D大脑（
Figure 849484DEST_PATH_IMAGE001
）到单位球体的保质量最优传输模型，计算对应的最优传输映射
Figure 297783DEST_PATH_IMAGE002
。最优传输模型如下，
Figure 608678DEST_PATH_IMAGE003
其中，
Figure 535046DEST_PATH_IMAGE004
表示从3D大脑到单位球体映射的集合，
Figure 880577DEST_PATH_IMAGE005
表示集合
Figure 234197DEST_PATH_IMAGE004
中的映射，
Figure 32389DEST_PATH_IMAGE006
表示3D大脑中点的集合，
Figure 762448DEST_PATH_IMAGE007
表示
Figure 165747DEST_PATH_IMAGE006
中的点，
Figure 690270DEST_PATH_IMAGE008
表示点
Figure 975757DEST_PATH_IMAGE007
传输到点
Figure 243928DEST_PATH_IMAGE009
的传输成本，
Figure 298471DEST_PATH_IMAGE010
表示点
Figure 525053DEST_PATH_IMAGE007
的质量；
步骤1.2：建立长方体（
Figure 297837DEST_PATH_IMAGE011
）到单位球体的保质量最优传输模型，计算对应的最优传输映射
Figure 104119DEST_PATH_IMAGE012
。最优传输模型如下，
Figure 278749DEST_PATH_IMAGE013
其中，
Figure 145074DEST_PATH_IMAGE014
表示从长方体到单位球体映射的集合，
Figure 608416DEST_PATH_IMAGE015
表示集合
Figure 218389DEST_PATH_IMAGE014
中的映射，
Figure 247525DEST_PATH_IMAGE016
表示长方体中点的集合，
Figure 815909DEST_PATH_IMAGE017
表示
Figure 297706DEST_PATH_IMAGE016
中的点，
Figure 711370DEST_PATH_IMAGE018
表示点
Figure 595012DEST_PATH_IMAGE017
传输到点
Figure 271981DEST_PATH_IMAGE019
的传输成本，
Figure 241074DEST_PATH_IMAGE020
表示点
Figure 192850DEST_PATH_IMAGE017
的质量；
步骤1.3：大脑MRI图像与一般的图像不同，是一种四通道3D图像，每个通道分别存放同一个大脑用不同信号源拍摄的影像，并用不同的分辨率展示；其中，大脑MRI图像中包含了大量的空气，体积约占图像的83%，这对图像分割带来了额外的工作与负面影响。最优传输能将不规则的大脑保质量地变为长方体，从而排除空气对大脑病变分割的影响；使用投影梯度法，求解上述两个最优传输模型，利用求解出的最优传输映射
Figure 462157DEST_PATH_IMAGE021
与
Figure 106765DEST_PATH_IMAGE002
，计算3D大脑到长方体的二阶段最优传输映射：
Figure 563154DEST_PATH_IMAGE022
，双射
Figure 318621DEST_PATH_IMAGE023
实现了3D大脑与长方体的一一对应；
步骤2：采用最适合3D大脑图像分割处理的卷积神经网络模型，使用权威网站medicaldecathlon.com提供的3D大脑医学影像数据，将其张量形态数据输入程序，实现图像病变分割的预测；
步骤3：借助二阶段最优传输映射的逆映射将长方体上的预测结果还原到3D大脑上，具体方法为利用双射
Figure 114538DEST_PATH_IMAGE023
的逆映射，将张量形态的预测结果还原到原始3D大脑上，得到3D大脑病变分割的预测结果。
有益效果：
1、本发明通过实现大脑影像一对一的映射变换，也就是一个3D大脑对应变换到一个长方体，节省了输入数据量。一般的方法中，输入数据量都在原始数据量的8倍左右；而本发明方法保证一对一变换，因此输入数据量与原始数据量保持一致；
2、保证图像转化成长方体形状，符合神经网络模型输入规则；
3、通过数据增强手段，有效地减少脑图像变换处理所造成的精度损失，使得整体肿瘤、肿瘤核心、强化肿瘤的变换精度分别能够提升1.49%、2.88%、1.43%；
4、图像处理后保留了大脑全局信息并放大了病变体积，整体肿瘤在脑中的占比扩大了1.86倍，在保证了图像全局信息的完整性的同时，增强了病变影响；
5、选择了最合适的卷积神经网络模型，有效提升了病变分割的精度，相比现有最好的结果，在整体肿瘤、肿瘤核心和强化肿瘤的分割精度上能够分别提升3.07%、2.88%、2.17%。
附图说明
图1是本发明所述的方法步骤流程图。
图2是最优传输变换效果示意图，其中，
Figure 930048DEST_PATH_IMAGE002
代表3D大脑到单位球的映射；
Figure 873733DEST_PATH_IMAGE021
代表长方体到单位球体的映射，
Figure 698469DEST_PATH_IMAGE024
代表其逆映射；
Figure 411210DEST_PATH_IMAGE025
代表
Figure 132042DEST_PATH_IMAGE002
和
Figure 563023DEST_PATH_IMAGE024
相结合的二阶段映射。
图3是具体实施案例中使用到的U-net神经网络架构图；其中concat指串联层；conv(+BN)+ReLu指由卷积层加上归一化处理，ReLu激活函数输出；maxpool指最大池化层；up-conv指上采样或反卷积。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的发明的范围。
实施例1
如图1所示，本发明提供了一种基于最优传输的3D大脑病变分割方法，具体步骤如下：
步骤1：构造一种针对3D大脑医学影像的传输成本函数，建立相应的最优传输模型，并设计算法快速求解该模型问题；利用最优传输模型计算3D大脑到长方体的二阶段最优传输映射，得到张量表示的3D大脑医学图像数据集；
步骤1.1：建立3D大脑（
Figure 863554DEST_PATH_IMAGE001
）到单位球体的保质量最优传输模型，计算对应的最优传输映射
Figure 696381DEST_PATH_IMAGE002
。最优传输模型如下，
Figure 588114DEST_PATH_IMAGE003
其中，
Figure 506391DEST_PATH_IMAGE004
表示从3D大脑到单位球体映射的集合，
Figure 407351DEST_PATH_IMAGE005
表示集合
Figure 94685DEST_PATH_IMAGE004
中的映射，
Figure 422898DEST_PATH_IMAGE006
表示3D大脑中点的集合，
Figure 562892DEST_PATH_IMAGE007
表示
Figure 470805DEST_PATH_IMAGE006
中的点，
Figure 809383DEST_PATH_IMAGE008
表示点
Figure 511759DEST_PATH_IMAGE007
传输到点
Figure 139050DEST_PATH_IMAGE009
的传输成本，
Figure 647392DEST_PATH_IMAGE010
表示点
Figure 43738DEST_PATH_IMAGE007
的质量；
步骤1.2：建立长方体（
Figure 713754DEST_PATH_IMAGE011
）到单位球体的保质量最优传输模型，计算对应的最优传输映射
Figure 828340DEST_PATH_IMAGE012
。最优传输模型如下，
Figure 812477DEST_PATH_IMAGE013
其中，
Figure 328909DEST_PATH_IMAGE014
表示从长方体到单位球体映射的集合，
Figure 169826DEST_PATH_IMAGE015
表示集合
Figure 771708DEST_PATH_IMAGE014
中的映射，
Figure 356273DEST_PATH_IMAGE016
表示长方体中点的集合，
Figure 727212DEST_PATH_IMAGE017
表示
Figure 4609DEST_PATH_IMAGE016
中的点，
Figure 828209DEST_PATH_IMAGE018
表示点
Figure 216465DEST_PATH_IMAGE017
传输到点
Figure 645172DEST_PATH_IMAGE019
的传输成本，
Figure 827892DEST_PATH_IMAGE020
表示点
Figure 404367DEST_PATH_IMAGE017
的质量；
步骤1.3：大脑MRI图像与一般的图像不同，是一种四通道3D图像，每个通道分别存放同一个大脑用不同信号源拍摄的影像，并用不同的分辨率展示；其中，大脑MRI图像中包含了大量的空气，体积约占图像的83%，这对图像分割带来了额外的工作与负面影响。最优传输能将不规则的大脑保质量地变为长方体，从而排除空气对大脑病变分割的影响；使用投影梯度法，求解上述两个最优传输模型，利用求解出的最优传输映射
Figure 330734DEST_PATH_IMAGE021
与
Figure 676265DEST_PATH_IMAGE002
，计算3D大脑到长方体的二阶段最优传输映射：
Figure 295465DEST_PATH_IMAGE022
，双射
Figure 93657DEST_PATH_IMAGE023
实现了3D大脑与长方体的一一对应；
步骤2：搭建多层U-net模型架构，将张量表示的3D大脑图像数据输入模型进行训练，在训练好的模型基础上，得到测试集数据的预测数据；通过采用最适合3D大脑图像分割处理的U-net模型，该模型包含多个编码层和多个解码层，编码层与解码层之间通过桥梁层连接，并且借助串联手段前后联系，使用Python或MATLAB自主编程；借助权威网站medicaldecathlon.com的医学影像数据，将其张量形态数据输入程序，实现图像分割的预测；
步骤3：借助二阶段最优传输映射的逆映射将长方体上的预测结果还原到3D大脑上，具体方法为利用双射
Figure 26978DEST_PATH_IMAGE023
的逆映射，将张量形态的预测结果还原到原始3D大脑上，得到3D大脑病变分割的预测结果。通过U-net模型预测长方体的病变结果后，需要将该结果还原到3D大脑上，步骤1得到的二阶段最优传输映射是双射，能将3D大脑映射为长方体，同时，其逆映射能将长方体还原为3D大脑。
实施例2
如图1所示，本发明提供了一种基于最优传输的3D大脑病变分割方法，其主要针对大脑进行肿瘤分割，具体步骤如下：
步骤1：构造一种针对3D大脑医学影像的传输成本函数，建立相应的最优传输模型，并设计算法快速求解该模型问题；利用最优传输模型计算3D大脑到长方体的二阶段最优传输映射，得到张量表示的3D大脑医学图像数据集；
步骤1.1：采用欧式距离的平方
Figure 961436DEST_PATH_IMAGE026
作为传输成本函数，建立3D大脑（
Figure 751537DEST_PATH_IMAGE027
）到单位球体的保质量最优传输模型，计算对应的最优传输映射
Figure 37025DEST_PATH_IMAGE028
。最优传输模型如下，
Figure 570775DEST_PATH_IMAGE029
其中，
Figure 625318DEST_PATH_IMAGE004
表示从3D大脑到单位球体映射的集合，
Figure 586321DEST_PATH_IMAGE005
表示集合
Figure 93526DEST_PATH_IMAGE004
中的映射，
Figure 368649DEST_PATH_IMAGE006
表示3D大脑中点的集合，
Figure 543279DEST_PATH_IMAGE007
表示
Figure 409604DEST_PATH_IMAGE006
中的点，
Figure 669684DEST_PATH_IMAGE010
表示点
Figure 545236DEST_PATH_IMAGE007
的质量；
步骤1.2：建立长方体（
Figure 574372DEST_PATH_IMAGE030
）到单位球体的保质量最优传输模型，计算对应的最优传输映射
Figure 611598DEST_PATH_IMAGE031
。最优传输模型如下，
Figure 358974DEST_PATH_IMAGE032
其中，
Figure 975900DEST_PATH_IMAGE014
表示从长方体到单位球体映射的集合，
Figure 859543DEST_PATH_IMAGE015
表示集合
Figure 333249DEST_PATH_IMAGE014
中的映射，
Figure 567921DEST_PATH_IMAGE016
表示长方体中点的集合，
Figure 519697DEST_PATH_IMAGE017
表示
Figure 523425DEST_PATH_IMAGE016
中的点，
Figure 902454DEST_PATH_IMAGE020
表示点
Figure 358843DEST_PATH_IMAGE017
的质量；
步骤1.3：使用投影梯度法，求解
Figure 317572DEST_PATH_IMAGE031
与
Figure 175806DEST_PATH_IMAGE028
的最优传输模型：输入三维流形
Figure 991315DEST_PATH_IMAGE033
（包括3D大脑
Figure 935001DEST_PATH_IMAGE027
和长方体
Figure 494158DEST_PATH_IMAGE030
）的四面体剖分（
Figure 206899DEST_PATH_IMAGE034
代表顶点集合，
Figure 193310DEST_PATH_IMAGE035
代表边的集合，
Figure 827553DEST_PATH_IMAGE036
代表三角形面的集合，
Figure 924822DEST_PATH_IMAGE037
代表四面体的集合），三维流形表面三角形单元
Figure 492070DEST_PATH_IMAGE038
的分片常密度函数
Figure 649382DEST_PATH_IMAGE039
，三维流形四面体单元
Figure 833238DEST_PATH_IMAGE037
的分片常密度函数
Figure 468619DEST_PATH_IMAGE040
，误差限
Figure 155952DEST_PATH_IMAGE041
；通过拉伸能量最小化方法（ASEM）计算初始边界映射
Figure 484166DEST_PATH_IMAGE042
，迭代计算最优旋转
Figure 827422DEST_PATH_IMAGE043
，其中
Figure 532073DEST_PATH_IMAGE044
代表二维单位球面，
Figure 73913DEST_PATH_IMAGE045
表示旋转算子的集合，
Figure 573027DEST_PATH_IMAGE046
表示顶点集合
Figure 465897DEST_PATH_IMAGE047
中的点；
令
Figure 443080DEST_PATH_IMAGE048
，
Figure 105006DEST_PATH_IMAGE049
分别表示边界点与内部点，令
Figure 775021DEST_PATH_IMAGE050
，迭代求解线性***
Figure 92870DEST_PATH_IMAGE051
得到最优传输映射
Figure 873744DEST_PATH_IMAGE052
的诱导向量
Figure 390176DEST_PATH_IMAGE053
，即为三维流形到单位球体的保质量最优传输映射的
Figure 231094DEST_PATH_IMAGE054
的诱导向量
Figure 98555DEST_PATH_IMAGE053
，其中
Figure 683120DEST_PATH_IMAGE055
表示三维单位球体，矩阵
Figure 54059DEST_PATH_IMAGE056
的表示如下：
Figure 269140DEST_PATH_IMAGE058
Figure 92739DEST_PATH_IMAGE060
其中
Figure 480995DEST_PATH_IMAGE061
表示矩阵
Figure 706440DEST_PATH_IMAGE056
中对应索引集
Figure 154739DEST_PATH_IMAGE062
的行与
Figure 731214DEST_PATH_IMAGE063
的列一同构成的子矩阵，
Figure 657582DEST_PATH_IMAGE064
同理；
Figure 940795DEST_PATH_IMAGE065
表示三维流形剖分得到的四面体边的集合，
Figure 559996DEST_PATH_IMAGE066
表示对应四面体区域上的顶点，
Figure 358187DEST_PATH_IMAGE067
表示三角形
Figure 822667DEST_PATH_IMAGE068
和三角形
Figure 288283DEST_PATH_IMAGE069
构成的二面角，
Figure 78385DEST_PATH_IMAGE070
、
Figure 98293DEST_PATH_IMAGE071
都代表四面体中连接这两点的边，
Figure 655480DEST_PATH_IMAGE072
表示四面体集合
Figure 913286DEST_PATH_IMAGE073
中的四面体，
Figure 608710DEST_PATH_IMAGE074
表示四面体
Figure 381494DEST_PATH_IMAGE072
的体积，
Figure 453355DEST_PATH_IMAGE075
表示
Figure 627984DEST_PATH_IMAGE072
的密度；最后输出最优传输映射
Figure 759888DEST_PATH_IMAGE052
的诱导向量
Figure 754389DEST_PATH_IMAGE053
，
Figure 833204DEST_PATH_IMAGE053
即为最优传输映射的离散数值结果；
通过最优传输映射
Figure 862339DEST_PATH_IMAGE021
与
Figure 899566DEST_PATH_IMAGE002
计算3D大脑到长方体的二阶段最优传输映射：
Figure 646942DEST_PATH_IMAGE022
，双射
Figure 326185DEST_PATH_IMAGE023
实现了3D大脑与长方体的一一对应；正如图2所示，3D大脑先通过第一阶段的映射
Figure 209827DEST_PATH_IMAGE002
变换成单位球，再借助长方体到单位球映射
Figure 417955DEST_PATH_IMAGE021
的逆映射
Figure 387048DEST_PATH_IMAGE076
，将单位球变换为长方体实现两阶段的变换；
得到的长方体可以直接用于图像分割，由此即将3D大脑数据集转化为长方体数据集，长方体数据集相对3D大脑数据集来说，具有如下特点：(1)整个长方体表示一个3D大脑，排除了空气对图像分割的影响，(2)长方体是等密度的，通常灰度值（密度）高的部位更可能是病变部位，映射到长方体后会放大原始图像中的高密度区域，从而使图像分割更为准确，(3)长方体去除了空气，相比原始图像，长方体图像更小，能加快模型训练的训练速度；
Figure 807665DEST_PATH_IMAGE077
表1. 3D大脑影像分别与96^3和128^3的立方体之间的转换精度损失
由表1可以看出转换成128^3的立方体，精度损失较小，因此在本案例中我们选择了使用128^3的数据进行实验；
步骤2：搭建三层U-net模型架构，将张量表示的3D大脑图像数据输入模型进行训练，在训练好的模型基础上，得到测试集数据的预测数据；通过采用最适合3D大脑图像分割处理的U-net模型，正如图3所示，每个长方体及上方数字代表每个层的输出形状和通道数值，该模型包含三个编码层和三个解码层，相同分辨率的编码层与解码层之间通过桥梁层连接，并且借助串联手段前后联系；使用Python和MATLAB自主编程，借助权威网站medicaldecathlon.com的医学影像数据，将其张量形态数据输入程序，实现图像分割的预测；
Figure 545814DEST_PATH_IMAGE078
表2.三层U-net模型中每一层的参数数量
表2展示了U-net模型每层参数个数的变化，通过该模型的学习，输入数据和输出数据的维度仍然保持一致；
除了三层U-net模型，我们也搭建了四层U-net模型架构，它与三层U-net类似，该模型包含四个编码层和四个解码层，是在三层U-net基础上再加一层的相似模型；
Figure 190421DEST_PATH_IMAGE079
表3.四层U-net模型中每一层的参数数量
由上表可见，四层U-net较三层U-net增加千万级别数量的参数，在同样的设备上，平均每次迭代增加的时间为167s，而前50次迭代所提升的精度仅在0.02%之内，后续迭代的提升几乎可以忽略不计，因此本次研究所选择的模型为三层U-net模型；
步骤3：借助二阶段最优传输映射的逆映射将立方体上的预测结果还原到3D大脑上，具体方法为利用二阶段最优传输
Figure 646811DEST_PATH_IMAGE080
的逆映射，将张量形态的预测结果还原到原始3D大脑上，得到3D大脑病变分割的预测结果。通过U-net模型预测立方体的病变结果后，需要将该结果还原到3D大脑上，步骤1得到的二阶段最优传输映射是双射，能将3D大脑映射为立方体，同时，其逆映射能将立方体还原为大脑。在实际操作中，该过程仅造成了约0.5%的精度损失，这样的损失是由客观硬件条件导致的，不可避免，相对于运用此方法得到的分割精度提升，这样的精度损失是可以接受的；
Figure 667856DEST_PATH_IMAGE081
表4. 3D大脑肿瘤的分割精度
上表展示了基于二阶段最优传输方法的脑肿瘤分割结果，由该表所见，每种肿瘤经过1000次模型迭代训练后，训练精度分别能达到0.9852、0.9743、0.9433，测试精度分别能够达到0.9202、0.8794、0.8420，相比现有最好的结果，在整体肿瘤、肿瘤核心和强化肿瘤的测试精度上分别能够提升3.07%、2.88%、2.17%。
基于二阶段最优映射的肿瘤分割方法，我们还可以对其他器官，例如胰脏、眼球、肝脏等医学影像进行相似的数据处理，再通过高效的分割模型对器官中的病变进行分割；期望建立起一套完整的算法库，实现输入一张医学影像，就能判断该患者器官中是否含有肿瘤，且如果有肿瘤则输出该肿瘤的分割图像，这能为患者提供极为便利的服务，也能为医生提供援助，极大提高医生的工作效率；未来将设计一套成形的医疗软件，将算法库与之结合，包装成一个成熟的器官病变判别及分割软件，提供给有需求的医院，病患在得到医学影像之后就可以自主放入医院的机器中，借助机器中的病变分割软件直接输出纸质结果送到病患手中，医生便可及时对症下药，从而大幅提高医疗效率，提高治愈率，降低死亡率。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (3)

1.基于最优传输的3D大脑病变分割方法，其特征在于，包含以下步骤：
步骤1：构造一种针对3D大脑医学影像的传输成本函数，建立相应的最优传输模型，并使用算法求解该模型问题；利用最优传输模型计算3D大脑到长方体的二阶段最优传输映射，得到张量表示的3D大脑医学图像数据集；
步骤2：搭建图像分割数学模型，将张量表示的3D大脑图像数据输入模型进行训练，利用训练好的模型，得到测试集的预测结果；
步骤3：借助二阶段最优传输映射的逆映射将长方体上的预测结果还原到3D大脑上，得到3D大脑病变分割的预测结果；
其中，所述步骤1包括如下步骤：
步骤1.1：建立3D大脑到单位球体的保质量最优传输模型，计算对应的最优传输映射
Figure 443537DEST_PATH_IMAGE001
；最优传输模型如下，
Figure 196729DEST_PATH_IMAGE003
其中，
Figure 216113DEST_PATH_IMAGE004
表示3D大脑，
Figure 447375DEST_PATH_IMAGE005
表示从3D大脑到单位球体映射的集合，
Figure 769903DEST_PATH_IMAGE006
表示集合
Figure 693996DEST_PATH_IMAGE005
中的映射，
Figure 187295DEST_PATH_IMAGE007
表示3D大脑中点的集合，
Figure 222247DEST_PATH_IMAGE008
表示
Figure 868123DEST_PATH_IMAGE007
中的点，
Figure 963118DEST_PATH_IMAGE009
表示点
Figure 146974DEST_PATH_IMAGE008
传输到点
Figure 595404DEST_PATH_IMAGE010
的传输成本，
Figure 220421DEST_PATH_IMAGE011
表示点
Figure 610951DEST_PATH_IMAGE008
的质量；
步骤1.2：建立长方体到单位球体的保质量最优传输模型，计算对应的最优传输映射
Figure 954207DEST_PATH_IMAGE012
；最优传输模型如下，
Figure 468978DEST_PATH_IMAGE014
其中，
Figure 948501DEST_PATH_IMAGE015
表示长方体，
Figure 509932DEST_PATH_IMAGE016
表示从长方体到单位球体映射的集合，
Figure 74906DEST_PATH_IMAGE017
表示集合
Figure 865138DEST_PATH_IMAGE016
中的映射，
Figure 792643DEST_PATH_IMAGE018
表示长方体中点的集合，
Figure 400342DEST_PATH_IMAGE019
表示
Figure 327978DEST_PATH_IMAGE018
中的点，
Figure 46535DEST_PATH_IMAGE020
表示点
Figure 890863DEST_PATH_IMAGE019
传输到点
Figure 669463DEST_PATH_IMAGE021
的传输成本，
Figure 84395DEST_PATH_IMAGE022
表示点
Figure 606643DEST_PATH_IMAGE019
的质量；
步骤1.3：使用投影梯度法，求解
Figure 39899DEST_PATH_IMAGE023
与
Figure 723821DEST_PATH_IMAGE024
的最优传输模型：输入三维流形
Figure 623119DEST_PATH_IMAGE025
的四面体剖分，其中，三维流形
Figure 276955DEST_PATH_IMAGE025
包括3D大脑
Figure 236820DEST_PATH_IMAGE026
和长方体
Figure 357223DEST_PATH_IMAGE027
，四面体剖分中
Figure 746747DEST_PATH_IMAGE028
代表顶点集合，
Figure 938694DEST_PATH_IMAGE029
代表边的集合，
Figure 956329DEST_PATH_IMAGE030
代表三角形面的集合，
Figure 388578DEST_PATH_IMAGE031
代表四面体的集合，三维流形表面三角形单元
Figure 124453DEST_PATH_IMAGE032
的分片常密度函数
Figure 651249DEST_PATH_IMAGE033
，三维流形四面体单元
Figure 54549DEST_PATH_IMAGE031
的分片常密度函数
Figure 657700DEST_PATH_IMAGE034
，误差限
Figure 615291DEST_PATH_IMAGE035
；通过拉伸能量最小化方法计算初始边界映射
Figure 211358DEST_PATH_IMAGE036
，迭代计算最优旋转
Figure 203585DEST_PATH_IMAGE037
，其中
Figure 732565DEST_PATH_IMAGE038
代表二维单位球面，
Figure 770928DEST_PATH_IMAGE039
表示旋转算子的集合，
Figure 780473DEST_PATH_IMAGE040
表示顶点集合
Figure 502572DEST_PATH_IMAGE041
中的点；
令
Figure 572159DEST_PATH_IMAGE042
，
Figure 628977DEST_PATH_IMAGE043
，
Figure 442212DEST_PATH_IMAGE044
和
Figure 549977DEST_PATH_IMAGE045
分别表示边界点与内部点，令
Figure 852782DEST_PATH_IMAGE046
，迭代求解线性***
Figure 537841DEST_PATH_IMAGE047
得到最优传输映射
Figure 764555DEST_PATH_IMAGE048
的诱导向量
Figure 585880DEST_PATH_IMAGE049
，即为三维流形到单位球体的保质量最优传输映射的
Figure 856324DEST_PATH_IMAGE050
的诱导向量
Figure 763100DEST_PATH_IMAGE049
，其中
Figure 790575DEST_PATH_IMAGE051
表示三维单位球体，矩阵
Figure 466407DEST_PATH_IMAGE052
的表示如下：
Figure 173332DEST_PATH_IMAGE053
Figure 567404DEST_PATH_IMAGE054
其中
Figure 135920DEST_PATH_IMAGE055
表示矩阵
Figure 931837DEST_PATH_IMAGE052
中对应索引集
Figure 809663DEST_PATH_IMAGE056
的行与
Figure 425453DEST_PATH_IMAGE057
的列一同构成的子矩阵，
Figure 797659DEST_PATH_IMAGE058
同理；
Figure 448083DEST_PATH_IMAGE059
表示三维流形剖分得到的四面体边的集合，
Figure 762390DEST_PATH_IMAGE060
表示对应四面体区域上的顶点，
Figure 131054DEST_PATH_IMAGE061
表示三角形
Figure 41373DEST_PATH_IMAGE062
和三角形
Figure 546303DEST_PATH_IMAGE063
构成的二面角，
Figure 765932DEST_PATH_IMAGE064
、
Figure 90734DEST_PATH_IMAGE065
都代表四面体中连接这两点的边，
Figure 67393DEST_PATH_IMAGE066
表示四面体集合
Figure 692409DEST_PATH_IMAGE067
中的四面体，
Figure 82940DEST_PATH_IMAGE068
表示四面体
Figure 160617DEST_PATH_IMAGE066
的体积，
Figure 412738DEST_PATH_IMAGE069
表示
Figure 626682DEST_PATH_IMAGE066
的密度；最后输出最优传输映射
Figure 453692DEST_PATH_IMAGE048
的诱导向量
Figure 18666DEST_PATH_IMAGE049
，
Figure 74477DEST_PATH_IMAGE049
即为最优传输映射的离散数值结果；
通过最优传输映射
Figure 674086DEST_PATH_IMAGE070
与
Figure 406419DEST_PATH_IMAGE001
计算3D大脑到长方体的二阶段最优传输映射：
Figure 193109DEST_PATH_IMAGE071
，双射
Figure 52612DEST_PATH_IMAGE072
实现了3D大脑与长方体的一一对应；3D大脑先通过第一阶段的映射
Figure 506727DEST_PATH_IMAGE001
变换成单位球，再借助长方体到单位球映射
Figure 409961DEST_PATH_IMAGE070
的逆映射
Figure 683947DEST_PATH_IMAGE073
，将单位球变换为长方体实现两阶段的变换；
步骤1.4：通过最优传输映射
Figure 78632DEST_PATH_IMAGE070
与
Figure 715150DEST_PATH_IMAGE001
计算3D大脑到长方体的二阶段最优传输映射：
Figure 664651DEST_PATH_IMAGE074
，双射
Figure 566879DEST_PATH_IMAGE075
实现3D大脑与长方体的一一对应。
2.根据权利要求1所述的基于最优传输的3D大脑病变分割方法，其特征在于，所述步骤2采用最适合3D大脑图像分割处理的神经网络模型，使用医学影像数据，将其张量形态数据输入程序，实现图像病变分割的预测。
3.根据权利要求1所述的基于最优传输的3D大脑病变分割方法，其特征在于，所述步骤3运用二阶段最优传输映射
Figure 627239DEST_PATH_IMAGE075
的逆映射，将张量形态的预测结果还原到原始3D大脑形态，得到最终的3D大脑病变分割结果。
CN202110519585.8A 2021-05-13 2021-05-13 基于最优传输的3d大脑病变分割方法 Active CN112991355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110519585.8A CN112991355B (zh) 2021-05-13 2021-05-13 基于最优传输的3d大脑病变分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110519585.8A CN112991355B (zh) 2021-05-13 2021-05-13 基于最优传输的3d大脑病变分割方法

Publications (2)

Publication Number Publication Date
CN112991355A CN112991355A (zh) 2021-06-18
CN112991355B true CN112991355B (zh) 2021-08-31

Family

ID=76337617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110519585.8A Active CN112991355B (zh) 2021-05-13 2021-05-13 基于最优传输的3d大脑病变分割方法

Country Status (1)

Country Link
CN (1) CN112991355B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814871A (zh) * 2020-06-13 2020-10-23 浙江大学 一种基于可靠权重最优传输的图像分类方法
CN112419267A (zh) * 2020-11-23 2021-02-26 齐鲁工业大学 基于深度学习的脑胶质瘤分割模型及分割方法
CN112766425A (zh) * 2021-03-25 2021-05-07 浙江师范大学 一种基于最优传输的深度缺失聚类机器学习方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017042634A2 (en) * 2015-09-10 2017-03-16 Del Mar Pharmaceuticals Use of dianhydrogalactitol or derivatives and analogs thereof for treatment of non-small-cell lung carcinoma, glioblastoma, and ovarian carcinoma by induction of dna damage and stalling of cell cycle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814871A (zh) * 2020-06-13 2020-10-23 浙江大学 一种基于可靠权重最优传输的图像分类方法
CN112419267A (zh) * 2020-11-23 2021-02-26 齐鲁工业大学 基于深度学习的脑胶质瘤分割模型及分割方法
CN112766425A (zh) * 2021-03-25 2021-05-07 浙江师范大学 一种基于最优传输的深度缺失聚类机器学习方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
图像分割算法和CT缺血性脑中风检测算法研究;钱晓华;《中国博士学位论文全文数据库 信息科技辑》;20130415;I138-58 *

Also Published As

Publication number Publication date
CN112991355A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
Han et al. Combining noise-to-image and image-to-image GANs: Brain MR image augmentation for tumor detection
CN112465827B (zh) 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
Liu et al. An encoder-decoder neural network with 3D squeeze-and-excitation and deep supervision for brain tumor segmentation
RU2720440C1 (ru) Способ сегментации изображения с использованием нейронной сети
RU2720070C1 (ru) Системы и способы сегментации изображения с использованием свёрточной нейронной сети
Sinha et al. Deep learning 3D shape surfaces using geometry images
US20230104173A1 (en) Method and system for determining blood vessel information in an image
Cheng et al. A morphing-Based 3D point cloud reconstruction framework for medical image processing
CN110490917A (zh) 三维重建方法及装置
CN113450396B (zh) 基于骨骼特征的三维/二维图像配准方法及装置
Tang et al. Skeletonnet: A topology-preserving solution for learning mesh reconstruction of object surfaces from rgb images
CN110610478A (zh) 一种基于邻域拓扑的医学图像三维重建方法
CN117078692B (zh) 一种基于自适应特征融合的医疗超声图像分割方法及***
CN113436237B (zh) 一种基于高斯过程迁移学习的复杂曲面高效测量***
CN115018809A (zh) Ct图像的靶区分割识别方法及***
CN107610121B (zh) 一种肝脏统计形状模型初始位姿设定方法
CN116993793A (zh) 基于自适应多门控混合专家模型的腹部多器官配准方法
CN115760874A (zh) 一种基于联合空间域的多尺度U-Net医学图像分割方法
CN115375897A (zh) 图像处理方法、装置、设备及介质
Ge et al. Grayscale medical image segmentation method based on 2D&3D object detection with deep learning
Lei et al. Learning and meshing from deep implicit surface networks using an efficient implementation of analytic marching
Chen et al. Learning mesh representations via binary space partitioning tree networks
Lei et al. Mesh convolution with continuous filters for 3-D surface parsing
CN112991355B (zh) 基于最优传输的3d大脑病变分割方法
Zhu et al. CotepRes-Net: An efficient U-Net based deep learning method of liver segmentation from Computed Tomography images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Qiu Chengtong

Inventor after: Li Tiexiang

Inventor after: Wang Han

Inventor after: Tan Zhongheng

Inventor before: Qiu Chengtong

Inventor before: Lin Wenwei

Inventor before: Li Tiexiang

Inventor before: Huang Congming

Inventor before: Yue Meiheng

Inventor before: Wang Han

Inventor before: Tan Zhongheng