CN113192085A - 三维器官图像分割方法、装置及计算机设备 - Google Patents

三维器官图像分割方法、装置及计算机设备 Download PDF

Info

Publication number
CN113192085A
CN113192085A CN202110512121.4A CN202110512121A CN113192085A CN 113192085 A CN113192085 A CN 113192085A CN 202110512121 A CN202110512121 A CN 202110512121A CN 113192085 A CN113192085 A CN 113192085A
Authority
CN
China
Prior art keywords
organ
dimensional
feature map
dimensional organ
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110512121.4A
Other languages
English (en)
Inventor
张耀
田疆
张杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202110512121.4A priority Critical patent/CN113192085A/zh
Publication of CN113192085A publication Critical patent/CN113192085A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出了一种三维器官图像分割方法、装置及计算机设备，对三维器官图像进行特征提取，得到多个不同尺度的三维器官特征图，本申请提出利用不同层级特征之间的空间相关性信息和语义相关性信息，对相应尺度上的特征图进行校准，以增强目标对象在不同尺度的上下文上的表示，具体可以将不同尺度的三维器官特征图输入，基于空间注意力机制和语义注意力机制训练得到的器官特征校准模型，利用更加完整且精准的空间细节信息和目标语义信息，精准且完整地识别出目标三维特征图中目标对象边缘和类别，据此对三维器官图像进行分割处理，极大提高了器官区域分割效果，即精准识别出三维器官图像包含的不同尺寸的目标对象，如不同尺寸的肿瘤等。

Description

三维器官图像分割方法、装置及计算机设备
技术领域
本申请主要涉及图像处理技术领域，更具体地说是涉及一种三维器官图像分割方法、装置及计算机设备。
背景技术
随着各种图像处理技术的发展，对医学图像的处理和分析研究也越来越多。以肝肿瘤识别场景为例，目前通常是利用图像分割技术，提取所采集到的肝脏图像中的肝肿瘤区域，辅助实现后续图像处理准确性及效率。
在实际应用中，由于不同类别和不同阶段的肝肿瘤的尺度不同，在图像分割处理过程中，在同一尺度的肝脏特征图中，很容易忽略小尺寸的肿瘤，且分割得到的大尺寸肿瘤的边缘可能不完整，导致肝肿瘤区域的识别完整性和准确性都比较低。
发明内容
有鉴于此，本申请提供了一种三维器官图像分割方法，所述方法包括：
获取待分割的三维器官图像；
对所述三维器官图像进行特征提取，得到多个不同尺度的三维器官特征图；
将所述多个不同尺度的三维器官特征图输入器官特征校准模型，输出目标三维器官特征图；其中，所述器官特征校准模型是基于空间注意力机制和语义注意力机制，对不同尺度的样本三维器官特征进行校准训练得到的；
利用所述目标三维器官特征图，对所述三维器官图像进行分割处理，输出所述三维器官图像的器官区域分割结果。
可选的，所述将所述多个不同尺度的三维器官特征图输入器官特征校准模型，输出目标三维器官特征图，包括：
利用相邻尺度的两个所述三维器官特征图之间的空间相关性信息，对较小尺度的所述三维器官特征图进行校准处理，得到相应尺度的待定器官特征图；
利用相邻尺度的两个所述待定器官特征图之间的语义相关性信息，对较大尺度的所述待定特征图进行校准处理，得到相应尺度的候选器官特征图；
对得到的多个不同尺度的所述候选器官特征图进行融合处理，得到目标三维器官特征图。
可选的，所述利用相邻尺度的两个所述三维器官特征图之间的空间相关性信息，对较小尺度的所述器官特征图进行校准处理，得到相应尺度的待定器官特征图，包括：
对相邻尺度的两个所述三维器官特征图进行处理，得到针对较小尺度的三维器官特征图的空间注意力图；
利用所述空间注意力图，对相应的所述较小尺度的三维器官特征图进行校准处理，得到相应尺度的待定器官特征图。
可选的，所述对相邻尺度的两个所述三维器官特征图进行处理，得到针对较小尺度的三维器官特征图的空间注意力图，包括：
对相邻尺度的两个所述三维器官特征图进行合并处理，得到合并特征图；
将所述合并特征图输入空间注意力网络，输出针对所述相邻尺度的两个所述三维器官特征图中，较小尺度的三维器官特征图的空间注意力图。
可选的，所述利用所述空间注意力图，对相应的所述较小尺度的三维器官特征图进行校准处理，得到相应尺度的待定器官特征图，包括：
对所述空间注意力图进行下采样和归一化处理，得到校准器官特征图；
对所述相邻尺度的两个所述三维器官特征图中，较小尺度的三维器官特征图进行格式转换处理，得到与相应的所述空间注意力图的格式相匹配的待校准器官特征图；
对所述待校准器官特征图与相应的所述校准器官特征图进行特征乘积运算，得到相应尺度的待定器官特征图。
可选的，所述利用相邻尺度的两个所述待定器官特征图之间的语义相关性信息，对较大尺度的所述待定器官特征图进行校准处理，得到相应尺度的候选器官特征图，包括：
对得到的相邻尺度的两个所述待定器官特征图进行处理，得到针对较大尺度的待定器官特征图的语义注意力向量；
利用所述语义注意力向量，对相应的所述较大尺度的待定器官特征图进行校准处理，得到相应尺度的候选器官特征图。
可选的，所述对得到的相邻尺度的两个所述待定器官特征图进行处理，得到针对较大尺度的待定器官特征图的语义注意力向量，包括：
对得到的相邻尺度的两个所述待定器官特征图，在通道维度上分别进行最大池化和平均值池化处理，将处理得到的器官特征向量合并，得到语义器官特征向量；
对所述语义器官特征向量进行回归处理，得到针对较大尺度的待定器官特征图的语义注意力向量。
可选的，所述利用所述语义注意力向量，对相应的所述较大尺度的待定器官特征图进行校准处理，得到相应尺度的候选器官特征图，包括：
对所述语义注意力向量进行归一化处理，得到校准语义器官特征向量；
对得到的相邻尺度的两个所述待定器官特征图中，较大尺度的待定器官特征图进行格式转换处理，得到与相应的所述语义注意力向量的格式相匹配的待校准待定器官特征图；
对所述待校准待定器官特征图与所述校准语义器官特征向量进行乘积运算，得到相应尺度的候选器官特征图。
本申请还提出了一种三维器官图像分割装置，所述装置包括：
图像获取模块，用于获取待分割的三维器官图像；
特征提取模块，用于对所述三维器官图像进行特征提取，得到多个不同尺度的三维器官特征图；
特征校准模块，用于将所述多个不同尺度的三维器官特征图输入器官特征校准模型，输出目标三维器官特征图；其中，所述器官特征校准模型是基于空间注意力机制和语义注意力机制，对不同尺度的样本三维器官特征进行校准训练得到的；
图像分割模块，用于利用所述目标三维器官特征图，对所述三维器官图像进行分割处理，输出所述三维器官图像的器官区域分割结果。
本申请还提出了一种计算机设备，所述计算机设备包括：
通信模块；
存储器，用于存储实现如上述的三维器官图像分割方法的程序；
处理器，用于加载并执行所述存储器存储的程序，以实现如上述的三维器官图像分割方法的各步骤。
由此可见，本申请提出了一种三维器官图像分割方法、装置及计算机设备，为了精准识别三维器官图像包含的不同尺寸的目标对象，如不同尺寸的肝脏肿瘤等，可以对三维器官图像进行特征提取，得到多个不同尺度的三维器官特征图，本申请提出利用不同层级特征之间的空间相关性信息和语义相关性信息，对相应尺度上的特征图进行校准，以增强目标对象(如肝脏肿瘤等)在不同尺度的上下文上的表示，具体可以将不同尺度的三维器官特征图输入，基于空间注意力机制和语义注意力机制训练得到的器官特征校准模型，利用更加完整且精准的空间细节信息和目标语义信息，精准且完整地识别出目标三维特征图中目标对象边缘和类别，据此对三维器官图像进行分割处理，极大提高了器官区域分割效果，即精准识别出三维器官图像包含的不同尺寸的目标对象，如不同尺寸的肿瘤等。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提出的三维器官图像分割方法的一可选示例的流程示意图；
图2为本申请提出的三维器官图像分割方法中，获取不同尺度三维器官特征图一可选特征提取模型的结构示意图；
图3为本申请提出的三维器官图像分割方法的又一可选示例的流程示意图；
图4为本申请提出的三维器官图像分割方法的又一可选示例的流程示意图；
图5为本申请提出的三维器官图像分割方法的又一可选示例的流程示意图；
图6为本申请提出的三维器官图像分割方法中，基于空间注意力机制获取待定器官特征图的一可选示例的流程示意图；
图7为本申请提出的三维器官图像分割方法中，基于空间注意力机制获取待定器官特征图的又一可选示例的流程示意图；
图8为本申请提出的三维器官图像分割方法中，基于语义注意力机制获取候选器官特征图的一可选示例的流程示意图；
图9为本申请提出的三维器官图像分割方法中，基于语义注意力机制获取候选器官特征图的又一可选示例的流程示意图；
图10为本申请提出的三维器官图像分割装置的一可选示例的结构示意图；
图11为本申请提出的三维器官图像分割装置的又一可选示例的结构示意图；
图12为适用于本申请提出的三维器官图像分割方法和装置的计算机设备的一可选示例的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合，也就是说，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，本申请中使用的“***”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
另外，本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
针对背景技术部分的描述，由于卷积神经网络等图像分割模型利用多层不同尺度的卷积核，提取不同层级的图像特征，从而在不同的卷积层上实现相应大小器官(如肝脏肿瘤)区域的识别，但这种图像分割方法直接对多层级信息进行融合，并未考虑不同层级的特性以及相互之间的相关性，这将会影响最终的器官识别效果，即降低三维器官图像分割准确性。
为了改善上述问题，随着人工智能(Artificial Intelligence，AI)包含的深度学习、机器学习以及计算机视觉等技术在图像处理领域的应用，本申请提出基于注意力机制(Attention Mechanism，AM)实现三维器官图像分割。注意力机制可以利用人类视觉机制进行直观解释，可以认为是一种资源分配的机制，即根据注意力对象(如从图像中提取的某特征等)的重要程度分配资源，重要的对象分配多一些资源，不重要或不好的对象少分一些资源，本申请对注意力机制的具体工作原理不做详述。
基于此，在本申请实施例中，可以获取不同卷积层提出的器官特征之间的空间相关性和语义相关性，从而依据这些相关性来调整不同器官特征的权重，增强待识别对象(如肝脏肿瘤)在不同尺度的上下文信息的表示，即从通道和空间维度上提高网络对感兴趣区域(即待识别对象所在区域，如肝脏肿瘤区域)的权重，降低非感兴趣区域(如肝脏图像中的非肿瘤区域等)的权重，以便据此更有效且精准地提取不同尺度的感兴趣区域的特征，即提高三维器官图像分割效果，进而提高肝脏肿瘤识别精准度。需要说明，本申请提出的三维器官图像分割方法并不局限于肝脏肿瘤识别场景，对于其他器官的识别场景的实现过程类似，本申请不做一一详述。
结合上文对本申请提出的三维器官图像分割方法的技术构思的相关描述，下面将结合肝脏肿瘤识别场景这一应用示例，来详细说明本申请提出的三维器官图像分割方法，其包括但并不局限于下文各实施例描述的方法步骤。
参照图1，为本申请提出的三维器官图像分割方法的一可选示例的流程示意图，该方法可以适用于计算机设备，该计算机设备可以是服务器，或者是具有一定数据处理能力的终端设备。该服务器可以是独立的物理服务器，也可以是多个物理服务器集成的服务器集群，还可以是具有云计算能力的云服务器等；该终端设备可以包括但并不局限于：智能手机、平板电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digitalassistant，PDA)、增强现实技术(Augmented Reality，AR)设备、虚拟现实(Virtual Reality，VR)设备、机器人、台式计算机等，本申请对计算机设备的设备类型不做限制，可视情况而定。
如图1所示，本实施例提出的三维器官图像分割方法可以包括但并不局限于以下步骤：
步骤S11，获取待分割的三维器官图像；
在本申请中，待分割的三维器官图像可以通过对被检测对象(如具有待识别器官的生命体，如生病患者等)进行扫描，得到相应身体部分的三维图像，由于不同应用场景下的被检测对象不同，其对应扫描的身体部分不同，所得到的待分割的三维器官图像的内容也会相应改变，本申请对待分割的三维器官图像的内容及其获取方法不做限制。
可以理解，上述三维器官图像是由独立的图像采集设备按照但并不局限于上文方式采集得到，再发送至计算机设备；也可以由计算机设备自身所具有的图像采集器实现对被检测对象的三维图像扫描，得到相应的待分割的三维器官图像，具体实现过程可视情况而定，本申请不做详述。
步骤S12，对三维器官图像进行特征提取，得到多个不同尺度的三维器官特征图；
在如肝脏肿瘤识别场景下，由于肝脏肿瘤的尺寸大小不一，为了能够精准识别出三维器官图像包含的各尺寸的肝脏肿瘤，本申请提出利用具有多种不同尺度的特征提取网络，对获取的三维器官图像进行特征提取(即不同分辨率的下采样)，得到包含不同尺寸的肝脏肿瘤特征的相应尺度的三维器官特征图。具体可以使用卷积神经网络对输入的三维器官图像进行编码，提取网络不同深度的特征，这样，对于浅层特征感受野和宽度都较小，其更关注局部低级纹理特征；而深层特征感受野和宽度都较大，更关注高级语义信息，这样，本申请利用具有不同尺度的卷积核的卷积神经网络对三维器官图像进行特征提取，能够得到包含多维度信息的不同尺度的特征图。
为了使得到的特征图包含更全面且精准的特征信息，本申请可以选择全卷积神经网络组成的金字塔特征提取网络，即特征金字塔网络(Feature Pyramid Networks，FPN)实现对三维器官图像的特征提取，得到更高质量的特征图，本申请对该特征金字塔网络的具体网络结构不做限制。
参照图2所示的特征金字塔网络的结构示意图，特征金字塔网络可以包括一个编码器和一个解码器，且该编码器和解码器可以由一个瓶颈层连接起来。如图2所示的网络结构，该编码器可以包括一系列卷积层和池化层，以不断减小特征尺度；而解码器与该编码器相对应，也有相应尺度的一系列卷积层和反卷积层构成，以不断扩大特征尺度，将每一个尺度的输出组合在一起，输出多尺度的三维器官特征图。
可见，相对于如RCNN(Region-Convolutional Neural Network)网络等其他特征提取网络，该特征金字塔网络对同一层级的卷积层(下采样)和反卷积层(上采样)实现了横向连接，以保证输出的该层级的三维器官特征图包含更加详细且准确的语义信息和位置信息等，这样既可以在不同分辨率的特征图(即不同尺度的三维器官特征图)上检测对应尺度的目标(如肝脏等器官)，同时由于每一卷积层输出的特征图来源于当前层和更高层级的特征融合，从而使得到的各尺度的特征图都具有足够的特征表达能力，如检测到图像中的空间信息、高级语义信息等，有助于提高图像分割效果。其中，该横向连接可以使用1×1×1的卷积实现，但并不局限于这种实现方式，可视情况而定。
示例性的，本申请实施例以具有5个不同尺度的卷积层的特征提取网络为例进行说明，如图2所示，这5个卷积层及对应反卷积层从上倒下的卷积核尺寸依次可以为128×128×128×32、64×64×64×64、32×32×32×128、16×16×16×256、8×8×8×320，依据特征金字塔网络的工作原理可知，具有不同尺寸卷积核的层级，对输入的三维器官图像进行特征提取，将得到相应尺度的三维器官特征图，具体实现过程不做详述。其中，实现编码器和解码器之间连接的瓶颈层的尺度可以是4×4×4×320，据此和反卷积层实现对高级语义信息的检测提取，本申请对特征金字塔网络如何实现对输入图像的特征提取实现过程不做详述。
需要说明，关于特征金字塔网络包含的各卷积核尺寸大小，并不局限于图2所示尺寸，且特征金字塔网络包含的卷积和反卷积层数，可以根据实际情况需求确定，包括但并不局限于图2所示的层级数。
在本申请实际应用中，可以利用如上文描述的初始特征提取模型，对样本三维器官图像进行训练，直至满足训练约束条件(如提取得到的各特征图的损失值小于损失阈值或收敛等，本申请对该条件内容不做限制，可视情况而定)，得到具有相应网络结构的特征提取模型。这样，在实际获取待分割的三维器官图像后，可以直接调用预训练得到的特征提取模型，将该三维器官图像输入该特征提取模型，输出多个不同尺度的三维器官特征图，相对于在线调整特征提取网络参数的处理方式，提高了特征提取处理效率。
在一些实施例中，本申请还可以计算本次得到的三维器官特征图的损失值，据此调整特征提取模型的网络参数，进一步提高特征提取模型的输出准确性，进而提高图像分割精准度。需要说明，本申请对上述基于特征金字塔网络进行特征提取模型训练的具体实现过程不做详述，且包括但并不局限于上文描述的训练实现及应用过程。
步骤S13，将多个不同尺度的三维器官特征图输入器官特征校准模型，输出目标三维器官特征图；
如上文对本申请技术构思的确定过程的相关描述，本申请希望在对多层级特征信息进行融合的同时，考虑不同层级图像特征的特点和相关性，以实现了对三维器官图像中不同尺寸对象(如肝脏肿瘤)的精准分割。所以，本申请提出预先基于空间注意力机制和语义注意力机制，对不同尺度的样本三维器官特征进行校准训练，得到的器官特征校准模型，具体训练实现方法本申请不做限制。
在本申请实施例中，由于本申请可以采用特征金字塔网络对三维器官图像进行特征提取，得到多尺度三维器官特征图，由该特征金字塔网络所具有的输入图像处理特点可知，高层级的特征图会关注全局高级语义信息，低层级的特征图会关注局部低级纹理，所以，本申请在器官特征校准模型的训练实现过程中，如图3所示，通过计算高层特征与底层特征之间的空间相关性，可以将高层级特征图中的语义信息引入低层级特征图中；且通过计算低层特征与高层特征之间的语义相关性，可以将底层特征的空间关系引入高层特征中，从而保证最终得到的多个不同尺度的候选三维器官特征图能够更详细、准确地包括待识别对象的空间信息和语义信息。
其中，在上述模型训练过程中，对于每一处理步骤得到的特征图，均可以加入监督信号(如采集到的三维器官图像)，计算相应的损失值，以据此调整网络参数，如上述特征提取网络的网络参数，提高特征提取网络的输出可靠性和准确性。
具体的，继上文描述，在基于空间注意力机制，对提取到的多个不同尺度的三维器官特征图进行校准处理，得到相应尺度的多个待定器官特征图后，可以利用预设的损失函数，计算每一个待定器官特征图的损失值，以便据此调整网络参数；同理，在基于语义意力机制，对得到多个不同尺度的待定器官特征图做进一步校准处理，得到相应尺度的多个候选三维器官特征图后，可以利用预设的损失函数，计算每一个候选三维器官特征图的损失值，以便据此调整网络参数，本申请对模型训练所使用的损失函数的类型，以及如何依据该损失函数实现模型训练的具体实现过程不做详述。
之后，本申请可以将最终得到的多个不同尺度的候选三维器官特征图融合在一起，如通过一个卷积层实现多个不同尺度的候选三维器官特征图的融合处理，从而使得到的一个目标三维器官特征图中，能够包含颜色特征、纹理特征等基本目标特征外，还会包括空间细节特征和目标语义特征，有助于实现目标对象更精准地分割识别。
步骤S14，利用目标三维器官特征图，对三维器官图像进行分割处理，输出三维器官图像的器官区域分割结果。
如上述分析，对于多层不同尺度的三维器官特征图，本申请通过引入不同层级特征之间的空间相关性和语义相关性，从而依据这些相关性调整直接提取到的相应尺度上的三维器官特征的特征权重，增强了待识别对象(如肝脏肿瘤等)在不同尺度的上下文上的表示，这样，将最终得到的多个不同尺度的候选三维器官特征图融合在一起，可以利用器官特征自身的特点，以及所检测到的空间细节信息和目标语义信息，更加精准且完整地识别出目标对象边缘，以提高三维器官图像的器官区域分割效果，即精准识别出三维器官图像包含的不同尺寸的目标对象，如不同尺寸的肿瘤等。
参照图4，为本申请提出的三维器官图像分割方法的又一可选示例的流程示意图，本实施例可以是对上述实施例描述的三维器官图像分割方法的一可选细化实现方法，但并不局限于本实施例描述的这种细化实现方法。参照上图3所示的三维器官图像分割方法的处理流程示意图，本实施例提出的细化实现方法可以包括：
步骤S41，获取待分割的三维器官图像；
步骤S42，对三维器官图像进行特征提取，得到多个不同尺度的三维器官特征图；
关于步骤S41和步骤S42的实现过程可以参照上述实施例相应部分的描述，本实施例在此不做赘述。
步骤S43，利用相邻尺度的两个三维器官特征图之间的空间相关性信息，对较小尺度的三维器官特征图进行校准处理，得到相应尺度的待定器官特征图；
参照上图3所示的器官特征校准模型的网络结构，在特征提取网络输出的不同尺度的三维器官特征图中，对于相邻尺度的任意两个三维器官特征图，在各自获取过程中所检测到的空间细节信息和目标语义信息是不同的，具体的，相对较高层级的三维器官特征图更关注目标语义信息，而低层级的三维器官特征图更关注空间细节信息。
可见，较高层级的三维器官特征图(即较小尺度的特征图)的空间细节信息相对较少，因此，本实施例提出利用这两个相邻层级的三维器官特征图之间的空间相关性信息，对该较高层级的三维器官特征图进行空间信息校准处理，以丰富相应尺度的三维器官特征图的空间细节信息，有利于更精准地确定目标位置。为了方便描述，本实施例可以将校准后的三维器官特征图记为相应尺度的待定器官特征图。
需要说明，本申请对如何利用空间注意力机制，获得相邻尺度的两个三维器官特征图之间的空间相关性信息的实现方法不做限制，可以依据空间注意力机制的工作原理确定，本申请实施例在此不做详述。
步骤S44，利用相邻尺度的两个待定器官特征图之间的语义相关性信息，对较大尺度的待定特征图进行校准处理，得到相应尺度的候选器官特征图；
与上述步骤S43描述的空间信息校准的处理过程不同的，由于较低层级的三维器官特征图(即较大尺度的特征图)的目标语义信息相对较少，为了能够结合目标语义信息，更精准识别该三维器官特征图中的目标区域(如肝脏肿瘤区域)，本实施例将继续获取相邻尺度的两个待定器官特征图之间的语义相关性信息，从而利用该语义相关信息，对较低层级的三维器官特征图进行语义信息校准，以得到包含更详细且准度的目标语义信息的候选器官特征图。
应该理解的是，对于直接从采集到的三维器官图像中，提取到的不同尺度的三维器官特征图，本申请依次利用相邻层级特征的空间相关性和语义相关性进行校准处理，使得最终得到的各尺度的候选器官特征图中，均包含有可靠且准确的空间细节信息和目标语义信息，
而且，需要说明，在对提取到的不同尺度的三维器官特征图进行校准处理过程中，根据需要，也可以先利用相邻尺度的两个三维器官特征图之间的语义相关性信息，对较大尺度的三维器官特征图进行校准处理，再按照上述步骤S43描述的方式，对相邻尺度的校准后的特征图继续进行空间校准，实现过程类似，本申请不做详述。可见，本申请对上述器官特征校准模型中，基于空间相关性进行校准，与基于语义相关性进行校准的执行顺序不做限制，可视情况而定。
步骤S45，对得到的多个不同尺度的候选器官特征图进行融合处理，得到目标三维器官特征图；
步骤S46，利用目标三维器官特征图，对三维器官图像进行分割处理，输出三维器官图像的器官区域分割结果。
继上文描述，本申请利用得到的目标三维器官特征图，可以实现对各尺寸目标对象边缘的完整且精准地识别，依据该识别结果进行图像分割，可以得到三维器官图像的器官区域分割结果，即精准识别出三维器官图像中不同尺寸的目标对象，如不同尺寸的肝脏肿瘤等，关于如何利用特征图进行图像分割处理的实现过程，本申请不做详述。
由此可见，本申请实施例对采集到的三维器官特征图进行特征提取，得到不同尺度的三维器官特征图后，考虑到不同尺度的三维器官特征图获取过程中，对输入相应层级网络图像所检测到的空间细节信息、目标语义信息存在差异，如丢失部分空间细节信息或目标语义信息，因此，直接利用提取到的同尺度的三维器官特征图进行图像分割处理，将会降低三维器官图像的分割效果，如可能无法可靠、完整识别出不同尺寸的目标对象。
为了解决上述问题，本申请实施例提出获取相邻尺度的特征图之间的空间相关性信息，对高层级网络输出的由于分辨率减小而丢失的很多细节的特征图，将利用该空间相关性信息，对相对缺少空间细节信息的特征图进行校准，以完善该尺度的特征图包含的空间细节信息；同理，利用本次校准后得到的相邻尺度的特征图之间的语义相关性信息，对其中缺少目标语义信息的特征图进行校准，从而使最终得到的不同尺度的特征图众，能够包含相对完整且精准的空间细节信息和目标语义信息，这样，将这多尺度的特征图融合为一个目标三维器官特征图进行图像分割，能够可靠且精准地识别出三维器官图像中不同尺度的肝脏肿瘤等目标对象。
参照图5，为本申请提出的三维器官图像分割方法的又一可选示例的流程示意图，本实施例可以是上述实施例描述的三维器官图像分割方法的进一步细化实现方法，主要是对特征图的校准处理过程的细化实现方法的描述，但并不局限于本实施例描述的细化实现方法。如图5所示，该细化实现方法可以包括：
步骤S51，获取待分割的三维器官图像；
步骤S52，将三维器官图像输入金字塔特征提取模型，输出多个不同尺度的三维器官特征图；
结合上文实施例相应部分的描述，金字塔特征提取模型是基于特征金字塔网络，对样本三维器官图像进行训练得到的，具体训练实现过程本申请实施例在此不做详述。
需要说明，对于从三维器官图像中，提取多个不同尺度的三维器官特征图的特征提取模型，包括但并不局限于金字塔特征提取模型，根据实际需求，也可以采用其他类型的特征提取网络进行建模，本申请在此不做一一详述。
步骤S53，对相邻尺度的两个三维器官特征图进行处理，得到针对较小尺度的三维器官特征图的空间注意力图；
步骤S54，利用空间注意力图，对相应的较小尺度的三维器官特征图进行校准处理，得到相应尺度的待定器官特征图；
计算机视觉(computer vision)中的注意力机制(attention)的主要是要让***把注意力放在感兴趣的地方，如本申请中采集到的三维器官图像中待识别的目标对象，具体可以是三维肝脏图像中各种尺寸的肿瘤。
具体的，本申请实施例中，可以采用基于空间注意力机制的软注意力，对相邻尺度的两个三维器官特征图进行处理，即将相邻尺度的两个三维器官特征图中的空间域信息进行对应的空间变换，将关键的信息(即感兴趣区域的信息，如肝脏肿瘤所在区域的信息)提取出来，需要说明，本申请具体可以结合相邻尺度的两个三维器官特征图的空间域信息，来获得较小尺度的一个三维器官特征图中器官区域(即三维坐标确定的区域)，得到能够更准确体现待识别的目标对象的特征图，记为空间注意力图。需要说明，本申请对如何获得空间注意力图的具体实现方法不做限制。
如上述分析，本申请得到的空间注意力图不仅实现对了目标对象所在区域的更精准度定位识别，且引入了相邻较大尺度的三维器官特征图的目标语义信息，所以，本实施例利用该空间注意力图对直接提取的较小尺度的三维器官特征图进行校准，能够改善提取该较小尺度的三维器官特征图过程中，所引入的底层网络的噪声，以及高层网络因分辨率减小而丢失的很多空间细节信息，从而使校准后得到的该尺度的待定器官特征图，能够更加清晰体现目标对象的更加完整的空间细节信息以及目标语义信息，本实施例对上述校准处理的具体实现过程不做详述。
步骤S55，对得到的相邻尺度的两个待定器官特征图进行处理，得到针对较大尺度的待定器官特征图的语义注意力向量；
步骤S56，利用该语义注意力向量，对相应的较大尺度的待定器官特征图进行校准处理，得到相应尺度的候选器官特征图；
与上文描述的对各相对底层网络输出的较小尺度的三维器官特征图的空间域关键信息的校准，考虑到相对较高层网络输出的较大尺度的三维器官特征图，因更关注全局语义信息而忽略其他方面的信息，所以，本实施例利用相邻尺度的两个待定器官特征图，来获取较大尺度的待定器官特征图的语义注意力向量，以使该语义注意力向量引入底层网络所检测出的空间细节信息。
因此，本申请实施例利用该语义注意力向量，对相应的较大尺度的待定器官特征图进行校准，不仅可以依据高层网络检测到的目标语义信息，来改善底层网络输出的特征图中的语义信息，且保证了校准后得到的候选器官特征图能够包含更加精准的空间细节信息。
步骤S57，对得到的多个不同尺度的候选器官特征图进行融合处理，得到目标三维器官特征图；
步骤S58，利用目标三维器官特征图，对三维器官图像进行分割处理，输出三维器官图像的器官区域分割结果。
综上，在本申请实施例中，利用金字塔特征提取模型对三维器官图像进行特征提取，得到多个不同尺度的三维器官特征图后，为了解决不同层级网络可能无法同时检测图像中完整、详细的空间细节信息和目标语义信息的问题，更精准、可靠识别三维器官图像中不同尺寸的目标对象(如肝脏、肝脏肿瘤)，提出利用相邻不同层级网络输出的特征图各自包含的特征优势，如空间细节信息或目标语义信息，基于相应的注意力机制进行处理，得到用以校准本层级网络输出的相应尺度的特征图的校准信息，以丰富该特征图包含的空间细节信息和目标语义信息，从而使校准后的候选器官特征图包含的空间特征、语义特征更加精准且详细，这样，据此对三维器官图像进行分割处理，极大提高了三维器官图像的器官区域分割效果，精准且完整地识别出三维器官图像中的目标对象，满足当前应用场景对目标对象的定位识别需求。
参照图6，为本申请提出的三维器官图像分割方法的又一可选示例的流程示意图，本实施例主要对上文实施例中利用相邻尺度的两个三维器官特征图之间的空间相关性信息，对较小尺度的三维器官特征图进行校准处理，得到相应尺度的待定器官特征图的实现过程进行细化描述，对于三维器官图像分割方法的其他实现步骤，可以参照上述实施例相应部分的描述，本实施例不做赘述。如图6所示，本实施例提出的细化实现方法可以包括：
步骤S61，对相邻尺度的两个三维器官特征图进行合并处理，得到合并特征图；
步骤S62，将该合并特征图输入空间注意力网络，输出针对相邻尺度的两个三维器官特征图中，较小尺度的三维器官特征图的空间注意力图；
参照图7所示的一种三维器官特征图校准实现方法的流程示意图，结合上文实施例描述的基于空间注意力机制，实现三维器官特征图校准的技术构思可知，本申请实施例希望获取空间注意力图过程中，不仅能够确定本层级网络输出的相应尺度的三维器官特征图中的空间细节信息，还能够引入相邻低层级网络输出的三维器官特征图中的目标语义信息。
基于此，针对任一层级网络输出的相应尺度的三维器官特征图，在获取用于校准该三维器官特征图的空间注意力图时，本申请实施例可以对本层级网络输出的三维器官特征图进行上采样，得到相邻较低层级网络输出的三维器官特征图，将其与本层级网络输出的三维器官特征图合并(如可以采用但并不局限于Concat函数实现)，得到更多通道维度的合并特征图，从而使该合并特征图相对于本层级网络输出的三维器官特征图，包含更精准且完整的空间细节信息和目标语义信息。
之后，本申请将包含相邻两个层级网络输出的三维器官特征图的合并特征图输入空间注意力网络，相对于直接将本层级网络输出的三维器官特征图输入空间注意力网络，本实施例这种空间注意力图像的获取方式，可以将高层级网络输出的三维特征图包含的目标语义信息，引入底层网络输出的三维器官特征图，同时充分利用低层级网络输出的三维器官特征图包含的更精准且完整的空间特征，以精准识别定位较高层级网络输出的三维器官特征图中的目标对象所在区域，也就是说，本实施例得到的空间注意力图所表示的目标对象的空间细节信息更完整且准确。需要说明，本申请对空间注意力网络的具体网络结构不做限制，可以基于空间注意力机制的工作原理确定。
示例性的，对于金字塔提取模型中，不同层级网络以相应大小的分辨率对输入图像进行编码，输出的相应尺度的三维器官特征图可以记为Fi，i可以表示金字塔提取模型中的网络层级数，即i∈[0,L-1]，L可以表示网络层级数量，如图2和图3所示的特征金字塔提取网络结构，其编码器和解码器均包含有五层网络，即L＝5，这5层网络分别记为Level0、Level1、Level2、Level3和Level4，不同层级网络输出的相应尺度的三维器官特征图Fi∈RCi ×Di×Hi×Wi，即第i个尺度的特征图可以由空间变换矩阵方式表示，该空间变换矩阵中的元素分别为通道C、深度D、高H、宽W，其具体数值可以依据该层级卷积网络的卷积核尺寸大小确定，本申请对各尺度三维器官特征的获取过程不做详述。
基于此，本实施例在获取空间注意力图过程中，对于合并处理得到的包含相邻两个层级网络输出的三维器官特征图的合并特征图，输入池化层，将分别对其进行最大池化(如图6所示的Max处理过程)和平均值池化处理(如图6所示Avg处理过程)，以实现对并联的这两个相邻尺度的三维器官特征图在空间维度上的特征提取，再将处理得到的两个三维器官特征图拼接成一个特征图Ti spa，具体实现过程本实施例不做详述。
之后，将拼接得到的特征图输入多层感知器MLP构成的全连接层进行处理，将得到的特征图记为空间注意力图，如图7所示，本示例的多层感知器MLP可以由三层卷积网络构成，即三层的感知机，但并不局限于该网络结构，可视情况而定。
步骤S63，对空间注意力图进行下采样和归一化处理，得到校准器官特征图；
继上文描述，本申请提出基于空间注意力机制，对相邻两个尺度的三维器官特征合并后的合并特征图进行处理，回归为一个注意力图Ai m，记为校准器官特征图，用以实现对高层级网络输出的较小尺度的三维器官特征图进行校准处理。因此，在该校准处理过程中，为了能够实现两个特征图之间的运算，可以对上述得到的空间注意力图进行回归处理，具体的，可以对该空间注意力图进行下采样(Downsample)，减少特征图包含的像素数量，再利用Sigmoid激活函数对下采样得到的特征图进行归一化处理，得到校准器官特征图Ai m，具体实现过程本申请不做限制。
其中，回归得到的注意力图即校准器官特征图Ai m可以定义为：
Figure BDA0003060673980000181
在该公式(1)中，fspa()可以表示一个三层的卷积网络，即三层的感知机，θ可以标志该感知机的网络参数，关于空间注意力图的具体获取过程可以依据空间注意力机制的工作原理确定，本申请实施例在此不做详述，需要说明，由于本申请是对相邻尺度的两个三维器官特征图合并后的合并特征图进行空间注意力处理，引入了高层级网络输出的较大尺度三维器官特征图所检测到的目标语义信息，提高了所得校准器官特征图所包含的各特征权重的精准度，可以作为较小尺度的三维器官特征图的校准参考特征图，以改善该较小尺度的三维器官特征图中的空间细节信息和目标语义信息，有助于完整且准确识别目标对象边缘，提高图像分割效果。
步骤S64，对相邻尺度的两个三维器官特征图中，较小尺度的三维器官特征图进行格式转换处理，得到与相应的空间注意力图的格式相匹配的待校准器官特征图；
步骤S65，对待校准器官特征图与相应的校准器官特征图进行特征乘积运算，得到相应尺度的待定器官特征图。
在实际应用中，由于归一化处理后得到的校准器官特征图，与特征提取模型直接输出的本尺度的三维器官特征图的存在一定的格式差异，无法对这两个特征图直接进行运算，所以，本实施例提出先对本尺度的三维器官特征图，即相邻尺度的两个三维器官特征图中，较小尺度的三维器官特征图进行格式转换处理，如可以利用一个1×1×1的卷积层对该较小尺度的三维器官特征图进行处理，再将得到的待校准器官特征图与校准器官特征图进行特征乘积运算，如
Figure BDA0003060673980000182
得到校准后的相应尺度的待定器官特征图Fi spa，具体计算过程本申请不做详述。
由此可见，在对任意相邻两个尺度的三维器官特征图进行空间相关性计算，将高层的语义概念引入到底层特征中，对较小尺度的三维器官特征图进行特征校准，得到待定器官特征图的实现过程，可以按照如下公式所表示的计算方法实现：
Figure BDA0003060673980000191
在上述公式(1)中，Fi spa可以表示第i个尺度的三维器官特征图校准后的注意力特征，即上述待定器官特征图包含的特征，其表示了该尺度三维器官特征图中最具信息量的特征，fspa(Fi,Fi-1)可以表Fi与Fi-1的关系，如上图7所示，可以由三层卷积网络构成的感知机进行回归处理得到，但并不局限于这种获取方式；gspa(Fi)可以用于实现Fi的特征映射，即上述步骤S64所述的格式转换处理，得到的待校准器官特征图；C是正则化因素，1/C(fspa(Fi,Fi-1))可以表示上文步骤S63描述的处理过程，因此，
Figure BDA0003060673980000193
即上述校准器官特征图。
综上，相对于直接对本尺度的三维器官特征图进行空间注意力处理，来对该三维器官特征图进行校准的处理方式，本实施例提出的通过计算相邻尺度的三维器官特征图包含的特征的空间相关性，将高层网络输出的较小尺度的三维器官特征图中的目标语义信息，引入底层网络输出的较大尺度的三维器官特征图中，提高了所得校准器官特征图包含的空间细节信息和目标语义信息的完整性和精准度，这样，由此对较小尺度的三维器官特征图进行校准，能够可靠且准确识别出目标对象边缘及类别，有助于提高图像分割效果。
参照图8，为本申请提出的三维器官图像分割方法的又一可选示例的流程示意图，本实施例主要是对上文实施例中，利用相邻尺度的两个待定器官特征图之间的语义相关性信息，对较大尺度的待定器官特征图进行校准处理，得到相应尺度的候选器官特征图的实现过程进行细化描述，对于三维器官图像分割方法的其他实现步骤，可以参照上述实施例相应部分的描述，本实施例不做赘述。如图8所示，本实施例提出的细化实现方法可以包括：
步骤S81，对得到的相邻尺度的两个待定器官特征图，在通道维度上分别进行最大池化和平均值池化处理，将处理得到的器官特征向量合并，得到语义器官特征向量；
参照上文描述的空间相关性计算过程的描述内容，本申请在对这两个三维器官特征图进行语义相关性信息的计算过程中，即对相邻尺度的两个待定器官特征图(如Fi spa和
Figure BDA0003060673980000202
)进行处理，得到针对较大尺度的待定器官特征图的语义注意力向量的实现过程中，如图9所示，在池化层的处理阶段，可以对输入的每一个待定器官特征图分别进行最大池化处理(如图9所示的Max处理过程)和平均值池化处理(如图9所示的Avg处理过程)，将相邻两个尺度的待定器官特征图的最大池化处理结果合并，得到最大池化特征向量；并将这两个待定器官特征图的平均池化处理结果合并，得到平均池化特征向量，之后，将这两个特征向量拼接成一个特征向量，记为语义器官特征向量Ti sem。
需要说明，关于如何基于语义注意力机制，对每一尺度的三维器官特征图进行最大池化和平均池化的处理过程，可以依据该语义注意力机制的工作原理确定，本申请在此不做详述。
步骤S82，对语义器官特征向量进行回归处理，得到针对较大尺度的待定器官特征图的语义注意力向量；
步骤S83，对语义注意力向量进行归一化处理，得到校准语义器官特征向量；
与上文空间相关性分析过程类似，本实施例基于语义注意力机制，对并联的相邻两个尺度的待定器官特征图在通道维度上的特征提取处理后，也可以回归为一个注意力向量Ai v，其可以定义为
Figure BDA0003060673980000203
本申请可以将该注意力向量Ai v称为校准语义器官特征向量。
在本申请实施例中，如图9所示，在获取上述语义注意力向量过程中，仍可以利用由三层卷积网络构成的感知机fsem对语义器官特征向量进行回归处理，但并不局限于这一结构的感知机，可视情况而定。
之后，本申请可以利用sigmoid激活函数继续对感知机输出的语义注意力向量进行归一化处理，得到校准语义器官特征向量Ai v。需要说明，本申请对该sigmoid激活函数的类型及其归一化处理原理不做详述。
步骤S84，对得到的相邻尺度的两个待定器官特征图中，较大尺度的待定器官特征图进行格式转换处理，得到与相应的语义注意力向量的格式相匹配的待校准待定器官特征图；
步骤S85，对待校准待定器官特征图与校准语义器官特征向量进行乘积运算，得到相应尺度的候选器官特征图。
在对较大尺度的待定器官特征图
Figure BDA0003060673980000211
进行校准处理之前，可以利用1×1×1的卷积网络对其进行格式转换处理，以使处理得到的待校准待定器官特征图，与语义注意力向量的格式相匹配，两者可以做进一步乘积运算，实现对待定器官特征图
Figure BDA0003060673980000212
的特征校准处理。
因此，本申请实施例基于语义注意力机制，对第i个尺度的待定器官特征图
Figure BDA0003060673980000213
进行校准，得到的相应尺度的候选器官特征图
Figure BDA0003060673980000214
可以定义为：
Figure BDA0003060673980000215
Figure BDA0003060673980000216
具体地，结合上文描述的语义相关性分析过程，本申请实施例可以按照如下公式计算得到任一尺度的候选器官特征图：
Figure BDA0003060673980000217
关于该公式(3)中等式右侧的三部分所表示的含义与公式(2)中相应部分的表示含义类似，本实施例不做赘述。
由此可见，本申请在基于空间注意力机制，对较小尺度的三维器官特征进行校准，得到相应尺度的待定器官特征图后，将进一步基于语义注意力机制，对相邻两个尺度的待定器官特征图进一步处理，即将底层的空间细节信息引入高层特征中，实现对较大尺度的待定器官特征图进行校准，保证最终得到的各尺度的候选器官特征图中，能够依据完整且详细的空间细节信息和目标语义信息，来确定相应尺寸的目标对象的边缘和类别，即提高目标对象区域识别的精准度，这样，依据不同尺度的候选器官特征图融合得到的目标三维器官特征图，对三维器官图像进行图像分割，能够可靠且精准识别出该三维器官图像包含的不同尺寸的目标对象，如不同尺寸的肝脏肿瘤。
结合上文实施例描述的相邻尺度的特征图之间的空间相关性和语义相关性的计算过程，在基于此实现器官特征校准模型的训练过程中，对于输入的不同尺度的样本三维器特征图，按照上述方式完成空间相关性计算后，可以对得到的每一个尺度的待定器官特征图进行深度监督训练，如利用预设损失函数，计算该尺度的待定器官特征图的损失值，再据此实现网络参数的调整，以提高特征提取以及相邻尺度特征图之间的空间相关性计算的精准度，具体训练实现过程本实施例不做详述。
同理，按照上文描述的语义相关性计算方法，基于语义注意力机制，计算相邻尺度的待定特征图之间的语义相关性，以校准较大尺度的待定特征图，得到候选器官特征图后，仍可以采用深度监督训练方式实现网络参数调整，以提高特征提取、相邻尺度特征图之间的空间相关性信息，以及相邻尺度特征图之间的语义相关性信息的精准度，进而提高三维器官图像分割效果，实现对不同尺寸的目标对象的精准可靠识别。本申请对依据上述相关性计算方法，实现器官特征校准模型的训练过程不做详述。
在本申请提出的又一些实施例中，本申请也可以将上述特征提取网络、空间注意力网络以及语义注意力网络构成初始图像分割网络，按照上文各部分网络描述的网络处理过程及训练方法，利用不同的样本三维器官图像对该初始图像分割网络进行训练，得到三维器官图像分割模型。可以理解，该三维器官图像分割模型可以包括上文描述的特征提取模型(如上述金字塔特征提取模型)以及器官特征校准模型等子模型，本申请对该三维器官图像分割模型的训练实现过程不做赘述，可以依据本申请提出的技术构思，参照但并不局限于上文描述的各子模型的训练过程。
应该理解的，对于上文训练得到的任一模型，在实际应用中，将实际采集的三维器官图像或得到的特征图输入该模型处理，可以进一步依据模型输出结果，对该模型的网络参数进行优化处理(如执行一个或多次模型迭代处理)，进一步提高该模型在当前应用场景下的输出精准度，具体优化处理过程本申请不做详述。
参照图10，为本申请提出的三维器官图像分割装置的一可选示例的结构示意图，该装置可以适用于如上文描述的计算机设备，关于该计算机设备的产品类型，可视情况而定，本实施例不做限制。如图10所示，该装置可以包括：
图像获取模块101，用于获取待分割的三维器官图像；
特征提取模块102，用于对所述三维器官图像进行特征提取，得到多个不同尺度的三维器官特征图；
特征校准模块103，用于将所述多个不同尺度的三维器官特征图输入器官特征校准模型，输出目标三维器官特征图；
其中，所述器官特征校准模型是基于空间注意力机制和语义注意力机制，对不同尺度的样本三维器官特征进行校准训练得到的。
图像分割模块104，用于利用所述目标三维器官特征图，对所述三维器官图像进行分割处理，输出所述三维器官图像的器官区域分割结果。
在一些实施例中，特征校准模块103可以包括：
第一校准处理单元，用于利用相邻尺度的两个所述三维器官特征图之间的空间相关性信息，对较小尺度的所述三维器官特征图进行校准处理，得到相应尺度的待定器官特征图；
第二校准处理单元，用于利用相邻尺度的两个所述待定器官特征图之间的语义相关性信息，对较大尺度的所述待定特征图进行校准处理，得到相应尺度的候选器官特征图；
在一种可能的实现方式中，如图11所示，上述第一校准处理单元可以包括：
空间注意力图得到单元1031，用于对相邻尺度的两个所述三维器官特征图进行处理，得到针对较小尺度的三维器官特征图的空间注意力图；
第一校准单元1032，用于利用所述空间注意力图，对相应的所述较小尺度的三维器官特征图进行校准处理，得到相应尺度的待定器官特征图。
可选的，上述空间注意力图得到单元1031可以包括：
第一合并处理单元，用于对相邻尺度的两个所述三维器官特征图进行合并处理，得到合并特征图；
空间注意力处理单元，用于将所述合并特征图输入空间注意力网络，输出针对所述相邻尺度的两个所述三维器官特征图中，较小尺度的三维器官特征图的空间注意力图。
相应地，上述第一校准单元1032可以包括：
第一归一化处理单元，用于对所述空间注意力图进行下采样和归一化处理，得到校准器官特征图；
第一格式转换处理单元，用于对所述相邻尺度的两个所述三维器官特征图中，较小尺度的三维器官特征图进行格式转换处理，得到与相应的所述空间注意力图的格式相匹配的待校准器官特征图；
空间校准单元，用于对所述待校准器官特征图与相应的所述校准器官特征图进行特征乘积运算，得到相应尺度的待定器官特征图。
在又一些实施例中，如上图11所示，上述第二校准处理单元可以包括：
语义注意力向量得到单元1033，用于对得到的相邻尺度的两个所述待定器官特征图进行处理，得到针对较大尺度的待定器官特征图的语义注意力向量；
第二校准单元1034，用于利用所述语义注意力向量，对相应的所述较大尺度的待定器官特征图进行校准处理，得到相应尺度的候选器官特征图。
可选的，上述语义注意力向量得到单元1033可以包括：
语义器官特征向量得到单元，用于对得到的相邻尺度的两个所述待定器官特征图，在通道维度上分别进行最大池化和平均值池化处理，将处理得到的器官特征向量合并，得到语义器官特征向量；
回归处理单元，用于对所述语义器官特征向量进行回归处理，得到针对较大尺度的待定器官特征图的语义注意力向量。
相应地，上述第二校准单元1034可以包括：
第二归一化处理单元，用于对所述语义注意力向量进行归一化处理，得到校准语义器官特征向量；
第二格式转换处理单元，用于对得到的相邻尺度的两个所述待定器官特征图中，较大尺度的待定器官特征图进行格式转换处理，得到与相应的所述语义注意力向量的格式相匹配的待校准待定器官特征图；
语义校准单元，用于对所述待校准待定器官特征图与所述校准语义器官特征向量进行乘积运算，得到相应尺度的候选器官特征图。
基于上述分析，上述特征校准模块103还可以包括：
融合处理单元1035，用于对得到的多个不同尺度的所述候选器官特征图进行融合处理，得到目标三维器官特征图。
需要说明的是，关于上述各装置实施例中的各种模块、单元等，均可以作为程序模块存储在存储器中，由处理器执行存储在存储器中的上述程序模块，以实现相应的功能，关于各程序模块及其组合所实现的功能，以及达到的技术效果，可以参照上述方法实施例相应部分的描述，本实施例不再赘述。
本申请还提供了一种计算机可读存储介质，其上可以存储计算机程序，该计算机程序可以被处理器调用并加载，以实现上述实施例描述的三维器官图像分割方法的各个步骤，具体实现过程可以参照上述实施例相应部分的描述，本实施例不做赘述。
参照图12，为适用于本申请提出的三维器官图像分割方法和装置的计算机设备的一可选示例的硬件结构示意图，如图12所示，该计算机设备可以包括：通信模块121、存储器122及处理器123，其中：
通信模块121、存储器122和处理器123的数量均可以为至少一个，且通信模块121、存储器122和处理器123均可以连接通信总线，以通过该通信总线实现相互之间的数据交互，具体实现过程可以依据具体应用场景的需求确定，本申请不做详述。
通信模块121可以包括能够利用无线通信网络实现数据交互的通信模块，如WIFI模块、5G/6G(第五代移动通信网络/第六代移动通信网络)模块、GPRS模块等，该通信模块121还可以包括实现计算机设备内部组成部件之间的数据交互的通信接口，如USB接口、串/并口等，本申请对该通信模块121包含的具体内容不做限定。
在本申请实施例中，存储器122可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。处理器123，可以为中央处理器(CentralProcessing Unit，CPU)、特定应用集成电路(application-specificintegrated circuit，ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。
在本实施例实际应用中，存储器122可以用于存储实现上述任一方法实施例描述的三维器官图像分割方法的程序；处理器23可以加载并执行存储器122中存储的程序，以实现本申请上述任一方法实施例提出的三维器官图像分割方法的各个步骤，具体实现过程可以参照上文相应实施例相应部分的描述，不再赘述。
应该理解的是，图12所示的计算机设备的结构并不构成对本申请实施例中计算机设备的限定，在实际应用中，计算机设备可以包括比图12所示的更多或更少的部件，或者组合某些部件，可以依据该计算机设备的产品类型确定，如该计算机设备为上文列举的终端设备，该计算机设备还可以包括如感应触摸显示面板上的触摸事件的触摸感应单元、键盘、鼠标、图像采集器(如摄像头)、拾音器等至少一个设备；如显示器、扬声器、振动机构、灯等至少一个输出设备等，本申请在此不做一一列举。
其中，在计算机设备为上述终端设备的情况下，可以由终端设备采集对待检测对象扫描，得到待分割的三维器官图像，再按照上文描述的三维器官图像分割方法，实现该三维器官图像的分割处理，识别出不同尺寸的目标对象，如不同尺寸的肝脏肿瘤等，该目标对象类别可以依据具体应用场景确定，包括但并不局限于肝脏肿瘤识别应用场景；在又一些实施例中，终端设备也可以接收其他设备采集并发送的三维器官图像，按照上述实施例描述的方式对三维器官图像的分割处理，本申请对此不做限定，可以视情况而定。
而在计算机设备为服务器的情况下，通常可以由具有三维图像采集功能的终端设备，获取待分割的三维器官图像发送至服务器，由服务器按照上述实施例描述的三维器官图像分割方法对该三维器官图像进行分割，得到满足应用需求的器官区域分割结果，如不同尺寸的肝脏肿瘤的分割结果，反馈至预设终端进行展示，辅助实现对待检测对象的疾病诊断、确定治疗方案等，具体实现过程本申请在此不做详述。
最后，需要说明的是，本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、计算机设备而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种三维器官图像分割方法，所述方法包括：
获取待分割的三维器官图像；
对所述三维器官图像进行特征提取，得到多个不同尺度的三维器官特征图；
将所述多个不同尺度的三维器官特征图输入器官特征校准模型，输出目标三维器官特征图；其中，所述器官特征校准模型是基于空间注意力机制和语义注意力机制，对不同尺度的样本三维器官特征进行校准训练得到的；
利用所述目标三维器官特征图，对所述三维器官图像进行分割处理，输出所述三维器官图像的器官区域分割结果。
2.根据权利要求1所述的方法，所述将所述多个不同尺度的三维器官特征图输入器官特征校准模型，输出目标三维器官特征图，包括：
利用相邻尺度的两个所述三维器官特征图之间的空间相关性信息，对较小尺度的所述三维器官特征图进行校准处理，得到相应尺度的待定器官特征图；
利用相邻尺度的两个所述待定器官特征图之间的语义相关性信息，对较大尺度的所述待定特征图进行校准处理，得到相应尺度的候选器官特征图；
对得到的多个不同尺度的所述候选器官特征图进行融合处理，得到目标三维器官特征图。
3.根据权利要求2所述的方法，所述利用相邻尺度的两个所述三维器官特征图之间的空间相关性信息，对较小尺度的所述器官特征图进行校准处理，得到相应尺度的待定器官特征图，包括：
对相邻尺度的两个所述三维器官特征图进行处理，得到针对较小尺度的三维器官特征图的空间注意力图；
利用所述空间注意力图，对相应的所述较小尺度的三维器官特征图进行校准处理，得到相应尺度的待定器官特征图。
4.根据权利要求3所述的方法，所述对相邻尺度的两个所述三维器官特征图进行处理，得到针对较小尺度的三维器官特征图的空间注意力图，包括：
对相邻尺度的两个所述三维器官特征图进行合并处理，得到合并特征图；
将所述合并特征图输入空间注意力网络，输出针对所述相邻尺度的两个所述三维器官特征图中，较小尺度的三维器官特征图的空间注意力图。
5.根据权利要求3所述的方法，所述利用所述空间注意力图，对相应的所述较小尺度的三维器官特征图进行校准处理，得到相应尺度的待定器官特征图，包括：
对所述空间注意力图进行下采样和归一化处理，得到校准器官特征图；
对所述相邻尺度的两个所述三维器官特征图中，较小尺度的三维器官特征图进行格式转换处理，得到与相应的所述空间注意力图的格式相匹配的待校准器官特征图；
对所述待校准器官特征图与相应的所述校准器官特征图进行特征乘积运算，得到相应尺度的待定器官特征图。
6.根据权利要求2～5任一项所述的方法，所述利用相邻尺度的两个所述待定器官特征图之间的语义相关性信息，对较大尺度的所述待定器官特征图进行校准处理，得到相应尺度的候选器官特征图，包括：
对得到的相邻尺度的两个所述待定器官特征图进行处理，得到针对较大尺度的待定器官特征图的语义注意力向量；
利用所述语义注意力向量，对相应的所述较大尺度的待定器官特征图进行校准处理，得到相应尺度的候选器官特征图。
7.根据权利要求6所述的方法，所述对得到的相邻尺度的两个所述待定器官特征图进行处理，得到针对较大尺度的待定器官特征图的语义注意力向量，包括：
对得到的相邻尺度的两个所述待定器官特征图，在通道维度上分别进行最大池化和平均值池化处理，将处理得到的器官特征向量合并，得到语义器官特征向量；
对所述语义器官特征向量进行回归处理，得到针对较大尺度的待定器官特征图的语义注意力向量。
8.根据权利要求6所述的方法，所述利用所述语义注意力向量，对相应的所述较大尺度的待定器官特征图进行校准处理，得到相应尺度的候选器官特征图，包括：
对所述语义注意力向量进行归一化处理，得到校准语义器官特征向量；
对得到的相邻尺度的两个所述待定器官特征图中，较大尺度的待定器官特征图进行格式转换处理，得到与相应的所述语义注意力向量的格式相匹配的待校准待定器官特征图；
对所述待校准待定器官特征图与所述校准语义器官特征向量进行乘积运算，得到相应尺度的候选器官特征图。
9.一种三维器官图像分割装置，所述装置包括：
图像获取模块，用于获取待分割的三维器官图像；
特征提取模块，用于对所述三维器官图像进行特征提取，得到多个不同尺度的三维器官特征图；
特征校准模块，用于将所述多个不同尺度的三维器官特征图输入器官特征校准模型，输出目标三维器官特征图；其中，所述器官特征校准模型是基于空间注意力机制和语义注意力机制，对不同尺度的样本三维器官特征进行校准训练得到的；
图像分割模块，用于利用所述目标三维器官特征图，对所述三维器官图像进行分割处理，输出所述三维器官图像的器官区域分割结果。
10.一种计算机设备，所述计算机设备包括：
通信模块；
存储器，用于存储实现如权利要求1～8任一项所述的三维器官图像分割方法的程序；
处理器，用于加载并执行所述存储器存储的程序，以实现如权利要求1～8任一项所述的三维器官图像分割方法的各步骤。
CN202110512121.4A 2021-05-11 2021-05-11 三维器官图像分割方法、装置及计算机设备 Pending CN113192085A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110512121.4A CN113192085A (zh) 2021-05-11 2021-05-11 三维器官图像分割方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110512121.4A CN113192085A (zh) 2021-05-11 2021-05-11 三维器官图像分割方法、装置及计算机设备

Publications (1)

Publication Number Publication Date
CN113192085A true CN113192085A (zh) 2021-07-30

Family

ID=76981185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110512121.4A Pending CN113192085A (zh) 2021-05-11 2021-05-11 三维器官图像分割方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN113192085A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170510A (zh) * 2022-07-04 2022-10-11 北京医准智能科技有限公司 一种病灶检测方法、装置、电子设备及可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170510A (zh) * 2022-07-04 2022-10-11 北京医准智能科技有限公司 一种病灶检测方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN111291809B (zh) 一种处理装置、方法及存储介质
JP2017062781A (ja) 深層ｃｎｎプーリング層を特徴として用いる、類似度に基づく重要な対象の検知
CN110838125B (zh) 医学图像的目标检测方法、装置、设备、存储介质
CN111027576B (zh) 基于协同显著性生成式对抗网络的协同显著性检测方法
CN109492547B (zh) 一种结节识别方法、装置和存储介质
CN110222718B (zh) 图像处理的方法及装置
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
US20230154170A1 (en) Method and apparatus with multi-modal feature fusion
CN110807362A (zh) 一种图像检测方法、装置和计算机可读存储介质
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及***
CN113191489B (zh) 二值神经网络模型的训练方法、图像处理方法和装置
US20230326173A1 (en) Image processing method and apparatus, and computer-readable storage medium
WO2021032062A1 (zh) 图像处理模型生成方法、图像处理方法、装置及电子设备
Fan et al. A novel sonar target detection and classification algorithm
WO2022179606A1 (zh) 一种图像处理方法及相关装置
CN113449548A (zh) 更新物体识别模型的方法和装置
CN113192085A (zh) 三维器官图像分割方法、装置及计算机设备
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
KR101334858B1 (ko) 나비종 자동분류 시스템 및 방법, 이를 이용한 나비종 자동분류 기능이 구비된 휴대 단말기
JP7225731B2 (ja) 多変数データシーケンスの画像化
CN112101456A (zh) 注意力特征图获取方法及装置、目标检测的方法及装置
Li Saliency prediction based on multi-channel models of visual processing
CN110910497A (zh) 实现增强现实地图的方法和***
CN111967289A (zh) 一种非配合式人脸活体检测方法及计算机存储介质
Wu et al. Joint manipulation trace attention network and adaptive fusion mechanism for image splicing forgery localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination