CN109035261A

CN109035261A - 医疗影像处理方法及装置、电子设备及存储介质

Info

Publication number: CN109035261A
Application number: CN201810903956.0A
Authority: CN
Inventors: 夏清; 李晓川
Original assignee: Beijing Sensetime Technology Development Co Ltd
Current assignee: Beijing Sensetime Technology Development Co Ltd
Priority date: 2018-08-09
Filing date: 2018-08-09
Publication date: 2018-12-18
Anticipated expiration: 2038-08-09
Also published as: CN109035261B

Abstract

本申请实施例公开一种医疗影像处理方法及装置、电子设备及存储介质字体。所述医疗影像处理方法，其特征在于，包括：对医疗影像的第一区域和第二区域进行分割，得到第一分割图；根据所述医疗影像及所述第一分割图，对所述第二区域进行分割，得到用于区分所述第二区域的至少两个子区域的第二分割图。

Description

医疗影像处理方法及装置、电子设备及存储介质

技术领域

本申请涉及信息技术领域，尤其涉及一种医疗影像处理方法及装置、电子设备及存储介质。

背景技术

医疗影像是帮助医生进行诊断的重要辅助信息。但是在现有技术中都是拍摄出医疗影像之后，医生拿着医疗影像的实体片子或者在电脑上阅片进行诊断。但是医疗影像一般通过各种射线等拍摄的非表层的结构，局限于拍摄技术可能有些相关不同区域的边界很模糊，医疗人员根据这种原始图像模糊的低精度的图像无法精确诊断。

发明内容

有鉴于此，本申请实施例期望提供一种医疗影像处理方法及装置、电子设备及存储介质。

本申请的技术方案是这样实现的：

一种医疗影像处理方法，其特征在于，包括：

对医疗影像的第一区域和第二区域进行分割，得到第一分割图；

根据所述医疗影像及所述第一分割图，对所述第二区域进行分割，得到用于区分所述第二区域的至少两个子区域的第二分割图。

基于上述方案，所述对医疗影像的第一区域和第二区域进行分割，得到第一分割图，包括：

根据3D医疗影像，获得从至少两个方向上分割所述第一区域和所述第二区域的特征图；

根据所述特征图得到所述第一分割图。

基于上述方案，所述根据3D医疗影像，获得从至少两个方向上分割所述第一区域和所述第二区域的特征图，包括以下至少两个：

获得第一方向切割3D医疗影像的第一切面图，并对所述第一切面图进行所述第一区域和所述第二区域的分割，得到第一特征图；

获得第二方向切割所述3D医疗影像的第二切面图，并对所述第二切面图进行所述第一区域和所述第二区域的分割，获得第二特征图；

获得第三方向切割所述3D医疗影像的第三切面图，并对所述第三切面图进行所述第一区域和所述第二区域的分割，得到第三特征图；

其中，所述第一方向垂直于所述第二方向；所述第一方向垂直于所述第三方向；所述第二方向垂直于所述第三方向。

基于上述方案，所述根据所述特征图得到所述第一分割图，包括以下至少之一：

将至少两张所述特征图的同一个体素的体素值加权求平均，得到所述第一分割图的体素的体素值；

二值化至少两张所述特征图的体素值得到至少两张二值图像，并将至少两张二值图像同一体素的体素值进行布尔运算，得到所述第一分割图。

基于上述方案，所述将至少两张二值图像同一体素的体素值进行布尔运算，得到所述第一分割图，包括以下至少之一：

将至少两张所述二值图像同一体素的体素值进行逻辑与；

将至少两张所述二值图像同一体素的体素值进行逻辑或。

切割三维3D医疗影像以获得2D医疗影像；

利用二维2D网络对2D医疗影像进行所述第一区域和所述第二区域的分割处理，获得所述第一分割图。

基于上述方案，所述根据所述医疗影像及所述第一分割图，对所述第二区域进行分割，得到用于区分所述第二区域的至少两个子区域的第二分割图，包括：

利用3D网络对所述3D医疗影像及所述第一分割图对所述第二区域进行分割，得到用于区分所述第二区域的至少两个子区域的第二分割图。

基于上述方案，所述利用3D网络对所述3D医疗影像及所述第一分割图对所述第二区域进行分割，得到用于区分所述第二区域的至少两个子区域的第二分割图，包括：

从所述3D医疗影像及所述第一分割图，提取不同尺度的多张第四特征图；

融合多张所述第四特征图，得到至少区分所述第二区域的至少两个子区域的所述第二分割图。

基于上述方案，所述3D网络为：基于所述第二区域的所述至少两个子区域的损失函数值训练的多栅网络。

基于上述方案，所述方法还包括：

根据所述医疗影像及所述第二分割图对所述至少两个子区域中的至少一个进行分割，得到第三分割图。

基于上述方案，所述根据所述医疗影像及所述第二分割图对所述至少两个子区域中的至少一个进行分割，得到第三分割图，包括：

利用3D网络对3D医疗影像及所述第二分割图对所述至少两个子区域中的至少一个进行分割，得到第三分割图。

基于上述方案，所述利用3D网络对3D医疗影像及所述第二分割图对所述至少两个子区域中的至少一个进行分割，得到第三分割图，包括：

从所述3D医疗影像及所述第二分割图，提取不同尺度的多张第五特征图；

融合多张所述第五特征图，得到至少区分至少一个所述子区域的不同区域的所述第三分割图。

基于上述方案，所述3D网络为：基于所述子区域的不同区域的损失函数值训练的多栅网络。

基于上述方案，所述医疗影像为核磁共振图；

所述第一分割图，用于区分背景区域及肿瘤区域；和/或，所述第二分割图用于区分肿瘤核区域和水肿区域；和/或，基于所述第二分割图形成的第三分割图，用于区分所述肿瘤核区域中的坏死子区域、增强肿瘤子区域及非增强肿瘤子区域的至少两个。

一种医疗影像处理装置，包括：

第一分割模块，用于对医疗影像的第一区域和第二区域进行分割，得到第一分割图；

第二分割模块，用于根据所述医疗影像及所述第一分割图，对所述第二区域进行分割，得到用于区分所述第二区域的至少两个子区域的第二分割图。

基于上述方案，所述第一分割模块，具体用于根据3D医疗影像，获得从至少两个方向上分割所述第一区域和所述第二区域的特征图；根据所述特征图得到所述第一分割图。

基于上述方案，所述第一分割模块，具体用于执行以下至少之一：

将至少两张所述二值图像同一体素的体素值进行逻辑与；

将至少两张所述二值图像同一体素的体素值进行逻辑或。

切割三维3D医疗影像以获得2D医疗影像；

基于上述方案，所述第二分割模块，用于利用3D网络对所述3D医疗影像及所述第一分割图对所述第二区域进行分割，得到用于区分所述第二区域的至少两个子区域的第二分割图。

基于上述方案，所述第二分割模块，具体用于从所述3D医疗影像及所述第一分割图，提取不同尺度的多张第四特征图；融合多张所述第四特征图，得到至少区分所述第二区域的至少两个子区域的所述第二分割图。

基于上述方案，所述装置还包括：

第三分割模块，用于根据所述医疗影像及所述第二分割图对所述至少两个子区域中的至少一个进行分割，得到第三分割图。

基于上述方案，所述第三分割模块，具体用于利用3D网络对3D医疗影像及所述第二分割图对所述至少两个子区域中的至少一个进行分割，得到第三分割图。

基于上述方案，所述第三分割模块，具体用于从所述3D医疗影像及所述第二分割图，提取不同尺度的多张第五特征图；融合多张所述第五特征图，得到至少区分至少一个所述子区域的不同区域的所述第三分割图。

基于上述方案，所述医疗影像为核磁共振图；

一种计算机存储介质，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现前述任意技术方案提供的医疗影像处理方法。

一种计算机程序产品，所述程序产品包括计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述任意技术方案提供的医疗影像处理方法。

一种图像处理设备，包括：

存储器，用于存储信息；

处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述任意技术方案提供的医疗影像处理方法。

本申请实施例提供的技术方案，会利用对医疗影像进行至少两次的分割，通过第一次分割得到第一区域和第二区域的第一分割图，利用第一分割图结合原始的医疗影像对第二区域进行进一步的分割，如此，实现了多层级分割，通过多层级分割可以医疗影像的高精度和多粒度分割，相对于相关技术中单一分割，由于至少两次分割都引入了原始的医疗影像，可以实现精确分割，同时实现不同粒度大小的区域的多层级精确分割，满足医疗人员需要不同粒度图像的需求。

附图说明

图1为本发明实施例提供的第一种医疗影像处理方法的流程示意图；

图2为本发明实施例提供的第二种医疗影像处理方法的流程示意图；

图3为本发明实施例提供的第三种医疗影像处理方法的流程示意图；

图4为本发明实施例提供的一种医疗影像处理装置的结构示意图；

图5为本发明实施例提供的另一种医疗影像处理装置的结构示意图

图6为本发明实施例提供的医疗影像分割的网络架构及分割示意图；

图7为本发明实施例提供的一种多尺度融合网络的融合示意图；

图8为本发明实施例提供的一种医疗影像处理设备的结构示意图。

具体实施方式

以下结合说明书附图及具体实施例对本申请的技术方案做进一步的详细阐述。

如图1所示，本实施例提供一种医疗影像处理方法，包括：

步骤S110：对医疗影像的第一区域和第二区域进行分割，得到第一分割图；

步骤S120：根据所述医疗影像及所述第一分割图，对所述第二区域进行分割，得到用于区分所述第二区域的至少两个子区域的第二分割图。

本实施例提供的医疗影像处理方法可应用于各种图像处理设备或图像处理设备组中。所述图像处理设备组可包括：多台图像处理设备，多台图像处理设备可以采用各种连接方式连接。多台图像设备可以并行运行，实现所述医疗影像包含的不同区域的分布式分割，以加快图像不同区域的分割速率。

在本实施例中，所述医疗影像可包括：

所述医疗影像可为各种医疗诊断过程中拍摄的图像信息，例如，核磁共振(Magnetic Resonance Imaging，MRI)图像、再例如，电子计算机断层扫描(ComputedTomography，CT)图像；以上仅是医疗影像的举例，具体实现时不局限于这些举例。

在本实施例中，所述第一区域和所述第二区域可包含有不同图像内容的区域；例如，所述第一区域可为背景区域，第二区域可包括：采集对象的成像区域。所述背景区域不包括成像的像素，通过背景区域和成像区域的分割，可以从医疗影像中提取出包含有采集对象成像的体素块。此处的体素块可为：包括多个体素的集合。一个所述体素包括：一个三维空间坐标和对应的像素值。

在一些实施例中，所述成像区域还可包括包含有采集对象成像的像素块，该像素块可为：像素的集合。一个所述像素包括：一个二维空间坐标和对应的像素值。

在本实施例中，通过步骤S110的处理，得到所述第一分割图；所述第一分割图可以用于指示医疗影像中哪些体素或像素属于第一区域，哪些体素或像素属于第二区域。

在一些实施例中，若第一区域为背景区域，第二区域为采集对象的成像区域，则在成像区域可以看到采集对象的病变体的成像。

为了进一步方便诊断，需要对第二区域进行进一步的分割。在本实施例中，会结合医疗影像和所述第一分割图进行所述第二区域的分割，得到分割第二区域的多个子区域的第二分割图。

该第二分割图可以通过像素值，指示医疗影像中包含的体素或像素属于第二区域的哪一个子区域。

例如，在所述第二区域中包括肿瘤的成像。肿瘤根据其组成成分，可以分为肿瘤核所在的肿瘤核区域及水肿组织发生的水肿区域。再例如，肿瘤核有可以进一步区分为：坏死区域、增强肿瘤区域及非增强肿瘤区域。例如，所述坏死区域可为：已经坏死组织的成像区域；所述增强肿瘤区域可为已经转换为肿瘤并向坏死组织转换的组织的成像区域；所述增强肿瘤区域可为：向所述非增强肿瘤转换的增强肿瘤细胞的成像区域。

如此，通过两次分割，至少实现了对采集对象的第二区分包含的子区域的分割，得到了第二分割图。如此，实现了医疗影像的自动分割，分割之后的图像可以用于辅助医生进行诊断。例如，若第二区域中包含有肿瘤的成像，则可以方便医生根据所述第二分割图确诊采集对象是否患有肿瘤以及病变程度等。

在一些实施例中，所述方法还包括以下至少之一：

根据所述第二分割图，输出所述第二分区的特征图；

根据所述第二分割图，输出所述第二分区不同子区域的特征图；

根据所述第二分割图，输出第一诊断辅助信息。

所述第二分区的特征图，可包括以下至少之一：描述所述第二分区的外轮廓、纹理和/或尺寸的图像。

第二分区不同子分区的特征图，可包括以下至少之一：描述对应子分区的外轮廓、纹理和/或尺寸的图像。

所述尺寸可包括：各个测量方向上的尺寸，横截面积、体积、重量、不同坐标轴上的长度中的一个或多个。

例如，以肿瘤为例，肿瘤核的大小直接决定了当前病人的病情，可以用于帮助医疗人员进行诊断。

所述第一诊断辅助信息可包括以下至少之一：

描述第二分区或子分区的属性或状态的文本信息；

描述第二分区或子分区的属性或状态的标注信息；

基于所述第二分区或子分区的属性或状态生成的设备诊断信息；该设备诊断信息可以用于向医疗人员给出诊断提示。

所述第一诊断辅助信息可为直接附加在所述特征图中的信息，也可以是与所述目标特征图存储到同一个文件中的信息。

在本申请实施例中在步骤S110中进行像素级或体素级的分割，在步骤S120中也可以是进行像素级或体素级的分割；如此，实现第一区分和第二区域的精准分割，并对第二区域进行子区域的精准分割，获得精准的分割结果，以使得获得精准分割结果的医疗人员可以更加精确的进行诊断。

所述医疗影像可为2D医疗影像，也可以是多组3D医疗影像，例如，同一个采集对象的不同成像方式的多组3D医疗影像。例如，所述3D医疗影像可包括以下一种或多种：

3D FLAIR图像；

3D T1加权成像；

3D T2加权成像；

3D T1ce加权成像；

3D SE图像；

3D IR成像。

所述FLAIR、T1加权、T2加权、T1ce加权、SE及IR对应了不同医疗成像技术，此处就不再展开论述了。

不同的成像方式形成的图像，会突出采集对象成像之后的不同特征。例如，T1加权成像和T2加权成像，分别突出采集对象的不同部分，例如，有的突出体液、有的突出组织等。

一个3D医疗影像可视为：一组2D医疗影像。例如，一个h*w*z的医疗影像可认为是：由z张包含有h*w个像素的2D医疗影像构成；当然以上仅是举例，对3D医疗影像的切割方式不同，则会得到不同的2D医疗影像。

在步骤S110的医疗影像可为：多组3D医疗影像，例如，前述的3D FLAIR图像、3D T1加权成像、3D T2加权成像及3D T1ce加权成像。

这些医疗影像对同一采集对象采集获得，如此，且从不同的方面突出了采集对象的不同区域或不同特征，如此，利用多种成像原理得到的同一采集对象的图像处理，可以精确的获得第一区域和第二区域的分割图。

所述第一分割图可包括：两类：

第一类第一分割图，用于指示为所述第一区域的概率值组成的图像；

第二类第一分割图，用于指示为所述第二区域的概率值组成的图像。

例如，第一分割图为一个包含有h*w个像素的图像；则每一个像素的像素值指示了该像素是否为第一区域或第二区域的概率值。例如，假设第一区域为背景区域，第二区域为肿瘤区域；则第一类第一分割图包括：h*w个像素，且每一个像素的像素值指示了该像素属于背景区域(即非肿瘤组织)的概率值；第二类第一分割图包括：h*w个像素，且每一个像素的像素值指示了该像素属于肿瘤区域(即肿瘤组织)的概率值。

再例如，例如，第一分割图为一个包含有z*h*w个体素的图像；则每一个体素的体素值指示了该体素是否为第一区域或第二区域的概率值。例如，假设第一区域为背景区域，第二区域为肿瘤区域；则第一类第一分割图包括：z*h*w个体素，且每一个体素的体素值指示了该体素属于背景区域(即非肿瘤组织)的概率值；第二类第一分割图包括：z*h*w个体素，且每一个体素的体素值指示了该体素属于肿瘤区域(即肿瘤组织)的概率值。

如此，通过第一类第一分割图及第二类第一分割图的生成，可以实现像素级或体素级的分割。

在一些实施例中，所述第一分割图可为包括多个像素的二维图像；或包括多个体素的三维图像。

在完成第一区域和第二区域的分割之后，会对第二区域进行进一步的分割。在本实施例中，对第二区域进行进一步的分割将使用到原始的医疗影像和步骤S110中分割得到的第一分割图。如此，在步骤S120中首先根据第一分割图可以去除医疗影像中第一区域，然后可以仅对第二区域进行特征提取及特征分类，第一方面减少特征提取及分类的计算量，第二方面加速分割速率，第三方面可以去除了第一区域之后，在对第二区域的子区域分割时，减少了引入第一区域的像素或体素导致的分割不精确的问题，故提升了分割精度。

如图2所示，所述步骤S110可包括：

步骤S111：根据3D医疗影像，获得从至少两个方向上分割所述第一区域和所述第二区域的特征图；

步骤S112：根据所述特征图得到所述第一分割图。

在本实施例中，会获得3D医疗影像在不同方向上分割第一区域和第二区域的特征图。3D医疗影像可以立体的展示采集对象的不同方向的状态和特点。在本实施例中，会从至少两个方向上来分割第一区域和第二区域，如此，会得到至少两个方向上的特征图像；这些特征图像从不同的方向上来表征对应的体素是否属于第二区域；例如，所述第二区域可为：肿瘤病变等病变体组织所在的区域。在本申请实施例中，所述病变体组织还可包括：脑梗组织等其他病的组织；不局限于所述肿瘤组织。

某一个病变体组织内的病变体细胞的病变特征可能在某一个方向上表现不明显，但是在另一个方向确很明显。在本申请实施例中为了精确定位出属于第二区域会从至少两个方向上分割第一区域和第二区域。

至少两个方向可为相互垂直的方向，也可以是相差预设角度的方向；总之，此处的至少两个方向为不同的方向。

在一些实施例中，所述步骤S111可包括以下至少两个：

例如，以采集脑部肿瘤的3D医疗影像为例进行说明，所述第一方向可为轴向，所述第二方向可为矢向；第三方向可为冠向。所述轴向可为：下巴朝向头顶的方向；所述矢向可为：人脸朝向后脑勺的方向；所述冠向可为：两个耳朵连线的方向。当然以上仅是对三个方向的举例，具体实现时，不局限上述划分。

在本实施例中，若输入的医疗影像为3D医疗影像，为了获得不同方向上的特征图，首先会对3D医疗影像进行切割，获得第一方向上的第一切面图、第二方向上的第二切面图、第三方向上的第三切面图。

在本实施例中，分别对第一切面图、第二切面图及第三切面图进行图像处理，分别得到第一特征图、第二特征图、第三特征图。此处的第一特征图与第一切面图可为同维度的图像，此处的同纬度可理解为：包含的像素个数相同。第二特征图与第二切面图为同维度的图像。第三特征图为与第三切面图为同纬度的图像。所述第一特征图、第二特征图和第三特征图所包含的像素值，可用于指示对应的像素或体素属于第一区域或第二区域的概率值。

在一些实施例中，前述任意一种特征图也可以分为两类：

第一类特征图，用于指示对应的体素或像素属于第一区域的概率值的图像；

第二类特征图，用于指示对应的体素或像素属于第二区域的概率值的图像。

在一些实施例中，在融合不同方向行的特征图时，将不同方向上的同一个类特征图进行融合，例如，将两个或三个方向上的第一类特征图进行融合；将两个或三个方向上的第二类特征图进行融合；如此，可以得到前述第一类第一分割图，及第二类第一分割图。

将两个方向或三个方向的特征图进行融合之后，就可以得到精准的第一分割图。

在一些实施例中，所述步骤S112的实现方式有多种，以下提供几种可选方式：

方式一：将至少两张所述特征图的同一个体素的体素值加权求平均，得到所述第一分割图的体素的体素值；在本方式中，直接将不同特征图同一个体素的像素值加权得到平均值，例如，多个方向上同一个体素表征属于第一区域的概率值分别为p_i，其中，i表示的方向。所述i取值可为：1或2；或者，所述i的取值可为1:、2、3。如此，若不同方向上的权值相等，则对各个p_i求和并比上I就得到了各概率值的平均值，从而得到了所述加权平均值。在一些实施例中，不同方向上体素点对应的特征指示为所述第一区域的影响程度不一样，此处，就可以利用设置不同的权值来确定。此时，若权值不一样，则所述加权求平均则不再是各个概率值相加的平均值了。

方式二：

二值化至少两张所述特征图的体素值得到至少两张二值图像；

将至少两张二值图像同一体素的体素值进行布尔运算，得到所述第一分割图。

例如，将所述体素值与预设阈值进行比较，根据比较的结果，形成布尔值，所述布尔值可包括：“0”和“1”，如此得到了包含体素值为“0”或“1”的二值图像。

将至少两张二值图像进行同一体素的体素质的布尔运算，将会得到所述第一分割图。此处的第一分割图至少包括：前述第二类第一分割图；在另一些实施例中，所述第一分割图至少包括：前述第二类第一分割图和前述第一类第一分割图。

在一些实施例中，所述布尔运算可包括以下至少之一：

相等运算，包括：等于运算、不等于运算，即判断布尔量是否相等；

大小运算，包括：小于运算、大于运算，即判断布尔量的大小；

逻辑运算，包括：逻辑与、逻辑或、逻辑异或。

在本实施例中，前述的布尔运算可采用相等运算或逻辑运算中的一种。若采用等于运算，则确定该布尔运算的取值等于对应的布尔量，否则可以将生成的分割图像中的像素值或体素值为预设值，例如“-1”，表示当前不确定。若出现了不确定，则可认为出现了分割图像生成的异常，会返回步骤S110的输入端重新进行第一分割图、第二分割图或第三分割图的生成。

融合成第一类第一分割图和融合成第二类第一分割图所使用的布尔运算可以相同也可以不相同。根据图像中采集对象的成像特点或病变属性，确定具体的布尔运算。

在本实施例中，所述步骤S112可包括以下至少之一：

将至少两张所述二值图像同一体素的体素值进行逻辑与；

将至少两张所述二值图像同一体素的体素值进行逻辑或。

通过逻辑与的操作，仅有在各个方向上均指示对应的体素属于第一区域的时候，才在第一分割图中指示对应的体素归属所述第一区域；通过逻辑与的操作，仅有在各个方向上均指示对应的体素属于第二区域的时候，才在第一分割图中指示对应的体素归属所述第二区域；如此，可以通过这种图像分割最大限度的消减假性病变。

通过逻辑或，只要在一个方向上指示对应的体素属于第一区域的时候，就在第一分割图中指示对应的体素归属所述第一区域；或者，通过逻辑或的操作，在一个个方向上均指示对应的体素属于第二区域的时候，就在第一分割图中指示对应的体素归属所述第二区域；如此，可以通过这种图像分割最大限度的消减真病变被误诊的情况。

在本实施例中，所述第一分割图是通过布尔运算融合多张特征图生成的时候，则所述第一分割图可分为多种；例如，第一种第一分割图、第二中第一分割图、第三种第一分割图。不同种的第一分割图表示融合特征图的方式不同。融合方式不同，对于医疗诊断的影响程度不同。

在一些实施例中，输出了采用加权平均得到的第一种第一分割图对应的第二分割图及第三分割图，若医生认为给出诊断结果的置信度不够高时，例如，认为存在假性病变的可能性较高，可以输出基于逻辑与得到的第二种第一分割图对应的第二分割图及第三分割图进行辅助诊断，从而提升诊断结果的精确性，以减少假性病变的误诊。

在一些实施例中，输出了采用加权平均得到的第一种第一分割图对应的第二分割图和/或第三分割图，若医生认为给出诊断结果的置信度不够高时，例如，认为存在假性病变的可能性较高，可以输出基于逻辑或得到的第三种第一分割图对应的第二分割图和/或第三分割图进行辅助诊断，从而提升诊断结果的精确性，以减少假性病变的误诊。

在还有些实施例中，输出了采用加权平均得到的第一种第一分割图对应的第二分割图和/或第三分割图，若医生认为给出诊断结果的置信度不够高时，例如，认为存在假性病变的可能性较高，可以输出基于逻辑或得到的第三种第一分割图对应的第二分割图和/或第三分割图；并输出基于逻辑与得到的第二种第一分割图对应的第二分割图和/或第三分割图；三种图像综合判断，从而提升诊断结果的精确性，以减少假性病变的误诊。

在一些实施例中，图像设备可以分别输出利用不同融合方式融合的第一分割图得到的第二分割图和第三分割图，并存储到数据库中，若医生需要诊断时，可以直接从数据库中调用对应的融合方式的分割图即可。

在还有一些实施例中，所述方法还包括：

结合不同融合方式得到第二分割图和/或第三分割图，生成第二辅助诊断信息。所述第二辅助诊断信息同样可包括：文字信息、标注信息或图像信息等。所述第二辅助诊断信息可包括：指示不同融合方式的异同信息。在一些实施例中，所述第二辅助诊断信息还可包括：根据病变组织对应的病变属性或特征，对不同融合方式得到的第二分割图和/或第三分割图的置信度。所述置信度为指示可信度的参数。如此，一方面更加精准和智能的进行医疗影像的分割，另一方面，更加智能的协助医生进行诊断。

在一些实施例中，所述步骤S110可包括：

切割三维3D医疗影像以获得2D医疗影像；

在本实施例中，得到所述第一分割图的网络可为：2D网络，2D网络可为对2D医疗影像进行处理的神经网络。

故在本实施例中，首先需要对3D医疗影像进行切割，得到2D医疗影像，此处的2D医疗影像可包括：所述第一切面图、第二切面图及第三切面图的至少其中之一。

例如，对3D医疗影像从不同方向上进行切割，从而获得不同方向或不同平面内的切面图，以获得不同方向上的特征图，并基于特征图得到第一区域和第二区域的分割图。再例如，对3D医疗影像进行切割，从切割后形成的2D医疗影像中选择出最能表征第一区域和第二区域之间差异或最能体现第二区域特点的2D医疗影像输入2D网络进行特征提取，获得特征图，以进一步获得第一区域和第二区域的第一分割图。在选择3D图像切割之后形成的2D医疗影像时，会根据预设的选择策略进行选择；例如，根据清晰度策略，通过比对清晰度选择清洗度最高的2D医疗影像进行特征提取。再例如，根据尺寸最大策略，通过轮廓比对，选择出第二区域面积最大的2D医疗影像进行特征提取。总之，通过3D医疗影像形成可供2D网络处理的2D医疗影像的切割方法及输入到2D网络的2D医疗影像的选择方法都有多种，就不局限于此了。

所述2D网络的结构可如下：

特征提取层，可以用于提取2D医疗影像的特征，得到特征图，该特征提取层可为利用卷积运算进行特征提取的特征图；

池化层，可以用于通过降采样进行池化操作，从而得到不同尺度的特征图。例如，对H*W的特征图A进行1/2降采样，则可以能到感受野是特征图A的4倍的特征图B。特征图B包括的像素或体素个数可为1/4(H*W)。由于特征图A和特征图B中每一个像素或体素的感受野不同，如此，特征图A和特征图B的尺度不同。感受野不同，则特征图一个像素或体素对应了原始图像中的像素或体素个数不同；在降采样的过程中，可以采集一个池化窗口内多个像素或体素的极大值、极小值或平均值；

上采样层，通过上采样可以将不同尺度的图像转换成包含有同样多个像素或体素的同维度的图像；方便不同尺度的特征图的融合；

融合层，用于对前述采集的不同尺度的特征图进行融合。

如此，通过不同尺度的特征图的融合，一方面保留医疗影像的足够多的细节，另一方面扩大一个像素或体素的感受野。此处的特征图融合可以采用前述的加权平均的方式或布尔运算的方式，在另一些实施例中，将不同尺度的特征图直接进行级联。例如，若特征图中每一个像素或体素的像素值也可视为一个向量；不同特征图中同一个像素值可以作为特征图融合后向量中的部分元素。不同特征图中同一个体素值可以作为特征图融合后向量中的部分元素。例如，一个特征图的像素值的长度为L1；另一个特征图的像素值的长度为L2；通过级联融合方式，则得到的融合特征图的像素值的长度可直接为L1+L2。融合不同尺度的特征图，可以得到前述的第一特征图、第二特征图及第三特征图中一个或多个；这些特征图都可以保留足够多的图像细节的情况下，提升了单个元素(像素或体素)的感受野。

在一些实施例中，所述步骤S120可包括：

在本实施例中，所述3D网络可为直接可以对3D医疗影像进行处理的神经网络。如此，3D医疗影像可以直接输入到3D网络中进行图像处理，得到所述第二网络。

例如，若3D医疗影像有N类，则此处的3D医疗影像的输入通道可为N+M1；其中，N个通道分别用于输入N类所述3D医疗影像；M1个通道用于输入所述第一分割图。若所述第一分割图仅有一种，则所述M1等于1，若所述第一分割图分为：第一种第一分割图、第二种第一分割图、第三种第一分割图，则M1可等于3。

总之，此处的3D网络的输入通道的数目可决定于3D医疗影像的种类，和所述第一分割图的种数。

在一些实施例中，所述利用3D网络对所述3D医疗影像及所述第一分割图对所述第二区域进行分割，得到用于区分所述第二区域的至少两个子区域的第二分割图，包括：

该3D网络，同样可包括：特征提取层、池化层、上采样层及融合层等。

前述得到的第一特征图、第二特征图及第三特征图均可为二维图像包含的元素为像素。在本实施例中，所述第四特征图可为三维图像包含的元素为体素。当然，在另一些实施例中，所述第四特征图也可以为二维图像，不局限于三维图像。

在本实施例中融合多张第四特征图，由于多尺度的特征的融合，可以结合不同尺度的分割特点进行3D医疗影像的精确分割。

所述第二区域的至少两个子区域，则所述第二区域可以分为两个或两个以上的子区域。例如，以第二区域为肿瘤核组织所在的区域，则至少两个子区域可包括：坏死区域、非增强肿瘤区域及增强肿瘤区域中的至少两个，如此，不仅可以实现3D医疗影像中肿瘤区域与背景区域的分割，肿瘤区域中肿瘤核与水肿区域的分割，实现了多层级的图像分割。

在一些实施例中，所述3D网络为：基于所述第二区域的所述至少两个子区域的损失函数值训练的多栅网络。

由于需要精确分割所述第二区域的不同子区域，在本实施例中在训练所述3D网络时，在损失函数值会包含有多个项，这些项中至少对应有需要分割的子区域的损失函数值；如此，训练得到的多栅网络，不再是仅对多个子区域的整个分割结果进行损失计算和网络优化，而是会对需要分割的每一个子区域利用损失函数值来表示，如此，训练得到的多栅网络可以更加高精度的进行所述第二区域的子区域分割。

例如，所述第二区域可以分为S个子区域；则训练对应的3D网络时，则损失函数值至少包括S项，这S项分别对应了S个子区域的损失函数值。

在一些实施例中，如图3所示，所述方法还包括：

步骤S130：根据所述医疗影像及所述第二分割图对所述至少两个子区域中的至少一个进行分割，得到第三分割图。

在本实施例中，还会进一步对医疗影像和第二分割图进行处理，会对第二区域分割得到的至少一个子区域进行进一步的分割。

例如，第一区域为背景区域、第二区域为肿瘤区域；所述背景区域可为肿瘤区域以外的任意区域，可包括：空白区域以及其他非肿瘤组织的成像区域。

所述第二区域的子区域可包括：肿瘤核区域和水肿区域。

所述肿瘤核区域进一步划分，可包括：坏死区域、非增强肿瘤区域及增强肿瘤区域；实现高精度的多层级的图像自动分割。

在一些实施例中，所述根据所述医疗影像及所述第二分割图对所述至少两个子区域中的至少一个进行分割，得到第三分割图，包括：

此处的3D网络的描述，可以参见前述实施例，此处就不再重复了。

在一些实施例中，此处的3D网络可包N+M2个输入通道，N个通道可以用于输入N类3D医疗影像；M2个可以用于输入M2种第二分割图。所述第一分割图有多种，则所述第二分割图也有多种。若所述第二分割图仅有一种，则所述M2的取值为1；在另一些实施例中，所述M2的取值还可以是2或2以上的正整数。

在一些实施例中，所述步骤S130可包括：

同样的在本实施例中，生成所述第二分割图的3D网络也可以基于3D医疗影像及第二分割图，得到不同尺度的多张第五特征图。融合这些第五特征图，得到第三分割图，可以精确的用于区分第二区域中对应子区域的组成。

同样地，所述3D网络为：基于所述子区域的不同区域的损失函数值训练的多栅网络。

在一些实施例中，所述医疗影像为核磁共振图；所述第一分割图，用于区分背景区域及肿瘤区域；和/或，所述第二分割图用于区分肿瘤核区域和水肿区域；和/或，基于所述第二分割图形成的第三分割图，用于区分所述肿瘤核区域中的坏死子区域、增强肿瘤子区域及非增强肿瘤子区域的至少两个。

如图4所示，本实施例提供一种医疗影像处理装置，包括：

第一分割模块110，用于对医疗影像的第一区域和第二区域进行分割，得到第一分割图；

第二分割模块120，用于根据所述医疗影像及所述第一分割图，对所述第二区域进行分割，得到用于区分所述第二区域的至少两个子区域的第二分割图。

在一些实施例中，所述第一分割模块110及所述第二分割模块120，可为程序模块，在被处理器执行后能够实现第二目标的第二位置信息的获取，待处理图像的提取及目标特征图及第一诊断辅助信息的确定。

在另一些实施例中，所述第一分割模块110及所述第二分割模块120，可硬件或软件和硬件的结合。例如，所述第一分割模块110及所述第二分割模块120可对应于现场可编程器件或者复杂可编程器件。再例如，所述第一分割模块110及所述第二分割模块120可对应于专用集成电路(ASIC)。

在一些实施例中，所述第一分割模块110，具体用于根据3D医疗影像，获得从至少两个方向上分割所述第一区域和所述第二区域的特征图；根据所述特征图得到所述第一分割图。

在一些实施例中，所述第一分割模块110，具体用于执行以下至少之一：

将至少两张所述二值图像同一体素的体素值进行逻辑与；

将至少两张所述二值图像同一体素的体素值进行逻辑或。

在一些实施例中，所述对医疗影像的第一区域和第二区域进行分割，得到第一分割图，包括：

切割三维3D医疗影像以获得2D医疗影像；

在一些实施例中，所述第二分割模块120，用于利用3D网络对所述3D医疗影像及所述第一分割图对所述第二区域进行分割，得到用于区分所述第二区域的至少两个子区域的第二分割图。

在一些实施例中，所述第二分割模块120，具体用于从所述3D医疗影像及所述第一分割图，提取不同尺度的多张第四特征图；融合多张所述第四特征图，得到至少区分所述第二区域的至少两个子区域的所述第二分割图。

在一些实施例中，如图5所示，所述装置还包括：

第三分割模块130，用于根据所述医疗影像及所述第二分割图对所述至少两个子区域中的至少一个进行分割，得到第三分割图。

在一些实施例中，所述第三分割模块130，具体用于利用3D网络对3D医疗影像及所述第二分割图对所述至少两个子区域中的至少一个进行分割，得到第三分割图。

在一些实施例中，所述第三分割模块130，具体用于从所述3D医疗影像及所述第二分割图，提取不同尺度的多张第五特征图；融合多张所述第五特征图，得到至少区分至少一个所述子区域的不同区域的所述第三分割图。

在一些实施例中，所述3D网络为：基于所述子区域的不同区域的损失函数值训练的多栅网络。

在一些实施例中，所述医疗影像为核磁共振图；

以下结合上述任意实施例提供几个示例：

示例1：

在肿瘤整体分割的任务中，提高分割精度，降低假阳性(即假性病变)。由于成像原因，部分MRI影像会在脑后、脑干、脑顶等区域出现深度值较高的体素，与肿瘤区域类似，因此现有方法会在这些区域产生误检可能，为此，借助多方向2D网络的融合，降低假阳性。

在肿瘤核与增强肿瘤的分割任务中，预测更准确地分割边界。现有方法可能会预测到比目标子区域更大的分割结果，为了实现更精确的分割，借助多尺度融合的3D网络用来实现各子区域的分割。

使用多方向融合的2D网络对肿瘤整体进行分割，在轴向，矢向，冠向三个方向分别对多模MRI提取2D特征，并将分割结果进行融合。此算法可降低脑后，脑干等区域的假阳性。

使用多尺度融合的3D网络对肿瘤内部肿瘤核进行分割，提取多模态MRI的3D特征，并结合肿瘤整体的分割结果作为网络的先验信息，分割肿瘤核，此算法可以获得更准确的肿瘤核边界。

使用同2类似的多尺度融合3D网络对肿瘤核内部增强肿瘤区域进行分割，并结合2中的分割结果作为先验信息，分割增强肿瘤，此算法可获得较准确的增强肿瘤边界。

使用2D与3D网络级联的模式实现肿瘤及各个子区域的精细分割。

示例2：

参考图7，本示例实现流程，可包括肿瘤分割、肿瘤核分割、增强肿瘤分割。

肿瘤区域分割可如下：

设计了多方向融合的2D网络，如图6所示，2D网络分为三个支路：轴向网络、矢向网络、冠向网络。三个2D网络的输入分别是原3D样本轴向、矢向、冠向的切面图(分别对应于图6中的轴向截面、矢向截面及冠向截面)，输出为该截面的2通道分割结果。在图6中轴向网络可为轴向U-Net；矢向网络可为矢向U-Net；冠向网络可为冠向U-Net。

以轴向网络为例，假设原3D医疗影像是h×w×z的4通道(分别对应不同模态的MRI图像)体素块，则轴向网络的输入为z个h×w的4通道张量，输出为z个h×w的2通道(分别代表每个像素属于背景区域与肿瘤区域的概率)张量，并通过z个结果的级联合成该样本的3D热力图。具体步骤如下：

步骤1.1：将3D样本按不同方向输入不同2D网络，并通过级联生成2通道3D热力图。此处，3D热力图可为前述第一分割图的一种；所述3D热力图为包括体素，而体素值由概率值构成的图像。

步骤1:2：采用轴向、矢向、冠向的三个2D网络集成的方式，将三个网络输出的2通道3D热力图进行基于体素像素值的相加，再通过输出每个体素在2个通道(背景与肿瘤)中概率大的类别生成最终3D分割结果。

步骤1:2的替换方式一：通过每个3D热力图计算该网络的3D分割结果，将三个分割结果进行基于体素的逻辑与，获得最终分割结果。

步骤1:2的替换方式二：通过每个3D热力图计算该网络的3D分割结果，将三个分割结果进行基于体素的逻辑或，获得最终分割结果。

肿瘤核区域分割可如下：

为了充分利用卷积网络中的局部信息，进行肿瘤核分割的3D网络可为如图6所示的3D多尺度融合网络。该3D多尺度融合网络采用多栅卷积的多栅网络(如图7所示)代替普通的卷积网络，利用多尺度的融合特征替代单尺度的特征。如此，多栅网络在每个卷积层之前将不同尺度的特征图进行级联，避免了普通的全卷积网络(FCN)或U-Net等网络结构由于降采样造成了特征损失，本技术将多栅网络用于3D分割，通过融合不同尺度的卷积特征，提高分割精度，在肿瘤核边缘有更准确的预测效果。网络的输入为5通道3D数据(4通道MRI图像、1通道肿瘤整体分割结果的级联)，输出为3通道的3D热力图(分别代表体素属于背景、肿瘤核、水肿的概率)。

在图7中3D多尺度融合网络，可以提取出三种尺度的特征图。这三种尺度分别是：尺度1、尺度2及尺度3。

训练过程中，本申请采用Dice作为损失函数对网络进行2D网络及3D网络的网络参数优化。Dice损失函数的表达式如下：

V表示3D医疗影像中的所有体素，p_i为体素i被预测为目标类的概率，l_i为该体素的实际标签。本技术中，采用多Dice的加权以修正边界，最终的损失函数为：

D＝D_TC+α·D_ED (2)

D_TC表示肿瘤核的损失函数值，D_ED表示肿瘤周围水肿的损失函数值，α是可调节系数，用来限定水肿区域对肿瘤核分割的影响。

图7多栅网络的卷积网络通过不同尺度的特征图的反卷积与池化实现升降采样。

本环节的分割技术实现步骤具体如下：

将4通道的3D MRI图像与脑肿瘤的整体分割结果进行级联生成5通道的数据输入网络。

将网络输出的3通道的3D热力图乘以脑肿瘤整体分割的二值图像。

通过处理后的3D热力图计算肿瘤核的分割结果，同时可输出水肿区域的分割结果。

增强肿瘤区域的分割可包括：

采用与2类似的3D网络，通过融合不同尺度的卷积特征，提高增强肿瘤的分割精度和轮廓预测效果。本环节中网络结构与2相同，网络输入为5通道3D数据(4通道MRI图像、1通道肿瘤核分割结果的级联)，输出为3通道的3D热力图(分别代表体素属于背景、坏死肿瘤/非增强肿瘤、增强肿瘤的概率)。

训练过程中损失函数如下：

D＝D_ET+β·D_NC (3)

D_ET表示肿瘤核内增强肿瘤区域的损失函数值，D_NC表示增坏死区域和非增强肿瘤区域的损失函数值，β是可调节系数，用来限定坏死区域和非增强肿瘤区域对增强肿瘤区域的分割影响。

本环节实现步骤如下：

将4通道的3D MRI图像与肿瘤核分割结果进行级联生成5通道的数据输入网络。

将网络输出的3通道的3D热力图乘以肿瘤核分割的二值图像。

通过处理后的3D热力图计算增强肿瘤的分割结果，同时可输出非增强/坏死肿瘤的分割结果。

如图8所示，本申请实施例提供了一种图像处理设备，包括：

存储器，用于存储信息；

处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述一个或多个技术方案提供的图像处理方法，例如，如图1至图3所示的方法中的一个或多个。

该存储器可为各种类型的存储器，可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储，例如，存储计算机可执行指令等。所述计算机可执行指令可为各种程序指令，例如，目标程序指令和/或源程序指令等。

所述处理器可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。

所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。

在一些实施例中，所述终端设备还可包括：通信接口，该通信接口可包括：网络接口、例如，局域网接口、收发天线等。所述通信接口同样与所述处理器连接，能够用于信息收发。

在一些实施例中，所述终端设备还包括人机交互接口，例如，所述人机交互接口可包括各种输入输出设备，例如，键盘、触摸屏等。

本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现前述一个或多个技术方案提供的图像处理方法，例如，如图1至图3所示的方法中的一个或多个。

所述存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述存储介质可为非瞬间存储介质。

本申请实施例提供一种计算机程序产品，所述程序产品包括计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述任意实施提供的图像处理方法，例如，如图1至图3所示的方法中的一个或多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种医疗影像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，

所述对医疗影像的第一区域和第二区域进行分割，得到第一分割图，包括：

根据所述特征图得到所述第一分割图。

3.根据权利要求2所述的方法，其特征在于，

所述根据3D医疗影像，获得从至少两个方向上分割所述第一区域和所述第二区域的特征图，包括以下至少两个：

4.根据权利要求2所述的方法，其特征在于，

所述根据所述特征图得到所述第一分割图，包括以下至少之一：

5.根据权利要求1至4任一项所述的方法，其特征在于，

切割三维3D医疗影像以获得2D医疗影像；

6.根据权利要求1至5任一项所述的方法，其特征在于，

所述根据所述医疗影像及所述第一分割图，对所述第二区域进行分割，得到用于区分所述第二区域的至少两个子区域的第二分割图，包括：

利用3D网络对3D医疗影像及所述第一分割图对所述第二区域进行分割，得到用于区分所述第二区域的至少两个子区域的第二分割图。

7.根据权利要求6所述的方法，其特征在于，

所述利用3D网络对所述3D医疗影像及所述第一分割图对所述第二区域进行分割，得到用于区分所述第二区域的至少两个子区域的第二分割图，包括：

8.一种医疗影像处理装置，其特征在于，包括：

9.一种计算机存储介质，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现权利要求1至7任一项提供的方法。

10.一种图像处理设备，其特征在于，包括：

存储器，用于存储信息；

处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现权利要求1至7任一项提供的方法。