CN111986137B - 生物器官病变检测方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开一种一种生物器官病变检测方法、装置、设备及可读存储介质。该方法包括：获取器官的医学影像，医学影像包括多个体素；从医学影像中识别出器官影像；对从器官影像中获取的血管区域进行病变识别，获得器官影像中的第一病变区域；通过经训练的深度学习模型，对器官影像进行病变预检测，获得器官影像中的预检测病变区域影像；对预检测病变区域影像进行研判，获得器官影像中的第二病变区域；以及根据第一病变区域与第二病变区域，获得器官影像最终的病变区域。该方法提出了一种间接检测器官病变的方法，与已有的直接法相结合，从更广泛的角度对器官病变进行全方位的检测，从而大大改善了检测结果。

Description

生物器官病变检测方法、装置、设备及可读存储介质

技术领域

本发明涉及医疗图像处理及应用技术领域，具体而言，涉及一种生物器官病变检测方法、装置、设备及可读存储介质。

背景技术

CT(Computed Tomography，电子计算机断层扫描)作为检测器官早期病变的有力手段，正日益广泛的被采用。

目前，对CT扫描结果的处理方法主要集中在以下几个方面：一是利用图像分割等计算机图像处理的方法，对CT影像进行预处理，进而对病变部分进行分割和增强，以改善CT影像的显示效果；二是基于传统计算机图像处理的方法对CT影像进行增强和分割的预处理，并对预处理后的器官影像进行处理和分析。

但上述对CT扫描结果进行病变识别的方法都是对病变(如结节)本身的外形进行处理，力求更完整的分割，更有效的特征提取和分类，属于直接检测法。这类方法对结节本身在影像中呈现的形状有天然的依赖性。具体表现在对小结节(2mm左右)、特殊形状结节等都不能很好的处理，进而限制了结节检测的适用范围。而在实际临床中，此类小结节和不规则形状结节确是更为普遍的造成假阴性和假阳性的原因，也是医护人员在实际工作中较难发现的情况。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种生物器官病变检测方法、装置、设备及可读存储介质。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提供一种生物器官病变检测方法，包括：获取器官的医学影像，所述医学影像包括多个体素；从所述医学影像中识别出器官影像；对从所述器官影像中获取的血管区域进行病变识别，获得所述器官影像中的第一病变区域；通过经训练的深度学习模型，对所述器官影像进行病变预检测，获得所述器官影像中的预检测病变区域影像；对所述预检测病变区域影像进行研判，获得所述器官影像中的第二病变区域；以及根据所述第一病变区域与所述第二病变区域，获得所述器官影像最终的病变区域。

根据本发明的另一方面，提供一种生物器官病变检测装置，包括：影像获取模块，用于获取器官器官的医学影像，所述医学影像包括多个体素；影像识别模块，用于从所述医学影像中识别出器官影像；病变识别模块，用于对所述器官影像进行病变识别，获得所述器官影像中的第一病变区域；病变预检测模块，用于通过经训练的深度学习模型，对所述器官影像进行病变预检测，获得所述器官影像中的预检测病变区域影像；病变研判模块，用于对所述预检测病变区域影像进行研判，获得所述器官影像中的第二病变区域；以及病变确定模块，用于根据所述第一病变区域与所述第二病变区域，获得所述器官影像最终的病变区域。

根据本发明的再一方面，提供一种计算机设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，所述处理器执行所述可执行指令时实现如上述任意一种方法。

根据本发明的再一方面，提供一种计算机可读存储介质，其上存储有计算机可执行指令，所述可执行指令被处理器执行时实现如上述任意一种方法。

根据本发明实施方式提供的生物器官病变检测方法，提出了一种间接检测器官病变的方法，与已有的直接法相结合，从更广泛的角度对器官病变进行全方位的检测，从而大大改善了检测结果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。

图1是根据一示例性实施方式示出的一种生物器官病变检测方法的流程图。

图2是根据一示例性实施方式示出的另一种生物器官病变检测方法的流程图。

图3是根据一示例示出的一个血管区域在某一层的截面图。

图4和图5分别示出了基于扫描到的视网膜影像及肺部影像根据上述血管树生成方法所生成的血管树。

图6是根据一示例性实施方式示出的再一种生物器官病变检测方法的流程图。

图7是根据一示例性实施方式示出的再一种生物器官病变检测方法的流程图。

图8示出了为图3所示的血管区域所生成的三维骨架在一层的截面图。

图9是根据一示例示出的血管段的生成过程的示意图。其中，图9(a)示出了骨架的各血管分叉点s。

图10是根据一示例性实施方式示出的再一种生物器官病变检测方法的流程图。

图11示出了根据如图9所示的各血管段生成血管树的过程。

图12是根据一示例性实施方式示出的再一种生物器官病变检测方法的流程图。

图13示出了根据该识别规则识别出的肺部病变的示意图。

图14是根据一示例性实施方式示出的再一种生物器官病变检测方法的流程图。

图15是根据一示例性实施方式示出的一种生物器官病变检测装置的框图。

图16是根据一示例性实施方式示出的一种电子设备的结构示意图。

图17是根据一示例性实施方式示出的一种计算机可读存储介质的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现或者操作以避免喧宾夺主而使得本发明的各方面变得模糊。

此外，在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如A和/或B，可以表示单独存在A、单独存在B及同时存在A和B三种情况。符号“/”一般表示前后关联对象是一种“或”的关系。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

图1是根据一示例性实施方式示出的一种生物器官病变检测方法的流程图。

参考图1，生物器官病变检测方法10包括：

在步骤S102中，获取器官的医学影像。

该医学影像例如可以包括CT医学影像、MRI(Magnetic Resonance Imaging，核磁共振)医学影像、超声波医学影像等；此外，该医学影像中采集的器官可以为肺、肝脏、脑部、视网膜等，本发明不以此为限。

以常见的轴位CT扫描影像为例，该医学影像可为三维张量Q，其中的每一个元素q_i,j,k为非负整数，又可以称为体素或像素。其中下标i＝0,1,2,3,……，为CT扫描某层中的行索引；下标j＝0,1,2,3,……，为CT扫描某层中的列索引；k＝0,1,2,3,……为CT扫描的层索引。

在步骤S104中，从医学影像中识别出器官影像。

例如，可以采用现有的聚类方法对三维张量Q中的所有元素q_i,j,k的大小进行聚类，从而识别出每一层的器官区域，从而识别出器官影像Q_l。在器官影像Q_l中，属于器官区域的体素值与医学影像Q中的体素值相同，而其他区域的体素值则被设置为0。

在一些实施例中，在下述步骤S106或者步骤S108之前，方法10还可以包括：去除器官影像中的干扰影像，获得去除干扰影像后的器官影像。干扰影像例如可以包括气管影像和/或膈顶肌影像。对于识别出的器官影像，气管有时会被当做器官区域识别，因此可以采用阈值法，利用气管在三维张量Q上的连通性，识别出气管区域，并利用掩膜(mask)去除器官影像中的气管，从而得到去除气管后的器官影像Q_l。同样地，隔顶肌也会作为干扰存在于器官影像中，因此也可以采用阈值法识别隔顶肌部分，并利用掩膜区域器官影像中的隔顶肌，得到去除隔顶肌后的器官影像Q_l。

在步骤S106中，对从器官影像中获取的血管区域进行病变识别，获得器官影像中的第一病变区域。

例如，可以基于创建的血管树，根据预定义的病变规则，对器官影像进行病变识别。关于基于血管树的病变识别方法将于下文中说明。

此外，在一些实施例中，还可以根据下述方法，对器官影像进行病变识别，获得器官影像中的第一病变区域：

1)从器官影像中分割出多个血管区域。

关于如何从器官影像中分割出多个血管区域的说明与下述方法20中的步骤S204相同，具体可参见下面步骤S204的介绍。

2)针对每个血管区域，选取2r x 2r的矩形网格，在器官影像Q_l上逐层进行滑动，滑动步长为例如可以设置为1。

a)每次计算落在矩阵网络里大于阈值thresh的体素数目，记为n_thresh。

b)如果n_thresh>＝4r²–1，那么确定该2r x 2r矩形网格对应区域为第一病变区域。

在步骤S108中，通过经训练的深度学习模型，对器官影像进行病变预检测，获得器官影像中的预检测病变区域影像。

该深度学习模型例如可以为ResNet神经网络模型。ResNet(Residual NeuralNetwork)神经网络的主要思想是在网络中增加了直连通道，即Highway Network的思想。ResNet的结构可以极快的加速神经网络的训练，模型的准确率也有比较大的提升。同时ResNet的推广性非常好，甚至可以直接用到InceptionNet网络中。

在一些实施例中，方法10还可以包括：采用Adam算法，将经过人工标注有病变区域(例如标注有病变中心点和半径的监督标签)的训练集合输入到ResNet神经网络模型中进行学习训练，以获得经训练的深度学习模型。Adam算法是一种基于一阶梯度来优化随机目标函数的算法。Adam算法根据损失函数对每个参数的梯度的一阶矩估计和二阶矩估计动态调整针对于每个参数的学习速率。

该预检测方法的目的是对器官影像进行病变预判，以缩小后续需要研判区域的范围，例如可以预判出病变的概率大于0.95的病变。

在步骤S110中，对预检测病变区域影像进行研判，获得器官影像中的第二病变区域。

例如，可以基于创建的血管树，根据预定义的病变规则，对预检测病变区域影像进行研判。关于基于血管树的病变研判方法将于下文中说明。

此外，在一些实施例中，还可以根据下述方法，对预检测病变区域影像进行研判，获得器官影像中的第二病变区域：

对于每一处预检测出的病变区域w∈W(W为所述预检测病变区域影像)：

1)利用计算形态学的方法，计算预检测出的病变区域w的中点坐标的主方向向量：θ_w＝PCA(C)，其中C为预检测出的病变区域w中所有点的坐标。PCA为主成分分析方法，返回前三个最大的特征值

\theta＝{\theta_1,\theta_2,\theta_3}。

2)如果θ_min/θ_max≥θ_th,那么该预检测出的区域w确定为第二病变区域。

其中，θ_min＝min(θ)，θ_max＝max(θ)，θ_th例如可以选取0.8～0.9之间的值。满足条件说明该区域近似“球形”。

需要说明的是，上述步骤S106～S110的处理并不表明或限制这些处理的时间顺序。也即，步骤S106与步骤S108～S110之间在执行上没有时间的先后顺序，既可以先执行步骤S106，再执行步骤S108～S110；也可以先执行步骤S108～S110，再执行步骤S106；还可以同时执行步骤S106与步骤S108～S110。具体的执行顺序视具体实施应用时的情况而定，本发明不以此为限。

需要说明的是，本发明实施方式的生物器官病变检测方法，一方面通过步骤S106对在步骤S104中识别出的器官影像进行病变识别，以识别出第一病变区域；另一方面再通过步骤S108和S110对在步骤S104中识别出的器官影像进行病变预检测及病变研判，以识别出第二病变区域。这种将直接法和间接法结合的模型，可以被称之为Gamma架构。该Gamma结构一方面可以共享在步骤S104中识别出的器官影像，另一方面当通过建立的血管树进行病变识别和病变研判时，两者还可以共享建立的多棵血管树。

本领域技术人员应理解的是，在实际应用时，步骤S106与步骤S108～S110可以同步执行，也可以异步执行，本发明不以此为限。

在步骤S112中，根据第一病变区域与第二病变区域，获得器官影像最终的病变区域。

例如，可以合并第一病变区域与第二病变区域，确定出最终的病变区域。此外，还可以对确定出的最终的病变区域进行相应处理、分类和输出。

根据本发明实施方式提供的生物器官病变检测方法，提出了一种间接检测器官病变的方法，与已有的直接法相结合，从更广泛的角度对器官病变进行全方位的检测，从而大大改善了检测结果。具体来说，本发明实施方式提供的生物器官病变检测方法不仅仅直接分析器官病变的形态和分布，而且通过对血管区域的形态和结构进行分析和建模，用血管的形状和分布等各种信息，间接反映出病变，进而和直接监测模型相结合达到更好的检测成功率，大大降低了假阴性和假阳性的概率。

Gamma架构不同于模式识别中的并联结构的“多方法并行投票”法则，而是把直接检测和间接检测两种方法有机结合(例如将计算形态学与深度学习模型结合)，充分发挥彼此的优势，通过对两种方法参数和算法细节的调节，使两者取长补短，使得检测结果能够具有可解释性、可调整性，并达到更好的检测结果。

以对肺部CT扫描影像进行病变识别为例，在LUNA16数据集888个低剂量的CT扫描影像上，利用上述方法进行病变检测。由表1所示，对比目前常用的ZNET、masakam、DIAG-CONVNET、3D Faster-RCNN等基准方法，本发明实施方式提供的方法取得了在保持高召回率的情况下，假阳性最少的实验效果。从而可以减少医生后续的病变确认工作量和误报率。

表1

应清楚地理解，本发明描述了如何形成和使用特定示例，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施方式。

图2是根据一示例性实施方式示出的另一种生物器官病变检测方法的流程图。与图1所示的生物器官病变检测方法10的不同之处在于，图2所示的生物器官病变检测方法20进一步提供了如何根据器官影像创建血管树的方法，生成的血管树可以用于对器官影像进行病变识别，获得上述第一病变区域，此外还可以用于对预检测病变区域影像进行研判，获得上述第二病变区域。

参考图2，生物器官病变检测方法20包括：

在步骤S202中，获取器官影像或者获取预检测病变区域影像。

获取上述的器官影像Q_l，或者获取上述与检测病变区域。

在步骤S204中，从器官影像或者预检测病变区域影像中分割出多个血管区域。

对该器官影像或者预检测病变区域影像进行图像预处理，可以将除了血管区域及与血管有相似特征的体素之外的非血管区域(以肺部影像为例，如肺部的空气区域)及其他组织区域的体素值均设置为0，以从该器官影像中分割出多个血管区域。

该血管区域包括：血管及与血管具有相似特征的体素。

将一个血管区域即为r_x，r_x∈R，其中R为从该器官影像Q_l中分割出的血管区域的集合。每个血管区域均为一个独立的三维区域，并且每个血管区域不与其他血管区域相邻。也就是说每个血管区域轴位相邻的体素值均为0。图3是根据一示例示出的一个血管区域在某一层的截面图。其中，黑色体素值为0，白色体素值大于0。

在步骤S206中，根据多个血管区域之间的邻近关系，建立多个血管区域的关联矩阵。

多个血管区域的关联矩阵可以记为M，用于表示各血管区域之间的近邻关系，即哪些血管区域距离较近。因为距离较近的血管区域很可能是影像中相连接在一起的血管，只是由于通过阈值法判决判决时或由于CT扫描的噪声使得这些血管断开了。所以该关联矩阵的构建有助于建立血管区域之间的可能的连接关系。

在步骤S208中，分别获取每个血管区域的血管段及血管分叉点。

例如，可以通过计算分形学(又可以称为计算形态学)，获取每个血管区域包含的血管段及血管分叉点。

在步骤S210中，根据关联矩阵，将各血管区域分别包含的血管段、血管分叉点及其之间的连接关系，构建为以血管段及血管分叉点为节点的血管图。

例如，可以首先将各血管区域包含的血管段、血管分叉点、及血管段与血管分叉点之间连接关系构建为初步的血管图，之后再根据关联矩阵M，将各血管区域之间的连接关系补入该初步的血管图中，得到最终的血管图(如可记为G)。

在步骤S212中，基于血管图中的多个连通子图，建立对应的多棵血管树。

其中，各血管树中的节点分别为与其对应的连通子图包含的血管段。

血管图中可以包括多个连通子图，每个连通子图中的各血管段是相互连接的，而连通子图之间的血管不相连接。基于各连通子图，建立相对应的各血管树。例如，左右肺部之间的血管不相互连接，因而分属于不同的连通子图，可以分别构建出不同的血管树。

根据上述生成血管树的方法，针对分割出的血管影像，可对血管影像本身的形态、结构、特征及血管之间的连接关系进行分析，并构建出精确的血管树。该血管树不仅可用于病变识别，还可以用于对通过其他方式识别出的病变区域进一步的进行研判，以获得更精确的病变识别结果。图4和图5分别示出了基于扫描到的视网膜影像及肺部影像根据上述血管树生成方法所生成的血管树。其中图4(a)和图5(a)分别示出了扫描到的视网膜影像及肺部影像，图4(b)和图5(b)分别示出了视网膜影像及肺部影像所对应的血管树。由图4和图5可以看出，通过该方法，可以基于获取到的医学影像生成精确的血管树。

图6是根据一示例性实施方式示出的再一种生物器官病变检测方法的流程图。与图2所示的生物器官病变检测方法20不同的是，图6所示的生物器官病变检测方法30进一步提供了根据多个血管区域之间的邻近关系，建立多个血管区域的关联矩阵的方法。

参考图6，基于医学影像的血管树生成方法30包括：

在步骤S302中，针对医学影像的每一层图像，分别对多个血管区域进行处理：

1.将多个血管区域r_x在该层覆盖的区域作为结点，***空间索引结构I_k。

该空间索引结构I_k例如可以为现有的Rtree结构索引，或者也可以为现有的其他空间索引结构。

2.针对每个血管区域r_x，扩展与其相邻的体素，获得该血管区域的扩展区域，如可记为r_x’。

3.以该血管区域的扩展区域r_x’为空间查询条件，在空间索引结构I_k中查找与该血管区域r_x交叠的交叠血管区域r_y。

4.根据扩展次数，对关联矩阵M中的相应元素赋值。

例如，初始化扩展次数z＝0，且r_x’＝r_x。

如果关联矩阵M中元素m_xy等于0或者m_xy大于z，则使将z赋值给m_xy及m_yx。

完成本次扩展后，如果扩展次数z没有达到预设的阈值(如2～6个体素)，则跳转到步骤2，重复执行。

在步骤S304中，获得多个血管区域的关联矩阵。

当针对各层完成上述操作后，建立起最终的多个血管区域的关联矩阵。

图7是根据一示例性实施方式示出的再一种生物器官病变检测方法的流程图。与图2所示的基于医学影像的血管树生成方法20不同的是，图7所示的生物器官病变检测方法40进一步提供了分别获取每个血管区域的血管段及血管分叉点的方法。

参考图7，基于医学影像的血管树生成方法40包括：针对每个血管区域分别执行如下步骤：

在步骤S402中，通过计算分形学，为该血管区域生成相应的多个三维骨架。

采用计算分形学中现有的骨架提取(skeletonization)方法，可为每个血管区域生成相应的三维骨架。图8示出了为图3所示的血管区域所生成的三维骨架在一层的截面图。

在步骤S404中，分别从每个三维骨架中获取血管分叉点。

血管分叉点为周围有2个或多于2个相邻体素的体素，例如如图8中灰色体素。

在具体实现时，例如可以将血管分叉点的体素值置为-1，且将其标记为虚拟节点，并加入到虚拟节点集合S中。

在步骤S406中，针对每个三维骨架：去掉其中的血管分叉点，以获得该三维骨架中的多个血管段骨架；分别对多个血管段骨架进行区域增长，以获得与多个血管段骨架分别对应的多个血管段；并分别确定多个血管段的属性。

图9是根据一示例示出的血管段的生成过程的示意图。其中，图9(a)示出了骨架的各血管分叉点s。

去除各血管分叉点s后，利用连通区域的标签(labeling)方法，获得如图9(b)所示的各血管段骨架。血管段骨架实际上是不含任何血管分支的血管段的中心线。

将每个血管段骨架进行区域增长，还原成如图9(c)所示的血管段。具体地，对每个血管段依次向周围扩展相邻的血管区域中的体素，直到没有血管区域体素可以被扩展为止。

算法方案例如可以包括：基于Matrix-Vector Iteration框架进行算法设计。

定义血管区域的体素关联矩阵A，其中当两个体素相邻时，对应矩阵A中的元素为1，否则为0。为这些体素的血管段分配向量b。由于血管段骨架已知并标有大于0的编号，将其中的点在向量b上赋值为血管段骨架的编号。

重复下述操作：

1.使g_ij＝a_ijb_j，表示体素i通过边a_ij可以到达血管骨架b_j；

2.使b_i’＝max(g_i1,g_i2,…,g_in)，其决定了体素i最终可达的血管段骨架；

3.如果b_i等于0，则使得b_i＝b_i’。

直到向量b中所有元素不为0，即获得了分配，从而完成了从血管段骨架到血管段的区域增长。

血管段集合例如可以记为V，每个血管段v∈V。

之后分别计算每个血管段的属性，血管段属性可以包括：血管段的长度、半径、方向、体素集合等，可以被分别记为{l,r,θ,C}。

其中，每个血管段v对应的体素的集合被记为C。

血管段v的半径可以通过公式(1)计算：

其中，函数dist(p,P_c)表示属于O的点p到该血管段v对应的骨架P_c的距离。

计算每个血管段v的方向θ：将血管段所有的体素C的主要分布方向作为该血管段v的方向。将血管段的体素集合C表示为3×N的体素点坐标矩阵，每个三维列向量c∈C为其中的一个体素坐标。因此，可以利用主成分分析法(Principal Component Analysis，PCA)，获得体素点分布的方向，即

其中为C中体素的平均坐标。

血管段v的长度l可以通过公式(2)计算：

其中，T表示转置。

图10是根据一示例性实施方式示出的再一种生物器官病变检测方法的流程图。与图2所示的生物器官病变检测方法20不同的是，图10所示的生物器官病变检测方法50进一步提供了基于所述血管图中的多个连通子图，建立对应的多棵血管树的方法。

参考图10，生物器官病变检测方法50包括：

在步骤S502中，针对每个连通子图，选取其中与心脏距离最近、半径最大且只有一个与其相邻的血管分叉点的血管段作为该血管树的根节点。

例如，可以将该根节点记为v_c。图11示出了根据如图9所示的各血管段生成血管树的过程。其中图11(a)为多个血管段和血管分叉点的示意图，图11(b)为根据图11(a)中的血管段和血管分叉点构建的血管图中的一个连通子图的示意图。图11(c)示出了根据图11(b)所示的连通子图生成的血管树的示意图。

如图11(b)所示，血管段v₀符合血管树根节点的选取规则。

在步骤S504中，从根节点开始，依次处理该连通子图中的所有节点，包括：针对该节点的每个相邻的血管分叉点：

1.获取该血管分叉点的相邻节点。

以处理如图11(b)中的根节点血管段v₀为例，其血管分叉点s₀的相邻节点分别为血管段v₁和v₄,。

2.从相邻节点中选取其中之一作为血管树的主干节点，并标记其他相邻节点为分支节点。

从相邻节点中选取其中之一作为血管树的主干节点例如可以包括：按照公式(3)选取主干节点：

其中v_τ表示该主干节点，表示该血管分叉点的相邻节点的集合。σ＝2～5个体素，表示血管节点之间半径差的上限

3.连接该节点与主干节点，构成并将其标记为主干边τ。

4.连接该节点与分支节点，构成并将其标记为分支边b。

构造完成的血管树如图11(c)所示。

图12是根据一示例性实施方式示出的再一种生物器官病变检测方法的流程图。与图2所示的生物器官病变检测方法20不同的是，图12所示的生物器官病变检测方法60进一步提供了基于生成的血管树进对器官影像进行病变识别的方法。

参考图12，基于血管树的病变识别方法60包括：

在步骤S202中，获取器官影像。

在步骤S204中，从器官影像中分割出多个血管区域。

在步骤S206中，根据多个血管区域之间的邻近关系，建立多个血管区域的关联矩阵。

在步骤S208中，分别获取每个血管区域的血管段及血管分叉点。

在步骤S210中，根据关联矩阵，将各血管区域分别包含的血管段、血管分叉点及其之间的连接关系，构建为以血管段及血管分叉点为节点的血管图。

上述步骤S202～步骤S210与图2中所示步骤相同，在此不再赘述。

在步骤S212中，基于血管图中的多个连通子图，建立对应的多棵血管树。

在步骤S602中，基于多棵血管树，根据预定义的病变识别规则，进行病变识别。

在一些实施例中，病变识别规则包括以下规则中的部分或全部：

当血管树中的节点数目小于预设的节点数目阈值时，确定血管树对应的区域存在病变。

例如，该血管树只有孤立的根节点，或者节点非常少，也即树根深度很小，则确定该血管树对应的区域存在病变。该节点数目阈值在应用时可以根据实际需求而设置。

当血管树中的节点与其相邻节点的半径差值均大于预设的第一半径阈值时，确定节点对应的区域存在病变。

该第一半径阈值例如可以设置为1～5体素数，但本发明不以此为限。

当采用广度优先遍历策略遍历血管树的各节点时，确定前后访问的两个节点的半径差值落在预设的半径范围之外的节点对应的区域存在病变。

该半径范围例如可以设置为[-1,2]，但本发明不以此为限。

当血管树的分支节点的半径大于预设的第二半径阈值时，确定分支节点对应的区域存在病变。

该第二半径阈值例如可以设置为1～5，但本发明不以此为限。

对于医学影像为左右对称器官的影像，当器官左右两边最大的两棵血管树中节点的半径分布曲线的KL距离大于预设的第一距离阈值时，确定两棵血管树对应的区域存在病变。

KL距离，是Kullback-Leibler差异(Kullback-Leibler Divergence)的简称，也叫做相对熵(Relative Entropy)。它衡量的是相同事件空间里的两个概率分布的差异情况。

具体地，假设两棵血管树中节点的半径分布向量为p1和p2，则其KL距离根据公式(4)计算：

其中，p1和p2为归一化向量，p1(x)与p2(x)分别为两棵血管树中节点的半径分布函数，即半径大小为x的血管段数量比例分别为p1(x)与p2(x)。

图13示出了根据该识别规则识别出的肺部病变的示意图。如图13(a)所示，左右肺部的对应的两棵血管树中节点的半径的分布曲线之间的KL距离大于第一距离阈值，对应取出每层的CT扫描图，找到如图13(b)所示的大片病变，并且在很多层都可以看到。

对于医学影像为左右非对称器官的影像，当血管树中节点的半径分布曲线与标准半径曲线的KL距离大于预设的第二距离阈值时，确定血管树对应的区域存在病变。

该标准半径曲线例如可以通过统计所有正常人群在标准化后的血管树中节点半径的分布曲线而获得。

标准化方法对于(x，y，z)∈Q_l进行如下变换获得：

x’＝(x-x_min)/(x_max-x_min)

y’＝(y-y_min)/(y_max-x_min)

z’＝(z-z_min)/(z_max-z_min)

Ql表示CT影像三维张量Q的器官分割区域张量，x_min,x_max表示Ql中非0体素坐标的最小横坐标、最大横坐标。其他坐标同理。

上述第一距离阈值和第二距离阈值在应用时可以根据实际需求而进行设置。

图14是根据一示例性实施方式示出的再一种生物器官病变检测方法的流程图。与图2所示的生物器官病变检测方法20不同的是，图14所示的生物器官病变检测方法70进一步提供了基于生成的血管树进对预检测病变区域影像进行病变研判的方法。

参考图14，基于血管树的病变识别方法70包括：

在步骤S202中，获取预检测病变区域影像。

在步骤S204中，从预检测病变区域影像中分割出多个血管区域。

在步骤S206中，根据多个血管区域之间的邻近关系，建立多个血管区域的关联矩阵。

在步骤S208中，分别获取每个血管区域的血管段及血管分叉点。

在步骤S210中，根据关联矩阵，将各血管区域分别包含的血管段、血管分叉点及其之间的连接关系，构建为以血管段及血管分叉点为节点的血管图。

上述步骤S202～步骤S210与图2中所示步骤相同，在此不再赘述。

在步骤S702中，基于多棵血管树，根据预定义的病变研判规则，对待研判区域进行病变研判。

在一些实施例中，病变研判规则包括以下规则中的部分或全部：

当待研判区域的半径与待研判区域所在的血管树的节点的半径的差值大于预设的第一半径阈值时，确定待研判区域为病变区域。

该第一半径阈值例如可以设置为1～5，但本发明不以此为限。

当待研判区域所在的血管树的节点数少于预设的第一节点数目阈值时，确定待研判区域为病变区域。

当待研判区域的半径与待研判区域所在的血管树的节点的所有相邻节点的半径的差值均大于预设的第二半径阈值时，确定待研判区域为病变区域。

当待研判区域所在的血管树的节点的半径大于第三半径阈值(例如为0.5～2)，且节点的子树的节点小于第二节点数目阈值时，确定待研判区域为病变区域。

需要说明的是，上述各阈值在应用时，可以根据实际需求设置，本发明不以此为限。

本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本发明示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

图15是根据一示例性实施方式示出的一种生物器官病变检测装置的框图。

参考图15，生物器官病变检测装置100包括：影像获取模块1002、影像识别模块1004、病变识别模块1006、病变预检测模块1008、病变研判模块1010及病变确定模块1012。

其中，影像获取模块1002用于获取器官器官的医学影像，所述医学影像包括多个体素。

影像识别模块1004用于从所述医学影像中识别出器官影像。

病变识别模块1006用于对所述器官影像进行病变识别，获得所述器官影像中的第一病变区域。

病变预检测模块1008用于通过经训练的深度学习模型，对所述器官影像进行病变预检测，获得所述器官影像中的预检测病变区域影像。

病变研判模块1010用于对所述预检测病变区域影像进行研判，获得所述器官影像中的第二病变区域。

病变确定模块1012用于根据所述第一病变区域与所述第二病变区域，获得所述器官影像最终的病变区域。

在一些实施例中，生物器官病变检测装置100还包括：干扰去除模块，用于在对所述器官影像进行病变识别或者通过经训练的深度学习模型，对所述器官影像进行病变预检测之前，去除所述器官影像中的干扰影像，获得去除干扰影像后的所述器官影像。

在一些实施例中，病变识别模块1006包括：影像获取单元、区域分割单元、矩阵建立单元、血管段获取单元、血管图构建单元、血管树建立单元及病变识别单元。其中，影像获取单元用于获取所述器官影像。区域分割单元用于从所述器官影像中分割出多个血管区域，所述血管区域包括：血管及与血管具有相似特征的体素。矩阵建立单元用于根据所述多个血管区域之间的邻近关系，建立所述多个血管区域的关联矩阵。血管段获取单元用于分别获取每个所述血管区域的血管段及血管分叉点。血管图构建单元用于根据所述关联矩阵，将各所述血管区域分别包含的所述血管段、所述血管分叉点及其之间的连接关系，构建为以所述血管段及所述血管分叉点为节点的血管图。血管树建立单元用于基于所述血管图中的多个连通子图，建立对应的多棵血管树。病变识别单元用于基于所述多棵血管树，根据预定义的病变规则，对所述器官影像进行病变识别。其中，所述血管树中的节点分别为与其对应的所述连通子图包含的所述血管段。

在一些实施例中，所述病变识别规则包括以下规则中的部分或全部：当所述血管树中的节点数目小于预设的节点数目阈值时，确定所述血管树对应的区域为所述第一病变区域；当所述血管树中的节点与其相邻节点的半径差值均大于预设的第一半径阈值时，确定所述节点对应的区域为所述第一病变区域；当采用广度优先遍历策略遍历所述血管树的各节点时，确定前后访问的两个节点的半径差值落在预设的半径范围之外的节点对应的区域为所述第一病变区域；当所述血管树的分支节点的半径大于预设的第二半径阈值时，确定所述分支节点对应的区域为所述第一病变区域；对于医学影像为左右对称器官的影像，当所述器官左右两边最大的两棵血管树中节点的半径分布曲线的KL距离大于预设的第一距离阈值时，确定所述两棵血管树对应的区域为所述第一病变区域；对于医学影像为左右非对称器官的影像，当所述血管树中节点的半径分布曲线与标准半径曲线的KL距离大于预设的第二距离阈值时，确定所述血管树对应的区域为所述第一病变区域。

在一些实施例中，所述深度学习模型为ResNet神经网络模型，生物器官病变检测装置100还包括：模型训练单元，用于采用Adam算法，将经过人工标注有病变区域的训练集合输入到所述ResNet神经网络模型中进行训练，以获得经训练的所述深度学习模型。

在一些实施例中，病变研判模块1010包括：影像获取单元、区域分割单元、矩阵建立单元、血管段获取单元、血管图构建单元、血管树建立单元及病变研判单元。其中，影像获取单元用于获取所述预检测病变区域影像。区域分割单元用于从所述预检测病变区域影像中分割出多个血管区域，所述血管区域包括：血管及与血管具有相似特征的体素。矩阵建立单元用于根据所述多个血管区域之间的邻近关系，建立所述多个血管区域的关联矩阵。血管段获取单元用于分别获取每个所述血管区域的血管段及血管分叉点。血管图构建单元用于根据所述关联矩阵，将各所述血管区域分别包含的所述血管段、所述血管分叉点及其之间的连接关系，构建为以所述血管段及所述血管分叉点为节点的血管图。血管树建立单元用于基于所述血管图中的多个连通子图，建立对应的多棵血管树。病变研判单元用于基于所述多棵血管树，根据预定义的病变研判规则，对待研判区域进行病变研判。其中，所述血管树中的节点分别为与其对应的所述连通子图包含的所述血管段。

在一些实施例中，所述病变研判规则包括以下规则中的部分或全部：当所述待研判区域的半径与所述待研判区域所在的所述血管树的节点的半径的差值大于预设的第一半径阈值时，确定所述待研判区域为所述第二病变区域；当所述待研判区域所在的血管树的节点数少于预设的第一节点数目阈值时，确定所述待研判区域为所述第二病变区域；当所述待研判区域的半径与所述待研判区域所在的所述血管树的节点的所有相邻节点的半径的差值均大于预设的第二半径阈值时，确定所述待研判区域为所述第二病变区域；当所述待研判区域所在的所述血管树的节点的半径大于第三半径阈值，且所述节点的子树的节点小于第二节点数目阈值时，确定所述待研判区域为所述第二病变区域。

需要注意的是，上述附图中所示的框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图16是根据一示例性实施方式示出的一种电子设备的结构示意图。需要说明的是，图16示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图16所示，电子设备800以通用计算机设备的形式表现。电子设备800的组件包括：至少一个中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序代码或者从至少一个存储单元808加载到随机访问存储器(RAM)803中的程序代码而执行各种适当的动作和处理。

特别地，根据本发明的实施例，所述程序代码可以被中央处理单元801执行，使得中央处理单元801执行本说明书上述方法实施例部分中描述的根据本发明各种示例性实施方式的步骤。例如，中央处理单元801可以执行如图1～图15中所示的步骤。

在RAM 803中，还存储有电子设备800操作所需的各种程序和数据。CPU 801、ROM802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入单元806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出单元807；包括硬盘等的存储单元808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信单元809。通信单元809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储单元808。

图17是根据一示例性实施方式示出的一种计算机可读存储介质的示意图。

参考图17所示，描述了根据本发明的实施方式的设置为实现上述方法的程序产品900，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如图1～图15中所示的功能。

以上具体地示出和描述了本发明的示例性实施方式。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种生物器官病变检测方法，其特征在于，包括：

获取器官的医学影像，所述医学影像包括多个体素；

从所述医学影像中识别出器官影像；

对从所述器官影像中获取的血管区域进行病变识别，获得所述器官影像中的第一病变区域，所述第一病变区域包括：根据所述血管区域中的血管树和预定义的病变规则，对器官影像进行病变识别，得到第一病变区域；

通过经训练的深度学习模型，对所述器官影像进行病变预检测，获得所述器官影像中的预检测病变区域影像；

对所述预检测病变区域影像进行研判，获得所述器官影像中的第二病变区域；以及

根据所述第一病变区域与所述第二病变区域，获得所述器官影像最终的病变区域。

2.根据权利要求1所述的方法，其特征在于，在对所述器官影像进行病变识别或者通过经训练的深度学习模型，对所述器官影像进行病变预检测之前，所述方法还包括：去除所述器官影像中的干扰影像，获得去除干扰影像后的所述器官影像。

3.根据权利要求2所述的方法，其特征在于，对所述器官影像进行病变识别，获得所述器官影像中的第一病变区域包括：

获取所述器官影像；

从所述器官影像中分割出多个血管区域，所述血管区域包括：血管及与血管具有相似特征的体素；

根据所述多个血管区域之间的邻近关系，建立所述多个血管区域的关联矩阵；

分别获取每个所述血管区域的血管段及血管分叉点；

根据所述关联矩阵，将各所述血管区域分别包含的所述血管段、所述血管分叉点及其之间的连接关系，构建为以所述血管段及所述血管分叉点为节点的血管图；

基于所述血管图中的多个连通子图，建立对应的多棵血管树；以及

基于所述多棵血管树，根据预定义的病变规则，对所述器官影像进行病变识别；

其中，所述血管树中的节点分别为与其对应的所述连通子图包含的所述血管段。

4.根据权利要求3所述的方法，其特征在于，所述病变识别规则包括以下规则中的部分或全部：

当所述血管树中的节点数目小于预设的节点数目阈值时，确定所述血管树对应的区域为所述第一病变区域；

当所述血管树中的节点与其相邻节点的半径差值均大于预设的第一半径阈值时，确定所述节点对应的区域为所述第一病变区域；

当采用广度优先遍历策略遍历所述血管树的各节点时，确定前后访问的两个节点的半径差值落在预设的半径范围之外的节点对应的区域为所述第一病变区域；

当所述血管树的分支节点的半径大于预设的第二半径阈值时，确定所述分支节点对应的区域为所述第一病变区域；

对于医学影像为左右对称器官的影像，当所述器官左右两边最大的两棵血管树中节点的半径分布曲线的KL距离大于预设的第一距离阈值时，确定所述两棵血管树对应的区域为所述第一病变区域；

对于医学影像为左右非对称器官的影像，当所述血管树中节点的半径分布曲线与标准半径曲线的KL距离大于预设的第二距离阈值时，确定所述血管树对应的区域为所述第一病变区域。

5.根据权利要求2所述的方法，其特征在于，所述深度学习模型为ResNet神经网络模型，所述方法还包括：采用Adam算法，将经过人工标注有病变区域的训练集合输入到所述ResNet神经网络模型中进行训练，以获得经训练的所述深度学习模型。

6.根据权利要求2所述的方法，其特征在于，对所述预检测病变区域影像进行研判，获得所述器官影像中的第二病变区域包括：

获取所述预检测病变区域影像；

从所述预检测病变区域影像中分割出多个血管区域，所述血管区域包括：血管及与血管具有相似特征的体素；

根据所述多个血管区域之间的邻近关系，建立所述多个血管区域的关联矩阵；

分别获取每个所述血管区域的血管段及血管分叉点；

根据所述关联矩阵，将各所述血管区域分别包含的所述血管段、所述血管分叉点及其之间的连接关系，构建为以所述血管段及所述血管分叉点为节点的血管图；

基于所述血管图中的多个连通子图，建立对应的多棵血管树；以及

基于所述多棵血管树，根据预定义的病变研判规则，对待研判区域进行病变研判；

其中，所述血管树中的节点分别为与其对应的所述连通子图包含的所述血管段。

7.根据权利要求6所述的方法，其特征在于，所述病变研判规则包括以下规则中的部分或全部：

当所述待研判区域的半径与所述待研判区域所在的所述血管树的节点的半径的差值大于预设的第一半径阈值时，确定所述待研判区域为所述第二病变区域；

当所述待研判区域所在的血管树的节点数少于预设的第一节点数目阈值时，确定所述待研判区域为所述第二病变区域；

当所述待研判区域的半径与所述待研判区域所在的所述血管树的节点的所有相邻节点的半径的差值均大于预设的第二半径阈值时，确定所述待研判区域为所述第二病变区域；

当所述待研判区域所在的所述血管树的节点的半径大于第三半径阈值，且所述节点的子树的节点小于第二节点数目阈值时，确定所述待研判区域为所述第二病变区域。

8.一种生物器官病变检测装置，其特征在于，包括：

影像获取模块，用于获取器官的医学影像，所述医学影像包括多个体素；

影像识别模块，用于从所述医学影像中识别出器官影像；

病变识别模块，用于对所述器官影像中获取的血管区域进行病变识别，获得所述器官影像中的第一病变区域，所述第一病变区域包括：根据所述血管区域中的血管树和预定义的病变规则，对器官影像进行病变识别，得到第一病变区域；

病变预检测模块，用于通过经训练的深度学习模型，对所述器官影像进行病变预检测，获得所述器官影像中的预检测病变区域影像；

病变研判模块，用于对所述预检测病变区域影像进行研判，获得所述器官影像中的第二病变区域；以及

病变确定模块，用于根据所述第一病变区域与所述第二病变区域，获得所述器官影像最终的病变区域。

9.一种计算机设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，其特征在于，所述处理器执行所述可执行指令时实现如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-7任一项所述的方法。