CN107808377B - 一种肺叶中病灶的定位装置 - Google Patents

Abstract

本发明提供了一种肺叶中病灶的定位装置，标注所述基准图像中肺叶的关键点，将已标注关键点的基准图像输入待训练的卷积神经网络中，对所述卷积神经网络进行训练，所得神经网络能够高质量的自动定位肺部CT影像的关键点位置。获得关键点位置后，该方法及装置进而能自动将肺部病灶坐标映射到预先制作的肺部三维模型中的坐标，确定病灶在肺部的具体肺叶肺段。

Description

一种肺叶中病灶的定位装置

技术领域

本发明涉及医学影像技术领域，尤其是涉及一种肺叶中病灶的定位装置。

背景技术

当前，肺癌作为全球第一大癌症，发病率逐年提升。肺癌的生存率与首次确诊时所处的病程阶段高度相关，肺癌影像学诊断是发现早期肺癌的重要手段,目前智能医疗是推动我国卫生事业和健康产业发展、更好地保障人民健康的重要内容，智能医疗将辅助我们更加合理地配置医疗资源。随着人口老龄化的到来，解决医疗便捷问题。因此将大数据驱动的人工智能应用于早期肺癌影像诊断中,通过机器辅助医生，提高诊疗效率，缓解超负荷状态，降低漏诊及误诊,提升医生诊疗质量，不仅可以挽救无数患者的生命，而且对于缓解医疗资源和医患矛盾也有重大意义。

现有技术中，通过图像识别方式识别肺部CT图像中的病灶，能够识别出病灶在CT图像中的位置，但是并没有方法知道病灶所处的具体肺叶肺段，无法生成完整有效的报告。

发明内容

有鉴于此，本发明的目的在于提供一种肺叶中病灶的定位装置，以缓解了现有图像识别装置对CT图像进行处理准确度不高的技术问题。

第一方面，本发明实施例提供了一种肺叶中病灶的定位方法，其该方法包括：

通过CT扫描仪获取肺叶的横断面图和冠状面图；

将所述冠状面图输入训练好的第一卷积神经网络中，将所述横断面图输入训练好的第二卷积神经网络中，获得所述冠状面图和横断面图上肺叶关键点的位置；

根据所述肺叶关键点的位置建立第一三维坐标系，以确定病灶在第一三维坐标系中的位置，在已有的三维肺叶模型中标注关键点，建立第二三维坐标系，将病灶在第一三维坐标系中的位置映射到第二三维坐标系，以在三维肺叶模型中确定所述病灶的位置；

所述第一卷积神经网络和第二卷积神经网络的训练过程，包括：

从已有的肺叶的横断面图和冠状面图中选取基准图像，分别为横断面基准图像和冠状面基准图像；

获取所述基准图像中的肺叶位置；

根据所获取的肺叶位置，标注所述基准图像中肺叶的关键点，将已标注关键点的基准图像输入待训练的卷积神经网络中，对所述卷积神经网络进行训练，直到所述卷积神经网络的模型收敛为止；输入所述冠状面基准图像训练而成的即为第一卷积神经网络，输入所述横断面基准图像训练而成的即为第二卷积神经网络。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述将已标注关键点的示例图像输入待训练的卷积神经网络中，对所述卷积神经网络进行训练的步骤中，包括：

将已标注关键点的示例图像从所述卷积神经网络的输入层输入，卷积层和池化层提取上述图像的特征值，然后从输出层输出，上述特征值在分类器进行分类，获取所述卷积神经网络通过判断得出的属性信息，通过比较算法计算得到上述图像特征值的损失值；并利用这个损失值来调节所述卷积神经网络中的权重。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述冠状面图由多张不同位置的横断面图通过多平面重建技术合成。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，根据所获取的肺叶位置，标注所述基准图像中肺叶的关键点的步骤之后，所述方法还包括：根据基准图像的肺叶位置和所述肺叶的关键点，对基准图像进行处理。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述对基准图像进行处理的步骤，包括：对基准图像的空间分辨率，密度分辨率和时间分辨率进行调整。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，

从已有的肺叶的横断面图和冠状面图中选取基准图像，分别为横断面基准图像和冠状面基准图像的步骤中，包括：

在冠状面图中选取气管显示面积最大的作为冠状面基准图像；

在横断面图中选取冠状面图中肺叶中部位置对应的横断面图作为横断面基准图像。

第二方面，本发明实施例还提供一种肺叶中病灶的定位装置，包括：

卷积神经网络训练模块，用于从已有的肺叶的横断面图和冠状面图中选取基准图像；获取所述基准图像中的肺叶位置；根据所获取的肺叶位置，标注所述基准图像中肺叶的关键点；将已标注关键点的基准图像输入待训练的卷积神经网络中，对所述卷积神经网络进行训练，直到所述卷积神经网络的模型收敛为止；

关键点位置确定模块，用于通过CT扫描仪获取肺叶的横断面图和冠状面图；将所述冠状面图输入训练好的第一卷积神经网络中，将所述横断面图输入训练好的第二卷积神经网络中，获得所述冠状面图和横断面图上肺叶关键点的位置；

坐标系建立模块，用于根据所述肺叶关键点的位置建立第一三维坐标系，以确定病灶在第一三维坐标系中的位置，在已有的三维肺叶模型中标注关键点，建立第二三维坐标系，将病灶在第一三维坐标系中的位置映射到第二三维坐标系，以在三维肺叶模型中确定所述病灶的位置。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述卷积神经网络包括输入层、多个卷积层、多个池化层、多个全连接层和输出层。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述装置还包括图像处理模块，用于对基准图像进行处理。

结合第二方面的第二种可能的实施方式，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述图像处理模块包括：

空间分辨率调整单元，用于对基准图像的空间分辨率进行调整；

密度分辨率调整单元，用于对基准图像的密度分辨率进行调整；

时间分辨率调整单元，用于对基准图像的时间分辨率进行调整。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种肺叶中病灶的定位装置，标注所述基准图像中肺叶的关键点将已标注关键点的基准图像输入待训练的卷积神经网络中，对所述卷积神经网络进行训练，标注基准图像关键点位置非常准确，利用基准图像训练的卷积神经网络对CT图像关键点进行标注，可以对CT图像进行高质量的识别，准确定位关键点的位置，并且可以快速地对CT图像进行处理，提高工作质量和工作效率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种肺叶中病灶的定位方法的流程图；

图2为本发明实施例提供的第一卷积神经网络和第二卷积神经网络的训练过程的流程图；

图3为本发明实施例提供的一种肺叶中病灶的定位装置的结构框图；

图4为本发明实施例提供的肺叶横断面示意图；

图5为本发明实施例提供的肺叶冠状面示意图；

图6为本发明实施例提供的增加辅助点后的肺叶横断面示意图；

图7为本发明实施例提供的增加辅助点后的肺叶冠状面示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前图像识别装置对图像的识别准确度不高，基于此，本发明实施例提供的一种肺叶中病灶的定位方法及装置，可以应用于肺癌、肺气肿等肺部病变的诊断过程中；尤其可以应用于通过CT(Computed Tomography，电子计算机断层扫描)图像或三维CT图像确认病变位置的过程中；该技术可以采用相关的软件或硬件实现，下面通过实施例进行描述。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种肺叶中病灶的定位方法进行详细介绍，

参见图1所示的一种肺叶中病灶的定位方法的流程图；该方法包括如下步骤：

步骤S101，通过CT扫描仪获取肺叶的横断面图和冠状面图；

步骤S102，将所述冠状面图输入训练好的第一卷积神经网络中，将所述横断面图输入训练好的第二卷积神经网络中，获得所述冠状面图和横断面图上肺叶关键点的位置；其中参见图5所示的肺叶冠状面示意图，在所述冠状面图像获得8个关键点为A、B、C、D、E、F、G、H，参见图4所示的肺叶横断面示意图，在所述横断面图像上获得4个关键点为J、K、L、M。

步骤S103，根据所述肺叶关键点的位置建立第一三维坐标系，以确定病灶在第一三维坐标系中的位置，在已有的三维肺叶模型中标注关键点，建立第二三维坐标系，将病灶在第一三维坐标系中的位置映射到第二三维坐标系，以在三维肺叶模型中确定所述病灶的位置；

参见图2所示的第一卷积神经网络和第二卷积神经网络的训练过程的流程图；该方法包括如下步骤：

步骤S201，从已有的肺叶的横断面图和冠状面图中选取基准图像，分别为横断面基准图像和冠状面基准图像；

步骤S202，获取所述基准图像中的肺叶位置；

步骤S203，根据所获取的肺叶位置，标注所述基准图像中肺叶的关键点，将已标注关键点的基准图像输入待训练的卷积神经网络中，对所述卷积神经网络进行训练，直到所述卷积神经网络的模型收敛为止；输入所述冠状面基准图像训练而成的即为第一卷积神经网络，输入所述横断面基准图像训练而成的即为第二卷积神经网络。

其中，步骤S201中，在冠状面图中选取气管显示面积最大的作为冠状面基准图像，心脏跳动，肺部呼吸等原因会导致找到的基准层面不准，可以取B、F的中点，选取中点位置对应的横断面图作为横断面基准图像。

其中，步骤S203中，标注所述基准图像中肺叶的关键点的步骤之后，方法还包括：根据基准图像的肺叶位置和所述肺叶的关键点，对基准图像进行处理。对基准图像的处理包括调整基准图像的尺寸，以及基准图像的空间分辨率，密度分辨率和时间分辨率，保障训练出的卷积神经网络的准确度更高，待检测图像关键点位置的标注更精确。

同时，在卷积神经网络的过程中，为保证标注的CT图像准确度高，还应包括，将已标注关键点的基准图像从所述卷积神经网络的输入层输入，卷积层和池化层提取上述图像的特征值，然后从输出层输出，上述特征值在分类器进行分类，获取所述卷积神经网络通过判断得出的属性信息，通过比较算法计算得到上述图像特征值的损失值；并利用这个损失值来调节所述卷积神经网络中的权重。

其中，步骤S103中，建立一个三维肺叶模型，三维模型上根据解剖学原理将右上叶分为尖段、后段和前段；左上叶分为尖后段、前段、上舌段和下舌段；左下叶分为背段、前内基底段、外基底段和后基底段；右中叶分为外侧段、内侧段；右下叶分为背段、内基底段、前基底段、外基底段和后基底段，同时，根据冠状面图和横断面图上关键点的位置，在三维肺叶模型上标注与之对应的关键点a、b、c、d、e、f、g、h、j、k、l、m，但是因为这12个关键点组合出的四面体无法完全覆盖肺部区域，因此，需要增加2组各4个辅助点。在a、b、c、d、e、f、g、h所在的平面上，以b、f的中点i点为基准，增加四个辅助点n、o、p、q。假设i点坐标为(xi,yi)，增加的四个辅助点n、o、p、q的坐标分别为(xi-w,yi-w)，(xi-w,yi+w)，(xi+w,yi-w)，(xi+w,yi+w)，在j、k、l、m所在的平面内，也以同样的方法，以i点在横断面图上的坐标为基准，在四角的相同距离上增加四个辅助点r、s、t、u。

设定三维肺叶模型所在的三维空间为肺部标准空间s。使用20个点对s空间进行三角剖分，剖分为多个四面体，典型的剖分算法为Delaunay算法；以每个四面体的四个顶点命名该四面体，这些四面体组成一个集合，设为w。

设定横断面和冠状面组成三维空间为空间S。使用第一卷积神经网络和第二神经网络检测出12个关键点，参见图6所示的增加辅助点后的肺叶横断面示意图和图7所示的增加辅助点后的肺叶冠状面图，依照上述方法增加8个辅助点，得到S空间的20个点；这20个点分别与s的20个点一一对应；

将s空间剖分出的四面体集合w中的每个顶点换成S空间的对应顶点的坐标，就可以得到对S空间的三角剖分，这些四面体组成一个集合，设为W。W和w中的每个四面体是一一对应的。

已知S空间中某病灶点X的坐标，计算其在s空间中的对应坐标，计算流程如下：

对于W中的每个四面体，使用计算几何方法判断点X是否在四面体内，遍历之后，即可判断X是否在某一个四面体内。

如果X不在四面体内，则X点在肺部之外；

如果X在四面体中，上述遍历即可得到X所在的四面体，设其为Y，这个四面体在w中对应的四面体为y，计算X点在s空间对应的坐标。四面体Y的四个定点为A1、B1、C1、O1，病灶点为X。四面体y的四个顶点为a1、b1、c1、o1。问题形式化为已知A1、B1、C1、O1、X的坐标及a1、b1、c1、o1点坐标，求病灶点X在y里的对应位置x。具体方法如下：

假定存在一个线性映射将四面体Y映射为四面体y，根据向量计算原理，可知，S空间中：

在s空间中：

根据A1、B1、C1、O1、X的坐标，可计算出α、β、γ值。将α、β、γ值及a1、b1、c1、o1点坐标代入式2，可求得X映射到空间s的坐标x，即可确定病灶处于肺叶的哪个分段中。通过直观地显示出病灶出现在肺叶的哪个分段上，有助于病人更加直接地了解病情。

进一步的，所述冠状面图由多张不同位置的横断面图通过多平面重建技术合成。

本发明提供了一种肺叶中病灶的定位方法，标注所述基准图像中肺叶的关键点，将已标注关键点的基准图像输入待训练的卷积神经网络中，对所述卷积神经网络进行训练，所得神经网络能够高质量的自动定位肺部CT影像的关键点位置。获得关键点位置后，该方法及装置进而能自动将肺部病灶坐标映射到预先制作的肺部三维模型中的坐标，确定病灶在肺部的具体肺叶肺段。

这样设计标注基准图像关键点位置非常准确，利用基准图像训练的卷积神经网络对CT图像关键点进行标注，可以对CT图像进行高质量的识别，准确定位关键点的位置，进而确定病灶在肺叶的哪个分段上，这样设计提高了工作质量和工作效率，使病人可以更加直观地了解病情。

对应于上述方法实施例，参见图3所示的一种肺叶中病灶的定位装置的结构框图；该肺叶中病灶的定位装置包括如下部分：

卷积神经网络训练模块32，用于从已有的肺叶的横断面图和冠状面图中选取基准图像；获取所述基准图像中的肺叶位置；根据所获取的肺叶位置，标注所述基准图像中肺叶的关键点；将已标注关键点的基准图像输入待训练的卷积神经网络中，对所述卷积神经网络进行训练，直到所述卷积神经网络的模型收敛为止；

关键点位置确定模块33，用于通过CT扫描仪获取肺叶的横断面图和冠状面图；将所述冠状面图输入训练好的第一卷积神经网络中，将所述横断面图输入训练好的第二卷积神经网络中，获得所述冠状面图和横断面图上肺叶关键点的位置；

坐标系建立模块34，用于根据所述肺叶关键点的位置建立第一三维坐标系，以确定病灶在第一三维坐标系中的位置，在已有的三维肺叶模型中标注关键点，建立第二三维坐标系，将病灶在第一三维坐标系中的位置映射到第二三维坐标系，以在三维肺叶模型中确定所述病灶的位置。

其中，所述卷积神经网络包括输入层、多个卷积层、多个池化层、多个全连接层和输出层。

肺叶中病灶的定位装置还包括图像处理模块，图像处理模块包括：

空间分辨率调整单元，密度分辨率调整单元和时间分辨率调整单元。

上述三个调整单元，分别用于对基准图像空间分辨率、密度分辨率和时间分辨率的调整，提高了基准图像的质量，进而可以提高卷积神经网络的质量，使其对CT图像进行高质量的识别，准确定位关键点的位置。

需要说明的是，上述各个实施例均采用递进的方式描述，每个实施例重点说明的是与其他实施例的不同之处，各个实施例之间相同相似的部分未重复描述，可以互相参见。

本发明实施例提供的肺叶中病灶的定位装置具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

在本发明所提供的实施例中，应该理解到，所揭露***和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (4)

1.一种肺叶中病灶的定位装置，其特征在于，包括：

卷积神经网络训练模块，用于从已有的肺叶的横断面图和冠状面图中选取基准图像；获取所述基准图像中的肺叶位置；根据所获取的肺叶位置，标注所述基准图像中肺叶的关键点；将已标注关键点的基准图像输入待训练的卷积神经网络中，对所述卷积神经网络进行训练，直到所述卷积神经网络的模型收敛为止；

关键点位置确定模块，用于通过CT扫描仪获取肺叶的横断面图和冠状面图；将所述冠状面图输入训练好的第一卷积神经网络中，将所述横断面图输入训练好的第二卷积神经网络中，获得所述冠状面图和横断面图上肺叶关键点的位置；

坐标系建立模块，用于根据所述肺叶关键点的位置建立第一三维坐标系，以确定病灶在第一三维坐标系中的位置，在已有的三维肺叶模型中标注关键点，建立第二三维坐标系，将病灶在第一三维坐标系中的位置映射到第二三维坐标系，以在三维肺叶模型中确定所述病灶的位置。

2.根据权利要求1所述的肺叶中病灶的定位装置，其特征在于，所述卷积神经网络包括输入层、多个卷积层、多个池化层、多个全连接层和输出层。

3.根据权利要求1所述的肺叶中病灶的定位装置，其特征在于，所述装置还包括图像处理模块，用于对基准图像进行处理。

4.根据权利要求3所述的肺叶中病灶的定位装置，其特征在于，所述图像处理模块包括：

空间分辨率调整单元，用于对基准图像的空间分辨率进行调整；

密度分辨率调整单元，用于对基准图像的密度分辨率进行调整；

时间分辨率调整单元，用于对基准图像的时间分辨率进行调整。