CN111242931A - 一种单肺叶的小气道病变判断方法和装置 - Google Patents

Abstract

本发明公开了一种单肺叶的小气道病变判断方法和装置，涉及生物医学工程领域，一种单肺叶的小气道病变判断方法，包括：获取全吸气相肺部图像的第一肺叶分割图像；获取全呼气相肺部图像的第二肺叶分割图像；分别提取所述第一肺叶分割图像中多个带有CT值的全吸气相单肺叶；分别提取所述第二肺叶分割图像中多个带有CT值的全呼气相单肺叶；分别对相应位置的所述全吸气相单肺叶和所述全呼气相单肺叶进行配准，得到配准后的全吸气相单肺叶和配准后的全呼气相单肺叶；对所述配准后的全吸气相单肺叶和所述配准后的全呼气相单肺叶的CT值分别与吸气相设定阈值和呼气相设定阈值进行比较。以解不能判断小气道病变在具体肺叶上分布问题。

Description

一种单肺叶的小气道病变判断方法和装置

技术领域

本发明涉及生物医学工程领域，具体说是一种单肺叶的小气道病变判断方法和装置。

背景技术

面向呼吸专科医联体的人工智能诊断分析是精准医疗的重要组成，呼吸科与影像科医生云端交流互动是迈向在线时代和分级诊疗的必然趋势。慢性阻塞性肺病(COPD)是一种渐进性的肺部疾病，慢性阻塞性肺病预计到2030年将成为全球第三大死因。功能性小气道疾病(functional small airways disease，fSAD)为直径小于2-3mm的气道，大约第4级终末细支气管和呼吸细支气管，正常人中小气道阻力占呼吸道总阻力的比例较小，而哮喘和慢阻肺患者中小气道是导致气道阻力增加的主要因素。研究表明在COPD中，fSAD与肺气肿破坏的关系表明，终末支气管炎(fSAD)的缩小和消失先于COPD肺气肿的破坏，因此fSAD的病变要先于肺气肿疾病。文献[4]给出了正常区域、fSAD区域和肺气肿区域相互转化的计算模型，如尽早检查出fSAD，在一定程度上可避免COPD肺气肿的形成，若果小气道出现纤维化、变形、狭窄甚至闭合,此时小气道的功能已不可逆。

正如Salman Siddiqui&Omar S Usmani指出的，由于小气道的直径较小导致难以观测，对于小气道的测量也是一个巨大的挑战。

小气道评估的主要技术有肺量计测定法、体积描记法，单次呼吸氮洗法、脉冲震荡法(IOS)、重复呼吸氮气冲洗法(MBN2W)、多流量呼吸的一氧化氮、痰液诱导、高分辨率CT、吸入超极化气体磁共振成像、核素成像、经支气管镜活检和支气管肺泡灌洗等。

目前，COPD存在严重诊断不足和治疗不足，如果可先检查出fSAD或COPD在具体肺叶上的分布，可针对具体肺叶进行靶向治疗在在临床上是具有很大的应用价值。然而，fSAD往往在COPD的早期，且在临床无明显的症状，由于fSAD的横截面积小于CT等传统肺部成像技术的空间分辨率，常规肺功能检查多不能发现fSAD，因此SAD在患者体内的研究非常困难。

发明内容

有鉴于此，本发明提供一种单肺叶的小气道病变判断方法和装置，以解传统的小气道病变判断方法是基于整个肺部进行判断，不能基于单肺叶进行判断，导致不能判断小气道病变在具体肺叶上分布问题。

第一方面，本发明提供一种单肺叶的小气道病变判断方法，包括：

获取全吸气相肺部图像的第一肺叶分割图像；

获取全呼气相肺部图像的第二肺叶分割图像；

分别提取所述第一肺叶分割图像中多个带有CT值的全吸气相单肺叶；

分别提取所述第二肺叶分割图像中多个带有CT值的全呼气相单肺叶；

分别对相应位置的所述全吸气相单肺叶和所述全呼气相单肺叶进行配准，得到配准后的全吸气相单肺叶和配准后的全呼气相单肺叶；

对所述配准后的全吸气相单肺叶和所述配准后的全呼气相单肺叶的CT值分别与吸气相设定阈值和呼气相设定阈值进行比较；

若所述配准后的全吸气相单肺叶的CT值小于所述吸气相设定阈值以及所述配准后的全呼气相单肺叶的CT值小于所述呼气相设定阈值，则认为此区域存在小气道病变；

否则，则认为此区域不存在小气道病变。

优选地，所述获取全吸气相肺部图像的第一肺叶分割图像以及所述获取全呼气相肺部图像的第二肺叶分割图像之前，还包括：

对所述全吸气相肺部图像以及所述全呼气相肺部图像进行分割，得到所述第一肺叶分割图像和所述第二肺叶分割图像；以及/或

所述全吸气相肺部图像以及所述全呼气相肺部图像进行分割，得到所述第一肺叶分割图像和所述第二肺叶分割图像的方法，包括：

获取所述全吸气相肺部图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；利用全吸气相肺部图像的矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正；利用校正后的肺叶裂隙特征对所述全吸气相肺部图像进行分割；

获取所述全呼气相肺部图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；利用所述全呼气相肺部图像的矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正；利用校正后的肺叶裂隙特征对全呼气相肺部图像进行分割。

优选地，所述分别提取所述第一肺叶分割图像中多个带有CT值的全吸气相单肺叶；以及所述分别提取所述第二肺叶分割图像中多个带有CT值的全呼气相单肺叶的方法为：

确定所述第一肺叶分割图像拟提取的肺叶以及所述第二肺叶分割图像拟提取的肺叶；

分别对所述第一肺叶分割图像和所述第二肺叶分割图像的肺叶进行标记；

根据所述标记后的第一肺叶分割图像中拟提取的肺叶和所述全吸气相肺部图像得到所述多个带有CT值的全吸气相单肺叶；

根据所述标记后的第二肺叶分割图像中拟提取的肺叶和所述全呼气相肺部图像得到所述多个带有CT值的全呼气相单肺叶。

优选地，所述分别对所述第一肺叶分割图像和所述第二肺叶分割图像的肺叶进行标记；根据所述标记后的第一肺叶分割图像中拟提取的肺叶和全吸气相肺部图像得到所述多个带有CT值的全吸气相单肺叶的具体方法为：根据所述第一肺叶分割图像得到第一掩码图像，并根据所述第一掩码图像和所述第一肺叶分割图像中拟提取的肺叶的标记得到标记的第一掩码图像，利用所述标记的第一掩码图像乘以所述全吸气相肺部图像，得到所述多个带有CT值的全吸气相单肺叶；以及/或

根据所述第一肺叶分割图像得到第一掩码图像，并根据所述第一掩码图像和所述第一肺叶分割图像中拟提取的肺叶的标记得到标记的第一掩码图像的具体方法为：对所述第一肺叶分割图像进行掩码处理，得到所述第一肺叶分割图像的每个肺叶的第一掩码图像，根据所述第一肺叶分割图像的每个肺叶的第一掩码图像的预设掩码值以及所述第一肺叶分割图像中拟提取的肺叶的标记得到所述标记的第一掩码图像；并将所述标记的第一掩码图像内的像素置1，以及将所述标记的第一掩码图像之外的所述肺叶分割图像的区域的像素置0；

以及/或

根据所述标记后的第二肺叶分割图像中拟提取的肺叶和全呼气相肺部图像得到所述多个带有CT值的全呼气相单肺叶的具体方法为：根据所述第二肺叶分割图像得到第二掩码图像，并根据所述第二掩码图像和所述第二肺叶分割图像中拟提取的肺叶的标记得到标记的第二掩码图像，利用所述标记的第二掩码图像乘以所述全呼气相肺部图像，得到所述多个带有CT值的全呼气相单肺叶；以及/或

根据所述第二肺叶分割图像得到第二掩码图像，并根据所述第二掩码图像和所述第二肺叶分割图像中拟提取的肺叶的标记得到标记的第二掩码图像的具体方法为：对所述第二肺叶分割图像进行掩码处理，得到所述第二肺叶分割图像的每个肺叶的第二掩码图像，根据所述第二肺叶分割图像的每个肺叶的第二掩码图像的预设掩码值以及所述第二肺叶分割图像中拟提取的肺叶的标记得到所述标记的第二掩码图像；并将所述标记的第二掩码图像内的像素置1，以及将所述标记的第二掩码图像之外的所述肺叶分割图像的区域的像素置0。

优选地，利用所述标记的第一掩码图像乘以所述全吸气相肺部图像，得到所述多个带有CT值的全吸气相单肺叶的具体方法为：

依次利用所在相同层数的所述标记的第一掩码图像乘以所述全吸气相肺部图像得到一层所述带有CT值的全吸气相单肺叶，将若干层所述带有CT值的全吸气相单肺叶进行三维重建，得到所述多个带有CT值的全吸气相单肺叶；以及/或

利用所述标记的第二掩码图像乘以所述全呼气相肺部图像，得到所述多个带有CT值的全呼气相单肺叶的具体方法为：

依次利用所在相同层数的所述标记的第二掩码图像乘以所述全呼气相肺部图像得到一层所述带有CT值的全呼气相单肺叶，将若干层所述带有CT值的全呼气相单肺叶进行三维重建，得到所述多个带有CT值的全呼气相单肺叶。

优选地，利用所述标记的第一掩码图像乘以所述全吸气相肺部图像，得到所述多个带有CT值的全吸气相单肺叶之前，分别确定所述全吸气相肺部图像的层数和所述标记的第一掩码图像的层数；

判断所述全吸气相肺部图像的层数和所述标记的第一掩码图像的层数是否相等；

若相等，则依次利用所在相同层数的所述标记的第一掩码图像乘以所述全吸气相肺部图像得到一层所述带有CT值的全吸气相单肺叶，将若干层所述带有CT值的全吸气相单肺叶进行三维重建，得到所述多个带有CT值的全吸气相单肺叶；

若不相等，将所述标记的第一掩码图像或所述全吸气相肺部图像进行插值，以得到与所述全吸气相肺部图像相同层数的所述标记的第一掩码图像，然后依次利用所在相同层数的所述标记的第一掩码图像乘以所述全吸气相肺部图像得到一层所述带有CT值的全吸气相单肺叶，将若干层所述带有CT值的全吸气相单肺叶进行三维重建，得到所述多个带有CT值的全吸气相单肺叶；以及/或

利用所述标记的第二掩码图像乘以所述全呼气相肺部图像，得到所述多个带有CT值的全呼气相单肺叶之前，分别确定所述全呼气相肺部图像的层数和所述标记的第二掩码图像的层数；

判断所述全呼气相肺部图像的层数和所述标记的第二掩码图像的层数是否相等；

若相等，则依次利用所在相同层数的所述标记的第二掩码图像乘以所述全呼气相肺部图像得到一层所述带有CT值的全呼气相单肺叶，将若干层所述带有CT值的全呼气相单肺叶进行三维重建，得到所述多个带有CT值的全呼气相单肺叶；

若不相等，将所述标记的第二掩码图像或所述全呼气相肺部图像进行插值，以得到与所述全呼气相肺部图像相同层数的所述标记的第二掩码图像，然后依次利用所在相同层数的所述标记的第二掩码图像乘以所述全呼气相肺部图像得到一层所述带有CT值的全吸气相单肺叶，将若干层所述带有CT值的全呼气相单肺叶进行三维重建，得到所述多个带有CT值的全呼气相单肺叶。

优选地，所述利用所述全吸气相肺部图像的矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对全吸气相肺部图像的第三个肺叶裂隙特征进行校正的方法为：

将所述全吸气相肺部图像的任意二个的肺叶裂隙特征映射到全吸气相肺部图像的第三个肺叶裂隙特征所在视角；利用映射后的全吸气相肺部图像的任意二个的肺叶裂隙特征对全吸气相肺部图像的第三个肺叶裂隙特征进行校正；以及/或

所述利用全呼气相肺部图像的所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对所述全呼气相肺部图像的第三个肺叶裂隙特征进行校正的方法为：

将所述全呼气相肺部图像的任意二个的肺叶裂隙特征映射到全呼气相肺部图像的第三个肺叶裂隙特征所在视角；利用映射后的全呼气相肺部图像的任意二个的肺叶裂隙特征对全呼气相肺部图像的第三个肺叶裂隙特征进行校正。

优选地，所述利用映射后的全吸气相肺部图像的任意二个的肺叶裂隙特征对全吸气相肺部图像的第三个肺叶裂隙特征进行校正的方法为：分别利用映射后的所述全吸气相肺部图像的任意二个的肺叶裂隙特征以及所述全吸气相肺部图像的第三个肺叶裂隙特征进行空间注意力特征融合，得到全吸气相肺部图像的第一融合特征和全吸气相肺部图像的第二融合特征；根据所述全吸气相肺部图像的第一融合特征和所述全吸气相肺部图像的第二融合特征得到校正后的所述全吸气相肺部图像的第三个肺叶裂隙特征；

以及/或

所述利用映射后的全呼气相肺部图像的任意二个的肺叶裂隙特征对全呼气相肺部图像的第三个肺叶裂隙特征进行校正的方法为：分别利用映射后的所述全呼气相肺部图像的任意二个的肺叶裂隙特征以及所述全呼气相肺部图像的第三个肺叶裂隙特征进行空间注意力特征融合，得到全呼气相肺部图像的第一融合特征和全呼气相肺部图像的第二融合特征；根据所述全呼气相肺部图像的第一融合特征和所述全呼气相肺部图像的第二融合特征得到校正后的所述全呼气相肺部图像的第三个肺叶裂隙特征。

优选地，所述分别利用映射后的所述全吸气相肺部图像的任意二个的肺叶裂隙特征以及所述全吸气相肺部图像的第三个肺叶裂隙特征进行空间注意力特征融合，得到全吸气相肺部图像的第一融合特征和全吸气相肺部图像的第二融合特征的方法为：

分别将所述全吸气相肺部图像的任意二个的肺叶裂隙特征与所述全吸气相肺部图像的第三个肺叶裂隙特征进行连接，得到所述全吸气相肺部图像的第一连接特征和所述全吸气相肺部图像的第二连接特征；

对所述全吸气相肺部图像的第一连接特征进行第一卷积操作得到所述全吸气相肺部图像的第一卷积特征，以及对所述全吸气相肺部图像的第二连接特征进行第一卷积操作得到所述全吸气相肺部图像的第二卷积特征；

对所述全吸气相肺部图像的第一卷积特征进行第二卷积操作得到所述全吸气相肺部图像的第一注意力系数，以及对所述全吸气相肺部图像的第二卷积特征进行第二卷积操作得到所述全吸气相肺部图像的第二注意力系数；

利用所述全吸气相肺部图像的第一卷积特征和所述全吸气相肺部图像的第一注意力系数得到所述全吸气相肺部图像的第一融合特征，以及利用所述全吸气相肺部图像的第二卷积特征和所述全吸气相肺部图像的第二注意力系数得到所述全吸气相肺部图像的第二融合特征；

以及/或

所述分别利用映射后的所述全呼气相肺部图像的任意二个的肺叶裂隙特征以及所述全呼气相肺部图像的第三个肺叶裂隙特征进行空间注意力特征融合，得到全呼气相肺部图像的第一融合特征和全呼气相肺部图像的第二融合特征的方法为：

分别将所述全呼气相肺部图像的任意二个的肺叶裂隙特征与所述全呼气相肺部图像的第三个肺叶裂隙特征进行连接，得到所述全呼气相肺部图像的第一连接特征和所述全呼气相肺部图像的第二连接特征；

对所述全呼气相肺部图像的第一连接特征进行第一卷积操作得到所述全呼气相肺部图像的第一卷积特征，以及对所述全呼气相肺部图像的第二连接特征进行第一卷积操作得到所述全呼气相肺部图像的第二卷积特征；

对所述全呼气相肺部图像的第一卷积特征进行第二卷积操作得到所述全呼气相肺部图像的第一注意力系数，以及对所述全呼气相肺部图像的第二卷积特征进行第二卷积操作得到所述全呼气相肺部图像的第二注意力系数；

利用所述全呼气相肺部图像的第一卷积特征和所述全呼气相肺部图像的第一注意力系数得到所述全呼气相肺部图像的第一融合特征，以及利用所述全呼气相肺部图像的第二卷积特征和所述全呼气相肺部图像的第二注意力系数得到所述全呼气相肺部图像的第二融合特征。

第二方面，本发明提供一种单肺叶的小气道病变判断装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器存储的指令，以执行如上所述的单肺叶的小气道病变判断方法。

本发明至少具有如下有益效果：

本发明提供一种单肺叶的小气道病变判断方法和装置，以解传统的小气道病变判断方法是基于整个肺部进行判断，不能基于单肺叶进行判断，导致不能判断小气道病变在具体肺叶上分布问题。

附图说明

通过以下参考附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点更为清楚，在附图中：

图1是本发明实施例一种单肺叶的小气道病变判断方法的流程示意图；

图2是基于整个肺部进行配准的示意图；

图3是本发明实施例中一种带有CT值的肺叶提取方法的流程示意图；

图4是本发明实施例中一种带有CT值的肺叶提取装置的示意图；

图5是本发明实施例中一种带有CT值的肺叶提取方法或/和装置提取的右肺上肺叶的提取示意图；

图6是本发明实施例一种基于多视角下的肺叶分割方法的流程图示意图；

图7是本发明实施例一种基于多视角下的肺叶分割方法和/或装置的网络结构示意图。

具体实施方式

以下基于实施例对本发明进行描述，但是值得说明的是，本发明并不限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。然而，对于没有详尽描述的部分，本领域技术人员也可以完全理解本发明。

此外，本领域普通技术人员应当理解，所提供的附图只是为了说明本发明的目的、特征和优点，附图并不是实际按照比例绘制的。

同时，除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包含但不限于”的含义。

图1是本发明实施例一种单肺叶的小气道病变判断方法的流程示意图。如图1所示，一种单肺叶的小气道病变判断方法，包括：步骤S1001：获取全吸气相肺部图像的第一肺叶分割图像；步骤S1002：获取全呼气相肺部图像的第二肺叶分割图像；步骤S1003：分别提取所述第一肺叶分割图像中多个带有CT值的全吸气相单肺叶；步骤S1004：分别提取所述第二肺叶分割图像中多个带有CT值的全呼气相单肺叶；步骤S1005：分别对相应位置的所述全吸气相单肺叶和所述全呼气相单肺叶进行配准，得到配准后的全吸气相单肺叶和配准后的全呼气相单肺叶；步骤S1006：对所述配准后的全吸气相单肺叶和所述配准后的全呼气相单肺叶的CT值分别与吸气相设定阈值和呼气相设定阈值进行比较；步骤S1007：若所述配准后的全吸气相单肺叶的CT值小于所述吸气相设定阈值以及所述配准后的全呼气相单肺叶的CT值小于所述呼气相设定阈值，则认为此区域存在小气道病变；步骤S1008：否则，则认为此区域不存在小气道病变。以解传统的小气道病变判断方法是基于整个肺部进行判断，不能基于单肺叶进行判断，导致不能判断小气道病变在具体肺叶上分布问题。

图2是基于整个肺部进行配准的示意图。如图2所示，由图2可以看出，整个肺部进行配准，虽然肺部边缘可以达到整齐的效果，但是肺部裂隙的配准存在着较大的误差，因此进行小气到病变判断时造成更大的误差，以及不能对具体肺叶的小气道病变进行判断。

在本发明实施例中，肺部分为右肺和左肺，共有5个肺叶，右肺包括3个肺叶，分别是右上叶、右中叶、右下叶。左肺包括2个肺叶，分别是左上叶和左下叶。本发明可以实现5个肺叶的任一个或者多个肺叶的小气道病变进行判断。

步骤S1001：获取全吸气相肺部图像的第一肺叶分割图像；步骤S1002：获取全呼气相肺部图像的第二肺叶分割图像。

在本发明实施例中，全吸气相肺部图像和全呼气相肺部图像为一个患者的肺部图像，全吸气相肺部图像时深吸气下，保持肺部空气容量最大时，利用影响设备拍摄的肺部图像。同理，全呼气相肺部图像是在深呼气下，保持肺部空气容量最小时，利用影响设备拍摄的肺部图像。全吸气相肺部图像和全呼气相肺部图像，在医院的影像科医生借助影像设备(如，CT)是可以实现的。

步骤S1003：分别提取所述第一肺叶分割图像中多个带有CT值的全吸气相单肺叶；步骤S1004：分别提取所述第二肺叶分割图像中多个带有CT值的全呼气相单肺叶。

在本发明实施例中，本发明可以提取任一带有CT值的全吸气相单肺叶以及任一带有CT值的全呼气相单肺叶，然后进行判断肺叶的小气道病变。肺部分为右肺和左肺，共有5个肺叶，右肺包括3个肺叶，分别是右上叶、右中叶、右下叶。左肺包括2个肺叶，分别是左上叶和左下叶。本发明可以实现5个肺叶的任一个或者多个肺叶的提取。具体可以详见图3和图4的详细说明。

步骤S1005：分别对相应位置的所述全吸气相单肺叶和所述全呼气相单肺叶进行配准，得到配准后的全吸气相单肺叶和配准后的全呼气相单肺叶。

在本发明中，配准的目的是为了使全吸气相单肺叶与全呼气相单肺叶中的像素点(位置点)一一对应，可以识别或者判断同一个患者在全吸气相单肺叶和全呼气相单肺叶相同位置的CT值，以便得到是否是小气道病变的区域。

在本发明实施例中，对相应位置是指全吸气相和全呼气相中相同的肺叶。例如，全吸气相单肺叶为右上叶，则全呼气相单肺也应该是右上叶，全吸气相的右上叶与全呼气相单肺的右上叶行配准，得到配准后的全吸气相的右上叶和配准后的全呼气相的右上叶。

所述全吸气相单肺叶和所述全呼气相单肺叶进行配准算法可以使用弹性配准算法或者利用深度学习中的VGG网络(VGG-net)进行配准，如论文Deformable imageregistration using convolutional nerual networks或者U网络(U-net)进行配准，如论文Pulmonary CT Registration through Supervised Learning with ConvolutionalNeural Networks。本发明不对具体的配准算法进行限定。

步骤S1006：对所述配准后的全吸气相单肺叶和所述配准后的全呼气相单肺叶的CT值分别与吸气相设定阈值和呼气相设定阈值进行比较。

在本发明实施例中，对于吸气相设定阈值和呼气相设定阈值，本领域人员可以根据需要进行设置。例如，吸气相设定阈值可设为-950HU，呼气相设定阈值可设为-856HU，所述配准后的全吸气相单肺叶与吸气相设定阈值-950HU进行比较，所述配准后的全呼气相单肺叶的CT值与呼气相设定阈值-856HU进行比较。

步骤S1007：若所述配准后的全吸气相单肺叶的CT值小于所述吸气相设定阈值以及所述配准后的全呼气相单肺叶的CT值小于所述呼气相设定阈值，则认为此区域存在小气道病变；步骤S1008：否则，则认为此区域不存在小气道病变。

在本发明实施例中，如，吸气相设定阈值可设为-950HU，呼气相设定阈值可设为-856HU，配准后的全吸气相单肺叶的CT值小于所述吸气相设定阈值-950HU，并且所配准后的全呼气相单肺叶的CT值小于所述呼气相设定阈值-856HU，则认为此区域存在小气道病变；否则，则认为此区域不存在小气道病变。

在本发明中，所述获取全吸气相肺部图像的第一肺叶分割图像以及所述获取全呼气相肺部图像的第二肺叶分割图像之前，还包括：对所述全吸气相肺部图像以及所述全呼气相肺部图像进行分割，得到所述第一肺叶分割图像和所述第二肺叶分割图像。

在本发明实施例中，得到所述第一肺叶分割图像和第二肺叶分割图像的方法的有多种，有基于传统的肺叶方式，也有基于深度学习的方法，如利用U-net分割网络或者V-net分割网络进行肺叶分割，也可以基于论文Automatic segmentation of pulmonary lobesusing a progressive dense v-network提出的PDV网络进行肺叶分割。

在本发明中对所述肺部图像进行肺叶分割，得到所述肺叶分割图像的方法可以选择一种基于多视角下的肺叶分割方法或装置，以解决没有充分利用其他视角的信息对肺叶进行分割，造成信息丢失，不能准确的分割肺叶的问题。

在本发明中，全吸气相肺部图像以及所述全呼气相肺部图像进行分割的方法可以采用相同的方法或者相同的装置，为一种基于多视角下的肺叶分割方法或装置，包括：获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正。具体可见图6和图7中的详细说明。

具体地说，利用一种基于多视角下的肺叶分割方法或装置对所述全吸气相肺部图像以及所述全呼气相肺部图像进行分割，得到所述第一肺叶分割图像和所述第二肺叶分割图像的方法，包括：利用一种基于多视角下的肺叶分割方法或装置对所述全吸气相肺部图像进行分割，得到所述第一肺叶分割图像的方法和利用一种基于多视角下的肺叶分割方法或装置对所述全呼气相肺部图像进行分割，得到所述第二肺叶分割图像的方法。

其中，利用一种基于多视角下的肺叶分割方法或装置对所述全吸气相肺部图像进行分割，得到所述第一肺叶分割图像的方法为：获取所述全吸气相肺部图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；利用全吸气相肺部图像的矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正；利用校正后的肺叶裂隙特征对所述全吸气相肺部图像进行分割。具体可见图6和图7中的详细说明。

其中，利用一种基于多视角下的肺叶分割方法或装置对所述全呼气相肺部图像进行分割，得到所述第二肺叶分割图像的方法为：获取所述全呼气相肺部图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；利用所述全呼气相肺部图像的矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正；利用校正后的肺叶裂隙特征对全呼气相肺部图像进行分割。具体可见图6和图7中的详细说明。

图3是本发明实施例中一种带有CT值的肺叶提取方法的流程示意图。图4是本发明实施例中一种带有CT值的肺叶提取装置的示意图。如图3和图4所示，第一肺叶分割图像和第二肺叶分割图像采用的肺叶提取方法或装置完成带有CT值的第一肺叶分割图像的肺叶提取和带有CT值的第二肺叶分割图像的肺叶提取，带有CT值的第一肺叶分割图像的肺叶提取和带有CT值的第二肺叶分割图像的肺叶提取方法或者装置可以选择同一种方法或者装置。

在图3中，一种带有CT值的肺叶提取方法，包括：步骤S101获取肺部图像的肺叶分割图像；步骤S102确定拟提取的肺叶；步骤S103对所述拟提取的肺叶进行标记；步骤S104根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶。以解决目前需要对整个肺进行定量分析造成数据量庞大，计算速度较慢，不能利用确定或单独的单肺叶CT值进行定量分析的问题。同时，本发明提取了需要提取的肺叶，在之后单个肺叶的三维重建更加快速，有利于医生进一步的对每个肺叶单独观察，不会出现肺叶阻挡的情况。值得说明的是，本发明中的要提取的肺叶即为拟提取的肺叶。

步骤S101获取肺部图像的肺叶分割图像。

本发明的实施例，首先获取肺部图像，此处的肺部图像为原始肺部图像，即从影响设备，如CT机，得到的薄层扫描数据。

步骤S102确定拟提取的肺叶。

具体地说，肺部分为右肺和左肺，共有5个肺叶，右肺包括3个肺叶，分别是右上叶、右中叶、右下叶。左肺包括2个肺叶，分别是左上叶和左下叶。本发明可以实现5个肺叶的任一个或者多个肺叶的提取。

步骤S103对所述拟提取的肺叶进行标记。

对拟提取的肺叶进行标记是为了确定要进行提取的肺叶，可以对多个肺叶进行标记，也可以只对一个肺叶进行标记。

步骤S104根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶。

如已经确定了要提取(拟提取)的肺叶，并对要提取的肺叶进行标记，此时就可以根据没有分割之前的肺部图像进行肺叶的提取了，具体可详见下文的详细描述。

如，需要提取右肺的右上叶，则执行下列操作，首先获取肺部图像，对肺部图像进行肺叶分割，得到肺叶分割图像。然后执行获取肺部图像的肺叶分割图像，确定拟提取的肺叶为右肺的右上叶，对所述右肺的右上叶的肺叶进行标记，根据标记的右肺的右上叶的肺叶和所述肺部图像得到所述要提取的右肺的右上叶。

在本发明的实施例中，步骤S104根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶的具体方法为：根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像，利用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶。其中，掩码图像、标记的掩码图像以及肺部图像的尺度相同。

也就是说，获取肺部图像的肺叶分割图像后，对已经完成肺叶分割图像的每个肺叶进行mask掩码操作，mask掩码操作在计算机学科及数字逻辑中指的是一串二进制数字，通过与目标数字的按位操作，达到屏蔽指定位而实现需求。

所述根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像的方法为：对所述肺叶分割图像进行掩码处理，得到每个肺叶的掩码图像，根据所述每个肺叶的掩码图像的预设掩码值以及所述拟提取肺叶的标记以得到所述标记的掩码图像；并将所述标记的掩码图像内的像素置1，以及将所述标记的掩码图像之外的所述肺叶分割图像的区域的像素置0。所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶，也就是说，掩码图像、标记的掩码图像以及肺部图像的大小(size)相同。

其中，对所述肺叶分割图像进行掩码处理，得到每个肺叶的掩码图像，即对获取肺部图像的肺叶分割图像进行掩码处理，分别得到肺部图像中每个肺叶的掩码图像，然后根据所述每个肺叶的掩码图像的预设掩码值以及所述拟提取肺叶的标记以得到所述标记的掩码图的具体操作为：根据所述拟提取肺叶的掩码图像的预设掩码值和所述标记来确定所述拟提取的肺叶以得到所述标记的掩码图像。

具体地说，对所述拟提取的肺叶进行标记，根据右上叶、右中叶、右下叶、左上叶和左下叶的预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5来确定所述拟提取的肺叶以得到所述标记的掩码图像，对所述拟提取的肺叶进行标记的标记值只能取1-5中的一个或几个。

更为具体地说，对已经完成分割的所述肺叶分割图像的每个肺叶进行mask掩码操作，以区别右上叶、右中叶、右下叶、左上叶和左下叶的5个肺叶，右上叶、右中叶、右下叶、左上叶和左下叶的肺叶可以为分别定义为预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5。其中，对所述拟提取的肺叶进行标记为选择预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5中的一个或者几个。如，所述标记为1，则与预设掩码值1相同，表示所述拟提取肺叶的标记为右上叶，即得到所述标记的掩码图。

值得说明的是，根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶之前，还需要判断所述标记是不是在预设掩码值的范围内，如果在预设掩码值的范围内，则根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶，如果不在则进行提示。如标记为6，则标记不是在预设掩码值的范围内，进行提示，如提示报错。

进一步地说，如果在预设掩码值的范围内，进一步判断预设掩码值与拟提取的肺叶的标记是否相同，如果相同则不需要将所述标记的掩码图像内的像素置1，之后再根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶；否则(如果不相同)，将右肺的右上叶内像素置1，之后再根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶。其中，预设掩码值为像素或者像素值。

例如，确定拟提取的肺叶为右肺的右上叶，右肺的右上叶为预设掩码值1，标记为1表示提取预设掩码值1的右肺的右上叶，由于预设掩码值1与像素值1相同，此时不需要将右肺的右上叶的掩码图像内的内像素置1，将标记之外的肺叶分割图像的区域的像素置0得到所述标记的掩码图像，用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶。

在发本发明的实施例中，根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像，利用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶的具体方法为：依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶，将若干层所述拟提取的肺叶进行三维重建，得到三维拟提取的肺叶。

在发本发明的实施例中，构建标记的掩码图像，利用掩码图像乘以肺部图像，得到拟提取的肺叶之前，分别确定肺部图像的层数和掩码图像的层数；判断肺部图像的层数和掩码图像的层数是否相等；若相等，则依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶，将若干层所述拟提取的肺叶进行三维重建，得到三维拟提取的肺叶；若不相等，将掩码图像进行插值，以得到与肺部图像相同层数的掩码图像，然后依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶，将若干层所述拟提取的肺叶进行三维重建，得到三维拟提取的肺叶。

例如，肺部图像为从影像设备中采集得到原始图像，肺部图像的层数为400层，掩码图像的层数也为400层，肺部图像与掩码图像的每一层都是对应的。对所述肺叶分割图像进行掩码处理，得到每个肺叶的掩码图像，根据所述每个肺叶的掩码图像的预设掩码值以及所述拟提取肺叶的标记以得到所述标记的掩码图像；并将所述标记的掩码图像内的像素置1，以及将所述标记的掩码图像之外的所述肺叶分割图像的区域的像素置0。第一层的肺部图像乘以标记的掩码图像得到所述拟提取的肺叶的第一层数据，依次类推，最后得到所述拟提取的肺叶第400层的数据，然后对所述拟提取的肺叶的第一层数据到所述拟提取的肺叶第400层的数据进行三维重建，得到三维拟提取的肺叶。在本领域三维重建(3DReconstruction)的方法为现有技术，本领域人员可以根据需要自由选择。

同时，本发明还提出了一种带有CT值的肺叶提取装置，如图4所示，包括：获取单元201，用于获取肺部图像的肺叶分割图像；确定单元202，用于确定拟提取的肺叶；标记单元203，用于对拟提取的肺叶进行标记；提取单元204，用于根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶；其中，获取单元201分别与确定单元202以及提取单元204连接，确定单元202还与标记单元203连接，标记单元203还与提取单元204连接。以解决目前需要对整个肺进行定量分析造成数据量庞大，计算速度较慢，不能利用确定或单独的单肺叶CT值进行定量分析的问题。同时，本发明提取了需要提取的肺叶，在之后单个肺叶的三维重建更加快速，有利于医生进一步的对每个肺叶单独观察，不会出现肺叶阻挡的情况。值得说明的是，本发明中的要提取的肺叶即为拟提取的肺叶。具体可参考一种带有CT值的肺叶提取方法内的描述。

在图4中，本发明提出的一种带有CT值的肺叶提取装置，还包括：分割单元；分割单元与获取单元201连接，用于获取肺部图像，对肺部图像进行肺叶分割，得到肺叶分割图像。以及/或所述分割单元，执行以下操作：获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正；利用校正后的肺叶裂隙特征对所述肺图像进行分割。也就是说，在所述获取肺部图像的肺叶分割图像之前，还包括：获取所述肺部图像；对所述肺部图像进行肺叶分割，得到所述肺叶分割图像。

本发明提出的一种带有CT值的肺叶提取装置的所述提取单元204，包括：掩码图像构建单元以及像素点乘单元；所述标记的掩码图像构建单元分别与所述获取单元201、所述标记单元203和所述像素点乘单元连接，用于根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像；所述像素点乘单元，用于利用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶。其中，掩码图像、标记的掩码图像以及肺部图像的尺度相同，也就是说，掩码图像、标记的掩码图像以及肺部图像的大小(size)相同。

在图4中，所述标记的掩码图像构建单元根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像，利用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶执行下列操作：对所述肺叶分割图像进行掩码处理，得到每个肺叶的掩码图像，根据所述每个肺叶的掩码图像的预设掩码值以及所述拟提取肺叶的标记以得到所述标记的掩码图像；并将所述标记的掩码图像内的像素置1，以及将所述标记的掩码图像之外的所述肺叶分割图像的区域的像素置0，所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶。

在本发明的实施例中，根据所述肺叶分割图像得到掩码图像所执行的操作为：对获取肺部图像的肺叶分割图像进行掩码处理，得到每个肺叶的掩码图像。也就是说，获取肺部图像的肺叶分割图像后，对已经完成肺叶分割图像的每个肺叶进行mask掩码操作。mask掩码操作在计算机学科及数字逻辑中指的是一串二进制数字，通过与目标数字的按位操作，达到屏蔽指定位而实现需求。

在本发明的实施例中，具体地说，对获取肺部图像的肺叶分割图像进行掩码处理，分别得到肺部图像中5个肺叶的掩码图像，根据所述掩码图像的预设掩码值以及确定所述拟提取肺叶的标记以得到所述标记的掩码图像。其中，对已经完成肺叶分割图像的每个肺叶进行mask掩码操作即完成区别右上叶、右中叶、右下叶、左上叶和左下叶的5个肺叶的区域定位，右上叶、右中叶、右下叶、左上叶和左下叶的区域可以为分别定义为预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5。其中，对所述拟提取的肺叶进行标记为选择预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5中的一种一个或者几个。

在本发明的实施例中，根据所述拟提取肺叶的掩码图像的预设掩码值确定所述拟提取的肺叶以得到所述标记的掩码图像，具体地说为对所述拟提取的肺叶进行标记后得到拟提取肺叶的标记，右上叶、右中叶、右下叶、左上叶和左下叶的预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5和拟提取肺叶的标记来确定所述标记的掩码图像，对所述拟提取的肺叶进行标记的标记值只能取1-5中的一个或几个。

其中，预设掩码值与所述拟提取肺叶的标记一一对应的关系，如预设掩码值1表示右上叶，此时如果拟提取的肺叶为右上叶，拟提取的肺叶的标记为1。

值得说明的是，根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶之前，还需要判断所述标记是不是在预设掩码值的范围内，如果在预设掩码值的范围内，则根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶，如果不在则进行提示。如标记为6，则标记不是在预设掩码值的范围内，进行提示，如提示报错。

进一步地说，如果在预设掩码值的范围内，进一步判断预设掩码值与拟提取的肺叶的标记是否相同，如果相同则不需要将所述标记的掩码图像内的像素置1，之后再根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶；否则(如果不相同)，将右肺的右上叶内像素置1，之后再根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶。

图5是本发明实施例中一种带有CT值的肺叶提取方法或/和装置提取的右肺上肺叶的提取示意图。例如，确定拟提取的肺叶为右肺的右上叶，右肺的右上叶为预设掩码值1，标记为1表示提取预设掩码值1的右肺的右上叶，由于预设掩码值1与像素值1相同，此时不需要将右肺的右上叶的掩码图像内的内像素置1，将标记之外的肺叶分割图像的区域的像素置0得到所述标记的掩码图像，用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶。其中，预设掩码值为像素或者像素值。

如果拟提取的肺叶为是右中叶、右下叶、左上叶和左下叶，则并将所述标记的掩码图像内的像素置1，以及将所述标记的掩码图像之外的所述肺叶分割图像的区域的像素置0。利用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶。

在图4中，本发明提出的一种带有CT值的肺叶提取装置的所述提取单元204，还包括：判断单元；判断单元，分别与掩码图像构建单元以及像素点乘单元连接，用于判断肺部图像的层数和掩码图像的层数是否相等；若相等，则依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶，将若干层所述拟提取的肺叶进行三维重建，得到三维拟提取的肺叶；若不相等，将掩码图像进行插值，以得到与肺部图像相同层数的掩码图像，然后依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶，将若干层所述拟提取的肺叶进行三维重建，得到三维拟提取的肺叶。

另外，本发明还提出了一种存储介质，包括：存储器和处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序为如上的一种带有CT值的肺叶提取方法，处理器执行程序时实现以下步骤：获取肺部图像的肺叶分割图像；确定拟提取的肺叶；对拟提取的肺叶进行标记；根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶。

对图3和图4中的方法和装置在本发明中的带有CT值的第一肺叶分割图像的肺叶提取和带有CT值的第二肺叶分割图像的肺叶提取进行说明，具体实施方式可以参考图3和图4中的详细说明。

本实施例提供的所述分别提取所述第一肺叶分割图像中多个带有CT值的全吸气相单肺叶；以及所述分别提取所述第二肺叶分割图像中多个带有CT值的全呼气相单肺叶的方法为：确定所述第一肺叶分割图像拟提取的肺叶以及所述第二肺叶分割图像拟提取的肺叶；分别对所述第一肺叶分割图像和所述第二肺叶分割图像的肺叶进行标记；根据所述标记后的第一肺叶分割图像中拟提取的肺叶和所述全吸气相肺部图像得到所述多个带有CT值的全吸气相单肺叶；根据所述标记后的第二肺叶分割图像中拟提取的肺叶和所述全呼气相肺部图像得到所述多个带有CT值的全呼气相单肺叶。

本实施例提供的所述分别对所述第一肺叶分割图像和所述第二肺叶分割图像的肺叶进行标记；根据所述标记后的第一肺叶分割图像中拟提取的肺叶和全吸气相肺部图像得到所述多个带有CT值的全吸气相单肺叶的具体方法为：根据所述第一肺叶分割图像得到第一掩码图像，并根据所述第一掩码图像和所述第一肺叶分割图像中拟提取的肺叶的标记得到标记的第一掩码图像，利用所述标记的第一掩码图像乘以所述全吸气相肺部图像，得到所述多个带有CT值的全吸气相单肺叶。

其中，本实施例提供的根据所述第一肺叶分割图像得到第一掩码图像，并根据所述第一掩码图像和所述第一肺叶分割图像中拟提取的肺叶的标记得到标记的第一掩码图像的具体方法为：对所述第一肺叶分割图像进行掩码处理，得到所述第一肺叶分割图像的每个肺叶的第一掩码图像，根据所述第一肺叶分割图像的每个肺叶的第一掩码图像的预设掩码值以及所述第一肺叶分割图像中拟提取的肺叶的标记得到所述标记的第一掩码图像；并将所述标记的第一掩码图像内的像素置1，以及将所述标记的第一掩码图像之外的所述肺叶分割图像的区域的像素置0。

本实施例提供的根据所述标记后的第二肺叶分割图像中拟提取的肺叶和全呼气相肺部图像得到所述多个带有CT值的全呼气相单肺叶的具体方法为：根据所述第二肺叶分割图像得到第二掩码图像，并根据所述第二掩码图像和所述第二肺叶分割图像中拟提取的肺叶的标记得到标记的第二掩码图像，利用所述标记的第二掩码图像乘以所述全呼气相肺部图像，得到所述多个带有CT值的全呼气相单肺叶。

其中，本实施例提供的根据所述第二肺叶分割图像得到第二掩码图像，并根据所述第二掩码图像和所述第二肺叶分割图像中拟提取的肺叶的标记得到标记的第二掩码图像的具体方法为：对所述第二肺叶分割图像进行掩码处理，得到所述第二肺叶分割图像的每个肺叶的第二掩码图像，根据所述第二肺叶分割图像的每个肺叶的第二掩码图像的预设掩码值以及所述第二肺叶分割图像中拟提取的肺叶的标记得到所述标记的第二掩码图像；并将所述标记的第二掩码图像内的像素置1，以及将所述标记的第二掩码图像之外的所述肺叶分割图像的区域的像素置0。

本实施例提供的利用所述标记的第一掩码图像乘以所述全吸气相肺部图像，得到所述多个带有CT值的全吸气相单肺叶的具体方法为：依次利用所在相同层数的所述标记的第一掩码图像乘以所述全吸气相肺部图像得到一层所述带有CT值的全吸气相单肺叶，将若干层所述带有CT值的全吸气相单肺叶进行三维重建，得到所述多个带有CT值的全吸气相单肺叶。其中，多个至少为1个，最多为5个，因为肺部最多有5个肺叶。

本实施例提供的利用所述标记的第二掩码图像乘以所述全呼气相肺部图像，得到所述多个带有CT值的全呼气相单肺叶的具体方法为：依次利用所在相同层数的所述标记的第二掩码图像乘以所述全呼气相肺部图像得到一层所述带有CT值的全呼气相单肺叶，将若干层所述带有CT值的全呼气相单肺叶进行三维重建，得到所述多个带有CT值的全呼气相单肺叶。其中，多个至少为1个，最多为5个，因为肺部最多有5个肺叶。

本实施例提供的利用所述标记的第一掩码图像乘以所述全吸气相肺部图像，得到所述多个带有CT值的全吸气相单肺叶之前，分别确定所述全吸气相肺部图像的层数和所述标记的第一掩码图像的层数；判断所述全吸气相肺部图像的层数和所述标记的第一掩码图像的层数是否相等。

若相等，则依次利用所在相同层数的所述标记的第一掩码图像乘以所述全吸气相肺部图像得到一层所述带有CT值的全吸气相单肺叶，将若干层所述带有CT值的全吸气相单肺叶进行三维重建，得到所述多个带有CT值的全吸气相单肺叶。

若不相等，将所述标记的第一掩码图像或所述全吸气相肺部图像进行插值，以得到与所述全吸气相肺部图像相同层数的所述标记的第一掩码图像，然后依次利用所在相同层数的所述标记的第一掩码图像乘以所述全吸气相肺部图像得到一层所述带有CT值的全吸气相单肺叶，将若干层所述带有CT值的全吸气相单肺叶进行三维重建，得到所述多个带有CT值的全吸气相单肺叶。

本实施例提供的利用所述标记的第二掩码图像乘以所述全呼气相肺部图像，得到所述多个带有CT值的全呼气相单肺叶之前，分别确定所述全呼气相肺部图像的层数和所述标记的第二掩码图像的层数；判断所述全呼气相肺部图像的层数和所述标记的第二掩码图像的层数是否相等。

若相等，则依次利用所在相同层数的所述标记的第二掩码图像乘以所述全呼气相肺部图像得到一层所述带有CT值的全呼气相单肺叶，将若干层所述带有CT值的全呼气相单肺叶进行三维重建，得到所述多个带有CT值的全呼气相单肺叶。

若不相等，将所述标记的第二掩码图像或所述全呼气相肺部图像进行插值，以得到与所述全呼气相肺部图像相同层数的所述标记的第二掩码图像，然后依次利用所在相同层数的所述标记的第二掩码图像乘以所述全呼气相肺部图像得到一层所述带有CT值的全吸气相单肺叶，将若干层所述带有CT值的全呼气相单肺叶进行三维重建，得到所述多个带有CT值的全呼气相单肺叶。

图6是本发明实施例一种基于多视角下的肺叶分割方法的流程图示意图。图7是本发明实施例一种基于多视角下的肺叶分割方法和/或装置的网络结构示意图。

图6是本发明实施例一种基于多视角下的肺叶分割方法的流程图示意图。图7是本发明实施例一种基于多视角下的肺叶分割方法和/或装置的网络结构示意图。如图6和7所示，本公开实施例提供的基于多视角下的肺叶分割方法的执行主体可以为任意的图像处理装置，例如基于多视角下的肺叶分割方法可以由终端设备或服务器执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。服务器可以为本地服务器或者云端服务器。在一些可能的实现方式中，该基于多视角下的肺叶分割方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

图6是本发明实施例一种基于多视角下的肺叶分割方法的流程图示意图。如图6所示，本公开实施例中的基于多视角下的肺叶分割方法或者分割单元，包括：步骤101：获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；在一些可能的实施方式中，可以通过特征提取处理的方式，提取不同视角下的肺图像的肺叶裂隙特征。肺叶裂隙特征是用于执行肺图像中的各肺叶区域的分割处理的特征。

本公开实施例可以分别对矢状面、冠状面以及横断面视角下的肺图像执行特征提取处理，得到相应视角下的肺图像的裂隙特征，即可以分别得到肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。本公开实施例中，各视角下的肺叶裂隙特征可以表示为矩阵或者向量的形式，肺叶裂隙特征可以表示相应视角下的肺图像在各像素点处的特征值。

在一些可能的实施方式中，本公开实施例可以通过拍摄CT(ComputedTomography，计算机断层影像)的方式得到在不同视角下的肺图像。对应的，在每个视角下可以得到多个断层图像，即为肺图像，同时同一视角下的该多个肺图像可以构造形成三维肺部图像。例如，可以将同一视角下的该多个肺图像进行堆叠，得到三维肺部图像，或者也可以执行线性拟合或者曲面拟合，得到三维肺部图像。

在一些可能的实施方式中，可以通过特征提取神经网络执行该特征提取处理。例如可以对神经网络训练，实现神经网络对肺部图像的肺叶裂隙特征的精确提取，并通过得到的特征执行肺叶分割。在肺叶分割的精度超过精度阈值的情况下，表示该神经网络得到的肺叶裂隙特征的精确度满足要求，此时可以将神经网络中执行分割的网络层去掉，保留的网络部分即可以作为本公开实施例的特征提取神经网络。其中，特征提取神经网络可以为卷积神经网络，如可以为残差网络、金字塔特征网络、U网络，上述仅为示例性说明，不作为本公开的具体限定。

步骤102：利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正。

在一些可能的实施方式中，在得到三个视角下的肺叶裂隙特征的情况下，可以利用其中两个视角下的肺叶裂隙特征对第三个视角下的肺叶裂隙特征进行校正，提高第三个视角下的肺叶裂隙特征的精确度。

在一个示例中，本公开实施例可以利用冠状面和横断面视角下的肺叶裂隙特征，对矢状面视角下的肺叶裂隙特征进行校正。在其他实施例中，也可以通过三种视角的肺叶裂隙特征中任意两种肺叶裂隙特征校正另一肺叶裂隙特征。为了方便描述，下述实施例中通过第一肺叶裂隙特征和第二肺叶裂隙特征对第三肺叶裂隙特征进行校正进行描述。其中第一肺叶裂隙特征、第二肺叶裂隙特征以及第三肺叶裂隙特征与本公开实施例的三个视角下的肺叶裂隙特征分别对应。

在一些可能的实施方式中，可以采用映射的方式将第一肺叶裂隙特征和第二肺叶裂隙特征转换到第三肺叶裂隙特征的视角下，并利用映射得到的两个肺叶裂隙特征与第三肺叶裂隙特征执行特征融合，得到校正后的肺叶裂隙特征。

步骤103：利用校正后的肺叶裂隙特征对所述肺图像进行分割。

在一些可能的实施方式中，可以直接通过校正后的肺叶裂隙特征执行肺叶分割，得到肺叶裂隙的分割结果。或者，在其他实施方式中，也可以将校正后的肺叶裂隙特征与第三肺叶裂隙特征执行特征融合处理，基于融合结果执行肺叶分割，得到肺叶裂隙的分割结果。其中，分割结果可以包括识别出的肺图像中的各个分区对应的位置信息。例如，肺图像可以包括五个肺叶区域，分别为右上叶、右中叶、右下叶、左上叶和左下叶，得到分割结果中可以包括上述五个肺叶在肺图像中分别所在的位置信息。本公开实施例可以通过掩码特征的方式表示分割结果，也就是说，本公开实施例得到的分割结果可以是表示为掩码形式的特征，例如，本公开实施例可以为上述五个肺叶区域分别分配唯一对应的掩码值(设定掩码值)，如1、2、3、4和5，每个掩码值形成的区域即为相应的肺叶所在的位置区域。上述掩码值仅为示例性说明，在其他实施例中也可以配置其他的掩码值。

基于上述实施例，可以充分融合三个视角下的肺叶裂隙特征，提高校正后的裂隙特征的信息含量以及准确度，进而提高肺叶分割结果的精确度。

为了详细的说明本公开实施例，下面分别对本公开实施例的各过程进行说明。

本公开实施例中，所述获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征的方法为：

获得在矢状面、冠状面以及横断面下的多序列肺图像；分别对所述矢状面、冠状面以及横断面下的多序列肺图像进行肺叶裂隙特征提取，得到在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。

本公开实施例可以首先获取三个视角下的多序列肺图像，如上述实施例所述，可以通过CT成像的方式采集肺图像在不同视角下的多层肺图像(多序列图像)，通过每个视角下的多层肺图像均可以得到三维形式的肺部图像。

在得到三个视角下的多序列肺图像的情况下，可以对各肺图像执行特征提取处理，例如通过上述特征提取神经网络对各视角下的肺图像执行特征提取处理，得到三个视角下的每个图像的肺叶裂隙特征，如在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。其中，由于每个视角下可以包括多个肺图像，本公开实施例可以通过多个特征提取神经网络并行的执行该多个肺图像的特征提取处理，提高特征提取效率。

图7是本发明实施例一种基于多视角下的肺叶分割方法和/或装置的网络结构示意图。如图7所示，本公开实施例执行特征提取处理的网络可以为U网络(U-net)，也可以为其他的能够执行特征提取的卷积神经网络。

在得到各个视角下的肺图像的肺叶裂隙特征的情况下，可以利用矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正，该过程可以包括：将所述任意二个的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角；利用映射后的所述任二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正。

为了描述方便，下述以第一肺叶裂隙特征和第二肺叶裂隙特征对第三肺叶裂隙特征进行校正为例进行说明。

由于在不同视角下，提取的肺叶裂隙特征不同，本公开实施例可以将三个视角下的肺叶裂隙特征映射转换到一个视角下。其中，所述将所述任意二个的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角的方法为：将所述矢状面、冠状面以及横断面任意二个的多序列肺图像的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角。也就是说，可以将第一肺叶裂隙特征和第二肺叶裂隙特征映射转换到第三肺叶裂隙特征所在的视角。其中，通过视角的映射转换，可以使得映射后得到的肺叶裂隙特征中融合映射之前视角的特征信息。

如上述实施例所述，本公开实施例在每个视角下可以得到多个肺图像，该多个肺图像对应的具有多个肺叶裂隙特征。肺叶裂隙特征中各特征值与相应的肺图像各像素点一一对应。

本公开实施例可以根据一个视角下的多个肺图像形成的三维立肺图像，确定将该视角转换到另一视角时肺图像中各像素点之间位置映射关系，如某一像素点从第一视角的第一位置切换到第二视角的第二位置，此时，该第一视角下的第一位置对应的特征值被映射到第二位置。通过上述实施例，可以实现不同视角下各肺图像的肺叶裂隙特征之间的映射转换。

在一些可能的实施方式中，在将三个视角的肺叶裂隙特征映射到相同的视角下的情况下，可以利用映射后的两个肺叶裂隙特征对第三肺叶裂隙特征执行校正处理，提高第三肺叶裂隙特征的信息含量和精确度。

本公开实施例中，所述利用映射后的所述任二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正的方法为：

分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征；根据所述第一融合特征和所述第二融合特征得到校正后的所述第三个肺叶裂隙特征。

本公开实施例可以将第一肺叶裂隙特征映射后的特征称为第一映射特征，以及将第二肺叶裂隙特征映射后的特征称为第二映射特征。在得到第一映射特征和第二映射特征的情况下，可以执行第一映射特征和第三肺叶裂隙特征之间的空间注意力特征融合，得到第一融合特征，以及执行第二映射特征和第三肺叶裂隙特征之间的空间注意力特征融合，得到第二融合特征。

其中，所述分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征的方法为：

分别将所述任意二个的肺叶裂隙特征与所述第三个肺叶裂隙特征进行连接，得到第一连接特征和第二连接特征；对所述第一连接特征进行第一卷积操作得到第一卷积特征，以及对所述第二连接特征进行第一卷积操作得到第二卷积特征；对所述第一卷积特征进行第二卷积操作得到第一注意力系数，以及对所述第二卷积特征进行第二卷积操作得到第二注意力系数；利用第一卷积特征和第一注意力系数得到所述第一融合特征，以及利用第二卷积特征和第二注意力系数得到所述第二融合特征。

在一些可能的实施方式中，如图7所示，可以通过空间注意力机制的网络模块执行上述空间注意力特征融合处理本公开实施例考虑到肺叶裂隙特征在不同位置上的重要性不同，采用了空间注意力机制。其中，可以通过空间注意力神经网络(attention)实现基于注意力机制的卷积处理，得到的融合特征中进一步突出了重要的特征。在该空间注意力神经网络的训练过程中可以自适应的学到空间特征每个位置的重要性，形成与每个位置的特征对象的注意力系数，例如该系数可以表示[0,1]区间的系数值，系数越大说明相应位置的特征越重要。

在执行空间注意力融合处理的过程中，可以首先对第一映射特征和第三肺叶裂隙特征执行连接处理得到第一连接特征，对第二映射特征和第三肺叶裂隙特征执行连接处理得到第二连接特征，上述连接处理可以为在通道方向上进行连接(concatenate)。本公开实施例中，第一映射特征、第二映射特征以及第三肺叶裂隙特征的尺度均可以标识为(C/2，H，W)，其中C表示各特征的通道数，H表示特征的高度，W表示特征的宽度。对应的，通过连接处理得到的第一连接特征和第二连接特征的尺度可以表示为(C，H，W)。

在得到第一连接特征和第二连接特征的情况下，可以分别对各第一连接特征和第二连接特征执行第一卷积操作，如利用卷积层A通过3*3的卷积核执行该第一卷积操作，而后还可以执行批归一化(bn)以及激活函数(relu)处理，得到与第一连接特征对应的第一卷积特征，以及与第二连接特征对应的第二卷积特征。该第一卷积特征和第二卷积特征的尺度可以表示为(C/2，H，W)，通过第一卷积操作可以减少特征图中的参数，减少了后续的计算成本。

在一些可能的实施方式中，在得到第一卷积特征和第二卷积特征的情况下，可以分别对第一卷积特征和第二卷积特征执行第二卷积操作以及sigmoid函数处理，分别得到对应的第一注意力系数和第二注意力系数。其中第一注意力系数可以表示第一卷积特征各个元素的特征的重要程度，以及第二注意力系数可以表示第二卷积特征中元素的特征的重要程度。

如图7所示，针对第一卷积特征或者第二卷积特征，均可以采用两个卷积层B和C执行该第二卷积操作，其中卷积层B通过1*1的卷积核处理后，执行批归一化(bn)以及激活函数(relu)处理，得到第一中间特征，该第一中间特征图的尺度可以表示为(C/8，H，W)，而后通过第二个卷积层C对该第一中间特征图执行1*1卷积核的卷积操作，得到(1，H，W)的第二中间特征图。进一步可以对该第二中间特征图使用sigmoid函数执行激活函数处理，得到第一卷积特征或者第二局演技特征对应的注意力系数，注意力系数的系数值可以为[0,1]范围内的数值。

通过上述第二卷积操作可以对第一连接特征和第二连接特征执行降维处理，得到单通道的注意力系数。

在一些可能的实施方式中，在得到第一卷积特征对应的第一注意力系数以及第二卷积特征对应的第二注意力系数的情况下，可以对第一卷积特征和第一注意力系数执行乘积处理，并将乘积结果与第一卷积特征相加，得到第一融合特征。以及对第二卷积特征和第二注意力系数矩阵执行乘积处理，并将乘积结果与第二卷积特征相加得到第二融合特征。其中，乘积处理(mul)可以为对应元素相乘，以及特征相加(add)可以为对应元素相加。通过上述方式可以将实现三个视角下特征的有效融合。

或者，在另一些实施方式中，也可以利用所述第一卷积特征与所述第一注意力系数相乘的特征与所述第一卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第一融合特征；以及利用所述第二卷积特征与所述第二注意力系数相乘的特征与所述第二卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第二融合特征。通过该方式可以进一步提高融合特征的精确度，以及提高融合的信息含量。

在得到第一融合特征以及第二融合特征的情况下，可以利用第一融合特征和第二融合特征得到校正后的第三肺叶裂隙特征。

在一些可能的实施方式中，由于第一融合特征和第二融合特征中分别包括三个视角下的特征信息，因此可以直接通过将第一融合特征和第二融合特征进行连接，并对连接后的特征执行第三卷积操作，得到校正后的第三肺叶裂隙特征。或者，也可以将第一融合特征、第二融合特征以及第三肺叶裂隙特征连接，并对连接后的特征执行第三卷积操作，得到校正后的第三肺叶裂隙特征。

其中，该第三卷积操作可以包括分组卷积处理。通过第三卷积操作可以进一步实现每个特征中的特征信息的进一步融合。如图7所示，本公开实施例的第三卷积操作可以包括分组卷积D(depth wise conv)，其中分组卷积可以加快卷积速度，同时提高卷积特征的精度。

在通过第三卷积操作得到校正后的第三肺叶裂隙特征的情况下，可以利用校正后的肺叶裂隙特征对所述肺图像进行分割。本公开实施例可以利用卷积的方式得到校正后的肺叶裂隙特征对应的分割结果。如图7所示，本公开实施例可以将校正后的肺叶裂隙特征输入到卷积层E中，通过1*1的卷积核执行标准卷积，得到肺图像的分割结果。如上述实施例所述，该分割结果中可以表示肺图像中的五个肺叶分别所在的位置区域。如图7所示，肺图像中各肺叶区域通过深浅填充色的方式进行区分。

基于上述配置，本公开实施例提供的基于多视角下的肺叶分割方法可以以解决没有充分利用其他视角的信息对肺叶进行分割，造成信息丢失，不能准确的分割肺叶的技术问题。

如上述实施例所述本公开实施例可以通过神经网络实现，如图7所示，本公开实施例执行多视角下的肺叶分割方法的神经网络可以包括特征提取神经网络、空间注意力神经网络以及分割网络(包括卷积层D和E)。

本公开实施例可以包括三个特征提取神经网络，分别用于提取不同视角下的肺叶裂隙特征。其中，可以将三个特征提取网络称为第一分支网络、第二分支网络和第三分支网络。其中，本公开实施例的三个分支网络的结构完全相同，每个分支网络的输入图像各不相同。例如矢状面的肺图像样本输入到第一分支网络、冠状面的肺图像样本输入到第二分支网络，以及横断面的肺图像样本输入到第三分支网络，用以分别执行各视角下的肺图像样本的特征提取处理。

具体的，本公开实施例中，训练所述特征提取神经网络的过程，包括：

获取矢状面下、冠状面下以及横断面下的训练样本，所述训练样本为带有标记肺叶裂隙特征的肺图像样本；利用所述第一分支网络对矢状面下的肺图像样本执行特征提取，得到第一预测肺叶裂隙特征；利用所述第二分支网络对冠状面下的肺图像样本执行特征提取，得到第二预测肺叶裂隙特征；利用所述第三分支网络对横断面下的肺图像样本执行特征提取，得到第三预测肺叶裂隙特征；分别利用所述第一预测肺叶裂隙特征、第二预测肺叶裂隙特征以及第三预测肺叶裂隙特征与对应的标记肺叶裂隙特征得到所述第一分支网络、所述第二分支网络和所述第三分支网络的网络损失，并利用所述网络损失调整所述第一分支网络、所述第二分支网络和所述第三分支网络的参数。

如上述实施例所述，分别利用第一分支网络、第二分支网络和第三分支网络执行矢状面、冠状面以及横断面视角下的肺图像样本的特征提取处理，进而可以对应的得到预测的特征，即第一预测肺叶裂隙特征、第二预测肺叶裂隙特征和第三预测肺叶裂隙特征。

在得到各预测的肺叶裂隙特征的情况下，可以分别利用所述第一预测肺叶裂隙特征、第二预测肺叶裂隙特征以及第三预测肺叶裂隙特征与对应的标记肺叶裂隙特征得到所述第一分支网络、所述第二分支网络和所述第三分支网络的网络损失。例如，本公开实施例的损失函数可以为对数损失函数，通过第一预测肺叶裂隙特征和标记的真实肺叶裂隙特征，可以得到第一分支网络的网络损失，通过第二预测肺叶裂隙特征和标记的真实肺叶裂隙特征，可以得到第二分支网络的网络损失，以及通过第三预测肺叶裂隙特征和标记的真实肺叶裂隙特征，可以得到第三分支网络的网络损失。

在得到各分支网络的网络损失的情况下，可以根据各网络的网络损失的调整第一分支网络、所述第二分支网络和所述第三分支网络的参数，直至满足终止条件。其中，本公开实施例可以利用所述第一分支网络、所述第二分支网络和所述第三分支网络中任一分支的网络损失分别同时调整所述第一分支网络、所述第二分支网络和所述第三分的网络参数，如卷积参数等。从而可以使得任一视角下网络参数与其余两个视角下的特征相关，可以提高提取的肺叶裂隙特征与其余两个视角下的肺叶裂隙特征的相关性以及实现各视角下的肺叶裂隙特征的初步融合。

另外，特征提取神经网络的训练终止条件为各个分支网络的网络损失均小于第一损失阈值，此时表明特征提取神经网络的各分支网络均能够精确的提取相应视角下的肺图像的肺叶裂隙特征。

在训练完成特征提取神经网络的情况下，可以利用特征提取神经网络、空间注意力神经网络以及分割网络同时进行训练，并利用分割网络输出的分割结果与标记的肺叶裂隙特征中对应的标记结果，确定整个神经网络的网络损失。并利用整个神经网络的网络损失进一步反馈调节特征提取神经网络、空间注意力神经网络以及分割网络的网络参数，直至整个神经网络的网络损失小于第二损失阈值。本公开实施例中的第一损失阈值大于或者等于第二损失阈值，从而可以提高网络的网络精度。

在应用本公开实施例的神经网络执行基于多视角下的肺叶分割时，可以将同一肺部的不同视角下肺图像分别对应的输入至三个分支网络中，最终通过这个神经网络得到最终的肺图像的分割结果。

综上所述，本公开实施例提供的一种基于多视角下的肺叶分割方法和装置，可以对多视角特征信息进行融合，执行肺图像的肺叶分割，解决没有充分利用其他视角的信息对肺叶进行分割，造成信息丢失，不能准确的分割肺叶的问题。

另外，本公开实施例还提供了一种基于多视角下的肺叶分割装置或分割单元，其包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述实施例中任意一项所述的基于多视角下的肺叶分割方法。

在一些实施例中，本公开实施例提供一种基于多视角下的肺叶分割装置或分割单元具有的功能或包含的模块可以用于执行上文一种基于多视角下的肺叶分割实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

结合图6和图7，对于本发明中的全吸气相肺部图像以及全呼气相肺部图像的分割进一步进行详细说明。具体详细操作可参照图6和图7进行理解。

本发明公开实施例的所述利用所述全吸气相肺部图像的矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对全吸气相肺部图像的第三个肺叶裂隙特征进行校正的方法为：将所述全吸气相肺部图像的任意二个的肺叶裂隙特征映射到全吸气相肺部图像的第三个肺叶裂隙特征所在视角；利用映射后的全吸气相肺部图像的任意二个的肺叶裂隙特征对全吸气相肺部图像的第三个肺叶裂隙特征进行校正。

本发明公开实施例的所述利用全呼气相肺部图像的所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对所述全呼气相肺部图像的第三个肺叶裂隙特征进行校正的方法为：将所述全呼气相肺部图像的任意二个的肺叶裂隙特征映射到全呼气相肺部图像的第三个肺叶裂隙特征所在视角；利用映射后的全呼气相肺部图像的任意二个的肺叶裂隙特征对全呼气相肺部图像的第三个肺叶裂隙特征进行校正。

本发明公开实施例的所述利用映射后的全吸气相肺部图像的任意二个的肺叶裂隙特征对全吸气相肺部图像的第三个肺叶裂隙特征进行校正的方法为：分别利用映射后的所述全吸气相肺部图像的任意二个的肺叶裂隙特征以及所述全吸气相肺部图像的第三个肺叶裂隙特征进行空间注意力特征融合，得到全吸气相肺部图像的第一融合特征和全吸气相肺部图像的第二融合特征；根据所述全吸气相肺部图像的第一融合特征和所述全吸气相肺部图像的第二融合特征得到校正后的所述全吸气相肺部图像的第三个肺叶裂隙特征。

本发明公开实施例的所述利用映射后的全呼气相肺部图像的任意二个的肺叶裂隙特征对全呼气相肺部图像的第三个肺叶裂隙特征进行校正的方法为：分别利用映射后的所述全呼气相肺部图像的任意二个的肺叶裂隙特征以及所述全呼气相肺部图像的第三个肺叶裂隙特征进行空间注意力特征融合，得到全呼气相肺部图像的第一融合特征和全呼气相肺部图像的第二融合特征；根据所述全呼气相肺部图像的第一融合特征和所述全呼气相肺部图像的第二融合特征得到校正后的所述全呼气相肺部图像的第三个肺叶裂隙特征。

本发明公开实施例的所述分别利用映射后的所述全吸气相肺部图像的任意二个的肺叶裂隙特征以及所述全吸气相肺部图像的第三个肺叶裂隙特征进行空间注意力特征融合，得到全吸气相肺部图像的第一融合特征和全吸气相肺部图像的第二融合特征的方法为：

分别将所述全吸气相肺部图像的任意二个的肺叶裂隙特征与所述全吸气相肺部图像的第三个肺叶裂隙特征进行连接，得到所述全吸气相肺部图像的第一连接特征和所述全吸气相肺部图像的第二连接特征；对所述全吸气相肺部图像的第一连接特征进行第一卷积操作得到所述全吸气相肺部图像的第一卷积特征，以及对所述全吸气相肺部图像的第二连接特征进行第一卷积操作得到所述全吸气相肺部图像的第二卷积特征；

对所述全吸气相肺部图像的第一卷积特征进行第二卷积操作得到所述全吸气相肺部图像的第一注意力系数，以及对所述全吸气相肺部图像的第二卷积特征进行第二卷积操作得到所述全吸气相肺部图像的第二注意力系数；

利用所述全吸气相肺部图像的第一卷积特征和所述全吸气相肺部图像的第一注意力系数得到所述全吸气相肺部图像的第一融合特征，以及利用所述全吸气相肺部图像的第二卷积特征和所述全吸气相肺部图像的第二注意力系数得到所述全吸气相肺部图像的第二融合特征。

本发明公开实施例的所述分别利用映射后的所述全呼气相肺部图像的任意二个的肺叶裂隙特征以及所述全呼气相肺部图像的第三个肺叶裂隙特征进行空间注意力特征融合，得到全呼气相肺部图像的第一融合特征和全呼气相肺部图像的第二融合特征的方法为：

分别将所述全呼气相肺部图像的任意二个的肺叶裂隙特征与所述全呼气相肺部图像的第三个肺叶裂隙特征进行连接，得到所述全呼气相肺部图像的第一连接特征和所述全呼气相肺部图像的第二连接特征；

对所述全呼气相肺部图像的第一连接特征进行第一卷积操作得到所述全呼气相肺部图像的第一卷积特征，以及对所述全呼气相肺部图像的第二连接特征进行第一卷积操作得到所述全呼气相肺部图像的第二卷积特征；

对所述全呼气相肺部图像的第一卷积特征进行第二卷积操作得到所述全呼气相肺部图像的第一注意力系数，以及对所述全呼气相肺部图像的第二卷积特征进行第二卷积操作得到所述全呼气相肺部图像的第二注意力系数；

利用所述全呼气相肺部图像的第一卷积特征和所述全呼气相肺部图像的第一注意力系数得到所述全呼气相肺部图像的第一融合特征，以及利用所述全呼气相肺部图像的第二卷积特征和所述全呼气相肺部图像的第二注意力系数得到所述全呼气相肺部图像的第二融合特征。

同时，本发明还提出了一种单肺叶的小气道病变判断装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述的单肺叶的小气道病变判断方法。具体可详见本实施例公开的一种单肺叶的小气道病变判断方法。

以上所述实施例仅为表达本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、同等替换、改进等，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种单肺叶的小气道病变判断方法，其特征在于，包括：

获取全吸气相肺部图像的第一肺叶分割图像；

获取全呼气相肺部图像的第二肺叶分割图像；

分别提取所述第一肺叶分割图像中多个带有CT值的全吸气相单肺叶；

分别提取所述第二肺叶分割图像中多个带有CT值的全呼气相单肺叶；

分别对相应位置的所述全吸气相单肺叶和所述全呼气相单肺叶进行配准，得到配准后的全吸气相单肺叶和配准后的全呼气相单肺叶；

对所述配准后的全吸气相单肺叶和所述配准后的全呼气相单肺叶的CT值分别与吸气相设定阈值和呼气相设定阈值进行比较；

若所述配准后的全吸气相单肺叶的CT值小于所述吸气相设定阈值以及所述配准后的全呼气相单肺叶的CT值小于所述呼气相设定阈值，则认为此区域存在小气道病变；

否则，则认为此区域不存在小气道病变。

2.根据权利要求1所述的判断方法，其特征在于，所述获取全吸气相肺部图像的第一肺叶分割图像以及所述获取全呼气相肺部图像的第二肺叶分割图像之前，还包括：

对所述全吸气相肺部图像以及所述全呼气相肺部图像进行分割，得到所述第一肺叶分割图像和所述第二肺叶分割图像；以及/或

所述全吸气相肺部图像以及所述全呼气相肺部图像进行分割，得到所述第一肺叶分割图像和所述第二肺叶分割图像的方法，包括：

获取所述全吸气相肺部图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；利用全吸气相肺部图像的矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正；利用校正后的肺叶裂隙特征对所述全吸气相肺部图像进行分割；

获取所述全呼气相肺部图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；利用所述全呼气相肺部图像的矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正；利用校正后的肺叶裂隙特征对全呼气相肺部图像进行分割。

3.根据权利要求1或2所述的判断方法，其特征在于，所述分别提取所述第一肺叶分割图像中多个带有CT值的全吸气相单肺叶；以及所述分别提取所述第二肺叶分割图像中多个带有CT值的全呼气相单肺叶的方法为：

确定所述第一肺叶分割图像拟提取的肺叶以及所述第二肺叶分割图像拟提取的肺叶；

分别对所述第一肺叶分割图像和所述第二肺叶分割图像的肺叶进行标记；

根据所述标记后的第一肺叶分割图像中拟提取的肺叶和所述全吸气相肺部图像得到所述多个带有CT值的全吸气相单肺叶；

根据所述标记后的第二肺叶分割图像中拟提取的肺叶和所述全呼气相肺部图像得到所述多个带有CT值的全呼气相单肺叶。

4.根据权利要求3所述的判断方法，其特征在于：

所述分别对所述第一肺叶分割图像和所述第二肺叶分割图像的肺叶进行标记；根据所述标记后的第一肺叶分割图像中拟提取的肺叶和全吸气相肺部图像得到所述多个带有CT值的全吸气相单肺叶的具体方法为：根据所述第一肺叶分割图像得到第一掩码图像，并根据所述第一掩码图像和所述第一肺叶分割图像中拟提取的肺叶的标记得到标记的第一掩码图像，利用所述标记的第一掩码图像乘以所述全吸气相肺部图像，得到所述多个带有CT值的全吸气相单肺叶；以及/或

根据所述第一肺叶分割图像得到第一掩码图像，并根据所述第一掩码图像和所述第一肺叶分割图像中拟提取的肺叶的标记得到标记的第一掩码图像的具体方法为：对所述第一肺叶分割图像进行掩码处理，得到所述第一肺叶分割图像的每个肺叶的第一掩码图像，根据所述第一肺叶分割图像的每个肺叶的第一掩码图像的预设掩码值以及所述第一肺叶分割图像中拟提取的肺叶的标记得到所述标记的第一掩码图像；并将所述标记的第一掩码图像内的像素置1，以及将所述标记的第一掩码图像之外的所述肺叶分割图像的区域的像素置0；

以及/或

根据所述标记后的第二肺叶分割图像中拟提取的肺叶和全呼气相肺部图像得到所述多个带有CT值的全呼气相单肺叶的具体方法为：根据所述第二肺叶分割图像得到第二掩码图像，并根据所述第二掩码图像和所述第二肺叶分割图像中拟提取的肺叶的标记得到标记的第二掩码图像，利用所述标记的第二掩码图像乘以所述全呼气相肺部图像，得到所述多个带有CT值的全呼气相单肺叶；以及/或

根据所述第二肺叶分割图像得到第二掩码图像，并根据所述第二掩码图像和所述第二肺叶分割图像中拟提取的肺叶的标记得到标记的第二掩码图像的具体方法为：对所述第二肺叶分割图像进行掩码处理，得到所述第二肺叶分割图像的每个肺叶的第二掩码图像，根据所述第二肺叶分割图像的每个肺叶的第二掩码图像的预设掩码值以及所述第二肺叶分割图像中拟提取的肺叶的标记得到所述标记的第二掩码图像；并将所述标记的第二掩码图像内的像素置1，以及将所述标记的第二掩码图像之外的所述肺叶分割图像的区域的像素置0。

5.根据权利要求4所述的判断方法，其特征在于：

利用所述标记的第一掩码图像乘以所述全吸气相肺部图像，得到所述多个带有CT值的全吸气相单肺叶的具体方法为：

依次利用所在相同层数的所述标记的第一掩码图像乘以所述全吸气相肺部图像得到一层所述带有CT值的全吸气相单肺叶，将若干层所述带有CT值的全吸气相单肺叶进行三维重建，得到所述多个带有CT值的全吸气相单肺叶；以及/或

利用所述标记的第二掩码图像乘以所述全呼气相肺部图像，得到所述多个带有CT值的全呼气相单肺叶的具体方法为：

依次利用所在相同层数的所述标记的第二掩码图像乘以所述全呼气相肺部图像得到一层所述带有CT值的全呼气相单肺叶，将若干层所述带有CT值的全呼气相单肺叶进行三维重建，得到所述多个带有CT值的全呼气相单肺叶。

6.根据权利要求5所述的判断方法，其特征在于：

利用所述标记的第一掩码图像乘以所述全吸气相肺部图像，得到所述多个带有CT值的全吸气相单肺叶之前，分别确定所述全吸气相肺部图像的层数和所述标记的第一掩码图像的层数；

判断所述全吸气相肺部图像的层数和所述标记的第一掩码图像的层数是否相等；

若相等，则依次利用所在相同层数的所述标记的第一掩码图像乘以所述全吸气相肺部图像得到一层所述带有CT值的全吸气相单肺叶，将若干层所述带有CT值的全吸气相单肺叶进行三维重建，得到所述多个带有CT值的全吸气相单肺叶；

若不相等，将所述标记的第一掩码图像或所述全吸气相肺部图像进行插值，以得到与所述全吸气相肺部图像相同层数的所述标记的第一掩码图像，然后依次利用所在相同层数的所述标记的第一掩码图像乘以所述全吸气相肺部图像得到一层所述带有CT值的全吸气相单肺叶，将若干层所述带有CT值的全吸气相单肺叶进行三维重建，得到所述多个带有CT值的全吸气相单肺叶；以及/或

利用所述标记的第二掩码图像乘以所述全呼气相肺部图像，得到所述多个带有CT值的全呼气相单肺叶之前，分别确定所述全呼气相肺部图像的层数和所述标记的第二掩码图像的层数；

判断所述全呼气相肺部图像的层数和所述标记的第二掩码图像的层数是否相等；

若相等，则依次利用所在相同层数的所述标记的第二掩码图像乘以所述全呼气相肺部图像得到一层所述带有CT值的全呼气相单肺叶，将若干层所述带有CT值的全呼气相单肺叶进行三维重建，得到所述多个带有CT值的全呼气相单肺叶；

若不相等，将所述标记的第二掩码图像或所述全呼气相肺部图像进行插值，以得到与所述全呼气相肺部图像相同层数的所述标记的第二掩码图像，然后依次利用所在相同层数的所述标记的第二掩码图像乘以所述全呼气相肺部图像得到一层所述带有CT值的全吸气相单肺叶，将若干层所述带有CT值的全呼气相单肺叶进行三维重建，得到所述多个带有CT值的全呼气相单肺叶。

7.根据权利要求2、4-6任一项所述的判断方法，其特征在于：

所述利用所述全吸气相肺部图像的矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对全吸气相肺部图像的第三个肺叶裂隙特征进行校正的方法为：

将所述全吸气相肺部图像的任意二个的肺叶裂隙特征映射到全吸气相肺部图像的第三个肺叶裂隙特征所在视角；利用映射后的全吸气相肺部图像的任意二个的肺叶裂隙特征对全吸气相肺部图像的第三个肺叶裂隙特征进行校正；以及/或

所述利用全呼气相肺部图像的所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对所述全呼气相肺部图像的第三个肺叶裂隙特征进行校正的方法为：

将所述全呼气相肺部图像的任意二个的肺叶裂隙特征映射到全呼气相肺部图像的第三个肺叶裂隙特征所在视角；利用映射后的全呼气相肺部图像的任意二个的肺叶裂隙特征对全呼气相肺部图像的第三个肺叶裂隙特征进行校正。

8.根据权利要求7所述的判断方法，其特征在于：

所述利用映射后的全吸气相肺部图像的任意二个的肺叶裂隙特征对全吸气相肺部图像的第三个肺叶裂隙特征进行校正的方法为：分别利用映射后的所述全吸气相肺部图像的任意二个的肺叶裂隙特征以及所述全吸气相肺部图像的第三个肺叶裂隙特征进行空间注意力特征融合，得到全吸气相肺部图像的第一融合特征和全吸气相肺部图像的第二融合特征；根据所述全吸气相肺部图像的第一融合特征和所述全吸气相肺部图像的第二融合特征得到校正后的所述全吸气相肺部图像的第三个肺叶裂隙特征；

以及/或

所述利用映射后的全呼气相肺部图像的任意二个的肺叶裂隙特征对全呼气相肺部图像的第三个肺叶裂隙特征进行校正的方法为：分别利用映射后的所述全呼气相肺部图像的任意二个的肺叶裂隙特征以及所述全呼气相肺部图像的第三个肺叶裂隙特征进行空间注意力特征融合，得到全呼气相肺部图像的第一融合特征和全呼气相肺部图像的第二融合特征；根据所述全呼气相肺部图像的第一融合特征和所述全呼气相肺部图像的第二融合特征得到校正后的所述全呼气相肺部图像的第三个肺叶裂隙特征。

9.根据权利要求8所述的判断方法，其特征在于：

所述分别利用映射后的所述全吸气相肺部图像的任意二个的肺叶裂隙特征以及所述全吸气相肺部图像的第三个肺叶裂隙特征进行空间注意力特征融合，得到全吸气相肺部图像的第一融合特征和全吸气相肺部图像的第二融合特征的方法为：

分别将所述全吸气相肺部图像的任意二个的肺叶裂隙特征与所述全吸气相肺部图像的第三个肺叶裂隙特征进行连接，得到所述全吸气相肺部图像的第一连接特征和所述全吸气相肺部图像的第二连接特征；

对所述全吸气相肺部图像的第一连接特征进行第一卷积操作得到所述全吸气相肺部图像的第一卷积特征，以及对所述全吸气相肺部图像的第二连接特征进行第一卷积操作得到所述全吸气相肺部图像的第二卷积特征；

对所述全吸气相肺部图像的第一卷积特征进行第二卷积操作得到所述全吸气相肺部图像的第一注意力系数，以及对所述全吸气相肺部图像的第二卷积特征进行第二卷积操作得到所述全吸气相肺部图像的第二注意力系数；

利用所述全吸气相肺部图像的第一卷积特征和所述全吸气相肺部图像的第一注意力系数得到所述全吸气相肺部图像的第一融合特征，以及利用所述全吸气相肺部图像的第二卷积特征和所述全吸气相肺部图像的第二注意力系数得到所述全吸气相肺部图像的第二融合特征；

以及/或

所述分别利用映射后的所述全呼气相肺部图像的任意二个的肺叶裂隙特征以及所述全呼气相肺部图像的第三个肺叶裂隙特征进行空间注意力特征融合，得到全呼气相肺部图像的第一融合特征和全呼气相肺部图像的第二融合特征的方法为：

分别将所述全呼气相肺部图像的任意二个的肺叶裂隙特征与所述全呼气相肺部图像的第三个肺叶裂隙特征进行连接，得到所述全呼气相肺部图像的第一连接特征和所述全呼气相肺部图像的第二连接特征；

对所述全呼气相肺部图像的第一连接特征进行第一卷积操作得到所述全呼气相肺部图像的第一卷积特征，以及对所述全呼气相肺部图像的第二连接特征进行第一卷积操作得到所述全呼气相肺部图像的第二卷积特征；

对所述全呼气相肺部图像的第一卷积特征进行第二卷积操作得到所述全呼气相肺部图像的第一注意力系数，以及对所述全呼气相肺部图像的第二卷积特征进行第二卷积操作得到所述全呼气相肺部图像的第二注意力系数；

利用所述全呼气相肺部图像的第一卷积特征和所述全呼气相肺部图像的第一注意力系数得到所述全呼气相肺部图像的第一融合特征，以及利用所述全呼气相肺部图像的第二卷积特征和所述全呼气相肺部图像的第二注意力系数得到所述全呼气相肺部图像的第二融合特征。

10.一种单肺叶的小气道病变判断装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至9中任意一项所述的单肺叶的小气道病变判断方法。

Images