CN111260627A - 一种基于肺叶的肺气肿区域判断方法和装置 - Google Patents

一种基于肺叶的肺气肿区域判断方法和装置 Download PDF

Info

Publication number
CN111260627A
CN111260627A CN202010042872.XA CN202010042872A CN111260627A CN 111260627 A CN111260627 A CN 111260627A CN 202010042872 A CN202010042872 A CN 202010042872A CN 111260627 A CN111260627 A CN 111260627A
Authority
CN
China
Prior art keywords
lung
lobe
image
feature
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010042872.XA
Other languages
English (en)
Other versions
CN111260627B (zh
Inventor
杨英健
郭英委
应立平
郭嘉琦
高宇宁
孟繁聪
康雁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202010042872.XA priority Critical patent/CN111260627B/zh
Publication of CN111260627A publication Critical patent/CN111260627A/zh
Application granted granted Critical
Publication of CN111260627B publication Critical patent/CN111260627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于肺叶的肺气肿区域判断方法和装置，涉及生物医学工程领域，其中，一种基于肺叶的肺气肿区域判断方法，包括：提取带有CT值的肺叶；根据所述带有CT值的肺叶以及设定阈值判断所述肺叶上的CT值是否为肺气肿区域；如是，则对所述肺气肿区域上色，显示所述肺气肿区域；如不是，则不进行上色或上色的颜色不同于所述肺气肿区域的颜色。以解决在肺气肿区域定位过程中对整个肺进行定量分析造成数据量庞大，计算速度较慢，不能利用确定或单独的单肺叶CT值进行肺气肿定量分析以及显示的问题。

Description

一种基于肺叶的肺气肿区域判断方法和装置
技术领域
本发明涉及生物医学工程领域，具体说是一种基于肺叶的肺气肿区域判断方法和装置。
背景技术
在医学图像处理领域，常常需要对原始数据进行重建，然后对原始数据进行分析，得到要想要的或者是感兴趣的区域。在肺疾病中的小气道病变或者肺气肿领域，常常只需要对最严重的肺叶进行定量分析。
如，慢性阻塞性肺疾病(COPD)，简称慢阻肺。肺气肿是以气流受限不完全可逆为主要特点，并且肺气肿常呈进行性加重的趋势。依据《2018年GOLD慢性阻塞性肺疾病诊断、治疗及预防全球策略解读》将COPD患者分为4个级别：GOLD 1级、GOLD 2级、GOLD 3级和GOLD 4级。肺气肿的空间分布特点反映了不同肺叶气流受限的严重程度，国内外研究者对于不同肺叶肺气肿对肺功能的影响进行了相关性研究。双肺下叶主要与肺气流受限相关性更高，可能原因是由于重力作用，引起双肺下叶气道在呼气时关闭较早，进而引起气流受限；同时导致呼出的气体大多数为双肺下叶的气体，因此，弥散功能主要由双肺上叶引起。进一步地，COPD最先发生在右肺上叶。同时，随着肺功能严重程度加重，COPD亦逐渐向双肺下叶发展。如先对右肺上叶进行性阻塞性肺疾病快速定位与评估。如果右肺上叶没有发现有肺气肿迹象，则可以初步诊断肺部不存在肺气肿；如右肺上叶发现有肺气肿迹象，则进一步判断双肺下叶。
目前需要对整个肺进行定量分析造成数据量庞大，计算速度较慢，不能利用确定或单独的单肺叶CT值进行定量分析的问题。综上，如能实现单个肺叶的提取，就能解决对整个肺进行定量分析造成数据量庞大，计算速度较慢的问题，实现慢性阻塞性肺疾病快速定位与评估。
发明内容
有鉴于此，本发明提供一种基于肺叶的肺气肿区域判断方法和装置，以解决在肺气肿区域定位过程中对整个肺进行定量分析造成数据量庞大，计算速度较慢，不能利用确定或单独的单肺叶CT值进行肺气肿定量分析以及显示的问题。
第一方面，本发明提供一种基于肺叶的肺气肿区域判断方法，包括：
提取带有CT值的肺叶；
根据所述带有CT值的肺叶以及设定阈值判断所述肺叶上的CT值是否为肺气肿区域；
如是，则对所述肺气肿区域上色，显示所述肺气肿区域；
如不是，则不进行上色或上色的颜色不同于所述肺气肿区域的颜色。
优选地，所述提取带有CT值的肺叶的方法，包括：
获取肺部图像的肺叶分割图像；
确定拟提取的肺叶；
对所述拟提取的肺叶进行标记；
根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶。
优选地，在所述获取肺部图像的肺叶分割图像之前，还包括：
获取所述肺部图像；
对所述肺部图像进行肺叶分割，得到所述肺叶分割图像；
以及/或
对所述肺部图像进行肺叶分割，得到所述肺叶分割图像的方法，包括：
获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；
利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正；
利用校正后的肺叶裂隙特征对所述肺图像进行分割。
优选地，对所述拟提取的肺叶进行标记，根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶的具体方法为：
根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像，利用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶；以及/或
所述根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像的方法为：
对所述肺叶分割图像进行掩码处理，得到每个肺叶的掩码图像，根据所述每个肺叶的掩码图像的预设掩码值以及所述拟提取肺叶的标记以得到所述标记的掩码图像；并将所述标记的掩码图像内的像素置1，以及将所述标记的掩码图像之外的所述肺叶分割图像的区域的像素置0；以及/或
所述利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正的方法为：
将所述任意二个的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角；
利用映射后的所述任意二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正。
优选地，根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像，利用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶的具体方法为：
依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶，将若干层所述拟提取的肺叶进行三维重建，得到三维拟提取的肺叶。
优选地，根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像，利用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶之前，分别确定所述肺部图像的层数和所述标记的掩码图像的层数；
判断所述肺部图像的层数和所述标记的掩码图像的层数是否相等；
若相等，则依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶，将若干层所述拟提取的肺叶进行三维重建，得到三维拟提取的肺叶；
若不相等，将所述标记的掩码图像进行插值，以得到与所述肺部图像相同层数的掩码图像，然后依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶，将若干层所述拟提取的肺叶进行三维重建，得到三维拟提取的肺叶。
优选地，所述利用映射后的所述任意二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正的方法为：
分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征；
根据所述第一融合特征和所述第二融合特征得到校正后的所述第三个肺叶裂隙特征。
优选地，所述分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征的方法为：
分别将所述任意二个的肺叶裂隙特征与所述第三个肺叶裂隙特征进行连接，得到第一连接特征和第二连接特征；
对所述第一连接特征进行第一卷积操作得到第一卷积特征，以及对所述第二连接特征进行第一卷积操作得到第二卷积特征；
对所述第一卷积特征进行第二卷积操作得到第一注意力系数，以及对所述第二卷积特征进行第二卷积操作得到第二注意力系数；
利用第一卷积特征和第一注意力系数得到所述第一融合特征，以及利用第二卷积特征和第二注意力系数得到所述第二融合特征。
优选地，所述利用第一卷积特征和第一注意力系数得到所述第一融合特征，以及利用第二卷积特征和第二注意力系数得到所述第二融合特征的方法为：
利用所述第一卷积特征与所述第一注意力系数相乘的特征与所述第一卷积特征相加，得到所述第一融合特征；利用所述第二卷积特征与所述第二注意力系数相乘的特征与所述第二卷积特征相加，得到所述第二融合特征；以及/或
利用所述第一卷积特征与所述第一注意力系数相乘的特征与所述第一卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第一融合特征；利用所述第二卷积特征与所述第二注意力系数相乘的特征与所述第二卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第二融合特征。
第二方面，本发明提供一种基于肺叶的肺气肿区域判断装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行如上所述的基于肺叶的肺气肿区域判断方法。
本发明至少具有如下有益效果：
本发明提供一种基于肺叶的肺气肿区域判断方法和装置，以解决在肺气肿区域定位过程中对整个肺进行定量分析造成数据量庞大，计算速度较慢，不能利用确定或单独的单肺叶CT值进行肺气肿定量分析以及显示的问题。
附图说明
通过以下参考附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点更为清楚，在附图中：
图1是本发明实施例一种基于肺叶的肺气肿区域判断方法的流程示意图；
图2是本发明实施例中一种带有CT值的肺叶提取方法的流程示意图；
图3是本发明实施例中一种带有CT值的肺叶提取装置的流程示意图；
图4是本发明实施例中一种带有CT值的肺叶提取方法或/和装置提取的原CT图像；
图5是本发明实施例中一种带有CT值的肺叶提取方法或/和装置提取的掩码图像；
图6是本发明实施例中一种带有CT值的肺叶提取方法或/和装置提取的右肺上肺叶的提取示意图；
图7是本发明实施例一种基于多视角下的肺叶分割方法的流程图示意图；
图8是本发明实施例一种基于多视角下的肺叶分割方法和/或装置的网络结构示意图。
具体实施方式
以下基于实施例对本发明进行描述，但是值得说明的是，本发明并不限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。然而，对于没有详尽描述的部分，本领域技术人员也可以完全理解本发明。
此外，本领域普通技术人员应当理解，所提供的附图只是为了说明本发明的目的、特征和优点，附图并不是实际按照比例绘制的。
同时，除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包含但不限于”的含义。
图1是本发明实施例一种基于肺叶的肺气肿区域判断方法的流程示意图。如图1所示，一种基于肺叶的肺气肿区域判断方法，，包括：步骤1001：提取带有CT值的肺叶；步骤1002：根据所述带有CT值的肺叶以及设定阈值判断所述肺叶上的CT值是否为肺气肿区域；步骤1003：如是，则对所述肺气肿区域上色，显示所述肺气肿区域；步骤1004：如不是，则不进行上色或上色的颜色不同于所述肺气肿区域的颜色。以解决在肺气肿区域定位过程中对整个肺进行定量分析造成数据量庞大，计算速度较慢，不能利用确定或单独的单肺叶CT值进行肺气肿定量分析以及显示的问题。
步骤1001：提取带有CT值的肺叶。
步骤1001：提取带有CT值的肺叶旨在提出分割后要提取的肺叶，肺包括左肺和右肺，右肺包括右上叶、右中叶和右下叶，左肺包括左上叶和左下叶。提取带有CT值的肺叶为要提取的肺叶为右上叶、右中叶、右下叶、左上叶和左下叶的一个或多个肺叶。
图2是一种带有CT值的肺叶提取方法的流程示意图。如图2所示，一种带有CT值的肺叶提取方法，包括：步骤S101获取肺部图像的肺叶分割图像；步骤S102确定拟提取的肺叶；步骤S103对所述拟提取的肺叶进行标记；步骤S104根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶。以解决目前需要对整个肺进行定量分析造成数据量庞大，计算速度较慢，不能利用确定或单独的单肺叶CT值进行定量分析的问题。同时，本发明提取了需要提取的肺叶，在之后单个肺叶的三维重建更加快速，有利于医生进一步的对每个肺叶单独观察，不会出现肺叶阻挡的情况。值得说明的是，本发明中的要提取的肺叶即为拟提取的肺叶。
步骤S101获取肺部图像的肺叶分割图像。
本发明的实施例，首先获取肺部图像，此处的肺部图像为原始肺部图像，即从影响设备，如CT机，得到的薄层扫描数据。
步骤S102确定拟提取的肺叶。
具体地说，肺部分为右肺和左肺，共有5个肺叶，右肺包括3个肺叶，分别是右上叶、右中叶、右下叶。左肺包括2个肺叶，分别是左上叶和左下叶。本发明可以实现5个肺叶的任一个或者多个肺叶的提取。
步骤S103对所述拟提取的肺叶进行标记。
对拟提取的肺叶进行标记是为了确定要进行提取的肺叶，可以对多个肺叶进行标记，也可以只对一个肺叶进行标记。
步骤S104根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶。
如已经确定了要提取(拟提取)的肺叶，并对要提取的肺叶进行标记，此时就可以根据没有分割之前的肺部图像进行肺叶的提取了，具体可详见下文的详细描述。
如，需要提取右肺的右上叶，则执行下列操作，首先获取肺部图像，对肺部图像进行肺叶分割，得到肺叶分割图像。然后执行获取肺部图像的肺叶分割图像，确定拟提取的肺叶为右肺的右上叶，对所述右肺的右上叶的肺叶进行标记，根据标记的右肺的右上叶的肺叶和所述肺部图像得到所述要提取的右肺的右上叶。
在本发明的实施例中，步骤S104根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶的具体方法为：根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像，利用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶。所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶，也就是说，掩码图像、标记的掩码图像以及肺部图像的大小(size)相同。
也就是说，获取肺部图像的肺叶分割图像后，对已经完成肺叶分割图像的每个肺叶进行mask掩码操作，mask掩码操作在计算机学科及数字逻辑中指的是一串二进制数字，通过与目标数字的按位操作，达到屏蔽指定位而实现需求。
所述根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像的方法为：对所述肺叶分割图像进行掩码处理，得到每个肺叶的掩码图像，根据所述每个肺叶的掩码图像的预设掩码值以及所述拟提取肺叶的标记以得到所述标记的掩码图像；并将所述标记的掩码图像内的像素置1，以及将所述标记的掩码图像之外的所述肺叶分割图像的区域的像素置0。所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶。
其中，对所述肺叶分割图像进行掩码处理，得到每个肺叶的掩码图像，即对获取肺部图像的肺叶分割图像进行掩码处理，分别得到肺部图像中每个肺叶的掩码图像，然后根据所述每个肺叶的掩码图像的预设掩码值以及所述拟提取肺叶的标记以得到所述标记的掩码图的具体操作为：根据所述拟提取肺叶的掩码图像的预设掩码值和所述标记来确定所述拟提取的肺叶以得到所述标记的掩码图像。
具体地说，对所述拟提取的肺叶进行标记，根据右上叶、右中叶、右下叶、左上叶和左下叶的预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5来确定所述拟提取的肺叶以得到所述标记的掩码图像，对所述拟提取的肺叶进行标记的标记值只能取1-5中的一个或几个。
更为具体地说，对已经完成分割的所述肺叶分割图像的每个肺叶进行mask掩码操作，以区别右上叶、右中叶、右下叶、左上叶和左下叶的5个肺叶，右上叶、右中叶、右下叶、左上叶和左下叶的肺叶可以为分别定义为预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5。其中，对所述拟提取的肺叶进行标记为选择预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5中的一个或者几个。如，所述标记为1，则与预设掩码值1相同，表示所述拟提取肺叶的标记为右上叶，即得到所述标记的掩码图。
值得说明的是，根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶之前，还需要判断所述标记是不是在预设掩码值的范围内，如果在预设掩码值的范围内，则根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶，如果不在则进行提示。如标记为6，则标记不是在预设掩码值的范围内，进行提示，如提示报错。
进一步地说，如果在预设掩码值的范围内，进一步判断预设掩码值与拟提取的肺叶的标记是否相同，如果相同则不需要将所述标记的掩码图像内的像素置1，之后再根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶；否则(如果不相同)，将右肺的右上叶内像素置1，之后再根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶。其中，预设掩码值为像素或者像素值。
例如，确定拟提取的肺叶为右肺的右上叶，右肺的右上叶为预设掩码值1，标记为1表示提取预设掩码值1的右肺的右上叶，由于预设掩码值1与像素值1相同，此时不需要将右肺的右上叶的掩码图像内的内像素置1，将标记之外的肺叶分割图像的区域的像素置0得到所述标记的掩码图像，用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶。
在发本发明的实施例中，根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像，利用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶的具体方法为：依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶，将若干层所述拟提取的肺叶进行三维重建，得到三维拟提取的肺叶。
在发本发明的实施例中，构建标记的掩码图像，利用掩码图像乘以肺部图像，得到拟提取的肺叶之前，分别确定肺部图像的层数和掩码图像的层数；判断肺部图像的层数和掩码图像的层数是否相等；若相等，则依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶，将若干层所述拟提取的肺叶进行三维重建，得到三维拟提取的肺叶；若不相等，将掩码图像进行插值，以得到与肺部图像相同层数的掩码图像，然后依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶，将若干层所述拟提取的肺叶进行三维重建，得到三维拟提取的肺叶。
例如，肺部图像为从影像设备中采集得到原始图像，肺部图像的层数为400层，掩码图像的层数也为400层，肺部图像与掩码图像的每一层都是对应的。对所述肺叶分割图像进行掩码处理，得到每个肺叶的掩码图像，根据所述每个肺叶的掩码图像的预设掩码值以及所述拟提取肺叶的标记以得到所述标记的掩码图像；并将所述标记的掩码图像内的像素置1，以及将所述标记的掩码图像之外的所述肺叶分割图像的区域的像素置0。第一层的肺部图像乘以标记的掩码图像得到所述拟提取的肺叶的第一层数据，依次类推，最后得到所述拟提取的肺叶第400层的数据，然后对所述拟提取的肺叶的第一层数据到所述拟提取的肺叶第400层的数据进行三维重建，得到三维拟提取的肺叶。在本领域三维重建(3DReconstruction)的方法为现有技术，本领域人员可以根据需要自由选择。
在所述获取肺部图像的肺叶分割图像之前，还包括：获取所述肺部图像；对所述肺部图像进行肺叶分割，得到所述肺叶分割图像；以及/或对所述肺部图像进行肺叶分割，得到所述肺叶分割图像的方法的有多种，有基于传统的肺叶方式，也有基于深度学习的方法，如利用U-net分割网络或者V-net分割网络进行肺叶分割，也可以基于论文Automaticsegmentation of pulmonary lobes using a progressive dense v-network提出的PDV网络进行肺叶分割。
在本发明中对所述肺部图像进行肺叶分割，得到所述肺叶分割图像的方法可以选择一种基于多视角下的肺叶分割方法和装置，以解决没有充分利用其他视角的信息对肺叶进行分割，造成信息丢失，不能准确的分割肺叶的问题。
具体地说，一种基于多视角下的肺叶分割方法和装置，包括：获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正。具体可见图7和图8中的详细说明。
同时，本发明还提出了一种带有CT值的肺叶提取装置，如图3所示，包括：获取单元201，用于获取肺部图像的肺叶分割图像；确定单元202，用于确定拟提取的肺叶；标记单元203，用于对拟提取的肺叶进行标记；提取单元204，用于根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶；其中，获取单元201分别与确定单元202以及提取单元连接，确定单元202还与标记单元203连接，标记单元203还与提取单元204连接。以解决目前需要对整个肺进行定量分析造成数据量庞大，计算速度较慢，不能利用确定或单独的单肺叶CT值进行定量分析的问题。同时，本发明提取了需要提取的肺叶，在之后单个肺叶的三维重建更加快速，有利于医生进一步的对每个肺叶单独观察，不会出现肺叶阻挡的情况。值得说明的是，本发明中的要提取的肺叶即为拟提取的肺叶。具体可参考一种带有CT值的肺叶提取方法内的描述。
在图3中，本发明提出的一种带有CT值的肺叶提取装置，还包括：分割单元；分割单元与获取单元201连接，用于获取肺部图像，对肺部图像进行肺叶分割，得到肺叶分割图像。以及/或所述分割单元，执行以下操作：获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正；利用校正后的肺叶裂隙特征对所述肺图像进行分割。
也就是说，在所述获取肺部图像的肺叶分割图像之前，还包括：获取所述肺部图像；对所述肺部图像进行肺叶分割，得到所述肺叶分割图像；以及/或对所述肺部图像进行肺叶分割，得到所述肺叶分割图像的方法的有多种，有基于传统的肺叶方式，也有基于深度学习的方法，如利用U-net分割网络或者V-net分割网络进行肺叶分割，也可以基于论文Automatic segmentation of pulmonary lobes using a progressive dense v-network提出的PDV网络进行肺叶分割。
在本发明中对所述肺部图像进行肺叶分割，得到所述肺叶分割图像的方法可以选择一种基于多视角下的肺叶分割方法和装置，以解决没有充分利用其他视角的信息对肺叶进行分割，造成信息丢失，不能准确的分割肺叶的问题。
具体地说，一种基于多视角下的肺叶分割方法和装置，包括：获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正。具体可见图7和图8中的详细说明。
在图3中，本发明提出的一种带有CT值的肺叶提取装置的所述提取单元204，包括：掩码图像构建单元以及像素点乘单元；所述标记的掩码图像构建单元分别与所述获取单元201、所述标记单元203和所述像素点乘单元连接，用于根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像；所述像素点乘单元，用于利用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶。所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶，也就是说，掩码图像、标记的掩码图像以及肺部图像的大小(size)相同。
在图3中，所述标记的掩码图像构建单元根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像，利用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶执行下列操作：对所述肺叶分割图像进行掩码处理，得到每个肺叶的掩码图像，根据所述每个肺叶的掩码图像的预设掩码值以及所述拟提取肺叶的标记以得到所述标记的掩码图像；并将所述标记的掩码图像内的像素置1，以及将所述标记的掩码图像之外的所述肺叶分割图像的区域的像素置0，所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶。
在本发明的实施例中，根据所述肺叶分割图像得到掩码图像所执行的操作为：对获取肺部图像的肺叶分割图像进行掩码处理，得到每个肺叶的掩码图像。也就是说，获取肺部图像的肺叶分割图像后，对已经完成肺叶分割图像的每个肺叶进行mask掩码操作。mask掩码操作在计算机学科及数字逻辑中指的是一串二进制数字，通过与目标数字的按位操作，达到屏蔽指定位而实现需求。
在本发明的实施例中，具体地说，对获取肺部图像的肺叶分割图像进行掩码处理，分别得到肺部图像中5个肺叶的掩码图像，根据所述掩码图像的预设掩码值以及确定所述拟提取肺叶的标记以得到所述标记的掩码图像。其中，对已经完成肺叶分割图像的每个肺叶进行mask掩码操作即完成区别右上叶、右中叶、右下叶、左上叶和左下叶的5个肺叶的区域定位，右上叶、右中叶、右下叶、左上叶和左下叶的区域可以为分别定义为预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5。其中，对所述拟提取的肺叶进行标记为选择预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5中的一种一个或者几个。
在本发明的实施例中，根据所述拟提取肺叶的掩码图像的预设掩码值确定所述拟提取的肺叶以得到所述标记的掩码图像，具体地说为对所述拟提取的肺叶进行标记后得到拟提取肺叶的标记，右上叶、右中叶、右下叶、左上叶和左下叶的预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5和拟提取肺叶的标记来确定所述标记的掩码图像，对所述拟提取的肺叶进行标记的标记值只能取1-5中的一个或几个。
其中，预设掩码值与所述拟提取肺叶的标记一一对应的关系，如预设掩码值1表示右上叶，此时如果拟提取的肺叶为右上叶，拟提取的肺叶的标记为1。
值得说明的是，根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶之前，还需要判断所述标记是不是在预设掩码值的范围内，如果在预设掩码值的范围内，则根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶，如果不在则进行提示。如标记为6，则标记不是在预设掩码值的范围内，进行提示，如提示报错。
进一步地说，如果在预设掩码值的范围内，进一步判断预设掩码值与拟提取的肺叶的标记是否相同，如果相同则不需要将所述标记的掩码图像内的像素置1，之后再根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶；否则(如果不相同)，将右肺的右上叶内像素置1，之后再根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶。
例如，确定拟提取的肺叶为右肺的右上叶，右肺的右上叶为预设掩码值1，标记为1表示提取预设掩码值1的右肺的右上叶，由于预设掩码值1与像素值1相同，此时不需要将右肺的右上叶的掩码图像内的内像素置1，将标记之外的肺叶分割图像的区域的像素置0得到所述标记的掩码图像，用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶。其中，预设掩码值为像素或者像素值。
如果拟提取的肺叶为是右中叶、右下叶、左上叶和左下叶，则并将所述标记的掩码图像内的像素置1，以及将所述标记的掩码图像之外的所述肺叶分割图像的区域的像素置0。利用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶。
在图3中，本发明提出的一种带有CT值的肺叶提取装置的所述提取单元204，还包括：判断单元；判断单元，分别与掩码图像构建单元以及像素点乘单元连接，用于判断肺部图像的层数和掩码图像的层数是否相等；若相等，则依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶，将若干层所述拟提取的肺叶进行三维重建，得到三维拟提取的肺叶；若不相等，将掩码图像进行插值，以得到与肺部图像相同层数的掩码图像，然后依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶，将若干层所述拟提取的肺叶进行三维重建，得到三维拟提取的肺叶。
另外，本发明还提出了一种存储介质，包括：存储器和处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序为如上的一种带有CT值的肺叶提取方法，处理器执行程序时实现以下步骤：获取肺部图像的肺叶分割图像；确定拟提取的肺叶；对拟提取的肺叶进行标记；根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶。
图4是本发明实施例中一种带有CT值的肺叶提取方法或/和装置提取的原CT图像；图5是本发明实施例中一种带有CT值的肺叶提取方法或/和装置提取的掩码图像；图6是本发明实施例中一种带有CT值的肺叶提取方法或/和装置提取的右肺上肺叶的提取示意图。
图7是本发明实施例一种基于多视角下的肺叶分割方法的流程图示意图。图8是本发明实施例一种基于多视角下的肺叶分割方法和/或装置的网络结构示意图。如图7和8所示，本公开实施例提供的基于多视角下的肺叶分割方法的执行主体可以为任意的图像处理装置，例如基于多视角下的肺叶分割方法可以由终端设备或服务器执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。服务器可以为本地服务器或者云端服务器。在一些可能的实现方式中，该基于多视角下的肺叶分割方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
图7是本发明实施例一种基于多视角下的肺叶分割方法的流程图示意图。如图7所示，本公开实施例中的基于多视角下的肺叶分割方法或者分割单元，包括：步骤101：获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；在一些可能的实施方式中，可以通过特征提取处理的方式，提取不同视角下的肺图像的肺叶裂隙特征。肺叶裂隙特征是用于执行肺图像中的各肺叶区域的分割处理的特征。
本公开实施例可以分别对矢状面、冠状面以及横断面视角下的肺图像执行特征提取处理，得到相应视角下的肺图像的裂隙特征，即可以分别得到肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。本公开实施例中，各视角下的肺叶裂隙特征可以表示为矩阵或者向量的形式，肺叶裂隙特征可以表示相应视角下的肺图像在各像素点处的特征值。
在一些可能的实施方式中，本公开实施例可以通过拍摄CT(ComputedTomography，计算机断层影像)的方式得到在不同视角下的肺图像。对应的，在每个视角下可以得到多个断层图像，即为肺图像，同时同一视角下的该多个肺图像可以构造形成三维肺部图像。例如，可以将同一视角下的该多个肺图像进行堆叠，得到三维肺部图像，或者也可以执行线性拟合或者曲面拟合，得到三维肺部图像。
在一些可能的实施方式中，可以通过特征提取神经网络执行该特征提取处理。例如可以对神经网络训练，实现神经网络对肺部图像的肺叶裂隙特征的精确提取，并通过得到的特征执行肺叶分割。在肺叶分割的精度超过精度阈值的情况下，表示该神经网络得到的肺叶裂隙特征的精确度满足要求，此时可以将神经网络中执行分割的网络层去掉，保留的网络部分即可以作为本公开实施例的特征提取神经网络。其中，特征提取神经网络可以为卷积神经网络，如可以为残差网络、金字塔特征网络、U网络，上述仅为示例性说明，不作为本公开的具体限定。
步骤102：利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正。
在一些可能的实施方式中，在得到三个视角下的肺叶裂隙特征的情况下，可以利用其中两个视角下的肺叶裂隙特征对第三个视角下的肺叶裂隙特征进行校正，提高第三个视角下的肺叶裂隙特征的精确度。
在一个示例中，本公开实施例可以利用冠状面和横断面视角下的肺叶裂隙特征，对矢状面视角下的肺叶裂隙特征进行校正。在其他实施例中，也可以通过三种视角的肺叶裂隙特征中任意两种肺叶裂隙特征校正另一肺叶裂隙特征。为了方便描述，下述实施例中通过第一肺叶裂隙特征和第二肺叶裂隙特征对第三肺叶裂隙特征进行校正进行描述。其中第一肺叶裂隙特征、第二肺叶裂隙特征以及第三肺叶裂隙特征与本公开实施例的三个视角下的肺叶裂隙特征分别对应。
在一些可能的实施方式中，可以采用映射的方式将第一肺叶裂隙特征和第二肺叶裂隙特征转换到第三肺叶裂隙特征的视角下，并利用映射得到的两个肺叶裂隙特征与第三肺叶裂隙特征执行特征融合，得到校正后的肺叶裂隙特征。
步骤103：利用校正后的肺叶裂隙特征对所述肺图像进行分割。
在一些可能的实施方式中，可以直接通过校正后的肺叶裂隙特征执行肺叶分割，得到肺叶裂隙的分割结果。或者，在其他实施方式中，也可以将校正后的肺叶裂隙特征与第三肺叶裂隙特征执行特征融合处理，基于融合结果执行肺叶分割，得到肺叶裂隙的分割结果。其中，分割结果可以包括识别出的肺图像中的各个分区对应的位置信息。例如，肺图像可以包括五个肺叶区域，分别为右上叶、右中叶、右下叶、左上叶和左下叶，得到分割结果中可以包括上述五个肺叶在肺图像中分别所在的位置信息。本公开实施例可以通过掩码特征的方式表示分割结果，也就是说，本公开实施例得到的分割结果可以是表示为掩码形式的特征，例如，本公开实施例可以为上述五个肺叶区域分别分配唯一对应的掩码值(设定掩码值)，如1、2、3、4和5，每个掩码值形成的区域即为相应的肺叶所在的位置区域。上述掩码值仅为示例性说明，在其他实施例中也可以配置其他的掩码值。
基于上述实施例，可以充分融合三个视角下的肺叶裂隙特征，提高校正后的裂隙特征的信息含量以及准确度，进而提高肺叶分割结果的精确度。
为了详细的说明本公开实施例，下面分别对本公开实施例的各过程进行说明。
本公开实施例中，所述获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征的方法为：
获得在矢状面、冠状面以及横断面下的多序列肺图像；分别对所述矢状面、冠状面以及横断面下的多序列肺图像进行肺叶裂隙特征提取，得到在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。
本公开实施例可以首先获取三个视角下的多序列肺图像，如上述实施例所述，可以通过CT成像的方式采集肺图像在不同视角下的多层肺图像(多序列图像)，通过每个视角下的多层肺图像均可以得到三维形式的肺部图像。
在得到三个视角下的多序列肺图像的情况下，可以对各肺图像执行特征提取处理，例如通过上述特征提取神经网络对各视角下的肺图像执行特征提取处理，得到三个视角下的每个图像的肺叶裂隙特征，如在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。其中，由于每个视角下可以包括多个肺图像，本公开实施例可以通过多个特征提取神经网络并行的执行该多个肺图像的特征提取处理，提高特征提取效率。
图8是本发明实施例一种基于多视角下的肺叶分割方法和/或装置的网络结构示意图。如图8所示，本公开实施例执行特征提取处理的网络可以为U网络(U-net)，也可以为其他的能够执行特征提取的卷积神经网络。
在得到各个视角下的肺图像的肺叶裂隙特征的情况下，可以利用矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正，该过程可以包括：将所述任意二个的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角；利用映射后的所述任二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正。
为了描述方便，下述以第一肺叶裂隙特征和第二肺叶裂隙特征对第三肺叶裂隙特征进行校正为例进行说明。
由于在不同视角下，提取的肺叶裂隙特征不同，本公开实施例可以将三个视角下的肺叶裂隙特征映射转换到一个视角下。其中，所述将所述任意二个的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角的方法为：将所述矢状面、冠状面以及横断面任意二个的多序列肺图像的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角。也就是说，可以将第一肺叶裂隙特征和第二肺叶裂隙特征映射转换到第三肺叶裂隙特征所在的视角。其中，通过视角的映射转换，可以使得映射后得到的肺叶裂隙特征中融合映射之前视角的特征信息。
如上述实施例所述，本公开实施例在每个视角下可以得到多个肺图像，该多个肺图像对应的具有多个肺叶裂隙特征。肺叶裂隙特征中各特征值与相应的肺图像各像素点一一对应。
本公开实施例可以根据一个视角下的多个肺图像形成的三维立肺图像，确定将该视角转换到另一视角时肺图像中各像素点之间位置映射关系，如某一像素点从第一视角的第一位置切换到第二视角的第二位置，此时，该第一视角下的第一位置对应的特征值被映射到第二位置。通过上述实施例，可以实现不同视角下各肺图像的肺叶裂隙特征之间的映射转换。
在一些可能的实施方式中，在将三个视角的肺叶裂隙特征映射到相同的视角下的情况下，可以利用映射后的两个肺叶裂隙特征对第三肺叶裂隙特征执行校正处理，提高第三肺叶裂隙特征的信息含量和精确度。
本公开实施例中，所述利用映射后的所述任二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正的方法为：
分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征；根据所述第一融合特征和所述第二融合特征得到校正后的所述第三个肺叶裂隙特征。
本公开实施例可以将第一肺叶裂隙特征映射后的特征称为第一映射特征，以及将第二肺叶裂隙特征映射后的特征称为第二映射特征。在得到第一映射特征和第二映射特征的情况下，可以执行第一映射特征和第三肺叶裂隙特征之间的空间注意力特征融合，得到第一融合特征，以及执行第二映射特征和第三肺叶裂隙特征之间的空间注意力特征融合，得到第二融合特征。
其中，所述分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征的方法为：
分别将所述任意二个的肺叶裂隙特征与所述第三个肺叶裂隙特征进行连接，得到第一连接特征和第二连接特征；对所述第一连接特征进行第一卷积操作得到第一卷积特征，以及对所述第二连接特征进行第一卷积操作得到第二卷积特征；对所述第一卷积特征进行第二卷积操作得到第一注意力系数，以及对所述第二卷积特征进行第二卷积操作得到第二注意力系数；利用第一卷积特征和第一注意力系数得到所述第一融合特征，以及利用第二卷积特征和第二注意力系数得到所述第二融合特征。
在一些可能的实施方式中，如图8所示，可以通过空间注意力机制的网络模块执行上述空间注意力特征融合处理本公开实施例考虑到肺叶裂隙特征在不同位置上的重要性不同，采用了空间注意力机制。其中，可以通过空间注意力神经网络(attention)实现基于注意力机制的卷积处理，得到的融合特征中进一步突出了重要的特征。在该空间注意力神经网络的训练过程中可以自适应的学到空间特征每个位置的重要性，形成与每个位置的特征对象的注意力系数，例如该系数可以表示[0,1]区间的系数值，系数越大说明相应位置的特征越重要。
在执行空间注意力融合处理的过程中，可以首先对第一映射特征和第三肺叶裂隙特征执行连接处理得到第一连接特征，对第二映射特征和第三肺叶裂隙特征执行连接处理得到第二连接特征，上述连接处理可以为在通道方向上进行连接(concatenate)。本公开实施例中，第一映射特征、第二映射特征以及第三肺叶裂隙特征的尺度均可以标识为(C/2，H，W)，其中C表示各特征的通道数，H表示特征的高度，W表示特征的宽度。对应的，通过连接处理得到的第一连接特征和第二连接特征的尺度可以表示为(C，H，W)。
在得到第一连接特征和第二连接特征的情况下，可以分别对各第一连接特征和第二连接特征执行第一卷积操作，如利用卷积层A通过3*3的卷积核执行该第一卷积操作，而后还可以执行批归一化(bn)以及激活函数(relu)处理，得到与第一连接特征对应的第一卷积特征，以及与第二连接特征对应的第二卷积特征。该第一卷积特征和第二卷积特征的尺度可以表示为(C/2，H，W)，通过第一卷积操作可以减少特征图中的参数，减少了后续的计算成本。
在一些可能的实施方式中，在得到第一卷积特征和第二卷积特征的情况下，可以分别对第一卷积特征和第二卷积特征执行第二卷积操作以及sigmoid函数处理，分别得到对应的第一注意力系数和第二注意力系数。其中第一注意力系数可以表示第一卷积特征各个元素的特征的重要程度，以及第二注意力系数可以表示第二卷积特征中元素的特征的重要程度。
如图8所示，针对第一卷积特征或者第二卷积特征，均可以采用两个卷积层B和C执行该第二卷积操作，其中卷积层B通过1*1的卷积核处理后，执行批归一化(bn)以及激活函数(relu)处理，得到第一中间特征，该第一中间特征图的尺度可以表示为(C/8，H，W)，而后通过第二个卷积层C对该第一中间特征图执行1*1卷积核的卷积操作，得到(1，H，W)的第二中间特征图。进一步可以对该第二中间特征图使用sigmoid函数执行激活函数处理，得到第一卷积特征或者第二局演技特征对应的注意力系数，注意力系数的系数值可以为[0,1]范围内的数值。
通过上述第二卷积操作可以对第一连接特征和第二连接特征执行降维处理，得到单通道的注意力系数。
在一些可能的实施方式中，在得到第一卷积特征对应的第一注意力系数以及第二卷积特征对应的第二注意力系数的情况下，可以对第一卷积特征和第一注意力系数执行乘积处理，并将乘积结果与第一卷积特征相加，得到第一融合特征。以及对第二卷积特征和第二注意力系数矩阵执行乘积处理，并将乘积结果与第二卷积特征相加得到第二融合特征。其中，乘积处理(mul)可以为对应元素相乘，以及特征相加(add)可以为对应元素相加。通过上述方式可以将实现三个视角下特征的有效融合。
或者，在另一些实施方式中，也可以利用所述第一卷积特征与所述第一注意力系数相乘的特征与所述第一卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第一融合特征；以及利用所述第二卷积特征与所述第二注意力系数相乘的特征与所述第二卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第二融合特征。通过该方式可以进一步提高融合特征的精确度，以及提高融合的信息含量。
在得到第一融合特征以及第二融合特征的情况下，可以利用第一融合特征和第二融合特征得到校正后的第三肺叶裂隙特征。
在一些可能的实施方式中，由于第一融合特征和第二融合特征中分别包括三个视角下的特征信息，因此可以直接通过将第一融合特征和第二融合特征进行连接，并对连接后的特征执行第三卷积操作，得到校正后的第三肺叶裂隙特征。或者，也可以将第一融合特征、第二融合特征以及第三肺叶裂隙特征连接，并对连接后的特征执行第三卷积操作，得到校正后的第三肺叶裂隙特征。
其中，该第三卷积操作可以包括分组卷积处理。通过第三卷积操作可以进一步实现每个特征中的特征信息的进一步融合。如图8所示，本公开实施例的第三卷积操作可以包括分组卷积D(depth wise conv)，其中分组卷积可以加快卷积速度，同时提高卷积特征的精度。
在通过第三卷积操作得到校正后的第三肺叶裂隙特征的情况下，可以利用校正后的肺叶裂隙特征对所述肺图像进行分割。本公开实施例可以利用卷积的方式得到校正后的肺叶裂隙特征对应的分割结果。如图8所示，本公开实施例可以将校正后的肺叶裂隙特征输入到卷积层E中，通过1*1的卷积核执行标准卷积，得到肺图像的分割结果。如上述实施例所述，该分割结果中可以表示肺图像中的五个肺叶分别所在的位置区域。如图8所示，肺图像中各肺叶区域通过深浅填充色的方式进行区分。
基于上述配置，本公开实施例提供的基于多视角下的肺叶分割方法可以以解决没有充分利用其他视角的信息对肺叶进行分割，造成信息丢失，不能准确的分割肺叶的技术问题。
如上述实施例所述本公开实施例可以通过神经网络实现，如图8所示，本公开实施例执行多视角下的肺叶分割方法的神经网络可以包括特征提取神经网络、空间注意力神经网络以及分割网络(包括卷积层D和E)。
本公开实施例可以包括三个特征提取神经网络，分别用于提取不同视角下的肺叶裂隙特征。其中，可以将三个特征提取网络称为第一分支网络、第二分支网络和第三分支网络。其中，本公开实施例的三个分支网络的结构完全相同，每个分支网络的输入图像各不相同。例如矢状面的肺图像样本输入到第一分支网络、冠状面的肺图像样本输入到第二分支网络，以及横断面的肺图像样本输入到第三分支网络，用以分别执行各视角下的肺图像样本的特征提取处理。
具体的，本公开实施例中，训练所述特征提取神经网络的过程，包括：
获取矢状面下、冠状面下以及横断面下的训练样本，所述训练样本为带有标记肺叶裂隙特征的肺图像样本；利用所述第一分支网络对矢状面下的肺图像样本执行特征提取，得到第一预测肺叶裂隙特征；利用所述第二分支网络对冠状面下的肺图像样本执行特征提取，得到第二预测肺叶裂隙特征；利用所述第三分支网络对横断面下的肺图像样本执行特征提取，得到第三预测肺叶裂隙特征；分别利用所述第一预测肺叶裂隙特征、第二预测肺叶裂隙特征以及第三预测肺叶裂隙特征与对应的标记肺叶裂隙特征得到所述第一分支网络、所述第二分支网络和所述第三分支网络的网络损失，并利用所述网络损失调整所述第一分支网络、所述第二分支网络和所述第三分支网络的参数。
如上述实施例所述，分别利用第一分支网络、第二分支网络和第三分支网络执行矢状面、冠状面以及横断面视角下的肺图像样本的特征提取处理，进而可以对应的得到预测的特征，即第一预测肺叶裂隙特征、第二预测肺叶裂隙特征和第三预测肺叶裂隙特征。
在得到各预测的肺叶裂隙特征的情况下，可以分别利用所述第一预测肺叶裂隙特征、第二预测肺叶裂隙特征以及第三预测肺叶裂隙特征与对应的标记肺叶裂隙特征得到所述第一分支网络、所述第二分支网络和所述第三分支网络的网络损失。例如，本公开实施例的损失函数可以为对数损失函数，通过第一预测肺叶裂隙特征和标记的真实肺叶裂隙特征，可以得到第一分支网络的网络损失，通过第二预测肺叶裂隙特征和标记的真实肺叶裂隙特征，可以得到第二分支网络的网络损失，以及通过第三预测肺叶裂隙特征和标记的真实肺叶裂隙特征，可以得到第三分支网络的网络损失。
在得到各分支网络的网络损失的情况下，可以根据各网络的网络损失的调整第一分支网络、所述第二分支网络和所述第三分支网络的参数，直至满足终止条件。其中，本公开实施例可以利用所述第一分支网络、所述第二分支网络和所述第三分支网络中任一分支的网络损失分别同时调整所述第一分支网络、所述第二分支网络和所述第三分的网络参数，如卷积参数等。从而可以使得任一视角下网络参数与其余两个视角下的特征相关，可以提高提取的肺叶裂隙特征与其余两个视角下的肺叶裂隙特征的相关性以及实现各视角下的肺叶裂隙特征的初步融合。
另外，特征提取神经网络的训练终止条件为各个分支网络的网络损失均小于第一损失阈值，此时表明特征提取神经网络的各分支网络均能够精确的提取相应视角下的肺图像的肺叶裂隙特征。
在训练完成特征提取神经网络的情况下，可以利用特征提取神经网络、空间注意力神经网络以及分割网络同时进行训练，并利用分割网络输出的分割结果与标记的肺叶裂隙特征中对应的标记结果，确定整个神经网络的网络损失。并利用整个神经网络的网络损失进一步反馈调节特征提取神经网络、空间注意力神经网络以及分割网络的网络参数，直至整个神经网络的网络损失小于第二损失阈值。本公开实施例中的第一损失阈值大于或者等于第二损失阈值，从而可以提高网络的网络精度。
在应用本公开实施例的神经网络执行基于多视角下的肺叶分割时，可以将同一肺部的不同视角下肺图像分别对应的输入至三个分支网络中，最终通过这个神经网络得到最终的肺图像的分割结果。
综上所述，本公开实施例提供的一种基于多视角下的肺叶分割方法和装置，可以对多视角特征信息进行融合，执行肺图像的肺叶分割，解决没有充分利用其他视角的信息对肺叶进行分割，造成信息丢失，不能准确的分割肺叶的问题。
另外，本公开实施例还提供了一种基于多视角下的肺叶分割装置或分割单元，其包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述实施例中任意一项所述的基于多视角下的肺叶分割方法。
在一些实施例中，本公开实施例提供一种基于多视角下的肺叶分割装置或分割单元具有的功能或包含的模块可以用于执行上文一种基于多视角下的肺叶分割实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
步骤1002：根据所述带有CT值的肺叶以及设定阈值判断所述肺叶上的CT值是否为肺气肿区域。
在本发明实施例中，设定阈值是设定CT值，由于深吸气时肺气肿区域的CT值基本不变化，而其他的正常区域(非肺气肿区域)进入空气，空气的CT值为1024HU，肺气肿区域由于充满空气，肺气肿区域的CT接近1024HU。在医学领域，设定阈值一般选为-950HU，如果肺叶的CT值小于-950HU则判断为肺气肿区域，如果肺叶的CT值大于或者等于-950HU则判断为不是肺气肿区域。在其他已经公开的论文中或在一些可能的实施方式中，设定阈值可能有所波动，本发明不对设定阈值进行具体限定，本领域人员可适当调整设定阈值。
在本发明实施例中，已提取的肺叶为右肺上肺叶，右肺上肺叶是COPD(慢性阻塞性肺疾病)最先发生的肺叶，以右肺上肺叶进行说明，图6是本发明实施例中一种带有CT值的肺叶提取方法或/和装置提取的右肺上肺叶的提取示意图。在图6中的右肺上肺叶是带有CT值的肺叶，右肺上肺叶的CT值与设定阈值进行比较。如果右肺上肺叶的CT值小于-950HU，则在右肺上肺叶的此处为肺气肿区域；如果右肺上肺叶的CT值大于或者等于-950HU则在右肺上肺叶的此处判断为不是肺气肿区域。
步骤1003：如是，则对所述肺气肿区域上色，显示所述肺气肿区域。步骤1004：如不是，则不进行上色或上色的颜色不同于所述肺气肿区域的颜色。
在本发明实施例中，上色为伪彩色，方便医生观察已提取的肺叶的肺气肿区域，或者对已提取的肺叶进行定位显示。如已提取的肺叶为右肺上肺叶，当右肺上肺叶的CT值小于-950HU，则在右肺上肺叶的此处为肺气肿区域，对此区域进行上色，如：红色；如果右肺上肺叶的CT值大于或者等于-950HU则在右肺上肺叶的此处判断为不是肺气肿区域，则不进行上色或上色的颜色为绿色，以区别所述肺气肿区域的颜色。
以上所述实施例仅为表达本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、同等替换、改进等，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于肺叶的肺气肿区域判断方法，其特征在于，包括：
提取带有CT值的肺叶；
根据所述带有CT值的肺叶以及设定阈值判断所述肺叶上的CT值是否为肺气肿区域；
如是，则对所述肺气肿区域上色，显示所述肺气肿区域；
如不是，则不进行上色或上色的颜色不同于所述肺气肿区域的颜色。
2.根据权利要求1所述的判断方法，其特征在于，所述提取带有CT值的肺叶的方法，包括：
获取肺部图像的肺叶分割图像；
确定拟提取的肺叶；
对所述拟提取的肺叶进行标记；
根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶。
3.根据权利要求2所述的判断方法，其特征在于，在所述获取肺部图像的肺叶分割图像之前，还包括：
获取所述肺部图像；
对所述肺部图像进行肺叶分割，得到所述肺叶分割图像；
以及/或
对所述肺部图像进行肺叶分割，得到所述肺叶分割图像的方法，包括：
获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；
利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正；
利用校正后的肺叶裂隙特征对所述肺图像进行分割。
4.根据权利要求3所述的判断方法，其特征在于：
对所述拟提取的肺叶进行标记，根据标记后拟提取的肺叶和所述肺部图像得到要提取的肺叶的具体方法为：
根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像，利用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶；以及/或
所述根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像的方法为：
对所述肺叶分割图像进行掩码处理，得到每个肺叶的掩码图像，根据所述每个肺叶的掩码图像的预设掩码值以及所述拟提取肺叶的标记以得到所述标记的掩码图像；并将所述标记的掩码图像内的像素置1，以及将所述标记的掩码图像之外的所述肺叶分割图像的区域的像素置0；以及/或
所述利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正的方法为：
将所述任意二个的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角；
利用映射后的所述任意二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正。
5.根据权利要求4所述的判断方法，其特征在于：
根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像，利用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶的具体方法为：
依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶，将若干层所述拟提取的肺叶进行三维重建，得到三维拟提取的肺叶。
6.根据权利要求5所述的判断方法，其特征在于：
根据所述肺叶分割图像得到掩码图像，并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像，利用所述标记的掩码图像乘以所述肺部图像，得到所述拟提取的肺叶之前，分别确定所述肺部图像的层数和所述标记的掩码图像的层数；
判断所述肺部图像的层数和所述标记的掩码图像的层数是否相等；
若相等，则依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶，将若干层所述拟提取的肺叶进行三维重建，得到三维拟提取的肺叶；
若不相等，将所述标记的掩码图像进行插值，以得到与所述肺部图像相同层数的掩码图像，然后依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶，将若干层所述拟提取的肺叶进行三维重建，得到三维拟提取的肺叶。
7.根据权利要求4所述的判断方法，其特征在于：
所述利用映射后的所述任意二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正的方法为：
分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征；
根据所述第一融合特征和所述第二融合特征得到校正后的所述第三个肺叶裂隙特征。
8.根据权利要求7所述的判断方法，其特征在于：
所述分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征的方法为：
分别将所述任意二个的肺叶裂隙特征与所述第三个肺叶裂隙特征进行连接，得到第一连接特征和第二连接特征；
对所述第一连接特征进行第一卷积操作得到第一卷积特征，以及对所述第二连接特征进行第一卷积操作得到第二卷积特征；
对所述第一卷积特征进行第二卷积操作得到第一注意力系数，以及对所述第二卷积特征进行第二卷积操作得到第二注意力系数；
利用第一卷积特征和第一注意力系数得到所述第一融合特征，以及利用第二卷积特征和第二注意力系数得到所述第二融合特征。
9.根据权利要求8所述的判断方法，其特征在于：
所述利用第一卷积特征和第一注意力系数得到所述第一融合特征，以及利用第二卷积特征和第二注意力系数得到所述第二融合特征的方法为：
利用所述第一卷积特征与所述第一注意力系数相乘的特征与所述第一卷积特征相加，得到所述第一融合特征；利用所述第二卷积特征与所述第二注意力系数相乘的特征与所述第二卷积特征相加，得到所述第二融合特征；以及/或
利用所述第一卷积特征与所述第一注意力系数相乘的特征与所述第一卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第一融合特征；利用所述第二卷积特征与所述第二注意力系数相乘的特征与所述第二卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第二融合特征。
10.一种基于肺叶的肺气肿区域判断装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至9中任意一项所述的基于肺叶的肺气肿区域判断方法。
CN202010042872.XA 2020-01-15 2020-01-15 一种基于肺叶的肺气肿区域判断方法和装置 Active CN111260627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010042872.XA CN111260627B (zh) 2020-01-15 2020-01-15 一种基于肺叶的肺气肿区域判断方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010042872.XA CN111260627B (zh) 2020-01-15 2020-01-15 一种基于肺叶的肺气肿区域判断方法和装置

Publications (2)

Publication Number Publication Date
CN111260627A true CN111260627A (zh) 2020-06-09
CN111260627B CN111260627B (zh) 2023-04-28

Family

ID=70946974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010042872.XA Active CN111260627B (zh) 2020-01-15 2020-01-15 一种基于肺叶的肺气肿区域判断方法和装置

Country Status (1)

Country Link
CN (1) CN111260627B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220904A (ja) * 2009-03-25 2010-10-07 Fujifilm Corp 画像処理装置および方法ならびにプログラム
CN102429679A (zh) * 2011-09-09 2012-05-02 华南理工大学 基于胸部ct图像的肺气肿计算机辅助诊断***
US20150254843A1 (en) * 2012-09-13 2015-09-10 The Regents Of The University Of California Lung, lobe, and fissure imaging systems and methods
CN110399799A (zh) * 2019-06-26 2019-11-01 北京迈格威科技有限公司 图像识别和神经网络模型的训练方法、装置和***
CN110473207A (zh) * 2019-07-30 2019-11-19 赛诺威盛科技（北京）有限公司 一种交互式分割肺叶的方法
CN110688951A (zh) * 2019-09-26 2020-01-14 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220904A (ja) * 2009-03-25 2010-10-07 Fujifilm Corp 画像処理装置および方法ならびにプログラム
CN102429679A (zh) * 2011-09-09 2012-05-02 华南理工大学 基于胸部ct图像的肺气肿计算机辅助诊断***
US20150254843A1 (en) * 2012-09-13 2015-09-10 The Regents Of The University Of California Lung, lobe, and fissure imaging systems and methods
CN110399799A (zh) * 2019-06-26 2019-11-01 北京迈格威科技有限公司 图像识别和神经网络模型的训练方法、装置和***
CN110473207A (zh) * 2019-07-30 2019-11-19 赛诺威盛科技（北京）有限公司 一种交互式分割肺叶的方法
CN110688951A (zh) * 2019-09-26 2020-01-14 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CRAIG J. GALBÁN 等: "CT-based Biomarker Provides Unique Signature for Diagnosis of COPD Phenotypes and Disease Progression" *

Also Published As

Publication number Publication date
CN111260627B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN108830155B (zh) 一种基于深度学习的心脏冠状动脉分割及识别的方法
CN108537784B (zh) 一种基于深度学习的ct图肺结节检测方法
CN110930416B (zh) 一种基于u型网络的mri图像***分割方法
CN108389201B (zh) 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法
CN107665492B (zh) 基于深度网络的结直肠全景数字病理图像组织分割方法
CN109146872B (zh) 基于深度学习和光流法的心脏冠状动脉影像分割识别方法
CN111275673A (zh) 肺叶提取方法、装置及存储介质
CN111242931B (zh) 一种单肺叶的小气道病变判断方法和装置
CN110910408A (zh) 图像分割方法、装置、电子设备及可读存储介质
US20220335600A1 (en) Method, device, and storage medium for lesion segmentation and recist diameter prediction via click-driven attention and dual-path connection
CN110619635B (zh) 基于深度学习的肝细胞癌磁共振图像分割***和方法
CN110009656B (zh) 目标对象的确定方法、装置、存储介质及电子装置
CN106780522A (zh) 一种基于深度学习的骨髓液细胞分割方法
CN111292343B (zh) 一种基于多视角下的肺叶分割方法和装置
CN109447963A (zh) 一种脑部影像识别的方法及装置
CN104732520A (zh) 一种胸部数字影像的心胸比测量算法及***
CN112102259A (zh) 一种基于边界引导深度学习的图像分割算法
CN112381811A (zh) 一种实现医学影像数据标注的方法、装置及设备
CN112884792A (zh) 肺部图像分割的方法、装置、电子设备及存储介质
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
CN116758087B (zh) 一种腰椎ct骨窗侧隐窝间隙检测方法及装置
CN117541574A (zh) 一种基于ai语义分割和图像识别的舌诊检测方法
WO2023142753A1 (zh) 图像相似性度量方法及其装置
CN111260627A (zh) 一种基于肺叶的肺气肿区域判断方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant