CN109727251A - 一种定量肺部病症分割的***、方法和设备 - Google Patents

Abstract

本公开涉及一种定量肺部病症分割的***，包括肺部病症分割模型，配置成基于神经网络对所述胸片图像进行肺部病症分割；肺叶分割模型，配置成基于神经网络对所述胸片图像进行肺叶分割；以及计算组件，配置成基于所述肺部病症分割和所述肺叶分割的结果来计算气胸容积。本公开还涉及相应的定量肺部病症分割的方法、设备和计算机可读介质。

Description

一种定量肺部病症分割的***、方法和设备

技术领域

本公开一般涉及医学图像处理，尤其涉及基于技术实现定量肺部病症分割与检测。

背景技术

常见的肺部病症包括气胸，肺积水等会严重危害人体健康。气胸(pneumothorax)是指气体进入胸膜腔，造成肺部积气的状态。气胸一般可分为创伤性气胸、自发性气胸和人工气胸等等。创伤性气胸一般由胸壁或肺部创伤引起，自发性气胸则是由于肺部疾病导致肺组织自行破裂引起，而人工气胸则是指在治疗和诊断过程中将空气主动注入进胸膜腔中。自发性气胸多见于男性青壮年或患有慢性支气管炎、肺气肿以及肺结核等等，本病属于肺科急症之一，严重者可危急生命。肺积水在医学上通常叫做“肋膜积水”，它一般由肺部感染发炎或者自体免疫疾病引起，进而导致肺脏外部堆积有大量水分。X光胸片检查是目前医学上对气胸和肺积水等肺部疾病的主要检查手段。

气胸胸片上大多有明确的气胸线，即萎缩肺组织与胸膜腔内的气体交界线，一般呈外凸线条影。气胸线外为无肺纹理的透光区，线内为压缩的肺组织。而肺积水在X光胸片上的反映相对于气胸更易观察。

传统的定量肺部疾病分割和检测是X光诊断医生的常规工作，一直以来，医师根据目测或借助笔，直尺和X光胶片对肺叶轮廓以及患有气胸或者肺积水等病症所在轮廓进行测量和计算。在此基础上，一些传统的基于主动形状模型(ASM)的机器学习方法也能够对该类医学影像分割起到一定的帮助作用，但是由于计算效率和分割准确度较低，无法实现临床应用。

近些年来，基于机器学习的图像分割模型不断被提出，但是针对于X光胸片上常见肺部疾病等病症的医学图像分割技术尚存在盲区。由于肺部病症(例如，包括气胸和肺积水)的特殊性，想要真正实现定量肺部病症分割与检测，需要大量的数据和迭代测试。

因此，本领域需要基于神经网络技术实现对胸片的定量肺部病症分割与检测的技术，以加速放射科医生对于肺部病症病例的诊断，以及通过对胸片的肺部病症容积的定量分析，来为病例的快速筛查，患者病症参数的监控提供了辅助。

发明内容

本公开的一方面涉及一种定量肺部病症分割的***，包括肺部病症分割模型，配置成基于神经网络对胸片图像进行肺部病症分割；肺叶分割模型，配置成基于神经网络对所述胸片图像进行肺叶分割；以及计算组件，配置成基于所述肺部病症分割和所述肺叶分割的结果来计算肺部病症容积。

根据一示例性而非限定性实施例，该***还可包括预处理组件，配置成在所述肺部病症分割和所述肺叶分割之前，对所述胸片图像进行预处理，所述预处理包括以下一项或多项组合：大小调整、裁剪、旋转、归一化以及标准化。

根据另一示例性而非限定性实施例，计算组件被进一步配置成通过所述肺部病症分割得到的肺部病症像素数量以及所述肺叶分割得到的肺叶像素数量来来计算所述肺部病症容积。

根据又一示例性而非限定性实施例，计算组件被进一步配置成基于所述肺部病症容积来发出分级警告。

本公开的其它方面还涉及相应的定量肺部病症分割的方法、设备以及计算机可读介质。

附图说明

图1示出了根据本公开的一示例性方面的基于神经网络技术实现定量肺部病症分割与检测***的框图。

图2示出根据本公开一方面的基于神经网络技术的定量肺部病症分割与检测的方法的框图。

图3示出了根据本公开一方面的训练基于神经网络技术的肺部病症分割模型的方法的框图。

图4示出了根据本公开一示例性实施例的基于神经网络技术的定量肺部病症分割与检测的结果实例。

具体实施方式

神经网络是机器学习和人工智能研究的最新趋势之一。神经网络方法为计算机视觉和机器学习带来了革命性的进步。神经网络作为机器学习的分支，是通过使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

图1示出了根据本公开的一示例性方面的基于神经网络技术实现定量肺部病症分割与检测***100的框图。***100可包括处理器102和存储器104。***100还可包括输入单元110、分割模型112以及输出单元114。***100还可包括预处理组件116、训练模块118、肺部病症计算模块120。上述各种组件可由例如总线106耦合并通过总线106来彼此通信。

输入单元110可获取原始数据。获取原始数据可包括从外部源输入X光胸片数据。根据另一示例性而非限定性实施例，获取原始数据也可包括直接采集X光胸片数据。原始数据可包括患有气胸或肺积水或其它肺部病症的病例、以及不患有气胸或肺积水或其它肺部病症的病例。

预处理组件116可对原始数据进行预处理。根据一示例性而非限定性实施例，对原始数据进行预处理可包括对图像进行大小缩放、修剪和/或旋转，或上述的任何组合。例如，对图像进行大小缩放可包括将图像缩放到分割模型所能够接收的大小。又如，对图像进行修剪可包括采用随机修剪策略对图像进行修剪。再如，对图像进行旋转可包括用随机旋转策略对图像进行旋转。如所可知，本发明不被进行各项预处理的次序所限定。由于原始X光胸片图像的对比度可能较低，因此根据另一示例性而非限定性实施例，预处理还可包括对图像进行归一化操作和/或标准化操作。本公开的方案可进行以上描述和/或本领域公知的其它各种预处理的各种组合。根据另一示例性而非限定性实施例，针对旨在作为训练图像数据的原始数据的预处理还可包括人工标注。例如，人工标注可包括标注出肺部病症(例如，气胸、肺积水等)和肺叶等。根据另一示例性而非限定性实施例，可将标注结果称为掩膜。掩膜可在有监督学习中被用作金标准。

分割模型112可以进行肺部病症和肺叶的分割。根据一示例性而非限定性实现，分割模型112可进一步包括肺部病症分割子模型122和肺叶分割子模型124。在此情形中，可将经预处理的图像数据分别提供给肺部病症分割子模型和肺叶分割子模型，并由肺部病症分割子模型进行肺部病症的分割以及由肺叶分割子模型进行肺叶的分割。根据一示例性而非限定性实施例，分割模型112可以采用全卷积网络，诸如v-net、u-net、link-net等，但本公开并不被限定于此。针对不同的病症，可以使用不同的神经网络模型(例如，全卷积网络、v-net、u-net、link-net等)以达到理想的气胸分割效果。根据一示例性而非限定性实施例，肺部病症分割子模型和肺叶分割子模型可以是相同或者不相同的神经网络结构，例如分别是v-net、u-net、link-net等中的两种，或者均为同一种、或其任何组合。不仅如此，针对不同的肺部病症(例如，气胸、肺积水等)，也可以有不同的模型。例如，肺部病症分割子模型122可以进一步包括气胸分割子模型、肺积水分割子模型等等。每种不同的肺部病症分割子模型也可以是相同或者不相同的神经网络结构，例如分别是v-net、u-net、link-net等中的两种，或者均为同一种、或其任何组合。

训练模块118可基于训练数据来训练基于神经网络技术的分割模型进行肺部病症和肺叶的分割。例如，在分割模型112包括肺部病症分割子模型122和肺叶分割子模型124的实施例中，可基于训练数据来分别训练肺部病症分割子模型122和肺叶分割子模型124。肺部病症分割子模型122和肺叶分割子模型124可被联合训练，或可被分别训练。训练可包括有监督学习、半监督学习、和/或无监督学习。针对不同的肺部病症(例如，气胸、肺积水等)，可以训练不同的模型。例如，针对气胸病症可以训练气胸分割子模型，而针对肺积水可以训练肺积水分割子模型等等。

肺部病症计算模块120可基于肺部病症分割结果和肺叶分割结果来计算肺部病症容积。根据一示例性而非限定性实施例，计算肺部病症容积可包括基于分割得到的肺部病症像素/体素数量以及分割得到的肺叶像素/体素数量来计算肺部病症容积。例如，取决于所针对的肺部病症，肺部病症计算模块120可相应地计算气胸容积、肺积水容积等等。肺部病症计算模块120还可基于阈值来判断特定病症的存在与否以及分级警告。例如，阈值可包括基于各种肺部病症的相应阈值。例如，阈值可包括针对气胸的容积、针对肺积水的容积、以及针对其它病症的容积等等。根据进一步的示例性而非限定性实施例，针对每一特定病症，还可包括一组阈值。通过与该一组阈值之中的每个阈值进行比较，可确定相应病症的程度和分级警告。例如，气胸病症分割结果中气胸像素/体素数量以及分割得到的肺叶像素/体素数量的比值为a，当a>40％时，判定为高度危险型气胸，当a<10％时，判定为可自愈型气胸。

输出单元114可输出分割结果、计算得到的肺部病症容积以及还可能输出相关联的信息。例如，相关联的信息可包括例如特定肺部病症的存在与否、基于肺部病症容积的分级警告等，以用于计算机辅助诊断和治疗。

上述输入单元110、分割模型112以及输出单元114。***100还可包括预处理组件116、训练模块118、肺部病症计算模块120及其相应的子组件等可以通过各种方式来实现。例如，根据一示例性而非限定性实施例，上述组件可以由硬件来实现，包括例如通过通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立的电路、分立的逻辑器件等来实现。上述组件也可通过软件或固件来实现。例如，上述组件可被存储在存储器104中并由处理器102执行来实现每个组件各自相应的功能。上述组件也可以使用以上描述的软件、固件和/或硬件的各种组合来实现。

图2示出根据本公开一方面的基于神经网络技术的定量肺部病症分割与检测的方法200的框图。方法200可包括在框202获取原始数据。根据一示例性而非限定性实施例，获取原始数据可包括从外部源输入X光胸片数据。根据另一示例性而非限定性实施例，获取原始数据也可包括直接采集X光胸片。获取原始数据可通过例如以上结合图1描述的输入单元110来执行。

当在框202获取了原始数据之后，方法200可包括在框204对原始数据进行预处理。根据一示例性而非限定性实施例，对原始数据进行预处理可包括对图像进行大小缩放、修剪和/或旋转，或上述的任何组合。例如，对图像进行大小缩放可包括将图像缩放到分割模型所能够接收的大小。又如，对图像进行修剪可包括采用随机修剪策略对图像进行修剪。再如，对图像进行旋转可包括用随机旋转策略对图像进行旋转。如所可知，本发明不被进行各项预处理的次序所限定。由于原始X光胸片图像的对比度可能较低，因此根据另一示例性而非限定性实施例，预处理还可包括对图像进行归一化操作和/或标准化操作。对图像数据的预处理可以通过例如以上结合图1描述的预处理组件116来执行。本公开的方案可进行以上描述和/或本领域公知的其它各种预处理的各种组合。

当在框204对图像数据进行了预处理之后，方法200可包括在框206将经预处理的图像数据提供给经训练的分割模型以进行肺部病症和肺叶的分割。例如，在分割模型包括肺部病症分割子模型和肺叶分割子模型的实施例中，将经预处理的图像数据提供给经训练的分割模型以进行肺部病症和肺叶的分割可包括将经预处理的图像数据分别提供给肺部病症分割子模型和肺叶分割子模型，并由肺部病症分割子模型进行肺部病症的分割以及由肺叶分割子模型进行肺叶的分割。分割模型可例如通过以上结合图1描述的分割模型112来执行。针对不同的病症，可以使用不同的神经网络模型(例如，全卷积网络、v-net、u-net、link-net等)以达到理想的气胸分割效果。

当在框206进行了肺部病症和肺叶的分割之后，方法200可包括在框208基于肺部病症分割结果和肺叶分割结果来计算肺部病症容积。根据一示例性而非限定性实施例，计算肺部病症容积可包括基于分割得到的肺部病症像素/体素数量以及分割得到的肺叶像素/体素数量来计算肺部病症容积。肺部病症容积的计算可例如通过以上结合图1描述的肺部病症计算模块120来执行。例如，取决于所针对的肺部病症，可相应地计算气胸容积、肺积水容积等等。还可基于阈值来判断特定病症的存在与否以及分级警告。例如，阈值可包括基于各种肺部病症的相应阈值。例如，阈值可包括针对气胸的容积、针对肺积水的容积、以及针对其它病症的容积等等。根据进一步的示例性而非限定性实施例，针对每一特定病症，还可包括一组阈值。通过与该一组阈值之中的每个阈值进行比较，可确定相应病症的程度和分级警告。例如，气胸病症分割结果中气胸像素/体素数量以及分割得到的肺叶像素/体素数量的比值为a，当a>40％时，判定为高度危险型气胸，当a<10％时，判定为可自愈型气胸。当在框208计算出肺部病症容积之后，方法200可包括输出计算得到的肺部病症容积以及还可能输出相关联的信息。例如，相关联的信息可包括例如特定肺部病症的存在与否、基于肺部病症容积的分级警告等，以用于计算机辅助诊断和治疗。输出肺部病症容积和相关联的信息可通过例如以上结合图1描述的输出单元114来执行。

图3示出了根据本公开一方面的训练基于神经网络技术的肺部病症分割模型的方法300的框图。方法300可包括在框302，将训练图像数据提供给分割模型。训练图像数据可以例如通过选取所获取的原始数据(例如，X光胸片)数据中的至少一部分并对其进行预处理来获得。训练图像数据可包括患有气胸或肺积水或其它肺部病症的病例、以及不患有气胸或肺积水或其它肺部病症的病例。对旨在作为训练图像数据的原始数据，可对其进行前述的预处理，例如可对图像进行大小缩放、修剪和/或旋转，或上述的任何组合。例如，对图像进行大小缩放可包括将图像缩放到分割模型所能够接收的大小。又如，对图像进行修剪可包括采用随机修剪策略对图像进行修剪。再如，对图像进行旋转可包括用随机旋转策略对图像进行旋转。如所可知，本发明不被进行各项预处理的次序所限定。由于原始数据的对比度可能较低，因此根据另一示例性而非限定性实施例，预处理还可包括对图像进行归一化操作和/或标准化操作。针对旨在作为训练图像数据的原始数据的预处理还可包括人工标注。例如，人工标注可包括标注出相应的肺部病症和肺叶等。根据另一示例性而非限定性实施例，可将标注结果称为掩膜。掩膜可在有监督学习中被用作金标准。对旨在作为训练图像的图像数据进行预处理可通过使用以上结合图1描述的预处理组件116来执行。有标注的训练数据也可直接从外部源获得，例如经由以上结合图1描述的输入单元110来获得。

当在框302将训练图像数据提供给分割模型之后，方法300可包括在框304基于训练数据来训练基于神经网络技术的分割模型进行肺部病症和肺叶的分割。例如，在分割模型包括肺部病症分割子模型和肺叶分割子模型的实施例中，可基于训练数据来分别训练肺部病症分割子模型和肺叶分割子模型。肺部病症分割子模型和肺叶分割子模型可被联合训练，或可被分别训练。根据进一步的实施例，针对不同的肺部病症(例如，气胸、肺积水等)，可以训练不同的模型。例如，针对气胸病症可以训练气胸分割子模型，而针对肺积水可以训练肺积水分割子模型等等。基于训练数据来训练基于神经网络技术的分割模型进行肺部病症和肺叶的分割可由例如参考图1描述的训练模块118来执行。

当在框304基于训练数据来训练基于神经网络技术的分割模型进行肺部病症和肺叶的分割之后，方法300可包括在框306将分割模型输出的肺部病症和肺叶分割的结果与对应的经标注训练图像数据的金标准作比较并计算损失。例如，在分割模型包括肺部病症分割子模型和肺叶分割子模型的实施例中，可分别计算肺部病症分割结果的损失和肺叶分割结果的损失。计算损失可例如由结合图1描述的训练模块118来执行。

当在框306计算出损失之后，方法300可包括在框308确定分割模型是否能够投入使用。确定分割模型是否能够投入使用可包括例如确定所计算出的损失是否足够小。例如，根据一示例性而非限定性实施例，可分别确定肺部病症分割子模型和肺叶分割子模型的分割结果的损失是否小于或等于阈值。若是，则方法300可包括在框310将经训练的分割模型投入使用。若否，则方法300可去往框312。

在框312，方法300可包括将损失反向传播以更新分割模型的权重。例如，在分割模型包括肺部病症分割子模型和肺叶分割子模型的实施例中，可将计算出的肺部病症分割结果的损失反向传播到肺部病症分割子模型以更新其权重，并将计算出的肺叶分割子模型的损失反向传播到肺叶分割子模型以更新其权重。将损失反向传播可例如由结合图1描述的训练模块118来执行。

当在框312反向传播损失之后，方法300可包括回到框304以进一步进行训练、计算和更新，直至所训练出的分割模型能够投入使用。

图4示出了根据本公开一示例性实施例的基于神经网络技术的定量肺部病症分割与检测的结果实例400。如图4中的实例1所示，左侧为原始X光图像，中间为标注的金标准，而右边则是使用本公开的技术获得的肺叶分割结果。类似地，如图4中的实例2所示，左侧为原始X光图像，中间为标注的金标准，而右边则是使用本公开的技术获得的肺叶分割结果。如所可见，本公开的技术能够清楚且较为准确地划分出肺部病症线，即受到疾病导致的肺部压缩后的实际肺部轮廓线。

本申请基于图像域的神经网络技术，实现了胸片检查中的定量肺部病症(例如，气胸、肺积水……)分割与检测。该技术使得医生在诊断患者肺部病症发展程度时，可以直接得到X光胸片中的肺部病症容积定量结果，加快医生诊断速度，并方便将定量信息录入患者信息***。

本申请作为全自动的定量肺部病症分割检测方法，在大量样本的基础上，使用神经网络技术进行分割模型训练。本申请的分割模型能充分学习样本特征，得到高准确度的检测指标和较高精度的分割指标，从而能够对普通X光胸片图像实现高准确度的肺部病症检测，并能够对患有肺部病症的病例实现较高精度的肺部病症所在位置和形状分割，并在分割基础上实现对肺部病症容积的自动计算，并可通过连接X光设备的计算机(PACS)***，实现X光胸片疾病的智能预筛、读片辅助和/或诊断报告的复读功能等等。尽管本公开以上是结合气胸和肺积水病症来进行描述的，但是本公开的技术同样可被应用于其它肺部病症的分割和检测，甚至可被应用于肺部病症以外的其它病症的分割和检测。

本领域普通技术人员应理解，本公开的有益效果并非由任何单个实施例来全部实现。各种组合、修改和替换均为本领域普通技术人员在本公开的基础上所明了。

此外，术语“或”旨在表示包含性“或”而非排他性“或”。即，除非另外指明或从上下文能清楚地看出，否则短语“X”采用“A”或“B”旨在表示任何自然的可兼排列。即，短语“X”采用“A”或“B”藉由以下实例中任何实例得到满足：X采用A；X采用B；或X采用A和B两者。属于“连接”与“耦合”可表示相同含义，表示两器件的电气连接。另外，本公开和所附权利要求书中所用的冠词“一”和“某”一般应当被理解成表示“一个或多个”，除非另外声明或者可从上下文中清楚看出是指单数形式。

各个方面或特征将以可包括数个设备、组件、模块、及类似物的***的形式来呈现。应理解和领会，各种***可包括附加设备、组件、模块等，和/或可以并不包括结合附图所讨论的全部设备、组件、模块等。也可以使用这些办法的组合。

结合本文所公开的实施例描述的各种说明性逻辑、逻辑块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其它此类配置。此外，至少一个处理器可包括可作用于执行以上描述的一个或多个步骤和/或动作的一个或多个模块。例如，以上结合各个方法描述的实施例可以通过处理器和耦合到处理器的存储器来实现，其中该处理器可被配置成执行前述任何方法的任何步骤或其任何组合。

此外，结合本文中所公开的方面描述的方法或算法的步骤和/或动作可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。例如，以上结合各个方法描述的实施例可以通过存储有计算机程序代码的计算机可读介质来实现，其中该计算机程序代码在由处理器/计算机执行时执行前述任何方法的任何步骤或其任何组合。

本公开中通篇描述的各种方面的要素为本领域普通技术人员当前或今后所知的所有结构上和功能上的等效方案通过引述被明确纳入于此，且意在被权利要求书所涵盖。此外，本文所公开的任何内容都并非旨在贡献给公众——无论这样的公开是否在权利要求书中被显式地叙述。

Claims (10)

1.一种定量肺部病症分割的***，其特征在于，包括：

肺部病症分割模型，配置成基于神经网络对胸片图像进行肺部病症分割；

肺叶分割模型，配置成基于神经网络对所述胸片图像进行肺叶分割；以及

计算组件，配置成基于所述肺部病症分割和所述肺叶分割的结果来计算肺部病症容积。

2.如权利要求1所述的***，其特征在于，还包括：

预处理组件，配置成在所述肺部病症分割和所述肺叶分割之前，对所述胸片图像进行预处理，所述预处理包括以下一项或多项组合：大小调整、裁剪、旋转、归一化以及标准化。

3.如权利要求1所述的***，其特征在于，所述计算组件被进一步配置成通过所述肺部病症分割得到的肺部病症像素数量以及所述肺叶分割得到的肺叶像素数量来来计算所述肺部病症容积。

4.如权利要求1所述的***，其特征在于，所述计算组件被进一步配置成基于所述肺部病症容积来发出分级警告。

5.一种定量肺部病症分割的方法，其特征在于，包括：

使用基于神经网络的肺部病症分割模型对胸片图像进行肺部病症分割；

使用基于神经网络的肺叶分割模型对所述胸片图像进行肺叶分割；以及基于所述肺部病症分割和所述肺叶分割的结果来计算肺部病症容积。

6.如权利要求5所述的方法，其特征在于，还包括：

在所述肺部病症分割和所述肺叶分割之前，对所述胸片图像进行预处理，所述预处理包括以下至少一项：大小调整、裁剪、旋转、归一化以及标准化。

7.如权利要求5所述的方法，其特征在于，基于所述肺部病症分割和所述肺叶分割的结果来计算肺部病症容积进一步包括：

通过所述肺部病症分割得到的肺部病症像素数量以及所述肺叶分割得到的肺叶像素数量来来计算所述肺部病症容积。

8.一种用于定量肺部病症分割的设备，其特征在于，包括：

存储器；以及

耦合到所述存储器的处理器，所述处理器被配置成：

使用基于神经网络的肺部病症分割模型对胸片图像进行肺部病症分割；

使用基于神经网络的肺叶分割模型对所述胸片图像进行肺叶分割；以及

基于所述肺部病症分割和所述肺叶分割的结果来计算肺部病症容积。

9.一种用于定量肺部病症分割的装置，其特征在于，包括：

用于使用基于神经网络的肺部病症分割模型对胸片图像进行肺部病症分割的装置；

用于使用基于神经网络的肺叶分割模型对所述胸片图像进行肺叶分割的装置；以及

用于基于所述肺部病症分割和所述肺叶分割的结果来计算肺部病症容积的装置。

10.一种存储有处理器可执行指令的计算机可读介质，所述处理器可执行指令在由处理器执行时，使所述处理器：

使用基于神经网络的肺部病症分割模型对胸片图像进行肺部病症分割；

使用基于神经网络的肺叶分割模型对所述胸片图像进行肺叶分割；以及

基于所述肺部病症分割和所述肺叶分割的结果来计算肺部病症容积。