CN112967279A - 一种检测肺结节的方法、装置、存储介质和电子设备 - Google Patents
一种检测肺结节的方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN112967279A CN112967279A CN202110365356.5A CN202110365356A CN112967279A CN 112967279 A CN112967279 A CN 112967279A CN 202110365356 A CN202110365356 A CN 202110365356A CN 112967279 A CN112967279 A CN 112967279A
- Authority
- CN
- China
- Prior art keywords
- lung
- dimensional
- image
- layer
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请实施例提供一种检测肺结节的方法、装置、存储介质和电子设备,该方法包括:对肺部三维图像进行分割操作,以得到三维分割图像;将三维分割图像输入到预先训练好的肺结节检测模型中,以得到肺结节检测结果,其中,预先训练好的肺结节检测模型包括第一卷积层、第二卷积层、第一特征提取层和第二特征提取层,第一卷积层用于对三维分割图像进行卷积运算,以得到第一特征图,第二卷积层用于对第一特征图进行卷积运算,以获得第二特征图,第一特征提取层用于对第二特征图进行特征提取,以获得第三特征图,第二特征提取层用于对第三特征图进行特征提取,以获得肺结节检测结果。借助于上述技术方案,本申请实施例能够实现对肺结节的检测。
Description
技术领域
本申请涉及医学图像处理技术领域,具体而言,涉及一种检测肺结节的方法、装置、存储介质和电子设备。
背景技术
肺癌是发病率和死亡率增长最快的恶性肿瘤之一,已对人群健康和生命造成了极大的威胁。相对于其他癌症,肺癌的生物学特性十分复杂,早期多无明显症状,大多数被发现时已是中晚期,治疗费用高昂且效果不佳。因此,早期筛查显得至关重要。肺癌早期一般表现为肺部恶性肺结节,因此,早期筛查一般从肺结节的检测入手。
目前,现有的检测方法是通过现有的检测模型对二维的图像进行检测,从而获得检测结果。
在实现本发明的过程中,发明人发现现有技术中存在如下问题:由于肺结节实际为三维图像,使用现有的检测模型对肺部三维图像进行检测会丧失图像本身的三维信息。所以,现有的检测模型存在着无法实现肺结节检测的问题。
发明内容
本申请实施例的目的在于提供一种检测肺结节的方法、装置、存储介质和电子设备,以解决现有的检测模型存在着无法实现肺结节检测的问题。
第一方面,本申请实施例提供了一种检测肺结节的方法,该方法包括:对肺部三维图像进行分割操作,以得到三维分割图像;将三维分割图像输入到预先训练好的肺结节检测模型中,以得到肺结节检测结果,其中,预先训练好的肺结节检测模型包括第一卷积层、第二卷积层、第一特征提取层和第二特征提取层,第一卷积层用于对三维分割图像进行卷积运算,以得到第一特征图,第二卷积层用于对第一特征图进行卷积运算,以获得第二特征图,第一特征提取层用于对第二特征图进行特征提取,以获得第三特征图,第二特征提取层用于对第三特征图进行特征提取,以获得肺结节检测结果。
因此,本申请实施例通过对肺部三维图像进行分割操作,以得到三维分割图像,随后将三维分割图像输入到预先训练好的肺结节检测模型中,以得到肺结节检测结果,其中,预先训练好的肺结节检测模型包括第一卷积层、第二卷积层、第一特征提取层和第二特征提取层,第一卷积层用于对三维分割图像进行卷积运算,以得到第一特征图,第二卷积层用于对第一特征图进行卷积运算,以获得第二特征图,第一特征提取层用于对第二特征图进行特征提取,以获得第三特征图,第二特征提取层用于对第三特征图进行特征提取,以获得肺结节检测结果,从而本申请实施例能够实现对肺结节的检测。
在一个可能的实施例中,第一卷积层的卷积步长为1,且第一卷积层的卷积核的大小为3×3×3;第二特征提取层的卷积步长为1。
因此,针对现有技术中的4倍下采样让肺结节消失的问题,本申请实施例将第一卷积层的卷积步长修改成1,并将第一卷积层的卷积核修改成3×3×3,还将第二卷积层的卷积步长修改成1,从而通过这样的改进,一方面避免了小目标物体在下采样的过程中的消失,另一方面,也让最终的offset失去了原有的意义,所以在肺结节检测模型中删除了对offset的回归,从而在一定程度上降低了计算机的计算量,提高了模型的效率。
在一个可能的实施例中,肺部三维图像包括左肺三维图像和右肺三维图像;其中,对肺部三维图像进行分割操作,以得到三维分割图像,包括:将肺部三维图像分割为左肺三维图像和右肺三维图像;沿着水平方向,将左肺三维图像和/或右肺三维图像分割为多个三维分割图像。
因此,针对于肺结节占肺部比例过小的问题,本申请实施例通过详细的观察影像科医生的肺结节标注过程,通过对于影像科医生的标注流程的学习,并且秉承着让深度学习模型在最大程度上模仿影像科医生的标注方法的理念上,形成了所特有的模型训练方式。
在一个可能的实施例中,多个三维分割图像中相邻的两个三维分割图像具有图像重叠区域。
第二方面,本申请实施例提供了一种检测肺结节的装置,该装置包括:分割模块,用于对肺部三维图像进行分割操作,以得到三维分割图像;输入模块,用于将三维分割图像输入到预先训练好的肺结节检测模型中,以得到肺结节检测结果,其中,预先训练好的肺结节检测模型包括第一卷积层、第二卷积层、第一特征提取层和第二特征提取层,第一卷积层用于对三维分割图像进行卷积运算,以得到第一特征图,第二卷积层用于对第一特征图进行卷积运算,以获得第二特征图,第一特征提取层用于对第二特征图进行特征提取,以获得第三特征图,第二特征提取层用于对第三特征图进行特征提取,以获得肺结节检测结果。
在一个可能的实施例中,第一卷积层的卷积步长为1,且第一卷积层的卷积核的大小为3×3×3;第二特征提取层的卷积步长为1。
在一个可能的实施例中,肺部三维图像包括左肺三维图像和右肺三维图像;分割模块,具体用于:将肺部三维图像分割为左肺三维图像和右肺三维图像;沿着水平方向,将左肺三维图像和/或右肺三维图像分割为多个三维分割图像。
在一个可能的实施例中,多个三维分割图像中相邻的两个三维分割图像具有图像重叠区域。
第三方面,本申请实施例提供了一种存储介质,该存储介质上存储有计算机程序,该计算机程序被处理器运行时执行第一方面或第一方面的任一可选的实现方式所述的方法。
第四方面,本申请实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当所述电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行第一方面或第一方面的任一可选的实现方式所述的方法。
第五方面,本申请提供一种计算机程序产品,所述计算机程序产品在计算机上运行时,使得计算机执行第一方面或第一方面的任意可能的实现方式中的方法。
为使本申请实施例所要实现的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了现有技术中的一种检测模型的结构示意图;
图2示出了本申请实施例提供的一种检测肺结节的方法的流程图;
图3示出了本申请实施例提供的一种肺结节检测模型的结构示意图;
图4示出了本申请实施例提供的一种检测肺结节的装置的结构框图;
图5是本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
近年来随着深度学习的发展,越来越多的深度学习的方法开始被应用于检测领域。肺结节的检测作为目标检测领域的一个分支,通常会借鉴常规物体检测的方法,并在此基础上进行改进,以便更加贴合肺结节(或者称为肺部结节)检测的实际情况。
请参见图1,图1示出了现有技术中的一种检测模型的结构示意图。如图1所示的现有的检测模型包括第一卷积层、第二卷积层、第一特征提取层、融合层和第二特征提取层。其中,第一卷积层的卷积步长为2,且第一卷积层的卷积核的大小为7×7;第二卷积层的卷积步长为2,且第二卷积层可以为残差单元(residual block);第一特征提取层可以用于特征提取,且第一特征提取层可以为第一个沙漏型的卷积神经网络模块;融合层用于连接第一特征提取层和第二特征提取层;第二特征提取层可以用于特征提取,且第二特征提取层可以为第二个沙漏型的卷积神经网络模块。
这里需要说明的是,对于第一特征提取层和第二特征提取层来说,第一特征提取层或者第二特征提取层类似于两个U-Net结构进行串联。通过这种多个U-Net结构相串联的方式,提取图片中的有效信息。
具体地,请参见图1,在肺部二维图像先经过第一卷积层和第二卷积层之后,可以使得整个图像缩小至肺部二维图像的1/4,以获得特征图。然后,再将特征图经过第一特征提取层以进行特征的提取,然后再经过融合层和第二特征提取层输出三个分支:热图Heatmap、偏移地址值offset和尺寸信息Height&Width。其中,Heatmap为一个热力图,通过概率的大小来表示图上该点是否为所需要检测的目标点的中心;Height&Width为预测的每个中心点所对应的检测物体的长和宽;由于经过第一特征提取层和第二特征提取层后所输出的图像特征图为实际图像的1/4,在将该特征图还原回原始图像的时候,会产生偏差,所以offset所输出的值为对于还原后,中心坐标的偏差的回归。
对于图1所示的检测模型来说,该检测模型被应用到肺结节的检测的时候,其至少存在如下问题:
现有的检测模型为针对二维图像的目标检测模型,但是由于肺结节实际为三维图像,所以如果使用现有的检测模型进行训练会丧失肺部三维图像的三维信息;
在现有的检测模型中,肺部二维图像在进入第一特征提取层之前,先通过卷积步长为2和卷积核的大小为7×7的第一卷积层以及一个步长为2的第二卷积层进行4倍的下采样。相较于一般物体的检测,肺结节属于更小的目标(例如,很多肺结节的直径只有3-5mm),上述的4倍下采样虽然可以提升一般目标物体检测的感受视野,但是却可以让很小的肺结节难以被检测到;
相对于整个肺部图像的大小,肺结节仅占肺部体积的大约万分之一,所以,在如此大的比例差异下,去寻找肺结节本身也是一个非常有挑战的工作。
基于此,本申请实施例巧妙地提出了一种检测肺结节的方案,通过对肺部三维图像进行分割操作,以得到三维分割图像,随后将三维分割图像输入到预先训练好的肺结节检测模型中,以得到肺结节检测结果,其中,预先训练好的肺结节检测模型包括第一卷积层、第二卷积层、第一特征提取层和第二特征提取层,第一卷积层用于对三维分割图像进行卷积运算,以得到第一特征图,第二卷积层用于对第一特征图进行卷积运算,以获得第二特征图,第一特征提取层用于对第二特征图进行特征提取,以获得第三特征图,第二特征提取层用于对第三特征图进行特征提取,以获得肺结节检测结果,从而本申请实施例能够实现对肺结节的检测。
请参见图2,图2示出了本申请实施例提供的一种检测肺结节的方法的流程图,应理解,图2所示的方法可以由检测肺结节的装置执行,该装置可以与下文中的图4所示的装置对应,该装置可以是能够执行该方法的各种设备,例如,如个人计算机、服务器或网络设备等,本申请实施例并不限于此,具体包括如下步骤:
步骤S210,对肺部三维图像进行分割操作,以得到三维分割图像。
应理解,对肺部三维图像进行分割操作,以得到三维分割图像的具体过程可根据实际需求来进行设置。
可选地,考虑到肺结节在整个肺中占比过小,从而导致难以用深度学习方法训练的问题。
此外,本申请实施例通过对影像科医生的标注方法的观察,其发现了影像科医生的两个重要特点:1、影像科医生在进行肺结节标注的时候,通常会将肺部分切分成左肺和右肺两个部分进行标注,即影像科医生不会同时看整个肺来寻找肺结节,而是从一侧肺部开始,当一侧肺部寻找完毕之后,再转移到另外一个肺部继续进行寻找;2、影像科医生关于肺结节的寻找,不是基于整个二维图像进行判断,也不是基于整个肺部的信息进行判断,而是根据某一个疑似肺结节的上下3-5层的信息进行结节的判定。
从而,基于影像科医生的上述两个特点,可启发本申请实施例也按照也可仿照专业医生的专业方法来对肺部三维图像进行分割操作。具体地:
首先仿照影像科医生的诊断路径,将肺部三维图像分割为左肺三维图像和右肺三维图像。随后,再在获取的左肺三维图像和/或右肺三维图像上,沿着水平方向,将左肺三维图像和/或右肺三维图像分割为多个三维分割图像。
应理解,水平方向可以是水平面方向,也可以是平行与坐标系中的XY轴方向(或者说与Z轴垂直的方向)。
还应理解,将左肺三维图像和/或右肺三维图像分割为多个三维分割图像的具体方法可根据实际需求来进行设置,本申请实施例并不局限于此。
例如,在竖直方向(即其为与水平方向垂直的方向,或者说其为坐标系中的Z轴方向)上以M个像素作为一个单元,并以N个像素为步长进行切割,从而可实现仿照影像科医生在标注时进行前后层的观察操作,最后可获得多个竖直方向为M个像素的三维分割图像。其中,N可以大于等于M的1/2。
也就是说,多个三维分割图像中相邻的两个三维分割图像具有图像重叠区域。
应理解,M的具体值和N的具体值均可根据实际需求来进行设置,本申请实施例并不局限于此。
例如,M可以为32,N可以为16。
这里需要说明的是,本申请实施例可以是先检测左肺三维图像对应的三维分割图像,以及还可在左肺三维图像对应的三维分割图像全部检测完毕后,再检测右肺三维图像对应的三维分割图像。
因此,本申请实施例通过模仿专业影像医生的行为,让模型更加贴合人类的工作方式,增强了模型的可解释性。以及,本申请实施例通过对肺部三维图像的左右切分和切块处理,让模型输入的图片的输入尺寸远小于肺部三维图像的尺寸,从而让模型可以更容易发现图像中的肺结节。以及,本申请实施例由于模型的输入尺寸的降低,让模型的训练效率有了显著的提升。
步骤S220,将三维分割图像输入到预先训练好的肺结节检测模型中,以得到肺结节检测结果。
应理解,肺结节检测模型的具体结构也可根据实际需求来进行设置,本申请实施例并不局限于此。
可选地,请参见图3,图3示出了本申请实施例提供的一种肺结节检测模型的结构示意图。如图3所示的肺结节检测模型包括:第一卷积层、第二卷积层、第一特征提取层、融合层和第二特征提取层。其中,第一卷积层的卷积步长为1,且第一卷积层的卷积核的大小为3×3×3,以及第一卷积层用于对三维分割图像进行卷积运算,以得到第一特征图;第二卷积层的卷积步长为1,且第二卷积层可以为残差单元(residual block),以及第二卷积层用于对第一特征图进行卷积运算,以获得第二特征图;第一特征提取层可以为第一个沙漏型的卷积神经网络模块,以及第一特征提取层用于对第二特征图进行特征提取,以获得第三特征图;融合层用于连接第一特征提取层和第二特征提取层;第二特征提取层可以为第二个沙漏型的卷积神经网络模块,以及第二特征提取层用于对第三特征图进行特征提取,以获得肺结节检测结果。
也就是说,本申请实施例将如图1所示的现有的检测模型中的用于处理二维数据的层结构(例如,图1所示的现有的检测模型中的第一卷积层等)修改成如图3所示的用于处理三维数据的层结构(例如,可将图1所示的现有的检测模型中的第一卷积层修改成能够处理三维分割图像的第一卷积层等),从而能够获得适用于三维数据的肺结节检测模型。
具体地,请参见图3,在三维分割图像经过第一卷积层之后,获得第一特征图,且第一特征图的尺寸和输入到肺结节检测模型中的三维分割图像的尺寸是一样的。随后,在第一特征图经过第二卷积层之后,获得第二特征图,且第二特征图的尺寸和第一特征图的尺寸是一样的。随后,在第二特征图经过第一特征提取层之后,获得第三特征图,且第三特征图的尺寸和第二特征图的尺寸是一样的。随后,在第三特征图经过融合层和第二特征提取层后,获得肺结节检测结果。其中,肺结节检测结果可以包括用于通过概率的大小来表示图上该点是否为所需要检测的目标点的中心的三维的热图Heatmap以及用于为预测的每个中心点所对应的检测物体的长和宽的三维的尺寸信息Height&Width。
这里需要说明的是,虽然步骤S220示出了肺结节检测模型的使用过程,但是本领域的技术人员应当理解,初始肺结节检测模型的训练过程是类似的,其不同的地方在于通过损失函数对初始肺结节检测模型进行训练。其中,损失函数是根据初始肺结节检测模型的输出结果和目标结果之间的差异确定的。
因此,针对现有的检测模型存在着无法实现肺结节检测的问题,本申请实施例对现有的检测模型进行了改进,从而可将现有的检测模型修改成本申请实施例的肺结节检测模型,即其输入的不再是平面图像,而是立体的三维分割图像。
也就是说,通过对现有的检测模型进行升维操作,让肺结节检测模型可以更好的提取肺部三维图像中的信息。
此外,针对现有技术中的4倍下采样让肺结节消失的问题,本申请实施例将第一卷积层的卷积步长修改成1,并将第一卷积层的卷积核修改成3×3×3,还将第二卷积层的卷积步长修改成1,从而通过这样的改进,一方面避免了小目标物体在下采样的过程中的消失,另一方面,也让最终的offset失去了原有的意义,所以在肺结节检测模型中删除了对offset的回归,从而在一定程度上降低了计算机的计算量,提高了模型的效率。
另外,针对于肺结节占肺部比例过小的问题,本申请实施例通过详细的观察影像科医生的肺结节标注过程,通过对于影像科医生的标注流程的学习,并且秉承着让深度学习模型在最大程度上模仿影像科医生的标注方法的理念上,形成了所特有的模型训练方式。
应理解,上述检测肺结节的方法仅是示例性的,本领域技术人员根据上述的方法可以进行各种变形,修改或变形之后的内容也在本申请保护范围内。
请参见图4,图4示出了本申请实施例提供的一种检测肺结节的装置400的结构框图,应理解,该装置400与上述方法实施例对应,能够执行上述方法实施例涉及的各个步骤,该装置400具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。该装置400包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置400的操作***(operating system,OS)中的软件功能模块。具体地,该装置400包括:
分割模块410,用于对肺部三维图像进行分割操作,以得到三维分割图像;输入模块420,用于将三维分割图像输入到预先训练好的肺结节检测模型中,以得到肺结节检测结果,其中,预先训练好的肺结节检测模型包括第一卷积层、第二卷积层、第一特征提取层和第二特征提取层,第一卷积层用于对三维分割图像进行卷积运算,以得到第一特征图,第二卷积层用于对第一特征图进行卷积运算,以获得第二特征图,第一特征提取层用于对第二特征图进行特征提取,以获得第三特征图,第二特征提取层用于对第三特征图进行特征提取,以获得肺结节检测结果。
在一个可能的实施例中,第一卷积层的卷积步长为1,且第一卷积层的卷积核的大小为3×3×3;第二特征提取层的卷积步长为1。
在一个可能的实施例中,肺部三维图像包括左肺三维图像和右肺三维图像;分割模块,具体用于:将肺部三维图像分割为左肺三维图像和右肺三维图像;沿着水平方向,将左肺三维图像和/或右肺三维图像分割为多个三维分割图像。
在一个可能的实施例中,多个三维分割图像中相邻的两个三维分割图像具有图像重叠区域。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
请参见图5,图5是本申请实施例提供的一种电子设备500的结构框图。电子设备500可以包括处理器510、通信接口520、存储器530和至少一个通信总线540。其中,通信总线540用于实现这些组件直接的连接通信。其中,本申请实施例中的通信接口520用于与其他设备进行信令或数据的通信。处理器510可以是一种集成电路芯片,具有信号的处理能力。上述的处理器510可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器510也可以是任何常规的处理器等。
存储器530可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。存储器530中存储有计算机可读取指令,当所述计算机可读取指令由所述处理器510执行时,电子设备500可以执行上述方法实施例中的各个步骤。
电子设备500还可以包括存储控制器、输入输出单元、音频单元、显示单元。
所述存储器530、存储控制器、处理器510、外设接口、输入输出单元、音频单元、显示单元各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通信总线540实现电性连接。所述处理器510用于执行存储器530中存储的可执行模块。并且,电子设备500用于执行下述方法:对肺部三维图像进行分割操作,以得到三维分割图像;将所述三维分割图像输入到预先训练好的肺结节检测模型中,以得到肺结节检测结果,其中,所述预先训练好的肺结节检测模型包括第一卷积层、第二卷积层、第一特征提取层和第二特征提取层,所述第一卷积层用于对所述三维分割图像进行卷积运算,以得到第一特征图,所述第二卷积层用于对所述第一特征图进行卷积运算,以获得第二特征图,所述第一特征提取层用于对所述第二特征图进行特征提取,以获得第三特征图,所述第二特征提取层用于对所述第三特征图进行特征提取,以获得所述肺结节检测结果。
音频单元向用户提供音频接口,其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示单元在所述电子设备与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,所述显示单元可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器进行计算和处理。
可以理解,图5所示的结构仅为示意,所述电子设备500还可包括比图5中所示更多或者更少的组件,或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。
本申请还提供一种存储介质,该存储介质上存储有计算机程序,该计算机程序被处理器运行时执行方法实施例所述的方法。
本申请还提供一种计算机程序产品,所述计算机程序产品在计算机上运行时,使得计算机执行方法实施例所述的方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种检测肺结节的方法,其特征在于,包括:
对肺部三维图像进行分割操作,以得到三维分割图像;
将所述三维分割图像输入到预先训练好的肺结节检测模型中,以得到肺结节检测结果,其中,所述预先训练好的肺结节检测模型包括第一卷积层、第二卷积层、第一特征提取层和第二特征提取层,所述第一卷积层用于对所述三维分割图像进行卷积运算,以得到第一特征图,所述第二卷积层用于对所述第一特征图进行卷积运算,以获得第二特征图,所述第一特征提取层用于对所述第二特征图进行特征提取,以获得第三特征图,所述第二特征提取层用于对所述第三特征图进行特征提取,以获得所述肺结节检测结果。
2.根据权利要求1所述的方法,其特征在于,所述第一卷积层的卷积步长为1,且所述第一卷积层的卷积核的大小为3×3×3;
所述第二特征提取层的卷积步长为1。
3.根据权利要求1所述的方法,其特征在于,所述肺部三维图像包括左肺三维图像和右肺三维图像;
其中,所述对肺部三维图像进行分割操作,以得到三维分割图像,包括:
将所述肺部三维图像分割为所述左肺三维图像和所述右肺三维图像;
沿着水平方向,将所述左肺三维图像和/或所述右肺三维图像分割为多个所述三维分割图像。
4.根据权利要求3所述的方法,其特征在于,所述多个所述三维分割图像中相邻的两个三维分割图像具有图像重叠区域。
5.一种检测肺结节的装置,其特征在于,包括:
分割模块,用于对肺部三维图像进行分割操作,以得到三维分割图像;
输入模块,用于将所述三维分割图像输入到预先训练好的肺结节检测模型中,以得到肺结节检测结果,其中,所述预先训练好的肺结节检测模型包括第一卷积层、第二卷积层、第一特征提取层和第二特征提取层,所述第一卷积层用于对所述三维分割图像进行卷积运算,以得到第一特征图,所述第二卷积层用于对所述第一特征图进行卷积运算,以获得第二特征图,所述第一特征提取层用于对所述第二特征图进行特征提取,以获得第三特征图,所述第二特征提取层用于对所述第三特征图进行特征提取,以获得所述肺结节检测结果。
6.根据权利要求5所述的装置,其特征在于,所述第一卷积层的卷积步长为1,且所述第一卷积层的卷积核的大小为3×3×3;
所述第二特征提取层的卷积步长为1。
7.根据权利要求5所述的装置,其特征在于,所述肺部三维图像包括左肺三维图像和右肺三维图像;
所述分割模块,具体用于:将所述肺部三维图像分割为所述左肺三维图像和所述右肺三维图像;沿着水平方向,将所述左肺三维图像和/或所述右肺三维图像分割为多个所述三维分割图像。
8.根据权利要求7所述的装置,其特征在于,所述多个所述三维分割图像中相邻的两个三维分割图像具有图像重叠区域。
9.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1-4任一所述的检测肺结节的方法。
10.一种电子设备,其特征在于,所述电子设备包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当所述电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1-4任一所述的检测肺结节的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110365356.5A CN112967279A (zh) | 2021-04-02 | 2021-04-02 | 一种检测肺结节的方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110365356.5A CN112967279A (zh) | 2021-04-02 | 2021-04-02 | 一种检测肺结节的方法、装置、存储介质和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112967279A true CN112967279A (zh) | 2021-06-15 |
Family
ID=76281138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110365356.5A Pending CN112967279A (zh) | 2021-04-02 | 2021-04-02 | 一种检测肺结节的方法、装置、存储介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112967279A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113643308A (zh) * | 2021-08-31 | 2021-11-12 | 平安医疗健康管理股份有限公司 | 肺部图像分割方法、装置、存储介质及计算机设备 |
CN114782366A (zh) * | 2022-04-22 | 2022-07-22 | 推想医疗科技股份有限公司 | 心脏支架检测方法和装置、存储介质和电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765369A (zh) * | 2018-04-20 | 2018-11-06 | 平安科技(深圳)有限公司 | 肺结节的检测方法、装置、计算机设备和存储介质 |
CN109003260A (zh) * | 2018-06-28 | 2018-12-14 | 深圳视见医疗科技有限公司 | Ct图像肺结节检测方法、装置、设备及可读存储介质 |
CN111062948A (zh) * | 2019-11-18 | 2020-04-24 | 北京航空航天大学合肥创新研究院 | 一种基于胎儿四腔心切面图像的多组织分割方法 |
CN112241694A (zh) * | 2020-09-25 | 2021-01-19 | 上海荷福人工智能科技(集团)有限公司 | 基于CenterNet实现的未佩戴安全带识别方法 |
CN112348769A (zh) * | 2020-08-20 | 2021-02-09 | 盐城工学院 | 基于U-Net深度网络模型的CT影像中肾肿瘤智能分割方法及装置 |
-
2021
- 2021-04-02 CN CN202110365356.5A patent/CN112967279A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765369A (zh) * | 2018-04-20 | 2018-11-06 | 平安科技(深圳)有限公司 | 肺结节的检测方法、装置、计算机设备和存储介质 |
CN109003260A (zh) * | 2018-06-28 | 2018-12-14 | 深圳视见医疗科技有限公司 | Ct图像肺结节检测方法、装置、设备及可读存储介质 |
CN111062948A (zh) * | 2019-11-18 | 2020-04-24 | 北京航空航天大学合肥创新研究院 | 一种基于胎儿四腔心切面图像的多组织分割方法 |
CN112348769A (zh) * | 2020-08-20 | 2021-02-09 | 盐城工学院 | 基于U-Net深度网络模型的CT影像中肾肿瘤智能分割方法及装置 |
CN112241694A (zh) * | 2020-09-25 | 2021-01-19 | 上海荷福人工智能科技(集团)有限公司 | 基于CenterNet实现的未佩戴安全带识别方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113643308A (zh) * | 2021-08-31 | 2021-11-12 | 平安医疗健康管理股份有限公司 | 肺部图像分割方法、装置、存储介质及计算机设备 |
CN114782366A (zh) * | 2022-04-22 | 2022-07-22 | 推想医疗科技股份有限公司 | 心脏支架检测方法和装置、存储介质和电子设备 |
CN114782366B (zh) * | 2022-04-22 | 2023-08-22 | 推想医疗科技股份有限公司 | 心脏支架检测方法和装置、存储介质和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10909682B2 (en) | Method and device for detecting pulmonary nodule in computed tomography image, and computer-readable storage medium | |
CN109754389B (zh) | 一种图像处理方法、装置及设备 | |
JP6955303B2 (ja) | 医用画像処理装置および方法並びにプログラム | |
CN108171712B (zh) | 确定图像相似度的方法和装置 | |
EP3552151A1 (en) | Learning annotation of objects in image | |
US10290101B1 (en) | Heat map based medical image diagnostic mechanism | |
CN110276408B (zh) | 3d图像的分类方法、装置、设备及存储介质 | |
CN112967279A (zh) | 一种检测肺结节的方法、装置、存储介质和电子设备 | |
JP6824845B2 (ja) | 画像処理システム、装置、方法およびプログラム | |
KR102049336B1 (ko) | 컴퓨터 보조 진단 장치 및 방법 | |
CN107742536B (zh) | 信息处理的方法及装置 | |
KR20210158682A (ko) | 병변 판독 결과 표시 방법 | |
Lyu et al. | The reta benchmark for retinal vascular tree analysis | |
JP2016154730A (ja) | 画像処理装置、方法、及びプログラム | |
CN112446911A (zh) | 中心线提取、界面交互与模型训练方法、***及设备 | |
CN114170440A (zh) | 图像特征点的确定方法、装置、计算机设备和存储介质 | |
CN109816721A (zh) | 图像定位方法、装置、设备及存储介质 | |
US11783481B2 (en) | Identifying vessel occlusions using spatial patterns | |
Hogeweg et al. | Foreign object detection and removal to improve automated analysis of chest radiographs | |
WO2019171398A1 (en) | A fundus image analysis system | |
Wang et al. | MSB-Net: Multi-scale boundary net for polyp segmentation | |
US20240055103A1 (en) | Labeling method and computing device therefor | |
Maduskar et al. | Cavity contour segmentation in chest radiographs using supervised learning and dynamic programming | |
Wang et al. | Predicting false negative errors in digital breast tomosynthesis among radiology trainees using a computer vision-based approach | |
Moutselos et al. | Superpixel-based classification of occlusal caries photography |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 100192 A206, 2 / F, building B-2, Dongsheng Science Park, Zhongguancun, 66 xixiaokou Road, Haidian District, Beijing Applicant after: Huiying medical technology (Beijing) Co.,Ltd. Address before: 100192 A206, 2 / F, building B-2, Dongsheng Science Park, Zhongguancun, 66 xixiaokou Road, Haidian District, Beijing Applicant before: HUIYING MEDICAL TECHNOLOGY (BEIJING) Co.,Ltd. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210615 |