CN109523525B - 图像融合的恶性肺结节识别方法、装置、设备及存储介质 - Google Patents
图像融合的恶性肺结节识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN109523525B CN109523525B CN201811323026.4A CN201811323026A CN109523525B CN 109523525 B CN109523525 B CN 109523525B CN 201811323026 A CN201811323026 A CN 201811323026A CN 109523525 B CN109523525 B CN 109523525B
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- lung
- convolution
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 67
- 206010056342 Pulmonary mass Diseases 0.000 title claims abstract description 59
- 230000003211 malignant effect Effects 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 30
- 210000004072 lung Anatomy 0.000 claims abstract description 101
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000002372 labelling Methods 0.000 claims abstract description 9
- 238000007499 fusion processing Methods 0.000 claims abstract description 8
- 238000011176 pooling Methods 0.000 claims description 45
- 238000004590 computer program Methods 0.000 claims description 22
- 230000005484 gravity Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 4
- 230000002685 pulmonary effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010035664 Pneumonia Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000032376 Lung infection Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 201000008827 tuberculosis Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种图像融合的恶性肺结节识别方法、装置、设备及存储介质，方法包括：对获取的至少一组肺部CT图像进行预处理；对预处理后的每组肺部CT图像进行融合处理，以获得融合图像；根据每组肺部CT图像的结节位置的标签，对所述融合图像中的结节部分进行标注；以及使用标注后的所述融合图像对构建的卷积神经网络进行训练，以使用训练完成的卷积神经网络识别CT图像中恶性肺结节的位置。使用本发明，能够自动准确的识别出肺部CT图像中的恶性肺结节，降低误诊的概率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像融合的恶性肺结节识别方法、装置、设备及存储介质。
背景技术
根据调查，恶性肺结节的出现大致有四种可能：第一，因为肺炎引发的肺结节，急性的肺炎难以愈合，会使得肺部出现一定的结节；第二，因为肺部感染所引发的肺结节，例如出现肺结核可能产生肺结节；第三，因为肺部出现严重外伤而引发的肺结节，例如肺部被戳破可引起肺结节；第四，因为长期吸烟，或者长期吸收被污染的空气而引起的肺结节。
肺结节具有很大可能恶化为肺癌，由于我国二三线城市医院设备匮乏，并且医生经验不足，而对于肺结节的判断也依赖于医生的专业水平，因此，这加大了对于肺结节误诊的可能性。因此，提高肺结节检测准确率，根据CT图像对结节检测的自动化设备辅助医生诊断显得十分重要。
发明内容
针对上述问题，本发明实施例的目的在于提供一种图像融合的恶性肺结节识别方法、装置、设备及存储介质，能够根据CT图像自动对肺结节进行准确检测，从而降低误诊的概率。
本发明实施例提供了一种图像融合的恶性肺结节识别方法，包括：
对获取的至少一组肺部CT图像进行预处理；
对预处理后的每组肺部CT图像进行融合处理，以获得融合图像；
根据每组肺部CT图像的结节位置的标签，对所述融合图像中的结节部分进行标注；以及
使用标注后的所述融合图像对构建的卷积神经网络进行训练，以使用训练完成的卷积神经网络识别CT图像中恶性肺结节的位置。
优选地，所述预处理包括采用高斯滤波使所述肺部CT图像整体线性平滑，提高对比度，从而能更加清晰显示肺结节特征。
优选地，所述对预处理后的每组肺部CT图像进行融合处理，以获得融合图像具体包括：
为所述一组肺部CT图像中的每张肺部CT图像赋予预设的比重；
根据每张肺部CT图像的比重，对一组肺部CT图像中的所有图像进行融合叠加，以生成融合图像。
优选地，每组肺部CT图像包括第一肺部CT图像、第二肺部CT图像以及第三肺部CT图像；其中，所述第一肺部CT图像与所述第三肺部CT图像为结节的边缘部分切片图像；所述第二肺部CT图像为结节中心切片图像；所述第一肺部CT图像与所述第三肺部CT图像的比重为0.25；所述第二肺部CT图像的比重分别为0.5。
优选地，所述卷积神经网络的具体结构为：
第一层，卷积层，卷积核大小为使用64个大小为3×3×3的卷积核，对输入的融合图像做步长为1的卷积；
第二层，卷积层，卷积核大小为使用64个大小为3×3×64的卷积核，对输入的数据做步长为1的卷积；
第三层，最大池化层，对第二层输入到第三层的数据做池化区间为2×2，步长为2的池化操作；
第四层，卷积层，卷积核大小为使用128个大小为3×3×64的卷积核，对输入的数据做步长为1的卷积；
第五层，卷积层，卷积核大小为使用128个大小为3×3×128的卷积核，对输入的数据做步长为1的卷积；
第六层，最大池化层，对第五层输入到第六层的数据做池化区间为2×2，步长为2的池化操作；
第七层，卷积层，卷积核大小为使用256个大小为3×3×128的卷积核，对输入的数据做步长为1的卷积；
第八层，卷积层，卷积核大小为使用256个大小为3×3×256的卷积核，对输入的数据做步长为1的卷积；
第九层，最大池化层，对第八层输入到第九层的数据做池化区间为2×2，步长为2的池化操作；
第十层，卷积层，卷积核大小为使用512个大小为3×3×256的卷积核，对输入的数据做步长为1的卷积；
第十一层，卷积层，卷积核大小为使用512个大小为3×3×512的卷积核，对输入的数据做步长为1的卷积；
第十二层，卷积层，卷积核大小为使用512个大小为3×3×512的卷积核，对输入的数据做步长为1的卷积；
第十三层，最大池化层，对第十二层输入到第十三层的数据做池化区间为2×2，步长为2的池化操作；
第十四层，卷积层，卷积核大小为使用512个大小为3×3×512的卷积核，对输入的数据做步长为1的卷积；
第十五层，卷积层，卷积核大小为使用512个大小为3×3×512的卷积核，对输入的数据做步长为1的卷积；
第十六层，卷积层，卷积核大小为使用512个大小为3×3×512的卷积核，对输入的数据做步长为1的卷积；
第十七层，最大池化层，对第十六层输入到第十七层的数据做池化区间为2×2，步长为2的池化操作；
第十八层，全连接层，卷积核大小为7×7×512×4096，步长为1；
第十九层，全连接层，卷积核大小为1×1×512×4096，步长为1。
优选地，所述卷积神经网络采用leaky ReLu作为激活函数，leaky ReLu将所有负值赋予一个非零斜率，数学表达式为：
ai是(1，+∞)区间内的固定参数。
优选地，所述卷积神经网络模型的训练集为天池医疗AI大赛中的天池数据集。
本发明实施例还提供了一种图像融合的恶性肺结节识别装置，包括：
预处理单元，用于对获取的至少一组肺部CT图像进行预处理；
融合单元，用于对预处理后的每组肺部CT图像进行融合处理，以获得融合图像；
标注单元，用于根据每组肺部CT图像的结节位置的标签，对所述融合图像中的结节部分进行标注；以及
训练单元，用于使用标注后的所述融合图像对构建的卷积神经网络进行训练，以使用训练完成的卷积神经网络识别CT图像中恶性肺结节的位置。
本发明实施例还提供了一种图像融合的恶性肺结节识别设备，包括：处理器、显示器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述的图像融合的恶性肺结节检测方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的图像融合的恶性肺结节识别方法。
上述一个实施例中，将一组肺部CT图像经过图像融合按比重处理生成一张二维的融合图像，将多张肺部CT图像中结节的特征结合到一张图像上，从而提升对于肺结节的检测效果；此外，结合卷积神经网络，大大提升对于肺结节检测的准确率，以提高医生对于肺结节检测判断的准确率，降低误诊的概率。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的图像融合的恶性肺结节识别方法的流程示意图；
图2是本发明第一实施例中将三张肺部CT图像进行图像融合的效果图；
图3是本发明第二实施例提供的图像融合的恶性肺结节检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明第一实施例提供了一种图像融合的恶性肺结节识别方法，其可由图像融合的恶性肺结节识别设备(以下简称识别设备)来执行，并至少包括如下步骤：
S101，对获取的至少一组肺部CT图像进行预处理。
在本实施例，所述识别设备可为计算机或其他具有计算处理能力的设备，本发明不做具体限定。
在本实施例中，对于肺部的结节特征，通常需要使用三张图像来描述，因此本实施例将三张肺部CT图像归为一组肺部CT图像。
在本实施例中，在获取到至少一组肺部CT图像后，需要对每组肺部CT图像中的每组图像进行预处理，以提高检测的准确度。其中，预处理的目的主要包括改善图像与增强图像特征，获得更具有对比度，能更加清晰显示肺结节特征的图像。例如，可以采用频率域法(如高斯滤波)使图像整体线性平滑，提高对比度。
当然需要说明的是，还可以采用其他频率域法，如巴特沃斯高通滤波器、高斯高通滤波器、指数滤波器等，本发明不做具体限定。
此外，也可以采用空间域法，如均值滤波、中值滤波、空域滤波、梯度算子法、二阶导数算子法、高通滤波、掩模匹配法等来进行预处理，具体可根据实际需要进行设置。
S102，对预处理后的每组肺部CT图像进行融合处理，以获得融合图像。
在本实施例中，在进行预处理后，可对每组肺部CT图像中的三张CT图像进行融合处理，从而将三张肺部CT图像中肺结节的细微特征融合在一张图像中，更有利于神经网络识别检测结节。
具体地，对于每组肺部CT图像均包括第一肺部CT图像、第二肺部CT图像以及第三肺部CT图像；其中，所述第一肺部CT图像与所述第三肺部CT图像为结节的边缘部分切片图像；所述第二肺部CT图像为结节中心切片图像。在融合时，会根据预先为每组肺部CT图像配置的权重进行融合，以获得融合图像。
需要说明的是，在一个优选实施例中，所述第二肺部CT图像为结节中心切片图像；所述第一肺部CT图像与所述第三肺部CT图像的比重为0.25；所述第二肺部CT图像的比重分别为0.5。
其中，考虑到所述第一肺部CT图像与所述第三肺部CT图像为结节的边缘部分切片图像；所述第二肺部CT图像为结节中心切片图像，因此为所述第二肺部CT图像设置一个比较大的权重有利于增强结节主要特征。
当然，应当理解的是，在本发明的其他实施例中，所述第二肺部CT图像的比重可以为其他数值，例如，可为0.6，0.7或其他数值，只需保证其在三者中占有较大的比重即可，本发明不做具体限定。
其中，如图2所示，可通过opencv实现三张肺部CT图像的融合，当然也可以采用其他的图像处理软件，本发明不做具体限定。
S103，根据每组肺部CT图像的结节位置的标签，对所述融合图像中的结节部分进行标注。
在本实施例中，每张肺部CT图像的结节位置均设置有标签，在融合后，需要根据肺部CT图像的结节位置的标签中结节坐标标注出具体的结节位置，以供后续进行训练。
S104，使用标注后的所述融合图像对构建的卷积神经网络进行训练，以使用训练完成的卷积神经网络识别CT图像中恶性肺结节的位置。
在本实施例中，所述卷积神经网络可为二维神经卷积网络，其具体包括十九层结构，依次为：
第一层，卷积层，卷积核大小为使用64个大小为3×3×3的卷积核，对输入的融合图像做步长为1的卷积；
第二层，卷积层，卷积核大小为使用64个大小为3×3×64的卷积核，对输入的数据做步长为1的卷积；
第三层，最大池化层，对第二层输入到第三层的数据做池化区间为2×2，步长为2的池化操作；
第四层，卷积层，卷积核大小为使用128个大小为3×3×64的卷积核，对输入的数据做步长为1的卷积；
第五层，卷积层，卷积核大小为使用128个大小为3×3×128的卷积核，对输入的数据做步长为1的卷积；
第六层，最大池化层，对第五层输入到第六层的数据做池化区间为2×2，步长为2的池化操作；
第七层，卷积层，卷积核大小为使用256个大小为3×3×128的卷积核，对输入的数据做步长为1的卷积；
第八层，卷积层，卷积核大小为使用256个大小为3×3×256的卷积核，对输入的数据做步长为1的卷积；
第九层，最大池化层，对第八层输入到第九层的数据做池化区间为2×2，步长为2的池化操作；
第十层，卷积层，卷积核大小为使用512个大小为3×3×256的卷积核，对输入的数据做步长为1的卷积；
第十一层，卷积层，卷积核大小为使用512个大小为3×3×512的卷积核，对输入的数据做步长为1的卷积；
第十二层，卷积层，卷积核大小为使用512个大小为3×3×512的卷积核，对输入的数据做步长为1的卷积；
第十三层，最大池化层，对第十二层输入到第十三层的数据做池化区间为2×2，步长为2的池化操作；
第十四层，卷积层，卷积核大小为使用512个大小为3×3×512的卷积核，对输入的数据做步长为1的卷积；
第十五层，卷积层，卷积核大小为使用512个大小为3×3×512的卷积核，对输入的数据做步长为1的卷积；
第十六层，卷积层，卷积核大小为使用512个大小为3×3×512的卷积核，对输入的数据做步长为1的卷积；
第十七层，最大池化层，对第十六层输入到第十七层的数据做池化区间为2×2，步长为2的池化操作；
第十八层，全连接层，卷积核大小为7×7×512×4096，步长为1；
第十九层，全连接层，卷积核大小为1×1×512×4096，步长为1。
其中，所述卷积神经网络采用leaky ReLu作为激活函数，leaky ReLu将所有负值赋予一个非零斜率，数学表达式为：
ai是(1，+∞)区间内的固定参数。
需要说明的是，在本实施例中，为了获得一个准确的卷积神经网络模型，需要有大量的训练数据，本实施例采用的是天池医疗AI大赛中的天池数据集，当然，也可以采用其他数据集作为训练集，本发明在此不做具体限定。
需要说明的是，在本发明的其他实施例中，也可以采用其他变形或者优化的卷积神经网络模型，这些方案以及变形均在本发明的保护范围之内。
在本实施例中，在训练获得所述卷积神经网络后，可将待识别的肺部CT图像输入到所述卷积神经网络中，所述卷积神经网络即可以识别出图像中的恶性肺结节的位置。
综上所述，本实施例中，将一组肺部CT图像经过图像融合按比重处理生成一张二维的融合图像，将多张肺部CT图像中结节的特征结合到一张图像上，从而提升对于肺结节的检测效果；此外，结合卷积神经网络，大大提升对于肺结节检测的准确率，以提高医生对于肺结节检测判断的准确率，降低误诊的概率。
请参阅图3，本发明第二实施例还提供了一种图像融合的恶性肺结节识别装置，包括：
预处理单元10，用于对获取的至少一组肺部CT图像进行预处理；
融合单元20，用于对预处理后的每组肺部CT图像进行融合处理，以获得融合图像；
标注单元30，用于根据每组肺部CT图像的结节位置的标签，对所述融合图像中的结节部分进行标注；以及
训练单元40，用于使用标注后的所述融合图像对构建的卷积神经网络进行训练，以使用训练完成的卷积神经网络识别CT图像中恶性肺结节的位置。
优选地，所述预处理包括采用高斯滤波使所述肺部CT图像整体线性平滑，提高对比度，从而能更加清晰显示肺结节特征。
优选地，所述融合单元20具体包括：
比重设置模块，用于为所述一组肺部CT图像中的每张肺部CT图像赋予预设的比重；
融合图像生成模块，用于根据每张肺部CT图像的比重，对一组肺部CT图像中的所有图像进行融合叠加，以生成融合图像。
优选地，每组肺部CT图像包括第一肺部CT图像、第二肺部CT图像以及第三肺部CT图像；其中，所述第一肺部CT图像与所述第三肺部CT图像为结节的边缘部分切片图像；所述第二肺部CT图像为结节中心切片图像；所述第一肺部CT图像与所述第三肺部CT图像的比重为0.25；所述第二肺部CT图像的比重分别为0.5。
优选地，所述卷积神经网络采用leaky ReLu作为激活函数，leaky ReLu将所有负值赋予一个非零斜率，数学表达式为：
ai是(1，+∞)区间内的固定参数。
优选地，肺结节训练集为天池医疗AI大赛中的天池数据集。
本发明第三实施例还提供了一种图像融合的恶性肺结节识别设备，包括：处理器、显示器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述的图像融合的恶性肺结节检测方法。
本发明第四实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的图像融合的恶性肺结节识别方法。
示例性的，所述计算机程序可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在图像融合的恶性肺结节识别设备中的执行过程。
所述图像融合的恶性肺结节识别设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器集群等计算设备。所述图像融合的恶性肺结节识别设备可包括但不仅限于处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是图像融合的恶性肺结节识别设备的示例，并不构成对图像融合的恶性肺结节识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述图像融合的恶性肺结节识别设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述图像融合的恶性肺结节识别设备的控制中心，利用各种接口和线路连接整个图像融合的恶性肺结节识别设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述图像融合的恶性肺结节识别设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述图像融合的恶性肺结节识别设备集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过执行计算机程序来控制相关的硬件完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (7)
1.一种图像融合的恶性肺结节识别方法，其特征在于，包括：
对获取的至少一组肺部CT图像进行预处理；其中，所述预处理包括采用高斯滤波使所述肺部CT图像整体线性平滑，提高对比度，从而能更加清晰显示肺结节特征；
对预处理后的每组肺部CT图像进行融合处理，以获得融合图像；其中，所述每组肺部CT图像均包括第一肺部CT图像、第二肺部CT图像以及第三肺部CT图像；其中，所述第一肺部CT图像与所述第三肺部CT图像为结节的边缘部分切片图像；所述第二肺部CT图像为结节中心切片图像；
所述对预处理后的每组肺部CT图像进行融合处理，以获得融合图像，包括：
为所述一组肺部CT图像中的每张肺部CT图像赋予预设的比重；
根据每张肺部CT图像的比重，对一组肺部CT图像中的所有图像进行融合叠加，以生成融合图像；
根据每组肺部CT图像的结节位置的标签，对所述融合图像中的结节部分进行标注；以及
使用标注后的所述融合图像对构建的卷积神经网络进行训练，以使用训练完成的卷积神经网络识别CT图像中恶性肺结节的位置；其中，所述卷积神经网络的具体结构为：
第一层，卷积层，卷积核大小为使用64个大小为3×3×3的卷积核，对输入的融合图像做步长为1的卷积；
第二层，卷积层，卷积核大小为使用64个大小为3×3×64的卷积核，对输入的数据做步长为1的卷积；
第三层，最大池化层，对第二层输入到第三层的数据做池化区间为2×2，步长为2的池化操作；
第四层，卷积层，卷积核大小为使用128个大小为3×3×64的卷积核，对输入的数据做步长为1的卷积；
第五层，卷积层，卷积核大小为使用128个大小为3×3×128的卷积核，对输入的数据做步长为1的卷积；
第六层，最大池化层，对第五层输入到第六层的数据做池化区间为2×2，步长为2的池化操作；
第七层，卷积层，卷积核大小为使用256个大小为3×3×128的卷积核，对输入的数据做步长为1的卷积；
第八层，卷积层，卷积核大小为使用256个大小为3×3×256的卷积核，对输入的数据做步长为1的卷积；
第九层，最大池化层，对第八层输入到第九层的数据做池化区间为2×2，步长为2的池化操作；
第十层，卷积层，卷积核大小为使用512个大小为3×3×256的卷积核，对输入的数据做步长为1的卷积；
第十一层，卷积层，卷积核大小为使用512个大小为3×3×512的卷积核，对输入的数据做步长为1的卷积；
第十二层，卷积层，卷积核大小为使用512个大小为3×3×512的卷积核，对输入的数据做步长为1的卷积；
第十三层，最大池化层，对第十二层输入到第十三层的数据做池化区间为2×2，步长为2的池化操作；
第十四层，卷积层，卷积核大小为使用512个大小为3×3×512的卷积核，对输入的数据做步长为1的卷积；
第十五层，卷积层，卷积核大小为使用512个大小为3×3×512的卷积核，对输入的数据做步长为1的卷积；
第十六层，卷积层，卷积核大小为使用512个大小为3×3×512的卷积核，对输入的数据做步长为1的卷积；
第十七层，最大池化层，对第十六层输入到第十七层的数据做池化区间为2×2，步长为2的池化操作；
第十八层，全连接层，卷积核大小为7×7×512×4096，步长为1；
第十九层，全连接层，卷积核大小为1×1×512×4096，步长为1。
2.如权利要求1所述的图像融合的恶性肺结节识别方法，其特征在于，所述第一肺部CT图像与所述第三肺部CT图像的比重为0.25；所述第二肺部CT图像的比重分别为0.5。
3.如权利要求1所述的图像融合的恶性肺结节识别方法，其特征在于，所述卷积神经网络采用leaky ReLu作为激活函数，leaky ReLu将所有负值赋予一个非零斜率，数学表达式为：
ai是(1，+∞)区间内的固定参数。
4.如权利要求1所述的图像融合的恶性肺结节识别方法，其特征在于，所述卷积神经网络模型的训练集为天池医疗AI大赛中的天池数据集。
5.一种图像融合的恶性肺结节识别装置，其特征在于，包括：
预处理单元，用于对获取的至少一组肺部CT图像进行预处理；
融合单元，用于对预处理后的每组肺部CT图像进行融合处理，以获得融合图像；
标注单元，用于根据每组肺部CT图像的结节位置的标签，对所述融合图像中的结节部分进行标注；以及
训练单元，用于使用标注后的所述融合图像对构建的卷积神经网络进行训练，以使用训练完成的卷积神经网络识别CT图像中恶性肺结节的位置。
6.一种图像融合的恶性肺结节识别设备，其特征在于，包括：处理器、显示器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的图像融合的恶性肺结节检测方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至4任一项所述的图像融合的恶性肺结节识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811323026.4A CN109523525B (zh) | 2018-11-07 | 2018-11-07 | 图像融合的恶性肺结节识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811323026.4A CN109523525B (zh) | 2018-11-07 | 2018-11-07 | 图像融合的恶性肺结节识别方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109523525A CN109523525A (zh) | 2019-03-26 |
| CN109523525B true CN109523525B (zh) | 2021-04-16 |
Family
ID=65776033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811323026.4A Active CN109523525B (zh) | 2018-11-07 | 2018-11-07 | 图像融合的恶性肺结节识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109523525B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309860B (zh) * | 2019-06-06 | 2022-11-08 | 昆明理工大学 | 基于卷积神经网络对肺结节的恶性程度进行分类的方法 |
| CN111583179B (zh) * | 2020-04-02 | 2022-09-16 | 天津大学 | 一种基于浮动切割的肺结节深度学习分类方法 |
| CN111739004B (zh) * | 2020-06-22 | 2024-01-23 | 联想(北京)有限公司 | 图像处理方法、设备及存储介质 |
| CN112668527B (zh) * | 2020-12-31 | 2023-04-25 | 华南理工大学 | 一种超声导波半监督成像检测方法 |
| CN113506289B (zh) * | 2021-07-28 | 2024-03-29 | 中山仰视科技有限公司 | 一种利用双流网络进行肺结节假阳性分类的方法 |
| CN113610739A (zh) * | 2021-08-10 | 2021-11-05 | 平安国际智慧城市科技股份有限公司 | 图像数据增强方法、装置、设备及存储介质 |
| CN113724177B (zh) * | 2021-09-07 | 2023-12-15 | 北京大学深圳医院 | 肺结节信息融合方法、装置、设备及其存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106097340A (zh) * | 2016-06-12 | 2016-11-09 | 山东大学 | 一种基于卷积分类器的自动检测并勾画肺结节所在位置的方法 |
| US20180033144A1 (en) * | 2016-09-21 | 2018-02-01 | Realize, Inc. | Anomaly detection in volumetric images |
| CN107945168A (zh) * | 2017-11-30 | 2018-04-20 | 上海联影医疗科技有限公司 | 一种医学图像的处理方法及医学图像处理*** |
| CN108197580A (zh) * | 2018-01-09 | 2018-06-22 | 吉林大学 | 一种基于3d卷积神经网络的手势识别方法 |
| CN108389190A (zh) * | 2018-02-08 | 2018-08-10 | 贵州联科卫信科技有限公司 | 一种基于深度学习方法的肺结节自动检测方法 |
-
2018
- 2018-11-07 CN CN201811323026.4A patent/CN109523525B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106097340A (zh) * | 2016-06-12 | 2016-11-09 | 山东大学 | 一种基于卷积分类器的自动检测并勾画肺结节所在位置的方法 |
| US20180033144A1 (en) * | 2016-09-21 | 2018-02-01 | Realize, Inc. | Anomaly detection in volumetric images |
| CN107945168A (zh) * | 2017-11-30 | 2018-04-20 | 上海联影医疗科技有限公司 | 一种医学图像的处理方法及医学图像处理*** |
| CN108197580A (zh) * | 2018-01-09 | 2018-06-22 | 吉林大学 | 一种基于3d卷积神经网络的手势识别方法 |
| CN108389190A (zh) * | 2018-02-08 | 2018-08-10 | 贵州联科卫信科技有限公司 | 一种基于深度学习方法的肺结节自动检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109523525A (zh) | 2019-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109523525B (zh) | 图像融合的恶性肺结节识别方法、装置、设备及存储介质 | |
| CN110874594B (zh) | 基于语义分割网络的人体外表损伤检测方法及相关设备 | |
| CN109214238B (zh) | 多目标跟踪方法、装置、设备及存储介质 | |
| WO2021088849A1 (zh) | 一种超声成像方法、装置、可读存储介质及终端设备 | |
| WO2019201204A1 (zh) | 一种影像结节检测的方法及装置 | |
| CN108537292A (zh) | 语义分割网络训练方法、图像语义分割方法及装置 | |
| WO2019223147A1 (zh) | 肝脏癌变定位方法、装置及存储介质 | |
| CN110381369A (zh) | 推荐信息植入位置的确定方法、装置、设备及存储介质 | |
| WO2021136368A1 (zh) | 钼靶图像中胸大肌区域自动检测方法及装置 | |
| CN111986194A (zh) | 医学标注图像检测方法、装置、电子设备及存储介质 | |
| CN110930414A (zh) | 医学影像的肺部区域阴影标记方法、装置、服务器及存储介质 | |
| CN111625668A (zh) | 对象检测和候选过滤*** | |
| CN111667474A (zh) | 骨折识别方法、装置、设备和计算机可读存储介质 | |
| CN109948666A (zh) | 图像相似性识别方法、装置、设备及存储介质 | |
| WO2022160202A1 (zh) | 佩戴口罩的检测方法、装置、终端设备及可读存储介质 | |
| CN113449538A (zh) | 视觉模型的训练方法、装置、设备及存储介质 | |
| CN109241930B (zh) | 用于处理眉部图像的方法和装置 | |
| CN112465050B (zh) | 一种图像模板选择方法、装置、设备及存储介质 | |
| Skirnevskiy et al. | Digital image processing using parallel computing based on CUDA technology | |
| US10169874B2 (en) | Surface-based object identification | |
| CN116227573B (zh) | 分割模型训练方法、图像分割方法、装置及相关介质 | |
| CN111281355B (zh) | 一种用于确定脉搏采集位置的方法与设备 | |
| WO2021120577A1 (zh) | 神经网络模型中的数据计算方法、图像处理方法及装置 | |
| CN108875899A (zh) | 用于神经网络的数据处理方法、装置和***及存储介质 | |
| CN115294426B (zh) | 介入医学设备的跟踪方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |