CN108090903A - 肺结节检测模型训练方法和装置、肺结节检测方法和装置 - Google Patents

肺结节检测模型训练方法和装置、肺结节检测方法和装置 Download PDF

Info

Publication number
CN108090903A
CN108090903A CN201711497927.0A CN201711497927A CN108090903A CN 108090903 A CN108090903 A CN 108090903A CN 201711497927 A CN201711497927 A CN 201711497927A CN 108090903 A CN108090903 A CN 108090903A
Authority
CN
China
Prior art keywords
candidate region
lung neoplasm
candidate
input
false positive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711497927.0A
Other languages
English (en)
Inventor
塔巴克希尼玛
申在律
杰雅色兰劳拉
严行健
梁建明
丁晓伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Voxel Mdt Infotech Ltd
Original Assignee
Suzhou Voxel Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Voxel Mdt Infotech Ltd filed Critical Suzhou Voxel Mdt Infotech Ltd
Priority to CN201711497927.0A priority Critical patent/CN108090903A/zh
Publication of CN108090903A publication Critical patent/CN108090903A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20088—Trinocular vision calculations; trifocal tensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请涉及一种肺结节检测模型训练方法和装置、肺结节检测方法和装置。该方案中，肺结节检测模型至少包括基于2D Faster R‑CNN网络的候选生成器和基于3D CNN网络的FPR模型，其中，利用候选生成器对由连续层面的CT灰度图像堆叠生成的紧凑图像进行背景、肺结节候选区域和假阳性候选区域三向分类，然后利用FPR模型对肺结节候选区域进行分类，得到肺结节和假阳性，由于候选生成器将假阳性单独分为一类，减少了假阳性的数量，从而提高了检测的灵敏度。又由于还通过FPR模型回归出平移矢量，据此，检测时可以将预测的肺结节的位置向实际肺结节的位置移动提高了检测灵敏度，进一步减少了假阳性的数量。

Description

肺结节检测模型训练方法和装置、肺结节检测方法和装置
技术领域
本申请涉及医学图像处理技术领域，尤其涉及一种肺结节检测模型训练方法和装置、肺结节检测方法和装置。
背景技术
肺癌是癌症死亡的主要原因，因此早期发现和治疗至关重要。判断肺部是否存在肺结节是判定癌症的一项有力指标。目前，可以借助胸部薄层(thin－section，CT)图像，判断是否存在肺结节，这大大增加了医生的工作量。为减轻医生的负担，实现对CT图像中肺结节的自动识别已成为非常关键的技术，目前的肺结节检测技术中，基于卷积神经网络(Convolutional Neural Network，CNN)识别CT图像中的肺结节，但是由于肺结节的变化多样，有各种大小，各种形状，并且CT图像中存在很多容易跟肺结节混淆的物体，导致检测灵敏度不高且检测的结果中的假阳性较高。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供一种肺结节检测模型训练方法和装置、肺结节检测方法和装置。
根据本申请实施例的第一方面，提供一种肺结节检测模型训练方法，所述肺结节检测模型至少包括基于2D Faster R-CNN网络的候选生成器和基于3D CNN网络的FPR模型；所述肺结节检测模型训练方法，包括：
对CT灰度图像进行堆叠，其中，将连续层叠的M层CT灰度图像按照预设策略堆叠生成一层紧凑图像；M的取值为正整数；
将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注，输入到所述候选生成器，进行收敛训练，输出候选区域与对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；其中，所述标注包括肺结节的位置和直径；
将所述候选生成器输出的肺结节候选区域与所述标注对比，分出肺结节候选区域与假阳性候选区域，输入所述FPR模型，进行收敛训练，分类输出肺结节和假阳性，以及根据分类输出的肺结节的位置中心向实际肺结节的位置中心移动的向量回归出平移矢量，以便检测时进行平移矢量的预测，根据预测的平移矢量，将预测的肺结节的位置中心向实际肺结节的位置中心移动。
较佳地，所述将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注，输入到所述候选生成器，进行收敛训练，输出候选区域与对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域，包括：
将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注，输入到所述候选生成器，进行第一阶段的收敛训练，分类输出背景区域和肺结节候选区域；
收集所述候选生成器进行第一阶段的收敛训练输出的肺结节候选区域中的假阳性候选区域，并获取假阳性候选区域的位置；
将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注、假阳性候选区域的位置，输入到所述候选生成器，进行第二阶段的收敛训练，输出背景区域、肺结节候选区域和假阳性候选区域。
较佳地，所述2D Faster R-CNN网络包括RPN子网络和2D Fast R-CNN子网络；
所述将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注，输入到所述候选生成器，进行收敛训练，包括：
将所述紧凑图像输入到所述RPN子网络，进行收敛训练，输出候选区域及候选区域包含肺结节的概率评分；
将概率评分大于预设概率评分阈值的候选区域，输入到所述2D Fast R-CNN子网络进行收敛训练。
较佳地，所述将连续层叠的M层CT灰度图像按照预设策略堆叠生成一层紧凑图像，包括：
计算连续层叠的M层CT灰度图像的对应像素点的灰度值的平均值，将对应像素点的灰度值的平均值，作为紧凑图像的对应像素点的灰度值。
较佳地，所述候选生成器具有R通道、G通道和B通道；
所述将所述紧凑图像，输入到所述候选生成器，包括：
将3层连续的所述紧凑图像，分别输入到所述候选生成器的R通道、G通道和B通道。
较佳地，所述将3层连续的所述紧凑图像，分别输入到所述候选生成器的R通道、G通道和B通道之前，该方法，还包括将所述紧凑图像放大预设倍数。
较佳地，所述将候选生成器输出的肺结节候选区域与所述标注对比，分出肺结节候选区域与假阳性候选区域，输入FPR模型，包括：
将候选生成器输出的肺结节候选区域与标注对比，分出肺结节候选区域与假阳性候选区域；
针对肺结节候选区域：将一个候选区域转换成一个3D立方体，输入到所述FPR模型；或者将连续分布且相邻之间的距离小于预设距离阈值的多个候选区域合并，得到一个合并的候选区域，输入到所述FPR模型；
针对假阳性候选区域：将一个候选区域转换成一个3D立方体，输入到所述FPR模型；或者将连续分布且相邻之间的距离小于预设距离阈值的多个候选区域合并，得到一个合并的候选区域，输入到所述FPR模型。
根据本申请实施例的第二方面，提供一种肺结节检测方法，包括：
获取连续层面的待检测的CT灰度图像；
将所述待检测的CT灰度图像输入到肺结节检测模型中；所述肺结节检测模型至少包括基于2D Faster R-CNN网络的候选生成器和基于3D CNN网络的FPR模型；所述肺结节检测模型是经过如以上任一项所述的训练方法训练得到的；
利用所述候选生成器对所述待检测的CT灰度图像进行检测，产生候选区域并得到对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；
利用所述FPR模型对所述肺结节候选区域进行筛选，筛选时，对每个候选区域进行如下迭代：
根据本候选区域的位置中心进行如下操作：根据本候选区域的位置，从待检测的CT灰度图像中获取一个立方体，输入到所述FPR模型，得到肺结节和假阳性以及预测的平移矢量；
根据预测的平移矢量，移动本候选区域的位置中心；根据本候选区域的新的位置中心，重复进行所述操作，直到预测的平移矢量的尺寸小于预设尺寸阈值或者进行所述操作的次数大于预设次数阈值。
根据本申请实施例的第三方面，提供一种肺结节检测模型训练装置，所述肺结节检测模型至少包括基于2D Faster R-CNN网络的候选生成器和基于3D CNN网络的FPR模型；所述训练装置，包括：
图像堆叠模块，用于对CT灰度图像进行堆叠，其中，将连续层叠的M层CT灰度图像按照预设策略堆叠生成一层紧凑图像；M的取值为正整数；
第一训练模块，用于将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注，输入到所述候选生成器，进行收敛训练，输出候选区域与对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；其中，所述标注包括肺结节的位置和直径；
第二训练模块，用于将所述候选生成器输出的肺结节候选区域与所述标注对比，分出肺结节候选区域与假阳性候选区域，输入所述FPR模型，进行收敛训练，分类输出肺结节和假阳性，以及根据分类输出的肺结节的位置中心向实际肺结节的位置中心移动的向量回归出平移矢量，以便检测时进行平移矢量的预测，根据预测的平移矢量，将预测的肺结节的位置中心向实际肺结节的位置中心移动。
较佳地，所述第一训练模块，具体用于：
将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注，输入到所述候选生成器，进行第一阶段的收敛训练，分类输出背景区域和肺结节候选区域；
收集所述候选生成器进行第一阶段的收敛训练输出的肺结节候选区域中的假阳性候选区域，并获取假阳性候选区域的位置；
将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注、假阳性候选区域的位置，输入到所述候选生成器，进行第二阶段的收敛训练，输出背景区域、肺结节候选区域和假阳性候选区域。
较佳地，所述2D Faster R-CNN网络包括RPN子网络和2D Fast R-CNN子网络；
所述将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注，输入到所述候选生成器，进行收敛训练，包括：
将所述紧凑图像输入到所述RPN子网络，进行收敛训练，输出候选区域及候选区域包含肺结节的概率评分；
将概率评分大于预设概率评分阈值的候选区域，输入到所述2D Fast R-CNN子网络进行收敛训练。
较佳地，所述图像堆叠模块，具体用于：
计算连续层叠的M层CT灰度图像的对应像素点的灰度值的平均值，将对应像素点的灰度值的平均值，作为紧凑图像的对应像素点的灰度值。
较佳地，所述候选生成器具有R通道、G通道和B通道；
所述将所述紧凑图像，输入到所述候选生成器时，所述第二训练模块，具体用于：
将3层连续的所述紧凑图像，分别输入到所述候选生成器的R通道、G通道和B通道。
较佳地，所述将3层连续的所述紧凑图像，分别输入到所述候选生成器的R通道、G通道和B通道之前，所述第二训练模块，还用于将所述紧凑图像放大预设倍数。
较佳地，所述将候选生成器输出的肺结节候选区域与所述标注对比，分出肺结节候选区域与假阳性候选区域，输入所述FPR模型时，所述第二训练模块，具体用于：
将候选生成器输出的肺结节候选区域与标注对比，分出肺结节候选区域与假阳性候选区域；
针对肺结节候选区域：将一个候选区域转换成一个3D立方体，输入到所述FPR模型；或者将连续分布且相邻之间的距离小于预设距离阈值的多个候选区域合并，得到一个合并的候选区域，输入到所述FPR模型；
针对假阳性候选区域：将一个候选区域转换成一个3D立方体，输入到所述FPR模型；或者将连续分布且相邻之间的距离小于预设距离阈值的多个候选区域合并，得到一个合并的候选区域，输入到所述FPR模型。
根据本申请实施例的第四方面，提供一种肺结节检测装置，包括：
图像获取模块，用于获取连续层面的待检测的CT灰度图像；
图像输入模块，用于将所述待检测的CT灰度图像输入到肺结节检测模型中；所述肺结节检测模型至少包括基于2D Faster R-CNN网络的候选生成器和基于3D CNN网络的FPR模型；所述肺结节检测模型是经过如以上任一项所述的训练方法训练得到的；
第一检测模块，用于利用所述候选生成器对所述待检测的CT灰度图像进行检测，产生候选区域并得到对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；
第二检测模块，用于利用所述FPR模型对所述肺结节候选区域进行筛选，筛选时，对每个候选区域进行如下迭代：
根据本候选区域的位置中心进行如下操作：根据本候选区域的位置，从待检测的CT灰度图像中获取一个立方体，输入到所述FPR模型，得到肺结节和假阳性以及预测的平移矢量；
根据预测的平移矢量，移动本候选区域的位置中心；根据本候选区域的新的位置中心，重复进行所述操作，直到预测的平移矢量的尺寸小于预设尺寸阈值或者进行所述操作的次数大于预设次数阈值。
根据本申请实施例的第五方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行一种肺结节检测模型训练方法，所述肺结节检测模型至少包括基于2D Faster R-CNN网络的候选生成器和基于3D CNN网络的FPR模型；所述方法包括：
对CT灰度图像进行堆叠，其中，将连续层叠的M层CT灰度图像按照预设策略堆叠生成一层紧凑图像；M的取值为正整数；
将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注，输入到所述候选生成器，进行收敛训练，输出候选区域与对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；其中，所述标注包括肺结节的位置和直径；
将所述候选生成器输出的肺结节候选区域与所述标注对比，分出肺结节候选区域与假阳性候选区域，输入所述FPR模型，进行收敛训练，分类输出肺结节和假阳性，以及根据分类输出的肺结节的位置中心向实际肺结节的位置中心移动的向量回归出平移矢量，以便检测时进行平移矢量的预测，根据预测的平移矢量，将预测的肺结节的位置中心向实际肺结节的位置中心移动。
根据本申请实施例的第六方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行一种肺结节检测方法，所述方法包括：
获取连续层面的待检测的CT灰度图像；
将所述待检测的CT灰度图像输入到肺结节检测模型中；所述肺结节检测模型至少包括基于2D Faster R-CNN网络的候选生成器和基于3D CNN网络的FPR模型；所述肺结节检测模型是经过如以上任一项所述的训练方法训练得到的；
利用所述候选生成器对所述待检测的CT灰度图像进行检测，产生候选区域并得到对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；
利用所述FPR模型对所述肺结节候选区域进行筛选，筛选时，对每个候选区域进行如下迭代：
根据本候选区域的位置中心进行如下操作：根据本候选区域的位置，从待检测的CT灰度图像中获取一个立方体，输入到所述FPR模型，得到肺结节和假阳性以及预测的平移矢量；
根据预测的平移矢量，移动本候选区域的位置中心；根据本候选区域的新的位置中心，重复进行所述操作，直到预测的平移矢量的尺寸小于预设尺寸阈值或者进行所述操作的次数大于预设次数阈值。
根据本申请实施例的第七方面，提供一种肺结节检测模型训练装置，所述肺结节检测模型至少包括基于2D Faster R-CNN网络的候选生成器和基于3D CNN网络的FPR模型；所述训练装置包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：
对CT灰度图像进行堆叠，其中，将连续层叠的M层CT灰度图像按照预设策略堆叠生成一层紧凑图像；M的取值为正整数；
将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注，输入到所述候选生成器，进行收敛训练，输出候选区域与对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；其中，所述标注包括肺结节的位置和直径；
将所述候选生成器输出的肺结节候选区域与所述标注对比，分出肺结节候选区域与假阳性候选区域，输入所述FPR模型，进行收敛训练，分类输出肺结节和假阳性，以及根据分类输出的肺结节的位置中心向实际肺结节的位置中心移动的向量回归出平移矢量，以便检测时进行平移矢量的预测，根据预测的平移矢量，将预测的肺结节的位置中心向实际肺结节的位置中心移动。
根据本申请实施例的第八方面，提供一种肺结节检测装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：
获取连续层面的待检测的CT灰度图像；
将所述待检测的CT灰度图像输入到肺结节检测模型中；所述肺结节检测模型至少包括基于2D Faster R-CNN网络的候选生成器和基于3D CNN网络的FPR模型；所述肺结节检测模型是经过如以上任一项所述的训练方法训练得到的；
利用所述候选生成器对所述待检测的CT灰度图像进行检测，产生候选区域并得到对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；
利用所述FPR模型对所述肺结节候选区域进行筛选，筛选时，对每个候选区域进行如下迭代：
根据本候选区域的位置中心进行如下操作：根据本候选区域的位置，从待检测的CT灰度图像中获取一个立方体，输入到所述FPR模型，得到肺结节和假阳性以及预测的平移矢量；
根据预测的平移矢量，移动本候选区域的位置中心；根据本候选区域的新的位置中心，重复进行所述操作，直到预测的平移矢量的尺寸小于预设尺寸阈值或者进行所述操作的次数大于预设次数阈值。
本申请的实施例提供的技术方案可以包括以下有益效果：肺结节检测模型至少包括基于2D Faster R－CNN网络的候选生成器和基于3D CNN网络的FPR模型，其中，利用候选生成器对由连续层面的CT灰度图像堆叠生成的紧凑图像进行背景、肺结节候选区域和假阳性候选区域三向分类，然后利用FPR模型对肺结节候选区域进行分类，得到肺结节和假阳性，由于候选生成器将假阳性单独分为一类，减少了输入到FPR模型中的假阳性的数量，从而减少了FPR模型得到的肺结节中的假阳性的数量，从而提高了检测的灵敏度。又由于还通过FPR模型回归出平移矢量，据此，检测时可以将预测的肺结节的位置向实际肺结节的位置移动，使得检测结果跟实际肺结节更加匹配，提高了检测灵敏度，进一步减少了假阳性的数量。另外，由于候选生成器是基于2D Faster R－CNN网络，且输入的是浓缩了多层CT灰度图像的信息的紧凑图像，不仅利于提高灵敏度，而且同时可以保证计算效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种肺结节模型的训练方法的流程图。
图2是根据一示例性实施例示出的一种肺结节检测方法的流程图。
图3是根据一示例性实施例示出的一种肺结节模型的训练装置的框图。
图4是根据一示例性实施例示出的一种肺结节检测装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
根据本申请实施例的第一方面，提供一种肺结节检测模型训练方法，肺结节检测模型至少包括基于2D Faster R－CNN网络的候选生成器和基于3D CNN网络的减少假阳性(False positive Reduction，FPR)模型；如图1所示，肺结节检测模型训练方法，至少包括如下步骤：
步骤110、对CT灰度图像进行堆叠，其中，将连续层叠的M层CT灰度图像按照预设策略堆叠生成一层紧凑图像；M的取值为正整数。
步骤120、将紧凑图像、紧凑图像中存在的实际肺结节的标注，输入到候选生成器，进行收敛训练，输出候选区域与对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；其中，上述标注包括肺结节的位置和直径。
一般，模型中提取的区域以矩形边框标识。其中，肺结节的位置可以通过标识肺结节所在区域的矩形边框的对角两个像素点的坐标表示。实施中，实际肺结节所在区域以正方形标识，每条边的长度相等，通常也称为直径。因此，实际肺结节的标注包括肺结节的位置和直径。
其中，背景区域、肺结节候选区域和假阳性候选区域是按照预测的肺结节候选区域的矩形，与标识实际肺结节的正方形的重合度来分类的。
步骤130、将候选生成器输出的肺结节候选区域与标注对比，分出肺结节候选区域与假阳性候选区域，输入FPR模型，进行收敛训练，分类输出肺结节和假阳性，以及根据分类输出的肺结节的位置中心向实际肺结节的位置中心移动的向量回归出平移矢量，以便检测时进行平移矢量的预测，根据预测的平移矢量，将预测的肺结节的位置中心向实际肺结节的位置中心移动。
其中，对比时，如果肺结候选区域的矩形与实际肺结节的正方形的重合度高于阈值，则将该候选区域分类为肺结节候选区域，低于阈值，则将该候选区域分类为假阳性候选区域。
其中，肺结节的位置中心可以是标识肺结节所在区域的矩形边框的中心。
其中，回归平移矢量是指找到模型的一套参数，使其能够准确预测出分类输出的肺结节的位置中心移动向实际肺结节的位置中心移动的向量。
由于假阳性的外观或多或少应该具有相似性，因此发明人考虑可以构建一个假阳性的类别，由肺结节检测模型自身去挑选，如此，在检测时，就无需医生再在大量的图像中搜索假阳性，而且也统一了对假阳性的判断标准。
又由于大多的候选生成器倾向于检测远离实际肺结节位置的几个像素，导致医生认为视觉上没有吸引人的发现，特别是当肺结节本身只有几个像素宽时，更不容易发现。为此，发明人考虑移动预测的肺结节的位置中心，向实际肺结节的位置中心移动。
基于此，本实施例中，肺结节检测模型至少包括基于2D Faster R－CNN网络的候选生成器和基于3D CNN网络的FPR模型，其中，利用候选生成器对由连续层面的CT灰度图像堆叠生成的紧凑图像进行背景、肺结节候选区域和假阳性候选区域三向分类，然后利用FPR模型对肺结节候选区域进行分类，得到肺结节和假阳性，由于候选生成器将假阳性单独分为一类，减少了输入到FPR模型中的假阳性的数量，从而减少了FPR模型得到的肺结节中的假阳性的数量，从而提高了检测的灵敏度。又由于还通过FPR模型回归出平移矢量，据此，检测时可以将预测的肺结节的位置向实际肺结节的位置移动，使得检测结果跟实际肺结节更加匹配，提高了检测灵敏度，进一步减少了假阳性的数量。另外，由于候选生成器是基于2DFaster R－CNN网络，且输入的是浓缩了多层CT灰度图像的信息的紧凑图像，不仅利于提高灵敏度，而且同时可以保证计算效率。
较佳地，上述步骤110中，将连续层叠的M层CT灰度图像按照预设策略堆叠生成一层紧凑图像，具体实现方式有多种。其中一种具体实现方式可以是：计算连续层叠的M层CT灰度图像的对应像素点的灰度值的平均值，将对应像素点的灰度值的平均值，作为紧凑图像的对应像素点的灰度值。如此，可以进一步提高检测的灵敏度。
胸部CT扫描通过堆叠轴线层面来提供胸部的3D视图。假设，CT灰度图像在x轴、y轴构成的平面，多层CT灰度图像沿z轴层叠。那么，a灰度图像中的(x0，y0)位置的像素点和b灰度图像中的(x0，y0)位置的像素点为对应像素点。
较佳地，候选生成器具有R通道、G通道和B通道；相应的，上述步骤120中，将紧凑图像，输入到候选生成器，包括具体实现方式可以是：
将3层连续的紧凑图像，分别输入到候选生成器的R通道、G通道和B通道。
假设，M的取值为3。那么，可以是，将沿z轴的z－4层、z－3层、z－2层的灰度图像堆叠得到一层紧凑图像，输入到候选生成器的R通道；将z－1层、z层、z+1层的灰度图像堆叠得到一层紧凑图像，输入到候选生成器的G通道；将z+2层、z+3层、z+4层的灰度图像堆叠得到一层紧凑图像，输入到候选生成器的B通道。
CT灰度图像中，大部分肺结节较小，如果通过跨步较大的候选生成网络，在最后提取的特征图中不可见，因此，未被检测，为了避免这一问题，较佳地，将3层连续的紧凑图像，分别输入到候选生成器的R通道、G通道和B通道之前，该方法，还包括可以将紧凑图像放大预设倍数。如此，可以保证肺结节被检测到，提高了检测灵敏度。
上述步骤120中，将紧凑图像、紧凑图像中存在的实际肺结节的标注，输入到候选生成器，进行收敛训练，输出候选区域与对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域，具体实现方式有多种。其中一种具体的实现方式可以是：将紧凑图像、紧凑图像中存在的实际肺结节的标注，输入到候选生成器，进行第一阶段的收敛训练，分类输出背景区域和肺结节候选区域；收集候选生成器进行第一阶段的收敛训练输出的肺结节候选区域中的假阳性候选区域，并获取假阳性候选区域的位置；将紧凑图像、紧凑图像中存在的实际肺结节的标注、假阳性候选区域的位置，输入到候选生成器，进行第二阶段的收敛训练，输出背景区域、肺结节候选区域和假阳性候选区域。如此，对候选生成器进行两个阶段的训练，第一个阶段的训练中，先进行背景区域和肺结节候选区域两向分类，然后收集第一个阶段的训练得到的肺结节候选区域中的假阳性，获取到这些假阳性的位置，作为第二个阶段的训练的输入，据此，再对候选生成器进行第二阶段的训练，分类输出的假阳性候选区域和肺结节候选区域更加准确，利于减少检测的假阳性的数量。
较佳地，2D Faster R－CNN网络包括RPN子网络和2D Fast R－CNN子网络；相应的，将紧凑图像、紧凑图像中存在的实际肺结节的标注，输入到候选生成器，进行收敛训练，具体实现方式可以是：将紧凑图像输入到RPN子网络，进行收敛训练，输出候选区域及候选区域包含肺结节的概率评分；将概率评分大于预设概率评分阈值的候选区域，输入到2DFast R－CNN子网络进行收敛训练。其中，2D Fast R－CNN子网络将候选区域判断为肺结节候选区域，背景区域，和假阳性区域，还进一步对肺结节候选区域作边界的回归，使其边界更精确。
候选生成器输出的候选区域为2D候选区域，FPR模型是基于3D CNN网络的，因此，在将候选生成器的候选区域输入到FPR模型时，需要进行3D转换，基于此，较佳地，将候选生成器输出的肺结节候选区域与标注对比，分出肺结节候选区域与和假阳性候选区域，输入FPR模型，具体实现方式可以是：将候选生成器输出的肺结节候选区域与标注对比，分出肺结节候选区域和假阳性候选区域；针对肺结节候选区域：将一个候选区域转换成一个3D立方体，输入到FPR模型；或者将连续分布且相邻之间的距离小于预设距离阈值的多个候选区域合并，得到一个合并的候选区域，输入到FPR模型；针对假阳性候选区域：将一个候选区域转换成一个3D立方体，输入到FPR模型；或者将连续分布且相邻之间的距离小于预设距离阈值的多个候选区域合并，得到一个合并的候选区域，输入到FPR模型。
其中，将一个候选区域转换成一个3D立方体可以是，将候选区域的边界沿z轴延伸方向延伸一定的量。沿z轴的延伸量可以设定为候选区域在x轴或者y轴的长度的较大的值。
本实施例中，考虑到候选生成器可能在一个小区域中生成多个候选区域，为提高处理效率，将多个邻近的候选区域合并成一个候选区域，然后输入到FPR模型中。
基于同样的发明构思，根据本申请实施例的第二方面，提供一种肺结节检测方法，如图2所示，至少包括如下步骤：
步骤210、获取连续层面的待检测的CT灰度图像；
步骤220、将待检测的CT灰度图像输入到肺结节检测模型中；肺结节检测模型至少包括基于2D Faster R－CNN网络的候选生成器和基于3D CNN网络的FPR模型；肺结节检测模型是经过如以上任意实施例所述的训练方法训练得到的；
步骤230、利用候选生成器对待检测的CT灰度图像进行检测，产生候选区域并得到对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；
步骤240、利用FPR模型对肺结节候选区域进行筛选，筛选时，对每个候选区域进行如下迭代：
根据本候选区域的位置中心进行如下操作：根据本候选区域的位置，从待检测的CT灰度图像中获取一个立方体，输入到FPR模型，得到肺结节和假阳性以及预测的平移矢量；
根据预测的平移矢量，移动本候选区域的位置中心；根据本候选区域的新的位置中心，重复进行操作，直到预测的平移矢量的尺寸小于预设尺寸阈值或者进行操作的次数大于预设次数阈值。
其中的立方体范指三维立体，可以是x、y、z轴的长度值相等的三维立体，也可以是x、y、z轴的长度值不完全相等的三维立体。
其中，根据本候选区域的位置，从待检测的CT灰度图像中获取一个立方体，可以是，直接取一个固定大小的立方体。
本实施例中，肺结节检测模型至少包括基于2D Faster R－CNN网络的候选生成器和基于3D CNN网络的FPR模型，其中，利用候选生成器对由连续层面的CT灰度图像堆叠生成的紧凑图像进行背景、肺结节候选区域和假阳性候选区域三向分类，然后利用FPR模型对肺结节候选区域和假阳性候选区域进行分类，得到肺结节和假阳性，由于候选生成器将假阳性单独分为一类，减少了输入到FPR模型中的假阳性的数量，从而减少了FPR模型得到的肺结节中的假阳性的数量，从而提高了检测的灵敏度。又由于还通过FPR模型回归出平移矢量，据此，检测时可以将预测的肺结节的位置向实际肺结节的位置移动，使得检测结果跟实际肺结节更加匹配，提高了检测灵敏度，进一步减少了假阳性的数量。另外，由于候选生成器是基于2D Faster R－CNN网络，且输入的是浓缩了多层CT灰度图像的信息的紧凑图像，不仅利于提高灵敏度，而且同时可以保证计算效率。
下面以具体的应用场景为例，对一些实施例提供的一种肺结节检测模型训练方法和肺结节检测方法进行更加详细地说明。
本实施例中，CT扫描仪扫描的连续层面之间的距离在1mm到5mm范围之间，在每个层面中，连续的x和y测量之间的采样距离为0.7mm。为了保证所有3D图像的一致性，需要重新进行采样，保证三个方向上的间距相同。例如，采样间距为均为1mm。
本实施例的肺结节检测模型包括基于2D Faster R－CNN网络的候选生成器和基于3D CNN网络的FPR模型。其中，2D Faster R－CNN网络包括RPN子网络和2D Fast R－CNN子网络。候选生成器具有R通道、G通道和B通道。
基于此，预训练过程如下：
步骤一、计算连续层叠的M层CT灰度图像的对应像素点的灰度值的平均值，将对应像素点的灰度值的平均值，作为紧凑图像的对应像素点的灰度值。
本实施例中，M的取值为3，所达到的效果最佳。
步骤二、对候选生成器进行第一阶段的训练：
将3层紧凑图像放大预设倍数输入到候选生成器的RPN子网络，以及将紧凑图像中存在的实际肺结节的标注输入到候选生成器的RPN子网络，进行收敛训练，输出候选区域及候选区域包含肺结节的概率评分。该步骤中，较佳地，预设倍数为5。
将概率评分大于预设概率评分阈值的候选区域，输入到2DFastR－CNN子网络进行收敛训练。该步骤中，2D Fast R－CNN子网络将候选区域判断为肺结节候选区域，背景区域，并精确肺结节候选区域的边界。
步骤三、收集对候选生成器进行第一阶段的训练时，肺结节候选区域中的假阳性，并获取假阳性候选区域的位置。
步骤四、对候选生成器进行第二阶段的训练：
将3层紧凑图像放大预设倍数输入到候选生成器的RPN子网络，以及将紧凑图像中存在的实际肺结节的标注、步骤三收集的假阳性候选区域的位置输入到候选生成器的RPN子网络，进行收敛训练，输出候选区域及候选区域包含肺结节的概率评分。较佳地，预设倍数为5。
将概率评分大于预设概率评分阈值的候选区域，输入到2D Fast R－CNN子网络进行收敛训练。该步骤中，2D Fast R－CNN子网络将候选区域判断为肺结节候选区域，背景区域和假阳性候选区域，并精确肺结节候选区域的边界。
步骤五、对FPR模型进行训练：
将步骤四中候选生成器输出的肺结节候选区域与标注对比，分出肺结节候选区域与假阳性候选区域；针对肺结节候选区域：将一个候选区域转换成一个3D立方体，输入到FPR模型；或者将连续分布且相邻之间的距离小于预设距离阈值的多个候选区域合并，得到一个合并的候选区域，输入到FPR模型；针对假阳性候选区域：将一个候选区域转换成一个3D立方体，输入到FPR模型；或者将连续分布且相邻之间的距离小于预设距离阈值的多个候选区域合并，得到一个合并的候选区域，输入到FPR模型。对FPR模型进行收敛训练，输出肺结节和假阳性，以及根据分类输出的肺结节的位置中心向实际肺结节的位置中回归平移矢量。
其中，FPR模型具有附加损耗层，用于尽量减少预测的平移矢量与将预测的肺结节候选区域的位置中心移动到实际肺结节的位置中心的真实平移矢量的差距。真实平移矢量可以在训练阶段，通过计算检测的肺结节的位置中心向实际肺结节的位置中心移动的向量得到。
其中，将一个候选区域转换成一个3D立方体可以是，将候选区域的边界沿z轴延伸方向延伸一定的量。沿z轴的延伸量可以设定为候选区域在x轴或者y轴的长度的较大的值。
基于以上训练过程对肺结节检测模型进行训练好之后，进行检测过程：
步骤一、获取连续层面的待检测的CT灰度图像。
步骤二、将待检测的CT灰度图像输入到训练好的肺结节检测模型中。
步骤三、利用候选生成器对待检测的CT灰度图像进行检测，产生候选区域并得到对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域。
步骤四、利用FPR模型对肺结节候选区域进行筛选，筛选时，对每个候选区域进行如下迭代：
根据本候选区域的位置中心进行如下操作：根据本候选区域的位置，从待检测的CT灰度图像中获取一个立方体，输入到FPR模型，得到肺结节和假阳性以及预测的平移矢量；
根据预测的平移矢量，移动本候选区域的位置中心；根据本候选区域的新的位置中心，重复进行操作，直到预测的平移矢量的尺寸小于预设尺寸阈值或者进行操作的次数大于预设次数阈值。
其中，预设尺寸阈值可以是1像素。预设次数阈值可以是5。
本实施例的检测更加灵敏，检测结果中肺结节的可靠性更高，假阳性的数量更少。
基于同样的构思，根据本申请实施例的第三方面，提供一种肺结节检测模型训练装置，肺结节检测模型至少包括基于2D Faster R－CNN网络的候选生成器和基于3D CNN网络的FPR模型；训练装置，如图3所示，包括：
图像堆叠模块301，用于对CT灰度图像进行堆叠，其中，将连续层叠的M层CT灰度图像按照预设策略堆叠生成一层紧凑图像；M的取值为正整数；
第一训练模块302，用于将紧凑图像、紧凑图像中存在的实际肺结节的标注，输入到候选生成器，进行收敛训练，输出候选区域与对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；其中，标注包括肺结节的位置和直径；
第二训练模块303，用于将候选生成器输出的肺结节候选区域与标注对比，分出肺结节候选区域与假阳性候选区域，输入FPR模型，进行收敛训练，分类输出肺结节和假阳性，以及根据分类输出的肺结节的位置中心向实际肺结节的位置中心移动的向量回归出平移矢量，以便检测时进行平移矢量的预测，根据预测的平移矢量，将预测的肺结节的位置中心向实际肺结节的位置中心移动。
较佳地，第一训练模块，具体用于：
将紧凑图像、紧凑图像中存在的实际肺结节的标注，输入到候选生成器，进行第一阶段的收敛训练，分类输出背景区域和肺结节候选区域；
收集候选生成器进行第一阶段的收敛训练输出的肺结节候选区域中的假阳性候选区域，并获取假阳性候选区域的位置；
将紧凑图像、紧凑图像中存在的实际肺结节的标注、假阳性候选区域的位置，输入到候选生成器，进行第二阶段的收敛训练，输出背景区域、肺结节候选区域和假阳性候选区域。
较佳地，2D Faster R-CNN网络包括RPN子网络和2D Fast R-CNN子网络；
将紧凑图像、紧凑图像中存在的实际肺结节的标注，输入到候选生成器，进行收敛训练，包括：
将紧凑图像输入到RPN子网络，进行收敛训练，输出候选区域及候选区域包含肺结节的概率评分；
将概率评分大于预设概率评分阈值的候选区域，输入到2D Fast R-CNN子网络进行收敛训练。
较佳地，图像堆叠模块，具体用于：
计算连续层叠的M层CT灰度图像的对应像素点的灰度值的平均值，将对应像素点的灰度值的平均值，作为紧凑图像的对应像素点的灰度值。
较佳地，候选生成器具有R通道、G通道和B通道；
将紧凑图像，输入到候选生成器时，第二训练模块，具体用于：
将3层连续的紧凑图像，分别输入到候选生成器的R通道、G通道和B通道。
较佳地，将3层连续的紧凑图像，分别输入到候选生成器的R通道、G通道和B通道之前，第二训练模块，还用于将紧凑图像放大预设倍数。
较佳地，将候选生成器输出的肺结节候选区域与标注对比，分出肺结节候选区域与假阳性候选区域，输入FPR模型时，第二训练模块，具体用于：
将候选生成器输出的肺结节候选区域与标注对比，分出肺结节候选区域与假阳性候选区域；
针对肺结节候选区域：将一个候选区域转换成一个3D立方体，输入到FPR模型；或者将连续分布且相邻之间的距离小于预设距离阈值的多个候选区域合并，得到一个合并的候选区域，输入到FPR模型；
针对假阳性候选区域：将一个候选区域转换成一个3D立方体，输入到FPR模型；或者将连续分布且相邻之间的距离小于预设距离阈值的多个候选区域合并，得到一个合并的候选区域，输入到FPR模型。
根据本申请实施例的第四方面，提供一种肺结节检测装置，如图4所示，包括：
图像获取模块401，用于获取连续层面的待检测的CT灰度图像；
图像输入模块402，用于将待检测的CT灰度图像输入到肺结节检测模型中；肺结节检测模型至少包括基于2D Faster R-CNN网络的候选生成器和基于3D CNN网络的FPR模型；肺结节检测模型是经过如以上任意实施例所述的训练方法训练得到的；
第一检测模块403，用于利用候选生成器对待检测的CT灰度图像进行检测，产生候选区域并得到对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；
第二检测模块404，用于利用FPR模型对肺结节候选区域进行筛选，筛选时，对每个候选区域进行如下迭代：
根据本候选区域的位置中心进行如下操作：根据本候选区域的位置，从待检测的CT灰度图像中获取一个立方体，输入到FPR模型，得到肺结节和假阳性以及预测的平移矢量；
根据预测的平移矢量，移动本候选区域的位置中心；根据本候选区域的新的位置中心，重复进行操作，直到预测的平移矢量的尺寸小于预设尺寸阈值或者进行操作的次数大于预设次数阈值。
根据本申请实施例的第五方面，提供一种非临时性计算机可读存储介质，当存储介质中的指令由终端的处理器执行时，使得终端能够执行一种肺结节检测模型训练方法，肺结节检测模型至少包括基于2D Faster R-CNN网络的候选生成器和基于3D CNN网络的FPR模型；方法包括：
对CT灰度图像进行堆叠，其中，将连续层叠的M层CT灰度图像按照预设策略堆叠生成一层紧凑图像；M的取值为正整数；
将紧凑图像、紧凑图像中存在的实际肺结节的标注，输入到候选生成器，进行收敛训练，输出候选区域与对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；其中，标注包括肺结节的位置和直径；
将候选生成器输出的肺结节候选区域与标注对比，分出肺结节候选区域与假阳性候选区域，输入FPR模型，进行收敛训练，分类输出肺结节和假阳性，以及根据分类输出的肺结节的位置中心向实际肺结节的位置中心移动的向量回归出平移矢量，以便检测时进行平移矢量的预测，根据预测的平移矢量，将预测的肺结节的位置中心向实际肺结节的位置中心移动。
根据本申请实施例的第六方面，提供一种非临时性计算机可读存储介质，当存储介质中的指令由终端的处理器执行时，使得终端能够执行一种肺结节检测方法，方法包括：
获取连续层面的待检测的CT灰度图像；
将待检测的CT灰度图像输入到肺结节检测模型中；肺结节检测模型至少包括基于2D Faster R-CNN网络的候选生成器和基于3D CNN网络的FPR模型；肺结节检测模型是经过如以上任意实施例所述的训练方法训练得到的；
利用候选生成器对待检测的CT灰度图像进行检测，产生候选区域并得到对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；
利用FPR模型对肺结节候选区域进行筛选，筛选时，对每个候选区域进行如下迭代：
根据本候选区域的位置中心进行如下操作：根据本候选区域的位置，从待检测的CT灰度图像中获取一个立方体，输入到FPR模型，得到肺结节和假阳性以及预测的平移矢量；
根据预测的平移矢量，移动本候选区域的位置中心；根据本候选区域的新的位置中心，重复进行操作，直到预测的平移矢量的尺寸小于预设尺寸阈值或者进行操作的次数大于预设次数阈值。
根据本申请实施例的第七方面，提供一种肺结节检测模型训练装置，肺结节检测模型至少包括基于2D Faster R-CNN网络的候选生成器和基于3D CNN网络的FPR模型；训练装置包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为：
对CT灰度图像进行堆叠，其中，将连续层叠的M层CT灰度图像按照预设策略堆叠生成一层紧凑图像；M的取值为正整数；
将紧凑图像、紧凑图像中存在的实际肺结节的标注，输入到候选生成器，进行收敛训练，输出候选区域与对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；其中，标注包括肺结节的位置和直径；
将候选生成器输出的肺结节候选区域与标注对比，分出肺结节候选区域与假阳性候选区域，输入FPR模型，进行收敛训练，分类输出肺结节和假阳性，以及根据分类输出的肺结节的位置中心向实际肺结节的位置中心移动的向量回归出平移矢量，以便检测时进行平移矢量的预测，根据预测的平移矢量，将预测的肺结节的位置中心向实际肺结节的位置中心移动。
根据本申请实施例的第八方面，提供一种肺结节检测装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为：
获取连续层面的待检测的CT灰度图像；
将待检测的CT灰度图像输入到肺结节检测模型中；肺结节检测模型至少包括基于2D Faster R-CNN网络的候选生成器和基于3D CNN网络的FPR模型；肺结节检测模型是经过如以上任意实施例的训练方法训练得到的；
利用候选生成器对待检测的CT灰度图像进行检测，产生候选区域并得到对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；
利用FPR模型对肺结节候选区域进行筛选，筛选时，对每个候选区域进行如下迭代：
根据本候选区域的位置中心进行如下操作：根据本候选区域的位置，从待检测的CT灰度图像中获取一个立方体，输入到FPR模型，得到肺结节和假阳性以及预测的平移矢量；
根据预测的平移矢量，移动本候选区域的位置中心；根据本候选区域的新的位置中心，重复进行操作，直到预测的平移矢量的尺寸小于预设尺寸阈值或者进行操作的次数大于预设次数阈值。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种肺结节检测模型训练方法，其特征在于，所述肺结节检测模型至少包括基于2DFaster R-CNN网络的候选生成器和基于3D CNN网络的FPR模型；所述肺结节检测模型训练方法，包括：
对CT灰度图像进行堆叠，其中，将连续层叠的M层CT灰度图像按照预设策略堆叠生成一层紧凑图像；M的取值为正整数；
将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注，输入到所述候选生成器，进行收敛训练，输出候选区域与对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；其中，所述标注包括肺结节的位置和直径；
将所述候选生成器输出的肺结节候选区域与所述标注对比，分出肺结节候选区域与假阳性候选区域，输入所述FPR模型，进行收敛训练，分类输出肺结节和假阳性，以及根据分类输出的肺结节的位置中心向实际肺结节的位置中心移动的向量回归出平移矢量，以便检测时进行平移矢量的预测，根据预测的平移矢量，将预测的肺结节的位置中心向实际肺结节的位置中心移动。
2.根据权利要求1所述的方法，其特征在于，所述将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注，输入到所述候选生成器，进行收敛训练，输出候选区域与对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域，包括：
将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注，输入到所述候选生成器，进行第一阶段的收敛训练，分类输出背景区域和肺结节候选区域；
收集所述候选生成器进行第一阶段的收敛训练输出的肺结节候选区域中的假阳性候选区域，并获取假阳性候选区域的位置；
将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注、假阳性候选区域的位置，输入到所述候选生成器，进行第二阶段的收敛训练，输出背景区域、肺结节候选区域和假阳性候选区域。
3.根据权利要求1所述的方法，其特征在于，所述2D Faster R-CNN网络包括RPN子网络和2D Fast R-CNN子网络；
所述将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注，输入到所述候选生成器，进行收敛训练，包括：
将所述紧凑图像输入到所述RPN子网络，进行收敛训练，输出候选区域及候选区域包含肺结节的概率评分；
将概率评分大于预设概率评分阈值的候选区域，输入到所述2D Fast R-CNN子网络进行收敛训练。
4.根据权利要求1所述的方法，其特征在于，所述将连续层叠的M层CT灰度图像按照预设策略堆叠生成一层紧凑图像，包括：
计算连续层叠的M层CT灰度图像的对应像素点的灰度值的平均值，将对应像素点的灰度值的平均值，作为紧凑图像的对应像素点的灰度值。
5.根据权利要求4所述的方法，其特征在于，所述候选生成器具有R通道、G通道和B通道；
所述将所述紧凑图像，输入到所述候选生成器，包括：
将3层连续的所述紧凑图像，分别输入到所述候选生成器的R通道、G通道和B通道。
6.根据权利要求5所述的方法，其特征在于，所述将3层连续的所述紧凑图像，分别输入到所述候选生成器的R通道、G通道和B通道之前，该方法，还包括将所述紧凑图像放大预设倍数。
7.根据权利要求1所述的方法，其特征在于，所述将候选生成器输出的肺结节候选区域与所述标注对比，分出肺结节候选区域与假阳性候选区域，输入FPR模型，包括：
将候选生成器输出的肺结节候选区域与标注对比，分出肺结节候选区域与假阳性候选区域；
针对肺结节候选区域：将一个候选区域转换成一个3D立方体，输入到所述FPR模型；或者将连续分布且相邻之间的距离小于预设距离阈值的多个候选区域合并，得到一个合并的候选区域，输入到所述FPR模型；
针对假阳性候选区域：将一个候选区域转换成一个3D立方体，输入到所述FPR模型；或者将连续分布且相邻之间的距离小于预设距离阈值的多个候选区域合并，得到一个合并的候选区域，输入到所述FPR模型。
8.一种肺结节检测方法，其特征在于，包括：
获取连续层面的待检测的CT灰度图像；
将所述待检测的CT灰度图像输入到肺结节检测模型中；所述肺结节检测模型至少包括基于2D Faster R-CNN网络的候选生成器和基于3D CNN网络的FPR模型；所述肺结节检测模型是经过如权利要求1～7任一项所述的训练方法训练得到的；
利用所述候选生成器对所述待检测的CT灰度图像进行检测，产生候选区域并得到对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；
利用所述FPR模型对所述肺结节候选区域进行筛选，筛选时，对每个候选区域进行如下迭代：
根据本候选区域的位置中心进行如下操作：根据本候选区域的位置，从待检测的CT灰度图像中获取一个立方体，输入到所述FPR模型，得到肺结节和假阳性以及预测的平移矢量；
根据预测的平移矢量，移动本候选区域的位置中心；根据本候选区域的新的位置中心，重复进行所述操作，直到预测的平移矢量的尺寸小于预设尺寸阈值或者进行所述操作的次数大于预设次数阈值。
9.一种肺结节检测模型训练装置，其特征在于，所述肺结节检测模型至少包括基于2DFaster R-CNN网络的候选生成器和基于3D CNN网络的FPR模型；所述训练装置，包括：
图像堆叠模块，用于对CT灰度图像进行堆叠，其中，将连续层叠的M层CT灰度图像按照预设策略堆叠生成一层紧凑图像；M的取值为正整数；
第一训练模块，用于将所述紧凑图像、所述紧凑图像中存在的实际肺结节的标注，输入到所述候选生成器，进行收敛训练，输出候选区域与对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；其中，所述标注包括肺结节的位置和直径；
第二训练模块，用于将所述候选生成器输出的肺结节候选区域与所述标注对比，分出肺结节候选区域与假阳性候选区域，输入所述FPR模型，进行收敛训练，分类输出肺结节和假阳性，以及根据分类输出的肺结节的位置中心向实际肺结节的位置中心移动的向量回归出平移矢量，以便检测时进行平移矢量的预测，根据预测的平移矢量，将预测的肺结节的位置中心向实际肺结节的位置中心移动。
10.一种肺结节检测装置，其特征在于，包括：
图像获取模块，用于获取连续层面的待检测的CT灰度图像；
图像输入模块，用于将所述待检测的CT灰度图像输入到肺结节检测模型中；所述肺结节检测模型至少包括基于2D Faster R-CNN网络的候选生成器和基于3D CNN网络的FPR模型；所述肺结节检测模型是经过如权利要求1～7任一项所述的训练方法训练得到的；
第一检测模块，用于利用所述候选生成器对所述待检测的CT灰度图像进行检测，产生候选区域并得到对候选区域的判断，分别为背景区域、肺结节候选区域和假阳性候选区域；
第二检测模块，用于利用所述FPR模型对所述肺结节候选区域进行筛选，筛选时，对每个候选区域进行如下迭代：
根据本候选区域的位置中心进行如下操作：根据本候选区域的位置，从待检测的CT灰度图像中获取一个立方体，输入到所述FPR模型，得到肺结节和假阳性以及预测的平移矢量；
根据预测的平移矢量，移动本候选区域的位置中心；根据本候选区域的新的位置中心，重复进行所述操作，直到预测的平移矢量的尺寸小于预设尺寸阈值或者进行所述操作的次数大于预设次数阈值。
CN201711497927.0A 2017-12-29 2017-12-29 肺结节检测模型训练方法和装置、肺结节检测方法和装置 Pending CN108090903A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711497927.0A CN108090903A (zh) 2017-12-29 2017-12-29 肺结节检测模型训练方法和装置、肺结节检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711497927.0A CN108090903A (zh) 2017-12-29 2017-12-29 肺结节检测模型训练方法和装置、肺结节检测方法和装置

Publications (1)

Publication Number Publication Date
CN108090903A true CN108090903A (zh) 2018-05-29

Family

ID=62180338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711497927.0A Pending CN108090903A (zh) 2017-12-29 2017-12-29 肺结节检测模型训练方法和装置、肺结节检测方法和装置

Country Status (1)

Country Link
CN (1) CN108090903A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765409A (zh) * 2018-06-01 2018-11-06 电子科技大学 一种基于ct图像的候选结节的筛选方法
CN109447960A (zh) * 2018-10-18 2019-03-08 神州数码医疗科技股份有限公司 一种对象识别方法和装置
CN110570417A (zh) * 2019-09-12 2019-12-13 慧影医疗科技（北京）有限公司 肺结节分类方法、装置及图像处理设备
CN110969623A (zh) * 2020-02-28 2020-04-07 北京深睿博联科技有限责任公司 一种肺部ct多征象自动检测方法、***、终端及存储介质
CN113139928A (zh) * 2020-01-16 2021-07-20 中移(上海)信息通信科技有限公司 肺结节检测模型的训练方法和肺结节检测方法
CN113506288A (zh) * 2021-07-28 2021-10-15 中山仰视科技有限公司 基于transform注意力机制的肺结节检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测***
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测***
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测***
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIA DING 等: "Accurate Pulmonary Nodule Detection in Computed Tomography Images Using Deep Convolutional Neural Networks", 《MEDICAL IMAGE COMPUTING AND COMPUTER ASSISTED INTERVENTION − MICCAI 2017》 *
靳雅鑫: "基于轮廓与HOG特征的色情图像人体区域检测研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765409A (zh) * 2018-06-01 2018-11-06 电子科技大学 一种基于ct图像的候选结节的筛选方法
CN109447960A (zh) * 2018-10-18 2019-03-08 神州数码医疗科技股份有限公司 一种对象识别方法和装置
CN110570417A (zh) * 2019-09-12 2019-12-13 慧影医疗科技（北京）有限公司 肺结节分类方法、装置及图像处理设备
CN113139928A (zh) * 2020-01-16 2021-07-20 中移(上海)信息通信科技有限公司 肺结节检测模型的训练方法和肺结节检测方法
CN113139928B (zh) * 2020-01-16 2024-02-23 中移(上海)信息通信科技有限公司 肺结节检测模型的训练方法和肺结节检测方法
CN110969623A (zh) * 2020-02-28 2020-04-07 北京深睿博联科技有限责任公司 一种肺部ct多征象自动检测方法、***、终端及存储介质
CN113506288A (zh) * 2021-07-28 2021-10-15 中山仰视科技有限公司 基于transform注意力机制的肺结节检测方法及装置

Similar Documents

Publication Publication Date Title
CN108090903A (zh) 肺结节检测模型训练方法和装置、肺结节检测方法和装置
Xu et al. Gland instance segmentation using deep multichannel neural networks
CN108664971B (zh) 基于2d卷积神经网络的肺结节检测方法
CN107016665B (zh) 一种基于深度卷积神经网络的ct肺结节检测方法
CN106897661B (zh) 一种食材图像的智能化识别方法、***和家用电器
CN112541483B (zh) Yolo和分块-融合策略结合的稠密人脸检测方法
CN111161311A (zh) 一种基于深度学习的视觉多目标跟踪方法及装置
CN109697434A (zh) 一种行为识别方法、装置和存储介质
JP2020501238A (ja) 顔検出トレーニング方法、装置及び電子機器
CN109978918A (zh) 一种轨迹追踪方法、装置和存储介质
CN112258461B (zh) 一种基于卷积神经网络的肺结节检测方法
Ji et al. Graph model-based salient object detection using objectness and multiple saliency cues
JP6095817B1 (ja) 物体検出装置
CN111950488A (zh) 一种改进的Faster-RCNN遥感图像目标检测方法
CN109671055B (zh) 肺结节检测方法及装置
WO2019173117A1 (en) 4d tracking
Weber et al. Single-shot panoptic segmentation
CN112419306B (zh) 一种基于nas-fpn的肺结节检测方法
WO2019176989A1 (ja) 検査システム、識別システム、及び学習データ生成装置
US20210272295A1 (en) Analysing Objects in a Set of Frames
Cheng et al. Modified U-Net block network for lung nodule detection
CN110008899A (zh) 一种可见光遥感图像候选目标提取与分类方法
US20240232627A1 (en) Systems and Methods to Train A Cell Object Detector
Vaidya et al. Leveraging YOLOv7 for plant disease detection
CN108389178A (zh) 基于卷积神经网络的肺部ct预处理方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180529

RJ01 Rejection of invention patent application after publication