CN109447960A - 一种对象识别方法和装置 - Google Patents
一种对象识别方法和装置 Download PDFInfo
- Publication number
- CN109447960A CN109447960A CN201811214344.7A CN201811214344A CN109447960A CN 109447960 A CN109447960 A CN 109447960A CN 201811214344 A CN201811214344 A CN 201811214344A CN 109447960 A CN109447960 A CN 109447960A
- Authority
- CN
- China
- Prior art keywords
- target object
- image
- model
- history image
- history
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种对象识别方法和装置,该方法包括:将待识别图像输入到预设的第一对象识别模型,得到疑似目标对象图像切块;将所述疑似目标对象图像切块输入到预设的第二对象识别模型,得到目标对象在所述待识别图像中的预测位置信息。用于解决现有技术中对象识别准确度低的问题。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种对象识别方法和装置。
背景技术
肺癌作为全世界发病率和死亡率最高的恶性肿瘤,严重威胁人类的健康。在肺癌的治疗过程中,病人的生存率与病人确诊时的癌症阶段密切相关,因此,早期检测和诊断在这个过程中至关重要。另外,当前大数据与人工智能等前沿技术在医疗领域应用已经成为一种趋势,将大数据驱动的人工智能应用于肺癌早期诊断中,不仅可以挽救无数患者的生命,而且对于缓解医疗压力也有重大意义。传统肺结节检测方法主要包括:图像预处理算法提取肺部轮廓,手动提取特征值,将特征值衰弱到决策树(DT)模型、随机森林(RF)模型等识别肺结节。由于现有技术通过手动提取特征,因此,提取的特征的准确度比较低,进而,导致最终识别的肺结节的准确比较低。
发明内容
有鉴于此,本申请的目的在于提供一种对象识别方法和装置,用于解决现有技术中图像中目标对象识别准确度低的问题。
第一方面,本申请实施例提供了一种对象识别方法,该方法包括:
将待识别图像输入到预设的第一对象识别模型,得到疑似目标对象图像切块;
将所述疑似目标对象图像切块输入到预设的第二对象识别模型,得到目标对象在所述待识别图像中的预测位置信息。
可选地,构建所述第一对象识别模型包括:
根据所述目标对象的历史数据,提取所述目标对象的属性特征和识别特征;
将所述属性特征作为自变量,将所述识别特征作为因变量,构建第一预设模型;
基于所述目标对象在第一历史图像中的历史标注数据,对所述第一历史图像进行处理,得到包含目标对象的确定位置信息的第二历史图像;
根据所述目标对象的第一历史图像,确定所述属性特征的特征值;
根据所述目标对象的第二历史图像,确定所述识别特征的特征值;
将所述属性特征的特征值作为自变量的值,将所述识别特征的特征值作为因变量的值,对所述第一预设模型进行训练,得到所述第一对象识别模型。
可选地,构建所述第二对象识别模型包括:
将所述第一对象识别模型的识别结果作为自变量,将所述识别特征作为因变量,构建第二预设模型;
将所述目标对象的历史图像输入到所述第一对象识别模型,得到所述历史图像对应的识别结果;
将得到的识别结果作为自变量的值,将所述识别特征的特征值作为因变量的值,对所述第二预设模型进行训练,得到所述第二对象识别模型。
可选地,所述基于所述目标对象在第一历史图像中的历史标注数据,对所述第一历史图像进行处理,得到包含目标对象的确定位置信息的第二历史图像,包括:
采用预设图像处理算法对所述第一历史图像进行处理,得到仅包含目标图像的第一历史图像;
基于所述历史标注数据,在所述仅包含目标图像的第一历史图像中标注目标对象的位置,得到包含目标对象的确定位置信息的第二历史图像。
可选地,所述第一预设模型为三维神经网络模型、深度残差网络模型中的任意一个。
第二方面,本申请实施例提供了一种对象识别装置,该装置包括:
第一处理模块,用于将待识别图像输入到预设的第一对象识别模型,得到疑似目标对象图像切块;
第二处理模块,用于将所述疑似目标对象图像切块输入到预设的第二对象识别模型,得到目标对象在所述待识别图像中的预测位置信息。
可选地,还包括:构建模块,所述构建模块用于:
根据所述目标对象的历史数据,提取所述目标对象的属性特征和识别特征;
将所述属性特征作为自变量,将所述识别特征作为因变量,构建第一预设模型;
基于所述目标对象在第一历史图像中的历史标注数据,对所述第一历史图像进行处理,得到包含目标对象的确定位置信息的第二历史图像;
根据所述目标对象的第一历史图像,确定所述属性特征的特征值;
根据所述目标对象的第二历史图像,确定所述识别特征的特征值;
将所述属性特征的特征值作为自变量的值,将所述识别特征的特征值作为因变量的值,对所述第一预设模型进行训练,得到所述第一对象识别模型。
可选地,所述构建模块还用于:
将所述第一对象识别模型的识别结果作为自变量,将所述识别特征作为因变量,构建第二预设模型;
将所述目标对象的历史图像输入到所述第一对象识别模型,得到所述历史图像对应的识别结果;
将得到的识别结果作为自变量的值,将所述识别特征的特征值作为因变量的值,对所述第二预设模型进行训练,得到所述第二对象识别模型。
可选地,所述构建模块具体用于:
采用预设图像处理算法对所述第一历史图像进行处理,得到仅包含目标图像的第一历史图像;
基于所述历史标注数据,在所述仅包含目标图像的第一历史图像中标注目标对象的位置,得到包含目标对象的确定位置信息的第二历史图像。
第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
本申请实施例提供的对象识别方法,将待识别图像输入到预设的第一对象识别模型,得到疑似目标对象图像切块,也就是第一对象识别模型的识别结果,将识别结果输入到预设的第二对象识别模型,得到目标对象在所述待识别图像中的预测位置信息。这样,通过第一对象识别模型可以得到初步的疑似目标对象的切块,减少了现有技术通过手工标记的对识别结果带来的影响,通过使用多尺度、多模型结合的方式,提高了对象的识别准确度。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种对象识别方法的流程示意图;
图2为本申请实施例提供的一种对象识别装置的第一种结构示意图;
图3为本申请实施例提供的一种对象识别装置的第二种结构示意图;
图4为本申请实施例提供的一种计算机设备400的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提供了一种对象识别方法,如图1所示,该方法具体包括以下步骤:
S101,将待识别的目标对象图像输入到预设的第一对象识别模型,得到疑似目标对象图像切块;
这里,目标对象图像中包括目标对象,目标对象包括肺结节等,在目标对象为肺结节时,目标对象图像一般为肺部图像,如,肺部的CT图像;疑似目标对象图像切块中包括有第一对象识别模型识别得到的目标对象的候选位置信息,候选位置信息可以为第一预设字符,第一预设字符可以为1。
通过以下步骤构建所述第一对象识别模型:
根据所述目标对象的历史数据,提取所述目标对象的属性特征和识别特征;
将所述属性特征作为自变量,将所述识别特征作为因变量,构建第一预设模型;
基于所述目标对象在第一历史图像中的历史标注数据,对所述第一历史图像进行处理,得到包含目标对象的确定位置信息的第二历史图像;
根据所述目标对象的第一历史图像,确定所述属性特征的特征值;
根据所述目标对象的第二历史图像,确定所述识别特征的特征值;
将所述属性特征的特征值作为自变量的值,将所述识别特征的特征值作为因变量的值,对所述第一预设模型进行训练,得到所述第一对象识别模型。
这里,历史数据一般是从预设平台获取的,历史数据可以为与目标对象相关的医疗规范、医疗数据等等,其中,医疗数据可以为包含目标对象的图像等;属性特征表征目标对象的属性,如,目标对象为肺结节时,属性特征可以为结节及周围组织的图像密度特征,如,CT图像的HU值,该值可以反映出CT图像中不同组织的密度;识别特征表征图像中是否包含目标对象;第一预设模型包括三维神经网络模型(3D-RNN)、深度残差(Resnet)网络模型、3D-UNET中的任意一个;第一历史图像中包括目标对象,第一历史图像和历史标注数据可以是在历史时间段从预设平台获取的,其中,预设平台可以为医疗管理***、医院的后勤管理平台等,历史时间段可以为一个星期、连续的几个星期、一个月、两个月、一个季度、一年等;历史标注数据一般为医护人员在历史图像中标注的目标对象的位置信息,其中,医护人员可以为医生、护士、专家等等;确定位置信息用于表征目标对象在第二历史图像中的位置,一般通过第二预设字符表示,第二预设字符可以为数字、字母等,若第一预设字符与第二预设字符相同,则第一预设字符和第二预设字符可以通过颜色区分。
在基于所述目标对象在第一历史图像中的历史标注数据,对所述第一历史图像进行处理,得到包含目标对象的确定位置信息的第二历史图像时,包括以下步骤:
采用预设图像处理算法对所述第一历史图像进行处理,得到仅包含目标图像的第一历史图像;
基于所述历史标注数据,在所述仅包含目标图像的第一历史图像中标注目标对象的位置,得到包含目标对象的确定位置信息的第二历史图像。
这里,预设的图像处理算法包括高斯滤波算法、阈值分割算法、连通域标记算法、闭合算法、填充算法、侵蚀算法等中的多个组合。
在具体实施中,从预设平台获取大量的第一历史图像,第一历史图像中除了包含目标对象,还包括大量的周围组织、骨骼等,由于周围组织或骨骼对后期目标对象的识别结果产生较大的影响,所以,通过以下步骤从第一历史图像中提取仅包括目标对象的图像:
在获取到第一历史图像后,首先,将第一历史图像的格式转换为float32类型,按照肺窗做窗宽窗位的调整,利用最大值和最小值将图像归一化到0-255,再利用OTSU法进行二值化,将得到的二值图像进行孔洞填充,标记三维连通域,从标记的三维联通区域中,选择体积最大的联通区域,将除体积最大的联通区域外的三维联通区域作为背景联通区域,并剔除背景联通区域,取以身体为边界的最大长方体部分,以减小运算量,将得到的长方体部分做孔洞填充后再相减,得到的差值图像做孔洞填充,得到初步的肺的mask图像,将初步得到的mask做连通域标记,取体积最大的部分,以去除肠道等其他位置的干扰,最后将去除肠道等其他位置的干扰的图像做膨胀填充和腐蚀。
在目标对象为结节时,根据第一历史图像中结节中心点位置信息以及图像的采样层厚、初始位置信息,计算出结节在图像中的中心点坐标,依据此信息对三维肺部CT图像进行切割操作,如,以结节中心点坐标为中心,以64像素点长度为边长,切割出包含结节以及周边组织的ROI区域。
根据第一历史图像中结节中心点位置信息、结节直径信息以及采样层厚信息,计算出结节在图像中的中心点坐标和X、Y、Z轴上的结节直径,依据此信息制作结节mask标签并对图像中含有结节的部位进行切割操作,得到仅包含目标对象的第一历史图像。
由于目前结节数据较少,因,此对结节数据进行扩增,可通过随机旋转与偏移,旋转方式有7种,分别为X轴旋转,Y轴旋转,Z轴旋转,X轴Y轴同时旋转,X轴Z轴同时旋转,Y轴Z轴同时旋转以及绕原点旋转,旋转角度为180°,偏移方法采用随机切割的方式从体素值为64X64X64的数据中随机切割出多块体素值为48X48X48的数据切块,该方法同时应用于图像数据和标签数据中。
对ROI区域的HU值进行归一化操作,依据正常人体CT值参考范围和图像数据分布,将HU值在[-1000,400]范围的数据线性归一化调整至[0,1]区间,HU值大于400的数据统一转化为1,HU值小于-1000的值统一转化为0。
在结节初步筛选网络搭建时,该网络的搭建采用3D U-Net卷积神经网络结构,图像在网络中会进行4次下采样操作和4次上采样操作:下采样操作中包含两次3D卷积运算,3D BatchNorm运算,ReLU运算以及Inception结构运算,在Inception结构中,使用stride为2的卷积运算代替池化操作;上采样操作包含一次Inception结构运算和3D反卷积运算。
肺结节初步筛选网络的使用仅包含目标对象的第一历史图像,每次训练随机从数据中取出32对数据和对应标签统一送进搭建好的3D U-Net网络中,计算时首先数据统一经过前向传播后得到预测结果与标签的LOSS值,然后根据链式法则更新网络的参数,网络训练优化器使用的是adam优化,训练学习率使用0.001,学习率衰减系数为0.9,loss计算函数为Diceloss。
针对数据中结节的实际情况,对数据中小结节、磨玻璃结节,与肺壁相连的结节和与血管相连的结节数据进行增强训练,增强方法是增大这部分结节数量在结节总数量中的比例。
根据目标图像在第一历史图像中的历史标注数据,在仅包含目标图像的第一历史图像中标注目标对象的位置,得到包含目标对象的确定位置信息的第二历史图像。
从目标对象的历史数据中的,提取目标对象的属性特征和识别特征,将属性特征作为自变量,将识别特征作为因变量,构建第一预设模型。
从第一历史图像中确定属性特征的特征值,从第二历史图像中确定识别特征的特征值。其中,从图像中确定特征的特征值的技术在现有技术中已有详细的介绍,此处不再进行过多说明。
将属性特征的特征值作为自变量的值,将识别特征的特征值作为因变量的值,输入到构建的第一预设模型中,对第一预设模型进行训练,得到第一对象识别模型。其中,对模型进行训练的方法在现有技术中已有详细的介绍,此处不在进行过多说明。
例如,目标对象为肺部结构,将仅包含肺部结构的历史图像输入到3D U-Net与Resnet结合的卷积神经网络进行训练,输入的历史图像为以结节中心点,大小为48×48×48的立方体切块,标签特征为同样大小的二值标签切块,切块中结节的最大外接立方***置的值为1,其他部位值为0。
网络训练完成后使用训练好的模型对整个肺部CT图进行筛选,找出其中的结节部位。具体过程包括:(1)对图像数据遍历切块并保留位置信息,切块大小采用64X96X96体素和64X128X128体素两种,切块方式包括沿Z轴的正向切块和沿Z轴的反向切块,对于一个CT图像得到4个不同规格的切块数据集;(2)对切块数据线性归一化,方法与第4步相同;(3)将切块数据依次送进训练好的网络中,并按照切块的位置信息将预测结果还原到原始图像大小,最终取4次筛选结果的最大值。
设定0.5的预测概率阈值,保留预测结果中概率大小0.5的数据,得到一个预测结果的二值概率数组。然后对该数组进行形态学闭运算,包括两次3X3的膨胀操作、一次3X3的侵蚀操作。
对上一步的结果进行连通域分析,计算数据中所有的连通域的Bouding Box,统计每个连通域的体心等信息,作为筛选出来的结节信息。其中,结节信息为第一对象识别模型的筛选结果在待识别图像中的位置信息,也就是,第一对象识别模型对待识别图像进行识别后,得到的疑似结节的部位(网络预测该部分组织是结节的概率在50%以上)。在待识别图像中可能会找到很多个疑似结节部位,而第一对象识别模型得到的识别结果可能是确定的结节,也有可能是跟结节相似的气管、血管等组织,因此,需要对第一对象识别模型的结果进行进一步的识别。
在得到第一对象识别模型后,构建所述第二对象识别模型包括以下步骤:
将所述第一对象识别模型的识别结果作为自变量,将所述识别特征作为因变量,构建第二预设模型;
将所述目标对象的历史图像输入到所述第一对象识别模型,得到所述历史图像对应的识别结果;
将得到的识别结果作为自变量的值,将所述识别特征的特征值作为因变量的值,对所述第二预设模型进行训练,得到所述第二对象识别模型。
这里,第二预设模型可以为三维卷积神经网络模型等,本申请对此不予限制。
在具体实施中,将大量的历史图像输入到第一对象识别模型后,得到每个历史图像对应的识别结果,识别结果可以为历史疑似图像切块,也就是,历史疑似图像切块中包括第一对象识别模型识别得到的历史图像中的目标对象的候选位置信息,候选位置信息可以通过标注实现,如,若是目标对象,则在历史疑似图像切块中目标对象的位置标注1,否则,标注0;根据每个第一历史图像对应的历史标注数据,在历史疑似图像切块中标注目标对象的位置,将得到的识别结果作为自变量的值,将从第一历史图像中提取的识别特征的特征值作为因变量的值,输入到第二预设模型进行训练,得到第二对象识别模型。这样,与现有技术仅适用一次模型训练得到的结果相比,能够提高识别目标对象的准确率,而且通过第一对象识别模型自动提取目标对象的特征,减少手工提取特征对识别结果的影响。
在得到第二对象识别模型后,使用训练好的第二对象识别模型如3D卷积神经网络对第一对象识别模型识别的得到的疑似结节点(也就是历史疑似目标对象图像切块)进行识别,并将识别结果与医生标注信息进行对比,如果信息一致则为识别结果准确,否则,认为识别结果不准确,以便对第二对象识别模型进行反馈调整。
根据数据集中医生给的结节标注信息和第一对象识别模型的结果信息,在原始图像中切割出体素值为48X48X48、40x40x40、20x20x20、10x10x10等不同大小的切块数据。依据医生给的信息切割出来的结节数据标签均为1,第一对象识别模型筛选出的结节需要进行与医生标注信息的对比,通过计算筛选结节的中心点与真实结节中心点的距离,判断该距离与真实结节半径的大小。若该距离小于结节半径,则认为筛选出来的结节为真阳性,标签标为1;若该距离大于结节半径,则认为筛选出来的结节为假阳性,标签标为0。对上一步得到的数据进行线性归一化运算,归一化处理现有技术已有详细的介绍,此处不再进行说明。针对不同大小的结节,搭建了两套3D CNN识别网络模型,模型中包含3D卷积运算、BatchNorm运算、Inception结构、残差结构等,一套网络使用48X48X48的结节数据作为输入,另一套网络使用40x40x40、20x20x20、10x10x10的结节切块数据作为输入。每次训练均随机从数据中取出32对数据和对应标签统一送进搭建好的网络中,计算时数据统一经过前向传播后得到预测结果与标签的LOSS值,然后根据链式法则更新网络的参数,网络训练优化器使用的是adam优化,训练学习率使用0.001,学习率衰减系数为0.9,loss计算函数为交叉熵函数。使用训练的网络模型对结节进行预测,不同尺度的数据分别输入到对应的网络中,不同网络预测的结果依据设定的权重组合到一起,得到最终结节预测结果。
延续上一个示例,根据历史标注信息在历史疑似目标对象图像切块中标注肺结节的位置,根据历史标注信息标注的肺结节的第一位置,与历史疑似目标对象图像切块中预测的肺结节的第二位置,使用不同的标识进行标注,如,第一位置可以为红色标识1,第二位置可以为黑色标识1,将标记第一位置的历史疑似目标对象图像切块输入到第二预设模型进行训练,得到第二对象识别模型。
在构建完第一对象识别模型和第二对象识别模型后,将待识别图像输入到第一对象识别模型中,第一对象识别模型从待识别图像中提取属性特征的特征值,进一步,根据提取的属性特征的特征值,得到包含目标对象的候选位置信息的疑似目标对象图像切块。
S102,将所述疑似目标对象图像切块输入到预设的第二对象识别模型,得到目标对象在所述待识别图像中的预测位置信息。
这里,预测位置信息包括目标对象在肺结节图(CT图)中的位置坐标信息,也就是,第一对象识别模型对待识别对象进行处理后,得到的目标对象在待识别图像中的坐标信息,由于第二对象识别模型会对第一对象识别模型的预测结果进行进一步判断,如果是识别结果时目标对象,则包括目标对象的图像标注为1,否则标注为0,最后保留标注为1的图像,最终预测到的信息就是标注为1的图像在待识别对象中的坐标信息。
在具体实施中,将疑似目标对象图像切块输入到第二对象识别模型,第二对象识别模型从疑似目标对象图像切块中提取识别特征的特征值,第二对象识别模型确定疑似目标哦对象图像切块中包括的目标对象的候选位置信息是否准确,若准确,则得到目标对象在待识别图像中的预测位置信息(也就是坐标信息)。
在本申请的对象识别方法中,与现有技术只使用一个网络进行筛选与识别往往筛选结果具有较高的假阳性样本相比,本申请在一次筛选的基础上又进行了一次肺结节的精确识别,实现在第一次初步筛选的结果上进一步降低识别结果的假阳性,在第一步结节筛选过程中,由于设备内存的限制,难以实现整个CT三维数据的预测,因此,采用切块的方式进行预测,而采用切块的方式容易导致切块时切割到一些结节,在切割时使用不同尺寸,不同方向的切割方法,可以有效避免因结节被切割导致的假阴性结果,在第二步结节精识别过程中,由于使用同一个网络识别不同尺度的结节会导致一些小结节识别准确率不高,因此,本申请使用了多尺度,多模型结合的方式,提高结节识别准确率。在肺结节筛选时,对于一些小结节、磨玻璃结节,与肺壁相连的结节和与血管相连的结节网络识别有较大的困难,为了提高这部分结节的识别准确率,本申请对这些结节数据进行了增强训练,提高了对这部分结节的识别准确率。
本申请实施例提供了一种对象识别装置,如图2所示,该装置包括:
第一处理模块21,用于将待识别图像输入到预设的第一对象识别模型,得到疑似目标对象图像切块;
第二处理模块22,用于将所述疑似目标对象图像切块输入到预设的第二对象识别模型,得到目标对象在所述待识别图像中的预测位置信息
本申请实施例提供了一种对象识别装置,如图3所示,该装置与图2中的装置相比,还包括:构建模块23,所述构建模块23用于:
根据所述目标对象的历史数据,提取所述目标对象的属性特征和识别特征;
将所述属性特征作为自变量,将所述识别特征作为因变量,构建第一预设模型;
基于所述目标对象在第一历史图像中的历史标注数据,对所述第一历史图像进行处理,得到包含目标对象的确定位置信息的第二历史图像;
根据所述目标对象的第一历史图像,确定所述属性特征的特征值;
根据所述目标对象的第二历史图像,确定所述识别特征的特征值;
将所述属性特征的特征值作为自变量的值,将所述识别特征的特征值作为因变量的值,对所述第一预设模型进行训练,得到所述第一对象识别模型。
可选地,所述构建模块23还用于:
将所述第一对象识别模型的识别结果作为自变量,将所述识别特征作为因变量,构建第二预设模型;
将所述目标对象的历史图像输入到所述第一对象识别模型,得到所述历史图像对应的识别结果;
将得到的识别结果作为自变量的值,将所述识别特征的特征值作为因变量的值,对所述第二预设模型进行训练,得到所述第二对象识别模型。
可选地,所述构建模块23具体用于:
采用预设图像处理算法对所述第一历史图像进行处理,得到仅包含目标图像的第一历史图像;
基于所述历史标注数据,在所述仅包含目标图像的第一历史图像中标注目标对象的位置,得到包含目标对象的确定位置信息的第二历史图像。
可选地,所述第一预设模型为三维神经网络模型、深度残差网络模型中的任意一个。
对应于图1中的对象识别方法,本申请实施例还提供了一种计算机设备400,如图4所示,该设备包括存储器401、处理器402及存储在该存储器401上并可在该处理器402上运行的计算机程序,其中,上述处理器402执行上述计算机程序时实现上述对象识别方法。
具体地,上述存储器401和处理器402能够为通用的存储器和处理器,这里不做具体限定,当处理器402运行存储器401存储的计算机程序时,能够执行上述对象识别方法,从而解决现有技术对象识别准确度低的问题,本申请将待识别图像输入到预设的第一对象识别模型,得到疑似目标对象图像切块,也就是第一对象识别模型的识别结果,将识别结果输入到预设的第二对象识别模型,得到目标对象在所述待识别图像中的预测位置信息。这样,通过第一对象识别模型可以得到初步的疑似目标对象的切块,减少了现有技术通过手工标记的对识别结果带来的影响,通过使用多尺度、多模型结合的方式,提高了对象的识别准确度。
对应于图1中的对象识别方法,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述对象识别方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述对象识别方法,从而解决现有技术对象识别准确度低的问题,本申请将待识别图像输入到预设的第一对象识别模型,得到疑似目标对象图像切块,也就是第一对象识别模型的识别结果,将识别结果输入到预设的第二对象识别模型,得到目标对象在所述待识别图像中的预测位置信息。这样,通过第一对象识别模型可以得到初步的疑似目标对象的切块,减少了现有技术通过手工标记的对识别结果带来的影响,通过使用多尺度、多模型结合的方式,提高了对象的识别准确度。
在本申请所提供的实施例中,应该理解到,所揭露***和方法,可以通过其它的方式实现。以上所描述的***实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,***或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种对象识别方法,其特征在于,该方法包括:
将待识别图像输入到预设的第一对象识别模型,得到疑似目标对象图像切块;
将所述疑似目标对象图像切块输入到预设的第二对象识别模型,得到目标对象在所述待识别图像中的预测位置信息。
2.如权利要求1所述的方法,其特征在于,构建所述第一对象识别模型包括:
根据所述目标对象的历史数据,提取所述目标对象的属性特征和识别特征;
将所述属性特征作为自变量,将所述识别特征作为因变量,构建第一预设模型;
基于所述目标对象在第一历史图像中的历史标注数据,对所述第一历史图像进行处理,得到包含目标对象的确定位置信息的第二历史图像;
根据所述目标对象的第一历史图像,确定所述属性特征的特征值;
根据所述目标对象的第二历史图像,确定所述识别特征的特征值;
将所述属性特征的特征值作为自变量的值,将所述识别特征的特征值作为因变量的值,对所述第一预设模型进行训练,得到所述第一对象识别模型。
3.如权利要求2所述的方法,其特征在于,构建所述第二对象识别模型包括:
将所述第一对象识别模型的识别结果作为自变量,将所述识别特征作为因变量,构建第二预设模型;
将所述目标对象的历史图像输入到所述第一对象识别模型,得到所述历史图像对应的识别结果;
将得到的识别结果作为自变量的值,将所述识别特征的特征值作为因变量的值,对所述第二预设模型进行训练,得到所述第二对象识别模型。
4.如权利要求2所述的方法,其特征在于,所述基于所述目标对象在第一历史图像中的历史标注数据,对所述第一历史图像进行处理,得到包含目标对象的确定位置信息的第二历史图像,包括:
采用预设图像处理算法对所述第一历史图像进行处理,得到仅包含目标图像的第一历史图像;
基于所述历史标注数据,在所述仅包含目标图像的第一历史图像中标注目标对象的位置,得到包含目标对象的确定位置信息的第二历史图像。
5.如权利要求2所述的方法,其特征在于,所述第一预设模型为三维神经网络模型、深度残差网络模型中的任意一个。
6.一种对象识别装置,其特征在于,该装置包括:
第一处理模块,用于将待识别图像输入到预设的第一对象识别模型,得到疑似目标对象图像切块;
第二处理模块,用于将所述疑似目标对象图像切块输入到预设的第二对象识别模型,得到目标对象在所述待识别图像中的预测位置信息。
7.如权利要求6所述的装置,其特征在于,还包括:构建模块,所述构建模块用于:
根据所述目标对象的历史数据,提取所述目标对象的属性特征和识别特征;
将所述属性特征作为自变量,将所述识别特征作为因变量,构建第一预设模型;
基于所述目标对象在第一历史图像中的历史标注数据,对所述第一历史图像进行处理,得到包含目标对象的确定位置信息的第二历史图像;
根据所述目标对象的第一历史图像,确定所述属性特征的特征值;
根据所述目标对象的第二历史图像,确定所述识别特征的特征值;
将所述属性特征的特征值作为自变量的值,将所述识别特征的特征值作为因变量的值,对所述第一预设模型进行训练,得到所述第一对象识别模型。
8.如权利要求7所述的装置,其特征在于,所述构建模块还用于:
将所述第一对象识别模型的识别结果作为自变量,将所述识别特征作为因变量,构建第二预设模型;
将所述目标对象的历史图像输入到所述第一对象识别模型,得到所述历史图像对应的识别结果;
将得到的识别结果作为自变量的值,将所述识别特征的特征值作为因变量的值,对所述第二预设模型进行训练,得到所述第二对象识别模型。
9.如权利要求7所述的装置,其特征在于,所述构建模块具体用于:
采用预设图像处理算法对所述第一历史图像进行处理,得到仅包含目标图像的第一历史图像;
基于所述历史标注数据,在所述仅包含目标图像的第一历史图像中标注目标对象的位置,得到包含目标对象的确定位置信息的第二历史图像。
10.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至5任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811214344.7A CN109447960A (zh) | 2018-10-18 | 2018-10-18 | 一种对象识别方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811214344.7A CN109447960A (zh) | 2018-10-18 | 2018-10-18 | 一种对象识别方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109447960A true CN109447960A (zh) | 2019-03-08 |
Family
ID=65547166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811214344.7A Pending CN109447960A (zh) | 2018-10-18 | 2018-10-18 | 一种对象识别方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109447960A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110222087A (zh) * | 2019-05-15 | 2019-09-10 | 平安科技(深圳)有限公司 | 特征提取方法、装置及计算机可读存储介质 |
CN111523602A (zh) * | 2020-04-27 | 2020-08-11 | 珠海上工医信科技有限公司 | 眼底图像预测方法及装置、存储介质及电子装置 |
CN111723730A (zh) * | 2020-06-18 | 2020-09-29 | 中国银行股份有限公司 | 对目标对象的数量进行预测的方法及相关设备 |
CN112287993A (zh) * | 2020-10-26 | 2021-01-29 | 推想医疗科技股份有限公司 | 模型生成方法、图像分类方法、装置、电子设备及介质 |
CN112330656A (zh) * | 2020-11-20 | 2021-02-05 | 北京航星机器制造有限公司 | 一种安检ct图像危险品植入方法和*** |
CN112633348A (zh) * | 2020-12-17 | 2021-04-09 | 首都医科大学附属北京天坛医院 | 一种检测脑动静脉畸形并判断其弥散性的方法和装置 |
WO2021093448A1 (zh) * | 2019-11-12 | 2021-05-20 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、服务器、医疗图像处理设备及存储介质 |
WO2021135104A1 (zh) * | 2020-01-02 | 2021-07-08 | 平安科技(深圳)有限公司 | 基于多源数据的对象推送方法、装置、设备及存储介质 |
CN113920109A (zh) * | 2021-10-29 | 2022-01-11 | 沈阳东软智能医疗科技研究院有限公司 | 医疗影像识别模型训练方法、识别方法、装置及设备 |
CN114871572A (zh) * | 2022-05-10 | 2022-08-09 | 杭州华遨科技有限公司 | 激光扫描控制方法、装置及激光扫描*** |
US12051199B2 (en) | 2019-11-12 | 2024-07-30 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, server, medical image processing device and storage medium |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106097340A (zh) * | 2016-06-12 | 2016-11-09 | 山东大学 | 一种基于卷积分类器的自动检测并勾画肺结节所在位置的方法 |
CN106504232A (zh) * | 2016-10-14 | 2017-03-15 | 北京网医智捷科技有限公司 | 一种基于3d卷积神经网络的肺部结节自动检测方法 |
CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
CN108090903A (zh) * | 2017-12-29 | 2018-05-29 | 苏州体素信息科技有限公司 | 肺结节检测模型训练方法和装置、肺结节检测方法和装置 |
CN108537784A (zh) * | 2018-03-30 | 2018-09-14 | 四川元匠科技有限公司 | 一种基于深度学习的ct图肺结节检测方法 |
CN108648172A (zh) * | 2018-03-30 | 2018-10-12 | 四川元匠科技有限公司 | 一种基于3D-Unet的CT图肺结节检测*** |
CN108664971A (zh) * | 2018-05-22 | 2018-10-16 | 中国科学技术大学 | 基于2d卷积神经网络的肺结节检测方法 |
-
2018
- 2018-10-18 CN CN201811214344.7A patent/CN109447960A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106097340A (zh) * | 2016-06-12 | 2016-11-09 | 山东大学 | 一种基于卷积分类器的自动检测并勾画肺结节所在位置的方法 |
CN106504232A (zh) * | 2016-10-14 | 2017-03-15 | 北京网医智捷科技有限公司 | 一种基于3d卷积神经网络的肺部结节自动检测方法 |
CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
CN108090903A (zh) * | 2017-12-29 | 2018-05-29 | 苏州体素信息科技有限公司 | 肺结节检测模型训练方法和装置、肺结节检测方法和装置 |
CN108537784A (zh) * | 2018-03-30 | 2018-09-14 | 四川元匠科技有限公司 | 一种基于深度学习的ct图肺结节检测方法 |
CN108648172A (zh) * | 2018-03-30 | 2018-10-12 | 四川元匠科技有限公司 | 一种基于3D-Unet的CT图肺结节检测*** |
CN108664971A (zh) * | 2018-05-22 | 2018-10-16 | 中国科学技术大学 | 基于2d卷积神经网络的肺结节检测方法 |
Non-Patent Citations (2)
Title |
---|
JIAXING TAN ET AL.: ""A COMPARISON STUDY ON THE EFFECT OF FALSE POSITIVE REDUCTION IN DEEP LEARNING BASED DETECTION FOR JUXTAPLEURAL LUNG NODULES:CNN VS DNN"", 《2017 SOCIETY FOR MODELING & SIMULATION INTERNATIONAL》 * |
徐峰等: ""基于U-Net的结节分割方法"", 《软件导刊》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110222087A (zh) * | 2019-05-15 | 2019-09-10 | 平安科技(深圳)有限公司 | 特征提取方法、装置及计算机可读存储介质 |
US12051199B2 (en) | 2019-11-12 | 2024-07-30 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, server, medical image processing device and storage medium |
WO2021093448A1 (zh) * | 2019-11-12 | 2021-05-20 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、服务器、医疗图像处理设备及存储介质 |
WO2021135104A1 (zh) * | 2020-01-02 | 2021-07-08 | 平安科技(深圳)有限公司 | 基于多源数据的对象推送方法、装置、设备及存储介质 |
CN111523602A (zh) * | 2020-04-27 | 2020-08-11 | 珠海上工医信科技有限公司 | 眼底图像预测方法及装置、存储介质及电子装置 |
CN111723730A (zh) * | 2020-06-18 | 2020-09-29 | 中国银行股份有限公司 | 对目标对象的数量进行预测的方法及相关设备 |
CN111723730B (zh) * | 2020-06-18 | 2023-08-22 | 中国银行股份有限公司 | 对目标对象的数量进行预测的方法及相关设备 |
CN112287993A (zh) * | 2020-10-26 | 2021-01-29 | 推想医疗科技股份有限公司 | 模型生成方法、图像分类方法、装置、电子设备及介质 |
CN112330656B (zh) * | 2020-11-20 | 2024-04-05 | 北京航星机器制造有限公司 | 一种安检ct图像危险品植入方法和*** |
CN112330656A (zh) * | 2020-11-20 | 2021-02-05 | 北京航星机器制造有限公司 | 一种安检ct图像危险品植入方法和*** |
CN112633348A (zh) * | 2020-12-17 | 2021-04-09 | 首都医科大学附属北京天坛医院 | 一种检测脑动静脉畸形并判断其弥散性的方法和装置 |
CN113920109A (zh) * | 2021-10-29 | 2022-01-11 | 沈阳东软智能医疗科技研究院有限公司 | 医疗影像识别模型训练方法、识别方法、装置及设备 |
CN114871572A (zh) * | 2022-05-10 | 2022-08-09 | 杭州华遨科技有限公司 | 激光扫描控制方法、装置及激光扫描*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109447960A (zh) | 一种对象识别方法和装置 | |
US10818011B2 (en) | Carpal segmentation and recognition method and system, terminal and readable storage medium | |
EP3665703B1 (en) | Computer-aided diagnostics using deep neural networks | |
CN107563983B (zh) | 图像处理方法以及医学成像设备 | |
US10115039B2 (en) | Method and system for machine learning based classification of vascular branches | |
CN104217418B (zh) | 钙化血管的分割 | |
CN105574859B (zh) | 一种基于ct图像的肝脏肿瘤分割方法及装置 | |
CN107203999A (zh) | 一种基于全卷积神经网络的皮肤镜图像自动分割方法 | |
CN111476774B (zh) | 基于新型冠状病毒肺炎ct检测的智能征象识别装置 | |
CN112258530A (zh) | 基于神经网络的计算机辅助肺结节自动分割方法 | |
CN109446889A (zh) | 基于孪生匹配网络的物体追踪方法及装置 | |
CN110929728B (zh) | 一种图像感兴趣区域划分方法、图像分割方法及装置 | |
KR102458324B1 (ko) | 학습 모델을 이용한 데이터 처리 방법 | |
CN102663416A (zh) | 手术规划***中内脏及其内部血管的分割方法 | |
CN105474262A (zh) | 用于图像引导治疗计划的结构形状的自动描绘的方法和装置 | |
CN106127753B (zh) | 一种外科手术中ct影像体表人工标记自动提取方法 | |
EP3657433A1 (en) | Medical image data | |
CN110610472A (zh) | 实现肺结节图像分类检测的计算机装置及方法 | |
CN108334878A (zh) | 视频图像检测方法和装置 | |
CN113139948B (zh) | 器官轮廓线质量评估方法、装置及*** | |
CN108595014A (zh) | 一种基于视觉的实时动态手势识别***及方法 | |
CN117373070B (zh) | 血管分段标注的方法及装置、电子设备和存储介质 | |
Heeneman et al. | Lung nodule detection by using Deep Learning | |
CN115689971A (zh) | 基于深度学习的椎弓根植钉通道规划方法及装置 | |
CN109615610A (zh) | 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190308 |