CN110070129B - 一种图像检测方法、装置及存储介质 - Google Patents
一种图像检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110070129B CN110070129B CN201910328775.4A CN201910328775A CN110070129B CN 110070129 B CN110070129 B CN 110070129B CN 201910328775 A CN201910328775 A CN 201910328775A CN 110070129 B CN110070129 B CN 110070129B
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- template
- target
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像检测方法、装置及存储介质,其中,所述方法包括:获取目标对象的待检测图像;确定所述待检测图像与模板图像集中模板图像的相似程度,所述模板图像集包括基于标准图像生成模型生成的目标对象的标准图像;从所述模板图像集中获取所述相似程度达到预设条件的目标模板图像;根据所述待检测图像与所述目标模板图像的比对情况,确定所述待检测图像的检测结果;其中,所述标准图像生成模型包括基于正常状态的目标对象的原始图像对生成对抗网络模型训练得到的图像生成模型。本发明降低了训练图像的收集难度,节省了大量的人力和物力。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种图像检测方法、装置及存储介质。
背景技术
目前,应用机器学习模型对图像进行检测以识别出异常图像(即包含异常状态的目标对象的图像)已越来越多。现有技术中一般需要先收集大量的异常状态的目标对象的图像作为训练图像,利用该训练图像训练机器学习模型以得到能够识别出异常图像的分类模型,然后基于训练好的分类模型从测试图像中识别出异常图像。
在实现本发明的过程中,发明人发现现有技术中至少存在以下缺陷:
相关技术中,不但需要收集大量的异常状态的目标对象的图像,还需要对训练图像进行标注,增加了训练图像的收集难度,使得异常图像的检测过程比较繁琐,需要消耗大量的人力和物力。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种图像检测方法、装置及存储介质。所述技术方案如下:
一方面,提供了一种图像检测方法,所述方法包括:
获取目标对象的待检测图像;
确定所述待检测图像与模板图像集中模板图像的相似程度;所述模板图像集包括基于标准图像生成模型生成的目标对象的标准图像;
从所述模板图像集中获取所述相似程度达到预设条件的目标模板图像;
根据所述待检测图像与所述目标模板图像的比对情况,确定所述待检测图像的检测结果;
其中,所述标准图像生成模型包括基于正常状态的目标对象的原始图像对生成对抗网络模型训练得到的图像生成模型。
进一步的,所述确定所述待检测图像与模板图像集中模板图像的相似程度包括:
根据所述待检测图像和所述模板图像构建目标损失函数;
基于所述目标损失函数,确定所述待检测图像与模板图像的相似程度。
进一步的,所述根据所述待检测图像和所述模板图像构建目标损失函数包括:
根据待检测图像与模板图像中相对应元素项的差值构建第一损失函数;
根据标准图像判别模型从所述待检测图像和模板图像中提取的特征数据构建第二损失函数;
对所述第一损失函数和第二损失函数进行加权求和,得到所述目标损失函数。
进一步的,所述根据待检测图像与模板图像中相对应元素项的差值构建第一损失函数包括:
计算待检测图像与模板图像中相对应像素的差值,得到像素差值集合;
计算所述像素差值集合中所有像素差值的和值,得到所述第一损失函数。
进一步的,所述根据标准图像判别模型从所述待检测图像和模板图像中提取的特征数据构建第二损失函数包括:
利用标准图像判别模型的特征提取层提取所述待检测图像的特征数据和模板图像的特征数据;
计算同一特征提取层提取的待检测图像的特征数据与模板图像的特征数据的差值,得到对应于所述特征提取层的特征数据差值;
计算所有特征提取层的特征数据差值的和值,得到所述第二损失函数。
进一步的,所述根据所述待检测图像与所述目标模板图像的比对情况,确定所述待检测图像的检测结果包括:
确定所述待检测图像与所述目标模板图像的差值图像;
根据所述差值图像生成所述待检测图像的检测结果。
进一步的,在根据所述差值图像生成所述待检测图像的检测结果之后,所述方法还包括:
接收对显示的所述差值图像中区域的选择信号;
根据所述选择信号,确定所述差值图像中的目标区域;
展示所述待检测图像以及目标模板图像中对应于所述目标区域的匹配区域。
另一方面,提供了一种图像检测装置,所述装置包括:
第一获取模块,用于获取目标对象的待检测图像;
第一确定模块,用于确定所述待检测图像与模板图像集中模板图像的相似程度;
第二获取模块,用于从所述模板图像集中获取所述相似程度达到预设条件的目标模板图像;所述模板图像集包括基于标准图像生成模型生成的目标对象的标准图像;
第二确定模块,用于根据所述待检测图像与所述目标模板图像的比对情况,确定所述待检测图像的检测结果;
其中,所述标准图像生成模型包括基于正常状态的目标对象的原始图像对生成对抗网络模型训练得到的图像生成模型。
进一步的,所述待检测图像包括待检测医学图像;
相应的,所述装置还包括:
分析模块,用于根据所述待检测医学图像的检测结果分析所述目标对象的病灶情况,得到病灶分析结果;
报告生成模块,用于根据所述病灶分析结果生成目标对象的病灶报告。
另一方面,提供了一种终端,包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述所述的图像检测方法。
另一方面,提供了一种计算机存储介质,该计算机存储介质存储有计算机程序指令,该计算机程序指令被执行时,实现上述所述的图像检测方法。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例通过确定待检测图像与模板图像集中模板图像的相似程度,从模板图像集中获取相似程度达到预设条件的目标模板图像,然后根据待检测图像与目标模板图像的比对情况确定待检测图像的检测结果。由于模板图像是基于标准图像生成模型生成的目标对象的标准图像,该标准图像生成模型是基于正常状态的目标对象的原始图像对生成对抗网络模型训练得到的图像生成模型,从而在上述方法中不需要预先收集大量的包含异常状态的目标对象的训练图像,因此也就不需要对训练图像进行标注,只需正常状态的目标对象的图像作为训练图像即可,从而大大降低了训练图像的收集难度,节省了大量的人力和物力。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像检测方法的流程示意图;
图2是本发明实施例提供的基于正常状态的目标对象的原始图像对生成对抗网络模型进行训练的一种方法流程示意图;
图3是本发明实施例提供的另一种图像检测方法的流程示意图;
图4是本发明实施例提供的另一种图像检测方法的流程示意图;
图5是本发明实施例提供的一种图像检测装置的结构示意图;
图6是本发明实施例提供的另一种图像检测装置的结构示意图;
图7是本发明实施例提供的训练模块的一种结构示意图;
图8是本发明实施例提供的另一种图像检测装置的结构示意图;
图9是本发明实施例提供的另一种图像检测装置的结构示意图;
图10是本发明实施例提供的一种终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
请参阅图1,其所示为本发明实施例提供的一种图像检测方法的流程示意图,需要说明的是,本发明实施例的图像检测方法可应用于本发明实施例的图像检测装置,该图像检测装置可配置于终端中,该终端可以是手机、平板电脑、掌上电脑及个人数字助理等具有各种操作***的硬件设备。
此外,本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的***或终端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示,所述方法包括:
S101,获取目标对象的待检测图像。
在本说明书实施例中,目标对象为成像的对象,待检测图像包括由各种成像***获得的目标对象的图像。在一些示例中,该待检测图像可以包括由各种成像***获得的医学图像,其中,成像***可为单模成像***,例如计算机断层摄影(CT)***、发射计算机断层摄影(ECT)、超声成像***、X射线光学成像***、正电子发射断层摄影(PET)***等。成像***也可为多模成像***,例如计算机断层摄影-磁共振成像(CT-MRI)***、正电子发射断层摄影-磁共振成像(PET-MRI)***、单光子发射断层摄影-计算机断层摄影(SPECT-CT)***、数字减影血管造影-计算机断层摄影(DSA-CT)***等。
S103,确定所述待检测图像与模板图像集中模板图像的相似程度。
在本说明书实施例中,所述模板图像集包括基于标准图像生成模型生成的目标对象的标准图像。标准图像生成模型包括基于正常状态的目标对象的原始图像对生成对抗网络模型训练得到的图像生成模型。其中,正常状态的目标对象是相对于异常状态的目标对象而言的,例如,当待检测图像为医学图像时,存在病灶的目标对象为异常状态的目标对象,而不存在病灶的目标对象为正常状态的目标对象。其中,目标对象的标准图像即为正常状态的目标对象的图像。
其中,生成对抗网络模型(英文全称:Generative adversarial network,英文缩写:GAN)将生成问题视作判别模型和生成模型这两个模型的对抗和博弈。生成模型捕捉样本数据的分布,用服从一分布(均匀分布、高斯分布等等)的噪声生成一个类似真实训练数据的样本,其追求效果是越像真实样本越好;判别模型是一个二分类模型,估计一个样本来自训练数据(而非生成数据)的概率,如果样本来自于真实的训练数据,则判别模型输出大概率,否则判别模型输出小概率。
在本说明书实施例中,在确定所述待检测图像与模板图像集中模板图像的相似程度之前,所述方法还包括基于正常状态的目标对象的原始图像对生成对抗网络模型进行训练的步骤,具体的,如图2所示,该步骤可以包括:
S201,构建生成对抗网络模型。
在本说明书实施例中,所构建的生成对抗网络模型包括图像判别模型和具有第一分辨率的图像生成模型,即图像生成模型输出的图像的具有第一分辨率。其中,第一分辨率可以根据需要设定为一个较低的分辨率,如可以设定为8*8。实际应用中,所构建的生成对抗网络模型可以为渐进式增长生成对抗网络模型(英文全称:Progressive Growing ofGANs,英文缩写:PGGAN)。
S203,采用所述正常状态的目标对象的原始图像训练所述生成对抗网络模型。
在本说明书实施例中,所述原始图像的分辨率与所述图像生成模型的分辨率相匹配,即将正常状态的目标对象的原始图像的分辨率调整为与图像生成模型的分辨率相一致,然后再输入至生成对抗网络模型中进行训练。例如,图像生成模型生成的图像的分辨率为8*8,则需将正常状态的目标对象的原始图像的分辨率调整为8*8。
在训练的过程中,固定图像生成模型和图像判别模型中的一方,更新另一方的网络权重,交替迭代,在这个过程中,图像生成模型和图像判别模型都极力优化自己的网络,从而形成竞争对抗,直到双方达到一个动态的平衡(纳什平衡),此时图像生成模型恢复了原始图像数据的分布(造出了和原始图像数据一模一样的样本),图像判别模型再也判别不出来结果,准确率为50%。
S205,当所述图像判别模型的输出结果达到预设目标值时,按照预设分辨率增值调整所述图像生成模型的分辨率,以及所述原始图像的分辨率。
具体的,预设目标值为表示图像判别模型无法分辨真实数据和非真实数据时的概率,一般可以设定为0.5,即当图像判别模型的输出结果为0.5时,表明当前图像判别模型已经无法分辨真实数据和非真实数据了,也就是说当前阶段的训练已经完成,此时可以按照预设分辨率增值调整图像生成模型的分辨率和原始图像的分辨率。当然,调整后的原始图像的分辨率与图像生成模型的分辨率依然是相匹配的。
其中,预设分辨率增值可以根据需要进行设定,例如可以设定为增加一倍,如上一次训练时的分辨率为8*8,则调整之后的分辨为16*16。
S207,执行所述训练的步骤,直至所述图像生成模型的分辨率达到目标分辨率。
在本说明书实施例中,目标分辨率可以根据实际需要进行设定,例如可以设定为1024*1024。其中,所述达到目标分辨率的图像生成模型作为标准图像生成模型;与达到目标分辨率的图像生成模型相对应图像判别模型作为标准图像判别模型。
在本说明书实施例中,通过上述的训练过程,可以得到生成高清的、大尺寸图像的生成对抗网络模型,从而有利于提高后续基于该生成对抗网络模型生成的模板图像进行的图像检测的可靠性。
具体的,在确定待检测图像与模板图像集中模板图像的相似程度时,可以根据待检测图像和模板图像构建目标损失函数;然后基于该目标损失函数确定待检测图像与模板图像的相似程度。
在一些实施例中,在根据待检测图像和模板图像构建目标损失函数时,可以根据待检测图像与模板图像中相对元素项的差值构建第一损失函数;根据标准图像判别模型从待检测图像和模板图像中提取的特征数据构建第二损失函数;然后对上述第一损失函数和第二损失函数进行加权求和,得到目标损失函数。应理解的,目标损失函数所包括的损失函数的个数并不限于两个,其还可以包括三个或者更多个损失函数,本发明对此不作具体限定。
实际应用中,在构建第一损失函数时,可以计算待检测图像与模板图像中相对应像素的差值,得到像素差值集合;然后,计算该像素差值集合中所有像素差值的和值,以得到第一损失函数,具体公式如下:
其中,Loss1表示第一损失函数;Itest()表示待检测图像;G(zv)表示模板图像;zv表示一个多维向量;i表示图像中第i个像素;n表示图像中的像素总数。
在构建第二损失函数时,可以利用标准图像判别模型的特征提取层提取待检测图像的特征数据和模板图像的特征数据;计算同一特征提取层提取的待检测图像的特征数据与模板图像的特征数据的差值,得到对应于每一特征提取层的特征数据差值;然后计算所有特征提取层的特征数据差值的和值,以得到第二损失函数,具体公式如下:
其中,Loss2表示第二损失函数;t表示标准判别模型D的第t特征提取层;m表示标准判别模型D的特征提取层总数;Dt()()表示标准判别模型第t特征提取层提取的特征数据;j表示特征数据中的元素项,当特征数据为特征图像时,该元素项可以是特征图像中的像素;n表示第t特征提取层提取的特征数据中元素项的总数,当该元素项为像素时,n即为第t特征提取层提取的特征图像中的像素总数;Itest()表示待检测图像;G(zx)表示模板图像。
对上述构建的第一损失函数和第二损失函数进行加权求和得到目标损失函数,具体公式如下:
Loss=argminz[θLoss1+(1-θ)Loss2]
其中,Loss表示目标损失函数;θ表示系数,其范围为0~1。
在本说明书实施例中,通过上述目标损失函数可以获得待检测图像与模板图像集中各模板图像之间的相似程度,该相似程度可以通过目标损失函数的函数值(也可以称为损失值)体现,一般目标损失函数的函数值越小,待检测图像与该模板图像的相似程度越大。
需要说明的是,上述只是给出了确定待检测图像与模板图像集中模板图像的相似程度的一个示例,实际应用中,还可以采用其他方法进行确定,例如,可以逐个比对待检测图像与模板图像,计算两幅图像对应的向量之间的余弦距离,然后获取余弦距离最小的那幅模板图像作为目标模板图像,本发明对此不作具体限定。
S105,从所述模板图像集中获取所述相似程度达到预设条件的目标模板图像。
在本说明书实施例中,可以采用梯度下降算法对目标损失函数进行优化;当目标损失函数达到目标损失值时,可以确定相似程度达到预设条件;获取目标损失函数达到目标损失值时的模板图像,并将该模板图像作为目标模板图像。
其中,目标损失值可以根据实际需要进行设定,一般设定的越小,筛选出的目标模板图像与待检测图像的相似程度越高。梯度下降算法是迭代算法中的一种,其计算过程中使用梯度来找到局部极小值。
S107,根据所述待检测图像与所述目标模板图像的比对情况,确定所述待检测图像的检测结果。
在本说明书实施例中,可以确定待检测图像与目标模板图像的差值图像,然后根据该差值图像生成待检测图像的检测结果。具体的,可以把待检测图像和目标模板图像的对应像素值相减,以削弱图像的相似部分,突出显示图像的变化部分(或者说是异常部分),该相减处理后得到的图像就是差值图像,在该差值图像上,可以将异常部分标识出来,例如可以将异常部分高亮显示。
在一些实施例中,当待检测图像为医学图像时,还可以在确定该待检测医学图像的检测结果之后,利用分析模块根据该待检测医学图像的检测结果分析目标对象的病灶情况,得到病灶分析结果;并利用报告生成模块根据所述病灶分析结果生成目标对象的病灶报告,以供医生参考。
由本发明实施例的上述技术方案可见,本发明实施例基于正常状态的目标对象的原始图像来训练生成对抗网络模型,以得到标准图像生成模型和标准图像判别模型,并利用标准图像生成模型生成的模板图像进行待检测图像的检测,从而不需要预先收集大量的包含异常状态的目标对象的训练图像,因此也就不需要对训练图像进行标注,只需正常状态的目标对象的图像作为训练图像即可,大大降低了训练图像的收集难度,节省了大量的人力和物力。
请参见图3,其所示为本发明实施例提供的另一种图像检测方法,该方法可以包括:
S301,获取目标对象的待检测图像。
S303,确定所述待检测图像与模板图像集中模板图像的相似程度。
其中,所述模板图像集包括基于标准图像生成模型生成的目标对象的标准图像。
S305,从所述模板图像集中获取所述相似程度达到预设条件的目标模板图像。
S307,确定所述待检测图像与所述目标模板图像的差值图像,根据所述差值图像生成所述待检测图像的检测结果。
其中,步骤S301至步骤S307的详细内容可以参见前述图1所示方法实施例中的对应步骤的具体内容,在此不再赘述。
S309,接收对显示的所述差值图像中区域的选择信号。
在本说明书实施例中,终端可以将差值图像进行显示,当用户需要查看差值图像中的某个区域对应的图像时,可以选择显示的差值图像中的该区域,其中用户的选择方式可以采用输入设备框选出显示的差值图像中的区域,对于具有触摸屏的终端,用户还可以利用手指触摸框选出显示的差值图像中的区域。
相应的,当用户框选出显示的差值图像中的区域时,终端接收对显示的差值图像中区域的选择信号。
S311,根据所述选择信号,确定所述差值图像中的目标区域。
具体的,终端可以根据接收的选择信号,确定出差值图像中的目标区域。其中,目标区域可以为包含选择信号所对应区域的一个更大一些的区域,例如,选择信号所对应区域为圆形区域,则确定的目标区域可以为该圆形区域的外接矩形区域。当然,该目标区域也可以直接为选择信息所对应区域。实际应用中,目标区域可以通过对应的特征点的坐标进行表示,例如,当该目标区域为矩形区域时,可以通过该矩形区域的四个角点的坐标表示该矩形区域。
S313,展示所述待检测图像以及目标模板图像中对应于所述目标区域的匹配区域。
具体的,终端可以获取与该差值图像对应的待检测图像以及目标模板图像,然后将对应于上述目标区域的匹配区域展示出来,以供用户查看。实际应用中,可以分别在待检测图像以及目标模板图像中寻找与目标区域的特征点的坐标相匹配的匹配点的坐标,然后,基于匹配点的坐标在对应的图像中确定出匹配区域,并展示该匹配区域。
本发明实施例通过展示待检测图像以及目标模板图像中对应于目标区域的匹配区域,使得用户可以比较的进行图像的查看,以获得更多有价值的信息。
此外,本发明实施例基于正常状态的目标对象的原始图像来训练生成对抗网络模型,以得到标准图像生成模型和标准图像判别模型,并利用标准图像生成模型生成的模板图像进行待检测图像的检测,从而不需要预先收集大量的包含异常状态的目标对象的训练图像,因此也就不需要对训练图像进行标注,只需正常状态的目标对象的图像作为训练图像即可,大大降低了训练图像的收集难度,节省了大量的人力和物力。
下面以待检测图像为医学图像来说明本发明实施例的图像检测方法,如图4所示,目标对象为胸部,待检测图像为待检测胸部图像,该方法可以包括:
S401,获取待检测胸部图像。
其中,待检测胸部图像可以为采用X射线光学成像***投影的图像。
S403,确定待检测胸部图像与正常胸部图像集中正常胸部图像的相似程度,所述正常胸部图像集包括基于标准图像生成模型生成的胸部的标准图像。
在本说明书实施例中,正常胸部图像为没有任何病灶的胸部图像,该标准图像生成模型生成的胸部的标准图像即为正常胸部图像。其中标准图像生成模型包括基于正常胸部的原始图像对生成对抗网络模型训练得到的图像生成模型。具体的,基于正常胸部的原始图像对生成对抗网络模型训练的过程可以参见前述图2所示的方法实施例,在此不再赘述。
S405,从所述正常胸部图像集中获取所述相似程度达到预设条件的目标正常胸部图像。
S407,根据待检测胸部图像与目标正常胸部图像的比对情况,确定待检测胸部图像的检测结果。
其中,步骤S401至步骤S407的详细内容可以参见前述图1所示方法实施例中的对应步骤的具体内容,在此不再赘述。
由本发明实施例的上述技术方案可见,本发明实施例基于正常胸部的原始图像来训练生成对抗网络模型,以得到标准图像生成模型和标准图像判别模型,并利用标准图像生成模型生成的正常胸部图像进行待检测胸部图像的检测,从而不需要预先收集大量的包含病灶的胸部图像的训练图像,因此也就不需要对训练图像进行标注,只需正常胸部图像作为训练图像即可,大大降低了训练图像的收集难度,节省了大量的人力和物力。
与上述几种实施例提供的图像检测方法相对应,本发明实施例还提供一种图像检测装置,由于本发明实施例提供的图像检测装置与上述几种实施例提供的图像检测方法相对应,因此前述图像检测方法的实施方式也适用于本实施例提供的图像检测装置,在本实施例中不再详细描述。
请参阅图5,其所示为本发明实施例提供的一种图像检测装置的结构示意图,如图5所示,该装置可以包括:第一获取模块510、第一确定模块520、第二获取模块530和第二确定模块540,其中,
第一获取模块510,用于获取目标对象的待检测图像;
第一确定模块520,用于确定所述待检测图像与模板图像集中模板图像的相似程度;所述模板图像集包括基于标准图像生成模型生成的目标对象的标准图像;
第二获取模块530,用于从所述模板图像集中获取所述相似程度达到预设条件的目标模板图像;
第二确定模块540,用于根据所述待检测图像与所述目标模板图像的比对情况,确定所述待检测图像的检测结果;
其中,所述标准图像生成模型包括基于正常状态的目标对象的原始图像对生成对抗网络模型训练得到的图像生成模型。
可选的,所述第一确定模块520,具体用于:根据所述待检测图像和所述模板图像构建目标损失函数;基于所述目标损失函数,确定所述待检测图像与模板图像的相似程度。
可选的,所述第一确定模块520在根据所述待检测图像和所述模板图像构建目标损失函数时,根据待检测图像与模板图像中相对应元素项的差值构建第一损失函数;根据标准图像判别模型从所述待检测图像和模板图像中提取的特征数据构建第二损失函数;对所述第一损失函数和第二损失函数进行加权求和,得到所述目标损失函数。
可选的,所述第一确定模块520在根据待检测图像与模板图像中相对应元素项的差值构建第一损失函数时,计算待检测图像与模板图像中相对应像素的差值,得到像素差值集合;计算所述像素差值集合中所有像素差值的和值,得到所述第一损失函数。
可选的,所述第一确定模块520在根据标准图像判别模型从所述待检测图像和模板图像中提取的特征数据构建第二损失函数时,利用标准图像判别模型的特征提取层提取所述待检测图像的特征数据和模板图像的特征数据;计算同一特征提取层提取的待检测图像的特征数据与模板图像的特征数据的差值,得到对应于所述特征提取层的特征数据差值;计算所有特征提取层的特征数据差值的和值,得到所述第二损失函数。
可选的,所述第二获取模块530,具体用于:采用梯度下降算法对所述目标损失函数进行优化;当所述目标损失函数达到目标损失值时,确定所述相似程度达到预设条件;获取所述目标损失函数达到目标损失值时的模板图像,将所述模板图像作为目标模板图像。
可选的,所述第二确定模块540,具体用于:确定所述待检测图像与所述目标模板图像的差值图像;根据所述差值图像生成所述待检测图像的检测结果。
请参见图6,其所示为本发明实施例提供的另一种图像检测装置,该装置可以包括:第一获取模块510、第一确定模块520、第二获取模块530、第二确定模块540和训练模块550。
其中,第一获取模块510、第一确定模块520、第二获取模块530和第二确定模块540的具体功能可以参见前述图5所示装置实施例中的对应模块的功能,在此不再赘述。
训练模块550,用于基于正常状态的目标对象的原始图像对生成对抗网络模型进行训练。可选的,如图7所示,该训练模块550可以包括:
构建模块5510,用于构建生成对抗网络模型。
训练子模块5520,用于采用所述正常状态的目标对象的原始图像训练所述生成对抗网络模型。
调整模块5530,用于在所述图像判别模型的输出结果达到预设目标值时,按照预设分辨率增值调整所述图像生成模型的分辨率,以及所述原始图像的分辨率。
请参见图8,其所示为本发明实施例提供的另一种图像检测装置,该装置可以包括:第一获取模块510、第一确定模块520、第二获取模块530、第二确定模块540、接收模块560、第三确定模块570和展示模块580。
其中,第一获取模块510、第一确定模块520、第二获取模块530和第二确定模块540的具体功能可以参见前述图5所示装置实施例中的对应模块的功能,在此不再赘述。
接收模块560,用于接收对显示的所述差值图像中区域的选择信号。
第三确定模块570,用于根据所述选择信号,确定所述差值图像中的目标区域。
展示模块580,用于展示所述待检测图像以及目标模板图像中对应于所述目标区域的匹配区域。
请参见图9,其所示为本发明实施例提供的另一种图像检测装置,该装置可以包括:第一获取模块510、第一确定模块520、第二获取模块530、第二确定模块540、分析模块910和报告生成模块920。
其中,第一获取模块510、第一确定模块520、第二获取模块530和第二确定模块540的具体功能可以参见前述图5所示装置实施例中的对应模块的功能,在此不再赘述。
分析模块910,用于根据所述待检测医学图像的检测结果分析所述目标对象的病灶情况,得到病灶分析结果。该病灶分析结果可以包括目标对象所属的机体是否健康,以及病灶的类型、病灶处于机体中的具体部位等信息。
报告生成模块,用于根据所述病灶分析结果生成目标对象的病灶报告。
本发明实施例的图像检测装置基于正常状态的目标对象的原始图像来训练生成对抗网络模型,以得到标准图像生成模型和标准图像判别模型,并利用标准图像生成模型生成的模板图像进行待检测图像的检测,从而不需要预先收集大量的包含异常状态的目标对象的训练图像,因此也就不需要对训练图像进行标注,只需正常状态的目标对象的图像作为训练图像即可,大大降低了训练图像的收集难度,节省了大量的人力和物力;并且检测结果是基于待检测图像与目标模板图像的比对情况确定的,使得检测结果的可靠性也大大提高。
此外,本发明实施例通过展示待检测图像以及目标模板图像中对应于目标区域的匹配区域,使得用户可以比较的进行图像的查看,以获得更多有价值的信息。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
请参阅图10,其所示为本发明实施例提供的一种终端的结构示意图,该终端用于实施上述实施例中提供的图像检测方法。具体来讲:
终端1000可以包括RF(Radio Frequency,射频)电路1010、包括有一个或一个以上计算机可读存储介质的存储器1020、输入单元1030、显示单元1040、视频传感器1050、音频电路1060、WiFi(wireless fidelity,无线保真)模块1070、包括有一个或者一个以上处理核心的处理器1080、以及电源100等部件。本领域技术人员可以理解,图10中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路1010可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器1080处理;另外,将涉及上行的数据发送给基站。通常,RF电路1010包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier,低噪声放大器)、双工器等。此外,RF电路1010还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯***)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA(Code Division Multiple Access,码分多址)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(Short Messaging Service,短消息服务)等。
存储器1020可用于存储软件程序以及模块,处理器1080通过运行存储在存储器1020的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端1000的使用所创建的数据(比如视频数据、电话本等)等。此外,存储器1020可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器1020还可以包括存储器控制器,以提供处理器1080和输入单元1030对存储器1020的访问。
输入单元1030可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元1030可包括图像输入设备1031以及其他输入设备1032。图像输入设备1031可以是摄像头,也可以是光电扫描设备。除了图像输入设备1031,输入单元1030还可以包括其他输入设备1032。具体地,其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及终端1000的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元1040可包括显示面板1041,可选的,可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板1041。
终端1000可包括至少一种视频传感器1050,视频传感器用于获取用户的视频信息。终端1000还可以包括其它传感器(未示出),比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度,接近传感器可在终端1000移动到耳边时,关闭显示面板1041和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端1000还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
视频电路1060、扬声器1061,传声器1062可提供用户与终端1000之间的视频接口。音频电路1060可将接收到的音频数据转换后的电信号,传输到扬声器1061,由扬声器1061转换为声音信号输出;另一方面,传声器1062将收集的声音信号转换为电信号,由音频电路1060接收后转换为音频数据,再将音频数据输出处理器1080处理后,经RF电路1011以发送给比如另一终端,或者将音频数据输出至存储器1020以便进一步处理。音频电路1060还可能包括耳塞插孔,以提供外设耳机与终端1000的通信。
WiFi属于短距离无线传输技术,终端1000通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图10示出了WiFi模块1070,但是可以理解的是,其并不属于终端1000的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是终端1000的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1020内的软件程序和/或模块,以及调用存储在存储器1020内的数据,执行终端1000的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1080可包括一个或多个处理核心;优选的,处理器1080可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1080中。
终端1000还包括给各个部件供电的电源100(比如电池),优选的,电源可以通过电源管理***与处理器1080逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源100还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,终端1000还可以包括蓝牙模块等,在此不再赘述。
具体在本实施例中,终端1000还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于执行上述方法实施例提供的图像检测方法的指令。
本发明的实施例还提供了一种计算机存储介质,所述计算机存储介质可设置于终端之中以保存用于实现方法实施例中的一种图像检测方法相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集可由终端的处理器加载并执行以实现上述方法实施例提供的图像检测方法。
可选地,在本实施例中,上述计算机存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种图像检测方法,其特征在于,所述方法包括:
获取目标对象的待检测图像;
确定所述待检测图像与模板图像集中模板图像的相似程度;所述模板图像集包括基于标准图像生成模型生成的目标对象的标准图像;所述标准图像生成模型包括基于正常状态的目标对象的原始图像对生成对抗网络模型训练得到的图像生成模型;所述目标对象的标准图像为正常状态的目标对象的图像,所述正常状态的目标对象是指不存在病灶的目标对象;
从所述模板图像集中获取所述相似程度达到预设条件的目标模板图像;
确定所述待检测图像与所述目标模板图像的差值图像;
根据所述差值图像生成所述待检测图像的检测结果,所述待检测图像的检测结果包括标识出的异常部分。
2.根据权利要求1所述的图像检测方法,其特征在于,所述确定所述待检测图像与模板图像集中模板图像的相似程度包括:
根据所述待检测图像和所述模板图像构建目标损失函数;
基于所述目标损失函数,确定所述待检测图像与模板图像的相似程度。
3.根据权利要求2所述的图像检测方法,其特征在于,所述根据所述待检测图像和所述模板图像构建目标损失函数包括:
根据待检测图像与模板图像中相对应元素项的差值构建第一损失函数;
根据标准图像判别模型从所述待检测图像和模板图像中提取的特征数据构建第二损失函数;
对所述第一损失函数和第二损失函数进行加权求和,得到所述目标损失函数。
4.根据权利要求3所述的图像检测方法,其特征在于,所述根据待检测图像与模板图像中相对应元素项的差值构建第一损失函数包括:
计算待检测图像与模板图像中相对应像素的差值,得到像素差值集合;
计算所述像素差值集合中所有像素差值的和值,得到所述第一损失函数。
5.根据权利要求3所述的图像检测方法,其特征在于,所述根据标准图像判别模型从所述待检测图像和模板图像中提取的特征数据构建第二损失函数包括:
利用标准图像判别模型的特征提取层提取所述待检测图像的特征数据和模板图像的特征数据;
计算同一特征提取层提取的待检测图像的特征数据与模板图像的特征数据的差值,得到对应于所述特征提取层的特征数据差值;
计算所有特征提取层的特征数据差值的和值,得到所述第二损失函数。
6.根据权利要求1所述的图像检测方法,其特征在于,在根据所述差值图像生成所述待检测图像的检测结果之后,所述方法还包括:
接收对显示的所述差值图像中区域的选择信号;
根据所述选择信号,确定所述差值图像中的目标区域;
展示所述待检测图像以及目标模板图像中对应于所述目标区域的匹配区域。
7.一种图像检测装置,其特征在于,所述装置包括:
第一获取模块,用于获取目标对象的待检测图像;
第一确定模块,用于确定所述待检测图像与模板图像集中模板图像的相似程度;所述模板图像集包括基于标准图像生成模型生成的目标对象的标准图像;所述标准图像生成模型包括基于正常状态的目标对象的原始图像对生成对抗网络模型训练得到的图像生成模型;所述目标对象的标准图像为正常状态的目标对象的图像,所述正常状态的目标对象是指不存在病灶的目标对象;
第二获取模块,用于从所述模板图像集中获取所述相似程度达到预设条件的目标模板图像;
第二确定模块,用于确定所述待检测图像与所述目标模板图像的差值图像;根据所述差值图像生成所述待检测图像的检测结果,所述待检测图像的检测结果包括标识出的异常部分。
8.根据权利要求7所述的图像检测装置,其特征在于,所述待检测图像包括待检测医学图像;
相应的,所述装置还包括:
分析模块,用于根据所述待检测医学图像的检测结果分析所述目标对象的病灶情况,得到病灶分析结果;
报告生成模块,用于根据所述病灶分析结果生成目标对象的病灶报告。
9.一种计算机存储介质,其特征在于,该计算机存储介质存储有计算机程序指令,该计算机程序指令被执行时,实现如权利要求1-6 任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910328775.4A CN110070129B (zh) | 2019-04-23 | 2019-04-23 | 一种图像检测方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910328775.4A CN110070129B (zh) | 2019-04-23 | 2019-04-23 | 一种图像检测方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110070129A CN110070129A (zh) | 2019-07-30 |
CN110070129B true CN110070129B (zh) | 2021-07-16 |
Family
ID=67368535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910328775.4A Active CN110070129B (zh) | 2019-04-23 | 2019-04-23 | 一种图像检测方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110070129B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110517239A (zh) * | 2019-08-20 | 2019-11-29 | 东软医疗***股份有限公司 | 一种医学影像检测方法及装置 |
CN111131322B (zh) * | 2019-12-31 | 2022-04-15 | 奇安信科技集团股份有限公司 | 网络行为的检测方法、装置、计算机设备和存储介质 |
CN111640091B (zh) * | 2020-05-14 | 2023-08-22 | 阿丘机器人科技(苏州)有限公司 | 产品缺陷的检测方法及计算机存储介质 |
CN112686880B (zh) * | 2021-01-06 | 2021-09-14 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路机车部件异常检测的方法 |
CN113129299A (zh) * | 2021-05-07 | 2021-07-16 | 广东拓斯达科技股份有限公司 | 模板确定方法、装置、计算机设备及存储介质 |
CN114354623A (zh) * | 2021-12-30 | 2022-04-15 | 苏州凌云视界智能设备有限责任公司 | 弱印痕提取算法、装置、设备和介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102196251A (zh) * | 2011-05-24 | 2011-09-21 | 中国科学院深圳先进技术研究院 | 智慧城市智能监控方法和*** |
CN108615073A (zh) * | 2018-04-28 | 2018-10-02 | 北京京东金融科技控股有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
CN108921107A (zh) * | 2018-07-06 | 2018-11-30 | 北京市新技术应用研究所 | 基于排序损失和Siamese网络的行人再识别方法 |
CN109271960A (zh) * | 2018-10-08 | 2019-01-25 | 燕山大学 | 一种基于卷积神经网络的人数统计方法 |
CN109493308A (zh) * | 2018-11-14 | 2019-03-19 | 吉林大学 | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 |
CN109544534A (zh) * | 2018-11-26 | 2019-03-29 | 上海联影智能医疗科技有限公司 | 一种病灶图像检测装置、方法和计算机可读存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103150557B (zh) * | 2013-02-26 | 2015-10-28 | 北京航空航天大学 | 一种基于机器视觉的显示终端操作响应匹配检测装置 |
CN107066829A (zh) * | 2017-05-26 | 2017-08-18 | 西安华虹智能科技有限公司 | 基于云计算的病理分析***及方法 |
CN108230239A (zh) * | 2017-12-25 | 2018-06-29 | 中国科学院自动化研究所 | 人脸表情图像合成装置 |
-
2019
- 2019-04-23 CN CN201910328775.4A patent/CN110070129B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102196251A (zh) * | 2011-05-24 | 2011-09-21 | 中国科学院深圳先进技术研究院 | 智慧城市智能监控方法和*** |
CN108615073A (zh) * | 2018-04-28 | 2018-10-02 | 北京京东金融科技控股有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
CN108921107A (zh) * | 2018-07-06 | 2018-11-30 | 北京市新技术应用研究所 | 基于排序损失和Siamese网络的行人再识别方法 |
CN109271960A (zh) * | 2018-10-08 | 2019-01-25 | 燕山大学 | 一种基于卷积神经网络的人数统计方法 |
CN109493308A (zh) * | 2018-11-14 | 2019-03-19 | 吉林大学 | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 |
CN109544534A (zh) * | 2018-11-26 | 2019-03-29 | 上海联影智能医疗科技有限公司 | 一种病灶图像检测装置、方法和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110070129A (zh) | 2019-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110070129B (zh) | 一种图像检测方法、装置及存储介质 | |
CN110866897B (zh) | 一种图像检测方法及计算机可读存储介质 | |
CN110210571B (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
CN111598900B (zh) | 一种图像区域分割模型训练方法、分割方法和装置 | |
CN110704661B (zh) | 一种图像分类方法和装置 | |
CN107895369B (zh) | 图像分类方法、装置、存储介质及设备 | |
CN110443794B (zh) | 一种基于病理图像的图像状态确定方法、装置以及*** | |
CN113284142B (zh) | 图像检测方法、装置、计算机可读存储介质及计算机设备 | |
CN110263939A (zh) | 一种表示学习模型的评估方法、装置、设备及介质 | |
CN110610181A (zh) | 医学影像识别方法及装置、电子设备及存储介质 | |
CN107909583A (zh) | 一种图像处理方法、装置及终端 | |
CN110347858B (zh) | 一种图片的生成方法和相关装置 | |
CN109063558A (zh) | 一种图像分类处理方法、移动终端及计算机可读存储介质 | |
CN114722937B (zh) | 一种异常数据检测方法、装置、电子设备和存储介质 | |
CN111986250A (zh) | 物体体积测量方法、装置、测量设备及存储介质 | |
CN106296634B (zh) | 一种检测相似图像的方法和装置 | |
CN113723159A (zh) | 场景识别模型训练方法、场景识别方法及模型训练装置 | |
CN110083742B (zh) | 一种视频查询方法和装置 | |
US10706282B2 (en) | Method and mobile terminal for processing image and storage medium | |
CN113421211A (zh) | 光斑虚化的方法、终端设备及存储介质 | |
CN115393323B (zh) | 一种目标区域获得方法、装置、设备和存储介质 | |
CN113780291B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN113283552A (zh) | 图像的分类方法、装置、存储介质及电子设备 | |
CN114140655A (zh) | 图像分类方法、装置、存储介质及电子设备 | |
CN113902682A (zh) | 基于医疗图像的诊断方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |