发明内容
本申请提供一种图像检测方法和相关训练方法及相关装置、设备及介质。
本申请第一方面提供了一种图像检测模型的训练方法,包括:获取样本图像;其中,样本图像中标注有目标对象的若干样本位置;利用预设检测模型和图像检测模型分别对样本图像进行检测,得到目标对象的第一预测信息和第二预测信息;其中,第一预测信息包括若干第一预测位置及其第一预测概率值,第二预测信息包括若干第二预测位置及其第二预测概率值;过滤第二预测信息中与第一参考位置对应的第二预测位置及其第二预测概率值,得到第三预测信息,其中,第一参考位置为不与任一样本位置对应且第一预测概率值满足第一预设条件的第一预测位置;基于第三预测信息,调整图像检测模型的网络参数。
因此,通过获取样本图像,且样本图像中标注有目标对象的若干样本位置,并利用预设检测模型和图像检测模型分别对样本图像进行检测,得到目标对象的第一预测信息和第二预测信息,且第一预测信息包括若干第一预测位置及其第一预测概率值,第二预测信息包括若干第二预测位置及其第二预测概率值,在此基础上,过滤第二预测信息中与第一参考位置对应的第二预测位置及其第二预测概率值,得到第三预测信息,且第一参考位置为不与任一样本位置对应且第一预测概率值满足第一预设条件的第一预测位置,并进一步基于第三预测信息,调整图像检测模型的网络参数,即在图像检测模型的训练过程中,可以通过筛选预设检测模型所预测到的第一预测位置中不与任一样本位置对应且第一预测概率值满足第一预设条件的第一参考位置,由于不与任一样本位置对应的第一预测位置可视为假阳位置,而预测概率值又与预测损失相关,故第一参考位置可视为潜在的漏标位置,基于此通过过滤第二预测信息中与潜在的漏标位置对应的第二预测位置及其第二预测概率值得到第三预测信息,以通过第三预测信息调整图像检测模型的网络参数,能够尽可能地减轻漏标对模型性能的影响,提高图像检测模型的性能,以提高图像检测的准确性。
其中,图像检测模型是经过若干轮训练得到的,其中,在当前训练轮次满足第二预设条件的情况下,执行利用预设检测模型和图像检测模型分别对样本图像进行检测,得到目标对象的第一预测信息和第二预测信息的步骤以及后续步骤,以对图像检测模型进行训练,并在当前训练轮次不满足第二预设条件的情况下,训练预设检测模型。
因此,通过若干轮训练图像检测模型,且在当前训练轮次满足第二预设条件时,对图像检测模型进行训练,而在当前训练轮次不满足第二预设条件时,对预设检测模型进行训练,即在图像检测模型的训练过程中,预设检测模型也在其中交替地进行训练,故能够在训练过程中,使图像检测模型和预设检测模型相互教学,相较于单一地训练图像检测模型,能够有利于减少累积误差,从而能够进一步尽可能地减轻漏标对模型性能的影响。
其中,训练预设检测模型的步骤包括:执行利用预设检测模型和图像检测模型分别对样本图像进行检测,得到目标对象的第一预测信息和第二预测信息的步骤;过滤第一预测信息中与第二参考位置对应的第一预测位置及其第一预测概率值,得到第四预测信息;其中,第二参考位置为不与任一样本位置对应且第二预测概率值满足第一预设条件的第二预测位置;基于第四预测信息,调整预设检测模型的网络参数。
因此,在训练预设检测模型的过程中,同样先执行利用预设检测模型和图像检测模型分别对样本图像进行检测,得到目标对象的第一预测信息和第二预测信息的步骤,基于此再过滤第一预测信息中与第二参考位置对应的第一预测位置及其第一预测概率值,得到第四预测信息,且第二参考位置为不与任一样本位置对应且第二预测概率值满足第一预设条件的第二预测位置,并基于第四预测信息,调整预设检测模型的网络参数,即在预设检测模型的训练过程中,可以通过筛选图像检测模型所预测到的第二预测位置中不与任一样本位置对应且第二预测概率值满足第一预设条件的第二参考位置,由于不与任一样本位置对应的第二预测位置可视为假阳位置,而预测概率值又与预测损失相关,故第二参考位置可视为潜在的漏标位置,基于此通过过滤第一预测信息中与潜在的漏标位置对应的第一预测位置及其第一预测概率值得到第四预测信息,以通过第四预测信息调整预设检测模型的网络参数,能够尽可能地减轻漏标对模型性能的影响,且由于两者均能够尽可能减轻漏标对自身性能的影响,进而在预设图像检测模型与图像检测模型的交替训练过程中,能够有利于提高两者相互教学的质量,有利于提高模型性能。
其中,第二预设条件包括以下任一者:当前训练轮次为奇数、当前训练轮次为偶数、当前训练轮次除以第一数值的余数大于第二数值;其中,第二数值小于第一数值。
因此,通过将第二预设条件设置为当前训练轮次为奇数或者当前训练轮次为偶数,能够使得图像检测模型和预设检测模型按照一次比一次的训练策略均衡地进行训练,而通过将第二预设条件设置为当前训练轮次除以第一数值的余数大于第二数值,且第二数值小于第一数值,能够使得图像检测模型和预设检测模型按照多次比一次(或一次比多次)的训练策略有侧重地进行训练。
其中,在训练图像检测模型的情况下,第一预设条件包括:第一预测概率值高于预设概率阈值;在训练预设检测模型的情况下,第一预设条件包括:第二预测概率值高于预设概率阈值。
因此,通过在训练图像检测模型的情况下,将第一预设条件设置为第一预测概率值高于预设概率阈值,以及在训练预设检测模型的情况下,将第一预设条件设置为第二预测概率值高于预设概率阈值,能够在图像检测模型和预设检测模型的训练过程中,筛选出损失较大的假阳位置作为潜在的漏标位置,并忽略其对训练图像检测模型的影响,从而能够有利于进一步尽可能地减轻漏标对模型性能的影响。
其中,预设检测模型和图像检测模型具有相同网络结构;和/或,样本图像包括骨区域,目标对象包括骨折。
因此,预设检测模型和图像检测模型具有相同的网络结构,即用于教学图像检测模型的预设检测模型具有与图像检测模型相同的网络结构,能够有利于降低图像检测模型的训练难度;而通过将样本图像设置为包括骨区域,且目标对象设置为包括骨折,能够使图像检测模型应用于骨折检测。
其中,图像检测模型包括特征提取网络和结果预测网络,特征提取网络用于提取样本图像的样本特征图,结果预测网络用于利用样本特征图预测得到第二预测信息,且样本特征图的分辨率与样本图像的分辨率之间的比值在预设范围内。
因此,图像检测模型包括特征提取网络和结果预测网络,且特征提取网络用于提取样本图像的样本特征图,结果预测网络用于利用样本特征图预测得到第二预测信息,而样本特征图的分辨率与样本图像的分辨率之间的比值在预设范围内,即样本特征图的分辨率不会太大,从而能够减轻用于训练图像检测模型的硬件设备的负荷,且样本特征图的分辨率也不会太小,从而能够为结果预测网络提供足够的特征信息,有利于提高预测准确性。
本申请第二方面提供了一种图像检测方法,包括:获取待检测图像;利用图像检测模型对待检测图像进行检测,得到待检测图像中目标对象的检测信息;其中,检测信息包括目标对象在待检测图像中的目标位置,且图像检测模型是利用上述第一方面中的图像检测模型的训练方法得到的。
因此,通过获取待检测图像,并利用图像检测模型对待检测图像进行检测,得到待检测图像中目标对象的检测信息,且检测信息包括目标对象在待检测图像中的目标位置,而图像检测模型是利用上述第一方面中的图像检测模型的训练方法得到的,即在对图像检测模型的训练过程中,能够尽可能地减轻漏标对模型性能的影响,故能够有利于提高目标对象的检测信息的准确性。
其中,待检测图像为医学图像,待检测图像包括骨区域,且目标对象包括骨折;在利用图像检测模型对待检测图像进行检测,得到待检测图像中目标对象的检测信息之前,方法还包括:识别待检测图像中的骨区域,并从待检测图像中截取若干子图像;其中,若干子图像的集合覆盖骨区域;利用图像检测模型对待检测图像进行检测,得到待检测图像中目标对象的检测信息,包括:利用图像检测模型分别对若干子图像进行检测,得到每一子图像中目标对象的检测信息。
因此,待检测图像为医学图像,待检测图像包括骨区域,且目标对象包括骨折,在利用图像检测模型进行检测之前,先识别待检测图像中的骨区域,并在待检测图像中截取若干子图像,且若干子图像的集合可以覆盖骨区域,基于此可以利用图像检测模型分别对若干子图像进行检测,得到每一子图像中目标对象的检测信息,由于骨区域通常表现为条状区域,相较于遍历待检测图像进行检测可能会遍历非骨区域,仅对若干子图像进行检测,能够有利于大大减少图像检测所需时间,提高图像检测效率。
本申请第三方面提供了一种图像检测模型的训练装置,包括:图像获取模块、目标检测模块、信息过滤模块和参数调整模块,图像获取模块用于获取样本图像;其中,样本图像中标注有目标对象的若干样本位置;目标检测模块用于利用预设检测模型和图像检测模型分别对样本图像进行检测,得到目标对象的第一预测信息和第二预测信息;其中,第一预测信息包括若干第一预测位置及其第一预测概率值,第二预测信息包括若干第二预测位置及其第二预测概率值;信息过滤模块用于过滤第二预测信息中与第一参考位置对应的第二预测位置及其第二预测概率值,得到第三预测信息,其中,第一参考位置为不与任一样本位置对应且第一预测概率值满足第一预设条件的第一预测位置;参数调整模块用于基于第三预测信息,调整图像检测模型的网络参数。
本申请第四方面提供了一种图像检测装置,包括:图像获取模块和目标检测模块,图像获取模块用于获取待检测图像;目标检测模块用于利用图像检测模型对待检测图像进行检测,得到待检测图像中目标对象的检测信息;其中,检测信息包括目标对象在待检测图像中的目标位置,且图像检测模型是利用上述第三方面中的图像检测模型的训练装置得到的。
本申请第五方面提供了一种电子设备,包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的图像检测模型的训练方法,或实现上述第二方面中的图像检测方法。
本申请第六方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的图像检测模型的训练方法,或实现上述第二方面中的图像检测方法。
上述方案,通过获取样本图像,且样本图像中标注有目标对象的若干样本位置,并利用预设检测模型和图像检测模型分别对样本图像进行检测,得到目标对象的第一预测信息和第二预测信息,且第一预测信息包括若干第一预测位置及其第一预测概率值,第二预测信息包括若干第二预测位置及其第二预测概率值,在此基础上,过滤第二预测信息中与第一参考位置对应的第二预测位置及其第二预测概率值,得到第三预测信息,且第一参考位置为不与任一样本位置对应且第一预测概率值满足第一预设条件的第一预测位置,并进一步基于第三预测信息,调整图像检测模型的网络参数,即在图像检测模型的训练过程中,可以通过筛选预设检测模型所预测到的第一预测位置中不与任一样本位置对应且第一预测概率值满足第一预设条件的第一参考位置,由于不与任一样本位置对应的第一预测位置可视为假阳位置,而预测概率值又与预测损失相关,故第一参考位置可视为潜在的漏标位置,基于此通过过滤第二预测信息中与潜在的漏标位置对应的第二预测位置及其第二预测概率值得到第三预测信息,以通过第三预测信息调整图像检测模型的网络参数,能够尽可能地减轻漏标对模型性能的影响。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“***”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请图像检测模型的训练方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S11:获取样本图像。
本公开实施例中,样本图像中标注有目标对象的若干样本位置。需要说明的是,本公开实施例中,样本图像可以在若干处均存在目标对象,其中至少一处(如,一处、两处、三处等等)可以未标注,即样本图像中可以存在漏标注的情况,当然也可以均做标注,在此不做限定。
在一个实施场景中,在医学应用场景中,样本图像可以包括但不限于:CT图像、MR图像等;或者,在交通应用场景中,样本图像可以包括但不限于监控相机拍摄到的监控图像等,在此不做限定。其他场景可以以此类推,在此不再一一举例。
在另一个实施场景中,目标对象可以根据实际应用需要进行设置。以医学应用场景为例,在需要对骨折进行检测的情况下,样本图像可以包含骨区域(如,肋骨区域、股骨区域等),目标对象可以包括骨折(如,肋骨骨折、股骨骨折等);或者,在需要对血肿进行检测的情况下,样本图像可以包含脏器区域(如,胃部、大肠、小肠等),目标对象可以包括血肿(如,胃部血肿、大肠血肿、小肠血肿等);或者,以交通应用场景为例,在需要对非机动车进行检测的情况下,样本图像可以包括道路区域,目标对象可以包括非机动车(如,自行车、电动车、滑板车等)。其他场景可以以此类推,在此不再一一举例。
在又一个实施场景中,样本位置具体可以为样本图像中目标对象的图像区域的中心位置。例如,目标对象的图像区域可以为包含目标对象的方形区域(如,在样本图像为三维图像的情况下,方形区域可以为长方体区域,而在样本图像为二维图像的情况下,方形区域可以为矩形区域,在此不做限定),则样本位置可以为该方形区域的中心位置。
在又一个实施场景中,样本位置具体可以包括样本图像中属于目标对象的像素点位置。例如,样本图像中属于目标对象的像素点均可以标注为样本位置,以此可以区分样本图像中不属于目标对象的像素点。
步骤S12:利用预设检测模型和图像检测模型分别对样本图像进行检测,得到目标对象的第一预测信息和第二预测信息。
在一个实施场景中,如前所述,样本图像可以为三维图像,则图像检测模型可以为三维全卷积神经网络,在此情况下,图像检测模型中用于提取图像特征的卷积核可以为三维卷积核。具体地,三维卷积核的尺寸可以包括但不限于:3*3*3、5*5*5等,在此不做限定。上述方式,在样本图像为三维图像的情况下,图像检测模型为三维全卷积神经网络,能够捕获三维图像的空间信息,有利于提高图像检测模型的敏感性和特异性。
在一个具体的实施场景中,在样本图像为三维图像的情况下,预设检测模型中用于提取图像特征的卷积核也可以为三维卷积核,在此不做限定。此外,如前所述,三维卷积核的尺寸可以包括但不限于:3*3*3、5*5*5等,在此不做限定。
在另一个实施场景中,预设检测模型和图像检测模型可以具有相同的网络结构。例如,在图像检测模型为三维全卷积神经网络的情况下,预设检测模型也可以为三维全卷积神经网络,其他情况可以以此类推,在此不再一一举例。或者,预设检测模型和图像检测模型也可以具有不同的网络结构,且预设检测模型和图像检测模型均具备检测目标对象的能力。例如,预设检测模型和图像检测模型均可以包括用于提取图像特征的特征提取网络以及用于基于图像特征得到目标对象的预测信息的结果预测网络。
在又一个实施场景中,图像检测模型可以包括特征提取网络和结果预测网络,特征提取网络用于提取样本图像的样本特征图,结果预测网络用于利用样本特征图预测得到上述第二预测信息,且样本特征图的分辨率与样本图像的分辨率之间的比值在预设范围内。具体地,预设范围可以设置为1/8至1/2,或者,也可以设置为1/6至1/3,或者也可以设置为1/7至1/2,或者也可以设置为1/5至1/3等等,在此不做限定。例如,样本特征图的分辨率与样本图像的分辨率之间的比值可以为1/4、1/5等等,在此不做限定。上述方式,图像检测模型包括特征提取网络和结果预测网络,且特征提取网络用于提取样本图像的样本特征图,结果预测网络用于利用样本特征图预测得到第二预测信息,而样本特征图的分辨率与样本图像的分辨率之间的比值在预设范围内,即样本特征图的分辨率不会太大,从而能够减轻用于训练图像检测模型的硬件设备的负荷,且样本特征图的分辨率也不会太小,从而能够为结果预测网络提供足够的特征信息,有利于提高预测准确性。
本公开实施例中,第一预测信息包括若干第一预测位置及其第一预测概率值,第二预测信息包括若干第二预测位置及其第二预测概率值。需要说明的是,上述第一预测概率值和第二预测概率值表示模型预测准确的可能性。例如,第一预测位置的预测概率值可以表示图像检测模型准确预测第一预测位置的可能性,而第二预测位置的预测概率值可以表示预设图像检测模型准确预测第二预测位置的可能性。
在一个实施场景中,请结合参阅图2,图2是检测模型一实施例的框架示意图。需要说明的是,图2所示的检测模型即可以是图像检测模型,也可以是预设检测模型,还可以图像检测模型和预设检测模型均采用图2所示网络结构,在此不做限定。如图2所示,检测模型采用编码器-解码器(即encoder-decoder)的网络结构,编码器部分用于捕获上下文信息,而解码器部分用于精确定位目标。需要说明的是,图中矩形框内数字表示特征图的通道数,每一层左侧数字h3表示在给定尺寸为128*128*128的输入图像的情况下,三维特征图的尺寸。请继续参阅图2,检测模型以预处理层开始对输入图像进行预处理,预处理层可以包含尺寸为5*5*5的卷积块(卷积块包含5*5*5的卷积层以及位于卷积层之后的批归一化层、激活层),之后可以以步长(stride)2进行最大池化处理。编码器部分包含4层,每层包含3个残差单元,残差单元的具体结构可以参阅残差网络相关技术细节,在此不再赘述。在编码器部分,除最后一层之外,各层输出经步长为2且尺寸为2*2*2的卷积块下采样至一半分辨率。解码器部分包含2层,每层包含尺寸为2*2*2的转置卷积块以实现上采样,该转置卷积块连接于编解码桥接以及3个残差单元之后。此外,区别于一般的编解码跳接,编解码桥接包含2个残差单元,用于缓解编码器部分和解码器部分两者之间的语义分歧。
请继续参阅图2,对于给定三维输入图像
由解码器部分输出的特征图尺寸为
该特征图可以分别输入概率预测分支和位置预测分支,概率预测分支可以包含3个尺寸为3*3*3的卷积块以及一个具有单输出通道的卷积层,而位置预测分支可以包含3个尺寸为3*3*3的卷积块以及一个具有三输出通道的卷积层。即解码器部分所输出的特征图被概率预测分支用于预测得到尺寸为
的预测概率矩阵,并被位置预测分支用于预测得到尺寸为
的位置预测矩阵。
在一个实施场景中,请结合参阅图3,图3是本申请图像检测模型的训练方法一实施例的过程示意图。如图3所示,样本图像经过预设检测模型M2和图像检测模型M1分别检测,可以得到第一预测信息和第二预测信息。此外,第一预测信息中白色填充圆形和以白色填充的X均表示第一预测位置,且白色填充圆形所示的第一预测位置对应有样本位置,即预设检测模型M2在样本图像所标注的样本位置上也预测出了目标对象,而白色填充的X所示的第一预测位置与任一样本位置均不对应,即预设检测模型M2在样本图像未标注样本位置的区域预测出了目标对象,在此情况下,可以将与任一样本位置均不对应的第一预测位置(即,白色填充的X所示的第一预测位置)视为假阳(即False Positive,FP)目标。
需要说明的是,本公开实施例以及下述公开实施例中,如无特殊说明,若预测位置与样本位置对应,可以表示预测位置与样本位置处于相同位置,或者,也可以表示预测位置与样本位置相距不超过预设距离(如,2个像素距离、3个像素距离等等)。例如,在样本位置表示样本图像中存在目标对象的图像区域的中心位置的情况下,若预测位置与样本位置对应,则可以表示预测位置与样本相距不超过预设距离,或者,也可以表示预测位置与样本位置处于相同位置;或者,在样本位置包括样本图像中属于目标对象的像素点位置的情况下,若预测位置与样本位置对应,则可以表示预测位置与样本位置处于相同位置,在此不做限定。
步骤S13:过滤第二预测信息中与第一参考位置对应的第二预测位置及其第二预测概率值,得到第三预测信息。
本公开实施例中,第一参考位置为不与任一样本位置对应且第一预测概率值满足第一预设条件的第一预测位置。
在一个实施场景中,如前所述,若预测位置与样本位置对应,可以表示预测位置与样本位置处于相同位置,或者,也可以表示预测位置与样本位置相距不超过预设距离。故此,在预测位置与样本位置对应表示预测位置与样本位置处于相同位置的情况下,第一参考位置不与任一样本位置对应,可以表示第一参考位置不与任一样本位置处于相同位置;或者,在预测位置与样本位置对应表示预测位置与样本位置相距不超过预设距离的情况下,第一参考位置不与任一样本位置对应,可以表示第一参考位置与任一样本位置相距均超过预设距离。
在一个实施场景中,第一预设条件可以包括第一预测概率值高于预设概率阈值,预设概率阈值可以根据实际情况设置为0.5、0.6、0.7等等,在此不做限定。上述方式,通过将第一预设条件设置为第一预测概率值高于预设概率阈值,能够在图像检测模型的训练过程中,筛选出损失较大的假阳位置作为潜在的漏标位置,并忽略其对训练图像检测模型的影响,从而能够有利于进一步尽可能地减轻漏标对模型性能的影响。
在一个具体的实施场景中,如前所述,通过将第一预设条件设置为第一预测概率值高于预设概率阈值,能够筛选出损失较大的假阳位置作为潜在的漏标位置。也就是说,也可以基于不与任一样本位置对应的第一预测位置的第一预测概率值,计算第一预测位置的预测损失,且预测损失与第一预测概率值为正相关关系,即不与任一样本位置对应的第一预测位置的第一预测概率值越大,其预测损失也越大,在此情况下,可以设置一个预设损失阈值ε,并将不与任一样本位置对应的第一预测位置视为假阳目标,并将预测损失大于预设损失阈值ε的假阳目标,视为潜在的漏标位置。需要说明的是,预设损失阈值ε可以参考下述关于参考损失值的计算过程,在此暂不赘述。
在另一个具体的实施场景中,请结合参阅图3,如前所述,白色填充的X所示的第一预测位置与任一样本位置均不对应,即白色填充的X所示的第一预测位置可以视为假阳目标,为了便于区分,可以分别记为fp1、fp2、fp3和fp4。在此基础上,可以分别基于假阳目标fp1、假阳目标fp2、假阳目标fp3和假阳目标fp4的第一预测概率值,计算得到假阳目标fp1的预测损失L(fp1)为7.8,假阳目标fp2的预测损失L(fp2)为0.4,假阳目标fp3的预测损失L(fp3)为5.2,假阳目标fp4的预测损失L(fp4)为2.2,且L(fp1)和L(fp3)均大于预设损失阈值ε,故可以将假阳目标fp1和假阳目标fp3均视为潜在的漏标位置,即本公开实施例所述的第一参考位置。其他情况可以以此类推,在此不再一一举例。需要说明的是,如前所述,预设损失阈值ε可以参考下述关于参考损失值的计算过程,在此暂不赘述。
在一个实施场景中,通过过滤第二预测信息中与第一参考位置对应的第二预测位置及其第二预测概率值,得到第三预测信息,并在后续训练过程中,基于第三预测信息,调整图像检测模型的网络参数,即能够尽可能地忽略潜在的漏标位置对于训练图像检测模型的影响。
在一个具体的实施场景,请继续结合参阅图3,如前所述,假阳目标fp1和假阳目标fp3均视为潜在的漏标位置,即本公开实施例所述的第一参考位置,而如图3所示,第二预测信息中包含一个与第一参考位置fp3对应的第二预测位置(即图3图像检测模型M1向前传播输出的第二预测信息中以白色填充的X所示的位置),并将该第二预测位置及其第二预测概率值过滤出第二预测信息。其他情况可以以此类推,在此不再一一举例。
在一个实施场景中,还可以进一步引入第一过滤机制,以进一步从不与任一样本位置对应且第一预测概率值满足第一预设条件的第一预测位置中挑选出符合第一过滤条件的第一预测位置,作为第一参考位置。第一过滤条件可以包括:第一预测概率值按照从高到低排序位于前预设序数值位的第一预测位置。此外,考虑到神经网络的记忆效应,预设数值可以设置为训练轮次正相关。为了便于描述,不与任一样本位置对应且第一预测概率值满足第一预设条件的第一预测位置可以记为FP={fp1,fp2,L,fpi},第一参考位置FPex可以表示为:
FPex=argmaxFP:|FP|<nLfocal(FP)……(1)
上述公式(1)中,n表示第一参考位置FPex的数量,Lfocal(FP)表示从n个第一预测位置的总损失值,argmax表示求取最大值,即需要在上述第一预测位置FP={fp1,fp2,L,fpi}选出n个第一预测位置,作为第一参考位置,且能够确保这n个第一预测位置的总损失值Lfocal(FP)最大。如前所述,损失值与第一预测概率值可以为正相关关系,在此情况下,可以选取第一预测概率值按照从高到低排序位于前n位的第一预测位置,作为第一参考位置。具体地,预设数值n可以表示为:
n=λ(e)×batchsize……(2)
上述公式(2)中,e表示训练轮次,batchsize表示批训练时的批样本大小(即一次训练所输入的样本数量),λ用于控制预设数值。例如,在初始训练阶段,λ可以为0,以使模型学习共有模式,随着训练轮次的增加,λ可以逐渐增大。
在另一个实施场景中,上述第一过滤机制在批样本较大时具有较优性能,然而在三维场景中,由于三维图像对于计算资源的高消耗,通常批样本较小,为了适应于三维场景,还可以引入第二过滤机制,具体可以对于当前训练轮次及其之前若干训练轮次分别执行:获取不与任一样本位置对应且第一预测概率值满足第一预设条件的第一预测位置的总损失值;并从当前训练轮次及其之前若干训练轮次的总损失值中,选取预设数值个满足第二筛选条件的总损失值,作为参考损失值;在当前训练轮次,可以从不与任一样本位置对应且第一预测概率值满足第一预设条件的第一预测位置中,挑选出第一预测位置的损失值大于总损失值的第一预测位置,作为第一参考位置。第二筛选条件可以包括:总损失值按照从高到低排序排在前预设数值位。为了便于描述,如前所述,当前轮次中,不与任一样本位置对应且第一预测概率值满足第一预设条件的第一预测位置可以记为FP={fp1,fp2,L,fpi},第一参考位置FPex可以表示为:
FPex={fpi|Llocal(fpi)>ε,fpi∈FP}……(3)
上述公式(3)中,Llocal(fpi)表示不与任一样本位置对应且第一预测概率值满足第一预设条件的第一预测位置中第i个第一预测位置的损失值,ε表示参考损失值。其中,参考损失值ε可以表示为:
ε=maxn(Lfocal(FPh))……(4)
上述公式(4)中,FPh表示当前训练轮次及其之前若干训练轮次各自分别所预测得到的不与任一样本位置对应且第一预测概率值满足第一预设条件的第一预测位置,n表示预设数值,max表示取最大值。为了便于描述,FPh可以表示为:
FPh=(FP,FP-1,L,FP-k+1)……(5)
上述公式(5)中,k表示当前训练轮次及其之前若干训练轮次的总轮次数,预设数值可以与总轮次数正相关、且与训练轮次正相关。具体地,预设数值n可以表示为:
n=λ(e)×batchsize×k……(6)
上述公式(6)中,λ、e以及batchsize的含义,可以参阅前述相关描述,在此不再赘述。
步骤S14:基于第三预测信息,调整图像检测模型的网络参数。
在一个实施场景中,可以基于第三预测信息,计算图像检测模型的预测损失,并基于该预测损失,调整图像检测模型的网络参数。具体地,可以采用诸如L1损失函数、L2损失函数等损失函数计算预测损失,具体计算过程可以参阅L1损失函数、L2损失函数的相关公式,在此不再赘述。此外,基于预测损失,可以进行梯度回传,通过梯度下降优化图像检测模型的网络参数,故可以忽略上述潜在的漏标位置的梯度贡献。
在一个实施场景中,预设检测模型可以预先在常规目标检测任务上进行预训练,再利用少量不存在漏标的样本图像对预训练之后的预设检测模型进行微调。此时,预设检测模型一方面可以适应于对样本图像的目标检测任务,另一方面通过少量不存在漏标的样本图像的微调训练,预设检测模型也能够具备一定的检测准确性。在此之后即可执行本公开实施例中的步骤,以对图像检测模型进行训练。需要说明的是,以医学应用场景为例,在常规目标检测任务进行预训练的步骤可以包括:获取常规医学图像,其中,常规医学图像中标注有存在医学对象的实际位置,该医学对象可以不同于目标对象,如在目标对象包括肋骨骨折的情况下,医学对象可以包括股骨骨折,其他情况可以以此类推,在此不再一一举例。此外,为了提高预设检测模型在常规目标检测任务的准确性,常规医学图像的数量可以尽可能地多,如,可以采集上千张常规医学图像。在此基础上,可以利用预设检测模型对常规医学图像进行检测,得到医学对象的预测位置,从而可以基于预测位置与实际位置之间的差异,调整预设检测模型的网络参数,并重复上述利用预设检测模型对常规医学图像进行检测的步骤以及后续步骤,直至预设检测模型在常规目标检测任务上收敛,例如,基于预测位置与实际位置所计算得到的预测损失小于预设损失阈值。在此基础上,可以利用少量样本图像,进行迁移学习,其中样本图像中标注有存在目标对象的样本位置,且这些少量的样本图像中不存在漏标的目标对象。具体地,可以利用预训练之后的预设检测模型对样本图像进行检测,得到目标对象的预测位置,并基于目标对象的样本位置和预测位置之间的差异,再次调整预设检测模型的网络参数,以及重新执行上述利用预训练之后的预设检测模型对样本图像进行检测的步骤以及后续,直至预设检测模型在少量样本图像上训练收敛。
在另一个实施场景中,也可以不必预先对预设检测模型进行训练。如前所述,图像检测模型可以是经过若干轮训练得到的,且在当前训练轮次满足第二预设条件的情况下,可以执行上述步骤S12以及后续步骤,以在当前训练轮次对图像检测模型进行训练,并在当前训练轮次不满足第二预设条件的情况下,训练预设检测模型。上述方式,通过若干轮训练图像检测模型,且在当前训练轮次满足第二预设条件时,对图像检测模型进行训练,而在当前训练轮次不满足第二预设条件时,对预设检测模型进行训练,即在图像检测模型的训练过程中,预设检测模型也在其中交替地进行训练,故能够在训练过程中,使图像检测模型和预设检测模型相互教学,相较于单一地训练图像检测模型,能够有利于减少累积误差,从而能够进一步尽可能地减轻漏标对模型性能的影响。
在一个具体的实施场景中,可以通过设置上述第二预设条件,来调整预设检测模型和图像检测模型的交替训练策略。例如,第二预设条件可以包括当前训练轮次为奇数,即在当前训练轮次为奇数时,可以对图像检测模型进行训练,而在当前训练轮次不为奇数时,可以对预设检测模型进行训练;或者,第二预设条件也可以包括当前训练轮次为偶数,即在当前训练轮次为偶数时,可以对图像检测模型进行训练,而在当前训练轮次为奇数时,可以对预设检测模型进行训练。上述方式,通过将第二预设条件设置为当前训练轮次为奇数或者当前训练轮次为偶数,能够使得图像检测模型和预设检测模型按照一次比一次的训练策略均衡地进行训练。此外,第二预设条件也可以设置为包括:当前训练轮次除以第一数值的余数大于第二数值,且第二数值小于第一数值。以第一数值等于4且第二数值等于0为例,在当前训练轮次除以4的余数大于0的情况下,可以训练图像检测模型,即在当前训练轮次为1、2、3、5、6、7、9、10、11等不为4的整数倍时,可以训练图像检测模型,而在当前训练轮次除以4的余数不大于0的情况下,可以训练预设检测模型,即在当前训练轮次为4、8、12等为4的整数倍时,可以训练预设检测模型,在此情况下,图像检测模型和预设检测模型可以按照三次比一次的训练策略进行训练,其他情况可以以此类推,在此不再一一举例。上述方式,通过将第二预设条件设置为当前训练轮次除以第一数值的余数大于第二数值,且第二数值小于第一数值,能够使得图像检测模型和预设检测模型按照多次比一次(或一次比多次)的训练策略有侧重地进行训练。
在另一个具体的实施场景中,图像检测模型和预设检测模型交替训练的过程中,若当前训练轮次需训练预设检测模型,则可以执行上述步骤S12,即利用预设检测模型和图像检测模型分别对样本图像进行目标检测,得到目标对象的第一预测信息和第二预测信息,之后再过滤第一预测信息中与第二参考位置对应的第一预测位置及其第一预测概率值,得到第四预测信息,且第二参考位置为不与任一样本位置对应且第二预测概率值满足第一预设条件的第二预测位置,并基于第四预测信息,调整预设检测模型的网络参数。关于第二参考位置、调整网络参数的相关细节,可以参考前述训练图像检测模型的相关描述,在此不再赘述。需要说明的是,在训练预设检测模型的过程中,上述第一预设条件包括第二预测概率值高于预设概率阈值。上述方式,在训练预设检测模型的过程中,同样先执行利用预设检测模型和图像检测模型分别对样本图像进行目标检测,得到目标对象的第一预测信息和第二预测信息的步骤,基于此再过滤第一预测信息中与第二参考位置对应的第一预测位置及其第一预测概率值,得到第四预测信息,且第二参考位置为不与任一样本位置对应且第二预测概率值满足第一预设条件的第二预测位置,并基于第四预测信息,调整预设检测模型的网络参数,即在预设检测模型的训练过程中,可以通过筛选图像检测模型所预测到的第二预测位置中不与任一样本位置对应且第二预测概率值满足第一预设条件的第二参考位置,由于不与任一样本位置对应的第二预测位置可视为假阳位置,而预测概率值又与预测损失相关,故第二参考位置可视为潜在的漏标位置,基于此通过过滤第一预测信息中与潜在的漏标位置对应的第一预测位置及其第一预测概率值得到第四预测信息,以通过第四预测信息调整预设检测模型的网络参数,能够尽可能地减轻漏标对模型性能的影响,且由于两者均能够尽可能减轻漏标对自身性能的影响,进而在预设图像检测模型与图像检测模型的交替训练过程中,能够有利于提高两者相互教学的质量,有利于提高模型性能。
需要说明的是,在训练预设检测模型的过程中,也可以采用前述公开实施例所述的第一过滤机制或第二过滤机制。例如,在采用第一过滤机制时,可以进一步从不与任一样本位置对应且第二预测概率值满足第一预设条件的第二预测位置中挑选出符合第一过滤条件的第二预测位置,作为第二参考位置。第一过滤条件可以包括:第二预测概率值按照从高到低排序位于前预设序数值位的第二预测位置;或者,在采用第二过滤机制时,可以对于当前训练轮次及其之前若干训练轮次分别执行:获取不与任一样本位置对应且第二预测概率值满足第一预设条件的第二预测位置的总损失值;并从当前训练轮次及其之前若干训练轮次的总损失值中,选取预设数值个满足第二筛选条件的总损失值,作为参考损失值;在当前训练轮次,可以从不与任一样本位置对应且第二预测概率值满足第一预设条件的第二预测位置中,挑选出第二预测位置的损失值大于总损失值的第二预测位置,作为第二参考位置。第二筛选条件可以包括:总损失值按照从高到低排序排在前预设数值位。具体可以参阅前述相关描述,在此不再赘述。
在又一个具体的实施场景中,请结合参阅图3,如图3所示,在训练图像检测模型M1时,预设检测模型M2可以选择预测损失较大的假阳(即FP)目标作为潜在的漏标位置,并忽略这些潜在的漏标位置对图像检测模型M1梯度更新的贡献;反之,在训练预设检测模型M2时,图像检测模型M1可以选择预测损失较大的假阳(即FP)目标作为潜在的漏标位置,并忽略这些潜在的漏标位置对预设检测模型M2梯度更新的贡献,在图像检测模型M1和预设检测模型M2交替训练过程中,有效利用了神经网络的记忆特征,即网络在拟合特定样本前先拟合共有模式,而漏标位置在训练早期因不符合共有模式而具有较大的损失,故通过忽略其对梯度更新的贡献,即可排除其影响,使得网络专注于对共有模式的学习,并在两个模型的交替训练过程中,通过相互教学可以有效减少单一模型训练而可能带来的累积误差。
在一个实施场景中,如前所述,样本图像中可以包括骨区域,由于骨区域在样本图像中通常表现为长条形(如肋骨等),故直接对样本图像进行检测,会导致在检测过程中所遍历的图像区域有可能并非骨区域,从而减慢检测效率。有鉴于此,为了提高检测效率,在获取到样本图像之后,可以先识别样本图像中的骨区域,并从样本图像中截取若干样本子图像,且若干样本子图像的集合可以覆盖骨区域,在此基础上,在利用预设检测模型和图像检测模型分别对样本图像进行目标检测时,可以利用预设检测模型和图像检测模型分别对若干样本子图像进行目标检测,从而能够仅对骨区域进行目标检测,进而能够大大提升检测效率。此外,识别肋骨区域和截取样本子图像的方式可以参阅下述公开实施例中相关描述,在此暂不赘述。
上述方案,通过获取样本图像,且样本图像中标注有目标对象的若干样本位置,并利用预设检测模型和图像检测模型分别对样本图像进行检测,得到目标对象的第一预测信息和第二预测信息,且第一预测信息包括若干第一预测位置及其第一预测概率值,第二预测信息包括若干第二预测位置及其第二预测概率值,在此基础上,过滤第二预测信息中与第一参考位置对应的第二预测位置及其第二预测概率值,得到第三预测信息,且第一参考位置为不与任一样本位置对应且第一预测概率值满足第一预设条件的第一预测位置,并进一步基于第三预测信息,调整图像检测模型的网络参数,即在图像检测模型的训练过程中,可以通过筛选预设检测模型所预测到的第一预测位置中不与任一样本位置对应且第一预测概率值满足第一预设条件的第一参考位置,由于不与任一样本位置对应的第一预测位置可视为假阳位置,而预测概率值又与预测损失相关,故第一参考位置可视为潜在的漏标位置,基于此通过过滤第二预测信息中与潜在的漏标位置对应的第二预测位置及其第二预测概率值得到第三预测信息,以通过第三预测信息调整图像检测模型的网络参数,能够尽可能地减轻漏标对模型性能的影响。
请参阅图4,图4是本申请图像检测方法一实施例的流程示意图。如图4所示,本公开实施例具体可以包括如下步骤:
步骤S41:获取待检测图像。
在一个实施场景中,与前述公开实施例中样本图像类似地,在医学应用场景中,待检测图像可以为医学图像,具体可以包括但不限于:CT图像、MR图像等,在此不做限定。其他应用场景可以以此类推,在此不再一一举例。
在另一个实施场景中,在医学应用场景中,与前述公开实施例中样本图像类似地,待检测图像中所包含的目标对象可以包括但不限于:骨折、血肿等等,在此不做限定。其他应用场景可以以此类推,在此不再一一举例。
步骤S42:利用图像检测模型对待检测图像进行检测,得到待检测图像中目标对象的检测信息。
本公开实施例中,检测信息包括目标对象在待检测图像中的目标位置,且图像检测模型是利用上述任一图像检测模型的训练方法实施例中的步骤训练得到的,具体训练过程可以参阅前述公开实施例中相关描述,在此不再赘述。
在一个实施场景中,目标位置可以为待检测图像中包含目标对象的图像区域的中心位置。例如,在待检测图像为二维图像的情况下,包含目标对象的图像区域可以为一矩形区域,则目标位置可以为该矩形区域的中心位置;或者,在待检测图像为三维图像的情况下,包含目标对象的图像区域可以为一长方体区域,则目标位置可以为该长方体区域的中心位置。
在另一个实施场景中,以待检测图像是医学图像为例,在待检测图像包括骨区域,且目标对象包括骨折的情况下,在利用图像检测模型对待检测图像进行检测之前,可以先识别待检测图像中的骨区域,并从待检测图像中截取若干子图像,且若干子图像的集合可以覆盖骨区域。在此基础上,再利用图像检测模型分别对若干子图像进行检测,得到每一子图像中目标对象的检测信息。需要说明的是,子图像中目标对象的检测信息可以包括骨折的目标位置,也可以不包括目标位置,即子图像中不存在骨折。上述方式,待检测图像为医学图像,待检测图像包括骨区域,且目标对象包括骨折,在利用图像检测模型进行检测之前,先识别待检测图像中的骨区域,并在待检测图像中截取若干子图像,且若干子图像的集合可以覆盖骨区域,基于此可以利用图像检测模型分别对若干子图像进行检测,得到每一子图像中目标对象的检测信息,由于骨区域通常表现为条状区域,相较于遍历待检测图像进行检测可能会遍历非骨区域,仅对若干子图像进行检测,能够有利于大大减少图像检测所需时间,提高图像检测效率。
在一个具体的实施场景中,为了提高识别肋骨区域的效率,可以预先训练一个用于识别骨区域的图像识别模型,该图像识别模型可以包括但不限于:U-Net等,在此不做限定。在此基础上,可以利用图像识别模型对待检测图像进行识别,得到待检测图像中的骨区域。
在另一个具体的实施场景中,也可以先对待检测图像进行二值化处理,由于待检测图像中骨区域的密度与组织的密度不同,故在待检测图像中表现为不同灰度,从而可以预先设置一个灰度阈值,以对骨区域和非骨区域进行区分。之后,为了提高骨区域的准确性,可以基于骨区域的形状特征(如,长条状、带有一定弧度等),对识别出来的骨区域进行降噪等处理,以识别出最终的骨区域。
在又一个具体的实施场景中,各个子图像的尺寸可以相同,如,对于二维图像而言,子图像的尺寸可以为16*16,或者32*32,或者48*48等等,在此不做限定;或者,对于三维图像而言,子图像的尺寸可以为16*16*16、或者32*32*32,或者48*48*48等等,在此不做限定。
在又一个具体的实施场景中,以骨区域具体是肋骨区域为例,请参阅图5,图5是截取子图像一实施例的示意图。如图5所示,条形区域表示肋骨区域,从左往右分别表示前部肋骨区域视图,中部肋骨区域视图和后部肋骨区域视图。如前所述,区别于通过滑窗截取子图像可能造成部分子图像中并不存在肋骨区域,本公开实施例先识别得到肋骨区域,并基于识别得到的肋骨区域,从待检测图像中截取若干子图像,且若干子图像能够覆盖肋骨区域,从而可以大大减少截取出来的子图像。如图5所示,在前部肋骨区域可以截取4个子图像(图5中立方体所示),在中部肋骨区域可以截取4个子图像(图5中立方体所示),在后部肋骨区域可以截取5个子图像(图5中立方体所示)。其他情况可以以此类推,在此不再一一举例。
上述方案,通过获取待检测图像,并利用图像检测模型对待检测图像进行检测,得到待检测图像中目标对象的检测信息,且检测信息包括目标对象在待检测图像中的目标位置,而图像检测模型是利用上述第一方面中的图像检测模型的训练方法得到的,即在对图像检测模型的训练过程中,能够尽可能地减轻漏标对模型性能的影响,故能够有利于提高目标对象的检测信息的准确性。
请参阅图6,图6是本申请图像检测模型的训练装置60一实施例的框架示意图。图像检测模型的训练装置60包括:图像获取模块61、目标检测模块62、信息过滤模块63和参数调整模块64,图像获取模块61用于获取样本图像;其中,样本图像中标注有目标对象的若干样本位置;目标检测模块62用于利用预设检测模型和图像检测模型分别对样本图像进行检测,得到目标对象的第一预测信息和第二预测信息;其中,第一预测信息包括若干第一预测位置及其第一预测概率值,第二预测信息包括若干第二预测位置及其第二预测概率值;信息过滤模块63用于过滤第二预测信息中与第一参考位置对应的第二预测位置及其第二预测概率值,得到第三预测信息,其中,第一参考位置为不与任一样本位置对应且第一预测概率值满足第一预设条件的第一预测位置;参数调整模块64用于基于第三预测信息,调整图像检测模型的网络参数。
因此,通过获取样本图像,且样本图像中标注有目标对象的若干样本位置,并利用预设检测模型和图像检测模型分别对样本图像进行检测,得到目标对象的第一预测信息和第二预测信息,且第一预测信息包括若干第一预测位置及其第一预测概率值,第二预测信息包括若干第二预测位置及其第二预测概率值,在此基础上,过滤第二预测信息中与第一参考位置对应的第二预测位置及其第二预测概率值,得到第三预测信息,且第一参考位置为不与任一样本位置对应且第一预测概率值满足第一预设条件的第一预测位置,并进一步基于第三预测信息,调整图像检测模型的网络参数,即在图像检测模型的训练过程中,可以通过筛选预设检测模型所预测到的第一预测位置中不与任一样本位置对应且第一预测概率值满足第一预设条件的第一参考位置,由于不与任一样本位置对应的第一预测位置可视为假阳位置,而预测概率值又与预测损失相关,故第一参考位置可视为潜在的漏标位置,基于此通过过滤第二预测信息中与潜在的漏标位置对应的第二预测位置及其第二预测概率值得到第三预测信息,以通过第三预测信息调整图像检测模型的网络参数,能够尽可能地减轻漏标对模型性能的影响。
在一些公开实施例中,图像检测模型是经过若干轮训练得到的,其中,在当前训练轮次满足第二预设条件的情况下,执行利用预设检测模型和图像检测模型分别对样本图像进行目标检测,得到目标对象的第一预测信息和第二预测信息的步骤以及后续步骤,以对图像检测模型进行训练,并在当前训练轮次不满足第二预设条件的情况下,训练预设检测模型。
因此,通过若干轮训练图像检测模型,且在当前训练轮次满足第二预设条件时,对图像检测模型进行训练,而在当前训练轮次不满足第二预设条件时,对预设检测模型进行训练,即在图像检测模型的训练过程中,预设检测模型也在其中交替地进行训练,故能够在训练过程中,使图像检测模型和预设检测模型相互教学,相较于单一地训练图像检测模型,能够有利于减少累积误差,从而能够进一步尽可能地减轻漏标对模型性能的影响。
在一些公开实施例中,图像检测模型的训练装置60还包括用于训练预设检测模型的模型训练模块,且模型训练模块包括检测子模块,用于利用预设检测模型和图像检测模型分别对样本图像进行检测,得到目标对象的第一预测信息和第二预测信息,模型训练模块还包括过滤子模块,用于过滤第一预测信息中与第二参考位置对应的第一预测位置及其第一预测概率值,得到第四预测信息;其中,第二参考位置为不与任一样本位置对应且第二预测概率值满足第一预设条件的第二预测位置,模型训练模块还包括调整子模块,用于基于第四预测信息,调整预设检测模型的网络参数。
因此,在训练预设检测模型的过程中,同样先执行利用预设检测模型和图像检测模型分别对样本图像进行检测,得到目标对象的第一预测信息和第二预测信息的步骤,基于此再过滤第一预测信息中与第二参考位置对应的第一预测位置及其第一预测概率值,得到第四预测信息,且第二参考位置为不与任一样本位置对应且第二预测概率值满足第一预设条件的第二预测位置,并基于第四预测信息,调整预设检测模型的网络参数,即在预设检测模型的训练过程中,可以通过筛选图像检测模型所预测到的第二预测位置中不与任一样本位置对应且第二预测概率值满足第一预设条件的第二参考位置,由于不与任一样本位置对应的第二预测位置可视为假阳位置,而预测概率值又与预测损失相关,故第二参考位置可视为潜在的漏标位置,基于此通过过滤第一预测信息中与潜在的漏标位置对应的第一预测位置及其第一预测概率值得到第四预测信息,以通过第四预测信息调整预设检测模型的网络参数,能够尽可能地减轻漏标对模型性能的影响,且由于两者均能够尽可能减轻漏标对自身性能的影响,进而在预设图像检测模型与图像检测模型的交替训练过程中,能够有利于提高两者相互教学的质量,有利于提高模型性能。
在一些公开实施例中,第二预设条件包括以下任一者:当前训练轮次为奇数、当前训练轮次为偶数、当前训练轮次除以第一数值的余数大于第二数值;其中,第二数值小于第一数值。
因此,通过将第二预设条件设置为当前训练轮次为奇数或者当前训练轮次为偶数,能够使得图像检测模型和预设检测模型按照一次比一次的训练策略均衡地进行训练,而通过将第二预设条件设置为当前训练轮次除以第一数值的余数大于第二数值,且第二数值小于第一数值,能够使得图像检测模型和预设检测模型按照多次比一次(或一次比多次)的训练策略有侧重地进行训练。
在一些公开实施例中,在训练图像检测模型的情况下,第一预设条件包括:第一预测概率值高于预设概率阈值,在训练预设检测模型的情况下,第一预设条件包括:第二预测概率值高于预设概率阈值。
因此,在训练图像检测模型的情况下,通过将第一预设条件设置为第一预测概率值高于预设概率阈值,而在训练预设检测模型的情况下,通过将第一预设条件设置为第二预测概率值高于预设概率阈值,能够在图像检测模型和预设检测模型的训练过程中,筛选出损失较大的假阳位置作为潜在的漏标位置,并忽略其对训练图像检测模型的影响,从而能够有利于进一步尽可能地减轻漏标对模型性能的影响。
在一些公开实施例中,预设检测模型和图像检测模型具有相同网络结构;和/或,样本图像为医学图像,且样本图像包括骨区域,目标对象包括骨折。
因此,预设检测模型和图像检测模型具有相同的网络结构,即用于教学图像检测模型的预设检测模型具有与图像检测模型相同的网络结构,能够有利于降低图像检测模型的训练难度;而通过将样本图像设置为医学图像,且样本图像包括骨区域,且目标对象设置为包括骨折,能够使图像检测模型应用于骨折检测。
在一些公开实施例中,图像检测模型包括特征提取网络和结果预测网络,特征提取网络用于提取样本图像的样本特征图,结果预测网络用于利用样本特征图预测得到第二预测信息,且样本特征图的分辨率与样本图像的分辨率之间的比值在预设范围内。
因此,图像检测模型包括特征提取网络和结果预测网络,且特征提取网络用于提取样本图像的样本特征图,结果预测网络用于利用样本特征图预测得到第二预测信息,而样本特征图的分辨率与样本图像的分辨率之间的比值在预设范围内,即样本特征图的分辨率不会太大,从而能够减轻用于训练图像检测模型的硬件设备的负荷,且样本特征图的分辨率也不会太小,从而能够为结果预测网络提供足够的特征信息,有利于提高预测准确性。
请参阅图7,图7是本申请图像检测装置70一实施例的框架示意图。图像检测装置70包括:图像获取模块71和目标检测模块72,图像获取模块71用于获取待检测图像;目标检测模块72用于利用图像检测模型对待检测图像进行检测,得到待检测图像中目标对象的检测信息;其中,检测信息包括目标对象在待检测图像中的目标位置,且图像检测模型是利用上述任一图像检测模型的训练装置实施例中的图像检测模型的训练装置得到的。
在一些公开实施例中,待检测图像为医学图像,待检测图像包括骨区域,且目标对象包括骨折,图像检测装置70还包括区域识别模块,用于识别待检测图像中的骨区域,图像检测装置70还包括图像截取模块,用于从待检测图像中截取若干子图像;其中,若干子图像的集合覆盖骨区域,目标检测模块72具体用于利用图像检测模型分别对若干子图像进行检测,得到每一子图像中目标对象的检测信息。
因此,待检测图像为医学图像,待检测图像包括骨区域,且目标对象包括骨折,在利用图像检测模型进行检测之前,先识别待检测图像中的肋骨区域,并在待检测图像中截取若干子图像,且若干子图像的集合可以覆盖骨区域,基于此可以利用图像检测模型分别对若干子图像进行检测,得到每一子图像中目标对象的检测信息,由于骨区域通常表现为条状区域,相较于遍历待检测图像进行检测可能会遍历非骨区域,仅对若干子图像进行检测,能够有利于大大减少图像检测所需时间,提高图像检测效率。
请参阅图8,图8是本申请电子设备80一实施例的框架示意图。电子设备80包括相互耦接的存储器81和处理器82,处理器82用于执行存储器81中存储的程序指令,以实现上述任一图像检测模型的训练方法实施例中的步骤,或实现上述任一图像检测方法实施例中的步骤。在一个具体的实施场景中,电子设备80可以包括但不限于:微型计算机、服务器,此外,电子设备80还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器82用于控制其自身以及存储器81以实现上述任一图像检测模型的训练方法实施例中的步骤,或实现上述任一图像检测方法实施例中的步骤。处理器82还可以称为CPU(Central Processing Unit,中央处理单元)。处理器82可能是一种集成电路芯片,具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器82可以由集成电路芯片共同实现。
上述方案,能够尽可能地减轻漏标对模型性能的影响,提高图像检测模型的性能,以提高图像检测的准确性。
请参阅图9,图9为本申请计算机可读存储介质90一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令901,程序指令901用于实现上述任一图像检测模型的训练方法实施例中的步骤,或实现上述任一图像检测方法实施例中的步骤。
上述方案,能够尽可能地减轻漏标对模型性能的影响,提高图像检测模型的性能,以提高图像检测的准确性。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。