CN115601293A - 对象检测方法、装置、电子设备及可读存储介质 - Google Patents

对象检测方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN115601293A
CN115601293A CN202210816299.2A CN202210816299A CN115601293A CN 115601293 A CN115601293 A CN 115601293A CN 202210816299 A CN202210816299 A CN 202210816299A CN 115601293 A CN115601293 A CN 115601293A
Authority
CN
China
Prior art keywords
image
feature
characteristic
sample
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210816299.2A
Other languages
English (en)
Inventor
邱瀚
陈晓炬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xurui Software Technology Co ltd
Original Assignee
Nanjing Xurui Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xurui Software Technology Co ltd filed Critical Nanjing Xurui Software Technology Co ltd
Priority to CN202210816299.2A priority Critical patent/CN115601293A/zh
Publication of CN115601293A publication Critical patent/CN115601293A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种对象检测方法、装置、电子设备及可读存储介质,该方法包括:对获取到的待检测图像进行特征提取,得到第一特征图像,待检测图像包括对象;将第一特征图像输入至第一检测模型,对第一特征图像进行重构处理,得到第二特征图像;确定第一特征图像和第二特征图像的特征差值;在特征差值小于预设阈值的情况下,确定对象为无缺陷的对象,预设阈值用于表征无缺陷对象对应的特征差值的上限值。根据本申请的实施例,能够准确地检测待检测图像中的对象是否有缺陷。

Description

对象检测方法、装置、电子设备及可读存储介质
技术领域
本申请属于信息处理技术领域,尤其涉及一种对象检测方法、装置、电子设备及可读存储介质。
背景技术
目前,随着人工智能的不断发展,神经网络模型也广泛应用于产品检测,比如对生产线上产出的产品进行检测,从中检测出有缺陷的产品,以减小人工投入。
由于产品本身种类繁多,所以难以收集每个种类的产品的样本图像。而且产品中可能存在未知的缺陷,所以无法收集包括未知缺陷产品的样本图像。由于训练样本不足,目前对于待检测图像中的对象检测的准确度不高。
发明内容
本申请实施例提供一种对象检测方法、装置、电子设备及可读存储介质,能够解决对象检测的准确度不高的问题。
第一方面,本申请实施例提供一种对象检测方法,该方法包括:
对获取到的待检测图像进行特征提取,得到第一特征图像,待检测图像包括对象;
将第一特征图像输入至第一检测模型,对第一特征图像进行重构处理,得到第二特征图像;
确定第一特征图像和第二特征图像的特征差值;
在特征差值小于预设阈值的情况下,确定对象为无缺陷的对象,预设阈值用于表征无缺陷对象对应的特征差值的上限值。
第二方面,本申请实施例提供一种对象检测装置,该装置包括:
提取模块,用于对获取到的待检测图像进行特征提取,得到第一特征图像,待检测图像包括对象;
输入模块,用于将第一特征图像输入至第一检测模型,对第一特征图像进行重构处理,得到第二特征图像;
确定模块,用于确定第一特征图像和第二特征图像的特征差值;
确定模块,还用于在特征差值小于预设阈值的情况下,确定对象为无缺陷的对象,预设阈值用于表征无缺陷对象对应的特征差值的上限值。
第三方面,本申请实施例提供了一种电子设备,该设备包括:处理器以及存储有计算机程序指令的存储器;处理器执行计算机程序指令时,实现如第一方面或者第一方面的任一可能实现方式中的方法。
第四方面,本申请实施例提供了一种可读存储介质,该计算机可读存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现如第一方面或者第一方面的任一可能实现方式中的方法。
本申请实施例中,通过对获取到的包括对象的待检测图像进行特征提取,得到第一特征图像,将第一特征图像输入至第一检测模型,对第一特征图像进行重构处理,得到第二特征图像;确定第一特征图像和第二特征图像的特征差值。由于包括缺陷对象的图像和包括无缺陷对象的图像中的细节和特征是不同的,所以上述两者分别对应不同的特征差值,可以通过特征差值来判断待检测图像中的对象是否为无缺陷的对象。由于预设阈值用于表征无缺陷对象对应的特征差值的上限值,在特征差值小于预设阈值的情况下,确定对象为无缺陷的对象。这里,对于未知类型的对象也能够有效的检测,快速准确地确定待检测图像中的对象是否有缺陷,由此,能够提升检测效率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种对象检测方法的示意图;
图2是本申请实施例提供的一种对象检测方法的流程图;
图3是本申请实施例提供的一种对象检测装置的结构示意图;
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本申请,并不被配置为限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
首先,对于本申请实施例涉及的技术术语进行介绍。
多目标检测网络(Faster R-CNN),一种常见的目标检测模型。它是区域卷积神经网络(Region CNN,R-CNN)家族第三代模型,将目标检测的四个基本步骤(四个基本步骤包括:候选区域生成,特征提取,分类,位置精修)统一到一个深度网络框架之内。
多目标检测网络可分为4个主要部分:CNN骨干网络(如VGG、ResNet、DenseNet等)、区域建议网络(Region Proposal Networks, RPN)、感兴趣区域池化网络(ROI Pooling)和分类网络。
Faster RCNN使用RPN,将图像特征作为输入,并生成一组提议对象,每个对象提议都以对象分数作为输出。
作为一种CNN网络目标检测方法,Faster RCNN提取输入的图像的特征图像,该特征图像会用于后续的RPN层和全连接层,具体为VGG模型 (Visual Geometry GroupNetwork)的网络层。
RPN网络主要用于生成提议对象,首先生成一些锚框,对其进行裁剪过滤后,判断锚框属于前景区域或者后景区域,即是物体或者不是物体,所以这是一个二分类;同时,另一分支修正锚框,形成较精确的提议对象。
感兴趣区域池化网络,该层利用RPN生成的提议对象和VGG16最后一层得到的特征图像,得到固定大小的提议特征图像,后面可利用全连接操作来进行目标识别和定位。
分类网络,会将Roi Pooling层形成固定大小的特征图像进行全连接操作,利用Softmax进行具体类别的分类,同时,通过回归操作获得物体的精确位置。
卷积神经网络(Convolutional Neural Networks,CNN),一类包含卷积计算且具有深度结构的前馈神经网络,是深度学习的代表算法之一。它一方面通过感受野和权值共享减少了神经网络需要训练的参数的个数,另一方面逐层卷积得到图像的不同层级特征的映射。每个卷积层的输出称为 feature maps,一般更深的卷积层包含了更丰富的空间和语义信息。
自编码器(Auto encoder,AE),一种能够通过无监督学习,学到输入数据高效表示的人工神经网络。输入数据的这一高效表示称为编码,其维度一般远小于输入数据,使得自编码器可用于降维。更重要的是,自编码器可作为强大的特征检测器,应用于深度神经网络的预训练。
本申请实施例提供的对象检测方法至少可以应用于下述应用场景中,下面进行说明。
随着人工智能的不断发展,可以通过检测模型实现对于对象的检测,来识别生产线中有缺陷的对象,以注射器为例,由于生产线上的注射器缺陷种类繁多,难以收集每个种类的注射器的样本图像,且注射器可能存在未知的异常缺陷,无法收集带有未知缺陷注射器的样本图像。由于训练样本不足,目前对象检测的准确率和效率低。
基于上述应用场景,下面对本申请实施例提供的对象检测方法进行详细说明。
下面首先对本申请实施例提供的对象检测方法进行整体性说明。
图1为本申请实施例提供的一种对象检测方法的示意图,如图1所示,首先,对获取到的待检测图像110进行特征提取,得到第一特征图像120,待检测图像包括对象。
然后,将第一特征图像120输入至第二检测模型130,检测待检测图像的对象类别信息140。在对象类别信息与预设类别信息匹配的情况下,输出待检测图像的对象类别信息。这里,若对象类别信息与预设类别信息匹配,则说明待检测图像中的对象属于已知缺陷种类的类别信息,可以直接输出待检测图像的对象类别信息。
接着,在对象类别信息与预设类别信息不匹配的情况下,将第一特征图像120输入至第一检测模型150,对第一特征图像进行重构处理,得到第二特征图像160。这里,若对象类别信息与预设类别信息不匹配,则说明待检测图像中的对象属于未知缺陷种类的类别信息。需要通过第一检测模型进行检测。确定第一特征图像和第二特征图像的特征差值170。最后,在特征差值小于预设阈值的情况下,确定对象为无缺陷的对象,预设阈值用于表征无缺陷对象对应的特征差值的上限值。
由此,通过第一检测模型和第二检测模型可以分别对未知缺陷种类和已知缺陷种类进行检测,保证对象检测的全面性和准确性。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的对象检测方法进行详细地说明。
图2为本申请实施例提供的一种对象检测方法的流程图。
如图2所示,该对象检测方法可以包括步骤210-步骤240,该方法应用于对象检测装置,具体如下所示:
步骤210,对获取到的待检测图像进行特征提取,得到第一特征图像,待检测图像包括对象。
步骤220,将第一特征图像输入至第一检测模型,对第一特征图像进行重构处理,得到第二特征图像。
步骤230,确定第一特征图像和第二特征图像的特征差值。
步骤240,在特征差值小于预设阈值的情况下,确定对象为无缺陷的对象,预设阈值用于表征无缺陷对象对应的特征差值的上限值。
本申请实施例中,通过对获取到的包括对象的待检测图像进行特征提取,得到第一特征图像,将第一特征图像输入至第一检测模型,对第一特征图像进行重构处理,得到第二特征图像;确定第一特征图像和第二特征图像的特征差值。由于包括缺陷对象的图像和包括无缺陷对象的图像中的细节和特征是不同的,所以上述两者分别对应不同的特征差值,可以通过特征差值来判断待检测图像中的对象是否为无缺陷的对象。由于预设阈值用于表征无缺陷对象对应的特征差值的上限值,在特征差值小于预设阈值的情况下,确定对象为无缺陷的对象。这里,对于未知类型的对象也能够有效的检测,快速准确地确定待检测图像中的对象是否有缺陷,由此,能够提升检测效率。
下面,对步骤210-步骤240的内容分别进行描述:
涉及步骤210。
其中,对获取到的待检测图像进行特征提取,得到第一特征图像的步骤中,具体可以包括:
将待检测图像输入至特征提取网络Densenet,得到第一特征图像。
在传统的卷积神经网络中,如果有L层,那么就会有L个连接,但是在DenseNet中,会有L(L+1)/2个连接。即每一层的输入来自前面所有层的输出。
本申请具体可以使用Densenet161作为特征提取网络对获取到的待检测图像进行特征提取,得到第一特征图像,能够充分学习到不同背景图像的特征,以此准确提取出不同图像的特征信息。DenseNet建立的是前面所有层与后面层的密集连接,它的名称也是由此而来。
DenseNet通过特征在频道上的连接来实现特征重用。这些特点让DenseNet在参数和计算成本更少的情形下实现更优的性能,这也是选择 DenseNet对获取到的待检测图像进行特征提取,得到第一特征图像的原因。
DenseNet网络中使用密集模块(DenseBlock)和过渡层的结构,其中DenseBlock是包含很多层的模块,每个层的特征图大小相同,层与层之间采用密集连接方式。而Transition模块是连接两个相邻的DenseBlock,并且通过池化使特征图大小降低。DenseNet共包含4个DenseBlock,各个 DenseBlock之间通过Transition连接在一起。
在一种可能的实施例中,在步骤210之前,还包括:
对获取到的原始图像进行识别,确定对象对应的图像区域;
根据对象对应的图像区域,对原始图像进行裁剪处理,得到至少一个待检测图像。
由于在实际场景中,拍摄得到的原始图像中可能包括多个对象,所以需要对获取到的原始图像进行识别,确定对象对应的图像区域。
可以从原始图像中确定至少一个对象对应的图像区域,然后对原始图像进行处理,将原始图像进行裁剪处理,得到至少一个待检测图像,每个待检测对象中可以包括一个上述涉及到的对象对应的图像区域。
涉及步骤220。
在一种可能的实施例中,在步骤220之前,还包括:
对获取到的多个第一样本图像进行特征提取,得到多个第一样本特征图像,每个第一样本图像包括第一样本对象;
将第一样本特征图像输入至自编码器,自编码器包括编码器和解码器;
通过编码器对第一样本特征图像进行重构处理,得到第二样本特征图像;
通过解码器对第二样本特征图像进行还原处理,得到第三样本特征图像;
根据第一样本特征图像和第三样本特征图像,计算重构损失值;
根据重构损失值训练自编码器,直至自编码器满足第一预设训练条件,得到第一检测模型。
其中,自编码器,是一种无监督式学习模型。本质上它使用了一个神经网络来产生一个高维输入的低维表示。自编码器与主成分分析类似,但是自编码器在使用非线性激活函数时克服了主成分分析线性的限制。
自编码器包含两个主要的部分,编码器和解码器。编码器的作用是用来发现给定数据的压缩表示,解码器是用来重建原始输入。在自编码器的训练过程中,解码器强迫编码器选择信息量最丰富的特征,最终保存在压缩表示中。
本申请中自编码器的主要作用是对第一特征图像进行压缩重构。
训练时,使用第一样本特征图像训练自编码器的整个网络,训练目的是最小化特征的重构损失值。
将第一样本特征图像输入至自编码器,通过编码器对第一样本特征图像进行重构处理,得到第二样本特征图像。
然后,通过解码器对第二样本特征图像进行还原处理,得到第三样本特征图像,还原处理的目的是将还原的第三样本特征图像尽量还原成第一样本特征图像。在自编码器训练完成时,第三样本特征图像应该是与第一样本特征图像十分接近的。
根据第一样本特征图像和第三样本特征图像,计算重构损失值;根据重构损失值训练自编码器,直至自编码器满足第一预设训练条件,停止训练,得到第一检测模型。
推理时只是用编码器部分,对第一特征图像进行压缩,保留最有信息量的特征,剔除信息量少的特征,得到第二特征图像。
在一种可能的实施例中,步骤220中,包括:
将第一特征图像输入至第二检测模型,检测待检测图像的对象类别信息;
在对象类别信息与预设类别信息不匹配的情况下,将第一特征图像输入至第一检测模型,对第一特征图像进行重构处理,得到第二特征图像。
若对象类别信息与预设类别信息匹配,则说明待检测图像中的对象属于已知缺陷种类的类别信息。因此,在对象类别信息与预设类别信息匹配的情况下,可以直接输出待检测图像的对象类别信息。
接着,在对象类别信息与预设类别信息不匹配的情况下,将第一特征图像输入至第一检测模型,对第一特征图像进行重构处理,得到第二特征图像。这里,若对象类别信息与预设类别信息不匹配,则说明待检测图像中的对象属于未知缺陷种类的类别信息,需要通过第一检测模型进行检测。
第一检测模型可以为全卷的自编码器模型,全卷自编码器时对整张图像进行重建,即输入的是三维数据。
在一种可能的实施例中,将第一特征图像输入至第二检测模型,检测待检测图像的对象类别信息的步骤中,包括:
从第一特征图像中,提取至少一个候选区域;
在候选区域中包括对象的情况下,进行缺陷检测,得到对象类别信息。
第二检测模型包括:RPN,RPN在第一特征图像上可以用3*3的滑动窗进行区域提取,得到对应原图的至少一个候选区域。第一特征图像上的每一个点,都可以映射到待检测图像的一个区域(即感受野)。
对第一特征图像每个点,对应原图的区域,进行不同的形状大小变换,得到不同大小形状的框就是锚框。这些锚框的尺寸和大小是预先设置好的。第一特征图像上的每一个点就是待检测图像中的锚框的中心点。
为了使得覆盖范围更广,检测的对象更多,并保证检测效率,第二检测模型可以基于3个不同尺寸大小,3种不同尺度变换的锚框做变换,对于第一特征图像的每一个点,在待检测图像区域得到9个锚框。去掉超出图像边界的锚框,把所有锚框送入二分类层,判断每个锚框是前景还是背景;同时把锚框送入回归层,调整锚框与标签值接近。
其中,在将第一特征图像输入至第二检测模型,检测待检测图像的对象类别信息的步骤之前,方法包括:
获取多个样本数据,每个样本数据包括相对应的第二样本图像和预设对象类别信息,第二样本图像中包括第二样本对象;
将第二样本图像输入至多目标检测模型,得到检测对象类别信息;
根据预设对象类别信息和检测对象类别信息训练多目标检测模型,直至多目标检测模型满足第二预设训练条件,得到第二检测模型。
其中,每个样本数据包括相对应的第二样本图像和预设对象类别信息,即第二样本图像中的第二样本对象对应已知缺陷种类的类别信息。将第二样本图像输入至多目标检测模型,对多目标检测模型的缺陷种类进行预测,得到检测对象类别信息。根据预设对象类别信息和预先标记的检测对象类别信息计算损失值,根据损失值训练多目标检测模型,直至多目标检测模型满足第二预设训练条件,得到第二检测模型。
涉及步骤230。
确定第一特征图像和第二特征图像的特征差值。
其中,第一特征图像和第二特征图像的存在形式可以为多维特征矩阵,对第一特征图像和第二特征图像做差,得到多维差值矩阵,然后将多维差值矩阵转化为一维特征差值。
涉及步骤240。
在一种可能的实施例中,在步骤240之前,还包括:
获取多个测试图像,每个测试图像包括无缺陷的测试对象;
对多个测试图像进行特征提取,得到多个第一测试特征图像;
将多个第一测试特征图像输入至第一检测模型,对第一测试特征图像进行重构处理,得到多个第二测试特征图像;
对于每个测试图像,确定第一测试特征图像和第二测试特征图像的测试特征差值;
根据多个测试特征差值确定预设阈值。
对多个测试图像进行特征提取,得到多个第一测试特征图像,使用第一检测模型对所提取的第一测试特征图像进行重构,得到多个第二测试特征图像即第一检测模型的输入是第一测试特征图像,输出是第二测试特征图像。这里,相当于把第一检测模型的输入和输出做差,可以得到测试特征差值。
根据每个测试图像对应的测试特征差值确定预设阈值,预设阈值用于表征无缺陷对象对应的特征差值的上限值,以用于根据预设阈值判断待检测图像中的对象是否为缺陷的对象。
这样,在只用包括无缺陷的测试对象的测试图像的情况下,就能够对可能出现的未知类型的缺陷进行检测拦截。提升检测效率和准确度。
其中,上述涉及到的根据多个测试特征差值确定预设阈值的步骤中,包括:
根据多个测试特征差值,生成重建误差分布图;
从重建误差分布图中,提取预设阈值。
其中,重建误差分布图可以为散点图。从重建误差分布图中,提取预设阈值,具体可以判断测试特征差值出现频率最多的是哪个,可以将出现频率最多的测试特征差值确定为预设阈值,也可以将测试特征差值的中位值确定为预设阈值,也可以将测试特征差值的平均值值确定为预设阈值。
在特征差值小于预设阈值的情况下,确定对象为无缺陷的对象,预设阈值用于表征无缺陷对象对应的特征差值的上限值。在特征差值小于预设阈值的情况下,确定对象为有缺陷的对象。
本申请实施例中,通过对获取到的包括对象的待检测图像进行特征提取,得到第一特征图像,将第一特征图像输入至第一检测模型,对第一特征图像进行重构处理,得到第二特征图像;确定第一特征图像和第二特征图像的特征差值。由于包括缺陷对象的图像和包括无缺陷对象的图像中的细节和特征是不同的,所以上述两者分别对应不同的特征差值,可以通过特征差值来判断待检测图像中的对象是否为无缺陷的对象。由于预设阈值用于表征无缺陷对象对应的特征差值的上限值,在特征差值小于预设阈值的情况下,确定对象为无缺陷的对象。这里,对于未知类型的对象也能够有效的检测,快速准确地确定待检测图像中的对象是否有缺陷,由此,能够提升检测效率。
基于上述图2所示的对象检测方法,本申请实施例还提供一种对象检测装置,如图3所示,该装置300可以包括:
提取模块310,用于对获取到的待检测图像进行特征提取,得到第一特征图像,待检测图像包括对象。
输入模块320,用于将第一特征图像输入至第一检测模型,对第一特征图像进行重构处理,得到第二特征图像。
确定模块330,用于确定第一特征图像和第二特征图像的特征差值。
确定模块330,还用于在特征差值小于预设阈值的情况下,确定对象为无缺陷的对象,预设阈值用于表征无缺陷对象对应的特征差值的上限值。
在一种可能的实施例中,该装置300还可以包括:
第一获取模块,用于获取多个测试图像,每个测试图像包括无缺陷的测试对象。
第一提取模块,用于对多个测试图像进行特征提取,得到多个第一测试特征图像。
第一输入模块,用于将多个第一测试特征图像输入至第一检测模型,对第一测试特征图像进行重构处理,得到多个第二测试特征图像。
第一确定模块,用于对于每个测试图像,确定第一测试特征图像和第二测试特征图像的测试特征差值。
第二确定模块,用于根据多个测试特征差值确定预设阈值。
在一种可能的实施例中,第二确定模块,具体用于:根据多个测试特征差值,生成重建误差分布图;
从重建误差分布图中,提取预设阈值。
在一种可能的实施例中,该装置300还可以包括:
第二提取模块,用于对获取到的多个第一样本图像进行特征提取,得到多个第一样本特征图像,每个第一样本图像包括第一样本对象。
第二输入模块,用于将第一样本特征图像输入至自编码器,自编码器包括编码器和解码器。
重构模块,用于通过编码器对第一样本特征图像进行重构处理,得到第二样本特征图像。
还原模块,用于通过解码器对第二样本特征图像进行还原处理,得到第三样本特征图像。
计算模块,用于根据第一样本特征图像和第三样本特征图像,计算重构损失值。
训练模块,用于根据重构损失值训练自编码器,直至自编码器满足第一预设训练条件,得到第一检测模型。
在一种可能的实施例中,该装置300还可以包括:
识别模块,用于对获取到的原始图像进行识别,确定对象对应的图像区域。
裁剪模块,用于根据对象对应的图像区域,对原始图像进行裁剪处理,得到至少一个待检测图像。
在一种可能的实施例中,输入模块320,具体用于:
将第一特征图像输入至第二检测模型,检测待检测图像的对象类别信息;
在对象类别信息与预设类别信息不匹配的情况下,将第一特征图像输入至第一检测模型,对第一特征图像进行重构处理,得到第二特征图像。
在一种可能的实施例中,该装置300还可以包括:
第二获取模块,用于获取多个样本数据,每个样本数据包括相对应的第二样本图像和预设对象类别信息,第二样本图像中包括第二样本对象。
第三输入模块,用于将第二样本图像输入至多目标检测模型,得到检测对象类别信息。
第二训练模块,用于根据预设对象类别信息和检测对象类别信息训练多目标检测模型,直至多目标检测模型满足第二预设训练条件,得到第二检测模型。
本申请实施例中,通过对获取到的包括对象的待检测图像进行特征提取,得到第一特征图像,将第一特征图像输入至第一检测模型,对第一特征图像进行重构处理,得到第二特征图像;确定第一特征图像和第二特征图像的特征差值。由于包括缺陷对象的图像和包括无缺陷对象的图像中的细节和特征是不同的,所以上述两者分别对应不同的特征差值,可以通过特征差值来判断待检测图像中的对象是否为无缺陷的对象。由于预设阈值用于表征无缺陷对象对应的特征差值的上限值,在特征差值小于预设阈值的情况下,确定对象为无缺陷的对象。这里,对于未知类型的对象也能够有效的检测,快速准确地确定待检测图像中的对象是否有缺陷,由此,能够提升检测效率。
图4示出了本申请实施例提供的一种电子设备的结构示意图。
在电子设备可以包括处理器601以及存储有计算机程序指令的存储器 602。
具体地,上述处理器601可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器602可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus, USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器602可在综合网关容灾设备的内部或外部。在特定实施例中,存储器 602是非易失性固态存储器。在特定实施例中,存储器602包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM (EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器601通过读取并执行存储器602中存储的计算机程序指令,以实现图所示实施例中的任意一种对象检测方法。
在一个示例中,电子设备还可包括通信接口603和总线610。其中,如图4所示,处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。
通信接口603,主要用于实现本申请实施例中各模块、装置、单元和/ 或设备之间的通信。
总线610包括硬件、软件或两者,将电子设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***组件互连(PCI)总线、PCI- Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线610可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该电子设备可以执行本申请实施例中的对象检测方法,从而实现结合图1至图2描述的方法。
另外,结合上述实施例中的方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现图1至图2中的对象检测方法。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本申请中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或***。但是,本申请不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
以上所述,仅为本申请的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的***、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种对象检测方法,其特征在于,所述方法包括:
对获取到的待检测图像进行特征提取,得到第一特征图像,所述待检测图像包括对象;
将所述第一特征图像输入至第一检测模型,对所述第一特征图像进行重构处理,得到第二特征图像;
确定所述第一特征图像和所述第二特征图像的特征差值;
在所述特征差值小于预设阈值的情况下,确定所述对象为无缺陷的对象,所述预设阈值用于表征无缺陷对象对应的特征差值的上限值。
2.根据权利要求1所述的方法,其特征在于,在所述在所述特征差值小于预设阈值的情况下,确定所述对象为无缺陷的对象之前,所述方法还包括:
获取多个测试图像,每个所述测试图像包括所述无缺陷的测试对象;
对所述多个测试图像进行特征提取,得到多个第一测试特征图像;
将所述多个第一测试特征图像输入至所述第一检测模型,对所述第一测试特征图像进行重构处理,得到多个第二测试特征图像;
对于每个所述测试图像,确定所述第一测试特征图像和所述第二测试特征图像的测试特征差值;
根据多个所述测试特征差值确定所述预设阈值。
3.根据权利要求2所述的方法,其特征在于,所述根据多个所述测试特征差值确定所述预设阈值,包括:
根据所述多个测试特征差值,生成重建误差分布图;
从所述重建误差分布图中,提取所述预设阈值。
4.根据权利要求1所述的方法,其特征在于,在所述将所述第一特征图像输入至第一检测模型,对所述第一特征图像进行重构处理,得到第二特征图像之前,所述方法还包括:
对获取到的多个第一样本图像进行特征提取,得到多个第一样本特征图像,每个所述第一样本图像包括第一样本对象;
将所述第一样本特征图像输入至自编码器,所述自编码器包括编码器和解码器;
通过所述编码器对第一样本特征图像进行重构处理,得到第二样本特征图像;
通过所述解码器对所述第二样本特征图像进行还原处理,得到第三样本特征图像;
根据所述第一样本特征图像和所述第三样本特征图像,计算重构损失值;
根据所述重构损失值训练所述自编码器,直至所述自编码器满足第一预设训练条件,得到所述第一检测模型。
5.根据权利要求1所述的方法,其特征在于,在所述对获取到的待检测图像进行特征提取,得到第一特征图像之前,所述方法还包括:
对获取到的原始图像进行识别,确定所述对象对应的图像区域;
根据所述对象对应的图像区域,对所述原始图像进行裁剪处理,得到至少一个所述待检测图像。
6.根据权利要求1所述的方法,其特征在于,所述将所述第一特征图像输入至第一检测模型,对所述第一特征图像进行重构处理,得到第二特征图像,包括:
将所述第一特征图像输入至第二检测模型,检测所述待检测图像的对象类别信息;
在所述对象类别信息与预设类别信息不匹配的情况下,将所述第一特征图像输入至所述第一检测模型,对所述第一特征图像进行重构处理,得到所述第二特征图像。
7.根据权利要求6所述的方法,其特征在于,在所述将所述第一特征图像输入至第二检测模型,检测所述待检测图像的对象类别信息之前,所述方法还包括:
获取多个样本数据,每个所述样本数据包括相对应的第二样本图像和预设对象类别信息,所述第二样本图像中包括第二样本对象;
将所述第二样本图像输入至多目标检测模型,得到检测对象类别信息;
根据所述预设对象类别信息和所述检测对象类别信息训练所述多目标检测模型,直至所述多目标检测模型满足第二预设训练条件,得到所述第二检测模型。
8.一种对象检测装置,其特征在于,所述装置包括:
提取模块,用于对获取到的待检测图像进行特征提取,得到第一特征图像,所述待检测图像包括对象;
输入模块,用于将所述第一特征图像输入至第一检测模型,对所述第一特征图像进行重构处理,得到第二特征图像;
确定模块,用于确定所述第一特征图像和所述第二特征图像的特征差值;
所述确定模块,还用于在所述特征差值小于预设阈值的情况下,确定所述对象为无缺陷的对象,所述预设阈值用于表征无缺陷对象对应的特征差值的上限值。
9.一种电子设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的对象检测方法。
10.一种可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的对象检测方法。
CN202210816299.2A 2022-07-12 2022-07-12 对象检测方法、装置、电子设备及可读存储介质 Pending CN115601293A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210816299.2A CN115601293A (zh) 2022-07-12 2022-07-12 对象检测方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210816299.2A CN115601293A (zh) 2022-07-12 2022-07-12 对象检测方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN115601293A true CN115601293A (zh) 2023-01-13

Family

ID=84843590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210816299.2A Pending CN115601293A (zh) 2022-07-12 2022-07-12 对象检测方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN115601293A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291914A (zh) * 2023-11-24 2023-12-26 南昌江铃华翔汽车零部件有限公司 汽车零部件缺陷检测方法、***、计算机及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291914A (zh) * 2023-11-24 2023-12-26 南昌江铃华翔汽车零部件有限公司 汽车零部件缺陷检测方法、***、计算机及存储介质
CN117291914B (zh) * 2023-11-24 2024-02-09 南昌江铃华翔汽车零部件有限公司 汽车零部件缺陷检测方法、***、计算机及存储介质

Similar Documents

Publication Publication Date Title
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
CN111797890A (zh) 一种用于检测输电线路设备缺陷的方法及***
US20210096530A1 (en) System and method for identifying manufacturing defects
CN112766110A (zh) 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
CN107341508B (zh) 一种快速美食图片识别方法及***
CN114862838A (zh) 基于无监督学习的缺陷检测方法及设备
CN113781391A (zh) 图像缺陷检测方法以及相关设备
CN112862770A (zh) 一种基于人工智能的缺陷分析诊断***、方法、装置
CN111695620A (zh) 一种电力***时间序列异常数据检测与修正方法及***
CN112529109A (zh) 一种基于无监督多模型的异常检测方法及***
CN115601293A (zh) 对象检测方法、装置、电子设备及可读存储介质
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN117455917B (zh) 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN114708247A (zh) 基于深度学习的烟盒包装缺陷识别方法和装置
CN117237683B (zh) 基于改进神经网络的芯片缺陷智慧检测***
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN112836724A (zh) 物体缺陷识别模型训练方法、装置、电子设备和存储介质
CN114119562B (zh) 一种基于深度学习的刹车盘外表面缺陷检测方法及***
CN112990350B (zh) 目标检测网络训练方法及基于目标检测网络煤矸识别方法
CN115345806A (zh) 对象检测方法、装置、电子设备及可读存储介质
CN115661042A (zh) 一种基于注意力机制指导的分层分类缺陷检测方法
CN117911796B (zh) 一种基于图像识别的智能化数据处理***及方法
CN116644351B (zh) 一种基于人工智能的数据处理方法及***
CN116894965A (zh) 教师数据收集方法以及收集装置
CN116206122A (zh) 图像的识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination