CN113763355A - 一种缺陷检测方法、装置、电子设备及存储介质 - Google Patents

一种缺陷检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113763355A
CN113763355A CN202111045437.3A CN202111045437A CN113763355A CN 113763355 A CN113763355 A CN 113763355A CN 202111045437 A CN202111045437 A CN 202111045437A CN 113763355 A CN113763355 A CN 113763355A
Authority
CN
China
Prior art keywords
image
defect
depth
defect detection
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111045437.3A
Other languages
English (en)
Inventor
张发恩
李锴莹
刁晓淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi Qingdao Technology Co ltd
Original Assignee
Innovation Qizhi Qingdao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi Qingdao Technology Co ltd filed Critical Innovation Qizhi Qingdao Technology Co ltd
Priority to CN202111045437.3A priority Critical patent/CN113763355A/zh
Publication of CN113763355A publication Critical patent/CN113763355A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种缺陷检测方法、装置、电子设备及存储介质。方法包括:获取待检测对象的待识别图像和深度图像;所述待检测对象在所述待识别图像和所述深度图像中所占的像素点位置相同;将所述待识别图像输入缺陷检测模型中,获得所述缺陷检测模型输出的缺陷区域;根据所述深度图像确定所述缺陷区域中的像素点对应的深度信息;根据所述深度信息获得缺陷检测结果。本申请实施例通过对待检测对象进行图像采集,并对图像进行缺陷识别,在确定缺陷区域后,利用缺陷区域对应的深度图获得深度信息,最后根据深度信息确定是否是目标缺陷。本申请实施例通过对图像进行处理实现缺陷的检测,并结合深度信息确定目标缺陷,提高了检测缺陷的效率。

Description

一种缺陷检测方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种缺陷检测方法、装置、电子设备及存储介质。
背景技术
目前,电子产品的外壳在出厂之前都需要进行多次质量检查。以手机中框为例,在出厂前需要对其外观是否有缺陷进行质检。
手机中框在封胶时候由于工艺的原因会产生缺陷,从图像外观看缺陷呈划痕、中空、裂缝等形状,这种缺陷定义为外观缺陷。外观缺陷的检测可以通过刷肥皂水的方式,如果有气泡冒出的则定义为功能缺陷。对于中框刷胶的质量检测,着重于找到外观缺陷中的功能缺陷,外观缺陷在刷肥皂水时候不漏出气泡,则该外观缺陷不影响中框涂胶质量。但是这种检测方法耗时费力,人工成本较高。
发明内容
本申请实施例的目的在于提供一种缺陷检测方法、装置、电子设备及存储介质,用以提高对电子产品的外壳缺陷检测的效率。
第一方面,本申请实施例提供一种缺陷检测方法,包括:获取待检测对象的待识别图像和深度图像;所述待检测对象在所述待识别图像和所述深度图像中所占的像素点位置相同;将所述待识别图像输入缺陷检测模型中,获得所述缺陷检测模型输出的缺陷区域;根据所述深度图像确定所述缺陷区域中的像素点对应的深度信息;根据所述深度信息获得缺陷检测结果。
本申请实施例通过对待检测对象进行图像采集,并对图像进行缺陷识别,在确定缺陷区域后,利用缺陷区域对应的深度图获得深度信息,最后根据深度信息确定是否是目标缺陷。上述操作可以通过自动化实现,相较于通过刷肥皂水的方式,本申请实施例检测缺陷的效率更高。
在任一实施例中,所述根据所述深度信息获得缺陷检测结果,包括:将所述深度信息大于预设深度的像素点的灰度值置为第一灰度值,将所述深度信息小于或等于所述预设深度的像素点的灰度值置为第二灰度值;获取所述第一灰度值的像素点对应的第一数量,若所述第一数量大于第一预设数量,则确定所述缺陷区域为目标缺陷。
本申请实施例通过根据深度信息对缺陷区域图像二值化,并根据二值化后的图像确定缺陷深度较深的区域大小确定是否为目标缺陷,提高了对目标缺陷检测的准确性。
在任一实施例中,所述根据所述深度信息获得缺陷检测结果,包括:根据所述深度信息获取所述缺陷区域中像素点的深度最大值;若所述深度最大值大于第一预设阈值,则确定所述缺陷区域为目标缺陷。
本申请实施例通过判断缺陷区域中像素点的深度最大值是否大于第一预设阈值,若是,则确定为目标缺陷,从而提高了缺陷检测的效率。
在任一实施例中,所述根据所述深度信息获得缺陷检测结果,包括:根据所述深度信息确定所述缺陷区域对应的平均深度;若所述平均深度大于第二预设阈值,则确定所述缺陷区域为目标缺陷。
本申请实施例通过计算缺陷区域的平均深度,若平均深度大于第二预设阈值则说明缺陷区域从整体上反应缺陷较为严重,因此确定为目标缺陷,提高了缺陷检测的准确性。
在任一实施例中,所述获取待检测对象的待识别图像和深度图像,包括:获取原始图像和原始深度图像;根据预设大小对所述原始图像进行分割,获得多个原始图像块;将所述多个原始图像块输入对象识别模型中,获得所述对象识别模型输出的每一原始图像块对应的识别结果;其中,所述原始图像块对应的识别结果构成所述待识别图像;根据每一原始图像块对应的识别结果对所述原始深度图像进行分割,获得每一原始图像块对应的深度图像块;所有的深度图像块构成所述深度图像。
本申请实施例通过将原始图像进行分割成多个原始图像块,然后分别对每个原始图像块进行对象检测,获得待识别图像,提高了对图像处理的效率。
在任一实施例中,将所述待识别图像输入缺陷检测模型中,获得所述缺陷检测模型输出的缺陷区域,包括:将每个所述原始图像块对应的识别结果输入所述缺陷检测模型中,获得所述缺陷检测模型输出的每个所述识别结果块对应的缺陷区域。
本申请实施例将原始图像块对应的识别结果输入缺陷检测模型中进行缺陷检测,提高了缺陷检测的效率。
在任一实施例中,所述方法还包括:获取标注有缺陷的训练图像和掩模图像;将所述训练图像输入待训练模型中,获得所述待训练模型输出的预测结果;根据所述预测结果和所述掩模图像对所述待训练模型的内部参数进行优化,获得训练好的所述缺陷检测模型。
本申请实施例通过训练图像和掩模图像训练缺陷检测模型,从而可以通过缺陷检测模型快速准确的识别出待识别图像中的缺陷区域,提高了缺陷检测的效率。
第二方面,本申请实施例提供一种缺陷检测装置,包括:图像获取模块,用于获取待检测对象的待识别图像和深度图像;所述待检测对象在所述待识别图像和所述深度图像中所占的像素点位置相同;缺陷区域识别模块,用于将所述待识别图像输入缺陷检测模型中,获得所述缺陷检测模型输出的缺陷区域;深度信息统计模块,用于根据所述深度图像确定所述缺陷区域中的像素点对应的深度信息;缺陷检测模块,用于根据所述深度信息获得缺陷检测结果。
第三方面,本申请实施例提供一种电子设备,包括:处理器、存储器和总线,其中,所述处理器和所述存储器通过所述总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行第一方面的方法。
第四方面,本申请实施例提供一种非暂态计算机可读存储介质,包括:所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第一方面的方法。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种缺陷检测方法流程示意图;
图2为本申请实施例提供的缺陷检测模型训练流程示意图;
图3为本申请实施例提供的另一种缺陷检测方法流程示意图;
图4为本申请实施例提供的缺陷检测装置结构示意图;
图5为本申请实施例提供的电子设备实体结构示意图。
具体实施方式
发明人研究发现,通过在待检测的电子设备外壳上刷肥皂水,判断是否有气泡产生,以此来确定外观缺陷是否为功能缺陷,这种方法效率较低。因此,为了解决这一技术问题,本申请实施例提供了一种缺陷检测方法,该方法通过利用缺陷检测模型从待识别图像中确定缺陷区域,并结合深度图像获得缺陷检测结果,这种方法通过对采集的图像进行处理即可获得结果,不需要在外壳上刷肥皂水,大大提高了缺陷检测的效率。
本申请实施例所提供的缺陷检测方法可以应用于对电子产品的外壳缺陷检测,例如:对手机中框的缺陷检测,对智能手表中框的缺陷检测,对平板电脑中框的缺陷检测,还可以是对手机背板的缺陷检测等。另外还可以是对除电子产品以外的其他产品的外壳的缺陷检测,例如对某食品包装盒的缺陷检测等。为了便于描述,本申请实施例以对手机中框的缺陷检测为例进行展开描述。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
本申请实施例提供的模型训练方法以及缺陷检测方法可以应用于终端设备(也可以称为电子设备)以及服务器;其中终端设备具体可以为智能手机、平板电脑、计算机、个人数字助理(Personal Digital Assitant,PDA)等;服务器具体可以为应用服务器,也可以为Web服务器。另外,模型训练方法以及检测方法均可以是同一终端设备执行,也可以是不同终端设备执行。
为了便于理解,本申请实施例提供的技术方案,下面以终端设备作为执行主体为例,对本申请实施例提供的模型训练方法及检测方法的应用场景进行介绍。
图1为本申请实施例提供的一种缺陷检测方法流程示意图,如图1所示,该方法包括:
步骤101:获取待检测对象的待识别图像和深度图像;所述待检测对象在所述待识别图像和所述深度图像中所占的像素点位置相同;
步骤102:将所述待识别图像输入缺陷检测模型中,获得所述缺陷检测模型输出的缺陷区域;
步骤103:根据所述深度图像确定所述缺陷区域中的像素点对应的深度信息;
步骤104:根据所述深度信息获得缺陷检测结果。
在步骤101中,待识别图像中包括待检测对象,深度图像包括待检测对象的深度信息,并且待检测图像和深度图像中的像素点一一对应,也就是说,待检测对象在待识别图像和深度图像中所占像素点的位置是相同的。待识别图像和深度图像可以是由高清激光线扫相机拍摄待检测对象获得,由高清激光线扫相机将采集的待识别图像和深度图像发送给终端设备,当然,若终端设备自带图像采集装置,也可以有终端设备对待检测对象进行图像采集获得。可以理解的是,待检测对象可以为手机中框。待识别图像和深度图像也可以由不同的图像采集装置采集,但是要保证待检测对象在所述待识别图像和所述深度图像中所占的像素点位置相同。
在步骤102中,缺陷检测模型为预先训练好的,其能够对输入的待识别图像进行分析,从而识别出待识别图像中的待检测对象上的缺陷区域。可以理解的是,缺陷区域为缺陷检测模型输出的将缺陷用标注框标注后的图像。缺陷检测模型可以为利用神经网络、卷积神经网络、SSD网络、YOLO网络等构建,还可以利用其他网络构建,本申请实施例对此不作具体限定。
在步骤103中,由于深度图像和待识别图像是对应的,因此,在获得缺陷区域后,可以将缺陷区域映射到深度图像中,在深度图像中确定缺陷区域对应的像素点区域,获取像素点区域对应深度信息。
在步骤104中,终端设备在获得缺陷区域的深度信息后,根据深度信息获得缺陷检测结果。可以理解的是,缺陷检测结果包括缺陷区域对应的缺陷类型为功能缺陷或不为功能缺陷。
本申请实施例通过对待检测对象进行图像采集,并对图像进行缺陷识别,在确定缺陷区域后,利用缺陷区域对应的深度图获得深度信息,最后根据深度信息确定是否是目标缺陷。上述操作可以通过自动化实现,相较于通过刷肥皂水的方式,本申请实施例检测缺陷的效率更高。
在另一实施例中,图2为本申请实施例提供的缺陷检测模型训练流程示意图,如图2所示,包括:
步骤201:获取标注有缺陷的训练图像和掩模图像;其中,训练图像中包括手机中框,以及手机中框中缺陷对应的标注框。可以理解的是,标注框可以是人工进行标注,也可以是从互联网上下载的包含缺陷标注框的手机中框的图像。掩模图像的分辨率与训练图像相同,掩模图像为一个二值图像,且掩模图像中与缺陷标注框内区域对应的像素点的灰度值为255,其他区域的灰度值为0。当然,掩模图像中与缺陷标注框内区域对应的像素点的灰度值也可以为0,其他区域的灰度值为255。
步骤202:将所述训练图像输入待训练模型中,获得所述待训练模型输出的预测结果;
步骤203:根据所述预测结果和所述掩模图像对所述待训练模型的内部参数进行优化,获得训练好的所述缺陷检测模型。根据预测结果和掩模图像构建损失函数,并利用损失函数对待训练模型内部参数进行优化。
本申请实施例通过训练图像和掩模图像训练缺陷检测模型,从而可以通过缺陷检测模型快速准确的识别出待识别图像中的缺陷区域,提高了缺陷检测的效率。
在上述实施例的基础上,所述根据所述深度信息获得缺陷检测结果,包括:
将所述深度信息大于预设深度的像素点的灰度值置为第一灰度值,将所述深度信息小于或等于所述预设深度的像素点的灰度值置为第二灰度值;
获取所述第一灰度值的像素点对应的第一数量,若所述第一数量大于第一预设数量,则确定所述缺陷区域为目标缺陷。
在具体的实施过程中,在获取到深度图像中像素点区域对应的深度信息后,将像素点区域进行二值化,具体可以是预先设定预设深度,将深度信息大于预设深度的像素点的灰度值设置为第一灰度值,例如为0,将深度信息小于或等于预设深度的像素点的灰度值设置为第二灰度值,例如为255。统计灰度值为0的像素点的个数,记为第一数量,如果第一数量为大于第一预设数量,则说明缺陷较大,因此确定缺陷区域为目标缺陷。可以理解的是,目标缺陷可以理解为缺陷区域就是本申请实施例所要检测出来的缺陷,也就是说目标缺陷就是功能缺陷。
本申请实施例通过根据深度信息对缺陷区域图像二值化,并根据二值化后的图像确定缺陷深度较深的区域大小确定是否为目标缺陷,提高了对目标缺陷检测的准确性。
在另一实施例中,终端设备在获取第一灰度值的像素点对应的第一数量时,可以将与其他第一灰度值的像素点相邻的第一灰度值的像素点的个数。换句话说,如果一个像素点的灰度值为第一灰度值,但是这个像素点的上、下、左、右四个像素点的灰度值均不是第一灰度值,那么则不统计这个像素点。
在另一实施例中,终端设备还可以通过如下方式根据深度信息获得缺陷检测结果:
终端设备在获取到缺陷区域对应的深度信息后,统计缺陷区域中,深度信息大于预设深度的像素点的个数,如果超过一定数量,则说明缺陷面积较大,认为是目标缺陷。
在上述实施例的基础上,所述根据所述深度信息获得缺陷检测结果,包括:
根据所述深度信息获取所述缺陷区域中像素点的深度最大值;
若所述深度最大值大于第一预设阈值,则确定所述缺陷区域为目标缺陷。
在具体的实施过程中,由于功能缺陷的深度一般都是连续的,也就是说缺陷区域对应的相邻像素点的深度信息差别不会很悬殊,因此,本申请实施例通过获取缺陷区域中像素点的深度最大值,并判断深度最大值是否大于第一预设阈值,如果大于,则说明缺陷较深,确定缺陷区域为目标缺陷。
本申请实施例通过判断缺陷区域中像素点的深度最大值是否大于第一预设阈值,若是,则确定为目标缺陷,从而提高了缺陷检测的效率。
在另一实施例中,还可以通过如下方式确定缺陷区域是否为目标缺陷:
根据缺陷区域各像素点的深度信息,计算获得缺陷区域对应的平均深度,如果平均深度大于第二预设阈值,则说明缺陷区域较深,将缺陷区域确定为目标缺陷。可以理解的是,第二预设阈值为根据实际情况预先设定,本申请实施例对此不作具体限定。
本申请实施例通过计算缺陷区域的平均深度,若平均深度大于第二预设阈值则说明缺陷区域从整体上反应缺陷较为严重,因此确定为目标缺陷,提高了缺陷检测的准确性。
在上述实施例的基础上,图3为本申请实施例提供的另一种缺陷检测方法流程示意图,如图3所示,该方法包括:
步骤301:获取原始图像和原始深度图像;
步骤302:根据预设大小对所述原始图像进行分割,获得多个原始图像块;
步骤303:将所述多个原始图像块输入对象识别模型中,获得所述对象识别模型输出的每一原始图像块对应的识别结果;其中,所述原始图像块对应的识别结果构成所述待识别图像;对象识别模型为预先训练获得的,且对象识别模型可以是采用神经网络、SSD网络、YOLO网络等网络构建而成。其训练过程与缺陷检测模型的训练方式类似,区别在于训练样本,对象识别模型的训练样本为包含对手机中框进行标注的图像和手机中框的掩模图像。
步骤304:根据每一原始图像块对应的识别结果对所述原始深度图像进行分割,获得每一原始图像块对应的深度图像块;所有的深度图像块构成所述深度图像;
步骤305:将所述待识别图像输入缺陷检测模型中,获得所述缺陷检测模型输出的缺陷区域;
步骤306:根据所述深度图像确定所述缺陷区域中的像素点对应的深度信息;
步骤307:根据所述深度信息获得缺陷检测结果。
在具体的实施过程中,步骤305-步骤307与上述实施例中的步骤102-步骤104,因此,针对步骤305-步骤307的描述参见步骤102-步骤104,本申请实施例对此不再赘述。
在步骤301中,原始图像中包括待检测对象,原始深度图像包括待检测对象的深度信息,并且原始图像和原始深度图像中的像素点一一对应,也就是说,待检测对象在原始图像和原始深度图像中所占像素点的位置是相同的。原始图像和原始深度图像可以是由高清激光线扫相机拍摄待检测对象获得,由高清激光线扫相机将采集的原始图像和原始深度图像发送给终端设备。当然,若终端设备自带图像采集装置,也可以有终端设备对待检测对象进行图像采集获得。可以理解的是,待检测对象可以为手机中框。原始图像和原始深度图像也可以由不同的图像采集装置采集,但是要保证待检测对象在所述原始图像和原始深度图像中所占的像素点位置相同。另外,原始图像与待识别图像的区别在于原始图像中除了包含待检测对象外,还包含其他背景。同样的,原始深度图像与深度图像的区别在于原始深度图像中除了待检测对象的深度信息外,还包括其他背景的深度信息。
在步骤302中,由于原始图像和原始深度图像分辨率较高,如果直接对原始图像和原始深度图像进行处理,则会占用较大的内存,且处理效率较慢。因此,为了提高处理效率,可以按照预设大小对原始图像进行分割,获得多个原始图像块。以原始图像的分辨率为800*20000为例,可以按照预设大小为800*2000对原始图像进行分割,可以获得10个原始图像块。
在步骤303中,为了去除原始图像中背景的干扰,进一步提高图像处理的效率,针对每个原始图像块进行对象识别,具体可以为,将每个原始图像块输入对象识别模型中,对象识别模型对每个原始图像块进行对象识别,从而获得每个原始图像块的识别结果。可以理解的是,每个原始图像块的识别结果是指对象识别模型识别出每个原始图像块中的感兴趣区域,并将感兴趣区域从对应的原始图像块中分割出来获得的区域。将所有的原始图像块对应的识别结果拼接后可以获得待识别图像。
在步骤304中,由于原始深度图像和原始图像相对应,因此,在获得识别结果后,根据每个原始图像块对应的识别结果对原始深度图像进行分割,可以获得深度图像。
本申请实施例通过将原始图像进行分割成多个原始图像块,然后分别对每个原始图像块进行对象检测,获得待识别图像,提高了对图像处理的效率。
在上述实施例的基础上,将所述待识别图像输入缺陷检测模型中,获得所述缺陷检测模型输出的缺陷区域,包括:
将每个所述原始图像块对应的识别结果输入所述缺陷检测模型中,获得所述缺陷检测模型输出的每个所述识别结果块对应的缺陷区域。
在具体的实施过程中,在获得原始图像块对应的识别结果后,将识别结果输入缺陷检测模型中,缺陷检测模型对每个识别结果进行检测,获得每个识别结果对应的缺陷区域。
本申请实施例将原始图像块对应的识别结果输入缺陷检测模型中进行缺陷检测,提高了缺陷检测的效率。
图4为本申请实施例提供的缺陷检测装置结构示意图,该装置可以是电子设备上的模块、程序段或代码。应理解,该装置与上述图1方法实施例对应,能够执行图1方法实施例涉及的各个步骤,该装置具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。所述装置包括:图像获取模块401、缺陷区域识别模块402、深度信息统计模块403和缺陷检测模块404,其中:
图像获取模块401用于获取待检测对象的待识别图像和深度图像;所述待检测对象在所述待识别图像和所述深度图像中所占的像素点位置相同;
缺陷区域识别模块402用于将所述待识别图像输入缺陷检测模型中,获得所述缺陷检测模型输出的缺陷区域;
深度信息统计模块403用于根据所述深度图像确定所述缺陷区域中的像素点对应的深度信息;
缺陷检测模块404用于根据所述深度信息获得缺陷检测结果。
在上述实施例的基础上,缺陷检测模块404具体用于:
将所述深度信息大于预设深度的像素点的灰度值置为第一灰度值,将所述深度信息小于或等于所述预设深度的像素点的灰度值置为第二灰度值;
获取所述第一灰度值的像素点对应的第一数量,若所述第一数量大于第一预设数量,则确定所述缺陷区域为目标缺陷。
在上述实施例的基础上,缺陷检测模块404具体用于:
根据所述深度信息获取所述缺陷区域中像素点的深度最大值;
若所述深度最大值大于第一预设阈值,则确定所述缺陷区域为目标缺陷。
在上述实施例的基础上,缺陷检测模块404具体用于:
根据所述深度信息确定所述缺陷区域对应的平均深度;
若所述平均深度大于第二预设阈值,则确定所述缺陷区域为目标缺陷。
在上述实施例的基础上,图像获取模块401具体用于:
获取原始图像和原始深度图像;
根据预设大小对所述原始图像进行分割,获得多个原始图像块;
将所述多个原始图像块输入对象识别模型中,获得所述对象识别模型输出的每一原始图像块对应的识别结果;其中,所述原始图像块对应的识别结果构成所述待识别图像;
根据每一原始图像块对应的识别结果对所述原始深度图像进行分割,获得每一原始图像块对应的深度图像块;所有的深度图像块构成所述深度图像。
在上述实施例的基础上,缺陷区域识别模块402具体用于:
将每个所述原始图像块对应的识别结果输入所述缺陷检测模型中,获得所述缺陷检测模型输出的每个所述识别结果块对应的缺陷区域。
在上述实施例的基础上,装置还包括模型训练模块用于:
获取标注有缺陷的训练图像和掩模图像;
将所述训练图像输入待训练模型中,获得所述待训练模型输出的预测结果;
根据所述预测结果和所述掩模图像对所述待训练模型的内部参数进行优化,获得训练好的所述缺陷检测模型。
图5为本申请实施例提供的电子设备实体结构示意图,如图5所示,所述电子设备,包括:处理器(processor)501、存储器(memory)502和总线503;其中,
所述处理器501和存储器502通过所述总线503完成相互间的通信;
所述处理器501用于调用所述存储器502中的程序指令,以执行上述各方法实施例所提供的方法,例如包括:获取待检测对象的待识别图像和深度图像;所述待检测对象在所述待识别图像和所述深度图像中所占的像素点位置相同;将所述待识别图像输入缺陷检测模型中,获得所述缺陷检测模型输出的缺陷区域;根据所述深度图像确定所述缺陷区域中的像素点对应的深度信息;根据所述深度信息获得缺陷检测结果。
处理器501可以是一种集成电路芯片,具有信号处理能力。上述处理器501可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器502可以包括但不限于随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)等。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:获取待检测对象的待识别图像和深度图像;所述待检测对象在所述待识别图像和所述深度图像中所占的像素点位置相同;将所述待识别图像输入缺陷检测模型中,获得所述缺陷检测模型输出的缺陷区域;根据所述深度图像确定所述缺陷区域中的像素点对应的深度信息;根据所述深度信息获得缺陷检测结果。
本实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:获取待检测对象的待识别图像和深度图像;所述待检测对象在所述待识别图像和所述深度图像中所占的像素点位置相同;将所述待识别图像输入缺陷检测模型中,获得所述缺陷检测模型输出的缺陷区域;根据所述深度图像确定所述缺陷区域中的像素点对应的深度信息;根据所述深度信息获得缺陷检测结果。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种缺陷检测方法,其特征在于,包括:
获取待检测对象的待识别图像和深度图像;所述待检测对象在所述待识别图像和所述深度图像中所占的像素点位置相同;
将所述待识别图像输入缺陷检测模型中,获得所述缺陷检测模型输出的缺陷区域;
根据所述深度图像确定所述缺陷区域中的像素点对应的深度信息;
根据所述深度信息获得缺陷检测结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述深度信息获得缺陷检测结果,包括:
将所述深度信息大于预设深度的像素点的灰度值置为第一灰度值,将所述深度信息小于或等于所述预设深度的像素点的灰度值置为第二灰度值;
获取所述第一灰度值的像素点对应的第一数量,若所述第一数量大于第一预设数量,则确定所述缺陷区域为目标缺陷。
3.根据权利要求1所述的方法,其特征在于,所述根据所述深度信息获得缺陷检测结果,包括:
根据所述深度信息获取所述缺陷区域中像素点的深度最大值;
若所述深度最大值大于第一预设阈值,则确定所述缺陷区域为目标缺陷。
4.根据权利要求1所述的方法,其特征在于,所述根据所述深度信息获得缺陷检测结果,包括:
根据所述深度信息确定所述缺陷区域对应的平均深度;
若所述平均深度大于第二预设阈值,则确定所述缺陷区域为目标缺陷。
5.根据权利要求1所述的方法,其特征在于,所述获取待检测对象的待识别图像和深度图像,包括:
获取原始图像和原始深度图像;
根据预设大小对所述原始图像进行分割,获得多个原始图像块;
将所述多个原始图像块输入对象识别模型中,获得所述对象识别模型输出的每一原始图像块对应的识别结果;其中,所述原始图像块对应的识别结果构成所述待识别图像;
根据每一原始图像块对应的识别结果对所述原始深度图像进行分割,获得每一原始图像块对应的深度图像块;所有的深度图像块构成所述深度图像。
6.根据权利要求5所述的方法,其特征在于,将所述待识别图像输入缺陷检测模型中,获得所述缺陷检测模型输出的缺陷区域,包括:
将每个所述原始图像块对应的识别结果输入所述缺陷检测模型中,获得所述缺陷检测模型输出的每个所述识别结果块对应的缺陷区域。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
获取标注有缺陷的训练图像和掩模图像;
将所述训练图像输入待训练模型中,获得所述待训练模型输出的预测结果;
根据所述预测结果和所述掩模图像对所述待训练模型的内部参数进行优化,获得训练好的所述缺陷检测模型。
8.一种缺陷检测装置,其特征在于,包括:
图像获取模块,用于获取待检测对象的待识别图像和深度图像;所述待检测对象在所述待识别图像和所述深度图像中所占的像素点位置相同;
缺陷区域识别模块,用于将所述待识别图像输入缺陷检测模型中,获得所述缺陷检测模型输出的缺陷区域;
深度信息统计模块,用于根据所述深度图像确定所述缺陷区域中的像素点对应的深度信息;
缺陷检测模块,用于根据所述深度信息获得缺陷检测结果。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,其中,
所述处理器和所述存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1-7任一项所述的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令被计算机运行时,使所述计算机执行如权利要求1-7任一项所述的方法。
CN202111045437.3A 2021-09-07 2021-09-07 一种缺陷检测方法、装置、电子设备及存储介质 Pending CN113763355A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111045437.3A CN113763355A (zh) 2021-09-07 2021-09-07 一种缺陷检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111045437.3A CN113763355A (zh) 2021-09-07 2021-09-07 一种缺陷检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113763355A true CN113763355A (zh) 2021-12-07

Family

ID=78793657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111045437.3A Pending CN113763355A (zh) 2021-09-07 2021-09-07 一种缺陷检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113763355A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114202528A (zh) * 2021-12-13 2022-03-18 北京创源微致软件有限公司 一种产品检测方法及装置
CN114399467A (zh) * 2021-12-15 2022-04-26 北京德风新征程科技有限公司 机箱外壳检测方法、装置、电子设备和计算机可读介质
CN114494142A (zh) * 2021-12-28 2022-05-13 深圳科瑞技术股份有限公司 一种基于深度学习的移动终端中框缺陷检测方法及装置
CN114663404A (zh) * 2022-03-25 2022-06-24 广州中科云图智能科技有限公司 一种线路缺陷识别方法、装置、电子设备及存储介质
CN114782445A (zh) * 2022-06-22 2022-07-22 深圳思谋信息科技有限公司 对象缺陷检测方法、装置、计算机设备和存储介质
CN114972892A (zh) * 2022-07-12 2022-08-30 山东嘉通专用汽车制造有限公司 基于计算机视觉的汽车刹车片缺陷分类方法
CN115222739A (zh) * 2022-09-20 2022-10-21 成都数之联科技股份有限公司 缺陷标注方法、装置、存储介质、设备及计算机程序产品
CN116051542A (zh) * 2023-03-06 2023-05-02 深圳市深视智能科技有限公司 缺陷检测方法及缺陷检测装置
CN116206111A (zh) * 2023-03-07 2023-06-02 广州市易鸿智能装备有限公司 一种缺陷识别方法、装置、电子设备及存储介质
CN116310424A (zh) * 2023-05-17 2023-06-23 青岛创新奇智科技集团股份有限公司 基于图像识别的设备质量评估方法、装置、终端和介质
CN116773546A (zh) * 2023-06-20 2023-09-19 上海感图网络科技有限公司 一种镀铜板叠料缺陷检测方法、装置及存储介质
CN116797590A (zh) * 2023-07-03 2023-09-22 深圳市拓有软件技术有限公司 一种基于机器视觉的Mura缺陷检测方法及***
CN116952958A (zh) * 2023-09-18 2023-10-27 杭州百子尖科技股份有限公司 缺陷检测方法、装置、电子设备及存储介质
CN116993727A (zh) * 2023-09-26 2023-11-03 宁德思客琦智能装备有限公司 检测方法及装置、电子设备、计算机可读介质
CN117058155A (zh) * 2023-10-13 2023-11-14 西安空天机电智能制造有限公司 3dp金属打印铺粉缺陷检测方法、装置、设备及介质
CN117078666A (zh) * 2023-10-13 2023-11-17 东声(苏州)智能科技有限公司 二维和三维结合的缺陷检测方法、装置、介质和设备
CN117078665A (zh) * 2023-10-13 2023-11-17 东声(苏州)智能科技有限公司 产品表面缺陷检测方法、装置、存储介质和电子设备
CN117495829A (zh) * 2023-11-15 2024-02-02 广东昭明电子集团股份有限公司 一种智能手表五金件质量检测方法
CN117871538A (zh) * 2024-03-07 2024-04-12 江苏时代新能源科技有限公司 缺陷检测***、缺陷检测方法及相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694472A (zh) * 2009-10-23 2010-04-14 郭震 缺陷孔图像识别方法
CN103077526A (zh) * 2013-02-01 2013-05-01 苏州华兴致远电子科技有限公司 具有深度检测功能的列车异常检测方法及***
US20180322623A1 (en) * 2017-05-08 2018-11-08 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning
CN109978865A (zh) * 2019-03-28 2019-07-05 中核建中核燃料元件有限公司 一种用于核燃料棒焊缝表面检测的方法、装置
CN110136130A (zh) * 2019-05-23 2019-08-16 北京阿丘机器人科技有限公司 一种检测产品缺陷的方法及装置
CN111044522A (zh) * 2019-12-14 2020-04-21 中国科学院深圳先进技术研究院 缺陷检测方法、装置及终端设备
CN111982911A (zh) * 2020-07-10 2020-11-24 深圳先进技术研究院 一种电路板缺陷的检测方法、装置、终端设备及存储介质
CN112532882A (zh) * 2020-11-26 2021-03-19 维沃移动通信有限公司 图像显示方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694472A (zh) * 2009-10-23 2010-04-14 郭震 缺陷孔图像识别方法
CN103077526A (zh) * 2013-02-01 2013-05-01 苏州华兴致远电子科技有限公司 具有深度检测功能的列车异常检测方法及***
US20180322623A1 (en) * 2017-05-08 2018-11-08 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning
CN109978865A (zh) * 2019-03-28 2019-07-05 中核建中核燃料元件有限公司 一种用于核燃料棒焊缝表面检测的方法、装置
CN110136130A (zh) * 2019-05-23 2019-08-16 北京阿丘机器人科技有限公司 一种检测产品缺陷的方法及装置
CN111044522A (zh) * 2019-12-14 2020-04-21 中国科学院深圳先进技术研究院 缺陷检测方法、装置及终端设备
CN111982911A (zh) * 2020-07-10 2020-11-24 深圳先进技术研究院 一种电路板缺陷的检测方法、装置、终端设备及存储介质
CN112532882A (zh) * 2020-11-26 2021-03-19 维沃移动通信有限公司 图像显示方法和装置

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114202528A (zh) * 2021-12-13 2022-03-18 北京创源微致软件有限公司 一种产品检测方法及装置
CN114399467A (zh) * 2021-12-15 2022-04-26 北京德风新征程科技有限公司 机箱外壳检测方法、装置、电子设备和计算机可读介质
CN114494142A (zh) * 2021-12-28 2022-05-13 深圳科瑞技术股份有限公司 一种基于深度学习的移动终端中框缺陷检测方法及装置
CN114663404A (zh) * 2022-03-25 2022-06-24 广州中科云图智能科技有限公司 一种线路缺陷识别方法、装置、电子设备及存储介质
CN114782445A (zh) * 2022-06-22 2022-07-22 深圳思谋信息科技有限公司 对象缺陷检测方法、装置、计算机设备和存储介质
CN114972892A (zh) * 2022-07-12 2022-08-30 山东嘉通专用汽车制造有限公司 基于计算机视觉的汽车刹车片缺陷分类方法
CN115222739A (zh) * 2022-09-20 2022-10-21 成都数之联科技股份有限公司 缺陷标注方法、装置、存储介质、设备及计算机程序产品
CN116051542A (zh) * 2023-03-06 2023-05-02 深圳市深视智能科技有限公司 缺陷检测方法及缺陷检测装置
CN116206111A (zh) * 2023-03-07 2023-06-02 广州市易鸿智能装备有限公司 一种缺陷识别方法、装置、电子设备及存储介质
CN116206111B (zh) * 2023-03-07 2024-02-02 广州市易鸿智能装备有限公司 一种缺陷识别方法、装置、电子设备及存储介质
CN116310424A (zh) * 2023-05-17 2023-06-23 青岛创新奇智科技集团股份有限公司 基于图像识别的设备质量评估方法、装置、终端和介质
CN116310424B (zh) * 2023-05-17 2023-08-18 青岛创新奇智科技集团股份有限公司 基于图像识别的设备质量评估方法、装置、终端和介质
CN116773546A (zh) * 2023-06-20 2023-09-19 上海感图网络科技有限公司 一种镀铜板叠料缺陷检测方法、装置及存储介质
CN116773546B (zh) * 2023-06-20 2024-03-22 上海感图网络科技有限公司 一种镀铜板叠料缺陷检测方法、装置及存储介质
CN116797590A (zh) * 2023-07-03 2023-09-22 深圳市拓有软件技术有限公司 一种基于机器视觉的Mura缺陷检测方法及***
CN116952958A (zh) * 2023-09-18 2023-10-27 杭州百子尖科技股份有限公司 缺陷检测方法、装置、电子设备及存储介质
CN116952958B (zh) * 2023-09-18 2023-12-29 杭州百子尖科技股份有限公司 缺陷检测方法、装置、电子设备及存储介质
CN116993727A (zh) * 2023-09-26 2023-11-03 宁德思客琦智能装备有限公司 检测方法及装置、电子设备、计算机可读介质
CN116993727B (zh) * 2023-09-26 2024-03-08 宁德思客琦智能装备有限公司 检测方法及装置、电子设备、计算机可读介质
CN117078665A (zh) * 2023-10-13 2023-11-17 东声(苏州)智能科技有限公司 产品表面缺陷检测方法、装置、存储介质和电子设备
CN117078666A (zh) * 2023-10-13 2023-11-17 东声(苏州)智能科技有限公司 二维和三维结合的缺陷检测方法、装置、介质和设备
CN117058155B (zh) * 2023-10-13 2024-03-12 西安空天机电智能制造有限公司 3dp金属打印铺粉缺陷检测方法、装置、设备及介质
CN117058155A (zh) * 2023-10-13 2023-11-14 西安空天机电智能制造有限公司 3dp金属打印铺粉缺陷检测方法、装置、设备及介质
CN117078666B (zh) * 2023-10-13 2024-04-09 东声(苏州)智能科技有限公司 二维和三维结合的缺陷检测方法、装置、介质和设备
CN117078665B (zh) * 2023-10-13 2024-04-09 东声(苏州)智能科技有限公司 产品表面缺陷检测方法、装置、存储介质和电子设备
CN117495829A (zh) * 2023-11-15 2024-02-02 广东昭明电子集团股份有限公司 一种智能手表五金件质量检测方法
CN117495829B (zh) * 2023-11-15 2024-04-30 广东昭明电子集团股份有限公司 一种智能手表五金件质量检测方法
CN117871538A (zh) * 2024-03-07 2024-04-12 江苏时代新能源科技有限公司 缺陷检测***、缺陷检测方法及相关设备

Similar Documents

Publication Publication Date Title
CN113763355A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
CN111612763B (zh) 手机屏幕缺陷检测方法、装置及***、计算机设备及介质
CN111753692B (zh) 目标对象提取方法、产品检测方法、装置、计算机和介质
CN113379680A (zh) 缺陷检测方法、装置、电子设备和计算机可读存储介质
CN115018840B (zh) 精密铸件裂纹检测方法、***及装置
CN109598298B (zh) 图像物体识别方法和***
CN114972191A (zh) 一种耕地变化检测方法和装置
CN114978037B (zh) 太阳能电池性能数据监控方法及***
CN116433666B (zh) 板卡线路缺陷在线识别方法、***、电子设备及存储介质
CN111340796A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
CN116168351B (zh) 电力设备巡检方法及装置
CN117147561B (zh) 用于金属拉链的表面质量检测方法及***
CN110796039B (zh) 一种面部瑕疵检测方法、装置、电子设备及存储介质
CN115471476A (zh) 一种部件缺陷检测方法、装置、设备及介质
CN116309532A (zh) 一种目标物品质量检测的方法、装置、设备及介质
CN114708247A (zh) 基于深度学习的烟盒包装缺陷识别方法和装置
CN111178445A (zh) 图像处理方法及装置
CN113283439B (zh) 基于图像识别的智能计数方法、装置及***
CN113191977A (zh) 一种用于恶劣环境条件下目标检测识别的图像增强***
CN114596243A (zh) 缺陷检测方法、装置、设备及计算机可读存储介质
CN115937555A (zh) 一种基于标准化流模型的工业缺陷检测算法
CN116977249A (zh) 缺陷检测的方法、模型训练的方法和装置
CN115984185A (zh) 纸巾包装缺陷检测方法、装置、***和存储介质
CN113870754B (zh) 一种面板检测电子信号缺陷判定的方法和***
CN115639578A (zh) 一种北斗导航定位监测处理方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination