CN110142230A - 一种检测外观缺陷的方法及装置 - Google Patents

Abstract

本申请提供了一种检测外观缺陷的方法及装置，包括：按照预设的视图拍摄策略，获取待检测物体的各平面视图图像；依据获取的平面视图图像，查询视图与缺陷检测模型的映射关系，得到所述获取的平面视图图像映射的视图缺陷检测模型；将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述待检测物体的外观缺陷检测结果。可以提升外观缺陷的检测效率。

Description

一种检测外观缺陷的方法及装置

技术领域

本申请涉及检测技术领域，具体而言，涉及一种检测外观缺陷的方法及装置。

背景技术

物体中包含的不规则外观缺陷检测一直是缺陷检测技术中的难点。例如，对于通用串行总线(USB，Universal Serial Bus)Type-C接口，随着2014年标准规范的制定，Type-C接口呈现了突飞猛进的发展势头，广泛应用在智能手机、平板、笔记本电脑、可穿戴设备、数字电视、机顶盒、运动相机、游戏机、虚拟现实/增强现实(VR/AR，Virtual Reality/Augmented Reality)等各行业领域，形成了一套完整的产业链和生态链。

在Type-C接口的自动化生产过程中，由于环境因素和工艺因素的影响，会产生大量不规则外观缺陷，目前，针对该不规则外观缺陷，一般采用自动光学检测(AOI，AutomatedOptical Inspection)技术，对Type-C接口的外观缺陷进行检测。具体地，通过布设在固定区域的相机进行拍摄，获取接口外观的平面图像，提取平面图像中包含的特征区域的参数值，例如，特征区域面积、特征区域的像素尺寸、像素面积、特征区域对比度等，与预先设置的参数阈值进行比较，若提取的参数值小于参数阈值，则确定该接口外观存在缺陷。但该检测外观缺陷的方法，对于不规则外观缺陷的可量化检测指标(面积、尺寸、对比度)小于参数阈值的情形，将确认为合格产品，因而，通过该AOI方法，会造成漏检，使得缺陷检测效率较低。进一步地，由于拍摄获取的平面图像也不能有效包含不规则的接口外观信息，例如，不规则接口外观的遮挡，进一步造成缺陷的漏检，降低了缺陷检测效率。

发明内容

有鉴于此，本申请的目的在于提供一种检测外观缺陷的方法及装置，提升外观缺陷的检测效率。

第一方面，本申请实施例提供了一种检测外观缺陷的方法，包括：

按照预设的视图拍摄策略，获取待检测物体的各平面视图图像；

依据获取的平面视图图像，查询视图与缺陷检测模型的映射关系，得到所述获取的平面视图图像映射的视图缺陷检测模型；

将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述待检测物体的外观缺陷检测结果。

可选地，所述按照预设的视图拍摄策略，获取待检测物体的各平面视图图像，包括：

在所述待检测物体从上料至下料的生产过程中，按照预设的视图拍摄策略，分别在各预设位置分别设置用于对所述待检测物体进行拍摄的工站组；

确定所述待检测物体从上料至下料的生产过程中的放置位置。

可选地，所述分别在各预设位置分别设置用于对所述待检测物体进行拍摄的工站组，包括：

沿上料至下料的方向，在第一预设位置，设置用于对所述待检测物体进行主视图拍摄的第一工站组，在第二预设位置，设置用于对所述待检测物体进行仰视图和俯视图拍摄的第二工站组，在第三预设位置，设置用于对所述待检测物体进行左视图和右视图拍摄的第三工站组，在第四预设位置，设置用于对所述待检测物体进行后视图拍摄的第四工站组。

可选地，所述依据获取的平面视图图像，查询视图与缺陷检测模型的映射关系，得到所述获取的平面视图图像映射的视图缺陷检测模型，包括：

接收在所述预设位置设置的工站组拍摄的平面视图图像，依据所述预设位置设置的工站组确定所述平面视图图像对应的视图类型；

查询所述映射关系，获取所述视图类型映射的视图缺陷检测模型。

可选地，所述外观缺陷检测结果包括：有缺陷以及无缺陷，将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述待检测物体的外观缺陷检测结果，包括：

将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述平面视图图像的缺陷检测结果；

若所述缺陷检测结果表明无缺陷，标记所述平面视图图像对应的视图类型；

判断标记的视图类型是否包含所述视图拍摄策略中的所有视图类型，若是，确定所述待检测物体无外观缺陷，若否，执行所述获取待检测物体的各平面视图图像的步骤；

若所述缺陷检测结果表明有缺陷，确定所述待检测物体有外观缺陷。

可选地，所述外观缺陷检测结果包括：缺陷名或无缺陷，将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述待检测物体的外观缺陷检测结果，包括：

将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述平面视图图像的缺陷检测结果；

标记所述平面视图图像对应的视图类型；

判断标记的视图类型是否包含所述视图拍摄策略中的所有视图类型，若是，统计各平面视图图像的缺陷检测结果，依据统计的缺陷检测结果，确定所述待检测物体无外观缺陷或具有的缺陷名，若否，执行所述获取待检测物体的各平面视图图像的步骤。

可选地，所述依据统计的缺陷检测结果，确定所述待检测物体无外观缺陷或具有的缺陷名，包括：

若所有的缺陷检测结果均表明无缺陷，确定所述待检测物体无外观缺陷，否则，对各缺陷检测结果中的缺陷名进行整合，输出所述待检测物体的整合缺陷检测结果。

可选地，所述方法还包括：

若所述待检测物体的外观缺陷检测结果表明无缺陷，控制将所述待检测物体置于正常料盘，若所述待检测物体的外观缺陷检测结果表明有缺陷，控制将所述待检测物体置于缺陷料盘。

可选地，构建所述视图缺陷检测模型，包括：

获取样品的平面目标视图图像；

依据所述样品的目标视图包含的缺陷名以及该缺陷名对应的缺陷类型，对所述平面目标视图图像进行标注，将标注的平面目标视图图像划分为训练集以及测试集；

以所述训练集中的平面目标视图图像作为视图初始缺陷检测模型的输入，以该平面目标视图图像标注的缺陷名、缺陷类型和缺陷区域位置坐标作为所述视图初始缺陷检测模型的输出，对所述视图初始缺陷检测模型进行训练；

以所述测试集中的平面目标视图图像作为训练的视图初始缺陷检测模型的输入，获取所述训练的视图初始缺陷检测模型的输出结果，与该平面目标视图图像标注的缺陷名、缺陷类型和缺陷区域位置坐标进行比对，获取所述训练的视图初始缺陷检测模型的识别精度；

若所述识别精度小于预先设置的精度阈值，依据所述训练集对所述训练的视图初始缺陷检测模型继续训练，直至所述训练的视图初始缺陷检测模型的识别度不小于所述精度阈值，得到所述视图缺陷检测模型。

第二方面，本申请实施例提供了一种检测外观缺陷的装置，包括：

视图图像获取模块，用于按照预设的视图拍摄策略，获取待检测物体的各平面视图图像；

检测模型查询模块，用于依据获取的平面视图图像，查询视图与缺陷检测模型的映射关系，得到所述获取的平面视图图像映射的视图缺陷检测模型；

外观缺陷检测模块，用于将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述待检测物体的外观缺陷检测结果。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。

本申请实施例提供的一种检测外观缺陷的方法及装置，通过按照预设的视图拍摄策略，获取待检测物体的各平面视图图像；依据获取的平面视图图像，查询视图与缺陷检测模型的映射关系，得到所述获取的平面视图图像映射的视图缺陷检测模型；将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述待检测物体的外观缺陷检测结果。这样，通过各视图缺陷检测模型，对各平面视图图像进行相应缺陷检测，可以避免依据参数阈值进行缺陷检测导致缺陷漏检的现象发生，提升外观缺陷的检测效率。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种检测外观缺陷的方法流程示意图；

图2为本申请实施例提供的构建视图缺陷检测模型的方法流程示意图；

图3为本申请实施例提供的一种检测外观缺陷的装置结构示意图；

图4为本申请实施例提供的一种计算机设备400的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的一种检测外观缺陷的方法流程示意图。如图1所示，该方法包括：

步骤101，按照预设的视图拍摄策略，获取待检测物体的各平面视图图像；

本申请实施例中，考虑到目前单一的相机拍摄，拍摄得到的平面图像中，难以全面反映待检测物体的外观形貌，采用多个相机，从各方位对待检测物体的外观进行拍摄，以获取该待检测物体的外观全形貌。作为一可选实施例，依据待检测物体的六个方位(前后、上下、左右)，对待检测物体进行拍摄。

本申请实施例中，每一待检测物体设置有检测标识，用以标识待检测物体的类型以及检测的序号，以唯一表征该待检测物体，以及，便于后续依据检测标识整合该待检测物体的缺陷检测结果。

本申请实施例中，待检测物体包括但不限于：接口及其它具有不规则缺陷的产品。作为一可选实施例，接口包括但不限于：Type-C接口、Type A接口、Type B接口等。通过设置检测标识，可以获知该待检测物体是接口还是其它产品，以及，若是接口，还可获知是接口中的哪一具体接口。

本申请实施例中，作为一可选实施例，按照预设的视图拍摄策略，获取待检测物体的各平面视图图像，包括：

A11，在所述待检测物体从上料至下料的生产过程中，按照预设的视图拍摄策略，分别在各预设位置分别设置用于对所述待检测物体进行拍摄的工站组；

本申请实施例中，在待检测物体从上料传输至下料的不同位置，分别设置工站组(相机组)，对待检测物体进行全方位拍摄，这样，每一位置进行相应视图的拍摄，可以有效避免视图拍摄所需光源的相互干扰。

本申请实施例中，作为一可选实施例，每一工站组具有独立的光源及相应的光源布置。

本申请实施例中，视图拍摄策略是指需要对待检测物体进行拍摄的视图类型，其中，视图类型包括但不限于：主视图、仰视图、俯视图、左视图、右视图以及后视图中的一种或其任意组合。例如，若视图拍摄策略为拍摄主视图和俯视图，则相应的预设位置为两处，若视图拍摄策略为拍摄主视图、俯视图和左视图，则相应的预设位置为三处。

本申请实施例中，作为一可选实施例，分别在各预设位置分别设置用于对所述待检测物体进行拍摄的工站组，包括：

沿上料至下料的方向，在第一预设位置，设置用于对所述待检测物体进行主视图拍摄的第一工站组，在第二预设位置，设置用于对所述待检测物体进行仰视图和俯视图拍摄的第二工站组，在第三预设位置，设置用于对所述待检测物体进行左视图和右视图拍摄的第三工站组，在第四预设位置，设置用于对所述待检测物体进行后视图拍摄的第四工站组。

本申请实施例中，作为一可选实施例，主视图包含的接口信息量最多，对产品的质量影响最大，仰视图和俯视图包含的接口信息量次之，左视图和右视图包含的接口信息量再次之，后视图包含的接口信息量最少。因而，设置第一预设位置用于放置进行主视图拍摄的工站组，首先进行主视图拍摄，第二预设位置用于放置进行仰视图和俯视图进行拍摄的工站组，第三预设位置用于放置对左视图和右视图进行拍摄的工站组，第四预设位置用于放置对后视图进行拍摄的第四工站组。

A12，确定所述待检测物体从上料至下料的生产过程中的放置位置。

本申请实施例中，依据待检测物体各平面包含的信息量多少，确定放置该待检测物体的主视方向，与第一预设位置的第一工站组拍摄的方向相一致，从而使得对于同一类的待检测物体，放置的方式均相同，不同类的待检测物体，当包含信息量最多的平面不同时，因而，放置方式也会相应不同。

步骤102，依据获取的平面视图图像，查询视图与缺陷检测模型的映射关系，得到所述获取的平面视图图像映射的视图缺陷检测模型；

本申请实施例中，对于同一类待检测物体，该待检测物体的不同平面，对应的缺陷或缺陷类型可能不同，因而，作为一可选实施例，为了有效减少进行缺陷检测所需的资源开销，针对同一类待检测物体的每一视图类型，设置一视图缺陷检测模型，以针对性地进行缺陷检测。当然，实际应用中，也可以针对一类待检测物体，设置对应的一缺陷检测模型，用以对该类待检测物体的各类缺陷进行统一检测。

本申请实施例中，以Type-C接口为例，缺陷类型包括：宏观复杂缺陷、复杂缺陷以及复杂形态缺陷，其中，

宏观复杂缺陷主要出现在Type-C接口的主视图和后视图上，包括但不限于以下缺陷名：划伤缺陷、亮点缺陷、脏污缺陷等，该类型的缺陷特征不规则。

复杂缺陷主要出现在Type-C接口的仰视图和俯视图上，包括但不限于：塑胶压伤缺陷、塑胶不饱膜缺陷、铁壳碰伤缺陷、组装不良缺陷等，该类型的缺陷特征不规则，但缺陷相对比较独立。

复杂形态缺陷主要出现在Type-C接口的左视图和右视图上，包括但不限于：焊渣缺陷、焊点击穿缺陷、焊点鼓包缺陷、虚焊缺陷、重焊缺陷、漏焊缺陷等，该类型的缺陷特征在同一位置，不同缺陷较多，形态各异。

本申请实施例中，作为一可选实施例，依据获取的平面视图图像，查询视图与缺陷检测模型的映射关系，得到所述获取的平面视图图像映射的视图缺陷检测模型，包括：

A21，接收在所述预设位置设置的工站组拍摄的平面视图图像，依据所述预设位置设置的工站组确定所述平面视图图像对应的视图类型；

本申请实施例中，作为一可选实施例，每一工站组在拍摄平面视图图像后，将拍摄的携带检测标识和工站组标识的平面视图图像传输至后台服务器，后台服务器依据传输的平面视图图像中包含的工站组标识，确定拍摄的平面视图图像的视图类型。

本申请实施例中，为每一工站组设置相应的标识，并构建工站组标识与视图类型的对应关系。

A22，查询所述映射关系，获取所述视图类型映射的视图缺陷检测模型。

本申请实施例中，若平面视图图像为主视图或后视图，则从映射关系中，获取主视图或后视图对应的视图缺陷检测模型。

步骤103，将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述待检测物体的外观缺陷检测结果。

本申请实施例中，作为一可选实施例，外观缺陷检测结果包括：有缺陷以及无缺陷，将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述待检测物体的外观缺陷检测结果，包括：

A31，将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述平面视图图像的缺陷检测结果；

A32，若所述缺陷检测结果表明无缺陷，标记所述平面视图图像对应的视图类型；

本申请实施例中，若该平面视图图像没有检测出缺陷，则进行下一平面视图图像的检测，直至所有平面视图图像均没有检测出缺陷，才能表明该待检测物体没有缺陷。

A33，判断标记的视图类型是否包含所述视图拍摄策略中的所有视图类型，若是，确定所述待检测物体无外观缺陷，若否，执行所述获取待检测物体的各平面视图图像的步骤；

本申请实施例中，若已标记的视图类型没有包含视图拍摄策略中的所有视图类型，则获取未标记的视图类型对应的平面视图图像。

A34，若所述缺陷检测结果表明有缺陷，确定所述待检测物体有外观缺陷。

本申请实施例中，若缺陷检测结果表明有缺陷，则可终止对该待检测物体的缺陷检测。

本申请实施例中，作为另一可选实施例，将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述待检测物体的外观缺陷检测结果，包括：

A41，将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述平面视图图像的缺陷检测结果，所述缺陷检测结果包括：缺陷名或无缺陷；

A42，标记所述平面视图图像对应的视图类型；

A43，判断标记的视图类型是否包含所述视图拍摄策略中的所有视图类型，若是，统计各平面视图图像的缺陷检测结果，依据统计的缺陷检测结果，确定所述待检测物体无外观缺陷或具有的缺陷名，若否，执行所述获取待检测物体的各平面视图图像的步骤。

本申请实施例中，作为另一可选实施例，依据统计的缺陷检测结果，确定所述待检测物体无外观缺陷或具有的缺陷名，包括：

若所有的缺陷检测结果均表明无缺陷，确定所述待检测物体无外观缺陷，否则，对各缺陷检测结果中的缺陷名进行整合，输出所述待检测物体的整合缺陷检测结果。

本申请实施例中，对各视图类型(平面视图图像)对应的缺陷检测结果(缺陷名)进行整合，输出待检测物体的整合缺陷检测结果。

本申请实施例中，作为一可选实施例，还可以由可编程逻辑控制器(PLC，Programmable Logic Controller)依据整合缺陷检测结果，对待检测物体执行OK/NG下料流程，即夹取待检测物体放入正常(OK)料盘，或，夹取待检测物体放入缺陷(NG)料盘。因而，该方法还可以包括：

若所述待检测物体的外观缺陷检测结果表明无缺陷，控制将所述待检测物体置于正常料盘，若所述待检测物体的外观缺陷检测结果表明有缺陷，控制将所述待检测物体置于缺陷料盘。

本申请实施例中，作为再一可选实施例，缺陷检测结果中还可以包括缺陷名对应的缺陷位置。这样，通过对所有视图类型的平面视图图像均进行缺陷检测，获取详细的缺陷信息，以便对生产接口的工艺或生产设备进行改进，以避免该类缺陷。

本申请实施例中，作为一可选实施例，可以在每一工站组中存储对应的视图缺陷检测模型，每一视图缺陷检测模型涉及的深度学习算法采用插件的方式布设至工站组中。在工站组检测后，将缺陷检测结果输出至下一工站组。

本申请实施例中，作为另一可选实施例，也可以是各工站组拍摄平面视图图像后，传输至后台服务器的图像池，图像池依据平面视图图像对应的视图类型，存储至对应的视图类型缓冲队列，视图缺陷检测模型在检测完平面视图图像，获取缺陷检测结果后，再从对应类型的视图类型缓冲队列中获取待检测的平面视图图像。

本申请实施例中，通过按照预设的视图拍摄策略，获取待检测物体的各平面视图图像；依据获取的平面视图图像，查询视图与缺陷检测模型的映射关系，得到所述获取的平面视图图像映射的视图缺陷检测模型；将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述待检测物体的外观缺陷检测结果。这样，通过各视图缺陷检测模型，对各平面视图图像进行相应缺陷检测，无需对平面视图图像进行参数值提取，可以避免依据参数阈值进行缺陷检测导致缺陷漏检的现象发生，可对不规则外观缺陷进行有效检测，提升外观缺陷的检测效率；进一步地，通过拍摄待检测物体的各平面视图图像，能够有效包含不规则的待检测物体的全方位外观信息，能够有效避免缺陷的漏检，提升了缺陷检测精度。

图2为本申请实施例提供的构建视图缺陷检测模型的方法流程示意图。如图2所示，该方法包括：

步骤201，获取样品的平面目标视图图像；

本申请实施例中，若构建的视图缺陷检测模型为主视图和后视图缺陷检测模型，则平面目标视图图像为样品的主视图和后视图。

本申请实施例中，样品包括：有缺陷样品和无缺陷样品。

步骤202，依据所述样品的目标视图包含的缺陷名以及该缺陷名对应的缺陷类型，对所述平面目标视图图像进行标注，将标注的平面目标视图图像划分为训练集以及测试集；

本申请实施例中，以主视图和后视图缺陷检测模型为例，则依据样品的主视平面和后视平面包含的缺陷，对平面目标视图图像进行标注。

本申请实施例中，通过人工方式对样品的缺陷区域进行人工分析，确定出主视平面和后视平面包含的缺陷名、缺陷类型以及缺陷名对应的缺陷区域，在对应的平面目标视图图像进行相应标注。

本申请实施例中，训练集和测试集中，均包含有具有缺陷的平面目标视图图像和无缺陷的平面目标视图图像。

本申请实施例中，作为一可选实施例，还可以将缺陷数量大于预设的数量阈值的平面目标视图图像放入训练集。

本申请实施例中，作为一可选实施例，在对所述平面目标视图图像进行标注之后，将标注的平面目标视图图像划分为训练集以及测试集之前，该方法还可以包括：

统计所述平面目标视图图像包含的所有缺陷区域面积，计算所述所有缺陷区域面积与所述平面目标视图图像的面积的比值；

若所述比值小于预先设置的比例阈值，对所述平面目标视图图像进行分割，依据分割得到的分割图像执行划分为训练集以及测试集的步骤。

本申请实施例中，分割得到的分割图像，要么包括缺陷区域，要么不包括任何缺陷区域。其中，分割得到的所有分割图像，均可作为训练集或测试集使用。

步骤203，以所述训练集中的平面目标视图图像作为视图初始缺陷检测模型的输入，以该平面目标视图图像标注的缺陷名、缺陷类型和缺陷区域位置坐标作为所述视图初始缺陷检测模型的输出，对所述视图初始缺陷检测模型进行训练；

本申请实施例中，进行训练的平面目标视图图像可以是有缺陷的图像，也可以是无缺陷的图像。

步骤204，以所述测试集中的平面目标视图图像作为训练的视图初始缺陷检测模型的输入，获取所述训练的视图初始缺陷检测模型的输出结果，与该平面目标视图图像标注的缺陷名、缺陷类型和缺陷区域位置坐标进行比对，获取所述训练的视图初始缺陷检测模型的识别精度；

本申请实施例中，输出结果包括：缺陷名、缺陷类型和缺陷区域位置坐标，分别与平面目标视图图像标注的缺陷名、缺陷类型和缺陷区域位置坐标进行比对，得到相应的缺陷名识别精度、缺陷类型识别精度和缺陷区域位置坐标识别精度。

步骤205，若所述识别精度小于预先设置的精度阈值，依据所述训练集对所述训练的视图初始缺陷检测模型继续训练，直至所述训练的视图初始缺陷检测模型的识别度不小于所述精度阈值，得到所述视图缺陷检测模型。

本申请实施例中，精度阈值包括：缺陷名精度阈值、缺陷类型精度阈值和缺陷区域位置坐标精度阈值。若缺陷名识别精度大于或等于缺陷名精度阈值、且缺陷类型识别精度大于或等于缺陷类型精度阈值、且缺陷区域位置坐标识别精度大于或等于缺陷区域位置坐标精度阈值，则表明训练完成，得到用于进行缺陷检测的视图缺陷检测模型。

本申请实施例中，还可以针对缺陷类型进行细分，划分为更多的缺陷子类型，并针对每一缺陷子类型，构建对应的视图缺陷检测子模型；或者，针对每一具体的缺陷名，构建对应的视图缺陷名检测子模型。本申请实施例对此不作限定。

本申请实施例中，通过设置基于深度学习的视图缺陷检测模型，为Type-C接口等物体的外观缺陷中无规则复杂缺陷检测提供了解决思路。

图3为本申请实施例提供的一种检测外观缺陷的装置结构示意图。如图3所示，该装置包括：

视图图像获取模块301，用于按照预设的视图拍摄策略，获取待检测物体的各平面视图图像；

本申请实施例中，采用多个相机，从六个方位(前后、上下、左右)对待检测物体的外观进行拍摄，以获取待检测物体的外观全形貌。

本申请实施例中，视图拍摄策略是指需要对待检测物体进行拍摄的视图类型，其中，视图类型包括但不限于：主视图、仰视图、俯视图、左视图、右视图以及后视图中的一种或其任意组合。

检测模型查询模块302，用于依据获取的平面视图图像，查询视图与缺陷检测模型的映射关系，得到所述获取的平面视图图像映射的视图缺陷检测模型；

本申请实施例中，针对同一类待检测物体的每一视图类型，设置一视图缺陷检测模型，以针对性地进行缺陷检测。

外观缺陷检测模块303，用于将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述待检测物体的外观缺陷检测结果。

本申请实施例中，作为一可选实施例，视图图像获取模块301，具体用于：

在所述待检测物体从上料至下料的生产过程中，按照预设的视图拍摄策略，分别在各预设位置分别设置用于对所述待检测物体进行拍摄的工站组；

确定所述待检测物体从上料至下料的生产过程中的放置位置。

本申请实施例中，作为一可选实施例，所述分别在各预设位置分别设置用于对所述待检测物体进行拍摄的工站组，包括：

沿上料至下料的方向，在第一预设位置，设置用于对所述待检测物体进行主视图拍摄的第一工站组，在第二预设位置，设置用于对所述待检测物体进行仰视图和俯视图拍摄的第二工站组，在第三预设位置，设置用于对所述待检测物体进行左视图和右视图拍摄的第三工站组，在第四预设位置，设置用于对所述待检测物体进行后视图拍摄的第四工站组。

本申请实施例中，作为一可选实施例，每一工站组具有独立的光源及相应的光源布置。

本申请实施例中，作为一可选实施例，检测模型查询模块302，具体用于：

接收在所述预设位置设置的工站组拍摄的平面视图图像，依据所述预设位置设置的工站组确定所述平面视图图像对应的视图类型；

查询所述映射关系，获取所述视图类型映射的视图缺陷检测模型。

本申请实施例中，作为一可选实施例，外观缺陷检测结果包括：有缺陷以及无缺陷，外观缺陷检测模块303，具体用于：

将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述平面视图图像的缺陷检测结果；

若所述缺陷检测结果表明无缺陷，标记所述平面视图图像对应的视图类型；

判断标记的视图类型是否包含所述视图拍摄策略中的所有视图类型，若是，确定所述待检测物体无外观缺陷，若否，执行所述获取待检测物体的各平面视图图像的步骤；

若所述缺陷检测结果表明有缺陷，确定所述待检测物体有外观缺陷。

本申请实施例中，若已标记的视图类型没有包含视图拍摄策略中的所有视图类型，则获取未标记的视图类型对应的平面视图图像。若缺陷检测结果表明有缺陷，则可终止对该待检测物体的缺陷检测。

本申请实施例中，作为另一可选实施例，外观缺陷检测结果包括：缺陷名或无缺陷，外观缺陷检测模块303，具体用于：

将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述平面视图图像的缺陷检测结果；

标记所述平面视图图像对应的视图类型；

判断标记的视图类型是否包含所述视图拍摄策略中的所有视图类型，若是，统计各平面视图图像的缺陷检测结果，依据统计的缺陷检测结果，确定所述待检测物体无外观缺陷或具有的缺陷名，若否，执行所述获取待检测物体的各平面视图图像的步骤。

本申请实施例中，作为一可选实施例，所述依据统计的缺陷检测结果，确定所述待检测物体无外观缺陷或具有的缺陷名，包括：

若所有的缺陷检测结果均表明无缺陷，确定所述待检测物体无外观缺陷，否则，对各缺陷检测结果中的缺陷名进行整合，输出所述待检测物体的整合缺陷检测结果。

本申请实施例中，作为一可选实施例，该装置还包括：

分拣模块(图中未示出)，若所述待检测物体的外观缺陷检测结果表明无缺陷，控制将所述待检测物体置于正常料盘，若所述待检测物体的外观缺陷检测结果表明有缺陷，控制将所述待检测物体置于缺陷料盘。

本申请实施例中，作为一可选实施例，构建所述视图缺陷检测模型，包括：

获取样品的平面目标视图图像；

依据所述样品的目标视图包含的缺陷名以及该缺陷名对应的缺陷类型，对所述平面目标视图图像进行标注，将标注的平面目标视图图像划分为训练集以及测试集；

以所述训练集中的平面目标视图图像作为视图初始缺陷检测模型的输入，以该平面目标视图图像标注的缺陷名、缺陷类型和缺陷区域位置坐标作为所述视图初始缺陷检测模型的输出，对所述视图初始缺陷检测模型进行训练；

以所述测试集中的平面目标视图图像作为训练的视图初始缺陷检测模型的输入，获取所述训练的视图初始缺陷检测模型的输出结果，与该平面目标视图图像标注的缺陷名、缺陷类型和缺陷区域位置坐标进行比对，获取所述训练的视图初始缺陷检测模型的识别精度；

若所述识别精度小于预先设置的精度阈值，依据所述训练集对所述训练的视图初始缺陷检测模型继续训练，直至所述训练的视图初始缺陷检测模型的识别度不小于所述精度阈值，得到所述视图缺陷检测模型。

如图4所示，本申请一实施例提供了一种计算机设备400，用于执行图1中的检测外观缺陷的方法，该设备包括存储器401、处理器402及存储在该存储器401上并可在该处理器402上运行的计算机程序，其中，上述处理器402执行上述计算机程序时实现上述检测外观缺陷的方法的步骤。

具体地，上述存储器401和处理器402能够为通用的存储器和处理器，这里不做具体限定，当处理器402运行存储器401存储的计算机程序时，能够执行上述检测外观缺陷的方法。

对应于图1中的检测外观缺陷的方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述检测外观缺陷的方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述检测外观缺陷的方法。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种检测外观缺陷的方法，其特征在于，包括：

按照预设的视图拍摄策略，获取待检测物体的各平面视图图像；

依据获取的平面视图图像，查询视图与缺陷检测模型的映射关系，得到所述获取的平面视图图像映射的视图缺陷检测模型；

将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述待检测物体的外观缺陷检测结果。

2.如权利要求1所述的方法，其特征在于，所述按照预设的视图拍摄策略，获取待检测物体的各平面视图图像，包括：

在所述待检测物体从上料至下料的生产过程中，按照预设的视图拍摄策略，分别在各预设位置分别设置用于对所述待检测物体进行拍摄的工站组；

确定所述待检测物体从上料至下料的生产过程中的放置位置。

3.如权利要求2所述的方法，其特征在于，所述分别在各预设位置分别设置用于对所述待检测物体进行拍摄的工站组，包括：

沿上料至下料的方向，在第一预设位置，设置用于对所述待检测物体进行主视图拍摄的第一工站组，在第二预设位置，设置用于对所述待检测物体进行仰视图和俯视图拍摄的第二工站组，在第三预设位置，设置用于对所述待检测物体进行左视图和右视图拍摄的第三工站组，在第四预设位置，设置用于对所述待检测物体进行后视图拍摄的第四工站组。

4.如权利要求1所述的方法，其特征在于，所述依据获取的平面视图图像，查询视图与缺陷检测模型的映射关系，得到所述获取的平面视图图像映射的视图缺陷检测模型，包括：

接收在所述预设位置设置的工站组拍摄的平面视图图像，依据所述预设位置设置的工站组确定所述平面视图图像对应的视图类型；

查询所述映射关系，获取所述视图类型映射的视图缺陷检测模型。

5.如权利要求1至4任一项所述的方法，其特征在于，所述外观缺陷检测结果包括：有缺陷以及无缺陷，将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述待检测物体的外观缺陷检测结果，包括：

将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述平面视图图像的缺陷检测结果；

若所述缺陷检测结果表明无缺陷，标记所述平面视图图像对应的视图类型；

判断标记的视图类型是否包含所述视图拍摄策略中的所有视图类型，若是，确定所述待检测物体无外观缺陷，若否，执行所述获取待检测物体的各平面视图图像的步骤；

若所述缺陷检测结果表明有缺陷，确定所述待检测物体有外观缺陷。

6.如权利要求1至4任一项所述的方法，其特征在于，所述外观缺陷检测结果包括：缺陷名或无缺陷，将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述待检测物体的外观缺陷检测结果，包括：

将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述平面视图图像的缺陷检测结果；

标记所述平面视图图像对应的视图类型；

判断标记的视图类型是否包含所述视图拍摄策略中的所有视图类型，若是，统计各平面视图图像的缺陷检测结果，依据统计的缺陷检测结果，确定所述待检测物体无外观缺陷或具有的缺陷名，若否，执行所述获取待检测物体的各平面视图图像的步骤。

7.如权利要求6所述的方法，其特征在于，所述依据统计的缺陷检测结果，确定所述待检测物体无外观缺陷或具有的缺陷名，包括：

若所有的缺陷检测结果均表明无缺陷，确定所述待检测物体无外观缺陷，否则，对各缺陷检测结果中的缺陷名进行整合，输出所述待检测物体的整合缺陷检测结果。

8.如权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

若所述待检测物体的外观缺陷检测结果表明无缺陷，控制将所述待检测物体置于正常料盘，若所述待检测物体的外观缺陷检测结果表明有缺陷，控制将所述待检测物体置于缺陷料盘。

9.如权利要求1至4任一项所述的方法，其特征在于，构建所述视图缺陷检测模型，包括：

获取样品的平面目标视图图像；

依据所述样品的目标视图包含的缺陷名以及该缺陷名对应的缺陷类型，对所述平面目标视图图像进行标注，将标注的平面目标视图图像划分为训练集以及测试集；

以所述训练集中的平面目标视图图像作为视图初始缺陷检测模型的输入，以该平面目标视图图像标注的缺陷名、缺陷类型和缺陷区域位置坐标作为所述视图初始缺陷检测模型的输出，对所述视图初始缺陷检测模型进行训练；

以所述测试集中的平面目标视图图像作为训练的视图初始缺陷检测模型的输入，获取所述训练的视图初始缺陷检测模型的输出结果，与该平面目标视图图像标注的缺陷名、缺陷类型和缺陷区域位置坐标进行比对，获取所述训练的视图初始缺陷检测模型的识别精度；

若所述识别精度小于预先设置的精度阈值，依据所述训练集对所述训练的视图初始缺陷检测模型继续训练，直至所述训练的视图初始缺陷检测模型的识别度不小于所述精度阈值，得到所述视图缺陷检测模型。

10.一种检测外观缺陷的装置，其特征在于，包括：

视图图像获取模块，用于按照预设的视图拍摄策略，获取待检测物体的各平面视图图像；

检测模型查询模块，用于依据获取的平面视图图像，查询视图与缺陷检测模型的映射关系，得到所述获取的平面视图图像映射的视图缺陷检测模型；

外观缺陷检测模块，用于将所述获取的平面视图图像输入所述视图缺陷检测模型，获取所述待检测物体的外观缺陷检测结果。