CN109934821A - 一种零件缺陷检测方法及*** - Google Patents

Abstract

本发明提供了一种零件缺陷检测方法及***，方法包括：获取图像采集设备从预设拍摄角度拍摄的被检测的零件的检测图像；将所述检测图像输入预先训练的缺陷定位模型，根据所述缺陷定位模型输出的检测结果确定所述零件上缺陷所在的位置；通过预先训练的缺陷分类模型，确定所识别出的缺陷的类别。应用本发明提供的方案可以自动检测零件的表面缺陷。

Description

一种零件缺陷检测方法及***

技术领域

本发明涉及人工智能技术领域，尤其涉及一种零件缺陷检测方法及系 统。

背景技术

零件的表面缺陷可分为平面缺陷和曲面缺陷，例如裂纹、划伤、砂眼 等。在自动化生产过程中，如何自动检测出零件的表面缺陷，以满足较高 的零件表面加工精度要求和表面质量要求是非常必要。

发明内容

本发明的目的在于提供一种零件缺陷检测方法及***，以自动检测零 件的表面缺陷。

为达到上述目的，本发明提供了一种零件缺陷检测方法，所述方法包 括：

获取图像采集设备从预设拍摄角度拍摄的被检测的零件的检测图像；

将所述检测图像输入预先训练的缺陷定位模型，根据所述缺陷定位模 型输出的检测结果确定所述零件上缺陷所在的位置；

通过预先训练的缺陷分类模型，确定所识别出的缺陷的类别。

可选的，所述预设拍摄角度包括：拍摄所述零件的正视图的角度，以及 至少一个拍摄所述零件的斜视图的角度。

可选的，所述将所述检测图像输入预先训练的缺陷定位模型，根据所 述缺陷定位模型输出的检测结果确定所述零件上缺陷所在的位置，包括：

缩小所述检测图像的分辨率，并将缩小后的所述检测图像输入所述缺 陷定位模型，根据所述缺陷定位模型输出的检测结果确定所述零件上缺陷 所在的位置。

可选的，所述缩小所述检测图像的分辨率，包括：

保持所述检测图像的宽高比不变，将所述检测图像的宽度或高度缩小 至预设值。

可选的，所述缺陷定位模型为基于Faster-RCNN结构的神经网络模型。

可选的，所述缺陷定位模型中还包括特征金字塔网络结构。

可选的，所述通过预先训练的缺陷分类模型，确定所识别出的缺陷的 类别，包括：

根据识别出的缺陷所在的位置，在所述检测图像中标注出缺陷区域， 并从所述检测图像中裁剪出所述缺陷区域的切片图像，将所述切片图像作 为所述缺陷分类模型的输入，以确定出所识别出的缺陷的类别。

可选的，所述缺陷分类模型为基于Inception Resnet结构的神经网络模 型。

可选的，在拍摄图像时所述零件自转；

所述将缩小后的所述检测图像输入所述缺陷定位模型，根据所述缺陷 定位模型输出的检测结果确定所述零件上缺陷所在的位置，包括：

将缩小后的所述检测图像输入所述缺陷定位模型，根据所述缺陷定位 模型的输出得到检测图像的检测结果；其中，检测图像的检测结果包括该 检测图像中所述零件疑似存在缺陷的位置；

针对任一检测图像中所述零件疑似存在缺陷的位置，采用目标跟踪算 法找到同一图像采集设备拍摄的多张相邻图像中的相同位置，再根据所述 缺陷定位模型对同一图像采集设备拍摄的多张相邻图像中相同位置的检测 结果综合判断该位置是否确实存在缺陷。

可选的，所述图像采集设备的数量为多个，每一所述图像采集设备对 应一个所述预设拍摄角度；

所述根据所述缺陷定位模型对同一图像采集设备拍摄的多张相邻图像 中相同位置的检测结果综合判断该位置是否确实存在缺陷，包括：

找到其它图像采集设备拍摄的该位置的检测图像及其多张相邻图像， 根据所述缺陷定位模型对同一图像采集设备拍摄的多张相邻图像中相同位 置的检测结果，以及所述缺陷定位模型对其它图像采集设备拍摄的该位置 的检测图像及其多张相邻图像中相同位置的检测结果，综合判断该位置是 否确实存在缺陷。

为达到上述目的，本发明还提供了一种零件缺陷检测***，所述*** 包括：

零件缺陷检测架，包括壳体、置物转台和图像采集设备，所述置物转台 设置于所述壳体的底部，所述图像采集设备设置于所述壳体的内侧壁上， 被检测的零件置于所述置物转台上，所述图像采集设备用于从预设拍摄角 度拍摄被检测的零件的检测图像；

处理器，与所述图像采集设备电连接，用于获取所述图像采集设备从 预设拍摄角度拍摄的被检测的零件的检测图像；将所述检测图像输入预先 训练的缺陷定位模型，根据所述缺陷定位模型输出的检测结果确定所述零 件上缺陷所在的位置；通过预先训练的缺陷分类模型，确定所识别出的缺 陷的类别。

可选的，所述图像采集设备的拍摄角度包括：拍摄所述零件的正视图 的角度，以及至少一个拍摄所述零件的斜视图的角度。

可选的，所述处理器，具体用于：缩小所述检测图像的分辨率，并将缩 小后的所述检测图像输入所述缺陷定位模型，根据所述缺陷定位模型输出 的检测结果确定所述零件上缺陷所在的位置。

可选的，所述处理器，具体用于：保持所述检测图像的宽高比不变，将 所述检测图像的宽度或高度缩小至预设值。

可选的，所述缺陷定位模型为基于Faster-RCNN结构的神经网络模型。

可选的，所述缺陷定位模型中还包括特征金字塔网络结构。

可选的，所述处理器，具体用于：根据识别出的缺陷所在的位置，在所 述检测图像中标注出缺陷区域，并从所述检测图像中裁剪出所述缺陷区域 的切片图像，将所述切片图像作为所述缺陷分类模型的输入，以确定出所 识别出的缺陷的类别。

可选的，所述缺陷分类模型为基于Inception Resnet结构的神经网络模 型。

可选的，所述零件缺陷检测***还包括：驱动装置，所述置物转台通过 所述驱动装置设置于所述壳体内，在拍摄图像时所述零件随着所述置物转 台在所述驱动装置的驱动下绕垂直于所述壳体底板的轴线旋转；

所述处理器，具体用于：

将缩小后的所述检测图像输入所述缺陷定位模型，根据所述缺陷定位 模型的输出得到检测图像的检测结果；其中，检测图像的检测结果包括该 检测图像中所述零件疑似存在缺陷的位置；

针对任一检测图像中所述零件疑似存在缺陷的位置，采用目标跟踪算 法找到同一图像采集设备拍摄的多张相邻图像中的相同位置，再根据所述 缺陷定位模型对同一图像采集设备拍摄的多张相邻图像中相同位置的检测 结果综合判断该位置是否确实存在缺陷。

可选的，所述图像采集设备的数量为多个，每一图像采集设备均设置 于所述壳体的内侧壁上，每一图像采集设备对应一个所述预设拍摄角度；

所述处理器，具体用于：

找到其它图像采集设备拍摄的该位置的检测图像及其多张相邻图像， 根据所述缺陷定位模型对同一图像采集设备拍摄的多张相邻图像中相同位 置的检测结果，以及所述缺陷定位模型对其它图像采集设备拍摄的该位置 的检测图像及其多张相邻图像中相同位置的检测结果，综合判断该位置是 否确实存在缺陷。

与现有技术相比，本发明首先获取图像采集设备从预设拍摄角度拍摄 的被检测的零件的检测图像，然后将检测图像输入预先训练的缺陷定位模 型，根据缺陷定位模型输出的检测结果确定零件上缺陷所在的位置，最后 通过预先训练的缺陷分类模型，确定所识别出的缺陷的类别。本发明通过 深度神经网络模型实现了自动检测零件的表面缺陷，并使用两个神经网络 模型先定位出缺陷位置，再识别缺陷类型，从而提高了缺陷检测率。

附图说明

图1是本发明一实施例提供的零件缺陷检测方法的流程示意图；

图2为本发明一实施例提供的零件缺陷检测架拆下前端板后的结构示 意图；

图3为本发明一实施例提供的零件缺陷检测架的内部结构示意图；

图4为本发明一实施例提供的用于采集检测图像的装置的第一种外形 结构图；

图5为本发明一实施例提供的用于采集检测图像的装置的第二种外形 结构图；

图6是本发明一实施例提供的零件缺陷检测***的结构示意图。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种零件缺陷检测方法及 ***作进一步详细说明。根据权利要求书和下面说明，本发明的优点和特 征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的 比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

图1是本发明一实施例提供的一种零件缺陷检测方法的流程示意图。 请参考图1，一种零件缺陷检测方法可以包括如下步骤：

步骤S101，获取图像采集设备从预设拍摄角度拍摄的被检测的零件的 检测图像。

其中，所述图像采集设备的拍摄角度可以为：拍摄所述零件的正视图 的角度，以及至少一个拍摄所述零件的斜视图的角度，图像采集设备可以 为摄像头。可以理解的是，当被检测的零件固定后，可以使用图像采集设 备对该零件进行拍照以获取该零件的检测图像。在拍摄图像之前可以根据 该零件的待检测平面来确定拍摄角度，例如，若该零件的待检测平面为正 视图对应的平面，则拍摄角度为拍摄该零件的正视图的角度，若该零件具有斜面且待检测平面为该零件的某一斜视图对应的平面，则拍摄角度即为 拍摄该零件的该斜视图的角度。当然，该零件也可以对应多个斜视图，每 个斜视图对应的平面均可作为待检测平面，则待检测平面可以为多个斜视 图对应的平面，或者待检测平面可以为正视图对应的平面和至少一个斜视 图对应的平面，若需要同时采集该零件的多个待检测平面的检测图像，则 可以设置多个图像采集设备，一个图像采集设备采集其中一个待检测平面的检测图像，每个图像采集设备对应的拍摄角度为采集该零件的相应的检 测图像的角度。

在实际应用中，正视图是被检测零件的可视面积最大的视图，斜视图 的角度可以根据不同零件的需求进行预先设置或进行调整，例如采用45度 斜视角度进行拍摄采集，或者拍摄采集多个斜视角度的检测图像。

另外，需要说明的是，由于零件上某些类型的缺陷很小不便于检测，因 此为提高缺陷检测准确率，所拍摄的检测图像可以为分辨率较高的图像。 在检测图像的分辨率较高的情况下，综合考虑深度神经网络模型的性能及 识别率，本实施例采用两个深度神经网络模型来进行缺陷检测，两个模型 分别用于缺陷定位和缺陷分类。

S102，将所述检测图像输入预先训练的缺陷定位模型，根据所述缺陷 定位模型输出的检测结果确定所述零件上缺陷所在的位置。

具体的，可以缩小所述检测图像的分辨率，并将缩小后的所述检测图 像输入所述缺陷定位模型，根据所述缺陷定位模型输出的检测结果确定所 述零件上缺陷所在的位置。其中，所述缩小所述检测图像的分辨率，可以 为：保持所述检测图像的宽高比不变，将所述检测图像的宽度或高度缩小 至预设值。例如，可以设置图像的宽度或高度不超过预设值，若检测图像 的宽度超过预设值，则会保持宽高比不变，将宽度缩小至预设值，若检测 图像的高度超过预设值，则会保持宽高比不变，将高度缩小至预设值，预 设值可以根据实际需求进行设定，例如宽度对应的预设值可以设为1200像 素。

所述缺陷定位模型为使用Faster-RCNN为基本结构的深度神经网络模 型，用于定位缺陷在图像中的位置。由于此缺陷定位模型可输入的图像的 分辨率不宜过大，可缩小图像的分辨率后再输入缺陷定位模型。所述缺陷 定位模型的训练过程，可以包括：缩小原始训练集的各个样本图像的分辨 率得到新的训练集，采用新的训练集对所述缺陷定位模型进行训练，其中， 所述原始训练集中各个样本图像预先标注有缺陷的位置。

进一步的，为提高小缺陷的识别率，还可以在缺陷定位模型中加入特 征金字塔网络(Feature Pyramid Networks，FPN)，FPN可以在基本不增加 原有模型计算量的情况下大幅度提升小物体检测的性能。

S103，通过预先训练的缺陷分类模型，确定所识别出的缺陷的类别。

具体的，根据识别出的缺陷所在的位置，在检测图像中标注出缺陷区 域，并从检测图像中裁剪出缺陷区域的切片图像，将所述切片图像作为所 述缺陷分类模型的输入，以确定所识别出的缺陷的类别。

由于某些缺陷的特征与零件表面的污渍或其它脏东西的特征比较接近， 而第一个深度神经网络模型即缺陷定位模型输入的检测图像的分辨率较小， 缺陷定位模型难以对这些缺陷做出准确分类，因此采用了第二个神经网络 模型即缺陷分类模型对缺陷进行分类。当缺陷定位模型定位到缺陷的位置 后，从高分辨率的原始检测图像中裁剪出缺陷的切片图像作为缺陷分类模 型的输入。从高分辨率的原始检测图像中提取缺陷来做分类，可以更加准 确的对缺陷做出分类。

缺陷分类模型可以使用Inception Resnet作为基本结构，用于缺陷的分 类。所述缺陷分类模型的训练过程，可以包括：从原始训练集的各个样本 图像中裁剪出所标注的缺陷的切片图像，组成新的训练集，采用新的训练 集对所述缺陷分类模型进行训练，其中，所述原始训练集中各个样本图像 预先标注有缺陷的位置及类型。

另外，还可以将缩小后的所述检测图像以及缩小后的所述检测图像旋 转后所得的图像作为样本图像加入所述缺陷定位模型的训练集中，将所述 切片图像以及所述切片图像旋转后所得的图像作为样本图像加入所述缺陷 分类模型的训练集中。将图像做适当的旋转等处理之后再加入训练集，可 以扩大训练集中的样本数量。

本领域技术人员可以理解的是，三维零件的表面缺陷可分为平面缺陷 和曲面缺陷，利用上述方法可实现对平面缺陷的检测识别。不同于平面缺 陷检测，曲面缺陷需要旋转零件来采集不同面的图像。即，在所述图像采 集设备拍摄检测图像的过程中使零件进行自转，比如将零件放置在一个转 台上，转台的旋转速度可调，根据拍摄角度将图像采集设备固定位置后进 行拍摄，由于在拍摄过程中零件处于旋转状态，因此可以连续拍摄得到多张不同面的检测图像，而且零件上的同一位置可以被至少两张相邻图像拍 摄到。转台的旋转速度可以根据拍摄的图像数量以及神经网络模型的检测 速度来设定。而且由于光线照射的角度不同，会导致曲线缺陷呈现特征有 所不同，因此为了实现对曲面缺陷的检测准确度，可以同时获得多个拍摄 角度的检测图像，例如同时采集正视图和至少一个斜视图。

在旋转采集零件不同面的图像后，零件的部分区域会出现在相邻图像 中，因此，当缺陷定位模型在某一张检测图像中检测到疑似缺陷的位置时， 可使用目标跟踪算法找到相邻的多张图像中的相同位置，根据缺陷定位模 型对这多张相邻图像中相同位置的检测情况来综合判断该位置是否确实为 缺陷，这样可以提高缺陷检测的准确率。

具体的，上述将缩小后的所述检测图像输入所述缺陷定位模型，根据 所述缺陷定位模型输出的检测结果确定所述零件上缺陷所在的位置，可以 包括：

将缩小后的所述检测图像输入所述缺陷定位模型，根据所述缺陷定位 模型的输出得到检测图像的检测结果；其中，检测图像的检测结果包括该 检测图像中所述零件疑似存在缺陷的位置；

针对任一检测图像中所述零件疑似存在缺陷的位置，采用目标跟踪算 法找到同一图像采集设备拍摄的多张相邻图像中的相同位置，再根据所述 缺陷定位模型对同一图像采集设备拍摄的多张相邻图像中相同位置的检测 结果综合判断该位置是否确实存在缺陷。

可以理解的是，某一检测图像的多张相邻图像包括该检测图像之前采 集的a张图像和之后采集的b张图像，其中，a、b大于等于1。举例而言， 将某一图像采集设备拍摄的检测图像按照采集顺序标记为图像1、图像2、 图像3、……、图像m，如果缺陷定位模型从图像3中检测出存在疑似缺陷 的位置A，则可以根据目标跟踪算法从图像3的多张相邻图像如图像1、图 像2、图像4、图像5、图像6等中找到零件上相同的位置A，从而根据缺 陷定位模型对这多张相邻图像的检测结果来综合判断位置A是否确实存在 缺陷，例如，缺陷定位模型对图像1、图像2、图像3、图像4、图像5、图 像6的检测结果中均显示零件的位置A为疑似缺陷的位置，则可以判断出 位置A确实存在缺陷，或者，如果缺陷定位模型对图像2、图像3、图像4的检测结果显示位置A为疑似缺陷的位置，而对图像1、图像5、图像6的 检测结果未显示位置A为疑似缺陷的位置，这种情况可以认为位置A存在 缺陷的可能性较大，则也可以判定位置A存在缺陷。需要说明的是，利用 目标跟踪算法从多个相邻图像中找到相同位置的方法为现有技术，在此不 做赘述。

进一步的，如果所述图像采集设备的数量为多个，且每一所述图像采 集设备对应一个所述预设拍摄角度，那么在零件自转的情况下，零件上的 某一位置可能会被多个图像采集设备中至少两个拍摄到，因此，为进一步 提高缺陷检测准确率，在综合判断某一位置是否确实为缺陷时，还可以根 据这多个图像采集设备所拍摄的检测图像进行综合判断。

具体的，上述根据所述缺陷定位模型对同一图像采集设备拍摄的多张 相邻图像中相同位置的检测结果综合判断该位置是否确实存在缺陷，可以 包括：

找到其它图像采集设备拍摄的该位置的检测图像及其多张相邻图像， 根据所述缺陷定位模型对同一图像采集设备拍摄的多张相邻图像中相同位 置的检测结果，以及所述缺陷定位模型对其它图像采集设备拍摄的该位置 的检测图像及其多张相邻图像中相同位置的检测结果，综合判断该位置是 否确实存在缺陷。

举例而言，如果有两个图像采集设备，则将其中一个图像采集设备拍 摄的检测图像按照采集顺序标记为图像11、图像12、图像13、……、图像 1m，将另一个图像采集设备拍摄的检测图像按照采集顺序标记为图像21、 图像22、图像23、……、图像2m，如果缺陷定位模型从第一个图像采集 设备拍摄的图像13中检测出存在疑似缺陷的位置A，则可以根据目标跟踪 算法从图像13的多张相邻图像如图像11、图像12、图像14、图像15、图 像16等中找到相同的位置A，并且从第二图像采集设备拍摄的图像中找到 拍摄位置A的检测图像比如是图像23，以及图像23的多张相邻图像图像 21、图像22、图像24、图像25、图像26，从而根据缺陷定位模型对这些 图像的检测结果来综合判断位置A是否确实存在缺陷。

综上所述，与现有技术相比，本实施例首先获取图像采集设备从预设 拍摄角度拍摄的被检测的零件的检测图像，然后将检测图像输入预先训练 的缺陷定位模型，根据缺陷定位模型输出的检测结果确定零件上缺陷所在 的位置，最后通过预先训练的缺陷分类模型，确定所识别出的缺陷的类别。 本实施例通过深度神经网络模型实现了自动检测零件的表面缺陷，并使用 两个神经网络模型先定位出缺陷位置，再识别缺陷类型，从而提高了缺陷 检测率。另外，还可以通过旋转采集检测图像的方式进一步提高曲面缺陷 检测率。

为便于理解，下面对上述方法实施例中用于采集检测图像的一种装置 进行介绍。首先，该装置包括零件缺陷检测架，其中图2为该零件缺陷检 测架拆下前端板后的结构示意图，图3为该零件缺陷检测架的内部结构示 意图。

如图2、3所示，零件缺陷检测架包括壳体1、置物转台2、检测装置 和照明装置4；置物转台2位于壳体1的内腔中的底部，且置物转台2能 够绕垂直于壳体1的底板的轴线旋转；检测装置包括至少两个摄像头3，壳 体1相对的两个内侧壁均至少设置一个摄像头3；照明装置4设置在壳体1 的内侧壁和顶部内侧。其中摄像头3的数量至少为两个，一个用于获取零 件的正视图，另一个用于获取零件的倾斜角度视图。该零件缺陷检测架将 置物转台2、检测装置和照明装置4集中内置于壳体1中，形成结构紧凑、 照明稳定、便于集中控制的零件缺陷检测单元。

如图3所示，进一步地，该零件缺陷检测架还包括安装座31；摄像头 3通过安装座31设置于壳体1，摄像头3铰接于安装座31，使摄像头3能 够相对于安装座31摆动。在该零件缺陷检测架中，当摄像头3铰接安装时， 能够在壳体1内根据需要摆动合适的角度。特殊地，摄像头3通过在空间 上相互垂直的两个铰接转轴安装在安装座31上，具有两个方向的活动自由 度，能够上下、左右摆动，通过控制其摆动角度能够获取被检测零件的准 确拍摄角度。优选地，采用蟹钳夹作为摄像头3的固定装置。

如图2、3所示，进一步地，安装座31通过导槽导轨结构设置于壳体 1内壁，使安装座31能够在壳体1的内壁所在的平面移动。其中，导槽导 轨结构应设置为三组，第一组导槽导轨结构安装在第二组导槽导轨结构上， 第二组导槽导轨结构安装在第三组导槽导轨结构上，且三组导槽导轨的活 动方向相互垂直，使得任意一个摄像头3在壳体1内具有三个方向上的活 动自由度，能够沿壳体1的长宽高三个方向往复平移，通过控制其移动距 离能够获取被检测零件的准确拍摄位置。

如图3所示，进一步地，置物转台2的上表面设置有卡爪5或者卡槽。 在该零件缺陷检测架中，卡爪5或者卡槽用于固定被检测的零件。其中卡 爪5方便用于夹持外轮廓较为规整的零件，而卡槽方便用于卡接具有凸台 或者棱角的零件。

进一步地，置物转台2的旋转速度可调节。在该零件缺陷检测架中， 根据不同的零件、相机、镜头参数以及不同的检测精度要求，置物转台2可 改变其旋转速度，满足不同的检测要求，适应多种零件的检测需求。具体 的，置物转台2的旋转速度通过设置于壳体1外侧的控制旋钮进行调节控 制，其可控制范围设置为0转/分钟～100转/分钟，但不仅限于此范围，控制 旋钮下方设置有控制开关。

进一步地，该零件缺陷检测架还包括横向导轨6；横向导轨6设置于壳 体1的内腔中的底部，置物转台2安装在横向导轨6上并能够相对于横向 导轨6平移。在实际工作中，不同的零件具有不同的长宽高尺寸，与调整 多个摄像头3相比，直接调整置物转台2在水平方向上的位置，效率更高 且更为精准。更进一步地，置物转台2还可以通过纵向导轨安装在壳体1 内腔中，使置物转台2能够相对于壳体1上下升降。

如图2、3所示，进一步地，照明装置4为条状的灯管、环状的灯管、 点状的灯珠或者平面的灯板。其中，照明是影响摄像头3图像输入的重要 因素，它直接影响输入数据的质量和应用效果，要求照明条件稳定且角度 合理。将照明装置4设置为条状、环状、平板状或者多个点状，能够尽量 减少灯光的阴影，提供足够且稳定的照明。其中，上述灯管、灯珠或者灯板 的亮度大小可根据实际需要调节。

进一步地，照明装置4通过导槽导轨结构设置于壳体1，能够沿壳体1 的内壁来回移动。该零件缺陷检测架在灯管、灯珠或者灯板上设置导槽或 者导轨，在壳体1内壁对应设置配套的导轨或者导槽，使得全部照明装置 4在壳体1内壁上沿直线方向移动，或者沿曲线方向移动，根据实际需要调 整光源的照射角度和位置。

进一步地，该零件缺陷检测架还包括敞口7(见图4和图5)；敞口7 设置在壳体1的前方侧壁和/或左右侧壁。敞口7方便了被检测零件的放置 和移动，也方便了安装和移动摄像头3、灯管或者灯板。并且，应在敞口7 处设置可固定闭锁的盖板，以避免外部光源干涉相机和摄像头3的拍摄。

除上述零件缺陷检测架之外，该用于采集检测图像的装置还包括显示 屏8、驱动装置；显示屏8设置于壳体1外，与检测装置电连接，置物转台 2、检测装置和照明装置4通过驱动装置设置于壳体1内。该用于采集检测 图像的装置将零件缺陷检测架与显示屏8和驱动装置相配合，可以提高零 件检测工作的灵活性和设备的自动化程度。其中图3为该用于采集检测图 像的装置的第一种外形结构图，图4为该用于采集检测图像的装置的第二 种外形结构图。如图3、4所示，该显示屏8可以单独设置通过数据线与检 测装置实现数据连接，也可以直接设置于壳体1上。其中显示屏8用于显 示上述多个摄像头3拍摄的被检测零件的影像，便于后期进行处理，以确 定是否具有缺陷以及缺陷的位置和类型。

需要说明的是，为了便于控制进度、调节亮度、提高检测效率，可选择 在壳体1外侧设置物理的控制按钮9或者控制旋钮，以控制上述置物转台 2、检测装置和照明装置4的活动，并设置控制开关。另外，当显示屏8设 置于壳体1外时，也可以将物理的控制按钮9或控制旋钮直接改为由显示 屏8触摸控制。

相应于上述方法实施例，本发明一实施例还提供了一种零件缺陷检测 ***，参见图6，该***可以包括：

零件缺陷检测架，包括壳体1、置物转台2和图像采集设备3，所述置 物转台2设置于所述壳体1的底部，所述图像采集设备3设置于所述壳体 1的内侧壁上，被检测的零件置于所述置物转台2上，所述图像采集设备3 用于从预设拍摄角度拍摄被检测的零件的检测图像；

处理器4，与所述图像采集设备3电连接，用于获取所述图像采集设备 3从预设拍摄角度拍摄的被检测的零件的检测图像；将所述检测图像输入 预先训练的缺陷定位模型，根据所述缺陷定位模型输出的检测结果确定所 述零件上缺陷所在的位置；通过预先训练的缺陷分类模型，确定所识别出 的缺陷的类别。

可选的，所述图像采集设备3的拍摄角度包括：拍摄所述零件的正视 图的角度，以及至少一个拍摄所述零件的斜视图的角度。

可选的，所述处理器4，具体用于：缩小所述检测图像的分辨率，并将 缩小后的所述检测图像输入所述缺陷定位模型，根据所述缺陷定位模型输 出的检测结果确定所述零件上缺陷所在的位置。

可选的，所述处理器4，具体用于：保持所述检测图像的宽高比不变， 将所述检测图像的宽度或高度缩小至预设值。

可选的，所述缺陷定位模型为基于Faster-RCNN结构的神经网络模型。

可选的，所述缺陷定位模型中还包括特征金字塔网络结构。

可选的，所述处理器4，具体用于：根据识别出的缺陷所在的位置，在 所述检测图像中标注出缺陷区域，并从所述检测图像中裁剪出所述缺陷区 域的切片图像，将所述切片图像作为所述缺陷分类模型的输入，以确定出 所识别出的缺陷的类别。

可选的，所述缺陷分类模型为基于Inception Resnet结构的神经网络模 型。

可选的，所述零件缺陷检测***还包括：驱动装置5，所述置物转台2 通过所述驱动装置5设置于所述壳体1内，在拍摄图像时所述零件随着所 述置物转台2在所述驱动装置5的驱动下绕垂直于所述壳体1底板的轴线 旋转；

所述处理器4，具体用于：

将缩小后的所述检测图像输入所述缺陷定位模型，根据所述缺陷定位 模型的输出得到检测图像的检测结果；其中，检测图像的检测结果包括该 检测图像中所述零件疑似存在缺陷的位置；

针对任一检测图像中所述零件疑似存在缺陷的位置，采用目标跟踪算 法找到同一图像采集设备拍摄的多张相邻图像中的相同位置，再根据所述 缺陷定位模型对同一图像采集设备拍摄的多张相邻图像中相同位置的检测 结果综合判断该位置是否确实存在缺陷。

可选的，所述图像采集设备3的数量为多个，每一图像采集设备3均 设置于所述壳体1的内侧壁上，每一图像采集设备3对应一个所述预设拍 摄角度；

所述处理器4，具体用于：

找到其它图像采集设备拍摄的该位置的检测图像及其多张相邻图像， 根据所述缺陷定位模型对同一图像采集设备拍摄的多张相邻图像中相同位 置的检测结果，以及所述缺陷定位模型对其它图像采集设备拍摄的该位置 的检测图像及其多张相邻图像中相同位置的检测结果，综合判断该位置是 否确实存在缺陷。

可选的，所述处理器4，还用于对所述缺陷定位模型进行训练，训练过 程包括：

缩小原始训练集的各个样本图像的分辨率得到新的训练集，采用新的 训练集对所述缺陷定位模型进行训练，其中，所述原始训练集中各个样本 图像预先标注有缺陷的位置。

可选的，所述处理器4，还用于对所述缺陷分类模型进行训练，训练过 程包括：

从原始训练集的各个样本图像中裁剪出所标注的缺陷的切片图像，组 成新的训练集，采用新的训练集对所述缺陷分类模型进行训练，其中，所 述原始训练集中各个样本图像预先标注有缺陷的位置及类型。

可选的，所述处理器4，还用于：将缩小后的所述检测图像以及缩小后 的所述检测图像旋转后所得的图像作为样本图像加入所述缺陷定位模型的 训练集中。

可选的，所述处理器4，还用于：将所述切片图像以及所述切片图像旋 转后所得的图像作为样本图像加入所述缺陷分类模型的训练集中。

综上所述，与现有技术相比，本实施例首先获取图像采集设备从预设 拍摄角度拍摄的被检测的零件的检测图像，然后将检测图像输入预先训练 的缺陷定位模型，根据缺陷定位模型输出的检测结果确定零件上缺陷所在 的位置，最后通过预先训练的缺陷分类模型，确定所识别出的缺陷的类别。 本实施例通过深度神经网络模型实现了自动检测零件的表面缺陷，并使用 两个神经网络模型先定位出缺陷位置，再识别缺陷类型，从而提高了缺陷 检测率。另外，还可以通过旋转采集检测图像的方式进一步提高曲面缺陷 检测率。

需要说明的是，本说明书中的各个实施例均采用相关的方式描述，各 个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是 与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似 于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说 明即可。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或 者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或 操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包 含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列 要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明 确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固 有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要 素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外 的相同要素。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何 限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰， 均属于权利要求书的保护范围。

Claims (20)

1.一种零件缺陷检测方法，其特征在于，包括：

获取图像采集设备从预设拍摄角度拍摄的被检测的零件的检测图像；

将所述检测图像输入预先训练的缺陷定位模型，根据所述缺陷定位模型输出的检测结果确定所述零件上缺陷所在的位置；

通过预先训练的缺陷分类模型，确定所识别出的缺陷的类别。

2.如权利要求1所述的零件缺陷检测方法，其特征在于，所述预设拍摄角度包括：拍摄所述零件的正视图的角度，以及至少一个拍摄所述零件的斜视图的角度。

3.如权利要求1所述的零件缺陷检测方法，其特征在于，所述将所述检测图像输入预先训练的缺陷定位模型，根据所述缺陷定位模型输出的检测结果确定所述零件上缺陷所在的位置，包括：

缩小所述检测图像的分辨率，并将缩小后的所述检测图像输入所述缺陷定位模型，根据所述缺陷定位模型输出的检测结果确定所述零件上缺陷所在的位置。

4.如权利要求3所述的零件缺陷检测方法，其特征在于，所述缩小所述检测图像的分辨率，包括：

保持所述检测图像的宽高比不变，将所述检测图像的宽度或高度缩小至预设值。

5.如权利要求3所述的零件缺陷检测方法，其特征在于，所述缺陷定位模型为基于Faster-RCNN结构的神经网络模型。

6.如权利要求5所述的零件缺陷检测方法，其特征在于，所述缺陷定位模型中还包括特征金字塔网络结构。

7.如权利要求3所述的零件缺陷检测方法，其特征在于，所述通过预先训练的缺陷分类模型，确定所识别出的缺陷的类别，包括：

根据识别出的缺陷所在的位置，在所述检测图像中标注出缺陷区域，并从所述检测图像中裁剪出所述缺陷区域的切片图像，将所述切片图像作为所述缺陷分类模型的输入，以确定出所识别出的缺陷的类别。

8.如权利要求7所述的零件缺陷检测方法，其特征在于，所述缺陷分类模型为基于Inception Resnet结构的神经网络模型。

9.如权利要求3所述的零件缺陷检测方法，其特征在于，在拍摄图像时所述零件自转；

所述将缩小后的所述检测图像输入所述缺陷定位模型，根据所述缺陷定位模型输出的检测结果确定所述零件上缺陷所在的位置，包括：

将缩小后的所述检测图像输入所述缺陷定位模型，根据所述缺陷定位模型的输出得到检测图像的检测结果；其中，检测图像的检测结果包括该检测图像中所述零件疑似存在缺陷的位置；

针对任一检测图像中所述零件疑似存在缺陷的位置，采用目标跟踪算法找到同一图像采集设备拍摄的多张相邻图像中的相同位置，再根据所述缺陷定位模型对同一图像采集设备拍摄的多张相邻图像中相同位置的检测结果综合判断该位置是否确实存在缺陷。

10.如权利要求9所述的零件缺陷检测方法，其特征在于，所述图像采集设备的数量为多个，每一所述图像采集设备对应一个所述预设拍摄角度；

所述根据所述缺陷定位模型对同一图像采集设备拍摄的多张相邻图像中相同位置的检测结果综合判断该位置是否确实存在缺陷，包括：

找到其它图像采集设备拍摄的该位置的检测图像及其多张相邻图像，根据所述缺陷定位模型对同一图像采集设备拍摄的多张相邻图像中相同位置的检测结果，以及所述缺陷定位模型对其它图像采集设备拍摄的该位置的检测图像及其多张相邻图像中相同位置的检测结果，综合判断该位置是否确实存在缺陷。

11.一种零件缺陷检测***，其特征在于，包括：

零件缺陷检测架，包括壳体、置物转台和图像采集设备，所述置物转台设置于所述壳体的底部，所述图像采集设备设置于所述壳体的内侧壁上，被检测的零件置于所述置物转台上，所述图像采集设备用于从预设拍摄角度拍摄被检测的零件的检测图像；

处理器，与所述图像采集设备电连接，用于获取所述图像采集设备从预设拍摄角度拍摄的被检测的零件的检测图像；将所述检测图像输入预先训练的缺陷定位模型，根据所述缺陷定位模型输出的检测结果确定所述零件上缺陷所在的位置；通过预先训练的缺陷分类模型，确定所识别出的缺陷的类别。

12.如权利要求11所述的零件缺陷检测***，其特征在于，所述图像采集设备的拍摄角度包括：拍摄所述零件的正视图的角度，以及至少一个拍摄所述零件的斜视图的角度。

13.如权利要求11所述的零件缺陷检测***，其特征在于，所述处理器，具体用于：缩小所述检测图像的分辨率，并将缩小后的所述检测图像输入所述缺陷定位模型，根据所述缺陷定位模型输出的检测结果确定所述零件上缺陷所在的位置。

14.如权利要求13所述的零件缺陷检测***，其特征在于，所述处理器，具体用于：保持所述检测图像的宽高比不变，将所述检测图像的宽度或高度缩小至预设值。

15.如权利要求13所述的零件缺陷检测***，其特征在于，所述缺陷定位模型为基于Faster-RCNN结构的神经网络模型。

16.如权利要求15所述的零件缺陷检测***，其特征在于，所述缺陷定位模型中还包括特征金字塔网络结构。

17.如权利要求13所述的零件缺陷检测***，其特征在于，所述处理器，具体用于：根据识别出的缺陷所在的位置，在所述检测图像中标注出缺陷区域，并从所述检测图像中裁剪出所述缺陷区域的切片图像，将所述切片图像作为所述缺陷分类模型的输入，以确定出所识别出的缺陷的类别。

18.如权利要求17所述的零件缺陷检测***，其特征在于，所述缺陷分类模型为基于Inception Resnet结构的神经网络模型。

19.如权利要求13所述的零件缺陷检测***，其特征在于，所述零件缺陷检测***还包括：驱动装置，所述置物转台通过所述驱动装置设置于所述壳体内，在拍摄图像时所述零件随着所述置物转台在所述驱动装置的驱动下绕垂直于所述壳体底板的轴线旋转；

所述处理器，具体用于：

将缩小后的所述检测图像输入所述缺陷定位模型，根据所述缺陷定位模型的输出得到检测图像的检测结果；其中，检测图像的检测结果包括该检测图像中所述零件疑似存在缺陷的位置；

针对任一检测图像中所述零件疑似存在缺陷的位置，采用目标跟踪算法找到同一图像采集设备拍摄的多张相邻图像中的相同位置，再根据所述缺陷定位模型对同一图像采集设备拍摄的多张相邻图像中相同位置的检测结果综合判断该位置是否确实存在缺陷。

20.如权利要求19所述的零件缺陷检测***，其特征在于，所述图像采集设备的数量为多个，每一图像采集设备均设置于所述壳体的内侧壁上，每一图像采集设备对应一个所述预设拍摄角度；

所述处理器，具体用于：

找到其它图像采集设备拍摄的该位置的检测图像及其多张相邻图像，根据所述缺陷定位模型对同一图像采集设备拍摄的多张相邻图像中相同位置的检测结果，以及所述缺陷定位模型对其它图像采集设备拍摄的该位置的检测图像及其多张相邻图像中相同位置的检测结果，综合判断该位置是否确实存在缺陷。