CN112001841A - 图像待检测区域提取方法、装置和产品缺陷检测*** - Google Patents

Abstract

本申请公开图像待检测区域提取方法、装置和产品缺陷检测***。本申请的方法包括：获取产品图像，并根据产品图像生成用于描述待检测区域的掩码图像；将掩码图像与产品图像进行通道级拼接，得到拼接图像，拼接图像的通道数为掩码图像与产品图像的通道数之和；在拼接图像中，根据掩码图像与产品图像之间像素点的对应关系，从产品图像中提取包括该待检测区域的待检测图像。本申请的技术方案能够快速提取产品的待检测区域所在位置，减少产品拍摄背景的变化对缺陷检测模型测试结果带来的影响，同时使输入给缺陷检测模型的图片中产品部分所占的比重更大，以更利于小目标的缺陷检测。

Description

图像待检测区域提取方法、装置和产品缺陷检测***

技术领域

本申请涉及计算机技术领域，具体涉及一种图像待检测区域提取方法、装置和产品缺陷检测***。

背景技术

在传统的精密制造行业，产品缺陷一般通过人工来进行分类检测。近年来，随着检测技术的不断成熟，基于深度学习的目标检测方法逐渐替代人工检测，成为智能制造的重要一环。基于深度学习的目标检测方法一般通过产线的专用像机自动拍摄流水线上的产品图像，将图像传给神经网络模型，由神经网络模型来判断产品是否存在缺陷。

在这个过程中，传输给神经网络模型的图片质量非常重要，但是图片质量容易受多种因素的影响。例如，如果吸附产品的吸嘴在使用过程中出现松弛或者产品在料盘里摆放不整齐，会导致拍摄的产品图像发生不同程度的倾斜；如果拍摄的过程中打光或产线环境发生变化，会使拍摄的产品图像边缘出现一道阴影；如果有其他产品掉落在镜头里，拍摄的产品图像的背景中会有其他产品的干扰。

以上这些情况都容易造成神经网络模型发生误判，从而将正常的产品当作不良品自动分拣出来，造成材料和资源的浪费。

发明内容

本申请提供了一种图像待检测区域提取方法、装置和产品缺陷检测***，以解决或部分解决上述问题。

一方面，本申请提供了一种图像待检测区域提取方法，包括：

获取产品图像，并根据产品图像生成用于描述待检测区域的掩码图像；

将掩码图像与产品图像进行通道级拼接，得到拼接图像，拼接图像的通道数为掩码图像与产品图像的通道数之和；

在拼接图像中，根据掩码图像与产品图像之间像素点的对应关系，从产品图像中提取包括该待检测区域的待检测图像。

另一方面，本申请提供了一种图像待检测区域提取装置，包括：

图像分割单元，用于获取产品图像，并根据产品图像生成用于描述待检测区域的掩码图像；

图像拼接单元，用于将掩码图像与产品图像进行通道级拼接，得到拼接图像，拼接图像的通道数为掩码图像与产品图像的通道数之和；

图像提取单元，用于在拼接图像中，根据掩码图像与产品图像之间像素点的对应关系，从产品图像中提取包括该待检测区域的待检测图像。

再一方面，本申请提供了一种产品缺陷检测***，包括：摄像头、存储器、处理器和神经网络平台；

摄像头，拍摄产线上产品的产品图像并将产品图像发送给处理器；

存储器，存储计算机可执行指令；

处理器，根据计算机可执行指令执行图像待检测区域提取方法，将得到的待检测图像输出至神经网络平台；

神经网络平台，对待检测图像利用神经网络模型来判断产线上的产品是否存在缺陷。

又一方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，一个或多个程序当被处理器执行时，实现图像待检测区域提取方法。

本申请的有益效果是：本发明的图像待检测区域提取方法用于产品缺陷检测之前，通过对传输给缺陷检测模型的图片提前进行预处理，快速提取产品的待检测区域所在位置，能有效减少产品拍摄背景的变化对缺陷检测模型测试结果带来的影响，同时使输入给缺陷检测模型的图片中产品部分所占的比重更大，以更利于小目标的缺陷检测。

附图说明

图1是本申请一个实施例的图像待检测区域提取方法的流程示意图；

图2是本申请一个实施例的提取待检测区域的流程示意图；

图3是本申请一个实施例的Unet网络结构示意图；

图4是本申请一个实施例的产品图像中待检测区域示意图；

图5是本申请一个实施例的计算倾斜角与倾斜方向示意图；

图6是本申请另一个实施例的计算倾斜角与倾斜方向示意图；

图7是本申请一个实施例的由目标图像旋转后得到的待检测图像示意图；

图8是本申请一个实施例的图像待检测区域提取装置的功能框图；

图9是本申请一个实施例的电子设备的结构示意图；

图10是本申请一个实施例的计算机可读存储介质的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在精密制造的产线上，由于机械定位的精度存在误差、工艺不稳定、机械使用过程中发生松弛以及厂房内的环境等因素变化，自动化生产线拍摄的产品图片经常会存在以下现象：

1.图片上的产品存在不同角度的倾斜；

2.拍摄的产品背景中存在部分打光的阴影；

3.产品背景部分存在掉落的其他产品。

上述情形的产品图像对进一步的深度学习目标检测带来负面影响，容易对背景部分产生误判从而将正常产品当做不良品检测出来，造成产线的生产材料与资源的浪费。

针对拍摄的产品图像中存在的以上现象，本申请实施例提出图像待检测区域提取方法，图1是本申请一个实施例的图像待检测区域提取方法的流程示意图，如图1所示，本实施例的方法包括如下步骤：

步骤S110，获取产品图像，并根据产品图像生成用于描述待检测区域的掩码图像。

本步骤中可以使用图像分割算法对产品图像处理，预测出待检测区域所在位置，生成对应的掩码图像。

本步骤中掩码图像又称为mask图像，mask图像为二值化的图片，在本实施例中，一个mask图像中待检测区域内像素点的灰度值为1，其它位置的像素点灰度值为0。

步骤S120，将mask图像与产品图像进行通道级拼接，得到拼接图像，拼接图像的通道数为掩码图像与产品图像的通道数之和。

本步骤中，在进行通道级拼接之前，需要将mask图像与产品图像的图像尺寸调整成一致大小，例如可以对mask图像进行尺寸缩放处理，使处理后的mask图像与产品图像尺寸一致，以便于进行通道级拼接。

步骤S130，在拼接图像中，根据掩码图像与产品图像之间像素点的对应关系，从产品图像中提取包括该待检测区域的待检测图像。

由图1所示可知，本实施例的图像待检测区域提取方法用于缺陷检测之前，通过对传输给缺陷检测模型的图片提前进行预处理，快速提取产品的待检测区域所在位置，能有效减少产品拍摄背景的变化对缺陷检测模型测试结果带来的影响，同时使输入给缺陷检测模型的图片中产品部分所占的比重更大，以更利于小目标的缺陷检测。

下面以一个产品图像为例，对产品图像的待检测区域的提取方法的实现步骤进行具体说明。

参考图2，待检测区域的提取方法包括：生成mask图像、提取目标图像和输出待检测图像三个设计过程，下面结合图3至图6详细说明该三个设计过程。

生成mask图像

本实施例基于图像分割算法提取待检测区域的轮廓特征，经试验，基于由几十张图像构成的小样本数据，浅层Unet网络结构可以较快速的完成图像待检测区域的拟合与图像提取的任务，因此，本实施例选用浅层Unet网络生成mask图像。

在一个实施例中，预先构建浅层Unet网络并训练，该浅层Unet网络包括卷积部分和上采样部分，其中上采样部分输出的特征图为与卷积部分输出的特征图进行通道级拼接后的特征图，即上采样部分输出的特征图为上采样部分直接输出的特征图与卷积部分输出的特征图进行通道级拼接后的特征图。

在对浅层Unet网络进行训练时，利用标注工具labelme将训练集中每幅样本图像的待检测区域标注出来，得到待检测区域的mask图像，mask图像中待检测区域内像素点的灰度值为1，其它位置像素点的灰度值为0。训练集中每幅样本图像都对应一张该图像的mask图像，训练时样本图片和对应的mask图像同时训练。

如图3示出的浅层Unet网络结构，该浅层Unet网络的卷积部分通过3x3的卷积核对产品图片进行特征提取，前两个卷积核的个数为64，以后每增加两次卷积操作，卷积核的个数都会增加2倍，每两个卷积核会配合一个2x2的最大池化操作，每经过一次最大池化，特征图的长度和宽度均会减半。

上采样部分卷积核的个数从1024开始下降，每经过一次卷积操作，卷积核的个数就下降一半，配合上采样，每经过一次上采样，特征图的长度和宽度都会增加一倍。

在上采样部分将每层级采集到的特征图与卷积部分相应层级采集到的特征图进行通道级拼接，参考图3，四个水平箭头方向示出对四个层级的特征图进行了相应的通道级拼接，以将卷积部分对应的大尺寸的图像特征添加到上采样部分，避免图像特征的丢失，提高mask图像中待检测区域内特征的完整度。

上采样部分生成的mask图像与样本图像通过标注得到的mask图像进行对比，计算损失函数，并不断修正Unet网络的参数。其中，损失函数采用Dice-coefficient(源于二分类，本质上是衡量两个样本的重叠部分)损失函数，相比原始Unet网络的损失函数，Dice-coefficient损失函数对于类别不均衡问题效果更优，并且能较快的度量出生成的mask图像与标注得到的mask图像之间的相似度。

在训练好浅层Unet网络之后，在需要提取待检测区域时，将产品图像输入到训练好的浅层Unet网络，利用该浅层Unet网络提取产品图像中待检测区域的轮廓特征，获得该浅层Unet网络输出的包括该待检测区域的mask图像。

提取目标图像

在一个实施例中，基于下述方法提取目标图像：

根据mask图像与产品图像之间像素点的对应关系，在产品图像中确定该待检测区域的像素位置；基于像素位置在产品图像上选取包括该待检测区域的几何图形，在产品图像上裁剪该几何图形所在区域的图像，得到目标图像。

参考图4，几何图形优选为图4中虚线的矩形框，图4中填充有斜纹的两个细长矩形框为干扰，在产品图像中选取包括该待检测区域的矩形，按照矩形的大小裁剪出目标图像。为使输入到缺陷检测模型中的待检测图片中产品部分所占的比重更大，优选地选取包括该待检测区域的最小外接矩形，在产品图像上裁剪该最小外接矩形所在区域的图像，得到目标图像，以更有利于小目标的缺陷检测。

输出待检测图像

一个实施例中，在得到目标图像之后，计算该目标图像的倾斜程度；根据该倾斜程度调整目标图像至图像端正，获得待检测图像。

在一个实施例中，通过计算上述几何图形的一个边框线与预设参考线之间的夹角，将该夹角作为该目标图像的倾斜角，利用该倾斜角表示该目标图像相对水平参考线或垂直参考线的倾斜程度。

其中，预设参考线包括水平参考线或竖直参考线。参考图5示出的向第一方向倾斜的目标图像，可以将顶点A1与顶点B1之间的边框线A1B1与水平参考线L1之间的夹角θ1为目标图像的倾斜角；或者，将顶点A1与顶点D1之间的边框线A1D1与竖直参考线L1’之间的夹角θ1为目标图像的倾斜角。参考图6示出的向第二方向倾斜的目标图像，可以将顶点A2与顶点B2之间的边框线A2D2与水平参考线L2之间的夹角θ2为目标图像的倾斜角；或者，将顶点A2与顶点D2之间的边框线A2B2与竖直参考线L2’之间的夹角θ2为目标图像的倾斜角。

在得到目标图像的倾斜角之后，可以根据倾斜角判断目标图像是否端正，即在倾斜角为零时，此时目标图像处于端正状态，可以直接将目标图像作为待检测图像；在该倾斜角不为零时，此时目标图像处于倾斜状态，可以根据该几何图形的顶点坐标计算目标图像的倾斜方向，并根据倾斜方向旋转该目标图像直至倾斜角为零，将倾斜角为零时的目标图像作为待检测图像。

在一个实施例中，在该目标图像向第一方向倾斜时，顺时针旋转目标图像直至倾斜角为零；在该目标图像向第二方向倾斜时，逆时针旋转目标图像直至倾斜角为零。其中，参考图5与图6，第一倾斜方向可以理解为逆时针方向，第二方向倾斜可以理解为顺时针方向。

由于一般产线上，产品图片的倾斜角度在-60°至60°的范围内变化，即产品多会产生倾斜，而不是产生360度翻转或180度倒立或90度的侧翻等状况。因此，可以基于目标图像对应的几何图形的顶点坐标之间的关系计算目标图像的倾斜方向。

在一个实施例中，以几何图形为包括该待检测区域的最小外接矩形为例说明书计算目标图像倾斜方向的方法：

如图5或图6所示，在以产品图像左上角像素点为原点构建的直角坐标系中，将最小外接矩形的四个顶点中纵坐标值最大的顶点标记为第一顶点，并以第一顶点为基准点按照逆时针方向标记最小外接矩形的其他三个顶点依次为第二顶点、第三顶点和第四顶点；参考图5，最小外接矩形A1B1C1D1中，顶点A1的纵坐标值最大，因此，将顶点A1标记为第一顶点01(x1，y1)，将顶点B1标记为第二顶点02(x2，y2)，将顶点C1标记为第三顶点03(x3，y3)，将顶点D1标记为第四顶点04(x4，y4)。

根据第一顶点01(x1，y1)与第三顶点03(x3，y3)的横坐标的大小关系计算目标图像的倾斜方向，具体是：若第三顶点03(x3，y3)的横坐标|x3|大于第一顶点01(x1，y1)的横坐标|x1|，该目标图像向第一方向倾斜；若第三顶点03(x3，y3)的横坐标|x3|小于第一顶点01(x1，y1)的横坐标|x1|，该目标图像向第二方向倾斜；

或者，根据第一顶点01(x1，y1)与第三顶点03(x3，y3)确定的直线的斜率计算目标图像的倾斜方向，具体是：若直线的斜率大于零，该目标图像向第一方向倾斜；若直线的斜率小于零，该目标图像向第二方向倾斜。如图5所示，第一顶点01(x1，y1)与第三顶点03(x3，y3)确定的直线A1C1的斜率大于零，因此，图5中的目标图像向第一方向倾斜。而图6中第一顶点与第三顶点确定的直线A2C2的斜率小于零，因此，图6中的目标图像向第二方向倾斜。

当目标图像向第一方向倾斜时，计算由第二顶点和第一顶点确定的边框线与水平参考线之间的夹角作为倾斜角；如图5所示，倾斜角

在目标图像向第二方向倾斜时，计算由第四顶点和第一顶点确定的边框线与水平参考线之间的夹角作为所述倾斜角；如图6所示，倾斜角

如图7所示，通过上述方法步骤可以将处于倾斜状态的目标图像旋转至图像端正，得到端正的待检测图像，将端正的待检测图像发送给缺陷检测模型，可以较好的减少背景等外部因素对图像效果的影响，有效提高缺陷检测的准确率。

与前述方法相对应，本申请还提供了一种图像待检测区域提取装置，图8是本申请一个实施例的图像待检测区域提取装置的功能框图，如图8所述，本实施例的装置800包括：

图像分割单元810，用于获取产品图像，并根据产品图像生成用于描述待检测区域的掩码图像；

图像拼接单元820，用于将掩码图像与产品图像进行通道级拼接，得到拼接图像，拼接图像的通道数为掩码图像与产品图像的通道数之和；

图像提取单元830，用于在拼接图像中，根据掩码图像与产品图像之间像素点的对应关系，从产品图像中提取包括该待检测区域的待检测图像。

在一个实施例中，图像分割单元810包括网络构建与训练模块；

网络构建与训练模块，用于预先构建浅层Unet网络并训练，该浅层Unet网络包括卷积部分和上采样部分，其中上采样部分输出的特征图为与卷积部分输出的特征图进行通道级拼接后的特征图；

图像分割单元810，用于将产品图像输入到训练好的浅层Unet网络，利用该浅层Unet网络提取产品图像中待检测区域的轮廓特征，获得该浅层Unet网络输出的包括该待检测区域的掩码图像。

在一个实施例中，图像提取单元830包括：目标图像提取模块、倾斜度计算模块和图像旋转模块；

目标图像提取模块，用于根据所述掩码图像与产品图像之间像素点的对应关系，在所述产品图像中确定该待检测区域的像素位置；基于所述像素位置在所述产品图像上选取包括该待检测区域的几何图形，在所述产品图像上裁剪该几何图形所在区域的图像，得到目标图像；

倾斜度计算模块，用于计算所述目标图像的倾斜程度；

图像旋转模块，用于根据该倾斜程度调整所述目标图像至图像端正，获得待检测图像。

在一个实施例中，倾斜度计算模块，用于计算该几何图形的一个边框线与预设参考线之间的夹角；将该夹角作为该目标图像的倾斜角，通过该倾斜角表示该目标图像相对预设参考线的倾斜程度。

在一个实施例中，图像旋转模块，用于在所述倾斜角为零时，将所述目标图像作为待检测图像；在所述倾斜角不为零时，根据该几何图形的顶点坐标计算目标图像的倾斜方向，并根据倾斜方向旋转所述目标图像直至所述倾斜角为零，将倾斜角为零时的目标图像作为待检测图像。

图像旋转模块，还用于在该目标图像向第一方向倾斜时，顺时针旋转所述目标图像直至所述倾斜角为零；在该目标图像向第二方向倾斜时，逆时针旋转所述目标图像直至所述倾斜角为零。

在一个实施例中，上述几何图形为包括该待检测区域的最小外接矩形，图像提取单元830还包括：倾斜方向计算模块；

倾斜方向计算模块，用于在以产品图像左上角像素点为原点构建的直角坐标系中，将最小外接矩形的四个顶点中纵坐标值最大的顶点标记为第一顶点，并以第一顶点为基准点按照逆时针方向标记最小外接矩形的其他三个顶点依次为第二顶点、第三顶点和第四顶点；根据第一顶点与第三顶点的横坐标的大小关系计算目标图像的倾斜方向，具体是：若第三顶点的横坐标大于第一顶点的横坐标，该目标图像向第一方向倾斜；若第三顶点的横坐标小于第一顶点的横坐标，该目标图像向第二方向倾斜；或者，根据第一顶点与第三顶点确定的直线的斜率计算目标图像的倾斜方向，具体是：若直线的斜率大于零，该目标图像向第一方向倾斜；若直线的斜率小于零，该目标图像向第二方向倾斜。

在一个实施例中，预设参考线包括水平参考线，相应的，倾斜度计算模块，用于在目标图像向第一方向倾斜时，计算由第二顶点和第一顶点确定的边框线与水平参考线之间的夹角作为所述倾斜角；在目标图像向第二方向倾斜时，计算由第四顶点和第一顶点确定的边框线与水平参考线之间的夹角作为所述倾斜角。

综上所示，本申请实施例一方面利用Unet网络对产品图像的待检测区域进行定位，生成描述待检测区域的mask图像，进而基于mask图像在产品图像上剪裁出待检测图像的方法能够在保证裁剪速度的同时，提高对产品的待检测区域的定位精度，降低受干扰项影响的概率；另一方面本申请实施例通过将目标图像转旋转至图像端正，能够有效减少产品倾斜角度不同对缺陷检测模型测试结果带来的影响，避免对产品的误判；再一方面本申请通过从产品图像上剪裁出包括产品的待检测区域的待检测图像，可以提高图片中产品部分的占比，以有利于缺陷检测模型对小目标进行缺陷检测。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的图像待测区域提取装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图9示出本申请一个实施例的产品缺陷检测***的结构示意图，该目标检测***900包括摄像头940、神经网络平台950、处理器910和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器920。摄像头940拍摄产线上产品的产品图像并将产品图像发送给处理器910，处理器910根据计算机可执行指令执行图像待检测区域提取方法，将得到的待检测图像输出至神经网络平台950，神经网络平台950对待检测图像利用神经网络模型来判断产线上的产品是否存在缺陷。其中，存储器920可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器920具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码931的存储空间930。例如，用于存储计算机可读程序代码的存储空间930可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码931。计算机可读程序代码931可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图10所述的计算机可读存储介质。

图10示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质1000存储有用于执行根据本申请的方法步骤的计算机可读程序代码931，可以被目标检测***900的处理器910读取，当计算机可读程序代码931由目标检测***900运行时，导致该目标检测***900执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码931可以执行上述任一实施例中示出的方法。计算机可读程序代码931可以以适当形式进行压缩。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种图像待检测区域提取方法，其特征在于，包括：

获取产品图像，并根据所述产品图像生成用于描述待检测区域的掩码图像；

将所述掩码图像与所述产品图像进行通道级拼接，得到拼接图像，所述拼接图像的通道数为掩码图像与产品图像的通道数之和；

在所述拼接图像中，根据所述掩码图像与产品图像之间像素点的对应关系，从所述产品图像中提取包括该待检测区域的待检测图像。

2.如权利要求1所述的方法，其特征在于，根据所述产品图像生成用于描述待检测区域的掩码图像，包括：

预先构建浅层Unet网络并训练，该浅层Unet网络包括卷积部分和上采样部分，其中上采样部分输出的特征图为与卷积部分输出的特征图进行通道级拼接后的特征图；

将所述产品图像输入到训练好的浅层Unet网络，利用该浅层Unet网络提取产品图像中待检测区域的轮廓特征，获得该浅层Unet网络输出的包括该待检测区域的掩码图像。

3.如权利要求1所述的方法，其特征在于，根据所述掩码图像与产品图像之间像素点的对应关系，从所述产品图像中提取包括该待检测区域的待检测图像，包括：

根据所述掩码图像与产品图像之间像素点的对应关系，在所述产品图像中确定该待检测区域的像素位置；

基于所述像素位置在所述产品图像上选取包括该待检测区域的几何图形，在所述产品图像上裁剪该几何图形所在区域的图像，得到目标图像；

计算所述目标图像的倾斜程度；

根据该倾斜程度调整所述目标图像至图像端正，获得待检测图像。

4.如权利要求3所述的方法，其特征在于，计算所述目标图像的倾斜程度，包括：

计算该几何图形的一个边框线与预设参考线之间的夹角；

将该夹角作为该目标图像的倾斜角，通过该倾斜角表示该目标图像相对预设参考线的倾斜程度。

5.如权利要求4所述的方法，其特征在于，根据该倾斜程度调整所述目标图像至图像端正，获得待检测图像，包括：

在所述倾斜角为零时，将所述目标图像作为待检测图像；

在所述倾斜角不为零时，根据该几何图形的顶点坐标计算目标图像的倾斜方向，并根据倾斜方向旋转所述目标图像直至所述倾斜角为零，将倾斜角为零时的目标图像作为待检测图像。

6.如权利要求5所述的方法，其特征在于，在所述倾斜角不为零时，根据倾斜方向旋转所述目标图像直至所述倾斜角为零，包括：

在该目标图像向第一方向倾斜时，顺时针旋转所述目标图像直至所述倾斜角为零；

在该目标图像向第二方向倾斜时，逆时针旋转所述目标图像直至所述倾斜角为零。

7.如权利要求5所述的方法，其特征在于，该几何图形为包括该待检测区域的最小外接矩形，根据该几何图形的顶点坐标计算目标图像的倾斜方向，包括：

在以产品图像左上角像素点为原点构建的直角坐标系中，将最小外接矩形的四个顶点中纵坐标值最大的顶点标记为第一顶点，并以第一顶点为基准点按照逆时针方向标记最小外接矩形的其他三个顶点依次为第二顶点、第三顶点和第四顶点；

根据第一顶点与第三顶点的横坐标的大小关系计算目标图像的倾斜方向，具体是：若第三顶点的横坐标大于第一顶点的横坐标，该目标图像向第一方向倾斜；若第三顶点的横坐标小于第一顶点的横坐标，该目标图像向第二方向倾斜；

或者，根据第一顶点与第三顶点确定的直线的斜率计算目标图像的倾斜方向，具体是：若直线的斜率大于零，该目标图像向第一方向倾斜；若直线的斜率小于零，该目标图像向第二方向倾斜。

8.如权利要求7所述的方法，其特征在于，预设参考线包括水平参考线，计算该几何图形的一个边框线与水平参考线或垂直参考线之间的夹角，包括：

在目标图像向第一方向倾斜时，计算由第二顶点和第一顶点确定的边框线与水平参考线之间的夹角作为所述倾斜角；

在目标图像向第二方向倾斜时，计算由第四顶点和第一顶点确定的边框线与水平参考线之间的夹角作为所述倾斜角。

9.一种图像待检测区域提取装置，其特征在于，包括：

图像分割单元，用于获取产品图像，并根据所述产品图像生成用于描述待检测区域的掩码图像；

图像拼接单元，用于将所述掩码图像与所述产品图像进行通道级拼接，得到拼接图像，所述拼接图像的通道数为掩码图像与产品图像的通道数之和；

图像提取单元，用于在所述拼接图像中，根据所述掩码图像与产品图像之间像素点的对应关系，从所述产品图像中提取包括该待检测区域的待检测图像。

10.一种产品缺陷检测***，其特征在于，包括摄像头、存储器、处理器和神经网络平台；

所述摄像头，拍摄产线上产品的产品图像并将产品图像发送给所述处理器；

所述存储器，存储计算机可执行指令；

所述处理器，根据所述计算机可执行指令执行如权利要求1-8任一项所述的图像待检测区域提取方法，将得到的待检测图像输出至所述神经网络平台；

所述神经网络平台，对所述待检测图像利用神经网络模型来判断产线上的产品是否存在缺陷。

Images