CN110672628A

CN110672628A - 板材包边接缝定位方法、***、装置

Info

Publication number: CN110672628A
Application number: CN201910925203.4A
Authority: CN
Inventors: 陈艳红; 崔晓光; 张吉祥
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2019-09-27
Filing date: 2019-09-27
Publication date: 2020-01-10
Anticipated expiration: 2039-09-27
Also published as: CN110672628B

Abstract

本发明属于图像检测技术领域，具体涉及了一种板材包边接缝定位方法、***、装置，旨在解决现有技术无法通过图像检测方法自动定位板材包边接缝的问题。本发明方法包括：提取板材包边接缝图像的梯度特征图；划分为多个子图像并计算各像素行的梯度幅值累加和作为接缝候选样本；以中心值为度量聚类后合并相邻样本；以合并样本行方向距离小于设定阈值为度量聚类后，以设定点拟合直线；以合并样本与拟合直线的距离为度量聚类后，再次拟合直线作为定位的板材包边接缝。本发明结合板材图像采集方位及接缝在梯度图中的特点，提取图像的纵向梯度特征图，并通过不同的度量值进行多次聚类，排除噪声干扰，实现板材包边接缝的快速定位，准确率高。

Description

板材包边接缝定位方法、***、装置

技术领域

本发明属于图像检测技术领域，具体涉及了一种板材包边接缝定位方法、***、装置。

背景技术

近几年，消费者对家具的个性化需求越来越突出，因此定制家具越来越流行，定制家具市场也得到蓬勃发展。通常，客户完成家具定型后，厂方根据家具造型结构，生产所需尺寸、不同花色的各部件板材。板材的内部材质通常为木材、木质纤维、纤维边角料等，通常在板材外表面会贴附不同纹理的包边，在板材加工生产过程中，不可避免的会出现包边脱落、磕碰、多胶等各种不合格情况。由于家具整体运输不便，厂家通常是在车间生产完成所有家具部件板材，运送到客户住处然后由工作人员上门安装，而定制家具板材同一批次同一块板材只按需生产，无备份，若板材运送到客户处才被发现有瑕疵，则调换成本陡增，因此板材的出厂质量至关重要。

在板材的生产过程中，容易出现不合格情况的是板材的包边部分。包边是用粘合剂将封条附着在板材主体上，可能出现缺失、错位等缺陷情况，即时发现包边的缺陷，可以提升板材生产的合格率。目前的板材缺陷检测主要由人工目测完成，由于无法通过图像检测方法自动定位板材包边接缝的位置，因而无法实现自动化的缺陷检测，检测效率低、错误率高。

发明内容

为了解决现有技术中的上述问题，即现有技术无法通过图像检测方法自动定位板材包边接缝的位置，因而无法实现自动化的缺陷检测，检测效率低、错误率高的问题，本发明提供了一种板材包边接缝定位方法，该定位方法包括：

步骤S10，获取包含板材包边接缝的板材图像作为待处理图像；

步骤S20，通过灰度化以及卷积操作，提取所述待处理图像的纵向梯度特征图；

步骤S30，将所述纵向梯度特征图按照设定宽度、设定步长沿图像横轴方向划分为M个子图像，并分别计算所述子图像的每一像素行的各像素梯度幅值的累加和作为接缝候选样本，获得第一接缝候选样本集；

步骤S40，通过Kmeans聚类将所述第一接缝候选样本集聚为设定数目的类，并将中心值最大的类中行位置相邻的样本合并为一个样本，获得第二接缝候选样本集；

步骤S50，通过Kmeans聚类选取所述第二接缝候选样本集中样本行方向距离小于设定阈值的样本作为第三接缝候选样本集；

步骤S60，以所述第三接缝候选样本集中样本的设定位置点作为离散点组拟合直线，并以所述第二接缝候选样本集样本的设定位置点与所述拟合直线的距离为度量对所述第二接缝候选样本集进行二次Kmeans聚类；

步骤S70，选取二次Kmeans聚类后类中样本数量最多的类，并以其中样本的设定位置点作为离散点组拟合直线，获得板材包边接缝。

在一些优选的实施例中，步骤S20中“通过灰度化以及卷积操作，提取所述待处理图像的纵向梯度特征图”，其方法为：

步骤S21，对所述待处理图像进行灰度化操作，获得板材灰度图像；

步骤S22，通过设定的卷积算子对所述板材灰度图像进行卷积操作，获得板材图像的纵向梯度特征图。

在一些优选的实施例中，步骤S21中“对所述待处理图像进行灰度化操作，获得板材灰度图像”，其方法为：

其中，ImageGray_i,j代表板材灰度图像，i为像素行号，j为像素列号，R、G、B分别为待处理图像的红色通道图像、绿色通道图像、蓝色通道图像。

在一些优选的实施例中，所述设定的卷积算子为sobel算子：

在一些优选的实施例中，步骤S30中“分别计算所述子图像的每一像素行的各像素梯度幅值的累加和作为接缝候选样本”，其方法为：

其中，gray_i,j代表第i行第j个像素的梯度幅值，winW代表划分子图像时设定的子图像像素宽度，nrows为子图像中像素的行数。

在一些优选的实施例中，所述子图像的个数M与设定宽度、设定步长的关系为：

其中，imageWidth为纵向梯度特征图的像素宽度，winW代表划分子图像时设定的子图像像素宽度，slideStep为设定步长。

在一些优选的实施例中，所述样本的设定位置点为样本元素矩形区左边线中心点，其坐标为：

其中，nsrow_i、nerow_i分别为样本元素矩形区起始行、结束行的行坐标，ncol_i为元素矩形区左边线在样本图像上的列坐标。

在一些优选的实施例中，步骤S60中“所述第二接缝候选样本集样本的设定位置点与所述拟合直线的距离”，其计算方法为：

其中，k为拟合直线的斜率，b为拟合直线的截距。

本发明的另一方面，提出了一种板材包边接缝定位***，该定位***包括输入模块、灰度转换模块、卷积模块、样本划分模块、聚类模块、行合并模块、一次拟合模块、二次拟合模块、输出模块；

所述输入模块，配置为获取包含板材包边接缝的板材图像作为待处理图像并输入；

所述灰度转换模块，配置为将输入的待处理图像转化为灰度图像；

所述卷积模块，配置为通过设定的卷积算子对灰度图像进行卷积操作，提取其纵向梯度特征图；

所述样本划分模块，配置为将纵向梯度特征图按照设定宽度、设定步长沿图像横轴方向划分为M个子图像，并分别计算每一个子图像的每一像素行的各像素梯度幅值的累加和作为接缝候选样本，获得第一接缝候选样本集；

所述聚类模块，配置为通过Kmeans聚类对不同的接缝候选样本集通过设定的度量进行聚类；

所述行合并模块，配置为将第一接缝候选样本集以中心值为度量聚类后，将中心值最大的类中行位置相邻的样本合并为一个样本，获得第二接缝候选样本集；

所述一次拟合模块，配置为将第二接缝候选样本集以样本行方向距离小于设定阈值为度量聚类后，以其样本的设定位置点作为离散点组拟合直线；

所述二次拟合模块，配置为将第二接缝候选样本集以样本的设定位置点与一次拟合直线的距离为度量聚类后，以样本数量最多的类中样本的设定位置点作为离散点组拟合直线，获得板材包边接缝；

所述输出模块，配置为输出带有板材包边接缝的待处理图像。

本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的板材包边接缝定位方法。

本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的板材包边接缝定位方法。

本发明的有益效果：

本发明板材包边接缝定位方法，通过自动化设备实时采集包含包边接缝的板材图像，结合板材图像采集方位以及板材包边接缝在图像梯度图中呈现较强响应的特点，提取图像的纵向梯度特征图，并将其划分生成接缝候选样本集，通过不同的度量值对样本集的样本进行多次Kmeans聚类，排除接缝附近的噪声干扰，实现板材包边接缝的快速定位，定位效率高、准确率高。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明板材包边接缝定位方法的流程示意图；

图2是本发明板材包边接缝定位方法一种实施例的板材包边接缝定位设备示意图；

图3是本发明板材包边接缝定位方法一种实施例的包含板材包边接缝的待处理图像；

图4是本发明板材包边接缝定位方法一种实施例的待处理图像对应的纵向梯度特征图；

图5是本发明板材包边接缝定位方法一种实施例的元素间距离计算示例图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明的一种板材包边接缝定位方法，该定位方法包括：

为了更清晰地对本发明板材包边接缝定位方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。

本发明一种实施例的板材包边接缝定位方法，包括步骤S10-步骤S70，各步骤详细描述如下：

步骤S10，获取包含板材包边接缝的板材图像作为待处理图像。

如图2所示，为本发明板材包边接缝定位方法一种实施例的板材包边接缝定位设备示意图。板材平放在设备的传送台上，以恒定的速度通过图像采集相机的图像获取范围，传送台的传送方向为箭头所示方向。图像采集相机安置于传送台侧上方，可拍摄板材上面和侧面区域图像。

采集后的图像经过裁剪、矫正等一系列预处理，获得待处理图像。如图3所示，为本发明板材包边接缝定位方法一种实施例的包含板材包边接缝的待处理图像，深灰色部分为板材上表面的一部分，浅灰色部分为板材侧边，向右的箭头代表在图像处理中，以此方向为X轴(即横向)方向，向下的箭头代表在图像处理中，以此方法为Y轴(即纵向)方向。

步骤S20，通过灰度化以及卷积操作，提取所述待处理图像的纵向梯度特征图。

相机以一定帧频实时采集板材图像，板材表面纹路多样，呈现有纯色、木纹、方格、斑点等多种样式，且表面颜色深浅不一，但是，鉴于板材侧部包边与上面封皮虽配套但不相同，且包边为粘贴附着在板材侧部，故其接缝处在图像的梯度图中呈现出较强的响应，因此可从原始图像的梯度图像着手提取板材包边接缝。

步骤S21，对所述待处理图像进行灰度化操作，获得板材灰度图像，如式(1)所示：

ratio1、ratio2的计算方法分别如式(2)、式(3)所示：

步骤S22，通过设定的卷积算子对所述板材灰度图像进行卷积操作，获得板材图像的纵向梯度特征图。如图4所示，为本发明板材包边接缝定位方法一种实施例的待处理图像对应的纵向梯度特征图，结合板材包边在图像中横向存在的特点，通过提取横向边缘的卷积算子对图像进行卷积，提取图像的纵向梯度特征图。

设定的卷积算子为sobel算子，如式(4)所示：

步骤S30，将所述纵向梯度特征图按照设定宽度、设定步长沿图像横轴方向划分为M个子图像，并分别计算所述子图像的每一像素行的各像素梯度幅值的累加和作为接缝候选样本，获得第一接缝候选样本集。

子图像的个数M与设定宽度、设定步长的关系如式(6)所示：

本发明一个实施例中，待处理图像尺寸的宽高为(imageWidth,imageHeight)＝(960×100)，取子图像宽度winW＝60，设定步长slideStep＝60，获得16个尺寸为60×100的子图像。

“分别计算所述子图像的每一像素行的各像素梯度幅值的累加和作为接缝候选样本”，其方法如式(5)所示：

本发明一个实施例中，分别计算上述16个子图像中每一个子图像的每一像素行的各像素梯度幅值的累加和，获得1600个接缝候选样本，记做Samples。

步骤S40，通过Kmeans聚类将所述第一接缝候选样本集聚为设定数目的类，并将中心值最大的类中行位置相邻的样本合并为一个样本，获得第二接缝候选样本集。

本发明一个实施例中，以样本间距离为度量，将样本集聚为5类，每个样本含有1维特征，即像素的纵向梯度值累加和。

虽然筛选出疑似接缝的候选样本，但存在非真实接缝样本的噪声干扰，故仍需后续方法定位真正的接缝线。仔细分析板材上面和侧面表面纹理后，发现虽然纹理多样，甚至有时表现出较为平直的纹路，但是只有包边接缝处表现为基本贯穿图像横轴方向的平直线带，故基于此特点定位接缝线位置。

本发明一个实施例中，合并行位置相邻的接缝候选样本，得到合并后的样本元素集，记做Elements。其中元素结构体定义如下：struct sELE{//是否被聚类boolbclassify；//图像上的列坐标int ncol；//图像上的开始行坐标int nsrow；//图像上的结束行坐标int nerow；//该元素被几类包含int numlable；//包含该元素的类索引intlabel[100]；}。相邻位置的接缝候选样本合并后，可以简化后续处理过程。

步骤S50，通过Kmeans聚类选取所述第二接缝候选样本集中样本行方向距离小于设定阈值的样本作为第三接缝候选样本集。

本发明一个实施例中，以行方向距离最为度量，将上述的样本元素集Elements聚类，距离小于设定阈值dist_thresh＝5(单位：像素)的元素归为一类，得到聚类集合Cluster，类结构体定义如下struct FILTER{//索引int idx；//数目int num；//起始类元素sELE firstEle；}。

判断元素n是否属于聚类i的方法为：

第一步，遍历查找元素n所在的子图像及相邻前一子图像内是否存在元素m属于聚类i，若存在，则跳转第二步，否则，跳转第三步；

第二步，计算元素n与元素m的距离，若小于dist_thresh则元素n属于聚类i，否则，跳转第一步；

第三步，新建一个聚类j，以元素n为第一个类内元素。

以元素的相对位置关系为交叠或交错为例，元素间距离的计算方法如图5所示，其中列举了“交叠”、“交错”的各自两个图例用以说明元素的相对位置关系以及元素的行间距离计算方式，仍有其他交叠或交错情况，本发明在此不再一一详述。

步骤S60，以所述第三接缝候选样本集中样本的设定位置点作为离散点组拟合直线，并以所述第二接缝候选样本集样本的设定位置点与所述拟合直线的距离为度量对所述第二接缝候选样本集进行二次Kmeans聚类。

样本的设定位置点为样本元素矩形区左边线中心点，其坐标如式(7)所示：

“所述第二接缝候选样本集样本的设定位置点与所述拟合直线的距离”，其计算方法如式(8)所示：

其中，k为拟合直线的斜率，b为拟合直线的截距。

由于板材表面样式丰富，工业现场偶有浮尘、污渍等不确定因素干扰，相机实时采集的图像在灰度化提取纵向梯度后，真实板材包边接缝直线带在横轴方向上偶有中断，以元素集Elements元素矩形区左边线中心点距Cluster集合拟合直线的距离为度量，对元素集Elements进行二次聚类。

二次聚类后，将各类按照类中样本的数量排序，以样本数量最多的类中的样本为离散点组拟合直线，所拟合的直线即为定位的板材包边接缝。

本发明第二实施例的板材包边接缝定位***，该定位***包括输入模块、灰度转换模块、卷积模块、样本划分模块、聚类模块、行合并模块、一次拟合模块、二次拟合模块、输出模块；

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的板材包边接缝定位***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的板材包边接缝定位方法。

本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的板材包边接缝定位方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。