CN107220664A - 一种基于结构化随机森林的油瓶装箱清点方法 - Google Patents

Abstract

一种基于结构化随机森林的油瓶装箱清点方法，首先，提取油瓶装箱图片样本集的像素特征，利用样本集训练结构化的随机森林模型；其次，在待测图像中以滑动窗口方式生成图像块，利用训练好的结构化随机森林模型检测每个图像块，得到相对应的边缘图像块，继而融合生成全图的边缘检测图，实现油瓶装箱图片的边缘提取；最后，通过模板匹配统计边缘检测图中的提环个数，实现油瓶装箱清点。该方法充分利用随机森林不易过拟合以及较强的抗干扰性等优点，能够有效地分割出油瓶装箱图片的真实边缘，准确的实现清点。

Description

一种基于结构化随机森林的油瓶装箱清点方法

技术领域

本发明属于图像处理技术领域，通过结构化随机森林实现油瓶装箱图像的边缘检测，通过实现提环清点完成油瓶清点，为一种基于结构化随机森林的油瓶装箱清点方法。

背景技术

油瓶装箱自动化对于工作效率的需求不断提升，传统的人工提环检测模式已经不能满足生产的需要。基于机器视觉的油瓶提环装箱检测***由于其客观性、精确性、以及成本低等优势，很好地代替了繁琐的传统人工劳动力，大大提高了提环清点的效率。

边缘检测是油瓶装箱清点***中必不可少的重要环节，为后续的匹配过程提供装箱图片的真实边缘图像。由于油瓶装箱图片的复杂特征，传统的边缘检测方法通常会产生无关的虚假边缘，影响瓶盖的圆拟合以及提环边缘形状的准确提取。油瓶装箱清点***中的边缘检测环节通常基于Canny算子、显著性检测和Laplace算子来实现。显著性检测从一整幅图像中找到最引人注目的局部，但当提环、油体颜色相近，瓶身纹路影响明显时，无法检出边缘。基于Canny算子的方法和基于Laplace算子的方法对噪声敏感，无法排除非感兴趣区域背景干扰，且参数需要手动设置，无法自适应地应对所有场景。

发明内容

本发明要解决的问题是：现有装箱清点***依赖人眼观察，效率低下；现有通过机械设备完成装箱清点的方法耐用性不强，不满足工业生产的长期耐用性要求；现有能够快速进行装箱清点的方法仅能应对简单场景，对瓶身纹路、提环颜色、油体颜色等因素的造成的干扰效果较差。总而言之，现有方法难以做到高实时性和高正确率的兼容。

本发明的技术方案为：一种基于结构化随机森林的油瓶装箱清点方法，包括以下步骤：

1)读入训练样本图像，包括油瓶装箱图像以及其对应的真实边缘图像，通过步长为2的滑动窗口将样本图像分割成16*16的图像块，提取图像块特征，由油瓶装箱图像得到相样本特征集X，由真实边缘图像得到真实边缘标签集Y，样本特征集X和真实边缘标签集Y相对应；

2)简化真实边缘标签集Y，将标签集Y通过函数映射到可以直接计算欧式距离的空间Z，具体为：边缘标签y组成标签集Y，令y(j)表示y中的第j个像素值，选取两个位置j₁和j₂，若y(j₁)＝y(j₂)，则对应y的映射特征向量添加值为1的元素，否则添加值为0的元素，采样y中所有的点对获得维的二进制特征向量；为降低运算量，从32640维的二进制特征向量中随机抽取m＝256维特征组成特征向量z，所有y对应的特征向量z组成特征空间Z，实现标签集Y到特征空间Z的映射；

3)训练决策树，训练决策树的过程就是对决策树中各个节点进行训练的过程，对决策树中的任一节点q，训练集为S_q∈X×Y，训练的目标是找到当前节点***函数h(x,θ_q)的参数θ_q；x为样本特征集X的特征数据，***函数选为二进制函数：

h(x,θ_q)∈{0,1} (1)

h(x,θ_q)比较x中第k维特征的值与参数阈值τ的关系，即θ_q＝{k,τ}，训练θ_q的过程就是训练τ和k的过程；

如果h(x,θ_q)＝0，则将当前样本x和对应的标签y放到决策树左叶，否则将样本x和对应的标签y放到右叶；

为了得到参数θ_q，定义节点q***后信息增益：

其中，S_q为当前节点q上需要处理的图像块特征总集合，为进入当前节点q左叶的特征集合， 为进入当前节点q右叶的特征集合，从x的特征维度中随机抽取l＝256个维度，遍历所有{k,τ}组并计算对应的信息增益，当前节点参数θ_q选择为使该节点信息增益最大化的那一组{k,τ}，信息增益的标准定义为：

这里的函数H(S)＝-∑_yp_ylog(p_y)为香农熵，p_y为边缘标签y在S出现的概率；为和中的任一特征；

对决策树中每个节点进行上述训练，得到各节点的***函数参数，当一个节点***后香农熵为0，停止***，设置该节点为结果节点，结果节点的输出为该节点数量占比最大的边缘标签，

4)重复T次步骤3),生成的T棵决策树，联合形成训练好的油瓶提环检测随机森林模型；

5)根据训练后的随机森林模型,实现待测油瓶装箱图像的真实边缘检测，检测时，生成的决策树输入为待测图像块的特征数据x，根据特征数据x最终分配到的结果节点，输出边缘标签y，得到边缘图；

6)通过霍夫圆方法检测出步骤5)得到的边缘图中油瓶瓶盖可能存在的位置，分割出可能存在油瓶提环的待测图像块，计算预设好的提环标准模板图像块边缘点集与待测图像块边缘点集的Hausdorff距离，筛选真实提环个数，实现提环清点，即完成油瓶数量的清点。

进一步的，步骤1)中特征集X和标签集Y的具体生成方法为：对训练集图像中一个16*16的块，提取特征数据x(i,j,k)，K为特征通道数，i、j为像素点的位置，k为特征所在通道，同时将该图像块对应的真实边缘图记录为为16*16的分割掩膜y，以步长2的滑动窗口在训练集中所有图像上滑动，生成的所有特征数据x(i,j,k)组成特征集X，所有的边缘标签y组成标签集Y。

其中，获取特征数据x的通道包括：

a)RGB色彩空间中的三颜色通道图像；

b)原始尺度和高斯滤波后图像块的梯度幅值图，高斯滤波取卷积核尺寸5*5，标准差σ＝1；

c)梯度图在四个方向：垂直、水平和方向的梯度分量图；

特征通道总数K＝13，每个特征数据的维度是16*16*13＝3328；

增加特征描述x(i₁,j₁,k)-x(i₂,j₂,k)，i₁、j₁、i₂、j₂表示像素对的位置，对每个通道图像进行三角滤波并降采样到5*5，采样所有的像素对并计算它们的像素差值，每个通道的特征数据将再增加维，最后特征数据一共是3328+300*13＝7228维。

作为优选方式，步骤3)中，为了简化信息增益的计算，在式(3)计算过程中，对已经映射到Z空间的Y再做进一步的简化，利用主成分分析法将Z空间的标签向量降到1维，此时标签向量空间为离散的形式，便于信息增益的计算。

作为优选，步骤4)中T∈[4,6],以保证实时性。

步骤5)中，在对整幅图像进行检测时，采用滑动窗口方法，每隔2个像素提取一个16*16的图像块，利用训练后的决策树获得当前图像块的边缘标签y，由于图像块之间有重叠，因此对每个像素点，将有8*8*T＝64T个决策树构成的决策森林，每棵树的决策结果进行融合，最终，利用决策森林算法获得的该像素点的分类结果就是64T个决策树的平均。

具体的，步骤6)对于模板图像块中边缘点集A＝{a₁,a₂,…,a_n},待测图像块边缘点B＝{b₁,b₂,…,b_n}，则集合A到集合B的Hausdorff距离：

H(A,B)＝max(h(A,B),h(B,A)) (4)

h(A,B)和h(B,A)分别代表A集合到B集合前向和后向Hausdorff距离，其中H(A,B)小于阈值则匹配成功，待测图像块中存在提环，反之匹配失败，统计匹配成功的图像块数量，得到提环个数。

本发明基于结构化随机森林实现油瓶装箱图像的边缘检测，提出一种新的油瓶装箱清点方法。本发明方法通过结构化随机森林训练油瓶装箱图像，自动生成各个决策树模型，并将生成的模型应用于待检测图片，得到边缘检测图像。最后利用Hausdorff距离实现油瓶提环的模板匹配，统计边缘图中提环个数。由于本发明方法结合了训练样本的先验知识，在提取单个像素点特征的同时结合图像块的上下文信息，因此能够较好地排除瓶身纹路干扰，对不同颜色的提环、油体也有很好的自适性。实验结果表明，本发明方法能有效地实现油瓶装箱清点。

附图说明

图1为基于结构化随机森林的油瓶装箱清点方法流程图。

图2为白色提环油瓶装箱图片检测样例图，(a)为原始图像，(b)为谱残差法检测图，(c)为Laplace算子边缘检测图，(d)为Canny算子边缘检测图，(e)为本发明边缘检测图(f)为本发明检测结果图。

图3为金色提环油瓶装箱图片检测样例图，(a)为原始图像，(b)为谱残差法检测图，(c)为Laplace算子边缘检测图，(d)为Canny算子边缘检测图，(e)为本发明边缘检测图(f)为本发明检测结果图。

具体实施方式

本发明公开了一种基于结构化随机森林的油瓶装箱清点方法，具体实施方式如下：

1、特征提取，提取图像特征。

本发明针对油瓶提环图像进行，读入训练样本图像，包括图像本身以及其对应的真实边缘图，通过步长为2的滑动窗口将样本图像分割成16*16的图像块，采用这个数值能在计算速度和检测精度之间取得良好的平衡，提取图像块特征，得到相对应的样本特征集X和真实边缘标签集Y。特征集X和标签集Y的具体生成方法为：对训练集图像中一个16*16的块，提取特征数据x(i,j,k)，K为特征通道数，i、j为像素点的位置，k为特征所在通道，同时将该图像块对应的真实边缘图记录为为16*16的分割掩膜y。以步长2的滑动窗口在训练集中所有图像上滑动，生成的所有特征数据x(i,j,k)组成了特征集X，所有的边缘标签y组成了标签集Y。获取特征数据x的通道包括：

a)RGB色彩空间中的三颜色通道图像

b)原始尺度和高斯滤波后(卷积核尺寸5*5，标准差σ＝1)图像块的梯度幅值图

c)梯度图在四个方向(垂直、水平、)上的梯度分量图

因此特征通道总数K＝13。每个特征数据的维度是16*16*13＝3328。

由于以上特征仅展现了单个像素点的像素值信息，无法表达像素间的位置信息，因此再增加特征描述x(i₁,j₁,k)-x(i₂,j₂,k)，i₁、j₁、i₂、j₂表示像素对的位置，k表示像素对所在通道。对每个通道图像进行三角滤波并降采样到5*5，采样所有的像素对并计算他们的像素差值，每个通道的特征数据将再增加维，最后特征数据一共是3328+300*13＝7228维。

2、空间映射，简化真实边缘标签集Y：

标签空间Y维度较大，需简化该空间才能提高检测的效率。因此，将标签集Y通过函数映射到可以直接计算欧式距离的空间Z。映射过程为：令y(j)表示y中的第j个像素值，选取两个位置j₁和j₂，若y(j₁)＝y(j₂)，则对应y的映射特征向量添加值为1的元素，否则添加值为0的元素，采样所有的点对可获得维的二进制特征向量。为降低运算量，从32640维的二进制特征向量中随机抽取m＝256维特征组成特征向量z，所有y对应的特征向量z组成特征空间Z，实现标签集Y到特征空间Z的映射。随机选择的目的在于保证决策树有充足的多样性且可提高效率。

3、训练决策树

训练决策树的过程就是对决策树中各个节点进行训练的过程，即建立决策树。对决策树中的任一给定节点q，训练集为S_q∈X×Y，训练的目标是找到当前节点***函数h(x,θ_q)的参数θ_q。x为样本特征集X的特征数据，***函数选为二进制函数：

h(x,θ_q)∈{0,1} (1)

如果h(x,θ_q)＝0则将当前样本x和对应的标签y放到左叶，否则将样本x和对应的标签y放到右叶。h(x,θ_q)的具体实现就是比较x中第k维特征的值与参数阈值τ的关系，即θ_q＝{k,τ}，为了训练参数θ_q，定义节点q***后信息增益：

其中，S_q为当前节点q上需要处理的特征总集合，为进入当前节点q左叶的特征样本集合， 为进入当前节点q右叶的特征样本集合，从x的特征维度中随机抽取l＝256个维度，遍历所有{k,τ}组并计算对应的信息增益，当前节点参数θ_q选择为使该节点信息增益最大化的那一组{k,τ}，信息增益的标准定义为：

这里的函数H(S)＝-∑_yp_ylog(p_y)为香农熵，p_y为边缘标签y在S出现的概率，计算时将S代入S_q或即可；为和中的任一特征。

对决策树中每个节点进行上述训练，得到各节点的***函数参数，当一个节点***后香农熵为0，停止***，设置该节点为结果节点，结果节点的输出为该节点数量占比最大的边缘标签。

为了简化信息增益的计算，对已经映射到Z空间的Y再做进一步的简化，利用主成分分析法将Z空间的标签向量降到1维，此时标签向量空间为离散的形式，便于信息增益的计算。

4、生成随机森林模型

重复T次步骤3,生成的T棵决策树联合形成训练好的油瓶提环检测随机森林模型，作为优选，T∈[4,6],以保证实时性。

5、集成随机森林模型

以T＝4为例，即训练4个决策树。在对整幅图像进行检测时，采用滑动窗口方法，每隔2个像素提取一个16*16的图像块，利用训练后的决策树获得当前图像块的边缘标签y，由于图像块之间有重叠，因此对每个像素点，将有8*8*4＝256个决策树构成的决策森林，每棵树的决策结果需要进行融合。最终，利用决策森林算法获得的该像素点的分类结果就是256个决策树的平均。

6、模板匹配，清点提环数量。

通过霍夫圆方法检测提环边缘图中瓶盖可能存在的位置，分割出可能存在提环的待测图像块。计算预先设好的提环标准模板图像边缘点集与待测图像块边缘点集的Hausdorff距离：

对于模板图像块中边缘点集A＝{a₁,a₂,…,a_n},待测图像块边缘点B＝{b₁,b₂,…,b_n}，则集合A到集合B的Hausdorff距离：

H(A,B)＝max(h(A,B),h(B,A)) (8)

h(A,B)和h(B,A)分别代表A集合到B集合前向和后向Hausdorff距离，其中H(A,B)小于阈值则匹配成功，待测图像块中存在提环，反之匹配失败。统计匹配成功的图像块数量，得到提环个数。即完成对油瓶装箱的清点。

图2、3为本发明实施效果图，待检测图像来源于某灌装生产线上的油瓶装箱图像数据集。图2(a)显示了数据集中的白色提环油瓶装箱图像，图2(b)、(c)、(d)，(e)分别为谱残差法、Laplace算子、Canny算子、本发明检测后的白色提环油瓶装箱边缘检测图，图2(f)为本发明白色提环油瓶装箱清点结果图。图3(a)显示了数据集中的金色提环油瓶装箱图像，图3(b)、(c)、(d)，(e)分别为谱残差法、Laplace算子、Canny算子、本发明检测后的金色提环油瓶装箱边缘检测图，图3(f)为本发明金色提环油瓶装箱清点结果图。由图2、图3可见显著性检测当瓶身纹路影响明显时，现有技术无法检出提环，基于Canny算子的方法和基于Laplace算子的方法对噪声敏感，无法排除瓶身纹路干扰，且参数需要手动设置，无法自适应地应对所有场景，例如Canny算法会带来伪边缘，同时它的两个参数需要人手动设置，不同颜色的提环，不同的打光条件下参数都不相同，实际检测时这种算法并不实用。而本发明检测结果准确，受瓶身纹路和油体颜色、提环颜色的影响较小，能够准确检测出与油瓶相关的边缘，弥补以上三种传统边缘提取方法的不足。对整个数据集的测试统计表明，无漏检、错检图像，正确率达99％，且在VS平台下平均每幅图像处理时间仅需90ms以内，本发明所提算法实现了既高正确率又高实时性的检测。

本发明提供了一种基于结构化随机森林的油瓶装箱清点方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方案。应当指出，对于本技术领域的普通人员来说，在不脱离发明原理的前提下做出的任何同等替换和改进，都应视为本发明的保护范围。另外，本实例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种基于结构化随机森林的油瓶装箱清点方法，其特征是包括以下步骤：

1)读入训练样本图像，包括油瓶装箱图像以及其对应的真实边缘图像，通过步长为2的滑动窗口将样本图像分割成16*16的图像块，提取图像块特征，由油瓶装箱图像的特征得到相样本特征集X，由真实边缘图像的特征得到真实边缘标签集Y，样本特征集X和真实边缘标签集Y相对应；

2)简化真实边缘标签集Y，将标签集Y通过函数映射到可以直接计算欧式距离的空间Z，具体为：边缘标签y组成标签集Y，令y(j)表示y中的第j个像素值，选取两个位置j₁和j₂，若y(j₁)＝y(j₂)，则对应y的映射特征向量添加值为1的元素，否则添加值为0的元素，采样y中所有的点对获得维的二进制特征向量；为降低运算量，从32640维的二进制特征向量中随机抽取m＝256维特征组成特征向量z，所有y对应的特征向量z组成特征空间Z，实现标签集Y到特征空间Z的映射；

3)训练决策树，训练决策树的过程就是对决策树中各个节点进行训练的过程，对决策树中的任一节点q，训练集为S_q∈X×Y，训练的目标是找到当前节点***函数h(x,θ_q)的参数θ_q；x为样本特征集X的特征数据，***函数选为二进制函数：

h(x,θ_q)∈{0,1} (1)

h(x,θ_q)比较x中第k维特征的值与参数阈值τ的关系，即θ_q＝{k,τ}，训练θ_q的过程就是训练τ和k的过程；

<mrow> <mi>h</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <msub> <mi>&amp;theta;</mi> <mi>q</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>0</mn> <mo>,</mo> <mi>x</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>&lt;</mo> <mi>&amp;tau;</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> <mo>,</mo> <mi>x</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>&gt;</mo> <mi>&amp;tau;</mi> </mtd> </mtr> </mtable> </mfenced> </mrow>

如果h(x,θ_q)＝0，则将当前样本x和对应的标签y放到决策树左叶，否则将样本x和对应的标签y放到右叶；

为了得到参数θ_q，定义节点q***后信息增益：

其中，S_q为当前节点q上需要处理的图像块特征总集合，为进入当前节点q左叶的特征集合， 为进入当前节点q右叶的特征集合，从x的特征维度中随机抽取l＝256个维度，遍历所有{k,τ}组并计算对应的信息增益，当前节点参数θ_q选择为使该节点信息增益最大化的那一组{k,τ}，信息增益的标准定义为：

这里的函数为香农熵，p_y为边缘标签y在S出现的概率；为和中的任一特征；

对决策树中每个节点进行上述训练，得到各节点的***函数参数，当一个节点***后香农熵为0，停止***，设置该节点为结果节点，结果节点的输出为该节点数量占比最大的边缘标签，

4)重复T次步骤3),生成的T棵决策树，联合形成训练好的油瓶提环检测随机森林模型；

5)根据训练后的随机森林模型,实现待测油瓶装箱图像的真实边缘检测，检测时，生成的决策树输入为待测图像块的特征数据x，根据特征数据x最终分配到的结果节点，输出边缘标签y，得到边缘图；

6)通过霍夫圆方法检测出步骤5)得到的边缘图中油瓶瓶盖可能存在的位置，分割出可能存在油瓶提环的待测图像块，计算预设好的提环标准模板图像块边缘点集与待测图像块边缘点集的Hausdorff距离，筛选真实提环个数，实现提环清点，即完成油瓶数量的清点。

2.根据权利要求1所述的一种基于结构化随机森林的油瓶装箱清点方法，其特征是步骤1)中特征集X和标签集Y的具体生成方法为：对训练集图像中一个16*16的块，提取特征数据x(i,j,k)，K为特征通道数，i、j为像素点的位置，k为特征所在通道，同时将该图像块对应的真实边缘图记录为为16*16的分割掩膜y，以步长2的滑动窗口在训练集中所有图像上滑动，生成的所有特征数据x(i,j,k)组成特征集X，所有的边缘标签y组成标签集Y。

3.根据权利要求2所述的一种基于结构化随机森林的油瓶装箱清点方法，其特征是获取特征数据x的通道包括：

a)RGB色彩空间中的三颜色通道图像；

b)原始尺度和高斯滤波后图像块的梯度幅值图，高斯滤波取卷积核尺寸5*5，标准差σ＝1；

c)梯度图在四个方向：垂直、水平和方向的梯度分量图；

特征通道总数K＝13，每个特征数据的维度是16*16*13＝3328；

增加特征描述x(i₁,j₁,k)-x(i₂,j₂,k)，i₁、j₁、i₂、j₂表示像素对的位置，对每个通道图像进行三角滤波并降采样到5*5，采样所有的像素对并计算它们的像素差值，每个通道的特征数据将再增加维，最后特征数据一共是3328+300*13＝7228维。

4.根据权利要求1所述的一种基于结构化随机森林的油瓶装箱清点方法，其特征是步骤3)中，为了简化信息增益的计算，在式(3)计算过程中，对已经映射到Z空间的Y再做进一步的简化，利用主成分分析法将Z空间的标签向量降到1维，此时标签向量空间为离散的形式，便于信息增益的计算。

5.根据权利要求1所述的一种基于结构化随机森林的油瓶装箱清点方法，其特征是步骤4)中T∈[4,6],以保证实时性。

6.根据权利要求1所述的一种基于结构化随机森林的油瓶装箱清点方法，其特征是步骤5)中，在对整幅图像进行检测时，采用滑动窗口方法，每隔2个像素提取一个16*16的图像块，利用训练后的决策树获得当前图像块的边缘标签y，由于图像块之间有重叠，因此对每个像素点，将有8*8*T＝64T个决策树构成的决策森林，每棵树的决策结果进行融合，最终，利用决策森林算法获得的该像素点的分类结果就是64T个决策树的平均。

7.根据权利要求1所述的一种基于结构化随机森林的油瓶装箱清点方法，其特征是步骤6)对于模板图像块中边缘点集A＝{a₁,a₂,…,a_n},待测图像块边缘点B＝{b₁,b₂,…,b_n}，则集合A到集合B的Hausdorff距离：

H(A,B)＝max(h(A,B),h(B,A)) (4)

h(A,B)和h(B,A)分别代表A集合到B集合前向和后向Hausdorff距离，其中 H(A,B)小于阈值则匹配成功，待测图像块中存在提环，反之匹配失败，统计匹配成功的图像块数量，得到提环个数。