CN113674233A - 基于人工智能的木材优选锯视觉检测方法 - Google Patents

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的木材优选锯视觉检测方法。该方法对木材的RGB图像进行检测得到多个节子的包围框，基于包围框切割对应木材上的节子位置得到初始切割特征信号序列；基于深度图像获取包围框对应的点云区域和点云数据以得到由死节系数构成的系数向量；结合初始切割特征信号序列和系数向量获取新切割特征信号序列，利用新切割特征信号序列对节子进行分类，由不同节子类型对应的节子图像训练深度神经网络以检测节子的节子类型，进而采用对应的切割方法。基于切割负载和点云特征对节子进行特征描述，实现更细致的自动化样本标注和分类，保证了深度神经网络训练的准确性，提高了优选锯优选和切割的准确率。

Description

基于人工智能的木材优选锯视觉检测方法

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的木材优选锯视觉检测方法。

背景技术

木材加工行业中，实木板材表面缺陷检测效率低、人工配料划线局限性以及优选锯切设备缺乏智能化，都导致了加工后的实木板材加工成本投入大、质量参差不齐、木材资源利用率低以及浪费严重等问题。

节子是对实木板材的质量产生影响最大的一类缺陷，也是最常见的一种缺陷。节子，即节疤，可分为活节和死节。活节的木材组织和周边木材紧密相连，没有缝隙，而死节的木材组织和周边的木材脱离，以至有时会导致整个节子脱落留下一个洞。目前的实木板材优选加工***主要以节子缺陷作为主要检测目标，通过设计锯切加工***实现对实木板材的优选。

目前的节子检测***大多使用简单的目标检测深度神经网络来实现节子位置的检测和定位，并且识别出活节和死节。由于木材的生产纹理是随机的，会导致节子的生长状态和纹理是多变的，进而使用特定物体的目标检测算法只能覆盖大多数情况，无法覆盖一些不常见的情况，例如活节中还存在一种质地硬度高的节子，该节子的主轴和树干主轴方向的夹角明显，且在进行木材的切削加工时，容易造成刀具损伤。由于该节子无法通过人工观测采集的图像来直接标注，因此导致图像数据的标注难度极大。

由于死节和硬度高的节子所对应的样本比较少，且人工无法很好区分死节和硬度高的节子，因此导致深度神经网络的样本标注难度大和标注工作量变大，进而导致优选锯***无法高准确率地实现实木板材的优选和切割。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的木材优选锯视觉检测方法，所采用的技术方案具体如下：

本发明实施例提供了一种基于人工智能的木材优选锯视觉检测方法，该方法包括以下具体步骤:

采集木材的RGB图像，获取所述RGB图像上多个节子的包围框；根据所述包围框切割对应所述木材上的节子位置以得到切割过程中的切割功率值序列，利用所述切割功率值序列获取对应所述节子的初始切割特征信号序列；

获取所述RGB图像对应的深度图像，基于所述深度图像得到所述包围框对应的点云区域和点云数据，对所述点云区域进行等距离切分得到多个点云子区域，所述点云子区域的数量和所述初始切割特征信号序列的长度相匹配；由每个点云的所述点云数据获取每个所述点云子区域的死节系数以得到对应所述点云区域的系数向量；

结合所述系数向量和所述初始切割特征信号序列得到新切割特征信号序列，根据两个所述新切割特征信号序列获取对应两个所述节子之间的余弦距离，利用所述余弦距离对所述节子进行聚类以得到多个节子类型；根据不同所述节子类型对应的节子图像训练深度神经网络；所述节子图像是根据所述包围框在所述RGB图像上截取的；

根据训练好的所述深度神经网络检测所述节子的所述节子类型以进行对应方法的切割。

优选的，所述根据所述包围框切割对应所述木材上的节子位置以得到切割过程中的切割功率值序列的方法，包括：

获取所述包围框的两个对角的坐标位置，将所述坐标位置中的两个横坐标值作为切割过程的起点和终点；根据所述坐标位置中的两个纵坐标值得到刀具的纵坐标；

在所述切割过程中，获取所述刀具出现功率变化所对应的切割功率值，以构成所述切割功率值序列。

优选的，所述利用所述切割功率值序列获取对应所述节子的初始切割特征信号序列的方法，包括：

计算所述切割功率值序列中所述切割功率值的平均值以得到基准功率；获取每个所述切割功率值的权重，由所述权重、所述基准功率和所述切割功率值得到对应的初始切割特征信号，进而构成所述初始切割特征信号序列。

优选的，所述权重的获取方法，包括：

由所述切割功率值和所述基准功率构建的数据偏离权重模型得到的；所述数据偏离权重模型为：

其中，W为所述权重；P_s为所述切割功率值；P_mean为所述基准功率。

优选的，所述由每个点云的所述点云数据获取每个所述点云子区域的死节系数的方法，包括：

获取所述点云子区域平整时Z值随Y值变化的基准曲线F_Z(Y)＝Z，结合所述基准曲线、该点云子区域中每个所述点云的y轴点云数据和z轴点云数据计算所述z轴点云数据的残差绝对值之和，将该残差绝对值之和作为所述点云子区域的死节系数。

优选的，所述结合所述系数向量和所述初始切割特征信号序列得到新切割特征信号序列的方法，包括：

将所述系数向量和所述初始切割特征信号序列中每个相对应的所述死节系数和所述初始切割特征信号相乘得到新切割特征信号，以构成所述新切割特征信号序列。

优选的，所述节子类型包括死节、正常节子和硬度大的节子，所述硬度大的节子是指节子主轴与树干主轴方向之间的夹角明显，且易造成刀具损伤。

优选的，利用最近邻插值的方式使得每个所述节子的所述初始切割特征信号序列的长度相等。

本发明实施例至少具有如下有益效果：基于切割负载和点云特征对节子进行特征描述，以实现更细致的自动化样本标注和分类，保证了深度神经网络训练的准确性，提高了优选锯优选和切割的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明实施例所提供的一种基于人工智能的木材优选锯视觉检测方法的步骤流程图；

图2为本发明实施例所提供的关于点云区域切分后点云子区域的示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的木材优选锯视觉检测方法，其具体实施方式、结构、特征及其作用，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于人工智能的木材优选锯视觉检测方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的木材优选锯视觉检测方法的步骤流程图，该方法包括以下步骤：

步骤S001，采集木材的RGB图像，获取RGB图像上多个节子的包围框；根据包围框切割对应木材上的节子位置以得到切割过程中的切割功率值序列，利用切割功率值序列获取对应节子的初始切割特征信号序列。

具体的，利用基准木材优选锯上搭载的RGBD相机采集木材的RGB图像，将RGB图像输入目标检测网络得到多个节子的包围框，实现缺陷检测时实施者使用传统的目标检测网络即可，如YOLO系列，CenterNet系列等。

需要说明的是，基准木材优选锯使用时，将木材移动至基准位置上，所述基准位置由实际工程给定，便于映射刀具和木材图像中的具***置。

获取包围框的两个对角的坐标位置，将坐标位置中的两个横坐标值作为切割过程的起点和终点，根据坐标位置中的两个纵坐标值得到刀具的纵坐标；在切割过程中，获取刀具出现功率变化所对应的切割功率值，以构成切割功率值序列。

作为一个示例，本发明实施例以一个节子的包围框进行分析来获取切割功率值序列，具体过程：

(1)获取包围框的左上角坐标(x_l，y_t)和右下角坐标(x_r，y_b)，且将木材按照RGB图像的方向自上而下垂直送入基准木材优选锯，根据左上角坐标和右下角坐标中的两个纵坐标值得到刀具的纵坐标，即根据两个纵坐标值获取包围框中心点的纵坐标

则包围框中心点的纵坐标即为刀具的纵坐标，从该位置切割意味着刀具将最大限度地经过节子。

(2)由于基准木材优选锯的刀具是自左向右切割木板的，则左上角坐标和右上角坐标中的两个横坐标值x_l和x_r分为切割过程中自左到右对应的切割起点和切割终点。

(3)由于死结是一种木材组织和周边的木材脱离的结构，因此刀具负载较小，进而电机瞬时因为负载变小而功率下降。当刀具遇到硬度加大的节子时会因刀具负载变大，导致电机转速降低，定速控制器会增大功率来提高转速，因此当刀具碰到死结时会产生低功率读数，碰到硬度较大的节子时会产生高功率读数。实施者给定预期功率波动范围，记录从切割起点x_l至切割终点x_r的切割过程中刀具出现功率变化所对应的切割功率值，以构成切割功率值序列P_s＝P_s0...P_sn，其中n为切割过程中采集功率变化值的数量，该数量与采集频率有关，且n的大小取决于切割进给量(切割速度)和采集频率。

优选的，本发明实施例中采集频率为50Hz。

进一步地，在得到切割功率值序列后，由于切割过程中容易出现刀具负载波动，为了避免后续处理的准确性，利用切割功率值序列获取对应节子的初始切割特征信号序列，该获取方法为：计算切割功率值序列中切割功率值的平均值以得到基准功率；获取每个切割功率值的权重，由权重、基准功率和切割功率值得到对应的初始切割特征信号，进而构成初始切割特征信号序列。

作为一个示例，本发明实施例中利用切割功率值序列获取对应节子的初始切割特征信号序列的具体过程如下：

(1)计算切割功率值序列中切割功率值的平均值以得到基准功率P_mean。

(2)为了进一步加强不同情况下的切割功率值的信号特征，由切割功率值和基准功率构建的数据偏离权重模型得到该切割功率值的权重，则该数据偏离权重模型为：

其中，W为权重；P_s为切割功率值；P_mean为基准功率。

需要说明的是，当切割功率值序列中任一切割功率值超过基准功率时，意味着切割过程中出现硬度大的节子，且该节子在加工过程中容易损伤刀具，一般认为刀具负载超出常规负载数倍时会发生传动轴、切割刀具等看不见的损伤，同时也会导致木板的切割料破裂，其后果较为严重，由于切割功率值序列中的切割功率值与基准功率之间是倍数关系，其灵敏度远大于死结情况，则响应值可以达到[1，5]左右，实际情况由切割设备性能而定；当切割功率值序列中任一切割功率值小于基准功率时，意味着切割过程中出现死节，该节子硬度较低，容易产生无效的木料，因此需要对此情况有一定的响应值[1，2]。

利用数据偏离权重模型获取切割功率值序列中每一个切割功率值所对应的权重，以构成权重序列，其中数据偏离权重模型将缩放偏离基准功率较小的切割功率值，且放大异常的切割功率值，相对起到降噪、提高灵敏度的作用。

(3)基于权重序列，计算初始切割特征信号序列，对于切割功率值序列P_s和权重序列所对应的第i个切割功率值，有：

其中，

为第i个切割功率值的初始切割特征信号；W_i为第i个切割功率值的权重；

为切割功率值序列中的第i个切割功率值。

获取初始切割特征信号的作用是：用过权重进一步缩放基于基准功率下的功率变化波动信号，提高硬度大的节子的灵敏度，同时区分死节。当遇到硬度大的节子时，由于刀具负载增加，初始切割特征信号序列中出现连续的负值较多；反之遇到死节时，刀具负载低于基准值，初始切割特征信号序列中出现连续的正值较多，且几乎不出现负值。

需要说明的是，由于节子大小不一，初始切割特征信号序列的样本数量也不一定一样，因此需要重采样，得到特定长度的初始切割特征信号序列，本发明实施例中初始切割特征信号序列的长度为32，无论每个节子的初始切割特征信号序列的长度是否一样，利用最近邻插值的方式将其处理为特定长度的初始切割特征信号序列

步骤S002，获取RGB图像对应的深度图像，基于深度图像得到包围框对应的点云区域和点云数据，对点云区域进行等距离切分得到多个点云子区域，点云子区域的数量和初始切割特征信号序列的长度相匹配；由每个点云的点云数据获取每个点云子区域的死节系数以得到对应点云区域的系数向量。

具体的，由于死结是一种木材组织和周边的木材脱离的结构，其表面不如常见的板材平整，因此基于测量木板的表面点云的高度变化方差可以分析死节的信息。

获取RGB图像对应的深度图像，基于深度图像得到每个节子的包围框所对应的的点云区域和点云数据，基于点云区域的x轴位置进行等距离切分，以得到如图2所示的点云子区域，其中点云子区域的数量和初始切割特征信号序列的长度相匹配，且都为32；参照附图2，点云子区域C1包含了节子对应包围框的最左边的点云数据，依此类推，点云子区域C32包含了节子对应包围框的最右边的点云数据。

对点云区域C＝{C1..C32}中的点云子区域进行逐个处理：

(1)假设死节的中心位于包围框的正中心，且为了方便理解本发明实施例以点云子区域C16为例：取点云子区域C16中每个点云的y轴点云数据Y₁₆＝{Y₁...Y_n}和z轴点云数据Z₁₆＝{Z₁...Z_n}，其中n为点云子区域C16中点云的数量。

(2)虽然相机观测木板的位姿是项视图但仍会出现倾斜，因此使用RANSAC直线拟合方法得到该点云子区域为平整时Z值随Y值变化的基准曲线F_Z(Y)＝Z。

(3)将点云子区域C16的y轴点云数据Y₁₆＝{Y₁...Y_n}代入基准曲线F_Z(Y)中，计算z轴点云数据的残差绝对值之和，将该残差绝对值之和作为点云子区域C16的死节系数R₁₆＝∑|F_Z(Y₁₆)-Z₁₆|。

(4)利用步骤(1)至步骤(3)获取点云区域C＝{C1..C32}中每个点云子区域的死节系数以构成系数向量R＝{R₁...R₃₂}，并进行极值差标准化，归一化至区间[1，2]。

步骤S003，结合系数向量和初始切割特征信号序列得到新切割特征信号序列，根据两个新切割特征信号序列获取对应两个节子之间的余弦距离，利用余弦距离对节子进行聚类以得到多个节子类型；根据不同节子类型对应的节子图像训练深度神经网络；节子图像是根据包围框在RGB图像上截取的。

具体的，考虑到遇到死节时电机近似于空转，由于刀具的角动量较大，刀具负载降低过程中有一定的滞后性，因此基于点云的感知结果而确定的死节系数可以作为刀具负载降低时的补偿，使得负载降低的特征更加明显，提高后续自动化标注样本的可靠性，故本发明实施例通过将系数向量和初始切割特征信号序列中每个相对应的死节系数和初始切割特征信号相乘得到新切割特征信号，以构成新切割特征信号序列，即

进一步地，新切割特征信号序列P_f′是一种32维的特征描述子，能够描述木材上对应节子位置切割过程中刀具的负载变化。基于新切割特征信号序列P_f′计算两个节子之间的余弦距离，即利用余弦相似度s对两个节子的新切割特征信号序列进行相似度计算，利用将余弦相似度通过余弦距离公式d＝1-s得到余弦距离d。利用余弦距离对RGB图像上的多个节子进行聚类以得到多个节子类型。

优选的，本发明实施例中节子类型包括死节、正常节子和硬度大的节子，硬度大的节子是指节子主轴与树干主轴方向之间的夹角明显，且易造成刀具损伤。

根据节子的包围框在RGB图像上进行截取得到每个节子的节子图像，利用不同节子类型对应的节子图像训练深度神经网络得到了深度神经网络的节子分类器Q，其训练过程为基于聚类后的得到的节子类型对节子进行样本标注，死节为1，正常节子为2，硬度较大的节子为3；基于标注结果，使用深度神经网络对节子图像进行分类；损失函数使用交叉熵损失函数。

步骤S004，根据训练好的深度神经网络检测节子的节子类型以进行对应方法的切割。

具体的，将节子分类器Q部署在标准木材优选锯上，标准木材优选锯和基准木材优选锯的区别在于基准木材优选锯搭载了RGBD相机，而标准木材优选锯运行了基于基准木材优选锯的数据而训练的节子分类器Q，因此只需要搭载RGB相机。

实施者调节并给定置信度阈值T，使得标准木材优选锯对节子类型的判断结果符合预期：

当节子分类器Q返回的索引值为1时，意味着出现死节，因此标准木材优选锯的切割位置应分别设定为包围框的顶端y值和底端y值，实现死结的废料切割；当节子分类器Q返回的索引值为2时，意味着出现正常节子，因此可以按照实际的切割尺寸正常切割；当节子分类器Q返回的索引值为3时，意味着出现硬度大的节子，因此可以按照死节的处理方式切割废料，或降低切割进给量，并将降低的切割进给量作为实施者预设的切割进给量，这样能够提高材料利用率并保护刀具不受损。

优选的，本发明实施例降低后的切割进给量为标准切割进给量的

需要说明的是，由于木材进料是顺着包围框的y轴方向进料的，因此将切割位置设定为包围框的顶端y值和底端y值，则包围框的顶端y值和底端y值之间的距离也即表示需要切割的木材长度。

综上所述，本发明实施例提供了一种基于人工智能的木材优选锯视觉检测方法，该方法对木材的RGB图像进行检测得到多个节子的包围框，由包围框切割对应木材上节子位置得到初始切割特征信号序列；基于深度图像获取包围框对应的点云区域和点云数据以得到由死节系数构成的系数向量；结合初始切割特征信号序列和系数向量获取新切割特征信号序列，利用新切割特征信号序列对节子进行分类，由不同节子类型对应的节子图像训练深度神经网络以检测节子的节子类型，进而采用对应的切割方法。基于切割负载和点云特征对节子进行特征描述，实现更细致的自动化样本标注和分类，保证了深度神经网络训练的准确性，提高了优选锯优选和切割的准确率。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于人工智能的木材优选锯视觉检测方法，其特征在于，该方法包括：

采集木材的RGB图像，获取所述RGB图像上多个节子的包围框；根据所述包围框切割对应所述木材上的节子位置以得到切割过程中的所述切割功率值序列，利用所述切割功率值序列获取对应所述节子的初始切割特征信号序列；

获取所述RGB图像对应的深度图像，基于所述深度图像得到所述包围框对应的点云区域和点云数据，对所述点云区域进行等距离切分得到多个点云子区域，所述点云子区域的数量和所述初始切割特征信号序列的长度相匹配；由每个点云的所述点云数据获取每个所述点云子区域的死节系数以得到对应所述点云区域的系数向量；

结合所述系数向量和所述初始切割特征信号序列得到新切割特征信号序列，根据两个所述新切割特征信号序列获取对应两个所述节子之间的余弦距离，利用所述余弦距离对所述节子进行聚类以得到多个节子类型；根据不同所述节子类型对应的节子图像训练深度神经网络；所述节子图像是根据所述包围框在所述RGB图像上截取的；

根据训练好的所述深度神经网络检测所述节子的所述节子类型以进行对应方法的切割。

2.如权利要求1所述的方法，其特征在于，所述根据所述包围框切割对应所述木材上的节子位置以得到切割过程中的切割功率值序列的方法，包括：

获取所述包围框的两个对角的坐标位置，将所述坐标位置中的两个横坐标值作为切割过程的起点和终点；根据所述坐标位置中的两个纵坐标值得到刀具的纵坐标；

在所述切割过程中，获取所述刀具出现功率变化所对应的切割功率值，以构成所述切割功率值序列。

3.如权利要求1或2所述的方法，其特征在于，所述利用所述切割功率值序列获取对应所述节子的初始切割特征信号序列的方法，包括：

计算所述切割功率值序列中所述切割功率值的平均值以得到所述基准功率；获取每个所述切割功率值的权重，由所述权重、所述基准功率和所述切割功率值得到对应的初始切割特征信号，进而构成所述初始切割特征信号序列。

4.如权利要求3所述的方法，其特征在于，所述权重的获取方法，包括：

由所述切割功率值和所述基准功率构建的数据偏离权重模型得到的；所述数据偏离权重模型为：

其中，W为所述权重；P_s为所述切割功率值；P_mean为所述基准功率。

5.如权利要求1所述的方法，其特征在于，所述由每个点云的所述点云数据获取每个所述点云子区域的死节系数的方法，包括：

获取所述点云子区域平整时Z值随Y值变化的基准曲线F_Z(Y)＝Z，结合所述基准曲线、该点云子区域中每个所述点云的y轴点云数据和z轴点云数据计算所述z轴点云数据的残差绝对值之和，将该残差绝对值之和作为所述点云子区域的死节系数。

6.如权利要求1所述的方法，其特征在于，所述结合所述系数向量和所述初始切割特征信号序列得到新切割特征信号序列的方法，包括：

将所述系数向量和所述初始切割特征信号序列中每个相对应的所述死节系数和所述初始切割特征信号相乘得到新切割特征信号，以构成所述新切割特征信号序列。

7.如权利要求1所述的方法，其特征在于，所述节子类型包括死节、正常节子和硬度大的节子，所述硬度大的节子是指节子主轴与树干主轴方向之间的夹角明显，且易造成刀具损伤。

8.如权利要求1所述的方法，其特征在于，利用最近邻插值的方式使得每个所述节子的所述初始切割特征信号序列的长度相等。

Images