CN113192058A - 一种基于计算机视觉的砖垛智能装车***及其装车方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的砖垛智能装车***及其装车方法，包括图像采集模块、视觉识别模块、控制模块、执行模块。图像采集模块通过工业相机采集砖垛和车厢的实时图像，通过采集的图像，视觉识别模块获取砖垛和车厢的位姿信息，控制模块处理实时的位姿信息，控制执行模块逐层抓取砖垛放置到货车车厢中。本发明通过视觉识别模块对砖垛和车厢位置进行精准识别，控制执行模块逐层将砖垛抓取放置到车厢的预定位置，该方法解决了现有技术中以人工进行砖垛的搬运装车时，存在效率低下、装车成本高、工人劳动强度大的问题。

Description

一种基于计算机视觉的砖垛智能装车***及其装车方法

技术领域

本发明涉及砖垛运输领域，尤其是一种基于计算机视觉的砖垛智能装车***及其装车方法。

技术背景

砖块经砖窑烧制完后需进行装车，由于砖块在烧制过程中因高温气流的影响会发生一定角度的偏移,一些砖块位姿发生变化,导致传统自动化设备无法对其进行准确抓取完成装车任务,目前主要是通过人工方式进行卸砖和装车。在卸砖过程中存在劳动强度大、高温、灰尘重等问题,严重影响劳动者的安全和健康,同时也大大降低了砖块的生产效率。

随着计算机视觉和深度学习理论的不断发展，利用工业相机，使各种工业环节的实现智能化变成现实。因此将通过计算机视觉的方法对砖垛进行识别和定位,并获取砖垛位姿信息,从而引导夹取机构对砖垛进行抓取,实现砖垛的自动化装车。

发明内容

为了消除人工进行砖垛装车过程中的安全隐患，提高砖垛装车的效率。本发明提供了一种基于计算机视觉的智能砖垛装车方法。

本发明的目的是通过以下技术方案实现的：

一种基于计算机视觉的砖垛智能装车***，包括：

图像采集模块，包括布置在砖垛上方的辅助光源和工业相机，用于实时地采集砖垛和货车车厢的图像，并将数据传输到视觉识别模块。

视觉识别模块，对采集的图像进行标注，建立训练样本集，基于深度学习算法构建视觉检测模型。训练完成后，将实时采集的图像输入视觉识别模块，获取砖垛和车厢的准确位姿信息。

控制模块，将砖垛和车厢的位姿信息，转换为PLC可识别的三维坐标信息，基于预先设计的抓取逻辑，控制执行模块逐层逐垛抓取砖垛放置到车厢中的预定位置。

执行模块，包括支撑机构、传动机构、旋转机构、升降机构、夹取机构，支撑机构上装有红外线检测器。

进一步地，所述的图像采集模块，即在支撑机构上方架设的辅助光源和工业相机，根据实时的环境光照强度，自动调节辅助光源，确保采集图像的亮度保持一致。采用高清工业相机采集砖垛和货车车厢的图像，通过GigE或USB数据线传输图像。

进一步地，所述的图像采集，在于采集各个层数(高度)的砖垛图像，以及各种位姿的车厢图像，打上标签后分类放置图像，建立初始训练样本集。

进一步地，所述的砖垛图像训练样本集构建方法，在于利用数据增强技术，对初始训练样本集进行旋转、比例缩放、裁剪、移位、颜色变换、添加噪声处理，对初始训练样本集和基于数据增强得到的砖垛图像进行分类画框标注，建立训练样本集。

进一步地，所述的深度学习算法，在于基于vgg，resnet,inception等特征提取网络，结合注意力机制与多尺度融合等优化方法，提取砖垛图像的位姿特征信息。

其中，所述的注意力机制，在于引入空间域注意力、通道注意力、混合域注意力、位置注意力等特征提取方法，重新分配特征信息的权重，优化特征提取网络。

其中，所述的多尺度融合方法，在于构建多尺度输入、多尺度特征融合、多尺度特征预测等网络结构，提高网络对于多尺度特征信息的提取能力。

进一步地，结合所述的训练样本集构建方法和特征提取网络及优化方法，将训练样本集作为输入源，建立基于YOLO和Faster RCNN等目标检测网络的视觉检测模型。

所述的视觉识别模块，在于根据实时采取的图像，获取砖垛和车厢的位姿信息，并抠取视觉检测模型中砖垛预测框的图像，训练用于砖垛层数识别的分类网络。

其中，所述的分类网络，在于基于得到的砖垛预测框的图像，提取预测框的面积、旋转矩阵长宽比、检点检测数等特征值，使用聚类、无监督学习的方法，对不同层数的砖垛图像进行分类，实现砖垛的层数识别，获取当前层砖垛的高度信息。

所述的视觉识别模块，训练完成后部署至嵌入式设备中，实现砖垛和车厢位置信息检测功能的分布式部署。

进一步地，所述的控制模块，定义支撑机构的左上角为执行模块抓取动作的坐标原点，并将基于视觉识别模块获取的砖垛和车厢的位姿信息，转化为PLC可识别的三维坐标信息。

所述的控制模块，基于可识别的三维坐标信息，对当前层的砖垛逐垛抓取放置到车厢的预定位置，抓完当前层的所有砖垛之后，对视觉识别模块发送基于Socket协议的通信指令，进行下一层砖垛的图像采集和位姿识别，实现砖垛的自动化装车。

进一步地，所述的执行模块，支撑机构装有红外检测器，执行模块动作时，若有人员靠近，夹取机构会自动停止抓取动作，并把报警信号传送给控制模块，确保工作人员的安全。

其中，所述的夹取机构，包括夹爪，机械手的夹取机构，通过横向和纵向传动机构、旋转机构，以及升降机构，实现夹取机构的三维定位。

本发明相应地给出了一种基于计算机视觉的砖垛智能装车方法，包括如下步骤：

步骤S1：工业相机采集砖垛和车厢的图像，将图像传输至视觉识别模块；

步骤S2：将实时采集的图像输入视觉识别模块，得到砖垛和车厢的位姿信息以及砖垛的层数；

步骤S3：控制模块将位置信息和层数转换为三维坐标信息，通过PLC控制夹取机构逐一抓取当前层的砖垛；

步骤S4：待当前层的砖垛全部抓取完成，并放置到车厢的预定位置后，控制模块对图像识别模块发送通信指令，进行下一层砖垛的图像采集。

步骤S5：待窑车的砖垛全部抓取完成，采集下一层的图像时，无砖垛被识别，或者则控制模块发送指令，当前窑车的砖垛已经全部装车。

本发明通过上述技术方案，具有以下优点：

1.本发明基于深度学习理论和计算机视觉技术，实时地获取砖垛的位姿信息，由夹取机构抓取砖垛放置到车厢的预定位置，实现了砖垛的自动化装车，降低了砖垛的装车成本，避免了人工操作时容易出现的安全隐患。

2.本发明基于深度学习的图像分类算法，通过工业相机采集的图像，实现砖垛不同层数图像的分类，识别砖垛层数(高度信息)，相对于单独使用激光雷达测算砖垛高度的方法，节约了成本。

3.本发明相对于人工和其他半自动化的砖垛装车方法，更加精准和高效，节约了装车的时间，提高了砖垛的生产效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1为本发明方法流程示意图；

图2为本发明构建视觉检测模型的方法示意图；

图3为本发明砖垛目标检测的方法示意图；

图4位本发明智能砖垛装车装置的结构示意图。

具体实施方式

为了便于理解本申请，下面将结合附图和具体实施方式详细说明本发明，所描述的实施例是本发明一部分的实施例，而不是全部的实施例也不应该理解成对本发明限制。

如图4所示，一种基于计算机视觉的砖垛智能装车***，在一个优选的实施例中，辅助光源1距地面高度为6.5米，可以是高亮度LED光源板，尺寸为400cm*300cm；工业相机2距地面高度为6.2米，可以是分辨率为2000万像素的彩色工业相机；传动机构3距地面高度为4.8米，可以是速度为0.5m/s步进电机驱动的横缸；升降机构4可以是速度为0.3m/s交流伺服电机驱动的纵缸；夹取机构5可以是闭合速度1m/s，夹取负载为50kg以上的机械夹爪；旋转机构6可以是转动角度为320°的步进电机驱动的旋转缸；还包括支撑机构7和嵌入式智能砖垛装车平台8，嵌入式智能砖垛装车平台8可以是具有高算力、可用于实时目标检测的智能平台。

如图1所示，本发明公开了一种基于计算机视觉的砖垛智能装车方法，通过工业相机2采集砖垛和车厢的实时图像，视觉识别模块获取砖垛和车厢的位姿信息，控制模块处理实时的位姿信息，控制执行模块逐层抓取砖垛放置到货车车厢中。各部分按照如下步骤进行：

步骤S1：装置启动后，开启红外线检测，全程监控是否有工作人员误闯，若有，则将报警指令传至控制模块，并关闭装置；

步骤S2：若无工作人员闯入，工业相机2试采集图像。根据图像处理技术，计算试采集图像的平均亮度，判断图像的亮度是否在预设定的数值范围，若不在，则自动调节光照强度，确保采集图像的亮度保持一致；

步骤S3：若采集图像的亮度数值在预设定的区间，工业相机2采集砖垛和车厢的实时图像，并将图像输入视觉识别模块；

步骤S4：基于输入的图像，视觉识别模块判断图像中是否存在砖垛，若不存在，关闭装置；

步骤S5：若视觉识别模块识别存在砖垛，则识别砖垛和车厢的位姿信息，以及当前砖垛的层数(即高度信息)，并将其发送至控制模块；

步骤S6：控制模块将提取到的位姿和高度信息，基于PLC中定义的原点坐标，转化为三维坐标信息；

步骤S7：PLC将三维坐标信息发送给夹取机构5，夹取机构5按照坐标信息移动到砖垛位置；

步骤S8：夹取机构5抓取砖垛放置到车厢的预定位置，从车厢的左上角开始放置，从左向右放置，从上向下平铺放置；

步骤S9：逐垛抓取当前层的所有砖垛，依次放置到车厢的预定位置；

步骤S10：抓取完成后，发送指令至控制模块，继续采集下一层的砖垛图像，并识别抓取；

如图2所示，建立视觉检测模型的方法示意图，在一个优选的实施例中，按照以下步骤进行:

步骤S1：采集第1层至第15层的砖垛图像，分辨率为5072*3098，每一层采集50张，打上标签后分类放置，组成原始训练数据集；

步骤S2：对原始训练数据集进行数据增强，采用旋转、比例缩放、裁剪、移位、颜色变换、添加噪声等处理方法，将原始的数据集扩大10倍，对原始训练数据集和基于数据增强得到的砖垛图像进行分类画框标注，建立训练样本集；

步骤S3：对训练样本集中的图像进行resize操作，形成多尺度的输入图像；

步骤S4：将多尺度的图像输入到resnet151主干网络中，首先，训练集的图像逐批次地输入卷积层，进行特征提取；

步骤S5：将基于卷积层提取到的特征，输入到池化层，进行全局平均池化，得到1*1*Channel的特征张量T1；

步骤S6：将得到的特征张量T1输入到全连接层，压缩通道数，进行降维，然后接入ReLU函数，最后输入全连接层，恢复原始的维度，得到特征向量T2；

步骤S7：将得到的特征张量T2，接入sigmoid函数，生成通道间的权重值，乘上原始的输入特征，得到基于通道注意力的特征信息；

步骤S8：最后采用多个尺度的预测结果进行平局值融合；

步骤S9：基于YOLOv3目标检测网络框架进行训练，训练完成后得到目标检测网络模型和训练样本集中目标的定位与识别情况；

步骤S10：将训练后的目标视觉检测模型，布置到嵌入式模型中，建立视觉检测模型；

如图3所示，砖垛目标检测的方法示意图，在一个优选的实施例中，按照以下步骤进行:

步骤S1：输入工业相机采集的图像，通过滤波降噪、形态学运算、对比度拉伸、图像增强等方式对输入图像进行预处理；

步骤S2：将预处理后的图像，输入视觉识别模块，进行砖垛和车厢的目标检测，获取预测框。

步骤S3：提取砖垛和车厢预测框左上角和右下角的坐标，通过计算，转化为预测框的中点坐标；

步骤S4：抠取预测框的图像，输入用于砖垛层数识别的分类网络，得到砖垛的当前层数，乘上一块砖垛的高度(12cm)，加上窑车的底座高度(110cm)，得到当前层砖垛的高度；

步骤S5：将视觉识别模块中提取的预测框中心坐标和砖垛高度，基于PLC中定义的原点坐标，转化为三维坐标信息；

值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

说明书中所列举的实施例方案，只是为了帮助读者理解本发明的原理以及阐述本发明所具有的优势，并不代表已经达到了最优化情况，本领域的技术人员可以通过对本发明的各项参数进行优化来得到更好的效果。本领域技术人员应当理解在本发明的基础上所做出的各种可能的等同替换和改变，均属于本发明申请保护的范围。

Claims (9)

1.一种基于计算机视觉的砖垛智能装车***，其特征在于，包括：

图像采集模块，包括布置在砖垛上方的辅助光源和工业相机，用于实时地采集砖垛和货车车厢的图像，并将数据传输到视觉识别模块；

视觉识别模块，将实时采集的图像输入视觉识别模块，获取砖垛和车厢的准确位姿信息；

控制模块，将砖垛和车厢的位姿信息，转换为PLC可识别的三维坐标信息，基于预先设计的抓取逻辑，控制执行模块逐层逐垛抓取砖垛放置到车厢中的预定位置；

执行模块，包括支撑机构、传动机构、旋转机构、升降机构、夹取机构，支撑机构上装有红外线检测器。

2.根据权利要求1所述的一种基于计算机视觉的砖垛智能装车***，其特征在于，图像采集模块的辅助光源和工业相机架设在支撑机构上方，根据实时的环境光照强度，自动调节辅助光源；采用高清工业相机采集砖垛和货车车厢的图像，通过GigE或USB数据线传输图像。

3.一种基于计算机视觉的砖垛智能装车方法，其特征在于，采用权利要求1到2所述的基于计算机视觉的砖垛智能装车***，包括以下步骤：

步骤S1：工业相机采集砖垛和车厢的图像，将图像传输至视觉识别模块；

步骤S2：将实时采集的图像输入视觉识别模块，得到砖垛和车厢的位姿信息以及砖垛的层数；

步骤S3：控制模块将位置信息和层数转换为三维坐标信息，通过PLC控制夹取机构逐一抓取当前层的砖垛；

步骤S4：待当前层的砖垛全部抓取完成，并放置到车厢的预定位置后，控制模块对图像识别模块发送通信指令，进行下一层砖垛的图像采集；

步骤S5：待窑车的砖垛全部抓取完成，采集下一层的图像时，无砖垛被识别，则控制模块发送指令，当前窑车的砖垛已经全部装车。

4.根据权利要求3所述的一种基于计算机视觉的砖垛智能装车方法，其特征在于，所述的视觉识别模块，首先对采集的图像进行标注，建立训练样本集，基于深度学习算法构建视觉检测模型；

所述的训练样本集的构建方法，利用数据增强技术，扩充训练样本集的多样性，增加目标检测模型的鲁棒性；结合特征提取网络及优化方法，将训练样本集作为输入源，建立视觉检测模型。

5.根据权利要求4所述的一种基于计算机视觉的砖垛智能装车方法，其特征在于，所述的训练样本集，利用数据增强技术，对采集到的图像进行旋转、比例缩放、裁剪、移位、颜色变换、添加噪声处理，对采集和基于数据增强得到的砖垛图像进行分类画框标注，建立训练样本集。

6.根据权利要求4所述的一种基于计算机视觉的砖垛智能装车方法，其特征在于，所述的所述的深度学习算法，包括特征提取网络，结合注意力机制与多尺度融合优化方法，提取砖垛图像的位姿特征信息；

所述的注意力机制，包括空间域注意力、通道注意力、混合域注意力、位置注意力特征提取方法，重新分配特征信息的权重，优化特征提取网络；

所述的多尺度融合方法，包括多尺度输入、多尺度特征融合、多尺度特征预测网络结构，提高网络对于多尺度特征信息的提取能力。

7.根据权利要求4所述的一种基于计算机视觉的砖垛智能装车方法，其特征在于，所述的视觉识别模块，根据实时采取的图像，获取砖垛和车厢的位姿信息，并抠取视觉检测模型中砖垛预测框的图像，训练用于砖垛层数识别的分类网络；

所述的分类网络，基于得到的砖垛预测框的图像，提取预测框的面积、旋转矩阵长宽比、检点检测数特征值，使用聚类、无监督学习的方法，对不同层数的砖垛图像进行分类，实现砖垛的层数识别，获取当前层砖垛的高度信息。

8.根据权利要求3所述的一种基于计算机视觉的砖垛智能装车方法，其特征在于，所述的控制模块定义一个点为执行模块抓取动作的坐标原点，并将基于视觉识别模块获取的砖垛和车厢的位姿信息，转化为PLC可识别的三维坐标信息；

基于可识别的三维坐标信息，对当前层的砖垛逐垛抓取放置到车厢的预定位置，抓完当前层的所有砖垛之后，对视觉识别模块发送包括基于Socket协议的通信指令，进行下一层砖垛的图像采集和位姿识别。

9.根据权利要求3所述的一种基于计算机视觉的砖垛智能装车方法，其特征在于，所述的执行模块动作时，若有人员靠近，夹取机构会自动停止抓取动作，并把报警信号传送给控制模块。

Images