CN109108966B - 一种基于视觉识别的钢筋网片抓取控制方法 - Google Patents

Abstract

本发明涉及一种基于视觉识别的钢筋网片抓取控制方法，包括如下步骤：(1)图像获取以及图像处理；(2)物料特征的提取：从步骤(1)中采集并经图像处理的物料图像中将包括钢筋网片的整体尺寸、网格的尺寸、是否开孔、若开孔，孔的尺寸以及钢筋的粗细的物料特征进行提取；(3)特征的匹配；(4)空间定位；(5)抓取机构的移动及钢筋网片的抓取。本发明通过对待抓取的钢筋网片进行视觉识别，对采集的图像进行特征解析，根据解析出来的指令进行相应的夹取搬运释放，可实现了钢筋网片智能、自动化的转运和上线，节省钢筋网片转运时间，减少搬运过程中某些不确定的伤害，节省了人力成本，提高了生产效率。

Description

一种基于视觉识别的钢筋网片抓取控制方法

技术领域

本发明属于建筑机械自动化技术领域，具体涉及一种基于视觉识别的钢筋网片抓取控制方法。

背景技术

在房屋建筑PC预制构件行业，现有钢筋网片，在生产完毕后均采用了人工操作起吊装置将网片吊装运走，或者堆放，或者将其吊装上预制构件生产线。这种搬运吊装往往需要两人来完成相应的工作，并且人工吊装需要更长的时间进行吊勾，在搬运的过程中如果不采用工装，则需要注意网片的弯曲情况，之后还要保证上到预制构件台模线上的时候能够更快更好的将网片放入到构件边模之中，而人工吊装存在着各种不稳定因素，如摇晃，网片不平整，下落定位精度不高，需要重新二次定位等等。作为存储方式多以放置于地面上为主，这样则造成的更大的占地面积，浪费了空间资源，同时由于自动化程度低，工序中人工多次的参与，造成了一次性入模精度低。

另外，在目前钢筋加工行业中，加工好的钢筋网片在存放时并无标签，而在使用时，均采取人工量尺、选择、判断、搬运操作等情况。而这种采用人工参与过程往往增加了对所需部件的选择的周期，同样采用人工搬运也增加了人工劳力的付出，也存在着一定的风险性。

综上所述，亟需提供一种能够智能识别，可降低人工成本，实现自动化运输并提高生产效率的基于视觉识别的钢筋网片抓取控制方法。

发明内容

本发明的目的是提供一种能够智能识别，可降低人工成本，实现自动化运输并提高生产效率的基于视觉识别的钢筋网片抓取控制方法。

上述目的是通过如下技术方案实现：一种基于视觉识别的钢筋网片抓取控制方法，包括如下步骤：

（1）图像获取以及图像处理：获取待抓取物料的图像并进行存储分析以及预处理；

（2）物料特征的提取：从步骤（1）中采集并经图像处理的物料图像中将包括钢筋网片的整体尺寸、网格的尺寸、是否开孔、若开孔，孔的尺寸以及钢筋的粗细的物料特征进行提取；

（3）特征的匹配：将步骤（2）中提取的物料特征与预存的基准物料特征数据进行比较判断；如果步骤（2）中提取的物料特征与预存的基准物料特征数据不匹配则返回至（1）继续采集图像，直至采集到的图像中提取的物料特征与预存的基准物料特征数据相匹配；

（4）空间定位：将提取的物料特征在图像采集器的物理坐标系中的坐标换算为世界坐标系中的坐标，并根据抓取机构的抓取特点生成有效的抓取坐标参数，将所述抓取坐标参数作为控制命令发送至抓取机构；

（5）抓取机构的移动及钢筋网片的抓取：抓取机构接收步骤（4）中的控制命令移动至抓取坐标位点进行钢筋网片的抓取。

本发明通过对待抓取的钢筋网片进行视觉识别，对采集的图像进行特征解析，根据解析出来的指令进行相应的夹取搬运释放，可实现了钢筋网片智能、自动化的转运和上线，节省钢筋网片转运时间，减少搬运过程中某些不确定的伤害，节省了人力成本，提高了生产效率。

作为优选，进一步的技术方案是：所述抓取机构至少包括夹爪，所述夹爪包括第一爪齿和第二爪齿，所述步骤（4）中所述的抓取机构的抓取特点为抓取过程中所述第一爪齿和第二爪齿伸入钢筋网片相邻设置的网格内。如此，保证第一爪齿和第二爪齿合拢时能够抓取到钢筋，防止夹爪的抓空，保证夹爪的对钢筋网片的抓取效率，并以此作为基础点，通过控制***进行计算其抓取目标坐标。

作为优选，进一步的技术方案是：所述步骤（1）中通过视觉识别机构获取待抓取物料的图像，所述步骤（2）~（4）中通过控制***实现上述操作，所述步骤（1）前包括世界坐标系以及图像采集器的物理坐标系的建立的步骤，所述视觉识别机构包括第一图像采集器和第二图像采集器，所述第一图像采集器和第二图像采集器，通过对第一图像采集器和第二图像采集器的坐标参数标定，形成两个图像采集器的相对位置关系，将此坐标关系输入到控制***中形成两个图像采集器的物理标定，构造所述图像采集器的物理坐标系；指定抓取机构的预定位置为坐标原点建立世界坐标系。如此，通过对两个图像采集器的坐标参数标定，形成两个图像采集器的相对位置关系，将此坐标关系输入到控制***中形成两个图像采集器的物理标定，能够更加准确的确定物料的物理位置。

作为优选，进一步的技术方案是：所述步骤（1）前先将基准物料特征输入所述控制***，其中输入的基准物料特征包括在物理坐标系中的两个坐标方向上存在至少两个连续的小网格形成的具有等齐边缘特征的片状物体、具有在两个正交方向上的连续的跨过至少两个连接网格的等直径直线物体、钢筋网片用钢筋直径尺寸族表、网格间距倍数模数、是否在连续的网格特征下连续缺失至少一定数量以上的网格以此确定是否该网片存在开孔状态，若存在则证明存在网片开孔的状态。

作为优选，进一步的技术方案是：所述抓取机构包括夹具架、升降机构、行走平台、纵向驱动件、横向驱动件和运输支架，所述运输支架设有横向轨道，所述夹具架上并排设有多组抓取夹具，所述升降机构可带动所述抓取夹具进行竖向运动，所述夹具架通过升降机构与所述行走平台相连，所述行走平台设有纵向轨道，所述夹具架可沿纵向轨道运动，所述行走平台设置在所述运输支架上并可沿所述横向轨道运动，所述纵向驱动件、横向驱动件与电连；所述步骤（4）和步骤（5）中所述控制***控制纵向驱动件和横向驱动件分别驱动所述升降机构沿纵向轨道运动和所述行走平台沿所述横向轨道运动。

作为优选，进一步的技术方案是：所述升降机构包括固定件、竖向轨道和竖向驱动件，所述夹具架与所述竖向轨道相连，所述固定件与所述纵向轨道滑动连接，所述竖向轨道设有齿条，所述竖向驱动件固定在所述固定件上，所述竖向驱动件的输出轴设有齿轮，所述齿轮与所述齿条啮合，所述竖向驱动件与所述控制***信号连接，所述步骤（4）和步骤（5）中控制***控制竖向驱动件驱动所述竖向轨道相对所述齿轮运动，进而带动夹具架竖向运动。

作为优选，进一步的技术方案是：所述抓取夹具包括夹爪轨道、夹爪、夹爪开合驱动件、活动限位板和限位驱动件，所述夹爪包括第一爪齿和第二爪齿，所述第一爪齿和第二爪齿的一端在夹爪开合驱动件的驱动下沿所述夹爪轨道移动并可实现夹爪的开合，所述活动限位板与所述限位驱动件相连，所述限位驱动件可驱动所述活动限位板竖向运动，所述活动限位板设置在所述夹爪底端的上部；所述夹爪开合驱动件、限位驱动件与所述控制***信号连接，所述步骤（5）中所述抓取夹具移动至抓取坐标位点后，所述控制***控制夹爪开合驱动件驱动夹爪打开抓取钢筋网片，然后控制夹爪开合驱动件驱动夹爪闭合，再控制限位驱动件驱动所述活动限位板向下运动以压住或减小钢筋网片上下活动空间。如此，保证能够使得被夹物体更加稳定，防止夹取的钢筋网片在运输过程中脱落，造成意外事故。

作为优选，进一步的技术方案是：所述夹具架与所述竖向轨道转动连接，所述步骤（4）和步骤（5）中控制***可控制转动驱动件驱动所述夹具架相对竖向轨道在水平面转动，并使得所述夹爪与钢筋网片网格的钢筋正交。由于抓取机构上并排设有多个夹爪，夹爪与钢筋网片网格的钢筋正交，如此，保证对个夹爪均能准确抓取钢筋，提高抓取率。

作为优选，进一步的技术方案是：所述步骤（1）中图像处理包括图像预处理以及图像分割处理，所述图像处理实现图像的滤波、去噪、平滑以及将目标图像与背景图像的相分割，所述步骤（2）中基于hough变换、几何属性、最小二乘法提取物料特征参数。

作为优选，进一步的技术方案是：所述步骤（5）后，所述控制***发送控制命令至抓取机构，所述抓取机构接收控制命令移动至目标坐标并将钢筋网片释放完成钢筋网片的转运或上线。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明一种实施方式所涉及的基于视觉识别的钢筋网片抓取控制方法的控制流程示意图；

图2为本发明一种实施方式所涉及的采集的图像的处理分析的控制流程示意图；

图3为本发明一种实施方式所涉及的钢筋网片抓取装置的结构示意图；

图4为图3中所涉及的A部的放大结构示意图；

图5为图3中所涉及的B部的放大结构示意图；

图6为本发明一种实施方式所涉及的钢筋网片抓取装置的俯视图；

图7为本发明一种实施方式所涉及的钢筋网片抓取装置的侧视图。

图中：

1夹爪 2第一爪齿 3第二爪齿 4夹具架

5升降机构 6行走平台 7纵向轨道 8横向轨道

9竖向轨道 10固定件 11竖向驱动件 12齿轮

13齿条 14夹爪轨道 15夹爪开合驱动件 16活动限位板

17限位驱动件 18转动驱动件 19纵向驱动件 20横向驱动件

21运输支架 22第一图像采集器 23第二图像采集器 24无影闪光光源

具体实施方式

下面结合附图对本发明进行详细描述，本部分的描述仅是示范性和解释性，不应对本发明的保护范围有任何的限制作用。此外，本领域技术人员根据本文件的描述，可以对本文件中实施例中以及不同实施例中的特征进行相应组合。

本发明实施例如下，如图1，一种基于视觉识别的钢筋网片抓取控制方法，包括如下步骤：

（1）图像获取以及图像处理：获取待抓取物料的图像并进行存储分析以及预处理；

（2）物料特征的提取：从步骤（1）中采集并经图像处理的物料图像中将包括钢筋网片的整体尺寸、网格的尺寸、是否开孔、若开孔，孔的尺寸以及钢筋的粗细的物料特征进行提取；

（3）特征的匹配：将步骤（2）中提取的物料特征与预存的基准物料特征数据进行比较判断；如果步骤（2）中提取的物料特征与预存的基准物料特征数据不匹配则返回至（1）继续采集图像，直至采集到的图像中提取的物料特征与预存的基准物料特征数据相匹配；

（4）空间定位：将提取的物料特征在图像采集器的物理坐标系中的坐标换算为世界坐标系中的坐标，并根据抓取机构的抓取特点生成有效的抓取坐标参数，将所述抓取坐标参数作为控制命令发送至抓取机构；

（5）抓取机构的移动及钢筋网片的抓取：抓取机构接收步骤（4）中的控制命令移动至抓取坐标位点进行钢筋网片的抓取。

本发明通过对待抓取的钢筋网片进行视觉识别，对采集的图像进行特征解析，根据解析出来的指令进行相应的夹取搬运释放，可实现了钢筋网片智能、自动化的转运和上线，节省钢筋网片转运时间，减少搬运过程中某些不确定的伤害，节省了人力成本，提高了生产效率。

在上述实施例的基础上，本发明另一实施例中，如图1和图4，所述抓取机构至少包括夹爪1，所述夹爪1包括第一爪齿2和第二爪齿3，所述步骤（4）中所述的抓取机构的抓取特点为抓取过程中所述第一爪齿2和第二爪齿3伸入钢筋网片相邻设置的网格内。如此，保证第一爪齿2和第二爪齿3合拢时能够抓取到钢筋，防止夹爪1的抓空，保证夹爪1的对钢筋网片的抓取效率，并以此作为基础点，通过控制***进行计算其抓取目标坐标。

在上述实施例的基础上，本发明另一实施例中，如图6，所述步骤（1）中通过视觉识别机构获取待抓取物料的图像，所述步骤（2）~（4）中通过控制***实现上述操作，所述步骤（1）前包括世界坐标系以及图像采集器的物理坐标系的建立的步骤，所述视觉识别机构包括第一图像采集器22和第二图像采集器23，所述第一图像采集器22和第二图像采集器23，通过对第一图像采集器22和第二图像采集器23的坐标参数标定，形成两个图像采集器的相对位置关系，将此坐标关系输入到控制***中形成两个图像采集器的物理标定，构造所述图像采集器的物理坐标系；指定抓取机构的预定位置为坐标原点建立世界坐标系。如此，通过对两个图像采集器的坐标参数标定，形成两个图像采集器的相对位置关系，将此坐标关系输入到控制***中形成两个图像采集器的物理标定，能够更加准确的确定物料的物理位置。

无影闪光光源24安装在夹具架4底部，闪光功能根据光线的变化对其功能自动启动。图像采集器与无影闪光光源24均与控制器连接，根据图像采集需求进行相应的闪光判断进行闪光摄像。

在上述实施例的基础上，本发明另一实施例中，所述步骤（1）前先将基准物料特征输入所述控制***，其中输入的基准物料特征包括在物理坐标系中的两个坐标方向上存在至少两个连续的小网格形成的具有等齐边缘特征的片状物体、具有在两个正交方向上的连续的跨过至少两个连接网格的等直径直线物体、钢筋网片用钢筋直径尺寸族表、网格间距倍数模数、是否在连续的网格特征下连续缺失至少一定数量以上的网格以此确定是否该网片存在开孔状态，若存在则证明存在网片开孔的状态。

在上述实施例的基础上，本发明另一实施例中，如图3~5，所述抓取机构包括夹具架4、升降机构5、行走平台6、纵向驱动件19、横向驱动件20和运输支架21，所述运输支架21设有横向轨道8，所述夹具架4上并排设有多组抓取夹具，所述升降机构5可带动所述抓取夹具进行竖向运动，所述夹具架4通过升降机构5与所述行走平台6相连，所述行走平台6设有纵向轨道7，所述夹具架4可沿纵向轨道7运动，所述行走平台6设置在所述运输支架21上并可沿所述横向轨道8运动，所述纵向驱动件19、横向驱动件20与电连；所述步骤（4）和步骤（5）中所述控制***控制纵向驱动件19和横向驱动件20分别驱动所述升降机构5沿纵向轨道7运动和所述行走平台6沿所述横向轨道8运动。

在上述实施例的基础上，本发明另一实施例中，如图3~7，所述升降机构5包括固定件10、竖向轨道9和竖向驱动件11，所述夹具架4与所述竖向轨道9相连，所述固定件10与所述纵向轨道7滑动连接，所述竖向轨道9设有齿条13，所述竖向驱动件11固定在所述固定件10上，所述竖向驱动件11的输出轴设有齿轮12，所述齿轮12与所述齿条13啮合，所述竖向驱动件11与所述控制***信号连接，所述步骤（4）和步骤（5）中控制***控制竖向驱动件11驱动所述竖向轨道9相对所述齿轮12运动，进而带动夹具架4竖向运动。

在上述实施例的基础上，本发明另一实施例中，如图4，所述抓取夹具包括夹爪轨道14、夹爪1、夹爪开合驱动件15、活动限位板16和限位驱动件17，所述夹爪1包括第一爪齿2和第二爪齿3，所述第一爪齿2和第二爪齿3的一端在夹爪开合驱动件15的驱动下沿所述夹爪轨道14移动并可实现夹爪1的开合，所述活动限位板16与所述限位驱动件17相连，所述限位驱动件17可驱动所述活动限位板16竖向运动，所述活动限位板16设置在所述夹爪1底端的上部；所述夹爪开合驱动件15、限位驱动件17与所述控制***信号连接，所述步骤（5）中所述抓取夹具移动至抓取坐标位点后，所述控制***控制夹爪开合驱动件15驱动夹爪1打开抓取钢筋网片，然后控制夹爪开合驱动件15驱动夹爪1闭合，再控制限位驱动件17驱动所述活动限位板16向下运动以压住或减小钢筋网片上下活动空间。如此，保证能够使得被夹物体更加稳定，防止夹取的钢筋网片在运输过程中脱落，造成意外事故。

在上述实施例的基础上，本发明另一实施例中，如图7，所述夹具架4与所述竖向轨道9转动连接，所述步骤（4）和步骤（5）中控制***可控制转动驱动件18驱动所述夹具架4相对竖向轨道9在水平面转动，并使得所述夹爪1与钢筋网片网格的钢筋正交。由于抓取机构上并排设有多个夹爪1，夹爪1与钢筋网片网格的钢筋正交，如此，保证对个夹爪1均能准确抓取钢筋，提高抓取率。

在上述实施例的基础上，本发明另一实施例中，如图2，所述步骤（1）中图像处理包括图像预处理以及图像分割处理，所述图像处理实现图像的滤波、去噪、平滑以及将目标图像与背景图像的相分割，所述步骤（2）中基于hough变换、几何属性、最小二乘法提取物料特征参数。

在上述实施例的基础上，本发明另一实施例中，所述步骤（5）后，所述控制***发送控制命令至抓取机构，所述抓取机构接收控制命令移动至目标坐标并将钢筋网片释放完成钢筋网片的转运或上线。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于视觉识别的钢筋网片抓取控制方法，其特征在于，包括如下步骤：

（1）图像获取以及图像处理：获取待抓取物料的图像并进行存储分析以及预处理；

（2）物料特征的提取：从步骤（1）中采集并经图像处理的物料图像中将包括钢筋网片的整体尺寸、网格的尺寸、是否开孔、若开孔，孔的尺寸以及钢筋的粗细的物料特征进行提取；

（3）特征的匹配：将步骤（2）中提取的物料特征与预存的基准物料特征数据进行比较判断；如果步骤（2）中提取的物料特征与预存的基准物料特征数据不匹配则返回至（1）继续采集图像，直至采集到的图像中提取的物料特征与预存的基准物料特征数据相匹配；

（4）空间定位：将提取的物料特征在图像采集器的物理坐标系中的坐标换算为世界坐标系中的坐标，并根据抓取机构的抓取特点生成有效的抓取坐标参数，将所述抓取坐标参数作为控制命令发送至抓取机构；

（5）抓取机构的移动及钢筋网片的抓取：抓取机构接收步骤（4）中的控制命令移动至抓取坐标位点进行钢筋网片的抓取；

其中，所述抓取机构包括夹具架、升降机构、行走平台、纵向驱动件、横向驱动件和运输支架，所述运输支架设有横向轨道，所述夹具架上并排设有多组抓取夹具，所述升降机构可带动所述抓取夹具进行竖向运动，所述夹具架通过升降机构与所述行走平台相连，所述行走平台设有纵向轨道，所述夹具架可沿纵向轨道运动，所述行走平台设置在所述运输支架上并可沿所述横向轨道运动，所述纵向驱动件、横向驱动件与电连；所述步骤（4）和步骤（5）中控制***控制纵向驱动件和横向驱动件分别驱动所述升降机构沿纵向轨道运动和所述行走平台沿所述横向轨道运动；所述抓取夹具包括夹爪轨道、夹爪、夹爪开合驱动件、活动限位板和限位驱动件，所述夹爪包括第一爪齿和第二爪齿，所述第一爪齿和第二爪齿的一端在夹爪开合驱动件的驱动下沿所述夹爪轨道移动并可实现夹爪的开合，所述活动限位板与所述限位驱动件相连，所述限位驱动件可驱动所述活动限位板竖向运动，所述活动限位板设置在所述夹爪底端的上部；所述夹爪开合驱动件、限位驱动件与所述控制***信号连接，所述步骤（5）中所述抓取夹具移动至抓取坐标位点后，所述控制***控制夹爪开合驱动件驱动夹爪打开抓取钢筋网片，然后控制夹爪开合驱动件驱动夹爪闭合，再控制限位驱动件驱动所述活动限位板向下运动以压住或减小钢筋网片上下活动空间。

2.根据权利要求1所述的基于视觉识别的钢筋网片抓取控制方法，其特征在于，所述抓取机构至少包括夹爪，所述夹爪包括第一爪齿和第二爪齿，所述步骤（4）中所述的抓取机构的抓取特点为抓取过程中所述第一爪齿和第二爪齿伸入钢筋网片相邻设置的网格内。

3.根据权利要求2所述的基于视觉识别的钢筋网片抓取控制方法，其特征在于，所述步骤（1）中通过视觉识别机构获取待抓取物料的图像，所述步骤（2）~（4）中通过控制***实现上述操作，所述步骤（1）前包括世界坐标系以及图像采集器的物理坐标系的建立的步骤，所述视觉识别机构包括第一图像采集器和第二图像采集器，所述第一图像采集器和第二图像采集器，通过对第一图像采集器和第二图像采集器的坐标参数标定，形成两个图像采集器的相对位置关系，将此坐标关系输入到控制***中形成两个图像采集器的物理标定，构造所述图像采集器的物理坐标系；指定抓取机构的预定位置为坐标原点建立世界坐标系。

4.根据权利要求3所述的基于视觉识别的钢筋网片抓取控制方法，其特征在于，所述步骤（1）前先将基准物料特征输入所述控制***，其中输入的基准物料特征包括在物理坐标系中的两个坐标方向上存在至少两个连续的小网格形成的具有等齐边缘特征的片状物体、具有在两个正交方向上的连续的跨过至少两个连接网格的等直径直线物体、钢筋网片用钢筋直径尺寸族表、网格间距倍数模数、是否在连续的网格特征下连续缺失至少一定数量以上的网格以此确定是否该网片存在开孔状态，若存在则证明存在网片开孔的状态。

5.根据权利要求3所述的基于视觉识别的钢筋网片抓取控制方法，其特征在于，所述升降机构包括固定件、竖向轨道和竖向驱动件，所述夹具架与所述竖向轨道相连，所述固定件与所述纵向轨道滑动连接，所述竖向轨道设有齿条，所述竖向驱动件固定在所述固定件上，所述竖向驱动件的输出轴设有齿轮，所述齿轮与所述齿条啮合，所述竖向驱动件与所述控制***信号连接，所述步骤（4）和步骤（5）中控制***控制竖向驱动件驱动所述竖向轨道相对所述齿轮运动，进而带动夹具架竖向运动。

6.根据权利要求5所述的基于视觉识别的钢筋网片抓取控制方法，其特征在于，所述夹具架与所述竖向轨道转动连接，所述步骤（4）和步骤（5）中控制***可控制转动驱动件驱动所述夹具架相对竖向轨道在水平面转动，并使得所述夹爪与钢筋网片网格的钢筋正交。

7.根据权利要求1所述的基于视觉识别的钢筋网片抓取控制方法，其特征在于，所述步骤（1）中图像处理包括图像预处理以及图像分割处理，所述图像处理实现图像的滤波、去噪、平滑以及将目标图像与背景图像的相分割，所述步骤（2）中基于hough变换、几何属性、最小二乘法提取物料特征参数。

8.根据权利要求7所述的基于视觉识别的钢筋网片抓取控制方法，其特征在于，所述步骤（5）后，所述控制***发送控制命令至抓取机构，所述抓取机构接收控制命令移动至目标坐标并将钢筋网片释放完成钢筋网片的转运或上线。

Images