CN107139003A - 模块化视觉***制作方法 - Google Patents

Abstract

本发明公开了一种视觉***，用于各类五金件、电子元件、塑料及橡胶制品等的定位和检测，实现模块化设计，不同应用可以快速组合***。所述视觉***包含相机安装装置、***标定、模板创建及匹配算法、***测量工具包以及***与机器人和机床的通讯接口。并将各个功能模块标准化。

Description

模块化视觉***制作方法

技术领域

本发明涉及视觉配合机器人及机床的自动化装置领域，尤其涉及各个功能模块标准化的视觉***，前述方法使视觉***能适应不同工件的快速转换。

背景技术

视觉***是利用摄像机和软件代替人眼使得自动化设备拥有类似于人类的那种对目标进行分割、分类、识别、跟踪、判别决策的功能。

在生产过程中，自动化模式要求有更高的速度、精度、分辨力、稳定性和适应性，并且要长时间的运作，人工已经不能满足这样的需求，而视觉***非接触性测量能够解决这一问题，可以满足自动化生产模式的需求，并且可以保障机器和产品。

当前，配合工业机器人使用的视觉***，都是针对某种工件的定制产品，开发周期长，功能单一，对外部环境的适应能力不强；更换工件后，需要对光照***、相机标定、模板处理算法、通讯接口、参数设置及图像处理方法进行较大改动，来适应新工件的新特性。这样严重影响了客户产品的更新换代，不符合智能制造的技术要求，制约了视觉***的推广应用。

另一问题在于大部分视觉***采用较繁琐的相机、机器人、机床之间的标定方法，一般客户不能标定出高精度的结果，其实施起来很困难、而且有问题，且极其低效。

在现有技术中尚未发现具有各个功能模块标准化的视觉***配合工业机器人应用，因而需要这样的自动化设备以简化和优化许多领域中的工业处理和制造。

发明内容

视觉***一般设计为功能单一的定制产品，用于某种工件的识别。而本发明实施例提出了一种各个功能模块标准化的视觉***，通过各个标准化的模块，快速组成新的视觉检测***，用于不同工件的识别。

使相机、机器人、机床之间固定连接，经过一次准确的标定之后，保存标定结果，在每次重新安装之后，只需做局部的微调，就可以实现各个部件之间的相对位置非常精确的校准。而且，对现场操作工程师不需要经过专业培训，只要按说明流程简单的几步操作，很快就可完成整个标定过程，对输出参数进行更直接的控制，无需依赖于复杂的坐标变换。

本发明实施例提供标准化的视觉***，具有包括光照***、相机标定、模板处理算法、通讯接口、参数设置及图像处理方法、***测量工具包等模块。相机安装装置采用全方位螺旋杆调节，带自锁功能，很大程度上提高了***的稳定性和适应性，可有效减免重复劳动，提高工作效率。所获取的数据结果视觉***提供更简单的、更快的和效能成本更合算的检测和处理。

其中，光照***作为一个功能模块，设计了顶部、侧面、背面的光源安装位置，而且角度可以调整，从而可以实现任意方向的打光；配备了白光、红光等不同颜色和不同规格的光源。完全可以做到从不同方向、利用不同颜色和不同强度的光源组成视觉的光照***。

***标定模块，包含了相机标定、相机与工业机器人之间的坐标变换、机器人与机床之间的坐标变换。将标定***进行标准化，使用的标定板、标定板的摆放方式、所取图像数量、机器人取坐标方式都进行固定。首次标定进行整个过程的操作，设备重新拆装之后，再次进行标定时，只需对相机、机器人相对坐标系进行局部调整，补偿由于拆装引入的误差，实现快速标定。

模板处理算法模块，提取模板处理的通用特性，实现模块对外接口的标准化，一定体积范围内的不同类型工件，如五金件、食品、塑胶制品等，都可以使用相同的算法实现识别。

通讯接口模块，针对不同厂家的机器人及数控机床，在标准的TCP/IP协议基础上，扩展了一些特定功能，用于兼容不同的数据交互方式。目前，可以实现和ABB、FANUC、KUKA、YASKAWA等厂商设备进行通讯，同时提供了扩展接口，可以定制数据格式及通讯方式。

参数设置及图像处理模块，参数设置使用标准化的设计界面及操作方式，图像处理采用彩色和黑白接口一致的设计，增加图像处理标准函数工具库，可以自由拆分和重组，并将组合好的结果，作为一个新的工具保存。

***工具包模块，实现颜色抽取、几何测量、功能补正、模糊处理、瑕疵检测、条码扫描、字符识别、边缘强化、实时差分、数据统计等。将各个工具做成标准的软件工具包，不同的应用可任意组合工具以实现特定功能。

实质上，本发明实施例提出视觉***配合机器人及机床的整套自动化装置，其具有：

1、用于从目标物体获得图像的工业相机及其安装装置；

2、对目标图像进行分割、分类、识别、跟踪、判别决策的视觉软件；

3、实现搬运动作的工业机器人及物料传动装置；

4、实现工件加工的数控机床。

视觉配合机床上下料标准单元可用于改善许多工业和制造处理。这些包括但不限于在手机组装生产线上零部件的检测及安装；塑胶卡扣的分拣及加工；轮胎模具模板的数控加工自动上下料；电机组件的产线检测及搬运；木材加工厂中识别原木以进行切除或切割；面包产线的识别及包装；月饼生产中的刷浆；打磨因焊接造成的焊缝；对一些压铸件进行打磨；自动剔出尺寸或形状方面的次果等。目前，所有这些处理均需要人工干预和计算、对现场工程师能力要求高、数据库管理、及数据处理复杂，且通常成本很高、耗费大量的劳动力和时间、及并不总是准确或自动。

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些重要资料，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

【附图说明】

图1示出了相机及光源安装装置。

图2示出了机床内工件加工卡盘。

图3示出了视觉软件的开发过程。

图4示出了视觉软件的结构。

图5示出了部分函数接口。

【具体实施方式】

下面将结合附图对模块化视觉***制作方法进行描述。本发明提出了一种视觉***，用于各类五金件、电子元件、塑料及橡胶制品等的定位和检测，实现工件的自动加工。所述视觉***包含相机安装装置、光照***、***标定、模板创建及匹配算法、参数设置及图像处理方法、***测量工具包以及***与机器人和机床的通讯接口。并将各个功能模块标准化，实现不同工件的快速转换。

第一，将工件放置于待取料位置，通过光电传感器，检测工件是否到达取料区；第二，通过视觉***对目标工件进行分类、识别、跟踪、判别决策，视觉***的各个功能模块是标准化的，能够同时检测多种工件，并可以实现快速切换不同工件的识别；第三，根据视觉***及检测传感器传送过来的数据，实现对工件的抓取，机器人的安装采用底座和地面成一定的夹角，方便与机床配合上料；第四，机器人将工件放入机床卡盘内，为了实现高精度的定位，卡盘对工件进行定位校正；第五，数控机床对不同工件进行不同类型的加工操作；最后，将加工完成的工件从机床内取出，工件经过视觉***的检测后，到达工件存放区，由光电传感器检测工件是否达到，并根据视觉***的检测结果对加工完成的工件进行分类存放。同时对整个单元的操作安全作了保护，在机器人的底座位置安装了激光扫描器，激光扫描器不能保护区域加装了围栏。

图1示出了相机及光源的安装装置。为了适应工件的变化，相机及光源的安装装置必须具有全方位调节及锁定功能，而且调节采用步距较小的螺旋杆，实现细微调整。相机和光源的调节都可单独进行。

通常要取得一个好的打光效果，主要从三个方面对光源进行调整，分别是光照方向、光照强度、光色。在本实施例中设计了顶部、侧面、背面的光源安装位置，而且角度可以调整，从而可以实现任意方向的打光；配有不同规格的光源，且每个光源都配有电源调节器；配备了白光、红光、蓝光等不同颜色的光源。完全可以做到从不同方向、利用不同颜色和不同强度的光源组成视觉的光照***。

***正常工作之前，要对所有相关部分进行标定，设计中使相机、机器人之间固定连接，经过一次准确的标定之后，保存标定结果，在每次重新安装之后，只需做局部的微调，就可以实现各个部件之间的相对位置非常精确的校准。而且，对现场操作工程师不需要经过专业培训，只要按说明流程简单的几步操作，很快就可完成整个标定过程，对输出参数进行更直接的控制，无需依赖于复杂的坐标变换。首先，对相机进行标定，首次标定需对相机的内参和外参同时标定，需要采集多张标定图像，一般要采集13张以上，才可得到收敛结果；再次标定时，只需对相机外参进行校准，采集1张标定图像即可。然后，建立机器人和相机的坐标变换，获取模板工件的当前位置，及机器人抓取模板时的姿态，将二者相匹配，在做检测时将工件之间的相对变化量，叠加到机器人的姿态中；再次标定时，只需示教出机器人的抓取姿态即可。最后，建立机器人和机床的坐标变换，通过机器人示教器获取机床的上料位置。

图2示出了机床内部的工件卡盘。由于机器人的绝对定位精度很难达到数控机床的加工精度要求，如果采用机器人直接向机床内放料，很难保证机床的加工一致性。本实施例中采用了可校正卡盘和电磁吸盘，可有效调整工件的放置精度，保证机床的良好加工效果。

图3示出了视觉软件的开发过程。首先，根据现有的文献资料，结合研究条件和自身研究优势，确定本实施例中视觉***开发与应用。其次，查阅大量文献和相关理论、算法，了解国内外研究现状，奠定课题研究的理论基础。再次，收集课题的需求分析，并进行概念设计和详细设计，编写代码实现各种算法及软件***相关的各个响应，同时比较研究VisionPro、Halcon、NI Vision等成熟视觉软件的做法和特点，总结成功经验。然后，对一些常用案例进行研究，利用个别典型案例检测视觉***，启发并引导项目实践，并通过在实际工作中的实践水平、动手能力与项目完成程度来检验实践。最后，结合理论实验、比较研究和个案研究得出总结与启示，针对视觉软件在机床上下料标准单元中的应用，最终形成一个完善的应用模式，并对其效果进行新一轮的验证以进一步检测前期成果，进而得出研究结论，撰写相应的文档。

图4示出了视觉软件的结构。视觉软件主要包括参数设置模块、数据采集模块、数据管理模块、数据处理模块、数据通讯模块、软件工具包组成。每个模块独立完成部分功能，模块间分工明确，相互之间通过接口通讯。

针对不同厂家的机器人及数控机床，在标准的TCP/IP协议基础上，扩展了一些特定功能，用于兼容不同的数据交互方式。目前，可以实现和ABB、FANUC、KUKA、YASKAWA等厂商设备进行通讯，同时提供了扩展接口，可以定制数据格式及通讯方式。

参数设置使用标准化的设计界面及操作方式，图像处理采用彩色和黑白接口一致的设计，增加图像处理标准函数工具库，可以自由拆分和重组，并将组合好的结果，作为一个新的工具保存。

软件可以实现颜色抽取、几何测量、功能补正、模糊处理、瑕疵检测、条码扫描、字符识别、边缘强化、实时差分、数据统计等。将各个工具做成标准的软件工具包，不同的应用可任意组合工具以实现特定功能。

提取模板处理的通用特性，实现模块对外接口的标准化，一定体积范围内的不同类型工件，如五金件、食品、塑胶制品等，都可以使用相同的算法实现识别。模板的建立、匹配、检测都采用标准的函数入口。

图5示出了部分函数接口。图中展示了软件中的部分函数接口，及各个函数负责完成的功能注释。

Claims (12)

1.模块化视觉***制作方法，其特征在于，包括: 用于从目标物体获得图像的工业相机及其安装装置；用于提高采集图像质量的光照***；对目标图像进行分割、分类、识别、跟踪、判别决策的视觉软件；实现搬运动作的工业机器人及物料传动装置；各种光电传感器及***配套设备；实现工件加工的数控机床。

2.根据权利要求1所述的方法，其中所述从目标物体获得图像的工业相机及其安装装置，具有全方位调节及锁定功能，而且调节采用步距较小的螺旋杆，实现细微调整，相机的调节可单独进行。

3.根据权利要求1所述的方法，其中所述提高采集图像质量的光照***，可从三个方面对光源进行调整，分别是光照方向、光照强度、光色；设计了顶部、侧面、背面的光源安装位置，而且角度可以调整，从而可以实现任意方向的打光；配有不同规格的光源，且每个光源都配有电源调节器；配备了白光、红光、蓝光等不同颜色的光源；完全可以做到从不同方向、利用不同颜色和不同强度的光源组成视觉的光照***。

4.根据权利要求1所述的方法，其中所述实现搬运动作的工业机器人及物料传动装置，机器人底座与物料传动装置固定连接，物料传动装置和相机安装装置固定连接，机器人以一定的倾斜角度安装在底座上，物料输送带采用双层设计，节省上料和下料所占用的空间。

5.根据权利要求1所述的方法，其中所述各种光电传感器及***配套设备，包含: 安全防护激光扫描器、到位检测光幕、防护栏、电箱、线缆、定位销、真空吸盘、防护罩、防水气缸、电磁阀、***等。

6.根据权利要求1所述的方法，其中所述实现工件加工的数控机床，由于机器人的绝对定位精度很难达到数控机床的加工精度要求，如果采用机器人直接向机床内放料，很难保证机床的加工一致性，采用了可校正卡盘和电磁吸盘，可有效调整工件的放置精度，保证机床的良好加工效果。

7.根据权利要求1所述的方法，其中所述对目标图像进行分割、分类、识别、跟踪、判别决策的视觉软件，包含: ***标定、模板创建及匹配算法、参数设置及图像处理方法、***测量工具包以及***与机器人和机床的通讯接口，并将各个功能模块标准化，实现不同工件的快速转换。

8.根据权利要求7所述的方法，其中所述***标定，包含: 相机标定、相机与工业机器人之间的坐标变换、机器人与机床之间的坐标变换，将标定***进行标准化，使用的标定板、标定板的摆放方式、所取图像数量、机器人取坐标方式都进行固定，首次标定进行整个过程的操作，设备重新拆装之后，再次进行标定时，只需对相机、机器人相对坐标系进行局部调整，补偿由于拆装引入的误差，实现快速标定。

9.根据权利要求7所述的方法，其中所述模板创建及匹配算法，提取模板处理的通用特性，实现模块对外接口的标准化，一定体积范围内的不同类型工件，如五金件、食品、塑胶制品等，都可以使用相同的算法实现识别。

10.根据权利要求7所述的方法，其中所述参数设置及图像处理方法，参数设置使用标准化的设计界面及操作方式，图像处理采用彩色和黑白接口一致的设计，增加图像处理标准函数工具库，可以自由拆分和重组，并将组合好的结果，作为一个新的工具保存。

11.根据权利要求7所述的方法，其中所述***测量工具包，包含: 颜色抽取、几何测量、功能补正、模糊处理、瑕疵检测、条码扫描、字符识别、边缘强化、实时差分、数据统计等，将各个工具做成标准的软件工具包，不同的应用可任意组合工具以实现特定功能。

12.根据权利要求7所述的方法，其中所述***与机器人和机床的通讯接口，针对不同厂家的机器人及数控机床，在标准的TCP/IP协议基础上，扩展了一些特定功能，用于兼容不同的数据交互方式，目前，可以实现和ABB、FANUC、KUKA、YASKAWA等厂商设备进行通讯，同时提供了扩展接口，可以定制数据格式及通讯方式。