CN105930854A - 一种机械臂视觉*** - Google Patents

Abstract

本发明涉及一种机械臂视觉***，基于Labview的视觉助手建立了整个视觉***的模型，包括：图像获取模块，用于获取机械臂操作平台上的图像；预处理模块，用于对获取的图像进行增强、平滑和去噪处理；分割模块，用于去除图像中不必要的信息；识别模块，用于对去除不必要信息的图像进行特征提取实现对几何体颜色和形状的识别。本发明能够对物体进行有效识别，降低人力成本，提高了工作效率。

Description

一种机械臂视觉***

技术领域

本发明涉及机器人视觉技术领域，特别是涉及一种机械臂视觉***。

背景技术

随着图像处理、模式识别、智能控制技术的发展和日趋成熟，智能机器人的发展和应用在近几十年取得了长足的进步和众多专家学者的广泛关注，同时机器视觉的研究也已经从实验室走向实际应用，从简单的二值图像处理发展到高分辨率多灰度的图像处理；从一般的二维信息处理发展到三维视觉处理，相应的算法的研究也取得了较大的进展，广泛的应用于视觉检测和自动化装配等领域中。目前越来越多的场合用到机器人的操作，特别是一些繁重、重复性强或是危险环境执行的工作，毋庸置疑，机器人在未来几十年中将会在工业生产、人类生活中扮演更重要的角色，为人们的生产生活带来巨大的便利和帮助。为了提高机器人的适应和学习能力，机器人必须要能从复杂环境中自主获取信息，而要具备这种能力就必须依靠各类传感器，如触觉传感器、距离传感器、视觉传感器等，其中最重要的莫过于视觉传感器，就像人的眼睛一样，人类所获取的外部信息90％以上都是通过眼睛获得的，这充分说明了视觉的重要性，也说明了视觉涵盖的信息量大，利用率高。研究发现具有视觉***的机器人在物流分拣过程的应用能节省大量劳动力、节约大量时间，降低劳动成本，提高工作效率，减少安全事故，对企业发展意义重大，也能大幅提高企业经济效益。

发明内容

本发明所要解决的技术问题是提供一种机械臂视觉***，能够对物体进行有效识别，降低人力成本，提高了工作效率。

本发明解决其技术问题所采用的技术方案是：提供一种机械臂视觉***，基于Labview的视觉助手建立了整个视觉***的模型，包括：图像获取模块，用于获取机械臂操作平台上的图像；预处理模块，用于对获取的图像进行增强、平滑和去噪处理；分割模块，用于去除图像中不必要的信息；识别模块，用于对去除不必要信息的图像进行特征提取实现对几何体颜色和形状的识别。

所述预处理模块采用Sober算子对获取的图像进行边缘检测实现平滑处理。

所述预处理模块采用傅里叶滤波器对获取的图像进行去噪处理。

所述预处理模块采用自适应阈值的二值化处理对获取的图像进行增强处理。

所述识别模块对图像的颜色进行采样分析，当图像颜色的RGB分量与模板颜色匹配时则识别出图像的颜色。

所述识别模块采用多边形采样训练模板匹配的方式实现对多边形图像的识别，采用圆形检测函数实现对圆形图像的识别。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明利用摄像机拍摄照片，对照片进行相关处理，精确实现对几何体颜色和形状的识别，并粗略定位几何体中心点位置，利用基于美国国家仪器NI的视觉软件NI VisionAssistant实现图像处理分析和特征提取及定位，不仅能降低人力成本，更能提高工作效率，同时也会带来更多的效益。

附图说明

图1是本发明的原理方框图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种机械臂视觉***，基于Labview的视觉助手建立了整个视觉***的模型，如图1所示，包括：图像获取模块，用于获取机械臂操作平台上的图像；预处理模块，用于对获取的图像进行增强、平滑和去噪处理；分割模块，用于去除图像中不必要的信息；识别模块，用于对去除不必要信息的图像进行特征提取实现对几何体颜色和形状的识别。

本发明的原理是：

(1)利用Python编程语言实现对摄像机的调用，拍摄机械臂操作平台上的图片以供后续处理。

(2)利用NI VisionAssistant软件实现对图片的分析、处理、特征提取以及定位。

本发明以Tripod机器人分拣过程为例，机器视觉就是用机器代替人眼来做测量和判断，通过配备的视觉传感器来获取目标物体的二维图像，同时通过处理器对获取的二维图像进行分析和处理，得出有用的信息，进而转化为控制信号，驱动机器人采取相应的操作，这不仅可以提高生产线的自动化程度，还可用于大批量工业生产过程中。为满足Tripod机器人实时、在线、精确抓取要求,对采集的图像利用边缘提取、滤波去噪以及圆心检测等算法，采用基于LabVIEW2014和视觉模块(VDM)进行图像的预处理和特征提取以及中心点定位操作，达到了良好的效果。LabVIEW作为美国国家仪器(NI)公司研制的一种通用程序的开发环境，具有结构简单、功能强、精度高等特点,应用IMAQ Vision图像处理开发包和NI VisionAssistant，极大地缩短了开发周期。

该Tripod机器人的机械和运动控制部分均由贝加莱公司(B&R)提供，机器人通过贝加莱设备进行驱动，包括三轴机械臂、ACOPOS伺服电机、减速器、X20系列控制器与开关电源，PLC等装置，此外相机是机器视觉***必不可少的组成部件，主要分CCD和CMOS两种，前者制作工艺相对复杂，成本较高，成像品质好；后者对色彩还原能力较弱，通透性一般，但电力消耗少，成本低，考虑到成像品质，本实施方式中图像获取模块选用CCD相机，安装在操作平台顶部，进行图像拍摄和采集，相机成像容易受到环境和亮度影响，为了得到相对清晰的图像，也考虑到图像亮度问题所带来的处理上的不便，在操作平台旁放置灯光进行照明，减少光线太暗对图像效果的影响。

Tripod机器人视觉***的大部分工作在于前期图像特征的识别，精确的位置特征才能达到稳定的控制效果。基于图像的视觉机器人***框图，主要由摄像机采集图像、图像处理软件进行处理后提取出位置特征信息，与期望特征进行比较后作用于视觉控制器，从而控制机器人运动。

LabVIEW(实验室虚拟仪器工作平台)是美国国家仪器(NI)公司研制的一种通用程序开发***，是一个使用图形符号采用G语言来编写的编程环境，可以工作在运行Windows,Mac,Linux***的计算机上，还可以运行在包括FPGA、DSP等在内的嵌入式平台上。使用LabVIEW分为前面板和程序框图两个部分，前面板用于输入输出显示，程序框图完成相应程序连接，有效简化了程序开发，增加了程序的直观性，极大地缩短了开发周期。LabVIEW视觉开发模块包括IMAQ Vision和NI VisionAssistant,IMAQ Vision是LabVIEW的视觉开发工具包，它含有400多种机器视觉和科学图像处理的函数库，结合LabVIEW良好的软硬件集成性能和图像语言的高效性，能够实现各领域中基于视觉的相关应用；NIVisionAssistant是一个交互式的开发环境，无需复杂的编程，即能建立视觉应用***的模型。本***采用基于该平台上的NI VisionAssistant和IMAQ Vision协同工作而实现特定功能,包含图像处理和特征识别全过程。由于经费和硬件的限制，没有使用专业的图像采集卡采集图像，而是利用软件编程实现了相应的采集功能，用到了基于Python语言的SimpleCV编程工具，Python语法简单，可读性强，编程实现点击左键控制相机拍摄图片并保存到相应位置，供NI VisionAssistant调用

大多数情况下，由于实验***和拍摄装置的限制，获取的图像大都含有很多的噪声和畸变，在未经预处理的情况下不能直接用于视觉***中，因此对图像进行预处理是必要的，通过图像的预处理，可以过滤掉一些噪音和使图像劣化的因素，同时增强目标物体的信息，使得图像更加容易处理和分析，更加有利于目标物体特征的提取。本实施方式采用NI公司的LabVIEW软件结合视觉助手能够很好的实现对图像的处理和特征提取。

所述预处理模块采用Sober算子对获取的图像进行边缘检测实现平滑处理，采用傅里叶滤波器对获取的图像进行去噪处理，采用自适应阈值的二值化处理对获取的图像进行增强处理。具体如下：

图像的边缘特征是一幅图像最基本的特征，边缘提取即提取目标图像的边缘轮廓，用于特征的检测和分析。常用的边缘检测算子有Canny、Laplacian和Sober算子等，本实施方式采用的是Sober算子进行边缘检测，该算子包含横向和纵向两组3x3的矩阵，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值，由于对像素位置的影响做了加权，该算子可以有效降低边缘模糊程度，适合于对灰度渐变和噪声较多的图像进行处理，对噪声具有一定的平滑作用，且受噪声影响较小，尽管如此，还需要利用傅里叶滤波器来消除噪声，利用傅里叶变换得到信号频谱，根据需要去掉不需要的频谱部分来达到滤波的效果，以获得更加平滑、尖锐的边缘轮廓。

图像的二值化是图像处理的必要环节，二值化图像可以增加图像的对比度，增强图像效果，加快识别效率，而二值化的关键在于阈值的求取，合适的阈值对图像的处理至关重要，阈值获取主要有全局阈值和自适应阈值两种方法，全局阈值是将整幅图像只使用一个阈值T做图像的分割，这种方法适应于背景和前景区分明显的简单图像；自适应阈值在于可将图像中不同特征区域采用不同的阈值来进行分割，适用于复杂物体和背景对比度不统一的图像。本实施方式中阈值的获取采用自适应度量方法，同时为了得到更加平滑，清晰的图像，还可以对图像再进行平滑处理，进一步消除噪声对图片质量的影响，选用中值滤波进行处理，中值滤波是通过将某一像素点领域的灰度值非线性取平均来代替该像素点的灰度值，可以在一定程度上克服线性滤波带来的图像的模糊。由于二值化图像中每个粒子或区域在单个基础形态学上都有影响，为了便于后续的定量分析，需要进行如扩张、填充、缩小目标、关闭粒子、平滑边界等工作，这里选用腐蚀目标(Erode objects)的方法，最后对二值化图像进行反转，使背景像素为粒子，粒子为背景像素完成图像预处理。

所述识别模块对图像的颜色进行采样分析，当图像颜色的RGB分量与模板颜色匹配时则识别出图像的颜色。所述识别模块采用多边形采样训练模板匹配的方式实现对多边形图像的识别，采用圆形检测函数实现对圆形图像的识别。

机械臂的运动控制需要接收几何***置信息，因此在完成图像预处理之后需要对操作平台上几何体特征进行识别和解释，操作平台上有三角形、五角形、圆形三种不同的形状以及黄、橙、蓝三种不同的颜色，颜色识别可利用颜色的像素值RGB分量进行匹配，RGB三分量值构成三维数组，其中，橙色R分量值较高，蓝色B分量值较高，黄色R和G分量值较高。识别时分别对黄、橙、蓝三种颜色进行采样分析，便可实现几何体颜色的划分。以识别黄色为例，首先创建一个黄色的采样模板，分析该颜色的RGB分量，设置敏感度等，用作模板进行匹配，设置最小匹配分数为800分，当低于800时则匹配失败，显示“失败”，反之显示“成功”。

三角形、五角形的识别采用形状匹配函数进行匹配，原理均是采样训练模板进行识别。以三角形识别为例，首先在图片中选取并创建一个三角形模板，确保选取的模板边缘轮廓清晰，设定最小匹配分数为900，识别分数大于900的三角形都会被标记并且记录中心点像素坐标信息。

圆形识别的方法很多，传统的如Hough圆检测算法应用广泛，但还是不够直接简便，本实施方式直接利用NI视觉助手自带的圆形检测函数进行匹配，设置相应的半径区间，即可快速准确的识别对应圆形，利用最小二乘圆法进行圆心检测可以达到误差平方和最小的拟合效果，当3点位于一个圆周上时，可以通过解析确定圆心的位置，即“三点定圆法”；当采集点的点数大于3时，可以用最小二乘法进行曲线拟合，求得圆的位置，确定圆心坐标。

不难发现，本发明通过基于Labview的视觉助手建立了整个视觉***的模型，利用Sober算子进行边缘提取，自适应阈值进行二值化，傅里叶滤波和中值平滑去噪完成图像的预处理，采样三角形、五角形模板进行匹配，圆形检测及几何体中心点定位等，成功实现了黄、橙、蓝三种颜色的检测以及三角形、五角形和圆形三种形状的识别，并提取出了便于后续控制的位置信息。传统的利用人力进行物件分拣工作费时耗力，本发明为物件的分拣工作带来了一种较好的执行方式，通过机器视觉识别物体，提取出有用信息，再控制机械臂进行操作，不仅能降低人力成本，更能提高工作效率，同时也会带来更多的效益，这种基于机器视觉的Tripod机器人***无疑会为工业生产甚至是人类的生产生活带来巨大的便利，具有广阔的应用前景和使用价值。

Claims (6)

1.一种机械臂视觉***，其特征在于，基于Labview的视觉助手建立了整个视觉***的模型，包括：图像获取模块，用于获取机械臂操作平台上的图像；预处理模块，用于对获取的图像进行增强、平滑和去噪处理；分割模块，用于去除图像中不必要的信息；识别模块，用于对去除不必要信息的图像进行特征提取实现对几何体颜色和形状的识别。

2.根据权利要求1所述的机械臂视觉***，其特征在于，所述预处理模块采用Sober算子对获取的图像进行边缘检测实现平滑处理。

3.根据权利要求1所述的机械臂视觉***，其特征在于，所述预处理模块采用傅里叶滤波器对获取的图像进行去噪处理。

4.根据权利要求1所述的机械臂视觉***，其特征在于，所述预处理模块采用自适应阈值的二值化处理对获取的图像进行增强处理。

5.根据权利要求1所述的机械臂视觉***，其特征在于，所述识别模块对图像的颜色进行采样分析，当图像颜色的RGB分量与模板颜色匹配时则识别出图像的颜色。

6.根据权利要求1所述的机械臂视觉***，其特征在于，所述识别模块采用多边形采样训练模板匹配的方式实现对多边形图像的识别，采用圆形检测函数实现对圆形图像的识别。