CN113146172B - 一种基于多视觉的检测与装配***及方法 - Google Patents
一种基于多视觉的检测与装配***及方法 Download PDFInfo
- Publication number
- CN113146172B CN113146172B CN202110252474.5A CN202110252474A CN113146172B CN 113146172 B CN113146172 B CN 113146172B CN 202110252474 A CN202110252474 A CN 202110252474A CN 113146172 B CN113146172 B CN 113146172B
- Authority
- CN
- China
- Prior art keywords
- image
- workpiece
- personal computer
- industrial robot
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
- B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
- B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多视觉的检测与装配***及方法,所述***包括工业机器人、第一相机、第二相机、第三相机、工控机,工控机与工业机器人相连,用于根据第一相机拍摄到的第一图像定位工作台面上的工件,引导工业机器人的末端带动第二相机移动到工件上方;用于根据第二相机拍摄到的第二图像对工件进行二次定位以及检测工件是否有瑕疵;以及用于根据第三相机拍摄到的第三图像二次检测工件是否有瑕疵及对工件进行角度测量,根据测量得到的角度控制工业机器人移动到装配区进行装配作业。本发明通过将机器视觉联合工业机器人自动完成工件的检测与装配,提高生产效率,降低次品率。
Description
技术领域
本发明属于工业自动化检测与装配技术领域,具体涉及一种基于多视觉的检测与装配系 统及方法。
背景技术
随着机器人技术的快速发展,越来越多的工业机器人应用到工业自动化的领域。工业机 器人是面向工业领域多关节或多自由度的机器装置,它能自动的开展工作,主要依靠动力系 统和控制***来进行作业。工业机器人已经广泛用于电子及3C制造、汽车及零部件制造、 物品分拣、石木制品加工等行业,主要完成上下料、装配、弧焊、点焊、码垛、打磨去毛刺、 分拣等作业。
传统工业机器人大多采用示教、再现的模式,在执行任务的时候,只是重复再现通过编 程存储起来的作业程序,工作路径和位姿都是提前设置好的。如果更换要抓取的产品或者产 品位置发生变化就必须对机器人运动轨迹重新规划,重新编写程序,大大降低了整个***的 智能性。随着机器视觉技术的迅速发展,机器视觉技术适用于产品表面质量检测、工件尺寸 测量和目标识别与定位等方面。机器视觉在工业制造领域主要被用于模拟人的视觉,从实际 的生产图片中获取可用信息,快速做出计算和判断,将结果反馈给下位机。将机器视觉技术 应用到工业机器人成为了工业制造最新的发展方向。通过给工业机器人增加视觉功能,赋予 了工业机器人对外界环境的感知能力,极大地增强了工业机器人的智能化,使得自动化生产 更加灵活,生产效率更加高效。
传统的通过人眼来检测物体瑕疵,不仅效率低,而且不能每个物体都进行检测,次品率 高。且通过人做简单重复的装配作业,有装配精度低、效率低、容易疲劳等缺点。
因此,如何提供一种基于视觉的检测与装配***,来满足工业自动化检测与装配的需求, 是一个急需解决的问题。
发明内容
本发明的主要目的在于提供一种基于多视觉的检测与装配***及方法,从而克服现有技 术的不足。
为实现前述发明目的,本发明采用的技术方案包括:一种基于多视觉的检测与装配***, 包括工业机器人、第一相机、第二相机、第三相机、工控机和多个工位,所述多个工位至少 包括工作台面、检测及矫正区及装配区,
所述第一相机安装于工作台面的上方,所述第二相机安装于工业机器人的末端,所述第 三相机设置于检测及矫正区,所述第一相机、第二相机和第三相机均与工控机相连,用于分 别对工作台面、工作台面上的工件及检测及矫正区的工件进行拍照,且分别将采集得到的第 一图像、第二图像和第三图像发送给工控机;
所述工控机与工业机器人相连,用于根据所述第一图像定位工作台面上的工件,引导工 业机器人的末端带动第二相机移动到工件上方;用于根据所述第二图像对工件进行二次定位 以及检测工件是否有瑕疵;以及用于根据所述第三图像二次检测工件是否有瑕疵及对工件进 行角度测量,根据测量得到的角度控制工业机器人移动到装配区进行装配作业。
在一优选实施例中,所述第一相机用于对工作台面进行拍照,将采集到的第一图像发送 给工控机,所述工控机用于对第一图像进行处理,且将处理后的第一图像与预先建立的第一 模板相匹配,搜索出第一图像中工件的位置,且将工件在第一图像中的位置坐标转换为工业 机器人坐标系下的第一坐标,将转换后的第一坐标发送给工业机器人,工业机器人的末端移 动到工件的上方。
在一优选实施例中,所述第二相机用于对工作台面上的工件进行拍照,将采集到的第二 图像发送给工控机,所述工控机用于对第二图像进行处理,且将处理后的第二图像与预先建 立的第二模板相匹配,搜索出第二图像中工件的位置,且将工件在第二图像中的位置坐标转 换为工业机器人坐标系下的第二坐标;所述工控机还用于判断工件是否存在瑕疵,若为良品, 则将所述第二坐标和检测及矫正区坐标发送给工业机器人,工业机器人将工件抓取工件到检 测及矫正区。
在一优选实施例中,所述第三相机用于对检测及矫正区的工件进行拍照,将采集到的第 三图像发送给工控机,所述工控机用于对第三图像进行处理,且将处理后的第三图像与预先 建立的第三模板相匹配,搜索出第三图像中工件的位置,根据工件在第三图像中的位置二次 检测工件是否有瑕疵,若为良品,则工控机测量工件在第三图像中的角度,求测量得到的角 度与目标角度的差值,根据所述差值计算出工业机器人的末端执行器的旋转角度,将工业机 器人的旋转角度与装配区中被装配工件的位置坐标发送给工业机器人,工业机器人将移动到 被装配工件的位置处进行装配作业。
在一优选实施例中,所述工控机将第一图像或第二图像或第三图像与对应的模板至少采 用基于形状的模板匹配、基于灰度的模板匹配、基于互相关的模板匹配、基于组件的模板匹 配、基于变形的模板匹配中的任意一种模板匹配算法相匹配。
在一优选实施例中,所述工控机判断工件是否存在瑕疵的过程包括:对所述第二图像或 第三图像进行抠图,对抠出的抠取区域进行处理,所述处理包括对抠取区域进行阈值分割, 之后计算阈值后每个区域面积的大小,根据计算出的面积判断工件是否存在瑕疵。
在一优选实施例中,所述工控机测量工件在第三图像中的角度的过程包括:在目标角度 附近寻找直线边缘,求寻找到的直线边缘与水平线的夹角,即为工件在第三图像中的角度。
在一优选实施例中,所述寻找直线边缘采用XLD轮廓和Hough变换来寻找直线边缘, 所述Hough变换算法包括:
建立一个代表Hough变换后的参数平面的二维累加数组A(a,b),其中,a为第三图像坐 标空间中直线斜率的范围,b为第三图像坐标空间中直线截距的范围;
将所述二维累加数组A(a,b)初始化,对第三图像坐标空间中的像素值为初始值的点(x,y) 及参数空间中的每一个a和b的对应关系,计算出对应的b值;
每计算出一对(a,b),将对应的A(a,b)加1;
所有的计算结束后,找到数组A(a,b)中的最大值,最大值所对应的a1,b1即为第三图像坐 标空间中直线的斜率与截距。
在一优选实施例中,所述第一相机的视场范围至少覆盖整个工作台面;所述第二相机和 第三相机的视场范围至少覆盖工件。
在一优选实施例中,所述第一相机、第二相机、第三相机的周围安装有光源。
在一优选实施例中,所述工控机对图像处理时,对图像先进行预处理,所述预处理包括 对比度增强、图像去噪。
在一优选实施例中,所述工控机检测工件瑕疵的方法包括选用阈值方法、阈值加特征方 法、阈值加特征加差分方法、特征训练方法中的任意一种。
本发明实施例提供了一种基于多视觉的检测与装配方法,包括:
S100,第一相机对工作台面进行拍照,将采集到的第一图像发送给工控机,所述工控机 根据所述第一图像与预先定位工作台面上的工件,引导工业机器人的末端带动第二相机移动 到工件上方;
S200,第二相机对工作台面上的工件进行拍照,将采集到的第二图像发送给工控机,所 述工控机根据所述第二图像对工件进行二次定位以及检测工件是否有瑕疵;
S300,第三相机对检测及矫正区的工件进行拍照,将采集到的第三图像发送给工控机, 所述工控机根据所述图像二次检测工件是否有瑕疵及对工件进行角度测量,且根据测量得到 的角度控制工业机器人移动到装配区进行装配作业。
在一优选实施例中,所述S100中,所述工控机对第一图像进行处理,且将处理后的第一 图像与预先建立的第一模板相匹配,搜索出第一图像中工件的位置,且将工件在第一图像中 的位置坐标转换为工业机器人坐标系下的第一坐标,将转换后的第一坐标发送给工业机器人, 控制工业机器人的末端移动到工件的上方;
所述S200中,所述工控机对第二图像进行处理,且将处理后的第二图像与预先建立的第 二模板相匹配,搜索出第二图像中工件的位置,且将工件在第二图像中的位置坐标转换为工 业机器人坐标系下的第二坐标,之后判断工件是否存在瑕疵,若为良品,则将第二坐标和检 测及矫正区坐标发送给工业机器人,工业机器人将工件抓取工件到检测及矫正区;
所述S300中,所述工控机对第三图像进行处理,且将处理后的第三图像与预先建立的第 三模板相匹配,搜索出第三图像中工件的位置,根据工件在第三图像中的位置二次检测工件 是否有瑕疵,若为良品,则工控机测量工件在第三图像中的角度,求测量得到的角度与目标 角度的差值,根据所述差值计算出工业机器人的末端执行器的旋转角度,将工业机器人的旋 转角度与装配区中被装配工件的位置坐标发送给工业机器人,工业机器人将移动到被装配工 件的位置处进行装配作业。
与现有技术相比较,本发明的有益效果至少在于:本发明通过将机器视觉***与工业机 器人***相结合,实现了工件的检测与装配作业,提高了生产效率,降低了次品率,提高了 装配精度,提高了机器人的智能水平,降低了人工成本,且本发明可以很好的用于生产线工 件的检测和装配。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记 载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根 据这些附图获得其他的附图。
图1是本发明一实施方式中基于多视觉的检测与装配***的结构简图;
图2是本发明一实施方式中基于多视觉的检测与装配方法的流程简图;
图3是本发明一实施方式中基于多视觉的检测与装配方法的具体流程图。
附图标记:
1、第一传送带,2、工业机器人,3、第一相机,4、第二相机,5、第三相机,6、工控 机,7、第二传送带,8、方孔圆形齿轮,9、不良品放置区,10、检测及矫正区,11、装配区, 12、被装配工件,13、光源。
具体实施方式
通过应连同所附图式一起阅读的以下具体实施方式将更完整地理解本发明。本文中揭示 本发明的详细实施例;然而,应理解,所揭示的实施例仅具本发明的示范性,本发明可以各 种形式来体现。因此,本文中所揭示的特定功能细节不应解释为具有限制性,而是仅解释为 权利要求书的基础且解释为用于教示所属领域的技术人员在事实上任何适当详细实施例中以 不同方式采用本发明的代表性基础。
本发明所揭示的一种基于多视觉的检测与装配***及方法,通过将机器视觉联合工业机 器人自动完成工件的检测与装配,提高生产效率,降低次品率。
如图1所示,本发明实施例所揭示的一种基于多视觉的检测与装配***,用于检测方孔圆 形齿轮(即工件为方孔圆形齿轮)是否缺齿及将方孔圆形齿轮装配到被装配工件上。所述系 统具体包括第一传送带1、工业机器人2、第一相机3、第二相机4、第三相机5、工控机6及第 二传送带7。
其中,第一传送带1上设置有用于放置方孔圆形齿轮8的工作台面(图未示)。在***正 式开始工作之前,***需进行手眼标定,具体进行第一相机3与工业机器人2的手眼标定及第 二相机4与工业机器人2的手眼标定。这里的手眼标定是指:工业机器人的坐标系和相机的坐 标系是两个不同的坐标系,为了使相机坐标系和工业机器人坐标系之间建立关系,求取两个 坐标系之间的转换矩阵的过程就是手眼标定。
结合图3所示,第一相机3安装于工作台面的上方,且与工控机6相连,用于快速定位方孔 圆形齿轮8。具体对工作台面进行拍照,并将采集到的第一图像发送给工控机6,优选地,第 一相机3的视场范围至少覆盖整个工作台面,以便***可获取到方孔圆形齿轮8的位置。工控 机6用于根据第一图像定位工作台面上的工件,引导工业机器人2的末端带动第二相机4移动到 工件上方。具体地,工控机6中的图像处理模块对第一图像进行预处理,具体为去噪处理,判 断得出工作台面上是否存在需要抓取的方孔圆形齿轮8,若存在,则将处理后的第一图像与预 先建立的第一模板相匹配,本实施例中,具体采用基于形状的模板匹配算法,通过该算法搜 索出第一图像中工件的位置,且用手眼标定得到的转换矩阵将工件在第一图像中的位置坐标 转换为工业机器人2坐标系下的第一坐标,将转换后的第一坐标发送给工业机器人2,引导工 业机器人2的末端移动到工件的上方。若不存在,工业机器人2则处于等待状态。这里的转换 矩阵即是手眼标定后得到相机坐标系和工业机器人坐标系之间的转换矩阵。
第二相机4安装于工业机器人2的末端,且与工控机6相连。工控机6若判断第一图像中存 在要抓取的方孔圆形齿轮8,则工业机器人2的末端会带动第二相机4移动到工件的上方,开启 第二相机4工作。第二相机4用于对工作台面上的工件进行拍照,并将采集到的第二图像发送 给工控机6。工控机6用于根据所述第二图像对工件进行二次定位以及检测工件是否有瑕疵。 具体地,工控机6中的图像处理模块对第二图像进行处理,且将处理后的第二图像与预先建立 的第二模板相匹配,搜索出第二图像中工件的位置(x,y),且将工件在第二图像中的位置坐 标转换为工业机器人2坐标系下的第二坐标,将第二坐标先记录,暂时不发送给工业机器人2。 之后工控机6判断工件是否存在瑕疵,本实施例中,瑕疵具体检测过程为:对第二图像进行抠 图操作。抠图后对抠取区域进行处理,先对抠图区域进行阈值分割,选择阈值为180(所选阈 值的大小应根据具体工作环境与工件进行选择,此实施例中选择阈值为180,效果最好),阈 值分割将目标工件分割出来,然后计算分割出的目标工件在第二图像中的面积S,根据计算出 的面积S来判断工件是否存在瑕疵(要检测的工件瑕疵不同,应选择不同的方法,本实施例根 据目标工件的面积大小即可准确检测出工件是否存在瑕疵)。
若计算出的面积S小于350000(此值根据不同的目标工件可以选择不同的值),则判定工 件存在缺齿为不良品,则将第二坐标和不良品放置区的坐标发送给工业机器人2,工业机器人 2将工件放置到不良品放置区9。若计算出的面积S大于等于350000,即检测结果为良品(即不 存在瑕疵),则将第二坐标和检测及矫正区10坐标发送给工业机器人2,工业机器人2将工件 抓取工件到检测及矫正区10。
优选地,第二相机4的视场范围至少覆盖工件尺寸,优选略大于工件,从而有利于提高定 位和检测的精度。
第三相机5设置于检测及矫正区10,且与工控机6相连,用于在工控机6第一次检测工件不 存在瑕疵后,对检测及矫正区10的工件进行拍照,将采集得到的第三图像发送给工控机6。工 控机6用于根据所述第三图像二次检测工件是否有瑕疵及对工件进行角度测量,根据测量得到 的角度控制工业机器人2移动到装配区11进行装配作业。具体地,工控机6中的图像处理模块 对第三图像进行处理,且将处理后的第三图像与预先建立的第三模板相匹配,搜索出第三图 像中工件的位置(x1,y1),之后工控机6根据工件在第三图像中的位置二次检测工件是否有 瑕疵,本实施例中,瑕疵具体检测过程为:对第三图像进行抠图操作。抠图后对抠取区域进 行处理,先对抠图区域进行阈值分割,选择阈值为180(所选阈值的大小应根据具体工作环境 与工件进行选择,此实施例中选择阈值为180,效果最好),阈值分割将目标工件分割出来, 然后计算分割出的目标工件在第三图像中的面积S,根据计算出的面积S来判断工件是否存在 瑕疵(要检测的工件瑕疵不同,应选择不同的方法,本实施例根据目标工件的面积大小即可 准确检测出工件是否存在瑕疵)。
若计算出的面积S小于370000(此值根据不同的目标工件可以选择不同的值),则判定工 件存在缺齿为不良品,则将第三坐标和不良品放置区9的坐标发送给工业机器人2,工业机器 人2将工件放置到不良品放置区9。若计算出的面积S大于等于370000,即检测结果为良品(即 不存在瑕疵),则工业机器人2继续对测量工件在第三图像中的角度,对工件进行角度矫正。 因工业机器人2的末端执行器在抓取目标工件的时候,工件会发生移动,如果不进行角度矫正, 装配工作会失败。因工件发生的移动较小,所以本实施例中采用在目标角度的附近进行寻找 直线边缘,求寻找到的直线边缘与水平线的夹角,即为工件在第三图像中的角度。此实施例 中寻找边缘使用的是XLD(Extended Line Descriptions,扩展的线性描述,这个是基于亚像 素来提取轮廓)轮廓来寻找边缘,相比以像素为单位来寻找边缘精度更高,装配成功率更高。 为便于对XLD理解,下面对XLD进行解释说明:在相机成像的过程中,获得的图像数据是将图 像进行了离散化的处理,由于感光元件本身的能力限制,到成像面上每个像素只代表附近的 颜色。例如两个感官原件上的像素之间有4.5um的间距,宏观上它们是连在一起的,微观上它 们之间还有无数微小的东西存在,这些存在于两个实际物理像素之间的像素,就被称为亚像 素。此实施例中具体是用Hough(霍夫变换)变换来寻找直线边缘,算法步骤如下:
建立一个代表Hough变换后的参数平面的二维累加数组A(a,b),其中,a为第三图像坐 标空间中直线斜率的范围,b为第三图像坐标空间中直线截距的范围;
将所述二维累加数组A(a,b)初始化,如初始化为0,对第三图像坐标空间中的像素值为初 始值(如初始值为0)的点(x,y)及参数空间中的每一个a和b的对应关系(具体为b=-xa+y), 计算出对应的b值;
每计算出一对(a,b),将对应的A(a,b)加1;
所有的计算结束后,找到数组A(a,b)中的最大值,最大值所对应的a1,b1即为第三图像坐 标空间中直线的斜率与截距。
寻找到直线边缘后,求寻找到的直线边缘与水平线的夹角,即为工件在第三图像中的角 度,将工业机器人2应旋转的角度与被装配工件位置坐标发送给工业机器人2,工业机器人2 将移动到被装配工件12位置进行装配作业,即将工件装配到被装配工件12上。
求测量得到的角度与目标角度的差值,根据所述差值计算出工业机器人2的末端执行器的 旋转角度(即对工件进行角度矫正),将工业机器人2的旋转角度与装配区11中被装配工件12 的位置坐标发送给工业机器人2,工业机器人2将移动到被装配工件12的位置处进行装配作业, 装配区11位于第二传送带7上。若检测结果为存在瑕疵(即为不良品),则将第三坐标和不良 品放置区9的坐标发送给工业机器人2,工业机器人2将工件放置到不良品放置区9。优选地, 第三相机5的视场范围也至少覆盖工件尺寸,优选略大于工件,从而有利于提高检测和角度矫 正的精度。
优选地,上述三个相机(即第一相机3、第二相机4和第三相机5)的周围应安装光源13, 如LED光源,来提供稳定的光照,使相机每次都能采集到清晰的图像,提高整个***的稳定 性。
优选地,上述工控机6对图像处理时,应先对图像进行预处理,所述预处理包括对比度增 强、图像去噪等操作,提高后续模板匹配的成功率。
优选地,根据识别不同的工件和不同的工况,工控机6将第一图像或第二图像或第三图像 与对应的模板进行匹配应选用合适的模板匹配算法,常用的模板匹配算法有基于形状的模板 匹配算法、基于灰度的模板匹配算法、基于互相关的模板匹配算法、基于组件的模板匹配算 法、基于变形的模板匹配算法等。
优选地,根据检测工件瑕疵的不同,工控机应选用合适的检测方法及合适的打光方式与 光源,常用的检测方法有阈值方法、阈值加特征方法、阈值加特征加差分方法、特征训练方 法等。
优选地,根据测量工件的不同,工控机6应选用合适的测量方法来求工件的旋转角度。
优选地,本发明采用第一相机3和第二相机4配合进行目标工件的检测与抓取,显著提高 了工作效率与定位精度,优于只用一种方式。第三相机5可以对目标工件进行二次瑕疵检测及 角度矫正,降低产品的次品率,提高装配的成功率。且本发明将目标工件的瑕疵检测与装配 作业结合到一个***中,提高了生产效率。
另外,在***正式开始工作之前,***需建立三个目标工件的图像模板(即上述第一模 板、第二模板和第三模板),用于工控机6的模板匹配。且需设定目标工件在第三图像中的目 标角度,用于工控机6的角度矫正。其中,第一模板的创建过程具体包括:第一相机3对工作 台面进行拍照,将采集到的图像发送至工控机6,工控机6的图像处理模块对图像进行预处理, 具体如进行去噪处理,分析去噪后的图像中的目标工件轮廓是否清晰,若不清晰需调节第一 相机3的对焦旋钮,使图像清晰,若清晰,则对目标工件创建第一模板M1,创建的模板为后 期的模板匹配使用。
第二模板的创建过程具体包括:将工业机器人2末端移至目标工件的上方,安装在工业机 器人2末端的第二相机4对目标工件进行拍照,将采集到的图像发送至工控机6,创建第二模板 M2,模板创建过程同第一模板的创建过程,这里不做赘述。
第三模板的创建过程具体包括:工业机器人2夹取目标工件,将工业机器人2的末端移动 至检测及校正区10,开启第三相机5对目标工件拍照,将采集到的图片发送至工控机6,创建 第二模板M3,模板创建过程同第一模板的创建过程,这里不做赘述。
目标角度的设定过程具体包括:将目标工件装配到被装配的工件上,用工业机器人2将目 标工件夹取到检测及矫正区10的拍照位,开启第三相机5对目标工件拍照,将采集到的图片发 送至工控机6,工控机6的图像处理模块先对图像进行一些预处理工作,然后找到目标工件在 图像中的角度,即为目标角度。
如图2所示,本发明实施例所揭示的一种基于多视觉的检测与装配方法,包括以下步骤:
S100,第一相机3对工作台面进行拍照,将采集到的第一图像发送给工控机6,所述工 控机6根据所述第一图像与预先定位工作台面上的工件,引导工业机器人2的末端带动第二 相机4移动到工件上方。
S200,第二相机4对工作台面上的工件进行拍照,将采集到的第二图像发送给工控机6, 所述工控机6根据所述第二图像对工件进行二次定位以及检测工件是否有瑕疵。
S300,第三相机5对检测及矫正区10的工件进行拍照,将采集到的第三图像发送给工控机 6,所述工控机6根据所述图像二次检测工件是否有瑕疵及对工件进行角度测量,且根据测量 得到的角度控制工业机器人2移动到装配区11进行装配作业。
其中,步骤S100~S300的具体实施过程可参照上述***中的描述,这里不做赘述。
本发明的各方面、实施例、特征及实例应视为在所有方面为说明性的且不打算限制本发 明,本发明的范围仅由权利要求书界定。在不背离所主张的本发明的精神及范围的情况下, 所属领域的技术人员将明了其它实施例、修改及使用。
在本发明案中标题及章节的使用不意味着限制本发明;每一章节可应用于本发明的任何 方面、实施例或特征。
除非另外具体陈述,否则术语“包含(include、includes、including)”、“具有(have、has或 having)”的使用通常应理解为开放式的且不具限制性。
尽管已参考说明性实施例描述了本发明,但所属领域的技术人员将理解,在不背离本发 明的精神及范围的情况下可做出各种其它改变、省略及/或添加且可用实质等效物替代所述实 施例的元件。另外,可在不背离本发明的范围的情况下做出许多修改以使特定情形或材料适 应本发明的教示。因此,本文并不打算将本发明限制于用于执行本发明的所揭示特定实施例, 而是打算使本发明将包含归属于所附权利要求书的范围内的所有实施例。此外,除非具体陈 述,否则术语第一、第二等的任何使用不表示任何次序或重要性,而是使用术语第一、第二 等来区分一个元素与另一元素。
Claims (7)
1.一种基于多视觉的检测与装配***,其特征在于:所述***包括工业机器人、第一相机、第二相机、第三相机、工控机和多个工位,所述多个工位至少包括工作台面、检测及矫正区及装配区,所述第一相机、第二相机和第三相机均与工控机相连;
所述第一相机安装于工作台面的上方,所述第二相机安装于工业机器人的末端,所述第一相机、第二相机分别用于对工作台面、工作台面上的工件进行拍照,且分别将采集得到的第一图像、第二图像发送给工控机;
所述第三相机设置于检测及矫正区,并用于对检测及矫正区的工件进行拍照,将采集到的第三图像发送给工控机;
所述工控机与工业机器人相连,用于根据所述第一图像定位工作台面上的工件,引导工业机器人的末端带动第二相机移动到工件上方;用于根据所述第二图像对工件进行二次定位以及检测工件是否有瑕疵;以及用于对所述第三图像进行处理,且将处理后的第三图像与预先建立的第三模板相匹配,搜索出第三图像中工件的位置,根据工件在第三图像中的位置二次检测工件是否有瑕疵,若为良品,则工控机测量工件在第三图像中的角度,求测量得到的角度与目标角度的差值,根据所述差值计算出工业机器人的末端执行器的旋转角度,将工业机器人的旋转角度与装配区中被装配工件的位置坐标发送给工业机器人,工业机器人将移动到被装配工件的位置处进行装配作业;
其中,所述工控机测量工件在第三图像中的角度的过程包括:采用XLD轮廓和Hough变换在目标角度附近寻找直线边缘,求寻找到的直线边缘与水平线的夹角,即为工件在第三图像中的角度;其中采用的Hough变换算法包括:
建立一个代表Hough变换后的参数平面的二维累加数组A(a,b),其中,a为第三图像坐标空间中直线斜率的范围,b为第三图像坐标空间中直线截距的范围;
将所述二维累加数组A(a,b)初始化,对第三图像坐标空间中的像素值为初始值的点(x,y)及参数空间中的每一个a和b的对应关系,计算出对应的b值;
每计算出一对(a,b),将对应的A(a,b)加1;
所有的计算结束后,找到数组A(a,b)中的最大值,最大值所对应的a1,b1即为第三图像坐标空间中直线的斜率与截距。
2.根据权利要求1所述的一种基于多视觉的检测与装配***,其特征在于:所述第一相机用于对工作台面进行拍照,将采集到的第一图像发送给工控机,所述工控机用于对第一图像进行处理,且将处理后的第一图像与预先建立的第一模板相匹配,搜索出第一图像中工件的位置,且将工件在第一图像中的位置坐标转换为工业机器人坐标系下的第一坐标,将转换后的第一坐标发送给工业机器人,工业机器人的末端移动到工件的上方。
3.根据权利要求1所述的一种基于多视觉的检测与装配***,其特征在于:所述第二相机用于对工作台面上的工件进行拍照,将采集到的第二图像发送给工控机,所述工控机用于对第二图像进行处理,且将处理后的第二图像与预先建立的第二模板相匹配,搜索出第二图像中工件的位置,且将工件在第二图像中的位置坐标转换为工业机器人坐标系下的第二坐标;所述工控机还用于判断工件是否存在瑕疵,若为良品,则将所述第二坐标和检测及矫正区坐标发送给工业机器人,工业机器人将工件抓取工件到检测及矫正区。
4.根据权利要求1-3中任一项所述的一种基于多视觉的检测与装配***,其特征在于:所述工控机将第一图像或第二图像或第三图像与对应的模板至少采用基于形状的模板匹配、基于灰度的模板匹配、基于互相关的模板匹配、基于组件的模板匹配、基于变形的模板匹配中的任意一种模板匹配算法。
5.根据权利要求1所述的一种基于多视觉的检测与装配***,其特征在于:所述工控机判断工件是否存在瑕疵的过程包括:对所述第二图像和第三图像进行抠图,对抠出的抠取区域进行处理,所述处理包括对抠取区域进行阈值分割,之后计算阈值后每个区域面积的大小,根据计算出的面积判断工件是否存在瑕疵。
6.一种基于多视觉的检测与装配方法,其特征在于包括:
S100,第一相机对工作台面进行拍照,将采集到的第一图像发送给工控机,所述工控机根据所述第一图像与预先定位工作台面上的工件,引导工业机器人的末端带动第二相机移动到工件上方;
S200,第二相机对工作台面上的工件进行拍照,将采集到的第二图像发送给工控机,所述工控机根据所述第二图像对工件进行二次定位以及检测工件是否有瑕疵;
S300,第三相机对检测及矫正区的工件进行拍照,将采集到的第三图像发送给工控机,所述工控机对所述第三图像进行处理,且将处理后的第三图像与预先建立的第三模板相匹配,搜索出第三图像中工件的位置,根据工件在第三图像中的位置二次检测工件是否有瑕疵,若为良品,则工控机测量工件在第三图像中的角度,求测量得到的角度与目标角度的差值,根据所述差值计算出工业机器人的末端执行器的旋转角度,将工业机器人的旋转角度与装配区中被装配工件的位置坐标发送给工业机器人,工业机器人将移动到被装配工件的位置处进行装配作业;
其中,所述工控机测量工件在第三图像中的角度的过程包括:采用XLD轮廓和Hough变换在目标角度附近寻找直线边缘,求寻找到的直线边缘与水平线的夹角,即为工件在第三图像中的角度;其中采用的Hough变换算法包括:
建立一个代表Hough变换后的参数平面的二维累加数组A(a,b),其中,a为第三图像坐标空间中直线斜率的范围,b为第三图像坐标空间中直线截距的范围;
将所述二维累加数组A(a,b)初始化,对第三图像坐标空间中的像素值为初始值的点(x,y)及参数空间中的每一个a和b的对应关系,计算出对应的b值;
每计算出一对(a,b),将对应的A(a,b)加1;
所有的计算结束后,找到数组A(a,b)中的最大值,最大值所对应的a1,b1即为第三图像坐标空间中直线的斜率与截距。
7.根据权利要求6所述的一种基于多视觉的检测与装配方法,其特征在于:
所述S100中,所述工控机对第一图像进行处理,且将处理后的第一图像与预先建立的第一模板相匹配,搜索出第一图像中工件的位置,且将工件在第一图像中的位置坐标转换为工业机器人坐标系下的第一坐标,将转换后的第一坐标发送给工业机器人,控制工业机器人的末端移动到工件的上方;
所述S200中,所述工控机对第二图像进行处理,且将处理后的第二图像与预先建立的第二模板相匹配,搜索出第二图像中工件的位置,且将工件在第二图像中的位置坐标转换为工业机器人坐标系下的第二坐标,之后判断工件是否存在瑕疵,若为良品,则将第二坐标和检测及矫正区坐标发送给工业机器人,工业机器人将工件抓取工件到检测及矫正区;
以及,所述S200和所述S300中,所述工控机判断工件是否存在瑕疵的过程包括:对所述第二图像和第三图像进行抠图,对抠出的抠取区域进行处理,所述处理包括对抠取区域进行阈值分割,之后计算阈值后每个区域面积的大小,根据计算出的面积判断工件是否存在瑕疵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110252474.5A CN113146172B (zh) | 2021-03-08 | 2021-03-08 | 一种基于多视觉的检测与装配***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110252474.5A CN113146172B (zh) | 2021-03-08 | 2021-03-08 | 一种基于多视觉的检测与装配***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113146172A CN113146172A (zh) | 2021-07-23 |
CN113146172B true CN113146172B (zh) | 2023-05-02 |
Family
ID=76884566
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110252474.5A Active CN113146172B (zh) | 2021-03-08 | 2021-03-08 | 一种基于多视觉的检测与装配***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113146172B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112109072B (zh) * | 2020-09-22 | 2022-12-30 | 扬州大学 | 一种大型稀疏特征托盘精确6d位姿测量和抓取方法 |
CN113681563B (zh) * | 2021-08-31 | 2022-10-18 | 上海交大智邦科技有限公司 | 基于双相机的装配方法及*** |
CN114210576B (zh) * | 2021-11-08 | 2023-06-20 | 广东科学技术职业学院 | 一种齿轮智能分拣*** |
CN114918637B (zh) * | 2022-05-30 | 2023-08-01 | 中国电子科技集团公司第十四研究所 | 一种轴孔装配机器人的视觉定位方法 |
CN115351521A (zh) * | 2022-08-03 | 2022-11-18 | 武汉飞恩微电子有限公司 | 一种基于视觉定位的芯片模组装配装置及装配方法 |
TWI828545B (zh) * | 2023-02-22 | 2024-01-01 | 開必拓數據股份有限公司 | 自動視覺檢測系統之靈活直觀配置系統 |
CN116452840B (zh) * | 2023-06-19 | 2023-08-18 | 济宁联威车轮制造有限公司 | 一种基于数控机床的汽车零部件组装位置视觉校对*** |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5041907A (en) * | 1990-01-29 | 1991-08-20 | Technistar Corporation | Automated assembly and packaging system |
CN105069790B (zh) * | 2015-08-06 | 2018-09-14 | 潍坊学院 | 一种齿轮外观缺陷快速影像检测方法 |
CN107590837A (zh) * | 2017-09-06 | 2018-01-16 | 西安华航唯实机器人科技有限公司 | 一种视觉定位智能精密装配机器人及其摄像机视觉标定方法 |
CN209239397U (zh) * | 2018-10-26 | 2019-08-13 | 苏州富强科技有限公司 | 一种标记杆装配装置及全自动生产线 |
CN111687065B (zh) * | 2020-06-18 | 2021-02-02 | 深圳市瑞桔电子有限公司 | 一种lcm模组多功能检测装置及其检测方法 |
-
2021
- 2021-03-08 CN CN202110252474.5A patent/CN113146172B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113146172A (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113146172B (zh) | 一种基于多视觉的检测与装配***及方法 | |
CN113524194B (zh) | 基于多模特征深度学习的机器人视觉抓取***的目标抓取方法 | |
CN111645074A (zh) | 一种机器人抓取定位方法 | |
CN113379849B (zh) | 基于深度相机的机器人自主识别智能抓取方法及*** | |
CN112529858A (zh) | 一种基于机器视觉的焊缝图像处理方法 | |
CN111721259A (zh) | 基于双目视觉的水下机器人回收定位方法 | |
CN112561886A (zh) | 一种基于机器视觉的工件自动分拣方法及*** | |
CN111784655A (zh) | 一种水下机器人回收定位方法 | |
CN114758236A (zh) | 一种非特定形状物体识别、定位与机械手抓取***及方法 | |
CN113689509A (zh) | 基于双目视觉的无序抓取方法、***及存储介质 | |
CN113878576A (zh) | 一种机器人视觉分拣工艺程序编制方法 | |
CN115629066A (zh) | 一种基于视觉引导的面向自动配线的方法及装置 | |
CN111267094A (zh) | 一种基于双目视觉的工件定位与抓取方法 | |
CN113664826A (zh) | 一种未知环境中的机器人抓取方法及*** | |
CN114092428A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
CN114037595A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
Lin et al. | Vision based object grasping of industrial manipulator | |
Gao et al. | An automatic assembling system for sealing rings based on machine vision | |
CN114782535B (zh) | 工件位姿识别方法、装置、计算机设备及存储介质 | |
CN114851206B (zh) | 基于视觉引导机械臂抓取炉具的方法 | |
CN115770988A (zh) | 一种基于点云环境理解的焊接机器人智能示教方法 | |
Funakubo et al. | Recognition and handling of clothes with different pattern by dual hand-eyes robotic system | |
WO2023082417A1 (zh) | 抓取点信息获取方法、装置、电子设备和存储介质 | |
CN115753791A (zh) | 基于机器视觉的缺陷检测方法、装置以及*** | |
CN114926531A (zh) | 基于双目视觉的大视场下工件焊缝自主定位方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |