CN111993420A - 一种固定式双目视觉3d引导上件*** - Google Patents

一种固定式双目视觉3d引导上件*** Download PDF

Info

Publication number
CN111993420A
CN111993420A CN202010799467.2A CN202010799467A CN111993420A CN 111993420 A CN111993420 A CN 111993420A CN 202010799467 A CN202010799467 A CN 202010799467A CN 111993420 A CN111993420 A CN 111993420A
Authority
CN
China
Prior art keywords
workpiece
target workpiece
grabbing
robot controller
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010799467.2A
Other languages
English (en)
Inventor
江连杰
刘益
焦安强
张俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Risong Hokuto Automotive Equipment Co ltd
Original Assignee
Guangzhou Risong Hokuto Automotive Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Risong Hokuto Automotive Equipment Co ltd filed Critical Guangzhou Risong Hokuto Automotive Equipment Co ltd
Priority to CN202010799467.2A priority Critical patent/CN111993420A/zh
Publication of CN111993420A publication Critical patent/CN111993420A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种固定式双目视觉3D引导上件***，包括2台工业相机、图像处理工控机、机器人控制器；所述2台工业相机，用于从两处不同的角度拍摄目标工件的图像；所述图像处理工控机，用于获取所述目标工件的图像中的特征点信息，根据所述特征点信息计算目标工件位姿并与预设的模板工件位姿进行比对，计算得到目标工件的抓取坐标信息并将所述抓取坐标信息发送至所述机器人控制器；所述机器人控制器用于根据所述抓取坐标信息对目标工件进行抓取。本发明通过对机器人进行工件的位置引导，实现对不同型号工件的精确定位和抓取，从而节约了人力成本、提高了生产效率、提高了人工摆件的容错率。

Description

一种固定式双目视觉3D引导上件***
技术领域
本发明涉及机器视觉技术领域，尤其是涉及一种固定式双目视觉3D引导上件***。
背景技术
现有的工业加工设备大多是依靠人工搬运或者对机器人提前示教固定的抓取位姿，来实现对工件的搬运。当工件的位姿发生微小变化时，则机器人无法将工件准确的抓取，甚至由此导致机器人撞机事故。这时需要人工做二次调整工件位姿直至到达机器人的可抓取位，但是人工操作费时费力，需要极度精确的对工件进行位姿摆放。另外，固定工件的夹具占地面大，要实现多品种共有，结构设计复杂，有些还需要人工去完成夹具切换。
发明内容
本发明实施例所要解决的技术问题在于，提供一种固定式双目视觉3D引导上件***，通过对机器人进行工件的位置引导，实现对不同型号工件的精确定位和抓取，从而节约了人力成本、提高了生产效率、提高了人工摆件的容错率。
为了解决上述技术问题，本发明实施例提供了一种固定式双目视觉3D引导上件***，包括2台工业相机、图像处理工控机、机器人控制器；
所述2台工业相机，用于从两处不同的角度拍摄目标工件的图像；
所述图像处理工控机，用于获取所述目标工件的图像中的特征点信息，根据所述特征点信息计算目标工件位姿并与预设的模板工件位姿进行比对，计算得到目标工件的抓取坐标信息并将所述抓取坐标信息发送至所述机器人控制器；
所述机器人控制器用于根据所述抓取坐标信息对目标工件进行抓取。
进一步地，所述图像处理工控机为获取5个特征点以对目标工件进行定位，当定位失败的特征点个数超出预设的阈值时，控制显示模块显示定位失败的特征点信息，并发送工件定位失败信息至所述机器人控制器。
进一步地，还包括光源，所述光源用于对目标工件进行补光。
进一步地，所述光源为采用465nm波长的蓝色光源。
与现有技术相比，本发明具有如下有益效果：
本发明实施例提供了一种固定式双目视觉3D引导上件***，包括2台工业相机、图像处理工控机、机器人控制器；所述2台工业相机，用于从两处不同的角度拍摄目标工件的图像；所述图像处理工控机，用于获取所述目标工件的图像中的特征点信息，根据所述特征点信息计算目标工件位姿并与预设的模板工件位姿进行比对，计算得到目标工件的抓取坐标信息并将所述抓取坐标信息发送至所述机器人控制器；所述机器人控制器用于根据所述抓取坐标信息对目标工件进行抓取。本发明通过对机器人进行工件的位置引导，实现对不同型号工件的精确定位和抓取，从而节约了人力成本、提高了生产效率、提高了人工摆件的容错率。
附图说明
图1是本发明一实施例提供的固定式双目视觉3D引导上件***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，本发明实施例提供了一种固定式双目视觉3D引导上件***，包括2台工业相机、图像处理工控机、机器人控制器；
所述2台工业相机，用于从两处不同的角度拍摄目标工件的图像；
所述图像处理工控机，用于获取所述目标工件的图像中的特征点信息，根据所述特征点信息计算目标工件位姿并与预设的模板工件位姿进行比对，计算得到目标工件的抓取坐标信息并将所述抓取坐标信息发送至所述机器人控制器；
所述机器人控制器用于根据所述抓取坐标信息对目标工件进行抓取。
进一步地，所述图像处理工控机为获取5个特征点以对目标工件进行定位，当定位失败的特征点个数超出预设的阈值时，控制显示模块显示定位失败的特征点信息，并发送工件定位失败信息至所述机器人控制器。
进一步地，还包括光源，所述光源用于对目标工件进行补光。
进一步地，所述光源为采用465nm波长的蓝色光源。
需要说明的是，现有的工件抓取技术存在以下缺陷：
1，需要人工做二次调整工件位姿直至到达机器人的可抓取位，人工操作费时费力，需要极度精确的对工件进行位姿摆放。
2、机器人示教抓取位置固定单一，灵活性低，有抓件失败风险。
3、固定工件的夹具占地面大，要实现多品种共有，结构设计复杂，有些还需要人工去完成夹具切换。
4、常见的视觉引导机器人只能够在2D平面内对工件做位姿纠偏，而且在工厂内视觉***容易受环境光影响，导致视觉定位失败，机器人没法自动抓取工件。
基于上述方案，为便于更好的理解本发明实施例提供的固定式双目视觉3D引导上件***，以下进行详细说明：
在进行工件抓取时，两台相机呈一定角度拍摄同一产品特征，根据标定数据(保存在工控机硬盘的VPP格式文件)计算出工件特征点在机器人坐标系的坐标值，与视觉***建模时记录的模板工件特征点坐标值做对比，随后计算出工件在3D空间上的偏移量，然后通过TCP/IP通信发送给机器人控制器，机器人控制器根据坐标偏移量对工件进行抓取。
本发明的固定式双目视觉3D引导上件***由工业相机、工业镜头、光源组、图像处理工控机、机器人控制器等组成，图像处理工控机与工业相机通过千兆网线连接，给相机控制拍照；图像处理工控机与机器人控制器通过千兆网线连接，通过TCP/IP通信实现数据传输。
工业机器人搭配此***，可以简化机器人示教，简化工件夹具设计，解放人力，并可实现多品种混线生产。
需要说明的是，由于大部分视觉***容易受环境光的影响，会导致工件特征点定位失败。而自然光中的蓝光较少，本***选型了465nm波长蓝色光源和蓝色滤镜来减少环境光的干扰。
在一种可行的设计中，本***可以设定5个工件特征点，软件上可以设定容许1个工件特征点定位失败，软件由识别成功的4个特征点来整体计算工件位姿，以此大大提高了视觉软件的定位成功率。当出现2个或以上的工件特征点定位失败时，工控机会输出给机器人定位失败信息，视觉显示器上显示定位失败的特征点。
需要说明的是，再具体实施例中，对工件进行抓取时包含有标定、建模、抓取三部分。其中：
相机与光源分别固定安装，首次使用或相机位置发生变化时需要进行相机内标定(相机的畸变等内部参数校准)与相机外标定(用于计算相机坐标系和机器人坐标系的关系)。
相机标定时需拍摄9次安装在机器人抓手上的标定板。视觉软件处于在线模式，机器人处于连接状态，随后运行机器人相机标定程序。机器人将标定板置于相机下方，机器人带着标定板摆出9种姿态，然后相机拍照，并将机器人位姿坐标发送给图像处理工控机。相机拍照完成后，视觉软件自动计算标定结果，并保存在工控机本地文件夹。
在图像处理工控机的软件里进行工件特征点的设置以用于建模，在被检测物体上寻找5个轮廓清晰、黑白分明的特征点作为模板，通过对这5个特征点做2D模板匹配定位，随后根据上部分的标定结果计算出5个特征点的3D坐标。选取并设置好特征点后，将工件置于标准位置，机器人运行建模程序，相机拍照并识别特征点，并保存建模数据到工控机本地文件夹。
建模完成后，保证工件不动，示教机器人去抓取此工件，调整好抓取位置后，在机器人抓取程序中记录此点为抓取点。此时视觉引导抓取工件的程序已经完成，由机器人主程序来对这部分程序做调用，即实现了机器人的自动视觉引导抓件。
与现有技术相比，本发明实施例具有如下有益效果：
在机器人允许的可活动范围内可以灵活、准确、快速地对机器人进行工件的位置引导，实现对不同型号工件的精确定位和抓取，抓取精度在±0.5mm以内，提高工件摆放位置的灵活性，节约了人力成本，提高了生产效率，提高了人工摆件位置的容错率。同时在生产过错中能够自动做检测图像和检测数据的保存，便于视觉软件参数优化及产品生产追溯。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (4)

1.一种固定式双目视觉3D引导上件***，其特征在于，包括2台工业相机、图像处理工控机、机器人控制器；
所述2台工业相机，用于从两处不同的角度拍摄目标工件的图像；
所述图像处理工控机，用于获取所述目标工件的图像中的特征点信息，根据所述特征点信息计算目标工件位姿并与预设的模板工件位姿进行比对，计算得到目标工件的抓取坐标信息并将所述抓取坐标信息发送至所述机器人控制器；
所述机器人控制器用于根据所述抓取坐标信息对目标工件进行抓取。
2.根据权利要求1所述的固定式双目视觉3D引导上件***，其特征在于，所述图像处理工控机为获取5个特征点以对目标工件进行定位，当定位失败的特征点个数超出预设的阈值时，控制显示模块显示定位失败的特征点信息，并发送工件定位失败信息至所述机器人控制器。
3.根据权利要求1所述的固定式双目视觉3D引导上件***，其特征在于，还包括光源，所述光源用于对目标工件进行补光。
4.根据权利要求3所述的固定式双目视觉3D引导上件***，其特征在于，所述光源为采用465nm波长的蓝色光源。
CN202010799467.2A 2020-08-10 2020-08-10 一种固定式双目视觉3d引导上件*** Pending CN111993420A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010799467.2A CN111993420A (zh) 2020-08-10 2020-08-10 一种固定式双目视觉3d引导上件***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010799467.2A CN111993420A (zh) 2020-08-10 2020-08-10 一种固定式双目视觉3d引导上件***

Publications (1)

Publication Number Publication Date
CN111993420A true CN111993420A (zh) 2020-11-27

Family

ID=73463018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010799467.2A Pending CN111993420A (zh) 2020-08-10 2020-08-10 一种固定式双目视觉3d引导上件***

Country Status (1)

Country Link
CN (1) CN111993420A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112873205A (zh) * 2021-01-15 2021-06-01 陕西工业职业技术学院 基于双夹具实时切换的工业机器人无序抓取方法
CN113954072A (zh) * 2021-11-05 2022-01-21 中国矿业大学 一种视觉引导的木门工件智能识别定位***及方法
CN114932516A (zh) * 2022-04-28 2022-08-23 珠海格力电器股份有限公司 一种空调外机电机轴的定位和装配***及其控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850108A (zh) * 2015-05-19 2015-08-19 国家电网公司 用于移动工业机器人的亮度可控补偿视觉定位装置及方法
CN108109174A (zh) * 2017-12-13 2018-06-01 上海电气集团股份有限公司 一种用于散乱零件随机分拣的机器人单目引导方法和***
US20180361588A1 (en) * 2016-01-27 2018-12-20 South China University Of Technology Multiple Lens-Based Smart Mechanical Arm and Positioning and Assembly Method Thereof
WO2019228523A1 (zh) * 2018-05-31 2019-12-05 上海微电子装备（集团）股份有限公司 物体空间位置形态的确定方法、装置、存储介质及机器人
CN110936369A (zh) * 2018-09-25 2020-03-31 南京曼新智能科技有限公司 一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的装置与方法
CN210757745U (zh) * 2019-09-16 2020-06-16 中国计量大学 一种用于双目视觉位姿采集与抓取的装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850108A (zh) * 2015-05-19 2015-08-19 国家电网公司 用于移动工业机器人的亮度可控补偿视觉定位装置及方法
US20180361588A1 (en) * 2016-01-27 2018-12-20 South China University Of Technology Multiple Lens-Based Smart Mechanical Arm and Positioning and Assembly Method Thereof
CN108109174A (zh) * 2017-12-13 2018-06-01 上海电气集团股份有限公司 一种用于散乱零件随机分拣的机器人单目引导方法和***
WO2019228523A1 (zh) * 2018-05-31 2019-12-05 上海微电子装备（集团）股份有限公司 物体空间位置形态的确定方法、装置、存储介质及机器人
CN110936369A (zh) * 2018-09-25 2020-03-31 南京曼新智能科技有限公司 一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的装置与方法
CN210757745U (zh) * 2019-09-16 2020-06-16 中国计量大学 一种用于双目视觉位姿采集与抓取的装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐德，谭民，李原: "《机器人视觉测量与控制》", 31 December 2016 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112873205A (zh) * 2021-01-15 2021-06-01 陕西工业职业技术学院 基于双夹具实时切换的工业机器人无序抓取方法
CN113954072A (zh) * 2021-11-05 2022-01-21 中国矿业大学 一种视觉引导的木门工件智能识别定位***及方法
CN113954072B (zh) * 2021-11-05 2024-05-28 中国矿业大学 一种视觉引导的木门工件智能识别定位***及方法
CN114932516A (zh) * 2022-04-28 2022-08-23 珠海格力电器股份有限公司 一种空调外机电机轴的定位和装配***及其控制方法

Similar Documents

Publication Publication Date Title
CN111993420A (zh) 一种固定式双目视觉3d引导上件***
CN106426161B (zh) 在引导装配环境中将机器视觉坐标空间关联的***和方法
CN108827154B (zh) 一种机器人无示教抓取方法、装置及计算机可读存储介质
US20200061837A1 (en) Method for industrial robot commissioning, industrial robot system and control system using the same
US10223589B2 (en) Vision system for training an assembly system through virtual assembly of objects
GB2581843A (en) Calibration system and method for robotic cells
CN106733525A (zh) 一种基于双摄像头的自动点胶的方法及装置
US9591228B2 (en) Method for the localization of a tool in a workplace, corresponding system and computer program product
US20150202776A1 (en) Data generation device for vision sensor and detection simulation system
US10477154B2 (en) System and method for aligning two work pieces with a vision system in the presence of occlusion
US11972589B2 (en) Image processing device, work robot, substrate inspection device, and specimen inspection device
JP7191309B2 (ja) カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法
CN112221890A (zh) 一种涂布纠正方法及装置
CN110796738B (zh) 巡检设备状态跟踪的三维可视化方法及装置
CN208366871U (zh) 检测***
CN114080590A (zh) 使用先进扫描技术的机器人料箱拾取***和方法
CN113500593A (zh) 一种抓取轴类工件指定部位进行上料的方法
CN109814434A (zh) 控制程序的校准方法及装置
US11455767B1 (en) Intelligent material completeness detection and configuration method based on digital twin and augmented reality (AR)
CN115629066A (zh) 一种基于视觉引导的面向自动配线的方法及装置
JP2009289046A (ja) ３次元データを用いた作業支援装置及び方法
CN110763137A (zh) 产品姿态的确定方法及装置
CN112529856A (zh) 确定操作对象位置的方法、机器人和自动化***
KR20150066845A (ko) 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템
CN108711174B (zh) 一种机械臂近似平行视觉定位***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201127

RJ01 Rejection of invention patent application after publication