CN110634164A - 视觉传感器快速标定方法 - Google Patents

视觉传感器快速标定方法 Download PDF

Info

Publication number
CN110634164A
CN110634164A CN201910981795.1A CN201910981795A CN110634164A CN 110634164 A CN110634164 A CN 110634164A CN 201910981795 A CN201910981795 A CN 201910981795A CN 110634164 A CN110634164 A CN 110634164A
Authority
CN
China
Prior art keywords
robot
coordinate system
points
calibration
flange
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910981795.1A
Other languages
English (en)
Other versions
CN110634164B (zh
Inventor
刘海庆
赵素雷
郭寅
郭磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yi Si Si Hangzhou Technology Co ltd
Original Assignee
Isvision Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isvision Hangzhou Technology Co Ltd filed Critical Isvision Hangzhou Technology Co Ltd
Priority to CN201910981795.1A priority Critical patent/CN110634164B/zh
Publication of CN110634164A publication Critical patent/CN110634164A/zh
Application granted granted Critical
Publication of CN110634164B publication Critical patent/CN110634164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种视觉传感器快速标定方法，该视觉传感器在使用过程中位置固定；标定过程中使用的特征点为机器人法兰或抓手上的显著点或者外设于机器人法兰或者抓手上的人工标记点；标定方法包括以下步骤：视觉传感器分别采集n个机器人位姿下的特征点图像，基于机器人位姿获取机器人法兰坐标到基座坐标系的转换矩阵，再依据n个不同位姿下特征点的相机成像方程组通过非线性最小二乘法进行迭代求解，得到机器人基座坐标系到相机坐标系的坐标转换矩阵。该方法无需标定板，适用于各种复杂现场环境，能在半个小时内完成标定，至少减少50％的时间。

Description

视觉传感器快速标定方法
技术领域
本发明涉及视觉检测领域，具体涉及视觉传感器快速标定方法。
背景技术
工业现场，视觉传感器越来越多的被引入到机器人自动化领域。视觉传感器安装在某固定位置，对传感器视场内来料位姿变化的工件进行拍照、解算，指导机器人实现准确抓取等任务。在该场合下，首先需要对视觉传感器进行手眼标定(eye to hand)，即获取视觉传感器坐标系和机器人基座坐标系之间的相对位姿关系。而对于手眼标定，传统的标定方式为：工业机器人末端通过特制夹具固定一块棋盘格标定板，调整机器人位姿使标定板在视觉传感器中变换不同姿态，进而确定视觉传感器和机器人基座之间的位姿关系。现场机器人末端通常安装有末端执行器(抓手、焊枪、胶枪等)，需要根据现场不同末端执行器适配不同夹具安装标定板，该过程耗时较多，严重影响现场生产节拍。因此，工业现场亟需一种简单、实用的相机快速标定方法。
发明内容
为了解决上述技术问题，本发明提供一种视觉传感器快速标定方法，无需标定板，适用于各种复杂现场环境，在半个小时内即可完成标定，至少减少50％的时间。为此，本发明的技术方案如下：
一种视觉传感器快速标定方法，该视觉传感器在使用过程中位置固定；标定过程中使用的特征点为机器人法兰或抓手上的显著点或者外设于机器人法兰或者抓手上的人工标记点；
标定方法包括如下步骤：
1)分别调节机器人至n个位姿，在每个位姿下，利用视觉传感器采集特征点的图像，对应记录特征点的图像坐标(ui,vi)；其中i为机器人处于第i组位姿状态，取值范围为区间[1，n]内的自然数，n≥5；b代表机器人基座坐标系；
2)获取机器人在第i组位姿
Figure BDA0002235435040000022
时机器人法兰坐标系到机器人基座坐标系的转换矩阵
利用如下公式建立机器人第i组位姿所对应的特征点的相机成像方程，该相机成像方程组共有n个；
Figure BDA0002235435040000024
式中：s为比例因子；
(ui,vi)表示特征点在相机图像坐标系中的坐标；
M为相机内参矩阵，在相机出厂时标定完成；
cTb表示机器人基座坐标系到相机坐标系的坐标转换矩阵，即待求手眼关系；
(xf,yf,zf)表示机器人法兰上固定特征点在法兰坐标系下坐标；
3)将步骤2)中建立的n个相机成像方程组通过非线性最小二乘法进行迭代求解，得到cTb。
为了提高测试结果的精度，将视觉检测传感器所采集的图像上特征点的图像坐标绘制在同一张图片上时，n个特征点分散在图片的不同位置。
进一步，n的取值为7、8或9。
进一步，机器人法兰或抓手上的显著点为螺钉、凸起、棱角、孔或凹槽。
进一步，外设于机器人法兰或者抓手上的人工标记点为反光标记点。
本发明提供的视觉传感器快速标定方法，无需标定板、夹具等标定设备，利用固定在机器人末端的一个特征点实现工业现场固定式相机的快速标定，满足现场复杂环境下使用，标定时间控制在30min内。而现有固定式相机的手眼标定方法需要外设标定板或借助跟踪仪，耗时在1h左右，为了满足标定板的安装，还需要配套提供对应的工装夹具。本发明提供的方法明显优于现有方法。
附图说明
图1为本发明方法采集的多张特征点图像汇总在同一张图上的分布图。
具体实施方式
以下结合附图和具体实施方式对本发明的技术方案进行详细描述。
一种视觉传感器快速标定方法，该视觉传感器在使用过程中位置固定，视觉传感器可以固定在设有特征点的机器人以外的其他位置，其可固定在工位上，也可固定在另一台机器人上，只要在标定过程中，其位置固定即可；标定过程中使用的特征点为机器人法兰或抓手上的显著点或者外设于机器人法兰或者抓手上的人工标记点；具体来说：机器人法兰或抓手上的显著点为螺钉、凸起、棱角、孔或凹槽；外设于机器人法兰或者抓手上的人工标记点为反光标记点；
标定方法包括如下步骤：
1)分别调节机器人至n个位姿，在每个位姿
Figure BDA0002235435040000031
下，利用视觉传感器采集特征点的图像，对应记录特征点的图像坐标(ui,vi)；其中i为机器人处于第i组位姿状态，取值范围为区间[1，n]内的自然数，n≥5，优选7、8或9；b代表机器人基座坐标系；
优选，将视觉检测传感器所采集的图像上特征点的图像坐标绘制在同一张图片上时，n个特征点分散在图片的不同位置，以7张图片为例，其分布如图1所示，以此来提高测试结果的精度；
2)获取机器人在第i组位姿
Figure BDA0002235435040000041
时机器人法兰坐标系到机器人基座坐标系的转换矩阵
Figure BDA0002235435040000042
利用如下公式建立机器人第i组位姿所对应的特征点的相机成像方程，该相机成像方程组共有n个；
Figure BDA0002235435040000043
式中：s为比例因子；
(ui,vi)表示特征点在相机图像坐标系中的坐标；
M为相机内参矩阵，在相机出厂时标定完成；
cTb表示机器人基座坐标系到相机坐标系的坐标转换矩阵，即待求手眼关系；
(xf,yf,zf)表示机器人法兰上固定特征点在法兰坐标系下坐标；
3)将步骤2)中建立的n个相机成像方程组通过非线性最小二乘法进行迭代求解，得到cTb。
前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的，也不是想要把本发明限制为所公开的精确形式，显然，根据上述教导很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。

Claims (5)

1.一种视觉传感器快速标定方法，该视觉传感器在使用过程中位置固定；其特征在于：标定过程中使用的特征点为机器人法兰或抓手上的显著点或者外设于机器人法兰或者抓手上的人工标记点；
标定方法包括如下步骤：
1)分别调节机器人至n个位姿，在每个位姿
Figure FDA0002235435030000011
下，利用视觉传感器采集特征点的图像，对应记录特征点的图像坐标(ui,vi)；其中i为机器人处于第i组位姿状态，取值范围为区间[1，n]内的自然数，n≥5；b代表机器人基座坐标系；
2)获取机器人在第i组位姿
Figure FDA0002235435030000012
时机器人法兰坐标系到机器人基座坐标系的转换矩阵
Figure FDA0002235435030000013
利用如下公式建立机器人第i组位姿所对应特征点的相机成像方程，该相机成像方程组共有n个；
Figure FDA0002235435030000014
式中：s为比例因子；
(ui,vi)表示特征点在相机图像坐标系中的坐标；
M为相机内参矩阵；
cTb表示机器人基座坐标系到相机坐标系的坐标转换矩阵；
(xf,yf,zf)表示机器人法兰上固定特征点在法兰坐标系下坐标；
3)将步骤2)中建立的n个相机成像方程组通过非线性最小二乘法进行迭代求解，得到cTb。
2.如权利要求1所述视觉传感器快速标定方法，其特征在于：将视觉检测传感器所采集的图像上特征点的图像坐标绘制在同一张图片上时，n个特征点分散在图片的不同位置。
3.如权利要求1所述视觉传感器快速标定方法，其特征在于：n的取值为7、8或9。
4.如权利要求1所述视觉传感器快速标定方法，其特征在于：机器人法兰或抓手上的显著点为螺钉、凸起、棱角、孔或凹槽。
5.如权利要求1所述视觉传感器快速标定方法，其特征在于：外设于机器人法兰或者抓手上的人工标记点为反光标记点。
CN201910981795.1A 2019-10-16 2019-10-16 视觉传感器快速标定方法 Active CN110634164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910981795.1A CN110634164B (zh) 2019-10-16 2019-10-16 视觉传感器快速标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910981795.1A CN110634164B (zh) 2019-10-16 2019-10-16 视觉传感器快速标定方法

Publications (2)

Publication Number Publication Date
CN110634164A true CN110634164A (zh) 2019-12-31
CN110634164B CN110634164B (zh) 2022-06-14

Family

ID=68975156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910981795.1A Active CN110634164B (zh) 2019-10-16 2019-10-16 视觉传感器快速标定方法

Country Status (1)

Country Link
CN (1) CN110634164B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111912337A (zh) * 2020-07-24 2020-11-10 上海擎朗智能科技有限公司 机器人位姿信息的确定方法、装置、设备和介质
CN112598752A (zh) * 2020-12-24 2021-04-02 东莞市李群自动化技术有限公司 基于视觉识别的标定方法及作业方法
WO2021158773A1 (en) * 2020-02-06 2021-08-12 Berkshire Grey, Inc. Systems and methods for camera calibration with a fiducial of unknown position on an articulated arm of a programmable motion device
CN114918926A (zh) * 2022-07-22 2022-08-19 杭州柳叶刀机器人有限公司 机械臂视觉配准方法、装置、控制终端及存储介质
CN116359891A (zh) * 2023-06-01 2023-06-30 季华实验室 一种多传感器快速标定方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108733082A (zh) * 2017-04-25 2018-11-02 深圳市裕展精密科技有限公司 机器人工具中心点的校准方法
CN108748146A (zh) * 2018-05-30 2018-11-06 武汉库柏特科技有限公司 一种机器人手眼标定方法及***
US20190084160A1 (en) * 2010-05-14 2019-03-21 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
CN109737871A (zh) * 2018-12-29 2019-05-10 南方科技大学 一种三维传感器与机械手臂的相对位置的标定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190084160A1 (en) * 2010-05-14 2019-03-21 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
CN108733082A (zh) * 2017-04-25 2018-11-02 深圳市裕展精密科技有限公司 机器人工具中心点的校准方法
CN108748146A (zh) * 2018-05-30 2018-11-06 武汉库柏特科技有限公司 一种机器人手眼标定方法及***
CN109737871A (zh) * 2018-12-29 2019-05-10 南方科技大学 一种三维传感器与机械手臂的相对位置的标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢则晓 等: "基于结构光视觉引导的工业机器人定位***", 《光学学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021158773A1 (en) * 2020-02-06 2021-08-12 Berkshire Grey, Inc. Systems and methods for camera calibration with a fiducial of unknown position on an articulated arm of a programmable motion device
US11826918B2 (en) 2020-02-06 2023-11-28 Berkshire Grey Operating Company, Inc. Systems and methods for camera calibration with a fiducial of unknown position on an articulated arm of a programmable motion device
CN111912337A (zh) * 2020-07-24 2020-11-10 上海擎朗智能科技有限公司 机器人位姿信息的确定方法、装置、设备和介质
US11644302B2 (en) 2020-07-24 2023-05-09 Keenon Robotics Co., Ltd. Method and apparatus for determining pose information of a robot, device and medium
CN112598752A (zh) * 2020-12-24 2021-04-02 东莞市李群自动化技术有限公司 基于视觉识别的标定方法及作业方法
CN112598752B (zh) * 2020-12-24 2024-02-27 东莞市李群自动化技术有限公司 基于视觉识别的标定方法及作业方法
CN114918926A (zh) * 2022-07-22 2022-08-19 杭州柳叶刀机器人有限公司 机械臂视觉配准方法、装置、控制终端及存储介质
CN114918926B (zh) * 2022-07-22 2022-10-25 杭州柳叶刀机器人有限公司 机械臂视觉配准方法、装置、控制终端及存储介质
CN116359891A (zh) * 2023-06-01 2023-06-30 季华实验室 一种多传感器快速标定方法及***
CN116359891B (zh) * 2023-06-01 2023-09-12 季华实验室 一种多传感器快速标定方法及***

Also Published As

Publication number Publication date
CN110634164B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN110634164B (zh) 视觉传感器快速标定方法
CN110103217B (zh) 工业机器人手眼标定方法
CN108326850B (zh) 一种机器人准确移动机械臂到达指定位置的方法及***
CN110238849B (zh) 机器人手眼标定方法及装置
CN106767393B (zh) 机器人的手眼标定装置与方法
CN108436909A (zh) 一种基于ros的相机和机器人的手眼标定方法
CN112894823B (zh) 一种基于视觉伺服的机器人高精度装配方法
CN110666805A (zh) 一种基于主动视觉的工业机器人分拣方法
CN111452048B (zh) 多机器人相对空间位置关系的标定方法和装置
CN108748149B (zh) 一种复杂环境下基于深度学习的无标定机械臂抓取方法
CN110136204B (zh) 基于双侧远心镜头相机机床位置标定的音膜球顶装配***
CN110202560A (zh) 一种基于单个特征点的手眼标定方法
EP1607194A3 (en) Robot system comprising a plurality of robots provided with means for calibrating their relative position
CN112958960B (zh) 一种基于光学靶标的机器人手眼标定装置
CN107225882A (zh) 一种基于ccd导航定位的激光打标方法
CN111941425A (zh) 基于激光跟踪仪和双目相机的机器人铣削***工件快速定位方法
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及***
CN109737871B (zh) 一种三维传感器与机械手臂的相对位置的标定方法
CN106341956B (zh) 一种固定相机校正方法
Yang et al. Visual servoing of humanoid dual-arm robot with neural learning enhanced skill transferring control
CN111251189B (zh) 一种用于铸件打磨的视觉定位方法
CN111815718B (zh) 一种基于视觉的工业螺钉机器人切换工位的方法
CN110533727B (zh) 一种基于单个工业相机的机器人自定位方法
CN112598752A (zh) 基于视觉识别的标定方法及作业方法
CN112507755A (zh) 最小化二维码角点重投影误差的目标物体六自由度定位方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room 495, building 3, 1197 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province 310051

Patentee after: Yi Si Si (Hangzhou) Technology Co.,Ltd.

Address before: Room 495, building 3, 1197 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province 310051

Patentee before: ISVISION (HANGZHOU) TECHNOLOGY Co.,Ltd.