CN110246193A - 工业机器人末端相机在线标定方法 - Google Patents
工业机器人末端相机在线标定方法 Download PDFInfo
- Publication number
- CN110246193A CN110246193A CN201910539689.8A CN201910539689A CN110246193A CN 110246193 A CN110246193 A CN 110246193A CN 201910539689 A CN201910539689 A CN 201910539689A CN 110246193 A CN110246193 A CN 110246193A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- parameter
- camera
- model
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000009466 transformation Effects 0.000 claims abstract description 95
- 239000012636 effector Substances 0.000 claims abstract description 44
- 238000005457 optimization Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 50
- 230000001131 transforming effect Effects 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 12
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 claims 1
- 238000009434 installation Methods 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种工业机器人末端相机在线标定方法，涉及机器人工业相机标定的技术领域，标定方法通过末端执行器控制工业相机在多个位置采集特征点的实际像点坐标；将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块，确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型；该方法整合了工业机器人的姿态规划、手眼标定参数优化等流程，能够实现工业机器人末端安装相机的在线自动标定。
Description
技术领域
本发明涉及机器人工业相机标定技术领域，尤其是涉及一种工业机器人末端相机在线标定方法及装置。
背景技术
在工业机器人的机械臂末端安装工业相机，通过视觉图像技术使工业机器人获得一定的智能和柔性工作能力，使工业自动化和智能制造工程中常用的解决方案。为确定空间物体表面某点的三位几何位置与其在相机成像中对应点之间的相互关系，必须建立工业机器人末端执行器上的工业相机成像的几何模型，通过实验与计算获得这些几何模型的参数，这个求解几何模型参数的过程叫相机标定。
现有的相机标定方法需要使用高精度的尺寸已知的标定物，通过建立标定物上坐标已知的点与其图像点之间的对应关系，利用一定的算法获得相机模型的内外参数。这些传统相机标定法需要人工参与，标定效率低，在标定过程中始终需要标定物，且标定物的制作精度会影响标定结果。同时有些场合不适合放置标定物，比如自动化产线上的工业机器人末端相机在作临时调整的情况下，传统相机标定方法无法实时地对相机进行标定，对这类场景的相机标定就要用到相机在线标定的技术。
发明内容
本发明的目的在于为了克服传统相机标定方法的应用局限性，提高相机标定的效率、精度以及稳定性，针对常见的机械臂末端安装工业相机的情况，本发明提出一种工业机器人末端相机在线自动标定的方法，亦称手眼在线标定，手表示工业机器人的末端执行器，眼表示工业相机。这种方法不需要高精度标定物的配合，可以在工业机器人作业场景下，实现全自动地根据特征点重投影建立相机在线标定非线性优化模型，再利用非线性迭代优化方法求解，获得相机在线标定的最优参数。
本发明提供的一种工业机器人末端相机在线标定方法，所述方法适用于工业机器人，所述工业机器人包括末端执行器和工业相机，所述末端执行器与所述工业相机连接，所述包括如下步骤：
通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；
通过末端执行器控制工业相机在多个位置采集标定物的图像，通过所述多个位置的标定物的图像得到特征点的实际像点坐标；
将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件，确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数；
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块。
进一步的，所述至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小的方法包括：通过非线性参数模型至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，所述非线性参数模型为：
其中，i为末端执行器控制工业相机第i次运动，n为末端执行器控制工业相机运动的总次数，u和v为相机成像平面的坐标轴，Wiu为特征点的实际像点和重投影像点在u轴上的坐标差值，Wiv为特征点的实际像点和重投影像点在v轴上的坐标差值；
其中，特征点在标定物坐标系Co的物理坐标值为oi，特征点在相机图像坐标系的实际像点坐标值为pi，piu和piv分别为pi在相机图像坐标系中u、v轴上的分量，Fu(oi)和Fv(oi)分别为oi经重投影变换后的重投影像点在u、v轴上的分量。
进一步的，所述重投影变换坐标模型为：
p＝F(o)＝MJc＝MJTecTweTowo
其中，o为标定特征点在标定物坐标系Co的物理坐标值，Tow为标定物坐标系到基座世界坐标系的变换矩阵，Twe为基座世界坐标系到末端执行器坐标系的变换矩阵，Tec为末端执行器坐标系到相机坐标系的变换矩阵，Tec即手眼变换坐标X，矩阵M为相机内参数矩阵，J为相机畸变参数矩阵。
进一步的，所述手眼变换坐标X为：
其中，R为手眼变换矩阵的旋转矩阵，即R为第一参数，t为手眼变换矩阵的平移向量，即t为第二参数。
进一步的，所述相机畸变参数矩阵包括镜头径向畸变公式，所述镜头径向畸变公式为：
式中，un和vn表示畸变模型下的实际像点，u和v表示无畸变理想像点，u0和v0表示像素坐标系主点，k1、k2为径向畸变比例系数，(x,y)为像点物理坐标实际值。
进一步的，所述通过末端执行器控制工业相机在多个位置采集标定物的图像的方法包括：
工业相机在成像平面上获取特征点的成像坐标(u，v)：
其中，random表示按照括号内的给定范围取随机值，umax为相机u轴方向分辨率，vmax为相机v轴方向分辨率，k为比例系数。
进一步的，所述通过末端执行器控制工业相机在多个位置采集标定物的图像的方法包括：
所述通过末端执行器依据姿态规划结果控制工业相机在多个位置采集标定物的图像。
进一步的，所述姿态规划的方法包括：
特征点在标定物坐标系的物理坐标通过相机投射模型和手眼变换模型得到末端执行器的相对位置，根据该相对位置设置末端执行器的运动。
进一步的，所述相机投射模型为：
其中，fx和fy为相机归一化焦距，cx和cy为光心所在像平面位置，(xc,yc,zc)为相机坐标系下的像点坐标；
所述手眼变换模型为：
其中，(xe,ye,ze)为像点在执行器坐标下的坐标。
一种工业相机的标定装置，包括：
初始参数采集模块，用于通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
初始参数定义模块，用于根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；
迭代参数采集模块，用于通过末端执行器控制工业相机在多个位置采集标定物的图像，通过所述多个位置的标定物的图像得到特征点的实际像点坐标；
迭代优化模块，用于将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件：
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块；
确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数。
本发明提供的工业机器人末端相机在线标定方法，整合了工业机器人的姿态规划、工业相机的特征点采集和手眼标定参数优化的流程，能够实现工业机器人末端安装相机的在线自动标定。通过对工业机器人进行姿态规划，让工业相机到达预定位置拍照获取标定物的特征点的成像坐标，通过采集的多组特征点的成像坐标代入根据重投影变换坐标模型建立的误差和最小的非线性优化模型，采用非线性迭代方法迭代出最优的手眼变换矩阵参数，将包含最优参数的手眼变换矩阵作为标定的手眼变换矩阵。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的工业机器人末端相机在线标定方法的流程示意图；
图2为本发明另一实施例提供的工业机器人末端相机在线标定方法的流程示意图；
图3为本发明实施例提供的工业机器人末端相机在线标定方法中相机成像模型示意图；
图4为本发明实施例提供的工业机器人末端相机在线标定方法中工业机器人各坐标系的示意图；
图5为本发明实施例提供的工业相机的标定装置的示意框图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
为了克服传统相机标定方法的应用局限性，提高相机标定的效率、精度以及稳定性，本实施例提供了一种工业机器人末端相机在线标定方法。在工业机器人末端相机在线标定方法主要是求解其标定方程AX＝XB，其中A表示工业机器人位姿变换后相机的相对运动，B表示工业机器人末端执行器的相对运动，X为需要求解的相机坐标系与末端执行器坐标系之间的变换关系。求解这类变换矩阵的方法分为线性求解和非线性求解。其中线性求解变换矩阵方法，其实质是将变换矩阵X解耦为旋转矩阵与平移向量两部分求解，这类方法计算量小，但存在误差传递的情况，精度难以保证。而采用非线性方法求解这类手眼变换矩阵时，通常基于大量数据采用非线性迭代方法完成参数优化，如何选择优化的非线性参数模型是保证优化结果精度及优化速度的关键。
如图1所述，本实施例提供一种工业机器人末端相机在线标定方法，所述方法适用于工业机器人，所述工业机器人包括末端执行器和工业相机，所述末端执行器与所述工业相机连接，所述包括如下步骤：
S110：通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
上述特征点的成像坐标及特征点的像素坐标，如480*320的图像，特征点位置是100*100，则特征点的像素坐标为(100,100)，特征点的成像坐标也为(100,100)。
S120：根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；S130：通过末端执行器控制工业相机在多个位置采集标定物的图像，通过所述多个位置的标定物的图像得到特征点的实际像点坐标；
S140：将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件，确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数；
S150：标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块。
上述标定物的实际像点和重投影像点之间距离和最小具体可以用下面公式表达：
其中，i为末端执行器控制工业相机第i次运动，n为末端执行器控制工业相机运动的总次数，u和v为相机成像平面的坐标轴，Wiu为特征点的实际像点和重投影像点在u轴上的坐标差值，Wiv为特征点的实际像点和重投影像点在v轴上的坐标差值。
上述重投影变换坐标模型指标定物特征点从标定物坐标系向像素坐标系的转换关系，本申请中采用了标定物坐标系转换至基座世界坐标系，再转换至工业机器人的末端执行器坐标系，经手眼变换关系及相机内参数矩阵得到像素坐标(成像坐标)。
本工业机器人末端相机在线标定方法满足了工业机器人末端相机根据生产任务在做临时调整的情况下，对相机标定高精度、高效率、低成本以及实时性的需求，通过工业机器人的姿态规划、相机图像特征点采集和手眼标定参数优化的流程，根据标定特征点的重投影特性，由标定特征点实际像点与理论像点的误差和最小建立非线性优化模型，并通过非线性迭代方法求得手眼变换矩阵最优参数解，通过模型迭代求得最优解，保证了标定的精度，不需要外在高精度标定物的配合，可实现工业机器人末端安装相机的在线全自动标定。
实施例二
本实施具体提供一种工业相机标定方法的简要步骤，如图2所示。
S210：确定初始重投影变换坐标模型的初始第一参数和初始第二参数并估算手眼变换坐标X；
S220：规划期望像点与姿态；
S230：机器人的末端执行器到位采集标定物的实际像点坐标；
S240：判断实际像点坐标是否满足要求；
S250：记录标定物的实际像点坐标；
S260：根据重投影变换坐标模型计算重投影像点坐标；
S270：通过非线性参数模型迭代优化；
S280：判断是否满足停止条件；
S290：自动手眼标定完成。
实施例三
本实施例具体公开了一种工业机器人末端相机在线标定方法，包括如下步骤：
通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；
如图3所示，为保证工业机器人末端相机在线自动标定能得到精确的结果，并具有最佳的效率，每次采集的标定特征点应处在相机成像范围内，并均匀分布在相机的成像平面上。为实现上述效果，工业机器人需要不断进行标定数据采集的姿态规划。
所述通过末端执行器依据姿态规划结果控制工业相机在多个位置采集标定物的图像，工业相机在成像平面上获取特征点的成像坐标(u，v)：
其中，random表示按照括号内的给定范围取随机值，umax为相机u轴方向分辨率，vmax为相机v轴方向分辨率，k为比例系数。所述多个位置的标定物的图像中包括的成像坐标(u，v)为特征点的实际像点坐标；
所述姿态规划的方法包括：
特征点在标定物坐标系的物理坐标通过相机投射模型和手眼变换模型得到末端执行器的相对位置，根据该相对位置设置末端执行器的运动。
所述相机投射模型为：
其中，fx和fy为相机归一化焦距，cx和cy为光心所在像平面位置，(xc,yc,zc)为相机坐标系下的像点坐标；
所述手眼变换模型为：
其中，(xe,ye,ze)为像点在执行器坐标下的坐标。
将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件，确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数；
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，通过非线性参数模型至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块。
所述非线性参数模型为：
其中，i为末端执行器控制工业相机第i次运动，n为末端执行器控制工业相机运动的总次数，u和v为相机成像平面的坐标轴，Wiu为特征点的实际像点和重投影像点在u轴上的坐标差值，Wiv为特征点的实际像点和重投影像点在v轴上的坐标差值；
其中，特征点在标定物坐标系Co的物理坐标值为oi，特征点在相机图像坐标系的实际像点坐标值为pi，piu和piv分别为pi在相机图像坐标系中u、v轴上的分量，Fu(oi)和Fv(oi)分别为oi经重投影变换后的重投影像点在u、v轴上的分量。
如图4所示，所述重投影变换坐标模型为：
p＝F(o)＝MJc＝MJTecTweTowo
其中，o为标定特征点在标定物坐标系Co的物理坐标值，Tow为标定物坐标系到基座世界坐标系的变换矩阵，Twe为基座世界坐标系到末端执行器坐标系的变换矩阵，Tec为末端执行器坐标系到相机坐标系的变换矩阵，Tec即手眼变换坐标X，矩阵M为相机内参数矩阵，J为相机畸变参数矩阵。
所述手眼变换坐标X为：
其中，R为手眼变换矩阵的旋转矩阵，即R为第一参数，t为手眼变换矩阵的平移向量，即t为第二参数。
所述相机畸变参数矩阵包括镜头径向畸变公式，所述镜头径向畸变公式为：
式中，un和vn表示畸变模型下的实际像点，u和v表示无畸变理想像点，u0和v0表示像素坐标系主点，k1、k2为径向畸变比例系数，(x,y)为像点物理坐标实际值。
实施例四
如图5所示，一种工业相机的标定装置，包括：
初始参数采集模块100，用于通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
初始参数定义模块200，用于根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；
迭代参数采集模块300，用于通过末端执行器控制工业相机在多个位置采集标定物的图像，通过所述多个位置的标定物的图像得到特征点的实际像点坐标；
迭代优化模块400，用于将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件：
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块；
确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数。
实施例五
为了验证本发明提出的工业机器人末端相机的在线自动标定方法的可行性和实用性，将本发明方法代入变压器生产线进行实验，整个装配***由工控机，四轴工业机器人，工业CCD相机，料盘，输送机以及待装配零件构成，所采集特征点的物体采用某公司快换接头，其重复精度为±0.02mm。
该生产线使用四轴工业机器人完成装配工作，其中，手眼变换矩阵X中旋转矩阵R可以表示为平移矩阵t可以表示为由于工业相机的镜头畸变以径向畸变为主，为了提高非线性优化的效果，镜头畸变模型仅考虑径向畸变，以减少非线性参数的引入，镜头径向畸变公式为：
式中，un和vn表示畸变模型下的实际像点，u和v表示无畸变理想像点，u0和v0表示像素坐标系主点，k1、k2为径向畸变比例系数，(x,y)为像点物理坐标实际值。
将线纹尺水平放置于相机视场内，可以标定出当前工作距离下的像素当量dx和dy，根据参数优化模型，需要针对θ，tx，ty，k1，k2进行优化。
迭代方式采用DFP拟牛顿迭代法，这种方法只须选取合适的初值，根据求得的迭代函数的梯度，设定误差要求后即可进行迭代优化，其对参数初值选取的准确度要求不高，同时具有较快的迭代速度。
参数初值需要在离线状态下进行估计，首先让工业机器人在选定的位置放置快换接头，记录末端姿态和世界坐标，同时末端移动到位后采集标定特征点图像。图像处理后获得快换接头圆心的亚像素级坐标值，利用手眼变换矩阵的线性解法，求得手眼变换矩阵相关参数，作为自动标定与迭代优化的参数初值。
随后采用自动标定方法完成标定工作。整套自动标定过程采集的部分数据，如表1所示。
表1在线手眼标定数据采集部分结果
所使用的实验平台中相机安装板与工业机器人小臂平行，故旋转矩阵中的θ初值设为0。由于镜头畸变系数很小，故将k1、k2初值设为0。tx、ty已采用线性方法求得初值。
手眼变换矩阵各参数迭代优化结果如表2所示。
表2手眼标定参数迭代结果
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种工业机器人末端相机在线标定方法，其特征在于，所述方法适用于工业机器人，所述工业机器人包括末端执行器和工业相机，所述末端执行器与所述工业相机连接，所述方法包括如下步骤：
通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；
通过末端执行器控制工业相机在多个位置采集标定物的图像，通过所述多个位置的标定物的图像得到特征点的实际像点坐标；
将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件，确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数；
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块。
2.根据权利要求1所述的工业机器人末端相机在线标定方法，其特征在于，所述至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小的方法包括：通过非线性参数模型至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，所述非线性参数模型为：
其中，i为末端执行器控制工业相机第i次运动，n为末端执行器控制工业相机运动的总次数，u和v为相机成像平面的坐标轴，Wiu为特征点的实际像点和重投影像点在u轴上的坐标差值，Wiv为特征点的实际像点和重投影像点在v轴上的坐标差值；
其中，特征点在标定物坐标系Co的物理坐标值为oi，特征点在相机图像坐标系的实际像点坐标值为pi，piu和piv分别为pi在相机图像坐标系中u、v轴上的分量，Fu(oi)和Fv(oi)分别为oi经重投影变换后的重投影像点在u、v轴上的分量。
3.根据权利要求2所述的工业机器人末端相机在线标定方法，其特征在于，所述重投影变换坐标模型为：
p＝F(o)＝MJc＝MJTecTweTowo
其中，o为标定特征点在标定物坐标系Co的物理坐标值，Tow为标定物坐标系到基座世界坐标系的变换矩阵，Twe为基座世界坐标系到末端执行器坐标系的变换矩阵，Tec为末端执行器坐标系到相机坐标系的变换矩阵，Tec即手眼变换坐标X，矩阵M为相机内参数矩阵，J为相机畸变参数矩阵。
4.根据权利要求3所述的工业机器人末端相机在线标定方法，其特征在于，所述手眼变换坐标X为：
其中，R为手眼变换矩阵的旋转矩阵，即R为第一参数，t为手眼变换矩阵的平移向量，即t为第二参数。
5.根据权利要求3所述的工业机器人末端相机在线标定方法，其特征在于，所述相机畸变参数矩阵包括镜头径向畸变公式，所述镜头径向畸变公式为：
式中，un和vn表示畸变模型下的实际像点，u和v表示无畸变理想像点，u0和v0表示像素坐标系主点，k1、k2为径向畸变比例系数，(x,y)为像点物理坐标实际值。
6.根据权利要求1所述的工业机器人末端相机在线标定方法，其特征在于，所述通过末端执行器控制工业相机在多个位置采集标定物的图像的方法包括：
工业相机在成像平面上获取特征点的成像坐标(u，v)：
其中，random表示按照括号内的给定范围取随机值，umax为相机u轴方向分辨率，vmax为相机v轴方向分辨率，k为比例系数。
7.根据权利要求1所述的工业机器人末端相机在线标定方法，其特征在于，所述通过末端执行器控制工业相机在多个位置采集标定物的图像的方法包括：
所述通过末端执行器依据姿态规划结果控制工业相机在多个位置采集标定物的图像。
8.根据权利要求7所述的工业机器人末端相机在线标定方法，其特征在于，所述姿态规划的方法包括：
特征点在标定物坐标系的物理坐标通过相机投射模型和手眼变换模型得到末端执行器的相对位置，根据该相对位置设置末端执行器的运动。
9.根据权利要求8所述的工业机器人末端相机在线标定方法，其特征在于，所述相机投射模型为：
其中，fx和fy为相机归一化焦距，cx和cy为光心所在像平面位置，(xc,yc,zc)为相机坐标系下的像点坐标；
所述手眼变换模型为：
其中，(xe,ye,ze)为像点在执行器坐标下的坐标。
10.一种工业机器人末端相机在线标定装置，其特征在于，包括：
初始参数采集模块，用于通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
初始参数定义模块，用于根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；
迭代参数采集模块，用于通过末端执行器控制工业相机在多个位置采集标定物的图像，通过所述多个位置的标定物的图像得到特征点的实际像点坐标；
迭代优化模块，用于将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件：
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块；
确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910539689.8A CN110246193B (zh) | 2019-06-20 | 2019-06-20 | 工业机器人末端相机在线标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910539689.8A CN110246193B (zh) | 2019-06-20 | 2019-06-20 | 工业机器人末端相机在线标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110246193A true CN110246193A (zh) | 2019-09-17 |
| CN110246193B CN110246193B (zh) | 2021-05-14 |
Family
ID=67888532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910539689.8A Active CN110246193B (zh) | 2019-06-20 | 2019-06-20 | 工业机器人末端相机在线标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110246193B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110695996A (zh) * | 2019-10-14 | 2020-01-17 | 扬州大学 | 一种工业机器人自动手眼标定方法 |
| CN111156997A (zh) * | 2020-03-02 | 2020-05-15 | 南京航空航天大学 | 一种基于相机内参在线标定的视觉/惯性组合导航方法 |
| CN112045676A (zh) * | 2020-07-31 | 2020-12-08 | 广州中国科学院先进技术研究所 | 一种基于深度学习的机器人抓取透明物体的方法 |
| CN112330749A (zh) * | 2020-10-22 | 2021-02-05 | 深圳众为兴技术股份有限公司 | 相机安装于机器人手臂上的手眼标定方法及手眼标定装置 |
| CN113240751A (zh) * | 2021-05-18 | 2021-08-10 | 广州慧炬智能科技有限公司 | 一种机器人末端相机的标定方法 |
| CN113379849A (zh) * | 2021-06-10 | 2021-09-10 | 南开大学 | 基于深度相机的机器人自主识别智能抓取方法及*** |
| CN113554711A (zh) * | 2020-04-26 | 2021-10-26 | 上海欧菲智能车联科技有限公司 | 相机在线标定方法、装置、计算机设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103115615A (zh) * | 2013-01-28 | 2013-05-22 | 山东科技大学 | 一种基于指数积模型的手眼机器人全自动标定方法 |
| US20130176392A1 (en) * | 2012-01-09 | 2013-07-11 | Disney Enterprises, Inc. | Method And System For Determining Camera Parameters From A Long Range Gradient Based On Alignment Differences In Non-Point Image Landmarks |
| CN104899857A (zh) * | 2014-03-06 | 2015-09-09 | 汤姆逊许可公司 | 使用颜色编码结构的相机标定方法及装置 |
| CN105654502A (zh) * | 2016-03-30 | 2016-06-08 | 广州市盛光微电子有限公司 | 一种基于多镜头多传感器的全景相机标定装置和方法 |
| CN106289106A (zh) * | 2016-08-04 | 2017-01-04 | 北京航空航天大学 | 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法 |
| CN109658460A (zh) * | 2018-12-11 | 2019-04-19 | 北京无线电测量研究所 | 一种机械臂末端相机手眼标定方法和*** |
-
2019
- 2019-06-20 CN CN201910539689.8A patent/CN110246193B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130176392A1 (en) * | 2012-01-09 | 2013-07-11 | Disney Enterprises, Inc. | Method And System For Determining Camera Parameters From A Long Range Gradient Based On Alignment Differences In Non-Point Image Landmarks |
| CN103115615A (zh) * | 2013-01-28 | 2013-05-22 | 山东科技大学 | 一种基于指数积模型的手眼机器人全自动标定方法 |
| CN104899857A (zh) * | 2014-03-06 | 2015-09-09 | 汤姆逊许可公司 | 使用颜色编码结构的相机标定方法及装置 |
| CN105654502A (zh) * | 2016-03-30 | 2016-06-08 | 广州市盛光微电子有限公司 | 一种基于多镜头多传感器的全景相机标定装置和方法 |
| CN106289106A (zh) * | 2016-08-04 | 2017-01-04 | 北京航空航天大学 | 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法 |
| CN109658460A (zh) * | 2018-12-11 | 2019-04-19 | 北京无线电测量研究所 | 一种机械臂末端相机手眼标定方法和*** |
Non-Patent Citations (2)
| Title |
|---|
| ZIRAN XING ET AL: "A new calibration technique for multi-camera systems of limited overlapping field-of-views", 《2017 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 * |
| 王逊扬: "基于最小凸包理论的相机自动标定方法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110695996A (zh) * | 2019-10-14 | 2020-01-17 | 扬州大学 | 一种工业机器人自动手眼标定方法 |
| CN110695996B (zh) * | 2019-10-14 | 2022-05-31 | 扬州大学 | 一种工业机器人自动手眼标定方法 |
| CN111156997A (zh) * | 2020-03-02 | 2020-05-15 | 南京航空航天大学 | 一种基于相机内参在线标定的视觉/惯性组合导航方法 |
| CN111156997B (zh) * | 2020-03-02 | 2021-11-30 | 南京航空航天大学 | 一种基于相机内参在线标定的视觉/惯性组合导航方法 |
| CN113554711A (zh) * | 2020-04-26 | 2021-10-26 | 上海欧菲智能车联科技有限公司 | 相机在线标定方法、装置、计算机设备和存储介质 |
| CN112045676A (zh) * | 2020-07-31 | 2020-12-08 | 广州中国科学院先进技术研究所 | 一种基于深度学习的机器人抓取透明物体的方法 |
| CN112330749A (zh) * | 2020-10-22 | 2021-02-05 | 深圳众为兴技术股份有限公司 | 相机安装于机器人手臂上的手眼标定方法及手眼标定装置 |
| CN112330749B (zh) * | 2020-10-22 | 2024-07-05 | 深圳众为兴技术股份有限公司 | 相机安装于机器人手臂上的手眼标定方法及手眼标定装置 |
| CN113240751A (zh) * | 2021-05-18 | 2021-08-10 | 广州慧炬智能科技有限公司 | 一种机器人末端相机的标定方法 |
| CN113240751B (zh) * | 2021-05-18 | 2023-01-17 | 广州慧炬智能科技有限公司 | 一种机器人末端相机的标定方法 |
| CN113379849A (zh) * | 2021-06-10 | 2021-09-10 | 南开大学 | 基于深度相机的机器人自主识别智能抓取方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110246193B (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110246193A (zh) | 工业机器人末端相机在线标定方法 | |
| CN110197466B (zh) | 一种广角鱼眼图像矫正方法 | |
| CN111047649B (zh) | 一种基于最优偏振角的相机高精度标定方法 | |
| CN107993266A (zh) | 光场相机内参数标定装置及方法 | |
| CN110276806A (zh) | 用于四自由度并联机器人立体视觉手眼***的在线手眼标定和抓取位姿计算方法 | |
| CN108344360A (zh) | 一种视觉测量***的激光扫描式全局校准装置及方法 | |
| CN105096329A (zh) | 一种精确校正超广角摄像头图像畸变的方法 | |
| CN111025618B (zh) | 反射式望远镜的装调方法、装置、设备及存储介质 | |
| CN107449374A (zh) | 柔性布局的视觉辅助激光振镜扫描***及其现场校准方法 | |
| CN108645426A (zh) | 一种空间目标相对导航视觉测量***在轨自标定方法 | |
| CN107680139A (zh) | 一种远心双目立体视觉测量***的通用性标定方法 | |
| CN109270804B (zh) | 倾斜直写曝光机镜头倍率以及偏转角度的标定调整方法 | |
| CN111912381A (zh) | 一种基于双目视觉原理的飞机舵面角度测量方法 | |
| CN109934878A (zh) | 一种基于相机坐标系的线性标定***及其方法 | |
| CN105988212A (zh) | 三维自由曲面的设计方法 | |
| CN109242779A (zh) | 一种相机成像模型的构建方法、装置及汽车自动驾驶*** | |
| CN115861445B (zh) | 一种基于标定板三维点云的手眼标定方法 | |
| CN110202560A (zh) | 一种基于单个特征点的手眼标定方法 | |
| CN114283203A (zh) | 一种多相机***的标定方法及*** | |
| CN112634373A (zh) | 基于零膨胀陶瓷标定板的视觉测量***动态校正方法 | |
| CN112465918B (zh) | 一种基于Tsai标定的显微视觉标定方法 | |
| CN108109111A (zh) | 通过软硬件结合组装调试多鱼眼镜头全景相机的方法 | |
| CN104156974A (zh) | 基于多重约束的摄像机畸变标定方法 | |
| CN110146032A (zh) | 基于光场分布的合成孔径相机标定方法 | |
| CN108242047A (zh) | 基于ccd的光学卫星遥感影像数据校正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210423 Address after: 210000 Room 101, building A, three tower, Nanjing Bai Xia hi tech Industrial Park, 8 Yongfeng Road, Qinhuai District, Nanjing, Jiangsu. Applicant after: NANJING BOLANQI INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 210000 Room 101, building A, three tower, Nanjing Bai Xia hi tech Industrial Park, 8 Yongfeng Road, Qinhuai District, Nanjing, Jiangsu. Applicant before: NANJING BOLANQI INTELLIGENT TECHNOLOGY Co.,Ltd. Applicant before: NANJING LIGONG CHENGYUE INTELLIGENT EQUIPMENT Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: On line calibration method for end camera of industrial robot Effective date of registration: 20210630 Granted publication date: 20210514 Pledgee: China Construction Bank Corporation Nanjing Qinhuai sub branch Pledgor: NANJING BOLANQI INTELLIGENT TECHNOLOGY Co.,Ltd. Registration number: Y2021980005575 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20220715 Granted publication date: 20210514 Pledgee: China Construction Bank Corporation Nanjing Qinhuai sub branch Pledgor: NANJING BOLANQI INTELLIGENT TECHNOLOGY CO.,LTD. Registration number: Y2021980005575 |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231211 Address after: Room 111-114, Building A, No. 1, Guotai North Road, Zhangjiagang Economic and Technological Development Zone, Zhangjiagang City, Suzhou City, Jiangsu Province, 215600 (City High-tech Entrepreneurship Service Center) Patentee after: Suzhou Proton Optoelectronics Technology Co.,Ltd. Address before: Room 101, building a, building 3, Nanjing Baixia high tech Industrial Park, No.8 Yongfeng Avenue, Qinhuai District, Nanjing City, Jiangsu Province, 210000 Patentee before: NANJING BOLANQI INTELLIGENT TECHNOLOGY CO.,LTD. |