CN110370286A - 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法 - Google Patents
基于工业机器人和单目相机的定轴运动刚体空间位置识别方法 Download PDFInfo
- Publication number
- CN110370286A CN110370286A CN201910742217.2A CN201910742217A CN110370286A CN 110370286 A CN110370286 A CN 110370286A CN 201910742217 A CN201910742217 A CN 201910742217A CN 110370286 A CN110370286 A CN 110370286A
- Authority
- CN
- China
- Prior art keywords
- robot
- camera
- coordinate system
- face
- scaling board
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种基于工业机器人和单目相机的定轴运动刚体空间位置识别方法,将相机安装于机器人末端,针对外形不规则的定轴运动刚体,利用激光跟踪仪建立靶标坐标系、机器人基坐标系;通过测量单目相机端面和机器人法兰面的点分别对两平面进行拟合,获得平面法向量,找到单目相机端面与机器人法兰面的关系,控制机器人将单目相机调整至适当位置;再利用棋盘格标定板对相机的内、外参数进行标定,获得相机图像坐标系与世界坐标系的转换关系;最后对待测定轴运动刚体进行图像采集,通过图像坐标系与世界坐标系的转换关系即可根据刚体自身的特征点及边缘线求得其准确位置。
Description
技术领域
本发明涉及机器人智能检测领域,是一种空间位置求解方法,具体为一种基于工业机器人和单目相机的定轴运动刚体空间位置识别方法。
背景技术
目前,自动化、智能化已逐渐成为制造业的主流模式,机器视觉由于信息量大,在智能生产车间得到了广泛的应用,其中视觉传感器具有简单易操作、安装方便和适用范围广的优点,常见于飞机、汽车等领域,主要作用有监视、检测、识别和引导等,要想实现车间智能化生产,就必须准确获取生产过程中关键部件的位置信息,而定轴运动刚体由于其在空间中位置的不确定、表面形状的不规则,会影响到传感器对物***置识别的精度。
视觉定位主要有三种方法,分别是多目视觉定位、双目视觉定位和单目视觉定位。多目视觉定位采用三部或以上的摄像机同时采集图像并处理,直接得到目标特征点的位置,该方法实时性差,***稳定性不高;双目视觉采用两部摄像机同时工作,但立体匹配复杂,计算量大、精度不高;相对来说,单目视觉畸变小,匹配精度高,***稳定,能够适应工业自动化快速、低成本的发展趋势。利用单目相机标定,对相机采集的二维图像进行处理能更方便、准确地获取到物体空间位置信息。
在机器人视觉应用中,手眼标定是基础且关键的步骤。手眼标定即获取机器人坐标系与相机坐标系的关系,这样才能将从相机采集照片中提取的结果转换到机器人坐标系下。手眼***中应用较为广泛的是***摄像机安装于机器人手部末端,在机器人工作过程中摄像机随机器人一起运动。这种方式随着机器人末端接近目标,摄像机与目标的距离也会变小,测量的绝对误差会随之降低,故对摄像机标定的精度要求不高。该方式的优点一是对相机标定精度要求不高,二是当目标物位置变化时,摄像机可以随机器人运动到合适位置进行图像采集。
2012年,潘武等(基于机器视觉的工件的在线检测,组合机床与自动化加工技术,2012,(7):75-78,81)提出一种工件在线缺陷检测的方法。针对机器视觉***,利用HALCON软件提供的算子对摄像机内外参及手眼***进行标定,再利用图像处理软件发送信号控制机械手完成缺陷件的抓取工作。但该***主要针对在传送带上的标准件进行缺陷和动态位置检测工作,而在工程实践还存在许多形状不规则物体,有必要对其位置检测方法进行研究;并且在该***中若目标面法向与光轴呈一定夹角,则受到光学***失真、***噪声等影响空间范围内各项数据参数可能无法测量准确,因此将单目相机固定于目标面的竖直正上方以保证目标面法向与光轴平行,但这种方式对于相机安装精度要求高。因此,有必要研究一种机器视觉检测***,使相机光轴始终与目标待测平面法向平行,并通过对机器人和相机位置的精确标定,保证检测精度符合实际要求。
发明内容
要解决的技术问题
为了避免现有技术的不足之处,本发明提出一种基于工业机器人和单目相机的定轴运动刚体空间位置识别方法。该方法通过激光跟踪仪和标定板进行手眼标定,并利用机器人运动灵活性和单目视觉定位技术的非接触、高柔性、处理简便等优点,实现定轴运动刚体的图像采集和位置提取;在保证检测精度的情况下有效降低了相机安装和标定的复杂度。
技术方案
本发明所采用的技术方案是:将相机安装于机器人末端,针对外形不规则的定轴运动刚体,利用激光跟踪仪建立靶标坐标系、机器人基坐标系;通过测量单目相机端面和机器人法兰面的点分别对两平面进行拟合,获得平面法向量,找到单目相机端面与机器人法兰面的关系,控制机器人将单目相机调整至适当位置;再利用棋盘格标定板对相机的内、外参数进行标定,获得相机图像坐标系与世界坐标系的转换关系;最后对待测定轴运动刚体进行图像采集,通过图像坐标系与世界坐标系的转换关系即可根据刚体自身的特征点及边缘线求得其准确位置。
一种基于工业机器人和单目相机的定轴运动刚体空间位置识别方法,其特征在于步骤如下:
步骤1:在工业机器人末端安装一个单目相机,使用激光跟踪仪对相机位置进行标定,按照以下步骤确定单目相机端面在机器人基座标系下的法向量f:
1a.将激光跟踪仪固定于离机器人底座中心3~4m处,构建靶标坐标系;将靶球安装于机器人末端执行器,在激光跟踪仪测量环境下设置一个固定的虚点,控制机器人以四种不同的姿态到达这个固定虚点,并分别记录每次机器人到达时法兰坐标系的位置和姿态;
1b.根据四种不同的位置和姿态,通过建立、求解齐次转换矩阵,获取法兰坐标系到靶标坐标系的转换关系;
1c.获取机器人基坐标系与激光跟踪仪测量坐标系的位置关系:控制机器人到达任意12个点并按顺序依次标号,利用序号为单数的点作为标定点建立激光跟踪仪测量点集{xmymzm},再与机器人坐标系点集{xryrzr}进行最小二乘匹配,用序号为双数的点作为验证点;用matlab求解得到激光跟踪仪测量坐标系与机器人基坐标系的转换关系M;
1d.在激光跟踪仪测量环境下构建机器人基坐标系:规定激光跟踪仪测量坐标系为世界坐标系OwXwYwZw,利用步骤1c中得到的世界坐标系与机器人基坐标系的转换关系,将12个在世界坐标系下的坐标值转换到机器人基坐标系下,并计算转换值与机器人实际读数之间的偏差;机器人的定位误差直接影响基坐标系的建立,世界坐标系到机器人基坐标系的坐标转换结果误差是机器人标定点测量误差的2~5倍,根据***需满足的定位精度要求,将转换结果的偏差控制在允许的误差范围内;根据转换关系M,在激光跟踪仪配套的测量软件构造新的机器人坐标系m-xryrzr,并激活;
1e.利用激光跟踪仪测量单目相机端面点集坐标,通过最小二乘法完成单目相机端面在世界坐标系下平面方程的建立,即可求得单目相机端面法向量c;
1f.利用激光跟踪仪测量工业机器人法兰面点集坐标,通过最小二乘法完成工业机器人法兰平面在世界坐标系下平面方程的建立,即可求得工业机器人法兰平面法向量d;
1g.通过单目相机端面和法兰平面在世界坐标系下的法向量c、d,求解单目相机端面法向量与法兰平面法向量的转换矢量e;
1h.通过单目相机端面法向量c和世界坐标系与机器人基坐标系的转换关系M,确定单目相机端面在机器人基坐标系下的法向量f;
步骤2:根据步骤1得到的单目相机端面在机器人基坐标系下的法向量f,及其与法兰平面法向量的转换矢量e,计算当相机端面法向量与机器人基坐标系Z轴垂直时,法兰平面在机器人基坐标系下的法向量,据此来控制机器人运动;机器人基坐标系与法兰坐标系的关系可通过机器人直接获取,通过调整机器人法兰面来调整相机端面,使其与机器人基坐标系Z轴平行,即相机端面法向量与基坐标系Z轴垂直,保证垂直度为90±0.05°;
步骤3:利用标定板进行相机内参数标定,标定步骤如下:
3a.针对可能存在的高斯噪声,使用最大似然估计进行优化,将标定板置于相机视野中,变换标定板姿态,采集20张不同姿态的标定板图像,保证每张图像都包含标定板上的所有棋盘格;
3b.利用“张正友标定法”对相机采集的20张图像进行处理,计算得到相机内参矩阵K;
步骤4:所测物体绕一条确定轴线做圆周运动,在保证相机端面与Z轴平行的前提下,控制机器人带动相机移动至一固定位置,保证无论物体做圆周运动至何位置均能出现在相机视野中,且能获取到清晰图像,并借助标定板按照以下步骤标定相机外参数:
4a.将标定板平面固定于相机视野中,利用激光跟踪仪测量标定板平面点集坐标,通过最小二乘法完成标定板平面在世界坐标系下平面方程的建立,即可求得标定板平面法向量g;根据步骤1e所得相机法向量调整标定板平面,使其与相机端面平行,相机端面法向量和标定板平面保证垂直度为90±0.05°;
4b.测量标定板三点在世界坐标系下的位置,建立标定板坐标系ObXbYbZb,求标定板坐标系ObXbYbZb在世界坐标系OwXwYwZw下的位姿矩阵Twb;
4c.假设相机坐标系为OcXcYcZc,对标定板坐标系ObXbYbZb在相机坐标系OcXcYcZc下的位姿矩阵Tcb进行求解;
4d.计算相机坐标系OcXcYcZc在世界坐标系OwXwYwZw下的位姿矩阵Twc,获取相机坐标系和世界坐标系之间换算关系中的旋转矩阵R和平移矩阵T;
步骤5:利用步骤3和步骤4获得的相机内参和外参即可确定世界坐标系、相机坐标系和图像坐标系三者的转换关系,通过转换关系即可将相机采集所得图像中的像素坐标转换到世界坐标系中;
步骤6:利用相机采集多组物体图像,通过图像预处理、边缘检测、特征识别对物体在图像坐标系中特征点或边缘线的坐标进行提取,利用图像坐标系和世界坐标系的转换关系即可获得物体的准确位置。
有益效果
本发明提出的一种基于工业机器人和单目相机的定轴运动刚***置识别方法。将单目相机安装于机器人末端,相机相对于机器人末端法兰的安装位置和姿态无要求,这种相机安装方式简便易实施;通过激光跟踪仪获取机器人坐标系与相机坐标系的关系,再利用标定板标定相机内外参数,不但没有过分依赖相机的传统标定方法,而且标定工具易操作,方法简单可行、精度较高。该方法适用范围广,通过机器人与相机之间精确的位置标定,实现高精度的目标位置检测、识别,该方法适合多种形状规则或不规则的定轴运动刚体,具有广泛的应用场合。
附图说明
图1是定轴运动刚***置识别流程图;
图2是机器人与末端工具示意图;
图3是相机视觉坐标系示意图;
图4是相机外参矩阵求解示意图;
其中:1-公转轴;2-桨叶一;3-桨叶一自转轴;4-桨叶二;5-桨叶二自转轴;6-标记特征点;7-边缘线;8-工业机器人;9-前段板;10-光源;11-单目相机;12-相机安装座;13-侧板;14-法兰连接座;15-相机坐标系;16-成像平面;17-图像坐标系;18-世界坐标系;19-物***置;20-标定板坐标系;21-标定板。
具体实施方式
现结合实施例、附图对本发明作进一步描述:
参阅附图1~4,本实施例基于工业机器人和单目相机的定轴运动刚***置识别方法,运用于不规则定轴运动桨叶位置检测上。桨叶一2和桨叶二4分别绕自转轴3和自转轴5转动,两桨叶自转的同时又绕公转轴1转动,利用机器视觉***对不规则桨叶位置,即标记特征点6和边缘线7进行检测;将视觉检测设备安装于工业机器人8末端,用于获取所测目标图像;视觉检测主体设备为单目相机11,相机固定于相机安装座12上,再通过侧板13与前段板9和法兰连接座14固定,通过法兰连接座安装于机器人末端,光源10安装于前段板9上,用于辅助相机进行图像采集。利用激光跟踪仪标定相机与机器人的相对位置,控制机器人将单目相机调整至适当位置,利用棋盘格标定板对相机的内、外参数进行标定,获得相机图像坐标系与世界坐标系的转换关系,对待测定轴运动桨叶进行图像采集,通过图像坐标系与世界坐标系的转换关系即可根据目标物自身的特征点及边缘线求得物体的准确位置。
下面给出本实施例中方法的具体步骤:
步骤1.利用激光跟踪仪对固定于机器人末端的相机与机器人的相对位置进行标定,按照以下步骤确定单目相机端面在机器人基座标系下的法向量e。
a.将激光跟踪仪固定于离机器人底座中心3~4m处,构建靶标坐标系。规定靶标坐标系原点位于靶球中心,方向与法兰坐标系一致。通过靶标转接座将靶球固定于机器人末端,在激光跟踪仪测量坐标系下设置一个固定的虚点,手动示教机器人以四种不同的姿态接近这个固定虚点,当在激光跟踪仪坐标系下靶球中心与这个固定虚点三个方向的坐标值相差很小时,认为靶球中心与固定虚点重合。记录每次靶球与虚点重合时机器人法兰坐标系的位置和姿态;
b.根据四种不同的位置和姿态,求解法兰坐标系到靶标坐标系的转换关系。设这个固定虚点在机器人基坐标系下的坐标为p0,读取示教器中法兰坐标系在机器人基坐标系下的坐标[X Y Z A B C],并将坐标值转换成齐次矩阵形式。法兰坐标系在机器人基坐标系下的位置分别为p1、p2、p3、p4,姿态矩阵分别为R1、R2、R3、R4。位置与XYZ对应,姿态矩阵可以由ZYX欧拉角A、B、C计算得到;
c.获取机器人基坐标系与激光跟踪仪测量坐标系的位置关系。求解激光跟踪仪坐标系到机器人基坐标系的齐次变换矩阵。将步骤1-a设定的靶标坐标系设定为当前工具坐标系,控制机器人到达间隔较大的12个点并按顺序依次标号。利用序号为单数的点作为标定点建立激光跟踪仪测量点集{xmymzm},再与机器人坐标系点集{xryrzr}进行最小二乘匹配,将序号为双数的点作为验证点。用matlab求解得到激光跟踪仪测量坐标系与机器人基坐标系的转换关系M;
d.在激光跟踪仪测量环境下构建机器人基坐标系,参照附图3,规定激光跟踪仪测量坐标系为世界坐标系OwXwYwZw,假设空间中某一物体上的点为A点,A点在世界坐标系OwXwYwZw中坐标为(Xw,Yw,Zw),利用步骤1-c中得到的世界坐标系与机器人基坐标系的转换关系,将12个在世界坐标系下的坐标值转换到机器人基坐标系下,并计算由激光跟踪仪测量值转换得到的坐标值与机器人实际读数值的偏差。机器人的定位误差直接影响基坐标系的建立,世界坐标系到机器人基坐标系的坐标转换结果误差是机器人标定点测量误差的2~5倍,当构建坐标系的误差在测量精度之内时,基坐标系构建成功,根据转换关系M,在激光跟踪仪配套的测量软件构造新的坐标系m-xryrzr,并激活;
e.利用激光跟踪仪测量单目相机端面点,获取点集坐标至少10组,通过最小二乘法完成单目相机端面在世界坐标系下平面方程的建立,即可求得单目相机端面法向量c;
f.利用激光跟踪仪测量工业机器人法兰面点,获取点集坐标至少10组,通过最小二乘法完成工业机器人法兰平面在世界坐标系下平面方程的建立,即可求得工业机器人法兰平面法向量d;
g.通过单目相机端面和法兰平面在世界坐标系下的法向量c、d,求解单目相机端面法向量与法兰平面法向量的转换矢量e;
h.根据单目相机端面在世界坐标系下的法向量c和步骤1-c计算得到的转换关系M,即可确定单目相机端面在机器人基坐标系下的法向量f;
步骤2.机器人基坐标系与法兰坐标系的关系已知,根据步骤1-h得到的单目相机端面在机器人基坐标系下的法向量f,可计算得出法向量f相对于基坐标系Z轴的角度,结合步骤1-g得到的相机端面法向量与法兰平面法向量的转换矢量e,可解算出当相机端面法向量与Z轴垂直时,在机器人基坐标系中法兰平面的法向量d′,通过调整机器人法兰面,使相机端面与机器人基坐标系Z轴平行,即相机端面法向量f与基坐标系Z轴垂直,保证垂直度为90±0.05°;
步骤3.利用标定板进行相机内参数标定,标定步骤如下:
a.针对可能存在的高斯噪声,使用最大似然估计进行优化,将标定板棋盘格完全置于相机视野中,保证相机拍摄图像清晰。通过变换标定板姿态,采集20张不同姿态的标定板图像,保证在每张图像中都包含标定板上的所有棋盘格;
b.利用“张正友标定法”对相机采集的20张图像进行处理,计算得到相机内参矩阵K;
步骤4.所测桨叶一2、桨叶二4在自转的同时绕公转轴1做圆周运动,在保证相机端面与Z轴平行的前提下,利用机器人带动相机移至一固定位置,保证无论物体定轴运动至何位置均能出现在相机视野中,且能获取到清晰图像。参照附图3和附图4,已知世界坐标系18为OwXwYwZw,假设相机坐标系15为OcXcYcZc,空间中某一物体上的点A在相机坐标系OcXcYcZc中坐标为(Xc,Yc,Zc),借助标定板21按照以下步骤标定相机外参数:
a.选择长度已知的棋盘格标定板作为参照物,将标定板平面固定于相机视野中,利用激光跟踪仪测量标定板平面点,获取点集坐标至少10组,通过最小二乘法完成标定板平面在世界坐标系下平面方程的建立,即可求得标定板平面法向量g,根据步骤1-e计算得到的相机法向量调整标定板平面,使标定板平面与相机端面平行,且相机端面和标定板平面保证平行度为0±0.05°;
b.参照附图4,在标定板平面上建立笛卡尔右手坐标系ObXbYbZb,即标定板坐标系20,坐标系原点位于标定板21上,在平行于标定板两边的方向上取点,点与原点的连线分别作为标定板坐标系的xb轴和yb轴,zb轴方向与标定板平面垂直。测量标定板A、B、C三点在世界坐标系下的坐标,即直接测量得到A、B、C三点世界坐标。下面建立标定板坐标系,以A点为原点,其与B点组建的向量方向为标定板坐标系的xb轴正方向,A点与C点组建的向量方向为标定板坐标系的yb轴正方向,以垂直于标定板平面竖直向里为标定板坐标系的zb轴正方向,由此得到标定板坐标系ObXbYbZb在世界坐标系OwXwYwZw下的位姿矩阵Twb;
c.标定板上AB点的实际距离h已知,相机坐标系为OcXcYcZc,对相机采集到的标定板图像进行处理后可获得在图像坐标系17中成像平面16上的A、B点像素坐标(xApix,yApix)、(xBpix,yBpix),由此可计算出两点间实际距离与像素坐标差的比值hx和hy,即为单位像素长度。由步骤3得到的内参矩阵可知光轴中心的像素坐标(u0,v0),根据已知的单位像素长度、光轴中心像素坐标及A点像素坐标,可求解出标定板坐标系原点A点在相机坐标系中的位置(xcb,ycb,zcb),其中zcb为相机光心至标定板平面的距离,则可得到标定板坐标系ObXbYbZb在相机坐标系OcXcYcZc下的位姿矩阵Tcb;
d.根据Twb和Tcb计算相机坐标系OcXcYcZc在世界坐标系OwXwYwZw下的位姿矩阵,即相机外参矩阵Twc=Twb*(Tcb)-1,获取相机坐标系和世界坐标系之间换算关系中的旋转矩阵R和平移矩阵T;
步骤5.利用步骤3和步骤4获得的相机内参和外参即可确定世界坐标系、相机坐标系和图像坐标系三者的转换关系,通过转换关系即可将相机采集所得图像中的像素坐标转换到世界坐标系中,获得相机图像中各点在世界坐标系中的具***置;
步骤6.利用相机采集多组物体图像,通过图像预处理、边缘检测、特征识别等方法对物体在图像坐标系中特征点或边缘线的坐标进行提取,利用图像坐标系和世界坐标系的转换关系即可确定桨叶在空间的准确位置。
Claims (1)
1.一种基于工业机器人和单目相机的定轴运动刚体空间位置识别方法,其特征在于步骤如下:
步骤1:在工业机器人末端安装一个单目相机,使用激光跟踪仪对相机位置进行标定,按照以下步骤确定单目相机端面在机器人基座标系下的法向量f:
1a.将激光跟踪仪固定于离机器人底座中心3~4m处,构建靶标坐标系;将靶球安装于机器人末端执行器,在激光跟踪仪测量环境下设置一个固定的虚点,控制机器人以四种不同的姿态到达这个固定虚点,并分别记录每次机器人到达时法兰坐标系的位置和姿态;
1b.根据四种不同的位置和姿态,通过建立、求解齐次转换矩阵,获取法兰坐标系到靶标坐标系的转换关系;
1c.获取机器人基坐标系与激光跟踪仪测量坐标系的位置关系:控制机器人到达任意12个点并按顺序依次标号,利用序号为单数的点作为标定点建立激光跟踪仪测量点集{xmymzm},再与机器人坐标系点集{xryrzr}进行最小二乘匹配,用序号为双数的点作为验证点;用matlab求解得到激光跟踪仪测量坐标系与机器人基坐标系的转换关系M;
1d.在激光跟踪仪测量环境下构建机器人基坐标系:规定激光跟踪仪测量坐标系为世界坐标系OwXwYwZw,利用步骤1c中得到的世界坐标系与机器人基坐标系的转换关系,将12个在世界坐标系下的坐标值转换到机器人基坐标系下,并计算转换值与机器人实际读数之间的偏差;机器人的定位误差直接影响基坐标系的建立,世界坐标系到机器人基坐标系的坐标转换结果误差是机器人标定点测量误差的2~5倍,根据***需满足的定位精度要求,将转换结果的偏差控制在允许的误差范围内;根据转换关系M,在激光跟踪仪配套的测量软件构造新的机器人坐标系m-xryrzr,并激活;
1e.利用激光跟踪仪测量单目相机端面点集坐标,通过最小二乘法完成单目相机端面在世界坐标系下平面方程的建立,即可求得单目相机端面法向量c;
1f.利用激光跟踪仪测量工业机器人法兰面点集坐标,通过最小二乘法完成工业机器人法兰平面在世界坐标系下平面方程的建立,即可求得工业机器人法兰平面法向量d;
1g.通过单目相机端面和法兰平面在世界坐标系下的法向量c、d,求解单目相机端面法向量与法兰平面法向量的转换矢量e;
1h.通过单目相机端面法向量c和世界坐标系与机器人基坐标系的转换关系M,确定单目相机端面在机器人基坐标系下的法向量f;
步骤2:根据步骤1得到的单目相机端面在机器人基坐标系下的法向量f,及其与法兰平面法向量的转换矢量e,计算当相机端面法向量与机器人基坐标系Z轴垂直时,法兰平面在机器人基坐标系下的法向量,据此来控制机器人运动;机器人基坐标系与法兰坐标系的关系可通过机器人直接获取,通过调整机器人法兰面来调整相机端面,使其与机器人基坐标系Z轴平行,即相机端面法向量与基坐标系Z轴垂直,保证垂直度为90±0.05°;
步骤3:利用标定板进行相机内参数标定,标定步骤如下:
3a.针对可能存在的高斯噪声,使用最大似然估计进行优化,将标定板置于相机视野中,变换标定板姿态,采集20张不同姿态的标定板图像,保证每张图像都包含标定板上的所有棋盘格;
3b.利用“张正友标定法”对相机采集的20张图像进行处理,计算得到相机内参矩阵K;
步骤4:所测物体绕一条确定轴线做圆周运动,在保证相机端面与Z轴平行的前提下,控制机器人带动相机移动至一固定位置,保证无论物体做圆周运动至何位置均能出现在相机视野中,且能获取到清晰图像,并借助标定板按照以下步骤标定相机外参数:
4a.将标定板平面固定于相机视野中,利用激光跟踪仪测量标定板平面点集坐标,通过最小二乘法完成标定板平面在世界坐标系下平面方程的建立,即可求得标定板平面法向量g;根据步骤1e所得相机法向量调整标定板平面,使其与相机端面平行,相机端面法向量和标定板平面保证垂直度为90±0.05°;
4b.测量标定板三点在世界坐标系下的位置,建立标定板坐标系ObXbYbZb,求标定板坐标系ObXbYbZb在世界坐标系OwXwYwZw下的位姿矩阵Twb;
4c.假设相机坐标系为OcXcYcZc,对标定板坐标系ObXbYbZb在相机坐标系OcXcYcZc下的位姿矩阵Tcb进行求解;
4d.计算相机坐标系OcXcYcZc在世界坐标系OwXwYwZw下的位姿矩阵Twc,获取相机坐标系和世界坐标系之间换算关系中的旋转矩阵R和平移矩阵T;
步骤5:利用步骤3和步骤4获得的相机内参和外参即可确定世界坐标系、相机坐标系和图像坐标系三者的转换关系,通过转换关系即可将相机采集所得图像中的像素坐标转换到世界坐标系中;
步骤6:利用相机采集多组物体图像,通过图像预处理、边缘检测、特征识别对物体在图像坐标系中特征点或边缘线的坐标进行提取,利用图像坐标系和世界坐标系的转换关系即可获得物体的准确位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910742217.2A CN110370286B (zh) | 2019-08-13 | 2019-08-13 | 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910742217.2A CN110370286B (zh) | 2019-08-13 | 2019-08-13 | 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110370286A true CN110370286A (zh) | 2019-10-25 |
CN110370286B CN110370286B (zh) | 2022-04-12 |
Family
ID=68259005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910742217.2A Active CN110370286B (zh) | 2019-08-13 | 2019-08-13 | 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110370286B (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111062989A (zh) * | 2019-12-12 | 2020-04-24 | 深圳慧智星晨科技有限公司 | 一种高精度二维摄像头与机器人手眼标定的方法及*** |
CN111080627A (zh) * | 2019-12-20 | 2020-04-28 | 南京航空航天大学 | 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法 |
CN111089569A (zh) * | 2019-12-26 | 2020-05-01 | 中国科学院沈阳自动化研究所 | 一种基于单目视觉的大型箱体测量方法 |
CN111489436A (zh) * | 2020-04-03 | 2020-08-04 | 北京博清科技有限公司 | 一种焊缝三维重建方法、装置、设备及存储介质 |
CN112045676A (zh) * | 2020-07-31 | 2020-12-08 | 广州中国科学院先进技术研究所 | 一种基于深度学习的机器人抓取透明物体的方法 |
CN112102473A (zh) * | 2020-09-01 | 2020-12-18 | 国网安徽省电力有限公司淮南供电公司 | 配网带电作业机器人的作业场景建模方法及*** |
CN112285625A (zh) * | 2020-09-21 | 2021-01-29 | 广东电网有限责任公司广州供电局 | 一种通用型电力仪表自动检定***及其检定方法 |
CN112489126A (zh) * | 2020-12-10 | 2021-03-12 | 浙江商汤科技开发有限公司 | 车辆关键点信息检测方法、车辆控制方法及装置、车辆 |
CN112629499A (zh) * | 2020-12-03 | 2021-04-09 | 合肥富煌君达高科信息技术有限公司 | 基于线扫描仪的手眼标定重复定位精度测量方法及装置 |
CN112748737A (zh) * | 2020-12-28 | 2021-05-04 | 上海电机学院 | 一种巡逻机器人三目视觉位姿估计激光充电方法 |
CN112853835A (zh) * | 2021-01-04 | 2021-05-28 | 中铁四局集团有限公司 | 一种用于钢轨铺设的自动控制方法与*** |
CN113112543A (zh) * | 2021-04-08 | 2021-07-13 | 东方电气集团科学技术研究院有限公司 | 一种基于视觉移动目标的大视场二维实时定位***及方法 |
CN113134683A (zh) * | 2021-05-13 | 2021-07-20 | 兰州理工大学 | 基于机器学习的激光标刻方法及装置 |
JPWO2021199305A1 (zh) * | 2020-03-31 | 2021-10-07 | ||
WO2021217976A1 (zh) * | 2020-04-28 | 2021-11-04 | 平安科技(深圳)有限公司 | 一种基于单目视觉定位的机械臂控制方法及装置 |
CN113658248A (zh) * | 2021-08-09 | 2021-11-16 | 煤炭科学研究总院 | 自移机尾的姿态监测方法、装置及电子设备 |
CN113763469A (zh) * | 2021-08-03 | 2021-12-07 | 东风悦达起亚汽车有限公司 | 一种汽车车门bpr胶喷涂工艺 |
CN114029970A (zh) * | 2021-10-13 | 2022-02-11 | 河钢工业技术服务有限公司 | 一种钢卷端面检测机器人及其路径规划方法 |
CN114283204A (zh) * | 2021-12-18 | 2022-04-05 | 成都乐创自动化技术股份有限公司 | 一种基于工业相机的五轴点胶机的误差标定方法 |
CN114406985A (zh) * | 2021-10-18 | 2022-04-29 | 苏州迪凯尔医疗科技有限公司 | 一种目标追踪的机械臂方法、***、设备及存储介质 |
CN114559417A (zh) * | 2022-01-28 | 2022-05-31 | 湖南航智科技有限公司 | 一种基于3d视觉的捏合机桨叶自动清理机器人*** |
WO2022134060A1 (en) * | 2020-12-25 | 2022-06-30 | Intel Corporation | Camera registration via robot |
CN114935316A (zh) * | 2022-05-20 | 2022-08-23 | 长春理工大学 | 基于光学跟踪与单目视觉的标准深度图像生成方法 |
CN115401689A (zh) * | 2022-08-01 | 2022-11-29 | 北京市商汤科技开发有限公司 | 基于单目相机的距离测量方法、装置以及计算机存储介质 |
CN115781665A (zh) * | 2022-11-01 | 2023-03-14 | 深圳史河机器人科技有限公司 | 一种基于单目相机的机械臂控制方法、装置及存储介质 |
CN116222384A (zh) * | 2023-05-08 | 2023-06-06 | 成都飞机工业(集团)有限责任公司 | 一种全向测量标定方法、***、设备及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011242198A (ja) * | 2010-05-17 | 2011-12-01 | Fujitsu Ltd | 位置特定装置、位置特定方法、及びプログラム |
JP2013122434A (ja) * | 2011-12-12 | 2013-06-20 | Itt:Kk | レーザーを用いた単眼カメラによる3次元形状位置計測装置,3次元形状位置計測処理方法および3次元形状位置計測処理プログラム |
CN105091744A (zh) * | 2015-05-07 | 2015-11-25 | 中国科学院自动化研究所 | 一种基于视觉传感器和激光测距仪的位姿检测装置与方法 |
CN108344360A (zh) * | 2017-11-15 | 2018-07-31 | 北京航空航天大学 | 一种视觉测量***的激光扫描式全局校准装置及方法 |
CN108444449A (zh) * | 2018-02-02 | 2018-08-24 | 中国科学院西安光学精密机械研究所 | 一种对具有平行线特征的目标空间姿态测量方法 |
CN109373894A (zh) * | 2018-09-27 | 2019-02-22 | 南京航空航天大学 | 一种基于分布式单目视觉的飞机部件连接交点孔系自动定位方法 |
CN109794963A (zh) * | 2019-01-07 | 2019-05-24 | 南京航空航天大学 | 一种面向曲面构件的机器人快速定位方法 |
-
2019
- 2019-08-13 CN CN201910742217.2A patent/CN110370286B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011242198A (ja) * | 2010-05-17 | 2011-12-01 | Fujitsu Ltd | 位置特定装置、位置特定方法、及びプログラム |
JP2013122434A (ja) * | 2011-12-12 | 2013-06-20 | Itt:Kk | レーザーを用いた単眼カメラによる3次元形状位置計測装置,3次元形状位置計測処理方法および3次元形状位置計測処理プログラム |
CN105091744A (zh) * | 2015-05-07 | 2015-11-25 | 中国科学院自动化研究所 | 一种基于视觉传感器和激光测距仪的位姿检测装置与方法 |
CN108344360A (zh) * | 2017-11-15 | 2018-07-31 | 北京航空航天大学 | 一种视觉测量***的激光扫描式全局校准装置及方法 |
CN108444449A (zh) * | 2018-02-02 | 2018-08-24 | 中国科学院西安光学精密机械研究所 | 一种对具有平行线特征的目标空间姿态测量方法 |
CN109373894A (zh) * | 2018-09-27 | 2019-02-22 | 南京航空航天大学 | 一种基于分布式单目视觉的飞机部件连接交点孔系自动定位方法 |
CN109794963A (zh) * | 2019-01-07 | 2019-05-24 | 南京航空航天大学 | 一种面向曲面构件的机器人快速定位方法 |
Non-Patent Citations (2)
Title |
---|
辛锋 等: "机器人***在立式混合机清理中的设计", 《航天制造技术》 * |
郑帅超 等: "单目视觉- 激光测距定位***的标定与姿态校正", 《机械科学与技术》 * |
Cited By (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111062989A (zh) * | 2019-12-12 | 2020-04-24 | 深圳慧智星晨科技有限公司 | 一种高精度二维摄像头与机器人手眼标定的方法及*** |
CN111062989B (zh) * | 2019-12-12 | 2023-06-06 | 深圳慧智星晨科技有限公司 | 一种高精度二维摄像头与机器人手眼标定的方法及*** |
CN111080627A (zh) * | 2019-12-20 | 2020-04-28 | 南京航空航天大学 | 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法 |
CN111089569A (zh) * | 2019-12-26 | 2020-05-01 | 中国科学院沈阳自动化研究所 | 一种基于单目视觉的大型箱体测量方法 |
JPWO2021199305A1 (zh) * | 2020-03-31 | 2021-10-07 | ||
JP7323057B2 (ja) | 2020-03-31 | 2023-08-08 | 日本電気株式会社 | 制御装置、制御方法、および、制御プログラム |
CN111489436A (zh) * | 2020-04-03 | 2020-08-04 | 北京博清科技有限公司 | 一种焊缝三维重建方法、装置、设备及存储介质 |
WO2021217976A1 (zh) * | 2020-04-28 | 2021-11-04 | 平安科技(深圳)有限公司 | 一种基于单目视觉定位的机械臂控制方法及装置 |
CN112045676A (zh) * | 2020-07-31 | 2020-12-08 | 广州中国科学院先进技术研究所 | 一种基于深度学习的机器人抓取透明物体的方法 |
CN112102473A (zh) * | 2020-09-01 | 2020-12-18 | 国网安徽省电力有限公司淮南供电公司 | 配网带电作业机器人的作业场景建模方法及*** |
CN112285625A (zh) * | 2020-09-21 | 2021-01-29 | 广东电网有限责任公司广州供电局 | 一种通用型电力仪表自动检定***及其检定方法 |
CN112629499A (zh) * | 2020-12-03 | 2021-04-09 | 合肥富煌君达高科信息技术有限公司 | 基于线扫描仪的手眼标定重复定位精度测量方法及装置 |
CN112629499B (zh) * | 2020-12-03 | 2023-01-17 | 合肥中科君达视界技术股份有限公司 | 基于线扫描仪的手眼标定重复定位精度测量方法及装置 |
CN112489126B (zh) * | 2020-12-10 | 2023-09-19 | 浙江商汤科技开发有限公司 | 车辆关键点信息检测方法、车辆控制方法及装置、车辆 |
CN112489126A (zh) * | 2020-12-10 | 2021-03-12 | 浙江商汤科技开发有限公司 | 车辆关键点信息检测方法、车辆控制方法及装置、车辆 |
WO2022134060A1 (en) * | 2020-12-25 | 2022-06-30 | Intel Corporation | Camera registration via robot |
CN112748737A (zh) * | 2020-12-28 | 2021-05-04 | 上海电机学院 | 一种巡逻机器人三目视觉位姿估计激光充电方法 |
CN112853835A (zh) * | 2021-01-04 | 2021-05-28 | 中铁四局集团有限公司 | 一种用于钢轨铺设的自动控制方法与*** |
CN113112543A (zh) * | 2021-04-08 | 2021-07-13 | 东方电气集团科学技术研究院有限公司 | 一种基于视觉移动目标的大视场二维实时定位***及方法 |
CN113134683A (zh) * | 2021-05-13 | 2021-07-20 | 兰州理工大学 | 基于机器学习的激光标刻方法及装置 |
CN113763469A (zh) * | 2021-08-03 | 2021-12-07 | 东风悦达起亚汽车有限公司 | 一种汽车车门bpr胶喷涂工艺 |
CN113658248A (zh) * | 2021-08-09 | 2021-11-16 | 煤炭科学研究总院 | 自移机尾的姿态监测方法、装置及电子设备 |
CN114029970B (zh) * | 2021-10-13 | 2023-08-22 | 河钢工业技术服务有限公司 | 一种钢卷端面检测机器人及其路径规划方法 |
CN114029970A (zh) * | 2021-10-13 | 2022-02-11 | 河钢工业技术服务有限公司 | 一种钢卷端面检测机器人及其路径规划方法 |
CN114406985A (zh) * | 2021-10-18 | 2022-04-29 | 苏州迪凯尔医疗科技有限公司 | 一种目标追踪的机械臂方法、***、设备及存储介质 |
CN114406985B (zh) * | 2021-10-18 | 2024-04-12 | 苏州迪凯尔医疗科技有限公司 | 一种目标追踪的机械臂方法、***、设备及存储介质 |
CN114283204A (zh) * | 2021-12-18 | 2022-04-05 | 成都乐创自动化技术股份有限公司 | 一种基于工业相机的五轴点胶机的误差标定方法 |
CN114559417A (zh) * | 2022-01-28 | 2022-05-31 | 湖南航智科技有限公司 | 一种基于3d视觉的捏合机桨叶自动清理机器人*** |
CN114935316B (zh) * | 2022-05-20 | 2024-03-12 | 长春理工大学 | 基于光学跟踪与单目视觉的标准深度图像生成方法 |
CN114935316A (zh) * | 2022-05-20 | 2022-08-23 | 长春理工大学 | 基于光学跟踪与单目视觉的标准深度图像生成方法 |
CN115401689B (zh) * | 2022-08-01 | 2024-03-29 | 北京市商汤科技开发有限公司 | 基于单目相机的距离测量方法、装置以及计算机存储介质 |
CN115401689A (zh) * | 2022-08-01 | 2022-11-29 | 北京市商汤科技开发有限公司 | 基于单目相机的距离测量方法、装置以及计算机存储介质 |
CN115781665A (zh) * | 2022-11-01 | 2023-03-14 | 深圳史河机器人科技有限公司 | 一种基于单目相机的机械臂控制方法、装置及存储介质 |
CN115781665B (zh) * | 2022-11-01 | 2023-08-08 | 深圳史河机器人科技有限公司 | 一种基于单目相机的机械臂控制方法、装置及存储介质 |
CN116222384B (zh) * | 2023-05-08 | 2023-08-04 | 成都飞机工业(集团)有限责任公司 | 一种全向测量标定方法、***、设备及介质 |
CN116222384A (zh) * | 2023-05-08 | 2023-06-06 | 成都飞机工业(集团)有限责任公司 | 一种全向测量标定方法、***、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110370286B (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110370286A (zh) | 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法 | |
CN107214703B (zh) | 一种基于视觉辅助定位的机器人自标定方法 | |
US11642747B2 (en) | Aligning parts using multi-part scanning and feature based coordinate systems | |
JP4021413B2 (ja) | 計測装置 | |
Chen et al. | Acquisition of weld seam dimensional position information for arc welding robot based on vision computing | |
US20040172164A1 (en) | Method and apparatus for single image 3D vision guided robotics | |
CN109341532A (zh) | 一种面向自动装配的基于结构特征的零件坐标标定方法 | |
CN105800464B (zh) | 一种基于自动吊钩***的定位方法 | |
CN111531407B (zh) | 一种基于图像处理的工件姿态快速测量方法 | |
CN208780144U (zh) | 一种连接孔在线视觉检测*** | |
CN110065075B (zh) | 一种基于视觉的空间细胞机器人外部状态感知方法 | |
CN107741224A (zh) | 一种基于视觉测量及标定的agv自动调姿定位方法 | |
US20220230348A1 (en) | Method and apparatus for determining a three-dimensional position and pose of a fiducial marker | |
CN110081821A (zh) | 智能化高铁白车身装配质量检测装置及其方法 | |
CN112658643B (zh) | 接插件装配方法 | |
Hsu et al. | Development of a faster classification system for metal parts using machine vision under different lighting environments | |
KR20110095700A (ko) | 작업대상물 픽업을 위한 산업용 로봇 제어방법 | |
CN109773589B (zh) | 对工件表面进行在线测量和加工导引的方法及装置、设备 | |
Wagner et al. | Self-calibration method for a robotic based 3D scanning system | |
Yang et al. | A fast calibration of laser vision robotic welding systems using automatic path planning | |
Xu et al. | Industrial robot base assembly based on improved Hough transform of circle detection algorithm | |
CN113670223A (zh) | 一种应用于3d视觉检测***及其方法 | |
Wang et al. | Robotic assembly system guided by multiple vision and laser sensors for large scale components | |
Zhang et al. | Camera calibration algorithm for long distance binocular measurement | |
Liu et al. | A visual positioning and measurement system for robotic drilling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |