CN107218930A - 基于单目手眼***的空间圆六维位置‑姿态主动式测量方法 - Google Patents

基于单目手眼***的空间圆六维位置‑姿态主动式测量方法 Download PDF

Info

Publication number
CN107218930A
CN107218930A CN201710313593.0A CN201710313593A CN107218930A CN 107218930 A CN107218930 A CN 107218930A CN 201710313593 A CN201710313593 A CN 201710313593A CN 107218930 A CN107218930 A CN 107218930A
Authority
CN
China
Prior art keywords
location
circle
semi
projection
monocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710313593.0A
Other languages
English (en)
Other versions
CN107218930B (zh
Inventor
马昕
丰俊丙
宋锐
荣学文
田新诚
李贻斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faoyiwei Suzhou Robot System Co ltd
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201710313593.0A priority Critical patent/CN107218930B/zh
Publication of CN107218930A publication Critical patent/CN107218930A/zh
Application granted granted Critical
Publication of CN107218930B publication Critical patent/CN107218930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于单目手眼***的空间圆六维位置‑姿态主动式测量方法，控制单目手眼***在至少两个不同的位置采集图像，根据采集的图像计算空间圆的圆心坐标、法向量和半径，得到空间圆的六维位置‑姿态估计，不同位置上采集的图像满足投影的椭圆在图像的中间位置，且不同位置处的单目手眼***的光心与空间圆圆心连线的夹角大于设定值，更加精确计算圆形工件的位姿。

Description

基于单目手眼***的空间圆六维位置-姿态主动式测量方法
技术领域
本发明涉及一种基于单目手眼***的空间圆六维位置-姿态主动式测量方法。
背景技术
物***姿测量在机器人、摄影测量及机器视觉中都有非常重要的应用，尤 其是在机器人领域，准确快速地得到物体的六维位姿对于机器人抓取物体是至 关重要的，而在工业装配现场更是如此，装配件的位置和姿态的精确测量是工 业机器人快速抓取物体、进行对准安装的关键，并可以减少机械磨损，提高机 器人的装配效率。
目前应用机器视觉技术对物体进行非接触式的位姿估计已经有了较为成熟 的方法。一些方法利用二维图像特征和三维模型之间的对应关系，估计目标工 件的六自由度的位置-姿态。有的文献利用立体视觉***以及事先已知的参数化 工件CAD模型，可以估计工件表面上孔洞的位姿。有的文献利用尺度不变特征 变换描述子(SIFT,Scale InvariantFeature Transform)建立工件的三维模型，要 求工件必须丰富的纹理信息，才能提取足以建立三维模型的SIFT特征，不适用 于螺母、螺栓等缺乏纹理特征的物体。有的文献利用RGB-D深度摄像头从几个 不同的视角获取的图像建立物体的模型，虽然这一方法不要求精确的三维CAD 模型，但是从三维点云对物体建模需要很大的计算量。
立体视觉***不需要预先已知或者事先建立物体的三维模型，但是立体视 觉***为了保证两个摄像头之间的距离，体积较大，不适合安装于机械臂的末 端。
综上，现有的方法都没有考虑如何通过控制手眼***的主动性，也就是， 没有考虑面向提高物***姿测量精度，主动地控制单目手眼***的移动，在某 些特定的有利位置上获取圆形工件的图像，根据这些有利位置采集到的图像， 更加精确计算圆形工件的位姿。
发明内容
本发明为了解决上述问题，提出了一种基于单目手眼***的空间圆六维位 置-姿态主动式测量方法，本发明通过机器人控制安装于机械臂末端的单目视觉 ***移动获取相对于圆形目标物体两个不同视角的两幅图片，通过这两幅图片， 可以得到空间圆的六维位置-姿态估计，分析单目相机两个视角的相对位置对于 空间圆的位置-姿态估计精度的影响，基于这一分析，提出了面向提高空间圆位 置-姿态估计精度的单目手眼***的移动优化策略。
为了实现上述目的，本发明采用如下技术方案：
一种基于单目手眼***的空间圆六维位置-姿态主动式测量方法，控制单目 手眼***在至少两个不同的位置采集图像，根据采集的图像计算空间圆的圆心 坐标、法向量和半径，得到空间圆的六维位置-姿态估计，不同位置上采集的图 像满足投影的椭圆在图像的中间位置，且不同位置处的单目手眼***的光心与 空间圆圆心连线的夹角大于设定值。
进一步，不同位置采集的图像，至少一幅图像中投影椭圆的半短轴与半长 轴之比小于预定值小且另一幅图像中投影椭圆的半短轴与半长轴之比大于预设 值，趋近于1。
进一步的，控制单目手眼***的具体方法为：控制机械臂的移动，使得单 目手眼***检测到的投影椭圆处于图像中间位置，并使得投影椭圆的主轴平行 于图像平面的u轴，计算投影椭圆半短轴与半长轴之比，根据椭圆半短轴与半长 轴之比对机械臂进行微调，确定最终的采集位置。
进一步的，若投影椭圆半短轴与半长轴之比小于设定值，标注单目手眼视 觉***的初始位置为Temp1，标注当前检测到的投影椭圆为控制机械臂运 动，使得相机坐标系在Temp1处绕投影椭圆长轴顺时针、或逆时针转动额定角 度，然后使相机坐标系沿着投影椭圆的短轴的正方向或负方向平移一段距离， 使得椭圆重新回到图像中心位置，不断重复直至处于图像中间位置的投影椭圆 的半短轴与半长轴之比大于设定值，标注当前位置为采集位置Location 1。
进一步的，若投影椭圆半短轴与半长轴之比大于等于设定值，标注单目手 眼视觉***的当前位置为Location 1，投影椭圆为控制机械臂运动，使相机 坐标系在Location 1绕投影椭圆的长轴逆时针或顺时针旋转额定角度，然后使相 机坐标系沿投影椭圆的短轴的正方向或负方向平移一段距离，使得椭圆重新回 到图像中心位置，不断微调重复，直至处于图像中间位置的投影椭圆的半短轴 与半长轴之比小于预定值，标注单目手眼视觉***的当前位置为采集位置temp1， 标注当前检测到的投影椭圆为
进一步的，控制机械臂移动，使其在在Temp 1和Location 1位置得到的投 影椭圆和计算空间圆的圆心，控制机械臂的移动使相机坐标系在Location 1绕投影椭圆长轴逆时针旋转ω1和顺时针旋转ω2，分别确定采集位置Location 2 和Location 3，且Location 2和Location 3与空间圆的圆心的距离与Location 1与 空间圆的圆心的距离一致。
进一步的，单目手眼***在Location 1，Location 2，和Location 3三个位置 处的光心与空间圆的圆心在一个平面上，在Location 2处的单目视觉***的光心 与空间圆圆心的连线，与在Location 3处的单目视觉***的光心与空间圆圆心的 连线之间的夹角为
进一步的，利用在Location 2和Location 3得到的两幅图像，计算空间圆的 圆心坐标。
进一步的，利用在Location 2和Location 3得到的两幅图像中具有较小的短 半轴与长半轴之比的投影椭圆计算法向量。
进一步的，利用在Location 1采集到的图像计算空间圆的半径，以减少半径 的计算误差。
本发明针对下述应用场合：在工业装配生产线上，通过安装于机械臂末端 的单目相机获取装配件(螺栓、螺母是工业装配线上常见工件)不同角度的图 像，利用立体视觉技术，实现装配件(螺栓或螺母)在机械臂基座坐标系下的 六维位置-姿态测量，以便于机械臂精确和快速抓取，机械臂抓取装配件，将装 配件安装在孔或栓上。
与现有技术相比，本发明的有益效果为：
与已有视觉测量方法相比，本发明所提基于单目手眼***的圆形工件六维 位置-姿态主动式测量策略，面向提高圆形工件位姿测量精度，主动地控制单目 手眼***的移动，在某些特定的有利位置上获取圆形工件的图像，根据这些有 利位置采集到的图像，更加精确计算圆形工件的位姿；
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申 请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为各坐标系之间的关系及螺母的位置-姿态示意图；
图2为椭圆锥和图像平面的位置关系；
图3为α对于空间圆半径计算误差的影响(α是相机光轴与空间圆平面的夹 角)；
图4为线性三角立体视觉算法重建圆心坐标的不确定性；
图5为基于单目手眼***的圆形工件六维位置-姿态主动式测量策略；
图6为单目手眼视觉***与打印圆的位置关系；
图7(a)为单目手眼视觉***在位置P0采集到的图像；
图7(b)为单目手眼视觉***在位置P10采集到的图像；
图8(a)为对于打印圆的法向量计算误差的影响(P0处采集的图像作为 基准图像)；
图8(b)为对于打印圆的圆心坐标xc的计算误差；
图8(c)为利用P0处的图像计算的半径误差；
图8(d)为利用Pi(i＝1,...,10)处的图像计算的半径误差；
附表说明
表1打印圆的法向量、圆心坐标、半径的计算误差(相机光心到打印圆的 距离约为400mm，在P0处采集的图像作为基准图像)；
表2圆形垫圈的六维位置-姿态测量误差；
表3螺母的六维位置-姿态的平均测量误差。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。 除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的 普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图 限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确 指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说 明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器 件、组件和/或它们的组合。
正如背景技术所介绍的，现有技术中存在没有考虑如何通过控制手眼*** 的主动性的不足，为了解决如上的技术问题，本申请提出了基于单目手眼*** 的圆形物体六维位置-姿态主动式测量方法。
螺栓、螺母是工业装配线上常见工件，为了机械臂能够精确快速地抓起和 拧紧，需要利用视觉***准确测量这些圆形工件的半径r、圆心坐标 Xc＝(xc,yc,zc)T、法向量n，如图1所示。
基于线性三角立体视觉测量方法，利用单目手眼视觉***对螺母进行位姿 估计的计算步骤如下：
手眼标定
如图1所示，世界坐标系(Ow-xwywzw)，机械臂末端坐标系(Or-xryrzr)，相 机坐标系(Oc-xcyczc)，相机固定安装于机械臂末端，通过控制机械臂的运动，可 以实现对相机位置的精确控制。机械臂末端坐标系(Or-xryrzr)和世界坐标系 (Ow-xwywzw)之间的位置关系表示为旋转矩阵rRw和平移矢量rtw，可以通过机械 臂末端旋转和位移控制量计算得到。相机坐标系(Oc-xcyczc)和机械臂末端坐标系 (Or-xryrzr)之间的位置关系表示为旋转矩阵cRr和平移向量ctr，由于相机固定安 装于机器人手臂末端，利用手眼标定算法计算cRr和ctr。
相机的投影矩阵P将三维空间投影到图像平面矩阵P是秩为3的3*4 矩阵。
其中，A是相机内参数矩阵，I3是3阶单位阵，O33*1零矢量。
投影矩阵P将世界坐标系中的某一空间点X映射到图像平面中的一个点u，
λuT＝PX. (2)
其中，X＝(x y z 1)T表示三维空间中一点，u＝(u v 1)T表示点X在图像 平面的映射。λ是一非零标量。
椭圆检测
空间圆在一幅图像中的投影是一个椭圆，通过在图像中进行椭圆检测实现 空间螺母的检测。利用Canny边界检测子检测图像中的边界点，将具有相同凸 方向的边界点连接形成边界段，舍弃短的边界段和直线段，根据边界段的凹凸 性以及边界段的相互位置关系，可以实现椭圆的快速检测，并计算得到椭圆的 各个参数，即椭圆的中心坐标(uc,vc)，半长轴a，半短轴b，离心率e，旋转角θ， 在图像平面中，椭圆表示为一个矩阵：
其中，A＝a2cos2θ+b2sin2θ,
B＝(a2-b2)sin2θ,
C＝a2sin2θ+b2cos2θ,
D＝-(2ucA+vcB),
E＝-(2vcC+ucB),
F＝b2(vccosθ-ucsinθ)2+a2(uccosθ+vcsinθ)2-a2b2
两个视角获得的两幅图像中两个椭圆的匹配
控制机械臂末端从一个位置移动到另一个位置，安装在机械臂末端的摄像 头在两个不同的位置采集到两幅图像，通过这样的两幅图像重建空间圆，需要 对这两幅图像中的椭圆(空间圆在两幅图像中的投影)进行匹配。
假设在两幅图中检测到的两个椭圆分别表示为两个3*3矩阵C1和C2，由摄 像头的光心和相对应的椭圆uTC1u＝0，uTC2u＝0所形成的两个椭圆锥可以表示为：
xTQ1x＝0, (4)
xTQ2x＝0, (5)
其中P1和P2分别是摄像头在两个不同位置所对应 的投影矩阵。
所需要重建的空间圆既是椭圆锥平面Q1与空间圆所在平面的交线，也是椭 圆锥平面Q2与空间圆所在平面的交线。同时，空间圆所在平面还是Q1和Q2相交 得到的二次曲面，空间圆是一个退化的二次曲面。重建空间圆就是找到空间圆 所在的退化二次曲面。Quan等人已证明，从两个视角获得的图像重建空间圆的 问题，等价于找到使得λ-矩阵C(λ)＝Q1+λQ2的秩等于2。秩为2的C(λ)需满足：
其中，l2,l3,l4是关于λ的多项式|C(λ)|的相应多项式系数。
我们利用这一方程进行两幅图像在两个椭圆的匹配，如果在两幅图像中得 到了两个椭圆是匹配的，就可以进行空间圆的重建了。
计算空间圆的圆心和法向量
由于透视投影变换引起的变形，从而使得空间圆圆心在图像中的投影与投 影椭圆的几何圆心并不重合，所以空间圆的圆心不能够直接通过两个椭圆的几 何圆心重建。如图2所示，通过摄像头的光心Oc和投影椭圆可以得到一个椭 圆锥。不失一般性，假设投影椭圆在图像中心位置并且在椭圆锥的正切平面上， 在椭圆锥的主轴上选取一点p，椭圆锥的顶点Oe就是摄像头的光心Oc，令OPe＝d，过p点垂直于主轴的平面与椭圆锥的交线是该投影椭圆该椭圆主轴平行于空 间圆，p是椭圆的几何圆心ce，椭圆的半长轴为ae，半短轴为be，法向量为
当椭圆绕其主轴旋转±γ，与椭圆锥平面相交可以得到两个圆，旋转角为：
这两个圆的法向量分别为：
n1＝(0 -sinγ cosγ)T, (7)
n2＝(0 -sin(-γ) cos(-γ))T. (8)
这两个圆的圆心分别为它们在图像平面中的坐标为uc1、uc2，在世 界坐标系中两个圆的法向量为wn1、wn2。
同样地，空间圆在第二个图像平面中的投影椭圆和摄像头的光心也可以得 到一个椭圆锥，投影椭圆绕其主轴旋转，与椭圆锥平面相交可以得到两个圆， 两个圆的圆心在图像平面中的坐标为u′c1、u′c2，法向量为wn′1、wn′2，由于只有一 个空间圆，也就是wn1或wn2等于wn′1或wn′2，且等于空间圆的法向量n。利用这一 判定条件，确定相对应该法向量的两个圆心坐标uc1(或uc2)和u′c1(或u′c2)，利用线 性三角立体视觉算法重建空间圆的圆心坐标Xc＝(xc,yc,zc)T。
在上一步中，计算了空间圆的圆心Xc＝(xc,yc,zc)T和法向量n，可以得到空间 圆在世界坐标系(Ow-xwywzw)的表示：
其中，Q＝Q1orQ2.
在三维笛卡尔坐标系(O-xyz)中的空间圆在三个坐标平面xOy、xOz、yOz的 投影是三个椭圆，这三个椭圆的长轴a1,a2,a3都等于空间圆的直径，从而，空间 圆的半径为：
a1,a2,a3可以利用公式(9)计算得到。
通过单目视觉***在不同视角获得的两幅图像，利用上面的步骤1.1-1.5， 可以重建得到空间圆的六维位置-姿态。
分析单目视觉***的位置对于空间圆六维位置-姿态测量精度的影响。单目 视觉***相对于空间圆的位置可以通过空间圆的投影椭圆在图像中的位置以及 投影椭圆半短轴与半长轴之比反映出来。
空间圆的法向量为：n＝(0-sinγcosγ)，其中不失 一般性，假设d为常数。可以证明，γ的计算误差随着椭圆中半短轴与 半长轴之比的增大而增大，另一方面，椭圆在椭圆锥的正切平面上，与在 图像平面中的投影椭圆平行，
而空间圆的法向量n＝(0 -sin(±γ) cos(±γ))，其计算误差正比例于从而，为了使得法向量n的计算误差小，应当尽量小。
由于图像处理误差，会使得空间点x在图像平面中的真实投影u，被错误地 当作u′，这样，如果利用u′重建，x就会被错误地重建为x′，如图3所示。
假设Oex＝dx，相机光轴Oeu与空间圆平面的夹角为Oeu与Oeu′ 之间的夹角为β，由于u与u′之间的距离，所带来的x的误差为：
可以证明，随着α的增加，|ed|单调递减。由于随着α的增加而增加，从而 α的值可以反映出的大小。为了减少空间圆半径的计算误差，应当接近于1， 也就是，相机的光轴应当于空间圆所在平面垂直，并且空间圆在图像中的投影 处于图像中间位置。
空间圆的圆心利用线性三角立体视觉算法计算重建得到。如图4所示，表 示不确定区域的阴影部分取决于两条射线的夹角(连接处于两个不同位置的摄 像头光心与空间圆圆心的射线)。显然，两个射线的夹角应当足够大，以减少空 间圆圆心的计算误差。
利用线性三角立体视觉算法，对两个不同视角采集到的图像进行重建，可 以得到圆形工件的六维位置-姿态。基于上述对于空间圆法向量、半径、圆心坐 标计算误差影响因素的分析，可以得到，为了获得精度更高的圆形工件的六维 位置-姿态，需要满足以下三个条件：
(1)投影椭圆应在图像的中间位置；
(2)为了减小法向量的计算误差，一幅图像中投影椭圆的半短轴与半 长轴之比应当尽可能小；
(3)为了减小半径的计算误差，另一幅图像中投影椭圆的半短轴与半 长轴之比应当接近于1。
为了满足上述条件，本申请的一种典型的实施方式中，如图5所示。
假设安装于机械臂末端的单目手眼***检测到一个椭圆(假设该椭圆是某 圆形工件的投影)，为了获取该圆形工件六维位置-姿态，主动控制机械臂的运动， 使单目手眼***移动到图5所示的Location 1、Location 2、Location 3，利用单目 视觉***在这三个位置采集的图像进行圆形工件的六维位置-姿态的计算，可以 提高圆形工件的六维位置-姿态的精度。
步骤1、控制机械臂的移动，使得单目手眼***到达Temp1和Location 1两 个位置，并在这两个位置采集图像。
假设初始时刻单目手眼***检测到投影椭圆，控制机械臂的移动，使得单 目手眼***检测到的投影椭圆处于图像中间位置，并使得投影椭圆的主轴平行 于图像平面的u轴，计算投影椭圆半短轴与半长轴之比根据的值，执行 (1)或者(2)。
(1)如果标注单目手眼视觉***的初始位置为Temp1，标注当 前检测到的投影椭圆为控制机械臂运动，使得相机坐标系(OC-xCyCzC)在 Temp1处绕投影椭圆长轴xc顺时针、或逆时针转动一个小角度(该角度(＜5°) 不至于使椭圆移出图像)，然后使相机坐标系(OC-xCyCzC)沿着投影椭圆的短轴yc的正方向或负方向平移一段距离(该距离(＜10mm)使得椭圆重新回到图像中 心位置)，重复这一过程多次，直至处于图像中间位置的投影椭圆的半短轴与半 长轴之比标注单目手眼视觉***的当前位置为Location1，投影椭圆为 接着，执行(3)。
(2)如果标注单目手眼视觉***的当前位置为Location 1，投影 椭圆为控制机械臂运动，使相机坐标系(OC-xCyCzC)在Location 1绕投影椭圆 的长轴xc轴逆时针、或顺时针旋转一个小角度(该角度(＜5°)不至于使椭圆 移出图像)，然后使相机坐标系(OC-xCyCzC)沿投影椭圆的短轴yc轴的正方向或负 方向平移一段距离(该距离(＜10mm)使得椭圆重新回到图像中心位置，)，重 复这一过程多次，直至处于图像中间位置的投影椭圆的半短轴与半长轴之比 标注单目手眼视觉***的当前位置为temp1，标注当前检测到的投影 椭圆为然后，移动机械臂使得单目视觉***回到Location 1。接着，执行(3)。
(3)利用线性三角立体视觉算法，通过在Temp 1和Location 1位置得到的 投影椭圆和计算空间圆的圆心，记作x′c，计算单目视觉***从Location 1 到x′c的距离d1。
步骤2、控制机械臂的移动，使得单目手眼***从Location 1移动到Location 2和Location 3，在Location 2和Location 3两个位置采集图像。
(1)控制机械臂的移动，使得相机坐标系(OC-xCyCzC)在Location 1绕xC轴 逆时针旋转使得(OC-xCyCzC)在yCOCzC平面上沿着与OcxC夹角为 的方向平移标注单目手眼视觉***的当前位置为Location 2， 在Location 2，手眼视觉***的光心到x′c的距离为d2；在Location 2，采集图像。 通过上面的移动后，d2＝d1。然后，控制机械臂的移动，使得单目视觉***返回 到Location 1。
(2)控制机械臂的移动，使得相机坐标系(OC-xCyCzC)在Location 1绕xC轴 顺时针旋转使得(OC-xCyCzC)在yCOCzC平面上沿着与OcxC夹角为 的方向平移标注单目手眼视觉***的当前位置为Location 3， 在Location 3，手眼视觉***的光心到x′c的距离为d3；在Location 3，采集图像。 通过上面的移动后，d3＝d1。
机械臂完成上述移动后，单目手眼***在Location 1，Location 2，和Location 3三个位置处的光心与空间圆的圆心在一个平面上，在Location 2处的单目视觉 ***的光心与空间圆圆心的连线，与在Location 3处的单目视觉***的光心与空 间圆圆心的连线之间的夹角为
步骤3、计算空间圆的圆心坐标、法向量、半径
(1)计算空间圆的圆心坐标。利用在Location 2和Location 3得到的两幅图 像，计算空间圆的圆心坐标，记作XC，连接Location 2和Location 3两个位置处 的单目手眼视觉***的光心与空间圆圆心射线的夹角为可以保证 空间圆圆心坐标的计算误差较小。
(2)计算空间圆的法向量。如果ω1＞ω2，那么利用在Location 2采集到的图 像计算空间圆的法向量；如果ω1≤ω2，那么利用在Location 3采集到的图像计算 空间圆的法向量，也就是说，利用具有较小的短半轴与长半轴之比的投影椭圆 计算法向量，以减少法向量的计算误差。
(3)计算空间圆的半径。利用在Location 1采集到的图像计算空间圆的半 径，以减少半径的计算误差。
为了证明该方法的有效性和精确性，进行试验验证。
在UR 5机械臂的末端安装一个Logitech C910摄像头，考虑三种情况：在一 张A4纸上打印的圆、一个圆形垫圈、一个螺母。为了剔除掉坐标变换带来的计 算误差，在实验中将一个标定板放到打印圆、圆形垫圈、螺母的旁边，打印的 圆的半径为40.5mm，圆形垫圈的内圆和外圆半径分别为16.5mm和40mm，螺 母的内圆半径为32mm，标定板的6*9格标定板，每格的边长为15mm。软件使 用的是Visual Studio 2010和MATLAB 2010b，在计算机Intel(R)Core(TM)i-4590 CPU,3.30GHz,4.00GB RAM上运行。
实验1.在A4纸上打印的圆的法向量、圆心坐标和半径的计算误差
如图6所示，控制机械臂的移动。初始时刻，单目手眼相机处于P0位置， 光轴与打印圆所在平面几乎成直角；然后，控制机械臂的移动，使得这一角度 逐渐减少，直到投影椭圆的半短轴与半长轴之比为0.5，在这个过程中，单目手 眼视觉***在11个位置采集11幅图像，在P0和P10位置采集的图像如图7所 示，标定板作为参考物。
首先，在位置P1～P10采集的图像上椭圆分别与在位置P0处采集的图像上 的椭圆进行匹配；然后，在椭圆匹配后，用P0处采集的图像上的投影椭圆与 Pi(i＝1,…,10)处采集的图像上的投影椭圆分别计算圆心坐标Xc；接着，分别利用 Pi(i＝1,...,10)处采集的图像计算打印圆的法向量；最后，利用上面计算的法向量 和圆心坐标，分别利用P0、Pi(i＝1,...,10)处采集的图像上的投影椭圆计算打印圆 的半径r。
打印圆的圆心坐标、半径、法向量的计算误差如表1所示。表1和图8(a) 的结果显示，打印圆法向量的计算误差随着图像中投影椭圆的半短轴与半长轴 之比的减小而较小；表1和图8(b)的结果显示，利用P0和P1位置处采集 的两幅图像计算的打印圆圆心的计算误差最大，这是因为在这两个位置的相机 光心与空间圆圆心的连线之间的夹角太小，从而使得圆心重建误差大，当夹角 大于45°时，圆心坐标的计算误差就很小了；表1、图8(c)、图8(d)的结 果显示，利用P0处采集的图像的投影椭圆计算的打印圆半径的计算误差最小，在P0处采集图像的投影椭圆的半短轴与半长轴之比接近于1，另外，圆心坐标 和法向量的计算误差也会影响半径的计算误差，随着投影椭圆的半短轴与半长 轴之比的降低，打印圆半径的计算误差增加。
通过实验结果，可以看到，利用P0和P10位置处采集的两幅图像计算的打 印圆的法向量n和圆心坐标Xc的误差最小；基于这个法向量n和圆心坐标Xc，基于 P0位置处采集的图像计算的打印圆半径的误差最小。实验结果验证了前面单目 手眼视觉***的位置对于圆形工件的六维位置-姿态测量精度影响的分析。利用 线性三角立体视觉方法，通过两幅图像进行圆形工件的六维位置-姿态测量，为 了提高测量精度，一幅图像的投影椭圆的半短轴与半长轴之比应当尽可能小， 以减少法向量的计算误差；另外一幅图像的投影椭圆的半短轴与半长轴之比应 当接近于1，以减少半径的计算误差；在两个位置摄像头光心与空间圆圆心连线 的夹角应该尽可能大，以减少圆心坐标的计算误差。
表1打印圆的法向量、圆心坐标、半径的计算误差 (相机光心到打印圆的距离约为400mm，在P0处采集的图像作为基准图像 )
实验2：
利用本发明的主动式移动策略进行空间圆六维位置-姿态测量
比较了本发明所提出的主动式测量方法以及随机测量方法，利用线性三角 立体视觉算法，测量圆形垫圈、螺母的六维位置-姿态的误差。
圆形垫圈：
圆形垫圈有一个内圈、一个外圈，利用本发明提出的主动式测量方法和随 机测量方法分别执行了20次实现。
圆形垫圈的平均估计误差如表2所示，可以看到，利用本发明所提出的主动 式移动策略得到的圆形垫圈的半径、法向量、圆形坐标的误差都远小于随机测 量方法所得到的测量值的误差。
表2圆形垫圈的六维位置-姿态测量误差
利用单目手眼***测量螺母的六维位置-姿态，分别利用本发明提出的主动 式测量方法和随机方法做了20次实验，螺母法向量、圆心坐标、半径的平均测 量误差如表3所示，可以看到，利用本发明所提出的主动式移动策略得到的测量 值的平均测量误差较小。
表3螺母的六维位置-姿态的平均测量误差
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领 域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则 之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之 内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明 保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上， 本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明 的保护范围以内。

Claims (10)

1.一种基于单目手眼***的空间圆六维位置-姿态主动式测量方法，其特征是：控制单目手眼***在至少两个不同的位置采集图像，根据采集的图像计算空间圆的圆心坐标、法向量和半径，得到空间圆的六维位置-姿态估计，不同位置上采集的图像满足投影的椭圆在图像的中间位置，且不同位置处的单目手眼***的光心与空间圆圆心连线的夹角大于设定值。
2.如权利要求1所述的一种基于单目手眼***的空间圆六维位置-姿态主动式测量方法，其特征是：不同位置采集的图像，至少一幅图像中投影椭圆的半短轴与半长轴之比小于预定值小且另一幅图像中投影椭圆的半短轴与半长轴之比大于预设值，趋近于1。
3.如权利要求1所述的一种基于单目手眼***的空间圆六维位置-姿态主动式测量方法，其特征是：控制单目手眼***的具体方法为：控制机械臂的移动，使得单目手眼***检测到的投影椭圆处于图像中间位置，并使得投影椭圆的主轴平行于图像平面的u轴，计算投影椭圆半短轴与半长轴之比，根据椭圆半短轴与半长轴之比对机械臂进行微调，确定最终的采集位置。
4.如权利要求3所述的一种基于单目手眼***的空间圆六维位置-姿态主动式测量方法，其特征是：若投影椭圆半短轴与半长轴之比小于设定值，标注单目手眼视觉***的初始位置为Temp1，标注当前检测到的投影椭圆为控制机械臂运动，使得相机坐标系在Temp1处绕投影椭圆长轴顺时针、或逆时针转动额定角度，然后使相机坐标系沿着投影椭圆的短轴的正方向或负方向平移一段距离，使得椭圆重新回到图像中心位置，不断重复直至处于图像中间位置的投影椭圆的半短轴与半长轴之比大于设定值，标注当前位置为采集位置Location 1。
5.如权利要求3所述的一种基于单目手眼***的空间圆六维位置-姿态主动式测量方法，其特征是：若投影椭圆半短轴与半长轴之比大于等于设定值，标注单目手眼视觉***的当前位置为Location 1，投影椭圆为控制机械臂运动，使相机坐标系在Location 1绕投影椭圆的长轴逆时针或顺时针旋转额定角度，然后使相机坐标系沿投影椭圆的短轴的正方向或负方向平移一段距离，使得椭圆重新回到图像中心位置，不断微调重复，直至处于图像中间位置的投影椭圆的半短轴与半长轴之比小于预定值，标注单目手眼视觉***的当前位置为采集位置temp1，标注当前检测到的投影椭圆为
6.如权利要求4或5所述的一种基于单目手眼***的空间圆六维位置-姿态主动式测量方法，其特征是：控制机械臂移动，使其在在Temp 1和Location 1位置得到的投影椭圆和计算空间圆的圆心，控制机械臂的移动使相机坐标系在Location 1绕投影椭圆长轴逆时针旋转ω1和顺时针旋转ω2，分别确定采集位置Location 2和Location 3。
7.如权利要求6所述的一种基于单目手眼***的空间圆六维位置-姿态主动式测量方法，其特征是：单目手眼***在Location 1，Location 2，和Location 3三个位置处的光心与空间圆的圆心在一个平面上，在Location 2处的单目视觉***的光心与空间圆圆心的连线，与在Location 3处的单目视觉***的光心与空间圆圆心的连线之间的夹角为
8.如权利要求6所述的一种基于单目手眼***的空间圆六维位置-姿态主动式测量方法，其特征是：利用在Location 2和Location 3得到的两幅图像，计算空间圆的圆心坐标。
9.如权利要求6所述的一种基于单目手眼***的空间圆六维位置-姿态主动式测量方法，其特征是：利用在Location 2和Location 3得到的两幅图像中具有较小的短半轴与长半轴之比的投影椭圆计算法向量。
10.如权利要求1所述的一种基于单目手眼***的空间圆六维位置-姿态主动式测量方法，其特征是：利用在Location 1采集到的图像计算空间圆的半径，以减少半径的计算误差。
CN201710313593.0A 2017-05-05 2017-05-05 基于单目手眼***的空间圆六维位置-姿态主动式测量方法 Active CN107218930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710313593.0A CN107218930B (zh) 2017-05-05 2017-05-05 基于单目手眼***的空间圆六维位置-姿态主动式测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710313593.0A CN107218930B (zh) 2017-05-05 2017-05-05 基于单目手眼***的空间圆六维位置-姿态主动式测量方法

Publications (2)

Publication Number Publication Date
CN107218930A true CN107218930A (zh) 2017-09-29
CN107218930B CN107218930B (zh) 2020-01-03

Family

ID=59943966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710313593.0A Active CN107218930B (zh) 2017-05-05 2017-05-05 基于单目手眼***的空间圆六维位置-姿态主动式测量方法

Country Status (1)

Country Link
CN (1) CN107218930B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090931A (zh) * 2017-12-13 2018-05-29 中国科学院光电技术研究所 一种基于圆和十字特征组合的抗遮挡抗干扰的标志器识别与位姿测量方法
CN108927807A (zh) * 2018-08-14 2018-12-04 河南工程学院 一种基于点特征的机器人视觉控制方法
CN109014725A (zh) * 2018-08-28 2018-12-18 昆山华恒焊接股份有限公司 工件的管孔定位方法、装置以及计算机存储介质
CN109102567A (zh) * 2018-10-11 2018-12-28 北京理工大学 一种基于重建误差最小化的位姿参数高精度求解方法
CN109934854A (zh) * 2019-03-28 2019-06-25 南京邮电大学 一种利用多目摄像头检测运动目标的装置及方法
CN110906863A (zh) * 2019-10-30 2020-03-24 成都绝影智能科技有限公司 一种用于线结构光传感器的手眼标定***及标定方法
CN112288808A (zh) * 2020-10-22 2021-01-29 扬州大学 基于视觉的柴油发动机活塞缸台阶孔直径位置测量方法
CN114734444A (zh) * 2022-04-27 2022-07-12 博众精工科技股份有限公司 一种目标定位方法、装置、电子设备及存储介质
CN117455984A (zh) * 2023-12-26 2024-01-26 深圳市信润富联数字科技有限公司 随臂式相机采集点的确定方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3933338A1 (en) * 2021-06-02 2022-01-05 Ideko, S.Coop. System and process for controlling the uncertainty of a photogrammetric meter

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5498221A (en) * 1994-10-31 1996-03-12 Blair, Jr.; Clifford Hip-turning exercise machine
WO2006025806A1 (en) * 2003-01-07 2006-03-09 Lin J T Apparatus for reversal of presbyopia using thermal lasers focused on zonules
CN101093160A (zh) * 2007-07-12 2007-12-26 上海交通大学 基于双目立体视觉技术的空间圆几何参数的测量方法
CN101303768A (zh) * 2008-06-17 2008-11-12 东南大学 圆形标志点在摄像机透视投影变换时圆心偏差的修正方法
CN101377405A (zh) * 2008-07-11 2009-03-04 北京航空航天大学 一种空间圆姿态参数和几何参数的视觉测量方法
CN103862330A (zh) * 2012-12-14 2014-06-18 中国科学院沈阳自动化研究所 基于机器视觉的弯管磁研磨自动导航方法
CN104101331A (zh) * 2014-07-24 2014-10-15 合肥工业大学 基于全光场相机的非合作目标位姿测量
CN104400279A (zh) * 2014-10-11 2015-03-11 南京航空航天大学 基于ccd的管道空间焊缝自动识别与轨迹规划的方法及***
CN104517291A (zh) * 2014-12-15 2015-04-15 大连理工大学 基于目标同轴圆特征的位姿测量方法
CN105509733A (zh) * 2015-11-30 2016-04-20 上海宇航***工程研究所 非合作空间圆目标的相对位姿测量方法
CN105957090A (zh) * 2016-05-17 2016-09-21 中国地质大学（武汉） 一种基于达芬奇技术的单目视觉位姿测量方法及***

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5498221A (en) * 1994-10-31 1996-03-12 Blair, Jr.; Clifford Hip-turning exercise machine
WO2006025806A1 (en) * 2003-01-07 2006-03-09 Lin J T Apparatus for reversal of presbyopia using thermal lasers focused on zonules
CN101093160A (zh) * 2007-07-12 2007-12-26 上海交通大学 基于双目立体视觉技术的空间圆几何参数的测量方法
CN101303768A (zh) * 2008-06-17 2008-11-12 东南大学 圆形标志点在摄像机透视投影变换时圆心偏差的修正方法
CN101377405A (zh) * 2008-07-11 2009-03-04 北京航空航天大学 一种空间圆姿态参数和几何参数的视觉测量方法
CN103862330A (zh) * 2012-12-14 2014-06-18 中国科学院沈阳自动化研究所 基于机器视觉的弯管磁研磨自动导航方法
CN104101331A (zh) * 2014-07-24 2014-10-15 合肥工业大学 基于全光场相机的非合作目标位姿测量
CN104400279A (zh) * 2014-10-11 2015-03-11 南京航空航天大学 基于ccd的管道空间焊缝自动识别与轨迹规划的方法及***
CN104517291A (zh) * 2014-12-15 2015-04-15 大连理工大学 基于目标同轴圆特征的位姿测量方法
CN105509733A (zh) * 2015-11-30 2016-04-20 上海宇航***工程研究所 非合作空间圆目标的相对位姿测量方法
CN105957090A (zh) * 2016-05-17 2016-09-21 中国地质大学（武汉） 一种基于达芬奇技术的单目视觉位姿测量方法及***

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
SULTAN 等: "《Hand-eye 3D Pose Estimation for a Drawing Robot》", 《IEEE INTERNATIONAL CONFERENCE ON MECHATRONICS AND AUTOMATION》 *
丰俊丙: "《基于视觉的移动机器人自定位及目标物位姿测量研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李会猛: "《自主移动机器人视觉***研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
罗尤春: "《基于视觉的空间圆三维重建理论与应用》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
邓桦: "《机械臂空间目标视觉抓取的研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090931A (zh) * 2017-12-13 2018-05-29 中国科学院光电技术研究所 一种基于圆和十字特征组合的抗遮挡抗干扰的标志器识别与位姿测量方法
CN108927807A (zh) * 2018-08-14 2018-12-04 河南工程学院 一种基于点特征的机器人视觉控制方法
CN109014725A (zh) * 2018-08-28 2018-12-18 昆山华恒焊接股份有限公司 工件的管孔定位方法、装置以及计算机存储介质
CN109102567B (zh) * 2018-10-11 2023-02-24 北京理工大学 一种基于重建误差最小化的位姿参数高精度求解方法
CN109102567A (zh) * 2018-10-11 2018-12-28 北京理工大学 一种基于重建误差最小化的位姿参数高精度求解方法
CN109934854A (zh) * 2019-03-28 2019-06-25 南京邮电大学 一种利用多目摄像头检测运动目标的装置及方法
CN109934854B (zh) * 2019-03-28 2022-09-02 南京邮电大学 一种利用多目摄像头检测运动目标的装置及方法
CN110906863A (zh) * 2019-10-30 2020-03-24 成都绝影智能科技有限公司 一种用于线结构光传感器的手眼标定***及标定方法
CN112288808A (zh) * 2020-10-22 2021-01-29 扬州大学 基于视觉的柴油发动机活塞缸台阶孔直径位置测量方法
CN112288808B (zh) * 2020-10-22 2024-06-14 扬州大学 基于视觉的柴油发动机活塞缸台阶孔直径位置测量方法
CN114734444A (zh) * 2022-04-27 2022-07-12 博众精工科技股份有限公司 一种目标定位方法、装置、电子设备及存储介质
CN114734444B (zh) * 2022-04-27 2023-06-27 博众精工科技股份有限公司 一种目标定位方法、装置、电子设备及存储介质
CN117455984A (zh) * 2023-12-26 2024-01-26 深圳市信润富联数字科技有限公司 随臂式相机采集点的确定方法及装置
CN117455984B (zh) * 2023-12-26 2024-03-26 深圳市信润富联数字科技有限公司 随臂式相机采集点的确定方法及装置

Also Published As

Publication number Publication date
CN107218930B (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN107218930A (zh) 基于单目手眼***的空间圆六维位置‑姿态主动式测量方法
CN105073348B (zh) 用于校准的机器人***和方法
CN111121655B (zh) 一种共面等大多孔型工件位姿与孔径视觉检测方法
Pagani et al. Structure from motion using full spherical panoramic cameras
CN105205824B (zh) 基于高精度辅助相机和球靶标的多摄像机全局校准方法
Wong et al. A stratified approach for camera calibration using spheres
CN103886593B (zh) 一种基于三维点云曲面圆孔检测方法
JP2016075637A (ja) 情報処理装置およびその方法
CN101377405B (zh) 一种空间圆姿态参数和几何参数的视觉测量方法
CN105806315A (zh) 基于主动编码信息的非合作目标相对测量***及测量方法
CN109470170A (zh) 基于最优投影平面的立体视觉空间圆位姿高精度测量方法及***
Lin et al. Depth measurement based on stereo vision with integrated camera rotation
CN106500625A (zh) 一种远心立体视觉测量装置及其应用于物体三维形貌微米级精度测量的方法
Tian et al. The extrinsic calibration of area-scan camera and 2D laser rangefinder (LRF) using checkerboard trihedron
Wei et al. Flexible calibration of a portable structured light system through surface plane
CN110363801A (zh) 工件实物与工件三维cad模型的对应点匹配方法
Romero et al. A validation strategy for a target-based vision tracking system with an industrial robot
CN109035342B (zh) 利用一条直线及圆环点极线标定拋物折反射摄像机的方法
Chen et al. Virtual binocular vision systems to solid model reconstruction
JP2011174891A (ja) 位置姿勢計測装置、位置姿勢計測方法、及びプログラム
KR101246975B1 (ko) 원 마커를 이용한 구형물체 비행정보 추정 방법
Wang et al. Full Period Three-dimensional (3-D) Reconstruction Method for a Low Cost Singlelayer Lidar.
CN110428472A (zh) 三角形基元立体球靶标及工业相机标定方法
EP3888057A1 (en) Systems and methods for determining an orientation of an image
Wang et al. Pose estimation from circle or parallel lines in a single image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231222

Address after: Room 1810, building 2, No. 209, Zhuyuan Road, high tech Zone, Suzhou, Jiangsu 215000

Patentee after: Faoyiwei (Suzhou) Robot System Co.,Ltd.

Address before: 250061 Ji'nan City, Shandong Province, No. ten, No. 17923

Patentee before: SHANDONG University