CN109015630A - 基于标定点提取的手眼标定方法、***及计算机存储介质 - Google Patents

基于标定点提取的手眼标定方法、***及计算机存储介质 Download PDF

Info

Publication number
CN109015630A
CN109015630A CN201810646572.5A CN201810646572A CN109015630A CN 109015630 A CN109015630 A CN 109015630A CN 201810646572 A CN201810646572 A CN 201810646572A CN 109015630 A CN109015630 A CN 109015630A
Authority
CN
China
Prior art keywords
coordinate system
calibration point
coordinates
camera
image pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810646572.5A
Other languages
English (en)
Other versions
CN109015630B (zh
Inventor
陈恳
陈先开
姚杰
冯良炳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Chen Shi Intelligent Technology Co Ltd
Original Assignee
Shenzhen Chen Shi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Chen Shi Intelligent Technology Co Ltd filed Critical Shenzhen Chen Shi Intelligent Technology Co Ltd
Priority to CN201810646572.5A priority Critical patent/CN109015630B/zh
Publication of CN109015630A publication Critical patent/CN109015630A/zh
Application granted granted Critical
Publication of CN109015630B publication Critical patent/CN109015630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于标定点提取的手眼标定方法、***及计算机存储介质,属于机器视觉分拣领域。该方法包括:根据标定板提取标定点图像像素坐标和建立世界坐标系,确定摄像机坐标系与世界坐标系的相对关系;根据标定板的标定点图像像素坐标,确定图像像素坐标与摄像机坐标之间的映射关系;根据标定点和世界坐标系,建立机械臂用户坐标系,确定世界坐标系与机械臂用户坐标系之间的关系。本发明提供的一种基于标定点提取的手眼标定方法、***及计算机存储介质,能根据图像坐标,确定机械臂的实际抓取坐标,可以提高机械臂分拣的自适应性,提高机械臂的智能化水平,降低设备成本,提高生产效率。

Description

基于标定点提取的手眼标定方法、***及计算机存储介质
技术领域
本发明涉及机器视觉分拣领域,特别涉及一种基于标定点提取的手眼标定方法、***及计算机存储介质。
背景技术
近年来,在机械臂的分拣领域,一般通过示教工业机械臂来指导工业机械臂抓取物料,采用这种方法需要将待抓取的工件固定到固定位置,然后示教机械臂到指定的位置抓取。采用这种方法对周围机械设备的要求较高,增加了设备成本;增加了工件预定位步骤,降低了生产效率;并且当工件的位置发生变化时,需要重新调整周围的机械设备并对机械臂重新编程,自适应性较差。
所以,为了降低生产成本,提高生产效率,提高自适应性,需要对传统的示教抓取方案做出改进。
发明内容
有鉴于此,本发明的目的在于提供一种基于标定点提取的手眼标定方法、***及计算机存储介质,能根据图像坐标,确定机械臂的实际抓取坐标,可以提高机械臂分拣的自适应性,提高机械臂的智能化水平,降低设备成本,提高生产效率。
本发明解决上述技术问题所采用的技术方案如下:
根据本发明的一个方面,提供一种基于标定点提取的手眼标定方法,包括:
根据标定板提取标定点图像像素坐标和建立世界坐标系,确定摄像机坐标系与世界坐标系的相对关系;
根据标定板的标定点图像像素坐标,确定图像像素坐标与摄像机坐标之间的映射关系;
根据标定点和世界坐标系,建立机械臂用户坐标系,确定世界坐标系与机械臂用户坐标系之间的关系。
在一个可能的设计中,所述方法还包括:利用标定板提取标定点标定摄像机参数。
在一个可能的设计中,所述利用标定板提取标定点标定摄像机参数,包括:利用标定板,根据预设标定方法标定摄像机的内参数和畸变系数。
在一个可能的设计中,所述根据标定板提取标定点图像像素坐标和建立世界坐标系,确定摄像机坐标系与世界坐标系的相对关系,包括:
提取标定板上各个标定点图像像素坐标;
在标定板上建立世界坐标系,确定标定板各个标定点在世界坐标系下的世界坐标;
根据标定点图像像素坐标以及标定点在世界坐标系下的世界坐标,确定摄像机坐标系与世界坐标系的相对关系。
在一个可能的设计中,所述在标定板上建立世界坐标系,确定标定板各个标定点在世界坐标系下的世界坐标,包括:将标定板上的某一标定点设置为原点,原点与任意其他一个标定点的连线作为x轴,y轴在标定板平面,按照右手系建立世界坐标系,确定各个标定点Pobji的世界坐标为{(xw1,yw1,0),(xw2,yw2,0),...(xwi,ywi,0)...(xwn,ywn,0)},其中,xwi表示标定点世界坐标的x值,ywi表示标定点世界坐标的y值。
在一个可能的设计中,所述根据标定点图像像素坐标以及标定点在世界坐标系下的世界坐标,确定摄像机坐标系与世界坐标系的相对关系,包括:采用以下方式确定摄像机坐标系与世界坐标系的相对关系T1
其中,T1为4×4的矩阵,R1为3×3旋转矩阵,t1为3×1的平移矩阵。
在一个可能的设计中,所述根据标定板的标定点图像像素坐标,确定图像像素坐标与摄像机坐标之间的映射关系,包括:
确定图像像素坐标与摄像机坐标理论映射关系;
结合已确定的图像像素坐标与摄像机坐标的理论映射关系,确定图像像素坐标与摄像机坐标的实际映射关系。
在一个可能的设计中,所述确定图像像素坐标与摄像机坐标理论映射关系,包括:空间中一个三维点P(xc,yc,zc)与摄像机光心相连,连线与成像平面相关于点p1(u,v),点p1(u,v)为空间三维点P(xc,yc,zc)在成像平面上的投影,确定图像像素坐标映射到摄像机坐标的理论映射关系。
在一个可能的设计中,所述结合已确定的图像像素坐标与摄像机坐标的理论映射关系,确定图像像素坐标与摄像机坐标的实际映射关系,包括:
确定所有标定点在摄像机坐标系中的摄像机坐标;
将所有标定点的摄像机坐标拟合在一个平面上,确定图像像素坐标与摄像机坐标的映射关系。
在一个可能的设计中,所述根据标定点和世界坐标系,建立机械臂用户坐标系,确定世界坐标系与机械臂用户坐标系之间的关系;包括:设置建立机械臂用户坐标系;确定世界坐标系与机械臂用户坐标系之间的关系。
在一个可能的设计中,所述设置建立机械臂用户坐标系;包括:
设置用户坐标系原点与世界坐标系原点重合;
将用户坐标系原点与任意其他一个标定点的连线作为x轴方向,,y轴方向在世界坐标系xy平面,并按照右手系确定用户的z轴方向,建立用户坐标系。
在一个可能的设计中,所述确定世界坐标系与机械臂用户坐标系之间的关系;包括:世界坐标系与机械臂用户坐标系的位置关系为T2,可以采用以下方式来确定:
[xu,yu,zu,1]T=T2·[xw,yw,zw,1]T
其中,(xu,yu,zu)为用户坐标,[xu,yu,zu,1]T为[xu,yu,zu,1]的转置,[xw,yw,zw,1]T为[xw,yw,zw,1]的转置。
在一个可能的设计中,所述根据标定点和世界坐标系,建立机械臂用户坐标系,确定世界坐标系与机械臂用户坐标系之间的关系;进一步包括:确定图像像素坐标(u,v)与机械臂用户坐标(xu,yu,zu)的映射关系,并采用以下方式确定两者之间的映射关系:
[xu,yu,zu,1]T=T2·[xw,yw,zw,1]T
在一个可能的设计中,所述根据标定点和世界坐标系,建立机械臂用户坐标系,确定世界坐标系与机械臂用户坐标系之间的关系;进一步包括:设置机械臂的运行参考坐标系为用户坐标系,根据图像像素坐标确定机械臂的运行抓取坐标。
根据本发明的另一个方面,提供一种基于标定点提取的手眼标定***,应用于所述的基于标定点提取的手眼标定方法,所述***包括:多标定板、摄像机、机械臂;其中:
所述标定板,用于提取标定点标定摄像机参数,提取标定点图像像素坐标,建立世界坐标系,确定摄像机坐标系与世界坐标系的相对关系;以及根据标定点和世界坐标系,建立机械臂用户坐标系,确定世界坐标系与机械臂用户坐标系之间的关系;
所述摄像机,用于建立摄像机坐标系,并根据标定点图像像素坐标,确定图像像素坐标与摄像机坐标系的映射关系;
所述机械臂,用于根据将用户坐标系作为运行参考坐标系,自主确定抓取位置。
一种计算机可读存储介质,所述计算机可读存储介质上存储有基于标定点提取的手眼标定方法程序,所述基于标定点提取的手眼标定方法程序被处理器执行时实现本发明实施例所述的基于标定点提取的手眼标定方法步骤。
与现有技术相比,本发明提供一种基于标定点提取的手眼标定方法、***及计算机存储介质,通过利用标定板提取标定点标定摄像机内外参数的基础上,根据约束公式确定图像像素坐标与摄像机坐标之间的映射关系,然后确定摄像机坐标系与世界坐标系的关系,确定世界坐标系与机械臂用户作业坐标系的关系,从而确定了图像像素坐标与机械臂用户坐标的映射关系的技术方案,通过图像像素坐标得到机械臂的用户作业坐标(实际抓取坐标),进而引导机械臂抓取动作,减少了示教过程,增加了机械臂作业的自适应性,提高机械臂的智能化水平,降低设备成本,提高生产效率。
附图说明
图1是本发明实施例提供的一种基于标定点提取的手眼标定方法流程图;
图2是本发明实施例提供的一种摄像机成像的示意图;
图3是本发明实施例提供摄像机安装位置及坐标系相对位置示意图;
图4为本发明实施例提供的一种基于标定点提取的手眼标定***的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白,以下结合附图和实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
本发明提供一种基于标定点提取的手眼标定方法,利用标定板提取标定点标定摄像机内外参数的基础上,根据约束公式确定图像像素坐标与摄像机坐标之间的映射关系,然后确定摄像机坐标系与世界坐标系的关系,确定世界坐标系与机械臂用户作业坐标系的关系,从而确定了图像像素坐标与机械臂用户坐标的映射关系的技术方案,通过图像像素坐标得到机械臂的用户作业坐标(实际抓取坐标),进而引导机械臂抓取动作,减少了示教过程,增加了机械臂作业的自适应性,提高机械臂的智能化水平,降低设备成本,提高生产效率。
请参考图1。本发明实施例提供一种基于标定点提取的手眼标定方法,包括:
S1、利用标定板提取标定点标定摄像机参数;
S2、根据标定板提取标定点图像像素坐标和建立世界坐标系,确定摄像机坐标系与世界坐标系的相对关系;
S3、根据标定板的标定点图像像素坐标,确定图像像素坐标与摄像机坐标之间的映射关系;
S4、根据标定点和世界坐标系,建立机械臂用户坐标系,确定世界坐标系与机械臂用户坐标系之间的关系。
进一步地,利用标定板提取标定点标定摄像机参数的步骤S1,具体包括:
确定摄像机的参数。利用标定板,根据预设标定方法标定摄像机的内参数M1和畸变系数Dis。其中,所述预设标定方法如下:
Dis=[k1 k2 p1 p2 k3] (2)
其中,fx,fy为摄像机焦距。cx,cy为主点像素坐标。k1,k2,k3为径向畸变系数,p1,p2为切向畸变系数。
进一步地,根据标定板提取标定点图像像素坐标和建立世界坐标系,确定摄像机坐标系与世界坐标系的相对关系的步骤S2,具体包括:
请参考图3。将标定板平面贴在工作平面上方,与工作平面平行,标定板上标定点的位置是固定不变的,标定点的形式为角度或圆点。
提取标定板上各个标定点图像像素坐标。
在标定板上建立世界坐标系,世界坐标系的xy平面位于标定板平面,确定标定板各个标定点在世界坐标系下的世界坐标。
根据标定点图像像素坐标以及标定点在世界坐标系下的世界坐标,利用3D-2D姿态估计PnP方法确定摄像机坐标系与世界坐标系的相对关系T1
具体过程如下:
S21、将标定板上的某一标定点设置为原点,原点与任意其他一个标定点的连线作为x轴,y轴在标定板平面按照右手系建立世界坐标系,确定各个标定点Pobji的世界坐标为{(xw1,yw1,0),(xw2,yw2,0),...(xwi,ywi,0)...(xwn,ywn,0)},其中,xwi表示标定点世界坐标的x值,ywi表示标定点世界坐标的y值。
S22、提取标定点的图像像素坐标为{(u1,v1),(u2,v2),...(ui,vi),...(un,vn)},其中,ui为标定点图像的横坐标,vi为标定点图像的纵坐标。
S23、设置摄像机坐标系与镜头的相对位置固定,原点与光点重合,Z轴与光轴重合。
S24、根据标定点图像像素坐标以及标定点在世界坐标系下的世界坐标,利用3D-2D姿态估计方法PnP,获得世界坐标系与摄像机坐标系的相对位置。
所述PnP估计方法如下:标定板上的n个标定点P和其投影p,利用李代数ζ表示相机坐标系在基坐标系下的位姿,标定点的坐标为Pi=[xwi ywi zwi]T,其投影的像素坐标为pixeli=[ui vi]T,像素位置和空间点位置的关系如下:其中K为摄像机的内参数矩阵,ζ为ζ的反对称矩阵,对公式最小化。
根据最小化结果,获得世界坐标系与摄像机坐标系的相对位置T1
其中,T1为4×4的矩阵,R1为3×3旋转矩阵,t1为3×1的平移矩阵。
进一步地,根据标定板的标定点图像像素坐标,确定图像像素坐标与摄像机坐标之间的映射关系的步骤S3,具体包括:
图像像素坐标与摄像机坐标的映射关系,可以通过以下方式来确定:
S31、确定图像像素坐标与摄像机坐标的理论映射关系
如图2所示,空间中一个三维点P(xc,yc,zc)与摄像机光心相连,连线与成像平面相关于点p1(u,v),点p1(u,v)为空间三维点P(xc,yc,zc)在成像平面上的投影。由三角相似关系,确定图像像素坐标映射到摄像机坐标具有以下理论映射关系:
S32、结合已确定的图像像素坐标与摄像机坐标的理论映射关系,确定图像像素坐标与摄像机坐标的实际映射关系。
将标定板贴在工作平面上,采集多幅标定板图像,计算确定所有标定点在摄像机坐标系中的摄像机坐标。
将所有标定点的摄像机坐标拟合在一个平面上,确定图像像素坐标与摄像机坐标的映射关系。
具体过程如下:
A)确定所有标定点在摄像机坐标系中的摄像机坐标。
对S31中的理论映射关系公式(5)进行约束。
各标定点世界坐标为{(xw1,yw1,0),(xw2,yw2,0),...(xwi,ywi,0)...(xwn,ywn,0)},根据公式(4)计算得到所有标定点在摄像机坐标系下的摄像机坐标为Pci={(xc1,yc1,zc1),(xc2,yc2,zc2),...(xci,yci,zci)...(xcn,ycn,zcn)}。
B)将所有标定点的摄像机坐标Pci拟合在一个平面内。
利用所有标定点的世界坐标构造矩阵TSVD,TSVD=[xw1,yw1,zw1;xw2,yw2,zw2;...;xwn,ywn,zwn];
对矩阵TSVD进行SVD分解(Singular Value Decomposition,奇异值分解),获得拟合平面的单位法向量n=(nx,ny,nz);所述SVD分解为:
TSVD=UΣVT
其中,Σ为奇异值组成的n×3对角矩阵,对角线元素从大到小排列;U为n×n的方阵,VT为3×3的矩阵;VT里面对应奇异值最小的向量为拟合平面的法向量对法向量进行单位化。
利用单位法向量n和(x0,y0,z0)((x0,y0,z0)为所有摄像机坐标的平均值)确定得到以下拟合平面约束公式(6):
nx(xc-x0)+ny(yc-y0)+nz(zc-z0)=0 (6)
其中,(xc,yc,zc)为工作平面内任意点的摄像机坐标。
C)对图像像素坐标(u,v)进行畸变矫正,矫正后的图像像素坐标为(u′,v′):
u′=u+u(1+k1r2+k2r4+k3r6)+[2p1u+vp2(r2+2u2)] (7)
v′=v+v(1+k1r2+k2r4+k3r6)+[p1(r2+2v2)+2p2u] (8)
其中,r2=u2+v2
D)根据矫正后的图像像素坐标(u′,v′),得到图像像素坐标与摄像机坐标的实际映射关系。
根据上述公式(5)和公式(6),采用以下公式(9)确定图像像素坐标与摄像机坐标的实际映射关系。
进一步地,根据标定点和世界坐标系,建立机械臂用户坐标系,确定世界坐标系与机械臂用户坐标系之间的关系的步骤S4,具体包括:
请参考图3。
S41、设置建立机械臂用户坐标系。具体包括:
S411、设置用户坐标系原点与世界坐标系原点重合。
可以通过在机械臂的末端安装针尖,用针尖戳世界坐标系原点使用户坐标系原点与世界坐标系原点重合。
S412、将用户坐标系原点与任意其他一个标定点的连线作为x轴方向,y轴方向在世界坐标系xy平面,并按照右手系确定用户的z轴方向,建立用户坐标系。
可以通过将针尖移动到另一个标定点,设置原点到该标定点的方向为x轴方向,y轴方向在世界坐标系xy平面,并按照右手系确定用户的z轴方向。
S42、确定世界坐标系与机械臂用户坐标系之间的关系。世界坐标系与机械臂用户坐标系的位置关系为T2,可以采用以下方式来确定:
[xu,yu,zu,1]T=T2·[xw,yw,zw,1]T (11)
其中,(xu,yu,zu)为用户坐标,[xu,yu,zu,1]T为[xu,yu,zu,1]的转置,[xw,yw,zw,1]T为[xw,yw,zw,1]的转置。
在图3中,由于用户坐标系原点与世界坐标系原点重合,所以,在图3中,世界坐标系与机械臂用户坐标系在工作平台上显示是重合的。
S43、利用公式(4)、(10)、(11)确定图像像素坐标(u,v)与机械臂用户坐标(xu,yu,zu)的映射关系。
S44、设置机械臂的运行参考坐标系为用户坐标系,则根据图像像素坐标可以确定机械臂的运行抓取坐标。
请参考图4。本发明实施例提供了一种基于标定点提取的手眼标定***,包括:标定板、摄像机、机械臂;其中:
该标定板,用于提取标定点标定摄像机参数,提取标定点图像像素坐标,建立世界坐标系,确定摄像机坐标系与世界坐标系的相对关系;以及根据标定点和世界坐标系,建立机械臂用户坐标系,确定世界坐标系与机械臂用户坐标系之间的关系;
该摄像机,用于建立摄像机坐标系,并根据标定点图像像素坐标,确定图像像素坐标与摄像机坐标系的映射关系;
该机械臂,用于根据将用户坐标系作为运行参考坐标系,自主确定抓取位置,抓取工件。
需要说明的是,上述的基于标定点提取的手眼标定***实施例与方法实施例属于同一构思,其具体实现过程详见方法实施例,且方法实施例中的技术特征在基于标定点提取的手眼标定***实施例中均对应适用,这里不再赘述。
另外,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有基于标定点提取的手眼标定方法的一个或者多个程序,所述基于标定点提取的手眼标定方法的一个或者多个程序被处理器执行时以实现本发明实施例提供的基于标定点提取的手眼标定方法的以下步骤:
S1、利用标定板提取标定点标定摄像机参数;
S2、根据标定板提取标定点图像像素坐标和建立世界坐标系,确定摄像机坐标系与世界坐标系的相对关系;
S3、根据标定板的标定点图像像素坐标,确定图像像素坐标与摄像机坐标之间的映射关系;
S4、根据标定点和世界坐标系,建立机械臂用户坐标系,确定世界坐标系与机械臂用户坐标系之间的关系。
需要说明的是,上述计算机可读存储介质上的基于标定点提取的手眼标定方法实施例与方法实施例属于同一构思,其具体实现过程详见方法实施例,且方法实施例中的技术特征在上述计算机可读存储介质的实施例中均对应适用,这里不再赘述。
本发明提供一种基于标定点提取的手眼标定方法、***及计算机存储介质,通过利用标定板提取标定点标定摄像机内外参数的基础上,根据约束公式确定图像像素坐标与摄像机坐标之间的映射关系,然后确定摄像机坐标系与世界坐标系的关系,确定世界坐标系与机械臂用户作业坐标系的关系,从而确定了图像像素坐标与机械臂用户坐标的映射关系的技术方案,通过图像像素坐标得到机械臂的用户作业坐标(实际抓取坐标),进而引导机械臂抓取动作,减少了示教过程,增加了机械臂作业的自适应性,提高机械臂的智能化水平,降低设备成本,提高生产效率。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (16)

1.一种基于标定点提取的手眼标定方法,其特征在于,所述方法包括:
根据标定板提取标定点图像像素坐标和建立世界坐标系,确定摄像机坐标系与世界坐标系的相对关系;
根据标定板的标定点图像像素坐标,确定图像像素坐标与摄像机坐标之间的映射关系;
根据标定点和世界坐标系,建立机械臂用户坐标系,确定世界坐标系与机械臂用户坐标系之间的关系。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:利用标定板提取标定点标定摄像机参数。
3.根据权利要求2所述的方法,其特征在于,所述利用标定板提取标定点标定摄像机参数,包括:利用标定板,根据预设标定方法标定摄像机的内参数和畸变系数。
4.根据权利要求1所述的方法,其特征在于,所述根据标定板提取标定点图像像素坐标和建立世界坐标系,确定摄像机坐标系与世界坐标系的相对关系,包括:
提取标定板上各个标定点图像像素坐标;
在标定板上建立世界坐标系,确定标定板各个标定点在世界坐标系下的世界坐标;
根据标定点图像像素坐标以及标定点在世界坐标系下的世界坐标,确定摄像机坐标系与世界坐标系的相对关系。
5.根据权利要求3所述的方法,其特征在于,所述在标定板上建立世界坐标系,确定标定板各个标定点在世界坐标系下的世界坐标,包括:将标定板上的某一标定点设置为原点,原点与任意其他一个标定点的连线作为x轴,y轴在标定板平面,按照右手系建立世界坐标系,确定各个标定点Pobji的世界坐标为{(xw1,yw1,0),(xw2,yw2,0),...(xwi,ywi,0)...(xwn,ywn,0)},其中,xwi表示标定点世界坐标的x值,ywi表示标定点世界坐标的y值。
6.根据权利要求4所述的方法,其特征在于,所述根据标定点图像像素坐标以及标定点在世界坐标系下的世界坐标,确定摄像机坐标系与世界坐标系的相对关系,包括:采用以下方式确定摄像机坐标系与世界坐标系的相对关系T1
其中,T1为4×4的矩阵,R1为3×3旋转矩阵,t1为3×1的平移矩阵。
7.根据权利要求1所述的方法,其特征在于,所述根据标定板的标定点图像像素坐标,确定图像像素坐标与摄像机坐标之间的映射关系,包括:
确定图像像素坐标与摄像机坐标理论映射关系;
结合已确定的图像像素坐标与摄像机坐标的理论映射关系,确定图像像素坐标与摄像机坐标的实际映射关系。
8.根据权利要求7所述的方法,其特征在于,所述确定图像像素坐标与摄像机坐标的理论映射关系,包括:空间中一个三维点P(xc,yc,zc)与摄像机光心相连,连线与成像平面相关于点p1(u,v),点p1(u,v)为空间三维点P(xc,yc,zc)在成像平面上的投影,确定图像像素坐标映射到摄像机坐标的理论映射关系。
9.根据权利要求8所述的方法,其特征在于,所述结合已确定的图像像素坐标与摄像机坐标的理论映射关系,确定图像像素坐标与摄像机坐标的实际映射关系,包括:
确定所有标定点在摄像机坐标系中的摄像机坐标;
将所有标定点的摄像机坐标拟合在一个平面上,确定拟合平面上图像像素坐标与摄像机坐标的实际映射关系。
10.根据权利要求1所述的方法,其特征在于,所述根据标定点和世界坐标系,建立机械臂用户坐标系,确定世界坐标系与机械臂用户坐标系之间的关系;包括:
设置建立机械臂用户坐标系;
确定世界坐标系与机械臂用户坐标系之间的关系。
11.根据权利要求10所述的方法,其特征在于,所述设置建立机械臂用户坐标系;包括:
设置用户坐标系原点与世界坐标系原点重合;
将用户坐标系原点与任意其他一个标定点的连线作为x轴方向,y轴方向在世界坐标系xy平面,并按照右手系确定用户的z轴方向,建立用户坐标系。
12.根据权利要求10所述的方法,其特征在于,所述确定世界坐标系与机械臂用户坐标系之间的关系;包括:世界坐标系与机械臂用户坐标系的位置关系为T2,可以采用以下方式来确定:
[xu,yu,zu,1]T=T2·[xw,yw,zw,1]T
其中,(xu,yu,zu)为用户坐标,[xu,yu,zu,1]T为[xu,yu,zu,1]的转置,[xw,yw,zw,1]T为[xw,yw,zw,1]的转置。
13.根据权利要求10所述的方法,其特征在于,所述根据标定点和世界坐标系,建立机械臂用户坐标系,确定世界坐标系与机械臂用户坐标系之间的关系;进一步包括:确定图像像素坐标(u,v)与机械臂用户坐标(xu,yu,zu)的映射关系,并采用以下方式确定两者之间的映射关系:
[xu,yu,zu,1]T=T2·[xw,yw,zw,1]T
14.根据权利要求13所述的方法,其特征在于,所述根据标定点和世界坐标系,建立机械臂用户坐标系,确定世界坐标系与机械臂用户坐标系之间的关系;进一步包括:设置机械臂的运行参考坐标系为用户坐标系,根据图像像素坐标确定机械臂的运行抓取坐标。
15.一种基于标定点提取的手眼标定***,应用于权利要求1至14中任一项所述的基于标定点提取的手眼标定方法,其特征在于,所述***包括:多标定板、摄像机、机械臂;其中:
所述标定板,用于提取标定点标定摄像机参数,提取标定点图像像素坐标,建立世界坐标系,确定摄像机坐标系与世界坐标系的相对关系;以及根据标定点和世界坐标系,建立机械臂用户坐标系,确定世界坐标系与机械臂用户坐标系之间的关系;
所述摄像机,用于建立摄像机坐标系,并根据标定点图像像素坐标,确定图像像素坐标与摄像机坐标系的映射关系;
所述机械臂,用于根据将用户坐标系作为运行参考坐标系,自主确定抓取位置。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有基于标定点提取的手眼标定方法程序,所述基于标定点提取的手眼标定方法程序被处理器执行时实现如权利要求1至14中任一项所述的基于标定点提取的手眼标定方法的步骤。
CN201810646572.5A 2018-06-21 2018-06-21 基于标定点提取的手眼标定方法、***及计算机存储介质 Active CN109015630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810646572.5A CN109015630B (zh) 2018-06-21 2018-06-21 基于标定点提取的手眼标定方法、***及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810646572.5A CN109015630B (zh) 2018-06-21 2018-06-21 基于标定点提取的手眼标定方法、***及计算机存储介质

Publications (2)

Publication Number Publication Date
CN109015630A true CN109015630A (zh) 2018-12-18
CN109015630B CN109015630B (zh) 2021-05-18

Family

ID=64610160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810646572.5A Active CN109015630B (zh) 2018-06-21 2018-06-21 基于标定点提取的手眼标定方法、***及计算机存储介质

Country Status (1)

Country Link
CN (1) CN109015630B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110238820A (zh) * 2019-07-12 2019-09-17 易思维(杭州)科技有限公司 基于特征点的手眼标定方法
CN110900606A (zh) * 2019-12-03 2020-03-24 江苏创能智能科技有限公司 一种基于小型机械臂手眼联动***及其控制方法
CN111390901A (zh) * 2019-01-02 2020-07-10 中达电子零组件(吴江)有限公司 机械臂自动标定方法以及标定装置
CN111899307A (zh) * 2020-07-30 2020-11-06 浙江大学 一种空间标定方法、电子设备及存储介质
CN111914048A (zh) * 2020-07-29 2020-11-10 北京天睿空间科技股份有限公司 经纬度坐标与图像坐标对应点自动生成方法
CN111968185A (zh) * 2020-09-01 2020-11-20 深圳辰视智能科技有限公司 标定板、基于编码定义的九点标定物体抓取方法及***
CN112037316A (zh) * 2020-09-22 2020-12-04 北京百度网讯科技有限公司 映射的生成方法、装置和路侧设备
CN112621711A (zh) * 2020-11-19 2021-04-09 深圳众为兴技术股份有限公司 机器人及其相机固定于机架的手眼标定方法以及存储介质
CN113570668A (zh) * 2020-04-28 2021-10-29 富华科精密工业(深圳)有限公司 基于三线标定的摄像头外参标定方法及计算机装置
CN113808199A (zh) * 2020-06-17 2021-12-17 华为技术有限公司 定位方法、电子设备与定位***
CN114332244A (zh) * 2021-12-31 2022-04-12 北京德火科技有限责任公司 一种虚拟演播室的摄像机定位方法及***
CN114734451A (zh) * 2022-05-16 2022-07-12 深圳市双翌光电科技有限公司 结合关节型机械手及摄像机姿态变化的视觉定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04365586A (ja) * 1991-06-14 1992-12-17 Toyota Autom Loom Works Ltd ハンドアイの光軸整合方法及び直交軸整合方法
CN101526338A (zh) * 2009-04-15 2009-09-09 北京信息科技大学 线结构光视觉传感***结构参数的现场标定方法
CN102496160A (zh) * 2011-12-09 2012-06-13 河海大学常州校区 集控式足球机器人视觉***标定方法
CN104217441A (zh) * 2013-08-28 2014-12-17 北京嘉恒中自图像技术有限公司 一种基于机器视觉的机械臂定位抓取方法
CN107953329A (zh) * 2016-10-17 2018-04-24 中国科学院深圳先进技术研究院 物体识别和姿态估计方法、装置及机械臂抓取***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04365586A (ja) * 1991-06-14 1992-12-17 Toyota Autom Loom Works Ltd ハンドアイの光軸整合方法及び直交軸整合方法
CN101526338A (zh) * 2009-04-15 2009-09-09 北京信息科技大学 线结构光视觉传感***结构参数的现场标定方法
CN102496160A (zh) * 2011-12-09 2012-06-13 河海大学常州校区 集控式足球机器人视觉***标定方法
CN104217441A (zh) * 2013-08-28 2014-12-17 北京嘉恒中自图像技术有限公司 一种基于机器视觉的机械臂定位抓取方法
CN107953329A (zh) * 2016-10-17 2018-04-24 中国科学院深圳先进技术研究院 物体识别和姿态估计方法、装置及机械臂抓取***

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111390901A (zh) * 2019-01-02 2020-07-10 中达电子零组件(吴江)有限公司 机械臂自动标定方法以及标定装置
CN110238820A (zh) * 2019-07-12 2019-09-17 易思维(杭州)科技有限公司 基于特征点的手眼标定方法
CN110900606A (zh) * 2019-12-03 2020-03-24 江苏创能智能科技有限公司 一种基于小型机械臂手眼联动***及其控制方法
CN110900606B (zh) * 2019-12-03 2022-08-09 江苏创能智能科技有限公司 一种基于小型机械臂手眼联动***及其控制方法
CN113570668A (zh) * 2020-04-28 2021-10-29 富华科精密工业(深圳)有限公司 基于三线标定的摄像头外参标定方法及计算机装置
CN113808199A (zh) * 2020-06-17 2021-12-17 华为技术有限公司 定位方法、电子设备与定位***
CN113808199B (zh) * 2020-06-17 2023-09-08 华为云计算技术有限公司 定位方法、电子设备与定位***
CN111914048A (zh) * 2020-07-29 2020-11-10 北京天睿空间科技股份有限公司 经纬度坐标与图像坐标对应点自动生成方法
CN111914048B (zh) * 2020-07-29 2024-01-05 北京天睿空间科技股份有限公司 经纬度坐标与图像坐标对应点自动生成方法
CN111899307A (zh) * 2020-07-30 2020-11-06 浙江大学 一种空间标定方法、电子设备及存储介质
CN111899307B (zh) * 2020-07-30 2023-12-29 浙江大学 一种空间标定方法、电子设备及存储介质
CN111968185A (zh) * 2020-09-01 2020-11-20 深圳辰视智能科技有限公司 标定板、基于编码定义的九点标定物体抓取方法及***
CN111968185B (zh) * 2020-09-01 2024-02-02 深圳辰视智能科技有限公司 标定板、基于编码定义的九点标定物体抓取方法及***
CN112037316A (zh) * 2020-09-22 2020-12-04 北京百度网讯科技有限公司 映射的生成方法、装置和路侧设备
CN112037316B (zh) * 2020-09-22 2024-04-16 阿波罗智联(北京)科技有限公司 映射的生成方法、装置和路侧设备
CN112621711A (zh) * 2020-11-19 2021-04-09 深圳众为兴技术股份有限公司 机器人及其相机固定于机架的手眼标定方法以及存储介质
CN112621711B (zh) * 2020-11-19 2022-11-29 深圳众为兴技术股份有限公司 机器人及其相机固定于机架的手眼标定方法以及存储介质
CN114332244A (zh) * 2021-12-31 2022-04-12 北京德火科技有限责任公司 一种虚拟演播室的摄像机定位方法及***
CN114734451A (zh) * 2022-05-16 2022-07-12 深圳市双翌光电科技有限公司 结合关节型机械手及摄像机姿态变化的视觉定位方法

Also Published As

Publication number Publication date
CN109015630B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN109015630A (zh) 基于标定点提取的手眼标定方法、***及计算机存储介质
CN105118021B (zh) 基于特征点的图像配准方法及***
CN109685913B (zh) 基于计算机视觉定位的增强现实实现方法
CN108038886B (zh) 双目摄像***标定方法、装置及其汽车
JP7255718B2 (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
CN111145192B (zh) 图像处理方法及电子设备
CN113643342B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113329179B (zh) 拍摄对位方法、装置、设备及存储介质
CN109920004A (zh) 图像处理方法、装置、标定物组合、终端设备及标定***
JP5199992B2 (ja) 画像処理装置
CN109421050A (zh) 一种机器人的控制方法及装置
CN106412441A (zh) 一种视频防抖控制方法以及终端
CN110443245A (zh) 一种非限制场景下的车牌区域的定位方法、装置及设备
CN107786780A (zh) 视频图像降噪方法、装置及计算机可读存储介质
CN110838086A (zh) 一种基于相关性模板匹配的室外图像拼接方法
CN108401115A (zh) 一种便携图像采集终端的自动修正采集装置及方法
CN102236790A (zh) 一种图像处理方法和设备
CN113645456B (zh) 投影图像校正方法、投影***及可读存储介质
CN114998447A (zh) 多目视觉标定方法及***
CN107917666A (zh) 双目视觉装置及坐标标定方法
JP2009301181A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
Tamaki et al. Unified approach to image distortion
CN115174878B (zh) 投影画面校正方法、装置和存储介质
JP5928465B2 (ja) 劣化復元システム、劣化復元方法およびプログラム
CN105657286A (zh) 一种基于双摄像头的拍照方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant