CN111445533B - 一种双目相机标定方法、装置、设备及介质 - Google Patents
一种双目相机标定方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111445533B CN111445533B CN202010235123.9A CN202010235123A CN111445533B CN 111445533 B CN111445533 B CN 111445533B CN 202010235123 A CN202010235123 A CN 202010235123A CN 111445533 B CN111445533 B CN 111445533B
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- coordinate system
- camera
- image
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明实施例公开了一种双目相机标定方法、装置、设备及介质,所述方法包括:对各待标定相机进行手眼标定,获得各待标定相机对应的坐标变换矩阵;获取目标物体在各待标定相机视野中的图像,并确定图像中各特征点组成的向量之间的几何关系;根据坐标变换矩阵得到特征点在目标坐标系下的坐标,根据特征点在目标坐标系下的坐标以及几何关系确定待标定相机之间的物理距离。本发明实施例提供的双目相机标定方法通过根据各待标定相机对应的坐标变换矩阵得到特征点在目标坐标系下的坐标,结合特征点组成的向量之间的几何关系得到待标定相机之间的物理距离,解决了采用人工安装和测量所带来的偏差和误差,提高了双目相机标定的准确度。
Description
技术领域
本发明实施例涉及机器人技术领域,尤其涉及一种双目相机标定方法、装置、设备及介质。
背景技术
随着工业自动化、智能化的不断发展,相机和图像技术在机器人领域的应用也在不断进步。机械臂和相机的结合,也让机器人的“手”和“眼”更加高效、高质地完成作业任务。目前很多机器人都会安装双目或者多目相机,而双目相机或多目相机的相机之间的物理位置关系多在安装时通过测量给出。但是由于安装误差、测量误差等因素,很难给出精确的位置关系。由此可见,如何准确的对双目相机进行标定是一个且待解决的技术问题。
发明内容
本发明实施例提供了一种双目相机标定方法、装置、设备及介质,以实现解决采用人工安装和测量所带来的偏差和误差,提高双目相机标定的准确度。
第一方面,本发明实施例提供了一种双目相机标定方法,包括:
对各待标定相机进行手眼标定,获得各待标定相机对应的坐标变换矩阵;
获取目标物体在各待标定相机视野中的图像,并确定图像中各特征点组成的向量之间的几何关系;
根据坐标变换矩阵得到特征点在目标坐标系下的坐标,根据特征点在目标坐标系下的坐标以及几何关系确定待标定相机之间的物理距离。
第二方面,本发明实施例还提供了一种双目相机标定装置,包括:
变换矩阵获取模块,用于对各待标定相机进行手眼标定,获得各待标定相机对应的坐标变换矩阵;
几何关系确定模块,用于获取目标物体在各待标定相机视野中的图像,并确定图像中各特征点组成的向量之间的几何关系;
物理距离计算模块,用于根据坐标变换矩阵得到特征点在目标坐标系下的坐标,根据特征点在目标坐标系下的坐标以及几何关系确定待标定相机之间的物理距离。
第三方面,本发明实施例还提供了一种计算机设备,设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如本发明任意实施例所提供的双目相机标定方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例所提供的双目相机标定方法。
本发明实施例通过对各待标定相机进行手眼标定,获得各待标定相机对应的坐标变换矩阵;获取目标物体在各待标定相机视野中的图像,并确定图像中各特征点组成的向量之间的几何关系;根据坐标变换矩阵得到特征点在目标坐标系下的坐标,根据特征点在目标坐标系下的坐标以及几何关系确定待标定相机之间的物理距离,解决了采用人工安装和测量所带来的偏差和误差,提高了双目相机标定的准确度。
附图说明
图1a是本发明实施例一所提供的一种双目相机标定方法的流程图;
图1b是本发明实施例一所提供的一种待标定相机设置示意图;
图1c是本发明实施例一所提供的一种坐标系示意图;
图1d是本发明实施例一所提供的一种九点标定示意图;
图1e是本发明实施例一所提供的一种待标定相机拍照过程示意图;
图1f是本发明实施例一所提供的一种机械臂偏移量坐标变换示意图;
图2a是本发明实施例二所提供的一种双目相机标定方法的流程图;
图2b是本发明实施例二所提供的第一几何关系确定示意图;
图2c是本发明实施例二所提供的第二几何关系确定示意图;
图3a是本发明实施例三所提供的一种双目相机标定方法的流程图;
图3b是本发明实施例三所提供的一种坐标系示意图;
图4是本发明实施例四所提供的一种双目相机标定装置的结构示意图;
图5是本发明实施例五所提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a是本发明实施例一所提供的一种双目相机标定方法的流程图。本实施例可适用于对双目相机或多目相机进行标定时的情形。该方法可以由双目相机标定装置执行,该双目相机标定装置可以采用软件和/或硬件的方式实现,例如,该双目相机标定装置可配置于计算机设备中。如图1a所示,所述方法包括:
S110、对各待标定相机进行手眼标定,获得各待标定相机对应的坐标变换矩阵。
在本实施例中,通过机械臂的运动距离确定待标定相机之间的物理距离。而机械臂的运动距离可进一步由获取目标物体在各待标定相机视野中的图像时的机械臂偏移量,以及目标物体上同一点在各待标定相机下的机械臂偏移坐标确定。
上述过程中,为了求得目标物体上同一点在各待标定相机下的机械臂偏移坐标,需要分别对各待标定相机建立机械臂坐标系,这个坐标系就是机械臂偏移量坐标系,然后基于各待标定相机的像素坐标系和机械臂偏移量坐标系之间的映射关系得到目标物体上同一点在各待标定相机下的机械臂偏移坐标,从而得到各待标定相机之间的相对位置。
可选的,待标定相机的像素坐标系和机械臂偏移量坐标系之间的映射关系可以通过对待标定相机进行手眼标定建立。
一个实施例中,对各待标定相机进行手眼标定,获得各待标定相机对应的坐标变换矩阵,包括:分别对各待标定相机进行九点标定,得到各待标定相机对应的坐标变换矩阵。可选的,针对每个待标定相机,使用九点标定法对该待标定相机进行标定,得到该待标定相机的像素坐标系和机械臂偏移量坐标系之间的坐标变换矩阵。以待标定相机包括第一相机和第二相机为例,分别针对第一相机和第二相机进行九点标定,得到第一相机的像素坐标系转换至机械臂偏移量坐标系的坐标变换矩阵,以及第二相机的像素坐标系转换至机械臂偏移量坐标系之间的坐标变换矩阵。
需要说明的是,对每个待标定相机进行手眼标定时,各待标定相机无需平行,其中,各待标定相机无需平行是指将各待标定相机安装至机械臂带动的支架上时,无需保证待标定相机安装时的正方向平行,但是各待标定的相机在手眼标定过程中需要保证高度始终不变,基于此可以保证各个待标定相机对应的机械臂偏移量坐标系在同一个平面;并且因为相机只做平移运动,因此各待标定相机对应的机械臂坐标系是平行的。而安装时相机正方向的不平行会体现在变换矩阵中,经变换矩阵消除待标定相机之间的不平行因素。可选的,各待标定相机设置于机械臂带动的支架上,各待标定相机之间时刚性连接,相对位置不会发生改变。以双目相机为例,将双目相机安装至机械臂带动的支架上时,只需保证相机方向一致即可,无需保证相机完全平行。支架可在机械臂的带动下进行设定方向的平移,支架在设定方向上平移时,两相机标定时高度不变,只进行水平方向的平移,且不进行旋转,方便后续运算过程中使用封闭四边形原理计算待求解向量;若支架在设定方向上平移时发生了旋转,在后续计算过程中需要结合封闭四边形原理以及旋转变换对待求解变量进行求解。
图1b是本发明实施例一所提供的一种待标定相机设置示意图。如图1b所示,双目相机的左侧相机和右侧相机刚性连接,分别位于机械臂的两侧。图1c是本发明实施例一所提供的一种坐标系示意图。如图1c所示,图中有左侧相机对应的像素坐标系xl-ol-yl、右侧相机对应的像素坐标系xr-or-yr、左侧相机对应的机械臂偏移量坐标系XL-OL-YL、右侧相机对应的机械臂偏移量坐标系XR-OR-YR以及机械臂坐标系X-O-Y。图左c中,左侧相机与右侧相机并不平行,但相机在手眼标定过程中没有旋转,仅进行了平移,因此左侧相机的机械臂偏移量坐标系XL-OL-YL与右侧相机对应的机械臂偏移量坐标系XR-OR-YR均不包含有旋转量,又因为手眼标定时左侧相机和右侧相机的高度并没有改变,因此左侧相机的机械臂偏移量坐标系XL-OL-YL与右侧相机对应的机械臂偏移量坐标系XR-OR-YR处于同一个平面。也是就是说,左侧相机的机械臂偏移量坐标系XL-OL-YL与右侧相机对应的机械臂偏移量坐标系XR-OR-YR处于同一个平面,又不包含旋转量,因此可以认为左侧相机的机械臂偏移量坐标系XL-OL-YL与右侧相机对应的机械臂偏移量坐标系XR-OR-YR是平行关系,且与机械臂坐标系X-O-Y均为平行关系。
可选的,分别对左侧相机和右侧相机进行手眼标定,得到各自的坐标变换矩阵。以左侧相机为例,对相机手眼标定的过程就是构建左侧相机图像像素坐标系和左侧相机机械臂偏移量坐标系之间的关系,即xl-ol-yl和XL-OL-YL之间的关系。上述关系可以用如下等式表示:
其中,(x,y)是左侧相机的图像像素坐标系下某个点的像素坐标,(X,Y)是点(x,y)在机械臂偏移量坐标系下对应的坐标,可选的,(X,Y)的单位可以为毫米。
在对相机进行九点标定时,可以取九点标定时的第一个位置为该相机的机械臂偏移量坐标系的原点。由于无法保证对不同的相机进行九点标定时第1次拍照标定物位于同样的位置,所以不同的相机对应的机械臂偏移量坐标系的原点所对应的像素点不是重合的,但这不影响相机间物理距离的求解,只要求得两个相机对应的机械臂偏移量坐标系的原点之间的偏移,就可以基于机械臂偏移量坐标系原点之间的偏移求出两个相机的物理距离。在后续用双目相机测距、测角度等应用中,求得两个相机某两个点的像素坐标对应的机械臂坐标,再加上这个物理距离,即可得到这两个点的真实物理距离。
为了提升九点标定的标定精度,可以合理选取九个点的机械臂偏移,使九点标定的标定物均匀的出现在相机视野范围。图1d所是本发明实施例一提供的一种九点标定示意图,如图1d所示,九点标定的标定物均匀的出现在相机视野范围。经过九点标定流程后,获得了9个点的机械臂偏移量坐标,并拍下了9张图片,通过对九点标定的标定物的角点提取,可以得到标定板中特定角点的像素坐标。等式(1)中有6个未知数,每个等式有两个方程,所以需要3组方程才能解出变换矩阵。假设选取图1d中的第1、2、3个点,机械臂偏移量坐标分别是(X1,Y1)、(X2,Y2)、(X3,Y3),像素坐标分别是(x1,y1)、(x2,y2)、(x3,y3),则方程组可以表示为:
将方程组(2)变为齐次方程为:
方程组(3)可以简写为:
A*m=M (4)
其中,A为坐标变换矩阵,是未知量;m是3个像素坐标点列向量构成的3x3矩阵;M是3个机械臂偏移量坐标点列向量构成的3x3矩阵。根据公式(4)可以求得坐标变换矩阵A。可选的,可以通过Matlab中的‘/’运算符,通过A=M/m求出坐标变换矩阵A;还可以在OpenCV中,通过M和m的逆矩阵相乘来求解m,即A=M*(m)-1。可选的,坐标变换矩阵还可以通过其他方式确定,如内参标定或超定方程等方式。
在本实施例中,通过九点相机标定,根据像素点所在不同区域选择不同的变换矩阵的方式,可以提升坐标变换的精度,减少畸变带来的误差。另外,通过九点相机标定,根据像素点所在不同区域选择不同的变换矩阵的方式,可以提升坐标变换的精度,减少畸变带来的误差。其中,可以选取棋盘格作为九点标定的标定物。采用棋盘格作为标定物,通过图像处理可以比较精确地求解出角点的像素坐标,从而使得求解得到的坐标变换矩阵更加准确。另外,选取棋盘格上多个点取平均,可以得到更精确的机械臂坐标系下的偏移。
S120、获取目标物体在各待标定相机视野中的图像,并确定图像中各特征点组成的向量之间的几何关系。
在本实施例中,得到各待标定相机对应的坐标变换矩阵后,选取一标定物作为目标物体,保持机械臂的高度不变,移动机械臂,获得目标物体在各待标定相机视野中的图像,然后选取图像中的特征点,确定图像中各特征点组成的向量之间的几何关系。可选的,作为目标物体的标定物可以为棋盘格。由于各待标定相机在获取图像的过程中没有旋转,仅进行了平移,因此各相机的机械臂偏移量坐标系均不包含有旋转量,又因为标定时各待标定相机的高度并没有改变,因此各待标定相机的机械臂偏移量坐标系之间,以及待标定相机与机械臂坐标系之间均处于同一个平面,因此各待标定相机获取的图像中特征点组成的向量之间的几何关系可以根据封闭四边形法则确定。
一个实施例中,将目标物体放置在设定位置,固定不动,然后移动机械臂使目标物体先后出现在各待标定相机的视野,获得目标物体在各待标定相机视野中的图像,并记录在拍摄目标物体在各待标定相机视野中的图像时机械臂的偏移量。目标物体的位置需要保证各待标定相机移动到目标物体上方时,目标物体可以完全出现在待标定相机的视野。所以,一般目标物体放置在各待标定相机的中心位置。当待标定相机的个数为2个时,目标物体可以放置在左侧相机和右侧相机的中间位置,如图1b所示。图1e是本发明实施例一所提供的一种待标定相机拍照过程示意图,图1e中以双目相机为例,对两个相机拍照的过程进行了示意说明。如图1e所示,移动机械臂使目标物体先后出现在左侧相机和右侧相机的视野,拍下两张照片并记录机械臂移动的偏移量。
S130、根据坐标变换矩阵得到特征点在目标坐标系下的坐标,根据特征点在目标坐标系下的坐标以及几何关系确定待标定相机之间的位置关系。
在本实施例中,针对每个特征点,根据特征点在图像中的位置确定各特征点在像素坐标系下的坐标,根据特征点所属图像对应的坐标变换矩阵对该特征点的像素坐标进行坐标变换,得到该特征点在机械臂偏移量坐标系下的机械臂偏移量坐标,根据各特征点在机械臂偏移量坐标系下的机械臂偏移量坐标以及上述步骤中确定的几何关系计算得到待标定相机之间的位置关系。
其中,待标定相机之间的位置关系可以为待标定相机之间的物理距离。具体的,待标定相机之间的物理距离可以为待标定相机的特征点之间的物理距离。其中,待标定相机的特征点可以为待标定相机的中心点,或待标定相机的左上角位置。可选的,确定待标定相机之间的物理距离,,可以为,先在图像中取出对应特征点的像素坐标,然后换算到各待标定相机的机械臂坐标系下,再结合上述过程中确定的各待标定相机机械臂坐标系坐标原点之间的关系以及机械臂偏移量,便能够得到待标定相机的特征点之间的物理距离确定待标定相机之间的物理距离。
图1f是本发明实施例一所提供的一种机械臂偏移量坐标变换示意图。如图1f所示,X′-O′-Y′为机械臂偏移量坐标系,x′-o′-y′为像素坐标系,p(x′,y′1)是目标物体的第1个角点在机械臂偏移量坐标系下的坐标点,P(x′,y′1)是目标物体的第1个角点在像素坐标系下的坐标点。从p(x′,y′1)变换为P(X′,Y′1)可以通过如下公式计算:
其中,A′为该相机对应的2*3的坐标变换矩阵。
需要说明的是,在本实施例中,对特征点进行坐标变换的步骤以及确定特征点组成的向量之间的几何关系的步骤不做限定。可选的,可以先对特征点进行坐标变换,得到各特征点在机械臂偏移量坐标系下的机械臂偏移量坐标,再确定特征点组成的向量之间的几何关系;还可以先确定特征点组成的向量之间的几何关系,再对特征点进行坐标变换,得到各特征点在机械臂偏移量坐标系下的机械臂偏移量坐标;或者,确定特征点组成的向量之间的几何关系,以及对特征点进行坐标变换,得到各特征点在机械臂偏移量坐标系下的机械臂偏移量坐标可以同时执行。
一个实施例中,图像中各特征点组成的向量之间的几何关系,包括:根据机械臂移动的偏移量、标定物特征点位于各待标定相机机械臂坐标系下的坐标,确定各待标定相机机械臂坐标系原点之间的相对关系。
上述过程中,需要建立机械臂移动的偏移量与各待标定相机对应的机械臂坐标系之间的关系。首先,各待标定相机获取图像的过程中进行的是不带旋转的平移,因此各待标定相机对应的机械臂坐标系处于同一平面;其次,各待标定相机本身就是在机械臂坐标系下进行平移,因此平移的偏移量也处于机械臂坐标系平面内;最后,由于目标物体固定不动,第一待标定相机和第二待标定相机之间平移的偏移量,相当于待标定相机固定不动,将目标物体从第一待标定相机移动到第二待标相机的移动量,即目标物体上相同的点位于机械臂坐标平面内的偏移量。综合上述机械臂移动的偏移量的来源,再结合目标物体中特征点位于各待标定相机的机械臂坐标系下的坐标,和机械臂坐标系原点之间的向量,就可以在同一个平面内构成一个四边形,故而可以通过四边形的向量运算来求解各机械臂坐标系之间的关系,建立各机械臂原点之间的关系。建立各机械臂原点之间的关系之后,就可以进行后续的两侧相机任意点之间的物理距离的计算。
以双目相机为例,待标定相机的机械臂坐标系原点之间的关系的标定过程可以为:(1)机械臂输出两次拍照时相机移动的偏移量,可以理解的是这个偏移量对两个相机来说是相同的;(2)根据各相机特征点的像素坐标和变换矩阵,求解各特征点对应的机械臂坐标系下的坐标;(3)根据封闭四边形向量关系计算两个机械臂坐标系原点之间的偏移关系。
本实施例通过机械臂的运动距离来计算两个相机之间的距离。而机械臂的运动距离主要有两部分构成:一是两次拍照机械臂的运动距离,二是目标物体上同一点在不同相机下的机械臂偏移坐标。前者主要由机械臂的精度决定,后者由机械臂和像素坐标到机械臂坐标的变换精度决定。因此只要机械臂的运动精度和坐标变换精度有保证,得出的相机物理位置关系的精度也就有保证,从而提高了双目相机标定的精度。另外,本发明实施例提供的标定方法因为相机方向上的信息会在手眼标定中保留在标定参数(即坐标变换矩阵)中,而机械臂偏移量坐标系之间可以进行平移变换,因此不需要相机精确的水平和平行,简化了标定难度。需要说明的是,在机械臂平移的过程中可能无法保证机械臂严格水平。以双目相机为例,也就是说,两个相机在获取图像时可能不在一个水平面上,但是根据本实施例中计算得到的两个相机的物理距离仅为水平面上的物理距离。但是由于相机的高度信息会体现在各相机的变换矩阵中,因此两个相机存在高度差并不影响水平面上的物理距离的标定,同理,高度差对双目相机测距也没有影响,因此双目相机标定时也可以不考虑这个高度差。综上所述,(1)本发明实施例中标定的两个相机水平面上的物理距离;(2)两个相机垂直方向上的高度差对双目相机测距没有影响,可以不标定。
本发明实施例通过对各待标定相机进行手眼标定,获得各待标定相机对应的坐标变换矩阵;获取目标物体在各待标定相机视野中的图像,并确定图像中各特征点组成的向量之间的几何关系;根据坐标变换矩阵得到特征点在目标坐标系下的坐标,根据特征点在目标坐标系下的坐标以及几何关系确定待标定相机之间的物理距离,解决了采用人工安装和测量所带来的偏差和误差,提高了双目相机标定的准确度。
实施例二
图2a是本发明实施例二所提供的一种双目相机标定方法的流程图。本实施例在上述实施例的基础上进行了进一步优化。如图2a所示,所述方法包括:
S210、对各待标定相机进行手眼标定,获得各待标定相机对应的坐标变换矩阵,其中,待标定相机包括第一相机和第二相机。
S220、获取目标物体在第一相机视野中的第一图像,以及目标物体在第二相机视野中的第二图像。
在本实施例中,目标物体可以为棋盘格标定物,将棋盘格标定物放置于第一相机与第二相机的中心位置,移动机械臂,分别获得棋盘格标定物在第一相机视野中的第一图像,以及棋盘格标定物在第二相机中的第二图像,并记录拍摄第一图像至拍摄第二图像时拍机械臂的偏移量。
S230、确定第一图像以及第二图像中特征点组成的向量之间的几何关系。
在本实施例中,可以从第一图像和第二图像中选取出特征点,基于选取的特征点构建两个封闭四边形,根据构建的封闭四边形确定特征点组成的向量之间的几何关系。
在本发明的一种实施方式中,确定第一图像以及第二图像中特征点组成的向量之间的几何关系,包括:将第一图像对应的机械臂偏移第一坐标系原点、第一图像中目标物体对应的第一标记点、第二图像对应的机械臂偏移第二坐标系原点以及第二图像中目标物体对应的第二标记点作为第一特征点,构建各第一特征点组成的向量之间的第一几何关系;将机械臂偏移第一坐标系原点、第一图像的第一中心点、机械臂偏移第二坐标系原点以及第二图像的第二中心点作为第二特征点,构建各第二特征点组成的向量之间的第二几何关系。
图2b是本发明实施例二所提供的第一几何关系确定示意图。如图2b所示,图中示意性的示出了第一几何关系的确定方式。将图中第一图像对应的机械臂偏移第一坐标系原点OL、第一图像中目标物体对应的第一标记点P1L、第二图像对应的机械臂偏移第二坐标系原点OR以及第二图像中目标物体对应的第二标记点P1R作为第一特征点,构建上述第一特征点组成的向量之间的第一几何关系。
图2c是本发明实施例二所提供的第二几何关系确定示意图。如图2c所示,图中示意性的示出了第二几何关系的确定方式。将图中第一图像对应的机械臂偏移第一坐标系原点OL、第一图像的第一中心点P2L、第二图像对应的机械臂偏移第二坐标系原点OR以及第二图像的第二中心点P2R作为第二特征点,构建上述第二特征点组成的向量之间的第一几何关系。
在上述方案的基础上,将第一图像对应的机械臂偏移第一坐标系原点、第一图像中目标物体对应的第一标记点、第二图像对应的机械臂偏移第二坐标系原点以及第二图像中目标物体对应的第二标记点作为第一特征点,构建各第一特征点组成的向量之间的第一几何关系,包括:基于机械臂偏移第一坐标系原点以及第一标记点构建第一向量,基于第一标记点以及第二标记点构建第二向量,基于机械臂偏移第二坐标系原点以及第二标记点构建第三向量,基于机械臂偏移第一坐标系原点以及机械臂偏移第二坐标系原点构建第四向量;根据封闭四边形向量运算法则,得到第四向量的第一求解方程。
具体的,如图2b所示,第一图像对应的机械臂偏移第一坐标系原点OL、第一图像中目标物体对应的第一标记点P1L、第二图像对应的机械臂偏移第二坐标系原点OR以及第二图像中目标物体对应的第二标记点P1R构成的封闭四边形为OLP1LP1ROR,则构建第一向量第二向量/>第三向量/>和第四向量/>并根据封闭四边形运算法则,得到第四向量/>的第一求解方程为
即点P1L位于机械臂偏移第一坐标系的坐标;/>即点P1R位于机械臂偏移第二坐标系的坐标;这两个坐标均由公式(1)或(5)求得。向量/>是两个相机拍照时机械臂偏移量,这个由机械臂输出,或者每次拍照记录机械臂的位置,然后做差就是机械臂偏移量。
在上述方案的基础上,将机械臂偏移第一坐标系原点、第一图像的第一中心点、机械臂偏移第二坐标系原点以及第二图像的第二中心点作为第二特征点,构建各第二特征点组成的向量之间的第二几何关系,包括:基于机械臂偏移第一坐标系原点以及第一中心点构建第五向量,基于第一中心点以及第二中心点构建第六向量,基于机械臂偏移第二坐标系原点以及第二中心点构建第七向量;根据封闭四边形向量运算法则,得到第六向量的第二求解方程。
具体的,如图2c所示,第一图像对应的机械臂偏移第一坐标系原点OL、第一图像的第一中心点P2L、第二图像对应的机械臂偏移第二坐标系原点OR以及第二图像的第二中心点P2R构成的封闭四边形为OLP2LP2ROR,则构建第五向量第六向量/>和第七向量并根据封闭四边形运算法则,得到第六向量/>的第二求解方程为
S240、针对每个特征点,获取特征点在图像像素坐标系下的像素坐标,根据像素坐标以及特征点对应的变换矩阵得到特征点在机械臂偏移量坐标系下的机械臂坐标。
示例性的,以图2b和图2c为例,先获取图中第一标记点P1L、第一中心点P2L在第一图像的像素坐标系xl-ol-yl下的像素坐标,以及第二标记点P1R、第二中心点P2R在第二图像的像素坐标系xr-or-yr下的像素坐标,然后根据第一图像像素坐标系对应的坐标变换矩阵对第一标记点P1L、第一中心点P2L在xl-ol-yl下的像素坐标进行坐标变换,得到第一标记点P1L、第一中心点P2L在机械臂偏移第一坐标系XL-OL-YL下的机械臂偏移坐标,根据第二图像像素坐标系对应的坐标变换矩阵对第二标记点P1R、第二中心点P2R在xl-ol-yl下的像素坐标进行坐标变换,得到机械臂偏移第二坐标系原点OR、第二标记点P1R、第二中心点P2R在机械臂偏移第二坐标系XR-OR-YR下的机械臂偏移坐标。需要说明的是,各待标定相机的坐标系原点在像素坐标系下的像素坐标无法获取的,但不影响机械臂坐标系坐标原点相对位置关系的求解。可以为:假设机械臂偏移第一坐标系原点OL为坐标原点,则可以将两个坐标系之间的偏移关系作为机械臂偏移第二坐标系原点OR在机械臂偏移第一坐标系中的坐标。可选的,还可以认为机械臂偏移第一坐标系原点OL和机械臂偏移第二坐标系原点OR的坐标都是已知的,都是(0,0)。
S250、根据各特征点的机械臂坐标、第一图像与第二图像之间的机械臂偏移量,以及几何关系得到第一相机与第二相机之间的物理距离。
在本实施例中,得到各特征点的机械臂坐标后,则可得到几何关系中的部分向量,根据部分已知向量计算得到第一相机与第二相机之间的物理距离。
在本发明的一种实施方式中,根据各特征点的机械臂坐标、第一图像与第二图像之间的机械臂偏移量,以及几何关系得到第一相机与第二相机之间的物理距离,包括:根据各第一特征点的机械臂坐标、第一图像与第二图像之间的机械臂偏移量,以及第一求解方程,得到第四向量;根据各第二特征点的机械臂坐标、第四向量,以及第二求解方程,得到第六向量;根据第六向量得到第一相机与第二相机之间的物理距离。
仍以图2b和图2c为例,获取图中特征点机械臂偏移第一坐标系原点OL、第一标记点P1L、第一中心点P2L在机械臂偏移第一坐标系XL-OL-YL下的机械臂偏移坐标,以及机械臂偏移第二坐标系原点OR、第二标记点P1R、第二中心点P2R在机械臂偏移第二坐标系XR-OR-YR下的机械臂偏移坐标,并设定机械臂偏移第一坐标系原点OL的坐标以及机械臂偏移第二坐标系原点OR的坐标为(0,0),则可以将第一标记点P1L在机械臂偏移第一坐标系XL-OL-YL下的机械臂偏移坐标作为第一向量将第二标记点P1R在机械臂偏移第二坐标系XR-OR-YR下的机械臂偏移坐标作为第三向量/>并且根据两次拍照机械臂运动的偏移量得到第二向量/>然后根据第一求解方程/>以及第一向量/>第二向量和第三向量/>求得第四向量/>然后根据机械臂偏移第一坐标系原点OL以及第一中心点P2L在机械臂偏移第一坐标系XL-OL-YL下的机械臂偏移坐标得到第五向量/>根据机械臂偏移第二坐标系原点OR以及第二中心点P2R在机械臂偏移第二坐标系XR-OR-YR下的机械臂偏移坐标得到第七向量/>继续根据第二求解方程以及第四向量/>第五向量/>和第七向量/>求得第六向量/>即求得第一相机中心点和第二相机中心点之间的位置关系,最后根据求得的第六向量/>得到第一相机中心点和第二相机中心点之间的物理距离,完成对双目相机的标定。
本发明实施例对确定图像中各特征点组成的向量之间的几何关系,以及根据几何关系确定待标定相机之间的物理距离进行了具体化,通过封闭的四边形和向量运算求解两个坐标系原点之间的偏移量,提高了双目相机的标定精度。
实施例三
图3a是本发明实施例三所提供的一种双目相机标定方法的流程图。本实施例在上述实施例的基础上,提供了一种优选实施例。如图3a所示,所述方法包括:
S310、设置双目相机,调节机械臂位置。
将两个相机安装在机械臂带动的支架上,相机之间为刚性连接,相对位置不会发生改变。安装时只需保证相机方向一致,无需保证完全平行。支架可在机械臂的带动下进行XY方向的平移,且平移过程中相机不会发生旋转。其中,标定物放置的位置要合适。当左侧相机移动到标定物上方时,标定物可以完全出现在左侧相机的视野,标定物保持不动,当右侧相机移动到标定物上方时,标定物可以完全出现在右侧相机的视野。因此,一般标定物放置在两个相机中间位置。
S320、建立图像像素坐标、机械臂坐标系和机械臂偏移量坐标系。
图3b是本发明实施例三所提供的一种坐标系示意图,如图3b所示,xl-ol-yl以及xr-or-yr为图像像素坐标系,X-O-Y为机械臂坐标系,两个相机机械臂偏移量坐标系的关系可参考图1c。图像像素坐标系以图像左上角为原点,向下表示x的正方向,向右表示y的正方向,单位为像素。机械臂坐标系以机械臂底座中心为坐标原点,向下表示X正方向,向右表示Y正方向,单位为毫米。
S330、分别进行两个相机的手眼标定,得到各自的变换矩阵。
可以使用九点标定法对每个相机进行手眼标定,得到各相机对应的变换矩阵。
进行两个相机的手眼标定的过程为:将标定物固定,待标定相机移动,并在标定物全部出现在相机视野中时拍照。需要说明的是,各待标定相机标定时高度不变,只做水平平移,不带旋转。
其中S310-S340为各相机的标定过程,需要保证所有相机标定时都是不带旋转的平移,九点标定之后输出的是各相机对应的变换矩阵。
S340、移动机械臂,使标定板分别出现在两个相机的视野,拍照并记录。
该步骤为相机之间的标定过程,具体为:固定标定物,平移相机,使标定物全部出现在相机视野,拍照并记录机械臂偏移量,这一步输出各相机拍摄的图像以及机械臂偏移量。
S350、坐标变换,得到两个相机机械臂偏移量坐标系原点之间的向量。
计算两个相机机械臂偏移量坐标系原点之间的向量可以分为两个步骤:求解标定物上同一点在不同相机对应的机械臂坐标系下的坐标,然后构建封闭四边形并求解机械臂坐标系原点之间的关系。
求解标定物上同一点在不同相机对应的机械臂坐标系下的坐标的过程中,输入数据为各相机拍摄的图像和变换矩阵,经过图像处理将特征点的像素坐标提取出来,然后与变换矩阵运算得出该点对应的机械臂坐标,输出数据为各特征点位于各相机机械臂坐标系下的坐标。构建封闭四边形并求解机械臂坐标系原点之间的关系过程中,输入数据为各特征点位于各相机机械臂坐标系下的坐标和机械臂偏移量,输出数据为各机械臂坐标系原点之间的关系。更加详细的方案可参见上述实施例,在此不再赘述。
S360、在机械臂偏移量坐标系下求得两个相机中心点之间的物理距离。
通过封闭的四边形和向量运算求解两个相机中心点之间的物理距离。该过程中,输入数据为各相机变换矩阵和各相机机械臂坐标系原点之间的关系,先是取像素中心位置的像素坐标,根据变换矩阵求出对应的机械臂坐标,然后根据机械臂坐标系原点之间的关系,结合封闭四边形,可以输出相机中心点之间的物理距离。
具体的,首先根据各相机的变换矩阵,使用上述实施例提供的公式1或公式5计算出同一点位于各相机机械臂坐标系下的坐标,然后根据标定物同一点位于各机械臂坐标系下的坐标和各相机对应的机械臂偏移量,以及封闭四边形之间的向量关系(公式6),得到各相机对应的机械臂坐标系坐标原点之间的关系,最后根据各机械臂坐标系原点之间的关系,结合各相机图像像素中心位置对应的机械臂坐标(通过公式1得到),以及封闭的四边形原理(公式7),可以得出各相机中心之间的物理距离。更加详细的方案可参见上述实施例,在此不再赘述。
上述过程中,两个机械臂坐标***一是基于相机在标定过程中的运动方式为不带旋转的平移这个前提条件实现的,再加上相机之间是刚性连接,每次平移所有相机都在移动,也就是说,所有相机都是在一个坐标系下移动的,之所以出现多个坐标系,只是参考的坐标原点不一致,但都是位于同一个坐标平面内的。如此构建的四边形也是位于这个坐标平面内,是可以进行向量运算的。另外,不管是在相机自身标定的过程还是双目相机距离标定过程中,可能无法保证前提条件的规定引入误差,导致相机之间存在高度差,但是高度差只要在合理范围内就不会对测距造成影响,因为虽然相机物理距离上有高度差,但是由于平移过程保持在同一平面,坐标变换后最终还是位于同一个平面,高度上的差异会体现在变换矩阵上。
本发明实施例提供的方法还可以应用于多目相机的测距应用。可以理解是,多目相机测距的关键同样时将多个相机对应的机械臂(偏移量)坐标系变换到同一个坐标系。在有多个相机的场景中主要分为两种情况:一、所有相机均无法同时看到标定物,二、某几个相机可以同时看到标定物。第一种情况需要将所有相机进行相对第1个相机的两两标定,不需要所有相机互相进行两两标定;第二种情况,将能够同时看到标定物的相机同时标定,其他不能同时看到标定的相机需要相对同时看到标定物的某一相机进行两两标定。
本实施例的技术方案,通过相机的手眼标定建立该相机的像素坐标和机械臂坐标系的映射关系,且标定过程只需告诉机械臂运动多少偏移量,根据机械臂运动的偏移量便可以构建出机械臂偏移量坐标系。由于机械臂只能进行X和Y方向的移动,因此两个相机的机械臂偏移量坐标系可以通过平移进行互相变换。这样两个机械臂偏移量坐标系就可以在统一的坐标系下进行向量运算。还将相机的相对位置与机械臂偏移量联系起来,移动机械臂,使标定物先后出现在左右两个相机视野,并通过相机标定和坐标变换解决标定物不在两个相机的同一个位置的问题,使得两个相机之间的距离更加准确。
实施例四
图4是本发明实施例四所提供的一种双目相机标定装置的结构示意图。该双目相机标定装置可以采用软件和/或硬件的方式实现,例如该双目相机标定装置可以配置于计算机设备中。如图4所示,所述装置包括变换矩阵获取模块410、几何关系确定模块420和物理距离计算模块430,其中:
变换矩阵获取模块410,用于对各待标定相机进行手眼标定,获得各待标定相机对应的坐标变换矩阵;
几何关系确定模块420,用于获取目标物体在各待标定相机视野中的图像,并确定图像中各特征点组成的向量之间的几何关系;
物理距离计算模块430,用于根据坐标变换矩阵得到特征点在目标坐标系下的坐标,根据特征点在目标坐标系下的坐标以及几何关系确定待标定相机之间的物理距离。
本发明实施例通过变换矩阵获取模块对各待标定相机进行手眼标定,获得各待标定相机对应的坐标变换矩阵;几何关系确定模块获取目标物体在各待标定相机视野中的图像,并确定图像中各特征点组成的向量之间的几何关系;物理距离计算模块根据坐标变换矩阵得到特征点在目标坐标系下的坐标,根据特征点在目标坐标系下的坐标以及几何关系确定待标定相机之间的物理距离,解决了采用人工安装和测量所带来的偏差和误差,提高了双目相机标定的准确度。
可选的,在上述方案的基础上,待标定相机包括第一相机和第二相机,几何关系确定模块420包括:
图像获取单元,用于获取目标物体在第一相机视野中的第一图像,以及目标物体在第二相机视野中的第二图像;
关系确定单元,用于确定第一图像以及第二图像中特征点组成的向量之间的几何关系。
可选的,在上述方案的基础上,物理距离计算模块430包括:
机械臂坐标确定单元,用于针对每个特征点,获取特征点在图像像素坐标系下的像素坐标,根据像素坐标以及特征点对应的变换矩阵得到特征点在机械臂偏移量坐标系下的机械臂坐标;
相机距离计算单元,用于根据各特征点的机械臂坐标、第一图像与第二图像之间的机械臂偏移量,以及几何关系得到第一相机与第二相机之间的物理距离。
可选的,在上述方案的基础上,关系确定单元具体用于:将第一图像对应的机械臂偏移第一坐标系原点、第一图像中目标物体对应的第一标记点、第二图像对应的机械臂偏移第二坐标系原点以及第二图像中目标物体对应的第二标记点作为第一特征点,构建各第一特征点组成的向量之间的第一几何关系;将机械臂偏移第一坐标系原点、第一图像的第一中心点、机械臂偏移第二坐标系原点以及第二图像的第二中心点作为第二特征点,构建各第二特征点组成的向量之间的第二几何关系。
可选的,在上述方案的基础上,关系确定单元具体用于:基于机械臂偏移第一坐标系原点以及第一标记点构建第一向量,基于第一标记点以及第二标记点构建第二向量,基于机械臂偏移第二坐标系原点以及第二标记点构建第三向量,基于机械臂偏移第一坐标系原点以及机械臂偏移第二坐标系原点构建第四向量;根据封闭四边形向量运算法则,得到第四向量的第一求解方程。
可选的,在上述方案的基础上,关系确定单元具体用于:基于机械臂偏移第一坐标系原点以及第一中心点构建第五向量,基于第一中心点以及第二中心点构建第六向量,基于机械臂偏移第二坐标系原点以及第二中心点构建第七向量;根据封闭四边形向量运算法则,得到第六向量的第二求解方程。
可选的,在上述方案的基础上,相机距离计算单元具体用于:根据各第一特征点的机械臂坐标、第一图像与第二图像之间的机械臂偏移量,以及第一求解方程,得到第四向量;根据各第二特征点的机械臂坐标、第四向量,以及第二求解方程,得到第六向量;根据第六向量得到第一相机与第二相机之间的物理距离。
本发明实施例所提供的双目相机标定装置可执行任意实施例所提供的双目相机标定方法,具备执行方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五所提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备512的框图。图5显示的计算机设备512仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机设备512以通用计算设备的形式表现。计算机设备512的组件可以包括但不限于:一个或者多个处理器516,***存储器528,连接不同***组件(包括***存储器528和处理器516)的总线518。
总线518表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,***总线,图形加速端口,处理器516或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机设备512典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备512访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
***存储器528可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器(RAM)530和/或高速缓存存储器532。计算机设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例,存储装置534可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块542的程序/实用工具540,可以存储在例如存储器528中,这样的程序模块542包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备512也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等)通信,还可与一个或者多个使得用户能与该计算机设备512交互的设备通信,和/或与使得该计算机设备512能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且,计算机设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器520通过总线518与计算机设备512的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备512使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理器516通过运行存储在***存储器528中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的双目相机标定方法,该方法包括:
对各待标定相机进行手眼标定,获得各所述待标定相机对应的坐标变换矩阵;
获取目标物体在各所述待标定相机视野中的图像,并确定所述图像中各特征点组成的向量之间的几何关系;
根据所述坐标变换矩阵得到所述特征点在目标坐标系下的坐标,根据所述特征点在所述目标坐标系下的坐标以及所述几何关系确定所述待标定相机之间的物理距离。
当然,本领域技术人员可以理解,处理器还可以实现本发明任意实施例所提供的双目相机标定方法的技术方案。
实施例六
本发明实施例六还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的双目相机标定方法,该方法包括:
对各待标定相机进行手眼标定,获得各所述待标定相机对应的坐标变换矩阵;
获取目标物体在各所述待标定相机视野中的图像,并确定所述图像中各特征点组成的向量之间的几何关系;
根据所述坐标变换矩阵得到所述特征点在目标坐标系下的坐标,根据所述特征点在所述目标坐标系下的坐标以及所述几何关系确定所述待标定相机之间的物理距离。
当然,本发明实施例所提供的一种计算机可读存储介质,其上存储的计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的双目相机标定方法和/或磁共振扫描方法中的相关操作。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (5)
1.一种双目相机标定方法,其特征在于,包括:
对各待标定相机进行手眼标定,获得各所述待标定相机对应的坐标变换矩阵;
获取目标物体在各所述待标定相机视野中的图像,并确定所述图像中各特征点组成的向量之间的几何关系;
根据所述坐标变换矩阵得到所述特征点在目标坐标系下的坐标,根据所述特征点在所述目标坐标系下的坐标以及所述几何关系确定所述待标定相机之间的物理距离;
获取所述目标物体在第一相机视野中的第一图像,以及所述目标物体在第二相机视野中的第二图像;
将所述第一图像对应的机械臂偏移第一坐标系原点、所述第一图像中所述目标物体对应的第一标记点、所述第二图像对应的机械臂偏移第二坐标系原点以及所述第二图像中所述目标物体对应的第二标记点作为第一特征点,构建各所述第一特征点组成的向量之间的第一几何关系;
将所述机械臂偏移第一坐标系原点、所述第一图像的第一中心点、所述机械臂偏移第二坐标系原点以及所述第二图像的第二中心点作为第二特征点,构建各第二特征点组成的向量之间的第二几何关系;
基于所述机械臂偏移第一坐标系原点以及所述第一标记点构建第一向量,基于所述第一标记点以及所述第二标记点构建第二向量,基于所述机械臂偏移第二坐标系原点以及所述第二标记点构建第三向量,基于所述机械臂偏移第一坐标系原点以及所述机械臂偏移第二坐标系原点构建第四向量;
根据封闭四边形向量运算法则,得到所述第四向量的第一求解方程;
基于所述机械臂偏移第一坐标系原点以及所述第一中心点构建第五向量,基于所述第一中心点以及所述第二中心点构建第六向量,基于所述机械臂偏移第二坐标系原点以及所述第二中心点构建第七向量;
根据封闭四边形向量运算法则,得到所述第六向量的第二求解方程;
根据各所述第一特征点的机械臂坐标、所述第一图像与所述第二图像之间的机械臂偏移量,以及所述第一求解方程,得到所述第四向量;
根据各所述第二特征点的机械臂坐标、所述第四向量,以及所述第二求解方程,得到所述第六向量;
根据所述第六向量得到所述第一相机与所述第二相机之间的物理距离。
2.根据权利要求1所述的方法,其特征在于,所述根据所述坐标变换矩阵得到所述特征点在目标坐标系下的坐标,根据所述特征点在所述目标坐标系下的坐标以及所述几何关系确定所述待标定相机之间的物理距离,包括:
针对每个所述特征点,获取所述特征点在图像像素坐标系下的像素坐标,根据所述像素坐标以及所述特征点对应的变换矩阵得到所述特征点在机械臂偏移量坐标系下的机械臂坐标;
根据各所述特征点的机械臂坐标、所述第一图像与所述第二图像之间的机械臂偏移量,以及所述几何关系得到所述第一相机与所述第二相机之间的物理距离。
3.一种双目相机标定装置,其特征在于,包括:
变换矩阵获取模块,用于对各待标定相机进行手眼标定,获得各所述待标定相机对应的坐标变换矩阵;
几何关系确定模块,用于获取目标物体在各所述待标定相机视野中的图像,并确定所述图像中各特征点组成的向量之间的几何关系;
物理距离计算模块,用于根据所述坐标变换矩阵得到所述特征点在目标坐标系下的坐标,根据所述特征点在所述目标坐标系下的坐标以及所述几何关系确定所述待标定相机之间的物理距离;
几何关系确定模块,包括:
图像获取单元,用于获取目标物体在第一相机视野中的第一图像,以及目标物体在第二相机视野中的第二图像;
关系确定单元,用于确定第一图像以及第二图像中特征点组成的向量之间的几何关系;
关系确定单元,具体用于:
将第一图像对应的机械臂偏移第一坐标系原点、第一图像中目标物体对应的第一标记点、第二图像对应的机械臂偏移第二坐标系原点以及第二图像中目标物体对应的第二标记点作为第一特征点,构建各第一特征点组成的向量之间的第一几何关系;
将机械臂偏移第一坐标系原点、第一图像的第一中心点、机械臂偏移第二坐标系原点以及第二图像的第二中心点作为第二特征点,构建各第二特征点组成的向量之间的第二几何关系;
基于机械臂偏移第一坐标系原点以及第一标记点构建第一向量,基于第一标记点以及第二标记点构建第二向量,基于机械臂偏移第二坐标系原点以及第二标记点构建第三向量,基于机械臂偏移第一坐标系原点以及机械臂偏移第二坐标系原点构建第四向量;
根据封闭四边形向量运算法则,得到第四向量的第一求解方程;
基于机械臂偏移第一坐标系原点以及第一中心点构建第五向量,基于第一中心点以及第二中心点构建第六向量,基于机械臂偏移第二坐标系原点以及第二中心点构建第七向量;
根据封闭四边形向量运算法则,得到第六向量的第二求解方程;
相机距离计算单元,具体用于:
根据各第一特征点的机械臂坐标、第一图像与第二图像之间的机械臂偏移量,以及第一求解方程,得到第四向量;
根据各第二特征点的机械臂坐标、第四向量,以及第二求解方程,得到第六向量;
根据第六向量得到第一相机与第二相机之间的物理距离。
4.一种计算机设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-2中任一所述的双目相机标定方法。
5.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-2中任一所述的双目相机标定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010235123.9A CN111445533B (zh) | 2020-03-27 | 2020-03-27 | 一种双目相机标定方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010235123.9A CN111445533B (zh) | 2020-03-27 | 2020-03-27 | 一种双目相机标定方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111445533A CN111445533A (zh) | 2020-07-24 |
CN111445533B true CN111445533B (zh) | 2023-08-01 |
Family
ID=71656107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010235123.9A Active CN111445533B (zh) | 2020-03-27 | 2020-03-27 | 一种双目相机标定方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111445533B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112132904B (zh) * | 2020-08-26 | 2024-04-12 | 江苏迪盛智能科技有限公司 | 一种对位相机与光学装置之间位置关系的确定方法及*** |
CN112634376B (zh) * | 2020-12-25 | 2024-06-04 | 深圳中科飞测科技股份有限公司 | 标定方法及装置、标定设备和存储介质 |
CN112700505B (zh) * | 2020-12-31 | 2022-11-22 | 山东大学 | 一种基于双目三维跟踪的手眼标定方法、设备及存储介质 |
CN112929535B (zh) * | 2021-01-25 | 2022-09-20 | 北京中科慧眼科技有限公司 | 基于双目相机的镜头姿态修正方法、***和智能终端 |
CN112884847B (zh) * | 2021-03-02 | 2022-08-09 | 济南大学 | 一种双相机标定方法及*** |
US20220392012A1 (en) * | 2021-06-07 | 2022-12-08 | Alcon Inc. | Optical axis calibration of robotic camera system |
CN113850873B (zh) * | 2021-09-24 | 2024-06-07 | 成都圭目机器人有限公司 | 一种线阵相机在搭载平台定位坐标系下的偏移位置标定方法 |
CN115060229A (zh) * | 2021-09-30 | 2022-09-16 | 西安荣耀终端有限公司 | 运动物体的测量方法和测量装置 |
CN114406985B (zh) * | 2021-10-18 | 2024-04-12 | 苏州迪凯尔医疗科技有限公司 | 一种目标追踪的机械臂方法、***、设备及存储介质 |
CN114677429B (zh) * | 2022-05-27 | 2022-08-30 | 深圳广成创新技术有限公司 | 一种机械手的定位方法、装置、计算机设备和存储介质 |
CN115781665B (zh) * | 2022-11-01 | 2023-08-08 | 深圳史河机器人科技有限公司 | 一种基于单目相机的机械臂控制方法、装置及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109129445A (zh) * | 2018-09-29 | 2019-01-04 | 先临三维科技股份有限公司 | 机械臂的手眼标定方法、标定板、装置、设备和存储介质 |
CN109483516A (zh) * | 2018-10-16 | 2019-03-19 | 浙江大学 | 一种基于空间距离和极线约束的机械臂手眼标定方法 |
CN109658460A (zh) * | 2018-12-11 | 2019-04-19 | 北京无线电测量研究所 | 一种机械臂末端相机手眼标定方法和*** |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3833786B2 (ja) * | 1997-08-04 | 2006-10-18 | 富士重工業株式会社 | 移動体の3次元自己位置認識装置 |
CN101893425B (zh) * | 2010-07-09 | 2012-06-27 | 清华大学 | 基于线阵图像的视觉式全参数车轮定位检测***和方法 |
CN109214980B (zh) * | 2017-07-04 | 2023-06-23 | 阿波罗智能技术(北京)有限公司 | 一种三维姿态估计方法、装置、设备和计算机存储介质 |
CN108562274B (zh) * | 2018-04-20 | 2020-10-27 | 南京邮电大学 | 一种基于标志器的非合作目标位姿测量方法 |
CN108734744B (zh) * | 2018-04-28 | 2022-02-18 | 国网山西省电力公司电力科学研究院 | 一种基于全站仪的远距离大视场双目标定方法 |
KR102113285B1 (ko) * | 2018-08-01 | 2020-05-20 | 한국원자력연구원 | 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치 |
CN113486796B (zh) * | 2018-09-07 | 2023-09-05 | 百度在线网络技术(北京)有限公司 | 无人车位置检测方法、装置、设备、存储介质及车辆 |
-
2020
- 2020-03-27 CN CN202010235123.9A patent/CN111445533B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109129445A (zh) * | 2018-09-29 | 2019-01-04 | 先临三维科技股份有限公司 | 机械臂的手眼标定方法、标定板、装置、设备和存储介质 |
CN109483516A (zh) * | 2018-10-16 | 2019-03-19 | 浙江大学 | 一种基于空间距离和极线约束的机械臂手眼标定方法 |
CN109658460A (zh) * | 2018-12-11 | 2019-04-19 | 北京无线电测量研究所 | 一种机械臂末端相机手眼标定方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN111445533A (zh) | 2020-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111445533B (zh) | 一种双目相机标定方法、装置、设备及介质 | |
KR20210056964A (ko) | 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 | |
WO2021208933A1 (zh) | 用于相机的图像校正方法和装置 | |
CN111801198A (zh) | 一种手眼标定方法、***及计算机存储介质 | |
US20150187140A1 (en) | System and method for image composition thereof | |
JPH11118425A (ja) | キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法 | |
CN110148454B (zh) | 一种摆位方法、装置、服务器及存储介质 | |
US9990739B1 (en) | Method and device for fisheye camera automatic calibration | |
CN109544643A (zh) | 一种摄像机图像校正方法及装置 | |
CN112907727A (zh) | 相对变换矩阵的标定方法、装置及*** | |
CN113034612A (zh) | 一种标定装置、方法及深度相机 | |
CN110111364A (zh) | 运动检测方法、装置、电子设备及存储介质 | |
CN115854866A (zh) | 一种光学靶标三维测量***、方法、电子设备及存储介质 | |
CN114463436A (zh) | 振镜扫描装置的标定方法、***、设备及存储介质 | |
CN114049401A (zh) | 双目相机标定方法、装置、设备及介质 | |
CN117173254A (zh) | 一种相机标定方法、***、装置和电子设备 | |
López-Nicolás et al. | Unitary torus model for conical mirror based catadioptric system | |
CN116309881A (zh) | 一种云台相机外参测算方法、装置、设备及介质 | |
CN113240754B (zh) | 确定ptz摄像装置的内参的方法、装置、设备及存储介质 | |
CN115965697A (zh) | 基于沙姆定律的投影仪标定方法、标定***及装置 | |
CN108038871A (zh) | 旋转平台的旋转中心确定方法、装置、服务器和存储介质 | |
CN110675445B (zh) | 一种视觉定位方法、装置及存储介质 | |
CN113008135B (zh) | 用于确定空间中目标点位置的方法、设备、电子装置及介质 | |
CN108650465B (zh) | 摄像机画面增强现实标签的计算方法、装置及电子设备 | |
Ribeiro et al. | Photogrammetric multi-camera calibration using an industrial programmable robotic arm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |