CN109360230A - 一种基于2d相机与3d相机的图像配准方法及*** - Google Patents
一种基于2d相机与3d相机的图像配准方法及*** Download PDFInfo
- Publication number
- CN109360230A CN109360230A CN201811324637.0A CN201811324637A CN109360230A CN 109360230 A CN109360230 A CN 109360230A CN 201811324637 A CN201811324637 A CN 201811324637A CN 109360230 A CN109360230 A CN 109360230A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- camera
- matrix
- formula
- transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种基于2D相机与3D相机的图像配准方法及***,根据获取的2D相机的灰度图像和3D相机的深度图像,分别对2D相机和3D相机进行标定,根据标定结果计算出2D相机坐标系到3D相机坐标系的第一变换矩阵,以及特征点在2D相机灰度图像像素坐标系上的坐标和在3D相机深度图像像素坐标系上的坐标,进而计算出2D相机灰度图像像素坐标系到3D相机深度图像像素坐标系的第二变换矩阵,根据第二变换矩阵对2D相机灰度图像和3D相机深度图像进行匹配,实现配准。本发明的技术方案计算量少、计算速度快,能够快速实现2D相机灰度图像到3D相机深度图像的配准,并且配准精度高,能够实现三维物体的信息获取,简单高效。
Description
技术领域
本发明涉及机器视觉技术领域,尤其涉及一种基于2D相机与3D相机的图像配准方法及***。
背景技术
图像配准是将不同时间、不同传感器或不同条件下获取的两幅或多幅图像进行匹配、叠加的过程。其中,计算图像空间的坐标变换参数至关重要。
3D相机因具有深度信息、能够测量目标物体的形状而被广泛应用于测量、检测等工作中,但是3D相机获得的2D图像分辨率较低,不利于后续2D定位算法的应用,无法对目标物体的表面进行精确检测。因此,为了获得目标物体的准确信息,将2D相机与3D相机组合起来进行检测,首先通过2D相机获取目标物体的灰度图像,再通过3D相机获取目标物体的深度图像,将灰度图像和深度图像进行配准获得目标物体的三维信息。现有技术中的图像配准方法,通常先分别采集两张图像中的特征点进行匹配,再对相互匹配的特征点进行计算获得图像空间的坐标变换参数,根据坐标变换参数进行匹配,但是配准过程中计算量大、耗时长,配准精度不高,不利于工业生产应用。
发明内容
为了减少2D相机灰度图像和3D相机深度图像配准过程中的计算量和配准时间,提高配准精度,本发明提供一种基于2D相机与3D相机的图像配准方法及***。
本发明解决上述技术问题的技术方案如下:
第一方面,本发明提供了一种基于2D相机与3D相机的图像配准方法,所述方法包括:
步骤1:获取2D相机采集的目标物体的灰度图像,以及3D相机采集的所述目标物体的深度图像。
步骤2:根据所述灰度图像标定出所述2D相机的第一内参矩阵和第一外参矩阵,根据所述深度图像标定出所述3D相机的第二内参矩阵和第二外参矩阵。
步骤3:提取所述目标物体上的一个特征点,根据所述第一外参矩阵确定所述特征点在2D相机坐标系上的第一坐标,并根据所述第二外参矩阵确定所述特征点在3D相机坐标系上的第二坐标,根据所述第一坐标和所述第二坐标获得所述2D相机坐标系到所述3D相机坐标系的第一变换矩阵。
步骤4:根据所述第一内参矩阵和所述第一坐标确定所述特征点在所述灰度图像的第一像素坐标系上的第三坐标,根据所述第二内参矩阵和所述第二坐标确定所述特征点在所述深度图像的第二像素坐标系上的第四坐标,根据所述第三坐标、所述第四坐标和所述第一变换矩阵获得所述第一像素坐标系到所述第二像素坐标系的第二变换矩阵。
步骤5:根据所述第二变换矩阵对所述灰度图像和所述深度图像进行匹配。
第二方面,本发明提供了一种基于2D相机与3D相机的图像配准***,所述***包括:
获取模块,获取2D相机采集的目标物体的灰度图像,以及3D相机采集的所述目标物体的深度图像。
标定模块,根据所述灰度图像标定出所述2D相机的第一内参矩阵和第一外参矩阵,根据所述深度图像标定出所述3D相机的第二内参矩阵和第二外参矩阵。
第一计算模块,提取所述目标物体上的一个特征点,根据所述第一外参矩阵确定所述特征点在2D相机坐标系上的第一坐标,并根据所述第二外参矩阵确定所述特征点在3D相机坐标系上的第二坐标,根据所述第一坐标和所述第二坐标获得所述2D相机坐标系到所述3D相机坐标系的第一变换矩阵。
第二计算模块,根据所述第一内参矩阵和所述第一坐标确定所述特征点在所述灰度图像的第一像素坐标系上的第三坐标,根据所述第二内参矩阵和所述第二坐标确定所述特征点在所述深度图像的第二像素坐标系上的第四坐标,根据所述第三坐标、所述第四坐标和所述第一变换矩阵获得所述第一像素坐标系到所述第二像素坐标系的第二变换矩阵。
配准模块,根据所述第二变换矩阵对所述灰度图像和所述深度图像进行匹配。
本发明的一种基于2D相机与3D相机的图像配准方法及***的有益效果是:根据获取的2D相机的灰度图像和3D相机的深度图像,利用现有技术中的标定算法分别对2D相机和3D相机进行标定,标定算法可采用张氏标定法,根据标定结果计算目标物体上指定特征点分别在2D相机坐标系和3D相机坐标系上的坐标,据此建立2D相机坐标系到3D相机坐标系的第一变换矩阵,再根据标定结果和该特征点在2D相机坐标系上的坐标计算出该特征点在2D相机灰度图像像素坐标系上的坐标,同理计算出该特征点在3D相机深度图像像素坐标系上的坐标,据此,结合第一变换矩阵计算出2D相机灰度图像像素坐标系到3D相机深度图像像素坐标系的第二变换矩阵,根据第二变换矩阵对2D相机灰度图像中的所有像素点进行几何变换,得到变换后的图像,在3D相机深度图像像素坐标系下,将变换后的图像与3D相机深度图像匹配,实现配准。本发明的技术方案根据标定结果分别计算特征点在各个坐标系上的坐标,从而建立坐标系之间的变换关系矩阵,不需要提取所有特征点进行匹配,计算量少、计算速度快,能够快速实现2D相机灰度图像到3D相机深度图像的配准,并且配准精度高,能够实现三维物体的信息获取,简单高效。
附图说明
图1为本发明实施例的一种基于2D相机与3D相机的图像配准方法的流程示意图;
图2为本发明实施例的一种基于2D相机与3D相机的图像配准***的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,本发明实施例提供的一种基于2D相机与3D相机的图像配准方法,所述方法包括:
步骤1:获取2D相机采集的目标物体的灰度图像,以及3D相机采集的所述目标物体的深度图像。
步骤2:根据所述灰度图像标定出所述2D相机的第一内参矩阵和第一外参矩阵,根据所述深度图像标定出所述3D相机的第二内参矩阵和第二外参矩阵。
步骤3:提取所述目标物体上的一个特征点,根据所述第一外参矩阵确定所述特征点在2D相机坐标系上的第一坐标,并根据所述第二外参矩阵确定所述特征点在3D相机坐标系上的第二坐标,根据所述第一坐标和所述第二坐标获得所述2D相机坐标系到所述3D相机坐标系的第一变换矩阵。
步骤4:根据所述第一内参矩阵和所述第一坐标确定所述特征点在所述灰度图像的第一像素坐标系上的第三坐标,根据所述第二内参矩阵和所述第二坐标确定所述特征点在所述深度图像的第二像素坐标系上的第四坐标,根据所述第三坐标、所述第四坐标和所述第一变换矩阵获得所述第一像素坐标系到所述第二像素坐标系的第二变换矩阵。
步骤5:根据所述第二变换矩阵对所述灰度图像和所述深度图像进行匹配。
本实施例中,根据获取的2D相机的灰度图像和3D相机的深度图像,利用现有技术中的标定算法分别对2D相机和3D相机进行标定,标定算法可采用张氏标定法,根据标定结果计算目标物体上指定特征点分别在2D相机坐标系和3D相机坐标系上的坐标,据此建立2D相机坐标系到3D相机坐标系的第一变换矩阵,再根据标定结果和该特征点在2D相机坐标系上的坐标计算出该特征点在2D相机灰度图像像素坐标系上的坐标,同理计算出该特征点在3D相机深度图像像素坐标系上的坐标,据此,结合第一变换矩阵计算出2D相机灰度图像像素坐标系到3D相机深度图像像素坐标系的第二变换矩阵,根据第二变换矩阵对2D相机灰度图像中所有像素点进行几何变换,得到变换后的图像,在3D相机深度图像像素坐标系下,将变换后的图像与3D相机深度图像匹配,实现配准。本发明的技术方案根据标定结果分别计算特征点在各个坐标系上的坐标,从而建立坐标系之间的变换关系矩阵,不需要提取所有特征点进行匹配,计算量少、计算速度快,能够快速实现2D相机灰度图像到3D相机深度图像的配准,并且配准精度高,能够实现三维物体的信息获取,简单高效。
需要说明的是,本发明的基于2D相机与3D相机的图像配准方法可应用于工业机器人的抓取与拆垛等作业中。
具体地,2D相机可采用Basler相机,3D相机可采用Photoneo相机。由于2D相机灰度图像中的像素根据第二变换矩阵变换后的坐标不一定是整数,因此,可插值法计算变换后的坐标,例如可采用最近邻插值法、双线性插值法和高斯插值法等。世界坐标系为用户定义的空间三维坐标系,用于描述三维空间中的目标物体与相机之间的坐标位置,满足右手法则。相机坐标系以相机的光点为原点,Z轴与光轴重合,并垂直于成像平面,且取摄像方向为正方向,X、Y轴与图像物理坐标系的x、y轴平行,且原点之间的距离为相机的焦距。像素坐标系是以图像的左上方为原点建立的以像素为单位的直接坐标系。
优选地,所述步骤2的具体实现为:
基于张氏标定算法,根据所述灰度图像计算出所述第一内参矩阵MrgbI和所述第一外参矩阵MrgbE。
其中,(u0rgb,v0rgb,αrgb,βrgb)为2D相机的内部参数,
MrgbE=[Rrgb|trgb],Rrgb为3×3旋转矩阵,trgb为3×1平移向量。
基于张氏标定算法,根据所述深度图像计算出所述3D相机的第二内参矩阵MirI和第二外参矩阵MirE。
其中,(u0ir,v0ir,αir,βir)称为3D相机的内部参数,
MirE=[Rir|tir],Rir为3×3旋转矩阵,tir为3×1平移向量。
具体地,张氏标定算法克服了传统标定法需要高精度标定物的确定,仅需使用一个打印的棋盘格图像即可,方法简单,并且标定精度高。本实施例中,标定板的棋盘格可包括6×9个角点,角点之间的间距设置为20mm,将标定板转动10次,每次都使用2D相机和3D相机拍摄棋盘格图像,根据拍摄到的棋盘格图像,利用OpenCV和张氏标定算法对2D相机和3D相机进行标定,得到2D相机的内参矩阵和外参矩阵以及3D相机的内参矩阵和外参矩阵。其中,OpenCV是一个基于BSD许可发行的跨平台计算机视觉库,可以运行在Linux、Windows、Android和Mac OS操作***上,由一系列C函数和少量C++类构成,轻量级而且高效,同时提供了Python、Ruby、MATLAB等语言的接口,能够实现图像处理和计算机视觉方面的很多通用算法。
优选地,所述特征点由Pw表示,所述特征点在世界坐标系中的坐标为Pw=[xw,yw,zw]T,所述步骤3的具体实现为:
根据所述第一外参矩阵MrgbE,计算所述特征点Pw在所述2D相机坐标系上的第一坐标所述第一坐标由第一公式确定,所述第一公式为:
将所述第一公式转化为齐次坐标形式,得到第二公式,所述第二公式为:
根据所述第二外参矩阵MirE,计算所述特征点Pw在所述3D相机坐标系上的第二坐标所述第二坐标由第三公式确定,所述第三公式为:
将所述第三公式转化为齐次坐标形式,得到第四公式,所述第四公式为:
根据所述第一坐标和所述第二坐标 进行计算,获得所述2D相机坐标系到所述3D相机坐标系的第一变换关系,所述第一变换关系由第五公式确定,所述第五公式为:
其中,M为所述第一变换矩阵,
根据第一公式和第三公式可得,
R为3×3旋转矩阵,t为3×1平移向量,
具体地,根据2D相机的外参矩阵计算特征点在2D相机坐标系上的坐标,再根据3D相机的外参矩阵计算特征点在3D相机坐标系上的坐标,以此计算出2D相机坐标系到3D相机坐标系的变换矩阵,不需提取所有特征点进行匹配,大幅减少了计算量和配准时间。例如:采用Basler相机作为2D相机,采用Photoneo相机作为3D相机,使用棋格盘有6×9个角点、角点间距20mm的标定板,将标定板转动10次,每次都使用2D相机和3D相机拍摄棋盘格图像,根据拍摄到的棋盘格图像,利用OpenCV和张氏标定算法对2D相机和3D相机进行标定,得到2D相机的内参矩阵和外参矩阵以及3D相机的内参矩阵和外参矩阵,然后进行计算,得到2D相机坐标系到3D相机坐标系的第一变换矩阵M=[0.9912,-0.0018,0.1326,174.2232;-0.0009,0.9998,0.0206,-62.5616;-0.1326,-0.0205,0.9910,-23.9552;0,0,0,1]。
优选地,所述步骤4的具体实现为:
基于相机标定原理,根据所述第一内参矩阵MrgbI和所述第一坐标计算所述特征点Pw在所述第一像素坐标系上的第三坐标所述第三坐标由第六公式确定,所述第六公式为:
基于相机标定原理,根据所述第二内参矩阵MirI和所述第二坐标计算所述特征点Pw在所述第二像素坐标系的第四坐标所述第四坐标由第七公式确定,所述第七公式为:
结合所述第一公式到所述第七公式进行计算,建立所述第一像素坐标系到所述第二像素坐标系的第二变换关系,所述第二变换关系由第八公式确定,所述第八公式为:
其中,N=MirIMM-1 rgbI,N为所述第二变换矩阵。
具体地,将所有矩阵变换为齐次坐标形式进行计算,能够减少计算量,统一旋转矩阵和平移矩阵。其中,齐次坐标就是将n维的向量用n+1维向量来表示。
优选地,还包括以下步骤:
提取多个不同的所述特征点进行计算,获得多个所述第一变换矩阵,所述第一变换矩阵与所述特征点一一对应。
基于最小二乘法,对多个所述第一变换矩阵进行优化,获得优化后的所述第一变换矩阵。
具体地,最小二乘法是一种数学优化技术,通过最小化误差的平方和寻找数据的最佳函数搭配。采用最小二乘法对2D相机坐标系到3D相机坐标系的多个第一变换矩阵进行优化,获得精确的第一变换矩阵,进而可以根据该精确的第一变换矩阵获得精确的第二变换矩阵,据此实现2D相机灰色图像到3D相机深度图像的精确配准。
如图2所示,本发明实施例提供的一种基于2D相机与3D相机的图像配准***,所述***包括:
获取模块,获取2D相机采集的目标物体的灰度图像,以及3D相机采集的所述目标物体的深度图像。
标定模块,根据所述灰度图像标定出所述2D相机的第一内参矩阵和第一外参矩阵,根据所述深度图像标定出所述3D相机的第二内参矩阵和第二外参矩阵。
第一计算模块,提取所述目标物体上的一个特征点,根据所述第一外参矩阵确定所述特征点在2D相机坐标系上的第一坐标,并根据所述第二外参矩阵确定所述特征点在3D相机坐标系上的第二坐标,根据所述第一坐标和所述第二坐标获得所述2D相机坐标系到所述3D相机坐标系的第一变换矩阵。
第二计算模块,根据所述第一内参矩阵和所述第一坐标确定所述特征点在所述灰度图像的第一像素坐标系上的第三坐标,并根据所述第二内参矩阵和所述第二坐标确定所述特征点在所述深度图像的第二像素坐标系上的第四坐标,根据所述第三坐标、所述第四坐标和所述第一变换矩阵获得所述第一像素坐标系到所述第二像素坐标系的第二变换矩阵。
配准模块,根据所述第二变换矩阵对所述灰度图像和所述深度图像进行匹配。
优选地,所述标定模块具体用于:
基于张氏标定算法,根据所述灰度图像计算出所述第一内参矩阵MrgbI和所述第一外参矩阵MrgbE。
基于张氏标定算法,根据所述深度图像计算出所述3D相机的第二内参矩阵MirI和第二外参矩阵MirE。
优选地,所述特征点由Pw表示,所述第一计算模块具体用于:
根据所述第一外参矩阵MrgbE,计算所述特征点Pw在所述2D相机坐标系上的第一坐标所述第一坐标由第一公式确定,所述第一公式为:
根据所述第二外参矩阵MirE,计算所述特征点Pw在所述3D相机坐标系上的第二坐标所述第二坐标由第二公式确定,所述第二公式为:
结合所述第一坐标和所述第二坐标进行计算,获得所述2D相机坐标系到所述3D相机坐标系的第一变换关系,所述第一变换关系由第三公式确定,所述第三公式为:
其中,M为所述第一变换矩阵,
优选地,所述第二计算模块具体用于:
根据所述第一内参矩阵MrgbI和所述第一坐标计算所述特征点Pw在所述第一像素坐标系上的第三坐标所述第三坐标由第四公式确定,所述第四公式为:
根据所述第二内参矩阵MirI和所述第二坐标计算所述特征点Pw在所述第二像素坐标系的第四坐标所述第四坐标由第五公式确定,所述第五公式为:
结合所述第一公式到所述第五公式进行计算,获得所述第一像素坐标系到所述第二像素坐标系的第二变换关系,所述第二变换关系由第六公式确定,所述第六公式为:
其中,N=MirIMM-1 rgbI,N为所述第二变换矩阵。
优选地,所述第一计算模块还具体用于:
对提取的多个不同的所述特征点进行计算,获得多个所述第一变换矩阵,所述第一变换矩阵与所述特征点一一对应。
基于最小二乘法,对多个所述第一变换矩阵进行优化,获得优化后的所述第一变换矩阵。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于2D相机与3D相机的图像配准方法,其特征在于,所述方法包括:
步骤1:获取2D相机采集的目标物体的灰度图像,以及3D相机采集的所述目标物体的深度图像;
步骤2:根据所述灰度图像标定出所述2D相机的第一内参矩阵和第一外参矩阵,根据所述深度图像标定出所述3D相机的第二内参矩阵和第二外参矩阵;
步骤3:提取所述目标物体上的一个特征点,根据所述第一外参矩阵确定所述特征点在2D相机坐标系上的第一坐标,并根据所述第二外参矩阵确定所述特征点在3D相机坐标系上的第二坐标,根据所述第一坐标和所述第二坐标获得所述2D相机坐标系到所述3D相机坐标系的第一变换矩阵;
步骤4:根据所述第一内参矩阵和所述第一坐标确定所述特征点在所述灰度图像的第一像素坐标系上的第三坐标,并根据所述第二内参矩阵和所述第二坐标确定所述特征点在所述深度图像的第二像素坐标系上的第四坐标,根据所述第三坐标、所述第四坐标和所述第一变换矩阵获得所述第一像素坐标系到所述第二像素坐标系的第二变换矩阵;
步骤5:根据所述第二变换矩阵对所述灰度图像和所述深度图像进行匹配。
2.根据权利要求1所述的基于2D相机与3D相机的图像配准方法,其特征在于,所述步骤2的具体实现为:
基于张氏标定算法,根据所述灰度图像计算出所述第一内参矩阵,所述第一内参矩阵表示为MrgbI,和所述第一外参矩阵,所述第一外参矩阵表示为MrgbE;
基于张氏标定算法,根据所述深度图像计算出所述第二内参矩阵,所述第二内参矩阵表示为MirI,和所述第二外参矩阵,所述第二外参矩阵表示为MirE。
3.根据权利要求2所述的基于2D相机与3D相机的图像配准方法,其特征在于,所述特征点由Pw表示,所述步骤3的具体实现为:
根据所述第一外参矩阵MrgbE,计算所述特征点Pw在所述2D相机坐标系上的第一坐标所述第一坐标由第一公式确定,所述第一公式为:
根据所述第二外参矩阵MirE,计算所述特征点Pw在所述3D相机坐标系上的第二坐标所述第二坐标由第二公式确定,所述第二公式为:
结合所述第一坐标和所述第二坐标进行计算,建立所述2D相机坐标系到所述3D相机坐标系的第一变换关系,所述第一变换关系由第三公式确定,所述第三公式为:
其中,M为所述第一变换矩阵,
4.根据权利要求3所述的基于2D相机与3D相机的图像配准方法,其特征在于,所述步骤4的具体实现为:
根据所述第一内参矩阵MrgbI和所述第一坐标计算所述特征点Pw在所述第一像素坐标系上的第三坐标所述第三坐标由第四公式确定,所述第四公式为:
根据所述第二内参矩阵MirI和所述第二坐标计算所述特征点Pw在所述第二像素坐标系的第四坐标所述第四坐标由第五公式确定,所述第五公式为:
结合所述第一公式到所述第五公式进行计算,建立所述第一像素坐标系到所述第二像素坐标系的第二变换关系,所述第二变换关系由第六公式确定,所述第六公式为:
其中,N=MirIMM-1 rgbI,N为所述第二变换矩阵。
5.根据权利要求1至4任一项所述的基于2D相机与3D相机的图像配准方法,其特征在于,还包括以下步骤:
提取多个不同的所述特征点进行计算,获得多个所述第一变换矩阵,所述第一变换矩阵与所述特征点一一对应;
基于最小二乘法,对多个所述第一变换矩阵进行优化,获得优化后的所述第一变换矩阵。
6.一种基于2D相机与3D相机的图像配准***,其特征在于,所述***包括:
获取模块,获取2D相机采集的目标物体的灰度图像,以及3D相机采集的所述目标物体的深度图像;
标定模块,根据所述灰度图像标定出所述2D相机的第一内参矩阵和第一外参矩阵,并根据所述深度图像标定出所述3D相机的第二内参矩阵和第二外参矩阵;
第一计算模块,提取所述目标物体上的一个特征点,根据所述第一外参矩阵确定所述特征点在2D相机坐标系上的第一坐标,并根据所述第二外参矩阵确定所述特征点在3D相机坐标系上的第二坐标,根据所述第一坐标和所述第二坐标获得所述2D相机坐标系到所述3D相机坐标系的第一变换矩阵;
第二计算模块,根据所述第一内参矩阵和所述第一坐标确定所述特征点在所述灰度图像的第一像素坐标系上的第三坐标,根据所述第二内参矩阵和所述第二坐标确定所述特征点在所述深度图像的第二像素坐标系上的第四坐标,根据所述第三坐标、所述第四坐标和所述第一变换矩阵获得所述第一像素坐标系到所述第二像素坐标系的第二变换矩阵;
配准模块,根据所述第二变换矩阵对所述灰度图像和所述深度图像进行匹配。
7.根据权利要求6所述的基于2D相机与3D相机的图像配准***,其特征在于,所述标定模块具体用于:
基于张氏标定算法,根据所述灰度图像计算出所述第一内参矩阵,所述第一内参矩阵表示为MrgbI,和所述第一外参矩阵,所述第一外参矩阵表示为MrgbE;
基于张氏标定算法,根据所述深度图像计算出所述第二内参矩阵,所述第二内参矩阵表示为MirI,和所述第二外参矩阵,所述第二外参矩阵表示为MirE。
8.根据权利要求7所述的基于2D相机与3D相机的图像配准***,其特征在于,所述特征点由Pw表示,所述第一计算模块具体用于:
根据所述第一外参矩阵MrgbE,计算所述特征点Pw在所述2D相机坐标系上的第一坐标所述第一坐标由第一公式确定,所述第一公式为:
根据所述第二外参矩阵MirE,计算所述特征点Pw在所述3D相机坐标系上的第二坐标所述第二坐标由第二公式确定,所述第二公式为:
结合所述第一坐标和所述第二坐标进行计算,获得所述2D相机坐标系到所述3D相机坐标系的第一变换关系,所述第一变换关系由第三公式确定,所述第三公式为:
其中,M为所述第一变换矩阵,
9.根据权利要求8所述的基于2D相机与3D相机的图像配准***,其特征在于,所述第二计算模块具体用于:
根据所述第一内参矩阵MrgbI和所述第一坐标计算所述特征点Pw在所述第一像素坐标系上的第三坐标所述第三坐标由第四公式确定,所述第四公式为:
根据所述第二内参矩阵MirI和所述第二坐标计算所述特征点Pw在所述第二像素坐标系的第四坐标所述第四坐标由第五公式确定,所述第五公式为:
结合所述第一公式到所述第五公式进行计算,获得所述第一像素坐标系到所述第二像素坐标系的第二变换关系,所述第二变换关系由第六公式确定,所述第六公式为:
其中,N=MirIMM-1 rgbI,N为所述第二变换矩阵。
10.根据权利要求6至9任一项所述的基于2D相机与3D相机的图像配准***,其特征在于,所述第一计算模块还具体用于:
对提取的多个不同的所述特征点进行计算,获得多个所述第一变换矩阵,所述第一变换矩阵与所述特征点一一对应;
基于最小二乘法,对多个所述第一变换矩阵进行优化,获得优化后的第一变换矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811324637.0A CN109360230A (zh) | 2018-11-08 | 2018-11-08 | 一种基于2d相机与3d相机的图像配准方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811324637.0A CN109360230A (zh) | 2018-11-08 | 2018-11-08 | 一种基于2d相机与3d相机的图像配准方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109360230A true CN109360230A (zh) | 2019-02-19 |
Family
ID=65344657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811324637.0A Pending CN109360230A (zh) | 2018-11-08 | 2018-11-08 | 一种基于2d相机与3d相机的图像配准方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109360230A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110135277A (zh) * | 2019-07-05 | 2019-08-16 | 南京邮电大学 | 一种基于卷积神经网络的人体行为识别方法 |
CN110163898A (zh) * | 2019-05-07 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种深度信息配准方法及装置 |
CN112233184A (zh) * | 2020-09-08 | 2021-01-15 | 东南大学 | 基于图像配准的激光雷达与相机标定参数校正方法及装置 |
CN112509023A (zh) * | 2020-12-11 | 2021-03-16 | 国网浙江省电力有限公司衢州供电公司 | 一种多源相机***及rgbd配准方法 |
CN113470120A (zh) * | 2021-08-02 | 2021-10-01 | 南京华捷艾米软件科技有限公司 | 一种图像配准方法、装置、存储介质和电子设备 |
CN113587829A (zh) * | 2021-09-03 | 2021-11-02 | 凌云光技术股份有限公司 | 一种边缘厚度测量方法、装置、边缘厚度测量设备及介质 |
CN114758016A (zh) * | 2022-06-15 | 2022-07-15 | 超节点创新科技(深圳)有限公司 | 摄像设备标定方法、电子设备和存储介质 |
CN117218169A (zh) * | 2023-11-09 | 2023-12-12 | 北京科技大学 | 一种融合深度信息的图像配准方法和装置 |
EP4097681A4 (en) * | 2020-01-05 | 2024-05-15 | Magik Eye Inc. | TRANSFER OF THE COORDINATE SYSTEM OF A THREE-DIMENSIONAL CAMERA TO THE IMPACT POINT OF A TWO-DIMENSIONAL CAMERA |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103033132A (zh) * | 2012-12-20 | 2013-04-10 | 中国科学院自动化研究所 | 基于单目视觉的平面测量方法及装置 |
CN108399632A (zh) * | 2018-03-02 | 2018-08-14 | 重庆邮电大学 | 一种联合彩色图像的rgb-d相机深度图像修复方法 |
CN108447096A (zh) * | 2018-02-09 | 2018-08-24 | 西南科技大学 | kinect深度相机与热红外相机的信息融合方法 |
US20180276885A1 (en) * | 2017-03-27 | 2018-09-27 | 3Dflow Srl | Method for 3D modelling based on structure from motion processing of sparse 2D images |
-
2018
- 2018-11-08 CN CN201811324637.0A patent/CN109360230A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103033132A (zh) * | 2012-12-20 | 2013-04-10 | 中国科学院自动化研究所 | 基于单目视觉的平面测量方法及装置 |
US20180276885A1 (en) * | 2017-03-27 | 2018-09-27 | 3Dflow Srl | Method for 3D modelling based on structure from motion processing of sparse 2D images |
CN108447096A (zh) * | 2018-02-09 | 2018-08-24 | 西南科技大学 | kinect深度相机与热红外相机的信息融合方法 |
CN108399632A (zh) * | 2018-03-02 | 2018-08-14 | 重庆邮电大学 | 一种联合彩色图像的rgb-d相机深度图像修复方法 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163898A (zh) * | 2019-05-07 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种深度信息配准方法及装置 |
CN110163898B (zh) * | 2019-05-07 | 2023-08-11 | 腾讯科技(深圳)有限公司 | 深度信息配准方法、装置、***、设备及存储介质 |
CN110135277B (zh) * | 2019-07-05 | 2022-08-16 | 南京邮电大学 | 一种基于卷积神经网络的人体行为识别方法 |
CN110135277A (zh) * | 2019-07-05 | 2019-08-16 | 南京邮电大学 | 一种基于卷积神经网络的人体行为识别方法 |
EP4097681A4 (en) * | 2020-01-05 | 2024-05-15 | Magik Eye Inc. | TRANSFER OF THE COORDINATE SYSTEM OF A THREE-DIMENSIONAL CAMERA TO THE IMPACT POINT OF A TWO-DIMENSIONAL CAMERA |
CN112233184A (zh) * | 2020-09-08 | 2021-01-15 | 东南大学 | 基于图像配准的激光雷达与相机标定参数校正方法及装置 |
CN112233184B (zh) * | 2020-09-08 | 2021-06-22 | 东南大学 | 基于图像配准的激光雷达与相机标定参数校正方法及装置 |
CN112509023B (zh) * | 2020-12-11 | 2022-11-22 | 国网浙江省电力有限公司衢州供电公司 | 一种多源相机***及rgbd配准方法 |
CN112509023A (zh) * | 2020-12-11 | 2021-03-16 | 国网浙江省电力有限公司衢州供电公司 | 一种多源相机***及rgbd配准方法 |
CN113470120A (zh) * | 2021-08-02 | 2021-10-01 | 南京华捷艾米软件科技有限公司 | 一种图像配准方法、装置、存储介质和电子设备 |
CN113587829A (zh) * | 2021-09-03 | 2021-11-02 | 凌云光技术股份有限公司 | 一种边缘厚度测量方法、装置、边缘厚度测量设备及介质 |
CN113587829B (zh) * | 2021-09-03 | 2023-08-01 | 凌云光技术股份有限公司 | 一种边缘厚度测量方法、装置、边缘厚度测量设备及介质 |
CN114758016A (zh) * | 2022-06-15 | 2022-07-15 | 超节点创新科技(深圳)有限公司 | 摄像设备标定方法、电子设备和存储介质 |
CN117218169A (zh) * | 2023-11-09 | 2023-12-12 | 北京科技大学 | 一种融合深度信息的图像配准方法和装置 |
CN117218169B (zh) * | 2023-11-09 | 2024-02-23 | 北京科技大学 | 一种融合深度信息的图像配准方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109360230A (zh) | 一种基于2d相机与3d相机的图像配准方法及*** | |
CN108053450B (zh) | 一种基于多约束的高精度双目相机标定方法 | |
Ishikawa et al. | Lidar and camera calibration using motions estimated by sensor fusion odometry | |
CN106780618B (zh) | 基于异构深度摄像机的三维信息获取方法及其装置 | |
CN104835144B (zh) | 利用一个球的球心的像及正交性求解摄像机内参数的方法 | |
CN110378969B (zh) | 一种基于3d几何约束的汇聚式双目相机标定方法 | |
Hu et al. | Extrinsic calibration of 2-D laser rangefinder and camera from single shot based on minimal solution | |
CN104331896B (zh) | 一种基于深度信息的***标定方法 | |
CN111735479A (zh) | 一种多传感器联合标定装置及方法 | |
CN109827521B (zh) | 一种快速多线结构光视觉测量***标定方法 | |
CN109724586B (zh) | 一种融合深度图和点云的航天器相对位姿测量方法 | |
CN107543496B (zh) | 一种双目立体视觉三维坐标测量方法 | |
CN101377405B (zh) | 一种空间圆姿态参数和几何参数的视觉测量方法 | |
CN105157592A (zh) | 基于双目视觉的柔性后缘可变形机翼的变形形状和速率的测量方法 | |
CN101377404B (zh) | 一种基于角度约束的空间圆姿态识别二义性消除方法 | |
CN111325801A (zh) | 一种激光雷达和相机的联合标定方法 | |
Wang et al. | A two-step calibration method of a large FOV binocular stereovision sensor for onsite measurement | |
CN109272574A (zh) | 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法 | |
CN104766309A (zh) | 一种平面特征点导航定位方法与装置 | |
CN106840106B (zh) | 基站式六自由度对接位姿检测方法 | |
Chen et al. | A self-recalibration method based on scale-invariant registration for structured light measurement systems | |
CN105513074B (zh) | 一种羽毛球机器人相机以及车身到世界坐标系的标定方法 | |
CN101980292B (zh) | 一种基于正八边形模板的车载摄像机内参数的标定方法 | |
CN107687821B (zh) | 用于深孔洞旋转件形貌测量的多相机光刀***标定方法 | |
CN207215015U (zh) | 一种立体视觉摄像头同侧目标位置标定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190219 |
|
RJ01 | Rejection of invention patent application after publication |