CN115311369A - 一种低成本适用少量重合区域的高精度多rgb-d相机的外参标定方法 - Google Patents
一种低成本适用少量重合区域的高精度多rgb-d相机的外参标定方法 Download PDFInfo
- Publication number
- CN115311369A CN115311369A CN202211032496.1A CN202211032496A CN115311369A CN 115311369 A CN115311369 A CN 115311369A CN 202211032496 A CN202211032496 A CN 202211032496A CN 115311369 A CN115311369 A CN 115311369A
- Authority
- CN
- China
- Prior art keywords
- rgb
- point
- camera
- points
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 2
- 230000002068 genetic effect Effects 0.000 claims description 2
- 239000002245 particle Substances 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000009616 inductively coupled plasma Methods 0.000 description 11
- 239000000243 solution Substances 0.000 description 8
- 101150017059 pcd1 gene Proteins 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 239000012088 reference solution Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000013078 crystal Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明属于计算机视觉三维视觉领域,发明了一种一种低成本适用少量重合区域的高精度多RGB‑D相机的外参标定方法,标定物成本低,适用于RGB‑D相机间仅有少量重合区域的高精度多RGB‑D相机外参标定方法;本发明有使用了正反两面印刷有N个(N大于等于3)位置完全重合的ArUco码图像作为标定物、引入了外部特征点做了二次配准、引入了多帧优化对外部特征点进行误差检测及判断的技术特征;本发明有着标定物成本低、在多RGB‑D相机仅有少量重合区域的情况下效果良好、高精度等优点。
Description
技术领域
本发明主要涉及计算机三维视觉领域,具体为一种低成本适用少量重合区域的高精度多RGB-D相机的外参标定方法。
背景技术
随着计算机视觉技术的发展,基于RGB-D相机的三维计算机视觉应用越来越多,与二维相机相比,RGB-D相机可以直接拍摄出图像的深度信息,尤其是激光雷达拍摄出的深度信息已经非常准确。有了这样的深度信息,现实中使用场景也越来越多,如三维重建、全息捕捉、姿态捕捉、物体识别等。
一旦涉及2个及以上的RGB-D相机联合获取图像数据并对数据进行处理的场景,就需要对RGB-D相机进行外参配准。
RGB-D相机在业界往往使用张正友棋盘格标定法进行外参配准,张正友在1999年发布的论文“Flexible Camera Calibration By Viewing a Plane From UnknownOrientations”,这种方法需要特制绝对的刚体标定物,且对尺寸有严格要求,如张正友棋盘格标定法就需要一块大小占据相机视野范围1/2的绝对刚体棋盘格才能取得较高的精度,但棋盘格尺寸越大成本也会直线上升;故张正友标定法,标定物成本高,并且不适合相机间仅有少量共同视野重合区域的场景,且在现实中由于很难得到绝对刚体的棋盘格,故精度也较低。
在发明专利CN2022104736610中提到了一种方法,可以对RGB-D相机进行外参配准,其描述的纸张制作的标定物进行外参配准的方法,即便没有刚体和视野范围的严格要求,不要求大量视野重合区域,使用方便,材料获取难度低,但由于该方法在外参配准中使用的点云配准算法只提取了3个特征点云,没有进行二次全局配准或校验精度,没有考虑到由于RGB-D相机测量的深度信息会有偶然误差,故该方法精度较低。
为了使RGB-D相机获得高精度的外参结果,往往需要定制特制的立体标定物,如申请号CN2020116264908的发明专利中记载了一种方法,其中使用的特制立体标定物获取难度极大导致的标定物成本高,使用较为繁琐。
因此,需要一种标定物成本低,适用于RGB-D相机间仅有少量重合区域的高精度多RGB-D相机外参标定方法。
发明内容
本发明针对上述现有技术存在的问题,提出了一种标定物成本低,适用于RGB-D相机间仅有少量重合区域的高精度多RGB-D相机外参标定方法。
为了解决以上技术问题,本发明的技术方案如下:
Step1:将制作好的标定物放置在n个(n大于等于2)RGB-D相机的少量重合区域内,该标定物如说明书附图1所示,其正反两面印刷有N个(N大于等于3)ArUco码图像需要使用普通打印机打印在A4纸上;
Step2:n个RGB-D相机分别提取一帧的深度图像和RGB图像,将其分别转换为点云(以下简称PCD);
Step3:获取n个RGB-D相机的RGB图像,在RGB图像中识别出所有ArUco码,根据N个ArUco的角点计算出RGB图像中的N个中点,将N个中点映射到PCD中作为特征点;
Step4:通过使用点对点 ICP 算法对所有特征点进行初步的配准,计算出相机局部配准外参矩阵 T1; 其中 ICP 算法如下:
给定n个点云的点集如(1)所示:
其中X表示源点集,P表示目标点集,N表示点集对应的数量;
点云的配准过程中需要找到两个点集的相对位姿变换,从而使得两个点集的距离最小化,其最小化形式如(2)所示:
其中R表示为旋转矩阵,t 表示为平移矩阵.;
由于旋转矩阵R会引进三角量,因此不能采用最小二乘法来进行求解,这里将引入两组点云的质心,如(3)所示:
通过对误差函数进行如下的处理:
其中
这里需要先计算出两组点的质心坐标之后,再计算每个点的去质心坐标,其中去质心坐标表示如(6)所示:
接下来将R的误差项进行展开:
通过引入矩阵的迹的性质将问题进行转换,如(8)所示:
通过上式可知可以获得最大值,ICP的最终解T1为:
优选的,本发明也提供了一种使用更多的特征点进行二次配准的优化方法,使用T1作为初值,引入其他特征点进行二次配准,这样可以降低由于设备的偶然误差导致取N个中点的取值出现误差导致的T1精度降低的影响,可以进一步提高精度,具体操作步骤如下:
Step5:通过使用T1作为初值,引入所有所有ArUco码的4N个角点进行重新的全局配准从而得到新的相机外参T2。
优选的,可以把奇异值分解(SVD)的非线性优化方法替换为任意非线性优化方法,如随机梯度下降、高斯牛顿法、遗传算法或粒子群算法,相关领域熟练技术人员可根据实际需求做出调整,在所属权利要求的范围内做出的各种变形或修改均在保护范围内。
优选的,本发明也提供了一种使用多帧的优化方法,使用多帧优化,可以利用在时间空间的维度,降低第一轮外参标定由于RGB-D相机的偶然误差的影响,通过此方法即使某一帧采用上述配准方法计算出错误的值,也会因为循环迭代将其引入正确的值,提高了其鲁棒性,进一步降低设备偶然误差导致最终的T1或T2精度降低的影响,具体操作步骤如下:
Step6:记录下若干帧的Step1-Step4得到的T1或Step1-Step5得到的T2外参解作为一组,引入外部特征点,通过对引入的部分或全部特征点对上述一组的每一帧的外参解进行均方差的计算作为误差并记录其误差,具体计算步骤如下:,
判断该组的误差是否收敛或趋于稳定,如判断结果为收敛,则取该组相机外参的平均值,输出优化后的最终外参标定结果T3;如判断结果为不收敛,则直接放弃本组,重新取一组外参解。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
如图,图1是本发明实施例中所使用的印刷了3个ArUco码的A4纸标定物,在本发明的实施例中使用了3个ArUco码正反重合A4纸打印作为标定物,其左部分应打印在A4纸正面,右部分应将A4纸短边翻转后打印在A4纸背面,其制作完成后ArUco码的边缘正反面会几乎完全重合;这样对ArUco码取中点或角点映射到PCD中作为特征点,该特征点在空间意义上就完成重合,可以用作点云配准。
如图,图2是本发明的实施例1,该实施例介绍了使用ArUco码获得外参解T1的步骤。
如图,图3是本发明的实施例2,该实施例介绍了一种使用了外部特征点,对T1进行二次配准得到优化了精度的外参解T2的步骤。
如图,图4是本发明的实施例3,该实施例介绍了一种使用了多帧优化,对T2进行多帧优化,最终得到进一步优化了精度的外参解T3的步骤。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案,下面将结合附图对本发明作进一步的详细介绍。
参见图2,图2展示了本发明的实施例1,本实施例展示了说明书附图1中的标定物,对2台RGB-D相机进行点云配准的流程;本实施例中用到的方法,有着标定物成本低、适用相机仅有少量重合区域的优点,需要说明的是,实施例的给出仅用于解释本发明,并不构成对本发明的限制,本领域的熟练技术人员可根据需要做出调整,在所属权利要求的范围内做出的各种变形或修改均在保护范围内,其具体实施方式如下:
S201:两台RGB-D相机分别提取一帧的深度图像和RGB图像;
S202:两台相机提取到的深度图像和RGB图像分别转换为PCD1、PCD2;
S203:两台相机分别进行:使用OpenCV中有关ArUco码的工具,根据RGB图像找到所有ArUco码,然后提取出ArUco码的12个角点,并根据每个ArUco码的4个角点求平均值计算出3个中点;然后将上述的15个点全部映射到PCD1、PCD2的对应点云中;
S204:通过点对点ICP算法,对3个中点进行配准,从而计算出两个相机间的外部参数T1。
参见图3,图2展示了本发明的实施例2,本实施例展示了说明书附图1中的标定物,对2台RGB-D相机进行点云配准的流程,本实施例与实施例1的区别在于,对实施例1中得到的外部参数T1,进行二次配准,进一步提高了外参配准的精度;本实施例中用到的方法,有着标定物成本低、适用相机仅有少量重合区域且精度较高的优点,需要说明的是,实施例的给出仅用于解释本发明,并不构成对本发明的限制,本领域的熟练技术人员可根据需要做出调整,在所属权利要求的范围内做出的各种变形或修改均在保护范围内,其具体实施方式如下:
S301:两台RGB-D相机分别提取一帧的深度图像和RGB图像;
S302:两台相机提取到的深度图像和RGB图像分别转换为PCD1、PCD2;
S303:两台相机分别进行:使用OpenCV中有关ArUco码的工具,根据RGB图像找到所有ArUco码,然后提取出ArUco码的12个角点,并根据每个ArUco码的4个角点求平均值计算出3个中点;然后将上述的15个点全部映射到PCD1、PCD2的对应点云中;
S304:通过点对点ICP算法,对3个中点进行配准,从而计算出两个相机间的外部参数T1;
S305:通过点对点ICP算法,带入T1,对12个角点进行二次配准,从而计算出两个相机间的外部参数T2。
参见图4,图2展示了本发明的实施例3,本实施例展示了说明书附图1中的标定物,对2台RGB-D相机进行点云配准的流程,本实施例与实施例2的区别在于,对实施例2中得到的外部参数T2,进行了多帧优化,进一步提高了外参配准的精度;本实施例中用到的方法,有着标定物成本低、适用相机仅有少量重合区域且精度较高的优点,需要说明的是,实施例的给出仅用于解释本发明,并不构成对本发明的限制,本领域的熟练技术人员可根据需要做出调整,在所属权利要求的范围内做出的各种变形或修改均在保护范围内,其具体实施方式如下:
S401:两台RGB-D相机分别提取一帧的深度图像和RGB图像;
S402:两台相机提取到的深度图像和RGB图像分别转换为PCD1、PCD2;
S403:两台相机分别进行:使用OpenCV中有关ArUco码的工具,根据RGB图像找到所有ArUco码,然后提取出ArUco码的12个角点,并根据每个ArUco码的4个角点求平均值计算出3个中点;然后将上述的15个点全部映射到PCD1、PCD2的对应点云中;
S404:通过点对点ICP算法,对3个中点进行配准,从而计算出两个相机间的外部参数T1;
S405:通过点对点ICP算法,带入T1,对12个角点进行二次配准,从而计算出两个相机间的外部参数T2。
S406:记录下来多帧S405中的T2作为一个组,将该组传入到S406中进行误差校验和判断;
判断的方法具体为:对上述误差检测的结果进行判断,判断该组的误差是否收敛或趋于稳定,如判断结果为收敛,则取该组相机外参的平均值,输出优化后的最终外参标定结果T3;如判断结果为不收敛,则直接放弃本组,重新取一组外参解。
上面结合附图及其实时例描述了本发明的几种实施方式,只是为了使本发明的目的、优点更加清楚明白,实施例的给出仅用于解释本发明,并不构成对本发明的限制,本领域的熟练技术人员可根据需要做出调整,在所属权利要求的范围内做出的各种变形或修改均在保护范围内。
需要说明的是,在本发明中涉及“S301”、“S302”、步骤的名称如:“判断及检测”、“二次配准”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“S301”、“S302”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术本实施例可以相互结合,但是必须是以本领域熟练技术人员能够实现为基础,当技术本实施例的结合出现相互矛盾或无法实现时应当认为这种技术本实施例的结合不存在,也不在本发明要求的保护范围之内。
Claims (8)
1.一种低成本适用少量重合区域的高精度多RGB-D相机的外参标定方法,特征为:
Step1:将制作好的标定物放置在n个(n大于等于2)RGB-D相机的少量重合区域内;Step2:n个RGB-D相机分别提取一帧的深度图像和RGB图像,将其分别转换为点云(以下简称PCD);
Step3:获取n个RGB-D相机的RGB图像,在RGB图像中识别出所有ArUco码,根据N个ArUco的角点计算出RGB图像中的N个中点,将N个中点映射到PCD中作为特征点;
Step4:通过使用点对点 ICP 算法对所有特征点进行初步的配准,计算出相机外参矩阵 T1。
2.根据权利要求1所述的外参标定方法,特征为:可以对外参的解进行二次配准,引入更多的特征点进行二次配准,使用T1作为初值,引入其他特征点进行二次配准。
3.根据权利要求1所述的外参标定方法,特征为:可以对外参的解进行多帧优化,可以记录下一组外参的解作为一组,对该组外参使用更多特征点进行误差判断,误差是否收敛或趋于稳定,如判断结果为收敛,则取该组相机外参的平均值,输出优化后的最终外参标定结果T3;如判断结果为不收敛,则直接放弃本组,重新取一组外参解。
4.根据权利要求1所述的多RGB-D相机,特征为:可以为两台及其以上的RGB-D相机。
5.根据权利要求1所述的标定物,特征为:该标定物为正反两面印刷有N个(N大于等于3)位置完全重合的ArUco码图像,使用普通打印机打印在纸上制作而成。
6.根据权利要求1所述的ICP算法,特征为:
ICP 算法如下:
给定n个点云的点集如(1)所示:
其中X表示源点集,P表示目标点集,N表示点集对应的数量;
点云的配准过程中需要找到两个点集的相对位姿变换,从而使得两个点集的距离最小化,其最小化形式如(2)所示:
其中R表示为旋转矩阵,t 表示为平移矩阵;
由于旋转矩阵R会引进三角量,因此不能采用最小二乘法来进行求解,这里将引入两组点云的质心,如(3)所示:
通过对误差函数进行如下的处理:
其中
这里需要先计算出两组点的质心坐标之后,再计算每个点的去质心坐标,其中去质心坐标表示如(6)所示:
接下来将R的误差项进行展开:
通过引入矩阵的迹的性质将问题进行转换,如(8)所示:
通过上式可知可以获得最大值,ICP的最终解T1为:
7.根据权利要求6中所述的奇异值方法,其特征在于,包括:
可以把奇异值分解(SVD)的非线性优化方法替换为任意非线性优化方法,如随机梯度下降、高斯牛顿法、遗传算法或粒子群算法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211032496.1A CN115311369A (zh) | 2022-08-26 | 2022-08-26 | 一种低成本适用少量重合区域的高精度多rgb-d相机的外参标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211032496.1A CN115311369A (zh) | 2022-08-26 | 2022-08-26 | 一种低成本适用少量重合区域的高精度多rgb-d相机的外参标定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115311369A true CN115311369A (zh) | 2022-11-08 |
Family
ID=83864071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211032496.1A Pending CN115311369A (zh) | 2022-08-26 | 2022-08-26 | 一种低成本适用少量重合区域的高精度多rgb-d相机的外参标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115311369A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117994357A (zh) * | 2024-04-03 | 2024-05-07 | 江苏开放大学(江苏城市职业学院) | 一种基于时序性的多深度相机联合优化方法及*** |
-
2022
- 2022-08-26 CN CN202211032496.1A patent/CN115311369A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117994357A (zh) * | 2024-04-03 | 2024-05-07 | 江苏开放大学(江苏城市职业学院) | 一种基于时序性的多深度相机联合优化方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108510551B (zh) | 一种远距离大视场条件下相机参数的标定方法及*** | |
CN105096329B (zh) | 一种精确校正超广角摄像头图像畸变的方法 | |
US8306323B2 (en) | Method and apparatus for correcting depth image | |
US20150279016A1 (en) | Image processing method and apparatus for calibrating depth of depth sensor | |
CN103813151A (zh) | 图像处理装置和方法、图像处理***和程序 | |
CN113256729B (zh) | 激光雷达与相机的外参标定方法、装置、设备及存储介质 | |
CN109255818B (zh) | 一种新型标靶及其亚像素级角点的提取方法 | |
CN109272555B (zh) | 一种rgb-d相机的外部参数获得及标定方法 | |
CN111524194A (zh) | 一种激光雷达和双目视觉相互融合的定位方法及终端 | |
Wildenauer et al. | Closed form solution for radial distortion estimation from a single vanishing point. | |
CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
EP4242609A1 (en) | Temperature measurement method, apparatus, and system, storage medium, and program product | |
CN115830103A (zh) | 一种基于单目彩色的透明物体定位方法、装置及存储介质 | |
WO2023201578A1 (zh) | 单目激光散斑投影***的外参数标定方法和装置 | |
CN110738703A (zh) | 定位方法及装置、终端、存储介质 | |
CN114299156A (zh) | 无重叠区域下多相机的标定与坐标统一方法 | |
CN113920206A (zh) | 透视移轴相机的标定方法 | |
JP2016218815A (ja) | ラインセンサカメラのキャリブレーション装置及び方法 | |
CN111538029A (zh) | 一种视觉与雷达融合的测量方法及终端 | |
CN113409396A (zh) | 一种adas单目相机的标定方法 | |
CN115311369A (zh) | 一种低成本适用少量重合区域的高精度多rgb-d相机的外参标定方法 | |
CN114926538A (zh) | 单目激光散斑投影***的外参数标定方法和装置 | |
CN108520541B (zh) | 一种广角摄像机的标定方法 | |
CN113407030B (zh) | 视觉定位方法及相关装置、设备和存储介质 | |
CN114663505A (zh) | 目标定位方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20221108 |