CN107133987B - 无重叠视场的相机阵列优化标定方法 - Google Patents
无重叠视场的相机阵列优化标定方法 Download PDFInfo
- Publication number
- CN107133987B CN107133987B CN201710343506.6A CN201710343506A CN107133987B CN 107133987 B CN107133987 B CN 107133987B CN 201710343506 A CN201710343506 A CN 201710343506A CN 107133987 B CN107133987 B CN 107133987B
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- subset
- coordinate
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种无重叠视场的相机阵列优化标定方法,用于解决现有相机阵列标定方法实用性差的技术问题。技术方案是将各相机采集的图像视为拍摄时刻的独立相机,采用增量式从运动恢复结构的方法对单一图像所代表的相机完成标定;通过图像编号将同一时刻各相机拍摄的图像进行聚类,得到多组候选相机子集;依据相机空间位置的判断以及候选相机子集平均重投影误差最小原则,筛选出最佳相机子集,从而完成相机阵列标定。该方法适用于无重叠视场的相机阵列标定,且无需附加标志物,实用性好。
Description
技术领域
本发明涉及一种相机阵列标定方法,特别是涉及一种无重叠视场的相机阵列优化标定方法。
背景技术
相机阵列通过利用不同视角的信息,以及更加广阔的视场范围,使其广泛应用于自动导航、三维重建、大型工件测量等工作中。如何精确求解多个相机之间的位置关系是后期工作的关键。
文献“D-Calib:Calibration Software for Multiple Cameras System[C].14thInternational Conference on Image Analysis and Processing(ICIAP 2007),2007:285-290.”公开了一种相机阵列标定方法。该方法将特制的标志物放置在所有相机的视场内,使得多个相机能够同时拍摄到标志物,已知标志物的真实位置,根据2D-3D对应关系求解所有相机参数。该方法依赖特定标志物,只能用于重叠视场的相机阵列标定,实用性较低。
发明内容
为了克服现有相机阵列标定方法实用性差的不足,本发明提供一种无重叠视场的相机阵列优化标定方法。该方法将各相机采集的图像视为拍摄时刻的独立相机,采用增量式从运动恢复结构的方法对单一图像所代表的相机完成标定;通过图像编号将同一时刻各相机拍摄的图像进行聚类,得到多组候选相机子集;依据相机空间位置的判断以及候选相机子集平均重投影误差最小原则,筛选出最佳相机子集,从而完成相机阵列标定。该方法适用于无重叠视场的相机阵列标定,且无需附加标志物,实用性好。
本发明解决其技术问题所采用的技术方案是:一种无重叠视场的相机阵列优化标定方法,其特点是包括以下步骤:
步骤一、采用张氏标定法对相机内参标定。连续采集15幅图像,在每幅图像上进行角点检测,计算标定所用图像和棋盘格之间的单应变换H,利用棋盘格的几何关系,建立各视图图像中各角点的对应关系;棋盘格上的所有角点的空间坐标满足共面约束,假设其Z坐标为0,对单应性进行计算:
其中,u,v为角点的像素坐标,X,Y为角点在棋盘格上的空间坐标。
将单应变换H进行分解,得到:
H=sK[r1 r2 t] (2)其中,r1,r2,t为棋盘的位置姿态,s为标量系数,K为相机摄像头内参数矩阵。然后利用r1和r2的正交性求解K。
步骤二、搭建无重叠视场的相机阵列,保证多个相机之间的关系固定,将相机阵列安置在载台上,随其运动。改造相机快门,通过时间脉冲同步实现各相机在运动时能同时拍摄。载台运动轨迹包含环形,使得多个相机在不同时刻拍摄到同一静态场景。
步骤三、将各相机采集的图像视为拍摄时刻的独立相机,采用增量式从运动恢复结构的方法对单一图像所代表的相机完成标定,即
将各相机采集的图像混入同一图像集,提取sift特征点并匹配;
根据匹配关系,选取两张图像A和B作为初始,使用8点算法计算基本矩阵F,对于图像A和图像B任意一组匹配的特征点x和x',满足x'Fx=0,由基本矩阵与本质矩阵关系:
E=K'TFK (3)
计算出本质矩阵E,其中K'T和K分别由相机内参标定步骤中得到。通过对E进行奇异值分解,得到相对姿态旋转矩阵R和平移向量t,以图像A建立世界坐标系,整理得投影矩阵P=K[I|0]以及P=K'[R|t]。
根据估计的相机参数,三角化计算两相机都可见的三维点的坐标。最后使用捆绑调整最小化重投影误差,优化两个相机参数和三维点坐标:
其中,n维的向量C和m维的向量X分别表示整个相机参数和三维点坐标的集合;wij为指示变量,Wij=1代表三维点在相机中可见,Wij=0代表三维点在相机中不可见;||qij-P(Ci,Xj)||2表示点i在图j上的重投影误差。
采用基于生长的思想不断添加新的图片,估计相应相机参数并三角化新加入图片中可见的三维点,每一轮均使用捆绑调整对整个***进行优化。整个生长过程持续到没有新的图片加入时结束。
步骤四、各相机采集的图像以编号进行区分,编号规则为同一相机拍摄图像按时间先后顺序排列,不同相机间的图像编号前缀不同。通过图像编号,对同一时刻各相机拍摄的图像进行聚类,得到多组候选相机子集。
步骤五、对步骤四得到的多组候选相机子集,通过两步筛选,确定最佳相机子集,具体步骤如下:
依据相机空间位置进行判断,相机空间位置由Xc=-R't计算得到。由于同组内各相机之间距离在各组中相对稳定,比较不同组中同一对相机之间距离,自适应阈值过滤掉差别较大的候选相机子集。
对剩余的候选相机子集分别统计本组内重投影误差,求和平均后:
最小者为最佳相机子集,其标定结果即为相机阵列标定结果。
本发明的有益效果是:该方法将各相机采集的图像视为拍摄时刻的独立相机,采用增量式从运动恢复结构的方法对单一图像所代表的相机完成标定;通过图像编号将同一时刻各相机拍摄的图像进行聚类,得到多组候选相机子集;依据相机空间位置的判断以及候选相机子集平均重投影误差最小原则,筛选出最佳相机子集,从而完成相机阵列标定。该方法适用于无重叠视场的相机阵列标定,且无需附加标志物,实用性好。
下面结合具体实施方式对本发明作详细说明。
具体实施方式
本发明无重叠视场的相机阵列优化标定方法具体步骤如下:
1、相机内参标定。
采用张氏标定法。连续采集15幅图像,在每幅图像上进行角点检测,计算标定所用图像和棋盘格之间的单应变换H,利用棋盘格的几何关系,建立各视图图像中各角点的对应关系;棋盘格上的所有角点的空间坐标满足共面约束,假设其Z坐标为0,对单应性进行计算:
其中,u,v为角点的像素坐标,X,Y为角点在棋盘格上的空间坐标。
将H进行分解,得到:
H=sK[r1 r2 t] (2)
其中,r1,r2,t为棋盘的位置姿态,s为标量系数,K为相机摄像头内参数矩阵。然后利用r1和r2的正交性求解K。
2、数据采集。
搭建无重叠视场的相机阵列,保证多个相机之间的关系固定,将相机阵列安置在载台上,随其运动。改造相机快门,通过时间脉冲同步实现各相机在运动时可同时拍摄。载台运动轨迹包含环形,使得多个相机在不同时刻拍摄到同一静态场景。
3、独立相机标定。
将各相机采集的图像视为拍摄时刻的独立相机,采用增量式从运动恢复结构的方法对单一图像所代表的相机完成标定。具体步骤如下:
将各相机采集的图像混入同一图像集,提取sift特征点并匹配;
根据匹配关系,选取两张图像A和B作为初始,使用8点算法计算基本矩阵F,对于图像A和B任意一组匹配的特征点x和x',满足x'Fx=0,由基本矩阵与本质矩阵关系:
E=K'TFK (3)
计算出本质矩阵E,其中K'T和K分别由相机内参标定步骤中得到。通过对E进行奇异值分解,得到相对姿态旋转矩阵R和平移向量t,以图像A建立世界坐标系,整理得投影矩阵P=K[I|0]以及P=K'[R|t]。
根据估计的相机参数,三角化计算两相机都可见的三维点的坐标。最后使用捆绑调整最小化重投影误差,优化两个相机参数和三维点坐标:
其中n维的向量C和m维的向量X分别表示整个相机参数和三维点坐标的集合;wij为指示变量,Wij=1代表三维点在相机中可见,Wij=0代表三维点在相机中不可见;||qij-P(Ci,Xj)||2表示点i在图j上的重投影误差。
采用基于生长的思想不断添加新的图片,估计相应相机参数并三角化新加入图片中可见的三维点,每一轮均使用捆绑调整对整个***进行优化。整个生长过程持续到没有新的图片可以加入时结束。
4、相机聚类。
各相机采集的图像以编号进行区分,编号规则为同一相机拍摄图像按时间先后顺序排列,不同相机间的图像编号前缀不同。通过图像编号,对同一时刻各相机拍摄的图像进行聚类,得到多组候选相机子集。
5、筛选最佳相机子集。
对上一步中得到的各组候选相机子集,通过两步筛选,确定最佳相机子集,具体步骤如下:
依据相机空间位置进行判断,相机空间位置由Xc=-R't可计算得。由于同组内各相机之间距离在各组中相对稳定,比较不同组中同一对相机之间距离,自适应阈值过滤掉差别较大的候选相机子集。
对剩余的候选相机子集分别统计本组内重投影误差,求和平均后:
最小者为最佳相机子集,其标定结果即为相机阵列标定结果。
Claims (1)
1.一种无重叠视场的相机阵列优化标定方法,其特征在于包括以下步骤:
步骤一、采用张氏标定法对相机内参标定;连续采集15幅图像,在每幅图像上进行角点检测,计算标定所用图像和棋盘格之间的单应变换H,利用棋盘格的几何关系,建立各视图图像中各角点的对应关系;棋盘格上的所有角点的空间坐标满足共面约束,设定其Z坐标为0,对单应性进行计算:
其中,u,v为角点的像素坐标,X,Y为角点在棋盘格上的空间坐标;
将单应变换H进行分解,得到:
H=sK[r1 r2 t] (2)
其中,r1,r2,t为棋盘的位置姿态,s为标量系数,K为相机摄像头内参数矩阵;然后利用r1和r2的正交性求解K;
步骤二、搭建无重叠视场的相机阵列,保证多个相机之间的关系固定,将相机阵列安置在载台上,随其运动;改造相机快门,通过时间脉冲同步实现各相机在运动时能同时拍摄;载台运动轨迹包含环形,使得多个相机在不同时刻拍摄到同一静态场景;
步骤三、将各相机采集的图像视为拍摄时刻的独立相机,采用增量式基于运动恢复结构的方法对单一图像所代表的相机完成标定,即
将各相机采集的图像混入同一图像集,提取sift特征点并匹配;
根据匹配关系,选取两张图像A和B作为初始,使用8点算法计算基本矩阵F,对于图像A和图像B任意一组匹配的特征点x和x',满足x'Fx=0,由基本矩阵与本质矩阵关系:
E=K'TFK (3)
计算出本质矩阵E,其中K'T和K分别由相机内参标定步骤得到;通过对E进行奇异值分解,得到相对姿态旋转矩阵R和平移向量t,以图像A建立世界坐标系,整理得投影矩阵P=K[I|0]以及P=K'[R|t];
根据估计的相机参数,三角化计算两相机都可见的三维点的坐标;最后使用捆绑调整最小化重投影误差,优化两个相机参数和三维点坐标:
其中,n维的向量C和m维的向量X分别表示整个相机参数和三维点坐标的集合;wij为指示变量,wij=1代表三维点在相机中可见,wij=0代表三维点在相机中不可见;||qij-P(Ci,Xj)||2中i表示相机序号;
采用基于生长的思想不断添加新的图片,估计相应相机参数并三角化新加入图片中可见的三维点,每一轮均使用捆绑调整对整个***进行优化;整个生长过程持续到没有新的图片加入时结束;
步骤四、各相机采集的图像以编号进行区分,编号规则为同一相机拍摄图像按时间先后顺序排列,不同相机间的图像编号前缀不同;通过图像编号,对同一时刻各相机拍摄的图像进行聚类,得到多组候选相机子集;
步骤五、对步骤四得到的多组候选相机子集,通过两步筛选,确定最佳相机子集,具体步骤如下:
依据相机空间位置进行判断,相机空间位置由Xc=-R't计算得到;由于同组内各相机之间距离在各组中相对稳定,比较不同组中同一对相机之间距离,自适应阈值过滤掉差别较大的候选相机子集;
对剩余的候选相机子集分别统计本组内重投影误差,求和平均后:
最小者为最佳相机子集,其标定结果即为相机阵列标定结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710343506.6A CN107133987B (zh) | 2017-05-16 | 2017-05-16 | 无重叠视场的相机阵列优化标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710343506.6A CN107133987B (zh) | 2017-05-16 | 2017-05-16 | 无重叠视场的相机阵列优化标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107133987A CN107133987A (zh) | 2017-09-05 |
CN107133987B true CN107133987B (zh) | 2019-07-19 |
Family
ID=59733264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710343506.6A Active CN107133987B (zh) | 2017-05-16 | 2017-05-16 | 无重叠视场的相机阵列优化标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107133987B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108090935B (zh) * | 2017-12-19 | 2020-06-19 | 清华大学 | 混合相机***及其时间标定方法及装置 |
CN108564626B (zh) * | 2018-03-19 | 2021-08-31 | 百度在线网络技术(北京)有限公司 | 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置 |
CN108717714B (zh) * | 2018-05-23 | 2021-06-11 | 曜科智能科技(上海)有限公司 | 多相机标定方法、标定***、存储介质、及电子设备 |
CN109064404A (zh) * | 2018-08-10 | 2018-12-21 | 西安电子科技大学 | 一种基于多相机标定的全景拼接方法、全景拼接*** |
CN111243035B (zh) * | 2020-04-29 | 2020-08-14 | 成都纵横自动化技术股份有限公司 | 相机标定方法、装置、电子设备和计算机可读存储介质 |
CN111882655B (zh) * | 2020-06-19 | 2023-07-18 | 杭州易现先进科技有限公司 | 三维重建的方法、装置、***、计算机设备和存储介质 |
CN112164119B (zh) * | 2020-09-04 | 2023-08-18 | 华南理工大学 | 一种适用于狭小空间的环绕放置多摄像机***标定方法 |
CN112465914B (zh) * | 2020-11-24 | 2022-11-11 | 东南大学 | 基于非共同视场下的相机阵列标定方法 |
CN113034617B (zh) * | 2021-04-09 | 2024-05-28 | 北京爱笔科技有限公司 | 相机的焦距的获取方法及装置、设备 |
CN114862966A (zh) * | 2022-05-10 | 2022-08-05 | 东北大学 | 一种基于一维码的多线阵相机快速标定带及标定*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103177442A (zh) * | 2013-03-04 | 2013-06-26 | 北京邮电大学 | 一种无重叠视场的相机与二维激光的标定方法 |
CN104200523A (zh) * | 2014-09-11 | 2014-12-10 | 中国科学院自动化研究所 | 一种融合附加信息的大场景三维重建方法 |
CN105976391A (zh) * | 2016-05-27 | 2016-09-28 | 西北工业大学 | 基于orb-slam的多摄像机标定方法 |
-
2017
- 2017-05-16 CN CN201710343506.6A patent/CN107133987B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103177442A (zh) * | 2013-03-04 | 2013-06-26 | 北京邮电大学 | 一种无重叠视场的相机与二维激光的标定方法 |
CN104200523A (zh) * | 2014-09-11 | 2014-12-10 | 中国科学院自动化研究所 | 一种融合附加信息的大场景三维重建方法 |
CN105976391A (zh) * | 2016-05-27 | 2016-09-28 | 西北工业大学 | 基于orb-slam的多摄像机标定方法 |
Non-Patent Citations (3)
Title |
---|
基于双目视觉的运动恢复结构;杨阳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170215(第2期);第I138-2850页 |
无重叠视场多相机组安装关系的灵活标定;王刚等;《中国激光》;20170321;第44卷(第6期);第0604004-1至0604004-7页 |
针对大规模点集三维重建问题的分布式捆绑调整方法;刘鑫等;《自动化学报》;20120930;第38卷(第9期);第1428-1438页 |
Also Published As
Publication number | Publication date |
---|---|
CN107133987A (zh) | 2017-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107133987B (zh) | 无重叠视场的相机阵列优化标定方法 | |
CN106204595B (zh) | 一种基于双目摄像机的机场场面三维全景监视方法 | |
CN106251305B (zh) | 一种基于惯性测量单元imu的实时电子稳像方法 | |
CN100428805C (zh) | 仅用一幅平面标定物图像的摄像机标定方法 | |
CN109064404A (zh) | 一种基于多相机标定的全景拼接方法、全景拼接*** | |
CN105825493B (zh) | 图像配准方法和装置 | |
CN108399643A (zh) | 一种激光雷达和相机间的外参标定***和方法 | |
CN109579843A (zh) | 一种空地多视角下的多机器人协同定位及融合建图方法 | |
CN104299236B (zh) | 一种基于场景标定结合插值的目标定位方法 | |
CN109785379A (zh) | 一种对称物体尺寸及重量的测量方法及测量*** | |
CN107358633A (zh) | 一种基于三点标定物的多相机内外参标定方法 | |
CN109767474A (zh) | 一种多目相机标定方法、装置及存储介质 | |
CN105654547B (zh) | 三维重建方法 | |
US20210019937A1 (en) | 3d view model generation of an object utilizing geometrically diverse image clusters | |
CN108694741A (zh) | 一种三维重建方法及装置 | |
CN110782498B (zh) | 一种视觉传感网络的快速通用标定方法 | |
CN106033614B (zh) | 一种强视差下的移动相机运动目标检测方法 | |
CN106920276A (zh) | 一种三维重建方法和*** | |
CN107560592A (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
CN101916455A (zh) | 一种高动态范围纹理三维模型的重构方法及装置 | |
CN105976391A (zh) | 基于orb-slam的多摄像机标定方法 | |
CN110009675A (zh) | 生成视差图的方法、装置、介质及设备 | |
CN102944191A (zh) | 一种基于平面圆靶标的三维视觉测量数据拼接方法及装置 | |
CN103093460A (zh) | 基于平行视差的移动相机虚拟阵列标定方法 | |
CN110211169A (zh) | 基于多尺度超像素和相位相关的窄基线视差的重构方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |