CN109003312B - 一种基于非线性优化的相机标定方法 - Google Patents
一种基于非线性优化的相机标定方法 Download PDFInfo
- Publication number
- CN109003312B CN109003312B CN201810973318.6A CN201810973318A CN109003312B CN 109003312 B CN109003312 B CN 109003312B CN 201810973318 A CN201810973318 A CN 201810973318A CN 109003312 B CN109003312 B CN 109003312B
- Authority
- CN
- China
- Prior art keywords
- matrix
- camera
- parameters
- algorithm
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005457 optimization Methods 0.000 title claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 238000007670 refining Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 35
- 238000012545 processing Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于非线性优化的相机标定方法,属于图像处理技术领域。该方法包括以下步骤:S1:获取数据:制作棋盘格标定板,并测量各方格的尺寸,从不同角度拍摄两张以上照片;S2:计算单应矩阵;S3:计算内参数、外参数和畸变因数的初始值;S4:用非线性优化方法精化计算结果。本发明在张正友标定算法的基础上,引入知识和约束条件,使得搜索范围更小,从而减小陷入局部最优的可能性,使算法更稳定;并且只需要打印一个棋盘格图形,测量其尺寸就可以标定相机,其精度明显优于比经典的张正友算法。
Description
技术领域
本发明属于图像处理技术领域,涉及一种基于非线性优化的少图高精度相机标定方法。
背景技术
目前,相机标定方法有线性变换法、非线性优化法、两步标定法等方法,(1)线性变换法:计算复杂度小,有唯一的解析解,但是由于相机标定对数据噪声相当敏感,该方法的结果精度较低。(2)非线性优化法:通过迭代优化得到一个最优解,可以得到高精度的结果,但相机标定是一个非凸优化问题,其精度对初始值高度依赖。(3)两步标定法(如张正友标定算法):通过线性变换求得参数初始值,然后对其进行非线性优化,本质上是由粗到精的方法,以其精度高和标定板制作简单而得到广泛应用,但其在只有一到两张标定图时效果不佳。
相机模型就是用表达式模拟相机成像过程,通常采用小孔成像模型,如图1所示,相机模型表达式为:其中,表示图像上的齐次坐标,表示标定点(标定板上的角点)的齐次坐标,I是3×3的单位矩阵,0是3个元素的0向量(列向量),
当不考虑相机畸变时,相机标定就是求K中的5个参数和R中的6个参数。但实际上在精度要求高的情况下必须考虑相机畸变,也就是说通过计算的结果与实际成像是有差异的,需要对结果进行修正,这个修正的表达式一般采用
这里又有2个参数,所以考虑相机畸变时,相机标定就是求13个参数。直接计算非常困难,一般先算出P=K[I|0]R,然后再分解出11个参数。但由于标定数据存在噪声,用解析方法计算的结果往往不精确,所以,一般只是将其作为非线性优化的初始值。
因此,现有相机标定方法中,对少图相机标定方法,要么标定物特别复杂,要么精度不高。故,有必要研究一种少图高精度的相机标定方法。
发明内容
有鉴于此,本发明的目的在于提供一种基于非线性优化的相机标定方法,在张正友标定算法的基础上,引入知识和约束条件,使得搜索范围更小,从而减小陷入局部最优的可能性,使算法更稳定。该方法只要有两张图甚至一张图就可以算出所有参数,然后通过图中的已经尺寸物体精确确定未知尺寸的物体等数据,适用于刑侦等特殊场合。
为达到上述目的,本发明提供如下技术方案:
一种基于非线性优化的相机标定方法,该方法具体包括以下步骤:
S1:获取数据:制作棋盘格标定板,并测量各方格的尺寸,从不同角度拍摄两张以上照片;
S2:计算单应矩阵;
S3:计算内参数、外参数和畸变因数的初始值;
S4:用非线性优化方法精化计算结果。
上式结果为2×12矩阵;将标定点(角点)坐标和及其图像上的像点坐标代入上式解方程组,得到单应矩阵P(是一个3×4的矩阵);
进一步,所述步骤S3具体包括:采用无畸变情况下的相机模型,如下式:
其中,f表示焦距;uo、vo表示主点在图像中的坐标;r11~33表示旋转矩阵的各元素;t1~3表示平移向量的各元素、x、y表示三维空间中目标点的坐标,u、v表示目标点的像的图像坐标;zc表示相机坐标系中目标点的Z坐标。
已知P,计算下式等号右侧中的参数:
其中,P是3X4的矩阵,只取其中的第1、2、4列,即删除第3列后,得到另外一个3X3的矩阵H,其中的第i个列向量表示为:hi=[h1i h2i h3i]T;
(1)计算内参数:f和uo、vo
求解如下方程组:
即
Vb=0
其中,vij=[h3ih3j -(h3ih1j+h1ih3j) -(h2ih3j+h3ih2j) h1ih1j+h2ih2j],其解为VTV的最小特征值对应的特征向量,即b向量的值;通过上式求解出第一个参数矩阵,称为内参数矩阵;
其中,τ=1/‖A-1h1‖,r1、r2、r3和t分别为外参数矩阵R中的各个列向量;
(3)计算畸变因数:
k=(DTD)-1DTd
进一步,所述步骤S4具体包括:采用Levenberg-Marquardt方法进一步优化内外参数和畸变因子,优化的目标函数为:
本发明的有益效果在于:本发明所述方法只需要打印一个棋盘格图形,测量其尺寸就可以标定相机,其精度明显优于经典的张正友标定算法。
附图说明
为了使本发明的目的、技术方案和效果说明更加清楚,本发明提供如下附图:
图1为小孔成像模型图;
图2为棋盘格标定板;
图3为本发明所述相机标定方法流程图;
图4为单图无噪声的成功率对比图;
图5为本发明所述方法与张氏算法误差的均值对比图(单图无噪声);
图6为本发明所述方法与张氏算法误差的标准差对比图(单图无噪声);
图7为双图无噪声的成功率对比图;
图8为本发明所述方法与张氏算法误差的均值对比图(双图无噪声);
图9为本发明所述方法与张氏算法误差的标准差对比图(双图无噪声);
图10为双图量化噪声的成功率对比图;
图11为本发明所述方法与张氏算法误差的均值对比图(双图量化噪声);
图12为本发明所述方法与张氏算法误差的标准差对比图(双图量化噪声)。
具体实施方式
下面将结合附图,对本发明的优选实施例进行详细的描述。
一种基于非线性优化的相机标定方法,如图3所示,具体包括以下步骤:
S1:获取数据:如图2所示,制作棋盘格标定板,并测量各方格的尺寸,从不同角度拍摄两张以上照片;
S2:计算单应矩阵;
S3:计算内参数、外参数和畸变因数的初始值;
S4:用非线性优化方法精化计算结果。
仿真实验:
分别对单图、双图以及实图(两张图)使用本发明所述相机标定方法和张正友标定方法进行相机标定处理,分别从成功率、准确度和精确度三方面进行对比分析两种方法的效果。成功率用标定结果为具有物理意义的实数的次数与总实验次数的比值表示。准确度计算结果与参考值的差的均值来度量。精确度用标定结果的标准差来度量。
1、单图无噪声效果
(1)成功率:如图4所示,图4a中灰色表示成功,黑色表示不成功,上图为本发明提出的算法,下图为经典的张正友算法;图4b为不同角点数下的结果;图4c为标定板与相机不同角度下的结果;图4b和4c中,实线为本发明提出的算法;虚线为张正友算法。
(2)准确度:如图5所示,图5表示本发明所述方法与张氏算法的误差均值对比图,反映准确度。
(3)精确度:如图6所示,图6表示本发明所述方法与张氏算法的误差标准差对比图,反映精确度。
2、双图无噪声效果
(1)成功率:如图7所示,图7a中灰色表示成功,黑色表示不成功,上图为本发明提出的算法,下图为经典的张正友算法;图7b为不同角点数下的结果;图7c为标定板与相机不同角度下的结果;图7b和7c中,实线为本发明提出的算法;虚线为张正友算法。
(2)准确度:如图8所示,图8表示本发明所述方法与张氏算法误差的均值对比图,反映准确度。
(3)精确度:如图9所示,图9表示本发明所述方法与张氏算法误差的标准差对比图,反映精确度。
3、双图量化噪声效果
(1)成功率:如图10所示,图10a中灰色表示成功,黑色表示不成功,上图为本发明提出的算法,下图为经典的张正友算法;图10b为不同角点数下的结果;图10c为标定板与相机不同角度下的结果;图10b和10c中,实线为本发明提出的算法;虚线为张正友算法。
(2)准确度:如图11所示,图11表示本发明所述方法与张氏算法误差的均值对比图,反映准确度。
(3)精确度:如图12所示,图12表示本发明所述方法与张氏算法误差的标准差对比图,反映精确度。
4、实图(两图)效果
(1)成功率:张氏算法成功率为20%,本发明提出的算法为100%。
(2)准确度和精确度:因为没有标准值,所以对真实图标定时不能直接计算其误差,所以,用标定出来的参数计算得到的图像点与实际的图像点的距离差来反映准确度,用不同图像组合计算出的内参数的标准差来反映精确度。从表1、表2中可看出,本发明提出的算法精确度远高于张氏算法。
表1重投影错误率表
表2内部参数的标准差值表
最后说明的是,以上优选实施例仅用以说明本发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离本发明权利要求书所限定的范围。
Claims (2)
1.一种基于非线性优化的相机标定方法,其特征在于,该方法具体包括以下步骤:
S1:获取数据:制作棋盘格标定板,并测量各方格的尺寸,从不同角度拍摄两张以上照片;
S2:计算单应矩阵;
S3:计算内参数、外参数和畸变因数的初始值;
S4:用非线性优化方法精化计算结果;
所述步骤S3具体包括:采用无畸变情况下的相机模型,如下式:
其中,f表示焦距;uo、vo表示主点在图像中的坐标;r11~33表示旋转矩阵的各元素;t1~3表示平移向量的各元素;x、y表示三维空间中目标点的坐标;u、v表示目标点的像的图像坐标;zc表示相机坐标系中目标点的Z坐标;
已知P,计算下式等号右侧中的参数:
其中,P是3×4的矩阵,只取其中的第1、2、4列,即删除第3列后,得到另外一个3×3的矩阵H,其中的第i个列向量表示为:hi=[h1i h2i h3i]T;
(1)计算内参数:f和uo、vo
求解如下方程组:
即
Vb=0
其中,vij=[h3ih3j -(h3ih1j+h1ih3j) -(h2ih3j+h3ih2j) h1ih1j+h2ih2j],其解为VTV的最小特征值对应的特征向量,即b向量的值;通过上式求解出第一个参数矩阵,称为内参数矩阵;
其中,τ=1/||A-1h1||,r1、r2、r3和t分别为外参数矩阵R中的各个列向量;
(3)计算畸变因数:
k=(DTD)-1DTd
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810973318.6A CN109003312B (zh) | 2018-08-24 | 2018-08-24 | 一种基于非线性优化的相机标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810973318.6A CN109003312B (zh) | 2018-08-24 | 2018-08-24 | 一种基于非线性优化的相机标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109003312A CN109003312A (zh) | 2018-12-14 |
CN109003312B true CN109003312B (zh) | 2022-01-28 |
Family
ID=64593860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810973318.6A Active CN109003312B (zh) | 2018-08-24 | 2018-08-24 | 一种基于非线性优化的相机标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109003312B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685078B (zh) * | 2018-12-17 | 2022-04-05 | 浙江大学 | 基于自动标注的红外图像识别方法 |
CN110298888B (zh) * | 2019-06-12 | 2021-09-07 | 上海智能制造功能平台有限公司 | 基于单轴高精度位移平台的相机标定方法 |
CN111882605A (zh) * | 2020-06-30 | 2020-11-03 | 浙江大华技术股份有限公司 | 监控设备图像坐标转换方法、装置和计算机设备 |
CN112889786B (zh) * | 2021-01-15 | 2023-04-28 | 吉林农业大学 | 一种实时追踪田间作物苗区的喷药***及控制方法 |
CN113393538B (zh) * | 2021-07-14 | 2024-05-28 | 南京苏润科技发展有限公司 | 一种基于双棋盘格标定的闸门门缝检测方法 |
CN113781401A (zh) * | 2021-08-17 | 2021-12-10 | 浙江工业大学 | 一种无人车车辆偏移预警方法和*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107358631A (zh) * | 2017-06-27 | 2017-11-17 | 大连理工大学 | 一种虑及三维畸变的双目视觉重建方法 |
CN107633536A (zh) * | 2017-08-09 | 2018-01-26 | 武汉科技大学 | 一种基于二维平面模板的相机标定方法及*** |
CN108053450A (zh) * | 2018-01-22 | 2018-05-18 | 浙江大学 | 一种基于多约束的高精度双目相机标定方法 |
CN108269289A (zh) * | 2018-01-16 | 2018-07-10 | 上海汇像信息技术有限公司 | 一种相机参数标定的两步优化方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750697B (zh) * | 2012-06-08 | 2014-08-20 | 华为技术有限公司 | 一种参数标定方法及装置 |
-
2018
- 2018-08-24 CN CN201810973318.6A patent/CN109003312B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107358631A (zh) * | 2017-06-27 | 2017-11-17 | 大连理工大学 | 一种虑及三维畸变的双目视觉重建方法 |
CN107633536A (zh) * | 2017-08-09 | 2018-01-26 | 武汉科技大学 | 一种基于二维平面模板的相机标定方法及*** |
CN108269289A (zh) * | 2018-01-16 | 2018-07-10 | 上海汇像信息技术有限公司 | 一种相机参数标定的两步优化方法 |
CN108053450A (zh) * | 2018-01-22 | 2018-05-18 | 浙江大学 | 一种基于多约束的高精度双目相机标定方法 |
Non-Patent Citations (1)
Title |
---|
相机目标自标定***三维重构的研究;陈芬;《西昌学院学报》;20171231;第3-4节 * |
Also Published As
Publication number | Publication date |
---|---|
CN109003312A (zh) | 2018-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109003312B (zh) | 一种基于非线性优化的相机标定方法 | |
CN107633536B (zh) | 一种基于二维平面模板的相机标定方法及*** | |
CN106504290B (zh) | 一种高精度的摄像机动态标定方法 | |
CN111047649B (zh) | 一种基于最优偏振角的相机高精度标定方法 | |
CN105096329B (zh) | 一种精确校正超广角摄像头图像畸变的方法 | |
CN106485758B (zh) | 一种无人机摄像头标定装置、标定方法及流水线标定实现方法 | |
Dufour et al. | Integrated digital image correlation for the evaluation and correction of optical distortions | |
CN110044262B (zh) | 基于图像超分辨率重建的非接触式精密测量仪及测量方法 | |
CN110310272B (zh) | 图像配准方法及终端设备 | |
CN113160333B (zh) | 参数优化相机标定方法 | |
CN114463442A (zh) | 一种非同轴相机的标定方法 | |
CN113012234A (zh) | 基于平面变换的高精度相机标定方法 | |
CN113822920B (zh) | 结构光相机获取深度信息的方法、电子设备及存储介质 | |
CN113409399B (zh) | 一种双相机联合标定方法、***及装置 | |
CN107770505A (zh) | 投影机的影像校正方法及影像校正*** | |
CN107993268B (zh) | 一种相机自标定的方法及*** | |
CN115100225B (zh) | 一种相机视场的误差场确定方法、装置、电子设备及介质 | |
CN112950723B (zh) | 基于边缘尺度自适应散焦模糊估计的机器人相机标定方法 | |
CN114897990A (zh) | 一种基于神经网络的相机畸变标定方法、***和存储介质 | |
WO2022170482A1 (zh) | 一种颜色标定方法、控制器、相机、电子设备及存储介质 | |
Zhu et al. | Distortion correction method of a zoom lens based on the vanishing point geometric constraint | |
CN114820810A (zh) | 一种基于Tsai氏相机平面标定算法的解析方法 | |
TW483276B (en) | Positioning method to accurately position the optical lens module and array sensor device of optical image sensing device and the device thereof, and the method to calibrate and compensate the image distortion of optical lens set | |
CN114693769A (zh) | 一种c臂机的标定方法及装置 | |
CN118018715B (zh) | 一种多相机曝光时间一致性调节的方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |