CN109003312A - 一种基于非线性优化的相机标定方法 - Google Patents
一种基于非线性优化的相机标定方法 Download PDFInfo
- Publication number
- CN109003312A CN109003312A CN201810973318.6A CN201810973318A CN109003312A CN 109003312 A CN109003312 A CN 109003312A CN 201810973318 A CN201810973318 A CN 201810973318A CN 109003312 A CN109003312 A CN 109003312A
- Authority
- CN
- China
- Prior art keywords
- matrix
- calculated
- parameter
- nonlinear optimization
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种基于非线性优化的相机标定方法,属于图像处理技术领域。该方法包括以下步骤:S1:获取数据:制作棋盘格标定板,并测量各方格的尺寸,从不同角度拍摄两张以上照片;S2:计算单应矩阵;S3:计算内参数、外参数和畸变因数的初始值;S4:用非线性优化方法精化计算结果。本发明在张正友标定算法的基础上,引入知识和约束条件,使得搜索范围更小,从而减小陷入局部最优的可能性,使算法更稳定;并且只需要打印一个棋盘格图形,测量其尺寸就可以标定相机,其精度明显优于比经典的张正友算法。
Description
技术领域
本发明属于图像处理技术领域,涉及一种基于非线性优化的少图高精度相机标定方法。
背景技术
目前,相机标定方法有线性变换法、非线性优化法、两步标定法等方法,(1)线性变换法:计算复杂度小,有唯一的解析解,但是由于相机标定对数据噪声相当敏感,该方法的结果精度较低。(2)非线性优化法:通过迭代优化得到一个最优解,可以得到高精度的结果,但相机标定是一个非凸优化问题,其精度对初始值高度依赖。(3)两步标定法(如张正友标定算法):通过线性变换求得参数初始值,然后对其进行非线性优化,本质上是由粗到精的方法,以其精度高和标定板制作简单而得到广泛应用,但其在只有一到两张标定图时效果不佳。
相机模型就是用表达式模拟相机成像过程,通常采用小孔成像模型,如图1所示,相机模型表达式为:其中,表示图像上的齐次坐标,表示标定点(标定板上的角点)的齐次坐标,I是3×3的单位矩阵,0是3个元素的0向量(列向量),
其中,r11-r33的3×3矩阵为旋转矩阵,太复杂,但可以用ψ、θ和参数表示,两者关系式为
当不考虑相机畸变时,相机标定就是求K中的5个参数和R中的6个参数。但实际上在精度要求高的情况下必须考虑相机畸变,也就是说通过计算的结果与实际成像是有差异的,需要对结果进行修正,这个修正的表达式一般采用
这里又有2个参数,所以考虑相机畸变时,相机标定就是求13个参数。直接计算非常困难,一般先算出P=K[I|O]R,然后再分解出11个参数。但由于标定数据存在噪声,用解析方法计算的结果往往不精确,所以,一般只是将其作为非线性优化的初始值。
因此,现有相机标定方法中,对少图相机标定方法,要么标定物特别复杂,要么精度不高。故,有必要研究一种少图高精度的相机标定方法。
发明内容
有鉴于此,本发明的目的在于提供一种基于非线性优化的相机标定方法,在张正友标定算法的基础上,引入知识和约束条件,使得搜索范围更小,从而减小陷入局部最优的可能性,使算法更稳定。该方法只要有两张图甚至一张图就可以算出所有参数,然后通过图中的已经尺寸物体精确确定未知尺寸的物体等数据,适用于刑侦等特殊场合。
为达到上述目的,本发明提供如下技术方案:
一种基于非线性优化的相机标定方法,该方法具体包括以下步骤:
S1:获取数据:制作棋盘格标定板,并测量各方格的尺寸,从不同角度拍摄两张以上照片;
S2:计算单应矩阵;
S3:计算内参数、外参数和畸变因数的初始值;
S4:用非线性优化方法精化计算结果。
进一步,所述步骤S2具体包括:令齐次坐标为的空间点在图像平面上的齐次坐标为有
上式结果为2×12矩阵;将标定点(角点)坐标和及其图像上的像点坐标代入上式解方程组,得到单应矩阵P(是一个3×4的矩阵);
进一步,所述步骤S3具体包括:采用无畸变情况下的相机模型,如下式:
其中,f表示焦距;uo、vo表示主点在图像中的坐标;r11~33表示旋转矩阵的各元素;t1~3表示平移向量的各元素、x、y表示三维空间中目标点的坐标,u、v表示目标点的像的图像坐标;zc表示相机坐标系中目标点的Z坐标。
已知P,计算下式等号右侧中的参数:
其中,P是3X4的矩阵,只取其中的第1、2、4列,即删除第3列后,得到另外一个3X3的矩阵H,其中的第i个列向量表示为:hi=[hi1 hi2 hi3]T;
(1)计算内参数:f和uo、vo
求解如下方程组:
即
Vb=0
其中,vij=[hi3hj3 -(hi3hj1+hi1hj3) -(hi2hj3+hi3hj2) hi1hj1+hi2hj2],其解为VTV的最小特征值对应的特征向量,即b向量的值;通过上式求解出第一个参数矩阵,称为内参数矩阵;
(2)计算外参数:这个矩阵中的12个参数;
令则通过下式求出第二个参数矩阵,称为外参数矩阵;
其中,τ=1/‖A-1h1‖,r1、r2、r3和t分别为外参数矩阵R中的各个列向量;
(3)计算畸变因数:
k=(DTD)-1DTd
其中,k=[k1 k2]T,u,v是用无畸变相机模型算出来的图像点,是实际的像点位置,u0,v0是内参数矩阵中的两个元素,k1,k2分别表示一阶和二阶畸变因数。
进一步,所述步骤S4具体包括:采用Levenberg-Marquardt方法进一步优化内外参数和畸变因子,优化的目标函数为:
其中,是通过相机模型算出的点,mij是实际的图像坐标,d(k,mij)是角点离其所在的行和列方向上的线的距离,k是控制因子,m,n分别表示每行和列的标定点数量。
本发明的有益效果在于:本发明所述方法只需要打印一个棋盘格图形,测量其尺寸就可以标定相机,其精度明显优于经典的张正友标定算法。
附图说明
为了使本发明的目的、技术方案和效果说明更加清楚,本发明提供如下附图:
图1为小孔成像模型图;
图2为棋盘格标定板;
图3为本发明所述相机标定方法流程图;
图4为单图无噪声的成功率对比图;
图5为本发明所述方法与张氏算法误差的均值对比图(单图无噪声);
图6为本发明所述方法与张氏算法误差的标准差对比图(单图无噪声);
图7为双图无噪声的成功率对比图;
图8为本发明所述方法与张氏算法误差的均值对比图(双图无噪声);
图9为本发明所述方法与张氏算法误差的标准差对比图(双图无噪声);
图10为双图量化噪声的成功率对比图;
图11为本发明所述方法与张氏算法误差的均值对比图(双图量化噪声);
图12为本发明所述方法与张氏算法误差的标准差对比图(双图量化噪声)。
具体实施方式
下面将结合附图,对本发明的优选实施例进行详细的描述。
一种基于非线性优化的相机标定方法,如图3所示,具体包括以下步骤:
S1:获取数据:如图2所示,制作棋盘格标定板,并测量各方格的尺寸,从不同角度拍摄两张以上照片;
S2:计算单应矩阵;
S3:计算内参数、外参数和畸变因数的初始值;
S4:用非线性优化方法精化计算结果。
仿真实验:
分别对单图、双图以及实图(两张图)使用本发明所述相机标定方法和张正友标定方法进行相机标定处理,分别从成功率、准确度和精确度三方面进行对比分析两种方法的效果。成功率用标定结果为具有物理意义的实数的次数与总实验次数的比值表示。准确度计算结果与参考值的差的均值来度量。精确度用标定结果的标准差来度量。
1、单图无噪声效果
(1)成功率:如图4所示,图4a中灰色表示成功,黑色表示不成功,上图为本发明提出的算法,下图为经典的张正友算法;图4b为不同角点数下的结果;图4c为标定板与相机不同角度下的结果;图4b和4c中,实线为本发明提出的算法;虚线为张正友算法。
(2)准确度:如图5所示,图5表示本发明所述方法与张氏算法的误差均值对比图,反映准确度。
(3)精确度:如图6所示,图6表示本发明所述方法与张氏算法的误差标准差对比图,反映精确度。
2、双图无噪声效果
(1)成功率:如图7所示,图7a中灰色表示成功,黑色表示不成功,上图为本发明提出的算法,下图为经典的张正友算法;图7b为不同角点数下的结果;图7c为标定板与相机不同角度下的结果;图7b和7c中,实线为本发明提出的算法;虚线为张正友算法。
(2)准确度:如图8所示,图8表示本发明所述方法与张氏算法误差的均值对比图,反映准确度。
(3)精确度:如图9所示,图9表示本发明所述方法与张氏算法误差的标准差对比图,反映精确度。
3、双图量化噪声效果
(1)成功率:如图10所示,图10a中灰色表示成功,黑色表示不成功,上图为本发明提出的算法,下图为经典的张正友算法;图10b为不同角点数下的结果;图10c为标定板与相机不同角度下的结果;图10b和10c中,实线为本发明提出的算法;虚线为张正友算法。
(2)准确度:如图11所示,图11表示本发明所述方法与张氏算法误差的均值对比图,反映准确度。
(3)精确度:如图12所示,图12表示本发明所述方法与张氏算法误差的标准差对比图,反映精确度。
4、实图(两图)效果
(1)成功率:张氏算法成功率为20%,本发明提出的算法为100%。
(2)准确度和精确度:因为没有标准值,所以对真实图标定时不能直接计算其误差,所以,用标定出来的参数计算得到的图像点与实际的图像点的距离差来反映准确度,用不同图像组合计算出的内参数的标准差来反映精确度。从表1、表2中可看出,本发明提出的算法精确度远高于张氏算法。
表1重投影错误率表
表2内部参数的标准差值表
最后说明的是,以上优选实施例仅用以说明本发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离本发明权利要求书所限定的范围。
Claims (3)
1.一种基于非线性优化的相机标定方法,其特征在于,该方法具体包括以下步骤:
S1:获取数据:制作棋盘格标定板,并测量各方格的尺寸,从不同角度拍摄两张以上照片;
S2:计算单应矩阵;
S3:计算内参数、外参数和畸变因数的初始值;
S4:用非线性优化方法精化计算结果。
2.根据权利要求1所述的一种基于非线性优化的相机标定方法,其特征在于,所述步骤S3具体包括:采用无畸变情况下的相机模型,如下式:
其中,f表示焦距;uo、vo表示主点在图像中的坐标;r11~33表示旋转矩阵的各元素;t1~3表示平移向量的各元素;x、y表示三维空间中目标点的坐标;u、v表示目标点的像的图像坐标;zc表示相机坐标系中目标点的Z坐标;
已知P,计算下式等号右侧中的参数:
其中,P是3X4的矩阵,只取其中的第1、2、4列,即删除第3列后,得到另外一个3X3的矩阵H,其中的第i个列向量表示为:hi=[hi1 hi2 hi3]T;
(1)计算内参数:f和uo、vo
求解如下方程组:
即
Vb=0
其中,vij=[ji3hj3 -(ji3hj1+hi1hj3) -(hi2hj3+hi3hj2) hj1hj1+hi2hj2],其解为VTV的最小特征值对应的特征向量,即b向量的值;通过上式求解出第一个参数矩阵,称为内参数矩阵;
(2)计算外参数:这个矩阵中的12个参数;
令则通过下式求出第二个参数矩阵,称为外参数矩阵;
其中,τ=1/‖A-1h1‖,r1、r2、r3和t分别为外参数矩阵R中的各个列向量;
(3)计算畸变因数:
k=(DTD)-1DTd
其中,k=[k1 k2]T,u,v是用无畸变相机模型算出来的图像点,是实际的像点位置,u0,v0是内参数矩阵中的两个元素,k1,k2分别表示一阶和二阶畸变因数。
3.根据权利要求2所述的一种基于非线性优化的相机标定方法,其特征在于,所述步骤S4具体包括:采用Levenberg-Marquardt方法进一步优化内外参数和畸变因子,优化的目标函数为:
其中,是通过相机模型算出的点,mij是实际的图像坐标,d(k,mij)是角点离其所在的行和列方向上的线的距离,k是控制因子,m,n分别表示每行和列的标定点数量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810973318.6A CN109003312B (zh) | 2018-08-24 | 2018-08-24 | 一种基于非线性优化的相机标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810973318.6A CN109003312B (zh) | 2018-08-24 | 2018-08-24 | 一种基于非线性优化的相机标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109003312A true CN109003312A (zh) | 2018-12-14 |
CN109003312B CN109003312B (zh) | 2022-01-28 |
Family
ID=64593860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810973318.6A Active CN109003312B (zh) | 2018-08-24 | 2018-08-24 | 一种基于非线性优化的相机标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109003312B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685078A (zh) * | 2018-12-17 | 2019-04-26 | 浙江大学 | 基于自动标注的红外图像识别方法 |
CN110298888A (zh) * | 2019-06-12 | 2019-10-01 | 上海智能制造功能平台有限公司 | 基于单轴高精度位移平台的相机标定方法 |
CN111882605A (zh) * | 2020-06-30 | 2020-11-03 | 浙江大华技术股份有限公司 | 监控设备图像坐标转换方法、装置和计算机设备 |
CN112889786A (zh) * | 2021-01-15 | 2021-06-04 | 吉林农业大学 | 一种实时追踪田间作物苗区的喷药***及控制方法 |
CN113393538A (zh) * | 2021-07-14 | 2021-09-14 | 南京苏润科技发展有限公司 | 一种基于双棋盘格标定的闸门门缝检测方法 |
CN113781401A (zh) * | 2021-08-17 | 2021-12-10 | 浙江工业大学 | 一种无人车车辆偏移预警方法和*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150093042A1 (en) * | 2012-06-08 | 2015-04-02 | Huawei Technologies Co., Ltd. | Parameter calibration method and apparatus |
CN107358631A (zh) * | 2017-06-27 | 2017-11-17 | 大连理工大学 | 一种虑及三维畸变的双目视觉重建方法 |
CN107633536A (zh) * | 2017-08-09 | 2018-01-26 | 武汉科技大学 | 一种基于二维平面模板的相机标定方法及*** |
CN108053450A (zh) * | 2018-01-22 | 2018-05-18 | 浙江大学 | 一种基于多约束的高精度双目相机标定方法 |
CN108269289A (zh) * | 2018-01-16 | 2018-07-10 | 上海汇像信息技术有限公司 | 一种相机参数标定的两步优化方法 |
-
2018
- 2018-08-24 CN CN201810973318.6A patent/CN109003312B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150093042A1 (en) * | 2012-06-08 | 2015-04-02 | Huawei Technologies Co., Ltd. | Parameter calibration method and apparatus |
CN107358631A (zh) * | 2017-06-27 | 2017-11-17 | 大连理工大学 | 一种虑及三维畸变的双目视觉重建方法 |
CN107633536A (zh) * | 2017-08-09 | 2018-01-26 | 武汉科技大学 | 一种基于二维平面模板的相机标定方法及*** |
CN108269289A (zh) * | 2018-01-16 | 2018-07-10 | 上海汇像信息技术有限公司 | 一种相机参数标定的两步优化方法 |
CN108053450A (zh) * | 2018-01-22 | 2018-05-18 | 浙江大学 | 一种基于多约束的高精度双目相机标定方法 |
Non-Patent Citations (1)
Title |
---|
陈芬: "相机目标自标定***三维重构的研究", 《西昌学院学报》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685078A (zh) * | 2018-12-17 | 2019-04-26 | 浙江大学 | 基于自动标注的红外图像识别方法 |
CN110298888A (zh) * | 2019-06-12 | 2019-10-01 | 上海智能制造功能平台有限公司 | 基于单轴高精度位移平台的相机标定方法 |
CN110298888B (zh) * | 2019-06-12 | 2021-09-07 | 上海智能制造功能平台有限公司 | 基于单轴高精度位移平台的相机标定方法 |
CN111882605A (zh) * | 2020-06-30 | 2020-11-03 | 浙江大华技术股份有限公司 | 监控设备图像坐标转换方法、装置和计算机设备 |
CN112889786A (zh) * | 2021-01-15 | 2021-06-04 | 吉林农业大学 | 一种实时追踪田间作物苗区的喷药***及控制方法 |
CN113393538A (zh) * | 2021-07-14 | 2021-09-14 | 南京苏润科技发展有限公司 | 一种基于双棋盘格标定的闸门门缝检测方法 |
CN113393538B (zh) * | 2021-07-14 | 2024-05-28 | 南京苏润科技发展有限公司 | 一种基于双棋盘格标定的闸门门缝检测方法 |
CN113781401A (zh) * | 2021-08-17 | 2021-12-10 | 浙江工业大学 | 一种无人车车辆偏移预警方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN109003312B (zh) | 2022-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109003312A (zh) | 一种基于非线性优化的相机标定方法 | |
CN108765328B (zh) | 一种高精度多特征平面模板及其畸变优化和标定方法 | |
CN104981105B (zh) | 一种快速精确获得元件中心和偏转角度的检测及纠偏方法 | |
CN107270810B (zh) | 多方位投影的投影仪标定方法及装置 | |
CN107633536A (zh) | 一种基于二维平面模板的相机标定方法及*** | |
CN106504290B (zh) | 一种高精度的摄像机动态标定方法 | |
CN109754429A (zh) | 一种基于图像的桥梁结构挠度测量方法 | |
CN106971408B (zh) | 一种基于时空转换思想的摄像机标定方法 | |
CN111028205B (zh) | 一种基于双目测距的眼睛瞳孔定位方法及装置 | |
CN107507246A (zh) | 一种基于改进畸变模型的摄像机标定方法 | |
CN110189314A (zh) | 基于机器视觉的汽车仪表盘图像定位方法 | |
CN111047649A (zh) | 一种基于最优偏振角的相机高精度标定方法 | |
CN109657607A (zh) | 一种基于人脸识别的人脸目标测距方法、装置及存储介质 | |
CN108775872A (zh) | 基于自动变焦实时图像处理的桥梁挠度检测方法 | |
CN102156986A (zh) | 近红外摄像机的标定方法 | |
CN110223355B (zh) | 一种基于双重极线约束的特征标志点匹配方法 | |
CN109003309A (zh) | 一种高精度相机标定和目标姿态估计方法 | |
CN111263142A (zh) | 一种摄像模组光学防抖的测试方法、装置、设备及介质 | |
CN109934878A (zh) | 一种基于相机坐标系的线性标定***及其方法 | |
CN115457147A (zh) | 相机标定方法、电子设备及存储介质 | |
CN109974618A (zh) | 多传感器视觉测量***的全局标定方法 | |
CN113822920B (zh) | 结构光相机获取深度信息的方法、电子设备及存储介质 | |
CN113963065A (zh) | 一种基于外参已知的镜头内参标定方法及装置、电子设备 | |
CN107256563B (zh) | 基于差异液位图像序列的水下三维重建***及其方法 | |
CN109458955B (zh) | 基于平面度约束的离轴圆条纹投影测量零相位点求解方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |