CN107248178B - 一种基于畸变参数的鱼眼相机标定方法 - Google Patents
一种基于畸变参数的鱼眼相机标定方法 Download PDFInfo
- Publication number
- CN107248178B CN107248178B CN201710427617.5A CN201710427617A CN107248178B CN 107248178 B CN107248178 B CN 107248178B CN 201710427617 A CN201710427617 A CN 201710427617A CN 107248178 B CN107248178 B CN 107248178B
- Authority
- CN
- China
- Prior art keywords
- distortion
- image
- fisheye camera
- model
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003384 imaging method Methods 0.000 claims abstract description 54
- 238000012937 correction Methods 0.000 claims abstract description 38
- 230000014509 gene expression Effects 0.000 claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000003702 image correction Methods 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
技术领域
本发明涉及机器视觉领域,尤其涉及一种基于畸变参数的鱼眼相机标定方法。
背景技术
鱼眼相机是一种短焦距、超广角的镜头,拍摄角度范围在150到200度之间,可以拍摄出全景或者半球状的图片,在视频监控、医疗、军事、全景***等领域得到广泛应用。然而由于鱼眼相机自身的成像特点,使得拍摄的图像存在明显的畸变现象,不适于人眼直接观看。因此,在实际应用中,鱼眼相机拍摄的图像并不会被直接使用,而是在进行一定的矫正处理以适于人眼直接观看后再被使用。上述对鱼眼相机拍摄的图像进行畸变矫正的过程就是鱼眼相机的标定过程。
鱼眼相机的标定方法与普通相机的标定方法类似,可以将其分为基于标定物的方法和自标定的方法。其中,基于标定物的方法需要将一块标定板如棋盘格标定板或圆点型标定板,摆放在鱼眼相机视场内不同位置处并依次对其进行拍摄,然后检测拍摄的图像上的特征点,使用基于平板标定方法和针孔相机模型来对鱼眼相机进行标定,可以标定出相机的内参和畸变系数。基于标定物的方法具有较高的标定精度,但是需要从不同角度拍摄多张图像,且一般需要的图像数量多于5张才能完成标定,耗费时间且过程繁琐,不适合大批量的使用。
针对基于标定物的方法所存在的缺陷,国内外学者提出了很多基于数学模型的自标定方法,例如:Basu根据鱼眼相机的成像特点提出了一种鱼眼变换(FET)模型,是一种对数模型;考虑到普通相机中的偶次多项式模型不足以补偿鱼眼相机中的大畸变,Devernay提出了一种既有奇次项系数又有偶次项系数的多项式鱼眼变换模型(PFET),这种模型独立于鱼眼相机的映射函数,并且将鱼眼相机的制造误差考虑在内;Devernay又通过讨论在鱼眼图像平面中的畸变径向距离和无畸变径向距离之间的关系提出了 FOV 模型;Burchardt和 Fitzgibbon 提出了一种除法模型,来对鱼眼相机进行畸变校正;Kannala在等距投影模型的基础上提出了一种通用的奇次多项式形式的鱼眼相机模型。
上述基于数学模型的自标定方法,虽然不需要另外采集图像进行标定就能获得较好的标定效果,但是需要的前提条件是:鱼眼相机的模型要符合设定的数学模型。事实上,每款相机的畸变模型并不一样,且实际的相机畸变模型也并非是理想情况下的模型,因此,上述基于数学模型的自标定方法只适合某些特定的鱼眼相机,不能普遍使用。
发明内容
针对上述鱼眼相机标定方法所存在的缺陷,本发明提供一种基于畸变参数的鱼眼相机标定方法。
本发明提供一种基于畸变参数的鱼眼相机标定方法,包括以下步骤:S1:建立鱼眼相机的畸变成像模型,所述畸变成像模型是以入射角度为参量的多项式模型,具体表示式为:,表示投影距离,即具有入射角的入射光线经鱼眼相机后在成像平面上形成的成像点到图像中心点的实际物理距离,表示畸变系数;S2:采用基于最小二乘原理的多项式拟合方式求取所述畸变成像模型的所述畸变系数;S3:根据所述畸变成像模型,对鱼眼相机拍摄的图像进行畸变矫正。
优选的,所述步骤S2是根据鱼眼相机自身的畸变参数来求取所述畸变成像模型的所述畸变系数,所述畸变参数包括物方视场角度和实际像高度。
优选的,在所述步骤S2中,基于以下的矩阵计算式求取所述畸变成像模型的所述畸变系数:
优选的,所述步骤S2进一步包括:将所述物方视场角度和所述实际像高度分别对应所述二维数据集的和;根据由所述物方视场角度和所述实际像高度组成的所述二维数据集的散点图的分布,确定与所述散点图的分布最接近的多项式的阶数n。
优选的,所述多项式的阶数为4。
优选的,所述步骤S3进一步包括:在已知畸变矫正之前图像上的像素点、畸变矫正之前的图像中心点和畸变矫正之后的图像中心点的情况下,根据图像的畸变矫正转换关系式得到与像素点对应的畸变矫正之后的像素点,所述畸变矫正转换关系式为:
本发明提出的基于畸变参数的鱼眼相机标定方法,并不需要标定物如标定板,只需要以鱼眼相机生产厂家提供的畸变参数表作为数据来源,根据畸变参数表中的畸变参数就可以准确的得到鱼眼相机的畸变模型,从而获得十分精确的标定结果。
附图说明
图1示例性的示出了基于半单位球面模型的鱼眼相机成像的示意图;
图2示例性的示出了针孔成像模型的示意图;
图3示例性的示出了基于畸变参数的鱼眼相机标定方法的步骤示意图;
图4示例性的示出了鱼眼相机拍摄的图像中存在桶型畸变的示意图;
图5示例性的示出了鱼眼相机的畸变参数表;
图6示例性的示出了分别以畸变参数表中的入射角度和实际像高度为横坐标和纵坐标构成的二维散点示意图;
图7示例性的示出了采用基于畸变参数的鱼眼相机标定方法生成的畸变成像模型为4次多项式的曲线示意图;
图8示例性的示出了未经过畸变矫正的鱼眼相机拍摄的图像;
图9示例性的示出了采用基于畸变参数的鱼眼相机标定方法,对图7进行畸变矫正后显示的图像。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域的技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如背景技术所述,鱼眼相机在应用时需要进行标定,然而采用现有标定技术受限于相机类型和特殊标定设备的要求,通用性和适用性较低。
图1示例性的示出了基于半单位球面模型的鱼眼相机成像的示意图。
如图1所示,一个三维空间点X通过一个鱼眼相机成像点为m,q为X在以Oc为球心的半球体的投影点,Oc-XcYcZc表示摄像机坐标系,o-xy表示图像坐标系。
最理想的情况下,相机成像的过程为小孔成像模型,不存在明显的畸变并且符合理想成像规律,在图像平面上物体成像的高度为:
另外,鱼眼相机成像的规律一般遵循下述四种投影规律:
上述四种投影规律都具有桶形畸变的特点,但各自又具有不同的性质。在大多数鱼眼相机模型的选取过程中会倾向于选择第四种投影规律,因为其更符合鱼眼相机的真实成像过程。
图2示例性的示出了针孔成像模型的示意图。
如图2所示,通过小孔成像模型将世界坐标系中物体的三维坐标点投影到二维图像平面的像素坐标系中,上述投影公式可表示为:
其中,s是一个比例常数,(X,Y,Z)表示世界坐标系中的三维坐标点(单位:毫米mm),(u,v)表示投影在图像平面上的点的像素坐标(单位:像素pixel),表示相机内参(投影)矩阵,表示相机旋转-平移矩阵,(cx,cy)表示成像平面内的图像中心点坐标(单位:像素pixel),(fx,fy)表示以像素为单位的焦距。
在上述表示式(2)中,内参矩阵A为鱼眼相机自身的参数,与外部环境无关,即不依赖场景的视图,对于某一个相机只要焦距固定,就不再改变。而旋转-平移矩阵又被称作为外参数矩阵,用来描述相机相对于一个固定场景的运动,即将世界坐标点(X,Y,Z)的坐标变换到某个坐标系上,这个坐标系通常被称为相机坐标系,其相对于相机来说是固定不变的。将世界坐标系中物体的三维坐标点变换到相机坐标系上的点的刚体变换表示为:
其中,(x,y,z)表示相机坐标系上的点(单位:mm),R和T分别表示旋转矩阵和平移矩阵。
图3示例性的示出了基于畸变参数的鱼眼相机标定方法步骤示意图。
步骤101,建立鱼眼相机的畸变成像模型,其中所述畸变成像模型包括数个畸变系数。
图4示例性的示出了鱼眼相机拍摄的图像中存在桶型畸变的示意图。
如图4所示,图像中的线条由于畸变发生弯曲,且图像中间区域畸变较小。对于鱼眼相机,存在比较严重的畸变主要是径向形变,也会有轻微的切向形变。因此,根据鱼眼相机桶型畸变的特点,可建立多项式形式的畸变模型,并采用基于多项式拟合的方式求出畸变模型的畸变系数。
步骤102,采用基于最小二乘原理的多项式拟合方式求取所述畸变成像模型的所述畸变系数。
使得:
即:
畸变参数表是一种描述鱼眼相机的角度和像高的数字表,如图5所示,畸变参数表中的畸变参数主要包括:物方视场角度(FOV,Field Of View)、实际像高度(RealimageHeight)、近轴高度(Paraxial Image Height);其中,实际像高度是指通过追溯实际光线到达成像平面,直到找到指定的像高值。每款鱼眼相机的生产都有自己独立的工业水平,所以同一批次的鱼眼相机具有相同的畸变参数表。其中,畸变参数表中的物方视场角度和实际像高度数据就反映了一款鱼眼相机的畸变情况,因此,本发明将物方视场角度和实际像高度作为数据集,参与表达式(10)的计算,其中m的数值至多为鱼眼相机的畸变参数表中示出的全部物方视场角度的个数或全部实际像高度的个数。
具体为,Xi的数值采用的是畸变参数表中第一列表示的物方视场角度数据(FOV,field of view),即;yi的数值采用的是畸变参数表中第三列表示的实际像高度数据,即。将上述Xi和yi代入表达式(10)计算后得到的系数即为畸变系数,得到的多项式即为表达式(4)所表示的畸变成像模型。
另外,表达式(4)中多项式阶数n在理论上可以取到无穷次,然而在实际应用中,为了获得更好的精度,阶数n的选取是依据鱼眼相机的实际数据进程,即根据由畸变参数表中畸变参数组成的数据集的散点图的分布,判断出与其分布最接近的多项式的阶数n;在试验中发现,由畸变参数表中畸变参数组成的数据集,其形成的散点图与4次多项式的曲线分布最相符,如图6-7所示,因此表达式(4)中多项式阶数n可取4,即采用基于4次多项式的拟合,得到5个畸变系数,分别为:。
步骤103,根据所述畸变成像模型,对鱼眼相机拍摄的图像进行畸变矫正。
根据鱼眼相机的透视模型,鱼眼相机拍摄的图像在进行畸变矫正之前,其上的任意一个像素点可表示为,图像中心点表示为,其中,Height和Width分别表示畸变矫正之前的图像的高度和宽度;对鱼眼相机拍摄的图像进行畸变矫正之后,原像素点对应的矫正之后的像素点表示为,矫正之后的图像中心点表示为,其中,和分别表示畸变矫正之后的图像的高度和宽度,所述高度和宽度的大小,根据实际应用场景可被事先定义或限定。
表达式(16)和(17),进一步可表示为:
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (6)
1.一种基于畸变参数的鱼眼相机标定方法,包括以下步骤:
S1:建立鱼眼相机的畸变成像模型,所述畸变成像模型是以入射角度θ为参量的多项式模型,具体表示式为:
Rh(θ)=a0+a1θ+a2θ2+a3θ3+a4θ4+.....+anθn,
Rh表示投影距离,即具有入射角θ的入射光线经鱼眼相机后在成像平面上形成的成像点到图像中心点的实际物理距离,a0,a1…an表示畸变系数,n表示所述多项式模型的阶数;
S2:采用基于最小二乘原理的多项式拟合方式求取所述畸变成像模型的所述畸变系数;
S3:根据所述畸变成像模型,对鱼眼相机拍摄的图像进行畸变矫正;
所述步骤S2是根据鱼眼相机自身的畸变参数来求取所述畸变成像模型的所述畸变系数,所述畸变参数包括物方视场角度和实际像高度;
在所述步骤S2中,
基于以下的矩阵计算式求取所述畸变成像模型的所述畸变系数:
其中,二维数据集(xi,yi),i=0,1…m表示数据输入,m表示xi或yi的总数量,a0,a1…an表示所述畸变模型的所述畸变系数。
2.根据权利要求1所述的方法,其特征在于,所述步骤S2进一步包括:
将所述物方视场角度和所述实际像高度分别对应所述二维数据集(xi,yi)的xi和yi;
根据由所述物方视场角度和所述实际像高度组成的所述二维数据集(xi,yi)的散点图的分布,确定与所述散点图的分布最接近的多项式的阶数n。
3.根据权利要求1所述的方法,其特征在于:所述多项式的阶数为4。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710427617.5A CN107248178B (zh) | 2017-06-08 | 2017-06-08 | 一种基于畸变参数的鱼眼相机标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710427617.5A CN107248178B (zh) | 2017-06-08 | 2017-06-08 | 一种基于畸变参数的鱼眼相机标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107248178A CN107248178A (zh) | 2017-10-13 |
CN107248178B true CN107248178B (zh) | 2020-09-25 |
Family
ID=60017986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710427617.5A Active CN107248178B (zh) | 2017-06-08 | 2017-06-08 | 一种基于畸变参数的鱼眼相机标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107248178B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107959794A (zh) * | 2017-11-29 | 2018-04-24 | 天津聚飞创新科技有限公司 | 数据建模方法、装置及数据获取方法、装置及电子设备 |
CN107871329B (zh) * | 2017-12-18 | 2021-09-07 | 北京峰云视觉技术有限公司 | 一种相机光学中心的快速标定方法及装置 |
CN108257183B (zh) * | 2017-12-20 | 2021-02-23 | 歌尔光学科技有限公司 | 一种相机镜头光轴校准方法和装置 |
CN110274752A (zh) * | 2018-03-14 | 2019-09-24 | 深圳市隆测技术有限公司 | 中继镜成像质量的多功能测试卡及其测试方法 |
CN110610522B (zh) * | 2018-06-14 | 2022-02-08 | 北京眼神科技有限公司 | 图像采集设备的标定方法、装置、可读存储介质及*** |
CN109493418B (zh) * | 2018-11-02 | 2022-12-27 | 宁夏巨能机器人股份有限公司 | 一种基于LabVIEW的三维点云获取方法 |
CN112116530B (zh) * | 2019-06-19 | 2023-08-18 | 杭州海康威视数字技术股份有限公司 | 鱼眼图像畸变矫正方法、装置和虚拟显示*** |
CN113661513A (zh) * | 2019-12-27 | 2021-11-16 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、设备、图像处理***及存储介质 |
CN111260565B (zh) * | 2020-01-02 | 2023-08-11 | 北京交通大学 | 基于畸变分布图的畸变图像矫正方法及*** |
CN111369632A (zh) * | 2020-03-06 | 2020-07-03 | 北京百度网讯科技有限公司 | 相机标定中内参获取的方法及装置 |
CN115668297A (zh) * | 2020-05-29 | 2023-01-31 | 西门子(中国)有限公司 | 用于车辆长度估计的方法和设备 |
CN112967345B (zh) * | 2021-03-09 | 2024-04-26 | 阿波罗智联(北京)科技有限公司 | 鱼眼相机的外参标定方法、装置以及*** |
CN113538283B (zh) * | 2021-07-22 | 2024-04-30 | 浙江赫千电子科技有限公司 | 一种冗余鱼眼摄像头拍摄图像的畸变矫正方法 |
CN117111046B (zh) * | 2023-10-25 | 2024-01-12 | 深圳市安思疆科技有限公司 | 畸变矫正方法、***、设备及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101577002A (zh) * | 2009-06-16 | 2009-11-11 | 天津理工大学 | 应用于目标检测的鱼眼镜头成像***标定方法 |
CN102096923A (zh) * | 2011-01-20 | 2011-06-15 | 上海杰图软件技术有限公司 | 鱼眼标定方法和装置 |
CN104240236A (zh) * | 2014-08-26 | 2014-12-24 | 中山大学 | 一种鱼眼镜头标定后鱼眼图像校正的方法 |
CN106570938A (zh) * | 2016-10-21 | 2017-04-19 | 哈尔滨工业大学深圳研究生院 | 基于opengl 的全景监控方法及*** |
-
2017
- 2017-06-08 CN CN201710427617.5A patent/CN107248178B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101577002A (zh) * | 2009-06-16 | 2009-11-11 | 天津理工大学 | 应用于目标检测的鱼眼镜头成像***标定方法 |
CN102096923A (zh) * | 2011-01-20 | 2011-06-15 | 上海杰图软件技术有限公司 | 鱼眼标定方法和装置 |
CN104240236A (zh) * | 2014-08-26 | 2014-12-24 | 中山大学 | 一种鱼眼镜头标定后鱼眼图像校正的方法 |
CN106570938A (zh) * | 2016-10-21 | 2017-04-19 | 哈尔滨工业大学深圳研究生院 | 基于opengl 的全景监控方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN107248178A (zh) | 2017-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107248178B (zh) | 一种基于畸变参数的鱼眼相机标定方法 | |
CN109272570B (zh) | 一种基于立体视觉数学模型的空间点三维坐标求解方法 | |
CN106875339B (zh) | 一种基于长条形标定板的鱼眼图像拼接方法 | |
CN106600546B (zh) | 一种超广角摄像头畸变校正方法及*** | |
CN110689581B (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
CN110099267B (zh) | 梯形校正***、方法以及投影仪 | |
CN106846409B (zh) | 鱼眼相机的标定方法及装置 | |
CN102509261B (zh) | 一种鱼眼镜头的畸变校正方法 | |
CN109859272B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
US20170127045A1 (en) | Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof | |
CN101363962B (zh) | 以透视投影法输出影像的方法 | |
CN106056620B (zh) | 线激光相机测量***标定方法 | |
CN107705252B (zh) | 适用于双目鱼眼图像拼接展开校正的方法及*** | |
CN104424640B (zh) | 对图像进行虚化处理的方法和装置 | |
CN107767420B (zh) | 一种水下立体视觉***的标定方法 | |
CN111199528A (zh) | 一种鱼眼图像畸变矫正方法 | |
CN107633489A (zh) | 鱼眼镜头圆心重提取映射法畸变矫正方法 | |
TW201340035A (zh) | 結合影像之方法 | |
CN106570907B (zh) | 一种相机标定方法及装置 | |
WO2019232793A1 (zh) | 双摄像头标定方法、电子设备、计算机可读存储介质 | |
CN110738608B (zh) | 一种平面图像校正方法及*** | |
CN104994367A (zh) | 一种图像矫正方法以及摄像头 | |
CN106886976B (zh) | 一种基于内参数修正鱼眼像机的图像生成方法 | |
CN103258327B (zh) | 一种基于二自由度摄像机的单点标定方法 | |
CN112950727A (zh) | 基于仿生曲面复眼的大视场多目标同时测距方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |