CN110473261B - 一种鲁棒的光场相机标定方法 - Google Patents

一种鲁棒的光场相机标定方法 Download PDF

Info

Publication number
CN110473261B
CN110473261B CN201910752547.XA CN201910752547A CN110473261B CN 110473261 B CN110473261 B CN 110473261B CN 201910752547 A CN201910752547 A CN 201910752547A CN 110473261 B CN110473261 B CN 110473261B
Authority
CN
China
Prior art keywords
micro
center
micro lens
lens
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910752547.XA
Other languages
English (en)
Other versions
CN110473261A (zh
Inventor
伍俊龙
郭正华
陈先锋
马帅
杨平
许冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Optics and Electronics of CAS
Original Assignee
Institute of Optics and Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Optics and Electronics of CAS filed Critical Institute of Optics and Electronics of CAS
Priority to CN201910752547.XA priority Critical patent/CN110473261B/zh
Publication of CN110473261A publication Critical patent/CN110473261A/zh
Application granted granted Critical
Publication of CN110473261B publication Critical patent/CN110473261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种鲁棒的光场相机标定方法。该方法包括：首先用光场相机对漫反射白板，或者任意白色场景成像，并对最靠近图像中心处的微透镜进行标定；然后对该微透镜所在行的其余微透镜进行标定；其次，向上或者向下逐行对其余微透镜进行标定；最后，通过构建德劳内三角网格，剔除不满足要求的坏点，并修正坏点处的微透镜投影中心位置。与传统的通过局部极大值定位微透镜中心的方法相比，本发明基于微透镜阵列结构和子孔径图像的固有特点，有效解决由于微透镜阵列加工和安装误差导致的图像边缘处的微透镜偏移大，使得对边缘位置的微透镜标定不鲁棒，且对存在缺陷的微透镜标定错误的问题，大大提高了算法的鲁棒性和通用性。

Description

一种鲁棒的光场相机标定方法
技术领域
本发明涉及一种光场相机标定方法，特点是鲁棒稳定、精度高。属于计算机视觉光场成像技术领域。
背景技术
光场相机作为一种新型成像设备，同时记录场景的光强信息和角度信息，使其具备传统相机所不具备的诸多特性，如重聚焦、深度提取、扩展景深等。
基于微透镜阵列的光场相机，利用微透镜阵列对主镜头的像进行离焦或二次成像，实现光线角度信息编码。如何精确标定光场相机，从而实现光场相机解码，是光场相机诸多应用的基础。标定的精度和稳定性，直接影响后续应用。
目前，常用的光场相机标定方法基于微透镜图像局部极大值提取，将局部极大值作为微透镜的中心，这种方法的特点是简单快速，易于实现。由于微透镜阵列加工误差，以及安装过程中不可避免的偏差的存在，基于局部极大值的标定方法在实际应用中难以实现稳定精确标定，尤其是对于微透镜存在瑕疵的情况，标定结果往往存在明显的错误。因此需要研究鲁棒精确的标定方法，以满足光场相机实际应用需求。
发明内容
本发明要解决技术问题为：针对现有技术的不足，提供一种鲁棒准确的光场相机标定方法，该方法能克服微透镜加工和安装误差对标定的影响，准确地标定出微透镜中心位置。
本发明解决上述技术问题采用的技术方案为：一种鲁棒的光场相机标定方法，包括如下步骤：
步骤一、图像采集与预处理：使用光场相机对漫反射白板或者白色场景进行成像，然后对图像进行低通滤波，得到降噪之后的图像；
步骤二、对步骤一中得到的降噪图像，求最靠近图像中心的微透镜的投影中心，具体步骤如下：
(21)求得整幅图像的中心位置，并以此为原点，微透镜大小为半径，构建搜索区域；
(22)在上述搜索区域内，寻找局部极大值；
(23)以该局部极大值为圆心，微透镜尺寸作为半径的圆形区域内，计算区域的质心，计算公式如下：
Figure BDA0002167651780000021
Figure BDA0002167651780000022
其中，(x,y)为质心位置，(xi,j,yi,j)为像素坐标，Ii,j为图像灰度值。
(24)将上述质心作为新的搜索区域圆心，多次重复质心计算过程，并将得到的最终结果作为微透镜投影中心；
步骤三、根据步骤二中得到的投影中心，结合微透镜阵列的结构信息，求取最中间一行所有微透镜的中心，具体步骤如下：
(31)从中心的微透镜出发，以微透镜直径作为步长，生成其余微透镜中心的初始位置；
(32)与步骤二中的多次迭代计算质心过程相同，根据初始中心位置，迭代加权求得投影中心；
步骤四、根据步骤三得到的一整行透镜的中心位置，向上或者向下求取相邻行微透镜的中心，重复该过程直到完成所有微透镜中心的标定，具体步骤如下：
(41)根据微透镜阵列的排布方式(六边形排布或者正交排布)，获得相邻行微透镜偏移量，从而初始化相邻行的微透镜中心位置；
(42)与多次迭代计算质心过程相同，根据初始中心位置，迭代加权求得精确投影中心；
(43)重复搜索相邻行，直至完成所有微透镜的中心位置计算；
步骤五、根据步骤四求得的微透镜阵列的中心位置，构建德劳内三角网格剔除坏点，并根据周围的微透镜中心位置，修正坏点处的值，得到最终的标定结果，具体步骤如下：
(51)根据前四步得到的微透镜中心，以微透镜中心为顶点构建德劳内三角网格；
(52)判断三角形是否为正三角形(六边形排布的微透镜阵列)或者是等腰直角三角形(正交排布微透镜)，若某个三角形不满足条件，则表明其三个顶点中存在坏点。
(53)计算存在坏点的三角形的边长，将与微透镜半径差别较大的边的顶点作为坏点。
(54)根据微透镜排布方式，用坏点周围的微透镜的中心位置，修正坏点位置。
本发明与现有技术相比的有益效果在于：
(1)本发明采用微透镜整体像素信息计算质心，与传统提取局部极大值的方法相比，本发明能有效抑制存在多个局部极大值的情况下，定位不准的问题，并且实现更高精度的中心点定位。
(2)本发明对每个微透镜进行搜索，与传统方法相比，本发明能对微透镜逐一进行编号，实现后续应用中对微透镜子图的索引。
(3)本发明基于德劳内三角网格剔除坏点，以传统方法相比，能够排除微透镜结构缺陷对标定结果的影响。
(4)本发明提出的方法对微透镜中心定位可靠性高，因此可以依据标定结果检测微透镜的结构。除了可用于标定光场相机，同样适用于其他需要精确定位微透镜中心的应用。
附图说明
图1为本发明方法实现流程图；
图2为本发明对实际场景拍摄的标定使用的白图；
图3为本发明对实际场景进行标定，且包含坏点的标定结果图；
图4为本发明生成的德劳内三角网格图；
图5为本发明利用标定结果，对实际拍摄图片进行解码的结果示意图。
具体实施方式
下面结合附图以及具体实施方式进一步说明本发明。
本发明提供一种鲁棒的光场相机标定方法，基本包含以下步骤：
步骤一、设置白色场景，用光场相机对其进行拍摄，得到标定需要的图片(如图2)。
步骤二、对原始图片进行滤波，降低噪声的影响。
步骤三、中心微透镜标定，包括如下步骤：
(3.1)计算中心微透镜初始位置：
(3.1.1)
Figure BDA0002167651780000031
其中width、height分别指滤波后图像的宽和高，(x,y)为初始位置。
(3.2)将初始位置作为圆心，设置与微透镜尺寸同样大小的搜索区域，在该区域中搜索局部最大值。
(3.3)将局部最大值作为新的搜索区域圆心，并计算新区域的质心。
(3.4)将质心作为新的搜索区域圆心，重复质心计算过程多次，并将结果作为中心微透镜的标定位置。质心计算公式如下：
(3.4.1)
Figure BDA0002167651780000041
(3.4.2)
Figure BDA0002167651780000042
其中，i,j表示搜索区域范围。其中，(x,y)为质心位置，(xi,j,yi,j)为像素坐标，Ii,j为图像灰度值。
步骤四：中间一行微透镜标定，分两步进行：
(4.1)从中心微透镜标定中心为起点，微透镜直径为步长，生成该行其余微透镜中心的初始位置：
(4.1.1)
Figure BDA0002167651780000043
其中，R表示微透镜直径，xc,yc分别表示中心微透镜的中心，n为正整数，xi,yi表示第i个微透镜的初始中心位置。
(4.2)与标定中心微透镜的迭代过程相同，以上述初始位置为圆心，多次迭代计算质心，并将得到的质心作为对应微透镜的标定中心。
步骤五：逐行对其余微透镜进行标定，分两步进行：
(5.1)根据微透镜排布方式，计算相邻行位置偏移量。根据微透镜排布方式不同，分为两种情况：
六边形排布：
(5.1.1)
Figure BDA0002167651780000044
正交排布：
(5.1.2)
Figure BDA0002167651780000045
其中，R表示微透镜直径，Δx,Δy为相邻行微透镜位置的坐标偏移。
(5.2)根据偏移量，计算相邻行的微透镜的初始标定位置。与上述迭代计算质心的方式相同，计算当前行的微透镜质心。
(5.3)重复上述两步，完成整个微透镜的搜索。标定出的微透镜中心位置见图3。
步骤六：以前面计算得到的质心作为顶点，构建德劳内三角网格(如图4)。比较各条边的长度，若某条边长度严重小于微透镜直径，则表明与该条边相连的两个顶点对应的微透镜中心为坏点。
步骤七：将坏点剔除，并根据周围的微透镜的中心和微透镜阵列的结构，修正坏点处的标定结果。具体做法是：由于微透镜阵列通常近似为周期排列，首先计算坏点微透镜占据的面积，然后利用该面积计算坏点微透镜的数量；对所有的坏点，根据附近正常微透镜的位置和微透镜阵列周期性排列的特性，依次附加微透镜坐标偏移量(见步骤5.1)，从而得到所有坏点处微透镜的修正标定结果。作为实例，采用这种标定方法得到的中心视角子孔径图见图5。
本发明未详细阐述部分属于本领域技术人员的公知技术。
本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例变化变型都将落在本发明权利要求书的范围内。

Claims (1)

1.一种鲁棒的光场相机标定方法，其特征在于：包括如下步骤：
步骤一、图像采集与预处理：使用光场相机对漫反射白板或者白色场景进行成像，然后对图像进行低通滤波，得到降噪之后的图像；
步骤二、对步骤一中得到的降噪图像，求最靠近图像中心的微透镜的投影中心，具体步骤如下：
(21)求得整幅图像的中心位置，并以此为原点，微透镜大小为半径，构建搜索区域；
(22)在上述搜索区域内，寻找局部极大值；
(23)以该局部极大值为圆心，微透镜尺寸作为半径的圆形区域内，计算区域的质心，计算公式如下：
Figure FDA0003479270110000011
Figure FDA0003479270110000012
其中，(x,y)为质心位置，(xi,j,yi,j)为像素坐标，Ii,j为图像灰度值；
(24)将上述质心作为新的搜索区域圆心，多次重复质心计算过程，并将得到的最终结果作为微透镜投影中心；
步骤三、根据步骤二中得到的投影中心，结合微透镜阵列的结构信息，求取最中间一行所有微透镜的中心，具体步骤如下：
(31)从最中心的微透镜出发，以微透镜直径作为步长，生成其余微透镜中心的初始位置；
(32)与步骤二中的多次迭代计算质心过程相同，根据初始中心位置，迭代加权求得投影中心；
步骤四、根据步骤三得到的一整行透镜的中心位置，向上或者向下求取相邻行微透镜的中心，重复该过程直到完成所有微透镜中心的标定，具体步骤如下：
(41)根据微透镜阵列的排布方式，六边形排布或者正交排布，获得相邻行微透镜偏移量，从而初始化相邻行的微透镜中心位置；
(42)与多次迭代计算质心过程相同，根据初始中心位置，迭代加权求得精确投影中心；
(43)重复搜索相邻行，直至完成所有微透镜的中心位置计算；
步骤五、根据步骤四求得的微透镜阵列的中心位置，构建德劳内三角网格剔除坏点，得到最终的标定结果，具体步骤如下：
(51)根据前四步得到的微透镜中心，以微透镜中心为顶点构建德劳内三角网格；
(52)对于正常的微透镜阵列，相邻中心连线应近似构成正三角形或正方形，若德劳内三角网格某条边严重偏小，则表明与该条边相连的两个中心点属于坏点；
(53)根据微透镜排布方式，用坏点周围的微透镜的中心位置，修正坏点位置。
CN201910752547.XA 2019-08-15 2019-08-15 一种鲁棒的光场相机标定方法 Active CN110473261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910752547.XA CN110473261B (zh) 2019-08-15 2019-08-15 一种鲁棒的光场相机标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910752547.XA CN110473261B (zh) 2019-08-15 2019-08-15 一种鲁棒的光场相机标定方法

Publications (2)

Publication Number Publication Date
CN110473261A CN110473261A (zh) 2019-11-19
CN110473261B true CN110473261B (zh) 2022-04-19

Family

ID=68511346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910752547.XA Active CN110473261B (zh) 2019-08-15 2019-08-15 一种鲁棒的光场相机标定方法

Country Status (1)

Country Link
CN (1) CN110473261B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117213373A (zh) * 2023-11-09 2023-12-12 成都飞机工业（集团）有限责任公司 一种三维点云获取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005326247A (ja) * 2004-05-14 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> 校正装置及び校正方法並びに校正プログラム
CN103854271A (zh) * 2012-11-28 2014-06-11 华中科技大学 一种平面摄像机标定方法
CN105374044A (zh) * 2015-12-04 2016-03-02 中国科学院光电技术研究所 一种光场相机的自动标定方法
CN108696692A (zh) * 2017-04-06 2018-10-23 上海盟云移软网络科技股份有限公司 光场成像的数据预处理方法
CN108776980A (zh) * 2018-05-14 2018-11-09 南京工程学院 一种面向微透镜光场相机的标定方法
CN110009693A (zh) * 2019-04-01 2019-07-12 清华大学深圳研究生院 一种光场相机的快速盲标定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005326247A (ja) * 2004-05-14 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> 校正装置及び校正方法並びに校正プログラム
CN103854271A (zh) * 2012-11-28 2014-06-11 华中科技大学 一种平面摄像机标定方法
CN105374044A (zh) * 2015-12-04 2016-03-02 中国科学院光电技术研究所 一种光场相机的自动标定方法
CN108696692A (zh) * 2017-04-06 2018-10-23 上海盟云移软网络科技股份有限公司 光场成像的数据预处理方法
CN108776980A (zh) * 2018-05-14 2018-11-09 南京工程学院 一种面向微透镜光场相机的标定方法
CN110009693A (zh) * 2019-04-01 2019-07-12 清华大学深圳研究生院 一种光场相机的快速盲标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
光场相机成像模型及参数标定方法综述;张春萍 等;《中国激光》;20160630;第43卷(第6期);1-12 *

Also Published As

Publication number Publication date
CN110473261A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN111351446B (zh) 一种用于三维形貌测量的光场相机校准方法
CN108776980B (zh) 一种面向微透镜光场相机的标定方法
CN114636385B (zh) 基于光场相机的三维成像方法和***及三维成像测量产线
CN112381847B (zh) 管路端头空间位姿测量方法及***
CN112562014A (zh) 相机标定方法、***、介质及装置
CN113012234B (zh) 基于平面变换的高精度相机标定方法
CN115457147A (zh) 相机标定方法、电子设备及存储介质
CN111340888B (zh) 一种无需白图像的光场相机检校方法及***
CN112258587B (zh) 一种基于灰狼粒子群混合算法的相机标定方法
CN112489137A (zh) 一种rgbd相机标定方法及***
CN114331924B (zh) 大工件多相机视觉测量方法
CN109544642B (zh) 一种基于n型靶标的tdi-ccd相机参数标定方法
CN112422960B (zh) 摄像头模组的偏移估算方法及装置、存储介质、终端
CN110473261B (zh) 一种鲁棒的光场相机标定方法
CN111586401B (zh) 光学中心测试方法、装置及设备
CN110751601A (zh) 一种基于rc光学***的畸变校正方法
CN112037284A (zh) 棋盘格格子中心点检测方法、摄像机畸变标定方法及***
CN111699513B (zh) 一种标定板、内参数标定方法、机器视觉***及存储装置
CN112489141B (zh) 车载摄像头单板单图带中继镜的产线标定方法及装置
CN110033491B (zh) 一种相机标定方法
CN107993268B (zh) 一种相机自标定的方法及***
CN115546266A (zh) 基于局部法向相关的多条带机载激光点云配准方法
CN115239816A (zh) 一种相机标定方法、***、电子设备及存储介质
CN113284196A (zh) 一种摄像机畸变逐像素标定方法
CN109493382B (zh) 一种基于像元内响应的恒星高精度位置提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant