CN110146032B - 基于光场分布的合成孔径相机标定方法 - Google Patents

基于光场分布的合成孔径相机标定方法 Download PDF

Info

Publication number
CN110146032B
CN110146032B CN201910436690.8A CN201910436690A CN110146032B CN 110146032 B CN110146032 B CN 110146032B CN 201910436690 A CN201910436690 A CN 201910436690A CN 110146032 B CN110146032 B CN 110146032B
Authority
CN
China
Prior art keywords
pupil
sub
calibration plate
camera
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910436690.8A
Other languages
English (en)
Other versions
CN110146032A (zh
Inventor
张祥朝
牛振岐
朱熠帆
徐敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201910436690.8A priority Critical patent/CN110146032B/zh
Publication of CN110146032A publication Critical patent/CN110146032A/zh
Application granted granted Critical
Publication of CN110146032B publication Critical patent/CN110146032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于精密测量技术领域，具体为一种基于光场分布的合成孔径相机标定方法。本发明方法步骤为：为了克服针孔相机模型的光瞳像差问题，将成像光瞳分割为多个子光瞳，按照实际光场分布，将成像传感器分割为子光瞳对应的不同成像区域；结合合成孔径相机模型联合标定优化，构建一个更符合实际成像过程的相机模型。本发明可有效消除单个针孔成像假设造成的光瞳像差，克服单目视觉的方向歧义性；对于提高摄影测量技术的测量精度有重要意义。

Description

基于光场分布的合成孔径相机标定方法
技术领域
本发明属于光学工程技术领域，具体涉及一种基于光场分布的合成孔径相机标定方法。
背景技术
在现代精密测量中，摄影测量术是常用的三维形貌测量技术。摄影测量术主要分为两类：针对漫反射的表面三维测量技术和针对镜面反射的表面三维测量技术。前者以三角测量法为典型代表，尤其是条纹投影技术在工业精密检测中应用十分广泛。其三维重建方法主要包括立体视觉和相位-高度映射。而针对镜面反射的表面，常用的是相位测量偏折术。由于其测量***简单，动态范围大，抗干扰能力强，可用于复杂曲面的测量，近年来得到广泛关注。其原理是在显示器上产生规则条纹，经被测表面反射后条纹发生变形，采用CCD相机拍摄变形图样，由几何关系推导可以计算出被测面形的表面梯度分布，再通过积分得到面形高度。
在摄影测量术和相机标定中，一般采用张正友标定法。把相机简化为理想的针孔成像模型，认为相机CCD每个像素的光线均通过同一点(相机光瞳主点)。但由于相机镜头的光瞳具有一定尺寸，这种假设会产生光瞳像差，所计算的光线位置与方向会含有明显的偏差，于是单一针孔模型不能完美的表达相机的物像关系，对三维测量精度造成严重影响。因此需要一种更简便的高精度相机标定方法。
发明内容
本发明的目的在于提供一种能有效对相机成像过程进行模型构建的方法，以实现准确地光瞳像差校正。
本发明提出一种合成孔径相机联合标定优化方法，具体步骤如下：
(1)基于光场分布的像面分割；利用数字微镜阵列(DMD)将成像光瞳进行采样，结合压缩感知技术计算成像***的四维光场分布。根据光场分布，计算经过每个子光瞳的成像主光线，将像面分割为多个对应子光瞳的子区域，将每个子光瞳假设为一个针孔模型。
(2)相机参数初始估计；使用LCD屏幕生成标志点图案作为标定板，并放置在不同的位置处拍摄标定图像。使用张正友标定法估算相机的内参insc和每个位置处的标定板外参{Rw2c|Tw2c}。标定板的成像过程可表示为：
Figure BDA0002070733620000021
其中，(Xw,Yw,Zw)是标定板上标志点的世界坐标，(μ,v)是该标志点在CCD上的像素坐标，Zc是该标志点在相机坐标系下的Z轴坐标，(fx,fy)是相机焦距，(μ0,v0)是光轴在图像坐标的偏移量。
LCD屏幕的像素坐标(μs,vs)到世界坐标(Xw,Yw)的转换关系如下：
Figure BDA0002070733620000022
其中，假设标定板所在平面为XY平面，所以Zw设为0，(m,n)为屏幕的像素尺寸，(dx,dy)为标定板世界坐标原点的像素偏移量。
(3)合成孔径相机模型联合标定优化；在所提模型中每个子光瞳的内参都不一致，每个位置处的标定板到所有子光瞳的外参也不一致，所以需要对每个子光瞳的内外参数进行优化。在每个位置处的标定板在相机每个像面子区域分别选取q个标志点。待优化的目标方程如下：
Figure BDA0002070733620000023
其中，x＝{{insc,Rw2c,Tw2c}ij,inss}为待优化变量，inss＝{m,n}为LCD屏幕标定板的待优化参数，i为子光瞳的编号，j为标定板的位置编号，
Figure BDA0002070733620000024
是第i个子光瞳对应的第j个位置处标定板的第k个标志点的真实成像坐标，
Figure BDA0002070733620000025
是第i个子光瞳对应的第j个位置处标定板的第k个标志点的重投影坐标；公式(3)是非线性最小二乘问题，可以使用Levenberg-Marquardt算法解决该问题。步骤(2)中的张正友标定法所提供的相机内外参数可以作为Levenberg-Marquardt优化过程的初始解。
(4)根据已得到的每个子光瞳的外参{Rw2c|Tw2c}将每个子光瞳统一到中心光瞳的坐标系下：
Figure BDA0002070733620000031
其中，
Figure BDA0002070733620000032
是第i个光瞳坐标系到中心光瞳坐标系的旋转矩阵，
Figure BDA0002070733620000033
是第i个光瞳坐标系到中心光瞳坐标系的平移矩阵，
Figure BDA0002070733620000034
和
Figure BDA0002070733620000035
是世界坐标系到中心光瞳坐标系的旋转矩阵和平移矩阵，
Figure BDA0002070733620000036
和
Figure BDA0002070733620000037
是同一个世界坐标系到第i个光瞳坐标系的旋转矩阵和平移矩阵。
本发明基于光场分布特性，将成像传感器分割为子光瞳对应的不同成像区域；再结合合成孔径相机模型联合标定优化，有效地构建一个更符合实际成像过程的相机模型。
本发明可有效消除针孔成像假设造成的光瞳像差，克服单目视觉的方向歧义性，准确计算成像光线的方向。对于提高摄影测量技术的测量精度有重要意义。
附图说明
图1为单个子光瞳(DMD)对应成像区域图示。
图2为相机成像模型图示。
图3为优化标定后的重投影误差。
具体实施方式
下面通过实施例结合附图进一步说明本发明。
实施例1：在测量过程，搭建合适的成像光路，利用DMD进行5×5的光瞳采样。实验中所用CCD像素分辨率为3840×3840，所以光场矩阵L的维度为25×14745600((5×5)×(3840×3840))。由于实际成像过程不是严格的小孔成像，单个物点的光线只会经过部分光瞳成像于某一CCD像素上，即为光场分布，换句话说，每个子光瞳决定部分光线成像于CCD上，如图1所示。根据光场分布，将CCD像面按照子光瞳在像面的能量分布进行分割，将每个子光瞳看作针孔成像模型，新的相机成像模型如图2所示。物点P1经过第0个子光瞳成像于CCD的p1处，其经过的光瞳坐标为Oc0,物点P2经过第i个子光瞳成像于CCD的p2处，其经过的光瞳坐标为Oci。辅助张正友标定方法得到每个子光瞳的内外参数，然后将多个孔径成像模型进行联合优化，得到高精度的合成孔径相机参数，再利用公式4将每个光瞳坐标***一到坐标系Oc0Xc0Yc0Zc0下，构建一个更符合实际成像过程的相机模型，有效地校正相机的光瞳像差。图3为利用优化后的相机参数得到的重投影误差图，重投影误差的RMS为0.12像素。

Claims (1)

1.一种基于光场分布的合成孔径相机标定方法，其特征在于，具体步骤如下：
(1)基于光场分布的像面分割；利用数字微镜阵列DMD将成像光瞳进行采样，结合压缩感知技术计算成像***的光场分布；然后计算经过每个子光瞳的成像主光线，将像面分割为多个对应子光瞳的子区域，将每个子光瞳假设为一个针孔模型；
(2)相机参数初始估计；使用LCD屏幕生成标志点图案作为标定板，并放置在不同的位置处拍摄标定图像；使用张正友标定法估算相机的内参insc和每个位置处的标定板外参{Rw2c|Tw2c}；标定板的成像过程表示为：
Figure FDA0002569604270000011
其中，(Xw,Yw,Zw)是标定板上标志点的世界坐标，(μ,v)是该标志点在CCD上的像素坐标，Zc是该标志点在相机坐标系下的Z轴坐标，fx、fy是相机焦距，μ0、v0是光轴在图像坐标的偏移量；
LCD屏幕的像素坐标(μs,vs)到世界坐标(Xw,Yw)的转换关系如下：
Figure FDA0002569604270000012
其中，假设标定板所在平面为XY平面，所以Zw设为0，m、n为屏幕的像素尺寸，dx、dy为标定板世界坐标原点的像素偏移量；
(3)合成孔径相机模型联合标定优化；在所提模型中每个子光瞳的内参不一致，每个位置处的标定板到所有子光瞳的外参也不一致，所以对每个子光瞳的内外参数进行优化；在每个位置处的标定板在相机对应像面子区域分别选取q个标志点；待优化的目标方程如下：
Figure FDA0002569604270000013
其中，x＝{{insc,Rw2c,Tw2c}ij,inss}为待优化的变量，inss＝{m,n}为LCD屏幕标定板的待优化参数，i为子光瞳的编号，j为标定板的位置编号，
Figure FDA0002569604270000021
是第i个子光瞳对应的第j个位置处标定板的第k个标志点的真实成像坐标，
Figure FDA0002569604270000022
是第i个子光瞳对应的第j个位置处标定板的第k个标志点的重投影坐标；公式(3)是非线性最小二乘问题，使用Levenberg-Marquardt算法解决该问题；步骤(2)中的张正友标定法所提供的相机内外参数作为Levenberg-Marquardt优化过程的初始解；
(4)根据已得到的每个子光瞳的外参{Rw2c|Tw2c}将每个子光瞳统一到中心光瞳的坐标系下：
Figure FDA0002569604270000023
其中，
Figure FDA0002569604270000024
是第i个光瞳坐标系到中心光瞳坐标系的旋转矩阵，
Figure FDA0002569604270000025
是第i个光瞳坐标系到中心光瞳坐标系的平移矩阵，
Figure FDA0002569604270000026
和
Figure FDA0002569604270000027
是世界坐标系到中心光瞳坐标系的旋转矩阵和平移矩阵，
Figure FDA0002569604270000028
和
Figure FDA0002569604270000029
是同一个世界坐标系到第i个光瞳坐标系的旋转矩阵和平移矩阵。
CN201910436690.8A 2019-05-23 2019-05-23 基于光场分布的合成孔径相机标定方法 Active CN110146032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910436690.8A CN110146032B (zh) 2019-05-23 2019-05-23 基于光场分布的合成孔径相机标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910436690.8A CN110146032B (zh) 2019-05-23 2019-05-23 基于光场分布的合成孔径相机标定方法

Publications (2)

Publication Number Publication Date
CN110146032A CN110146032A (zh) 2019-08-20
CN110146032B true CN110146032B (zh) 2020-09-25

Family

ID=67592991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910436690.8A Active CN110146032B (zh) 2019-05-23 2019-05-23 基于光场分布的合成孔径相机标定方法

Country Status (1)

Country Link
CN (1) CN110146032B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862237B (zh) * 2020-07-22 2024-01-05 复旦大学 用于光学面形测量的相机标定方法和实现该方法的装置
CN112762825B (zh) * 2020-12-24 2022-02-22 复旦大学 表征摄影测量***三维坐标重构误差的矩阵谱半径方法
CN112581547B (zh) * 2020-12-30 2022-11-08 安徽地势坤光电科技有限公司 一种调整成像镜头安装角度的快速方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
KR101541059B1 (ko) * 2012-05-31 2015-07-31 한국과학기술연구원 시간 분할 방식의 무안경식 3차원 영상표시장치
CN107644444B (zh) * 2017-09-07 2020-04-03 广东工业大学 一种基于压缩感知的单图像相机标定方法
CN107845077B (zh) * 2017-11-01 2021-11-16 中国科学院长春光学精密机械与物理研究所 一种校正dmd微镜元成像非对称形变的方法和存储介质
CN108426585B (zh) * 2018-03-12 2019-09-13 哈尔滨工业大学 一种光场相机的几何标定方法

Also Published As

Publication number Publication date
CN110146032A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN110514143B (zh) 一种基于反射镜的条纹投影***标定方法
CN103559735B (zh) 一种三维重建方法及***
CN110146032B (zh) 基于光场分布的合成孔径相机标定方法
CN102183214B (zh) 一种大口径非球面镜结构光检测方法
Zappa et al. Static and dynamic features of Fourier transform profilometry: A review
CN108489421A (zh) 一种条纹投影检测平面元件面形方法及装置
CN110966935B (zh) 基于标志点的偏折测量***一体化几何标定方法
CN110207614A (zh) 一种基于双远心相机匹配的高分辨高精度测量***及方法
CN110864650A (zh) 基于条纹投影的平面度测量方法
CN110672037A (zh) 基于相移法的线性光源光栅投影三维测量***及方法
CN106500625A (zh) 一种远心立体视觉测量装置及其应用于物体三维形貌微米级精度测量的方法
WO2020199439A1 (zh) 基于单双目混合测量的三维点云计算方法
CN112489109B (zh) 一种三维成像***方法、装置及三维成像***
CN110487214A (zh) 一种基于光度立体技术和结构光技术相结合的产品合格率的检测***及其检测方法
CN107957251A (zh) 基于计算机辅助校正的反射球面通用化检测方法
CN110044266B (zh) 基于散斑投影的摄影测量***
Zhang et al. Novel method of positioning optical freeform surfaces based on fringe deflectometry
CN110428471B (zh) 一种针对光学自由曲面子孔径偏折测量的精确自定位方法
CN109242909A (zh) 一种面向高精度二维尺寸测量的线阵相机标定算法
CN110248179B (zh) 基于光场编码的相机光瞳像差校正方法
CN108413893B (zh) 一种散斑偏折术检测平面元件面形的方法与装置
CN113902811B (zh) 单相机四视角三维数字图像相关高精度变形测量方法
Wang et al. Easy and flexible calibration approach for deflectometry-based vr eye-tracking systems
CN110260817B (zh) 基于虚拟标志点的复杂曲面偏折测量自定位方法
CN111207679B (zh) 一种大测量跨度的高精度反射元件检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant