CN107977993A - 一种针对光场阵列相机的基于重投影的重聚焦方法及*** - Google Patents

一种针对光场阵列相机的基于重投影的重聚焦方法及*** Download PDF

Info

Publication number
CN107977993A
CN107977993A CN201711142290.3A CN201711142290A CN107977993A CN 107977993 A CN107977993 A CN 107977993A CN 201711142290 A CN201711142290 A CN 201711142290A CN 107977993 A CN107977993 A CN 107977993A
Authority
CN
China
Prior art keywords
msub
camera
mtd
mtr
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201711142290.3A
Other languages
English (en)
Inventor
杨俊刚
肖超
王应谦
李骏
安玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201711142290.3A priority Critical patent/CN107977993A/zh
Publication of CN107977993A publication Critical patent/CN107977993A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种针对光场阵列相机的基于重投影的重聚焦方法及***，对相机阵列进行校正；指定相机阵列中的一个相机为参考相机，通过反投影求解所述参考相机的像素坐标对应的世界坐标网格点；将所述世界坐标网格点通过其他相机重投影为像素坐标，根据所述像素坐标，将对应的图像进行插值，得到对准到指定平面的图像；将插值得到的图像相加求平均值即得到聚焦于指定平面的图像。本发明方法简单灵活，只需要改变聚焦平面的方程就可以得到相应的重聚焦图像，操作方便，易于编程实现。随着阵列相机的不断推广，本发明的方法具有较大的实用价值。

Description

一种针对光场阵列相机的基于重投影的重聚焦方法及***
技术领域
本发明涉及图像处理，计算成像领域，特别是一种针对光场阵列相机的基于重投影的重聚焦方法及***。
背景技术
光作为一种分布在空间中的电磁波，具有多个维度的信息。然而，传统光学成像只能捕获到光辐射在二维平面上的强度，而丢失了其他维度的信息。光场成像利用现代信息处理的手段，可以突破传统成像的某些局限，降低成像对器件和加工的要求。阵列相机作为采集光场的一种方式，它通过一次曝光就可以获得完整的光场数据。通过不同的空间排布，能够获得不同的***特性，其中大尺度空间排布可用于合成孔径实现“透视”监测，或通过拼接实现大视角全景成像，而紧密排列型可用于获取高性能的动态图像。
在阵列相机获取光场图像之后，对光场图像进行处理，可以实现合成孔径成像，使合成的图像聚焦到任意平面。现有的方法主要是Vaish等人提出的方法，他们采用单应性矩阵先将光场获取的图像对准到参考平面，然后对处理后的图像进行移位相加求平均可以得到重聚焦图像。这种方法使光场图像聚焦到某一平面时需要进行两次插值，而插值会对高频带来损失，进而对成像质量造成损失。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种针对光场阵列相机的基于重投影的重聚焦方法及***，使用一次插值就可使光场阵列相机重聚焦到任意平面。
为解决上述技术问题，本发明所采用的技术方案是：一种针对光场阵列相机的基于重投影的重聚焦方法，包括以下步骤：
1)对相机阵列进行校正；
2)指定相机阵列中的一个相机为参考相机，通过反投影求解所述参考相机的像素坐标对应的世界坐标网格点；
3)将所述世界坐标网格点通过其他相机重投影为像素坐标，根据所述像素坐标，将对应的图像进行插值，得到对准到指定平面的图像；
4)将插值得到的图像相加求平均值即得到聚焦于指定平面的图像。
步骤1)中，校正的具体实现过程为：首先用相机阵列对棋盘格进行成像，每个相机拍摄十幅图像；拍照完成后，将每个相机拍摄的图像输入MATLAB中进行校正，得到每个相机的参数，选取每个相机对应于同一棋盘格位置的参数为相机阵列的参数。
步骤2)中，通过求解下式得到世界坐标网格点：
其中，s0为参考相机对应的尺度因子，K0,R0,T0为参考相机的参数，(u0,v0)为参考相机的像素坐标，(xw,yw,zw)为参考相机像素对应的世界坐标系下的点；(a,b,c)为指定平面的法向量，(x0,y0,z0)为指定平面上的一个点。
步骤3)中，对第i个相机求解像素坐标的过程如下式所示：
其中si为第i个相机对应的尺度因子，Ki,Ri,Ti为第i个相机的参数，(ui,vi)为第i个相机的像素坐标。
步骤4)中，所述聚焦于指定平面的图像Isap表达式为：
其中，N为相机数目，Ii'为插值后得到的图像。
相应地，本发明还提供了一种针对光场阵列相机的基于重投影的重聚焦***，其包括：
校正模块，用于对相机阵列进行校正；
求解模块，用于指定相机阵列中的一个相机为参考相机，通过反投影求解所述参考相机的像素坐标对应的世界坐标网格点；
插值模块，用于将所述世界坐标网格点通过其他相机重投影为像素坐标，根据所述像素坐标，将对应的图像进行插值，得到对准到指定平面的图像；
均值模块，用于将插值得到的图像相加求平均值即得到聚焦于指定平面的图像。
与现有技术相比，本发明所具有的有益效果为：采用本发明的方法，可以使阵列相机采集的光场图像重聚焦于任意平面，在重聚焦过程中只使用一次插值，对图像质量的损失很小。本发明方法简单灵活，只需要改变聚焦平面的方程就可以得到相应的重聚焦图像，操作方便，易于编程实现。随着阵列相机的不断推广，本发明的方法具有较大的实用价值。
附图说明
图1为相机成像模型。
图2为相机校正结果展示图，(a)为相机拍摄的棋盘格图像，(b)为提取的角点图像，(c)为相机校正的误差及其分布。
图3为本发明的方法获得的重聚焦图像，(a)为相机拍摄的一幅原图，(b)为重聚焦在第一个日历的结果，(c)为重聚焦在中间水瓶的结果，(d)为聚焦在后面一个日历的结果，(e)为聚焦在棋盘格上的结果，(f)为聚焦在斜面上的结果，(g)聚焦于日历水瓶所在的斜面。
图4为基于重投影的重聚焦算法的算法框图。
具体实施方式
本发明首先通过校正的到相机的参数，然后选取参考相机，通过求解参考相机成像模型与指定的聚焦平面方程，可以得到参考相机像素对应的空间点，接着将空间点通过其余相机的成像模型可以重投影到像素平面，将对应的图像进行插值，就可以得到新的图像；最后将新的图像相加求和取平均就可以得到重聚焦到指定平面的图像。当改变平面的方程时，就可以得到重聚焦于不同平面的图像。这里的聚焦平面既可以是平行于阵列相机平面的也可以是与阵列相机平面相交的。
如图4，本发明具体实现步骤如下：
1.对相机阵列进行校正，相机校正包括相机成像模型的建立，参数初值求解，参数优化，以及考虑畸变参数进行校正。这里采用MATLAB的camera calibration toolbox来对相机进行校正，棋盘格为相机校正的参照物。校正时首先用相机阵列对棋盘格进行成像，为保证校正精度，每个相机需要拍摄十幅左右的图像，所以需要变换棋盘格与相机的相对位置多次成像。拍照完成后，将每个相机拍摄的图像输入MATLAB的camera calibrationtoolbox中进行校正，这样就可以得到每个相机的参数。选取每个相机对应于同一棋盘格位置的参数为相机阵列的参数，为重聚焦做准备；
2.指定相机矩阵中的一个相机为参考相机，通过反投影求解参考相机的像素坐标对应的世界坐标网格点。反投影是指根据像素坐标以及指定的平面求解每个像素对应在指定平面上的世界坐标，这个步骤可以通过联解相机模型与平面方程得到世界坐标网格来完成。
其中相机成像模型为：
相机成像模型是在其次坐标下进行表示的，其中s为相机对应的尺度因子，(u,v)为像素坐标，K,R,T为相机参数，由相机校正可以得到，K为相机内参，R为3×3的旋转矩阵，T为3×1的平移矩阵，R,T统称为相机外参，(x,y,z)为世界坐标系下的点。相机成像模型表示的是相机将世界坐标的点投影到像素点的过程。
平面方程为：
a(x-x0)+b(y-y0)+c(z-z0)＝0
(a,b,c)为平面的法向量，(x0,y0,z0)为平面上的一个点。指定平面的法向与平面上的一点，平面也就确定了。
选取相机阵列中的一个相机为参考相机，通过联解成像模型方程和平面方程，如下式所示，即可得到参考相机像素坐标对应的世界坐标网格点。
其中s0为参考相机对应的尺度因子，K0,R0,T0为参考相机的参数，(u0,v0)为参考相机的像素坐标，(xw,yw,zw)为参考相机像素对应的世界坐标系下的点。通过联解上式即可求得参考相机像素对应的世界坐标点。
3.将世界坐标网格点通过其他相机重投影为像素坐标，即通过成像模型利用相机各自的参数求解像素坐标。根据求解出的像素坐标，将对应的图像进行插值，可以得到对准到指定平面的图像。对第i个相机求解像素坐标的过程如下式所示：
其中si为第i个相机对应的尺度因子，Ki,Ri,Ti为第i个相机的参数，(ui,vi)为第i个相机的像素坐标，(xw,yw,zw)为第二步中求解的参考相机像素对应的世界坐标点。通过求解可以得到世界坐标点在每幅图像中的像素位置。根据重投影求解得到的像素坐标，将对应的图像进行插值，可以得到对准到指定聚焦平面的图像。
4.将插值得到的图像相加并且求其平均值即可得到聚焦于指定平面的图像。
其中N为相机数目，Ii'为插值后得到的图像，Isap为合成后的图像。

Claims (6)

1.一种针对光场阵列相机的基于重投影的重聚焦方法，其特征在于，包括以下步骤：
1)对相机阵列进行校正；
2)指定相机阵列中的一个相机为参考相机，通过反投影求解所述参考相机的像素坐标对应的世界坐标网格点；
3)将所述世界坐标网格点通过其他相机重投影为像素坐标，根据所述像素坐标，将对应的图像进行插值，得到对准到指定平面的图像；
4)将插值得到的图像相加求平均值即得到聚焦于指定平面的图像。
2.根据权利要求1所述的针对光场阵列相机的基于重投影的重聚焦方法，其特征在于，步骤1)中，校正的具体实现过程为：首先用相机阵列对棋盘格进行成像，每个相机拍摄十幅图像；拍照完成后，将每个相机拍摄的图像输入MATLAB中进行校正，得到每个相机的参数，选取每个相机对应于同一棋盘格位置的参数为相机阵列的参数。
3.根据权利要求1所述的针对光场阵列相机的基于重投影的重聚焦方法，其特征在于，步骤2)中，通过求解下式得到世界坐标网格点：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <msub> <mi>s</mi> <mn>0</mn> </msub> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>u</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>v</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <msub> <mi>K</mi> <mn>0</mn> </msub> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>R</mi> <mn>0</mn> </msub> </mtd> <mtd> <msub> <mi>T</mi> <mn>0</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>x</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>y</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>z</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> </mtd> </mtr> <mtr> <mtd> <mi>a</mi> <mo>(</mo> <msub> <mi>x</mi> <mi>w</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>)</mo> <mo>+</mo> <mi>b</mi> <mo>(</mo> <msub> <mi>y</mi> <mi>w</mi> </msub> <mo>-</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>)</mo> <mo>+</mo> <mi>c</mi> <mo>(</mo> <msub> <mi>z</mi> <mi>w</mi> </msub> <mo>-</mo> <msub> <mi>z</mi> <mn>0</mn> </msub> <mo>)</mo> <mo>=</mo> <mn>0</mn> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>
其中，s0为参考相机对应的尺度因子，K0,R0,T0为参考相机的参数，(u0,v0)为参考相机的像素坐标，(xw,yw,zw)为参考相机像素对应的世界坐标系下的点；(a,b,c)为指定平面的法向量，(x0,y0,z0)为指定平面上的一个点。
4.根据权利要求3所述的针对光场阵列相机的基于重投影的重聚焦方法，其特征在于，步骤3)中，对第i个相机求解像素坐标的过程如下式所示：
<mrow> <msub> <mi>s</mi> <mi>i</mi> </msub> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>u</mi> <mi>i</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>v</mi> <mi>i</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <msub> <mi>K</mi> <mi>i</mi> </msub> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>R</mi> <mi>i</mi> </msub> </mtd> <mtd> <msub> <mi>T</mi> <mi>i</mi> </msub> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>x</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>y</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>z</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>
其中si为第i个相机对应的尺度因子，Ki,Ri,Ti为第i个相机的参数，(ui,vi)为第i个相机的像素坐标。
5.根据权利要求4所述的针对光场阵列相机的基于重投影的重聚焦方法，其特征在于，步骤4)中，所述聚焦于指定平面的图像Isap表达式为：
<mrow> <msub> <mi>I</mi> <mrow> <mi>s</mi> <mi>a</mi> <mi>p</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msup> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>&amp;prime;</mo> </msup> <mo>;</mo> </mrow>
其中，N为相机数目，Ii'为插值后得到的图像。
6.一种针对光场阵列相机的基于重投影的重聚焦***，其特征在于，包括：
校正模块，用于对相机阵列进行校正；
求解模块，用于指定相机阵列中的一个相机为参考相机，通过反投影求解所述参考相机的像素坐标对应的世界坐标网格点；
插值模块，用于将所述世界坐标网格点通过其他相机重投影为像素坐标，根据所述像素坐标，将对应的图像进行插值，得到对准到指定平面的图像；
均值模块，用于将插值得到的图像相加求平均值即得到聚焦于指定平面的图像。
CN201711142290.3A 2017-11-17 2017-11-17 一种针对光场阵列相机的基于重投影的重聚焦方法及*** Withdrawn CN107977993A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711142290.3A CN107977993A (zh) 2017-11-17 2017-11-17 一种针对光场阵列相机的基于重投影的重聚焦方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711142290.3A CN107977993A (zh) 2017-11-17 2017-11-17 一种针对光场阵列相机的基于重投影的重聚焦方法及***

Publications (1)

Publication Number Publication Date
CN107977993A true CN107977993A (zh) 2018-05-01

Family

ID=62010195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711142290.3A Withdrawn CN107977993A (zh) 2017-11-17 2017-11-17 一种针对光场阵列相机的基于重投影的重聚焦方法及***

Country Status (1)

Country Link
CN (1) CN107977993A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242900A (zh) * 2018-08-01 2019-01-18 曜科智能科技（上海）有限公司 焦平面定位方法、处理装置、焦平面定位***及存储介质
CN113923445A (zh) * 2021-10-13 2022-01-11 中国航发湖南动力机械研究所 用于移轴成像条件下的光场相机校准方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080043096A1 (en) * 2006-04-04 2008-02-21 Anthony Vetro Method and System for Decoding and Displaying 3D Light Fields
CN105488810A (zh) * 2016-01-20 2016-04-13 东南大学 一种聚焦光场相机内外参数标定方法
CN106534627A (zh) * 2015-09-10 2017-03-22 鹦鹉无人机股份有限公司 包括使用姿态无关控制参数的前视相机的无人机

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080043096A1 (en) * 2006-04-04 2008-02-21 Anthony Vetro Method and System for Decoding and Displaying 3D Light Fields
CN106534627A (zh) * 2015-09-10 2017-03-22 鹦鹉无人机股份有限公司 包括使用姿态无关控制参数的前视相机的无人机
CN105488810A (zh) * 2016-01-20 2016-04-13 东南大学 一种聚焦光场相机内外参数标定方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
TADD T. TRUSCOTT ET AL.: "Determining 3D Flow Fields via Multi-camera Light Field Imaging", 《JOVE JOURNAL》 *
YICHAO XU ET AL.: "Mobile Camera Array Calibration for Light Field Acquisition", 《COMPUTER SCIENCE》 *
万卫兵: "《智能视频监控中目标检测与识别》", 31 January 2010, 上海交通大学出版社 *
肖照林: "基于相机阵列的光场成像与深度估计方法研究", 《中国博士学位论文全文数据库 信息科技辑》 *
郭飞: "多视点立体图像校正技术研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242900A (zh) * 2018-08-01 2019-01-18 曜科智能科技（上海）有限公司 焦平面定位方法、处理装置、焦平面定位***及存储介质
CN109242900B (zh) * 2018-08-01 2021-09-21 曜科智能科技（上海）有限公司 焦平面定位方法、处理装置、焦平面定位***及存储介质
CN113923445A (zh) * 2021-10-13 2022-01-11 中国航发湖南动力机械研究所 用于移轴成像条件下的光场相机校准方法及***
CN113923445B (zh) * 2021-10-13 2023-09-26 中国航发湖南动力机械研究所 用于移轴成像条件下的光场相机校准方法及***

Similar Documents

Publication Publication Date Title
CN106462944B (zh) 高分辨率全景vr生成器及方法
CN109064404A (zh) 一种基于多相机标定的全景拼接方法、全景拼接***
CN110782394A (zh) 全景视频快速拼接方法及***
CN103826033B (zh) 图像处理方法、图像处理设备、图像拾取设备和存储介质
CN110111262A (zh) 一种投影仪畸变校正方法、装置和投影仪
CN106815805A (zh) 基于Bayer图像的快速畸变校正方法
CN110660107A (zh) 平面标定板、标定数据采集方法及***
CN108234989B (zh) 一种基于棋盘格标定板的会聚式集成成像拍摄方法
CN108776980A (zh) 一种面向微透镜光场相机的标定方法
CN107103626A (zh) 一种基于智能手机的场景重建方法
CN107358577B (zh) 一种立方体全景图的快速拼接方法
CN106357976A (zh) 一种全方位全景图像生成的方法和装置
CN109712232B (zh) 一种基于光场的物体表面轮廓三维成像方法
CN107995424A (zh) 基于深度图的光场全聚焦图像生成方法
CN103727898A (zh) 利用查找表修正非线性畸变的快速三维测量***及方法
CN107230233A (zh) 基于光束平差的远心镜头三维成像***的标定方法及装置
CN106651808A (zh) 一种鱼眼图转换方法及装置
CN102156986A (zh) 近红外摄像机的标定方法
CN111105493B (zh) 基于多视角立体视觉的人体手部三维采集方法
CN108846796A (zh) 图像拼接方法及电子设备
CN107527336A (zh) 镜头相对位置标定方法及装置
CN114820817A (zh) 基于高精度线激光3d相机的标定方法和三维重建方法
CN107977993A (zh) 一种针对光场阵列相机的基于重投影的重聚焦方法及***
CN110458960A (zh) 一种基于偏振的彩色物体三维重建方法
CN114897680B (zh) 融合光场子孔径图像与宏像素图像的角度超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180501