CN108364309B - 一种基于手持式光场相机的空间光场恢复方法 - Google Patents
一种基于手持式光场相机的空间光场恢复方法 Download PDFInfo
- Publication number
- CN108364309B CN108364309B CN201810135955.6A CN201810135955A CN108364309B CN 108364309 B CN108364309 B CN 108364309B CN 201810135955 A CN201810135955 A CN 201810135955A CN 108364309 B CN108364309 B CN 108364309B
- Authority
- CN
- China
- Prior art keywords
- light field
- micro
- imaging
- depth
- spread function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于手持式光场相机的空间光场恢复方法,包括:输入光场相机参数,输出物体空间上任一点的点扩散函数;离散化点扩散函数,并将光场相机成像重构为矩阵表达的线性***,输出光场相机单深度物体光场恢复模型;提取物体在各个微透镜下的成像结果,输入到单深度物体光场恢复模型中,输出每个微透镜下的成像结果在多个深度下的单深度光场恢复结果;计算单深度光场恢复结果在不同深度下恢复效果的相似度,提取相似度最高处所对应的深度为物体所在深度,然后再提取该深度下微透镜恢复的物体信息,输出物体空间光场。本发明提出的方法实现了准确的物体原始信息的恢复。
Description
技术领域
本发明涉及计算机视觉与数字图像处理领域,尤其涉及一种基于手持式光场相机的空间光场恢复方法。
背景技术
随着手持式光场相机的问世,光场相机由于其能够记录多维光场,在计算机视觉领域的应用引发了研究者们的广泛关注。光场相机通过在传统相机的主镜头与传感器之间***一块微透镜阵列,解耦了光线的空间和角度信息,完成了多维光场的记录。利用光场相机拍摄的单张原始光场图像,配合相应的渲染算法,在单次拍摄下,能够实现光场信息的恢复。
现有的光场相机的光场信息恢复基本上是对图像进行重聚焦;图像重聚焦过程主要应用光线追迹算法,由于物空间的一点发出的不同方向的光线,经过微透镜阵列后,落在传感器的不同位置上,光线追迹算法认为,通过对传感器相应位置上发出的光线进行逆向追踪,可以最终汇聚到物空间中的该点;通过追迹光线在不同深度下的光场,即完成了物体在不同深度下的光场恢复。该方法实现的光场恢复,是基于几何光线进行的,简单高效,但是其忽略了成像过程中衍射等影响,并且无法恢复出物体的原始物理尺寸,仅有相对深度下的光线强度关系。
除此之外,研究者们还基于光场相机的点扩散函数进行了图像质量的提升等相关工作,现有工作内容主要基于光场相机的点扩散函数进行反卷积,完成图像超分辨率重构等内容,并未涉及空间光场信息的恢复。并且其采用几何光学或者是简化的波动光学对光场相机进行点扩散函数的计算,准确度低。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为解决上述技术问题,本发明提出一种基于手持式光场相机的空间光场恢复方法,实现了准确的物体原始信息的恢复。
为了达到上述目的,本发明采用以下技术方案:
本发明公开了一种基于手持式光场相机的空间光场恢复方法,包括以下步骤:
A1:输入光场相机参数,包括主透镜的焦距和光瞳直径、微透镜的焦距和光瞳直径、以及主透镜平面与主透镜成像平面的距离、主透镜成像平面与微透镜平面间的距离、微透镜平面与传感器间的距离,输出物体空间上任一点的点扩散函数;
A2:离散化步骤A1得到的点扩散函数,并将光场相机成像重构为矩阵表达的线性***,输出光场相机单深度物体光场恢复模型;
与现有技术相比,本发明的有益效果在于:本发明的基于手持式光场相机的空间光场恢复方法根据光场相机成像特点将光场相机分为两个子成像***:主透镜成像和微透镜成像,基于菲涅尔衍射,实现光场相机点扩散函数的计算,通过对点扩散函数的离散化和重排,得到线性的光场相机成像***模型以及对应的单深度物体光场恢复算法;利用光场相机不同微透镜记录不同方向的光线特点,基于单深度物体光场恢复,完成每个微透镜下的物体在设置深度层下的光场恢复,通过对比多个微透镜的恢复效果,实现准确的物体原始信息的恢复。
附图说明
图1是本发明优选实施例的基于手持式光场相机的空间光场恢复方法的流程示意图;
图2是本发明优选实施例的手持式光场相机的结构示意图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。
如图1所示,本发明优选实施例公开了一种基于手持式光场相机的空间光场恢复方法,包括以下步骤:
A1:输入光场相机参数,包括主透镜的焦距f1和光瞳直径D1,微透镜的焦距f2和光瞳直径D2,以及主透镜平面20与主透镜成像平面30的距离d2,主透镜成像平面30与微透镜平面40间的距离d3.1,微透镜平面40与传感器50间的距离d3.2,输出物体空间10上任一点的点扩散函数;
其中主透镜和微透镜的光瞳直径用于获得主透镜和微透镜的瞳孔函数,输出物空间任一点点扩散函数h(x,y,x0,y0)的过程分为两部分:主透镜成像部分和微透镜阵列成像部分。
1)主透镜成像部分:距主透镜平面d1的物点(x0,y0)经过焦距为f1的主透镜后,其在距离主透镜平面d2处的主透镜成像平面(x1,y1)上的像即为主透镜成像部分的点扩散函数h1(x1,y1,x0,y0):
其中λ为光线波长,k为波数,(xmain,ymain)为主透镜所在平面,tmain(xmain,ymain)为主透镜相位矫正系数,其表达式如下:
其中P1(xmain,ymain)为主透镜孔径函数,对于直径为D1的主透镜,其P1(xmain,ymain)为:
2)微透镜成像部分:主透镜成像平面上任一点(x1,y1)的光线,经过由M×N个焦距为f2的微透镜阵列后,其传感器平面上的成像结果为微透镜成像部分的点扩散函数h2(x1,y1,x0,y0):
其中d3.1和d3.2分别为主透镜成像平面(x1,y1)与微透镜平面(xmicro,ymicro),微透镜平面(xmicro,ymicro)与传感器平面(x,y)之间的距离,tmicro(xmicro,ymicro)为单个微透镜相位矫正函数:
其中P2(xmicro,ymicro)为单个微透镜孔径函数,对于直径为的D2的微透镜其P2(xmicro,ymicro)为:
3)光线经过主透镜后其在主透镜成像平面上的像可作为微透镜成像的物体,合并主透镜成像部分点扩散函数h1(x1,y1,x0,y0)和微透镜成像部点扩散函数h2(x1,y1,x0,y0),即可得光场相机物空间任一点的点扩散函数h(x,y,x0,y0):
A2:离散化光场相机点扩散函数,并将光场相机成像重构为矩阵表达的线性***Im(x,y)=HPSF(x,y,x0,y0)Im0(x0,y0),输出光场相机单深度物体光场恢复模型;
基于光场点扩散函数h(x,y,x0,y0),传感器上的光场强度I(x,y)与物体光强的I(x0,y0)的关系如下:
I(x,y)=∫∫I(x0,y0)|h(x,y,x0,y0)|2dx0dy0
上式进行离散化,并且重新排布,得到矩阵形式下的单深度物体的线性成像模型:
Im(x,y)=HPSF(x,y,x0,y0)Im0(x0,y0)
其中Im0(x0,y0)为将(P2,Q2)的单深度物体重排为(P2×Q2,1)的列向量,Im(x,y)为将(P1,Q1)的传感器像素重排为(P1×Q1,1)的列向量,HPSF(x,y,x0,y0)为***矩阵,其第p列对应到物体向量Im0(x0,y0)的第p个元素代表的物***置(xp,yp)的点扩散函数重排成的列向量,细节表达式为:
基于线性的光场相机成像模型,光场相机单深度物体光场恢复模型如下:
其中τ为正则项系数,Im为传感器图像,Im0为恢复的单深度物体,HPSF为***矩阵。
A3:提取物体在M×N个微透镜下的成像结果Im j,j∈[1,M×N],输入单深度物体光场恢复模型中,输出每个微透镜下的成像结果Im j在多个连续深度层d11~d1n下的单深度光场恢复结果其中d11~d1n为物平面距离主透镜平面的距离d1的连续取值。
具体地,提取物体在M×N个微透镜下的成像结果Im j,j∈[1,M×N]时,可将一个物体分为多块进行恢复,只需要找到物体块在所有微透镜下的对应块即可。对于一个物体块,其在第j个微透镜下的成像结果为Im j,计算深度d11~d1n下的***矩阵对每个微透镜下物体块Im j进行恢复时,除了该微透镜下的物体块像素值进行保留,其他微透镜位置像素点以及该微透镜下非物体块的像素点置为0(也即其余像素点全部置零),输入到单深度物体恢复模型中,得到不同深度下的恢复效果
通过上述方法实现了准确的物体原始信息的恢复。
本发明的方法利用光场相机的微透镜记录不同方向的光线信息的特点,通过建立光场相机数学成像模型,对不同微透镜下物体成像结果进行多深度层光场恢复和对比,实现了物体的空间光场恢复。利用本发明可以恢复物体原始光场信息,主要体现在物体物理尺寸信息、位置信息和强度信息的恢复。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。
Claims (11)
1.一种基于手持式光场相机的空间光场恢复方法,其特征在于,包括以下步骤:
A1:输入光场相机参数,包括主透镜的焦距和光瞳直径、微透镜的焦距和光瞳直径、以及主透镜平面与主透镜成像平面的距离、主透镜成像平面与微透镜平面间的距离、微透镜平面与传感器间的距离,输出物体空间上任一点的点扩散函数;
A2:离散化步骤A1得到的点扩散函数,并将光场相机成像重构为矩阵表达的线性***,输出光场相机单深度物体光场恢复模型;
2.根据权利要求1所述的空间光场恢复方法,其特征在于,步骤A1中输出物体空间上任一点的点扩散函数包括:首先分别输出主透镜成像部分的第一点扩散函数和微透镜阵列成像部分的第二点扩散函数,然后将主透镜成像部分的第一点扩散函数和微透镜阵列成像部分的第二点扩散函数合并得到物体空间上任一点的点扩散函数。
3.根据权利要求2所述的空间光场恢复方法,其特征在于,其中:
1)输出主透镜成像部分的第一点扩散函数包括:距主透镜平面d1的物点(x0,y0)经过焦距为f1的主透镜后,该物点(x0,y0)在距离主透镜平面d2处的主透镜成像平面(x1,y1)上的像为主透镜成像部分的第一点扩散函数h1(x1,y1,x0,y0):
其中λ为光线波长,k为波数,(xmain,ymain)为主透镜所在平面,tmain(xmain,ymain)为主透镜相位矫正系数,表达式如下:
其中P1(xmain,ymain)为主透镜孔径函数,对于直径为D1的主透镜,P1(xmain,ymain)为:
2)输出微透镜阵列成像部分的第二点扩散函数包括:主透镜成像平面上任一点(x1,y1)的光线,经过由M×N个焦距为f2的微透镜阵列后,在传感器平面上的成像结果为微透镜成像部分的第二点扩散函数h2(x1,y1,x0,y0):
其中d3.1为主透镜成像平面(x1,y1)与微透镜平面(xmicro,ymicro),d3.2为微透镜平面(xmicro,ymicro)与传感器平面(x,y)之间的距离,tmicro(xmicro,ymicro)为单个微透镜相位矫正函数,表达式为:
其中P2(xmicro,ymicro)为单个微透镜孔径函数,对于直径为D2的微透镜P2(xmicro,ymicro)为:
3)合并主透镜成像部分的第一点扩散函数h1(x1,y1,x0,y0)和微透镜成像部的第二点扩散函数h2(x1,y1,x0,y0),得到光场相机物空间任一点的点扩散函数h(x,y,x0,y0):
4.根据权利要求1所述的空间光场恢复方法,其特征在于,步骤A2中离散化步骤A1得到的点扩散函数,并将光场相机成像重构为矩阵表达的线性***具体包括:
基于光场相机物空间任一点的点扩散函数h(x,y,x0,y0),传感器上的光场强度I(x,y)与物体光强的I(x0,y0)的关系如下:
I(x,y)=∫∫I(x0,y0)|h(x,y,x0,y0)|2dx0dy0
对上式进行离散化并且重新排布,得到矩阵表达的线性***:
Im(x,y)=HPSF(x,y,x0,y0)Im0(x0,y0)
其中,Im0(x0,y0)为将(P2,Q2)的单深度物体重排为(P2×Q2,1)的列向量,Im(x,y)为将(P1,Q1)的传感器像素重排为(P1×Q1,1)的列向量,HPSF(x,y,x0,y0)为***矩阵。
7.根据权利要求1所述的空间光场恢复方法,其特征在于,步骤A3中提取物体在M×N个微透镜下的成像结果Im j,j∈[1,M×N]包括:将一个物体分为多个物体块进行恢复,然后找到各个物体块在所有微透镜下的对应块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810135955.6A CN108364309B (zh) | 2018-02-09 | 2018-02-09 | 一种基于手持式光场相机的空间光场恢复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810135955.6A CN108364309B (zh) | 2018-02-09 | 2018-02-09 | 一种基于手持式光场相机的空间光场恢复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108364309A CN108364309A (zh) | 2018-08-03 |
CN108364309B true CN108364309B (zh) | 2020-09-01 |
Family
ID=63005643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810135955.6A Active CN108364309B (zh) | 2018-02-09 | 2018-02-09 | 一种基于手持式光场相机的空间光场恢复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108364309B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110634165B (zh) * | 2019-03-25 | 2021-10-29 | 清华大学深圳研究生院 | 一种基于rgb三通道信息融合的光场图像去散射方法 |
CN110008585B (zh) * | 2019-04-02 | 2022-12-23 | 清华大学深圳研究生院 | 一种基于动量梯度的散射波前光场估计加速方法 |
CN110047048B (zh) * | 2019-04-17 | 2021-03-02 | 清华大学深圳研究生院 | 一种基于mse选优的相位恢复改进算法 |
CN110047430B (zh) * | 2019-04-26 | 2020-11-06 | 京东方科技集团股份有限公司 | 光场数据重构方法、光场数据重构器件及光场显示装置 |
CN111258046A (zh) * | 2020-02-26 | 2020-06-09 | 清华大学 | 基于前置微透镜阵列的光场显微***及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050662A (zh) * | 2014-05-30 | 2014-09-17 | 清华大学深圳研究生院 | 一种用光场相机一次成像直接获取深度图的方法 |
CN104662589A (zh) * | 2012-08-21 | 2015-05-27 | 派力肯影像公司 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的***和方法 |
CN106373152A (zh) * | 2016-09-18 | 2017-02-01 | 清华大学深圳研究生院 | 一种基于手持式光场相机的距离估计方法 |
CN107103621A (zh) * | 2017-04-22 | 2017-08-29 | 许晟明 | 基于光场单相机的非合作航天器三维位姿测量*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10593054B2 (en) * | 2016-06-30 | 2020-03-17 | Intel Corporation | Estimation of 3D point candidates from a location in a single image |
-
2018
- 2018-02-09 CN CN201810135955.6A patent/CN108364309B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104662589A (zh) * | 2012-08-21 | 2015-05-27 | 派力肯影像公司 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的***和方法 |
CN104050662A (zh) * | 2014-05-30 | 2014-09-17 | 清华大学深圳研究生院 | 一种用光场相机一次成像直接获取深度图的方法 |
CN106373152A (zh) * | 2016-09-18 | 2017-02-01 | 清华大学深圳研究生院 | 一种基于手持式光场相机的距离估计方法 |
CN107103621A (zh) * | 2017-04-22 | 2017-08-29 | 许晟明 | 基于光场单相机的非合作航天器三维位姿测量*** |
Non-Patent Citations (1)
Title |
---|
Image Formation Analysis and Light Field Information Reconstruction for Plenoptic Camera 2.0;Li Liu, Xin Jin, Qionghai Dai;《Advances in Multimedia Information Processing-PCM 2017》;20170928;第609-617页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108364309A (zh) | 2018-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108364309B (zh) | 一种基于手持式光场相机的空间光场恢复方法 | |
Sun et al. | Learning rank-1 diffractive optics for single-shot high dynamic range imaging | |
Wang et al. | LFNet: A novel bidirectional recurrent convolutional neural network for light-field image super-resolution | |
Zhang et al. | Residual networks for light field image super-resolution | |
CN106846463B (zh) | 基于深度学习神经网络的显微图像三维重建方法及*** | |
WO2018049949A1 (zh) | 一种基于手持式光场相机的距离估计方法 | |
Heber et al. | Variational shape from light field | |
Vollmer | Infrared thermal imaging | |
Panek et al. | Meshloc: Mesh-based visual localization | |
CN109413407A (zh) | 高空间分辨率光场采集装置与图像生成方法 | |
CN110662014B (zh) | 一种光场相机四维数据大景深三维显示的方法 | |
CN104363369A (zh) | 一种光场相机的图像恢复方法及装置 | |
TWI791405B (zh) | 針對可變焦攝影機的深度估計方法、電腦系統及電腦可讀取儲存媒體 | |
CN110462679B (zh) | 快速多光谱光场成像方法和*** | |
Zhou et al. | AIF-LFNet: All-in-focus light field super-resolution method considering the depth-varying defocus | |
Fan et al. | Wide-angle image rectification: A survey | |
CN111127379B (zh) | 光场相机2.0的渲染方法及电子设备 | |
Tan | Image-based modeling | |
KR102614908B1 (ko) | 이미지 복원 방법 및 장치 | |
CN108805937B (zh) | 一种单相机偏振信息预测方法 | |
Lee et al. | Enhancement of three-dimensional image visualization under photon-starved conditions | |
Farhood et al. | 3D point cloud reconstruction from a single 4D light field image | |
US11416972B2 (en) | System and method for reflection removal using dual-pixel sensor | |
Jayasuriya | Image sensors | |
Shi et al. | Stereo waterdrop removal with row-wise dilated attention |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |