CN110662014A - 一种光场相机四维数据大景深三维显示的方法 - Google Patents

一种光场相机四维数据大景深三维显示的方法 Download PDF

Info

Publication number
CN110662014A
CN110662014A CN201910909861.4A CN201910909861A CN110662014A CN 110662014 A CN110662014 A CN 110662014A CN 201910909861 A CN201910909861 A CN 201910909861A CN 110662014 A CN110662014 A CN 110662014A
Authority
CN
China
Prior art keywords
eia
image
light field
depth
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910909861.4A
Other languages
English (en)
Other versions
CN110662014B (zh
Inventor
艾灵玉
石肖
周彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN201910909861.4A priority Critical patent/CN110662014B/zh
Publication of CN110662014A publication Critical patent/CN110662014A/zh
Application granted granted Critical
Publication of CN110662014B publication Critical patent/CN110662014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种光场相机四维数据大景深三维显示的方法,属于图像的三维成像领域。本发明方法首先获取包含三维物体信息的四维数据,通过放大和旋转使子图与像素点网格对齐,得到标准六边形排列光场图像;再转变为元素图像EIA以匹配DPII显示***,对光场图像按照三维物体的深度分割场景,对处于不同平面的三维物体通过深度调整算法进行深度调整,将调整后各物体的光场图像融合为一张并对其在DPII***上进行三维显示。本发明方法获得具有前后物体极大视差,大景深的裸眼三维显示效果,解决了关于光场相机采集过程和显示过程中出现中景深缩小、视差不明显的问题。

Description

一种光场相机四维数据大景深三维显示的方法
技术领域
本发明涉及一种光场相机四维数据大景深三维显示的方法,属于图像的三维成像领域。
背景技术
近年来,三维成像技术一直是光学成像的研究热点,其中光场成像技术因其可以通过单次曝光记录三维场景的信息而被视为一种有效的三维成像解决方案。基于光场成像的光场相机物体相较传统相机在主透镜和传感器之间***微透镜阵列,通过主透镜平面和微透镜平面表示光场L(u,v,x,y),其中(u,v)表示光线的方向,(x,y)表示光线的位置。相机记录的原始光场图像L(u,v,x,y),可以通过光线的方向及位置关系,实现记录面前后的数字重对焦。光场成像目前已经被应用与深度提取,三维测绘,运动检测等方面。
虽然光场相机记录了三维的信息,但目前光场四维数据的主要显示手段为二维的重聚焦,相当于普通相机在同一深度方向上进行多次采集,并没有将三维信息直接进行显示。然而这种二维重聚焦显示结果存在相对深度和视差减小的问题,无法得到裸眼三维显示的效果,从而使得光场相机的使用受到限制。
发明内容
为了解决上述问题,消除相对深度和视差减小的影响,本发明构建了一种光场相机四维数据大景深三维显示的方法。将光场相机采集到的四维数据进行大景深的三维显示,使用移动手持光场相机采集物体的光场信息,转化为匹配DPII显示***((DepthPriority Integral Imaging深度优先积分成像)的EIA(Element Image Array,元素图像阵列)并使用正方形微透镜阵列三维显示出来。
光场相机由于自身的相机成像特性,记录的场景的三维信息在深度上是被缩小的,且缩小的倍数是随着物体距离的增加而增加的,在对光场相机记录的信息进行三维显示时也需要对其进行深度的调整。
本发明的第一个目的是提供一种利用光场相机四维数据进行大景深三维显示的方法,包括如下步骤:
S1,利用光场相机自身存储的白图像建立白图像数据集;
S2,采集光场图像Lo,在S1建立的白图像数据集中匹配与采集光场图像相同对焦信息(zoomstep)和聚焦信息(focusstep)参数进行解码,获得标准六边形排列的的光场图像Ls
S3,将光场图像Ls转变为正交网格形排列,得到正方形排列的元素图像阵列EIAo
S4,对正方形排列的EIAo中不同深度的物体进行分割,得到记录不同物体的EIA集合EIAobj1,EIAobj2,…,EIAobjn,然后利用深度映射算法对S43得到的EIA进行重新映射,得到匹配物体深度的光场图像集EIAopt1,EIAopt2,…,EIAoptn;所述深度映射算法包括:在光场相机中,微透镜面与主透镜面的间距为D,此时所记录的光场图像为在中间像空间内距离主透镜平面D处的光场信息LD;若光线继续向后传播至D′处,设α=D′/D,则深度D′处的的光线L(u,v,x,y)可以由记录的光线表示:
通过改变微透镜平面的位置改变光场相机内部像点和微透镜平面的距离,记录不同深度的物体,得到匹配物体深度的光场图像集,其中α的值随着物体深度的不同而变化,具体可以由下式求解:
其中F为主透镜的焦距,Dz为物体与光场相机主透镜的距离,均为已知值。根据上式求出每一个物体所处的深度对应的α值,对其进行深度映射。
S5,利用深度位置权重算法将S4得到的光场图像集EIAopt1,EIAopt2,…,EIAoptn融合为一张元素图像EIAopt,并在DPII***中显示;其中深度位置权重算法为:将步骤(4)所得EIA图像集合按照物体的深度位置进行排序,从距离相机最近的物体开始依次叠加,对于单个的像素点,当前一张EIA融合之后在此处的值为物体时,此像素点在此位置的权重为0,当前一张EIA融合之后在此处的值为背景时,此像素点在此处的权重为1,最终将所有的EIA在此处的像素点按照下式融合:
EIAPopt=w1·EIAPopt1+w2·EIAPopt2+…+wn·EIAPoptn
其中EIAP为EIA中的像素点,w为对用像素点的权重。以上式遍历所有的像素点得到EIAopt
在本发明的一种实施方式中,一种光场相机四维数据大景深三维显示方法具体包含以下步骤:
S1:利用光场相机自身存储的白图像,建立白图像数据集;
S2:在S1建立的白图像数据集中匹配与采集光场图像LoLO相同zoomstep(变焦信息)和focusstep(聚焦信息)进行解码,获得标准六边形排列的光场图像Ls
S3:将S3中得到的六边形排列的光场图像转变为正交网格形排列,匹配DPII***;
S4:对图像中不同深度的物体进行分割,按照物体的实际深度求解α并进行重新映射,得到大景深的EIA集合EIAopt1,EIAopt2,…,EIAoptn,其中1,…,n对应不同的物体;
S5:将S4获得的不同深度物体的EIA集合使用深度位置权重算法进行融合为一张元素图像EIAopt,最后在DPII***中显示。
在本发明的一种实施方式中,所述深度映射算法是在光场相机中,微透镜面与主透镜面的间距为D,如图2所示,此时所记录的光场图像为在中间像空间内距离主透镜平面D处的光场信息。若光线继续向后传播至D′处,设α=D′/D,则深度D′处的的光线L(u,v,x,y)可以由记录的光线表示:
通过改变微透镜平面的位置改变光场相机内部像点和微透镜平面的距离,记录不同深度的物体,得到匹配物体深度的光场图像集,其中α的值随着物体深度的不同而变化,具体可以由下式求解;
Figure BDA0002214385770000032
根据上式求出每一个物体所处的深度对应的α值,对其进行深度映射。
在本发明的一种实施方式中,所述S1中白图像数据集的采集方法是:使用光场相机自身存储的白图像数据集。
在本发明的一种实施方式中,步骤S2中获得标准六边形排列的光场图像LS的方法包括如下步骤:
S2-1,移除白图像中低于黑色阈值的所有像素点,这类像素点没有采集到光线信息,对保留下来的数据进行min-max标准化处理;
S2-2,在标准化处理的图像中,遍历找到最亮的,即值为1的像素点,标记为光场图像子图的中心点;
S2-3,根据S1-2中得到的中心点模型,计算子图水平和竖直方向上的个数Xmax、Ymax,计算每个子图的外接矩形边长
Figure BDA0002214385770000041
对中心点阵列的行和列进行一阶线性拟合得到拟合斜率kx1,kx2,…,kxn,ky1,ky2,…,ky3
S2-4,根据S2-3中的xspace和yspace计算将子图放大到像素点整数倍所需的放大倍数,根据S12中计算的水平和竖直一阶拟合直线斜率求得整体旋转得最佳斜率
Figure BDA0002214385770000042
S2-5.根据S2-4中求得的放大倍数和旋转斜率对初始光场图像LO进行放大和旋转,使子图中心对齐像素点中心,得到标准六边形排列的光场图像Ls
在本发明的一种实施方式中,步骤S3中所述的将六边形排列的光场图像转变为正交网格排列的具体步骤包括:
S3-1,在对齐的标准光场图像Ls中,根据子图的中心点和半径确定子图在光场图像上的区域范围,以子图为单位按照正交网格来排列光场图像Ls
S3-2,对S3-1得到的图像进行重新采样,在水平方向上进行插值;
S3-3,对得到的正交网格排列的圆形子图取中间最大内接正方形区域,得到正方形排列的EIAo
在本发明的一种实施方式中,步骤S4具体包括:
S4-1,使用正交投影转换算法将EIAo重新映射为正交投影图像Ot
S4-2,对正交投影图像Ot的每一个子图像按照包含的物体进行图像分割得到正交投影集Oobj1,Oobj2,…,Oobjm,其中n对应不同的物体,每一个分割得到的子图包含了同一深度的三维物体,且大小与原子图相同;
S4-3,将分割完成的正交投影集Oobj1,Oobj2,…,Oobjm,使用正交投影转换算法转化为EIA集合EIAobj1,EIAobj2,…,EIAobjn
S4-4,使用深度映射算法对S43得到的EIA进行重新映射,光场相机采集的三维场景在经过主透镜之后,其深度在中间像空间里是被缩小的,且缩小倍数随着物体实际深度的增加而增加;通过对转化而来的每一张EIA使用深度映射算法进行不同深度的映射,得到匹配物体深度的光场图像集EIAopt1,EIAopt2,…,EIAoptn
在本发明的一种实施方式中,所述正交投影转换算法是将所有EI中相同位置的像素点取出放入同一正交投影子图区域中得到正交投影图像。比如,在一有个M×M个EI,每个EI中有N×N个像素的EIA中,将所有EI中坐标位置为(1,1)的像素点取出,组成一个新的正交投影子图,大小为M×M个像素,放置在正交投影阵列的坐标(1,1)处,对EI中所有的像素点执行相同的操作,得到子图数为N×N,每个子图中有M×M个像素的正交投影图像。
在本发明的一种实施方式中,步骤S4-4中为了调整三维场景在深度上的不均匀缩放,通过映射到不同距离的光场来改变中间像空间中某一深度的像到微透镜平面的距离,映射距离为D′,其与原主透镜和微透镜之间的距离D之间的比例α可以通过待调整物体到相机的距离和相机本身的参数求解,使用上述方法对所有采集到的物体进行调整。
上述显示方法在三维成像领域中的应用:传统的集成成像使用微透镜阵列采集的方法只能获取位于微透镜单侧的三维信息,使用光场相机可以记录相机焦平面前后两面的信息。
本发明的第二个目的是提供一种大景深三维显示***,所述***包括:数据处理单元和显示装置,所述显示装置包括液晶显示器组合正方形微透镜阵列;所述数据处理装置包括:采集光场图像,然后利用上述的解码,深度分割、映射,得到大景深信息合集,最后深度权重合并得到三维图像。
本发明的第三个目的是提供一种安装上述显示***的相机设备。
本发明的有益效果:
本发明可以将光场相机采集的四维光场数据进行三维显示,并且有效改善光场相机在记录三维物体信息时由于主透镜在深度上的不均匀缩放导致的深度不均匀压缩,显示视差小的问题。通过深度调整,提供大的显示视差。
附图说明
图1为光场相机数据采集并三维显示流程图;
图2为光场相机深度调整示意图;
图3(a)为原始采集的光场图像及其局部放大图,图3(b)为由光场图像转化而来未经深度调整的EIA,图3(c)为经过深度调整的EIA;
图4为正交投影算法进行深度调整实验图,其中图4(a)、(d)为正交投影图像,图4(b)、(e)为正交投影子图像,图4(c)、(f)左侧为包含单个物体的正交投影图像,中间为由左侧图像转化而来的EIA,右侧为中间的EIA经过深度调整后得到的包含单个物体的EIA;
图5为多视角三维显示效果对比图,其中图5(a)、(d)为原始光场图像在微透镜阵列下显示的效果图。图5(b)、(e)为未经过深度调整的EIA在微透镜阵列下显示的效果图。图5(c)、(f)为深度调整后的EIA在微透镜阵列下显示的效果图。
具体实施方式
下面将结合本发明实施例的附图,对本发明实施例中的技术方案进行清楚、完整地描述。应当理解,一下所描述的施例仅作说明本发明只用,并不用来限制本发明的保护范围。
本发明实施例中使用lytro一代光场相机进行数据采集,最终的结果使用平板电脑和微透镜阵列进行显示,采集***的参数如表1所示:
表1采集***的参数
Figure BDA0002214385770000061
按照表1所示的位置参数采集到光场图像之后,转化为EIA,在显示***中显示,显示***的硬件参数规格如表2所示:
表2显示***的硬件参数规格
实施例1光场相机采集三维场景并进行三维显示
具体过程如图1所示,包括以下步骤:
S1:利用光场相机自身存储的不同拍摄条件下采集的白图像,建立白图像数据集;
导入lytro光场相机存储的白图像数据集,读取相机在拍摄这些白图像时的对焦与聚焦信息,建立数据库。
S2:在S1建立的白图像数据集中匹配与采集到的光场图像Lo具有相同的zoomstep和focusstep的白图像进行解码,获得标准六边形排列的光场图像Ls
移除白图像中所有值低于15的没有采集到信息的黑色像素点,对保留下来的数据在0-1之间进行min-max标准化处理,在经过在标准化处理的图像中,遍历找到最亮的,即值为1的像素点,标记为光场图像子图的中心点;
根据得到的中心点模型,计算子图水平和竖直方向上的个数Xmax与Ymax,计算每个子图的外接矩形边长
Figure BDA0002214385770000072
对中心点阵列的行和列进行一阶线性拟合得到拟合斜率kx1,kx2,…,kxn,ky1,ky2,…,kyn。根据计算得到的xspace和yspace计算将子图放大到像素点整数倍所需的放大倍数,根据S12中计算的水平和竖直一阶拟合直线斜率求得整体旋转得最佳斜率
Figure BDA0002214385770000073
使用求得的最佳放大倍数和旋转斜率对拍摄的光场图像进行放大和旋转,使子图中心对齐像素点中心,得到标准六边形排列的光场图像Ls,如图3(a)所示。
S3:将S3中的得到的六边形排列的光场图像LS转变为匹配DPII显示***的EIA;
在水平方向上进行插值,即在光场图像L(u,v,x,y),上沿x方向进行一维线性插值,使图像恢复原本记录时的横纵比,在u方向上进行一维线性插值,使得子图的像素点分布变为正方形,对最终得到的正交网格排列的圆形子图取中间最大内接正方形区域,最终的到匹配DPII显示***的元素图像EIAO,在本实施例中,为了匹配显示器的大小,将得到的EIA裁剪为120×120个子图像,如图3(b)所示。
S4:将图像中不同深度的物体分割到单独的EIA中,按照物体的实际深度计算对应的α后对各EIAEIAO进行重新映射,得到深度校正的EIA集合;
其中,如图2所示,光场相机主透镜到微透镜阵列的距离为D,微透镜直径为d,焦距为f,主透镜平面记录四维光场信息中的(u,v),微透镜平面记录四维光场信息中的(x,y)
此时所记录的光场图像为在中间像空间内距离主透镜平面D处的光场信息,若光线继续向后传播至D′处,设α=D′/D,则深度D′处的光线L(u,v,x,y)可以由记录的光线表示:
Figure BDA0002214385770000081
通过改变微透镜平面的位置改变光场相机内部像点和微透镜平面的距离,记录不同深度的物体,得到匹配物体深度的光场图像集,其中α的值随着物体深度的不同而变化,具体可以由下式求解;
Figure BDA0002214385770000082
物体深度的不同而变化,根据上式求出每一个物体所处的深度对应的α值,对其进行深度映射。其中F为主透镜的焦距,Dz为物体与光场相机主透镜的距离,均为已知值。
使用正交投影转化算法将EIAo重新映射为正交投影图像Ot,如图4(a)、(e)为转化而来的正交投影图像,对正交投影图像Ot的每一个子图像进行图像分割,如图4(b)、(e)所示为正交投影图像的子图放大图,将其中包含的物体提取出后放到单个的子图中,得到各自包含一个物体的两个子图,对正交投影图像Ot中包含的所有的子图分割之后得到如图4(c)、(f)左侧所示的两张正交投影集Oobj1,Oobj2,每一个分割得到的子图包含了同一深度的三维物体,且正交投影图像的大小与相同;
然后将分割完成的正交投影集Oobj1,Oobj2用相同的正交投影转换算法转化为如图4(c)、(f)中间列所示的EIA集合EIAobj1,EIAobj2,…,EIAobjn,通过物体采集时记录的距离和相机本身参数D和F由公式(2)计算出两物体分别对应的α值,最后使用根据公式(1)的映射关系对S43得到的光场图像进行重新映射,得到图4(c)、(f)右图所示的匹配物体深度的EIA集合EIAopt1,EIAopt2,…,EIAoptn
S5:将S4获得的不同深度物体的光场图像使用深度位置权重算法进行融合为一张光场图像后再DPII***中显示;对于由EIAo分割重新映射转化而来的EIA集合EIAopt1,EIAopt2,…,EIAoptn进行融合,创建与待融合EIA相同大小的空白图像EIAopt,遍历EIAopt中的每一个像素点求解其值,当某一位置上EIAopt1的值代表物体,则EIAopt1在此位置的像素点权重为1,EIAopt2在此位置的像素点权重为0。当某一位置上EIAopt1的值代表背景,则EIAopt1在此位置的像素点权重为0,EIAopt2在此位置的像素点权重为1。最终此点的值为EIAopt1在此点的值与在此点的权重相乘加上EIAopt2此点的值与在此点的权重相乘。对所有的像素点进行上述操作得到最终的大景深元素图像EIAopt,如图3(c)所示。
最终得到如图4(c)(f)所示的匹配物体深度的大景深元素图像EIAopt,在DPII显示***中获得与真实场景中的物体相似的显示视差,显示效果如图5所示。图5(a)、(e)为使用光场相机直接采集的数据在DPII显示***下进行显示的效果。由图中可以看出,由于子图排列方式与微透镜排列方式不同,图像整体模糊且边缘突起,在多视角情况下物体的相对位置几乎没有发生改变。图5(b)、(f)为从光场图像转化而来的EIA在未经深度调整的情况下进行显示,由途中可以看出,EIA比较好的匹配了微透镜阵列,然而未经过深度调整,在多视角情况显示时物体的相对位置同样几乎没有发生改变。图5(c)、(g)为经过深度调整的EIA,由图中可得在多视角显示时视差明显,三维显示效果较好。
对比例1
目前对光场的研究主要集中在深度提取和重聚焦上,Jeong等人(Y.Jeong,J.Kim,J.Yeom,C.-K.Lee and B.Lee,“Real-time depth controllable integral imagingpickup and reconstruction method with a light field camera,”Appl.Opt.54,10333-10341(2015))使用光场相机作为采集设备进行三维显示,但在深度失真上未进行处理,显示效果与图5(b)一致。
对图5(b)和图5(c)所使用的EIA分别进行计算机重建,以求这两组EIA所记录的物体深度,重建结果如表3所示:
表3不同方式处理的显示效果
Figure BDA0002214385770000101
由表3可以得出,在两实验组未进行深度调整时,尽管两组实验中的物体间隔不同,但光场相机的微透镜阵列直接记录的深度在计算机重建时两组中的两物体重建距离十分接近,而经过深度调整后,两实验组中的两物体间距明显增加。
综上所述,本发明提出了一种光场相机四维数据大景深三维显示的方法,首先利用光场相机采集光场图像;然后对采集到的光场图像进行校正,对齐子图与像素点网格;将校正后的标准六边形排列光场图像转化为EIA以匹配DPII显示***;对得到的EIA0进行分别分割,重新映射深度关系再融合以增大显示视差;最后将得到的具有较大视差的图像通过DPII显示***进行三维显示。
实施例的实测结果表明,上述实例所采用的三维采集-显示方法可以显示三维物体像,并且可以消除采集过程中出现的相对深度不均匀和视差减小的影响。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则精神之内,所作的任何修改,等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种光场相机四维数据大景深三维显示方法,其特征在于,包含以下步骤:
(1)解码:获取标准六边形排列的光场图像Ls(u,v,x,y),转变为正方形排列的元素图像EIA;
(2)深度分割映射:将元素图像EIA转化为正交投影图像,对图像中处于不同深度的物体进行分割得到EIAobj1,EIAobj2,…,EIAobjn,通过深度映射调整微透镜阵列记录面与主透镜面的距离来改变中间像空间内的像与微透镜阵列面的距离,调整的目标距离为D′,原距离为D,D′/D=α,根据公式
Figure FDA0002214385760000011
计算得到D′位置的图像信息,然后对光场图像进行重新映射,得到不同深度物体的EIA集合EIAopt1,EIAopt2,…,EIAoptn
(3)大景深信息获取:步骤(2)获得的不同深度物体的EIA集合使用深度位置权重算法进行融合为一张元素图像EIAopt,然后在DPII***中进行显示,即实现大景深三维显示;所述深度位置权重算法包括:将步骤(2)获得的EIA图像集合按照物体的深度位置进行排序,从距离相机最近的物体开始依次叠加,对于单个的像素点,当前一张EIA融合之后在此处的值为物体时,此像素点在此位置的权重为0,当前一张EIA融合之后在此处的值为背景时,此像素点在此处的权重为1,最终将所有的EIA在此处的像素点按照下式融合:EIAPopt=w1·EIAPopt1+w2·EIAPopt2+…+wn·EIAPoptn,,其中EIA P为EIA中的像素点,w为像素点的权重;所有的像素点进行权重,得到最终的大景深元素图像EIAopt
2.根据权利要求1所述的方法,其特征在于,所述步骤(1)中对图像中处于不同深度的物体进行分割包括如下步骤:
(1)使用正交投影转换算法将元素图像EIA映射为正交投影图像Ot
(2)对正交投影图像Ot的每一个子图像进行图像分割得到正交投影集Oobj1,Oobj2,…,Oobjn,其中n对应不同的物体,每一个分割得到的子图包含了同一深度的三维物体,且大小与原子图相同;
(3)将分割完成的正交投影集Oobj1,Oobj2,…,Oobjn,使用正交投影转换算法转化为EIA集合EIAobj1,EIAobj2,…,EIAobjn
(4)使用深度映射算法对步骤(3)得到的EIA进行重新映射,对于EIA集合EIAobj1,EIAobj2,…,EIAobjn中的各EIA,通过深度映射调整微透镜阵列记录面与主透镜面的距离改变中间像空间内的像与微透镜阵列面的距离,调整的目标距离为D′,原距离为D,其比值D′/D=α,由LD′到LD满足映射关系:
Figure FDA0002214385760000021
计算得到LD′,重新映射,得到不同深度物体的EIA集合EIAopt1,EIAopt2.L,EIAoptn
3.根据权利要求2所述的方法,其特征在于,α是通过每个物体到光场相机的距离和光场相机本身的参数计算:其中F为主透镜的焦距,Dz为真实空间中的物体到光场相机的距离。
4.根据权利要求1-3任一所述的方法,其特征在于,所述光场图像Ls(u,v,x,y)的获取方法是利用光场相机自身存储的白图像,建立白图像数据集,然后在建立的白图像数据集中匹配具有与采集光场图像Lo相同对焦信息和聚焦信息的白图像辅助解码,获得标准六边形排列的光场图像Ls(u,v,x,y)。
5.根据权利要求1所述的方法,其特征在于,标准六边形排列的光场图像L(u,v,x,y)的光场图像的获取方法具体包括如步骤:
(1)移除白图像中所有没有采集到信息的黑色像素点,对保留下来的数据进行min-max标准化处理;
(2)在标准化处理的图像中,遍历找到最亮的,即值为1的像素点,标记为光场图像子图的中心点;
(3)根据步骤(2)中得到的中心点模型,计算子图水平和竖直方向上的个数Xmax、Ymax,计算每个子图的外接矩形边长对中心点阵列的行和列进行一阶线性拟合得到拟合斜率kx1,kx2,…,kxn,ky1,ky2,…,kyn
(4)根据步骤(3)中的xspace和yspace计算将子图放大到像素点整数倍所需的放大倍数,根据步骤(2)中计算的水平和竖直一阶拟合直线斜率求得整体旋转得斜率
Figure FDA0002214385760000024
(5)根据步骤(4)中求得的放大倍数和旋转斜率对光场图像L进行放大和旋转,使子图中心对齐像素点中心,得到标准六边形排列的光场图像Ls
6.根据权利要求1所述的方法,其特征在于,所述将标准六边形排列的光场图像Ls转变为正方形排列的元素图像EIA的方法为:
(1)在标准光场图像Ls中,根据子图的中心点和半径确定子图在光场图像上的区域范围,以子图为单位按照正交网格来排列光场图像Ls
(2)对步骤(1)所得的图像进行重新采样,在水平方向上进行插值;
(3)对得到的正交网格排列的圆形子图取中间最大内接正方形区域,得到正方形排列的元素图像EIA。
7.根据权利要求根据权利要求1所述的方法,其特征在于,步骤(3)具体包括如下步骤:
(1)创建与EIA集合中的EIA相同大小的空白图像EIAopt
(2)对于图像中的某一位置,其像素点的值为:
EIAPopt=w1·EIAPopt1+w2·EIAPopt2+…+wn·EIAPoptn
其中EIA P为此位置的像素点值,w为对应相乘项的权重,EIA集合EIAopt1,EIAopt2,…,EIAoptn中的EIA在此位置的像素点权重遵循以下原则:当前一张EIA融合之后在此处的值为物体时,此像素点在此位置的权重为0,当前一张EIA融合之后在此处的值为背景时,此像素点在此处的权重为1;
(3)遍历EIAopt中所有的像素点,求出最终的EIAopt
8.权利要求1-7任一所述方法在光场成像领域中的应用。
9.一种大景深三维显示***,其特征在于,所述***包括:数据处理单元和显示装置,所述显示装置包括液晶显示器组合正方形微透镜阵列;所述数据处理装置是利用权利要求1所述的方法中的解码,深度分割、映射,得到大景深信息合集,最后深度权重合并得到三维图像。
10.一种含有权利要求9所述显示***的相机设备。
CN201910909861.4A 2019-09-25 2019-09-25 一种光场相机四维数据大景深三维显示的方法 Active CN110662014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910909861.4A CN110662014B (zh) 2019-09-25 2019-09-25 一种光场相机四维数据大景深三维显示的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910909861.4A CN110662014B (zh) 2019-09-25 2019-09-25 一种光场相机四维数据大景深三维显示的方法

Publications (2)

Publication Number Publication Date
CN110662014A true CN110662014A (zh) 2020-01-07
CN110662014B CN110662014B (zh) 2020-10-09

Family

ID=69039143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910909861.4A Active CN110662014B (zh) 2019-09-25 2019-09-25 一种光场相机四维数据大景深三维显示的方法

Country Status (1)

Country Link
CN (1) CN110662014B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427166A (zh) * 2020-03-31 2020-07-17 京东方科技集团股份有限公司 一种光场显示方法及***、存储介质和显示面板
CN111489323A (zh) * 2020-04-09 2020-08-04 中国科学技术大学先进技术研究院 双光场图像融合方法、装置、设备及可读存储介质
CN113225492A (zh) * 2021-02-05 2021-08-06 深圳臻像科技有限公司 一种光场单元图像生成方法、***及存储介质
CN113238472A (zh) * 2021-04-23 2021-08-10 武汉工程大学 基于频域位移的高分辨率光场显示方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966289A (zh) * 2015-06-12 2015-10-07 北京工业大学 一种基于4d光场的深度估计方法
CN106257537A (zh) * 2016-07-18 2016-12-28 浙江大学 一种基于光场信息的空间深度提取方法
CN107578437A (zh) * 2017-08-31 2018-01-12 深圳岚锋创视网络科技有限公司 一种基于光场相机的深度估计方法、***及便携式终端
CN109447930A (zh) * 2018-10-26 2019-03-08 太原科技大学 小波域光场全聚焦图像生成算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966289A (zh) * 2015-06-12 2015-10-07 北京工业大学 一种基于4d光场的深度估计方法
CN106257537A (zh) * 2016-07-18 2016-12-28 浙江大学 一种基于光场信息的空间深度提取方法
CN107578437A (zh) * 2017-08-31 2018-01-12 深圳岚锋创视网络科技有限公司 一种基于光场相机的深度估计方法、***及便携式终端
CN109447930A (zh) * 2018-10-26 2019-03-08 太原科技大学 小波域光场全聚焦图像生成算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
潘磊: "《基于光场相机的深度获取及应用研究》", 《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427166A (zh) * 2020-03-31 2020-07-17 京东方科技集团股份有限公司 一种光场显示方法及***、存储介质和显示面板
US11825064B2 (en) 2020-03-31 2023-11-21 Boe Technology Group Co., Ltd. Light field display method and system, storage medium and display panel
CN111489323A (zh) * 2020-04-09 2020-08-04 中国科学技术大学先进技术研究院 双光场图像融合方法、装置、设备及可读存储介质
CN111489323B (zh) * 2020-04-09 2023-09-19 中国科学技术大学先进技术研究院 双光场图像融合方法、装置、设备及可读存储介质
CN113225492A (zh) * 2021-02-05 2021-08-06 深圳臻像科技有限公司 一种光场单元图像生成方法、***及存储介质
CN113225492B (zh) * 2021-02-05 2023-07-28 深圳臻像科技有限公司 一种光场单元图像生成方法、***及存储介质
CN113238472A (zh) * 2021-04-23 2021-08-10 武汉工程大学 基于频域位移的高分辨率光场显示方法及装置
CN113238472B (zh) * 2021-04-23 2022-05-10 武汉工程大学 基于频域位移的高分辨率光场显示方法及装置

Also Published As

Publication number Publication date
CN110662014B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN110662014B (zh) 一种光场相机四维数据大景深三维显示的方法
KR102674646B1 (ko) 뷰로부터 거리 정보를 획득하는 장치 및 방법
CN104363369B (zh) 一种光场相机的图像恢复方法及装置
WO2018024006A1 (zh) 一种聚焦型光场相机的渲染方法和***
CN108074218B (zh) 基于光场采集装置的图像超分辨率方法及装置
CN109413407B (zh) 高空间分辨率光场采集装置与图像生成方法
CN105023275B (zh) 超分辨率光场采集装置及其的三维重建方法
CN110120071B (zh) 一种面向光场图像的深度估计方法
CN110012196A (zh) 一种光场相机重聚焦方法
CN111145134B (zh) 基于块效应的微透镜光场相机全聚焦图像生成算法
EP3598385B1 (en) Face deblurring method and device
Chen et al. Light field based digital refocusing using a DSLR camera with a pinhole array mask
CN108364309B (zh) 一种基于手持式光场相机的空间光场恢复方法
WO2014180255A1 (zh) 一种数据处理方法、装置、计算机存储介质及用户终端
CN109118544A (zh) 基于透视变换的合成孔径成像方法
Li et al. Large-scale elemental image array generation in integral imaging based on scale invariant feature transform and discrete viewpoint acquisition
Piao et al. Extended depth of field integral imaging using multi-focus fusion
Peng et al. LF-fusion: Dense and accurate 3D reconstruction from light field images
CN112070675B (zh) 一种基于图的正则化光场超分辨率方法和光场显微装置
CN111127379B (zh) 光场相机2.0的渲染方法及电子设备
CN110312123B (zh) 利用彩色图像和深度图像的集成成像显示内容生成方法
CN110290373B (zh) 一种增大视角的集成成像计算重构方法
Lee et al. Three-dimensional visualization technique of occluded objects using integral imaging with plenoptic camera
Jin et al. Boosting single image super-resolution learnt from implicit multi-image prior
Jiang et al. 3D scene modeling from dense video light fields

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant