CN105208373B - 一种基于光场压缩采样的通用集成成像记录装置 - Google Patents

一种基于光场压缩采样的通用集成成像记录装置 Download PDF

Info

Publication number
CN105208373B
CN105208373B CN201510589072.9A CN201510589072A CN105208373B CN 105208373 B CN105208373 B CN 105208373B CN 201510589072 A CN201510589072 A CN 201510589072A CN 105208373 B CN105208373 B CN 105208373B
Authority
CN
China
Prior art keywords
module
compression sampling
dimensional
light field
lightfield compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510589072.9A
Other languages
English (en)
Other versions
CN105208373A (zh
Inventor
徐茵
王新怀
郝劲波
张春玲
付志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Architecture and Technology
Original Assignee
Xian University of Architecture and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Architecture and Technology filed Critical Xian University of Architecture and Technology
Priority to CN201510589072.9A priority Critical patent/CN105208373B/zh
Publication of CN105208373A publication Critical patent/CN105208373A/zh
Application granted granted Critical
Publication of CN105208373B publication Critical patent/CN105208373B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于光场压缩采样的通用集成成像记录装置，包括依次设置的镜头模块、光场压缩采样模块和传感器模块；所述的传感器模块连接存储与输出模块；所述的存储与输出模块和光场压缩模块均连接计算模块。本发明利用光学掩膜和成像透镜对三维场景进行压缩采样，兼顾了采样数据量和光场信息恢复要求，相对于现有集成成像记录端所采用的微透镜阵列结构会导致三维场景信息的大量丢失，从本发明所记录的图像中可近似完全恢复三维场景光场，便于后续处理生成适用于各种不同参数的集成成像三维显示***显示的微单元图像阵列，对显示端参数没有限制，是一种通用的集成成像记录方法。

Description

一种基于光场压缩采样的通用集成成像记录装置
技术领域
本发明属于三维立体显示领域，涉及一种集成成像三维显示的记录方法，特别涉及一种基于光场压缩采样的通用集成成像记录装置。
背景技术
集成成像技术是一种具有全视差、连续视点的新兴裸眼三维显示技术，采用光线可逆原理，***可分为记录端与显示端两个部分。记录端主要由微透镜阵列对三维场景进行成像，生成一系列包含视差信息的微小图像，这些微图像共同组成了微单元图像阵列，被光学传感器记录下来。在显示端，由记录端获取的微单元图像阵列被显示在显示面板上，由光线可逆原理，图像发出的光线经过与记录端参数相同的微透镜阵列后，在显示空间会聚，重现三维场景。当改变显示***中微透镜阵列的参数，即显示***参数与记录***参数不匹配时，直接使用记录端获得的微单元图像阵列进行显示，重构图像的质量会严重下降，甚至无法重构出正确的三维图像，因此，在集成成像***中，显示端参数与记录端参数需要严格匹配。
目前国内外现有的研究中，往往采用两步记录转换法来解决上述问题，即将记录设备所获得的微单元图像阵列在计算机中通过虚拟微透镜阵列(参数与记录端相同)进行虚拟显示，然后通过另一组虚拟微透镜阵列或虚拟针孔阵列进行重新记录，再经过缩放或其它处理方法，最终得到与显示端参数相匹配的微单元图像阵列输出到显示端；两步记录转换法存在如下不足：1)该方法需要有关三维场景的先验知识(例如：场景中物体的深度信息)，而这些先验知识通常是无法获得的；2)该方法的信息来源是记录端所获得的微单元图像阵列，然而，在记录端的记录过程中，由于微透镜阵列的采样效应，记录的微单元图像阵列中丢失了三维场景的大量信息，因此无法完全恢复三维场景光场，无法合成适用于各种参数显示设备的高质量微单元图像阵列。
发明内容
针对上述现有技术中存在的问题和缺陷，本发明的目的在于，提供一种基于光场压缩采样的通用集成成像记录装置。
为了实现上述目的，本发明采用如下技术方案：
一种基于光场压缩采样的通用集成成像记录装置，包括依次设置的镜头模块、光场压缩采样模块和传感器模块；
所述的传感器模块连接存储与输出模块；
所述的存储与输出模块和光场压缩模块均连接计算模块；
所述的镜头模块用于对三维场景进行选取；所述的光场压缩采样模块用于对三维场景中的光线进行压缩采样，得到二维光学图像；所述传感器模块用于记录二维光学图像；所述的计算模块用于生成随机矩阵，控制光场压缩采样模块的光学掩膜；所述的存储与输出模块用于存储或输出传感器模块记录的图像以及计算模块生成的随机矩阵。
进一步地，所述光场压缩采样模块与传感器模块之间设置有光学校正模块；所述的光学校正模块用于调整光场压缩采样模块生成的二维图像的光路。
具体地，所述光场压缩采样模块包括沿光线传输方向依次设置的光学掩膜和成像透镜。
具体地，所述光学校正模块包括沿光线传输方向依次设置的反射镜和校正透镜。
与现有技术相比，本发明具有以下技术效果：
1、本发明利用光学掩膜和成像透镜对三维场景进行压缩采样，兼顾了采样数据量和光场信息恢复要求，相对于现有集成成像记录端所采用的微透镜阵列结构会导致三维场景信息的大量丢失，从本发明所记录的图像中可近似完全恢复三维场景光场，便于后续处理生成适用于各种不同参数的集成成像三维显示***显示的微单元图像阵列，对显示端参数没有限制，是一种通用的集成成像记录方法。
2、本发明的记录方法结构简单，采用光学掩膜和成像透镜组成的光场压缩采样模块，便于直接扩展现有的二维成像设备，在实际应用中具有重要意义。
附图说明
图1是本发明的结构示意图；
图2是本发明的实施例的结构示意图；
图3是光场压缩采样模块的工作原理图；
下面结合附图和实施例对本发明的方案做进一步详细地解释和说明。
具体实施方式
实施例
遵从上述技术方案，参见图1和2，本实施例的基于光场压缩采样的通用集成成像记录装置包括依次设置的镜头模块、光场压缩采样模块和传感器模块；所述传感器模块连接存储与输出模块；所述存储与输出模块和光场压缩采样模块均连接计算模块。
进一步地，所述光场压缩采样模块与传感器模块之间设置有光学校正模块。
应用本实施例的记录装置，三维场景光场中的光线依次经过所述的镜头模块、光学压缩模块、光学校正模块和传感器模块；所述的镜头模块用于三维场景进行选取，并使其对焦到其后的光场压缩采样模块；所述的光场压缩采样模块用于对三维场景中的光线进行压缩采样，得到二维光学图像；所述的光学校正模块用于根据光场压缩采样模块及传感器模块的相对位置改变光路，使被压缩采样后获得的二维光学图像能够在传感器模块上聚焦成像；所述的传感器模块用于记录二维光学图像；所述的计算模块用于生成随机矩阵，控制光场压缩采样模块的光学掩膜；所述的存储与输出模块用于存储或输出传感器模块记录的图像以及计算模块生成的随机矩阵。
本发明对三维场景进行压缩采样，兼顾了采样数据量和光场信息的恢复要求，相对于现有集成成像记录端所采用的微透镜阵列结构会导致三维场景信息的大量丢失，本发明所记录的图像可近似完全恢复三维场景光场，便于后续处理生成适用于各种不同参数的集成成像三维显示***显示的微单元图像阵列，对显示端参数没有限制，是一种通用的集成成像记录方法。
所述镜头模块包括依次设置的透镜组和光圈，可选用现有的二维成像相机镜头。所述的镜头模块用于选择待记录的三维场景区域，并使待记录三维场景聚焦到光场压缩采样模块，便于后续模块记录所选三维场景。
所述光场压缩采样模块包括沿光线传输方向依次设置的光学掩膜和成像透镜。所述的光学掩膜可采用透射型光学器件，如电控液晶屏，或者反射型光学器件，如数字微镜芯片DMD。为了能够有效利用掩膜和成像透镜，掩膜中心位于成像透镜的主光轴上。透射型掩膜与成像透镜平行放置，反射型掩膜放置时需保证掩膜中对应点值设置为1时，反射光线可到达成像透镜，值为0时反射光线不能到达成像透镜。光学掩膜根据计算模块计算的随机矩阵生成随机掩膜，调节光路，使得光场中到达掩膜的光线中的一部分光线可以到达成像透镜，另一部分光线则不能到达。
光学掩膜若采用反射性光学器件，其对应的随机矩阵为二值随机矩阵(矩阵中数值为0或1)，当矩阵中某点值为0时，DMD芯片中对应微镜镜面方向使反射光线无法到达成像透镜；反之，若矩阵中某点值为1，则对应微镜镜面方向使反射光线可以到达成像透镜；光学掩膜若选择透射型光学器件，则对应的随机矩阵可选择二值随机矩阵或灰度随机矩阵(矩阵中数值范围为[0,1])，矩阵中每点的数值对应透射型器件中对应点的透射率，若值为0，则该点不透明，光线不能通过，若值为1，则该点透射率为1，光线可完全通过后到达成像透镜，若值为0-1范围内的某值τ，则值τ为该点的透过率，光线部分透过。
经过光学掩膜后的光线在到达成像透镜后，方向相同的光线被成像透镜会聚于焦平面上的同一点，这样，不同方向的光线经过成像透镜，在焦平面上形成一幅二维图像，该图像上的每一点都包含了沿成像透镜光心到该点方向所有平行光的信息。
参见图3，待记录的三维场景光场由不同方向的光线组成，用矩阵X表示，不同方向的光线的传播方向为θ1，θ2…，则X＝(Xθ1,Xθ2,…)；图3中的虚线和实线分别表示不同方向的两组光线Xθ1和Xθ2。光场压缩采样模块中的掩膜采用了透射型光学掩膜，并在其上显示二值随机矩阵Φ。光线到达光学掩膜后，光学掩膜上值为1的点透过率为1，光线可透过该点到达成像透镜；掩膜上值为0的点透过率为0，光线不可透过。因此两组光线Xθ1和Xθ2，在分别经过掩膜后，相当于与掩膜随机矩阵Φ做点乘运算。
经过掩膜后的两组光线Φ·Xθ1和Φ·Xθ2，到达成像透镜，这两组光线分别为传播方向为θ1和θ2的两组平行光，在经过成像透镜后，被成像透镜分别会聚于焦平面上的两点(点A和点B)。因此，在点A和点B的值分别为YA＝<Xθ1，Φ>和YB＝<Xθ2，Φ>。其中，YA和YB分别包含了两组平行光线Xθ1和Xθ2的信息。若记录M次，则对应的随机矩阵Φ1、Φ2、……ΦM可组成观测矩阵Φ＝(Φ1、Φ2、……ΦM)，记录下的点A和点B的值构成M维向量，分别为YA＝ΦXθ1和YB＝ΦXθ2。
所述光学校正模块包括沿光线传输方向依次设置的反射镜和校正透镜，光线依次经过反射镜和校正透镜，可根据成像透镜与传感器的相对位置选择设置反射镜和校正透镜。当***中传感器不在成像透镜焦平面上时，采用此模块，所述的反射镜用于改变由光场采样模块射出的光线的方向，使光线能够到达传感器；所述的校正透镜用于对焦使被压缩采样后获得的二维光学图像在传感器上清晰成像。
所述传感器模块采用电荷耦合器件CCD(如Sony的ICX409AK)或金属氧化物半导体元件CMOS(如MICRON MT9T012)等图像传感器。
所述的传感器模块用于记录经过校正透镜校正后的所有图像点，每个图像点包含了其对应传播方向上的平行光线的信息，并将上述信息传输到存储与输出模块进行存储或输出。上述信息可用压缩感知算法从各像素点中恢复出该方向平行光线组的信息，组合在一起即可近似完全地恢复出待记录三维场景光场中全部光线X＝(Xθ1,Xθ2,…)的信息，经重采样后即可生成与显示设备参数相匹配的微单元图像阵列。
所述计算模块包括STM32F407单片机或TMS320C6713数字信号处理器(DSP)等可计算随机数的芯片，用于根据掩膜行列数(反射型光学器件为微镜的行列数，透射型光学器件为像素点的行列数)来计算生成行列数相等的随机矩阵(反射型器件为二值随机矩阵，透射型器件既可生成二值随机矩阵，也可生成灰度随机矩阵)。所述的计算模块生成的随机矩阵输出到光学掩膜中，用于实现光场压缩采样。
所述的存储与输出电路包括存储芯片及输出接口，所述的存储芯片采用三星K9F8G08UXM,该芯片为1Gbyte存储器，用来对传感器模块输出的图像数据以及计算模块输出的随机矩阵信息进行存储，并输出到计算机中采用压缩感知算法完全或近似完全地恢复三维场景光场，并经过重采样生成适用于不同参数的集成成像显示端的微单元图像阵列。

Claims (3)

1.一种基于光场压缩采样的通用集成成像记录装置，其特征在于，包括依次设置的镜头模块、光场压缩采样模块和传感器模块；
所述的传感器模块连接存储与输出模块；
所述的存储与输出模块和光场压缩采样模块均连接计算模块；
所述的镜头模块用于对三维场景进行选取；所述的光场压缩采样模块用于对三维场景中的光线进行压缩采样，得到二维光学图像；所述传感器模块用于记录二维光学图像；所述的计算模块用于生成随机矩阵，控制光场压缩采样模块的光学掩膜；所述的存储与输出模块用于存储或输出传感器模块记录的图像以及计算模块生成的随机矩阵；
所述光场压缩采样模块包括沿光线传输方向依次设置的光学掩膜和成像透镜。
2.如权利要求1所述的基于光场压缩采样的通用集成成像记录装置，其特征在于，所述光场压缩采样模块与传感器模块之间设置有光学校正模块；所述的光学校正模块用于调整光场压缩采样模块生成的二维图像的光路。
3.如权利要求2所述的基于光场压缩采样的通用集成成像记录装置，其特征在于，所述光学校正模块包括沿光线传输方向依次设置的反射镜和校正透镜。
CN201510589072.9A 2015-09-16 2015-09-16 一种基于光场压缩采样的通用集成成像记录装置 Expired - Fee Related CN105208373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510589072.9A CN105208373B (zh) 2015-09-16 2015-09-16 一种基于光场压缩采样的通用集成成像记录装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510589072.9A CN105208373B (zh) 2015-09-16 2015-09-16 一种基于光场压缩采样的通用集成成像记录装置

Publications (2)

Publication Number Publication Date
CN105208373A CN105208373A (zh) 2015-12-30
CN105208373B true CN105208373B (zh) 2017-04-12

Family

ID=54955766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510589072.9A Expired - Fee Related CN105208373B (zh) 2015-09-16 2015-09-16 一种基于光场压缩采样的通用集成成像记录装置

Country Status (1)

Country Link
CN (1) CN105208373B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110099270B (zh) * 2019-03-12 2020-12-04 成都工业学院 基于光场重采样的集成成像二次成像法
CN111999616B (zh) * 2020-08-31 2023-03-10 南京工程学院 一种基于空间编码掩模板的单像素日盲紫外成像***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
KR101600010B1 (ko) * 2009-09-22 2016-03-04 삼성전자주식회사 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법
KR101294261B1 (ko) * 2013-01-08 2013-08-06 동서대학교산학협력단 마스크와 시간다중화 방식을 이용한 3차원 집적 영상 표시방법

Also Published As

Publication number Publication date
CN105208373A (zh) 2015-12-30

Similar Documents

Publication Publication Date Title
JP5358015B2 (ja) パノラマ画像および動画を生成し表示するためのシステムおよび方法
TWI314832B (en) Single lens auto focus system for stereo image generation and method thereof
KR102583723B1 (ko) 라이트 필드를 나타내는 데이터를 생성하기 위한 방법 및 장치
Dansereau et al. A wide-field-of-view monocentric light field camera
US9057942B2 (en) Single camera for stereoscopic 3-D capture
CN101911671A (zh) 摄像装置和光轴控制方法
US9008412B2 (en) Image processing device, image processing method and recording medium for combining image data using depth and color information
CN104935915A (zh) 成像装置、三维成像***及三维成像方法
CN108919492B (zh) 一种近眼显示装置、***及显示方法
CN104407440A (zh) 具有视线跟踪功能的全息显示装置
US6545741B2 (en) Stereoscopic imaging using a single image sensor
CN106357966A (zh) 全景图像拍摄装置及全景图像获取方法
US9462254B2 (en) Light field image capture device and image sensor
CN102262345A (zh) 可转视角双镜头三维摄像机方法及装置
KR20110111469A (ko) 일종의 입체촬영 장치 및 방법
Kagawa et al. A three‐dimensional multifunctional compound‐eye endoscopic system with extended depth of field
CN107490842A (zh) 摄像模组、成像设备和图像处理方法
US20150301313A1 (en) Stereoscopic lens for digital cameras
CN105208373B (zh) 一种基于光场压缩采样的通用集成成像记录装置
TWI493277B (zh) 立體取像裝置
CN108805921A (zh) 图像获取***及方法
Kuo et al. Perspective-Correct VR Passthrough Without Reprojection
JP2012242488A (ja) 撮像装置、立体撮像光学系、およびプログラム
US8593508B2 (en) Method for composing three dimensional image with long focal length and three dimensional imaging system
JP2000222116A (ja) 表示画像の位置認識方法とその位置認識装置および仮想画像立体合成装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170412

Termination date: 20190916

CF01 Termination of patent right due to non-payment of annual fee