CN108632506A - 一种微透镜阵列成像*** - Google Patents

一种微透镜阵列成像*** Download PDF

Info

Publication number
CN108632506A
CN108632506A CN201810233547.4A CN201810233547A CN108632506A CN 108632506 A CN108632506 A CN 108632506A CN 201810233547 A CN201810233547 A CN 201810233547A CN 108632506 A CN108632506 A CN 108632506A
Authority
CN
China
Prior art keywords
lenticule
microlens array
imaging system
photosensitive
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810233547.4A
Other languages
English (en)
Inventor
张晓林
徐越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Microsystem and Information Technology of CAS
Original Assignee
Shanghai Institute of Microsystem and Information Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Microsystem and Information Technology of CAS filed Critical Shanghai Institute of Microsystem and Information Technology of CAS
Priority to CN201810233547.4A priority Critical patent/CN108632506A/zh
Publication of CN108632506A publication Critical patent/CN108632506A/zh
Priority to PCT/CN2019/078872 priority patent/WO2019179462A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种微透镜阵列成像***，包括：微透镜阵列，其包括复数个彼此邻近排列的微透镜；不透明的隔光加工结构，其设置在每两个相邻的所述微透镜之间并与复数个所述微透镜构成平面或曲面的格子结构；感光像素阵列，其包括设置在每个所述微透镜下的复数个感光元件；以及成像结果处理器，其接收所述感光像素阵列输出的电信号，并将该电信号转换成图像信息，以对所述图像信息进行解码和加工处理。本发明克服了每个微透镜分辨率较低的问题，提升了具有采集光场功能的相机的整体分辨率，确保了每个微透镜独立成像，避免了成像结果之间相互干扰，确保了数据的正确性。

Description

一种微透镜阵列成像***
技术领域
本发明涉及一种成像***，尤其涉及一种微透镜阵列成像***。
背景技术
目前市面上的相机大多为单一主镜头，将三维的现实世界转变成二维的图像，导致了大量信息丢失。而要想从二维的图像信息中还原出三维信息，进行三维重建大多比较困难，因此，迫切需要能够采集光场的相机来解决这一问题。
当前具有采集光场功能的相机市面上主要是相机阵列和光场相机，其中，相机阵列存在的问题是体积大，各个相机之间的相对位置调整需要耗费大量的人力和时间；而光场相机则是一体式结构，采用了微透镜结构，来记录光线的角度信息，但是光场相机的成像数据量大，图像处理时间较长，实时性较差，且主透镜不能摘除，导致相机整体体积较大，不适用于扑翼机等小型飞行器。
发明内容
为了解决上述现有技术存在的问题，本发明旨在提供一种微透镜阵列成像***，以减小具有采集光场功能的相机的体积和数据处理计算量，并提高实时性，扩大应用面。
本发明所述的一种微透镜阵列成像***，其包括：
微透镜阵列，其包括复数个彼此邻近排列的微透镜；
不透明的隔光加工结构，其设置在每两个相邻的所述微透镜之间并与复数个所述微透镜构成平面或曲面的格子结构；
感光像素阵列，其包括设置在每个所述微透镜下的复数个感光元件；以及
成像结果处理器，其接收所述感光像素阵列输出的电信号，并将该电信号转换成图像信息，以对所述图像信息进行解码和加工处理。
在上述的微透镜阵列成像***中，每个所述微透镜呈六边形，所述格子结构为蜂巢状的格子结构。
在上述的微透镜阵列成像***中，每个所述感光元件设置在其对应的所述微透镜的焦平面上或邻近其对应的所述微透镜的焦平面。
在上述的微透镜阵列成像***中，每个所述微透镜的上表面和/或下表面、和/或每个所述感光元件的表面上贴设有不同的滤波薄膜。
在上述的微透镜阵列成像***中，所述成像结果处理器包括：数据初步处理模块以及分别与该数据初步处理模块连接的三维重建模块、目标识别模块和运动检测模块。
由于采用了上述的技术解决方案，本发明的主体结构中包含微透镜阵列，感光像素阵列以及成像结果处理器，与现有技术相比，具有以下优点和积极效果：本发明通过采用微透镜阵列，克服了每个微透镜分辨率较低的问题，通过对不同微透镜之间数据的处理，提升了具有采集光场功能的相机的整体分辨率；利用在微透镜阵列中加入隔光加工结构，确保了每个微透镜独立成像，避免了成像结果之间相互干扰，确保了数据的正确性；通过采用成像结果处理器，能够实现三维重建、目标识别、运动检测等功能。另外，本发明的优点还包括：体积小，数据处理计算量小，实时性高，应用面广。
附图说明
图1是本发明一种微透镜阵列成像***的结构示意图；
图2是本发明一种微透镜阵列成像***中微透镜阵列与隔光加工结构的结构示意图；
图3是本发明一种微透镜阵列成像***中成像结果处理器的结构示意图；
图4是本发明中微透镜解码的示意图。
具体实施方式
下面结合附图，给出本发明的较佳实施例，并予以详细描述。
如图1-3所示，本发明，即一种微透镜阵列成像***，包括：微透镜阵列1、不透明的隔光加工结构2、感光像素阵列3以及成像结果处理器4，具体来说：
微透镜阵列1包括复数个彼此邻近排列的微透镜10，每个微透镜10呈六边形；
隔光加工结构2设置在每两个相邻的微透镜10之间，即每个微透镜10的周边均具有隔光加工结构2，从而与复数个微透镜10共同构成平面或曲面的蜂巢状的格子结构；
感光像素阵列3用于接收微透镜阵列1透过的光线，并形成电信号统一输出至成像结果处理器4，感光像素阵列3包括：设置在每个微透镜10下的复数个感光元件(例如CMOS元件)，每个感光元件设置在其对应的微透镜10的焦平面上或焦平面附近；
成像结果处理器4用于将感光像素阵列3输出的电信号转换成图像信息，并对图像信息进行后续的解码、加工等操作处理，成像结果处理器4包括：数据初步处理模块41以及分别与数据初步处理模块41连接的三维重建模块42、目标识别模块43和运动检测模块44；
其中，每个微透镜10的上表面和/或下表面，和/或每个感光元件的表面上贴设有不同的滤波薄膜(图中未示)，从而可以对不同频段的光谱进行响应。
在本发明中，通过微透镜阵列1中各个微透镜10的上述排列方式能够有效地利用空间，通过增加微透镜10的个数，可以提升成像效果。
在本发明中，通过隔光加工结构2可以对微透镜10之间进行光隔离，从而避免不同微透镜10之间光线的相互干扰，确保各个微透镜10下的感光元件不受相邻微透镜10透过的光影响，由此也将感光像素阵列3分成了若干部分，每一部分对应一个微透镜10，从而使其成为独立的成像结构，进而确保成像结果数据的有效性。在本实施例中，隔光加工结构2可以是不透光的微型隔离墙结构，也可以通过折射、拉开微透镜间距离等方式不让透过各个微透镜的光影响到其它相邻微透镜下的感光元件。
在本发明中，可以根据需求在各个微透镜10或者各个感光元件上布置不同的滤波薄膜，就像彩色相机一样，红绿蓝三中像素交错排布，由此实现相机的分区块响应，使其功能精细化，提升相机灵敏度以及适应不同场景的能力。此外，将针对空间同一位置下，对不同光谱响应的感光元件产生的信息联合处理，可以获得更多有效的信息。
在本发明中，由于微透镜阵列1所成的像与传统的相机成像结果不同，每个微透镜10对空间进行稀疏采样，以对环境进行多个不同角度的光线采集(如图1所示)，且不同感光元件对响应的光谱的频段不同，因此，对感光元素阵列3输出的电信号无法直接进行观察和处理，而是需要对不同微透镜10之间的成像结果加以结合，即，通过成像结果处理器4对电信号进行预处理后，才能够就行后续操作，例如，根据需求进行三维重建，目标识别，运动检测等运算。具体来说：
首先，通过数据初步处理模块41对感光像素阵列3输出的电信号经过数模转换成数字信号(当然，也可以将电信号转换成脉冲信号或模拟信号，以便于在仿生神经元中进行后续运算处理)，使所有感光元件传来的信号成为数字图像阵列，即，一方面利用微透镜阵列的特性，即，每个微透镜对空间进行稀疏采样，以对环境进行多个不同角度的光线采集，主动计算目标点的空间位置，另一方面将所有图像信息组合成不同视角图像，转变成为一般图像(从图1中可以看出，每个微透镜10下感光元件对应空间中不同位置，因此可以将感光元件相同位置采集到的像素取出，拼成一副整体图片)，并经过运算处理来调节图像的明暗、白平衡、噪音等，这部分相当于一般相机里都有的ISP(Image Signal Processing)图像信号处理模块；
然后，将经过预处理的图像信息分别传输至三维重建模块42、目标识别模块43、和运动检测模块44，以进行后续图像处理，满足用户需求；例如，利用三维重建模块42根据图像信息计算被摄物体及环境的三维数据(立体信息)，并输出基于固定于复眼坐标系(直角坐标或极坐标)的三维数据；利用目标识别模块43检测被测物体的性质，如人脸检测，人脸识别，物体检测(桌子、椅子、杯子等具体物体的名称)，物体识别(谁的杯子、什么样的杯子、哪里产的等)；利用运动检测模块44检测自身相对与环境的运动速度、被检测物的运动速度、视野中复数物体的运动速度等。
图4示出了微透镜阵列1对空间点的成像情况，其中，空间中的一个目标点对应多个不同微透镜分别成像，可以利用这一性质，进行光强的还原与目标距离深度的计算，从而为后续处理模块做基础。
综上所述，本发明通过蜂巢状的微透镜阵列采集环境信息，并利用隔光加工器件，将微透镜之间进行光隔离，避免干扰，提高成像数据有效性，同时，通过隔光加工结构将微透镜阵列下的感光像素阵列分割成不同区域，并利用不同的滤波薄膜使每个区域内的不同位置对应不同角度的光线，从而利用成像结果处理器通过微透镜位置之间的相互关系，可获取物体的深度信息；另外，由于本发明采用了多个微透镜拼接的形式，有效提升了具有采集光场功能的相机的整体分辨率，提高了最终的成像效果。
以上所述的，仅为本发明的较佳实施例，并非用以限定本发明的范围，本发明的上述实施例还可以做出各种变化。凡是依据本发明申请的权利要求书及说明书内容所作的简单、等效变化与修饰，皆落入本发明专利的权利要求保护范围。本发明未详尽描述的均为常规技术内容。

Claims (5)

1.一种微透镜阵列成像***，其特征在于，所述***包括：
微透镜阵列，其包括复数个彼此邻近排列的微透镜；
不透明的隔光加工结构，其设置在每两个相邻的所述微透镜之间并与复数个所述微透镜构成平面或曲面的格子结构；
感光像素阵列，其包括设置在每个所述微透镜下的复数个感光元件；以及
成像结果处理器，其接收所述感光像素阵列输出的电信号，并将该电信号转换成图像信息，以对所述图像信息进行解码和加工处理。
2.根据权利要求1所述的微透镜阵列成像***，其特征在于，每个所述微透镜呈六边形，所述格子结构为蜂巢状的格子结构。
3.根据权利要求1所述的微透镜阵列成像***，其特征在于，每个所述感光元件设置在其对应的所述微透镜的焦平面上或邻近其对应的所述微透镜的焦平面。
4.根据权利要求1所述的微透镜阵列成像***，其特征在于，每个所述微透镜的上表面和/或下表面、和/或每个所述感光元件的表面上贴设有不同的滤波薄膜。
5.根据权利要求1所述的微透镜阵列成像***，其特征在于，所述***还包括所述成像结果处理器包括：数据初步处理模块以及分别与该数据初步处理模块连接的三维重建模块、目标识别模块和运动检测模块。
CN201810233547.4A 2018-03-21 2018-03-21 一种微透镜阵列成像*** Pending CN108632506A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810233547.4A CN108632506A (zh) 2018-03-21 2018-03-21 一种微透镜阵列成像***
PCT/CN2019/078872 WO2019179462A1 (zh) 2018-03-21 2019-03-20 一种微透镜阵列成像***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810233547.4A CN108632506A (zh) 2018-03-21 2018-03-21 一种微透镜阵列成像***

Publications (1)

Publication Number Publication Date
CN108632506A true CN108632506A (zh) 2018-10-09

Family

ID=63696122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810233547.4A Pending CN108632506A (zh) 2018-03-21 2018-03-21 一种微透镜阵列成像***

Country Status (2)

Country Link
CN (1) CN108632506A (zh)
WO (1) WO2019179462A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109348114A (zh) * 2018-11-26 2019-02-15 Oppo广东移动通信有限公司 成像装置和电子设备
WO2019179462A1 (zh) * 2018-03-21 2019-09-26 中国科学院上海微***与信息技术研究所 一种微透镜阵列成像***
CN111164611A (zh) * 2019-06-05 2020-05-15 深圳市汇顶科技股份有限公司 屏下生物特征识别装置和电子设备
WO2024027151A1 (zh) * 2022-08-05 2024-02-08 上海禾赛科技有限公司 探测模块、探测器和激光雷达

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523440B (zh) * 2020-04-21 2023-10-27 上海思立微电子科技有限公司 屏下光学指纹识别装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101350358A (zh) * 2007-07-17 2009-01-21 台湾积体电路制造股份有限公司 半导体装置及影像感测装置
CN102621599A (zh) * 2012-03-26 2012-08-01 天津大学 一种可增大视场角的内侧曲面复眼透镜
US20130155183A1 (en) * 2011-12-14 2013-06-20 Electronics And Telecommunications Research Institute Multi image supply system and multi image input device thereof
CN104050662A (zh) * 2014-05-30 2014-09-17 清华大学深圳研究生院 一种用光场相机一次成像直接获取深度图的方法
CN105635530A (zh) * 2014-11-03 2016-06-01 北京蚁视科技有限公司 光场成像***
CN105900238A (zh) * 2013-05-21 2016-08-24 伊莎贝尔·莉娜·布拉斯科怀持 全光透镜在光传感器衬底上的单片集成
CN107071253A (zh) * 2017-05-27 2017-08-18 深圳奥比中光科技有限公司 结构紧凑的光场相机

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108632506A (zh) * 2018-03-21 2018-10-09 中国科学院上海微***与信息技术研究所 一种微透镜阵列成像***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101350358A (zh) * 2007-07-17 2009-01-21 台湾积体电路制造股份有限公司 半导体装置及影像感测装置
US20130155183A1 (en) * 2011-12-14 2013-06-20 Electronics And Telecommunications Research Institute Multi image supply system and multi image input device thereof
CN102621599A (zh) * 2012-03-26 2012-08-01 天津大学 一种可增大视场角的内侧曲面复眼透镜
CN105900238A (zh) * 2013-05-21 2016-08-24 伊莎贝尔·莉娜·布拉斯科怀持 全光透镜在光传感器衬底上的单片集成
CN104050662A (zh) * 2014-05-30 2014-09-17 清华大学深圳研究生院 一种用光场相机一次成像直接获取深度图的方法
CN105635530A (zh) * 2014-11-03 2016-06-01 北京蚁视科技有限公司 光场成像***
CN107071253A (zh) * 2017-05-27 2017-08-18 深圳奥比中光科技有限公司 结构紧凑的光场相机

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019179462A1 (zh) * 2018-03-21 2019-09-26 中国科学院上海微***与信息技术研究所 一种微透镜阵列成像***
CN109348114A (zh) * 2018-11-26 2019-02-15 Oppo广东移动通信有限公司 成像装置和电子设备
CN111164611A (zh) * 2019-06-05 2020-05-15 深圳市汇顶科技股份有限公司 屏下生物特征识别装置和电子设备
CN111164611B (zh) * 2019-06-05 2024-04-09 深圳市汇顶科技股份有限公司 屏下生物特征识别装置和电子设备
WO2024027151A1 (zh) * 2022-08-05 2024-02-08 上海禾赛科技有限公司 探测模块、探测器和激光雷达

Also Published As

Publication number Publication date
WO2019179462A1 (zh) 2019-09-26

Similar Documents

Publication Publication Date Title
CN108632506A (zh) 一种微透镜阵列成像***
US10021340B2 (en) Method and an apparatus for generating data representative of a light field
JP4563513B2 (ja) 画像処理装置及び擬似立体画像生成装置
CN106454287A (zh) 组合摄像***、移动终端及图像处理方法
US11100669B1 (en) Multimodal three-dimensional object detection
CN106572340A (zh) 摄像***、移动终端及图像处理方法
US8908054B1 (en) Optics apparatus for hands-free focus
WO2018028152A1 (zh) 一种图像采集设备、虚拟现实设备
CN102647941A (zh) 用于执行光电容积描记的方法和***
WO2018161883A1 (zh) 虚拟光线跟踪方法及光场动态重聚焦显示***
CN105357515A (zh) 一种基于结构光和光场成像的彩色深度成像方法及其装置
CN105635533B (zh) 一种具有高动态响应范围的快照式高光谱相机
CN106170086B (zh) 绘制三维图像的方法及其装置、***
CN111060008A (zh) 一种3d智能视觉设备
CN106534633A (zh) 一种组合摄像***、移动终端及图像处理方法
Martel et al. Real-time depth from focus on a programmable focal plane processor
US20230245396A1 (en) System and method for three-dimensional scene reconstruction and understanding in extended reality (xr) applications
CN108280807A (zh) 单目深度图像采集装置和***及其图像处理方法
CN116097298A (zh) 用于使用结构光进行深度图构建的红外和非红外通道混合器
Hua et al. Kinect‐Based Real‐Time Acquisition Algorithm of Crop Growth Depth Images
AU2020408599A1 (en) Light field reconstruction method and system using depth sampling
CN111970424B (zh) 基于微透镜阵列合成孔径的光场相机去遮挡***和方法
US10909704B2 (en) Apparatus and a method for generating data representing a pixel beam
WO2022262760A1 (zh) 一种基于微光学器件的端到端光电检测***及方法
AU2021100634A4 (en) Image target recognition system based on rgb depth-of-field camera and hyperspectral camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181009