CN113099207B - 基于相位调制的微透镜阵列式深度学习三维鬼成像方法 - Google Patents

基于相位调制的微透镜阵列式深度学习三维鬼成像方法 Download PDF

Info

Publication number
CN113099207B
CN113099207B CN202110345948.0A CN202110345948A CN113099207B CN 113099207 B CN113099207 B CN 113099207B CN 202110345948 A CN202110345948 A CN 202110345948A CN 113099207 B CN113099207 B CN 113099207B
Authority
CN
China
Prior art keywords
module
phase modulation
micro
dimensional
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110345948.0A
Other languages
English (en)
Other versions
CN113099207A (zh
Inventor
刘明
宋立军
李美萱
平树秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin Teachers Institute of Engineering and Technology
Original Assignee
Jilin Teachers Institute of Engineering and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin Teachers Institute of Engineering and Technology filed Critical Jilin Teachers Institute of Engineering and Technology
Priority to CN202110345948.0A priority Critical patent/CN113099207B/zh
Publication of CN113099207A publication Critical patent/CN113099207A/zh
Application granted granted Critical
Publication of CN113099207B publication Critical patent/CN113099207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于相位调制的微透镜阵列式深度学习三维鬼成像方法，该方法的过程为：预先利用样本集训练神经网络模型；目标物体发出的宽带热光进入前置成像模块，并在前置成像模块的成像面形成目标物体的二维图像；将微透镜阵列式空间光相位调制模块置于成像面位置，目标物体的二维图像经过微透镜阵列式空间光相位调制模块调制成散斑场阵列；探测模块采集所述散斑场阵列并将送入图像重构模块；图像重构模块根据其接收到的散斑场阵列利用预先训练好的神经网络模型进行图像重构，形成目标物体的三维图像。本发明采用神经网络和深度学习实现图像重构，省去传统基于相位调制的关联成像的标定过程，可以极大的缩短重构时间，实现三维成像。

Description

基于相位调制的微透镜阵列式深度学习三维鬼成像方法
技术领域
本发明涉及量子关联成像技术领域，尤其是涉及一种基于相位调制的微透镜阵列式深度学习三维鬼成像方法。
背景技术
随着量子成像技术的发展，基于相位调制的被动热光源鬼成像相机距离商业应用越来越近，但目前该设备体积庞大，相机使用前需要一个复杂的标定过程，在使用过程中，图像重构时间长，使用不便，不利于产业化，尤其是基于相位调制的三维关联成像目前尚未见报导。
发明内容
本发明的目的是：鉴于目前基于相位调制的被动热光源鬼成像相机在使用前需要一个复杂的标定过程，重构时间长，使用不便，不利于产业化的问题，而提出了一种基于相位调制的微透镜阵列式深度学习三维鬼成像方法，将仿生复眼及微透镜阵列技术和相位调制的被动热光源鬼成像***相结合，采用人工神经网络和深度学习实现图像重构，可以省去传统基于相位调制的关联成像的标定过程，极大的缩短重构时间，实现三维成像。
本发明的目的是通过如下技术方案实现的：基于相位调制的微透镜阵列式深度学习三维鬼成像方法，该方法应用在基于相位调制的被动热光源鬼成像相机中，其特征在于：该方法所用的光学***包括：前置成像模块、微透镜阵列式空间光相位调制模块、探测模块、神经网络训练模块和图像重构模块；
所述前置成像模块用于对目标物体发出的宽带热光进行窄带滤波，并将滤波后的光线成像于微透镜阵列式空间光相位调制模块上；
所述微透镜阵列式空间光相位调制模块由微透镜阵列组成，所述微透镜阵列由二维排布的微凸透镜组成，每个微凸透镜都有不同的曲率和焦距，并在各个微凸透镜的透镜曲面雕刻出具有随机高度的微小凹凸面；微透镜阵列式空间光相位调制模块用于对目标物体的二维图像进行调制，形成散斑场阵列；
所述探测模块用于探测经微透镜阵列式空间光相位调制模块调制后形成的散斑场阵列；
所述神经网络训练模块用于利用样本集训练神经网络模型，所述样本集由多个训练对组成；所述训练对由三维目标物体的三维光场和预先拍摄到的目标物体散斑场阵列构成；
所述图像重构模块用于利用训练好的神经网络模型将探测模块探测到的散斑场阵列进行处理，重构目标物体的三维图像；
所述三维鬼成像方法的具体流程如下：
1)预先利用样本集训练神经网络模型；
2)目标物体发出的宽带热光进入前置成像模块，并在前置成像模块的成像面形成目标物体图像；
3)将微透镜阵列式空间光相位调制模块置于步骤2)中所述的成像面位置，目标物体的图像经过微透镜阵列式空间光相位调制模块调制成散斑场阵列；
4)探测模块采集所述散斑场阵列，并将采集到的散斑场阵列送入图像重构模块；
5)图像重构模块根据其接收到的散斑场阵列利用预先训练好的神经网络模型进行图像重构，形成目标物体的三维图像，并存储和显示所述图像。
进一步，所述探测模块为CCD探测器。
进一步，所述神经网络模型为多层前馈神经网络模型。
通过上述设计方案，本发明可以带来如下有益效果：本发明提出了一种基于相位调制的微透镜阵列式深度学习三维鬼成像方法，该方法应用在基于相位调制的被动热光源鬼成像相机中，所述方法中采用了现有基于相位调制的被动热光源鬼成像相机的成像方法，结合微透镜阵列成像原理，利用人工神经网络实现三维图像重构。依照该方法实现的相机具有传统的基于相位调制的被动式鬼成像的特点，能够实现超分辨率，大场景成像，也克服了传统的基于相位调制的被动式鬼成像重构图像时间长的问题，可以实现实时成像。利用微透镜阵列和人工神经网落重构的方式使得本方法突破了传统的基于相位调制的被动式鬼成像只能二维成像的局限。
附图说明
此处的附图说明用来提供对本发明的进一步理解，构成本发明申请的一部分，本发明示意性实施例及其说明用于理解本发明，并不构成本发明的不当限定，在附图中：
图1为基于相位调制的微透镜阵列式深度学习三维鬼成像方法的成像原理示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实施例，并参照图1对本发明作进一步的详细说明。
本发明提出了一种基于相位调制的微透镜阵列式深度学习三维鬼成像方法，该方法应用在基于相位调制的被动热光源鬼成像相机中，上述方法所用的光学***包括：前置成像模块、微透镜阵列式空间光相位调制模块、探测模块、神经网络训练模块和图像重构模块。
前置成像模块：目标物体发出的宽带热光进入前置成像模块，实现窄带滤波，并成像于位于前置成像模块后面的微透镜阵列式空间光相位调制模块上。
微透镜阵列式空间光相位调制模块：由微透镜阵列组成，所述微透镜阵列由二维排布的微凸透镜组成，采用平面二维阵列，如：在平面的玻璃上按照行列分布一组微凸透镜。在每个微凸透镜的表面刻画出具有随机高度的微小凹凸面，其目的是实现对入射光进行随机相位调制。当目标物体图像经过微透镜阵列式空间光相位调制模块调制后形成散斑场阵列。
探测模块：利用CCD探测器或其他的光电转换装置探测目标物体的二维图像形成的散斑场阵列。
神经网络训练模块：准备三维目标物体，并对其进行拍摄，将三维目标物体的三维光场和拍摄到的散斑场阵列构成训练对，多个训练对形成一组样本集，实现利用样本集训练神经网络模型。需要说明的是，本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
图像重构模块：用于利用训练好的神经网络模型将探测模块探测到的散斑场阵列进行处理，重构目标物体的三维图像；所述神经网络模型采用多层前馈神经网络模型。
其中：
目标物体发出的光除了在x-y平面具有空间分布外，还具有z轴的景深分布。目标物体的光强三维空间分布数据可以抽象成在x-y平面上的二维数据的序列；
目标物体发出的宽带热光进入前置成像模块，实现窄带滤波，经前置成像模块出射后进入后面的微透镜阵列式空间光相位调制模块。微透镜阵列式空间光相位调制模块中的每个微凸透镜都有不同的曲率和焦距，并在各个微凸透镜的透镜曲面雕刻具有光场相位调制功能的随机高度的微小凹凸面，构成了空间光随机相位调制器。因而，每个阵列单元既具有空间光相位调制的功能，还具有凸透镜的作用。由于微透镜阵列中的每个微凸透镜的曲率和位置各异，能够将目标物体的像调制成独立于其它透镜的像的完整的互不相同的散斑。
目标物体的光强三维空间分布数据抽象成在x-y平面上的二维数据的序列后，经过微透镜阵列式空间光相位调制模块调制，形成散斑场阵列，散斑场的光强分布不仅和物体x-y面的光强、相位分布，还和z轴上的景深有关。
传统的基于相位调制的关联成像过程中，物体的像和散斑场满足关系式：
x＝Ay
其中矩阵A为调制矩阵；x＝(x1,x2,…,xi,…,xM)T是探测面上的光强值排列成的列向量，xi代表探测面上i点像素值；y＝(y1,y2,…,yi,…,yM)T代表二维光强分布值排成的列向量，yi代表物体的i点光强值，M的值为目标物体的像素总数。
将目标物体的光强三维空间分布数据抽象成在x-y平面上的二维数据的序列，由于散斑场中的yi值还会受到景深方向z值的影响，无法用具体的定量公式描述，需要在训练人工神经网络时在人工神经网络中体现这种规律。输出数据为二维阵列，本质上也是三维数据。和输入数据具有相同的维度，含有相同的信息量。可以认为是输入的三维数据到输出的三维数据经过各不相同的一组调制矩阵阵列的一次变换。
目标物体的三维光场经过微透镜阵列式空间光相位调制模块调制后，形成散斑场阵列，并进入到探测模块。探测模块探测到图像形成的散斑场阵列，并在图像重构模块完成三维图像的重构。重构过程则是一个函数变换过程的逆变换。即：
y＝A-1x
该式是x到y的一个映射。我们可以通过x求解y，x为探测模块拍摄到的散斑场阵列，y为目标物体的三维光场，A-1为调制矩阵A的逆变换，可以采用神经网络拟合这个映射，所述神经网络为多层前馈神经网络，为了求解y，需要利用样本集训练神经网络。需要准备三维目标物体，利用CCD探测器，得到散斑场阵列。将散斑场和目标物体的三维光场y组成三维的输入输出样本对。利用样本对训练神经网络模型。神经网络模型采用两个或多个隐层的前馈神经网络模型。多层前馈神经网络模型各个神经元采用全连接。输入层神经元节点数对应于散斑场阵列的像素总数。输出节点数等于三维光场的像素数。训练过程对应于传统基于相位调制鬼成像的标定过程。神经网络模型训练好后，便可以根据拍摄到的散斑场阵列x，利用多层前馈神经网络拟合出目标物体原光场的三维空间分布强度，即目标物体的三维光场y。整个过程如图1所示，图中，各部分依次为：三维光场、微透镜阵列式空间光相位调制模块、散斑场阵列、图像重构模块、重构的目标物体的三维图像。
微透镜阵列式空间光相位调制模块和基于多层前馈神经网络的图像重构模块在本发明中起着核心的作用。微透镜阵列式空间光相位调制模块中的微透镜阵列采用平面二维阵列。目标物体光强分布形成二维图像阵列，经过微透镜阵列式空间光相位调制模块调制后形成散斑场阵列。多层前馈神经网络的作用是重构三维目标物体的光强分布。

Claims (3)

1.基于相位调制的微透镜阵列式深度学习三维鬼成像方法，该方法应用在基于相位调制的被动热光源鬼成像相机中，其特征在于：该方法所用的光学***包括：前置成像模块、微透镜阵列式空间光相位调制模块、探测模块、神经网络训练模块和图像重构模块；
所述前置成像模块用于对目标物体发出的宽带热光进行窄带滤波，并将滤波后的光线成像于微透镜阵列式空间光相位调制模块上；
所述微透镜阵列式空间光相位调制模块由微透镜阵列组成，所述微透镜阵列由二维排布的微凸透镜组成，每个微凸透镜都有不同的曲率和焦距，并在各个微凸透镜的透镜曲面雕刻出具有随机高度的微小凹凸面；微透镜阵列式空间光相位调制模块用于对目标物体的二维图像进行调制，形成散斑场阵列；
所述探测模块用于探测经微透镜阵列式空间光相位调制模块调制后形成的散斑场阵列；
所述神经网络训练模块用于利用样本集训练神经网络模型，所述样本集由多个训练对组成；所述训练对由三维目标物体的三维光场和预先拍摄到的目标物体散斑场阵列构成；
所述图像重构模块用于利用训练好的神经网络模型将探测模块探测到的散斑场阵列进行处理，重构目标物体的三维图像；
所述三维鬼成像方法的具体流程如下：
1)预先利用样本集训练神经网络模型；
2)目标物体发出的宽带热光进入前置成像模块，并在前置成像模块的成像面形成目标物体图像；
3)将微透镜阵列式空间光相位调制模块置于步骤2)中所述的成像面位置，目标物体的图像经过微透镜阵列式空间光相位调制模块调制成散斑场阵列；
4)探测模块采集所述散斑场阵列，并将采集到的散斑场阵列送入图像重构模块；
5)图像重构模块根据其接收到的散斑场阵列利用预先训练好的神经网络模型进行图像重构，形成目标物体的三维图像，并存储和显示所述图像。
2.根据权利要求1所述的基于相位调制的微透镜阵列式深度学习三维鬼成像方法，其特征在于：所述探测模块为CCD探测器。
3.根据权利要求1所述的基于相位调制的微透镜阵列式深度学习三维鬼成像方法，其特征在于：所述神经网络模型为多层前馈神经网络模型。
CN202110345948.0A 2021-03-31 2021-03-31 基于相位调制的微透镜阵列式深度学习三维鬼成像方法 Active CN113099207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110345948.0A CN113099207B (zh) 2021-03-31 2021-03-31 基于相位调制的微透镜阵列式深度学习三维鬼成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110345948.0A CN113099207B (zh) 2021-03-31 2021-03-31 基于相位调制的微透镜阵列式深度学习三维鬼成像方法

Publications (2)

Publication Number Publication Date
CN113099207A CN113099207A (zh) 2021-07-09
CN113099207B true CN113099207B (zh) 2022-09-02

Family

ID=76671918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110345948.0A Active CN113099207B (zh) 2021-03-31 2021-03-31 基于相位调制的微透镜阵列式深度学习三维鬼成像方法

Country Status (1)

Country Link
CN (1) CN113099207B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117201691B (zh) * 2023-11-02 2024-01-09 湘江实验室 一种基于深度学习的全景扫描关联成像方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3078986A1 (en) * 2015-04-10 2016-10-12 BAE Systems PLC Method and apparatus for computational ghost imaging
CN109343077A (zh) * 2018-11-27 2019-02-15 北京理工大学 一种液晶相控阵鬼成像***及其成像方法
CN110930317A (zh) * 2019-10-30 2020-03-27 西安交通大学 一种基于卷积神经网络的鬼成像方法
CN111708176A (zh) * 2020-03-19 2020-09-25 北京理工大学 一种自适应异构变分辨率鬼成像方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007504877A (ja) * 2003-09-08 2007-03-08 コニンクリユケ フィリップス エレクトロニクス エヌ．ブイ． ＭＲＩにおける、共有プリパルスを伴う、ランダムな順序のｋ空間サブセット
CN110058392A (zh) * 2019-05-17 2019-07-26 南京理工大学 一种基于光强传输方程的散斑定量相位成像***及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3078986A1 (en) * 2015-04-10 2016-10-12 BAE Systems PLC Method and apparatus for computational ghost imaging
CN109343077A (zh) * 2018-11-27 2019-02-15 北京理工大学 一种液晶相控阵鬼成像***及其成像方法
CN110930317A (zh) * 2019-10-30 2020-03-27 西安交通大学 一种基于卷积神经网络的鬼成像方法
CN111708176A (zh) * 2020-03-19 2020-09-25 北京理工大学 一种自适应异构变分辨率鬼成像方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于遗传算法的空间光调制器鬼成像研究》;王凯，黎全等;《光学学报》;20160229;全文 *
Ghost imaging using integrated optical phased array;Kento Komatsu，Yasuyuki Ozeki，et.al;《2017 Optical Fiber Communications Conference and Exhibition (OFC)》;20170601;全文 *

Also Published As

Publication number Publication date
CN113099207A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
Baek et al. Single-shot hyperspectral-depth imaging with learned diffractive optics
Wu et al. Artificial compound eye: a survey of the state-of-the-art
CN106846463B (zh) 基于深度学习神经网络的显微图像三维重建方法及***
CN103363924B (zh) 一种压缩的三维计算鬼成像***及方法
Wu et al. DNN-FZA camera: a deep learning approach toward broadband FZA lensless imaging
CN102833487B (zh) 面向视觉计算的光场成像装置和方法
CN102739945B (zh) 光场成像装置及方法
CN105589210B (zh) 一种基于光瞳调制的数字化合成孔径成像方法
CN101939703A (zh) 全息三维图像信息采集装置、方法及还原装置、方法
CN203101791U (zh) 红外变焦光场相机
Kim et al. Biologically inspired artificial eyes and photonics
US11632535B2 (en) Light field imaging system by projecting near-infrared spot in remote sensing based on multifocal microlens array
CN108364309B (zh) 一种基于手持式光场相机的空间光场恢复方法
CN113099207B (zh) 基于相位调制的微透镜阵列式深度学习三维鬼成像方法
CN110378981A (zh) 基于神经网络的傅里叶叠层显微镜光瞳恢复方法
Ma et al. Super-resolution and super-robust single-pixel superposition compound eye
Rego et al. Robust lensless image reconstruction via psf estimation
Vadathya et al. Learning light field reconstruction from a single coded image
Tian et al. Learned lensless 3D camera
Cho et al. Optimization of 3D integral imaging system parameters
Xu et al. High accuracy transmission and recognition of complex images through multimode fibers using deep learning
Zhou et al. Depth of field expansion method for integral imaging based on diffractive optical element and CNN
Song et al. Artificially engineered compound eye sensing systems
CN113566984B (zh) 基于傅里叶频谱消除的扩展物体波前传感装置及方法
Chang et al. Advanced visual components inspired by animal eyes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant