CN112950750A - 基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法 - Google Patents
基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法 Download PDFInfo
- Publication number
- CN112950750A CN112950750A CN202110291465.7A CN202110291465A CN112950750A CN 112950750 A CN112950750 A CN 112950750A CN 202110291465 A CN202110291465 A CN 202110291465A CN 112950750 A CN112950750 A CN 112950750A
- Authority
- CN
- China
- Prior art keywords
- image
- phi
- lens
- matrix
- imaging system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 101
- 238000005259 measurement Methods 0.000 claims abstract description 89
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims description 56
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 claims description 3
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 3
- 229910052804 chromium Inorganic materials 0.000 claims description 3
- 239000011651 chromium Substances 0.000 claims description 3
- 238000007747 plating Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
为解决传统的无镜头相机图像重建方法对于噪声较为敏感、***景深较低的技术问题，本发明提供了一种基于编码掩模与Learned‑TSVD算法的无镜头相机图像重建方法，使用编码掩模对光的传播过程进行编码，并利用编码掩模的可分离特性及TSVD算法将原始的大尺度***测量矩阵转化为尺度较小的左、右两个***测量矩阵；接下来构建神经网络训练对左、右***测量矩阵循环训练，减小近似运算对最终结果产生的误差；最后通过TSVD算法与正则化算法重建图像。本发明使用经过学习的***测量矩阵进行后续计算使整体重建过程抗噪声影响能力更强；用经过学习的***测量矩阵可较好的重建其他距离处的场景图像，解决了其他重建算法景深较低的问题。
Description
技术领域
本发明涉及成像技术领域，具体涉及一种基于编码掩模与Learned-TSVD算法的无镜头相机(即无镜头成像***)拍摄的场景图像的重建方法。
背景技术
无镜头成像技术是一种采用空间光调制器、衍射光学器件、编码掩模等光学器件代替物理镜头，在满足厚度薄、重量轻、能耗低、成本低的约束条件之下实现光的测量和场景再现的新型成像技术。
无镜头编码掩模成像***采集的图像为非聚焦图像，在采用特定的算法进行重建之前具有人眼不可分辨性质，故而在图像视频数据测量过程中可以有效保护其中包含的秘密内容，在对信息加密有需求场景有着非常广阔的应用前景。
目前，无镜头编码掩膜成像***的图像重建多采用传统的矩阵优化重建算法，该矩阵优化重建算法对于同类型的病态矩阵求逆问题具有相同的缺点，***测量矩阵中微小的扰动都会使得结果偏差较多，噪声对重建结果产生的影响很大。而最近新出现的基于卷积神经网络的无镜头编码掩膜成像***的图像重建算法不仅需要大量的实验数据用于训练，对于距离的鲁棒性还很差，***的景深很低，只能在***环境几乎完全相同的情况下才能较好的重建图像。
发明内容
为解决传统的无镜头相机图像重建方法对于噪声较为敏感、***景深较低的技术问题，本发明提供了一种基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法。
本发明的技术方案是：
基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，其特殊之处在于，包括以下步骤：
步骤一、搭建基于编码掩模的无镜头成像***：
将加工好的编码掩模固定在CMOS传感器阵列前方，编码掩模与CMOS传感器的距离不超过5mm，将编码掩模到用于显示标定训练图像的标定显示器之间的距离设定为设定距离；
所述的编码掩膜采用基于m序列的可分离编码掩模，根据对应的可分离编码掩模二元矩阵，在石英玻璃上镀铬膜层实现遮光制成；所述可分离编码掩膜二元矩阵用0和1表示，1表示透光，0表示不透光，二元矩阵中的每个元素对应编码掩膜中的一个方形区域；
步骤二、利用步骤一搭建的无镜头成像***拍摄标定训练图像：
2.1)选取标定训练图像
选取由Hadamard编码构成的水平、垂直亮线作为标定训练图像，对于尺寸为N×N的无镜头成像***，使用2N个标定训练图像进行标定；
2.2)采集标定图像
2.2.1)通过设置在无镜头成像***正前方的所述标定显示器，显示2.1)选取的标定训练图像，调节CMOS传感器与标定显示器的相对位置使得标定显示器上的标定训练图像全部落入整个CMOS传感器阵列的窗口；
2.2.2)调整CMOS传感器的曝光时间，并同时微调CMOS传感器与标定显示器的相对位置至可以获得清晰的传感器测量图像，记录编码掩模与标定显示器之间的距离，采集对应的传感器测量图像；
2.3)多次重复上述步骤2.1)-2.2)，并对采集的传感器测量图像取平均值，将得到的平均值作为无镜头成像***最终输出的测量值；
步骤三、求解无镜头成像***的***测量矩阵：
3.1)利用已知输入图像和对应的输出图像，对步骤一搭建的无镜头成像***进行建模，其中***测量矩阵与场景及传感器测量图像的关系为：
Y＝ΦX+E； (式1)
其中：
X为输入图像；
Y为无镜头成像***输出的测量值，由步骤2.3)得到；
E为无镜头成像***的***噪声；
Φ为无镜头成像***的***测量矩阵；
3.2)将***测量矩阵Φ分解为ΦL,ΦR左右两个测量矩阵，暂不考虑***噪声E的影响，仅对***测量矩阵Φ进行优化，得到
3.3)通过TSVD对输入图像和输出图像进行分解计算，得到ΦL,ΦR：
ΦL＝[u1,u2…uN]H-1；
ΦR＝[v1,v2…vN]H-1；
步骤四、构建神经网络及初始值设定：
4.1)在tensorflow中编写神经网络以训练无镜头成像***测量矩阵ΦL,ΦR；
4.2)将步骤三中求解得到的***测量矩阵ΦL,ΦR输入神经网络作为优化学习过程的初始值；
步骤五、训练测量矩阵ΦL,ΦR，得到优化后的***测量矩阵(ΦL)NEW,(ΦR)NEW：
5.1)将通过搭建的无镜头成像***原理样机拍摄的传感器测量图像与其相对应的场景图像作为训练用的数据集，其中场景图像X作为步骤四构建的神经网络的输出，传感器测量图像Y作为步骤四构建的神经网络的输入；
5.2)对所述神经网络进行训练，其中损失函数选用MSE与SSIM相结合，当神经网络的损失函数达到预设值或训练轮次达到预设次数时，停止训练，得到优化后的***测量矩阵(ΦL)NEW,(ΦR)NEW；
步骤六、利用L2正则化方法重建无镜头成像***拍摄的场景图像：
使用L2正则化方法，得到重建图像
其中：
UL是包含ΦL左特征向量的正交矩阵；
ΣL是包含ΦL特征值的对角矩阵；
VL是包含ΦL右特征向量的正交矩阵；
UR是包含ΦR左特征向量的正交矩阵；
ΣR是包含ΦR特征值的对角矩阵；
VR是包含ΦR右特征向量的正交矩阵；
σL和σR分别为表示
和
对角线元素的向量；
τ是正则化参数；
Y是传感器测量图像。
进一步地，步骤一中所述的设定距离大于20cm，小于等于100cm。
进一步地，所述步骤2.2)应尽量在黑暗环境下进行。
进一步地，步骤3.3)计算ΦL,ΦR的具体方法为：
通过TSVD分解获得的测量值Y的近似值为
其中，uk与
是TSVD分解后获得的近似项；
用近似值
代替
中的Y，可得：
对于可分离编码掩模，X的形式为：
其中，hk是大小为N×N的正交Hadamard矩阵的一列；
将v代入上式4中，可得：
进而可得：
对式5进行化简后得到：
uk≈ΦLhk
又因为uk＝[u1,u2…uN],hk＝[h1,h2…hN]
则可以得到：
[u1,u2…uN]＝ΦL[h1,h2…hN]＝ΦLH
则ΦL＝[u1,u2…uN]H-1；
同样地，令
通过上述步骤可推导出ΦR：
ΦR＝[v1,v2…vN]H-1。
进一步地，步骤六具体为：
使用L2正则化方法，将重建图像的估计值表示为：
其中，
ΦL,ΦR分别为步骤五中经过学习得到的优化后的***测量矩阵(ΦL)NEW,(ΦR)NEW
将上式的目标梯度设置为零并简化，根据所得到的方程来进行进一步的求解：
将ΦL,ΦR分别以TSVD表示为
和
其中UL是包含ΦL左特征向量的正交矩阵，ΣL是包含ΦL特征值的对角矩阵，VL是包含ΦL右特征向量的正交矩阵，UR是包含ΦR左特征向量的正交矩阵，ΣR是包含ΦR特征值的对角矩阵，VR是包含ΦR右特征向量的正交矩阵，则可将方程进一步化简为：
左右分别乘以
和VR：
分别使用向量σL和σR表示
和
的对角项以简化方程，得到重建图像：
进一步地，步骤一中的编码掩膜采用8位m序列进行编码。
本发明的有益效果是：
1.本发明将无镜头成像技术图像重建算法中的经典矩阵优化求逆算法与深度学习方法有机结合，保留了传统算法稳定性的同时，通过深度学习算法优化***测量矩阵，提高了重建图像的分辨率、信噪比、结构相似度，恢复了更多场景中的细节信息。
2.本发明在神经网络训练过程之前通过对编码掩模的可分离特性进行分析、处理，将待训练的***测量矩阵的尺度大幅度降低，显著地降低了神经网络参数数量，使得算法计算时间大幅度减少。
3、本发明相对于传统方法，在求解得到初始***测量矩阵后经过对于大量数据的学习后，得到了更为稳定、更为准确的***测量矩阵。使用经过学习的***测量矩阵进行后续的计算使得整体的重建过程抗噪声影响的能力更强，对原始图像的还原度更高，有效降低了重建图像中的噪声，丰富了图像细节。
4、本发明在实验过程中场景显示器与图像传感器的距离固定，基于在此距离下拍摄的大量数据集对应的传感器测量图像对***测量矩阵进行优化，使用经过学习的***测量矩阵可以较好的重建其他距离处的场景图像，有效的解决了其他重建算法景深较低的问题。
附图说明
图1为本发明的方法流程图。
图2为无镜头成像***的组成示意图。
图3为无镜头成像实验中使用的无镜头成像***原理样机的实物图。
图4为本发明所用到的神经网络结构示意图。
图5为无镜头成像***的传感器采集图像和Learned-TSVD算法重建图像示意图。
具体实施方式
本发明的原理为：
使用编码掩模对光的传播过程进行编码，并利用编码掩模的可分离特性及TSVD算法将原始的大尺度***测量矩阵转化为尺度较小的左、右两个***测量矩阵。接下来构建神经网络训练无镜头成像***的***测量矩阵，通过对左、右***测量矩阵循环训练的方式减小近似运算对最终结果产生的误差。***测量矩阵训练完成后通过TSVD算法与正则化算法重建图像。
以下结合附图对本发明所提供的方法做进一步的说明：
如图1所示，本发明所提供的基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，包括以下步骤：
步骤一、搭建基于编码掩模的无镜头成像***：
如图2-3所示，将加工好的编码掩模固定在CMOS传感器阵列前方，编码掩模与CMOS传感器的距离不超过5mm(本实施例为2mm处)，将编码掩模到标定显示器之间的距离设定为设定距离，设定距离应大于20cm，原则上不超过100cm(本实施例为30cm)，完成无镜头成像***的搭建。
其中，本实施例中使用的CMOS传感器为5120×5120像素，其中单个像素单元尺寸为4.5μm×4.5μm，黑白模式，CMOS传感器的有效面积为23.04mm×23.04mm。
编码掩膜采用基于m序列的可分离编码掩模(本实施例采用8位m序列进行编码)，根据对应的可分离编码掩模二元矩阵，在石英玻璃上镀铬膜层实现遮光制成；所述可分离编码掩膜二元矩阵用0和1表示，1表示透光，0表示不透光，二元矩阵中的每个元素对应编码掩膜中的一个方形区域。
步骤二、利用步骤一搭建的无镜头成像***拍摄标定训练图像：
2.1)选取标定训练图像
选取由Hadamard编码构成的水平、垂直亮线作为标定训练图像，对于尺寸为N×N的无镜头成像***，使用2N个标定训练图像进行标定；
2.2)采集标定图像
2.2.1)通过设置在无镜头成像***正前方的标定显示器，显示2.1)选取的标定训练图像，其中标定显示器是指用于显示标定训练图像的显示器，在后续的步骤及拓展实验中，可以同样地使用标定显示器来显示其他训练集的图像作为场景图像或用实物代替标定显示器进行同样的实验，调节CMOS传感器与标定显示器的相对位置使得标定显示器上的标定训练图像全部落入整个CMOS传感器阵列的窗口；
2.2.2)调整CMOS传感器的曝光时间，并同时微调CMOS传感器与标定显示器的相对位置至可以获得清晰的传感器测量图像，记录编码掩模与标定显示器之间的距离，采集对应的传感器测量图像；
2.3)多次重复上述步骤2.1)-2.2)，并对采集的传感器测量图像取平均值，将得到的平均值作为无镜头成像***最终输出的测量值，以降低噪声影响。
需要注意的是，上述采集步骤2.2)应尽量在黑暗环境下进行，并关闭电灯以最大限度消除杂散光源及频闪的影响。
步骤三、求解无镜头成像***的***测量矩阵：
3.1)利用已知输入图像和对应的输出图像，对步骤一搭建的无镜头成像***进行建模，其中***测量矩阵与场景及传感器测量图像的关系为：Y＝ΦX+E(式1)；其中：X为输入图像即原始场景；Y为无镜头成像***中CMOS传感器阵列的输出图像即测量值，由步骤2.3)得到；E为无镜头成像***的***噪声；Φ为无镜头成像***的***测量矩阵；
3.2)由于步骤一搭建的无镜头成像***使用的是可分离编码掩模，即(式1)中的场景X是可分的，即X＝(ab)T，其中a,b∈RN，RN为实数集，a,b为X分离得到的两个向量。因此可以将CMOS传感器阵列的输出图像表示为
即
这样，就可以将***测量矩阵Φ分解为ΦL,ΦR左右两个测量矩阵，能够降低矩阵维度过高带来的计算量过大的困难；在后续的计算中，我们暂不考虑式2中***噪声E的影响，仅对***测量矩阵进行优化，因此式2可以简化为
3.3)通过TSVD对输入图像和输出图像进行分解计算，得到ΦL,ΦR，具体方法为：
通过TSVD分解获得的测量值Y的近似值为
其中，uk与
是TSVD分解后获得的近似项；
用近似值
代替式2＇中的Y，可得：
对于可分离编码掩模，X的形式为：
其中，hk是大小为N×N的正交Hadamard矩阵的一列；
将v代入上式4中，可得：
进而可得：
对式5进行化简后得到：
uk≈ΦLhk
又因为uk＝[u1,u2…uN],hk＝[h1,h2…hN]
则可以得到：
[u1,u2…uN]＝ΦL[h1,h2…hN]＝ΦLH
则ΦL＝[u1,u2…uN]H-1；
同样地，令
通过上述步骤可推导出ΦR：
ΦR＝[v1,v2…vN]H-1。
步骤四、构建神经网络及初始值设定：
4.1)在tensorflow中编写如图4所示算法流程图中的神经网络以训练无镜头成像***测量矩阵ΦL,ΦR。其中网络输入为传感器测量图像，网络输出为重建图像，对ΦL,ΦR循环训练优化，再用经过学习的ΦL,ΦR作为参数输入正则化算法层，最后输出复原的场景图像；
4.2)将步骤三中求解得到的***测量矩阵ΦL,ΦR输入神经网络作为优化学习过程的初始值。
步骤五、训练无镜头成像***的测量矩阵ΦL,ΦR，得到优化后的***测量矩阵
5.1)将通过搭建的无镜头成像***原理样机所拍摄的大量传感器测量图像与其相对应的场景图像作为训练用的数据集，其中场景图像X作为步骤四构建的神经网络的输出，传感器测量图像Y作为步骤四构建的神经网络的输入；
5.2)对所述神经网络进行训练，其中损失函数选用MSE与SSIM相结合，当神经网络的损失函数达到预设值或训练轮次达到预设次数时，停止训练，得到优化后的***测量矩阵(ΦL)NEW,(ΦR)NEW；
步骤六、利用L2正则化方法重建无镜头成像***拍摄的场景图像
使用L2正则化方法，可以将重建图像的估计值表示为：
其中，ΦL,ΦR分别为步骤五中经过学习得到的优化后的***测量矩阵(ΦL)NEW,(ΦR)NEW
将上式的目标梯度设置为零并简化，根据所得到的方程来进行进一步的求解：
将ΦL,ΦR分别以TSVD表示为
和
其中UL是包含ΦL左特征向量的正交矩阵，ΣL是包含ΦL特征值的对角矩阵，VL是包含ΦL右特征向量的正交矩阵，UR是包含ΦR左特征向量的正交矩阵，ΣR是包含ΦR特征值的对角矩阵，VR是包含ΦR右特征向量的正交矩阵。则可将方程进一步化简为：
左右分别乘以
和VR：
分别使用向量σL和σR表示
和
的对角项以简化方程，得到重建图像：
图5所示为无镜头成像***的传感器测量图像与本发明算法重建图像的示意图，从图中可以看出，本发明所使用的方法可以较好的重建无镜头相机所拍摄的传感器测量图像，重建图像保留了场景图像的大部分细节，可以以此重建结果进行进一步的应用如分类、识别等。
Claims (6)
1.基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，其特征在于，包括以下步骤：
步骤一、搭建基于编码掩模的无镜头成像***：
将加工好的编码掩模固定在CMOS传感器阵列前方，编码掩模与CMOS传感器的距离不超过5mm，将编码掩模到用于显示标定训练图像的标定显示器之间的距离设定为设定距离；
所述的编码掩膜采用基于m序列的可分离编码掩模，根据对应的可分离编码掩模二元矩阵，在石英玻璃上镀铬膜层实现遮光制成；所述可分离编码掩膜二元矩阵用0和1表示，1表示透光，0表示不透光，二元矩阵中的每个元素对应编码掩膜中的一个方形区域；
步骤二、利用步骤一搭建的无镜头成像***拍摄标定训练图像：
2.1)选取标定训练图像
选取由Hadamard编码构成的水平、垂直亮线作为标定训练图像，对于尺寸为N×N的无镜头成像***，使用2N个标定训练图像进行标定；
2.2)采集标定图像
2.2.1)通过设置在无镜头成像***正前方的所述标定显示器，显示2.1)选取的标定训练图像，调节CMOS传感器与标定显示器的相对位置使得标定显示器上的标定训练图像全部落入整个CMOS传感器阵列的窗口；
2.2.2)调整CMOS传感器的曝光时间，并同时微调CMOS传感器与标定显示器的相对位置至可以获得清晰的传感器测量图像，记录编码掩模与标定显示器之间的距离，采集对应的传感器测量图像；
2.3)多次重复上述步骤2.1)-2.2)，并对采集的传感器测量图像取平均值，将得到的平均值作为无镜头成像***最终输出的测量值；
步骤三、求解无镜头成像***的***测量矩阵：
3.1)利用已知输入图像和对应的输出图像，对步骤一搭建的无镜头成像***进行建模，其中***测量矩阵与场景及传感器测量图像的关系为：
Y＝ΦX+E； (式1)
其中：
X为输入图像；
Y为无镜头成像***输出的测量值，由步骤2.3)得到；
E为无镜头成像***的***噪声；
Φ为无镜头成像***的***测量矩阵；
3.2)将***测量矩阵Φ分解为ΦL,ΦR左右两个测量矩阵，暂不考虑***噪声E的影响，仅对***测量矩阵Φ进行优化，得到
3.3)通过TSVD对输入图像和输出图像进行分解计算，得到ΦL,ΦR：
ΦL＝[u1,u2…uN]H-1；
ΦR＝[v1,v2…vN]H-1；
步骤四、构建神经网络及初始值设定：
4.1)在tensorflow中编写神经网络以训练无镜头成像***测量矩阵ΦL,ΦR；
4.2)将步骤三中求解得到的***测量矩阵ΦL,ΦR输入神经网络作为优化学习过程的初始值；
步骤五、训练测量矩阵ΦL,ΦR，得到优化后的***测量矩阵(ΦL)NEW,(ΦR)NEW：
5.1)将通过搭建的无镜头成像***原理样机拍摄的传感器测量图像与其相对应的场景图像作为训练用的数据集，其中场景图像X作为步骤四构建的神经网络的输出，传感器测量图像Y作为步骤四构建的神经网络的输入；
5.2)对所述神经网络进行训练，其中损失函数选用MSE与SSIM相结合，当神经网络的损失函数达到预设值或训练轮次达到预设次数时，停止训练，得到优化后的***测量矩阵(ΦL)NEW,(ΦR)NEW；
步骤六、利用L2正则化方法重建无镜头成像***拍摄的场景图像：
使用L2正则化方法，得到重建图像
其中：
UL是包含ΦL左特征向量的正交矩阵；
ΣL是包含ΦL特征值的对角矩阵；
VL是包含ΦL右特征向量的正交矩阵；
UR是包含ΦR左特征向量的正交矩阵；
ΣR是包含ΦR特征值的对角矩阵；
VR是包含ΦR右特征向量的正交矩阵；
σL和σR分别为表示
和
对角线元素的向量；
τ是正则化参数；
Y是传感器测量图像。
2.根据权利要求1所述的基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，其特征在于：步骤一中所述的设定距离大于20cm，小于等于100cm。
3.根据权利要求2所述的基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，其特征在于：所述步骤2.2)应尽量在黑暗环境下进行。
4.根据权利要求1-3任一所述的基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，其特征在于，步骤3.3)计算ΦL,ΦR的具体方法为：
通过TSVD分解获得的测量值Y的近似值为
其中，uk与
是TSVD分解后获得的近似项；
用近似值
代替
(式2＇)中的Y，可得：
对于可分离编码掩模，X的形式为：
其中，hk是大小为N×N的正交Hadamard矩阵的一列；
将v代入上式4中，可得：
进而可得：
对式5进行化简后得到：
uk≈ΦLhk
又因为uk＝[u1,u2…uN],hk＝[h1,h2…hN]
则可以得到：
[u1,u2…uN]＝ΦL[h1,h2…hN]＝ΦLH
则ΦL＝[u1,u2…uN]H-1；
同样地，令
通过上述步骤可推导出ΦR：
ΦR＝[v1,v2…vN]H-1。
5.根据权利要求4所述的基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，其特征在于，步骤六具体为：
使用L2正则化方法，将重建图像的估计值表示为：
其中，
ΦL,ΦR分别为步骤五中经过学习得到的优化后的***测量矩阵(ΦL)NEW,(ΦR)NEW
将上式的目标梯度设置为零并简化，根据所得到的方程来进行进一步的求解：
将ΦL,ΦR分别以TSVD表示为
和
其中UL是包含ΦL左特征向量的正交矩阵，ΣL是包含ΦL特征值的对角矩阵，VL是包含ΦL右特征向量的正交矩阵，UR是包含ΦR左特征向量的正交矩阵，ΣR是包含ΦR特征值的对角矩阵，VR是包含ΦR右特征向量的正交矩阵，则可将方程进一步化简为：
左右分别乘以
和VR：
分别使用向量σL和σR表示
和
的对角项以简化方程，得到重建图像：
6.根据权利要求5所述的基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，其特征在于：步骤一中的编码掩膜采用8位m序列进行编码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110291465.7A CN112950750B (zh) | 2021-03-18 | 2021-03-18 | 基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110291465.7A CN112950750B (zh) | 2021-03-18 | 2021-03-18 | 基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112950750A true CN112950750A (zh) | 2021-06-11 |
| CN112950750B CN112950750B (zh) | 2023-12-08 |
Family
ID=76228251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110291465.7A Active CN112950750B (zh) | 2021-03-18 | 2021-03-18 | 基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112950750B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677766A (zh) * | 2022-05-26 | 2022-06-28 | 中国科学院西安光学精密机械研究所 | 基于无镜头成像技术的手语识别方法、***及交互设备 |
| CN116703728A (zh) * | 2023-08-07 | 2023-09-05 | 北京理工大学 | ***参数优化的超分辨方法和*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130011051A1 (en) * | 2011-07-07 | 2013-01-10 | Lockheed Martin Corporation | Coded aperture imaging |
| CN109076148A (zh) * | 2016-04-12 | 2018-12-21 | 奎蒂安特有限公司 | 日常场景重建引擎 |
| CN110378975A (zh) * | 2019-07-11 | 2019-10-25 | 安徽大学 | 一种基于深度神经网络的压缩编码孔径成像方法及*** |
| CN110501071A (zh) * | 2019-08-02 | 2019-11-26 | 杭州电子科技大学 | 一种基于模糊编码的压缩高光谱掩膜优化方法 |
| CN111343367A (zh) * | 2020-02-17 | 2020-06-26 | 清华大学深圳国际研究生院 | 一种十亿像素虚拟现实视频采集装置、***与方法 |
| CN111652815A (zh) * | 2020-05-26 | 2020-09-11 | 浙江大学 | 一种基于深度学习的掩膜板相机图像复原方法 |
| US20200410653A1 (en) * | 2018-12-06 | 2020-12-31 | Adam Milstein | Computational Reconfigurable Imaging Spectrometer |
-
2021
- 2021-03-18 CN CN202110291465.7A patent/CN112950750B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130011051A1 (en) * | 2011-07-07 | 2013-01-10 | Lockheed Martin Corporation | Coded aperture imaging |
| CN109076148A (zh) * | 2016-04-12 | 2018-12-21 | 奎蒂安特有限公司 | 日常场景重建引擎 |
| US20200410653A1 (en) * | 2018-12-06 | 2020-12-31 | Adam Milstein | Computational Reconfigurable Imaging Spectrometer |
| CN110378975A (zh) * | 2019-07-11 | 2019-10-25 | 安徽大学 | 一种基于深度神经网络的压缩编码孔径成像方法及*** |
| CN110501071A (zh) * | 2019-08-02 | 2019-11-26 | 杭州电子科技大学 | 一种基于模糊编码的压缩高光谱掩膜优化方法 |
| CN111343367A (zh) * | 2020-02-17 | 2020-06-26 | 清华大学深圳国际研究生院 | 一种十亿像素虚拟现实视频采集装置、***与方法 |
| CN111652815A (zh) * | 2020-05-26 | 2020-09-11 | 浙江大学 | 一种基于深度学习的掩膜板相机图像复原方法 |
Non-Patent Citations (1)
| Title |
|---|
| ***;熊盛青;聂洪峰;梁树能;齐泽荣;杨金中;闫柏琨;赵福岳;范景辉;童立强;林键;甘甫平;陈微;杨苏明;张瑞江;葛大庆;张晓坤;张振华;王品清;郭小方;李丽;: "遥感地质勘查技术与应用研究", 地质学报, no. 11 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677766A (zh) * | 2022-05-26 | 2022-06-28 | 中国科学院西安光学精密机械研究所 | 基于无镜头成像技术的手语识别方法、***及交互设备 |
| CN114677766B (zh) * | 2022-05-26 | 2023-02-14 | 中国科学院西安光学精密机械研究所 | 基于无镜头成像技术的手语识别方法、***及交互设备 |
| CN116703728A (zh) * | 2023-08-07 | 2023-09-05 | 北京理工大学 | ***参数优化的超分辨方法和*** |
| CN116703728B (zh) * | 2023-08-07 | 2023-10-13 | 北京理工大学 | ***参数优化的超分辨方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112950750B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yuan et al. | Snapshot compressive imaging: Theory, algorithms, and applications | |
| Yuan et al. | Plug-and-play algorithms for video snapshot compressive imaging | |
| Liu et al. | Rank minimization for snapshot compressive imaging | |
| Lin et al. | Spatial-spectral encoded compressive hyperspectral imaging | |
| CN111242883B (zh) | 一种基于深度学习的动态场景hdr重建方法 | |
| US9380221B2 (en) | Methods and apparatus for light field photography | |
| CN108416723B (zh) | 基于全变分正则化和变量***的无透镜成像快速重构方法 | |
| CN112950750B (zh) | 基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法 | |
| CN110650340B (zh) | 一种时空复用的压缩视频成像方法 | |
| CN107622515B (zh) | 压缩光场的物理重建方法 | |
| CN110880163B (zh) | 一种基于深度学习的弱光彩色成像方法 | |
| CN111652815B (zh) | 一种基于深度学习的掩膜板相机图像复原方法 | |
| CN115484410B (zh) | 基于深度学习的事件相机视频重建方法 | |
| CN114897752A (zh) | 一种基于深度学习的单透镜大景深计算成像***及方法 | |
| Remez et al. | A picture is worth a billion bits: Real-time image reconstruction from dense binary threshold pixels | |
| CN111932452B (zh) | 基于可见光图像增强的红外图像卷积神经网络超分辨方法 | |
| CN112750092A (zh) | 训练数据获取方法、像质增强模型与方法及电子设备 | |
| Yoshida et al. | High-speed imaging using CMOS image sensor with quasi pixel-wise exposure | |
| Alghamdi et al. | Transfer deep learning for reconfigurable snapshot HDR imaging using coded masks | |
| Yuan et al. | Lensless compressive imaging | |
| CA2784817C (en) | Filter setup learning for binary sensor | |
| Remez et al. | A picture is worth a billion bits: Real-time image reconstruction from dense binary pixels | |
| CN115456903B (zh) | 一种基于深度学习的全彩夜视增强方法和*** | |
| Shu | Advanced imaging via multiplexed sensing and compressive sensing | |
| Qiu | Image Reconstruction of Tang Sancai Figurines Based on Artificial Intelligence Image Extraction Technology Based on Ration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |