CN114967121B - 一种端到端的单透镜成像***设计方法 - Google Patents
一种端到端的单透镜成像***设计方法 Download PDFInfo
- Publication number
- CN114967121B CN114967121B CN202210522840.9A CN202210522840A CN114967121B CN 114967121 B CN114967121 B CN 114967121B CN 202210522840 A CN202210522840 A CN 202210522840A CN 114967121 B CN114967121 B CN 114967121B
- Authority
- CN
- China
- Prior art keywords
- imaging system
- image
- loss
- lens imaging
- single lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013461 design Methods 0.000 title claims abstract description 19
- 230000006870 function Effects 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims description 33
- 230000003287 optical effect Effects 0.000 claims description 32
- 238000001914 filtration Methods 0.000 claims description 23
- 238000004088 simulation Methods 0.000 claims description 22
- 238000005457 optimization Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 210000002569 neuron Anatomy 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000003071 parasitic effect Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 239000000654 additive Substances 0.000 claims 1
- 230000000996 additive effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 11
- 238000005070 sampling Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000004075 alteration Effects 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 238000011423 initialization method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 1
- 239000004926 polymethyl methacrylate Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Fuzzy Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Automation & Control Theory (AREA)
- Optics & Photonics (AREA)
- Lenses (AREA)
Abstract
本发明公开了一种端到端的单透镜成像***设计方法，包括：构建单透镜成像***框架；计算复原图与原图的平方差损失与附加约束损失，基于平方差损失与附加约束损失构建损失函数；对单透镜成像***框架的可训练参数进行迭代优化，构建单透镜成像***。本发明对单透镜成像***进行优化设计，使单透镜成像***具有较好的初始结构，大幅降低了深度学习的训练难度，可满足一定的性能要求。
Description
技术领域
本发明属于计算光学成像技术领域，特别是涉及一种端到端的单透镜成像***设计方法。
背景技术
单透镜相比于复杂透镜组有着体积小、质量轻和结构简单等优势。但是，普通单透镜的像差较大，尤其在大视场成像时，得到的图像往往很模糊。若要实现高质量的光学***成像，往往需要用复杂的透镜组合来矫正像差。然而，复杂透镜组光学***有着体积大、质量大和成本高等缺点，在手机镜头、无人机平台摄像***、遥感相机等有小型化需求的应用中存在一定的限制。
单透镜成像***通过单透镜获取图像，用后处理算法矫正图像中单透镜像差带来的模糊，是实现镜头轻型化的主要方法，可应用于智能手机摄像头、无人机平台摄像***、遥感相机等亟需小型化成像***领域。单透镜成像***可以分为分立设计***和端到端设计***。分立设计***先设计单透镜，根据单透镜成像效果再设计后处理复原算法。端到端的单透镜成像***设计则将成像仿真与复原算法连接在一起，利用深度学习技术同时对单透镜面形参数与复原算法参数做学习训练。端到端设计相比于分立设计，具有全局寻优的优势。
现有的端到端单透镜设计方法中复原网络部分均使用卷积神经网络，无法学习位置信息，对与空间位置相关的像差模糊复原效果较差。并且，现有的这些方法缺少对单透镜边缘厚度、中心厚度以及能量分布等附加边界条件的约束，这将导致通过算法设计得到的光学透镜不符合实际加工应用的要求。
发明内容
本发明的目的是提供一种端到端的单透镜成像***设计方法，以解决上述现有技术存在的问题。
为实现上述目的，本发明提供了一种端到端的单透镜成像***设计方法，包括：
计算复原图与原图的平方差损失与附加约束损失，基于所述平方差损失与所述附加约束损失构建损失函数；
构建单透镜成像***框架，基于深度学习与所述损失函数，对所述单透镜成像***框架进行迭代优化，获得优化完成的***，将优化完成的***作为单透镜成像***。
可选地，所述单透镜成像***框架包括：光学图像模糊仿真模块、模糊核学习模块和逆滤波图像复原模块；
构建单透镜成像***框架的过程包括：
建立单透镜各视场和各波段的点扩散函数关于其面形参数的映射方程，基于所述点扩散函数与原图进行卷积插值，获取单透镜模糊仿真图，构建所述光学图像模糊仿真模块；
将所述点扩散函数中0°视场的点扩散函数作为预估模糊核，构建神经网络，基于所述神经网络对所述预估模糊核进行修正，获取修正结果，构建所述模糊核学习模块；
基于自适应维纳滤波法与所述模糊核学习模块输出的模糊核构建所述逆滤波图像复原模块；
基于所述光学图像模糊仿真模块、所述模糊核学习模块与所述逆滤波图像复原模块构建所述单透镜成像***框架。
可选地，构建所述光学图像模糊仿真模块的过程中，基于几何光学原理与光线追迹的方法获取所述点扩散函数；将单透镜的非球面参数设为面形参数，所述单透镜模糊仿真图关于所述非球面参数是可微的。
可选地，所述神经网络为具有跳过连接结构的三层全连接神经网络，每层全连接层包括27×27个神经元。
可选地，所述神经网络对所述预估模糊核进行修正的方法为：将所述预估模糊核变换为一维矩阵形式并输入所述神经网络中；计算每一层神经网络的输出结果，将第三层的输出结果变换为图像矩阵的形式，形成修正的模糊核并进行补零。
可选地，所述自适应维纳滤波法的算法表达式为：
其中，
表示复原图像，F(·)表示傅里叶变换，F-1(·)表示傅里叶逆变换，K为通过学习训练自适应调整的可优化的参数，I1为单透镜模糊仿真图像，
为模糊核学习模块输出的模糊核。
可选地，计算复原图与原图的平方差损失mseloss的公式为：
其中，m,n表示图像的尺寸，i,j表示图像中的像素位置，I0表示原图，mseloss表示原图与复原图的平方差损失。
可选地，所述附加约束损失的计算方法为：
式中，loss0表示附加约束损失，kn表示变量当前值，ky表示变量阀值，sigmoid表示激活函数，当kn≥ky时附加损失值不激活，当kn＜ky时激活附加损失值。
可选地，基于所述平方差损失与所述附加约束损失构建损失函数的方法为：将所述平方差损失与所述附加约束损失进行加权求和，基于加权求和的结果构建损失函数。
可选地，对所述单透镜成像***框架进行迭代优化的方法为：
将初始非球面参数与神经网络的参数初始为0，对非球面参数、神经网络和逆滤波自适应参数共同做优化。
本发明具有以下技术效果：
(1)本发明建立了一种端到端的单透镜成像***框架，根据***的成像效果同时对单透镜成像***框架中的光学***面形参数、ResDNN3神经网络参数和维纳滤波图像复原算法中的噪声常量参数进行优化。
(2)本发明提出了具有跳过连接结构的全连接神经网络(ResDNN3)，此网络以预估的模糊核作为输入，可用于光学***模糊核的学习修正。
(3)本发明在端到端的单透镜成像***的训练优化中加入了光学***附加约束损失，可以对设计的单透镜的边缘厚度和能量分布等做约束。
(4)本发明为设计单透镜成像***框架提出了一套初始化方法，使本发明的单透镜成像***具有较好的初始结构，此***框架在训练时具有良好的初值，大幅降低了对此***框架做训练优化的难度。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例中的端到端的单透镜成像***设计方法流程框图；
图2为本发明实施例中的ResDNN3网络结构图；
图3为本发明实施例中的单透镜光路图；
图4为本发明实施例中的优化前后单透镜各视场的点扩散函数对比图，其中(a)为未优化的光学***的各视场点扩散函数，(b)为学习优化得到的光学***的各视场点扩散函数；
图5为本发明实施例中的模糊核的学习优化效果，其中(a)为未优化的预估模糊核，(b)为学习优化后的模糊核；
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
本实施例提出了一种端到端的单透镜成像***设计方法，并可有效应用于智能手机摄像头、无人机平台摄像***、遥感相机等亟需小型化成像***领域，其流程图如图1所示。本实施例以一个焦距为43.5mm、通光孔径为23.4mm，全视场47°的单透镜成像***为例，介绍本发明的具体实施方式：
步骤一：建立的端到端的单透镜成像***框架包含三个模块：光学图像模糊仿真模块、模糊核学习模块和逆滤波图像复原模块。这三个模块的建立过程如下：
步骤1-1，建立光学图像模糊仿真模块。首先建立单透镜各视场和各波段的点扩散函数关于其面形参数的映射方程，然后用这些点扩散函数与原图做卷积插值得到单透镜模糊仿真图，实现光学图像模糊仿真。
将单透镜的非球面参数设为可优化的面形参数，建立的图像仿真模型中模糊图像关于非球面参数是可微的。本发明使用的单透镜为平凸偶次非球面透镜，透镜前表面为平面，后表面为使用第4、6、8、10阶偶次非球面参数的曲面。
本发明首先基于几何光学原理，通过光线追迹建立单透镜光学***下光线入射位置和方向到像面位置的映射方程建立面形参数与点扩散函数之间的函数关系：
G(x0,y0,θ,{a4,a6,a8,a10})＝(x1,y1)
其中x0,y0,θ为入射位置与方向，{an}为待优化的面形参数的集合，x1,y1为像面位置，G(·)为光线入射位置和方向到像面位置的映射变换。建立此映射方程，需要已知光学透镜的面形函数F(x,y,z,an)＝0、透镜材料的折射率以及各光学表面的位置。偶次非球面的通用面形方程为：
其中，r为径向方向的位置，z为相应位置处的矢径，c为顶点处的曲率，r为半径，k为圆锥度，a2、a4、a6等为非球面系数。在本发明实例中，透镜厚度d为6mm，顶点曲率半径r为-21.4mm，圆锥度k为0，a4、a6、a8和a10为待优化的非球面系数。
实例中所用的透镜材料为PMMA，其对可见光波段中心波长的折射率n1＝1.49，使用光线的空间折射定律可得到光线折射后的方位角利用空间折射定律与光的直线传播定律可求解得到光线在透镜面每一次折射的空间位置和方向角，逐层求解可由x0,y0,θ得到x1,y1。
在像面均匀选取7×7个点扩散采样区域，每个采样区域的大小27×27个像素，计算这些点扩散采样区域中心位置对应的主光线的入射角。对每一个入射角，分别在入射面创建64×64个平行采样光线阵列，并计算这些光线在点扩散采样区域内的落点分布，点扩散采样区域内每个像素块内的光线量作为点扩散函数中相应参数的参数值。
设像面各点扩散采样区域内各像素中心的空间位置为x2,y2，则像面各像素中心与光线落点间的距离为：
随后，用高斯函数对像面的光线落点做扩散化，根据光线落点与像素空间中心距离对像素赋予不同的权重:
其中，σ高斯函数标准差，可根据探测器的像元尺寸调整。将所有同一入射角的采样光线落点的强度分布叠加起来并归一化，便可获得相应位置的点扩散函数：
分别用这些点扩散函数与原始图像做卷积，再用插值函数将这些与点扩散函数卷积后的降质图融合为模糊仿真图并加上噪声项。此过程描述为：
其中，I0为原始图像，I1为单透镜模糊仿真图像，η为噪声，SINCij表示中心点在(i,j)位置的SINC函数权重图。
步骤1-2，建立模糊核优化学习模块。将步骤1-1中得到的中心视场的点扩散函数作为预估模糊核，建立神经网络用于将预估模糊核变换为表征整个光学***特性的模糊核，从而实现学习模糊核的功能。
使用的预估模糊核psf00为步骤一中得到的中心视场中心波段的点扩散函数，将其变换为一维矩阵的形式H0＝[h0,h1,…,h27×27]，输入本发明建立的ResDNN3网络中。
本文建立ResDNN3网络的结构如图2所示，是具有跳过连接结构的三层全连接神经网络，全连接神经网络中所有的神经元是相互连接的，每层全连接层均有27×27个神经元。跳过连接是指神经网络每一层的输出都要与其输入相加，起到丰富网络信息等作用。
跳过连接的方式可以以简单的方式引入上一层神经元的信息，并且几乎不增加额外运算量，目前这种方法广泛应用于卷积神经网络中，其在全连接神经网络中同样可以发挥出相应的效果。令
表示第x层全连接网络中的第j个神经元，
表示上一层输入中的第i项，
表示上一层中第j个神经元，
和
分别表示此条连接的权重和偏置，则该神经网络中每个神经元的计算方式为：
其中的权重wi和偏置bi作为神经网络的优化变量，每层全连接神经网络中所有神经元的计算结果作为这层神经网络的输出。于是，本发明中神经网络每一层的输出结果依次为：
将第三层的输出结果H3变换为图像矩阵的形式，形成修正的模糊核psfH3。将修正的模糊核补零至与模糊图像I1尺寸相同，补零后的点扩散函数用
表示。
步骤1-3，建立逆滤波图像复原模块。用自适应维纳滤波法作为图像复原模块的逆滤波算法，图像复原模块使用的模糊核为模糊核学习模块输出的模糊核。
维纳滤波也称为最小均方误差滤波，是一种考虑了噪声干扰的逆滤波复原算法。令
表示复原图像，Sη为噪声的功率谱，Sf为退化函数的功率谱，F(·)表示傅里叶变换，
为模糊核优化学习模块输出的模糊核，于是利用维纳滤波复原图像的算法表达式为：
其中，
项难以被精确计算，以往使用时通常将其设为常量。本发明中将其设为可优化的参数，通过学习训练自适应调整。设F-1(·)为傅里叶逆变换，K值为自适应参数，则复原图像
的表达式为：
所述步骤2中，令m,n表示图像的尺寸，i,j表示图像中的像素位置，mseloss表示原图与复原图的平方差损失，则原图与复原图的平方差损失为：
光学***的附加约束损失通过变量当前值kn与设置的变量阈值ky的差值引入，并用sigmoid函数做激活函数，当kn≥ky时此损失项不激活，当kn＜ky时激活附加损失值。本发明具体可对透镜边缘厚度和能量分布做附加约束，其通用范式为：
其中，对于单透镜，变量当前值kn主要有透镜边缘厚度和能量分布两种类型。设r为径向方向的位置，半径R1(r)与R2(r)分别为前一面和后一面在光轴方向上的坐标函数，r0为透镜的径向半径，则边缘厚度的变量当前值kn1的表达式为：
kn1＝R2(r0)-R1(r0)
***能量值可用上述采样平行光线阵列在像面落点值的总和来表示，可用点扩散采样范围内的能量总和来表示，也可用更小范围乃至中心像素内的光线落点能量和表示，设m，n为考察的能量传递范围，则能量分布的变量当前值为：
kn2＝sum(psf(x,y)),x≤m,y≤n
将平方差损失与附加约束损失加权求和，得到整个端到端设计的损失函数loss，设平方差损失与附加约束损失的权重分别为α和β，则：
loss＝α*mseloss+β1*loss0(kn1)+β2*loss0(kn2)
步骤三：利用深度学习技术，对端到端的单透镜成像***的可训练参数做迭代优化，得到最优的单透镜成像***参数
将初始非球面参数与resDNN3网络参数均初始化为0，于是在深度学习的初次训练时：光学***为标准球面镜，预估模糊核为标准球面镜在0°视场下的点扩散函数，resDNN3网络对预估模糊核的运算结果仍为标准球面镜在0°视场下的点扩散函数，维纳滤波噪声特性参数的初值设为0.01。相比于随机初始化参数，本发明的初始化方法具有一定的物理意义，在对***做初次训练时便可得到较好的成像效果。所以，本发明的单透镜成像***在具有较好的初始结构，大幅降低了深度学习的训练难度。
选取图像尺寸为256×256的清晰场景图像作为数据集，其中训练集中有350张图片，测试集中有50张图片。在做深度学习训练的每次迭代中，计算训练集的损失值做梯度下降，更新参数；计算测试集的损失值用于验证单透镜成像***的效果，不更新参数。将学习率设为1×10-4，重复迭代100次，选取测试集的损失值最小的一次参数作为最终的优化结果。
单透镜的非球面参数a4、a6、a8和a10优化后的数值分别变为1.766×10-5、-9.100×10-9、-4.052×10-11和9.894×10-12，维纳滤波中优化得到的噪声常量参数K＝2×10-4。设计得到的单透镜的光路图如图3所示。由图4中未优化的光学***标准球面镜(a)与进行了非球面参数优化的光学***(b)的对比可以看出，端到端的单透镜成像***对单透镜面形的优化使单透镜边缘视场的点扩散函数更加集中、与中心视场的点扩散函数更加一致，因此用一个学习得到的模糊核对单透镜模糊图像做逆滤波复原，便可得到良好的复原效果。由图5中预估模糊核(a)与学习得到表征单透镜全视场特性的模糊核(b)的对比可以看出，学习到的模糊核更为复杂，其分布与空间位置相关，ResDNN3网络起到了良好的学习效果。
单透镜成像***中的复原算法部分可以将单透镜获取的模糊图像复原为接近原图的清晰图像。使用峰值信噪比与结构相似度做为评价指标来度量两图的相似性，经过计算得到单透镜获取的模糊图像与原图间的结构相似度为0.63，峰值信噪比为20.93；复原后的图像与原图间的结构相似度为0.93，峰值信噪比为25.47，通过量化的指标对比同样证明了本发明设计的有效性。
本发明建立了一种端到端的单透镜成像***框架，根据***的成像效果同时对光学***的面形参数、ResDNN3神经网络参数和维纳滤波图像复原算法中的噪声常量参数进行优化。
本发明提出了具有跳过连接结构的全连接神经网络(ResDNN3)，此网络以预估的模糊核作为输入，可用于光学***模糊核的学习修正。
本发明在端到端的单透镜成像***的训练优化中加入了光学***附加约束损失，可以对设计的单透镜的边缘厚度和能量分布等做约束。
本发明为所设计的单透镜成像***框架提出了一套初始化方法，使此***框架在训练时具有良好的初值，大幅降低了对此***框架做训练优化的难度。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.一种端到端的单透镜成像***设计方法，其特征在于，包括以下步骤：
计算复原图与原图的平方差损失与附加约束损失，基于所述平方差损失与所述附加约束损失构建损失函数；
构建单透镜成像***框架，基于深度学习与所述损失函数，对所述单透镜成像***框架进行迭代优化，获得优化完成的***，将优化完成的***作为单透镜成像***；
所述单透镜成像***框架包括：光学图像模糊仿真模块、模糊核学习模块和逆滤波图像复原模块；
构建单透镜成像***框架的过程包括：
建立单透镜各视场和各波段的点扩散函数关于其面形参数的映射方程，基于所述点扩散函数与原图进行卷积插值，获取单透镜模糊仿真图，构建所述光学图像模糊仿真模块；
将所述点扩散函数作为预估模糊核，构建神经网络，基于所述神经网络对所述预估模糊核进行修正，获取修正结果，构建所述模糊核学习模块；
基于自适应维纳滤波法与所述模糊核学习模块输出的模糊核构建所述逆滤波图像复原模块；
基于所述光学图像模糊仿真模块、所述模糊核学习模块与所述逆滤波图像复原模块构建所述单透镜成像***框架；
所述附加约束损失的计算方法为：
式中，loss0表示附加约束损失，kn表示变量当前值，ky表示变量阀值，sigmoid表示激活函数，当kn≥ky时附加损失值不激活，当kn＜ky时激活附加损失值。
2.根据权利要求1所述的端到端的单透镜成像***设计方法，其特征在于，构建所述光学图像模糊仿真模块的过程中，基于几何光学原理与光线追迹的方法获取所述点扩散函数；将单透镜的非球面参数设为面形参数，所述单透镜模糊仿真图关于所述非球面参数是可微的。
3.根据权利要求1所述的端到端的单透镜成像***设计方法，其特征在于，所述神经网络为具有跳过连接结构的三层全连接神经网络ResDNN3，每层全连接层包括27×27个神经元。
4.根据权利要求1所述的端到端的单透镜成像***设计方法，其特征在于，所述神经网络对所述预估模糊核进行修正的方法为：将所述预估模糊核变换为一维矩阵形式并输入所述神经网络中；计算每一层神经网络的输出结果，将第三层的输出结果变换为图像矩阵的形式，形成修正的模糊核并进行补零。
5.根据权利要求1所述的端到端的单透镜成像***设计方法，其特征在于，所述自适应维纳滤波法的算法表达式为：
其中，
表示复原图像，F( )表示傅里叶变换，F-1( )表示傅里叶逆变换，K为通过学习训练自适应调整的可优化的参数，I1为单透镜模糊仿真图像，
为模糊核学习模块输出的模糊核。
6.根据权利要求1所述的端到端的单透镜成像***设计方法，其特征在于，计算复原图与原图的平方差损失mseloss的公式为：
其中，m,n表示图像的尺寸，i,j表示图像中的像素位置，I0表示原图，mseloss表示原图与复原图的平方差损失。
7.根据权利要求1所述的端到端的单透镜成像***设计方法，其特征在于，基于所述平方差损失与所述附加约束损失构建损失函数的方法为：将所述平方差损失与所述附加约束损失进行加权求和，基于加权求和的结果构建损失函数。
8.根据权利要求1所述的端到端的单透镜成像***设计方法，其特征在于，对所述单透镜成像***框架进行迭代优化的方法为：将初始非球面参数与神经网络的参数初始值设为0，对非球面参数、神经网络和所述逆滤波图像复原模块的自适应参数共同优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210522840.9A CN114967121B (zh) | 2022-05-13 | 2022-05-13 | 一种端到端的单透镜成像***设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210522840.9A CN114967121B (zh) | 2022-05-13 | 2022-05-13 | 一种端到端的单透镜成像***设计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114967121A CN114967121A (zh) | 2022-08-30 |
| CN114967121B true CN114967121B (zh) | 2023-02-03 |
Family
ID=82984078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210522840.9A Active CN114967121B (zh) | 2022-05-13 | 2022-05-13 | 一种端到端的单透镜成像***设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114967121B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116862800B (zh) * | 2023-07-11 | 2024-01-30 | 哈尔滨工业大学 | 一种大视场单透镜空变模糊图像复原方法和装置 |
| CN117233960B (zh) * | 2023-11-15 | 2024-01-23 | 清华大学 | 基于智能光计算的光学***在线设计方法与装置 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5786582A (en) * | 1992-02-27 | 1998-07-28 | Symbol Technologies, Inc. | Optical scanner for reading and decoding one- and two-dimensional symbologies at variable depths of field |
| CN102395917A (zh) * | 2009-02-17 | 2012-03-28 | 领先角膜控股有限责任公司 | 具有光学区的眼膜透镜 |
| WO2017134275A1 (en) * | 2016-02-05 | 2017-08-10 | Eidgenossische Technische Hochschule Zurich | Methods and systems for determining an optical axis and/or physical properties of a lens and use of the same in virtual imaging and head-mounted displays |
| WO2018045602A1 (zh) * | 2016-09-07 | 2018-03-15 | 华中科技大学 | 一种基于深度学习的模糊核尺寸估计方法与*** |
| CN110009674A (zh) * | 2019-04-01 | 2019-07-12 | 厦门大学 | 基于无监督深度学习的单目图像景深实时计算方法 |
| CN110458901A (zh) * | 2019-06-26 | 2019-11-15 | 西安电子科技大学 | 一种基于计算成像的光电成像***的全局性优化设计方法 |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及*** |
| CN112036137A (zh) * | 2020-08-27 | 2020-12-04 | 哈尔滨工业大学（深圳） | 一种基于深度学习的多风格书法数字墨水仿真方法和*** |
| CN112329920A (zh) * | 2020-11-06 | 2021-02-05 | 深圳先进技术研究院 | 磁共振参数成像模型的无监督训练方法及无监督训练装置 |
| CN113077540A (zh) * | 2021-03-31 | 2021-07-06 | 点昀技术(南通)有限公司 | 一种端到端成像设备设计方法和装置 |
| CN113191983A (zh) * | 2021-05-18 | 2021-07-30 | 陕西师范大学 | 一种基于深度学习注意力机制的图像去噪方法及装置 |
| WO2021218119A1 (zh) * | 2020-04-30 | 2021-11-04 | 中国科学院深圳先进技术研究院 | 图像调色增强方法和图像调色增强神经网络训练方法 |
| CN114063282A (zh) * | 2021-11-30 | 2022-02-18 | 哈尔滨工业大学 | 一种基于点扩散函数的大视场单透镜面形优化方法和装置 |
| CN114418883A (zh) * | 2022-01-18 | 2022-04-29 | 北京工业大学 | 一种基于深度先验的盲图像去模糊方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7616841B2 (en) * | 2005-06-17 | 2009-11-10 | Ricoh Co., Ltd. | End-to-end design of electro-optic imaging systems |
| KR20200094058A (ko) * | 2019-01-29 | 2020-08-06 | 한국과학기술원 | 렌즈리스 초분광 영상 이미징 방법 및 그 장치 |
| CN113296259B (zh) * | 2021-05-25 | 2022-11-08 | 中国科学院国家天文台南京天文光学技术研究所 | 基于孔径调制子***和深度学习的超分辨成像方法和装置 |
-
2022
- 2022-05-13 CN CN202210522840.9A patent/CN114967121B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5786582A (en) * | 1992-02-27 | 1998-07-28 | Symbol Technologies, Inc. | Optical scanner for reading and decoding one- and two-dimensional symbologies at variable depths of field |
| CN102395917A (zh) * | 2009-02-17 | 2012-03-28 | 领先角膜控股有限责任公司 | 具有光学区的眼膜透镜 |
| WO2017134275A1 (en) * | 2016-02-05 | 2017-08-10 | Eidgenossische Technische Hochschule Zurich | Methods and systems for determining an optical axis and/or physical properties of a lens and use of the same in virtual imaging and head-mounted displays |
| WO2018045602A1 (zh) * | 2016-09-07 | 2018-03-15 | 华中科技大学 | 一种基于深度学习的模糊核尺寸估计方法与*** |
| CN110009674A (zh) * | 2019-04-01 | 2019-07-12 | 厦门大学 | 基于无监督深度学习的单目图像景深实时计算方法 |
| CN110458901A (zh) * | 2019-06-26 | 2019-11-15 | 西安电子科技大学 | 一种基于计算成像的光电成像***的全局性优化设计方法 |
| WO2021218119A1 (zh) * | 2020-04-30 | 2021-11-04 | 中国科学院深圳先进技术研究院 | 图像调色增强方法和图像调色增强神经网络训练方法 |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及*** |
| CN112036137A (zh) * | 2020-08-27 | 2020-12-04 | 哈尔滨工业大学（深圳） | 一种基于深度学习的多风格书法数字墨水仿真方法和*** |
| CN112329920A (zh) * | 2020-11-06 | 2021-02-05 | 深圳先进技术研究院 | 磁共振参数成像模型的无监督训练方法及无监督训练装置 |
| CN113077540A (zh) * | 2021-03-31 | 2021-07-06 | 点昀技术(南通)有限公司 | 一种端到端成像设备设计方法和装置 |
| CN113191983A (zh) * | 2021-05-18 | 2021-07-30 | 陕西师范大学 | 一种基于深度学习注意力机制的图像去噪方法及装置 |
| CN114063282A (zh) * | 2021-11-30 | 2022-02-18 | 哈尔滨工业大学 | 一种基于点扩散函数的大视场单透镜面形优化方法和装置 |
| CN114418883A (zh) * | 2022-01-18 | 2022-04-29 | 北京工业大学 | 一种基于深度先验的盲图像去模糊方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于简单透镜计算成像的图像复原重建;王新华等;《吉林大学学报(工学版)》;20170531(第03期);全文 * |
| 最大似然空间变化图像恢复算法;王治乐等;《红外与激光工程》;20120725(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114967121A (zh) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sun et al. | End-to-end complex lens design with differentiable ray tracing | |
| CN114967121B (zh) | 一种端到端的单透镜成像***设计方法 | |
| Sitzmann et al. | End-to-end optimization of optics and image processing for achromatic extended depth of field and super-resolution imaging | |
| US11721002B2 (en) | Imaging system and method for imaging objects with reduced image blur | |
| Elmalem et al. | Learned phase coded aperture for the benefit of depth of field extension | |
| EP1734746B1 (en) | End-to-end design of electro-optic imaging systems | |
| CN108537746B (zh) | 一种基于深度卷积网络的模糊可变图像盲复原方法 | |
| CN110770784A (zh) | 图像处理装置、成像装置、图像处理方法、程序、以及存储介质 | |
| CN110533607A (zh) | 一种基于深度学习的图像处理方法、装置及电子设备 | |
| CN113570508A (zh) | 图像修复方法及装置、存储介质、终端 | |
| CN111415303B (zh) | 基于深度学习的波带片编码孔径成像方法及装置 | |
| Yang et al. | Curriculum learning for ab initio deep learned refractive optics | |
| Shi et al. | Rapid all-in-focus imaging via physical neural network optical encoding | |
| Jiang et al. | Annular computational imaging: Capture clear panoramic images through simple lens | |
| CN117351448B (zh) | 一种基于YOLOv8改进的偏振图像道路目标检测方法 | |
| Zhou et al. | Revealing the preference for correcting separated aberrations in joint optic-image design | |
| CN114859550B (zh) | 一种针对菲涅尔单透镜计算成像***的端到端设计方法 | |
| Paxman et al. | Spatial stabilization of deep-turbulence-induced anisoplanatic blur | |
| CN116612005A (zh) | 高光谱图像超分辨率重建方法、装置和电子设备 | |
| Su et al. | Atmospheric turbulence degraded image restoration using a modified dilated convolutional network | |
| CN115311149A (zh) | 图像去噪方法、模型、计算机可读存储介质及终端设备 | |
| Zhou et al. | DR-UNet: dynamic residual U-Net for blind correction of optical degradation | |
| CN113191959B (zh) | 一种基于退化标定的数字成像***极限像质提升方法 | |
| Zhang et al. | A method for remote sensing image restoration based on the system degradation model | |
| Reyes-Alfaro et al. | Convolutional neuronal network to restore images encoded by a wavefront coding imaging system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |