CN113240610B - 一种基于仿人眼机制的双通道鬼成像重建方法及*** - Google Patents
一种基于仿人眼机制的双通道鬼成像重建方法及*** Download PDFInfo
- Publication number
- CN113240610B CN113240610B CN202110587552.7A CN202110587552A CN113240610B CN 113240610 B CN113240610 B CN 113240610B CN 202110587552 A CN202110587552 A CN 202110587552A CN 113240610 B CN113240610 B CN 113240610B
- Authority
- CN
- China
- Prior art keywords
- channel
- light intensity
- image
- human eye
- ghost imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000007246 mechanism Effects 0.000 title claims abstract description 23
- 238000005259 measurement Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims abstract description 22
- 238000012937 correction Methods 0.000 claims abstract description 16
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 7
- 230000015556 catabolic process Effects 0.000 claims abstract description 6
- 238000013135 deep learning Methods 0.000 claims abstract description 6
- 238000006731 degradation reaction Methods 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000000342 Monte Carlo simulation Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 230000000739 chaotic effect Effects 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000002245 particle Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012634 optical imaging Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- NCGICGYLBXGBGN-UHFFFAOYSA-N 3-morpholin-4-yl-1-oxa-3-azonia-2-azanidacyclopent-3-en-5-imine;hydrochloride Chemical compound Cl.[N-]1OC(=N)C=[N+]1N1CCOCC1 NCGICGYLBXGBGN-UHFFFAOYSA-N 0.000 description 1
- 108010074864 Factor XI Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000000443 aerosol Substances 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出的基于仿人眼机制的双通道鬼成像重建方法及***采用基于残差块卷积神经网络的双通道图像重建模型，在制作训练数据集时，采用仿人眼策略对特定的图像集进行模拟光强生成，并引入具有发射路径散射特征的退化数据集，使训练数据集包含仿人眼感兴趣区域特性和散射特性，将网络训练至收敛后，利用仿人眼策略制作测量矩阵，并加载至DMD中进行光强数据采集，用非线性光强校正方法对输入数据进行校正，将经过校正的数据输入双通道图像重建模型，经过运算得出深度学习鬼成像清晰图像。本发明消除了位于发射路径中的散射介质对成像造成的影响，以及混沌介质的非线性影响。
Description
技术领域
本发明涉及图像处理领域，特别是一种基于仿人眼机制的双通道鬼成像重建方法及***。
背景技术
传统光学成像观测技术是通过在传感器像元与被观测场景之间建立直接的映射关系来获取图像，所以其观测结果严重依赖传感器性能，因此获得高分辨图像最直接方法通过提升传感器性能减少像素尺寸，然而减少传感器像素尺寸同时光通量也随之减少，其产生散粒噪声干扰图像质量。除此之外，复杂环境下的传统光学成像观测过程会受到环境的影响，不具有全天时、全天候高鲁棒性成像的能力，例如：光在传播过程中受到大气湍流、空气分子和悬浮粒子(气溶胶粒子、降水质点)等影响,将出现衰减、闪烁、偏移、强度和相位起伏等现象，使原本有序的波前相位严重畸变,在对目标进行观测成像时，因接收无序光场信号在观测面上会形成散斑图案；同时，实际应用中多为具有复杂多普勒特征的运动目标为瞬时成像带来运动退化，在计算光学成像中，未知的运动目标会打乱采样帧之间的关联性，这些状况会严重降低成像质量。
现有的应用于散射介质中的成像技术包括计算鬼成像技术，其依靠预设的时间序列下的测量模式将目标调制，通过获取光强序列重建图像，当静态散射介质出现在成像的接收光路中时，即探测器和目标之间，计算鬼成像技术可以有效去除散射的影响。然而当成像环境处于以下任意一状态时，这种去散射成像效果将一定程度失效：一、散射介质，如大气雾霾，处于动态变化中；二、散射介质位于成像***的发射光路中，即光源和目标之间，上述两种状态将理想状态下测量帧间的光强分布规律打破，使得图像重建过程失去依据。
发明内容
为了解决散射介质影响图像重建的技术问题，本发明提出一种基于仿人眼机制的双通道鬼成像重建方法及***。
为此，本发明提出的基于仿人眼机制的双通道鬼成像重建方法具体包括如下步骤：
S1、构建双通道图像重建模型；
S2、制作训练数据集，对所述双通道图像重建模型进行训练，基于所述训练数据集将所述双通道图像重建模型训练至收敛；
S3、基于仿人眼策略生成测量矩阵，加载至微镜阵列，将所述微镜阵列和光电探测器同步控制，所述光电探测器采集光强序列，完成对目标样本的数据采集；
S4、采用非线性光强校正方法对采集得到的数据进行校正；
S5、将经过校正的数据输入所述双通道图像重建模型，经过两个通道后回归为二维图像，得到深度学习鬼成像清晰图像。
进一步地，所述双通道图像重建模型采用双通道增强型神经网络，所述双通道增强型神经网络的两路分支为鬼成像图分支和光强残差分支，其数据源分别为鬼成像重建图像和光强特征序列。
进一步地，所述鬼成像重建图像由下式计算得到：
I(x)＝<(Si-<Si>)(Pi-<Pi>)>
其中<·>表示所有测量值的算数平均值，Si表示网络输入的光强序列，Pi表示获取光强数据采用的随机测量图案。
进一步地，所述鬼成像图分支由六个卷积层获取初步特征图像，所述六个卷积层的特征图维度分别为128×128×1，128×128×32，128×128×16，128×128×16，128×128×32，128×128×1。
进一步地，所述光强残差分支包含全连接层和二维残差块和两个卷积层，所述全连接层位于测量值序列和所述卷积层之间。
进一步地，在所述步骤S2中，采用仿人眼策略对特定的图像集进行模拟光强生成，并采用蒙特卡洛仿真方式对散射过程进行模拟，引入具有发射路径散射特征的退化数据集，创建待训练数据集。
进一步地，在所述步骤S4中，所述非线性光强校正方法具体包括当光学***收到散射介质干扰，测量值会发生扰动，假设前L帧的衰减系数为ξ，而在L次测量后，散射介质的衰减系数发生突变，可以得到下式：
其中，y是光强测量值，M表示测量的总次数，N表示一维信号的长度，根据鬼成像成像和压缩感知算法的特点，将动态变化之前和之后的测量平均值相除可以得到下式：
根据上述公式，将序列号大于L的数据乘以校正因子ξL/ξ，形成新的光强序列。
为此，本发明提出的基于仿人眼机制的双通道鬼成像重建***包括中央处理器、存储器和数据采集部分，所述存储器中存储有双通道图像重建模型以及可以被所述中央处理器运行的程序，所述程序在被所述中央处理器运行的过程中能够实现上项基于仿人眼机制的双通道鬼成像重建方法。
进一步地，所述数据采集部分包括微镜阵列、光电探测器、成像透镜和激光器。
为此，本发明提出的计算机可读存储介质存储有双通道图像重建模型以及可以被中央处理器运行的程序，所述程序在被所述中央处理器运行的过程中能够实现上述基于仿人眼机制的双通道鬼成像重建方法。
相比于现有技术，本发明具有如下有益效果：
通过仿人眼机制来获取光强数据用于模型训练和输入，利于实现成像光学***成像过程参数化，提出非线性光强校正方法，消除混沌介质的非线性影响。
在本发明的一些实施例中，还具有如下有益效果：
1)提出基于残差块卷积神经网络的双通道图像重建模型，从模型设计层面提升了对一维光强和二维图像特征的综合提取能力和回归能力；
2)为了消除位于发射路径中的散射介质对成像造成的影响，采用蒙特卡洛仿真方式对该散射过程进行模拟并创建待训练数据集。
附图说明
图1是数据采集部分的结构图；
图2是双通道鬼成像重建方法的流程图；
图3是双通道图像重建模型的结构图；
图4是基于大量光子的多次散射几何模型示意图；
图5A是压缩率为2，对比度为285的情况下图像重建结果的实验结果示意图；
图5B是压缩率为4，对比度为206的情况下图像重建结果的实验结果示意图；
图5C是压缩率为10，对比度为273的情况下图像重建结果的实验结果示意图；
图5D是压缩率为20，对比度为266的情况下图像重建结果的实验结果示意图；
图5E是压缩率为40，对比度为62的情况下图像重建结果的实验结果示意图；
图5F是采用CMOS原图，对比度为2的情况下图像重建结果的实验结果示意图；
图6A是对比实验中强散射退化情况下的实验结果示意图；
图6B是对比实验中基于CSGI进行重建的实验结果示意图；
图6C是对比实验中基于PC-GI进行重建的实验结果示意图；
图6D是对比实验中基于MC-PC-GI进行重建的实验结果示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
本发明实施例中的基于仿人眼机制的双通道鬼成像重建***包括中央处理器、存储器和数据采集部分。如图1所示，数据采集部分包括微镜阵列(DMD)2、光电探测器(PD)6、成像透镜5和激光器1，附图中的3代表散射介质，4代表目标，使用微镜阵列(DMD)对激光光源进行调制，其中，DMD使用数字电压信号控制微镜片执行机械运动，通过控制镜片的偏转角度实现光源的强度调制，每个镜片的状态由被载入的测量矩阵数据中的0或1来控制。存储器中存储有双通道图像重建模型以及与双通道鬼成像重建相关的程序。中央处理器主要实现两个功能：1)制作训练数据集，训练双通道图像重建模型；2)在实际成像过程中，用非线性光强校正方法对输入数据进行校正，将经过校正的数据输入双通道图像重建模型，经过运算得出深度学习鬼成像清晰图像。
如图2所示，本发明实施例中的基于仿人眼机制的双通道鬼成像重建方法具体包括如下步骤：
S1、构建双通道图像重建模型，双通道图像重建模型采用双通道增强型神经网络，如图3所示，神经网络的两路分支为鬼成像图分支和光强残差分支，其数据源分别为鬼成像重建图像(GI重建图像)和光强特征序列。其中GI重建图像由下式计算得到：
I(x)＝<(Si-<Si>)(Pi-<Pi>)> (1)
其中<·>表示所有测量值的算数平均值，Si表示网络输入的光强序列，Pi表示获取光强数据采用的随机测量图案。
鬼成像图分支由六个卷积层获取初步特征图像，其特征图维度分别为128×128×1，128×128×32，128×128×16，128×128×16，128×128×32，128×128×1，其中，经过128×128×32卷积层后可得到32张不同的128×128尺寸的特征图，即卷积层含32通道。
光强残差分支包含一个全连接层和一个二维残差块(Res2Net Block)和两个卷积层，全连接层位于测量值序列和卷积层之间，作用是对一维数据进行特征提取并排列为二维图像。每个残差块包含一个残差结构，其首尾各有一个卷积层进行连接，前置卷积层的卷积核为5×5×32，即输入128×128×1维度的特征图后输出为128×128×64，后置卷积层卷积核为5×5×1，即输入128×128×32维度的特征图后输出为128×128×1。在RM中，采用ReLU作为激活函数，每个残差结构后设置批量归一化层(Batch Normalization,BN)。在残差结构中，128×128×32的特征图被均分为四份，每个部分中除了首个部分，其余均对应5×5×4的卷积核，第i层卷积后的结果将添加至第i+1层作为组合输入。
两个特征分支由加法形式组合，即均为128×128×1维度的两张特征图进行加和后被送入第二个残差模块中进行特征归纳，最终，第二个残差的输出和GI重建图像的乘积作为预测图像，并由其和真值图之间的均方误差定义代价函数进行训练。由于GI重建图像包含鬼成像的噪声特征，该通道可以实现图像去噪,光强序列中的涨落包含最原始的鬼成像的信号采集特征，其引入会对图像细节重建进行增强。
S2、制作训练数据集，对双通道图像重建模型进行训练，双通道图像重建模型训练的关键在于训练集和实际成像场景输入的光强数据的一致性，如成像时待输入的光强数据是在强散射环境下采集的，那网络训练数据集中也应具备强散射特征，即输入光强信号应被散射退化。为了实现重点采样，在成像时，拟采用仿人眼采集方式进行数据采集，因此制作训练集时也应采用仿人眼策略。深度学习鬼成像的数据集理应实地去采集和制作，但这样时间成本很高，为了更为经济便捷地制作数据集，采用仿人眼策略对特定的图像集进行模拟光强生成，并采用蒙特卡洛仿真方式对散射过程进行模拟，在自行制作的数据集中引入具有发射路径散射特征的退化数据集，创建待训练数据集，使训练数据集包含仿人眼感兴趣区域特性和散射特性，基于训练数据集将双通道图像重建模型训练至收敛(均方误差小于0.5)。
如图4所示，对静态散射介质进行模拟，利用下式分别计算θ0，
θ0＝sin-1{1-ξ1[1-cos(βE/2)]} (2)
其中，ξ1和ξ2均为取值为0到1之间的随机数，βE取值为0。
利用程序所产生的随机数可以来模拟光子的运动，利用下式计算单个光子每两次连续碰撞地点之间的直线距离：
其中，ξ3为取值0到1之间的随机数，σa与σs之和表示粒子的线性消光系数。
采用数对
表示光子经历第i次散射后的相对传输方向，其概率分布密度函数为：
其中，v均为大气模型参数，具体计算过程中只需要通过
概率密度分布求解出θi的边缘概率密度函数，并将其设置为0到1之间的随机数便可反向确定θi的取值。全局笛卡尔坐标系中光子的方向向量已更新为：
第n次散射后，光子的能量剩余为：
设置光子的能量阈值为ε＝10-5，即当光子当前能量值低于阈值时，将其视为非存活光子，无法被接收。将被散射的光子及其携带的能量综合表征退化后的光场强度分布，并与目标灰度进行点乘操作，最终可以得到仿真的光强数据。
S3、基于仿人眼策略生成测量矩阵，并加载至DMD中进行光强数据采集，以分辨率为64×64的重建目标为例，基础测量矩阵的尺寸在采样率为25％的情况下需要被设定为1024行、4096列，其获取方式为：首先生成大小为4096×4096的Hadamard矩阵，然后取矩阵的前1024行作为基础测量矩阵，对基础测量矩阵的每一行分别取出，将每个含4096数字的序列按行重组为64×64的图像，形成矩阵组M1，按上述方式再将1024×1024大小的Hadamard矩阵按行重组为1024张32×32大小的矩阵，随后通过双线性插值方法将其全部扩充为64×64大小的矩阵组M2，在64×64的矩阵中人为选定感兴趣区域R，未被选定区域为NR，设置区域控制矩阵C，其中C中含R区域的像素值为1，否则为0，由此得到仿人眼测量图案组：MF＝M1·*C+M2·*(I-C)，其中I为单位矩阵，将包含1024张测量图案的矩阵组载入到DMD的上位机中去，并将DMD和光电探测器(PD)同步控制，PD即可以同样的帧率采集到1024帧光强序列，上述过程便完成了对一个目标样本的数据采集。
S4、由于训练集中散射介质是均匀的，而实际采集中需要考虑散射介质突变或不均为输入数据带来的改变，因此需要将不均特征对数据造成的影响减弱，此时用到非线性光强校正方法对输入数据进行校正，当光学***收到散射介质干扰，测量值会发生扰动，假设前L帧的衰减系数为ξ，而在L次测量后，散射介质的衰减系数发生突变，可以得到下式：
其中，y是光强测量值，M表示测量的总次数，N表示一维信号的长度。对光强值做非线性校正的方法如式(10)所示，其中ξL/ξ为精确的校正因子。根据鬼成像成像和压缩感知算法的特点，将动态变化之前和之后的测量平均值相除可以得到如下表达：
本方法对光强数据进行一次校正，并找出散射介质的动态变化对光强影响最严重的突变点。由式(10)计算
其中L＝1,2,3…,M。寻找使得
值最大的L的值作为光强校正的突变点L0，此时的ξL/ξ为校正因子。按照式(9)和(10)对光强序列进行校正，即将序列号大于L的数据乘以校正因子ξL/ξ，形成新的光强序列。
S5、将经过校正的数据输入双通道图像重建模型，经过两个通道后回归为二维图像，得到深度学习鬼成像清晰图像。
在深圳市区采用激光测距仪测距保证散射距离在50m左右进行成像，该实验在某夜晚浓雾场景下进行，样机得以在实际的较为极端的雾霾环境下被验证。目标物使用的是印有黑白条纹的标准测试板和具有立体造型的摆件。
如图5A-5F所示，由重建结果和对比度量化值可以看出，方法对黑白条纹的对比度提升具有显著作用。当压缩率不大于20时，重建对比度保持在200以上，在40的压缩率下，仍可以获取对比度为62的重建结果。
为了验证蒙特卡洛仿真数据的PC-GI网络(记作MC-PC-GI)的优势，如图6A-6D所示，采用基于压缩感知的重建方法CSGI和非散射仿真数据的PC-GI网络进行实验比对，采用无散射仿真数据对PC-GI网络进行训练的结果稍好于CSGI方法，细节信息较为充足，但噪点也偏多，相比之下，MC-PC-GI方法在更为理想的数据下对网络训练进行驱动，回归结果也更加准确，在强散射成像环境下鲁棒性更强。
本发明提出的基于仿人眼机制的双通道鬼成像重建方法及***具有如下有益效果：
1)提出基于残差块卷积神经网络的双通道图像重建模型，考虑不同维度的数据训练模式，从模型设计层面提升了对一维光强和二维图像特征的综合提取能力和回归能力，通过仿人眼机制来获取光强数据用于模型训练和输入，通过对感兴趣区域的重点采集增强光强数据特征和整体图像质量，利于实现成像光学***成像过程参数化，并在深度神经网络中进一步提升图像精确度；
2)为了恢复动态混沌散射介质下的帧间光强关联性，提出非线性光强校正方法，设计补偿因子消除混沌介质的非线性影响；
3)由于实际的光强数据是在强散射环境下采集的，因此训练集数据也应具备强散射特征，即输入光强信号应被散射退化，为了消除位于发射路径中的散射介质对成像造成的影响，采用蒙特卡洛仿真方式对该散射过程进行模拟并创建待训练数据集。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (8)
1.一种基于仿人眼机制的双通道鬼成像重建方法，其特征在于,包括如下步骤：
S1、构建具有鬼成像图分支和光强残差分支的双通道图像重建模型，综合提取和回归图像的一维光强和二维图像特征，去除图像的噪声，并增强图像重建细节；其中，所述鬼成像图分支由六个卷积层获取初步特征图像，所述光强残差分支包含将一维数据排列为二维图像的全连接层、二维残差块和两个卷积层，所述全连接层位于测量值序列和所述卷积层之间；
S2、基于仿人眼策略对特定的图像集进行模拟光强生成，并采用蒙特卡洛仿真方式对散射过程进行模拟，引入具有发射路径散射特征的退化数据集，创建待训练数据集，使训练数据集包含仿人眼感兴趣区域特性和散射特性，得到仿真的光强数据，对所述双通道图像重建模型进行训练，基于所述训练数据集将所述双通道图像重建模型训练至收敛；
S3、基于仿人眼策略生成测量矩阵，加载至微镜阵列，选定感兴趣区域，将所述微镜阵列和光电探测器同步控制，所述光电探测器采集光强序列，采用仿人眼采集方式完成对目标样本的数据采集，对感兴趣区域的重点采集，增强光强数据特征；
S4、采用非线性光强校正方法对采集得到的数据进行校正；
S5、将经过校正的数据输入所述双通道图像重建模型，经过两个通道后回归为二维图像，得到深度学习鬼成像清晰图像。
2.根据权利要求1所述的基于仿人眼机制的双通道鬼成像重建方法，其特征在于，所述双通道图像重建模型采用双通道增强型神经网络，所述鬼成像图分支和光强残差分支的数据源分别为鬼成像重建图像和光强特征序列。
3.根据权利要求2所述的基于仿人眼机制的双通道鬼成像重建方法，其特征在于，所述鬼成像重建图像由下式计算得到：
I(x)＝<(Si-<Si>)(Pi-<Pi>)>
其中<·>表示所有测量值的算数平均值，Si表示网络输入的光强序列，Pi表示获取光强数据采用的随机测量图案。
4.根据权利要求2所述的基于仿人眼机制的双通道鬼成像重建方法，其特征在于，所述六个卷积层的特征图维度分别为128×128×1，128×128×32，128×128×16，128×128×16，128×128×32，128×128×1。
5.根据权利要求1所述的基于仿人眼机制的双通道鬼成像重建方法，其特征在于，在所述步骤S4中，所述非线性光强校正方法具体包括当光学***收到散射介质干扰，测量值会发生扰动，假设前L帧的衰减系数为ξ，而在L次测量后，散射介质的衰减系数发生突变，可以得到下式：
其中，y是光强测量值，M表示测量的总次数，N表示一维信号的长度，根据鬼成像成像和压缩感知算法的特点，将动态变化之前和之后的测量平均值相除可以得到下式：
根据上述公式，将序列号大于L的数据乘以校正因子ξL/ξ，形成新的光强序列。
6.一种基于仿人眼机制的双通道鬼成像重建***，其特征在于,包括中央处理器、存储器和数据采集部分，所述存储器中存储有双通道图像重建模型以及可以被所述中央处理器运行的程序，所述程序在被所述中央处理器运行的过程中能够实现如权利要求1-5中任一项所述的基于仿人眼机制的双通道鬼成像重建方法。
7.根据权利要求6所述的基于仿人眼机制的双通道鬼成像重建***，其特征在于，所述数据采集部分包括微镜阵列、光电探测器、成像透镜和激光器。
8.一种计算机可读存储介质，其特征在于,存储有双通道图像重建模型以及可以被中央处理器运行的程序，所述程序在被所述中央处理器运行的过程中能够实现如权利要求1-5中任一项所述的基于仿人眼机制的双通道鬼成像重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110587552.7A CN113240610B (zh) | 2021-05-27 | 2021-05-27 | 一种基于仿人眼机制的双通道鬼成像重建方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110587552.7A CN113240610B (zh) | 2021-05-27 | 2021-05-27 | 一种基于仿人眼机制的双通道鬼成像重建方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113240610A CN113240610A (zh) | 2021-08-10 |
| CN113240610B true CN113240610B (zh) | 2023-05-12 |
Family
ID=77139278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110587552.7A Active CN113240610B (zh) | 2021-05-27 | 2021-05-27 | 一种基于仿人眼机制的双通道鬼成像重建方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113240610B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763540A (zh) * | 2021-09-08 | 2021-12-07 | 四川川大智胜软件股份有限公司 | 一种基于散斑条纹混合调制的三维重建方法及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106646512A (zh) * | 2016-12-29 | 2017-05-10 | 北京理工大学 | 一种基于仿生视觉机理的鬼成像方法及*** |
| CN109752844A (zh) * | 2019-03-14 | 2019-05-14 | 中国科学院微电子研究所 | 一种基于随机光强涨落的成像方法和*** |
| CN112802145A (zh) * | 2021-01-27 | 2021-05-14 | 四川大学 | 一种基于深度学习的彩色计算鬼成像方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107121709B (zh) * | 2017-06-01 | 2023-07-25 | 华南师范大学 | 一种基于压缩感知的对象成像***及其成像方法 |
| EP3688723B1 (en) * | 2017-09-28 | 2021-12-08 | Koninklijke Philips N.V. | Deep learning based scatter correction |
| US10937206B2 (en) * | 2019-01-18 | 2021-03-02 | Canon Medical Systems Corporation | Deep-learning-based scatter estimation and correction for X-ray projection data and computer tomography (CT) |
| US11895405B2 (en) * | 2019-07-12 | 2024-02-06 | University College Cork—National University of Ireland, Cork | Method and system for performing high speed optical image detection |
| CN110675326B (zh) * | 2019-07-24 | 2022-04-22 | 西安理工大学 | 基于U-Net网络的计算鬼成像重建恢复的方法 |
| US10802066B1 (en) * | 2019-12-17 | 2020-10-13 | Quantum Valley Ideas Laboratories | Single-pixel imaging of electromagnetic fields |
| CN111652059B (zh) * | 2020-04-27 | 2023-03-24 | 西北大学 | 基于计算鬼成像的目标识别模型构建、识别方法及装置 |
| CN111551955B (zh) * | 2020-06-22 | 2022-07-08 | 北京理工大学 | 一种仿生分块鬼成像方法及*** |
-
2021
- 2021-05-27 CN CN202110587552.7A patent/CN113240610B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106646512A (zh) * | 2016-12-29 | 2017-05-10 | 北京理工大学 | 一种基于仿生视觉机理的鬼成像方法及*** |
| CN109752844A (zh) * | 2019-03-14 | 2019-05-14 | 中国科学院微电子研究所 | 一种基于随机光强涨落的成像方法和*** |
| CN112802145A (zh) * | 2021-01-27 | 2021-05-14 | 四川大学 | 一种基于深度学习的彩色计算鬼成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113240610A (zh) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11200456B2 (en) | Systems and methods for generating augmented training data for machine learning models | |
| DE102016107959B4 (de) | Auf strukturiertem Licht basierende Multipfadlöschung bei ToF-Bilderzeugung | |
| Baldwin et al. | Time-ordered recent event (tore) volumes for event cameras | |
| Güven et al. | An augmented Lagrangian method for complex-valued compressed SAR imaging | |
| Guo et al. | Tackling 3d tof artifacts through learning and the flat dataset | |
| Yonel et al. | Deep learning for passive synthetic aperture radar | |
| Harris et al. | Nonuniformity correction of infrared image sequences using the constant-statistics constraint | |
| Wang et al. | TPSSI-Net: Fast and enhanced two-path iterative network for 3D SAR sparse imaging | |
| CN111489301B (zh) | 一种基于迁移学习用图像深度信息引导的图像去雾方法 | |
| CN110675326B (zh) | 基于U-Net网络的计算鬼成像重建恢复的方法 | |
| CN105931196A (zh) | 基于傅里叶光学建模的编码光圈相机图像恢复方法 | |
| DE102016106511A1 (de) | Parametrische Online-Kalibrierung und Kompensation bei der TOF-Bilderzeugung | |
| CN110726992B (zh) | 基于结构稀疏和熵联合约束的sa-isar自聚焦法 | |
| CN111833248B (zh) | 基于部分哈达玛矩阵的超分辨率鬼成像方法及*** | |
| CN109884625B (zh) | 基于卷积神经网络的雷达关联成像方法 | |
| CN110097634B (zh) | 一种自适应多尺度的三维鬼成像方法 | |
| CN113240610B (zh) | 一种基于仿人眼机制的双通道鬼成像重建方法及*** | |
| CN106686281B (zh) | 融合电路板噪声抑制能力测试*** | |
| Nakashima et al. | Learning to drop points for lidar scan synthesis | |
| CN115242934A (zh) | 带有深度信息的噪声吞噬鬼成像 | |
| Wang et al. | Underwater self-supervised monocular depth estimation and its application in image enhancement | |
| CN113724146A (zh) | 基于即插即用先验的单像素成像方法 | |
| CN111352126B (zh) | 一种基于大气散射介质调制的单像素成像方法 | |
| CN110926611A (zh) | 一种应用于压缩感知光谱成像***的噪声抑制方法 | |
| WO2023023961A1 (zh) | 一种基于激光线阵的piv图像标定装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20221123 Address after: Second floor, building a, Tsinghua campus, Shenzhen University Town, Xili street, Nanshan District, Shenzhen City, Guangdong Province Applicant after: Tsinghua Shenzhen International Graduate School Applicant after: BEIJING INSTITUTE OF TECHNOLOGY Address before: Second floor, building a, Tsinghua campus, Shenzhen University Town, Xili street, Nanshan District, Shenzhen City, Guangdong Province Applicant before: Tsinghua Shenzhen International Graduate School |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |