CN113724146B - 基于即插即用先验的单像素成像方法 - Google Patents

基于即插即用先验的单像素成像方法 Download PDF

Info

Publication number
CN113724146B
CN113724146B CN202110795952.7A CN202110795952A CN113724146B CN 113724146 B CN113724146 B CN 113724146B CN 202110795952 A CN202110795952 A CN 202110795952A CN 113724146 B CN113724146 B CN 113724146B
Authority
CN
China
Prior art keywords
noise
pixel
under
undersampling
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110795952.7A
Other languages
English (en)
Other versions
CN113724146A (zh
Inventor
张军
田烨
付莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110795952.7A priority Critical patent/CN113724146B/zh
Publication of CN113724146A publication Critical patent/CN113724146A/zh
Application granted granted Critical
Publication of CN113724146B publication Critical patent/CN113724146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开的基于即插即用先验的单像素成像方法，涉及一种基于即插即用先验的欠采样条件下的单像素成像方法，属于计算摄像学领域。本发明结合基于模型方法和基于深度学习方法的优点，将现代图像降噪算法隐式作为先验替换到成像方法中，提高欠采样条件下单像素图像成像质量。本发明在即插即用同一构思下，提供欠采样条件下无噪声单像素成像方法和欠采样条件下考虑噪声的单像素成像方法。本发明公开的欠采样条件下无噪声的单像素成像方法，能够在不考虑噪声的情况下，实现欠采样条件下高质量单像素图像重建。本发明公开的欠采样条件下考虑噪声的单像素成像方法，能够在考虑噪声的情况下，实现欠采样条件下高质量单像素图像重建，对噪声具有鲁棒性。

Description

基于即插即用先验的单像素成像方法
技术领域
本发明涉及单像素成像方法及***，具体涉及基于即插即用先验的欠采样条件下的单像素成像方法及***，属于计算摄像学领域。
背景技术
单像素成像技术，是一种新型的计算成像技术，该技术利用结构光对目标图像进行调制，通过没有空间分辨能力的单像素探测器获得一维测量光信号，根据结构光和一维测量光信号之间的关联性重建图像。相比于传统的二维像素探测器成像方法，降低了图像传感器的成本，并且可以通过结合压缩感知算法，减少图像测量次数，提高图像采集速度。近年来，该项技术越来越多的应用于水下成像、三维成像、遥感、目标跟踪、太赫兹成像等领域。
目前单像素成像方法包括两种，基于模型的单像素成像方法和基于深度学习(Deep Learning，DL)的单像素成像方法。基于模型的单像素成像方法包括线性相关方法(Linear correlation methods)、交替投影方法(Alternating projection methods，AP)和压缩感知方法(Compressive sensing methods，CS)。其中，压缩感知方法是基于模型的单像素算法中最常用的算法。压缩感知方法将人类关于图像的先验知识作为约束加入到单像素图像重建算法的设计中。在欠采样条件下，压缩感知方法被证明是基于模型的单像素成像方法中效果最好的方法。由于压缩感知方法受限于人类手工打造先验的表达性，随着采样率降低单像素图像重建质量迅速降低，并且压缩感知方法在高噪声情况下难以恢复单像素图像。
近年来，随着深度学习技术的发展，出现了基于深度学习的单像素成像方法，通过训练一个端到端的神经网络模拟单像素成像及还原的过程。虽然基于深度学习的单像素成像方法提高了在极低采样率下的单像素成像质量，但是随着采样率增加，基于深度学习的单像素成像方法效果变化不明显，甚至不如基于模型的单像素成像方法。而且基于深度学习的单像素成像方法泛用性差，训练出的网络受限于具体的应用。当单像素的采样率、图像尺寸、成像环境发生改变时，需要重新训练一个新的网络以适应新的任务。另外，基于深度学习单像素成像方法对噪声不具有鲁棒性。
因此，从在欠采样情况下提高单像素成像恢复质量的需求出发，迫切需要泛用性好、对噪声鲁棒的单像素成像方法。
发明内容
本发明公开的基于即插即用先验的单像素成像方法要解决的技术问题是：结合基于模型方法和基于深度学习方法的优点，将现代图像降噪算法隐式作为先验替换到成像方法中，提高欠采样条件下单像素图像成像的质量。本发明在上述即插即用同一构思下，提供欠采样条件下无噪声单像素成像方法和欠采样条件下考虑噪声的单像素成像方法。
本发明公开的欠采样条件下无噪声的单像素成像方法，基于广义交替投影算法(Generalized Alternating Projection Algorithm，GAP)，将单像素图像重建问题建模为优化问题，其中优化问题求解过程根据保真项和先验项分解为两个子问题，结合即插即用先验(Plug-and-Play，PnP)，将其中先验项子问题视为图像降噪问题，替换成现代图像降噪算法(例如：深度学习中具有降噪功能的卷积神经网络)。通过对两个子问题交替迭代求解，能够在不考虑噪声的情况下，实现欠采样条件下高质量单像素图像重建。
本发明公开的欠采样条件下考虑噪声的单像素成像方法，基于交替方向乘子算法(Alternating Direction Method ofMultiplierAlgorithm，ADMM)，将单像素图像重建问题建模为优化问题。和欠采样条件下无噪声单像素成像方法不同的是，优化问题的建模中包含噪声模型。其中优化问题求解过程根据保真项、先验项和对偶变量分解为两个子问题和一个对偶变量更新步骤，结合即插即用先验(Plug-and-Play，PnP)，将其中先验项子问题视为图像降噪问题，替换成现代图像降噪算法(例如：深度学习中具有降噪功能的卷积神经网络)。通过对两个子问题和对偶变量交替迭代求解，能够在考虑噪声的情况下，实现欠采样条件下高质量单像素图像重建，且对噪声具有鲁棒性。
本发明的目的通过以下技术方案实现：
本发明公开的欠采样条件下无噪声的单像素成像方法，包括以下步骤：
步骤101：根据单像素成像原理搭建光路，采用单像素探测器采集小于奈奎斯特采样定理的一维光信号；
步骤102：基于广义交替投影算法(Generalized AlternatingProjection Algorithm，GAP)建立欠采样条件下无噪声单像素图像成像优化模型；
步骤102所述的欠采样条件下无噪声单像素图像成像优化模型选用公式(1)所述的优化模型：
其中，其中为目标图像，n为待恢复图像像素数。/>为随机灰度的结构光图案，m为结构光图案的个数。/>为单像素探测器接收到的m个测量值。
步骤103：结合广义交替投影算法GAP根据保真项和先验项将优化问题分解为两个子问题；
步骤103所述的优化问题分解，根据广义交替投影算法的框架，对关于保真项的子问题进行求解。具体地，在已知k时刻信息vk的前提下，解为vk在线性流形上的欧几里得投影，如公式(2)所示：
xk+1＝vk+AT(AAT)-1(b-Avk) (2)
步骤104：结合即插即用先验(Plug-and-Play，PnP)，将关于先验项的优化子问题视为图像降噪问题，将关于先验项的优化子问题求解替换成现代图像降噪算法；
步骤104所述的关于先验项优化子问题求解的替换如公式(3)所示：
vk+1＝Dσ(xk+1) (3)
其中Dσ为图像降噪器，可以采用深度学习中具有降噪功能的卷积神经网络。所选用卷积神经网络为FFDNet网络、UNet网络、IRCNN网络或DRUNet网络，但不限于上述卷积神经网络。为了得到更高质量的单像素重建图像，作为优选，所述卷积神经网络采用DRUNet网络。
步骤105：通过对有关保真项子问题的解和替换后的现代图像降噪算法交替迭代，能够在不考虑噪声的情况下，实现欠采样无噪声条件下的高质量单像素成像。
通过对有关保真项子问题的解和替换后的现代图像降噪算法交替迭代，即对于公式(2)和(3)迭代，直至算法收敛，即x和v的差值在预设的阈值范围内，得到重建的单像素图像，即实现欠采样无噪声条件下的高质量单像素成像。
本发明公开的欠采样条件下考虑噪声的单像素成像方法，包括以下步骤：
步骤201：根据单像素成像原理搭建光路，采用单像素探测器采集小于奈奎斯特采样定理的一维光信号；
步骤202：基于交替方向乘子算法(Alternating Direction Method of MultiplierAlgorithm，ADMM)建立欠采样条件下考虑噪声的单像素图像成像优化模型；
步骤202所述的欠采样条件下考虑噪声的单像素图像成像优化模型选用公式(4)所述的优化模型：
其中，其中为目标图像，n为待恢复图像像素数。/>为随机灰度的结构光图案，m为结构光图案的个数。/>为单像素探测器接收到的m个测量值。根据交替方向乘子算法ADMM，上述优化方程求解需要转换成增广拉格朗日形式：
步骤203：结合交替方向乘子算法根据保真项、先验项和对偶变量将优化问题分解为两个子问题和一个对偶变量更新步骤；
步骤203所述的优化问题分解，如公式(6)所示：
其中关于保真项子问题(6-1)的求解，根据交替方向乘子算法ADMM，可解为：
xk+1＝(ATA+ρI)-1(ATb+ρvk) (7)
步骤204：结合即插即用先验(Plug-and-Play，PnP)，将关于先验项的优化子问题视为图像降噪问题，将关于先验项的优化子问题求解替换成现代图像降噪算法；
步骤204所述的先验项优化子问题替换如公式(8)所示：
其中Dσ为图像降噪器，可以采用深度学习中具有降噪功能的卷积神经网络。所选用卷积神经网络为FFDNet网络、UNet网络、IRCNN网络或DRUNet网络，但不限于上述卷积神经网络。为了得到更高质量的单像素重建图像，作为优选，所述卷积神经网络采用DRUNet网络。
步骤205：通过对有关保真项子问题的解、替换后的现代图像降噪算法以及对偶变量更新交替迭代，能够在考虑噪声的情况下，实现欠采样条件下高质量单像素图像重建，且对噪声具有鲁棒性。
通过对有关保真项子问题的解、替换后的现代图像降噪算法以及对偶变量更新交替迭代，即对于公式(7)、(8)和(6-3)迭代，直至x和v的差值在预设的阈值范围内，得到重建的单像素图像，即实现欠采样考虑噪声条件下的高质量单像素成像。
有益效果：
1、本发明公开的基于即插即用先验的单像素成像方法，结合基于模型的优化方法和基于学习的深度学习方法的优点，将现代图像降噪算法隐式的作为先验替换到成像方法中，提高欠采样条件下单像素图像成像的质量。本发明在上述即插即用同一构思下，提供欠采样条件下无噪声单像素成像方法和欠采样条件下考虑噪声的单像素成像方法。
2、本发明公开的欠采样条件下无噪声的单像素成像方法，基于广义交替投影算法(Generalized Alternating Projection Algorithm，GAP)，将单像素图像重建问题建模为优化问题，其中优化问题求解过程根据保真项和先验项分解为两个子问题，结合即插即用先验(Plug-and-Play，PnP)，将其中先验项子问题视为图像降噪问题，替换成现代图像降噪算法(例如：深度学习中具有降噪功能的卷积神经网络)。通过对两个子问题交替迭代求解，能够在不考虑噪声的情况下，实现欠采样条件下高质量单像素图像重建。
3、本发明公开的欠采样条件下无噪声单像素成像方法，结合即插即用先验(Plug-and-Play，PnP)，可以将现代图像降噪算法(例如：深度学习中具有降噪功能的卷积神经网络)隐式的作为先验***到优化算法中。其中具有降噪功能神经网络能够预先训练，当单像素图像大小、采样率发生改变时，无需重新训练网络，泛用性好。
4、本发明公开的欠采样条件下考虑噪声的单像素成像方法，基于交替方向乘子算法(Alternating Direction Method of Multiplier Algorithm，ADMM)，将单像素图像重建问题建模为优化问题。和欠采样条件下无噪声单像素成像方法不同的是，优化问题的建模中包含噪声模型。其中优化问题求解过程根据保真项、先验项和对偶变量分解为两个子问题和一个对偶变量更新步骤，结合即插即用先验(Plug-and-Play，PnP)，将其中先验项子问题视为图像降噪问题，替换成现代图像降噪算法(例如：深度学习中具有降噪功能的卷积神经网络)。通过对两个子问题和对偶变量交替迭代求解，能够在考虑噪声的情况下，实现欠采样条件下高质量单像素图像重建，且对噪声具有鲁棒性。
5、本发明公开的欠采样条件下考虑噪声的单像素成像方法，结合即插即用先验(Plug-and-Play，PnP)，可以将现代图像降噪算法(例如：深度学习中具有降噪功能的卷积神经网络)隐式的作为先验***到优化算法中。其中具有降噪功能神经网络能够预先训练，当单像素图像大小、采样率、环境噪声发生改变时，无需重新训练网络，泛用性好。
附图说明
图1是本发明方法所述基于即插即用先验的单像素成像方法的光路示意图。
图2是本发明方法所述欠采样条件下无噪声的单像素成像方法的流程图。
图3是本发明方法所述欠采样条件下考虑噪声的单像素成像方法的流程图。
图4是无噪声不同采样率情况下，本发明方法和其他方法的单像素成像仿真结果对比图。
图5是固定采样率不同噪声等级下，本发明方法和其他方法的单像素成像仿真结果对比图。
图6是本发明方法和其他方法的单像素成像在真实实验中的结果对比图，其中图6(a)为“Ghost”目标图像(64*64)在不同采样率、不同算法情况下单像素成像结果，图6(b)为“SPI”目标图像(64*64)在不同采样率、不同算法情况下单像素成像结果。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。但本发明并不局限于以下实施例。
实施例1：
如图2所示，本实施例公开的欠采样条件下无噪声单像素成像方法，包含以下步骤：
步骤101：搭建的单像素成像光路如图1所示，采用单像素探测器采集编码调制后小于奈奎斯特采样定理的一维光信号；
具体地，投影仪将随机灰度的结构光图案按照一定的顺序投影至目标图像上，单像素探测器同步接收各结构光图案调制后图像反射的光强作为单像素的一维测量值。其中目标图像、结构光图案、单像素测量值之间的关系为：
Ax＝b (1)
其中，其中为目标图像，n为待恢复图像像素数。/>为随机灰度的结构光图案，m为结构光图案的个数。/>为单像素探测器接收到的m个测量值。在欠采样情况下，接收到的测量值个数m低于奈奎斯特采样定理，所以单像素成像问题是高度病态且不可逆的。
步骤102：基于广义交替投影算法(Generalized Alternating ProjectionAlgorithm，GAP)建立欠采样条件下无噪声单像素图像成像优化模型；
具体地，单像素成像建模为以下的优化问题：
其中f(x)为保真项，取决于单像素成像模型，确保重建的单像素图像和单像素探测器接收到的测量值之间的关系符合单像素的成像原理。g(x)为先验项，其包含待重建图像的某些先验信息。结合广义交替投影算法，引入辅助参数v将上述无约束优化问题转化为有约束的优化问题，即步骤102所述的欠采样条件下无噪声单像素重建优化模型，如公式(3)所示：
其中，其中为目标图像，n为待恢复图像像素数。/>为随机灰度的结构光图案，m为结构光图案的个数。/>为单像素探测器接收到的m个测量值。
步骤103：结合广义交替投影算法GAP根据保真项和先验项将优化问题分解为两个子问题；
步骤103所述的优化问题分解，根据广义交替投影算法的框架，对关于保真项的子问题进行求解。具体地，在已知k时刻信息vk的前提下，为vk在线性流形上的欧几里得投影，如公式(4)所示：
xk+1＝vk+AT(AAT)-1(b-Avk) (4)
步骤104：用带噪声的自然图像训练DRUNet网络，使DRUNet网络具有降噪能力；
具体地，在DIV2K数据集、Flick2K数据集、Waterloo Exploration数据集、BSD数据集组成的大数据集上训练DRUNet网络，使DRUNet网络具有降噪能力。
步骤105：结合即插即用先验(Plug-and-Play，PnP)，将关于先验项的优化子问题视为图像降噪问题，将关于先验项的优化子问题求解替换成步骤104训练好的DRUNet网络；
步骤105所述的关于先验项优化子问题求解的替换如公式(5)所示：
vk+1＝Dσ(xk+1) (5)
其中Dσ为图像降噪器，采用深度学习中具有降噪功能的卷积神经网络，所述卷积神经网络采用DRUNet网络。
步骤106：通过对有关保真项子问题的解和替换后的卷积神经网络交替迭代，能够在不考虑噪声的情况下，实现欠采样无噪声条件下的高质量单像素成像。
通过对有关保真项子问题的解和替换后的卷积神经网络交替迭代，即对于公式(4)和(5)迭代，直至算法收敛，即x和v的差值在预设的阈值范围内，得到重建的单像素图像，即实现欠采样无噪声条件下的高质量单像素成像。
实施例2：
如图3所示，本实施例公开的欠采样条件下考虑噪声的单像素成像方法，包含以下步骤：
步骤201：搭建的单像素成像光路如图1所示，采用单像素探测器采集编码调制后小于奈奎斯特采样定理的一维光信号；
具体地，投影仪将随机灰度的结构光图案按照一定的顺序投影至目标图像上，单像素探测器同步接收各结构光图案调制后图像反射的光强作为单像素的一维测量值。其中目标图像、结构光图案、单像素测量值之间的关系为：
Ax＝b (6)
其中，其中为目标图像，n为待恢复图像像素数。/>为随机灰度的结构光图案，m为结构光图案的个数。/>为单像素探测器接收到的m个测量值。在欠采样情况下，接收到的测量值个数m低于奈奎斯特采样定理，所以单像素成像问题是高度病态且不可逆的。
步骤202：基于交替方向乘子算法(Alternating Direction Method ofMultiplierAlgorithm，ADMM)建立欠采样条件下考虑噪声的单像素图像成像优化模型；
具体地，单像素成像建模为以下的优化问题：
其中f(x)为保真项，取决于单像素成像模型，确保重建的单像素图像和单像素探测器接收到的测量值之间的关系符合单像素的成像原理。g(x)为先验项，其包含待重建图像的某些先验信息。结合交替方向乘子算法，引入辅助参数v将上述无约束优化问题转化为有约束的优化问题，即步骤202所述的欠采样条件下考虑噪声的单像素图像成像优化模型，如公式(8)所示：
其中，其中为目标图像，n为待恢复图像像素数。/>为随机灰度的结构光图案，m为结构光图案的个数。/>为单像素探测器接收到的m个测量值。根据交替方向乘子算法ADMM，上述优化方程求解需要转换成增广拉格朗日形式：
步骤203：结合交替方向乘子算法根据保真项、先验项和对偶变量将优化问题分解为两个子问题和一个对偶变量更新步骤；
步骤203所述的优化问题分解，如公式(10)所示：
其中关于保真项子问题(10-1)的求解，根据交替方向乘子算法ADMM，可解为：
xk+1＝(ATA+ρI)-1(ATb+ρvk) (11)
步骤204：用带噪声的自然图像训练DRUNet网络，使DRUNet网络具有降噪能力；
具体地，在DIV2K数据集、Flick2K数据集、Waterloo Exploration数据集、BSD数据集组成的大数据集上训练DRUNet网络，使DRUNet网络具有降噪能力。
步骤205：结合即插即用先验(Plug-and-Play，PnP)，将关于先验项的优化子问题视为图像降噪问题，将关于先验项的优化子问题求解替换成步骤204训练好的DRUNet网络；
步骤205所述的关于先验项优化子问题求解的替换如公式(12)所示：
其中Dσ为图像降噪器，采用深度学习中具有降噪功能的卷积神经网络，所述卷积神经网络采用DRUNet网络。
步骤206：通过对有关保真项子问题的解、替换后的卷积神经网络以及对偶变量更新交替迭代，能够在考虑噪声的情况下，实现欠采样条件下高质量单像素图像重建，且对噪声具有鲁棒性。
通过对有关保真项子问题的解、替换后的卷积神经网络以及对偶变量更新交替迭代，即对于公式(11)、(12)和(10-3)迭代，直至算法收敛，即x和v的差值在预设的阈值范围内，得到重建的单像素图像，即实现欠采样考虑噪声条件下的高质量单像素成像。
从仿真和实验两方面验证实施例的效果。
1、仿真结果
为了验证欠采样条件下无噪声单像素成像方法对图像重建的准确性，将Set12数据集中图像设置为目标图像，不考虑测量噪声的条件下，将本发明所提出的欠采样条件下无噪声单像素成像方法和欠采样条件下考虑噪声的单像素成像方法在不同采样率下的重建结果与基于模型的单像素成像方法、基于学***均。图像大小设置为64*64，采样率设置从0.2到0.9。
表1Set12数据集上单像素重建结果(平均PSNR)
表2Set12数据集上单像素重建结果(平均SSIM)
从表1和表2可以看出，所提出的欠采样条件下无噪声单像素成像方法即GAP-DRUNet算法在空间质量和视觉效果上明显优于其他算法。为了更清楚地对比不同单像素成像方法之间的区别，Set12数据集中的“Cameraman”图像在不同采样率不同方法下重建图像如图4所示。
为了验证欠采样条件下考虑噪声的单像素成像方法对图像重建的准确性，将Set12数据集中图像设置为目标图像，考虑不同测量噪声等级的条件下，将本发明所提出的欠采样条件下无噪声单像素成像方法和欠采样条件下考虑噪声的单像素成像方法在固定采样率下的重建结果与基于模型的单像素成像方法、基于学***均。图像大小设置为64*64，采样率设置为0.5。
表3 Set12数据集上单像素重建结果(平均PSNR)
表4 Set12数据集上单像素重建结果(平均SSIM)
从表3和表4可以看出，所提出的欠采样条件下考虑噪声的单像素成像方法即ADMM-DRUNet算法空间质量和视觉效果上明显优于其他算法。为了更清楚地对比不同单像素成像方法之间的区别，Set12数据集中的“Cameraman”图像在不同噪声等级不同方法下重建图像如图5所示。
2、实验结果
为了验证在真实的单像素测量值上本发明所提出的欠采样条件下无噪声单像素成像方法和欠采样条件下考虑噪声的单像素成像方法的性能，根据图1中的单像素成像方法的光路示意图搭建光路采集单像素测量值，其中投影仪的型号为Panasonic(X416CXGA)，单像素探测器的型号为Thorlabs(PDA100A2)。本发明所提出的欠采样条件下无噪声单像素成像方法和欠采样条件下考虑噪声的单像素成像方法在不同采样率下的重建结果与基于模型的单像素成像方法、基于学习的单像素成像方法在不同采样率下的重建结果对比如图6所示。
图6(a)为“Ghost”目标图像(64*64)在不同采样率、不同算法情况下单像素成像结果，从图6(a)可以看出，由于实际测量中存在不可忽视的噪声的原因，所提出的欠采样条件下考虑噪声的单像素成像方法即ADMM-DRUNet算法空间质量和视觉效果上明显优于其他算法。图6(b)为“SPI”目标图像(64*64)在不同采样率、不同算法情况下单像素成像结果，进一步证明了所提出的欠采样条件下考虑噪声的单像素成像方法即ADMM-DRUNet算法空间质量和视觉效果上明显优于其他算法。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.欠采样条件下无噪声的单像素成像方法，其特征在于：包括以下步骤，
步骤101：根据单像素成像原理搭建光路，采用单像素探测器采集小于奈奎斯特采样定理的一维光信号；
步骤102：基于广义交替投影算法(Generalized Alternating ProjectionAlgorithm，GAP)建立欠采样条件下无噪声单像素图像成像优化模型；
步骤103：结合广义交替投影算法GAP根据保真项和先验项将优化问题分解为两个子问题；
步骤104：结合即插即用先验(Plug-and-Play，PnP)，将关于先验项的优化子问题视为图像降噪问题，将关于先验项的优化子问题求解替换成现代图像降噪算法；
步骤105：通过对有关保真项子问题的解和替换后的现代图像降噪算法交替迭代，能够在不考虑噪声的情况下，实现欠采样无噪声条件下的高质量单像素成像。
2.如权利要求1所述的欠采样条件下无噪声的单像素成像方法，其特征在于：步骤102所述的欠采样条件下无噪声单像素图像成像优化模型选用公式(1)所述的优化模型：
其中，其中为目标图像，n为待恢复图像像素数；/>为随机灰度的结构光图案，m为结构光图案的个数；/>为单像素探测器接收到的m个测量值。
3.如权利要求2所述的欠采样条件下无噪声的单像素成像方法，其特征在于：步骤103所述的优化问题分解，根据广义交替投影算法的框架，对关于保真项的子问题进行求解；在已知k时刻信息vk的前提下，解为vk在线性流形上的欧几里得投影，如公式(2)所示：
xk+1＝vk+AT(AAT)-1(b-Avk) (2)。
4.如权利要求1或2所述的欠采样条件下无噪声的单像素成像方法，其特征在于：步骤104所述的关于先验项优化子问题求解的替换如公式(3)所示：
vk+1＝Dσ(xk+1) (3)
其中Dσ为图像降噪器，采用深度学习中具有降噪功能的卷积神经网络。
5.如权利要求1或2所述的欠采样条件下无噪声的单像素成像方法，其特征在于：通过对有关保真项子问题的解和替换后的现代图像降噪算法交替迭代，即对于公式(2)和(3)迭代，直至算法收敛，即x和v的差值在预设的阈值范围内，得到重建的单像素图像，即实现欠采样无噪声条件下的高质量单像素成像。
6.欠采样条件下考虑噪声的单像素成像方法，其特征在于：包括以下步骤，
步骤201：根据单像素成像原理搭建光路，采用单像素探测器采集小于奈奎斯特采样定理的一维光信号；
步骤202：基于交替方向乘子算法(Alternating Direction Method of MultiplierAlgorithm，ADMM)建立欠采样条件下考虑噪声的单像素图像成像优化模型；
步骤203：结合交替方向乘子算法根据保真项、先验项和对偶变量将优化问题分解为两个子问题和一个对偶变量更新步骤；
步骤204：结合即插即用先验(Plug-and-Play，PnP)，将关于先验项的优化子问题视为图像降噪问题，将关于先验项的优化子问题求解替换成现代图像降噪算法；
步骤205：通过对有关保真项子问题的解、替换后的现代图像降噪算法以及对偶变量更新交替迭代，能够在考虑噪声的情况下，实现欠采样条件下高质量单像素图像重建，且对噪声具有鲁棒性。
7.如权利要求6所述的欠采样条件下考虑噪声的单像素成像方法，其特征在于：步骤202所述的欠采样条件下考虑噪声的单像素图像成像优化模型选用公式(4)所述的优化模型：
其中，其中为目标图像，n为待恢复图像像素数；/>为随机灰度的结构光图案，m为结构光图案的个数；/>为单像素探测器接收到的m个测量值；根据交替方向乘子算法ADMM，上述优化方程求解需要转换成增广拉格朗日形式：
。
8.如权利要求7所述的欠采样条件下考虑噪声的单像素成像方法，其特征在于：步骤203所述的优化问题分解，如公式(6)所示：
其中关于保真项子问题(6-1)的求解，根据交替方向乘子算法ADMM，解为：
xk+1＝(ATA+pI)-1(ATb+pvk) (7)。
9.如权利要求8所述的欠采样条件下考虑噪声的单像素成像方法，其特征在于：步骤204所述的先验项优化子问题替换如公式(8)所示：
其中Dσ为图像降噪器，采用深度学习中具有降噪功能的卷积神经网络。
10.如权利要求9所述的欠采样条件下考虑噪声的单像素成像方法，其特征在于：通过对有关保真项子问题的解、替换后的现代图像降噪算法以及对偶变量更新交替迭代，即对于公式(7)、(8)和(6-3)迭代，直至x和v的差值在预设的阈值范围内，得到重建的单像素图像，即实现欠采样考虑噪声条件下的高质量单像素成像。
CN202110795952.7A 2021-07-14 2021-07-14 基于即插即用先验的单像素成像方法 Active CN113724146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110795952.7A CN113724146B (zh) 2021-07-14 2021-07-14 基于即插即用先验的单像素成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110795952.7A CN113724146B (zh) 2021-07-14 2021-07-14 基于即插即用先验的单像素成像方法

Publications (2)

Publication Number Publication Date
CN113724146A CN113724146A (zh) 2021-11-30
CN113724146B true CN113724146B (zh) 2024-06-04

Family

ID=78673287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110795952.7A Active CN113724146B (zh) 2021-07-14 2021-07-14 基于即插即用先验的单像素成像方法

Country Status (1)

Country Link
CN (1) CN113724146B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117408875A (zh) * 2023-12-13 2024-01-16 阿尔玻科技有限公司 重构压缩超快摄影图像的方法、存储介质及设备
CN117876837B (zh) * 2024-03-11 2024-06-07 北京理工大学 基于深度展开网络的近红外单像素成像方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259991A (zh) * 2020-02-28 2020-06-09 南京理工大学 一种噪声环境下欠采样单像素成像目标识别方法
CN112203068A (zh) * 2020-09-30 2021-01-08 中国科学院长春光学精密机械与物理研究所 单像素成像方法、***、装置及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1224544A1 (en) * 1999-08-16 2002-07-24 Z-Force Corporation System of reusable software parts for implementing concurrency and hardware access, and methods of use
US11125844B2 (en) * 2018-07-06 2021-09-21 The Board Of Trustees Of The Leland Stanford Junior University Deep learning based methods to accelerate multi-spectral imaging
US11726184B2 (en) * 2019-03-08 2023-08-15 Leddartech Inc. Component for a LIDAR sensor system, LIDAR sensor system, LIDAR sensor device, method for a LIDAR sensor system and method for a LIDAR sensor device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259991A (zh) * 2020-02-28 2020-06-09 南京理工大学 一种噪声环境下欠采样单像素成像目标识别方法
CN112203068A (zh) * 2020-09-30 2021-01-08 中国科学院长春光学精密机械与物理研究所 单像素成像方法、***、装置及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
计算摄影综述;徐树奎;涂丹;李国辉;张军;;计算机应用研究;20101115(第11期);全文 *

Also Published As

Publication number Publication date
CN113724146A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
Gehrig et al. Combining events and frames using recurrent asynchronous multimodal networks for monocular depth prediction
US10593021B1 (en) Motion deblurring using neural network architectures
CN113724146B (zh) 基于即插即用先验的单像素成像方法
CN109766863A (zh) 一种基于局部和稀疏非局部正则的人脸图像超分辨率方法
CN104243837A (zh) 基于单次曝光视频重建的颤振探测和遥感图像恢复方法
Xie et al. S3im: Stochastic structural similarity and its unreasonable effectiveness for neural fields
Zha et al. The power of triply complementary priors for image compressive sensing
Nakashima et al. Learning to drop points for lidar scan synthesis
CN102819829A (zh) 基于分形的超分辨率遥感影像的重建算法
Wang et al. Underwater self-supervised monocular depth estimation and its application in image enhancement
Jia et al. Depth measurement based on a convolutional neural network and structured light
Zhao et al. Sptr: Structure-preserving transformer for unsupervised indoor depth completion
Wu et al. SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer
CN117036442A (zh) 一种鲁棒单目深度补全方法、***及储存介质
CN112785629A (zh) 一种基于无监督深度光流网络的极光运动表征方法
CN117152733A (zh) 一种地质材料材质识别方法、***及可读存储介质
CN117132704A (zh) 一种动态结构光的三维重建方法及其***、计算设备
Hyneman et al. Human face project
CN103115673B (zh) 一种高信噪比变光照光场复用采集方法
CN105869162A (zh) 基于三边置信测度的主动式探测成像数据融合方法
CN118247418B (zh) 一种利用少量模糊图像重建神经辐射场的方法
Whittle et al. A deep learning approach to no-reference image quality assessment for monte carlo rendered images
Seo et al. A study on selective dehazing system based on haze detection network
Teng et al. Unsupervised learning method for underwater concrete crack image enhancement and augmentation based on cross domain translation strategy
Yang et al. 3D Reconstruction From Traditional Methods to Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant