CN110132324A - 一种实时显示鬼成像方案 - Google Patents
一种实时显示鬼成像方案 Download PDFInfo
- Publication number
- CN110132324A CN110132324A CN201910411847.1A CN201910411847A CN110132324A CN 110132324 A CN110132324 A CN 110132324A CN 201910411847 A CN201910411847 A CN 201910411847A CN 110132324 A CN110132324 A CN 110132324A
- Authority
- CN
- China
- Prior art keywords
- matrix
- real
- signal
- light intensity
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 36
- 238000005259 measurement Methods 0.000 claims abstract description 19
- 230000001360 synchronised effect Effects 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 15
- 230000001186 cumulative effect Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 3
- 241001269238 Data Species 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 3
- 238000007792 addition Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- LVYZJEPLMYTTGH-UHFFFAOYSA-H dialuminum chloride pentahydroxide dihydrate Chemical compound [Cl-].[Al+3].[OH-].[OH-].[Al+3].[OH-].[OH-].[OH-].O.O LVYZJEPLMYTTGH-UHFFFAOYSA-H 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D5/00—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
- G01D5/26—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种可以实时运算并显示鬼成像结果的方案。鬼成像是一种间接成像方式。其典型结构是，把光源分成两路：一路照射到物体上，然后用桶探测器记录从物体上反射或透射的总光强，称为信号臂；另一路利用相机记录光场信息，称为参考臂。通过多次测量得到大量信号臂和参考臂数据，继而利用进行重构运算得到物体的图像。现有鬼成像方案中，需要先把所有测量数据存储下来，之后再进行数据处理、运算。这种方案所需存储量、运算量都很大，无法实现实时的成像。本发明针对这一问题，提出了一种实时显示鬼成像方案，在每次测量的过程中，同步进行数据运算，且仅保存关键数据结果，可降低存储量、运算复杂度，实时显示鬼成像结果。
Description
技术领域
本发明属于鬼成像研究领域，具体涉及一种可以实时显示成像结果的鬼成像方案。
背景技术
经典的直接成像方式是把光源照射到物体上，通过有空间光场分辨能力的探测器(如相机)直接对从物体上反射或透射的光场进行探测来成像。而鬼成像的典型结构是，把光源分成两路：一路照射到物体上，然后用没有空间光场分辨能力的探测器(单点探测，或称为桶探测)探测记录从物体上反射或透射的光场总光强，称为信号臂；另一路则不经过物体，而是直接利用有空间光场分辨能力的探测器(如相机)记录光场信息，称为参考臂。继而利用光场的统计相干性，对信号臂和参考臂记录、或者说采集到的信息进行关联运算，最终得到物体的图像。由于特殊的成像方式，其分辨率有望突破学成像的衍射极限，从而激发了人们的研究兴趣。当前的鬼成像研究主要集中在使用不同类型，不同波段的光源开展实验；研究数据处理与图像重构算法以提高重构效率和成像质量；探索各类实际应用场景，如遥感探测，水下成像，运动目标等等。
鬼成像无法直接得到观测目标的形状结构，而是需要通过双臂探测：参考臂和信号臂的大量数据采集，并进行重构运算才能得到目标信息。重构运算方法有涨落关联算法，压缩感知算法等。但是由于鬼成像本身是一种间接成像的过程，一般情况下，测量次数需要达到103～104数量级。在现有技术方案中，需要将103～104数量级次数测量得到的数据全部存储下来，这就涉及到非常大规模的数据存储；之后的重构过程，又涉及运算复杂度很高的大矩阵运算。这种方案下，鬼成像过程被分割成数据采集与数据计算两个独立的模块，增加了整体的成像时间，实时性较差，且硬件成本非常高，不利于鬼成像的实用化。
发明内容
针对现有鬼成像方案中的技术问题，本发明利用了涨落关联算法的线性运算特性，在采集过程中就对每一帧新采集到的数据进行实时运算处理，得到并仅保存与成像有关的关键参数结果，此关键参数结果同时将数据采集模块与计算模块尽可能地融合在一起，从而实现了近乎边采集，边重构，边显示的效果。
现有的技术方案对硬件资源的消耗量很大，尤其在现方案的第一步数据采集和存储过程中，由于通常需要采集几千甚至上万帧的图像数据，设每一帧的像素数为N，则需要103～104×N量级的内存容量来快速存储这些数据。之后无论是把这些数据存入硬盘，还是在内存中进行重构运算，都需占用大量的硬件资源，消耗很长时间。
本发明与现有技术相比，存在的主要优势有：
实时性。本发明方案在采集的同时就实时进行运算，将现有技术方案中待所有数据采集完成后再进行的大矩阵运算转变为每一帧采集过程中的实时加法和乘法运算，因此可以在采集的同时就得到此时的鬼成像结果，达到一种实时显示的效果。
大幅降低硬件需求。本发明方案在采集的同时就实时进行运算，仅需保存运算得到的关键参数结果，而无需将每一帧的图像数据都保存下来，因此大幅降低了采集过程中的内存容量需求，设每一帧的像素数为N，成像过程中所存储的数据量仅在10×N量级以下。而且实时运算替代了现有技术方案中的大矩阵运算，对运算能力的要求也大幅降低，给使用嵌入式设备如单片机，FPGA等进行鬼成像实验提供了可能性。
有效防止数据冗余饱和。旧的技术中，由于不能对目标重构所需数据量有一个合理的预估，采用的方法往往是采集过量数据，这给实验造成了一定的时间与空间冗余。由于本发明中，实验人员可以实时观测目标重建的过程，因此可以在达到预期效果选择暂停或关闭***。
附图说明
图1：展示了实时显示鬼成像方案的结构图。
具体实施方式
图1是本发明的结构图。其中
1-触发信号。用于控制从参考臂相机(2)和信号臂桶探测器(3)同步采集并分别得到参考光场强度矩阵(7)和桶探测器信号(8)，从而实现鬼成像过程中的一次测量。
2-参考臂相机。具有空间分辨能力，用于采集参考光场。其有效像素数称为帧像素数。
3-信号臂桶探测器。不具备空间分辨能力，用于接收信号臂中光信号经过物体后反射或透射的光信号总光强。
4-存储区。用于存储采集数据与运算过程中间结果。其中采集数据包括测量次数(6)，参考光场强度矩阵(7)，桶探测器信号(8)。运算过程中间结果包括参考光场强度矩阵累加和(9)，桶探测器信号累加和(10)，关联矩阵累加和(11)。存储区的数据在每次测量后更新一次。
5-运算器。可完成存储区(4)数据读写功能和矩阵的基本四则运算功能。
6-测量次数。对触发信号(1)进行计数，以得到本次鬼成像的测量次数。常见的鬼成像测量次数一般在数千至数万次之间。
7-参考光场强度矩阵。存储参考臂每次测量采集到的光场强度值矩阵，矩阵大小等于帧像素数。
8-桶探测器信号。存储信号臂每次测量采集到的桶探测器信号值。
9-参考光场强度累加和矩阵。矩阵大小等于帧像素数，在测量开始前每个矩阵元均为0。每次测量采集得到新的参考光场强度矩阵(7)后，用运算器(5)进行矩阵加法运算加至本项上。
10-桶探测器信号累加和。在测量开始前值为0。每次测量采集得到新的桶探测器信号(8)后，用运算器(5)进行加法运算加至本项上。
11-关联累加和矩阵。矩阵大小等于帧像素数，在测量开始前每个矩阵元均为0。每次测量采集得到新的参考光场强度矩阵(7)和新的桶探测器信号(8)后，用运算器(5)将这两项进行标量乘法运算，并将得到的矩阵使用矩阵加法加至本项上。
12-重构图像矩阵。矩阵大小等于帧像素数。每次测量后，由以下运算得到：
。
13-显示设备。用于把重构图像矩阵(12)显示为人眼可观测的图像。
本发明中，触发信号(1)，参考臂相机(2)，信号臂桶探测器(3)是鬼成像***中接收部分的典型器件。存储区(4)包含测量次数(6)，参考光场强度矩阵(7)，桶探测器信号(8)，参考光场强度矩阵累加和(9)，桶探测器信号累加和(10)，关联矩阵累加和(11)，以完成直接测量数据与运算得到的中间结果和重构结果数据的存储。运算器(5)用于完成各种运算功能。显示设备(13)用于显示重构结果。
Claims (3)
1.一种实时显示鬼成像方案，由触发信号(1)控制参考臂相机(2)和信号臂桶探测器(3)同步采集典型鬼成像方案中参考臂与信号臂的光信号，并进行多次测量。在每次测量中，分别由参考臂相机(2)得到参考光场强度矩阵(7)，由信号臂桶探测器(3)得到桶探测器信号(8)，测量次数(6)加1。其特征在于，不按照现有技术方案将多次测量得到参考光场强度矩阵(7)和桶探测器信号(8)全都保存起来，而是在每次测量得到参考光场强度矩阵(7)和桶探测器信号(8)后，实时利用运算器(5)，将参考光场强度矩阵(7)加入参考光场强度矩阵累加和(9)，将桶探测器信号(8)加入桶探测器信号累加和(10)，将参考光场强度矩阵(7)和桶探测器信号(8)相乘并加入关联矩阵累加和(11)；最后由参考光场强度矩阵累加和(9)，桶探测器信号累加和(10)，关联矩阵累加和(11)，测量次数(6)经如下运算：
得到重构图像矩阵(12)。重构图像矩阵(12)输出至显示设备(13)完成鬼成像结果的实时显示。
2.根据权利要求1所述的一种实时显示鬼成像方案，其特征在于：在每次测量中，均根据新采集的参考光场强度矩阵(7)和桶探测器信号(8)，以及存储区(4)中的各中间结果实时运算得到一个新的重构图像矩阵(12)，并输出至显示设备(13)上。无需等待103～104数量级次数的数据采集过程完成，即可实时显示鬼成像结果。
3.根据权利要求1所述的一种实时显示鬼成像方案，其特征在于：设参考臂相机(2)每次采集的有效像素数称为帧像素数N，则虽然鬼成像过程仍需要测量103～104数量级次数，但存储区(4)无需保存103～104×N数量级的像素数据，而仅需保存有限个变量：测量次数(6)包含单变量数据，参考光场强度矩阵(7)包含N个像素数据，桶探测器信号(8)包含单变量数据，参考光场强度矩阵累加和(9)包含N个像素数据，桶探测器信号累加和(10)包含单变量数据，关联矩阵累加和(11)包含N个像素数据，重构图像矩阵(12)包含N个像素数据，共4×N个像素数据和3个单变量数据，远小于103～104×N数量级的像素数据存储量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910411847.1A CN110132324A (zh) | 2019-05-17 | 2019-05-17 | 一种实时显示鬼成像方案 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910411847.1A CN110132324A (zh) | 2019-05-17 | 2019-05-17 | 一种实时显示鬼成像方案 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110132324A true CN110132324A (zh) | 2019-08-16 |
Family
ID=67574963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910411847.1A Pending CN110132324A (zh) | 2019-05-17 | 2019-05-17 | 一种实时显示鬼成像方案 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110132324A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6935747B2 (en) * | 1999-04-27 | 2005-08-30 | Optical Products Development | Image enhancement and aberration corrections in a small real image projection system |
| CN103323396A (zh) * | 2013-06-28 | 2013-09-25 | 中国科学院空间科学与应用研究中心 | 一种基于符合测量的二维压缩鬼成像***及方法 |
| CN103777206A (zh) * | 2014-01-26 | 2014-05-07 | 上海交通大学 | 一种基于偏振关联成像的单像素成像*** |
| CN106019307A (zh) * | 2016-05-18 | 2016-10-12 | 北京航空航天大学 | 一种基于阵列光源的单像素成像***及方法 |
| CN107018388A (zh) * | 2017-02-28 | 2017-08-04 | 西安交通大学 | 一种超高速实时彩色计算鬼成像的装置及方法 |
-
2019
- 2019-05-17 CN CN201910411847.1A patent/CN110132324A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6935747B2 (en) * | 1999-04-27 | 2005-08-30 | Optical Products Development | Image enhancement and aberration corrections in a small real image projection system |
| CN103323396A (zh) * | 2013-06-28 | 2013-09-25 | 中国科学院空间科学与应用研究中心 | 一种基于符合测量的二维压缩鬼成像***及方法 |
| CN103777206A (zh) * | 2014-01-26 | 2014-05-07 | 上海交通大学 | 一种基于偏振关联成像的单像素成像*** |
| CN106019307A (zh) * | 2016-05-18 | 2016-10-12 | 北京航空航天大学 | 一种基于阵列光源的单像素成像***及方法 |
| CN107018388A (zh) * | 2017-02-28 | 2017-08-04 | 西安交通大学 | 一种超高速实时彩色计算鬼成像的装置及方法 |
Non-Patent Citations (4)
| Title |
|---|
| 刘盛盈: "基于平场光栅的稀疏约束鬼成像高光谱相机", 《光学学报》 * |
| 周阳 等: "基于自适应阈值方法实现迭代降噪鬼成像", 《物理学报》 * |
| 李招昕: "基于流式计算的大规模监控视频分析关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 郑素赢: "结构化压缩感知在鬼成像中的应用研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103323396B (zh) | 一种基于符合测量的二维压缩鬼成像***及方法 | |
| CN107615089B (zh) | 压缩感知和mri的建模和验证方法 | |
| Levin et al. | Understanding camera trade-offs through a Bayesian analysis of light field projections | |
| CN108460739A (zh) | 一种基于生成对抗网络的遥感图像薄云去除方法 | |
| CN104154878A (zh) | 一种使用单像素探测器的光学成像方法 | |
| CN103176876B (zh) | 一种高效安全的计算机在线自检方法及自检装置 | |
| CN109613556B (zh) | 基于稀疏表征的光子计数激光三维探测成像方法 | |
| CN113870132A (zh) | 计算鬼成像采样过程中的噪声消除方法、***及相关组件 | |
| CN108876884A (zh) | 一种基于非局部的张量低秩正则化的高光谱图像重建方法 | |
| CN110490937A (zh) | 一种加速高光谱视频重建的方法及其装置 | |
| CN103278143A (zh) | 基于机器视觉的零位走动量测试装置及方法 | |
| CN102769460A (zh) | 一种互补测量的时间分辨单光子计数成像***及方法 | |
| CN107194936A (zh) | 基于超像素联合稀疏表示的高光谱图像目标检测方法 | |
| CN111598962B (zh) | 基于矩阵草图分析的单像素成像方法和装置 | |
| CN110554384A (zh) | 一种基于微波信号的成像方法 | |
| Peterka et al. | Meshing the universe: Integrating analysis in cosmological simulations | |
| CN110132324A (zh) | 一种实时显示鬼成像方案 | |
| CN112113661B (zh) | 一种深度学习型快照式光谱成像装置及其探测方法 | |
| CN101908211B (zh) | 一种基于变分方法的高光谱图像融合方法 | |
| Beetz et al. | Mesh U-Nets for 3D cardiac deformation modeling | |
| CN104574455B (zh) | 图像重建方法及装置 | |
| CN102768070B (zh) | 一种互补测量的单光子计数成像***及方法 | |
| CN113448233B (zh) | 一种欠采样全息图压缩全息多尺度自聚焦重建方法及*** | |
| CN104112294B (zh) | 基于稀疏约束的强度关联成像高速三维重构***及方法 | |
| CN103903272B (zh) | 一种基于Hadoop的StaMPS算法并行化处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190816 |
|
| RJ01 | Rejection of invention patent application after publication |