CN109379532B - 一种计算成像***及方法 - Google Patents

一种计算成像***及方法 Download PDF

Info

Publication number
CN109379532B
CN109379532B CN201811167880.6A CN201811167880A CN109379532B CN 109379532 B CN109379532 B CN 109379532B CN 201811167880 A CN201811167880 A CN 201811167880A CN 109379532 B CN109379532 B CN 109379532B
Authority
CN
China
Prior art keywords
image
controller
fourier transform
dimensional fourier
voltage differential
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201811167880.6A
Other languages
English (en)
Other versions
CN109379532A (zh
Inventor
王彩霞
景文博
黄巧银
刘鹏
赵海丽
卢佳宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN201811167880.6A priority Critical patent/CN109379532B/zh
Publication of CN109379532A publication Critical patent/CN109379532A/zh
Application granted granted Critical
Publication of CN109379532B publication Critical patent/CN109379532B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种计算成像***及方法，计算成像***包括：带有单透镜镜头的CCD相机、数据通信接口、第一控制器、存储器、第二控制器；数据通信接口与CCD相机相连，第一控制器与数据通信接口相连，存储器与第一控制器相连，第二控制器分别与第一控制器、存储器相连，本发明通过上述设置既简化现有前端镜头的光机结构，又无需利用计算机进行图像复原，实现整体轻型化，还提高复原精度。

Description

一种计算成像***及方法
技术领域
本发明涉及计算成像技术领域，特别是涉及一种计算成像***及方法。
背景技术
计算成像是传统光学、数学与信息处理融合的产物，在军用、民用和生物医学等领域具有很好的应用前景。随着人们对高质量图像需求的不断增加，现代光学成像***的设计日益复杂。为更好地消除透镜像差所导致的成像模糊，单反相机的镜头设计成数十个不同类型的镜片组合，镜头设计精密度也越来越高。虽然精密的镜头设计提高了成像质量，但是存在设计复杂、价格昂贵、体积笨重等问题，同时还存在装调工艺复杂，限制了使用的灵活性。另外，现有的计算成像技术多采用个人计算机事后处理方式进行图像复原，难以实现计算成像设备的一体化和提高图像复原精度。因此，如何实现既能简化前端镜头的光机结构、实现整体轻型化，又能提高复原精度成为亟待解决的技术难题。
发明内容
本发明的目的是提供一种计算成像***及方法，既简化现有前端镜头的光机结构，又无需利用计算机进行图像复原，实现整体轻型化，还提高复原精度。
为实现上述目的，本发明提供一种计算成像***，所述计算成像***包括：
带有单透镜镜头的CCD相机，用于采集退化图像，并根据所述退化图像确定低电压差分图像；
数据通信接口，与所述CCD相机相连，用于将所述低电压差分图像转换成TTL图像；
第一控制器，与所述数据通信接口相连，用于接收所述TTL图像，并对所述TTL图像进行滤波去噪预处理，获得去噪处理图像；还用于发出第一读中断指令；还用于存储离线标定确定的常数矩阵；
存储器，与所述第一控制器相连，用于存储所述去噪处理图像；
第二控制器，分别与所述第一控制器、所述存储器相连，用于接收所述第一控制器发送的所述第一读中断指令，并根据所述第一读中断指令向所述存储器内获取所述去噪处理图像，并根据所述去噪处理图像求解二维傅里叶变换，获得退化图像二维傅里叶变换值；向所述第一控制器获取所述常数矩阵，并根据所述常数矩阵和所述退化图像二维傅里叶变换值确定复原图像二维傅里叶变换值，对所述复原图像二维傅里叶变换值进行二维傅里叶逆变换获得低电压差分复原图像，并将所述低电压差分复原图像存储至所述存储器，同时向所述第一控制器发送第二读中断指令；以使所述第一控制器根据所述第二读中断指令向所述存储器读取所述低电压差分复原图像，并将所述低电压差分复原图像发送至所述数据通信接口。
可选的，所述计算成像***还包括：
图像输入输出切换通道，分别与所述CCD相机、所述数据通信接口和显示器相连，用于将所述低电压差分图像发送至所述数据通信接口；还用于将所述TTL复原图像进行数模转换并叠加同步信号形成标准视频图像。
可选的，所述计算成像***还包括：
显示器，与所述图像输入输出切换通道相连，用于显示所述标准视频图像。
可选的，所述计算成像***还包括：
上位机，分别与所述CCD相机、所述第一控制器相连，用于产生复位指令或离焦指令；还用于根据复位完成命令利用所述带有单透镜镜头的CCD相机获取焦点位置的第一通道退化图像，根据离焦完成指令利用所述带有单透镜镜头的CCD相机获取离焦位置的第二通道退化图像；还用于根据所述第一通道退化图像和所述第二通道退化图像进行离线标定，确定的常数矩阵，并发送至所述第一控制器进行存储；
第三控制器，与所述上位机相连，用于接收所述上位机发送的复位指令或离焦指令；还用于当带动所述带有单透镜镜头的CCD相机回到焦点位置后，向所述上位机发送复位完成命令，或当带动所述带有单透镜镜头的CCD相机回到离焦位置后，向所述上位机发送离焦完成指令；
步进电机，与所述带有单透镜镜头的CCD相机相连，用于带动所述带有单透镜镜头的CCD相机回到焦点位置或离焦位置；
驱动器，分别与所述第三控制器、所述步进电机相连，用于根据所述第三控制器接收的所述复位指令或离焦指令驱动所述步进电机运动。
可选的，所述计算成像***还包括：
图像采集卡，分别与所述CCD相机、所述上位机相连，用于根据所述复位完成命令利用所述CCD相机获取所述第一通道退化图像，根据所述离焦完成指令利用所述CCD相机获取所述第二通道退化图像。
可选的，所述第一控制器为FPGA控制器，所述第二控制器为DSP控制器，所述第三控制器为单片机控制器。
本发明还提供一种计算成像方法，应用于上述计算成像***中，所述计算成像方法包括：
获取退化图像；
根据所述退化图像确定低电压差分图像；
将所述低电压差分图像转换成TTL图像；
对所述TTL图像进行滤波去噪预处理，获得去噪处理图像；
根据所述去噪处理图像求解二维傅里叶变换，获得退化图像二维傅里叶变换值；
根据常数矩阵和退化图像二维傅里叶变换值确定复原图像二维傅里叶变换值；
对所述复原图像二维傅里叶变换值进行二维傅里叶逆变换获得低电压差分复原图像。
可选的，在所述根据常数矩阵和退化图像二维傅里叶变换值确定复原图像的二维傅里叶变换步骤之前，还包括：
获取第一通道退化图像和第二通道退化图像；
根据所述第一通道退化图像和所述第二通道退化图像确定常数矩阵；所述常数矩阵包括点扩散函数共轭和点扩散函数模值的平方。
可选的，在所述对所述低电压差分复原图像二维傅里叶变换值进行二维傅里叶逆变换获得低电压差分复原图像步骤之后，还包括：
将所述低电压差分复原图像转换成TTL复原图像；
将所述TTL复原图像进行数模转换并叠加同步信号形成标准视频图像。
可选的，所述根据常数矩阵和退化图像二维傅里叶变换值确定复原图像二维傅里叶变换值，具体公式为：
Figure GDA0002586785030000041
其中，F(fx,fy)为复原图像的二维傅里叶变换值、γ为非零且小于1的系数、T为帧数、C为通道数、Dtc为退化图像二维傅里叶变换值、(fx,fy)为频域坐标，
Figure GDA0002586785030000042
为点扩散函数共轭，|Stc|2为点扩散函数模值的平方。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明首先利用带有单透镜镜头的CCD相机采集退化图像并确定低电压差分图像；其次利用数据通信接口将所述低电压差分图像转换成TTL图像；再次利用第一控制器对所述TTL图像进行滤波去噪预处理，获得去噪处理图像；然后利用第二控制器接收所述第一控制器发送的第一读中断指令，并根据所述第一读中断指令向所述存储器内获取去噪处理图像，并根据所述去噪处理图像求解二维傅里叶变换，获得退化图像二维傅里叶变换值；向所述第一控制器获取常数矩阵，并根据所述常数矩阵和退化图像二维傅里叶变换值确定复原图像二维傅里叶变换值，对所述复原图像二维傅里叶变换值进行二维傅里叶逆变换获得低电压差分复原图像，并将所述低电压差分复原图像存储至所述存储器，同时向所述第一控制器发送第二读中断指令；以使所述第一控制器根据所述第二读中断指令向所述存储器读取所述低电压差分复原图像，并将所述低电压差分复原图像发送至所述数据通信接口，既简化现有前端镜头的光机结构，又无需利用计算机进行图像复原，实现整体轻型化，还提高复原精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例计算成像***结构图一；
图2为本发明实施例计算成像***结构图二；
图3为本发明实施例FPGA控制器流程图；
图4为本发明实施例DSP控制器流程图；
图5为本发明实施例计算成像方法流程图。
其中，1、单透镜镜头，2、CCD相机，3、数据通信接口，4、第一控制器，5、第二控制器，6、存储器，7、图像输入输出切换通道，8、显示器，9、上位机，10、第三控制器，11、步进电机，12、驱动器，13、图像采集卡。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种计算成像***及方法，既简化现有前端镜头的光机结构，又无需利用计算机进行图像复原，实现整体轻型化，还提高复原精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例计算成像***结构图一，图2为本发明实施例计算成像***结构图二，如图1-图2所示，本发明提供一种计算成像***，所述计算成像***包括：
带有单透镜镜头1的CCD相机2，用于采集退化图像，并根据所述退化图像确定低电压差分图像；所述单透镜镜头1用于对目标场景聚焦；
数据通信接口3，与所述CCD相机2相连，用于将所述低电压差分图像转换成TTL图像；
第一控制器4，与所述数据通信接口3相连，用于接收所述TTL图像，并对所述TTL图像进行滤波去噪预处理，获得去噪处理图像；还用于发出第一读中断指令；还用于存储离线标定确定的常数矩阵；
存储器6，与所述第一控制器4相连，用于存储所述去噪处理图像；
第二控制器5，分别与所述第一控制器4、所述存储器6相连，用于接收所述第一控制器4发送的所述第一读中断指令，并根据所述第一读中断指令向所述存储器6内获取所述去噪处理图像，并根据所述去噪处理图像求解二维傅里叶变换，获得退化图像二维傅里叶变换值；向所述第一控制器4获取所述常数矩阵，并根据所述常数矩阵和所述退化图像二维傅里叶变换值确定复原图像二维傅里叶变换值，对所述复原图像二维傅里叶变换值进行二维傅里叶逆变换获得低电压差分复原图像，并将所述低电压差分复原图像存储至所述存储器6，同时向所述第一控制器4发送第二读中断指令；以使所述第一控制器4根据所述第二读中断指令向所述存储器6读取所述低电压差分复原图像，并将所述低电压差分复原图像发送至所述数据通信接口3。
作为一种实施方式，本发明所述数据通信接口3为Camera Link接口电路。
作为一种实施方式，本发明所述计算成像***还包括：
图像输入输出切换通道7，分别与所述CCD相机2、所述数据通信接口3和显示器8相连，用于将所述低电压差分图像发送至所述数据通信接口3；还用于将所述TTL复原图像进行数模转换并叠加同步信号形成标准视频图像。
作为一种实施方式，本发明所述计算成像***还包括：
显示器8，与所述图像输入输出切换通道7相连，用于显示所述标准视频图像。
作为一种实施方式，本发明所述计算成像***还包括：
上位机9，分别与所述CCD相机2、所述第一控制器4相连，用于产生复位指令或离焦指令；还用于根据复位完成命令利用所述带有单透镜镜头1的CCD相机2获取焦点位置的第一通道退化图像，根据离焦完成指令利用所述带有单透镜镜头1的CCD相机2获取离焦位置的第二通道退化图像；还用于根据所述第一通道退化图像和所述第二通道退化图像进行离线标定，确定的常数矩阵，并通过USB接口发送至所述第一控制器4进行存储；
第三控制器10，与所述上位机9相连，用于接收所述上位机9发送的复位指令或离焦指令；还用于当带动所述带有单透镜镜头1的CCD相机2回到焦点位置后，向所述上位机9发送复位完成命令，或当带动所述带有单透镜镜头1的CCD相机2回到离焦位置后，向所述上位机9发送离焦完成指令；
步进电机11，与所述带有单透镜镜头1的CCD相机2相连，用于带动所述带有单透镜镜头1的CCD相机2回到焦点位置或离焦位置；
驱动器12，分别与所述第三控制器10、所述步进电机11相连，用于根据所述第三控制器10接收的所述复位指令或离焦指令驱动所述步进电机11运动。
作为一种实施方式，本发明所述计算成像***还包括：
图像采集卡13，分别与所述CCD相机2、所述上位机9相连，用于根据所述复位完成命令利用所述CCD相机2获取所述第一通道退化图像，根据所述离焦完成指令利用所述CCD相机2获取所述第二通道退化图像。本发明所述图像采集卡13为Cameralink采集卡。
作为一种实施方式，本发明所述第一控制器4为FPGA控制器，所述第二控制器5为DSP控制器，所述第三控制器10为单片机控制器。
作为一种实施方式，本发明根据所述第一通道退化图像和所述第二通道退化图像进行离线标定，确定的常数矩阵，具体的过程如下：
1、在非相干照明下，建立该成像***的初始模型：
gtc(x,y)＝f(x,y)*stc(x,y)；
其中，t代表采集的帧数，c代表通道数，c为1或2，fc(x,y)为第c通道退化图像，stc(x,y)为点扩散函数；
stc(x,y)点扩散函数可以为为：
Figure GDA0002586785030000071
或stc(x,y)＝|F-1{H}|2
其中，F-1{}为傅里叶逆变换，(u,v)为光瞳面坐标，P为光瞳函数，
Figure GDA0002586785030000072
为波前畸变相位，
Figure GDA0002586785030000073
或H均为广义光瞳函数，||为二值函数，出瞳区域为1，其它区域为0。
Figure GDA0002586785030000074
可以用一组有限项Zernike多项式进行拟合，为为：
Figure GDA0002586785030000075
式中，ai为第i项Zernike多项式的系数，能详细描述相位信息；zi(u,v)为第i项Zernike多项式，多项式的每一项称为波前模式；k值根据具体任务选取，对于低阶***像差，一般前十几项足够；对于大气湍流引起的高阶像差，k值取到100以上。
广义光瞳函数
Figure GDA0002586785030000076
其中，θc为通道C已知的固定的离焦相位，对于焦面通道而言，θ0取值为0；对于离焦面通道，θc可以为为一个二次函数：
Figure GDA0002586785030000081
其中，d0为离焦距离，λ为入射光中心波长，F′为光圈数，(x,y)为离焦位置坐标。
φt为第t帧波前相位，包括大气湍流引起的相位随机起伏或光学成像***引入的像差等，一般情况下常用一系列的正交多项式的组合来进行描述：
Figure GDA0002586785030000082
其中，am,t为第m项多项式系数，zm,t为第m项正交的多项式基底。
2、在初始模型加噪声干扰时，获得加燥成像公式为：
dtc(x,y)＝gtc(x,y)+nc(x,y)＝f(x,y)*stc(x,y)+nc(x,y)；
其中，dtc(x,y)为第t帧第c通道采集到的实际图像，nc(x,y)为通道c的噪声干扰。噪声主要是服从泊松分布的光子噪声和服从高斯分布的电子噪声。当CCD接收到的光子数足够大时，泊松分布接近于高斯分布，在高光子水平时，将泊松-高斯混合噪声近似为高斯分布。nc(x,y)服从均值为0、方差为σc 2的高斯分布，则dtc(x,y)可以看做一个以gtc(x,y)为均值的服从高斯分布的独立随机变量。因此，在像元位置(x0,y0)的gtc(x0,y0)的概率可以表达为：
Figure GDA0002586785030000083
假设T帧C通道观测图像{dtc(x,y)}在统计上是独立的，并且观测图像各像元也是相互独立的，则多帧联合概率分布为：
Figure GDA0002586785030000084
对(2)式取对数，得到其对数似然函数为：
Figure GDA0002586785030000091
其中，T为帧数，C为通道数，g(x,y)为均值。
为了后续推导方便，认为各通道噪声水平一致。根据Parseval定理和卷积定理，得到频域表达：
Figure GDA0002586785030000092
其中，N为单幅图像的像素总数，(fx,fy)为频域坐标，D和F分别对应于采集来的图像d和目标图像f的傅里叶变换，S为点扩散函数s的傅里叶变换，也就是***的光学传递函数(OTF)。
通过(4)式似然函数式求关于目标F的导数，并令导数值为0，得到上式关于F的稳定点，这个稳定点便是目标估计式：
Figure GDA0002586785030000093
其中，上标*为复共轭运算。将(5)式代入(4)式中，得到化简后的目标函数如式(6)所示：
Figure GDA0002586785030000094
目标函数的表达式中以Zernike多项式系数为参数，不存在目标的信息，大大降低了最优化过程中的未知数个数，计算效率更高，可以用来估计目标的波前。以各帧图像所对应的波前为未知变量进行最优化搜索，寻找使目标函数最小化的解，当搜索满足收敛条件退出的时候，即可得到各帧所对应的波前，根据波前信息，获得光学***的空间变化点扩散函数共轭
Figure GDA0002586785030000101
和模值的平方|Stc|2。
图3为本发明实施例FPGA控制器流程图，如图3所示，所述FPGA控制器在启动开始步骤后，FPGA控制器首先进行寄存器的初始化，采用主串行模式加载配置芯片中的初始化程序，设置内部定时器、数据采样、控制时序等。然后判断是否获取所述TTL图像，如果是，获取所述TTL图像，此时，目标信号经过CameraLink接口电路转换，输入FPGA预处理后进入下一步，FPGA控制器将去噪处理图像写入DSP控制器的存储器6中，存储器6同时进入写周期；待FPGA控制器把去噪处理图像写入存储器6后，通过DSP控制器的GPIO口向DSP控制器发送第一中断信号，通知DSP控制器获取去噪处理图像。接下来，FPGA控制器处于等待状态，等待DSP控制器的读中断信号，当FPGA控制器等到DSP控制器的读中断信号，说明DSP控制器已经运行完优化图像处理算法，并将所述低电压差分复原图像存入存储器6；FPGA控制器判断是否获取下一帧所述TTL图像。
图4为本发明实施例DSP控制器流程图，如图4所示，在启动开始步骤后，DSP控制器首先进行寄存器的初始化，等待并判断是否有FPGA控制器发送的第一读中断信号，判断为否，则继续等待；判断为是，则读取存储器6中的去噪处理图像；接着，通过运算优化的图像复原核心算法获得低电压差分复原图；接下来，将低电压差分复原图写入存储器6相应地址单元中，并向FPGA控制器发送第二读中断信号，之后返回，继续等待状态判断是否有第一读中断信号。
图5为本发明实施例计算成像方法流程图，如图5所示，本发明还提供一种计算成像方法，所述计算成像方法包括：
步骤S1：获取退化图像；
步骤S2：根据所述退化图像确定低电压差分图像；
步骤S3：将所述低电压差分图像转换成TTL图像；
步骤S4：对所述TTL图像进行滤波去噪预处理，获得去噪处理图像；
步骤S5：根据所述去噪处理图像求解二维傅里叶变换，获得退化图像二维傅里叶变换值；
步骤S6：根据常数矩阵和退化图像二维傅里叶变换值确定复原图像二维傅里叶变换值；
步骤S7：对所述复原图像二维傅里叶变换值进行二维傅里叶逆变换获得低电压差分复原图像。
在所述步骤S6之前，还包括：
获取第一通道退化图像和第二通道退化图像；
根据所述第一通道退化图像和所述第二通道退化图像确定常数矩阵；所述常数矩阵包括点扩散函数共轭和点扩散函数模值的平方。
在所述步骤S7：之后，还包括：
将所述低电压差分复原图像转换成TTL复原图像；
将所述TTL复原图像进行数模转换并叠加同步信号形成标准视频图像。
步骤S6根据常数矩阵和退化图像二维傅里叶变换值确定复原图像二维傅里叶变换值，具体公式为：
Figure GDA0002586785030000111
其中，F(fx,fy)为复原图像的二维傅里叶变换值、γ为非零且小于1的系数、T为帧数、C为通道数、Dtc为退化图像二维傅里叶变换值、(fx,fy)为频域坐标，
Figure GDA0002586785030000112
为点扩散函数共轭，|Stc|2为点扩散函数模值的平方。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种计算成像***，其特征在于，所述计算成像***包括：
带有单透镜镜头的CCD相机，用于采集退化图像，并根据所述退化图像确定低电压差分图像；
数据通信接口，与所述CCD相机相连，用于将所述低电压差分图像转换成TTL图像；
第一控制器，与所述数据通信接口相连，用于接收所述TTL图像，并对所述TTL图像进行滤波去噪预处理，获得去噪处理图像；还用于发出第一读中断指令；还用于存储离线标定确定的常数矩阵；
存储器，与所述第一控制器相连，用于存储所述去噪处理图像；
第二控制器，分别与所述第一控制器、所述存储器相连，用于接收所述第一控制器发送的所述第一读中断指令，并根据所述第一读中断指令向所述存储器内获取所述去噪处理图像，并根据所述去噪处理图像求解二维傅里叶变换，获得退化图像二维傅里叶变换值；向所述第一控制器获取所述常数矩阵，并根据所述常数矩阵和所述退化图像二维傅里叶变换值确定复原图像二维傅里叶变换值，对所述复原图像二维傅里叶变换值进行二维傅里叶逆变换获得低电压差分复原图像，并将所述低电压差分复原图像存储至所述存储器，同时向所述第一控制器发送第二读中断指令；以使所述第一控制器根据所述第二读中断指令向所述存储器读取所述低电压差分复原图像，并将所述低电压差分复原图像发送至所述数据通信接口，以使所述数据通信接口将所述低电压差分复原图像转换成TTL复原图像；
上位机，分别与所述CCD相机、所述第一控制器相连，用于产生复位指令或离焦指令；还用于根据复位完成命令利用所述带有单透镜镜头的CCD相机获取焦点位置的第一通道退化图像，根据离焦完成指令利用所述带有单透镜镜头的CCD相机获取离焦位置的第二通道退化图像；还用于根据所述第一通道退化图像和所述第二通道退化图像进行离线标定，确定的常数矩阵，并发送至所述第一控制器进行存储，所述常数矩阵包括点扩散函数共轭和点扩散函数模值的平方。
2.根据权利要求1所述的计算成像***，其特征在于，所述计算成像***还包括：
图像输入输出切换通道，分别与所述CCD相机、所述数据通信接口和显示器相连，用于将所述低电压差分图像发送至所述数据通信接口；还用于将所述TTL复原图像进行数模转换并叠加同步信号形成标准视频图像。
3.根据权利要求2所述的计算成像***，其特征在于，所述计算成像***还包括：
显示器，与所述图像输入输出切换通道相连，用于显示所述标准视频图像。
4.根据权利要求1所述的计算成像***，其特征在于，所述计算成像***还包括：
第三控制器，与所述上位机相连，用于接收所述上位机发送的复位指令或离焦指令；还用于当带动所述带有单透镜镜头的CCD相机回到焦点位置后，向所述上位机发送复位完成命令，或当带动所述带有单透镜镜头的CCD相机回到离焦位置后，向所述上位机发送离焦完成指令；
步进电机，与所述带有单透镜镜头的CCD相机相连，用于带动所述带有单透镜镜头的CCD相机回到焦点位置或离焦位置；
驱动器，分别与所述第三控制器、所述步进电机相连，用于根据所述第三控制器接收的所述复位指令或离焦指令驱动所述步进电机运动。
5.根据权利要求4所述的计算成像***，其特征在于，所述计算成像***还包括：
图像采集卡，分别与所述CCD相机、所述上位机相连，用于根据所述复位完成命令利用所述CCD相机获取所述第一通道退化图像，根据所述离焦完成指令利用所述CCD相机获取所述第二通道退化图像。
6.根据权利要求4所述的计算成像***，其特征在于，所述第一控制器为FPGA控制器，所述第二控制器为DSP控制器，所述第三控制器为单片机控制器。
7.一种计算成像方法，应用于权利要求1-6任一项所述的计算成像***中，其特征在于，所述计算成像方法包括：
获取退化图像；
根据所述退化图像确定低电压差分图像；
将所述低电压差分图像转换成TTL图像；
对所述TTL图像进行滤波去噪预处理，获得去噪处理图像；
根据所述去噪处理图像求解二维傅里叶变换，获得退化图像二维傅里叶变换值；
根据常数矩阵和退化图像二维傅里叶变换值确定复原图像二维傅里叶变换值；
对所述复原图像二维傅里叶变换值进行二维傅里叶逆变换获得低电压差分复原图像。
8.根据权利要求7所述的计算成像方法，其特征在于，在所述根据常数矩阵和退化图像二维傅里叶变换值确定复原图像的二维傅里叶变换步骤之前，还包括：
获取第一通道退化图像和第二通道退化图像；
根据所述第一通道退化图像和所述第二通道退化图像确定常数矩阵；所述常数矩阵包括点扩散函数共轭和点扩散函数模值的平方。
9.根据权利要求7所述的计算成像方法，其特征在于，在所述对所述复原图像二维傅里叶变换值进行二维傅里叶逆变换获得低电压差分复原图像步骤之后，还包括：
将所述低电压差分复原图像转换成TTL复原图像；
将所述TTL复原图像进行数模转换并叠加同步信号形成标准视频图像。
10.根据权利要求7所述的计算成像方法，其特征在于，所述根据常数矩阵和退化图像二维傅里叶变换值确定复原图像二维傅里叶变换值，具体公式为：
Figure FDA0002586785020000031
其中，F(fx,fy)为复原图像的二维傅里叶变换值、γ为非零且小于1的系数、T为帧数、C为通道数、Dtc为退化图像二维傅里叶变换值、(fx,fy)为频域坐标，
Figure FDA0002586785020000032
为点扩散函数共轭，|Stc|2为点扩散函数模值的平方。
CN201811167880.6A 2018-10-08 2018-10-08 一种计算成像***及方法 Expired - Fee Related CN109379532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811167880.6A CN109379532B (zh) 2018-10-08 2018-10-08 一种计算成像***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811167880.6A CN109379532B (zh) 2018-10-08 2018-10-08 一种计算成像***及方法

Publications (2)

Publication Number Publication Date
CN109379532A CN109379532A (zh) 2019-02-22
CN109379532B true CN109379532B (zh) 2020-10-16

Family

ID=65403781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811167880.6A Expired - Fee Related CN109379532B (zh) 2018-10-08 2018-10-08 一种计算成像***及方法

Country Status (1)

Country Link
CN (1) CN109379532B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819022B (zh) * 2019-11-18 2023-11-07 同方威视技术股份有限公司 基于神经网络的图像识别装置和图像识别方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635050A (zh) * 2009-06-26 2010-01-27 武汉大学 一种图像复原方法
CN103076006A (zh) * 2012-12-28 2013-05-01 中国科学院上海光学精密机械研究所 强度关联复值目标成像装置
CN103793883A (zh) * 2013-12-11 2014-05-14 北京工业大学 一种基于主成分分析的成像光谱图像超分辨率复原方法
CN103971341A (zh) * 2014-05-16 2014-08-06 北京理工大学 基于频域参数估计的离焦虹膜图像复原方法
CN104154878A (zh) * 2014-07-29 2014-11-19 暨南大学 一种使用单像素探测器的光学成像方法
CN105627952A (zh) * 2015-12-25 2016-06-01 暨南大学 一种使用单像素探测器的物体三维形貌测量方法和装置
CN105739091A (zh) * 2016-03-16 2016-07-06 中国人民解放军国防科学技术大学 一种可减弱大气湍流影响的成像方法及装置
CN107093194A (zh) * 2017-03-22 2017-08-25 清华大学 一种子孔径图像采集方法及***
CN107833194A (zh) * 2017-11-21 2018-03-23 长沙全度影像科技有限公司 一种结合raw图像去噪的简单透镜图像复原方法
CN108181624A (zh) * 2017-12-12 2018-06-19 西安交通大学 一种差分计算成像装置及方法
US10064552B1 (en) * 2009-06-04 2018-09-04 Masoud Vaziri Method and apparatus for a compact and high resolution mind-view communicator
CN108594418A (zh) * 2018-03-29 2018-09-28 暨南大学 一种基于阵列单像素探测器的光场显微成像***及其方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007304525A (ja) * 2006-05-15 2007-11-22 Ricoh Co Ltd 画像入力装置および電子機器および画像入力方法
CN102721477B (zh) * 2012-06-04 2013-10-16 中国科学院光电技术研究所 一种用于相位差波前传感器的离焦量测量方法
JP2015216619A (ja) * 2014-04-25 2015-12-03 パナソニックＩｐマネジメント株式会社 撮像システム、撮像装置、撮像方法および符号化方法
US9911180B2 (en) * 2016-04-04 2018-03-06 Raytheon Company Computational imaging with uncalibrated pupil phase
CN106791803B (zh) * 2016-11-22 2018-09-18 北京空间机电研究所 一种扰动测量成像***

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10064552B1 (en) * 2009-06-04 2018-09-04 Masoud Vaziri Method and apparatus for a compact and high resolution mind-view communicator
CN101635050A (zh) * 2009-06-26 2010-01-27 武汉大学 一种图像复原方法
CN103076006A (zh) * 2012-12-28 2013-05-01 中国科学院上海光学精密机械研究所 强度关联复值目标成像装置
CN103793883A (zh) * 2013-12-11 2014-05-14 北京工业大学 一种基于主成分分析的成像光谱图像超分辨率复原方法
CN103971341A (zh) * 2014-05-16 2014-08-06 北京理工大学 基于频域参数估计的离焦虹膜图像复原方法
CN104154878A (zh) * 2014-07-29 2014-11-19 暨南大学 一种使用单像素探测器的光学成像方法
CN105627952A (zh) * 2015-12-25 2016-06-01 暨南大学 一种使用单像素探测器的物体三维形貌测量方法和装置
CN105739091A (zh) * 2016-03-16 2016-07-06 中国人民解放军国防科学技术大学 一种可减弱大气湍流影响的成像方法及装置
CN107093194A (zh) * 2017-03-22 2017-08-25 清华大学 一种子孔径图像采集方法及***
CN107833194A (zh) * 2017-11-21 2018-03-23 长沙全度影像科技有限公司 一种结合raw图像去噪的简单透镜图像复原方法
CN108181624A (zh) * 2017-12-12 2018-06-19 西安交通大学 一种差分计算成像装置及方法
CN108594418A (zh) * 2018-03-29 2018-09-28 暨南大学 一种基于阵列单像素探测器的光场显微成像***及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
High-Quality Computational Imaging Through Simple Lenses;Heide F , Rouf M , Hullin M B , et al;《ACM Transactions on Graphics》;20131231;第32卷(第5期);全文 *
基于微透镜阵列的计算成像研究;余金清;《中国优秀硕士学位论文全文数据库工程科技II辑》;20141031;全文 *

Also Published As

Publication number Publication date
CN109379532A (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
JP7003238B2 (ja) 画像処理方法、装置、及び、デバイス
RU2716843C1 (ru) Цифровая коррекция аберраций оптической системы
US10547786B2 (en) Image processing for turbulence compensation
Cossairt et al. When does computational imaging improve performance?
US10032254B2 (en) Method and device for recovering a digital image from a sequence of observed digital images
EP2489007B1 (en) Image deblurring using a spatial image prior
US8432479B2 (en) Range measurement using a zoom camera
US10154216B2 (en) Image capturing apparatus, image capturing method, and storage medium using compressive sensing
CN106803892B (zh) 一种基于光场测量的光场高清晰成像方法
US11967096B2 (en) Methods and apparatuses of depth estimation from focus information
CN113628134B (zh) 图像降噪方法及装置、电子设备及存储介质
US20150161771A1 (en) Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium
CN109379532B (zh) 一种计算成像***及方法
JP7191588B2 (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
Tezaur et al. A system for estimating optics blur psfs from test chart images
KR20070092357A (ko) Ｐｓｆ 선택 모듈, 디지털 자동 초점 조절 장치 및 ｐｓｆ선택 방법
CN108648143B (zh) 一种利用序列图像的图像分辨率增强方法
JP6611509B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
Zhou et al. DR-UNet: dynamic residual U-Net for blind correction of optical degradation
KR20150032764A (ko) 인위적으로 디포커스된 블러 이미지를 생성하는 방법 및 이미지 캡쳐링 디바이스
Bezzubik et al. Multi-aperture digital telescopic system with super-resolution
Yoo et al. Bayesian approach for automatic joint parameter estimation in 3D image reconstruction from multi-focus microscope
JP2015119428A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
KR102552683B1 (ko) 적외선 영상에 관한 블러 커널 생성 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201016