CN104410789A - 凝视型超分辨率成像装置及方法 - Google Patents

Abstract

本发明提供了一种凝视型超分辨率成像装置及方法，用于解决现有成像装置分辨率低的问题。该装置包括成像装置镜头组(1)、探测器(2)、探测器驱动平台(3)、驱动器(4)、存储单元(5)、图像处理电路(6)和图像显示电路(7)；探测器(2)设置于成像装置镜头组(1)光路上的焦平面内；驱动器(4)的驱动部分带动探测器驱动平台(3)产生大小和方向均为随机值的移动。实现成像方法的步骤：设置变动次数指令；驱动器(4)驱动探测器(4)作相应次数的随机抖动；光信号经成像装置镜头组(1)在探测器(4)上成像，获得与变动次数相应帧数的低分辨率图像；利用变分贝叶斯算法对低分辨率图像重建。适用于视频重建和卫星拍摄。

Description

凝视型超分辨率成像装置及方法

技术领域

本发明属于超分辨率成像技术领域，具体涉及一种多帧图像获取和重建的凝视型超分辨率成像装置及成像方法，可用于视频重建和卫星拍摄。

背景技术

提高光学成像***的分辨率是开展图像科学研究及其工程应用的不懈追求，除了可以通过提高成像***相关部件，如光学***焦距、孔径和探测器等的性能以提高分辨率外，还可以选择在成像***中加入合适的光学器件以提高分辨率，但是调整成像***结构在一定程度上会导致***的复杂化和任务的大幅增加，因而如何基于现有成像设备恢复或重构出超分辨率图像成为当今众多图像应用领域的迫切需求。在科研中，人们将目光逐渐投入到应用现代光学和数字图像处理技术来提高成像***的分辨率上来。

提高成像装置分辨率可以通过单帧图像或多帧图像的重构实现，由于单帧图像包含的信息量有限，重建过程中缺乏新的信息，因而分辨率提高的效果不是很理想。基于多帧图像的超分辨率重建算法，即利用同一场景的多帧低分辨率图像来获取该场景的一帧超分辨率图像，因为多帧图像包含的信息量要大于单帧图像，图像序列间彼此包含有类似但又不完全相同的互补信息及一定的先验信息，因而为恢复出真实有效的超分辨率图像提供了可能。

目前在多帧图像的获取方式上，可以采用三种方式实现：第一种是通过镜头的移动获取多帧低分辨率图像。深圳雅图数字视频技术有限公司在专利申请号为201010505956.9的申请文件中，公开了一种通过透镜平移法获取多帧低分辨率图像的***，该***控制简单，位移精确可调，但驱动电路较复杂，光学设计受到微位移机构限制，通用性较差；第二种是给光路中加入平行平板，通过摆动或旋转平板位置实现多帧图像的获取，北京航空航天大学在申请号201210451785.5的专利申请中，公开了一种在光路中加入平行平板以获取多帧图像的方法，该方法可实现动态场景超分辨率实时成像的效果，这是比较实用的方式。但是其对平行平板的加工精度要求很高，同时光路的改变会导致***的复杂化和任务量的大幅度加大，因而在实际应用中成本过高，难度过大，且预先设置了采集到同一场景的帧数，限制了分辨率的提高；第三种是通过移动探测器的方式获得多帧图像，清华大学在申请号为200810056002.7的专利申请中，公开了一种通过采用移动探测器的方法来获得多帧图像的装置，通过控制转像机构或使光电探测器阵列微旋转得到一系列有相对微旋转的低分辨率图像。该装置与第一种方式相比，实用性高；与第二种方式相比，因为其没有引入新的光学元件不会导致***的复杂化，制造成本较低。但是第三种方式中精确控制位移量，对硬件要求高，而且事先设定微旋转角度限定了获取的多帧图像的范围以及采集到同一场景的图像的帧数，会造成重建效果不理想。

发明内容

本发明的目的在于克服现有技术存在的通用性差、工艺复杂、重建效果差的缺陷，提供了一种凝视型超分辨率成像装置及方法，通过随机移动探测器以获得多帧图像，用于解决现有成像装置分辨率低的问题。

为了实现上述目的，本发明的技术方案包括：

成像装置镜头组1，用于采集光信号，得到采集到的光信号；

探测器2，用于接收采集到的光信号，在其上成像，并将所成图像依次输出给存储单元5、图像处理电路6和图像显示电路7；

探测器驱动平台3，用于装载探测器2并带动其移动；

驱动器4，用于带动探测器驱动平台3移动，并在探测器2上成多帧图像；

存储单元5，用于实时存储探测器2移动获得的多帧图像；

图像处理电路6，用于重构存储单元5中的多帧图像，得到超分辨率图像；

图像显示电路7，用于输出重构的超分辨率图像；

所述探测器2设置于成像装置镜头组1的焦平面上，且固定在探测器驱动平台3面向成像装置镜头组1的一侧；所述驱动器4与探测器驱动平台3之间采用刚性连接，以使两者在工作时的移动保持一致，且移动的大小和方向是随机值。

所述探测器2采用电荷耦合器件CCD或互补金属氧化物半导体CMOS或电荷注入器件CID。

所述探测器驱动平台3的移动，是在与采集光线垂直的平面内所进行水平方向和竖直方向的随机抖动，且其在水平方向上抖动范围小于探测器宽度尺寸的0.23％，在竖直方向上的抖动范围小于探测器长度尺寸的0.23％。

所述探测器驱动平台3的随机抖动次数与所述探测器2得到的图像帧数相同。

所述驱动器4采用压电陶瓷驱动器。

实现凝视型超分辨率成像的成像方法，包括如下步骤：

步骤1：根据所要求的成像效果，设置驱动器驱动部分的变动次数指令；

步骤2：利用成像镜头组1采集光信号，得到采集到的光信号；

步骤3：根据设置的变动次数指令，驱动器4驱动探测器2分别在水平和竖直方向上作相应次数的随机抖动，抖动范围小于探测器2长和宽的0.23％，采集到的光信号在探测器2上成像，获得帧数与变动次数相应的多帧低分辨率图像；

步骤4：利用存储单元5实时存储上述获得的多帧低分辨率图像；

步骤5：利用图像处理电路6中的变分贝叶斯算法，重建存储单元5中的多帧低分辨率图像，得到相应的超分辨率图像；

步骤6：利用图像显示电路7输出上述经过计算和重建得到的超分辨率图像。

上述步骤五采用的变分贝叶斯算法包括如下步骤：

步骤5.1建立重建约束模型来求取后验概率函数P(x/y_k)：

重建约束模型y_k＝DH_kC(s_k)x+n_k＝B_k(s_k)x+n_k，其中x表示场景的高分辨率图像，其像素数为PN；y_k表示获得的低分辨率图像，其像素数为N；P表示算法对图像空间分辨率的提高；k表示获得的不大于低分辨率图像总帧数的图像帧数；D是N×PN的降采样矩阵，H_k为PN×PN的运动矩阵，C(s_k)是运动向量s_k产生的PN×PN的运动矩阵，n_k是N×1的噪声，成像***的降采样、模糊和变形效应可以组合成一个N×PN的***矩阵B_k(s_k)；每帧低分辨率图像的n_k、H_k和s_k可以不相同，根据重建约束模型可求出P(x/y_k)，进而求得其负对数-lnP(y_k/x)；

步骤5.2建立先验约束模型来求取先验概率密度函数P(x)：

建立由拉普拉斯金字塔和高斯金字塔的二阶偏导数构成的包含图像空间尺度信息和方向性信息的特征空间，以拉普拉斯金字塔预测为初始估计值，通过加速块匹配方法获得包含图像高频信息的估计梯度先验知识，即求出P(x)，进而求得其负对数-lnP(x)；

步骤5.3根据贝叶斯最大后验概率估计理论，为了求得最优高分辨率图像估计值x，需要先求得使后验概率P(x/y_k)取最大值的x的数值；因为y_k为获得的已知低分辨率图像，所以P(y_k)为常数，因而高分辨率图像最大后验概率为： $\stackrel{\‾}{x}=\arg \underset{x}{\max }\ln P(x/y_k)=\arg \underset{x}{\min }(-\ln P(y_k/x)-\ln P\left(x\right)),$ 式中表示最优估计的超分辨率图像；利用上述两个步骤所得出的计算结果，在最大后验概率框架中使用最速下降法求得最优估计超分辨图像，即超分辨率图像的最终结果。

本发明与现有技术相比，具有如下优点：

1、本发明采用多帧图像重建的方法得到输出图像，相对普通相机直接成像的方法而言，在使用相同探测器的情况下，可以获得更高分辨率的图像。

2、本发明的成像装置是通过移动探测器的方式以获得多帧图像的，相对于现有技术中通过移动镜头或者在光路中加入光学元件的方式而言，工艺简单、造价低且能达到凝视效果，提高了装置的通用性。

3、本发明中探测器抖动位移的大小和方向是随机的，相对现有技术中探测器固定移动而言，可在运动参数未知的情况下，获得超分辨率图像，适用于自身产生随机位移的拍摄装置，如卫星。

4、本发明中探测器随机抖动的次数可以通过变动次数指令设定，相对现有技术中探测器的移动次数是一个固定值而言，变动次数越多，得到的低分辨率图像也相应增多，通过后期的重建，最后输出的图像的分辨率就更高。

5、本发明成像方法中，在低分辨率图像重建时应用了变分贝叶斯算法，该算法引入了分布估计，增强了算法对噪声的稳定性，有效地提高了图像分辨率。

附图说明

图1是本发明的结构示意图。

图2是本发明中一种简单的探测器位移方式示意图。

图3是本发明中探测器随机移动四次，位移为半个像素时，可以选择的一种获取图像的示意图。

图4是本发明中的低分辨率图像为四帧的一种超分辨率重构示意图。

具体实施方式

为了使本发明的目的、所解决的技术问题和技术方案更加清晰明了，以下结合附图对本发明作进一步详细描述。

参照图1，本发明包括成像装置镜头组1、探测器2、探测器驱动平台3、驱动器4、存储单元5、图像处理电路6和图像显示电路7；为了保证探测器2能够成功地接收图像并与探测器驱动平台3同步运动，探测器2位于成像装置镜头组1的光路上的且在其焦平面内，该探测器2采用电荷耦合器件CCD或互补金属氧化物半导体CMOS或电荷注入器件CID，固定于探测器驱动平台3之前；驱动器4可采用压电陶瓷驱动器，设置于探测器驱动平台3的一侧，外壳与机体固定连接，保证其在驱动过程中本身不产生相对移动；该驱动器4与探测器平台3刚性连接，如杆连接、焊接或螺栓连接，用以保证探测器平台3和探测器2的同步运动；探测器2与存储单元5、图像处理电路6和图像显示电路7依次形成电路连接，用于传递和处理图像。

本发明的成像原理是：根据所要求的成像效果，设置驱动器驱动部分的变动次数指令；利用成像镜头组1对准场景目标进行光信号的采集，得到采集到的光信号；成像装置开始工作时，根据设定的变动次数指令，驱动器4的驱动部分促使探测器驱动平台3运动，从而控制探测器2在镜头组的焦平面内的随机抖动，探测器2在水平和垂直方向上的位移分别小于探测器长和宽的0.23％，该位移的大小为随机值；探测器2获得帧数与设定的变动次数相应的低分辨率图像，帧数用L表示，获取到的每帧低分辨率图像实时存储到相机的存储单元5当中，直至存储单元5中存储的图像帧数达到与设定的变动次数指令相应的L帧；针对一个场景拍摄完L帧图像之后将图像数字信息传输到图像处理电路6上对其进行重构，获得超分辨率图像，最后由图像显示电路7对重建的超分辨率图像进行输出显示。

上述图像处理电路6中对L帧图像重建的原理如下：

在图像处理电路6中采用的算法为变分贝叶斯算法，变分贝叶斯重建算法的核心，是利用未知概率密度的形式和未知参数的取值范围等先验知识来自训练样本本身的信息，计算后验概率P(y_k/x)。

重建约束模型：

y_k＝DH_kC(s_k)x+n_k＝B_k(s_k)x+n_k   (1)

其中D是N×PN的降采样矩阵，H_k为PN×PN的运动矩阵，C(s_k)是运动向量s_k产生的PN×PN的运动矩阵，n_k是N×1的噪声，成像***的降采样、模糊和变形效应可以组合成一个N×PN的***矩阵B_k(s_k)。每帧低分辨率图像的n_k、H_k和s_k可以不相同。其中x表示场景的高分辨率图像，其像素数为PN；y_k表示获得的低分辨率图像，其像素数为N；P表示算法对图像空间分辨率的提高；

在已知y_k的条件下，x的后验概率可以写成：

$P(x/y_k)=\frac{P(y_k/x)P\left(x\right)}{P\left(y_x\right)}---\left(2\right)$

其中，P(y_k/x)是x已知的情况下，观测y_k的条件概率密度函数；P(x)和P(y_k)分别表示x和y_k的先验概率。根据贝叶斯最大后验概率估计理论，为了求得最优的估计超分辨率图像，必须找到使后验概率P(x/y_k)取最大值的x。因为y_k已知，所以P(y_k)是常数，又对数函数是单调递增函数，所以最大后验概率估计可以用公式表示如下：

$\stackrel{\‾}{x}=\arg \underset{x}{\max }\ln P(x/y_k)=\arg \underset{x}{\min }(-\ln P(y_k/x)-\ln P\left(x\right))---\left(3\right)$

表示最优估计的超分辨率图像。

由公式(3)可知，上述图像处理电路6中对L帧图像重建的步骤如下：

步骤1：建立重建约束模型来求取-lnP(y_k/x)，重建约束模型如式(1)所示；

步骤2：建立先验约束模型来求取-lnP(x)。建立由拉普拉斯金字塔和高斯金字塔的二阶偏导数构成的包含图像空间尺度信息和方向性信息的特征空间，以拉普拉斯金字塔预测为初始估计值，通过加速块匹配方法获得包含着图像高频信息的估计梯度先验知识，即求出-lnP(x)；

步骤3：将上述步骤1和步骤2所求结果集成到最大后验概率框架中，并使用最速下降法求得最优估计超分辨图像x，即超分辨率图像的最终结果。

变分贝叶斯算法把未知的超分辨率图像和运动参数放在同一框架下进行联合估计，通过未知的超分辨率图像和运动参数概率分布的方差，给估计过程引入了一定的不确定性，增强了算法对噪声的稳定性；而且，算法中采用贝叶斯估计方法对未知参数进行分布估计而不是传统算法的点估计，有效抑制了算法中估计误差的扩大，使图像的分辨率得到提高。

参照图2，是本发明中一种简单的探测器位移方式示意图，驱动器4的驱动部分促使探测器驱动平台3运动，使得处于相机成像镜头组焦平面处的探测器2在焦平面内做随机抖动，假设第一次抖动时探测器2中心点位置坐标为(0，0)，获得第一帧图像y₁，接下来的运动方式可以分为以下几个步骤：

1)以第一帧图像为参考，水平移动探测器2距离c₂，垂直移动探测器2距离d₂，获得第二帧低分辨率图像y₂，其中心位置处坐标为(c₂，d₂)，将该图像传输到存储单元5中进行暂时保存。

2)以第一帧图像为参考，水平移动探测器2距离c₃，垂直移动探测器2距离d₃，获得第三帧低分辨率图像y₃，其中心位置处坐标为(c₃，d₃)，将该图像传输到存储单元5中进行暂时保存。

3)以此类推，探测器2从第四次到第L次的抖动，可获得L‐3帧图像，结合上述获得的三帧图像，累计获取L帧图像，依次实时存储到存储单元5中。

4)将上述步骤中获得并存储在存储单元5里的L帧图像，一起传输到图像处理电路6中。

为了使以L帧低分辨率图像为数据源的重建算法达到超分辨率的重建效果，需要保证选择的每帧图像之间水平和垂直方向上的位移为亚像素量级，即移动的距离c_k和d_k不是整像素的大小。通过控制探测器2的随机抖动可以使L帧低分辨率图像分别包含原场景不同部分的信息，但是各低分辨率图像彼此之间存在信息冗余，因此在重叠区域可以通过图像处理电路6进行重建，得到超分辨率图像，最后通过图像显示电路7输出。

参照图3,是本发明中探测器随机移动四次，位移为半个像素时，可能的一种获取图像的示意图，图3(a)表示探测器第一次抖动的位置，图3(b)表示探测器相对第一次抖动的位置向左平移了半个像素，图3(c)表示探测器在图3(b)的基础上向上平移了半个像素，图3(d)表示探测器在图3(c)的基础上向右平移了半个像素。对得到的四帧低分辨率图像进行超分辨率重建过程参照图4，是本发明中的低分辨率图像为四帧的一种超分辨率重构示意图，重建过程中对图4(a)每个低分辨率图像的像素进行重新配准排列，得到图4(b)显示的一帧分辨率显著提高的超分辨率图像。

Claims (8)

1.一种凝视型超分辨率成像装置，包括：

成像装置镜头组(1)，用于采集光信号，得到采集到的光信号；

探测器(2)，用于接收采集到的光信号，在其上成像，并将所成图像依次输出给存储单元(5)、图像处理电路(6)和图像显示电路(7)；

探测器驱动平台(3)，用于装载探测器(2)并带动其移动；

驱动器(4)，用于带动探测器驱动平台(3)移动，并在探测器(2)上成多帧图像；

存储单元(5)，用于实时存储探测器(2)移动获得的多帧图像；

图像处理电路(6)，用于重构存储单元(5)中的多帧图像，得到超分辨率图像；

图像显示电路(7)，用于输出重构的超分辨率图像；

其特征在于：所述探测器(2)设置于成像装置镜头组(1)的焦平面上，且固定在探测器驱动平台(3)面向成像装置镜头组(1)的一侧；所述驱动器(4)与探测器驱动平台(3)之间采用刚性连接，以使两者在工作时的移动保持一致，且移动的大小和方向是随机值。

2.根据权利要求1所述的凝视型超分辨率成像装置，其特征在于：所述探测器(2)采用电荷耦合器件CCD或互补金属氧化物半导体CMOS或电荷注入器件CID。

3.根据权利要求1所述的凝视型超分辨率成像装置，其特征在于：所述探测器驱动平台(3)的移动，是在与采集光线垂直的平面内所进行水平方向和竖直方向的随机抖动，且其在水平方向上抖动范围小于探测器宽度尺寸的0.23％，在竖直方向上的抖动范围小于探测器长度尺寸的0.23％。

4.根据权利要求3所述的凝视型超分辨率成像装置，其特征在于：所述探测器驱动平台(3)的随机抖动次数与所述探测器(2)得到的图像帧数相同。

5.根据权利要求1所述的凝视型超分辨率成像装置，其特征在于：所述驱动器(4)采用压电陶瓷驱动器。

6.利用权利要求1的装置进行凝视型超分辨率成像的方法，其特征在于：包括如下步骤：

1)根据所要求的成像效果，设置驱动器的变动次数指令；

2)利用成像镜头组采集光信号，得到采集到的光信号；

3)根据设置的变动次数指令，通过驱动器(4)带动探测器(2)分别在水平方向和竖直方向作相应次数的随机抖动，使采集到的光信号在探测器(2)上成像，获得帧数与变动次数相同的多帧低分辨率图像；

4)利用存储单元(5)实时存储上述获得的多帧低分辨率图像；

5)利用变分贝叶斯算法，重建存储单元(5)中的多帧低分辨率图像，得到相应的超分辨率图像；

6)通过图像显示电路(7)输出上述经过计算和重建得到的超分辨率图像。

7.根据权利要求6所述的凝视型超分辨率成像的方法，其特征在于：所述步骤3)中的随机抖动，其在水平方向上抖动范围小于探测器宽度尺寸的0.23％，在竖直方向上的抖动范围小于探测器长度尺寸的0.23％。

8.根据权利要求6所述的凝视型超分辨率成像的方法，其特征在于：步骤5)所述的利用图像处理电路(6)中的变分贝叶斯算法，重建存储单元(5)中的多帧低分辨率图像，按如下步骤进行：

5.1)建立重建约束模型来求取后验概率函数P(x/y_k)：

重建约束模型y_k＝DH_kC(s_k)x+n_k＝B_k(s_k)x+n_k，其中x表示场景的高分辨率图像，其像素数为PN；y_k表示获得的低分辨率图像，其像素数为N；P表示算法对图像空间分辨率的提高；k表示获得的不大于低分辨率图像总帧数的图像帧数；D是N×PN的降采样矩阵，H_k为PN×PN的运动矩阵，C(s_k)是运动向量s_k产生的PN×PN的运动矩阵，n_k是N×1的噪声，成像***的降采样、模糊和变形效应可以组合成一个N×PN的***矩阵B_k(s_k)；每帧低分辨率图像的n_k、H_k和s_k可以不相同，根据重建约束模型可求出P(x/y_k)，进而求得其负对数-lnP(y_k/x)；

5.2)建立先验约束模型来求取先验概率密度函数P(x)：

建立由拉普拉斯金字塔和高斯金字塔的二阶偏导数构成的包含图像空间尺度信息和方向性信息的特征空间，以拉普拉斯金字塔预测为初始估计值，通过加速块匹配方法获得包含图像高频信息的估计梯度先验知识，即求出P(x)，进而求得其负对数-lnP(x)；

5.3)根据贝叶斯最大后验概率估计理论，为了求得最优高分辨率图像估计值需要先求得使后验概率P(x/y_k)取最大值的x的数值；因为y_k为获得的已知低分辨率图像，所以P(y_k)为常数，因而高分辨率图像最大后验概率为： $\stackrel{\‾}{x}=\arg \underset{x}{\max }\ln P(x/y_k)=\arg \underset{x}{\min }(-\ln P(y_k/x)-\ln P\left(x\right)),$ 式中表示最优估计的超分辨率图像；利用上述两个步骤所得出的计算结果，在最大后验概率框架中使用最速下降法求得最优估计超分辨图像即超分辨率图像的最终结果。