CN100481937C - 一种高动态、超分辨率图像重建装置 - Google Patents

Abstract

本发明为一种高动态、超分辨率图像重建装置，属于图像获取技术领域。该方法利用多个低分辨率、低动态范围的普通图像成像器件，将亚象素动态成像技术和多图像重建高动态图像方法结合起来，采用特定的图像传感器位置分布，实现图像超分辨率的重建，并利用图像灰度插值的灰度重建方法，得到高动态、超分辨率的高质量图像。该方法突破过去将高动态、超分辨率图像重建分开研究与实现的现状，成功的将高动态成像和亚象素超分辨率成像相结合，获取的图像具有高动态、高分辨率的特点。可以应用在现有摄像机的各种应用领域中，并可得到更好的图像质量。

Description

一种高动态、超分辨率图像重建装置

技术领域

本发明为一种高动态、超分辨率图像重建装置，属于图像获取技术领域。

背景技术

我们或者计算机能从一幅图像中获取什么信息，受到获取图像的限制。目前的图像获取***受到空间分辨率、视场角和动态范围的限制。在图像获取技术领域中，提出了各种突破这些限制的方法。如针对视场角的问题，提出了全向成像技术，全向摄像机在机器人、监控等领域得到应用。为了突破空间分辨率的限制，人们研究了超分辨率图像重建方法，试图从一系列质量较差、分辨率较低的图像来重建图象质量更好、空间分辨率更高的图像。超分辨率图像重建方法能改善成像***引起的空间分辨率下降，弥补原有影像空间分辨率的不足，突破现有影像获取手段的空间分辨率极限，发掘现有影像数据(如多角度、多时相、多平台遥感影像，序列影像等)的潜力。

从目前的研究和应用来看，超分辨率图像重建算法主要可以分为两类，即频域方法和空间域方法。频域方法是在频域内解决图像内插问题，其观察模型是基于傅立叶变换的移位特性。空间域方法能将复杂的运动模型与相应的插值、迭代及滤波重采样放在一起处理，作为影像重建的全部内容。超分辨率重建一般根据单个摄像机获取的图像序列，或者采用多个图像传感器得到的图像来重建，如基于半像素动态成像的超分辨率重建。超分辨率重建技术目前已经在识别与定位、卫星遥感成像、视频增强与复原、医学计算机层析成像等领域得到了广泛的应用。

对于CCD/CMOS这类成像器件来说，成像的动态范围由势阱中可存贮的最大电荷量(饱和信号)和由噪声决定的最小电荷量之比决定。势阱能存储的最大电荷量取决于像素的尺寸，像素尺寸越小，饱和电流随之降低，读出放大器的噪声越大；同时，传感器的动态范围减小，灵敏度降低。反之，如果要提高动态范围，则希望增大像元的尺寸。因此从感光器件的设计来看，提高分辨率与提高动态范围之间存在一定的矛盾。更为重要的是，对于要拍摄的自然场景，其动态范围往往大于这类图像传感器的限制，从而造成成像后信息的损失。

为了解决CCD摄像机成像动态范围小的问题，Mann等人率先提出扩展数字相机的动态范围的方法。该方法利用多幅不同曝光量的低动态图像序列，通过合成得到一幅高动态范围的图像，这种方法被称为多次曝光法。随后，许多研究者基于该思想，提出各种不同的高动态范围的图像获取方法，如多靶面曝光合成，单象素集成多个感光单元，自适应象素曝光，空间变化像素曝光，光学衰减器法，数字微反射镜阵列技术，基于CMOS的对数变换法，以及局部自适应方法。

从目前的研究现状来看，超分辨率重建和高动态成像技术互相独立，还没有将二者结合的先例。从信息获取的角度来看，超分辨率成像和高动态成像都利用了多幅图像，由于没有很好的结合，所以没有充分利用能够得到的信息。另外，普通相机受成像动态范围的限制，无法获取高动态图像，而能够得到高动态图像的器件一般采用复杂的加工工艺，成本很高。

本发明的第一个目的是提供一种高动态、超分辨率图像重建装置，该装置采用普通的低分辨率、低动态范围的成像器件，通过特殊的安装位置和处理算法，能够获取超过普通相机的动态范围，而且分辨率也得到很大提高的图像。

本发明的第二个目的是提供一种高动态、超分辨率图像重建装置，该装置将高动态图像重建和超分辨率成像方法结合起来，突破了过去将二者孤立研究与应用的现状。可以解决摄像机成像时，动态范围与分辨率之间的矛盾。

本发明的第三个目的是提供一种高动态、超分辨率图像重建装置，该装置不仅能够获取静态场景的图像，也能够用于动态场景的视频成像中，解决在高动态范围成像时，多幅图像的获取要求场景的光照不变的限制。

发明内容

本发明所述的一种高动态、超分辨率图像重建装置，是由图像传感模块(a)、图像合成与输出模块(b)、计算机处理与显示(c)三部分组成。其中，图像传感模块包括成像镜头(3)、分光棱镜(4)、光通量控制(5)、图像敏感器件(6)、模数转换器(7)、同步信号产生及控制电路(2)；图像合成与输出模块包括信号处理及控制单元(1)、存储器(8)、存储器(9)、D/A转换电路(10)、数字图像输出接口(11)；计算机处理与显示部分包括计算机(12)、计算机连接线(13)。自然场景图像经过成像镜头(3)后，通过分光棱镜(4)将同一场景分成多路成像，经过光通量控制(5)后，在图像敏感器件(6)上成像，得到同一场景的多个成像。在光通量控制(5)或者同步信号产生及控制电路(2)的控制下，每个图像敏感器件(6)得到的图像，其曝光量是不同的。图像敏感器件(6)输出的图像信号经过模数转换器(7)将模拟图像信号转换为数字图像信号，在信号处理及控制单元(1)的控制下，存储到存储器(9)中，信号处理及控制单元对多幅输入图像进行合成处理，重建得到高动态、超分辨率的数字图像后，将结果存储于存储器(8)中，高动态、超分辨率的数字图像在信号处理及控制单元(1)的控制下，可通过D/A转换电路(10)输出模拟信号图像，或者经过数字图像输出接口(11)、计算机连接线(13)发送到计算机(12)中进行显示和进一步处理。

通过成像光学***(主要由3和4组成)将一幅场景分成多路，在光通量控制(5)或同步信号产生及控制电路(2)的控制下，得到多幅曝光量不同的图像。将同一场景分成多路成像的光学***，可以采用成像镜头和分光棱镜实现，也可以采用光纤等方式实现。曝光量可以通过光通量控制(5)来控制入射光强的大小，也可以通过控制电路来控制图像敏感器件(6)的曝光积分时间来实现。

成像敏感器件(6)可以采用CCD类器件，也可以采用CMOS类器件，采用的成像器件不同，同步信号产生及控制电路(2)略有不同，如果采用CMOS器件，则不需要A/D转换(7)。成像敏感器件(6)也可以采用线阵器件来实现，可以是单色、灰度和彩色模式的。

通过光学***分光成像时，得到不同曝光量的图像可以是2幅或者两幅以上；多幅图像是同步获取的，可以适用于静态和动态图像的获取。

将多幅曝光量不同的图像合成高动态、超分辨率图像的算法实现，可以是由信号处理及控制单元(1)用硬件实现，或软硬件结合实现，或者将得到的多幅图像通过数字图像输出接口传输到计算机，由计算机实现。

高动态、超分辨率数字图像可以经过信号处理及控制单元(1)及D/A转换电路(10)后，以模拟的方法输出，取得和传统相机类似的模拟输出；也可以直接通过数字图像输出接口(11)传输到计算机中。

多个图像敏感器件之间采用一定的相对位置关系安装，每幅图像的对应像素之间相差固定的值，通过一次成像就可进行超分辨率重建。

在超分辨率、高动态图像重建时，通过对多幅图像的位置进行校正、融合后，高动态范围的重建可以采用简单的求均值、加权插值、曲面拟合插值等，还可以通过先对图像敏感器件的响应曲线进行标定，然后基于响应曲线将多幅图像融合在一起，形成一幅虚拟的高动态图像。

多幅数字图像可以直接进行融合处理，然后直接输出，也可以将输入的多幅数字图像先存放到存储器(9)中，将融合处理后得到的结果存放到存储器(8)中，然后根据需要输出。

本发明具有如下优点：

(1)可以得到高动态、超分辨率的高质量图像，极大提高了摄像机的性能；

(2)在多幅图像获取时，采用一次成像，不需要移动摄像机，可实现静态场景或动态场景的成像；

(3)采用低动态、低分辨率成像器件，实现原理简单。

本发明具有很广泛的应用领域，如模式识别领域、智能交通***、基于图像的建模和渲染、视频监控、跟踪，机器人视觉导航、工业检测、遥感遥测、军事侦察、武器的导航制导等应用中。

附图说明

图1—整体结构示意图，

其中：(1)—信号处理与控制单元，(2)—同步信号产生及控制电路，(3)—成像镜头，(4)—分光棱镜，(5)—光通量控制，(6)—图像敏感器件，(7)—模数转换器，(8)—存储器，(9)—存储器，(10)—D/A转换电路，(11)—数字图像输出接口，(12)—计算机，(13)—计算机连接线

图2—四幅图像融合的像素分布示意图。

图3—两幅图像融合的像素分布示意图。

图4—三个CCD图像敏感器和分光棱镜构成的多图像获取。

图5—三个CMOS图像敏感器和分光棱镜构成的多图像获取。

图6—光学衰减器控制光通量示意图。

图7—多幅不同曝光图像合成后的图像。

图8—采用插值重建得到的高动态、超分辨率图像。

具体实施方式

下面结合附图和实施例对本发明作进一步说明

具体实施方式1

高动态、超分辨率图像重建装置由图像传感模块(a)、图像合成与输出模块(b)、计算机处理与显示(c)三大部分组成。图2所示的是四幅图像合成时，各个图像平面采用的一种相互位置关系，即半像素偏移。即图像敏感器件0(圆圈表示该传感器的像素位置)与图像敏感器件1(小三角表示该传感器的像素位置)之间，仅在水平轴上相差半个像素，在垂直方向上是平行的，其他两幅图像的像素位置如图所示。

图3是采用两幅图像合成时，两个传感器平面上像素的位置关系。图4、图5是采用三个图像敏感器时，分光***采用分光棱镜实现的示意图。

在每个图像敏感器前放置一个光通量控制部分，光通量控制可以有很多种实现方式，如光学衰减器，如图6所示，经过光学衰减器后的入射光强减弱，减弱的多少由控制器控制。这样，在成像时，各个图像的曝光量是不同的。

将多个图像平面的像素值，按照位置分布，合并在一起，就得到一个尺寸被放大的图像，按图2所示的关系，可以得到一个放大两倍的图像。

由于每幅图像的曝光量不同，合成后的图像如图7所示。从图中可见，对于图像中很亮的区域，如窗户部分，曝光量大的图像中，像素值已经饱和，但曝光量小的值却没有；反之，对于图像中暗的区域，曝光量小时，图像基本全部是噪声，但曝光量大的图像中，曝光却是正常的。也就是说，合成后的图像中，不管是亮的区域，还是暗区域，在各幅图像中，总能找到曝光正常的相邻点。

在高动态图像重建时，再设法恢复出上述合成后的图像中，那些饱和的、暗点像素的灰度值。最简单的方法就是直接在合并后的图像上进行邻域求平均、或者加权求和的方法。一个更好的做法是，先设定最大、最小阈值，大于最大值(视为饱和点)、小于最小值(视为噪声点)的点去掉，将多幅图像按曝光量归一化后，再通过曲面拟合插值方法得到这些被去掉的点的灰度值。

经过重建后的图像，就是一幅高动态、超分辨率的图像，如图8所示。此时，还可以进行一些图像后处理，以去除噪声。将结果存储到存储器中，或者通过输出接口发送给计算机。

具体实施方式2

高动态、超分辨率图像重建也可以采用如下过程得到：

(1)设定四个图像敏感器的曝光积分时间，各幅图像的曝光时间成一定比例，例如：e₁＝4e₂；以此类推；

(2)对四幅图像进行同步曝光，并进行位置校正预处理，使校正后的图像满足图2所示的位置关系；

(3)将四幅图像按图2合并，得到一幅尺寸增大的图像，该图像大小是原来的四倍；

(4)设定阈值，将合成后图像中的饱和点、噪声点等去掉，归一化后，采用灰度插值方法重构出这些点的灰度值；

(5)对图像进行后处理，得到高动态、超分辨率图像输出结果。

Claims (5)

1.一种高动态、超分辨率图像重建装置，其特征在于：它是由图像传感模块(a)、图像合成与输出模块(b)、计算机处理与显示(c)三部分组成，其中，图像传感模块包括成像镜头(3)、分光棱镜(4)、光通量控制(5)、图像敏感器件(6)、模数转换器(7)、同步信号产生及控制电路(2)；图像合成与输出模块包括信号处理及控制单元(1)、第一存储器(8)、第二存储器(9)、D/A转换电路(10)、数字图像输出接口(11)；计算机处理与显示部分包括计算机(12)、计算机连接线(13)；自然场景经过成像镜头(3)后，通过分光棱镜(4)将同一场景分成多路成像，经过光通量控制(5)后，在图像敏感器件(6)上成像，得到同一场景的多个成像；在光通量控制(5)或者同步信号产生及控制电路(2)的控制下，每个图像敏感器件(6)得到的图像，其曝光量是不同的；图像敏感器件(6)输出的图像信号经过模数转换器(7)将模拟图像信号转换为数字图像信号，在信号处理及控制单元(1)的控制下，存储到第二存储器(9)中，信号处理及控制单元对多幅输入图像进行合成处理，重建得到高动态、超分辨率的数字图像后，将结果存储于第一存储器(8)中，高动态、超分辨率的数字图像在信号处理及控制单元(1)控制下，通过D/A转换电路(10)输出模拟信号图像，或者经过数字图像输出接口(11)、计算机连接线(13)发送到计算机(12)中进行显示和处理。

2.根据权利要求1所述的一种高动态、超分辨率图像重建装置，其特征在于：通过由成像镜头(3)、分光棱镜(4)组成的成像光学***将一幅场景分成多路，在光通量控制(5)或同步信号产生及控制电路(2)的控制下，得到多幅曝光量不同的图像，经过图像合成处理后，得到高动态、超分辨率的图像。

3.根据权利要求1所述的一种高动态、超分辨率图像重建装置，其特征在于：通过由成像镜头(3)、分光棱镜(4)组成的成像光学***分光成像时，得到多幅不同曝光量的图像；多幅图像是同步获取的，包括静态和动态图像的获取。

4.根据权利要求1所述的一种高动态、超分辨率图像重建装置，其特征在于：将多幅曝光量不同的图像合成高动态、超分辨率图像的算法实现，是由信号处理及控制单元(1)用硬件实现、软硬件结合实现，或者将得到的多幅图像通过数字图像输出接口(11)传输到计算机，由计算机实现。

5.根据权利要求1所述的一种高动态、超分辨率图像重建装置，其特征在于：高动态、超分辨率数字图像经过信号处理及控制单元(1)及D/A转换电路(10)后，以模拟的方法输出，取得模拟输出；或者直接通过数字图像输出接口(11)传输到计算机中。

Images