CN106131517A - 一种彩色图像获取方法 - Google Patents

Abstract

本发明公开了一种彩色图像获取方法，首先在白光下重构分辨率较高的能体现更多细节的亮度图像Y，然后在红光、蓝光下分别重构分辨率较低的红R、蓝B单色图像。根据采集到的亮度图像Y以及红R、蓝B单色图像，利用线性关系计算出绿色G单色图像；根据已经得到的红、绿、蓝单色图像通过线性变换得到代表色度信息的U、V单色图像；然后通过上采样将U、V单色图像的分辨率扩展为与亮度图像Y相同的分辨率，最后将Y、U、V三分量融合，重构出彩色图像。本发明有效的减少了采样次数同时保证没有丢失重要信息；避免了CS算法所需的计算开销，减少了重构所需的时间。

Description

一种彩色图像获取方法

技术领域

本发明属于彩色自适应压缩计算鬼成像技术，特别是一种新型的彩色图像获取方法。

背景技术

在过去的研究中，计算鬼成像主要被用来进行灰度图像的重构，关于彩色图像的获取方法的研究很少。考虑到彩色成像，一个直接且显而易见的方法是对红(R)、绿(G)、蓝(B)三分量分别进行测量和重构，然后再将三分量融合。Welsh等人([1]S S.Welsh,MP.Edgar,R.Bowman,P.Jonathan,B.Sun,and M J.Padgett,“Fast full-colorcomputational imaging with single-pixel detectors,”Opt.Express 21(20),23068-23074(2013).)提出了一个彩色图像重构方法以及***，该方法使用数字光投影仪(digital light projector,DLP)在白光下向物体投影散斑，反射光强被分束器分成红、绿、蓝三个输出，然后由三个单像素探测器接收。使用压缩鬼成像对红、绿、蓝三分量进行重构，然后将三分量融合来获得彩色图像。在该***中，需要三个探测器在不同位置同时测量，虽然减少了采样所需的时间，但是增加了光路的复杂性以及成本。Nagesh([2]P.Nageshand B.Li,“Compressive imaging of color images,”in International Conference onAcoustics,Speech and Signal Processing(IEEE,2009),pp.1261-1264.)指出，彩色图像的红、绿、蓝分量之间有很强的相关性，必须对这种强相关性加以利用才能获得质量较高的彩色图像。Nagesh将单像素探测器和拜耳滤波器结合起来，提出了一个利用稀疏交叉模型的CS重构算法来重构红、绿、蓝分量。

正如上述两种算法所示，现有的算法均利用压缩感知来重构彩色图像，所需计算开销巨大，重构时间随着成像分辨率而成指数增长，成像速度缓慢。除此之外，现有的方法均是对红、绿、蓝三分量分别进行重构，所需采样次数较多，且成像质量差。

发明内容

本发明的目的在于提供一种快速、结构简单，在减少采样率的情况下能够保证重构出的彩色图像视觉效果更佳的彩色图像获取方法。

实现本发明目的的技术解决方案为：一种彩色图像获取方法，步骤如下：

第一步，选择投影光的颜色，由PC的labview生成Haar小波基的二进制图像，通过数据采集与控制模块的控制单元控制DMD上每个微镜的开关，LED发出的光通过透镜照射在DMD上，由DMD反射Haar小波基的二进制图像对目标彩色图像进行投影；

第二步，当单像素光子探测器对彩色目标图像的反射光强信号进行采样时，使DLP在彩色目标图像上投影的图像和PC端产生的投影图像一致，并且每幅投影图像只投影一次；

第三步，数据采集与控制模块的控制单元控制DLP在白光下对彩色目标图像的Y分量的重要系数所在的位置进行高分辨率投影和扫描；然后在蓝光、红光下依次对彩色目标图像的B、R分量的重要系数所在的位置分别进行低分辨率投影和扫描；单像素光子探测器采样得到的反射光强信号通过数据采集与控制模块中的模数处理单元模数转换变为数字信号传入PC，投影白色光时得到Y分量子系数中的重要小波系数，投影蓝色、红色光之后分别得到B、R分量子系数中的重要小波系数；

第四步，对已经获得的Y、B、R的重要小波系数进行反小波变换，得到重构的Y、B、R分量，当重构的Y分量的分辨率为N时，重构的B、R分量的分辨率为使用最近邻差值来上采样B、R分量使重构的B、R分量的大小调整到与Y分量相同；然后利用公式(1)，计算出绿色G分量，接着根据已经得到的R、G、B分量利用公式(2)、(3)计算出U、V分量，将已经采集得到的Y分量和计算得到的U、V融合得到重构的彩色图像：

$G=\frac{Y-0.299R-0.114B}{0.587}---\left(1\right)$

U＝-0.147R-0.289G+0.436B (2)

V＝0.615R-0.515G-0.100B。 (3)

本发明与现有技术相比，其显著优点：(1)利用扩展的小波树对Y、B、R三分量的重要系数进行判断，有效的减少了采样次数同时保证没有丢失重要信息，提高了图像质量。(2)与现有的彩色成像方法比，避免了CS算法所需的计算开销，减少了重构所需的时间。(3)利用了人眼对亮度敏感的特性，对Y分量进行高分辨率重构，对B、R分量进行低分辨率重构，增加了亮度信息的同时减少了采样次数。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明采用的彩色图像获取装置原理示意图。

图2是扩展小波树的结构示意图。

图3是验证本发明所用的仿真图案以及部分细节放大图。

图4是使用本发明的方法在采样率为15％时重构得到的彩色图像以及部分细节放大图。

图5是使用本发明的方法在采样率为30％时重构得到的彩色图像以及部分细节放大图。

图6是本发明的流程图。

具体实施方式

结合图1，本发明彩色图像获取方法，包括PC1、DLP(digital light projector)2、彩色目标图像3、单像素光子探测器4、数据采集与控制模块5，其中PC1、DLP2、单像素光子探测器4均与数据采集与控制模块5连接。

所述数据采集与控制模块5由采集单元、控制单元、模数处理单元组成，控制单元控制DLP2在白光、蓝光、红光下依次对彩色目标图像3的重要系数所在的位置进行投影；控制单元将PC1中生成的二进制图像显示在屏幕上，然后同步地将该二进制图像传送给DLP2中的数字微镜装置(digital micro-mirror device，DMD)；该DLP2中DMD的各个微镜的状态根据二进制图像而进行变换，即如果二进制图像中是亮斑，那么对应位置的微镜显示状态为“开”；相反地，如果二进制图像中是暗斑，对应位置的微镜状态为“关”；当DLP2将二进制图案投影在彩色目标图像3上时，控制单元产生一个同步信号，触发单像素光子探测器4对投影的图像进行采样，接收彩色目标图像3的反射光强信号，采集单元采集到反射光强信号后，单像素光子探测器4生成一个返回触发信号，返回触发信号传入控制单元，反射光强信号传入模数处理单元进行模数转换，最终分别将投影白、蓝、红光时得到的数字信号传入PC1，从而即可得到Y(亮度)、B(蓝)、R(红)三分量各自的小波重要系数；在采集的过程中，将Y分量的父系数以及子系数中所有的重要系数全部采集，而不采集B、R分量的最大分辨率层中的高频(LH,HL,HH)重要系数，只保留了低频分量(LL)的重要系数。

然后对已经获得的Y、B、R的重要小波系数进行反小波变换，得到重构的Y、B、R分量。由于舍弃了B、R分量的最大分辨率层的高频系数，因此当重构的Y分量的分辨率为N时，B、R分量的分辨率为为了将重构的B、R分量的大小调整到与Y分量相同，使用最近邻差值来上采样B、R分量。然后利用公式(1)，计算出绿色G分量。接着利用公式(2)、(3)计算出U、V分量。将已经采集得到的Y分量和计算得到的U、V融合得到重构的彩色图像。

结合图6，本发明彩色图像获取方法的步骤如下：

第一步，选择投影光的颜色，由PC1的labview生成Haar小波基的二进制图像，通过数据采集与控制模块5中的控制单元控制DLP2中的DMD上每个微镜的开关，DLP2中的LED发出的光通过透镜照射在DMD上，由DMD反射Haar小波基的二进制图像对目标彩色图像3进行投影。

第二步，当单像素光子探测器4对彩色目标图像3的反射光强信号进行采样时，使DLP2在彩色目标图像3上投影的图像和PC端1产生的投影图像一致，并且每幅投影图像只投影一次。本发明对数据采样期间通过同步过程来克服计算机图形管线的各种延迟，使DLP2在彩色目标图像3上投影的图像和PC端1产生的投影图像一致，同步过程如下：

步骤1，由PC1端的Labview产生Haar小波基的二进制图像，通过DLP2进行投影得到投影图像；

步骤2，投影图像完全投影且在维持期间，由数据采集与控制模块5中的控制单元产生一个触发信号输送给单像素光子探测器4，使其对彩色目标图像3的反射光强信号进行采样；

步骤3，单像素光子探测器4采样结束后，生成一个返回触发信号，该返回触发信号传入控制单元，反射光强信号传入模数处理单元进行模数转换；

步骤4，采样得到的反射光强信号通过模数转换后得到的信号存储在PC1中，返回触发信号使PC端生成新的投影图像并进行下一轮的投影。

第三步，数据采集与控制模块5的控制单元控制DLP2分别在白光、蓝光、红光下依次对彩色目标图像3的Y、B、R分量的重要系数(即重要小波系数)所在的位置进行投影和判断。单像素光子探测器4采样得到的反射光强信号通过数据采集与控制模块5中的模数处理单元模数转换变为数字信号传入PC1，投影白色光时得到Y分量子系数中的重要小波系数，投影蓝色、红色光之后分别得到B、R分量子系数中的重要小波系数。其中Y、B、R三分量中需要采集的重要系数判断和得到过程如下：

首先，数据采集与控制模块5中的控制单元控制DLP2在白色光下对彩色目标图像3投影由PC1的labview生成Haar小波基的二进制图像，单像素光子探测器4对彩色目标图像3的反射光强信号进行采样，采样得到的反射光强信号通过数据采集与控制模块5的模数处理单元转换变为数字信号传入PC1，扫描采样结束后得到图像亮度信号Y的低分辨率的粗糙图像，对该粗糙图像进行一级分解得到高一层的小波系数，然后利用Y分量扩展小波树的父子系数与兄弟系数之间的关系确定下一层子系数中的重要系数的位置，然后数据采集与控制模块5中的控制单元控制DLP2仍然投白色光，对Y分量子系数中的重要系数的位置进行投影扫描采样，直至所有子系数中的重要系数全部采集完；

其次，数据采集与控制模块5控制DLP2在蓝色光下对彩色目标图像3进行投影扫描，获得B分量的粗糙图像，对B分量进行一级分解得到高一层的小波系数，利用B分量扩展小波树的父子系数与兄弟系数之间的关系设定阈值确定下一层子系数中的重要系数的位置，然后判断这些位置处是否为Y分量小波树中重要系数所处的位置，只有同时满足这两个条件时对该位置进行标记。R分量中重要系数的判断以及采集与B分量的判断以及采集方式相同，不同的是DLP2是在红色光下对彩色目标图像3进行投影扫描的。数据采集与控制模块5控制DLP2依次在蓝色、红色光下，对上述标记的B、R分量子系数中的重要系数的位置进行投影扫描，直至所有子系数中的重要系数全部采集完。

最后，在采集的过程中，将Y分量的父系数以及子系数中所有的重要系数全部采集，而不采集B、R分量的最大分辨率层中的高频(LH,HL,HH)重要系数，只保留了低频分量(LL)的重要系数。

第四步，对已经获得的Y、B、R的重要小波系数进行反小波变换，得到重构的Y、B、R分量。为了将重构的B、R分量的大小调整到与Y分量相同，使用最近邻差值来上采样B、R分量。然后利用公式(1)，计算出绿色G分量。接着利用公式(2)、(3)计算出U、V分量。将已经采集得到的Y分量和计算得到的U、V融合得到重构的彩色图像。

$G=\frac{Y-0.299R-0.114B}{0.587}---\left(1\right)$

U＝-0.147R-0.289G+0.436B (2)

V＝0.615R-0.515G-0.100B (3)

实施例

本发明可以使用DLP LightCrafter 4500进行工作。DLP LightCrafter 4500是TI推出的光控制评估模块，它主要由两个子***组成，一个是光引擎部分，主要包含光学镜头，白、红、绿、蓝LED光源和像素为912*1140的DMD等；另一个是驱动板，主要包含LED驱动电路、DLPC350 DMD控制器、电源管理电路、DVI转RGB装置等。PC端通过板卡PXI-6552连接单像素光子探测器的触发和返回信号端，单像素光子探测器的数据输出端连接PC，并将数据存储在PC中。DLP LightCrafter 4500的DVI接口连接PC的显示屏。通过PC上的控制软件选择DLP LightCrafter 4500的数据传输方式，由于DLP LightCrafter 4500的闪存内存仅为32MB，可存储的投影pattern数目不能满足小波重构需要。因此可选择pattern sequence下的video port。首先选择投影结构光的颜色，由PC端的labview生成Haar小波基的二进制图像，通过驱动板控制DMD上每个微镜的开关，LED发出的光通过透镜照射在DMD上。由DMD反射Haar小波基的二进制图像对目标彩色图像进行投影。

本发明的实施例选择目标像素为256*256，小波分解层数为3层，即第三层小波数的分辨率为64*64LL,LH,HH的分辨率均为32*32，第二层小波数的分辨率为128*128，第一层小波数的分辨率为256*256。具体有以下步骤：

1.通过PC端1的Labview产生Haar小波基的二进制图像的投影图像，投影图像中，只有需要采集的像素处是亮斑，其余像素处均为暗斑。

2.当单像素光子探测器4对目标图像3的反射光强信号进行采样时，DLP2在目标图像3上投影的图像和PC端1产生的投影图像是一致的，并且每幅投影图像只投影一次，这就需要在数据采样期间增加一些同步过程来克服涉及计算机图形管线的各种延迟。数据采样期间的同步过程如下：

2.1首先由PC端1通过Labview程序随机产生Haar小波基的二进制图像的投影图像。投影图像在PC端1完全显示后，NI的板卡产生一个触发信号使DLP2将二进制图像投影在目标图像3上。

2.2完全投影后由数据采集与控制模块5产生一个触发信号输送给单像素光子探测器4，使其对目标图像3的反射光强信号进行采样。

2.3单像素光子探测器4采样结束后，生成一个返回触发信号，随同采样得到的反射光强信号一起传输回数据采集与控制模块5。

2.4采样数据通过模数转换后得到的信号存储在PC1中。返回触发信号使PC端1生成新的投影图像并进行下一轮的投影。

3.Y、B、R三个分量各自的父系数的采集以及子系数中重要的小波数的判断以及采集过程如下：

3.1在白色照明光下对目标图像3投影由PC1的labview生成Haar小波基的二进制图像，单像素光子探测器4对目标图像3的反射光强信号进行采样，采样得到的反射光强信号通过数据采集与控制模块5中的模数转换变为数字信号传入PC1，扫描采样结束后可得到Y分量的分辨率为64*64的粗糙图像。对其进行一级分解得到高一层的小波系数，然后利用Y分量扩展小波树的父子系数与兄弟系数之间的关系确定下一层子系数中的重要系数的位置，然后数据采集与控制模块5控制DLP2仍然投白色照明光，对Y分量子系数中的重要系数的位置进行投影扫描采样，直至所有子系数中的重要系数全部采集完。

3.2数据采集与控制模块5控制DLP2在蓝色光下对目标图像3进行投影扫描，可得到B分量的粗糙图像。对B分量进行一级分解得到高一层的小波系数，然后利用B分量扩展小波树的父子系数与兄弟系数之间的关系设定阈值确定下一层子系数中的重要系数的位置，然后判断这些位置处是否为Y分量小波树中重要系数所处的位置，只有同时满足这两个条件时对该位置进行标记。在所有标记的B分量的重要子系数中，不采集B分量的最大分辨率层中的高频重要系数，只保留了B分量低频分量的重要系数。数据采集与控制模块5控制DLP2在蓝色光下，对上述标记的B分量子系数中的重要系数的位置进行投影扫描，直至所有子系数中的重要系数全部采集完。

3.3数据采集与控制模块5控制DLP2在红色光下对目标图像3进行投影扫描，可得到R分量的粗糙图像。对R分量进行一级分解得到高一层的小波系数，然后利用R分量扩展小波树的父子系数与兄弟系数之间的关系设定阈值确定下一层子系数中的重要系数的位置，然后判断这些位置处是否为R分量小波树中重要系数所处的位置，只有同时满足这两个条件时对该位置进行标记。在所有标记的R分量的重要子系数中，不采集R分量的最大分辨率层中的高频重要系数，只保留R分量各自低频分量的重要系数。数据采集与控制模块5控制DLP2依旧在红色光下，对上述标记的R分量子系数中的重要系数的位置进行投影扫描，直至所有子系数中的重要系数全部采集完。

4.单像素光子探测器4采样得到的反射光强信号通过数据采集与控制模块5中的模数转换变为数字信号传入PC。对已经获得的Y、B、R的重要小波系数分别进行反小波变换，得到分辨率为256*256的重构的Y分量和分辨率为128*128的重构的B、R分量。为了将重构的B、R分量的大小调整到与Y分量相同，使用最近邻差值来上采样B、R分量。然后利用公式(1)，计算出绿色G分量。接着利用公式(2)、(3)计算出U、V分量。将已经采集得到的Y分量和计算得到的U、V融合得到重构的彩色图像。

本发明通过数据仿真验证了本发明的性能。如图3所示是验证本发明所用的原始图案以及部分细节放大图。图4是使用本发明所述的方法在采样率为15％时重构得到的彩色图像以及部分细节放大图。图5是使用本发明所述的方法在采样率为30％时重构得到的彩色图像以及部分细节放大图。图6是本发明的流程示意图，以分辨率为256*256彩色图像为例，采样率为20％。可以看出重构出的彩色图像均没有彩色失真，且在采样率较低时已经能较为清楚的重构出部分细节，比如Barbara头巾和桌布上的条纹。需要说明的是，图3为彩色的原始图像；图4是在采样率为15％的重构结果，为彩色图；图5是在采样率为30％的重构结果，为彩色图。图6中的结果为彩色图。由于申报专利时不能提供彩色图，因此将其转化为非彩色图。同时，本发明避免了现有彩色成像技术中使用压缩感知方法而造成的巨大计算开销。另外，本发明有效地降低了重构所需的时间。

Claims (3)

1.一种彩色图像获取方法，其特征在于步骤如下：

第一步，选择投影光的颜色，由PC(1)的labview生成Haar小波基的二进制图像，通过数据采集与控制模块(5)的控制单元控制DMD上每个微镜的开关，LED发出的光通过透镜照射在DMD上，由DMD反射Haar小波基的二进制图像对目标彩色图像进行投影；

第二步，当单像素光子探测器(4)对彩色目标图像(3)的反射光强信号进行采样时，使DLP(2)在彩色目标图像(3)上投影的图像和PC端(1)产生的投影图像一致，并且每幅投影图像只投影一次；

第三步，数据采集与控制模块(5)的控制单元控制DLP(2)在白光下对彩色目标图像(3)的Y分量的重要系数所在的位置进行高分辨率投影和扫描；然后在蓝光、红光下依次对彩色目标图像(3)的B、R分量的重要系数所在的位置分别进行低分辨率投影和扫描；单像素光子探测器(4)采样得到的反射光强信号通过数据采集与控制模块(5)中的模数处理单元模数转换变为数字信号传入PC(1)，投影白色光时得到Y分量子系数中的重要小波系数，投影蓝色、红色光之后分别得到B、R分量子系数中的重要小波系数；

第四步，对已经获得的Y、B、R的重要小波系数进行反小波变换，得到重构的Y、B、R分量，当重构的Y分量的分辨率为N时，重构的B、R分量的分辨率为；使用最近邻差值来上采样B、R分量使重构的B、R分量的大小调整到与Y分量相同；然后利用公式(1)，计算出绿色G分量，接着根据已经得到的R、G、B分量利用公式(2)、(3)计算出U、V分量，将已经采集得到的Y分量和计算得到的U、V融合得到重构的彩色图像：

U＝-0.147R-0.289G+0.436B (2)

V＝0.615R-0.515G-0.100B (3) 。

2.根据权利要求1所述的彩色图像获取方法，其特征在于在第二步中，对数据采样期间通过同步过程来克服计算机图形管线的各种延迟，使DLP(2)在彩色目标图像(3)上投影的图像和PC端(1)产生的投影图像一致，同步过程 如下：

步骤1，由PC(1)端的Labview产生Haar小波基的二进制图像，通过DLP(2)进行投影得到投影图像；

步骤2，投影图像完全投影且在维持期间，由数据采集与控制模块(5)中的控制单元产生一个触发信号输送给单像素光子探测器(1)，使其对彩色目标图像(3)的反射光强信号进行采样；

步骤3，单像素光子探测器(4)采样结束后，生成一个返回触发信号，该返回触发信号传入控制单元，反射光强信号传入模数处理单元进行模数转换；

步骤4，采样得到的反射光强信号通过模数转换后得到的信号存储在PC(1)。

3.根据权利要求1所述的彩色图像获取方法，其特征在于在第三步中，Y、B、R分量中重要小波数的判断以及采集方法如下：

首先，数据采集与控制模块(5)中的控制单元控制DLP(2)在白色光下对彩色目标图像(3)投影由PC(1)的labview生成Haar小波基的二进制图像，单像素光子探测器(4)对彩色目标图像(3)的反射光强信号进行采样，采样得到的反射光强信号通过数据采集与控制模块(5)的模数处理单元转换变为数字信号传入PC(1)，扫描采样结束后得到图像亮度信号Y的低分辨率的粗糙图像，对该粗糙图像进行一级分解得到高一层的小波系数，然后利用Y分量的扩展小波树的父子系数与兄弟系数之间的关系确定下一层子系数中的重要系数的位置，然后数据采集与控制模块(5)中的控制单元控制DLP(2)仍然投白色光，对Y分量子系数中的重要系数的位置进行投影扫描采样，直至所有子系数中的重要系数全部采集完；

其次，数据采集与控制模块(5)控制DLP(2)依次在蓝色、红色光下对彩色目标图像(3)进行投影扫描，分别获得B、R分量的粗糙图像，对B分量进行一级分解得到高一层的小波系数，利用B分量扩展小波树的父子系数与兄弟系数之间的关系设定阈值确定下一层子系数中的重要系数的位置，然后判断这些位置处是否为Y分量小波树中重要系数所处的位置，只有同时满足这两个条件时对该位置进行标记；对R分量进行一级分解得到高一层的小波系数，利用R分量扩展小波树的父子系数与兄弟系数之间的关系设定阈值确定下一层子系数中的重要系数的位置，然后判断这些位置处是否为Y分量小波树中重要系数 所处的位置，只有同时满足这两个条件时对该位置进行标记；数据采集与控制模块(5)控制DLP(2)依次在蓝色、红色光下，对上述标记的B、R分量子系数中的重要系数的位置进行投影扫描，直至所有子系数中的重要系数全部采集完；

最后，在采集的过程中，将Y分量的父系数以及子系数中所有的重要系数全部采集，而不采集B、R分量的最大分辨率层中的高频(LH,HL,HH)重要系数，只保留了低频分量(LL)的重要系数。