CN105651384A - 一种全光信息采集*** - Google Patents

Abstract

本发明公开了一种全光信息采集***，具体包括：由稀疏采样成像阵列和分光装置、灰度成像装置以及光谱光路采集装置获取稀疏采样的光谱图像；由彩色成像、彩色光路采集转置获取高分辨率的彩色图像；光谱光路采集装置和彩色成像装置所在的光轴平行，获得的两幅图像分别包含稀疏采样的光谱信息和高分辨率的彩色信息，并且获得的两幅图像包含有视差信息；最终由信息联合处理装置对两路信息进行处理，根据稀疏光谱信息和彩色信息以及两个相机的姿态不同造成的视差信息重建出包括光谱和深度的全光信息。本发明可以实现全光信息的联合获取，通过采用更高精度的成像设备，可以获得更高的光谱分辨率和更精确的深度信息。

Description

一种全光信息采集***

技术领域

本发明涉及计算机摄像学领域，特别涉及到一种全光信息采集的***。

背景技术

计算摄影学是一门将计算机视觉、数字信号处理、图形学等深度交叉的新兴学科，旨在结合计算、数字传感器、光学***和智能光照等技术，从成像机理上来改进传统相机，并将硬件设计与软件计算能力有机结合，突破经典成像模型和数字相机的局限性，增强或者扩展传统数字相机的数据采集能力，全方位地捕捉真实世界的场景信息。开展场景全光信息的相关研究工作对于3D重建、数字娱乐、安全侦察等领域有重要意义。

传统的数字摄像学是对高维场景信号(常用七维全光函数表示)的二维投影子空间进行采样，将高维场景信息投影到相机二维采样子空间上进行采集。7维全光函数描述了人眼观看客观世界光线的基本要素：包括任一时刻(t)的视点位置(x,y,z)、光线角度和波长(λ)这7维变量。从全光函数出发，可以看出，传统的数字摄像学会产生全光函数其他维度上信息的丢失与耦合问题，包括角度信息丢失、场景深度信息丢失、多光谱信息丢失、曝光时间内场景信息积分耦合等等。

计算摄像学中一个热门研究方向是在光谱域上对于传统的成像技术进行扩展，即高光谱技术。从多光谱与视觉的技术原理来说，人眼球中有三种不同视锥细胞对光谱中不同波段的信号进行感应，使真实场景中的光线以红、绿、蓝三种颜色的形式被人所感知，而与此相对应，传统意义上的相机也是从人眼的认知原理出发，它能够过电荷耦合原件不同的颜色积分曲线去捕捉场景中的红绿蓝三通道信息。但是实际上，包含角度，场景深度，光谱等等高维度的信息仅仅用RGB三个通道来代替，会失去大量细节，而这些包括深度与高光谱的丰富细节往往能够揭示物体和场景光线的很多特质，也能在很多计算机视觉领域的工作获得长足的进展。目前的相机中只有单一多光谱的相机或者是单一深度信息的相机，对于能联合采集场景深度信息、多光谱信息、角度信息的相机装置尚未诞生，而这样一种能进行全光信息采集的***可以极大促进计算摄像学领域中针对场景的信息重构的研究。

根据技术要求和采集条件的不同，现有的采集***大多是单功能的。如所熟知的光谱分析仪、扫描式光谱成像仪和单次拍摄成像光谱仪等，都是通过牺牲空间或者时间分辨率的方式对于光谱分辨率进行补偿，以采集多光谱信息，而且也只能采集到光谱信息却丢失了深度信息。而基于双目立体视觉的多种深度信息捕获装置却又无法满足对光谱获取的需求。2014年7月，一种高分辨率光谱视频采集研究***被提出(公开号：CN102735338A)，其在牺牲空间分辨率获得附加光谱分辨率的同时，使用双路采集的技术，对场景进行双路采集，从得到的多路数据中重构出高时空分辨率的高光谱视频，实现了一种高光谱采集技术。但是该***依然欠缺场景中极其重要的深度信息。随着近几年深度信息在识别上的重要性越来越大，通过改进得到一款全光信息的装置，这方面的研究非常重要而且有广泛的应用。

发明内容

针对上述现有技术中存在的缺陷，本发明的目的在于提出一种全光信息采集***，可以实现高光谱分辨率与深度信息的同时捕获。

为达到上述目的，本发明采用以下技术方案：

一种全光信息采集***，包括稀疏采样成像阵列、分光装置、灰度成像装置、光谱光路采集装置、彩色成像装置、彩色光路采集装置和信息联合处理装置；其中，稀疏采样成像阵列、分光装置、灰度成像装置和光谱光路采集装置的光学中心同位于一条光轴上，彩色成像装置和彩色光路采集装置的光学中心同位于另外一条平行光轴上；所述稀疏采样成像阵列将场景光线经过汇聚透射生成透射光线，并对场景进行空间采样；所述透射光线经过分光装置色散为多个波长上的光谱，然后通过灰度成像装置进行成像，最后由光谱光路采集装置采集图像并传输到信息联合处理装置；所述彩色成像装置和彩色光路采集装置获得彩色图像后传输到所述信息联合处理装置，所述信息联合处理装置根据获得的两路图像并结合灰度成像装置和彩色成像装置的相对位置进行信息处理，采用双边滤波重建光谱，采用视差算法重建深度信息，从而得到场景的全光信息。

所述稀疏采样成像阵列包括依次排列的第一透镜、掩膜和第二透镜，其中第一透镜和第二透镜为单个透镜或透镜组，掩膜为稀疏采样装置。所述掩膜的开孔尺寸使得通过掩膜孔的光线经过所述分光装置之后在所述灰度成像装置上不会出现混叠。所述第二透镜的孔径大小可以通过调整以覆盖所拍摄的整个场景范围。

进一步地，所述第一透镜和第二透镜采用消球差透镜组。

优选地，两条平行光轴之间的距离为5-10cm。

所述光谱光路采集装置和彩色光路采集装置同步采集信息。

所述分光装置为阿米西棱镜。

进一步地，所述灰度成像装置和彩色成像装置在拍摄图像之前需要采用屏幕映射法先进行配准，具体方法为：在屏幕上显示出有标志性的图案，保持屏幕不动，通过彩色成像装置拍摄屏幕上的图案，可以获得彩色成像坐标和屏幕坐标的对应关系，之后利用灰度成像装置拍摄图案，通过匹配灰度成像装置拍摄的图片的特征点和屏幕显示的图案的特征点，确定灰度成像坐标和屏幕坐标的对应关系，根据获得的两组对应关系，从而建立起灰度成像装置和彩色成像装置之间的映射关系。

进一步地，所述光谱光路采集装置和彩色光路采集装置均采用嵌入式开发板进行数据存储

本发明的全光信息采集***可以实现包括光谱和深度的全光信息的联合获取，能够弥补传统成像设备缺乏高分辨率光谱信息和深度信息的问题。通过调整***装置的参数，可以拥有更大的景深和通光量；通过采用更高精度的成像设备，可以获得具有重大意义的场景重建所需的高光谱分辨率和更精确的深度信息。

附图说明

图1为本发明全光信息采集***的结构框图；

图2为本发明实施例中的掩膜设计图；

图3为本发明实施例中全光信息采集***的示意图；其中11-望远镜，12-掩膜板，13-会聚目镜，14-分光棱镜，15-灰度相机，16-彩色相机，17-计算机；

图4为本发明全光信息采集***的工作流程图。

具体实施方式

下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1，本发明的全光信息采集***由第一透镜2、掩膜3、第二透镜4构成稀疏采样成像阵列1。由稀疏采样成像阵列1、分光装置5、灰度成像装置6、光谱光路采集装置7获取低分辨率的光谱图像。彩色成像装置8、彩色光路采集转置9用以获取高分辨率的彩色图像。由信息联合处理装置10对两路信息进行处理，重建出包括高分辨率光谱和精确深度的全光信息。

稀疏采样成像阵列1中，掩膜3位于第一透镜2和第二透镜3之间的成像平面处，用于将场景光线经过汇聚透射以生成透射光线，并对场景进行空间采样；对第一透镜2进行选择时，透镜的孔径决定光通量，焦距决定景深，通过改变焦距以对所述场景的不同景深范围进行成像。在本发明的实施例中，选取的透镜焦距为150mm，孔径为50mm。

掩膜3的选择是在保证不出现光谱混叠的情况下最大密度的进行开孔，开孔的大小是根据光通量和光谱精度协调的最优结果，其中需要保证通过掩膜孔的光线经过分光装置5之后在灰度成像装置6上不会出现混叠。在本发明的实例中掩膜孔如图2所示，其中每个掩膜孔的宽度为0.025mm，高度为0.15mm，掩膜孔横向间距为0.9mm，纵向间距为0.20mm。

第二透镜4的选择是根据整个场景的大小，保证孔径的大小可以覆盖场景的范围，场景范围主要取决于第二透镜4和灰度成像装置6之间的距离，为了保证成像效果，对于平行光入射的情况，需要保证从第二透镜4出射的光仍然是平行光。并且需要分光装置5可以放置在成像装置6和第二透镜4之间。在本发明的实例中第二透镜的焦距是100mm，孔径为50mm。

分光装置5位于稀疏采样成像阵列1的后端，为阿米西棱镜，用于将通过成像阵列装置的透射光线色散为多个波长上的光谱。本发明的实例中采用的是u14050一组棱镜组合而成的阿米西棱镜，包括两块冕玻璃和一块火石玻璃组成，对于同等波长来说，火石玻璃的折射率更强。由于阿米西棱镜对于平行入射的光线仍然可以几乎平行的出射，从而有效的降低了成像畸变。实例中采用的阿米西棱镜参数见表1。

表1是阿米西棱镜采用的一组棱镜的形状和折射率数据表

灰度成像装置6用于获得分光后的光谱图像。本发明的实例是拍摄近乎平行入射的物体。从而第二透镜4的出射光也是平行进入灰度成像装置6，灰度成像装置6采用的是50mm焦距的CCD灰度相机。成像大小为2016*2016像素，像元大小为3.1μm，其中像元大小，焦距决定光谱分辨率的大小，像元越小，焦距越大，光谱分辨率越大。本实施中，第一透镜2和第二透镜4采用的是消球差透镜组，因为透镜加工的固有问题，导致边缘的成像会出现镜像和切向畸变，为了保证成像质量，灰度成像装置6拍摄的区域为两个透镜的中心区域，并且需要降低灰度成像装置6的通光亮，从而加大景深，减少成像畸变。

稀疏采样成像阵列1、分光装置5、灰度成像装置6、光谱光路采集装置7位于同一条光轴上，构成光谱采集光路，保证光轴穿过上述装置的光学中心。彩色成像装置8和彩色光路采集装置9在同一光轴上，构成彩色成像光路，并且保证光轴穿过上述装置的的光学中心。光谱采集光路所在的光轴和彩色成像光路所在的光轴保持平行，两条光轴位于同一水平面上。两条光轴之间的距离决定了全光信息中深度信息的重建精度。如果光轴的距离太小造成视差太小，这样可以提高全光信息中的光谱信息容量但是会降低重建的精度。距离太大会造成两幅图像重合的区域太小，会减少重建的全光信息的成像范围。在本发明的实例中，两条光轴的距离为100mm。

本发明的实例中彩色成像装置8为50mm焦距的CCD彩色相机。分辨率为2016*2016，光轴平行放置保证两个光路获得的图像存在视差，而且便于获得灰度相机和彩色相机的相对姿态。光谱光路采集装置7和彩色光路采集装置9将两路图像同时传输到信息联合处理装置10，根据稀疏光谱信息和彩色信息以及两个相机的姿态重建出包括深度和光谱的全光信息。

本实施例的全光信息采集***的采集过程包括如下步骤：将场景光线经过稀疏采样成像阵列1一次汇聚透射以生成透射光线，且利用采样掩膜3对场景进行空间采样，透射光线入射至位于棱镜分光装置5；所述棱镜分光装置5将透射光线色散为多个波长上的光谱，这些光谱通过位于棱镜分光装置5后端的灰度成像装置6进行成像以生成光谱采集光路；利用彩色成像装置8获得彩色成像光路。光谱光路采集装置7和彩色成像装置8所在的光轴平行，获得的两幅图像分别包含稀疏采样的光谱信息和高分辨率的彩色信息，并且获得的两幅图像包含有视差信息；最终由信息联合处理装置10将光谱采集光路和彩色成像光路的信息进行处理，根据稀疏光谱信息和彩色信息以及两个相机的姿态不同造成的视差信息，从而得到场景的全光信息。

其中，采用双边滤波重建光谱：灰度和彩色这两幅图像配准后，对于稀疏采样点的像素既知道光谱信息，也知道其RGB像素值。而对于其他像素，只知道RGB信息，不知道光谱信息，为了使得每个像素都得到光谱信息，利用稀疏采样点和其周围彩色像素之间在颜色空间和位置上的相似性进行传播，从而重建出高精度的光谱图像。对于深度信息，采用视差算法重建深度信息：利用两幅图像中对应点的位置关系，因为两个相机的位置关系不同，所以获得的两幅图像存在视差，根据稀疏采样点和RGB图像对应点的视差关系，利用立体匹配的方法，获得这些点的深度，利用传播算法重建出除采样点之外的其他像素点的深度信息。从而得到场景的全光信息。

两路成像装置在拍摄同一个场景时需要保证同步拍摄，在本发明的实例中，采用的是硬同步，即外界触发信号。对于精度要求不高，或者场景固定的情况下可以采用软同步。

本发明在两条光路配准之后可以根据两条光路获得的信息联合计算获得全光信息，其中两路成像装置之间的配准非常重要，因为光谱光路的成像是稀疏采样的光谱图像，彩色光路获取是高分辨率的彩色图像，因此传统的相机配准方法无法满足要求。本发明采用的是屏幕映射法进行配准。

屏幕映射法是在屏幕上显示出有标志性的图案，在本发明的一个实例中，在屏幕上显示的一个可调整位置的十字线。保持屏幕不动，通过按钮调整十字线的位置，使得横线和彩色成像装置8获得的图像的上边缘重合，纵线与图像左边缘重合，计算扫描线方程，计算十字线交点的坐标。同样的方法，通过移动屏幕上的扫描线使得横线与上述获得图像的下边缘重合，纵线与图像的右边缘重合，再次计算扫描线方程，计算出交点的坐标。通过上述获取的坐标点位置和图像的长宽的像素值，可以获得彩色成像坐标和屏幕坐标的对应关系，移动横竖线，使得横竖线交叉点靠近图像左上位置某个狭缝的光谱带。对于光谱获取光路，通过调整十字交叉线的位置，使灰度成像装置6获取的图像中该光谱带处于较亮的状态，记下掩膜孔的位置，之后可以通过计算机扫描确定出最亮光谱带的位置，计算出十字交叉线的交点坐标，从而确定掩膜孔和屏幕坐标的对应关系，重复调整十字线的位置，确定每一个掩膜和屏幕坐标的映射关系。之后根据之前的屏幕和彩色成像装置之间的映射关系，从而建立起两个光路之间的映射关系，在本发明的实例中映射的精度可以到亚像素级别。

光谱光路采集装置7和彩色光路采集装置9可以采用嵌入式开发板进行数据存储，在本发明的实例中，可以利用开发板中的GPU进行加速图像处理，通过无线信号将数据传输到信息联合处理装置10，也可以采用适合的组合门电路来完成***运算。

本发明的***可以为其单独提供电源，从而摆脱场地的限制，实现在室外进行数据拍摄。此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

图3显示的是全光信息采集***的一个实施例，显示出***元件之间的相对位置。本发明中的元件并非限定在实施例中的元件，有相似或者取代功能的元件同样可以应用在本发明中，掩膜可以采用可编程的SLM来模拟。

图4为一个实施例中全光信息获取的示意图，通过两条光路的采集装置，同时获得两路数据，光谱光路获得稀疏采样光谱的数据，彩色相机光路获得彩色图像。通过标定，确定每个掩膜孔对应的彩色图像上的位置，将两幅图像进行配准。通过对齐好的数据，根据光谱传播算法获得未采集到光谱数据的像素点的光谱信息。利用稀疏采样的图像和彩色图像的位置关系，根据相机的内外参数，从而联合求得深度数据。最后结合深度数据和光谱数据即可重建出场景的全光信息。

流程图描述了数据获取采集重建的方法，但是并不限于采用固定的方式获得，上述实施例方案可以通过程序来指令相关的硬件完成，所述的程序可以存于计算机可读存储介质中。

Claims (10)

1.一种全光信息采集***，其特征在于，包括稀疏采样成像阵列、分光装置、灰度成像装置、光谱光路采集装置、彩色成像装置、彩色光路采集装置和信息联合处理装置；其中，稀疏采样成像阵列、分光装置、灰度成像装置和光谱光路采集装置的光学中心同位于一条光轴上，彩色成像装置和彩色光路采集装置的光学中心同位于另外一条平行光轴上；所述稀疏采样成像阵列将场景光线经过汇聚透射生成透射光线，并对场景进行空间采样；所述透射光线经过分光装置色散为多个波长上的光谱，然后通过灰度成像装置进行成像，最后由光谱光路采集装置采集图像并传输到信息联合处理装置；所述彩色成像装置和彩色光路采集装置获得彩色图像后传输到所述信息联合处理装置，所述信息联合处理装置根据获得的两路图像并结合灰度成像装置和彩色成像装置的相对位置进行信息处理，采用双边滤波重建光谱，采用视差算法重建深度信息，从而得到场景的全光信息。

2.如权利要求1所述的一种全光信息采集***，其特征在于，所述稀疏采样成像阵列包括依次排列的第一透镜、掩膜和第二透镜，其中第一透镜和第二透镜为单个透镜或透镜组，掩膜为稀疏采样装置。

3.如权利要求2所述的一种全光信息采集***，其特征在于，所述掩膜的开孔尺寸使得通过掩膜孔的光线经过所述分光装置之后在所述灰度成像装置上不会出现混叠。

4.如权利要求2所述的一种全光信息采集***，其特征在于，所述第二透镜的孔径大小可以通过调整以覆盖所拍摄的整个场景范围。

5.如权利要求2所述的一种全光信息采集***，其特征在于，所述第一透镜和第二透镜采用消球差透镜组。

6.如权利要求1所述的一种全光信息采集***，其特征在于，两条平行光轴之间的距离为5-10cm。

7.如权利要求1所述的一种全光信息采集***，其特征在于，所述光谱光路采集装置和彩色光路采集装置同步采集信息。

8.如权利要求1所述的一种全光信息采集***，其特征在于，所述分光装置为阿米西棱镜。

9.如权利要求1至8之一所述的一种全光信息采集***，其特征在于，所述灰度成像装置和彩色成像装置在拍摄图像之前需要采用屏幕映射法先进行配准，具体方法为：在屏幕上显示出有标志性的图案，保持屏幕不动，通过彩色成像装置拍摄屏幕上的图案，可以获得彩色成像坐标和屏幕坐标的对应关系，之后利用灰度成像装置拍摄图案，通过匹配灰度成像装置拍摄的图片的特征点和屏幕显示的图案的特征点，确定灰度成像坐标和屏幕坐标的对应关系，根据获得的两组对应关系，从而建立起灰度成像装置和彩色成像装置之间的映射关系。

10.如权利要求1至8之一所述的全光信息采集***，其特征在于，所述光谱光路采集装置和彩色光路采集装置均采用嵌入式开发板进行数据存储。