CN103609102A - 高分辨率多光谱图像捕捉 - Google Patents

Abstract

使用混合相机工具可以捕捉高分辨率多光谱图像，而不必牺牲分辨率以换取光谱精确度。高分辨率多光谱图像的捕捉可以包括：基于入射光的一部分形成高空间分辨率图像；以及基于入射光的另一部分生成包括多光谱样本的高光谱分辨率图像。然后，通过将高空间分辨率图像与高光谱分辨率图像合并来合成高辨率多光谱图像。

Description

高分辨率多光谱图像捕捉

背景

来自周围环境的光在人眼内以颜色被感测到。人眼使用三种类型的对光谱的不同部分敏感的视锥细胞，即对红、绿和蓝（RGB）波长光敏感的视锥细胞来感受颜色。常规的录像机可以记录充分复制颜色以用于人眼观看的RGB数据。然而，从所捕捉物体反射离开的可见光的光谱可能包含丰富的细节，这些细节在RGB数据的粗糙三通道感测中丢失。丢失的光谱细节在其他情况下可以揭示关于图像中所记录物体的大量附加信息、以及物体被记录的照明条件。

概述

在此描述了用于实现混合相机工具的技术，该混合相机工具组合从RGB相机采集的红、绿、蓝（RGB）图像信息和从灰度相机采集的多光谱图像数据，以产生具有高光谱分辨率和高空间分辨率二者的图像。该混合相机工具可以比捕捉高空间分辨率、但低光谱分辨率的独立RGB相机提供更优的图像。该混合相机工具还可以比捕捉高光谱分辨率、但低空间分辨率的独立灰度相机提供更优的图像。因此，不同于用时间分辨率或空间分辨率换取附加光谱信息的***，该混合相机工具不牺牲分辨率来交换光谱精确度。

在至少一个实施例中，高分辨率多光谱图像的捕捉可以包括：基于入射光的一部分形成高空间分辨率图像。包括多光谱样本的高光谱分辨率图像也可以基于入射光的另一部分生成。然后，通过将高空间分辨率图像与高光谱分辨率图像合并来合成高空间分辨率和高光谱分辨率图像。

提供本发明内容是为了以简化的形式介绍将在以下具体实施例中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。

附图简述

参考附图来描述具体实施方式。在附图中，附图标记最左边的数字标识该附图标记首次出现的附图。在不同的附图中使用相同的附图标记来指示相似或相同的项。

图1是示出实现混合相机工具的示例性方案的框图。

图2是示出混合相机***的示例性组件的说明性图。

图3是示出实现混合相机工具的电子设备的所选说明性组件的框图。

图4是示出用于生成高空间分辨率和高光谱分辨率合并图像的示例过程的流程图。

图5是示出用于将像素的多光谱信息从高光谱分辨率图像传播到高空间分辨率图像的示例过程的流程图。

详细描述

在此所描述的实施例涉及用于实现混合相机工具的技术，所述混合相机工具捕捉高分辨率多光谱图像。该混合相机工具可以组合RGB图像信息和多光谱图像数据以产生具有高光谱分辨率和高空间分辨率二者的图像。RGB图像信息可以使用RGB相机来采集，并且多光谱图像数据可以使用灰度相机来采集。该混合相机工具可以通过提供具有较高光谱分辨率的图像而比独立RGB相机提供更优的图像。该混合相机工具可以通过提供具有较高空间分辨率的图像而比独立灰度相机提供更优的图像。因此，不同于用时间分辨率或空间分辨率换取附加光谱信息的***，该混合相机工具不牺牲分辨率来交换光谱精确度。下面参考图1-5来描述根据实施例的用于使用混合相机工具来提供高空间分辨率和高光谱分辨率图像的技术的各个示例。

示例方案

图1是示出实现混合相机工具102的示例方案100的框图。混合相机工具102可以包括混合相机***104、以及由电子设备108实现的图像合并引擎106。混合相机***104可以包括捕捉一个或多个RGB图像112的红、绿、蓝（RGB）相机110、以及捕捉一个或多个灰度图像116的灰度相机114。RGB图像112中的每个都具有高空间分辨率和低光谱分辨率。例如，RGB图像112中的每个都具有比对应灰度图像116更低的光谱分辨率。相反，灰度图像116中的每个都具有低空间分辨率和高光谱分辨率。例如，灰度图像116中的每个都具有比对应RGB图像112更低的空间分辨率。

RGB相机110可以如下的相机：该相机使用基于电荷耦合器件（CCD）的传感器来采集三个独立的红、绿、蓝颜色的数据通道，所述数据通道表示从场景或物体反射的光。灰度相机114可以是如下的相机：该相机使用单个多光谱CCD传感器来采集图像，该传感器作为从纯白到纯黑范围的各灰色程度来采集从场景或物体反射的光的强度。RGB相机110和灰度相机114中的每个都能够捕捉单独的图像或者形成视频的连续图像流。在一些实施例中，RGB相机可能能够以每秒25帧（fps）或更高来捕捉1024×768像素的分辨率（或其他分辨率）。在其他实施例中，灰度相机可能能够以25fps或更高、以2448×2088像素的分辨率（或其他分辨率）来捕捉图像。

来自混合相机***104的RGB相机110和灰度相机114的信号可以被传递给图像合并引擎106。进而，图像合并引擎106可以使用传播算法基于颜色相似性和空间接近度将来自灰度图像116的多光谱样本与RGB图像112中的RGB信息相组合。因此，图像合并引擎106可以产生一个或多个经合并的图像118，所述经合并的图像118具有高空间分辨率和高光谱分辨率二者。在各个实施例中，经合并的图像118可以是从RGB图像112的序列和灰度图像116的对应序列中实时地（例如以25fps或更高的速率）合成的视频流的一部分。

示例混合相机***

图2是示出混合相机***104的示例组件的说明性图。混合相机***104可以包括RGB相机110和灰度相机114。混合相机***104可以包括不透明的机壳202，该机壳202将混合相机***104的组件同背景光隔离开。来自场景或物体204的入射光可以最初通过光圈206进入混合相机***104并到达分光器208。分光器208可以将光的一部分沿着路径210反射，同时将光的剩余部分的至少一些沿着路径212透射。在各个实施例中，分光器208可以是半反射、半通透分光器，该分光器向RGB相机110和灰度相机114提供相等或近似相等的光能。

来自分光器208的沿着路径210行进的反射光可以进一步被镜214沿着路径216反射以到达RGB相机110。RGB相机110然后可以以RGB图像112的形式从沿着路径216的光中采集高空间分辨率图像数据。在可替代的实施例中，RGB相机110可以被放置在镜214的位置处，使得沿着路径210的光直接进入RGB相机110。然而，使用镜214来将光重定向成沿着路径216可以使得混合相机***104更加紧凑，因为RGB相机110和灰度相机114可以被定位得彼此更靠近，即两个相机之间的距离被减小。

沿着路径212透射穿过分光器208的光可以被棱镜218（或其他某个光谱色散光学组件）色散到灰度相机114上。灰度相机114可以采集高光谱分辨率灰度图像116，所述灰度图像116捕捉来自场景或物体204的光的众多光谱通道。可以沿着路径212使用遮挡罩220以对来自场景或物体204的光辐射进行子采样，以便防止来自场景或物体204的不同场景点的光谱的重叠被传输到灰度相机114中。然而，由于该子采样，到达灰度相机114的光可能产生具有低空间分辨率的图像数据。

在各个实施例中，遮挡罩220可以被配置为具有有规律地间隔开的开口行，比如行222，所述开口被设计为将光传递到棱镜218。每个开口都可以向灰度相机114提供一个多光谱样本。例如，遮挡罩220中的开口226可以产生多光谱样本228。在至少一个实施例中，所述开口中的每个都可以是矩形形状。棱镜218可以由对波长400至1000纳米（nm）具有已知折射率的玻璃制成。棱镜218可以使光沿着特定方向色散，并且正交方向上的多光谱样本可以任选地被取平均以最小化噪声。

因此，遮挡罩220和棱镜218的布置可以向灰度相机114提供多光谱样本。在一个示例性实例中，该布置可以相对于灰度相机114被配置为使得每个光谱样本都在400nm至700nm的波长上跨越灰度相机114的灰度传感器的大致60个像素，这等价于大约5nm的光谱分辨率。

在另外的实施例中，可以沿着路径212在分光器208与棱镜218之间放置滤光器以滤除某些光谱带。当所期望的是仅仅所选范围的光谱带到达灰度相机114时，可以实现滤光器224。

RGB相机110和灰度相机114的操作可以被统一，使得每个高空间分辨率RGB图像112都与对应的高光谱分辨率灰度图像116同时被捕捉。另外，RGB相机110和灰度相机114可以被对齐以捕捉场景或物体204的相同视图。另外，可以使用扫掠水平和垂直行的校准视频来实现由RGB相机110和灰度相机114所捕捉的图像信息的对应性。

在至少一个实施例中，校准视频可以使用定位在RGB相机110和灰度相机114之前的显示屏来呈现，其中所述RGB相机110和灰度相机114被对齐以捕捉相同视图。扫掠行可以对照黑背景以白色呈现在显示屏上。另外，所显示的扫掠行中的每个都可以具有与荧光灯相似的光谱峰值的光谱。因此，当水平线扫掠到灰度相机114中的示例性灰度传感器232的水平传感器部分230（例如传感器元件的水平行）上时，来自扫掠水平行的光可以产生来自水平传感器部分230的响应。相同的扫掠水平行也可以在其触发示例性灰度传感器232中的响应的时刻也触发RGB相机110中的示例性RGB传感器236的水平传感器部分234（例如传感器元件的水平行）中的类似响应。通过这种方式，灰度相机114和RGB相机110的对应水平传感器部分可以被标识出。

以相同方式，当垂直线扫掠到示例性灰度传感器232的垂直传感器部分238（例如传感器元件的垂直行）上时，来自扫掠垂直行的光可以产生来自垂直传感器部分238的响应。相同的扫掠垂直行也可以在其触发示例性灰度传感器中的响应的时刻也触发RGB相机110中的示例性RGB传感器236的垂直传感器部分240（例如传感器元件的垂直行）中的类似响应。通过这种方式，灰度相机114和RGB相机110的对应垂直传感器部分可以被标识出。基于水平传感器部分（例如水平传感器部分230和234）之间的对应性以及垂直传感器部分（例如垂直传感器部分238和240）之间的对应性，可以确定各个多光谱样本与RGB相机110的示例性RGB传感器236所检测到的像素的对应性。因此，一旦RGB相机110和灰度相机114被校准，则灰度图像116中的每个多光谱样本点都可以具有对应RGB图像112中的共享相同入射光的对应像素。

在各个实施例中，混合相机***104的设置可以针对不同的光谱分辨率进行调整。光谱分辨率可以取决于如下面等式（1）中所示的若干参数：

光谱分辨率 $\∝\{f,n,\mathrm{\ω},\frac{1}{\mathrm{\α}}\}---\left(1\right)$

其中f是灰度相机114的相机透镜242的焦距，n是棱镜218的折射率，ω是棱镜角，并且α是入射光角。光谱分辨率可以通过将较大焦距相机透镜242用于灰度相机114来增加，所述灰度相机114具有防止传感器上的光谱重叠的合适遮挡罩220。然而，光谱分辨率的增加可能导致每图像更少的多光谱样本，这可能降低传播精确度。较大焦距的使用还可能导致更少的光能到达灰度相机114的传感器（例如灰度传感器232）。然而，减小的光能可以通过为每个图像增加曝光时间和/或较低的帧率来补偿。

在一些实施例中，RGB相机110和灰度相机114可以相对于不透明的机壳202被定位为使得来自光圈206的入射光到达灰度相机的相机透镜242和RGB相机110的相机透镜244。然而，可以将分别包括传感器232和236以及相关联的成像处理和传输组件的各相机主体实现在不透明的机壳202之外。另外，这两个组件的成像处理和传输组件可以被集成到单个电子封装中而不是作为单独的封装。

电子设备组件

图3是示出实现混合相机工具的电子设备108的所选说明性组件的框图。在各实施例中，电子设备108可以是通用计算机，诸如台式计算机、平板计算机、膝上型计算机、服务器等。然而，在其它实施方式中，电子设备108可以是相机、智能电话、游戏控制台、个人数字助理（PDA）等中的一个。

电子设备108可包括一个或多个处理器302、存储器304、和/或使用户能够与该电子设备交互的用户控制。存储器304可使用诸如计算机存储介质等计算机可读介质来实现。计算机可读介质包括至少两种类型的计算机可读介质，即计算机存储介质和通信介质。计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可在诸如载波之类的已调制数据信号或其他传输机制中体现计算机可读指令、数据结构、程序模块或其他数据。如本文所定义的，计算机存储介质不包括通信介质。

电子设备108可具有网络能力。例如，电子设备108可经由诸如因特网等一个或多个网络与其他电子设备（例如，膝上型计算机、服务器等）交换数据。在某些实施方式中，电子设备108可用诸如云计算网络中的服务器等的多个联网服务器来替换。

电子设备108的所述一个或多个处理器302和存储器304可以实现包括下列各项的组件：图像合并引擎106、颜色调整模块306、跟踪模块308、用户界面模块310和数据存储312。图像合并引擎106可以根据相似性和空间接近度将每个灰度图像116中的多光谱数据传播到对应的RGB图像112中。在各个实施例中，图像合并引擎106可以实现能够实时执行该传播的双边滤波技术。因此，图像合并引擎106可以产生视频流形式的经合并的图像118。在各个实施例中，图像合并引擎106可以包括多光谱传播模块314和时间增强模块316。这些模块可包括执行特定任务或实现特定抽象数据类型的例程、程序指令、物体和/或数据结构。

双边滤波技术可以考虑到灰度图像116的光强和其对应RGB图像112的光强的差异。由于使用遮挡罩220，RGB图像112可能包括与来自对应灰度图像116的多光谱样本不对应的一个或多个RGB像素、以及与来自对应灰度图像116的多光谱数据具有对应性的一个或多个RGB像素。例如，分辨率为p×q像素的RGB图像和分辨率为m×n(m<p,n<q)的对应多光谱灰度图像的重叠可以产生示例性的组合帧318。在帧318中，可能存在具有对应多光谱样本的RGB像素（被示为阴影像素）（在此称为“相关联的像素”）、以及不具有对应多光谱样本的RGB像素（被示为非阴影像素）（在此称为“不相关联的像素”）。如所示那样，像素320是示例性的相关联的像素，其具有对应的多光谱样本，而像素322是示例性的不相关联的像素，其缺少对应多光谱样本。

然而，多光谱传播模块314可以基于每个不相关联的像素与周围的相关联的像素之间的颜色相似性和空间距离为每个不相关联的像素导出多光谱数据。

参照示例性帧318，多光谱传播模块314可以等式（2）中的如下方式为每个不相关联的像素（i,j）从其相邻的相关联的像素中计算多光谱信息：

${\mathrm{ms}}_{\mathrm{ij}}={\mathrm{\&Sigma;}}_{c\&Element;R,G,B}\frac{{\mathrm{\&Sigma;}}_{k\&Element;\mathrm{\&Omega;}}{g}_{{\mathrm{\&sigma;}}_r}\left(d_k^{\mathrm{RGB}}\right)g_{{\mathrm{\&sigma;}}_s}\left(d_k^{\mathrm{xy}}\right)\&CenterDot;{\mathrm{\&rho;}}_k\&CenterDot;{\mathrm{ms}}_k^c}{{\mathrm{\&Sigma;}}_{k\&Element;\mathrm{\&Omega;}}{g}_{{\mathrm{\&sigma;}}_r}\left(d_k^{\mathrm{RGB}}\right)g_{{\mathrm{\&sigma;}}_s}\left(d_k^{\mathrm{xy}}\right)}---\left(2\right)$

其中ms_ij表示每个不相关联的像素(i,j)的多光谱向量；k∈Ω索引以(i，j)为中心的邻域内的相关联像素，gσ()表示具有零均值和方差为σ的高斯运算符，并且

和

分别表示不相关联的像素(i，j)和k之间在RGB空间和(x，y)空间中的欧几里德距离。在计算

时，多光谱传播模块314可以使用形成帧318的RGB图像中的k的RGB值。因子ρ_k表示k处的给定颜色通道值与(i，j)处的对应值的比率（例如对于红色通道ρ_k＝R_i，j/R_k），并且被包括在内以用于强度匹配。在至少一个实施例中，可以使用σ_s＝16和σ_r＝16的参数设定，而邻域Ω的半径可以被设置成水平相邻的多光谱样本之间的欧几里德距离的两倍。然而，在附加的实施例中可以实现其他参数设定。

因此，如等式（2）中所示，多光谱传播模块314可以在具有相似RGB值的像素之间传播多光谱数据，因为这样的相似性是场景辐射光谱的相似性的强烈指标。在一些实施例中，多光谱传播模块314可以将多光谱数据从一个或多个相邻的相关联的像素以每通道的基础传播到每个不相关联的像素的RGB通道中的每个。通过这种方式，源相关联的像素与目标不相关联的像素之间的不同的光谱部分中的光强度差异可以被考虑到并且使用因子ρ来调制。因此，因子ρ的使用可以使得多光谱传播模块314能够在多光谱样本很稀疏的传播场景期间处理阴影的细微变化。

对于每通道的传播，多光谱传播模块314可以根据RGB相机110的RGB滤光器在每个波长（例如400nm至700nm的波长）处的相对响应将多光谱数据从多光谱灰度图像（例如灰度图像116）分离到各RGB通道中，这如等式（3）和（4）中所示：

对于c＝r，g，b， ${\mathrm{ms}}_k^c={\mathrm{ms}}_k\&CircleTimes;w^c---\left(3\right)$

其中

$w_{\mathrm{\&lambda;}}^c=\frac{q_{\mathrm{\&lambda;}}^c}{{\mathrm{\&Sigma;}}_c{q}_{\mathrm{\&lambda;}}^c}---\left(4\right)$

并且表示滤光器c在波长λ处的响应。因此，在传播了每通道多光谱数据以后，多光谱传播模块314可以针对每个不相关联的像素对对应RGB通道的光谱值求和以获得每个不相关联的像素的完全光谱。

在混合相机工具102被配置为捕捉视频流的实例中，时间增强模块316可以在不同帧之间在时间上传播多光谱数据。多光谱数据的时间传播可以基于如下假定：在一帧中记录的一场景点的多光谱数据可能对于另一帧中的相同场景点而言是大约有效的。

在各个实施例中，时间增强模块316可以使用光流算法来跟踪已为之获得多光谱数据的场景点。例如，光流算法可以辨别物体在一系列图像中的明显运动的模式，并且将这样的模式用于预测随后的图像中的场景点的位置。基于这样的预测，时间增强模块316然后可以将这些场景点处的多光谱数据从一个或多个在先图像传播到一个或多个后续图像。在场景324中所示的至少一个实施例中，时间增强模块316可以针对时刻t的图像326分别使用来自两个在时刻t－1和t－2的在先图像328和330来为图像326生成更多相关联的像素。例如，如场景324中所示，时间增强模块316可以将相关联的像素332的多光谱样本从图像330传播到图像326，使得图像326中的不相关联的像素334变为相关联的像素。在其他实施例中，可以实现从更多或更少在先图像中辨别运动模式的其他光流算法。

颜色调整模块306可以自动地对图像进行颜色调整，比如白平衡。在各个实施例中，经合并的图像118的高空间和高光谱分辨率性质可以帮助颜色调整模块306执行白平衡调整。颜色调整模块306可以直接从图像合并引擎106接收经合并的图像118。

例如，常规RGB相机可以捕捉由荧光照明照射的暖色物体的RGB图像。然而，物体在RGB图像中的暖色可能导致颜色调整模块306推断：物体是由钨丝灯而不是荧光灯照射的。该不正确的推断可以导致颜色调整模块306不正确地调整图像的白平衡。

相比之下，当颜色调整模块306接收相同暖色物体的经合并的图像118时，颜色调整模块306可以使用经合并的图像118中的附加的光谱峰值信息（例如在546nm和611nm处的光谱峰值）来正确地推论：该物体是由荧光照明照射的。颜色调整模块306然后可以基于该推论正确地调整经合并的图像118中的白平衡。

跟踪模块308可以跟踪经合并的图像118中所记录的一个或多个物体。跟踪模块308可以直接从图像合并引擎106接收经合并的图像118。对前景物体的跟踪可以基于前景物体同背景的区分。当前景物体与背景具有相似颜色时，这样的区分可能是特别具有挑战性的。然而，通过使用高空间分辨率和高光谱分辨率合并图像118，跟踪模块308可以容易地将所捕捉的前景物体同这样的场景中的背景区分开，因为相似颜色的前景物体和背景之间的光谱差异（例如不同的光谱峰值）可能与在类似低光谱分辨率图像中相比是更明显的。结果，跟踪模块308可以有效地跟踪在上述场景中在经合并的图像118中捕捉到的物体。

用户界面模块310可以使用户能够使用用户界面（未示出）与电子设备108上的各个模块进行交互。该用户界面可包括数据输出设备（例如，视觉显示器、音频扬声器）以及一个或多个数据输入设备。数据输入设备可包括但不限于，键区、键盘、鼠标设备、触摸屏、话筒、语音识别软件包以及任何其他合适的设备或其他电子/软件选择方法中的一个或多个的组合。

在各个实施例中，用户界面模块310可以使得用户能够调整由图像合并引擎106、颜色调整模块306和/或跟踪模块308的各模块所使用的各个阈值和设定。例如，用户可以使用用户界面模块310来调整由多光谱传播模块314所使用的因子ρ。在另一示例中，用户还可以使用用户界面模块310来输入由时间增强模块316的光流算法所分析的在先图像的数目。在附加的示例中，用户可以使用用户界面模块310来调整颜色调整模块306的白平衡设定或者选择要由跟踪模块308跟踪的一个或多个物体。

数据存储312可以存储RGB图像112、灰度图像116、以及经合并的图像118。在各个实施例中，每个图像集合都可以是对应视频中的帧。RGB图像112、灰度图像116、以及经合并的图像118可以按未压缩（即，原始）、无损压缩、或有损压缩格式来存储。附加地，数据存储312还可存储由混合相机工具102的各个组件生成或使用的值或其他中间产物。

示例过程

图4和5描述了用于实现混合相机工具的各个示例过程。每一示例过程中描述操作的次序并不旨在解释为限制，并且任何数量的所描述的操作可以按任何次序和/或并行组合以实现每一个过程。此外，图4和5的每一幅图中的操作可以用硬件、软件及其组合来实现。在软件的上下文中，各个操作表示在由一个或多个处理器执行时使得一个或多个处理器执行既定操作的计算机可执行指令。一般而言，计算机可执行指令包括使得执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。

图4是示出用于生成高空间分辨率和高光谱分辨率合并图像的示例过程400的流程图。在框402，分光器208可以将来自场景或物体204的入射光分成第一光部分和第二光部分。在框404，RGB相机110可以基于第一光部分形成高空间分辨率RGB图像112。RGB图像112可能比高光谱分辨率灰度图像116具有更低光谱分辨率。RGB图像112可以基于红、绿和蓝颜色通道数据将图像编码。在一些实施例中，第一光部分可以在到达RGB相机110以前被镜214反射。

在框406，遮挡罩220、棱镜218和灰度相机114的组合可以生成包括多光谱样本的高光谱分辨率灰度图像116。灰度图像116可能比高空间分辨率RGB图像112具有更低空间分辨率。在一个实施例中，每个光谱样本（例如光谱样本228）都可以在400nm至700nm的波长上跨越大致60个像素，这等价于大约5nm的光谱分辨率。在一些实施例中，滤光器224可以进一步在光路中定位在遮挡罩220与棱镜218之间以在生成高光谱分辨率图像以前滤除第二光部分中的某个光谱带。

在框408，图像合并引擎106可以合并高空间分辨率RGB图像112和高光谱分辨率灰度图像116以生成经合并的图像118。在一些实施例中，经合并的图像118可以具有RGB图像112的高空间分辨率和灰度图像116的高光谱分辨率二者。由于相应RGB相机110和灰度相机114是对齐的这一事实，可以实现RGB图像112与灰度图像116之间的合并。在一些实例中，相机可以通过经由校准来关联相机中的传感器元件来对齐。在一些实施例中，经合并的图像118可以被颜色调整模块306进一步处理（即白平衡）。在其他实施例中，图像合并引擎106可以通过对高空间分辨率RGB图像序列和对应高光谱分辨率灰度图像序列重复过程400来生成形成视频流的经合并的图像的序列。

图5是示出用于将像素的多光谱信息从高光谱分辨率图像传播到高空间分辨率图像的示例过程500的流程图。示例过程500进一步示出了过程400的框408。

在框502，多光谱传播模块314可以标识出RGB图像112中的具有对应多光谱样本的RGB像素。如上所述，这样的像素在此被称为“相关联的像素”。在一些实施例中，多光谱传播模块314可以从对应于RGB图像112的灰度图像116中采集对应的多光谱样本。在其他实施例中，时间增强模块316还可以提供从时间上在RGB图像112之前的一个或多个RGB图像所采集的附加的多光谱样本，使得可以标识出附加的相关联的像素。

在框504，多光谱传播模块314可以标识出RGB图像112中的不具有来自匹配的灰度图像116和/或从在先RGB图像中采集的对应多光谱样本的RGB像素。如上所述，这样的像素在此被称为“不相关联的像素”。

在框506，多光谱传播模块314可以将多光谱信息从一个或多个相邻的相关联的像素传播到每个不相关联的像素。多光谱传播模块314可以在具有相似RGB值的像素之间传播多光谱数据，因为这样的相似性是对场景辐射光谱的相似性的强烈指标。在一些实施例中，多光谱传播模块314可以将多光谱数据从一个或多个相邻的相关联的像素以每通道的基础传播到每个不相关联的像素的各个RGB通道，并且然后对RGB通道的光谱值求和以获得每个不相关联的像素的完全光谱。通过这种方式，多光谱传播模块314可以将多光谱信息传播到每个不相关联的像素。

该混合相机工具可以通过提供具有更高光谱分辨率的图像而比独立RGB相机提供更优的图像。同样，该混合相机工具可以通过提供具有更高空间分辨率的图像而比独立灰度相机提供更优的图像。因此，不同于用时间分辨率或空间分辨率换取附加光谱信息的***，该混合相机工具不牺牲分辨率来交换光谱精确度。

结语

总而言之，尽管用对结构特征和/或方法动作专用的语言描述了各实施方式，但可以理解，所附权利要求书中定义的主题不必限于所述具体特征或动作。相反，这些具体特征和动作是作为实现权利要求的所要求保护的主题的示例性形式而公开的。

Claims (20)

1.一种设备，包括：

分光器，用以将入射光分成第一光部分和第二光部分；

第一相机，其基于所述第一光部分记录红、绿、蓝（RGB）图像；

遮挡罩，其对来自所述第二光部分的光辐射进行子采样以提供多光谱样本；以及

第二相机，其记录包括所述多光谱样本的灰度图像。

2.如权利要求1所述的设备，其特征在于，还包括图像合并引擎，所述图像合并引擎合成经合并的图像，所述经合并的图像具有从所述RGB图像导出的空间分辨率以及从所述灰度图像导出的光谱分辨率。

3.如权利要求1所述的设备，其特征在于，还包括不透明的机壳，所述不透明的机壳包括用以将所述入射光传递给所述分光器的光圈，所述不透明的机壳至少包围所述分光器、所述遮挡罩以及棱镜。

4.权利要求1所述的设备，其特征在于，还包括镜，所述镜以减少第一相机与第二相机之间的距离的角度将所述第一光部分从所述分光器反射到所述第一相机。

5.权利要求1所述的设备，其特征在于，还包括棱镜或另一光谱色散光学组件，所述棱镜或所述另一光谱色散光学组件沿着初始方向将所述第二光部分色散，并且利用所述棱镜或所述另一光谱色散光学组件，所述多光谱样本在正交于所述初始方向的另一方向上被取平均。

6.权利要求1所述的设备，其特征在于，还包括滤光器，所述滤光器对所述第二光部分进行过滤以移除所述第二光部分的一个或多个光谱带。

7.一种方法，包括：

从入射光的第一部分中形成高空间分辨率图像；

基于所述入射光的第二光部分生成包括多光谱样本的高光谱分辨率图像，所述高光谱分辨率图像比所述高空间分辨率图像具有更低空间分辨率和更高光谱分辨率；以及

将所述高空间分辨率图像与所述高光谱分辨率图像合并以生成经合并的图像，所述经合并的图像具有所述高空间分辨率图像的空间分辨率和所述高光谱分辨率图像的光谱分辨率。

8.权利要求7所述的方法，其特征在于，还包括：将所述入射光分成所述第一光部分和所述第二光部分。

9.权利要求7所述的方法，其特征在于，还包括：对所述经合并的图像执行颜色调整。

10.权利要求7所述的方法，其特征在于，所述高光谱分辨率图像是基于红、绿、蓝颜色通道数据被编码的红、绿、蓝（RGB）图像，并且其中所述高光谱分辨率图像是灰度图像。

11.如权利要求7所述的方法，其特征在于，所述生成包括：

使所述第二光部分穿过对来自所述第二光部分的光辐射进行子采样的遮挡罩以生成所述多光谱样本；

将所述第二光部分沿着初始方向色散，并且由此所述多光谱样本在正交于所述初始方向的另一方向上被取平均；以及

记录包括所述多光谱样本的高光谱分辨率图像。

12.如权利要求7所述的方法，其特征在于，所述合并包括：

标识出所述高空间分辨率图像中的具有来自所述高光谱分辨率图像的对应多光谱样本的相关联的像素；

标识出所述高空间分辨率图像中的缺少来自所述高光谱分辨率图像的对应多光谱样本的不相关联的像素；以及

将多光谱信息从一个或多个相邻的相关联的像素传播到每个不相关联的像素。

13.权利要求12所述的方法，其特征在于，还包括通过如下方式来标识出另一相关联的像素：使用光流从时间上在所述高空间分辨率图像之前的另一高空间分辨率图像中采集附加的多光谱样本。

14.权利要求12所述的方法，其特征在于，所述传播包括：将所述多光谱信息以每通道的基础传播到不相关联的像素的多个RGB通道中的每个，并且对所述多个RGB通道的光谱值求和以获得所述不相关联的像素的完全光谱。

15.一种计算设备，包括：

一个或多个处理器；以及

存储器，其包括多个计算机可执行组件，所述多个计算机可执行组件包括：

多光谱传播组件，其从高空间分辨率图像和在高光谱分辨率图像中捕捉的多光谱样本中生成经合并的图像，所述高空间分辨率图像比所述高光谱分辨率图像具有更低的光谱分辨率和更高的空间分辨率；以及

时间增强组件，其通过光流从时间上在所述高空间分辨率图像之前的至少一个附加的高空间分辨率图像中采集所述多光谱样本中的一个或多个。

16.如权利要求15所述的计算设备，其特征在于，还包括颜色调整组件，所述颜色调整组件自动调整所述经合并的图像的一个或多个颜色。

17.如权利要求15所述的计算设备，其特征在于，多光谱传播组件从对应高空间分辨率图像和高光谱分辨率图像中生成多个经合并的图像，还包括跟踪组件，所述跟踪组件跟踪在所述多个经合并的图像中所捕捉的物体。

18.如权利要求15所述的计算设备，其特征在于，所述多光谱样本中的至少一些是从穿过遮挡罩和棱镜的光中生成的。

19.如权利要求15所述的计算设备，其特征在于，所述多光谱传播组件通过如下方式生成所述经合并的图像：

标识出所述高空间分辨率图像中的具有来自所述高光谱分辨率图像的对应多光谱样本的相关联的像素；

标识出所述高空间分辨率图像中的缺少来自所述高光谱分辨率图像的对应多光谱样本的不相关联的像素；以及

将多光谱信息从一个或多个相邻的相关联的像素传播到每个不相关联的像素。

20.如权利要求15所述的计算设备，其特征在于，所述多光谱传播组件将所述多光谱样本中的多光谱信息以每通道的基础传播到不相关联的像素的多个RGB通道中的每个，并且对所述多个RGB通道的光谱值求和以获得所述不相关联的像素的完全光谱。

Images