CN112789495B - 混合光谱成像仪 - Google Patents

Abstract

本发明公开了一种在凝视光谱扫描模式和视频快照光谱成像模式下操作的混合和扫描/快照光谱成像仪。在一组可选的临界光谱波段上进行快照光谱成像操作，包括基于机器学***台中。本发明旨在解决至少部分地包括无损检验、实时光谱和化学映射、无创诊断和光谱摄影的应用。

Description

混合光谱成像仪

技术领域

本申请总体上涉及成像。具体地但非排他性地，本申请涉及高光谱成像和快照光谱成像。更具体地但非排他性地，本申请涉及将图像分割和滤波光学器件用于小型化的、与光谱估计结合的视频快照光谱成像和多快照高光谱成像，光谱估计用于实现扩展色域光谱摄影和对天然对象、人工对象和生物组织对象的光谱和化学映射。

背景技术

高光谱成像广泛地用于许多应用。在许多解决方案中，将光谱信息与空间信息一起获取是一个具有挑战性的技术问题。

其中最流行的解决方案是基于使用传统点或线光谱仪对场景进行空间扫描或基于使用成像单色仪，也称为凝视光谱成像仪的光谱扫描的解决方案。空间扫描高光谱成像仪包括例如推扫式和摆扫式光谱成像仪。凝视的种类包括从名称上说是滤光轮、声光可调谐滤波器(AOTF)、液晶可调谐滤波器(LCTF)、干涉***、线性可变干涉滤波器(LVIF)、可调谐法布里-珀罗(Fabry-Perot)腔等。与常规相机同步的可调谐光源包括低成本选项，用于在光源的每个波长调谐步骤中捕获光谱图像；然而，由于环境光的随机贡献，可调谐光源显然包括遥感应用中的次优解决方案。通常，扫描型高光谱成像仪遇到的主要缺点是需要花费大量时间来扫描其整个工作波长范围，这使得当扫描型高光谱成像仪旨在用于对移动目标或光谱特征随时间变化的目标的分析时变得不切实际。

快照(瞬时)光谱成像仪已经成为此问题的解决方案。此类解决方案包括依赖于单次捕获多路复用的空间和光谱信息以及通过后期处理重建光谱图像的解决方案。编码孔径和层析成像技术属于此类瞬时光谱成像仪。

基于空间和光谱信息的多路复用的快照光谱成像仪的主要缺陷是在空间分辨率和光谱分辨率之间进行权衡，这通常需要相对长的后处理时间，这实际上是被禁止用于视频速率光谱成像的。例如，当光谱成像触发或指导生物医学或工业应用中的行动时，光谱成像的实时性方面是必不可少的。

像素化光谱成像仪提供实时快照光谱成像，由用多个光谱上互不重叠的带通滤波器的马赛克布置替换彩色相机中使用的三个原色滤波器阵列来构建。通常，这些滤波器彼此之间具有光谱上连续的峰值波长。像素化光谱成像仪提供实时显示，然而要以空间分辨率为代价。在多路复用光谱成像仪和像素化光谱成像仪中，以空间分辨率为代价获得了光谱维数的增加。特别地，300×300像素的空间分辨率是典型的，这对于包括专业摄影、医学成像和无损检验在内的一长串应用来说是不可接受的。最近的出版物描述了将像素化光谱成像仪与常规的三色高分辨率相机集成在一起的方法，目的是虚拟地扩展像素化光谱成像仪的空间信息。然而，这需要大量的后处理时间，这就抵消了像素化光谱成像仪在实时、同时显示光谱图像方面优于多路复用光谱成像仪的优势。更重要地，由于自然场景的空间信息具有非常高的异质性，因此对缺失的空间信息进行建模和估计是一项耗时、计算量大且易于出错的过程。

发明内容

本发明旨在提供一种混合光谱成像仪，该混合光谱成像仪减轻了现有技术的光谱成像***中存在的局限性。

根据本发明的第一方面，所公开的混合光谱成像仪包括：

成像头布置IHA，该成像头布置IHA包括：

光学成像装置，该光学成像装置用于沿着成像路径收集并聚焦目标场景或对象的图像；

多波段滤波光学器件MBFO装置，该多波段滤波光学器件MBFO装置包括：

分束器装置，该分束器装置用于生成目标图像的至少两个图像副本；

可调谐多波段滤波TMF装置，该可调谐多波段滤波TMF装置被***成像路径中并在所述图像副本中实现可调谐多带通滤波；

马赛克滤波器阵列MFA传感器布置，该马赛克滤波器阵列MFA传感器布置包括至少一个马赛克滤波器阵列MFA-焦平面阵列FPA传感器，所述多波段滤波的图像副本在该马赛克滤波器阵列MFA-焦平面阵列FPA传感器上聚焦，该马赛克滤波器阵列MFA-焦平面阵列FPA传感器包括用至少三个宽波段原色类型的滤波器以像素化方式掩蔽的焦平面阵列装置，每个原色类型对从所述多波段滤波的图像副本中分离并捕获一个单波段图像分量做出响应；

控制和处理单元CPU，该控制和处理单元CPU连接到成像头布置、执行程序指令以用于：校准图像采集过程；在可调谐多波段滤波TMF的给定调谐步骤和多个所述调谐步骤中，由马赛克滤波器阵列MFA传感器布置控制和同步图像副本的采集/捕获；对马赛克滤波器阵列MFA传感器布置的响应进行光谱净化，以补偿马赛克滤波器阵列MFA和可调谐多波段滤波TMF之间的波段串扰；

显示装置，该显示装置用于在用户界面装置上至少显示所获取的单波段图像；

其中，控制和处理单元CPU被配置为在所述显示装置上重建并显示所使用的每个马赛克滤波器阵列MFA-焦平面阵列FPA传感器的至少三个不同单波段图像的集合；

其中，控制和处理单元CPU被配置为调谐可调谐多波段滤波TMF，以用于选择不同单波段图像的集合的中心波长，使得在所期望的光谱波段上进行视频快照光谱成像和/或在给定调谐步骤中捕获一定数量的不同单波段图像的集合以及在多步骤过程中捕获多个集合，一直持续到在焦平面阵列FPA传感器的光谱灵敏度范围内收集包括至少30个单波段图像的完整高光谱立方体数据集的集合为止。

根据第一方面的实施例，控制和处理单元CPU被配置为执行程序指令，以用于在特定于目标场景或特定于对象的光谱数据库中识别与填充有显著光谱特征的波长相对应的一组临界光谱波段CSB。例如，所述显著光谱特征对应于所捕获的光谱的峰值和/或谷值和/或斜率。

根据第一方面的实施例，控制和处理单元CPU被配置为执行程序指令，以用于通过在稀疏采样数据点处捕获的响应与训练的光谱估计模型和相关算法进行拟合，从沿着光谱在稀疏采样数据点处捕获的马赛克滤波器阵列MFA-传感器布置的响应中恢复全光谱。根据第一方面的实施例，稀疏采样数据点对应于一组临界光谱波段CSB。

根据第一方面的实施例，控制和处理单元CPU被配置为生成光谱立方体，该光谱立方体包含由所述马赛克滤波器阵列MFA-传感器阵列装置捕获的快照光谱图像的集合和一组估计的光谱图像，所有的图像一起以视频速率显示。

根据第一方面的实施例，从所有图像像素的所述重建光谱的估计的数据点处获得所述估计的光谱图像作为二维阵列，该二维阵列包括与属于所述光谱的重建部分的特定波长波段相对应的强度值。

根据第一方面的实施例，光谱估计模型和算法属于一类算法，该一类算法至少部分地包括最小二乘、维纳估计、核方法、人工神经网络、稀疏重建和深度学习方法。例如，根据应用，可使用组中的一个或多个模型和算法来对估计的光谱图像的缺失数据点进行估计。

根据第一方面的实施例，所述控制和处理单元CPU被配置为执行程序指令，以用于光谱成像数据集的光谱分类和用于在显示装置上显示光谱分类的光谱主题图。

根据第一方面的实施例，所述光谱分类利用监督分类器和存储在数据库中的、具有带化学标识和标签的光谱的光谱数据集，而将光谱主题图转换为化学图或诊断图。

根据第一方面的实施例，光学成像装置从包括摄影镜头、光学显微器件、光学准直器件、无限校准光学器件、刚性或柔性内窥镜以及望远镜的组中选择。根据应用或用户需求选择光学成像装置。

根据第一方面的实施例，在空中、陆地或水下成像条件下，所述目标场景或对象从至少部分地包括人类或动物组织、植物组织、风景场景、加工食品料或食品原料、天然材料、人造材料的组中选择。

根据第一方面的实施例，多波段滤波光学MBFO装置至少部分地包括立方体分束器、板式分束器、偏振分束器、五边形分束器/分光器、具有镜面喷涂立柱的直角棱镜、具有镜面喷涂立柱的镜面喷涂金字塔棱镜、圆点分束器和薄膜分束器。

根据第一方面的实施例，所述可调谐多波段滤波TMF至少部分地包括角度依赖光谱透射滤波ADSF，角度依赖光谱透射滤波ADSF具有角度依赖光谱透射滤波ADSF型二色和多色镜、角度依赖光谱透射滤波ADSF型多带通滤波器、空间光调制器、声光器件、液晶光谱调制器、表面等离子体滤波器及其组合的形式。

根据第一方面的实施例，所述可调谐多波段滤波TMF是角度依赖光谱滤波ADSF型多波段反射和/或透射滤波器，当在±30°的角度范围内倾斜时，角度依赖光谱滤波ADSF型多波段反射和/或透射滤波器具有以波段的中心波长的大约15％进行调谐的特性。

根据第一方面的实施例，所述角度依赖光谱滤波ADSF型滤波器装置设置在倾斜致动器装置的可倾斜轴上，并且其中，倾斜致动器从包括电动机电元件、旋转致动器、马达、旋转螺线管、磁致动器、电致动器、热致动器和微机电***MEMs的组中选择。致动器的实施取决于所期望的应用，并可涉及使用来自该组的一个或多个元件和/或本领域技术人员已知的其他装置。

根据第一方面的实施例，所述控制和处理单元CPU和显示装置至少部分地包括微控制器单元、存储器单元、现场可编程门阵列FPGA、移动电话、平板电脑、笔记本电脑、平板显示器和视频护目镜。例如，控制和处理单元CPU和显示装置可以以各种方式实施，可涉及该组中提到的一个或多个元件和/或本领域技术人员已知的任何其他装置。

根据第一方面的实施例，分束器是设置在倾斜致动器装置的所述可倾斜轴上的倾斜五棱镜分束器，其中，所述可调谐多波段滤波TMF是沉积在所述五棱镜分束器的第一反射表面上的角度依赖光谱滤波ADSF型多色镜面涂层，角度依赖光谱滤波ADSF型多色镜面涂层在倾斜角不变的正交方向上反射和透射两个多波段滤波的图像副本，并且其中，成像头布置IHA包括两个马赛克滤波器阵列MFA-焦平面阵列FPA传感器，马赛克滤波器阵列MFA-焦平面阵列FPA传感器设置在所述光学成像装置的透射/反射焦平面上，以用于基本上同时捕获透射和反射的多波段滤波的图像副本。

根据第一方面的实施例，分束器是设置在倾斜致动器装置的可倾斜轴上的倾斜五棱镜分束器，其中，可调谐多波段滤波TMF包括设置在出现图像副本的五棱镜表面上的一对角度依赖光谱滤波ADSF型多带通滤波器，角度依赖光谱滤波ADSF型滤波器在倾斜角不变的正交方向上透射两个多波段滤波的图像副本，并且其中，成像头布置IHA包括两个马赛克滤波器阵列MFA-焦平面阵列FPA传感器，马赛克滤波器阵列MFA-焦平面阵列FPA传感器设置在所述光学成像装置的透射/反射焦平面上，以用于基本上同时捕获透射的多波段滤波的图像副本。

根据第一方面的实施例，五棱镜的第一反射表面与三角棱镜粘合在一起，使得五棱镜的后表面平行于五棱镜的前表面以补偿图像失真效应。

根据第一方面的实施例，分束器是设置在成像路径中的固定位置处的分束元件，该固定位置被定义为所述光学成像光学装置的后端与其焦平面之间的空间，其中，可调谐多波段滤波TMF包括一对角度依赖光谱滤波ADSF型多带通滤波器，每个角度依赖光谱滤波ADSF型多带通滤波器设置在两个倾斜致动器装置的可倾斜轴上，并***分束光路中，并且其中，成像头布置IHA包括两个马赛克滤波器阵列MFA传感器装置，以用于基本上同时捕获透射的多波段滤波的图像副本。

根据第一方面的实施例，分束器是科斯特

棱镜型分束器，该科斯特棱镜型分束器被配置为使得其一个角的等分线涂覆有角度依赖光谱滤波ADSF型滤波器，并且其中，成像头布置IHA包括单个马赛克滤波器阵列MFA传感器装置，该单个马赛克滤波器阵列MFA传感器装置设置在所剖切的角的相对侧上，将两个多波段图像副本捕获到所述单个马赛克滤波器阵列MFA传感器的两个不同区域中。

根据第一方面的实施例，分束器包括多侧面反射器，该多侧面反射器中的至少两个侧面被镜面喷涂，被镜面喷涂的侧面被配置为将入射光束分成至少两个相反地反射的分量。

根据第一方面的实施例，多波段滤波光学MBFO装置包括：

光学元件，该光学元件被配置为生成一组相同图像；

滤波器阵列装置，该滤波器阵列装置被配置为对所述图像副本进行光谱滤波，使得光在一组离散的光谱波段处透射和/或反射；

玻璃屏幕，该玻璃屏幕被配置为可视化滤波的图像副本的集合；和

中继透镜，该中继透镜被配置为将玻璃屏幕上显示的图像聚焦到至少一个成像传感器上。

根据第一方面的实施例，多波段滤波光学MBFO装置包括通用安装装置，以用于将多波段滤波光学MBFO装置与商业相机装置的相应镜头适配器可拆卸地安装，所述相机装置能够独立地直立或集成到移动电话/计算机平台装置中。

根据第一方面的实施例，所述成像头布置IHA包括图像偏移补偿光学元件，该图像偏移补偿光学元件设置在终止于光学成像装置的焦平面的图像路径中，该图像偏移补偿光学元件被配置为由倾斜致动器以相对于角度依赖光谱滤波ADSF型滤波器的倾斜角成比例且相反的倾斜角定位，来补偿由倾斜引起的光学介质的光程长度的变化以及相关的图像失真/位移效应。

根据第一方面的实施例，图像偏移补偿光学元件是具有预定厚度和折射率的玻璃板，该玻璃板的选择使得所聚焦的图像在相反方向上移动与由所述角度依赖光谱滤波ADSF型滤波器引起的移位基本上相等的距离。

根据第一方面的实施例，混合光谱成像仪被配置为用作扩展色域、无同色异谱和全光谱摄影相机，其中：

多波段滤波光学MBFO装置和马赛克滤波器阵列MFA传感器布置装置被配置为在光谱的可见部分内捕获至少五个所述单波段图像；且控制和处理单元CPU单元被配置为基于大光谱集合来执行光谱估计模型的训练任务，大光谱集合至少部分地包括蒙赛尔Munsell光谱集合；执行基于光谱估计模型的算法来拟合稀疏采样的光谱数据点，以重建所有图像像素中的光谱；从所述光谱计算CIE比色色彩参数；以及在显示装置中显示彩色图像，该彩色图像的像素值对应于从全光谱得到的色彩参数。

根据第一方面的实施例，多波段滤波光学MBFO装置和马赛克滤波器阵列MFA传感器布置装置被配置为在光谱的可见部分内捕获至少五个单波段图像和在所述硅传感器装置的近红外灵敏度范围内捕获至少一个单波段图像；控制和处理单元CPU单元被配置为利用单波段图像的近红外响应来执行图像处理任务，所述处理的输出至少部分地包括：对照亮所述目标场景或对象的环境光的光谱特征的估计；估计所述目标场景或对象的表面反射率以实现色彩恒定；从所述彩色图像中提取雾度元素。

根据本发明的第二方面，提供了一种用于视频、全分辨率高光谱成像的方法，该方法包括以下步骤：

获得密集采样的光谱集群，该光谱集群在统计上足以代表目标场景或对象的光谱标识/复杂度；分析所述密集采样的光谱集，以用于通过光谱特征提取来提取所述光谱集群的稀疏表示；在密集采样的光谱中，识别与高度填充有显著光谱特征的光谱波段基本上重叠的波段对应的临界光谱波段CSB；以及通过根据本发明的第一方面的实施例的混合光谱成像仪装置执行以下步骤：基本上同时捕获具有与所识别的临界光谱波段CSB相对应的中心波长的光谱图像；通过与密集采样的光谱的光谱数据集样本相关联的光谱估计模型来拟合临界光谱波段CSB空间和光谱数据点，通过估计缺失的光谱数据点和相应的光谱图像来重建目标对象或场景的光谱立方体；并以视频速率显示重建的光谱立方体的全部内容和得到的光谱主题图中的至少一个。

扫描光谱成像仪以全空间分辨率生成数十个光谱图像，但是需要大量的采集时间。快照光谱成像仪同样生成数十个光谱图像，需要零扫描时间，而其中一些光谱图像会损害空间分辨率，而另一些光谱图像需要长的后处理时间，无法实现实时光谱成像。

理想的高光谱成像仪可描述为能够获取和显示包括30个或更多个窄波段图像的高光谱立方体的全部内容的装置，和/或几乎以视频速率和高清晰度传感器的分辨率全面表示所述立方体的内容的任何图像装置。本发明寻求通过使得快照视频光谱成像能够在所期望的一组显著光谱波段处实现，来达成该最终目标，这是基于训练的光谱估计的补充，以用于重建缺失的光谱图像，使得所述高光谱立方体的全部内容以视频速率显示。

特别地，发现本发明的基础在于观察到：在常用的硅或锗光传感器的灵敏度光谱范围(0.3-1.7μm)内记录的固体/液体材料的反射/透射/荧光光谱具有宽范围，并具有少量的显著特征(例如峰值、谷值和斜率)。由于对应于光谱的无特征部分的信息大多数是多余的，因此允许在位于所述显著光谱特征附近的稀疏采样点处捕获光谱信息。通过这样的方法，可以选择多个光谱特征信息的光谱波段，以用于在传感器的全空间分辨率下同时进行光谱成像。可以基于所述光谱特征信息的光谱波段结合有效的训练过程来估计缺失的数据点。对于给定的空间分辨率，几乎可以以视频速率获取/显示的光谱波段的最大数量由数据传输协议的带宽确定。当今可用的带宽高达20Gbit/s(例如USB 3.2)，从而允许以视频速率或者甚至更快的速度传输数十个高分辨率光谱图像(例如全高清或4K)。实际上，所述显著光谱特征的数量通常小于十，这表明带宽对可以同时且几乎以视频速率捕获的数百万像素光谱图像的数量没有构成明显的限制。

所述快照光谱图像的给定像素位置处的强度值在不同的波长下捕获，并包括采样的光谱信息。如前面所讨论的，采样数据点对于光谱的显著特征(例如峰值、谷值)是有用的(尽管稀疏)。因此，采样数据点可用光谱估计模型来拟合，并用合适的数据集来训练，以恢复每个图像像素的全光谱。这相当于重建包括采样和估计的光谱图像的全光谱立方体。

显而易见地，与估计像素化光谱成像仪中缺失的空间点相比，估计宽而平滑的光谱是快速且简单得多的过程，原因是估计像素化光谱成像仪中缺失的空间点包括典型的现有技术实践。如本段前面所讨论的，当采集的光谱波段位于与所述显著光谱特征相对应的波长附近时，所述光谱估计的精确度显著提高。通常，与所述显著光谱特征相对应的波长可以根据成像对象的类别(例如植物、皮肤、食物等)的性质而变化。为了能够适应这种变化，所公开的混合光谱成像仪集成了电光装置，从而允许在一组临界光谱波段(CSB)处同时调谐和锁定光谱图像采集。所述单个CSB典型地具有窄的(例如10nm-40nm)半峰全宽(FWHM)，且中心波长位于与所述光谱特征相对应的波长附近的位置。在选择并锁定所述CSB时，同时捕获一组窄波段图像并以视频速率显示该一组窄波段图像。在与视频刷新率相当的执行时间内，基于训练的光谱估计程序用于以所述CSB图像为基础来恢复缺失的光谱数据点。最后，所得到的光谱立方体是估计的和获取的(CSB)光谱图像的混合。

前面讨论的光谱估计需要关于所述目标场景或对象的预期光谱特征的先验知识。本发明提供了用于在缺少这种先验知识的情况下建立这种先验知识的方法。在这种情况下，所公开的混合光谱成像仪切换到扫描模式，在扫描模式下，时间连续地收集一系列光谱图像，构成采样的光谱立方体。所述采样的光谱立方体可包括关于用于后续成像任务的所述目标场景或对象的预期光谱特征的先验知识。还可以分析相同的数据集，目的是为了识别所述显著光谱特征和相应的CSB，以用于随后的快照/光谱估计操作以及用于开发可靠的光谱估计模型。

光谱估计可以基于通用训练集或特定于应用的训练集，且相关算法可以足够快，需要的后处理时间可以忽略不计。所公开的混合光谱成像仪的输出数据流对应于全光谱立方体，其全部内容可以以视频速率显示。

本发明公开了一种小型化可调谐滤波器的方案，该滤波器能够进行混合、扫描和快照操作。借助于多波段滤波光学器件(MBFO)可以对获取的光谱图像进行光谱滤波。所述MBFO包括：分束器装置，该分束器装置用于生成目标图像的至少两个图像副本；以及可调谐多波段滤波(TMF)装置，该TMF装置被***成像路径中并在所述图像副本中实现可调谐多带通滤波；所述MBFO对场景的图像的波长内容进行第一光谱过滤。所述MBFO可以包括光学元件，该光学元件至少部分地包括从一组光学元件中选择的分束器，该一组光学元件包括但不限于立方体分束器、板式分束器、偏振分束器、五边形分束器/分光器、具有镜面喷涂立柱的直角棱镜、具有镜面喷涂立柱的镜面喷涂金字塔棱镜、圆点分束器和薄膜分束器或其组合。所述MBFO还包括可调谐多波段滤波(TMF)装置，该TMF装置至少部分地包括角度依赖光谱滤波(ADSF)、ADSF型二色和多色镜、ADSF型多带通滤波器、空间光调制器、声光器件、液晶光谱调制器、表面等离子体滤波器及其组合。所述MBFO实现图像倍增，生成多个图像副本，这些副本随后由所述TMF进行多波段滤波。所述TMF可以是可调谐的，以允许在给定的调谐步骤处采集/捕获一组多波段图像和/或全光谱立方体，该多波段图像和/或全光谱立方体包括至少三十个半峰全宽(FWHM)在10nm-40nm范围内的(窄)单波段图像。例如，ADSF型滤波器具有通过改变(倾斜)其表面的法线与入射主成像光线之间的角度来调谐而改变透射/反射波段的中心波长的特性。在本发明的一些实施例中利用该特性来实现快照多波段成像和扫描光谱成像。所述MBFO可以设置在物镜装置的前面，或者设置在物镜或(中继)透镜凸缘与成像光学器件的焦平面之间的空间中。所述多波段滤波的图像副本被图像传感器布置捕获，该图像传感器布置包括多个马赛克滤波器阵列(MFA)-滤波焦平面阵列(FPA)传感器。所述成像传感器布置装置包括至少一个配备有马赛克滤波器阵列(MFA)的成像传感器。所述MFA用至少三个宽波段原色类型的滤波器以像素化方式掩蔽所述FPA传感器，每个原色类型对从所述多波段滤波的图像副本中分离并捕获一个单波段图像分量做出响应。

所述MFA的光谱透射特性基本上比由所述MBFO透射或反射的光谱波段的FWHM更宽。而且，TMF多波段滤波生成一组单波段，该一组单波段通过阻塞基本上具有比所述单波段图像更大的光谱宽度的光谱区域来分离。这样，每个所述单波段在相应的原色响应内被调谐和捕获，在相应的原色响应内还包括用于将所述图像副本的多波段光谱内容分离成一组窄的单波段图像的装置。所述MFA从至少部分地包括彩色相机中使用的红-绿-蓝(RGB)MFA、RGB-IR(红外)MFA和多波段MFA(像素化光谱成像传感器)的组中选择。在某种配置下，所述MBFO可以透射例如3个或更多个窄光谱波段，并可以反射例如3个或更多个与先前的窄光谱波段不同或(光谱上)互补的窄光谱波段。在本发明的一个实施例中，包括两个MFA-FPA成像传感器，一个设置在从所述MBFO成像光线反射的焦平面上，另一个设置在从所述MBFO成像光线透射的焦平面上。在采用例如所述ADSF型滤波的实施例中，通过设置一定的倾斜角，所述MBFO透射/反射至少六个光谱波段，所选择的这些光谱波段的FWHM比所述MFA的掩蔽滤波器的FWHM窄得多。这样，MBFO输出图像的窄波段成分(基本上)被MFA分离，每个所述MFA宽波段滤波器在其光谱上重叠的波长范围内透射一定的所述窄波段成分。通过假设MFA具有至少三个不同的所述掩蔽滤波器，可以由包括两个FPA成像传感器的传感器布置并以视频速率同时获取/捕获至少六个窄波段图像。在改变所述ADSF的倾斜角时，可立即捕获并显示一组新的窄波段图像。

本发明提供了用于控制所述ADSF的倾斜角的致动器装置。ADSF的倾斜允许多波段图像采集波长适应于所述CSB。ADSF的倾斜还允许通过以一系列步骤倾斜所述ADSF来切换到所述扫描操作，使得透射的光谱弯曲在整个工作波长范围内偏移。在每个倾斜步骤中，以快照方式捕获一组光谱图像，直到获取所述采样的全光谱立方体为止。

所公开的包括所述混合光谱成像仪的硬件的电光布置具有能够小型化的优点。所述硬件的整体尺寸主要由所述成像传感器装置的尺寸决定，从而使得小型化成为可能。倾斜致动器可以容易通过使用微机电***MEMs致动器来小型化，MEMs致动器例如磁致动器、电致动器、热致动器等。此外，功率要求低，尤其是在快照模式下操作时，这种情况是在给定应用领域中的常规使用。因此，所公开的所述混合光谱成像仪的硬件可集成或连接到移动电话或计算机平台中，而不会显著增加最终用户价格。

所公开的硬件设置补充有机器学习、人工智能、光谱通道串扰减少方法、数据可视化和标记。这些算法在数据处理模块中执行，数据处理模块是本发明的集成部分。

本发明还公开了一种用于以综合方式可视化光谱立方体数据的装置。无监督和有监督的光谱立方体聚类算法会生成光谱图，在某些情况下，生成的光谱图会与彩色图像实时并排显示，以进行比较和记录。

在一个优选实施例中，将光谱立方体数据或所述聚类质心与标记的参考光谱进行比较，以将所述彩色编码的光谱图转换为诊断成像图或化学成像图。这样，所述诊断图或化学图用于获得关于组织病理学、食品质量等信息，或用于获得结构和成分信息。

在本发明的另一个实施例中，光谱估计训练数据集从包括与一长串自然色和人造色对应的光谱的光谱数据库例如蒙赛尔Munsell数据库中获得。在这种情况下，计算的全光谱与CIE的标准观察器响应以及标准光源的光谱功率分布相乘，最后全部在光谱的可见部分上进行积分，从而给每个图像像素提供标准化的色彩指数。在该实施例中，所公开的混合光谱成像仪用作具有显著改善的色域的光谱摄影相机，还实现了无催眠摄影。

在又一个实施例中，所公开的混合光谱成像仪提供了扩展到光谱的近红外(NIR)部分的光谱灵敏度。基于自然光源和人造光源在NIR波段具有不同的光谱特征这一事实，NIR灵敏度用于将光源的光谱功率分布与目标的表面反射率区分开。这提供了一种用于估计目标的表面反射率的方法，是在数字摄影中实现色彩恒定的重要方面。

最后，参考所公开的混合光谱成像仪的应用领域，这些应用领域包括(但不限于)无损检验、光谱学、显微镜检查、内窥镜检查、组织分析、人工/机器人视觉、自主机器视觉、质量控制、遥感、芯片实验室测试、扩展色域摄影、同色异谱摄影和无雾摄影、化学成像和体内病理学映射。

附图说明

当结合附图阅读时，将更好地理解本公开的实施例的以下详细描述。为了说明本公开，在附图中示出了目前优选的实施例。然而，应当理解的是，本公开不限于所示的明确布置和手段。

图1A和图1B示出了密集采样的光谱(实线)与估计光谱的比较、估计光谱源自于所述CSB(垂直线)稀疏采样数据与估计模型。数据从麦克贝斯Macbeth色彩检查器标准样本获得。均方根误差(RMSE)(％)用作光谱相似性度量。图1A准确地示出了(RMSE：1.1-1.6)估计的光谱，原因是适当地选择了所述CBS作为与所述光谱特征相对应的波长。图1B示出了光谱估计结果的精确度较差(RMSE：10.3-23.0)，原因是所述CBS的选择不恰当，未能捕获明显的光谱特征。

图2示意性地描绘了在所公开的混合光谱成像仪中实现的高光谱成像方法，根据该方法，在所期望的一组显著光谱波段处的快照视频光谱成像与基于训练的光谱估计相补充，以重建缺失的光谱图像，从而以视频速率显示所述高光谱立方体的全部内容。

图3示出了包括倾斜多色镜布置的所述MBFO的现有技术的布置。

图4A和图4B示出了本发明的一个优选实施例，其中所述ADSF包括改进的倾斜五棱镜分束器，从而对两个输出基本上正交的光束进行光谱滤波，以包含具有所期望的光谱轮廓的分量。

图5A至图5C示出了本公开的进一步优选实施例，其中图5A描绘了包括位于成像路径中的固定位置处的立方体分束器和两个倾斜滤波器的所述MBFO，倾斜滤波器实现倾斜角度依赖光谱滤波；图5B示出了类似的实施例，其中所述分束器是两侧被镜面喷涂的棱镜，图5C示出了MBFO光学布置，该MBFO光学布置包括设置在成像光路中的一个倾斜板式分束器或一个倾斜多色镜或一个倾斜多带通滤波器和设置在相同成像光路中的一个未喷涂的倾斜玻璃板，以补偿图像偏移伪影。

图6A至图6C示出了本公开的进一步实施例，其中图6A示出了包括改进的科斯特

棱镜的所述MBFO，该科斯特棱镜基本上设置在单个所述MFA成像传感器的有效区域上；图6B描绘了本发明的另一个实施例，根据该实施例，微透镜阵列使在所述物镜光学器件的焦平面处形成的图像重新聚焦，在通过多带通滤波器阵列之后在玻璃屏幕上形成一组相同图像(图像倍增)；图6C描绘了又一个优选实施例，其中所述MBFO包括双(或多)通道物镜光学器件，每个通道由两个所述互补的多带通滤波器滤波。

图7描绘了红色(R)701、绿色(G)702和蓝色(B)703的原色光谱响应。

图8描绘了在光谱的可见部分中进行光谱成像的一个优选实施例，其中使用了两个MFA-FPA传感器和一个六波段MBFO；图8B示出了由MBFO和MFA图像对输入图像进行双重滤波而得到的单个原始窄图像的光谱轮廓；图8C示出了所得到的窄波段图像的光谱轮廓，该窄波段图像经过处理以去除在整个光谱上进入MBFO窄波段的MFA的光谱“尾部”。

图9示出了在光谱的可见部分和近红外部分中进行光谱成像的另一个优选实施例，其中所述MBFO布置包括滤波光学器件装置，该滤波光学器件装置适当地选择和设置在成像光路中，以使第一所述MFA传感器在光谱的可见部分中记录3个窄波段图像，以及第二所述MFA传感器在光谱的可见部分中记录2个窄波段图像和在光谱的NIR(近红外)部分中记录1个窄波段图像。

图10A至图10B示出了利用所述CSB作为基础的通用光谱估计方案，其中图10A描绘了训练过程，该训练过程涉及在由数量k个CSB采集生成的样本(测试样本)与包括M个光谱和N个采样数据点的训练集合(训练集)之间进行比较，以尝试最佳匹配；图10B示意性地示出了在建立所述估计矩阵之后的光谱估计，借助于该估计矩阵，将k个稀疏数据点转换为全光谱。

图11示出了光谱数据库的分析结果，其中光谱被检测且在整个光谱上不足。该图表明所述光谱特征分布广泛且存在具有较高所述光谱特征的填充的光谱波段。这些波段是选定成为所述CSB的良好候选者。

图12示出了理论光谱轨迹与由三色和高光谱相机产生的所述轨迹进行比较的色度图。以清晰可见的方式通过当前公开内容实现了色域扩展。

具体实施方式

为了说明的目的，阐述了具体的配置和细节以提供对本发明的透彻理解。然而，对于本领域的技术人员来说，还显而易见的是，可以在没有本文所呈现的具体细节的情况下实施本发明。此外，可以省略或简化众所周知的特征，以免使本发明变得模糊。

针对本发明的实施例描述的***和方法提供了对包含成像对象的空间和光谱信息的图像的采集。根据相关段落中提供的对现有技术的分析，光谱成像***主要分为两类，即扫描光谱成像仪和快照光谱成像仪。本发明教导了可在扫描模式或实时快照模式下操作的可重新配置的混合光谱成像仪。

在显微镜下实施本发明的示例示出了所述混合光谱成像仪相对于现有技术的优点。例如，在病理学/组织学中，组织样本用各种增强对比度的发色团或荧光团染色，以促进具有诊断意义的特征的可视化。然而，所使用的染色的光谱重叠使得单独观察该染色变成一项困难的任务。多个荧光团/发色团的每个像素浓度的单独映射作为一种先进的测定方法出现了，这有望改善病理学的诊断结果。光谱成像通过以下步骤提供该问题的解决方案：a)测量每个像素的全光谱；b)利用单独的染色的所谓端-元光谱的先验知识，建立染色混合物模型；c)计算所谓的丰度，作为混合物中染色的相对浓度的定量指标。然而，当使用扫描光谱成像仪时，相关的扫描时间显著地累积，因为考虑到被检查的样本中有大量关注区域。将传统的光谱成像仪添加到常规程序中，将不可避免地对病理学程序的工作流程产生负面影响，这对其进入市场构成了障碍。另一方面，由于重建空间或光谱数据点所需的后处理时间很长，因此采用现有技术的快照解决方案也是次优的解决方案。更具体地，在传统快照***中，用于扩展数据维度的后处理算法产生的数据处理时间超过了扫描光谱成像仪所需的采集时间。

下面以显微镜应用作为象征性示例说明所公开的混合光谱成像仪相对于现有技术***的优点。当不存在关于特定于组织病理学的染色的光谱特征的先验知识时，所公开的混合光谱成像仪将首先切换到扫描模式并将收集全光谱立方体。接下来，与所述混合光谱成像仪集成或连接的处理单元将分析所述全光谱立方体数据并将估计最小稀疏光谱数据集，该最小稀疏光谱数据集全面描述了所获取的所述全光谱立方体的原始光谱而没有明显损失。此过程对应于从采样的数据集中移除多余信息。由于在300nm-2500nm的光谱波段中获取的光谱的宽广性质，所述最小稀疏光谱数据集在5-10个离散波长的范围内变化。这项实验发现是本公开内容的组成部分，并源自于对公开可用的光谱数据库的分析。该特征适用于绝大多数固体和液体材料，有用波长的数量取决于样本的复杂度。本质上，通过微处理器单元估计最小数量或最有用的波长(此处被称为CSB)，是使用相关算法解决的优化问题。所述优化是指利用特征提取算法例如离散小波变换或类似的方法提取的光谱特征。上述分析向***的控制单元提供配置所述MBFO的请求，以使所述混合光谱成像仪获取所识别的所述CSB。通过指示致动器使所述多波段传感器滤波装置倾斜并将多波段传感器滤波装置锁定在适当的角度来执行该任务。在完成此自配置程序后，***切换到实时快照操作模式，或者换句话说，切换到视频光谱成像操作。除了提供选择CSB的基础之外，在扫描操作模式期间收集的光谱数据至少部分地用作用于执行光谱估计的训练集。最后，通过配置为以视频光谱成像模式操作的***，立即捕获CSB，同时足够快速地估计缺失的光谱数据点，使得全光谱立方体图像以视频速率(例如25f/s)显示变得可行。这种数据可用性使得以接近实时的刷新率计算所述染色浓度图变得可行。这样，所述混合光谱成像仪可以改善病理学/组织学的诊断结果而不损害工作流程。

示出了所述混合光谱成像仪的明显优点的另一个应用示例是内窥镜检查。在此，内窥镜的尖端和被检查的器官都处于连续的随机运动，这意味着所述视频光谱成像仪包括独特的解决方案，以能够在内窥镜检查中实现实时、全空间和光谱分辨率的光谱成像。在这种情况下，所述CSB通过光谱数据与参考诊断方法的结果的相关性来识别。所述参考诊断方法可以包括例如临床证据或活检/组织学或其组合的分子分析。

现在参考图1，图1描绘了从麦克贝斯色彩检查器标准样本获得的光谱。实线对应于由商业扫描高光谱成像仪获得的光谱，在此用作参考。虚线对应于以六个CSB为基础的估计光谱。所述CSB的中心波长在图中标记为垂直线。图1A示出了基于适当选择的CSB的估计曲线，使得稀疏快照样本对应于谷值和峰值。可以看出，估计精确度相当高，由均方根误差的低值(1.1-1.6％)证明。图1B示出了在不严格对应于所述光谱特征的波长波段处选择所述CSB的情况。在这种情况下，即使光谱估计算法与图1A中的算法相同，其预测光谱的精确度较差(RMSE＝10.3-23.0％)。这些发现包括了本发明提供的解决方案的动机。具体地，本发明主张一种混合型可重新配置的和自适应的实时快照光谱成像仪，其中所述CSB可调谐，以适应对应于所述光谱特征的波长，来提高光谱估计的精确度。

所有可能的电光解决方案包括本公开的集成部分，这些解决方案能够实现所述CSB的调谐和自适应以用于多波段快照操作，同时并行地提高所述光谱估计的精确度。下文描述的电光装置和算法装置均仅包括用于实现简单性、低成本、小体积和低功耗的优选实施例，这是在考虑移动应用时的关键图。

下文的描述公开了方法概念以及具有优选的成像头布置(IHA)的实施例，成像头布置(IHA)包括所述MBFO装置、所述MFA成像传感器阵列装置、倾斜致动器和光学成像装置，这些装置共同实现了所述混合光谱图像采集。现在参考图2，其示意性地描绘了所公开的混合光谱成像仪的基本方面和概念。在所述IHA被指示以扫描模式进行操作的情况下，例如在每个倾斜步骤和多个倾斜步骤中同时捕获一组5-10个光谱图像，直到扫描整个操作光谱范围，例如在使用硅传感器阵列装置的情况下光谱范围为400-1000nm。这样，所公开的混合光谱成像仪的扫描操作模式以快速且密集的采样过程来收集所述采样的光谱立方体50。术语“密集采样数据集”在本文中被定义为如下采样过程，该采样过程涉及在5-10nm范围内的中心波长的调谐步骤，从而产生至少30个光谱上连续的单波段图像的集合。术语“稀疏采样数据”在本文中被定义为如下采样过程，该采样过程涉及在离散波长处捕获5-10个图像。

值得注意的是，与现有技术的扫描设备相比，在每个调谐步骤中捕获光谱图像的集合相比于逐一捕获具有明显的效益，因为扫描时间显著地减少。所述采样的光谱立方体包含每图像像素有一个全光谱，其总数等于所述MFA传感器布置装置的空间分辨率。可以自动执行包含在所述采样的光谱立方体中的数百万个光谱中的所述光谱特征的识别。作为示例并入本文的一种这样的方法涉及所述采样的光谱立方体的光谱的无监督聚类，其返回有限数量(通常为5-15)的聚类质心。所述聚类质心代表所识别的可区分光谱类别，因此用于识别所述光谱特征的分析可限于对所述质心光谱的分析。分析可以涉及用于识别所述显著波长的自动特征提取算法，所述显著波长对应于例如峰值、谷值、斜率等。当识别了最少5-10个离散且最有用的光谱波段时，分析就结束了。基于所述光谱特征提取，所述MBFO被配置为在实时快照操作52中在CSB 51处获取一组图像。对于本领域的技术人员显而易见的是，所述CSB和所述光谱特征波长可以在不同的场景或目标对象中变化。因此，步骤50和51提供了用于所述MBFO的自适应(重新)配置的步骤。

对400-1000nm光谱波段中通用和特定于应用的光谱数据库的彻底分析得出的结论是，所述最小稀疏光谱数据集在所述数据库的整个内容的5-10个离散波长范围内变化，该最小稀疏光谱数据集描绘了绝大多数光谱特征。

如前面所讨论的，从以扫描模式操作的、与通用或特定于应用的光谱数据库结合或不结合的所述混合光谱成像仪获得的密集(高采样率)光谱信息，用作所述光谱估计算法装置55的训练数据集54。依靠所述训练集，采用机器学习和人工智能算法来预测利用快照稀疏光谱成像收集的光谱中的缺失数据点，得到的重建的全光谱包括采样数据点和估计数据点的混合物53。从对于每个图像像素估计的这些全光谱数据点，可以获得全光谱立方体，其包括所述采样的光谱图像和所述估计的光谱图像。适当地训练的光谱估计过程可以足够快，执行时间处于毫秒范围内，即使对于包含多个全高清HD光谱图像的光谱立方体也是如此。这意味着在针对特定应用例如人类、动物或植物组织诊断建立一组所述CSB时，可以几乎以视频速率收集全光谱立方体，从而消除了空间光谱信息与图像显示刷新率之间的所述折衷。

在接下来的段落中，将参考所述混合光谱成像仪的所述成像头布置(IHA)公开多个实施例。

本发明公开了小型化可调谐滤波器的方案，该滤波器能够进行混合、扫描和快照操作。借助于多波段滤波光学器件(MBFO)对获取的光谱图像进行光谱滤波。所述MBFO包括：分束器装置，该分束器装置用于生成目标图像的至少两个图像副本；以及可调谐多波段滤波(TMF)装置，该TMF装置被***成像路径中并在所述图像副本中实现可调谐多带通滤波；所述MBFO对场景的图像的波长内容进行第一光谱过滤。所述MBFO可以包括光学元件，该光学元件至少部分地包括从一组光学元件中选择的分束器，该一组光学元件包括但不限于立方体分束器、板式分束器、偏振分束器、五边形分束器/分光器、具有镜面喷涂立柱的直角棱镜、具有镜面喷涂立柱的镜面喷涂金字塔棱镜、圆点分束器和薄膜分束器或其组合。所述MBFO还包括可调谐多波段滤波装置，该可调谐多波段滤波装置至少部分地包括角度依赖光谱滤波(ADSF)带通滤波器、ADSF型二色和多色镜、ADSF型多带通滤波器、空间光调制器、声光器件、液晶光谱调制器、表面等离子体滤波器及其组合。所述MBFO实现图像倍增，生成多个图像副本，这些副本被多波段滤波并同时获取。所述多波段滤波可以是可调谐的，以允许在给定的调谐步骤处采集/捕获一组多波段图像和/或全光谱立方体，该多波段图像和/或全光谱立方体包括至少三十个半峰全宽(FWHM)在10nm-40nm范围内的(窄)单波段图像。例如，ADSF型滤波器具有通过改变(倾斜)其表面的法线与入射主成像光线之间的角度来调谐而改变透射/反射波段的中心波长的特性。例如，当在±30°的角度范围内倾斜时，ADSF型多波段反射和/或透射滤波器具有以波段的中心波长的大约15％进行调谐的特性。

在本发明的一些实施例中利用该特性来实现快照多波段成像和扫描光谱成像。所述MBFO可以设置在物镜装置的前面，或者设置在物镜或(中继)透镜凸缘与成像光学器件的焦平面之间的空间中。

现在参考图3，其示出了包括多色镜的所述MBFO的布置。这类光学滤波器主要用于荧光显微镜中，以分离荧光成像中的激发/发射通道。在典型的显微镜***中，所述激发/发射通道形成90度角，所述多色镜设置在所述通道的接合处，形成固定的45度角。包括所述多色镜的大多数窄波段反射或吸收滤波器，在其表面和主要入射光线之间的角度改变时，具有使透射/反射中心波长偏移的特性。这构成了使用这样的带通滤波器开发可调谐滤波器布置的基础。然而，就考虑将所述可调谐板式滤波器用于成像应用而言，存在两个主要缺点，使得其独立使用成为问题，两个主要缺点即：a)当所述二色镜倾斜θ角度时，反射光线倾斜2θ角度。衍射角也随角度θ而变化，但变化程度较小；b)由所述二色镜的后表面引起的反射，产生称为重影效应的双重图像伪像，其包括反射图像中的伪像源。图3示出了IHA，IHA包括物镜光学器件101，物镜光学器件101被配置为将目标对象或场景102的图像聚焦到图像传感器阵列装置105的表面上。传感器阵列装置可以是马赛克滤波器阵列(MFA)传感器布置，MFA传感器布置包括至少一个MFA-焦平面阵列(FPA)传感器。多色镜板103设置在成像光路中，该多色镜板反射和透射多波段滤波的成像光线。在一些优选实施例中，生成至少两组不同的多波段滤波的成像光线并且将至少两组不同的多波段滤波的成像光线引导到包括两个FPA传感器的MFA传感器布置。在这些情况下，第一组所述多波段滤波的成像光线的透射波段的中心波长可以对应于第二组多波段滤波的成像光线的阻塞波段。这样，对应于两个成像组的所述多波段滤波优选地具有互补的中心波长，以确保均匀分布的光谱采样。对应于这两个分支的图像由包括两个FPA成像传感器105的所述MFA传感器布置捕获。可以看出，角度依赖光谱滤波(ADSF)装置是多色镜板103，该多色镜板固定在倾斜致动器轴104上。所述倾斜致动器被配置为调整多色镜的倾斜角，从而调整成像光束的方向。例如，多色镜被配置为对由物镜光学器件装置捕获的图像进行滤波，使得成像光线在具有窄光谱波带宽例如10nm-40nm的特定光谱波段处透射和反射。从多色镜出现的滤波图像由马赛克滤波器阵列(MFA)传感器进行二次滤波，该MFA传感器包括宽波段掩蔽滤波器阵列，每个宽波段掩蔽滤波器阵列被配置为在特定光谱波段处透射成像光线。与多色镜光谱波段的FWHM处的带宽相比，掩蔽滤波器的光谱波段被选择成在半峰全宽(FWHM)处具有更宽的带宽。以这种方式，每个掩蔽滤波器被配置为从重叠的多色镜光谱波段处透射图像。结果，掩蔽滤波器被配置为在从多色镜出现的窄波段图像由成像传感器阵列捕获并由处理单元进行处理之前，使窄波段图像基本上分离，以生成和显示与目标样本或场景相关联的光谱立方体。在本发明中，在由多色镜限定的所选择的多波段光谱滤波处，多个窄波段图像被图像传感器同时捕获。为了创建用于目标样本或场景的光谱立方体，可以由处理单元基于所捕获的光谱信息和/或训练光谱数据集来估计来自缺失的光谱波段的光谱信息。如前所述，通过使用倾斜致动器调整多色镜的倾斜角度，可以使每个多色镜多波段滤波的中心波长偏移。例如，根据应用，处理单元可以控制倾斜致动器的操作，以调整多色镜的角度并使由所述多色镜引起的多波段滤波的中心波长偏移，使得中心波长落在一组临界光谱波长附近，该一组临界光谱波长包含所分析的目标样本或场景的显著光谱特征，例如峰值、谷值、斜率。在每个倾斜步骤中，以快照模式同时获取一组新的图像。类似地，图3所示的混合光谱成像的实施例可在扫描模式下使用，以扫描整个光谱，来对目标样本或场景创建全光谱立方体。例如，处理单元可以控制倾斜图像，使得以小增量调整多色镜的角度。以这种方式，可以使多色镜光谱波段的中心波长偏移小增量例如5nm-10nm，直到扫描整个目标光谱为止。在每个倾斜步骤中，一组图像由成像传感器同时捕获并由处理单元进行处理，以创建全光谱立方体，其包含在每个采样波长处捕获的、所分析的目标样本或场景的光谱和空间特征。在图3以及下面将公开的本发明的所有实施例中，所述物镜光学装置101从成像光学器件的宽广集合中选择，包括但不限于摄影镜头、光学显微器件、光学准直器件、无限校准光学器件、刚性或柔性内窥镜以及望远镜。在空中、陆地或水下成像条件下，所述目标对象102从包括但不限于人类或动物组织、植物组织、风景场景、加工食品料或食品原料、天然材料、人造材料的组中选择。所述传感器阵列装置是用所述MFA掩蔽的半导体焦平面阵列。所述倾斜致动器装置104可以至少部分地使用从如下列表中选择的运动致动器/驱动器装置来构造，该列表包括但不限于电动机电元件、步进电机、旋转螺线管、磁致动器、电致动器和热致动器。在本发明的一些实施例中，变型是旨在使所述IHA小型化，以适于将IHA封装到所述移动电话和计算机平台中，所述倾斜致动器装置是微机电***(MEMs)装置。所公开的布置还可包括附加的滤波器，例如短通或长通光学滤波器，以用于将所述传感器阵列装置105的光谱灵敏度范围限制在所期望的光谱区域。该布置还可以包括光学元件，以用于校准所获取的图像来进行图像偏移、畸变、像差、重影、散焦以及通常用于与光学器件有关的伪影。

本发明公开了补偿现有技术的上述缺点的布置。特别地，所述倾斜致动器装置可以与齿轮***机械地耦合，所述MFA传感器阵列装置固定在该齿轮***上。根据本发明，通过使捕获反射图像的第一所述图像传感器装置旋转2θ角来实现补偿。捕获折射图像的第二所述传感器阵列装置也旋转，但是旋转角度要小得多。第一所述成像传感器装置和第二所述成像传感器装置的旋转包括用于在光谱扫描期间保持相同视野的条件。借助于移动传输齿轮***(未示出)，所述图像传感器装置的旋转由所述倾斜致动器装置104激活并与所述倾斜致动器装置104同步。

根据本发明，利用所述多色镜实现对重影的补偿，所述多色镜包括沿着立方体分束器(未示出)的对角线沉积的涂层。所述涂层非常薄，因此没有第二表面反射。减轻重影问题的其他实施例包括在所述多色镜板103的所述后反射表面上沉积有抗反射涂层的板式多色镜，或者使所述多色镜板103构造成在圆点或薄膜基板上的涂层。

图4示出了采用多色镜装置的本发明的另一个更可靠优选的实施例。在图4A中，所述MBFO的所述分束器装置是五棱镜分束器，该五棱镜分束器被修改为使其五个表面中的一个表面涂覆有多色镜基板402。所述五棱镜被进一步修改以使得所述喷涂表面与三角棱镜403粘合在一起，目的是使棱镜的后表面与前表面平行。图4B描绘了该实施例的操作原理和主要优点。入射光束的双重反射：一次在所述多色喷涂界面402中发生，而另一次在所述五棱镜的未喷涂的表面或平面镜喷涂的表面中发生，使得出射光束的方向实际上保持不受由所述倾斜致动器装置引起的棱镜的倾斜的影响。这样，不需要齿轮布置，在一定程度上简化了设计并减少了体积和成本。本实施例的另一个优点涉及以下事实：由于所述多色涂层的薄膜性质，使得不存在会给所述反射图像引入伪像的双重反射效应。最后，在所述修改的五棱镜的在操作上可接受的倾斜角度范围内，透射光线也不受所述倾斜角度的影响。对于本领域技术人员显而易见的是，本实施例的变型，例如用一对多带通滤波器代替所述多色镜，将一个多带通滤波器设置在出现图像副本的五棱镜表面上，将提供相似的结果，但是光通量性能较低。图5A描绘了另一优选实施例，所述MBFO包括分束器元件500，该分束器元件设置在成像路径中的固定位置处，该固定位置被定义为所述光学成像光学装置的后端与其焦平面之间的空间。在此，所述TMF包括一对ADSF型多带通滤波器510，每个ADSF型多带通滤波器设置在两个倾斜致动器装置的可倾斜轴上，并***分束光路中，所述IHA包括两个MFA传感器布置，以用于基本上同时捕获所透射的多波段滤波的图像副本。

在本发明的一个实施例中，所述多带通滤波器装置设置在所述传感器阵列装置的前面，并借助于所述倾斜致动器装置104倾斜，以用于调谐所透射的光谱波段。在本发明的另一优选实施例中，所述倾斜致动器装置与齿轮机构(未示出)机械地耦合，以用于将倾斜运动传递到至少一个所述多带通滤波器装置。在所述MBFO的又一实施例中，所述倾斜致动器装置104仅影响一个所述多带通滤波器的运动。该实施例可以另外包括第二所述传感器阵列，该第二传感器阵列捕获由所述分束器500透射或反射、但不被所述多带通滤波器装置滤波的图像。未被滤波的图像可以包括参考图像。未被滤波的图像还可以通过所述未被滤波的图像减去由所述传感器阵列装置捕获的、被所述多带通滤波器装置滤波的图像，来提供一组基本上互补的所述窄波段图像。

现在参考图5B，图5B描绘了本发明的所述MBFO的又一优选实施例，该实施例利用两侧被镜面喷涂的棱镜520。本领域技术人员很好理解，包括金字塔型反射器、倾斜/旋转反射器在内的任何种类的多侧面反射器都提供与本实施例的概念相似的结果。镜像侧将入射光束分成两个相同的分支，且滤波构件和图像捕获构件与图5A中使用的构件相同。

现在参考图5C，图5C描绘了光学布置装置，该光学布置装置补偿了当倾斜所述板式多色镜或所述多带通滤波器时引起的透射图像的偏移伪影。

所述透射的图像偏移补偿消除了对空间上平移所述成像阵列装置以跟随由于所述MBFO倾斜而引起的所述图像偏移的需要。通过将玻璃板510***成像光路中来实现所述图像偏移补偿。假设由于所述多带通滤波器的厚度，引起主成像光线发生d-位移，该d-位移与倾斜角θ-(负角度)成比例。根据本发明，通过添加第二(喷涂的或未喷涂的)光学元件510来校准所述图像偏移，该第二光学元件510相对于所述水平轴以相反的角度θ+倾斜。θ+倾斜使得相反的d+位移补偿由所述第一光学元件引起的位移。所述第二光学元件的倾斜由所述倾斜致动器装置104直接地或通过齿轮机构来实现。可以适当地调整所述玻璃板的厚度和折射率，使得当θ-＝θ+时，d-＝d+，表示在光谱扫描期间聚焦在所述图像传感器装置105上的图像没有偏移。

现在参考图6，图6公开了所述IHA的附加实施例，其中所述传感器阵列装置是单个MFA成像传感器，所述MBFO布置在单个MFA成像传感器上生成平铺的滤波图像副本。这些实施例适合于在固定的CSB处操作，例如当所述混合光谱成像仪打算在具有已知光谱特征的领域中常规使用时。然而，本领域技术人员应当理解的是，在这种情况下也可以实现光谱的可调谐性。

图6A示出了包括改进的科斯特棱镜的所述MBFO，该MBFO基本上设置在所述MFA成像传感器的有效区域上。所述科斯特棱镜610通常由两个相同的棱镜(90°-60°-30°)沿着其较长的垂直面粘合而成。在本发明中主张的修改涉及添加多色镜涂层103，该多色镜涂层在棱镜粘合在一起之前沉积在一个所述长垂直轴上。所述科斯特棱镜将入射光束620分成两个平行且滤波的光束630，从空间信息的角度来看，这两个光束形成两个相同的图像。所述滤波的图像并排聚焦在所述单个传感器105的表面上。可以通过改变所述入射光束620的高度来调整所述两个平行光束630之间的距离。这两个光束的路径长度基本相等，这对于确保两个成像路径中的图像聚焦是必不可少的。这样，所描述的配置可适合于所述传感器阵列装置的各种尺寸。

图6B描绘了本发明的又一个实施例，根据该实施例，微透镜阵列650将在所述物镜光学器件101的焦平面处形成的图像重新聚焦，从而在穿过多带通滤波器阵列660之后在玻璃屏幕670上形成一组相同的图像(图像倍增)。所述滤波器阵列660的每个滤波器构件对由所述微透镜阵列650的对应的微透镜构件形成的次要图像进行滤波。中继透镜680将在所述玻璃屏幕670上显示的图像聚焦到所述MFA成像传感器105上。在本实施例的另一个实施例中，所述微透镜阵列500被多图像棱镜(未示出)替换，特别地，该多图像棱镜被构造成将主图像分割成与所述多图像棱镜的面数相等的多个所述主图像副本。在该实施例的一个变体中，所述多图像棱镜的面被喷涂有不同的多带通滤波器，以这种方式替换所述滤波器阵列660。在图6B中描绘的实施例的又一变体中，元件101、650(或任何类似的图像倍增光学布置)、660、670和680容置在一起以组成独立运行的设备，该设备以例如在通用透镜中使用的一个底座收尾。所述独立运行的设备包括附件，该附件可以耦合到商业相机中，将商业相机转换为快照光谱成像仪。在所述快照附件的又一个变体中，所述中继透镜680可以是计算设备例如移动电话、平板电脑，相机的嵌入式透镜。在那种情况下，所述独立运行的快照模块包括所述移动电话和计算机平台的可拆卸配件。

现在参考图6C，图6C描绘了又一个优选实施例，其中所述MBFO包括双(或更多)通道物镜光学器件210，每个通道由两个所述互补多带通滤波器690滤波。所述滤波的双通道物镜光学器件210具有将两个空间上相同的图像并排聚焦到所述MFA成像传感器105上的特性。根据本发明，所述双通道物镜光学器件也被认为密封到所述移动电话和计算机平台的双透镜/相机布置中。在所有这些情况下，所述多带通滤波器装置510设置在沿着图像聚焦路径的任何点处。

在接下来的段落中，公开了用于实现成像通道的光谱净化的计算方法。由于在所述MFA中使用的原色滤波器的宽波段性质，其传输“尾部”扩展到所述MBFO的相邻的窄透射波段中，“污染”了所记录的图像的光谱内容。

根据本发明，使用MFA掩蔽的成像传感器装置来为每个图像传感器记录多个窄波段图像。采用该选项是因为单个所述MFA掩蔽的成像传感器阵列可根据马赛克组件中使用的原色/光谱滤波器，捕获(在所述光谱净化之后)至少三个窄波段图像。三个、四个或更多个宽波段滤波器组成了常用的MFA成像传感器阵列。图7描绘了从商业MFA成像传感器的规格说明书中获得的红色(R)701、绿色(G)702和蓝色(B)703原色通道的光谱响应的示例。可以看出，响应超出了可见光谱的上限(740nm)，进入了近红外(NIR)。彩色相机使用NIR抑制滤波器，目的是模拟人类视觉。出于相同的目的，在所述原色通道之间存在明显的光谱重叠。

图8A描绘了来自包括两个MFA成像传感器的IHA的所述MBFO和所述MFA的组合响应，每个MFA成像传感器包括三个滤波器和一个六波段MBFO。可以看出，所述组合响应被限制在一组六个窄光谱波段801、802、803、804、805和806中。这样，第一个MFA传感器将捕获波段801、803、805，第二个MFA传感器将捕获波段802、804、806。然而，如图8B中所看到的，波段802(例如)将主要由第二传感器的所述R通道701采样。然而，与该波段相对应的一定量的光能809将被G通道702捕获，而另外一定量的光能810将被B通道捕获。因此，与捕获主波段一起，宽MFA通道捕获了由于光谱串扰而产生的波段外贡献。

本发明公开了一种消除次要贡献的实验方法，该次要贡献来自所述MFA的光谱上重叠的响应。这将允许恢复所述MBFO波段。

根据之前的分析，对于红色、绿色和蓝色MFA通道，可以将MFA通道的主响应分别称为RR、GG、BB。还可以将MFA-R通道的次要波段外响应称为Rg(绿色)和Rb(蓝色)。因此，得到Gr(红色)和Gb(蓝色)和Br(红色)和Bg(绿色)。然后，可以写出MFA响应，如下所示：

R＝RR+Rg+Rb， (1)，

G＝Gr+GG+Gb， (2)，

B＝Br+Bg+BB， (3)，

恢复所述MBFO波段相当于根据方程式1、2、3来计算RR、GG、BB，这需要所述交叉通道次要贡献的知识。然而，出于抑制噪音的目的，优选使用次要贡献和主要贡献之间的比率，该比率如下表示：

Crg＝Rg/GG，Crb＝Rb/BB

Cgr＝Gr/RR，Cgb＝Gb/BB

Cbr＝Br/RR，Cbg＝Bg/GG

通过代入所述比率，方程式1、2、3变为：

R＝RR+Crg*GG+Crb*BB (3)，

G＝Cgr*RR+GG+Cgb*BB (4)，

B＝Cbr*RR+Cbg*GG+BB (5)，

对于MBFO波段，以矩阵形式表示，其求解采用如下形式：

3×3矩阵元素的测量如下。开发了一种与光栅可调谐单色仪耦合的卤素光源，其特征在于能够根据所选择的波长控制出射光功率。所述光源在整个灵敏度范围内或在所述传感器阵列装置(硫化钡)上以统一的反射率照射校准目标。黑白传感器阵列聚焦在所述校准目标上，可调谐光源扫描光谱。通过反馈所述黑白传感器记录的响应，调节所述可调谐光源的输出功率，使得所述黑白传感器响应在整个光谱上是平坦的。所述可调谐光源的设置补偿硅传感器和卤素灯的斜坡状响应，被存储并在重复扫描时自动获取。下一步是用具有MFA和MBFO的所述传感器阵列装置替换所述黑白传感器，并用校准的光源重复光谱扫描。图8B示出了所记录的响应，其中所述主要贡献和所述次要贡献是明显的。从图8B以及对于给定的所述MFA和MBFO组合，发现所述次要/主要配给量为：

Crg＝0.07，Crb＝0.006，Cgr＝0.435，Cgb＝0.016，Cbr＝0.133以及Cbg＝0.73。

通过将这些值代入矩阵方程式(5)，可以恢复MBFO波段，而没有波段外贡献，如图8C中明显所示。通过改变所述倾斜角，一组六个MBFO波段将根据所述倾斜角的符号向左或向右偏移，从而可以在运行的扫描模式下收集采样的全光谱立方体。RGB原色滤波器具有的典型FWHM约为150nm。因此，每个所述原色滤波器可以记录例如每10nm FWHM有15个窄波段图像，在可见光谱范围内总计约45个不重叠的光谱图像。这是个合适的数字，确保足够的光谱分辨率和信息丰富的光谱立方体。

图9示出了一种MBFO布置，当该布置与所述MFA成像传感器装置(去除了NIR截止滤波器)结合时，***的响应可以扩展到NIR或紫外线光谱波段。基于此，本发明主张的实施例在可见光谱波段(彩色或光谱成像)和不可见光谱波段中实现同时实时成像。

下文的描述着重于通过光谱估计来增加光谱维数的方法。在进行相关分析之前，需要澄清两个关键问题：a)在所公开的混合光谱成像仪的几种应用中，将不需要光谱估计，原因是扫描模式操作将生成所有需要的光谱信息。所公开的高光谱成像仪可临时构建或补充与测试场景/样本训练集相似的对象，从而显著提高光谱估计的精确度；b)现有技术***仅使用宽MFA-RGB波段作为光谱估计的基础，由于该问题的不适定性质，这是不可接受的解决方案；c)基于光谱估计的现有技术***限于光谱的可见部分。

本发明公开了一种在快照模式下操作时提高估计精确度的方法。通过假设关于要检查的对象或场景的性质、类型或组成的先验知识，可以进行搜索以识别与所述显著光谱特征相对应的光谱波段。先验知识可以指的是特定于目标场景或特定于对象的光谱数据库，这意味着已生成足够详细地描述特定目标或场景的光谱特征的光谱数据库。完成此任务，相应的CSB就被锁定以执行快照光谱成像。由于在显著光谱特征附近进行采样，因此显著提高了光谱估计任务的精确度。

现在参考图10，图10示出了利用所述CSB作为基础的通用光谱估计方案。图10A描绘了训练过程，该训练过程涉及在由数量k个CSB采集生成的样本(测试样本)与包括M个光谱和N个采样数据点的训练集合(训练集)1010之间进行比较，以尝试最佳匹配。

光谱数据库1010包含足够数量的光谱，光谱可以在可见光谱波段或不可见光谱波段或其组合中进行采样。另外，可以标记光谱以代表化学标识或样本状况或组织病理学或其组合。可以采用多种优化方法来计算过渡或估计矩阵1020，该矩阵包括但不限于最小二乘、维纳估计、核方法，人工神经网络以及稀疏重建和深度学***台。图10B示意性地示出了在建立所述估计矩阵1020之后的光谱估计，借助于该估计矩阵，k稀疏数据点1030被转换为全光谱1040。

本发明的另一个实施例涉及通过所公开的混合光谱成像仪实时生成的庞大空间光谱信息的可视化。光谱立方体中包含的各种光谱类别的空间分布的实时可视化是必不可少的，尤其是在这些数据包括行动的反馈的情况下。例如，在外科手术中，光谱轮廓发生变化的区域可包括表示需要进行活检的异常的证据。在这种情况下，光谱类别图的实时显示至关重要，原因是检查探针(例如内窥镜)或被检查的组织样本不稳定。所谓的光谱主题图可以与彩色或光谱图像并排显示，并可以以无监督或有监督的方式构造。光谱立方体中的不同类别可以借助人工色彩编码来可视化，其中不同类别使用不同的伪色进行编码。

训练数据集中的光谱可以被标记以表示例如组织的病理状态、化合物标识或食品质量状况。在那种情况下，所述光谱类别映射器被转换成病理图，以用于辅助例如体内或体外诊断，或执行化学或结构映射以用于遥感和无损分析。

在又一个实施例中，所述混合光谱成像仪包括光谱摄影相机，其中代替使用现有技术的RGB三原色传感器来捕获照片，彩色摄影中的彩色再现是基于在光谱的整个可见部分捕获全光谱。该实施例在彩色摄影行业中具有的含义是：a)由于色域的扩展而提高了色彩保真度；b)通过恢复对象的光谱反射率来独立于设备和环境光进行摄影；c)无同色异谱摄影。

在所述光谱摄影相机的实施例中，所述混合光谱成像仪使用从1269个蒙赛尔色卡获得的反射率光谱作为训练集。所述蒙赛尔数据集被选为最有代表性的用于色彩再现的光谱集合。对该数据集进行初步分析，目的是确定由光谱特征最多填充的光谱波段。

图11示出了该分析的结果，如所期望的，结果表明特征分布在整个可见光谱上，但是存在一些具有较高填充的光谱波段1100。这些波段作为所述CSB用于快照操作。然而，对于本领域的技术人员显而易见的是，尽管较差，但是通过在图11中指定的波段附近选择CSB，可实现类似的结果。在捕获CSB图像时，使用所述1269个蒙赛尔光谱作为训练集，通过光谱估计来估计每像素的全光谱。最后，从相应的光谱中计算每像素的CIE三色X、Y、Z色彩参数。

如图12所明确的，本实施例实现的数字光谱摄影显著地提高了色彩再现的保真度。所示的yx色度图从所述X、Y、Z值得到，并包括在检测和再现行业中用于量化色彩再现精确度(保真度)的标准方法。外部色度轨迹(实线)1210对应于人眼的色彩响应。该轨迹点内部的所有内容对应于可由人眼再现的xy色彩。对于色度轨迹的显著区域，传统的RGB相机与人眼的色域1240有一定的差异。这表明相应色彩的色彩再现保真度较差。与人眼色度轨迹的最佳匹配通过采样扫描高光谱成像1220实现，但是不可接受扫描程序用于消费者摄影。快照/光谱估计1230提供与通过扫描高光谱光谱成像获得的色彩保真度相似的色彩保真度，且在任何情况下，其色彩保真度比通过标准RGB相机获得的保真度好得多。与现有技术的RGB相机相比，所主张的光谱摄影设备的另一个明显优势是提供无同色异谱摄影。在所述光谱摄影设备的又一个实施例中，通过估计成像的对象或场景的光谱反射率来实现标准化摄影。这可以通过考虑a)光源的光谱功率分布；b)所述传感器阵列装置的光谱响应和c)所述光谱反射率的反卷积来实现。完成此操作，就将组成部分a)替换为CIE的标准观测器，将组成部分b)替换为CIE的标准光源。CIE的标准观测器和光源函数与所述表面反射率相乘，其乘积最终在可见光谱的波长范围内积分。从该过程产生的彩色照片是完全标准化的，原因是该彩色照片独立于设备和环境光。因此，该彩色照片可用于例如远程医疗、印刷行业和一般目标文档。图8和相关描述提供一种用于提取所述传感器的光谱响应的可靠方法。图9公开了一种MBFO布置，该MBFO布置在光谱的NIR部分中提供扩展的灵敏度。将该CSB配置用于所述光谱摄影设备，红外光谱波段可用于所使用的光源的类型，原因是最常见的光源在该光谱波段中具有不同的光谱轮廓。例如，与在日光灯和卤素灯的情况下发生的情况相反，LED灯和荧光灯在NIR中为零发射。除了NIR灵敏度之外，所述光谱摄影设备还将实现无雾摄影。

所公开的混合光谱成像仪集成有或连接到集成了显示装置的控制和处理单元(CPU)。CPU和显示装置至少部分地包括微控制器单元、存储器单元、FPGA、移动电话，平板电脑、笔记本电脑，平板显示器和视频护目镜。CPU被耦合到成像头布置，执行程序指令以用于：a)校准图像采集过程，以补偿所述成像传感器阵列装置在整个光谱上的不均匀响应，并补偿照亮所述目标场景对象的光源的不均匀光谱功率分布。通过利用在整个工作光谱范围内具有统一反射率(或已知反射率)的成像目标来执行校准，b)在给定的TMF调谐步骤和多个所述调谐步骤中，通过MFA传感器布置控制和同步图像的采集/捕获；c)对MFA传感器布置的响应进行光谱净化，以补偿MFA和TMF之间的波段串扰；d)处理光谱数据以用于：训练光谱估计过程、估计缺失的光谱数据点和相应的光谱图像、对光谱进行分类和标记、计算和显示光谱主题图、化学图、病理图及其组合。

Claims (30)

1.一种混合光谱成像仪，所述混合光谱成像仪包括：

成像头布置IHA，所述成像头布置IHA包括：

光学成像装置，所述光学成像装置用于沿着成像路径收集并聚焦目标场景或对象的图像；

多波段滤波光学器件MBFO装置，所述多波段滤波光学器件MBFO装置包括：

分束器装置，所述分束器装置用于生成所述目标图像的至少两个图像副本；

可调谐多波段滤波TMF装置，所述可调谐多波段滤波TMF装置被***所述成像路径中并在所述图像副本中实现可调谐多带通滤波；

马赛克滤波器阵列MFA传感器布置，所述马赛克滤波器阵列MFA传感器布置包括至少一个马赛克滤波器阵列MFA-焦平面阵列FPA传感器，所述多波段滤波的图像副本在所述马赛克滤波器阵列MFA-焦平面阵列FPA传感器上聚焦，所述马赛克滤波器阵列MFA-焦平面阵列FPA传感器包括用至少三个宽波段原色类型的滤波器以像素化方式掩蔽的焦平面阵列装置，每个原色类型对从所述多波段滤波的图像副本中分离并捕获一个单波段图像分量做出响应；

控制和处理单元CPU，所述控制和处理单元CPU连接到所述成像头布置、执行程序指令以用于：校准图像采集过程；在所述可调谐多波段滤波TMF的给定调谐步骤和多个所述调谐步骤中，由所述马赛克滤波器阵列MFA传感器布置控制和同步所述图像副本的采集/捕获；对所述马赛克滤波器阵列MFA传感器布置的响应进行光谱净化，以补偿所述马赛克滤波器阵列MFA和所述可调谐多波段滤波TMF之间的波段串扰；

显示装置，所述显示装置用于在用户界面装置上至少显示所获取的单波段图像；

其中，所述控制和处理单元CPU被配置为在所述显示装置上重建并显示所使用的每个马赛克滤波器阵列MFA-焦平面阵列FPA传感器的至少三个不同单波段图像的集合；

其中，所述控制和处理单元CPU被配置为调谐所述可调谐多波段滤波TMF，以用于选择所述不同单波段图像的集合的中心波长，使得在所期望的光谱波段上进行视频快照光谱成像和/或在给定调谐步骤中捕获一定数量的不同单波段图像的集合以及在多步骤过程中捕获多个集合，一直持续到在所述焦平面阵列FPA传感器的光谱灵敏度范围内收集包括至少30个单波段图像的完整高光谱立方体数据集的集合为止。

2.根据权利要求1所述的混合光谱成像仪，其中，所述控制和处理单元CPU被配置为执行程序指令，以用于在特定于目标场景或特定于对象的光谱数据库中识别与填充有显著光谱特征的波长相对应的一组临界光谱波段CSB。

3.根据权利要求2所述的混合光谱成像仪，其中，所述显著光谱特征对应于所捕获的光谱的峰值和/或谷值和/或斜率。

4.根据权利要求2所述的混合光谱成像仪，其中，所述控制和处理单元CPU被配置为执行程序指令，以用于通过在稀疏采样数据点处捕获的响应与训练的光谱估计模型和相关算法进行拟合，从沿着光谱在所述稀疏采样数据点处捕获的所述马赛克滤波器阵列MFA-传感器布置的响应中恢复全光谱。

5.根据权利要求4所述的混合光谱成像仪，其中，所述稀疏采样数据点对应于所述一组临界光谱波段CSB。

6.根据权利要求1所述的混合光谱成像仪，其中，所述控制和处理单元CPU被配置为生成光谱立方体，所述光谱立方体包含由所述马赛克滤波器阵列MFA-传感器阵列装置捕获的一组快照光谱图像和一组估计的光谱图像，所有的图像一起以视频速率显示。

7.根据权利要求6所述的混合光谱成像仪，其中，从所有图像像素的重建光谱的估计的数据点处获得所述估计的光谱图像作为二维阵列，所述二维阵列包括与属于所述光谱的重建部分的特定波长波段相对应的强度值。

8.根据权利要求4所述的混合光谱成像仪，其中，所述光谱估计模型和算法属于一类算法，所述一类算法至少部分地包括最小二乘、维纳估计、核方法、人工神经网络、稀疏重建和深度学习方法。

9.根据权利要求1所述的混合光谱成像仪，其中，所述控制和处理单元CPU被配置为执行程序指令，以用于所述光谱成像数据集的光谱分类和用于在所述显示装置上显示所述光谱分类的光谱主题图。

10.根据权利要求9所述的混合光谱成像仪，其中，所述光谱分类利用监督分类器和存储在数据库中的、具有带化学标识和标签的光谱的光谱数据集，而将所述光谱主题图转换为化学图或活体病理图。

11.根据权利要求1所述的混合光谱成像仪，其中，所述光学成像装置从包括摄影镜头、光学显微器件、光学准直器件、无限校准光学器件、刚性或柔性内窥镜以及望远镜的组中选择。

12.根据权利要求1所述的混合光谱成像仪，其中，在空中、陆地或水下成像条件下，所述目标场景或对象从至少部分地包括人类或动物组织、植物组织、风景场景、加工食品料或食品原料、天然材料、人造材料的组中选择。

13.根据权利要求1所述的混合光谱成像仪，其中，所述多波段滤波光学器件MBFO装置至少部分地包括立方体分束器、板式分束器、偏振分束器、五边形分束器/分光器、具有镜面喷涂立柱的直角棱镜、具有镜面喷涂立柱的镜面喷涂金字塔棱镜、圆点分束器和薄膜分束器。

14.根据权利要求1所述的混合光谱成像仪，其中，所述可调谐多波段滤波TMF至少部分地包括角度依赖光谱滤波ADSF带通滤波器、角度依赖光谱滤波ADSF型二色和多色镜、角度依赖光谱滤波ADSF型多带通滤波器、空间光调制器、声光器件、液晶光谱调制器、表面等离子体滤波器及其组合。

15.根据权利要求14所述的混合光谱成像仪，其中，所述可调谐多波段滤波TMF是角度依赖光谱滤波ADSF型多波段反射和/或透射滤波器，当在±30°的角度范围内倾斜时，所述角度依赖光谱滤波ADSF型多波段反射和/或透射滤波器具有以波段的中心波长的大约15%进行调谐的特性。

16.根据权利要求15所述的混合光谱成像仪，其中，所述角度依赖光谱滤波ADSF型滤波器装置设置在倾斜致动器装置的可倾斜轴上，并且其中，所述倾斜致动器装置从包括电动机电元件、旋转致动器、马达、旋转螺线管、磁致动器、电致动器、热致动器和微机电***MEMs的组中选择。

17.根据权利要求1所述的混合光谱成像仪，其中，所述控制和处理单元CPU和所述显示装置至少部分地包括微控制器单元、存储器单元、现场可编程门阵列FPGA、移动电话、平板电脑、笔记本电脑、平板显示器和视频护目镜。

18.根据权利要求1所述的混合光谱成像仪，其中，所述分束器装置是设置在倾斜致动器装置的可倾斜轴上的倾斜五棱镜分束器，其中，所述可调谐多波段滤波TMF是沉积在所述五棱镜分束器的第一反射表面上的角度依赖光谱滤波ADSF型多色镜面涂层，所述角度依赖光谱滤波ADSF型多色镜面涂层在倾斜角不变的正交方向上反射和透射两个多波段滤波的图像副本，并且其中，所述成像头布置IHA包括两个马赛克滤波器阵列MFA-焦平面阵列FPA传感器，所述马赛克滤波器阵列MFA-焦平面阵列FPA传感器设置在所述光学成像装置的透射/反射焦平面上，以用于基本上同时捕获透射和反射的多波段滤波的图像副本。

19.根据权利要求1所述的混合光谱成像仪，其中，所述分束器装置是设置在倾斜致动器装置的可倾斜轴上的倾斜五棱镜分束器，其中，所述可调谐多波段滤波TMF包括设置在出现所述图像副本的五棱镜表面上的一对角度依赖光谱滤波ADSF型多带通滤波器，所述角度依赖光谱滤波ADSF型滤波器在倾斜角不变的正交方向上透射两个多波段滤波的图像副本，并且其中，所述成像头布置IHA包括两个马赛克滤波器阵列MFA-焦平面阵列FPA传感器，所述马赛克滤波器阵列MFA-焦平面阵列FPA传感器设置在所述光学成像装置的透射/反射焦平面上，以用于基本上同时捕获透射的多波段滤波的图像副本。

20.根据权利要求18所述的混合光谱成像仪，其中，所述五棱镜的所述第一反射表面与三角棱镜粘合在一起，使得所述五棱镜的后表面平行于所述五棱镜的前表面以补偿图像失真效应。

21.根据权利要求1所述的混合光谱成像仪，其中，所述分束器装置是设置在所述成像路径中的固定位置处的分束元件，所述固定位置被定义为所述光学成像光学装置的后端与其焦平面之间的空间，其中，所述可调谐多波段滤波TMF包括一对角度依赖光谱滤波ADSF型多带通滤波器，每个所述角度依赖光谱滤波ADSF型多带通滤波器设置在两个倾斜致动器装置的可倾斜轴上，并***分束光路中，并且其中，所述成像头布置IHA包括两个马赛克滤波器阵列MFA传感器布置，以用于基本上同时捕获透射的多波段滤波的图像副本。

22.根据权利要求1所述的混合光谱成像仪，其中，所述分束器装置是科斯特/棱镜型分束器，所述科斯特/棱镜型分束器被配置为使得其一个角的等分线涂覆有角度依赖光谱滤波ADSF型滤波器，并且其中，所述成像头布置IHA包括单个马赛克滤波器阵列MFA传感器布置，所述单个马赛克滤波器阵列MFA传感器布置设置在所剖切的角的相对侧上，将两个多波段图像副本捕获到所述单个马赛克滤波器阵列MFA传感器的两个不同区域中。

23.根据权利要求1所述的混合光谱成像仪，其中，所述分束器装置包括多侧面反射器，所述多侧面反射器中的至少两个侧面被镜面喷涂，所述被镜面喷涂的侧面被配置为将入射光束分成至少两个相反地反射的分量。

24.根据权利要求1所述的混合光谱成像仪，其中，所述多波段滤波光学器件MBFO装置包括：

光学元件，所述光学元件被配置为生成一组相同图像；

滤波器阵列装置，所述滤波器阵列装置被配置为对所述图像副本进行光谱滤波，使得光在一组离散的光谱波段处透射和/或反射；

玻璃屏幕，所述玻璃屏幕被配置为可视化滤波的图像副本的集合；和

中继透镜，所述中继透镜被配置为将所述玻璃屏幕上显示的图像聚焦到所述至少一个成像传感器上。

25.根据权利要求24所述的混合光谱成像仪，其中，所述多波段滤波光学器件MBFO装置包括通用安装装置，以用于将所述多波段滤波光学器件MBFO装置与商业相机装置的相应镜头适配器可拆卸地安装，所述相机装置能够独立地直立或集成到移动电话/计算机平台装置中。

26.根据权利要求1所述的混合光谱成像仪，其中，所述成像头布置IHA包括图像偏移补偿光学元件，所述图像偏移补偿光学元件设置在终止于所述光学成像装置的焦平面的图像路径中，所述图像偏移补偿光学元件被配置为由倾斜致动器装置以相对于角度依赖光谱滤波ADSF型滤波器的倾斜角成比例且相反的倾斜角定位，来补偿由倾斜引起的光学介质的光程长度的变化以及相关的图像失真/位移效应。

27.根据权利要求26所述的混合光谱成像仪，其中，所述图像偏移补偿光学元件是具有预定厚度和折射率的玻璃板，所述玻璃板的选择使得所聚焦的图像在相反方向上移动与由所述角度依赖光谱滤波ADSF型滤波器引起的移位基本上相等的距离。

28.根据权利要求1所述的混合光谱成像仪，其中，所述混合光谱成像仪被配置为用作扩展色域、无同色异谱和全光谱摄影相机，其中：

所述多波段滤波光学器件MBFO装置和马赛克滤波器阵列MFA传感器布置装置被配置为在光谱的可见部分内捕获至少五个所述单波段图像；且所述控制和处理单元CPU单元被配置为基于大光谱集合来执行光谱估计模型的训练任务，所述大光谱集合至少部分地包括蒙赛尔Munsell光谱集合；执行基于光谱估计模型的算法来拟合稀疏采样的光谱数据点，以重建所有图像像素中的光谱；从所述光谱计算CIE比色色彩参数；以及在所述显示装置中显示彩色图像，所述彩色图像的像素值对应于从全光谱得到的色彩参数。

29.根据权利要求28所述的混合光谱成像仪，其中，所述多波段滤波光学器件MBFO装置和马赛克滤波器阵列MFA传感器布置装置被配置为在所述光谱的可见部分内捕获至少五个单波段图像和在硅传感器装置的近红外灵敏度范围内捕获至少一个单波段图像；所述控制和处理单元CPU单元被配置为利用所述单波段图像的近红外响应来执行图像处理任务，所述处理的输出至少部分地包括：对照亮所述目标场景或对象的环境光的光谱特征的估计；估计所述目标场景或对象的表面反射率以实现色彩恒定；从所述彩色图像中提取雾度元素。

30.一种用于视频、全分辨率高光谱成像的方法，所述方法包括以下步骤：

获得密集采样的光谱集群，所述光谱集群在统计上足以代表目标场景或对象的光谱标识/复杂度；分析所述密集采样的光谱集，以用于通过光谱特征提取来提取所述光谱集群的稀疏表示；在所述密集采样的光谱中，识别与高度填充有显著光谱特征的光谱波段基本上重叠的波段对应的临界光谱波段CSB；以及通过根据权利要求1至29中任一项所述的混合光谱成像仪装置执行以下步骤：基本上同时捕获具有与所识别的临界光谱波段CSB相对应的中心波长的光谱图像；通过与密集采样的光谱的光谱数据集样本相关联的光谱估计模型来拟合所述临界光谱波段CSB空间和光谱数据点，通过估计缺失的光谱数据点和相应的光谱图像来重建目标对象或场景的光谱立方体；并以视频速率显示重建的光谱立方体的全部内容和得到的光谱主题图中的至少一个。

Images