CN113540138A - 一种多光谱图像传感器及其成像模块 - Google Patents

Abstract

本发明适用于传感器技术领域，提供了一种多光谱图像传感器及其成像模块，多光谱传感器包括：沿入射光方向依次排列的微透镜阵列、滤光片阵列以及感光芯片；感光芯片，包括多个像素单元；滤光片阵列，包括至少一个滤光单元组；每个滤光单元组包含多个对应不完全相同的预设波长的滤光片；每个不同的滤光片用于通过入射光线中滤光片对应的预设波长的光线；微透镜阵列，包括至少一个微透镜单元，微透镜单元用于汇聚入射光线，并使得汇聚后的入射光线经过滤光片阵列聚焦于感光芯片上，本发明提供的多光谱图像传感器包含有多个对应不完全相同的预设波长的滤光片，以实现在成像时同时采集不同光谱的目的，以提高成像精度、效率以及准确性。

Description

一种多光谱图像传感器及其成像模块

技术领域

本发明属于数据处理技术领域，尤其涉及一种多光谱图像传感器及其成像模块。

背景技术

光谱成像是现有主要的成像技术之一，由于基于光谱成像的数据不仅包含有图像信息，还包含有光谱信息，光谱信息能够体现拍摄图像时每个像素点在各个波段的光谱强度，利用光谱信息可以对图像中的拍摄对象进行定性甚至定量分析，能够应用于多种不同需求的场合。

现有的多光谱图像传感器的技术，一般是基于切换滤光片方式的多光谱图像传感器，在需要获取多光谱图像时，通过切换感光芯片上对应不同预设波长的滤光片，从而采集得到多光谱图像，然而基于上述方式生成的多光谱图像传感器，在获取多光谱图像时，由于不同光谱是分时采集的，因此实时性较低，不同光谱并非同时采集，从而会影响成像的精度以及效率。

发明内容

本发明实施例的目的在于提供一种多光谱图像传感器及其成像模块，旨在解决现有的多光谱图像传感器的技术，一般是基于切换滤光片方式的多光谱图像传感器，然而基于上述原理的多光谱图像传感器，在获取多光谱图像时，由于不同光谱是分时采集的，因此实时性较低，不同光谱并非同时采集，从而导致了成像的精度以及效率较低的问题。

本发明实施例提供一种多光谱图像传感器，所述多光谱传感器包括：沿入射光方向依次排列的微透镜阵列、滤光片阵列以及感光芯片；

所述感光芯片，包括多个像素单元；

所述滤光片阵列，包括至少一滤光单元组；每个所述滤光单元组包含多个对应不完全相同的预设波长的滤光片；每个不同的所述滤光片用于通过入射光线中与所述滤光片对应的所述预设波长的光线；

所述微透镜阵列，包括至少一个微透镜单元，所述微透镜单元用于汇聚所述入射光线，并使得汇聚后的所述入射光线经过所述滤光片阵列聚焦于所述感光芯片上。

实施本发明实施例提供的一种多光谱图像传感器及其成像模块具有以下有益效果：

本发明实施例提供的多光谱图像传感器包含有滤光片阵列，该滤光片阵列包含有至少一个滤光单元组，且每个滤光单元组内包含有多个对应不完全相同的预设波长的滤光片，从而能够实现同时采集多个不同波段的光信号，生成多光谱图像数据，保证了多光谱图像数据中不同通道采集的实时性，提供了成像精度以及效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种多光谱图像传感器的结构示意图；

图2是本发明另一实施例提供的感光芯片103的结构示意图；

图3是本发明一实施例提供的像素单元与滤光片之间的结构示意图；

图4是本发明另一实施例提供的像素单元与滤光片之间的结构示意图；

图5是本发明一实施例提供的滤光片阵列的示意图；

图6是本发明一实施例提供的入射光线透过滤光单元组的示意图；

图7是本发明另一实施例提供的多光谱图像传感器的结构示意图；

图8是本发明一实施例提供的成像模块的结构示意图；

图9是本发明另一实施例提供的一种多光谱图像传感器的结构示意图；

图10是本发明一实施例提供的滤光片矩阵以及滤光片阵列的示意图；

图11是本发明一实施例提供的多光谱图像传感器所采用的RGB恢复算法的示意图；

图12是本发明一实施例提供的滤光片阵列中RGB通道的不同滤光片的排布位置的示意图；

图13是本发明一实施例提供的畸变距离的计算示意图；

图14是本发明另一实施例提供的滤光片矩阵内各个滤光片的排布方式；

图15是本发明提供的所有候选方式在上述三种参量的参数表。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

基于光谱成像的数据不仅包含有图像信息，还包含有光谱信息，是一种图谱合一的数据类型，光谱成像得到的数据能够体现拍摄图像时每个像素点在各个波段的光谱强度；利用光谱成像技术可以对物体进行定性和定量分析，以及定位分析等。光谱成像技术按照光谱分辨率的从低到高可分为三类：多光谱成像、高光谱成像和超光谱成像技术。光谱成像技术不仅具有光谱分辨能力，还具有图像分辨能力，可应用于地质矿物、植被生态的识别以及军事目标的侦察等场合。

目前的成像光谱的器件主要可以通过以下几种方案实现，第一种是切换滤光片方法，基于上述方法的多光谱图像传感器内包含有多个滤光片，多个滤光片一般位于被测对象和镜头之间，需要进行图像采集时，会基于预设的切换次序切换到特定的滤光片，单次曝光只能输出特定滤波特性的单张图像，并通过连续切换滤光片进行多次曝光后，从而得到一帧多通道的光谱图像，即多光谱图像；第二种多光谱图像传感器的实现是推扫方法，单次曝光只能输出被测对象一个像素宽度上的(即一列像素点对应的)多光谱信息，为了获得被测对象在空间上完整的二维图像，则需要通过推扫的方式，每次曝光获得多列像素点对应的多光谱信息，最终合成一帧多通道的光谱图像。

然而，无论是基于滤光片切换的方式抑或是基于推扫方式生成的多光谱图像，均存在实时性的问题，例如通过滤光片切换的方式得到的多光谱图像，不同光谱之间采集时刻不一致，即在时域上存在实时偏差；而通过推扫的方式获取的多光谱图像，由于每次获取只能获得一列像素点的多光谱信息，不同列获取的时刻不一致，即在空间域上存在实时性偏差，从而大大影响了多光谱图像的成像精度以及效率。

因此，为了解决现有技术的问题，本发明提供了一种多光谱图像传感器以及该多光谱图像传感器的制造方法，以实现同时获取被测对象整体的多光谱信息，以满足多光谱图像在空间域以及时域上的实时性，提高多光谱图像的成像精度以及小。

实施例一：

图1示出了本发明实施例提供的一种多光谱图像传感器的结构示意图。为了便于说明，仅示出了与本发明实施例相关的部分。详述如下：

参见图1所示，在本发明实施例提供的一种多光谱图像传感器，该多光谱图像传感器包括：沿入射光方向依次排列的微透镜阵列101、滤光片阵列102以及感光芯片103；

该感光芯片103，包括多个像素单元；

该滤光片阵列102，包括至少一滤光单元组；每个所述滤光单元组包含多个对应不完全相同的预设波长的滤光片；每个所述滤光片用于通过入射光线中与所述滤光片对应的所述预设波长的光线；

该微透镜阵列101，包括至少一个微透镜单元，所述微透镜单元用于汇聚所述入射光线，并使得汇聚后的所述入射光线经过所述滤光片阵列聚焦于所述感光芯片上。

在本实施例中，该多光谱图像传感器中包含有感光芯片103，可以将采集到的光学图像信息转换为电信号，从而得到包含多光谱的图像数据并存储。

在一种可能的实现方式中，该感光芯片103可以是互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)传感器芯片，也可以是电荷耦合元件(Charge-coupled Device，CCD)芯片，当然，其他可以将光信号转换为电信号的芯片也可以用于本实施例中的感光芯片103。

进一步地，图2示出了本申请另一实施例提供的感光芯片103的结构示意图。参见图2所示，该实施例中的感光芯片103可以包括光电二极管1031以及信号处理模块1032，也可以称为电路部分，光电二极管1031与信号处理模块1032之间为电连接，一个感光芯片中可以包含多个光电二极管1031，每个像素单元包含至少一个光电二极管1031。其中，光电二极管1031可以基于光电效应，将采集到的光信号转换为电信号，并传输给信号处理模块(即电路部分)，信号处理模块读取光电二极管产生的电信号后，并对电信号进行处理，得到对应的感光结果，在多光谱图像传感器中，上述感光结果也可以称为多光谱图像。当然，电路部分还可以将电信号传输给接入的设备，如将采集到的多光谱图像传输给处理器。可选地，该感光芯片103的布局方式可以采用前照式、背照式或者堆栈式等，而感光芯片103的曝光方式可以采用全局曝光或者滚动曝光等，在此不对曝光方式以及布局方式进行限制。

在本实施例中，感光芯片103包含多个像素单元，每个像素单元可以采集对应的多光谱数据，将多个像素单元对应的多光谱数据合成得到多光谱图像数据。需要说明的是，一个感光芯片103包含的像素单元可以根据其采集的分辨率以及图像尺寸决定，也可以根据使用场景进行对应的调整，在此不对像素单元的个数进行限定。

在一种可能的实现方式中，图3示出了本申请一实施例提供的像素单元与滤光片之间的结构示意图。参见图3所示，每个所述像素单元上覆盖有一个所述滤光片。在该情况下，一个滤光片获取过滤得到的包含光信号会照射到对应的像素单元内，该像素单元用于将上述光信号转换为电信号，并基于所有像素单元的电信号生成多光谱图像。

在一种可能的实现方式中，图4示出了本申请另一实施例提供的像素单元与滤光片之间的结构示意图。参见图4所示，每个所述滤光片覆盖于多个所述像素单元上。在该情况下，一个滤光片覆盖于多个像素单元上，从而每个像素单元可以用于记录同一滤光片的光谱信号，并转换为对应的电信号，上述结构在透光率较低的场景下也能够提高采集的精确性，虽然降低一定程度的图像分辨率，但提高了每个光信号的采集精度。

在本实施例中，多光谱图像传感器包括有微透镜阵列101，该微透镜阵列内包含有至少一个微透镜单元，当然，也可以包含两个或两个以上的微透镜单元，具体微透镜单元的数量可以根据实际场景或传感器需要进行相应配置，在此不对微透镜单元的个数进行限定。该微透镜阵列具体用于将入射光线进行汇聚，并使得汇聚后的所述入射光线经过所述滤光片阵列聚焦于所述感光芯片上。其中，上述入射光线可以是由预设光源发射并经过被测对象反射后的光线，也可以是由被测对象自身产生的光线。

在一种可能的实现方式中，微透镜阵列101中每个微透镜单元对应滤光片矩阵中的一个滤光单元组，即微透镜单元与滤光单元组之间是一一对应的关系，每个微透镜单元用于将入射光线汇聚于该滤光单元组对应的区域，并透过滤光单元组将入射光线照射到感光芯片103上。当然，一个微透镜单元还可以对应两个或以上的滤光单元组，具体对应方式可以根据实际情况确定。

在本实施例中，多光谱图像传感器包括有滤光片阵列102，该滤光片阵列102内包含有至少一个滤光单元组，一个滤光单元组内包含有多个滤光片，不同的滤光片可以对应不完全相同的预设波长，即一个滤光单元组内可以存在两个以上对应相同预设波长的滤光片，也存在两个以上对应不同预设波长的滤光片，可以采集不同光谱对应的光信号，由于一个滤光单元组内包含有不同预设波长的滤光片，且不同的滤光片只能够让特定波长的光线通过，即从入射光线中过滤得到预设波长的光线，因此，通过一个滤光单元组可以获取得到的多光谱的光信号，并入射光线经过滤光单元组后，感光芯片可以采集到包含多光谱的光信号，并将光信号转换为对应的电信号，从而生成多光谱图像数据。

在本实施例中，由于多光谱图像传感器的滤光片阵列102中包含有多个对应不同预设波长的滤光片，因此当入射光经过滤光片阵列102照射到感光芯片103后，感光芯片可以在可见光和近红外光范围内(例如波段在300nm～1100nm之间的光线)可以经过滤光片过滤后得到多光谱图像，该多光谱图像的带宽可以在50nm～700nm之间，当然，也可以大于或小于上述的带宽范围。通过本实施例提供的多光谱图像传感器采集得到的多光谱图像或重建后的多光谱图像，可以用于对被拍摄对象的成分进行定性解析，例如进行物质成分识别，或者获得更为精确的环境色温，并基于环境色温对被拍摄对象进行色彩还原，还可以进行更为准确的活体检测以及人脸识别等，即基于多光谱采集的图像数据可以应用于多个不同的使用场景下。

在一种可能的实现方式中，一个滤光单元组可以包含大于或等于4个滤光片，如4个滤光片、9个滤光片或16个滤光片等等，具体根据多光谱图像传感器的通道数量决定，若该滤光单元组内包含9个滤光片，则该滤光单元组具体可以是一个3*3的滤光片矩阵。

在一种可能的实现方式中，同一滤光单元组内的不同滤光片具体是基于预设的排布方式在二维平面上进行排列。当滤光片阵列中包含两个或以上的滤光单元组，由于每个滤光单元组内不同预设波长对应的滤光片均是以相同的排布方式进行排列，因此，对于整个滤光片阵列而言，不同预设波长对应的滤光片会以预设的排列次序在二维平面上周期排列。示例性地，图5示出了本申请一实施例提供的滤光片阵列的示意图。该滤光片阵列包含有四个滤光单元组，每个滤光单元组包含9个滤光片，根据对应的波长不同，分别为滤光片1～9，每个滤光单元组内的滤光片排布方式相同，从而形成了以预设的排列次序周期排列的结构。

在一种可能的实现方式中，该滤光单元组具体为一宽带滤光矩阵。同样地，该宽带滤光矩阵具体包含有对应不同预设波长的多个滤光片。与现有的多光谱图像传感器相比，本申请实施例提供的多光谱图像传感器内的滤光单元组可以视为一个宽带滤光矩阵，即由多个对应不同预设波长的滤光片构成的“宽带滤光片”，即将多个滤光片组合而成的滤光单元组可以视为一个宽带滤光片，因此，该滤光单元组内包含所有滤光片所对应的预设波长所构成的波段，可以在一个较宽的范围内，例如在300nm～1100nm之间，也可以在350nm～1000nm之间，即光谱范围可以针对可见光以及近红外光的波段，其中，上述带宽滤光矩阵的光谱透光率曲线可以与拜耳Bayer滤光片的光谱透光率曲线相似。透过光谱的半高全宽(半高全宽：即峰值高度一半时的透射峰宽度)在50nm-700nm之间，不同的光谱透过特性对应不同的颜色，即白光入射到宽带滤光矩阵内预设波长的滤光片后，只有该对应波长的光线可以透过，其余波段的光线均被阻挡，示例性地，图6示出了本申请一实施例提供的入射光线透过滤光单元组的示意图，参见图6可见，不同滤光片只允许对应波段的光线透过，而其他波段的光线则拦截，而由于一个滤光单元组内包含有多个不同波段的滤光片，因此整个滤光单元组内过滤得到的波段较宽，可以视为一个宽带滤光片，即宽带滤光矩阵。

在一种可能的实现方式中，上述宽带滤光矩阵中包含有可通过近红外波段光线的滤光片，从而可以扩大整个宽带滤光矩阵可通过的光谱范围。在现有的大部分彩色摄像模块中，往往会在彩色摄像模块中(镜头和感光芯片之间)加入过滤掉近红外波段的滤光片(即不允许近红外波段通过)，即IR-cut，将近红外(650nm-1100nm)的光谱全部截止，以便更好的还原颜色。但是为了扩大光谱利用范围，以及获取更多的光谱数据以便适应不同应用场景的需求，本申请提供的多光谱图像传感器将近红外的光谱也利用上(光谱利用的范围越宽，光谱信息越丰富)，所以该多光谱图像传感器可以选择不采用红外截止滤光片，即可以在宽带滤光矩阵中加入允许近红外光透过的滤光片，在保证同样能还原颜色的同时，引入更多的光谱信息。其中，上述允许近红外光通过的滤光片与其它预设波段的滤光片在近红外波段有相近的响应曲线，将除近红外波段外的其他所有预设波段的滤光片采集到的光谱信息，减去黑色滤光片采集到的光谱信息，即可以恢复每种预设波长对应的光谱曲线，此处的只对近红外光响应的滤光片充当IR-cut作用。

进一步地，作为本申请的另一实施例，该多光谱图像传感器还包括基底104，感光芯片103、滤光片阵列102以及微透镜单元101依次排布于基底上，示例性地，图7示出了本申请另一实施例提供的多光谱图像传感器的结构示意图。参见图7所示，该多光谱图像传感器包括基底104，感光芯片103排布于基底104上方，而感官芯片103的上方则为滤光片阵列102，以及微透镜单元101，从而入射光线可以通过微透镜单元101汇聚于滤光片阵列102上，并通过滤光片阵列102对入射光线进行过滤，从而将包含多光谱的光线照射在感光芯片103上，从而采集得到包含多光谱的图像数据。

进一步地，作为本申请的另一实施例，本申请还提供了一种基于上述多光谱图像传感器的成像模块，该成像模块包含上述任一实施例提供的多光谱图像传感器，除了上述多光谱图像传感器外，该成像模块还包括镜头以及电路板。示例性地，图8示出了本申请一实施例提供的成像模块的结构示意图。参见图8所示，该成像模块中包含有多光谱图像传感器81、镜头82以及电路板83，其中，多光谱图像传感器81设于电路板83上，该镜头82设于该多光谱图像传感器81上方并固定于电路板83上，从而使得入射光线可以透过镜头照射于多光谱图像传感器81上。需要说明的是，该成像模块上可以包含有一个多光谱图像传感器81，也可以设置有两个或以上的多光谱图像传感器83。若该成像模块包含多个多光谱图像传感器81，则上述镜头82可以设于多个多光谱图像传感器81的上方，即多个多光谱图像传感器81对应一个镜头82，当然，可以为每一个多光谱图像传感器81配置独立的一个镜头82，具体配置可以根据实际使用场景进行配置，在此不做限定。

在一种可能的实现方式中，该成像模块中的镜头82包括有成像透镜821以及底座822，所述成像透镜821设置于所述底座822上；所述电路板83上设有与所述底座822连接的所述多光谱图像传感器81，即在实际安装后，底座822会覆盖于多光谱图像传感器81上方，即罩住整个多光谱图像传感器81，并设于电路板83上。

在本申请实施例中，多光谱图像传感器包含有滤光片阵列，该滤光片阵列包含有至少一个滤光单元组，且每个滤光单元组内包含有对应不同预设波长的滤光片，从而能够实现同时采集多个不同波段的光信号，生成多光谱图像数据，保证了多光谱图像数据中不同通道采集的实时性，提供了成像精度以及效率。

实施例二：

图9示出了本发明另一实施例提供的一种多光谱图像传感器的结构示意图。为了便于说明，仅示出了与本发明实施例相关的部分。详述如下：

多光谱图像传感器包括：沿入射光方向依次排列的微透镜阵列901、滤光片阵列902以及感光芯片903；

所述感光芯片903，包括多个像素单元；

所述滤光片阵列902，包括至少一滤光单元组；每个所述滤光单元组包含多个对应不完全相同的预设波长的滤光片；每个所述滤光片用于通过入射光线中所述滤光片对应的所述预设波长的光线；每个所述滤光单元组内的所述滤光片以目标方式进行排布；所述目标方式是所述滤光单元组对应的图像采集指标最优对应的排布方式；

所述微透镜阵列901，包括至少一个微透镜单元，所述微透镜单元用于汇聚所述入射光线，并使得汇聚后的所述入射光线经过所述滤光片阵列聚焦于所述感光芯片上。

在本实施例中，感光芯片903以及微透镜阵列901与实施例一种的感光芯片103以及微透镜阵列101相同，均是用于将光信号转换为电信号，以及用于汇聚光线，具体描述可以参见实施例一的相关描述，在此不再赘述。

在本实施例中，滤光片阵列902与上一实施例中的滤光片阵列102相似，均包含至少一个滤光单元组，且该滤光单元组内包含有对应不同预设波长的滤光片。与实施例一的滤光片阵列102不同的是，本实施例中的滤光片阵列902中的滤光单元组内的滤光片，是以预设的目标方式进行排布，并且以该方式进行排布时，滤光单元组对应的图像采集指标最优。

在一种可能的实现方式中，在确定目标方式之前，可以分别确定各个候选方式对应的图像采集指标，并基于所有候选方式的图像采集指标，确定出最优的图像采集指标，并将最优的图像采集指标对应的候选方式作为上述的目标方式。可选地，该图像采集指标包含有多个指标维度，不同指标维度可以根据使用场景的不用，配置不同的权重值，根据候选方式在各个指标维度对应的指标值以及配置好的权重值进行加权运算，从而可以计算得到该候选方式对应的图像采集指标，若该图像采集指标的数值越大，则表示与使用场景的适配度更高，成像效果越好，识别准确率越高，基于此，可以选取数值最大的图像采集指标对应的候选方式作为上述的目标方式。

在一种可能的实现方式中，该滤光单元组具体包括一m*n的滤光片矩阵，即一个滤光单元组内，各个滤光片以m行n列的方式进行排布，从而形成一个m*n的滤光片矩阵。该滤光片矩阵内的各个滤光片具体可以为正方形的滤光片，还可以是矩形的滤光片。其中，m和n均为大于1的正整数。例如，m可以为2、3或者4等，对应地，n也可以为2、3或4等，m和n之间的数值可以相同，也可以不同，在此不对m和n的具体数值进行限定。

示例性地，根据滤光单元组内包含的滤光片的颜色，滤光单元组(即上述的滤光片矩阵)可以分为以下几个类型，分比为：GRBG滤光片、RGGB滤光片、BGGR滤光片以及GBRG滤光片，其中，G代表可通过绿色的滤光片，R代表可通过红色的滤光片，B代表可通过蓝色的滤光片。

以滤光片矩阵为3*3的滤光片矩阵为例进行说明，示例性地，图10示出了本申请一实施例提供的滤光片矩阵以及滤光片阵列的示意图。参见图10所示，该滤光片矩阵内包含9个滤光片，如图10中的(a)所示，上述9个滤光片可以为对应不同预设波长的滤光片，当然，也可以为少于9种不同预设波长的滤光片，在该情况下，则在一个滤光片矩阵内包含预设波长重复的两个或以上的滤光片，优选地，上述滤光片矩阵内包含至少4种不同的预设波长不同的滤光片。对于一个滤光片矩阵，由于可以包含多个滤光单元组，例如包含a*b个滤光单元组(即滤光片阵列)，则整个滤光片阵列如图10中的(b)所示，则滤光片阵列每列包含m*a个滤光片，而每行包含n*b个滤光片，若每个滤光片关联一个像素单元，则生成的多光谱图像传感器的分辨率为(m*a)*(n*b)。同理地，若滤光片矩阵为一4*4的滤光片矩阵，则该滤光片矩阵内可以包含对应16种不同预设波长的滤光片，还可以少于16种预设波长的滤光片，例如只包含对应8种不同预设波长的滤光片，即每种滤光片需要重复出现两次，且保证均匀的空间分布。

继续以3*3共9种不同预设波长(即通过不同特定颜色)的滤光片矩阵为例进行说明，在确定滤光片矩阵内的各个滤光片的位置时，主要基于以下几个方面进行考量：1)从整个滤光片阵列来看，单个颜色在3*3矩阵中的位置无确定性要求，因此需要考虑的是在一个滤光片矩阵(即滤光单元组)内不同颜色之间的相对位置；2)后续的场景应用对颜色的相对位置是否有特定的要求；3)彩色图像(如RGB图像)的恢复效果与颜色间的相对位置有强烈相关性。因此，若场景应用对于颜色的相对位置没有特定要求的情况下，滤光片阵列中对应不同预设波长的滤光片的空间排布设计主要考虑彩色图像恢复算法(后续成为RGB恢复算法)的需求。

在本实施例中，图11示出了本申请一实施例提供的多光谱图像传感器所采用的RGB恢复算法的示意图，参见图11中的(a)所示，滤光片阵列中的滤光片矩阵为RGGB滤光片矩阵，因此整个滤光片矩阵内包含有两个可通过绿色的滤光片G1和G0、一个可通过红色的滤光片R以及一个可通过蓝色的滤光片B，除此之外，还包括有可通过近红外光的滤光片IR，其他滤光片对应的波长(即可通过的颜色)可以根据实际需求进行选择。其中，进行RGB恢复算法具体可以划分为以下3个步骤：

1)将R、G0、G1、B四个通道的灰度值分别减去IR通道的灰度值，即R＝R-IR，G0＝G0-IR，G1＝G1-IR，B＝B-IR，进行该步骤操作的原因为R、G、B滤光片本身无法完全截止近红外光，即都对近红外光有响应(其透过率曲线如下图11中的(b)所示，其中，纵坐标为幅值，横坐标为波长)，只有消除了近红外光的响应才能够得到无其他颜色干扰的R、G、B信息(普通的彩色图像传感器由于带有过滤近红外光的滤光片，所以无需这一步操作，而本申请的多光谱图像传感器为了能够对采集多样的光谱信息，因此会包含有可通过近红外光的滤光片，以采集近红外光的光谱数据)；

2)完成上述操作后，将R、G0、G1、B四个通道的灰度值后，整个滤光片矩阵(即滤光单元组)可以近似看成如图11中的(c)一样的方式排布；

3)将重新排布后的RGB数据输入对应的彩色信号处理模型，从而输出彩色图像，至此，完成了RGB颜色恢复。

上述方式虽然牺牲了滤光片矩阵内部分的分辨率，且有5/9的空间信息被采样过程丢弃，对于原始分辨率输出为3a*3b的多光谱图像传感器而言，其RGB输出的图像分辨率为2a*2b，然而上述方式能够利用通用的彩色信号处理模型完成多光谱图像传感器的RGB恢复，能够提高了彩色图像恢复的通用性以及效率。因此，在确定了适用上述RGB恢复算法后，可以根据不同排布方式下，上述RGB恢复算法的恢复效果，来确定图像采集指标，并基于图像采集指标确定滤光片矩阵内各个滤光片的目标方式。

进一步地，作为本申请的另一实施例，所述图像采集指标包括：信息采样度、畸变距离、与基准通道之间的距离参量以及基于透过率曲线计算得到的光谱相似度，所述图像采集指标最优具体指：所述滤光片以所述目标方式进行排布时，所述信息采样度大于采样度阈值、所述畸变距离小于畸变阈值，所述距离参量小于预设的距离阈值，相邻的各个所述滤光片之间的所述光谱相似度大于预设的相似阈值；其中，所述采样度阈值是基于所有候选方式的信息采样度确定的；所述距离阈值是基于所有所述候选方式的畸变距离确定的。

在本实施例中，上述图像采集指标具体包含四种类型的特征参量，分别为：信息采样度、畸变距离、与基准通道之间的距离参量以及不同滤光片之间的光谱相似度。以下分别说明上述三种特征参量的含义以及相关的计算方式。具体描述如下：

1)信息采样度：

继续以3*3的滤光片矩阵为例进行说明，如上所述，在进行RGB恢复算法时，由于只有4个滤光片提供RGB恢复算法的彩色信息，即丢弃了3*3阵列中5个通道的信息(即五个位置的滤光片采集到的数据)，只保留的其中4个。这4个滤光片在3*3阵列中的不同位置时，对整个滤光片矩阵的空间信息的采样作用是不同的，因此可以通过信息采样度来表示上述四种颜色的滤光片在不同位置上时在空间信息上的采样效果。示例性地，图12示出了本申请一实施例提供的滤光片阵列中RGB通道的不同滤光片的排布位置的示意图，如图12所示，滤光片阵列中的滤光片矩阵具体为RGGB矩阵，其中，上述四种滤光片(分别为1～4滤光片)在滤光片矩阵中的位置如图所示，从而基于滤光片矩阵构成对应的滤光片阵列。由于像素A对应的采集信息在进行RGB恢复算法的过程中会被丢弃，因此若想恢复像素A的信息，利用其邻域内的其他像素信息进行补全；在像素A的8个邻域像素中，由于上下左右4个像素与中心(即像素A)之间的距离比左上、右上、左下、右下4个像素与中心之间的距离小，因此所贡献的信息更准确。因此，可以将像素A的上下左右邻域的像素，在恢复像素A的信息时贡献的信息量识别为1，而左上、右上、左下、右下邻域的像素，在恢复像素A的信息时贡献的信息量识别为0.707(即)。基于此，滤光片矩阵以图12的方式进行排布时，像素A的8邻域只有其中左上、右上、左、右4个像素配置有RGGB滤光片，即上述四个像素采集的信息有效，其他的邻域像素在进行RGB恢复时会被丢弃，即属于无效信息，因此像素A能够从邻域获取的信息量为上述四个邻域的总和，即SA＝0.707+0.707+1+1＝3.414，同理也可以通过上述方式分别计算像素B、C、D、E对应的信息量，最终计算3*3排布中5个被丢弃像素所能够得到的总信息量S＝SA+SB+SC+SD+SE＝16.484。将总信息量S作为该排布方式的信息采样度，S反映了RGGB滤光片以上述排布方式对应的滤光片矩阵能够为全分辨率图像恢复提供的信息总量，由于信息总量提供得越多，则数据损失越少，因此信息采样度越大越好。在确定目标方式时，可以配置有对应的采样度阈值。若某一候选方式对应的信息采样度大于上述的采样度阈值，则可以进行其他特征参量的比对，以判断该候选方式是否为目标方式。

进一步地，该采样度阈值可以根据所有候选方式对应的信息采样度决定，例如，可以将所有候选方式中信息采样度数值第二大的信息采样度作为上述的采样度阈值，从而选择出数值最大的信息采样度。

2)畸变距离

示例性地，图13示出了本申请一实施例提供的畸变距离的计算示意图。参见图13所示，本申请提供了两种滤光片矩阵的排布方式，第一种方式如图13中的(a)所示，另一种方式如图13中的(b)所示，以3*3的滤光片矩阵为例进行说明，以图13的方式建立一个坐标系(当然，也可以其他方式建立坐标系)，左上角为坐标零点，且每个滤光片对应的长和宽均为4，则在该滤光片矩阵中，R像素的中心坐标为(2,2)，在进行RGB恢复算法后(参见1)中所述进行矩阵的近似转换)，等效近似的RGB恢复后的矩阵中，用4个滤光片(即RGGB四个滤光片)代替原有的9个滤光片所占的空间，因此每个像素的长和宽均变为了6，此时R像素的中心坐标为(3,3)。上述矩阵的相似变换的操作，对R通道(即红色滤光片)而言，引入了一个畸变量，畸变量为：即1.414，同理可以计算其他3个通道的畸变量，而上述畸变距离等于各通道畸变距离的总和，在不同的4通道排布设计下，畸变距离越小越好，由此可见，以图13中的(a)方式进行排布时，该滤光片矩阵对应的畸变距离为9.153。此外，畸变距离的计算需要注意另外一种情况，如上图右所示，在原有的3*3阵列设计中，B通道在G0通道的右方，而在近似变换后，B通道位于G0通道的下方，这种改变4通道之间空间拓扑位置的近似变换会对RGB效果带来较大的负面影响，因此这种排布设计在计算总畸变量时对G0通道的畸变量乘上惩罚因子，例如该惩罚因子为2，同理B通道畸变量也需要乘以惩罚因子2，因此计算上惩罚因子后，以图13中的(b)方式进行排布时，该滤光片矩阵对应的畸变具体为27.2039。由此可见，在选取目标方式时，应该选取畸变距离较小的候选方式作为目标方式，因此若某一候选方式对应的畸变距离小于上述的畸变阈值，则可以进行其他特征参量的比对，以判断该候选方式是否为目标方式。

进一步地，该畸变阈值可以根据所有候选方式对应的畸变距离决定，例如，可以将所有候选方式中畸变距离中数值第二小的畸变距离作为上述的畸变阈值，从而选择出数值最小的畸变距离。

3)与基准通道之间的距离参量

如上所述，在进行RGB恢复算法时，首先需要用4通道的灰度值分别减去近红外光IR通道的灰度值，因此可以将IR通道作为基准通道。当然在其他应用场景下，若采用其他波段的滤光片对应的通道作为基准通道，也可以将IR通道替换为对应波段的通道。在进行上述RGB恢复算法时，由于4通道灰度值中的IR分量与IR通道的灰度值相同。因此在确定滤光片矩阵的排布方式时，需要让4个通道(即RGGB通道)对应的滤光片在滤光片矩阵内的位置应离IR通道对应的滤光片的位置尽可能近，并且上述4个通道与IR通道之间的距离尽可能相同。为此，定义四个通道的滤光片与IR滤光片之间的距离，以及上述距离的波动值。示例性地，图14示出了本申请另一实施例提供的滤光片矩阵内各个滤光片的排布方式，参见图13所示，B通道(即可以通过蓝色的滤光片)离IR通道的距离为1，由于G0通道在IR通道的左上方，因此与IR通道之间的距离被为1.414(即)，剩余可以通过上述方式确定，因此，以上述排布方式得到的滤光片矩阵中，上述四个通道与IR通道之间的距离之和，为1+1+1.414+1.414＝4.828；IR距离波动为4通道与IR通道之间距离的标准差，为0.239。在不同的滤光片矩阵的候选方式中，距离之和与IR距离波动越小越好。

4)基于透过率曲线计算得到的光谱相似度

在计算得到各个候选方式对应的信息采样度、畸变距离、距离参量(即距离之和以及IR距离波动)后，就可以对所有候选方式进行定量评价。示例性地，图15示出了本申请提供的所有候选方式在上述三种参量的参数表。如图15中的(a)所示，从左到右从上到下编号为1至18，具体的参数可以参见图15中的(a)的表格，因此，根据比对各个候选方式中信息采样度、畸变距离、与基准通道之间的距离参量(即IR通道的距离之和以及IR距离波动)，可以确定出采样度阈值、畸变阈值以及距离阈值，并确定出上述四个通道以及基准通道(即IR通道)最优的排布方式如图15中的(b)所示。

在确定了上述5个通道对应的位置后，可以确定该矩阵中剩余的其他4个位置所需放置的滤光片。由于不同颜色在空间中应尽可能均匀分布，应避免相近的颜色的滤光片在3*3的滤光片矩阵中过于集中，即尽可能使相近的颜色不相邻。以上图为例进行说明，确定剩余的4种待确定位置的滤光片对应的透过率曲线，并将任一待确定位置的滤光片放置于空余的位置内，计算该待确定位置的滤光片的通过率曲线与邻近的已确定位置的滤光片的透过率曲线之间的光谱相似度，其中，两条透过率曲线相似性可以基于采用光谱测量领域内对光谱曲线的相似性度量指标确定，例如可以采用两条透过率曲线的欧式距离、光谱角、相关系数等相似性度量指标，在此不做特定限定，在多个空余的位置中确定出相似度最小的位置作为该待确定位置的滤光片的位置，通过上述方式得到待确定位置的滤光片在滤光片矩阵内的位置，从而使得每个滤光片对应的透过率曲线均与其邻域的滤光片的透过率曲线具有预设的加权相关性。对于所有待确定位置的滤光片均依次执行上述步骤，从而可以从所有候选方式中确定出各个滤光片在滤光片矩阵内排布时对应的目标方式。

在一种可能的实现方式中，基于上述四种特征参量的计算方式，终端设备可以遍历计算所有滤光片矩阵的候选方式关于上述四种特征参量对应的参数值，并基于各个特征参量对应的参数值计算出各个候选方式对应的图像采集指标，从而可以选取出最优的图像采集指标，并将最优的图像采集指标对应的候选方式作为目标方式。

在一种可能的实现方式中，本实施例提供的多光谱图像传感器也可以集成于一成像模块中，在该情况下，成像模块包括：所述多光谱图像传感器、镜头以及电路板；所述电路板上设有至少一个多光谱图像传感器以及镜头；镜头设于所述多光谱图像传感器上，以使入射光线透过所述镜头照射于所述多光谱图像传感器上。

在本申请实施例中，通过多个特征维度来确定图像采集指标，特征维度包含有信息采集度、畸变程度、滤光片之间的相关性以及与中心点之间的波动范围，从多个方面来定量评定滤光片矩阵的采集效果，能够准确有效地确定出最优的目标排布方式，从而提高了后续多光谱图像传感器的采集精度以及与应用场景之间的适配性。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多光谱图像传感器，其特征在于，所述多光谱传感器包括：沿入射光方向依次排列的微透镜阵列、滤光片阵列以及感光芯片；

所述感光芯片，包括多个像素单元；

所述滤光片阵列，包括至少一滤光单元组；每个所述滤光单元组包含多个对应不完全相同的预设波长的滤光片；每个不同的所述滤光片用于通过入射光线中与所述滤光片对应的所述预设波长的光线；

所述微透镜阵列，包括至少一个微透镜单元，所述微透镜单元用于汇聚所述入射光线，并使得汇聚后的所述入射光线经过所述滤光片阵列聚焦于所述感光芯片上。

2.根据权利要求1所述的多光谱图像传感器，其特征在于，所述滤光单元组包括宽带滤光矩阵；所述宽带滤光矩阵用于通过所述入射光线中可见光频段以及近红外频段的光线。

3.根据权利要求1所述的多光谱图像传感器，其特征在于，所述滤光片阵列中不同所述预设波长对应的所述滤光片以预设的排列次序在二维平面上周期排列。

4.根据权利要求1所述的多光谱图像传感器，其特征在于，所述感光芯片还包括多个光电二极管以及信号处理模块，每个所述像素单元包含至少一个所述光电二极管；所述光电二极管与所述信号处理模块之间为电连接；

所述光电二极管用于将光信号转换为电信号；

信号处理模块用于对所有所述像素单元输出的电信号进行处理，得到感光结果。

5.根据权利要求1所述的多光谱图像传感器，其特征在于，每个所述像素单元上覆盖有一个所述滤光单元组内的滤光片，或每个所述滤光片覆盖于多个所述像素单元上。

6.根据权利要求1所述的多光谱图像传感器，其特征在于，所述滤光单元组为一3*3的滤光片矩阵。

7.根据权利要求1-6任一项所述的多光谱图像传感器，其特征在于，所述多光谱图像传感器还包括基底，所述感光芯片、所述滤光片阵列以及所述微透镜阵列依次排布于所述基底上。

8.根据权利要求1-6任一项所述的多光谱图像传感器，其特征在于，每个微透镜单元设置于每个所述滤光单元组上。

9.一种基于权利要求1所述的多光谱图像传感器的成像模块，其特征在于，所述成像模块包括：所述多光谱图像传感器、镜头以及电路板；

所述电路板上设有至少一个所述多光谱图像传感器和所述镜头；

所述镜头设于所述多光谱图像传感器上，以使入射光线透过所述镜头照射于所述多光谱图像传感器上。

10.根据权利要求9所述的成像模块，其特征在于，所述镜头包括成像透镜以及底座；

所述成像透镜设置于所述底座上；

所述电路板上设有与所述底座连接的所述多光谱图像传感器。

Images