CN105049829B - 滤光片、图像传感器、成像装置以及三维成像*** - Google Patents

Abstract

本发明公开了一种用于图像传感器的滤光片、图像传感器、成像装置以及三维成像***。该滤光片包括多个滤光单元，分别对应于图像传感器的多个像素。滤光单元包括可见光透射单元，用于透过特定可见光频率范围内的可见光；以及红外光透射单元，用于透过特定红外光频率范围内的红外光。将本发明滤光片用于图像传感器即可以同一视角同时捕获待测物体的深度信息和色彩信息，与现有通过红外摄像头和彩色摄像头来获取深度信息和色彩信息相比，免去了两个摄像头获取的图像的对齐标定程序，而且还可以避免了由于双摄像头的视差存在的检测盲区而使得检测到的红外图像和彩色图像无法对齐的情况。

Description

滤光片、图像传感器、成像装置以及三维成像***

技术领域

本发明涉及三维成像领域，具体地说，涉及一种滤光片、图像传感器、成像装置以及三维成像***。

背景技术

传统的图像拍摄方法只能获得物体的二维信息，无法得到物体的空间深度信息(亦称景深信息)，但实际上物体表面的空间深度信息，尤其是深度信息的实时获取在各种工业、生活及娱乐应用中都起着至关重要的作用。

深度摄像头是一种采集目标物体深度信息的采集设备，这类摄像头广泛应用于三维扫描、三维建模等领域。在实际应用中，为了真实还原物体的三维数据及表面纹理，在采集深度信息的同时，往往还需要同时采集物体表面的彩色纹理信息。

在采集深度信息时，为了排除外界环境可见光的干扰，往往采用红外摄像头对处于红外光波段(680nm-1100nm)的图像进行采集。为了能够同时采集RGB信息，需要额外安装彩色摄像头进行同步拍摄。

由于红外摄像头和彩色摄像头所处的位置不同，拍摄时会存在视差，而使得红外和彩色图像不一致，即同一个拍摄对象在红外图像和彩色图像中的位置不同。因此拍摄完成后，还需要对红外摄像头和彩色摄像头进行***标定，用以将彩色及深度数据按像素对齐。

在采用红外摄像头和彩色摄像头同步拍摄时，同样由于两个摄像头的位置不同，红外和彩色图像不一致，拍摄对象在红外图像和彩色图像中的视角也不同，所以很有可能出现拍摄盲区。如图1所示，A是彩色摄像头，B是红外摄像头，彩色摄像头A拍摄的物体的范围与红外摄像头拍摄B的物体的范围不同。图1中拍摄对象的较细轮廓线上以粗线绘出的部分是一个摄像头能够拍摄到而另一个摄像头拍摄不到的区域，对于拍摄不到该区域的摄像头而言，就是拍摄盲区。拍摄盲区的存在也会使得所拍摄的红外图像和彩色图像难以对齐。

因此，亟需一种可以在获取物体的深度信息和彩色信息的同时能够更加方便地使红外图像和彩色(可见光)图像对齐的解决方案。

发明内容

本发明要解决的一个技术问题是，提供一种用于图像传感器的滤光片、图像传感、成像装置及三维成像***，使得在同时获取物体的红外和彩色图像的情况下，能够方便地使红外图像和彩色(可见光)图像对齐。

根据本发明的一个方面，提供了一种用于图像传感器的滤光片，滤光片包括多个滤光单元，分别对应于图像传感器的多个像素，每个滤光单元包括：

可见光透射单元，用于透过特定可见光频率范围内的可见光；

红外光透射单元，用于透过特定红外光频率范围内的红外光。

优选地，可见光透射单元包括：

三原色透射单元，用于分别透过对应于三原色之一，所述特定可见光频率范围分别对应于所述三原色各自的频率范围。

优选地，三原色是红色、绿色和蓝色，或者所述三原色是青色、品红色和黄色。

优选地，特定红外光频率范围的中心频率与所述三原色各自的频率范围的中心频率两两之间的间隔大致相等。

优选地，滤光单元包括光学膜，

可见光透射单元的光学膜被设计为透过所述特定可见光频率范围内的可见光，

红外光透射单元的光学膜被设计为透过所述特定红外光频率范围内的红外光。

根据本发明的另一方面，提供了一种图像传感器，包括多个像素，其中每个像素包括：

可见光感光单元，用于检测特定可见光频率范围内的可见光；

红外光感光单元，用于检测特定红外光频率范围内的红外光。

优选地，还包括上文所述的滤光片，其中滤光片上的可见光透射单元与其所对应的像素构成可见光感光单元，滤光片上的红外光透射单元与其所对应的像素构成红外光像素。

根据本发明的又一方面，提供了一种成像装置，包括上文所述的图像传感器；以及

红外光投影装置，用于向拍摄区域投射预定红外光频率范围内的红外光。

根据本发明的再一方面，提供了一种三维成像***，包括上文所述的成像装置，其中，

红外光投影装置向所述拍摄区域投射带有纹理的红外光束，以在拍摄区域的拍摄对象上形成随机分布的红外纹理，

图像传感器中的红外光感光单元获得所述拍摄区域中的拍摄对象反射的红外纹理图像，

该三维成像***还包括：

处理器，用于根据红外纹理图像与预先存储的至少一个已知纵深距离的参考面纹理进行对比，以确定红外纹理相对于图像传感器的深度数据。

本发明还提供了另一种三维成像***，包括：

红外光投影装置，用于向拍摄区域投射带有纹理的红外光束；

两个上文所述的图像传感器，两个图像传感器之间具有预定相对位置关系，两个图像传感器中各自的红外光感光单元获得拍摄区域中的拍摄对象反射的红外纹理图像；以及

处理器，用于根据红外纹理中同一个纹理片段在两个红外纹理图像中相对应地形成的纹理片段图像的位置差异、以及预定相对位置关系，确定红外纹理相对于两个图像传感器的深度数据。

利用由本发明的滤光片组成的包含有可见光感光单元和红外光感光单元的图像传感器，可以以同一视角同时获取红外图像和彩色图像，与现有通过红外摄像头和彩色摄像头来获取深度信息和色彩信息相比，免去了两个摄像头获取的图像的对齐标定程序，而且还可以避免了由于双摄像头的检测盲区使得检测到的红外图像和彩色图像无法对齐的情况，从而能够方便地使红外图像和彩色(可见光)图像对齐。

另一方面，由于免去了两个摄像头的标定程序，降低了对生产工艺与过程控制的要求，而且减少了一套图像传感器***，节省大量物料，因此也降低了生产成本。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了采用两个图像传感器拍摄时存在拍摄盲区时的示意图；

图2A示出了根据本发明的用于图像传感器的滤光片的结构示意性方框图；

图2B示出了图2A中每个滤光单元的示意性方框图；

图3示出了现有图像传感器的感光面按空间混色法划分的像素结构示意图

图4示出了本发明实施例的图像传感器的感光面的像素结构示意图；

图5示出了根据本发明的成像装置的一个示例的结构示意图；

图6示出了根据本发明的三维成像***的结构示意图；

图7是常规图像传感器捕获的图像；

图8是根据本发明的图像传感器捕获的图像；

图9示出了根据本发明的三维成像***的另一种结构示意图

图中相关标号的具体含义为：

A、彩色摄像头；

B、红外摄像头；

1、三维成像***；

2、成像装置；

10、处理器；

20、图像传感器；

20-1、第一图像传感器；

20-2、第二图像传感器；

30、红外光投影装置；

25、滤光片

40、滤光单元；

50、可见光透射单元；

60、红外光透射单元

110、三原色透射单元。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本发明首先公开了一种滤光片，其可以透过特定频率范围的可见光和红外光。

图2A示出了根据本发明的滤光片的结构示意性方框图。

如图所示，本发明中的滤光片25包括多个滤光单元30。

图2B示出了图2A中每个滤光单元的示意性方框图。

如图所示，每个滤光单元30包括可见光透射单元40和红外光透射单元50，分别用于透过特定频率范围的可见光、红外光，可见光透射单元40包括三原色透射单元110，三原色透射单元110用于分别透过对应的三原色，三原色可以是红色、绿色和蓝色(RGB)，也可以是青色、品红色或洋红色和黄色(CMY)，特定可见光频率范围分别对应于三原色各自的频率范围。

红外光频率范围的中心频率越高，红外光的波长越短，此时，红外光感应单元在在感应红外光时容易受到可见光中红色的干扰，而如果红外光频率范围的中心频率越低，红外光的波长越长，则容易出现红外图像与彩色图像无法同时聚焦在图像传感器的感光区表面的情况。

因此，优选地，特定红外光频率范围的中心频率与三原色各自的频率范围的中心频率两两之间的间隔可以设置为大致相等。

本发明的滤光片可以用于图像传感器，即将本发明的滤光片覆盖在图像传感器的感光面上。

这样图像传感器就可以感应特定范围的可见光和红外光。

滤光单元可以由现有的光学膜制成，其中，可见光透射单元的光学膜被设计为透过特定可见光频率范围内的可见光，红外光透射单元的光学膜被设计为透过特定红外光频率范围内的红外光。

本发明还设计了一种图像传感器，图像传感器的感光面包括多个像素，每个像素由可见光感光单元和红外光感光单元组成，其中，可见光感光单元用于检测特定可见光频率范围内的可见光，红外光感光单元用于检测特定红外光频率范围内的红外光。

可以将上文图2B提及的滤光片应用于本发明实施例的图像传感器，即将滤光片上的每个滤光单元对应于图像传感器的一个像素，这样，滤光片上的可见光透射单元和与可见光该透射单元对应的像素部分就构成了可见光感光单元，滤光片上的红外光透射单元和与该红外光透射单元对应的像素部分就构成了红外光感光单元。

这样，图像传感器就可以通过可见光感光单元来捕获被测物体的彩色图像，通过红外光像素来捕获被测物体的红外图像，获取的红外图像经过处理就可以计算出被测物体的三维数据，从而使得图像传感器捕获的图像中既包含被测物体的色彩信息又包含深度信息。

图像传感器的可见光感应单元用于捕获被测物体的色彩信息，因此可见光感应单元可由三原色感应单元组成，其中三原色可以是红绿蓝三原色(RGB)也可以是青红黄三原色(CMY)。

为了更清楚地描述本发明的图像传感器的像素的具体构造，下面分别对现有技术中图像传感器的像素分布结构和本发明图像传感器的像素分布结构做简要说明。

图3示出了现有图像传感器的感光面按空间混色法划分的像素点分布示意图。

如图3所示，现有图像传感器的感光面由多个彩色像素组成(图中虚线包围部分表示一个彩色像素)，其中，每个彩色像素由红绿绿蓝(RGGB)4个感光单元构成，每个感光单元上覆盖有相应颜色的滤光片，使得环境光通过不同颜色的滤光片后在像素点上显示不同的照明强度，从而获得对应色彩的亮度值。

图4示出了本发明实施例的图像传感器的感光面的像素结构示意图。

如图4所示，本发明的图像传感器是通过将现有图像传感器的用以构成每个彩色像素的RGGB四个感光单元中的一个绿色感光单元改为红外感光单元，多个红外光感应单元就可以感应相应波段的红外图像。

这样我们将传统的RGGB图像传感器改造为RGB-I(彩色-红外)图像传感器，其中，感光单元RGB用来显示彩色图像，感光单元I(I代表红外感光单元)用来显示红外图像，这样，RGB-I图像传感器就能够同时输出彩色及红外图像。

由于RGB三原色还可以由CMY三原色代替，因此，相应地，RGB-I图像传感器也可以由CMY-I图像传感器代替，其中CMY-I图像传感器的像素分布情况与图4类似，此处不再赘述。

图5示出了根据本发明的成像装置的结构的示意图。

如图5所示，成像装置2包括图像传感器20以及红外光投影装置30。

图像传感器20的像素分布情况可参见图4及相关描述，此处不再赘述。

红外光投影装置30可以向图像传感器20的拍摄空间投射预定红外光频率范围内的红外光。

其中，红外光投影装置30投射的红外光可以是均匀的红外光，此时图像传感器可以同时获取拍摄空间的待拍摄物体的红外信息以及色彩信息，这样当待拍摄物体轮廓不好辨认时，可以根据获取的红外信息进行轮廓确定，可以提高拍摄图像的准确度。

通过使用两个基于本发明的图像传感器20还可以获取待拍摄物体的深度信息，此时两个图像传感器之间有一定距离，通过两个图像传感器各自获取的图像之间的视差即可计算得出待拍摄物体的深度信息。该方法中的深度信息只需要经过简单的标定程序，获得两个图像传感器之间的相对空间关系，就可以进行测量计算，由于图像传感器获取的图像既包含色彩信息和红外信息，因此可以很好地确定待拍摄物体的轮廓，提高测量精度。

当待拍摄物体表面纹理特征不明显或各处纹理特征相似时，利用上述方法不能精确的测量物体的深度信息。

为了解决上述原因，本发明还提供了一种三维成像***。

图6示出了根据本发明的三维成像***的结构示意图。

如图6所示，三维成像***1包括成图像传感器20、红外光投影装置30以及处理器10。

图像传感器20的结构可参见图4及相关描述。

其三维成像原理如下：

红外光投影装置30向图像传感器20的拍摄区域投射带有纹理的红外光束，以在拍摄区域的待拍摄物体上形成随机分布的红外纹理，预先存储多个已知纵深距离的参考面纹理信息，图像传感器21对拍摄区域的待拍摄物体进行拍摄，获取待拍摄物体的色彩信息和红外纹理信息，处理器10根据图像传感器20获取的红外纹理信息和预先存储的已知纵深距离的参考面纹理进行对比，即可得出图像传感器20获取的红外纹理图像中各个纹理片段的深度数据，然后根据获取的色彩信息将各个位置处添加相应的色彩，即可得到物体的三维图像信息。

以红外纹理是离散光斑为例对整个三维成像***的三维数据测量过程作进一步说明。

首先，红外光投影装置向拍摄区域投射具有预定纹理的红外光散斑；然后，图像传感器中的红外光感应单元获得拍摄区域中的拍摄对象反射的红外光散斑的散斑图像；继而，处理器根据散斑图像与预定各个参考面的纹理之间的差异即可计算得到各个红外光散斑的深度数据。

由上可知，本实施例的三维成像***是利用投射带有编码信息的二维激光纹理图案来对物体表面进行实时三维检测，即向物体表面投射带有编码信息的二维激光纹理图案，例如，离散化的散斑图，由另一位置相对固定的成像装置对激光纹理进行连续采集，处理器将采集到的处理单元将采集的激光纹理序列与预先存储在寄存器(或存储器)内的已知纵深距离的参考面纹理序列进行比较，计算出投射在运动物体表面的各个激光纹理序列片段的纵深距离，并进一步测量得出待测物表面的三维数据。

本实施例是采用激光散斑作为辅助标记手段，在测量过程中对待测对象表面深度信息进行抽样测量，最后对离散的深度信息进行数据重建，从而无限拟合物体表面实际的深度信息。当待测对象表面为复杂曲面，尤其是多个曲面相互连接，且表面没有任何具有可识别的纹理时，能够测量并拟合得到没有纹理信息的曲面的深度信息。

其中上述处理器1的功能可以在计算机处理器上通过编写的计算机程序来实现。可替代地，该处理器1的部分或全部功能可在定制的或半定制的集成电路上实现，也可以在DSP(Digital Signal Processor，数字信号处理器)或FPGA(Field Programmable GateArray，现场可编程门阵列)等通用计算芯片上通过运行预先编写的程序实现。

由于本实施例的三维成像***可以同时获取物体的深度信息和色彩信息，因此在获取物体的三维数据的同时还可获取物体的色彩信息，使得成像更真实。

图7是常规图像传感器捕获的带有彩色信息的图像，图8是本发明图像传感器捕获的带有彩色信息和红外信息的图像。

通过比较可知，带有彩色信息和红外信息的图像还能反映出被测物体的表面纹理特征，更加真实。

总的说来，上述三维成像***使用单个成像装置对被检测物体表面的激光纹理进行连续采集，然后与初始标定的参考面纹理数据进行比较，从而得出物体的三维数据。

通过单个的成像装置捕获物体的深度信息和色彩信息，装置结构简单，但是在本实施例的三维成像***对红外光散斑投影装置的位置要求比较严格，初始标定的参考面纹理数据是基于红外光散斑投影装置初始位置设定的，当红外光散斑投影装置的位置发生变化时，图像采集装置所捕获的激光纹理与初始标定的参考面纹理数据不同，会发生图像匹配失败，从而无法正确计算得到待测对象表面的三维数据。

为了解决上述问题，本发明还提供了另一种三维成像***。

图9示出了根据本发明的三维成像***的另一种结构示意图。

如图所示，三维成像***1包括红外光投影装置30、第一图像传感器20-1、第二图像传感器20-2以及处理器10。

其中，红外光投影装置30用于向被测空间投射带有纹理的红外光束，以在被测空间中的待检测物体上形成随机分布的红外纹理。

第一图像传感器20-1和第二图像传感器20-2之间具有预定相对空间位置关系且第一图像传感器20-1和第二图像传感器20-2用于分别对被测空间成像，由于待检测物体上有红外纹理，所以第一图像传感器20-1和第二图像传感器20-2的成像为两个红外纹理图像。

处理器10根据红外纹理中同一个纹理片段在两个红外纹理图像中相对应地形成的纹理片段图像的位置差异、以及预定相对位置关系，就可以确定红外纹理相对于两个图像传感器的深度数据。

其中，本实施例中第一图像传感器20-1和第二图像传感器20-2为上文图4中所示的图像传感器，其可以在捕获被测物体的深度数据的同时，获取被测物体的色彩信息，且由于色彩信息和深度信息是同时测量的，因此保证了色彩信息和深度信息的一致性，消除了采用两分别测量物体的色彩信息和深度信息带来的拍摄盲区，且免去了后期处理的对齐步骤。

本发明中红外光投影装置发出的在待检测物体表面形成的红外纹理只是用作识别作用，不需要与预先存储的各个距离的参考纹理进行比较，只要能从大量纹理片段中区分各个纹理片段即可，所以本发明对红外光投影装置的位置要求并不严格，一般来说，红外光投影装置与第一图像传感器和第二图像传感器的空间关系可以是任意的，只要满足红外光投影装置的投影区完全覆盖第一图像传感器和第二图像传感器的公共视场即可。

上文中已经参考附图详细描述了根据本发明的滤光片、图像传感器、成像装置及三维成像***。

此外，附图中的流程图和框图显示了根据本发明的多个实施例的***和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (6)

1.一种三维成像***，包括：

红外光投影装置，用于向拍摄区域投射带有纹理的红外光束；

两个图像传感器，两个所述图像传感器之间具有预定相对位置关系，并且各自包括多个像素，其中每个所述像素包括：可见光感光单元，用于检测特定可见光频率范围内的可见光以获得所述拍摄区域中的拍摄对象反射的彩色图像；红外光感光单元，用于检测特定红外光频率范围内的红外光以获得所述拍摄区域中的拍摄对象反射的红外纹理图像；以及

处理器，用于根据所述红外纹理中同一个纹理片段在所述两个红外纹理图像中相对应地形成的纹理片段图像的位置差异、以及所述预定相对位置关系，确定所述红外纹理相对于所述两个图像传感器的深度数据，并根据获取的彩色图像将各个位置处添加相应的色彩，以得到所述拍摄对象的三维图像信息，其中，

所述图像传感器还包括滤光片，所述滤光片包括多个滤光单元，所述滤光片上的每一个滤光单元对应于所述图像传感器的一个像素，每个所述滤光单元包括：

可见光透射单元，用于透过特定可见光频率范围内的可见光；

红外光透射单元，用于透过特定红外光频率范围内的红外光。

2.根据权利要求1所述的三维成像***，其中，所述可见光透射单元包括：

三原色透射单元，用于分别透过对应于三原色之一，所述特定可见光频率范围分别对应于所述三原色各自的频率范围。

3.根据权利要求2所述的三维成像***，其中，所述三原色是红色、绿色和蓝色，或者所述三原色是青色、品红色和黄色。

4.根据权利要求3所述的三维成像***，其中，所述特定红外光频率范围的中心频率与所述三原色各自的频率范围的中心频率两两之间的间隔大致相等。

5.根据权利要求1至4中任何一项所述的三维成像***，其中，

所述滤光单元包括光学膜，

所述可见光透射单元的光学膜被设计为透过所述特定可见光频率范围内的可见光，

所述红外光透射单元的光学膜被设计为透过所述特定红外光频率范围内的红外光。

6.根据权利要求1所述的三维成像***，

其中所述滤光片上的可见光透射单元与其所对应的像素构成所述可见光感光单元，所述滤光片上的红外光透射单元与其所对应的像素构成所述红外光感光单元。