CN106572340A - 摄像***、移动终端及图像处理方法 - Google Patents

Abstract

本发明公开了一种摄像***，包括第一摄像装置、第二摄像装置、激光投影装置和处理器；所述激光投影装置用于，向所述第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；所述第一摄像装置用于，采集所述共有视场中的第一可见光彩色图像以及第一不可见光图像；所述第二摄像装置用于，采集所述共有视场中的可见光灰度图像以及第二不可见光图像；所述处理器用于，利用所述第一可见光彩色图像和可见光灰度图像合成第二可见光彩色图像，并利用所述第一不可见光图像和第二不可见光图像计算深度图像。本发明能以更小的体积、更低的功耗实现对目标的高质量彩色图像以及深度图像的采集。

Description

摄像***、移动终端及图像处理方法

【技术领域】

本发明涉及光学测量及电子领域，尤其涉及一种摄像***、移动终端及图像处理方法。

【背景技术】

RGB图像能够记录物体的颜色特征，在模式识别方面已经得到广泛的应用，比如人脸识别、物品检测等。近年来随着深度测量技术的发展，特别是基于结构光技术的发展，利用深度相机测量物体深度信息进一步进行体感操控、3D重建、追踪及避障等应用也逐渐得到重视。

在计算设备上配备彩色相机以及深度相机使得设备具有更加广泛的功能，但考虑到移动设备像手机、平板等体积较小的计算设备上，设置许多相机是不明智的，一方面占有大量的空间；另一方面也会带来更大的功耗。

【发明内容】

为了克服现有技术的不足，本发明提供了一种摄像***、移动终端及图像处理方法，以较少资源实现高质量的彩色图像采集以及深度图像采集。

一种摄像***，包括第一摄像装置、第二摄像装置、激光投影装置和处理器；

所述激光投影装置用于，向所述第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；

所述第一摄像装置用于，采集所述共有视场中的第一可见光彩色图像以及第一不可见光图像；

所述第二摄像装置用于，采集所述共有视场中的可见光灰度图像以及第二不可见光图像；

所述处理器用于，利用所述第一可见光彩色图像和可见光灰度图像合成第二可见光彩色图像，并利用所述第一不可见光图像和第二不可见光图像计算深度图像。

优选的，所述处理器用于，利用所述第一不可见光图像和第二不可见光图像根据双目视觉原理获取所述深度图像。

优选的，所述处理器用于，利用所述第一不可见光图像计算第一深度图像，利用所述第二不可见光图像计算第二深度图像，并根据所述第一深度图像和第二深度图像合成所述深度图像。

优选的，所述激光投影装置用于交替地向所述共有视场投射所述结构光图案和关闭投射所述结构光图案；

所述第一摄像装置用于，在所述激光投影装置投射所述结构光图案期间采集第一一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第一二不可见光图像；所述第二摄像装置用于，在所述激光投影装置投射所述结构光图案期间采集第二一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第二二不可见光图像；所述处理器还用于，利用所述第一一不可见光图像与第一二不可见光图像的差分图像、以及所述第二一不可见光图像与第二二不可见光图像的差分图像计算所述深度图像。

优选的，在所述激光投影装置交替投射和关闭投射所述结构光图案的周期内，投射所述结构光图案的时长大于关闭投射所述结构光图案的时长。

优选的，所述第一摄像装置的透镜焦距与所述第二摄像装置的透镜焦距不同。

优选的，所述不可见激光为红外光激光。

优选的，所述激光投影装置设置在所述第一摄像装置与第二摄像装置之间。

本发明还提供了一种移动终端，包括任一所述的摄像***。

本发明还提供了一种图像获取方法，包括如下步骤：

投射步骤：激光投影装置向第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；

采集步骤：所述第一摄像装置采集所述共有视场中的第一可见光彩色图像以及第一不可见光图像，所述第二摄像装置采集所述共有视场中的可见光灰度图像以及第二不可见光图像；

处理步骤：所述处理器利用所述第一可见光彩色图像和可见光灰度图像合成第二可见光彩色图像，并利用所述第一不可见光图像和第二不可见光图像计算深度图像。

本发明的有益效果是：

相比于现有技术，本发明能以更小的体积、更低的功耗实现对目标的高质量彩色图像以及深度图像的采集。

【附图说明】

图1是本发明一种实施例的摄像***示意图

图2是本发明一种实施例的摄像装置的结构示意图

图3是本发明一种实施例的第一摄像装置的滤光片示意图

图4是本发明一种实施例的第二摄像装置的滤光片示意图

图5是本发明一种实施例的激光投影装置的投影时序图

图6是本发明一种实施例的移动终端示意图

【具体实施方式】

以下对发明的较佳实施例作进一步详细说明。

如图1所示，一种实施例的摄像***，包括第一摄像装置、第二摄像装置、激光投影装置和处理器，处理器分别与第一摄像装置、第二摄像装置和激光投影装置电连接。

所述激光投影装置用于，向所述第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；所述第一摄像装置用于，采集所述共有视场中的第一可见光彩色图像以及第一不可见光图像，所述第二摄像装置用于，采集所述共有视场中的可见光灰度图像以及第二不可见光图像；所述处理器用于，利用所述第一可见光彩色图像和可见光灰度图像合成第二可见光彩色图像，并利用所述第一不可见光图像和第二不可见光图像计算深度图像。

图1中，FOV表示第一摄像装置和第二摄像装置的视角，激光投影装置的投射范围覆盖了第一摄像装置和第二摄像装置的共有视场。

如图2所示，摄像装置的典型结构示意图，包括图像传感器1、滤光片2和透镜3，光经过透镜3的汇聚再经过滤光片3后被图像传感器采集。滤光片2用于通过特定波长的光，图像传感器1用于将光转换为数字电信号。

普通的RGB相机采用的拜尔滤光片，滤光片具有与图像传感器像素数量相同并一一对应的滤光单元，拜尔滤光片具有用于分别通过红光、绿光以及蓝光的滤光单元，光经过某个滤光单元后入射到与该滤光单元对应的图像传感器的像素。考虑到人眼对绿光更加敏感，因此通常将三者的比例设置为R(25％):G(50％):B(25％)。

如图3所示，一种实施例中，第一摄像装置采用RGB-IR相机，其采用的滤光片与拜尔滤光片不同，本实施例的滤光片由四种不同的滤光单元组成，分别可以通过R、G、B以及红外光(IR)分量，四者的比例为R(25％):G(25％):B(25％):IR(25％)，通过采用这种滤光片2，第一摄像装置既可以采集可见光彩色图像，也可以采集不可见的红外光图像。当然，也可以采用其他不可见光的滤光单元替代IR滤光单元，以配合激光投影装置投射的其他不可见激光。本实施例的滤光片的各滤光单元的排列方式及各分量占比并非唯一，也可以有其他的排列及分布方式。

第一摄像装置中的图像传感器获取了各个分量(如R、G、B、IR)的光信息之后，由于每一光信息都只占有部分的像素，因而需要通过插值的方式恢复每个像素上的其他三种分量的光强度信息，从而最终实现同步获取RGB图像以及IR图像。插值的方法有多种，比如加权平均等，由于为已有技术因而在这里不加以详述。

如图4所示，在一个实施例中，第二摄像装置用于采集可见光灰度图像以及不可见光图像。图4是一种实施例中第二摄像装置采用的滤光片，其中IR表示红外滤光单元，W表示白光过滤单元即透明单元，可以通过任何波长的光。

激光投影装置根据投射的结构光图案不同，其结构也不同。本实施例以散斑颗粒结构光图案为例来说明。激光投影装置一般由光源、准直透镜以及衍射光学元件(DOE)组成。本实施例中光源为红外激光，可以是单个的边发射激光光源，也可以是垂直腔面发射激光阵列光源。由于激光光源发出的光有一定的发散角，因而需要利用准直透镜进行准直以发射出焦距的光束。激光光束经DOE后被扩束成多束激光，并在空间中形成散斑颗粒图案。

在很多使用场景中，是在太阳光等光源的照射下采集图像的，这些光源往往包含有与激光投影装置所投射的不可见光相同的不可见光(如红外光)，这部分的光照会对采集的不可见光图像产生影响，特别是当光源较为强烈的情形下，会导致采集的不可见光图像对比度较低、噪声大等不利情形。在一个实施例中，通过控制激光投影装置间隔向共有视场投影结构光图案来消除这一不利影响。如图5所示，是一种实施例的激光投影装置的间隔投影时序图，比如在T1时间段关闭激光投影装置投影，并采集对应的不可见光图案I1，而在相邻的T2时间段打开激光投影装置投影，并采集对应的不可见光图案I2...以此类推。相邻时间段的间隔频率不大于不可见光图像的采集频率，即可以在一个时间段内仅采集一次不可见光图像，也可以采集多次不可见光图像。下面将以频率相同的情形来举例说明如何消除光源产生的不可见光对采集的不可见光图像的影响。

在T1时间段，激光投影装置关闭，获取的不可见光图像I1仅包含光源中的不可见光成分。在T2时间段，获取的不可见光图像I2则同时包含激光投影装置投射的不可见光成分以及光源的不可见光成分。一种处理方法是，假定相邻两个时间段内光源的光照没有变化以及被采集对象没有移动，此时可以通过红外差分法来消除影响：差分后的不可见光图像I2’＝I2-I1,这样不可见光图像I2’具有更高对比度。另一种处理方法中，可以利用前后至少两幅不可见光图像来做差分，比如：I2’＝I2-(I3+I1)/2。具体差分法处理方法还有多种。

由于激光投影装置在一段时间内是关闭的，因此在采集频率不变的条件下，总体获得的不可见光图像的数量减少，对后续计算深度图像造成一定影响。为了减少这种影响，在激光投影装置的开关周期中，设置投影打开时间段的长度大于投影关闭时间段的长度(例如T2大于T1)，来获取更高的不可见光图像的采集帧数。

在一个实施例中，一种图像获取方法，包括如下步骤：

S1、激光投影装置向第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案。

S2、所述第一摄像装置采集所述共有视场中的第一可见光彩色图像以及第一不可见光图像，所述第二摄像装置采集所述共有视场中的可见光灰度图像以及第二不可见光图像。

S3、所述处理器利用所述第一可见光彩色图像和可见光灰度图像合成第二可见光彩色图像。

本实施例中第一摄像装置与第二摄像装置的图像采集器的尺寸及分辨率相同，这样可见光灰度图像与第一可见光彩色图像在合成时仅需要考虑两个图像采集器由于位置差异引起的图像配准问题。在其他实施例中第一摄像装置以及第二摄像装置的参数也可以不相同。图像配准算法是目前较为成熟的公知技术，在这里不详细阐述。由于可见光灰度图像是没有经过滤光片过滤而直接接收可见光所获取的，因而其感光度较强，将其与第一可见光彩色图像进行合成可以实现以下效果：

细节增强。在暗光环境下，第一可见光彩色图像中的许多细节将会比较模糊，此时将可见光灰度图像中该部分的细节与第一可见光彩色图像进行合成后，形成的第二可见光彩色图像将会拥有更加清晰的图像效果。

图像变焦。将第一摄像装置与第二摄像装置的透镜焦距设置为不同，比如分别为近焦与远焦。由于第一可见光彩色图像是远焦距下获取，因而图像中近处的物体图像比较模糊，而可见光灰度图像是在近焦距模式下获取的，此时用可见光灰度图像中的信息来补偿第一可见光彩色图像中模糊的部分，最终形成更为清晰的第二可见光彩色图像。

S4、所述处理器利用所述第一不可见光图像和第二不可见光图像计算深度图像。

在一个实施例中，一种图像获取方法包括如下步骤：

S11、激光投影装置交替地向第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案。

S12、所述第一摄像装置采集所述共有视场中的第一可见光彩色图像，以及在所述激光投影装置投射所述结构光图案期间采集第一一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第一二不可见光图像。

S13、所述第二摄像装置采集所述共有视场中的可见光灰度图像，以及在所述激光投影装置投射所述结构光图案期间采集第二一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第二二不可见光图像。

S14、所述处理器利用所述第一一不可见光图像与第一二不可见光图像的差分图像、以及所述第二一不可见光图像与第二二不可见光图像的差分图像，根据双目视觉原理计算所述深度图像。

由于采用了激光投影装置向目标空间中投射了经编码的结构光图案，因而第一摄像装置和第二摄像装置采集到的不可见光图案具有非常清晰的细节特征，与普通的基于双目视觉的相机相比，利用本发明中的第一不可见光图像与第二不可见光图像基于双目视觉原理可以获取精度更高的深度图像。同时与由单个相机与激光投影仪组成的基于结构光技术的深度测量原理相比，本方法中无需额外的存储器来保存参考图像(比如参考散斑图像)，同时本方法具有更强的抗环境光干扰能力。另外，采用差分图像来计算深度图，计算精度更高。

在一个实施例中，一种图像获取方法包括如下步骤：

S21、激光投影装置交替地向第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案。

S22、所述第一摄像装置采集所述共有视场中的第一可见光彩色图像，以及在所述激光投影装置投射所述结构光图案期间采集第一一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第一二不可见光图像。

S23、所述第二摄像装置采集所述共有视场中的可见光灰度图像，以及在所述激光投影装置投射所述结构光图案期间采集第二一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第二二不可见光图像。

S24、所述处理器利用所述第一一不可见光图像与第一二不可见光图像的差分图像计算第一深度图像，利用所述第二一不可见光图像与第二二不可见光图像的差分图像计算第二深度图像，然后利用第一深度图像和第二深度图像合成精度更高的所述深度图像。

由第一摄像装置与激光投影装置可以构成基于结构光三角法的深度测量单元。获取深度信息的原理是将采集到的不可见光图像与***中存取的参考图像进行匹配计算获取像素偏离值，再通过三角测量原理利用像素偏离值与实际深度值的一一对应关系就可以获取目标空间的深度图像。这里的参考图像是通过采集距离深度相机已知深度值的平面上的不可见光图像而获取的。

由于拍摄视角的关系，仅能获取物体一侧的深度信息，比如对人体而言，若相机位于人体左侧，则右侧的数据会有丢失。因而可以进一步的利用获取的第一深度图像与第二深度图像进行合成，可以进行数据互补，得到的第三深度图像相对而言拥有更高的空间分辩率。

如图6所示，一种实施例的含有本摄像***的移动终端7，包括处理器、一摄像装置4、激光投影装置5和第二摄像装置6。第一摄像装置4、激光投影装置5和第二摄像装置6可以设置在移动终端的同一个表面上，激光投影装置5优选设置在第一摄像装置4和第二摄像装置6之间，第一摄像装置4、激光投影装置5和第二摄像装置6优选设置在同一条直线上。处理器等可以由移动终端内的CPU、专用处理器、微电子器件等中的一种或多种组成。移动终端可以是手机、平板、电脑等。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (10)

1.一种摄像***，其特征是，包括第一摄像装置、第二摄像装置、激光投影装置和处理器；

所述激光投影装置用于，向所述第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；

所述第一摄像装置用于，采集所述共有视场中的第一可见光彩色图像以及第一不可见光图像；

所述第二摄像装置用于，采集所述共有视场中的可见光灰度图像以及第二不可见光图像；

所述处理器用于，利用所述第一可见光彩色图像和可见光灰度图像合成第二可见光彩色图像，并利用所述第一不可见光图像和第二不可见光图像计算深度图像。

2.如权利要求1所述的摄像***，其特征是，

所述处理器用于，利用所述第一不可见光图像和第二不可见光图像根据双目视觉原理获取所述深度图像。

3.如权利要求1所述的摄像***，其特征是，

所述处理器用于，利用所述第一不可见光图像计算第一深度图像，利用所述第二不可见光图像计算第二深度图像，并根据所述第一深度图像和第二深度图像合成所述深度图像。

4.如权利要求1所述的摄像***，其特征是，

所述激光投影装置用于交替地向所述共有视场投射所述结构光图案和关闭投射所述结构光图案；

所述第一摄像装置用于，在所述激光投影装置投射所述结构光图案期间采集第一一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第一二不可见光图像；所述第二摄像装置用于，在所述激光投影装置投射所述结构光图案期间采集第二一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第二二不可见光图像；所述处理器还用于，利用所述第一一不可见光图像与第一二不可见光图像的差分图像、以及所述第二一不可见光图像与第二二不可见光图像的差分图像计算所述深度图像。

5.如权利要求1所述的摄像***，其特征是，

在所述激光投影装置交替投射和关闭投射所述结构光图案的周期内，投射所述结构光图案的时长大于关闭投射所述结构光图案的时长。

6.如权利要求1所述的摄像***，其特征是，

所述第一摄像装置的透镜焦距与所述第二摄像装置的透镜焦距不同。

7.如权利要求1所述的摄像***，其特征是，

所述不可见激光为红外光激光。

8.如权利要求1所述的摄像***，其特征是，

所述激光投影装置设置在所述第一摄像装置与第二摄像装置之间。

9.一种移动终端，其特征是，包括如权利要求1-8任一所述的摄像***。

10.一种图像获取方法，其特征是，包括如下步骤：

投射步骤：激光投影装置向第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；

采集步骤：所述第一摄像装置采集所述共有视场中的第一可见光彩色图像以及第一不可见光图像，所述第二摄像装置采集所述共有视场中的可见光灰度图像以及第二不可见光图像；

处理步骤：所述处理器利用所述第一可见光彩色图像和可见光灰度图像合成第二可见光彩色图像，并利用所述第一不可见光图像和第二不可见光图像计算深度图像。