CN108592886A - 图像采集设备和图像采集方法 - Google Patents

Abstract

一种图像采集设备和图像采集方法，用于采集物体的深度信息和色度亮度信息，图像采集设备包括：线性光发生单元，用于产生线性投射光，并投射至被拍摄物体；成像单元，包括图像传感器，用于接收从被拍摄物体反射的环境光和线性投射光，形成该被拍摄物体对应的图像；光路控制单元，用于控制图像传感器是否形成图像；时序控制单元，用于控制光路控制单元和线性光发生单元的开启时间，以在线性投射光的投射期间开启光路控制单元；处理单元，用于接收并处理图像传感器生成的图像并存储，并根据时序控制单元的信号，确定图像为第一类图像或第二类图像，其中，处理单元根据第二类图像和第一类图像获得被拍摄物体的该被拍摄物体的深度信息。

Description

图像采集设备和图像采集方法

技术领域

本发明涉及图像采集领域，尤其涉及一种图像采集设备和图像采集方法。

背景技术

在图像采集领域，利用被拍摄物体反射的光获取被拍摄物体的表面色度亮度信息已是传统并且常见的图像采集手段。现有常见的拍照均是采集并存储被拍摄物体表面的色度亮度信息。

图1所示为电子成像设备的基本原理。如图1所示，被拍摄物体m反射自然光，光线通过电子成像设备90’的镜头10’后在图像传感器30’表面成像，图像传感器30’的每一个像素感受对应位置的光线强度，转换成电信号输出至处理单元40’。为了合理控制图像传感器30’的曝光时间，电子成像设备90上通常设置有机械或电子快门20’，快门20’的开启和关闭能够控制外界传送至图像传感器30’的光路的通断。

随着科技的进步，除了采集物体表面的色度亮度信息之外，现有技术还可以实现采集被拍摄物体的局部深度信息，即某个或某些点距离镜头的距离。通过局部深度信息进行拼接等计算，获得被拍摄物体的三维外形信息。

图2所示为局部深度信息的测量方法的示意图。如图2所示，局部深度信息的采集通常是利用激光等投射光，通过三角测量法在被拍摄物体的表面投射。如图2所示，点A所在的直线代表激光平面，该平面距离镜头中心线的距离为d，在这个平面上成像平面的点A，经过镜头后在成像平面上成像为点a，距离中心线的距离为x，镜头距离成像平面为f。

根据三角形几何关系，利用已知的信息f、d和x可以计算出点A离成像平面的距离h，因此当被拍摄物体的一部分位于点A时，可以计算出被拍摄物体的该点距离成像平面的距离h。在采集了被拍摄物体的每一个点距离成像平面的距离h时后，就可以获得该被拍摄物体的三维信息。

目前，利用激光测量被拍摄物体的深度信息的主要方法大致包括单目激光测量法、双目激光测量法、和双目结构光测量法。

单目激光测量法是利用一个图像传感器获取图像信息，再利用处理单元从图像传感器中获取图像信息，根据像素点的亮度检测出激光线成像后对应的像素点序列，再根据这些像素点的位置信息利用三角测量的原理计算对应该像素点的深度信息。

通常在实际使用中，激光选用红外激光，图像传感器镜头带有滤镜，过滤可见光，通过红外光，使得图像传感器的图像，在有激光照射的位置的像素亮度显著高于无激光照射位置的像素的亮度。或者在使用中，采用亮度较高的激光束照射，减小图像传感器的曝光时间，使得图像传感器的图像，在有激光照射的位置的像素亮度显著高于无激光照射位置的像素的亮度。

图3A所示为单目激光测量方法的示意图。图3B所示为单目激光测量方法所测得的图像的示意图。如图3A和图3B所示，在使用线激光的情况下，每次拍摄检测，能得到物体表面激光线照射的一条线的深度信息。移动物体或移动拍摄设备，使得激光线扫过整个物体的表面，即可得到物体表面所有点的深度信息，构建出物体表面的三维数据。

图3C所示为双目激光测量方法所测得的图像的示意图。图3D所示为双目激光测量方法的左右传感器成像的示意图。在单目激光测量方法的基础上，增加了一组镜头和图像传感器。但是，单目激光测量方法的精度较低、效率低下，而双目激光测量方法需要分别从左右图像中找到同一个区域对应的位置像素，局限性较大，同样存在精度较低的问题。

结构光是采用投射的方法，在被拍摄物体的表面投射出纹理特征。结构光的相关内容可以参考美国专利申请US8208719。图3E所示为为双目结构光测量的示意图。图3F所示为双目结构光测量的左右传感器成像的示意图。双目结构光测量是采用激光投射的方法，在被拍摄物体的表面投射出纹理特征，而双目结构光测量方法中需要使用两个图像传感器，从不同角度采集投射到被拍摄物体表面的光线。将激光器发射的激光通过镜头生成结构光，照射到被拍摄物体，再利用图像传感器A和图像传感器C采集返回到镜头A和镜头C的光线，由图像传感器A和图像传感器C分别采集到的图像信息例如为图3F所示。这些图像信息被送入处理单元进行两组图像数据的对应和识别，从而进入处理单元计算出每一个点的深度信息，进一步计算出被测量物体的三维信息。

此外，还存在与双目结构光测量方法对应的单目结构光测量方法。单目结构光测量法与通用的激光测量方法的差别是将激光替换为结构光。与双目结构光测量方法的区别在于双目结构光技术从左右两个不同位置采集反射信息，形成两幅图像，从同一纹理在两幅图像中的位置偏移来计算深度信息；而单目结构光技术则只采集一副图像，根据结构光特征的纹理编码信息，识别每一个局部纹理，并且根据其成像位置，计算深度信息。

由于上述结构光技术需要根据结构光自身的编码信息，识别每个局部纹理，所以使用的结构光的纹理结构设计要求较高。

随着同时获取深度信息和色度亮度信息的需求的出现，越来越多的人探索如何通过一套设备同时能够获得物体的深度信息和色度亮度信息。目前业界目前多采用前述的双目结构光测量深度信息的方案加上普通的色度亮度信息测量方案。即，如图3G所示，在前述双目结构光测量深度信息的方案的基础上，增加一个采集色度亮度信息的RGB传感器。图像传感器A和图像传感器C用于采集红外光谱，图像传感器B用于采集被拍摄物体m反射自然光后的RGB信息。处理单元从双目结构光计算获取深度信息，从RGB传感器获取色度亮度信息，再经过校准、对位后，将每个像素的色度亮度信息和三维信息关联起来，得到物体对应的三维信息及表面颜色信息。

同样，还可以采用前述的单目结构光的方案加上色度亮度图像传感器方案。即如图3I和图3J所示，在单目结构光的基础上，增加一个采集色度亮度信息的RGB传感器，处理单元从单目结构光计算获取深度信息，从RGB传感器获取色度亮度信息，再经过校准、对位后，将每个像素的色度亮度信息和三维信息关联起来，得到物体对应的三维信息及表面颜色信息。

但是，利用双目结构光和RGB的方案以及单目结构光与RGB的方案具有设备复杂、成本高、制造精度要求高、物体的色度信息和深度信息分别通过不同传感器和镜头采集，需要经过大量计算才能确定色度信息和深度信息之间的映射关联关系。

发明内容

鉴于现有的测量方法均存在不同的问题，为解决现有技术存在的问题，本发明实施例提出了一种图像采集设备和图像采集方法。本发明提出了一种能同时采集被检测对象的三维外形信息和表面色度/亮度信息的采集装置，能用于重建被检测对象的三维模型及其表面纹理，相比于多种传统的技术方案，具有结构简单，精度高，成本低的优点。

为解决上述问题，本发明实施例提出一种图像采集设备，用于采集物体的深度信息和色度亮度信息，所述图像采集设备包括：

投射光发生单元，用于产生投射光，并投射至被拍摄物体；

成像单元，包括图像传感器，用于接收从被拍摄物体反射的光线，形成该被拍摄物体对应的图像；

光路控制单元，用于控制所述图像传感器是否形成图像；

时序控制单元，信号连接于所述光路控制单元和/或所述投射光发生单元，用于控制所述光路控制单元和/或所述投射光发生单元的开启时间，以在投射光的投射期间开启所述光路控制单元；

处理单元，信号连接于所述时序控制单元和所述图像传感器，用于接收并处理所述图像传感器生成的图像并存储，并根据所述时序控制单元的信号，确定所述图像为第一类图像或第二类图像，所述第一类图像为所述图像传感器接收被拍摄物体反射的第一类光线形成的图像，所述第二类图像为所述图像传感器接收被拍摄物体反射的第二类光线形成的图像；所述第二类光线包括所述第一类光线和所述投射光；

其中，所述处理单元从所述第一类图像中获取所述被拍摄物体的该被拍摄物体的色度亮度信息，并根据所述第二类图像和第一类图像获得所述被拍摄物体的该被拍摄物体的局部深度信息。

为解决上述问题，本发明实施例提出一种图像采集设备，用于采集物体的深度信息和色度亮度信息，所述图像采集设备包括：

投射光发生单元，用于产生投射光，并投射至被拍摄物体；

成像单元，包括图像传感器，用于接收从被拍摄物体反射的光线，形成该被拍摄物体对应的图像；

光路控制单元，用于控制所述图像传感器是否形成图像；

时序控制单元，信号连接于所述光路控制单元和/或所述投射光发生单元，用于控制所述光路控制单元和/或所述投射光发生单元的开启时间，以在投射光的投射期间开启所述光路控制单元；

处理单元，信号连接于所述时序控制单元和所述图像传感器，用于接收并处理所述图像传感器生成的图像并存储，并根据所述时序控制单元的信号，确定所述图像为第一类图像或第二类图像，所述第一类图像为所述图像传感器接收被拍摄物体反射的第一类光线形成的图像，所述第二类图像为所述图像传感器接收被拍摄物体反射的第一类光线形成的图像；所述第二类光线包括所述第一类光线和所述投射光；

其中，所述处理单元从所述第一类图像中获取所述被拍摄物体的该被拍摄物体的色度亮度信息，并根据所述第二类图像获得被拍摄物体的该被拍摄物体的局部深度信息，其中所述投射光的亮度为所述环境光的亮度的2倍以上。

为解决上述问题，本发明实施例提出一种图像采集设备，用于采集物体的局部深度信息和色度亮度信息，所述图像采集设备包括：

两个以上投射光发生单元，用于分别产生投射光，并投射至被拍摄物体；

成像单元，包括图像传感器，用于接收从被拍摄物体反射的光线，形成该被拍摄物体对应的图像；

光路控制单元，用于控制所述图像传感器是否形成图像；

时序控制单元，信号连接于所述光路控制单元和/或所述投射光发生单元，用于控制所述光路控制单元和所述投射光发生单元的开启时间，以在投射光的投射期间开启所述光路控制单元；

处理单元，信号连接于所述时序控制单元和所述图像传感器，用于接收并处理所述图像传感器生成的图像并存储，并根据所述时序控制单元的信号，确定所述图像为第一类图像或第二类图像，所述第一类图像为所述图像传感器接收被拍摄物体反射的第一类光线形成的图像，所述第二类图像为所述图像传感器接收被拍摄物体反射的第一类光线形成的图像；所述第二类光线包括所述第一类光线和所述投射光；

其中，所述处理单元从所述第一类图像中获取所述被拍摄物体的色度亮度信息，并根据所述第二类图像和第一类图像获得被拍摄物体的该被拍摄物体的局部深度信息。

为解决上述问题，本发明实施例提出一种图像采集方法，包括：

在第一时间段，采集第一类图像，所述第一类图像为图像传感器接收被拍摄物体反射第一类光线形成的图像；

在第二时间段，开启投射光发生单元，并采集第二类图像，所述第二类图像为图像传感器接收被拍摄物体反射第二类光线形成的图像；

依据第一类图像和第二类图像之间的差异，计算所述被拍摄物体的局部深度信息；

将所述局部深度信息和由所述第一类图像中采集的色度亮度信息关联；

其中所述第二类光线包括第一类光线和由投射光生成单元产生的投射光。

综上所述，本发明提出的采图像采集设备和图像采集方法解决了既有技术方案存在的问题，具有***简单，成本低，制造精度要求低等优点。本发明可使用线激光等简单光源，无需设计复杂的结构光。本发明方案不易受环境光干扰，红外、可见光波段等投射光源都可使用。此外，本发明采集的色度信息和深度信息，具有天然的关联关系，无需通过大量计算融合色度和深度信息。

附图说明

图1所示为电子成像设备的基本原理示意图。

图2所示为深度信息的测量方法的示意图。

图3A所示为单目激光测量方法的示意图。

图3B所示为单目激光测量方法所测得的图像的示意图。

图3C所示为双目激光测量方法所测得的图像的示意图。

图3D所示为双目激光测量方法的左右传感器成像的示意图。

图3E所示为为双目结构光测量的示意图。

图3F所示为双目结构光测量的左右传感器成像的示意图。

图3G所示为双目结构光测量与环境光拍摄的联合测量***的示意图。

图3H所示为利用图3G的测量***拍摄获得的图像的示意图。

图3I所示为单目结构光测量与环境光拍摄的联合测量***的示意图。

图3J所示为利用图3I的测量***拍摄获得的图像的示意图。

图4所示为本发明一实施例的图像采集设备的示意图。

图5和图6所示为利用该图像采集设备采集到的图像的示意图。

图7所示为利用图像采集设备进行环绕拍摄的示意图。

图8和图9所示为利用普通亮度的线性投射光和利用高亮度的线性投射光所拍摄到图像的示意图。

图10为采用两组成像单元的图像采集设备的示意图。

具体实施方式

以下通过多个实施例，对本发明提出的图像采集设备和方法进行说明。

第一实施例

本发明实施例提出一种三维信息和色度亮度的图像采集设备。图4所示为该图像采集设备的示意图。如图4所示，该图像采集设备包括：投射光发生单元10、成像单元20、光路控制单元30、时序控制单元40和处理单元50。其中，成像单元可以非连续性地接收被拍摄物体100反射的环境光和投射光的总和的图像，与之前或之后接收的仅反射环境光的图像对比，通过差异确定出该被拍摄物体的局部深度信息。以下具体进行说明。

在本实施例中，产生投射光的投射光光发生单元10例如包括投射光源11和投影镜头12。投射光源11用于产生投射光；投影镜头12用于将投射光源11发出的投射光转换成简单的、有规则的图形。

从投射光的形状来看，投射光例如为线性投射光，或者其他形状，例如点状、楔形、长方形、梯形等其他形状的光。光的形状可以是通过投影镜头12确定的，属于业内公知的技术，在此不再赘述。从投射光的属性来看，投射光例如为激光、红外光、紫外光、蓝光、结构光等。

在一实施例中，所述的“线性”投射光，是指长宽比大于一定比例——例如200：1的投射光。利用现有的衍射等方式，可以容易地利用投射光源11发出的投射光生成线性光。

线性投射光并不限定为一条，其可以是多条，这些条线性投射光可以形成平行线、十字状、网格状、辐射状等各种图形，投射于被拍摄物体100上。

此外，在包括多个投射光源11和多个投射镜头12的情况下，线性投射光可以是同一波长的光线、不同波长的光线等。例如多条线性投射光可以是多个投射光源11和投射镜头12发出的红外光、紫外光、蓝光、结构光等等，在此不做限制。

例如，同一投射光发生单元可以同时发出三种不同波长的投射光(例如红光、绿光、蓝光)，这三者分别投射至被拍摄物体100上，该物体100的反射点所反射的光线回到成像单元，可以由成像单元分别采集三种不同波长的反射光，由此可以在一次投射之后采集三幅不同的图像，进行后续的计算，可以提高采集的效率和计算处理的精度。

此外，上述的结构光是本领域公知的内容，结构光是采用投射的方法，在被拍摄物体的表面投射出纹理特征。结构光的相关内容可以参考美国专利申请US8208719。属于业内的公知技术，在此不再赘述。

成像单元20例如包括成像镜头21和图像传感器22。成像镜头21用于将被拍摄物体100表面反射的环境光和投射光经过光学成像在图像传感器22表面形成图像。图像传感器22将表面的图像转换成数字电信号，形成数字图像。成像单元20可以为一组或多组，例如图10所示为包括两组成像单元20的图像采集设备，采用两组成像单元可以提高图像采集的效率。

光路控制单元30用于控制成像单元20的成像镜头21投射至图像传感器22的光线路径打开或关闭。光路控制单元30可以为快门，例如可以是实体的机械快门，也可以是集成在图像传感器22上的电子快门，本发明并不特别限制。光路控制单元30还可以是设置在投射光路或者成像光路上的滤光片。当安装在成像光路上时，例如成像镜头21和图像传感器22之间时，滤光片生效时，投射光被滤除，投射光部分无法成像；滤光失效时，投射光部分成像。类似地，这种滤光片也可以安装在投射光路上，如图投射光源11和投射镜头12之间，用于同步地控制投射光源和图像传感器。

该投射光源11是可控的，与时序控制单元40相连，可接收时序控制单元40的控制信号，根据控制指令开启或关闭；光路控制单元30与时序控制单元40相连，接收时序控制单元40的控制。

在一实施例中，时序控制单元40同时信号连接于光路控制单元30和成投射光发生单元10，用于同步地控制线性光发生单元10和光路控制单元30，使得每次图像采集均可以交错地生成第一类图像和第二类图像。

上述的“同步地控制投射光发生单元10和光路控制单元30”，并使得投射光发生单元10和光路控制单元30“同时”开启或关闭同步；而是指通过时序控制，在采集第二类图像的过程中线性光发生单元10的投射光源11开启的时间内保持线性投射光能够反射至图像传感器22，即光路控制单元30打开，成像镜头21和图像传感器22之间的光路导通，或者被拍摄物体100和图像传感器22之间的光路导通、线性投射光能够正常传播。并且，时序控制单元40还保证第一类图像采集的过程中，线性光发生单元10始终关闭，无投射的线性投射光反射至图像传感器22。

在另一实施例中，时序控制单元40可以仅对光路控制单元30或者投射光发生单元10其中一者进行控制，同样能够实现本发明的方案，以下具体说明。

例如，时序控制单元40仅对光路控制单元30单元进行控制。在这一种情况下投射光发生单元10可以持续地发出投射光，在发出投射光的时间段内，可以通过时序控制单元40控制光路控制单元30在投射光发出的期间间歇性地开启，令图像传感器22采集到被拍摄物体反射的投射光和环境光，而在光路控制单元30关闭以滤除投射光的期间，图像传感器22仅能够采集到被拍摄物体反射的环境光。

再例如，时序控制单元40仅对投射光发生单元10进行控制，使得投射光发生单元间歇性地发出投射光，在发出投射光的时间段内，令图像传感器22采集到被拍摄物体反射的投射光和环境光，而在不发出投射光的时间段内，令图像传感器22采集到被拍摄物体反射的环境光。

值得注意的是，上述的“环境光”是指自然光或者常规实验室等拍摄条件下的光线。在此仅指代正常拍摄状态下的光线，用以与“投射光”相对照说明。可以认为，本发明中，在图像传感器22接收到被拍摄物体反射的投射光时，所接收的图像为第二类光线，在接收到不包含反射的投射光时，所接收的图像为第一类光线，所述第二类光线由所述第一类光线增加所述投射光形成。

处理单元50用于接收图像传感器22形成的数字图像并存储，并根据时序控制单元40的信号，确定该类图像为第一类图像或第二类图像。所述第一类图像为所述图像传感器接收被拍摄物体反射的第一类光线形成的图像，所述第二类图像为所述图像传感器接收被拍摄物体反射的第二类光线形成的图像；所述第二类光线由所述第一类光线增加所述投射光形成；第二类光线在一实施例中可以包括投射光和环境光，第一类光线在一实施例中可以包括环境光。

处理单元50还用于从第一类图像中，或者第一类和第二类图像中提取被拍摄物体表面的色度亮度信息。

处理单元50还通过对比时间顺序上相邻或相近的、或者成为时间上连续的第一类图像和第二类图像的差别，识别投射光形成的图案，并计被拍摄物体的局部算深度信息。这里的“局部”指的是投射光投射至的被拍摄物体的部分，即被拍摄物体上接收并反射投射光的部分。例如当投射光为线性光时，该线性光投射至被拍摄物体上，照亮投射物体的某一线性区域，则这一区域即为被拍摄物体的上述“局部”。

上述的时间连续包括前后拍摄的第一类图像和第二类图像。例如每一秒钟拍摄的图片是24帧，则时间上连续或相邻的情况包括1/24秒拍摄的第一帧、2/24秒拍摄的第二帧、3/24秒拍摄的第三帧、4/24秒拍摄的第四帧这种情况。同样地，还包括1/24秒拍摄的第一帧、4/24秒拍摄的第四帧的情况，即中间即使跳过若干帧，只要是采集的图像是时间上有规律的，也属于本发明的范围。

在一可选实施例中，该图像采集设备还可以包括运动和姿态估计单元60，运动和姿态估计单元60从处理单元50获取图像序列，通过对比时间上相邻或相近的图像之间的差异，识别图像是否有平移、缩放、旋转等变化，并依此检测和计算拍摄装置与被拍摄对象之间相对方位、角度等姿态的变化，对当前拍摄姿态和运动趋势进行估计；运动和姿态估计单元60将计算所得的姿态信息传输至处理单元50；

对应地，处理单元50还用于接收运动和姿态估计单元60传输的拍摄时角度、方向等姿态信息。在此后，处理单元50将被拍摄物体表面的色度亮度信息、局部深度信息、姿态信息关联；处理单元50对同一被拍摄物体100，从不同角度拍摄得到的色度亮度信息、局部深度信息、姿态信息进行融合、优化求解，得到物体表面完整的三维信息及其关联的色度亮度信息。根据所获得的图像信息计算深度信息的方式在背景技术部分已有介绍，在此不再赘述。

时序控制单元40、运动与姿态估计单元60可以是和处理单元50相互独立的，也可以是一体的，位于同一电路板，或在同一元器件内。本发明并不特别限制。

图5和图6所示为所采集到的第一类图像和第二类图像的示意图。依照本发明的方案进行采集，可以得到一个系列的第一类图像和第二类图像交错的图像序列。此处所述的交错，可以是逐个交错(如图5)，也可以是按其他规则交替排列(如图6)。依据该图像序列，处理单元通过对比相邻的第一类图像和第二类图像之间的差异，可以得到激光投影成像的位置信息，再根据三角测量法，可以计算出激光投影位置的像素点的局部深度信息。

持续拍摄并移动物体或移动拍摄设备，使得扫过整个物体的表面，即可得到物体表面所有点的深度信息，构建出物体表面的三维数据。如图7所示。在一实施例中，投射光为线性光，该线性光由上而下地扫过被拍摄物体的表面，或者由左而右地扫过被拍摄物体的表面，在后期可以利用每一次拍摄的第一类图像和第二类图像的差别，获得被投射物体上的被投射线性光的那一部分对应的深度信息，即为被投射物体的局部深度信息。

在可选实施例中，本发明的图像采集设备还可以包括内部的姿态传感器80，姿态传感器通常为加速度计、陀螺仪、磁力计等一种或若干种的组合；姿态传感器80与运动与姿态估计单元60相连，运动与姿态估计单元结合姿态传感器信息，可以更精准的对当前姿态进行估算。

可选地，本发明装置可以与外部传感器70相连，例如，本发明装置可固定于圆形轨道，绕被拍摄物体进行拍摄，轨道可提供定位传感器，用于更精确地确定每个时刻的相对拍摄方位。外部传感器70所感测的结果被处理单元50获取，用于根据相对拍摄方位确定被拍摄物体100当前的姿态等，用于更精准地对当前姿态进行估算。

在本发明提出的图像处理设备中，因为被拍摄物体的色度亮度信息和利用投射光投影得到的局部深度信息是由同一个图像传感器通过相同光路采集到的，因此像素的色度信息和局部深度信息具有天然的关联性，无需像现有技术一样进行再次对应匹配。通常图像采集速率可达到几十至上百帧每秒，相邻两次采集的图像之间，物体移动变化极小，并且这种移动是可以根据图像序列计算出来的，因此对设备生产的精度要求较低，无需进行校准标定等过程。节省了成本的同时提高了采集的精度。

第二实施例

本发明第二实施例提出一种图像采集设备，用于采集物体的深度信息和色度亮度信息，所述图像采集设备包括：

投射光发生单元，用于产生投射光，并投射至被拍摄物体；

成像单元，包括图像传感器，用于接收从被拍摄物体反射的光线，形成该被拍摄物体对应的图像；

光路控制单元，用于控制所述图像传感器是否形成图像；

时序控制单元，信号连接于所述光路控制单元和/或所述投射光发生单元，用于控制所述光路控制单元和/或所述投射光发生单元的开启时间，以在投射光的投射期间开启所述光路控制单元；

处理单元，信号连接于所述时序控制单元和所述图像传感器，用于接收并处理所述图像传感器生成的图像并存储，并根据所述时序控制单元的信号，确定所述图像为第一类图像或第二类图像，所述第一类图像为所述图像传感器接收被拍摄物体反射的第一类光线形成的图像，所述第二类图像为所述图像传感器接收被拍摄物体反射的第一类光线形成的图像；所述第二类光线包括所述第一类光线和所述投射光；

其中，所述处理单元从所述第一类图像中获取所述被拍摄物体的色度亮度信息，并根据所述第二类图像获得被拍摄物体的局部深度信息，其中所述投射光的亮度为所述环境光的亮度的2倍以上。

上述图像采集设备与第一实施例的图像采集设备类似，本实施例仅对不同之处进行说明，相关内容该可以参考第一实施例。

在一实施例中，所述投射光发为一条或多条线性投射光。

在一实施例中，所述处理单元对比时间上连续或相邻的第一类图像和第二类图像之间的差异，根据三角测量法计算所述被拍摄物体的局部深度信息。

在一实施例中，所述线性投射光为多条，所述多条线性投射光具有相同或不同的波长。

在一实施例中，所述处理单元还根据多次采集的被拍摄物体的色度亮度信息和局部深度信息，计算获得被拍摄物体表面的三维信息和色度亮度信息。在这一实施例中，与前述相同地，处理单元利用拼接的方式，利用多次采集的局部深度信息拼接形成被拍摄物体表面的三维信息和色度亮度信息。

在一实施例中，所述图像采集设备还包括：

运动和姿态估计单元，用于向处理单元提供运动姿态信息；

所述处理单元根据所述运动姿态信息，以及多次拍摄获得的色度亮度信息和局部深度信息，计算获得所述被拍摄物体表面的三维信息及其关联的色度亮度信息。

在一实施例中，所述投射光为激光，也可以是红外光、紫外光、蓝光其中一种。

在本实施例中，投射光是通过对比两幅相邻图像来识别的，因此受物体本身反射的环境光的影响很小，可使用各种波长的投影光做光源。作为特例，在部分场景中，可使用亮度较高的投射光源进行投影，使得物体反射的投射光强度远大于物体反射的环境光的强度，这种情况下，即使不进行相邻图像的对比，也能识别出反射线性投射光所成的像。图8和图9所示为采用正常亮度的线性投射光所拍摄的图像和采用高强度的线性投射光所拍摄的图像。如图8和9所对比显示，由于投射光的强度远大于反射的环境光的强度，所以可以容易地识别出反射线性投射光所成的图像。在一实施例中，线性投射光的亮度为所述环境光的亮度的2倍、10倍、20倍、50倍以上等等。

第三实施例

本发明第三实施例提出一种图像采集设备，用于采集物体的深度信息和色度亮度信息，所述图像采集设备包括：

两个以上投射光发生单元，用于分别产生投射光，并投射至被拍摄物体；

成像单元，包括图像传感器，用于接收从被拍摄物体反射的光线，形成该被拍摄物体对应的图像；

光路控制单元，用于控制所述图像传感器是否形成图像；

时序控制单元，信号连接于所述光路控制单元和/或所述投射光发生单元，用于控制所述光路控制单元和所述投射光发生单元的开启时间，以在投射光的投射期间开启所述光路控制单元；

处理单元，信号连接于所述时序控制单元和所述图像传感器，用于接收并处理所述图像传感器生成的图像并存储，并根据所述时序控制单元的信号，确定所述图像为第一类图像或第二类图像，所述第一类图像为所述图像传感器接收被拍摄物体反射的第一类光线形成的图像，所述第二类图像为所述图像传感器接收被拍摄物体反射的第一类光线形成的图像；所述第二类光线包括所述第一类光线和所述投射光；

其中，所述处理单元从所述第一类图像中获取所述被拍摄物体的色度亮度信息，并根据所述第二类图像和第一类图像获得被拍摄物体的该被拍摄物体的局部深度信息。

第三实施例与第一或者第二实施例相类似，在此仅就不同之处进行说明。

在本实施例中，投射光发生单元为两个以上，并且其中一个或一个以上并不限定为发出线性投射光。在一实施例中，投射光发生单元为两个，分别用于产生线性投射光和结构光。成像单元可以成三类图像，分别是接收环境光形成的第一类图像、接收环境光和线性投射光产生的第二类图像、接收环境光和结构光产生的第三类图像。处理单元分别接收两个投射光发生单元投射在被拍摄物体的反射点产生的反射光线，根据所产生的三类图像，确定被拍摄物体的局部深度信息。

上述两个投射光发生单元可以先同时关闭，由成像单元生成第一类图像，再轮流开启，由成像单元生成第二类图像和第三类图像，在此并不限定。

在另一实施例中，投射光发生单元可以投射不同波长的光线，例如分别投射红外光、紫光、蓝光等。处理单元针对不同的光线进行处理，可以计算出被拍摄物体的局部深度信息。

在一实施例中，所述投射光发生单元为两个，分别用于产生线性投射光和结构光。

在一实施例中，所述投射光发生单元为两个，所述两个投射光发生单元用于产生不同波长的线性投射光。

在一实施例中，所述投射光发生单元同时或轮流开启。

在一实施例中，所述第二类图像包括第一子类图像和第二子类图像，所述第一子类图像由所述图像传感器接收其中一个投射光发生单元发出至被拍摄物体的投射光和环境光的反射光生成；所述第二子类图像由所述图像传感器接收其中另一个投射光发生单元发出至被拍摄物体的投射光和环境光的反射光生成。

在本实施例中，投射光发生单元包括两个以上，举例来说其中一个投射光发生单元用于投射红外光，另一个投射光发生单元用于投射紫外光。则，图像传感器可以设置为先后接收三种反射光：第一类光线为无红外光和紫外光反射的光线(例如仅有环境光)，第二类光线为有红外光反射的光线(例如有环境光和红外光)，第三类光线为有紫外光反射的光线(例如有环境光和紫外光)，这三种光线分别在图像传感器中生成图像，第一类图像为反射环境光的图像，第二类图像的第一子类图像为反射环境光和红外光的图像；第二类图像的第二子类图像为反射环境光和紫外光的图像。成像后通过第二类图像和第一类图像的差异(包括第一子类图像和第二子类图像分别于第一类图像的差异)计算获得局部深度信息。

通过图像信息获得局部深度信息的三角测量算法已在背景技术中进行了介绍，在此不再赘述。

在该实施例中，可以一次性采集由多种投射光生成的图片信息，利用多管齐下的方式提高了获取局部深度信息和被测物体的三维表面形状的效率。

第四实施例

本发明第四实施例提出一种图像采集方法，包括如下步骤：

S401，在第一时间段，采集第一类图像，所述第一类图像为图像传感器接收被拍摄物体反射第一类光线形成的图像；

在这一步骤中，前述实施例的成像单元20所包括的图像传感器22可以采集第一类图像，第一类图像例如为图像传感器22接收被拍摄物体100的被拍摄物体反射的环境光形成的图像。

S402，在第二时间段，开启投射光发生单元，并采集第二类图像，所述第二类图像为图像传感器接收被拍摄物体反射第二类光线形成的图像；

在这一步骤中，第二时间段例如为与第一时间段在时间上连续的或相邻的，包括间隔相邻的时刻，在该时刻开启投射光发生单元，采集第二类图像。该投射光例如为线性激光，因此第二类图像为图像传感器接收被拍摄物体反射的投射光和环境光形成的图像。由上述可知，虽然环境光可以为各种不同的光线或者拍照环境，但是所述第二类光线始终包括第一类光线和由投射光生成单元产生的投射光。

S403，依据第一类图像和第二类图像之间的差异，计算所述被拍摄物体的局部深度信息；

在这一步骤中，前述的处理单元50利用第一类和第二类图像的差异，例如通过相减的方法，可以获得差异图像信息，利用这一差异图像信息，根据前述的三角形计算法，可以获得该被拍摄物体得到局部深度信息。

S404，将所述局部深度信息和由所述第一类图像中采集的色度亮度信息关联；

在这一步骤中，前述的处理单元50可以将计算获得的局部深度信息与色度亮度信息对应。

该实施例提出的方法的细节与前述实施例的图像采集装置相同或相似，在此不再赘述。

在一实施例中，所述投射光为线性光。

在一实施例中，所述投射光为多种，包括线性光、结构光等。

在一实施例中，所述投射光为多条具有相同或不同波长的线性光。

在一实施例中，所述方法还包括：

S405，获取多次拍摄采集到的被拍摄物体的局部深度信息和色度亮度信息，计算所述被拍摄物体表面的三维信息及其关联的色度亮度信息。

在这一步骤中，前述的处理单元50根据多次拍摄采集到的被拍摄物体的局部深度信息和色度亮度信息，获得被拍摄物体的整体三维信息，并与关联的色度亮度信息对应。

在本发明提出的图像处理方法中，因为被拍摄物体的色度亮度信息和利用投射光投影得到的局部深度信息是由同一个图像传感器通过相同光路采集到的，因此像素的色度信息和局部深度信息具有天然的关联性，无需像现有技术一样进行再次对应匹配。通常图像采集速率可达到几十至上百帧每秒，相邻两次采集的图像之间，物体移动变化极小，并且这种移动是可以根据图像序列计算出来的，因此对设备生产的精度要求较低，无需进行校准标定等过程。节省了成本的同时提高了采集的精度。

以上对本申请所提供的一种图像采集设备和方法，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种图像采集设备，用于采集物体的深度信息和色度亮度信息，其特征在于，所述图像采集设备包括：

投射光发生单元，用于产生投射光，并投射至被拍摄物体；

成像单元，包括图像传感器，用于接收从被拍摄物体反射的光线，形成该被拍摄物体对应的图像；

光路控制单元，用于控制所述图像传感器是否形成图像；

时序控制单元，信号连接于所述光路控制单元和/或所述投射光发生单元，用于控制所述光路控制单元和/或所述投射光发生单元的开启时间，以在投射光的投射期间开启所述光路控制单元；

处理单元，信号连接于所述时序控制单元和所述图像传感器，用于接收并处理所述图像传感器生成的图像并存储，并根据所述时序控制单元的信号，确定所述图像为第一类图像或第二类图像，所述第一类图像为所述图像传感器接收被拍摄物体反射的第一类光线形成的图像，所述第二类图像为所述图像传感器接收被拍摄物体反射的第二类光线形成的图像；所述第二类光线包括所述第一类光线和所述投射光；

其中，所述处理单元从所述第一类图像中获取所述被拍摄物体的色度亮度信息，并根据所述第二类图像和第一类图像获得所述被拍摄物体的局部深度信息。

2.根据权利要求1所述的图像采集设备，其特征在于，所述处理单元对比时间上连续或相邻的第一类图像和第二类图像之间的差异，根据三角测量法计算所述被拍摄物体的局部深度信息。

3.根据权利要求1所述的图像采集设备，其特征在于，所述光路控制单元包括快门，用于通过控制成像单元内的光路的通断控制所述图像传感器是否接收光线。

4.根据权利要求1所述的图像采集设备，其特征在于，所述光路控制单元包括滤光片，用于通过控制投射光发生单元内的光路的通断控制所述图像传感器是否接收到光线。

5.根据权利要求1所述的图像采集设备，其特征在于，所述投射光发生单元包括投射光源和投影镜头，所述投射光源用于产生投射光，所述投影镜头用于将所述投射光生成线性投射光。

6.根据权利要求1所述的图像采集设备，其特征在于，所述投射光为一条或一条以上线性投射光。

7.根据权利要求6所述的图像采集设备，其特征在于，所述线性投射光为多条，所述多条线性投射光为平行光、十字状、网格状或辐射状。

8.根据权利要求6所述的图像采集设备，其特征在于，所述线性投射光为多条，所述多条线性投射光具有相同或不同的波长。

9.根据权利要求1所述的图像采集设备，其特征在于，所述处理单元还根据多次拍摄获得的被拍摄物体的色度亮度信息和局部深度信息，计算获得被拍摄物体表面的三维信息和色度亮度信息。

10.根据权利要求1所述的图像采集设备，其特征在于，所述图像采集设备还包括：

运动和姿态估计单元，信号连接于所述处理单元，用于向处理单元提供运动姿态信息；

所述处理单元根据所述运动姿态信息，以及多次拍摄获得的被拍摄物体的色度亮度信息和局部深度信息，获得所述被拍摄物体表面的三维信息和色度亮度信息。

11.根据权利要求1所述的图像采集设备，其特征在于，所述运动和姿态估计单元包括加速度计、陀螺仪、磁力计中一种或多种的组合。

12.根据权利要求1所述的图像采集设备，其特征在于，所述投射光为激光。

13.根据权利要求1所述的图像采集设备，其特征在于，所述图像采集设备还包括外部传感器，所述外部传感器信号连接于所述运动与姿态估计单元，用于确定所述图像采集设备在不同时刻的相对拍摄方位。

14.一种图像采集设备，用于采集物体的深度信息和色度亮度信息，其特征在于，所述图像采集设备包括：

投射光发生单元，用于产生投射光，并投射至被拍摄物体；

成像单元，包括图像传感器，用于接收从被拍摄物体反射的光线，形成该被拍摄物体对应的图像；

光路控制单元，用于控制所述图像传感器是否形成图像；

时序控制单元，信号连接于所述光路控制单元和/或所述投射光发生单元，用于控制所述光路控制单元和/或所述投射光发生单元的开启时间，以在投射光的投射期间开启所述光路控制单元；

处理单元，信号连接于所述时序控制单元和所述图像传感器，用于接收并处理所述图像传感器生成的图像并存储，并根据所述时序控制单元的信号，确定所述图像为第一类图像或第二类图像，所述第一类图像为所述图像传感器接收被拍摄物体反射的第一类光线形成的图像，所述第二类图像为所述图像传感器接收被拍摄物体反射的第一类光线形成的图像；所述第二类光线包括所述第一类光线和所述投射光；

其中，所述处理单元从所述第一类图像中获取所述被拍摄物体的色度亮度信息，并根据所述第二类图像获得被拍摄物体的局部深度信息，其中所述投射光的亮度为所述环境光的亮度的2倍以上。

15.一种图像采集设备，用于采集物体的深度信息和色度亮度信息，其特征在于，所述图像采集设备包括：

两个以上投射光发生单元，用于分别产生投射光，并投射至被拍摄物体；

成像单元，包括图像传感器，用于接收从被拍摄物体反射的光线，形成该被拍摄物体对应的图像；

光路控制单元，用于控制所述图像传感器是否形成图像；

时序控制单元，信号连接于所述光路控制单元和/或所述投射光发生单元，用于控制所述光路控制单元和所述投射光发生单元的开启时间，以在投射光的投射期间开启所述光路控制单元；

处理单元，信号连接于所述时序控制单元和所述图像传感器，用于接收并处理所述图像传感器生成的图像并存储，并根据所述时序控制单元的信号，确定所述图像为第一类图像或第二类图像，所述第一类图像为所述图像传感器接收被拍摄物体反射的第一类光线形成的图像，所述第二类图像为所述图像传感器接收被拍摄物体反射的第一类光线形成的图像；所述第二类光线包括所述第一类光线和所述投射光；

其中，所述处理单元从所述第一类图像中获取所述被拍摄物体的色度亮度信息，并根据所述第二类图像和第一类图像获得被拍摄物体的局部深度信息。

16.一种图像采集方法，其特征在于，包括：

在第一时间段，采集第一类图像，所述第一类图像为图像传感器接收被拍摄物体反射第一类光线形成的图像；

在第二时间段，开启投射光发生单元，并采集第二类图像，所述第二类图像为图像传感器接收被拍摄物体反射第二类光线形成的图像；

依据第一类图像和第二类图像之间的差异，计算所述被拍摄物体的局部深度信息；

将所述局部深度信息和由所述第一类图像中采集的色度亮度信息关联；

其中所述第二类光线包括第一类光线和由投射光生成单元产生的投射光。