CN111866490A - 深度图像成像***和方法 - Google Patents

深度图像成像***和方法 Download PDF

Info

Publication number
CN111866490A
CN111866490A CN202010729553.6A CN202010729553A CN111866490A CN 111866490 A CN111866490 A CN 111866490A CN 202010729553 A CN202010729553 A CN 202010729553A CN 111866490 A CN111866490 A CN 111866490A
Authority
CN
China
Prior art keywords
scene
depth
image
determining
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010729553.6A
Other languages
English (en)
Inventor
高岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010729553.6A priority Critical patent/CN111866490A/zh
Publication of CN111866490A publication Critical patent/CN111866490A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本说明书提供的深度图像成像***和方法，可以通过2颗RGB‑IR传感器分别获取两幅RGB图像和两幅IR图像。在强光照的场景下，通过两幅RGB图像的视差计算所述场景的深度信息。在弱光照场景下，通过两幅IR图像的视差计算所述场景的深度信息。在普通光照场景下，既可以通过两幅RGB图像的视差计算所述场景的深度信息，也可以通过两幅IR图像的视差计算所述场景的深度信息，当然也可以将两种深度信息进行特征融合，得到最终深度信息。因此，本说明书提供的深度图像成像***和方法可以应用于各种光照场景下，应用范围光，深度计算精度高。

Description

深度图像成像***和方法
技术领域
本说明书涉及图像采集技术领域，尤其涉及一种深度图像成像***和方法。
背景技术
近年来，随着科技的不断发展，计算机视觉的应用场景越来越广泛，同时，深度摄像头技术受到了业界越来越多的关注。深度摄像头可以对被拍摄场景中的物体与摄像头之间的距离进行测量。通过获取被拍摄场景中的物体与摄像头之间的距离给人机交互技术带来了很大的发展空间，配合上摄像头获取的被拍摄场景中的二维图像，人们可以轻易获得一个周围场景的三维信息。因而该类产品开始获得广泛应用到工业自动化、计算机图形学、虚拟现实、机器人同自然人交互、医疗外科及计算机视觉等多个领域。
当前具备的深度视觉成像方案，例如深度结构光方案，双目立体视觉方案，等等，均需要2颗及以上的摄像头，通过2颗摄像头的视差计算图像的深度。2颗摄像头可以是2颗RGB摄像头，也可以是2颗IR摄像头，或者1颗RGB摄像头和1颗IR摄像头。2颗RGB摄像头所拍摄的深度图像，只能拍摄到RGB图像，不能拍摄到IR图像，因此在光线较暗的场景下精度低；2颗IR摄像头只能拍摄到IR图像，不能拍摄到RGB图像，因此在强光下精度低；1颗RGB摄像头和1颗IR摄像头，在强光下只拍摄RGB图像，不能得到深度信息，在光线较暗的场景中只拍摄IR图像，也不能得到深度信息。
因此需要提供一种使用场景更广的深度图像成像***和方法。
发明内容
本说明书提供一种使用场景更广的深度图像成像***和方法。
第一方面，本说明书提供一种深度图像成像***，包括支撑部件、第一摄像头、第二摄像头以及控制装置，所述第一摄像头连接在所述支撑部件上，用于获取被拍摄场景的第一光学图像，所述第一摄像头包括第一图像传感器，包括集成了可见光感光单元及红外感光单元的第一感光单元阵列；所述第二摄像头连接在所述支撑部件上，与所述第一摄像头以预定位姿相对固定，用于获取所述场景的第二光学图像，所述第二摄像头包括第二图像传感器，包括集成了可见光感光单元以及红外感光单元的第二感光单元阵列；所述控制装置与所述第一摄像头和所述第二摄像头通信连接，基于所述第一光学图像和所述第二光学图像，确定所述场景的深度，生成所述场景的深度图像。
在一些实施例中，所述第一感光单元阵列由红光感光单元、绿光感光单元、蓝光感光单元以及IR感光单元以预定方式排成阵列，每个感光单元对应一个像素；以及所述第二感光单元阵列由红光感光单元、绿光感光单元、蓝光感光单元以及IR感光单元以预定方式排成阵列，每个感光单元对应一个像素。
在一些实施例中，所述深度图像成像***还包括红外灯，连接在所述支撑部件上。
在一些实施例中，所述第一光学图像包括第一RGB图像和第一IR图像；以及所述第二光学图像包括第二RGB图像和第二IR图像。
在一些实施例中，当所述场景的环境的光照强度大于第一预设值时，所述控制装置基于所述场景在所述第一RGB图像和所述第二RGB图像中的视差，确定所述场景的深度。
在一些实施例中，当所述场景的环境的光照强度小于第二预设值时，所述控制装置基于所述场景在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度，其中，所述第一预设值大于所述第二预设值。
在一些实施例中，当所述场景的环境的光照强度处于所述第一预设值和所述第二预设值之间时，所述控制装置基于所述场景在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度。
在一些实施例中，所述深度图像成像***还包括光发射器，连接在所述支撑部件上，运行时发射以预定模式编码的光形成的光阵列，所述光阵列照射在所述场景的物体上形成多个光斑，所述光发射器包括LED发射器和激光发射器中的至少一种。
在一些实施例中，所述基于所述场景在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度，包括：当所述场景中的物体距离所述深度图像成像***的距离大于距离阈值时，基于所述场景中的物体在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度；以及当所述场景中的物体距离所述深度图像成像***的距离小于所述距离阈值时，基于所述场景中的所述多个光斑中的每个光斑在所述第一IR图像和所述第二IR图像中的视差，确定所述每个光斑的深度，从而确定所述场景的深度。
在一些实施例中，所述基于所述场景在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度，包括：当所述场景中的物体距离所述深度图像成像***的距离大于所述距离阈值时，基于所述场景中的物体在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度；以及当所述场景中的物体距离所述深度图像成像***的距离小于所述距离阈值时，基于所述场景中的所述多个光斑中的每个光斑在所述第一IR图像和所述第二IR图像中的视差，确定所述每个光斑的深度，从而确定所述场景的深度。
在一些实施例中，所述深度图像成像***还包括补光灯，当所述场景的环境光照强度小于光照强度阈值时，所述控制装置驱动所述补光灯打开。
第二方面，本说明书还提供一种深度图像成像的方法，用于本说明书第一方面提供的所述深度图像成像***，所述方法包括通过所述控制装置：获取所述第一光学图像和所述第二光学图像；以及基于所述第一光学图像和所述第二光学图像，确定所述场景的深度，生成所述场景的深度图像。
在一些实施例中，所述基于所述第一光学图像和所述第二光学图像，确定所述场景的深度，包括以下方式中的一种：确定所述场景的环境的光照强度大于第一预设值，基于所述场景在所述第一RGB图像和所述第二RGB图像中的视差，确定所述场景的深度；确定所述场景的环境的光照强度小于第二预设值，基于所述场景在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度，其中，所述第一预设值大于所述第二预设值；以及确定所述场景的环境的光照强度处于所述第一预设值和所述第二预设值之间，基于所述场景在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度。
在一些实施例中，所述基于所述场景在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度，包括以下方式中的一种：确定所述场景中的物体距离所述深度图像成像***的距离大于距离阈值，基于所述场景中的物体在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度；以及确定所述场景中的物体距离所述深度图像成像***的距离小于所述距离阈值，基于所述场景中的所述多个光斑中的每个光斑在所述第一IR图像和所述第二IR图像中的视差，确定所述每个光斑的深度，从而确定所述场景的深度。
在一些实施例中，所述基于所述场景在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度，包括以下方式中的一种：确定所述场景中的物体距离所述深度图像成像***的距离大于所述距离阈值，基于所述场景中的物体在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度；以及确定所述场景中的物体距离所述深度图像成像***的距离小于所述距离阈值，基于所述场景中的所述多个光斑中的每个光斑在所述第一IR图像和所述第二IR图像中的视差，确定所述每个光斑的深度，从而确定所述场景的深度。
在一些实施例中，所述方法还包括通过所述控制装置：确定所述场景的环境光照强度小于光照强度阈值时，驱动所述补光灯打开。
由以上技术方案可知，本说明书提供的深度图像成像***和方法，可以通过2颗RGB-IR传感器分别获取两幅RGB图像和两幅IR图像。在强光照的场景下，通过两幅RGB图像的视差计算所述场景的深度信息。在弱光照场景下，通过两幅IR图像的视差计算所述场景的深度信息。在普通光照场景下，既可以通过两幅RGB图像的视差计算所述场景的深度信息，也可以通过两幅IR图像的视差计算所述场景的深度信息，当然也可以将两种深度信息进行特征融合，得到最终深度信息。因此，本说明书提供的深度图像成像***和方法可以应用于各种光照场景下，应用范围光，深度计算精度高。
本说明书提供的深度图像成像***和方法的其他功能将在以下说明中部分列出。根据描述，以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的深度图像成像***和方法的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。
附图说明
为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A示出了根据本说明书的实施例提供的一种被动深度图像成像***的结构示意图；
图1B示出了根据本说明书的实施例提供的一种主动深度图像成像***的结构示意图；
图1C示出了根据本说明书的实施例提供的一种主动深度图像成像***的硬件结构示意图；
图2示出了根据本说明书的实施例提供的一种感光单元阵列的示意图；
图3示出了根据本说明书的实施例提供的一种第一摄像头和第二摄像头的的摆放位置示意图；
图4示出了根据本说明书的实施例提供的一种计算图像深度信息的原理示意图；
图5A示出了根据本说明书的实施例提供的一种被动深度图像成像的方法流程图；以及
图5B示出了根据本说明书的实施例提供的一种主动深度图像成像的方法流程图。
具体实施方式
以下描述提供了本说明书的特定应用场景和要求，目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说，对所公开的实施例的各种局部修改是显而易见的，并且在不脱离本说明书的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用。因此，本说明书不限于所示的实施例，而是与权利要求一致的最宽范围。
这里使用的术语仅用于描述特定示例实施例的目的，而不是限制性的。比如，除非上下文另有明确说明，这里所使用的，单数形式“一”，“一个”和“该”也可以包括复数形式。当在本说明书中使用时，术语“包括”、“包含”和/或“含有”意思是指所关联的整数，步骤、操作、元素和/或组件存在，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该***/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。
考虑到以下描述，本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图，所有这些形成本说明书的一部分。然而，应该清楚地理解，附图仅用于说明和描述的目的，并不旨在限制本说明书的范围。还应理解，附图未按比例绘制。
本说明书中使用的流程图示出了根据本说明书中的一些实施例的***实现的操作。应该清楚地理解，流程图的操作可以不按顺序实现。相反，操作可以以反转顺序或同时实现。此外，可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
本说明书提供的深度图像成像***和方法，可以用于测量被拍摄场景中的物体相对于摄像头的距离，从而得到被拍摄场景的三维图像。所述三维图像中可以包括被拍摄场景中的物体在场景中的位置，以及被拍摄场景中的相对于摄像头的距离。本说明书提供的深度图像成像***和方法，可以通过2颗RGB-IR传感器分别获取两幅RGB图像和两幅IR图像。在强光照的场景下，通过两幅RGB图像的视差计算所述场景的深度信息。在弱光照场景下，通过两幅IR图像的视差计算所述场景的深度信息。在普通光照场景下，既可以通过两幅RGB图像的视差计算所述场景的深度信息，也可以通过两幅IR图像的视差计算所述场景的深度信息，当然也可以将两种深度信息进行特征融合，得到最终深度信息。因此，本说明书提供的深度图像成像***和方法可以应用于各种光照场景下，应用范围光，深度计算精度高。需要说明的是，由于本说明书提供的深度图像成像***和方法可以同时获取RGB图像和IR图像，因此，所述深度图像成像***和方法也可以用于人体识别等场景，比如，面部识别、虹膜识别、巩膜识别、掌纹识别，等等。
RGB-IR图像传感器是一种可以将RGB图像和IR(红外)图像集成的图像传感器。传统的RGB图像传感器，包括四种基本的单色像素点R、Gr、Gb及B，四种单色像素点R、Gr、Gb及B分别获取不同颜色的光电感应电荷分量，再采用线性插值算法计算每个像素结构的RGB值。因此，传统的RGB图像传感器只能生成RGB图像。传统的IR图像传感器只能生成IR图像。若要得到RGB-IR图像需将RGB图像和IR图像通过计算进行转换坐标系，使图像对齐，增加了图像处理的计算量和计算成本。RGB-IR图像传感器可以采集可见光和红外光，使可见光和红外光同时参与成像。RGB-IR图像传感器中包括基本的单色像素点R、G或B以及IR像素，基本的单色像素点R、G或B以及IR像素分别获取不同颜色的光电感应电荷分量以及红外光的光电感应电荷分量，再采用线性插值算法计算每个像素结构的RGB值以及IR值。因此，RGB-IR图像传感器可以同时生成RGB图像和IR图像，并且RGB图像和IR图像自动对齐，无需坐标换算，节约计算成本。
图1示出了根据本说明书的实施例提供的一种深度图像成像***的示意图。所述深度图像成像***(以下简称***)可以是被动深度图像成像***001A(以下简称被动***001A)，也可以是主动深度图像成像***001B(以下简称主动***001B)。图1A示出了根据本说明书的实施例提供的一种被动深度图像成像***001A的结构示意图；图1B示出了根据本说明书的实施例提供的一种主动深度图像成像***001B的结构示意图；图1C示出了根据本说明书的实施例提供的一种主动深度图像成像***001B的硬件结构示意图。如图1A所示，被动***001A可以包括支撑部件400、第一摄像头100、第二摄像头200和控制装置600。在一些实施例中，被动***001A还可以包括红外灯700和补光灯800。如图1B所示，主动***001B可以包括支撑部件400、第一摄像头100、第二摄像头200、控制装置600和光发射器900。在一些实施例中，主动***001B还可以包括红外灯700和补光灯800。
支撑部件400可以用于支撑和固定第一摄像头100和第二摄像头200。在一些实施例中，支撑部件400也可以用于支撑和固定控制装置600。
第一摄像头100可以连接在支撑部件400上，用于获取被拍摄场景的第一光学图像。如图1C所示，第一摄像头100可以包括第一图像传感器110和第一镜头130。第一镜头130是第一摄像头100的成像设备。第一镜头130可以包括多个透镜。光线从第一镜头130的入光侧射入，经过第一镜头130的折射后，从出光侧射出，并在第一图像传感器110上汇聚。第一镜头130可以是定焦镜头，也可以是变焦镜头，可以是有多个透镜组成的传统镜头，也可以是Metalens自适应变焦镜头，本说明书对此不做限定。
第一图像传感器110可以是RGB-IR图像传感器。第一图像传感器110可以包括集成了可见光(RGB)感光单元及红外(IR)感光单元的第一感光单元阵列111。所述第一感光单元阵列111由红光(R)感光单元、绿光(G)感光单元、蓝光(B)感光单元以及IR感光单元以预定方式排成阵列，每个感光单元对应一个像素。具体地，第一感光单元阵列111可以通过色彩滤波阵列(CFA)技术实现。第一感光单元阵列111前可以设置一个第一色彩滤波器112。所述光线经过第一镜头130折射后通过第一色彩滤波器112过滤后在第一感光单元阵列111上汇聚，并形成由R感光单元、G感光单元、B感光单元以及IR感光单元以预定方式排成的阵列。第一色彩滤波器112可以包括由多个滤波单元组成的滤波阵列，所述多个滤波单元中的每个滤波单元与一个感光单元相对应。所述滤波阵列由多个对R光敏感的滤波器、多个对G光敏感的滤波器、多个对B光敏感的滤波器以及多个对IR光敏感的滤波器以所述预定方式阵列。所述对R光敏感的滤波器对应R感光单元。所述对G光敏感的滤波器对应G感光单元。所述对B光敏感的滤波器对应B感光单元。所述对IR光敏感的滤波器对应IR感光单元。因此，第一摄像头100所拍摄的所述第一光学图像可以包括第一RGB图像和第一IR图像。
图2示出了根据本说明书的实施例提供的一种第一感光单元阵列111的示意图。图2中示出了第一感光单元阵列111的两种阵列模式。需要说明的是，图2只是示例，第一感光单元阵列111的排列方式多种多样，所有由R感光单元、G感光单元、B感光单元以及IR感光单元阵列而成的第一感光单元阵列111均在本说明书保护的范围内。
第二摄像头200可以连接在支撑部件400上，用于获取所述场景的第二光学图像。如图1C所示，第二摄像头200可以包括第二图像传感器210和第二镜头230。第二镜头230是第二摄像头200的成像设备。第二镜头230可以与第一镜头130一致，在此不再赘述。第二图像传感器210可以是RGB-IR图像传感器。第二图像传感器210可以包括集成了可见光(RGB)感光单元以及红外(IR)感光单元的第二感光单元阵列211。所述第二感光单元阵列211可以由红光(R)感光单元、绿光(G)感光单元、蓝光(B)感光单元以及IR感光单元以预定方式排成阵列，每个感光单元对应一个像素。具体地，第二感光单元阵列211可以与第一感光单元阵列111的结构一致，在此不再赘述。第二摄像头200所拍摄的所述第二光学图像包括第二RGB图像和第二IR图像。
第二摄像头200与第一摄像头100以预定位姿相对固定，即第二摄像头200与第一摄像头100的相对位姿固定。图3示出了根据本说明书的实施例提供的一种第一摄像头100和第二摄像头200的摆放位置示意图。如图3中(a)图所示，理想情况下第一摄像头100和第二摄像头200的视觉轴线可以平行设置，并且第一摄像头100和第二摄像头200的图像平面平行。而在实际中，由于安装制造误差，第一摄像头100和第二摄像头200的安装往往无法完全满足该理想状态，例如图3中(b)图所示，为非理想状态示意图，第一摄像头100和第二摄像头200呈一定角度设置。因此，控制装置600可以根据第一摄像头100和第二摄像头200的实际安装角度，对第一摄像头100和第二摄像头200进行校正，根据第一摄像头100和第二摄像头200标定后获得的内外参数，对所述第一光学图像和所述第二光学图像进行畸变消除，使得第一摄像头100和第二摄像头200光轴平行、成像平面共面，最后实现对极线行对齐，即使得第一摄像头100和第二摄像头200的拍摄的所述第一光学图像和所述第二光学图像的对极线行对齐，便于对拍摄的图像进行处理，降低后续匹配的复杂度。
控制装置600可以与第一摄像头100和第二摄像头200通信连接。控制装置600可以获取所述第一光学图像和所述第二光学图像，并基于所述第一光学图像和所述第二光学图像的视差，确定所述场景的深度，生成所述场景的深度图像。所述通信连接是指能够直接地或者间接地接收信息的任何形式的连接。比如，控制装置600可以同第一摄像头100和第二摄像头200通过无线通讯建立无线连接来彼此传递数据；控制装置600也可以同第一摄像头100和第二摄像头200通过电线直接连接来彼此传递数据；控制装置600也可以通过电线同其他电路直接连接来建立同第一摄像头100和第二摄像头200的间接连接，从而实现彼此传递数据。
控制装置600可以存储有执行本说明书描述的深度图像成像的方法的数据或指令，并可以执行或用于执行所述数据和/或指令。所述深度图像成像的方法在本说明书中的其他部分介绍。比如，在图5的描述中介绍了所述深度图像成像的方法。如图1C所示，控制装置600可以包括至少一个存储介质630和至少一个处理器620。在一些实施例中，控制装置600还可以包括内部通信总线610和通信端口650。
存储介质630可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质，也可以是暂时性存储介质。比如，所述数据存储装置可以包括磁盘、只读存储介质(ROM)或随机存取存储介质(RAM)中的一种或多种。存储介质630还包括存储在所述数据存储装置中的至少一个指令集。所述指令是计算机程序代码，所述计算机程序代码可以包括执行本说明书提供的深度图像成像的方法PA100的程序、例程、对象、组件、数据结构、过程、模块等等。
内部通信总线610可以连接不同的***组件，包括存储介质630和处理器620。
通信端口650可以用于控制装置600同第一摄像头100和第二摄像头200的数据通讯。通信端口650也可以用于控制装置600同外界的数据通讯。比如，控制装置600可以通过通信端口650与外部存储设备或计算设备通过网络或蓝牙进行通讯，也可以通过通信端口650与外部存储设备或计算设备通过有线连接进行通讯。所述外部存储设备或计算设备可以是个人计算机、平板电脑、智能手机，也可以是移动存储设备，等等。
至少一个处理器620同至少一个存储介质630通过内部通信总线610通讯连接。至少一个处理器620用以执行上述至少一个指令集。当所述***运行时，至少一个处理器620读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行本说明书提供的所述深度图像成像的方法。处理器620可以执行所述深度图像成像的方法包含的所有步骤。处理器620可以是一个或多个处理器的形式，在一些实施例中，处理器620可以包括一个或多个硬件处理器，例如微控制器，微处理器，精简指令集计算机(RISC)，专用集成电路(ASIC)，特定于应用的指令集处理器(ASIP)，中央处理单元(CPU)，图形处理单元(GPU)，物理处理单元(PPU)，微控制器单元，数字信号处理器(DSP)，现场可编程门阵列(FPGA)，高级RISC机器(ARM)，可编程逻辑器件(PLD)，能够执行一个或多个功能的任何电路或处理器等，或其任何组合。仅仅为了说明问题，在本说明书中控制装置600中仅描述了一个处理器620。然而，应当注意，本说明书中控制装置600还可以包括多个处理器，因此，本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行，也可以由多个处理器联合执行。例如，如果在本说明书中控制装置600的处理器620执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同处理器620联合或分开执行(例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一和第二处理器共同执行步骤A和B)。
如前所述，控制装置600可以基于所述场景中的物体在所述第一光学图像和所述第二光学图像的视差，计算深度。图4示出了根据本说明书的实施例提供的一种基于视差计算图像深度信息的原理示意图。
如图4所示，其中O1、O2分别为第一摄像头100和第二摄像头200的视觉轴中心。d为第一摄像头100和第二摄像头200在X方向的中心距离。第一摄像头100和第二摄像头200在Y方向和Z方向的中心距离均为0。我们将第一摄像头100和第二摄像头200的中点的坐标标记为(0，0，0)。O1的坐标为(-d/2，0，0)。O2的坐标为(d/2，0，0)。第一摄像头100和第二摄像头200的焦距都为f。M为所述场景中的一点。M点的坐标被标记为(x，y，z)，其中，z表示点M到第一摄像头100和第二摄像头200的中心连线的垂直距离，即点M的深度信息。点M在第一摄像头100的所述第一光学图像和第二摄像头200的所述第二光学图像上的成像点分别为M1、M2。M1到第一摄像头100的视觉中心轴的距离为x1。M2到第二摄像头200的视觉中心轴的距离为x2。则M点在所述第一光学图像和所俗话第二光学图像上的视差值可以表示为d＝x1-x2。
然后，根据三角几何原理，可得：
Figure BDA0002602603390000151
根据视差值d＝x1-x2，可得M点的图像深度信息为：
Figure BDA0002602603390000152
基于视差计算图像深度信息的原理是建立在第一摄像头100和第二摄像头200成像模型的基础上。因此，本说明书中通过对第一摄像头100和第二摄像头200的标定，可以获取第一摄像头100和第二摄像头200的内外参数，确定第一摄像头100的坐标系、第二摄像头200的坐标系以及三维空间世界坐标系之间的映射关系。其中，第一摄像头100和第二摄像头200的内外参数包括但不限于：第一摄像头100和第二摄像头200的内部参数，例如，焦距、成像原点等，第一摄像头100和第二摄像头200外部参数，例如：第一摄像头100和第二摄像头200的相对位置关系，例如旋转矩阵、平移向量等，分别根据第一摄像头100和第二摄像头200与世界坐标系相对位置的外部参数，即旋转矩阵和平移向量，确定第一摄像头100和第二摄像头200之间的相对位置关系，从而建立世界坐标系与第一摄像头100坐标系和第二摄像头200坐标系之间的映射关系；控制装置600可以根据第一摄像头100和第二摄像头200的内外参数中和世界坐标系之间的映射关系，分别确定所述第一光学图像中各组像素点在第一摄像头100坐标系下的第一投影矩阵，以及所述第二光学图像中各组像素点在第二摄像头200坐标系下的第二投影矩阵；然后，控制装置600可以根据所述第一投影矩阵和所述第二投影矩阵，分别确定所述第一光学图像中各组像素点在第一摄像头100坐标系下的坐标位置，以及所述第二光学图像中各组像素点在第二摄像头200坐标系下的坐标位置，并根据所述坐标位置，分别确定所述第一光学图像中各组像素点距离第一摄像头100坐标系中心点的距离(包括X方向的距离和Y方向的距离)，以及所述第二光学图像中各组像素点距离第二摄像头200坐标系中心点的距离(包括X方向的距离和Y方向的距离)；最后，控制装置600可以根据所述距离计算各组像素点在所述第一光学图像和所述第二光学图像中的视差值。其中，对第一摄像头100和第二摄像头200的标定，可以采用现有技术中的标定方法，本说明书中并不进行限定。例如，“张正友标定法”。
具体地，控制装置600可以基于所述场景，选取若干点作为计算深度信息的特征点；根据每个所述特征点在所述第一光学图像和所述第二光学图像中的视差d，可以计算出所述每个特征点的深度。在被动***001A中，控制装置600可以选取所述场景中的物体上的若干点作为所述特征点，计算所述场景的深度。
如前所述，所述第一光学图像包括所述第一RGB图像和所述第一IR图像。所述第二光学图像包括所述第二RGB图像和所述第二IR图像。由于光线较暗的场景下，可见光较少，RGB图像中的特征点不明显，因此所述第一RGB图像和所述第二RGB图像适用于光线较亮的场景下的深度计算；红外光适用于光线较暗的场景下的辅助拍摄，因此，所述第一IR图像和所述第二IR图像适用于光线较暗的场景下的深度计算。控制装置600可以根据所述场景的环境光照强度，选取深度计算所述的图像。具体地，所述***还可以包括光照强度传感器，用于检测所述场景的环境的光照强度。所述光照强度传感器可以与所述控制装置600通信连接，控制装置600可以获取所述光照度传感器的检测数据，并根据所述检测数据确定深度计算所需的图像。
具体地，当所述场景的环境光照强度大于第一预设值时，控制装置600可以基于所述场景在所述第一RGB图像和所述第二RGB图像中的视差，确定所述场景的深度。此时，控制装置600还可以基于所述场景在所述第一IR图像和所述第二IR图像中的视差，辅助确定所述场景的深度。也就是说，控制装置600可以对基于所述场景在所述第一RGB图像和所述第二RGB图像中的视差确定的深度和基于所述场景在所述第一IR图像和所述第二IR图像中的视差确定的深度进行加权求和计算。其中，基于所述场景在所述第一RGB图像和所述第二RGB图像中的视差确定的深度的加权系数大于基于所述场景在所述第一IR图像和所述第二IR图像中的视差确定的深度的加权系数。所述第一预设值可以预先存储在控制装置600中。所述第一预设值可以人工设定，也可以人工更改。所述第一预设值可以基于经验值获取，也可以由带有标签的样本数据训练得到。比如，所述第一预设值可以是500lux，也可以是600lux，还可以更高，比如，10000lux，50000lux，等等。当所述场景的环境光照强度小于第二预设值时，控制装置600可以基于所述场景在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度，其中，所述第一预设值大于所述第二预设值。所述第二阈值可以预先存储在控制装置600中。所述第二阈值可以人工设定，也可以人工更改。所述第二预设值可以基于经验值获取，也可以由带有标签的样本数据训练得到。比如，所述第二阈值可以是20lux，也可以是30lux，40lux，等等，还可以更低，比如，10lux，等等。当所述场景的环境光照强度处于第一预设值和第二预设值之间时，控制装置600可以基于所述场景在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度。所述基于所述场景在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度，可以是控制装置600根据所述场景中的特征点在所述第一RGB图像以及所述第二RGB图像中的视差确定所述场景的深度，也可以是根据所述场景中的特征点在所述第一IR图像以及所述第二IR图像中的视差确定所述场景的深度，还可以是根据所述场景中的特征点在所述第一RGB图像以及所述第二RGB图像中的视差确定所述场景的第一深度，根据所述场景中的特征点在所述第一IR图像以及所述第二IR图像中的视差确定所述场景的第二深度，将所述第一深度和所述第二深度进行特征融合计算，确定所述场景的深度。所述特征融合计算可以是加权求和计算，也可以是平均池化，等等。
当所述***被用于进行人体识别时，控制装置600可以基于所述第一RGB图像、所述第二RGB图像、所述第一IR图像和所述第二IR图像进行人体识别。当光照强度极低的情况下，所述第一RGB图像和所述第二RGB图像不可用时，控制装置600可以基于所述第一IR图像和所述第二IR图像进行人体识别。
如图1A、图1B和图1C所示，所述***还可以包括红外灯700。红外灯700可以连接在支撑部件400上，用于发射红外光。红外灯700的数量可以是1颗也可以是多颗。红外灯700可以发出红外光线，所述红外光线照射在物体上，并被物体漫反射，漫反射光线被第一摄像头100和第二摄像头200吸收，得到所述第一光学图像和所述第二光学图像。红外灯700可以使所述***在黑暗环境下也可以拍摄到所述场景的图像。在一些实施例中，红外灯700还可以用于活体识别。通过对不同光照条件下的人脸皮肤反射的光谱信息进行分析分类，对异质人脸图像进行关联判断，有效区别出真实人脸皮肤和其他所有攻击材质的不同。
如图1A、图1B和图1C所示，所述***还可以包括补光灯800。补光灯800可以是可见光补光灯，也可以是红外光补光灯，可以用于暗光条件下补充可见光或红外光。补光灯800可以与控制装置600通信连接。当所述场景的环境的光照强度小于光照强度阈值时，控制装置600可以驱动补光灯800打开。所述光照强度阈值可以预先设定在控制装置600中。所述光照强度阈值可以人工设定，也可以更改。需要说明的是，在环境光大于所述光照强度阈值时，补光灯800也可以通过手动操作通过控制装置600打开。比如，当所述场景的环境中的光照强度小于所述第一预设值时，控制装置600可以控制补光灯800打开。
如图1B和图1C所示，主动***001B还可以包括光发射器900。光发射器900连接在支撑部件400上，运行时可以发射以预定模式编码的光形成的光阵列。光发射器900可以包括LED发射器和激光发射器中的至少一种。所述光阵列照射在所述场景中的物体上，形成多个光斑。所述光斑可以是散斑也可以是条纹。第一摄像头100和第二摄像头200拍摄到的所述第一光学图像和所述第二光学图像中包含所述多个光斑。控制装置600在计算所述场景的深度信息时，可以将所述多个光斑作为深度计算的特征点，分别确定每个光斑在所述第一光学图像和所述第二光学图像中的视差，从而确定所述每个光斑所在位置的深度信息。相对于被动***001A将所述场景中的物体作为深度计算的特征点来说，主动***001B将所述多个光斑作为深度计算的特征点，在光线一般或光线较暗的场景下，所述多个光斑相对于所述场景中的物体来说更明显，因此，深度计算的准确率也越高。
由于在主动***001B中可以将所述光斑作为所述特征点，因此，在主动***001B中，所述第一预设值可以高于被动***001A中的所述第一预设值。在主动***001B中，所述第一预设值的选择可以依据所述光斑选择。当环境的光照强度越强时，所述光斑越不明显。比如，主动***001B中的所述第一预设值可以是50000lux，还可以更高，比如，60000lux，等等，也可以更低，比如40000lux，等等。由于所述光斑在强光照的场景下不明显，不宜作为特征点，因此，在主动***001B的强光照的场景下，即所述场景的环境的光照强度大于所述第一预设值时，控制装置600依然可以将所述场景中的物体作为深度计算的特征点，基于视差确定所述场景的深度。而当所述场景的环境中的光照强度小于所述第一预设值时，控制装置600可以将所述光斑作为所述深度计算的特征点，基于视差确定所述场景的深度。
当所述场景中的物体距离主动***001B的距离越远时，所述物体上的所述光斑就越不明显。使用所述光斑作为所述深度计算的特征点不适用于远距离的深度计算。因此，当所述场景中的物体距离主动***001B的距离大于距离阈值时，使用所述光斑作为所述深度计算的特征点的精度不如使用所述场景中的物体作为深度计算的特征点的精度高。因此，当所述场景中的物体距离所述***主动***001B的距离大于距离阈值时，控制装置600可以将所述场景中的物体作为所述深度计算的特征点，基于视差确定所述场景的深度；当所述场景中的物体距离主动***001B的距离小于距离阈值时，控制装置600可以将所述光斑作为所述深度计算的特征点，基于视差确定所述场景的深度。其中，所述距离阈值可以预先存储在控制装置600中，也可以由人工设定和更改。所述距离阈值可以基于经验值获取，也可以由带有标签的样本数据训练得到。比如，所述距离阈值可以是1.5m，也可以是1.2m，1.8m，等等。
因此，当所述场景的环境的光照强度小于所述第二预设值，且所述场景中的物体距离主动***001B的距离大于距离阈值时，控制装置600可以将所述场景中的物体作为所述深度计算的特征点，基于所述特征点在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度；当所述场景的环境的光照强度小于所述第二预设值，且所述场景中的物体距离主动***001B的距离小于所述距离阈值时，控制装置600可以将所述多个光斑作为所述深度计算的特征点，基于所述场景中的所述多个光斑中的每个光斑在所述第一IR图像和所述第二IR图像中的视差，确定所述每个光斑的深度，从而确定所述场景的深度。
当所述场景的环境的光照强度处于所述第一预设值和所述第二预设值之间，且所述场景中的物体距离主动***001B的距离大于所述距离阈值时，控制装置600可以将所述场景中的物体作为所述深度计算的特征点，基于所述特征点在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度；当所述场景的环境的光照强度处于所述第一预设值和所述第二预设值之间，且所述场景中的物体距离主动***001B的距离小于所述距离阈值时，控制装置600可以将所述多个光斑作为所述深度计算的特征点，基于所述场景中的所述多个光斑中的每个光斑在所述第一IR图像和所述第二IR图像中的视差，确定所述每个光斑的深度，从而确定所述场景的深度。
由于所述光斑在IR图像中更明显，因此，在将所述光斑作为深度计算的特征点时，可以选取所述第一IR图像和所述第二IR图像作为深度计算图像。
综上所述，在被动***001A中，控制装置600既可以在光线较暗的场景下，基于所述场景中的特征点在所述第一IR图像和所述第二IR图像中的视差得到的深度信息，也可以在光线充足的场景下，基于所述场景中的特征点在所述第一RGB图像和所述第二RGB图像中的视差得到的深度信息，也可以在光线一般的场景下，基于所述场景中的特征点在所述第一RGB图像和所述第二RGB图像和/或在所述第一IR图像和所述第二IR图像中的视差得到的深度信息。在主动***001B中，不仅可以应用于光线较暗、光线一般以及光线充足的场景下，还可以应用于远距离深度计算以及近距离深度计算。综上所述，本说明书提供的所述深度图像成像***应用范围广，且深度计算精准。
图5示出了根据本说明书的实施例提供的一种深度图像成像方法的流程图。如前所述，所述***可以是被动***001A，也可以是主动***001B。因此，所述深度图像成像方法可以是被动***001A对应的深度图像成像方法，也可以是主动***001B对应的深度图像成像方法。图5A示出了根据本说明书的实施例提供的一种被动***001A对应的被动深度图像成像方法PA100的流程图；图5B示出了根据本说明书的实施例提供的一种主动***001B对应的主动深度图像成像方法PB200的流程图。如前所述，控制装置600可以执行本说明书提供的深度图像成像的方法PA100和PB200。具体地，控制装置600中的处理器620可以读取存储在其本地存储介质中的指令集，然后根据所述指令集的规定，执行本说明书提供的深度图像成像的方法PA100和PB200。
如图5A所示，所述方法PA100可以包括通过至少一个处理器620执行下述步骤：
S110：确定所述场景的环境的光照强度小于光照强度阈值时，驱动补光灯800打开。
S120：获取所述第一光学图像和所述第二光学图像。
S140：基于所述第一光学图像和所述第二光学图像，确定所述场景的深度，生成所述场景的深度图像。
具体地，在被动***001A中，步骤S140可以包括以下方式中的一种：
S142：确定所述场景的环境的光照强度大于所述第一预设值，基于所述场景在所述第一RGB图像和所述第二RGB图像中的视差，确定所述场景的深度。如前所述，在光线充足的场景下，以所述第一RGB图像和所述第二RGB图像作为深度计算的图像。具体地，控制装置600可以将所述场景中的物体作为深度计算的特征点，基于所述场景中的特征点在所述第一RGB图像和所述第二RGB图像中的视差，确定所述特征点的深度，从而确定所述场景的深度，生成所述场景的深度图像。此时，控制装置600还可以基于所述场景在所述第一IR图像和所述第二IR图像中的视差，辅助确定所述场景的深度。也就是说，控制装置600可以对基于所述场景在所述第一RGB图像和所述第二RGB图像中的视差确定的深度和基于所述场景在所述第一IR图像和所述第二IR图像中的视差确定的深度进行加权求和计算。其中，基于所述场景在所述第一RGB图像和所述第二RGB图像中的视差确定的深度的加权系数大于基于所述场景在所述第一IR图像和所述第二IR图像中的视差确定的深度的加权系数。
S144：确定所述场景的环境的光照强度小于第二预设值，基于所述场景在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度。如前所述，在光线较暗的场景下，以所述第一IR图像和所述第二IR图像作为深度计算的图像。具体地，控制装置600可以将所述场景中的物体作为深度计算的特征点，基于所述场景中的特征点在所述第一IR图像和所述第二IR图像中的视差，确定所述特征点的深度，从而确定所述场景的深度，生成所述场景的深度图像。
S146：确定所述场景的环境的光照强度处于所述第一预设值和所述第二预设值之间，基于所述场景在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度。如前所述，在光线一般的场景下，可以将所述第一RGB图像和所述第二RGB图像作为深度计算的图像，将所述场景中的物体作为深度计算的特征点，基于所述场景中的特征点在所述第一RGB图像和所述第二RGB图像中的视差，确定所述场景的深度；控制装置600也可以将所述第一IR图像和所述第二IR图像作为深度计算的图像，将所述场景中的物体作为深度计算的特征点，基于所述场景中的特征点在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度；控制装置600还可以将所述第一RGB图像和所述第二RGB图像以及所述第一IR图像和所述第二IR图像同时作为深度计算图像，将所述场景中的物体作为深度计算的特征点，基于所述场景中的特征点在所述第一RGB图像和所述第二RGB图像中的视差，确定所述场景的第一深度，基于所述场景中的特征点在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的第二深度，对所述第一深度和所述第二深度进行特征融合计算，确定所述场景的深度。所述特征融合计算可以是加权求和计算，也可以是平均池化，等等。
如图5B所示，所述方法PB200可以包括通过至少一个处理器620执行下述步骤：
S210：确定所述场景的环境的光照强度小于光照强度阈值时，驱动补光灯800打开。
S220：获取所述第一光学图像和所述第二光学图像。
S240：基于所述第一光学图像和所述第二光学图像，确定所述场景的深度，生成所述场景的深度图像。
具体地，在主动***001B中，步骤S240可以包括以下方式中的一种：
S242：确定所述场景的环境的光照强度大于所述第一预设值，基于所述场景在所述第一RGB图像和所述第二RGB图像中的视差，确定所述场景的深度。此步骤与步骤S142基本一致，在此不再赘述。
S244：确定所述场景的环境的光照强度小于所述第二预设值，基于所述场景在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度。步骤S244可以包括以下方式中的一种：
S244-2：确定所述场景中的物体距离主动***001B的距离大于所述距离阈值，基于所述场景中的物体在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度。此步骤与步骤S144基本一致，在此不再赘述。
S244-4：确定所述场景中的物体距离主动***001B的距离小于所述距离阈值，基于所述场景中的所述多个光斑中的每个光斑在所述第一IR图像和所述第二IR图像中的视差，确定所述每个光斑的深度，从而确定所述场景的深度。具体地，控制装置600可以将所述场景中的所述多个光斑作为深度计算的特征点，基于所述场景中的特征点在所述第一IR图像和所述第二IR图像中的视差，确定所述特征点的深度，从而确定所述场景的深度，生成所述场景的深度图像。
S246：确定所述场景的环境光照强度处于所述第一预设值和所述第二预设值之间，基于所述场景在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度。步骤S246可以包括以下方式中的一种：
S246-2：确定所述场景中的物体距离主动***001B的距离大于所述距离阈值，基于所述场景中的物体在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度。此步骤与S146基本一致，在此不再赘述。
S246-4：确定所述场景中的物体距离主动***001B的距离小于所述距离阈值，基于所述场景中的所述多个光斑中的每个光斑在所述第一IR图像和所述第二IR图像中的视差，确定所述每个光斑的深度，从而确定所述场景的深度。具体地，控制装置600可以将所述场景中的所述多个光斑作为深度计算的特征点，基于所述场景中的特征点在所述第一IR图像和所述第二IR图像中的视差，确定所述特征点的深度，从而确定所述场景的深度，生成所述场景的深度图像。
综上所述，本说明书提供的被动***001A和方法PA100中，控制装置600既可以在光线较暗的场景下，基于所述场景中的特征点在所述第一IR图像和所述第二IR图像中的视差得到的深度信息，也可以在光线充足的场景下，基于所述场景中的特征点在所述第一RGB图像和所述第二RGB图像中的视差得到的深度信息，也可以在光线一般的场景下，基于所述场景中的特征点在所述第一RGB图像和所述第二RGB图像和/或在所述第一IR图像和所述第二IR图像中的视差得到的深度信息。本说明书提供的主动***001B和方法PB200，不仅可以应用于光线较暗、光线一般以及光线充足的场景下，还可以应用于远距离深度计算以及近距离深度计算。综上所述，本说明书提供的所述深度图像成像***和深度图像成像方法适用于多种场景，应用范围广，且深度计算精准。
上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者是可能有利的。
综上所述，在阅读本详细公开内容之后，本领域技术人员可以明白，前述详细公开内容可以仅以示例的方式呈现，并且可以不是限制性的。尽管这里没有明确说明，本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变，改进和修改。这些改变，改进和修改旨在由本说明书提出，并且在本说明书的示例性实施例的精神和范围内。
此外，本说明书中的某些术语已被用于描述本说明书的实施例。例如，“一个实施例”，“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征，结构或特性可以包括在本说明书的至少一个实施例中。因此，可以强调并且应当理解，在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外，特定特征，结构或特性可以在本说明书的一个或多个实施例中适当地组合。
应当理解，在本说明书的实施例的前述描述中，为了帮助理解一个特征，出于简化本说明书的目的，本说明书将各种特征组合在单个实施例、附图或其描述中。然而，这并不是说这些特征的组合是必须的，本领域技术人员在阅读本说明书的时候完全有可能将其中一部分特征提取出来作为单独的实施例来理解。也就是说，本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
本文引用的每个专利，专利申请，专利申请的出版物和其他材料，例如文章，书籍，说明书，出版物，文件，物品等，可以通过引用结合于此。用于所有目的的全部内容，除了与其相关的任何起诉文件历史，可能与本文件不一致或相冲突的任何相同的，或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说，如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时，使用本文件中的术语为准。
最后，应理解，本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此，本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此，本说明书的实施例不限于申请中被精确地描述过的实施例。

Claims (18)

1.一种深度图像成像***，包括：
支撑部件；
第一摄像头，连接在所述支撑部件上，用于获取被拍摄场景的第一光学图像，包括：
第一图像传感器，包括集成了可见光感光单元及红外感光单元的第一感光单元阵列；
第二摄像头，连接在所述支撑部件上，与所述第一摄像头以预定位姿相对固定，用于获取所述场景的第二光学图像，包括：
第二图像传感器，包括集成了可见光感光单元以及红外感光单元的第二感光单元阵列；以及
控制装置，与所述第一摄像头和所述第二摄像头通信连接，基于所述第一光学图像和所述第二光学图像，确定所述场景的深度，生成所述场景的深度图像。
2.如权利要求1所述的深度图像成像***，其中，所述第一感光单元阵列由红光感光单元、绿光感光单元、蓝光感光单元以及IR感光单元以预定方式排成阵列，每个感光单元对应一个像素；以及
所述第二感光单元阵列由红光感光单元、绿光感光单元、蓝光感光单元以及IR感光单元以预定方式排成阵列，每个感光单元对应一个像素。
3.如权利要求1所述的深度图像成像***，其中，还包括：
红外灯，连接在所述支撑部件上。
4.如权利要求1所述的深度图像成像***，其中，所述第一光学图像包括第一RGB图像和第一IR图像；以及
所述第二光学图像包括第二RGB图像和第二IR图像。
5.如权利要求4所述的深度图像成像***，其中，当所述场景的环境的光照强度大于第一预设值时，所述控制装置基于所述场景在所述第一RGB图像和所述第二RGB图像中的视差，确定所述场景的深度。
6.如权利要求5所述的深度图像成像***，其中，当所述场景的环境的光照强度小于第二预设值时，所述控制装置基于所述场景在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度，其中，所述第一预设值大于所述第二预设值。
7.如权利要求6所述的深度图像成像***，其中，当所述场景的环境的光照强度处于所述第一预设值和所述第二预设值之间时，所述控制装置基于所述场景在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度。
8.如权利要求7所述的深度图像成像***，其中，还包括：
光发射器，连接在所述支撑部件上，运行时发射以预定模式编码的光形成的光阵列，所述光阵列照射在所述场景的物体上形成多个光斑，所述光发射器包括LED发射器和激光发射器中的至少一种。
9.如权利要求8所述的深度图像成像***，其中，所述基于所述场景在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度，包括：
当所述场景中的物体距离所述深度图像成像***的距离大于距离阈值时，基于所述场景中的物体在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度；以及
当所述场景中的物体距离所述深度图像成像***的距离小于所述距离阈值时，基于所述场景中的所述多个光斑中的每个光斑在所述第一IR图像和所述第二IR图像中的视差，确定所述每个光斑的深度，从而确定所述场景的深度。
10.如权利要求8所述的深度图像成像***，其中，所述基于所述场景在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度，包括：
当所述场景中的物体距离所述深度图像成像***的距离大于所述距离阈值时，基于所述场景中的物体在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度；以及
当所述场景中的物体距离所述深度图像成像***的距离小于所述距离阈值时，基于所述场景中的所述多个光斑中的每个光斑在所述第一IR图像和所述第二IR图像中的视差，确定所述每个光斑的深度，从而确定所述场景的深度。
11.如权利要求1所述的深度图像成像***，其中，还包括：
补光灯，当所述场景的环境光照强度小于光照强度阈值时，所述控制装置驱动所述补光灯打开。
12.一种深度图像成像的方法，用于深度图像成像***，所述深度图像成像***包括：
支撑部件；
第一摄像头，连接在所述支撑部件上，用于获取被拍摄场景的第一光学图像，包括：
第一图像传感器，包括集成了可见光感光单元及红外感光单元的第一感光单元阵列，
第二摄像头，连接在所述支撑部件上，与所述第一摄像头以预定位姿相对固定，用于获取所述场景的第二光学图像，包括：
第二图像传感器，包括集成了可见光感光单元以及红外感光单元的第二感光单元阵列；以及
控制装置，与所述第一摄像头和所述第二摄像头通信连接；
所述方法包括通过所述控制装置：
获取所述第一光学图像和所述第二光学图像；以及
基于所述第一光学图像和所述第二光学图像，确定所述场景的深度，生成所述场景的深度图像。
13.如权利要求12所述的方法，其中，
所述的深度图像成像***还包括红外灯，连接在所述支撑部件上；
所述第一感光单元阵列由红光感光单元、绿光感光单元、蓝光感光单元以及IR感光单元以预定方式排成阵列，每个感光单元对应一个像素；
所述第二感光单元阵列由红光感光单元、绿光感光单元、蓝光感光单元以及IR感光单元以预定方式排成阵列，每个感光单元对应一个像素；
所述第一光学图像包括第一RGB图像和第一IR图像；以及
所述第二光学图像包括第二RGB图像和第二IR图像。
14.如权利要求13所述的方法，其中，所述基于所述第一光学图像和所述第二光学图像，确定所述场景的深度，包括以下方式中的一种：
确定所述场景的环境的光照强度大于第一预设值，基于所述场景在所述第一RGB图像和所述第二RGB图像中的视差，确定所述场景的深度；
确定所述场景的环境的光照强度小于第二预设值，基于所述场景在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度，其中，所述第一预设值大于所述第二预设值；以及
确定所述场景的环境的光照强度处于所述第一预设值和所述第二预设值之间，基于所述场景在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度。
15.如权利要求14所述的方法，其中，所述深度图像成像***还包括：
光发射器，连接在所述支撑部件上，运行时发射以预定模式编码的光形成的光阵列，所述光阵列照射在所述场景的物体上形成多个光斑，所述光发射器包括LED发射器和激光发射器中的至少一种。
16.如权利要求15所述的方法，其中，所述基于所述场景在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度，包括以下方式中的一种：
确定所述场景中的物体距离所述深度图像成像***的距离大于距离阈值，基于所述场景中的物体在所述第一IR图像和所述第二IR图像中的视差，确定所述场景的深度；以及
确定所述场景中的物体距离所述深度图像成像***的距离小于所述距离阈值，基于所述场景中的所述多个光斑中的每个光斑在所述第一IR图像和所述第二IR图像中的视差，确定所述每个光斑的深度，从而确定所述场景的深度。
17.如权利要求15所述的方法，其中，所述基于所述场景在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度，包括以下方式中的一种：
确定所述场景中的物体距离所述深度图像成像***的距离大于所述距离阈值，基于所述场景中的物体在所述第一RGB图像以及所述第二RGB图像中的视差和/或所述第一IR图像以及所述第二IR图像中的视差，确定所述场景的深度；以及
确定所述场景中的物体距离所述深度图像成像***的距离小于所述距离阈值，基于所述场景中的所述多个光斑中的每个光斑在所述第一IR图像和所述第二IR图像中的视差，确定所述每个光斑的深度，从而确定所述场景的深度。
18.如权利要求12所述的方法，其中，所述的深度图像成像***还包括补光灯；所述方法还包括通过所述控制装置：
确定所述场景的环境光照强度小于光照强度阈值时，驱动所述补光灯打开。
CN202010729553.6A 2020-07-27 2020-07-27 深度图像成像***和方法 Pending CN111866490A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010729553.6A CN111866490A (zh) 2020-07-27 2020-07-27 深度图像成像***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010729553.6A CN111866490A (zh) 2020-07-27 2020-07-27 深度图像成像***和方法

Publications (1)

Publication Number Publication Date
CN111866490A true CN111866490A (zh) 2020-10-30

Family

ID=72947201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010729553.6A Pending CN111866490A (zh) 2020-07-27 2020-07-27 深度图像成像***和方法

Country Status (1)

Country Link
CN (1) CN111866490A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745509A (zh) * 2022-04-08 2022-07-12 深圳鹏行智能研究有限公司 图像采集方法、设备、足式机器人及存储介质
CN117560480A (zh) * 2024-01-09 2024-02-13 荣耀终端有限公司 一种图像深度估计方法及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150256813A1 (en) * 2014-03-07 2015-09-10 Aquifi, Inc. System and method for 3d reconstruction using multiple multi-channel cameras
US20170034499A1 (en) * 2014-04-03 2017-02-02 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
CN106576159A (zh) * 2015-06-23 2017-04-19 华为技术有限公司 一种获取深度信息的拍照设备和方法
CN106572340A (zh) * 2016-10-27 2017-04-19 深圳奥比中光科技有限公司 摄像***、移动终端及图像处理方法
CN106780589A (zh) * 2016-12-09 2017-05-31 深圳奥比中光科技有限公司 一种获取目标深度图像的方法
CN107172407A (zh) * 2016-03-08 2017-09-15 聚晶半导体股份有限公司 适于产生深度图的电子装置与方法
CN110874852A (zh) * 2019-11-06 2020-03-10 Oppo广东移动通信有限公司 深度图像的确定方法、图像处理器及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150256813A1 (en) * 2014-03-07 2015-09-10 Aquifi, Inc. System and method for 3d reconstruction using multiple multi-channel cameras
US20170034499A1 (en) * 2014-04-03 2017-02-02 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
CN106576159A (zh) * 2015-06-23 2017-04-19 华为技术有限公司 一种获取深度信息的拍照设备和方法
CN107172407A (zh) * 2016-03-08 2017-09-15 聚晶半导体股份有限公司 适于产生深度图的电子装置与方法
CN106572340A (zh) * 2016-10-27 2017-04-19 深圳奥比中光科技有限公司 摄像***、移动终端及图像处理方法
CN106780589A (zh) * 2016-12-09 2017-05-31 深圳奥比中光科技有限公司 一种获取目标深度图像的方法
CN110874852A (zh) * 2019-11-06 2020-03-10 Oppo广东移动通信有限公司 深度图像的确定方法、图像处理器及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745509A (zh) * 2022-04-08 2022-07-12 深圳鹏行智能研究有限公司 图像采集方法、设备、足式机器人及存储介质
CN114745509B (zh) * 2022-04-08 2024-06-07 深圳鹏行智能研究有限公司 图像采集方法、设备、足式机器人及存储介质
CN117560480A (zh) * 2024-01-09 2024-02-13 荣耀终端有限公司 一种图像深度估计方法及电子设备
CN117560480B (zh) * 2024-01-09 2024-05-31 荣耀终端有限公司 一种图像深度估计方法及电子设备

Similar Documents

Publication Publication Date Title
CN106643699B (zh) 一种虚拟现实***中的空间定位装置和定位方法
CN110044300B (zh) 基于激光器的两栖三维视觉探测装置及探测方法
CN105574525B (zh) 一种复杂场景多模态生物特征图像获取方法及其装置
CN111009007B (zh) 一种指部多特征全面三维重建方法
US7729530B2 (en) Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
CN108701363B (zh) 使用多相机识别和追踪对象的方法、设备和***
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN106371281A (zh) 基于结构光多模块360度空间扫描和定位的3d相机
CN106909911A (zh) 图像处理方法、图像处理装置和电子装置
CN110572630B (zh) 三维图像拍摄***、方法、装置、设备以及存储介质
EP3371779B1 (en) Systems and methods for forming models of three dimensional objects
CN110288656A (zh) 一种基于单目摄像头的目标定位方法
CN106991378B (zh) 基于深度的人脸朝向检测方法、检测装置和电子装置
CN102438111A (zh) 一种基于双阵列图像传感器的三维测量芯片及***
CN111127540B (zh) 一种三维虚拟空间自动测距方法及***
EP3381015B1 (en) Systems and methods for forming three-dimensional models of objects
CN111866490A (zh) 深度图像成像***和方法
CN105004324A (zh) 一种具有三角测距功能的单目视觉传感器
CN102316355A (zh) 3d机器视觉信号的生成方法及3d机器视觉传感器
CN116697888A (zh) 运动中目标点的三维坐标与位移测量的方法及***
CN109308714A (zh) 基于分类惩罚的摄像头和激光雷达信息配准方法
CN106382920A (zh) 多功能视觉传感器、移动机器人及移动机器人的控制方法
CN111753799B (zh) 一种基于主动双目的视觉传感器及机器人
CN112330747A (zh) 基于无人机平台的多传感器联合探测和显示方法
CN106352847B (zh) 基于相位差的距离测量装置及距离测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030

RJ01 Rejection of invention patent application after publication