CN112753217B

CN112753217B - 混合深度处理

Info

Publication number: CN112753217B
Application number: CN201980061988.3A
Authority: CN
Inventors: M.加洛尔格卢斯金; L-K.刘; J.李
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2018-09-27
Filing date: 2019-08-30
Publication date: 2022-04-12
Anticipated expiration: 2039-08-30
Also published as: CN112753217A; EP3857874A1; ES2931984T3; US10410368B1; EP3857874B1; WO2020068362A1

Abstract

本公开涉及用于混合深度图处理的***和方法。示例设备包括第一传感器，该第一传感器具有被配置为从至少第一视角和第二视角捕获图像的多个聚焦像素，其中第一视角和第二视角之间的差异与第一方向相关联。该设备还包括第二图像传感器，其在与第一方向正交的第二方向上与第一图像传感器分离。该设备可以被配置为从第一图像传感器接收第一图像，该第一图像包括从第一视角捕获的第一图像数据和从第二视角捕获的第二图像数据。该设备还可以被配置为从第二图像传感器接收第二图像，并且至少部分地基于第一图像和第二图像生成混合深度图。

Description

混合深度处理

优先权要求

本专利申请要求于2018年9月27日提交的标题为“HYBRID DEPTH PROCESSING”的第16/144,038号美国非临时申请的优先权，其被转让给本专利申请的受让人并且在此通过引用明确地并入本文。

技术领域

本公开总体上涉及用于处理图像的***和方法，并且更具体地涉及处理由多个相机设备捕获的图像，该相机设备具有能够例如使用多个聚焦像素从两个或更多个视角捕获图像数据的图像传感器。

背景技术

图像传感器可能能够生成从两个或更多个视角(perspective)捕获的图像。例如，这样的图像传感器可以包括能够从两个或更多个视角捕获图像数据的多个聚焦像素。作为一个示例，双光电二极管(2PD)图像传感器可以包括多个2PD像素，其中每个2PD像素包括两个相邻的光电二极管，并且一2PD像素的每个光电二极管从不同的视角捕获图像数据。例如，2PD像素的第一光电二极管和第二光电二极管可以是从左视角和右视角捕获图像的相应的左光电二极管和右光电二极管。由这样的聚焦像素提供的图像数据的值或测量值可以包括来自第一视角的照度或亮度(强度)测量值和来自第二视角的照度或亮度测量值。对于自动聚焦(AF)操作或深度相关操作(例如深度感测、深度映射、实时焦外成像(bokeh)效应等)，图像传感器像素的聚焦像素的视角之间的测量值的差(以及两个视角的差)可被用于确定相位差或相位值，该相位差或相位值用于确定对象深度。

发明内容

提供此发明内容以便以简化的形式介绍将在下面的具体实施方式中进一步描述的概念的选择。本发明内容不旨在确定所要求保护的主题的关键特征或必要特征，也不旨在限制所要求保护的主题的范围。

本公开的各方面涉及用于混合深度图处理的***和方法。在一个示例实施方式中，公开了示例设备。该示例设备可以包括：第一图像传感器，其包括多个聚焦像素，聚焦像素被配置为从至少第一视角和第二视角捕获图像，第一视角和第二视角之间的差异与第一方向相关联；第二图像传感器，其在与第一方向正交的第二方向上与第一图像传感器分离；存储器；以及耦合到存储器的处理器。处理器被配置为：从第一图像传感器接收第一图像，其中第一图像包括从第一视角捕获的第一图像数据和从第二视角捕获的第二图像数据；从第二图像传感器接收第二图像；以及至少部分地基于第一图像和第二图像生成混合深度图。

在另一个示例中，公开了一种用于用于混合深度图处理的方法。该示例方法可以包括：从第一图像传感器接收第一图像，其中第一图像传感器与第一方向相关联；从第二图像传感器接收第二图像，其中第二图像传感器在与第一方向正交的第二方向上与第一图像传感器分离；基于第一图像确定第一深度图；基于第一图像和第二图像的相应像素之间的视差确定第二深度图；以及至少部分地基于第一深度图和第二深度图生成混合深度图。

在另一个示例中，公开了一种非暂时性计算机可读介质。该非暂时性计算机可读介质可以存储指令，该指令在由处理器执行时使得图像处理设备：从第一图像传感器接收第一图像，其中第一图像传感器与第一方向相关联；使用第二图像传感器接收第二图像，其中第二图像传感器在与第一方向正交的第二方向上与第一图像传感器分离；基于第一图像确定第一深度图；基于第一图像和第二图像的相应像素之间的视差确定第二深度图；以及至少部分地基于第一深度图和第二深度图生成混合深度图。

在另一个示例中，公开了一种图像处理设备。该设备包括：用于从第一图像传感器接收第一图像的部件，第一图像传感器与第一方向相关联；用于从第二图像传感器接收第二图像的部件，第二图像传感器在与第一方向正交的第二方向上与第一图像传感器分离；用于基于第一图像确定第一深度图的部件；用于基于第一图像和第二图像的相应像素之间的视差来确定第二深度图的部件；以及用于至少部分地基于第一深度图和第二深度图来生成混合深度图的部件。

附图说明

在附图中，通过示例而非限制的方式示出了本公开的各方面，其中相似的附图标记指代相似的元件。

图1是根据一些示例实施方式的示例图像处理设备的框图。

图2描绘了根据一些示例实施方式的可以捕获的示例场景。

图3描绘了使用示例图像传感器捕获的图像的一部分的绝对差总和(SAD)度量的示例曲线图。

图4描绘了传统的图像传感器配置。

图5描绘了根据一些示例实施方式的图像传感器配置。

图6示出了根据一些示例实施方式的用于生成混合深度图的示例***。

图7是描述根据一些示例实施方式的用于混合深度图处理的示例操作的说明性流程图。

具体实施方式

本公开的各方面可以用于改进图像处理操作。一些相机可以包括一个或多个图像传感器，该图像传感器可以从两个或更多个视角(诸如第一视角和第二视角)捕获图像数据。例如，两个视角可以在水平方向上相邻，从而使得第一视角是左视角，而第二视角是右视角。这样的图像传感器可以使用多个聚焦像素从两个或更多个视角捕获图像数据。聚焦像素可以包括一个或多个具有多个光电二极管的像素，诸如双光电二极管(2PD)像素，其中每个2PD像素包括第一光电二极管和相邻的第二光电二极管。此外，聚焦像素可以包括一个或多个像素，这些像素已经被定向遮蔽以限制从中捕获图像数据的视角，诸如，遮蔽一些聚焦像素的左侧和一些其他聚焦像素的右侧(可以将这样的聚焦像素称为“定向遮蔽的”像素)。此外，聚焦像素可以包括具有诸如微透镜之类的芯片上透镜(OCL)的像素，该OCL可以限制每个聚焦像素可以从中捕获图像数据的视角。因此，第一图像传感器可以包括可以从第一视角测量亮度的第一聚焦像素，以及可以从第二视角测量亮度的第二聚焦像素。第一图像传感器可以从第一视角捕获第一图像数据。第一图像数据包括来自第一图像传感器中的第一聚焦像素的测量值。第一图像传感器也可以从第二视角捕获第二图像数据。第二图像数据包括来自第一图像传感器中的第二聚焦像素的测量值。

从不同视角捕获的图像数据可用于深度相关的图像处理功能，诸如相位检测自动聚焦(PDAF)、实时焦外成像效应等。可以根据从不同视角捕获的图像数据来生成深度图。深度图可以包括对对象到第一图像传感器的距离的估计。该距离可以基于第一聚焦像素和第二聚焦像素的测量值之间的视差(disparity)。该视差可以对应于来自第一聚焦像素的测量值和来自第二聚焦像素的测量值之间的视角差。在一些实施方式中，绝对差总和(SAD)度量可以用于确定该视差。

然而，使用这样的第一图像传感器确定的深度图可能不能准确地确定某些类型的捕获图像的深度。例如，当第一聚焦像素和第二聚焦像素从左视角和右视角捕获图像数据时，如果左聚焦像素捕获到与右聚焦像素相似的数据，则可能无法准确地确定深度。例如，考虑一个直的、水平的对象，诸如建筑物的屋顶—这样的对象对于左聚焦像素和右聚焦像素来说可能非常类似，并且由左聚焦像素捕获的图像和由右聚焦像素捕获的图像的这种相似性可能导致左视角和右视角之间的视差测量不准确。因为这样的对象的图像从一系列水平位移或潜在视差来看可能是相似的，所以很难确定哪个位移对应于实际的视差—即很难确定哪个位移对应于对象的实际深度。可以把这样的区域称为缺少水平边缘。

在一些示例实施方式中，除了第一图像传感器捕获图像之外，第二图像传感器也可以捕获图像。第二图像传感器可以在与第一图像传感器的聚焦像素的两个视角之间的差异的方向正交的方向上与第一图像传感器分离一段距离。例如，如果第一图像传感器从左视角和右视角捕获图像数据，则第二图像传感器可以在垂直方向上分离。由第一图像传感器和第二图像传感器捕获的图像之间的视差可用于确定第二深度图。第二深度图可用于更精确地确定缺少水平边缘的区域的深度。在一些示例实施方式中，可以基于仅使用第一图像传感器生成的第一深度图和使用第一图像传感器和第二图像传感器生成的第二深度图来确定混合深度。例如，第一图像传感器可以更准确地确定包括水平边缘的区域的深度，而第一图像传感器和第二图像传感器之间的视差可以更准确地确定包括垂直边缘的区域的深度。下面将更详细地描述示例实施方式的这些细节和其他细节，这些细节为上述问题提供了一个或多个技术方案。

在以下描述中，阐述了许多特定的细节，诸如特定的组件、电路和处理的示例，以提供对本公开的透彻理解。本文使用的术语“耦合”是指直接连接或通过一个或多个中间组件或电路连接。此外，在以下描述中并且出于解释的目的阐述了特定的术语，以提供对本公开的透彻理解。然而，对于本领域的技术人员来说显而易见的是，实施本文公开的教导可以不需要这些特定的细节。在其他情况下，以框图形式示出了公知的电路和设备，以避免模糊本公开的教导。在过程、逻辑块、处理和计算机存储器内的数据比特上的操作的其他符号表示的方面呈现了以下详细描述的一些部分。在本公开中，将过程、逻辑块、处理等构想为导致期望结果的步骤或指令的自洽序列。这些步骤是需要对物理量进行物理操纵的步骤。通常，尽管不是必须的，这些量采用能够在计算机***中存储、传输、组合、比较和以其他方式操纵的电信号或磁信号的形式。

然而，应该记住，所有这些和类似的术语将与适当的物理量相关联，并且仅仅是应用于这些量的方便标记。除非以其他方式具体说明，否则从下面的讨论中显而易见的是，应了解，在整个本申请中，使用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“相乘”、“求平均”、“监测”、“比较”、“应用”、“更新”、“测量”、“导出”、“设定”等之类的术语的讨论是指计算机***或类似的电子计算设备的动作和处理，该计算机***或类似的电子计算设备操纵被表示为计算机***的寄存器和存储器中的物理(电子)量的数据，并将该数据转换成被类似地表示为计算机***存储器或寄存器或其他这样的信息存储、传输或显示设备中的物理量的其他数据。

在附图中，可以将单个块描述为执行一个或多个功能；然而，在实际的实践中，由该块执行的一个或多个功能可以在单个组件中或跨多个组件执行、和/或可以使用硬件、使用软件或使用硬件和软件的组合来执行。为了清楚地说明硬件和软件的这种可互换性，在下文针对其功能的方面对各种说明性的组件、块、模块、电路和步骤进行了总体描述。将这样的功能实现为硬件还是软件取决于具体的应用和对整个***施加的设计约束。技术人员可以针对每种具体的应用以不同的方式实现所描述的功能，但是不应将这样的实现决策解释为导致脱离了本公开的范围。此外，示例设备可以包括除了所示组件之外的组件，包括诸如处理器、存储器等之类的公知的组件。

本公开的各方面适用于对来自两个或更多个图像传感器的图像进行处理的任何合适的图像处理设备(诸如相机、智能手机、平板电脑、膝上型计算机或其他设备)，其中一个或多个图像传感器包括多个聚焦像素，并因此本公开的各方面不限于特定设备。

术语“设备”不限于一个或特定数量的物理对象(例如一个智能手机、一个控制器、一个处理***等)。如本文所使用的，设备可以是具有可以实现本公开的至少一些部分的一个或多个部件的任何电子设备。虽然以下描述和示例使用术语“设备”来描述本公开的各个方面，但是术语“设备”不限于特定的配置、类型或对象数量。另外，术语“***”不限于多个组件或特定实施例。例如，***可以在一个或多个印刷电路板或其他基板上实现，并且可以具有可移动组件或静态组件。虽然以下描述和示例使用术语“***”来描述本公开的各个方面，但是术语“***”不限于特定的配置、类型或对象数量。

如上所述，图像传感器可以从两个或更多个视角捕获包括图像数据的图像。例如，这样的图像传感器可以包括多个聚焦像素，用于从两个或更多个视角捕获图像数据。可以将这样的聚焦像素提供为使用诸如微透镜之类的芯片上透镜的定向遮蔽的像素，或者提供为包括两个光电二极管(第一光电二极管和第二光电二极管)的2PD像素。在一些示例中，两个视角可以是左视角和右视角。可以使用从第一视角捕获的图像数据来确定第一相位图像。例如，可以将被配置为从左视角捕获图像数据的聚焦像素用于确定第一相位图像。可以使用从第二视角捕获的图像数据来确定第二相位图像。例如，可以将被配置为从右视角捕获图像数据的聚焦像素用于确定第二相位图像。

第一相位图像和第二相位图像之间的不同视角可能导致两个相位图像之间的视差。可以确定视差并将其用于深度相关的图像处理操作，例如用于生成深度图、用于相位检测自动聚焦(PDAF)操作等。然而，如上所述，对于缺少某些类型的边缘的场景，可能难以准确地确定视差。例如，如果第一图像传感器包括从左视角和右视角捕获图像数据的聚焦像素，则从两个视角之间的视差可以直接检测场景中的水平边缘，但是可能难以检测缺少水平边缘的场景区域。例如，在缺少水平边缘的场景区域中，诸如包括建筑物的水平屋顶线或人的头发的水平顶部的区域，由左聚焦像素捕获的左图像和由右聚焦像素捕获的右图像对于一系列水平位移来说可能是相似的。因此，可能难以准确地确定哪个水平位移最能对应左图像和右图像之间的实际视差。更普遍地，这种图像传感器可能难以确定缺少与聚焦像素的两个视角之间的差异的方向相对应的边缘的区域的深度。因此，期望加强对缺少与图像传感器的聚焦像素的两个视角的差的方向相对应的边缘的区域的深度检测。

一些示例实施方式可以利用第二图像传感器相对于第一图像传感器的位置来允许加强的深度检测。第一图像传感器能够从多个视角捕获具有图像数据的图像。例如，第一图像传感器可以从至少第一视角和第二视角捕获图像，其中第一视角和第二视角之间的差异与第一方向相关联。第二图像传感器可以在与第一方向正交的方向上与第一图像传感器分离。例如，第一图像传感器可以是包括聚焦像素的图像传感器，该聚焦像素可以从至少左视角和右视角捕获图像数据。因此，左视角和右视角之间的差异与水平方向相关联。然后，第二图像传感器可以在垂直方向上与第一图像传感器分离。例如，第二图像传感器可以位于第一图像传感器上方或下方的一定距离处。

来自第一图像传感器的捕获图像的、来自不同视角的图像数据之间的第一视差可用于确定包括与第一方向相对应的边缘的场景区域的深度。由第一图像传感器和由第二图像传感器捕获的图像之间的第二视差可用于确定包括与第二方向相对应的边缘的场景区域的深度。例如，如果第一方向是水平方向，并且第一图像传感器和第二图像传感器在垂直方向上分离，则第一视差可用于确定对应于水平边缘的深度，第二视差可用于确定对应于垂直边缘的深度。

图1是可以与示例实施方式一起使用的示例设备100的框图。在一些实施方式中，设备100可以包括或耦合到双相机模块110、处理器120、存储指令131的存储器130和相机控制器140。设备100可以可选地包括或耦合到显示器、一个或多个输入/输出(I/O)组件、电源或网络接口，其可以包括多个收发器和基带处理器(为简单起见未示出)。设备100还可以包括或耦合到除双相机模块110之外的附加的相机。

双相机模块110能够捕获单独的图像帧(诸如静止图像)和/或捕获视频(诸如连续捕获的图像帧)。双相机模块110可以包括第一图像传感器111和第二图像传感器112。第一图像传感器111可以并入到双相机模块110的第一相机中，而第二图像传感器112可以并入到双相机模块110的第二相机中(为简单起见未示出)。双相机模块110可以包括附加的图像传感器。第一图像传感器111可以是包括多个聚焦像素的图像传感器，被配置为使用来自两个或更多个视角的信息来捕获图像。两个视角之间的差异可以与第一方向相关联。第二图像传感器112也可以被配置为使用来自两个或更多个视角的信息来捕获图像。第二图像传感器112可以在与第一方向正交的第二方向上与第一图像传感器111分离。在一些实施方式中，第一图像传感器111可以被配置为捕获广角图像，而第二图像传感器112可以被配置为捕获远摄图像。注意，虽然将双相机模块110描述为双相机模块，但是在一些实施方式中，第一图像传感器111和第二图像传感器112可以位于耦合到设备100或并入到设备100内的独立相机内。

存储器130可以是存储计算机可执行指令131的非暂态(non-transient)或非暂时性(non-transitory)计算机可读介质，以执行本公开中描述的一个或多个操作的全部或一部分。

处理器120可以是能够执行存储在存储器130中的一个或多个软件程序的脚本或指令(例如指令131)的一个或多个合适的处理器。在一些方面，处理器120可以是执行指令131以使设备100执行任意数量的功能或操作的一个或多个通用处理器。在附加的或可选的方面，处理器120可以包括集成电路或其他硬件，以在不使用软件的情况下执行功能或操作。虽然在示例设备100中示出为经由处理器120彼此耦合，但是处理器120、存储器130和相机控制器140可以以各种布置彼此耦合。例如，处理器120、存储器130和相机控制器140可以经由一个或多个本地总线(为简单起见未示出)彼此耦合。

相机控制器140可以包括图像信号处理器(ISP)141，其可以是一个或多个图像信号处理器，用于处理由双相机模块110提供的捕获的图像帧或视频。ISP 141可以被配置为处理图像，诸如由第一图像传感器111和第二图像传感器112捕获的图像。在一些示例实施方式中，相机控制器140还可以控制双相机模块110在使用第一图像传感器111和第二图像传感器112捕获图像时的操作。

在一些方面，ISP 141可以执行来自存储器的指令(例如存储器130的指令131或存储被包括在ISP 141中或耦合到ISP 141的独立存储器中的指令)，以处理由双相机模块110捕获的图像帧或视频和/或控制双相机模块110。在一些其他方面，ISP 141可以包括特定的硬件以处理由双相机模块110捕获的图像帧或视频和/或控制双相机模块110。可选地或附加地，ISP 141可以包括特定的硬件和用以执行软件指令的能力的组合，以处理由双相机模块110捕获的图像帧或视频和/或控制双相机模块110。

在以下示例中，将设备100描述为执行一个或多个所描述的处理。然而，可以使用任何合适的设备，并且设备100仅用于说明的目的，因此本公开不应受限于特定的设备。设备100可以包括任意数量的相机/图像传感器。例如，设备100可以包括双相机模块，或者设备100可以不包括相机或图像传感器。在后一示例中，设备100可以从远程源接收要处理的图像。

图2示出了包括缺少水平边缘的区域和缺少垂直边缘的区域的示例场景200。如上所述，一些图像传感器可能无法准确确定缺少水平边缘的场景区域的深度。图2的区域210示出了建筑物的屋顶线的水平部分，该区域210是缺少水平边缘并且反之主要包含垂直边缘的这样的区域的一个示例。对于被配置为从左视角和右视角捕获图像数据的图像传感器而言，可能难以准确地确定区域210的深度。如上所述，这是因为来自左视角的图像数据和来自右视角的图像数据对于一系列水平位移来说看上去非常相似。类似地，一些其他图像传感器可能无法准确地确定缺少垂直边缘的场景区域的深度。图2的区域220示出了建筑物的墙壁的垂直部分，该区域220是缺少垂直边缘并且反之主要包含水平边缘的这样的区域的一个示例。对于被配置为从上视角和下视角捕获图像数据的图像传感器而言，可能难以准确地确定区域220的深度。这可能是因为来自上视角的图像数据和来自下视角的图像数据对于一系列垂直位移来说看上去非常相似。

图3描绘了相位图像的示例SAD度量的曲线图300，其中SAD(在y轴上)相对于相位差(在x轴上)被绘制。SAD度量可以表示相位图像和对应于相同场景但来自不同视角的另一相位图像之间的绝对差总和。例如，SAD度量可以表示来自图像传感器的第一组聚焦像素(对应于第一视角)的图像数据和来自图像传感器的第二组聚焦像素(对应于第二视角)的图像数据之间的绝对差总和。相位差(在x轴上)可以对应于到场景中的对象的候选距离，并因此，确定到场景中的对象的距离对应于确定使SAD最小化的相位差。相位差也可以被描述为一个相位图像相对于另一个相位图像的位移。例如，如果第一视角和第二视角是左视角和右视角，则x轴上的相位差可以对应于水平位移，其中在y轴上示出了每个水平位移处的SAD度量。

因此，对应于最小SAD的相位差(“最小相位差”)对应于到在两个相位图像中捕获的场景中的对象的距离或该对象的深度的最佳估计。更具体地，最小相位差对应于两个相位图像之间的估计的视差，其与图像传感器的已知配置相结合来指定估计的深度。相对于图3而言，在310处描绘了曲线300中的SAD的最小值，并且该最小值出现在相位差刚刚超过4的位置处。图3中的曲线300的最小相位差被示出为“PD”，大约等于4.0299。可以将最小相位差用于各种图像处理操作。例如，可以将最小相位差用于确定PDAF期间的焦距。类似地，最小相位差可以对应于用于结合深度图或深度感测的图像处理操作(诸如实时焦外成像效应)的聚焦平面。

除了用于确定最小相位差之外，还可以将SAD度量用于确定所确定的最小相位差的置信度值。可以使用多种技术来确定置信度值。在一些示例实施方式中，可以使用所确定的最小相位差附近的SAD度量的局部属性来确定置信度值。在一个示例中，从最小值附近的具有较大斜率的SAD度量中确定的最小SAD(因此产生相异的最小值)可能比从最小值附近的具有较小斜率的SAD度量中确定的最小SAD具有更高的置信度值。在一个示例中，置信度值可以对应于一系列相位差上的SAD度量的平均值和所确定的SAD度量的最小值之间的比率。因此，SAD度量的最小值相对于平均值越小，最小值越相异，置信度值就越高。相对于图3而言，该置信度值可以对应于平均SAD值330和最小SAD值320之间的比率。

在一些示例实施方式中，可以针对图像的每个片(tile)确定SAD度量、最小相位差和置信度值，其中图像被分割成多个片。在一些示例实施方式中，可以针对图像的每个像素确定置信度值和估计的深度。例如，片中的每个像素可以与片的估计的深度(对应于所确定的最小相位差)和所确定的最小相位差的置信度值相关联。该组置信度值包括针对图像中的每个像素(诸如针对每个片)确定的置信度值，可以将它们统称为置信度图。对于针对每个像素确定的置信度值，可以将置信度图称为每像素(per-pixel)置信度图。对于针对每个片确定的置信度值，可以将置信度图称为每片(per-tile)置信度图。

注意，片可以具有任何合适的尺寸。在一个示例中，可以将图像视为单个片，并且因此每片置信度图可以包括针对图像的单个置信度值。在其他实施方式中，可以将图像视为多个片，并且每片置信度图可以包括针对多个片中的每个片的置信度值。片可以例如具有相同的尺寸，并且可以是正方形或矩形。在一些实施方式中，片可以是非重叠的，从而使得图像的每个像素仅是一个片的一部分。在一些其他实施方式中，一些片可以重叠，从而使得一些像素可以是多于一个片的一部分。

如上所述，可能难以从图像传感器的相位图像之间的视差中检测到在捕获的场景中在相对于图像传感器的特定取向上的边缘。这些问题可能取决于视差的取向相当于图像传感器的聚焦像素的取向而出现。

图4示出了传统的图像传感器配置400。例如，图像传感器配置400可以是并入或耦合到图像处理设备的双相机模块。图像传感器配置400可以包括第一图像传感器410和第二图像传感器420，它们被取向为使得第一图像传感器410的较长边缘与第二图像传感器420的较长边缘平行。换句话说，当以“风景”取向(与“肖像”取向相反)捕获场景的图像时，第一图像传感器410位于第二图像传感器420的水平方向上。例如，可以将第二图像传感器420描述为在水平方向上与第一图像传感器310分离一分隔距离430。第一图像传感器410可以包括多个聚焦像素。例如，聚焦像素可以包括多个2PD像素，诸如使用左光电二极管415L和右光电二极管415R确定的2PD像素415。注意，虽然将第一图像传感器410示为2PD图像传感器，但是第一图像传感器也可以是包括被配置为从与第一方向相关联的两个或更多个视角捕获图像的聚焦像素的各种图像传感器之一。还需注意，虽然将第一图像传感器410中的每个像素示为聚焦像素，但是聚焦像素也可以是稀疏的，使得只有图像传感器的像素子集是聚焦像素。另外注意，虽然未将第二图像传感器420描绘为包括聚焦像素，但是第二图像传感器也可以包括聚焦像素。如上所述，当分隔距离430处于水平方向时，使用传统的图像传感器配置400可能很难确定缺少水平边缘的场景的深度。例如，如果由第一图像传感器410捕获的场景缺少水平边缘，则来自左光电二极管415L的测量值和来自对应的右光电二极管415R的测量值对于一系列水平位移来说可能是类似的。

图5示出了根据一些示例实施方式的示例图像传感器配置500。例如，图像传感器配置500可以是并入或耦合到诸如设备100之类的图像处理设备的双相机模块。如上所述，传统的图像传感器配置可能无法准确地检测缺少与第一图像传感器的聚焦像素的两个视角之间的差异的方向相对应的边缘的场景中的深度。例如，第一图像传感器510可以包括多个聚焦像素。在一个示例中，第一图像传感器510可以是具有2PD像素形式的聚焦像素的2PD图像传感器。例如，第一图像传感器510可以包括用于每个聚焦像素的左光电二极管和右光电二极管，诸如聚焦像素515的左光电二极管515L和右光电二极管515R。因此，第一图像传感器510的聚焦像素的视角之间的差异可以与水平方向相关联。因此，第一图像传感器510可能难以检测缺少水平边缘的场景中的深度。示例实施方式可以通过在与左光电二极管和右光电二极管在第一图像传感器510中被分离的方向正交的方向上，在与第一图像传感器510相隔距离530处提供第二图像传感器520，来改善这样的场景中的深度检测。因此，虽然第一图像传感器510的聚焦像素的视角之间的差异可以与水平方向相关联，但是第二图像传感器520可以在垂直方向上与第一图像传感器510分离距离530。这样就可以通过将从第一图像传感器510捕获的像素与从第二图像传感器520捕获的对应像素进行比较来允许更好地检测来自缺少水平边缘的场景的视差。例如，除了基于由左光电二极管515L和右光电二极管515R捕获的图像数据来确定视差之外，还可以基于将由第一图像传感器510捕获的图像的对应像素与由第二图像传感器520捕获的图像的相应像素进行比较来确定视差。例如，可以确定聚焦像素515和像素525中捕获的图像数据之间的视差。在另一示例中，例如当第一图像传感器510和第二图像传感器520捕获具有不同分辨率的图像时，可以确定由第一图像传感器510和第二图像传感器520捕获的图像的对应区域之间的视差。注意，对于一些实施方式，聚焦像素515捕获的图像可以指来自左光电二极管515L或右光电二极管515R的图像数据。因此，与传统的图像传感器配置相比，还可以确定混合深度图，该混合深度图不仅可以检测在缺少水平边缘的区域中的深度，还可以检测在缺少垂直边缘的区域中的深度，例如，在诸如图2的区域210之类的区域中的深度和在诸如图2的区域220之类的区域中的深度。

注意，虽然在图4中将第二图像传感器520示为位于第一图像传感器510下方的垂直距离530处，但是第二图像传感器520可以位于第一图像传感器510上方。另外，虽然将第一图像传感器510的聚焦像素的光电二极管示为在水平方向上相邻，但是在一些其他的示例实施方式中，第一图像传感器的聚焦像素的光电二极管可以在垂直方向上或者在另一个方向上相邻。如果光电二极管在垂直方向上相邻，则第二图像传感器可以在水平方向上与第一图像传感器分离。类似地，如果第一图像传感器的聚焦像素的光电二极管在另一个方向上相邻，则第二图像传感器可以在与该方向正交的方向上与第一图像传感器分离。

此外，虽然将第一图像传感器510的每个像素示出为聚焦像素，但是在其他的实施方式中，仅第一图像传感器的像素中的一部分可以是聚焦像素，也就是说，聚焦像素可以稀疏地分布在第一图像传感器上。类似地，虽然将第二图像传感器520的像素示出为不是聚焦像素，但是在其他实施方式中，第二图像传感器也可以具有聚焦像素，该聚焦像素可以例如使用两个光电二极管被确定，诸如左光电二极管和右光电二极管，或者上光电二极管和下光电二极管。在一些示例实施方式中，第一图像传感器510可以是广角图像传感器，而第二图像传感器520可以是远摄图像传感器。在一个示例中，广角图像传感器包括聚焦像素，而远摄图像传感器则不包括聚焦像素。

虽然将配置500中的图像传感器的聚焦像素描绘为2PD像素，但是这种描绘仅仅是为了简单起见。在其他实施方式中，如上所述，聚焦像素可以包括定向遮蔽的像素、具有诸如微透镜之类的OCL的像素等。因此，例如，在一些其他实施方式中，代替从左视角和右视角捕获相应的图像数据的左光电二极管515L和右光电二极管515R，聚焦像素可以包括定向遮蔽的像素，或者具有OCL的像素，以便从左视角和右视角捕获图像数据。

图6示出了根据一些实施方式的用于基于从第一图像传感器和第二图像传感器捕获的图像来生成混合深度图的***600的框图。例如，可以由图1的设备100的相机控制器140或ISP 141来执行***600中的块，并且这些块可以是图像处理管线的一部分。相对于图6而言，可以接收第一图像数据610。例如，第一图像数据610可以包括来自第一图像传感器的色度数据和照度数据。例如，第一图像传感器可以是图1所示的图像传感器111，并且可以包括被配置为从至少两个视角捕获图像数据的聚焦像素，这两个视角之间的差异与第一方向相关联。在一个示例中，第一图像传感器可以是2PD图像传感器，诸如图5的第一图像传感器510。第一方向可以是水平方向，例如如第一图像传感器510的聚焦像素515的光电二极管515L和515R所示。从第一图像传感器接收的第一图像数据610可以包括由第一图像传感器捕获的两个相位图像中的每一个相位图像的诸如色度数据和照度数据之类的数据。

也可以接收第二图像数据620。例如，第二图像数据620可以包括来自第二图像传感器的色度数据和照度数据。例如，第二图像传感器可以是图1的图像传感器112或图5的第二图像传感器520。如上所述，第二图像传感器可以在与第一方向正交的方向上与第一图像传感器分离。从第二图像传感器接收的第二图像数据620可以包括诸如色度数据和照度数据之类的图像数据。如果第二图像传感器还包括被配置为从至少两个视角捕获图像数据的聚焦像素，则由第二图像传感器捕获的图像数据可以进一步包括由第二图像传感器捕获的两个相位图像中的每一个相位图像的图像数据。

然后可以由PD深度确定630对第一图像数据610进行处理。PD深度确定630可以基于由第一图像传感器610捕获的第一相位图像和第二相位图像之间的视差来确定第一深度图。如果第二图像传感器620也包括被配置为从至少两个视角捕获图像数据的聚焦像素，则PD深度确定630还可以基于由第二图像传感器620捕获的第一相位图像和第二相位图像之间的视差来确定深度图。如上所述，确定第一深度图可以包括确定第一相位图像和第二相位图像的多个片中的每一个片的SAD度量，使得特定片的SAD度量是基于第一相位图像的像素和第二相位图像的对应像素之间的绝对差总和。此外，如上所述，PD深度确定630可以确定与第一深度图的每个像素相关联的置信度值，使得特定像素的置信度值对应于该像素所属的片的SAD度量的最小值的置信度值。例如，置信度值可以基于最小SAD值的相异性(distinctness)，诸如一系列相位差上的SAD度量的平均值和所确定的SAD度量的最小值之间的比率。

也可以由双相机深度确定640对第一图像数据610和第二图像数据620进行处理，该双相机深度确定640可以基于第一图像数据610的像素和第二图像数据620的对应像素之间的视差来确定第二深度图。确定第二深度图可以包括针对第一图像和第二图像的多个片中的每一个片确定SAD度量，使得特定片的SAD度量是基于第一图像的像素和第二图像的对应像素之间的绝对差总和。此外，双相机深度确定640可以确定与第二深度图的每个像素相关联的置信度值，如上所述，从而使得特定像素的置信度值对应于该像素所属的片的SAD度量的最小值的置信度值。例如，置信度值可以基于最小SAD值的相异性，诸如一系列相位差上的SAD度量的平均值和所确定的SAD度量的最小值之间的比率。

由PD深度确定630和双相机深度确定640确定的深度图中的每一个深度图可以由混合深度处理650进一步处理，这可以生成混合深度图。更具体地，混合深度处理650可以例如使用深度选择651，从来自PD深度确定630的(一个或多个)深度图(例如，第一深度图，或者如果第二图像传感器620也包括聚焦像素，则为第一深度图和第二深度图)或者从由双相机深度确定640确定的深度图(例如，第二深度图)中选择深度。然后，可以例如使用图像融合652将所选择的深度融合到混合深度图中。

在一些实施方式中，可以基于置信度来选择深度。更具体地，如上所述，由PD深度确定630确定的每个深度图(诸如使用第一图像数据610确定的深度图，并且如果第二图像传感器也包括聚焦像素，则可选地还包括由第二图像数据620确定的深度图)和由双相机深度确定640确定的每个深度图可以与对应的置信度图相关联，该置信度图也可以被提供给混合深度处理650。然后可以选择具有最高置信度值的深度，以将该深度包含在混合深度图中。在一些示例中，可以基于每像素来选择深度，使得对于每个像素，基于对应的每像素置信度图中的哪一个置信度图对于该像素具有最高的置信度值，而从由PD深度确定630和双相机深度确定640提供的深度图中选择深度。在一些其他实施方式中，可以基于每片来选择深度，使得对于片中的所有像素，基于对应的每片置信度图中的哪一个置信度图对于该片具有最高的置信度值，而从深度图中选择深度。

在一些其他实施方式中，混合深度处理650可以基于置信度的测量值来选择每个深度的比例贡献，而不仅仅是为每个像素或每个片选择一个深度。更具体地，与具有较低置信度的深度相比，具有较高置信度的深度可以在混合深度图中被分配更多的权重。然后可以在混合深度图中以与其被分配的权重成相对比例的方式来表示深度。此外，可以对权重进行归一化，使得权重总和为1(或100％)，其中将每个权重选择为0和1之间的数字—因此，每个权重可以表示对混合深度图的百分比贡献。因此，如果深度图在给定像素或片处具有相似的置信度值，则混合深度图的给定像素或片可以反映来自每个深度图的相似贡献。相比之下，如果一个深度图在给定的像素或片处具有越低的置信度值，则它的贡献可能越小。

在选择深度或者深度和对应的权重之后，可以生成混合深度图。在一些实施方式中，混合深度图可以包括所选择的深度中的每一个。在一些其他实施方式中，如上所述，可以将混合深度生成为包括根据其被分配的权重的深度。如果深度是基于每片来确定的，则可以将所选择的片融合在一起以生成混合深度图。

图6示出了作为确定混合深度图的中间步骤而生成深度图，例如，PD深度确定630和双相机深度确定640各自确定一个或多个深度图，混合深度处理650然后可以使用这些深度图来确定或生成混合深度图。在一些其他实施方式中，第一图像数据610和第二图像数据620可以由混合深度处理器直接处理，该混合深度处理器可以在不基于图像数据生成中间深度图的情况下生成混合深度图。更具体地，可以提供与由第一图像传感器610和第二图像传感器620中的每一个捕获的图像相对应的色度数据和照度数据，并且可以向混合深度处理模块提供来自第一图像传感器610(并且可选地还包括第二图像传感器620，如果其也包括聚焦像素的话)的聚焦像素的对应数据。在一些示例实施方式中，混合深度处理模块可以使用诸如神经网络之类的机器学习方法来生成混合深度图。先前可能已经使用已知技术对混合深度处理模块进行了训练，以针对这种深度确定进行优化。

此外，虽然图6示出了第一图像传感器610和第二图像传感器620两者均捕获图像数据，并且使用PD深度确定630和双相机深度确定640两者来生成深度图，但是在一些其他实施方式中，示例设备可以例如基于确定的置信度图来放弃一个或多个图像捕获或深度图确定操作。例如，在一个实施方式中，如果由PD深度确定630生成的相应的每像素或每片置信度图的每个像素或每个片均大于阈值，则可以确定不需要混合深度处理来确定足够精确的深度图。如果对于由PD深度确定630确定的这种第一深度图，每个像素或每个片均高于阈值，则示例设备可以放弃以下中的一个或多个：使用第二图像传感器捕获第二图像、接收第二图像数据620、使用PD深度确定630确定第二图像的深度图、或者使用双相机深度确定640确定第二深度图。

此外，在另一实施方式中，如果相应的每像素或每片置信度图的每个像素或每个片均不大于阈值，则可以确定需要混合深度处理来确定足够精确的深度图。如果对于由PD深度确定630确定的这种第一深度图，每个像素或每个片均不高于阈值，则示例设备可以接收第二图像数据620、可选地使用PD深度确定630确定第二图像的深度图、使用双相机深度确定640确定第二深度图、并且使用混合深度处理650生成混合深度图。

图7是描绘根据示例实施方式的混合深度图处理的示例操作700的说明性流程图。可以使用任何合适的图像处理设备(诸如设备100)，或者使用合适的图像处理***(诸如***600)来执行示例操作700。然而，也可以使用其他设备或***，并且本公开不应该被使用图像处理设备100或***600的实施方式的示例或描述所限制。

相对于图7而言，设备100可以从第一图像传感器接收第一图像，第一图像传感器与第一方向相关联(702)。例如，第一图像可以由合适的图像传感器捕获，诸如图1的图像传感器111或图5的第一图像传感器510，其可以包括多个聚焦像素，其中聚焦像素被配置为从至少第一视角和第二视角捕获图像数据，使得第一视角和第二视角之间的差异与第一方向相关联。在一个示例中，第一图像传感器可以是具有第一数量的2PD像素的双光电二极管(2PD)图像传感器，每个像素使用两个光电二极管被确定，其中每个2PD像素的两个光电二极管在第一方向上相邻。例如，第一方向可以是水平方向，使得两个视角包括左视角和右视角。

设备100还可以使用第二图像传感器接收第二图像，其中第二图像传感器在与第一方向正交的第二方向上与第一图像传感器分离(704)。第二图像可以由合适的图像传感器捕获，诸如图1的图像传感器112或图5的第二图像传感器520。第二图像传感器还可以包括多个聚焦像素，使得第一视角和第二视角之间的差异与第一方向相关联。在一些实施方式中，第二方向可以是垂直方向，使得第二图像传感器位于第一图像传感器的上方或下方。

设备100可以基于第一图像确定第一深度图(706)。例如，设备100可以使用ISP141或者通过执行来自存储器的指令(诸如来自存储器130的指令131)来确定第一深度图。此外，可以使用图6的PD深度确定630来确定第一深度图。可以至少部分地基于第一图像传感器的聚焦像素来确定第一深度图。例如，第一深度图可以基于使用来自相应的第一视角和第二视角的数据捕获的相应的第一相位图像和第二相位图像之间的视差。在一些方面，确定第一深度图还可以包括确定对应于第一深度图的第一置信度图。第一置信度图可以至少部分地基于第一图像的第一绝对差总和(SAD)度量。此外，第一置信度图可以是每片置信度图或每像素置信度图。

设备100然后可以基于第一图像和第二图像的相应像素之间的视差来确定第二深度图(708)。例如，设备100可以使用ISP 141或者通过执行来自存储器的指令(诸如来自存储器130的指令131)来确定第二深度图。此外，可以使用图6的双相机深度确定640来确定第二深度图。在一些方面，确定第二深度图还可以包括确定对应于第二深度图的第二置信度图。第二置信度图可以至少部分地基于第二图像的第二绝对差总和(SAD)度量。此外，第二置信度图可以是每片置信度图或每像素置信度图。

设备100然后可以至少部分地基于第一深度图和第二深度图生成混合深度图(710)。例如，设备100可以使用ISP 141或者通过执行来自存储器的指令(诸如来自存储器130的指令131)来生成混合深度图。此外，可以使用图6的混合深度处理650来确定混合深度图。在一些方面，可以至少部分地基于第一置信度图的像素和第二置信度图的对应像素的比较来生成混合深度图的深度。生成混合深度图还可以包括选择第一深度图的对应像素或第二深度图的对应像素以作为混合深度图的每个像素，所选择的像素具有更高的置信度值。

除非明确被描述为以特定方式实现，否则可以以硬件、软件、固件或其任意组合来实现本文描述的技术。被描述为模块或组件的任何特征也可以在集成逻辑设备中一起实现，或者作为分立但可共同操作的逻辑设备来独立地实现。如果以软件实现，则这些技术可以至少部分地由非暂时性处理器可读存储介质(诸如图1的示例图像处理设备100中的存储器130)来实现，该存储介质包括指令，该指令在由处理器120(或图形处理器121)执行时使得设备100执行一个或多个上述方法。非暂时性处理器可读数据存储介质可以形成计算机程序产品的一部分，该计算机程序产品可以包括封装材料。

非暂时性处理器可读存储介质可以包括随机存取存储器(RAM)(诸如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存、其他已知的存储介质等。附加地或替代地，可以至少部分地由处理器可读的通信介质来实现这些技术，该通信介质承载或通信指令或数据结构形式的并且可以由计算机或其他处理器来访问、读取和/或执行的代码。

结合本文公开的实施例描述的各种说明性逻辑块、模块、电路和指令可以由一个或多个处理器执行，该处理器诸如图1的示例图像处理设备100中的处理器120或图形处理器121。这样的(一个或多个)处理器可以包括但不限于一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、现场可编程门阵列(FPGA)或其他等效的集成或分立逻辑电路。本文使用的术语“处理器”可以指任何前述结构或任何其他适于实现本文描述的技术的结构。此外，在一些方面，可以在如本文所述配置的专用软件模块或硬件模块中提供本文所述的功能。而且，这些技术可以完全在一个或多个电路或逻辑元件中实现。通用处理器可以是微处理器，但是可选地，处理器可以是任何传统的处理器、控制器、微控制器或状态机。也可以将处理器实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合、或者任何其他这样的配置。

虽然本公开示出了说明性的各方面，但是应当注意，本文可以在不脱离所附权利要求的范围的情况下做出各种改变和修改。另外，除非另外明确说明，否则根据本文所述各方面的方法权利要求的功能、步骤或动作不需要以任何特定顺序来执行。例如，如果由图像处理设备100、处理器120和/或图形处理器121执行，则所描述的示例操作的步骤可以以任何顺序和任何频率来执行。此外，尽管可以以单数形式描述或要求保护元件，但是除非明确说明了只限于单数，否则也可以设想复数。因此，本公开不限于所示出的示例，并且用于执行本文描述的功能的任何手段都被包括在本公开的各方面中。

Claims

1.一种用于混合深度图处理的设备，包括：

第一图像传感器，其包括多个聚焦像素，所述聚焦像素被配置为从至少第一视角和第二视角捕获图像，所述第一视角和所述第二视角之间的差异与第一方向相关联；

第二图像传感器，其在与所述第一方向正交的第二方向上与所述第一图像传感器分离；

存储器；以及

处理器，其耦合到所述存储器并且被配置为：

从所述第一图像传感器接收第一图像，所述第一图像包括从所述第一视角捕获的第一图像数据和从所述第二视角捕获的第二图像数据；

从所述第二图像传感器接收第二图像；以及

至少部分地基于所述第一图像和所述第二图像生成混合深度图。

2.根据权利要求1所述的设备，其中所述处理器被配置为使用神经网络来生成所述混合深度图，所述神经网络被训练为从所述第一图像和第二图像接收图像数据并生成所述混合深度图。

3.根据权利要求1所述的设备，其中所述处理器被配置为通过以下来生成所述混合深度图：

基于从所述第一视角捕获的所述第一图像数据和从所述第二视角捕获的所述第二图像数据之间的第一视差来确定第一深度图；

基于所述第一图像和所述第二图像的相应像素之间的第二视差来确定第二深度图；以及

至少部分地基于所述第一深度图和所述第二深度图来生成混合深度图。

4.根据权利要求3所述的设备，其中所述处理器还被配置为：

确定对应于所述第一深度图的第一置信度图；以及

确定对应于所述第二深度图的第二置信度图；

其中至少部分地基于所述第一置信度图和所述第二置信度图来生成所述混合深度图。

5.根据权利要求4所述的设备，其中至少部分地基于所述第一置信度图的像素和所述第二置信度图的对应像素的比较来确定所述混合深度图的深度。

6.根据权利要求4所述的设备，其中所述第一置信度图至少部分地基于所述第一图像的第一绝对差总和度量，并且其中所述第二深度图至少部分地基于第二绝对差总和度量，所述第二绝对差总和度量基于所述第一图像和所述第二图像的对应像素之间的差异。

7.根据权利要求4所述的设备，其中所述处理器还被配置为通过选择所述第一深度图的对应像素或所述第二深度图的对应像素以作为所述混合深度图的每个像素来生成所述混合深度图，所选择的像素具有更高的置信度值。

8.根据权利要求1所述的设备，其中所述第一图像传感器是双光电二极管图像传感器，所述第一图像传感器的每个聚焦像素包括第一光电二极管和第二光电二极管，所述第一光电二极管和所述第二光电二极管在所述第一方向上相邻。

9.根据权利要求8所述的设备，其中所述第一方向是水平方向，而所述第二方向是垂直方向。

10.根据权利要求1所述的设备，其中所述第二图像传感器是双光电二极管传感器，所述第二图像传感器的每个聚焦像素包括第三光电二极管和第四光电二极管，所述第三光电二极管和所述第四光电二极管在所述第一方向上相邻。

11.一种用于混合深度图处理的方法，所述方法包括：

从第一图像传感器接收第一图像，所述第一图像传感器包括多个聚焦像素，所述聚焦像素被配置为从至少第一视角和第二视角捕获图像，所述第一视角和所述第二视角之间的差异与第一方向相关联；

从第二图像传感器接收第二图像，所述第二图像传感器在与所述第一方向正交的第二方向上与所述第一图像传感器分离；

基于所述第一图像确定第一深度图；

基于所述第一图像和所述第二图像的相应像素之间的视差确定第二深度图；以及

至少部分地基于所述第一深度图和所述第二深度图生成混合深度图。

12.根据权利要求11所述的方法，其中所述第二方向是垂直方向，而所述第一方向是水平方向。

13.根据权利要求11所述的方法，其中所述第一图像传感器是双光电二极管图像传感器，并且所述聚焦像素包括双光电二极管像素，所述双光电二极管像素各自使用在所述第一方向上相邻的两个光电二极管被确定。

14.根据权利要求11所述的方法，其中确定所述第一深度图包括至少部分地基于从所述第一视角捕获的第一图像数据和从所述第二视角捕获的第二图像数据来确定所述第一深度图。

15.根据权利要求14所述的方法，其中：

确定所述第一深度图还包括确定对应于所述第一深度图的第一置信度图；

确定所述第二深度图还包括确定对应于所述第二深度图的第二置信度图；以及

至少部分地基于所述第一置信度图和所述第二置信度图生成所述混合深度图。

16.根据权利要求15所述的方法，其中至少部分地基于所述第一置信度图的像素和所述第二置信度图的对应像素的比较来生成所述混合深度图的深度。

17.根据权利要求15所述的方法，其中所述第一置信度图至少部分地基于所述第一图像数据和所述第二图像数据的第一绝对差总和度量，并且所述第二置信度图至少部分地基于第二绝对差总和度量，所述第二绝对差总和度量基于所述第一图像和所述第二图像的对应像素之间的差异。

18.根据权利要求15所述的方法，其中生成所述混合深度图包括选择所述第一深度图的对应像素或所述第二深度图的对应像素以作为所述混合深度图的每个像素，所选择的像素具有更高的置信度值。

19.一种存储指令的非暂时性计算机可读存储介质，所述指令在由图像处理设备的一个或多个处理器执行时，使得所述图像处理设备：

基于所述第一图像确定第一深度图；

20.根据权利要求19所述的非暂时性计算机可读存储介质，其中所述第二方向是垂直方向，而所述第一方向是水平方向。

21.根据权利要求19所述的非暂时性计算机可读存储介质，其中所述第一图像传感器是双光电二极管图像传感器，并且所述聚焦像素包括双光电二极管像素，所述双光电二极管像素各自使用在所述第一方向上相邻的两个光电二极管被确定。

22.根据权利要求19所述的非暂时性计算机可读存储介质，其中执行所述指令以确定所述第一深度图还使得所述图像处理设备至少部分地基于从所述第一视角捕获的第一图像数据和从所述第二视角捕获的第二图像数据来确定所述第一深度图。

23.根据权利要求22所述的非暂时性计算机可读存储介质，其中：

执行所述指令以确定所述第一深度图还使得所述图像处理设备确定对应于所述第一深度图的第一置信度图；

执行所述指令以确定所述第二深度图还使得所述图像处理设备确定对应于所述第二深度图的第二置信度图；以及

执行所述指令以生成所述混合深度图还使得所述图像处理设备至少部分地基于所述第一置信度图和所述第二置信度图来生成所述混合深度图。

24.根据权利要求23所述的非暂时性计算机可读存储介质，其中至少部分地基于所述第一深度图的像素和所述第二深度图的对应像素的比较来生成所述混合深度图的深度。

25.根据权利要求23所述的非暂时性计算机可读存储介质，其中所述第一置信度图至少部分地基于所述第一图像的第一绝对差总和度量，并且其中所述第二深度图至少部分地基于第二绝对差总和度量，所述第二绝对差总和度量基于所述第一图像和所述第二图像的对应像素之间的差异。

26.根据权利要求23所述的非暂时性计算机可读存储介质，其中执行所述指令以生成所述混合深度图还使得所述图像处理设备选择所述第一深度图的对应像素或所述第二深度图的对应像素以作为所述混合深度图的每个像素，所选择的像素具有更高的置信度值。

27.一种图像处理设备，包括：

用于从第一图像传感器接收第一图像的部件，所述第一图像传感器包括多个聚焦像素，所述聚焦像素被配置为从至少第一视角和第二视角捕获图像，所述第一视角和所述第二视角之间的差异与第一方向相关联；

用于从第二图像传感器接收第二图像的部件，所述第二图像传感器在与所述第一方向正交的第二方向上与所述第一图像传感器分离；

用于基于所述第一图像确定第一深度图的部件；

用于基于所述第一图像和所述第二图像的相应像素之间的视差来确定第二深度图的部件；以及

用于至少部分地基于所述第一深度图和所述第二深度图来生成混合深度图的部件。