CN116324882A - 多相机***中的图像信号处理 - Google Patents

Abstract

一种处理器从两个图像生成深度图，该两个图像包括高动态范围(HDR)图像。该处理器从第一图像传感器接收一个或多个第一图像，其中该一个或多个第一图像具有第一视场(FOV)和第一分辨率，并且从第二图像传感器接收一个或多个第二图像，其中该一个或多个第二图像具有第二视场和第二分辨率。该处理器从一个或多个第一图像生成第一HDR图像，并基于第一HDR图像对一个或多个第二图像执行色调对准以生成第二HDR图像。该处理器使用第一HDR图像和第二HDR图像生成深度图。该处理器可以使用深度图来向第一HDR图像施加散焦效果。

Description

多相机***中的图像信号处理

相关申请的交叉引用

本申请要求于2020年9月23日提交的美国申请第17/029,526号的优先权，其全部内容通过引用并入本文。

技术领域

本公开涉及图像捕捉和处理。

背景技术

图像捕捉设备被结合到各种各样的设备中。在本公开中，图像捕捉设备是指能够捕捉一个或多个数字图像的任何设备，包括能够捕捉静止图像的设备和能够捕捉图像序列以记录视频的设备。作为示例，图像捕捉设备可以包括独立的数字相机或数字视频摄录像机、配备有相机的无线通信设备手持设备(诸如具有一个或多个相机的移动电话、蜂窝或卫星无线电电话、配备有相机的个人数字助理(PDA)、面板或平板电脑、游戏设备)、包括相机(诸如所谓的“网络摄像头”)的计算机设备或者任何具有数字图像或视频功能的设备。

数码相机所捕捉的图像通常是低动态范围(LDR)图像(有时被称为标准动态范围或SDR)。取决于相机的曝光设置，在某些照明情况下，LDR/SDR中所捕捉的图像可以包括图片亮或暗区域中的细节丢失。高动态范围(HDR)图像可以更精确地表示暗区域(例如，阴影)和明亮区域(例如，阳光)，因为HDR图像大体上包括更多可能的亮度级别(例如，光度)。在一些示例中，可以通过使多个LDR图像在不同的曝光设置下组合来生成HDR图像。

图像捕捉设备可以包括多个图像传感器和/或多个镜头，其可以被用于支持各种成像技术，诸如高动态范围成像(HDRI)、多帧HDRI(MFHDRI)等。图像传感器继而可以将图像数据转发到相机处理器。示例镜头类型包括广角镜头、超广角镜头、长焦距镜头、远摄镜头、潜望镜式变焦镜头、鱼眼镜头、微距镜头、主镜头或其各种组合。作为示例，具有双相机配置的图像捕捉设备可以包括广角镜头和长焦距镜头。类似地，除了广角镜头和长焦距镜头之外，三相机配置还可以包括超广角镜头。通过使用多个镜头和/或图像传感器，图像捕捉设备的相机处理器可以捕捉具有各种视场(FOV)的图像，调整变焦级别，施加对焦效果，和/或创建图像数据的一个或多个合成帧(例如，从多个图像的组合生成的图像)。

一些示例图像处理技术可以依赖于将图像划分成多个片段的图像分割算法，这些片段可以被分析或处理以产生特定的图像效果。图像分割的一些示例实际应用包括但不限于数字景深效果(例如，“散焦”或“肖像模式”效果)、色度键合成、特征提取、识别任务(例如，对象和面部识别)、机器视觉和医学成像。然而，当前的图像分割技术通常会产生较差的分割结果，并且在许多情况下，仅适用于特定类型的图像。

发明内容

大体上，本公开描述了涉及高动态范围(HDR)成像和/或用于基于分割的图像效果(诸如景深效果(例如，散焦效果))的深度图计算的相机处理技术。大体上，图像分割是将图像分割成多个片段(例如，表示图像的像素和/或特征集)的过程。在一些示例中，图像分割可以被用来识别图像中的对象和其他特征的位置和边界。基于分割的图像效果可以包括将这样的效果的应用施加于图像的某些部分或图像的某些特征的任何图像效果。在一些示例中，可以基于针对图像的特征的这些部分确定的深度值来分割图像的部分或特征。也就是说，图像的不同区域或特征可以与不同的深度值相关联。

在一些示例技术中，当向HDR图像施加散焦效果时，成像设备可以被配置为使用主相机(primary camera)(例如，首相机(master camera))来输出HDR图像，并使用次相机(例如，从相机)来输出另一非HDR图像。非HDR图像与HDR图像一起被用于计算用于在散焦效果中使用的深度图。然而，因为次相机正在捕捉与主相机相同的HDR场景，非HDR图像可能曝光不足或曝光过度。因此，从次相机输出的非HDR图像相对于从主相机生成的HDR图像可能表现出相当大的细节丢失。因此，根据这样的图像计算出的任何深度图可能缺乏精确性，从而影响基于这样的深度图所施加的任何散焦效果的质量。类似地，这样的深度图也可能缺乏基于图像分割的其他图像效果的精度。

上述问题可以通过本公开中所描述的HDR同步技术来解决。如下面将更详细地解释的，成像设备的相机处理器可以被配置为确定主相机输出的图像的视场(FOV)和分辨率。相机处理器可以处理主相机输出的图像以产生HDR图像。相机处理器可以指示次相机将由次相机输出的图像的FOV以及分辨率两者同步，以与由主相机输出的视频FOV以及图像的分辨率相同。然后，相机处理器可以对次相机输出的图像执行色调对准，以便与从主相机输出的图像产生的HDR图像中存在的色调范围匹配。

在一个示例中，相机处理器可以通过对从次相机接收的(一个或多个)图像执行与在从主相机接收的图像上相同的HDR处理来实现色调对准。在另一示例中，相机可以使用不同的HDR技术对从次相机接收的图像执行色调对准，其中该不同的HDR技术近似于由主相机输出的图像上使用的HDR方法产生的色调范围。以此方式，相机处理器可以使用关于FOV、分辨率以及色调同步的两个HDR图像来计算深度图，从而提高深度图的精度。然后，更精确的深度图可以改善基于图像分割使用该计算出的深度图而被施加到图像的任何图像效果的质量，诸如景深效果(包括散焦效果)。

在一个示例中，本公开的技术涉及一种相机处理的方法，该方法包括从第一图像传感器接收一个或多个第一图像，其中，该一个或多个第一图像具有第一视场(FOV)和第一分辨率，从该一个或多个第一图像生成第一高动态范围(HDR)图像，生成第二HDR图像，以及，使用该第一HDR图像和该第二HDR图像来生成深度图。

在另一示例中，本公开的技术涉及一种被配置用于相机处理的设备，该设备包括被配置为接收图像的存储器和与该存储器通信的一个或多个处理器，该一个或多个处理器被配置为从第一图像传感器接收一个或多个第一图像，其中，该一个或多个第一图像具有第一FOV和第一分辨率，从该一个或多个第一图像生成第一HDR图像，生成第二HDR图像并使用该第一HDR和该第二HDR图像来生成深度图。

本公开还描述了用于执行本文所描述的任何技术的部件。在一个示例中，本公开的技术涉及一种被配置为执行相机处理的装置，该装置包括用于从第一图像传感器接收一个或多个第一图像的部件，其中该一个或多个第一图像具有第一FOV和第一分辨率、用于从一个或多个第一图像生成第一HDR图像的部件、生成第二HDR图像的部件以及用于使用该第一HDR图像和该第二HDR图像生成深度图的部件。

在另一示例中，本公开描述了一种存储指令的非暂时性计算机可读存储介质，该指令在被执行时使得一个或多个处理器从第一图像传感器接收一个或多个第一图像，其中，该一个或多个第一图像具有第一FOV和第一分辨率、从该一个或多个第一图像生成第一HDR图像、生成第二HDR图像以及使用该第一HDR图像和该第二HDR图像生成深度图。

本发明内容意图提供对本公开中所描述的主题的概述。其并不意图提供对在本文的附图和说明中所详细描述的***、设备和方法的排他性或穷尽性解释。所公开技术的一个或多个示例的进一步细节在附图和下文的说明中阐述。所公开技术的其他特征、目的和优点将从说明书、附图和权利要求中变得显而易见。

附图说明

图1是被配置为执行本公开中所描述的一个或多个示例技术的设备的框图。

图2是更详细地图示出图1的计算设备的示例组件的框图。

图3是图示出视场同步的示例的概念示意图。

图4是图示出使用广角和超广角视场的示例视场同步技术的框图。

图5图示出了本公开的示例视场和分辨率同步技术。

图6图示出了本公开的示例分辨率同步技术。

图7图示出了本公开的用于Quad拜耳滤色镜阵列(QCFA)的另一示例视场和分辨率同步技术。

图8是图示出根据本公开的示例技术的相机处理的示例操作的流程图。

图9是图示出根据本公开的示例技术的相机处理的另一示例操作的流程图。

在整个描述和附图中，相同的参考符号表示相同的元素。

具体实施方式

在一些数码相机应用中，深度图被用于基于图像分割来对图像执行一个或多个图像效果(诸如景深效果)。大体上，图像分割是将图像划分成多个片段(例如，表示图像的像素和/或特征集)的过程。在一些示例中，可以使用图像分割来识别图像中对象和其他特征的位置和边界。基于分割的图像效果可以包括在其中将这样的效果的应用施加于图像的某些部分或图像的某些特征的任何图像效果。在一些示例中，图像的各部分或特征可以基于针对此类图像的特征的部分所确定的深度值来分割。也就是说，图像的不同区域或特征可以与不同深度值相关联。

深度图包括深度值，深度值表示图像的每一个像素、区域和/或特征相对于图像传感器的距离，或者表示图像的每一个像素、区域或特征相对于焦点的距离。在一些示例中，深度图可以包括相对于某个固定点(例如，相机传感器)的深度值。在其他示例中，深度图可以包括与深度相关联的视差值。例如，视差值可以指示图像中各特征之间的相对距离。视差值可以被用于确定相对于某些空间偏移的最终深度值。

景深效果的一个示例是散焦效果。散焦被定义为在拍摄前景中的主体(例如，肖像主体)时所实现的柔和失焦背景的效果。在传统的数字单反(DSLR)相机中，可以通过使用具有不同视场和镜头几何形状的不同镜头来实现不同的散焦效果。当使用大约2倍变焦的长焦距镜头时，对于肖像来说散焦效果通常是在美学上令人愉悦的。

在具有较小形状因子的设备(例如，移动电话)上使用后处理和深度图也可以实现散焦效果，即使此类设备上的相机镜头不会固有地产生散焦效果。例如，移动设备可以包括多个相机，并且可以同时或接近同时地使用两个不同的相机来捕捉图像。因为这两个相机被分开一定物理距离，所以可以基于第一图像中的特征与第二图像中的特征的比较来计算出这两个图像中的第一图像中特征的深度(例如，距相机传感器的距离)。然后，散焦效果处理可以使用所计算出的深度图来模糊图像中的像素。例如，与图像的对焦距离匹配的深度处的像素和/或特征保持对焦，而对焦距离更远的像素被模糊。在一个示例中，对焦距离不在同一深度处的像素和/或特征都以相同的比率被模糊。在另一个示例中，像素和/或特征离焦距越远，可以通过散焦效果施加的模糊就越多。

在一些示例中，可期望的是将散焦效果或基于图像分割的其他图像效果施加于高动态范围(HDR)图像。HDR图像大体上是以这样的方式生成的图像，即以相对高级别的细节从场景生成较宽范围的亮度级别(例如，光亮级别)。在大多数成像设备中，被施加于图像传感器的光的曝光度可以通过以下两种方式之一来改变：增大/减小光圈的尺寸或者增加/减少每一次曝光的时间(例如，通过调整快门速度)。归因于相机传感器的物理特性，可能无法捕捉到具有非常宽的亮度级别范围的场景中呈现的所有亮度级别。也就是说，相机传感器可能不能够记录人眼可感知的场景中的所有亮度级别。

例如，为了保持场景中较暗区域的细节，相机可以降低快门速度并且/或者增加光圈大小。然而，这将造成较亮区域被过度曝光(例如，图像传感器输出将对于许多不同实际亮度级别输出最大亮度级别)，并且较亮的区域中的细节将丢失。为了保持较亮区域中的细节，相机可以增加快门速度和/或减小光圈大小。然而，这将造成较暗区域曝光不足(例如，图像传感器输出将对于许多不同实际亮度级别输出最小亮度级别)，并且这些较暗区域中的细节将丢失。

在一些示例中，相机可以被配置为通过以变化的曝光设置捕捉多个图像，并且然后将多个图像组合以形成更精确地表示所看到的所有亮度级别的最终图像来生成HDR图像。在一些示例中，用于HDR生成的曝光变化仅通过改变曝光时间而不是光圈大小来实现。这是因为改变光圈大小也可能影响输出图像中每一个图像的景深，这在一些应用中可能是不期望的。在其他应用中，相机可以调节光圈和快门速度以输出用于形成HDR图像的多个图像。

然而，在一些示例技术中，当将散焦效果或基于图像分割的其他效果施加于HDR图像时，成像设备可以被配置为使用主相机(例如，首相机)来生成HDR图像，并使用次相机(例如从相机)来生成另一个非HDR图像。非HDR图像与HDR图像一起被用于计算在散焦效果中使用的深度图。然而，非HDR图像可能曝光不足或曝光过度，因为次相机正在捕捉与主相机相同的HDR场景。因此，相对于由主相机生成的图像所生成的HDR图像，由次相机生成的非HDR图像可能表现出相当大的细节丢失。因此，根据这样的图像计算出的任何深度图都可能缺乏精确性，从而影响在这样的深度图的基础上施加的任何散焦效果的质量。

上述问题可以通过本公开中所描述的HDR同步技术来解决。如下文将更详细地解释的，成像设备的相机处理器可以被配置为确定由主相机所输出的图像的视场(FOV)和分辨率。相机处理器可以处理从主相机接收到的图像以产生HDR图像。相机处理器可以将由次相机输出的图像的FOV和分辨率两者同步为与由主相机输出的图像的FOV以及分辨率相同。相机处理器还可以根据次相机的输出生成HDR图像。例如，相机处理器可以对由次相机输出的图像执行色调对准，以便匹配根据由主相机输出的图像产生的HDR图像中呈现的色调范围。

在一个示例中，相机处理器可以通过对从次相机接收的图像执行与在从主相机接收的图像上所使用的相同的HDR处理来实现色调对准。在另一示例中，相机可以使用不同的HDR技术对从次相机接收的图像执行色调对准，其中该不同的HDR技术近似于通过由主相机输出的图像上所使用的HDR技术产生的色调范围。以此方式，相机处理器可以使用在FOV、分辨率以及色调上同步的两个HDR图像来计算深度图，从而改进深度图的精确度。然后，更精确的深度图可以基于图像分割来改进任何图像效果的质量，诸如景深效果，其包括使用计算出的深度图而被施加于图像的散焦效果。

图1是被配置为执行本公开中描述的用于根据HDR图像来计算深度图以及用于基于计算出的深度图对HDR图像施加图像效果的一个或多个示例技术的计算设备10的框图。计算设备10的示例包括计算机(例如，个人计算机、台式计算机或膝上型计算机)、移动设备，诸如便携式视平板计算机、无线通信设备(诸如，例如移动电视、蜂窝电话、卫星电话和/或移动电视手机)、互联网电视、数字相机、数字视频录像机、手持设备，诸如便携式视频游戏设备或个人数字助理(PDA)、无人机设备或可包括一个或多个相机的任何设备。在一些示例中，计算设备10可以包括一个或多个相机处理器14、中心处理单元(CPU)16、视频编码器/解码器17、图形处理单元(GPU)18、GPU 18的本地存储器20、用户接口22、提供对***存储器30的访问的存储器控制器24以及输出使得图形数据被显示在显示器28上的信号的显示器接口26。

如图1的示例所示，计算设备10包括一个或多个图像传感器12A-N。图像传感器12A-N在本文中的一些情况下可被简称为“传感器12”，而在其他情况下，在适当的情况下可被称为多个“传感器12”。传感器12可以是任何类型的图像传感器，其包括包括Bayer滤波器或高动态范围(HDR)隔行扫描传感器(诸如Quad Bayer传感器)的传感器。

计算设备10还包括一个或多个镜头13A-N。类似地，镜头13A-N在本文中在某些情况下可被简称为“镜头13”，而在其他情况下，在适当的情况下可被称为多个“镜头13”。在一些示例中，传感器12表示一个或多个图像传感器12，每个图像传感器12可以各自包括处理电路、用于捕捉光的表示的像素传感器(例如像素)阵列、存储器(诸如缓冲存储器或片上传感器存储器等)。在一些示例中，图像传感器12中的每一个可与不同类型的镜头13耦合，每个镜头和图像传感器组合具有不同的光圈和/或视场。示例镜头可以包括长焦距镜头、广角镜头、超广角镜头或其他镜头类型。

如图1所示，计算设备10包括多个相机15。如本文所使用的，术语“相机”是指计算设备10的特定图像传感器12或计算设备10中的多个图像传感器12，其中图像传感器12与计算设备10上的一个或多个镜头13组合布置。也就是说，计算设备10的第一相机15是指包括一个或多个图像传感器12以及一个或多个镜头13的第一集合性设备，与第一相机15分开的第二相机15是指包括一个或多个图像传感器12以及一个或多个镜头13的第二集合性设备。此外，图像数据可以由相机处理器14或CPU 16从该特定相机15的图像传感器12被接收。也就是说，在一些示例中，相机处理器14或CPU 16可以从第一相机15的第一图像传感器12接收第一组图像数据帧，并从第二相机15的第二图像传感器12接收第二组图像数据。

在一示例中，本文中所使用的术语“相机”是指组合的图像传感器12和镜头13，其耦合在一起，被配置为捕捉至少一帧图像数据，并该将至少一帧的图像数据转发到相机处理器14和/或CPU 16。在说明性示例中，第一相机15被配置为将第一帧图像数据转发到相机处理器14，且第二相机15被设置为将第二帧图像数据转发到相机处理器14，其中，如可以例如通过第一帧和第二帧的FOV和/或变焦级别的差异证明的，这两个帧由不同的相机捕捉。FOV和/或变焦级别的差异可以对应于第一相机15和第二相机15之间的焦长差异。

计算设备10可以包括双镜头设备、三镜头设备、360度相机镜头设备等。因此，每个镜头13和图像传感器12的组合可以提供各种变焦级别、视角(AOV)、焦长、视场(FOV)等。在一些示例中，可以为每一个镜头13分配特定的图像传感器12，反之亦然。例如，可以将多个图像传感器12各自分配给不同的镜头类型(例如，广角镜头、超广角镜头、长焦距镜头和/或潜望镜头等)。

相机处理器14可以被配置为控制相机15的操作并对从相机15接收到的图像执行处理。在一些示例中，相机处理器14可以包括图像信号处理器(ISP)23。例如，相机处理器14可以包括处理图像数据的电路。相机处理器14(包括ISP 23)可以被配置为对图像传感器12捕捉的图像数据执行各种操作，包括自动白平衡、颜色校正或其他后处理操作。图1示出了被配置为对相机15的输出进行操作的单个ISP 23。在其他示例中，相机处理器14可以包括用于相机15中每一个相机的ISP 23，以便提高处理速度和/或改善用于从相机15的多个相机同时捕捉图像的同步。

在一些示例中，相机处理器14可以执行“3A”。这种算法可以包括自动对焦(AF)、自动曝光控制(AEC)和自动白平衡(AWB)技术。在这样的示例中，3A可以体现统计算法处理引擎的功能性，其中相机处理器14中的一个可以实现和操作这样的处理引擎。

在一些示例中，相机处理器14被配置为从图像传感器12接收图像帧(例如，像素数据)，并处理这些图像帧以生成图像和/或视频内容。例如，图像传感器12可以被配置为捕捉各个帧、帧突发、用于生成视频内容的帧序列、在记录视频时所捕捉的静止照片、预览帧或来自捕捉静止照片之前和/或之后的运动照片。CPU 16、GPU 18、相机处理器14或一些其他电路可以被配置为将由传感器12捕捉的图像和/或视频内容处理成图像或视频以在显示器28上显示。图像帧通常可以指静止图像的数据帧或视频数据帧或其组合，诸如具有运动的照片。相机处理器14可以从传感器12以任何格式接收图像帧的像素数据。例如，像素数据可以包括不同的颜色格式，诸如RGB、YCbCr、YUV等。在任何情况下，相机处理器14可以从图像传感器12接收多帧图像数据。

在包括多个相机处理器14的示例中，相机处理器14可以共享传感器12，其中相机处理器14中的每一个可以与传感器12中的每一个接口连接。在任何情况下，相机处理器14可以使用传感器12的多个像素传感器来启动对场景的视频或图像的捕捉。在一些示例中，视频可以包括各个帧的序列。这样，相机处理器14使得传感器12使用多个像素传感器来捕捉图像。传感器12然后可以向相机处理器14输出像素信息(例如，像素值、光度值、颜色值、电荷值、模拟数字单元(ADU)值等)，像素信息体现所捕捉的图像或所捕捉的图像的序列。在一些示例中，相机处理器14可以处理单色和/或彩色图像以获得场景的增强彩色图像。在一些示例中，相机处理器14可以确定用于不同类型像素混合的通用混合权重系数，或者可以确定用于混合构成像素帧的不同类型像素的不同混合权重系数(例如，用于混合经由第一相机15的单色传感器获得的像素和经由第二相机15的单色传感器获得的图像的第一混合权重系数、用于混合经由第一相机15的拜尔传感器获得的像素和经由第二相机15的拜尔传感器获得的像素的第二混合权重系数等)。

在本公开的示例中，相机处理器14可以使得图像传感器12中的特定图像传感器以HDR模式生成图像。在一个示例中，相机处理器14可以使的图像传感器12以不同的曝光设置来生成多个图像。在一个示例中，相机处理器14可以被配置为使得图像传感器12生成多个图像和不同的快门速度，但具有相同的光圈大小。图像传感器12可以例如基于变焦设置和所选择的镜头类型(例如，长焦距、广角、超广角等)以特定的视场(FOV)以及以特定的分辨率来输出多个图像。ISP 23可以接收该多个图像，并且除了任何3A或其他处理之外，可以执行多帧HDR处理技术以将该多个图像组合成HDR图像。

在一些示例中，例如，如由用户选择所指示的，相机处理器14还可以对HDR图像执行基于图像分割的图像效果，诸如散焦效果。散焦效果可以被定义为在拍摄前景中的主体(例如，肖像)时所实现的柔和失焦背景的效果。在数字单镜头反光(DSLR)相机中，通过使用具有不同视场和镜头几何形状的不同镜头，可以实现不同的散焦效果。对于肖像来说，当使用大约2倍变焦的长焦距镜头时，散焦效果在美学上经常是令人愉悦的。

通过应用使用深度图的后处理，由相机处理器14也可以实现散焦效果。例如，相机处理器可以指示相机15使用两个图像传感器12来同时生成两个图像。因为相机15的这两个图像传感器12被分隔开一物理距离，这两个图像中来自第一图像传感器12A(例如，主图像传感器或“首”图像传感器)的第一图像的特征的深度(例如，与图像传感器12的距离)可以基于与由第二图像传感器12B(例如，次图像传感器或“从”图像传感器)所生成的第二图像中的这些特征的比较来计算。相机处理器14然后可以通过使用计算出的深度图来模糊图像中的特征，来对从第一图像传感器12A所产生的HDR图像施加散焦效果。例如，相机处理器14可以将对焦特征保持在与所生成的图像的对焦距离匹配的深度处，同时相机处理器14可以模糊对焦距离更远离的特征。在一些示例中，像素离焦距越远，相机处理器14可以施加散焦效果越模糊。

在一些示例性技术中，当将基于图像分割的图像效果施加于HDR图像时，成像设备可以被配置为使用主相机(例如，首相机)捕捉HDR图像，并使用次相机(例如从相机)捕捉另一个非HDR图像。非HDR图像与HDR图像一起被用于计算深度图以用于在图像效果中使用。然而，非HDR图像可能曝光不足或曝光过度，因为次相机正在捕捉与主相机相同的HDR场景。因此，相对于由主相机捕捉的HDR图像，由次相机捕捉的非HDR图像可能表现出相当大的细节丢失。这样，根据这样的图像计算出的任何深度图可能缺乏精确性，从而影响基于这样的深度图所施加的任何图像效果的质量。

上述问题可以通过本公开中所描述的HDR同步技术来解决。如下面将更详细地解释的，相机处理器14可以包括和/或被配置为执行HDR同步器19。也就是说，HDR同步器19可以是由相机处理器14执行的软件，可以是由相机处理器14所执行的固件，或者可以是在相机控制器14内的专用硬件。图1示出HDR同步器19与ISP 23是分开的，但在一些示例中，HDR同步机19可以是ISP 23的一部分。

HDR同步器19可以被配置为确定由主相机(例如相机15的图像传感器12A)输出的图像的FOV和分辨率。相机处理器14可以处理由图像传感器12A输出的图像以产生HDR图像。HDR同步器19可以指示不同的次相机(例如，相机15的图像传感器12B)以将由次相机输出的图像的FOV和分辨率两者同步为与由主相机(例如相机15的传感器12A)输出的图像的FOV和分辨率相同。相机处理器14还可以从次相机的输出生成HDR图像。例如，相机处理器14(例如，ISP 23)还可以对由次相机(例如，相机15的图像传感器12B)输出的图像执行色调对准，以便匹配从由主相机(例如相机15的传感器12A)输出的视频所产生的HDR图像中呈现的色调范围(例如，亮度级别和/或颜色的范围)。

在一个示例中，相机处理器14可以通过对从次相机接收的图像执行与对从主相机接收的图像上所使用的相同的HDR处理来实现色调对准。在另一示例中，相机处理器14可以对从次相机接收的图像使用不同的HDR技术来执行色调对准，其中该不同的HDL技术近似于通过对由主相机输出的图像使用的HDR方法所产生的色调范围。以此方式，相机处理器14可以使用在FOV、分辨率和色调方面经同步的两个HDR图像来计算深度图，从而改进深度图的精确度。然后，该更精确的深度图可以使用计算出的深度图来改进被施加于图像(包括HDR图像)的任何图像效果(包括散焦效果)的质量。

据此，如以下将更详细描述的，在本公开的一个示例中，相机处理器14可以被配置为从第一图像传感器(例如，图像传感器12A)接收一个或多个第一图像，其中该一个或多个第一图像具有第一视场(FOV)和第一分辨率。相机处理器14还可以从第二图像传感器(例如，图像传感器12B)接收一个或多个第二图像，其中该一个或多个第二图像具有第二FOV和第二分辨率。相机处理器14还可以根据一个或多个第一图像生成第一高动态范围(HDR)图像。

相机处理器14可以基于第一HDR图像对一个或多个第二图像执行色调对准以产生第二HDR图像。在一些示例中，诸如当第一图像传感器和第二图像传感器具有不同的本机FOV(例如，第一图像传感器是广角传感器且第二图像传感器是超广角传感器)，相机处理器14还可以被配置成使一个或多个第二图像的第二FOV与一个或多个第一图像的第一FOV同步，并使得所述第二图像传感器将一个或多个第二图像的第二分辨率与一个或多个第一图像的第一分辨率同步。在该示例中，相机处理器14在使得第二FOV的同步和第二分辨率的同步之后，对一个或多个第二图像执行色调对准。

相机处理器14然后可以使用第一HDR图像和第二HDR图像来生成深度图，且然后可以使用深度图对第一HDR施加图像效果。在一个示例中，图像效果是散焦效果。相机处理器14还可以被配置为使用计算出的深度图对第一HDR图像施加其他图像效果。其他图像效果可以包括滤波、掩模、可定制表情、绿屏效果、背景替换效果、语义理解、3D姿态估计和/或跟踪、深度辅助自动对焦、闪光测量和/或可以利用从HDR图像确定的深度图的任何其他图像效果和/或图像处理技术。

尽管计算设备10的各种结构在图1中被图示为分开的，但是本公开的技术不限于此，并且在一些示例中，这些结构可以被组合以形成片上***(SoC)。作为示例，相机处理器14、CPU 16、GPU 18和显示器接口26可以在公共集成电路(IC)芯片上形成。在一些示例中，相机处理器14、CPU16、GPU 18和显示器接口26中的一个或多个可以在分开的IC芯片上形成。此外，在一些示例中，相机处理器14的HDR同步器19可以是ISP 23的一部分。各种其他排列和组合是可能的，并且本公开的技术不应被认为限于图1所示的示例。在一示例中，CPU16可以包括相机处理器14，使得一个或多个相机处理器14是CPU 16的一部分。在这样的示例中，CPU 16可以被配置为执行本文中以其他方式归于相机处理器14的各种技术中的一个或多个。为了本公开的目的，相机处理器14将在本文中被描述为与CPU 16分开并且区别开，尽管这可能并不总是这样。

图1中图示的各种结构可以被配置为使用总线32来彼此通信。总线32可以是不同总线结构中的任何一种，诸如第三代总线(例如，HyperTransport总线或InfiniBand总线)、第二代总线(例如，高级图形端口总线、***组件互连(PCI)Express总线或高级可扩展接口(AXI)总线)或另一种类型的总线或设备互连。应当注意的是，图1中示出的不同结构之间的总线和通信接口的具体配置仅是示例性的，具有相同或不同结构的计算设备和/或其他图像处理***的其他配置可以被用于实现本公开的技术。

此外，图1中图示出的各种组件(无论是在一个设备上还是不同设备上形成的)，包括传感器12和相机处理器14，可以被形成为固定功能或可编程电路中的至少一者或者两者的组合，诸如在一个或多个微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他等效的集成或分立逻辑电路。此外，本地存储器20的示例包括一个或多个易失性或非易失性存储器或存储设备，诸如随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁数据介质或光学存储介质。

在一些示例中，存储器控制器24可以促进数据进出***存储器30的转发。例如，存储器控制器24可以接收存储器读取和写入命令，并相对于存储器30维护这样的命令，以便为计算设备10的各种组件提供存储服务。在这样的示例中，存储器控制器24可以通信地耦合到***存储器30。尽管存储器控制器24在图1的计算设备10的示例中被图示为与CPU 16和***存储器30两者分开的处理电路，但是在一些示例中，存储器控制器24的一些或全部功能可以在CPU 16、***存储器30、相机处理器14、视频编码器/解码器17和/或GPU 18中的一个或多个上实现。

***存储器30可以存储可由相机处理器14、CPU 16和/或GPU 18访问的程序模块和/或指令和/或数据。例如，***存储器30可以存储用户应用程序(例如，相机应用程序的指令)、来自相机处理器14的合成图像等。***存储器30可以另外存储用于由计算设备10的其他组件使用的和/或由其所生成的信息。例如，***存储器30可以充当相机处理器14的设备存储器。***存储器30可以包括一个或多个易失性或非易失性存储器或存储设备，诸如RAM、SRAM、DRAM、ROM、EPROM、EEPROM、闪存、磁数据介质或光学存储介质。此外，***存储器30可以存储图像数据(例如，视频数据帧、经编码的视频数据、传感器模式设置、变焦设置、3A参数等)。在一些示例中，***存储器20或本地存储器30可以将图像数据存储到片上存储器，诸如存储在***存储器30或本地存储器20的存储器缓冲器中。在另一示例中，***存储器30或本地存储器20可以输出图像数据，以便从芯片或缓冲器的存储器外部来存储，诸如存储到相机设备的安全数字(SD^TM)卡片或者在某些情况下存储到相机设备的另一个内部存储器。在说明性示例中，***存储器30或本地存储器20可以被实现为相机处理器14芯片、GPU 18芯片或两者(其中单个芯片包括两个处理电路)上的缓冲存储器。

在一些示例中，***存储器30可以包括使得相机处理器14、CPU 16、GPU 18和/或显示器接口26执行本公开中归于这些组件的功能的指令。因此，***存储器30可以是其上存储有指令的计算机可读存储介质，该指令在执行时使一个或多个处理器(例如，相机处理器14、CPU 16、GPU 18和显示器接口26)执行本公开的各种技术。

在一些示例中，***存储器30是非暂时性存储介质。术语“非暂时性”表示该存储介质并不是在载波或传播信号中实施的。然而，术语“非暂时性”不应被解释为意味着***存储器30是不可移动的或其内容是静态的。作为一个示例，***存储器30可以从计算设备10移除，并被移动到另一设备。作为另一示例，基本上类似于***存储器30的存储器可以被***到计算设备10中。在某些示例中，非易失性存储介质能够存储随时间改变的数据(例如，在RAM中)。

此外，相机处理器14、CPU 16和GPU 18可以将图像数据、用户接口数据等存储在被分配在***存储器30内的相应的缓冲器中。显示器接口26可以从***存储器30检索数据并配置显示器28以显示由图像数据所体现的图像(诸如经由用户接口22屏幕)。在一些示例中，显示器接口26可以包括数模转换器(DAC)，其被配置为将从***存储器30检索出的数字值转换为可由显示器28消耗的模拟信号。在其他示例中，显示器接口26可以将这些数字值直接传递给显示器28以进行处理。

计算设备10可以包括视频编码器和/或视频解码器17，其中任一个可以被集成为组合视频编码器/解码器(CODEC)(例如，视频编解码器)的一部分。视频编码器/解码器17可以包括对由一个或多个相机15捕捉的视频进行编码的视频编码器或能够对经压缩或编码的视频数据进行解码的解码器。在一些情况下，CPU 16和/或相机处理器14可以被配置为编码和/或解码视频数据，在这种情况下，CPU16和/或相机处理器14可以包括视频编码器/解码器17。

CPU 16可以包括控制计算设备10的操作的通用或专用处理器。用户可以向计算设备10提供输入以使得CPU 16执行一个或多个软件应用。在CPU16上执行的这些软件应用可以包括例如相机应用程序、图形编辑应用程序、媒体播放器应用程序、视频游戏应用程序、图形用户界面应用程序或其他程序。例如，相机应用可以允许用户控制相机15的各种设置。用户可以经由一个或多个输入设备(未示出)(诸如键盘、鼠标、麦克风、触摸板或经由用户接口22耦合到计算设备10的另一输入设备)向计算设备10提供输入。

一个示例软件应用程序是相机应用程序。CPU 16执行相机应用程序，且作为响应，该相机应用程序使得CPU 16生成显示器28输出的内容。例如，显示器28可以输出诸如光强度、是否启用闪光灯以及其他这样的信息的信息。相机应用程序还可以使得CPU 16指示相机处理器14以用户定义的方式来处理由传感器12输出的图像。计算设备10的用户可以与显示器28接口连接(例如，经由用户接口22)，以配置生成图像的方式(例如，使用变焦设置，使用或不使用闪光灯、对焦设置、曝光设置、视频或静止图像以及其他参数)。例如，CPU 16可以经由用户接口22接收用于以HDR模式捕捉图像(例如，捕捉并生成HDR图像)和/或用于施加景深效果(诸如散焦效果)(例如，在所谓的“肖像”模式中)的指令。肖像模式还可以包括散焦设置，其指示要施加的模糊量。

显示器28可以包括监视器、电视机、投影设备、HDR显示器、液晶显示器(LCD)、等离子显示面板、发光二极管(LED)阵列、有机LED(OLED)、电子纸、表面传导电子发射显示器(SED)、激光电视显示器、纳米晶体显示器或其他类型的显示单元。显示器28可以被集成在计算设备10内。例如，显示器28可以是移动电话手机、平板电脑或膝上型电脑的屏幕。替换性地，显示器28可以是经由有线或无线通信链路耦合到计算设备10的独立设备。例如，显示器28可以是经由电缆或无线链路被连接到个人计算机的计算机监视器或平板显示器。显示器28可以提供预览帧，用户可以查看该预览帧以看到在相机15用于实际拍照或开始录制视频时正在被存储的内容或者可能看到的图片。

在一些示例中，相机处理器14可以向存储器控制器24输出帧流，以便将这些输出帧存储为视频文件。在一些示例中，CPU 16、视频编码器/解码器17和/或相机处理器14可以输出HDR图像(例如，具有或不具有散焦效果)以被存储为视频文件。在一些示例中，存储器控制器24可以以任何合适的视频文件格式生成和/或存储输出帧。在一些示例中，视频编码器/解码器17可以在CPU 16、视频编码器/编码器17和/或相机处理器14之前对输出帧进行编码，使得这些输出帧被存储为编码视频。编码器/解码器17可以使用各种编码技术对图像数据帧进行编码，包括由MPEG2、MPEG4、ITU-T H.263、ITU-T H.264/MPEG-4、Part 10、高级视频编码(AVC)、ITU-T H.265/高效视频编码(HEVC)、通用视频编码(VCC)等定义的标准及其扩展所描述的编码技术。在非限制性示例中，CPU 16、视频编码器/解码器17和/或相机处理器14可以使得输出帧使用运动图像专家组(MPEG)视频文件格式来存储。

图2是更详细地图示出图1的计算设备的示例组件的框图。如图2所示，主相机15A(例如，包括图像传感器12A)可以由相机处理器14指示以输出用于生成HDR图像的一个或多个图像。次相机15B(例如，包括图像传感器12B)可以由相机处理器14指示以输出一个或多个图像，该图像可以被用于计算深度图，该深度图可以被用于将基于图像分割的一个或多个图像效果(例如，散焦效果)施加于从主相机15A的输出产生的HDR图像。

在图2的示例中，相机处理器14的ISP 23包括HDR生成器44、色调对准器46、深度图计算器21以及图像效果施加器48。HDR生成器44、色调对准器46、深度图计算器21以及图像效果施加器48中的每一个可以被实现为软件、固件、硬件或其任何组合。主相机15A可以向HDR生成器44输出一个或多个主图像。HDR生成器44可以使用一个或多个主图像来创建第一HDR图像。在一个示例中，一个或多个主图像是多个图像，每一个图像使用不同的曝光设置而被捕捉。HDR生成器44可以被配置为将多个图像混合在一起，使得在混合图像中存在大范围的亮度值(即，图像具有高动态范围)。

例如，相机处理器14可以执行自动曝光算法，该算法确定图像传感器12的两个或更多个不同的曝光设置。对于三个图像示例，相机处理器14可以确定在场景的高亮度区域中保留细节的短曝光，可以确定增强场景的暗区域中的细节的长曝光，并且可以确定保持场景中中间色调的更精确亮度级别的中长度曝光。相机处理器14可以融合从三种不同曝光所产生的图像以产生HDR图像。

用于HDR生成的上述技术可以被称为多帧HDR(MFHDR)。HDR生成器44可以使用软件或硬件技术对由主相机15A输出的主图像执行MFHDR。MFHDR不是HDR生成器44可以用于生成HDR图像的唯一技术。HDR技术可以包括多帧HDR和单帧HDR两者。多帧HDR通常使用以不同的曝光来拍摄的图像序列的组合。在一些示例中，诸如上述MFHDR，HDR技术可以作为由相机处理器14(例如ISP 23)的后处理来应用。在其他示例中，HDR技术可以被应用于“传感器上”。也就是说，主相机15A可以执行处理，使得由主相机15A输出的图像已经是HDR图像。这样的处理的一个示例被称为3曝光HDR。在3曝光HDR中，主相机15A可以输出包括在短、中以及长长度曝光设置下捕捉的像素的一个图像，并然后将该图像分离成三个图像(例如，短曝光图像、中长度曝光图像以及长曝光图像)。主相机15A然后可以在发送到相机处理器14之前将三个结果图像混合在一起。

在其他示例中，HDR生成器44可以使用从主相机15A输出的单个帧来生成HDR图像(例如，第一HDR图像)。单帧HDR可以使用对单个图像的直方图均衡后处理，这是一种有时被称为局部色调映射(LTM)的技术。”在其他示例中，HDR生成器44可以使用自适应动态范围编码(ADRC)从主相机15A的输出生成HDR图像。当执行ADRC时，相机处理器14可以通过使用较低的传感器曝光捕捉图像来保留图像的高亮度区域。相机处理器然后可以将数字增益应用于输出图像以补偿整体亮度。

用于生成HDR图像的另一示例技术是交错HDR。在交错HDR中，相机处理器14可以被配置为使得相机15使用多个滚动快门来捕捉多个图像。滚动快门不会一次性地从整个场景生成图像，而是通过扫描图像传感器12的行或列来生成图像。例如，相机15可以将长时期滚动快门捕捉与短时期滚动快门捕捉相结合。相机15可以对两个滚动快门的输出进行行交织。

根据本公开的技术，HDR同步器19可以被配置为确定由主相机15A输出的图像的分辨率，可以确定由相机15A输出的图像的视场(FOV)，并且可以确定由HDR生成器44和/或主相机15A(例如，用于“传感器上”HDR)在生成第一HDR图像时所使用的HDR技术。也就是说，HDR同步器19可以确定主相机15A的主传感器90的FOV和分辨率以及HDR生成器44的HDR技术94。基于这些信息(即，主传感器90的FOV和分辨率以及HDR技术94)，HDR同步器19将向次相机15B发送FOV和分辨同步92，并向色调对准器46发送色调对准96。

FOV以及分辨率同步92包括使得次相机15B以与主相机15A相同的FOV并且与次相机15B相同的FOV输出次图像的指令。例如，主相机15A可以包括所谓的“广角”相机镜头。为了使用散焦效果，相机处理器14可以指示主相机15A输出等同于具有长焦距镜头的相机的FOV。大体上，移动设备上的长焦距镜头大约是广角镜头的变焦级别的2倍。例如，如果主相机15A是广角镜头，则相机处理器14可以指示主相机15A输出广角镜头的全FOV的四分之一。这是因为广角镜头的全FOV的四分之一可以相当于长焦距镜头的全FOV。但是，任何尺寸的FOV都可以被使用。

在该示例中，次相机15B可以是输出与主相机15A不同的FOV的相机。许多移动设备现在包括两个、三个、四个或更多个相机，每一个相机都能够以不同的FOV输出图像。在一个示例中，次相机15B可以包括所谓的“超广角”相机镜头，其具有比广角镜头更小的变焦和更大的FOV。优选地，主相机15A和次相机15B被物理地定位在计算设备10上的同一垂直或水平平面中(例如，共面)，并且不处于任何对角线的物理定向。虽然可能，但彼此对角线定位的两个相机的图像造成难以从这样的相机计算深度值。

在一些示例移动设备中，具有超广角和广角镜头的相机是共面的(例如，在同一垂直或水平平面上)，而具有长焦距镜头的相机位于从超广角和广角镜头两者的对角线位置。在这样的设备中，当计算景深效果(诸如散焦效果)的深度值时，将可优选使用两个共面相机传感器作为主相机15A和副相机15B。例如，如果主相机15A具有广角镜头并且正在输出的FOV是其全FOV的四分之一大小，并且次相机15A具有超广角镜头，则HDR同步器19可以向次相机15B发送FOV以及分辨率同步92，该分辨率同步92指示次相机15B输出与主相机15A的四分之一FOV匹配的FOV。

对于一些示例性超广角镜头，次相机15B的输出FOV可以是次相机15B的十六分之一全FOV。大体上，主相机15A和次相机15B可以是任意两种类型的相机。两个相机可以输出相同的全FOV(例如，相机的最大FOV)，或者可以是能够输出不同的全FOF的两个相机。不管能够由主相机15A和次相机15B所输出的FOV如何，HDR同步器19向次相机15B发送FOV分辨率同步92，使得次图像的输出FOV与由主相机15A输出的主图像的FOV相同。在其他示例中，相机处理器14将接收次相机15B的全FOV，并在ISP23、CPU 16或计算设备10的另一处理单元处执行任意的FOV同步，而不是指示次相机15B来执行FOV同步。

如上所述，FOV以及分辨率同步92还可以包括使得次相机15B输出图像并以与主相机15A相同的分辨率来输出次图像的指令。在此上下文中，分辨率是指图像中输出的像素数。分辨率通常是针对相机的全FOV测量的，且如果相机的输出FOV小于全FOV，分辨率可能会更小。主相机15A和此相机15B可以包括能够以多个不同分辨率输出图像的图像传感器。大体上，HDR同步器19可以确定主相机15A的输出分辨率，并包括关于FOV以及分辨率同步92的指令，这些指令使得次相机15B以与主相机15A相同的分辨率输出图像。

作为一个示例，主相机15A可以包括Quad拜耳滤色镜阵列(QCFA)传感器，其能够在重新马赛克模式下以48MP(或任何其他分辨率)输出图像，并且在合并读出(binning)模式下以12MP(例如，最大分辨率的四倍减缩)输出图像。在其他示例中，可以使用其他级别的合并读出。大体上，在合并读出模式中，传感器对具有同一滤色镜的相邻像素(例如，2个或4个相邻像素)进行平均，以为较低的光图像捕捉提供较高的信噪比。下面将描述关于合并读出和重新马赛克的更多细节。

对于QCFA传感器的示例，HDR同步器19可以确定主相机15A是使用重新马赛克分辨率模式还是合并读出分辨率模式(例如，在主传感器90的FOV和分辨率中)来输出图像。基于该确定，HDR同步器19将包括关于FOV以及分辨率同步92的指令，该指令使得次相机15B使用该相同分辨率模式来输出图像。在一些示例中，如果主相机15A或次相机15B上的FOV是全FOV中的较小部分(例如，对于广角镜头或超广角镜头)，则主相机15A和/或次相机15B可以放大输出图像，使得在主相机15A的输出和次相机15B的输出中都存在相同数量的像素。

FOV以及分辨率同步92的结果是次相机15B输出具有与主相机15A的输出匹配的FOV和分辨率的图像。以这种方式，由次相机15B输出的次图像与由主相机15A输出的主图像更紧密地匹配。这样，主图像和次图像中的每一个图像中的对应像素可能在输出图像中示出相同的特征，因此造成深度图计算器21更精确地确定由这些像素中所表示的特征的深度值。

此外，为了匹配主图像的FOV和分辨率，HDR同步器19还可以被配置为从次相机15B的输出生成HDR图像。例如，HDR同步器19可以被配置为将次图像的色调与由HDR生成器44从主图像创建的第一HDR图像的色调相匹配。大体上，相对于具有标准或低动态范围的图像，HDR图像将包括较高范围的亮度值(例如，较高动态范围的亮度)和/或较高范围的颜色值(例如更宽的色域)。为了匹配第一HDR图像的色调范围以便改进深度图计算，HDR同步器19可以确定由HDR生成器44使用以生成第一HDR数据的HDR技术94，并将色调对准96发送到色调对准器46。色调对准器46将使用色调对准96指令来执行对次图像的HDR处理以产生第二HDR图像，使得第二HDR图像包括与由HDR生成器44所产生的第一HDR图像相同或近似相同的色调范围。

在一些示例中，色调对准96可以包括用于色调对准器46的指令以执行与HDR生成器44相同的HDR处理。例如，如果HDR同步器19确定HDR生成器44的HDR技术94是基于硬件的MFHDR，则HDR同步器19将包括关于色调对准96的指令，该指令使得色调对准器46对由次相机15B输出的次图像也执行基于硬件的MFHDR。同样，如果HDR同步器19确定HDR生成器44的HDR技术94是ADRC，则HDR同步装置19将包括关于色调对准96的指令，该指令使得色调对准器46对由次相机15B输出的次图像也执行ADRC。

然而，在一些示例中，计算设备10可以不被配置为同时对多组图像执行相同的HDR处理。例如，计算设备10可以在ISP 23中仅包括一个能够执行MFHDR的处理引擎。在这种情况下，HDR同步器19可以包括关于色调对准96的指令，这些指令使得色调对准器46应用不同的HDR处理，诸如ADRC、3曝光HDR、交错HDR、Quad拜耳编码(QBC)HDR或任何其他HDR技术。在其他示例中，HDR同步器19可以包括关于色调对准96的指令，这些指令然后被发送到次相机15B，这使得次相机15A执行“传感器上”HDR技术，诸如3曝光HDR。

在由HDR生成器44使用的相同HDR处理不可用于由次相机15B输出的图像而ISP 23可以具有多个不同HDR技术以供色调对准器46使用的示例中，HDR同步器19可以确定可用HDR处理中的哪一个处理最近似由HDR生成器44执行的处理所产生的HDR图像的色调范围。HDR同步器19然后可以指示色调对准器46使用所确定的HDR技术来生成第二HDR图像，该HDR技术最近似于HDR生成器44产生的色调范围。

使用本公开的技术，由色调对准器46输出的第二HDR图像匹配和/或紧密地近似于第一HDR图像的FOV、分辨率以及色调。深度图计算器然后可以通过比较第一HDR图像和第二HDR图像来确定第一HDR中的像素的相对深度。因为第一HDR图像和第二HDR图像是从稍微不同的视角捕捉的(即，主相机15A和次相机15B在物理上分离)，在两个图像中的像素中表示的关于位置、定向以及特征大小的不同用于深度图计算器以计算每一个像素的深度(例如深度图)。深度图包括在图像中的每一个像素相对于图像传感器的距离，或者在图像中的每一个像素相对于焦点的距离。

深度图计算器21然后可以将计算出的深度图发送到图像效果施加器48。在一些示例中，除了如上所述从第一HDR图像和第二HDR图像(例如，从立体HDR图像)确定深度图之外，深度图计算器21可以执行额外的技术以细化和/或确定第一HDR中的特征的深度值。用于确定和/或细化深度值的其他技术可以包括人工智能(AI)分割辅助立体深度(DFS)、飞行时间(ToF)辅助DFS、结构化光辅助DFS等。例如，深度图计算器可以使用ToF激光器来测量到第一HDR图像中的特征的距离。深度图计算器21可以使用该距离来对从第一HDR图像和第二HDR图像生成的深度图进行精细计时。

图像效果施加器48可以使用该深度图来将景深效果(诸如散焦效果)施加到从主相机15A的输出产生的第一HDR图像。例如，当施加散焦效果时，图像效果施加器48可以使用计算出的深度图来逐渐地模糊第一HDR图像中的像素。例如，图像效果施加器48可以使处于与主图像的对焦距离匹配的深度处的像素保持对焦(例如，不施加模糊)，而图像效果施加器48可以使对焦距离较远的像素逐渐模糊。像素离焦距越远，图像效果施加器48可以施加来实现散焦效果的模糊越多。

图3是图示出不同镜头类型的FOV同步的示例的概念图。如图3所示，在一些示例中，使用具有长焦距镜头的相机捕捉的图像320与使用具有广角镜头的相机(例如，广角FOV)捕捉的图像310相比大约是2倍变焦的FOV(例如，长焦2x FOV)。也就是说，在该示例中，广角镜头和广角FOV可以被视为以1倍变焦，而长焦距镜头和长焦距FOV可以被视为以2倍变焦。这样，如虚线所示，如果图像310的FOV与图像320的全FOV(例如，长焦2x FOV)匹配，则来自图像310的输出FOV将是图像310的全广角FOV的四分之一。如上所述，在一些示例中，当用长焦距镜头的FOV捕捉时，散焦效果最具美感。如图3所示，相机(例如，图2的主相机15A)可以裁剪图像310的广角FOV，以产生等于2x变焦长焦距镜头的全FOV的输出FOV。

对于具有超广角镜头(例如，产生超广角FOV)的相机(例如，图2的次相机15B)，为了输出与长焦距2x FOV相同的FOV，相机将裁剪图像300，使得图像300的全FOV的十六分之一被输出。也就是说，在一些示例中，超广角相机的FOV的十六分之一与2x变焦长焦距镜头的FOV相同。相对于全广角FOV，匹配图像310全FOV的超广角镜头的输出FOV将是图像300的四分之一大小。

图4是图示出使用广角和超广角FOV的示例视场同步技术的框图。如图4所示，主传感器12A是包括能够捕捉广角FOV 400的广角镜头的相机的一部分。次传感器12B是包括能够捕捉超宽FOV 410的超广角镜头的相机的一部分。相机处理器14可以被配置为指示主传感器12A输出广角2x FOV 430。也就是说，相机处理器14可以被配置为指示主传感器12A在例如生成将施加散焦效果的图像时，输出相当于相对于全宽FOV以2x变焦的长焦距镜头的FOV。如图4所示，主传感器12A可以被配置为裁剪全广角FOV 400的中心四分之一以输出广角2x FOV 430。

HDR同步器19可以被配置为直接从相机处理器14或通过查询主传感器12A来确定主传感器12B的输出FOV。基于主传感器12A的输出FOV以及次传感器12B的传感器和镜头类型，HDR同步器19将FOV以及分辨率同步92发送到次传感器12B。FOV以及分辨率同步92将包括使得辅助传感器12B输出与主传感器12A的输出Wide 2x FOV 430匹配的FOV(例如，Wide2x FOV 440)的指令。

在图4的示例中，次传感器12B是包括能够捕捉超广角FOV 410的超广角镜头的相机的一部分。为了匹配主传感器12A的输出Wide 2x FOV 430，FOV以及分辨率同步92可以指示次传感器12B裁剪超广角FOV 410，使得超广角FOV 410的十六分之一被输出以实现输出Wide 2x FOV 440。或者更总体地，FOV以及分辨率同步92可以指示次传感器12B裁剪超广角FOV410，使得次传感器12B的输出FOV与主传感器12A输出FOV匹配。

主传感器12A和次传感器12B可以通过裁剪初始图像使得输出全FOV的部分来实现特定的输出FOV。然而，为了匹配主传感器12A的输出FOV，次传感器12B可以不必裁剪成全超广角FOV 410的中心。在一些示例中，超广角FOV 410中匹配广角FOV可能不在中心。这样，在一些示例中，FOV以及分辨率同步92可以进一步包括用于由次传感器12B在空间上对准FOV输出的指令。

在任何裁剪和空间对准之后，主传感器12A和次传感器12B可以将具有输出FOV的图像发送到ISP 23以进行ISP处理。如上所述，ISP处理可以包括3A统计处理，以及HDR生成器44、色调对准器46、深度图计算器21以及图像效果施加器48，如图2所示。图4将HDR同步器19示出为与ISP 23分离。然而，在一些示例中，HDR同步器19可以是ISP 23的一部分。

在其他示例中，并不指示主传感器12A和次传感器12B执行任何裁剪来实现FOV同步，而是相机处理器14可以被配置为接收主传感器12A和次传感器12两者的全FOV。然后HDR同步器19可以使得ISP 23、CPU 16或计算设备10的另一处理单元来执行FOV同步。

图5图示出了本公开的示例视场和分辨率同步技术。在图5的示例中，HDR同步器19确定主相机15A的主传感器12A被配置为使用合并读出分辨率模式来输出图像，并且被配置为将FOV裁剪为变焦2x。也就是说，主传感器12A的输出FOV相当于长焦距镜头相对于广角镜头2x变焦的输出FOV。HDR同步器19然后可以将FOV以及分辨率同步92发送到次相机15B的次传感器12B。FOV以及分辨率同步92包括使得次传感器12B使用合并读出分辨率模式来输出图像并使得次传感器将图像裁剪成等同于变焦2x的FOV的指令。

图6示出了本公开的示例分辨率同步技术。图6示出了QCFA传感器部分602A的一部分。QCFA 602A具有Quad拜耳马赛克图案。在一个示例中，QCFA传感器的每一个16x16部分可以包括四个相邻的红色滤色镜、四个相邻的蓝色滤色镜以及两组四个相邻的绿色滤色镜。通过组合在一起，这样的图案可以体现较宽范围的色彩。更多绿色滤镜被使用是因为人眼对绿色更敏感。

一种QCFA传感器包括四个相邻的彩色像素，因为QCFA传感器被配置为用于合并读出模式。在合并读出模式中，相邻的颜色像素被平均在一起以形成单个输出像素。将四个相邻颜色像素的值平均在一起会增加输出的信噪比，特别是在低光场景下，这会以分辨率为代价。例如，当使用4:1合并读出时，48MP QCFA传感器将以12MP输出图像。QCFA传感器部分602C示出了在4:1合并读出之后QCFA传感器部分602A的输出。虽然图6的示例示出了4:1合并读出，但是本公开的技术可以用于任何级别的合并读出。

例如，如由Liu等人于2019年10月29日提交的题为“IMAGE CAPTURE MODEADAPTATION”的美国专利申请第16/667662号中所述，在一些变焦操作中，相机处理器14可以在使用像素合并读出技术以适应增加或减少变焦级别的情况下使用这样的技术。在更一般的情况下，图像传感器12可以通过将图像传感器12的多个像素组合成更少的像素以输出到相机处理器14来执行像素合并读出(例如，4x4合并读出、3x3合并读出、2x2合并读出、水平合并读出、垂直合并读出等)。合并读出技术通过使图像传感器12(或在一些实例中相机处理器14)能够通过各种组合方案(包括对每一个输出像素的多个像素平均或求和)将像素组合在一起，改善了信噪比(SNR)。

在其他示例中，QCFA传感器可以被配置为输出全分辨率，诸如不需要合并读出的场景(例如，相对高光的场景)。由于QCFA传感器的图案被布置为用于合并读出目的，QCFA传感器可以被配置为对输出彩色像素执行重新马赛克处理，以至于形成传统的拜耳图案。QCFA传感器部分602B示出了重新马赛克之后的QCFA传感器部分602A。如图所见，重新马赛克处理保持了传感器的全分辨率。

在重新马赛克示例中，图6示出了将拜耳马赛克状态的QCFA传感器部分602A重新马赛克为QCFA传感器部602B。重新马赛克涉及将第一马赛克转换为第二马赛克。为此，处理***(例如，图像传感器12的处理器和/或相机处理器14)可以基于第一马赛克的上下文来重新马赛克。处理***可以基于第一马赛克的一个或多个统计测量(诸如方差和/或标准偏差)来向第一马赛克分配上下文。具有复杂结构(例如，许多边缘)的第一马赛克可以产生高方差和/或标准偏差，导致对应的第一上下文。相反，具有较少结构(例如，很少边缘)的第一马赛克可以产生低方差和/或标准偏差，导致对应的第二上下文。第一马赛克可以具有第一光谱图案(例如Quadra图案)。第二马赛克可以具有第二光谱图案(例如拜耳图案)。在一些示例中，第二光谱模式可以与多通道内插器兼容。

在一些示例中，第一和第二马赛克可以具有相同的分辨率(并且因此以相同的纵横比排列的相同像素)。在其他示例中，第二马赛克可以具有与第一马赛克不同的分辨率。在一个示例中，第二马赛克可以具有比第一马赛克更低的分辨率，并且因此包括第一马赛克中的一些但不是全部像素。

在一些情况下，图像传感器12可以输出图像传感器12全电位FOV(例如，FOV的100％)的全部像素。然而，在一些情况下，相机处理器14可使得图像传感器12输出相对于图像传感器12全电位FOV缩减的像素数(例如，中心33％、中心25％等)。换句话说，本文所使用的术语“输出像素”大体上是指从图像传感器12输出到相机处理器14的实际像素数(例如，100％、中心25％等)。

图7图示出了本公开的用于Quad拜耳滤色镜阵列(QCFA)的另一示例视场和分辨率同步技术。在该示例中，主传感器12A和次传感器12B都是QCFA传感器。这样，HDR同步器19可以确定主传感器12A是以重新马赛克模式700A还是以合并读出模式710A输出图像。基于该确定，HDR同步器19将指示次传感器12B以合并读出模式710B或者以重新马赛克模式700B输出图像，以匹配主传感器12A的输出。在图7的示例中，主传感器12A和次传感器12B两者都被配置为裁剪成2x变焦FOV。在合并读出上下文中，传感器还可以执行放大以匹配FOV，因为在执行合并读出时传感器分辨率缩减。然而，本公开的技术可以使用除了2x变焦之外FOV。

在同步分辨率和FOV之后，主传感器12A和次传感器12B可以将具有输出FOV和分辨率的图像发送到ISP 23以进行ISP处理。如上所述，ISP处理可以包括3A统计处理，以及HDR生成器44、色调对准器46、深度图计算器21和图像效果施加器48，如图2所示。图7将HDR同步器19示出为与ISP 23分离。然而，在一些示例中，HDR同步器19可以是ISP 23的一部分。

图8是图示出根据本公开的示例技术的相机处理的示例操作的流程图。图8的技术可以由一个或多个处理器(诸如图1的相机处理器14)来执行。在本公开的一个示例中，相机处理器14可以被配置为从第一图像传感器接收一个或多个第一图像，其中，该一个或多个第一图像具有第一视场(FOV)和第一分辨率(800)。相机处理器14还可以从一个或多个第一图像生成第一高动态范围(HDR)图像(802)。

相机处理器14还可以生成第二HDR图像(804)。例如，相机处理器14可以进一步被配置为从第二图像传感器接收一个或多个第二图像，其中该一个或多个第二图像具有第二FOV和第二分辨率。如下面将参考图9所解释的，相机处理器14可以被配置为从一个或多个第二图像生成第二HDR图像。例如，相机处理器可以将一个或多个第二图像的第二FOV和第二分辨率与一个或多个第一图像的第一FOV和第一分辨率同步。此外，相机处理器14可以将与被应用于一个或多个第一图像的处理相同的HDR处理应用于一个或多个第二图像，以产生第一HDR图像。

相机处理器14然后可以使用第一HDR图像和第二HDR图像生成深度图(806)，并使用该深度图将图像效果施加于第一HDR图(808)。在一个示例中，图像效果是散焦效果。如上文所解释的，在一些示例中，相机处理器14还可以被配置为将由第二图像传感器输出的FOV和分辨率两者同步为与第一图像传感器的FOV输出和分辨率相同。图9更详细地描述了包括FOV和分辨率同步的处理。

图9是示出根据本公开的示例技术的相机处理的另一示例操作的流程图。图9的技术可以由一个或多个处理器(诸如图1的相机处理器14)来执行。

在本公开的一个示例中，相机处理器14可以被配置为从第一图像传感器接收一个或多个第一图像，其中该一个或多个第一图像具有第一视场(FOV)和第一分辨率(900)。相机处理器14可以进一步被配置为从第二图像传感器接收一个或多个第二图像，其中该一个或多个第二图像具有第二FOV和第二分辨率(902)。相机处理器14可以进一步被配置为将一个或多个第二图像的第二FOV与一个或多个第一图像的第一FOV同步(904)，并且将一个或多个第二图像的第二分辨率与一个或多个第一图像的第一分辨率同步(906)。

相机处理器14可以从一个或多个第一图像生成第一高动态范围(HDR)图像(908)，并且可以基于该第一HDR图像对一个或多个第二图像执行色调对准以产生第二HDR图像(910)。相机处理器14可以使用第一HDR图像和第二HDR图像生成深度图(912)，并且可以使用该深度图将图像效果施加于第一HDR(914)。在一个示例中，图像效果是散焦效果。

在本公开的一个示例中，为了将一个或多个第二图像的第二FOV与一个或多个第一图像的第一FOV同步，相机处理器14被配置为使得第二图像传感器裁剪第二FOV以匹配第一FOV。在另一示例中，为了进一步将一个或多个第二图像的第二FOV与一个或多个第一图像的第一FOV同步，相机处理器14还被配置为使得第二图像传感器将第二FOV在空间上对准(例如，重新居中)成匹配第一FOV。

在本公开的另一示例中，为了将一个或多个第二图像的第二分辨率与一个或多个第一图像的第一分辨率同步，相机处理器14还被配置为使得第二图像传感器对具有同步的第二FOV的一个或多个第二图像执行重新马赛克。在另一示例中，为了将一个或多个第二图像的第二分辨率与一个或多个第一图像的第一分辨率同步，相机处理器14还被配置为使得第二图像传感器对具有同步的第二FOV的一个或多个第二图像执行合并读出操作。

在本公开的另一示例中，为了从一个或多个第一图像生成第一HDR图像，相机处理器14还被配置为使用多帧HDR技术使用一个或多个第一图像中的多个第一图像来生成第一HDR图像。在一个示例中，为了基于第一HDR图像对一个或多个第二图像执行色调对准以产生第二HDR图像，相机处理器14还被配置为使用多帧HDR技术使用一个或多个第二图像中的多个第二图像来生成第二HDR图像。

在另一示例中，为了从一个或多个第一图像生成第一HDR图像，相机处理器14还被配置为使用第一HDR技术使用一个或多个第一图像中的多个第一图像来生成第一HDR图像。在该示例中，为了基于第一HDR图像对一个或多个第二图像执行色调对准以产生第二HDR图像，相机处理器14还被配置为使用第二HDR技术来生成第二HDR图像，该第二HDR技术近似于由第一HDR技术产生的色调范围。在一个示例中，第一HDR技术是多帧HDR技术，且第二HDR技术为三曝光HDR技术或自适应动态范围编码(ADRC)技术中的一者。

下面列出了本公开的其他说明性示例。

示例1-一种被配置为用于相机处理的装置，该装置包括：用于从第一图像传感器接收一个或多个第一图像的部件，其中该一个或多个第一图像具有第一视场(FOV)和第一分辨率；用于从该一个或多个第一图像生成第一高动态范围(HDR)图像的部件；用于生成第二高动态范围(HDR)图像的部件；以及，用于使用该第一HDR图像和该第二HDR图像生成深度图的部件。

示例2-如示例1所述的装置，还包括：用于从第二图像传感器接收一个或多个第二图像的部件，其中，该一个或多个第二图像具有第二FOV和第二分辨率；以及，用于从该一个或多个第二图像生成该第二HDR图像的部件。

示例3-如示例2所述的装置，其中，用于从该一个或多个第二图像生成该第二HDR图像的部件包括：用于基于第一HDR图像对一个或多个第二图像执行色调对准以产生该第二HDR图像的部件。

示例4-如示例2所述的装置，还包括：用于将一个或多个第二图像的第二FOV与一个或多个第一图像的第一FOV同步的部件；以及，用于将一个或多个第二图像的第二分辨率与一个或多个第一图像的第一分辨率同步的部件，其中，用于从一个或多个第二图像生成第二HDR图像的部件出现在用于同步第二FOV的部件和用于同步第二分辨率的部件之后。

示例5-如示例4所述的装置，其中，用于将一个或多个第二图像的第二FOV与一个或多个第一图像的第一FOV同步的部件包括：用于使得第二图像传感器裁剪第二FOV以匹配第一FOV的部件。

示例6-如示例5所述的装置，其中，用于将一个或多个第二图像的第二FOV与一个或多个第一图像的第一FOV同步的部件还包括：用于将第二FOV在空间上对准成匹配第一FOV的部件。

示例7-如示例2所述的装置，其中，用于将一个或多个第二图像的第二分辨率与一个或多个第一图像的第一分辨率同步的部件包括：用于使得第二图像传感器对具有同步的第二FOV的一个或多个第二图像执行重新马赛克的部件。

示例8-如示例2所述的装置，其中，用于将一个或多个第二图像的第二分辨率与一个或多个第一图像的第一分辨率同步的部件包括：用于使得第二图像传感器对具有同步的第二FOV的一个或多个第二图像执行合并读出操作的部件。

示例9-如示例2所述的装置，其中，用于从一个或多个第一图像生成第一HDR图像的部件包括用于使用多帧HDR技术使用一个或多个第一图像中的多个第一图像来生成第一HDR图像的部件，并且其中，用于从一个或多个第二图像生成第二HDR图像的部件包括用于使用该多帧HDR技术使用一个或多个第二图像中的多个第二图像来生成第一HDR图像。

示例10-如示例2所述的装置，其中，用于从一个或多个第一图像生成第一HDR图像的部件包括用于使用第一HDR技术使用一个或多个第一图像中的多个第一图像来生成第一HDR图像的部件，并且其中，用于从一个或多个第二图像生成第二HDR图像的部件包括用于基于由第一HDR技术所产生的色调范围使用第二HDR技术来生成第一HDR图像的部件。

示例11-如示例2所述的装置，其中，第一HDR技术是多帧HDR技术，且其中，第二HDR技术为三曝光HDR技术或自适应动态范围编码(ADRC)技术中的一者。

示例12-如示例1所述的装置，还包括：用于使用深度图将图像效果施加于第一HDR图像的部件。

示例13-如示例12所述的设备，其中，图像效果是散焦效果。

在一个或多个示例中，所描述的功能可以以硬件、软件、固件或其任何组合来实现。如果以软件实现，则功能可以作为一个或多个指令或代码被存储在计算机可读介质上或通过计算机可读介质传输，并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于诸如数据存储介质的有形介质。以此方式，计算机可读介质大体上可以对应于非暂时性的有形计算机可读存储介质。数据存储介质可以是可由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中所描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。

作为示例而非限制，这样的计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备、闪存、高速缓冲存储器或任何其他介质，这些介质可以被用于以指令或数据结构的形式来存储期望的程序代码，并且可以由计算机访问。应当理解，计算机可读存储介质和数据存储介质不包括载波、信号或其他暂时性介质，而是指向非暂时性的有形存储介质。如本文所使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地再现数据，而盘用激光光学地再现数据。上述内容的组合也应被包括在计算机可读介质的范围内。

指令可以由一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或分立的逻辑电路。因此，本文中使用的术语“处理器”可以是指任何前述结构或适用于实现本文所描述的技术的任何其他结构。而且，这些技术可以在一个或多个电路或逻辑元件中完全实现。

本公开的技术可以在广泛不同的设备或装置中被实现，其包括无线手机、集成电路(IC)或一组IC(例如，芯片组)。本公开中描述了各种组件、模块或单元，以强调被配置为执行所公开的技术的设备的各功能方面，但不必由不同的硬件单元来实现。

已经描述了各种示例。这些和其他的示例都在随附的权利要求书的范围内。

Claims (30)

1.一种被配置为用于相机处理的设备，所述设备包括：

存储器，其被配置为接收图像；以及

一个或多个处理器，其与所述存储器通信，所述一个或多个处理器被配置为：

从第一图像传感器接收一个或多个第一图像，其中，所述一个或多个第一图像具有第一视场(FOV)和第一分辨率；

从所述一个或多个第一图像生成第一高动态范围(HDR)图像；

生成第二高动态范围(HDR)图像；以及

使用所述第一HDR图像和所述第二HDR图像生成深度图。

2.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为：

从第二图像传感器接收一个或多个第二图像，其中所述一个或多个第二图像具有第二FOV和第二分辨率；以及

从所述一个或多个第二图像生成所述第二HDR图像。

3.根据权利要求2所述的设备，其中，为了从所述一个或多个第二图像生成所述第二HDR图像，所述一个或多个处理器还被配置为：

基于所述第一HDR图像对所述一个或多个第二图像执行色调对准以产生所述第二HDR图像。

4.根据权利要求2所述的设备，其中，所述一个或多个处理器还被配置为：

将所述一个或多个第二图像的所述第二FOV与所述一个或多个第一图像的所述第一FOV同步；以及

将所述一个或多个第二图像的所述第二分辨率与所述一个或多个第一图像的所述第一分辨率同步，并且

其中，在同步所述第二FOV和同步所述第二分辨率之后，所述一个或多个处理器从所述一个或多个第二图像生成所述第二HDR图像。

5.根据权利要求4所述的设备，其中，为了将所述一个或多个第二图像的所述第二FOV与所述一个或多个第一图像的所述第一FOV同步，所述一个或多个处理器还被配置为：

使得所述第二图像传感器裁剪所述第二FOV以匹配所述第一FOV。

6.根据权利要求5所述的设备，其中，为了进一步将所述一个或多个第二图像的所述第二FOV与所述一个或多个第一图像的所述第一FOV同步，所述一个或多个处理器还被配置为：

在空间上对准所述第二FOV以匹配所述第一FOV。

7.根据权利要求2所述的设备，其中，为了将所述一个或多个第二图像的所述第二分辨率与所述一个或多个第一图像的所述第一分辨率同步，所述一个或多个处理器还被配置为：

使得所述第二图像传感器对具有同步的第二FOV的所述一个或多个第二图像执行重新马赛克。

8.根据权利要求2所述的设备，其中，为了将所述一个或多个第二图像的所述第二分辨率与所述一个或多个第一图像的所述第一分辨率同步，所述一个或多个处理器还被配置为：

使得所述第二图像传感器对具有同步的第二FOV的所述一个或多个第二图像执行合并读出操作。

9.根据权利要求2所述的设备，其中，为了从所述一个或多个第一图像生成所述第一HDR图像，所述一个或多个处理器还被配置为使用多帧HDR技术使用所述一个或多个第一图像中的多个第一图像来生成所述第一HDR图像，以及

其中，为了从所述一个或多个第二图像生成所述第二HDR图像，所述一个或多个处理器还被配置为使用所述多帧HDR技术使用所述一个或多个第二图像中的多个第二图像来生成所述第二HDR图像。

10.根据权利要求2所述的设备，其中，为了从所述一个或多个第一图像生成所述第一HDR图像，所述一个或多个处理器还被配置为使用第一HDR技术使用所述一个或多个第一图像中的多个第一图像来生成所述第一HDR图像，以及

其中，为了从所述一个或多个第二图像生成所述第二HDR图像，所述一个或多个处理器还被配置为基于由所述第一HDR技术产生的色调范围使用第二HDR技术来生成所述第二HDR图像。

11.根据权利要求10所述的设备，其中，所述第一HDR技术是多帧HDR技术，并且其中，所述第二HDR技术为三曝光HDR技术或自适应动态范围编码(ADRC)技术中的一者。

12.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为：

使用所述深度图对所述第一HDR图像施加图像效果。

13.根据权利要求12所述的设备，其中，所述图像效果是散焦效果。

14.根据权利要求2所述的设备，还包括：

所述第一图像传感器；

所述第二图像传感器；以及

显示器，其被配置为显示所述第一HDR图像。

15.一种相机处理的方法，所述方法包括：

从第一图像传感器接收一个或多个第一图像，其中，所述一个或多个第一图像具有第一视场(FOV)和第一分辨率；

从所述一个或多个第一图像生成第一高动态范围(HDR)图像；

生成第二高动态范围(HDR)图像；以及

使用所述第一HDR图像和所述第二HDR图像来生成深度图。

16.根据权利要求15所述的方法，还包括：

从第二图像传感器接收一个或多个第二图像，其中，所述一个或多个第二图像具有第二FOV和第二分辨率；以及

从所述一个或多个第二图像生成所述第二HDR图像。

17.根据权利要求16所述的方法，其中，从所述一个或多个第二图像生成所述第二HDR图像包括：

基于所述第一HDR图像对所述一个或多个第二图像执行色调对准以产生所述第二HDR图像。

18.根据权利要求16所述的方法，还包括：

将所述一个或多个第二图像的所述第二FOV与所述一个或多个第一图像的所述第一FOV同步；以及

将所述一个或多个第二图像的所以所述第二分辨率与所述一个或多个第一图像的所述第一分辨率同步，并且

其中，在同步所述第二FOV并且同步所述第一分辨率之后，从所述一个或多个第二图像生成所述第二HDR图像。

19.根据权利要求18所述的方法，其中，将所述一个或多个第二图像的所述第二FOV与所述一个或多个第一图像的第一FOV同步包括：

使得所述第二图像传感器裁剪所述第二FOV以匹配所述第一FOV。

20.根据权利要求19所述的方法，其中，将所述一个或多个第二图像的所述第二FOV与所述一个或多个第一图像的所述第一FOV同步还包括：

在空间上对准所述第二FOV以匹配所述第一FOV。

21.根据权利要求16所述的方法，其中，将所述一个或多个第二图像的所述第二分辨率与所述一个或多个第一图像的所述第一分辨率同步包括：

使得所述第二图像传感器对具有同步的第二FOV的所述一个或多个第二图像执行重新马赛克。

22.根据权利要求16所述的方法，其中，将所述一个或多个第二图像的所述第二分辨率与所述一个或多个第一图像的所述第一分辨率同步包括：

使得所述第二图像传感器对具有同步的第二FOV的所述一个或多个第二图像执行合并读出操作。

23.根据权利要求16所述的方法，其中，从所述一个或多个第一图像生成所述第一HDR图像包括使用多帧HDR技术使用所述一个或多个第一图像中的多个第一图像来生成所述第一HDR图像，并且

其中，从所述一个或多个第二图像生成所述第二HDR图像包括使用所述多帧HDR技术使用所述一个或多个第二图像中的多个第二图像来生成所述第二HDR图像。

24.根据权利要求16所述的方法，其中，从所述一个或多个第一图像生成所述第一HDR图像包括使用第一HDR技术使用所述一个或多个第一图像中的多个第一图像来生成所述第一HDR图像，并且

其中，从所述一个或多个第二图像生成所述第二HDR图像包括基于由所述第一HDR技术生成的色调范围使用第二HDR技术来生成所述第二HDR图像。

25.根据权利要求24所述的方法，其中，所述第一HDR技术是多帧HDR技术，并且其中，所述第二HDR技术为三曝光HDR技术或自适应动态范围编码(ADRC)技术中的一者。

26.根据权利要求15所述的方法，还包括：

使用所述深度图对所述第一HDR图像施加图像效果。

27.根据权利要求26所述的方法，其中，所述图像效果是散焦效果。

28.一种被配置为执行相机处理的装置，所述装置包括：

用于从第一图像传感器接收一个或多个第一图像的部件，其中，所述一个或多个第一图像具有第一视场(FOV)和第一分辨率；

用于从所述一个或多个第一图像生成第一高动态范围(HDR)图像的部件；

用于生成第二高动态范围(HDR)图像的部件；以及

用于使用所述第一HDR图像和所述第二HDR图像生成深度图的部件。

29.一种存储指令的非暂时性计算机可读存储介质，所述指令在被执行时使得一个或多个处理器：

从第一图像传感器接收一个或多个第一图像，其中，所述一个或多个第一图像具有第一视场(FOV)和第一分辨率；

从所述一个或多个第一图像生成第一高动态范围(HDR)图像；

生成第二高动态范围(HDR)图像；以及

使用第一HDR图像和第二HDR图像生成深度图。

30.根据权利要求29所述的非暂时性计算机可读存储介质，其中，所述指令进一步使得所述一个或多个处理器：

从第二图像传感器接收一个或多个第二图像，其中，所述一个或多个第二图像具有第二FOV和第二分辨率；以及

从所述一个或多个第二图像生成所述第二HDR图像。

Images