CN117581556A - 用于降噪的级联图像处理 - Google Patents

Abstract

本公开内容提供用于支持低光视频序列中的降噪的图像处理的***、方法及设备。通过基于级联流水线内的操作位置的每个集合配置的级联操作集合来实现降噪。级联可以被实现为图像信号处理器(ISP)内的一系列级联图像后处理引擎(IPE)。

Description

用于降噪的级联图像处理

技术领域

本公开内容的各方面通常涉及图像处理，以及更具体地，涉及图像中的降噪。一些特征可以实现并且提供改进的图像质量，包括支持低光环境中的实时高分辨率视频序列。

背景技术

图像捕获设备具有固有限制。图像质量与捕获图像的图像传感器的灵敏度和正在捕获的场景的亮度有关。限制图像传感器能力和可用光两者都可能限制对高质量图像的捕获。

发明内容

下文概述了本公开内容的一些方面，以提供对所讨论的技术的基本理解。该概述不是对本公开内容的所有预期特征的广泛综述，并且既不旨在标识本公开内容的所有方面的关键或重要元素，也不旨在描绘本公开内容的任何或所有方面的范围。其唯一目的是以概述的形式给出本公开内容的一个或多个方面的一些概念，作为稍后给出的更详细描述的序言。

图像捕获设备、可以捕获一个或多个数字图像(无论是静止图像照片还是针对视频的图像序列)的设备可以被并入到各种各样的设备中。举例来说，图像捕获设备可以包括独立数码相机或数字视频摄像机、配备有相机的无线通信设备手持机，例如移动电话、蜂窝式或卫星无线电电话、个人数字助理(PDA)、面板或平板计算机、游戏设备、计算机设备，例如网络摄像机、视频监控相机，或具有数字成像或视频能力的其它设备。

一般来说，本公开内容描述涉及具有图像传感器及图像信号处理器(ISP)的数码相机的图像处理技术。所述图像信号处理器可以被配置为控制对来自一个或多个图像传感器的图像帧的捕获且处理来自所述一个或多个图像传感器的一个或多个图像帧以产生经校正的图像帧中的场景的视图。经校正的图像帧可以是形成视频序列的图像帧序列的一部分。视频序列可以包括从所述图像传感器或其它图像传感器接收的其它图像帧和/或基于来自所述图像传感器或另一图像传感器的输入的其它经校正的图像帧。

在示例中，所述图像信号处理器可以接收响应于在CPU上加载软件(诸如相机应用)而捕获图像帧序列的指令。所述图像信号处理器可以被配置为基于来自所述图像传感器的相应的经校正的图像来产生输出帧的单个流。所述输出帧的单个流可以包括包含来自图像传感器的已经被校正的图像数据的图像帧，诸如通过图像后处理引擎(IPE)、级联的一系列IPE和/或用于执行降噪、伽马校正和色调映射中的一项或多项的其它图像处理电路进行处理。可以通过组合本公开内容的所述图像校正的各方面与例如高动态范围(HDR)摄影或多帧降噪(MFNR)的其它计算摄影技术来产生所述经校正的图像帧。

在由所述图像信号处理器使用本文中的各种实施例中描述的所述图像校正确定表示所述场景的输出帧之后，所述输出帧可以作为单个静止图像和/或作为视频序列的一部分显示在设备显示器上，作为图片或视频序列保存到存储设备，通过网络发送和/或打印到输出介质。例如，所述图像信号处理器可以被配置为从不同的图像传感器获得图像数据的输入帧(例如，像素值)，以及继而产生图像数据的对应输出帧(例如，预览显示帧、静态图像捕获、视频帧等)。在其它示例中，所述图像信号处理器可以将所述图像数据的帧输出到各种输出设备和/或相机模块以用于进一步处理，诸如用于3A参数同步(例如，自动聚焦(AF)、自动白平衡(AWB)和自动曝光控制(AEC))，经由所述输出帧产生视频文件，配置帧以用于显示，配置帧以用于存储，通过网络连接发送所述帧等。也就是说，所述图像信号处理器可以从一个或多个图像传感器获得输入帧，每个图像传感器都耦合到一个或多个相机镜头，并且继而可以产生输出帧流并将其输出到各个输出目的地在这样的示例中，所述图像信号处理器可以被配置为产生可以在低光摄影中具有改进的外观的输出帧流。

在一些方面中，可以针对HDR摄影执行所述方法，其中使用不同曝光时间、不同光圈、不同透镜或其它不同特性捕获所述第一图像帧和所述第二图像帧，所述特性可能在组合两个图像帧时导致融合图像的改进的动态范围。在一些方面中，可以针对MFNR摄影执行所述方法，其中使用相同或不同曝光时间捕获所述第一图像帧和所述第二图像帧。

在一些方面中，设备可以包括图像信号处理器或处理器，其包括用于相机控制和/或处理的特定功能性，例如诸如通过指定色调映射、伽马校正量或用于色彩校正的矩阵来启用或禁用所述图像校正或以其它方式控制所述图像校正的各方面。所述至少一个处理器还可以或替代地包括应用处理器。本文中所描述的方法及技术可以完全由所述图像信号处理器或处理器执行，或各种操作可以在所述图像信号处理器与处理器之间拆分，以及在一些方面中跨越附加处理器进行拆分。

所述装置可以包括一个、两个或更多个图像传感器，例如包括第一图像传感器。当存在多个图像传感器时，所述第一图像传感器可以具有比所述第二图像传感器要大的视场(FOV)，或者所述第一图像传感器可以具有与所述第二图像传感器不同的灵敏度或不同的动态范围。在一个示例中，所述第一图像传感器可以是广角图像传感器，并且所述第二图像传感器可以是长焦(tele)图像传感器。在另一示例中，所述第一传感器被配置为通过具有第一光轴的第一透镜获得图像，并且所述第二传感器被配置为通过具有不同于所述第一光轴的第二光轴的第二透镜获得图像。另外或替代地，所述第一透镜可以具有第一放大率，并且所述第二透镜可以具有不同于所述第一放大率的第二放大率。该配置可以与移动设备上的透镜集群一起发生，例如其中多个图像传感器以及相关联的透镜位于所述移动设备的前侧或后侧上的偏移位置中。可以包括具有更大、更小或相同视场的附加图像传感器。本文描述的图像校正技术可以应用于从多传感器设备中的图像传感器中的任何图像传感器中捕获的图像帧。

在本公开内容的附加方面中，公开了一种被配置用于图像处理和/或图像捕获的设备。所述装置包括用于捕获图像帧的单元。所述装置进一步包括用于捕获表示场景的数据的一个或多个单元，例如图像传感器(包括电荷耦合器件(CCD)、拜耳滤色镜传感器、红外(IR)检测器、紫外(UV)检测器、互补金属氧化物半导体(CMOS)传感器)、飞行时间检测器。所述装置可以进一步包括用于将光线积累及/或聚焦到一个或多个图像传感器中的一个或多个单元(包括简单透镜、复合透镜、球面透镜及非球面透镜)。可以控制这些组件以捕获输入到本文描述的图像处理技术的第一和/或第二图像帧。

对于本领域普通技术人员来说，在结合附图回顾对特定示例性方面的以下描述之后，其它方面、特征和实现将变得显而易见。虽然下文可能关于某些方面和图论述了特征，但是各个方面可以包括本文论述的有利特征中的一个或多个特征。换句话说，虽然可能将一个或多个方面论述为具有某些有利特征，但是此类特征中的一个或多个特征还可以根据各个方面来使用。以类似的方式，虽然下文可能将示例性方面论述为设备、***或方法方面，但是示例性方面可以在各种设备、***和方法中实现。

该方法可以嵌入在计算机可读介质中，作为包括使处理器执行该方法的步骤的指令的计算机程序代码。在一些实施例中，所述处理器可以是移动设备的一部分，所述移动设备包括：第一网络适配器，其被配置为通过多个网络连接中的第一网络连接发送数据，诸如作为记录或作为流数据的图像或视频；以及处理器，其耦合到所述第一网络适配器和所述存储器。所述处理器可以使得在无线通信网络(诸如5G NR通信网络)上传输本文描述的经校正的图像帧。

上文已经相当广泛地概述了根据本公开内容的示例的特征和技术优点。下文将描述额外的特征和优点。所公开的概念和特定示例可以容易地用作用于修改或设计用于实现本公开内容的相同目的其它结构的基础。这样的等效构造不背离所附权利要求的范围。当结合附图考虑时，根据下文的描述将更好地理解本文公开的概念的特性(其组织和操作方法两者)以及相关联的优点。附图中的每个附图是出于说明和描述的目的来提供的，而不作为对权利要求的界限的限定。

虽然在本申请中通过对一些示例的说明来描述各方面和实现方式，但是本领域技术人员将理解的是，在许多其它布置和场景中可能产生附加的实现方式和用例。本文描述的创新可以是跨越许多不同的平台类型、设备、***、形状、大小、封装布置来实现的。例如，各方面和/或各用途可以经由集成芯片实现方案和其它基于非模块组件的设备(例如，终端用户设备、车辆、通信设备、计算设备、工业装置、零售/购买设备、医疗设备、实现人工智能(AI)的设备等)而产生。虽然一些示例可能专门地针对于用例或应用，或者可能不是专门地针对于用例或应用，但是可能出现所描述的创新的各种各样的适用性。实现的范围可以从芯片级或模块化组件到非模块化、非芯片级实现，并且进一步到并入所描述的创新的一个或多个方面的聚合式、分布式或原始设备制造商(OEM)设备或***。在一些实际设置中，并入所描述的方面和特征的设备还可以必要地包括用于实现和实施所要求保护和所描述的各方面的额外组件和特征。例如，对无线信号的发送和接收必要地包括用于模拟和数字目的的多个组件(例如，包括天线、射频(RF)链、功率放大器、调制器、缓冲器、处理器、交织器、加法器/相加器等的硬件组件)。本文中描述的创新旨在可以在具有不同尺寸、形状和构造的各种设备、芯片级组件、***、分布式布置、终端用户装置等中实施。

附图说明

通过参考以下附图，可以实现对本公开内容的性质和优点的进一步理解。在附图中，类似的组件或特征可能具有相同的附图标记。此外，可以通过在附图标记后面添加破折号和用于在类似组件之间加以区分的第二标记来区分相同类型的各种组件。如果在说明书中仅使用第一附图标记，则描述适用于具有相同的第一附图标记的类似组件中的任何一者，而不考虑第二附图标记。

图1示出用于执行来自一个或多个图像传感器的图像捕获的示例设备100的框图。

图2是根据一个或多个方面的示出的级联图像后处理引擎(IPE)的框图。

图3是示出根据一个或多个方面的用于处理具有多个降噪操作的图像帧的方法的流程图。

图4是示出根据一个或多个方面的针对通过级联图像后处理引擎(IPE)的图像帧的处理流的框图。

各个附图中的相似的附图标记和命名指示相似的元素。

具体实施方式

以下结合附图阐述的详细描述旨在作为对各种配置的描述，而不旨在限制本公开内容的范围。而是，“具体实施方式”包括用于提供对本发明主题的全面理解的具体细节。对于本领域技术人员将显而易见的是，并非在每种情况下都需要这些特定细节，并且在一些实例中，为了呈现清楚，公知的结构和组件以框图形式示出。

本公开内容提供了支持高质量、高分辨率(例如，4K、8K、16K或以上)的***、装置、方法和计算机可读介质，视频捕获使用实时处理来降低噪声、增加亮度并改善视频内的细节和纹理。本公开内容的各方面对于具有小像素尺寸的图像捕获设备可能是特别有利的，这些图像捕获设备具有降低的聚光能力并且更可能在低光环境中受到影响。

可以实现在本公开内容中描述的主题的特定实现方式，以实现以下潜在优点或益处中的一个或多个优点或益处。在一些方面中，本公开内容提供了用于降低噪声、增加亮度、增强图像质量、改善纹理细节以及提供对高分辨率视频序列的实时处理的技术。

用于使用一个或多个图像传感器(例如智能电话)捕获图像帧的示例设备可以包括设备的背侧(例如，与用户显示器相对的侧)或前侧(例如，与用户显示器相同的侧)上的两个、三个、四个或更多个相机的配置。具有多个图像传感器的设备包括一个或多个图像信号处理器(ISP)、计算机视觉处理器(CVP)(例如，AI引擎)或用于处理由图像传感器捕获的图像的其它合适的电路。一个或多个图像信号处理器可以将处理后的图像帧提供给存储器和/或处理器(例如，应用处理器、图像前端(IFE)、图像处理引擎(IPE)或其他合适的处理电路)以用于进一步处理，例如，用于编码、存储、传输或其它操纵。

如本文中所使用的，图像传感器可以指代图像传感器本身及耦合到图像传感器的任何某些其它组件，组件用于产生图像帧以供图像信号处理器或其它逻辑电路或存储器中的存储装置(无论是短期缓冲器还是长期非易失性存储器)处理。举例来说，图像传感器可以包括相机的其它组件，其包括快门、缓冲器或用于存取图像传感器的个别像素的其它读出电路。图像传感器可以进一步指代模拟前端或用于将模拟信号转换成针对图像帧的数字表示的其它电路，所述数字表示被提供给耦合到图像传感器的数字电路。

在下面的描述中，阐述了大量具体的细节(例如具体组件、电路和过程的示例)以便提供对本公开内容的透彻理解。如本文中所使用的，术语“耦合”意指直接连接或者通过一个或多个中间组件或电路连接。另外，在下面的描述中以及出于解释的目的，阐述了特定的术语以便提供对本公开内容的透彻理解。然而，本领域的技术人员将明白的是：实施本文中公开的教导可以不需要这些具体的细节。在其他实例中，为了避免模糊本公开内容的教导，以框图形式示出了公知的电路和设备。

以下详细描述的一些部分以进程、逻辑框、处理和对计算机存储器内的数据比特的操作的其它符号表示的形式提出。在本公开内容中，进程、逻辑框、过程等被设想为导致期望结果的步骤或指令的自洽序列。这些步骤是需要对物理量的物理操作的步骤。通常，虽然不是必须地，这些量采取电或磁信号的形式，能够被存储、传输、组合、比较，并以其他方式在计算机***中操纵。

在附图中，单个框可以被描述为执行一个或多个功能。由该框执行的一个或多个功能可以在单个组件中或跨多个组件执行，和/或可以使用硬件、软件或硬件和软件的组合来执行。为了清楚地表示硬件和软件之间的该可交换性，下文对各个说明性的组件、框、模块、电路和步骤均围绕其功能进行了总体描述。至于这样的功能性是实现为硬件还是软件，取决于特定的应用以及施加在整个***上的设计约束。技术人员可以针对每个特定的应用，以变化的方式来实现所描述的功能性，但是这样的实现决策不应当被解释为造成脱离本公开内容的范围。此外，示例设备可以包括除所示组件之外的组件，包括诸如处理器、存储器等的公知组件。

本公开内容的各方面适用于包括或耦合到能够捕获图像帧(或“帧”)的两个或更多个图像传感器的任何合适的电子设备。此外，本公开内容的各方面可以在具有相同或不同能力和特性(例如分辨率、快门速度、传感器类型等)的图像传感器或耦合到图像传感器的设备中实现。此外，本公开内容的各方面可以在用于处理图像帧的设备中实现，无论设备是否包括或耦合到图像传感器，诸如可以检索存储的图像以进行处理的处理设备，包括存在于云计算***中的处理设备。

除非特别声明，否则从以下讨论中可以理解的是：贯穿本申请使用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”，“相乘”，“平均”、“监测”、“比较”、“应用”、“更新”、“测量”、“推导”、“设置”，“生成”等等术语的讨论是指计算机***或类似电子计算设备的动作和处理，其操纵并将计算机***的寄存器和存储器内表示为物理(电子)量的数据转换成类似地表示成计算机***的寄存器、存储器、或其它这种信息存储、传输或显示设备内的物理量的其它数据。

术语“设备”和“装置”不限于一个或特定数量的物理对象(例如一部智能手机、一个相机控制器、一个处理***等)。如本文所使用的，设备可以是具有可以实现本公开内容的至少一些部分的一个或多个部分的任何电子设备。虽然下文的描述和示例使用术语“设备”来描述本公开内容的各个方面，但是术语“设备”不限于特定配置、类型或数量的对象。如本文所使用的，装置可以包括用于执行所描述的操作的设备或设备的一部分。

图1示出用于执行来自一个或多个图像传感器的图像捕获的示例设备100的框图。设备100可以包括或以其它方式耦合到用于处理来自一个或多个图像传感器(例如第一图像传感器101、第二图像传感器102及深度传感器140)的图像帧的图像信号处理器112。在一些实现方式中，设备100还包括或耦合到处理器104和存储指令108的存储器106。设备100还可以包括或耦合到显示器114和输入/输出(I/O)组件116。I/O组件116可以用于与用户交互，诸如触摸屏接口和/或物理按钮。I/O组件116还可以包括用于与其它设备进行通信的网络接口，包括广域网(WAN)适配器152、局域网(LAN)适配器153和/或个域网(PAN)适配器154。示例WAN适配器是4G LTE或5G NR无线网络适配器。示例LAN适配器153是IEEE802.11WiFi无线网络适配器。示例PAN适配器154是蓝牙无线网络适配器。适配器152、153和/或154中的每一项可以耦合到天线，包括被配置用于主接收和分集接收和/或被配置用于接收特定频带的多个天线。设备100还可以包括或耦合到用于设备100的电源118，例如电池或将设备100耦合到能量源的组件。设备100还可以包括或耦合到图1中未示出的额外特征或组件。在一个示例中，可以包括多个收发机和基带处理器的无线接口可以耦合到或包括在用于无线通信设备的WAN适配器152中。在另一示例中，用于将模拟图像帧数据转换为数字图像帧数据的模拟前端(AFE)可以耦合在图像传感器101和102与图像信号处理器112之间。

设备可以包括或耦合到用于与传感器以接口连接以接收关于设备100的移动的数据、关于设备100周围的环境的数据和/或其它非相机传感器数据的传感器集线器150。一个示例非相机传感器是陀螺仪，被配置用于测量旋转、取向和/或角速度以生成运动数据的设备。另一示例非相机传感器是加速度计，被配置用于测量加速度的设备，其还可以用于通过适当地积分所测量的加速度来确定速度和行进的距离，并且加速度、速度和/或距离中的一项或多项可以被包括在所生成的运动数据中。在一些方面中，电子图像稳定***(EIS)中的陀螺仪可以耦合到传感器集线器或直接耦合到图像信号处理器112。在另一示例中，非相机传感器可以是全球定位***(GPS)接收机。

图像信号处理器112可以接收例如用于形成图像帧的图像数据。在一个实施例中，本地总线连接将图像信号处理器112分别耦合到第一相机的图像传感器101和第二相机的图像传感器102。在另一实施例中，有线接口将图像信号处理器112耦合到外部图像传感器。在另一实施例中，无线接口将图像信号处理器112耦合到图像传感器101、102。

第一相机可以包括第一图像传感器101和对应的第一透镜131。第二相机可以包括第二图像传感器102和对应的第二透镜132。透镜131和132中的每一项可以由在ISP 112中执行的相关联的自动聚焦(AF)算法133控制，该算法调整透镜131和132以聚焦在距图像传感器101和102一定场景深度处的特定焦平面上。AF算法133可以由深度传感器140辅助。

第一图像传感器101和第二图像传感器102被配置为捕获一个或多个图像帧。透镜131和132分别通过用于接收光的一个或多个光圈、用于在曝光窗口之外时阻挡光的一个或多个快门、用于过滤特定频率范围之外的光的一个或多个滤色器阵列(CFA)、用于将模拟测量转换为数字信息的一个或多个模拟前端和/或用于成像的其它合适的组件来将光聚焦在图像传感器101和102处。第一透镜131和第二透镜132可以具有不同的视场以捕获场景的不同表示。例如，第一透镜131可以是超宽(UW)透镜，并且第二透镜132可以是宽(W)透镜。多个图像传感器可以包括超宽(高视场(FOV))、宽、长焦和超长焦(ultra-tele)(低FOV)传感器的组合。也就是说，每个图像传感器可以通过硬件配置和/或软件设置来配置，以获得不同但重叠的视场。在一种配置中，图像传感器被配置有具有导致不同视场的不同放大率的不同透镜。传感器可以被配置为使得UW传感器具有比W传感器要大的FOV，W传感器具有比T传感器要大的FOV，T传感器具有比UT传感器要大的FOV。例如，被配置用于宽FOV的传感器可以捕获在64-84度范围内的视场，被配置用于超侧FOV的传感器可以捕获在100-140度范围内的视场，被配置用于长焦FOV的传感器可以捕获在10-30度范围内的视场，并且被配置用于超长焦FOV的传感器可以捕获在1-8度范围内的视场。

图像信号处理器112处理由图像传感器101和102捕获的图像帧。虽然图1将设备100示出为包括耦合到图像信号处理器112的两个图像传感器101及102，但是任何数量(例如，一、二、三、四、五、六等)的图像传感器可以耦合到图像信号处理器112。在一些方面中，深度传感器(例如深度传感器140)可以耦合到图像信号处理器112且以与图像传感器101及102的方式类似的方式从深度传感器输出。此外，对于设备100可以存在任何数量的附加图像传感器或图像信号处理器。

在一些实施例中，图像信号处理器112可以执行来自存储器的指令，例如来自存储器106的指令108、存储在耦合到或包括在图像信号处理器112中的单独存储器中的指令、或由处理器104提供的指令。另外地或替代地，图像信号处理器112可以包括被配置用于执行本公开中描述的一个或多个操作的特定硬件(例如，一个或多个集成电路(IC))。例如，图像信号处理器112可以包括一个或多个图像前端(IFE)135、一个或多个图像后处理引擎136(IPE)和/或一个或多个自动曝光补偿(AEC)134引擎。AF 133、AEC 134、AFE 135、APE 136可以各自包括专用电路，体现为由ISP 112执行的软件代码，和/或ISP 112内的硬件和在ISP112上执行的软件代码的组合。

在一些实现中，存储器106可以包括存储计算机可执行指令108的非瞬态或非暂时性计算机可读介质，以执行本公开内容中描述的一个或多个操作的全部或部分。在一些实现中，指令108包括要由设备100执行的用于生成图像或视频的相机应用(或其它合适的应用)。指令108还可以包括由设备100执行的其它应用或程序，例如操作***和除用于图像或视频生成之外的特定应用。相机应用的执行(例如，由处理器104执行)可以使得设备100使用图像传感器101和102和图像信号处理器112生成图像。存储器106还可以由图像信号处理器112存取以存储处理后的帧，或者可以由处理器104存取以获得处理后的帧。在一些实施例中，设备100不包括存储器106。例如，设备100可以是包括图像信号处理器112的电路，并且存储器可以在设备100的外部。设备100可以耦合到外部存储器并且被配置为存取存储器以写入输出帧以供显示或长期存储。在一些实施例中，设备100是片上***(SoC)，其将图像信号处理器112、处理器104、传感器集线器150、存储器106和输入/输出组件116并入单个封装中。

在一些实施例中，图像信号处理器112或处理器104中的至少一项执行指令以执行本文描述的各种操作，包括降噪操作。例如，对指令的执行可以指示图像信号处理器112开始或结束捕获图像帧或图像帧序列，其中捕获包括如本文实施例中描述的降噪。在一些实现中，处理器104可以包括能够执行一个或多个软件程序的脚本或指令(例如，存储在存储器106中的指令108)的一个或多个通用处理器核心104A。例如，处理器104可以包括被配置为执行存储在存储器106中的相机应用(或用于生成图像或视频的其它合适应用)的一个或多个应用处理器。

在执行相机应用时，处理器104可以被配置为指示图像信号处理器112参考图像传感器101或102执行一个或多个操作。例如，相机应用可以接收开始视频预览显示的命令，在该视频预览显示上从一个或多个图像传感器101或102捕获和处理包括图像帧序列的视频。诸如利用级联的IPE的图像校正可以应用于序列中的一个或多个图像帧。由处理器104在相机应用外部执行指令108也可以导致设备100执行任何数量的功能或操作。在一些实施例中，除了执行软件以使设备100执行多个功能或操作(诸如本文描述的操作)的能力之外，处理器104还可以包括IC或其它硬件(例如，人工智能(AI)引擎124)。在一些其它实施例中，设备100不包括处理器104，诸如当所有描述的功能都被配置在图像信号处理器112中时。

在一些实施例中，显示器114可以包括允许用户交互和/或向用户呈现项目(例如，由图像传感器101和102捕获的图像帧的预览)的一个或多个合适的显示器或屏幕。在一些实施例中，显示器114是触敏显示器。I/O组件116可以是或包括任何合适的机制、接口或设备以从用户接收输入(例如命令)并通过显示器114向用户提供输出。例如，I/O组件116可以包括(但不限于)图形用户界面(GUI)、键盘、鼠标、麦克风、扬声器、可挤压边框、一个或多个按钮(例如，电源按钮)、滑动块、开关等。

虽然示出了经由处理器104彼此耦合，但组件(诸如处理器104、存储器106、图像信号处理器112、显示器114和I/O组件116)可以其它各种布置方式彼此耦合，例如经由一个或多个本地总线，为简单起见未示出。虽然图像信号处理器112被示为与处理器104分离，但图像信号处理器112可以是处理器104的核心，该处理器104是应用处理器单元(APU)，其包括在片上***(SoC)中，或者以其它方式包括在处理器104中。虽然在本文的示例中参***100以执行本公开内容的各方面，但是一些设备组件可以不在图1中示出，以防止模糊本公开内容的各方面。另外，其它组件、组件数量或组件组合可以包括在用于执行本公开内容的各方面的合适设备中。因此，本公开内容不限于特定设备或组件的配置，包括设备100。

在一些方面中，ISP 112可以将IPE 136中的一个或多个IPE配置为级联或串联配置，使得IPE中的至少一个IPE的输入是另一IPE的输出。图2中示出了用于ISP的级联IPE配置的一个示例。图2是根据一个或多个方面的示出的级联图像后处理引擎(IPE)的框图。级联IPE 200包括第一IPE 210和第二IPE 230。第一IPE 210的输出被输入到第二IPE 230。当级联的IPE系列长于两个IPE时，第二IPE 230的输出可以作为输入应用于附加的IPE。IPE级联中的最终IPE可以输出经校正的第一图像帧。经校正的第一图像帧可以用于例如相机应用的预览视频显示或用于将视频序列记录到存储器。

IPE 210和230中的每一项可以是通用IPE。也就是说，IPE 210和230中的每一项可以包括用于空间降噪(NR)212、232的电路、用于时间NR 214、234的电路、颜色校正矩阵(CCM)处理216、236的电路、用于色调映射218、238的电路、用于伽马校正220、240的电路以及用于边缘增强222、242的电路。尽管IPE 210和230中的每一项是通用处理单元，但是IPE210和230中的每一项可以被配置为执行特定于IPE在一系列级联IPE中的位置的操作。例如，IPE 210可以被配置为当IPE 210是级联IPE的第一级时执行伽马校正220，并且IPE 230可以被配置为当IPE 230是级联IPE的第二级或靠后的级时禁用伽马校正240。作为另一示例，级联IPE中的仅一个IPE可以被配置有启用的颜色校正矩阵(CCM)处理。作为进一步的示例，尽管IPE 210和230中的每一项都包括用于色调映射218、238的电路，但是每一项均可以被配置有不同的映射。例如，IPE 210的用于色调映射218的电路可以应用第一色调映射来改变整个图像帧的色调，并且IPE 230的用于色调映射238的电路可以应用第二色调映射来进行对比度增强和/或亮度增强。

级联IPE可以用于执行降噪和提高亮度。对两个或更多个IPE的级联以提升亮度可能不会遭受通过实现多个降噪而由亮度提升添加的噪声。级联IPE的级联降噪可以生成具有较少噪声、鲜明颜色、较亮帧和/或对比度增强边缘的经校正的图像帧。亮度的提升在低光摄影中是有用的，以增强图像细节，而不会显著增加低光摄影中常见的噪声，或者同时降低低光摄影中常见的噪声。通过级联IPE对图像帧的处理可以有利地应用于从小光学格式(例如，小像素)传感器捕获的图像帧，因为小格式传感器可以具有由于小格式传感器在给定曝光时间内捕获比较大格式传感器更少的光而导致的降低的低光摄影。

表1中示出了由图像传感器捕获并利用一个IPE和两个级联IPE处理的测试场景的示例结果，表1展示了当使用对两个IPE的级联来处理图像帧时增加的纹理、降低的噪声和增加的亮度值，这是对当使用单个IPE来处理图像帧时获得的值的所有改进。

	纹理	噪声	亮度
				级联关	30.76	7.04	85
级联开	45.35	6.13	118

在图3的流程图中示出了处理具有两个或更多个降噪和色调映射的图像帧以改善图像帧的外观的方法。图3是示出根据一个或多个方面的用于处理具有多个降噪操作的图像帧的方法的流程图。在一些实施例中，图3的方法可以在多个硬件IPE块中实现，诸如图2所示。然而，图3的方法也可以使用单个硬件IPE块、其它专用电路和/或在通用处理器上实现。方法300开始于框302，其中接收第一图像帧。在框302处接收第一图像帧之前，第一图像帧可以由第一图像传感器捕获并通过图像前端(IFE)处理。在一些实施例中，第一图像帧可以是从一个或多个图像传感器捕获的多个图像帧的组合输出，诸如当第一图像帧是从一个或多个图像传感器的多次曝光生成的高动态范围(HDR)图像帧时。

图像处理操作的第一序列包括框304、306、308和310。在框304处，对第一图像帧执行第一降噪。第一降噪可以包括空间和/或时间降噪。在框306处，应用颜色校正矩阵(CCM)，诸如以在图像帧中生成更鲜明的颜色。在框308处，应用第一色调映射。色调映射可以用于将一个颜色集合映射到另一颜色集合以生成图像中的特定艺术效果。在一些实施例中，框308的第一色调映射可以应用于第一图像帧以近似具有更有限动态范围的介质中的高动态范围图像的外观。在框310处，应用伽马校正以增强第一图像帧中的照明。对框304、306、308和310的处理中的每一项可以存取和修改存储器中对应于第一图像帧的值。因此，处理框304、306、308和310中的一项的输入是处理框304、306、308和310中的另一项的输出。在框312处的第二降噪之前执行的处理可以以与图3所示的顺序不同的顺序执行，诸如通过在框310的伽马校正之后应用框308的色调映射。在一些实施例中，框304、框306、框308和框310中的第一操作序列可以由第一硬件电路(诸如第一IPE)执行。

图像处理操作的第二序列包括框312、314和316。在框312处，对由框304、框306、框308和框310的第一处理操作序列修改的第一图像帧执行第二降噪。在框314处，应用第二色调映射。第二色调映射可以是与框308的色调映射不同的色调映射。例如，当修改输入到框308和314的图像帧时，可以使用不同的映射。第二色调映射可以被配置为提供对比度增强和亮度增强，而不是如在框308的第一色调映射中的通用艺术颜色映射。在框316处，输出通过框304、306、308和310的图像处理操作的第一序列修改并且通过框312、314和316的图像处理操作的第二序列进一步修改的第一图像帧作为经校正的第一图像帧。经校正的第一图像帧可以例如与可以或可以不类似地处理以生成视频序列的其它图像帧一起使用，该视频序列可以作为相机应用中的预览流显示给图像捕获设备的用户。

图4中示出了作为图像捕获设备中的视频序列的一部分的图像帧的处理流的一个示例。图4是示出根据一个或多个方面的针对通过级联图像后处理引擎(IPE)的图像帧的处理流的框图。图像传感器402生成包括表示场景404的第一图像帧的图像帧序列。图像信号处理器410接收图像帧序列，并且可以对图像帧执行实时处理，使得可以生成输出视频序列并将其显示给用户以实时监测场景404，使得用户可以在变化发生的大致时间(例如，在小于500毫秒、小于400毫秒、小于300毫秒、小于200毫秒或小于100毫秒内)处感知场景的变化。ISP 410可以具有多个IPE(诸如IPE 412A和412B)，以用于灵活地处理由ISP 410接收的图像帧。例如，ISP 410可以并行使用不同的IPE来处理从不同图像传感器并行接收的图像帧。在另一示例中，ISP 410可以使用串联的不同IPE来处理从单个图像传感器接收的图像帧。

ISP 410可以诸如通过从在图像捕获设备上执行的相机应用接收配置来确定相机配置，并且适当地将可用的IPE指派给ISP 410内的某些处理。在一个示例中，相机应用可以基于激活“低光”或“夜视”模式的用户设置或者通过将一个或多个规则应用于图像帧以确定是否激活级联IPE来指定是否应用级联IPE配置。当存在低光条件或其它条件以触发级联IPE时，可以响应于确定低光或其它条件来处理从传感器接收的第一图像帧以生成中间的第一图像帧，从而激活级联IPE。另外地或替代地，ISP可以基于相同或不同的条件来确定何时激活级联IPE配置。用于级联IPE配置的应用或ISP确定的条件可以是包括曝光增益、曝光时间、亮度(lux)指数和每秒视频帧(FPS)的一个或多个因素的组合。例如，当曝光增益、曝光时间和亮度(lux)指数各自高于某个门限或其组合值超过某个门限时，可以配置级联IPE。较小的视频FPS为视频序列的图像帧提供较长的曝光时间。因此，视频FPS可以用于调整用于触发级联IPE的门限值或与门限相比较被分解到该值中。IPE配置(例如，单个IPE或级联IPE)确定可以在接收用于处理的第一图像帧之前(例如，作为相机应用中的配置和/或基于由ISP处理的先前图像帧的配置)、在接收第一图像帧之后(例如，通过从第一图像帧确定统计数据)和/或在中间第一图像帧上(例如，通过在通过第一IPE处理之后从第一图像帧确定统计数据)执行。当确定单个IPE配置时，可以应用其它降噪处理，诸如通过将单个IPE的输出与另一图像帧融合来进行多帧降噪。

在一些实施例中，ISP 410可以配置一个或多个IPE以执行类似于参考图2和图3描述的级联操作。例如，ISP 410可以级联两个单独的IPE 412A和412B以分别执行与第一降噪操作和第二降噪操作相关的操作。例如，IPE 412A可以被配置为类似于图2的IPE 210，并且IPE 412B可以被配置为类似于图2的IPE 230。IPE 412A可以执行与图3的框304、306、308、310和312相关的操作，并且IPE 412B可以执行与框310、312和314相关的操作。IPE 412A和412B可以串联耦合，使得IPE 412A的输出被输入到IPE 412B，并且IPE 412B的输出是包括至少经校正的第一图像帧的输出视频序列。IPE 412B中的处理可以由3A元数据(包括曝光增益、曝光时间、亮度(lux)指数、白平衡WB增益、校正色温CCT中的一项或多项)确定。在一些实施例中，ISP 410可以通过使用从IPE的输出回到该IPE的输入的环回并重新配置IPE以执行第二降噪操作集合来使用单个IPE以级联IPE。

在一个或多个方面中，用于支持使用级联IPE的图像校正的技术可以包括额外方面，诸如在下文或者结合本文在别处描述的一个或多个其它过程或设备描述的任何单个方面或各方面的任何组合。在一些实现方式中，该装置包括无线设备，比如UE。在一些实现方式中，该装置可以包括至少一个处理器，以及耦合到处理器的存储器。处理器可以被配置为执行本文描述的操作。在一些其它实现方式中，该装置可以包括其上记录有程序代码的非暂时性计算机可读介质，并且该程序代码可以由处理器可执行用于使得装置执行本文中参考该装置描述的操作。在一些实现方式中，该装置可以包括被配置为执行本文中所描述的操作的一个或多个单元。在一些实现中，无线通信的方法可以包括本文描述的用于使用级联IPE处理图像帧的一个或多个操作。

本领域技术人员将理解的是，信息和信号可以是使用各种不同的技术和方法中的任何一者来表示的。例如，在遍及上文的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以通过电压、电流、电磁波、磁场或粒子、光场或粒子或者其任何组合来表示。

本文中关于图1-4描述的功能框和模块包括处理器、电子设备、硬件设备、电子组件、逻辑电路、存储器、软件代码、固件代码以及其它示例或其任何组合。无论是被称为软件、固件、中间件、微代码、硬件描述语言还是其它术语，软件都应当被广泛地解释为意指指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行程序、执行线程、过程和/或功能以及其它示例。此外，本文讨论的特征可以经由专用处理器电路、经由可执行指令或其组合来实现。

技术人员还将明白的是，结合本文的公开内容描述的各种说明性的逻辑框、模块、电路和算法步骤可以实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上文已经依据各种说明性的组件、框、模块、电路和步骤的功能性对其进行了总体描述。至于这样的功能性是实施为硬件还是软件，取决于特定的应用以及施加在整体***上的设计约束。技术人员可以针对每个特定的应用，以变化的方式来实现所描述的功能性，但是这样的实现决策不应当被解释为造成脱离本公开内容的范围。技术人员还将容易认识到的是，本文描述的组件、方法或交互的顺序或组合仅是示例，并且本公开内容的各个方面的组件、方法或交互可以以与本文示出和描述的方式不同的方式来组合或执行。

结合本文公开的实现描述的各种说明性的逻辑、逻辑框、模块、电路和算法过程可以实现为电子硬件、计算机软件或两者的组合。已经围绕功能性总体地描述了并且在上文描述的各种说明性的组件、框、模块、电路和过程中示出了硬件和软件的可互换性。这种功能性是在硬件中还是软件中实现，这取决于特定的应用和对整体***施加的设计约束。

用于实现结合本文公开的各方面描述的各种说明性的逻辑、逻辑框、模块和电路的硬件和数据处理装置可以利用被设计为执行本文描述的功能的通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器或任何常规的处理器、控制器、微控制器或状态机。在一些实现中，处理器可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核的结合、或任何其它这样的配置。在一些实现中，特定过程和方法可以由特定于给定功能的电路来执行。

在一个或多个方面中，所描述的功能可以在硬件、数字电子电路、计算机软件、固件(包括在本说明书中公开的结构和其结构等效物)中或者其任何组合中实现。在本说明书中描述的主题的实现方式还可以被实现为一个或多个计算机程序，一个或多个计算机程序是计算机程序指令的一个或多个模块，其被编码在计算机存储介质上以由数据处理装置执行或者控制数据处理装置的操作。

如果在软件中实现，则所述功能可以作为一个或多个指令或代码被存储在计算机可读介质上或者通过计算机可读介质进行发送。本文公开的方法或算法的过程可以在驻留在计算机可读介质上的处理器可执行软件模块中实现。计算机可读介质包括计算机存储介质和通信介质两者，所述通信介质包括能够被实现以将计算机程序从一个地方传送到另一个地方的任何介质。存储介质可以是可以由计算机访问的任何可用的介质。通过示例而非限制的方式，这样的计算机可读介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储设备、或者可以用于存储具有指令或数据结构形式的期望程序代码并且可以由计算机访问的任何其它介质。此外，可以将任何连接适当地称作计算机可读介质。如本文所使用的，“磁盘”和“光盘”包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘利用激光来光学地复制数据。上文的组合也应当被包括在计算机可读介质的范围之内。另外，方法或算法的操作可以驻留为机器可读介质和计算机可读介质上的代码和指令中的一者或任何组合或集合，这些代码和指令可以并入计算机程序产品中。

对在本公开内容中描述的实现的各种修改对于本领域技术人员可以是显而易见的，并且在不脱离本公开内容的精神或范围的情况下，本文定义的通用原理可以被应用于一些其它实现。因此，权利要求不旨在限于本文中示出的实现方式，而是被赋予与本公开内容、本文公开的原理和新颖特征相一致的最广范围。

另外，本领域普通技术人员将容易认识到的是，为了易于描述附图，有时使用术语“上”和“下”，并且其指示在正确朝向的页面上与附图的朝向相对应的相对位置，并且可能不反映如实现的任何设备的正确朝向。

在本说明书中在不同的实现方式的背景下所描述的某些特征也可以在单一实现方式中以组合形式来实现。相反，在单个实现方式的背景下所描述的各种特征也可以单独地或者以任何适当的子组合的形式在多种实现方式中实现。此外，虽然上文将特征描述为在特定组合下进行工作并且甚至最初是如此要求保护的，但是在一些情况下所要求保护的组合中的一个或多个特征可以从组合中分离出来，并且所要求保护的组合可以针对子组合或者子组合的变型。

类似地，虽然在附图中以特定的顺序描绘了操作，但是这不应当理解为要求这样的操作以所示的特定顺序或者以顺序次序来执行或者执行所有示出的操作来实现期望的结果。进一步地，附图可能以流程图示意图的形式示意性地描绘了一个或多个示例过程。然而，未描绘的其它操作可以并入示意性地示出的示例过程中。例如，可以在任何示出的操作之前、之后、同时或之间执行一个或多个额外操作。在某些情况下，多任务和并行处理可能是有优势的。此外，上文描述的实现方式中的各种***组件的分离不应当被理解为在所有实现方式中都要求这样的分离，而是其应当被理解为所描述的程序组件和***通常可以一起被集成在单个软件产品中，或者被封装到多个软件产品中。另外，一些其它实现在以下权利要求的范围内。在一些情况下，在权利要求中记载的动作可以以不同的顺序执行，并且仍然实现期望的结果。

如本文所使用的(包括权利要求中)，当在两个或更多个项目的列表中使用时，术语“或”意指可以单独地采用所列出的项目中的任何一个项目，或者可以采用所列出的项目中的两个或更多个项目的任何组合。例如，如果将组成描述成包含组成部分A、B或C，则该组成可以包含：仅A；仅B；仅C；A和B的组合；A和C的组合；B和C的组合；或者A、B和C的组合。此外，如本文所使用的(包括在权利要求中)，如在以“中的至少一个”结束的项目列表中使用的“或”指示分离性的列表，使得例如，“A、B或C中的至少一个”的列表意指A或B或C或AB或AC或BC或ABC(即，A和B和C)或者其任何组合中的任何一者。如本领域普通技术人员所理解的，术语“基本上”被定义为很大程度上但是不一定完全指定的(并且包括指定的；例如，基本上90度包括90度，并且基本上平行包括平行)。在任何公开的实现方式中，术语“基本上”可以被替换为“在指定的[百分比]内”，其中，百分比包括0.1、1、5或10％。

提供本公开内容的前面描述，以使得本领域技术人员能够实现或使用本公开内容。对本公开内容的各种修改对于本领域技术人员而言将是显而易见的，并且在不脱离本公开内容的精神或范围的情况下，本文定义的总体原理可以应用到其它变型。因此，本公开内容不旨在限于本文描述的示例和设计，而是被赋予与本文所公开的原理和新颖特征相一致的最宽范围。

Claims (24)

1.一种方法，包括：

接收第一图像帧；

在具有第一配置的图像校正算法中通过第一遍来处理所述第一图像帧以生成中间第一图像帧，其中，所述第一配置导致包括与第一降噪操作相关的第一操作集合的处理；以及

在具有第二配置的所述图像校正算法中通过第二遍来处理所述中间第一图像帧以生成经校正的第一图像帧，其中，所述第二配置导致包括与第二降噪操作相关的第二操作集合的处理。

2.根据权利要求1所述的方法，还包括：形成包括所述经校正的第一图像帧和至少经校正的第二图像帧的视频序列。

3.根据权利要求2所述的方法，还包括以下各项中的至少一项：

将所述视频序列存储在存储器中；

通过无线网络发送所述视频序列；或

在显示器上显示所述视频序列。

4.根据权利要求1、2或3中任一项所述的方法，其中：

在图像校正算法中通过第一遍来处理所述第一图像帧包括通过第一图像后处理引擎(IPE)处理所述第一图像帧；以及

在所述图像校正算法中通过第二遍来处理所述中间第一图像帧包括通过第二图像后处理引擎(IPE)处理所述第一图像帧。

5.根据权利要求1-4中任一项所述的方法，其中，所述第一IPE是与所述第二IPE相同的IPE。

6.根据权利要求1-5中任一项所述的方法，其中：

用于所述第一图像校正算法的所述第一配置包括应用第一色调映射；以及

用于所述第二图像校正算法的所述第二配置包括将不同的第二色调映射应用于对比度增强和亮度增强。

7.根据权利要求1-6中任一项所述的方法，其中：

用于所述第一图像校正算法的所述第一配置包括应用伽马校正；以及

用于所述图像校正算法的所述第二配置不包括应用伽马校正。

8.根据权利要求1-7中任一项所述的方法，其中：

所述第一图像校正算法和所述第二图像校正算法中的仅一项包括应用颜色校正矩阵。

9.根据权利要求1-8中任一项所述的方法，还包括：

确定低光条件存在于所述第一图像帧中；以及

响应于对所述低光条件的确定，处理所述第一图像帧以及处理所述中间第一图像帧。

10.根据权利要求9所述的方法，还包括：

确定低光条件不存在于所述第一图像帧中；

响应于确定不存在所述低光条件，接收第二图像帧；以及

使用多帧降噪(MFNR)算法处理所述中间图像帧和所述第二图像帧以确定具有降低的噪声的经校正的第一图像帧。

11.一种方法，包括：

接收第一图像帧；

对所述第一图像帧应用第一降噪；

在应用所述第一降噪之后，对所述第一图像帧应用第一色调映射；

在应用所述第一色调映射之后，对所述第一图像帧应用伽马校正；

在应用所述伽马校正之后，对所述第一图像帧应用第二降噪；

在应用所述第二降噪之后，对所述第一图像帧应用第二色调映射；

在应用所述第一降噪之后，对所述第一图像帧应用色彩校正矩阵；以及

在应用所述第一降噪、应用所述第一色调映射、应用所述伽马校正、应用所述第二降噪、应用所述第二色调映射以及应用所述颜色校正矩阵之后，输出经校正的第一图像帧。

12.根据权利要求11所述的方法，其中：

第一图像后处理引擎(IPE)执行应用第一降噪、应用所述第一色调映射和应用所述伽马校正的步骤；以及

第二图像后处理引擎(IPE)执行应用所述第二降噪和应用所述第二色调映射的步骤。

13.根据权利要求11-12中任一项所述的方法，还包括：

确定低光条件存在于所述第一图像帧中；以及

响应于确定存在所述低光条件，执行应用所述第一降噪、应用所述第一色调映射、应用所述伽马校正、应用所述第二降噪和应用所述第二色调映射的步骤。

14.根据权利要求11-13中任一项所述的方法，还包括：

形成包括所述经校正的第一图像帧和至少经校正的第二图像帧的视频序列；以及

以下各项中的至少一项：

将所述视频序列存储在存储器中；

通过无线网络发送所述视频序列；或

在显示器上显示所述视频序列。

15.一种装置，包括：

图像信号处理器，其包括至少包括第一IPE和第二IPE的多个图像后处理引擎(IPE)，

其中，所述图像信号处理器被配置为：

接收第一图像帧；

使用所述第一IPE来处理所述第一图像帧以生成中间第一图像帧；以及

使用第二IPE来处理所述中间第一图像帧以生成经校正的第一图像帧。

16.根据权利要求15所述的装置，

其中，所述图像信号处理器被配置为配置所述第一IPE以执行包括以下各项的步骤：

应用第一降噪；

应用第一色调映射；以及

应用伽马校正；以及

其中，所述图像信号处理器被配置为配置所述第二IPE以执行包括以下各项的步骤：

应用第二降噪；以及

应用第二色调映射。

17.根据权利要求15-16中任一项所述的装置，其中，所述图像信号处理器被配置为配置所述第一IPE或所述第二IPE中的一项以应用颜色校正矩阵。

18.根据权利要求15-17中任一项所述的装置，其中，所述图像信号处理器被配置为配置所述第二IPE以不应用伽马校正。

19.根据权利要求15-18中任一项所述的装置，其中，所述图像信号处理器被配置为指派所述多个IPE以用于处理来自一个或多个图像传感器的图像帧。

20.一种装置，包括：

存储器；以及

至少一个处理器，被配置为执行根据权利要求1-14中任一项所述的方法的操作。

21.根据权利要求20所述的装置，其中，所述至少一个处理器包括图像信号处理器。

22.根据权利要求20-21中任一项所述的装置，其中，所述至少一个处理器包括图形处理单元(GPU)。

23.根据权利要求20-22中任一项所述的装置，其中，所述至少一个处理器包括中央处理单元(CPU)。

24.根据权利要求15-23中任一项所述的装置，其中，所述装置包括图像捕获设备。