CN111434108A

CN111434108A - 多相机图像处理

Info

Publication number: CN111434108A
Application number: CN201880074622.5A
Authority: CN
Inventors: S·达布拉尔; G·华; M·曼格拉
Original assignee: Texas Instruments Inc
Current assignee: Texas Instruments Inc
Priority date: 2017-12-20
Filing date: 2018-12-20
Publication date: 2020-07-17
Anticipated expiration: 2038-12-20
Also published as: US20190191106A1; WO2019126546A1; EP3729803A4; US11700350B2; EP3729803B1; US11057573B2; CN111434108B; JP2021507637A; US20210281772A1; JP7318953B2; EP3729803A1

Abstract

在所描述的示例中，一种片上***SoC(102)在图像处理***(100)中实施多个相机(105)的动态分组。SoC(102)包含图像信号处理器ISP(104)，所述图像信号处理器被配置为从两个或更多个相机(105)接收与图像相对应的信号，基于由相机(105)中的每个观察的测量视图亮度和色温而将相机(105)动态分组为组，以及将相机(105)以组中的组指派到相同的曝光/增益设置。SoC(102)进一步包含统计引擎(106)，所述统计引擎被配置为：从ISP(104)接收图像信号和与图像信号有关的统计信息，和基于图像信号确定每个图像的图像亮度和色温的测量值，以转发到ISP(104)。

Description

多相机图像处理

技术领域

这涉及图像处理***，并且更特别地涉及用于图像处理应用中的多相机协调的预处理方案。

背景技术

诸如环绕视图***之类的图像处理***对从多个相机接收的图像中的图像进行组合。在示例中，车辆环绕视图***用于实施停车辅助应用，其中，在整个车辆的各个位置处放置四个相机，以便覆盖车辆周围的整个视野。***根据从多个相机拍摄的图像形成组合图像。组合图像用于例如收集关于车辆周围的潜在障碍物的信息。

发明内容

本公开涉及一种在图像处理应用中实施用于多相机协调的预处理方案的***和方法。

在一个示例中，公开了一种实施图像处理***的片上***(SoC)。所述SoC包含图像信号处理器(ISP)，所述图像信号处理器被配置为从两个或更多个相机接收与图像相对应的信号，基于由所述相机中的每个观察的测量视图亮度和/或色温而将所述相机动态分组为组，以及将相机以所述组中的组指派到相同的曝光/增益设置。所述SoC进一步包含统计引擎，所述统计引擎被配置为从所述ISP接收所述图像信号和与所述图像信号有关的统计信息，和基于所述图像信号确定每个图像的图像亮度和/或色温的测量值，以转发到所述ISP。

在另一示例中，公开了一种通过对两个或更多个相机进行动态分组来实施图像处理***的方法。所述方法包含通过统计引擎估计两个或更多个相机图像处理***内的每个相机的视图亮度和/或色温。所述方法进一步包含基于所述两个或更多个相机之间的所述估计视图亮度和/或色温的扩展度，通过图像信号处理器(ISP)将所述两个或更多个相机分组为一个或多个组，其中，通过确定所述两个或更多个相机的最小测量视图亮度和/或色温和所述两个或更多个相机的最大测量视图亮度和/或色温来计算所述扩展度。所述方法进一步包含通过所述ISP为每个组选择相机曝光/增益设置，其中，所述组中的给定一个内的一个或多个相机具有相同的相机曝光/增益设置。

在又一示例中，公开了一种通过对两个或更多个相机进行动态分组来实施图像处理***的方法。所述方法包含通过统计引擎估计两个或更多个相机图像处理***内的每个相机的视图亮度和/或色温。所述方法进一步包含通过图像信号处理器(ISP)定义允许对所述两个或更多个相机进行分组的多种方式。所述方法进一步包含通过所述ISP为所述多种分组方式定义一个或多个成本函数。所述方法进一步包含基于所述一个或多个成本函数，通过所述ISP计算允许对所述相机进行分组的所述多种方式中的每种的成本。所述方法进一步包含通过所述ISP将所述相机分组为一个或多个组以缩减所述成本，其中，所述成本定义了在合成图像内对图像协调和动态范围进行平衡的程度。所述方法进一步包含通过所述ISP为每个组选择相机曝光/增益设置，其中，所述组中的给定一个内的一个或多个相机具有相同的相机曝光/增益设置。所述方法进一步包含将对由所述两个或更多个相机图像处理***的所述相机捕获的图像进行混合的所述合成图像渲染到显示器。

附图说明

图1是示例图像处理***的框图。

图2是用于实施示例图像处理***的示例硬件组件的框图。

图3是示例图像处理相机***的图示。

图4是四相机图像处理相机***中相邻视图之间的重叠区域的示例。

图5示出了实施图像处理***的车辆的示例图。

图6示出了描绘由图5的车辆观察的场景的示例合成图像。

图7是在如本文公开的实施的图像处理***中使用的示例相机的框图。

图8描绘了由图像处理***执行的示例操作的概述。

图9是图像处理***的示例状态，其中，四个相机被分组为一组并且具有相同的曝光/增益设置。

图10示出了观察低动态范围设置的图像处理***的示例图像输出，其中，每个相机被指派为具有相同的曝光/增益设置。

图11是图像处理***的示例状态，其中，一个相机被解耦并被指派其自己的不同于其它相机的曝光/增益设置。

图12示出了观察高动态范围设置的图像处理***的示例图像输出，其中，相机被解耦。

图13是通过使用试探法对相机进行动态分组来实施图像处理***的示例方法。

图14是示例动态相机分组的图形图示。

图15示出了当以回路结构布置四个相机时使用穷举搜索来对相机进行考虑和分组的示例方式。

图16是通过使用穷举搜索对相机进行动态分组来实施图像处理***的示例方法。

图17示出了绘制作为亮度和/或色温的比率的函数的成本的图形。

图18示出了用于跨组的低亮度变化的示例成本函数。

具体实施方式

本文公开的***和方法实施图像处理***，所述图像处理***使用嵌入在片上***(SoC)内的多通道图像信号处理器(ISP)。ISP从多个相机接收图像，并生成图像统计信息以由统一统计引擎处理，以便确定设置的动态范围。设置表示由多个相机从多个角度捕获的集体场景。实施一种动态分组方法，所述方法根据相机在场景中观察的亮度和/或色温将相机动态布置为组。多通道ISP和统一统计引擎架构以及动态分组方法一起提供一种具有高图像质量的有效图像处理解决方案。本文公开的图像处理***可用于实施环绕视图图像合成***，诸如将来自各种相机源的图像混合在一起而成为复合图像的车辆环绕视图***。

与使用SoC外部的多个ISP的解决方案相比，本文公开的图像处理解决方案消耗更少的资源的同时提供高图像质量。与使用图形处理单元(GPU)和/或数字信号处理器(DSP)实施后处理方法以减少合成图像中的光度差异的解决方案相比，本文公开的图像处理解决方案还消耗更少的资源。本文公开的解决方案使用几何变换引擎来执行透镜畸变校正和透视变换，而不需要用于去除光度差异的后处理。在一个示例中，几何变换引擎可以是GPU。而且，使用SoC嵌入式ISP减少了部件的数量(例如，外部ISP芯片的数量)，从而减少了实施本文描述的解决方案的材料清单和成本。

本文描述的多通道ISP具有多个通道，以提供同时处理来自一个以上相机的信号的能力。使用多通道ISP对图像处理***的每个输入图像进行处理。在一些示例中，多通道ISP在SoC内实施，而在其它示例中，多通道ISP在SoC外部实施。使用SoC内的多通道ISP允许从全局节点(即ISP本身)控制图像通道中的每个。

多通道ISP架构利用统一统计引擎来处理从相机中的每个收集的统计信息。多通道ISP从每个相机收集统计信息(例如，曝光、亮度、色温、白平衡、焦点等)，并将统计信息转发到统一统计引擎。统一统计引擎在图像处理之前以格式(例如，原始格式)分析统计信息，并创建全局统计信息缓冲区以确定设置的总动态范围，以便将场景分类为同质或异质。特别地，如果设置的总动态范围在阈值处或在所述阈值以下，则将场景分类为同质，而如果设置的总动态范围超过阈值，则将场景分类为异质。基于场景的分类和由统一统计引擎对统计信息进行的处理，ISP选择全局正确的曝光和白平衡。这样，与每个图像相关联的统计信息可用于做出有关相机中的每个的曝光和白平衡参数的智能决策。

ISP实施动态分组，所述动态分组基于所确定的设置的动态范围对相机进行分组。例如，如果从亮度或色温的角度而言场景被考虑为是同质的(如通过动态范围小于或等于阈值确定)，则可以通过将组内的每个相机设置为相同的曝光来对相机进行分组。如本文所使用的，术语“曝光”是指包含曝光时间的相机曝光水平。图像传感器具有影响整体曝光的曝光时间和放大/转换增益两者。在另一示例中，如果场景是异质的(指示动态范围超过阈值)，则将相机中的一个或多个从现有组中去除。动态分组对图像协调和动态范围之间的权衡进行平衡。

如上所述，相机的分组是动态的。在一些示例中，对相机进行重新分组以适应全天的光变化。在示例中，场景的动态范围跨相机中的每个处于相对较小的一个时间点。在该时间点，相机中的每个都被指派到同一组。另外，继续该示例，随着光变化，动态范围达到阈值，使得对相机进行重新分组，使得相机的子集位于给定组中，而相机的另一子集位于另一组中。以这种方式，随着由相机观察的设置的参数(亮度和/或色温)的变化，对相机进行动态重新分组。

***提供了优质视觉体验，通过在标准动态范围设置中消除可见的接缝线(例如，当动态范围低时)和通过在非标准动态范围设置中保留动态范围(例如，当动态范围高时)而实现协调。特别地，并入统计引擎和相机的动态分组，消除了对使用计算密集的后处理方法的需要。总体上，***具有成本效益，以低成本/功率提供视觉出色的输出。

本文公开的***和方法适用于其中图像预处理发生在一个SoC中而实际图像合成发生在另一SoC中的技术解决方案。因此，本文公开的***和方法适用于其中无论图像合成是否发生在同一部件或***中均使用动态分组将曝光增益/设置指派到同一组内的相机的图像预处理。另外，本文公开的***和方法适用于其中图像预处理和动态分组以及图像合成发生在同一SoC中的技术解决方案。

图1是示出图像处理***100的实施方式的概述的框图。图像处理***100包含嵌入在片上***(SoC)102内的图像信号处理器(ISP)104。ISP 104被配置为从两个或更多个相机1…N接收与图像相对应的信号，其中，N是大于或等于2的整数。ISP 104被进一步配置为基于由相机1…N中的每个观察的亮度和/或色温而通过根据观察来指派两个或更多个相机105的曝光/增益设置而将两个或更多个相机1…N动态分组为组。统计引擎106被配置为从ISP 104接收图像信号和与图像信号有关的统计信息，和确定与从两个或更多个相机1…N捕获的图像相对应的设置的总动态范围。统计引擎106将设置的总动态范围转发到ISP104。几何变换引擎108被配置为对从ISP 104接收的图像执行几何变换，以对渲染合成图像110进行渲染，所述合成图像对由两个或更多个相机1…N捕获的图像进行组合。

在图1所示的示例中，几何变换引擎108位于SoC 102的外部。但是，在其它示例中，几何变换引擎108被嵌入在SoC 102中。在一些示例中，几何变换引擎108是图形处理单元(GPU)，而在其它示例中，几何变换引擎108是专用硬件加速器(HWA)、数字信号处理器(DSP)或另一类型的通用处理器。在其中几何变换引擎108通过通用处理器实施的示例中，在一些示例中，通用处理器与通用处理单元112相同，而在其它示例中，通用处理器是与通用处理单元112不同的模块。在一些示例中，GPU可以省略。为了提供合成图像，几何变换引擎108执行透镜畸变校正和透视变换。SoC 102内的通用处理单元112执行控制代码以控制ISP 104、统计引擎106，并且在一些示例中控制几何变换引擎108。

在一个示例中，相机1…N中的每个包含传感器、透镜、壳体和数字转换器，使得ISP104从相机1…N接收图像数据。ISP 104处理从相机1…N中的每个接收的图像。在示例中，ISP被实施为多通道ISP，使得消除对于两个或更多个相机105中的每个使用单独ISP的需要。在进一步的示例中，ISP 104被配置为基于通过反向通道控制信号或其它反馈信号对相机105中的每个进行的分组来设置/改变相机1…N中的每个的曝光/增益设置。

相机105中的每个测量场景角度的亮度和/或色温。亮度是指照度和发光度的度量，所述度量测量每单位面积的光通量(通常以勒克斯(符号lx)为单位进行测量)。色温是光的颜色和色调的度量，并且是指理想的黑体辐射器的温度，所述黑体辐射器辐射与光源的颜色相当的颜色的光。色温通常以开尔文(符号K)为单位表示，所述单位也是绝对温度的度量单位。在与本文描述的示例相关的上下文中，色温也称为每单位面积观察的色度。因此，出于简化解释的目的，术语“色温”是指场景处的光源的颜色。

动态范围统称为场景的最高亮度度量与场景的最低亮度度量的比率和场景的最高色温与场景的最低色温的比率。动态范围以分贝(dB)表示。动态范围通常表示为对数域中具有比例因子的比率。在一些示例中，比例因子为约20。因此，在一个示例中，动态范围通过公式1表示：

公式1:

在术语“动态范围”的使用与图像处理中的标准使用冲突的程度方面，在本文描述的示例中，动态范围也可以称为强度差或强度增量。在一些示例中，为了达到并入亮度和/或色温的总动态范围，采用了亮度和/或色温的加权平均以及考虑在跨三维普朗克轨迹的场景中观察的范围的度量。

执行动态分组处理，使得通过ISP 104为同一组中的相机105的每个相机指派相同的曝光/增益设置。相应地，ISP 104被编程为将正在观察具有类似亮度和/或类似色温的场景的分区的相机105设置为相同的曝光/增益设置。具有类似亮度和/或色温是指阈值内的测量亮度或色温。例如，如果相机1正在观察10勒克斯的光，而相机2正在观察11勒克斯的光，则由于测量亮度足够类似，然后经由ISP 104将相机1和相机2指派到共同组并设置为具有相同的曝光/增益设置。通过在该示例中将相机105设置为相同的曝光/增益设置，当来自相机1和相机2的图像混合在一起以形成渲染合成图像110时，避免了接缝线。在另一示例中，如果相机1和相机2之间的曝光差超过阈值(例如，存在由相机1和2观察的大亮度差)，则ISP 104将相机1指派到第一组，并且将相机2指派到第二组，所述第一组和所述第二组具有不同的曝光。例如，在存在给定相机105正在观察场景的暗区域而另一相机105正在观察亮区域的场景的情况下，将相机设置为相同的曝光/增益设置将不当地限制由给定相机和另一相机105中的一个捕获的场景细节。即，一个图像将太暗或者太过度曝光。因此，通过将相机105指派到具有不同曝光的不同组，SoC努力地在图像协调的需要(使得合成图像具有接缝线)与为渲染合成图像110保留场景的动态范围的需要之间进行平衡。

用于将相机指派到不同组的阈值参数是可配置的，并且因此是可编程的。随着由相机105观察的设置变化，对相机105进行动态重新分组。在一些示例中，与全天的光变化一致地对相机105进行重新分组。

ISP 104实施自动曝光功能，以在执行相机分组时指派每个相机的曝光/增益设置。在示例中，自动曝光功能被实施为ISP 104内的功能软件模块。动态分组过程通过ISP104以若干方式实施。在一个示例中，动态分组过程基于试探法对相机进行分组，所述试探法将具有类似视图亮度和/或色温的相机分组为同一组。在另一示例中，动态分组过程基于穷举搜索对相机进行分组。在一些示例中，穷举搜索分组计算了对相机进行分组的允许方式的成本，并且对相机进行分组以缩减成本。在这种背景下，成本定义了对图像协调和动态范围进行平衡的程度，使得实现图像协调并保留动态范围。

因此，通过采用图像处理***100，通过在图像协调与保留动态范围之间进行权衡的小心平衡以允许场景的细节在渲染合成图像110中可见，渲染合成图像110达到高图像质量。ISP 104通过消除对多个外部ISP芯片的需要来减少成本。另外，与通常用于通过用于减少渲染合成图像110中的光度差异需要的GPU或DSP或几何变换引擎108来实施复杂的后处理方法的多倍Ghz(利用更多功率)相比，通过对N个数量的相机105进行动态分组，通常以更低的频率(例如200Mhz)使用较少的处理周期(例如，ISP使用通用处理单元112的20％，而不是几何变换引擎108或GPU/DSP利用的解决方案的明显更高的百分比)。因此，由于不通过几何变换引擎108或通过单独的DSP执行复杂的后处理，通过ISP 104实施的N个数量的相机105的动态分组节省了功率和面积。换句话说，通过避免在复杂的后处理中采用几何变换引擎108、GPU或单独的DSP的需要，实现较低的成本和较低的散热。

图2是用于实施图像处理***200的示例硬件组件(包含用于图1中描绘的图像处理***的硬件组件)的框图。SoC 202包含通用处理单元212、功率管理电路(PMC)接口216、统计引擎206、图像信号处理器(ISP)204、视频端口214、内部存储器218、显示器控制器子***220、***设备222、外部存储器控制器224和数字信号处理器(DSP)232。在该示例中，这些部件双向连接到***总线231。几何变换引擎208被配置为对从ISP 204接收的图像执行几何变换以将对由两个或更多个相机1…N捕获的图像进行组合的合成图像渲染到显示器228上。在图2中示出的示例中，几何变换引擎208位于SoC 202的外部。在其它示例中，几何变换引擎208被嵌入在SoC 202内。

通用处理单元212执行控制代码。控制代码在由SoC 202执行时促进与用户的交互。因此，通用处理单元212控制SoC 202如何对(通常经由***设备222接收的)用户输入进行响应。统计引擎206处理从ISP 204接收的亮度和/或色温统计信息，以确定由相机1…N中的每个观察的设置的总动态范围。ISP 204处理从相机205接收的图像和数据(包含与图像中的每个的亮度和/或色温有关的数据)。ISP 204还根据由相机中的每个观察的亮度和/或色温的类似性执行动态分组以(经由视频端口214)设置相机的曝光。ISP 204实施的动态分组为合成的渲染图像提供图像协调和动态范围之间的计算的权衡。在某些示例中，几何变换引擎208被配置为执行透镜畸变校正和透视变换。透视变换通过将图像变换为图像好像是从某个虚拟视点捕获的来创建透视。在一些示例中，几何变换引擎208被实施在ISP 204内。

几何变换引擎208执行用于操纵数据以显示在显示器228上的图像合成和面向显示器的操作。在一些示例中，几何变换引擎208(而不是ISP 204)被配置为执行透镜畸变校正和透视变换。在一些示例中，几何变换引擎208是图形处理单元(GPU)，而在其它示例中，几何变换引擎108是专用硬件加速器(HWA)、数字信号处理器(DSP)或另一类型的通用处理器。在其中几何变换引擎208通过DSP实施的示例中，在一些示例中，DSP与DSP 232相同，而在其它示例中，DSP是与DSP 232不同的模块。在其中几何变换引擎208通过通用处理器实施的示例中，在一些示例中，通用处理器与通用处理单元212相同，而在其它示例中，通用处理器是与通用处理单元212不同的模块。GPU不是实施图像处理***或任何类型的多相机***或对多个图像进行混合的强制性要求。

视频端口214从相机1…N接收输入图像。视频端口214通常还包含在处理之前对图像数据进行合适的缓冲，并且促进ISP 204在反馈回路中设置相机205的曝光。内部存储器218存储被其它单元使用的数据，并且可用于在单元之间传送数据。显示器控制器子***220生成信号以驱动被图像处理***200使用的显示器228。在至少一个示例中，通用处理单元212、ISP 204、统计引擎206、几何变换引擎208和/或显示器控制器子***220包含指令和数据缓存。在至少一个示例中，用于通用处理单元212、ISP 204、统计引擎206、几何变换引擎208和/或显示器控制器子***220的指令和数据缓存在被分别实施在通用处理单元212、ISP 204、统计引擎206、几何变换引擎208和/或显示器控制器子***220中的每个内。在至少一个其它示例中，用于通用处理单元212、ISP 204、统计引擎206、几何变换引擎208和/或显示器控制器子***220的指令和数据缓存被实施在内部存储器218内、SoC 202内的另一处理单元内，或者通过SoC 202外部的处理单元实施。在一些示例中，***设备222是各种部件，诸如直接存储器存取控制器、功率控制逻辑、可编程计时器和用于与外部***交换数据的外部通信端口。PMC接口216与功率管理集成电路(PMIC)226进行接口连接以管理SoC 202的功率要求。外部存储器控制器224控制数据移入和移出外部存储器230。在某些示例中，数字信号处理器(DSP)232执行混合/拼接操作，以将合成图像渲染到显示器228上。

图3是如图1和图2所描述的示例图像处理***300的图示。在该示例中，四个相机捕获了四个不同的场景角度，即场景角度1 351、场景角度2 352、场景角度3 353和场景角度4 354。在该示例中，相邻的场景角度重叠，使得场景角度1 351与场景角度2352和场景角度4 354重叠；场景角度2 352与场景角度1 351和场景角度3 353重叠；场景角度3 353与场景角度2 352和场景角度4 354重叠；并且场景角度4 354与场景角度3 353和场景角度1351重叠。由四个相机捕获的场景角度(在图3中为场景角度1 351、场景角度2 352、场景角度3 353和场景角度4 354)输入到片上***(SoC)302中。图像由ISP 304处理，所述ISP实施相机的动态分组，以在反馈回路中设置四个相机中的每个的曝光。由ISP 304实施的相机的动态分组对相机进行分组，以对合成场景图像308的图像协调和动态范围保留之间的权衡进行平衡。SoC 302将合成场景图像308输出到显示终端306上。图像处理***300的用户访问显示终端306。图像处理***300支持许多不同的用例，包含用于汽车(例如，停车辅助***)和安全***的用例。

图4是图像处理***(诸如图1中描绘的图像处理***100、图2中描绘的图像处理***200和/或图3中描绘的图像处理***300)中相邻视图之间的重叠区域的另一示例。如图4所示，复合图像合成包含来自四个输入帧(视图1、视图2、视图3和视图4)的数据。重叠区域是帧的与相同物理角度相对应并由两个相邻相机捕获的部分。图4中描绘的四个视图例如与由安装在汽车上或建筑物内用于安全应用或另一图像处理***应用的相机捕获的角度相对应。

图5示出了利用图1的图像处理***100、图2的图像处理***200或图3的图像处理***300实施图像合成***的车辆501的示例图500。以俯视图在图5的示例中展示车辆501。因此，车辆501包含附加到其的布置在车辆501的每个正交边缘和每个拐角处的八个相机505。因此，相机505因此各自具有提供第一视野510、第二视野512、第三视野514、第四视野516、第五视野518、第六视野520、第七视野522和第八视野524的相应透视取向。在所示的示例中，相机505各自被展示为具有近似90°的视野。但是，在其它示例中，视野具有其它角度和取向。相机505中的每个提供实时图像数据，所述实时图像数据(例如，经由片上***(SoC)，诸如图1的SoC 102、图2的SoC 202和/或图3的SoC 302)被组合为显示在诸如显示终端306之类的显示终端上的合成图像。结果，用户从相对于车辆501的渲染三维表示的给定虚拟位置在基于与用户的观看视角相对应的位置视角的位置和取向上观看合成图像。

此外，图500展示了由相机505提供的视野之间的重叠。在图5的示例中，图500包含与第一视野510和第二视野512相关联的第一重叠550、与第二视野512和第三视野514相关联的第二重叠552、与第三视野514和第四视野516相关联的第三重叠554以及与第四视野516和第五视野518相关联的第四重叠556。图500还包含与第五视野518和第六视野520相关联的第五重叠558、与第六视野520和第七视野522相关联的第六重叠560、与第七视野522和第八视野524相关联的第七重叠562以及与第八视野524和第一视野510相关联的第八重叠564。在一些示例中，图像信号处理器(ISP)(诸如，图1的ISP 104、图2的ISP 204和图3的ISP304)被配置为基于经由相机505提供的图像信号标识重叠(第一重叠550、第二重叠552、第三重叠554、第四重叠556、第五重叠558、第六重叠560、第七重叠562和第八重叠564)。在一些示例中，SoC(诸如图1的SoC 102、图2的SoC 202或图3的SoC 302)被配置为通过相应重叠(第一重叠550、第二重叠552、第三重叠554、第四重叠556、第五重叠558、第六重叠560、第七重叠562和第八重叠564)处的相机505中的每个使由图像数据表征的图像对齐来生成合成图像作为单个连续感兴趣场景。因此，在一些示例中，合成渲染图像数据包含车辆501的渲染三维表示和由相机505中的每个捕获的相对于相机505中的每个的视野510、512、514、516、518、520、522和524连续叠加的感兴趣场景中的每个的实时视频图像。相应地，合成图像例如叠加为基本围绕车辆501的渲染表示，以经由用户接口24(例如，显示器228或显示终端306)将围绕车辆501的相应感兴趣场景显示给用户。

图6示出了渲染合成图像600的第一示例。渲染合成图像600被展示为包含车辆601的渲染三维虚拟表示(在该示例中，其是图5的示例中的车辆501的3D表示)。在该示例中，渲染合成图像600已经利用图1的图像处理***100、图2的图像处理***200或图3的图像处理***300通过图像合成***拼接在一起。在该示例中，用户例如能够确定感兴趣的场景的三维特征。渲染合成图像600展示了例如表示为围绕车辆601的渲染三维虚拟表示的单个连续感兴趣场景的复合图像数据。例如基于图像信号处理器(诸如图1的图像处理器(ISP)104、图2的ISP 204或图3的ISP 304)使由相应视野510、512、514、516、518、520、522和524之间的相应重叠(第一重叠550、第二重叠552、第三重叠554、第四重叠556、第五重叠558、第六重叠560、第七重叠562和第八重叠564)处的图5的相机505中的每个生成的实时视频数据和深度数据对齐来生成复合图像数据。因此，渲染合成图像600包含例如车辆601(或图5的车辆501)的渲染三维虚拟表示和由相机505中的每个捕获的相对于图5的相机505中的每个的相应视野(第一视野510、第二视野512、第三视野514、第四视野516、第五视野518、第六视野520、第七视野522和第八视野524)连续叠加的感兴趣场景中的每个的实时视频图像。

在图6的示例中，渲染合成图像600被展示为从相对于车辆601(或图5的车辆501)的渲染三维虚拟表示偏移预定距离的给定位置视角显示给用户，并且基于与从车辆601的渲染三维虚拟表示的前侧和右侧之间对角向下看的视图相对应的取向角(例如，球坐标系中的方位角和极角)。例如，位置视角是基于用户实施复合图像数据的平台中心视图的，其中，用户的位置视角相对于车辆601的渲染三维虚拟表示偏移并基本以所述渲染三维虚拟表示为中心。例如，在平台中心视图中，用户经由用户接口(诸如图3的显示终端306内实施的用户接口)提供输入以经由图形或硬件控件移动、缩放和/或改变观看取向，以改变位置视角。因此，用户从相对于车辆601的渲染三维虚拟表示的基本任何角度和/或任何距离观看感兴趣场景的实时视频图像。另外，用户例如实施用户接口以切换到不同的视图，诸如基本类似于相机505中的相应一个的视角取向的与用户的位置视角相关联的相机视角视图。因此，显示合成图像以在环境内提供空间感知，所述环境在示例中对应于车辆601所位于的地理区域。

图7是可用于被图像处理***(诸如图1的图像处理***100、图2的图像处理***200或图3的图像处理***300)使用的示例相机700。因此，相机700是图1中描绘的相机105、图2中描绘的相机205和图5中描绘的相机505的框图。相机700包含传感器702、透镜704、壳体706和数字转换器708。

在一些示例中，传感器702是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。透镜704将光弯曲、折射并聚焦到传感器702上。透镜704与传感器702、壳体706和数字转换器708结合使用，以在感光胶片上或能够以化学或电子方式存储图像的另一介质上显影物体和场景的图像。在一些示例中，CCD和CMOS传感器在不使用数字转换器708的情况下将光信号转换为电信号。相应地，在一些示例中，相机700不包含数字转换器708。CCD传感器输出模拟电压信号，并且因此在一些示例中，包含用于模数(A-D)转换的数字转换器708。CMOS传感器直接输出数字信号。在一些示例中，并且特别是在图7中描绘的相机700中，因为图像处理***在片上***(SoC)内嵌入ISP(例如，图1的ISP 104、图2的ISP 204或图3的ISP304)，所以相机700不包含图像信号处理器(ISP)。因此，SoC(例如，图1的SoC 102、图2的SoC202或图3的SoC 302)嵌入一个ISP，而不是针对不同的相机中的每个(例如，图1的相机105、图2的相机205或图5的相机505)具有不同的ISP。

图8描绘了由图像处理***(诸如图1的图像处理***100、图2的图像处理***200和/或图3的图像处理***300)执行的示例操作的概述。在该示例中，四个不同的相机捕获了四个图像(图像851、图像852、图像853和图像854)。在相机捕获四个图像之后，执行透镜畸变校正802，然后执行透视变换804，然后执行混合/拼接操作806以创建渲染合成场景图像808。透视变换804通过将图像变换为图像好像是从某个虚拟视点捕获的来创建视图。在一个实施示例中，透镜畸变校正802和透视变换804由图像信号处理器(ISP)(诸如图1的ISP104、图2的ISP 204或图3的ISP 304)执行，而用于创建渲染合成场景图像808的混合/拼接操作806由数字信号处理器(DSP)(诸如图2的DSP 232)执行。在另一实施示例中，透镜畸变校正802和透视变换804由几何变换引擎(诸如图1的几何变换引擎108，或图2的几何变换引擎208(在一些示例中，几何变换引擎108是图形处理单元(GPU)，并且几何变换引擎208是图形处理单元(GPU)))执行；而用于创建渲染合成场景图像808的混合/拼接操作806由DSP(诸如图2的DSP 232)执行。在一些示例中，合成图像表示图1的渲染合成图像110、图3的合成场景图像308和/或图6的渲染合成图像600。

图9是图像处理***(例如，图1的图像处理***100、图2的图像处理***200和/或图3的图像处理***300)的图像处理***状态900，其中四个相机905以相同的曝光量分组在一组中。相机1至4中的每个产生相应的统计信息907。统计信息907包含硬件辅助统计信息，诸如自动曝光、自动白平衡和自动聚焦。来自相机905的统计信息907被提供给自动曝光引擎909，所述自动曝光引擎确定如何对相机进行分组以及如何在连续反馈回路中对它们进行分组。在示例中，自动曝光引擎909是嵌入在片上***(SoC)(例如，图1的SoC 102内的ISP 104、图2的SoC 202内的ISP 204和/或图3的SoC 302内的ISP 304)内的图像信号处理器(ISP)内的功能软件模块。在该特定图像处理***状态900中，四个相机905被设置为通过自动曝光引擎909具有相同的曝光，以避免在(混合的)产生的渲染图像中可见的接缝线。图像处理***状态900通常是当整个设置具有由相机1至4测量的低动态范围时的状态。由于已经将相机1至4指派为具有相同的曝光，所以通过减小动态范围来实现图像协调。

图10示出了在将相机分组以具有与当图像处理***处于图9中的示例图像处理***状态900时相同的曝光/增益设置之后的图像处理***的合成图像输出1000。通常在设置具有总的低动态范围时进行将相机分组为具有相同的曝光/增益设置。如果未将相机分组为具有相同的曝光/增益设置，则在合成图像输出、尤其是在图像区域1001和图像区域1003中可能存在降低图像质量的可见的接缝线(示出了一个相机的边界在何处终止以及另一相机的边界在何处开始)，这是由于至少两个相机之间的曝光/增益设置将不同。相反，在图10中，在图像区域1001和图像区域1003内不存在可见的接缝线，这是由于已经向相机指派了如图9中示出的图像处理***状态900所示的相同的曝光/增益设置。因此，在图10中，实现了图像协调，使得消除了接缝线。即使在为相机指派了相同的曝光/增益设置时，在许多此类情况下也实现图像协调，而不损害动态范围。

图11是图像处理***(例如，图1的图像处理***100、图2的图像处理***200和/或图3的图像处理***300)的示例图像处理***状态1100，其中一台相机被解耦。在该示例中，如同图9中描绘的示例图像处理***状态900，相机1至4中的每个生成相应统计信息1107。统计信息1107包含硬件辅助统计信息，诸如自动曝光、自动白平衡和自动聚焦。来自相机1105的统计信息1107被提供给自动曝光引擎1109，所述自动曝光引擎确定如何对相机进行分组以及如何在连续反馈回路中对它们进行分组。在该特定图像处理***状态1100中，通过自动曝光引擎1109的不同实例中的第一个(即自动曝光引擎1)将相机1设置为第一曝光/增益设置，而通过自动曝光引擎1109的不同实例中的第二个(即自动曝光引擎2)将相机2至4设置为具有第二曝光/增益设置，其中，第二曝光/增益设置不同于第一曝光/增益设置。在一些示例中，每个自动曝光引擎1109(例如，自动曝光引擎1和自动曝光引擎2)是由嵌入在片上***(SoC)(例如，图1的SoC 102内的ISP 104、图2的SoC 202内的ISP 204和/或图3的SoC 302内的ISP 304)内的图像信号处理器(ISP)执行的软件模块的实例。在整个设置具有由相机1至4测量的高动态范围的情况下，环绕声视图***通常处于图像处理***状态1100。因为相机1被指派到具有与相机2至4不同的曝光/增益设置的不同组，所以产生的合成图像(例如，图1的渲染合成图像110、图3的渲染合成场景图像308和/或图6的渲染合成图像600)的合理动态范围在平衡图像协调的同时被实现。

图12描绘了图像处理***的示例合成图像输出1200，其中，四个相机观察高动态范围设置，其中，一个相机被设置为具有与图像处理***的其它相机不同的曝光/增益设置。图12描绘了由图11的示例图像处理***状态1100产生的示例图像。在图12中示出的示例合成图像输出1200中，其中三个相机正在观察场景的相对暗部分，而汽车前部处的相机正在观察场景的相对亮部分。位于汽车前部的相机正在观察图像区域1211。在图12中，根据图11中示出的图像处理***状态1100，前相机已经指派到与场景中的其它三个相机不同的组，以便在合成图像输出1200中实现合理的动态范围。特别地，观察图像区域1211的前相机被指派到第一组并且被设置为具有第一曝光/增益设置，而其它三个相机被指派到第二组并且被设置为具有与第一曝光/增益设置不同的第二曝光/增益设置。通过将前相机指派到与其余三个相机不同的组，可以更清楚地看到图像区域1211中的道路标记，同时平衡图像区域1201(环绕的)和图像区域1203(环绕的)中的接缝线的存在。如果前相机被指派到与其余相机相同的组(第二组)，则合成图像输出1200在图像区域1201和图像区域1203中不显示接缝线，但是前相机将被过度曝光，而图像区域1211将太亮而没有道路的细节。因此，图12表示其中应该相对于图像协调有利于动态范围的场景。

图13是通过使用试探法对相机进行动态分组来实施图像处理***(例如，图1的图像处理***100、图2的图像处理***200和/或图3的图像处理***300)的示例方法。方法1300例如由图像处理***(诸如图1的图像处理***100、图2的图像处理***200和/或图3的图像处理***300)执行。在1302处，由统计引擎(例如，图1的统计引擎106和/或图2的统计引擎206)估计每个相机的视图亮度和/或色温，以转发到图像信号处理器(ISP)，诸如图1的图像信号处理器(ISP)104、图2的ISP 204和/或图3的ISP 304。在一些示例中，仅估计每个相机的视图亮度，或者仅估计每个相机的色温。在一些示例中，估计每个相机的视图亮度和/或色温涉及估计每个相机的特定时间段上的平均视图亮度和/或色温。

在1304处，通过将具有在阈值以下的视图亮度和/或视图色温的变化的相机分组在一起来执行相机分组。更具体地，将具有类似视图亮度和/或类似视图色温的相机根据扩展度分组在一起，其中，通过确定两个或更多个相机的最小测量视图亮度和/或色温和两个或更多个相机的最大测量视图亮度和/或色温来计算扩展度。当通过组指派方法而使得相机视图亮度和/或色温的扩展度在阈值以上时，将相机指派到不同的组。组指派方法包含确定连续相机之间的最大测量亮度和/或色温跳跃，所述连续相机在相机的已排序的测量亮度和/或色温内具有第一测量亮度和/或色温和第二测量亮度和/或色温，其中，第一测量亮度和/或色温小于第二测量亮度和/或色温。将具有等于或低于第一测量视图亮度和/或色温的测量视图亮度和/或色温的相机指派到第一组，并且将具有等于或大于第二测量视图亮度和/或色温的测量视图亮度和/或色温的相机指派到第二组。如本文所使用的，术语“跳跃”与连续相机的测量视图亮度和/或色温之间的差异(当已经从最暗的测量视图亮度和/或色温到最亮的视图测量亮度和/或色温依次对相机进行排序时)相对应。分组方法例如由(ISP)(诸如图1的ISP 104、图2的ISP 204和/或图3的ISP 304)执行。阈值是可配置的。通过ISP将每个组中的相机指派为具有相同的曝光/增益设置。

在一些示例中，给定组内的相机被进一步分组，使得形成两个以上的组。通过使用试探法示例，当给定组内的相机的测量视图亮度和/或色温的组扩展度超过阈值时，通过子组指派方法对给定组内的相机进行重新分组。子组指派方法包含确定给定组内的连续相机之间的最大测量亮度和/或色温跳跃，连续相机在相机的已排序的测量亮度和/或色温内具有第一测量视图亮度和/或色温和第二测量视图亮度和/或色温，其中，第一测量视图亮度和/或色温小于第二测量视图亮度和/或色温，和将给定组内的具有等于或低于第一测量视图亮度和/或色温的测量视图亮度和/或色温的相机指派到给定组(同一组)，和将给定组内的具有等于或大于第二测量视图亮度和/或色温的测量视图亮度和/或色温的相机指派到另一组(新组)。在一些示例中，通过确定给定组内的相机的最小测量视图亮度和/或色温和给定组内的相机的最大测量视图亮度和/或色温来计算子组扩展度。通过ISP将每个组中的相机指派为具有相同的曝光/增益设置。在一些示例中，当子组内的跳跃超过阈值时，将已经指派到组的相机进一步分组是适当的。在一些示例中，子分组是***的功能。

在一些示例中，在对相机进行分组时考虑其它因素。动态分组考虑相机的先前分组(其利用了示例，在该示例中，在随后的动态分组迭代期间，先前组中的第一相机观察到与第一相机组中的其它相机类似的亮度和/或色温)。例如，在先前分组影响未来分组时，考虑示例，在该示例中，车辆1正在接近另一车辆2，使得车辆2沿与车辆1相反的方向行驶，并且车辆2使得其汽车上的“亮光”设置启用并正在接近车辆1。由于车辆1的前相机只观察到车辆2的亮光仅持续几秒钟，代替将车辆1的前相机指派到与其它3个相机不同的组，分组将考虑仅在观察亮光设置之前(例如，在观察到亮光设置之前5秒钟)相机被指派到同一组，因此不会将相机分组为不同的组。在示例中，实施5秒钟的时间阈值。而且，在示例中，在选择哪些相机分组在一起时，相机的先前分组是要考虑的一个因素。考虑先前分组有用的另一示例是通过利用历史统计信息。相机的先前分组的历史统计信息可以显示一些相机被更频繁地分组在一起，因此下一分组将使用它作为因素(例如，使用加权平均)来考虑下一分组。作为进一步的示例，分组考虑相机的相对位置，使得分组考虑具有重叠视野(FOV)的相机(例如，具有重叠FOV的相机被允许位于同一组中-诸如这之类的约束通过与其它相机相邻的相机可能具有类似的亮度和/或色温视图度量的试探法缩减复杂性)。在其它示例中，分组将具有非重叠视野的相机分组在一起。

在1306处，更新每个组的曝光历史，并且更新每个组的曝光/增益设置锁定。保持组曝光历史和锁定以促进组曝光连续性、平滑性和快速响应。在示例中，组曝光历史用于检测突然的和大的场景亮度变化。作为实施示例，除了亮度和/或色温变化的阈值之外，还包含第二阈值(即时间阈值)，使得如果在超过时间阈值的特定时间段期间观察到亮度和/或色温，则对相机进行重新分组。例如，在一些场景中，相机的不同亮度和/或色温被观察到持续几分钟(汽车正在通过隧道)。在一些示例中，此类场景意味着亮度和/或色温度量是临时的，并且在几分钟过去后将恢复到历史上更一致的亮度和/或色温度量。类似地，在一些示例中使用组曝光锁定，以避免由于小的和/或瞬时的场景变化而导致的不受欢迎的曝光调整。在一些示例中，当在特定阈值时间上观察到大的相机视图亮度和/或色温变化时，组曝光/增益设置被解锁(允许更改)。在其它示例中，当在特定阈值时间上相机视图亮度和/或色温变化较小时(例如，其中一个相机临时观察到树的阴影)，组曝光/增益设置被锁定(使得曝光/增益设置不变)。在1308处，ISP为每个组选择相机曝光。当组曝光被解锁时，将选择每个相机的新曝光。但是，在为每个组改变相机曝光之前，ISP查询组曝光历史和锁定信息。在一些示例中，组曝光历史是分组考虑的因素，因为分组确定某个组过去是否有一个曝光设置，如果从将曝光设置为观察到新现象的时间的时间尚未被超过(如上所述，考虑“亮灯”和隧道示例)，则类似的曝光设置是适当的。例如，响应于超过时间阈值，相机的曝光设置被解锁，使得改变了相机的曝光。再则，在一些示例中，基于预定义的视图亮度或色温目标来选择新的曝光。在一些示例中，使用统计、工程或数学模型在线或离线地估计预定义的视图亮度或色温目标。在1310处，通过片上***(SoC)(例如，图1的SoC 102、图2的SoC 202和/或图3的SoC 302)来将合成图像(例如，图1的渲染合成图像110、图3的合成场景图像308和/或图6的渲染合成图像600)渲染到显示器(例如，图2的显示器228和/或图3的显示终端306)。

图14是在图像处理***(诸如图1的图像处理***100、图2的图像处理***200和/或图3的图像处理***300)中使用试探法的示例动态相机分组的图形1400。动态分组例如由图1的图像信号处理器(ISP)104、ISP 204或ISP 304实施。提供了相机的估计视图亮度(在该示例中，亮度也包含色温的度量)。沿着图形1400的水平轴1402(在该示例中，水平轴被标记为“相机从暗到亮”)，相机(例如，图1的相机105、图2的相机205或图5的相机505)从暗到亮排序。基于它们的亮度，沿着竖直轴1404(在该示例中，竖直轴是被标记为“亮度”的轴)竖直地绘制相机。在图14中，尽管竖直轴被标记为“亮度”，但是在一些示例中，基于它们的色温或基于测量视图亮度和/或测量视图色温的组合来对相机排序。因此，除了亮度，标记“亮度”还并入色温的概念，“相机从暗到亮”也并入了从最低色温到最高色温的排序。如果相机视野亮度的扩展度(例如，最高观察视野亮度和最低观察视野亮度之间的差)低于预定义阈值，则将相机指派到具有均匀曝光/增益设置的一组。如果相机的视图亮度的变化在预定义阈值以上，则确定相机的已排序的视图亮度中的最高视图亮度跳跃(增量)。如关于图13所解释的，术语“跳跃”与连续相机的测量视图亮度和/或色温之间的差异(当已经从最暗的测量视图亮度和/或色温到最亮的视图测量亮度和/或色温依次对相机进行排序时)相对应。在该示例中，并且在不损失一般性的情况下，假设排序视图中的最高视图亮度跳跃包含具有测量视图亮度B1和B2的两个相机，使得B2>B1，则将相机指派到组，使得具有小于或等于B1的测量视图亮度的相机被指派到一组，而具有大于或等于B2的测量视图亮度的相机被指派到不同的组。在图形1400中，亮度跳跃1410显示在组1 1406中具有最高视图亮度的相机与组2 1408中具有最低视图亮度的相机之间。

在一些示例中，例如通过使用图13中1304处描述的方法将图4中的相机指派到三组而不是两组来确定一个以上的跳跃。例如，确定组内相机的已排序的视图亮度中的最高亮度跳跃(增量)，并且在不损失一般性的情况下，假定排序视图中的最高视图亮度跳跃包含同一组内的具有测量视图亮度B2和B3的两个相机，使得B3>B2，则将相机指派到组，使得具有小于或等于B2的测量视图亮度的相机被指派到一组，而具有大于或等于B3的测量视图亮度的相机指派到不同的组。

在示例中，图15示出了当以回路结构布置四个相机时，在图像处理***(例如，图1的图像处理***100、图2的图像处理***200和/或图3的图像处理***300)内使用穷举搜索来对相机进行考虑和分组的不同方式。分组由例如图1的ISP 104、图2的ISP204和/或图3的ISP 304执行。图15中描绘的示例示出的分组的类型约束相机分组，使得仅将相邻相机分组在一起(尽管在一些示例中该约束已被缓解)。在具有四个相机的示例中，存在五个不同的场景，即含有四个相机的一组1502、每个组中具有一个相机的四组1504、2+2分组1506(两种允许方式)，3+1分组1508(四种允许方式)和2+1+1分组1510(四种允许方式)。因此，在该示例中，共有12种不同的方式允许对相机进行分组。穷举动态分组方法为12种允许方式中的每种计算成本函数，并对相机进行分组以缩减成本，如下关于图16、图17和图18所讨论的。

图16是通过使用穷举搜索对相机进行动态分组来实施图像处理***(例如，图1的图像处理***100、图2的图像处理***200和/或图3的图像处理***300)的示例方法1600。穷举搜索动态相机分组由图像信号处理器(ISP)(例如，图1的ISP 104、图2的ISP204或图3的ISP 304)执行。穷举动态分组方法为允许对相机进行分组的方式中的每种计算成本函数，并对相机进行分组以缩减成本。在这种背景下，成本反映了为了有利于保留动态范围而放弃多少图像协调，反之亦然。在1602处，统计引擎(例如，图1的统计引擎106和/或图2的统计引擎206)估计每个相机的视图亮度和/或色温，以转发到ISP。在一些示例中，仅估计每个相机的视图亮度，或者仅估计每个相机的色温。在一些示例中，估计每个相机的视图亮度和/或色温包含估计每个相机的特定时间段上的平均视图亮度和/或色温。相机图像亮度受相机曝光、亮度和视图影响。在一些示例中，在同一场景中，较高的相机曝光导致较高的图像亮度。但是，当前相机曝光和当前图像亮度是***的参数。因此，在一些示例中，根据当前相机图像亮度和/或当前相机曝光(例如，通过假定近似线性关系)来估计视图(场景)亮度。曝光和图像色温基本无关。此外，如上所述，色温是指场景中光源的颜色。因此，如果两个相机视图观察到明显不同的色温，则在一些示例中，ISP(诸如图1的ISP 104、图2的ISP 204和/或图3的ISP 304)应用不同的白平衡增益以减少色差。

在1604处，定义允许对两个或更多个相机进行分组的多种方式。在图15所示的示例中，有12种允许方式(如果同一组中的相机相邻)。然而，在1604处，在一些示例中，添加附加约束，使得去除允许方式的子集(例如，去除诸如每个组中具有一个相机的四个组1504之类的组)。在1606处，定义用于多种分组方式的一个或多个成本函数。在一些示例中，成本函数对用于组内的不均匀亮度和/或色温的成本和用于跨组的低亮度和/或色温变化的成本进行权重。在一个示例中，用于分组的一个或多个成本函数是多个成本函数，包含第一成本函数，所述第一成本函数定义用于组内的不均匀亮度和/或色温的成本；和第二成本函数，所述第二成本函数定义跨组的亮度和/或色温变化的成本。在1608处，基于一个或多个成本函数来计算允许对相机进行分组的多种方式(例如，七种分组方式)中的每种的成本。

在1610处，ISP将相机中的每个分组为一个或多个组以缩减成本。作为一个示例，为了为每个相机选择组，ISP选择将成本缩减到最低水平的分组布置(例如，最低成本分组)。另外，定义了用于改变分组的阈值。如果成本的减少大于阈值，则ISP改变相机分组以缩减成本。如果成本的减少小于阈值，则ISP选择不改变相机的当前分组。在一些示例中，用于缩减成本的分组是基于相机的先前分组(例如，参考上文讨论的“亮灯”示例)、组曝光历史(例如，参考上文讨论的“隧道”示例)和/或相机的相对位置(例如，具有非重叠视野的相机实际上属于同一组)。在1612处，ISP为每个组选择相机曝光，其中，组中的给定一组内的一个或多个相机具有相同的相机曝光。在1614处，将合成图像(例如，图1的渲染合成图像110、图3的合成场景图像308和/或图6的渲染的合成图像600)渲染到显示器(例如，图2的显示器228和/或图3的显示终端306)。

在一些示例中，通过几何变换引擎(诸如图1的几何变换引擎108和/或图2的几何变换引擎208)来渲染合成图像。在其它示例中，合成图像由SoC(诸如图1的SoC 102和/或图2的SoC 202)渲染。本文公开的***和方法适用于其中图像预处理发生在一个SoC中而实际图像合成发生在另一SoC中的技术解决方案。因此，本文公开的***和方法适用于其中无论图像合成是否发生在同一部件或***中均使用动态分组将曝光增益/设置指派到同一组内的相机的图像预处理。同时，本文公开的***和方法适用于其中图像预处理和动态分组以及图像合成发生在同一SoC中的技术解决方案。

图17示出了绘制作为在图1706中示出的四相机图像处理***中表示的一组中亮度和/或色温的比率的函数的成本的图形1700。因此，在至少一个示例中，图形1700表示图1706的成本函数的输出。在示例中，图17中示出的成本函数是在图16中的1606处定义的一个或多个成本函数。特别地，如关于图16所述(参见1606处)，用于组内不均匀亮度和/或色温的成本被用于例如计算总成本(或作为所述总成本的因素)。相机的分组在穷举搜索阶段期间给出。例如，在图1706中，其中两个相机(例如，C0和C1)属于一组，而其它两个相机(例如，C2和C3)属于另一组。

对于本示例，假设相机C0、C1、C2和C3的视图亮度/色温分别为B0、B1、B2和B3。对于(C2，C3)组，最亮/最高色温视图与最暗/最低色温视图的比率r由公式2给出。

公式2:

在一些示例中，对于组中有更多个相机，则比率r以类似于公式2的方式进行定义。如果组中有单个相机，则比率定义为1。大约为1(例如小于2)的低比率意指组中均匀的亮度和/或色温，这意味着相机适当地位于同一组中。高比率(即比率大于或等于4)(例如)意指组中不均匀的亮度，使得相机可能不应该在同一组。在一些示例中，用于一组中的不均匀的亮度和/或色温的成本1704被定义为比率1702的函数，所述函数对于大约为1的较小比率接近于0而对于较大的比率值增加，如图17所示。在一些示例中，成本函数的具体形状通过经验决定。在一些示例中，定义用于成本函数的线性函数或其它高阶函数。再则，在一些示例中，组的总成本是每个组的成本的总和。此外，图17中示出的成本函数可扩展以仅包含亮度度量或仅包含色温度量。

图18示出了绘制作为在图1806中示出的四相机图像处理***中表示的跨组的低亮度和/或色温变化的比率1802的函数的成本1804的图形1800。相应地，在至少一个示例中，图形1800表示图1806的成本函数的输出。在示例中，图18中示出的成本函数是在图16中的1606处定义的一个或多个成本函数。如关于图16所述(参见1606处)，用于跨组的低亮度和/或色温变化的成本被用于例如计算总成本(或作为所述总成本的因素)。

图18描绘了如何定义跨组的低亮度和/或色温变化的成本的示例。对于本示例，假设正在实施四相机图像处理***。相机的分组在图1806中示出。在该示例中，进一步假设其中两个相机(例如，C0和C1)属于一组，而其它两个相机(例如，C2和C3)属于另一组；相机的视图亮度/色温分别为B0、B1、B2和B3。C0和C3之间存在组边界。在一些示例中，相机之间的该边界的亮度/色温比率由公式3定义。

公式3:

大约为1(例如小于2)的低比率意指跨边界的低亮度和/或色温变化(例如，C0和C3具有类似的视图亮度和/或色温，并且可能应该在同一组)。高比率意指跨边界的高亮度和/或色温变化(例如，C0和C3具有大视图亮度和/或色温差，并且可能应该在不同的组)。在一些示例中，用于一组边界的低亮度和/或色温的成本函数被定义为上述比率的函数，如图18所示，所述函数对于大约为1的较小比率1802较大而对于较大的比率值降低至接近0。如图18所示，随着比率1802增加(意味着组之间的亮度/色温的差更大)，成本1804(用于保持组不同的***的成本)降低，反之亦然。在一些示例中，函数的具体形状通过经验决定。在一些示例中，定义用于成本函数的线性函数或其它高阶函数。再则，在一些示例中，成本被定义为用于组边界的域的跨组的低亮度和/或色温变化的成本的总和。此外，图18中示出的成本函数可扩展以仅包含亮度度量或仅包含色温度量。

在权利要求的范围内，在所描述的实施例中，修改是可能的，并且其它实施例是可能的。

Claims

1.一种片上***SoC，其包括：

图像信号处理器ISP，被配置为：从两个或更多个相机接收与图像相对应的信号；

基于由所述相机中的每个观察的测量视图亮度和/或色温而将所述两个或更多个相机动态分组为组；以及将相机以所述组中的组指派到相同的曝光/增益设置；和

统计引擎，被配置为：从所述ISP接收所述图像信号和与所述图像信号有关的统计信息；和基于所述图像信号估计每个图像的图像视图亮度和/或色温的测量值，以转发到所述ISP。

2.根据权利要求1所述的SoC，进一步包括几何变换引擎，所述几何变换引擎被配置为对从所述ISP接收的图像执行几何变换以渲染对由所述两个或更多个相机捕获的所述图像进行混合的合成图像。

3.根据权利要求1所述的SoC，其中，所述统计引擎被进一步配置为确定与从所述两个或更多个相机捕获的所述图像信号相对应的设置的总动态范围。

4.根据权利要求1所述的SoC，其中，所述ISP被进一步配置为：响应于确定跨所述相机的所述测量视图亮度和/或色温低于预定义阈值，将所述两个或更多个相机指派到一组中。

5.根据权利要求1所述的SoC，其中，所述ISP被进一步配置为：

确定所述两个或更多个相机的所述测量视图亮度和/或色温的扩展度是否在阈值以上，其中，通过确定所述两个或更多个相机的最小测量视图亮度和/或色温和所述两个或更多个相机的最大测量视图亮度和/或色温来计算所述扩展度；

确定两个连续相机之间的最大测量亮度和/或色温差，所述两个连续相机在所述相机的已排序的测量亮度和/或色温内分别具有第一测量视图亮度和/或色温和第二测量视图亮度和/或色温，其中，所述第一测量视图亮度和/或色温小于所述第二测量视图亮度和/或色温；以及

将具有等于或低于所述第一测量视图亮度和/或色温的测量视图亮度和/或色温的相机指派到第一组，和将具有等于或大于所述第二测量视图亮度和/或色温的测量视图亮度和/或色温的相机指派到第二组。

6.根据权利要求1所述的SoC，其中，所述ISP被配置为：

定义允许对所述两个或更多个相机进行分组的多种方式，

为所述多种分组方式定义一个或多个成本函数；

基于所述一个或多个成本函数，计算允许对所述相机进行分组的所述多种方式中的每种的成本；以及

对所述相机进行分组以缩减所述成本，其中，所述成本定义了在渲染合成图像内对图像协调和动态范围进行平衡的程度。

7.根据权利要求6所述的SoC，其中，用于所述分组的所述一个或多个成本函数是多个成本函数，所述多个成本函数包括：

第一成本函数，所述第一成本函数定义所述组内的不均匀亮度和/或色温的第一成本；和

第二成本函数，所述第二成本函数定义跨所述组的亮度和/或色温变化的第二成本。

8.一种方法，其包括：

通过统计引擎估计具有两个或更多个相机的图像处理***内的每个相机的视图亮度和/或色温；

基于所述两个或更多个相机之间的所述估计视图亮度和/或色温的扩展度，通过图像信号处理器ISP将所述两个或更多个相机分组为一个或多个组，其中，通过确定所述两个或更多个相机的最小测量视图亮度和/或色温和所述两个或更多个相机的最大测量视图亮度和/或色温来计算所述扩展度；以及

通过所述ISP为每个组选择相机曝光/增益设置，其中，所述组中的给定一个内的一个或多个相机具有相同的相机曝光/增益设置。

9.根据权利要求8所述的方法，进一步包括将对由所述图像处理***的所述相机捕获的图像进行混合的合成图像渲染到显示器。

10.根据权利要求8所述的方法，其中，响应于所述两个或更多个相机的所述估计视图亮度和/或色温的所述扩展度低于预定义阈值，将所述两个或更多个相机指派到同一组。

11.根据权利要求8所述的方法，其中，响应于所述相机的所述估计视图亮度和/或色温的所述扩展度在阈值以上，通过组指派方法将所述相机指派到不同组，所述组指派方法包括：

确定两个连续相机之间的最大测量亮度和/或色温差，所述两个连续相机在所述组内的所述相机的已排序的测量亮度和/或色温内分别具有第一测量视图亮度和/或色温和第二测量视图亮度和/或色温，其中，所述第一测量视图亮度和/或色温小于所述第二测量视图亮度和/或色温；和

12.根据权利要求11所述的方法，其中，响应于所述第二组内的所述相机的测量视图亮度和/或色温的子组扩展度超过子组扩展度阈值，通过子组指派方法对所述第二组内的相机进行进一步分组，所述子组指派方法包括：

确定所述第二组内的两个连续相机之间的最大测量视图亮度和/或色温差，所述第二组内的所述两个连续相机在所述第二组内的所述相机的已排序的测量亮度和/或色温内分别具有第三测量视图亮度和/或色温和第四测量视图亮度和/或色温，其中，所述第三测量视图亮度和/或色温小于所述第四测量视图亮度和/或色温；和

将所述第二组内的具有等于或低于所述第三测量视图亮度和/或色温的测量视图亮度和/或色温的所述相机指派到所述第二组，和将所述组内的具有等于或大于所述第四测量视图亮度和/或色温的测量视图亮度和/或色温的所述相机指派到第三组；

其中，通过确定所述第二组内的所述相机的最小测量视图亮度和/或色温和所述第二组内的所述相机的最大测量视图亮度和/或色温来计算所述子组扩展度。

13.根据权利要求8所述的方法，其中，用于组的所述相机曝光/增益设置被所述ISP锁定，以防止将一个或多个相机重新指派到不同组，并且响应于在预定义的时间量期间观察的所述组内的所述相机中的一个的所述估计相机视图亮度和/或色温的变化高于锁定阈值而被解锁。

14.根据权利要求8所述的方法，其中，所述分组进一步基于所述相机的先前分组、组曝光/增益历史以及所述相机的相对位置，并且其中，为每个组设置所述相机曝光/增益设置是基于预定义视图亮度和/或色温目标。

15.一种方法，其包括：

通过图像信号处理器ISP定义允许对所述两个或更多个相机进行分组的多种方式；

通过所述ISP为所述多种分组方式定义一个或多个成本函数；

基于所述一个或多个成本函数，通过所述ISP计算允许对所述相机进行分组的所述多种方式中的每种的成本；

通过所述ISP将所述相机分组为一个或多个组以缩减所述成本，其中，所述成本定义了在合成图像内对图像协调和动态范围进行平衡的程度；

通过所述ISP为每个组选择相机曝光/增益设置，其中，所述组中的给定一个内的一个或多个相机具有相同的相机曝光/增益设置；以及

将对由所述图像处理***的所述相机捕获的图像进行混合的所述合成图像渲染到显示器。

16.根据权利要求15所述的方法，其中，所述统计引擎通过对当前相机图像亮度和/或色温与当前相机曝光/增益设置之间的关系进行线性化而根据所述当前相机图像亮度和/或色温和所述当前相机曝光/增益设置来估计所述两个或更多个相机中的每个的图像亮度和/或色温的测量值。

17.根据权利要求15所述的方法，其中，定义允许对所述两个或更多个相机进行分组的所述多种方式包含允许具有不重叠视野的相机在同一组中。

18.根据权利要求15所述的方法，其中，用于所述分组的所述一个或多个成本函数是多个成本函数，所述多个成本函数包括：

19.根据权利要求18所述的方法，其中，通过第一成本函数方法来确定定义所述组内的不均匀亮度和/或色温的所述第一成本的所述第一成本函数，所述第一成本函数方法包含：

确定组中的所述相机的所述亮度和/或色温的最大值与所述相机的所述亮度和/或色温的最小值的比率；和

定义与所述比率成比例的所述比率的函数。

20.根据权利要求18所述的方法，其中，通过第二成本函数方法来确定定义跨所述组的亮度和/或色温变化的所述第二成本的所述第二成本函数，所述第二成本函数方法包含：

确定在不同组中的相邻相机的之间的比率作为第一相机的所述亮度和/或色温比第二相机的所述亮度和/或色温和所述第二相机的所述亮度和/或色温比所述第一相机的所述亮度和/或色温中的最大值；和

定义与所述比率成反比的所述比率的函数。