CN105894449A

CN105894449A - 克服图像融合中颜色突变的方法及***

Info

Publication number: CN105894449A
Application number: CN201510766257.2A
Authority: CN
Inventors: 周珣
Original assignee: Leauto Intelligent Technology Beijing Co Ltd
Current assignee: Fafa Automobile China Co ltd
Priority date: 2015-11-11
Filing date: 2015-11-11
Publication date: 2016-08-24
Anticipated expiration: 2035-11-11
Also published as: CN105894449B; WO2017080179A1; US20170132820A1

Abstract

本发明公开了一种克服图像融合中颜色突变的方法、***以及一种全景设备。该方法适用于包括N个成像装置的全景设备，包括：对各成像装置所采集到的图像电信号进行量化处理，形成全景图像的各待融合图像；计算相邻待融合图像的融合区域的偏差量；对所述各待融合图像进行增益调整，使得所述相邻待融合图像的融合区域的偏差量在预设范围内。通过本发明所提供的技术方案，能够实现所有相邻待融合图像的融合区域的输出亮度和色度基本保持一致，克服了通过图像处理算法进行亮度和色度调节所存在的有效性问题、资源过量消耗问题以及处理效率问题。

Description

克服图像融合中颜色突变的方法及***

技术领域

本发明涉及图像拼接技术领域，尤其涉及克服图像融合中颜色突变的方法及***。

背景技术

图像拼接技术是将数张有重叠部分的图像拼接成全景图的技术，其中这数张有重叠部分的图像是不同视角下的成像。

该不同视角下的成像是由多个(两个或更多个)成像装置(例如摄像头)同时获得，这种类型的图像拼接技术的典型应用是多摄像头拼接式全景摄像机、全景泊车等等。作为图像拼接的关键技术之一，图像融合是将待融合图像的视场重合区域即融合区域进行叠加处理得到拼接重构的无缝全景图像。但从前述对于图像拼接技术的介绍可知，多成像装置的同时成像为分别进行独立曝光，而不同视角下拍摄场景的光照条件不尽相同，则当成像装置根据场景调整曝光时必然导致所采集到的待融合图像存在亮度和色度上的差异。采用这种存在亮度和色度差异的待融合图像直接进行图像叠加融合，该差异会通过对比而放大，最终会导致融合后的全景图像存在颜色突变，影响视觉感官效果。显然，待融合图像之间的亮度和色度差异越大，拼接后的全景图像的颜色突变会越明显。

针对图像融合技术所存在的这一问题，现有技术所提供的解决方案大多是采用图像处理算法进行亮度和色度调节。虽然图像处理算法可以不尽相同，处理时间点也可能存在区别例如在融合前对待融合图像进行处理或者融合后对全景图像进行平滑处理，但均存在以下同样的技术缺陷：

1、难以从根源上解决待融合图像之间亮度和色度差异的问题，并且会受到图像处理算法有效性的固有影响；

2、图像处理算法通常较为复杂，会造成***应用资源的大量消耗；而且随着图像分辨率增加，消耗也会急剧增加；

3、***应用资源的消耗进而导致处理效率的下降。

因此，如何简单有效地使融合区域的图像过渡更自然，是目前本领域的技术难点，需要提供新的克服图像融合中颜色突变的技术以解决上述问题。

发明内容

为了解决该问题，本发明公开了一种克服图像融合中颜色突变的方法，适用于包括N个成像装置的全景设备，包括以下步骤：

对各成像装置所采集到的图像电信号进行量化处理，形成全景图像的各待融合图像；

计算相邻待融合图像的融合区域的偏差量；

对所述各待融合图像进行增益调整，使得所述相邻待融合图像的融合区域的偏差量在预设范围内；

其中，所述N≥2。

本发明还公开了一种克服图像融合中颜色突变的***，适用于包括N个成像装置的全景设备，包括：

量化单元，用于对各成像装置所采集到的图像电信号进行量化处理，形成全景图像的各待融合图像；

数据处理单元，用于计算相邻待融合图像的融合区域的偏差量；

增益调整单元，用于对所述各待融合图像进行增益调整，使得所述相邻待融合图像的融合区域的偏差量在预设范围内；

其中，所述N≥2。

本发明还公开了一种全景设备，包括：

N个成像装置，其中所述N≥2；

N个模/数转换器，分别与所述N个成像装置对应连接，用于对各成像装置所采集到的图像电信号进行量化处理，形成全景图像的各待融合图像；

处理器，与所述N个模/数转换器连接，用于计算相邻待融合图像的融合区域的偏差量，以及对所述各待融合图像进行增益调整，使得所述相邻待融合图像的融合区域的偏差量在预设范围内。

通过本发明的技术方案，能够以硬件方式进行增益调整，从而实现所有相邻待融合图像的融合区域的输出亮度和色度基本保持一致，克服了现有图像融合技术通过图像处理算法进行亮度和色度调节所存在的有效性问题、资源过量消耗问题以及处理效率问题。

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

以下结合附图，详细说明本发明的优点和特征。

附图说明

图1为本发明所提供的、克服图像融合中颜色突变的方法的一实施例的流程图。

图2为本发明所提供的方法另一较佳实施例的流程图。

图3为本发明所提供的克服图像融合中颜色突变的***的示意图。

图4为本发明所提供的全景设备的框图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

为了彻底了解本发明，将在下列的描述中提出详细的结构。显然，本发明的施行并不限定于本领域的技术人员所熟习的特殊细节。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。

作为主旨，本发明公开了一种克服图像融合中颜色突变的方法，适用于在图像拼接过程中进行图像融合阶段的技术处理，以克服现有图像融合技术中采用图像处理算法所存在的各种缺陷。

在结合具体实施例对本发明所提供的方法加以具体描述之前，需要针对本发明的技术方案声明以下内容：

本发明的适用场合为包括N个(2个或更多个)成像装置的全景成像***例如全景泊车***，由多个成像装置，例如摄像头，同时采集图像电信号以最终拼接为完整的全景图像。

以上所声明的内容对于本发明的全部实施例均一体适用。以下结合附图对本发明的实施例做详细描述。

图1示出了其一实施例的流程图，包括：

S1、对各成像装置所采集到的图像电信号进行量化处理，形成全景图像的各待融合图像；

首先，本步骤是对各成像装置所采集到的图像电信号进行处理，该图像电信号具体可以通过成像装置(例如图像传感器)的感光平面获取。

其次，本步骤对上述图像电信号进行量化处理来获得待融合图像。本领域技术人员应当理解，这里所述的待融合图像是指需要进行图像融合处理以拼接为全景图像的数字图像。

其中，可以通过模/数转换器实现量化处理，并由此获得各待融合图像。本领域技术人员可以根据实际精度要求，选择8位、16位、24位或更高的量化字长来对图像电信号进行量化。

以及，各待融合图像还可以经过图像拼接过程中图像融合处理之前的一系列处理，例如经过降噪、配准等措施的处理。也就是说，本发明所提供的技术方案不影响图像拼接的其他环节现有技术的应用，反过来，图像拼接的其他环节现有技术可以与本发明所提供的技术方案结合使用。

有必要指出的是，步骤S1为针对每一帧全景图像逐帧执行，否则无法实现全景图像的重构。

S2、计算相邻待融合图像的融合区域的偏差量；

在本步骤中，偏差量是指融合区域(重叠区域)相应位置量化值的偏差统计值，例如其可以是相邻待融合图像在该区域内所有点像素值之差的和或者平方和，例如其可以是相邻待融合图像在该区域内所有点像素值均值之差，例如其可以是相邻待融合图像在该区域内按照一定规则对像素进行采样并由此计算采样点的像素值之偏差量，或者本领域技术人员根据实际需要而采取任何其他统计值。

S3、对各待融合图像进行增益调整，使得相邻待融合图像的融合区域的偏差量在预设范围内。

通过增益调整的方式使相邻待融合图像的融合区域的偏差量在预设范围内，是以硬件的方式(增益放大器或者能够执行增益调整的硬件处理器)实现对亮度和色度差异的处理，克服现有技术中图像处理算法所带来的弊端；而且相邻待融合图像的融合区域偏差量极小时，相邻待融合图像的重合区域亮度和色度差异也就极其微小，有效达致本发明的克服拼接后全景图像颜色突变的目的。

显然，当相邻待融合图像的融合区域的偏差量为零时，将达到最佳技术效果。但本领域技术人员显然可以理解，在图像处理领域，想要达到融合区域内所有像素值的完美一致是不现实的，因此只能是趋近于零，必然存在允许误差范围。例如像素灰度级为255的情况下，单个像素允许误差可以是在5以下或者10以下。只要在这一预设的允许误差范围内，因为差别极其微小，因此不至于在视觉上影响到融合效果。可以由本领域技术人员根据实际的精度需求具体设定，不影响本发明技术方案的实现。

同样有必要指出的是，步骤S3也针对每一帧全景图像逐帧执行。

这样，经过上述步骤S1-S3的处理，可以实现本发明的发明目的。

进一步的，在图像拼接过程中，步骤S1和S3如上所述是逐帧执行，但S2则可以根据需求以不同频率加以执行。

例如，可以选择每一帧都进行偏差量计算，即针对每一帧全景图像均执行步骤S1-S3，这样的调整方式无疑对于动态的全景图像播放可以得到最好的融合效果，但同时，对于连续显示的摄像机***例如立体行车记录、监控等等其相对***开销也较大。

作为另一个选择，考虑到有些环境中光照变化并没有特别剧烈，因此可以不逐帧计算偏差量，具体又可以分为两种情况。

一种情况例如当成像参数的变化达到预设阈值时重新执行上述步骤S2。具体而言，在有些环境场景中，如白天室外、不会频繁开关灯的室内等，其各成像设备的亮度并不会发生频繁的剧烈改变。这样，在前一次调整后，如果已根据偏差量分析出相邻的A图像比B图像暗4个亮度值，并通过处理器控制A的所有像素亮度增加4，那么可以一直维持这个增益来执行步骤S3，而不需要反复执行步骤S2来重新计算偏差量，直到成像参数的变化达到预设阈值，例如当出现遮挡，或新的光源导致亮度的较大变化，或者切换了拍摄场景等等情况，从而在效果和***开销间达到平衡。

另一种情况例如每隔时间间隔T进行一次偏差量计算，即每隔时间间隔T执行一次步骤S2，其余时段则保持前一次的增益调整值逐帧执行步骤S3。这种方式在成像参数的变化未达到预设阈值的情况下周期性执行偏差量计算，从而实现阶段性的不断修正，同样能够在效果和***开销间达到平衡。

本领域技术人员可以理解，上述两种情况的处理可以互斥使用，即选择周期性执行S2或者基于阈值执行步骤S2。上述两种情况的处理当然也可以结合使用，以达至更好的技术效果。甚至于，上述不同的处理选择也可以结合使用，例如在参数频繁变动的情况下选择逐帧执行步骤S2，而参数变动不频繁的情况下则基于时间间隔T和/或阈值来执行步骤S2。

再进一步的，上述实施例中逐帧执行的步骤S3可以具有不同的实现方式。作为一个选择，例如可以取相邻待融合图像的融合区域的偏差量中间值，然后以该中间值分别调整这两个相邻待融合图像，使二者之间的偏差量趋近于0。

作为一个较佳实施例，本发明还提供了如图2所示的克服图像融合中颜色突变的方法。其步骤S1、S2与图1所示实施例相同，但其步骤S3具体实现如下。

S31：确定各待融合图像之一作为第一基准图像；

其中，可以根据预先设定的规则来确定第一基准图像。

具体而言，可以根据预先对硬件的指定来确定所述第一基准图像。例如指定某一个成像装置所拍摄并经量化处理的待融合图像为每一帧全景图像进行融合的第一基准图像。具体的，对于成像装置的指定可以根据实际情况，例如根据哪个成像装置拍摄的图像电信号所对应的待融合图像更接近成像核心位置，或者哪个成像装置的采光域更大。

作为选择，也可以根据预先对于图像参数的设定来确定所述第一基准图像。例如，可以对各待融合图像的量化值进行分析，将分析结果与设备当前所选择场景模式的目标参数最接近的待融合图像确定为第一基准图像；再例如，可以选择与其他待融合图像的偏差量最小的待融合图像作为第一基准图像；等等。

当然，本方案也不排斥随机选择第一基准图像。

S32：获取与第一基准图像相邻的待融合图像与第一基准图像的融合区域的第一偏差量；

可以理解，本步骤所获取的第一偏差量可以是针对当前全景图像帧计算获得，也可以是最近一次所执行的相邻待融合图像的融合区域的偏差量计算的结果。

进一步的，与第一基准图像例如P0相邻的待融合图像可能不止一幅，那么就分别计算每一幅相邻的待融合图像P1……Pm与第一基准图像P0的融合区域的偏差量D1……Dm，并针对每一个偏差量D1……Dm，分别执行后续步骤。

S33：以第一偏差量对与第一基准图像相邻的待融合图像整体进行增益调整，并将经增益调整后的图像作为第二基准图像；

即，以D1对P1进行增益调整，以Dm对Pm进行增益调整，以此类推；调整后的P1/……/Pm均为第二基准图像。

具体而言，增益调整的对象是每一待融合图像(P1、……、Pm)所有像素点的量化值，例如将P1所有像素点的量化值+x或者-y。

S34：获取与第二基准图像相邻的待融合图像与第二基准图像的融合区域的第二偏差量；

同样的，本步骤所获取的第二偏差量可以是针对当前全景图像帧计算获得，也可以是最近一次所执行的相邻待融合图像的融合区域的偏差量计算的结果。

以及，与第二基准图像P1相邻的待融合图像可能不止一幅例如P11……P1n，与第二基准图像Pm相邻的待融合图像也可能不止一幅例如Pm1……Pmk，同样分别计算每一幅相邻的待融合图像与第二基准图像的融合区域的量化值偏差量D11……D1n，Dm1……Dmk并分别执行后续步骤。

S35：以第二偏差量对与第二基准图像相邻的待融合图像整体进行增益调整，并将经增益调整后的图像作为第三基准图像；

即，以D11对P11进行增益调整，以D1n对P1n进行增益调整，以此类推；以Dm1对Pm1进行增益调整，以Dmk对Pmk进行增益调整，以此类推；调整后的P11/……/P1n、Pm1/……/Pmk均为第三基准图像

依次类推，直至各待融合图像全部遍历。

作为一个优选实施例，可以在步骤S31之后，步骤S32之前，执行对第一基准图像进行增益补偿的步骤，该增益的确定可以根据当前所选择场景模式的目标参数来确定，使得遍历后全部待融合图像均具有更好的量化值参数。

以上对本发明所提供的克服图像融合中颜色突变的方法结合具体实施例进行了阐述。相应的，本发明还提供了一种克服图像融合中颜色突变的***，适用于包括N个成像装置的全景设备，N≥2。如图3所示，包括：

量化单元，用于对各成像装置所采集到的图像电信号进行量化处理，形成全景图像的各待融合图像；本单元可以采用模/数转换器实现；

增益调整单元，对所述各待融合图像进行增益调整，使得相邻待融合图像的融合区域的偏差量在预设范围内。

本领域技术人员可以理解，本发明所提供的克服图像融合中颜色突变的***中，各单元的具体实现方案和可能实施例同样适用于相应方法部分所阐述的内容，并达至相同的技术效果，在此不再赘述。

进一步的，本发明还提供了一种全景设备，如图4所示。

该全景设备包括N个成像装置10(1)、10(2)……10(N)。

其中N大于等于2，即为包括多个成像设备的全景设备。

以及，成像装置具体可以为图像传感器，用于进行图像采集。

N个模/数转换器20(1)、20(2)……20(N)，分别与成像装置10(1)、10(2)……10(N)对应连接，用于对各成像装置10(1)、10(2)……10(N)所采集到的图像电信号进行量化处理，形成全景图像的各待融合图像；

处理器30，与模/数转换器20(1)、20(2)……20(N)连接，用于计算相邻待融合图像的融合区域的偏差量，以及对各待融合图像的进行增益调整，使得相邻待融合图像的融合区域的偏差量在预设范围内(趋近于零)。

本领域技术人员同样可以理解，本发明所提供的全景设备中，第一处理器30的具体实现方案和可能实施例同样适用于相应方法部分所阐述的内容，并达至相同的技术效果，在此不再赘述。

但有必要指出的是，全景设备还可以包括或者外接用于进行全景融合的处理器和显示器，可以根据全景设备的类型或者需求而有区别地加以实现，在此不再赘述。

本发明已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明的教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。

Claims

1.一种克服图像融合中颜色突变的方法，适用于包括N个成像装置的全景设备，其特征在于，包括以下步骤：

计算相邻待融合图像的融合区域的偏差量；

其中，所述N≥2。

2.根据权利要求1所述的方法，其特征在于，还包括针对每一帧全景图像执行所述计算相邻待融合图像的融合区域的偏差量的步骤。

3.根据权利要求1所述的方法，其特征在于，还包括以时间间隔T执行所述计算相邻待融合图像的融合区域的偏差量的步骤。

4.根据权利要求1所述的方法，其特征在于，还包括当成像参数的变化达到预设阈值时执行所述计算相邻待融合图像的融合区域的偏差量的步骤。

5.根据权利要求1－4任一所述的方法，其特征在于，所述对各待融合图像进行增益调整的步骤包括：

确定所述各待融合图像之一作为第一基准图像；

获取与所述第一基准图像相邻的待融合图像与所述第一基准图像的融合区域的第一偏差量；

以所述第一偏差量对与所述第一基准图像相邻的待融合图像整体进行增益调整，并将经增益调整后的图像作为第二基准图像；

获取与所述第二基准图像相邻的待融合图像与所述第二基准图像的融合区域的第二偏差量；

以所述第二偏差量对与所述第二基准图像相邻的待融合图像整体进行增益调整，并将经增益调整后的图像作为第三基准图像；

依次类推，直至各待融合图像全部遍历。

6.根据权利要求5所述的方法，其特征在于，根据预先对硬件的指定来确定所述第一基准图像。

7.根据权利要求5所述的方法，其特征在于，根据预先对于图像参数的设定来确定所述第一基准图像。

8.根据权利要求5所述的方法，其特征在于，在确定所述第一基准图像后，还包括对所述第一基准图像进行增益补偿的步骤。

9.一种克服图像融合中颜色突变的***，适用于包括N个成像装置的全景设备，其特征在于，包括：

其中，所述N≥2。

10.一种全景设备，包括：

N个成像装置，其中所述N≥2；

处理器，与所述N个模/数转换器连接，用于计算相邻待融合图像的融合区域的偏差量，以及对所述各待融合图像进行增益调整使得所述相邻待融合图像的融合区域的偏差量在预设范围内。