CN112602316B - 双光图像自动曝光方法、装置、双光图像相机及机器存储介质 - Google Patents

Abstract

本申请提供了一种双光图像自动曝光方法、装置、双光图像相机及机器存储介质，该方法包括：获取图像传感器采集的原始图像；对原始图像进行逻辑分光处理，得到红外图像和可见光图像；判断当前是否使用红外截止滤镜；如果使用红外截止滤镜，采用单光曝光算法对可见光图像进行曝光处理，以得到符合目标曝光效果的可见光图像；如果不使用红外截止滤镜，采用双光曝光算法对红外图像和可见光图像进行曝光处理，以得到符合第一曝光效果的可见光图像和符合第二曝光效果的红外图像；其中，第一曝光效果和目标曝光效果相同或不同。

Description

双光图像自动曝光方法、装置、双光图像相机及机器存储介质

技术领域

本申请涉及相机技术领域，尤其是涉及一种双光图像自动曝光方法、装置、双光图像相机及机器存储介质。

背景技术

传统彩色摄像机仅能够采集可见光波段的信息，并利用可见光波段的信息进行成像。在诸如低照度、雾霾天等恶劣场景下，随着可见光强度的降低或者场景信息被阻挡，传统彩色摄像机成像得到的诸如信噪比、可见性等彩色图像效果显著降质。而在这些场景下，通过适当的曝光控制可以得到清晰、高信噪比的红外图像；但是红外图像仅有灰度信息而无色彩信息。因此，在诸如低照度、雾霾天等恶劣场景下，单一地利用可见光波段或者红外波段进行成像，均无法得到满意的成像效果。

基于此，双光图像相机(又称双光谱相机)应运而生。传统的双光谱相机一般采用双传感器，利用红外传感器和可见光传感器同时采集同一场景下的红外图像和可见光图像，然后利用图像融合技术将红外图像和可见光图像进行有效融合，以得到高质量的彩色融合图像。然而，该类方案一般采用双镜头或硬件工艺构造比较复杂的单镜头进行逻辑分光，以将红外光和可见光进行分离处理，并在红外传感器和可见光传感器上分别成像，然后对二者融合的图像采用常规曝光控制并得到符合要求的融合图像。传统的双光谱相机的硬件成本通常较高。对于此，目前初步提出了单传感器双光相机，然而目前的单传感器双光相机只是沿用与传统的双光谱相机相同的常规曝光控制方式，曝光处理后的图像效果不佳。目前也尚未提出一种针对单传感器双光相机的有效曝光控制方式。

发明内容

有鉴于此，本申请的目的包括，例如，提供一种双光图像自动曝光方法、装置、双光图像相机及机器存储介质，为单传感器双光相机提供了一种有效的曝光控制方式，有助于得到曝光效果更好的图像。

为了实现至少一个本申请的目的，本申请的一个实施例中采用的技术方案如下：

第一方面，本申请实施例提供了一种双光图像自动曝光方法，其特征在于，所述方法应用双光图像相机，所述双光图像相机包括依次连接的图像传感器和处理器，其中，所述图像传感器的数量为一个，且所述双光图像相机还配置有红外截止滤镜；所述方法由所述处理器执行，所述方法包括：获取所述图像传感器采集的原始图像；对所述原始图像进行逻辑分光处理，得到红外图像和可见光图像；判断当前是否使用所述红外截止滤镜；如果使用所述红外截止滤镜，采用单光曝光算法对所述可见光图像进行曝光处理，以得到符合目标曝光效果的可见光图像；如果不使用所述红外截止滤镜，采用双光曝光算法对所述红外图像和所述可见光图像进行曝光处理，以得到符合第一曝光效果的可见光图像和符合第二曝光效果的红外图像；其中，所述第一曝光效果和所述目标曝光效果相同或不同。

在本申请可选的实施例中，判断是否使用所述红外截止滤镜的步骤，包括：判断当前环境亮度是否大于预设亮度；如果是，确定使用所述红外截止滤镜；如果否，确定不使用所述红外截止滤镜。

在本申请可选的实施例中，采用双光曝光算法对所述红外图像和所述可见光图像进行曝光处理的步骤，包括：获取所述可见光图像的第一亮度值和所述红外图像的第二亮度值；获取所述可见光图像的第一曝光目标值和所述红外图像的第二曝光目标值；根据所述第一亮度值和所述第一曝光目标值，计算所述可见光图像的第一曝光参数；根据所述第二亮度值和所述第二曝光目标值，计算所述红外图像的第二曝光参数；根据所述第一曝光参数和所述第二曝光参数，对所述可见光图像和所述红外图像进行曝光处理。

在本申请可选的实施例中，根据所述第一亮度值和所述第一曝光目标值，计算所述可见光图像的第一曝光参数的步骤，包括：根据所述第一亮度值与所述第一曝光目标值之间的差值，查找预先设置的第一差值对照表，确定所述可见光图像的第一曝光参数；根据所述第二亮度值和所述第二曝光目标值，计算所述红外图像的第二曝光参数的步骤，包括：根据所述第二亮度值与所述第二曝光目标值之间的差值，查找预先设置的第二差值对照表，确定所述红外图像的第二曝光参数；其中，所述第一差值对照表与所述第二差值对照表相同或不同。

在本申请可选的实施例中，所述第一曝光参数包括第一快门值、第一sensor增益和第一ISP增益；所述第二曝光参数包括第二快门值、第二sensor增益和第二ISP增益。

在本申请可选的实施例中，所述双光图像相机还配置有白光灯和红外灯；所述第一曝光参数还包括白光灯强度；所述第二曝光参数还包括红外灯强度。

在本申请可选的实施例中，根据所述第一曝光参数和所述第二曝光参数，对所述可见光图像和所述红外图像进行曝光处理的步骤，包括：根据所述第一快门值和所述第二快门值，确定所述可见光图像和所述红外图像共用的有效快门值；根据所述第一senor增益和所述第二sensor增益，确定所述可见光图像和所述红外图像共用的有效senor增益；根据所述有效快门值、所述有效senor增益、所述第一ISP增益和所述白光灯强度，对所述可见光图像进行曝光处理；根据所述有效快门值、所述有效senor增益、所述第二ISP增益和所述红外灯强度，对所述红外图像进行曝光处理。

在本申请可选的实施例中，根据所述第一快门值和所述第二快门值，确定所述可见光图像和所述红外图像共用的有效快门值的步骤，包括：选取所述第一快门值和所述第二快门值中的最小值，将选取的所述最小值确定为所述可见光图像和所述红外图像共用的有效快门值；或，选取所述第一快门值和所述第二快门值中的最大值，将选取的所述最大值确定为所述可见光图像和所述红外图像共用的有效快门值；或，计算所述第一快门值和所述第二快门值的平均值，将所述平均值确定为所述可见光图像和所述红外图像共用的有效快门值；或，采用预设的加权算法计算所述第一快门值和所述第二快门值的加权快门值，将所述加权快门值确定为所述可见光图像和所述红外图像共用的有效快门值。

在本申请可选的实施例中，根据所述第一sensor增益和所述第二sensor增益，确定所述可见光图像和所述红外图像共用的有效sensor增益的步骤，包括：选取所述第一sensor增益和所述第二sensor增益中的最小值，将选取的所述最小值确定为所述可见光图像和所述红外图像共用的有效sensor增益；或，选取所述第一sensor增益和所述第二sensor增益中的最大值，将选取的所述最大值确定为所述可见光图像和所述红外图像共用的有效sensor增益；或，计算所述第一sensor增益和所述第二sensor增益的平均值，将所述平均值确定为所述可见光图像和所述红外图像共用的有效sensor增益；或，采用预设的加权算法计算所述第一sensor增益和所述第二sensor增益的加权增益，将所述加权增益确定为所述可见光图像和所述红外图像共用的有效sensor增益。

在本申请可选的实施例中，所述根据所述有效快门值、所述有效senor增益、所述第一ISP增益和所述白光灯强度，对所述可见光图像进行曝光处理的步骤，包括：预先设定所述有效快门值、所述有效senor增益、所述第一ISP增益和所述白光灯强度的第一控制排序，按照所述第一控制排序依次对所述可见光图像进行曝光处理，直至所述可见光图像达到所述第一曝光效果时停止；根据所述有效快门值、所述有效senor增益、所述第二ISP增益和所述红外灯强度，对所述红外图像进行曝光处理的步骤，包括：预先设定所述有效快门值、所述有效senor增益、所述第二ISP增益和所述红外灯强度的第二控制排序，按照所述第二控制排序依次对所述红外图像进行曝光处理，直至所述红外图像达到所述第二曝光效果时停止。

在本申请可选的实施例中，所述第一曝光效果为：所述可见光图像经曝光处理后的画面亮度值与所述可见光图像的第一曝光目标值之间的差值小于预设第一阈值；所述第二曝光效果为：所述红外图像经曝光处理后的画面亮度值与所述红外图像的第二曝光目标值之间的差值小于预设第二阈值。

第二方面，本申请实施例还提供一种双光图像自动曝光装置，其特征在于，所述装置应用双光图像相机，所述双光图像相机包括依次连接的图像传感器和处理器，其中，所述图像传感器的数量为一个，且所述双光图像相机还配置有红外截止滤镜；所述装置配置在所述处理器内，所述装置包括：原始图像获取模块，配置成获取所述图像传感器采集的原始图像；逻辑分光模块，配置成对所述原始图像进行逻辑分光处理，得到红外图像和可见光图像；滤镜判断模块，配置成判断当前是否使用所述红外截止滤镜；单光曝光控制模块，配置成如果使用所述红外截止滤镜，采用单光曝光算法对所述可见光图像进行曝光处理，以得到符合目标曝光效果的可见光图像；双光曝光控制模块，配置成如果不使用所述红外截止滤镜，采用双光曝光算法对所述红外图像和所述可见光图像进行曝光处理，以得到符合第一曝光效果的可见光图像和符合第二曝光效果的红外图像；其中，所述第一曝光效果和所述目标曝光效果相同或不同。

在本申请可选的实施例中，所述滤镜判断模块配置成：判断当前环境亮度是否大于预设亮度；如果是，确定使用所述红外截止滤镜；如果否，确定不使用所述红外截止滤镜。

在本申请可选的实施例中，所述双光曝光控制模块配置成：获取所述可见光图像的第一亮度值和所述红外图像的第二亮度值；获取所述可见光图像的第一曝光目标值和所述红外图像的第二曝光目标值；根据所述第一亮度值和所述第一曝光目标值，计算所述可见光图像的第一曝光参数；根据所述第二亮度值和所述第二曝光目标值，计算所述红外图像的第二曝光参数；根据所述第一曝光参数和所述第二曝光参数，对所述可见光图像和所述红外图像进行曝光处理。

第三方面，本申请实施例提供了一种双光图像相机，其特征在于，包括：依次连接的图像传感器和处理器；其中，所述图像传感器的数量为一个，且所述双光图像相机还配置有红外截止滤镜；所述处理器上设置有第二方面任一项所述的双光图像自动曝光装置。

在本申请可选的实施例中，所述图像传感器之前还设置有镜头；其中，所述镜头为红外共焦镜头。

在本申请可选的实施例中，所述镜头的透光率高于预设透光率。

在本申请可选的实施例中，所述处理器还连接有补光器；所述补光器包括红外补光灯和/或白光补光灯。

在本申请可选的实施例中，所述图像传感器为RGB-IR传感器。

第四方面，本申请实施例提供了一种机器存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器执行第一方面任一项所述的方法。

本申请实施例提供了一种双光图像自动曝光方法、装置、双光图像相机及机器存储介质，能够对双光图像相机的单传感器采集的原始图像进行逻辑分光处理，得到红外图像和可见光图像，并在使用红外截止滤镜时采用单光曝光算法对可见光图像进行曝光处理，在不使用红外截止滤镜时采用双光曝光算法对红外图像和可见光图像进行曝光处理。这种方式使基于单传感器的双光图像相机能够对图像进行有效的曝光处理，而且根据红外滤镜的使用情况有针对性地选择不同的曝光算法，从而较好地提升图像曝光效果。

本申请实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本申请的上述技术即可得知。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例所提供的一种双光图像相机的结构示意图；

图2示出了本申请实施例所提供的另一种双光图像相机的结构示意图；

图3示出了本申请实施例所提供的一种双光图像自动曝光方法流程图；

图4示出了本申请实施例所提供的一种双光曝光控制方法流程图；

图5示出了本申请实施例所提供的一种双光曝光控制策略示意图；

图6示出了本申请实施例所提供的一种自动曝光装置的结构框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

考虑到基于双传感器的双光图像相机所需成本较高，而成本较低的基于单传感器的双光图像相机目前仅是沿用传统的曝光控制方式，曝光效果不佳，为改善此问题，本申请实施例提供的一种双光图像自动曝光方法、装置、双光图像相机及机器存储介质，以下对本申请实施例进行详细介绍。

为了更好地理解本申请实施例的技术方案，以下首先对本申请实施例提出的双光图像相机(又可称为双光图像相机***)进行介绍。

本申请实施例提供的双光图像相机，至少包括依次连接的图像传感器和处理器；其中，图像传感器的数量为一个。因此本申请实施例提供的双光图像相机也可以称为基于单传感器的双光图像相机。此外，双光图像相机还配置有红外截止滤镜。双光图像相机中的处理器即可执行本申请实施例提出的双光图像自动曝光方法，亦或，其上可设置有本申请实施例提供的双光图像自动曝光装置。

为便于理解，可参见图1所示的一种双光图像相机的结构示意图，示意出依次连接的镜头10、图像传感器20、处理器30和补光器40。

关于镜头10：本申请实施例提供的双光图像相机对镜头的要求较简单，镜头应当为红外共焦镜头，进一步镜头的透光率还可以高于预设透光率。具体而言，镜头对可见光和近红外光均具有较好的透光率。而红外共焦镜头可以保证同一个焦面上可见光图像与红外图像均能够清晰成像。

关于图像传感器20：图像传感器可采用单个的常规RGB-IR传感器即可，RGB-IR传感器具有集成可见光图像和红外图像的能力，对于可见光图像还具有较高的信噪比、通透性好、色彩还原效果好等优势。通过采用RGB-IR传感器，结合本申请实施例提供的曝光控制方法，有助于使不同场景下的红外图像和可见光图像均具有较好的成像效果。

关于处理器30：可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，也可以是中央处理器(CPU)、图形处理器(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理器件中的一种或几种的组合，并且可以控制双光图像相机的其它组件(诸如图像传感器、补光器等)以执行期望的功能。

在一种实施方式中，参见图2所示的另一种双光图像相机的结构示意图，该图在图1的基础上，还示意出处理器30包括统计单元30a和自动曝光控制单元30b。

统计单元30a包括逻辑分光子单元、第一ISP增益子单元、第二ISP增益子单元，原始图像数据经逻辑分光和ISP增益处理后转换为RGB统计数据和IR统计数据。其中，逻辑分光子单元主要是将RGB-IR传感器输出的原始图像转换为红外灰度图像(以下简称红外图像)和可见光彩色图像(以下简称可见光图像)。第一ISP增益子单元用于对可见光图像进行数字信号放大，主要提升可见光图像的整体亮度，第二ISP增益子单元用于对红外图像进行数字信号放大，主要提升红外图像的整体亮度。从图2中可见，本申请实施例提供的双光图像相机支持分别对红外图像和可见光图像进行单独处理。在一种实施方式中，统计单元30a可采用FPGA、DSP、CPU等逻辑器件编程实现。

自动曝光控制单元30b可基于RGB统计数据和IR统计数据对确定可见光图像和红外图像的曝光参数，具体可根据实际情况(诸如红外截止滤镜是否使用)而采用双光曝光控制策略或单光曝光控制策略。具体而言，自动曝光控制单元可以对可见光图像和红外图像的一些曝光参数分别控制，也即实现可见光图像和红外图像的双路控制，诸如，ISP增益可在FPGA、DSP等逻辑器件上实现双路控制，补光强度也可以通过红外补光灯和白光补光灯分开控制，而由于本申请实施例提出的双光图像相机采用单传感器，而曝光参数中的快门参数和sensor增益均只在传感器上生效，因此这些参数需要对可见光图像和红外图像进行单路共同控制。自动曝光控制单元通过对单路曝光参数(诸如快门参数、sensor增益)和双路曝光参数(诸如补光强度、ISP增益)进行调整，从而影响RGB-IR传感器的图像采集数据，即通过不断反馈控制调节，最终使红外图像和可见光图像达到最佳的图像效果。在一种实施方式中，自动曝光控制单元30b可采用诸如CPU等逻辑期间编程实现。

关于补光器40：补光器可以包括红外补光灯和/或白光补光灯，在实际应用中，本申请实施例对补光器无特殊限制要求，补光器可以是包含有红外补光灯和白光补光灯的全光谱补光灯，当然也可以仅是红外补光灯，在此不进行限制。由于本申请实施例提供的处理器能够对原始图像进行逻辑分光，得到可见光图像和红外图像，因此可保证红外补光对可见光不影响，白光补光对红外图像不影响。基于此，低照环境下可通过红外补光来提升红外图像亮度及成像效果，白光补光来提升可见光图像的亮度及成像效果，从而保证低照环境下仍可得到质量较好的红外图像和可见光图像，进而提升最终融合后的图像效果。

在前述基于单传感器的双光图像相机的基础上，为了能够使RGB-IR传感器采集的红外图像和可见光图像达到更好的图像效果，本申请实施例进一步提供了一种双光图像自动曝光方法，该方法应用双光图像相机，双光图像相机包括依次连接的图像传感器和处理器，其中，图像传感器的数量为一个，且双光图像相机还配置有红外截止滤镜；该方法由处理器执行，参见图3所示的一种双光图像自动曝光方法流程图，该方法包括：

步骤S302，获取图像传感器采集的原始图像。其中，图像传感器可以为RGB-IR传感器。

步骤S304，对原始图像进行逻辑分光处理，得到红外图像和可见光图像。具体实现时，还可以分别获得红外图像的统计数据和可见光图像的统计数据，并根据对应的统计数据分别计算红外图像亮度和可见光图像亮度。诸如，将图像进行分块处理(分为M*N个区块)，然后统计每个区块的亮度数据，所有的M*N块的亮度数据即为该图像的统计数据。

步骤S306，判断当前是否使用红外截止滤镜。如果使用，执行步骤S308；如果不使用，执行步骤S310。

具体实施时，可以判断当前环境亮度是否大于预设亮度；如果是，确定使用红外截止滤镜；如果否，确定不使用红外截止滤镜。也即，在环境较亮时，使用红外截止滤镜，在环境较暗时，不使用红外截止滤镜。此外，可以根据当前增益值判断当前红外截止滤镜的状态，若当前增益值小于Gain下限值，表明使用红外截止滤镜，若当前增益值大于Gain下限值，表明不使用红外截止滤镜。其中，当前增益值可按照大多相机采用的常规增益计算方式得到，通常而言，当前增益值是与图像亮度值相关的。具体实施时，红外截止滤镜的使用与否可以采用滤镜开关实现。

步骤S308，采用单光曝光算法对可见光图像进行曝光处理，以得到符合目标曝光效果的可见光图像。其中，单光曝光算法又可称为单光曝光控制策略，也即主要针对一种类型的光图像(诸如可见光图像)进行曝光控制。可以理解的是，如果使用了红外截止滤镜，由于红外截止滤镜能够将环境光中的红外光过滤掉，此时调节曝光参数对红外图像不影响，所以该情况下以调节可见光图像效果为主。

步骤S310，采用双光曝光算法对红外图像和可见光图像进行曝光处理，以得到符合第一曝光效果的可见光图像和符合第二曝光效果的红外图像。可以理解的是，可见光图像经双光曝光算法进行处理得到的第一曝光效果和经单光曝光算法得到的目标曝光效果可以相同，也可以不同，在此不进行限制。在实际应用中，可以根据需求而灵活设置目标曝光效果、第一曝光效果和第二曝光效果。

其中，双光曝光算法又可称为双光曝光控制策略，也即针对两种类型的光图像(诸如红外图像和可见光图像)进行曝光处理。可以理解的是，如果不使用红外截止滤镜，进入至RGB-IR传感器的环境光中同时包含有红外光和可见光，因此会对红外图像和可见光图像均造成影响，若采用单光曝光算法则无法兼顾红外图像和可见光图像的图像曝光效果，因此本实施例提出一种双光曝光算法，以尽量使红外图像和可见光图像均达到较好的图像效果，进而可对达到较好效果的红外图像和可见光图像进行图像融合并显示。

本申请实施例提供的上述双光图像自动曝光方法，能够对双光图像相机的图像传感器采集的原始图像进行逻辑分光处理，得到红外图像和可见光图像，并在使用红外截止滤镜时采用单光曝光算法对可见光图像进行曝光处理，在不使用红外截止滤镜时采用双光曝光算法对红外图像和可见光图像进行曝光处理。这种方式使基于单传感器的双光图像相机能够对图像进行有效的曝光处理，而且根据红外滤镜的使用情况有针对性地选择不同的曝光算法，从而较好地提升图像曝光效果。

在一些实施方式中，在采用单光曝光算法对可见光图像进行曝光处理时，可以利用中央权重或全局测光方法统计该图像的当前画面亮度值，根据画面亮度值和预设的曝光目标值之间的差值来判断是否调节曝光，若差值大于预设阈值，则调节曝光；否则不调节曝光。具体也可以参见常规的自动曝光(Auto Exposure，AE)算法实现，在此不再赘述。

在一些实施方式中，在采用双光曝光算法对红外图像和可见光图像进行曝光处理时，参见图4所示的一种双光曝光控制方法流程图，可以采用如下步骤实现：

步骤S402，获取可见光图像的第一亮度值和红外图像的第二亮度值。一种实现方式可以是，诸如，首先获取图像的统计数据，然后基于统计数据计算亮度值。

步骤S404，获取可见光图像的第一曝光目标值和红外图像的第二曝光目标值。本申请实施例给出一种曝光目标值的获取方式，假设预先设定不同的增益档位0dB、6dB、12dB、18dB等依次类推，根据不同的增益档位，预设不同增益档位下的曝光目标值依次为50、49、47、45等依次类推，然后获取图像的当前增益值，判断当前增益值处于哪一个增益档位，然后对当前增益值进行线性插值处理，计算得到对应的曝光目标值，如：当前增益值为15dB，则根据线性插值计算为(18–15)/(18-12)*(47-45)+45＝46，那么15dB对应的预设曝光目标值即为46。

步骤S406，根据第一亮度值和第一曝光目标值，计算可见光图像的第一曝光参数。诸如，根据第一亮度值与第一曝光目标值之间的差值，查找预先设置的第一差值对照表，确定可见光图像的第一曝光参数。

步骤S408，根据第二亮度值和第二曝光目标值，计算红外图像的第二曝光参数。诸如，根据第二亮度值与第二曝光目标值之间的差值，查找预先设置的第二差值对照表，确定红外图像的第二曝光参数。

在具体实现时，步骤S406中的第一差值对照表与步骤S408中的第二差值对照表相同或不同。

步骤S410，根据第一曝光参数和第二曝光参数，对可见光图像和红外图像进行曝光处理。

在一些实施方式中，第一曝光参数可以包括第一快门值、第一sensor增益和第一ISP增益；第二曝光参数可以包括第二快门值、第二sensor增益和第二ISP增益。如果双光图像相机还配置有白光灯和红外灯；则第一曝光参数还可以包括白光灯强度；第二曝光参数还可以包括红外灯强度。此外，曝光参数还可以包括光圈等。

对于ISP增益和补光灯而言，双光图像相机可以实现对红外图像和可见光图像的双路分开控制，分别计算第一ISP增益、第二ISP增益、白光灯强度和红外灯强度；而对于快门值和sensor增益而言，由于双光图像相机仅具有一个传感器，仅能共用一套参数，共同计算有效快门值和有效sensor增益。

基于此，在根据第一曝光参数和第二曝光参数，对可见光图像和红外图像进行曝光处理时，可以根据第一快门值和第二快门值，确定可见光图像和红外图像共用的有效快门值；根据第一senor增益和第二sensor增益，确定可见光图像和红外图像共用的有效senor增益；从而根据有效快门值、有效senor增益、第一ISP增益和白光灯强度，对可见光图像进行曝光处理；以及根据有效快门值、有效senor增益、第二ISP增益和红外灯强度，对红外图像进行曝光处理。各种曝光参数的计算方法类似，以快门为例说明具体的计算过程，诸如，预先设定不同的亮度差(也即，图像的画面亮度值和曝光目标值二者之间的差值)对应的不同快门大小，形成亮度差值对照表；然后计算图像亮度值和曝光目标值二者之间的差值；最后根据当前计算得到的差值以及预设的亮度差值对照表，即可确定计算得到的差值所对应的快门大小。

在确定可见光图像和红外图像共用的有效快门值，以及确定可见光图像和红外图像共用的有效sensor增益时，可以采用如下方式：

方式1：最小值选取法

选取第一快门值和第二快门值中的最小值，将选取的最小值确定为可见光图像和红外图像共用的有效快门值；

选取第一sensor增益和第二sensor增益中的最小值，将选取的最小值确定为可见光图像和红外图像共用的有效sensor增益；

方式2：最大值选取法

选取第一快门值和第二快门值中的最大值，将选取的最大值确定为可见光图像和红外图像共用的有效快门值；

选取第一sensor增益和第二sensor增益中的最大值，将选取的最大值确定为可见光图像和红外图像共用的有效sensor增益；

方式3：平均值选取法

计算第一快门值和第二快门值的平均值，将平均值确定为可见光图像和红外图像共用的有效快门值；

计算第一sensor增益和第二sensor增益的平均值，将平均值确定为可见光图像和红外图像共用的有效sensor增益；

方式4：加权值选取法

采用预设的加权算法计算第一快门值和第二快门值的加权快门值，将加权快门值确定为可见光图像和红外图像共用的有效快门值；

采用预设的加权算法计算第一sensor增益和第二sensor增益的加权增益，将加权增益确定为可见光图像和红外图像共用的有效sensor增益。

在实际应用中，可见光图像和红外图像共用的有效快门值可以灵活选用上述方式1至方式4中的任意一种，有效sensor增益也可以灵活选用上述方式1至方式4中的任意一种，或者选用其它计算方式(不局限于上述四种方式)均可，在此不进行限定。在具体选取时，有效快门值选取的方式可以与有效sensor增益选取的方式相同或不同。

考虑到不同曝光参数的控制优先级对图像的成像效果的影响不同，因此，在根据有效快门值、有效senor增益、第一ISP增益和白光灯强度，对可见光图像进行曝光处理时，可以预先设定有效快门值、有效senor增益、第一ISP增益和白光灯强度的第一控制排序，按照第一控制排序依次对可见光图像进行曝光处理，直至可见光图像达到第一曝光效果时停止。诸如，第一曝光效果可以为，可见光图像经曝光处理后的画面亮度值与可见光图像的第一曝光目标值之间的差值小于预设第一阈值。诸如，可见光图像的第一控制排序(又可称为第一优先级顺序)由前至后可以为：有效快门值、有效senor增益、第一ISP增益、白光灯强度。

在根据有效快门值、有效senor增益、第二ISP增益和红外灯强度，对红外图像进行曝光处理时，可以预先设定有效快门值、有效senor增益、第二ISP增益和红外灯强度的第二控制排序，按照第二控制排序依次对红外图像进行曝光处理，直至红外图像达到第二曝光效果时停止。诸如，第二曝光效果可以为，红外图像经曝光处理后的画面亮度值与红外图像的第二曝光目标值之间的差值小于预设第二阈值。诸如，红外图像的第二控制排序(又可称为第二优先级顺序)由前至后可以为：有效快门值、有效senor增益、红外灯强度、第二ISP增益。

在采用双光曝光算法对红外图像和可见光图像进行曝光处理，以得到符合第一曝光效果的可见光图像和符合第二曝光效果的红外图像时，为便于理解，还可以参见图5所示的一种双光曝光控制策略示意图，在该图中还进一步示意出了一种红外光与可见光兼容性的曝光控制策略，双光曝光算法可基于该策略对红外图像和可见光图像进行曝光处理，并使其均符合曝光要求，也即达到曝光稳定(也即，图像的画面亮度值与预设的曝光目标值之间的绝对值差值小于预设阈值)。通常而言，在低照环境下，曝光参数大小是从小往大调节，在高亮环境下，曝光参数大小是从大往小调节，由于低照环境和高亮环境下的曝光参数调节策略及不同曝光参数大小的计算方法类似，因此本申请实施例以低照环境为例解释说明各曝光参数的调节过程，依据红外图像和可见光图像的曝光稳定状态可分为以下4种情况：

情况1：红外图像与可见光图像曝光均不稳定，则分别根据红外图像的画面亮度值(也即，前述第二亮度值)与红外图像的曝光目标值(也即，前述第二曝光目标值)之间的差值计算红外图像的曝光参数(也即，前述第二曝光参数)，可见光图像的画面亮度值(也即，前述第一亮度值)与可见光图像的曝光目标值(也即，前述第一曝光目标值)之间的差值计算可见光图像的曝光参数(也即，前述第一曝光参数)。以可见光图像的第一控制排序由前至后可以为：有效快门值、有效senor增益、第一ISP增益、白光灯强度；以及红外图像的第二控制排序由前至后可以为：有效快门值、有效senor增益、红外灯强度、第二ISP增益为例，参照如下所述的一种具体的曝光调节示例：

首先，分别计算红外图像和可见光图像需要调整的快门值(也即，第一快门值和第二快门值)，然后基于第一快门值和第二快门值选取有效快门值，若此时的红外图像和可见光图像的曝光均不稳定，则继续调节快门值至最大，若此时红外图像和可见光图像的曝光还是不稳定，再开始调节红外图像和可见光图像的增益值(第一sensor增益值和第二sensor增益值)，然后基于第一sensor增益值和第二sensor增益值选取有效sensor增益，若调至有效sensor增益的红外图像和可见光图像的曝光仍不稳定，则继续调节增益值至最大，若此时红外图像和可见光图像的曝光还是不稳定，则红外图像根据第二亮度值和第二曝光目标值之间的差值计算红外灯强度，具体可采用线性方式来调节红外灯强度，也即，图像亮度值和曝光目标值之间的差值越大，红外灯调节的强度值越大；当红外灯强度调节至最大时，红外图像的曝光仍旧不稳定，则继续调节红外图像的第二ISP增益；可见光图像则根据第一亮度值和第一曝光目标值之间的差值先计算第一ISP增益，如果调至第一ISP增益时仍旧曝光不稳定，则继续往高调整可见光图像的ISP增益值至最大，如还不稳定则继续调节白光灯强度大小，具体可参照红外灯调节方式。只要红外图像和可见光图像曝光均不稳定，则根据红外图像和可见光图像各自对应的预设控制排序依次调节各种曝光参数，直到至少红外图像和可见光图像其中之一的曝光已调节稳定为止。

情况2：若可见光图像曝光已稳定，红外图像曝光不稳定，则继续根据红外图像的画面亮度值与红外图像的曝光目标值计算并调节红外图像的曝光参数，直至红外图像曝光稳定；

情况3：若红外图像曝光已稳定，可见光图像曝光不稳定，则继续根据可见光图像的画面亮度值与可见光图像的曝光目标值计算并调节可见光图像的曝光参数，直至可见光图像曝光稳定；

情况4：红外图像和可见光图像曝光均已调节稳定或者红外图像的所有曝光参数和可见光图像的所有曝光参数均已调至最大，则曝光调节结束。

对于红外图像和可见光图像而言，无论二者当前的曝光稳定状态属于上述哪一种情况，最终均可以通过调整曝光将其逐步收敛到情况4结束。

综上所述，本实施例提供的上述双光图像自动曝光方法，可对基于单传感器的双光图像相机进行有针对性地曝光控制，能够根据红外截止滤镜的使用状态而自适应地选择不同的自动曝光控制策略(诸如，单光曝光算法或双光曝光算法)，使相机最终得到的图像具有较高的信噪比、通透性好、色彩还原效果好等优势。而且，本实施例提供的上述双光图像自动曝光方法在双光曝光算法中，可以实现对红外图像和可见光图像的曝光参数进行双路控制(诸如，ISP增益和补光灯)和共同控制(诸如，快门和sensor增益)，从而实现红外图像和可见光图像在不同场景下均能达到较好的图像效果。此外，本实施例提供的双光图像相机还可以带补光器，该补光器可以包含有红外灯和白光灯，通过双光曝光算法即可对补光器进行双路控制，红外灯对红外图像进行补光，白光灯对可见光图像进行补光，从而有效提升相机在低照环境下的图像效果。

对应于前述双光图像自动曝光方法，本实施例进一步提供了一种双光图像自动曝光装置，该装置应用双光图像相机，双光图像相机包括依次连接的图像传感器和处理器，其中，图像传感器的数量为一个，且双光图像相机还配置有红外截止滤镜。该装置设置在处理器侧，参见图6所示的一种自动曝光装置的结构框图，该装置包括：

原始图像获取模块602，配置成获取图像传感器采集的原始图像；

逻辑分光模块604，配置成对原始图像进行逻辑分光处理，得到红外图像和可见光图像；

滤镜判断模块606，配置成判断当前是否使用红外截止滤镜；

单光曝光控制模块608，配置成如果使用红外截止滤镜，采用单光曝光算法对可见光图像进行曝光处理，以得到符合目标曝光效果的可见光图像；

双光曝光控制模块610，配置成如果不使用红外截止滤镜，采用双光曝光算法对红外图像和可见光图像进行曝光处理，以得到符合第一曝光效果的可见光图像和符合第二曝光效果的红外图像；其中，第一曝光效果和目标曝光效果相同或不同。

本申请实施例提供的上述双光图像自动曝光装置，能够对双光图像相机的图像传感器采集的原始图像进行逻辑分光处理，得到红外图像和可见光图像，并在使用红外截止滤镜时采用单光曝光算法对可见光图像进行曝光处理，在不使用红外截止滤镜时采用双光曝光算法对红外图像和可见光图像进行曝光处理。这种方式使基于单传感器的双光图像相机能够对图像进行有效的曝光处理，而且根据红外滤镜的使用情况有针对性地选择不同的曝光算法，从而较好地提升图像曝光效果。

在一种实施方式中，滤镜判断模块配置成：判断当前环境亮度是否大于预设亮度；如果是，确定使用红外截止滤镜；如果否，确定不使用红外截止滤镜。

在一种实施方式中，双光曝光控制模块配置成：获取可见光图像的第一亮度值和红外图像的第二亮度值；获取可见光图像的第一曝光目标值和红外图像的第二曝光目标值；根据第一亮度值和第一曝光目标值，计算可见光图像的第一曝光参数；根据第二亮度值和第二曝光目标值，计算红外图像的第二曝光参数；根据第一曝光参数和第二曝光参数，对可见光图像和红外图像进行曝光处理。在具体实施时，双光曝光控制模块可进一步配置成：根据第一亮度值与第一曝光目标值之间的差值，查找预先设置的第一差值对照表，确定可见光图像的第一曝光参数；根据第二亮度值与第二曝光目标值之间的差值，查找预先设置的第二差值对照表，确定红外图像的第二曝光参数；其中，第一差值对照表与第二差值对照表相同或不同。

诸如，第一曝光参数可以包括第一快门值、第一sensor增益和第一ISP增益；第二曝光参数包括第二快门值、第二sensor增益和第二ISP增益。如果双光图像相机还配置有白光灯和红外灯；第一曝光参数还包括白光灯强度；第二曝光参数还包括红外灯强度。

在具体实施时，上述双光曝光控制模块还可进一步配置成：根据第一快门值和第二快门值，确定可见光图像和红外图像共用的有效快门值；根据第一senor增益和第二sensor增益，确定可见光图像和红外图像共用的有效senor增益；根据有效快门值、有效senor增益、第一ISP增益和白光灯强度，对可见光图像进行曝光处理；根据有效快门值、有效senor增益、第二ISP增益和红外灯强度，对红外图像进行曝光处理。其中，有效快门值和有效senor增益的确定方式可参照前述方法实施例，在此不再赘述。

上述双光曝光控制模块还可进一步配置成：预先设定有效快门值、有效senor增益、第一ISP增益和白光灯强度的第一控制排序，按照第一控制排序依次对可见光图像进行曝光处理，直至可见光图像达到第一曝光效果时停止；预先设定有效快门值、有效senor增益、第二ISP增益和红外灯强度的第二控制排序，按照第二控制排序依次对红外图像进行曝光处理，直至红外图像达到第二曝光效果时停止。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本实施例还提供了一种机器存储介质，该机器存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器执行上述双光图像自动曝光方法。该机器存储介质为机器可读存储介质

本申请实施例所提供的双光图像自动曝光方法、装置、双光图像相机及机器存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本申请实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种双光图像自动曝光方法，其特征在于，所述方法应用双光图像相机，所述双光图像相机包括依次连接的一个图像传感器和处理器，其中所述双光图像相机还配置有红外截止滤镜；

所述方法由所述处理器执行，所述方法包括：

获取所述图像传感器采集的原始图像；

对所述原始图像进行逻辑分光处理，得到红外图像和可见光图像；

判断当前是否使用所述红外截止滤镜；

如果使用所述红外截止滤镜，采用单光曝光算法对所述可见光图像进行曝光处理，以得到符合目标曝光效果的可见光图像；

如果不使用所述红外截止滤镜，采用双光曝光算法对所述红外图像和所述可见光图像进行曝光处理，以得到符合第一曝光效果的可见光图像和符合第二曝光效果的红外图像；其中，所述第一曝光效果和所述目标曝光效果相同或不同；

采用双光曝光算法对所述红外图像和所述可见光图像进行曝光处理的步骤，包括：

获取所述可见光图像的第一亮度值和所述红外图像的第二亮度值；

获取所述可见光图像的第一曝光目标值和所述红外图像的第二曝光目标值；

根据所述第一亮度值和所述第一曝光目标值，计算所述可见光图像的第一曝光参数；

根据所述第二亮度值和所述第二曝光目标值，计算所述红外图像的第二曝光参数；

根据所述第一曝光参数和所述第二曝光参数，对所述可见光图像和所述红外图像进行曝光处理；

所述第一曝光参数包括第一快门值、第一sensor增益和第一ISP增益；所述第二曝光参数包括第二快门值、第二sensor增益和第二ISP增益；

所述双光图像相机还配置有白光灯和红外灯；所述第一曝光参数还包括白光灯强度；所述第二曝光参数还包括红外灯强度；

根据所述第一曝光参数和所述第二曝光参数，对所述可见光图像和所述红外图像进行曝光处理的步骤，包括：

根据所述第一快门值和所述第二快门值，确定所述可见光图像和所述红外图像共用的有效快门值；

根据所述第一senor增益和所述第二sensor增益，确定所述可见光图像和所述红外图像共用的有效senor增益；

根据所述有效快门值、所述有效senor增益、所述第一ISP增益和所述白光灯强度，对所述可见光图像进行曝光处理；

根据所述有效快门值、所述有效senor增益、所述第二ISP增益和所述红外灯强度，对所述红外图像进行曝光处理。

2.根据权利要求1所述的方法，其特征在于，判断是否使用所述红外截止滤镜的步骤，包括：

判断当前环境亮度是否大于预设亮度；

如果是，确定使用所述红外截止滤镜；如果否，确定不使用所述红外截止滤镜。

3.根据权利要求1所述的方法，其特征在于，所述第一曝光效果为：所述可见光图像经曝光处理后的画面亮度值与所述可见光图像的第一曝光目标值之间的差值小于预设第一阈值；

所述第二曝光效果为：所述红外图像经曝光处理后的画面亮度值与所述红外图像的第二曝光目标值之间的差值小于预设第二阈值。

4.一种双光图像自动曝光装置，其特征在于，所述装置应用双光图像相机，所述双光图像相机包括依次连接的一个图像传感器和处理器，其中所述双光图像相机还配置有红外截止滤镜；

所述装置配置在所述处理器内，所述装置包括：

原始图像获取模块，配置成获取所述图像传感器采集的原始图像；

逻辑分光模块，配置成对所述原始图像进行逻辑分光处理，得到红外图像和可见光图像；

滤镜判断模块，配置成判断当前是否使用所述红外截止滤镜；

单光曝光控制模块，配置成如果使用所述红外截止滤镜，采用单光曝光算法对所述可见光图像进行曝光处理，以得到符合目标曝光效果的可见光图像；

双光曝光控制模块，配置成如果不使用所述红外截止滤镜，采用双光曝光算法对所述红外图像和所述可见光图像进行曝光处理，以得到符合第一曝光效果的可见光图像和符合第二曝光效果的红外图像；其中，所述第一曝光效果和所述目标曝光效果相同或不同；

所述双光曝光控制模块配置成：获取可见光图像的第一亮度值和红外图像的第二亮度值；获取所述可见光图像的第一曝光目标值和所述红外图像的第二曝光目标值；根据所述第一亮度值和所述第一曝光目标值，计算所述可见光图像的第一曝光参数；根据所述第二亮度值和所述第二曝光目标值，计算所述红外图像的第二曝光参数；根据所述第一曝光参数和所述第二曝光参数，对所述可见光图像和所述红外图像进行曝光处理；

所述第一曝光参数可以包括第一快门值、第一sensor增益和第一ISP增益；第二曝光参数包括第二快门值、第二sensor增益和第二ISP增益；如果双光图像相机还配置有白光灯和红外灯；所述第一曝光参数还包括白光灯强度；所述第二曝光参数还包括红外灯强度；

所述双光曝光控制模块还可进一步配置成：根据所述第一快门值和所述第二快门值，确定所述可见光图像和所述红外图像共用的有效快门值；根据所述第一senor增益和所述第二sensor增益，确定所述可见光图像和所述红外图像共用的有效senor增益；根据所述有效快门值、所述有效senor增益、所述第一ISP增益和所述白光灯强度，对所述可见光图像进行曝光处理；根据所述有效快门值、所述有效senor增益、所述第二ISP增益和所述红外灯强度，对所述红外图像进行曝光处理。

5.一种双光图像相机，其特征在于，包括：依次连接的一个图像传感器和处理器；其中，所述双光图像相机还配置有红外截止滤镜；

所述处理器上设置有权利要求4所述的双光图像自动曝光装置。

6.根据权利要求5所述的相机，其特征在于，所述图像传感器连接有镜头；其中，所述镜头为红外共焦镜头。

7.一种机器存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器执行权利要求1至3任一项所述的方法。

Images