CN113038027A

CN113038027A - 曝光控制方法、装置、设备以及存储介质

Info

Publication number: CN113038027A
Application number: CN202110246912.7A
Authority: CN
Inventors: 孙牵宇; 许亮; 王勇
Original assignee: Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Current assignee: Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date: 2021-03-05
Filing date: 2021-03-05
Publication date: 2021-06-25
Anticipated expiration: 2041-03-05
Also published as: CN113038027B

Abstract

本申请提出一种曝光控制方法、装置、设备以及存储介质。其中，上述方法可以包括控制卷帘快门RS设备按照第一预设曝光时长进行曝光。根据上述RS设备的起始曝光时刻与全局快门GS设备的起始曝光时刻之间的预设时间差，控制上述GS设备按照第二预设曝光时长进行曝光。其中，上述第一预设曝光时长与上述第二预设曝光时长之和不大于上述RS设备的图像帧采集周期与单个图像帧采集周期内上述RS设备的有效像素行的有效处理时长的差；以及，上述预设时间差不小于上述有效处理时长，并且不大于上述单个图像帧采集周期，与上述第一预设曝光时长和上述第二预设曝光时长之和的差值。

Description

曝光控制方法、装置、设备以及存储介质

技术领域

本申请涉及计算机技术，具体涉及曝光控制方法、装置、设备以及存储介质。

背景技术

随着科技进步，图像采集技术被广泛的应用。越来越多的情形中，同一场所会部署多个图像采集设备进行图像采集。而这些图像采集设备在图像采集过程中，可能会在某些时间点，相互之间产生曝光干扰，从而导致无法正常采集图像。

目前，解决多个图像采集设备之间相互曝光干扰的方法通常为，将各图像采集设备配置为不同的工作波段，通过滤波技术，避免曝光干扰。

然而，由于不可见光波段范围有限，因此，图像采集设备配置的工作波段可能接近人眼可见的可见光波段，从而对图像采集设备周边人员造成干扰。

发明内容

有鉴于此，本申请至少公开一种曝光控制方法，包括：

控制卷帘快门RS设备按照第一预设曝光时长进行曝光；

根据上述RS设备的起始曝光时刻与全局快门GS设备的起始曝光时刻之间的预设时间差，控制上述GS设备按照第二预设曝光时长进行曝光；

其中，上述第一预设曝光时长与上述第二预设曝光时长之和不大于上述RS设备的图像帧采集周期与单个图像帧采集周期内上述RS设备的有效像素行的有效处理时长的差，上述有效处理时长基于预设的有效像素行数、RS设备的传感器的传感单元总行数、以及上述图像帧采集周期确定；以及，

上述预设时间差不小于上述单个图像帧采集周期内上述RS设备的有效像素行的处理时长，并且不大于上述单个图像帧采集周期，与上述第一预设曝光时长和上述第二预设曝光时长之和的差值。

在示出的一些实施例中，上述方法还包括：

控制上述GS设备的补光灯根据上述GS设备的曝光时间开启或关闭；

控制上述RS设备的补光灯在上述RS设备的起始曝光时刻开启；

上述GS设备的补光灯和上述RS设备的补光灯的补光波长在同一红外波段内。

在示出的一些实施例中，其中，上述RS设备和上述GS设备部署于同一车舱环境。

在示出的一些实施例中，其中，上述RS设备包括用于乘员检测的摄像头，上述GS设备包括用于驾驶员检测的摄像头；或者，

上述RS设备包括用于驾驶员检测的摄像头，上述GS设备包括用于乘员检测的摄像头。

在示出的一些实施例中，其中，上述方法还包括：

向上述RS设备发送行扫描时钟信息，以按照上述行扫描时钟信息依次控制上述RS设备的传感器中的各行传感单元进行曝光；

其中，上述行扫描时钟信息基于上述图像帧采集周期、上述RS设备的传感器的传感单元总行数设定。

在示出的一些实施例中，其中，上述有效处理时长基于如下方式确定：确定上述预设的有效像素行数占上述RS设备的传感器的传感单元总行数的比例；

根据上述比例，以及上述图像帧采集周期，确定上述有效处理时长。

在示出的一些实施例中，其中，上述预设时间差基于如下方式确定：

基于预设的有效像素行数、RS设备的传感器的传感单元总行数、以及上述图像帧采集周期，确定上述单个图像帧采集周期内上述RS设备的有效像素行的处理时长；

根据上述单个图像帧采集周期，上述第一预设曝光时长以及上述第二预设曝光时长，确定上述单个图像帧采集周期，与上述第一预设曝光时长和上述第二预设曝光时长之和的差值；

根据由上述有效像素行的处理时长，以及上述差值构成的区间，确定上述预设时间差。

在示出的一些实施例中，上述方法还包括：

当上述图像采集环境包括多个上述RS设备时，采用同步触发信号控制上述多个上述RS设备中的至少部分设备进行同步曝光；

和/或，

当上述图像采集环境包括多个上述GS设备时，采用同步触发信号控制上述多个上述GS设备中的至少部分设备进行同步曝光。

在示出的一些实施例中，上述方法还包括：

获取上述RS设备输出图像的图像分辨率；

根据上述图像分辨率，确定上述RS设备的有效像素行行数。

在示出的一些实施例中，上述RS设备的图像帧采集周期与单个图像帧采集周期内上述RS设备的有效像素行的有效处理时长的差为20毫秒；

上述第一预设曝光时长为15毫秒；上述第二预设曝光时长为5毫秒。

本申请还示出一种曝光控制装置，包括：

第一控制模块，用于控制卷帘快门RS设备按照第一预设曝光时长进行曝光；

第二控制模块，用于根据上述RS设备的起始曝光时刻与全局快门GS设备的起始曝光时刻之间的预设时间差，控制上述GS设备按照第二预设曝光时长进行曝光；

本申请还提出一种电子设备，包括：

处理器；

用于存储上述处理器可执行指令的存储器；

其中，上述处理器被配置为调用上述存储器中存储的可执行指令，实现如前述任一实施例示出的曝光控制方法。

本申请还提出一种计算机可读存储介质，上述存储介质存储有计算机程序，上述计算机程序用于执行如前述任一实施例示出的曝光控制方法。

当上述RS设备对应的第一预设曝光时长与上述GS设备对应的第二预设曝光时长之和不大于上述RS设备的图像帧采集周期与单个图像帧采集周期内上述RS设备的有效像素行的有效处理时长的差，以及上述RS设备的起始曝光时刻与全局快门GS设备的起始曝光时刻之间的预设时间差不小于上述单个图像帧采集周期内上述RS设备的有效像素行的处理时长，并且不大于上述单个图像帧采集周期，与上述第一预设曝光时长和上述第二预设曝光时长之和的差值时，

通过控制卷帘快门RS设备按照上述第一预设曝光时长进行曝光；然后根据上述预设时间差，控制上述GS设备按照上述第二预设曝光时长进行曝光，可以使各图像设备在不同时域下进行曝光，从而使得两种设备可以工作在同一非可见光波段，在不对图像采集设备周边人员造成干扰的情形下，降低上述各图像采集设备之间的曝光干扰。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请示出的一种曝光控制方法的方法流程图；

图2为本申请示出的一种卷帘快门曝光示意图；

图3为本申请示出的一种全局快门曝光示意图；

图4为本申请示出的一种RS设备与GS设备的曝光示意图；

图5为本申请示出的一种曝光控制装置的结构示意图；

图6为本申请示出的一种电子设备的硬件结构示意图。

具体实施方式

下面将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的设备和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“上述”和“该”也旨在可以包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。还应当理解，本文中所使用的词语“如果”，取决于语境，可以被解释成为“在……时”或“当……时”或“响应于确定”。

目前，在智能车舱场景中，通常会包括DMS(Driver Monitor System，驾驶员监控***)以及OMS(Occupant Monitor System，舱内乘员监控***)。其中，DMS为基于摄像头与红外技术对驾驶员驾驶状态进行检测，并基于检测出的驾驶状态对驾驶员进行监控的***。OMS为基于摄像头与红外技术对舱内成员的乘坐状态进行检测，并基于检测出的乘坐状态对舱内成员进行监控的***。

当DMS与OMS被部署于同一车舱内时，由于两个***均采用红外技术与摄像头进行图像采集，因此，二者使用的摄像头将可能发生曝光干扰。

在相关技术中，为了解决上述曝光干扰，可以将DMS对应的摄像头的工作波段确定为850nm，将OMS对应的摄像头的工作波段确定为940nm，从而通过光学滤波技术，降低二者之间的曝光干扰。然而，由于850nm波段的光源已接近可见光波段(780nm～400nm)，可能对车内人员造成干扰。

基于此，本申请提出一种曝光控制方法，通过为可能发生曝光干扰的各图像采集设备确定曝光起始时刻和曝光时长，使不同类型的图像设备在不同时域下进行曝光，从而在不对图像采集设备周边人员造成干扰的情形下，降低上述各图像采集设备之间的曝光干扰，保证可以正常采集图像。

请参见图1，图1为本申请示出的一种曝光控制方法的方法流程图。

如图1所示，上述方法可以包括：

S102，控制卷帘快门RS设备按照第一预设曝光时长进行曝光。

S104，根据上述RS设备的起始曝光时刻与全局快门GS设备的起始曝光时刻之间的预设时间差，控制上述GS设备按照第二预设曝光时长进行曝光；

其中，上述第一预设曝光时长与上述第二曝光时长之和不大于上述RS设备的图像帧采集周期与单个图像帧采集周期内上述RS设备的有效像素行的有效处理时长的差，上述有效处理时长基于预设的有效像素行数、RS设备的传感器的传感单元总行数、以及上述图像帧采集周期确定；以及，

上述曝光控制方法，可以应用于用于控制图像采集设备曝光的控制***。其中，上述控制***可以搭载于硬件环境中，并通过上述硬件环境提供算力，控制上述RS(RollingShutter，卷帘快门)设备以及上述GS(Global Shutter，全局快门)设备进行曝光。

上述RS设备和上述GS设备具体可以是搭载于同一图像采集环境的图像采集设备。例如，在车舱场景中，上述RS设备和上述RS设备可以部署于同一车舱。上述RS设备包括用于乘员检测的摄像头，上述GS设备包括用于驾驶员检测的摄像头；或者，上述RS设备包括用于驾驶员检测的摄像头，上述GS设备包括用于乘员检测的摄像头。

在上述车舱中还可以部署上述控制***。上述控制***中搭载了上述曝光控制方法。通过该方法，上述控制***可以根据实际业务情形或用户指令，确定RS设备以及GS设备的运行参数(比如，曝光起始时刻，与曝光时长)，并控制上述RS设备以及GS设备采集车舱内的图像，进而对上述图像进行分析得到驾驶员或其他乘员的用户行为。

需要说明的是，上述控制***既可以搭载于图像采集设备中，也可以搭载于可以与图像采集设备连接的外部设备中。本申请不对控制***部署的位置进行特别限定。

在一些实施例中，上述曝光控制方法中包括的设备参数可以部署在上述控制***中。

例如，可以周期性地的更新上述控制***中包括的设备参数，以使上述控制***可以实现上述曝光方法。

以下以执行主体为上述控制***(以下简称“***”)为例进行说明。

在一些情形中，为了保证图像采集设备的同步性，上述RS设备以及上述GS设备可以依据相同的帧率进行图像采集工作。例如，25fps。上述GS设备的补光灯和上述RS设备的补光灯的补光波长可以在同一红外波段内。例如，940nm。

上述RS设备的曝光模式为逐行曝光。

在进行曝光时，上述RS设备先从当第一图像的第一像素行开始进行曝光，并输出曝光完成的像素行数据(即readout过程)。以此类推，直至针对上述第一图像的最后一像素行完成上述操作，完成一帧图像的曝光。

在此需要说明的是，目前RS设备的行数据输出过程由于受到其寄存器空间的限制，每次只能传输一行的数据，因此，需要在上一行数据输出完毕后才能进行下一行数据的数据传输。在本申请中，为了提升RS设备的曝光效率，可以提前进行下一像素行的曝光，从而保证RS设备在传输完上一行数据后，可以即刻进行下一行数据的传输，也即在RS设备完成上一行数据的读出之后立即开始下一行数据的读出。

还需要说明的是，当RS设备在进行视频流采集时，当完成上述第一图像最后一像素行的行数据输出后，上述RS设备可以立即进行下一帧图像的第一像素行的行数据输出，从而保证RS设备的曝光效率。

请参见图2，图2为本申请示出的一种卷帘快门曝光示意图。

如图2所示，带箭头的线代表上述RS设备针对一像素行的曝光时长(包括曝光时间+readout时间)。RS设备针对一帧图像的曝光过程为从第一像素行开始至最后一像素行结束逐行进行曝光。

RS设备的曝光通常包括针对有效像素行的曝光和无效像素行的曝光。其中有效行数量与无效行数量的和为总行数量。

上述有效像素行，具体为输出为图像像素点的像素行。在一些实施例中，在确定有效像素行行数时，可以获取上述RS设备输出图像的图像分辨率。然后根据上述图像分辨率，确定上述RS设备的有效像素行行数。

例如，当RS设备的分辨率为1080P(1920*1080)时，该设备曝光的图像由1080个像素行组成。因此，上述RS设备在曝光过程中，需要至少针对1080行的像素进行曝光，其中，1080行的像素则为有效像素行。

上述无效像素行，具体为在曝光过程中参与曝光但不输出为图像像素的像素行。

例如，当RS设备的分辨率为1080P(1920*1080)时，该设备曝光的图像由1080个像素行组成。因此，上述RS设备在曝光过程中，需要至少针对1080行的有效像素行进行曝光。但实际情形中，通常RS设备会默认针对1126像素行(大于1080行)进行曝光，其中，第1080行之后的像素行即可以被认为是无效像素行。

请继续参见图2，其中实线为有效像素行，虚线为无效像素行。上述GS设备的曝光模式为全局曝光。

在进行曝光时，上述GS设备会对一幅图像的全部像素行同时开始曝光并逐行传输行数据(即readout过程)。

请参见图3，图3为本申请示出的一种全局快门曝光示意图。

如图3所示，带箭头的线代表上述GS设备针对一像素行的曝光时长。GS设备针对一帧图像的曝光过程为整体曝光(包括readout)。

需要说明的是，GS设备在进行曝光时，除了针对有效像素行的曝光，也会针对无效像素行的曝光。上述有效像素行与无效像素行的定义与RS设备相同，在此不作限定。

上述有效处理时长，具体包括在卷帘快门进行图像采集的过程中，由起始曝光时刻至最后一行有效像素行曝光后完成数据输出的时刻之间的时长。

上述RS设备的图像帧采集周期与单个图像帧采集周期内上述RS设备的有效像素行的有效处理时长的差，可以理解为单个图像帧采集周期内的无效处理时长。

上述无效处理时长，具体包括，在卷帘快门进行图像采集的过程中，由最后一行有效像素行数据传输完毕时刻至最后一行无效像素行数据传输完毕的时刻之间的时长。

请继续参见图2，A线即为最后一行有效像素行数据传输完毕时刻。B线即为最后一行无效像素行数据传输完毕的时刻。上述A线与B线之间构成的时间差即为上述无效处理时长。

在此需要说明的是，RS设备针对一帧图像所有的像素行(包括有效像素行与无效像素行)的曝光需要在一个图像帧采集周期(以下简称帧周期，在本申请中帧周期为图像采集设备采集一帧图像所需时长)内完成。

为了最大限度的保证RS设备的曝光时长，在本申请中，可以设定最后一行无效像素行数据传输完毕的时刻刚好为一个帧周期结束的时刻。即从第一行有效行曝光开始，至最后一行无效行曝光结束所需时长刚好为一个帧周期，从而最大程度保证曝光时长。

在一些实施例中，上述有效处理时长可以基于如下方式确定：确定上述预设的有效像素行数占上述RS设备的传感器的传感单元总行数的比例。然后根据上述比例，以及上述图像帧采集周期，确定上述有效处理时长。

例如，当RS设备的分辨率为1080P时，假设其默认曝光总行数为1126行，帧率为25fps(帧周期为40ms)。

此时，上述有效处理时长为

在一些实施例中，在获取上述无效处理时长时，可以确定上述RS设备的帧周期，与单个帧周期内上述RS设备的有效像素行的有效处理时长的差。

在前述例子中，上述无效处理时长为40-38.4＝1.6ms。

在一些实施例中，在获取上述无效处理时长时，也可以根据上述RS设备对应的帧周期，以及上述RS设备对应的无效行数量与总行数量的比例，确定上述RS设备对应的无效处理时长。

此时，上述无效处理时长为

在本申请中，处理有效像素行的时间段可以称为有效处理时间段。即由图像采集设备起始曝光时刻，至完成最后一行有效行数据传输的时刻组成的时间段。

图像帧采集周期中完成有效像素行处理之后的时间段，即为无效处理时间段。在本申请中将图像帧采集周期中完成有效像素行处理之后的时间段称为无效处理时间段。

上述无效处理时间段，具体为最后一行有效像素行数据传输完毕时刻开始，至最后一行无效像素数据传输完毕的时刻结束所形成的时间段。

请继续参见图2，A线对应的时刻开始，至B线对应的时刻结束形成的时间段即为上述无效处理时间段。

在获取上述无效处理时间段时，可以根据上述RS设备对应的曝光起始时刻，帧周期，有效处理时长，确定上述RS设备对应的无效处理时间段。

在实际应用中，可以根据上述RS设备对应的曝光起始时刻，以及有效处理时长，确定有效处理时间段对应的最后一行有效像素行数据传输完毕的时刻。此时即是无效处理时间段对应的起始时刻。然后根据曝光起始时刻以及帧周期确定最后一行无效像素数据传输完毕的时刻。根据上述起始时刻以及上述最后一行无效像素数据传输完毕的时刻即可确定上述无效处理时间段。

需要说明的是，确定无效处理时间段的方式还可包括通过帧周期减去有效处理时间段等方式的获得，在此不作特别限定。

上述预设曝光时长，具体指示图像采集设备进行针对单帧图像进行曝光的最大时间长度。其中，第一预设曝光时长是指本申请中RS设备的曝光时长。第二预设曝光时长是指本申请中GS设备的曝光时长。

在实际应用中，可以根据实际需求将图像采集设备的曝光时长。例如，用户可以将RS设备的第一预设曝光时长设置为15ms。此时，RS设备针对一像素行进行曝光的最大时长即为15ms。

在本实施例中，当进行曝光控制时，上述***可以执行上述S102和S104。

请参见图4，图4为本申请示出的一种RS设备与GS设备的曝光示意图。

如图4所示，细实线401表示RS设备针对第一图像第一行有效像素行的曝光与数据传输过程。带箭头的虚线402表示RS设备针对上述第一图像对应的一行无效像素行的曝光与数据传输过程。带箭头的细实线403表示RS设备针对第二图像第一行有效像素行的曝光与数据传输过程。其中，上述第二图像为上述第一图像的下一帧图像。带箭头的粗实线404表示GS设备针对第三图像的曝光时长。其中，上述第三图像的起始曝光时刻处于上述第一图像与上述第二图像的曝光起始时刻之间。

在本申请中为了不在GS设备与RS设备之间产生曝光影响，需要满足两个条件，条件一，RS设备完成第一图像的有效像素行处理(该处理可以至少包括曝光处理)后，GS设备再开始进行针对第三图像的曝光；条件二，GS设备完成第三图像的上述曝光后，RS设备再开始进行第二图像的第一行有效像素行的曝光。

为了满足上述条件一，在本申请中可以将RS设备与GS设备起始曝光时刻之间设置时间差t设置为不小于上述单个图像帧采集周期内上述RS设备的有效像素行的处理时长，来保证RS设备完成第一图像的有效像素行处理后，再开始进行GS设备的曝光。

在RS设备中，针对第一图像完成曝光与数据传输的时刻(即针对第一图像曝光时所有的有效像素行和无效像素行的曝光和数据传输均完成的时刻)，刚好与针对第二图像第一行有效像素行曝光结束的时刻重合。也即，根据第一图像的曝光起始时刻，与RS设备对应的帧周期，即可得到针对第二图像第一行有效像素行的曝光结束时刻。

然后，根据针对第二图像第一行有效像素行的曝光结束时刻与上述RS设备对应的第一预设曝光时长之差，即可确定RS设备针对第二图像第一行有效像素行的曝光起始时刻。为了满足上述条件二，一个极限的情形是，完成GS设备的曝光后，刚好开始RS设备的曝光。在上述情形下，根据RS设备针对第二图像第一行有效像素行的曝光起始时刻，与GS设备对应的第二预设曝光时长之差，即可得到上述极限情形下GS设备针对第三图像的曝光起始时刻。

可见为了满足上述条件二，在本申请中，可以将RS设备与GS设备起始曝光时刻之间设置时间差t设置为不大于上述单个图像帧采集周期，与上述第一预设曝光时长和上述第二预设曝光时长之和的差值，来保证GS设备完成上述曝光后，RS设备再开始进行下一帧图像的第一行有效像素行的曝光。

在本申请中，可以通过t表示上述预设时间差；通过t_有表示上述单个图像帧采集周期内上述RS设备的有效像素行的处理时长(有效处理时长)；通过t_周表示上述单个图像帧采集周期(帧周期)；通过t₁表示上述第一预设曝光时长；通过t₂表示上述第二预设曝光时长。

关于t的约束可以表示为t_有≤t≤t_周-(t₁+t₂)。

而为了可以确定出t，需满足t_有≤t_周-(t₁+t₂)。根据该公式可得，t₁+t₂≤t_周-t_有，也即上述第一预设曝光时长与上述第二曝光时长之和不大于上述RS设备的图像帧采集周期与单个图像帧采集周期内上述RS设备的有效像素行的有效处理时长的差。

综上，在上述方案中，当上述RS设备对应的第一预设曝光时长与上述GS设备对应的第二预设曝光时长之和不大于上述RS设备的图像帧采集周期与单个图像帧采集周期内上述RS设备的有效像素行的有效处理时长的差，以及上述RS设备的起始曝光时刻与全局快门GS设备的起始曝光时刻之间的预设时间差不小于上述单个图像帧采集周期内上述RS设备的有效像素行的处理时长，并且不大于上述单个图像帧采集周期，与上述第一预设曝光时长和上述第二预设曝光时长之和的差值时，

在一些实施例中，上述***可以根据预设的RS设备与GS设备曝光时间之间的约束关系，确定与RS设备以及GS设备对应的曝光时长。

例如，上述约束关系可以是，第一预设曝光时长是第二预设曝光时长的三倍。在确定上述曝光时长时，上述***可以先根据RS设备的帧周期、有效行行数，以及RS设备的传感器的传感单元总行数，确定上述RS设备对应的有效处理时长，然后，再根据上述帧周期与确定的有效处理时长，确定无效处理时长。在确定上述无效处理时长后，上述***可以基于第一预设曝光时长是第二预设曝光时长的三倍，分别确定上述RS设备与上述GS设备分别对应的曝光时长。

需要说明的是，上述***中预设的约束关系可以是根据实际业务需求进行设定的，在此不作特别限定。

在一些实施例中，在确定预设时间差时，可以先确定上述单个图像帧采集周期内上述RS设备的有效像素行的处理时长。然后根据上述单个图像帧采集周期，上述第一预设曝光时长以及上述第二预设曝光时长，确定上述单个图像帧采集周期，与上述第一预设曝光时长和上述第二预设曝光时长之和的差值。之后可以根据由上述有效像素行的处理时长，以及上述差值构成的区间，确定上述预设时间差。例如将满足不小于上述单个图像帧采集周期内上述RS设备的有效像素行的处理时长，并且不大于上述差值的任意数值，确定为上述预设时间差。

在一些实施例中，可以从由上述单个图像帧采集周期内上述RS设备的有效像素行的处理时长，与上述单个图像帧采集周期，与上述第一预设曝光时长和上述第二预设曝光时长之和的差值构成的区间中获取多个数值作为候选时间差。

然后可以分别将RS设备与GS设备之间的上述预设时间差设置为上述候选时间差，并分别通过实验验证条件一是否成立，即是否在上述RS设备完成第一图像的有效像素行处理(该处理可以至少包括曝光处理)后GS设备才开始针对第三图像的曝光；以及验证条件二是否成立，即是否在上述GS设备完成第三图像的上述曝光后，RS设备才开始进行第二图像的第一行有效像素行的曝光。

在针对各候选时间差完成上述实验验证后，可以将条件一和条件二均成立的候选时间差确定为上述预设时间差。

在一实施例中，为了提升上述RS设备以及上述GS设备的成像效果，可以通过增加RS设备对应的无效处理时长，进而保证RS设备与GS设备的曝光时长，从而提升上述RS设备以及上述GS设备的成像效果。

在一些实施例中，可以通过缩短上述RS设备传输像素行数据的时间，增加RS设备对应的无效像素行的行数，以在不改变帧周期的同时增加RS设备对应的无效处理时长。

在一些实施例中，通过查询上述RS设备对应的数据手册可获知上述RS设备的传感器的传感单元总行数，将上述RS设备的传感器的传感单元总行数调整为最大数量(由于有效行数量不变，这一步可以理解为增加无效行数量)。然后根据上述帧周期可以得到对每一行数据的扫描时钟信息。之后，上述***可以向上述RS设备发送行扫描时钟信息，以按照上述行扫描时钟信息依次控制上述RS设备的传感器中的各行传感单元进行曝光。其中，行扫描时钟信息用于控制传感器的各行传感单元开始曝光的时间，时钟信号的每一个上升沿对应一个行传感单元开始曝光的时刻。由此一方面可以通过增加上述RS设备对应的***时钟频率，缩短有效行处理时长；另一方面，可以通过增加无效行数量，增加无效处理时长，进而RS设备与GS设备各行的曝光时长，从而提升上述RS设备以及上述GS设备的成像效果。

在一些实施例中，为了进一步提升RS设备与GS设备的成像效果，可以控制上述GS设备的补光灯根据上述GS设备的曝光时间开启或关闭；控制上述RS设备的补光灯在上述RS设备的起始曝光时刻开启；上述GS设备的补光灯和上述RS设备的补光灯的补光波长在同一红外波段内。

由此可以使GS设备的补光灯的开关与GS曝光时间段一致，从而在GS补光灯开启时，RS设备处于无效行处理时间段，进而不会对RS设备曝光造成影响。

在一些实施例中，为了提升上述RS设备以及上述GS设备的成像效果，可以使上述第一预设曝光时长与上述第二预设曝光时长之和等于上述RS设备的图像帧采集周期与单个图像帧采集周期内上述RS设备的有效像素行的有效处理时长的差(无效处理时长)，由此，可以进一步增大上述RS设备与上述GS设备分别对应的曝光时长，从而提升上述RS设备以及上述GS设备的成像效果。

在一些实施例中，为了提升RS设备的成像效果，可以使上述RS设备对应的第一预设曝光时长大于等于上述GS设备对应的第二预设曝光时长。由于确定的上述RS设备对应的曝光时长大于等于上述GS设备对应的曝光时长，因此，可以最大程度的增加上述RS设备的曝光时长，从而提升RS设备的成像效果。

在一些实施例中，上述图像采集环境包括多个上述RS设备，此时为了降低本方案实施成本，可以将上述多个上述RS设备中的至少部分设备确定为同步触发模式。

在实际应用中，可以采用同步触发信号控制上述多个上述RS设备中的至少部分设备进行同步曝光，从而使上述多个RS设备可以同步进行图像采集，减少相互之间的曝光干扰。

在一实施例中，上述图像采集环境包括多个上述GS设备，此时为了降低本方案实施成本，可以将上述多个上述GS设备中的至少部分设备确定为同步触发模式。

在实际应用中，可以采用同步触发信号控制上述多个上述GS设备中的至少部分设备进行同步曝光，从而使上述多个GS设备可以同步进行图像采集，减少相互之间的曝光干扰。

以下以车舱场景为例进行实施例说明。

其中，上述车舱中部署了一台RS设备，以及一台GS设备。其中，上述RS设备用于上述智能车舱搭载的舱内乘员监控***；上述GS设备用于上述智能车舱搭载的驾驶员监控***。上述车舱中还部署了中控***用于控制上述RS设备与上述GS设备进行曝光。

上述RS设备与上述GS设备的采用帧率为25fps(即帧周期为40ms)。上述GS设备的补光灯和上述RS设备的补光灯的补光波长为940nm。

上述***可以控制上述GS设备的补光灯的开关与上述GS设备进行图像曝光的时间段同步，上述RS设备的补光灯为常亮状态，从而可以保证GS补光灯开启时，RS设备处于无效行处理时间段，进而不会对RS设备曝光造成影响。

假设上述RS设备的分别率为1080P，上述RS设备支持的最大总行数(传感器的传感单元总行数)为2160行。

在实现无曝光干扰图像采集时，可以先通过增加上述RS设备的缩短上述RS设备传输像素行数据的时间，并增加上述RS设备对应的无效像素行数量，以使上述RS设备对应的无效行数量达到最大值，即：2160-1080＝1080行。

在确定无效行数量后，可以根据上述RS设备对应的帧周期40ms，以及上述无效行数量1080与总行数量2160的比例，确定上述RS设备对应的无效处理时长为20ms。

在确定上述无效处理时长后，可以根据无效处理时长等于RS设备对应的第一预设曝光时长与GS身边对应的第二预设曝光时长，以及预设的RS设备的曝光时长为GS设备的曝光时长的三倍的约束条件，确定上述RS设备对应的曝光时长为15ms，上述GS设备对应的曝光时长为5ms。由于GS设备需要的曝光时长本身就比较短，由此可以同时提升RS设备与GS设备的成像效果。

在确定上述第一预设曝光时长，以及上述第二预设曝光时长后，可以根据25fps帧率，确定上述RS设备的起始曝光时刻与全局快门GS设备的起始曝光时刻之间的预设时间差为20mm。

在确定上述预设时间差后，可以根据上述预设时间差确定上述RS设备与上述GS设备分别的曝光起始时刻，并控制卷帘快门RS设备按照第一预设曝光时长进行曝光；根据上述RS设备的起始曝光时刻与全局快门GS设备的起始曝光时刻之间的预设时间差，控制上述GS设备按照第二预设曝光时长进行曝光，由此在避免RS设备与GS设备相互曝光干扰的情形下完成图像采集。

请继续参见图4，上述GS设备针对第三图像对应的曝光起始时刻与上述RS设备针对上述第一图像对应的曝光起始时刻之间的时间差为根据本申请记载的实施例确定出的时间差。因此，上述GS设备针对上述第三图像对应的曝光时间段，处于上述RS设备针对上述第一图像对应的无效处理时间段内，并且上述GS设备针对上述第三图像对应的曝光时间段，早于上述RS设备针对上述第二图像的第一行有效像素行的曝光时间段。

而由于无效像素行不影响RS设备成像，因此，在上述方案中，在进行图像采集时，上述GS设备的曝光将不会对上述RS设备的成像效果造成影响，即不会对RS设备造成曝光干扰。

又由于上述GS设备对应的曝光时间段早于上述RS设备针对下一帧图像的第一行有效像素行的曝光时间段，因此，在上述方案中，在进行图像采集时，上述GS设备的曝光将不会对上述RS设备的下一次曝光造成曝光干扰。

在车舱场景中，通过本申请上述实施例的设计，DMS和OMS(其中之一为RS设备、另一位GS设备)可工作在同一距离可见光波段较远的红外波段，如940nm。这样减少了对车舱内人员(如驾驶员)的干扰，从而减少了对行车安全的不良影响。

与上述任一实施例相对应的，本申请还提出一种曝光控制装置。

请参见图5，图5为本申请示出的一种曝光控制装置的结构示意图。

如图5所示，上述装置50可以包括：

第一控制模块51，用于控制卷帘快门RS设备按照第一预设曝光时长进行曝光；

第二控制模块52，用于根据上述RS设备的起始曝光时刻与全局快门GS设备的起始曝光时刻之间的预设时间差，控制上述GS设备按照第二预设曝光时长进行曝光；

在示出的一些实施例中，上述装置50还包括：

第一曝光控制模块53，用于控制上述GS设备的补光灯根据上述GS设备的曝光时间开启或关闭；

第二曝光控制模块54，用于控制上述RS设备的补光灯在上述RS设备的起始曝光时刻开启；

在示出的一些实施例中，上述RS设备和上述GS设备部署于同一车舱环境。

在示出的一些实施例中，上述RS设备包括用于乘员检测的摄像头，上述GS设备包括用于驾驶员检测的摄像头；或者，

在示出的一些实施例中，上述装置50还包括：

发送模块，用于向上述RS设备发送行扫描时钟信息，以按照上述行扫描时钟信息依次控制上述RS设备的传感器中的各行传感单元进行曝光；

在示出的一些实施例中，上述装置50还包括：

有效处理时长确定模块，确定上述预设的有效像素行数占上述RS设备的传感器的传感单元总行数的比例；

在示出的一些实施例中，上述装置50还包括：

预设时间差确定模块，用于基于预设的有效像素行数、RS设备的传感器的传感单元总行数、以及上述图像帧采集周期，确定上述单个图像帧采集周期内上述RS设备的有效像素行的处理时长；

在示出的一些实施例中，上述装置50还包括：

同步控制模块，用于当上述图像采集环境包括多个上述RS设备时，采用同步触发信号控制上述多个上述RS设备中的至少部分设备进行同步曝光；

和/或，

在示出的一些实施例中，上述装置50还包括：

获取模块，用于获取上述RS设备输出图像的图像分辨率；

确定模块，用于根据上述图像分辨率，确定上述RS设备的有效像素行行数。

在示出的一些实施例中，上述RS设备的图像帧采集周期与单个图像帧采集周期内上述RS设备的有效像素行的有效处理时长的差为20毫秒；上述第一预设曝光时长为15毫秒；上述第二预设曝光时长为5毫秒。

本申请示出的曝光控制装置的实施例可以应用于电子设备上。相应地，本申请公开了一种电子设备，该设备可以包括：处理器。

用于存储处理器可执行指令的存储器。

其中，上述处理器被配置为调用上述存储器中存储的可执行指令，实现前述任一实施例示出的曝光控制方法。

请参见图6，图6为本申请示出的一种电子设备的硬件结构示意图。

如图6所示，该电子设备可以包括用于执行指令的处理器，用于进行网络连接的网络接口，用于为处理器存储运行数据的内存，以及用于存储曝光控制装置对应指令的非易失性存储器。

其中，上述装置的实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，除了图6所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

可以理解的是，为了提升处理速度，曝光控制装置对应指令也可以直接存储于内存中，在此不作限定。

本申请提出一种计算机可读存储介质，上述存储介质存储有计算机程序，上述计算机程序用于执行前述任一实施例示出的曝光控制方法。

本领域技术人员应明白，本申请一个或多个实施例可提供为方法、***或计算机程序产品。因此，本申请一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(可以包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请中的“和/或”表示至少具有两者中的其中一个，例如，“A和/或B”可以包括三种方案：A、B、以及“A和B”。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本申请中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、可以包括本申请中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本申请中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本申请中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。上述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机可以包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件可以包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将可以包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位***(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质可以包括所有形式的非易失性存储器、媒介和存储器设备，例如可以包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本申请包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本申请内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上上述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种***模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和***通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上上述仅为本申请一个或多个实施例的较佳实施例而已，并不用以限制本申请一个或多个实施例，凡在本申请一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请一个或多个实施例保护的范围之内。

Claims

1.一种曝光控制方法，包括：

控制卷帘快门RS设备按照第一预设曝光时长进行曝光；

根据所述RS设备的起始曝光时刻与全局快门GS设备的起始曝光时刻之间的预设时间差，控制所述GS设备按照第二预设曝光时长进行曝光；

其中，所述第一预设曝光时长与所述第二预设曝光时长之和不大于所述RS设备的图像帧采集周期与单个图像帧采集周期内所述RS设备的有效像素行的有效处理时长的差，所述有效处理时长基于预设的有效像素行数、RS设备的传感器的传感单元总行数、以及所述图像帧采集周期确定；以及，

所述预设时间差不小于所述单个图像帧采集周期内所述RS设备的有效像素行的处理时长，并且不大于所述单个图像帧采集周期，与所述第一预设曝光时长和所述第二预设曝光时长之和的差值。

2.根据权利要求1所述的方法，还包括：

控制所述GS设备的补光灯根据所述GS设备的曝光时间开启或关闭；

控制所述RS设备的补光灯在所述RS设备的起始曝光时刻开启；

所述GS设备的补光灯和所述RS设备的补光灯的补光波长在同一红外波段内。

3.根据权利要求1所述的方法，其中，所述RS设备和所述GS设备部署于同一车舱环境。

4.根据权利要求3所述的方法，其中，所述RS设备包括用于乘员检测的摄像头，所述GS设备包括用于驾驶员检测的摄像头；或者，

所述RS设备包括用于驾驶员检测的摄像头，所述GS设备包括用于乘员检测的摄像头。

5.根据权利要求1所述的方法，其中，所述方法还包括：

向所述RS设备发送行扫描时钟信息，以按照所述行扫描时钟信息依次控制所述RS设备的传感器中的各行传感单元进行曝光；

其中，所述行扫描时钟信息基于所述图像帧采集周期、所述RS设备的传感器的传感单元总行数设定。

6.根据权利要求1-5任一所述的方法，其中，所述有效处理时长基于如下方式确定：确定所述预设的有效像素行数占所述RS设备的传感器的传感单元总行数的比例；

根据所述比例，以及所述图像帧采集周期，确定所述有效处理时长。

7.根据权利要求1-6任一所述的方法，其中，所述预设时间差基于如下方式确定：

基于预设的有效像素行数、RS设备的传感器的传感单元总行数、以及所述图像帧采集周期，确定所述单个图像帧采集周期内所述RS设备的有效像素行的处理时长；

根据所述单个图像帧采集周期，所述第一预设曝光时长以及所述第二预设曝光时长，确定所述单个图像帧采集周期，与所述第一预设曝光时长和所述第二预设曝光时长之和的差值；

根据由所述有效像素行的处理时长，以及所述差值构成的区间，确定所述预设时间差。

8.根据权利要求1-7任一所述的方法，还包括：

当所述图像采集环境包括多个所述RS设备时，采用同步触发信号控制所述多个所述RS设备中的至少部分设备进行同步曝光；

和/或，

当所述图像采集环境包括多个所述GS设备时，采用同步触发信号控制所述多个所述GS设备中的至少部分设备进行同步曝光。

9.根据权利要求1-8任一所述的方法，还包括：

获取所述RS设备输出图像的图像分辨率；

根据所述图像分辨率，确定所述RS设备的有效像素行行数。

10.根据权利要求1-9任一所述的方法，所述RS设备的图像帧采集周期与单个图像帧采集周期内所述RS设备的有效像素行的有效处理时长的差为20毫秒；

所述第一预设曝光时长为15毫秒；所述第二预设曝光时长为5毫秒。

11.一种曝光控制装置，包括：

第二控制模块，用于根据所述RS设备的起始曝光时刻与全局快门GS设备的起始曝光时刻之间的预设时间差，控制所述GS设备按照第二预设曝光时长进行曝光；

12.一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现如权利要求1-10任一所述的曝光控制方法。

13.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如权利要求1-10任一所述的曝光控制方法。