CN118075620A - 图像采集方法、装置及存储介质 - Google Patents

Abstract

本公开是关于一种图像采集方法、装置及存储介质。该方法包括：响应于图像采集过程中确定存在发生频闪的光源，获取光源的闪烁周期；基于闪烁周期确定第一曝光方式的曝光时长，并基于第一曝光方式的曝光时长确定第二曝光方式的曝光时长；基于第一和第二曝光方式，连续采集至少一帧图像；其中，第一曝光方式的曝光时长大于第二曝光方式的曝光时长，且第一曝光方式的曝光时长为闪烁周期的整数倍。通过本公开，解决了运动抓拍中无法同时消除图像中的频闪条带和“鬼影”的技术问题，提高了图像采集的降噪效果，优化了输出图像的画质，减少了用户等待时间，提升了用户抓拍体验。

Description

图像采集方法、装置及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像采集方法、装置及存储介质。

背景技术

运动抓拍是指通过运动检测算法，检测出预览画面中存在运动，根据运动量的大小来调整相机的曝光时间，以降低成片中的运动模糊的图像处理方法。

目前的运动抓拍方案，在拍摄环境中存在频闪flicker光源的场景中，效果还有很大的改善空间。

发明内容

为克服相关技术中存在的问题，本公开提供一种图像采集方法、装置及存储介质。

根据本公开实施例的第一方面，提供一种图像采集方法，包括：

响应于图像采集过程中确定存在发生频闪的光源，获取所述光源的闪烁周期；

基于所述闪烁周期确定第一曝光方式的曝光时长，并基于所述第一曝光方式的曝光时长确定第二曝光方式的曝光时长；

基于所述第一曝光方式和所述第二曝光方式，连续采集至少一帧图像，所述至少一帧图像中的每一帧包括采用第一曝光方式得到的第一曝光图像和采用第二曝光方式得到的第二曝光图像；

其中，所述第一曝光方式的曝光时长大于所述第二曝光方式的曝光时长，且所述第一曝光方式的曝光时长为所述闪烁周期的整数倍。

一种实施方式中，所述方法还包括：基于所述第一曝光图像，确定预览图像；和/或

基于所述第二曝光图像确定输出图像。

一种实施方式中，所述基于所述第一曝光图像，确定预览图像，包括：

根据当前帧图像中采用第一曝光方式得到的第一曝光图像，确定预览图像；

所述基于所述第二曝光图像确定输出图像，包括：

根据所述当前帧图像中采用第二曝光方式得到的第二曝光图像，以及基于所述当前帧向前取帧的至少一帧图像中采用第二曝光方式得到的第二曝光图像，确定输出图像。

一种实施方式中，所述第二曝光方式的曝光时长采用如下方式确定：

响应于所述至少一帧图像中包括有移动对象，基于当前帧向前取帧的至少一帧图像，确定所述移动对象的第一移动量；

根据所述第一移动量，确定所述第二曝光方式的曝光时长。

一种实施方式中，所述方法还包括：

响应于图像采集过程中确定不存在发生频闪的光源，基于第三曝光方式连续采集至少一帧图像，所述至少一帧图像中的每一帧包括至少一幅采用第三曝光方式得到的第三曝光图像；

所述第三曝光方式的曝光时长采用如下方式确定：

基于当前帧向前取帧的至少一帧图像，确定图像采集对象的第二移动量；

根据所述第二移动量，确定所述第三曝光方式的曝光时长。

根据本公开实施例的第二方面，提供一种图像采集装置，包括：

获取模块，被配置为响应于图像采集过程中确定存在发生频闪的光源，获取所述光源的闪烁周期；

确定模块，被配置为基于所述闪烁周期确定第一曝光方式的曝光时长，并基于所述第一曝光方式的曝光时长确定第二曝光方式的曝光时长；

采集模块，被配置为基于所述第一曝光方式和所述第二曝光方式，连续采集至少一帧图像，所述至少一帧图像中的每一帧包括采用第一曝光方式得到的第一曝光图像和采用第二曝光方式得到的第二曝光图像；

其中，所述第一曝光方式的曝光时长大于所述第二曝光方式的曝光时长，且所述第一曝光方式的曝光时长为所述闪烁周期的整数倍。

一种实施方式中，所述装置还包括：

处理模块，被配置为基于所述第一曝光图像，确定预览图像；和/或

基于所述第二曝光图像确定输出图像。

一种实施方式中，所述基于所述第一曝光图像，确定预览图像，包括：

根据当前帧图像中采用第一曝光方式得到的第一曝光图像，确定预览图像；

所述基于所述第二曝光图像确定输出图像，包括：

根据所述当前帧图像中采用第二曝光方式得到的第二曝光图像，以及基于所述当前帧向前取帧的至少一帧图像中采用第二曝光方式得到的第二曝光图像，确定输出图像。

一种实施方式中，所述第二曝光方式的曝光时长采用如下方式确定：

响应于所述至少一帧图像中包括有移动对象，基于当前帧向前取帧的至少一帧图像，确定所述移动对象的第一移动量；

根据所述第一移动量，确定所述第二曝光方式的曝光时长。

一种实施方式中，所述采集模块还被配置为：

响应于图像采集过程中确定不存在发生频闪的光源，基于第三曝光方式连续采集至少一帧图像，所述至少一帧图像中的每一帧包括至少一幅采用第三曝光方式得到的第三曝光图像；

所述第三曝光方式的曝光时长采用如下方式确定：

基于当前帧向前取帧的至少一帧图像，确定图像采集对象的第二移动量；

根据所述第二移动量，确定所述第三曝光方式的曝光时长。

根据本公开实施例第三方面，提供一种图像采集装置，包括：

处理器；用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行第一方面或者第一方面任意一种实施方式中所述的图像采集方法。

根据本公开实施例第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行第一方面或者第一方面任意一种实施方式中所述的图像采集方法。

本公开的实施例提供的技术方案可以包括以下有益效果：通过在图像采集过程确定存在发生频闪的光源，确定曝光时长为光源闪烁周期的整数倍的第一曝光方式，并确定曝光时长小于第一曝光方式的曝光时长的第二曝光方式，基于第一曝光方式和第二曝光方式连续采集至少一帧图像，解决了运动抓拍中无法同时消除图像中的频闪条带和“鬼影”的技术问题，提高了图像采集的降噪效果，优化了输出图像的画质，减少了用户等待时间，提升了用户抓拍体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是民用交流电的波形和交流电灯光亮度波形示意图。

图2是根据一示例性实施例示出的频闪的成因示意图。

图3是根据一示例性实施例示出的叠加频闪图像的成片示意图。

图4是“鬼影”现象成因示意图。

图5是相关技术中运动抓拍预览和拍照方法的流程图。

图6是根据一示例性实施例示出的一种图像采集方法的流程图。

图7(A)是普通的高动态范围HDR曝光方式的示意图。

图7(B)是stagger HDR曝光方式的示意图。

图8是根据一示例性实施例示出的一种第二曝光方式的曝光时长确定方法的流程图。

图9是根据一示例性实施例示出的另一种图像采集方法的流程图。

图10是根据一示例性实施例示出的第三曝光方式的曝光时长确定方法的流程图。

图11是根据一示例性实施例示出的采用本公开实施例的图像采集方法进行预览和拍照的方法的流程图。

图12是根据一示例性实施例示出的一种图像采集装置框图。

图13是根据一示例性实施例示出的一种装置的框图。

图14是根据一示例性实施例示出的一种装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。

上文提及，目前的运动抓拍方案，在拍摄环境中存在flicker光源的场景中，效果还有很大的改善空间。flicker光源是指具有闪烁特性的光源，在日常生活中十分常见，包括：

a.民用供电***通常采用的50Hz或者60Hz的交流电。如果人造光源没有做交流转直流的变换，那么这种灯光就是一个100Hz或者120Hz交替闪烁的光源。图1是民用交流电的波形和交流电灯光亮度波形示意图，图1中，横坐标为时间，纵坐标为信号幅度。

b.LED灯高频调制光源，例如地铁、高铁上的照明***，这种光源具有远高于工频的闪烁频率，可以达到200Hz到1000Hz之间。

c.电子产品屏幕光源，例如亮着的手机屏幕、电视屏幕等。

在上述具有特定交替闪烁频率的光源照明环境下，由于诸如手机相机等图像采集设备的CMOS传感器成像是一行行曝光的，图像传感器曝光时同一行的每个像元的曝光起始点近似一致，但行与行之间的曝光起始点有差异，当行曝光时长不为光源闪烁周期的整数倍时，会产生图像传感器内部行与行之间曝光积分量的差异，导致在成像上形成了明暗条带分布，这种现象称为频闪现象。

图2是根据一示例性实施例示出的频闪的成因示意图，如图2所示，图2中的1/30s表示图像采集设备生成一帧图像的总耗时，即此时图像采集设备的拍摄帧率为30fps。需要说明的是，fps是frames per second的缩写，表示每秒传输帧数。此时，交流电的波动周期为1/100s，即环境光源闪烁周期为1/100s。用图像采集设备在该环境光源下拍照，图像曝光时间1/30s不为环境光源闪烁周期1/100s的整数倍，如图3所示，拍出的照片就会叠加频闪图像。

相关技术中，在进行运动抓拍时，若检测到当前拍摄场景不是flicker场景，会在预览阶段调整相机曝光，在拍照时直接向前取n帧来合成成片；若检测到当前拍摄场景是flicker场景，则不会在预览阶段调整相机曝光，以避免造成预览画面出现频闪条带，相应地，在拍照的时候通过向后取帧，并根据运动量大小调整每一帧的曝光，同时对其中相邻的两帧成对通过频闪消除deflicker算法进行处理后，得到消除了频闪条带的输出图像。该方案存在如下缺点：

a.在flicker场景为了避免预览画面出现频闪图案，不能在预览阶段调整相机曝光，使得在拍照的时候取帧合成的方式就需要从原来非flicker环境下的前取n帧变成后取n帧(n为正整数)，由于需要等待向后取帧的时间，因此预览画面的卡顿延时就会增加，大幅影响了用户的抓拍体验。

b.在运动物体变化较快的场景，送入deflicker算法的相邻两帧画面内容将会有较大的差异，不利于deflicker算法的计算处理。

c.在非flicker场景，如果是抓拍运动速度较快的物体，前取的n帧画面内容可能存在较大的差异，在多帧合成的过程中就可能造成“鬼影”现象、影响降噪效果，导致最终成片的帧可能不是用户想要抓到的那一瞬间的内容。

图4是“鬼影”现象成因示意图，如图4所示，若在图像合成时，帧间画面内容差异较大，则在最后合成的成片(即输出图像)中，就可能留下明显的运动残影。

图5是相关技术中运动抓拍预览和拍照方法的流程图，如图5所示，图像传感器的出帧率通常是30fps，约33ms出图一帧，原始图像为RAW格式，会存储在一个零秒延迟(ZeroShutter Lag，ZSL)缓存(buffer)队列中。每帧RAW格式的图像都会对应转换成一帧YUV格式的图像供相机等图像采集设备中的应用做预览显示。运动检测模块会对每一帧YUV格式的图像进行运动检测，并将检测到的运动量传给曝光控制模块(Automatic ExposureControl，AEC)来调整图像传感器的曝光时间。例如，假设图像传感器默认曝光时间是10ms，当检测到运动时，曝光时间可能会被调整至5ms，以减轻运动模糊。AEC模块还会参考频闪检测模块传来的频闪检测信息，如果当前是flicker场景，由于常见的室内flicker光源的工作频率通常为100Hz，且图像传感器的默认曝光时间通常为10ms，因此AEC模块将不会调整图像传感器的曝光时间，以使获得的预览图像中不会产生频闪条带。

在没有flicker的场景下，当用户按下拍照按钮时，ZSL buffer队列将会直接输出之前存储好的n帧图像给诸如多帧融合降噪(Mutil-frame Noise Reduction，MFNR)等多帧合成降噪模块，最后合成一张成片作为输出图像提供给用户。而在flicker场景下，当用户按下拍照按钮时，由于此时ZSL buffer队列中存储的都是为了防止预览出现频闪条带而未调整曝光的RAW格式的图像，为了保证运动抓拍效果，需要等待AEC对接下来的n帧RAW格式的图像进行曝光调整后，将得到的图像传输给deflicker模块进行频闪图案去除的算法处理，然后再将处理后的图像输出至多帧合成降噪模块。前述等待AEC对接下来的n帧RAW格式的图像进行曝光调整的过程称为非零秒延迟non-ZSL，该过程会使用户的等待时间增加n*33ms。

为解决上述技术问题，本公开实施例提供一种图像采集方法，通过在图像采集过程确定存在发生频闪的光源，确定曝光时长为光源闪烁周期的整数倍的第一曝光方式，并确定曝光时长小于第一曝光方式的曝光时长的第二曝光方式，基于第一曝光方式和第二曝光方式连续采集至少一帧图像，解决了运动抓拍中无法同时消除图像中的频闪条带和“鬼影”的技术问题，提高了图像采集的降噪效果，优化了输出图像的画质，减少了用户等待时间，提升了用户抓拍体验。

图6是根据一示例性实施例示出的一种图像采集方法的流程图，该图像采集方法应用于对移动的对象进行图像采集，如图6所示，该方法包括以下步骤。

在步骤S61中，响应于图像采集过程中确定存在发生频闪的光源，获取光源的闪烁周期。

在步骤S62中，基于闪烁周期确定第一曝光方式的曝光时长，并基于第一曝光方式的曝光时长确定第二曝光方式的曝光时长。

在步骤S63中，基于第一曝光方式和第二曝光方式，连续采集至少一帧图像。

本公开实施例中，至少一帧图像中的每一帧包括采用第一曝光方式得到的第一曝光图像和采用第二曝光方式得到的第二曝光图像。

本公开实施例中，第一曝光方式的曝光时长大于第二曝光方式的曝光时长，且第一曝光方式的曝光时长为闪烁周期的整数倍。

本公开实施例中，图像采集方法可以由图像采集设备执行，图像采集设备包括但不限于具有拍照功能的手机、相机、摄像机、监控设备等。

本公开实施例中，图像采集方法可以应用于对移动的对象进行图像采集，移动的对象可以是持续移动的，也可以是阶段性移动的，即在部分时间内处于移动状态，部分时间内处于静止状态。此时，可以在确定对象处于移动状态时采用本公开实施例提供的图像采集方法采集对象的图像。对象的移动量可以是匀速的，也可以是非匀速的，此处不做限制。

本公开实施例中，可以通过图像采集设备中的频闪检测单元来对图像采集过程中是否发生频闪进行检测，并在图像采集过程中确定存在发生频闪的光源时，获取发生频闪的光源的闪烁周期。获取的闪烁周期可以存储于频闪检测单元，也可以直接发送至图像采集设备中的AEC模块，还可以首先发送至图像采集设备中的其他存储单元先行存储，在需要时再发送至AEC模块，此处不做限制。

本公开实施例中，可以基于获取闪烁周期确定第一曝光方式的曝光时长。一示例中，第一曝光方式的曝光时长可以为闪烁周期的整数倍，以使通过第一曝光方式采集得到的图像中不包括频闪条带。一示例中，若检测到的发生频闪的光源的闪烁频率为100Hz，则可以得出闪烁周期为10ms，此时若图像传感器的帧率仍然是30fps，则可以设置第一曝光方式的曝光时长为10ms、20ms或30ms。

本公开实施例中，还可以基于第一曝光方式的曝光时长确定第二曝光方式的曝光时长。第二曝光方式的曝光时长可以小于第一曝光方式的曝光时长，以使通过第二曝光方式采集得到的图像能够与图像采集对象的运动量相匹配，进而减轻后续合成的输出图像中的运动模糊。

可以理解的是，由于每一帧图像中均需要包括至少一幅采用第一曝光方式得到的第一曝光图像，以及至少一幅采用第二曝光方式得到的第二曝光图像，因此设置曝光时长时需要同时考虑第一曝光方式的曝光时长、第二曝光方式的曝光时长和帧长，使得第一曝光方式的曝光时长与第二曝光方式的曝光时长之和不能大于帧长。

一示例中，可以在图像采集过程中确定存在发生频闪的光源时，用户按下拍照按钮之前，调整图像传感器的曝光方式，使图像传感器采用交错式曝光的方式进行图像采集，其中采集的每一帧图像中包括至少一幅采用第一曝光方式得到的第一曝光图像，以及至少一幅采用第二曝光方式得到的第二曝光图像。

上述交错式曝光的方式也被成为stagger曝光方式。图7(A)是普通的高动态范围HDR曝光方式的示意图，图7(B)是stagger HDR曝光方式的示意图。

如图7(A)所示，采用普通的HDR曝光方式进行曝光时，假定相机的帧率是30fps，则在一帧的时间里只有基于一种曝光方式的曝光得到的图像，该一种类型可以是第一曝光方式、第二曝光方式或第三曝光方式，其中，第一曝光方式的曝光时长可以大于第二曝光方式的曝光时长，第二曝光方式的曝光时长可以大于第三曝光方式的曝光时长。

如图7(B)所示，采用Stagger HDR曝光方式进行曝光时，同样假定相机的帧率是30fps，此时在一帧的时间里可以有基于至少两种曝光方式曝光得到的图像，包括基于第一曝光方式和第二曝光方式曝光得到的图像，基于第一曝光方式和第三曝光方式曝光得到的图像，基于第二曝光方式和第三曝光方式曝光得到的图像，以及基于第一曝光方式、第二曝光方式和第三曝光方式曝光得到的图像。相比于普通HDR以帧为单位的曝光方式，StaggerHDR可以做到在一帧的时间里得到最多三幅具有不同曝光时长的图像，且具有不同曝光时长的图像是交替排列的。

本公开实施例中，可以利用Stagger HDR曝光方式采用交错设置的第一曝光方式和第二曝光方式连续采集至少一帧图像，至少一帧图像中的每一帧包括采用第一曝光方式得到的第一曝光图像和采用第二曝光方式得到的第二曝光图像。一示例中，至少一帧图像中的每一帧均可以包括一幅采用第一曝光方式得到的第一曝光图像，以及一幅采用第二曝光方式得到的第二曝光图像，其中，第一曝光方式的曝光时长大于第二曝光方式的曝光时长。即，可以利用Stagger HDR曝光方式得到每一帧中至少包括交错设置的一幅长曝光图像和一幅短曝光图像的至少一帧连续图像。其中，至少一帧图像可以是一帧图像，也可以是多帧图像。

采用本公开实施例的技术方案，通过在图像采集过程确定存在发生频闪的光源，确定曝光时长为光源闪烁周期的整数倍的第一曝光方式，并确定曝光时长小于第一曝光方式的曝光时长的第二曝光方式，基于第一曝光方式和第二曝光方式连续采集至少一帧图像，解决了运动抓拍中无法同时消除图像中的频闪条带和“鬼影”的技术问题，提高了图像采集的降噪效果，优化了输出图像的画质，减少了用户等待时间，提升了用户抓拍体验。

本公开实施例中，可以将采用第一曝光方式得到的第一曝光图像用于图像预览，将采用第二曝光方式得到的第二曝光图像用于确定输出图像。

如前所述，由于第一曝光方式是Stagger HDR中的长曝光方式，因此采用该曝光方式获得的图像分辨率较高。同时由于第一曝光方式的曝光时长为发生频闪的光源的闪烁周期的整数倍，因此采用该曝光方式获得的图像中也不会包含频闪条带。因而，可以根据采用第一曝光方式得到的第一曝光图像确定图像预览，此时提供给用户的预览图像的清晰度高且不包括频闪条带，能够在预览阶段给予用户较好的体验。

另一方面，由于第一曝光方式是Stagger HDR中的长曝光方式，因此在对移动的对象进行图像采集时，相邻几幅(若一帧中仅包括一幅第一曝光方式获得的第一曝光图像，则为相邻几帧)长曝光图像中的画面内容可能存在较大差异，在多帧合成处理后得到的输出图像中可能会存在“鬼影”。鉴于此，可以根据采用第二曝光方式得到的第二曝光图像确定输出图像。

如前所述，由于第二曝光方式是Stagger HDR中的短曝光方式，相邻几幅(或几帧)图像中的画面内容差异较小，经多帧合成处理后得到的输出图像中不会存在“鬼影”，此时提供给用户的输出图像，即用户拍照获得的成片同样具有较高的清晰度，在成片阶段也能给予用户较好的体验。

本公开实施例中，连续采集的至少一帧图像可以包括当前帧图像和基于当前帧向前取帧图像。其中，当前帧图像可以是用户按下拍照按钮时对应的图像帧中的图像，基于当前帧向前取帧图像可以是在用户按下拍照按钮前自动获取并保存的至少一帧图像。此时，可以直接将当前帧图像中采用第一曝光方式得到的第一曝光图像确定为预览图像，以提高预览速度，提升用户体验。

另一方面，还可以根据当前帧图像中采用第二曝光方式得到的第二曝光图像，以及向前取帧图像中采用第二曝光方式得到的第二曝光图像中的至少一幅第二曝光图像，确定输出图像。也就是说，可以基于当前帧图像和向前取帧得到的至少一帧图像进行多帧合成确定输出图像，从而无需采用相关技术中向后取帧的方式确定输出图像，减少了图像合成时间，进而减少了用户等待时间，进一步提升了用户体验。

本公开实施例中，由于第二曝光方式的曝光时长可能不是发生频闪的光源的闪烁周期的整数倍，因此直接采用当前帧图像中采用第二曝光方式得到的第二曝光图像和其他图像进行多帧合成，得到的输出图像中仍然会存在频闪条带。

为解决该技术问题，可以将当前帧图像中采用第二曝光方式得到的第二曝光图像和当前帧图像中采用第一曝光方式得到的第一曝光图像首先进行deflicker处理，以消除成片(即，输出图像)中的频闪条带，然后再对处理后的图像进行多帧合成。在进行deflicker处理时，可以将每一帧图像中采用第一曝光方式得到的第一曝光图像和采用第二曝光方式得到的第二曝光图像相减，抵消掉画面内容的干扰以提取频闪条带信息，然后将每一帧中采用第二曝光方式得到的第二曝光图像去除获得的频闪条带信息，再将当前帧图像和N-1帧向前取帧图像中的采用第二曝光方式得到的第二曝光图像进行多帧合成，从而得到输出图像。

图8是根据一示例性实施例示出的一种第二曝光方式的曝光时长确定方法的流程图。如图8所示，该方法包括以下步骤。

在步骤S81中，响应于至少一帧图像中包括有移动对象，基于当前帧向前取帧的至少一帧图像，确定移动对象的第一移动量。

在步骤S82中，根据第一移动量，确定第二曝光方式的曝光时长。

本公开实施例中，可以由图像采集设备中的运动检测模块对当前帧向前取帧的至少一帧图像进行运动检测，在检测到至少一帧图像中有移动对象时，确定移动对象的第一移动量，进而根据确定的第一移动量确定第二曝光方式的曝光时长。若移动对象的第一移动量较大，表明移动对象移动速度较快，为减少相邻几幅(或几帧)图像中画面内容的差异，可以将第二曝光方式的曝光时长设置为一较小的值，以减少运动模糊；另一方面，若移动对象的第一移动量较小，表明对象移动速度较慢，为减少处理成本提高处理效率，可以将第二曝光方式的曝光时长设置为一较大的值。

图9是根据一示例性实施例示出的另一种图像采集方法的流程图，图9中的步骤S91-S93分别与图6中的步骤S61-S63相同，此处不再赘述。如图9所示，该图像采集方法还包括以下步骤。

在步骤S94中，响应于图像采集过程中确定不存在发生频闪的光源，基于第三曝光方式连续采集至少一帧图像。

本公开实施例中，该至少一帧图像中的每一帧包括至少一幅采用第三曝光方式得到的第三曝光图像。

本公开实施例中，在图像采集过程中确定不存在发生频闪的光源时，由于无需进行频闪条带消除操作，因此也无需再使用曝光时长为闪烁周期整数倍的长曝光来快速生成清晰的预览图像。此时，仅需采用连续的第三曝光方式来对图像进行采集，其中，第三曝光方式可以是一种短曝光，其曝光时长同样可以根据移动对象的移动量来确定。

图10是根据一示例性实施例示出的第三曝光方式的曝光时长确定方法的流程图。如图10所示，该方法包括以下步骤。

在步骤S101中，基于当前帧向前取帧的至少一帧图像，确定图像采集对象的第二移动量。

在步骤S102中，根据第二移动量，确定第三曝光方式的曝光时长。

本公开实施例中，第三曝光方式的曝光时长可以与第二曝光方式的曝光时长相同，也可以不同，这取决于图像采集对象的当前移动量。可以理解的是，若图像采集对象的移动量为零时，表明图像采集对象当前处于静止状态，此时第三曝光方式可以是默认曝光方式，无需进行曝光时长的调整。

根据本公开实施例的技术方案，通过在图像采集过程确定不存在发生频闪的光源时，基于第三曝光方式连续采集至少一帧图像，该第三曝光方式的曝光时长根据至少一帧图像中的图像采集对象的移动量确定，使得本公开实施例提供的图像采集方法能够根据采集过程中是否发生频闪自动调整曝光方式，降低了资源消耗提升了采集效率。

图11是根据一示例性实施例示出的采用本公开实施例的图像采集方法进行预览和拍照的方法的流程图。图11中的频闪检测、AEC、图像传感器、运动检测、频闪消除、MFNR和APP模块与图5中的相应模块的实现方式和工作方式均相同，此处不再赘述。

由于stagger HDR技术可以支持在原来一帧的时间内输出两帧以上不同曝光时长的图像，使抓帧时间减少，同时帧间的运动也更少。因此，可以利用这个特性，如图11所示，在无flicker环境下，将stagger的n帧图像的曝光方式都设置为短曝光，并将获得的n帧图像均存储在ZSL buffer中，以供后续多帧合成处理。采用这种方式，假设原来做多帧合成时候，每一帧之间画面内容的间隔都为33ms，现在每一帧之间画面内容的间隔仅约为33/nms，从而大大减少了n帧画面内容之间的差异，进而改善成片效果和用户抓拍体验。

而在flicker场景下，可以将stagger的n帧图像的曝光方式交错设置为短、长曝光，这样就可以在一帧中获取一幅不含频闪图案的stagger长曝光(行曝光时长为光源闪烁周期的整数倍，如在100hz flicker场景下设置为10ms曝光)图像，用来给预览作为显示。同时还能在同一帧中获取一幅经运动抓拍调整过的短曝光图像，上述长曝光图像和短曝光图像同时存储在ZSL buffer中。在对各帧中的长曝光图像和短曝光图像一起进行deflicker处理后，将短曝光图像输出至多帧合成模块，得到合成的输出图像作为成片输出。这样在flicker场景下就可以实现前取帧的运动抓拍，无需等待AEC重新调整曝光的取帧时间，同时，由于deflicker算法是通过两帧图像相减，抵消掉画面内容的干扰来提取频闪条带信息，因此两帧画面内容越相近，提取的信息就越准确，短曝光图像之间由于采集时间更短，因此画面内容相比仅采用长曝光图像会更相近，因此deflicker的效果也会更优。

基于相同的构思，本公开实施例还提供一种图像采集装置。

可以理解的是，本公开实施例提供的图像采集装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。

图12是根据一示例性实施例示出的一种图像采集装置框图。参照图12，该装置1200包括获取模块1201、确定模块1202和采集模块1203。

该获取模块1201被配置为响应于图像采集过程中确定存在发生频闪的光源，获取光源的闪烁周期。

该确定模块1202被配置为基于闪烁周期确定第一曝光方式的曝光时长，并基于第一曝光方式的曝光时长确定第二曝光方式的曝光时长。

该采集模块1203被配置为基于第一曝光方式和第二曝光方式，连续采集至少一帧图像。

其中，至少一帧图像中的每一帧包括采用第一曝光方式得到的第一曝光图像和采用第二曝光方式得到的第二曝光图像。第一曝光方式的曝光时长大于第二曝光方式的曝光时长，且第一曝光方式的曝光时长为闪烁周期的整数倍。

进一步地，所述装置还包括处理模块1204，被配置为基于第一曝光图像，确定预览图像，并基于第二曝光图像确定输出图像。

本公开实施例中，基于第一曝光图像，确定预览图像，并基于第二曝光图像确定输出图像，包括：根据当前帧图像中采用第一曝光方式得到的第一曝光图像，确定预览图像；根据当前帧图像中采用第二曝光方式得到的第二曝光图像，以及基于当前帧向前取帧的至少一帧图像中采用第二曝光方式得到的第二曝光图像，确定输出图像。

本公开实施例中，第二曝光方式的曝光时长采用如下方式确定：响应于所述至少一帧图像中包括有移动对象，基于当前帧向前取帧的至少一帧图像，确定移动对象的第一移动量；根据第一移动量，确定第二曝光方式的曝光时长。

本公开实施例中，采集模块1203还被配置为：响应于图像采集过程中确定不存在发生频闪的光源，基于第三曝光方式连续采集至少一帧图像，至少一帧图像中的每一帧包括至少一幅采用第三曝光方式得到的第三曝光图像；第三曝光方式的曝光时长采用如下方式确定：基于当前帧向前取帧的至少一帧图像，确定移动对象的第二移动量；根据第二移动量，确定第三曝光方式的曝光时长。

采用本公开实施例的技术方案，通过在图像采集过程确定存在发生频闪的光源，确定曝光时长为光源闪烁周期的整数倍的第一曝光方式，并确定曝光时长小于第一曝光方式的曝光时长的第二曝光方式，基于第一曝光方式和第二曝光方式连续采集至少一帧图像，解决了运动抓拍中无法同时消除图像中的频闪条带和“鬼影”的技术问题，提高了图像采集的降噪效果，优化了输出图像的画质，减少了用户等待时间，提升了用户抓拍体验。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图13是根据一示例性实施例示出的一种用于图像采集的装置1300的框图。例如，装置1300可以是具有拍照功能的手机、相机、摄像机、监控设备等。

参照图13，装置1300可以包括以下一个或多个组件：处理组件1302，存储器1304，电力组件1306，多媒体组件1308，音频组件1310，输入/输出(I/O)接口1312，传感器组件1314，以及通信组件1316。

处理组件1302通常控制装置1300的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1302可以包括一个或多个处理器1320来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1302可以包括一个或多个模块，便于处理组件1302和其他组件之间的交互。例如，处理组件1302可以包括多媒体模块，以方便多媒体组件1308和处理组件1302之间的交互。

存储器1304被配置为存储各种类型的数据以支持在装置1300的操作。这些数据的示例包括用于在装置1300上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件1306为装置1300的各种组件提供电力。电力组件1306可以包括电源管理***，一个或多个电源，及其他与为装置1300生成、管理和分配电力相关联的组件。

多媒体组件1308包括在所述装置1300和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1308包括一个前置摄像头和/或后置摄像头。当装置1300处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件1310被配置为输出和/或输入音频信号。例如，音频组件1310包括一个麦克风(MIC)，当装置1300处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1304或经由通信组件1316发送。在一些实施例中，音频组件1310还包括一个扬声器，用于输出音频信号。

I/O接口1312为处理组件1302和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1314包括一个或多个传感器，用于为装置1300提供各个方面的状态评估。例如，传感器组件1314可以检测到装置1300的打开/关闭状态，组件的相对定位，例如所述组件为装置1300的显示器和小键盘，传感器组件1314还可以检测装置1300或装置1300一个组件的位置改变，用户与装置1300接触的存在或不存在，装置1300方位或加速/减速和装置1300的温度变化。传感器组件1314可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1314还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1314还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1316被配置为便于装置1300和其他设备之间有线或无线方式的通信。装置1300可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1316经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1316还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置1300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1304，上述指令可由装置1300的处理器1320执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图14是根据一示例性实施例示出的一种用于图像采集的装置1400的框图。例如，装置1400可以被提供为一服务器。参照图14，装置1400包括处理组件1422，其进一步包括一个或多个处理器，以及由存储器1432所代表的存储器资源，用于存储可由处理组件1422的执行的指令，例如应用程序。存储器1432中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1422被配置为执行指令，以执行上述图像采集方法。

装置1400还可以包括一个电源组件1426被配置为执行装置1400的电源管理，一个有线或无线网络接口1450被配置为将装置1400连接到网络，和一个输入输出(I/O)接口1458。装置1400可以操作基于存储在存储器1432的操作***，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。

进一步可以理解的是，除非有特殊说明，“连接”包括两者之间不存在其他构件的直接连接，也包括两者之间存在其他元件的间接连接。

进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利范围来限制。

Claims (12)

1.一种图像采集方法，其特征在于，所述方法包括：

响应于图像采集过程中确定存在发生频闪的光源，获取所述光源的闪烁周期；

基于所述闪烁周期确定第一曝光方式的曝光时长，并基于所述第一曝光方式的曝光时长确定第二曝光方式的曝光时长；

基于所述第一曝光方式和所述第二曝光方式，连续采集至少一帧图像，所述至少一帧图像中的每一帧包括采用第一曝光方式得到的第一曝光图像和采用第二曝光方式得到的第二曝光图像；

其中，所述第一曝光方式的曝光时长大于所述第二曝光方式的曝光时长，且所述第一曝光方式的曝光时长为所述闪烁周期的整数倍。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述第一曝光图像，确定预览图像；

和/或，基于所述第二曝光图像确定输出图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一曝光图像，确定预览图像，包括：

根据当前帧图像中采用第一曝光方式得到的第一曝光图像，确定预览图像；

所述基于所述第二曝光图像确定输出图像，包括：

根据所述当前帧图像中采用第二曝光方式得到的第二曝光图像，以及基于所述当前帧向前取帧的至少一帧图像中采用第二曝光方式得到的第二曝光图像，确定输出图像。

4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述第二曝光方式的曝光时长采用如下方式确定：

响应于所述至少一帧图像中包括有移动对象，基于当前帧向前取帧的至少一帧图像，确定所述移动对象的第一移动量；

根据所述第一移动量，确定所述第二曝光方式的曝光时长。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于图像采集过程中确定不存在发生频闪的光源，基于第三曝光方式连续采集至少一帧图像，所述至少一帧图像中的每一帧包括至少一幅采用第三曝光方式得到的第三曝光图像；

所述第三曝光方式的曝光时长采用如下方式确定：

基于当前帧向前取帧的至少一帧图像，确定图像采集对象的第二移动量；

根据所述第二移动量，确定所述第三曝光方式的曝光时长。

6.一种图像采集装置，其特征在于，所述装置包括：

获取模块，被配置为响应于图像采集过程中确定存在发生频闪的光源，获取所述光源的闪烁周期；

确定模块，被配置为基于所述闪烁周期确定第一曝光方式的曝光时长，并基于所述第一曝光方式的曝光时长确定第二曝光方式的曝光时长；

采集模块，被配置为基于所述第一曝光方式和所述第二曝光方式，连续采集至少一帧图像，所述至少一帧图像中的每一帧包括采用第一曝光方式得到的第一曝光图像和采用第二曝光方式得到的第二曝光图像；

其中，所述第一曝光方式的曝光时长大于所述第二曝光方式的曝光时长，且所述第一曝光方式的曝光时长为所述闪烁周期的整数倍。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

处理模块，被配置为基于所述第一曝光图像，确定预览图像；

和/或，基于所述第二曝光图像确定输出图像。

8.根据权利要求7所述的装置，其特征在于，所述基于所述第一曝光图像，确定预览图像，包括：

根据当前帧图像中采用第一曝光方式得到的第一曝光图像，确定预览图像；

所述基于所述第二曝光图像确定输出图像，包括：

根据所述当前帧图像中采用第二曝光方式得到的第二曝光图像，以及基于所述当前帧向前取帧的至少一帧图像中采用第二曝光方式得到的第二曝光图像，确定输出图像。

9.根据权利要求6-8中任一项所述的装置，其特征在于，所述第二曝光方式的曝光时长采用如下方式确定：

响应于所述至少一帧图像中包括有移动对象，基于当前帧向前取帧的至少一帧图像，确定所述移动对象的第一移动量；

根据所述第一移动量，确定所述第二曝光方式的曝光时长。

10.根据权利要求6所述的装置，其特征在于，所述采集模块还被配置为：

响应于图像采集过程中确定不存在发生频闪的光源，基于第三曝光方式连续采集至少一帧图像，所述至少一帧图像中的每一帧包括至少一幅采用第三曝光方式得到的第三曝光图像；

所述第三曝光方式的曝光时长采用如下方式确定：

基于当前帧向前取帧的至少一帧图像，确定图像采集对象的第二移动量；

根据所述第二移动量，确定所述第三曝光方式的曝光时长。

11.一种图像采集装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1至5中任意一项所述的图像采集方法。

12.一种存储介质，其特征在于，所述存储介质中存储有指令，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行权利要求1至5中任意一项所述的图像采集方法。