CN107404362A - 一种双摄像头数据帧的同步方法及装置 - Google Patents

Abstract

本发明揭示了一种双摄像头数据帧的同步方法及装置，该方法包括：分别获取主摄像头传感器捕获的预览帧及接收所述预览帧时的时间戳、副摄像头传感器捕获的预设数量的目标帧及接收各所述目标帧时的时间戳；再分别计算该预览帧和各个目标帧的时间戳之差，进而将时间戳之差最小的一个目标帧与该预览帧进行同步处理。由于在预设数量的由副摄像头传感器捕获的目标帧中，找出与由主摄像头传感器捕获的预览帧的时间最接近的一个目标帧，再同步该预览帧与该目标帧，从而提高单摄平台中双摄像头的数据帧同步性能。

Description

一种双摄像头数据帧的同步方法及装置

技术领域

本发明涉及通信技术领域，特别涉及一种双摄像头数据帧的同步方法及装置。

背景技术

当前，越来越多的移动终端使用双摄像头，以满足用户对拍照效果的高需求。双摄像头的应用多种多样，常见的有三种：一种是通过一个彩色和一个黑白的CMOS（Complementary Metal Oxide Semiconductor，互补金属氧化物半导体）的配置来提升低照度的效果；一种是通过使用两个按一定摆放方式的摄像头同时抓取目标物体的景深信息，来实现大光圈功能；一种是通过具有FOV（Field Of View，视场角）大小不同的双摄像头的方式实现光学变焦镜头的效果。

应用双摄像头的移动终端对平台端的要求是：采用双路ISP（Image SignalProcessing，图像信号处理器）配合，来实现更好的拍照效果。如以暗光增强为例，彩色/黑白图像分别进入各自的ISP通道和校准通道；然后将两副图片做匹配（如将两幅图片相同的部分提取出来）；再通过遮挡、检测、补偿等算法来处理相关的图片；最后将两幅图片融合以实现颜色的增强。这样为保证两路ISP同时取样，就需要双摄像头拍出来的图片是同一时间拍出来的。

然而，目前双摄像头一般应用于单摄平台或双摄平台中：单摄平台，仅对单个camera sensor（摄像头传感器）捕获的数据帧进行3A处理，才能得到对焦清晰、色彩准确的取景图片；双摄平台，同步对两个camera sensor捕获的数据帧进行3A处理，处理后两个数据帧的曝光值一致，对焦点都在相同区域。所谓3A处理，是指自动对焦(AF)、自动曝光(AE)以及自动白平衡(AWB)。其中：AF利用物理光反射原理，摄像头传感器接收反射的光，再通过处理器带动电动对焦装置继续对焦；AE是摄像头通过光线的强弱自动调整光量，防止曝光过度或者不足；AWB是一个纠正画面整体偏色的过程，目的是调整色温，使颜色与肉眼所看到的一样。

由于上述单摄平台仅对单个camera sensor捕获的数据帧进行3A处理，也即单摄平台处理两个camera sensor的数据帧是相互独立的，导致双摄像头应用于单摄平台时，双摄像头捕获的数据帧同步性能差。如：若两数据帧的时间差越大，则两个camera sensor的数据帧的取景差异就会越大（尤其拍摄运动物体时），而两个camera sensor的取景差异会导致景深计算错误，无法准确实现大光圈效果。

发明内容

为了解决相关技术中由于单摄平台对两个camera sensor捕获的数据帧独立进行3A处理而导致双摄像头捕获的数据帧同步性能差的问题，本发明提供了一种双摄像头数据帧的同步方法及装置。

一方面，本发明提供了一种双摄像头数据帧的同步方法，所述方法应用于单摄平台中，所述方法包括：

获取主摄像头传感器捕获的预览帧，以及接收所述预览帧时的时间戳；

获取副摄像头传感器捕获的预设数量的目标帧，以及接收各所述目标帧时的时间戳；

分别计算所述预览帧与各所述目标帧的时间戳之差，并将所述时间戳之差最小的一个目标帧与所述预览帧进行同步。

另一方面，本发明还提供了一种双摄像头数据帧的同步装置，所述装置应用于单摄平台中，所述装置包括：

第一获取模块，用于获取主摄像头传感器捕获的预览帧，以及接收所述预览帧时的时间戳；

第二获取模块，用于获取副摄像头传感器捕获的预设数量的目标帧，以及接收各所述目标帧时的时间戳；

同步模块，用于分别计算所述预览帧与各所述目标帧的时间戳之差，并将所述时间戳之差最小的一个目标帧与所述预览帧进行同步。

本发明实施例提供的技术方案可以包括以下有益效果：

本发明提供的双摄像头数据帧的同步方法及装置，通过分别获取主摄像头传感器捕获的预览帧及接收该预览帧时的时间戳、副摄像头传感器捕获的预设数量的目标帧及接收各个目标帧时的时间戳；再分别计算该预览帧和各个目标帧的时间戳之差，进而将时间戳之差最小的一个目标帧与该预览帧进行同步处理。由于在预设数量的由副摄像头传感器捕获的目标帧中，找出与由主摄像头传感器捕获的预览帧的时间最接近的一个目标帧，再同步该预览帧与该目标帧，从而提高单摄平台中双摄像头的数据帧同步性能。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的双摄像头数据帧的同步方法的流程图；

图2是选取目标帧的详细流程图；

图3是根据一示例性实施例示出的双摄像头数据帧的同步装置的框图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在移动终端的拍照处理中，ISP主要用来对前端摄像头传感器输出的信号进行后期处理，有线性纠正、噪声去除、坏点去除、内插、自平衡、总动曝光控制等功能，摄像头需凭借ISP才能在不同光学的条件下较好的还原拍摄场景细节，所以ISP在很大程度上决定了摄像头的成像画质。而双摄像头应用实现更好拍照效果时，为保证两路ISP同时取样，就需对双摄像头传感器捕获的数据帧进行同步处理。

发明人经过研究发现，双摄平台中添加了对两数据帧的3A同步流程，而单摄平台中两数据帧的3A处理是相互独立的，导致单摄平台中双摄像头传感器捕获的数据帧同步性能差。另外，主、副摄像头传感器捕获的两数据帧是通过不同的线程同时往上传，但由于各线程的优先级不同以及其他因素，导致移动终端操作***硬件抽象层获取的两数据帧的时间有先后。以实现大光圈效果为例，如果两数据帧的时间差大于一帧的时间（30ms），则使得两数据帧不同步，进而景深计算错误导致无法实现大光圈效果。

因此，发明人提出：从硬件抽象层接收的由副摄像头传感器捕获的多个目标帧中，找出与主摄像头传感器捕获的预览帧的时间最接近的一个目标帧，再同步该预览帧与该目标帧，从而提高单摄平台中双摄像头的数据帧同步性能。

图1是根据一示例性实施例示出的一种双摄像头数据帧的同步方法的流程图。如图1所示，该方法应用于采用单摄平台的移动终端中，该单摄平台中主副摄像头传感器捕获的两数据帧的3A处理过程是相互独立的，该方法可以包括以下步骤。

在步骤S11中，获取主摄像头传感器捕获的预览帧，以及接收该预览帧时的时间戳；

在步骤S12中，获取副摄像头传感器捕获的预设数量的目标帧，以及接收各目标帧时的时间戳；

在步骤S13中，分别计算该预览帧与各目标帧的时间戳之差，并将时间戳之差最小的一个目标帧与该预览帧进行同步。

示例性的，图2是选取目标帧的详细流程图。如图2所示，移动终端上的相机开启后，分别打开主摄像头和副摄像头，获取由主摄像头传感器捕获的一个预览帧、以及由副摄像头传感器捕获的5个目标帧，这5个目标帧形成副摄像头帧队列；然后分别将该预览帧和副摄像头帧队列中的5个目标帧通过不同线程同时上传至移动终端操作***的硬件抽象层，提取硬件抽象层接收该预览帧时的时间戳、以及接收各个目标帧时的时间戳；再分别计算该预览帧和各个目标帧的时间戳之差，并选出时间戳之差最小的一个目标帧；进而根据camera sensor的FOV来计算取景区域的不同并裁剪，以确保两个camera sensor的取景差异变小；最后将时间戳最接近、并裁剪过的该目标帧与该预览帧进行同步处理。

例如：计算出上述预览帧与各个目标帧的时间戳之差分别是12ms、10ms、9ms、14ms、11ms，则将时间戳之差为9ms的该目标帧和该预览帧同时交给双摄算法进一步处理。需要说明的是，为提高两数据帧的同步性能以及景深数据的准确性，上述时间戳之差最小为不大于10ms。

本发明上述示例性实施例提供的双摄像头数据帧的同步方法，通过分别获取主摄像头传感器捕获的预览帧及接收该预览帧时的时间戳、副摄像头传感器捕获的预设数量的目标帧及接收各个目标帧时的时间戳；再分别计算该预览帧和各个目标帧的时间戳之差，进而将时间戳之差最小的一个目标帧与该预览帧进行同步处理。由于在预设数量的由副摄像头传感器捕获的目标帧中，找出与由主摄像头传感器捕获的预览帧的时间最接近的一个目标帧，再同步该预览帧与该目标帧，从而提高单摄平台中双摄像头的数据帧同步性能。

下述为本发明装置实施例，可以用于执行本发明上述双摄像头数据帧的同步方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明上述双摄像头数据帧的同步方法实施例。

图3是根据一示例性实施例示出的一种双摄像头数据帧的同步装置的框图，该装置应用于采用单摄平台的移动终端中，执行图1和图2所示的双摄像头数据帧的同步方法的全部或者部分步骤，从而能够提高单摄平台中双摄像头的数据帧同步性能。如图3所示，该装置包括但不限于：第一获取模块21、第二获取模块22以及同步模块23。

第一获取模块21，用于获取主摄像头传感器捕获的预览帧，以及接收该预览帧时的时间戳；

第二获取模块22，用于获取副摄像头传感器捕获的预设数量的目标帧，以及接收各个目标帧时的时间戳；

同步模块23，用于分别计算该预览帧与各个目标帧的时间戳之差，并将时间戳之差最小的一个目标帧与该预览帧进行同步。

本发明还提供一种移动终端，该移动终端采用单摄平台，且执行图1或图2所示的双摄像头数据帧的同步方法的全部或者部分步骤，该移动终端包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，处理器被配置为：

获取主摄像头传感器捕获的预览帧，以及接收该预览帧时的时间戳；

获取副摄像头传感器捕获的预设数量的目标帧，以及接收各目标帧时的时间戳；

分别计算该预览帧与各目标帧的时间戳之差，并将时间戳之差最小的一个目标帧与该预览帧进行同步。

上述装置中各个模块或单元的功能和作用的实现过程具体详见双摄像头数据帧的同步方法中对应步骤的实现过程，在此不再赘述。可以理解，这些模块可以通过硬件、软件、或二者结合来实现。当以硬件方式实现时，这些模块可以实施为一个或多个硬件模块，例如一个或多个专用集成电路。当以软件方式实现时，这些模块可以实施为在一个或多个处理器上执行的一个或多个计算机程序。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (5)

1.一种双摄像头数据帧的同步方法，所述方法应用于单摄平台中，其特征在于，所述方法包括：

获取主摄像头传感器捕获的预览帧，以及接收所述预览帧时的时间戳；

获取副摄像头传感器捕获的预设数量的目标帧，以及接收各所述目标帧时的时间戳；

分别计算所述预览帧与各所述目标帧的时间戳之差，并将所述时间戳之差最小的一个目标帧与所述预览帧进行同步。

2.根据权利要求1所述的方法，其特征在于，所述时间戳之差最小为不大于10ms。

3.一种双摄像头数据帧的同步装置，所述装置应用于单摄平台中，其特征在于，所述装置包括：

第一获取模块，用于获取主摄像头传感器捕获的预览帧，以及接收所述预览帧时的时间戳；

第二获取模块，用于获取副摄像头传感器捕获的预设数量的目标帧，以及接收各所述目标帧时的时间戳；

同步模块，用于分别计算所述预览帧与各所述目标帧的时间戳之差，并将所述时间戳之差最小的一个目标帧与所述预览帧进行同步。

4.根据权利要求3所述的装置，其特征在于，所述时间戳之差最小为不大于10ms。

5.一种移动终端，其特征在于，所述移动终端采用单摄平台，所述移动终端包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行如权利要求1或2所述的一种双摄像头数据帧的同步方法。