CN116761074B - 光学防抖模组、光学防抖方法及电子设备 - Google Patents

光学防抖模组、光学防抖方法及电子设备 Download PDF

Info

Publication number
CN116761074B
CN116761074B CN202211332472.8A CN202211332472A CN116761074B CN 116761074 B CN116761074 B CN 116761074B CN 202211332472 A CN202211332472 A CN 202211332472A CN 116761074 B CN116761074 B CN 116761074B
Authority
CN
China
Prior art keywords
shake
optical anti
chip
data
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211332472.8A
Other languages
English (en)
Other versions
CN116761074A (zh
Inventor
李子荣
石坚
虞大鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202211332472.8A priority Critical patent/CN116761074B/zh
Publication of CN116761074A publication Critical patent/CN116761074A/zh
Application granted granted Critical
Publication of CN116761074B publication Critical patent/CN116761074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本申请实施例提供一种光学防抖模组、光学防抖方法及电子设备,应用于电子技术领域。该光学防抖模组包括一个光学防抖芯片和至少两个摄像头模组,光学防抖芯片与每个摄像头模组均连接,光学防抖芯片根据惯性传感器采集到的抖动数据,计算每个摄像头模组的抖动补偿数据,并将抖动补偿数据发送至摄像头模组中的马达驱动芯片,马达驱动芯片根据抖动补偿数据生成驱动信号,以使驱动马达带动镜头组件或感光组件进行移动。因此,本申请实施例中的至少两个摄像头模组共用同一光学防抖芯片,该光学防抖芯片计算每个摄像头模组的抖动补偿数据,同步驱动各个摄像头模组进行光学防抖,降低同一时刻各个摄像头模组采集到的图像之间的位移,从而提高拍摄体验。

Description

光学防抖模组、光学防抖方法及电子设备
技术领域
本申请涉及电子技术领域,尤其涉及一种光学防抖模组、光学防抖方法及电子设备。
背景技术
随着电子技术的不断发展,手机、平板电脑等电子设备成为人们日常生活和工作中较为常见的工具。目前,一些电子设备上设置有摄像头模组,基于摄像头模组为用户提供拍照或录像功能。
用户在手持电子设备进行拍摄时,电子设备会出现一定程度的抖动,导致拍摄得到的画面出现成像模糊的问题,与此同时,用户对于电子设备的拍摄质量的要求也在不断提高。因此,一些电子设备可采用光学防抖(optical image stabilization,OIS)技术进行防抖处理,以提高拍摄得到的画面的成像清晰度。
但是,当电子设备中存在至少两个摄像头模组时,至少两个摄像头模组在开启光学防抖功能进行图像采集时,会导致采集到的图像之间存在位移,进而影响拍摄体验。
发明内容
本申请实施例提供一种光学防抖模组、光学防抖方法及电子设备,采用同一光学防抖芯片计算每个摄像头模组的抖动补偿数据,同步驱动各个摄像头模组进行光学防抖,降低各个摄像头模组采集到的图像之间的位移,从而提高拍摄体验。
第一方面,本申请实施例提出一种光学防抖模组,包括:一个光学防抖芯片和至少两个摄像头模组,光学防抖芯片分别与惯性传感器以及每个摄像头模组连接,每个摄像头模组包括镜头组件、感光组件、马达驱动芯片和驱动马达;光学防抖芯片用于根据惯性传感器采集到的抖动数据,计算每个摄像头模组的抖动补偿数据,并将抖动补偿数据发送至对应的摄像头模组中的马达驱动芯片;惯性传感器包括陀螺仪传感器和/或加速度传感器;马达驱动芯片用于根据抖动补偿数据生成驱动信号,以使驱动马达根据驱动信号带动镜头组件或感光组件进行移动。
这样,本申请实施例中的至少两个摄像头模组共用同一光学防抖芯片,该光学防抖芯片计算每个摄像头模组的抖动补偿数据,同步并行驱动各个摄像头模组进行光学防抖,降低同一时刻各个摄像头模组中的镜头组件已经移动的补偿位移之间的差异,相应的,也就降低了同一时刻各个摄像头模组采集到的图像之间的位移,从而提高拍摄体验。
在一种可能的实现方式中,惯性传感器包括陀螺仪传感器和加速度传感器,抖动数据包括陀螺仪传感器采集到的角速度数据以及加速度传感器采集到的加速度数据;光学防抖芯片包括第一数据处理模块、第二数据处理模块、角度融合模块和参数转换模块。第一数据处理模块用于对角速度数据进行处理,得到第一抖动角度;第二数据处理模块用于对加速度数据进行处理,得到第二抖动角度;角度融合模块用于将第一抖动角度和第二抖动角度进行融合,得到目标抖动角度;参数转换模块用于将目标抖动角度转换为抖动补偿数据。这样,通过陀螺仪传感器采集到的角速度数据以及加速度传感器采集到的加速度数据,来共同计算抖动补偿数据,从而提高了抖动补偿数据的计算准确度。
在一种可能的实现方式中,惯性传感器包括陀螺仪传感器,抖动数据包括陀螺仪传感器采集到的角速度数据;光学防抖芯片包括第一数据处理模块和参数转换模块。第一数据处理模块用于对角速度数据进行处理,得到第一抖动角度;参数转换模块用于将第一抖动角度转换为抖动补偿数据。这样,通过陀螺仪传感器采集到的角速度数据来计算抖动补偿数据,从而降低了光学防抖芯片计算抖动补偿数据时的计算复杂度。
在一种可能的实现方式中,惯性传感器包括加速度传感器,抖动数据包括加速度传感器采集到的加速度数据;光学防抖芯片包括第二数据处理模块和参数转换模块。第二数据处理模块用于对加速度数据进行处理,得到第二抖动角度;参数转换模块用于将第二抖动角度转换为抖动补偿数据。这样,通过加速度传感器采集到的加速度数据来计算抖动补偿数据,从而降低了光学防抖芯片计算抖动补偿数据时的计算复杂度。
在一种可能的实现方式中,光学防抖芯片还包括位移校准模块;位移校准模块用于对抖动补偿数据进行校准。这样,通过对抖动补偿数据进行校准,可以提高驱动马达在驱动镜头组件或感光元件移动到所需位置时的准确性。
在一种可能的实现方式中,第一数据处理模块具体用于对角速度数据进行滤波处理,并对滤波处理后的角速度数据进行积分处理,得到第一抖动角度。这样,在第一抖动角度的计算过程中,对角速度数据进行滤波处理,可以去除干扰信号对角速度数据的影响,以提高第一抖动角度的计算精度。
在一种可能的实现方式中,第二数据处理模块具体用于对加速度数据进行滤波处理,并对滤波处理后的加速度数据进行积分处理,得到抖动位移;以及根据抖动位移计算得到第二抖动角度。这样,在第二抖动角度的计算过程中,对加速度数据进行滤波处理,可以去除干扰信号对加速度数据的影响,以提高第二抖动角度的计算精度。
在一种可能的实现方式中,角度融合模块具体用于采用卡尔曼滤波器对第一抖动角度和第二抖动角度进行融合,得到目标抖动角度。这样,可通过卡尔曼滤波器实现第一抖动角度和第二抖动角度的融合,从而提高计算得到的目标抖动角度的准确性。
在一种可能的实现方式中,参数转换模块具体用于将预设转换系数与目标抖动角度的乘积,确定为抖动补偿数据。这样,通过计算预设转换系数与目标抖动角度的乘积,可简单地计算出抖动补偿数据,其计算方式较为简单。
在一种可能的实现方式中,位移校准模块具体用于通过如下公式对抖动补偿数据进行校准:
Shift_x=a1sx 2+a2sy 2+a3sxsy+a4sx+a5sy+a6
Shift_y=b1sx 2+b2sy 2+b3sxsy+b4sx+b5sy+b6
其中,sx为第一方向上的抖动补偿数据,Shift_x为校准后的第一方向上的抖动补偿数据;sy为第二方向上的抖动补偿数据,Shift_y为校准后的第二方向上的抖动补偿数据;a1为第一标定系数,a2为第二标定系数,a3为第三标定系数,a4为第四标定系数,a5为第五标定系数,a6为第六标定系数,b1为第七标定系数,b2为第八标定系数,b3为第九标定系数,b4为第十标定系数,b5为第十一标定系数,b6为第十二标定系数。这样,通过预先标定的标定系数对抖动补偿数据进行校准,其校准方式较为简单,也可以提高驱动马达在驱动镜头组件或感光组件移动到所需位置时的准确性。
第二方面,本申请实施例提出一种光学防抖方法,应用于光学防抖模组,光学防抖模组包括一个光学防抖芯片和至少两个摄像头模组,光学防抖芯片分别与惯性传感器以及每个摄像头模组连接,每个摄像头模组包括镜头组件、感光组件、马达驱动芯片和驱动马达。该方法包括:在采用至少两个摄像头模组采集图像时,光学防抖芯片获取惯性传感器采集到的抖动数据;惯性传感器包括陀螺仪传感器和/或加速度传感器;光学防抖芯片根据抖动数据,计算每个摄像头模组的抖动补偿数据;光学防抖芯片将抖动补偿数据发送至对应的摄像头模组中的马达驱动芯片;马达驱动芯片根据抖动补偿数据生成驱动信号,以使驱动马达根据驱动信号带动镜头组件或感光组件进行移动。
在一种可能的实现方式中,惯性传感器包括陀螺仪传感器和加速度传感器,抖动数据包括陀螺仪传感器采集到的角速度数据以及加速度传感器采集到的加速度数据。光学防抖芯片根据抖动数据,计算每个摄像头模组的抖动补偿数据,包括:光学防抖芯片对角速度数据进行处理,得到第一抖动角度;光学防抖芯片对加速度数据进行处理,得到第二抖动角度;光学防抖芯片将第一抖动角度和第二抖动角度进行融合,得到目标抖动角度;光学防抖芯片将目标抖动角度转换为抖动补偿数据。
在一种可能的实现方式中,惯性传感器包括陀螺仪传感器,抖动数据包括陀螺仪传感器采集到的角速度数据。光学防抖芯片根据抖动数据,计算每个摄像头模组的抖动补偿数据,包括:光学防抖芯片对角速度数据进行处理,得到第一抖动角度;光学防抖芯片将第一抖动角度转换为抖动补偿数据。
在一种可能的实现方式中,惯性传感器包括加速度传感器,抖动数据包括加速度传感器采集到的加速度数据。光学防抖芯片根据抖动数据,计算每个摄像头模组的抖动补偿数据,包括:光学防抖芯片对加速度数据进行处理,得到第二抖动角度;光学防抖芯片将第二抖动角度转换为抖动补偿数据。
在一种可能的实现方式中,在光学防抖芯片根据抖动数据,计算每个摄像头模组的抖动补偿数据之后,还包括:光学防抖芯片对抖动补偿数据进行校准。
在一种可能的实现方式中,光学防抖芯片对角速度数据进行处理,得到第一抖动角度,包括:光学防抖芯片对角速度数据进行滤波处理;光学防抖芯片对滤波处理后的角速度数据进行积分处理,得到第一抖动角度。
在一种可能的实现方式中,光学防抖芯片对加速度数据进行处理,得到第二抖动角度,包括:光学防抖芯片对加速度数据进行滤波处理;光学防抖芯片对滤波处理后的加速度数据进行积分处理,得到抖动位移;光学防抖芯片根据抖动位移计算得到第二抖动角度。
在一种可能的实现方式中,光学防抖芯片将第一抖动角度和第二抖动角度进行融合,得到目标抖动角度,包括:光学防抖芯片采用卡尔曼滤波器对第一抖动角度和第二抖动角度进行融合,得到目标抖动角度。
在一种可能的实现方式中,光学防抖芯片将目标抖动角度转换为抖动补偿数据,包括:光学防抖芯片将预设转换系数与目标抖动角度的乘积,确定为抖动补偿数据。
在一种可能的实现方式中,光学防抖芯片对抖动补偿数据进行校准,包括:光学防抖芯片通过如下公式对抖动补偿数据进行校准:
Shift_x=a1sx 2+a2sy 2+a3sxsy+a4sx+a5sy+a6
Shift_y=b1sx 2+b2sy 2+b3sxsy+b4sx+b5sy+b6
其中,sx为第一方向上的抖动补偿数据,Shift_x为校准后的第一方向上的抖动补偿数据;sy为第二方向上的抖动补偿数据,Shift_y为校准后的第二方向上的抖动补偿数据;a1为第一标定系数,a2为第二标定系数,a3为第三标定系数,a4为第四标定系数,a5为第五标定系数,a6为第六标定系数,b1为第七标定系数,b2为第八标定系数,b3为第九标定系数,b4为第十标定系数,b5为第十一标定系数,b6为第十二标定系数。
第三方面,本申请实施例提出一种电子设备,包括惯性传感器、主控芯片以及上述的光学防抖模组,光学防抖模组中的摄像头模组还包括霍尔传感器。惯性传感器与光学防抖模组中的光学防抖芯片连接,用于向光学防抖芯片发送其采集到的抖动数据;霍尔传感器通过摄像头模组中的马达驱动芯片与光学防抖芯片连接,用于检测摄像头模组中的镜头组件或感光组件的位置信息,并通过马达驱动芯片将位置信息发送至光学防抖芯片;主控芯片与光学防抖芯片连接,用于接收光学防抖芯片发送的抖动补偿数据和位置信息,并根据抖动补偿数据和位置信息对摄像头模组采集到的图像进行电子防抖处理。
第二方面和第三方面各可能的实现方式,效果与第一方面以及第一方面的可能的设计中的效果类似,在此不再赘述。
附图说明
图1为相关技术提供的光学防抖模组的结构示意图;
图2为本申请实施例提供的一种光学防抖模组的结构示意图;
图3为本申请实施例提供的摄像头模组的结构示意图;
图4为本申请实施例提供的光学防抖的原理示意图;
图5为本申请实施例提供的光学防抖芯片包括的功能模块的示意图;
图6为本申请实施例提供的基于加速度数据积分得到的抖动位移,计算第二抖动角度的原理示意图;
图7为本申请实施例提供的转换系数与模糊度的曲线图;
图8为本申请实施例提供的对抖动补偿数据进行校准的示意图;
图9为本申请实施例提供的一种光学防抖方法的流程图。
具体实施方式
为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一芯片和第二芯片仅仅是为了区分不同的芯片,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
目前,在一些电子设备中设置有摄像头模组,在用户使用电子设备的过程中,可采用电子设备中的摄像头模组进行拍照或者录像等。
当用户手持电子设备进行拍摄时,手部在处于静止状态下也会发生一定程度的轻微抖动,或者,用户在处于运动状态下其手部也会发生抖动,手部的抖动会传递给手持的电子设备,从而使得电子设备发生一个或多个方向的抖动,进而导致拍摄得到的画面出现成像模糊的问题。
为了提高电子设备拍摄得到的画面的成像清晰度,一些电子设备可采用光学防抖技术进行防抖处理,以提高拍摄得到的画面的成像清晰度。
光学防抖技术是通过电子设备中的惯性传感器检测用户手部的抖动数据,并根据该抖动数据计算得到需要补偿的抖动补偿数据,然后根据抖动补偿数据驱动摄像头模组中的驱动马达来控制镜头组件或感光组件移动,以补偿抖动带来的影响,达到防抖的目的。
目前,为了满足用户对拍摄的不同需求,电子设备中的摄像头模组的数量逐渐增多。在一些电子设备中,可设置有至少两个摄像头模组。
在一些相关技术中,如图1所示,电子设备可包括N个摄像头模组,如摄像头模组1、摄像头模组2至摄像头模组N,此时的N可以为大于2的正整数。其中,每个摄像头模组均包括光学防抖芯片、驱动马达、镜头组件、感光元件(未示出)和霍尔传感器,光学防抖芯片与驱动马达和霍尔传感器电连接,驱动马达与镜头组件或感光元件传动连接。
图1是以惯性传感器包括陀螺仪传感器为例进行说明的,则惯性传感器采集到的抖动数据为角速度数据。
陀螺仪传感器与每个摄像头模组中的光学防抖芯片通过串行外设接口(serialperipheral interface,SPI)电连接,陀螺仪传感器可采集电子设备在使用过程中的角速度数据,并将角速度数据发送至每个摄像头模组中的光学防抖芯片。每个摄像头模组中的光学防抖芯片可根据该角速度数据分别计算抖动补偿数据,然后根据该抖动补偿数据生成相应的驱动信号,并将该驱动信号发送至驱动马达。驱动马达可根据该驱动信号带动镜头组件进行移动,以进行光学防抖。
可以理解的是,惯性传感器还可以仅包括加速度传感器,或者,惯性传感器还可以包括陀螺仪传感器和加速度传感器,或者,惯性传感器还可以是其他用于采集摄像头模组的抖动数据的传感器,本申请实施例对此不进行限定。另外,驱动马达也可以用于根据驱动信号带动镜头组件进行移动,以进行光学防抖。
在一些实施例中,霍尔传感器可用于实时检测镜头组件当前的位置信息,并将该位置信息发送给光学防抖芯片,以形成闭环控制,从而使得镜头组件可以准确移动到所需的位置。
此外,电子设备还包括主控芯片,该主控芯片与每个摄像头模组中的光学防抖芯片通过集成电路总线(inter-integrated circuit,I2C)接口电连接。光学防抖芯片可以将计算得到的抖动补偿数据和霍尔传感器发送的位置信息,通过I2C接口发送至主控芯片,主控芯片可根据抖动补偿数据和位置信息对摄像头模组采集到的图像进行电子防抖处理。
但是,图1所示的方式存在以下两个方面的问题:
第一方面,由于每个摄像头模组中都包含一个光学防抖芯片,且每个光学防抖芯片独立进行数据处理和控制。因此,各个摄像头模组中的光学防抖芯片在根据惯性传感器采集到的抖动数据计算抖动补偿数据时,其计算速度可能存在差异,使得各个摄像头模组中的光学防抖芯片在向与其连接的驱动马达发送驱动信号的时间不同步,则同一时刻各个摄像头模组中的镜头组件已经移动的补偿位移不一致,从而使得同一时刻各个摄像头模组采集到的图像存在一定的位移。
这样,当同一时刻各个摄像头模组采集到的图像存在一定的位移时,会影响用户的拍摄体验。例如,若同一时刻各个摄像头模组采集到的图像存在一定的位移,在切换摄像头模组进行图像采集时,会导致切换后采集的图像相对于切换前采集到图像发生画面跳变等现象。并且,在采用多个摄像头模组进行图像采集的场景中,如多摄大光圈融合场景中,由于上述不同步导致的各个摄像头模组采集到的图像存在位移,若对多个摄像头模组进行光学防抖,其会导致在依据抖动补偿数据计算深度信息时,计算得到的深度信息会出现错误。
第二方面,由于每个摄像头模组中的光学防抖芯片,均需要通过一个SPI接口与陀螺仪传感器连接,若电子设备包括N个摄像头模组,则共需要N个光学防抖芯片,也共需要N个SPI接口。因此,会导致电子设备中的SPI接口的数量较多,每个光学防抖芯片在从陀螺仪传感器中获取抖动数据时,也会导致功耗增加。
基于此,本申请实施例提供一种光学防抖模组,其包括一个光学防抖芯片和至少两个摄像头模组,光学防抖芯片分别与惯性传感器以及每个摄像头模组连接。光学防抖芯片根据惯性传感器采集到的抖动数据,计算每个摄像头模组的抖动补偿数据,并将抖动补偿数据发送至对应的摄像头模组中的马达驱动芯片;马达驱动芯片根据抖动补偿数据生成驱动信号,以使驱动马达根据驱动信号带动镜头组件或感光组件进行移动。因此,本申请实施例中的至少两个摄像头模组共用同一光学防抖芯片,该光学防抖芯片计算每个摄像头模组的抖动补偿数据,使得在计算各个摄像头模组的抖动补偿数据时的计算速度之间的差异很小,则各个摄像头模组中的马达驱动芯片在向与其连接的驱动马达发送驱动信号的时间之间的差异很小,从而实现同步并行驱动各个摄像头模组进行光学防抖,降低同一时刻各个摄像头模组中的镜头组件已经移动的补偿位移之间的差异,相应的,也就降低了同一时刻各个摄像头模组采集到的图像之间的位移,从而提高拍摄体验。
例如,在切换摄像头模组进行图像采集时,由于本申请实施例降低了同一时刻各个摄像头模组采集到的图像之间的位移,则可以改善切换后采集的图像相对于切换前采集到图像发生画面跳变等现象。并且,在采用多个摄像头模组进行图像采集的场景中,如多摄大光圈融合场景中,由于本申请实施例降低了同一时刻各个摄像头模组采集到的图像之间的位移,若对多个摄像头模组进行光学防抖,则在依据抖动补偿数据计算深度信息时,可提高计算得到的深度信息的准确性。
并且,以惯性传感器包括陀螺仪传感器为例,由于本申请实施例中的至少两个摄像头模组共用同一光学防抖芯片,则该光学防抖芯片仅需要一个SPI接口与陀螺仪传感器连接,从而降低了电子设备中的SPI接口的数量,且该光学防抖芯片在从陀螺仪传感器中获取抖动数据时,其功耗也得到降低。
此外,图1所示的方案中,霍尔传感器是将采集到的位置信息发送给摄像头模组中的光学防抖芯片,摄像头模组中的光学防抖芯片再将位置信息发送给主控芯片,导致主控芯片每次从摄像头模组中的光学防抖芯片获取的位置信息的数据量较小,从而使得霍尔传感器的采样率较低。而本申请实施例中,霍尔传感器是将采集到的位置信息通过马达驱动芯片发送给光学防抖芯片,未位于摄像头模组内的光学防抖芯片再将位置信息发送给主控芯片,导致主控芯片每次从光学防抖芯片获取的位置信息的数据量较大,从而使得霍尔传感器的采样率较高,这样,也就使得主控芯片在依据霍尔传感器采集到的位置信息进行电子防抖时,图像的防抖精度得到提高。
本申请实施例提供的光学防抖模组可以应用在电子设备中,该电子设备可以为手机、平板电脑、可穿戴设备(如手表、手环等)、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、相机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digitalassistant,PDA)等电子设备上。本申请实施例对电子设备所采用的具体技术和具体设备形态不做限定。
示例性的,图2为本申请实施例提供的一种光学防抖模组的结构示意图。参照图2所示,该光学防抖模组包括一个光学防抖芯片和至少两个摄像头模组,光学防抖芯片分别与惯性传感器以及每个摄像头模组连接。
如图2所示,光学防抖模组包括有N个摄像头模组,其分别为摄像头模组1、摄像头模组2至摄像头模组N,此时的N可以为大于2的正整数。
例如,本申请实施例中的光学防抖模组可以包括两个摄像头模组、三个摄像头模组或四个摄像头模组等,本申请实施例对摄像头模组的具体数量不进行限定,只要摄像头模组的数量大于1个即可。
并且,光学防抖模组中的各个摄像头模组的类型可以相同也可以不同。例如,光学防抖模组包括三个摄像头模组,第一个摄像头模组为普通摄像头模组,第二个摄像头模组为广角摄像头模组,第三个摄像头模组为长焦摄像头模组等。
其中,每个摄像头模组均包括镜头组件、感光元件(未在图2中示出)、马达驱动芯片和驱动马达,马达驱动芯片与驱动马达电连接,驱动马达与镜头组件或感光元件传动连接。
如图3所示,镜头组件101位于感光元件102的感光面所在的一侧,其包括多个光学镜片,且多个光学镜片沿光轴方向层叠设置。
感光元件102固定在电路板105上,且与电路板105电连接。感光元件102也可以称为图像传感器,其可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。被摄物体反射的光线经过镜头组件101后投射到感光元件102上,感光元件102将光信号转换为电信号以进行成像。
驱动马达103可以为音圈马达(voice coil motor,VCM),其设置在支架104上。当驱动马达103通以电流时,会带动永磁体沿着水平面进行移动,进而带动镜头组件101沿水平面内移动,该水平面可以理解为垂直于光轴方向的平面。
可以理解的是,在图3所示的摄像头模组中,驱动马达103是带动镜头组件101进行移动以实现光学防抖。当然,另一些摄像头模组中,也可以设置用于带动感光元件102进行移动的驱动马达,使得驱动马达带动感光元件102进行移动以实现光学防抖。
光学防抖芯片具体与每个摄像头模组中的马达驱动芯片电连接。例如,光学防抖芯片与每个摄像头模组中的马达驱动芯片通过I2C接口电连接。
此外,光学防抖芯片还与惯性传感器电连接,例如,惯性传感器可以通过SPI接口与光学防抖芯片电连接。惯性传感器可检测电子设备的抖动数据,并将抖动数据发送至光学防抖芯片。其中,惯性传感器包括陀螺仪传感器和加速度传感器中的一者或两者的组合,即惯性传感器包括陀螺仪传感器和/或加速度传感器。
当惯性传感器包括陀螺仪传感器时,抖动数据包括陀螺仪传感器采集到的角速度数据,且陀螺仪传感器与光学防抖芯片通过一个SPI接口电连接。当惯性传感器包括加速度传感器,抖动数据包括加速度传感器采集到的加速度数据,且加速度传感器与光学防抖芯片通过一个SPI接口电连接。当惯性传感器包括陀螺仪传感器和加速度传感器时,抖动数据包括陀螺仪传感器采集到的角速度数据和加速度传感器采集到的加速度数据,且陀螺仪传感器与光学防抖芯片通过一个SPI接口电连接,加速度传感器与光学防抖芯片也通过一个SPI接口电连接。
角速度数据指的是电子设备在单位时间内转过的角度以及转动的方向,当角速度数据越大时,表示电子设备转动的角度越大,则电子设备的抖动越大。角速度数据指的是电子设备在单位时间内速度变化快慢的物理量,当角速度数据越大时,表示电子设备在单位时间内速度变化的越快,则电子设备的抖动越大。
光学防抖芯片用于根据惯性传感器采集到的抖动数据,计算每个摄像头模组的抖动补偿数据,并将抖动补偿数据发送至对应的摄像头模组中的马达驱动芯片;马达驱动芯片用于根据抖动补偿数据生成驱动信号,以使驱动马达根据驱动信号带动镜头组件或感光组件进行移动。
例如,光学防抖芯片可同步计算得到摄像头模组1的抖动补偿数据、摄像头模组2的抖动补偿数据,直至摄像头模组N的抖动补偿数据。光学防抖芯片将摄像头模组1的抖动补偿数据发送至摄像头模组1中的马达驱动芯片,摄像头模组1中的马达驱动芯片根据摄像头模组1的抖动补偿数据生成驱动信号,使得摄像头模组1中的驱动马达带动摄像头模组1中的镜头组件或感光组件进行移动。相应的,光学防抖芯片将摄像头模组2的抖动补偿数据发送至摄像头模组2中的马达驱动芯片,摄像头模组2中的马达驱动芯片根据摄像头模组2的抖动补偿数据生成驱动信号,使得摄像头模组2中的驱动马达带动摄像头模组2中的镜头组件或感光组件进行移动。以此类推,光学防抖芯片将摄像头模组N的抖动补偿数据发送至摄像头模组N中的马达驱动芯片,摄像头模组N中的马达驱动芯片根据摄像头模组N的抖动补偿数据生成驱动信号,使得摄像头模组N中的驱动马达带动摄像头模组N中的镜头组件或感光组件进行移动。
由于本申请实施例中的N个摄像头模组共用同一光学防抖芯片,且该光学防抖芯片可计算每个摄像头模组的抖动补偿数据,则可以同步并行地将各个摄像头模组的抖动补偿数据发送至其对应的马达驱动芯片,降低同一时刻各个摄像头模组中的镜头组件或感光元件已经移动的补偿位移之间的差异,相应的,也就降低了同一时刻各个摄像头模组采集到的图像之间的位移,从而提高拍摄体验。
在实际使用过程中,当用户手持电子设备进行图像采集时,会使得电子设备发生一定程度的抖动,在抖动前和抖动后,镜头组件101和感光元件102的位置会发生偏移,使得抖动前摄像头模组与被摄物体之间的相对位置,与抖动后摄像头模组与被摄物体之间的相对位置发生变化,即被摄物体反射的光线经过镜头组件101后成像在感光元件102的位置发生偏离。
如图4所示,以抖动前和抖动后被摄物体的位置发生变化,且抖动前和抖动后镜头组件101和感光元件102的位置未发生变化为例,来间接表示抖动前和抖动后镜头组件101和感光元件102的位置发生偏移(被摄物体的位置未发生变化)。401a表示抖动前的被摄物体,401b表示抖动后的被摄物体,101a表示进行光学防抖前的镜头组件,101b表示进行光学防抖后的镜头组件。
本申请实施例中的光学防抖芯片可根据惯性传感器采集到的抖动数据,计算得到每个摄像头模组的抖动补偿数据,并将抖动补偿数据发送至对应的摄像头模组中的马达驱动芯片,马达驱动芯片根据抖动补偿数据生成驱动信号,使得驱动马达根据驱动信号进行工作,以带动镜头组件在X方向和/或Y方向上进行移动,以进行光学防抖。X方向和Y方向所组成的平面为上述的水平面。
例如,如图4所示,可以通过驱动马达将镜头组件沿Y方向移动一定的补偿位移y,以进行光学防抖。
需要说明的是,图1所示的相关技术中光学防抖芯片不仅可以根据惯性传感器采集到的抖动数据计算得到抖动补偿数据,其还可以根据抖动补偿数据生成相应的驱动信号并发送给驱动马达。而图2所示的本申请实施例中的各个摄像头模组共用的光学防抖芯片,仅可以同步计算每个摄像头模组的抖动补偿数据,每个摄像头模组中的马达驱动芯片再根据该抖动补偿数据生成相应的驱动信号。
下面结合光学防抖芯片包括的功能模块,来详细说明光学防抖芯片如何根据惯性传感器采集到的抖动数据来计算得到抖动补偿数据。
如图5所示,惯性传感器包括陀螺仪传感器和加速度传感器,且抖动数据包括陀螺仪传感器采集到的角速度数据以及加速度传感器采集到的加速度数据。光学防抖芯片包括第一数据处理模块、第二数据处理模块、角度融合模块、参数转换模块和位移校准模块。
其中,第一数据处理模块用于对角速度数据进行处理,得到第一抖动角度;第二数据处理模块用于对加速度数据进行处理,得到第二抖动角度;角度融合模块用于将第一抖动角度和第二抖动角度进行融合,得到目标抖动角度;参数转换模块用于将目标抖动角度转换为抖动补偿数据。位移校准模块用于对抖动补偿数据进行校准。
陀螺仪传感器采集到的角速度数据可以通过SPI接口发送给光学防抖芯片,光学防抖芯片中的第一数据处理模块在获取到角速度数据之后,第一数据处理模块具体用于对角速度数据进行滤波处理,并对滤波处理后的角速度数据进行积分处理,得到第一抖动角度。
需要说明的是,当陀螺仪传感器在没有任何转动的情况下,陀螺仪传感器的输出结果为陀螺仪传感器在静态下的零偏。理想条件下,陀螺仪传感器保持静置,此时陀螺仪传感器输出的真实角速度数据应该为0,所以,将转动实验下的静置时间段内,陀螺仪传感器的平均输出结果作为陀螺仪传感器的零偏。在实际使用过程中,若摄像头模组采用光学防抖技术,在每次打开摄像头模组进行图像采集时,先按照预先测量得到的零偏对陀螺仪传感器进行去零漂。
在对陀螺仪传感器进行去零漂之后,第一数据处理模块对角速度数据进行高通滤波处理和低通滤波处理。
具体的,第一数据处理模块可采用如下的公式(1)对角速度数据进行高通滤波处理:
ωout1(k)=c1×(ωin(k)-ωin(k-1)+ωout1(k-1)) 公式(1)
其中,ωout1(k)表示对k时刻采集到的角速度数据进行高通滤波处理后的角速度数据,ωin(k)表示k时刻采集到的角速度数据,ωin(k-1)表示k-1时刻采集到的角速度数据,ωout1(k-1)表示对k-1时刻采集到的角速度数据进行高通滤波处理后的角速度数据。此外,TS表示角速度数据的采样周期,fH表示高通滤波的截止频率。
第一数据处理模块在对角速度数据进行高通滤波处理后,其可以采用如下的公式(2)对高通滤波处理后的角速度数据进行低通滤波处理:
ωout2(k)=(1-c2)×ωout2(k-1)+c2×ωout1(k) 公式(2)
其中,ωout2(k)表示对k时刻采集到的角速度数据进行高通和低通滤波处理后的角速度数据,ωout2(k-1)表示对k-1时刻采集到的角速度数据进行高通和低通滤波处理后的角速度数据,fL表示低通滤波的截止频率。
可以理解的是,第一数据处理模块在获取到角速度数据后,也可以先进行低通滤波处理再进行高通滤波处理,本申请实施例对低通滤波处理和高通滤波处理的先后顺序不进行限定。
第一数据处理模块在对角速度数据进行高通滤波处理和低通滤波处理之后,对滤波处理后的角速度数据进行积分处理,得到第一抖动角度。
因此,第一方向上的抖动变化量Δθx为:Δθx=∫ωxdt,则θgyro_x=θ0_x+Δθx。其中,ωx表示第一方向上经过高通和低通滤波处理后的角速度数据,θ0_x表示上一时刻(即k-1时刻)第一方向上的第一抖动角度,θgyro_x表示当前时刻(如k时刻)第一方向上的第一抖动角度。第一方向可以为水平面中的X方向。
相应的,第二方向上的抖动变化量Δθy为:Δθy=∫ωydt,则θgyro_y=θ0_y+Δθy。其中,ωy表示第二方向上经过高通和低通滤波处理后的角速度数据,θ0_y表示上一时刻(即k-1时刻)第二方向上的第一抖动角度,θgyro_y表示当前时刻(如k时刻)第二方向上的第一抖动角度。第二方向可以为水平面中的Y方向。
加速度传感器采集到的加速度数据也可以通过SPI接口发送给光学防抖芯片,光学防抖芯片中的第二数据处理模块在获取到加速度数据之后,第二数据处理模块具体用于对加速度数据进行滤波处理,并对滤波处理后的加速度数据进行积分处理,得到抖动位移;以及根据抖动位移计算得到第二抖动角度。
第二数据处理模块可以对加速度数据进行高通滤波处理和低通滤波处理。对加速度数据进行高通滤波处理的过程,可参照上述公式(1)示出的对角速度数据进行高通滤波处理的过程,其原理类似,在此不再赘述。相应的,对加速度数据进行低通滤波处理的过程,可参照上述公式(2)示出的对角速度数据进行低通滤波处理的过程,其原理类似,在此不再赘述。
第二数据处理模块在对加速度数据进行高通滤波处理和低通滤波处理之后,可以对滤波处理后的加速度数据进行两次积分处理,得到抖动位移。其中,抖动位移包括第一方向上的抖动位移、第二方向上的抖动位移,以及第三方向上的抖动位移。第三方向可以为Z方向,即光轴方向。
如图6所示,抖动位移矢量R在第一方向上的抖动位移为Rx,抖动位移矢量R在第二方向上的抖动位移为Ry,抖动位移矢量R在第三方向上的抖动位移为Rz。因此,可按照如下公式计算得到第二抖动角度。
第一方向上的第二抖动角度θacc_xz为:第二方向上的第二抖动角度θacc_yz为:/>
第一数据处理模块在处理得到第一抖动角度之后,将第一抖动角度传输给角度融合模块,第二数据处理模块在处理得到第二抖动角度之后,将第二抖动角度也传输给角度融合模块。角度融合模块具体用于采用卡尔曼滤波器对第一抖动角度和第二抖动角度进行融合,得到目标抖动角度。
在一种可能的实现方式中,角度融合模块可采用如下的步骤一至步骤四来计算得到目标抖动角度。
步骤一,以第一抖动角度和第二抖动角度,建立目标抖动角度的状态方程和测量方程:
上述公式(3)表示状态方程,其实际上是根据k-1时刻的最优预测角度值以及k时刻的角速度数据,预测得到k时刻的预测角度值。其中,表示k时刻预测得到的预测角度值,/>表示k-1时刻的最优预测角度值,即k-1时刻的目标抖动角度,ωk表示k时刻陀螺仪传感器采集到的角速度数据再经过滤波处理后的角速度数据,qk表示陀螺仪传感器的测量噪声,A表示状态转移矩阵,B表示输入控制矩阵,/>dt表示积分,因此,上述公式(3)中包含有k时刻陀螺仪传感器采集到的角速度数据经过处理后得到的第一抖动角度。
上述公式(4)表示测量方程。其中,yk表示k时刻加速度传感器采集到的加速度数据经过处理后得到的第二抖动角度,rk表示k时刻的加速度传感器的测量噪声,H表示测量矩阵,如H=[1 0]。
步骤二,按照如下的公式(5)计算的协方差:
/>
其中,表示/>对应的协方差,Pk-1是/>对应的协方差,AT表示A的转置矩阵,Q表示过程激励噪声协方差矩阵。
步骤三,按照如下的公式(6)计算k时刻的卡尔曼增益:
其中,Kk表示k时刻的卡尔曼增益,Rk表示观测噪声协方差噪声。
步骤四,按照如下的公式(7)计算k时刻的最优预测角度值:
其中,表示k时刻的最优预测角度值,即k时刻的目标抖动角度值。该步骤融合了k时刻的第一抖动角度和k时刻的第二抖动角度,来计算得到k时刻的最优预测角度值。
此时,已经计算得到k时刻的最优预测角度值,但是为了使得卡尔曼滤波器不断的运行下去直到找到最优的角度值,还需要按照如下的公式(8)更新k时刻的的协方差Pk
综上,可采用上述的步骤一至步骤四,使得角度融合模块采用卡尔曼滤波器对第一抖动角度和第二抖动角度进行融合,得到目标抖动角度。
可以理解的是,本申请实施例中的角度融合模块也可以采用其他方式对第一抖动角度和第二抖动角度进行融合,来计算得到目标抖动角度。例如,角度融合模块可以对第一抖动角度和第二抖动角度进行加权求和,计算得到目标抖动角度。
需要说明的是,第一数据处理模块采用相同的算法计算得到每个摄像头模组的第一抖动角度,且计算得到的各个摄像头模组对应的第一抖动角度一致;第二数据处理模块也采用相同的算法计算得到每个摄像头模组的第二抖动角度,且计算得到的各个摄像头模组对应的第二抖动角度一致;角度融合模块也采用相同的算法计算得到每个摄像头模组的目标抖动角度,且计算得到的各个摄像头模组对应的目标抖动角度也一致。
角度融合模块在计算得到目标抖动角度之后,可以将目标抖动角度传输给参数转换模块,参数切换模块具体用于将预设转换系数与目标抖动角度的乘积,确定为抖动补偿数据。其中,抖动补偿数据可以为抖动补偿位移。
摄像头模组在开启光学防抖后的像素差包括:第一方向上的像素差和第二方向上的像素差。
开启光学防抖后第一方向上的像素差可以参照下面的公式(9),开启光学防抖后第二方向上的像素差可以参照下面的公式(10):
δx=δθxdx=αθx×θxdx×sx 公式(9)
δy=δθydy=αθy×θydy×sy 公式(10)
其中,δx表示开启光学防抖后第一方向上的像素差,δθx表示未开启光学防抖时抖动引起的第一方向上的像素差,δdx表示开启光学防抖时对摄像头模组在第一方向上补偿的像素差,αθx表示第一方向上的目标抖动角度与像素之间的关系系数,θx表示第一方向上的目标抖动角度,αdx表示第一方向上的镜头组件或感光元件的移动位移与像素之间的关系系数,sx表示在光学防抖时镜头组件或感光元件在第一方向上移动的抖动补偿数据。
相应的,δy表示开启光学防抖后第二方向上的像素差,δθy表示未开启光学防抖时抖动引起的第二方向上的像素差,δdy表示开启光学防抖时对摄像头模组在第二方向上补偿的像素差,αθy表示第二方向上的目标抖动角度与像素之间的关系系数,θy表示第二方向上的目标抖动角度,αdy表示第二方向上的镜头组件或感光元件的移动位移与像素之间的关系系数,sy表示在光学防抖时镜头组件或感光元件在第二方向上移动的抖动补偿数据。
为了提高光学防抖性能,可以令δx等于0,则相应的,也可以令δy等于0,则/>其中,Wx是摄像头模组在制作时第一方向上标定的预设转换系数,Wy是摄像头模组在制作时第二方向上标定的预设转换系数。
不同的摄像头模组的预设转换系数可能不同。因此,本申请实施例可以预先测定得到各个摄像头模组的预设转换系数,使得参数切换模块可以根据预先标定的每个摄像头模组的预设转换系数,来分别计算每个摄像头模组的抖动补偿数据,使得每个摄像头模组可以达到最佳的防抖效果。
本申请实施例可以在摄像头模组的制作阶段,分别测试不同的转换系数对应的模糊度曲线。如图7所示,针对某一摄像头模组,可测试得到该摄像头模组在第一方向上的转换系数与模糊度的曲线(如图7中的虚线),以及在第二方向上的转换系数与模糊度的曲线(如图7中的实线),其横坐标表示转换系数W,纵坐标表示模糊度。可以在第一方向上的转换系数与模糊度的曲线中选取最小模糊度对应的转换系数,作为第一方向上的预设转换系数,以及在第二方向上的转换系数与模糊度的曲线中选取最小模糊度对应的转换系数,作为第二方向上的预设转换系数。
在一些实施例中,参数切换模块在计算得到抖动补偿数据s(其包括第一方向上的抖动补偿数据sx和第二方向上的抖动补偿数据sy)之后,可以将抖动补偿数据传输给位移校准模块,位移校准模块具体用于通过如下公式对抖动补偿数据进行校准:
Shift_x=a1sx 2+a2sy 2+a3sxsy+a4sx+a5sy+a6 公式(11)
Shift_y=b1sx 2+b2sy 2+b3sxsy+b4sx+b5sy+b6 公式(12)
其中,sx为第一方向上的抖动补偿数据,Shift_x为校准后的第一方向上的抖动补偿数据;sy为第二方向上的抖动补偿数据,Shift_y为校准后的第二方向上的抖动补偿数据;a1为第一标定系数,a2为第二标定系数,a3为第三标定系数,a4为第四标定系数,a5为第五标定系数,a6为第六标定系数,b1为第七标定系数,b2为第八标定系数,b3为第九标定系数,b4为第十标定系数,b5为第十一标定系数,b6为第十二标定系数。
需要说明的是,在摄像头模组的制作过程中,可预先标定摄像头模组对应的第一标定系数至第十二标定系数。不同的摄像头模组对应的第一标定系数至第十二标定系数可能不同。因此,本申请实施例可以根据预先标定的每个摄像头模组的第一标定系数至第十二标定系数,来分别对每个摄像头模组的抖动补偿数据进行校准,使得每个摄像头模组可以达到最佳的防抖效果。
以驱动马达带动镜头组件进行移动为例,若直接将参数切换模块计算得到的抖动补偿数据发送给马达驱动芯片,来控制驱动马达带动镜头组件进行移动,受到驱动马达本身的性能影响,驱动马达在驱动镜头组件沿其中一个方向上进行移动时,其会对镜头组件在另一方向上的移动造成干扰,从而影响镜头组件移动到所需位置时的准确性。例如,当驱动马达在驱动镜头组件沿第一方向进行移动时,驱动马达可能会对镜头组件沿第二方向上的移动造成干扰,如导致镜头组件在第二方向上的位置发生一定的偏离,则在驱动马达驱动镜头组件沿第一方向移动到所需位置后,再驱动镜头组件沿第二方向移动至所需位置时,会导致镜头组件最终沿第二方向移动后的位置偏离所需的位置。
因此,本申请实施例可以在光学防抖芯片中设置位移校准模块,位移校准模块可采用上述的公式(11)和公式(12)对抖动补偿数据进行校准,并将校准后的抖动补偿数据发送给马达驱动芯片,来控制驱动马达带动镜头组件进行移动。这样,可以提高驱动马达在驱动镜头组件移动到所需位置时的准确性。
如图8所示,虚线表示校准前的抖动补偿数据,实线表示校准后的抖动补偿数据,本申请实施例中的位移校准模块,可以将第一方向上的抖动补偿数据sx校准到Shift_x,也可以将第二方向上的抖动补偿数据sy校准到Shift_y。
位移校准模块在对每个摄像头模组对应的抖动补偿数据分别进行校准之后,可以将校准后的抖动补偿数据Shift(其包括Shift_x和Shift_y)通过I2C接口发送给对应的摄像头模组中的马达驱动芯片,使得每个摄像头模组中的马达驱动芯片根据各自对应的校准后的抖动补偿数据来生成驱动信号,以使驱动马达根据驱动信号带动镜头组件或感光组件进行移动,从而实现光学防抖。
在另一些实施例中,惯性传感器可以仅包括陀螺仪传感器,且抖动数据包括陀螺仪传感器采集到的角速度数据。因此,光学防抖芯片可以包括第一数据处理模块和参数转换模块,而不包括第二数据处理模块和角度融合模块。此时,光学防抖芯片还可以进一步包括位移校准模块。
其中,第一数据处理模块用于对角速度数据进行处理,得到第一抖动角度。第一数据处理模块的具体实现过程可以参照图5对应的描述,在此不再赘述。
第一数据处理模块在处理得到第一抖动角度之后,将第一抖动角度传输给参数转换模块,参数转换模块用于将第一抖动角度转换为抖动补偿数据。具体的,参数转换模块可以将预设转换系数与第一抖动角度的乘积,确定为抖动补偿数据。参数转换模块的具体实现过程可以参照图5对应的描述,在此不再赘述。
再一些实施例中,惯性传感器可以仅包括加速度传感器,且抖动数据包括加速度传感器采集到的加速度数据。因此,光学防抖芯片可以包括第二数据处理模块和参数转换模块,而不包括第一数据处理模块和角度融合模块。此时,光学防抖芯片还可以进一步包括位移校准模块。
其中,第二数据处理模块用于对加速度数据进行处理,得到第二抖动角度。第二数据处理模块的具体实现过程可以参照图5对应的描述,在此不再赘述。
第二数据处理模块在处理得到第二抖动角度之后,将第二抖动角度传输给参数转换模块,参数转换模块用于将第二抖动角度转换为抖动补偿数据。具体的,参数转换模块可以将预设转换系数与第二抖动角度的乘积,确定为抖动补偿数据。参数转换模块的具体实现过程可以参照图5对应的描述,在此不再赘述。
需要说明的是,当惯性传感器仅包括陀螺仪传感器时,光学防抖芯片也可以包括第一数据处理模块、第二数据处理模块、角度融合模块和参数转换模块,但是这种情况下,光学防抖芯片中的第二数据处理模块和角度融合模块不参与计算。当惯性传感器仅包括加速度传感器时,光学防抖芯片也可以包括第一数据处理模块、第二数据处理模块、角度融合模块和参数转换模块,但是这种情况下,光学防抖芯片中的第一数据处理模块和角度融合模块不参与计算。
此外,本申请实施例中的光学防抖芯片还可以包括场景分析模块;场景分析模块用于根据抖动数据识别摄像头模组的抖动场景,并根据抖动场景将惯性传感器的量程调至最小匹配量程。量程指的是全尺度量程(full-scale range,FSR)。
陀螺仪传感器是一个量程可控的传感器,其量程可以为:±250°/s、±500°/s、±1000°/s以及±2000°/s等。当陀螺仪传感器的量程为±250°/s时,其对应的灵敏度为131LSB/(°/s);当陀螺仪传感器的量程为±500°/s时,其对应的灵敏度为65.5LSB/(°/s);当陀螺仪传感器的量程为±1000°/s时,其对应的灵敏度为32.8LSB/(°/s);当陀螺仪传感器的量程为±2000°/s时,其对应的灵敏度为16.4LSB/(°/s)。
可以看出,当陀螺仪传感器选取的量程越小时,其对应的灵敏度越高,则使得角速度数据的读取精度越高;当陀螺仪传感器选取的量程越大时,其对应的灵敏度越低,则使得角速度数据的读取精度越低。
灵敏度(Sensitivity)是指某方法对单位浓度或单位量待测物质变化所致的响应量变化程度,它可以用仪器的响应量或其他指示量与对应的待测物质的浓度或量之比来描述。上述量程即为陀螺仪传感器在标称范围的两极限之差的值。
相应的,加速度传感器也是一个量程可控的传感器,其量程可以为:±2g、±4g、±8g以及±16g等,g表示重力加速度。当加速度传感器的量程为±2g时,其对应的灵敏度为16384LSB/g;当加速度传感器的量程为±4g时,其对应的灵敏度为8192LSB/g;当加速度传感器的量程为±8g时,其对应的灵敏度为4096LSB/g;当加速度传感器的量程为±16g,其对应的灵敏度为2048LSB/g。
可以看出,当加速度传感器选取的量程越小时,其对应的灵敏度越高,则使得加速度数据的读取精度越高;当加速度传感器选取的量程越大时,其对应的灵敏度越低,则使得加速度数据的读取精度越低。
在采用电子设备中的摄像头模组进行图像采集时,不同的使用场景下摄像头模组的抖动幅度或抖动频率不同。因此,本申请实施例中的场景分析模块可获取陀螺仪传感器采集的角速度数据和/或加速度传感器采集到的加速度数据,并根据角速度数据和/或加速度数据来分析摄像头模组当前所处的抖动场景。
以抖动数据包括角速度数据为例,场景分析模块可以预先设定幅度阈值和频率阈值,将角速度数据对应的抖动频率与频率阈值进行比较,和/或将角速度数据对应的抖动幅值与幅度阈值进行比较,确定摄像头模组当前所处的抖动场景。
例如,大幅度抖动场景采集到的抖动幅值较大,若场景分析模块确定角速度数据对应的抖动幅值大于幅度阈值时,可确定摄像头模组当前处于大幅度抖动场景。
每种抖动场景预先设置有对应的最小匹配量程,因此,场景分析模块在确定了摄像头模组当前所处的抖动场景之后,根据摄像头模组当前所处的抖动场景查找其对应的最小匹配量程,并将惯性传感器的量程调至最小匹配量程,使得惯性传感器可以获取更高精度的抖动数据,以提高光学防抖的准确性。
本申请实施例还提供一种电子设备,该电子设备除了包括上述的光学防抖模组之外,还包括如图2所示的惯性传感器和主控芯片。光学防抖模组中的每个摄像头模组还包括霍尔传感器。
其中,惯性传感器与光学防抖模组中的光学防抖芯片连接,用于向光学防抖芯片发送其采集到的抖动数据。惯性传感器可以包括陀螺仪传感器和/或加速度传感器。
霍尔传感器通过摄像头模组中的马达驱动芯片与光学防抖芯片连接,用于检测摄像头模组中的镜头组件或感光组件的位置信息,并通过马达驱动芯片将位置信息发送至光学防抖芯片。
主控芯片与光学防抖芯片连接,例如,主控芯片可以通过I2C接口与光学防抖芯片连接。主控芯片用于接收光学防抖芯片发送的抖动补偿数据和位置信息,并根据抖动补偿数据和位置信息对摄像头模组采集到的图像进行电子防抖(electric imagestabilization,EIS)处理。
具体的,霍尔传感器可以先将位置信息发送至马达驱动芯片,马达驱动芯片再将位置信息发送给光学防抖芯片,光学防抖芯片再将位置信息发送给主控芯片。并且,光学防抖芯片中的参数切换模块在计算得到抖动补偿数据之后,也可以将抖动补偿数据发送给主控芯片。主控芯片可以采用电子防抖软件算法,并基于抖动补偿数据和位置信息对摄像头模组采集到的图像进行补偿,以实现电子防抖。
可以理解的是,主控芯片也可以称为处理器,处理器是电子设备的控制中心,其可以通过各种接口和线路连接电子设备中的各个部件,通过运行存储在存储器中的计算机程序,来实现电子设备的各种功能。处理器可以为应用处理器(application processor,AP)或片上***(system on chip,SOC)等。
上面结合图2至图8详细说明了本申请实施提供的光学防抖模组,下面对本申请实施例提供的光学防抖方法进行描述。
示例性的,图9为本申请实施例提供的一种光学防抖方法的流程图,该光学防抖方法可以应用于上述的光学防抖模组,光学防抖模组包括一个光学防抖芯片和至少两个摄像头模组,光学防抖芯片分别与惯性传感器以及每个摄像头模组连接,每个摄像头模组包括镜头组件、感光组件、马达驱动芯片和驱动马达。参照图9所示,该光学防抖方法具体可以包括如下步骤:
步骤901,在采用至少两个摄像头模组采集图像时,光学防抖芯片获取惯性传感器采集到的抖动数据;惯性传感器包括陀螺仪传感器和/或加速度传感器。
在采用电子设备中的至少两个摄像头模组进行采集图像时,惯性传感器可实时采集摄像头模组的抖动数据,并通过SPI接口将采集到的抖动数据发送给光学防抖芯片。
步骤902,光学防抖芯片根据抖动数据,计算每个摄像头模组的抖动补偿数据。
一种实施例中,惯性传感器包括陀螺仪传感器和加速度传感器,抖动数据包括陀螺仪传感器采集到的角速度数据以及加速度传感器采集到的加速度数据。则光学防抖芯片可以按照下面的步骤来计算每个摄像头模组的抖动补偿数据:光学防抖芯片对角速度数据进行处理,得到第一抖动角度;光学防抖芯片对加速度数据进行处理,得到第二抖动角度;光学防抖芯片将第一抖动角度和第二抖动角度进行融合,得到目标抖动角度;光学防抖芯片将目标抖动角度转换为抖动补偿数据;光学防抖芯片对抖动补偿数据进行校准。
具体的,本申请实施例可通过光学防抖芯片中的第一数据处理模块对角速度数据进行处理,得到第一抖动角度。一种可能的实现方式中,光学防抖芯片可采用如下的步骤对角速度数据进行处理:光学防抖芯片对角速度数据进行滤波处理;光学防抖芯片对滤波处理后的角速度数据进行积分处理,得到第一抖动角度。
本申请实施例可通过光学防抖芯片中的第二数据处理模块对加速度数据进行处理,得到第二抖动角度。一种可能的实现方式中,光学防抖芯片可采用如下的步骤对加速度数据进行处理:光学防抖芯片对加速度数据进行滤波处理;光学防抖芯片对滤波处理后的加速度数据进行积分处理,得到抖动位移;光学防抖芯片根据抖动位移计算得到第二抖动角度。
本申请实施例可通过光学防抖芯片中的角度融合模块将第一抖动角度和第二抖动角度进行融合,得到目标抖动角度。一种可能的实现方式中,光学防抖芯片可采用如下的步骤对第一抖动角度和第二抖动角度进行融合:光学防抖芯片采用卡尔曼滤波器对第一抖动角度和第二抖动角度进行融合,得到目标抖动角度。
本申请实施例可通过光学防抖芯片中的参数转换模块将目标抖动角度转换为抖动补偿数据。一种可能的实现方式中,光学防抖芯片可采用如下的步骤将目标抖动角度转换为抖动补偿数据:光学防抖芯片将预设转换系数与目标抖动角度的乘积,确定为抖动补偿数据。
本申请实施例可通过光学防抖芯片中的位移校准模块对抖动补偿数据进行校准。一种可能的实现方式中,光学防抖芯片可通过如下公式对抖动补偿数据进行校准:
Shift_x=a1sx 2+a2sy 2+a3sxsy+a4sx+a5sy+a6
Shift_y=b1sx 2+b2sy 2+b3sxsy+b4sx+b5sy+b6
其中,sx为第一方向上的抖动补偿数据,Shift_x为校准后的第一方向上的抖动补偿数据;sy为第二方向上的抖动补偿数据,Shift_y为校准后的第二方向上的抖动补偿数据;a1为第一标定系数,a2为第二标定系数,a3为第三标定系数,a4为第四标定系数,a5为第五标定系数,a6为第六标定系数,b1为第七标定系数,b2为第八标定系数,b3为第九标定系数,b4为第十标定系数,b5为第十一标定系数,b6为第十二标定系数。
这种情况下,光学防抖芯片计算得到的每个摄像头模组的抖动补偿数据,是校准后的抖动补偿数据。当然,光学防抖芯片也可以不对抖动补偿数据进行校准,使得光学防抖芯片计算得到的每个摄像头模组的抖动补偿数据,是未校准的抖动补偿数据
第一数据处理模块、第二数据处理模块、角度融合模块、参数转换模块和位移校准模块的具体实现过程,可以参照图5对应的描述,在此不再赘述。
另一种实施例中,惯性传感器包括陀螺仪传感器,抖动数据包括陀螺仪传感器采集到的角速度数据。则光学防抖芯片可以按照下面的步骤来计算每个摄像头模组的抖动补偿数据:光学防抖芯片对角速度数据进行处理,得到第一抖动角度;光学防抖芯片将第一抖动角度转换为抖动补偿数据;光学防抖芯片对抖动补偿数据进行校准。
再一种实施例中,惯性传感器包括加速度传感器,抖动数据包括加速度传感器采集到的加速度数据。则光学防抖芯片可以按照下面的步骤来计算每个摄像头模组的抖动补偿数据:光学防抖芯片对加速度数据进行处理,得到第二抖动角度;光学防抖芯片将第二抖动角度转换为抖动补偿数据;光学防抖芯片对抖动补偿数据进行校准。
步骤903,光学防抖芯片将抖动补偿数据发送至对应的摄像头模组中的马达驱动芯片。
步骤904,马达驱动芯片根据抖动补偿数据生成驱动信号,以使驱动马达根据驱动信号带动镜头组件或感光组件进行移动。
光学防抖芯片在计算得到每个摄像头模组的抖动补偿数据之后,将抖动补偿数据通过I2C接口发送给对应的摄像头模组中的马达驱动芯片。然后,马达驱动芯片根据抖动补偿数据生成驱动信号,并将驱动信号发送给驱动马达,使得驱动马达根据驱动信号带动镜头组件或感光组件进行移动,以进行光学防抖。
这样,由于该光学防抖芯片可同步计算每个摄像头模组的抖动补偿数据,并同步地将各个摄像头模组的抖动补偿数据发送至其对应的马达驱动芯片,降低同一时刻各个摄像头模组中的镜头组件或感光元件已经移动的补偿位移之间的差异,相应的,也就降低了同一时刻各个摄像头模组采集到的图像之间的位移,从而提高拍摄体验。
本申请实施例是参照根据本申请实施例的方法、设备(***)的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本申请的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本申请的保护范围之内。

Claims (13)

1.一种光学防抖模组,其特征在于,包括:一个光学防抖芯片和至少两个摄像头模组,所述光学防抖芯片分别与惯性传感器以及每个所述摄像头模组连接,每个所述摄像头模组包括镜头组件、感光组件、马达驱动芯片和驱动马达;
所述光学防抖芯片,用于根据所述惯性传感器采集到的抖动数据,计算每个所述摄像头模组的抖动补偿数据,并将所述抖动补偿数据发送至对应的所述摄像头模组中的所述马达驱动芯片;所述惯性传感器包括陀螺仪传感器和加速度传感器;
所述马达驱动芯片,用于根据所述抖动补偿数据生成驱动信号,以使所述驱动马达根据所述驱动信号带动所述镜头组件或所述感光组件进行移动;
所述抖动数据包括所述陀螺仪传感器采集到的角速度数据以及所述加速度传感器采集到的加速度数据;所述光学防抖芯片包括第一数据处理模块、第二数据处理模块、角度融合模块和参数转换模块;
所述第一数据处理模块,用于对所述角速度数据进行处理,得到第一抖动角度;
所述第二数据处理模块,用于对所述加速度数据进行处理,得到第二抖动角度;
所述角度融合模块,用于将所述第一抖动角度和所述第二抖动角度进行融合,得到目标抖动角度;
所述参数转换模块,用于将所述目标抖动角度转换为抖动补偿数据;
所述参数转换模块,具体用于将预设转换系数与所述目标抖动角度的乘积,确定为所述抖动补偿数据,所述预设转换系数为预先标定的每个摄像头的预设转换系数。
2.根据权利要求1所述的光学防抖模组,其特征在于,所述光学防抖芯片还包括位移校准模块;
所述位移校准模块,用于对所述抖动补偿数据进行校准。
3.根据权利要求1所述的光学防抖模组,其特征在于,所述第一数据处理模块,具体用于对所述角速度数据进行滤波处理,并对滤波处理后的所述角速度数据进行积分处理,得到所述第一抖动角度。
4.根据权利要求1所述的光学防抖模组,其特征在于,所述第二数据处理模块,具体用于对所述加速度数据进行滤波处理,并对滤波处理后的所述加速度数据进行积分处理,得到抖动位移;以及根据所述抖动位移计算得到所述第二抖动角度。
5.根据权利要求1所述的光学防抖模组,其特征在于,所述角度融合模块,具体用于采用卡尔曼滤波器对所述第一抖动角度和所述第二抖动角度进行融合,得到目标抖动角度。
6.根据权利要求2所述的光学防抖模组,其特征在于,所述位移校准模块,具体用于通过如下公式对所述抖动补偿数据进行校准:
其中,sx为第一方向上的抖动补偿数据,Shift_x为校准后的所述第一方向上的抖动补偿数据;sy为第二方向上的抖动补偿数据,Shift_y为校准后的所述第二方向上的抖动补偿数据;a1为第一标定系数,a2为第二标定系数,a3为第三标定系数,a4为第四标定系数,a5为第五标定系数,a6为第六标定系数,b1为第七标定系数,b2为第八标定系数,b3为第九标定系数,b4为第十标定系数,b5为第十一标定系数,b6为第十二标定系数。
7.一种光学防抖方法,其特征在于,应用于光学防抖模组,所述光学防抖模组包括一个光学防抖芯片和至少两个摄像头模组,所述光学防抖芯片分别与惯性传感器以及每个所述摄像头模组连接,每个所述摄像头模组包括镜头组件、感光组件、马达驱动芯片和驱动马达;所述方法包括:
在采用所述至少两个摄像头模组采集图像时,所述光学防抖芯片获取所述惯性传感器采集到的抖动数据;所述惯性传感器包括陀螺仪传感器和加速度传感器;
所述光学防抖芯片根据所述抖动数据,计算每个所述摄像头模组的抖动补偿数据;
所述光学防抖芯片将所述抖动补偿数据发送至对应的所述摄像头模组中的所述马达驱动芯片;
所述马达驱动芯片根据所述抖动补偿数据生成驱动信号,以使所述驱动马达根据所述驱动信号带动所述镜头组件或所述感光组件进行移动;
所述抖动数据包括所述陀螺仪传感器采集到的角速度数据以及所述加速度传感器采集到的加速度数据;所述光学防抖芯片根据所述抖动数据,计算每个所述摄像头模组的抖动补偿数据,包括:
所述光学防抖芯片对所述角速度数据进行处理,得到第一抖动角度;
所述光学防抖芯片对所述加速度数据进行处理,得到第二抖动角度;
所述光学防抖芯片将所述第一抖动角度和所述第二抖动角度进行融合,得到目标抖动角度;
所述光学防抖芯片将所述目标抖动角度转换为抖动补偿数据;
所述光学防抖芯片将所述目标抖动角度转换为抖动补偿数据,包括:
所述光学防抖芯片将预设转换系数与所述目标抖动角度的乘积,确定为所述抖动补偿数据,所述预设转换系数为预先标定的每个摄像头的预设转换系数。
8.根据权利要求7所述的方法,其特征在于,在所述光学防抖芯片根据所述抖动数据,计算每个所述摄像头模组的抖动补偿数据之后,还包括:
所述光学防抖芯片对所述抖动补偿数据进行校准。
9.根据权利要求7所述的方法,其特征在于,所述光学防抖芯片对所述角速度数据进行处理,得到第一抖动角度,包括:
所述光学防抖芯片对所述角速度数据进行滤波处理;
所述光学防抖芯片对滤波处理后的所述角速度数据进行积分处理,得到所述第一抖动角度。
10.根据权利要求7所述的方法,其特征在于,所述光学防抖芯片对所述加速度数据进行处理,得到第二抖动角度,包括:
所述光学防抖芯片对所述加速度数据进行滤波处理;
所述光学防抖芯片对滤波处理后的所述加速度数据进行积分处理,得到抖动位移;
所述光学防抖芯片根据所述抖动位移计算得到所述第二抖动角度。
11.根据权利要求7所述的方法,其特征在于,所述光学防抖芯片将所述第一抖动角度和所述第二抖动角度进行融合,得到目标抖动角度,包括:
所述光学防抖芯片采用卡尔曼滤波器对所述第一抖动角度和所述第二抖动角度进行融合,得到目标抖动角度。
12.根据权利要求8所述的方法,其特征在于,所述光学防抖芯片对所述抖动补偿数据进行校准,包括:
所述光学防抖芯片通过如下公式对所述抖动补偿数据进行校准:
其中,sx为第一方向上的抖动补偿数据,Shift_x为校准后的所述第一方向上的抖动补偿数据;sy为第二方向上的抖动补偿数据,Shift_y为校准后的所述第二方向上的抖动补偿数据;a1为第一标定系数,a2为第二标定系数,a3为第三标定系数,a4为第四标定系数,a5为第五标定系数,a6为第六标定系数,b1为第七标定系数,b2为第八标定系数,b3为第九标定系数,b4为第十标定系数,b5为第十一标定系数,b6为第十二标定系数。
13.一种电子设备,其特征在于,包括惯性传感器、主控芯片以及如权利要求1至6中任一项所述的光学防抖模组,所述光学防抖模组中的摄像头模组还包括霍尔传感器;
所述惯性传感器,与所述光学防抖模组中的光学防抖芯片连接,用于向所述光学防抖芯片发送其采集到的抖动数据;
所述霍尔传感器,通过所述摄像头模组中的马达驱动芯片与所述光学防抖芯片连接,用于检测所述摄像头模组中的镜头组件或感光组件的位置信息,并通过所述马达驱动芯片将所述位置信息发送至所述光学防抖芯片;
所述主控芯片,与所述光学防抖芯片连接,用于接收所述光学防抖芯片发送的抖动补偿数据和所述位置信息,并根据所述抖动补偿数据和所述位置信息对所述摄像头模组采集到的图像进行电子防抖处理。
CN202211332472.8A 2022-10-28 2022-10-28 光学防抖模组、光学防抖方法及电子设备 Active CN116761074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211332472.8A CN116761074B (zh) 2022-10-28 2022-10-28 光学防抖模组、光学防抖方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211332472.8A CN116761074B (zh) 2022-10-28 2022-10-28 光学防抖模组、光学防抖方法及电子设备

Publications (2)

Publication Number Publication Date
CN116761074A CN116761074A (zh) 2023-09-15
CN116761074B true CN116761074B (zh) 2024-04-19

Family

ID=87950206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211332472.8A Active CN116761074B (zh) 2022-10-28 2022-10-28 光学防抖模组、光学防抖方法及电子设备

Country Status (1)

Country Link
CN (1) CN116761074B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109951638A (zh) * 2019-03-26 2019-06-28 Oppo广东移动通信有限公司 摄像头防抖***、方法、电子设备和计算机可读存储介质
CN110012224A (zh) * 2019-03-26 2019-07-12 Oppo广东移动通信有限公司 摄像头防抖***、方法、电子设备和计算机可读存储介质
CN110049238A (zh) * 2019-03-26 2019-07-23 Oppo广东移动通信有限公司 摄像头防抖***和方法、电子设备、计算机可读存储介质
CN114531546A (zh) * 2022-02-23 2022-05-24 Oppo广东移动通信有限公司 镜头调整方法及装置、存储介质及电子设备
CN114815583A (zh) * 2022-03-28 2022-07-29 河南科技大学 一种车载式草莓采摘机器人稳像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109951638A (zh) * 2019-03-26 2019-06-28 Oppo广东移动通信有限公司 摄像头防抖***、方法、电子设备和计算机可读存储介质
CN110012224A (zh) * 2019-03-26 2019-07-12 Oppo广东移动通信有限公司 摄像头防抖***、方法、电子设备和计算机可读存储介质
CN110049238A (zh) * 2019-03-26 2019-07-23 Oppo广东移动通信有限公司 摄像头防抖***和方法、电子设备、计算机可读存储介质
CN114531546A (zh) * 2022-02-23 2022-05-24 Oppo广东移动通信有限公司 镜头调整方法及装置、存储介质及电子设备
CN114815583A (zh) * 2022-03-28 2022-07-29 河南科技大学 一种车载式草莓采摘机器人稳像方法

Also Published As

Publication number Publication date
CN116761074A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
US7430366B2 (en) Image capture device
JP4789614B2 (ja) 防振制御装置およびその制御方法
EP1936956B1 (en) Hand-shake correction method and apparatus of camera module for use in mobile device
JP3513950B2 (ja) 像振れ補正カメラ
KR101287931B1 (ko) 상흔들림 보정장치 및 촬상장치
US7689107B2 (en) Anti-shake apparatus
US7519283B2 (en) Barrel unit, image pickup apparatus installed with the same, and method for correcting shake of barrel
US8159541B2 (en) Image stabilization method and apparatus
JP5284169B2 (ja) 像振れ補正装置およびそれを具備する光学機器、撮像装置
JP2000010141A (ja) 手振れ補正機能付きデジタルカメラ
JP2016224204A (ja) ブレ補正装置、光学機器、撮像装置、ブレ補正方法
EP2974271B1 (en) Anti-shake correction system for curved optical sensor
US20090128638A1 (en) Imaging apparatus
JP2004295027A (ja) ブレ補正装置
JP2010054883A (ja) 防振制御装置および撮像装置
JP2012128356A (ja) ブレ補正装置及び光学機器
CN116761074B (zh) 光学防抖模组、光学防抖方法及电子设备
WO2009014568A1 (en) Solid state optical motion compensation
JP2012163824A (ja) ブレ補正装置及び光学機器
JP3729214B2 (ja) 像ブレ補正カメラ
JP2013054193A (ja) ブレ補正装置及び光学機器
JP6024031B2 (ja) ブレ補正装置及び光学機器
EP0658797B1 (en) Image movement correction of camera
JP5957796B2 (ja) ブレ補正装置及び光学機器
JP2000081646A (ja) 手振れ補正機能付きカメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant