CN108933937A - 用于动态地校准图像捕获装置的方法 - Google Patents

Abstract

本发明公开了一种用于动态地校准图像捕获装置的方法，该方法包括：a)确定至场景内的对象的距离(D_CRT,D_EST)；b)确定用于所确定的距离的第一透镜致动器设置(DAC^INIT)；c)确定第二透镜致动器设置(DAC^焦点)，从而为所景的所捕获的图像中的对象提供最大锐度；以及d)存储所确定的距离(D_CRT,D_EST)、以及第一透镜致动器设置和第二透镜致动器设置。在与第一所确定的距离分开的第二所确定的距离处重复这些步骤。根据至少以下各项来确定对所存储的经校准的透镜致动器设置的校准校正用于第一所确定的距离和所述第二所确定的距离中的每一者的第二透镜致动器设置(DAC^焦点)和第一透镜致动器设置(DAC^INIT)之间的相应差值；并且根所确定的校准校正来调节所存储的经校准的透镜致动器设置。

Description

用于动态地校准图像捕获装置的方法

技术领域

本发明涉及用于动态地校准图像捕获装置的方法。

背景技术

现在参见图1，图像捕获装置内的相机模块12的典型自动聚焦(AF)模块10可获得从相机模块到目标对象的距离(例如，至激光装置或立体相机***14的距离)的估计值。在获知所估计的物距后，自动聚焦模块10可计算透镜16的所需物理位置，以使目标对象聚焦。如WO 2016/000874(参考文献：FN-396-PCT，其公开内容以引用方式并入本文)中所解释的，透镜位置通常由透镜致动器18来控制，该透镜致动器通过由AF模块10所提供的数模转换器(DAC)驱动，该数模转换器通常使用具有255个不同的电压输出电平的8位DAC代码或具有1024个电压电平的10位DAC代码。因此，AF模块10确定物距的所需DAC代码，并且DAC将DAC代码转换为等效模拟致动器电压或电流值以确定透镜位置，这取决于致动器输出电路，例如取决于透镜16是包括VCM(音圈模块)透镜致动器，还是包括MEM(微机电***)透镜致动器。

一旦确定DAC代码和透镜位置之间的关系，例如这两者之间可存在线性关系，便可通过针对无穷远距离和微距距离调节DAC代码来校准相机模块：

DAC_远[t]-用于在时间[t]聚焦在远(无穷远)距离处的物理透镜位置 [1]

DAC_近[t]-用于在时间[t]聚焦在近(微距)距离处的物理透镜位置 [2]

可在生产线流程(PLP)期间确定这些校准参数，并且将它们的值存储在相机模块12内部的非易失性存储器20中或相机中的其他地方。

因此，自动聚焦模块10可根据至目标对象的距离以及DAC_近[]和DAC_远[]来确定要提供给透镜致动器18的所需DAC代码。

众所周知，相机模块12可受操作条件诸如SAG(重力影响)或热(温度影响)的影响，并且WO 2016/000874(参考文献：FN-396-PCT)公开了通过根据操作条件调节DAC_近[]和DAC_远[]来补偿SAG和热效应的一些方法。

但是，由于PLP的一些限制，或如WO 2016/000874(参考文献：FN-395-PCT)中所公开的，随时间漂移的相机模块性能例如由于装置老化或甚至装置接通时间因此可存在对校准误差(包括不准确性)有贡献的其他要素。

如果不相应地补偿PLP、SAG或热误差，则由AF模块所计算的DAC代码将无法提供目标对象上的适当的聚焦。

然后可能需要相机模块寻找焦点，这不仅会不利地影响聚焦速度，而且将使得预览流内的不可接受的透镜抖动效应。

本发明的目的是减轻这些问题。

发明内容

根据本发明，提供了一种根据权利要求1所述的用于动态地校准图像捕获装置的方法。

根据第二方面，提供了计算机程序产品，该计算机程序产品包括在其上存储了、计算机可读指令的计算机可读介质，这些计算机可读指令当在图像捕获装置上执行时被布置为执行权利要求1所述的步骤。

根据第三方面，提供了图像捕获装置，该图像捕获装置被配置为执行权利要求1所述的步骤。

本发明方法在图像捕获装置上(可能在相机模块内)运行，并且在用户操作该装置时动态地补偿校准误差。

该方法不影响生产线流程并在用户操作该装置时收集必要的数据，而不会不利地影响用户体验。该方法在估计校准误差并接着更新校准参数时可改善自动聚焦速度并使透镜抖动最小化。

可不时地触发该方法，以检查校准参数是否没有受到例如相机老化的影响，如果是这样，则执行必要的校正。

附图说明

现在将参考附图以举例的方式来描述本发明的实施方案，在附图中：

图1示意性地示出了典型自动聚焦相机模块；

图2示出了根据本发明的第一实施方案的用于动态地校准图像捕获装置的方法；并且

图3示出了根据本发明的第二实施方案的用于动态地校准图像捕获装置的方法。

具体实施方式

除由SAG或热效应引起的在本文中被统称为PLP误差的那些误差之外的校准误差可如下被量化：

其中：

和为相机模块(CM)的所存储的校准参数。这可在生产时间进行测量和确定，或它们可在相机操作期间不时更新，如WO 2016/000874(参考文献：FN-395-PCT)中所公开的。

因此，DAC_远[t]和DAC_近[t]为时间[t]的所需的经校正的校准参数，而和为这些参数中的相应误差。

为了说明等式[3]和[4]中的误差对最终焦点位置的影响，让我们假定目标对象被放置在至相机的距离[D]处。通常，在手持式图像捕获装置诸如消费类相机、智能手机、平板电脑或等同物中，感兴趣的对象为人脸。用于聚焦在距离[D]处的对应透镜位置[DAC_D]由以下公式给出：

假定为线性DAC函数，附加参数连同其公式详述于表1中：

表1.用于将距离映射到透镜位置(DAC)的参数的列表

但是，应当理解，本发明还适用于DAC代码与透镜位置之间的非算术但却呈线性的关系。

等式[9]、[10]和[11]从薄透镜等式导出：

将[6]、[7]、[8]代入[5]，用于计算DAC值的新公式变为：

将[9]、[10]、[11]代入[13]和[14]，估计DAC值的最终公式由以下公式给出：

ERR_D为由PLP误差(和)生成的总误差。

现在参见图2，根据一个实施方案的补偿方法的第一步为在用户操作相机时将输入数据收集在内部缓冲区(BUFF)中。该过程可在不影响用户体验的情况下透明地进行。输入记录应包含汇总于表2中的数据。缓冲区应具有足够的空间，以存储至少2个记录。

表2.动态补偿输入数据

传感器温度[T_CRT]和装置取向[O_CRT]用于调节原始校准参数，以补偿受SAG(重力)或热效应影响的CM，如WO 2016/000874(参考文献：FN-395-PCT)中所公开的。为了简要解释如何补偿SAG和热效应，假定在生产期间，CM取向为O_PLP并且传感器温度为T_PLP。

如果CM受SAG影响，O_CRT≠O_PLP，则原始校准参数被转换为O_CRT范围。在本说明书中，该变换函数被表示为以下SAG：

如果CM不受SAG影响，则校准参数将保持不变：

如果CM受热效应影响，T_CRT≠T_PLP，则SAG校正之后的校准参数被转换为T_CRT范围。同样，可使用以下被称为TH的变换函数：

如果CM不受热效应影响，则从任何SAG校正得出的校准参数将保持不变：

应当注意，在每种情况下，SAG()和TH()可涉及查找表，并且同样如何调节和值以考虑温度和取向的细节公开于WO 2016/000874(参考文献：FN-395-PCT)中。

此时，PLP误差为未知的。为了估计这些误差，以如下方式在AF模块操作期间收集数据：

1.使用激光装置或立体相机***14来估计[D_CRT]；

2.使用[16]来计算初始透镜位置

3.将透镜位置设定为并且开始在周围搜索焦点位置。应当来回移动透镜，直到实现最佳对比度值。具有最佳对比度值的透镜位置将为焦点位置

对于大PLP误差而言，焦点位置将远离初始位置聚焦速度将变慢并且透镜抖动效应更加明显。

对于小误差而言，焦点位置将更接近初始位置聚焦速度将更高并且透镜抖动效应不太明显。

动态补偿方法的目标是使用上述数据(由步骤1、2和3提供)来估计PLP误差。一旦完成估计，便将适当地更新校准参数并且由[16]提供的透镜位置将为焦点位置。将不再需要聚焦扫描，因此将提高AF模块速度并减少透镜抖动效应。

充分限定良好准确度的一种方式是按如下那样将[D_CRT]和的误差限制到小于设定阈值：

为了理解和DAC_STEP的含义，在表3中汇总了附加参数。

表3.DOF参数

DAC_STEP为D_F距离和D_N距离处的对应DAC值之间的绝对差。使用[15]、[16]并假定DAC_STEP的估计值由以下公式给出：

DAC_STEP应为恒定值(不应随距离D而改变)。

补偿方法的第二步为估计误差[3]和[4]并更新校准参数。这需要两个输入记录它们满足以下条件：

其中：

为第一记录。

为第二记录。

为第一距离D₁处的DOF范围(为远极限，为近极限)。

为第二距离D₂处的DOF范围(为远极限，为近极限)。

如果满足等式[25]的检验(这两个距离完全不同)，则使用[15]并将[DAC_D,D]替换为和所得的和为：

其中：

和使用[16]来计算。

使用[17]并将[ERR_D,D]替换为),D₁]和这得出以下线性***：

为了简化上述***，将进行以下替换：

新***变成：

现在可使用以下公式来估计PLP误差：

其中：

和使用[26]和[27]来计算。

和使用[28]和[29]来计算。

新更新的校准参数(应进一步用于提高AF模块速度并减少透镜抖动效应)为：

在本发明的第二实施方案中，并非直接测量至被成像的场景中的对象的距离，而是可基于被成像的对象的假定维度(例如，脸部)来估计该距离。有关基于脸部信息或具有已知维度的实际上任何可识别的对象来估计该距离的更多细节可见于US8970770(参考文献：FN-361)和WO 2016/091545(参考文献：FN-399)，这两份专利的公开内容以引用方式并入本文。

然而，如WO 2016/091545(参考文献：FN-399)中所公开的，这样做时应当谨慎以确保对象不是对象的伪像，例如显示较大脸部的广告牌或较小的印刷脸部或较小的儿童脸部，此时假定维度可能不适用。因此，第二实施方案旨在提供动态补偿，以估计ERR_PLP，同时将场景中可能存在假脸部考虑在内。

假定从脸部至图像采集装置的距离为[D]。利用以下公式来计算当前估计的至该脸部的距离[D_EST]：

其中：

○f表示透镜***的焦距

○P_S为像素尺寸

○ed表示假定维度，在这种情况下为人脸的以毫米计的眼距(ed＝70mm)

○edp表示所检测的脸部区域内的以像素计的所计算的眼距

对于这些人脸(其中ed≈70mm)，公式[1]将提供对该距离的良好估计(D_EST≈D)。

对于假脸部(例如，ed≈20mm的较小印刷脸部)，公式[1]将提供错误距离，因为其假定ed＝70mm。

用于聚焦于距离[D]处的透镜位置[DAC_D]由以下公式给出：

其中：

即基于估计的距离[D_EST]计算的初始透镜位置可按照等式[16]中的来计算；并且

应当注意，在该示例中，近PLP误差和远PLP误差被假定为几乎相同并且表示由至对象的距离的错误估计引起的误差。

现在参见图3，同样动态补偿方法的第一步为在用户操作相机时向内部缓冲区(BUFF)中收集必要的输入数据。该过程应在不影响用户体验的情况下透明地进行。同样，输入记录应包含汇总于表2中的数据，但不是使用第一实施方案的所测量的D_CRT，而是使用D_EST的估计距离。缓冲区应具有足够的空间，以存储至少2个记录。

动态补偿过程的第二步为估计ERR_PLP并更新校准参数。该实施方案尝试使给定脸部在两个单独的距离处成像，但在该实施方案的变型中，可采用来自不同脸部的图像的测量。在如第一实施方案中的任何情况下，需要两个输入记录它们满足以下条件：

a)

其中：

为第一记录；

为第二记录；

为第一估计距离的DOF范围(为远极限，为近极限)；

并且

为第二估计的距离的DOF范围(为远极限，为近极限)。

b)|ERR₁|≤N*DAC_STEP

|ERR₂|≤N*DAC_STEP

|ERR₁-ERR₂|≤DAC_STEP/2

其中

DAC_STEP按照第一实施方案的等式[24]来确定；

如前所述，第一条件(a)要求这两个距离应为不同的。

第二条件(b)要求被成像的对象实际表现出假定维度，使得给定脸部为真实人脸，ed≈70mm。在这种情况下，误差应不大于最大误差(N*DAC_STEP)，并且它们应非常类似(差值不应高于DAC_STEP的一半)。该条件保证如第一实施方案中的和ERR_D≈ERR_PLP。

如果当前脸部为假的(未遵守条件(b))，则在接收到新的有效脸部之前不得进行补偿。

如果未遵守条件(a)和(b)，则将按如下方式来估计ERR_PLP：

新更新的校准参数(应进一步用于提高AF速度并减少透镜抖动效应)为：

如所指出的，最大估计的误差不应高于N*AC_STEP(ERR^PLP≤N*AC_STEP)。可由图像采集装置或相机模块制造商根据它们希望估计补偿过程以如何紧密的程度进行操作来确定N的值。因此，N的值越大，基于至对象的不良估计距离进行校准的可能性越大。

应当理解，上述实施方案的许多变型形式为可能的，并且在可能情况下，例如相对于第一实施方案描述的特征和功能适用于第二实施方案，并且反之亦然。

Claims (15)

1.一种用于动态地校准图像捕获装置的方法，所述方法包括：

a)确定至由所述图像捕获装置成像的场景内的对象的距离(D_CRT,D_EST)；

b)根据以下各项来确定第一透镜致动器设置(DAC^INIT)：用于预先确定的近焦点距离(D_近)的所存储的经校准的透镜致动器设置用于预先确定的远焦点距离(D_远)的所存储的经校准的透镜致动器设置所述图像捕获装置的焦距(f)、以及所述所确定的距离(D_CRT,D_EST)；

c)确定第二透镜致动器设置(DAC^焦点)，从而为所述场景的所捕获的图像中的所述对象提供最大锐度；以及

d)存储所述所确定的距离(D_CRT,D_EST)、第一透镜致动器设置(DAC^INIT)、以及第二透镜致动器设置(DAC^焦点)；

e)随后在与所述第一所确定的距离分开的第二所确定的距离处重复步骤a)至c)；

f)根据至少以下各项来确定对所述经校准的透镜致动器设置 中的每个经校准的透镜致动器设置的校准校正用于所述第一所确定的距离和所述第二所确定的距离中的每一者的所述第二透镜致动器设置(DAC^焦点)和所述第一透镜致动器设置(DAC^INIT)之间的相应差值；以及

g)根据所述所确定的校准校正来调节所存储的经校准的透镜致动器设置。

2.根据权利要求1所述的方法，还包括在确定第一透镜致动器设置(DAC^INIT)的所述步骤之前，根据所述装置的操作温度和/或根据所述装置的操作取向来调节所述所存储的经校准的透镜致动器设置以及

将所述装置的所述操作温度和/或所述操作取向与所述所确定的距离(D_CRT,D_EST)、所述第一透镜致动器设置(DAC^INIT)、以及所述第二透镜致动器设置(DAX^焦点)存储在一起。

3.根据权利要求1所述的方法，其中确定所述第二透镜致动器设置(DAC^焦点)包括使用所述第一透镜致动器设置来开始搜索。

4.根据权利要求1所述的方法，其中所述第一所确定的距离和所述第二所确定的距离彼此分开所述第一所确定的距离和所述第二所确定的距离处的至少相应景深。

5.根据权利要求1所述的方法，所述方法包括周期性地重复步骤a)至g)。

6.根据权利要求1所述的方法，其中在透镜致动器设置和聚焦在给定距离处所需的透镜位置之间存在线性关系。

7.根据权利要求1所述的方法，其中确定所述第一透镜致动器设置(DAC^INIT)基于以下公式：

其中

为用于预先确定的远焦点距离的所述所存储的经校准的透镜致动器设置；

为用于预先确定的近焦点距离的所存储的经校准的透镜致动器设置；

D_远为所述远焦点距离

D_近为所述近焦点距离

D_CRT,EST为所述所确定的距离；并且

f为所述焦距。

8.根据权利要求1所述的方法，其中确定至对象的所述距离的所述步骤包括测量所述距离(D_CRT)。

9.根据权利要求1所述的方法，所述方法包括根据以下各项来确定对所述经校准的透镜致动器设置中的每个经校准的透镜致动器设置的所述校准校正用于所述第一所确定的距离和所述第二所确定的距离中的每一者的所述第二透镜致动器设置和所述第一透镜致动器设置之间的相应差值；所述第一所确定的距离和所述第二所确定的距离与所述预先确定的近焦点距离或所述预先确定的远焦点距离中的一者之间的相应差值；所述预先确定的近焦点距离和所述预先确定的远焦点距离之间的差值；和所述第一所确定的距离和所述第二所确定的距离与所述焦距(f)之间的相应差值。

10.根据权利要求9所述的方法，其中对所述经校准的透镜致动器设置和中的每个经校准的透镜致动器设置的所述校准校正根据以下公式来计算：

其中D₁和D₂分别为所述第一所确定的距离和所述第二所确定的距离，和使用以下公式来计算：

并且和使用以下公式来计算：

11.根据权利要求10所述的方法，其中所述调节所述所存储的经校准的透镜致动器设置包括根据以下所述公式来提供新设置和

12.根据权利要求1所述的方法，其中确定至对象的所述距离的所述步骤包括基于所述对象的成像尺寸和所述对象的假定维度来估计至所述对象的距离(D_EST)。

13.根据权利要求12所述的方法，所述方法包括在以下任一操作之前测试从所估计的距离得出的潜在校正是否超过阈值：存储所述所确定的距离、所述第一透镜致动器设置、以及所述第二透镜致动器设置；或确定所述校准校正，并且优选地所述阈值为在给定焦点距离(D)下的焦点的远极限(D_F)和焦点的近极限(D_N)处的对应致动器设置之间的绝对差(DAC_STEP)的函数。

14.一种计算机程序产品，所述计算机程序产品包括在其上存储计算机可读指令的计算机可读介质，所述计算机可读指令当在图像捕获装置上执行时被布置成执行根据权利要求1所述的步骤。

15.一种图像捕获装置，所述图像捕获装置被配置为执行根据权利要求1所述的步骤。