CN106373152B - 一种基于手持式光场相机的距离估计方法 - Google Patents

Abstract

本发明公开了一种基于手持式光场相机的距离估计方法，包括：S1：提取光场相机的参数；S2：设定参考平面以及标定点，其中标定点设置在需估计距离的物体上，获取参考平面与主镜头之间的距离；S3：将采集到的光场图像重聚焦在参考平面上，以获取主镜头与光场相机的微透镜阵列之间的距离，同时记录标定点在重聚焦图像上的成像直径；S4：将步骤S1中提取的光场相机的参数以及步骤S3中获取的主镜头与微透镜阵列之间的距离和记录的标定点在重聚焦图像上的成像直径输入到光线传播数学模型中，输出标定点的距离。本发明提出的基于手持式光场相机的距离估计方法，具有高效性以及较高的准确性。

Description

一种基于手持式光场相机的距离估计方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于手持式光场相机的距离估计方法。

背景技术

光场相机在计算机视觉领域的应用引发了研究者们的广泛关注，其通过在传统相机的主镜头与传感器之间***一块微透镜阵列，记录物体的位置与方向信息。利用光场相机拍摄的单张原始光场图像，除了能够实现数字重聚焦、视点合成、景深扩展以外，还能利用相关算法对图像上的场景进行深度估计。

研究者们现已提出大量的针对光场图像的深度估计方法，其大致可以分为两类：基于单线索的深度估计方法和基于多线索融合的深度估计方法。其中基于单线索的深度估计方法主要采用立体匹配的原理，通过搜寻提取的子孔径图像的对应区域并分析其相关性，获取可进行深度估计的单一线索；基于多线索融合的深度估计方法力图通过从光场图像数据中提取与深度相关的多种线索并进行有效融合来估计深度，比如融合子孔径图像的一致性以及模糊度这两种线索。但是，由于光场相机的基线小且子孔径图像的分辨率低，以上两类算法只能得到低精度的深度图，且算法本身的高复杂度导致深度估计效率低。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为解决上述技术问题，本发明提出一种基于手持式光场相机的距离估计方法，具有高效性以及较高的准确性。

为达到上述目的，本发明采用以下技术方案：

本发明公开了一种基于手持式光场相机的距离估计方法，包括以下步骤：

S1：提取光场相机的参数，包括所述光场相机的主镜头的焦距、曲率半径、光瞳直径、中心厚度以及所述光场相机的微透镜的焦距；

S2：设定参考平面以及标定点，其中所述标定点设置在需估计距离的物体上，获取所述参考平面与所述主镜头之间的距离；

S3：将采集到的光场图像重聚焦在所述参考平面上，以获取所述主镜头与所述光场相机的微透镜阵列之间的距离，同时记录所述标定点在重聚焦图像上的成像直径；

S4：将步骤S1中提取的所述光场相机的参数以及步骤S3中获取的所述主镜头与所述微透镜阵列之间的距离和记录的所述标定点在重聚焦图像上的成像直径输入到光线传播数学模型中，输出所述标定点的距离。

优选地，步骤S2中设定的所述参考平面与所述标定点之间不存在遮挡关系，且所述标定点成像时不发生重叠。

优选地，步骤S3中具体包括采用下式将采集到的光场图像重聚焦在所述参考平面上：

其中，L表示光场图像，L_z表示在所述参考平面z上的重聚焦图像，a表示物空间的聚焦平面对应的特定值，在此步骤中也即所述参考平面z对应的特定值；y＝{x,y}表示光场图像上的位置信息，v＝{u,v}表示光场图像上的方向信息，下标m表示每个微透镜下一维方向上的像素个数，c＝(m-1)/2，i是整数，取值范围为[-c,c]；下标j表示微透镜竖直方向上的坐标。

优选地，步骤S3中的获取所述主镜头与所述微透镜阵列之间的距离的步骤具体包括：

通过光线追迹方法得到F_u平面上各交点的坐标计算公式为：

F_i＝m_i×f (2)

其中，F_u平面上各交点之间的距离为光场相机的基线，f是所述主镜头的焦距，m_i是所述光场相机的传感器与所述主镜头之间的光线的斜率；

所述物体在物空间发出的光线的斜率k_i的计算公式为：

其中，y′_j表示所述物体在所述参考平面上的纵坐标，d_out表示所述参考平面与所述主镜头之间的距离；

根据式(3)计算得到所述物体发出的光线到达所述主镜头的入射位置和出射位置(p′,q′)，根据出射位置(p′,q′)计算得到所述主镜头与所述微透镜阵列之间的距离d_in为：

其中，y_j表示下标为j的微透镜的中心的纵坐标。

优选地，步骤S4中的光线传播数学模型具体包括光线入射部分和光线出射部分。

优选地，所述光线入射部分的传播数学模型具体包括：

所述标定点发出的光线以角度进入所述主镜头，满足关系式：

其中，d′_out表示所述标定点与所述主镜头的中心的轴向距离，R表示所述主镜头的曲率半径，D表示所述主镜头的光瞳半径，T表示所述主镜头的中心厚度；所述标定点发出的光线进入所述主镜头后发生折射，满足下式：

其中，n₁表示所述主镜头的折射率，ψ表示折射角，θ₁满足：

优选地，所述光线出射部分的传播数学模型具体包括：

所述标定点发出的光线在所述主镜头内部进行折射后到达所述主镜头的出射位置(p,q)，并从出射位置(p,q)处出射，满足下式：

n₁sin(θ₁-ψ+θ₂)＝sinω (8)

其中，ω表示出射角，θ₂满足：

所述标定点发出的光线在所述主镜头出射后有三种成像方式，分别为聚焦在所述传感器后方、所述传感器与所述微透镜阵列之间或者所述微透镜阵列与所述主镜头之间，其中：

当所述标定点发出的光线在所述主镜头出射后聚焦在所述传感器后方时，满足下式：

其中，D₁为步骤S3中记录的所述标定点在重聚焦图像上的成像直径，f_x为微透镜的焦距，d_in为步骤S3中获取的所述主镜头与所述微透镜阵列之间的距离，d为所述标定点在像空间的聚焦平面与所述传感器之间的距离；出射位置(p,q)在所述主镜头的曲面上，满足下式：

(R-T/2+p)²+q²＝R² (12)

当所述标定点发出的光线在所述主镜头出射后聚焦在所述传感器与所述微透镜阵列之间或者所述微透镜阵列与所述主镜头之间时，满足下式：

其中，D₁为步骤S3中记录的所述标定点在重聚焦图像上的成像直径，f_x为微透镜的焦距，d_in为步骤S3中获取的所述主镜头与所述微透镜阵列之间的距离，d为所述标定点在像空间的聚焦平面与所述传感器之间的距离；出射位置(p,q)在所述主镜头的曲面上，满足下式：

(R-T/2+p)²+q²＝R² (15)。

与现有技术相比，本发明的有益效果在于：本发明的基于手持式光场相机的距离估计方法，将拍摄得到的光场图像重聚焦在已知距离的参考平面上，该重聚焦图像相当于对光场相机进行调焦后拍摄得到的光场图像，由于已知拍摄物(参考平面)的距离，可以进一步求得光场相机的主镜头与微透镜阵列之间的距离，其他所有非聚焦的物体相当于被此调焦后的光场相机拍摄后在传感器上成像。因此，将标定点设置在需估计距离的物体(非聚焦)，通过分析标定点在重聚焦图像上的成像直径与标定点的距离之间的关系，从而估计出物体的距离；该距离估计方法可以通过一次重聚焦就能够估计出所有物体的绝对距离，具有高效性且大大提高了距离估计的准确性，在工业测距上有很好的应用前景。

附图说明

图1是本发明优选实施例的基于手持式光场相机的距离估计方法流程图；

图2是本发明优选实施例的光线入射模型；

图3是本发明优选实施例的光线出射模型；

图4是本发明优选实施例的标定点的成像方式；

图5是本发明优选实施例的重聚焦的光线追迹模型。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

如图1所示，本发明的优选实施例公开了一种基于手持式光场相机的距离估计方法，包括以下步骤：

S1：提取光场相机的参数，包括光场相机的主镜头的焦距、曲率半径、光瞳直径、中心厚度以及光场相机的微透镜的焦距；

其中主镜头的焦距与微透镜的焦距用于获取主镜头与微透镜阵列之间的距离，主镜头的曲率半径、光瞳直径、中心厚度以及微透镜的焦距用于光线传播数学模型。

S2：设定参考平面以及标定点，其中所述标定点设置在需估计距离的物体上，获取所述参考平面与所述主镜头之间的距离；

其中设定的参考平面与标定点之间不存在遮挡关系，所述标定点成像时不发生重叠；参考平面与主镜头之间的距离用于重聚焦，同时用于获取重聚焦后主镜头与微透镜阵列之间的距离。

S3：将采集到的光场图像重聚焦在所述参考平面上，以获取主镜头与光场相机的微透镜阵列之间的距离，同时记录标定点在重聚焦图像上的成像直径；

(1)重聚焦公式可表述为：

其中，L表示光场图像，L_z表示在所述参考平面z上重聚焦图像，a表示物空间的聚焦平面对应的特定值，在此步骤中也即为参考平面z对应的特定值；y＝{x,y}表示光场图像上的位置信息，v＝{u,v}表示光场图像上的方向信息，下标m表示微透镜图像的分辨率，即每个微透镜下一维方向上的像素个数，c＝(m-1)/2，i是整数，取值范围为[-c,c]；下标j表示微透镜竖直方向上的坐标，取值从0开始。

进行一次重聚焦后得到的图像相当于对光场相机进行调焦后拍摄得到的光场图像，此时其他非聚焦的物体在重聚焦图像上的像相当于用此调焦后的光场相机拍摄得到；而这些非聚焦物体所在的平面即为图4所示的平面z′，将平面z′上的物体发射出来的光线在传感器上的成像直径，即重聚焦图像上的成像直径D₁记录下来。

(2)结合图4和图5所示，由于重聚焦平面是设定的参考平面(平面z)，该平面与主镜头1之间的距离d_out已知。光线追迹方法表明，F_u平面上各交点之间的距离为光场相机的基线。F_u平面上各交点的坐标计算公式为：

F_i＝m_i×f (2)

其中，f是主镜头1的焦距，m_i是传感器3与主镜头1之间的光线的斜率；只要微透镜的焦距、直径以及每个微透镜下覆盖的像素个数已知，m_i即可求出。则物体在物空间发出的光线的斜率k_i，其计算公式为：

其中y′_j表示物体在平面z(即参考平面)上的纵坐标。继而，我们可以算出物体发出的光线到达主镜头1的入射位置和出射位置(p′,q′)。因此，主镜头1与微透镜阵列2之间的距离d_in的计算公式为：

其中y_j表示下标为j的微透镜的中心的纵坐标。

S4：将步骤S1中提取的光场相机的参数以及步骤S3中获取的主镜头与微透镜阵列之间的距离和记录的标定点在重聚焦图像上的成像直径输入到光线传播数学模型中，输出标定点的距离；

S41：光线传播数学模型分为两部分：光线入射部分以及光线出射部分。

(1)光线入射部分：如图2所示，标定点发出的光线以角度进入主镜头，满足关系式：

其中d′_out表示标定点与光场相机主镜头中心的轴向距离；R、D、T是主镜头的参数，分别表示主镜头的曲率半径、光瞳直径以及中心厚度。进入主镜头后光线发生折射，利用折射公式得到：

其中，n₁表示主镜头的折射率，ψ为折射角，θ₁满足：

(2)光线出射部分：如图3所示，光线在主镜头内部进行折射后到达主镜头的(p,q)位置，进而从(p,q)处出射，再次利用折射公式得到：

n₁sin(θ₁-ψ+θ₂)＝sinω (8)

其中ω是出射角，θ₂满足：

S42：光线出射后有三种成像方式，如图4中4A、4B、4C三条光线所示，它们会分别聚焦在传感器3后方(4A)，传感器3与微透镜阵列2之间(4B)，微透镜阵列2与主镜头1之间(4C)。

当光线聚焦在传感器3的后方时，即光线4A的成像情况，分析主镜头1、微透镜阵列2以及传感器3的几何关系，使用相似三角形并做近似，得到：

其中D₁为步骤S3中记录的标定点的成像直径；f_x为微透镜的焦距；d_in为主镜头1与微透镜阵列2之间的距离；d为标定点在像空间的聚焦平面与传感器之间的距离。光线的出射位置(p,q)在主镜头的曲面上，因此满足以下关系式：

(R-T/2+p)²+q²＝R² (12)

当光线聚焦在传感器3与微透镜阵列2之间或者微透镜阵列2与主镜头1之间时，即光线4B、4C两种成像情况，同样使用相似三角形并做近似，得到：

(R-T/2+p)²+q²＝R² (15)

S43：输入重聚焦后光场相机主镜头与微透镜阵列之间的距离d_in和标定点的成像直径D₁，

对于光线聚焦在传感器3的后方时，即光线4A的成像情况，利用公式(10)可近似求得d：

将计算出的d代入公式(11)，联合公式(12)算出p和q。将q代入公式(9)计算得到θ₂：

然后将得到的θ₂代入到公式(11)中计算得到ω：

再利用公式(7)、(8)、(6)依次得到角度θ₁、ψ和

最后再利用公式(5)算出标定点的绝对距离d′_out：

对于光线聚焦在传感器3与微透镜阵列2之间或者微透镜阵列2与主镜头1之间时，即光线4B、4C两种成像情况，利用公式(13)可近似计算出d：

将计算出的d代入公式(14)，联合公式(15)算出p和q。之后所有角度的求解公式同上所述(17)-(21)，最后利用公式(5)算出标定点的绝对距离d′_out。

本发明的优选实施例的基于手持式光场相机的距离估计方法首先将拍摄到的光场图像重聚焦在已知距离的参考平面上，该聚焦图像相当于光场相机进行调焦后拍摄得到的光场图像；由于已知拍摄物(参考平面)的距离，可以进一步求得光场相机的主镜头与微透镜阵列之间的距离，则其他所有非聚焦的物体相当于被此调焦后的光场相机拍摄后在传感器上成像。因此，将标定点设置在需估计距离的物体上(非聚焦)，通过分析标定点在重聚焦图像上的成像直径与标定点的距离之间的关系，估计出物体的距离。具体的实施步骤为：提取光场相机参数，包括主镜头的焦距、曲率半径、光瞳直径和中心厚度，以及微透镜的焦距；设定参考平面及标定点，其中标定点设置在需估计距离的物体上，获取参考平面与光场相机主镜头之间的距离；将采集到的光场图像重聚焦在参考平面上，获取光场相机主镜头与微透镜阵列之间的距离，同时记录标定点在重聚焦图像上的成像直径；分析光场相机的成像***后，提出光线传播数学模型；将光场相机参数、成像直径以及得到的主镜头与微透镜阵列之间的距离输入到光线传播数学模型中，输出标定点的距离。由于标定点在物体上，因此估计出的标定点的距离即为物体的距离。通过本发明的距离估计方法能够经过一次重聚焦就估计出所有物体与光场相机的主镜头之间的绝对距离，具有高效性以及较高的准确性，其高效性以及准确性使得本发明的方法在工业测距有很大的应用前景。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变形，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于手持式光场相机的距离估计方法，其特征在于，包括以下步骤：

S1：提取光场相机的参数，包括所述光场相机的主镜头的焦距、曲率半径、光瞳直径、中心厚度以及所述光场相机的微透镜的焦距；

S2：设定参考平面以及标定点，其中所述标定点设置在需估计距离的物体上，获取所述参考平面与所述主镜头之间的距离；

S3：将采集到的光场图像重聚焦在所述参考平面上，以获取所述主镜头与所述光场相机的微透镜阵列之间的距离，同时记录所述标定点在重聚焦图像上的成像直径；

S4：将步骤S1中提取的所述光场相机的参数以及步骤S3中获取的所述主镜头与所述微透镜阵列之间的距离和记录的所述标定点在重聚焦图像上的成像直径输入到光线传播数学模型中，输出所述标定点的距离。

2.根据权利要求1所述的距离估计方法，其特征在于，步骤S2中设定的所述参考平面与所述标定点之间不存在遮挡关系，且所述标定点成像时不发生重叠。

3.根据权利要求1所述的距离估计方法，其特征在于，步骤S3中具体包括采用下式将采集到的光场图像重聚焦在所述参考平面上：

其中，L表示光场图像，L_z表示在所述参考平面z上的重聚焦图像，a表示所述参考平面z对应的特定值；y＝{x,y}表示光场图像上的位置信息，v＝{u,v}表示光场图像上的方向信息，下标m表示每个微透镜下的一维方向上的像素个数，c＝(m-1)/2，i是整数，取值范围为[-c,c]；下标j表示微透镜竖直方向上的坐标。

4.根据权利要求3所述的距离估计方法，其特征在于，步骤S3中的获取所述主镜头与所述微透镜阵列之间的距离的步骤具体包括：

通过光线追迹方法得到F_u平面上各交点的坐标计算公式为：

F_i＝m_i×f (2)

其中，F_u平面表示与所述主镜头的中心相距f的平面，且F_u平面上各交点之间的距离为光场相机的基线，f是所述主镜头的焦距，m_i是所述光场相机的传感器与所述主镜头之间的光线的斜率；

所述物体在物空间发出的光线的斜率k_i的计算公式为：

其中，y′_j表示所述物体在所述参考平面上的纵坐标，d_out表示所述参考平面与所述主镜头之间的距离；

根据式(3)计算得到所述物体发出的光线到达所述主镜头的入射位置和出射位置(p′,q′)，根据出射位置(p′,q′)计算得到所述主镜头与所述微透镜阵列之间的距离d_in为：

其中，y_j表示下标为j的微透镜的中心的纵坐标。

5.根据权利要求1至4任一项所述的距离估计方法，其特征在于，步骤S4中的光线传播数学模型具体包括光线入射部分和光线出射部分。

6.根据权利要求5所述的距离估计方法，其特征在于，所述光线入射部分的传播数学模型具体包括：

所述标定点发出的光线以角度进入所述主镜头，满足关系式：

其中，d′_out表示所述标定点与所述主镜头的中心的轴向距离，R表示所述主镜头的曲率半径，D表示所述主镜头的光瞳半径，T表示所述主镜头的中心厚度；所述标定点发出的光线进入所述主镜头后发生折射，满足下式：

其中，n₁表示所述主镜头的折射率，ψ表示折射角，θ₁满足：

7.根据权利要求6所述的距离估计方法，其特征在于，所述光线出射部分的传播数学模型具体包括：

所述标定点发出的光线在所述主镜头内部进行折射后到达所述主镜头的出射位置(p,q)，并从出射位置(p,q)处出射，满足下式：

n₁sin(θ₁-ψ+θ₂)＝sinω (8)

其中，ω表示出射角，θ₂满足：

所述标定点发出的光线在所述主镜头出射后有三种成像方式，分别为聚焦在所述光场相机的传感器后方、所述传感器与所述微透镜阵列之间或者所述微透镜阵列与所述主镜头之间，其中：

当所述标定点发出的光线在所述主镜头出射后聚焦在所述传感器后方时，满足下式：

其中，D₁为步骤S3中记录的所述标定点在重聚焦图像上的成像直径，f_x为微透镜的焦距，d_in为步骤S3中获取的所述主镜头与所述微透镜阵列之间的距离，d为所述标定点在像空间的聚焦平面与所述传感器之间的距离；出射位置(p,q)在所述主镜头的曲面上，满足下式：

(R-T/2+p)²+q²＝R² (12)

当所述标定点发出的光线在所述主镜头出射后聚焦在所述传感器与所述微透镜阵列之间或者所述微透镜阵列与所述主镜头之间时，满足下式：

其中，D₁为步骤S3中记录的所述标定点在重聚焦图像上的成像直径，f_x为微透镜的焦距，d_in为步骤S3中获取的所述主镜头与所述微透镜阵列之间的距离，d为所述标定点在像空间的聚焦平面与所述传感器之间的距离；出射位置(p,q)在所述主镜头的曲面上，满足下式：

(R-T/2+p)²+q²＝R² (15)。