CN103093460A - 基于平行视差的移动相机虚拟阵列标定方法 - Google Patents

Abstract

本发明公开了一种基于平行视差的移动相机虚拟阵列标定方法，用于解决现有的基于平行视差的固定相机阵列标定方法需要多台相机的技术问题。技术方案是利用直线导轨上平行移动的单个相机模拟一个虚拟的相机阵列***，对各视点所拍摄图像中的特征点进行跟踪并以此估计多视角相机姿态。利用得到的各视角姿态，首先定义一个与直线导轨向平行的参考平面，对由此平面诱导的各视角和某一参考视角的单应矩阵进行估计。而后此单应矩阵计算各视角与参考视角在参考平面的视差。各视点的相对位置由对视差矩阵的SVD分解计算所得。利用本发明方法对静态场景中的被遮挡目标进行透视成像，去遮挡效果良好。

Description

基于平行视差的移动相机虚拟阵列标定方法

技术领域

本发明涉及一种移动相机虚拟阵列标定方法，特别是涉及一种基于平行视差的移动相机虚拟阵列标定方法。

背景技术

在众多多视点采集设备中，稠密相机阵列被广泛地应用于采集光场、自由视点成像以及合成孔径成像中。传统的相机阵列多由稠密排布若干个的固定相机构成，其标定方法主要有：完整的相机内部参数与外部参数标定和平行视差的标定方法。

文献“Using Plane+Parallax for Calibrating Dense Camera Arrays，IEEE CVPR2004，Vol.1Page.I-2-I-9”公开了一种稠密相机阵列的构造形式并给出了基于平行视差(Plane+Parallax)方法的固定相机阵列标定方法。该相机阵列***右共面排布的128个固定相机以及图像采集节点构成，可用于光场采集、基于图像的绘制渲染技术以及合成孔径成像等应用。然而，该相机阵列***仍存在如下劣势：首先，由于相机的位置是固定的，并不能够根据所拍摄场景的特点自适应地改变拍摄视角或增加新的视点，其次，由于相机数量较多，***构建、图像采集以及相机参数控制等方面均需花费较多的人力物力。文献利用阵列***中各相机光心共面的特点对相机阵列进行标定。文献中定义了与各相机所在平面的所平行的两个虚拟平面：参考平面与聚焦平面。标定过程首先利用各相机共同拍摄的合作标定标志物估计由各相机与某个指定的参考相机之间由参考平面诱导的单应(Homography)投影矩阵。进而对由参考平面向聚焦平面的投影矩阵(Homology)进行估计。文献中指出在相机平面、参考平面和聚焦平面互相平行时，此投影矩阵退化为纯平移，并可以由对各相机在参考平面的视差进行计算。

发明内容

为了克服现有基于平行视差的固定相机阵列标定方法需要多台相机的不足，本发明提供一种基于平行视差的移动相机虚拟阵列标定方法。该方法利用直线导轨上平行移动的单个相机模拟一个虚拟的相机阵列***，对各视点所拍摄图像中的特征点进行跟踪并以此估计多视角相机姿态。利用得到的各视角姿态，首先定义一个与直线导轨向平行的参考平面，对由此平面诱导的各视角和某一参考视角的单应矩阵进行估计。而后此单应矩阵计算各视角与参考视角在参考平面的视差。各视点的相对位置由对视差矩阵的SVD分解计算所得。利用本发明方法，可以对静态场景中的被遮挡目标进行透视成像，达到良好的去遮挡效果。

本发明解决其技术问题所采用的技术方案是：一种基于平行视差的移动相机虚拟阵列标定方法，其特点是包括以下步骤：

步骤一、首先对输入的图像序列进行SIFT特征点检测与匹配，使用RANSAC鲁棒估计方法对所检测到的特征点进行外点去除。而后利用各视角二维图像上的图像特征对应内点，恢复各视角的姿态、相机内参数以及场景中若干稀疏点的三维坐标；最后对所有帧的估计结果在捆集调整的框架下进行整体优化。该步骤结束后，建立空间三维点在各视角图像上的投影方程：

x_i＝P_iX

其中X为世界坐标系下点的三维坐标，P_i为估计出的第i个视角的相机姿态以及内参数矩阵。

步骤二：设相机在直线导轨上的运动过程中，各视点光心所处平面为相机平面，与相机平面所平行的参考平面为∏_R；设在相机运动过程中，共在k个不同视角采集了图像，即V₁,...，V_R,...，V_k，其中V_R为一个用来度量视差的参考视角。设H_i表示由∏_R诱导的从V_i到V_R的单应矩阵。在参考平面上有j个控制点XR1,...，X_Rj，利用第一步所估计出的P_i矩阵，将X_R1,...，X_Rj投影至各视角图像上，利用黄金标准算法对平面∏_R诱导单应进行估计。

步骤三：设共有I个不同的平面与参考平面∏_R平行，分别为∏₁,...,∏_I，在每个平面上，均有J个不同的控制点，第i个平面上的第j个控制点用X_ij表示，利用各视点的姿态以及相机内参数，将X_ij投影至视角V_k以及参考视角V_R的图像上，设此投影点分别为x_ijk和x_ijR。则由三维点X_ij诱导的视角V_k与V_R之间的视差p_ijk在参考平面∏_R上表示如下：

p_ijk＝H_ix_ijk-x_ijR

式中，H_i为估计出的诱导单应。将同一平面上的J个视差数据进行累加求均，得到在平面∏_i上视角V_k与V_R之间的平均视差p_ik

$p_{\mathrm{ik}}=\frac{1}{J}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{p}_{\mathrm{ijk}}$

将I个平面上的K个不同视角的平均视差写成矩阵形式，得视差矩阵M，对矩阵M进行SVD分解，得

式中，s为标量系数，Δx_k为视角V_k与参考视角V_R的相对位置，d_i为平面∏_i与参考平面∏_R的相对距离：

$d_i=\frac{{\mathrm{\Δz}}_i}{Z}$

式中，Δz_i为∏_i到∏_R的距离，Z为∏_i到相机平面的距离。

本发明的有益效果是：由于利用直线导轨上平行移动的单个相机模拟一个虚拟的相机阵列***，对各视点所拍摄图像中的特征点进行跟踪并以此估计多视角相机姿态。利用得到的各视角姿态，首先定义一个与直线导轨向平行的参考平面，对由此平面诱导的各视角和某一参考视角的单应矩阵进行估计。而后此单应矩阵计算各视角与参考视角在参考平面的视差。各视点的相对位置由对视差矩阵的SVD分解计算所得。利用本发明方法对静态场景中的被遮挡目标进行透视成像，去遮挡效果良好。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明基于平行视差的移动相机虚拟阵列标定方法具体步骤如下：

1、多视角姿态估计。

通过图像序列对相机姿态进行估计和对三维场景中的稀疏点进行重建为历来计算机视觉中的研究热点，并已有许多成熟的算法，这里仅简述其估计过程

首先，对输入的图像序列进行自动特征点检测，而后对帧间的特征点进行匹配分析。由于场景中可能存在运动物体，某些特征匹配并不是正确的，因此需要对分析出的匹配进行外点分析和去除。剩余的匹配点成为内点，可被利用进行相机姿态估计。最后所有帧的估计结果在捆集调整的框架下进行整体优化，得到全局最优解。

2、各相机相对位置估计。

设相机在直线导轨上的运动过程中，各视点光心所处平面为相机平面，设∏_R为与相机平面所平行的参考平面，标定过程首先对由此参考平面诱导的单应进行估计。设在相机运动过程中，共在k个不同视角采集了图像，即V₁,...，V_R,...，V_k，其中V_R为一个用来度量视差的参考视角。设H_i表示由∏_R诱导的从V_i到V_R的单应矩阵。假设在参考平面上有j个控制点，如X_R1，...,X_Rj，由于各视点的姿态以及相机内参数已知，此j个控制点投影至视点V_i与V_R图像上的像素坐标可按如下方程计算：

x_Ri＝PX_Ri

其中P为第一步中估计出的相机姿态以及内参数矩阵。由计算机视觉知识可知，当j≥4时，可用两幅图像上的对应像素点对单应矩阵进行估计。

该单应矩阵可用于生成聚焦于于参考平面的合成孔径图像，当需要生成非参考平面上的合成图像时，需要根据不同的视角对图像进行不同视差量的平移后合成。该视差量可根据各视点间的相对位置进行计算。下面叙述对各视点间的相对位置的估计方法。

设共有I个不同的与参考平面∏_R平行的平面，分别为∏₁,...,∏_I，在每个平面上，均有J个不同的控制点，第i个平面上的第j个控制点用X_ij表示，利用各视点的姿态以及相机内参数，可将X_ij投影至视角V_k以及参考视角V_R的图像上，设此投影点分别为x_ijk和x_ijR。则由三维点X_ij诱导的视角V_k与V_R之间的视差p_ijk可在参考平面∏_R上表示如下：

p_ijk＝H_ix_ijk-x_ijR

其中H_i为估计出的诱导单应。将同一平面上的J个视差数据进行累加求均，得到在平面∏_i上视角V_k与V_R之间的平均视差p_ik

$p_{\mathrm{ik}}=\frac{1}{J}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{p}_{\mathrm{ijk}}$

将I个平面上的K个不同视角的平均视差写成矩阵形式，可得视差矩阵M。由于视差和相机相对位置之间存在相似三角形的比例关系，因此M的秩为1，对矩阵M进行SVD分解，可得

其中s为标量系数，Δx_k为视角V_k与参考视角V_R的相对位置，d_i为平面∏_i与参考平面∏_R的相对距离：

$d_i=\frac{{\mathrm{\Δz}}_i}{Z}$

其中Δz_i为∏_i到∏_R的距离，Z为∏_i到相机平面的距离。因此当d_i均可被测量时，各视角间的相对位置可通过对视差矩阵M的SVD分解所得。

Claims (1)

1.一种基于平行视差的移动相机虚拟阵列标定方法，其特征在于包括以下步骤：

步骤一、首先对输入的图像序列进行SIFT特征点检测与匹配，使用RANSAC鲁棒估计方法对所检测到的特征点进行外点去除；而后利用各视角二维图像上的图像特征对应内点，恢复各视角的姿态、相机内参数以及场景中若干稀疏点的三维坐标；最后对所有帧的估计结果在捆集调整的框架下进行整体优化；该步骤结束后，建立空间三维点在各视角图像上的投影方程：

x_i＝P_iX

其中X为世界坐标系下点的三维坐标，P_i为估计出的第i个视角的相机姿态以及内参数矩阵；

步骤二：设相机在直线导轨上的运动过程中，各视点光心所处平面为相机平面，与相机平面所平行的参考平面为∏_R；设在相机运动过程中，共在k个不同视角采集了图像，即V₁,...，V_R...，V_k，其中V_R为一个用来度量视差的参考视角；设H_i表示由∏_R诱导的从V_i到V_R的单应矩阵；在参考平面上有j个控制点X_R1,..，X_Rj，利用第一步所估计出的P_i矩阵，将X_R1,...,X_Rj投影至各视角图像上，利用黄金标准算法对平面∏_R诱导单应进行估计；

步骤三：设共有I个不同的平面与参考平面∏_R平行，分别为∏₁,...,∏_I，在每个平面上，均有J个不同的控制点，第i个平面上的第j个控制点用X_ij表示，利用各视点的姿态以及相机内参数，将X_ij投影至视角V_k以及参考视角V_R的图像上，设此投影点分别为x_ijk和x_ijR；则由三维点X_ij诱导的视角V_k与V_R之间的视差p_ijk在参考平面∏_R上表示如下：

p_ijk＝H_ix_ijk-x_ijR

式中，H_i为估计出的诱导单应；将同一平面上的J个视差数据进行累加求均，得到在平面∏_i上视角V_k与V_R之间的平均视差p_ik

$p_{\mathrm{ik}}=\frac{1}{J}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{p}_{\mathrm{ijk}}$

将I个平面上的K个不同视角的平均视差写成矩阵形式，得视差矩阵M，对矩阵M进行SVD分解，得

式中，s为标量系数，Δx_k为视角V_k与参考视角V_R的相对位置，d_i为平面∏_i与参考平面∏_R的相对距离：

$d_i=\frac{{\mathrm{\Δz}}_i}{Z}$

式中，Δz_i为∏_i到∏_R的距离，Z为∏_i到相机平面的距离。