CN103997638A - 一种矩阵式相机阵列多视点图像校正方法 - Google Patents

Abstract

本发明属于三维图像处理技术领域，提出一种矩阵式相机阵列获取的多视点图像的校正算法。包括：标定相机，得到相机阵列各相机实际内部矩阵、旋转矩阵、平移矩阵；矩阵式相机阵列理想旋转矩阵计算；矩阵式相机阵列各相机理想光心位置计算；矩阵式相机阵列理想内部矩阵计算；实际多视点图像与理想图像单应性矩阵(校正矩阵)计算；利用较真矩阵校正矩阵式相机阵列多视点图像。本发明能够有效地校正矩阵式相机阵列拍摄的多视点图像。

Description

一种矩阵式相机阵列多视点图像校正方法

技术领域

本发明属于三维图像校正技术领域，具体涉及一种针对矩阵式相机阵列拍摄的多视点图像的校正方法。

背景技术

多视点视频能够为观看者提供多个视点，使观看者在一定范围内能够自由的切换视点和视向，为观看者带来良好的立体感和沉浸感。目前，随着free video TV(FTV)和3DTV的快速发展，多视点视频制作技术成为新的研究热点。在多视点视频制作时，由于支架形变、相机内部感光元件存在差异及手动调节存在误差等原因，会造成左右相邻视点间图像存在垂直视差且水平视差不相等，上下相邻视点间垂直视差不相等且存在水平视差，严重影响了***后端合成的立体图像质量。因此，进行多视点图像校正在多视点视频制作过程中至关重要。

在计算机视觉领域，图像校正研究有了较长的发展历史，但是目前多存在的图像校正方法大多是针对双目相机、三目相机的双视点、三视点图像的校正方法。针对多视点图像校正方法还很少。一种通过校正实际矩阵式相机阵列所拍摄的多视点图像，达到理想矩阵式相机阵列所拍摄图像的观看效果的方法，至今尚未出现。

发明内容

本发明所要解决的技术问题是：提供一种针对矩阵式相机阵列所拍摄的多视点图像的校正算法，能够有效消除水平方向相邻视点间图像存在的垂直视差和水平视差差异性，竖直方向相邻视点间图像存在的垂直视差差异性以及水平视差。能够使校正后的多视点图像达到理想矩阵式相机阵列的拍摄效果，从而满足人们的观看需求。本发明的技术解决方案如下：

一种矩阵式相机阵列获取的多视点图像的校正算法，包括下列步骤：

1)选取矩阵式相机阵列中的一个相机camera₁₁作为参考相机，取其相机坐标系为世界坐标系，标定各个相机，得到矩阵式相机阵列中各相机内部矩阵K_ij，i＝1,2,3…M；j＝1,2,3…N，M为矩阵式相机阵列的行数，N为矩阵式相机阵列的列数，以及各相机相对于参考相机的旋转矩阵om_ij、平移矩阵T_ij；

2)利用遍态历经法，根据各相机旋转矩阵分别代表cameraij相对于参考相机在方向所成角度，计算得到矩阵式相机阵列最优相机旋转矩阵作为矩阵式相机阵列理想旋转矩阵，如(1)：

$\begin{array}{c}{\mathrm{om}}_{\mathrm{ideal}}=[\stackrel{\→}{x_{\mathrm{ideal}}},\stackrel{\→}{y_{\mathrm{ideal}}},\stackrel{\→}{z_{\mathrm{ideal}}}]\\ =\underset{\stackrel{\→}{x}\∈a,\stackrel{\→}{y}\∈b,\stackrel{\→}{z}\∈c}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{(\stackrel{\→}{x}-\stackrel{\→}{x_{\mathrm{ij}}})}^2+{(\stackrel{\→}{y}-\stackrel{\→}{y_{\mathrm{ij}}})}^2+{(\stackrel{\→}{z}-\stackrel{\→}{z_{\mathrm{ij}}})}^2}\end{array}---\left(1\right)$

其中a代表到的区间，b代表到的区间，c代表到的区间；

3)设矩阵式相机阵列相机光心为c_ij，设理想行间间距为理想行间间距为 设C_ij'＝(x_ij',y_ij',z_ij')则其坐标表达式如(2)，利用遍态历经求的参考相机理想光心位置c_11-ideal如(3)，然后根据c_11-ideal求得其他相机理想光心位置如(4)，进而求的各相机理想平移矩阵如(5)：

${C_{\mathrm{ij}}}^{\′}=C_{\mathrm{ij}}-(i-1)\stackrel{\→}{d}-(j-1)\stackrel{\→}{l}---\left(2\right)$

$C_{11-\mathrm{ideal}}=\underset{x\∈a^{\′},y\∈b^{\′},z\∈c^{\′}}{\arg \min }\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{(x-{x_{\mathrm{ij}}}^{\′})}^2+{(y-{y_{\mathrm{ij}}}^{\′})}^2+{(z-{z_{\mathrm{ij}}}^{\′})}^2}---\left(3\right)$

其中a′取值范围为min(x₁₁',x₁₂',x₁₃'...x_MN')到max(x₁₁',x₁₂',x₁₃'...x_MN')的区间；b′取值范围为min(y₁₁',y₁₂',y₁₃'...y_MN')到max(y₁₁',y₁₂',y₁₃'...y_MN')的区间；c′取值范围为min(z₁₁',z₁₂',z₁₃'...z_MN')到max(z₁₁',z₁₂',z₁₃'...z_MN')的区间；

$C_{\mathrm{ij}-\mathrm{ideal}}=C_{11-\mathrm{ideal}}+(i-1)\stackrel{\→}{d}+(j-1)\stackrel{\→}{l}---\left(4\right)$

T_{ij_ideal}＝-R_idealC_{ij_ideal}(R_ideal是om_ideal的Rodrigues变换)      (5)

4)排除与相机焦距均值方差大于二倍于均方差的相机，利用剩余相机的焦距，计算平均值，作为理想相机焦距f_ideal＝[f_ideal,x,f_ideal,y]；利用同样的方法,排除与相机主心坐标均值方差大于二倍于均方差的相机，利用剩余相机的主心坐标，计算平均值，作为理想相机主心坐标p_ideal＝[p_ideal,x,p_ideal,y]；相机倾斜因子s取值为零，从而得到相机理想内部矩阵 $K_{\mathrm{ideal}}=\left[\begin{array}{ccc}{f}_{\mathrm{ideal},x}& 0& p_{\mathrm{ideal},x}\\ 0& f_{\mathrm{ideal},y}& p_{\mathrm{ideal},y}\\ 0& 0& 1\end{array}\right];$

5)根据矩阵式相机阵列相机理想内部矩阵、理想旋转矩阵、理想平移矩阵，计算矩阵式相机阵列各相机理想投影矩阵P_ij-ideal＝K_ideal[R_ideal|T_ij-ideal]

6)计算实际图像与理想图像的单应性矩阵(校正矩阵)H_ij，如(6)：

其中表示矩阵式相机阵列中第i行第j列相机camera_ij实际投影矩阵P_ij的伪拟矩阵。

7)利用校正矩阵校正矩阵式相机阵列拍摄的多视点图像。

本发明优点在于：对于矩阵式相机阵列拍摄的多视点图像，本方法能够有效消除水平方向相邻视点间图像存在的垂直视差和水平视差差异性，竖直方向相邻视点间图像存在的垂直视差差异性以及水平视差。使得校正后的多视点图像达到理想矩阵式相机阵列的拍摄效果，从而满足人们的观看需求。并且一旦计算得到矩阵相机阵列各相机的校正矩阵后，利用该校正矩阵校正图像，在CPU为3GHZ，内存为3G的计算机上进行实验，耗时0.024s，这说明每秒能校正40余帧图像，能够实现实时校正的目的。

附图说明

通过参照附图来详细地描述本发明的实施方式，本发明的以上特征和优点对于本领域的技术人员将易于变得明显，其中：

图1是矩阵式相机阵列投影模型示意图；

图2是矩阵式相机阵列多视点图像校正流程图；

图3实际矩阵式相机阵列示意图；

图4理想矩阵式相机阵列示意图；

图5矩阵式相机阵列光心投影示意图；

图6矩阵式相机阵列拍摄的原始图像序列；

图7相机阵列各行相机所拍摄图像合成图像；

图8相机阵列各列相机所拍摄图像合成图像；

图9校正后图像序列

图10各行图像校正后合成图像

图11各列图像校正后合成图像

具体实施方式

现在将在下文中参照附图更加详细地描述本发明的实施方式。然而，可以通过不同的形式来具体实施本发明并且不应将本发明解释为限于这里所阐述的实施方式。更准确地说，提供这些实施方式是为了使公开全面并且完整，而且将全面地向本领域的技术人员传达本发明的观念。

本发明只针对矩阵式相机阵列多视点图像校正的研究。如图2，本发明利用传统相机标定方法(CameraCalibration Toolbox for Matlab)标定相机，得到矩阵式相机阵列各相机的内部参数、旋转矩阵和平移矩阵；利用遍态历经法求得矩阵式相机阵列的理想旋转矩阵与平移矩阵，同时对相机内部矩阵进行优化处理得到理想内部矩阵，进而得到矩阵式相机阵列各相机的理想投影矩阵；利用矩阵式相机阵列各相机的实际投影矩阵与理想投影矩阵，计算实际图像与理想图像的单应性矩阵(校正矩阵)；利用校正矩阵，校正多视点图像。具体实施步骤如下：

(1)相机标定

立体相机标定物方法的主要是在世界坐标系、相机坐标系和图像坐标系间建立转换关系模型(如图1)。本发明基于传统的双目相机标定方法，选取矩阵式相机阵列中上数第一行、左数第一列相机camera₁₁作为参考相机，以参考相机的相机坐标系作为世界坐标系，利用传统的双目相机标定方法(Camera CalibrationToolbox for Matlab)分别标定矩阵式相机阵列中各个相机(具体过程可参见以下文章和网站)，得到矩阵式相机阵列中各个相机的内部参数矩阵及相对于参考相机的旋转矩阵与平移矩阵。

[1]Z.Y.Zhang,A Flexible New Technique for Camera Calibration,Pattern Analysis and MachineIntelligence,IEEE Transactions on,Vol.22,No.11,pp.1330-1334,2000.

[2]http://www.vision.caltech.edu/bouguetj/calib_doc/

(2)计算矩阵式相机阵列相机理想旋转矩阵

图3所示为实际矩阵式相机阵列示意图，本发明利用遍态历经法，根据各相机旋转矩阵 ${\mathrm{om}}_{\mathrm{ij}}=(\stackrel{\→}{x_{\mathrm{ij}}},\stackrel{\→}{y_{\mathrm{ij}}},\stackrel{\→}{z_{\mathrm{ij}}}),$ 计算得到矩阵式相机阵列最优相机旋转矩阵 ${\mathrm{om}}_{\mathrm{ideal}}=(\stackrel{\→}{x_{\mathrm{ideal}}},\stackrel{\→}{y_{\mathrm{ideal}}},\stackrel{\→}{z_{\mathrm{ideal}}}),$ 作为矩阵式相机阵列理想旋转矩阵(如图4)。设a代表)到的区间，b代表到的区间，c代表到的区间。在a，b，c组成的三维空间内利用公式(1)寻找与实际相机旋转矩阵最接近的矩阵作为理想旋转矩阵，结合下文相机理想光心的求得，达到校正后图像形变量最小的目的。

$\begin{array}{c}{\mathrm{om}}_{\mathrm{ideal}}=[\stackrel{\→}{x_{\mathrm{ideal}}},\stackrel{\→}{y_{\mathrm{ideal}}},\stackrel{\→}{z_{\mathrm{ideal}}}]\\ =\underset{\stackrel{\→}{x}\∈a,\stackrel{\→}{y}\∈b,\stackrel{\→}{z}\∈c}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{(\stackrel{\→}{x}-\stackrel{\→}{x_{\mathrm{ij}}})}^2+{(\stackrel{\→}{y}-\stackrel{\→}{y_{\mathrm{ij}}})}^2+{(\stackrel{\→}{z}-\stackrel{\→}{z_{\mathrm{ij}}})}^2}\end{array}---\left(1\right)$

(3)计算矩阵式相机阵列各相机理想光心

如图5，c_ij(i＝1,2,3…M；j＝1,2,3…N)代表矩阵式相机阵列实际光心位置，设理想行间间距 $\stackrel{\→}{d}(\stackrel{\→}{d}=d\stackrel{\→}{y_{\mathrm{ideal}}}),$ 理想行间间距为 $\stackrel{\→}{l}(\stackrel{\→}{l}=l\stackrel{\→}{x_{\mathrm{ideal}}}),$ 则C_ij'＝(x_ij',y_ij',z_ij')(i＝1,2,3…M；j＝1,2,3…N)其坐标表达式如(2)。设a′代表坐标轴min(x₁₁',x₁₂',x₁₃'...x_MN')到max(x₁₁',x₁₂',x₁₃'...x_MN')的区间；b′代表坐标轴min(y₁₁',y₁₂',y₁₃'...y_MN')到max(y₁₁',y₁₂',y₁₃'...y_MN')的区间；c′代表坐标轴min(z₁₁',z₁₂',z₁₃'...z_MN')到max(z₁₁',z₁₂',z₁₃'...z_MN')的区间。由a′，b′，c′构成的三维区域内，依据公式(3)，计算camera₁₁理想光心c_11-ideal，然后根据公式(4)得到其他理想相机光心，进而利用公式(5)求的各相机理想平移矩阵。

${C_{\mathrm{ij}}}^{\′}=C_{\mathrm{ij}}-(i-1)\stackrel{\→}{d}-(j-1)\stackrel{\→}{l}(i=\mathrm{1,2,3}...M;j=\mathrm{1,2,3}...N)---\left(2\right)$

$C_{11-\mathrm{ideal}}=\underset{x\∈a^{\′},y\∈b^{\′},z\∈c^{\′}}{\arg \min }\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{(x-{x_{\mathrm{ij}}}^{\′})}^2+{(y-{y_{\mathrm{ij}}}^{\′})}^2+{(z-{z_{\mathrm{ij}}}^{\′})}^2}---\left(3\right)$

$C_{\mathrm{ij}-\mathrm{ideal}}=C_{11-\mathrm{ideal}}+(i-1)\stackrel{\→}{d}+(j-1)\stackrel{\→}{l}(i=\mathrm{1,2},3...M;j=\mathrm{1,2,3}...N)---\left(4\right)$

T_{i1_ideal}＝-R_idealc_{i_ideal}(R_ideal是om_ideal的Rodrigues变换)     (5)

(4)计算矩阵式相机阵列相机理想内部矩阵

设σ相机焦距均方差，σ'为相机主心均方差。根据公式(6)、(7)分别计算相机理想焦距、理想主心位置，根据理想焦距和理想主心确定理想相机内部矩阵如式(8)：

$\begin{array}{c}{f}_{\mathrm{ideal}}=[f_{\mathrm{ideal},x},f_{\mathrm{ideal},y}]\\ =\mathrm{ave\Σ}\left(f_i\right)=\mathrm{ave\Σ}\left(\right[f_{i,x},f_{i,y}\left]\right)\end{array},$

$f_i=[f_{i,x},f_{i,y}]\∈\{f_i=[f_{i,x},f_{i,y}\left]\right|(f_i-\stackrel{\‾}{f}{)}^2=\left(\right[f_{i,x},f_{i,y}]-[\stackrel{\‾}{f_x},{\stackrel{\‾}{f}}_y\left]\right){\·}^2\≤2\mathrm{\σ}---\left(6\right)$

$\begin{array}{c}{P}_{\mathrm{ideal}}=[P_{\mathrm{ideal},x},P_{\mathrm{ideal},y}]\\ =\mathrm{ave\Σ}\left(P_i\right)=\mathrm{ave\Σ}\left(\right[P_{i,x},P_{i,y}\left]\right)\end{array},$

$P_j=[P_{j,x},P_{j,y}]\∈\{P_j=[P_{j,x},P_{j,y}\left]\right|(P_j-\stackrel{\‾}{P})=\left(\right[P_{j,x},P_{j,y}]-[\stackrel{\‾}{P_x},\stackrel{\‾}{P_y}\left]\right){\·}^2\≤{2\mathrm{\σ}}^{\′}---\left(7\right)$

$K_{\mathrm{ideal}}=\left[\begin{array}{ccc}{f}_{\mathrm{ideal},x}& s& p_{\mathrm{ideal},x}\\ 0& f_{\mathrm{ideal},y}& p_{\mathrm{ideal},y}\\ 0& 0& 1\end{array}\right]---\left(8\right)$

其中倾斜因子S一般取值为零。

(5)计算矩阵式相机阵列理想相机投影矩阵

根据矩阵相机阵列相机理想内部矩阵、理想旋转矩阵、理想平移矩阵，计算矩阵式相机阵列各相机理想投影矩阵P_ideal,i，如式(9)：

P_ij-ideal＝K_ideal[R_ideal|T_ij-ideal]，(i＝1,2,3…M；j＝1,2,3…N)     (9)

(6)计算图像校正矩阵

计算实际图像与理想图像的单应性矩阵(图像校正矩阵)H_i，如(10)：

其中表示矩阵式相机阵列中第i行第j列相机camera_ij实际投影矩阵P_ij的伪拟矩阵。

(7)利用校正矩阵校正矩阵式相机阵列拍摄的多视点图像。

为了验证本发明，我们拍摄了多组图像进行实验。其中如图6，是通过行间距为65mm，列间距为80mm的4行4列相机阵列，拍摄距离相机阵列约2.5米处的红色水壶的图像序列；图7为各行相机所拍摄图像的合成图像，图8为各列相机拍摄图像的合成图。图9为校正后图像序列，图10为各行图像校正后合成图像，图11为各列图像校正后合成图像。下文对校正效果进行数值分析，我们主要通过对各行图像的垂直视差、水平视差差异性(各左右相邻图像的水平视差的标准方差)，各列图像水平视差、垂直视差差异性(各上下相邻图像的垂直视差的标准方差)四个参数对校正前后图像序列进行比较。计算每行图像垂直视差和计算每列图像的水平视差是类似的，选取其中一幅图像作为参考图像，利用Speed Up Robust Features(SURF)算法对其他图像与参考图像进行特征点检测与匹配(实现过程参考以下文章)，选取30对匹配特征点，并利用RANSAC检测并剔除奇异值，利用选取的匹配特征点纵坐标差的绝对值的平均值(横坐标差的绝对值的平均值)，作为每行中各图像相对参考图像的垂直视差(每列图像中各图像相对于参考图像的水平视差)。计算每行图像水平视差差异性和计算每列图像垂直视差差异性的方法一致，利用SURF算法对每行图像中左右相邻的图像(每列图像中上下相邻的图像)进行特征点检测与匹配，并利用RANdomSAmple Consensus(RANSAC)检测并剔除奇异值，利用选取的匹配特征点水平视差的平均值(垂直视差的平均值)作为左右相邻图像间的水平视差(上下相邻图像间的垂直视差)，最后利用各水平视差的标准方差(各垂直视差的标准方差)作为每行图像水平视差的差异性(每列图像垂直视差的差异性)。表1为各行图像校正前后垂直视差比较，表2为各行图像校正前后水平视差差异性比较，表3为各列图像校正前后水平视差比较，表4为各列图像校正前后垂直视差差异性比较。

[3]C.Evans,Notes on the opensurf library,University of Bristol,Tech.Rep.CSTR-09-001,2009.

表1 矩阵式相机阵列各行图像校正前后垂直视差比较

表2 矩阵式相机阵列各行图像校正前后水平视差差异性比较

表3 矩阵式相机阵列各列图像校正前后水平视差比较

表4 矩阵式相机阵列各列图像校正前后垂直视差差异性比较

本发明所提出矩阵式相机阵列多视点图像校正算法,能够有效的消除矩阵式相机阵列拍摄的多视点图像序列中，各行图像的垂直视差、水平视差差异性，各列图像的水平视差、垂直视差差异性。使得校正后图像序列满足理想矩阵式相机阵列所拍摄的多视点图像的效果，而且能够达到实时校正的目的，使校正后图像能够满足人们的观看需求。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (1)

1.本发明属于三维图像处理技术领域，提出一种矩阵式相机阵列获取的多视点图像的校正算法。包括：标定相机，得到相机阵列各相机实际内部矩阵、旋转矩阵、平移矩阵；矩阵式相机阵列理想旋转矩阵计算；矩阵式相机阵列各相机理想光心位置计算；矩阵式相机阵列理想内部矩阵计算；实际多视点图像与理想图像单应性矩阵(校正矩阵)计算；利用较正矩阵校正矩阵式相机阵列多视点图像。本发明能够有效地校正矩阵式相机阵列拍摄的多视点图像。