CN102169577A

CN102169577A - 用于确定失准的方法和装置

Info

Publication number: CN102169577A
Application number: CN2011100495782A
Authority: CN
Inventors: 乔纳森·理查德·索尔佩; 萨拉·伊丽莎白·威特
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-02-26
Filing date: 2011-02-28
Publication date: 2011-08-31
Also published as: US8538198B2; GB2478164A; US8494307B2; GB201014339D0; US20110211750A1; US20110211751A1; GB2478169A; JP2011182397A; GB201005989D0

Abstract

本发明公开了用于确定失准的方法和装置。描述了一种确定第一图像和第二图像之间的失准的方法，第一图像和第二图像可立体地观看，该方法包括：确定第一图像中的特征位置和第二图像中的对应特征位置；在第一图像和第二图像中限定捕捉各个图像的相机的光轴；以及计算第一图像中的特征位置和第二图像中的对应特征位置的比例、滚转或垂直平移中至少一者之间的失准，所述失准是依据第一图像的特征位置和第二图像的对应特征位置相对于各个图像的所限定光轴的位置来确定的。还描述了一种相应装置。

Description

用于确定失准的方法和装置

技术领域

本发明涉及用于确定失准(misalignment)的方法和装置。

背景技术

当拍摄立体视频作为3D图像进行观看时，惯常作法是使用两个相机来拍摄连续镜头(footage)。为了确保正确地捕捉连续镜头，相机应当具有相似水平的缩放率和最小的垂直视差。此外，相机的滚转的失准应当最小。

通常，在可能的情况下，这将由相机操作者来校正。两个相机之间的失准通常不是表现为上述差错中的任一者，而通常是两个或更多个失准的组合。这使得相机操作者很难确定和校正失准。

本发明实施例的一个目的是解决这个问题。

发明内容

根据第一方面，提供了一种确定第一图像和第二图像之间的失准的方法，第一图像和第二图像可立体地观看，该方法包括：确定第一图像中的特征位置和第二图像中的对应特征位置；在第一图像和第二图像中限定捕捉各个图像的相机的光轴；以及计算第一图像中的特征位置和第二图像中的对应特征位置的比例、滚转或垂直平移中至少一者之间的失准，所述失准是依据第一图像的特征位置和第二图像的对应特征位置相对于各个图像的所限定光轴的位置来确定的。

这是有利的，因为其使得可快速且准确地地计算滚转、比例和垂直失准，从而使得可快速地设立立体相机。

该方法还可包括在第一图像中限定至少一个另外的特征位置，以及在第二图像中限定至少一个另外的对应特征位置，其中，垂直平移是如下计算的：选择第一图像中的两个特征位置和第二图像中的两个对应特征位置；以及根据第一图像和第二图像之间的给定滚转失准来确定垂直平移。

第一图像中的特征位置和第二图像中的对应特征位置可位于所限定的光轴上方，并且第一图像中的所述另外的特征位置和第二图像中的所述另外的对应特征位置可位于所限定的光轴的下方。

垂直平移可使用如下等式来确定：

T = \frac{(R_{1} \cdot y 2_{l} - R_{2} \cdot y 1_{l})}{(y 1_{l} + y 2_{l})}

其中，T是平移值，y1_r是第二图像中的特征位置的y坐标，y2_l是第一图像中的所述另外的特征位置的y坐标；并且R₁＝x1_r·sin(θ)+y1_r·cos(θ)，其中x1_r是第二图像中的所述对应特征位置的x坐标，y1_r是第二图像中的所述对应特征位置的y坐标，而R₂＝x2_r·sin(-θ)+y2_r·cos(-θ)，其中x2_r是第二图像中的所述另外的对应特征位置的x坐标，y2_r是第二图像中的所述另外的对应特征位置的y坐标。

比例可如下计算：选择第一图像中的特征位置和第二图像中的对应特征位置；以及根据第一图像和第二图像之间的给定垂直平移来确定所述比例。

第一图像中的特征位置和第二图像中的对应特征位置可位于所限定的光轴上方，或者第一图像中的特征位置和第二图像中的对应特征位置可位于所限定的光轴下方。

比例度量可使用如下等式来确定：

S = \frac{y_{l}}{x_{r} . \sin (&PlusMinus; θ) + y_{r} . \cos (&PlusMinus; θ) &PlusMinus; T}

其中S是比例度量，y_l是第一图像中的特征位置的y坐标，y_r是第二图像中的特征位置的y坐标，x_r是第二图像中的特征位置的x坐标，±θ是第一图像和第二图像之间的、相对于光轴的给定滚转，并且±T是对应特征位置之间的相对于光轴的给定垂直平移。

该方法还可包括在第一图像中限定至少一个另外的特征位置，以及在第二图像中限定至少一个另外的对应特征位置，其中滚转可如下计算：选择第一图像中的两个特征位置和第二图像中的两个对应特征位置；以及根据第一图像和第二图像之间的给定比例失准来确定所述滚转。

第一图像中的特征位置和第二图像中的对应特征位置可位于所限定的光轴的左侧，并且第一图像中的另外的特征位置和第二图像中的对应特征位置可位于所限定的光轴的右侧。

滚转失准可使用如下等式来计算：

Δθ = {Tan}^{- 1} (\frac{R - L}{1 + R \cdot L})

其中

L = \frac{(y 2_{l} - y 1_{l})}{S \cdot (x 2_{r} - x 1_{r})},

并且

R = \frac{(y 2_{r} - y 1_{r})}{(x 2_{r} - x 1_{r})}

S是第一图像和第二图像之间的比例失准，y2_l是第一图像中的所述另外的特征位置的y坐标，y1_l是第一图像中的特征位置的y坐标，y1_r是第二图像中的对应特征位置的y坐标，x2_r是第二图像中的所述另外的对应特征位置的x坐标，并且x1_r是第二图像中的对应特征位置的x坐标。

所述特征位置和所述另外的特征位置可以随机生成。

所述特征位置可以是在第一图像和第二图像各自中的像素位置。

根据本发明另一方面，提供了一种可操作来确定第一图像和第二图像之间的失准的图像处理装置，第一图像和第二图像可立体地观看，所述装置包括：确定器，可操作来确定所述第一图像中的特征位置和所述第二图像中的对应特征位置；限定器，可操作来在所述第一图像和第二图像中限定捕捉各个所述图像的相机的光轴；以及失准计算器，可操作来计算所述第一图像中的特征位置和所述第二图像中的对应特征位置的比例、滚转或垂直平移的至少一者之间的失准，所述失准是依据所述第一图像的特征位置和所述第二图像的对应特征位置相对于各个图像的所限定光轴的位置来确定的。

所述限定器还可操作来在所述第一图像中限定至少一个另外的特征位置，以及在所述第二图像中限定至少一个另外的对应特征位置，其中，所述垂直平移是如下计算的：选择所述第一图像中的两个特征位置和所述第二图像中的两个对应特征位置；以及根据所述第一图像和所述第二图像之间的给定滚转失准来确定垂直平移。

所述第一图像中的特征位置和所述第二图像中的对应特征位置可以位于所限定的光轴上方，并且所述第一图像中的所述另外的特征位置和所述第二图像中的所述对应特征位置可以位于所限定的光轴的下方。

所述垂直平移可以使用如下等式来确定：

T = \frac{(R_{1} \cdot y 2_{l} - R_{2} \cdot y 1_{l})}{(y 1_{l} + y 2_{l})}

其中，T是平移值，y1_r是所述第二图像中的特征位置的y坐标，y2_l是所述第一图像中的所述另外的特征位置的y坐标；并且R₁＝x1_r·sin(θ)+y1_r·cos(θ)，其中x1_r是所述第二图像中的所述对应特征位置的x坐标，y1_r是所述第二图像中的所述对应特征位置的y坐标，而R₂＝x2_r·sin(-θ)+y2_r·cos(-θ)，其中x2_r是所述第二图像中的所述另外的对应特征位置的x坐标，y2_r是所述第二图像中的所述另外的对应特征位置的y坐标。

所述比例可以如下计算：选择所述第一图像中的特征位置和所述第二图像中的对应特征位置；以及根据所述第一图像和所述第二图像之间的给定垂直平移来确定所述比例。

所述第一图像中的特征位置和所述第二图像中的对应特征位置可以位于所限定的光轴上方，或者所述第一图像中的特征位置和所述第二图像中的对应特征位置可以位于所限定的光轴下方。

比例度量可以使用如下等式来确定：

S = \frac{y_{l}}{x_{r} . \sin (&PlusMinus; θ) + y_{r} . \cos (&PlusMinus; θ) &PlusMinus; T}

其中S是所述比例度量，y_l是所述第一图像中的特征位置的y坐标，y_r是所述第二图像中的特征位置的y坐标，x_r是所述第二图像中的特征位置的x坐标，±θ是所述第一图像和所述第二图像之间的、相对于光轴的给定滚转，并且±T是所述对应特征位置之间的相对于光轴的给定垂直平移。

所述限定器可操作来在所述第一图像中限定至少一个另外的特征位置，以及在所述第二图像中限定至少一个另外的对应特征位置，其中所述滚转是如下计算的：选择所述第一图像中的两个特征位置和所述第二图像中的两个对应特征位置；以及根据所述第一图像和所述第二图像之间的给定比例失准来确定所述滚转。

所述第一图像中的特征位置和所述第二图像中的对应特征位置可以位于所限定的光轴的左侧，并且所述第一图像中的所述另外的特征位置和所述第二图像中的对应特征位置可以位于所限定的光轴的右侧。

所述滚转失准可以使用如下等式来计算：

Δθ = {Tan}^{- 1} (\frac{R - L}{1 + R \cdot L})

其中

L = \frac{(y 2_{l} - y 1_{l})}{S \cdot (x 2_{r} - x 1_{r})},

并且

R = \frac{(y 2_{r} - y 1_{r})}{(x 2_{r} - x 1_{r})}

S是所述第一图像和所述第二图像之间的比例失准，y2_l是所述第一图像中的所述另外的特征位置的y坐标，y1_l是所述第一图像中的特征位置的y坐标，y1_r是所述第二图像中的对应特征位置的y坐标，x2_r是所述第二图像中的所述另外的对应特征位置的x坐标，并且x1_r是所述第二图像中的对应特征位置的x坐标。

所述特征位置和所述另外的特征位置可以随机生成。

所述特征位置可以是在所述第一图像和所述第二图像各自中的像素位置。

附图说明

本发明的上述和其他目的、特征和优点将从下面对例示性实施例的详细描述中明了，其中将结合附图来阅读该详细描述，在附图中：

图1示出了根据本发明一个实施例的连接到失准度量计算器的相机布置；

图2示出了图1的失准度量计算器；

图3示出了说明由图1的失准度量计算器中的边缘检测器和对应点确定器执行的处理的流程图；

图4示出了图3的流程图的图解叙述；

图5示出了说明失准度量的计算的流程图；

图6示出了说明用于确定垂直平移度量的原理的流程图；

图7示出了用于将像素位置转换为相对于光轴的像素位置的方法；

图8示出了说明用于确定比例度量的原理的流程图；

图9示出了说明用于确定滚转度量的原理的流程图；

图10示出了说明垂直平移度量算法的确定的示图；以及

图11和12示出了说明滚转度量算法的确定的示图。

具体实施方式

总体方法

在实施例中，为了计算立体图像的失准度量，执行了如下的广义方法：

1)选择两个图像之一中的关键特征点。在实施例中，左侧图像的关键特征点被选择。

2)使用这些关键特征点作为块匹配处理的基础来确定右手侧图像的对应关键特征点。

3)执行一系列几何计算以产生三个失真度量。具体地，确定了指示出垂直差距的度量，确定了指示出比例差距(scale disparity)的度量，最后确定了指示出滚转差距的度量。在实施例中，使用先前步骤中确定的度量来计算随后步骤中的度量。虽然此论述指示出按特定顺序来确定这三个度量，但是本发明不限于此，如下文将要说明的。这些度量可以任何顺序来计算。这些度量随后可用于调整相机的物理位置和/或相机的参数，或者可用于电子地调整所捕捉的图像以考虑失准。

图1示出了本发明实施例的实现方式。两个相机110和120被按立体方式设立。这些立体相机一起形成了相机布置100。根据本发明实施例，来自每一个相机的输出被馈入失准度量计算器200。度量计算器200确定布置100中的两个相机之间的失准量。这里应当注意，被设立来捕捉立体图像的相机必须具有水平位移，但是使图像具有水平位移对于本算法而言并不是必要的。因此，度量计算器200确定了指示出垂直差距的度量，并且指示出滚转差距的度量和确定比例差距的度量被产生。这些度量可由相机操作者用于在实体上校正相机的失准，或者可用于控制伺服电机来校正失准。事实上，这些度量也可用于电子地校正由相机布置100产生的图像，而无需对相机方位进行任何物理校正。

图2更详细地示出了度量计算器200。来自两个相机的图像被馈入边缘检测器210。边缘检测器210用于确定左手侧图像中的水平边缘。检测到的边缘随后被馈入对应点确定器220，该对应点确定器220确定右手侧图像中与左手侧图像中的点相对应的点。换而言之，对应点确定器220确定来自右手侧图像的某些像素位于左手侧图像中的何处。度量在度量确定器230中被计算出并被输出。

图3提供了说明由边缘检测器210和对应点确定器220执行的处理的流程图。该流程图是使用图4中的图像进行叙述的。

在图4中，(由左手侧相机120捕捉的)左手侧图像120A包含汽车125A的图像。在图3的步骤S2101中，左手侧图像中的水平边缘被检测出。在实施例中，这可例如使用诸如Sobel边缘检测算法之类的边缘检测算法来实现。检测水平边缘的原因是因为要计算的度量之一是两幅图像之间的垂直位移。这样，通过仅计算水平边缘，减少了候选特征点的数目，而不会对结果的准确度产生实质性影响。

在左手侧图像中的水平边缘被计算出之后，类似于120B(参见图4)的图像被产生。如从图4中可见，差错边缘125B被产生。这在右手侧图像中不具有对应点。因此，希望减少检测到的水平边缘的数目。水平边缘数目的减少在图3的步骤S2102中发生。为了实现这个目的，边缘被检测图像被划分成拼贴块(tile)。在实施例中，每一个拼贴块为宽16像素乘以高16像素。在图4中示出了一个拼贴块125C。但是，可以选择任何尺寸的拼贴块。类似地，可以选择任何形状的拼贴块，以使得拼贴块例如具有矩形。忽略任何没有超出拼贴块的边缘。换而言之，检测出的长度小于16像素的边缘被忽略。通过执行这种减少，假性且差错的边缘被忽略。这提高了结果的可靠度，同时降低了方法的运算成本。

在检测出的边缘的数目被减少之后，图像被划分成象限。象限的中心是图像的光轴。实施例中使象限以光轴为中心的原因是因为光轴是线性不变的。换而言之，光轴不受比例和滚转失真的影响。为了便于说明，假设图像的光轴就是图像的中心。但是，本领域技术人员将了解，虽然这是非常有效的假设，但是情况并不总是这样。这被在图4中的120D示出，其中，一个象限125D被高亮显示。

在已经将图像划分到象限中之后，从每一个象限选择采样数目的边缘像素。在实施例中，从每一个象限选择20个像素，但是本发明不限于此，并且可以选择任何数目的像素。这种选择可以基于运算的准确度和速度之间的平衡，如将了解的。此外，在实施例中，随机地选择像素，虽然本发明不限于此。

在图4的120E中示出了已经选择了选定数目的像素的典型图像。一个这样的像素位置被在125E高亮显示。应当注意，像素位置被限定成合适的特征点，但是本发明不限于此。诸如次像素位置之类的其他特征点也可被确定，如将了解的。由于多个次像素中的任一个可存在于“通常的”像素位置，所以可以随机地或者以某种其他方法来选择次像素的值。此外，可向用户通知在“通常的”像素位置处的不同可能次像素值。

方法到目前为止已经识别了左手侧图像中的特征位置。这些特征位置是左手侧图像中的像素位置。现在有必要确定右手侧图像中的对应像素位置存在于哪里。

为了进行这一处理，在右手侧图像的每一个限定的像素位置执行搜索。换而言之，当在左手侧图像中限定了数个像素位置中的位置时，需要围绕右手侧图像中的相同像素位置执行搜索以确定对应像素位于哪里。这是使用块匹配技术来实现的。

在步骤S2104，在右手侧图像中的每一个像素位置执行传统的块匹配技术以确定对应像素位置。对这一处理的图示被示出在图4中的110B处。如从图像110B可见，得自左手侧图像的像素位置125E形成了右手侧图像110B中的搜索区域的中心。搜索区域的尺寸必须容纳由差错引起的失准以及实现立体观看所需的有意水平位移。因此，对于典型的高清晰图像，在实施例中，搜索区域为高250像素乘以宽100像素。但是本发明不限于此，而可以使用其他尺寸和形状的搜索区域。

块匹配技术的结果是概率图，其提供搜索区域中的每一个像素位置与左手侧图像中限定的像素位置125E相对应的概率。右手侧图像中具有最高概率的像素位置被选择作为右手侧图像中与左手侧图像中的像素位置125E相对应的像素位置。如从图4可见，右手侧图像中的像素位置被定义为像素位置119B。如步骤S2105所述，针对在左手侧图像中限定的所有像素位置重复这一处理。

为了确保差错结果的数目得以减少，来自步骤S2105的结果被过滤。作为第一过滤器，当右手侧图像中的限定的对应像素位置具有概率1时，在某一阈值例如0.98(或者98％确定性)以下的所有结果都被忽略。这减少了差错结果的数目。由于这是一个示例阈值，所以可以设想其他合适阈值，并且本发明不限于此。

此外，由于左手侧中的像素位置是边缘像素位置，所以右手侧图像中的对应点也应当是边缘像素位置。因此，右手侧图像也经历诸如Sobel边缘检测算法之类的边缘检测算法以检测水平边缘。如果右手侧图像中的对应像素位置位于这些水平边缘之一上，则右手侧图像中的像素位置确实对应在左手侧图像中确定的像素位置的概率增加。应当注意，可以使用这些技术中的任一者或两者来降低差错结果的可能性。事实上，也可使用两种技术的组合。

参考图2，来自对应点确定器220的输出是左手侧图像中的像素位置的列表和右手侧图像中的对应点的列表。这些列表被馈入度量计算器230。虽然已经说明了前述内容，但是可等同地使用用于确定一个图像的位置和第二图像中的对应点的传统技术。但是，这里应当注意，前述方法比诸如尺度不变特征变换(SIFT，Scale-Invariant Feature Transform)之类的其它传统技术更加快速并且运算成本更低。

度量计算

图5示出了说明在已经确定对应点之后对度量的计算的流程图。如从算法的结构中可见，度量值是迭代地计算的。在算法的每一次迭代期间，度量值开始向稳定值收敛。这里应当注意，算法是实时地运行的。这意味着对于一个视频帧，算法可能达不到所需的稳定状态。如果是这种情况，则算法对数个不同帧运行。这是因为失准在达到稳定状态之前所需的少量帧之间不太可能改变。应当注意，如果需要对另一个视频帧运行度量算法，则将需要对该新的视频帧运行图3所述的对应算法。另一方面，如果在一个视频帧期间达到稳定状态，则图3的对应算法仅需运行一次。

在达到稳定状态之后，算法可以周期性地被运行，例如每10秒一次或者在预定数目的帧之后，以确保相机没有变成失准。或者，可以在相机焦距改变之后或者响应于任何其他动作而运行算法。

在步骤S501，在度量计算的第一次迭代之前，将滚转度量设定为0°。滚转度量的这个值将在度量计算算法的第一次迭代期间被更新。优先于度量的任何其他假定值而将滚转度量设定为0°的原因是因为滚转度量将接近零。这是因为在相机操作者的初始设置期间，滚转差异由于滚转的失配对图像的影响而很可能较小。因此，通过作出滚转度量为0°的初始假定，其他度量的准确度初始将较高，从而总体算法将更快地达到合适的准确度水平。

在步骤S502，将使用滚转的值来计算垂直平移度量。这将在后面参考图6进行说明。

在步骤S503，将使用垂直平移度量的计算值来计算比例度量(scale metric)。这将在后面参考图8进行说明。

在步骤S504，将使用比例度量的计算值来计算滚转度量。这将在后面参考图9进行说明。

由于这些度量是基于迭代来计算的，所以在步骤S505，确定针对一个视频帧的度量计算的迭代次数。如果迭代次数低于阈值(例如5)，则使用在先前迭代中计算出的值作为初始值再次运行算法。

如果迭代次数高于阈值，则检查算法以确认是否已达到稳定状态(步骤S506)。这可在迭代之间的度量值没有改变诸如0.05％的阈值的情况下确定。如果度量是稳定状态，则这些度量值被输出，并且算法在再次需要之前一直等待，例如如果相机设定如上所述地改变则再次需要算法。

垂直平移度量的计算(图5的步骤S502)

图6示出了说明用于确定垂直平移度量的原理的流程图。

由于光轴是比例不变的，所以相对于相机所捕捉的图像的光轴来计算垂直平移值是有利的。为了进行这一计算，需要将由对应点确定器220确定的像素位置转换为相对于光轴的像素位置。图7示出了用于将像素位置转换为相对于光轴的像素位置的一种方法。在传统的像素标记方案中，对于高清晰图像，左上角像素位置被定义为(0，0)，而右下角像素位置是(1920，1080)。因此，在这种传统方式中，图像中心(如上所述，其被假定为光轴位置)具有像素位置(960，540)。(参见上述)但是，在本发明的实施例中，图像中心具有像素位置(0，0)。为了将传统的像素位置(400，400)转换为相对于光轴，需要确定该像素位置与图像中心之间的距离。从图7可见，传统像素位置(400，400)在光轴以左560像素和光轴以上140像素处。因此，传统像素位置(400，400)相对于光轴的像素位置是(-560，140)。

为了确定指示出垂直平移度量的度量，选择来自左侧图像的两个特征位置。具体地，选择左手侧图像中位于光轴下方的一个特征位置和位于光轴上方的一个特征位置(S602)。在实施例中，这些特征点被随机选择，尽管本发明不限于此。此外，还从右手侧图像选择对应特征位置(S603)。

在选择了这些点之后，将它们置入下面的等式1中以确定平移值(S604)。

T = \frac{y 2_{l} . R_{1} - y 1_{l} . R_{2}}{y 1_{l} + y 2_{l}}

等式1

其中，R₁＝x1_r.sin(±θ)+y1_r.cos(±θ)并且

R₂＝x2_r.sin(±θ)+y2_r.cos(±θ)

其中，T是平移值，y1_r是第二图像中的特征位置的y坐标，y2_l是第一图像中的另一特征位置的y坐标；x1_r是第二图像中与第一图像中的特征位置相对应的特征位置的x坐标，y1_r是第二图像中的对应特征位置的y坐标，x2_r是第二图像中的另一对应特征位置的x坐标，并且y2_r是第二图像中的另一对应特征位置的y坐标。

在说明书的末尾提供了对此公式的推导。

这里应当注意，值R₁和R₂中的θ值的符号取决于特征点p1和p2所处的象限。具体地，如果特征点(或位置)处在右下或者左上象限，则滚转值是-θ。或者，如果特征点处在左下或者右上象限，则滚转值是+θ。这是因为滚转是相对于光轴来测量的。

在确定了这些点的平移之后，将计算出的垂直平移度量的数目递增1(步骤S605)。这个数目被与阈值相比较(步骤S606)。如果计算出的度量值的数目小于阈值，则选择另两个点，并且再次运行垂直平移度量算法。在实施例中，阈值是20，但是可以设想任意其他值。

如果计算出的度量值的数目高于阈值，则按从低到高的顺序对计算值排序(步骤S607)。然后选择排序后的列表中的中间值(步骤S608)，并且将该值视作图5的步骤S502计算出的度量值。这一中间度量值被输出作为垂直平移度量，并被馈入比例度量算法(图5的步骤S503)。应当注意，可直接从导出值选择中间值。换而言之，可能无需在选择中间值之前对度量值进行排序。这同样适用对其他度量的计算。

比例度量的计算(图5的步骤S503)

图8示出了说明用于确定比例度量的原理的流程图。

在步骤S801，如参考图7所说明的，在对应点确定器220中确定的像素位置被转换成相对于光轴的像素位置。

为了确定比例度量，选择来自左侧图像的特征位置(S802)。在实施例中，特征点是随机选择的，但是本发明不限于此。此外还选择了来自右手侧图像的对应特征位置(S803)。

在该点被选择之后，其被置入下面的等式2以确定比例值(S804)。

S = \frac{y_{l}}{x_{r} . \sin (&PlusMinus; θ) + y_{r} . \cos (&PlusMinus; θ) &PlusMinus; T}

等式2

其中，T，即平移度量的符号取决于该点位于哪里；y_l是第一图像中的特征位置的y坐标，y_r是第二图像中的特征位置的y坐标，x_r是第二图像中的特征位置的x坐标。如果p位于光轴上方，则值为+T，而如果该点位于光轴下方，则值为-T。此外，θ的符号取决于点p位于哪个象限，如稍后所述。

在说明书的末尾也提供了对此公式的推导。

在确定了比例之后，将计算出的比例度量的数目递增1(步骤S805)。该数目被与阈值相比较(步骤S806)。如果计算出的度量值的数目小于阈值，则选择另一点并再次运行比例度量算法。在实施例中，阈值是20，但是可以设想任何其他值。

如果计算出的度量值的数目高于阈值，则按从低到高的顺序对计算值排序(步骤S807)。然后选择排序后的列表中的中间值(步骤S808)，并且将该值视作图5的步骤S503计算出的度量值。这一中间度量值被输出作为比例度量，并被馈入滚转度量算法(图5的步骤S504)。

滚转度量的计算

图9示出了说明用于确定滚转计算的原理的示图。

在步骤S901，如参考图7所说明的，在对应点确定器220中确定的像素位置被转换成相对于光轴的像素位置。

为了确定滚转度量，选择来自左侧图像的两个特征位置。具体地，选择左手侧图像中位于光轴左侧的一个特征位置和位于光轴右侧的一个特征位置(S902)。在实施例中，这些特征点是随机选择的，但是本发明不限于此。此外还选择了来自右手侧图像的对应特征位置(S903)。

在选择了这些点之后，将它们置入下面的等式3中以确定平移值(S904)。

Δθ = {Tan}^{- 1} (\frac{R - L}{1 + R \cdot L})

等式3

其中，

并且S是比例度量。

S是第一图像和第二图像之间的比例失准，y2_l是第一图像中的另一特征位置的y坐标，y1_l是第一图像中的特征位置的y坐标，y1_r是第二图像中的对应特征位置的y坐标，x2_r是第二图像中的另一对应特征位置的x坐标，并且x1_r是第二图像中的对应特征位置的x坐标。

在说明书的末尾提供了对此公式的推导。

在确定了这些点的滚转之后，将计算出的滚转度量的数目递增1(步骤S905)。该数目被与阈值相比较(步骤S906)。如果计算出的度量值的数目小于阈值，则选择另两个点并且再次运行滚转度量算法。在实施例中，阈值是20，但是可以设想任何其他值。

如果计算出的度量值的数目高于阈值，则按从低到高的顺序对计算值排序(步骤S907)。然后选择排序后的列表中的中间值(S908)，并将该值视作图5的步骤S504计算出的度量值。该中间度量值被输出作为滚转度量。

如果在步骤S505或S506再次运行了度量计算算法，则在步骤S908中计算出的滚转值被在下一次迭代中使用。但是，如果没有再次运行度量计算算法，则在步骤S908计算出的滚转度量以及来自步骤S608的垂直平移度量和来自步骤S808的比例度量被输出作为度量计算算法的结果。

其他实施例

上文中描述了稳定状态。应当注意，这对于本发明而言并不必要。算法的单次迭代将指示出允许进行校正的失配水平。事实上，任意次数的迭代都将标识失配量。

本发明的实施例可被提供作为计算机可读指令，这些指令当被载入计算机时，将该计算机配置为执行所包含的方法。这些计算机可读指令可用任何计算机可读语言来编写，或者事实上，可用适当微处理器所能理解的任何语言来编写。计算机程序可被存储在诸如磁盘、光盘或任何固态存储器之类的记录介质上。此外，计算机程序可以网络(例如，因特网)上的载波的形式存在。

虽然上面描述了在每一单独算法中进行像素向相对于图像的光轴的转换，但是本发明不限于此。事实上，转换可在对应点被计算出之后以及在特征点被传递到度量计算器230之前发生。这可降低度量计算器230中的运算负担。而且，在相同的和其他实施例中，仅在每一算法中使用的所选像素位置将被转换为相对于光轴。换而言之，仅在点被选择用于计算度量之后，这些点才会被转换。

虽然上面描述了按特定顺序来计算不同度量，但是本发明不限于此。可按任何顺序来计算度量。

虽然上面描述了从高清晰图像获得度量，但是本发明不限于此。例如，可从标准清晰度图像获得度量，或者从高清晰图像的比例缩小版本获得度量。例如可从4∶1比例缩小后的图像获得度量。在此情况中，缩小后的图像中的一个图像包括高清晰图像中的四个像素。在此情形中，可从高清晰图像中的四个可能像素值选择缩小后的图像的实际像素值。这种选择可以随机进行。

此外，如果一个或多个失准度量值指示出差错不是整数像素值，则可将在失准值上方和下方的最接近整数像素值显示给用户，以使得他们能够选择他们希望使用哪个像素，或者甚至可以选择围绕该最接近整数的最接近像素值。

虽然已经参考附图在此详细描述了本发明的例示性实施例，但是应当理解，本发明不限于这些精确实施例，本领域技术人员在不脱离由所附权利要求限定的本发明的范围和精神的情况下可以实现各种改变和修改。

平移度量的推导

参考图10，假设两个点，即，由坐标对(x1，y1)描述的点p1和由坐标对(x2，y2)描述的p2，可以通过点y1_r和y2_r的滚转、平移和比例缩放来表示y1_l和y2_l的位置。

假设y1_l位于光轴上方，其可描述为：

y1_l＝S(x1_r·sin(θ)+y1_r·cos(θ)-T) [4]

假设y2_l位于光轴下方，其可描述为：

y2_l＝S(x2_r·sin(-θ)+y2_r·cos(-θ)+T) [5]

其中，S是描述比例的常数，T是描述垂直平移的常数。

对于光轴上方的点p1，从[4]可得：

其中R₁＝x1_r·sin(θ)+y1_r·cos(θ) [6]

并且，对于光轴下方的点p2，从[5]可得：

其中R₂＝x2_r·sin(-θ)+y2_r·cos(-θ) [7]

因为S在[6]和[7]中相等，由此得出：

\frac{y 1_{r}}{(R_{1} - T)} = \frac{y 2_{l}}{(R_{2} + T)}

y1_r(R₂+T)＝y2_l(R₁-T)

R₂·y1_l+T·y1_r＝R₁·y2_l-T·y2_l

T(y1_l+y2_l)＝R₁y2_l-R₂y1_l

T = \frac{(R_{1} \cdot y 2_{l} - R_{2} \cdot y 1_{l})}{(y 1_{l} + y 2_{l})}

比例度量的推导

从上面的等式[6]和[7]可见，比例S可如下所示地计算。

对于位于光轴上方的某一点：

其中R₁＝x1_r·sin(θ)+y1_r·cos(θ)，并且对于位于光轴下方的某一点：

其中R₂＝x2_r·sin(-θ)+y2_r·cos(-θ)。

这可概括为：

S = \frac{y_{l}}{x_{r} . \sin (&PlusMinus; θ) + y_{r} . \cos (&PlusMinus; θ) &PlusMinus; T}

其中，平移度量T的符号取决于该点位于哪里；如果p位于光轴上方，则值为+T，而如果点位于光轴下方，则值为-T。此外，θ的符号取决于点p位于哪个象限。

滚转度量的推导

参考示出对用于滚转计算的点的选择的图11和示出基于垂直位置对角度的测量的图12，随机的关键特征位置被选择，一个特征位置选自光轴的左手侧(p1)，一个特征位置选自光轴的右手侧(p2)。

为了测量点p1和p2的相对旋转，必须确定p1_l和p2_l之间的梯度，并将其与p1_r与p2_r之间的梯度进行比较。换而言之，比较左手侧图像中两个点之间的梯度与右手侧图像中对应点之间的梯度。应当注意，滚准计算具有平移不变性，但是不具有比例不变性。因此，在计算中考虑了比例(S)。

p1_r与p2_r之间的梯度被计算为：

Tan (θ_{r}) = \frac{(y 2_{r} - y 1_{r})}{(x 2_{r} - x 1_{r})} - - - [8]

如果假定没有垂直视差，并且仅由于比例(S)才有效，即，

和

则没有视差的梯度将是：

Tan (θ_{l}) = \frac{(y 2_{l} - y 1_{l})}{S \cdot (x 2_{r} - x 1_{r})} - - - [9]

如果将[8]表示为：

Tan(θ_r)＝R，其中

并将[9]表示为：

Tan(θ_l)＝L，其中

则滚转度量的实际角度可被计算为：

Δθ＝Tan^-1(R)-Tan^-1(L)

给出三角恒等式：

{Tan}^{- 1} (α) - {Tan}^{- 1} (β) = {Tan}^{- 1} (\frac{α - β}{1 + α \cdot β})

则可将滚转度量表示为：

Δθ = {Tan}^{- 1} (\frac{R - L}{1 + R \cdot L})

替代实施例

虽然已经参考使用前述方法计算滚转、比例和垂直平移度量说明了前述内容，但是本发明不限于此。

在对应特征点已被得到并被转换为相对于图像光轴的位置之后，可以使用如下所述的推导度量的替代方法。

回头参考图10，如果假定垂直偏移量是固定的，从而垂直偏移量具有比例和滚转旋转不变性，则可见：

y2_r＝S.(x2_l.sinθ+y2_l.cosθ)+T [10]

其中，y2_r是点p2_r(相对于光轴的)垂直位置；x2_l和y2_l是点p2_l的相应水平和垂直位置；θ是滚转角度；S是比例度量并且T是两幅图像之间的垂直失配度量。

另外，可以通过块匹配来测量点p2_l和p2_r之间的垂直位置差异d。

换而言之，d＝y2_r-y2_l [11]

因此，使用[10]和[11]，显然：

T＝y2_l(1-S.cos(θ))-x2_l.S.sin(θ)+d

T＝a.y2l-b.x2l+d [12]

其中，a＝1-S.cos(θ) [13]

并且，b＝S.sin(θ) [14]

由于有三个未知参数，T、比例和θ(或者，T、a和b)，所以可以使用左侧图像中具有相对于光轴来描述的坐标(x，y)的三个点p1_l、p2_l和p3_l以及右侧图像中的对应点来求出这些值，可以得到：

b = \frac{(y_{l 1} - y_{l 3}) (d_{2} - d_{1}) - (y_{l 1} - y_{l 2}) (d_{3} - d_{1})}{(y_{l 1} - y_{l} 3) (x_{l 1} - x_{l 2}) - (y_{l 1} - y_{l 2}) (x_{l 1} - x_{l 3})},

以及

a = \frac{(d_{3} - d_{1}) - b (x_{l 1} - x_{l 3})}{(y_{l 1} - y_{l 3})}

从[12]、[13]和[14]显然可见，可以建立T、θ和S。

如果测量3个以上的特征点，则在实施例中，可以按图像的降序(即，从图像的顶部到底部)来列出这些点。选择这些对应点中的3个点。要选择的三个点是第i个、第i+n/3个和第i+2n/3个特征点，其中i是特征点选择的迭代次数(在0与n/3-1之间)，并且n是所测量的特征点的数目。针对每一次迭代计算a、b和T的值，并且在所有迭代都已发生之后，对值进行排序。将a、b和T的中间值选择作为最佳估计，并且使用这些值来计算T、比例和θ。

Claims

1.一种确定第一图像和第二图像之间的失准的方法，所述第一图像和第二图像可立体地观看，该方法包括：

确定所述第一图像中的特征位置和所述第二图像中的对应特征位置；

在所述第一图像和第二图像中限定捕捉各个所述图像的相机的光轴；以及

计算所述第一图像中的特征位置和所述第二图像中的对应特征位置的比例、滚转或垂直平移中至少一者之间的失准，所述失准是依据所述第一图像的特征位置和所述第二图像的对应特征位置相对于各个图像的所限定光轴的位置来确定的。

2.根据权利要求1所述的方法，还包括在所述第一图像中限定至少一个另外的特征位置，以及在所述第二图像中限定至少一个另外的对应特征位置，其中，所述垂直平移是如下计算的：选择所述第一图像中的两个特征位置和所述第二图像中的两个对应特征位置；以及根据所述第一图像和所述第二图像之间的给定滚转失准来确定垂直平移。

3.根据权利要求2所述的方法，其中，所述第一图像中的特征位置和所述第二图像中的对应特征位置位于所限定的光轴上方，并且所述第一图像中的所述另外的特征位置和所述第二图像中的对应特征位置位于所限定的光轴的下方。

4.根据权利要求3所述的方法，其中，所述垂直平移是使用如下等式确定的：

T = \frac{(R_{1} \cdot y 2_{l} - R_{2} \cdot y 1_{l})}{(y 1_{l} + y 2_{l})}

其中，T是所述平移的值，y1_r是所述第二图像中的特征位置的y坐标，y2_l是所述第一图像中的所述另外的特征位置的y坐标；并且R₁＝x1_r·sin(θ)+y1_r·cos(θ)，其中x1_r是所述第二图像中的所述对应特征位置的x坐标，y1_r是所述第二图像中的所述对应特征位置的y坐标，而R₂＝x2_r·sin(-θ)+y2_r·cos(-θ)，其中x2_r是所述第二图像中的所述另外的对应特征位置的x坐标，y2_r是所述第二图像中的所述另外的对应特征位置的y坐标。

5.根据权利要求1所述的方法，其中，所述比例是如下计算的：选择所述第一图像中的特征位置和所述第二图像中的对应特征位置；以及根据所述第一图像和所述第二图像之间的给定垂直平移来确定所述比例。

6.根据权利要求5所述的方法，其中，所述第一图像中的特征位置和所述第二图像中的对应特征位置位于所限定的光轴上方，或者所述第一图像中的特征位置和所述第二图像中的对应特征位置位于所限定的光轴下方。

7.根据权利要求6所述的方法，其中，比例度量是使用如下等式确定的：

S = \frac{y_{l}}{x_{r} . \sin (&PlusMinus; θ) + y_{r} . \cos (&PlusMinus; θ) &PlusMinus; T}

8.根据权利要求1所述的方法，还包括在所述第一图像中限定至少一个另外的特征位置，以及在所述第二图像中限定至少一个另外的对应特征位置，其中，所述滚转是如下计算的：选择所述第一图像中的两个特征位置和所述第二图像中的两个对应特征位置；以及根据所述第一图像和所述第二图像之间的给定比例失准来确定所述滚转。

9.根据权利要求8所述的方法，其中，所述第一图像中的特征位置和所述第二图像中的对应特征位置位于所限定的光轴的左侧，并且所述第一图像中的所述另外的特征位置和所述第二图像中的对应特征位置位于所限定的光轴的右侧。

10.根据权利要求9所述的方法，其中，所述滚转失准是使用如下等式计算的：

Δθ = {Tan}^{- 1} (\frac{R - L}{1 + R \cdot L})

其中

L = \frac{(y 2_{l} - y 1_{l})}{S \cdot (x 2_{r} - x 1_{r})},

并且

R = \frac{(y 2_{r} - y 1_{r})}{(x 2_{r} - x 1_{r})}

11.根据权利要求1所述的方法，其中，所述特征位置和所述另外的特征位置是随机生成的。

12.根据权利要求1所述的方法，其中，所述特征位置是在所述第一图像和所述第二图像各自中的像素位置。

13.一种包含计算机可读指令的计算机程序，所述计算机可读指令当被载入计算机时，将所述计算机配置为执行根据权利要求1所述的方法。

14.一种存储介质，被配置为在其中或其上存储根据权利要求13所述的计算机程序。

15.一种可操作来确定第一图像和第二图像之间的失准的图像处理装置，所述第一图像和第二图像可立体地观看，所述装置包括：

确定器，可操作来确定所述第一图像中的特征位置和所述第二图像中的对应特征位置；

限定器，可操作来在所述第一图像和第二图像中限定捕捉各个所述图像的相机的光轴；以及

失准计算器，可操作来计算所述第一图像中的特征位置和所述第二图像中的对应特征位置的比例、滚转或垂直平移中至少一者之间的失准，所述失准是依据所述第一图像的特征位置和所述第二图像的对应特征位置相对于各个图像的所限定光轴的位置来确定的。

16.根据权利要求15所述的装置，其中，所述限定器还可操作来在所述第一图像中限定至少一个另外的特征位置，以及在所述第二图像中限定至少一个另外的对应特征位置，其中，所述垂直平移是如下计算的：选择所述第一图像中的两个特征位置和所述第二图像中的两个对应特征位置；以及根据所述第一图像和所述第二图像之间的给定滚转失准来确定垂直平移。

17.根据权利要求16所述的装置，其中，所述第一图像中的特征位置和所述第二图像中的对应特征位置位于所限定的光轴上方，并且所述第一图像中的所述另外的特征位置和所述第二图像中的对应特征位置位于所限定的光轴的下方。

18.根据权利要求17所述的装置，其中，所述垂直平移是使用如下等式确定的：

T = \frac{(R_{1} \cdot y 2_{l} - R_{2} \cdot y 1_{l})}{(y 1_{l} + y 2_{l})}

19.根据权利要求15所述的装置，其中，所述比例是如下计算的：选择所述第一图像中的特征位置和所述第二图像中的对应特征位置；以及根据所述第一图像和所述第二图像之间的给定垂直平移来确定所述比例。

20.根据权利要求19所述的装置，其中，所述第一图像中的特征位置和所述第二图像中的对应特征位置位于所限定的光轴上方，或者所述第一图像中的特征位置和所述第二图像中的对应特征位置位于所限定的光轴下方。

21.根据权利要求20所述的装置，其中，比例度量是使用如下等式确定的：

S = \frac{y_{l}}{x_{r} . \sin (&PlusMinus; θ) + y_{r} . \cos (&PlusMinus; θ) &PlusMinus; T}

22.根据权利要求15所述的装置，其中，所述限定器可操作来在所述第一图像中限定至少一个另外的特征位置，以及在所述第二图像中限定至少一个另外的对应特征位置，其中，所述滚转是如下计算的：选择所述第一图像中的两个特征位置和所述第二图像中的两个对应特征位置；以及根据所述第一图像和所述第二图像之间的给定比例失准来确定所述滚转。

23.根据权利要求22所述的装置，其中，所述第一图像中的特征位置和所述第二图像中的对应特征位置位于所限定的光轴的左侧，并且所述第一图像中的所述另外的特征位置和所述第二图像中的对应特征位置位于所限定的光轴的右侧。

24.根据权利要求23所述的装置，其中，所述滚转失准是使用如下等式计算的：

Δθ = {Tan}^{- 1} (\frac{R - L}{1 + R \cdot L})

其中

L = \frac{(y 2_{l} - y 1_{l})}{S \cdot (x 2_{r} - x 1_{r})},

并且

R = \frac{(y 2_{r} - y 1_{r})}{(x 2_{r} - x 1_{r})}

25.根据权利要求15所述的装置，其中，所述特征位置和所述另外的特征位置是随机生成的。

26.根据权利要求15所述的装置，其中，所述特征位置是在所述第一图像和所述第二图像各自中的像素位置。