CN103365063A - 三维图像拍摄方法和设备 - Google Patents

Abstract

本发明提供一种三维图像拍摄设备和方法。所述设备包括：拍摄单元，从外部捕捉图像，并将捕捉的第一图像作为第一照片；特征提取单元，从第一图像中提取特征点，从在捕捉第一图像之后捕捉的第二图像中提取特征点，并将从第一图像提取的特征点与从第二图像提取的特征点进行匹配；位置姿态估计单元，根据匹配的从第一图像提取的特征点和从第二图像提取的特征点，确定捕捉第一图像时三维图像拍摄设备的位置和姿态与捕捉第二图像时三维图像拍摄设备的位置和姿态之间的相对关系，其中，拍摄单元根据确定的所述相对关系将第二图像作为第二照片；合成单元，将第一照片和第二照片合成为三维图像。

Description

三维图像拍摄方法和设备

技术领域

本发明涉及一种三维图像的拍摄。更具体地讲，涉及一种三维图像拍摄方法和设备。

背景技术

三维(3D)电视在消费电子市场中日益普及。用户可购买3D电影等3D内容并通过3D电视进行观看。然而，用户自己无法生产3D内容(例如，自己的3D照片、3D视频等)。

为了产生立体效果，一种方法是分离左眼视图和右眼视图。更精确地说，3D电视可将不同的视图呈现给左眼和右眼，从而人脑能够从输入的视图感知3D景象。为了捕捉一个场景的两个视图以模拟人的立体视觉，两个相机必须以一定的水平平移被布置。

实际上，可在不同的位置拍摄两张照片并可将这两张照片合成为3D照片。然而，拍摄照片时位置对于能否合成效果较好的3D照片是非常关键的。通常，最好水平平移合适的距离。但是对于一般的手持式相机来说，用户将相机精确地移动到正确的位置是非常困难的。小的位移或旋转都会影响最终的合成效果。

因此，需要一种能够帮助用户容易地获取3D照片的方法和设备。

发明内容

本发明的目的在于提供一种三维图像拍摄设备和方法。

本发明的一方面提供一种三维图像拍摄设备，包括：拍摄单元，从外部捕捉图像，并将捕捉的第一图像作为第一照片；特征提取单元，从第一图像中提取特征点，从在捕捉第一图像之后捕捉的第二图像中提取特征点，并将从第一图像提取的特征点与从第二图像提取的特征点进行匹配；位置姿态估计单元，根据匹配的从第一图像提取的特征点和从第二图像提取的特征点，确定捕捉第一图像时三维图像拍摄设备的位置和姿态与捕捉第二图像时三维图像拍摄设备的位置和姿态之间的相对关系，其中，当所述相对关系满足预定条件时，拍摄单元将第二图像作为第二照片；合成单元，将第一照片和第二照片合成为三维图像。

可选地，当基于确定的所述相对关系确定捕捉第二图像时的三维图像拍摄设备相对于捕捉第一图像时的三维图像拍摄设备被水平平移时，拍摄单元将第二图像作为第二照片。

可选地，特征提取单元使用尺度不变特征转换(SIFT)方法或加速鲁棒(SURF)方法提取特征点。

可选地，所述相对关系表示为(tx，ty，tz，θx，θy，θz)，其中，tx为水平平移，ty为竖直平移，tz为纵向平移，θx为俯仰角，θy为滚转角，θz为偏航角，其中，当|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5，并且|tx|不等于零时，拍摄单元将第二图像作为第二照片，其中，Th1为竖直平移阈值，Th2为纵向平移阈值，Th3为俯仰角阈值，Th4为滚转角阈值，Th5为偏航角阈值。

可选地，预定条件包括：|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5，并且|tx|不等于零。

可选地，所述三维图像拍摄设备还包括：拍摄提示单元，根据位置姿态估计单元确定的相对关系和预定条件，确定使得所述相对关系满足预定条件的位置姿态调整方式(例如，平移和/或旋转的方向和程度)，将该位置姿态调整方式通知给用户。

可选地，所述三维图像拍摄设备还包括：拍摄提示单元，根据位置姿态估计单元确定的相对关系，提示用户调整三维图像拍摄设备的位置和姿态，以满足捕捉第二图像时的三维图像拍摄设备相对于捕捉第一图像时的三维图像拍摄设备被水平平移。

可选地，所述三维图像拍摄设备还包括：拍摄提示单元，根据位置姿态估计单元确定的相对关系，提示用户调整三维图像拍摄设备的位置和姿态，以使得|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5，并且|tx|不等于零。

可选地，位置姿态估计单元使用多对匹配的特征点通过下面的等式确定所述相对关系：

$y_i=\frac{\sin \mathrm{\θx}\·(\cos \mathrm{\θy}+\sin \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i))+\cos \mathrm{\θx}\·(\cos \mathrm{\θz}\·v_i-\sin \mathrm{\θz}\·u_i)+\mathrm{ty}}{\cos \mathrm{\θx}\·(\cos \mathrm{\θy}+\sin \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i))-\sin \mathrm{\θx}\·(\cos \mathrm{\θz}\·v_i-\sin \mathrm{\θz}\·u_i)+\mathrm{tz}}$

${u_i}^{\′}=\frac{\cos \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i)-\sin \mathrm{\θy}+\mathrm{tx}}{\cos \mathrm{\θx}\·(\cos \mathrm{\θy}+\sin \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i))-\sin \mathrm{\θx}\·(\cos \mathrm{\θz}\·v_i-\sin \mathrm{\θz}\·u_i)+\mathrm{tz}}$

d_i＝u_i ′-x_i

$\stackrel{\‾}{d}={\mathrm{\Σ}}_{i=1}^n{d}_i=0$

其中，(x_i，y_i)表示一对匹配的特征点中的从第一图像提取的特征点的坐标，(x_i，y_i)表示一对匹配的特征点中的从第二图像提取的特征点的坐标被表示为(u_i，v_i)，tx为水平平移，ty为竖直平移，tz为纵向平移，θx为俯仰角，θy为滚转角，θz为偏航角，n为大于1并且小于等于N的整数，N为提取的特征点的数量。

可选地，位置姿态估计单元基于Levenberg-Marquardt法使用多对匹配的特征点来确定所述相对关系。

可选地，位置姿态估计单元基于所述相对关系计算多对匹配的特征点的视差的方差，当确定捕捉第二图像时的三维图像拍摄设备相对于捕捉第一图像时的三维图像拍摄设备被水平平移并且所述方差在预定范围之内时，拍摄单元将第二图像作为第二照片。

可选地，位置姿态估计单元基于所述相对关系计算多对匹配的特征点中的每对匹配的特征点的视差，并计算视差的方差，当|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5，|tx|不等于零，并且所述方差在预定范围之内时，拍摄单元将第二图像作为第二照片。

可选地，所述预定范围使得合成的三维图像具有三维效果并且不会导致用户观看不适。

可选地，所述预定范围为[5，20]。

可选地，所述三维图像拍摄设备还包括：拍摄提示单元，其中，当所述方差大于所述范围的最大值时，提示用户将三维图像拍摄设备水平平移靠近捕捉第一图像时三维图像拍摄设备所在的位置。

可选地，所述三维图像拍摄设备还包括：拍摄提示单元，其中，当所述方差小于所述范围的最小值时，提示用户将三维图像拍摄设备水平平移离开捕捉第一图像时三维图像拍摄设备所在的位置。

本发明的另一方面提供一种三维图像拍摄方法，包括：利用拍摄设备从外部捕捉图像，并将捕捉的第一图像作为第一照片；从第一图像中提取特征点，从在捕捉第一图像之后捕捉的第二图像中提取特征点，并将从第一图像提取的特征点与从第二图像提取的特征点进行匹配；根据匹配的从第一图像提取的特征点和从第二图像提取的特征点，确定捕捉第一图像时拍摄设备的位置和姿态与捕捉第二图像时拍摄设备的位置和姿态之间的相对关系；当确定的所述相对关系满足预定条件时，将第二图像作为第二照片；将第一照片和第二照片合成为三维图像。

可选地，当基于确定的所述相对关系确定捕捉第二图像时的拍摄设备相对于捕捉第一图像时的拍摄设备被水平平移时，将第二图像作为第二照片。

可选地，使用尺度不变特征转换(SIFT)方法或加速鲁棒(SURF)方法提取特征点。

可选地，所述相对关系表示为(tx，ty，tz，θx，θy，θz)，其中，tx为水平平移，ty为竖直平移，tz为纵向平移，θx为俯仰角，θy为滚转角，θz为偏航角，其中，当|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5时，并且|tx|不等于零时，将第二图像作为第二照片，其中，Th1为竖直平移阈值，Th2为纵向平移阈值，Th3为俯仰角阈值，Th4为滚转角阈值，Th5为偏航角阈值。

可选地，所述三维图像拍摄方法还包括：根据确定的相对关系和预定条件，确定使得所述相对关系满足预定条件的位置姿态调整方式(例如，平移和/或旋转的方向和程度)，将该位置姿态调整方式通知给用户。

可选地，所述三维图像拍摄方法还包括：根据确定的相对关系，提示用户调整拍摄设备的位置和姿态，以满足捕捉第二图像时的拍摄设备相对于捕捉第一图像时的拍摄设备被水平平移。

可选地，所述三维图像拍摄方法还包括：根据确定的相对关系，提示用户调整摄设备的位置和姿态，以使得|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5，并且|tx|不等于零。

可选地，使用多对匹配的特征点通过下面的等式确定所述相对关系：

$y_i=\frac{\sin \mathrm{\θx}\·(\cos \mathrm{\θy}+\sin \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i))+\cos \mathrm{\θx}\·(\cos \mathrm{\θz}\·v_i-\sin \mathrm{\θz}\·u_i)+\mathrm{ty}}{\cos \mathrm{\θx}\·(\cos \mathrm{\θy}+\sin \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i))-\sin \mathrm{\θx}\·(\cos \mathrm{\θz}\·v_i-\sin \mathrm{\θz}\·u_i)+\mathrm{tz}}$

${u_i}^{\′}=\frac{\cos \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i)-\sin \mathrm{\θy}+\mathrm{tx}}{\cos \mathrm{\θx}\·(\cos \mathrm{\θy}+\sin \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i))-\sin \mathrm{\θx}\·(\cos \mathrm{\θz}\·v_i-\sin \mathrm{\θz}\·u_i)+\mathrm{tz}}$

d_i＝u_i′-x_i

$\stackrel{\‾}{d}={\mathrm{\Σ}}_{i=1}^n{d}_i=0$

其中，(x_i，y_i)表示一对匹配的特征点中的从第一图像提取的特征点的坐标，(x_i，y_i)表示一对匹配的特征点中的从第二图像提取的特征点的坐标，tx为水平平移，ty为竖直平移，tz为纵向平移，θx为俯仰角，θy为滚转角，θz为偏航角，n为大于1并且小于等于N的整数，N为提取的特征点的数量。

可选地，基于Levenberg-Marquardt法使用多对匹配的特征点来确定所述相对关系。

可选地，基于所述相对关系计算多对匹配的特征点的视差的方差，当确定捕捉第二图像时的拍摄设备相对于捕捉第一图像时的拍摄设备被水平平移并且所述方差在预定范围之内时，第二图像作为第二照片。

可选地，基于所述相对关系计算多对匹配的特征点中的每对匹配的特征点的视差，并计算视差的方差，当|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5，|tx|不等于零，并且所述方差在预定范围之内时，将第二图像作为第二照片。

可选地，基于所述相对关系计算多对匹配的特征点的视差的方差，其中，预定条件包括：捕捉第二图像时的三维图像拍摄设备相对于捕捉第一图像时的三维图像拍摄设备被水平平移并且所述方差在预定范围之内。

可选地，基于所述相对关系计算多对匹配的特征点中的每对匹配的特征点的视差，并计算视差的方差，其中，预定条件包括：|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5，|tx|不等于零，并且所述方差在预定范围之内。

可选地，所述预定范围使得合成的三维图像具有三维效果并且不会导致用户观看不适。

可选地，所述预定范围为[5，20]。

可选地，所述三维图像拍摄方法还包括：当所述方差大于所述范围的最大值时，提示用户将拍摄设备水平平移靠近捕捉第一图像时拍摄设备所在的位置。

可选地，所述三维图像拍摄方法还包括：当所述方差小于所述范围的最小值时，提示用户将拍摄设备水平平移离开捕捉第一图像时拍摄设备所在的位置。

本发明的另一方面提供一种在能够获取预览图像的拍摄设备中进行三维图像拍摄的方法，包括：(a)利用拍摄设备拍摄第一照片；(b)从第一照片中提取特征点；(c)从在拍摄第一照片之后捕捉的预览图像中提取特征点，并将从第一照片提取的特征点与从预览图像提取的特征点进行匹配；(d)根据匹配的从第一照片提取的特征点和从预览图像提取的特征点，确定拍摄第一照片时拍摄设备的位置和姿态与拍摄设备的当前位置和姿态之间的相对关系；(e)判断确定的相对关系是否满足预定条件；(f)当确定的相对关系满足预定条件时，自动地或提醒用户拍摄第二照片；(g)当确定的相对关系不满足预定条件时，根据确定的相对关系以及预定条件，提示用户移动拍摄设备，返回步骤(c)。

可选地，当基于确定的所述相对关系确定拍摄设备当前相对于拍摄第一照片时的拍摄设备被水平平移时，判断相对关系满足预定条件。

可选地，使用尺度不变特征转换(SIFT)方法或加速鲁棒(SURF)方法提取特征点。

可选地，所述相对关系表示为(tx，ty，tz，θx，θy，θz)，其中，tx为水平平移，ty为竖直平移，tz为纵向平移，θx为俯仰角，θy为滚转角，θz为偏航角，其中，当|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5时，并且|tx|不等于零时，判断相对关系满足预定条件，其中，Th1为竖直平移阈值，Th2为纵向平移阈值，Th3为俯仰角阈值，Th4为滚转角阈值，Th5为偏航角阈值。

可选地，步骤(g)还包括：根据确定的相对关系和预定条件，确定使得所述相对关系满足预定条件的位置姿态调整方式(例如，平移和/或旋转的方向和程度)，将该位置姿态调整方式通知给用户。

可选地，步骤(g)还包括：提示用户调整拍摄设备的位置和姿态，以满足拍摄设备相对于拍摄第一照片时的拍摄设备被水平平移。

可选地，步骤(g)还包括：提示用户调整摄设备的位置和姿态，以使得|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5，并且|tx|不等于零。

可选地，使用多对匹配的特征点通过下面的等式确定所述相对关系：

$y_i=\frac{\sin \mathrm{\θx}\·(\cos \mathrm{\θy}+\sin \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i))+\cos \mathrm{\θx}\·(\cos \mathrm{\θz}\·v_i-\sin \mathrm{\θz}\·u_i)+\mathrm{ty}}{\cos \mathrm{\θx}\·(\cos \mathrm{\θy}+\sin \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i))-\sin \mathrm{\θx}\·(\cos \mathrm{\θz}\·v_i-\sin \mathrm{\θz}\·u_i)+\mathrm{tz}}$

${u_i}^{\′}=\frac{\cos \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i)-\sin \mathrm{\θy}+\mathrm{tx}}{\cos \mathrm{\θx}\·(\cos \mathrm{\θy}+\sin \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i))-\sin \mathrm{\θx}\·(\cos \mathrm{\θz}\·v_i-\sin \mathrm{\θz}\·u_i)+\mathrm{tz}}$

d_i＝u_i ′-x_i

$\stackrel{\‾}{d}={\mathrm{\Σ}}_{i=1}^n{d}_i=0$

其中，(x_i，y_i)表示一对匹配的特征点中的从第一照片提取的特征点的坐标，(x_i，y_i)表示一对匹配的特征点中的从预览图像提取的特征点的坐标，tx为水平平移，ty为竖直平移，tz为纵向平移，θx为俯仰角，θy为滚转角，θz为偏航角，n为大于1并且小于等于N的整数，N为提取的特征点的数量。

可选地，基于Levenberg-Marquardt法使用多对匹配的特征点来确定所述相对关系。

可选地，基于所述相对关系计算多对匹配的特征点的视差的方差，其中，预定条件包括：拍摄设备相对于捕捉第一图像时的拍摄设备被水平平移并且所述方差在预定范围之内。

可选地，基于所述相对关系计算多对匹配的特征点中的每对匹配的特征点的视差，并计算视差的方差，其中，预定条件包括：|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5，|tx|不等于零，并且所述方差在预定范围之内。

可选地，基于所述相对关系计算多对匹配的特征点的视差的方差，当确定拍摄设备相对于拍摄第一照片时的拍摄设备被水平平移并且所述方差在预定范围之内时，判断相对关系满足预定条件。

可选地，基于所述相对关系计算多对匹配的特征点中的每对匹配的特征点的视差，并计算视差的方差，当|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5，|tx|不等于零，并且所述方差在预定范围之内时，判断相对关系满足预定条件。

可选地，所述预定范围使得合成的三维图像具有三维效果并且不会导致用户观看不适。

可选地，所述预定范围为[5，20]。

可选地，步骤(g)还包括：当所述方差大于所述范围的最大值时，提示用户将拍摄设备水平平移靠近拍摄第一照片时拍摄设备所在的位置。

可选地，步骤(g)还包括：当所述方差小于所述范围的最小值时，提示用户将拍摄设备水平平移离开拍摄第一照片时拍摄设备所在的位置。

根据本发明的三维图像拍摄设备和方法，可以较低的成本在普通的二维图像拍摄设备上实现三维图像的拍摄。此外，根据本发明的三维图像拍摄设备和方法利用特征点匹配来确定拍摄形成三维图像的两张照片时的位置和姿态关系，而不需专门的诸如陀螺仪的硬件装置，因此可以容易地在现有的图像拍摄设备上实现三维图像的拍摄。此外，根据本发明的三维图像拍摄设备和方法，可帮助一般用户实现三维图像的拍摄。

将在接下来的描述中部分阐述本发明另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明的实施而得知。

附图说明

通过下面结合附图进行的详细描述，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中：

图1示出根据本发明实施例的三维图像拍摄设备；

图2示出根据本发明实施例的三维图像拍摄方法；

图3示出根据本发明的另一实施例的三维图像拍摄方法。

具体实施方式

现在，将参照附图更充分地描述不同的示例实施例，其中，一些示例性实施例在附图中示出。贯穿对附图的描述，相同的标号表示相同的组件。

图1示出根据本发明实施例的三维图像拍摄设备。

根据本发明的三维图像拍摄设备100包括：拍摄单元110、特征提取单元120、位置姿态估计单元130、合成单元140。

拍摄单元110用于从外部捕捉图像，并将捕捉的第一图像作为第一照片。例如，拍摄单元110可利用图像传感器(例如，CMOS或CCD)来捕捉图像。此外，拍摄单元110可自动或响应于用户的输入(例如，按下快门)来捕捉第一图像作为第一照片。

特征提取单元120可从拍摄单元110所捕捉的图像中提取特征点。可以使用各种提取特征点的方法。优选地，使用尺度不变特征转换(SIFT)方法或加速鲁棒(SURF)方法提取特征点。

此外，特征提取单元120可在捕捉的两张图像中分别提取特征点，并对这两张图像中的特征点进行匹配或映射，这样对应于现实世界中相同内容的特征点可在这两张图像中被关联起来。

在三维图像的拍摄中，一般需要拍摄具有视差的两张照片来形成三维图像。在拍摄第一照片之后，需要再拍摄第二照片。由于拍摄的第二照片并不是随意的，因此在拍摄第一照片之后捕捉的图像不是都能用作第二照片。需要考虑拍摄第一照片时和拍摄第二照片时的三维图像拍摄设备100的位置和姿态之间的关系。在本发明可通过获取匹配的特征点来确定上述关系，从而可从在拍摄第一照片之后捕捉的图像中选择合适的图像作为所述第二照片。

这样，特征提取单元120从第一图像(也即，第一照片)中提取特征点，从在捕捉第一图像之后捕捉的第二图像中提取特征点，并将从第一图像提取的特征点与从第二图像提取的特征点进行匹配。可根据匹配的特征点来确定合适的第二图像作为第二照片。

位置姿态估计单元130根据匹配的从第一图像提取的特征点和从第二图像提取的特征点，确定捕捉第一图像时三维图像拍摄设备100的位置和姿态与捕捉第二图像时三维图像拍摄设备100的位置和姿态之间的相对关系。此时，拍摄单元110可根据确定的所述相对关系将第二图像作为第二照片。作为将第二图像作为第二照片的条件的相对关系为使得第二照片能够与第一照片合成为三维图像。

可使用现有的三维图像合成方法中所限定的使得第一照片能够与第二照片合成为三维图像的相对关系。

合成单元140将第一照片和第二照片合成为三维图像。由于合成三维图像的方法是已知的，将不再赘述。

在一个实施例中，当捕捉第二图像时的三维图像拍摄设备100相对于当捕捉第一图像时三维图像的拍摄设备进行了水平平移时，拍摄单元110将第二图像作为第二照片。

三维图像拍摄设备100的位置和姿态在捕捉第一图像时与在捕捉第二图像时之间的相对关系可被表示如下：

(tx，ty，tz，θx，θy，θz)....(1)

其中，tx为水平平移，ty为竖直平移，tz为纵向平移，θx为俯仰角，θy为滚转角，θz为偏航角。

在另一实施例中，当|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5，并且|tx|不等于零(即，进行了水平平移)时，拍摄单元将第二图像作为第二照片。这里，Th1为竖直平移阈值，Th2为纵向平移阈值，Th3为俯仰角阈值，Th4为滚转角阈值，Th5为偏航角阈值。

优选地，Th1、Th2、Th3、Th4、Th5都为零，此时形成的三维图像的质量较好。此外，由于人眼的感知分辨率是有限的，因此当tx、ty、tz、θx、θy、θz分别达到预定水平(即，各自对应的阈值Th1、Th2、Th3、Th4、Th5)时，不会影响三维图像的质量。Th1、Th2、Th3、Th4、Th5的值可根据实验来确定。

位置姿态估计单元130可使用多对匹配的特征点通过下面的等式(2)和(3)确定上述相对关系：

$y_i=\frac{\sin \mathrm{\θx}\·(\cos \mathrm{\θy}+\sin \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i))+\cos \mathrm{\θx}\·(\cos \mathrm{\θz}\·v_i-\sin \mathrm{\θz}\·u_i)+\mathrm{ty}}{\cos \mathrm{\θx}\·(\cos \mathrm{\θy}+\sin \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i))-\sin \mathrm{\θx}\·(\cos \mathrm{\θz}\·v_i-\sin \mathrm{\θz}\·u_i)+\mathrm{tz}}....\left(2\right)$

${u_i}^{\′}=\frac{\cos \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i)-\sin \mathrm{\θy}+\mathrm{tx}}{\cos \mathrm{\θx}\·(\cos \mathrm{\θy}+\sin \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i))-\sin \mathrm{\θx}\·(\cos \mathrm{\θz}\·v_i-\sin \mathrm{\θz}\·u_i)+\mathrm{tz}}....\left(3\right)$

其中，一对匹配的特征点中的从第一图像提取的特征点的坐标被表示为(x_i，y_i)，一对匹配的特征点中的从第二图像提取的特征点的坐标被表示为(u_i，v_i)。应该理解，i为特征点的索引，i∈[1，N]，N为提取的所有特征点的数量。

具体地说，可将多对匹配的特征点的坐标代入等式(2)，进行解方程来计算ty、tz、θx、θy、θz。本领域的技术人员可以理解，为了解出上述五个未知量，需要至少五对匹配的特征点。

随后，可通过等式(3)解出tx。具体说，每对特征点的视差可被表示如下：

d_i＝u_i′-x_i    ....(4)

基于立体视觉的视差现象，对于深度不同的特征点，视差d_i也是不同的。视差较小的点在3D显示中会成像到离用户较近的位置，而视差较大的点成像位置离用户远。不同的tx值，会计算出不同的视差d_i，这相当于把整个场景远离或靠近用户。经过大量实验的证明，当场景的平均深度接近3D显示设备的深度时，用户的观赏效果是最好的。为此，使得：

$\stackrel{\‾}{d}={\mathrm{\Σ}}_{i=1}^n{d}_i=0....\left(5\right)$

其中，n为大于1并且小于等于N的整数。优选地，n等于N。

这样，利用通过等式(2)得到的ty、tz、θx、θy、θz，通过等式(3)、(4)和(5)可以求解出tx值。

在本发明的另一实施例中，为了综合考虑捕捉的第一图像和第二图像的内容，从而更精确地进行求解，使用Levenberg-Marquardt(莱温伯格-马奎特)法来求解tx、ty、tz、θx、θy、θz。Levenberg-Marquardt法在使用更多对特征点进行求解时，求解精度会相对更高。由于Levenberg-Marquardt法是公知的，因此不再赘述。

此外，虽然拍摄的第一照片和第二照片能够形成三维图像，然而形成的三维图像有时三维效果较差或者使得观看者不适(例如，眩晕、恶心等)。为此，在本发明的另一实施例中，在拍摄第二照片时需要进一步考虑第一照片和第二照片的视差因素。

具体地说，位置姿态估计单元130基于确定的相对关系计算多对匹配的特征点中的每对匹配的特征点的视差d_i＝u_i′-x_i，并计算视差的方差

$\mathrm{var}=\sqrt{\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{(d_i-\stackrel{\‾}{d})}^2}....\left(6\right)$

当确定捕捉第二图像时的三维图像拍摄设备相对于捕捉第一图像时的三维图像拍摄设备被水平平移并且所述方差在预定范围之内时，拍摄单元将第二图像作为第二照片。优选地，所述预定范围为[5，20]。应该理解，该范围的值的单位为像素。

在本发明的另一实施例中，三维图像拍摄设备100还可包括拍摄提示单元。拍摄提示单元可主动提示用户如何移动三维拍摄设备从而拍摄第二照片。

具体地说，拍摄提示单元根据位置姿态估计单元130确定的相对关系和预定条件，确定三维图像拍摄设备的位置姿态调整方式(例如，平移和/或旋转的方向和程度)，并将确定的移动方式提示给用户，以使得捕捉第二图像时的三维图像拍摄设备的位置和姿态与捕捉第一图像时的三维图像拍摄设备100的位置和姿态满足特定条件(例如，满足上面的描述中提到的条件，例如，|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5，|tx|不等于零)。拍摄提示单元可通过在屏幕上显示指示如何移动三维图像拍摄设备100的文字、图标、图示或者通过语音提示的方式指示如何移动三维图像拍摄设备100。

此外，当位置姿态估计单元130计算的视差的方差大于20时，拍摄提示单元提示用户将三维图像拍摄设备水平平移靠近捕捉第一图像时三维图像拍摄设备所在的位置。当位置姿态估计单元130计算的视差的方差小于5时，拍摄提示单元提示用户将三维图像拍摄设备水平平移离开捕捉第一图像时三维图像拍摄设备所在的位置。

此外，当所述相对关系满足拍摄第二照片时，拍摄提示单元可提示用户拍摄第二照片(例如，通过按下快门)，从而将第二图像作为第二照片。应该理解，当所述相对关系满足拍摄第二照片时，拍摄单元也可自动地将第二图像选择为第二照片。

图2示出根据本发明实施例的三维图像拍摄方法。

在步骤201，利用拍摄设备(例如，相机)从外部捕捉图像，并将捕捉的第一图像作为第一照片。例如，可自动拍摄第一照片或者通过用户按下快门来拍摄第一照片。

在步骤202，从第一图像中提取特征点，从在捕捉第一图像之后捕捉的第二图像中提取特征点，并将从第一图像提取的特征点与从第二图像提取的特征点进行匹配。可利用特征提取单元120所利用的方式来进行特征点的提取以及匹配。应该理解，这里的第二图像可以是用于取景和/或聚焦的预览图像或拍摄的照片，只要是在第一照片之后通过拍摄设备获取的图像即可。

在步骤203，根据匹配的从第一图像提取的特征点和从第二图像提取的特征点，确定捕捉第一图像时拍摄设备的位置和姿态与捕捉第二图像时拍摄设备的位置和姿态之间的相对关系。可利用位置姿态估计单元130所利用的方式来确定所述相对关系。

在步骤204，当确定的所述相对关系满足预定条件时，将第二图像作为第二照片。可利用拍摄单元110所利用的方式来进行将第二图像作为第二照片的处理。

在另一个实施例中，当确定的所述相对关系满足预定条件时，提醒用户此时利用拍摄设备拍摄照片作为第二照片。换句话说，不使用第二图像作为第二照片，而是另外拍摄照片作为第二照片，以获得更好的效果。

在步骤205，将第一照片和第二照片合成为三维图像。

在另一实施例中，当确定的所述相对关系不满足预定条件时，可提示用户如何移动三维拍摄设备从而拍摄第二照片。可利用前面描述的拍摄提示单元所利用的方式来提示用户。

下面结合图3示出在能够获取预览图像的拍摄设备中进行三维图像拍摄的方法。在拍摄设备中，在拍摄照片之前，拍摄设备通常会获取预览图像以进行各种预处理(例如，获取预览图像使得用户观看取景效果、进行自动聚焦等)。本发明的该实施例结合该预览图像来实现三维图像的拍摄。

图3示出根据本发明的另一实施例的在能够获取预览图像的拍摄设备中进行三维图像拍摄的方法。

在步骤301，利用拍摄设备拍摄第一照片。例如，可自动拍摄第一照片或者通过用户按下快门来拍摄第一照片。

在步骤302，从第一照片中提取特征点。

在步骤303，从在拍摄第一照片之后实时捕捉的预览图像中提取特征点，并将从第一图像提取的特征点与从预览图像提取的特征点进行匹配。可利用特征提取单元120所利用的方式来进行特征点的提取以及匹配。

可利用特征提取单元120所利用的方式来进行特征点的提取以及匹配。

在步骤304，根据匹配的从第一图像提取的特征点和从预览图像提取的特征点，确定捕捉第一图像时拍摄设备的位置和姿态与拍摄设备的当前位置和姿态之间的相对关系。可利用位置姿态估计单元130所利用的方式来确定所述相对关系。

在步骤305，判断确定的相对关系是否满足预定条件。该预定条件可以是在前面的实施例中所描述的预定条件，前面描述的预定条件中的第二图像被替换为预览图像。

在步骤306，当确定的相对关系满足预定条件，自动地拍摄第二照片或提醒用户拍摄第二照片。

在步骤307，当时确定的相对关系不满足预定条件，根据当前确定的相对关系以及预定条件，提示用户移动拍摄设备以拍摄满足预定条件的第二照片。

具体地说，根据当前确定的相对关系和预定条件，确定使得所述相对关系满足预定条件的位置姿态调整方式(即，平移和/或旋转的方向及程度)，并将该移动方式通知给用户。这样，通过用户调整拍摄设备的位置和/或姿态来使得拍摄设备的位置和姿态与拍摄第一照片时拍摄设备所处的位置和姿态满足特定条件(例如，满足上面的描述中提到的条件，例如，|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5，|tx|不等于零)。可通过在屏幕上显示指示如何移动拍摄设备的文字、图标、图示或者通过语音提示的方式指示如何移动拍摄设备。

此外，当根据等式(6)计算的视差的方差大于20时，提示用户将拍摄设备水平平移靠近捕捉第一照片时拍摄设备所在的位置。当该视差的方差小于5时提示用户将拍摄设备水平平移离开拍摄第一照片时拍摄设备所在的位置。

随后，返回步骤303，从而从当前捕捉的预览图像中提取特征点以重新执行匹配处理以及随后的步骤。

根据本发明的三维图像拍摄设备和方法，可以较低的成本在普通的二维图像拍摄设备上实现三维图像的拍摄。此外，根据本发明的三维图像拍摄设备和方法利用特征点匹配来确定拍摄形成三维图像的两张照片时的位置和姿态关系，而不需专门的诸如陀螺仪的硬件装置，因此可以容易地在现有的图像拍摄设备上实现三维图像的拍摄。此外，根据本发明的三维图像拍摄设备和方法，可帮助一般用户实现三维图像的拍摄。

尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (16)

1.一种三维图像拍摄设备，包括：

拍摄单元，从外部捕捉图像，并将捕捉的第一图像作为第一照片；

特征提取单元，从第一图像中提取特征点，从在捕捉第一图像之后捕捉的第二图像中提取特征点，并将从第一图像提取的特征点与从第二图像提取的特征点进行匹配；

位置姿态估计单元，根据匹配的从第一图像提取的特征点和从第二图像提取的特征点，确定捕捉第一图像时三维图像拍摄设备的位置和姿态与捕捉第二图像时三维图像拍摄设备的位置和姿态之间的相对关系，其中，当所述相对关系满足预定条件时，拍摄单元将第二图像作为第二照片；

合成单元，将第一照片和第二照片合成为三维图像。

2.根据权利要求1所述的三维图像拍摄设备，其中，预定条件包括：捕捉第二图像时的三维图像拍摄设备相对于捕捉第一图像时的三维图像拍摄设备被水平平移。

3.根据权利要求1所述的三维图像拍摄设备，其中，特征提取单元使用尺度不变特征转换(SIFT)方法或加速鲁棒(SURF)方法提取特征点。

4.根据权利要求1或2所述的三维图像拍摄设备，其中，所述相对关系表示为(tx，ty，tz，θx，θy，θz)，其中，tx为水平平移，ty为竖直平移，tz为纵向平移，θx为俯仰角，θy为滚转角，θz为偏航角，

其中，当|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5，并且|tx|不等于零时，拍摄单元将第二图像作为第二照片，

其中，Th1为竖直平移阈值，Th2为纵向平移阈值，Th3为俯仰角阈值，Th4为滚转角阈值，Th5为偏航角阈值。

5.根据权利要求4所述的三维图像拍摄设备，其中，预定条件包括：|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5，并且|tx|不等于零。

6.根据权利要求2所述的三维图像拍摄设备，还包括：拍摄提示单元，根据位置姿态估计单元确定的相对关系和预定条件，确定使得所述相对关系满足预定条件的位置姿态调整方式，将该位置姿态调整方式通知给用户。

7.根据权利要求1所述的三维图像拍摄设备，其中，位置姿态估计单元使用多对匹配的特征点通过下面的等式确定所述相对关系：

$y_i=\frac{\sin \mathrm{\θx}\·(\cos \mathrm{\θy}+\sin \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i))+\cos \mathrm{\θx}\·(\cos \mathrm{\θz}\·v_i-\sin \mathrm{\θz}\·u_i)+\mathrm{ty}}{\cos \mathrm{\θx}\·(\cos \mathrm{\θy}+\sin \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i))-\sin \mathrm{\θx}\·(\cos \mathrm{\θz}\·v_i-\sin \mathrm{\θz}\·u_i)+\mathrm{tz}}$

${u_i}^{\′}=\frac{\cos \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i)-\sin \mathrm{\θy}+\mathrm{tx}}{\cos \mathrm{\θx}\·(\cos \mathrm{\θy}+\sin \mathrm{\θy}\·(\sin \mathrm{\θz}\·v_i+\cos \mathrm{\θz}\·u_i))-\sin \mathrm{\θx}\·(\cos \mathrm{\θz}\·v_i-\sin \mathrm{\θz}\·u_i)+\mathrm{tz}}$

d_i＝u_i ′-x_i

$\stackrel{\‾}{d}={\mathrm{\Σ}}_{i=1}^n{d}_i=0$

其中，(x_i，y_i)表示一对匹配的特征点中的从第一图像提取的特征点的坐标，(x_i，y_i)表示一对匹配的特征点中的从第二图像提取的特征点的坐标，tx为水平平移，ty为竖直平移，tz为纵向平移，θx为俯仰角，θy为滚转角，θz为偏航角，n为大于1并且小于等于N的整数，N为提取的特征点的数量。

8.根据权利要求7所述的三维图像拍摄设备，其中，位置姿态估计单元基于Levenberg-Marquardt法使用多对匹配的特征点来确定所述相对关系。

9.根据权利要求2所述的三维图像拍摄设备，其中，位置姿态估计单元基于所述相对关系计算多对匹配的特征点的视差的方差，其中，预定条件包括：捕捉第二图像时的三维图像拍摄设备相对于捕捉第一图像时的三维图像拍摄设备被水平平移并且所述方差在预定范围之内。

10.根据权利要求4所述的三维图像拍摄设备，其中，位置姿态估计单元基于所述相对关系计算多对匹配的特征点中的每对匹配的特征点的视差，并计算视差的方差，其中，预定条件包括：|ty|＜Th1，|tz|＜Th2，|θx|＜Th3，|θy|＜Th4，|θz|＜Th5，|tx|不等于零，并且所述方差在预定范围之内。

11.根据权利要求9或10所述的三维图像拍摄设备，其中，所述预定范围使得合成的三维图像具有三维效果并且不会导致用户观看不适。

12.根据权利要求11所述的三维图像拍摄设备，其中，所述预定范围为[5，20]。

13.根据权利要求9或10所述的三维图像拍摄设备，还包括：拍摄提示单元，其中，当所述方差大于所述范围的最大值时，提示用户将三维图像拍摄设备水平平移靠近捕捉第一图像时三维图像拍摄设备所在的位置。

14.根据权利要求9或10所述的三维图像拍摄设备，还包括：拍摄提示单元，其中，当所述方差小于所述范围的最小值时，拍摄提示单元提示用户将三维图像拍摄设备水平平移离开捕捉第一图像时三维图像拍摄设备所在的位置。

15.一种三维图像拍摄方法，包括：

利用拍摄设备从外部捕捉图像，并将捕捉的第一图像作为第一照片；

从第一图像中提取特征点，从在捕捉第一图像之后捕捉的第二图像中提取特征点，并将从第一图像提取的特征点与从第二图像提取的特征点进行匹配；

根据匹配的从第一图像提取的特征点和从第二图像提取的特征点，确定捕捉第一图像时拍摄设备的位置和姿态与捕捉第二图像时拍摄设备的位置和姿态之间的相对关系；

当确定的所述相对关系满足预定条件时，将第二图像作为第二照片；

将第一照片和第二照片合成为三维图像。

16.一种在能够获取预览图像的拍摄设备中进行三维图像拍摄的方法，包括：

(a)利用拍摄设备拍摄第一照片；

(b)从第一照片中提取特征点；

(c)从在拍摄第一照片之后捕捉的预览图像中提取特征点，并将从第一照片提取的特征点与从预览图像提取的特征点进行匹配；

(d)根据匹配的从第一照片提取的特征点和从预览图像提取的特征点，确定拍摄第一照片时拍摄设备的位置和姿态与拍摄设备的当前位置和姿态之间的相对关系；

(e)判断确定的相对关系是否满足预定条件；

(f)当确定的相对关系满足预定条件时，自动地或提醒用户拍摄第二照片；

(g)当确定的相对关系不满足预定条件时，根据确定的相对关系以及预定条件，提示用户移动拍摄设备，返回步骤(c)。

Images