CN103578133A - 一种将二维图像信息进行三维重建的方法和设备 - Google Patents

Abstract

本发明实施例涉及投影几何技术领域，特别涉及一种将二维图像信息进行三维重建的方法和设备，用以解决现有的将二维图像信息恢复成对应的三维物体信息的过程比较复杂，不利于大规模使用的问题。本发明实施例提供的将二维图像信息进行三维重建的方法包括：确定位置参数和硬件参数、以及二维图像上的本征点信息；根据确定的位置参数、硬件参数和本征点信息确定映射矩阵；根据确定的映射矩阵，将二维图像上的像素点转换为三维坐标中的坐标点；并根据转换得到的三维坐标中的各个坐标点，确定二维图像对应的三维物体信息。本发明实施例实现了简化了将二维图像信息恢复成对应的三维物体信息的过程，进而有利于进一步扩大应用范围。

Description

一种将二维图像信息进行三维重建的方法和设备

技术领域

本发明涉及投影几何技术领域，特别涉及一种将二维图像信息进行三维重建的方法和设备。

背景技术

固定在制高点处的摄像机在进行拍摄时会获得一系列的图像。通过这些图像，能获得物体的二维图像信息，然而却无法获得物体的三维信息，比如物体的速度信息、尺寸信息以及形状信息等。为了获取这些信息，必须将物体的二维图像信息恢复成对应的三维信息，即三维重建。进行三维重建需要借助相机或者摄像机将三维场景转化为二维图像，分析三维物体点与二维图像点的对应关系，并利用这种对应关系，通过二维图像信息计算物体的三维信息。其中，映射矩阵是表征二维图像信息和三维物体之间的对应关系的矩阵。

现有的做法是将标定器放置在监控场景中，通过分析与处理拍摄到的含有标定器的图像来确定二维图像和三维物体之间的对应关系，并根据这种对应关系，将二维图像信息恢复成对应的三维物体信息。由于要求在每个监控场景中必须放置标定器，并要求标定器的摆放位置要合适，因此操作起来比较麻烦，导致将二维图像信息恢复成对应的三维信息过程会比较复杂，不利于大规模的使用。

综上所述，目前的三维重建方法必须要在监控场景中放置标定器，而且要求标定器的摆放位置要合适，由于对标定器与监控场景的要求比较高，因此操作起来比较麻烦，导致将二维图像信息恢复成对应的三维信息的过程会比较复杂，不利于大规模的使用。

发明内容

本发明实施例提供一种将二维图像信息进行三维重建的方法和设备，用以解决现有的将二维图像信息恢复成对应的三维物体信息的过程比较复杂，不利于大规模使用的问题。

本发明实施例提供的一种将二维图像信息进行三维重建的方法，包括：

确定取景设备在拍摄二维图像过程中的位置参数和硬件参数、以及用取景设备拍摄的二维图像上的本征点信息；

根据确定的位置参数、硬件参数和本征点信息确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵；

根据确定的映射矩阵，将所述用取景设备拍摄的二维图像上的与物体相关的像素点转换为三维坐标中的坐标点；

根据转换得到的三维坐标中的各个坐标点，确定用取景设备拍摄的二维图像对应的三维物体信息。

本发明提供的一种将二维图像信息进行三维重建的设备，包括：

第一确定模块，用于确定取景设备在拍摄二维图像过程中的位置参数和硬件参数、以及用取景设备拍摄的二维图像上的本征点信息；

第二确定模块，用于根据确定的位置参数、硬件参数和本征点信息确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵；

转换模块，用于根据确定的映射矩阵，将所述用取景设备拍摄的二维图像上的与物体相关的像素点转换为三维坐标中的坐标点；

处理模块，用于根据转换得到的三维坐标中的各个坐标点，确定用取景设备拍摄的二维图像对应的三维物体信息。

在本发明实施例中，确定取景设备在拍摄二维图像过程中的位置参数和硬件参数、以及用取景设备拍摄的二维图像上的本征点信息；根据确定的位置参数、硬件参数和本征点信息确定用于表征二维图像与三维物体之间对应关系的映射矩阵；根据确定的映射矩阵，将二维图像上的与物体相关的像素点转换为三维坐标中的坐标点；并根据转换得到的三维坐标中的各个坐标点，确定二维图像对应的三维物体信息。由于对在场景中是否放置标定器没有具体要求，从而实现了简化标定的过程，相应地，简化了将二维图像信息恢复成对应的三维物体信息的过程，进而有利于进一步扩大应用范围。

附图说明

图1为本发明实施例将二维图像信息进行三维重建的方法流程示意图；

图2为本发明实施例三维坐标系中的标定点与二维坐标系中像素点的对应关系示意图；

图3为本发明实施例灭线示意图；

图4为本发明实施例将二维图像信息进行三维重建的设备结构示意图。

具体实施方式

本发明实施例，确定取景设备在拍摄二维图像过程中的位置参数和硬件参数、以及用取景设备拍摄的二维图像上的本征点信息；根据确定的位置参数、硬件参数和本征点信息确定用于表征二维图像与三维物体之间对应关系的映射矩阵；根据确定的映射矩阵，将二维图像上的与物体相关的像素点转换为三维坐标中的坐标点；并根据转换得到的三维坐标中的各个坐标点，确定二维图像对应的三维物体信息。由于对在场景中是否放置标定器没有具体要求，从而实现了简化标定的过程，相应地，简化了将二维图像信息恢复成对应的三维物体信息的过程，进而有利于进一步扩大应用范围。

较佳地，取景设备可以是摄像机、是相机、具有照相功能的手机，还可以是带有摄像头的任何设备。

下面结合说明书附图对本发明实施例作进一步详细描述。

如图1所示，本发明实施例将二维图像信息进行三维重建的方法包括下列步骤：

步骤101、确定取景设备在拍摄二维图像过程中的位置参数和硬件参数、以及用取景设备拍摄的二维图像上的本征点信息；

步骤102、根据确定的位置参数、硬件参数和本征点信息确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵；

步骤103、根据确定的映射矩阵，将所述用取景设备拍摄的二维图像上的与物体相关的像素点转换为三维坐标中的坐标点；

步骤104、根据转换得到的三维坐标中的各个坐标点，确定用取景设备拍摄的二维图像对应的三维物体信息。

较佳地，步骤101、确定取景设备在拍摄二维图像过程中的位置参数和硬件参数，具体包括：

确定取景设备在拍摄二维图像过程中的多组位置参数和硬件参数；

从确定的多组位置参数和硬件参数中选择一组位置参数和硬件参数；

将选择的一组位置参数和硬件参数作为取景设备在拍摄二维图像过程中的位置参数和硬件参数。

其中，所述取景设备在拍摄二维图像过程中的位置参数包括：

所述取景设备绕X轴旋转角度，所述取景设备绕Y轴旋转角度，所述取景设备绕Z轴旋转角度以及所述取景设备距离地面的高度，其中，X轴、Y轴与Z轴构成左手坐标系；

所述取景设备在拍摄二维图像过程中的硬件参数包括：取景设备的焦距和畸变系数。

较佳地，硬件参数取景设备的焦距是根据位置参数取景设备绕X轴旋转角度以及位置参数取景设备绕Y轴旋转角度确定的。

具体实施中，确定取景设备在拍摄二维图像过程中的多组位置参数包括：

确定取景设备绕X轴旋转角度的取值范围，取景设备绕Y轴旋转角度的取值范围，以及取景设备距离地面的高度的取值范围；

根据确定的取景设备绕X轴旋转角度的取值范围，取景设备绕Y轴旋转角度的取值范围，以及取景设备距离地面的高度的取值范围确定取景设备在拍摄二维图像过程中的多组位置参数。

以取景设备距离地面的高度为定值1m（米），取景设备绕X轴旋转角度以及取景设备绕Y轴旋转角度为在一定范围内变化的值为例，介绍根据确定的取景设备绕X轴旋转角度的取值范围，取景设备绕Y轴旋转角度的取值范围，以及取景设备距离地面的高度的取值范围确定取景设备在拍摄二维图像过程中的多组位置参数的具体过程。

具体实施中，取景设备绕X轴旋转角度α取值范围为：0°~360°，取景设备绕Y轴旋转角度β取值范围为：0°~360°。

以1°的间隔为例进行介绍，α的可能值为0°,1°,2°......360°，β的可能值为0°,1°,2°......360°,则α和β的所有可能组合包括：(0°,0°),(0°,1°),......,(0°,360°),(1°,0°),(1°,1°),......,(1°,360°),......,(360°,0°),(360°,1°),......,(360°,360°)共130321中组合，则可以确定取景设备在拍摄二维图像过程中的130321组位置参数。

较佳地，可以根据需要选择130321组位置参数中的部分组位置参数作为确定的取景设备在拍摄二维图像过程中的多组位置参数。

较佳地，可以根据需要缩小α和β的取值范围或改变取值的间隔，相应地，确定的取景设备在拍摄二维图像过程中的位置参数组合也会改变。

较佳地，取景设备距离地面的高度可以为在一定范围内变化的值，假设取景设备距离地面的高度取值为1m或1.5m，则可以确定取景设备在拍摄二维图像过程中的260642（130321与2的乘积）组位置参数。

较佳地，取景设备距离地面的高度可以为定值，α和β可以为在一定范围内变化的值；α可以为定值，取景设备距离地面的高度和β可以为在一定范围内变化的值，取景设备距离地面的高度、α和β可以均为在一定范围内变化的值，或者其它取景设备距离地面的高度、α和β的随机组合均适用本发明，具体地可以根据需要和应用场景而定。

在实施中，针对从确定的多组位置参数中选择一组位置参数，可以任意选择，也可以根据要求进行选择，下面以位置参数中的α和β作为要进行选择的位置参数组合中的元素进行具体介绍，实施中，可以仅以α作为要进行选择的位置参数组合中的元素，可以仅以β作为要进行选择的位置参数组合中的元素，可以以取景设备距离地面的高度作为要进行选择的位置参数组合中的元素，也可以以α、β和取景设备距离地面的高度的随机组合作为要进行选择的位置参数组合中的元素，任意一种选择位置参数组合中的元素的方法都适用本发明，由于其他种参数组合的实施情况与以α和β作为要进行选择的位置参数组合中的元素的实施情况类似，在此就不作具体介绍。

方式一、任意从多组位置参数中选择一组位置参数；

从所有组α和β中任意选择一组位置参数；

以1°的间隔为例进行介绍，α的可能值为0°,1°,2°......360°，β的可能值为0°,1°,2°......360°,则α和β的所有可能组合包括：(0°,0°),(0°,1°),......,(0°,360°),(1°,0°),(1°,1°),......,(1°,360°),......,(360°,0°),(360°,1°),......,(360°,360°)共130321中组合。

较佳地，可以从130321个组合中任意选择一组位置参数。

较佳地，可以随机选择，可以从最小值选择（先选择(0°,0°)组合），可以从最大值选择（先选择(360°,360°)组合），也可以从中间选择。

实施中，选择不同的α和β组合，确定的像素点对应的三维坐标的误差不同。

较佳地，α和β的取值是以1°为间隔，较佳地，可以以2°为间隔，也可以以0.5°为间隔，具体地可以根据需要设定。

方式二、根据要求进行选择；

为了满足确定的像素点对应的三维坐标的精度最高，根据下列方法从所有组α和β中选择一组位置参数。具体实施中，也可以根据其他要求进行选择，比如具体应用场景的要求。

根据下列步骤从确定的多组位置参数中选择一组位置参数：

S1、针对每一组位置参数，分别确定任意两个标定点在所述二维图像上分别对应的像素点在三维坐标系中的坐标点；

S2、确定三维坐标系中的坐标点对应的两个点在三维坐标系中的距离和两个标定点之间的实际物理距离的误差值；

S3、将对应最小误差值的一组位置参数作为选择的一组位置参数。

较佳地，步骤S1、针对每一组位置参数，根据该组位置参数对应的映射矩阵确定任意两个标定点在所述二维图像上分别对应的像素点在三维坐标系中的坐标点。

在实施中，本发明实施例将二维图像信息进行三维重建的方法可以在场景的地平面上确定标定点，也可以在置于场景中的物体上确定标定点，只要选取的标定点在同一参考平面上即可。

本发明实施例不需要在场景中放置标定器，对于确定的标定点也没有严格的要求，从而提高了使用的灵活性，扩大了应用范围。

假设确定的任意两个标定点之间的实际物理距离为d，两个标定点在图像上对应的两个像素点坐标分别为(u₁,v₁)和(u₂,v₂)。

其中，三维坐标系中的标定点与二维坐标系中像素点的对应关系如图2所示，在图2中，点M为三维坐标系中一个标定点，点m为标定点M经过取景设备成像后在用取景设备拍摄的图像上的像素点，点M所在的坐标系为满足左手坐标系原则的三维坐标系，点m所在的坐标系为二维坐标系。

针对一组由α_i和β_i构成的位置参数，确定该组位置参数对应的映射矩阵P_i，根据P_i确定(u₁,v₁)和(u₂,v₂)在三维坐标系中的坐标点对应的两个点(X₁,Y₁,Z₁)和(X₂,Y₂,Z₂)，并计算两个点(X₁,Y₁,Z₁)和(X₂,Y₂,Z₂)之间的距离d_i。

较佳地，根据下列公式确定两个点(X₁,Y₁,Z₁)和(X₂,Y₂,Z₂)之间的欧氏距离d_i：

$d_i=\sqrt{{(X_1-X_2)}^2+{(Y_1-Y_2)}^2+{(Z_1-Z_2)}^2}$ 公式（1）。

较佳地，其他能够计算两个点(X₁,Y₁,Z₁)和(X₂,Y₂,Z₂)之间的距离d_i的方法均适用本发明。

较佳地，通过下列公式确定d和d_i之间的误差值：

Δ(α_i,β_i)＝|d-d_i|                   公式（2）。

其中，Δ(α_i,β_i)表示针对一组由α_i和β_i构成的位置参数确定的(u₁,v₁)和(u₂,v₂)在三维坐标系中的坐标点对应的两个点(X₁,Y₁,Z₁)和(X₂,Y₂,Z₂)之间的距离d_i与两个标定点之间的实际距离d之间的误差。

较佳地，可以通过公式|d²-d_i ²|确定d和d_i之间的误差值，可以通过公式确定d和d_i之间的误差值，也可以通过公式|d_i ²-d²|确定d和d_i之间的误差值，任何能够确定误差的方式都适用本发明。

较佳地，S3、将对应最小的误差值的一组位置参数作为选择的一组位置参数包括：

假设α_n和β_n构成的一组位置参数使得d和d_n的误差值最小，则α_n和β_n构成的一组位置参数作为所选择的一组位置参数，即

${\mathrm{\α}}_n,{\mathrm{\β}}_n=\underset{({\mathrm{\α}}_i,{\mathrm{\β}}_i)}{\arg \min }\mathrm{\Δ}({\mathrm{\α}}_i,{\mathrm{\β}}_i)$ 公式（3）。

其中，α_n和β_n为使得d和d_n的误差值最小的一组位置参数，由arg minΔ计算出取得误差最小值时对应的α_n和β_n的数值，i的取值为0、1、2……360,对应地α_i的取值为0°,1°,2°......360°，β_i的取值为0°,1°,2°......360°。

较佳地，根据确定的一组α_i和β_i，可以确定一组α_i和β_i对应的取景设备的焦距f_i。

上述例子中，α_i和β_i的取值是以1°为间隔，较佳地，可以以2°为间隔，也可以以0.5°为间隔，具体地可以根据需要设定。

较佳地，步骤102、确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵，具体包括：

Q1、根据所述二维图像的本征点信息、畸变系数以及取景设备的焦距，确定内部参数矩阵；

Q2、根据取景设备绕X轴旋转角度，取景设备绕Y轴旋转角度以及取景设备绕Z轴旋转角度，确定旋转矩阵；

Q3、根据确定的内部参数矩阵、旋转矩阵以及取景设备距离地面的高度，确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵。

较佳地，步骤Q1中，根据下列公式确定内部参数矩阵：

$K=\left[\begin{array}{ccc}f& \mathrm{\λ}& u_0\\ 0& f& v_0\\ 0& 0& 1\end{array}\right]$ 公式（4）。

其中，K是一个3×3的内部参数矩阵，(u₀,v₀)表示图像的本征点，f表示取景设备的焦距，λ表示取景设备的畸变系数。

具体实施中，由于相机或者摄像机的畸变都较小，因而λ的取值可以为0，即λ＝0。

较佳地，图像的本征点为图像的中心点。

较佳地，硬件参数中的焦距f是根据对应的位置参数中的α、β以及vanishing line（灭线）确定的，具体推到细节是现有技术，参见参考文献“FengjunLv TaoZhao RamNevatia，Self Calibration of a camera from video of awalking human，ICPR，2002”。

较佳地，步骤Q2中，根据下列公式确定旋转矩阵：

$R=\left[\begin{array}{ccc}\cos \mathrm{\γ}& -\sin \mathrm{\γ}& 0\\ \sin \mathrm{\γ}& \cos \mathrm{\γ}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\β}}_i& -{\sin \mathrm{\β}}_i\\ 0& \sin {\mathrm{\β}}_i& \cos {\mathrm{\β}}_i\end{array}\right]\left[\begin{array}{ccc}\cos {\mathrm{\α}}_i& 0& -\sin {\mathrm{\α}}_i\\ 0& 1& 0\\ \sin {\mathrm{\α}}_i& 0& \cos {\mathrm{\α}}_i\end{array}\right]$ 公式（5）。

其中，矩阵R是一个3×3的旋转矩阵，γ表示取景设备绕Z轴旋转角度，α_i表示取景设备绕X轴旋转角度，β_i表示取景设备绕Y轴旋转角度，α_i和β_i是用于确定对应的映射矩阵的一组位置参数，i的取值为0、1、2……360,对应地α_i的取值为0°,1°,2°......360°，β_i的取值为0°,1°,2°......360°。

较佳地，取景设备绕Z轴旋转角度γ等于vanishing line相对于水平方向的倾角。

其中，vanishing line是投影几何学中的一个最基本的概念，是指三维坐标系中选取的标定点所在的参考平面上的所有平行线经过透视之后在二维平面上的交点构成的直线，如图3所示，经过a和b的用虚线表示的直线就是灭线，其中，三维坐标系中的平行线经过透视之后在二维平面上会相交，比如，真实世界中的街道在三维坐标系中是两条平行线，经过透视之后在二维平面上就会相交。

较佳地，现有技术中，任意一种获取灭线的方法都适用本发明，其中，灭线的计算方法可以参考文献“Single-View Metrology:Algorithms andApplications”，Antonio Criminisi，proceeding of 24 DAGM symposium on PatternRecognition。

较佳地，步骤Q3中，根据下列公式确定映射矩阵：

P＝K[R|t]                    公式（6）。

其中，矩阵P是一个3×4的映射矩阵，K是一个3×3的内部参数矩阵，R是一个3×3的旋转矩阵，t是一个3×1的矩阵，可以表示为:t=R[0,Hc,0]T，R是一个3×3的旋转矩阵，Hc表示取景设备距离地面的高度，T表示对[0,Hc,0]进行转置运算。

3×3的旋转矩阵R与3×1的矩阵t进行拼接运算后变成3×4的矩阵再与3×3的内部参数矩阵相乘得到3×4的映射矩阵P。

较佳地，对于在场景的地平面上确定标定点的情况，可以对P矩阵进行退化处理，使P矩阵从3×4的矩阵退化为3×3的矩阵。

具体实施中，基于下述公式将所述用取景设备拍摄的二维图像上的与物体相关的像素点转换为三维坐标中的坐标点：

$\mathrm{\α}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=P\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=K\left[R\right|t]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=K[R_1\left|R_2\right|R_3\left|t\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$ 公式（7）

其中，(u,v)表示经过取景设备成像后在图像上像素点的坐标；(X,Y,Z)表示三维坐标系中对应的坐标；α是一个任意常数；P表示映射矩阵，K表示内部参数矩阵，R表示旋转矩阵，R₁表示R矩阵的第一列，R₂表示R矩阵的第二列，R₃表示R矩阵的第三列，t是一个3×1的矩阵。

具体实施中，α是个比例系数。

由于在场景的地平面上确定标定点，则Z=0，3×3的旋转矩阵R与3×1的矩阵t进行拼接运算后得到的3×4的矩阵与4×1的矩阵[X,Y,0,1]^T相乘时，得到的矩阵的第三列全部为0，则旋转矩阵R的第三列的取值没有意义，可以将矩阵[X,Y,0,1]^T中的第三行与旋转矩阵R的第三列去除，则P矩阵退化从3×4的矩阵退化为3×3的矩阵。相应地，公式（7）可以表示为：

$\mathrm{\α}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=P\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=K\left[R_1\right|R_2\left|t\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$ 公式（8）

较佳地，映射矩阵P是用于表征二维图像与三维物体之间对应关系的矩阵。

较佳地，对于根据方式二选择的一组位置参数，除了可以根据上述方式确定选择的一组位置参数对应的映射矩阵之外，还可以通过在根据方式二选择一组位置参数过程中已经确立的位置参数组合与映射矩阵的对应关系确定一组位置参数对应的映射矩阵。

较佳地，在根据方式二选择一组位置参数过程中确立并保存位置参数组合与映射矩阵的对应关系。

较佳地，可以根据公式（7）确定用取景设备拍摄的二维图像上的任意像素点对应的三维坐标。

较佳地，对于在场景的地平面上确定标定点的情况，可以根据公式（7）、公式（8）或者下列公式确定用取景设备拍摄的图像上的任意像素点对应的三维坐标：

$\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=\mathrm{\α}{P}^{-1}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$ 公式（9）

其中，P^-1表示退化处理后的3×3的映射矩阵的逆矩阵。

较佳地，通过公式（8）或者公式（9）确定用取景设备拍摄的二维图像上的任意像素点对应的三维坐标可以简化运算，提高效率与准确度。

较佳地，可以对步骤103中得到的三维坐标中的各个坐标点进行分析与处理，从而得到用取景设备拍摄的二维图像对应的三维物体信息。

较佳地，采用本发明实施例的方法可以将二维图像信息转化成三维物体信息，进而可以获取物体的形状、尺寸以及速度信息。

较佳地，本发明实施例的方法可以广泛用于监控领域内的目标分类与车辆测速。

较佳地，由于本发明实施例的方法不需要使用标定器，从而可以节省大量的费用，给用户实际操作带来了极大的便利，有利于大规模的推广使用。

基于同一发明构思，本发明实施例中还提供了一种将二维图像信息进行三维重建的设备，由于设备解决问题的原理与本发明实施例的方法相似，因此设备的实施可以参见方法的实施，重复之处不再赘述。

图4为本发明实施例将二维图像信息进行三维重建的设备结构示意图，如图所示，本发明实施例的确定坐标的设备包括：

第一确定模块401，用于确定取景设备在拍摄二维图像过程中的位置参数和硬件参数、以及用取景设备拍摄的二维图像上的本征点信息；

第二确定模块402，用于根据确定的位置参数、硬件参数和本征点信息确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵；

转换模块403，用于根据确定的映射矩阵，将所述用取景设备拍摄的二维图像上的与物体相关的像素点转换为三维坐标中的坐标点；

处理模块404，用于根据转换得到的三维坐标中的各个坐标点，确定用取景设备拍摄的二维图像对应的三维物体信息。

较佳地，所述第一确定模块401具体用于：

确定取景设备在拍摄二维图像过程中的多组位置参数和硬件参数；从确定的多组位置参数和硬件参数中选择一组位置参数和硬件参数；并将选择的一组位置参数和硬件参数作为取景设备在拍摄二维图像过程中的位置参数和硬件参数。

较佳地，所述第一确定模块401具体用于：

针对每一组位置参数和硬件参数，分别确定任意两个标定点在所述二维图像上分别对应的像素点在三维坐标系中的坐标点；确定三维坐标系中的坐标点对应的两个点在三维坐标系中的距离和两个标定点之间的实际物理距离的误差值；并将对应最小误差值的一组位置参数和硬件参数作为选择的一组位置参数和硬件参数。

较佳地，所述取景设备在拍摄二维图像过程中的位置参数包括：

所述取景设备绕X轴旋转角度，所述取景设备绕Y轴旋转角度，所述取景设备绕Z轴旋转角度以及所述取景设备距离地面的高度，其中，X轴、Y轴与Z轴构成左手坐标系；

所述取景设备在拍摄二维图像过程中的硬件参数包括：取景设备的焦距和畸变系数。

较佳地，所述第二确定模块402具体用于：

根据所述二维图像的本征点信息、畸变系数以及取景设备的焦距，确定内部参数矩阵；根据取景设备绕X轴旋转角度，取景设备绕Y轴旋转角度以及取景设备绕Z轴旋转角度，确定旋转矩阵；以及根据确定的内部参数矩阵、旋转矩阵以及取景设备距离地面的高度，确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵。

较佳地，所述转换模块403具体用于：

基于公式（7）将所述用取景设备拍摄的二维图像上的与物体相关的像素点转换为三维坐标中的坐标点.

较佳地，所述取景设备绕Z轴旋转角度等于灭线相对于水平方向的倾角；

其中，灭线是指三维坐标系中选取的标定点所在的参考平面上的所有平行线经过透视之后在二维平面上的交点构成的直线。

本领域内的技术人员应明白，本发明的实施例可提供为方法、设备（***）、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种将二维图像信息进行三维重建的方法，其特征在于，该方法包括：

确定取景设备在拍摄二维图像过程中的位置参数和硬件参数、以及用取景设备拍摄的二维图像上的本征点信息；

根据确定的位置参数、硬件参数和本征点信息确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵；

根据确定的映射矩阵，将所述用取景设备拍摄的二维图像上的与物体相关的像素点转换为三维坐标中的坐标点；

根据转换得到的三维坐标中的各个坐标点，确定用取景设备拍摄的二维图像对应的三维物体信息。

2.如权利要求1所述的方法，其特征在于，确定取景设备在拍摄二维图像过程中的位置参数和硬件参数，具体包括：

确定取景设备在拍摄二维图像过程中的多组位置参数和硬件参数；

从确定的多组位置参数和硬件参数中选择一组位置参数和硬件参数；

将选择的一组位置参数和硬件参数作为取景设备在拍摄二维图像过程中的位置参数和硬件参数。

3.如权利要求2所述的方法，其特征在于，从确定的多组位置参数和硬件参数中选择一组位置参数和硬件参数，包括：

针对每一组位置参数和硬件参数，分别确定任意两个标定点在所述二维图像上分别对应的像素点在三维坐标系中的坐标点；并

确定三维坐标系中的坐标点对应的两个点在三维坐标系中的距离和两个标定点之间的实际物理距离的误差值；

将对应最小误差值的一组位置参数和硬件参数作为选择的一组位置参数和硬件参数。

4.如权利要求1~3任一所述的方法，其特征在于，所述取景设备在拍摄二维图像过程中的位置参数包括：

所述取景设备绕X轴旋转角度，所述取景设备绕Y轴旋转角度，所述取景设备绕Z轴旋转角度以及所述取景设备距离地面的高度，其中，X轴、Y轴与Z轴构成左手坐标系；

所述取景设备在拍摄二维图像过程中的硬件参数包括：取景设备的焦距和畸变系数。

5.如权利要求4所述的方法，其特征在于，确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵，具体包括：

根据所述二维图像的本征点信息、畸变系数以及取景设备的焦距，确定内部参数矩阵；以及

根据取景设备绕X轴旋转角度，取景设备绕Y轴旋转角度以及取景设备绕Z轴旋转角度，确定旋转矩阵；

根据确定的内部参数矩阵、旋转矩阵以及取景设备距离地面的高度，确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵。

6.如权利要求1所述的方法，其特征在于，根据确定的映射矩阵，基于下述公式将所述用取景设备拍摄的二维图像上的与物体相关的像素点转换为三维坐标中的坐标点：

$\mathrm{\α}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=P\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中，(u,v)表示二维图像上像素点的坐标；(X,Y,Z)表示三维坐标系中对应的坐标；α是一个任意常数；P表示映射矩阵。

7.如权利要求4所述的方法，其特征在于，所述取景设备绕Z轴旋转角度等于灭线vanishing line相对于水平方向的倾角；

其中，灭线是指三维坐标系中选取的标定点所在的参考平面上的所有平行线经过透视之后在二维平面上的交点构成的直线。

8.一种将二维图像信息进行三维重建的设备，其特征在于，该设备包括：

第一确定模块，用于确定取景设备在拍摄二维图像过程中的位置参数和硬件参数、以及用取景设备拍摄的二维图像上的本征点信息；

第二确定模块，用于根据确定的位置参数、硬件参数和本征点信息确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵；

转换模块，用于根据确定的映射矩阵，将所述用取景设备拍摄的二维图像上的与物体相关的像素点转换为三维坐标中的坐标点；

处理模块，用于根据转换得到的三维坐标中的各个坐标点，确定用取景设备拍摄的二维图像对应的三维物体信息。

9.如权利要求8所述的设备，其特征在于，所述第一确定模块具体用于：

确定取景设备在拍摄二维图像过程中的多组位置参数和硬件参数；从确定的多组位置参数和硬件参数中选择一组位置参数和硬件参数；并将选择的一组位置参数和硬件参数作为取景设备在拍摄二维图像过程中的位置参数和硬件参数。

10.如权利要求9所述的设备，其特征在于，所述第一确定模块具体用于：

针对每一组位置参数和硬件参数，分别确定任意两个标定点在所述二维图像上分别对应的像素点在三维坐标系中的坐标点；确定三维坐标系中的坐标点对应的两个点在三维坐标系中的距离和两个标定点之间的实际物理距离的误差值；并将对应最小误差值的一组位置参数和硬件参数作为选择的一组位置参数和硬件参数。

11.如权利要求8~10任一所述的设备，其特征在于，所述取景设备在拍摄二维图像过程中的位置参数包括：

所述取景设备绕X轴旋转角度，所述取景设备绕Y轴旋转角度，所述取景设备绕Z轴旋转角度以及所述取景设备距离地面的高度，其中，X轴、Y轴与Z轴构成左手坐标系；

所述取景设备在拍摄二维图像过程中的硬件参数包括：取景设备的焦距和畸变系数。

12.如权利要求11所述的设备，其特征在于，所述第二确定模块具体用于：

根据所述二维图像的本征点信息、畸变系数以及取景设备的焦距，确定内部参数矩阵；根据取景设备绕X轴旋转角度，取景设备绕Y轴旋转角度以及取景设备绕Z轴旋转角度，确定旋转矩阵；以及根据确定的内部参数矩阵、旋转矩阵以及取景设备距离地面的高度，确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵。

13.如权利要求8所述的设备，其特征在于，所述转换模块具体用于：

基于下述公式将所述用取景设备拍摄的二维图像上的与物体相关的像素点转换为三维坐标中的坐标点：

$\mathrm{\α}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=P\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中，(u,v)表示二维图像上像素点的坐标；(X,Y,Z)表示三维坐标系中对应的坐标；α是一个任意常数；P表示映射矩阵。

14.如权利要求11所述的设备，其特征在于，所述取景设备绕Z轴旋转角度等于灭线vanishing line相对于水平方向的倾角；

其中，灭线是指三维坐标系中选取的标定点所在的参考平面上的所有平行线经过透视之后在二维平面上的交点构成的直线。

Images