CN104240289A - 一种基于单个相机的三维数字化重建方法及*** - Google Patents

Abstract

本发明涉及一种基于单个相机的三维数字化重建方法及***，客户端获取一组二维图片发送给云端服务器；云端服务器采集二维图片的RGB三通道数据，并转换为UVW三通道数据；在UVW三通道颜色空间进行图像特征点的选取及匹配；在未知相机内参的情况下，根据三角对应关系，进行相机位置定标，得到相机位置的旋转矩阵R和平移向量t；根据图像特征点的匹配以及相机位置旋转矩阵R和平移向量t进行物体的三维重建；利用三维物体区域分析方法在物体表面上自动生成颜色贴图；本发明可实现在未知相机内参的情况下，进行相机位置定位，提高了数据采集的灵活性，在UVW三通道颜色空间对图像数据进行处理，大大降低了数据损失，提高计算结果的稳定性。

Description

一种基于单个相机的三维数字化重建方法及***

技术领域

本发明涉及三维技术领域，尤其涉及一种基于单个相机的三维数字化重建方法及***。

背景技术

物理世界的三维数字化建模技术在很多领域都有广泛的应用，例如三维地图，数字化电影，数字博物馆，电子商务，3D打印等。我们正面临着一个从二维图像到三维大数据的历史时代。但是如何高效精确的从二维数码相片中恢复三维立体信息，是至关重要的技术问题。基于图像的三维重建是根据这些幅图片来恢复物体和场景的三维模型的方法。该方法是一个交叉领域，涉及到计算机图像处理、计算机图形学、计算机视觉以及模式识别等诸多学科。

与传统的利用建模软件或者三维扫描仪得到立体模型的方法相比，基于图像三维重建的方法成本低廉，真实感强，自动化程度高。此外，从理论上说基于图像三维重建实际上是计算机图形学的逆问题。如何根据受干扰或者不完整的二维信息来恢复三维信息是这项技术的一大难点，也是计算机视觉的一大难点。从图像序列获得物体的三维模型，利用机器视觉的研究成果来快速实现图像序列的景物的重建，长期以来一直是计算机视觉领域中的重要研究课题。

一般说来，从图像序列获取物体三维模型的方法可以依据是否己知摄像机的内参来划分为两大类。

(一)、在已知摄像机内参的情况下，称为从运动恢复(校准的)结构。早期的方法主要集中在对两幅图像的研究上，通过找出两幅图像中一系列对应点对，进而得到物体的三维模型。后来人们把精力渐渐转移到复杂的长序列图像的研究上，因为利用长序列图像信息的冗余性(redundancy)，可以获得更加精确的三维模型。这些方法较有代表性的是Tomasi和Kanade提出的在仿射摄像机模型下利用因数分解来提取三维外形的方法。其优点是能够精确地获得欧氏几何意义下的三维模型，局限性是需要已知摄像机的内参数，即事先需要对摄像机进行校准，这在许多应用中都非常不方便。

(二)、在实际应用中，摄像机的内参常常是未知的。这就要求在未知摄像机内参的情况下获取物体三维模型，称作从运动恢复未校准的结构。它是一个比较困难的问题，至今为止还没有比较好的方法能够得到满意的结果。主要因为刚开始所能获得的信息非常有限，景物的几何结构以及摄像机的位置信息都是未知。唯一所能得到的信息是一些常用的假设如：景物是刚性的；物体表面的灰度变换是连续的；摄像机的模型是针孔模型等。

现有技术方案存在以下缺点：

(1)需要用校正板校对相机内部参数：现有的技术产品，需要使用提前准备好的黑白相间的校正板来校对相机的内部参数(包括相机的焦距，光学中心位置，成像偏移等)。相机内参校对完成后，在采集数据(拍照)的过程中不能改变相机的内部参数，特别是相机的焦距不能改变，制约了拍照的过程，这在许多应用中都非常不方便；

(2)受环境因素影响：现有的技术产品受诸多环境因素影响，场景中的诸多因素，包括照明和光源情况、场景中物体的几何形状和物理性质(特别是表面的反射性质)、摄像机的特性、光源与物体和摄像机之间的空间关系等，任何因素的变化都将影响图像的变化，从而使三维数字化重建的结果很不稳定。

(3)现有技术中图像特征点的选取及特征点匹配算法都是基于但通道灰度图像的，即使采集的数据是三通道RGB颜色图像，也要将三通道RGB模型编程单通道灰度Gray模型，因为单通道模型每一个像素点只有一个从0到255之间的数值代表其灰度，数据简单，方便计算，但其缺点也是显而易见的，即有用的数据大量损失，使得计算的结果不好，而且不稳定。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种基于单个相机的三维数字化重建方法及***。

本发明解决上述技术问题的技术方案如下：一种基于单个相机的三维数字化重建方法，包括如下步骤：

步骤1：客户端获取被重建物体的一组二维图片，并发送给云端服务器；

步骤2：云端服务器采集二维图片的RGB三通道颜色图像数据，并转换为UVW三通道颜色图像数据；

步骤3：在UVW三通道颜色空间进行图像特征点的选取及匹配；

步骤4：在未知相机内参的情况下，根据三角对应关系，进行相机位置定标，得到相机位置的旋转矩阵R和平移向量t；

步骤5：根据图像特征点的匹配以及相机位置旋转矩阵R和平移向量t进行物体的三维重建；

步骤6：利用三维物体区域分析方法在物体表面上自动生成颜色贴图。

本发明的有益效果是：本发明可实现在未知相机内参的情况下，进行相机位置定位，无需每次校验相机内参后再采集数据，提高了数据采集的灵活性；且在UVW三通道颜色空间对图像数据进行处理，大大降低了数据损失，提高计算结果的稳定性。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，步骤2中将三通道RGB颜色图像数据转换为三通道UVW颜色图像数据的具体实现为：

步骤2.1：将非线性的RGB三通道颜色模型转换为相对线性的XYZ三通道颜色模型，转换公式如下，

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\frac{1}{0.177}\left[\begin{array}{ccc}0.49& 0.31& 0.20\\ 0.177& 0.812& 0.011\\ 0.00& 0.01& 0.99\end{array}\right]\left[\begin{array}{c}\mathrm{\γ}\left(R\right)\\ \mathrm{\γ}\left(G\right)\\ \mathrm{\γ}\left(B\right)\end{array}\right];$

其中，颜色空间的伽玛校正系数γ＝2.0；

步骤2.2：将相对线性的XYZ三通道颜色模型转换为有空间三维几何意义的UVW三通道颜色模型，转换公式为

$\stackrel{\→}{x}\→F\left(\stackrel{\→}{x}\right)=A\left(\hat{\ln }\left(B\stackrel{\→}{x}\right)\right)$

其中，F是从XYZ三通道颜色空间到UVW三通道颜色空间的函数，代表像素点的XYZ三通道颜色空间值，A、B为常数矩阵，

$\begin{array}{cc}A=\left[\begin{array}{ccc}27.07439& -22.80783& -\mathrm{1,806681}\\ -5.646736& -7.722125& 12.86503\\ -4.163133& -4.579428& -4.578049\end{array}\right]& B=\left[\begin{array}{ccc}0.9465229& 0.2946927& -0.1313419\\ -0.117917& 0.9929960& 0.007371554.\\ 0.0923046& -0.04645794& 0.9946464\end{array}\right]\end{array}$

采用上述进一步方案的有益效果：通过以上的计算，可以把RGB颜色模型的数据转换为UVW颜色模型，在UVW颜色模型下，颜色点可以看成是具有几何意义的三维点，这样处理数据时，大大降低了有用的数据的损失，使得计算的结果精准，而且稳定。

进一步，步骤3中在UVW三通道颜色模型中进行特征点的选取和特征点的匹配的具体实现为：

步骤3.1：重定义UVW三通道颜色模型中邻域梯度，X、Y方向上的梯度分别为各自方向上的向量相减，分别得到G_x和G_y，θ为G_x和G_y的夹角；

步骤3.2：每个特征点由一个三角形代表，当两个三角形相同或相似，代表两个特征点相同或相似。

采用上述进一步方案的有益效果：如果这两个三角形相同或相似，代表这两个特征点是相同或相似的，如果这两个三角形差别很大，代表这两个特征点是完全不同的，因为在UVW空间上的平移代表着光线方向和色温的变化，特征比对只考虑三角形本身的大小和形状，不考虑位置，所以颜色特征是抗光线干扰和色温变化的，因此，上述进一步方案进行特征点匹配时，匹配简单，且可实现抗光线干扰和色温变化。

进一步，步骤4中在未知相机内参的情况下，根据三角对应关系，进行相机位置定标的具体实现为：一个相机在两个不同位置以不同内参状态拍照，相当于两个摄像机，第一摄像机和第二摄像机；

步骤4.1：利用基本矩阵关系式，根据对应点的坐标m和m’，计算基本矩阵F，其中基本矩阵关系式为

m'^TFm＝0

其中，F为基本矩阵，m及m’分别为三维目标点M在两个相机位置的投影点；

步骤4.2：设第一摄像机坐标系与世界坐标系相同，R和t分别为第二摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量，基本矩阵F的另外表示形式如下式

F＝K'^-T[t]_×RK^-1

其中，K为第一摄像机的内参，K’为第二摄像机相机的内参，均未未知量，[t]_×为t的反对称矩阵，

${\left[t\right]}_{\×}=\left[\begin{array}{ccc}0& {-t}_z& t_y\\ t_z& 0& {-t}_x\\ {-t}_y& t_x& 0\end{array}\right]$

步骤4.3：根据步骤4.2中的基本矩阵F的关系式，计算旋转矩阵R和平移向量t。

采用上述进一步方案的有益效果是：一般地，同一世界坐标系下的同一物体的图像间存在一种几何上的对极约束关系。在立体视觉中，可以利用图像点的匹配来恢复这种几何关系，反过来，也可以利用这种几何关系来约束匹配，使得对应点的搜索范围由二维平面降低到对应一维极线，使得匹配的鲁棒性、精度都得到很大提高。

进一步，步骤5根据图像特征点的匹配以及相机位置旋转矩阵R和平移向量t进行物体的三维重建的具体实现为：

步骤5.1：根据图像特征点的匹配和相机位置定标重建得到构成的物体骨架的稀疏三维点云；

步骤5.2：对稀疏三维点云进行扩展得到能将物体表面全部覆盖的但含有错误表面的稠密三维点云；

步骤5.3：根据灰度一致性及可见性对获得的物体表面进行过滤；

步骤5.4：重复步骤5.2和5.3达到预定次数，得到无错误表面的表示物体表面的稠密三维点云；

步骤5.5：在物体稠密三维点云的基础上，进行物体面重建。

进一步，所述步骤6的具体实现为：

步骤6.1：将步骤5中经过面重建获得的三维物体进行区域划分，找到颜色相对一致的区域作为一个投影区域，把三维物体分割成若干个投影区域；

步骤6.2：计算每一个投影区域的法线方向同相机方向的夹角，选取最小夹角的相机颜色为这一投影区域的颜色贴图。

本发明解决上述技术问题的另一技术方案如下：一种基于单个相机的三维数字化重建***，包括客户端和云端服务器，所述云端服务器包括数据采集模块、特征点选取及匹配模块、相机位置方向定标模块、三维重建模块和颜色贴图模块；

所述客户端用户获取单个相机拍摄的一组二维图片，并发送给云端服务器；

所述数据采集模块，其用于接收客户端发送的二维图片，并进行图片RGB三通道颜色图像数据的采集，将采集的数据传递给特征点选取及匹配模块；

所述特征点选取及匹配模块，其用于在UVW三通道颜色空间进行图像特征点的选取及匹配，将选取的特征点及匹配信息发送给相机位置方向定标模块；

相机位置方向定标模块，其用于在未知相机内参的情况下，根据三角对应关系，进行相机位置定标，得到相机位置的旋转矩阵R和平移向量t，将相机位置方向定标信息发送给三维重建模块；

所述三维重建模块，其用于根据图像特征点的匹配以及相机位置旋转矩阵R和平移向量t进行物体的三维重建，并将三维重建得到的稠密三维点云发送给颜色贴图模块；

所述颜色贴图模块，其用于在稠密三维点云的基础上，利用三维物体区域分析方法在物体表面上自动生成颜色贴图。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述特征点选取及匹配模块包括空间模型转换单元、特征点选取及匹配单元；

所述空间模型转换单元，其用于将RGB三通道颜色图像数据转换为UVW三通道颜色图像数据，并将转换后的数据发送给特征点选取及匹配单元；

所述特征点选取及匹配单元，其用于在UVW三通道颜色空间进行图像特征点的选取及匹配，将选取的特征点及匹配信息发送给相机位置方向定标模块。

进一步，所述三维重建模块包括稀疏点重建单元、稠密点重建单元、表面过滤单元和面重建单元；

所述稀疏点重建单元，其用于根据图像特征点的匹配和相机位置定标重建得到构成的物体稀疏点的稀疏三维点云；

所述稠密点重建单元，其用于对稀疏三维点云进行扩展得到能将物体表面全部覆盖的稠密三维点云；

表面过滤单元，其用于根据灰度一致性及可见性对获得的物体表面进行过滤，最终得到无错误表面的表示物体表面的稠密三维点云；

所述面重建单元，其用于在稠密三维点云的基础上，进行物体面重建。

进一步，所述颜色贴图模块包括投影划分单元和投影颜色选取单元；

所述投影划分单元，其用于将经过面重建获得的三维物体进行区域划分，找到颜色相对一致的区域作为一个投影区域，把三维物体分割成若干个投影区域；

所述投影颜色选取单元，其用于计算每一个投影区域的法线方向同相机方向的夹角，选取最小夹角的相机颜色为这一投影区域的颜色贴图。

附图说明

图1为本发明所述一种基于单个相机的三维数字化重建方法流程图；

图2为UVW颜色模型下的特征表示及特征匹配示意图；

图3为两幅图像间的对极几何关系示意图；

图4为本发明所述一种基于单个相机的三维数字化重建***框图；

图5为本发明所述特征点选取及匹配模块的结构框图；

图6为本发明所述三维重建模块的结构框图；

图7为本发明所述颜色贴图模块的结构框图。

附图中，各标号所代表的部件列表如下：

1、客户端，2、云端服务器，21、包括数据采集模块，22、特征点选取及匹配模块，23、相机位置方向定标模块，24、三维重建模块、25、颜色贴图模块，221、空间模型转换单元，222、特征点选取及匹配单元；241、疏点重建单元，242、稠密点重建单元，243、表面过滤单元，244面重建单元244；251、投影划分单元，252、投影颜色选取单元。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明中客户端按要求拍摄30到60张二维数码照片，传递给服务器，服务器自动处理数据。对于输入的二维图像组，首先找到相机的位置，和稀疏的点重建；然后在稀疏的点的基础上进行稠密的点重建；最后是面的三维重建和颜色贴图。1-2分钟得到最后的结果，并回传给客户端。结果的数据几何精度可达到1mm，颜色贴图自动生成。

如图1所示，一种基于单个相机的三维数字化重建方法，包括如下步骤：

步骤1：客户端获取被重建物体的一组二维图片，并发送给云端服务器；

步骤2：云端服务器采集二维图片的RGB三通道颜色图像数据，并转换为UVW三通道颜色图像数据；

步骤3：在UVW三通道颜色空间进行图像特征点的选取及匹配；

步骤4：在未知相机内参的情况下，根据三角对应关系，进行相机位置定标，得到相机位置的旋转矩阵R和平移向量t；

步骤5：根据图像特征点的匹配以及相机位置旋转矩阵R和平移向量t进行物体的三维重建；

步骤6：利用三维物体区域分析方法在物体表面上自动生成颜色贴图。

第2步，云端服务器采集二维图片的RGB三通道颜色图像数据，并转换为UVW三通道颜色图像数据。

以往所有的图像特征点的选取及特征点匹配算法(例如SIFT,SURF等)都是基于单通道灰度图像的，即使采集的数据是三通道RGB颜色图像，也要通过Gray＝R*0.3+G*0.59+B*0.11公式把三通道颜色RGB模型变成单通道灰度Gray模型。因为单通道模型每一个像素点只有一个从0到255之间的数值代表其灰度，数据简单，方便计算，缺点也是显而易见的，有用的数据大量损失，使得计算的结果不好，而且不稳定。

本发明直接使用三通道颜色模型来计算特征点，及其特征点的匹配。首先把非线性的RGB三通道颜色空间转换为相对线性的XYZ三通道颜色模型，变换的矩阵如下所示：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\frac{1}{0.177}\left[\begin{array}{ccc}0.49& 0.31& 0.20\\ 0.177& 0.812& 0.011\\ 0.00& 0.01& 0.99\end{array}\right]\left[\begin{array}{c}\mathrm{\γ}\left(R\right)\\ \mathrm{\γ}\left(G\right)\\ \mathrm{\γ}\left(B\right)\end{array}\right]$

颜色空间的伽玛校正系数γ＝2.0。然后我们把三通道的XYZ颜色模型转换为有空间三维几何意义的UVW颜色空间。在UVW这个颜色空间，三通道的颜色模型可以看成是具有几何xyz三维模型，在这个空间，我们可以重新定义特征的相同或相似，如果两点UVW坐标的欧式几何距离很近，说明他们的特征很相同或相似。怎样找到对应的UVW颜色空间呢？假定F是我们希望得到的从XYZ到UVW颜色空间的函数，代表像素点的XYZ颜色空间值。根据物体的成像BRDF原理，物体的颜色是由光线在物体材质上的反射形成。根据大量的实验数据可得到，F函数可以通过以下函数模拟：

$\stackrel{\→}{x}\→F\left(\stackrel{\→}{x}\right)=A\left(\hat{\ln }\left(B\stackrel{\→}{x}\right)\right)$

中代表对矩阵中每一项取ln值。A和B是3×3的矩阵，其具体的数值如下：

$\begin{array}{cc}A=\left[\begin{array}{ccc}27.07439& -22.80783& -\mathrm{1,806681}\\ -5.646736& -7.722125& 12.86503\\ -4.163133& -4.579428& -4.578049\end{array}\right]& B=\left[\begin{array}{ccc}0.9465229& 0.2946927& -0.1313419\\ -0.117917& 0.9929960& 0.007371554\\ 0.0923046& -0.04645794& 0.9946464\end{array}\right]\end{array}$

通过以上的计算，可以把RGB颜色模型的数据转换为UVW颜色模型。在UVW颜色模型下，颜色点可以看成是具有几何意义的三维点。

第3步，在UVW三通道颜色空间进行图像特征点的选取及匹配。

步骤3.1：重定义UVW三通道颜色模型中邻域梯度，X、Y方向上的梯度分别为各自方向上的向量相减，分别得到G_x和G_y，θ为G_x和G_y的夹角；

步骤3.2：每个特征点由一个三角形代表，当两个三角形相同或相似，代表两个特征点相同或相似。

在三通道颜色模型下，我们要重新定义邻域的梯度。基于灰度图像的邻域的梯度定义非常简单，因为是单通道，只是邻域的灰度值相减。三通道的邻域梯度是向量相减，x方向上的梯度就是x方向上的相量相减，得到G_x，y方向同理得到G_y。θ角是G_x和G_y的夹角。

如图2所示，两个三角形分别代表两个特征点，如果这两个三角形相同或相似，代表这两个特征点是相同或相似的。如果这两个三角形差别很大，代表这两个特征点是完全不同的。因为在UVW空间上的平移代表着光线方向和色温的变化，我们的特征比对只考虑三角形本身的大小和形状，不考虑位置。所以我们的颜色特征是抗光线干扰和色温变化的。

第4步，在未知相机内参的情况下，根据对几何关系原理利用图像特征点确定获取每一个二维图片时相机的位置和方向，并建立相机与被重建物体的对应关系。

在未知相机内参的情况下的，相机位置方向的标定。一般地，同一世界坐标系下的同一物体的图像间存在一种几何上的对极约束关系。在立体视觉中，可以利用图像点的匹配来恢复这种几何关系，反过来，也可以利用这种几何关系来约束匹配，使得对应点的搜索范围由二维平面降低到对应一维极线，使得匹配的鲁棒性、精度都得到很大提高。

对极几何关系在数学上可以用基础矩阵F来表示，因此，对极几何问题就转化为对基础矩阵F的估计问题。精确地计算F对于标定、寻找精确匹配和三维重建都有重要意义。

如图3所示，假设在一个立体视觉***中，有两个摄像机，设C和C'分别为两个摄像机的光心，两个摄像机获得的图像分别为I和I'，M为三维空间中的任意一点，m和m'是点M在两个图像上的像点(投影点)，称m和m'为一对对应点。连接光心C和C'的直线称为基线(base line)。空间点M和两个光心C和C'共面，设它们所在的平面为Π，该面称为极平面(epipolarplane)。极平面与图像平面的交线l和l'称为极线(epipolar line)。因为m(m')也同时在平面Π和像平面I(I')上，因此l(l')必然过m(m')点，也就是说m'(m)的对应点m(m')必然在l(l')上。从这里可以看出，寻找m(m')的对应点m'(m)时，不必在I'(I)整幅图像中寻找，只需在m'(m)在I'(I)的极线上寻找即可。这就提供了一个重要的极线约束，将对应点的搜索空间从二维降到了一维。当三维空间点M移动时，产生的所有极线都穿过极点(epipole)e(e')，极点是基线与图像平面的交点。

设两个摄像机的投影矩阵分别为P₁和P₂，则两个摄像机的投影方程如下：

Z_cm＝P₁M＝[P_1A P_1B]M  (4.1)

Z_c'm'＝P₂M＝[P_2A P_2B]M  (4.2)

其中，M为三维空间点M在世界坐标系下的齐次坐标；m，m'分别是投影点m，m'在图像坐标系下的齐次坐标；将投影矩阵P₁和P₂中左面的3×3部分记为P_1A和P_2A，右边的3×1部分记为P_1B和P_2B。如果将M＝(X_w,Y_w,Z_w,1)^T记为其中则式(4.1)、(4.2)可展开为

$Z_{c}m=P_{1A}\stackrel{\‾}{M}+P_{1B}---\left(4.3\right)$

$Z_c{m}^{\′}=P_{2A}\stackrel{\‾}{M}+P_{2B}---\left(4.4\right)$

将上式消去得

Z_c'm'-Z_cP_2AP_1A ^-1m＝P_2B-P_2AP_1A ^-1P_1B  (4.5)

如果t为三维向量，t＝(t_x,t_y,t_z)^T，称下列矩阵为由t定义的反对称矩阵，记为[t]_×。

${\left[t\right]}_{\×}=\left[\begin{array}{ccc}0& {-t}_z& t_y\\ t_z& 0& {-t}_x\\ {-t}_y& t_x& 0\end{array}\right]$

将式(4.5)右端的向量记为p，即

p＝P_2B-P_2AP_1A ^-1P_1B  (4.6)

将由p定义的反对称矩阵记为[p]_×，将[p]_×左乘式(4.5)两边，则由[p]_×p＝0可知

[p]_×(Z_c'm'-Z_cP_2AP_1A ^-1m)＝0  (4.7)

将上式两边除以Z_c'，并记Z＝Z_c/Z_c'，得

[p]_×ZP_2AP_1A ^-1m＝[p]_×m'  (4.8)

上式右边向量为[p]_×m'＝p×m'，可见该向量与m'正交，将m'^T左乘上式两边，并将所得两边除以Z后得到以下重要关系：

m'^T[p]_×P_2AP_1A ^-1m＝0  (4.9)

式(4.9)的意义是，它给出了m和m'(三维空间点M在两个像平面上的投影点m和m'的齐次坐标)所必须满足的关系。可以看出，在给定m(m')的情况下，式(4.9)是一个关于m'(m)的线性方程，即图像I'(I)上的极线方程。

令F＝[p]_×P_2AP_1A ^-1，则式(4.9)可以改写成：

m'^TFm＝0  (4.10)

矩阵F是立体视觉与运动视觉中一个非常重要的矩阵，称为基本矩阵(fundamental matrix)。

如果设第一个摄像机坐标系与世界坐标系相同，K为第一个摄像机的内部参数，K'为第二个摄像机的内部参数，R和t为第二个摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量，即

P₁＝K[I 0],P₂＝K'[R t]  (4.11)

则基本矩阵也可以表示如下：

F＝K'^-T[t]_×RK^-1  (4.12)

式(4.10)的重要性在于它给出了一个描述基本矩阵的方法：不需要摄像机的投影矩阵，而仅需两幅图像间的对应点。这就使得我们可以利用对应点的关系恢复出基本矩阵F。这一过程被称为是立体摄像机的弱标定(weakcalibration)。根据以上的阐述我们的方法可以不知道相机内参(焦距，偏移量等)的条件下，同样可以计算出相机位置和方向。

第5步，根据图像特征点的匹配以及相机位置旋转矩阵R和平移向量t进行物体的三维重建。

我们采用PMVS算法进行稠密重建。首先通过第一步的特征点匹配，和第二步的相机定标，重建得到稀疏三维点云，这些稀疏三维点云是基于特征点的重建，稀疏重建得到的只是物体的一个稀疏点，再进行扩展得到稠密点云。

步骤5.1：根据图像特征点的匹配和相机位置定标重建得到构成的物体骨架的稀疏三维点云；

步骤5.2：对稀疏三维点云进行扩展得到能将物体表面全部覆盖的但含有错误表面的稠密三维点云；

步骤5.3：根据灰度一致性及可见性对获得的物体表面进行过滤；

步骤5.4：重复步骤5.2和5.3达到预定次数，得到无错误表面的表示物体表面的稠密三维点云；

步骤5.5：在物体稠密三维点云的基础上，进行物体面重建。

步骤5.1中，对于一个特征f，设其对应面片为p，其所在图像作为参考图像R(p)，在面片集合*V(p)里找到与特征f满足极线约束的同类型特征f′，所有找到特征点组成集合V(f)，根据三角测量原理，计算匹配特征对(f,f′)对应的面片中心c(p)，用c(p)指向R(p)对应相机光心方向的单位向量作为面片法向n(p)，将c(p)和n(p)作为变量，用共轭梯度法最小化灰度差异函数*g(p)，由集合F中所有特征点与当前特征点匹配得到一组候选面片，从中选择最优的一个作为最终面片，所有特征点对应的空间点组成了表示物体表面的稀疏点云。

步骤5.2-5.5中，对于稀疏点云中的一个面片p进行扩展，先找到其相邻图像块C(p)，再根据面片p初始化相邻面片p′，用共轭梯度法优化c(p′),n(p′)，从而扩展出一个新面片，当面片能够将物体表面全部覆盖时就得到稠密点云。但扩展后含有错误的面片(因为有错误的三维重建点M,如果特征点匹配错误，就会找到错误的三维重建点M,就会有错误的M,导致错误的面片MCC’)，最后还需要根据灰度一致性以及可见性进行过滤，扩展和过滤重复n次(本文为3次)，最终得到表示物体表面的稠密的三维点云。

第6步，利用三维物体区域分析方法在物体表面上自动生成颜色贴图。

步骤6.1：将步骤5中经过面重建获得的三维物体进行区域划分，找到颜色相对一致的区域作为一个投影区域，把三维物体分割成若干个投影区域；

步骤6.2：计算每一个投影区域的法线方向同相机方向的夹角，选取最小夹角的相机颜色为这一投影区域的颜色贴图。

由于得到了相机的位置和方向，并建立了相机同被重建物体的对应关系，也就得到了从二维的图像到三维重建物体的投射关系。每一个三维重建物体的表面上的点都可以在二维的图像上找到相对应的颜色信息，这个颜色就是最终生成物体的颜色贴图信息。由于对角度的投射，在不考虑遮挡的条件下，每一个三维点至少有5台相机投射到这点。如何选取合适的颜色呢？我们采用基于三维物体区域分析的方法来实现，所谓区域分析，就是找到物体颜色相对一致的区域，根据不同的物体，把物体分割成50到500个这样的投影区域。计算每一个区域的法线方向同相机方向的夹角，选取最小夹角的相机颜色最为这一区域的颜色贴图。由此颜色贴图自动完成。

如图4所示，一种基于单个相机的三维数字化重建***，包括客户端1和云端服务器2，所述云端服务器2包括数据采集模块21、特征点选取及匹配模块22、相机位置方向定标模块23、三维重建模块24和颜色贴图模块25；

所述客户端1用户获取单个相机拍摄的一组二维图片，并发送给云端服务器2；

所述数据采集模块21，其用于接收客户端1发送的二维图片，并进行图片RGB三通道颜色图像数据的采集，将采集的数据传递给特征点选取及匹配模块22；

所述特征点选取及匹配模块22，其用于在UVW三通道颜色空间进行图像特征点的选取及匹配，将选取的特征点及匹配信息发送给相机位置方向定标模块23；

相机位置方向定标模块23，其用于在未知相机内参的情况下，根据三角对应关系，进行相机位置定标，得到相机位置的旋转矩阵R和平移向量t，将相机位置方向定标信息发送给三维重建模块24；

所述三维重建模块24，其用于根据图像特征点的匹配以及相机位置旋转矩阵R和平移向量t进行物体的三维重建，并将三维重建得到的稠密三维点云发送给颜色贴图模块25；

所述颜色贴图模块25，其用于在稠密三维点云的基础上，利用三维物体区域分析方法在物体表面上自动生成颜色贴图。

如图5所示，所述特征点选取及匹配模块22包括空间模型转换单元221、特征点选取及匹配单元222；

所述空间模型转换单元221，其用于将RGB三通道颜色图像数据转换为UVW三通道颜色图像数据，并将转换后的数据发送给特征点选取及匹配单元；

所述特征点选取及匹配单元222，其用于在UVW三通道颜色空间进行图像特征点的选取及匹配，将选取的特征点及匹配信息发送给相机位置方向定标模块。

如图6所示，所述三维重建模块24包括稀疏点重建单元241、稠密点重建单元242、表面过滤单元243和面重建单元244；所述三维重建模块24包括稀疏点重建单元241、稠密点重建单元242、表面过滤单元243和面重建单元244；所述稀疏点重建单元241，其用于根据图像特征点的匹配和相机位置定标重建得到构成的物体稀疏点的稀疏三维点云；所述稠密点重建单元242，其用于对稀疏三维点云进行扩展得到能将物体表面全部覆盖的稠密三维点云；表面过滤单元243，其用于根据灰度一致性及可见性对获得的物体表面进行过滤，最终得到无错误表面的表示物体表面的稠密三维点云；所述面重建单元244，其用于在稠密三维点云的基础上，进行物体面重建。

如图7所示，所述颜色贴图模块25包括投影划分单元251和投影颜色选取单元252；所述投影划分单元251，其用于将经过面重建获得的三维物体进行区域划分，找到颜色相对一致的区域作为一个投影区域，把三维物体分割成若干个投影区域；所述投影颜色选取单元252，其用于计算每一个投影区域的法线方向同相机方向的夹角，选取最小夹角的相机颜色为这一投影区域的颜色贴图。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于单个相机的三维数字化重建方法，其特征在于，包括如下步骤：

步骤1：客户端获取被重建物体的一组二维图片，并发送给云端服务器；

步骤2：云端服务器采集二维图片的RGB三通道颜色图像数据，并转换为UVW三通道颜色图像数据；

步骤3：在UVW三通道颜色空间进行图像特征点的选取及匹配；

步骤4：在未知相机内参的情况下，根据三角对应关系，进行相机位置定标，得到相机位置的旋转矩阵R和平移向量t；

步骤5：根据图像特征点的匹配以及相机位置旋转矩阵R和平移向量t进行物体的三维重建；

步骤6：利用三维物体区域分析方法在物体表面上自动生成颜色贴图。

2.根据权利要求1所述一种基于单个相机的三维数字化重建方法，其特征在于，步骤2中将三通道RGB颜色图像数据转换为三通道UVW颜色图像数据的具体实现为：

步骤2.1：将非线性的RGB三通道颜色模型转换为相对线性的XYZ三通道颜色模型，转换公式如下，

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\frac{1}{0.177}\left[\begin{array}{ccc}0.49& 0.31& 0.20\\ 0.177& 0.812& 0.011\\ 0.00& 0.01& 0.99\end{array}\right]\left[\begin{array}{c}\mathrm{\γ}\left(R\right)\\ \mathrm{\γ}\left(G\right)\\ \mathrm{\γ}\left(B\right)\end{array}\right];$

其中，颜色空间的伽玛校正系数γ＝2.0；

步骤2.2：将相对线性的XYZ三通道颜色模型转换为有空间三维几何意义的UVW三通道颜色模型，转换公式为

$\stackrel{\→}{x}\→F\left(\stackrel{\→}{x}\right)=A\left(\hat{\ln }\left(B\stackrel{\→}{x}\right)\right)$

其中，F是从XYZ三通道颜色空间到UVW三通道颜色空间的函数，代表像素点的XYZ三通道颜色空间值，A、B为常数矩阵，

$\begin{array}{cc}A=\left[\begin{array}{ccc}27.07439& -22.80783& -\mathrm{1,806681}\\ -5.646736& -7.722125& 12.86503\\ -4.163133& -4.579428& -4.578049\end{array}\right]& B=\left[\begin{array}{ccc}0.9465229& 0.2946927& -0.1313419\\ -0.117917& 0.9929960& 0.007371554.\\ 0.0923046& -0.04645794& 0.9946464\end{array}\right]\end{array}$

3.根据权利要求1所述一种基于单个相机的三维数字化重建方法，其特征在于，步骤3中在UVW三通道颜色模型中进行特征点的选取和特征点的匹配的具体实现为：

步骤3.1：重定义UVW三通道颜色模型中邻域梯度，X、Y方向上的梯度分别为各自方向上的向量相减，分别得到G_x和G_y，θ为G_x和G_y的夹角；

步骤3.2：每个特征点由一个三角形代表，当两个三角形相同或相似，代表两个特征点相同或相似。

4.根据权利要求1所述一种基于单个相机的三维数字化重建方法，其特征在于，步骤4中在未知相机内参的情况下，根据三角对应关系，进行相机位置定标的具体实现为：一个相机在两个不同位置以不同内参状态拍照，相当于两个摄像机，第一摄像机和第二摄像机；

步骤4.1：利用基本矩阵关系式，根据对应点的坐标m和m’，计算基本矩阵F，其中基本矩阵关系式为

m'^TFm＝0

其中，F为基本矩阵，m及m’分别为三维目标点M在两个相机位置的投影点；

步骤4.2：设第一摄像机坐标系与世界坐标系相同，R和t分别为第二摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量，基本矩阵F的另外表示形式如下式

F＝K'^-T[t]_×RK^-1

其中，K为第一摄像机的内参，K’为第二摄像机相机的内参，均未未知量，[t]_×为t的反对称矩阵，

${\left[t\right]}_{\×}=\left[\begin{array}{ccc}0& {-t}_z& t_y\\ t_z& 0& {-t}_x\\ {-t}_y& t_x& 0\end{array}\right]$

步骤4.3：根据步骤4.2中的基本矩阵F的关系式，计算旋转矩阵R和平移向量t。

5.根据权利要求1所述一种基于单个相机的三维数字化重建方法，其特征在于，步骤5根据图像特征点的匹配以及相机位置旋转矩阵R和平移向量t进行物体的三维重建的具体实现为：

步骤5.1：根据图像特征点的匹配和相机位置定标重建得到构成的物体骨架的稀疏三维点云；

步骤5.2：对稀疏三维点云进行扩展得到能将物体表面全部覆盖的但含有错误表面的稠密三维点云；

步骤5.3：根据灰度一致性及可见性对获得的物体表面进行过滤；

步骤5.4：重复步骤5.2和5.3达到预定次数，得到无错误表面的表示物体表面的稠密三维点云；

步骤5.5：在物体稠密三维点云的基础上，进行物体面重建。

6.根据权利要求1所述一种基于单个相机的三维数字化重建方法，其特征在于，所述步骤6的具体实现为：

步骤6.1：将步骤5中经过面重建获得的三维物体进行区域划分，找到颜色相对一致的区域作为一个投影区域，把三维物体分割成若干个投影区域；

步骤6.2：计算每一个投影区域的法线方向同相机方向的夹角，选取最小夹角的相机颜色为这一投影区域的颜色贴图。

7.一种基于单个相机的三维数字化重建***，其特征在于，包括客户端和云端服务器，所述云端服务器包括数据采集模块、特征点选取及匹配模块、相机位置方向定标模块、三维重建模块和颜色贴图模块；

所述客户端用户获取单个相机拍摄的一组二维图片，并发送给云端服务器；

所述数据采集模块，其用于接收客户端发送的二维图片，并进行图片RGB三通道颜色图像数据的采集，将采集的数据传递给特征点选取及匹配模块；

所述特征点选取及匹配模块，其用于在UVW三通道颜色空间进行图像特征点的选取及匹配，将选取的特征点及匹配信息发送给相机位置方向定标模块；

相机位置方向定标模块，其用于在未知相机内参的情况下，根据三角对应关系，进行相机位置定标，得到相机位置的旋转矩阵R和平移向量t，将相机位置方向定标信息发送给三维重建模块；

所述三维重建模块，其用于根据图像特征点的匹配以及相机位置旋转矩阵R和平移向量t进行物体的三维重建，并将三维重建得到的稠密三维点云发送给颜色贴图模块；

所述颜色贴图模块，其用于在稠密三维点云的基础上，利用三维物体区域分析方法在物体表面上自动生成颜色贴图。

8.根据权利要求7所述一种基于单个相机的三维数字化重建***，其特征在于，所述特征点选取及匹配模块包括空间模型转换单元、特征点选取及匹配单元；

所述空间模型转换单元，其用于将RGB三通道颜色图像数据转换为UVW三通道颜色图像数据，并将转换后的数据发送给特征点选取及匹配单元；

所述特征点选取及匹配单元，其用于在UVW三通道颜色空间进行图像特征点的选取及匹配，将选取的特征点及匹配信息发送给相机位置方向定标模块。

9.根据权利要求7所述一种基于单个相机的三维数字化重建***，其特征在于，所述三维重建模块包括稀疏点重建单元、稠密点重建单元、表面过滤单元和面重建单元；

所述稀疏点重建单元，其用于根据图像特征点的匹配和相机位置定标重建得到构成的物体稀疏点的稀疏三维点云；

所述稠密点重建单元，其用于对稀疏三维点云进行扩展得到能将物体表面全部覆盖的稠密三维点云；

表面过滤单元，其用于根据灰度一致性及可见性对获得的物体表面进行过滤，最终得到无错误表面的表示物体表面的稠密三维点云；

所述面重建单元，其用于在稠密三维点云的基础上，进行物体面重建。

10.根据权利要求7所述一种基于单个相机的三维数字化重建***，其特征在于，所述颜色贴图模块包括投影划分单元和投影颜色选取单元；

所述投影划分单元，其用于将经过面重建获得的三维物体进行区域划分，找到颜色相对一致的区域作为一个投影区域，把三维物体分割成若干个投影区域；

所述投影颜色选取单元，其用于计算每一个投影区域的法线方向同相机方向的夹角，选取最小夹角的相机颜色为这一投影区域的颜色贴图。