CN102750698A

CN102750698A - 纹理摄像机标定装置与方法及其纹理图像几何校正方法

Info

Publication number: CN102750698A
Application number: CN2012101889112A
Authority: CN
Inventors: 郭红卫; 周珺; 于冲; 张志会
Original assignee: University of Shanghai for Science and Technology
Current assignee: University of Shanghai for Science and Technology
Priority date: 2012-06-11
Filing date: 2012-06-11
Publication date: 2012-10-24
Anticipated expiration: 2032-06-11
Also published as: CN102750698B

Abstract

本发明涉及一种应用于光学三维测量的纹理摄像机标定装置与方法及其纹理图像几何校正方法。纹理摄像机标定装置包括带有圆点标记阵列的参考平板和移动工作台。参考平板固定于移动工作台上，与其移动方向垂直。纹理摄像机标定方法为，移动工作台驱动参考平板平行移动至至少3个位置，读取移动距离作为其上圆点阵列圆心Z坐标；在参考平板各位置，由纹理摄像机拍摄圆点标记阵列图像，提取圆点圆心像素坐标；求解14个待定参数。纹理图像几何校正方法为，生成空白测量摄像机视角纹理图像；读取该空白图像每像素所对应的被测物面点的三维坐标，求解其在纹理摄像机拍摄的彩色纹理图像中的对应像素坐标，并用其颜色填充测量摄像机视角空白图像像素。

Description

纹理摄像机标定装置与方法及其纹理图像几何校正方法

技术领域

本发明涉及一种摄像机的标定装置与方法及其图像几何校正方法，尤其涉及一种光学三维测量中的纹理摄像机标定装置与方法及其纹理图像几何校正方法。

背景技术

光学三维测量技术，是指以光学方法为手段测量物体面形,获取物面三维点云数据的技术。该技术以其非接触的优点，在工业检测、生物学与医学、人类文化遗产保护、以及计算机视觉等方面都有着十分广阔的应用前景。主动式光学三维测量技术采用主动照明光源向物体投射结构光编码图案，利用摄像机从另一角度拍摄变形图案，从中计算出物面三维点云数据。被动式光学三维测量技术利用环境照明，采用两台或多台摄像机从多个角度拍摄物体，利用立体视觉原理重建物面三维点云数据。利用测得的三维点云数据可以重建物体的三维模型。在测量***中，为避免颜色校正或颜色平衡操作等引起的灰度畸变降低测量精度，一般选用黑白摄像机作为的测量摄像机,重建的三维点云数据与测量摄像机像素具有直接对应关系。

为了增强三维测量结果显示时的视觉真实感，可将被测三维物体的照片通过纹理贴图映射至重建的三维模型表面。在光学三维测量中，获取纹理照片的方式主要有三种。其一，直接用测量摄像机拍摄物体纹理照片。这种方法点云数据与纹理数据由同一摄像机获得，可以精确配准，贴图时没有位置误差。但由于测量摄像机一般为黑白摄像机，丢失了颜色信息。如果采用彩色相机进行测量（S Zhang and S-T Yau, “Simultaneous three-dimensional geometry and color texture acquisition using a single-chip color camera,” Opt. Eng. 47(12), 123604, 2008），Bayer滤色片及摄像机颜色平衡计算会引起灰度畸变，从而降低测量精度。其二，利用分光装置将物面反射的光束分为两路。在其中一路，用彩色摄像机拍摄纹理照片（S. Zhang and P. S. Huang, “High-resolution, real-time threedimensional shape measurement,” Opt. Eng. 45, 123601，2006）。这种方法不仅需要增加分光器件，还需要将纹理摄像机像素与测量摄像机像素精确对应，调整较为困难。其三，彩色纹理摄像机安装于测量摄像机旁边任意位置。这种方法简便易行，但由于纹理摄像机和测量摄像机的视角存在差异。直接拍摄的纹理照片不能直接用于纹理贴图，需要通过图像的配准或几何校正，将该纹理照片变换至测量摄像机所在视角才能实现贴图。

上述第三种方法简便易行，最为实用，但须通过标定建立纹理摄像机视角图像与测量摄像机视角图像之间的映射关系，再利用该映射关系将纹理摄像机拍摄到的彩色纹理图像变换至测量摄像机所在视角。由于测量摄像机像素与重建点云之间具有直接对应关系，那么就可以利用变换后的图像实现纹理贴图。但一般的摄像机标定方法（例如Z.Zhang，“Flexibel camera calibration by viewing a plane from unknown orientation,” International conference on computer vision(ICCV’99), Corfu, Greece. 666-673,1999）适用于获取一个摄像机的内外参数，不能直接用于确定上述两个视角图像像素之间的映射关系。

发明内容

本发明的目的，是提供一种用于光学三维测量的纹理摄像机标定装置和方法及其纹理图像的几何校正方法。通过上述装置和方法，可以确定光学三维测量***中纹理摄像机视角图像和测量摄像机视角图像之间的像素映射关系。通过该映射关系，可以将纹理摄像机拍摄到的彩色纹理图像变换至测量摄像机视角，从而实现三维模型的纹理贴图，增强三维测量结果显示时的视觉真实感。

为达到上述目的，本发明采用下述方案：

一种光学三维测量中的纹理摄像机标定装置，包括一块表面带有二维圆点标记阵列的参考平板和一个移动工作台。参考平板上的圆点标记阵列沿X、Y两个垂直方向分布。各圆点圆心坐标（X _k，Y _k）精确已知，其中k（k=1,2,…,K）为圆点序号。为提高图像对比度，圆点标记与背景颜色分别为黑白两色。参考平板固定于移动工作台上，并使参考平板平面与移动工作台移动方向垂直，于是移动工作台可驱动参考平板沿Z轴方向移动，移动距离可以精确读取。

一种光学三维测量中的纹理摄像机标定方法，标定过程包括以下步骤：

S1: 将上述标定装置置于测量***内，参考平板圆点标记朝向摄像机所在方向，可以由两台摄像机同时拍摄到。参考平板初始位置记录为Z ₀=0，作为测量深度图的基准位置。测量摄像机与纹理摄像机同时拍摄标记圆点阵列的图像。移动工作台驱动参考平板至N个不同位置（N≥2），并记录其位置Z _n（n=1，2，…，N）。通过这一过程，参考平板的标记圆点圆心构成一个三维空间点阵，其各点空间坐标（X _k, n，Y _k, n，Z _k, n）已知。在参考平板的每个移动到达位置，用纹理摄像机拍摄标记圆点阵列的图像。

S2: 对步骤S1中纹理摄像机获得的图像进行处理，提取各圆点质心作为圆点圆心的像素坐标 (u _k, n, v _k, n)。

S3: 将纹理摄像机图像各圆点圆心的像素坐标 (u _k, n, v _k, n)及其对应的三维空间点坐标（X _k, n，Y _k, n，Z _k, n）代入公式：

形成包含2K(N+1)个方程的方程组。利用最小二乘方法，从该方程组可求解出14个未知待定参数q _m (m=1,2,…,14)。这些参数决定了光学三维测量***中纹理摄像机视角图像和测量摄像机视角图像像素之间的映射关系。

一种光学三维测量中的纹理图像的几何校正方法。实际测量中，测量***可测得物面三维点云数据，其中测量摄像机像素(s,t)所对应的物面点三维坐标为 [X(s,t), Y(s,t), Z(s,t)]。同时由纹理摄像机可拍摄到物面彩色纹理图像。该纹理图像上(u,v)像素的红、绿、蓝三基色分量为[R _T(u,v), G _T (u,v), B _T (u,v)]。利用前述标定方法的标定结果，可以对该彩色图像进行几何校正，可将其由纹理摄像机视角图像变换至测量摄像机视角，步骤如下：

S4: 生成一幅测量摄像机视角的空白彩色图像[R _M(s,t), G _M (s,t), B _M (s,t)]，其分量分别表示该图像中像素(s,t)的红、绿、蓝三基色分量。

S5: 对于上述空白图像每一像素坐标(s,t)，利用公式

计算其在纹理摄像机图像中对应像素坐标(u,v)。

S6：读取纹理摄像机图像中像素(u,v)的各颜色分量。用这些颜色分量填充测量摄像机视角的空白彩色图像(s,t)像素，即

对所有像素(s,t)进行相同操作即可获得测量摄像机视角的彩色纹理图像，实现了纹理图像的几何校正。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

1、本发明可保证光学三维测量中点云测量与纹理获取过程独立进行，避免相互干扰。即利用黑白摄像机进行测量以保证测量精度，利用彩色摄像机记录纹理图像以保留色彩信息。

2、本发明允许纹理摄像机安装于测量摄像机旁边任意位置，不需要增加分光装置，易于实现。

3、纹理摄像机的参数的选取可以不同于测量摄像机。例如，可选用高量化分辨率与高线性的测量摄像机进行测量，以减小量化误差及非线性响应对测量精度的影响；同时选用一般量化分辨率（8-bit）与具有GAMMA校正的彩色摄像机进行彩色纹理图像的拍摄，保证纹理图像的视觉效果。两者的图像尺寸大小也可不同。

4、本发明装置简单，方法操作方便，无需获得纹理摄像机内外参数。标定装置可同时用于测量摄像机及测量***的标定。纹理摄像机标定与测量***标定可以同时进行，有利于减少标定时间。

附图说明

图1是本发明“光学三维测量中的纹理摄像机标定装置”的结构示意图；

图2是本发明“光学三维测量中的纹理摄像机标定方法”的原理图。

具体实施方式

本发明的优选实施例结合附图详述如下：

实施例一：参见图1，本应用于光学三维测量中的纹理摄像机标定装置由参考平板(1)和移动工作台(2)组成；参考平板(1)表面表面带有二维圆点标记阵列，圆点标记阵列沿X、Y两个垂直方向分布；参考平板(1)上各圆点圆心坐标（X _k，Y _k）精确已知，其中k（k=1,2,…,K）为圆点序号；参考平板(1)上圆点标记与背景颜色分别为黑白两色，以提高其图像的对比度，有利于圆点标记的分割；参考平板(1)固定于移动工作台(2)上，并使参考平板(1)平面与移动工作台(2)移动方向垂直；移动工作台(2)可驱动参考平板(1)沿Z轴方向移动，移动距离可以精确读取；标定装置在标定时，被置于由结构光源(3)和黑白测量摄像机(5)组成的测量***的测量空间内，位于黑白测量摄像机(5)和彩色纹理摄像机的视场内。

实施例二：参见图2，本应用于光学三维测量中的纹理摄像机标定方法,利用实施例一的装置进行标定，其标定原理及步骤介绍如下。

将参考平板圆点标记朝向摄像机所在方向，可以由两台摄像机同时拍摄到。

该参考平板可同时用于测量***的标定和纹理摄像机的标定。测量***中的测量摄像机可拍摄参考平板圆点标记阵列，用以建立测量摄像机像素坐标和被测物面点的三维坐标之间的映射关系，即实现测量***的横向（X和Y方向）标定。同时通过参考平板的平移，利用结构光源投射结构光图案至该参考平板，由测量摄像机获取参考平板位于不同深度位置时的变形结构光图案。分析这些图案，可以建立结构光图案形变量和被测物面点的深度之间的映射关系，即实现测量***的纵向（Z方向）标定。本发明主要是针对纹理摄像机的标定问题。由于测量***的标定和纹理摄像机的标定可同时进行，测量***与纹理拍摄***就具有同一空间坐标系。

参考平板初始位置记录为Z ₀=0，作为测量深度图的基准位置。测量摄像机与纹理摄像机同时拍摄标记圆点阵列的图像。移动工作台驱动参考平板至N个不同位置（N≥2），并记录其位置Z _n（n=1，2，…，N）。通过这一过程，参考平板的标记圆点圆心构成一个三维空间点阵，其各点空间坐标（X _k, n，Y _k, n，Z _k, n）已知。在参考平板的每个移动到达位置，用纹理摄像机拍摄标记圆点阵列的图像。

对纹理摄像机获得的标记原点图像进行处理。首先可通过平滑滤波去除标记原点图像的噪声，再对各圆点做图像分割。由于参考平板为一平面形状，其上光照相对比较均匀，并且圆点标记与背景颜色分别为黑白两色，对比度较大，图像分割可通过简单设定一个全局阈值来实现。图像通过分割被二值化，标记原点为白色表示为1，背景为黑色白色表示为0。然后求取各圆点质心作为圆点圆心的像素坐标 (u _k, n, v _k, n)：

其中下标k（k=1,2,…,K）表示参考平板上标记圆点的序号，n（n=0，1，2，…，N）表示参考平板位置序号； D _k,n为参考平板第n个位置时第k个标记圆点的连通区域，(i, j)为二值图像的像素坐标，上述公式的分母实际上是区域D _k,n的面积。

如前所述，移动工作台驱动参考平板移动，参考平板的标记圆点圆心构成一个三维空间点阵，其各点空间坐标（X _k, n，Y _k, n，Z _k, n）为已知。其中（X _k, n，Y _k, n）为圆点标记圆心坐标，在参考平板制作时就已经确定。坐标Z _k, n 由参考平板移动位置决定，在参考平板移动时读取。

将纹理摄像机图像各圆点圆心的像素坐标 (u _k, n, v _k, n)及其对应的三维空间点坐标（X _k, n，Y _k, n，Z _k, n）代入公式：

形成包含2K(N+1)个方程的方程组。上述公式是通过对测量***进行严格几何分析得到的，可以精确描述测量空间中一点的坐标和摄像机像素坐标之间的映射关系。注意到上述方程组是非线性的，需通过迭代法求解，较为困难，可将其变换为下列线性方程

其中T表示矩阵转置。利用Housholder变换，可求解该线性方程组最小二乘解，解得14个未知待定参数q _m (m=1,2,…,14)。这些参数决定了光学三维测量***中纹理摄像机视角图像和测量空间内物面点的三维坐标之间的映射关系。由于物面点云与测量摄像机像素之间存在确定的直接对应关系,可利用上述标定所得参数确定纹理摄像机视角图像和测量摄像机视角图像像素之间的映射关系。

实施例三：本应用于光学三维测量中的纹理图像的几何校正方法利用实施例二的标定结果对纹理摄像机拍摄的彩色纹理图像进行几何校正，将其变换为测量摄像机视角图像，以便于实现测量所得三维模型的纹理贴图。

实际测量中，测量***可测得物面三维点云数据，点云数据与测量摄像机像素存在直接的对应关系，像素(s,t)所对应的物面点三维坐标可表示为 [X(s,t), Y(s,t), Z(s,t)]。在测量的同时，纹理摄像机可拍摄到物面纹理图像。该纹理图像为彩色图像，可用RGB模型或HIS等模型表示。采用RGB模型，纹理图像上(u,v)像素的红、绿、蓝三基色分量可表示为[R _T(u,v), G _T (u,v), B _T (u,v)]。

为得到测量摄像机视角的纹理图像，可先生成一幅该视角的空白彩色图像，同样使用RGB模型，该图像像素(s,t)的红、绿、蓝三基色分量为[R _M(s,t), G _M (s,t), B _M (s,t)]。

对于上述空白图像每一像素坐标(s,t)，利用实施例二的标定结果，即参数q _m (m=1,2,…,14)，通过公式

可计算其在纹理摄像机图像中对应像素坐标(u,v)。

读取纹理摄像机图像中像素(u,v)的各颜色分量。用这些颜色分量填充测量摄像机视角的空白彩色图像(s,t)像素，即

如此即可获得了测量摄像机视角的彩色纹理图像，实现了纹理图像的几何校正。

本方法不要求纹理摄像机与测量摄像机具有有相同的像素尺寸和像素数。在上述过程中，由(s,t)计算所得纹理图像像素坐标(u,v)一般非整数值，可利用四舍五入将其圆整为整数值，或利用双线性差值方法由(u,v)周围最近4个像素计算其颜色灰度值；另外，也有可能由(s,t)计算所得纹理图像像素坐标(u,v)超出纹理图像尺寸范围，此时则无法获得该像素彩色纹理信息。

Claims

1.一种纹理摄像机标定装置，其特征在于：由参考平板(1)和移动工作台(2)组成；参考平板上(1)上具有沿X、Y两个垂直方向分布的二维圆点标记阵列；参考平板上(1)圆点标记的圆心坐标（X _k，Y _k）精确已知，其中k为圆点标记序号；参考平板上(1)的圆点标记与背景颜色分别为黑白两色，以提高其图像的对比度；参考平板(1)固定于移动工作台(2)上，并使参考平板(1)平面与移动工作台(2)移动方向垂直；移动工作台(2)可驱动参考平板(1)沿Z轴方向移动，移动距离可以精确读取。

2.一种纹理摄像机标定方法，采用根据权利要求1所述的纹理摄像机标定装置进行标定，其特征在于：标定过程包括以下步骤：

第一步、将参考平板(1)圆点标记朝向测量摄像机(4)和纹理摄像机(5)所在方向，可由两台摄像机(4、5)同时拍摄到；参考平板(1)初始位置记录为Z ₀=0；用纹理摄像机(5)拍摄标记圆点阵列的图像；移动工作台(2)驱动参考平板(1)至N个不同位置，N≥2，并记录其位置Z _n，n=1，2，…，N；

通过这一过程，参考平板(1)的标记圆点圆心构成一个三维空间点阵，其各点空间坐标（X _k, n，Y _k, n，Z _k, n）已知，其中k为圆点标记序号；在参考平板(1)的每个移动到达位置，用纹理摄像机(5)拍摄标记圆点阵列的图像；

第二步、对第一步中纹理摄像机(5)获得的图像进行处理，提取各圆点质心作为圆点圆心的像素坐标 (u _k, n, v _k, n)；

第三步、将纹理摄像机图像各圆点圆心的像素坐标 (u _k, n, v _k, n)及其对应的三维空间点坐标（X _k, n，Y _k, n，Z _k, n）代入公式：

Figure 2012101889112100001DEST_PATH_IMAGE002

形成包含2K(N+1)个方程的方程组；利用最小二乘方法，从该方程组可求解出14个未知待定参数q _m (m=1,2,…,14)；这些参数决定了光学三维测量***中纹理摄像机视角图像和测量摄像机视角图像像素之间的映射关系。

3.一种纹理图像的几何校正方法，采用根据权利要求2所述的纹理摄像机标定方法的结果进行图像几何校正，其特征在于：校正过程包括以下步骤：

第一步、生成一幅测量摄像机视角的空白彩色图像[R _M(s,t), G _M (s,t), B _M (s,t)]，其分量分别表示该图像中像素(s,t)的红、绿、蓝三基色分量；

第二步、对于第一步生成的空白图像每一像素坐标(s,t)，利用根据权利要求2所述的纹理摄像机标定方法的标定结果q _m (m=1,2,…,14)，将该像素对应的由测量***测量得到的物面点三维坐标[X(s,t), Y(s,t), Z(s,t)]代入下列公式，计算其在纹理摄像机图像中对应像素坐标(u,v)

第三步、读取纹理摄像机图像中像素(u,v)的红绿蓝颜色分量[R _T(u,v), G _T (u,v), B _T (u,v)]；

用这些颜色分量填充测量摄像机视角的空白彩色图像(s,t)像素，即

。