CN102954770A - 三维测量设备和三维测量方法 - Google Patents

Abstract

本发明涉及一种三维测量设备和三维测量方法。三维测量设备包括：检测单元，用于在摄像单元所拍摄的图像中，检测被投影到测量空间内的同一平面上预先设置的多个图案检测区域的图案在摄像像素面上的位置信息；以及对应关系计算单元，用于使用所述位置信息，来计算测量之前预先检测到的投影单元的投影像素面上的所述图案与测量时所述投影单元的投影像素面上的所述图案之间的对应关系。

Description

三维测量设备和三维测量方法

技术领域

本发明涉及一种三维测量设备和三维测量方法，该三维测量设备能够对用于测量被摄体的表面形状的三维测量设备中所发生的设备误差进行校准。

背景技术

作为用于以非接触方式测量被摄体的表面形状的设备，传统上存在一种用于使用投影单元和摄像单元基于三角测量方法的原理来测量该表面形状的设备。将对该测量方法进行说明。首先，投影单元将图案投影到被摄体上。接着，摄像单元对投影了图案的被摄体进行拍摄。根据所拍摄的图像数据对图案在摄像单元的摄像像素面上的位置进行检测。接下来，使得图案在投影单元的投影像素面上的位置与图案在摄像像素面上的位置彼此相对应。

通过校准来获得投影单元和摄像单元之间的位置关系。例如，预先获得(统称为校准值的)如下信息：投影单元和摄像单元之间的基线长度、摄像单元和投影单元的转动/平移信息、投影单元和摄像单元的设备特定参数、焦距、光轴主点位置、以及镜头像差值等。

最后，使用三角测量方法的原理，根据校准值以及投影像素面上的图案和摄像像素面上的图案之间的位置关系来对设备到被摄体的距离进行测量。在用于使用投影单元和摄像单元来测量被摄体的表面形状的设备中，通常，所使用的装置的形状和配置由于例如与温度变化相关联的热膨胀/收缩效果而随着时间发生微小变化。由于该原因，在测量环境中容易发生温度变化或者进行了长时间测量的情况下，图案投影位置发生微小变化。这导致：即使在相同的条件下测量相同的被摄体，表面形状的结果也会存在误差。

为了解决该问题，日本特开平8-054234提出了一种通过配置多个精确地已知相距三维测量设备的距离的对象来校准基线长度、投影单元的投影角度和摄像单元的摄像角度这三个参数的方法。日本特开平5-248830提出了一种通过对从投影单元投影至三维测量设备内部的测量光束进行分光并获得预先存储的光束投影位置与分离出的光束的投影位置之间的差来执行校准的方法。

然而，在日本特开平8-054234中，需要精确地获知各对象与设备之间的距离，并且实际操作中的设置也较为麻烦。另外，由于各对象和设备本身之间的距离可能随着时间而变化，因此校准值的可靠度低。在日本特开平5-248830中，向该设备添加新的设备。这在设备的小型化和成本方面造成问题。

发明内容

本发明是考虑到上述问题而做出的，并且提供一种能够校准测量误差的三维测量设备。

根据本发明的一个方面，提供一种三维测量设备，包括投影单元和摄像单元，其中所述投影单元用于对预定图案进行投影，并且所述摄像单元用于对投影了所述图案的被摄体进行拍摄，所述三维测量设备还包括：检测单元，用于在所述摄像单元所拍摄的图像中，检测被投影到测量空间内的同一平面上预先设置的多个图案检测区域的所述图案在摄像像素面上的位置信息；以及对应关系计算单元，用于使用所述位置信息，来计算测量之前预先检测到的所述投影单元的投影像素面上的所述图案与测量时所述投影单元的投影像素面上的所述图案之间的对应关系。

根据本发明的另一方面，提供一种三维测量设备的三维测量方法，所述三维测量设备包括投影单元和摄像单元，其中所述投影单元用于对预定图案进行投影，并且所述摄像单元用于对投影了所述图案的被摄体进行拍摄，所述三维测量方法包括以下步骤：检测步骤，用于在所述摄像单元所拍摄的图像中，检测被投影到测量空间内的同一平面上预先设置的多个图案检测区域的所述图案在摄像像素面上的位置信息；以及计算步骤，用于使用所述位置信息，来计算测量之前预先检测到的所述投影单元的投影像素面上的所述图案与测量时所述投影单元的投影像素面上的所述图案之间的对应关系。

根据本发明，可以提供一种能够校准测量误差的三维测量设备。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据实施例的三维测量设备的基本结构的框图；

图2A~2F是示出投影图案的例子的图；

图3A~3D是用于说明三维测量设备所进行的校准和三维测量处理的示意过程的图；

图4是用于说明根据第一实施例的三维测量设备所进行的校准和三维测量处理的过程的流程图；

图5是示出根据第二实施例的投影图案的图；

图6是用于说明根据第二实施例的线性插值的图；以及

图7是用于说明根据第三实施例的极线约束(epipolarconstraint)的图。

具体实施方式

第一实施例

图1是示出根据本实施例的三维测量设备的基本结构的框图。测量设备的基本结构包括：投影仪3，用于将图案投影到被摄体2上；照相机4，用于对投影了图案的被摄体2进行拍摄；以及测量计算单元1，用于指示进行图案的投影和拍摄并且对所拍摄的图像数据执行计算处理，由此进行三维测量。

测量计算单元1包括中央控制单元5、图案存储器6、图像存储器7、参数存储单元8、测量处理单元9、区域检测单元10、第一计算单元11、第二计算单元12以及基准信息处理单元13。这些单元通过总线彼此连接以发送/接收命令和数据。

图案存储器6由诸如ROM等的存储单元构成。图案存储器6存储用于对投影仪3要投影的图案进行设置的图案形状程序和用于对投影时间进行设置的时间帐户程序等。

中央控制单元5具有用于指示属于测量计算单元1的各单元的功能。在接收到来自中央控制单元5的投影指令时，图案存储器6将图案发送至投影仪3。在图案存储器6中准备了诸如用于三维测量的测量图案、用于校准测量误差的校准图案以及用于同时执行三维测量和校准的校准测量图案等的多个图案。校准测量图案是校准图案和测量图案的组合。稍后将参考图2A~2F说明测量图案和校准图案。图案存储器6根据来自中央控制单元5的指令发送图案中的一个。

中央控制单元5具有用于使投影仪3用作投影单元的中央控制单元的功能。时间帐户信号被发送至投影仪3和照相机4以对图案投影和拍摄定时进行管理。照相机4用作用于获取所拍摄图像的摄像单元。

将照相机4所拍摄的图像数据(所拍摄图像)临时存储在图像存储器7中。图像存储器7根据来自中央控制单元5的指令将图像数据发送到测量处理单元9或区域检测单元10。发送到测量处理单元9的过程是不对测量误差进行校准的过程。发送到区域检测单元10的过程是用于校准测量误差的过程。

在实际处理中，对于三维测量处理，图像数据经过了二值化处理和锐化处理等。这些处理与本实施例不相关，并且将省略对其的说明。在本实施例中，假定从图像存储器7发送来的图像数据已经过了所需处理。

区域检测单元10针对图像数据在同一预定平面上设置多个区域，检测投影在各个区域上的校准图案，并且根据校准图案的几何特征来检测用作图案的位置信息的位置坐标。通过绘出照相机4的摄像像素面的像素的坐标系上的坐标来表示作为检测结果的位置坐标。为了如本发明的目的那样进行误差校正，需要在测量之前预先检测图案的位置信息并且设置基准位置。在本实施例中，在进行用于获得投影仪3和照相机4的转动/平移信息以及作为投影单元和摄像单元的设备特定参数的校准值的校准时还检测图案位置坐标的基准位置。将所检测到的摄像像素面上的图案位置坐标发送到基准信息处理单元13。将在测量时检测到的摄像像素面上的图案位置坐标发送到第一计算单元11。

基准信息处理单元13使用图案位置坐标的基准位置，来对校准时的照相机4的摄像像素面和投影仪3的投影像素面之间的对应关系进行计算。稍后将参考图3A~3D说明图案存储器6中所存储的图案的对应关系。参数存储单元8由诸如ROM或RAM等的存储单元构成。参数存储单元8存储上述校准值。参数存储单元8还存储图案位置坐标的基准位置以及基准信息处理单元13所获得的校准时的照相机4的摄像像素面和投影仪3的投影像素面之间的对应关系。根据需要将这些参数发送到各个单元。

将对应关系计算单元分成第一计算单元11和第二计算单元12以执行以下处理。第一计算单元11从参数存储单元8获取校准时的摄像像素面上的图案位置坐标，并且从区域检测单元10获取测量时的摄像像素面上的图案位置坐标。然后，第一计算单元11根据所获取到的校准时的摄像像素面上的图案位置坐标以及测量时的摄像像素面上的图案位置坐标，来获得校准时的摄像像素面上的图案与测量时的摄像像素面上的图案之间的对应关系。第一计算单元11将所获得的对应关系发送到第二计算单元12。

第二计算单元12获得校准时的投影像素面上的图案与测量时的投影像素面上的图案之间的对应关系。第二计算单元12从参数存储单元8获取校准时的照相机4的摄像像素面与投影仪3的投影像素面之间的对应关系。第二计算单元12还从第一计算单元11获取校准时的摄像像素面上的图案与测量时的摄像像素面上的图案之间的对应关系。使用这两个对应关系，第二计算单元12获得校准时的投影像素面上的图案与测量时的投影像素面上的图案之间的对应关系。将所计算出的对应关系发送到测量处理单元9。

测量处理单元9从参数存储单元8获取校准值，并且使用图像数据通过三角测量方法的原理来进行三维测量。在根据本实施例的测量误差校准的情况下，使用从第二计算单元12所获取到的投影变换矩阵C来改变摄像像素面上的图案与投影像素面上的图案之间的对应关系。产生用作三维测量数据的测量结果。对三维测量数据进行可视化以使该三维测量数据能够作为深度映射而在诸如监视器等的显示单元14上进行观察。

注意，可以用包括中央控制单元和用于存储计算机程序的存储单元的外部装置来代替测量计算单元1的部分功能。例如，基准信息处理单元13和参数存储单元的一部分可以被该外部装置所代替，并且可以通过该外部装置来获得校准时的值。在这种情况下，将基准信息处理单元13和参数存储单元的一部分从本实施例的三维测量设备中去除。

图2A~2F是示出要投影的图案的例子的图。图2A是示出三维测量中所使用的测量图案24的图。在本实施例中，将以空间编码方法作为三维测量方法的例子来进行说明。然而，要投影的图案可以是空间编码方法中所使用的格雷码图案、相位移位方法中所使用的具有亮度变化的图案、以及光切断方法中所使用的线图案中的任一个。测量图案24具有以预定宽度交替布置的亮部和暗部。存在具有不同宽度的亮部和暗部的多个图案。对这些图案分别进行投影。图2A示出具有代表性的一个图案。

将被摄体2放置在具有均匀平面性的测量台20上并进行测量。将测量图案24投影到要测量的整个区域。图2B是示出将被摄体2放置在测量台20上并且对测量图案24进行投影以执行测量的状态的概念图。

图2C是示出用于对测量误差进行校准的校准图案22的图。将多个校准图案22投影到要测量的整个区域的外周部分。将校准图案22布置在测量空间的同一平面上。至少需要三个校准图案。在本实施例中，将四个校准图案22投影到测量台20上以保持相同的平面性。以下将针对稍后要说明的算法来说明使用四个校准图案来保持相同的平面性的原因。

校准图案22采用便于进行几何特征检测并且能够检测二维坐标的偏移的形状。图2C示出十字形图案作为例子。测量者预先在四个预定的角设置检测区域21(图案检测区域)的位置。一旦设置了这些位置，则不再改变。总是从投影仪3的投影像素面的预定像素来投影校准图案22。三维测量设备自动对检测区域21中的校准图案22进行检测。由于该原因，将检测区域21设置在比假定的偏移的对应关系大的范围内，因此校准图案22不会跑出检测区域21以外。例如，在市售的投影仪中，十字形图案可以随着时间而在数百微米到数毫米的范围内移动。因此，可以将检测区域21的大小设置得较大。

图2D是示出对用于组合三维测量所使用的测量图案24与校准测量误差用的校准图案22的校准测量图案25进行投影的状态的图。在该算法中，即使通过对测量图案24和校准图案22进行顺次投影，也能够执行测量误差校准。然而，可以通过对校准测量图案25进行投影来同时进行三维测量和校准。在本实施例中，将在假定投影校准测量图案25的情况下进行说明。

接下来将说明对校准图案22的几何特征进行检测。其目的在于：检测校准图案22的几何特征并且根据该几何特征来确定该校准图案的位置坐标。由于该目的，需要根据校准图案22的几何特征来唯一地确定坐标。在图2D中，将各十字形图案的交点检测为校准图案22的位置坐标。下文中将以(xc,yc)来表示照相机4的摄像像素面上所确定出的位置坐标。下文中将以(xp,yp)来表示投影仪3的投影像素面上所确定出的位置坐标。

图2E示出圆形图案23作为校准图案22的另一例子。根据圆形图案23的几何特征所获得的位置坐标是圆心的坐标。从图像数据中，通过将圆与圆形图案23相拟合来检测圆心，从而获得圆形图案23(校准图案)的位置坐标。

图2F示出多个十字形图案26作为校准图案22的又一例子。在这种情况下，各十字形图案的几何特征是交点。将各交点的坐标的平均值代表性地确定为位置坐标。可选地，将各交点的坐标直接用作位置坐标。如在该例子中那样，可以在一个检测区域21中针对一个或多个点获得位置坐标。

重要的是，可以根据校准图案唯一地确定二维方向上的位置坐标并随着时间的经过而跟踪位置坐标。只要满足上述条件，上述校准图案以外的任意校准图案都可以在本实施例中采用。

在本实施例中，已将测量图案24作为一维方向上的图案进行了说明。然而，在进行三维测量时，可以对其余的一维方向(在图2A中为垂直方向)上的图案进行投影。在这种情况下，在检测区域中确定二维方向上的位置坐标而不对与测量图案24不同的校准图案进行投影。即，可以使用测量图案本身来获得检测区域中的图案的位置坐标。

图3A~3D是用于说明根据本实施例的三维测量设备所进行的校准和三维测量处理的示意过程的图。图3A的右下方视图301仅示出校准时所投影的校准测量图案中的测量图案、即投影仪的投影像素面31上的测量图案35(投影仪侧的基准图案)。图3A的左下方视图302示出通过在校准时对测量图案35进行投影并拍摄被摄体表面反射的光所获得的照相机的摄像像素面30上的测量图案33(照相机侧的基准图案)。

图3A的左上方视图303示出通过在测量时对测量图案35进行投影并拍摄测量图案35所获得的摄像像素面30上的测量图案32。在测量时，投影仪的内部装置由于投影仪内部的热等原因而发生微小变形，并且图案位置与测量之前的校准时的图案位置存在微小不同。由于该原因，即使投影图案相同，也如左上方视图303所示那样，拍摄到与校准时的图案成角度的图案。图3A的右上方视图304示出在该算法中最终获得的虚拟投影像素面31上的测量图案34。投影像素面31上的实际投影图案是右下方视图301中所示的图案。然而，投影面上的图案根据左上方视图303中所示的所拍摄图案而虚拟地改变。这即是由该算法所执行的处理。右上方视图304中所示的投影像素面上的测量图案34与校准时的测量图案35(右下方视图301)之间的偏移的对应关系可以根据照相机侧的测量图案32和测量图案33之间的偏移的对应关系来获得。

通过将测量时的投影像素面31上的测量图案34相对于校准时的测量图案35偏移了测量时的摄像像素面30上的测量图案32相对于校准时的测量图案33的偏移量，来执行校准。由于该目的，以图2C、2D和2F所示的检测区域21中所检测到的校准图案的位置坐标的偏移的对应关系来表示整个测量区域中的偏移的对应关系。以下将说明用于计算校准图案的位置坐标的偏移的对应关系的方法。基于测量时的摄像像素面上的测量图案32与校准时的测量图案33之间的偏移的对应关系，测量处理单元9改变用于对投影像素面上的图案的亮部和暗部的边缘进行编号的表。以下将参考图3B~3D说明用于对投影像素面上的图案的亮部和暗部的边缘编号的表。

图3A中的箭头表示根据本实施例的算法的计算关系。首先，在校准时，获得投影仪3的投影像素面31上的测量图案35与照相机4的摄像像素面30上的测量图案33之间的投影关系，作为照相机4的摄像像素面和投影仪3的投影像素面在校准时的对应关系。由基准信息处理单元13来执行该处理。使用校准时的投影像素面31上的检测区域21中的校准图案的位置坐标(xp1，yp1)和摄像像素面30上的检测区域21中的校准图案的位置坐标(xc1，yc1)来计算投影变换矩阵A。

$\left(\begin{array}{c}\mathrm{xp}1\\ \mathrm{yp}1\end{array}\right)=A\×\left(\begin{array}{c}\mathrm{xc}1\\ \mathrm{yc}1\end{array}\right)---\left(1\right)$

通过两行×两列来表示投影变换矩阵A。

$A=\left(\begin{array}{cc}m11& m12\\ m21& m22\end{array}\right)$

为了执行投影变换，需要同一平面上的至少4个点，以指定要进行投影变换的区域。因此，在本实施例中，将检测区域21布置在测量台20的四个角。

接下来，获得校准时的摄像像素面上的校准图案和测量时的摄像像素面上的校准图案之间的对应关系。第一计算单元11获得校准时的摄像像素面30上的测量图案33与测量时的摄像像素面30上的测量图案32之间的投影关系。使用校准时的摄像像素面30上的检测区域21中的校准图案的位置坐标(xc1，yc1)和测量时的摄像像素面30上的检测区域21中的校准图案的位置坐标(xc2，yc2)来计算投影变换矩阵B。

$\left(\begin{array}{c}\mathrm{xc}2\\ \mathrm{yc}2\end{array}\right)=B\×\left(\begin{array}{c}\mathrm{xc}1\\ \mathrm{yc}1\end{array}\right)---\left(2\right)$

通过两行×两列来表示投影变换矩阵B。

$B=\left(\begin{array}{cc}n11& n12\\ n21& n22\end{array}\right)$

使用投影变换矩阵A，可以通过等式(3)来表示测量时的摄像像素面30上的测量图案32和投影像素面31上的测量图案34之间的关系。

$\left(\begin{array}{c}\mathrm{xp}2\\ \mathrm{yp}2\end{array}\right)=A\×\left(\begin{array}{c}\mathrm{xc}2\\ \mathrm{yc}2\end{array}\right)---\left(3\right)$

接着，获得校准时的投影像素面上的校准图案与测量时的投影像素面上的校准图案之间的对应关系。通过等式(4)来给出测量时的投影像素面31上的测量图案34与校准时的测量图案35之间的投影关系。

$\left(\begin{array}{c}\mathrm{xp}2\\ \mathrm{yp}2\end{array}\right)=C\×\left(\begin{array}{c}\mathrm{xp}1\\ \mathrm{yp}1\end{array}\right)=A\×B\×A^{-1}\×\left(\begin{array}{c}\mathrm{xp}1\\ \mathrm{yp}1\end{array}\right)---\left(4\right)$

通过两行×两列来表示投影变换矩阵C。

$C=\left(\begin{array}{cc}h11& h12\\ h21& h22\end{array}\right)$

根据由等式(4)所表示的关系，获得等式(5)。

C=A×B×A^-1                        (5)

使用等式(5)，将校准时的投影像素面31上的测量图案35乘以投影变换矩阵C，从而获得测量时的测量图案34。该处理由第二计算单元12来执行。

图3B是示出摄像像素面上的测量图案的亮部和暗部的边缘位置的表。图3C和3D是示出投影像素面上的图案的亮部和暗部的边缘位置的表。图3B中的表在下文中被称为摄像边缘位置表。图3C和3D中的各个表在下文中被称为投影边缘位置表。

在诸如空间编码方法等的用于获得相距投影仪的线位置的距离的方法中，测量图案的条纹的亮部和暗部的边缘位置用作测量值。由于该原因，需要计算摄像像素面上的边缘位置并将这些边缘位置保持在表中。这即为摄像边缘位置表。图3B示出校准时的测量图案33的摄像边缘位置表40。表中的值表示与x坐标值和y坐标值相对应的摄像像素面上的测量图案33的像素，并且具有用于估计子像素的小数部分。在图3B中，例如，边缘位置存在于摄像像素面的y方向上的第60个像素~第82个像素之间并且保持在该表中。

在利用使用投影仪的三角测量方法获得距离的方法中，需要将投影单元的投影像素面上的图案的位置和摄像像素面上的图案的位置彼此相对应。由于该目的，创建投影边缘位置表。这不仅适用于空间编码方法而且适用于利用使用投影仪的三角测量方法来获得距离的任意其它方法。图3D示出测量图案34的投影边缘位置表36。图3C示出校准时的投影边缘位置表38。例如，当投影仪3的垂直方向(y方向)上的像素数为768并且各亮部和暗部的大小为一个像素时，最多可获得767个边缘位置。因此，投影边缘位置表的x坐标值和y坐标值表示边缘位置的编号。在图3C中，例如，在该表中保持投影像素面的y方向上的第10个边缘位置~第15个边缘位置。也就是说，投影边缘位置表中的“10”表示第10个边缘位置。由于图3C中的投影边缘位置表与图3B中的摄像边缘位置表是成对的，因此投影边缘位置表中的“10”对应于摄像边缘位置表中具有小数部分的“60”的行(60.2~61.4)。

传统上，测量时的投影边缘位置表36(图3D)保持与校准时的投影边缘位置表38(图3C)中相同的值。然而，在这种情况下，由于投影边缘位置表并未对应于图案位置的变化，因而发生测量误差。为了防止该情况下，使用图3A中所计算出的投影变换矩阵C来改变投影边缘位置表，从而形成投影边缘位置表36。

这使得能够根据检测区域21内的校准图案的位置坐标的偏移的对应关系来估计投影像素面上的整个测量区域的偏移的对应关系并由此改变整个区域内的图案的位置坐标。这即为测量处理单元9所执行的校准。注意，以上等式仅为示例，并且利用其它方法的计算方法也是可用的。例如，代替等式(3)，可以使用等式(6)和(7)。

$\left(\begin{array}{c}\mathrm{Xp}1\\ \mathrm{Yp}1\end{array}\right)=D\×\left(\begin{array}{c}\mathrm{Xc}1\\ \mathrm{Yc}1\end{array}\right)---\left(6\right)$

$\left(\begin{array}{c}\mathrm{Xp}1\\ \mathrm{Yp}1\end{array}\right)=E\×\left(\begin{array}{c}\mathrm{Xc}2\\ \mathrm{Yc}2\end{array}\right)---\left(7\right)$

根据等式(6)和(7)来获得等式(8)。

$\left(\begin{array}{c}\mathrm{Xc}2\\ \mathrm{Yc}2\end{array}\right)=E^{-1}\×D\×\left(\begin{array}{c}\mathrm{Xc}1\\ \mathrm{Yc}1\end{array}\right)---\left(8\right)$

如上所述，如果由等式(3)所获得的矩阵的值是不稳定的，则可以用等式(8)来代替。本算法的目的是获得校准时的投影像素面上的位置信息(Xp1，Yp1)与测量时的投影像素面上的位置信息(Xp2，Yp2)之间的关系。因此，本实施例包含用于获得该关系的所有计算单元。

图4是用于说明校准测量误差并计算三维距离的过程的流程图。该处理是在测量计算单元1的整体控制下执行的。首先，获取校准图案的基准位置信息。操作者使用测量设备来对校准测量图案25进行投影和拍摄(步骤S40)。检测各个预先设置的检测区域21中所投影的校准图案的几何特征以获得位置坐标(步骤S41)。使用照相机4的摄像像素面上的位置坐标和投影仪3的投影像素面上的位置坐标来计算校准时的摄像像素面和投影像素面上的投影变换矩阵A(步骤S42)。

如上所述说明了校准时所执行的过程。将所检测到的摄像像素面上的位置坐标以及投影变换矩阵A存储在三维测量设备的参数存储单元8中。

接着，开始三维测量(步骤S43)。投影仪3对与校准时的校准测量图案相同的校准测量图案25进行投影，并且照相机4对投影了校准测量图案25的被摄体2进行拍摄。如步骤S41那样，从投影在各检测区域21中的校准图案来检测位置坐标(步骤S44)。从参数存储单元8中获取校准时的照相机4的摄像像素面上的位置坐标。根据所获取到的位置坐标和测量时的摄像像素面上的位置坐标来计算用于定义测量时的摄像像素面与校准时的摄像像素面之间的投影关系的投影变换矩阵B(步骤S45)。

从参数存储单元8中获取步骤S42中计算出的投影变换矩阵A。使用所获取的投影变换矩阵A和步骤S45中计算出的投影变换矩阵B来获得用于定义测量时的投影像素面与校准时的投影像素面之间的投影关系的投影变换矩阵C(步骤S46)。将测量时的投影边缘位置表中的值乘以所计算出的投影变换矩阵C，从而改变投影边缘位置表(步骤S47)。使用步骤S47中改变得到的新的投影边缘位置表来执行三维测量(步骤S48)。

根据上述方法，即使在从三维测量设备到检测区域的距离值为未知的情况下，也可以通过在同一平面上设置多个检测区域并投影校准图案，来对所使用的装置随时间的变化所引起的测量误差进行校准。

第二实施例

在第二实施例中，将说明不使用校准测量图案25而仅使用测量区域的平面内的一维方向的测量图案来执行校准的方法。图5是示出作为一维方向的图案而要投影的图案的图。对三维测量所使用的测量图案24进行投影。设置多个预定检测区域21，并检测测量图案24在检测区域21内的偏移。在图5中，由于测量图案是水平方向的图案，因此在测量区域的平面内仅能够检测相对于一维方向的测量图案在垂直方向上的偏移。在仅使用一维方向的测量图案的情况下，挑战是无法进行检测的方向(图5中为水平方向)的坐标设置。通过线性插值来估计无法检测的坐标。

图6是用于说明通过线性插值来估计坐标的方法的图。图6示出照相机4的图像传感器(摄像像素面)上的坐标。尽管位置坐标实际上是通过从检测区域21内的多个检测点检测图案的几何特征来获得的，但为了简单起见，将使用四个点的位置坐标来进行说明。通过预定的x坐标x 1和x2来检测四个角的位置坐标，并获得相应的y坐标。首先，将校准时的四个点的位置坐标从左上角以顺时针方向定义为(x1,yc11)、(x2,yc12)、(x2,yc14)和(x1,yc13)。连接这四个点以获得图案形状60。将根据测量时的图案所检测到的四个点的位置坐标从左上角以顺时针方向定义为(x1,yc21)、(x2,yc22)、(x2,yc24)和(x1,yc23)。连接这四个点以获得图案形状61。

第一计算单元11通过利用校准时和测量时的图案在摄像像素面上的位置信息所进行的线性插值的结果，根据图案形状60和61，来对位于四个角的检测区域21内的图案的各条纹的偏移的对应关系进行估计。作为用于估计偏移的对应关系的方法，执行线性插值，并且针对测量图案24的各条纹(图案)对偏移的对应关系进行插值。根据图案形状60和61来获得上侧和下侧的线性表达式。为了执行插值，例如，与x坐标x3相对应地设置图案形状60的上侧的点62和下侧的点63以及图案形状61的上侧的点64和下侧的点65。在x坐标x3的位置处，点62和63之间的段与点64和65之间的段具有对应关系。通过线性插值来对点64和65之间的哪个坐标与点62和63之间的各条纹的y坐标相对应进行一维搜索，从而对点62和63之间的段与点64和65之间的段进行插值。这使得能够根据图案形状60和61对各条纹(图案)的偏移的对应关系进行估计。

图6示出照相机4的摄像像素面上的线性插值的例子。该线性插值的例子也适用于使基准信息处理单元13计算对应关系的情况。基准信息处理单元13通过利用图案在投影像素面上的位置信息和图案在摄像像素面上的位置信息所进行的线性插值的结果，在沿着一维方向的图案的方向上，来计算摄像像素面和投影像素面之间的对应关系。

测量处理单元9可以基于从第一计算单元11和基准信息处理单元13所进行的线性插值的结果所获得的偏移的对应关系，通过改变测量时的投影边缘位置表来执行校准。

根据上述方法，可以在不将特殊的校准图案投影到投影区域的情况下对测量误差进行校准。也就是说，由于可以在不改变通常要执行的三维测量方法的情况下仅通过设置检测区域并检测各检测区域中的测量图案来对测量误差进行校准，因此即使是传统的三维测量设备也能够容易地进行应对。

第三实施例

在第三实施例中，将说明如下的算法，该算法使用用于估计相对于测量图案在水平方向上的偏移的对应关系的极线约束，并且该算法使用于仅使用一维方向的测量图案执行校准的方法中。基准信息处理单元13可以使用极线约束来获得照相机4的摄像像素面和投影仪3的投影像素面之间的对应关系。将首先参考图7对极线约束进行说明。从图7中的照相机4和投影仪3之间的配置关系可以看出，照相机4的光轴中心Lc、投影仪3的光轴中心Lp、以及照相机4的摄像像素面及投影仪3的投影像素面上的对应点Mc和Mp存在于同一平面上。也就是说，点Mp存在于投影仪3的投影像素面与由照相机4的光轴中心Lc和投影仪3的光轴中心Lp以及照相机4的摄像像素面上的点Mc所确定的平面相交的直线上。该直线被称为极线。将对照相机4和投影仪3的对应点搜索限制在极线上称为极线约束。

在照相机4和投影仪3的几何配置为已知的情况下，获得针对照相机4的各观测点的投影仪3的投影像素面上的极线。在极线上执行对应点搜索，从而获得针对照相机4的各观测点的投影像素面上的对应点。通常，基于照相机4和投影仪3的转动矩阵R和平移矩阵T，获得初等矩阵E=T×R。在Mc=(xc，yc，1)且Mp=(xp，yp，1)的情况下，获得等式(9)。

$\left(\begin{array}{ccc}\mathrm{xc}& \mathrm{yc}& 1\end{array}\right)\×E\×\left(\begin{array}{c}\mathrm{xp}\\ \mathrm{yp}\\ 1\end{array}\right)=0---\left(9\right)$

接下来将参考图6说明使用极线约束的算法。从一维方向的测量图案来检测校准时的四个点的位置坐标(x1，yc11)、(x2，yc12)、(x2，yc14)及(x1，yc13)。可选地，从测量时的图案来检测四个点的位置坐标(x1，yc21)、(x2，yc22)、(x2，yc24)及(x1，yc23)。从投影边缘位置表来获得与校准时和测量时有关的投影仪3的投影像素面上的位置坐标yp。从照相机4和投影仪3的校准值来获得初等矩阵E。因此，可以使用等式(6)来获得投影仪3的投影像素面上的位置坐标xp。由于最终获得了(xc，yc)和(xp，yp)，因此可以如第一实施例那样执行校准。

其它实施例

还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的***或设备的计算机(或者CPU或MPU等装置)以及通过以下的方法来实现本发明的各方面，其中，***或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行该方法的各步骤。为了该目的，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)向计算机提供该程序。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (7)

1.一种三维测量设备，包括投影单元和摄像单元，其中所述投影单元用于对预定图案进行投影，并且所述摄像单元用于对投影了所述图案的被摄体进行拍摄，所述三维测量设备还包括：

检测单元，用于在所述摄像单元所拍摄的图像中，检测被投影到测量空间内的同一平面上预先设置的多个图案检测区域的所述图案在摄像像素面上的位置信息；以及

对应关系计算单元，用于使用所述位置信息，来计算测量之前预先检测到的所述投影单元的投影像素面上的所述图案与测量时所述投影单元的投影像素面上的所述图案之间的对应关系。

2.根据权利要求1所述的三维测量设备，其中，还包括测量处理单元，所述测量处理单元用于使用所述对应关系计算单元所计算出的所述对应关系，来改变测量时所述摄像单元的摄像像素面上的所述图案和所述投影单元的投影像素面上的所述图案之间的对应关系。

3.根据权利要求1所述的三维测量设备，其中，所述对应关系计算单元所计算出的所述对应关系是投影变换。

4.根据权利要求1所述的三维测量设备，其中，投影到所述图案检测区域的所述图案是所述测量空间内的一维方向的图案。

5.根据权利要求1所述的三维测量设备，其中，所述对应关系计算单元使用极线约束来计算所述对应关系。

6.根据权利要求1所述的三维测量设备，其中，所述对应关系计算单元通过利用测量前所述图案在所述摄像像素面上的位置信息与测量时所述图案在所述摄像像素面上的位置信息所进行的线性插值，来计算所述对应关系。

7.一种三维测量设备的三维测量方法，所述三维测量设备包括投影单元和摄像单元，其中所述投影单元用于对预定图案进行投影，并且所述摄像单元用于对投影了所述图案的被摄体进行拍摄，所述三维测量方法包括以下步骤：

检测步骤，用于在所述摄像单元所拍摄的图像中，检测被投影到测量空间内的同一平面上预先设置的多个图案检测区域的所述图案在摄像像素面上的位置信息；以及

计算步骤，用于使用所述位置信息，来计算测量之前预先检测到的所述投影单元的投影像素面上的所述图案与测量时所述投影单元的投影像素面上的所述图案之间的对应关系。

Images