CN102022985B - 三维信息测量装置 - Google Patents

Abstract

本发明提供一种三维信息测量装置和三维信息测量方法，除了可用于金属或陶瓷器之外，还可用于汽车或其部件等具有光泽涂装等表面反射强烈的测量对象物，使用图形光投影技术进行三维信息的测量。其中包括：以不直接将图形光照射到测量对象物上的方式进行投影的图形光投影设备(1)；反射由图形光投影设备(1)投影后的图形光并将其影到测量对象物(A)上的反射板(2)；对被反射板(2)反射了的图形光投影后的测量对象物(A)进行摄像而取得投影图形图像照相机设备(3)，且照相机设备(3)的镜头的光轴与由反射板(2)反射后的图形光的投影方向不同；以及从投影图形图像计算出测量对象物(A)的三维信息的数据处理装置(4)。

Description

三维信息测量装置

技术领域

本发明涉及金属、陶瓷、汽车或其部件等具有光泽涂装等表面反射强烈的测量对象物的表面的三维信息以非接触方式进行测量的三维信息测量装置和三维信息测量方法。 

背景技术

三维形状测量是一种通过使用数字照相机进行测量对象物的照相摄像并用计算机进行图像处理，以非接触方式计算出测量对象物表面的三维形状的方法。通常，三维形状测量分为不将作为测量辅助的特定的光或电波等照射到测量对象物上进行测量的被动型和将光、声波或电波等照射到测量对象物上并利用其信息进行测量的主动型两种。 

被动型的代表性方法是用2台照相机像人的两眼那样从不同的视点摄像测量对象物的图像，并应用三角测量的原理计算出测量对象物的三维形状的立体视觉方法。借助于立体视觉的三维形状测量方法是仅使用2台或2台以上的照相机即可对测量对象物的三维形状进行测量的方法，具有使用简单的设备即可测量物体的三维形状的优点。 

然而，在这样的被动型方法中，必需采取需要从多幅图像中抽取测量点和对应点的所谓加对应既进行测量点匹配。因此，在对没有特征的物体或物体的没有特征的部分，很难进行测量点的加对应匹配，从而不能进行三维形状测量。 

另一方面，作为主动型的三维信息测量方法，例如专利文献1、2中所述的借助于图形光投影的方法为人们所知。借助于图形光投影的三维信息测量方法是将图形光投影到测量对象物上，通过其反射图形的分析，求得物体表面形状的三维信息的方法，其特征在于也可进行没有特征的测量对象物的测量。 

图8是表示现有借助于图形光投影的三维信息测量方法的基本原理的几何关系图。在图8中，O_p是图形光投影机的镜头中心，O_c是观测用照相机的镜头中心。图形光投影机与照相机仅隔开一定的距离b而被配置。图形光投影机将测量用的图形光以β的角度投影到测量点M上。另 一方面，观测用照相机观测测量点M并拍摄其图像。此时的观测角度被定义为α。 

此时的测量点M在三维空间世界坐标系(O、X、Y、Z)中的纵深坐标Z可按下式求得。 

$Z=\frac{b}{\tan \mathrm{\α}+\tan \mathrm{\β}}...\left(1\right)$

α为观测角度(从观测用照相机看到的测量点所在的视角)，β为投影角度(从图形光投影机投影到测量对象物上的光的方向角)，b为从观测用照相机中心到图形光投影机中心的距离。 

现有技术文献 

专利文献 

专利文献1：特开2006-145405号公报 

专利文献2：特开2008-249432号公报 

发明内容

可是，在测量对象物为金属等表面反射强的物体的情况下，一旦将图形光投影到测量对象物上，则在被正反射到观测用照相机上的部分形成辉亮光，图形光被非常强的反射。相反，在正反射以外的部分，反射光的强度比起辉亮光极端地弱，很难摄像三维信息测量所需的反射图形。因此，在表面反射强的物体的情况下，存在着由于无法摄像测量对象物的反射图形，故不能进行三维测量的问题。 

因此，本发明的目的在于，提供一种可用于金属、陶瓷、汽车或其部件等施行光泽涂装等而致使表面反射强烈的测量对象物，也能够进行借助于图形光投影的三维信息的测量的三维信息测量装置和三维信息测量方法。 

本发明的三维信息测量装置包含：以不直接将图形光照射到测量对象物上的方式进行投影的投影单元；反射由投影单元投影的图形光(以下，称为“投影图形光”)而投影到测量对象物上的反射单元；对被反射单元反射了的图形光(以下，称为“反射图形光”)投影后的测量对象物进行摄像而取得反射图形光图像、且其镜头的光轴与反射图形光的投影方向不同的摄像单元；以及从反射图形光图像计算出测量对象物的 三维信息的数据处理单元。 

另外，本发明的三维信息测量方法的特征在于，包括：以不直接将图形光照射到测量对象物上的方式进行投影的步骤；反射投影后的图形光(投影图形光)而投影到测量对象物上的步骤；通过其光轴配置在与反射图形光的投影方向不同方向上的镜头，对被反射了的图形光(反射图形光)投影后的测量对象物进行摄像而取得反射图形光图像的步骤；以及从反射图形光图像计算出测量对象物的三维信息的步骤。 

在将光照射到物体上时，由物体所产生的反射有内部反射和表面反射两种。在现有的借助于图形光投影的三维测量中，大都利用了内部反射特性。因此，在借助于图形光投影的测量中，虽然适用于石膏或木材等表面反射弱的测量对象物的测量，但却无法测量对于金属或陶瓷器等表面反射强的测量对象物却变得无法测量，或者是可测量的范围变小窄。因此，在本发明中，利用反射单元反射使投影后的图形光(投影图形光)经反射装置反射，并通过光轴配置在与反射后的图形光(反射图形光)的投影方向不同方向上的镜头进行摄像以取得反射图形光图像。 

因此，不仅是对于石膏或木材等表面反射弱的测量对象物当然不用说，但被投影到即便是金属或陶瓷器等表面反射强的测量对象物，由于被投影到测量对象物上的反射图形光的表面反射成分很难被摄像，故可通过摄像内部反射成分来对测量对象物的表面形状的三维信息进行测量。 

另外，本发明的三维信息测量装置的特征在于，投影单元、反射单元和摄像单元以投影单元的投影图形光的投影方向、摄像单元的镜头的光轴、以及反射单元的法线矢量的平均值方向互不平行的方式进行配置。 

另外，本发明的三维信息测量装置的特征在于，数据处理单元根据通过由投影单元投影后的图形光的投影图形、由反射单元反射后的反射图形光的图形、以及由摄像单元摄像的反射图形光图像的比较所算出的测量点的纵深距离值，计算出测量对象物的表面形状的三维信息。 

另外，其特征在于，数据处理装置根据投影图形光的被测量图形条纹的投影方向角、反射板的设置角度、反射图形光的被测量图形条纹的视角，计算出测量点的纵深距离值。 

另外，本发明的三维信息测量装置的特征在于，图形光依据测量对象物的形状、颜色和表面反射特性自动地调节自身的强度分布、色分布 和空间频率分布，使得由摄像单元摄像的图像的色强度分布变得恰当。 

另外，本发明的三维信息测量装置的特征在于，摄像装置的曝光时间、摄像速度和白平衡依据投影图形光的特征和测量对象物的形状、颜色和表面反射特性自动地进行调节。 

发明效果 

根据本发明，仅通过将图形光经反射单元投影到测量对象物上并进行摄像，就能够根据该摄像到的图象很容易计算出测量对象物的表面形状的三维信息。由此，不仅仅是石膏或木材等表面反射弱的测量对象物，即便是金属、陶瓷、汽车或其部件等具有光泽涂装等表面反射强的测量对象物，其的表面形状的三维信息或尺寸也能够通过简单的结构以低成本实现高精度且高速度的测量。 

附图说明

图1是本发明的实施方式中的三维信息测量装置的整体结构图。 

图2是表示本实施方式中的三维信息测量装置的详细结构的框图。 

图3是本实施方式中的利用三维信息测量装置的物体的表面形状的三维信息测量处理的流程图。 

图4是表示本实施方式中所使用的4种投影图形的例子的图。 

图5是本发明的另一实施方式中的三维信息测量装置的整体结构图。 

图6是表示本实施方式中的三维信息测量方法的基本原理的几何关系图。 

图7是表示本实施方式中的三维信息测量方法的基本原理的几何关系图。 

图8是表示现有的利用图形光投影的三维信息测量方法的基本原理的几何关系图。 

符号说明 

1、1-1、1-2    图形光投影设备 

2、2-1、2-2    反射板 

3、3-1、3-2    照相机设备 

4    数据处理单元 

4a    接口 

5a、5b    传送电缆 

10    存储单元 

11    投影图形形成单元 

12    图形光投影单元 

13    反射图形光摄像单元 

14    测量对象物抽取单元 

15    测量图形检测单元 

16    纵深距离值计算单元 

17    三维信息计算单元 

18    测量结果显示单元 

19    输出单元 

20    人-机通信单元 

具体实施方式

图1是本发明的实施方式中的三维信息测量装置的整体结构图，图2是表示本实施方式中的三维信息测量装置的详细结构的框图。 

在图1中，本发明的实施方式中的三维信息测量装置具有：作为对图形光进行投影的投影装置的图形光投影设备1；作为反射由图形光投影设备1投影的图形光(投影图形光)而投影到测量对象物A上的反射单元的反射板2；作为对被反射板2反射了的图形光(反射图形光)投影后的测量对象物A进行摄像的摄像单元的照相机设备3；以及作为对被该照相机设备3摄像的反射图形光图像的数据进行处理的数据处理装置的数据处理单元4。图形光投影设备1与数据处理单元4，照相机设备3与数据处理单元4分别利用可传送各数据的传送电缆5a、5b连接。 

图形光投影设备1是，将由数据处理单元4所形成的图形数据变换成图形光，并在不存在测量对象物A的方向上，即以不直接照射到测量对象物A上的方式进行投影的装置，或者接受数据处理装置4的命令，以不直接照射到测量对象物A上的方式对规定的图形光进行投影的装置。例如，可采用液晶投影机、DLP(数字光处理，商标)投影机、激光投影机、LED(半导体)投影机或胶片投影机等市售的简单装置。 

反射板2具有使光反射的功能，是对被图形光投影设备1投影后的 投影图形光进行反射并投影到测量对象物A上的板材。反射板2的反射率为20％～95％。再有，在本实施方式中，采用平面状的板材，但也可采用曲面状的板材。 

照相机设备3是数字式照相机。再有，照相机设备3只要是数字式照相机，则8位比特、10位比特、12位比特、16位比特的照相机、或CCD、CMOS等、或静止图像照相机、活动非静止图像照相机、视频照相机等任何种类的照相机均可。另外，照相机设备3以其镜头的光轴与被反射板2反射后的图形光(反射图形光)的投影方向不同的方式被配置。 

即，图形光投影设备1、反射板2和照相机设备3以图形光投影设备1的光轴(投影图形光的投影方向)、照相机设备3的镜头的光轴、以及反射板2的法线矢量的平均值方向相互不平行的方式进行配置。再有，照相机设备3的曝光时间、摄像速度和白平衡依据投影图形光的特征和测量对象物A的形状、颜色和表面反射特性自动地进行调节。 

数据处理单元4是执行三维信息测量程序的计算机。如图2所示，数据处理单元4包括用于与图形光投影设备1或照相机设备3连接的接口4a。数据处理单元4通过程序的执行而具有作为图2所示的存储单元10、投影图形形成单元11、图形光投影单元12、反射图形光摄像单元13、测量对象物抽取单元14、测量图形检测单元15、纵深距离值计算单元16、三维信息计算单元17、测量结果显示单元18、输出单元19和人-机通信单元20的功能。 

存储单元10是存储由后述的投影图形形成单元11所生成的测量用投影图形、或者从照相机设备3所传送的图像的数据或由后述各单元所计算出的结果的数据等的单元。 

投影图形形成单元11是生成三维测量所需的测量用投影图形的单元。测量用投影图形的形状可采用条纹状或圆形的图形，亦可采用其它的形状。图形的颜色既可以是单一的颜色，也可以是非单一的颜色，而其强度分布既可以是均匀的，也可以是不均匀的。投影图形形成单元11是依据测量对象物的大小、形状和表面颜色分布而生成具有最适合于测量的形状、颜色和空间频率分布的测量用投影图形的单元。 

图形光投影单元12是在不存在测量对象物A的方向上，即以不直接照射到测量对象物A上的方式由图形光投影设备1对存储于存储单元10 中的测量用投影图形的光进行投影的单元。由该图形光投影设备1投影的图形光(投影图形光)并不直接投影到测量对象物A上，而是被反射板2反射后再投影到测量对象物A上。也就是说，如果没有反射板2，投影图形光就不能直接照射到测量对象物A上，投影图形光可通过反射板2的反射作为反射图形光照射到测量对象物A上。 

反射图形光摄像单元13是通过用照相机设备3摄像被反射板2反射了的图形光(反射图形光)投影后的测量对象物A而取得其图像(反射图形光图像)并传送给存储单元10的单元。 

测量对象物抽取单元14是从被存储于存储单元10中的反射图形光图像中抽取测量对象物A的单元。 

测量图形检测单元15是检测被投影到由测量对象物抽取单元14所抽取的测量对象物A上的反射图形光的图形(以下，称为“测量图形”)的单元。 

纵深距离值计算单元16是通过由测量图形检测单元15检测出的测量图形的分析计算出测量点的纵深距离的单元。更详细地说，纵深距离值计算单元16对由图形光投影单元12投影后的图形光的测量用投影图形、由测量图形检测单元15检测出的测量图形以及由反射图形光摄像单元12摄像的反射图形光图像进行比较，根据测量用投影图形的被测量图形条纹的投影方向角(后述的投影角度θ)、反射板2的设置角度(后述的反射板角度φ)、被检测出的测量图形的被测量图形条纹的视角(后述的观察角度α)，计算出测量点的纵深距离值。 

三维信息计算单元17是根据由纵深距离值计算单元16计算出的测量点的纵深距离值计算出由测量对象物抽取单元14所抽取的测量对象物A的表面形状的图像上的各点的三维信息的单元。 

测量结果显示单元18是通过数值数据、CAD设计图或计算机制图(CG)等方法来显示由三维信息计算单元17计算出的三维信息的单元。 

输出单元19是通过由测量结果显示单元18所显示的数值数据、设计图、CG等方法来输出由三维信息计算单元17计算出的三维信息的单元。 

人-机通信单元20是用于实现上述各装置的操作员与三维信息测量装置之间的信息交换的单元。 

接着，就本实施方式中的表面形状的三维信息测量处理进行说明。 图3是利用本实施方式中的三维信息测量装置的物体的表面形状的三维信息测量处理的流程图。 

图形光投影单元12首先形成具有预先准备的形状、强度分布、颜色分布和空间频率分布特性的初始测量用的投影图形(步骤S101)。图4的(a)～(d)示出本实施方式中所使用的4种投影图形的例子。再有，该图(b)的颜色调制条纹状图形实际上是各条纹的颜色不同的条纹状图形。接着，图形光投影单元12利用图形光投影设备1将该形成了的初始测量用的投影图形投影到反射板2上(步骤S102)。 

投影后的投影图形光被反射板2反射，该反射图形光被投影到测量对象物A上(步骤S103)。此时，由于反射图形光的投影需要覆盖整个测量对象物A，故需调节反射板2的位置、角度等。 

接着，反射图形光摄像单元13利用照相机设备3摄像通过反射板2投影到测量对象物A上的反射图形光的图像，输入到测量对象物抽取单元14中(步骤S104)。 

测量对象物抽取单元14通过调查分析上述被摄像的反射图形光图像的色强度分布并判断色强度分布是否恰当，从而进而判断该反射图形光图像是否是适应于测量的理想图像(图3的步骤S105)。如果是理想图像，则进至步骤S106的测量对象物A的抽取。如果不是理想图像，则返回到步骤S101，进行测量用投影图形的参数修正，重复步骤S102～步骤S105。由此，投影图形光依据测量对象物的形状、颜色和表面反射特性自动地调节自身的强度分布、色分布和空间频率分布，从而以使得被摄像的反射图形光图像的色强度分布变得恰当。 

一旦摄像到理想图像，则通过测量对象物抽取单元14采用熟知的背景差分法等方法，从摄像到的反射图形光图像抽取测量对象物A(步骤S106)。进而，通过测量图形检测单元15，从该所抽取的测量对象物A图像检测被投影到测量对象物A上的反射图形光的图形(测量图形)的条纹(步骤S107)。 

接着，利用纵深距离值计算单元16，将检测到的测量图形的条纹与原来的图形光的测量用投影图形的条纹进行比较，计算从照相机设备3至测量点的纵深距离值(步骤S108)。进而，根据各测量点的坐标和所算出的纵深距离值来计算出所抽取的测量对象物A的表面形状的图像上的各测量点的三维信息(步骤S109)。 

在此处，就纵深距离值的计算方法进行说明。图6是表示本实施方式中的三维信息测量方法的基本原理的几何关系图。再有，反射板2按照与连结图形光投影设备1的镜头中心O_p和照相机设备3的镜头中心O_c的直线(以下，称为“镜头中心线”)并行的方式设定。图形光投影设备1将测量用的图形光以β的角度投影到反射板2上，经反射板2反射后的反射图形光被投影到测量对象物A上。照相机设备3摄像测量对象物A的图像，从该图像观测测量对象物A的表面上的测量点M。此时的观测角度定为α。 

测量点M的三维空间世界坐标系(O、X、Y、Z)中的纵深坐标值Z按下式(2)求得。 

$Z=\frac{b-2h\tan \mathrm{\β}}{\tan \mathrm{\α}+\tan \mathrm{\β}}...\left(2\right)$

在此处，α为与式(1)相同的观测角度(从照相机看到的测量点所在的视角)，β为投影角度(从图形光投影设备1投影到反射板2上的光的方向角)，b为从照相机设备3的镜头中心O_c到图形光投影设备1的镜头中心O_p的距离，h为镜头中心线与反射板2之间的距离。 

另外，图7是表示本实施方式中的三维信息测量方法的基本原理的几何关系图，反射板2相对连结图形光投影设备1的镜头中心O_p与照相机设备3的镜头中心O_c的直线(镜头中心线)持有φ的角度。图形光投影设备1将测量用的图形光以β的角度投影到反射板2上，经反射板2反射后的反射图形光被投影到测量对象物A上。照相机设备3摄像测量对象物A的图像，从该图像观测测量对象物A的表面上的测量点M。此时的观测角度设定为α。 

测量点M在三维空间世界坐标系(O、X、Y、Z)中的纵深坐标值Z按下式(3)求得。 

$Z=\frac{(1-\tan \mathrm{\θ}\tan \mathrm{\φ})b-(\tan \mathrm{\θ}+\tan (\mathrm{\θ}+2\mathrm{\φ}))h}{(1-\tan \mathrm{\θ}\tan \mathrm{\φ})(\tan \mathrm{\α}+\tan (\mathrm{\θ}+2\mathrm{\φ}))}...\left(3\right)$

在此处，α为与式(1)相同的观测角度(从照相机看到的测量点所在的视角)，θ为投影角度(从图形光投影设备1投影到反射板2上的光的方向角)，φ为反射板2与镜头中心线之间的角度(反射板角度)， b为从照相机设备3的镜头中心O_c到图形光投影设备1的镜头中心O_p的距离，h为镜头中心线与反射板2之间的距离。 

最后，可利用测量结果显示单元18，将所有的测量结果变换为根据CAD设计图形或CG、的三维CG显示，或者各种格式的数值数据。另外，可通过输出单元19保存到与数据处理单元5连接的非易失性存储器或硬盘装置等外部记录介质中。另外，也可以通过输出单元19，由打印机等另外的输出装置作为文本文件或图文件输出(步骤S110)。 

再有，在本实施方式中，如图1所示，只利用了一台照相机设备3和一台图形光投影设备1来构建三维信息测量装置，但如图5所示，也可以利用多台照相机设备3-1、3-2、...同时从不同的角度摄像测量对象物A的整体。此时，图形光投影设备1-1、1-2、...和反射板2-1、2-2、...也需要相应的准备多台。 

如上所述，根据本实施方式中的三维信息测量装置，在使从图形光投影设备1不直接将投影的图形光投影到不直接对测量对象物A上照射的同时，而是通过使用反射板2，将投影图形光作为反射图形光间接地被投影到测量对象物A上。然后，在该状态下，用照相机设备3进行摄像并根据该摄像到的图像来测量测量对象物A的表面形状的三维信息，故即使是对表面反射强的测量对象物A，也可以仅通过普通方式的摄像，就能够容易地从该所摄像所到的图像来测量测量对象物A的表面形状的三维信息。 

因此，由于在该三维信息测量装置中，由于可以仅利用象设置放置反射板2这样简单的结构来实现，故能够以低成本进行高速的表面形状的三维信息测量。另外，在该三维信息测量装置中，由于未使用激光器，故可构建对人体无危害清洁的测量***。进而，由于只进行一次图形光投影，故也可适用于非静止物体的测量。 

另外，在本实施方式中，从图形光投影设备1投影的图形光是可见光，而所采用的反射板2针对该可见光的反射率为20％～95％。再有，除了可见光以外，也可以从图形光投影设备1投影红外线光或紫外线光，并利用反射板2将其反射后投影到测量对象物A上，进而通过适合于各种光的照相机设备3进行摄像。 

工业上的可利用性 

本发明的三维信息测量装置和三维信息测量方法作为以非接触方式测量测量对象物的表面的立体形状，计算其尺寸、面积和体积等，进行损伤或凹陷等表面缺陷的检查装置和方法是有用的。特别是，本发明适合作为用于对汽车或其部件、家电制品、瓷器制品等金属制品或其他有光泽的制品等的表面反射强的测量对象物进行形状测量和质量管理的装置和方法。 

Claims (4)

1.一种三维信息测量装置，其中包括：

投影单元，以不直接将图形光照射到测量对象物上的方式进行一次图形光投影，所述图形光为条纹状的或圆形的；

反射单元，其反射率为20%-95%，所述反射单元反射由上述投影单元投影的图形光即“投影图形光”而投影到上述测量对象物上；

摄像单元，对被上述反射单元反射了的图形光即“反射图形光”投影后的上述测量对象物进行摄像而取得一幅反射图形光图像，其镜头的光轴与上述反射图形光的投影方向不同；以及

数据处理单元，从上述反射图形光图像计算出上述测量对象物的三维信息，其中所述数据处理单元根据通过由上述投影单元投影后的图形光的投影图形、由上述反射单元反射后的反射图形光的图形、以及由上述摄像单元摄像的反射图形光图像的比较所算出的测量点的纵深距离值，计算出上述测量对象物的表面形状的三维信息；以及

其中上述数据处理单元根据上述投影图形光的被测量图形条纹的投影方向角、上述反射板的设置角度、上述反射图形光的被测量图形条纹的视角，利用三角测量法的原理计算出上述测量点的纵深距离值。

2.如权利要求1所述的三维信息测量装置,其中,

上述投影单元、反射单元和摄像单元是以下述方式进行配置的，即上述投影单元的上述投影图形光的投影方向、上述摄像单元的镜头的光轴、以及上述反射单元的法线矢量的平均值方向互不平行的方式进行配置。

3.如权利要求1或2所述的三维信息测量装置,其中,

上述图形光依据测量对象物的形状、颜色和表面反射特性自动地调节强度分布、色分布和空间频率分布，使得由上述摄像单元所摄像的图像的色强度分布变得恰当。

4.如权利要求1或2所述的三维信息测量装置,其中,

上述摄像单元的曝光时间、摄像速度和白平衡依据上述投影图形光的特征和上述测量对象物的形状、颜色和表面反射特性自动地调节。