CN101013028A

CN101013028A - 图像处理方法以及图像处理装置

Info

Publication number: CN101013028A
Application number: CNA2007100081831A
Authority: CN
Inventors: 加藤豊; 池田泰之
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2006-01-31
Filing date: 2007-01-26
Publication date: 2007-08-08
Also published as: JP2007206797A; EP1814083A1; US20070176927A1

Abstract

本发明提供一种图像处理方法以及图像处理装置，其无需详细地调整照明而能够简单且高精度地检测出检测对象物。在依次点亮设在摄像机(1)的周围四个方向上的光源(21～24)，并且每次点亮时驱动摄像机(1)而生成四幅工件(W)的图像。进而，对在这些像素间坐标相同的每组像素，利用属于该组的各像素的亮度、与预先求出的各光源所对应的照明方向矢量，来计算出法线矢量。进而将每个像素的法线矢量变换为表示该矢量相对于空间坐标系的关系的一维信息，并生成表示该计算结果的图像之后，执行规定的特征抽出处理。

Description

图像处理方法以及图像处理装置

技术领域

本发明涉及一种在对规定的对象物进行计测或检查等处理时作为其前期处理而被执行的图像处理。

背景技术

在通过二维的图像处理来识别对象物的表面状态时，常常需要调整照明。例如，在检测出对象物的表面的凹部时，需要调整照明而使凹部比其他部分更暗。另外，针对表面存在凹凸的对象物检测出印刷在其表面上的文字或图案等时，需要选定照明的方向或种类而使整个表面的照亮变为均匀。

另一方面，作为识别物体的立体形状的方法，而提出有称为光度立体视觉法(Photometric Stereo Method)的方法。该方法相对识别对象的对象物改变照明方向的同时固定配置摄像机，并利用所生成的多幅图像的亮度来计算出相对于对象物的表面的法线矢量和反射率。

这里，简单地说明一下光度立体视觉法的原理。

若假设识别对象的对象物的表面为完全扩散面，则由放置于规定位置的光源来照射了对象物时在对象物的表面所观测到的亮度，会根据上述表面的法线与照射光的入射角度之间的关系的变化而变化(朗伯特法则(Lambert′slaw))。具体而言，以矢量L^*(以下，称为照明方向矢量L^*)来表示照明光的入射方向，以法线矢量n^*来表示对象物的倾斜状态，将对象物的反射率设为R，将光源到对象物表面的距离设为D，则可由下述的(1)式来表示用上述照明光来照射的对象物的表面的亮度I。

I＝(R/D²)·L^*·n^*…(1)

这里，若将照明方向矢量L^*设为(LX、LY、LZ)，将法线矢量设为(nX、nY、nZ)，则可将(1)式变形为下述的(2)式。

I·D²＝R·(nX·LX+nY·LY+nZ·LZ)…(2)

如上述，照明方向矢量L^*的各分量和距离D，可根据光源与对象物之间的位置关系来求得。另外，反射率R取一定的值。因此认为：相对对象物而在多方向上分别设置光源，并依次点亮各光源同时每次点亮时进行拍摄，然后利用所生成的各图像而对每个光源计测出特定位置的亮度I，则每个光源的矢量的内积L^*·n^*以与I·D²相同的比率变化。另外，要确定法线矢量n^*，则只要判明三个分量nX、nY、nZ间的比率即可。

因此，只要至少设置三个光源而对这些每个光源实施上述拍摄处理以及计测处理、从而求出亮度I，则能够求出法线矢量n^*的各分量nX、nY、nZ。进而，将所计算出的nX、nY、nZ的值代入(1)式，从而能够求出反射率R。

在下述的文献中，详细地说明了上述光度立体视觉法的原理。

非专利文献1：L.Hashemi，A.Azizi，M.Rezaeian；“The reference modelingin shape from shading”；Dept.of Geomatics Engineering，University of Tehran，Tehran，Iran；[online]；[平成17年11月1日检索]，网址<URL：http://www.isprs.org/istanbul2004/comm5/papers/637.pdf>

在上述以往的二维图像处理中，为了确保检测精度，而需要适当地设定照明条件。然而，由于这种设定需要知识和经验，所以初学者很难设定照明条件。另外，还存在这样的问题：即使是具有知识和经验的人员，若要适当地设定照明条件，也需要进行尝试性的工作，因此需要花费巨大的劳动力。

另一方面，若根据光度立体视觉法，则即使没有精确地调整照明条件也能够得到表示对象物的表面形状的三维数据，但是，由于需要进行三维的计测处理，所以算法变得复杂。因此，有可能会滋生处理的延迟，而要防止该延迟则需要硬件为高性能。另外，由于不能使用为以往的二维图像处理而开发的算法，所以需要开发新的软件，从而在这方面也存在成本高涨的可能性。

发明内容

本发明是着眼于上述问题而提出的，其目的在于，不需要详细地调整照明而能够对检测对象物简单且高精度地进行检测。

另外，在本发明的目的在于，通过直接应用以往的二维图像处理中的算法，而消除了开发新的软件、或实现硬件的高性能化的需要，从而抑制成本。

本发明的第一图像处理方法，变更对于对象物的照明方向的同时至少进行三次从一定的方向拍摄上述对象物的处理，并利用每次拍摄所得到的多个图像来求出对于上述对象物的表面的法线矢量，然后利用该法线矢量的取得结果来执行规定的处理，其特征在于，执行如下第一、第二、第三的步骤。

在第一步骤中，对于在上述多个图像间处于对应关系的每组像素，执行利用各像素的亮度来求出上述法线矢量的处理和求出一维信息的处理，上述一维信息表示上述法线矢量相对于包含上述对象物的空间的关系。在第二步骤中，生成将在第一步骤中对每个像素所求出的一维信息与各像素的坐标建立对应的图像数据。在第三步骤中，对在上述第二步骤中所生成的图像数据执行规定的特征抽出处理。

在上述第一步骤的求出法线矢量的处理中，例如，利用由从分别不同的照明方向的照明所生成的三幅图像，对于在这些图像间位于相同坐标的像素进行组合，并针对这些每组，将属于该组的各像素的亮度代入基于上述的(1)式的方程组中，从而计算出法线矢量n^*的各分量nX、nY、nZ。但是，在该计算中所使用的图像并不仅限定于三幅，也可以用四幅以上的图像。

作为上述一维信息，例如可以求出将法线矢量投影到空间内的任意方向上时的投影图案的长度、或上述法线矢量相对于上述任意方向所成的角度。

此外，在步骤1中，针对所有的像素组，执行了求出法线矢量的处理之后，执行求出一维信息的处理也可，但也并不仅限定于此，而每隔数个像素执行各种处理也可。另外，也可以以组为单位而连续执行求出法线矢量的处理与求出一维信息的处理。

在第二步骤中，例如，生成将表示一维信息的数值作为各个像素的浓度的灰度图像数据。在第三步骤中，例如，执行二值化处理、边缘抽出处理、图案匹配处理、浓度数据的投影处理(通过沿着规定的方向累加各像素的浓度，而生成表示浓度分布的直方图的处理)等。

若根据上述图像处理方法，则可以对每个像素求出反映了法线矢量的特征的一维信息，并可生成由该信息的图像数据，因此，在第三步骤中，能够进行使用了以往的二维图像处理的方法的特征抽出处理。另外，只要是每次拍摄时的照明方向和光源的位置为已知，就能够求出法线矢量，所以也不需详细设定照明的条件。

在上述图像处理方法的一个实施方式中，作为上述一维信息，可以求出将法线矢量投影到上述空间内的任意方向(下面，成为“基准方向”)上时的投影图案的长度。例如，可以求出指向该基准方向的单位矢量与上述法线矢量的内积，而将该值作为上述一维信息。另外，将构成空间坐标系的三个轴(作为X轴、Y轴、Z轴)中的任意一个作为基准方向时，将与该方向对应的法线矢量的分量(nX、nY、nZ中的任意一个)作为一维信息也可。

上述实施方式的一维信息表示法线矢量相对于基准方向的相近程度。换言之，表示对象物的面相对将上述基准方向作为法线方向的面(以下，称为“基准面”)倾斜什么程度。

因此，例如，将具有某倾斜角度的面作为检测对象时，可以将该倾斜面的法线方向作为上述基准方向而求出各法线矢量的投影图案的长度，并检测出该长度超过规定的阈值的像素的集合体。

在上述图像处理方法的其他方式中，作为一维信息而求出法线矢量相对于上述空间内的任意矢量而成的角度。

例如，在求出法线矢量相对于沿着空间坐标系的YZ平面(将Z轴作为高度方向的轴)的Y轴的矢量而成的角度时，所求出的角度信息越接近0度则对象物的表面越趋近垂直面。由此，根据该角度信息，而能够识别对象物的倾斜状态。

另外，通过求出法线矢量相对于沿着空间坐标系的水平面(XY平面)的X轴的矢量而成的角度，而能够表示从上方观察法线矢量时的该矢量的指向，换言之，能够表示投影在XY平面上的法线矢量所示的方位。由此，在对象物的表面处于倾斜时，能够识别该倾斜面的梯度方向。

此外，在上述方式中，例如对相对于基准面的倾斜度处于规定的角度范围内的部位进行检测时，只要对每个像素求出法线矢量相对于基准矢量的角度，而检测出该角度处于规定的角度范围内的集合体即可。

在上述第一图像处理方法的其他实施方式中，执行显示基于在第二步骤中所生成的图像数据的图像的步骤。这样一来，能够通过视觉来识别法线矢量所示的对象物的表面状态。

进而，在应用上述实施方式时，在第一步骤中求出多种上述一维信息，并且在上述第二步骤中对各一维信息生成图像数据，在显示图像的步骤中，显示将每个上述一维信息的图像数据反映为各自不同的分量的图像也可。

例如，作为一维信息，而以X、Y、Z的各轴为基准方向而求出法线矢量相对于各自的方向的投影图案的长度nX、nY、nZ时，能够显示将这些nX、nY、nZ分别置换为R、G、B的颜色分量的彩色图像。另外，以两个方向为基准方向而求出法线矢量相对于各自的方向的角度时，也可以显示将各角度置换为R、G、B中的两个分量的图像。

进而，也可以取代上述的R、G、B而显示将各一维信息反映在色度、明度、色调的值的图像。另外，并不仅限定于显示一幅图像，例如，也可以在一幅图像上显示分别独立地反映了各一维信息的多个灰度图像。

接着，该发明的第二图像处理方法变更对于对象物的照明方向的同时至少进行三次从一定的方向拍摄上述对象物的处理，并利用每次拍摄所得到的多个图像来求出上述对象物的表面的反射率，然后利用该反射率的取得结果来执行规定的处理，其特征在于，执行如下第一～第三步骤。

在第一步骤中，对于在上述多个图像间处于对应关系的每组像素，执行利用各像素的亮度来求出上述对象物的反射率的处理。在第二步骤中，生成将在第一步骤中对每个像素所求出的反射率与各像素的坐标建立对应的图像数据。在第三步骤中，对在上述第二步骤中所生成的图像数据执行规定的特征抽出处理。

如上所述，在第一步骤中，例如，对每组所对应的像素组，以与上述第一图像处理方法的第一步骤相同的方法来求出法线矢量之后，将该计算结果代入与规定的光源对应的上述(1)式中，从而求出反射率R。在第二步骤中，例如，生成反映了上述反射率R的灰度图像数据。在第三步骤中，例如，通过二值化、边缘抽出、图案匹配等的处理，而从上述灰度图像数据中抽出反射率处于规定的范围内的区域。

若根据上述第二图像处理方法，则即使没有详细调整照明，也能够生成反映了对象物的表面的反射率的图像数据。由此，例如，在检测出相对周围色彩相同、但反射率不同的区域时，也不需详细调整照明，而能够以高精度检测出检测对象的区域。

此外，在该第二图像处理方法中，与第一图像处理方法同样，也可以显示基于在第二步骤中所生成的图像数据的图像。

进而，在与上述第一、第二图像处理方法共通的实施方式中，还执行如下步骤：第四步骤，针对在上述第三步骤中所抽出的特征执行规定的计测处理；以及，第五步骤，基于上述计测处理的结果，而判别对象物的表面状态是否合格。

若根据该实施方式，则在检查对象物的表面上的规定的部位时，在从反映了上述法线矢量或反射率的一维信息中抽出了表示检查对象部位的特征的基础上，执行计测处理以及判别处理，因此能够执行高精度的检查。

接着，本发明的图像处理装置用于执行上述第一图像处理方法，其具有：拍摄机构，其用于从一定的方向拍摄规定的对象物；至少三个照明机构，其用于分别从不同方向对上述对象物进行照明；图像生成机构，其逐个依次点亮上述照明机构的同时，根据每次的点亮定时而驱动上述拍摄机构，从而生成多个图像；运算机构，其对于在上述多个图像间处于对应关系的每个像素，执行利用各像素的亮度来求出对于上述对象物的表面的法线矢量的处理和求出一维信息的处理，上述一维信息表示上述法线矢量相对于包含上述对象物的空间的关系；图像数据生成机构，其生成将上述运算机构对每个像素所求出的一维信息与各像素的坐标建立对应的图像数据；特征抽出机构，其对由上述图像数据生成机构所生成的图像数据执行规定的特征抽出处理。

如上所述，除了拍摄机构以及照明机构以外的个机构，例如，可由存储有程序的计算机所构成。然而，并不仅限定于此，例如，也可以由专用的电路构成一部分机构。另外，在使用计算机时，也可以通过组合多个计算机来构成各机构。

在上述图像处理装置的一个实施例的上述拍摄机构中，以能够拍摄相同视场的关系配置有与上述照明机构相同数目的拍摄元件。例如，通过半透半反镜或棱镜等分光机构来将摄像机镜透的光轴分成多个轴，并对各轴配置拍摄元件也可。另外，图像数据生成机构根据上述照明机构的点亮定时来逐个驱动各拍摄元件而进行拍摄，并利用最后的拍摄元件拍摄结束之后，从各拍摄元件同时输出图像信号。

若根据上述实施方式，则可以在每次点亮照明机构时驱动任意一个拍摄元件而进行拍摄处理，但到由最后的拍摄元件的拍摄结束为止保留图像信号的输出。由此，即使在将移动的物体作为测定对象时，也使该测定对象静止极短时间而生成测定所需的图像。另外，如果能够将每次拍摄时的位置偏移控制在拍摄元件分辨率的范围内，则也能够使测定对象物移动的同时进行拍摄。

进而，在上述图像处理装置的其他实施方式中，设有：计测机构，其针对由上述特征抽出机构所抽出的特征，执行规定的计测处理；判别机构，其基于上述计测处理的结果，判别上述对象物的表面状态是否合格；输出机构，其输出上述判别机构的判别结果。即，该实施方式的图像处理装置作为对规定的对象物的表面状态进行检查的检查装置而发挥功能。

若根据本发明，则在求出对象物的表面的法线矢量或反射率后，求出反映了该计算结果的一维信息，并生成由该一维信息的图像数据，然后利用二维图像处理的方法来抽出特征，因此，即使没有详细调整照明条件，也能够以高精度抽出检测对象部位。另外，由于能够应用与以往的二维图像处理同样的算法，所以能够在控制处理对象的数据容量的基础上灵活运用二维图像处理中所使用的软件资源，从而能够大幅度地消减制造装置所需的成本。

附图说明

图1是表示本发明的图像处理装置的拍摄部的结构的立体图。

图2是表示由图1的拍摄部所生成的图像的例子的说明图。

图3A、图3B是将法线矢量的计算所需的参数与拍摄部的结构建立对应而表示的说明图。

图4是表示使用于法线矢量图像的一维信息的例子的说明图。

图5是表示对圆筒状工件进行计测的例子的说明图。

图6是表示在图5的设定状态下所求出的法线矢量图像的例子的说明图。

图7是表示使用于法线矢量图像的一维信息的其他例子的说明图。

图8是表示使用于法线矢量图像的一维信息的其他例子的说明图。

图9是表示对具有浮雕(emboss)加工的文字的工件进行计测的例子的说明图。

图10是表示图9的工件上的文字的法线矢量的说明图。

图11是表示针对图9的工件的区域R而生成了根据图8的角度θ的法线矢量图像的例子的说明图。

图12是表示对具有凹部的工件进行计测的例子的说明图。

图13是表示图12的工件的法线矢量的说明图。

图14是表示针对图12的工件而生成了根据图8的角度φ的法线矢量图像的例子的说明图。

图15是表示对贴有透明胶带的工件进行计测的例子的说明图。

图16是针对图15的工件而将灰度图像与反射率图像进行对比而表示的说明图。

图17是表示摄像机的结构的说明图。

图18是表示图像处理装置的结构的框图。

图19是表示对摄像机以及光源所进行的控制的定时图。

图20是表示对工件进行检查时的流程图。

具体实施方式

(A)拍摄部的结构以及基本原理

图1表示利用于本发明的图像处理装置的拍摄部的结构例。

本实施例的拍摄部采用图像生成用的摄像机1与四个光源21、22、23、24成为一体的结构。摄像机1的主体部为长方体形状，并以使光轴朝向铅直方向的状态被配设。光源21～24分别通过规定长度的臂部20而被安装在摄像机1的各侧面。另外，各光源21～24均都光轴朝向斜下方而被安装，以使它们均能够对上述摄像机1的拍摄对象区域进行照明。进而，通过将各臂部20的长度和倾斜角度设为一致，而将各光源21～24相对于工件W的支承面或相对于摄像机1的光轴的距离设定为相同。

在图1的例子中，将球体状的工件W作为测定对象，而将摄像机1配置在该工件W的正上方。各光源21～24是根据来自后述的控制器3的触发信号来依次逐个点亮的。摄像机1在各光源21～24每次点亮时工作，而对上述工件W进行拍摄。

图2表示由上述拍摄部1所生成的上述工件W的四幅灰度图像(以下，只称为“图像”)。图中，G1是在上述光源21被点亮的状态下所生成的图像，G2是在光源22被点亮的状态下所生成的图像，G3是在光源23被点亮的状态下所生成的图像，G4是在光源24被点亮的状态下所生成的图像。在任一幅图像上均都表现反映了所点亮的光源的照明状态的明暗分布。此外，在任一幅图像G1～G4均都包括因镜面反射光的入射而亮度发生饱和的区域hr。

在该实施例的图像处理装置中，在使工件W停止的状态下进行上述四次拍摄，从而使工件W上的各点反映在各图像G1～G4的相同坐标上。然后，在图像G1～G4间将坐标相同的像素彼此组合，利用根据属于各组的各像素的亮度(灰度值)和光源的位置而计算出的照明方向矢量，来针对每组计算出上述像素组所对应的工件W上的一点的法线矢量。

进而，在本实施例中，将所计算出的法线矢量变换为一维信息，并生成将该变换后的信息与上述像素组的坐标建立对应的图像(以下，将该图像称为“法线矢量图像”)。然后通过对该法线矢量图像进行处理，而进行检测出上述工件W上的规定的图案、或判断有误缺陷的处理等。

图3A、图3B表示为求出工件W上的规定的点C的法线矢量n^*所需的参数。此外，在图3A中表示上述球体状工件W的一部分。

在本例中设定有这种空间坐标系：使摄像机1的光轴与Z轴吻合，使光源21、23位于X轴上，使光源22、24位于Y轴上。另外，将摄像机1与各光源21～24之间的距离设为k，将以上述点C为基准的光源的高度设为h。此外，可由上述臂部20的长度求出k，可利用工件W的支撑面与摄像机1的距离来求出h。

如上所述，若将点C的法线矢量设为n^*、将各光源21～24的照明方向矢量设为Lm^*(m＝1～4)、将从各光源21～24到点C的距离设为Dm、将各图像G1～G4的点C的亮度设为Im、将工件W的反射率设为R，则矢量Lm^*、n^*的内积可由下述的(3)式来表示。此外，该(3)式实质上与上述的(1)式、(2)式相同。

Lm^*·n^*＝(Im·Dm²)/R…(3)

这里，对图像的二维坐标系进行规定的x轴、y轴可视为分别对应于空间坐标系的X轴、Y轴，因此，若将图像上的点C的坐标设为(x，y)，则相对于该点C的光源21～24的照明方向矢量Lm^*成为如下的(a)～(d)。

L1^*＝(k·x，y，h)…(a)

L2^*＝(x，k·y，h)…(b)

L3^*＝(-k·x，y，h)…(c)

L4^*＝(x，-k·y，h)…(d)

另外，距离Dm相当于照明方向矢量Lm的长度，因此，可由上述的矢量分量求出。另外，亮度Im可由各图像G1～G4求出。

此外，上述点C的Z坐标根据该点C的位置而不同，因此，严格地讲，高度h不会成为一定值。然而，只要摄像机1的视场中的工件W的位移的幅度在规定的允许值内，则例如针对工件W上的多个点分别求出与光源21～24的距离，并将这些距离的平均值固定为上述h的值也可。由此，在(3)式中，Lm^*、Dm、Im变为已知。

若根据上述(3)式，则各光源间的内积n^*·Lm^*的比率与Im·Dm²的比率相同。另外，在(3)式中，除了法线矢量n^*之外，反射率R也是未知数，但要确定矢量n^*，则只要该矢量的各分量nX、nY、nZ间的比率变得明确即可。由此，只要从与至少三个光源对应的图像中抽出点C的亮度Im，就能够求出法线矢量n^*的各分量nX、nY、nZ。

但是，实际的工件W的表面并不是完全扩散面，而来自其表面的反射光中含有镜面反射光，所以，如上述图2所示，有可能会生成因上述镜面反射光而亮度饱和的区域hr的图像。

因此，在本实施例中，从四幅图像G1～G4中分别抽出上述点C的亮度I1、I2、I3、I4后，从小的开始按顺序从这些I1～I4所示的数值中抽出三个亮度，从而求出法线矢量n^*。

(B)法线矢量图像的具体例子

以下，针对由法线矢量可求出的一维信息的种类、以及由这些一维信息所求出的法线矢量图像的例子、和使用了法线矢量图像的计测例，进行说明。

第一实施例

如图4所示，在本实施例中，将上述法线矢量n^*的三个分量nX、nY、nZ中的一个作为一维信息。

该一维信息在抽出沿着X、Y、Z的任一轴的工件的表面倾斜时成为有用的信息。

例如，如图5所示，对于圆筒状的工件W1，分别将沿着工件W1的宽度方向的方向设定为X轴、将沿着长度方向的方向设定为Y轴、沿着高度方向的方向设定为Z轴时，通过将法线矢量n^*的X轴的分量nX设定为一维信息，而能够得到反映了工件W1的表面的倾斜角度的变化的图像。

图6表示在上述图5的设定例中由X轴方向的分量nX所生成的图像。此外，在该实施例中，将摄像机1和光源21～22也配置成与上述图3A、图3B所示的位置关系同样的位置关系，从而使图像的xy坐标系的x轴与空间坐标系的X轴对应，使y轴与空间坐标系的Y轴的方向对应(在以下的实施例中，该设定也相同)。另外，所示出的图像为8位结构，即以0～255的灰度值来显示，且灰度值为0时处于最亮的状态。

在本实施例中，预先使用上述工件W1的模型等，而求出X轴分量nX的最大值，并对与各nX的值对应的灰度值进行调整，以使该最大值成为255灰度值、且最小值(反映了出现在X轴的负方向的分量)成为0灰度值。其结果，生成了沿着从左向右的方向(x轴的正方向)逐渐变暗的图像。之所以生成这种图像，是因为：从工件W1的支撑面观察，上述圆筒状的工件W1的法线矢量在最高的部分变得大致垂直，而且，随着远离该部分而逐渐倒向X轴的正方向或负方向。

这样，工件的表面的倾斜度沿着X轴方向变化时，将法线矢量n^*的X轴分量nX作为一维信息而取出并进行图像化，从而能够明确地显示上述倾斜度变化的状态。另外，在工件被变形时，由于图像的沿着x轴方向的浓度变化与通常不同，所以能够以高精度判别有无变形。

从同样的目的及理由，而能够根据工件的表面的倾斜度的变化的方向来选择nX、nY、nZ中的任一个而作为一维信息，从而生成以高精度反映了其倾斜度的变化的状态的图像。另外，如上述的球体状工件那样，在多个方向发生倾斜度的变化时，能够将两个以上的分量(若为球体状工件时，是为nX以及xY)作为一维信息。此时，可以对每个分量分别生成灰度图像，但也可以生成分别将nX置换为红色分量R、nY置换为蓝色分量B的彩色图像。另外，也可以生成使nX反映明度、nY反映色度的图像。另外，也可以示出这样的彩色法线矢量图像。

第二实施例

如图7所示，在本实施例中，将空间坐标系的任意矢量A^*所示的方向作为基准方向，并将在该基准方向上投影了法线矢量n^*时所得到的投影图案的长度U作为一维信息。

上述一维信息U例如能够利用于从工件W的表面中检测出相对于XY平面的倾斜度处于规定的角度范围的区域的处理。例如，可将具有基准的倾斜度的平面的法线方向作为上述矢量A^*，对每个像素求出上述一维信息U，并检测出该U的值超过规定的阈值的像素的集合而作为目的区域。

此外，要求出一维信息U，则只要将上述矢量A^*作为单位矢量，然后求出该单位矢量与上述法线矢量n^*的内积即可。

第三实施例

图8表示作为一维信息而求出法线矢量n^*的角度信息的例子。在本例中，求出法线矢量n^*相对于XZ平面的角度θ、以及法线矢量n^*相对于XY平面的角度φ。此外，求出角度θ而作为将上述法线矢量n^*投影到XY平面上时的投影图案相对于X轴的角度，求出角度φ而作为将上述法线矢量n^*投影到YZ平面上时的投影图案相对于Y轴的角度。

角度θ表示从上方观察法线矢量n^*时该矢量的指向，换言之，其表示被投影到XY平面上的法线矢量n^*的方位。另一个角度φ表示法线矢量n^*相对于水平面(XY平面)的张开程度。

将上述角度信息作为一维信息时，也优选根据工件或检测对象部位的形状等来选择角度θ、φ中的任一个。

例如，如图9所示，在检测浮雕加工在平板状的工件W2的表面上的字符串时，通过选择角度θ，而能够生成反映了文字特征的法线矢量图像。此外，在图9的例子中，将X轴设定在工件W2的横宽方向(与字符串的排列方向相对应)上，将Y轴设定在纵宽方向上，将Z轴设定在高度方向上。另外，图中的R是包含检测对象的字符串的区域。

图10是表示从上方观察相对于上述工件W2上所记录的一个文字(数字2)的法线矢量的例子。由于该文字以虚线所示的中央部分为峰而向各边缘的方向倾斜，所以在图中的以箭头所示的方向上出现法线矢量。

图11表示针对图9的区域R而根据从上述法线矢量所抽出的角度θ而生成的图像。

在该实施例中，以上述θ为0°时的灰度值为0、且θ的绝对值越大灰度值越大的方式进行调整，从而使各文字的上述峰的部分变亮，从峰向边缘方向越来越暗。另外，在字符串的背景部分，由于法线矢量指向垂直方向，所以θ＝0，而显示明亮的状态。

另一方面，如图12所示，将表面存在凹部cp的平板状的工件W3作为对象而检测出凹部时，通过选择上述角度φ，而能够生成上述凹部cp的位置和大小明确的法线矢量图像。

图13利用在与上述凹部cp对应的位置的纵剖面来表示上述工件W3的法线矢量。

工件W3的平坦部分的法线矢量的指向大致呈垂直。即使在凹部cp，由于底部也大致平坦，所以从底部的法线矢量的指向呈垂直，但从底部向周边部的倾斜面的法线矢量，指向反映了其倾斜状态的方向。另外，倾斜面的倾斜角度从底部越到周边部则越趋近垂直面，所以法线矢量也越靠近周边部越趋近于沿着水平面的方向。

图14表示针对上述工件W3而根据从上述法线矢量所抽出的角度φ而生成的图像。在本例中，以上述角度φ为90°时最明亮(灰度值：0)、且|90°-φ|的值越大则变得越暗的方式设定了灰度值，因此，平坦面表现出明亮，另一方面凹部的倾斜面表现出暗的状态。

在图11、14中所示的图像均都以检测对象物(字符串、凹部)与背景不同的亮度被显示，因此能够通过二值化处理和边缘抽出处理等来进行高精度的检测。另外，对于如图11的例子的文字那样轮廓形状复杂的对象，可预先登录模型的图案，并进行归一化相关(normalized correlation)运算等匹配处理也可。

(C)关于反射率图像

在上述各实施例中，使用法线矢量图像来做到能够检测出测定对象物，但也可以取而代之而生成根据上述工件的反射率R的图像(以下，称为“反射率图像”)。

此外，在求出法线矢量n^*的各分量nX、nY、nZ之后，将这些分量代入到针对光源21～24中的任意一个设定的上述(3)式，从而能够求出反射率R。

使用了该反射率图像的处理，在镜面反射成分大的物体成为检测对象时特别有效。

例如，如图15所示，针对工件W4进行检测出粘贴在表面上的透明胶带t的处理时，若来自上述胶带t的镜面反射光增大，则在通常的图像中可能会很难识别胶带t的整体像。

图16(1)是由上述摄像机1所生成的工件W4的图像的例子。在该图像中，由于来自胶带t的镜面反射光入射到摄像机1中，所以在图像上的胶带t’的一部分的亮度变为饱和状态，从而成为无法识别透明胶带的整体像的状态。

另一方面，图16(2)表示与上述图像对应的反射率图像。在本例中，通过以反射率R越高则变得越暗的方式设定灰度值，而使上述透明胶带t’被表现为比背景部分更暗的区域。

如此，即使是因镜面反射成分而在原图像上很难识别的对象物，在反射率图像上也可充分示出其形状。因此，在此时也能够通过二值化、边缘抽出、图案匹配、浓度数据的投影处理等的方法，来以高精度检测出对象物。

(D)图像处理装置的结构

图17表示上述摄像机1的详细的结构。

在该摄像机1上安装有四块CCD11、12、13、14以及对每个CCD所设置的四个驱动电路101、102、103、104。另外，在摄像机镜头10的光轴上设有三个分光机构(半透半反镜等)15、16、17，并在由这些分光机构15～17所分开得四个轴上分别配置有上述CCD11～14中的各一个。

进而在上述摄像机1上还设有图像输出电路18。该图像输出电路18接收来自各CCD11、12、13、14的图像信号Q1、Q2、Q3、Q4，并将这些信号并行输出到后述的控制器3。

从后述的控制器3分别向各驱动电路101～104输入专用的触发信号TR1、TR2、TR3、TR4、以及对于各电路101～104共通的输出用触发信号。各驱动电路101～104根据上述专用的触发信号TR1～TR4的输入而驱动对应的CCD11～14，从而使其进行拍摄处理(向各单元蓄积电荷)。若进一步输入输出用触发信号，则使上述CCD11～14发出由蓄积电荷所生成的图像信号Q1、Q2、Q3、Q4。

图18表示图像处理装置整体的电气结构。

在该图像处理装置中，除了上述摄像机1、光源21～24之外，还包括有控制器3。控制器3控制上述摄像机1以及光源21～24的动作，并利用从摄像机1所输入的四个图像信号Q1～Q4，来执行上述法线矢量图像的生成、和使用了该法线矢量图像的计测处理。进而，也可以利用该计测结果来实施判别工件上是否有缺陷等的处理。

具体地说，控制器3包括CPU30、存储器31、图像输入部32、脉冲生成部33、显示器34、输入部35等。此外，该实施例中的存储器31是一种包括ROM、RAM、以及硬盘等大容量存储器的概念的存储器，可存储计测处理或判定处理所需的程序。另外，也设有用于分别独立地存储来自摄像机1的输入图像、上述法线矢量图像、反射率图像等的区域。进而，在存储器31中也预先登录有确定各光源21～24的照明方向矢量Lm^*所需的参数，如上述图3A、图3B所示的h、k等。

图像输入部32包括对于来自上述摄像机1的图像信号Q1～Q4的接口电路和A/D变换电路。由各图像信号Q1～Q4的图像分别通过图像输入部32的A/D变换电路进行了数字变换后，被存储在存储器31中。另外，能够在显示器34上显示上述图像Q1～Q4、上述法线矢量图像、以及反射率图像。

上述CPU30若从未图示的工件检测用的传感器接收到检测信号(图中的“定时信号”)的输入，则向脉冲生成部33发出触发信号的输出指令。从CPU30另外向脉冲生成部33输入时钟信号，而根据上述输出指令，每隔规定时间依次输出触发信号TR1、TR2、TR3、TR4、以及输出用触发信号。

在所输出的触发信号TR1～TR4中，将信号TR1赋予光源21以及上述摄像机1的驱动电路101，将信号TR2赋予光源22以及驱动电路102，将信号TR3赋予光源23以及驱动电路103，将信号TR4赋予光源24以及驱动电路104。由此，在光源21被点亮时CCD11工作，光源22被点亮时CCD12工作，光源23被点亮时CCD13工作，光源24被点亮时CCD14工作，而生成上述图2所示的图像G1、G2、G3、G4。

图19表示在上述控制器3的控制下的摄像机1以及光源21～24的工作状态。

在本实施例中，通过以与各CCD11～14的曝光时间相对应的时间间隔生成上述触发信号TR1～TR4、以及输出用触发信号，而连续执行利用各CCD11～14的拍摄，然后从各CCD11～14同时输出上述图像信号Q1～Q4。

在求出法线矢量的过程中，为了使四幅图像间的同一点建立对应而需要停止工件来进行拍摄，但是，当CCD为一块时，必须在每次拍摄后输出所生成的图像，然后再进行下一次拍摄。此时，停止工件的时间自然会变长。

与此相对，若采用上述图16～18所示的结构和控制，则可以将从各CCD11～14的图像输出推后，从而能够大幅度地缩短停止工件的时间。由此，即使在工厂的检查流水线等连绵不断地传送多个工件的现场，也能够充分对应。此外，在CCD11～14的曝光时间极短的情况下，可以不停止工件而进行拍摄。

最后，针对在将上述结构的图像处理装置设置在工厂的检查流水线上而进行检查的情况下由上述控制器3所执行的处理的流程，利用图20来进行说明。

该图20表示对一个工件所执行的处理的步骤。响应于上述定时信号的输入而开始执行处理。首先，在最初的步骤1中，利用上述脉冲生成部33而依次对各CCD11～14以及各光源21～24赋予触发信号TR1～TR4。由此，各光源21～24依次被点亮，并且每次被点亮时CCD11～14被驱动，而生成在用各个光源21～24的照明下的图像G1～G4。

在接下来的步骤2中，通过对摄像机1发出上述输出用触发信号，而从各CCD11～14输出图像信号Q1～Q4。由这些图像信号Q1～Q4的图像在图像输入部32被数字变换后，存储到存储器31中。

在步骤3中，利用所输入的4幅图像，对每组所对应的像素计算出法线矢量。然后，在步骤4中，生成法线矢量图像。然而，根据计测目的而在计算出法线矢量后求出反射率R，从而生成反射率图像也可。

在步骤5中，利用在上述步骤4中所生成的法线矢量图像，来对检查对象物进行检测。例如，在针对上述图12中的工件W3检查有无凹部cp时，通过二值化处理而检测出浓度在规定值以下的区域。另外，在检测图9的工件W2的字符串时，除了二值化、边缘抽出处理之外，还可以进行图案匹配处理。

然而，在步骤5中可执行的处理并不仅限定于上述处理，而可以应用在以往的灰度图像处理中虽积累的各种经验来执行高精度的检测处理。

在步骤6中，针对所检测出的对象物测定重心和面积等。进而，在步骤7中，将在步骤6中所求出的测定值与预先设定的判定基准值进行比较等，而判别工件的合格与否。在最后的步骤8中，将步骤7的判定结果输出到外部设备等。

若根据上述图20的处理，则可生成检查对象物的特征明确的法线矢量图像、或反射率图像，所以即使没有详细调整照明的条件，也能够生成捕捉到检查对象物的特征的图像，从而能够以高精度进行图像上针对对象物的检测处理。

另外，将作为三维数据的法线矢量变换为一维信息，并对基于该变换后的信息的二维图像进行处理，因此能够使使用了法线矢量的识别处理变得简单。并且，在该识别处理中能够应用在以往的灰度图像处理中所开发的算法，所以能够实现软件资产的有效的灵活运用。

Claims

1.一种图像处理方法，变更对于对象物的照明方向的同时至少进行三次从一定的方向拍摄上述对象物的处理，并利用每次拍摄所得到的多个图像来求出对于上述对象物的表面的法线矢量，然后利用该法线矢量的取得结果来执行规定的处理，其特征在于，执行如下各步骤：

第一步骤，对于在上述多个图像间处于对应关系的每组像素，执行利用各像素的亮度来求出上述法线矢量的处理和求出一维信息的处理，上述一维信息表示上述法线矢量相对于包含上述对象物的空间的关系；

第二步骤，生成将在第一步骤中对每个像素所求出的一维信息与各像素的坐标建立对应的图像数据；

第三步骤，对在上述第二步骤中所生成的图像数据执行规定的特征抽出处理。

2.如权利要求1所述的图像处理方法，其特征在于，

作为上述一维信息，而求出将法线矢量投影到上述空间内的任意方向上时的投影图案的长度。

3.如权利要求1所述的图像处理方法，其特征在于，

作为上述一维信息，而求出上述法线矢量相对于上述空间内的任意矢量而成的角度。

4.如权利要求1～3中任一项所述的图像处理方法，其特征在于，

执行对基于在上述第二步骤中所生成的图像数据的图像进行显示的步骤。

5.如权利要求4所述的图像处理方法，其特征在于，

在求出多种上述一维信息的同时，在上述第二步骤中对每个一维信息生成图像数据，

在显示上述图像的步骤中，对使每个上述一维信息的图像数据分别反映不同分量的图像进行显示。

6.如权利要求1～3中任一项所述的图像处理方法，其特征在于，还执行如下步骤：

第四步骤，针对在上述第三步骤中所抽出的特征，执行规定的计测处理；

第五步骤，基于上述计测处理的结果，判别对象物的表面状态是否合格。

7.一种图像处理方法，变更对于对象物的照明方向的同时至少进行三次从一定的方向拍摄上述对象物的处理，并利用每次拍摄所得到的多个图像来求出上述对象物的表面的反射率，然后利用该反射率的取得结果来执行规定的处理，其特征在于，执行如下各步骤：

第一步骤，对于在上述多个图像间处于对应关系的每组像素，执行利用各像素的亮度来求出上述对象物的反射率的处理；

第二步骤，生成将在第一步骤中对每个像素所求出的反射率与各像素的坐标建立对应的图像数据；

8.一种图像处理装置，其特征在于，具有：

拍摄机构，其用于从一定的方向拍摄规定的对象物；

至少三个照明机构，其用于分别从不同方向对上述对象物进行照明；

图像生成机构，其逐个依次点亮上述照明机构的同时，根据每次的点亮定时而驱动上述拍摄机构，从而生成多个图像；

运算机构，其对于在上述多个图像间处于对应关系的每个像素，执行利用各像素的亮度来求出对于上述对象物的表面的法线矢量的处理和求出一维信息的处理，上述一维信息表示上述法线矢量相对于包含上述对象物的空间的关系；

图像数据生成机构，其生成将上述运算机构对每个像素所求出的一维信息与各像素的坐标建立对应的图像数据；

特征抽出机构，其对由上述图像数据生成机构所生成的图像数据执行规定的特征抽出处理。

9.如权利要求8所述的图像处理装置，其特征在于，

在上述拍摄机构中，以能够拍摄相同视场的关系配置有与上述照明机构相同数目的拍摄元件；

上述图像数据生成机构根据上述照明机构的点亮定时而逐个驱动各拍摄元件来进行拍摄，并且在最后一个拍摄元件拍摄结束之后，从各拍摄元件同时输出图像信号。

10.如权利要求8或9所述的图像处理装置，其特征在于，还具有：

计测机构，其针对由上述特征抽出机构所抽出的特征，执行规定的计测处理；

判别机构，其基于上述计测处理的结果，判别上述对象物的表面状态是否合格；

输出机构，其输出上述判别机构的判别结果。