CN101542520A - 识别处理方法及使用该方法的图像处理装置 - Google Patents

Abstract

一种识别处理方法及图像处理装置，以确保识别精度并且在一定时间内结束对于对象物的识别作为课题。首先，从识别对象物的模型的特征点群中，提取构成各边长满足规定基准值的三角形的三点的组合，并将所提起的各组合登记为模型三角形。对于识别对象物也同样，从其特征点群中提取构成满足基准值的三角形的三点的组合，将各组合作为比较对象三角形，并按顺序使其与模型三角形对应关联，利用对应的各点(A和A’、B和B’、C和C’)的坐标，计算出表示两三角形的对应关系的变换参数，进一步，求出对于模型的特征点群与对象物的特征点群的关系的该变换参数的拟合优度。并且，基于对每个对应关联求出的拟合优度，确定表示模型的特征点群与识别对象物的特征点群的对应关系的变换参数，从而识别对象物。

Description

识别处理方法及使用该方法的图像处理装置

技术领域

本发明涉及识别处理方法及使用该方法的图像处理装置，在该方法中，针对表示识别对象物的特征的点的集合(以下也称为“特征点群”)，根据与预先登记的识别对象物的模型特征点群的对应关系来对识别对象物的位置、姿态进行识别。

背景技术

在二维图像处理中，作为对处理对象图像中的识别对象物的位置、姿态进行识别时的有代表性的方法，有求出预先登记的模型图像与处理对象的图像之间的相关值的方法(例如，专利文献1)。另外，还有如下的方法：利用立体摄像机进行三维计测处理，从而求出多个识别对象物的特征点的三维坐标，然后，求出三维空间中这些特征点的分布图案和模型特征点群的分布图案之间的相关值，从而对空间中的识别对象物的位置、姿态进行识别(例如专利文献2)。

专利文献1：JP特开2005-346232号公报

专利文献2：JP特开2004-295223号公报

在二维图像处理中，除了识别对象物的位置、朝向与模型不同以外，因摄像机与识别对象物的距离的偏差，导致有时图像中的识别对象物的大小发生变化。这样，为了高精度地识别与模型图像不同的状态的计测对象物，以往通常登记朝向、大小不同的多种模型图像，对每个模型图像求出相关值。但是，在这种方法中，与模型图像之间的对照次数越多，在处理上越费时间。

在进行三维识别处理时，重复进行如下处理，即，对模型特征点群的位置、方向进行各种变更，对识别对象物的特征点群求出相关值。此时也存在如下问题：模型特征点群的位置和方向的组合越多样化，处理的时间就越长。

这样，在二维、三维的任一个处理中，如果要提高识别的精度，则处理时间都会变长。这种识别处理多是作为计测、检查的前处理而进行，所以并不希望处理时间变长。

本发明是着眼于上述问题而提出的，目的在于能够确保识别精度的同时在一定时间内结束处理。

发明内容

用于解决上述课题的识别处理方法，用于基于分布在平面或空间内的识别对象物的特征点群和预先登记的模型特征点群之间的对应关系，对识别对象物进行识别，其特征在于，执行以下第一～第四步骤。

在第一步骤中，在将模型特征点群中所包含的各特征点分别以特定数n(n≥2)组合得到的各组合中，将至少一对特征点之间的距离满足预定的基准值的组合设定为模型组合，并将用于确定所设定的模型组合的信息登记到存储器中。在第二步骤中，在将识别对象物的特征点群中所包含的各特征点分别以特定数n组合得到的各组合中，将至少一对特征点之间的距离满足基准值的组合设定为比较对象的组合。在第三步骤中，按顺序使根据存储器的登记信息所确定的模型组合和第二步骤中设定的比较对象的组合对应关联，对于每个对应关联的组合，求出将其中一个组合的各特征点变换为另一个组合的各特征点时的变换参数，进而，针对该变换参数，求出对于模型特征点群和识别对象物的特征点群之间的关系的拟合优度。在第四步骤中，根据在第三步骤中求出的各拟合优度，确定用于表示模型特征点群和识别对象物的特征点群之间的对应关系的变换参数。

即使识别对象物的位置、姿态与模型不同，在判明对于模型的规定数的特征点的对应点的情况下，也能够利用这些处于对应关系的特征点的坐标来求出变换参数，该变换参数是指，用于将模型特征点群变换为与识别对象物的特征点群相同状态的参数。上述方法是该原理的逆应用。

即，在该方法中，虽然模型特征点群与识别对象物的特征点群的对应关系不明，但假设从各特征点群中分别提取的n个特征点处于对应关系，从而求出表示两者间关系的变换参数。如果实际上这些特征点处于对应关系，则当然也能够通过相同的变换参数来表示特征点群的其它特征点间的关系。因此，在利用上述变换参数对识别对象物或模型特征点群进行了变换的情况下，其变换后的坐标与另一个特征点群相符合的程度，高于利用从没有正确对应关联的特征点的组合求出的变换参数情况下的符合程度。由此，针对对于特征点的组合的每个对应关联求出的变换参数，如果能够求出对于模型的特征点与识别对象物的特征点的关系的拟合优度，并确定在这些拟合优度中得到最大拟合优度时的变换参数，则能够高精确度地对识别对象物的位置、姿态等进行识别。

此外，虽然希望所确定的变换参数是全部对应关联中得到最大拟合优度时的变换参数，但也并不仅限于此。例如，可以在对应关联的途中，在拟合优度达到预定目标值以上的时刻停止处理，确定得到该拟合优度时的变换参数。

根据上述方法，能够以高精度对识别对象物进行识别。另外，通过调整特征点间的距离的基准值，能够缩减n个特征点的组合的个数，因此能够防止计算变换参数和拟合优度所需的时间变得过长。

在上述方法中，在将识别对象物的图像所包含的特征点的集合作为处理对象的特征点群的情况下，在第一步骤和第二步骤中，能够将特定数n设定为2以上。此时，能够通过仿射变换的变换参数来表示各特征点群间的对应关系。

另外，在将通过对识别对象物进行三维计测处理而求出的空间内的特征点的集合作为处理对象的特征点群的情况下，在第一步骤和第二步骤中，能够将特定数n设定为3以上。此时，能够通过同次坐标变换的变换参数来表示各特征点群间的对应关系。

在上述方法的优选方式中，在第一步骤和第二步骤中，将特定数n设定为3，设定构成三角形的特征点的组合，其中，该三角形的各边的长度分别取规定的上限值和下限值之间的值。三角形是表示面的最小单位，容易表现识别对象物的大小和形状。另外，模型组合与比较对象的组合之间的对应关联，在3点的情况下有六种关联，能够容易地进行对应关联。

在进一步优选的方式中，在第一步骤和第二步骤中，设定构成正三角形的特征点的组合，其中，该正三角形的一边的长度取上限值和下限值之间的值。这样一来，能够大幅度削减特征点的组合数，从而提高处理速度。另外，对用户来说，容易推测对于对象物的三角形的设定状态，从而容易设定上限值和下限值。

在将特定数n设为3的情况下的其他方式中，在第一步骤和第二步骤中，设定构成三角形的特征点的组合，其中，该三角形的一边的长度取规定的上限值和下限值之间的值，其两端的角度分别在预定的基准角度范围内。在其他方式中，设定构成三角形的特征点的组合，其中，该三角形的两边的长度分别取规定的上限值和下限值之间的值，上述两边所成的角度在预定的基准角度范围内。

在这些方式中，根据三角形的边的长度及角度来缩减特征点的组合数，由此能够缩短处理时间。

在上述识别处理方法的其它优选方式中，在第三步骤中，对于对应关联的模型组合和比较对象的组合求出了变换参数之后，利用该变换参数对模型特征点群和识别对象物的特征点群中的任一个进行变换，计算出用于表示变换后的特征点对应于未被变换的特征点群的频度的数值，并将该数值作为变换参数的拟合优度。

根据上述方式，能够求出具体的数值来作为对于模型特征点群与识别对象物的特征点群的关系的变换参数的拟合优度。由此，通过比较表示拟合优度的数值，能够容易地确定表示模型特征点群与识别对象物的特征点的对应关系的变换参数。另外，如果对模型特征点群进行变换，则在识别对象物变得比模型大并且处理对象的特征点增加的情况下，也能够防止计算拟合优度的所需的运算时间变长。

应用了上述识别处理方法的第一图像处理装置，对识别对象物的图像进行处理，从而针对该识别对象物，获取分布在平面或空间内的多个特征点，基于这些特征点群和预先登记的模型特征点群之间的对应关系，对识别对象物进行识别。该图像处理装置具有：输入单元，其针对特征点群中的各特征点之间的距离，输入规定的基准值；模型设定单元，其在将模型特征点群中的各特征点分别以特定数n(n≥2)组合得到的各组合中，将至少一对特征点之间的距离满足基准值的组合设定为模型组合；登记处理单元，其向存储器登记用于确定模型设定单元所设定的模型组合的信息；组合设定单元，其在将从输入图像中提取的特征点分别以上述特定数n组合得到的各组合中，将至少一对特征点之间的距离满足上述基准值的组合设定为比较对象的组合；对照处理单元，其按顺序使根据存储器的登记信息所确定的模型组合和比较对象的组合对应关联，对于每个对应关联的组合，求出将其中一个组合的各特征点变换为另一个组合的各特征点时的变换参数，进而，针对该变换参数，求出对于模型特征点群和识别对象物的特征点群之间的关系的拟合优度；确定单元，其根据对照处理单元所求出的各拟合优度，确定用于表示模型特征点群和识别对象物的特征点群之间的对应关系的变换参数。

上述装置构成为二维识别处理用的图像处理装置的情况下，能够利用最终确定的变换参数来判别图像中识别对象物的位置、姿态，并输出其判别结果。另外，在利用所确定变换参数对处理对象的图像的各点进行变换而修正了图像偏移之后，能够以修正后的图像作为对象，进行图案识别等的图像处理。

上述装置构成为三维识别处理用的图像处理装置的情况下，能够利用最终确定的变换参数来判别空间内的识别对象物的位置、姿态，并输出其判别结果。另外，利用所确定的变换参数对模型侧特定的点进行变换，由此还能够识别出识别对象物中与该特定的点对应的对应点。

应用了上述识别处理方法的第二图像处理装置，分别从为了拍摄相同形状的多个识别对象物而设置的多个摄像装置输入图像，并利用各输入图像进行三维计测处理，从而针对各识别对象物，获取分布在空间内的多个特征点的空间坐标，基于这些特征点群和预先登记的模型特征点群之间的对应关系，分别单独地识别多个识别对象物。该图像处理装置具有：输入单元，其针对特征点群中的特征点之间的距离，输入规定的基准值；模型设定单元，其在将模型特征点群中的各特征点分别以特定数n(n≥3)组合得到的各组合中，将至少一对特征点之间的距离满足基准值的组合设定为模型组合；登记处理单元，其向存储器登记用于确定模型设定单元所设定的模型组合的信息；组合设定单元，其在将通过三维计测所获取的特征点分别以上述特定数n组合得到的各组合中，将至少一对特征点之间的距离满足基准值的组合设定为比较对象的组合；对照处理单元，其按顺序使根据存储器的登记信息所确定的模型组合和组合设定单元所设定的比较对象的组合对应关联，对于每个对应关联的组合，求出将其中一个组合的各特征点变换为另一个组合的各特征点时的变换参数，进而，针对该变换参数，求出对于模型特征点群和识别对象物的特征点群之间的关系的拟合优度；物体识别单元，其在对照处理单元所求出的各拟合优度中至少确定一个超过规定的基准值的拟合优度，针对所确定的每个拟合优度，利用与该拟合优度对应的变换参数来识别一个识别对象物。

根据上述图像处理装置，即使朝向各方向配置有相同形状的多个识别对象物的情况下，也能够在短时间内高精度地判别各识别对象物。

根据上述识别处理方法和图像处理装置，能够对于在识别对象物的特征点群与模型特征点群之间处于对应关系的特征点应用共通的变换参数，基于此原则，能够高精度地识别各特征点群间的对应关系。另外，即使识别对象物的位置、姿态发生变化，由于特征点的个数不会极端变化，因此也不会拖延处理时间。另外，根据识别对象物的大小及形状来对特征点间的距离调整基准值，由此，能够缩减成为对照对象的特征点的组合，因此能够缩短处理时间。

附图说明

图1是图像处理装置的框图。

图2是表示三角形的对应关联的例子的说明图。

图3是与特征点的对应关系一起表示模型图像和处理对象图像以及它们边缘图像的说明图。

图4是表示模型三角形的登记处理的流程的流程图。

图5是表示基本处理的流程的流程图。

图6是表示变换矩阵的特定处理的详细流程的流程图。

图7是表示变换矩阵的特定处理的详细流程的其它例子的流程图。

图8是图7后续的流程图。

图9是与特征点的对应关系一起表示三维模型和识别对象物的例子的说明图。

图10是表示利用了三维识别处理的拣选***(picking system)的例子的说明图。

图11是拣选***的框图。

图12是与特征点的对应关系一起表示拣选对象的部件的三维模型与实际的部件的说明图。

图13是表示为了控制机械手而在图像处理装置中执行的识别处理的流程的流程图。

具体实施方式

图1表示本发明的实施例的图像处理装置的结构。

该图像处理装置用于对工业产品、印刷品等形状、大小大致相同的识别对象物进行逐个拍摄，并对所生成的图像中的识别对象物的位置、姿态进行识别，该图像处理装置包括用于拍摄的摄像机1和控制器2。

控制器2包括图像输入部3、边缘提取部4、图像存储器5、输入输出接口6、图像输出部7、监视器8、控制部10等。图像输入部3包括摄像机1用的接口、A/D变换电路，从摄像机1输入浓淡图像信号并对其进行数字变换。变换后的数字图像存储在图像存储器5中，并且被发送至边缘提取部4。

边缘提取部4包括：微分电路，其对数字图像进行微分处理，对于每个像素计算出浓度梯度的大小；比较电路，其将所计算出的浓度梯度的大小与规定的阈值进行比较。通过这些电路的处理，数字图像变换为二值的边缘图像，即其边缘构成像素为黑像素，其它像素为白像素。该变换后的边缘图像也存储在图像存储器5中。

输入输出接口6与未图示的输入部(键盘、鼠标等)和外部设备相连接。图像输出部7包括通向D/A变换电路、监视器8的接口电路等。该图像输出部7能够响应来自控制部10的指令而从图像存储器5、RAM13中读取显示对象的数据，并将其显示在监视器8上。

控制部10包括CPU11、ROM12、RAM13和硬盘14。在硬盘14上存储有执行识别处理所需的程序及设定数据等。另外，RAM13中存储有通过基于这些程序和设定数据进行的处理而设定的特征点的组合、后述的一致度等数据。

虽然图1中没有示出，但是如果计测对象物进入摄像机1的视野，则从未图示的传感器或CPU11向摄像机1输入触发信号。摄像机11根据该触发信号而进行拍摄。以下，将通过该拍摄生成的识别对象物的数字图像称为“处理对象图像”，将识别对象物只称为“对象物”。

硬盘14中存储有预先拍摄对象物的模型而得到的模型图像及其边缘图像，以及与后述的模型三角形相关的信息。如果对象物的处理对象图像和边缘图像存储在图像存储器5中，则CPU11首先利用边缘图像，将分布在该图像中的特征点群(以下称为“处理对象的特征点群”。本实施例的特征点群是边缘构成点的集合)与模型的边缘图像中的特征点群(以下称为“模型特征点群”)相对照，通过该对照的处理来识别对象物的位置、朝向等。进一步，基于该识别结果，执行对处理对象图像中包含对象物的范围设定计测区域的处理，并执行将该计测区域内的对象物修正为与模型图像相同姿态的处理，然后移至正式的计测处理和检查处理。

下面，针对将处理对象的特征点群与模型特征点群对照的处理进行详细说明。

处理对象图像中的对象物的位置、朝向多是与模型图像不同。另外，也有可能因相对摄像机1的距离，导致大小也与模型图像的大小不同。

因此，若将模型特征点群中的一个特征点的坐标设为(mx_i，my_i)，在处理对象的特征点群中将与(mx_i，my_i)对应的点的坐标设为(tx_i，ty_i)，则认为(tx_i，ty_i)相当于对(mx_i，my_i)进行了仿射(affine)变换情况下的变换后的坐标。

在此，若将x、y的各轴方向上的对象物的位置偏移量设为dx、dy，将对象物相对于模型的旋转角度设为θ，将计测对象物相对于模型的在x方向上的倍率设为bx，在y方向上的倍率设为by，则上述两点的关系用下述的(1)式表示。

$\left(\begin{array}{c}\mathrm{txi}\\ \mathrm{tyi}\end{array}\right)=\left(\begin{array}{ccc}\mathrm{bx}\·\cos \mathrm{\θ}& -\mathrm{by}\·\sin \mathrm{\θ}& \mathrm{dx}\\ \mathrm{bx}\·\sin \mathrm{\θ}& \mathrm{by}\·\cos \mathrm{\θ}& \mathrm{dy}\end{array}\right)\left(\begin{array}{c}\mathrm{mxi}\\ \mathrm{myi}\\ 1\end{array}\right)$

$=H\·\left(\begin{array}{c}\mathrm{mxi}\\ \mathrm{myi}\\ 1\end{array}\right)\·\·\·\left(1\right)$

如上述(1)式所示，在二维的图像处理中，能够将模型与对象物的对应关系通过dx、dy、θ、bx、by这五个参数来表示。以下，将这些参数称为变换参数，将由这些变换参数确定的矩阵H称为变换矩阵。认为变换矩阵H也是广义的变换参数。由此，通过求出该变换矩阵H或dx、dy、θ、bx、by的处理，能够识别对象物的状态。

在此，如果将(1)式展开，则可导出(1-1)式和(1-2)式。

tx_i＝mx_i·T₀₀+my_i·T₀₁+T₀₂    …(1-1)

ty_i＝mx_i·T₁₀+my_i·T₁₁+T₁₂    …(1-2)

此外，T₀₁～T₁₂如下所述，对变换矩阵H的各要素进行置换。

T₀₀＝bx·cosθ     …(a)

T₀₁＝-by·sinθ    …(b)

T₀₂＝dx            …(c)

T₁₀＝bx·sinθ     …(d)

T₁₁＝by·cosθ     …(e)

T₁₂＝dy            …(f)

如上述，将模型特征点群中的三点的坐标分别设为(mx_i，my_i)，对于这些点，只要能够确定处理对象的特征点群中的对应点的坐标(tx_i，ty_i)，就能够将各对应点的坐标的组合代入(1-1)式和(1-2)式，从而设定三元联立方程式。由此，通过解这些联立方程式，能够求出T₀₀～T₁₂的值，从而能够确定变换矩阵H。

另外，如果判明T₀₀～T₁₂的值，则能够根据T₀₂、T₁₂的值确定dx、dy(参照(c)(f)式。)。另外，也能够根据T₀₀、T₁₀的值求出θ(根据(a)(d)式，tanθ＝sinθ/cosθ＝(T₁₀/T₀₀)，θ＝tan^-1(T₁₀/T₀₀))。进一步，如果求出θ的值，则能够根据(a)(b)(d)(e)式求出bx、by的值。

这样，如果能够确定在处理对象的特征点群与模型特征点群之间处于对应关系的三组以上特征点，则能够利用这些点的坐标进行运算，从而求出各种变换参数。

基于上述考察，在本实施例中，利用模型和处理对象的各特征点的坐标进行运算处理，求出未知的变换矩阵H，从而识别对象物。

在该处理中，预先从模型特征点群中提取多组构成满足规定条件的三角形的三个特征点，并登记这些特征点的组合。以下，作为由各特征点构成的三角形而取该三个特征点的组合，并将该组合称为“模型三角形”。

对于处理对象的特征点群，也以与相对于模型特征点群的条件同样的条件，提取多组三个特征点的组合(以下，将该特征点的组合称为“比较对象三角形”)。然后，按顺序将上述模型三角形与比较对象三角形对应关联，对于每组对应关联，假设其对应关联都正确，将各三角形的顶点的坐标代入(1-1)式和(1-2)式，计算出变换矩阵H。进一步，在对每组对应关联求出的变换矩阵H中，根据相符的程度，来确定最能够确切表示模型特征点群与处理对象的特征点群的对应关系的变换矩阵H(以下称为“最佳变换矩阵H”)，其中，该相符的程度(以下称为“变换矩阵H的拟合优度”或只称为“拟合优度”)是指，根据该矩阵H来变换模型特征点群各点时的变换后的特征点群与处理对象的特征点群相符合的程度。

进一步，在本实施例中，将各边的长度的值分别在规定的数值范围(由后述的上限值d_H和下限值d_L决定)内作为提取模型三角形和比较对象三角形的条件。上限值d_H和下限值d_L能够根据用户的输入而自由变更。

图2表示模型三角形与比较对象三角形的对应关联例。

在对应关联处理中，对于模型三角形的各顶点A、B、C，将比较对象三角形的一点设为与点A对应的点A′，另一点设为与点B对应的点B′，剩下的一点设为与点C对应的点C′。其中，由于特征点群间的对应关系未完全判明，因此需要变更各点的对应关系而进行六种对应关联。

根据上述拟合优度来判断根据上述点A、B、C与点A′、B′、C′的对应关联求出的变换矩阵H是否最佳。在本实施例中，根据变换矩阵H来变换模型特征点群中的各特征点，检索处理对象的特征点群中在与变换后的坐标位置接近位置是否存在特征点，求出发现特征点的程度来作为拟合优度。

如果点A、B、C与点A′、B′、C′的对应关联正确，则认为，若根据基于该对应关联求出的变换矩阵H来变换模型特征点群中的各特征点，则在变换后的坐标或其附近位置高精确度地存在对应点。因此，认为与进行了错误对应关联的情况下的变换矩阵H相比，提高了拟合优度。

由此，在本实施例中，将取得最大一致度时的变换矩阵H确定为最佳变换矩阵，基于所确定的变换矩阵来进行对象物的识别处理。

在图3中，与识别处理的结果一起表示模型图像和处理对象图像的具体例。

本例中将印刷品作为识别对象物，在图中，左侧表示模型图像及其边缘图像，右侧表示处理对象图像及其边缘图像。另外，在本例中，在各边缘图像中，示出各图像间对应关联的三角形组中的特定的一组(三角形ABC与A′B′C′)。

三角形是表示平面的最小的单位，与特征点的关系也容易识别。因此，如果在监视器显示图3所示的边缘图像与特定的三角形，则用户能够容易地识别对象物的位置、旋转状态。

进一步，在本实施例中，通过调整用于决定三角形的各边的长度范围的上限值d_H和下限值d_L，能够缩减所提取的三角形的个数。因此，即使在特征点群中有多个特征点，也能够通过调整三角形的各边的长度范围来防止对照处理时间变长的情况。另外，如果根据对象物的大小、形状来决定各边的长度范围，则三角形的分布图案的特征变得明确，从而能够提高拟合优度的可靠性。

因此，通过可变地设定三角形的提取条件，能够缩短运算时间，并且能够确保识别的精度。

进一步，如果将提取对象的三角形限定为正三角形，则能够大幅度缩减三角形的个数，从而缩短运算时间。另外，在用户设定上限值d_H、下限值d_L的情况下，由于容易以图像表示特征点群与三角形的关系，所以能够简单地进行设定。

此外，在对象物的识别处理中，在想要将对象物相对于模型的位置偏移、旋转偏移、倍率变化作为识别结果来输出的情况下，只要确定仿射变换的实质性变换参数即dx、dy、θ、bx、by即可，但如果不需要，则可以在确定最佳变换矩阵H后结束识别处理。

如果能够确定变换矩阵H，则能够利用该矩阵将处理对象图像变换为与模型图像相同的状态，从而进行所需的计测、检查。另外，通过变换矩阵，也能够确定与预定的基准点相对应的点，以该点为基准来确定计测对象的部位。

下面，对实施上述识别处理方法时控制部10的处理进行详细说明。

首先，图4是基本处理之前登记模型三角形时的处理的流程。该处理是响应于如下情况开始的：用户输入成为特征点的组合的提取条件的三角形的上限值d_H和下限值d_L，并且对象物的模型被搬入摄像机1的视野内。

在最初的步骤101(以下简称各步骤为“ST”)中，对搬入的模型进行拍摄。在ST102中，通过边缘提取部4从上述拍摄而成的模型图像中提取特征点(边缘构成点)。

下面，利用所提取的特征点的坐标，执行设定、登记模型三角形的处理。

首先，在ST103中，对用于确定模型三角形的计数器i置初始值0。接着在ST104中，从所提取的特征点之中抽取任意3点A、B、C。在ST105中，将所抽取的各点两两组合，对每个组合计算距离L1、L2、L3。

在ST106～ST108中，检查所计算出的距离L1、L2、L3是否分别在规定的长度范围内，其中，该规定的长度范围是指由上限值d_H和下限值d_L规定的长度范围。在此，如果判断为L1、L2、L3都处于上述长度范围内，则进入ST109，将A、B、C各点设为第i个模型三角形T_i的构成点。

进一步，在ST110中，登记上述模型三角形T_i。此外，在此登记的信息是例如将各点A、B、C的坐标与i的当前值对应关联的构成信息。

下面，一边在ST112中更新i的值，一边重复执行ST104～110，直到特征点的组被全部抽取为止。但是，在所抽取的三点间的距离L1～L3中任一个不在上限值d_H与下限值d_L所示的长度范围内的情况下，不将这三点构成的三角形登记为模型三角形。

如果特征点的组被全部抽取完，则ST111变为“是”，模型登记处理结束。该结束时刻的i的值为后述的i_max。

图4所示的一系列处理相当于这样的步骤：在将模型特征点群所包含的各特征点分别以n(n＝3)个组合得到的各组合中，将特征点间的距离满足预定的基准值的组合设定为模型组合，并将用于确定所设定的模型组合的信息登记到存储器中。

图5表示基本处理的流程。此外，该图5的ST1～5是对于一个对象物的流程，每次对象物进入摄像机1的拍摄区域就会执行。

在ST1中，拍摄对象物。接着，在ST2中，通过边缘提取部4从上述拍摄而成的处理对象图像中提取特征点。

在ST3中，以通过ST2的处理所提取得特征点群作为对象，来提取比较对象三角形。该提取处理的步骤与图4的ST103～112相同，因此省略详细说明，但对所提取的各三角形分别赋予识别号j。另外，设定各识别号j与三角形的各构成点的坐标对应关联的数据，并将其存储至RAM13中，作为用于确定比较对象三角形的信息。

上述ST3相当于这样的步骤：在将识别对象物的特征点群所含括的各特征点分别以n(n＝3)个组合得到的各组合中，将特征点间的距离满足基准值的组合设定为比较对象的组合。

在ST4中执行如下处理：按顺序使所登记的模型三角形与上述比较对象三角形相对应关联，确定最佳变换矩阵H。通过该确定，来识别对象物的位置、朝向等的处理对象图像中的对象物的状态。

然后，在ST5中，利用所确定的变换矩阵H，进行了修正处理对象图像以及确定计测对象部位等的处理之后，执行正式的计测处理及检查。

在上述ST4执行以下两个步骤：按顺序使模型组合与比较对象的组合相对应关联，对于每个对应关联的组合，求出将其中一个组合的各特征点变换为另一个组合的各特征点时的变换参数，进一步，针对该变换参数，求出对于模型特征点群与识别对象物的特征点群之间的关系的拟合优度的步骤；基于各拟合优度，确定表示模型特征点群与识别对象物的特征点群的对应关系的变换参数的步骤。下面，利用图6来详细说明与这些步骤相关的具体处理流程。

在ST401、ST402中，作为初始设定，对拟合优度的最大值C_max和计数器i分别置初始值0(ST401)。然后，根据i的值来确定模型三角形T_i，并对每个三角形T_i执行下述的处理。

在ST403中，从第i个模型三角形T_i的登记数据，读取构成点A、B、C的坐标。接着，在ST404中，对用于确定比较对象三角形的计数器j置初始值0。在ST405中，读取第j个比较对象三角形T_j的各构成点的坐标，使这些点与模型三角形T_i的构成点A、B、C对应关联。该对应关联包括六种形式，但在ST405中执行其中的一种。进一步，在接着的ST406中，对用于表示对应关联的执行次数的计数器p置初始值1。

在ST407中，将对应关联的各点的坐标代入上述(1-1)式和(1-2)式中，从而设定两个三元联立方程式，利用这些方程式，计算出将模型三角形T_i变换为比较对象三角形T_j时的变换矩阵H_ijp。

以下的ST408～ST414用于计算出上述变换矩阵H_ijp的拟合优度C_ijp。在ST408中，对计数器k和变换矩阵H_ijp的拟合优度C_ijp置初始值0。接着，在ST409中，读取模型特征点群中第k个特征点A_k的坐标。在ST410中，利用变换矩阵H_ijp来变换该A_k的坐标，将变换后的点作为B_k。

在ST411中，检查处理对象的特征点群中是否存在与上述B_k对应的点。在此，在处理对象的特征点群中，如果存在与对象物的特征点群中的B_k相同坐标或与该坐标的距离处于规定的距离范围内的特征点，则将该特征点作为B_k的对应点。此时，ST411为“是”，进入ST412，将拟合优度C_ijp更新为在当前值加1后的值。

另一方面，在没有发现与变换后的点B_k相对应的对应点的情况下，ST411为“否”，跳过拟合优度C_ijp的更新处理。

下面，执行上述处理，直到k值为模型的特征点的总数k_max为止，从而计算出模型的特征点变换后的坐标与处理对象的特征点群对应的频度，来作为对于各特征点群之间的关系的变换矩阵H_ijp的拟合优度C_ijp。

如果ST414为“是”并确定了拟合优度C_ijp的值，则在接着的ST415中，将该C_ijp与最大值C_max进行比较。在此，在C_ijp比C_max大的情况下，进入ST416，由C_ijp改写C_max。另外，将此时的变换矩阵H_ijp作为最佳变换矩阵H。

然后，变更三角形T_i、T_j间的构成点的对应关系，并且将计数器p加1而将其更新为加1后的值(ST417～ST419)，重新针对对应关联的组合执行求出变换矩阵H_ijp和拟合优度C_ijp的处理(ST407～414)。以下，对六种组合的每一种组合执行相同的处理，当对全部组合执行完处理时(ST417为“否”的情况)，通过在ST420中更新计数器j来变更比较对象三角形T_j，然后返回到ST405。进一步，如果对全部比较对象三角形执行了求出对于第i个模型三角形T_i的六种变换矩阵H_ijp和拟合优度C_ijp的处理，则ST421为“是”，通过在ST422中变更计数器i来变更模型三角形，返回至ST403。

这样一来，对于每次i、j的组合，在三角形T_i和T_j之间进行六种构成点的对应关联，对于每个对应关联的构成点的组合，计算出变换矩阵H_ijp及其拟合优度C_ijp。另外，在拟合优度C_ijp超过最大值C_max的情况下，用该拟合优度C_ijp来改写最大值C_max，并且用得到该最大值C_max时的拟合优度H_ijp来改写最佳变换矩阵H。

如果按顺序使所设定的全部模型三角形与全部比较对象三角形对应关联，并对每个对应关联执行了上述处理，则ST423为“是”，处理结束。该结束时刻的H表示最佳变换矩阵、即得到最大拟合优度时的变换参数。

在图6的例子中，使模型三角形与比较对象三角形以循环(round-robin)的方式对应关联，对每个所对应的三角形的组，计算出变换矩阵H_ijp和拟合优度C_ijp，但也可以取而代之，在拟合优度的最大值C_max达到规定的目标值的时刻，停止ST403～ST423大循环的处理。这样一来，虽然有可能稍微降低识别精度，但能够实现高速处理。另外，在拟合优度C_ijp的计算中，也可以不以模型特征点群的全部特征点作为对象，而只利用设定在模型三角形的顶点的特征点的坐标来求出拟合优度C_ijp。另外，拟合优度C_ijp并不仅限于对应点的个数本身，也可以将对应点的个数乘以规定加权值而得的值、以百分比表示对应点占处理对象的特征点群全体的比例的数值等，作为拟合优度C_ijp。

图7和图8表示与确定变更矩阵的处理相关的其它实施方式。其中，该处理步骤大部分与图6相同，因此对各步骤标注与图6相同的附图标记而省略说明，只对变更了的处理进行说明。

在本例中，在模型三角形T_i与比较对象三角形T_j的每次的对应关联中，计算出拟合优度C_ijp或相异度D_ijp。具体地说，在ST410中，利用变换矩阵H_ijp对第k个模型特征点A_k的坐标进行变换之后，在处理对象的特征点群中存在与变换后的点B_k相对应的特征点的情况下(ST411为“是”的情况)，对拟合优度C_ijp加1(ST412)，在没有发现与点B_k对应的特征点的情况下(ST411为“否”的情况)，对相异度D_ijp加1(ST424)。另外，在加算后的相异度D_ijp达到规定的阈值D_max情况下(ST425为“是”的情况)，停止处理，移至下一个对应关联的处理。另外，在ST408中，对相异度D_ijp与计数器k及拟合优度C_ijp一起置初始值0。

通过上述处理，由于对于构成点的对应关联不正确的组合，可以不将拟合优度的运算进行到最后，因此相应地能够实现高速处理。

接着，在上述实施例中，对于模型特征点群、处理对象的特征点群中的任何一个群，在根据各特征点的组合确定的三角形中，将各边的长度的值分别在由上限值d_H和下限值d_L确定的基准的数值范围内的三角形作为模型三角形、比较对象三角形来缩小范围，但也不仅限于此，也可以基于边的长度与角度来缩小三角形的范围。例如，能够将至少一边的长度在基准的数值范围内并且其两端的角度在基准的角度范围内的三角形，或者两边的长度在基准的数值范围内并且这两边所成的角度在基准的角度范围的三角形，设定为模型三角形、比较对象三角形。在该情况下，取代计算三角形的角度，而求出各边对应的向量的内积，将其结果与同样换算为内积的阈值进行比较，这样一来，能够使运算变得简单，能够充分确保处理速度。

如上述说明那样，在上述实施例中，为了求出仿射变换的变换参数，在模型特征点群与对象物的特征点群之间需要对应关联三组以上的特征点，根据该观点，利用由三个特征点构成的三角形来进行对照处理，从而确定最佳变换矩阵H。

然而，在将分布在如图像那样的平面内的特征点群作为处理对象的情况下，如果至少能够求出两组处于对应关系的特征点的组，就能够根据这些特征点的坐标来推定剩下一组的对应点的坐标。例如，认为从特征点群中提取的两个特征点，相当于等边三角形的两顶点或构成直角三角形的斜边的两顶点，从而根据这些点的坐标能够求出剩下的一个顶点的坐标。

由此，可以将从模型和处理对象的特征点群中提取的特征点的个数设为两个，对这些点进行对应关联，并且，另外单独计算出一组处于对应关系的假想特征点的坐标，根据这三组的点来设定模型三角形和比较对象三角形，求出变换矩阵H。在该情况下，拟合优度的计算流程也与图6的ST407～ST414所示的流程相同。

但是，如果只是将特征点的提取个数从3减少为2，则有可能导致特征点的组合的对应关联数大幅度增加，运算时间变长。因此，希望这种处理限于长条状的对象物。其原因在于，在对象物为长条状的情况下，根据其长度来限定提取对象的两点间的距离，从而能够缩减特征点的组合的个数，能够缩短运算时间。

接着，对两台摄像机拍摄的立体图像进行处理，并执行三维计测，利用计算出的空间坐标来进行对象物的识别，此时，对于分布在空间内的特征点群，能够采用与二维情况下相同的方法来识别对象物。

为了确定三维空间中的特征点的关系，需要确定同次坐标变换的变换参数。

将模型特征点群中的一个特征点的坐标设为(mX_i，mY_i，mZ_i)，将处理对象的特征点群中的对应点的坐标设为(tX_i，tY_i.，tZ_i.)，将对象物相对于模型在x轴方向的旋转角度设为θ，在y轴方向的旋转角度设为φ，在z轴方向的旋转角度设为

，则同次坐标变换的变换式为下述的(2)式。

$\left(\begin{array}{c}\mathrm{tXi}\\ \mathrm{tYi}\\ \mathrm{tZi}\end{array}\right)=\left(\begin{array}{cccc}\cos \mathrm{\φ}\cos \mathrm{\φ}& -\cos \mathrm{\φ}\sin \mathrm{\φ}& \sin \mathrm{\φ}& 0\\ \sin \mathrm{\θ}\sin \mathrm{\φ}\cos \mathrm{\φ}+\cos \mathrm{\θ}\sin \mathrm{\φ}& -\sin \mathrm{\θ}\sin \mathrm{\φ}\sin \mathrm{\φ}+\cos \mathrm{\θ}\cos \mathrm{\φ}& -\sin \mathrm{\θ}\cos \mathrm{\φ}& 0\\ -\cos \mathrm{\θ}\sin \mathrm{\φ}\cos \mathrm{\φ}+\sin \mathrm{\θ}\sin \mathrm{\φ}& \cos \mathrm{\θ}\sin \mathrm{\φ}\sin \mathrm{\φ}+\sin \mathrm{\θ}\cos \mathrm{\φ}& \cos \mathrm{\θ}\cos \mathrm{\φ}& 0\end{array}\right)\left(\begin{array}{c}\mathrm{mXi}\\ \mathrm{mYi}\\ \mathrm{mZi}\\ 1\end{array}\right)$

$=H1\·\left(\begin{array}{c}\mathrm{mXi}\\ \mathrm{mYi}\\ \mathrm{mZi}\\ 1\end{array}\right)\·\·\·\left(2\right)$

根据上述(2)式，如果能够确定三组在模型特征点群与处理对象的特征点群之间处于对应关系的特征点的组，则能够将这些点的坐标设为(mX_i，mY_i.，mZ_i，)和(tX_i，tY_i，tZ_i)，根据上述(2)式来设定三个三元联立方程式，求出变换矩阵H1。由此，预先从三维模型中提取多个模型三角形并进行登记，通过对对象物的立体图像进行三维计测，求出多个特征点的空间坐标，从它们中提取比较对象三角形，并通过与图6同样的步骤来对照各三角形，从而求出最佳变换矩阵。

图9表示将IC作为对象物来进行三维的识别处理的例子。

在该识别处理中，将空间内的规定位置作为原点O，来设置空间坐标系XYZ，对三维模型40和识别对象的IC41分别计算出多个特征点的空间坐标，利用该计算结果来进行上述的三角形的对照处理。在本例中，也与前图3的例子同样地，示出处于对应关系的各种三角形中确定的一组(三角形ABC和A′B′C′)。

通过上述识别处理，例如在IC的管脚(reed)的检查中，确定识别对象的IC41的前头管脚的前端部的坐标(相当于图9的点B′的坐标)，进一步，以该坐标为基准来确定其他管脚的前端部的坐标，判断各前端部的高度是否平齐。

另外，在通过机械手进行组装的工程控制中应用上述识别处理的情况下，能够进行如下控制：例如基于点A′、C′的坐标，在识别对象的IC41的上表面内的中央部设定吸附点，并使机械手臂的吸嘴移动到该设定位置。

图10和图11表示应用了上述三维识别处理的部件拣选***的具体例子。

该***用于将散装在支撑台60上的部件51逐个捏起来并运至其他场所进行排列配置，在现场配备有担当拣选作业的机械手30及两台摄像机1A、1B。进一步，该***包括三维识别处理用的图像处理装置20、PLC21(Programmable Logic Controller：可编程逻辑控制器)、机械手控制器22等。

机械手30具备多关节式的臂部32，该多关节式的臂部32在其前端设有手部31，并且，该机械手30与机械手控制器22相连接。机械手控制器22响应来自PLC21的控制信号，来控制臂部32的各关节和手部31的动作，从而决定手部31的位置、方向，把持并移动部件51。

各摄像机1A、1B与图像处理装置20相连接。图像处理装置20的结构与图1所示的结构大致相同，因此省略详细图示，但对于每个摄像机1A、1B分别单独设有图像输入部3、边缘提取部4、图像存储器5。另外，该图像处理装置20设定为，响应来自PLC21的指令，同时向各摄像机1A、1B输出触发信号。

在图像处理装置20中，利用来自各摄像机1A、1B的图像进行三维识别处理，识别出散装部件之中的一个部件，输出表示该部件的位置的三维坐标和表示姿态的角度数据。PLC21执行利用从图像处理装置20输出的数据来计算出表示机械手30的手部31的位置和姿态的数据的运算，并将运算所得的数据提供给机械手控制器22。在机械手控制器22中，根据PLC21提供的数据，决定机械手的臂部32及手部31的动作量，根据该结果来控制各部31、32。由此，能够捏起由图像处理装置20识别出的部件，并将其搬运至规定的场所。

在本实施例中，预先从识别对象的部件51的三维模型中提取规定数量的特征点，根据这些特征点来设定模型三角形，并登记在图像处理装置20中。另外，在拣选处理中，利用各摄像机1A、1B所拍摄的图像来求出多个特征点的三维坐标之后，将根据这些特征点设定的比较对象三角形与模型三角形进行对照，由此，确定出在表示模型特征点群与处理对象的特征点群的关系上最佳的变换矩阵。进一步，基于所确定的变换矩阵，计算出表示拣选对象的部件的位置和姿态的数据。

图12将特征点的具体例与处于对应关系的三角形中的确定的一组(三角形ABC与A′B′C′)一起进行表示。

在本实施例中，将在空间坐标系XYZ中以规定姿态配设识别对象的部件51的三维模型50时各角部的顶点坐标作为特征点，在由这些特征点构成的三角形中，将各边长度处于规定数值范围(与第1实施例同样，可以由用户来输入)内的三角形登记为模型三角形。另一方面，对于识别对象的部件51，将来自摄像机1A、1B的图像变换为边缘图像之后，从各边缘图像中确定相当于角部顶点的边缘构成点，根据对这些边缘构成点求出的三维坐标来设定比较对象三角形。另外，对于比较对象三角形，也限定为各边长度处于与模型三角形同样的数值范围内的三角形。

此外，为了确定角部的顶点，例如只要将边缘图像中的各边缘构成点所表示的轮廓线划分为直线、曲线等的段(segment)，求出各段的交点即可。另外，在如图12的例子所示那样识别对象物的轮廓线为直线形状的情况下，可以对于各边缘构成点，分别沿着与浓度梯度方向垂直的方向设定假想的直线，并按照方向近似的各组分别合并这些直线，然后求出这些直线的交点作为特征点。

但是，特征点并不仅限于边缘的交点。例如，只要是具有曲线状轮廓形状的对象物，就可以提取曲线状的段，基于曲率的变化量，来提取从梯度缓的部位度变化为陡峭的部位的点等，将其作为特征点。

也可以利用实物部件51的模型并执行与上述相同的三维计测处理来求出三维模型侧的特征点，但是，在有部件51的CAD数据的情况下，也可以从表示该CAD数据的三维的轮廓线中提取同样的特征点

在本实施例中，由于拍摄多个识别对象物，所以与只将一个对象物作为处理对象的情况相比，从各摄像机1A、1B的图像中提取较多的边缘构成点，但是，将特征点的范围缩减至对象物特征的轮廓形状的构成点，从而能够减少运算负担。另外，在模型三角形和比较对象三角形的设定中，也根据对象物的形状对三角形的长度、角度等设定条件，从而能够缩减三角形的个数而进行高精度的识别处理。但是，如果缩减特征点的个数，则很难决定与三角形的设定相关的条件，因此，在没有专门技术(know-how)的用户进行处理的情况下、或在频繁改变识别对象物的情况下，可以不缩减特征点的范围，而将全部边缘构成点作为特征点。

下面，利用图13，针对为了控制机械手30的动作而在图像处理装置20执行的处理流程进行说明。

首先，在ST501中，接受来自PLC21的指令，向各摄像机1A、1B输出触发信号，使各摄像机1A、1B进行拍摄。接着，在ST502中，以从各摄像机1A、1B输入的图像为对象来提取特征点。在此，通过各自的边缘提取部4将各输入图像变换为边缘图像之后，确定多个上述角部的顶点等的边缘构成点，可以将这些点设定为特征点。或者可以将全部边缘构成点作为特征点。

在此，如果提取了特征点，则ST503为“是”，在ST504中，对所提取的特征点计算三维坐标。具体地说，将各特征点在图像之间进行对应关联之后，对于每个所对应关联的点的组，执行将各点的坐标代入基于三角测量原理的公式的运算，由此，计算出与这些点所对应的三维坐标。

然后，在ST505中，以计算出的各三维坐标所示的特征点群为对象，执行提取比较对象三角形的处理。进一步，在ST506中，按顺序使比较对象三角形与预先登记的模型三角形对应关联，对于每个对应关联的组合，执行计算变换矩阵及该矩阵的拟合优度的处理，从而对处理对象的特征点群确定最佳变换矩阵H1(拟合优度最大时的变换矩阵)。该ST505的详细流程，除了执行同次坐标变换的运算式((2)式)这点之外，是与之前图6或图7、图8所示的处理大致相同的流程。

如果确定了最佳变换矩阵H1，则在ST507中，对三维模型50利用变换矩阵H1来变换预定的代表点，将该变换后的坐标作为拾取对象(pick upobject)的部件的位置数据。进一步，在ST508中，利用所确定的变换矩阵H1的各成分，计算出同次坐标变换的参数θ、φ、

，将这些组合作为拾取对象的部件的姿态数据。

对于三维模型50的代表点，可以设定特征点中的一个点(例如图12的点A)，但并不仅限于此，也可以将边缘构成点以外的点(例如图12的三角形ABC的重心)作为代表点。

在ST509中，将在ST507中计算出的位置数据和基于在ST508中计算出的各角度θ、φ、

的姿态数据输出至PLC21。在接收了该输出的PLC21中，计算出控制机械手用的数据，并将其输出至机械手控制器22。在机械手控制器22中，基于PLC21所供给的数据来控制机械手30的动作，从而使机械手30把持所识别的拾取对象的部件，并将其搬运至拍摄对象区域外。当该搬运处理结束，从机械手控制器22向PLC21通知该搬运处理结束时，PLC21向图像处理装置20指示输出下一个摄像用的触发信号。

在图像处理装置20中，如果数据的输出结束，则再次回到ST501，响应来自PLC21的指示，对上述部件搬运后的拍摄对象区域进行拍摄。进一步，执行ST502以下的处理，求出下一个拣选对象的部件的位置和旋转角度并输出至PLC21。

以下也同样地重复ST501～509，对散装的部件进行逐个识别，基于该识别结果来控制机械手30进行搬运。其结果是，如果达到全部部件被搬运并且处于拍摄所得的图像中不含特征点的状态，则ST503为“否”，结束处理。

此外，在因识别对象的部件51散装位置从摄像机1A、1B的视野中偏移等而导致没有生成部件51全体像的情况下，有可能最大的拟合优度也是非常低的值。为了对应这种情况，在最大的拟合优度低于规定的基准值的情况下，停止部件51的识别处理而执行出错处理。该点在先前的二维的识别处理中也同样。

在上述说明中，在ST506中，将拟合优度最大时的变换矩阵确定为最佳变换矩阵H1。变换矩阵的拟合优度越大，则利用该变换矩阵来变换模型特征点群时的变换后的各点与处理对象的特征点群相对应的频度越增加，因此，通过选择拟合优度最大时的变换矩阵，能够从散装的多个部件51中识别出与模型特征点群对应的点最多的部件51。换言之，能够识别露出程度最大的部件51，进一步换言之，能够识别对机械手30来说最容易拣取的部件51。

但是，能够被确定为最佳变换矩阵H1的并不仅限于上述。例如，可以将拟合优度超过规定的基准值的变换矩阵作为全部变换矩阵H1的候補来进行拾取，利用这些变换矩阵来变换三维模型的代表点的坐标，将变换后的Z坐标最高时的变换矩阵作为最佳变换矩阵H1。此时，能够识别散装的部件51中处于最上面的部件。

另外，在上述***中，根据确定一个对象物(部件51)的需要，从对每个组合求出的变换矩阵中确定一个最佳的变换矩阵，但并不仅限于此，也可以根据用途来确定多个拟合优度超过基准值的变换矩阵，对所确定的一个变换矩阵识别一个对象物。这样一来，在使多个机械手30进行作业的情况下，也能够分别单独地识别各机械手30应该把持的部件51。

另外，三维的识别处理的适用范围并不仅限于上述利用立体图像的计测处理结果。例如，也能够适用于利用如下方法的三维计测的结果，即，使变位传感器在规定的范围扫描，在多个地点计测到达对象物的距离。

在上述二维、三维的图像处理的实施例中，将模型和处理对象的特征点作为边缘构成点，但特征点并不仅限于此。例如，在将具有特定色彩的区域作为处理对象的情况下，可以将显现其色彩的像素作为特征点进行提取。

Claims (10)

1.一种识别处理方法，通过计算机执行，用于基于分布在平面或空间内的识别对象物的特征点群和预先登记的模型特征点群之间的对应关系，对上述识别对象物进行识别，其特征在于，执行以下步骤：

第一步骤，在将上述模型特征点群中所包含的各特征点分别以特定数n(n≥2)组合得到的各组合中，将至少一对特征点之间的距离满足预定的基准值的组合设定为模型组合，并将用于确定所设定的模型组合的信息登记到存储器中；

第二步骤，在将上述识别对象物的特征点群中所包含的各特征点分别以上述特定数n组合得到的各组合中，将至少一对特征点之间的距离满足上述基准值的组合设定为比较对象的组合；

第三步骤，按顺序使根据上述存储器的登记信息所确定的模型组合和第二步骤中设定的比较对象的组合对应关联，对于每个对应关联的组合，求出将其中一个组合的各特征点变换为另一个组合的各特征点时的变换参数，进而，针对该变换参数，求出对于上述模型特征点群和识别对象物的特征点群之间的关系的拟合优度；

第四步骤，根据在上述第三步骤中求出的各拟合优度，确定用于表示模型特征点群和识别对象物的特征点群之间的对应关系的变换参数。

2.如权利要求1所述的识别处理方法，其特征在于，

上述处理对象的特征点群是上述识别对象物的图像所包含的特征点的集合，

在上述第一步骤和第二步骤中，将上述特定数n设定为2以上。

3.如权利要求1所述的识别处理方法，其特征在于，

上述处理对象的特征点群是对上述识别对象物进行三维计测处理所求出的空间内的特征点的集合，

在上述第一步骤和第二步骤中，将上述特定数n设定为3以上。

4.如权利要求1～3中任一项所述的识别处理方法，其特征在于，在上述第一步骤和第二步骤中，将上述特定数n设定为3，设定构成三角形的特征点的组合，其中，该三角形的各边的长度分别取规定的上限值和下限值之间的值。

5.如权利要求4所述的识别处理方法，其特征在于，在上述第一步骤和第二步骤中，设定构成正三角形的特征点的组合，其中，该正三角形的一边的长度取上述上限值和下限值之间的值。

6.如权利要求1～3中任一项所述的识别处理方法，其特征在于，在上述第一步骤和第二步骤中，将上述特定数n设定为3，设定构成三角形的特征点的组合，其中，该三角形的一边的长度取规定的上限值和下限值之间的值，其两端的角度分别在预定的基准角度范围内。

7.如权利要求1～3中任一项所述的识别处理方法，其特征在于，在上述第一步骤和第二步骤中，将上述特定数n设定为3，设定构成三角形的特征点的组合，其中，该三角形的两边的长度分别取规定的上限值和下限值之间的值，上述两边所成的角度在预定的基准角度范围内。

8.如权利要求1所述的识别处理方法，其特征在于，在上述第三步骤中，对于对应关联的模型组合和比较对象的组合求出了上述变换参数之后，利用该变换参数对模型特征点群或识别对象物的特征点群进行变换，计算出用于表示变换后的特征点对应于未被变换的特征点群的频度的数值，并将该数值作为上述变换参数的拟合优度。

9.一种图像处理装置，对识别对象物的图像进行处理，从而针对该识别对象物，获取分布在平面或空间内的多个特征点，基于这些特征点群和预先登记的模型特征点群之间的对应关系，对识别对象物进行识别，其特征在于，具有：

输入单元，其针对上述特征点群中的特征点之间的距离，输入规定的基准值；

模型设定单元，其在将上述模型特征点群中的各特征点分别以特定数n(n≥2)组合得到的各组合中，将至少一对特征点之间的距离满足上述基准值的组合设定为模型组合；

登记处理单元，其向存储器登记用于确定上述模型设定单元所设定的模型组合的信息；

组合设定单元，其在将从上述输入图像中提取的特征点分别以上述特定数n组合得到的各组合中，将至少一对特征点之间的距离满足上述基准值的组合设定为比较对象的组合；

对照处理单元，其按顺序使根据上述存储器的登记信息所确定的模型组合和上述组合设定单元所设定的比较对象的组合对应关联，对于每个对应关联的组合，求出将其中一个组合的各特征点变换为另一个组合的各特征点时的变换参数，进而，针对该变换参数，求出对于上述模型特征点群和识别对象物的特征点群之间的关系的拟合优度；

确定单元，其根据上述对照处理单元所求出的各拟合优度，确定用于表示模型特征点群和识别对象物的特征点群之间的对应关系的变换参数。

10.一种图像处理装置，分别从为了拍摄相同形状的多个识别对象物而设置的多个摄像装置输入图像，并利用各输入图像进行三维计测处理，从而针对各识别对象物，获取分布在空间内的多个特征点的空间坐标，基于这些特征点群和预先登记的模型特征点群之间的对应关系，分别单独地识别上述多个识别对象物，其特征在于，具有：

输入单元，其针对上述特征点群中的特征点之间的距离，输入规定的基准值；

模型设定单元，其在将上述模型特征点群中的各特征点分别以特定数n(n≥3)组合得到的各组合中，将至少一对特征点之间的距离满足上述基准值的组合设定为模型组合；

登记处理单元，其向存储器登记用于确定上述模型设定单元所设定的模型组合的信息；

组合设定单元，其在将通过上述三维计测所获取的特征点分别以上述特定数n组合得到的各组合中，将至少一对特征点之间的距离满足上述基准值的组合设定为比较对象的组合；

对照处理单元，其按顺序使根据上述存储器的登记信息所确定的模型组合和上述组合设定单元所设定的比较对象的组合对应关联，对于每个对应关联的组合，求出将其中一个组合的各特征点变换为另一个组合的各特征点时的变换参数，进而，针对该变换参数，求出对于上述模型特征点群和识别对象物的特征点群之间的关系的拟合优度；

物体识别单元，其在上述对照处理单元所求出的各拟合优度中至少确定一个超过规定的基准值的拟合优度，针对所确定的每个拟合优度，利用与该拟合优度对应的变换参数来识别一个识别对象物。

Images