CN102165488A - 用于选择用于分类输入数据的特征的信息处理设备 - Google Patents

Abstract

提供了一种信息处理设备，用于在从输入数据提取出的多个特征量中选择对所述输入数据进行分类要使用的特征量。所述信息处理设备包括：生成部件，用于通过组合所述多个特征量来生成多个组合；第一计算部件，用于针对所述多个组合中的各个组合，计算用于评价针对所述输入数据的分类的适合性的第一评价值；以及第二计算部件，用于基于所述第一评价值，针对所述多个特征量中的各个特征量，计算用于评价针对所述输入数据的分类的适合性的第二评价值。

Description

用于选择用于分类输入数据的特征的信息处理设备

技术领域

本发明涉及在从输入数据项提取出的多个特征量中选择对这些输入数据项进行分类要使用的特征量的信息处理设备，并且涉及信息处理方法等。

背景技术

对于外观检查等用的信息处理设备，存在以下方案：从检测对象物体的所拍摄图像中提取诸如像素值的平均值和方差等的各种特征量的组，并且判断检查对象物体有无缺陷(分成无缺陷产品和缺陷产品这两类)。然而，当使用了所有这些大量的特征量时，特征的维数变为高阶。发生了在特定维数中出现的(诸如维数灾难(curse of dimensionality)等的)问题、或者由提取冗余的特征量所引起的处理时间增加。

因此，正注重以下方案：通过选择适当的特征量来防止容易发生在特定维数中出现的问题，并且提高了运算处理的速度。

在下文，将说明非专利文献1所公开的方案。在非专利文献1中，公开了以下方案：针对各个特征量确定用于评价分离度的评价值，并且基于这些评价值按从更优的评价值开始的顺序选择特征量。具体地，该方案是使用贝叶斯错误概率(Bayes-error-probability)估计值、或者类内方差与类间方差的比来确定选择标准的特征选择方案。

将详细说明贝叶斯错误概率估计值。例如，在两类问题的情况下，当由w₁和w₂来表示两个类、并且由xO＝[x₁，x₂，…，x_k，…，x_N]来表示观察到的特征时，由P(w₁|x_k)和P(w₂|x_k)来分别表示x_k属于w₁和w₂的概率。在这种情况下，通过以下公式表示贝叶斯错误概率估计值。

表达式1

Bayes＝∫min{P(w₁|x_k)，P(w₂|x_k)}dx_k  (公式1)

针对各个特征量确定贝叶斯错误概率估计值。贝叶斯错误概率估计值越低表示越适合用来将两个类彼此分离。因此，可以按贝叶斯错误概率估计值的升序来选择特征量。

接着，将详细说明类内方差与类间方差的比。例如，在两类问题的情况下，当由w₁和w₂来表示两个类、并且由xO＝[x₁，x₂，…，x_k，…，x_N]来表示观察到的特征时，确定与特征量x_k相关联的类内方差与类间方差的比。另外，由A_i来表示属于类w_i的图案的集合。由n_i来表示A_i中包括的图案的数量。由m_i来表示属于类w_i的图案的x_k的平均值。此外，由n来表示所有图案的数量，并且由m来表示所有图案的x_k的平均值。在这种情况下，

表达式2

类内方差

和类间方差

通过以下公式来表示表达式2。

表达式3

${\mathrm{\σ}}_w^2=\frac{1}{n}\underset{i=\mathrm{1,2}}{\mathrm{\Σ}}\underset{x_k\∈A_i}{\mathrm{\Σ}}{(x_k-m_i)}^2$ (公式2)

表达式4

${\mathrm{\σ}}_B^2=\frac{1}{n}\underset{i=\mathrm{1,2}}{\mathrm{\Σ}}{n}_i{(m_i-m)}^2$ (公式3)

可以通过以下表达式来表示类内方差与类间方差的比。

表达式5

${\mathrm{\σ}}_B^2/{\mathrm{\σ}}_W^2$

以这种方式，确定了类内方差与类间方差的比，并且按类内方差与类间方差的比的降序来选择特征量。此外，在非专利文献2中，公开了以下方案：生成两个特征量的组合，在二维特征空间中评价这些两个特征量的组合，并且以两个为单位来选择特征量。描述为如下：使用生成两个特征量的组合的方案，可以按比以一个为单位来选择特征量的精度高的精度来选择特征。

相关技术文献

非专利文献

非专利文献1：

石井健一郎，上田修功，前田英作，村瀬洋，“わかりやすいパタ一ン認識”，オ一ム社，東京，1998.

非专利文献2：

Trond Hellem Bo and Inge Jonassen，″New feature subset selection procedures for classification of expression profiles，″Genome Biology 2002，volume 3(vol.3)，no.4：research.

发明内容

发明要解决的问题

然而，在非专利文献1公开的方案中，使用以上所述的贝叶斯错误概率估计值或者一维的类内方差与类间方差的比来以一个为单位选择特征，并且没有考虑到组合内的特征量之间的兼容性来评价这些特征量。因此，结果，该方案存在以下问题：导致容易发生在特定维数中出现的问题，并且提取冗余的特征量导致运算处理速度下降。同样，在非专利文献2所公开的方案中，预先设置各组合中包括的特征量的数量，并且选择特征量的组合。没有考虑到组合内的特征量之间的兼容性来评价这些特征量。

用于解决问题的方案

根据本发明的信息处理设备是一种信息处理设备，用于在从输入数据项提取出的多个特征量中选择对所述输入数据项进行分类要使用的特征量，所述信息处理设备包括：生成部件，用于通过生成从所述多个特征量中选择的特征量的组合来生成多个组合；第一计算部件，用于针对所述多个组合中的各个组合，计算用于评价针对所述输入数据项的分类的适合性的第一评价值；以及第二计算部件，用于基于所述第一评价值，针对所述多个特征量中的各个特征量，获得用于评价针对所述输入数据项的分类的适合性的第二评价值。

发明的效果

考虑到以上问题而做出本发明。本发明的目的是利用用于在从输入数据项提取出的多个特征量中选择对这些输入数据项进行分类要使用的特征量的信息处理设备，考虑到组合内的特征量之间的兼容性来选择适合于输入数据项的分类的特征量。

附图说明

图1是示出根据第一实施例的信息处理设备的结构的图。

图2是示出第一实施例中信息处理设备101所进行的信息处理的流程图。

图3包括示出作为进行了表面粗加工的橡胶板的表面的拍摄到并切出的图像的、具有128×128个像素的灰度图像的示例的图。

图4是示出第一实施例中提取多个特征量的具体处理的图。

图5是示出在n＝2的情况下计算第二评价值的概念的图。

图6是示出在n＝3的情况下计算第二评价值的概念的图。

图7是示出第一实施例中计算分数的处理的流程图的图。

图8是示出第二实施例中信息处理设备101所进行的信息处理的流程图。

图9是示出第二实施例中计算分数的处理的流程图的图。

图10是示出第三实施例中信息处理设备101所进行的信息处理的流程图。

图11是示出第三实施例中计算第二评价值的处理的概述的图。

图12是示出第四实施例中的处理的流程的图。

图13是示出第四实施例中步骤1203的处理的详细内容的图。

图14是示出标绘了属于一类w₁的图案的特征空间的图。

附图标记

101 信息处理设备

102 检查对象物体

103 摄像设备

具体实施方式

第一实施例

在下文，将参考附图来详细说明第一实施例。

图1是示出根据第一实施例的信息处理设备的结构的图。

附图标记101表示本实施例中进行外观检查用的信息处理的信息处理设备。信息处理设备101包括CPU(中央处理单元)、RAM(随机存取存储器)和HDD(硬盘驱动器)等。CPU执行外观检查用的计算机程序。在HDD和RAM中，存储有外观检查用的计算机程序以及数据项。

附图标记102表示本实施例中作为外观检查对象的检查对象物体。检查对象物体102是例如工业产品中使用的橡胶板。一些检查对象物体102的橡胶板的表面存在凹凸或伤痕。通过外观检查检测这些凹凸或伤痕，并且将橡胶板分类成无缺陷产品和缺陷产品。

附图标记103表示本实施例中用于拍摄检查对象物体102的图像的摄像设备。使用能够获得检查对象物体102等的表面的视频图像(图像图案)的摄像机来配置摄像设备103。摄像设备103将所获得的视频图像发送至信息处理设备101。信息处理设备101使用发送来的视频图像进行外观检查用的信息处理。

附图标记104表示用于显示外观检查的结果的显示设备。使用监视器等来配置显示设备104。显示设备104显示已经从信息处理设备101发送来的外观检查的结果。

图2是示出本实施例中信息处理设备101所进行的信息处理的流程图。在本实施例中，将说明以下的外观检查：使用检查对象物体102的所拍摄图像来判断部件有无缺陷(分类成无缺陷产品和缺陷产品这两类)。

在本实施例中的外观检查时，存在分类成无缺陷产品和缺陷产品的两类。根据输入图像图案生成多个分层图像。从所生成的多个分层图像中提取多个特征量。从提取出的多个特征量中选择适合于外观检查的特征量。

在下文，将说明图2所示的流程的概述。注意，由信息处理设备101来进行图2所示的流程的各处理。此外，以下将说明各处理的详细内容。

(步骤201)在步骤201中，从摄像设备103获得的输入图像图案中提取外观检查要使用的多个特征量。

(步骤202)在步骤202中，信息处理设备101用作用于生成多个组合的生成部件。信息处理设备101使用在步骤201中已经提取出的多个特征量来生成n(n≥2)个特征量的组合。

(步骤203)在步骤203中，信息处理设备101用作第一计算部件，该第一计算部件用于计算用于评价针对输入图像数据项的分类的适合性的第一评价值。针对在步骤202中已经设置的n个特征量的多个组合中的每个组合分别计算第一评价值。本实施例中的第一评价值表示特征量适合于外观检查。在这种情况下，针对各个特征量，确定该特征量的第一评价值最优的特征量的组合(n个特征量的组合)。

(步骤204)在步骤204中，信息处理设备101用作第二计算部件。信息处理设备101将多个第一评价值彼此进行比较，由此计算用于评价针对输入图像数据项的分类的适合性的第二评价值。

(步骤205)在步骤205中，使用第二评价值来计算分数(score)，并且确定特征选择标准。

(步骤206)在步骤206中，此外，选择分数最优的特征量、和在步骤204中作为包括该特征量的组合而已经评价了的特征量的组合(n个特征量的组合)。针对除所选择的特征量以外的特征量，使用特征选择标准来重复特征选择。

在下文，将说明图2所示的各处理的详细内容。

步骤201的处理的详细内容(提取多个特征量)

将说明步骤201的处理的详细内容。

图3包括作为用作检查对象物体102的例子的进行了表面粗加工的橡胶板的表面的所拍摄到并切出的图像的、具有128×128个像素的灰度图像的示例的图。

在图3的(a)～(e)部分中示出了正常橡胶板的表面。在图3的(f)～(j)部分中示出了异常橡胶板的表面。在这种情况下，将诸如(a)～(e)部分所示的图像图案等的图像图案看作为正常图案。将诸如(f)～(j)部分所示的图像图案等的图像图案看作为异常图案。接着，给出异常图案的类型。(f)部分和(g)部分示出存在黑点形式的不一致的图案。(h)部分示出整体存在渐变的图案。此外，(i)部分示出存在白点形式的不一致的图案。(j)部分示出一部分的对比度低的图案。在该步骤中，计算表示图案的这些特征的多个特征量。

图4是示出本实施例中提取多个特征量的具体处理的图。

在本实施例中，尽管使用pn个图像图案作为输入图像图案，但为了强调缺陷，对这些图像图案使用作为用于将图案变换成频域中的图案的方案的小波变换。

特别地，图4示出作为一种类型的小波变换的Haar小波变换。首先，针对变换之前的输入图案，使用四种滤波器来计算内积。结果，生成了垂直方向高频成分提取图案(HL)、对角方向高频成分提取图案(HH)、水平方向高频成分提取图案(LH)和低频成分提取图案(LL)这四种图案。将具体给出用于生成垂直方向高频成分提取图案的方法。如图4所示，对于输入图案的四个像素，

表达式6

和

的内积a+b-c-d

将表达式6看作为垂直方向高频成分提取图案的像素的值。在不对已经进行了计算的像素进行计算的情况下，针对整个图像区域以4个像素为单位进行该方式的计算，由此生成垂直方向高频成分提取图案。对于对角方向高频成分提取图案，

表达式7

$\left[\begin{array}{cc}1& -1\\ -1& 1\end{array}\right]$

使用表达式7作为滤波器。对于水平方向高频成分提取图案，

表达式8

$\left[\begin{array}{cc}1& -1\\ 1& -1\end{array}\right]$

使用表达式8作为滤波器。对于低频成分提取图案，

表达式9

$\frac{1}{4}\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right]$

使用表达式9作为滤波器。

结果，生成了分辨率被减半的这四类图案。此外，从低频成分提取图案开始对这四类图案进行下一级的Haar小波变换，由此生成分辨率被进一步减半的四类图案。以这种方式，以分层方式将图案的频率变换成更低的频率。变换之前的图案包括128×128个像素。因此，通过第一次变换生成了具有64×64个像素的图案。通过第二次变换生成了具有32×32个像素的图案。之后，生成了具有16×16个像素的图案、具有8×8个像素的图案、具有4×4个像素的图案和具有2×2个像素的图案。通过最后的第七次变换生成了具有1×1个像素的图案。换言之，最后，获得了具有1×1个像素的垂直方向高频成分提取图案、具有1×1个像素的对角方向高频成分提取图案、具有1×1个像素的水平方向高频成分提取图案和具有1×1个像素的低频成分提取图案。因此，包括变换之前的图案，获得了1+4×7＝29种图案。

对于以这种方式已经获得的各个分层图案，分别提取诸如所有像素值的最大值、平均值、方差、峰度、斜度和几何平均值等的六种宏观特征量。作为宏观特征量，通过公式5、6、7、8和9来分别表示像素值的平均值、方差、峰度、斜度和几何平均值。注意，各图像的大小是在垂直方向上为a个像素并且在水平方向上为b个像素，并且由p(i，j)来表示该图像的作为垂直方向的第i个像素值和水平方向上的第j个像素值的像素值。在构造p的直方图的情况下，针对各个区间(bin)，由k、X_k和M_k来分别表示编号、值和频率。

表达式10

$\mathrm{mean}\left(p\right)=\frac{1}{\mathrm{ab}}\underset{i=1}{\overset{a}{\mathrm{\Σ}}}\underset{j=1}{\overset{b}{\mathrm{\Σ}}}p(i,j)$ (公式5)

表达式11

$\mathrm{var}\left(p\right)=\frac{1}{\mathrm{ab}}\underset{i=1}{\overset{a}{\mathrm{\Σ}}}\underset{j=1}{\overset{b}{\mathrm{\Σ}}}{(p(i,j)-\mathrm{mean}\left(p\right))}^2$ (公式6)

表达式12

$\mathrm{Kw}\left(p\right)=\frac{\underset{k}{\mathrm{\Σ}}{M}_k{(X_k-\mathrm{mean}\left(p\right))}^4}{n\left(\mathrm{var}{\left(p\right)}^2\right)}$ (公式7)

表达式13

$\mathrm{Sk}\left(p\right)=\frac{\underset{k}{\mathrm{\Σ}}{M}_k{(X_k-\mathrm{mean}\left(p\right))}^3}{n\left(\mathrm{var}{\left(p\right)}^{1.5}\right)}$ (公式8)

表达式14

$\mathrm{prod}\left(p\right)={\left(\underset{i=1}{\overset{a}{\mathrm{\Π}}}\underset{j=1}{\overset{b}{\mathrm{\Π}}}p(i,j)\right)}^{\frac{1}{\mathrm{ab}}}$ (公式9)

从没有进行Haar小波变换的变换之前的输入图案、和作为已经进行了Haar小波变换的各个分层图像的29种图像中提取最大值和由公式5～9所表示的六种特征量。换言之，从总共29种图像中的每种图像提取六种宏观特征量。结果，针对各个输入图案提取出29×6＝174(以下称为“N”)个特征量。注意，从用作为输入图案的pn个图案中的每个图案提取这N个特征量。

这里，说明了使用Haar小波变换的方案。然而，可以使用诸如使用其它的小波变换、边缘提取、傅立叶变换和Gabor变换的方案等的其它变换方案。此外，可以使用诸如对比度、通过从最大值中减去最小值所获得的值和标准偏差等的其它统计量作为宏观特征量。利用上述处理，可以从输入图像图案中提取出多个特征量。

步骤202：生成n个特征量的组合

在步骤202中，不是以一个为单位选择特征量，而是通过生成n个特征量的组合而以n个为单位选择特征量。可以根据用户指示等确定各组合中包括的特征量的数量n。可选地，可以针对各个检查对象物体102预先设置各组合中包括的特征量的数量n。当已经从输入图像图案提取出的特征量的数量为N时，生成了n个特征量的组合，由此生成_NC_n种组合。

步骤203：针对n个特征量的组合分别计算第一评价值

将说明步骤203的详细内容。在步骤203中，针对在步骤202中已经生成的_NC_n种组合，分别计算第一评价值。

本实施例中的第一评价值是用于评价n个特征量的组合是否适合于针对输入数据项的分类的判断的评价值。更具体地，第一评价值表示特征量的组合作为在判断检查对象物体102是无缺陷产品还是缺陷产品时要使用的特征量的组合是否适合。

在本实施例中与无缺陷产品和缺陷产品这两类有关的两类问题的情况下，将n维贝叶斯错误概率估计值确定为第一评价值的一个例子。这里，由w₁和w₂中的相应一个来表示这两类中的各类，并且由x＝[x₁，…，x_n]^t来表示具有n个特征的矢量。在这种情况下，生成了x属于w₁和w₂中的每一个的概率的分布、即针对w₁和w₂中的每一个的n维直方图。由P(w₁|x)和P(w₂|x)中的相应一个来表示各个直方图。因而，通过以下公式来表示贝叶斯错误概率估计值。

表达式15

Bayes＝∫min{P(w₁|x)，P(w₂|x)}dx    (公式10)

针对n个特征量的组合分别以这种方式计算概率估计值。这里，关于计算出的贝叶斯错误概率估计值，与一维情况相同，可以认为组合的值越低，该组合就越适合于分成无缺陷产品或缺陷产品的分类。

注意，尽管在以上说明中描述了两类问题的情况，但可以将贝叶斯错误概率估计值应用于多个类。

接着，作为第一评价值的另一例子，还将说明代替贝叶斯错误概率估计值而使用类内方差与类间方差的比的情况。例如，在两类问题的情况下，当由w₁和w₂来表示这两类、并且由x＝[x₁，…，x_n]^t来表示观察到的特征时，确定与特征矢量x相关联的类内方差与类间方差的比。这里，由A_i来表示属于类w_i的图案的组合。由pn_i来表示A_i中包括的图案的数量。由m_i来表示属于类w_i的图案的x的平均值。此外，由pn来表示所有图案的数量，并且由m来表示所有图案的x的平均矢量。因此，

表达式16

类内方差和类间方差

可以通过以下公式来表示表达式16。

表达式17

${\mathrm{\σ}}_W^2=\frac{1}{\mathrm{pn}}\underset{i=\mathrm{1,2}}{\mathrm{\Σ}}\underset{x\∈A_i}{\mathrm{\Σ}}{(x-m_i)}^t(x-m_i)$ (公式11)

表达式18

${\mathrm{\σ}}_B^2=\frac{1}{\mathrm{pn}}\underset{i=\mathrm{1,2}}{\mathrm{\Σ}}{\mathrm{pn}}_i{(m_i-m)}^t{(m}_i-m)$ (公式12)

因而，可以通过以下表达式来表示类内方差与类间方差的比。

表达式19

${\mathrm{\σ}}_B^2/{\mathrm{\σ}}_W^2$

以这种方式，确定了类内方差与类间方差的比，并且将该比看作为第一评价值。

注意，尽管在以上说明中描述了两类问题的情况，但可以将类内方差与类间方差的比应用于多个类。在本实施例中，使用可以评价类彼此的分离度的贝叶斯错误概率估计值或类内方差与类间方差的比，作为第一评价值。然而，可以使用可以评价针对分类的适合性的任何评价值。

步骤204：根据第一评价值之间的比较结果(判断结果)计算 第二评价值

在步骤204中，将多个特征量的组合的第一评价值彼此进行比较，由此针对多个特征量的每个特征量计算用于评价该特征量是否适合于输入数据项的分类的第二评价值。

在下文，将详细说明第二评价值的计算。

首先，关注一个特征量。在包括该特征量的组合中，确定第一评价值最优的组合。当使用贝叶斯错误概率估计值作为第一评价值时，确定贝叶斯错误概率估计值最低的特征量的组合。

然后，对第一评价值最优的组合中包括的各个特征量的第二评价值增加预定值。然后，顺次关注其它的特征量，并且对各个特征量的第二评价值增加预定值。以这种方式，关注所有的特征量，并且针对各个特征量计算已经增加了预定值的第二评价值作为和。

图5是示出在n＝2的情况下计算第二评价值的概念的图。

图6是示出在n＝3的情况下计算第二评价值的概念的图。

首先，将参考图5来说明在n＝2的情况下计算第二评价值的概念。在图5中，说明了存在特征量A、B、C和D这四种特征量的情况作为例子。

首先，当关注特征量A时，在特征量A和其它特征量中的一个特征量的组合中，即在特征量A和B的组合、特征量A和C的组合以及特征量A和D的组合中，第一评价值最低(Bayes＝0.08)的组合中包括的特征量(适合于分成无缺陷产品和缺陷产品的分类的特征量)是特征量B。因此，认为与特征量A和其它特征量中的一个特征量的组合中包括的其它特征量相比，特征量B更适合于分成无缺陷产品和缺陷产品的分类。因而，对特征量B的第二评价值增加值1。

同样，当关注特征量B时，认为与特征量B和其它特征量中的一个特征量的组合中包括的特征量中的其它特征量相比，特征量C更适合于分成无缺陷产品和缺陷产品的分类(Bayes＝0.003)。因而，对特征量C的第二评价值增加值1。

当对特征量C进行与上述处理相同的处理时，对特征量B的第二评价值增加值1。最后，当关注特征量D时，特征量B和D的组合的第一评价值以及特征量D和C的组合的第一评价值最低(Bayes＝0.05)。换言之，关于特征量D，存在最适合于分成无缺陷产品和缺陷产品的分类的、特征量D和B的组合以及特征量D和C的组合这两种组合。因此，对特征量B和C的第二评价值分别增加值0.5。此外，可以通过结合特征量D选择特征量B和C来生成三个特征量的组合。利用上述处理，特征量A、B、C和D的第二评价值分别变为0、2.5、1.5和0。换言之，特征量被判断为最适合于分类的特征量的次数越多，第二评价值越高。

接着，将参考图6来说明在n＝3的情况下计算第二评价值的概念。基本上，进行与在n＝2的情况下进行的处理相同的处理。当关注特征量A时，如图6所示，在特征量A和其它特征量中的两个特征量的组合中、最适合于分成无缺陷产品或缺陷产品的分类的组合中包括的特征量是特征量D和特征量F(Bayes＝0.001)。因此，对特征量D的第二评价值增加值1，并且对特征量F的第二评价值增加值1。对特征量的所有组合进行与上述处理相同的处理，由此计算所有特征量的第二评价值。

步骤205：使用基干第二评价值的函数来计算分数，并确定 选择标准

在步骤205中，使用基于第二评价值的函数(称为“Ln”)来确定作为用于选择特征量的标准要使用的分数(score)。在这种情况下，在本实施例中，使用诸如以下公式等的函数来计算分数。

score＝Ln  (公式13)然而，可以使用分数随着第二评价值而增加的任何函数。注意，关于分数的计算，针对N个(作为要选择的对象的特征量的种类)特征量分别确定分数。

步骤206：以n个为单位选择特征量

在步骤206中，使用在步骤205中已经确定的分数最优即分数最高的特征量、以及在步骤204中作为包括该特征量的组合而已经进行了评价的特征量的组合，来选择n个特征量。针对除所选择的特征量以外的特征量，使用上述的特征选择标准来重复特征选择。

例如，在图5所示的例子中，特征量A、B、C和D的第二评价值分别变为0、2.5、1.5和0。因此，首先选择第二评价值最高的特征量B。

此外，在生成特征量B和其它特征量中的一个特征量的组合时，同时选择第一评价值最优的组合中的特征量C。

接着，选择第二评价值次高的特征量C。然而，由于已经选择了特征量C，因此选择下一特征量。当生成特征量C和其它特征量中的一个特征量的组合时，选择第一评价值最优的组合中的特征量B。然而，由于已经选择了特征量B，因此选择下一特征量。由于下一最高的第二评价值为0，因此按第一评价值、即贝叶斯错误概率估计值的升序选择特征量。当关注特征量A时，最低的第一评价值是0.08，即特征量A和B的组合的第一评价值。此外，当关注特征量D时，最低的第一评价值是0.05，即特征量D和B的组合的第一评价值以及特征量D和C的组合的第一评价值。关注特征量A的情况下的第一评价值比关注特征量D的情况下的第一评价值低。因此，首先选择特征量A，然后选择特征量D。

以这种方式，最终，根据优良组合选择预定的m个特征量。

由于使用训练图案进行提取，因此可以在脱机状态下从输入图案中提取N个特征。在联机处理中，仅需要从测试图案中提取m个特征量。因此，可以提高运算处理的速度。此外，由于考虑到特征量的组合来选择m个特征量，因此与仅考虑第一评价值的现有技术的特征选择方案中的特征量的数量相比较，可以减少最终选择的特征量的数量m，并且可以维持与现有技术的特征选择方案的性能等同的性能。

利用上述的用于计算分数的方法，可以在脱机状态下考虑到特征量的组合来从各种特征量的组中选择特征量。结果，可以防止容易发生在特定维数中出现的问题，并且可以提高运算处理的速度。

最终，将说明至此为止已经说明了的本实施例中计算分数的处理。图7是示出本实施例中计算分数的处理的流程图的图。关于图7所示的处理，说明了从N个(作为要选择的对象的特征量的种类)特征量中以两个为单位选择特征量的情况。

步骤701：计算Bayes _ij ，Ln _i ＝0(i＝1，…，N，j＝i+1，…，N)

首先，在步骤701中，确定所有组合的第一评价值、即贝叶斯错误概率估计值Bayes。以两个为单位从N个特征量中选择特征量。关于贝叶斯错误概率估计值Bayes_ij，i表示第一特征量，并且j表示第二特征量。i从1变为N，并且j以j不选择i已经选择的特征量的方式在i+1和N之间变化。因此，生成_NC₂种组合。此外，在这种情况下，作为所有的第二评价值的初始值，将Ln_i(i＝1，…，N)设置为0。

步骤702：设置初始值i

在步骤702中，将第一特征量i设置为1，并且逐渐改变第一特征量i的值，由此改变该特征量。

步骤703：计算以下表达式20和k

表达式20

${\mathrm{Bayes}}_{\mathrm{ik}}=\underset{j}{\min }\left({\mathrm{Bayes}}_{\mathrm{ij}}\right)$

在步骤703中，将特征量i看作为固定数，并且将特征量j看作为可变数。确定在贝叶斯错误概率估计值最小的情况下、第一评价值即贝叶斯错误概率估计值的最小值和j。将这种情况下的j设置为k。这里，将特征量i和k看作为两个特征量的组。

步骤704：Ln _k ＝Ln _k +1

在步骤704中，对特征量k的第二评价值Ln_k增加1。

步骤705：i＝N，步骤706：i＝i+1

当i的值变为N时，处理进入步骤707。当i的值小于N时，处理进入步骤706。

步骤706：i＝i+1

在步骤706中，对i增加1，并且处理返回至步骤703。

步骤707：score _i ＝Ln _i (i＝1，…，N)

在步骤707中，将各个特征的第二评价值Ln确定为分数。基于这些分数，根据在步骤703中已经确定的各个组来选择特征量。

第二实施例

将参考图8来说明本实施例中的处理的流程。本实施例和第一实施例之间的不同之处在于，第一实施例的图2所示的步骤205变为图8所示的步骤805。因此，将仅说明作为本实施例和第一实施例之间的不同之处的步骤805的处理。注意，与第一实施例相同，由图1所示的信息处理设备101来进行本实施例中的处理。

步骤805：基于第一评价值和第二评价值计算分数，并且确 定特征选择标准

在步骤805中，与第一实施例不同，不是仅基于第二评价值、而是基于第一评价值和第二评价值这两者来确定特征选择标准。使用基于第一评价值和第二评价值的函数来确定分数，并且确定特征选择标准。在这种情况下，使用诸如以下给出的公式14等的函数来计算分数(score)。然而，可以使用分数随着贝叶斯错误概率估计值而减小、并且分数随着第二评价值而增大的任何其它函数。

表达式21

$\mathrm{score}=\frac{\mathrm{Ln}+b}{\mathrm{Bayes}+a}$ (公式14)

存在作为第一评价值的贝叶斯错误概率估计值Bayes为0、以及第二评价值Ln为0的情况。因此，在公式14中增加了值不为0的a和b。例如，如果存在1000个特征量，则各个特征量的第一评价值Bayes中的最小值为0，并且最大值为1。此外，第二评价值Ln的最小值为0，并且最大值为1000。在这种情况下，a的适当值约为1，并且b的适当值约为0.001。

利用本实施例中用于计算分数的函数，可以考虑到特征量的评价和特征量的组合的评价来进行特征选择。因此，可以仅选择所需的特征量。可以防止容易发生在特定维数中出现的问题，并且可以提高运算处理的速度。

最后，在图9中示出至此为止已经说明了的本实施例中用于计算分数的算法。与图7所示的情况相同，图9示出从N个特征量中以两个为单位选择特征量的情况。作为图9所示的流程图和图7所示的流程图之间的不同之处的步骤908如下所述。

步骤908：

表达式22

${\mathrm{score}}_i=\frac{{\mathrm{Ln}}_i+b}{{\mathrm{Bayes}}_{\mathrm{ik}}+a}(i=1,...,N)$

利用使用在步骤903中已经计算出的第一评价值Bayes和第二评价值Ln的函数来计算分数。与第一实施例相同，针对在步骤903中已经确定的特征量的各个组来选择特征量。

第三实施例

将参考图10所示的流程图来说明本实施例中的处理。本实施例和第二实施例的不同之处在于，第二实施例中图8所示的步骤804变为步骤1004。因此，将仅说明作为本实施例和第二实施例之间的不同之处的步骤1004。此外，尽管可以将第三实施例中的方案应用于第一实施例，但这里省略对其的说明。注意，与第二实施例相同，由图1所示的信息处理设备101来进行本实施例中的处理。

步骤1004

在本实施例中，针对多个第一评价值分别判断按照预先设置的评价标准的适合度。然后，对构成第一评价值与越高的适合度相对应的组合的各特征量的第二评价值，越多地增加预定值，由此计算出第二评价值。

在本实施例中，与第一和第二实施例相同，针对所有的特征量的组合确定第一评价值(这里，贝叶斯错误概率估计值)。

例如，与第一实施例中图5所示的情况相同，在存在特征量A、B、C和D的情况下，通过同时选择至少两个特征量来生成特征量的组合。对于各个特征量A～D，对第一评价值最优的组合中包括的特征量的第二评价值增加值1。当关注特征量A时，在特征量A和其它特征量中的一个特征量的组合中、第一评价值最优即贝叶斯错误概率估计值最低(Bayes＝0.08)的组合中包括的特征量是特征量B。因而，对特征量B的第二评价值增加值1。与第一和第二实施例相同，对所有的特征量进行上述处理。

在本实施例中，与第一和第二实施例不同，针对各个特征量A～D，对第一评价值次优的组合中包括的特征量的第二评价值增加值w(0＜w＜1)。当关注特征量A时，在包括特征量A的组合中、特征量A的第一评价值次优即贝叶斯错误概率估计值次低(Bayes＝0.1)的组合中包括的特征量是特征量C。因而，对特征量C的第二评价值增加值w。在第一评价值变得较差时，可以对第二评价值增加较小的值。在图11中，对次优的特征量的第二评价值增加该值。接着，当关注特征量B时，在包括特征量B的组合中、特征量B的第一评价值次优即贝叶斯错误概率估计值次低(Bayes＝0.05)的组合中包括的特征量是特征量D。因而，对特征量D的第二评价值增加值w。此外，当关注特征量C时，在包括特征量C的组合中、特征量C的第一评价值次优即贝叶斯错误概率估计值次低(Bayes＝0.05)的组合中包括的特征量是特征量D。因而，对特征量D的第二评价值增加值w。注意，当关注特征量D时，关于包括特征量D的组合中、第一评价值最优即贝叶斯错误概率估计值最低(Bayes＝0.05)的特征量，存在特征量B和C这两个特征量。因而，不对第一评价值次优的组合中包括的特征量的第二评价值增加预定值。结果，当计算已经增加了预定值的第二评价值作为和时，特征量A、B、C和D的第二评价值分别为0、2.5、1.5+w和2w。以这种方式，可以计算出更加精确的第二评价值。

如上所述，使用本实施例中用于计算第二评价值的方法可以计算出更加精确的评价值，并且可以选择组合内的兼容性较好的特征。可以仅选择所需的特征量。结果，可以防止容易发生在特定维数中出现的问题，并且可以提高运算处理的速度。

第四实施例

在上述实施例中，对于属于类w₁和w₂的图案的值为已知的两类问题，选择可以使类w₁和w₂彼此分离的评价值。

然而，实际上，考虑以下情况：仅属于类w₁的图案的值是已知的，并且属于类w₂的图案的值是未知的。该情况的例子包括以下情况：在针对无缺陷产品的检查时，属于缺陷产品的图案的值是未知的，并且仅属于无缺陷产品的图案的值是已知的。由于该原因，在本实施例中，进行利用仅使用属于类w₁的图案可以计算出的、表示分离度的评价值的处理。

在下文，将说明仅使用属于类w₁的图案可以计算出的评价值。

可以将类w₁的分布密度看作为表示类w₁与类w₂的分离度的评价值。假定w₁的分布密度高，则在特征空间中类w₁的分布发散的范围变窄，使得类w₁的分布和类w₂的分布彼此重叠的可能性变低。作为对比，在特征空间中类w₁的分布发散的范围变宽，使得类w₁的分布和类w₂的分布彼此重叠的可能性变高。如上所述，彼此重叠的图案的数量根据w₁的分布密度而变化。然而，即使在类w₁的分布密度高的情况下，当存在重叠时，由于类w₁的分布密度高，因此该分布中大量的图案彼此重叠。此外，即使在类w₁的分布密度低的情况下，如果存在重叠，则由于类w₁的分布密度低，因此彼此重叠的图案的数量小。

然而，一般地，w₁的分布密度越高，类w₁和w₂之间彼此重叠的图案的数量越少。因此，类w₁的分布密度越高的特征量越适合用作用于将类w₁和w₂彼此分离的特征量。

在本实施例中，使用属于类w₁的图案的重心和离该重心最远的图案之间的欧几里德(Euclidean)距离，作为表示属于类w₁的图案的分布的评价值。此外，可以使用重心和所有图案之间的欧几里德距离的标准偏差作为评价值。可选地，可以使用包括曼哈顿(Manhattan)距离等的其它的距离的概念。

在下文，将说明本实施例中的处理的流程。

图12是示出本实施例中的处理的流程的图。本实施例和第二实施例之间的不同之处在于，第二实施例中图8所示的步骤803变为步骤1203。因此，将仅说明作为本实施例和第二实施例之间的不同之处的步骤1203。注意，与第二实施例相同，由图1所示的信息处理设备101来进行本实施例中的处理。

图13是示出本实施例中步骤1203的处理的详细内容的图。在下文，将参考图13来说明步骤1203的处理的详细内容。注意，由于步骤1301与步骤1202相对应，因此省略对步骤1301的说明。

步骤1302：针对各个特征量仅对属于预定类w ₁ 的所有图案 进行标准化

在步骤1302中，针对各个特征量，使用该特征量的标准偏差来对属于类w₁的所有图案进行标准化。其原因是，在本实施例中，需要使用n维特征空间中的欧几里德距离来评价特征量。

步骤1303：针对n个特征量的组合中的每个组合在n维特征 空间中标绘仅属于预定的一类w ₁ 的图案

接着，在步骤1303中，针对已经生成的n个特征量的组合中的每个组合，在n维特征空间中标绘属于一类w₁的图案。

图14是示出在n＝2的情况下标绘属于一类w₁的图案的特征空间的图。

步骤1304：计算属于预定的一类w ₁ 的图案的重心

在步骤1304中，计算在特征空间中已经标绘了的图案的重心G。

步骤1305：将发散度看作为第一评价值，还针对n个特征量 的组合中的每个组合计算第一评价值

在步骤1305中，在n维特征空间中，确定在步骤1304中已经确定的重心G和离该重心G最远的图案之间的欧几里德距离d_max。将该欧几里德距离看作为发散度。可选地，关于重心G和各个图案之间的欧几里德距离d_i，将该重心G和所有图案之间的d_i的标准偏差看作为发散度。与以上所述的实施例相同，将已经使用上述处理计算出的发散度看作为第一评价值。

注意，与贝叶斯错误概率估计值的情况相同，发散度越低表明越适合用作用于分离类的特征量。因此，可以将n维特征空间中的欧几里德距离看作为发散度，并且与贝叶斯错误概率估计值的情况相同，可以使用该发散度作为第一评价值。根据本实施例，可以仅使用与一类有关的数据项来选择特征量。

注意，尽管在以上说明中描述了一类问题，但还可将本实施例应用于多类问题。为了表现特定类与其它类的分离度，可以利用重心和离该重心最远的图案之间的欧几里德距离作为发散度。

其它实施例

在上述实施例中，说明了外观检查中的利用。本发明还可用于以下情况：从各种特征量中选择面部识别时、或者诸如包括运动图像的多模态多维度数据项等的图案的分类问题时要使用的特征量。注意，本发明还可用于其它图案识别或数据挖掘领域。

此外，在以上所述的实施例中，使用贝叶斯错误概率估计值来评价各个特征量，并且选择特征量。在分类器使用特征量进行分类之前预先评价特征量的方案被称为滤波方案(filter scheme)。另一方面，以下方案被称为包装方案(wrapper scheme)：对无缺陷产品、缺陷产品等进行分类的分类器实际使用特征量进行分类以评价该分类器的性能，并且判断是否要使用特征量。由于在包装方案中考虑了分类结果，因此包装方案的性能比滤波方案的性能高。然而，包装方案的缺点在于需要巨大量的计算时间。由于该原因，为了针对巨大量的特征量有效地进行包装方案，已经提出了使用可以高速进行计算的滤波方案来减少特征量的方案。与仅使用包装方案的情况下的计算时间相比较，可以通过减少特征量来缩短计算时间。可以结合用作第二选择方式的包装方案来进行上述实施例的方案。

此外，可以通过利用计算机处理诸如CD-ROM等的记录介质中记录的计算机程序来实现上述实施例中的处理。

产业上的可利用性

本发明可应用于对工业产品进行外观检查的信息处理设备。

Claims (11)

1.一种信息处理设备，用于在从输入数据项提取出的多个特征量中选择对所述输入数据项进行分类要使用的特征量，所述信息处理设备包括：

生成部件，用于通过生成从所述多个特征量中选择的特征量的组合来生成多个组合；

第一计算部件，用于针对所述多个组合中的各个组合，计算用于评价针对所述输入数据项的分类的适合性的第一评价值；以及

第二计算部件，用于基于所述第一评价值，针对所述多个特征量中的各个特征量，获得用于评价针对所述输入数据项的分类的适合性的第二评价值。

2.根据权利要求1所述的信息处理设备，其特征在于，还包括选择部件，所述选择部件用于基于所述第二评价值，从所述多个特征量中选择对所述输入数据项进行分类要使用的特征量。

3.根据权利要求1所述的信息处理设备，其特征在于，还包括设置部件，所述设置部件用于基于所述第二评价值，设置用于从所述多个特征量中选择对所述输入数据项进行分类要使用的特征量的选择标准。

4.根据权利要求1至3中任一项所述的信息处理设备，其特征在于，

所述输入数据项是作为外观检查对象的检查对象物体的所拍摄图像的输入图像数据项，以及

所述第一评价值和所述第二评价值是用于评价所述检查对象物体是否是无缺陷产品的评价值。

5.根据权利要求2所述的信息处理设备，其特征在于，所述第一评价值是用于评价所述输入数据项的分类的分离度的评价值。

6.根据权利要求5所述的信息处理设备，其特征在于，所述第一评价值是所述输入数据项的分类的贝叶斯错误概率估计值。

7.根据权利要求1至6中任一项所述的信息处理设备，其特征在于，

所述第二计算部件通过将针对所述多个组合中的各个组合计算出的所述第一评价值相互比较，针对所述多个特征量中的各个特征量，计算用于评价针对所述输入数据项的分类的适合性的第二评价值。

8.根据权利要求5所述的信息处理设备，其特征在于，所述第一评价值是所述输入数据项的分类的类内方差与类间方差的比。

9.根据权利要求1所述的信息处理设备，其特征在于，

所述第二计算部件基于所述第一评价值，针对各个组合提取适合于所述输入数据项的分类的特征量，并且针对所述多个特征量中的各个特征量，基于该特征量的提取次数，计算所述第二评价值。

10.根据权利要求3所述的信息处理设备，其特征在于，所述设置部件基于所述第一评价值和所述第二评价值来设置所述选择标准。

11.根据权利要求1所述的信息处理设备，其特征在于，所述第二计算部件按照预先设置的评价标准来判断各个所述第一评价值的适合度，并且基于所述适合度的判断结果来计算所述第二评价值。

Images