CN106503724A - 分类器生成装置、有缺陷/无缺陷确定装置和方法 - Google Patents

Abstract

本发明提供一种分类器生成装置、有缺陷/无缺陷确定装置和方法。为了确定检查对象物体的外观有缺陷还是无缺陷，分类器生成装置基于针对具有已知的有缺陷外观或无缺陷外观的对象物体的、在至少两个不同的摄像条件下拍摄的图像，从至少两个图像中的各个提取特征量。分类器生成装置从综合地包括提取的特征量的特征量，选择用于确定对象物体有缺陷还是无缺陷的特征量，并且，基于选择的特征量生成用于确定对象物体有缺陷还是无缺陷的分类器。基于提取的特征量和分类器来确定对象物体的外观有缺陷还是无缺陷。

Description

分类器生成装置、有缺陷/无缺陷确定装置和方法

技术领域

本发明的方面总体上涉及一种分类器生成装置、有缺陷/无缺陷确定方法和程序，具体地涉及基于物体的拍摄图像来确定物体有缺陷还是无缺陷。

背景技术

一般地，对工厂中制造的产品进行检查，并且确定基于产品的外观来确定该产品有缺陷还是无缺陷。如果先前知道在有缺陷产品中缺陷如何出现(即，强度、尺寸和位置的缺陷)，则可以提供基于对检查对象物体的拍摄图像而执行的图像处理的结果来检测检查对象物体的缺陷的方法。然而，在很多情况下，缺陷以不确定的方式出现，并且强度、尺寸和位置的缺陷可能会以多种方式变化。因此，常规上，视觉上实施外观检查，而自动外观检查几乎无法投入实际使用。

已知一种使用大量的特征量的检查方法，其使针对不确定的缺陷的检查自动化。具体地，拍摄多个无缺陷产品和有缺陷产品的图像作为学***均值、离散度、最大值和对比度，并且在多维特征量空间中创建用于对无缺陷产品和有缺陷产品进行分类的分类器。然后，使用该分类器来确定实际的检查对象物体是无缺陷产品还是有缺陷产品。

如果特征量数量相对于学习样品的数量增大，则在学习期间分类器过度地拟合为无缺陷产品和有缺陷产品的学习样本(即，过拟合)，由此，针对检查对象物体，诸如泛化误差的问题增加。如果增加特征量数量，则可能包括冗余的特征量，由此学习所需的处理时间可能会增加。因此，期望采用一种能够通过从大量的特征量当中、选择适当的特征量减少泛化误差来加速算术处理的方法。根据日本特开2005-309878号公报中讨论的技术，从参考图像提取多个特征量，并且从多个所提取的特征量中选择用于确定检查图像的特征量。然后，基于所选择的特征量从检查图像来确定检查对象物体无缺陷还是有缺陷。

一种用于以较高灵敏度对缺陷进行检查并分类的方法，包括通过在多个摄像条件下拍摄检查对象物体的图像来对检查对象物体进行检查。根据日本特开2014-149177号公报中讨论的技术，在多个摄像条件下获取图像，并且在这些摄像条件下提取包括缺陷候选的部分图像。然后，获取部分图像中的缺陷候选的特征量，使得基于具有相同坐标的、不同摄像条件的缺陷候选的特征量，从缺陷候选提取缺陷。

一般地，摄像条件(例如，照明条件)和缺陷类型相互关联，从而不同的缺陷在不同的摄像条件下被可视化。因此，为了以高精度确定检查对象物体有缺陷还是无缺陷，通过在多个摄像条件下拍摄检查对象物体的图像和更清楚地可视化缺陷来执行检查。然而，在日本特开2005-309878号公报中描述的技术中，没有在多个摄像条件下拍摄图像。因此，难以以高的精确度确定检查对象物体有缺陷还是无缺陷。此外，在日本特开2014-149177号公报中描述的技术中，尽管在多个摄像条件下拍摄图像，但是不选择用于在无缺陷产品与有缺陷产品之间进行分离的上述特征量。在日本特开2005-309878号公报和2014-149177号公报中描述的技术一起被组合的情况下，通过在多个摄像条件下拍摄图像来执行检查，由此以与摄像条件的数量一样多的次数来执行检查。因此，检查时间增加。由于不同的缺陷在不同的摄像条件下被可视化，因此不得不为各个摄像条件选择学习对象图像。另外，如果由于缺陷的可视化状态而难以选择学习对象图像，则可以在要选择特征量时选择冗余的特征量。因此，这样可能既增加检查时间又降低用于在有缺陷产品和无缺陷产品之间进行分离的性能。

发明内容

根据本发明的一方面，一种分类器生成装置包括：学习提取单元，其被构造为基于针对具有已知的有缺陷外观或无缺陷外观的对象物体的、在至少两个不同的摄像条件下拍摄的图像，从至少两个图像中的各个提取多个图像特征量；选择单元，其被构造为从提取的特征量当中选择用于确定对象物体有缺陷还是无缺陷的特征量；以及生成单元，其被构造为基于选择的特征量生成用于确定对象物体有缺陷还是无缺陷的分类器。

一种有缺陷/无缺陷确定装置包括：学习提取单元，其被构造为基于针对具有已知的有缺陷外观或无缺陷外观的对象物体的、在至少两个不同的摄像条件下拍摄的图像从至少两个图像中的各个提取特征量；选择单元，其被构造为从提取的特征量当中选择用于确定对象物体有缺陷还是无缺陷的特征量；生成单元，其被构造为基于选择的特征量生成用于确定对象物体有缺陷还是无缺陷的分类器；检查提取单元，其被构造为基于针对具有未知的有缺陷外观或无缺陷外观的对象物体的、在所述至少两个不同的摄像条件下拍摄的图像，从至少两个图像中的各个提取特征量；确定单元，其被构造为通过将所提取的特征量和所生成的分类器进行比较，来确定对象物体的外观有缺陷还是无缺陷。

根据下面参照附图对示例实施例的描述，本发明的各方面的其他特征将变得清楚。

附图说明

图1是例示实现有缺陷/无缺陷确定装置的硬件结构的框图。

图2是例示有缺陷/无缺陷确定装置的功能结构的框图。

图3A是例示在学习期间由有缺陷/无缺陷确定装置执行的处理的流程图。

图3B是例示在检查期间由有缺陷/无缺陷确定装置执行的处理的流程图。

图4A和图4B是例示摄像装置与对象物体之间的关系的第一示例的图。

图5是例示照明条件的示例的图。

图6是例示在各自的照明条件下拍摄的有缺陷部分的图像的图。

图7是例示学习对象图像的结构的图。

图8是例示金字塔层级图像的创建方法的图。

图9是例示用于描述小波变换的像素编号的图。

图10是例示强调刮痕缺陷的特征量的计算方法的图。

图11是例示强调不均匀缺陷的特征量的计算方法的图。

图12是例示特征量的列表的表格。

图13是例示组合特征量的列表的表格。

图14A和图14B是例示使用组合特征量或不用组合特征量的操作流程的图。

图15A和图15B是例示摄像装置与对象物体之间的关系的第二示例的图。

图16是以三维形式例示了图15A(15B)中例示的摄像装置与对象物体之间的关系的图。

图17A和图17B是例示摄像装置与对象物体之间的关系的第三示例的图。

图18A和图18B是例示摄像装置与对象物体之间的关系的第四示例的图。

图19是例示摄像装置与对象物体之间的关系的第五示例的图。

图20是例示摄像装置与对象物体之间的关系的第六示例的图。

具体实施方式

下文中，将参照附图描述多个示例性实施例。在各个下述示例性实施例中，将通过使用在至少两个不同的摄像条件下拍摄的对象物体的图像数据来执行学习和检查。例如，摄像条件包括与摄像装置有关的条件、摄像-拍摄期间与摄像装置的周围环境有关的条件以及与对象物体有关的条件中的至少任意一个。在第一示例性实施例中，将采用在至少两个不同的照明条件下拍摄对象物体的图像，作为摄像条件的第一示例。在第二示例性实施例中，将采用由至少两个不同的摄像单元拍摄对象物体的图像，作为摄像条件的第二示例。在第三示例性实施例中，将采用在同一图像中拍摄对象物体中的至少两个不同区域，作为摄像条件的第三示例。在第四示例性实施例中，将采用拍摄同一对象物体的至少两个不同部分的图像，作为摄像条件的第四示例。

首先，将描述第一示例性实施例。

在本示例性实施例中，首先，将描述有缺陷/无缺陷确定装置的硬件结构和功能结构的示例。然后，将描述学习和检查处理的各自的流程图(步骤)。最后，将描述本示例性实施例的效果。

<硬件结构和功能结构>

在图1中例示实现根据本示例性实施例的有缺陷/无缺陷确定装置的硬件结构的示例。在图1中，中央处理单元(CPU)110经由总线100总体地控制与其连接的各设备。CPU110读取和执行在只读存储器(ROM)120中存储的处理步骤或程序。根据本示例性实施例的包括操作***(OS)的各种处理程序或设备驱动器被存储在ROM 120中，以通过将它们临时地存储在随机存取存储器(RAM)130中而由CPU 110适当地执行。输入接口(I/F)140以由有缺陷/无缺陷确定装置可处理的格式，从如摄像装置等的外部装置接收输入信号。此外，输出I/F 150以由诸如显示装置等的外部装置可处理的格式，对输出信号进行输出。

图2是例示根据本示例性实施例的有缺陷/无缺陷确定装置的功能结构的示例的框图。在图2中，根据本示例性实施例的有缺陷/无缺陷确定装置200包括图像获取单元201、图像合成单元202、综合特征量提取单元203、特征量组合单元204、特征量选择单元205、分类器生成单元206、选择特征量保存单元207和分类器保存单元208。有缺陷/无缺陷确定装置200还包括选择特征量提取单元209、确定单元210和输出单元211。此外，有缺陷/无缺陷确定装置200与摄像装置220和显示装置230连接。有缺陷/无缺陷确定装置200通过对已知为有缺陷产品或无缺陷产品的检查对象物体执行机器学习来创建分类器，并且通过使用创建的分类器来针对未知为有缺陷产品或无缺陷产品的检查对象物体确定外观有缺陷还是无缺陷。在图2中，学习期间中的操作顺序由实箭头表示，而检查期间的操作顺序由虚箭头表示。

图像获取单元201从摄像装置220获取图像。在本示例性实施例中，摄像装置220针对单个对象物体在至少两个或更多个照明条件下拍摄图像。下面将详细地描述上述摄像操作。用户对由摄像装置220在学习期间拍摄的对象物体预先施加有缺陷产品或无缺陷产品的标签。在检查期间，一般地，针对由摄像装置220拍摄的物体，该物体有缺陷还是无缺陷是未知的。在本示例性实施例中，有缺陷/无缺陷确定装置200与摄像装置220连接，以从摄像装置220获取对象物体的拍摄图像。然而，示例性实施例并不限于上述。例如，预先拍摄的对象物体图像可以被存储在存储介质中，使得可以从存储介质读取并获取拍摄的对象物体图像。

图像合成单元202从图像获取单元201接收在至少两个相互不同的照明条件下拍摄的对象物体图像，并且通过合成这些对象物体图像来创建合成图像。这里，在学习期间获取的拍摄图像或合成图像被称为学习对象图像，而在检查期间获取的拍摄图像或合成图像被称为检查图像。下面将详细地描述图像合成单元202。

综合特征量提取单元203执行学习提取处理。具体地，综合特征量提取单元203从由图像获取单元201获取的学习对象图像和由图像合成单元202创建的学习对象图像当中的、两个或更多个图像中的至少各个图像，综合地提取包括图像的统计量的特征量。下面将详细地描述综合特征量提取单元203。此时，在由图像获取单元201获取的学习对象图像和由图像合成单元202创建的学习对象图像当中，只有由图像获取单元201获取的学习对象图像可以被指定为特征量提取的对象。作为另选方案，在由图像获取单元201获取的学习对象图像和由图像合成单元202创建的学习对象图像当中，只有由图像合成单元202创建的学习对象图像可以被指定为特征量提取的对象。此外，由图像获取单元201获取的学习对象图像和由图像合成单元202创建的学习对象图像都可以被指定为特征量提取的对象。

特征量组合单元204将由综合特征量提取单元203提取的各自图像的特征量组合为一个特征量。下面将详细地描述特征量组合单元204。

特征量选择单元205从由特征量组合单元204组合的特征量，选择用于在无缺陷产品与有缺陷产品之间进行分离的特征量。由特征量选择单元205选择的特征量的类型被存储在选择特征量保存单元207中。

下面将详细地描述特征量选择单元205。分类器生成单元206使用由特征量选择单元205选择的特征量来创建用于对无缺陷产品和有缺陷产品进行分类的分类器。由分类器生成单元206生成的分类器被存储在分类器保存单元208中。下面将详细地描述分类器生成单元206。

选择特征量提取单元209执行检查提取处理。具体地，选择特征量提取单元209从由图像获取单元201获取的检查图像或由图像合成单元202创建的检查图像，提取在选择特征量保存单元207中存储的类型的特征量，即，由特征量选择单元205选择的特征量。下面将详细地描述选择特征量提取单元209。

确定单元210基于由选择特征量提取单元209提取的特征量和在分类器保存单元208中存储的分类器，来确定对象物体的外观有缺陷还是无缺陷。

输出单元211将表示对象物体的有缺陷外观或无缺陷外观的确定结果，经由接口(未例示)以由外部显示装置230可显示的格式发送到该显示装置230。另外，输出单元211将用于确定对象物体的外观有缺陷还是无缺陷的检查图像与表示对象物体的有缺陷外观或无缺陷外观的确定结果一起，发送到显示装置230。

显示装置230显示由输出单元211输出的表示对象物体的有缺陷外观或无缺陷外观的确定结果。例如，表示对象物体的有缺陷外观或无缺陷外观的确定结果可以以诸如“无缺陷”或“有缺陷”的文本而被显示。然而，表示对象物体的有缺陷外观或无缺陷外观的确定结果的显示模式并不限于文本显示模式。例如，“无缺陷”和“有缺陷”可以用颜色区分并显示。此外，作为上述显示模式的补充或替换上述显示模式，可以使用声音来输出“无缺陷”和“有缺陷”。液晶显示器或阴极射线管(CRT)显示器是显示装置230的示例。图1中的CPU 110对显示装置230执行显示控制。

<流程图>

图3A和图3B是根据本示例性实施例的流程图。具体地，图3A是例示在学习期间由有缺陷/无缺陷确定装置200执行的处理的示例的流程图。图3B是例示在检查期间由有缺陷/无缺陷确定装置200执行的处理的示例的流程图。在下文中，将参照图3A和图3B中的流程图描述由有缺陷/无缺陷确定装置200执行的处理的示例。如图3A和图3B所示，由根据本示例性实施例的有缺陷/无缺陷确定装置200执行的处理基本上由两个步骤，即学习步骤S1和检查步骤S2构成。在下文中，将详细地描述步骤S1和步骤S2中的各个。

<步骤S101>

首先，将描述图3A中所示的学习步骤S1。在步骤S101中，图像获取单元201从摄像装置220获取在多个照明条件下拍摄的学习对象图像。图4A是例示摄像装置220的俯视图的示例的图，而图4B是例示摄像装置220(在图4B中由虚线包围)和对象物体450的横截面图的示例的图。图4B是沿着图4A中的线I-I'截取的横截面图。

如图4B所示，摄像装置220包括照相机440。照相机440的光轴被设置为相对于对象物体450的板面垂直。此外，摄像装置220包括在经度方向(圆周方向)上以八个方位布置的、在纬度方向上具有不同位置(高度位置)的照明410a至410h、420a至420h和430a至430h。如上所述，在本示例性实施例中，假设摄像装置220针对单个对象物体450在至少两个或更多个摄像条件下拍摄图像。例如，可以改变可采用的照明410a至410h、420a至420h和430a至430h(即，照射方向)，照明410a至410h、420a至420h和430a至430h的光量，以及照相机440的图像传感器的曝光时间中的至少任意一者。利用该结构，在多个照明条件下拍摄图像。下面将描述照明条件的示例。此外，工业照相机用作照相机440，从而可以拍摄单色图像或彩色图像。在步骤S101中，为了获取学习对象图像，对之前已知为无缺陷产品或有缺陷产品的产品(对象物体450)的外部的图像进行拍摄，并且获取该图像。用户预先向有缺陷/无缺陷确定装置200通知对象物体450是无缺陷产品还是有缺陷产品。另外，对象物体450由同一材料形成。

<步骤S102>

在步骤S102中，图像获取单元201确定是否已经在预先被设置给有缺陷/无缺陷确定装置200的所有照明条件下获取图像。作为确定的结果，如果尚未在所有照明条件下获取图像(步骤S102中的“否”)，则处理返回到步骤S101，并且再次拍摄图像。图5是例示根据本示例性实施例的照明条件的示例的图。如图5所示，在本示例性实施例中，将根据示例性实施例给出这样的描述作为示例，其中，通过改变照明410a至410h、420a至420h和430a至430h当中的可采用的照明来改变照明条件。在图5中，图4A中的摄像装置220的俯视图以简化的方式被例示，并且可采用的照明用填充的矩形形状表达。在本示例性实施例中，提供七个类型的照明条件。

在多个照明条件下拍摄图像，因为取决于照明条件强调诸如刮痕、凹痕或涂布不均匀的缺陷。例如，在照明条件1至4下拍摄的图像上强调刮痕缺陷，而在照明条件5至7下拍摄的图像上强调不均匀缺陷。图6是例示根据本示例性实施例的在各自照明条件下拍摄的缺陷部分的图像的示例的图。在照明条件1至4下拍摄的图像中，可能要强调在与连接两个被点亮的照明的方向垂直的方向上延伸的刮痕缺陷。这是因为由于照明光在垂直于刮痕缺陷的方向上、从低纬度的位置发出而导致反射率在具有刮痕缺陷的一部分被显著地改变。在图6中，刮痕缺陷在照明条件3下拍摄的图像中被最多地可视化。另一方面，更可能在照明条件5至7下拍摄的图像上强调不均匀缺陷。因为在照明条件5至7下在经度方向上均匀地施加照明，所以在强调不均匀缺陷的同时不可能发生照明不均匀。在图6中，不均匀缺陷在照明条件7下拍摄的图像中被最多地可视化。在照明条件5至7当中的哪个照明条件下，不均匀缺陷被强调的最多取决于不均匀缺陷的原因和类型。在所有这七个照明条件下拍摄了图像的情况下，处理进行到步骤S103。在本示例性实施例中，通过改变可采用的照明410a至410h、420a至420h和430a至430h来改变照明条件。然而，照明条件并不限于可采用的照明410a至410h、420a至420h和430a至430h。如上所述，例如，可以通过改变照明410a至410h、420a至420h和430a至430h的光量或者照相机440的曝光时间来改变照明条件。

<步骤S103>

在步骤S103中，图像获取单元201确定是否已经获取学习所需的数量的对象物体图像。作为确定的结果，如果尚未获取学习所需的数量的对象物体图像(步骤S103中的“否”)，则处理返回到步骤S101，并且再次拍摄图像。在本示例性实施例中，在一个照明条件下获取约150个无缺陷产品图像和50个有缺陷产品图像，作为学习对象图像。因此，当完成步骤S103中的处理时，将获取150×7个无缺陷产品图像和50×7个有缺陷产品图像，作为学习对象图像。当获取了上述数量的图像时，处理进行到步骤S104。针对两百个对象物体中的各个，执行步骤S104至步骤S107中的以下处理。

<步骤S104>

在步骤S104中，在针对同一对象物体的在照明条件1至7下拍摄的七个图像当中，图像合成单元202对在照明条件1至4下拍摄的图像进行合成。如上所述，在本示例性实施例中，图像合成单元202对在照明条件1至4下拍摄的图像进行合成，以输出合成图像作为学习对象图像，并且不经合成直接输出在照明条件5至7下拍摄的图像作为学习对象图像。如上所述，因为照明条件1至4在照明使用方向方面依赖于方位角，所以要强调的刮痕缺陷的方向可能会在照明条件1至4中的各个中而变化。因此，在通过取在照明条件1至4下拍摄的图像中的相互对应的位置的像素值之和来生成合成图像时，能够生成在各个角度中强调刮痕缺陷的合成图像。这里，为了简单起见，作为示例描述了用于通过取在照明条件1至4下拍摄的图像之和来创建合成图像的方法。然而，本方法并不限于上述。例如，可以通过采用四种算术运算的图像处理来生成进一步强调缺陷的合成图像。例如，作为使用在照明条件1至4下拍摄的图像的像素值的运算的补充或者替换该运算，可以通过使用在照明条件1至4下拍摄的图像的统计量和在照明条件1至4下拍摄的图像当中的多个图像之间的统计量的运算，来生成合成图像。

图7是例示学习对象图像的结构示例的图。在图7中，学习对象图像1是在照明条件1至4下拍摄的图像的合成图像，而学习对象图像2至4恰好是在照明条件5至7下拍摄的图像。如上所述，在本示例性实施例中，针对同一对象物体创建了共四种学习对象图像1至4。

<步骤S105>

在步骤S105中，综合特征量提取单元203从一个对象物体的学习对象图像综合地提取特征量。综合特征量提取单元203从所述一个对象物体的学习对象图像创建具有不同频率的金字塔层级图像，并且通过对金字塔层级图像中的各个执行统计运算和滤波处理来提取特征量。

首先，将详细地描述金字塔层级图像的创建方法的示例。在本示例性实施例中，通过小波变换(即，频率变换)创建金字塔层级图像。图8是例示根据本示例性实施例的金字塔层级图像的创建方法的示例的图。首先，综合特征量提取单元203使用在步骤S104中获取的学习对象图像作为原始图像801，来从该原始图像801创建四种图像，即，低频图像802、纵向频率图像803、横向频率图像804和对角线频率图像805。这四个图像802、803、804和805全部被缩小至原始图像801的尺寸的四分之一。图9是例示用于描述小波变换的像素编号的图。如图9所示，左上像素、右上像素、左下像素和右下像素分别被称为“a”、“b”、“c”和“d”。在这种情况下，通过分别针对原始图像801执行由下式1、2、3和4表达的像素值转换来创建低频图像802、纵向频率图像803、横向频率图像804和对角线频率图像805。

(a+b+c+d)/4...(1)

(a+b-c-d)/4...(2)

(a-b+c-d)/4...(3)

(a-b-c+d)/4...(4)

此外，综合特征量提取单元203从由此创建作为纵向频率图像803、横向频率图像804和对角线频率图像805的三个图像中，创建以下四种图像。换句话说，综合特征量提取单元203创建四个图像，即，纵向频率绝对值图像806、横向频率绝对值图像807、对角线频率绝对值图像808和纵向/横向/对角线频率平方和图像809。通过分别取纵向频率图像803、横向频率图像804和对角线频率图像805的绝对值，来创建纵向频率绝对值图像806、横向频率绝对值图像807和对角线频率绝对值图像808。此外，通过计算纵向频率图像803、横向频率图像804和对角线频率图像805的平方和，来创建纵向/横向/对角线频率平方和图像809。换句话说，综合特征量提取单元203获取纵向频率图像803、横向频率图像804和对角线频率图像805的各自位置(像素)的平方值。然后，综合特征量提取单元203通过将在纵向频率图像803、横向频率图像804和对角线频率图像805的相互对应的位置的平方值相加来创建纵向/横向/对角线频率平方和图像809。

在图8中，八个图像，即，从原始图像801获取的低频图像802至纵向/横向/对角线频率平方和图像809，被称为第一层级的图像组。

随后，综合特征量提取单元203对低频图像802执行与用于创建第一层级的图像组的图像转换相同的图像转换，以创建上述八个图像，作为第二层级的图像组。此外，综合特征量提取单元203对第二层级的低频图像执行相同的处理，以创建上述八个图像，作为第三层级的图像组。针对各自层级的低频图像反复地执行用于创建八个图像(即，各个层级的图像组)的处理，直到低频图像的尺寸具有等于或小于某值的值。该反复处理在图8中的虚线部分810的内部被例示。通过反复上述处理，在各个层级中分别创建八个图像。例如，在反复上述处理直到第十层级的情况下，针对单个图像创建八十一个图像(1个原始图像+10个层级×8个图像)。如上已经描述了金字塔层级图像的创建方法。在本示例性实施例中，作为示例，已经描述了使用小波变换的金字塔层级图像(具有与原始图像801的频率不同的频率的图像)的创建方法。然而，金字塔层级图像(具有与原始图像801的频率不同的频率的图像)的创建方法并不限于使用小波变换的方法。例如，可以通过对原始图像801执行傅立叶变换来创建金字塔层级图像(具有与原始图像801的频率不同的频率的图像)。

接下来，将详细地描述用于通过对各个金字塔层级图像执行统计运算和滤波操作来提取特征量的方法。

首先，将描述统计运算。综合特征量提取单元203计算各个金字塔层级图像的平均值、离散度、峰度、偏度、最大值和最小值，并且分配这些值作为特征量。除了上述值以外的统计量可以被分配作为特征量。

随后，将描述通过滤波处理提取的特征量。这里，通过用于强调刮痕缺陷和不均匀缺陷的两个滤波处理而计算出的结果被分配作为特征量。下面将依次地描述其处理。

首先，将描述强调刮痕缺陷的特征量。在很多情况下，当在生产时由某凸出物刮擦对象物体时发生刮痕缺陷，并且刮痕缺陷往往会具有在一个方向上长的线性形状。图10是例示根据本示例性实施例的强调刮痕缺陷的特征量的计算方法的示例的示意图。在图10中，实线矩形框架1001表示金字塔层级图像中的一个。针对矩形框架(金字塔层级图像)1001，综合特征量提取单元203通过使用矩形区域1002(图10中的虚线矩形框架)和具有在一个方向上延伸的长的线性形状的矩形区域1003(图10中的点划线矩形框架)来执行卷积运算。通过卷积运算，提取强调刮痕缺陷的特征量。

在本示例性实施例中，综合特征量提取单元203扫描整个矩形框架(金字塔层级图像)1001(参见图10中的箭头)。然后，综合特征量提取单元203计算除线性形状的矩形区域1003之外的矩形区域1002内的像素的平均值、与线性形状的矩形区域1003中的像素的平均值之比。然后，该比的最大值和最小值被分配作为特征量。因为矩形区域1003具有线性形状，所以可以提取进一步强调刮痕缺陷的特征量。此外，在图10中，矩形框架(金字塔层级图像)1001和线性形状的矩形区域1003相互并行。然而，在360度的各个方向上都可能会发生线性形状的缺陷。因此，例如，综合特征量提取单元203以每15度在24个方向上使矩形框架(金字塔层级图像)1001旋转，来计算各自的特征量。此外，特征量配设有多种滤波器尺寸。

其次，将描述强调不均匀缺陷的特征量。不均匀缺陷由于不均匀涂布或不均匀树脂模制而产生，并且很可能会广泛地发生。图11是例示根据本示例性实施例的强调不均匀缺陷的特征量的计算方法的示例的示意图。矩形区域1101(图11中的实线矩形框架)表示金字塔层级图像中的一个。针对矩形区域(金字塔层级图像)1101，综合特征量提取单元203通过使用矩形区域1102(图11中的虚线矩形框架)和矩形区域1103(图11中的点划线矩形框架)来执行卷积运算。通过卷积运算，提取强调不均匀缺陷的特征量。这里，矩形区域1103(图11中的点划线矩形框架)是矩形区域1102内的包括不均匀缺陷的区域。

在本示例性实施例中，综合特征量提取单元203扫描整个矩形区域1101(参见图11中的箭头)，以计算除矩形区域1103之外的矩形区域1102中的像素的平均值、与矩形区域1103中的像素的平均值之比。然后，综合特征量提取单元203将该比的最大值和最小值分配为特征量。因为矩形区域1103是包括不均匀缺陷的区域，所以可以计算进一步强调不均匀缺陷的特征量。此外，类似于刮痕缺陷的特征量的情况，以多种滤波器尺寸提供特征量。

这里，作为示例通过计算平均值之比来描述计算方法。然而，特征量并不限于平均值之比。例如，离散度或标准偏差之比可以用作特征量，并且替代使用比值，差值可以用作特征量。此外，在本示例性实施例中，在执行扫描之后计算了最大值和最小值。然而，并不总是必须计算最大值和最小值。可以从扫描结果计算其他统计量，例如，平均值或离散度。

此外，在本示例性实施例中，已经通过创建金字塔层级图像来提取特征量。然而，并不总是必须创建金字塔层级图像。例如，可以只从原始图像提取特征量。此外，特征量的类型并不限于本示例性实施例中描述的那些。例如，可以通过针对金字塔层级图像或原始图像801，执行统计运算、卷积运算、二值化处理和微分运算中的至少任意一种来计算特征量。

综合特征量提取单元203对如上所推导的特征量施加编号，并且将特征量与编号一起临时地存储在存储器中。图12是例示根据本示例性实施例的特征量的列表的表格。由于存在大量类型的特征量，因此在图12中以简化的方式在表格中例示大部分。此外，为了以下处理起见，针对一个学习对象图像，假设要提取总共“N”个特征量，同时执行运算，直到提取第X层级的金字塔层级图像“Y”中包括的具有滤波器尺寸“Z”的不均匀缺陷的特征量为止。如上所述，综合特征量提取单元203从学习对象图像综合地提取约4000个特征量(N＝4000)。

<步骤S106>

在步骤S106中，综合特征量提取单元203确定针对在步骤S104中创建的四个学习对象图像1至4，是否完成了在步骤S105中执行的特征量的提取。作为确定的结果，如果尚未从四个学习对象图像1至4提取特征量(步骤S106中的“否”)，则处理返回到步骤S105，从而再次提取特征量。然后，如果已经从所有的四个学习对象图像1至4提取了综合特征量(步骤S106中的“是”)，则处理进行到步骤S107。

<步骤S107>

在步骤S107中，特征量组合单元204对通过步骤S105和S106中的处理提取的所有的四个学习对象图像1至4的综合特征量进行组合。图13是例示组合特征量的列表的表格。这里，从1至4N分配特征量编号。在本示例性实施例中，通过在步骤S107中执行的特征量组合处理对所有的特征量1至4N进行组合。然而，并不总是必须组合所有的特征量1至4N。例如，在开始已经知道明显不需要的一个特征量的情况下，不必组合该特征量。

<步骤S108>

在步骤S108中，特征量组合单元204确定是否已经对学习所需的数量的对象物体的特征量进行了组合。作为确定的结果，如果尚未对学习所需的数量的对象物体的特征量进行组合(步骤S108中的“否”)，则处理返回到步骤S104，并且反复地执行步骤S104至步骤S108的处理，直到对学习所需的数量的对象物体的特征量进行了组合为止。如步骤S103中所述，针对无缺陷产品，组合150个对象物体的特征量，而针对有缺陷产品，组合50个对象物体的特征量。在对学习所需的数量的对象物体的特征量进行了组合(步骤S108中的“是”)时，处理进行到步骤S109。

<步骤S109>

在步骤S109中，特征量选择单元205从通过直到步骤S108为止的处理而组合的特征量当中，选择并确定用于在无缺陷产品和有缺陷产品之间进行分离的特征量，即，用于检查的特征量的类型。具体地，特征量选择单元205创建用于在无缺陷产品和有缺陷产品之间进行分离的特征量的类型的排名，并且通过确定从最高排名起要使用多少个特征量(即，要使用的特征量的数量)来选择特征量。

首先，将描述排名创建方法的示例。对各个学***均值“x_{ave_i}”和标准偏差“σ_{ave_i}”，并且通过假设概率密度函数f(x_i,j)为正态分布来创建生成特征量“x_i,j”的概率密度函数f(x_i,j)。此时，概率密度函数f(x_i,j)可以由下式5表达。

随后，特征量选择单元205计算在学习中使用的所有的有缺陷产品的概率密度函数f(x_i,j)之积，并且取获取的值作为用于创建排名的评估值g(i)。这里，评估值g(i)可以由下式6表达。

在其评估值g(i)越小时，特征量对于在无缺陷产品和有缺陷产品之间进行分离越有用。因此，特征量选择单元205从最小值起依次地对评估值g(i)记分和排名，以创建特征量的类型的排名。在创建排名时，可以对特征量的组合进行评估，替代对特征量自身进行评估。在对特征量的组合进行评估的情况下，通过创建数量等同于要组合的特征量的维度的数量的概率密度函数来执行评估。例如，针对第i个和第k个二维特征量的组合，以二维的方式表达式5和式6，使得概率密度函数f(x_i,j,x_k,j)和评估值g(i,k)分别由下式7和式8表达。

一个特征量“k”(第k个特征量)被固定，从最小评估值g(i,k)起依次地对特征量进行分类和记分。例如，针对这个特征量“k”，以如下方式对前十个排名的特征量进行记分，具有最小评估值g(i,k)的第i个特征量被记10分，而具有第二最小评估值g(i',k)的第i'个特征量被记9分，以此类推。通过针对所有的特征量k执行此记分，在考虑特征量的组合的情况下创建组合特征量的类型的排名。

接下来，特征量选择单元205确定从最高排名类型起使用多少个类型的特征量(即，要使用的特征量的数量)。首先，针对所有的学习对象物体，特征量选择单元205通过取要使用的特征量的数量作为参数来计算得分。具体地，要使用的特征量的数量被取为“p”，而按排名的位序排序的特征量的类型被取为“m”，并且第j对象物体的得分h(p,j)由下式9表达。

基于得分h(p,j)，特征量选择单元205对于要使用的各个特征量按得分的位序，来排列所有的学习对象物体。假设已知学习对象物体是无缺陷产品或者有缺陷产品。当按得分的位序排列对象物体时，也按得分的此位序排列无缺陷产品和有缺陷产品。可以获取与要使用的特征量的数量“p”的候选一样多的上述数据。特征量选择单元205指定与要使用的特征量的数量“p”的候选的数量对应的数据的分离程度(表示可以如何精确地分离无缺陷产品和有缺陷产品的值)，作为评估值，并且从获取最高评估值的数据确定要使用的特征量的数量“p”。接收器操作特性(ROC)曲线的曲线下面积(AUC)可用作数据的分离程度。此外，在忽视被视为学习对象数据的有缺陷产品时的无缺陷产品的通过率(无缺陷产品的数量与对象物体的总数之比)可以用作数据的分离程度。通过采用上述方法，特征量选择单元205从4N个类型的组合特征量(即，在N＝4000时16000个类型的特征量)当中，选择要使用的大约50至100个类型的特征量。在本示例性实施例中，尽管确定了要使用的特征量的数量，但是固定值可被应用于要使用的特征量的数量。在选择特征量保存单元207中存储选择类型的特征量。

<步骤S110>

在步骤S110中，分类器生成单元206创建分类器。具体地，针对通过式9计算出的得分，分类器生成单元206确定用于检查时确定对象物体是无缺陷产品还是有缺陷产品的阈值。这里，取决于部分地允许还是不允许忽视有缺陷产品，用户根据生产线的条件确定用于在无缺陷产品和有缺陷产品之间进行分离的得分的阈值。然后，分类器保存单元208存储生成的分类器。上面已经描述了学习步骤S1中执行的处理。

<步骤S201>

接下来，将描述图3B中所示的检查步骤S2。在步骤S201中，图像获取单元201从摄像装置220获取在多个摄像条件下拍摄的检查图像。与学习期间不一样，在检查期间，不知道对象物体是无缺陷产品还是有缺陷产品。

<步骤S202>

在步骤S202中，图像获取单元201确定是否已经在预先被设置给有缺陷/无缺陷确定装置200的所有的照明条件下获取图像。作为确定的结果，如果尚未在所有的照明条件下获取图像(步骤S202中的“否”)，则处理返回到步骤S201，并且，反复地拍摄图像。在本示例性实施例中，当在七个照明条件下获取了图像时，处理进行到步骤S203。

<步骤S203>

在步骤S203中，图像合成单元202通过使用对象物体的七个图像来创建合成图像。与学习对象图像的情况一样，在本示例性实施例中，图像合成单元202对在照明条件1至4下拍摄的图像进行合成以输出合成图像，并且不经合成直接输出在照明条件5至7下拍摄的图像。因此，总共创建四个检查图像。

<步骤S204>

在步骤S204中，选择特征量提取单元209从选择特征量保存单元207接收由特征量选择单元205选择的特征量的类型，并且基于特征量的类型从检查图像而计算特征量的值。各个特征量的值的计算方法类似于在步骤S105中描述的方法。

<步骤S205>

在步骤S205中，选择特征量提取单元209确定针对在步骤S203中创建的四个检查图像是否完成了步骤S204中的特征量的提取。作为确定的结果，如果尚未从四个检查图像提取特征量(步骤S205中的“否”)，则处理返回到步骤S204，从而反复地提取特征量。然后，如果从所有的四个检查图像提取了特征量(步骤S205中的“是”)，则处理进行到步骤S206。

在本示例性实施例中，针对步骤S202至步骤S205中的处理，与学习期间中的处理的情况一样，在所有的七个照明条件下拍摄图像，并且通过对在照明条件1至4下拍摄的图像进行合成来创建四个检查图像。然而，示例性实施例并不限于此。例如，取决于由特征量选择单元205选择的特征量，如果存在任意不需要的照明条件或检查图像，则可以省略照明条件或检查图像。

<步骤S206>

在步骤S206中，确定单元210将通过直到步骤S205为止的处理计算出的特征量的值***式9中，来计算检查对象物体的得分。然后，确定单元210将检查对象物体的得分与在分类器保存单元208中存储的阈值进行比较，并且基于比较结果确定检查对象物体是无缺陷产品还是有缺陷产品。此时，确定单元210将表示确定结果的信息经由输出单元211输出到显示装置230。

<步骤S207>

在步骤S207中，确定单元210确定是否完成了对所有的检查对象物体的检查。作为确定的结果，如果尚未完成对所有的检查对象物体的检查(步骤S207中的“否”)，则处理返回到步骤S201，从而反复地拍摄其他检查对象物体的图像。

上面已经详细地描述了各自的处理步骤。

<本示例性实施例的效果的描述>

接下来，将详细地描述本示例性实施例的效果。出于说明性的目的，将本示例性实施例与没有获取步骤S107中的组合特征量来执行学习/检查处理的情况进行比较。

图14A是例示排除步骤S107中的特征量组合操作的操作流程的示例的图，而图14B是例示根据本示例性实施例的包括步骤S107中的特征量组合操作的操作流程的示例的图。如图14A所示，在没有组合特征量时，需要针对四个学习对象图像1至4中的各个选择有缺陷产品的图像(图14A中的“图像选择1至4”)。例如，如图7所示，学习对象图像1是从在照明条件1至4下拍摄的图像而创建的合成图像，由此，因为刮痕缺陷很可能在照明条件1至4下被可视化，所以不均匀缺陷往往会在学习对象图像1中较不被可视化。因为即使对象物体被标记为有缺陷产品，缺陷没有被可视化的图像也无法被处理为有缺陷产品的图像，所以必须从有缺陷产品的图像消除这种图像。

此外，在很多情况下，可能很难选择上述的有缺陷产品图像。例如，针对对象物体中的同一缺陷，存在在学习对象图像1中清楚地可视化缺陷的情况，而在学习对象图像2中，缺陷仅仅以与无缺陷产品图像的像素值的变化程度类似的程度被可视化。此时，学习对象图像1可以用作有缺陷产品的学习对象图像。然而，如果学习对象图像2用作有缺陷产品的学习对象图像，则在用于在无缺陷产品和有缺陷产品之间进行分离的特征量被选择时很可能会选择冗余的特征量。结果是，这样会导致分类器的性能劣化。

此外，从步骤S109中的四个学习对象图像1至4中的各个选择特征量，由此，针对特征量的选择来创建四个结果。因此，必须反复执行检查四次。一般地，综合地评估四个检查结果，并且所有的检查中的被确定为无缺陷产品的对象物体被综合地评估为无缺陷产品。

另一方面，如果要组合特征量，则可以解决上述问题。因为在组合特征量之后选择特征量，所以只要缺陷在学习对象图像1至4中的任意一个中被可视化，缺陷就能够被可视化。因此，与没有对特征量进行组合的情况不一样，不需要选择有缺陷产品的图像。此外，从学习对象图像1选择强调刮痕缺陷的特征量，而很可能要从学习对象图像2至4选择强调不均匀缺陷的特征量。因此，甚至当存在缺陷仅仅被可视化为与无缺陷产品图像中包括的像素值的变化的程度类似的程度的一个图像的情况下，只要存在缺陷被清楚地可视化的另一个图像，就不必从这个图像选择特征量，从而将不会选择冗余的特征量。因此，能够实现高度精确的分离性能。此外，因为通过组合特征量只获取一个特征量的选择结果，所以应该仅执行一次检查。

如上所述，在本示例性实施例中，基于针对具有已知的有缺陷外观或无缺陷外观的对象物体的、在至少两个或更多个不同的照明条件下拍摄的图像，从两个图像中的至少各个提取多个特征量。然后，从综合地包括从图像提取的特征量的特征量选择用于确定对象物体有缺陷还是无缺陷的特征量，并且基于选择的特征量生成用于确定对象物体有缺陷还是无缺陷的分类器。然后，基于从检查图像提取的特征量和分类器来确定对象物体的外观有缺陷还是无缺陷。因此，当在多个照明条件下拍摄对象物体的图像时，不必为各个照明条件选择学习对象图像，由此，可以针对多个照明条件执行一次检查。此外，能够高效地确定检查对象物体有缺陷还是无缺陷，因为将不会选择冗余的特征量。因此，可以在短时间段内高度精确地确定检查对象物体的外观有缺陷还是无缺陷。

此外，在本示例性实施例中，作为示例描述了由同一装置(有缺陷/无缺陷确定装置200)执行学习和检查的示例性实施例。然而，并不总是必须在同一装置中执行学习和检查。例如，可以构造用于生成(学习)分类器的分类器生成装置和用于执行检查的检查装置，从而在分离的装置中实现学习功能和检查功能。在这种情况下，例如，在分类器生成装置中包括图像获取单元201至分类器保存单元208的各自的功能，而在检查装置中包括图像获取单元201、图像合成单元202和选择特征量提取单元209至输出单元211的各自的功能。此时，分类器生成装置和检查装置直接相互通信，从而检查装置可以获取关于分类器和特征量的信息。此外，替代上述构造，例如，分类器生成装置可以在便携式存储介质中存储关于分类器和特征量的信息，从而检查装置可以通过从该存储介质读取信息来获取关于分类器和特征量的信息。

接下来，将描述第二示例性实施例。在第一示例性实施例中，给出了针对如下示例性实施例的描述，其中，通过使用在至少两个不同的照明条件下拍摄的图像数据来执行学习和检查。在本示例性实施例中，将给出针对如下示例性实施例的描述，其中，通过使用由至少两个不同的摄像单元拍摄的图像数据来执行学习和检查。因此，因为在第一示例性实施例和本示例性实施例中使用不同类型的学习数据，所以其结构及处理主要就这点而言不同。因此，在本示例性实施例中，对于与第一示例性实施例中描述的部分类似的部分应用与图1至图14A(14B)中应用的附图标记相同的附图标记，并且将省略其详细描述。

图15A是例示摄像装置1500的俯视图的图，图15B是例示根据本示例性实施例的摄像装置1500(在图15B中由虚线包围)和对象物体450的横截面图的图。图15B是沿着图15A的线I-I'截取的横截面图。

如图15B所示，尽管根据本示例性实施例的摄像装置1500类似于在第一示例性实施例中描述的摄像装置220，但是摄像装置1500的不同之处在于，除了照相机440以外，还包括与照相机440不同的另一个照相机460(在图15B中由粗线表示)。照相机440的光轴被设置在相对于对象物体450的板面的垂直方向上。另一方面，照相机460的光轴向着对象物体450的板面倾斜且在与该板面垂直的方向上。此外，根据本示例性实施例的摄像装置1500不具有照明。在第一示例性实施例中，对从在至少两个不同的照明条件下拍摄的图像数据获取的特征量进行组合。另一方面，在本示例性实施例中，对从由至少两个不同的摄像单元(照相机440和照相机460)拍摄的图像数据获取的特征量进行组合。尽管在图15A(15B)中例示了两个照相机440和照相机460，然而照相机的数量可以是三个或更多个，只要使用多个照相机即可。

图16是例示在三维中从上方观看图15A(15B)中所示的照相机440、460和对象物体450的状态的图。对象物体450的同一区域的图像由处于相互不同的摄像方向的两个照相机440和460拍摄，并且从其获取图像数据。使用多个不同的照相机的优点在于，甚至几乎不被可视化的缺陷也很可能通过在针对对象物体450的多个成像方向上获取图像数据，由照相机中的任意一个所拍摄到。这类似于针对多个照明条件描述的想法，并且与在图6所示的照明条件下容易可视化的缺陷的情况一样，也存在取决于针对对象物体450的摄像单元的摄像方向(光轴)而容易可视化的缺陷。

在学习和检查期间有缺陷/无缺陷确定装置200的处理流程类似于第一示例性实施例的处理流程。然而，在第一示例性实施例中，在步骤S102中，获取在多个照明条件下照明的一个对象物体450的图像。另一方面，在本示例性实施例中，获取由多个摄像单元在不同的摄像方向上拍摄的一个对象物体450的图像。具体地，获取由照相机440拍摄的对象物体450的图像和由照相机460拍摄的对象物体450的图像。

此外，在步骤S105中，从由照相机440和照相机460获取的两个图像综合地分别提取特征量，并且这些特征量在步骤S107中被组合。此后，在步骤S109中选择特征量。应该注意，在步骤S104中，根据照相机440和照相机460的摄像方向(光轴)合成图像。在检查期间有缺陷/无缺陷确定装置200的处理流程也类似于上述的处理流程，由此将省略其详细描述。结果是，类似于第一示例性实施例，不必针对由各个摄像单元获取的图像而选择学习对象图像，由此可以针对由多个摄像单元拍摄的图像一次地执行检查。此外，因为将不选择冗余的特征量，所以能够高效地确定检查对象物体有缺陷还是无缺陷。

此外，在本示例性实施例中，也可以采用在第一示例性实施例中描述的各种修改例。例如，类似于第一示例性实施例，可以由至少两个不同的摄像单元在至少两个或更多个照明条件下针对一个对象物体450拍摄图像。具体地，如第一示例性实施例中描述的图4A(4B)中所示的那样，类似地布置照明410a至410h、420a至420h和430a至430h，并且可以通过改变各自照明的照射方向和光量由多个摄像单元在多个照明条件下拍摄图像。然后，可以由至少两个不同的摄像单元在各自的照明条件下拍摄图像。不必在各个照明条件下选择学习对象图像。另外，对于各个摄像单元的图像选择变成不需要，并且，可以针对多个摄像单元和多个照明条件执行一次检查。

接下来，将描述第三示例性实施例。在第一示例性实施例中，给出了针对如下示例性实施例的描述，其中，通过使用在至少两个不同的照明条件下拍摄的图像数据来执行学习和检查。在本示例性实施例中，将给出针对如下示例性实施例的描述，其中，通过使用同一图像中的至少两个不同区域的图像数据来执行学习和检查。因此，因为在第一示例性实施例和本示例性实施例中使用不同类型的学习数据，所以其结构及处理主要就这点而言不同。因此，在本示例性实施例中，对于与第一示例性实施例中描述的部分类似的部分应用与图1至图14A(14B)中应用的附图标记相同的附图标记，并且，将省略其详细描述。

图17A是例示在三维中从上方观看照相机440和对象物体1700的状态的图，而图17B是例示对象物体1700的拍摄图像的示例的图。此外，尽管第一示例性实施例中描述的对象物体450由同一材料构成，但是，图17A(17B)中例示的对象物体1700由两种材料构成。在图17A(17B)中，区域1700a的材料被称为材料A，而区域1700b的材料被称为材料B。

在第一示例性实施例中，对从在至少两个不同的照明条件下拍摄的图像数据获取的特征量进行组合。另一方面，在本示例性实施例中，对从由照相机440拍摄的同一图像中的不同区域的图像数据获取的特征量进行组合。在图17B例示的示例中，两个区域，即，对应于材料A的区域1700a和对应于材料B的区域1700b，被指定为检查区域。尽管在图17A(17B)中例示两个检查区域，但是检查区域的数量可以是三个或更多个，只要指定多个区域即可。

在学习和检查期间有缺陷/无缺陷确定装置200的处理流程类似于第一示例性实施例的处理流程。然而，在本示例性实施例中，在步骤S102中，获取同一对象物体1700的两个区域1700a和1700b的图像。此外，在步骤S105中，从两个区域1700a和1700b的图像综合地分别提取特征量，并且这些特征量在步骤S107中被组合。应该注意，在步骤S104中，可以根据这些区域合成图像。在检查期间有缺陷/无缺陷确定装置200的处理流程也类似于上述的处理流程，由此，将省略其详细描述。常规上，需要分别执行学习和检查两次，因为针对区域1700a和1700b独立地获取学习结果。相反，本示例性实施例的优点在于，学习和检查两者都应该只被执行一次。此外，在本示例性实施例中，也可以采用在第一示例性实施例中描述的各种修改例。

接下来，将描述第四示例性实施例。在第一示例性实施例中，给出了针对如下示例性实施例的描述，其中，通过使用在至少两个不同的照明条件下拍摄的图像数据来执行学习和检查。在本示例性实施例中，将给出针对如下示例性实施例的描述，其中，通过使用同一对象物体的至少两个不同的部分的图像数据来执行学习和检查。如上所述，因为在第一示例性实施例和本示例性实施例中使用不同类型的学习数据，所以其结构及处理主要就这点而言不同。因此，在本示例性实施例中，对于与第一示例性实施例中所述的部分类似的部分应用与图1至图14A(14B)中应用的附图标记相同的附图标记，并且，将省略其详细描述。

图18A是例示在三维中从上方观看照相机440、照相机461和对象物体450的状态的图，而图18B是例示对象物体450的拍摄图像的示例的图。尽管根据本示例性实施例的摄像装置类似于在第一示例性实施例中描述的摄像装置220，然而，该摄像装置的不同之处在于，除了照相机440以外，还包括与照相机440不同的另一个照相机461。照相机440和照相机461的光轴被设置在与对象物体450的板面垂直的方向上。照相机440和照相机461拍摄对象物体450的不同区域的图像。为了以下处理的缘故，在图18A(18B)中，在对象物体450的左边部分中有意地例示缺陷。此外，尽管在图18A中例示两个照相机440和461，然而照相机的数量可以是三个或更多，只要使用多个照相机即可。此外，图18A(18B)中所示的对象物体450由同一材料形成。

在本示例性实施例中，在步骤S105中，从同一对象物体450的不同部分的图像数据综合地分别提取特征量，并且在步骤S107中组合这些特征量。具体地，图18A中设置在左边的照相机440拍摄对象物体450的左边区域450a的图像，而设置在右边的照相机461拍摄对象物体450的右边区域450b的图像。此后，从对象物体450的左边区域450a和右边区域450b综合地提取的特征量被一起组合。应该注意，在步骤S104中，可以根据这些区域合成图像。在检查期间有缺陷/无缺陷确定装置200的处理流程也类似于上述的处理流程，由此，将省略其详细描述。

除了第三示例性实施例中描述的可以减少学习和检查的次数的优点以外，本示例性实施例的优点还在于，可以容易地标记无缺陷学习产品和有缺陷学习产品。在下文中，将详细地描述此优点。

如图18B所示，例如，由左边照相机440拍摄的区域450a的图像包括缺陷，而由右边照相机461拍摄的区域450b的图像不包括缺陷。此外，在图18B所示的示例中，尽管区域450a和区域450b相互部分地交叠，但是区域450a和区域450b不必相互交叠。

现在，将学习无缺陷产品和有缺陷产品，如第一示例性实施例中所详细描述的。如果不引入组合特征量的想法，则必须针对区域450a和450b中的各个执行学习。显然的是，图18B中例示的对象物体450是有缺陷产品，因为在对象物体450中存在缺陷。然而，对象物体450在区域450a的学习期间中被处理为有缺陷对象，而在区域450b的学习期间中被处理为无缺陷对象。因此，存在在学习期间要应用于对象物体450自身的标记可以不同于无缺陷标记或有缺陷标记的情况。

然而，通过如本示例性实施例中所述对区域450a和450b的特征量进行组合，不必为区域450a和区域450b中的各个改变无缺陷标记或有缺陷标记。因此，实质上可以提高学习期间的可用性。

接下来，将描述本示例性实施例的修改例。图19是例示在三维中从上方观看照相机440和对象物体450的状态的修改例。此外，尽管在第一示例性实施例中对象物体450不是可移动的，但是在本示例性实施例中，对象物体450被安装在驱动台1900上。在根据本示例性实施例的修改例中，如图19中的左边图例示的，由照相机440拍摄对象物体450的右边区域的图像。然后，由驱动台1900移动对象物体450，从而如图19中的右边图例示的，由照相机440拍摄对象物体450的左边区域的图像。此后，从对象物体450的右边区域和左边区域综合地提取的特征量一起被组合。在图19例示的示例中，通过驱动台1900，同一对象物体450的不同区域的图像被照相机440拍摄。然而，只要照相机440和对象物体450中的至少任意一个被移动以使照相机440拍摄对象物体450的不同部分的图像，该装置就并不总是必须以这种方式构造。例如，可以在固定对象物体450的同时移动照相机440。

<其他示例性实施例>

上述示例性实施例仅仅是实施本发明的各方面的示例，并不被解释为限制本发明的各方面的技术范围。因此，可以在不脱离本发明的各方面的技术精神或主要特征的范围的情况下，以多种方式实现本发明的各方面。

例如，为了简单起见，作为独立的实施例，描述了第一示例性实施例至第四示例性实施例。然而，这些示例性实施例中的至少两个示例性实施例可以被组合。将在图20中例示具体示例。类似于第三示例性实施例，图20是例示具有不同材料的对象物体1700由两个照相机440和照相机460拍摄的状态的图。照相机440和照相机460的布置与在第二示例性实施例中描述的图16所示的布置相同。如上所述，图20中所示的结构是第二示例性实施例和第三示例性实施例的组合，由此四个区域的特征量被组合。具体地，从由照相机440拍摄的对象物体1700的右边区域和左边区域提取的两个特征量和从由照相机460拍摄的对象物体1700的右边区域和左边区域提取的两个特征量一起被组合。此外，可以通过改变第一示例性实施例中描述的照明条件(即，可采用的照明、照明光量或曝光时间)来增加用于综合地提取特征量的图像数据的数量。此外，在本示例性实施例中，对四个区域中的所有的特征量进行组合。然而，可以根据用户所需的分离性能的精确度或检查精度来改变要组合的特征量，由此可以组合例如仅仅三个区域的特征量。

此外，本发明的各方面可以通过执行以下处理来实现。用于实现上述示例性实施例的功能的软件(计算机程序)经由网络或各种存储介质被供给到***或装置。然后，该***或装置的计算机(或者CPU或微处理单元(MPU))读取和执行计算机程序。

其他实施例

还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的***或装置的计算机，来实现本发明的实施例，并且，可以利用通过由***或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算***的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存装置以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然针对示例性实施例描述了本发明的各方面，但是，应该理解，本发明的各方面并不限于所公开的示例性实施例。下述权利要求的范围应当被赋予最宽的解释，以便涵盖所有这类修改以及等同的结构和功能。

Claims (13)

1.一种分类器生成装置，所述分类器生成装置包括：

学习提取单元，其被构造为，基于针对具有已知的有缺陷外观或无缺陷外观的对象物体的、在至少两个不同的摄像条件下拍摄的图像，从至少两个图像中的各个提取特征量；

选择单元，其被构造为，从提取的特征量当中选择用于确定对象物体有缺陷还是无缺陷的特征量；以及

生成单元，其被构造为，基于选择的特征量，生成用于确定对象物体有缺陷还是无缺陷的分类器。

2.根据权利要求1所述的分类器生成装置，所述分类器生成装置还包括：

合成单元，其被构造为，对针对具有已知的有缺陷外观或无缺陷外观的对象物体的、在至少两个不同的摄像条件下拍摄的多个图像进行合成，

其中，基于所述拍摄图像的至少两个图像，包括由所述合成单元创建的合成图像和所述拍摄图像当中的未被选择作为所述合成单元的合成对象的图像中的至少任意一个。

3.根据权利要求2所述的分类器生成装置，其中，所述合成单元通过使用针对具有已知的有缺陷外观或无缺陷外观的对象物体，而在至少两个不同的摄像条件下拍摄的图像中的各个图像的像素值、图像的统计量和所述多个图像之间的统计量，来执行合成图像的操作。

4.根据权利要求1所述的分类器生成装置，其中，所述学习提取单元基于针对具有已知的有缺陷外观或无缺陷外观的对象物体的所述拍摄图像，从至少两个图像中的各个而生成不同频率的多个图像，并且，从生成的不同频率的图像中的各个提取特征量。

5.根据权利要求4所述的分类器生成装置，其中，所述学习提取单元使用小波变换或傅立叶变换来生成不同频率的多个图像。

6.根据权利要求4所述的分类器生成装置，其中，所述学习提取单元通过对不同频率的所述多个图像执行统计运算、卷积运算、微分运算或二值化处理中的至少任意一种来提取特征量。

7.根据权利要求1所述的分类器生成装置，其中，所述选择单元计算针对综合地包括由所述学习提取单元提取的特征量的特征量中的各个的评估值，或者针对综合地包括由所述学习提取单元提取的特征量的特征量的组合的评估值，基于计算出的评估值，对综合地包括由所述学习提取单元提取的特征量的特征量中的各个，或者综合地包括由所述学习提取单元提取的特征量的特征量的组合中的各个进行排名，并且根据所述排名选择用于确定对象物体有缺陷还是无缺陷的特征量。

8.根据权利要求7所述的分类器生成装置，其中，针对具有已知的有缺陷外观或无缺陷外观的对象物体中的各个，所述选择单元，

计算包括作为参数的特征量数量的得分，所述特征量用于确定对象物体有缺陷还是无缺陷，

按根据特征量数量的得分的位序来排列具有已知的有缺陷外观或无缺陷外观的对象物体中的各个，

基于对象物体具有有缺陷外观还是无缺陷外观，来评估排列的对象物体的排列位序，

基于评估的结果来推导要选择作为用于确定对象物体有缺陷还是无缺陷的特征量的特征量数量，并且

以与从所述排名中的最高位序推导的数量一样多的方式选择，综合地包括由所述学习提取单元提取的特征量的特征量，或者综合地包括由所述学习提取单元提取的特征量的特征量的组合。

9.根据权利要求1所述的分类器生成装置，其中，所述至少两个不同的摄像条件包括，在至少两个不同的照明条件下的摄像、在至少两个不同的摄像方向下的摄像或者对对象物体的至少两个不同区域的摄像中的至少任意一者。

10.根据权利要求9所述的分类器生成装置，其中，所述照明条件包括，针对对象物体的照明光量、针对对象物体的照明的照射方向或者用于执行摄像的图像传感器的曝光时间中的至少任意一者。

11.一种有缺陷/无缺陷确定方法，所述有缺陷/无缺陷确定方法包括：

基于针对具有已知的有缺陷外观或无缺陷外观的对象物体的、在至少两个不同的摄像条件下拍摄的图像，从至少两个图像中的各个提取特征量；

从所提取的特征量当中选择用于确定对象物体有缺陷还是无缺陷的特征量；

基于选择的特征量，生成用于确定对象物体有缺陷还是无缺陷的分类器；

通过检查提取，基于针对具有未知的有缺陷外观或无缺陷外观的对象物体的、在与所述摄像条件相同的摄像条件下拍摄的图像，从至少两个图像中的各个提取多个特征量；以及

基于通过所述检查提取而提取的特征量和生成的分类器，来确定对象物体的外观有缺陷还是无缺陷。

12.一种有缺陷/无缺陷确定装置，所述有缺陷/无缺陷确定装置包括：

学习提取单元，其被构造为，基于针对具有已知的有缺陷外观或无缺陷外观的对象物体的、在至少两个不同的摄像条件下拍摄的图像，从至少两个图像中的各个提取特征量；

选择单元，其被构造为，从提取的特征量当中选择用于确定对象物体有缺陷还是无缺陷的特征量；

生成单元，其被构造为，基于选择的特征量，生成用于确定对象物体有缺陷还是无缺陷的分类器；

检查提取单元，其被构造为，基于针对具有未知的有缺陷外观或无缺陷外观的对象物体的、在所述至少两个不同的摄像条件下拍摄的图像，从至少两个图像中的各个提取特征量；以及

确定单元，其被构造为，通过将提取的特征量与生成的分类器进行比较，来确定对象物体的外观有缺陷还是无缺陷。

13.一种有缺陷/无缺陷确定方法，所述有缺陷/无缺陷确定方法包括：

基于针对具有已知的有缺陷外观或无缺陷外观的对象物体的、在至少两个不同的摄像条件下拍摄的图像，从至少两个图像中的各个提取特征量；

从提取的特征量当中选择用于确定对象物体有缺陷还是无缺陷的特征量；

基于选择的特征量，生成用于确定对象物体有缺陷还是无缺陷的分类器；

通过检查提取，基于针对具有未知的有缺陷外观或无缺陷外观的对象物体的、在与所述摄像条件相同的摄像条件下拍摄的图像，从至少两个图像中的各个提取多个特征量；以及

基于通过所述检查提取而提取的特征量和生成的分类器来确定对象物体的外观有缺陷还是无缺陷。