CN110274908B - 缺陷检查装置、缺陷检查方法以及计算机可读记录介质 - Google Patents

缺陷检查装置、缺陷检查方法以及计算机可读记录介质 Download PDF

Info

Publication number
CN110274908B
CN110274908B CN201910030739.XA CN201910030739A CN110274908B CN 110274908 B CN110274908 B CN 110274908B CN 201910030739 A CN201910030739 A CN 201910030739A CN 110274908 B CN110274908 B CN 110274908B
Authority
CN
China
Prior art keywords
image
defect
determination
inspection
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910030739.XA
Other languages
English (en)
Other versions
CN110274908A (zh
Inventor
池田泰之
栗田真嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN110274908A publication Critical patent/CN110274908A/zh
Application granted granted Critical
Publication of CN110274908B publication Critical patent/CN110274908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种缺陷检查装置、缺陷检查方法以及计算机可读记录介质。缺陷检查装置包括：获取部，获取检查对象物的检查图像；图像生成部，通过对检查图像适用以使用学习用的图像数据提取一个以上的特征的方式进行了事先学习的已学习识别器，而生成一个以上的特征提取图像；***，基于用以判定检查对象物中有无检测对象部位的一个以上的判定用参数及基于特征提取图像而生成的二值化图像来确定与缺陷对应的区域；以及设定部，使用确定了与缺陷对应的区域的二值化图像即设定用图像，算出基于设定用图像的像素的颜色的浓度的图像得分，并以使区域的内部的图像得分与区域的外部的图像得分之差相对变大的方式更新判定用参数。

Description

缺陷检查装置、缺陷检查方法以及计算机可读记录介质
技术领域
本发明涉及一种能够执行使用通过机械学习而生成的识别器的缺陷检测处理的缺陷检查装置、缺陷检查方法以及包括程序(program)的计算机可读记录介质。
背景技术
在工厂自动化(Factory Automation，FA)领域，使用图像测量处理的自动控制已得到广泛实用化。例如实现如下所述的工序，即：对工件(work)等检查对象进行拍摄，并基于从所拍摄的图像中提取的特征量来对关于此工件的良否进行检查。
例如，在专利文献1中公开了一种装置，其基于将在多个拍摄条件下拍摄的检查对象的图像用于学习用数据而进行了学习的识别器的输出结果，来判定检查对象有无缺陷。具体来说，专利文献1所记载的装置具有：学习用提取部件，针对已知外观的良否的对象物，从基于在至少两个不同的拍摄条件下拍摄的图像的至少两个图像中分别提取此图像的特征量；选择部件，从跨越由所述学习用提取部件从所述至少两个图像中提取的特征量的特征量中，选择用以判定对象物的良否的特征量；以及生成部件，基于由所述选择部件所选择的所述特征量，生成判定对象物的良否的识别器。
现有技术文献
专利文献
专利文献1：日本专利特开2017-49974号公报
发明内容
发明所要解决的问题
像专利文献1所记载的那样的先前的识别器是学习基于图像的特征量来检测有无缺陷。然而，生产线上流动的工件的种类或摄影条件等检查条件根据生产线而多种多样，未必与学习时的条件一致。因此，在将经事先学习的识别器实际地用于生产线的情况下，识别器的输出结果有时会受到噪声(noise)等的影响。噪声例如是因光的反射或阴影等而混入至图像中的不需要的特征量。由此，为了基于识别器的输出结果来判定有无缺陷，优选可调整判定用的参数，以将噪声与缺陷切分。另一方面，所述调整需要工夫，所以存在导致生产性下降的情况。
本发明有鉴于所述情况而成，目的在于提供一种在使用经事先学习的识别器所输出的结果来检查有无缺陷的检查装置中，恰当且简单地对用于判别有无缺陷的判定用参数进行设定的技术。
解决问题的技术手段
为了解决所述课题，本发明采用以下的构成。
本发明的一方面的缺陷检查装置包括：获取部，获取检查对象物的检查图像；图像生成部，通过对检查图像适用以使用学习用的图像数据提取一个以上的特征的方式进行了事先学习的已学习识别器，而生成一个以上的特征提取图像；***，基于用以判定检查对象物中有无检测对象部位的一个以上的判定用参数及基于特征提取图像而生成的二值化图像来确定与缺陷对应的区域；以及设定部，使用确定了与缺陷对应的区域的二值化图像即设定用图像，算出基于设定用图像的像素的颜色的浓度的图像得分，并以使区域的内部的图像得分与区域的外部的图像得分之差相对变大的方式更新判定用参数。特征提取图像是指从输入至缺陷检查装置中的图像中提取了规定的特征的图像。二值化图像是指基于特征提取图像而生成，由***判定有无缺陷的图像。
在所述构成中，在使用经事先学习的识别器所输出的结果来检查有无缺陷的缺陷检查装置中，可恰当且简单地对用于判别有无缺陷的判定用参数进行设定。因可恰当地设定判定用参数，所以误判定减少。尤其是因可减少噪声，所以虽非缺陷但识别为缺陷的误检测减少。并且，因可简单地对判定用参数进行设定，所以可削减缺陷检查装置的设定工时、启动工时。
在所述一方面的缺陷检查装置中，也可构成为：二值化图像包括白色的像素及黑色的像素，对白色的像素与黑色的像素分别对应有浓度值，设定部针对区域内所含的多个像素，算出颜色的浓度值的合计值作为第1图像得分，针对区域外所含的多个像素，算出颜色的浓度值的合计值作为第2图像得分，并以使第1图像得分与第2图像得分之差成为最大的方式更新判定用参数。根据本方式，缺陷检查装置通过算出图像得分并进行比较，而能够探索恰当的判定用参数。
而且，也可构成为：判定用参数包含用以生成二值化图像的二值化等级。并且，也可构成为：判定用参数包括用以判定二值化图像的一个以上的判定项目以及针对判定项目的各者而设定的判定阈值。根据本方式，可恰当且简单地对生成作为由***判定有无缺陷的对象的二值化图像的阈值进行设定。由此可进一步减少误判定。
而且，在所述一方面的缺陷检查装置中，也可构成为：用以判定缺陷的一个以上的判定项目包括二值化图像中以同色的像素块表现的规定的区域的面积、外切矩形的宽度和/或高度、周长、纵横比、圆形度中的至少一者，判定阈值包括针对这些判定项目的各者而设定的上限值和/或下限值。根据本方式，缺陷检查装置可按照判定项目来设定判定阈值。由此，能够设定更恰当的判定用参数。
而且，判定项目及判定阈值也可基于图像生成部或***的学习时所使用的学习用的图像数据中所含的缺陷的特征量而决定。根据本方式，缺陷检查装置可对与学习用数据集(data set)中所含的学习用图像所具有的缺陷的形状分布对应的判定条件进行设定，并可提取具有与学习用数据集中所含的缺陷同等形状的缺陷。
而且，所述一方面的缺陷检查装置，也可构成为，还包括：显示部，受理区域的指定，***基于预定的判定用参数来确定要被判定为缺陷的区域，并且将确定出的区域与检查图像一起输出至显示部，设定部基于经由显示部而受理到的区域的指定来生成设定用图像。根据本方式，用户能够对预定的判定用参数在事后进行调整，从而可更恰当且容易地对***的缺陷检查的制度进行调整。结果，可进一步减少与用户对***的缺陷检测的精度调整有关的负荷。
而且，在所述一方面的缺陷检查装置中，也可构成为：***在二值化图像中，基于针对用以判定缺陷的一个以上的特征量的各者而设定的判定阈值，确定二值化图像中要被判定为缺陷的区域，并将确定出的区域提示给用户，设定部受理来自用户的、虽被***判定为缺陷但不应该被判定为缺陷的区域、和/或虽未被***判定为缺陷但应被判定为缺陷的区域的指定，并基于此指定来更新判定阈值。而且，用以判定缺陷的一个以上的判定项目与判定阈值也可基于用户的指定而决定。根据本方式，用户能够对预定的判定用参数在事后进行调整，从而可更恰当且容易地对***的缺陷检查的制度进行调整。
而且，本发明的一方面的缺陷检查方法是由计算机执行如下步骤：获取检查对象物的检查图像的步骤；通过对检查图像适用以使用学习用的图像数据提取一个以上的特征的方式进行了事先学习的已学习识别器，而生成一个以上的特征提取图像的步骤；基于用以判定检查对象物中有无检测对象部位的一个以上的判定用参数及基于特征提取图像而生成的二值化图像来确定与缺陷对应的区域的步骤；以及使用确定了与缺陷对应的区域的二值化图像即设定用图像，算出基于设定用图像的像素的颜色的浓度的图像得分，并以使区域的内部的图像得分与区域的外部的图像得分之差相对变大的方式更新判定用参数的步骤。
在所述构成中，在使用经事先学习的识别器所输出的结果来检查有无缺陷的方法中，可恰当且简单地对用于判别有无缺陷的判定用参数进行设定。因可恰当地设定判定用参数，所以误判定减少。尤其是因可减少噪声，所以虽非缺陷但识别为缺陷的误检测减少。并且，因可简单地对判定用参数进行设定，所以可削减缺陷检查装置的设定工时、启动工时。
而且，本发明的一方面的程序使计算机作为如下部件而发挥功能：获取检查对象物的检查图像的部件；通过对检查图像适用以使用学习用的图像数据提取一个以上的特征的方式进行了事先学习的已学习识别器，而生成一个以上的特征提取图像的部件；基于用以判定检查对象物中有无检测对象部位的一个以上的判定用参数及基于特征提取图像而生成的二值化图像来确定与缺陷对应的区域的部件；以及使用确定了与缺陷对应的区域的二值化图像即设定用图像，算出基于设定用图像的像素的颜色的浓度的图像得分，并以使区域的内部的图像得分与区域的外部的图像得分之差相对变大的方式更新判定用参数的部件。
在所述构成中，在使用经事先学习的识别器所输出的结果来检查有无缺陷的程序中，可恰当且简单地对用于判别有无缺陷的判定用参数进行设定。因可恰当地设定判定用参数，所以误判定减少。尤其是因可减少噪声，所以虽非缺陷但识别为缺陷的误检测减少。并且，因可简单地对判定用参数进行设定，所以可削减缺陷检查装置的设定工时、启动工时。
发明的效果
根据本发明，可提供一种在使用经事先学习的识别器所输出的结果来检查有无缺陷的缺陷检查装置中，恰当且简单地对用于判别有无缺陷的判定用参数进行设定的技术。
附图说明
图1是表示本实施方式的缺陷检查***的***构成例的示意图。
图2是表示本实施方式的缺陷检查装置的硬件(hardware)构成的示意图。
图3是表示本实施方式的缺陷检查装置的功能构成的示意图。
图4是用于说明本实施方式的缺陷检查***中的使用CNN的图像测量处理的处理流程的一例的图。
图5A是表示本实施方式的提供给卷积神经网络(Convolutional NeuralNetwork，CNN)引擎的学习数据集(data set)的一例的图。
图5B是用以对本实施方式的CNN引擎的学习时的输入·输出及期待值进行说明的示意图。
图6是用以对本实施方式的缺陷检查***中的半自动设定模式的处理的一例进行说明的流程图。
图7是用以对本实施方式的缺陷检查***中的自动手动设定模式的处理的一例进行说明的流程图。
图8是用以对本实施方式的缺陷检查装置中的缺陷区域的一例进行说明的图。
图9是用以对本实施方式的缺陷检查***中的自动手动设定模式的处理的一例进行说明的流程图。
图10A是表示本实施方式的缺陷检查装置所提供的用户接口(interface)画面200的一例的示意图。
图10B是表示本实施方式的缺陷检查装置所提供的用户接口画面200的一例的示意图。
图10C是表示本实施方式的缺陷检查装置所提供的用户接口画面200的一例的示意图。
图10D是表示本实施方式的缺陷检查装置所提供的用户接口画面200的一例的示意图。
图11是表示本实施方式的缺陷检查***中的准备工序的处理流程的流程图。
图12是表示本实施方式的缺陷检查***中的运用工序的处理流程的流程图。
符号的说明
1：缺陷检查***
2：带式输送机
4：工件
6：拍摄视野
8：上位网络
10：缺陷检查装置
12：数据库装置
100：缺陷检查装置
102：摄像机
104：显示器
106：键盘
108：鼠标
110：处理器
112：主存储器
114：摄像机接口
116：输入接口
118：显示接口
120：通信接口
122：内部总线
130：存贮器
132：图像处理程序
136：判定用参数
138：输入图像
140：测量结果
152：输入缓冲器
154：前处理部
156：引擎
158：选择部
160：图像运算部
162：判定部
166：设定部
170：后处理部
300：自动设定画面
700：手动设定画面
710：二值化等级设定部
711：二值化等级控制器
712：二值化等级显示栏
720：判定条件设定部
721：判定项目选择栏
722：判定阈值设定栏
730：测量结果图像显示部
800：半自动设定画面
830：第3特征区域选择部
900：自动设定画面
901：图形登记区域
902：坐标输入区域
903：显示区域
911：图形按钮
具体实施方式
以下，基于附图来说明本发明的一方面的实施方式(以下也记作“本实施方式”)。但是，以下说明的实施方式在所有方面不过是本发明的例示。当然能够不超出本发明的范围而进行各种改良或变形。即，在本发明的实施时，也可适当采用与实施方式相应的具体构成。另外，本实施方式中，通过自然语言来说明所出现的数据，更具体来说，是以计算机可识别的模拟语言、命令、参数、机器语言等来指定。
§1适用例
首先，使用图1来说明适用本发明的场景的一例。图1是表示本实施方式的缺陷检查***1的适用场景的一例的示意图。本实施方式的缺陷检查***1可在对通过对检查对象进行拍摄而生成的输入图像进行缺陷检查时，以根据作为缺陷而提取的特征来设定恰当的判定用参数的方式对作业者(以下，也称为“用户”)进行辅助。另外，检查对象例如包括处于制造过程的零件、制品等工件(Work piece)等。
如图1所示，缺陷检查***1例如通过对拍摄在带式输送机(belt conveyor)2上搬送的检查对象即工件4所得的输入图像执行图像测量处理，而实现工件4的外观检查或外观测量。在以下的说明中，作为图像测量处理的典型例，是对适用于工件4表面的缺陷有无的检查等的示例进行说明，但并不限于此，也能够应用于缺陷种类的确定、缺陷外观形状的尺寸测量等。
在带式输送机2的上部，配置有作为拍摄部的摄像机(camera)102，摄像机102的拍摄视野6是以包含带式输送机2的规定区域的方式而构成。通过摄像机102的拍摄而生成的图像数据(以下也称作“输入图像”)被发送至缺陷检查装置100。摄像机102的拍摄是周期性地、或事件(event)性地执行。
缺陷检查装置100经由上位网络8而与可编程逻辑控制器(Programmable LogicController，PLC)(可编程控制器(programmable controller))10及数据库(data base)装置12等连接。缺陷检查装置100中的测量结果也可被发送至PLC 10和/或数据库装置12。另外，除了PLC 10及数据库装置12以外，上位网络8也可连接任意装置。
缺陷检查装置100也可连接用于显示处理中的状态或测量结果等的显示器(display)104、作为受理用户操作的输入部的键盘(keyboard)106及鼠标(mouse)108。
缺陷检查装置100具有通过机械学习而生成的识别器。作为一例，缺陷检查装置100具有CNN引擎。CNN引擎构成使用卷积神经网络(Convolutional Neural Network，CNN)的识别器，并构成为生成：输入图像属于预先指定的与规定的特征对应的多个类别(class)(分类)中的任一者的概率，及与各类别对应的特征提取图像。此处，特征提取图像是指从输入图像提取了规定的特征的图像，在本实施方式中，规定的特征(类别)为背景、黑点、白点、黑线、白线这五种。CNN引擎基于包括按照所述多个类别而准备的学习用图像及教师数据(标签(label))的学习数据集来进行事先学习，由此生成从输入图像提取了规定的特征的特征提取图像。CNN引擎通过使用学习数据集的事先学习，而预先获得了以生成属于规定的类别的概率及特征提取图像的方式经调整的内部参数。此处，内部参数包含神经网络的构成(例如，神经网络的层数、各层中的神经元(neuron)的个数、神经元彼此的结合关系、各神经元的激活函数)、超参数(hyperparameter)(表示各神经元间的结合的权重及各神经元的阈值的信息)。在本实施方式中，规定的特征包括与缺陷的形状相关的特征及与缺陷的颜色的浓度相关的特征。更具体来说，作为与缺陷的形状相关的特征，包括点缺陷及线缺陷，作为与缺陷的颜色的浓度相关的特征，包括白缺陷及黑缺陷。通过它们的组合，本实施方式的CNN引擎包括“白点”、“白线”、“黑点”、“黑线”作为规定的类别，并生成与各类别对应的一个以上的特征提取图像。这些特征提取图像由灰阶(gray scale)来表现。CNN引擎的构成及CNN引擎的学习过程将后述。
并且，缺陷检查装置100具有***(以下，也称为“后处理部”)，所述***基于CNN引擎所输出的一个或多个特征提取图像，生成与各类别对应的特征由白色或黑色的像素表现的二值化图像，并使用此二值化图像及判定用的参数(以下，也称为“判定用参数”)对作为对象的工件中有无缺陷等进行判断。另外，除有无缺陷以外，后处理部还可对缺陷的大小、位置、种类等进行检测。此处，判定用参数是包含用以生成二值化图像的二值化等级(level)、是否将二值化图像中所含的特征判定为缺陷的判定项目及对应于各判定项目而设定的判定阈值的参数。作为判定项目，可列举表示特征的像素的面积、外切矩形的宽度及高度、周长、圆形度等。另外，圆形度是用以表示图形的复杂度的数值。圆形度的值越大，越表示接近于圆形，越表示为某种花纹，而非缺陷。判定阈值优选包括上限值及下限值，是用以将具有包含于上限值与下限值之间的特征量的特征判定为缺陷的阈值。
生产线上流动的工件的种类或摄影条件等检查条件根据生产线而多种多样，未必与学习时的条件一致。因此，在将已学习的CNN用于生产线时，根据内部参数，存在将噪声包含在特征提取图像中的情况。噪声例如是因光的反射或阴影等而混入至图像中的不需要的特征量。此种噪声会导致虽为缺陷但判定为非缺陷的误判定或虽非缺陷但判定为缺陷的误判定。因此，有时需要由后处理部在特征提取图像中含有噪声的情况下，将噪声与缺陷切分的处理。噪声与缺陷的切分处理是基于判定用参数来进行，而根据生产线通过手动来适当地调整判定用参数会花费工夫，从而使生产性下降。
本实施方式的缺陷检查装置100有鉴于所述情况，而具有根据实际上要进行缺陷判定的输入图像来更新用以在后处理部中切分CNN引擎所输出的特征提取图像中所含的噪声与缺陷的判定用参数。具体来说，本实施方式的缺陷检查装置100首先对输入图像(检查图像)适用学习器(CNN)，由此生成一个以上的特征提取图像。然后，对一个以上的特征提取图像执行加减法处理(也可不进行)及基于预定的二值化等级的初始值的二值化处理而生成二值化图像。并且，缺陷检查装置100基于预定的判定项目及判定阈值的初始值来进行由***确定缺陷部分的判定处理。此时，***可将判定处理结果显示(将判定为缺陷的区域与图像一起进行提示)给用户，并受理来自用户的反馈。例如，缺陷检查装置100可在***漏检了要检测为缺陷的区域(缺陷区域)的情况下，受理用户对缺陷区域的追加。而且，缺陷检查装置100可在***将噪声错误地判定为缺陷区域的情况下，受理此缺陷区域的削除。当受理来自用户的反馈时，缺陷检查装置100使用被指定了缺陷区域的图像(设定用图像)以使此缺陷区域内外的浓度之差变大的方式来调整判定用参数(二值化等级、判定项目、判定阈值)。
另外，也可不进行“经由显示部受理来自用户的区域指定”的处理。在此情况下，只要获取预先确定了缺陷区域的图像即可(像图7、图9的全自动模式中的S201那样，使用预先确定了缺陷区域的图像即可)。
另外，本实施方式的缺陷检查装置10至少具有由用户对预设(preset)的判定用参数进行调整的功能(半自动模式)作为判定用参数的设定模式。由此，用户在预设的判定用参数不恰当的情况下进行调整即可，所以，可减少判定用参数设定的负荷。而且，本实施方式的缺陷检查装置10除半自动模式以外，还具有自动设定判定用参数的模式(全自动模式)及由用户手动设定判定用参数的功能(手动模式)。另外，第1设定模式、第2设定模式、第3设定模式分别对应于半自动模式、手动模式、全自动模式。
§2构成例
＜1.缺陷检查装置100的硬件构成＞
其次，对本实施方式的缺陷检查***1中所含的缺陷检查装置100的硬件构成进行说明。
图2是表示本实施方式的缺陷检查装置100的硬件构成的示意图。参照图2，作为一例，缺陷检查装置100也可使用遵循通用的计算机架构(architecture)而构成的通用计算机来实现。缺陷检查装置100包含处理器(processor)110、主存储器(main memory)(主存储部)112、摄像机接口114、输入接口116、显示接口118、通信接口120以及存贮器(storage)(辅助存储部)130。典型的是，这些组件(component)经由内部总线(bus)122可彼此通信地连接。
处理器110通过将保存在存贮器130中的程序在主存储器112中展开并执行，从而实现像使用图3及图12而后述的那样的功能及处理。主存储器112包含易失性存储器，作为处理器110执行程序所需的工作存储器(work memory)发挥功能。
摄像机接口为获取部的一例。摄像机接口114与摄像机102连接，获取由摄像机102所拍摄的输入图像。摄像机接口114也可对摄像机102指示拍摄时机等。
输入接口116与键盘106及鼠标108等进行用户的操作的输入部连接。输入接口116获取表示用户对输入部进行的操作等的指令。
显示接口118与作为显示部的显示器104连接。显示接口118将通过处理器110执行程序而生成的各种处理结果输出至显示器104。
通信接口120负责用于经由上位网络8来与PLC 10及数据库装置12等进行通信的处理。
存贮器130保存有用于实现CNN引擎的图像处理程序132及操作***(OperatingSystem，OS)134等用于使计算机作为缺陷检查装置100发挥功能的程序。并且，存贮器130也可保存有用于实现如后所述的图像测量处理的判定用参数136、从摄像机102获取的输入图像138、及通过图像测量处理而获得的测量结果140。
保存在存贮器130中的图像处理程序132也可经由数字通用光盘(DigitalVersatile Disc，DVD)等光学记录介质或通用串行总线(Universal Serial Bus，USB)存储器等半导体记录介质等而安装于缺陷检查装置100。或者，图像处理程序132也可从网络上的服务器(server)装置等下载(download)。
本实施方式的图像处理程序132也可通过与OS协动来提供所需的功能，而不用包含用于实现本实施方式的功能的所有软件模块。
本实施方式的图像处理程序132也可编入其他程序的一部分而提供。在此情况下，图像处理程序132自身不包含如上所述的进行组合的其他程序中所含的模块，而与所述其他程序协动地执行处理。如此，本实施方式的图像处理程序132也可为编入其他程序中的状态。
图2示出了使用通用计算机来实现缺陷检查装置100的示例，但并不限于此，也可使用专用电路(例如专用集成电路(Application Specific Integrated Circuit，ASIC)或现场可编程门阵列(Field-Programmable Gate Array，FPGA)等)来实现其全部或一部分功能。并且，也可使经网络连接的外部装置负责一部分处理。
＜2.缺陷检查装置100的功能构成＞
其次，参照图3及图4来说明本实施方式的缺陷检查***1中所含的缺陷检查装置100的功能构成。另外，在图3中，CNN引擎156相当于图像生成部，后处理部170(尤其是判定部162)相当于***。
图3是表示本实施方式的缺陷检查装置100的功能构成的示意图。典型的是，缺陷检查装置100所具有的各功能构成是通过前述的处理器110执行图像处理程序132而实现的运算处理。而且，图4是用于说明本实施方式的缺陷检查装置100中的检查工序(运用工序)的一例的示意图。
参照图3，缺陷检查装置100包含输入缓冲器(buffer)152、前处理部154、CNN引擎156、后处理部170及设定部166以作为功能构成。以下，详细说明各功能部。
(2-1.输入缓冲器152)
输入缓冲器152暂时保存由摄像机102所拍摄的输入图像。处理器110将输入图像存储至存贮器130中，由此来实现输入缓冲器152。对于输入缓冲器152，可从前处理部154及设定部166进行存取(access)。
(2-2.前处理部154)
前处理部154对保存在输入缓冲器152中的输入图像执行所需的前处理。本实施方式的前处理部154在启动检查工序(以下，也称为“准备工序”)时生成前处理过滤器。前处理过滤器例如是用于对输入图像进行转换的参数(过滤器参数)。另外，作为前处理过滤器的具体例，可列举明度修正、彩色灰度转换、后述输入图像的扩大缩小等。另外，前处理过滤器可根据形态而适宜地适用于输入图像。
后述CNN引擎156通过事先学习而获取了用以提取规定的特征提取图像的内部参数。由此，CNN引擎156可提取收敛于由内部参数规定的特征量的宽度的特征。但是与内部参数对应的特征量的范围是依存于已学习模型的生成中所利用的学习数据中包含的缺陷的种类而决定。因此，当在生产线上产生不包含于学习数据中的具有特异的特征的缺陷时，存在此缺陷的特征量脱离由事先学习而获得的特征量，从而发生误识别(漏检)的情况。而且，当在生成线上产生不包含于学习数据中的具有特异的特征的背景区域的图案时，存在此背景区域的图案与由事先学习而获得的特征量的范围一致，从而发生误识别(过检)的情况。
因此，前处理部154在准备工序中生成能够如下转换输入图像的前处理过滤器。
·以使输入图像中所含的与缺陷对应的区域的特征量的宽度包含在与内部参数对应的特征量的范围内的方式，对输入图像进行扩大缩小。
·以使输入图像中所含的非缺陷区域的特征不收敛于利用内部参数抽取的特征量的方式，对输入图像进行扩大缩小。
并且，在实际地进行检查的工序(以下，也称为“运用工序”)中，针对输入图像，作为前处理，通过适用所述前处理过滤器来进行输入图像的转换(图4的S1)。此种前处理的目的在于，对输入图像进行加工，以便使处于后段的利用CNN引擎156的特征的提取容易化。关于前处理的内容，也可由用户经由设定部166来指定。前处理后的输入图像(以下也称为“已前处理图像”)被输出至CNN引擎156(图4的S2)。
(2-3.CNN引擎156)
CNN引擎156提供特征提取图像生成功能，即：将经事先学习的具有多个类别的CNN引擎156适用于输入图像，由此，分别生成与多个类别对应的多个特征提取图像。通过CNN引擎156分别生成的多个特征提取图像被输出至后处理部170，并且也能够由设定部166存取。
以下，对CNN引擎156的功能进行更详细的说明。
CNN引擎156构成为在输入有图像的情况下，输出所输入的图像属于预先指定的多个类别(分类：n)的概率prob(n)。概率是按照预先指定的多个类别(分类)而算出。本实施方式中的CNN引擎156通过事先学习，输出：输入图像为属于哪一类别的图像的概率prob(n)及属于所述类别的特征提取图像(特征提取图像1、特征提取图像2、···、特征提取曲线N)(图4的S3)。本实施方式中，多个类别为背景、黑点、白点、黑线、白线这五个类别。通过将由摄像机102等所拍摄的输入图像输入至CNN引擎156，从而分别生成提取了被分类为这些类别“白点”、“黑点”、“白线”、“黑线”的特征的特征提取图像。在图4所示的特征提取图像中，以表示各特征的区域与其他区域的浓度差变大的方式来进行显示。另外，作为加大浓度差来进行显示的示例，可包含比其他区域更亮地进行显示的形态、或使比其他区域更暗的形态，但并不限于这些，只要是能够区分表示规定的特征的区域的形态，则为任何形态皆可。
如上所述，CNN引擎156通过事先学习而获得了用以生成与各类别对应的特征提取图像的内部参数。例如，当对“白线”或“黑线”的类别进行提取时，内部参数能够以可提取的缺陷的宽度的像素(pixel)数来表示。内部参数是根据通过事先学习所提供的学习图像中所含的缺陷的种类而获得。
本实施方式的CNN引擎156具有一个或多个卷积层(convolution layer)(例如L1～L3)、一个或多个池化层(pooling layer)、全结合层(fully connected Layer)(例如L4、L5)、归一化指数层(softmax layer)(例如L6)。输入图像的各图像的信息经由多个卷积层及多个池化层而被输出至全结合层。通过卷积层的卷积处理及池化层的图像尺寸的压缩处理而提取图像的特征。
全结合层将经由卷积层及池化层而提取了特征的图像数据结合于特定的节点，并输出通过规定的函数进行了转换的特征变量。设于各结合层的各节点为与预先指定的多个类别对应的图像数据。
全结合层的输出被输出至归一化指数层(输出层)。在归一化指数层中，以0～1的范围输出是属于预先指定的多个类别分类(n)的哪一者的概率prob(n)。
另外，卷积层、全结合层的计算式分别如式(1)、式(2)所提供。在各式中，多个权重W及偏压B为包含在内部参数中的超参数，这些内部参数由学习而决定。而且，归一化指数层的计算式由式(3)表示。
数1
卷积层的计算式
Figure BDA0001944137930000101
Itop(X,Y,n)：输出图像
Ibtm(x,y,c)：输入图像
W(x,y,c,n)：卷积的系数
B(n)：偏压
Kx、Ky：卷积的核的尺寸
C：输入图像的通道数
数2
全结合层的计算式
Figure BDA0001944137930000102
Itop(c)：输出图像
Ibtm(c)：输入图像
W(c,n)：全结合的系数
B(n)：偏压
C：输入图像的通道数
数3
归一化指数层的计算式
Figure BDA0001944137930000111
prob(n)：属于第n个分类的概率(0～1)
Ibtm(c)：输入图像
N：分类数
其次，对本实施方式的CNN引擎156的学习进行说明。将本实施方式中所使用的、包含学习用图像及教师数据(标签)的学习数据集的一例示于图5A。而且，将使用图5A所示的学习数据及教师数据的集合(set)的学习过程的概略示于图5B。
如图5A所示，学习数据具有与预先指定的多个类别(分类：n)对应的学习用的图像。在本实施方式中，如图5A所示，分别准备了多个与以背景、黑点表现的缺陷、以白点表现的缺陷、以黑线表现的缺陷、以白线表现的缺陷这五种类别对应的学习用图像。并且，在各学习用的图像数据中，赋予有0～4的号码的表示各图像数据的分类的教师数据(标签)。更具体来说，对背景赋予0，对以黑点表现的缺陷赋予1，对以白点表现的缺陷赋予2，对以黑线表现的缺陷赋予3，对以白线表现的缺陷赋予4。
如图5B所示，在CNN引擎156的学习中，首先，通过随机数使构成CNN的内部的、所有的超参数的值初始化。继而，将图5A所示的学习数据集中所含的学习用图像输入至CNN引擎156，并使所述CNN引擎156输出概率分布prob(n)。继而，将CNN引擎156所输出的概率分布的实测值prob(n)与概率分布的输出期待值进行比较。此处，概率分布的输出期待值为：与输入的学习用图像对应的标签的概率分布prob(n)＝1且不与输入的学习用图像对应的标签的概率分布prob(n)＝0。因此，如图5B所示，当含有以黑线表现的缺陷的输入图像被关联作为教师数据(标签)的3时，优选其概率分布的输出期待值为：prob(3)＝1且其他的概率分布的输出期待值prob(n：0、1、2、4)＝0。因此，CNN引擎156的学习为如下处理，即：以使在输入有某学习用图像的情况下归一化指数层所输出的概率分布的实测值跟与所述学习用图像对应的标签的输出期待值之差成为最小的方式，探索并更新超参数的组合。
超参数的更新是通过如下方式进行：使用多个学习用图像算出概率分布prob(n)，以概率分布的实测值与输出期待值的交叉熵(Cross Entropy)的合计作为损失函数，对超参数的值进行反复运算，以使以下的式(4)所示的损失函数最小化。此时，超参数的运算中可使用梯度下降法及误差反向传播法。当更新前后的超参数之差不足规定值时，完成学习。
数4
损失函数的计算式(交叉熵)
Figure BDA0001944137930000121
prob(n)：属于第n个分类的概率的实测值(0～1)
ex(n)：属于第n个分类的概率的期待值(0或1)
N：分类数
Cnt：学习图像数
(2-4.后处理部170)
后处理部170通过对从CNN引擎156输出的多个特征提取图像中的至少一部分特征提取图像进行后处理，而生成测量结果图像。具体来说，后处理部170从CNN引擎156所输出的多个特征提取图像中选择经指定的一个或多个特征提取图像，并执行后处理，由此输出测量结果图像(图4的S4)。关于一个或多个特征提取图像的选择，也可如图3所示经由设定部166受理用户的指定。另外，后处理部170也可在输出测量结果图像的同时一并输出测量结果。测量结果包括对输入图像执行了缺陷检查处理时所获得的判定结果(例如，缺陷的有无、缺陷图案的大小、缺陷图案的位置等)。
在本实施方式中，后处理部170包括选择部158、图像运算部160及判定部162。
选择部158从CNN引擎156所输出的多个特征提取图像中选择一个或多个特征提取图像，并将所选择的特征提取图像输出至图像运算部160。另外，选择部158在选择特征提取图像时，也可经由后述设定部166受理用户的选择。
图像运算部160在选择部158选择了多个特征提取图像的情况下，视需要执行规定的图像处理，并将其结果输出至判定部162。此处，图像运算处理包括在多个图像间，在对应的像素之间进行包含四则运算的任意的数学性处理。更具体来说，图像运算部160例如可使用所选择的多个特征提取图像中两个以上的特征提取图像来执行图像彼此的加法处理，图像间的减法处理及它们的加权运算处理作为图像运算处理。
图4示出了由选择部158选择了“黑线”的特征提取图像作为最恰当的特征提取图像的示例。但是，在此示例中，在“黑线”的特征提取图像内也出现了相当于“黑点”的特征。即，在“黑线”的特征提取图像及“黑点”的特征提取图像的任一者中，共同出现了点状的特征部分。鉴于输入图像，此相当于“黑点”的特征不表示缺陷而是噪声。如此，根据输入图像中所含的特征的种类或大小，缺陷与缺陷以外(例如，背景部分或噪声)的图案分离变难。此时，图像运算部160可通过以从其中一个特征提取图像中减去另一个特征提取图像中出现的特征的方式执行图像运算处理，而仅提取目标特征。即，在图4所示的示例中，图像运算部160执行求出构成“黑线”的特征提取图像的各像素的亮度值与构成“黑点”的特征提取图像的各像素的亮度值之差的处理。另一方面，有时与缺陷对应的特征分散地出现在多个类别的特征提取图像中。例如，当在检查对象物中产生了多个划痕状的缺陷时，有时其中一个划痕缺陷因照明条件而被提取为“白线”的特征提取图像，而其他划痕缺陷被提取为“黑线”的特征提取图像。在此种情况下，图像运算部160也可执行“白线”的特征提取图像与“黑线”的特征提取图像的加法处理。如此，通过对所选择的多个特征提取图像执行图像彼此的加减法处理、加权运算处理，而可生成包含作为缺陷而提取的特征的图像。
另外，图像运算部160在选择部158仅选择了一个特征提取图像的情况下，也可不进行图像运算处理，而直接将特征提取图像输出至判定部162。而且，关于图像运算部160执行哪一种图像运算处理，也可经由设定部166而从用户处受理。
判定部162依照从后述设定部166至少输入的判定用参数，对图像运算部160所输出的特征提取图像(图像运算已处理或图像运算未处理)执行二值化处理及判定处理，并输出测量结果图像。另外，判定部162也可在输出测量结果图像的同时一并输出测量结果。
在本实施方式中，判定用参数至少包含二值化等级或判定条件。二值化等级是由判定部162通过二值化处理来生成对如下图像进行了二值化的图像(二值化图像)时使用的阈值，所述图像为：特征提取图像、或者由图像运算部160对多个特征提取图像实施图像处理而得的图像。而且，判定条件是对判定部162判定二值化图像中是否包含缺陷时使用的表示特征量的种类的判定项目(例如，检测为缺陷时的此图像的面积或外切矩形的宽度·高度、周长、纵横比、圆形度等)及此判定项目中所设定的、表示检测为缺陷的特征量的范围的判定阈值进行组合而得的信息。判定阈值优选设定有上限及下限。而且，判定条件中所含的判定项目并不限定于单一的项目，也可包含多个判定项目。在此情况下，判定条件是指多个判定项目与针对所述多个判定项目分别设定的阈值的组合信息。另外，判定用参数也可还包含对判断逻辑进行指定的信息等。
在以下的说明中，对通过后述设定部166的处理来设定判定用参数的示例进行说明，但当将经机械学习等的学习器用作后处理部170时，也可为通过事先学习而获取有判定用参数的构成。在此情况下，判定用参数通过后述设定部166的处理而被更新为恰当的值。
对判定部162的二值化处理及判定处理的细节进行说明。
二值化处理是判定部162依照判定用参数中所含的二值化等级，自特征提取图像、或者由图像运算部160对多个特征提取图像实施图像处理而得的图像(以下，也称为“中间图像”)生成二值化图像的处理。更详细来说，作为二值化处理，判定部162首先针对图像运算部160所输出的中间图像，基于判定用参数中所含的二值化等级来生成二值化图像。二值化等级例如是与像素的强度相关的阈值。例如，以判定部162生成以白及黑此二值来表示特征提取图像的浓度的二值化图像的情况为例进行说明。在此情况下，原本的特征提取图像的浓度虽具有连续的值，但判定部162将具有二值化等级以上的强度的像素全部转换为黑，并将具有不足二值化等级的强度的像素全部转换为白，由此生成将特征提取图像二值化的二值化图像。另外，强度与黑白的对应关系并不限定于此，也可相反。
其次，判定处理是判定部162依照判定用参数中所含的判定条件，自二值化图像(中间图像的一例)生成测量结果图像(或者测量结果图像与测量结果)的处理。更详细来说，作为判定处理，判定部162在通过二值化处理而生成的二值化图像中提取相同颜色连接成的像素块(以下，也称为“第1特征区域”)。并且，判定部162基于作为判定用参数而提供的判定条件，从所提取的第1特征区域中提取要被检测为缺陷的区域。并且，生成仅对应检测为缺陷的第1特征区域进行了提取的测量结果图像并予以输出。
例如，在提供有将面积设为判定项目的判定条件的情况下，判定部162在某第1特征区域的面积处于作为判定条件而提供的判定阈值的范围内的情况下，提取此第1特征区域作为被检测为缺陷的区域。并且，判定部162生成从二值化图像中提取了被检测为缺陷的区域的测量结果图像。
(2-5.设定部166)
设定部166对判定部162在判定处理中使用的判定用参数进行设定，并输出至判定部162。本实施方式的设定部166具有以下三种对判定用参数进行设定的模式。
·手动模式
·半自动模式
·全自动模式
另外，设定部166只要至少具有所述设定模式中的半自动模式即可，无须具有所有的模式。对各模式的设定处理进行详细说明。
(1)手动模式
在手动模式中，设定部166受理来自用户的、判定项目的选择及所选择的判定项目中设定的判定阈值(上限及下限)的设定，以作为判定条件的设定。而且，设定部166在手动模式下也受理用户对二值化等级的设定。设定部166将受理到的二值化等级及判定条件作为判定参数而输出至判定部162。
(2)半自动模式
在半自动模式中，是设定部166在对判定用参数进行了临时设定后，受理用户对参数的调整的模式，是在用户自由调整判定用参数的状态下自动地执行判定用参数的临时设定的设定模式。使用图6对半自动模式下的设定部166的处理的一例进行说明。
在半自动模式中，首先，设定部166临时设定判定用参数并将其输出至判定部162(S101)。具体来说，设定部166也可基于CNN引擎156的学习中所使用的学习数据集中所含的学习用图像中所含的缺陷的特征来对判定条件进行临时设定。而且，设定部166也可基于CNN引擎156所获得的内部参数来对判定条件进行临时设定。此处，学习用图像中包含有各种形态的缺陷。因此，在这些缺陷的形状的特征例如缺陷的面积、长度、周长、圆形度等明确的情况下，基于学习用图像中所含的缺陷的形状来设定判定项目及判定阈值。据此，可设定与学习用数据集中所含的学习用图像所具有的缺陷的形状的分布对应的判定条件，并可检测出具有与学习用数据集中所含的缺陷同等的形状的缺陷。而且，使用学习用数据集而获得的CNN引擎156的内部参数是以对学习用图像中所含的各种形态的缺陷进行检测的方式而获得，所以通过基于CNN引擎156的内部参数来设定判定项目及判定阈值，可设定能够检测出具有与学习用数据中所含的缺陷同等的形状的缺陷的判定条件。如此，例如设定部166将与学习用图像和内部参数对应的特征量临时设定为判定阈值。此时，设定部166优选考虑到前处理部154所设定的前处理过滤器来对判定用参数进行临时设定。例如，在通过前处理过滤器对输入图像进行了扩大或缩小的情况下，关于针对第1特征区域的面积等判定项目的判定阈值，优选考虑到前处理过滤器的扩大缩小率而以与事先学习的内部参数相比扩大的方式临时设定。
另外，关于二值化等级及判定项目，也可为如下构成，即：事先受理用户的指定。由此可使判定用参数的临时设定处理高速化。在此情况下，在S101的处理中，设定部166按照由用户指定的判定项目，基于内部参数而将判定阈值临时设定为判定用参数。
当将判定部162临时设定的判定用参数输出至判定部162时(S102)，判定部162从二值化图像中所提取的第1特征区域中，提取与临时设定的判定用参数一致的区域，作为要被检测为缺陷的区域(以下，也称为第2区域)。并且，输出二值化图像中对第2特征区域进行了强调显示的设定用图像(参照图10B)。设定部166将所输出的设定用图像提示给用户，并受理经强调显示的第2特征区域中应排除(即不检测为缺陷)的第2特征区域(以下，也称为“第3特征区域”)的选择(S103)。另外，判定部162也可为如下构成：将测量结果图像作为设定用图像而提示给用户，并受理从测量结果图像中被检测为缺陷的区域中第3区域的选择。
并且，设定部166以不将第3特征区域检测为缺陷的方式对判定条件进行再度设定。具体来说，设定部166以使第3特征区域的特征量不包含在判定条件的范围内的方式，对判定阈值进行重新设定(S104)。如图7所示，判定阈值的重新设定(更新)是通过基于要被检测为缺陷的区域的内部与外部的像素的颜色的浓度之差而定的、图像得分之差来进行。此时，设定部166也可选择与经临时设定的判定用参数中所含的判定项目不同的判定项目，并设定判定阈值。
如此，在半自动模式中，可通过对预先临时设定的判定用参数进行调整，来设定恰当的判定用参数。由此，可容易地进行恰当的判定用参数的设定，以便以高精度对缺陷进行检测。
(3)全自动模式
在全自动模式中，设定部166受理用户对输入图像的检测为缺陷的区域(以下也称为“缺陷区域”)的指定，并基于此指定的缺陷区域而对判定用参数进行自动设定。使用图7至图9，对全自动模式中的设定部166的处理的一例进行说明。
图7是基于一枚输入图像来对判定用参数进行自动设定时设定部166的处理流程的一例。
首先，设定部166受理用户对输入图像的缺陷区域的确定(S201)。图8是表示经确定的缺陷区域的一例的图。在图8中，矩形GT对应于缺陷区域。另外，缺陷区域并不限定于矩形，可为具有面积的任意的形状。
返回图7，继续对流程进行说明。
当指定缺陷区域时，CNN引擎156生成特征提取图像。此时，设定部166对判定用参数进行初始设定(S202)。判定用参数的初始设定例如是二值化等级的初始化、判定项目的选择及与所选择的判定项目对应的判定阈值的初始化。设定部166也可基于CNN引擎156的学习中所使用的学习数据集中所含的学习用图像中所含的缺陷的特征来对包括二值化等级、判定条件的判定用参数进行临时设定。而且，设定部166也可基于CNN引擎156所获得的内部参数来对包括二值化等级、判定条件的判定用参数进行临时设定。另外，关于二值化等级及判定项目，也可为如下构成，即：事先受理用户的指定。由此可使判定用参数的设定处理高速化。判定部162基于经初始设定的判定用参数中所含的二值化等级来生成二值化图像。并且，判定部162基于经初始设定的判定用参数中所含的判定项目及判定阈值来生成测量结果图像。
设定部166获取经生成的测量结果图像(S203)，并算出得分(图像得分)(S204)。具体来说，设定部166算出测量结果图像中缺陷区域内的像素的颜色的浓度与缺陷区域外的像素的颜色的浓度之差作为得分。此处，像素的颜色的浓度可指与包括缺陷的特征对应的像素(以下，称为特征像素)的、缺陷区域内或缺陷区域外(以下，称为各对象区域)中的比例。特征像素在各对象区域中的比例既可为此对象区域中所含的特征像素的数量(数目、面积等)，也可为此对象区域内特征像素的合计数量相对于不与特征对应的像素(以下，称为非特征像素)的合计数量的比例，或者此对象区域内特征像素或非特征像素相对于全部像素的数量的比例。
在二值化图像中，在白色的像素对应于特征区域的情况下，黑色的像素对应于非特征区域。在此情况下，缺陷区域内的像素的颜色的浓度为缺陷区域内的白色的像素数，缺陷区域外的像素的颜色的浓度为缺陷区域外的白色的像素数，可算出两浓度之差作为得分。
在预先设定有与各像素的颜色对应的浓度值(例如，对于白色为1，对于黑色为0)的情况下，也可算出针对各对象区域内的像素的浓度值的合计值而作为第1图像得分。
如上所述，测量结果图像是从二值化图像中所含的第1特征区域中提取了第2特征图像的图像。因此，当在缺陷区域内恰当地提取第2特征区域时(即，当不发生对缺陷的漏检时)，缺陷区域内的浓度变大。另一方面，当不在缺陷区域外提取第2特征区域时(即，不发生过检时)，缺陷区域外的浓度变小。即，在将判定用参数设定得最恰当的情况下，缺陷区域内的浓度与缺陷区域外的浓度之差(得分)变为最大。由此，设定部166可通过算出得分并进行比较来探索恰当的判定用参数。
因此，设定部166一面对判定用参数进行变更(S215)，一面反复执行S203及S204的处理，直至满足结束条件(S205)。结束条件例如为针对可取的所有判定阈值算出了得分的情况或得分收敛于某值的情况等。而且，结束条件也可设定为从开始本处理流程起的经过时间、或者S203及S204的处理的试行(trial)数的阈值。
例如，设定部166也可在对二值化等级及判定项目进行固定，而将判定阈值进行各种变更，反复进行了S203·S204的处理之后，对接下来的判定项目进行设定，并对判定阈值进行各种变更而反复进行S203·S204的处理。而且，或者也可在每次反复进行S203·S204的处理时，对二值化等级·判定项目·判定阈值全部进行变更。
设定部166在已判定为满足了结束条件的情况下(S205：是(YES))，选择使得分成为最大的判定用参数，并将判定用参数更新为所选择的判定用参数(S206)。另外，未必需要从可取的所有的判定用参数中选择使得分最大的判定用参数。例如，也可从在规定的经过时间内或规定的试行次数内算出的得分中选择最大的得分t及与所述得分对应的判定用参数。即，只要为选择与在本处理流程开始时设定的判定用参数相比可获得相对大的得分的判定用参数的构成即可。此处，当得分成为最大时的判定用参数的判定项目为面积、外切矩形的宽度和/或高度、周长、纵横比、圆形度时，优选将得分成为最大时的判定阈值用作下限值。而且，当得分成为最大时的判定用参数的判定项目为圆形度时，优选将得分成为最大时的判定阈值用作上限值。而且，当对一个图像确定了多个缺陷区域时，且针对每个缺陷区域以使区域的内部与外部的图像得分之差成为最大的方式算出了来判定阈值时，也可根据判定项目的种类，将所算出的多个判定阈值中的最大值与最小值作为判定阈值的上限值或下限值。
图9是基于多个输入图像来对判定用参数进行自动设定时设定部166的处理流程的一例。使用图9，针对使用多个输入图像的情况下的处理，以与图7的不同为中心进行说明。
在此情况下，设定部166在S201中，针对多个输入图像的全部，受理缺陷区域的指定。
而且，设定部166在S203中，从判定部162获取多个输入图像各者的测量结果图像。并且，针对每个测量结果图像算出缺陷区域内的浓度与缺陷区域外的浓度之差，并算出针对每个输入图像而算出的差的合计值作为得分(S304)。其他处理与图7的流程相同。通过使用多个输入图像来进行判定用参数的设定，可进一步提升缺陷检测的精度。
如此，在全自动模式中，用户仅确定想检测为缺陷的区域，便可自动设定恰当的判定用参数。
＜4.用户接口画面例＞
其次，参照图10A至图10D对本实施方式的缺陷检查装置100所提供的输出至显示部的用户接口画面的几个示例进行说明。
图10A是表示在设定判定用参数时，缺陷检查装置100所提供的手动设定画面700的一例的示意图。手动设定画面700具有二值化等级设定部710、判定条件设定部720及测量结果图像显示部730。手动设定画面700主要在手动模式中使用。
二值化等级设定部710包括二值化等级控制器711及二值化等级显示栏712。用户可从二值化等级控制器711设定二值化等级的阈值及上限。所设定的二值化等级被显示在二值化等级显示栏712中。
判定条件设定部720包括判定项目选择栏721及判定阈值设定栏722。用户可从判定项目选择栏721例如通过下拉框(pull down)等来选择想指定为判定条件的判定项目。另外，在图10A的示例中，可设定的判定项目为三种类，但并不限定于此，手动设定画面700也可具有能够设定任意数量的判定项目的接口。而且，用户可通过在对应的判定项目的判定阈值设定栏722中设定判定阈值的上限及下限来设定判定条件。
而且，在测量结果图像显示部730中显示由判定部162基于所设定的判定用参数而生成的测量结果图像。
图10B及图10C是表示在设定判定用参数时，缺陷检查装置100所提供的半自动设定画面800的一例的示意图。具有第3特征区域选择部830、所述二值化等级设定部710及判定条件设定部720。半自动设定画面800主要在半自动模式中使用。另外，半自动设定画面800在预先确定了针对检查图像的缺陷区域的情况下，也可在全自动模式中缺陷区域的确定操作中使用。
二值化等级设定部710及判定条件设定部720的功能如上所述，在半自动设定画面800中，预先设定并显示有经临时设定的判定用参数。
在第3特征区域选择部830中，显示有由判定部162基于临时设定的判定用参数而生成的设定用图像。在此设定用图像中，第2特征区域被框831至框833围绕来强调显示(图10B)。用户可从经强调显示的第2特征区域中选择指定为第3特征区域者。图10C示出了将图10B中由框833围绕的第2特征区域选择成了第3特征区域时的画面显示的一例。当选择第3特征区域时，判定用参数得到更新，二值化等级设定部710或判定条件设定部720中所显示的判定用参数发生变化。在图10C的示例中，判定项目即纵横比的下限值从0(图10B)变化为0.8(图10C)。另外，此时，不仅判定阈值或二值化等级，例如判定条件设定部720中所选择的判定项目也可发生变化。
图10D是表示本实施方式的缺陷检查装置100所提供的自动设定画面900的一例的示意图。在图10D的示例中，自动设定画面900具有图形登记区域901、坐标输入区域902及显示区域903。
图形登记区域901包括图形按钮911。用户可通过从图形按钮911选择期望的形状的图形的按钮来选择对缺陷区域进行确定的图形。在图10D的示例中，作为图形按钮911，显示了正方形或长方形、圆形、五边形、圆弧形、同心圆，但并不限定于此，可设定任意的图形。而且，选择图形的方法并不限定于按钮，也可为下拉框(pull down)或复选框(check box)、单选按钮(radio button)等。
坐标输入区域902受理缺陷区域的坐标的输入。在图10D的示例中，用户可通过在坐标输入区域902中输入缺陷区域的左上及右上的坐标来指定缺陷区域GT。用户所指定的缺陷区域GT被显示于显示区域903。
另外，缺陷区域的指定方法并不限定于图10D的示例。例如，也可为通过对显示区域903中所显示的图像进行直接描绘来输入缺陷区域的构成。
§3动作例
其次，对本实施方式的缺陷检查***1中的动作例进行说明。本实施方式的缺陷检查***1中，存在：准备工序，用于对与图像测量处理相关的判定用参数进行设定；以及运用工序，现实拍摄对象工件而执行图像测量处理。另外，对于准备工序的处理序列与运用工序的处理序列，可由用户使用前述的输入部来选择。而且，在运用工序的处理序列中，也可执行下述处理，即：根据检查结果(例如是指缺陷的有无、与缺陷对应的区域的大小、此区域的位置等信息)的内容，对所设定的前处理过滤器进行更新。例如，在运用工序的处理序列中，当未检测出的缺陷产生了规定次数时，利用任意设定模式对前述的判定用参数进行更新。
图11是表示本实施方式的缺陷检查***1中的准备工序的处理流程的流程图。图12是表示本实施方式的缺陷检查***1中的运用工序的处理流程的流程图。典型的是，图11及图12所示的处理流程的各步骤是通过缺陷检查装置100的处理器110执行图像处理程序132等而实现。
参照图11，在准备工序中，缺陷检查装置100获取输入图像，所述输入图像是在将成为图像测量处理基准的工件配置于规定位置的状态下，使用摄像机102进行拍摄而获得(步骤S401)。此时，通过摄像机102拍摄工件而生成的输入图像(图像数据)被转发给缺陷检查装置100，并在缺陷检查装置100的主存储器112中展开。
继而，缺陷检查装置100受理设定模式的选择(S402)。在设定模式为手动模式的情况下(情形(CASE)：手动模式)，缺陷检查装置100显示手动设定画面700，并受理用户对判定用参数的设定(S411)。
在设定模式为半自动模式的情况下(CASE：半自动模式)，缺陷检查装置100首先对判定用参数进行临时设定(S421)。其次，使用临时设定的判定用参数来生成设定用图像，并受理来自用户的、针对设定用图像中所显示的第2特征区域的第3特征区域的确定(S422)。基于经确定的第3特征区域，缺陷检查装置100对判定用参数进行更新(S423)。
并且，在设定模式为全自动模式的情况下(CASE：全自动模式)，缺陷检查装置100显示自动设定画面900，并受理用户对缺陷区域的确定(S431)。并且，基于经确定的缺陷区域，缺陷检查装置100对判定用参数进行设定(S432)。
并且，缺陷检查装置100对所设定的判定用参数进行保存(S403)。然后，结束准备工序下的处理。
参照图12，在运用工序中，缺陷检查装置100获取输入图像，所述输入图像是当成为图像测量处理的基准的工件到达摄像机102的拍摄视野6时，使用摄像机102拍摄此工件而获得(S501)。此时，通过摄像机102拍摄工件而生成的输入图像(图像数据)被转发给缺陷检查装置100，并在缺陷检查装置100的主存储器112中展开。
继而，缺陷检查装置100对所获取的输入图像执行前处理(S502)。并且，缺陷检查装置100执行下述处理，即，使用经事先学习的CNN，从前处理后的输入图像中，针对一个或多个特征的种类(类别)的每一个而提取特征。缺陷检查装置100通过所述提取特征的处理，生成一个或多个类别的每一个的特征提取图像(S503)。
继而，缺陷检查装置100执行后处理，而生成测量结果图像(S504)。
最终，缺陷检查装置100输出所生成的测量结果图像(S505)。作为测量结果图像的输出目标，既可为显示器104等，也可为经由上位网络8而连接的PLC 10和/或数据库装置12。然后，运用工序的处理结束。另外，缺陷检查装置100也可取代测量结果图像，或者与测量结果图像一同，输出检查结果，所述检查结果至少包含检查对象中是否含有缺陷的信息。检查结果例如被送达在生产线中进行检查对象的分类的规定的动作机械。据此，动作机械能够执行与检查结果相应的、检查对象的自动分类。
另外，开始图12所示的运用工序的处理流程的条件为来自对工件的到达进行检测的定时传感器(timing sensor)的触发(trigger)信号、来自上位装置的执行开始指令、来自用户的指示中的任一个皆可。
＜H.优点＞
本实施方式的缺陷检查装置100在使用经事先学习的识别器所输出的结果来检查有无缺陷时，可恰当且简单地对用于判别有无缺陷的判定用参数进行设定。在此种缺陷检查装置100中，因可恰当地设定判定用参数，所以误判定减少。尤其是因可减少噪声，所以虽非缺陷但识别为缺陷的误检测减少。并且，因可简单地对判定用参数进行设定，所以可削减缺陷检查装置的设定工时、启动工时。
而且，本实施方式的缺陷检查装置100使用以将具有经事先学习的多个类别的CNN引擎所输出的特征提取图像中所含的噪声与应提取的缺陷切分的判定用参数的设定变得容易。具体来说，本实施方式的缺陷检查装置100至少具有由用户对预设的阈值进行调整的功能(半自动模式)。由此，用户仅在预设的阈值不恰当的情况下对阈值进行调整即可，所以，可减少判定用参数设定的负荷。
并且，本实施方式的缺陷检查装置100除了所述半自动模式以外还具有手动模式及全自动模式作为用以设定判定用参数的模式。例如，通过对判定用参数的设定使用全自动模式，作业者仅对缺陷区域进行指定便可对判定用参数进行恰当的设定。如此，因本实施方式的缺陷检查装置具有多个设定模式，所以可根据作业者的熟练度来选择恰当的设定模式。
以上，详细说明了本发明的实施方式，但至此为止的说明在所有方面不过是本发明的例示。当然能够不超出本发明的范围而进行各种改良或变形。另外，所述实施方式的一部分或全部也可如以下的附注那样记载，但并不限于以下。
(附注1)
一种缺陷检查装置100，包括：
获取部114，获取检查对象物的检查图像；
图像生成部156，通过对所述检查图像适用以使用学习用的图像数据提取一个以上的特征的方式进行了事先学习的已学习识别器，而生成一个以上的特征提取图像；
***170，基于用以判定所述检查对象物中有无检测对象部位的一个以上的判定用参数及基于所述特征提取图像而生成的二值化图像来确定与缺陷对应的区域；以及
设定部166，使用确定了所述与缺陷对应的区域的所述二值化图像即设定用图像，算出基于所述设定用图像的像素的颜色的浓度的图像得分，并以使所述区域的内部的图像得分与所述区域的外部的图像得分之差相对变大的方式更新判定用参数。
(附注2)
根据附注1所述的缺陷检查装置100，其中，
所述二值化图像包括白色的像素及黑色的像素，
对所述白色的像素与所述黑色的像素分别对应有浓度值，
所述设定部166针对所述区域内所含的多个像素，算出颜色的浓度值的合计值作为第1图像得分，针对所述区域外所含的多个像素，算出颜色的浓度值的合计值作为第2图像得分，并以使第1图像得分与第2图像得分之差成为最大的方式更新判定用参数。
(附注3)
根据附注1或2所述的缺陷检查装置100，其中，
所述***170基于更新后的所述判定用参数及所述二值化图像来判定有无缺陷，并输出判定结果。
(附注4)
根据附注3所述的缺陷检查装置100，其中，
所述***170至少输出基于更新后的所述判定用参数而确定了缺陷的所述二值化图像，以作为所述判定结果。
(附注5)
根据附注1至4中任一项所述的缺陷检查装置100，其中，
所述判定用参数包括用以生成所述二值化图像的二值化等级。
(附注6)
根据附注1至5中任一项所述的缺陷检查装置100，其中，
所述判定用参数包括用以判定所述缺陷的一个以上的判定项目以及针对所述判定项目的各者而设定的判定阈值。
(附注7)
根据附注6所述的缺陷检查装置100，其中，
用以判定所述缺陷的一个以上的判定项目包括所述二值化图像中以同色的像素块表现的规定的区域的面积、外切矩形的宽度和/或高度、周长、纵横比、圆形度中的至少一者，所述判定阈值包括针对这些判定项目的各者而设定的上限值和/或下限值。
(附注8)
根据附注6或7所述的缺陷检查装置100，其中，
所述判定项目及所述判定阈值是基于所述图像生成部或所述***的学习时所使用的学习用的图像数据中所含的缺陷的特征而决定。
(附注9)
根据附注1至8中任一项所述的缺陷检查装置100，其中，还包括：
显示部104，受理所述区域的指定，
所述***170基于预定的所述判定用参数来确定要被判定为缺陷的区域，并且将确定出的区域与所述检查图像一起输出至所述显示部104，
所述设定部166基于经由所述显示部而受理到的所述区域的指定来生成所述设定用图像。
(附注10)
根据附注1至9中任一项所述的缺陷检查装置100，其中，
所述***170
在所述二值化图像中，基于针对用以判定缺陷的一个以上的特征量的各者而设定的判定阈值，确定所述二值化图像中要被判定为缺陷的区域，并将确定出的区域提示给用户，
所述设定部166
受理来自所述用户的、虽被所述***170判定为缺陷但不应该被判定为缺陷的区域、和/或虽未被所述***判定为缺陷但应被判定为缺陷的区域的指定，并基于所述指定来更新所述判定阈值。
(附注11)
根据附注10所述的缺陷检查装置100，其中，
所述判定用参数包括用以判定所述缺陷的一个以上的判定项目以及针对所述判定项目的各者而设定的判定阈值，
用以判定所述缺陷的一个以上的判定项目与所述判定阈值是基于所述用户的指定而决定。
(附注12)
一种缺陷检查方法，其中，计算机100执行如下步骤：
获取检查对象物的检查图像的步骤；
通过对所述检查图像适用以使用学习用的图像数据提取一个以上的特征的方式进行了事先学习的已学习识别器，而生成一个以上的特征提取图像的步骤；
基于用以判定所述检查对象物中有无检测对象部位的一个以上的判定用参数及基于所述特征提取图像而生成的二值化图像来确定与缺陷对应的区域的步骤；以及
使用确定了所述与缺陷对应的区域的所述二值化图像即设定用图像，算出基于所述设定用图像的像素的颜色的浓度的图像得分，并以使所述区域的内部的图像得分与所述区域的外部的图像得分之差相对变大的方式更新判定用参数的步骤。
(附注13)
一种程序，其使计算机100作为如下部件而发挥功能：
获取检查对象物的检查图像的部件；
通过对所述检查图像适用以使用学习用的图像数据提取一个以上的特征的方式进行了事先学习的已学习识别器，而生成一个以上的特征提取图像的部件；
基于用以判定所述检查对象物中有无检测对象部位的一个以上的判定用参数及基于所述特征提取图像而生成的二值化图像来确定与缺陷对应的区域的部件；以及
使用确定了所述与缺陷对应的区域的所述二值化图像即设定用图像，算出基于所述设定用图像的像素的颜色的浓度的图像得分，并以使所述区域的内部的图像得分与所述区域的外部的图像得分之差相对变大的方式更新判定用参数的部件。

Claims (12)

1.一种缺陷检查装置，其特征在于，包括：
获取部，获取检查对象物的检查图像；
图像生成部，通过对所述检查图像适用以使用学习用的图像数据提取一个以上的特征的方式进行了事先学习的已学习识别器，而生成一个以上的特征提取图像；
***，基于用以判定所述检查对象物中有无缺陷的一个以上的判定用参数及基于所述特征提取图像而生成的二值化图像来确定与所述缺陷对应的区域；以及
设定部，算出基于设定用图像的像素的颜色的第1图像得分和第2图像得分，其中与用户指定的所述缺陷对应的所述区域的所述二值化图像即所述设定用图像，并以使所述第1图像得分与所述第2图像得分之差相对变大的方式更新所述判定用参数，
其中第1图像得分是包含在所述区域内的具有第1颜色值的像素的数量，第2图像得分是包含在所述区域外的具有所述第1颜色值的像素的数量，
所述***在所述二值化图像中，基于针对用以判定所述缺陷的一个以上的特征量的各者而设定的判定阈值，确定所述二值化图像中要被判定为所述缺陷的所述区域，并将确定出的所述区域提示给所述用户，
所述设定部受理来自所述用户的、虽被所述***判定为所述缺陷但不应该被判定为所述缺陷的所述区域、和/或虽未被所述***判定为所述缺陷但应被判定为所述缺陷的所述区域的指定，并基于所述区域的指定来更新所述判定阈值。
2.根据权利要求1所述的缺陷检查装置，其特征在于，
所述二值化图像包括白色的像素及黑色的像素，
所述设定部以使所述第1图像得分与所述第2图像得分之差成为最大的方式更新所述判定用参数。
3.根据权利要求1或2所述的缺陷检查装置，其特征在于，
所述***基于更新后的所述判定用参数及所述二值化图像来判定有无所述缺陷，并输出判定结果。
4.根据权利要求3所述的缺陷检查装置，其特征在于，
所述***至少输出基于更新后的所述判定用参数而确定了所述缺陷的所述二值化图像，以作为所述判定结果。
5.根据权利要求1或2所述的缺陷检查装置，其特征在于，
所述判定用参数包括用以生成所述二值化图像的二值化等级。
6.根据权利要求1或2所述的缺陷检查装置，其特征在于，
所述判定用参数包括用以判定所述缺陷的一个以上的判定项目以及针对所述判定项目的各者而设定的判定阈值。
7.根据权利要求6所述的缺陷检查装置，其特征在于，
用以判定所述缺陷的一个以上的所述判定项目包括所述二值化图像中以同色的像素块表现的规定的区域的面积、外切矩形的宽度和/或高度、周长、纵横比、圆形度中的至少一者，所述判定阈值包括针对各判定项目而设定的上限值和/或下限值。
8.根据权利要求6所述的缺陷检查装置，其特征在于，
所述判定项目及所述判定阈值是基于所述图像生成部或所述***的学习时所使用的学习用的图像数据中所含的所述缺陷的形状而决定。
9.根据权利要求1或2所述的缺陷检查装置，其特征在于，还包括：
显示部，受理所述区域的指定，
所述***基于预定的所述判定用参数来确定要被判定为所述缺陷的所述区域，并且将确定出的所述区域与所述检查图像一起输出至所述显示部，
所述设定部基于经由所述显示部而受理到的所述区域的指定来生成所述设定用图像。
10.根据权利要求1所述的缺陷检查装置，其特征在于，
所述判定用参数包括用以判定所述缺陷的一个以上的判定项目以及针对各判定项目而设定的所述判定阈值，
用以判定所述缺陷的一个以上的所述判定项目与所述判定阈值是基于所述用户的指定而决定。
11.一种缺陷检查方法，其特征在于，计算机执行如下步骤：
获取检查对象物的检查图像的步骤；
通过对所述检查图像适用以使用学习用的图像数据提取一个以上的特征的方式进行了事先学习的已学习识别器，而生成一个以上的特征提取图像的步骤；
基于用以判定所述检查对象物中有无检测对象部位的一个以上的判定用参数及基于所述特征提取图像而生成的二值化图像来确定与缺陷对应的区域的检查步骤；以及
算出基于设定用图像的像素的颜色的第1图像得分和第2图像得分，其中与用户指定的所述缺陷对应的所述区域的所述二值化图像即所述设定用图像，并以使所述第1图像得分与所述第2图像得分之差相对变大的方式更新所述判定用参数的设定步骤，
其中第1图像得分是包含在所述区域内的具有第1颜色值的像素的数量，第2图像得分是包含在所述区域外的具有所述第1颜色值的像素的数量，
所述检查步骤包括，在所述二值化图像中，基于针对用以判定所述缺陷的一个以上的特征量的各者而设定的判定阈值，确定所述二值化图像中要被判定为所述缺陷的所述区域，并将确定出的所述区域提示给所述用户，
所述设定步骤包括，受理来自所述用户的、虽被判定为所述缺陷但不应该被判定为所述缺陷的所述区域、和/或虽未被判定为所述缺陷但应被判定为所述缺陷的所述区域的指定，并基于所述区域的指定来更新所述判定阈值。
12.一种包括程序的计算机可读记录介质，其特征在于，所述程序使计算机作为如下部件而发挥功能：
获取检查对象物的检查图像的部件；
通过对所述检查图像适用以使用学习用的图像数据提取一个以上的特征的方式进行了事先学习的已学习识别器，而生成一个以上的特征提取图像的部件；
基于用以判定所述检查对象物中有无检测对象部位的一个以上的判定用参数及基于所述特征提取图像而生成的二值化图像来确定与缺陷对应的区域的***件；以及
算出基于设定用图像的像素的颜色的第1图像得分和第2图像得分，其中与用户指定的所述缺陷对应的所述区域的所述二值化图像即所述设定用图像，并以使所述第1图像得分与所述第2图像得分之差相对变大的方式更新所述判定用参数的设定部件，
其中第1图像得分是包含在所述区域内的具有第1颜色值的像素的数量，第2图像得分是包含在所述区域外的具有所述第1颜色值的像素的数量，
所述***件在所述二值化图像中，基于针对用以判定所述缺陷的一个以上的特征量的各者而设定的判定阈值，确定所述二值化图像中要被判定为所述缺陷的所述区域，并将确定出的所述区域提示给所述用户，
所述设定部件受理来自所述用户的、虽被所述***件判定为所述缺陷但不应该被判定为所述缺陷的所述区域、和/或虽未被所述***件判定为所述缺陷但应被判定为所述缺陷的所述区域的指定，并基于所述区域的指定来更新所述判定阈值。
CN201910030739.XA 2018-03-14 2019-01-14 缺陷检查装置、缺陷检查方法以及计算机可读记录介质 Active CN110274908B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018046534A JP7015001B2 (ja) 2018-03-14 2018-03-14 欠陥検査装置、欠陥検査方法、及びそのプログラム
JP2018-046534 2018-03-14

Publications (2)

Publication Number Publication Date
CN110274908A CN110274908A (zh) 2019-09-24
CN110274908B true CN110274908B (zh) 2022-01-11

Family

ID=65033383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910030739.XA Active CN110274908B (zh) 2018-03-14 2019-01-14 缺陷检查装置、缺陷检查方法以及计算机可读记录介质

Country Status (4)

Country Link
US (1) US11301978B2 (zh)
EP (1) EP3540688A1 (zh)
JP (1) JP7015001B2 (zh)
CN (1) CN110274908B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
TWI653605B (zh) * 2017-12-25 2019-03-11 由田新技股份有限公司 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統
JP6977686B2 (ja) * 2018-08-06 2021-12-08 オムロン株式会社 制御システムおよび制御装置
US11861484B2 (en) * 2018-09-28 2024-01-02 Qualcomm Incorporated Neural processing unit (NPU) direct memory access (NDMA) hardware pre-processing and post-processing
JP7311310B2 (ja) * 2018-10-18 2023-07-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム
JP7206892B2 (ja) * 2018-12-20 2023-01-18 富士通株式会社 画像検査装置、画像検査のための学習方法および画像検査プログラム
JP6869490B2 (ja) 2018-12-28 2021-05-12 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
JP7271305B2 (ja) * 2019-05-16 2023-05-11 株式会社キーエンス 画像検査装置及び画像検査装置の設定方法
CN111008964B (zh) * 2019-11-27 2023-06-23 易启科技(吉林省)有限公司 一种部件表面缺陷检测方法
CN113033792A (zh) * 2019-12-24 2021-06-25 财团法人工业技术研究院 神经网络运算装置及方法
JP7423368B2 (ja) 2020-03-23 2024-01-29 イビデン株式会社 不良検出装置及び不良検出方法
JP7485028B2 (ja) * 2020-06-03 2024-05-16 日本電信電話株式会社 学習装置、方法及びプログラム
CN111768386B (zh) * 2020-06-30 2024-02-20 北京百度网讯科技有限公司 产品缺陷检测方法、装置、电子设备和存储介质
CN111784666A (zh) * 2020-06-30 2020-10-16 深兰科技(达州)有限公司 基于学习记忆的led灯珠缺陷检测方法
CN112381898B (zh) * 2020-12-07 2024-03-01 苏州律点信息科技有限公司 一种影像特征的提取方法、装置、存储介质及电子设备
US20220276207A1 (en) * 2021-03-01 2022-09-01 Ecole De Technologie Superieure Ultrasonic testing for defect detection
CN117043814A (zh) * 2021-03-22 2023-11-10 松下知识产权经营株式会社 检查辅助***、检查辅助方法和程序
JP2022164146A (ja) * 2021-04-16 2022-10-27 株式会社キーエンス 画像検査装置、画像処理方法、画像処理プログラム及びコンピュータで読取可能な記録媒体並びに記録した機器
CN113658136B (zh) * 2021-08-17 2023-10-13 燕山大学 一种基于深度学习的传送带缺陷检测方法
CN113706506B (zh) * 2021-08-27 2023-07-28 创新奇智(重庆)科技有限公司 一种装配状态检测的方法、装置、电子设备及存储介质
CN113537517B (zh) * 2021-09-16 2022-01-07 深圳市信润富联数字科技有限公司 缺陷检测模型训练方法、装置、设备及存储介质
JP2023082567A (ja) * 2021-12-02 2023-06-14 株式会社日立製作所 システムおよびプログラム
CN114418899B (zh) * 2022-03-28 2022-08-16 深圳市嘉年印务有限公司 一种自彩印的自适应修复方法、***及可读存储介质
CN114764790B (zh) * 2022-03-31 2023-05-12 河北鹰眼智能科技有限公司 一种基于霍夫圆检测的齿轮断齿检测方法
CN114454635B (zh) * 2022-04-13 2022-06-17 中体彩印务技术有限公司 一种防伪印刷品制备方法及其***
CN114612469B (zh) * 2022-05-09 2022-08-12 武汉中导光电设备有限公司 产品缺陷检测方法、装置、设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102803940A (zh) * 2010-03-17 2012-11-28 株式会社岛津制作所 Tft阵列检查方法以及tft阵列检查装置
CN109117842A (zh) * 2017-06-26 2019-01-01 矢崎总业株式会社 图像检查中的二值化处理程序和二值化处理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690144B2 (ja) * 1989-01-14 1994-11-14 松下電工株式会社 画像処理方法
JPH09179985A (ja) * 1995-12-25 1997-07-11 Ricoh Co Ltd 画像欠陥検査方法及び画像欠陥分類方法
US7508973B2 (en) * 2003-03-28 2009-03-24 Hitachi High-Technologies Corporation Method of inspecting defects
JP2006090921A (ja) * 2004-09-27 2006-04-06 Sharp Corp 外観検査装置、閾値決定方法、外観検査方法、およびコンピュータを外観検査装置として機能させるためのプログラム
JP2006293528A (ja) * 2005-04-07 2006-10-26 Sharp Corp 学習用画像選択方法および装置、画像処理アルゴリズム生成方法および装置、プログラムならびに記録媒体
JP2008175588A (ja) * 2007-01-16 2008-07-31 Kagawa Univ 外観検査装置
JPWO2011155123A1 (ja) * 2010-06-07 2013-08-01 株式会社日立ハイテクノロジーズ 観察画像の分類基準の最適化方法、および画像分類装置
JP5608575B2 (ja) * 2011-01-19 2014-10-15 株式会社日立ハイテクノロジーズ 画像分類方法および画像分類装置
JP2017049974A (ja) 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム
JP2018005639A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 画像分類装置、画像検査装置、及び、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102803940A (zh) * 2010-03-17 2012-11-28 株式会社岛津制作所 Tft阵列检查方法以及tft阵列检查装置
CN102803940B (zh) * 2010-03-17 2014-12-31 株式会社岛津制作所 Tft阵列检查方法以及tft阵列检查装置
CN109117842A (zh) * 2017-06-26 2019-01-01 矢崎总业株式会社 图像检查中的二值化处理程序和二值化处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Generic Deep-Learning-Based Approach for Automated Surface Inspection;Ruoxu Ren 等;《IEEE TRANSACTIONS ON CYBERNETICS》;20170224;第48卷(第3期);摘要，图3，第III部分 *

Also Published As

Publication number Publication date
JP2019159889A (ja) 2019-09-19
US20190287235A1 (en) 2019-09-19
US11301978B2 (en) 2022-04-12
EP3540688A1 (en) 2019-09-18
JP7015001B2 (ja) 2022-02-02
CN110274908A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN110274908B (zh) 缺陷检查装置、缺陷检查方法以及计算机可读记录介质
CN112567229A (zh) 缺陷检查装置、缺陷检查方法及其程序
CN109781733B (zh) 缺陷检查装置、缺陷检查方法及计算机可读存储介质
CN113538429B (zh) 基于图像处理的机械零件表面缺陷检测方法
US11107210B2 (en) Image data generating apparatus generating image data for inspecting external appearance of product
CN108876761B (zh) 图像处理装置、电脑可读取记录媒体、图像处理***
JP2011214903A (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣***
CN112534243A (zh) 检查装置及方法
US12008799B2 (en) Classification system and learning system
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
CN115546141A (zh) 一种基于多维度度量的小样本Mini LED缺陷检测方法及***
US20220157050A1 (en) Image recognition device, image recognition system, image recognition method, and non-transitry computer-readable recording medium
CN116309307A (zh) 焊缝缺陷检测方法、装置、可读存储介质及电子设备
CN115861259A (zh) 一种基于模板匹配的引线框架表面缺陷检测方法及装置
JP3279099B2 (ja) マーク認識装置およびマーク認識方法
JP2002140695A (ja) 検査方法およびその装置
WO2023112302A1 (ja) 教師データ作成支援装置、教師データ作成支援方法
US20230419470A1 (en) Method for detecting defects in a 3d printer
CN118265904A (zh) 显示装置的检查方法以及信息处理装置
JPH0528245A (ja) 画像認識装置
JPH064670A (ja) 濃淡画像のパターンマッチング装置
CN117495846A (zh) 图像检测方法、装置、电子设备及存储介质
CN116128833A (zh) 焊缝缺陷检测方法、装置、可读存储介质及电子设备
CN118339607A (zh) 图像的对比度增强方法及信息处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant