JP6705777B2 - 機械学習装置、検査装置及び機械学習方法 - Google Patents

機械学習装置、検査装置及び機械学習方法 Download PDF

Info

Publication number
JP6705777B2
JP6705777B2 JP2017134508A JP2017134508A JP6705777B2 JP 6705777 B2 JP6705777 B2 JP 6705777B2 JP 2017134508 A JP2017134508 A JP 2017134508A JP 2017134508 A JP2017134508 A JP 2017134508A JP 6705777 B2 JP6705777 B2 JP 6705777B2
Authority
JP
Japan
Prior art keywords
image
learning
mark
defect
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017134508A
Other languages
English (en)
Other versions
JP2019015654A (ja
Inventor
勇太 並木
勇太 並木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2017134508A priority Critical patent/JP6705777B2/ja
Priority to CN201810736105.1A priority patent/CN109242820B/zh
Priority to DE102018211212.6A priority patent/DE102018211212A1/de
Priority to US16/029,827 priority patent/US10891520B2/en
Publication of JP2019015654A publication Critical patent/JP2019015654A/ja
Application granted granted Critical
Publication of JP6705777B2 publication Critical patent/JP6705777B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、機械学習装置及び機械学習方法に関する。特に、機械学習のための学習データを効率的に生成することができる機械学習装置及び機械学習方法に関する。また、この機械学習装置及び機械学習方法を利用した検査装置に関する。
従来、検査対象物の画像を視覚センサで取得し、取得した画像を画像処理にて検査を行うシステムが知られている。画像処理にて検査対象物の検査を行う場合、機械学習の手法を用いて、ＯＫ（良品）、ＮＧ（何からの欠陥が見いだされたいわゆる不良品）の判別を行う方法がある。
この機械学習を行うためには、検査対象物の画像と、その画像に写っている検査対象物がＯＫなのかＮＧなのかを指定するラベルと、からなる学習データが必要となる。このように、検査対象物の画像と、「ＯＫ」又は「ＮＧ」の値を有するラベルと、の学習データの組を数多く準備すれば、それら学習データの組を用いて機械学習を行うことができる。その後、機械学習した内容に基づき、検査対象物の新たな入力画像に対して、（機械学習を行った）機械学習装置がＯＫ、ＮＧを判別できるようになる。
機械学習を行う前にはＯＫ、ＮＧの判断は人間が行うことが多く、その判断結果は上述した学習データとして用いられる。また、機械学習をした後であっても機械学習装置が誤判定をすることがあるため、その訂正は人間が行う必要がある。
このような場合において、人間が行った判断や訂正を、機械学習を行う装置等に提供する必要がある。提供の一つの方法として、視覚センサで得た検査対象物の画像上で、人間がＯＫ、ＮＧのラベル付けを行うことが考えられる。その結果、検査対象物の画像と、「ＯＫ」又は「ＮＧ」の値を有するラベルと、の組が容易に得られる。この種の技術に関するものとして、特許文献１〜２が挙げられる。
特許文献１には、被検査物の表面検査装置において、被検査面の撮像を行う位置について学習を行う技術が開示されている。この学習とは、撮像する順番と撮像位置の関連付けを行うことである。すなわち、この特許文献１には、機械学習は示されていない。
特許文献２には、検査員が目視にて車体の塗装を検査し、欠陥箇所にマーキングを付ける技術が開示されている。下流工程でマーキングを付けた個所を検出し、そこを欠陥部位として研磨を行う。この特許文献２では、マークを付けた箇所に対して修正処理を行っている。
特開２００９−１４３５７号公報 特開平５−１９６４４４号公報
ところで、人間がＯＫ、ＮＧの判断をする場合には、実際の検査対象物（実ワーク）を見てＯＫ、ＮＧを判断することが多い。このように実際に人間が検査対象物を見た後で、さらに画像を見てＯＫ、ＮＧのラベル付けを行うことは、煩雑な作業と言える。ここで、例えば、以下の二つのケースを考える。
（Ａ）対象物が映った画像中で、人間がその画像を見ながら欠陥の箇所を指定する。
（Ｂ）対象物の各部位を分割して複数枚の画像を取得し、人間がその複数枚の画像の中から欠陥が映っている画像を探し出し、その画像にＮＧのラベルを付ける。
（Ａ）のケースでは、まず人間が実際の検査対象物上で欠陥を見つけた後、人間が再度視覚センサで得た画像から欠陥部分に対応する箇所を探し出し、その画像上で欠陥部位を指定するとともにＮＧラベルを付与する。しかしながら、実際の検査対象物上で欠陥部位を見つける作業と、画像上で欠陥部位を探す作業との二度の手間が必要となり、煩雑な作業となりがちである。
（Ｂ）のケースでは、まず人間が実際の検査対象物上で欠陥を見つけた後、人間がその欠陥部位に対応する画像を複数枚の画像の中から探し出し、その画像に対してＮＧラベルを付与する。したがって、実際の検査対象物上で欠陥部位を見つける作業と、その欠陥部位を含む画像を探す作業との二度の手間が必要となり、煩雑な作業となりがちである。また、画像の数が多い場合は、それに比例して作業量は大きなものとなる。
以上の通り、人間が検査対象物を見て発見した欠陥をそのまま利用して機械学習のための学習データに利用できればよいが、そのような技術は未だ知られていないのが現状である。
本発明は、機械学習のための学習データをより効率的に作成することができる機械学習装置及び機械学習方法を提供することを目的とする。
本発明者らは、上記目的を達成するために、下記のような原理を鋭意研究した。
まず、検査員が、実際の検査対象物上の欠陥部分に特定の印をマーキングする。上記従来の画像処理を用いて検査する場合と同様の手法で、画像を撮像し、上記印をマーキングした検査対象物の画像を取得する。取得した画像から特定の印を探し出し、印がマーキングされている部分を欠陥として登録する。欠陥として登録する場合は、その画像にＮＧのラベルを付与して登録することもできる。
このような原理によって、機械学習に利用することができる学習データを得ることができる。ここで、学習データは、機械学習用の画像（「学習用の画像」と呼ぶ）と、ＮＧ又はＯＫの値を保持するラベルと、を少なくとも含むデータである。この場合、検査対象物にマーキングされた印は、機械学習用の画像から除去されていてもよい。
また、本発明者らは、印の除去の仕組みについて、例えば下記のような処理を検討した。
除去手法１としては、検査対象物にマーキングする印として、特定の形状や、特定の色を用いた印を利用する。この場合、画像中に特定の形状や特定の色の印があれば、それを画像処理で取り除くことによって、その画像を学習用の画像として用いることができる。また、画像中に特定の形状や色の印があれば、機械学習中にその部分を使わないようにすることもできる。
また、除去手法２としては、検査対象物に対して、蛍光塗料を用いて印をマーキングする。例えば、可視光下では、無色透明であるが、紫外線下では、蛍光を発するような蛍光塗料を用いることができる。検査員が、このような蛍光塗料を用いて検査対象物に印をマーキングした後、検査・学習用の画像は可視光照明で撮像し、印が画像に写らないようにして取得することができる。また、欠陥の検出用の画像は、紫外光照明で撮像し、印が画像に写るようにして取得することができる。
本発明は、具体的には下記のような構成を採用する。
（１）本発明は、機械学習に用いる学習データを作成する機械学習装置（例えば、後述の機械学習装置４０）であって、欠陥を示す印がマーキングされた検査対象物(例えば、後述の検査対象物１２)を撮像して得られた画像を入力する画像入力部（例えば、後述の画像入力部４２）と、前記入力した画像に基づき前記学習データを作成する作成部（例えば、後述の作成部４４）と、を備え、前記作成部は、入力した前記画像中に前記印がない場合は、入力した前記画像そのものである学習用画像と、欠陥がないことを表すＯＫの値を保持するラベルと、からなる学習データを作成し、入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された学習用画像と、欠陥があることを表すＮＧの値を保持するラベルと、からなる学習データを作成する機械学習装置に関する。
（２） （１）記載の機械学習装置において、前記作成部は、入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された学習用画像と、前記印で示された欠陥の位置と、前記ＮＧの値を保持するラベルと、からなる学習データを作成してよい。
（３） （１）記載の機械学習装置において、欠陥を示す前記印は、前記欠陥の種類に応じて異なる印であり、前記作成部は、入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された学習用画像と、前記印で示された欠陥の種類と、ＮＧの値を保持するラベルと、からなる学習データを作成してよい。
（４） （３）記載の機械学習装置において、前記欠陥には、前記検査対象物の傷、汚れ及び欠けを含めてよい。
（５） （３）記載の機械学習装置において、前記異なる印は、互いに反射光波長が異なる印であってよい。
（６） （１）記載の機械学習装置において、前記作成部は、入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された画像から、前記印を除去して学習用画像を生成し、生成した前記学習用画像と、前記ＮＧの値を保持するラベルと、からなる学習データを作成してよい。
（７） （６）記載の機械学習装置において、前記作成部は、入力した前記画像中に前記印がある場合は、入力した前記画像から前記印で示された領域の内側のみを切り抜いて学習用画像を生成してよい。
（８） （６）記載の機械学習装置において、前記作成部は、入力した前記画像中に前記印がある場合は、入力した前記画像から前記印を構成する画素を、前記印の周囲の画素で置換して学習用画像を生成してよい。
（９） （１）記載の機械学習装置において、前記作成部は、入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された学習用画像と、欠陥があることを表すＮＧの値を保持するラベルと、前記印をマスクするマスク画像と、からなる学習データを作成してよい。
（１０） （９）記載の機械学習装置において、前記マスク画像は、前記印を構成する画素を１、前記印以外の画素を０とした画像でよい。
（１１） （１）記載の機械学習装置において、前記画像入力部は、欠陥を示す印がマーキングされた検査対象物を、前記印が見える波長の光で照明した状態で撮像して得られたマーキング画像と前記印が見えない波長の光で照明した状態で撮像して得られた学習用画像とを入力し、前記作成部は、前記マーキング画像から取得した欠陥の情報と、前記学習用画像と、からなる学習データを作成してよい。
（１２） （１）から（１１）のいずれかに記載の機械学習装置と、前記機械学習装置が作成した学習データを記憶する記憶部と、を備えた検査装置であって、前記機械学習装置は、前記記憶部が記憶する学習データで学習した学習部であって、前記画像入力部が入力した前記検査対象物の画像に基づき欠陥の判断結果を出力する学習部を備えてよい。
（１３） （１１）に記載の機械学習装置と、前記機械学習装置が作成した学習データを記憶する記憶部と、を備えた検査装置であって、前記画像入力部は、欠陥を示す前記印が見えない波長の光で照明した状態で撮像して得られた画像を入力し、前記機械学習装置は、前記記憶部が記憶する学習データで学習した学習部であって、前記画像入力部が入力した前記検査対象物の画像に基づき欠陥の判断結果を出力する学習部を備えてよい。
（１４）本発明は、機械学習に用いる学習データを作成する機械学習方法であって、欠陥を示す印がマーキングされた検査対象物を撮像して得られた画像を入力するステップと、前記入力した画像に基づき前記学習データを作成するステップと、を含み、前記学習データを作成するステップは、入力した前記画像中に前記印がない場合は、入力した前記画像そのものである学習用画像と、欠陥がないことを表すＯＫの値を保持するラベルと、からなる学習データを作成するステップと、入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された学習用画像と、欠陥があることを表すＮＧの値を保持するラベルと、からなる学習データを作成するステップと、を含む機械学習方法に関する。
本発明によれば、マーキングされた画像に基づき学習用データを作成することができる機械学習装置、機械学習方法を提供することができる。よって、学習用データの作成をより効率的に実行することができる。
本発明の実施形態の検査装置１０を利用して検査対象物１２を検査する様子を示す説明図である。 本発明の実施形態の検査装置１０の構成図である。 本発明の実施形態において、学習データに新たな学習用画像とラベルのペアを追加する手順を表すフローチャートである。 検査対象物１２に対して印２２をマーキングした様子を示す説明図である。 ロボット５０がそのハンド５２を用いて検査対象物１２を把持し、検査対象物１２の位置姿勢を変えられるように構成した場合の説明図である。 ロボット５０のアーム（やハンド５２）の先端に視覚センサ１４を設置し、視覚センサ１４の位置姿勢を変えられるように構成した場合の説明図である。 撮像した画像２４の説明図である。 複数の画像を撮像した場合の様子を示す説明図である。 印２２の内側のみを切り抜いて学習用画像とする場合の説明図である。 印２２の部分の画素を周囲の画素の情報を使って置き換えた画像を学習用画像とする場合の説明図である。 可視光照明で撮像し、欠陥２０のみが映った画像の様子を示す説明図である。 紫外線照明のみで撮像し、印２２のみが映った画像の様子を示す説明図である。 欠陥２０と重畳して印２２がマーキングされている様子を示す説明図である。 印２２をそのまま残して学習用画像として用いた例を示す説明図である。 印２２の部分の画素値だけを１、それ以外の画素値を０とするマスク画像の例を示す説明図である。
以下、本発明の実施形態について、図面を参照しながら説明する。
［検査装置］
図１は、検査対象物を検査する検査装置１０を利用して検査対象物１２を検査する様子を示す説明図である。同図に示すように、検査装置１０には、検査対象物１２を撮像する視覚センサ１４が接続されている。視覚センサ１４は、検査対象物１２を撮像し、その画像を検査装置１０に提供する。また、検査対象物１２は、加工等を行う作業台１６の上に載置されている。検査装置１０は、視覚センサ１４から提供された画像に基づき、検査対象物１２に欠陥があるか否かを検査し、その結果を外部に出力する。視覚センサ１４は、検査対象物１２を撮像できるカメラであればどのような装置でもよい。
検査装置１０は、画像に基づき検査対象物１２の欠陥の有無を判断する装置である。このような機能を実現するため、検査装置１０は、いわゆる機械学習を行い、その学習結果に基づき、画像に対してその画像の検査対象物１２に欠陥があるか否かを判断する。
例えば、検査装置１０は、図２のような構成を採用してよい。
図２に示すように、検査装置１０内の機械学習装置４０は、記憶部３３に記憶された学習データ群に基づいて入力した画像データ（学習用画像）とラベル（ＯＫ又はＮＧ）からＯＫ、ＮＧを適切に判別するための判断結果を出力するように機械学習を行って学習モデルを取得することができる。学習データは、本実施形態では、少なくとも学習用画像と、欠陥の有無を表すラベルと、から構成される。これら学習データに基づき、学習部４６は学習を行い、学習モデルを形成する。
学習部４６から取り出される出力が推定の対象となる判断結果に一致するように機械学習装置４０の学習部４６に入力と出力との関係を学習させておくことによって、画像入力部４２から入力した画像データに応じて判断結果を推定することができる。本実施形態では、例えば多層ニューラルネットワークを含むニューラルネットワークにより構築された学習モデルに従って（学習部４６において）機械学習が行われる。入力層、出力層、そして中間層を含むニューラルネットワークにより構築された学習モデルは適宜の方式を用いることができる。例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｗｒａｌ Ｎｅｔｗｏｒｋ）を適用することもできる。
学習した後、学習部４６は、画像入力部４２が入力した画像について、学習モデルに基づき所定の判断を行い、判断結果を出力する。本実施形態においては、判断結果は、例えばＯＫ（欠陥なし）、ＮＧ（欠陥あり）であってよい。学習データは、学習用画像と、その学習用画像から得られるべきラベルと、のペア（組）の集合であるが、他の情報を含んでいてもよい。
この学習データは記憶部３３に記憶されており、学習部４６はこれを用いて学習する。学習データを数多く準備して機械学習装置４０の学習部４６に学習させればよいが、上述したように、学習データを作成することは煩雑な作業が多く、人間の負担が大であった。そこで、本実施形態では、学習データの効率的な作成手法を提案する。この作成手法を実現するために、本実施形態の機械学習装置４０は、マーキングされた画像に基づき学習データを作成する作成部４４を備えている。この作成部４４は、画像入力部４２から入力したマーキングされた画像に基づき、学習データを作成して、記憶部３３に記憶させる。その後、学習部４６が、記憶部３３に格納されている学習データに基づき学習を行うことができる。
［学習データの作成］
図３には、学習データに新たな学習用画像とラベルのペアを追加する手順を表すフローチャートが示されている。
ステップＳ３−１において、検査員は、検査対象物１２の検査を目視で行う。
ステップＳ３−２において、検査員は、欠陥を見つけたときには、その欠陥部位にマーキングを行う。
このマーキングの様子が図４に示されている。マーキングは、所定の印（マーク）２２を検査対象物１２の欠陥２０の部位を示すための所定の印（マーク）２２を、その部位に付すこと（マーキングすること）で行われる。図４に示すように、検査員は、検査対象物１２の表面を、目視で検査し、見つけた欠陥２０の部位を示すように印２２を、検査対象物１２に対して付する（マーキングする）。印２２は、文字通り欠陥２０の部位を示すマークであり、例えば所定の塗料を、欠陥２０を囲むようにペイントすることによって、マーキングが行われる。所定の色彩のペンで例えば矩形を描いてもよいし、丸を描いてもよい。ペン以外でも、スタンプ、筆、刷毛、スプレー等種々の手段を使用することができる。また、上では「塗料」としたが、各種顔料、染料、等を用いることができる。また、可視光では透明の塗料ではあるが、紫外線に反応し所定の蛍光を発するような蛍光塗料を用いてもよい。このような塗料を用いれば、通常は肉眼では印２２が付されたことを認識できないので、検査対象物１２の外観を損なうことなく、欠陥の有無を認識することができる。また、他の波長の光に反応する他の蛍光材料を含む塗料を用いてもよい。
図４では、説明の都合上、破線で印２２が表されているが、所定の色彩のペンで検査対象物１２の表面の欠陥２０を囲むように所定の色彩を付してもよい。このように、所定の色彩を印２２として使用することができる。また、所定の形状を印２２として使用してもよい。例えば、矩形の図形、星形等、種々の形状を印２２として使用することができる。矩形の図形で欠陥２０を囲むことや、欠陥２０の部位の上に星形を描いてもよい。画像上で他の区別しやすい色彩や形状であれば、どのような色彩・形状を印２２として用いてもよい。
また、欠陥の種類に応じてマーキングする印２２の種類を変更してもよい。例えば、欠陥の種類に応じて、印２２の形状を変更してもよい。丸、四角、三角、星形等、様々な形状を利用してよい。また、反射光波長が異なるものを印２２として利用してもよい。赤外線を反射しやすい材料を用いた場合や、紫外線を反射しやすい材料を用いた場合、また反射光のスペクトルが互いに異なる種々の材料を検査対象物１２上に塗布して印２２を構成してもよい。
反射光波長が異なる例の一つに、色彩が異なる塗料を用いることが考えられる。例えば、「傷」、「汚れ」、「欠け」、等の種類に応じて、マーキングする印２２の色彩を変更してもよい。例えば、傷の場合は赤色でペイントし、汚れの場合は青色でペイントし。欠けの場合は緑でペイントする等、色彩を変更してもよい。マーキングから得た欠陥の種類の情報を学習データに含めることで、学習部は欠陥の種類を判別することが可能になる。なお、ステップＳ３−２におけるマーキングを検査員が行う例を説明したが、ロボットが実行してもよい。また、生産工程における検査工程で、検査員や検査ロボットが実行してもよい。
ステップＳ３−３において、検査員は、視覚センサ１４の視野に検査対象物１２を設置する。そして、視覚センサ１４を制御して、欠陥箇所の撮像を行う。この様子は、例えば、図１で説明した通りである。なお、図５に示すように、ロボット５０がそのハンド５２を用いて検査対象物１２を把持し、検査対象物１２の位置姿勢を変えられるように構成してもよい。この場合、検査装置１０は、ロボット制御装置５４を用いてロボット５０及びそのハンド５２を制御して検査対象物１２を所望の位置姿勢に制御することができる。また、図５に示す例では、検査対象物１２を動かしているので、視覚センサ１４の位置姿勢は固定であり、照明１５も固定である例を示している。
この図５の例において、検査対象物１２の任意の検査箇所を撮像する場合には、ロボット５０が検査対象物１２を把持して移動させる。この結果、視覚センサ１４は検査対象物１２の各検査箇所の撮像を行うことができる。
また、図６に示すように、ロボット５０のアーム（やハンド５２）の先端に視覚センサ１４を設置し、視覚センサ１４の位置姿勢を変えられるように構成してもよい。そして、検査をするときと同じように検査対象物１２の撮像を行う。
この場合、検査装置１０は、ロボット制御装置５４を用いてロボット５０及びそのハンド５２を制御して視覚センサ１４を所望の位置姿勢に制御することができる。また、図６に示す例では、視覚センサ１４側を動かしているので、検査対象物１２の位置姿勢は固定であり、図１と同様に検査対象物１２を作業台１６上に載置している。
この図６の例においては、検査対象物１２の任意の検査箇所を撮像する場合には、ロボット５０がそのハンド５２上の視覚センサ１４を、検査対象物１２の表面上を移動させて、検査対象物１２の各検査箇所の撮像を行う。
このようにして、ステップＳ３−３において視覚センサ１４による検査の時と同様に撮像を行うが、この撮像を行った際の画像２４の説明図が図７に示されている。撮像して得られた画像２４中に印（マーク）２２が含まれている場合の例が図７である。図７では、撮像して得られた画像２４中に印（マーク）２２が含まれている場合の例を示すが、欠陥がない場合は、撮像して得られた画像２４中に印（マーク）は表れない。
また、図５や図６の構成によれば、検査対象物１２又は視覚センサ１４のいずれかを動かすことによって、複数の検査箇所の撮像を行うことができる。複数の画像を撮像した場合の様子が図８に示されている。図８の例では。画像２４ａ、２４ｂ、２４ｃ、２４ｄの４枚の画像がオーバーラップしながら撮像されている様子が示されている。
図５では、視覚センサ１４の出力データは、ロボット制御装置５４を介して検査装置１０に接続されている。また、図６では、視覚センサ１４の出力データは、直接検査装置に接続されている。このようにして、視覚センサ１４が撮像した画像は、検査装置１０に供給され、検査装置１０内の機械学習装置４０（の作成部４４）が処理を行う。この処理の詳細は次のステップＳ３−４において説明する。
ステップＳ３−４において、撮像された画像から印（マーク）２２を検出し、印２２が存在すれば、その画像に対してＮＧのラベルを紐付ける。例えば、図８の画像２４ａの場合は、印２２が存在するので、ＮＧのラベルが紐付けられる。また、例えば図８の画像２４ｄのように、印がない場合は、その画像に対してＯＫのラベルが紐付けられる。
またさらに、その画像に対して欠陥の位置やサイズ等の情報を紐付けてもよい。このようにして、機械学習のための学習データが作成される。学習データは、少なくとも、画像（例えば、上述した画像２４ａ、２４ｂ、２４ｃ、２４ｄ）と、それら画像に対して紐付けたラベル（ＯＫ又はＮＧの値を保持する）と、を含むデータである。この学習データには、欠陥の様々な情報を含めてもよい。上述した欠陥の位置やサイズの他、欠陥の種類等様々な情報を含めてもよい。この学習データを構成する上記画像が学習用画像である。ここでは、撮像して入力した画像そのものを学習用画像としてそのまま使用する。このように、入力した画像を元にして生成された画像を学習用画像として使用してよい。入力した画像を元にして生成された画像とは、入力した画像そのものを含み、その他に例えば、印２２の除去、トリミング、拡大等の各種の画像処理を施した画像も含む意味である。
上述したように、欠陥の種類に応じて印が変更されてマーキングされている場合は、それに応じた欠陥の種類を学習データとして含めてよい。
このステップＳ３−４の上記処理は、検査装置１０内の機械学習装置４０（の作成部４４）が実行する。具体的には、機械学習装置４０は、視覚センサ１４が撮像した画像を、画像入力部４２を介して入力する。画像入力部４２は、例えばコンピュータの外部入力インターフェース等を利用することができる。
この機械学習装置４０の学習部４６は、記憶部３３中の学習データに基づき学習を行ってその学習結果（学習モデル）に基づいて、入力された画像に対して欠陥があるか否かの判断を行う。
本実施形態の機械学習装置４０において特徴的なことは、与えられた画像に基づき自分で学習データを作成し、それに基づいて学習を行う動作モードを備えていることである。したがって、従来、人間が学習データを作成していたのに比べて、人間の労力を軽減させることが可能である。
従来の機械学習装置４０は、学習データ（例えば、画像とラベル）を与えられて、それに基づき学習を行う学習モードと、学習した結果に基づき、画像についても所定の判断を行う判断モードと、の２種の動作モードを備えている。これに対して、本実施形態における機械学習装置４０は、上記２種のモードに加えて、マーキングされた画像を含む画像群を入力し、学習データを作成する学習データ作成モードの３番目の動作モードを有している。この３番目の学習データ作成モードにおいては、作成部４４が上述したステップＳ３−４の処理を実行し、学習データを作成する。作成した学習データはそのまま記憶部３３に格納してもよいが、次に説明するステップＳ３−５の処理を施してから、記憶部３３に格納してもよい。
ステップＳ３−５において、機械学習装置４０の作成部４４は、画像に印２２が付されていた場合、その画像から所定の手段で印２２を除去してもよい。印２２の種類にも依存するが、印２２がマーキングされた画像を学習データとしてそのまま用いて学習を実行すると、印２２がついているものをＮＧとして学習する可能性が高い。その結果、印２２が付されていない画像を誤判断してしまう場合がある。つまり、実際の検査の段階では、検査対象物１２に印２２がマーキングされていないので、マーキングされていない画像を学習データとして学習するべきである。そこで、印２２が画像にある場合は、その画像から印２２を除去した（＝印２２が写っていない）画像を学習データに含まれる学習用画像として利用することが望ましい。このような印２２の除去は、機械学習装置４０の作成部４４が実行することができる。
ステップＳ３−６において、機械学習装置４０の作成部４４は、当該画像を学習用画像として、当該画像に紐付けられたラベルとともに、学習データとして利用する。つまり、既存の学習データに、ラベルと学習用画像のペアを追加する。追加した学習用画像とそのラベルとは、記憶部３３に格納される。また、複数の検査箇所を撮像したときには、複数の学習データのペアが追加されることになる。
［機械学習］
さて、学習のための十分な数の学習用画像とラベルのペア（学習データ）が作成された場合、学習用画像を入力、ラベルを教師データとして学習を行うことができる。機械学習装置４０は、文字通り機械学習を行う装置であるので、従来と同様に学習を実行することができる。機械学習装置４０の構成はすでに図２に示されている。既に学習がある程度進んでいる学習部４６に追加学習させてもよい。本実施形態では、学習部４６の学習が完了したら、学習部４６を検査で使用することができる。すなわち、学習（学習モード）が終了した後は、上述した判断モードで使用することができる。
本実施形態における検査装置１０は、学習済みの学習部４６を用いて、この学習部４６に、画像入力部４２を新たな画像（検査で撮像された画像）を入力すると、ＯＫ（欠陥なし）／ＮＧ（欠陥あり）の判別を行わせることができる。また、欠陥である確率を求めさせること、欠陥位置を求めさせること、等を行わせることもできる。これは、学習の教師データ（ラベル）として何を用いたかによって出力するものも変わってくるためである。上述した例では、ラベルとして、ＯＫ／ＮＧを用いる例を説明したが、その場合は学習部４６はＯＫ／ＮＧを出力する。教師データとして、欠陥である確率や、欠陥の位置を用いれば、学習部４６は、欠陥である確率や欠陥の位置を出力する。
なお、学習した結果である学習モデルは、他の機械学習装置４０の学習部４６で共有してもよい。すなわち、学習を行わせる学習部４６は１台のみで、学習した結果を、他の機械学習装置４０でそのまま流用し共有してもよい。
［印（マーク）の除去］
上述した図３の例では、ステップＳ３−５において、印２２（マーク）を除去する例を説明したが。印２２を除去する手法は種々存在する。以下では画像から印２２を除去する方法を説明する。
（方法１）
図４のように矩形にペイントすることによってマーキングされた場合は、印２２の内側のみを切り抜いて学習用画像とすることができる。この様子が図９に示されている。この処理は、上述した作成部４４が、ステップＳ３−５において実行する処理である。ある境界（ここでは、印２２）で囲まれた領域を、その境界（印２２）を含まないように選択することは、画像処理の一種として知られているので、作成部４４がそのような画像処理を行って、学習用画像を作成すればよい。
（方法２）
印２２の部分を構成する画素を、その周囲の画素の情報を使って置き換え（周囲の画素で置換し）たものを学習用画像とすることができる。この様子が図１０に示されている。この処理は、上述した作成部４４が、ステップＳ３−５において実行する処理である。ある領域（ここでは、印２２）を、その境界の周囲の画素で置き換えることによって、消滅させることは、画像処理の一種として知られているので、作成部４４がそのような画像処理を行って、学習用画像を作成すればよい。印２２の領域であるかどうかは、その形状、色彩などから判別することができる。
（方法３）
特定の波長の光をあてたときにのみ見える特殊な塗料でマーキングすることができる。ここでは紫外線をあてたときにのみ(蛍光が発せられて)見える塗料を用いてマーキングする例を説明する。この塗料は、可視光的には透明であり、自然光の下では、見えない(透明）塗料である例を説明する。
本実施形態における紫外線は、請求の範囲の印２２が見える波長の光の好適な一例であるが、他の種類の塗料であれば、他の波長の光が用いられてもよい。本実施形態における可視光は、請求の範囲における印２２が見えない波長の光の好適な一例であるが、他の種類の塗料であれば、他の波長の光を用いてもよい。
この場合、画像を撮像するときに、可視光照明を当てて撮像を行い、次に紫外線照明をあてて撮像を行う。それにより、可視光照明で撮像した場合は、図１１Ａのように欠陥のみが映った画像が得られる。他方、紫外線照明のみで撮像した場合は、図１１Ｂのように印２２のみが映った画像が得られる。ここで、検査対象物１２は、紫外線に対して発光するような部位はないものとする。
したがって、印２２の検出は紫外線照明をあてた画像（図１１Ｂ）で行い、学習用画像としては可視光照明をあてた画像（図１１Ａ）を利用することができる。このような処理も人間が手作業で照明１５を調整して実行してもよいし。検査装置１０が照明１５を制御して順にそれぞれの画像を撮像してもよい。このような方法をとることができれば、図１２に示すように、欠陥２０の上に印２２を重畳してマーキングすることでき、欠陥の位置、形状等の情報をより正確に表すこと(表現すること)ができる。図１２では、欠陥２０と重ねて印２２がマーキングされている。
（方法４）
図３で説明したステップＳ３−５では、印２２を除去して学習用画像を作成したが、学習用画像から印２２を除去するのではなく、学習時に印２２が存在することを考慮する方法も考えられる。
まず、印２２をそのまま残した画像を学習用画像として用いる。このような学習用画像の例が図１３Ａに示されている。
印２２の存在も学習部４６に与えるため、印２２のみを含むマスク画像を作成する。画像から印２２を検出するときに、印２２の部分の画素値だけを１、それ以外の画素値を０とするマスク画像を生成する。このようなマスク画像が図１３Ｂに示されている。
学習時には、学習用画像（図１３Ａ）とともに、マスク画像（図１３Ｂ）も学習部４６に入力することによって、学習部４６が印２２の存在を考慮して学習することができる。そのようにする場合には、欠陥がない検査対象物１２にも印２２をつけて、ラベルはＯＫとしたものを学習部４６に入力する必要がある。そのようにすることで、印２２がついていても直ちにＮＧとは判断しないようにできる。
なお、特許文献２との本実施形態との相違点を説明する。本実施形態では上述するように印２２を付けた箇所を学習用画像の欠陥部位の特定に用いている。これに対して特許文献２には、このような学習用画像について印２２をマーキングする事項は開示されていない。また、本実施形態では上述したように、印２２を付けた箇所を画像から除去するような処理を実行する場合もある。しかしながら、特許文献２には、このような印２２部分を除去するような画像処理も開示されていない。
以上、本発明の実施形態について詳細に説明したが、前述した実施形態は、本発明を実施するにあたっての具体例を示したに過ぎない。本発明の技術的範囲は、前記実施形態に限定されるものではない。本発明は、その趣旨を逸脱しない範囲において種々の変更が可能であり、それらも本発明の技術的範囲に含まれる。
１０ 検査装置
１２ 検査対象物
１４ 視覚センサ
１５ 照明
１６ 作業台
２０ 欠陥
２２ 印(マーク)
２４ 画像
３３ 記憶部
４０ 機械学習装置
４２ 画像入力部
４４ 作成部
４６ 学習部
５０ ロボット
５２ ハンド
５４ ロボット制御装置

Claims (6)

  1. 機械学習に用いる学習データを作成する機械学習装置であって、
    欠陥を示す印を特定の波長の光をあてたときにのみ見える特殊な塗料でマーキングされたものを含む検査対象物を、前記印が見える波長の光で照明した状態で撮像して得られたマーキング画像と前記印が見えない波長の光で照明した状態で撮像して得られた学習用画像とを入力する画像入力部と、
    前記入力した画像に基づき前記学習データを作成する作成部と、を備え、
    前記作成部は、
    前記マーキング画像中に前記印がない場合は、前記学習用画像と、欠陥がないことを表すＯＫの値を保持するラベルと、からなる学習データを作成し、
    前記マーキング画像中に前記印がある場合は、前記学習用画像と、前記マーキング画像から取得した欠陥の情報と、欠陥があることを表すＮＧの値を保持するラベルと、からなる学習データを作成する作成部と、
    を備える機械学習装置。
  2. 前記欠陥を示す前記印は、前記欠陥の種類に応じて異なる印であり、
    前記作成部は、前記学習用画像と、前記印で示された欠陥の種類と、前記ＮＧの値を保持するラベルと、を含む学習データを作成する請求項１記載の機械学習装置。
  3. 前記欠陥には、前記検査対象物の傷、汚れ及び欠けが含まれる請求項２記載の機械学習装置。
  4. 前記異なる印は、互いに反射光波長が異なる印である請求項２記載の機械学習装置。
  5. 請求項１から４のいずれか１項に記載の機械学習装置と、
    前記機械学習装置が作成した学習データを記憶する記憶部と、を備えた検査装置であって、
    前記機械学習装置は、前記記憶部が記憶する学習データで学習した学習部であって、前記画像入力部が入力した前記検査対象物の画像に基づき欠陥の判断結果を出力する学習部を備える検査装置。
  6. 機械学習に用いる学習データを作成する機械学習方法であって、
    検査対象物を検査し、欠陥を見つけたときには、欠陥箇所に印を特定の波長の光をあてたときにのみ見える特殊な塗料で付するステップと、
    前記検査対象物を、前記印が見える波長の光で照明した状態で撮像して得られたマーキング画像と前記印が見えない波長の光で照明した状態で撮像して得られた学習用画像とを入力するステップと、
    前記入力した画像に基づき前記学習データを作成するステップと、を含み、
    前記学習データを作成するステップは、
    前記マーキング画像中に前記印がない場合は、前記学習用画像と、欠陥がないことを表すＯＫの値を保持するラベルと、を含む学習データを作成するステップと、
    前記マーキング画像中に前記印がある場合は、前記学習用画像と、前記印でマーキング画像から取得した欠陥の情報と、欠陥があることを表すＮＧの値を保持するラベルと、を含む学習データを作成するステップと、を含む機械学習方法。
JP2017134508A 2017-07-10 2017-07-10 機械学習装置、検査装置及び機械学習方法 Active JP6705777B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017134508A JP6705777B2 (ja) 2017-07-10 2017-07-10 機械学習装置、検査装置及び機械学習方法
CN201810736105.1A CN109242820B (zh) 2017-07-10 2018-07-06 机器学习装置、检查装置以及机器学习方法
DE102018211212.6A DE102018211212A1 (de) 2017-07-10 2018-07-06 Maschinelles-Lernen-Vorrichtung, Prüfvorrichtung und Maschinelles-Lernen-Verfahren
US16/029,827 US10891520B2 (en) 2017-07-10 2018-07-09 Machine learning device, inspection device and machine learning method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017134508A JP6705777B2 (ja) 2017-07-10 2017-07-10 機械学習装置、検査装置及び機械学習方法

Publications (2)

Publication Number Publication Date
JP2019015654A JP2019015654A (ja) 2019-01-31
JP6705777B2 true JP6705777B2 (ja) 2020-06-03

Family

ID=64666481

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017134508A Active JP6705777B2 (ja) 2017-07-10 2017-07-10 機械学習装置、検査装置及び機械学習方法

Country Status (4)

Country Link
US (1) US10891520B2 (ja)
JP (1) JP6705777B2 (ja)
CN (1) CN109242820B (ja)
DE (1) DE102018211212A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110006923A (zh) * 2019-04-23 2019-07-12 Oppo广东移动通信有限公司 一种标牌品质检测方法、装置及计算机可读存储介质
CN112505049A (zh) * 2020-10-14 2021-03-16 上海互觉科技有限公司 基于蒙版抑制的精密零组件表面缺陷检测方法和***

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
KR101992239B1 (ko) * 2017-08-24 2019-06-25 주식회사 수아랩 훈련 데이터를 생성하는 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
US10810501B1 (en) 2017-10-20 2020-10-20 Amazon Technologies, Inc. Automated pre-flight and in-flight testing of aerial vehicles by machine learning
US10346969B1 (en) * 2018-01-02 2019-07-09 Amazon Technologies, Inc. Detecting surface flaws using computer vision
EP3762794A1 (en) * 2018-03-05 2021-01-13 Omron Corporation Method, device, system and program for setting lighting condition and storage medium
JP6863946B2 (ja) * 2018-10-31 2021-04-21 ファナック株式会社 画像処理装置
US11468553B2 (en) * 2018-11-02 2022-10-11 Kla Corporation System and method for determining type and size of defects on blank reticles
JP6630912B1 (ja) * 2019-01-14 2020-01-15 株式会社デンケン 検査装置及び検査方法
JP7262232B2 (ja) * 2019-01-29 2023-04-21 東京エレクトロン株式会社 画像認識システムおよび画像認識方法
US10611497B1 (en) 2019-02-18 2020-04-07 Amazon Technologies, Inc. Determining vehicle integrity using vibrometric signatures
JP7095798B2 (ja) * 2019-03-08 2022-07-05 日本電気株式会社 画像処理方法、画像処理装置、プログラム
US20200289889A1 (en) 2019-03-11 2020-09-17 Rom Technologies, Inc. Bendable sensor device for monitoring joint extension and flexion
US11471729B2 (en) 2019-03-11 2022-10-18 Rom Technologies, Inc. System, method and apparatus for a rehabilitation machine with a simulated flywheel
JP7263074B2 (ja) * 2019-03-22 2023-04-24 キヤノン株式会社 情報処理装置、及びその制御方法、プログラム、記憶媒体
CN111861966B (zh) * 2019-04-18 2023-10-27 杭州海康威视数字技术股份有限公司 模型训练方法、装置及缺陷检测方法、装置
US11801423B2 (en) 2019-05-10 2023-10-31 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to interact with a user of an exercise device during an exercise session
US11433276B2 (en) 2019-05-10 2022-09-06 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to independently adjust resistance of pedals based on leg strength
US11957960B2 (en) 2019-05-10 2024-04-16 Rehab2Fit Technologies Inc. Method and system for using artificial intelligence to adjust pedal resistance
US11904207B2 (en) 2019-05-10 2024-02-20 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to present a user interface representing a user's progress in various domains
WO2020251172A1 (ko) * 2019-06-10 2020-12-17 주식회사 수아랩 데이터 생성 방법
WO2020252574A1 (en) 2019-06-17 2020-12-24 RecognAIse Technologies Inc. Artificial intelligence-based process and system for visual inspection of infrastructure
DE102019209408A1 (de) * 2019-06-27 2020-12-31 MTU Aero Engines AG Verfahren zum Erkennen von Fehlstellen in einem Bauteil, Verfahren zum Trainieren eines maschinellen Lernsystems, Computerprogrammprodukt, computerlesbares Medium und System zum Erkennen von Fehlstellen in einem Bauteil
WO2021010269A1 (ja) * 2019-07-18 2021-01-21 三菱電機株式会社 検査装置、検査方法及びプログラム
JP7372076B2 (ja) * 2019-08-07 2023-10-31 ファナック株式会社 画像処理システム
US11071597B2 (en) 2019-10-03 2021-07-27 Rom Technologies, Inc. Telemedicine for orthopedic treatment
US11701548B2 (en) 2019-10-07 2023-07-18 Rom Technologies, Inc. Computer-implemented questionnaire for orthopedic treatment
US11923065B2 (en) 2019-10-03 2024-03-05 Rom Technologies, Inc. Systems and methods for using artificial intelligence and machine learning to detect abnormal heart rhythms of a user performing a treatment plan with an electromechanical machine
US11830601B2 (en) 2019-10-03 2023-11-28 Rom Technologies, Inc. System and method for facilitating cardiac rehabilitation among eligible users
US11282604B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for use of telemedicine-enabled rehabilitative equipment for prediction of secondary disease
US20210142893A1 (en) 2019-10-03 2021-05-13 Rom Technologies, Inc. System and method for processing medical claims
US20210134432A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. Method and system for implementing dynamic treatment environments based on patient information
US11756666B2 (en) 2019-10-03 2023-09-12 Rom Technologies, Inc. Systems and methods to enable communication detection between devices and performance of a preventative action
US20210134458A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. System and method to enable remote adjustment of a device during a telemedicine session
US20210134425A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. System and method for using artificial intelligence in telemedicine-enabled hardware to optimize rehabilitative routines capable of enabling remote rehabilitative compliance
US11069436B2 (en) 2019-10-03 2021-07-20 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouraging rehabilitative compliance through patient-based virtual shared sessions with patient-enabled mutual encouragement across simulated social networks
US11270795B2 (en) 2019-10-03 2022-03-08 Rom Technologies, Inc. Method and system for enabling physician-smart virtual conference rooms for use in a telehealth context
US11955220B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML and telemedicine for invasive surgical treatment to determine a cardiac treatment plan that uses an electromechanical machine
US11139060B2 (en) 2019-10-03 2021-10-05 Rom Technologies, Inc. Method and system for creating an immersive enhanced reality-driven exercise experience for a user
US11515028B2 (en) 2019-10-03 2022-11-29 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to create optimal treatment plans based on monetary value amount generated and/or patient outcome
US11955221B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML to generate treatment plans to stimulate preferred angiogenesis
US11887717B2 (en) 2019-10-03 2024-01-30 Rom Technologies, Inc. System and method for using AI, machine learning and telemedicine to perform pulmonary rehabilitation via an electromechanical machine
US20210134412A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. System and method for processing medical claims using biometric signatures
US11978559B2 (en) 2019-10-03 2024-05-07 Rom Technologies, Inc. Systems and methods for remotely-enabled identification of a user infection
US11337648B2 (en) 2020-05-18 2022-05-24 Rom Technologies, Inc. Method and system for using artificial intelligence to assign patients to cohorts and dynamically controlling a treatment apparatus based on the assignment during an adaptive telemedical session
US11955222B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for determining, based on advanced metrics of actual performance of an electromechanical machine, medical procedure eligibility in order to ascertain survivability rates and measures of quality-of-life criteria
US11915815B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning and generic risk factors to improve cardiovascular health such that the need for additional cardiac interventions is mitigated
US11317975B2 (en) 2019-10-03 2022-05-03 Rom Technologies, Inc. Method and system for treating patients via telemedicine using sensor data from rehabilitation or exercise equipment
US11325005B2 (en) 2019-10-03 2022-05-10 Rom Technologies, Inc. Systems and methods for using machine learning to control an electromechanical device used for prehabilitation, rehabilitation, and/or exercise
US20210128080A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. Augmented reality placement of goniometer or other sensors
US11101028B2 (en) 2019-10-03 2021-08-24 Rom Technologies, Inc. Method and system using artificial intelligence to monitor user characteristics during a telemedicine session
US11955223B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning to provide an enhanced user interface presenting data pertaining to cardiac health, bariatric health, pulmonary health, and/or cardio-oncologic health for the purpose of performing preventative actions
US11282608B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to provide recommendations to a healthcare provider in or near real-time during a telemedicine session
US11515021B2 (en) 2019-10-03 2022-11-29 Rom Technologies, Inc. Method and system to analytically optimize telehealth practice-based billing processes and revenue while enabling regulatory compliance
US11075000B2 (en) 2019-10-03 2021-07-27 Rom Technologies, Inc. Method and system for using virtual avatars associated with medical professionals during exercise sessions
US11961603B2 (en) 2019-10-03 2024-04-16 Rom Technologies, Inc. System and method for using AI ML and telemedicine to perform bariatric rehabilitation via an electromechanical machine
US20210127974A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. Remote examination through augmented reality
US11282599B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouragement of rehabilitative compliance through patient-based virtual shared sessions
US11915816B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. Systems and methods of using artificial intelligence and machine learning in a telemedical environment to predict user disease states
US11826613B2 (en) 2019-10-21 2023-11-28 Rom Technologies, Inc. Persuasive motivation for orthopedic treatment
US11635944B2 (en) 2019-11-19 2023-04-25 Salesforce.Com, Inc. Methods and systems for programmatic creation of an interactive demonstration presentation for an envisioned software product
KR102268909B1 (ko) * 2020-04-10 2021-06-23 코그넥스코오포레이션 Edge Field와 딥러닝 기반 검사 방법
CN115668283A (zh) 2020-05-18 2023-01-31 发那科株式会社 机器学习装置和机器学习***
CN114092382A (zh) * 2020-08-07 2022-02-25 富泰华工业（深圳）有限公司 产品瑕疵标记装置和方法
US20220198632A1 (en) * 2020-12-23 2022-06-23 Transportation Ip Holdings, Llc Systems and methods for equipment inspection
JP2022099535A (ja) * 2020-12-23 2022-07-05 株式会社前川製作所 対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム
JPWO2022215559A1 (ja) * 2021-04-05 2022-10-13
JP7036477B1 (ja) * 2021-10-18 2022-03-15 株式会社Anamorphosis Networks 欠陥検出方法、欠陥検出システム、及び、欠陥検出プログラム
JP7076167B1 (ja) 2021-12-01 2022-05-27 Ｅａｇｌｙｓ株式会社 機械学習装置、機械学習システム、機械学習方法、および機械学習プログラム
FR3133924A1 (fr) * 2022-03-24 2023-09-29 Psa Automobiles Sa Procede de detection et de marquage de defauts sur une piece et installation pour la mise en œuvre du procede
EP4325206A1 (en) 2022-08-18 2024-02-21 F. Hoffmann-La Roche AG Method for compensating defective partitions of a microfluidic chip

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2629880B2 (ja) * 1988-09-09 1997-07-16 オムロン株式会社 基板検査装置における教示方法
JP3070774B2 (ja) 1991-03-28 2000-07-31 マツダ株式会社 ワークの表面状態監視方法
JP3051001B2 (ja) * 1992-11-13 2000-06-12 株式会社東芝 欠陥検査装置
DE19730885A1 (de) * 1997-07-18 1999-01-21 Audi Ag Verfahren zur automatischen Erkennung von Oberflächenfehlern an Rohkarosserien und Vorrichtung zur Durchführung des Verfahrens
JPH11153551A (ja) * 1997-11-20 1999-06-08 Nkk Corp 金属板の疵手入範囲教示装置
US6272018B1 (en) * 1999-02-11 2001-08-07 Original Solutions Inc. Method for the verification of the polarity and presence of components on a printed circuit board
JP2001331784A (ja) * 2000-05-18 2001-11-30 Hitachi Ltd 欠陥分類方法及びその装置
US6975754B2 (en) * 2000-10-26 2005-12-13 Hitachi, Ltd. Circuit pattern inspection method and apparatus
JP4155496B2 (ja) * 2002-04-25 2008-09-24 大日本スクリーン製造株式会社 分類支援装置、分類装置およびプログラム
AU2003293826A1 (en) * 2002-08-28 2004-03-19 Siemens Westinghouse Power Company System for infrared imaging by inducing acoustic chaos
JP4163654B2 (ja) * 2004-04-19 2008-10-08 株式会社日立ハイテクノロジーズ 走査電子顕微鏡
US7462809B2 (en) * 2004-10-22 2008-12-09 Northrop Grumman Corporation Spectral filter system for infrared imaging of substrates through coatings
JP4750444B2 (ja) * 2005-03-24 2011-08-17 株式会社日立ハイテクノロジーズ 外観検査方法及びその装置
EP1969355B1 (de) * 2005-12-16 2012-04-11 Automation W+R GmbH Verfahren und anordnung zur erkennung von materialfehlern in werkstücken
JP5228490B2 (ja) * 2005-12-26 2013-07-03 株式会社ニコン 画像解析によって欠陥検査を行う欠陥検査装置
JP4862765B2 (ja) 2007-06-29 2012-01-25 関東自動車工業株式会社 表面検査装置及び表面検査方法
US8126255B2 (en) * 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
JP5217781B2 (ja) * 2008-08-26 2013-06-19 セイコーエプソン株式会社 検査装置および検査システム
JP5287178B2 (ja) * 2008-11-27 2013-09-11 富士通セミコンダクター株式会社 欠陥レビュー装置
JP5340717B2 (ja) * 2008-12-16 2013-11-13 株式会社イシダ Ｘ線検査装置
JP5201416B2 (ja) 2009-04-13 2013-06-05 株式会社アイティーティー 写真計測用画像処理装置、それを用いた現場記録システム、荷物記録システム並びにレーザ加工システム
JP5479782B2 (ja) * 2009-06-02 2014-04-23 株式会社日立ハイテクノロジーズ 欠陥画像処理装置、欠陥画像処理方法、半導体欠陥分類装置および半導体欠陥分類方法
CN104508681B (zh) * 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的***及方法
JP5958160B2 (ja) * 2012-08-03 2016-07-27 オムロン株式会社 部品実装検査のための検査基準情報の設定方法および検査基準情報の作成システム
EP2731051A1 (en) * 2012-11-07 2014-05-14 bioMérieux Bio-imaging method
US20150310448A1 (en) * 2012-11-28 2015-10-29 Saint-Gobain Glass France Method and system for identifying defects in glass
EP2832908B1 (de) * 2013-07-30 2023-01-04 Stäubli Sargans AG Überwachungsvorrichtung für eine Webmaschine, Webmaschine und Verfahren zur Überwachung
JP2016058465A (ja) * 2014-09-08 2016-04-21 株式会社日立ハイテクノロジーズ 欠陥定量化方法、欠陥定量化装置、および欠陥評価値表示装置
US10211025B2 (en) * 2015-08-12 2019-02-19 Kla-Tencor Corp. Determining a position of a defect in an electron beam image
US20170069075A1 (en) * 2015-09-04 2017-03-09 Canon Kabushiki Kaisha Classifier generation apparatus, defective/non-defective determination method, and program
JP2017102865A (ja) * 2015-12-04 2017-06-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20170212829A1 (en) * 2016-01-21 2017-07-27 American Software Safety Reliability Company Deep Learning Source Code Analyzer and Repairer
CN106127780B (zh) * 2016-06-28 2019-01-18 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
US10503998B2 (en) * 2016-11-07 2019-12-10 Gracenote, Inc. Recurrent deep neural network system for detecting overlays in images
WO2018208791A1 (en) * 2017-05-08 2018-11-15 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110006923A (zh) * 2019-04-23 2019-07-12 Oppo广东移动通信有限公司 一种标牌品质检测方法、装置及计算机可读存储介质
CN110006923B (zh) * 2019-04-23 2021-07-09 Oppo广东移动通信有限公司 一种标牌品质检测方法、装置及计算机可读存储介质
CN112505049A (zh) * 2020-10-14 2021-03-16 上海互觉科技有限公司 基于蒙版抑制的精密零组件表面缺陷检测方法和***
CN112505049B (zh) * 2020-10-14 2021-08-03 上海互觉科技有限公司 基于蒙版抑制的精密零组件表面缺陷检测方法和***

Also Published As

Publication number Publication date
CN109242820B (zh) 2021-06-08
JP2019015654A (ja) 2019-01-31
DE102018211212A1 (de) 2019-01-10
US10891520B2 (en) 2021-01-12
CN109242820A (zh) 2019-01-18
US20190012579A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
JP6705777B2 (ja) 機械学習装置、検査装置及び機械学習方法
KR101782542B1 (ko) 차량 도장표면 검사시스템 및 검사방법
JP5228490B2 (ja) 画像解析によって欠陥検査を行う欠陥検査装置
EP3007022B1 (en) System and method for inspecting a composite part during manufacture
CN111220582A (zh) 荧光渗透检查***和方法
JP6767490B2 (ja) 欠陥検査装置、欠陥検査方法、およびプログラム
JP2020502490A (ja) 空気試料の自動分析を実行するためのシステム及び方法
JP5661833B2 (ja) 線状パターンを含む対象物の外観検査装置及び外観検査方法
CA2829575C (en) Protocol-based inspection system
JP2013148361A (ja) はんだ検査のための検査基準登録方法およびその方法を用いた基板検査装置
JP2022507678A (ja) 自動目視検査プロセスにおけるセットアップ段階の最適化
JP2011132010A (ja) ワイヤーロープ検査装置
JP7214432B2 (ja) 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
JP2020201158A (ja) 立体物の外観検査装置および立体物の外観検査方法
JP2012145427A (ja) 基板検査システム、表示装置及び表示方法
JP2009258069A (ja) 紡糸口金の孔内異物の検査装置および検査方法
JP2008241424A (ja) 画像処理装置及びこれを用いた画像処理方法
JP2018091771A (ja) 検査方法、事前画像選別装置及び検査システム
JP3826146B2 (ja) ウェハ外観検査装置およびウェハ外観検査方法
CN118202383A (zh) 缺陷检测方法、缺陷检测***和缺陷检测程序
JPH04223262A (ja) 蛍光磁粉探傷における画像処理方法
TWI703320B (zh) 刻印檢查裝置、刻印檢查方法及物品檢查裝置
JP7153987B2 (ja) 塗装欠陥の評価方法
WO2023053728A1 (ja) 表示処理装置、表示処理方法、及び、表示処理プログラム
Dahal Design of object identification system based on machine vision

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180918

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181211

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190805

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200128

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200514

R150 Certificate of patent or registration of utility model

Ref document number: 6705777

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150