JP6353008B2 - 検査条件決定装置、検査条件決定方法及び検査条件決定プログラム - Google Patents

検査条件決定装置、検査条件決定方法及び検査条件決定プログラム Download PDF

Info

Publication number
JP6353008B2
JP6353008B2 JP2016215271A JP2016215271A JP6353008B2 JP 6353008 B2 JP6353008 B2 JP 6353008B2 JP 2016215271 A JP2016215271 A JP 2016215271A JP 2016215271 A JP2016215271 A JP 2016215271A JP 6353008 B2 JP6353008 B2 JP 6353008B2
Authority
JP
Japan
Prior art keywords
optical conditions
inspection
optical
image
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016215271A
Other languages
English (en)
Other versions
JP2018072260A (ja
Inventor
桂祐 渡邊
桂祐 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2016215271A priority Critical patent/JP6353008B2/ja
Priority to CN201711019766.4A priority patent/CN108020553B/zh
Priority to DE102017219244.5A priority patent/DE102017219244B4/de
Priority to US15/797,410 priority patent/US10614566B2/en
Publication of JP2018072260A publication Critical patent/JP2018072260A/ja
Application granted granted Critical
Publication of JP6353008B2 publication Critical patent/JP6353008B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8809—Adjustment for highlighting flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、対象物の傷の有無を画像検査する際の条件を決定する装置、方法及びプログラムに関する。
従来、加工成型したワーク等の表面にできた傷の有無を検査する際に、撮影した画像データと正常データとの差分から傷を検出する手法が用いられている（例えば、特許文献１参照）。
このとき、検査装置は、照明により照らされたワークの傷の箇所での反射光の乱れをカメラで撮影し、画像処理によって傷の箇所を特定する。
特開平９−４９７１７号公報
ところで、画像処理を用いた傷の検査では、傷が画像にどのように写るかによって検査の可否及び精度が変わる。このため、傷が画像に写りやすい照明の種類、数、位置等の光学条件は、過去の経験及び試行錯誤によって調整する必要があった。
しかしながら、傷の種類及び位置は様々であり、これらを検出可能な光学条件を適切に選択することは難しかった。例えば、傷のサンプルを用いて調整した光学条件は、必ずしも最適ではなく、サンプルとは異なる傷は写らない場合もある。したがって、画像処理を用いた傷の検査は、目視検査の代替としての精度が十分ではなかった。
本発明は、検査対象物の様々な傷のパターンを網羅的に、画像検出可能な光学条件を決定できる検査条件決定装置、検査条件決定方法及び検査条件決定プログラムを提供することを目的とする。
本発明に係る検査条件決定装置は、検査対象物の３次元モデルに対して、当該検査対象物に想定される傷を模したデータを指定された位置に付加する付加部と、前記３次元モデルに対して前記検査対象物を撮影する際の光学条件を再現した第１の画像、及び前記傷を模したデータが付加された３次元モデルに対して前記光学条件を再現した第２の画像を生成する生成部と、前記第１の画像と前記第２の画像との前記指定された位置における差分が前記検査対象物の傷を検出可能な閾値を超えるか否かを判定する判定部と、複数の前記光学条件の中から、指定された複数パターンの傷を検出可能な光学条件を抽出する抽出部と、を備える。
前記光学条件は、前記検査対象物、照明及びカメラの位置関係を含んでもよい。
前記光学条件は、照明の形状、及び当該照明から前記検査対象物へ照射される光の特性を含んでもよい。
前記光学条件は、カメラのレンズの種類を含んでもよい。
前記抽出部は、前記複数パターンの傷の全てが検出可能になる光学条件の組み合わせを抽出してもよい。
前記抽出部は、前記複数パターンの傷の全てが検出可能になる光学条件の組み合わせのうち、含まれる光学条件の数がより少なくなる光学条件の組み合わせを優先して抽出してもよい。
前記抽出部は、単独の光学条件で、抽出済みの光学条件では検出できないより多くのパターンの傷を検出可能になる光学条件を順に抽出してもよい。
前記抽出部は、検出可能な傷が共通である複数の光学条件をグループとして抽出してもよい。
前記抽出部は、前記グループのうち、当該光学条件に含まれる第１のパラメータの値のみが異なるグループについて、当該第１のパラメータの値が連続している範囲を出力してもよい。
前記抽出部は、前記光学条件に含まれる第２のパラメータが異なる複数の前記グループについて、前記第１のパラメータの値が連続している範囲の共通部分を出力してもよい。
本発明に係る検査条件決定方法は、検査対象物の３次元モデルに対して、当該検査対象物に想定される傷を模したデータを指定された位置に付加する付加ステップと、前記３次元モデルに対して前記検査対象物を撮影する際の光学条件を再現した第１の画像、及び前記傷を模したデータが付加された３次元モデルに対して前記光学条件を再現した第２の画像を生成する生成ステップと、前記第１の画像と前記第２の画像との前記指定された位置における差分が前記検査対象物の傷を検出可能な閾値を超えるか否かを判定する判定ステップと、複数の前記光学条件の中から、指定された複数パターンの傷を検出可能な光学条件を抽出する抽出ステップと、をコンピュータが実行する。
本発明に係る検査条件決定プログラムは、検査対象物の３次元モデルに対して、当該検査対象物に想定される傷を模したデータを指定された位置に付加する付加ステップと、前記３次元モデルに対して前記検査対象物を撮影する際の光学条件を再現した第１の画像、及び前記傷を模したデータが付加された３次元モデルに対して前記光学条件を再現した第２の画像を生成する生成ステップと、前記第１の画像と前記第２の画像との前記指定された位置における差分が前記検査対象物の傷を検出可能な閾値を超えるか否かを判定する判定ステップと、複数の前記光学条件の中から、指定された複数パターンの傷を検出可能な光学条件を抽出する抽出ステップと、をコンピュータに実行させる。
本発明によれば、様々な傷のパターンを網羅的に、画像検出可能な光学条件を決定できる。
実施形態に係る検査条件決定装置の機能構成を示す図である。 実施形態に係る光学条件の抽出方法を例示する図である。 実施形態に係る検査条件決定方法による処理の一例を示すフローチャートである。 実施形態に係る光学条件の抽出処理の第１の例を示すフローチャートである。 実施形態に係る光学条件の抽出処理の第２の例を示すフローチャートである。
以下、本発明の実施形態の一例について説明する。
図１は、本実施形態に係る検査条件決定装置１の機能構成を示す図である。
検査条件決定装置１は、ＰＣ又はサーバ装置等の情報処理装置（コンピュータ）であり、制御部１０及び記憶部２０を備える。さらに、検査条件決定装置１は、各種データの入出力デバイス及び通信デバイス等を備え、入力された３次元モデル及び各種条件に従って、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）によりレンダリングを行う機能を有する。
制御部１０は、検査条件決定装置１の全体を制御する部分であり、記憶部２０に記憶された各種プログラムを適宜読み出して実行することにより、本実施形態における各種機能を実現している。制御部１０は、ＣＰＵであってよい。
記憶部２０は、ハードウェア群を検査条件決定装置１として機能させるための各種プログラム、及び各種データ等の記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスク（ＨＤＤ）等であってよい。具体的には、記憶部２０は、本実施形態の各機能を制御部１０に実行させるプログラムの他、入力された検査対象物（ワーク）の３次元モデル、各種の傷を模したデータ、様々な光学条件、及びレンダリングされた画像データ等を記憶する。
制御部１０は、付加部１１と、生成部１２と、判定部１３と、抽出部１４とを備え、これらの各機能部により、指定された検査対象物で想定される傷を画像検出可能な検査条件として、適切な光学条件を決定する。
付加部１１は、検査対象物の３次元モデルに対して、この検査対象物に想定される傷を模したデータを指定された位置に付加する。
想定される傷とは、例えば、線状の引っかき傷、打痕、擦り傷、欠け、汚れ等である。付加部１１は、複数の傷の種類、位置、大きさ、深さ等のパラメータを変更しつつ、３次元モデルに対して、これらの傷を模したデータを付加して保存する。
生成部１２は、３次元モデルに対して検査対象物を実際に撮影する際の光学条件を再現した傷なし画像（第１の画像）と、傷を模したデータが付加された３次元モデルに対して同一の光学条件を再現した傷あり画像（第２の画像）とを生成する。
光学条件には、例えば、以下のパラメータが含まれる。
（１）カメラと検査対象物との位置関係
生成部１２は、人が平面上の傷を見る際と同様に、検査対象面に対するカメラの方向（極座標）、あるいはカメラに対する検査対象物の方向を変えてレンダリングを行う。例えば、検査対象面との角度が１度刻みで、さらに検査対象面内でのカメラの方向についても同様に複数設定される。
（２）カメラと照明との位置関係
照明から照射された光は、検査対象物に当たり、反射光及び拡散光がカメラで捉えられる。例えば、同軸落射照明は、カメラの光軸と検査対象面とが垂直の状態で、カメラの光軸と平行に光を照射することで、検査対象面上の歪みがカメラに写る明るさの差異として表れる。このように、カメラと照明との位置関係によって、カメラに入ってくる反射光の経路が異なるため、検出できる傷の種類も変化する。
（３）検査対象物と照明との位置関係
例えば、照明を検査対象面の正面から垂直に当てるか、面と平行に近いローアングルで当てるかによって、傷の見え方が変化する。そこで、例えば、水平状態から垂直状態まで１度刻みで、さらに検査対象面内での光の照射方向についても同様に複数設定される。
（４）照明の形状
例えば、検査対象物の周囲から光を当てるリング照明又はドーム照明、１方向から光を当てるバー照明等、実際の検査に使用できる照明の形状が複数設定される。
（５）光の特性
傷の深さ及び形状、並びに検査対象物の素材及び形状等により、傷が見えやすい光の波長等の特性が異なる。したがって、赤、青、白、緑、赤外、紫外等、実際の検査に使用できる光の色（波長）、強さ、平行度等の特性の種類が複数設定される。このとき、照明の種類が指定されることにより、この種類から照射される光の特性が特定されてもよい。
（６）カメラのレンズの種類
例えば、レンズの焦点距離（画角）、及びマクロレンズ、テレセントリックレンズ等の種類が複数設定される。
なお、抽出される光学条件が実現不可能なものとならないように、（１）〜（３）における位置関係については、実空間で実際に検査対象物、照明及びカメラを動かせる範囲に設定される。
さらに、照明は複数であってもよい。この場合、複数の照明それぞれについて、上記の各パラメータ（２〜５）が設定される。
生成部１２は、これらのパラメータの組み合わせが異なる複数の光学条件それぞれの場合の、傷なし画像及び傷あり画像を生成する。
例えば、生成部１２は、カメラと検査対象物との位置関係を固定しておき、照明の位置を変更しながら各光学条件での傷なし画像及び傷あり画像を生成していく。次に、生成部１２は、照明の種類すなわち照明の形状及び光の特性を変えて同じ手順を繰り返す。さらに、生成部１２は、カメラを所定量（例えば、１度）傾け、照明の位置を変更しながら各光学条件での傷なし画像及び傷あり画像を生成していく。
判定部１３は、傷なし画像と傷あり画像との指定された位置における差分が検査対象物の傷を検出可能な閾値を超えるか否かを判定する。
抽出部１４は、複数の光学条件の中から、指定された複数パターンの傷を検出可能な光学条件を抽出する。
このとき、抽出部１４は、複数パターンの傷を検出可能な光学条件の組み合わせのうち、より少ない光学条件の組み合わせを優先して抽出する。
また、抽出部１４は、単独の光学条件でより多くのパターンの傷を検出可能な光学条件の組み合わせを抽出してもよい。
図２は、本実施形態に係る抽出部１４による光学条件の抽出方法を例示する図である。
この図では、検査対象物に追加された複数種類の傷を、インデックスｉ（１≦ｉ≦Ｎ）で識別している。また、傷なし画像及び傷あり画像を生成した複数の光学条件を、インデックスｊ（１≦ｊ≦Ｍ）で識別している。
傷（ｉ）が追加された検査対象物を、光学条件（ｊ）の下で撮影した傷あり画像と、同一の光学条件（ｊ）の下で撮影した傷なし画像との比較により傷（ｉ）が検出できる場合を「１」、検出できない場合を「０」（図中では空白）とした２次元のテーブルＴ（ｉ，ｊ）が求められる。
このテーブルＴ（ｉ，ｊ）（１≦ｉ≦Ｎ，１≦ｊ≦Ｍ）に基づいて、抽出部１４は、例えば以下の光学条件を抽出できる。
（ａ）ある特定の傷（ｉ）を検出できる光学条件（ｊ）
（ｂ）全ての傷（ｉ）（１≦ｉ≦Ｎ）を検出できる単一の光学条件（ｊ）
（ｃ）複数の光学条件ｊ１，ｊ２，・・・からなる集合のうち、任意の１≦ｉ≦Ｎに対してＴ（ｉ，ｊｘ）＝１となる要素が存在する集合｛ｊｘ｝
図の例では、例えば、傷（１）は、光学条件（１）又は（４）で検出できる。
また、全ての傷（ｉ）（１≦ｉ≦Ｎ）を検出できる単一の光学条件はなく、光学条件（４）及び（８）で全ての傷を検出できることが分かる。
なお、全ての傷を検出できる光学条件の組み合わせは、他にも例えば（１，２，５，８）等が存在するが、使用する光学条件の種類が少ない、あるいは単一の光学条件でより多くのパターンの傷を検出できる組み合わせ（４，８）が選択される。
図３は、本実施形態に係る検査条件決定方法による処理の一例を示すフローチャートである。
この例では、単独でより多くの傷に対応できる光学条件が優先される。
ステップＳ１において、制御部１０（付加部１１）は、指定された複数の傷のパターンから１つ（インデックスｉ；１≦ｉ≦Ｎ）を選択し、３次元モデルに付加する。
ステップＳ２において、制御部１０（生成部１２）は、指定された複数の光学条件から１つ（インデックスｊ；１≦ｊ≦Ｍ）を選択する。
ステップＳ３において、制御部１０（生成部１２）は、選択した光学条件に基づいて、３次元モデルをレンダリング処理し、ＣＧ画像（傷なし画像及び傷あり画像）を生成する。
ステップＳ４において、制御部１０（判定部１３）は、生成された傷なし画像と傷あり画像との差分から、選択された傷を検出できるか否かを判定し、記憶する。
ステップＳ５において、制御部１０は、指定された複数の光学条件を全て選択したか否かを判定する。この判定がＹＥＳの場合、処理はステップＳ６に移り、判定がＮＯの場合、処理はステップＳ２に移る。
ステップＳ６において、制御部１０は、指定された複数の傷のパターンを全て選択したか否かを判定する。この判定がＹＥＳの場合、処理はステップＳ７に移り、判定がＮＯの場合、処理はステップＳ１に移る。
ステップＳ７において、制御部１０（抽出部１４）は、複数の傷を検出するために適した光学条件を抽出する。なお、抽出処理のアルゴリズムは限定されず、以下に第１及び第２の例を例示する。
図４は、本実施形態に係る光学条件の抽出処理の第１の例を示すフローチャートである。
ステップＳ１１において、制御部１０（抽出部１４）は、抽出済みの光学条件では検出できないパターンの傷のうち、最も多くのパターンを検出できる光学条件を抽出する。
ステップＳ１２において、制御部１０（抽出部１４）は、抽出済みの光学条件によって全てのパターンの傷を網羅できているか否かを判定する。この判定がＹＥＳの場合、処理はステップＳ１４に移り、判定がＮＯの場合、処理はステップＳ１３に移る。
ステップＳ１３において、制御部１０（抽出部１４）は、未対応の傷を検出可能な他の光学条件が存在するか否かを判定する。この判定がＹＥＳの場合、処理はステップＳ１１に移り、判定がＮＯの場合、処理はステップＳ１４に移る。
ステップＳ１４において、制御部１０（抽出部１４）は、抽出した光学条件の組み合わせを、指定された複数パターンの傷を網羅的に検出するために適した検査条件として出力する。
図５は、本実施形態に係る光学条件の抽出処理の第２の例を示すフローチャートである。
この例では、より少ない数の光学条件で複数の傷の全体を網羅できる組み合わせが優先される。
ステップＳ２１において、制御部１０（抽出部１４）は、抽出する光学条件の数ｎを１に初期設定する。
ステップＳ２２において、制御部１０（抽出部１４）は、指定された光学条件の中から、ｎ個の光学条件の組み合わせを順に抽出する。
ステップＳ２３において、制御部１０（抽出部１４）は、抽出した光学条件の組み合わせによって、指定された複数の傷の全パターンを検出できるか否かを判定する。この判定がＹＥＳの場合、処理はステップＳ２７に移り、判定がＮＯの場合、処理はステップＳ２４に移る。
ステップＳ２４において、制御部１０（抽出部１４）は、光学条件の数がｎの組み合わせが他にあるか否かを判定する。この判定がＹＥＳの場合、処理はステップＳ２２に移り、判定がＮＯの場合、処理はステップＳ２５に移る。
ステップＳ２５において、制御部１０（抽出部１４）は、抽出する光学条件の数ｎに１を加える。
ステップＳ２６において、制御部１０（抽出部１４）は、ｎが所定の閾値、例えば実際の検査時に切り替え可能な光学条件の最大数を超えたか否かを判定する。この判定がＹＥＳの場合、処理はステップＳ２７に移り、判定がＮＯの場合、処理はステップＳ２２に移る。
ステップＳ２７において、制御部１０（抽出部１４）は、指定された複数パターンの傷のうち、最も多くのパターンを検出できる光学条件の組み合わせを出力する。
ここで、抽出部１４は、単一の光学条件又は光学条件の組み合わせを出力する際に、各光学条件を、いずれかのパラメータが連続する範囲で示されるグループとして出力することが望ましい。
具体的には、抽出部１４は、検出可能な傷が共通である複数の光学条件のうち、これら複数の光学条件に含まれる第１のパラメータの値のみが異なるグループを作成し、第１のパラメータの値が連続している範囲を出力する。
例えば、全ての傷が検出できる光学条件として、３つのパラメータがそれぞれ１，４，２００番目の組み合わせという解が出たとする。このとき、３つのパラメータが１，５，２００の組み合わせでも、１，６，２００の組み合わせでも同様に全ての傷が検出できる場合、２つ目のパラメータは、４〜６までの間で任意の条件が選択可能である。２つ目のパラメータが例えば検査対象面からの照明の角度とした場合、実際の検査システムを構築する際に都合の良い角度がこの範囲から選択可能である。また、２つ目のパラメータが照明の種類であれば、例えば一番安く購入できる照明が選択可能である。
また、抽出部１４は、前述の第１のパラメータを範囲で規定したグループが複数作成された場合に、第２のパラメータが異なるこれらのグループについて、第１のパラメータの範囲の共通部分を出力する。
例えば、光学条件のパラメータを、カメラの位置及び照明の位置の２つとする。カメラを１番目の位置にした状態で照明の位置を変えた光学条件が１００通りあったとして、このうち照明の位置が４０から６０番目の光学条件で全ての傷が検出できたとする。次に、カメラを２番目の位置にした状態で全ての傷が検出できた照明の位置が３０番目から５０番目だったとする。このようにカメラ及び照明の位置を変更していった結果、カメラの位置毎に全ての傷を検出可能な照明の位置の範囲が求まる。このとき、カメラが１〜Ｎ番目のいずれの位置であっても全ての傷を検出可能な照明の位置が共通部分として、例えば４２〜４８番目のように出力される。
本実施形態によれば、検査条件決定装置１は、ＣＧ技術を用いて３次元モデル及び光学条件から、検査対象物の傷なし画像、及び想定される傷を模したデータを付加した傷あり画像を生成する。そして、検査条件決定装置１は、これらの画像の比較により傷の検出が可能か否かを判定し、指定された複数パターンの傷を検出可能な光学条件を抽出する。
したがって、検査条件決定装置１は、現物では集めることが難しい様々な傷のパターンを、ＣＧ画像によって網羅的に収集し、様々な光学条件をシミュレートすることで画像検出可能な光学条件を適切に決定できる。
光学条件としては、検査対象物、照明及びカメラの位置関係、照明の種類（形状及び光の特性）、並びにカメラのレンズの種類が、想定される限り網羅的に選択可能なため、検査条件決定装置１は、人手による過去の経験及び試行錯誤によらず、効率的に適切な光学条件を抽出できる。
また、検査条件決定装置１は、指定された全てのパターンの傷を検出可能な光学条件の組み合わせを抽出することにより、想定される傷を検査するための十分な条件を提供できる。
さらに、全てのパターンの傷を検出可能な光学条件の組み合わせのうち、含まれる光学条件の数がより少ない組み合わせを優先して抽出するので、実際の検査時に光学条件を変更する回数が少ない効率的な光学条件を提供できる。
また、検査条件決定装置１は、単独の光学条件で、抽出済みの光学条件では検出できないより多くのパターンの傷を検出可能になる光学条件を順に抽出するので、実際の検査時に光学条件を変更することなく、より多くのパターンの傷の有無を、効率的に検査できる。
検査条件決定装置１は、検出可能な傷の種類が同一である光学条件が複数ある場合に、これらをグループ化し、同一効果の複数の光学条件から任意に選択可能にする。また、検査条件決定装置１は、このグループ内でパラメータが取り得る値の連続した範囲を出力する。
複数抽出される光学条件の中には、実際の検査には不都合な条件も含まれる可能性があるため、出力された範囲からユーザが適切な条件を選択できる。また、検査システムを構築する際に、出力された光学条件を正確に再現することは難しいため、範囲で指定されることにより、この範囲内でのズレが許容される。
さらに、検査条件決定装置１は、グループ間で共通するパラメータの範囲を出力するので、第２のパラメータが変更されたとしても検出可能な傷が変わらない第１のパラメータの範囲を提供できる。
例えば、カメラの光軸が検査面に垂直な状態から３０〜４２度の範囲で設置され、かつ、照明がカメラと反対側に４５度で傾いた状態で±２０ｍｍの範囲で平行移動しても、検査対象物を３６０度回転させれば全てのパターンの傷が検出可能、といった検査条件が提供される。このように、検査条件決定装置１は、抽出された光学条件の組み合わせから、検出能力の変わらない条件の許容範囲を出力し、実際の検査への適用を容易にできる。
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
検査条件決定装置１による検査条件決定方法は、ソフトウェアにより実現される。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、コンピュータ（検査条件決定装置１）にインストールされる。また、これらのプログラムは、リムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。
１ 検査条件決定装置
１０ 制御部
１１ 付加部
１２ 生成部
１３ 判定部
１４ 抽出部
２０ 記憶部

Claims (11)

  1. 検査対象物の３次元モデルに対して、当該検査対象物に想定される傷を模したデータを指定された位置に付加する付加部と、
    前記３次元モデルに対して前記検査対象物を撮影する際の光学条件を再現した第１の画像、及び前記傷を模したデータが付加された３次元モデルに対して前記光学条件を再現した第２の画像を生成する生成部と、
    前記第１の画像と前記第２の画像との前記指定された位置における差分が前記検査対象物の傷を検出可能な閾値を超えるか否かを判定する判定部と、
    複数の前記光学条件の中から、指定された複数パターンの傷の全てが検出可能になる光学条件の組み合わせを抽出する抽出部と、を備える検査条件決定装置。
  2. 前記光学条件は、前記検査対象物、照明及びカメラの位置関係を含む請求項１に記載の検査条件決定装置。
  3. 前記光学条件は、照明の形状、及び当該照明から前記検査対象物へ照射される光の特性を含む請求項１又は請求項２に記載の検査条件決定装置。
  4. 前記光学条件は、カメラのレンズの種類を含む請求項１から請求項３のいずれかに記載の検査条件決定装置。
  5. 前記抽出部は、前記複数パターンの傷の全てが検出可能になる光学条件の組み合わせのうち、含まれる光学条件の数がより少なくなる光学条件の組み合わせを優先して抽出する請求項１から請求項４のいずれかに記載の検査条件決定装置。
  6. 前記抽出部は、単独の光学条件で、抽出済みの光学条件では検出できないより多くのパターンの傷を検出可能になる光学条件を順に抽出する請求項１から請求項５のいずれかに記載の検査条件決定装置。
  7. 前記抽出部は、検出可能な傷が共通である複数の光学条件をグループとして抽出する請求項１から請求項６のいずれかに記載の検査条件決定装置。
  8. 前記抽出部は、前記グループのうち、当該光学条件に含まれる第１のパラメータの値のみが異なるグループについて、当該第１のパラメータの値が連続している範囲を出力する請求項７に記載の検査条件決定装置。
  9. 前記抽出部は、前記光学条件に含まれる第２のパラメータが前記グループ間で互いに異なる複数の前記グループについて、前記第１のパラメータの値が連続している範囲の共通部分を出力する請求項８に記載の検査条件決定装置。
  10. 検査対象物の３次元モデルに対して、当該検査対象物に想定される傷を模したデータを指定された位置に付加する付加ステップと、
    前記３次元モデルに対して前記検査対象物を撮影する際の光学条件を再現した第１の画像、及び前記傷を模したデータが付加された３次元モデルに対して前記光学条件を再現した第２の画像を生成する生成ステップと、
    前記第１の画像と前記第２の画像との前記指定された位置における差分が前記検査対象物の傷を検出可能な閾値を超えるか否かを判定する判定ステップと、
    複数の前記光学条件の中から、指定された複数パターンの傷の全てが検出可能になる光学条件の組み合わせを抽出する抽出ステップと、をコンピュータが実行する検査条件決定方法。
  11. 検査対象物の３次元モデルに対して、当該検査対象物に想定される傷を模したデータを指定された位置に付加する付加ステップと、
    前記３次元モデルに対して前記検査対象物を撮影する際の光学条件を再現した第１の画像、及び前記傷を模したデータが付加された３次元モデルに対して前記光学条件を再現した第２の画像を生成する生成ステップと、
    前記第１の画像と前記第２の画像との前記指定された位置における差分が前記検査対象物の傷を検出可能な閾値を超えるか否かを判定する判定ステップと、
    複数の前記光学条件の中から、指定された複数パターンの傷の全てが検出可能になる光学条件の組み合わせを抽出する抽出ステップと、をコンピュータに実行させるための検査条件決定プログラム。
JP2016215271A 2016-11-02 2016-11-02 検査条件決定装置、検査条件決定方法及び検査条件決定プログラム Active JP6353008B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016215271A JP6353008B2 (ja) 2016-11-02 2016-11-02 検査条件決定装置、検査条件決定方法及び検査条件決定プログラム
CN201711019766.4A CN108020553B (zh) 2016-11-02 2017-10-26 检查条件决定装置、检查条件决定方法及计算机可读介质
DE102017219244.5A DE102017219244B4 (de) 2016-11-02 2017-10-26 Inspektionsbedingungsbestimmungseinrichtung, inspektionsbedingungsbestimmungsverfahren und inspektionsbedingungsbestimmungsprogramm
US15/797,410 US10614566B2 (en) 2016-11-02 2017-10-30 Inspection condition determination device, inspection condition determination method, and inspection condition determination program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016215271A JP6353008B2 (ja) 2016-11-02 2016-11-02 検査条件決定装置、検査条件決定方法及び検査条件決定プログラム

Publications (2)

Publication Number Publication Date
JP2018072260A JP2018072260A (ja) 2018-05-10
JP6353008B2 true JP6353008B2 (ja) 2018-07-04

Family

ID=61912520

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016215271A Active JP6353008B2 (ja) 2016-11-02 2016-11-02 検査条件決定装置、検査条件決定方法及び検査条件決定プログラム

Country Status (4)

Country Link
US (1) US10614566B2 (ja)
JP (1) JP6353008B2 (ja)
CN (1) CN108020553B (ja)
DE (1) DE102017219244B4 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7327984B2 (ja) * 2019-04-25 2023-08-16 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020230286A1 (ja) * 2019-05-15 2020-11-19 株式会社日立ハイテク 検査装置調整システムおよび検査装置調整方法
JP7274208B2 (ja) * 2019-07-18 2023-05-16 レボックス株式会社 光学系設計情報管理システム
DE102020209509A1 (de) 2020-07-28 2022-02-03 Sivantos Pte. Ltd. Verfahren zur Fehlererkennung bei einem Hörgerät sowie System

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300830B2 (ja) * 1995-07-12 2002-07-08 株式会社日立製作所 異物等の欠陥検査方法及びその装置
JPH0949717A (ja) 1995-08-07 1997-02-18 Toyota Motor Corp ワーク表面キズ検出方法及び装置
US6628381B1 (en) * 2000-06-20 2003-09-30 Applied Materials, Inc. Optical inspection method and apparatus utilizing a collection angle design
US7142294B2 (en) * 2000-12-20 2006-11-28 Hitachi, Ltd. Method and apparatus for detecting defects
JP2002228424A (ja) * 2001-01-31 2002-08-14 Tochigi Prefecture 照明条件の最適化による画像測定機のオフラインティーチング方法
JP2002303586A (ja) * 2001-04-03 2002-10-18 Hitachi Ltd 欠陥検査方法及び欠陥検査装置
CA2454198A1 (en) 2001-07-10 2003-01-23 Shigefumi Kume Method and device for detecting flaw of work
US7508973B2 (en) * 2003-03-28 2009-03-24 Hitachi High-Technologies Corporation Method of inspecting defects
JP2006170908A (ja) * 2004-12-17 2006-06-29 Hitachi High-Technologies Corp 欠陥検査方法及び欠陥検査装置
JP2007071678A (ja) * 2005-09-07 2007-03-22 Hitachi High-Technologies Corp 検査システム
US7676077B2 (en) * 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
JP2008039743A (ja) * 2006-08-10 2008-02-21 Tokyo Seimitsu Co Ltd 外観検査装置及び外観検査方法
US7904845B2 (en) * 2006-12-06 2011-03-08 Kla-Tencor Corp. Determining locations on a wafer to be reviewed during defect review
US8073240B2 (en) * 2007-05-07 2011-12-06 Kla-Tencor Corp. Computer-implemented methods, computer-readable media, and systems for identifying one or more optical modes of an inspection system as candidates for use in inspection of a layer of a wafer
JP5174535B2 (ja) * 2008-05-23 2013-04-03 株式会社日立ハイテクノロジーズ 欠陥検査方法及びその装置
JP5292043B2 (ja) * 2008-10-01 2013-09-18 株式会社日立ハイテクノロジーズ 欠陥観察装置及び欠陥観察方法
FR2940449A1 (fr) * 2008-12-24 2010-06-25 Snecma Procede de controle non destructif d'une piece mecanique
JP5275017B2 (ja) * 2008-12-25 2013-08-28 株式会社日立ハイテクノロジーズ 欠陥検査方法及びその装置
JP5509773B2 (ja) * 2009-01-21 2014-06-04 オムロン株式会社 パラメータ決定支援装置およびパラメータ決定支援プログラム
WO2010091307A2 (en) * 2009-02-06 2010-08-12 Kla-Tencor Corporation Selecting one or more parameters for inspection of a wafer
JP2010217129A (ja) * 2009-03-19 2010-09-30 Hitachi High-Technologies Corp 検査方法および検査装置
JP2010243283A (ja) * 2009-04-03 2010-10-28 Hitachi High-Technologies Corp 欠陥検査方法および欠陥検査装置
US9418413B1 (en) * 2009-07-06 2016-08-16 Camtek Ltd. System and a method for automatic recipe validation and selection
JP2011237395A (ja) 2010-05-01 2011-11-24 Yoshiaki Saito 噴霧ノズルヘッドの霧化性能検査方法および装置
JP5604967B2 (ja) * 2010-05-13 2014-10-15 トヨタ自動車株式会社 欠陥検出方法および欠陥検出装置
JP5204172B2 (ja) 2010-08-30 2013-06-05 株式会社日立ハイテクノロジーズ 欠陥検査方法及び欠陥検査装置
US20120316855A1 (en) * 2011-06-08 2012-12-13 Kla-Tencor Corporation Using Three-Dimensional Representations for Defect-Related Applications
JP2014044150A (ja) * 2012-08-28 2014-03-13 Toppan Printing Co Ltd 周期性パターンの欠陥検査方法
US9310316B2 (en) * 2012-09-11 2016-04-12 Kla-Tencor Corp. Selecting parameters for defect detection methods
US9726617B2 (en) * 2013-06-04 2017-08-08 Kla-Tencor Corporation Apparatus and methods for finding a best aperture and mode to enhance defect detection
US9816939B2 (en) * 2014-07-22 2017-11-14 Kla-Tencor Corp. Virtual inspection systems with multiple modes
US9518934B2 (en) * 2014-11-04 2016-12-13 Kla-Tencor Corp. Wafer defect discovery
CN104502527B (zh) * 2014-11-06 2016-06-01 西北工业大学 飞机结构件模型缺陷自动检测方法
US10043261B2 (en) * 2016-01-11 2018-08-07 Kla-Tencor Corp. Generating simulated output for a specimen

Also Published As

Publication number Publication date
DE102017219244A1 (de) 2018-05-03
US10614566B2 (en) 2020-04-07
DE102017219244B4 (de) 2019-03-21
CN108020553A (zh) 2018-05-11
JP2018072260A (ja) 2018-05-10
US20180122064A1 (en) 2018-05-03
CN108020553B (zh) 2019-05-10

Similar Documents

Publication Publication Date Title
JP6353008B2 (ja) 検査条件決定装置、検査条件決定方法及び検査条件決定プログラム
JP6945245B2 (ja) 外観検査装置
TWI743275B (zh) 使用經預測之度量影像之度量配方產生
JP6745173B2 (ja) 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP5972563B2 (ja) 構造化照明を用いるエッジ検出
JP2022509137A (ja) 深層畳み込みニューラルネットワークを用いたレーザ加工システムの加工誤差の検出
TW202001798A (zh) 光學檢測方法、光學檢測裝置及光學檢測系統
TW201830006A (zh) 用於在具有深堆疊層之晶圓中訓練及施加缺陷分類器之系統及方法
JP2018509752A5 (ja)
JP2021196363A (ja) 訓練用の欠陥画像の数を示すワークピース検査及び欠陥検出システム
JP7134932B2 (ja) 光学条件決定システム、及び光学条件決定方法
US9990724B2 (en) Image recording simulation in a coordinate measuring machine
JP2020134187A (ja) 傷検査装置および方法
JP2017090194A (ja) 検査システムおよび検査方法
JP2007192743A (ja) 画像取り込み方法並びに検査方法及びその装置
JP7151426B2 (ja) 管ガラス検査方法、学習方法及び管ガラス検査装置
KR20210087100A (ko) 광 신호를 포인트 확산 함수에 피팅하는 것에 의한 결함 분류
JP2023043178A (ja) カラーチャンネルを利用するワーク検査及び欠陥検出システム
JP2009264882A (ja) 外観検査装置
JP6597469B2 (ja) 欠陥検査装置
JP2005098970A (ja) 異物識別方法及び異物識別装置
JP6958142B2 (ja) 検査方法、検査プログラム及び検査装置
JP6688629B2 (ja) 欠陥検出装置、欠陥検出方法およびプログラム
JP2017016169A (ja) 検査方法、検査装置、画像処理装置、プログラム及び記録媒体
JPWO2021199291A5 (ja) 検出装置、判定方法、及びプログラム

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180607

R150 Certificate of patent or registration of utility model

Ref document number: 6353008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150