JP2022056389A - 検査装置、検査方法、および検査プログラム - Google Patents
検査装置、検査方法、および検査プログラム Download PDFInfo
- Publication number
- JP2022056389A JP2022056389A JP2021156052A JP2021156052A JP2022056389A JP 2022056389 A JP2022056389 A JP 2022056389A JP 2021156052 A JP2021156052 A JP 2021156052A JP 2021156052 A JP2021156052 A JP 2021156052A JP 2022056389 A JP2022056389 A JP 2022056389A
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection
- region
- optical material
- work
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 314
- 238000000034 method Methods 0.000 title claims description 55
- 239000000463 material Substances 0.000 claims abstract description 107
- 230000003287 optical effect Effects 0.000 claims abstract description 104
- 238000010801 machine learning Methods 0.000 claims abstract description 30
- 230000007547 defect Effects 0.000 claims description 66
- 230000002950 deficient Effects 0.000 claims description 66
- 239000000284 extract Substances 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 25
- 230000002093 peripheral effect Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 5
- 239000011521 glass Substances 0.000 description 31
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 28
- 238000000605 extraction Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 24
- 238000012545 processing Methods 0.000 description 17
- 239000002245 particle Substances 0.000 description 16
- 238000005286 illumination Methods 0.000 description 12
- 230000001788 irregular Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000002776 aggregation Effects 0.000 description 9
- 238000004220 aggregation Methods 0.000 description 9
- 239000000126 substance Substances 0.000 description 9
- 230000010365 information processing Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 229910010272 inorganic material Inorganic materials 0.000 description 2
- 239000011147 inorganic material Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- PNEYBMLMFCGWSK-UHFFFAOYSA-N aluminium oxide Inorganic materials [O-2].[O-2].[O-2].[Al+3].[Al+3] PNEYBMLMFCGWSK-UHFFFAOYSA-N 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
【課題】光学材料における色や形状が不定型となるような不良を効率よく検出する。【解決手段】検査装置(1)は、光学材料の撮像画像(111)から輝度値のばらつきに基づいて抽出した画像領域を含むように切り出した検査画像を取得する画像取得部(102)と、検査画像を機械学習により構築された良否判定モデル(113)に入力して得られる出力値に基づき良否判定する良否判定部(106)と、を備える。【選択図】図1
Description
本発明は、検査対象物の良否を判定する検査装置等に関する。
従来から、検査対象物を撮像した画像を用いて、当該検査対象物が良品であるか否かを自動で判定する技術が知られている。例えば、下記の特許文献1には、蛍光体含有ガラス部材の欠陥を検査する検査装置が記載されている。この検査装置は、蛍光体を発光させる検査光を蛍光体含有ガラス部材に照射する照明部と、検査光を照射された蛍光体含有ガラス部材を撮像する撮像部を備えている。さらに、この検査装置は、撮像部で撮像された蛍光体含有ガラス部材の撮像画像を画像処理する画像処理部を備え、この画像処理により蛍光体含有ガラス部材の各種欠陥を検出する。
しかしながら、光学材料の表面の汚れや特殊なチッピング等については、画像処理により欠陥検出する上記のような従来技術では検出が難しい場合があった。このような不良は、色や形状が不定型となることが多いためである。そこで、機械学習により構築された良否判定モデルを用いることが考えられる。色や形状が不定型となる不良であっても、多数の教師データを用いた機械学習により構築された良否判定モデルであれば高精度に検出することが可能である。
ただし、一般に、機械学習により構築されたモデルによる演算は演算コストが高いという問題がある。また、不良検査においては、通常は良品が大部分である。このため、ごく一部の不良品を検出するために、高い演算コストを費やして、全ての検査対象物の全画像領域を検査することは効率的であるとはいえない。
本発明の一態様は、光学材料における色や形状が不定型となるような不良を効率よく検出することが可能な検査装置等を実現することを目的とする。
上記の課題を解決するために、本発明の一態様に係る検査装置は、検査対象物である光学材料を撮像した撮像画像から、輝度値のばらつきに基づいて抽出した画像領域を含むように切り出した検査画像を取得する画像取得部と、前記検査画像を機械学習により構築された良否判定モデルに入力して得られる出力値に基づき、前記光学材料の良否を判定する良否判定部と、を備える。
また、本発明の一態様に係る検査方法は、上記の課題を解決するために、検査装置によって実行される検査方法であって、検査対象物である光学材料を撮像した撮像画像から、輝度値のばらつきに基づいて抽出した画像領域を含むように切り出した検査画像を取得する画像取得ステップと、前記検査画像を機械学習により構築された良否判定モデルに入力して得られる出力値に基づき、前記光学材料の良否を判定する良否判定ステップと、を含む。
上記の課題を解決するために、本発明の一態様に係る検査装置は、検査対象物である光学材料を撮像した撮像画像から、輝度値の平均値に基づいて抽出した画像領域を含むように切り出した検査画像を取得する画像取得部と、前記検査画像を機械学習により構築された良否判定モデルに入力して得られる出力値に基づき、前記光学材料の良否を判定する良否判定部と、を備え、前記画像取得部は、前記撮像画像を構成する領域のうち、該領域の輝度値の平均値が、基準の輝度値に基づいて定まる範囲から外れる領域を、前記画像領域として抽出する。
上記の課題を解決するために、本発明の一態様に係る検査装置は、検査対象物である光学材料を撮像した撮像画像と、良品の前記光学材料を撮像して得られた撮像画像である1または複数の基準画像との輝度値の比較結果に基づいて抽出した画像領域を含むように切り出した検査画像を取得する画像取得部と、前記検査画像を機械学習により構築された良否判定モデルに入力して得られる出力値に基づき、前記光学材料の良否を判定する良否判定部と、を備える。
上記の課題を解決するために、本発明の一態様に係る検査方法は、検査装置によって実行される検査方法であって、検査対象物である光学材料を撮像した撮像画像から、輝度値の平均値に基づいて抽出した画像領域を含むように切り出した検査画像を取得する画像取得ステップと、前記検査画像を機械学習により構築された良否判定モデルに入力して得られる出力値に基づき、前記光学材料の良否を判定する良否判定ステップと、を含み、前記画像取得ステップでは、前記撮像画像を構成する領域のうち、該領域の輝度値の平均値が、基準の輝度値に基づいて定まる範囲から外れる領域を、前記画像領域として抽出する。
上記の課題を解決するために、本発明の一態様に係る検査方法は、検査装置によって実行される検査方法であって、検査対象物である光学材料を撮像した撮像画像と、良品の前記光学材料を撮像して得られた撮像画像である1または複数の基準画像との輝度値の比較結果に基づいて抽出した画像領域を含むように切り出した検査画像を取得する画像取得ステップと、前記検査画像を機械学習により構築された良否判定モデルに入力して得られる出力値に基づき、前記光学材料の良否を判定する良否判定ステップと、を含む。
本発明の各態様に係る検査装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記検査装置が備える各部(ソフトウェア要素)として動作させることにより前記検査装置をコンピュータにて実現させる検査プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明の一態様によれば、光学材料における色や形状が不定型となるような不良を効率よく検出することが可能になる。
≪実施形態1≫
〔システム概要〕
本発明の一実施形態に係る検査システム100の概要を図2に基づいて説明する。図2は、検査システム100の概要を示す図である。検査システム100は、検査対象物を撮像した撮像画像から検査対象物が良品であるか否かを自動で判定するシステムであり、上記判定を行う検査装置1と、この判定に用いる撮像画像を撮像する撮像装置2とを含む。詳細は以下説明するが、検査システム100によれば、検査対象物の色や形状が不定型となるような不良を効率よく検出することができる。また、検査システム100によれば、不良の種類も判定することが可能である。
〔システム概要〕
本発明の一実施形態に係る検査システム100の概要を図2に基づいて説明する。図2は、検査システム100の概要を示す図である。検査システム100は、検査対象物を撮像した撮像画像から検査対象物が良品であるか否かを自動で判定するシステムであり、上記判定を行う検査装置1と、この判定に用いる撮像画像を撮像する撮像装置2とを含む。詳細は以下説明するが、検査システム100によれば、検査対象物の色や形状が不定型となるような不良を効率よく検出することができる。また、検査システム100によれば、不良の種類も判定することが可能である。
検査システム100は、光学材料の検査に好適である。この光学材料は、光を透過する性質を有する材料であればよく、光透過部材と呼ぶこともできる。典型的な光学材料としては、例えばガラス等の無機材料が挙げられる。また、上記光学材料は、蛍光体等の粒子を含み、透過光または反射光の波長を入射光とは異ならせるものであってもよい。この場合、検査対象物は、波長変換部材であるともいえる。波長変換部材は、ガラスやアルミナ等の無機材料に蛍光体が含有されたものに加え、蛍光体のみで構成されるようなものであってもよい。また、ガラス自体に波長変換性を持たせたものでもよい。一般に、粒子を含む光学材料は検査による良否判定が難しく、高精度な自動検査が困難であるが、検査システム100によれば、粒子を含む光学材料についても精度よく良否判定を行うことが可能である。
図2には、蛍光体含有ガラスのワークWを検査対象物とした例を示している。ワークWは、蛍光体含有ガラスの板を所定サイズにカットして形成されたものである。カット後の蛍光体含有ガラスの板を撮像した撮像画像には、複数のワークWが並んで写っており、当該撮像画像における隣接するワークW間には溝Gが写っている。以下では、このワークWのそれぞれについて良否判定を行う例を説明する。
図2の例では、撮像装置2は、ワークWを同軸落射照明により撮像している。同軸落射照明とは、対象物に照射させる照明の光軸とカメラの光軸とを一致させて、対象物の表面からの反射光を得る照明方式である。撮像装置2が撮像した撮像画像は、検査装置1に入力されて良否判定に用いられる。ワークWの良否検査の場合、欠陥には色味に関係なく反射の違いによって画像に表れるという特徴があるため撮像画像はモノクロとすればよい。また、撮像画像はカラーであってもよい。
〔良否判定について〕
検査システム100における良否判定の基準について図3に基づいて説明する。図3は、良品のワーク画像の例と、不良品のワーク画像の例とを示す図である。なお、ワーク画像は、撮像装置2が撮像した撮像画像から抽出されたワークの領域(以下「ワーク領域」という)の画像である。図2の例のように、1つの撮像画像に複数のワーク領域が含まれる場合、各ワーク領域についてワーク画像が生成される。
検査システム100における良否判定の基準について図3に基づいて説明する。図3は、良品のワーク画像の例と、不良品のワーク画像の例とを示す図である。なお、ワーク画像は、撮像装置2が撮像した撮像画像から抽出されたワークの領域(以下「ワーク領域」という)の画像である。図2の例のように、1つの撮像画像に複数のワーク領域が含まれる場合、各ワーク領域についてワーク画像が生成される。
図3に示すワークW1~W3は、何れも蛍光体含有ガラスのワークであるため蛍光体の粒子を含む。このため、表面にはガラス面と蛍光体粒子面等が現れており、それぞれ反射率が異なるため、各ワーク画像は一様な輝度値にはならず、蛍光体の粒子により全面がまだら模様となっている。このうちワークW1は、良品のワークの例である。一方、ワークW2およびワークW3は、不良品のワークの例であり、特に、光学材料における色や形状が不定型となるような不良を含むワークの例である。
ワークW2は、表面に汚れが付着したワークの例である。図3に示すワークW2では破線で囲んだ部分に汚れが付着している。光学材料の表面に汚れがあると、その汚れが熱や光によって黒化することで光の透過を妨げてしまう場合がある。このため、表面に汚れがあるワークW2を、例えばLED(Light Emitting Diode)と組み合わせて使用したときには、発光特性が悪くなってしまう、といった問題が生じる可能性がある。よって、汚れが付着したワークW2は不良品と判定する必要がある。
ワークの汚れは透明または白色であることが多く、この場合、斜光照明では光学材料からの反射、励起光の影響により汚れが撮像画像に写り難いため、図2の例のように同軸落射照明で撮像することが好ましい。ただし、同軸落射照明で撮像したとしても、蛍光体含有ガラスのワークの表面には例えば蛍光体粒子の脱落によるくぼみなどがあり、さらに汚れの形状および濃さが均等ではないため、従来の画像処理で汚れの有無を精度よく判定することは困難である。この点に鑑みて、検査装置1は、汚れが付着したワークの画像を教師データとした機械学習により構築した良否判定モデルを用いて良否判定を行う構成となっている。このような良否判定モデルを用いれば、汚れの有無を精度よく判定することも可能である。
ワークW3は、特殊チッピングCを含むワークの例である。特殊チッピングとは、通常のチッピングと異なり、欠けた破片が剥がれ落ちていないものをいう(図3のA-A’断面参照)。ワークに特殊チッピングが発生している場合、例えばそのワークをLEDパッケージとして組み立てる際に破片が剥がれ落ちてLEDとワークとの間に挟まり、LEDが傾いて搭載されてしまうなどの不具合が生じるおそれがある。よって、特殊チッピングCを含むワークW3も不良品と判定する必要がある。
通常のチッピングであれば、同軸落射照明で撮像すると欠けた部分が真っ黒に写るが、特殊チッピングは光学材料から剥がれ落ちていないため、その剥がれ具合により、薄黒またはワークと同様の色で写る場合が多い。また、特殊チッピングの周囲には、上述の汚れと同様に、例えば蛍光体粒子の脱落によるくぼみ、表面に現れたボイド(空隙)などが存在する。そのため、特殊チッピングを単純な色味の違いで検出しようとすると、見逃しや過剰検出が発生してしまう。このように、特殊チッピングの有無を従来の画像処理で精度よく判定することは困難である。この点に鑑みて、検査装置1は、特殊チッピングが発生したワークの画像を教師データとした機械学習により構築した良否判定モデルを用いて良否判定を行う構成となっている。このような良否判定モデルを用いれば、特殊チッピングの有無を精度よく判定することも可能である。
〔検査装置の構成〕
検査装置1の構成について図1に基づいて説明する。図1は、検査装置1の要部構成の一例を示すブロック図である。図1に示すように、検査装置1は、検査装置1の各部を統括して制御する制御部10と、検査装置1が使用する各種データを記憶する記憶部11とを備えている。また、検査装置1は、他の装置と通信するための通信部12を備えている。さらに、検査装置1は、検査装置1に対する入力操作を受け付ける入力部13と、検査装置1がデータを出力するための出力部14とを備えている。
検査装置1の構成について図1に基づいて説明する。図1は、検査装置1の要部構成の一例を示すブロック図である。図1に示すように、検査装置1は、検査装置1の各部を統括して制御する制御部10と、検査装置1が使用する各種データを記憶する記憶部11とを備えている。また、検査装置1は、他の装置と通信するための通信部12を備えている。さらに、検査装置1は、検査装置1に対する入力操作を受け付ける入力部13と、検査装置1がデータを出力するための出力部14とを備えている。
制御部10は、ワーク領域抽出部101、画像取得部102、画像回転部103、教師データ生成部104、学習部105、および良否判定部106を含む。また、記憶部11には、撮像画像111、教師データ112、および良否判定モデル113が記憶されている。
ワーク領域抽出部101は、撮像画像111からワーク領域を抽出する。ワーク領域の抽出については後述する。
画像取得部102は、撮像画像111から、輝度値のばらつきに基づいて抽出した画像領域を含むように切り出した検査画像または学習用画像を取得する。検査画像は検査対象物の良否判定に用いられる画像であり、学習用画像は教師データ112として用いられる画像である。なお、本実施形態では、上述のように、ワーク領域抽出部101が撮像画像111からワーク領域を抽出するため、画像取得部102は、このワーク領域から検査画像または学習用画像を切り出す。
画像回転部103は、学習用画像の上下左右の四辺のうちの所定の辺に、当該学習用画像に写る光学材料の周部が位置するように当該学習用画像を回転させる。同様に、画像回転部103は、検査画像の上下左右の四辺のうちの所定の辺に、当該検査画像に写る光学材料の周部が位置するように当該検査画像を回転させる。これらの画像の回転については図6に基づいて後述する。
教師データ生成部104は、良否判定モデル113を構築する際に用いられる教師データ112を生成する。そして、学習部105は、教師データ112を用いた教師あり学習によって良否判定モデル113を構築する。教師データ112の生成および良否判定モデル113の構築については後述する。
良否判定部106は、検査画像を良否判定モデル113に入力して得られる出力値に基づき、検査対象物の良否を判定する。このとき、画像回転部103が検査画像を回転させていれば、良否判定部106は、画像回転部103が回転させた検査画像を良否判定モデル113に入力して得られる出力値に基づき、検査対象物の良否を判定する。
撮像画像111は、上述のように、検査対象物を撮像した画像であり、撮像装置2により生成される。例えば、良否が既知の検査対象物を撮像した撮像画像111から学習用画像が生成される。また、良否が不明の検査対象物を撮像した撮像画像111から検査画像が生成される。
教師データ112は、上述したように、良否判定モデル113を構築する際に用いられるデータであり、検査対象物を撮像した撮像画像111から生成された学習用画像に対し、その検査対象物の良否を正解データとして対応付けたものである。教師データ112の詳細は後述する。
良否判定モデル113は、検査対象物の良否判定を行う学習済モデルである。良否判定モデル113は、良否が未知の検査対象物を撮像した撮像画像111から切り出された検査画像の入力に対し、その検査対象物が良品であるか否かを示す値を出力する。良否判定モデル113の詳細は後述する。
以上のように、検査装置1は、検査対象物である光学材料(図2の例ではワークW)を撮像した撮像画像から、輝度値のばらつきに基づいて抽出した画像領域を含むように切り出した検査画像を取得する画像取得部102を備えている。そして、検査装置1は、検査画像を機械学習により構築された良否判定モデル113に入力して得られる出力値に基づき、光学材料の良否を判定する良否判定部106を備える。
ここで、本願の発明者の研究により、検査対象物である光学材料を撮像した撮像画像において、色や形状が不定型となるような不良が発生している画像領域は、不良が発生していない画像領域と比べて輝度値のばらつきが大きいことが分かった。
そこで、検査装置1では、輝度値のばらつきに基づいて抽出した画像領域を含むように撮像画像から切り出した検査画像を取得する構成としている。そして、検査装置1は、撮像画像の全体ではなく、撮像画像の一部の画像領域を含むように切り出した検査画像を良否判定モデルに入力して得られる出力値に基づいて光学材料の良否を判定する。よって、検査装置1によれば、光学材料における色や形状が不定型となるような不良を効率よく検出することができる。
〔教師データの生成〕
検査システム100における教師データ112の生成処理の流れを図4に基づいて説明する。図4は、教師データ112の生成処理の一例を示すフローチャートである。なお、以下では検査対象物が蛍光体含有ガラスのワークである例を説明する。
検査システム100における教師データ112の生成処理の流れを図4に基づいて説明する。図4は、教師データ112の生成処理の一例を示すフローチャートである。なお、以下では検査対象物が蛍光体含有ガラスのワークである例を説明する。
S1では、良否が分かっているワークを撮像装置2が撮像し、撮像画像を生成する。検査装置1は、生成された撮像画像を、通信部12を介した通信、または入力部13を介した入力により取得し、記憶部11に撮像画像111として記憶する。なお、ワークの良否については、必ずしもS1の段階で分かっている必要はなく、遅くともS7の処理時点で分かっていればよい。
S2では、ワーク領域抽出部101が、撮像画像111からワーク領域を抽出する。例えば、ワーク領域抽出部101は、撮像画像111に写るワークとワークとの間の溝の位置を画像解析により特定し、特定した溝に囲まれた領域をワーク領域として抽出してもよい。このとき、ワーク領域抽出部101は、ワークとワークとの間の溝を含まないようにワーク領域を抽出することが好ましい。溝の部分を含むように抽出してしまうと、判定精度が悪くなるおそれがあるためである。
S3では、画像取得部102が、S2で抽出されたワーク領域の中で、1つのワークが写る複数の画像領域のうち、輝度値のばらつきが相対的に大きい画像領域を特定する。そして、S4では、画像取得部102は、S2で抽出されたワーク画像から、S3で特定した画像領域を含む学習用画像を取得する。
ここで、S3およびS4の処理の具体例を図5に基づいて説明する。図5は、ワーク画像から学習用画像を取得する例を示す図である。図5において、ワークW4およびワークW5は、色や形状が不定型となるような不良を含むワークの例である。具体的には、ワークW4は、その上端部の左端付近に特殊チッピングを含んでいる。また、ワークW5には汚れが付着している。
特殊チッピングのようなワークの端部に発生する不良の有無を判定する良否判定モデル113を構築する場合、画像取得部102は、図5の画像P1のような学習用画像を取得することが好ましい。すなわち、画像取得部102は、撮像画像に写るワークW4の外縁部に沿って設定された各画像領域における輝度値のばらつきに基づいて、当該画像領域を含むように撮像画像から切り出した学習用画像を取得することが好ましい。これにより、ワークW4の端部に発生する不良が検出され得る画像領域に絞って、効率よく学習用画像を取得することができる。
この場合、S3において、画像取得部102は、まず、撮像画像に写るワークW4の外縁部に沿って設定された各画像領域における輝度値のばらつきを示す指標値を算出する。例えば、画像取得部102は、各画像領域における輝度値の分散を上記指標値として算出してもよい。
なお、各画像領域をどのように設定するかは予め定めておけばよい。例えば、複数の画像領域を予め設定しておいてもよい。具体例を挙げれば、矩形状のワークW4の四辺のうち上辺に沿った帯状の領域を等分して複数の画像領域を設定してもよい。この場合、他の三辺についても同様に、ワークW4の辺に沿った帯状の領域を等分して複数の画像領域を設定する。なお、帯状の領域の幅は、特殊チッピングが十分に収まる程度の幅とすればよい。
また、例えば、指標値を算出するときに画像領域を設定してもよい。この場合、画像取得部102は、指標値を算出する対象とする画像領域をワークW4の外縁部に沿って移動させながら、ワークW4の外縁部に沿った各画像領域の指標値を算出する。なお、複数の画像領域を予め設定する場合も、指標値を算出するときに画像領域を設定する場合も、画像領域のサイズは、学習用画像と同じかまたはそれよりも小さいサイズとする。
一方、ワークW5に写っているような汚れのように、出現位置に規則性のない不良の有無を判定する良否判定モデル113を構築する場合には、S1では、汚れが発生していることが分かっているワークを撮像する。そして、S3の処理では、画像取得部102は、ワーク画像の全面がカバーされるように(言い換えればワーク画像の各画素が、複数の画像領域の少なくとも1つに含まれるように)画像領域を設定し、その画像領域の中から輝度値のばらつきが大きい画像領域を特定する。
次に、画像取得部102は、算出した指標値が相対的に大きい画像領域を特定する。画像領域は複数特定してもよい。なお、ここで画像取得部102は、指標値が相対的に大きい画像領域を特定する代わりに、算出した指標値が所定の閾値以上の画像領域を特定してもよい。つまり、画像領域は絶対的な基準である閾値に基づいて特定してもよい。ただし、撮像条件の変化や、検査対象物の個体差により、輝度値のばらつきが変動することがあるため、指標値が相対的に大きい画像領域を特定する方が好ましい。指標値が相対的に大きい画像領域を特定することにより、不良が発生している可能性が高い画像領域を安定して切り出して学習用画像とすることができる。
そして、S4では、画像取得部102は、S3で特定した画像領域を含む学習用画像をワーク画像から取得する。例えば、S3において、図5に示す画像領域A1が特定された場合、画像取得部102は、画像領域A1を含むように切り出した画像P1を学習用画像とすればよい。同様に、S3において、図5に示す画像領域A2が特定された場合、画像取得部102は、画像領域A2を含むように切り出した画像P2を学習用画像とすればよい。なお、画像取得部102は、複数の画像領域を特定した場合、各画像領域のそれぞれについて学習用画像を取得してもよい。
学習用画像のサイズは予め定めておけばよい。そして、学習用画像の所定サイズと、S3で特定した画像領域のサイズが同じであれば、画像取得部102は、S3で特定した画像領域をそのまま切り出して学習用画像とすればよい。一方、S3で特定した画像領域のサイズが、学習用画像の所定サイズよりも小さければ、S3で特定した画像領域と、その画像領域の周囲の領域も含む、所定サイズの学習用画像を切り出せばよい。ワークの用途等にもよるが、画像取得部102は、例えば一辺が0.05mm~200mmの矩形サイズの学習用画像を切り出してもよい。
また、本例のように検査対象物がワークである場合、S3およびS4において、画像取得部102は、サイズの異なる複数種類のワークのうち、最もサイズの小さいワークよりも小さいサイズの学習用画像を取得することが好ましい。これは、最もサイズの小さいワークよりも小さいサイズの学習用画像であれば、何れの種類のワークからも切り出すことができるからである。つまり、上記構成によれば、何れの種類のワークの撮像画像からも、同じサイズの学習用画像を取得し、これを、良否判定モデル113を構築するための教師データとすることができる。
S5では、画像回転部103が、学習用画像を回転させるか否かを判定する。具体的には、画像回転部103は、学習用画像の上下左右の四辺のうちの所定の辺に、当該学習用画像に写る光学材料(具体的にはワーク)の周部が位置していれば回転させない(S5でNO)と判定する。この場合、処理はS7に進む。なお、汚れのように出現位置に規則性のない不良の有無を判定する良否判定モデル113を構築する場合には、S5および後述するS6の処理は省略する。
一方、画像回転部103は、学習用画像の所定の辺に周部が位置していなければ回転させる(S5でYES)と判定する。この場合、処理はS6に進む。S6では、画像回転部103は、学習用画像の上下左右の四辺のうちの所定の辺にワークの周部が位置するように学習用画像を回転させる。
ここで、S5およびS6の処理の具体例を図6に基づいて説明する。図6は、学習用画像を回転させる例を示す図である。図6の学習用画像P3は、ワーク画像の下端側の外縁部から切り出された画像であり、学習用画像P4は、ワーク画像の左端側の外縁部から抽出された画像である。
より詳細には、学習用画像P3では、下辺がワークの周部に対応しており、下辺に特殊チッピングC1が生じている。一方、学習用画像P4では、左辺がワークの周部に対応しており、左辺に特殊チッピングC2が生じている。
ここで、学習用画像P3に写る特殊チッピングC1は上に凸の半円形状であるのに対し、学習用画像P4に写る特殊チッピングC2は右に凸の半円形状であり、その外観は大きく異なっている。このため、これらの学習用画像に同じ正解データ(特殊チッピングがあることを示すデータ)を対応付けた教師データを用いて機械学習を行った場合、効率のよい学習ができない可能性がある。
そこで、上述のように、画像回転部103は、学習用画像の上下左右の四辺のうちの所定の辺に、当該学習用画像に写るワークの周部が位置するように学習用画像を回転させる。図6の例では、学習用画像P3およびP4の上下左右の四辺のうちの上辺にワークの周部が位置するように学習用画像を回転させている。
具体的には、画像回転部103は、学習用画像P3を180°回転させ、学習用画像P3’としている。学習用画像P3’では特殊チッピングC1が上辺側に位置する。また、画像回転部103は、学習用画像P4を右方向に90°回転させ、学習用画像P4’としている。学習用画像P4’では特殊チッピングC2が上辺側に位置する。
このように、画像回転部103が学習用画像を回転させることにより、学習用画像に写る周部の位置を統一することができる。これにより、ワークの周部に沿って所定の形状で生じるチッピング等の外観を、各学習用画像間で類似したものとすることができるので、その外観の特徴を効率よく学習することが可能になる。無論、ワーク以外の光学材料においても、特殊チッピングは周部に好発するためこの構成は有効である。なお、検査画像の回転も同様にして行われる。
S7では、教師データ生成部104は、学習用画像に正解データを対応付けて教師データを生成する。そして、教師データ生成部104は、生成した教師データを教師データ112として記憶部11に格納し、これにより図4の処理は終了する。図4の処理は、良否判定モデル113の構築に必要な数の教師データ112が揃うまで繰り返し行われる。
上記正解データは、検査対象物の良否を示すデータである。S1で特殊チッピングが生じているワークを撮像した場合、正解データは不良であること、あるいは特殊チッピングがあることを示すデータとすればよい。同様に、S1で汚れが発生しているワークを撮像した場合、正解データは不良であること、あるいは汚れがあることを示すデータとすればよい。また、S1で良品であることが分かっているワークを撮像した場合、正解データは良品であることを示すデータとすればよい。このような正解データは、例えば入力部13を介したユーザ操作により入力されてもよい。この場合、教師データ生成部104は、入力された正解データを学習用画像に対応付けて教師データ112を生成する。
ここで、正解データの対応付けの具体例を図7および図8に基づいて説明する。図7は、汚れの有無を判定する良否判定モデル113の教師データにおける正解データの対応付けの具体例を示す図である。また、図8は、特殊チッピングの有無を判定する良否判定モデルの教師データにおける正解データの対応付けの具体例を示す図である。
図7の画像P5および画像P6は、良品のワークを撮像した撮像画像111から切り出した学習用画像の例である。これらの学習用画像は、良品であることを示す正解データが対応付けられて教師データとされる。
一方、画像P7およびP8は、汚れが付着したワークを撮像した撮像画像111から切り出した学習用画像の例である。これらの学習用画像は、不良品であること、あるいは汚れがあることを示す正解データが対応付けられて教師データとされる。
なお、画像P7に写る汚れは、すす状であるのに対し、画像P8に写る汚れは、水滴状であり、これらは何れも同じ汚れではあるが、その外観は異なっている。このように外観が異なる汚れについては、異なる種類の不良として検出することが好ましい。これにより、不良の検出精度を高めることができる。この場合、正解データを不良の種類を示すデータとすればよい。例えば、画像P7には「すす状汚れ」との正解データを対応付けて教師データとし、画像P8には「水滴状汚れ」との正解データを対応付けて教師データとしてもよい。
このように、不良を複数の種類に分類して、各種類の不良についての教師データを用いて機械学習することにより、複数種類の不良のそれぞれを区別して検出する良否判定モデル113を構築することができる。この場合、良否判定部106は、複数種類の不良のそれぞれを区別して検出する良否判定モデル113に検査画像を入力して得られる出力値に基づき、光学材料の良否を判定する。この構成によれば、種類を区別しないで不良の有無を判定する良否判定モデル113を用いる場合と比べて、判定精度を高めることができる。
また、図8の画像P9~P16は、良品のワークを撮像した撮像画像から切り出した学習用画像の例である。なお、図8における「良品」とは、特殊チッピングを含まないという意味である。例えば、特殊チッピングではない通常のチッピングや傷を含むようなものであっても、特殊チッピングを含まなければ「良品」扱いとする。また、くぼみがある部分や蛍光体粒子が集まっている箇所を含むものも「良品」扱いとする。これらの学習用画像は、良品であることを示す正解データが対応付けられて教師データとされる。
画像P9は、この画像を構成する各画素の輝度値に比較的ばらつきがないが、画像P10~P16には、輝度値が低い(黒に近い)画素が集まった領域が存在している。通常のチッピングが生じた箇所は、このような輝度値が低い画素が集まった領域となる。なお、通常のチッピングに起因するこのような領域は、画像処理で容易に検出できるため、良否判定モデル113を用いた判定とは別工程で画像処理により検出すればよい。
輝度値が低い画素を含む画像領域は、全体として輝度値のばらつきが大きくなるため、P10~P16のような画像は、図4のS3およびS4の処理により、学習用画像として取得されやすい。言い換えれば、図4のS3およびS4の処理によれば、P10~P16のような、特殊チッピングと紛らわしい領域を含む画像を学習用画像として取得しやすい。このような紛らわしい画像を学習用画像として用いることにより、良否判定モデル113の判定精度を高めることができる。
なお、良品の学習用画像であれば、良品であることが分かっているワークの撮像画像の任意の画像領域を切り出すことにより生成することもできる。この場合、図4の処理は行う必要はない。
一方、図8の画像P17~P20は、特殊チッピングが発生したワークを撮像した撮像画像から切り出した学習用画像の例である。これらの学習用画像には、特殊チッピングC3~C6が写っている。これらの学習用画像は、不良品であること、または特殊チッピングを含むことを示す正解データが対応付けられて教師データとされる。特殊チッピングが生じた画像領域は、通常のチッピングほどではないものの輝度値のばらつきが大きくなるため、図4のS3およびS4の処理により、P17~P20のような、特殊チッピングを含む学習用画像を容易に生成することができる。
〔機械学習による良否判定モデルの構築〕
以上のような処理により生成され、記録された教師データ112を用いて機械学習を行うことにより、良否判定モデル113を構築することができる。良否判定モデル113は、特殊チッピングの有無を判定するものと、汚れの有無を判定するものとの2種類を構築することが好ましい。
以上のような処理により生成され、記録された教師データ112を用いて機械学習を行うことにより、良否判定モデル113を構築することができる。良否判定モデル113は、特殊チッピングの有無を判定するものと、汚れの有無を判定するものとの2種類を構築することが好ましい。
なお、機械学習のアルゴリズムとモデルの種類は、検査画像を入力データとして、検査対象物の良否を示す出力値を出力する良否判定モデル113を構築できるようなものであれば特に限定されない。例えば、良否判定モデル113を畳み込みニューラルネットワークモデルとしてもよい。
〔検査の流れ〕
検査システム100によるワークの検査の流れ(検査方法)を図9に基づいて説明する。図9は、検査システム100によるワークの検査処理の一例を示すフローチャートである。なお、S11~S16の処理は、画像の名称が「学習用画像」から「検査画像」に変わっているだけで図4のS1~S6と概ね同様である。以下では、図4のフローチャートとの相違点を中心に説明する。また、以下では、特殊チッピングの有無に基づいて良否判定する例を説明する。
検査システム100によるワークの検査の流れ(検査方法)を図9に基づいて説明する。図9は、検査システム100によるワークの検査処理の一例を示すフローチャートである。なお、S11~S16の処理は、画像の名称が「学習用画像」から「検査画像」に変わっているだけで図4のS1~S6と概ね同様である。以下では、図4のフローチャートとの相違点を中心に説明する。また、以下では、特殊チッピングの有無に基づいて良否判定する例を説明する。
S11では、検査対象物である良否不明のワークを撮像装置2が撮像して撮像画像を生成し、検査装置1は、生成された撮像画像を取得する。そして、S12では、ワーク領域抽出部101が、S11で撮像された撮像画像からワーク領域を抽出する。このとき、ワーク領域抽出部101は、ワークとワークとの間の溝を含まないようにワーク領域を抽出することが好ましい。なお、ワーク領域の抽出は、例えば、画像認識ソフトにより行うことができる。
S13では、画像取得部102が、1つのワークが写る複数の画像領域のうち輝度値のばらつきが大きい画像領域を特定する。そして、S14(画像取得ステップ)では、画像取得部102は、S13で特定した画像領域を含むように撮像画像から切り出した検査画像を取得する。検査画像のサイズは、良否判定モデル113の構築に用いた学習用画像と同じにすることが好ましい。
なお、検査対象物が同じ種類のものであっても、撮像条件の変化や、検査対象物の個体差により、輝度値のばらつきが変動することがある。このため、S13では、1つのワークが写る複数の画像領域のうち輝度値のばらつきが相対的に大きい画像領域を特定してもよい。これにより、輝度値のばらつきが変動しても、不良が発生している可能性が高い画像領域を安定して切り出して検査画像とすることが可能になる。
また、特殊チッピングの有無に基づく良否判定を行う場合、S14では、画像取得部102は、図5の画像P1のような、撮像画像に写るワークの外縁部に沿って設定された検査画像を取得することが好ましい。すなわち、画像取得部102は、S13では撮像画像に写るワークの外縁部に沿って設定された各画像領域における輝度値のばらつきに基づいて切り出す画像領域の特定を行うことが好ましい。そして、画像取得部102は、S14ではその画像領域を含むように撮像画像から切り出した検査画像を取得することが好ましい。なお、輝度値のばらつきの大きい画像領域の特定においては、例えば、制御部10が、複数の画像領域のデータを取り込んで、各画像領域における輝度値のばらつきを算出した上で、どの画像領域における輝度値のばらつきが大きいかを判定してもよい。
この構成によれば、ワークの外縁部に沿って設定された各画像領域における輝度値のばらつきに基づいて切り出した検査画像を取得するので、ワークの外縁部に好発する特殊チッピング等を効率よく検出してワークの良否を判定することができる。
また、検査対象物が光学材料からなるワークである場合、S13およびS14において、画像取得部102は、サイズの異なる複数種類のワークのうち、最もサイズの小さいワークよりも小さいサイズの検査画像を取得することが好ましい。
これは、最もサイズの小さいワークよりも小さいサイズの検査画像であれば、何れの種類のワークからも切り出すことができるからである。つまり、上記構成によれば、何れの種類のワークの良否判定においても、同じサイズの検査画像を取得し、この検査画像を良否判定モデル113に入力して得られる出力値に基づいてワークの良否を判定することができる。これにより、複数種類のワークについて共通の良否判定モデル113を利用することが可能になる。また、検査画像の拡大や縮小を行わないため、ワークの種類が変わっても検出精度を維持することができる。
S15では、画像回転部103が、検査画像を回転させるか否かを判定する。具体的には、画像回転部103は、検査画像の上下左右の四辺のうちの所定の辺に、当該検査画像に写るワークの周部が位置していれば回転させない(S15でNO)と判定する。この場合、処理はS17に進む。一方、画像回転部103は、検査画像の上下左右の四辺のうちの所定の辺に周部が位置していなければ回転させる(S15でYES)と判定する。この場合、処理はS16に進む。
なお、上記所定の辺は、図4のS5において、学習用画像を回転させるか否かを判定した際に基準とした辺と同じ辺とする。例えば、図4のS5において、学習用画像の上辺にワークの周部が位置していないときに学習用画像を回転させた場合、S15でも検査画像の上辺にワークの周部が位置していないときに検査画像を回転させると判定する。
S16では、画像回転部103は、検査画像の上下左右の四辺のうちの所定の辺に、当該検査画像に写るワークの周部が位置するように検査画像を回転させる。この構成によれば、良否判定モデル113に入力される検査画像に写る周部の位置が統一されるので、良否判定モデル113に入力される周部に沿って所定の形状で生じるチッピング等を高精度に検出してワークの良否を判定することができる。
そして、S17では、良否判定部106が、画像回転部103が回転させた検査画像を良否判定モデル113に入力する。そして、S18(良否判定ステップ)では、良否判定部106は、機械学習により構築された良否判定モデル113からの出力値に基づいてワークの良否を判定する。
例えば、良品と、特殊チッピングありの2種類の教師データによる学習で構築した良否判定モデル113を用いる場合、良否判定モデル113からは、入力した検査画像に写るワークが良品である確率と、当該ワークに特殊チッピングがある確率とが出力される。この場合、良否判定部106は、これらの数値と所定の閾値を比較する等により、ワークの良否を判定すればよい。例えば、良否判定部106は、(1)ワークが良品である確率が閾値以上、かつ、(2)特殊チッピングがある確率が閾値未満であれば良品と判定し、(1)と(2)の少なくとも何れかの条件が充足されなければ特殊チッピングありと判定してもよい。
S19では、良否判定部106は、S18の判定結果を出力部14に出力させる。例えば、出力部14が画像を表示出力する表示装置であれば、良否判定部106は、S18の判定結果を示す画像を出力部14に表示出力させてもよい。また、この際、良否判定部106は、当該判定に用いた検査画像等についても合せて表示させてもよい。これにより、良否判定結果の妥当性をユーザに目視で確認させることができる。
なお、汚れの有無に基づいて良否判定する場合の検査処理は、S13の処理の対象となる画像領域が異なる(周部以外も含む)点、S15およびS16の処理を行わない点、および使用する良否判定モデル113が異なる点を除けば、上述の処理と同様である。
〔変形例〕
上記実施形態では、検査装置1が教師データの生成および良否判定モデル113の構築についても行う例を説明したが、教師データの生成と、良否判定モデル113の構築は他の情報処理装置に行わせてもよい。
上記実施形態では、検査装置1が教師データの生成および良否判定モデル113の構築についても行う例を説明したが、教師データの生成と、良否判定モデル113の構築は他の情報処理装置に行わせてもよい。
また、検査における各処理の一部を他の情報処理装置に行わせてもよい。例えば、図9の処理のうち、良否判定モデル113に検査画像を入力して演算するS17の処理を他の情報処理装置に行わせてもよい。この場合、良否判定部106は、検査画像を他の情報処理装置に送信し、良否判定モデル113の出力値を当該他の情報処理装置から取得し、取得した出力値に基づいてS18の良否判定処理を行えばよい。また、例えば、図9のS13の処理を他の情報処理装置に行わせてもよい。この場合、画像取得部102は、S14において、他の情報処理装置がS13の特定結果に基づき生成した検査画像を取得すればよい。
≪実施形態2≫
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
≪実施形態2≫
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本実施形態は、光学材料における色や形状が不定型となるような不良を効率よく検出する際、実施形態1で想定されているような局所的な不良よりもやや広範囲に一様に広がる不良を、より効率的に検出することを目的としている。
このために、本実施形態に係る検査装置1の画像取得部102は、輝度値の平均値に基づいて抽出した画像領域を含むように撮像画像から切り出された画像を、学習用画像または検査画像として取得するように構成される。
〔検査装置の構成〕
本実施形態の検査装置1において、画像取得部102は、検査対象物である光学材料を撮像した撮像画像から、輝度値の平均値に基づいて抽出した画像領域を含むように切り出した検査画像を取得するように構成されている。一例として、画像取得部102は、撮像画像を構成する領域のうち、該領域の輝度値の平均値が、基準の輝度値に基づいて定まる範囲から外れる領域を、上述の画像領域として抽出する。
本実施形態の検査装置1において、画像取得部102は、検査対象物である光学材料を撮像した撮像画像から、輝度値の平均値に基づいて抽出した画像領域を含むように切り出した検査画像を取得するように構成されている。一例として、画像取得部102は、撮像画像を構成する領域のうち、該領域の輝度値の平均値が、基準の輝度値に基づいて定まる範囲から外れる領域を、上述の画像領域として抽出する。
良否判定部106は、上述のように取得された検査画像を機械学習により構築された良否判定モデル113に入力して得られる出力値に基づき、光学材料の良否を判定する。
〔検査方法〕
本実施形態に係る検査装置1によって実行される検査方法は、実施形態1の検査方法(図9参照)と同様に、S14(画像取得ステップ)と、S18(良否判定ステップ)とを含む。ただし、S14の処理の内容が下記のとおり実施形態1の検査方法とは異なっている。
本実施形態に係る検査装置1によって実行される検査方法は、実施形態1の検査方法(図9参照)と同様に、S14(画像取得ステップ)と、S18(良否判定ステップ)とを含む。ただし、S14の処理の内容が下記のとおり実施形態1の検査方法とは異なっている。
本実施形態では、画像取得部102は、S14において、検査対象物である光学材料を撮像した撮像画像から、輝度値の平均値に基づいて抽出した画像領域を含むように切り出した検査画像を取得する。具体的には、画像取得部102は、撮像画像を構成する領域のうち、該領域の輝度値の平均値が、基準の輝度値に基づいて定まる範囲から外れる領域を、画像領域として抽出している。
良否判定部106は、S18において、上述のようにして取得された検査画像を機械学習により構築された良否判定モデル113に入力して得られる出力値に基づき、光学材料の良否を判定する。なお、より詳細には、良否判定部106は、良否判定モデル113の教師データとして用いた学習用画像と同じサイズになるように拡大または縮小した検査画像を良否判定モデル113に入力する。あるいは、画像取得部102は、輝度値の平均値が、基準の輝度値に基づいて定まる範囲から外れており、かつ、学習用画像と同じサイズの検査画像を取得してもよい。この場合、良否判定部106は、画像取得部102が取得した検査画像をリサイズすることなく良否判定モデル113に入力すればよい。
上述の構成および方法によれば、撮像画像のうち良否判定対象の画像領域を、基準の輝度値によって定められる範囲から外れた平均輝度値を持つ領域に絞ることができる。光学材料において、色や形状が不定型となるような不良が発生した場合、そのような不良が生じている領域の輝度値の平均値と、不良が発生していない領域の輝度値の平均値とには差異が生じる。よって、上述の構成によれば、このような不良の検出を効率よく行える。例えば、撮像画像上のある程度の広さに一様に発生するような、輝度値にばらつきが出にくい不良の検出も効率よく行える。
〔画像領域の抽出について〕
画像取得部102が輝度値の平均値に基づいて画像領域を抽出する方法としては、いくつかの方法が考えられる。画像取得部102は、基準の輝度値としての、良品の光学材料を撮像して得られた撮像画像において当該光学材料が写る領域の輝度値の平均値に基づいて画像領域を抽出してもよい。
画像取得部102が輝度値の平均値に基づいて画像領域を抽出する方法としては、いくつかの方法が考えられる。画像取得部102は、基準の輝度値としての、良品の光学材料を撮像して得られた撮像画像において当該光学材料が写る領域の輝度値の平均値に基づいて画像領域を抽出してもよい。
あるいは、画像取得部102は、基準の輝度値としての、撮像画像の全体平均輝度値に基づいて画像領域を抽出してもよい。基準の輝度値としての全体平均輝度値とは、検査対象物である光学材料の撮像画像全体の輝度値の平均値である。全体平均輝度値としては、撮像画像の画素全部の輝度値の平均を適用してもよいし、撮像画像を区画して得た各部分領域の平均輝度値(部分平均輝度値)の平均を適用してもよい。
(良品の輝度値の平均値に基づく画像領域の抽出)
<平均輝度値が高めの領域の抽出>
画像取得部102は、複数枚の良品の光学材料を撮像して得られた撮像画像において当該光学材料が写る領域の輝度値の平均値を、基準の輝度値として用いてもよい。そして、画像取得部102は、撮像画像を構成する領域のうち、該領域の輝度値の平均値が、前記基準の輝度値に基づいて定めた範囲を超える領域を、画像領域として抽出してもよい。
<平均輝度値が高めの領域の抽出>
画像取得部102は、複数枚の良品の光学材料を撮像して得られた撮像画像において当該光学材料が写る領域の輝度値の平均値を、基準の輝度値として用いてもよい。そして、画像取得部102は、撮像画像を構成する領域のうち、該領域の輝度値の平均値が、前記基準の輝度値に基づいて定めた範囲を超える領域を、画像領域として抽出してもよい。
上述の構成によれば、良否判定の対象となる画像領域を、平均輝度値が高めの領域に絞ることができる。これにより、正常部位よりも明るく写る不良の検出を効率よく行える。当該不良としては、例えば、光学材料における、蛍光体粒の凝集などが想定される。
図10に示すとおり、本実施形態に係る検査装置1において、記憶部11は、良品画像群114を記憶していてもよい。良品画像群114は、一例として、蛍光体粒の凝集に関して予め良品と判明している複数の蛍光体含有ガラスの撮像画像を複数含む。より具体的には、良品画像群114は、蛍光体含有ガラスに含まれる良品のワークWのワーク画像の群であってもよい。良品画像群114のワーク画像の各々は、溝G(図2参照)の部分を含まないようなものとすることが好ましい。
まず、ワーク領域抽出部101は、検査対象物である蛍光体含有ガラスの撮像画像111からワーク領域を抽出し、当該ワーク領域に対応するワーク画像を画像取得部102に出力する。
画像取得部102は、良品画像群114の輝度値の平均値を基準の輝度値として取得する。輝度値の平均値は、予め計算されて記憶部11に格納されていてもよい。この場合、良品画像群114を記憶部11に格納しておく必要はない。
画像取得部102は、一例として、ワーク領域抽出部101から受け取ったワーク画像のうち、取得した輝度値の平均値に基づいて定めた範囲を超える領域を、画像領域として抽出してもよい。画像取得部102は、抽出した画像領域を含む検査画像をワーク画像から切り出す。取得した輝度値の平均値に基づいて定めた範囲を超える領域は、一例として、取得した輝度値の平均値を超える領域であってもよい。他の例では、取得した輝度値の平均値に基づいて定めた範囲を超える領域は、上述の輝度値の平均値に所定のマージンを加算または減算した値を超える領域であってもよい。
図10の検査装置1では、画像回転部103は省略されてもよい。
良否判定部106は、画像取得部102から、輝度値に基づいて定めた範囲の平均値を超える画像領域を含む検査画像を受け取り、当該検査画像を良否判定モデル113に入力して得られる出力値に基づき、検査対象物の良否を判定する。
これにより、検査装置1は、蛍光体含有ガラスにおける蛍光体粒の凝集の不良を効率よく検出することができる。
ここで良否判定部106が用いる良否判定モデル113は、不良と判定すべき蛍光体粒の凝集の有無を示す正解データを用いて構築されたモデルであってもよい。良否判定モデル113は、教師データ生成部104および学習部105によって構築される。
具体的には、本実施形態では、画像取得部102は、検査対象物である光学材料を撮像した撮像画像から、輝度値の平均値に基づいて抽出した画像領域を含むように切り出した学習用画像を取得するように構成されていてもよい(図4のS3~S4)。
本実施形態において、良否判定部106が良否の判定に用いる良否判定モデル113は、画像取得部102によって取得された学習用画像を用いて構築される。すなわち、本実施形態で用いられる学習用画像は、輝度値の平均値に基づいて抽出した画像領域を含むように撮像画像から切り出された画像である。
教師データ生成部104は、上述のようにして取得された学習用画像に正解データを対応付けて教師データ112を生成する(S7)。学習部105は、教師データ112を用いた教師あり学習によって良否判定モデル113を構築する。
<平均輝度値が低めの領域の抽出>
他の例では、画像取得部102は、撮像画像を構成する領域のうち、該領域の輝度値の平均値が、前記基準の輝度値に基づいて定めた範囲を下回る領域を、画像領域として抽出してもよい。
他の例では、画像取得部102は、撮像画像を構成する領域のうち、該領域の輝度値の平均値が、前記基準の輝度値に基づいて定めた範囲を下回る領域を、画像領域として抽出してもよい。
上述の構成によれば、良否判定対象の領域を、平均輝度値が低めの領域に絞ることができる。これにより、正常部位よりも暗く写る不良の検出を効率よく行える。当該不良としては、例えば、光学材料に付着した汚れなどが想定される。また、特殊チッピングの不良の検出も可能である。
本実施形態では、一例として、良品画像群114は、汚れおよび特殊チッピングに関して予め良品と判明している複数の蛍光体含有ガラスの撮像画像を複数含む。本実施形態では、良品画像群114内の撮像画像は溝Gが写らないようにワーク画像に細分化されていてもよい。
まず、ワーク領域抽出部101は、検査対象物である蛍光体含有ガラスの撮像画像111からワーク領域を抽出し、当該ワーク領域に対応するワーク画像を画像取得部102に出力する。
画像取得部102は、良品画像群114の輝度値の平均値を基準の輝度値として取得する。輝度値の平均値は、予め計算されて、記憶部11に格納されていてもよい。この場合、良品画像群114を記憶部11に格納しておく必要はない。
画像取得部102は、一例として、ワーク領域抽出部101から受け取ったワーク画像の領域のうち、取得した輝度値の平均値に基づいて定めた範囲を下回る領域を、画像領域として抽出してもよい。画像取得部102は、抽出した画像領域を含む検査画像をワーク画像から切り出す。取得した輝度値の平均値に基づいて定めた範囲を下回る領域は、一例として、取得した輝度値の平均値を下回る領域であってもよい。他の例では、取得した輝度値の平均値に基づいて定めた範囲を下回る領域は、上述の輝度値の平均値に所定のマージンを加算または減算した値を下回る領域であってもよい。
平均輝度値が低めの領域を抽出する場合においても、画像回転部103は省略されてもよい。
良否判定部106は、画像取得部102から、輝度値に基づいて定めた範囲の平均値を下回る画像領域を含む検査画像を受け取り、当該検査画像を良否判定モデル113に入力して得られる出力値に基づき、検査対象物の良否を判定する。
これにより、検査装置1は、蛍光体含有ガラスにおける汚れおよび特殊チッピングの不良を効率よく検出することができる。
ここで良否判定部106が用いる良否判定モデル113は、不良と判定すべき汚れおよび特殊チッピングの有無を示す正解データを用いて構築されたモデルであってもよい。良否判定モデル113は、教師データ生成部104および学習部105によって構築される。
具体的には、本実施形態では、画像取得部102は、検査対象物である光学材料を撮像した撮像画像から、輝度値の平均値に基づいて抽出した画像領域を含むように切り出した学習用画像を取得するように構成されていてもよい(図4のS3~S4)。
本実施形態において、良否判定部106が良否の判定に用いる良否判定モデル113は、画像取得部102によって取得された学習用画像を用いて構築される。すなわち、本実施形態で用いられる学習用画像は、輝度値の平均値に基づいて抽出した画像領域を含むように撮像画像から切り出された画像である。
教師データ生成部104は、上述のようにして取得された学習用画像に正解データを対応付けて教師データ112を生成する(S7)。学習部105は、教師データ112を用いた教師あり学習によって良否判定モデル113を構築する。なお、良否判定モデル113は、不良の種類別に構築されてもよい。
(全体平均輝度値に基づく画像領域の抽出)
<相対的に輝度値の高い領域の抽出>
画像取得部102は、検査対象物の撮像画像全体の輝度値の平均値である全体平均輝度値を、基準の輝度値として用いてもよい。そして、画像取得部102は、撮像画像を構成する領域のうち、該領域の輝度値の平均値が上述の全体平均輝度値に基づいて定めた範囲を超える領域を、画像領域として抽出してもよい。
<相対的に輝度値の高い領域の抽出>
画像取得部102は、検査対象物の撮像画像全体の輝度値の平均値である全体平均輝度値を、基準の輝度値として用いてもよい。そして、画像取得部102は、撮像画像を構成する領域のうち、該領域の輝度値の平均値が上述の全体平均輝度値に基づいて定めた範囲を超える領域を、画像領域として抽出してもよい。
上述の構成によれば、検査対象物の撮像画像の中で相対的に輝度値の高い領域を画像領域として抽出する。そのため、撮像条件の変化や、検査対象物の個体差による輝度の変動の影響を受けずに、良否判定対象の画像領域を絞ることができる。そして、正常部位よりも明るく写る不良の検出を効率よく行える。当該不良としては、例えば、光学材料における、蛍光体粒の凝集などが想定される。
図11に示すとおり、本実施形態に係る検査装置1において、記憶部11は、ワーク画像115を記憶してもよい。本実施形態では、ワーク領域抽出部101は、検査対象物である蛍光体含有ガラスの撮像画像111からワーク領域を抽出し、当該ワーク領域に対応するワーク画像115を記憶部11に記憶する。
画像取得部102は、ワーク画像115の全体平均輝度値を基準の輝度値として取得する。画像取得部102は、図12に示すように、ワーク画像115の全領域(AreaAll)の各画素の輝度値の平均を、ワーク画像115の全体平均輝度値として取得してもよい。あるいは、画像取得部102は、図12に示すように、まず、ワーク画像115を区画して得た部分領域(例えば、Area1、Area2、・・・、Area16)ごとの画素の輝度値の平均を部分平均輝度値として取得してもよい。そして、画像取得部102は、部分領域ごとの部分平均輝度値(Area1の部分平均輝度値、Area2の部分平均輝度値、・・・)の平均を、ワーク画像115の全体平均輝度値として取得してもよい。
そして、画像取得部102は、一例として、ワーク領域抽出部101から受け取ったワーク画像のうち、取得した全体平均輝度値に基づいて定めた範囲を超える領域を、画像領域として抽出してもよい。画像取得部102は、抽出した画像領域を含む検査画像をワーク画像115から切り出す。全体平均輝度値に基づいて定めた範囲を超える領域は、一例として、全体平均輝度値を超える領域であってもよい。他の例では、全体平均輝度値に基づいて定めた範囲を超える領域は、上述の全体平均輝度値に所定のマージンを加算または減算した値を超える領域であってもよい。
他の例では、画像取得部102は、ワーク画像115をいくつかの部分領域に分けた場合には、部分領域ごとに得た部分平均輝度値のそれぞれを基準の輝度値として参照してもよい。すなわち、画像取得部102は、ワーク領域抽出部101から受け取ったワーク画像の部分領域ごとに、該当する部分領域の部分平均輝度値と比較し、部分領域において、部分平均輝度値に基づいて定めた範囲を超える領域を、画像領域として抽出してもよい。部分平均輝度値に基づいて定めた範囲を超える領域は、例えば、部分平均輝度値を超える領域であってもよいし、部分平均輝度値に所定のマージンを加算または減算した値を超える領域であってもよい。
図11の検査装置1では、画像回転部103は省略されてもよい。
良否判定部106は、画像取得部102から、全体平均輝度値に基づいて定めた範囲を超える画像領域を含む検査画像を受け取り、当該検査画像を良否判定モデル113に入力して得られる出力値に基づき、検査対象物の良否を判定する。ここで良否判定部106が用いる良否判定モデル113は、不良と判定すべき蛍光体粒の凝集の有無を示す正解データを用いて構築されたモデルであってもよい。
これにより、検査装置1は、撮像条件の変化や、検査対象物の個体差による輝度の変動の影響を受けずに、蛍光体含有ガラスにおける蛍光体粒の凝集の不良を効率よく検出することができる。
ここで良否判定部106が用いる良否判定モデル113は、不良と判定すべき蛍光体粒の凝集の有無を示す正解データを用いて構築されたモデルであってもよい。良否判定モデル113は、教師データ生成部104および学習部105によって構築される。
具体的には、本実施形態では、画像取得部102は、検査対象物である光学材料を撮像した撮像画像から、全体平均輝度値に基づいて抽出した画像領域を含むように切り出した学習用画像を取得するように構成されていてもよい(図4のS3~S4)。
本実施形態において、良否判定部106が良否の判定に用いる良否判定モデル113は、画像取得部102によって取得された学習用画像を用いて構築される。すなわち、本実施形態で用いられる学習用画像は、全体平均輝度値に基づいて抽出した画像領域を含むように撮像画像から切り出された画像である。
教師データ生成部104は、上述のようにして取得された学習用画像に正解データを対応付けて教師データ112を生成する(S7)。学習部105は、教師データ112を用いた教師あり学習によって良否判定モデル113を構築する。
<相対的に輝度値の低い領域の抽出>
画像取得部102は、検査対象物自体の撮像画像全体の輝度値の平均値である全体平均輝度値を、基準の輝度値として用いてもよい。そして、画像取得部102は、撮像画像を構成する領域のうち、該領域の輝度値の平均値が上述の全体平均輝度値に基づいて定めた範囲を下回る領域を、画像領域として抽出してもよい。
画像取得部102は、検査対象物自体の撮像画像全体の輝度値の平均値である全体平均輝度値を、基準の輝度値として用いてもよい。そして、画像取得部102は、撮像画像を構成する領域のうち、該領域の輝度値の平均値が上述の全体平均輝度値に基づいて定めた範囲を下回る領域を、画像領域として抽出してもよい。
上述の構成によれば、検査対象物の撮像画像の中で相対的に輝度値の低い領域を画像領域として抽出する。そのため、撮像条件の変化や、検査対象物の個体差による輝度の変動の影響を受けずに、良否判定対象の画像領域を絞ることができる。これにより、正常部位よりも暗く写る不良の検出を効率よく行える。当該不良としては、例えば、光学材料に付着した汚れなどが想定される。また、特殊チッピングの不良の検出も可能である。
図11に示すとおり、画像取得部102は、ワーク画像115の全体平均輝度値を基準の輝度値として取得(算出)する。
そして、画像取得部102は、一例として、ワーク領域抽出部101が抽出して記憶部11に格納したワーク画像115の領域のうち、算出した全体平均輝度値に基づいて定めた範囲を下回る領域を、画像領域として抽出してもよい。画像取得部102は、抽出した画像領域を含む検査画像をワーク画像115から切り出す。全体平均輝度値に基づいて定めた範囲を下回る領域は、一例として、全体平均輝度値を下回る領域であってもよい。他の例では、全体平均輝度値に基づいて定めた範囲を下回る領域は、上述の全体平均輝度値に所定のマージンを加算または減算した値を下回る領域であってもよい。
相対的に輝度値の低い領域を抽出する場合においても、画像回転部103は省略されてもよい。
良否判定部106は、画像取得部102から、全体平均輝度値に基づいて定めた範囲を下回る画像領域を含む検査画像を受け取り、当該検査画像を良否判定モデル113に入力して得られる出力値に基づき、検査対象物の良否を判定する。ここで良否判定部106が用いる良否判定モデル113は、不良と判定すべき汚れおよび特殊チッピングの有無を示す正解データを用いて構築されたモデルであってもよい。
これにより、検査装置1は、撮像条件の変化や、検査対象物の個体差による輝度の変動の影響を受けずに、蛍光体含有ガラスにおける汚れおよび特殊チッピングの不良を効率よく検出することができる。
ここで良否判定部106が用いる良否判定モデル113は、不良と判定すべき汚れおよび特殊チッピングの有無を示す正解データを用いて構築されたモデルであってもよい。良否判定モデル113は、教師データ生成部104および学習部105によって構築される。
具体的には、本実施形態では、画像取得部102は、検査対象物である光学材料を撮像した撮像画像から、全体平均輝度値に基づいて抽出した画像領域を含むように切り出した学習用画像を取得するように構成されていてもよい(図4のS3~S4)。
本実施形態において、良否判定部106が良否の判定に用いる良否判定モデル113は、画像取得部102によって取得された学習用画像を用いて構築される。すなわち、本実施形態で用いられる学習用画像は、全体平均輝度値に基づいて抽出した画像領域を含むように撮像画像から切り出された画像である。
教師データ生成部104は、上述のようにして取得された学習用画像に正解データを対応付けて教師データ112を生成する(S7)。学習部105は、教師データ112を用いた教師あり学習によって良否判定モデル113を構築する。なお、良否判定モデル113は、不良の種類別に構築されてもよい。
≪実施形態3≫
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
≪実施形態3≫
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本実施形態は、光学材料における色や形状が不定型となるような不良を効率よく検出する際、実施形態1で想定されているような局所的な不良よりもやや広範囲に一様に広がる不良を、より効率的に検出することを目的としている。
このために、本実施形態に係る検査装置1の画像取得部102は、検査対象物である光学材料の撮像画像と良品の基準画像との輝度値の比較結果に基づいて抽出した画像領域を含むように撮像画像から切り出された画像を、検査画像として取得するように構成される。
〔検査装置の構成〕
本実施形態の検査装置1において、画像取得部102は、検査対象物である光学材料を撮像した撮像画像と、良品の光学材料を撮像して得られた撮像画像である1または複数の基準画像との輝度値の比較結果に基づいて抽出した画像領域を含むように切り出した検査画像を取得する。
本実施形態の検査装置1において、画像取得部102は、検査対象物である光学材料を撮像した撮像画像と、良品の光学材料を撮像して得られた撮像画像である1または複数の基準画像との輝度値の比較結果に基づいて抽出した画像領域を含むように切り出した検査画像を取得する。
良否判定部106は、検査画像を機械学習により構築された良否判定モデル113に入力して得られる出力値に基づき、光学材料の良否を判定する。良否判定モデル113は、例えば、不良品の光学材料を撮像した撮像画像を少なくとも含む教師データを用いた機械学習により構築された良否判定モデルである。
なお、より詳細には、良否判定部106は、良否判定モデル113の教師データとして用いた学習用画像と同じサイズになるように拡大または縮小した検査画像を良否判定モデル113に入力する。あるいは、画像取得部102は、基準画像との輝度値の比較結果に基づいて抽出した画像領域を含み、かつ、学習用画像と同じサイズの検査画像を取得してもよい。この場合、良否判定部106は、画像取得部102が取得した検査画像をリサイズすることなく良否判定モデル113に入力すればよい。
〔検査方法〕
本実施形態に係る検査装置1によって実行される検査方法は、実施形態1の検査方法(図9参照)と同様に、S14(画像取得ステップ)と、S18(良否判定ステップ)とを含む。ただし、S14の処理の内容が下記のとおり実施形態1の検査方法とは異なっている。
本実施形態に係る検査装置1によって実行される検査方法は、実施形態1の検査方法(図9参照)と同様に、S14(画像取得ステップ)と、S18(良否判定ステップ)とを含む。ただし、S14の処理の内容が下記のとおり実施形態1の検査方法とは異なっている。
本実施形態では、画像取得部102は、S14において、検査対象物である光学材料を撮像した撮像画像と、良品の前記光学材料を撮像して得られた撮像画像である1または複数の基準画像との輝度値の比較結果に基づいて抽出した画像領域を含むように切り出した検査画像を取得する。
良否判定部106は、S18において、検査画像を機械学習により構築された良否判定モデル113に入力して得られる出力値に基づき、光学材料の良否を判定する。
基準画像は、上述の撮像画像を得たときと同じ撮像手法および撮像条件で撮像された画像であってもよい。
上述の構成および方法によれば、光学材料において、色や形状が不定型となるような不良が発生した場合、そのような不良が生じている領域の輝度値は、不良のない光学材料を撮像して得られた基準画像に対して差異が生じる。よって、上述の構成によれば、このような不良の検出が可能になる。
特に、撮像手法、撮像条件によって、1枚の撮像画像内でも場所によって明暗に偏りができ得る。例えば、同軸落射照明撮影では、画像の中央が明るく、端が暗くなりがちである。そこで、同じ撮像手法、撮像条件で撮像された基準画像と、同じ位置同士で輝度値を比較することにより、同一画像内で起こる明暗の偏りの影響を受けずに、良否判定対象の画像領域を絞ることができる。
図13に示すとおり、本実施形態に係る検査装置1において、記憶部11は、基準画像116を記憶していてもよい。基準画像116は、良品の光学材料を撮像して得られた撮像画像である。本実施形態では、一例として、基準画像116は、良品の蛍光体含有ガラスの撮像画像111から抽出された良品のワークWのワーク画像である。基準画像116は、複数枚記憶されていてもよい。本実施形態では、基準画像116は、溝Gを含まないように撮像画像111(良品であることが分かっている光学材料を撮像して得られたもの)から切り出される。
本実施形態では、ワーク領域抽出部101は、検査対象物である蛍光体含有ガラスの撮像画像111からワーク領域を抽出し、当該ワーク領域に対応するワーク画像WPを画像取得部102に出力する。本実施形態では、ワーク画像WPは、溝G(図2参照)を含まないように撮像画像111から切り出される。
画像取得部102は、ワーク領域抽出部101から受け取ったワーク画像WPと、記憶部11に記憶されている基準画像116とを比較する。一例として、図14に示すとおり、画像取得部102は、基準画像116とワーク画像WPとの対応する画素同士の輝度値を比較し、輝度値の差分を表した差分画像DPを得る。図示の例では、輝度値の差が大きいほど、基準画像116の輝度値と比べてワーク画像WPの輝度値が小さければ小さいほど、対応する画素が明るい(輝度値が高い)差分画像DPが得られる。
蛍光体含有ガラスの良品の基準画像は、基本的に明るい部分で占められている。そして、蛍光体含有ガラスにおいて、欠陥(キズや汚れなど)が存在する部分は良品の領域と比較して輝度値が低い。そのため、基準画像116の輝度値からワーク画像WPの輝度値を差し引けば、欠陥が存在するであろう輝度値が低い部分が、明るく際立った差分画像DPが得られる。
他の例では、画像取得部102は、基準画像116とワーク画像WPとを比較して、輝度値の差分の絶対値に基づく差分画像DPを得てもよい。この場合には、基準画像の輝度値と比較して、過度に暗い部分および過度に明るい部分の両方が、明るく際立った差分画像DPが得られる。このようにして得られた差分画像DPを用いれば、光学材料において過度に暗く写る欠陥に加えて、過度に明るく写る欠陥(蛍光体粒の凝集など)を検出することが可能となる。
画像取得部102は、上述した比較の結果に基づいて検査画像を取得する。より詳細には、画像取得部102は、上述の比較結果を示す差分画像DPにおける所定以上に明るい領域を画像領域として抽出し、当該画像領域を含むようにワーク画像WPから切り出した検査画像を取得する。すなわち、画像取得部102は、ワーク画像WPのうち、基準画像116と比較して過度に暗く写る部分を含むように検査画像をワーク画像WPから切り出すことができる。
また、画像取得部102は、良品の基準画像とワーク画像とを比較して得た差分画像に基づいて、学習用画像を取得してもよい。
具体的には、本実施形態では、画像取得部102は、良品の光学材料を撮像した撮像画像である基準画像と、検査対象物である光学材料を撮像した撮像画像との輝度値の比較結果に基づいて画像領域を抽出してもよい。そして、画像取得部102は、抽出した画像領域を含むように切り出した学習用画像を取得するように構成されていてもよい(図4のS3~S4)。
本実施形態において、良否判定部106が良否の判定に用いる良否判定モデル113は、画像取得部102によって取得された学習用画像を用いて構築される。すなわち、本実施形態で用いられる学習用画像は、良品の基準画像と、検査対象物の撮像画像との輝度値の比較結果に基づいて抽出した画像領域を含むように撮像画像から切り出された画像である。
教師データ生成部104は、上述のようにして取得された学習用画像に正解データを対応付けて教師データ112を生成する(S7)。学習部105は、教師データ112を用いた教師あり学習によって良否判定モデル113を構築する。
さらに他の例では、検査装置1の記憶部11は、良品の光学材料全体の撮像画像111が得られた時の、当該光学材料上のワークWの番地ごとに基準画像116を記憶していてもよい。なお、ワークWの番地とは、光学材料におけるワークWの位置ごとに設定されたものであり、番地から光学材料の何れの位置におけるワークWであるかを特定できる。
図2に示す検査システム100において、撮像装置2に採用された同軸落射照明方式による撮像によれば、図15に示すとおり、撮像画像111の中央が最も明るく、画像の端に行くにつれて暗くなる画像が得られる傾向にある。このように、同軸落射照明撮影によって生まれる明暗の偏りを考慮しないままワーク画像WPを基準画像116と比較すると、撮像画像111の端の方に位置するワーク画像WPは、基準画像116との比較によって必要以上に暗いと判断される。そして、ワーク画像WPの暗いと判断された領域に関して、良品でありながら不良品であると判定される可能性がある。精確な良否判定のためには、このような撮影条件に基づく明暗の偏りを吸収した上で、基準画像116とワーク画像WPとの比較を行うことが望まれる。
そこで、本実施形態では、撮影時のワークWの番地ごとに、ワークWの基準画像116を記憶部11に記憶しておいてもよい。
例えば、図15に示すとおり、蛍光体含有ガラスの撮像画像111には、A~D列の4列×1~3段の3段の計12個のワークWのワーク画像WPが含まれている。撮像画像111の中央は明るく、中央から離れるにつれて暗く写る傾向にある。そのため、例えば、A列1段目の番地(以下、A1番地)にあるワークWのワーク画像WP(以下、ワーク画像WP_A1)は、端に近い左上の領域の約半分程度が暗く写りがちである。そこで、常にこのような写り方をするA1番地向けの基準画像としては、良品の蛍光体含有ガラスのうち、A1番地にある良品のワークWを、同軸落射照明方式にて撮影して得た画像を用いる。以下では、A1番地向けの基準画像を基準画像116_A1と称する。基準画像116_A1の一例を図16に示す。
画像取得部102は、ワーク領域抽出部101から番地を示す番地情報とともに、ワーク画像WPを受け取る。画像取得部102は、A1番地のワーク画像WP_A1を受け取った場合、記憶部11に記憶されているA1番地向けの基準画像116_A1を読み出す。そして、画像取得部102は、検査対象のワーク画像WP_A1を、基準画像116_A1と比較する。一例として、図16に示すとおり、画像取得部102は、基準画像116_A1とワーク画像WP_A1との画素同士の輝度値を比較し、輝度値の差分を表した差分画像DPを得る。図示の例では、輝度値の差が大きいほど、具体的には、基準画像116の輝度値と比べてワーク画像WPの輝度値が小さければ小さいほど、対応する画素が明るい差分画像DPが得られる。
もしこのワーク画像WP_A1を、一律に用意された図14に示す基準画像116と比較すると、左上の領域の約半分程度の暗所が明るく強調された差分画像DPが得られてしまう。そのようにして明るく反転された元々の暗所は、撮影条件に起因する暗所であって、汚れや特殊チッピングに起因する暗所ではない。そのため、暗所に関して良否判定を正しく行えない可能性がある。しかし、上述の構成によれば、番地ごとに用意された基準画像116と比較するので、番地によって生じる明暗の偏りを吸収することができる。これにより、画像取得部102は、撮影条件によって生じた暗所であって、不良とは無関係の暗所に着目することなく、汚れや特殊チッピングなどの不良に起因する可能性が高い暗所に着目して画像領域を精度良く特定することができる。結果として、良否判定部106は、そのようにして特定された画像領域を含む検査用画像について、精度良く良否判定を行うことが可能となる。
〔ソフトウェアによる実現例〕
検査装置1の制御ブロック(特に制御部10に含まれる各部)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
検査装置1の制御ブロック(特に制御部10に含まれる各部)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、検査装置1は、各機能を実現するソフトウェアであるプログラム(検査プログラム)の命令を実行するコンピュータを備えている。上記プログラムは、検査装置1としてコンピュータを機能させるためのプログラムである。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶した、コンピュータが読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、R
OM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
OM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1 検査装置
102 画像取得部
103 画像回転部
106 良否判定部
111 撮像画像
113 良否判定モデル
102 画像取得部
103 画像回転部
106 良否判定部
111 撮像画像
113 良否判定モデル
Claims (17)
- 検査対象物である光学材料を撮像した撮像画像から、輝度値のばらつきに基づいて抽出した画像領域を含むように切り出した検査画像を取得する画像取得部と、
前記検査画像を機械学習により構築された良否判定モデルに入力して得られる出力値に基づき、前記光学材料の良否を判定する良否判定部と、を備える検査装置。 - 前記画像取得部は、1つの前記光学材料が写る複数の前記画像領域のうち輝度値のばらつきが相対的に大きい前記画像領域を特定し、特定した当該画像領域を含むように前記撮像画像から切り出した検査画像を取得する、請求項1に記載の検査装置。
- 前記画像取得部は、前記撮像画像に写る前記光学材料の外縁部に沿って設定された各画像領域における輝度値のばらつきに基づいて、当該画像領域を含むように前記撮像画像から切り出した前記検査画像を取得する、請求項1または2に記載の検査装置。
- 前記検査画像の上下左右の四辺のうちの所定の辺に、当該検査画像に写る前記光学材料の周部が位置するように当該検査画像を回転させる画像回転部を備え、
前記良否判定部は、前記画像回転部が回転させた前記検査画像を前記良否判定モデルに入力して得られる出力値に基づき、前記光学材料の良否を判定する、請求項3に記載の検査装置。 - 前記良否判定部は、複数種類の不良のそれぞれを区別して検出する前記良否判定モデルに前記検査画像を入力して得られる出力値に基づき、前記光学材料の良否を判定する、請求項1から4の何れか1項に記載の検査装置。
- 前記検査対象物は、光学材料からなるワークであり、
前記画像取得部は、サイズの異なる複数種類の前記ワークのうち、最もサイズの小さいワークよりも小さいサイズの前記検査画像を取得する、請求項1から5の何れか1項に記載の検査装置。 - 検査装置によって実行される検査方法であって、
検査対象物である光学材料を撮像した撮像画像から、輝度値のばらつきに基づいて抽出した画像領域を含むように切り出した検査画像を取得する画像取得ステップと、
前記検査画像を機械学習により構築された良否判定モデルに入力して得られる出力値に基づき、前記光学材料の良否を判定する良否判定ステップと、を含む検査方法。 - 請求項1に記載の検査装置としてコンピュータを機能させるための検査プログラムであって、前記画像取得部および前記良否判定部としてコンピュータを機能させるための検査プログラム。
- 検査対象物である光学材料を撮像した撮像画像から、輝度値の平均値に基づいて抽出した画像領域を含むように切り出した検査画像を取得する画像取得部と、
前記検査画像を機械学習により構築された良否判定モデルに入力して得られる出力値に基づき、前記光学材料の良否を判定する良否判定部と、を備え、
前記画像取得部は、前記撮像画像を構成する領域のうち、該領域の輝度値の平均値が、基準の輝度値に基づいて定まる範囲から外れる領域を、前記画像領域として抽出する、検査装置。 - 前記基準の輝度値は、良品の前記光学材料を撮像して得られた撮像画像において当該光学材料が写る領域の輝度値の平均値であり、
前記画像取得部は、前記撮像画像を構成する領域のうち、該領域の輝度値の平均値が、前記基準の輝度値に基づいて定めた範囲を超える領域を、前記画像領域として抽出する、請求項9に記載の検査装置。 - 前記基準の輝度値は、良品の前記光学材料を撮像して得られた撮像画像において当該光学材料が写る領域の輝度値の平均値であり、
前記画像取得部は、前記撮像画像を構成する領域のうち、該領域の輝度値の平均値が、前記基準の輝度値に基づいて定めた範囲を下回る領域を、前記画像領域として抽出する、請求項9に記載の検査装置。 - 前記基準の輝度値は、前記検査対象物の前記撮像画像全体の輝度値の平均値である全体平均輝度値であり、
前記画像取得部は、前記撮像画像を構成する領域のうち、該領域の輝度値の平均値が前記全体平均輝度値に基づいて定めた範囲を超える領域を、前記画像領域として抽出する、請求項9に記載の検査装置。 - 前記基準の輝度値は、前記検査対象物の前記撮像画像全体の輝度値の平均値である全体平均輝度値であり、
前記画像取得部は、前記撮像画像を構成する領域のうち、該領域の輝度値の平均値が前記全体平均輝度値に基づいて定めた範囲を下回る領域を、前記画像領域として抽出する、請求項9に記載の検査装置。 - 検査対象物である光学材料を撮像した撮像画像と、良品の前記光学材料を撮像して得られた撮像画像である1または複数の基準画像との輝度値の比較結果に基づいて抽出した画像領域を含むように切り出した検査画像を取得する画像取得部と、
前記検査画像を機械学習により構築された良否判定モデルに入力して得られる出力値に基づき、前記光学材料の良否を判定する良否判定部と、を備えている検査装置。 - 検査装置によって実行される検査方法であって、
検査対象物である光学材料を撮像した撮像画像から、輝度値の平均値に基づいて抽出した画像領域を含むように切り出した検査画像を取得する画像取得ステップと、
前記検査画像を機械学習により構築された良否判定モデルに入力して得られる出力値に基づき、前記光学材料の良否を判定する良否判定ステップと、を含み、
前記画像取得ステップでは、前記撮像画像を構成する領域のうち、該領域の輝度値の平均値が、基準の輝度値に基づいて定まる範囲から外れる領域を、前記画像領域として抽出する、検査方法。 - 検査装置によって実行される検査方法であって、
検査対象物である光学材料を撮像した撮像画像と、良品の前記光学材料を撮像して得られた撮像画像である1または複数の基準画像との輝度値の比較結果に基づいて抽出した画像領域を含むように切り出した検査画像を取得する画像取得ステップと、
前記検査画像を機械学習により構築された良否判定モデルに入力して得られる出力値に基づき、前記光学材料の良否を判定する良否判定ステップと、を含む、検査方法。 - 請求項9または請求項14に記載の検査装置としてコンピュータを機能させるための検査プログラムであって、前記画像取得部および前記良否判定部としてコンピュータを機能させるための検査プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020163667 | 2020-09-29 | ||
JP2020163667 | 2020-09-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022056389A true JP2022056389A (ja) | 2022-04-08 |
Family
ID=81073978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021156052A Pending JP2022056389A (ja) | 2020-09-29 | 2021-09-24 | 検査装置、検査方法、および検査プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022056389A (ja) |
-
2021
- 2021-09-24 JP JP2021156052A patent/JP2022056389A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022062812A1 (zh) | 屏幕缺陷检测方法、装置和电子设备 | |
US9846930B2 (en) | Detecting defects on a wafer using defect-specific and multi-channel information | |
US9721337B2 (en) | Detecting defects on a wafer using defect-specific information | |
US20220214287A1 (en) | Automatic defect classification | |
JP3051279B2 (ja) | バンプ外観検査方法およびバンプ外観検査装置 | |
US20150221076A1 (en) | Defect detection and classification based on attributes determined from a standard reference image | |
WO2007074770A1 (ja) | 画像解析によって欠陥検査を行う欠陥検査装置 | |
US6687396B1 (en) | Optical member inspection apparatus, image-processing apparatus, image-processing method, and computer readable medium | |
JP2009293999A (ja) | 木材欠陥検出装置 | |
KR20090008185A (ko) | 표면 검사 장치 | |
JP4910128B2 (ja) | 対象物表面の欠陥検査方法 | |
JP2004109018A (ja) | 回路パターン検査方法および検査装置 | |
JP4910800B2 (ja) | ネジ部品の検査装置および検査方法 | |
JP3216874B2 (ja) | シート包装検査装置および検査方法 | |
US7024031B1 (en) | System and method for inspection using off-angle lighting | |
JP6623545B2 (ja) | 検査システム、検査方法、プログラムおよび記憶媒体 | |
JP2022056389A (ja) | 検査装置、検査方法、および検査プログラム | |
JP2003149160A (ja) | 外観検査方法及び外観検査装置 | |
JP2000162150A (ja) | 金属試料表面の欠陥検査方法及び装置 | |
JPH09186208A (ja) | 半導体ウエハの欠陥分類方法及びその装置 | |
JP3047168B2 (ja) | 鶏卵の検査方法 | |
CN112213315A (zh) | 外观检查管理***、装置、方法以及存储介质 | |
US20180275063A1 (en) | Semiconductor device inspection of metallic discontinuities | |
JPH11352073A (ja) | 異物検査方法および装置 | |
KR102546969B1 (ko) | 이물질 및 도금 불량 검사 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211006 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240408 |