JP6864722B2 - 検査装置、検査方法およびプログラム - Google Patents
検査装置、検査方法およびプログラム Download PDFInfo
- Publication number
- JP6864722B2 JP6864722B2 JP2019156937A JP2019156937A JP6864722B2 JP 6864722 B2 JP6864722 B2 JP 6864722B2 JP 2019156937 A JP2019156937 A JP 2019156937A JP 2019156937 A JP2019156937 A JP 2019156937A JP 6864722 B2 JP6864722 B2 JP 6864722B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection
- shape
- reference level
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 231
- 238000000034 method Methods 0.000 title claims description 68
- 238000005286 illumination Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 9
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 44
- 238000010586 diagram Methods 0.000 description 32
- 238000004364 calculation method Methods 0.000 description 22
- 238000005259 measurement Methods 0.000 description 19
- 238000012937 correction Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000003708 edge detection Methods 0.000 description 8
- 230000002950 deficient Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000011179 visual inspection Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000001816 cooling Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
異なる方向から光を照射して得られた複数の輝度画像をフォトメトリックステレオ法により合成し、検査対象物の表面のx成分の傾き画像とy成分の傾き画像を求め、当該x成分とy成分の傾きに基づいて、前記検査対象物の表面形状が平坦である部分に対応する画素に基準レベルを割り当てるとともに、検査対象物表面の凹凸形状に応じた濃淡値を有する形状画像を検査画像として生成する画像生成手段と、
前記画像生成手段により生成された検査画像を表示部に表示させるとともに、前記基準レベルを調整するためのユーザインタフェースを前記表示部に表示させるUI管理手段と、
前記ユーザインタフェースに対する前記基準レベルの調整操作を受け付ける入力手段と
を備え、
前記画像生成手段は、前記入力手段を介して調整された基準レベルにしたがって前記形状画像を構成する各画素値を調整し、凸形状又は凹形状のいずれかのみを抽出することにより、検査対象物の輪郭画像を生成し、
前記UI管理手段は、前記輪郭画像を前記表示部に表示させることを特徴とする検査装置が提供される。
異なる方向から光を照射して得られた複数の輝度画像をフォトメトリックステレオ法により合成し、検査対象物の表面のx成分の傾き画像とy成分の傾き画像を求め、当該x成分とy成分の傾きに基づいて、前記検査対象物の表面形状が平坦である部分に対応する画素に基準レベルを割り当てるとともに、検査対象物表面の凹凸形状に応じた濃淡値を有する形状画像を検査画像として生成する画像生成工程と、
前記画像生成工程で生成された検査画像を表示部に表示させるとともに、前記基準レベルを調整するためのユーザインタフェースを前記表示部に表示させる表示工程と、
前記ユーザインタフェースに対する前記基準レベルの調整操作を受け付ける受け付け工程と、を有し、
前記画像生成工程は、前記受け付け工程で受け付けられた調整操作に基づき調整された基準レベルにしたがって前記形状画像を構成する各画素値を調整し、凸形状又は凹形状のいずれかのみ抽出することにより、検査対象物の輪郭画像を生成する工程を含み、
前記表示工程は、前記輪郭画像を前記表示部に表示させる工程を含む、ことを特徴とする検査装置の制御方法が提供される。
一般的なフォトメトリックステレオ法では、図2に示すように、ワーク2に対して4方向から照明光L1〜L4を順番に切り替えながら照射し、4枚の輝度画像を生成する。各輝度画像を撮影する際に使用される照明光の方向は一方向だけである。なお、輝度画像は複数の画素により構成されており、4枚の輝度画像において座標が一致する4つの画素は同一のワーク表面に対応している。4つの画素の画素値(輝度値)I1、I2、I3、I4と、法線ベクトルnとの間には図2示した式1が成り立つ。ここでρは反射率である。Lは各方向からの照明光の光量であり、既知である。ここでは4方向とも光量は同一である。Sは照明方向行列であり、既知である。この数式を解くことで各座標(ワーク表面)ごとの反射率ρと法線ベクトルnが求められる。その結果、反射率画像と傾き画像とが得られる。
テクスチャ情報とはワーク2の表面の反射率ρに基づく情報である。式1によって反射率ρが求められる、つまり4枚の輝度画像から1枚の反射率画像が得られる。反射率画像はワーク表面の反射率ρに比例した画素値を有する画像である。図7に示すように、4枚の輝度画像701〜704から法線ベクトルを算出し、算出された法線ベクトルと複数の輝度画像の各々対応する画素の輝度値に基づいて各画素の反射率に比例した画素値を算出することで反射率画像であるテクスチャ画像711、712が求められる。この合成方法としては4枚の輝度画像の画素平均によってテクスチャ画像を求める方法や、4枚の輝度画像からハレーションを除去してから画素平均によってテクスチャ画像を求める方法などがある。テクスチャ画像711は画像平均によって求められたものであり、テクスチャ画像712はハレーション除去によって求められたものの一例である。4枚の輝度画像において座標が一致する画素が4つ存在する。4つの画素のうち画素値が1番大きい画素を除外したり、画素値の大きい順に1番目からN番目(Nは3以下の自然数)までの画素を除外したりすることでハレーションを除去することが可能である。ハレーションは高い輝度として画像に表れるからである。テクスチャ画像711、712はともに反射率に基づく画素により構成されているため、反射率画像の一種である。
図8は検査装置のブロック図である。この例では照明装置3、カメラ4および画像処理装置5がそれぞれ個別の筐体に収容されているが、これは一例に過ぎず、適宜に一体化されてもよい。照明装置3は、フォトメトリックステレオ法にしたがって検査対象物を照明する照明手段の一例であり、光源群801とこれを制御する照明コントローラ802を備えている。複数の発光素子で1つのセグメントが構成され、さらに複数のセグメントによって光源群801が構成されていてもよい。セグメントの数は一般的には4つであるが、3つ以上であればよい。これは3方向以上の照明方向からワーク2を照明できれば、フォトメトリックステレオ法により検査画像を生成できるからである。図1に示したように照明装置3の外形はリング状をしていてもよい。また、照明装置3は、それぞれ分離した複数の照明ユニットにより構成されていてもよい。たとえば、市場にはワーク2を撮影するために使用される照明ユニットが存在しているが、これらはフォトメトリックステレオ用に開発されたものではない。ただし、このような照明ユニットを複数個用意するとともに、これらを制御する照明コントローラを接続することで、照明装置3を構成してもよい。照明コントローラ802は、画像処理装置5からの制御コマンドに応じて光源群801の点灯タイミングや照明パターン(点灯パターン)を制御する。照明コントローラ802は照明装置3に内蔵されているものとして説明するが、カメラ4に内蔵されていてもよいし、画像処理装置5に内蔵されていてもよいし、これらからは独立した筐体に収容されていてもよい。
検査システムには検査ツールを設定する設定モードと、設定された検査ツールにしたがってワーク2の外観検査を実行する検査モード(運転モード)とを有しいている。ここでは設定モードの一例について説明する。
図20は検査モードを示すフローチャートである。入力部6を通じて検査モードの開始が指示されると、プロセッサ810が動作モードを検査モードに移行させる。
図21は検査フローを設定するUI2100の一例を示している。UI管理部814はUI2100を表示部7に表示させ、検査フローのスタートからエンドまでの間に実行される複数の工程を入力部6から入力される指示にしたがって設定して行く。この例では、撮像工程、パターンサーチ工程、位置補正工程および傷検査工程が検査フローに追加されている。たとえば、入力部6を通じて検査フローのエンドが指定されると、UI管理部814はエンドにおいて検査履歴を蓄積するように設定してもよい。検査履歴とは、検査結果や検査に使用された画像などである。
検査対象物の輪郭を精度良く抽出した輪郭画像を生成できれば、検査対象物の寸法検査や欠け検査、計測領域の動的設定に役立つであろう。
本実施形態によれば、基準レベル調整部3101を設けているため、検査対象物の表面形状を示す形状画像における平坦レベル(基準レベル)が調整可能となった。また、本実施形態によれば、フォトメトリックステレオ法を応用して輪郭画像を生成できるようになる。すなわち、ワークの表面における反射率の変化や鏡面反射の影響を受けにくく、かつ、演算負荷についても軽い、輪郭画像の生成方法を実現できる。また、本実施形態によれば効率よく精度の良い輪郭画像が得られるため、輪郭画像を用いた製品検査の精度も向上するであろう。このように、フォトメトリックステレオ法にしたがって求められたワーク表面の形状値を濃淡値に変換するための基準レベルをユーザによって調整可能とすることで、ダイナミックレンジを有効に活用することが可能となる。たとえば、基準レベルを中間値(例:128)に設定してしまうと、濃淡値の範囲のうち一部が使用されず、ダイナミックレンジが有効に活用されないことがある。たとえば、0〜87までの濃淡値が存在しないような形状画像ではその範囲が無駄となってしまう。このよう場合には、形状画像における最小値である88に基準レベルを設定することで、0〜87までの形状値は削除され(0〜87までの傾きはいずれも最小の濃淡値で表現される)、0〜255までの範囲を実際に存在する形状値に対応付けることが可能となる。よって、ダイナミックレンジが有効に活用される。
Claims (9)
- 異なる方向から光を照射して得られた複数の輝度画像をフォトメトリックステレオ法により合成し、検査対象物の表面のx成分の傾き画像とy成分の傾き画像を求め、当該x成分とy成分の傾きに基づいて、前記検査対象物の表面形状が平坦である部分に対応する画素に基準レベルを割り当てるとともに、検査対象物表面の凹凸形状に応じた濃淡値を有する形状画像を検査画像として生成する画像生成手段と、
前記画像生成手段により生成された検査画像を表示部に表示させるとともに、前記基準レベルを調整するためのユーザインタフェースを前記表示部に表示させるUI管理手段と、
前記ユーザインタフェースに対する前記基準レベルの調整操作を受け付ける入力手段と
を備え、
前記画像生成手段は、前記入力手段を介して調整された基準レベルにしたがって前記形状画像を構成する各画素値を調整し、凸形状又は凹形状のいずれかのみを抽出することにより、検査対象物の輪郭画像を生成し、
前記UI管理手段は、前記輪郭画像を前記表示部に表示させることを特徴とする検査装置。 - 検査対象物に少なくとも異なる4方向から個別に光を照射する照明手段と、
前記検査対象物からの反射光を受光し、照明方向の異なる4以上の輝度画像を生成する撮像手段を更に備えることを特徴とする請求項1に記載の検査装置。 - 前記UI管理手段は、撮像工程を含む複数の検査工程を設定するためのユーザインタフェースを前記表示部に表示させ、前記撮像工程にて複数の異なる条件で生成された検査画像の中から出力すべき画像を選択するユーザインタフェースを前記表示部に表示させることを特徴とする請求項1または2に記載の検査装置。
- 前記UI管理手段は、前記検査画像に加えて、全方向からの照明により取得された全方向照明画像の選択が可能なユーザインタフェースを前記表示部に表示させることを特徴とする請求項3に記載の検査装置。
- 前記UI管理手段は、前記複数の検査工程に前記撮像工程に加えて、パターンサーチ工程を設定可能なユーザインタフェースを前記表示部に表示させ、前記パターンサーチ工程で使用される画像の選択を、前記輪郭画像又は前記全方向照明画像の中から前記入力手段を通じて受け付けることを特徴とする請求項4に記載の検査装置。
- 前記UI管理手段は、前記複数の検査工程に前記撮像工程、パターンサーチ工程に加えて、傷検査工程を設定可能なユーザインタフェースを前記表示部に表示させ、前記傷検査工程で使用される画像の選択を、前記入力手段を通じて受け付けることを特徴とする請求項5に記載の検査装置。
- 前記画像生成手段は、前記複数の輝度画像から法線ベクトルを求め、当該法線ベクトルから前記検査対象物の表面の傾きによる輝度値の変動分を除去し、当該表面の反射率を画像にした反射率画像を生成するように構成されており、
前記UI管理手段は、前反射率画像を前記表示部に表示させることを特徴とする請求項1ないし6のいずれか一項に記載の検査装置。 - 前記UI管理手段は、前記x成分の傾き画像と前記y成分の傾き画像のうちの少なくとも一方を前記表示部に表示させることを特徴とする請求項1ないし7のいずれか一項に記載の検査装置。
- 異なる方向から光を照射して得られた複数の輝度画像をフォトメトリックステレオ法により合成し、検査対象物の表面のx成分の傾き画像とy成分の傾き画像を求め、当該x成分とy成分の傾きに基づいて、前記検査対象物の表面形状が平坦である部分に対応する画素に基準レベルを割り当てるとともに、検査対象物表面の凹凸形状に応じた濃淡値を有する形状画像を検査画像として生成する画像生成工程と、
前記画像生成工程で生成された検査画像を表示部に表示させるとともに、前記基準レベルを調整するためのユーザインタフェースを前記表示部に表示させる表示工程と、
前記ユーザインタフェースに対する前記基準レベルの調整操作を受け付ける受け付け工程と、を有し、
前記画像生成工程は、前記受け付け工程で受け付けられた調整操作に基づき調整された基準レベルにしたがって前記形状画像を構成する各画素値を調整し、凸形状又は凹形状のいずれかのみ抽出することにより、検査対象物の輪郭画像を生成する工程を含み、
前記表示工程は、前記輪郭画像を前記表示部に表示させる工程を含む、ことを特徴とする検査装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019156937A JP6864722B2 (ja) | 2019-08-29 | 2019-08-29 | 検査装置、検査方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019156937A JP6864722B2 (ja) | 2019-08-29 | 2019-08-29 | 検査装置、検査方法およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018174173A Division JP6585793B2 (ja) | 2018-09-18 | 2018-09-18 | 検査装置、検査方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019200215A JP2019200215A (ja) | 2019-11-21 |
JP6864722B2 true JP6864722B2 (ja) | 2021-04-28 |
Family
ID=68612038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019156937A Active JP6864722B2 (ja) | 2019-08-29 | 2019-08-29 | 検査装置、検査方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6864722B2 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7019826B2 (en) * | 2003-03-20 | 2006-03-28 | Agilent Technologies, Inc. | Optical inspection system, apparatus and method for reconstructing three-dimensional images for printed circuit board and electronics manufacturing inspection |
JP4753711B2 (ja) * | 2005-12-22 | 2011-08-24 | 株式会社キーエンス | 3次元画像表示装置、3次元画像表示装置の操作方法、3次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2007206797A (ja) * | 2006-01-31 | 2007-08-16 | Omron Corp | 画像処理方法および画像処理装置 |
JP6056058B2 (ja) * | 2012-08-17 | 2017-01-11 | Jukiオートメーションシステムズ株式会社 | 3次元測定装置、3次元測定方法、プログラム及び基板の製造方法 |
-
2019
- 2019-08-29 JP JP2019156937A patent/JP6864722B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019200215A (ja) | 2019-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10489900B2 (en) | Inspection apparatus, inspection method, and program | |
US9773304B2 (en) | Inspection apparatus, inspection method, and program | |
US10156525B2 (en) | Inspection apparatus, inspection method, and program | |
JP4997252B2 (ja) | 画像内の照明域を識別する方法 | |
JP6405124B2 (ja) | 検査装置、検査方法およびプログラム | |
JP6278842B2 (ja) | 検査装置、検査方法およびプログラム | |
JP6585793B2 (ja) | 検査装置、検査方法およびプログラム | |
JP5342413B2 (ja) | 画像処理方法 | |
CN111712769A (zh) | 用于设定照明条件的方法、装置、***及程序以及存储介质 | |
JP7214432B2 (ja) | 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法 | |
JP6620215B2 (ja) | 検査装置 | |
JP2007033126A (ja) | 基板検査装置並びにそのパラメータ調整方法およびパラメータ調整装置 | |
JP6395455B2 (ja) | 検査装置、検査方法およびプログラム | |
JP6864722B2 (ja) | 検査装置、検査方法およびプログラム | |
JP2020042053A (ja) | 画像検査装置および画像検査方法 | |
CN116908185A (zh) | 物品的外观缺陷检测方法、装置、电子设备及存储介质 | |
JP6825067B2 (ja) | 検査装置およびその制御方法 | |
JP2019060903A (ja) | 検査装置 | |
EP3062516B1 (en) | Parallax image generation system, picking system, parallax image generation method, and computer-readable recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190829 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190906 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200811 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201023 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210402 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6864722 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |