JP6585793B2 - 検査装置、検査方法およびプログラム - Google Patents
検査装置、検査方法およびプログラム Download PDFInfo
- Publication number
- JP6585793B2 JP6585793B2 JP2018174173A JP2018174173A JP6585793B2 JP 6585793 B2 JP6585793 B2 JP 6585793B2 JP 2018174173 A JP2018174173 A JP 2018174173A JP 2018174173 A JP2018174173 A JP 2018174173A JP 6585793 B2 JP6585793 B2 JP 6585793B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection
- reference level
- contour
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 249
- 238000000034 method Methods 0.000 title claims description 73
- 238000005286 illumination Methods 0.000 claims description 61
- 239000013598 vector Substances 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 19
- 230000002950 deficient Effects 0.000 claims description 8
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 44
- 238000005259 measurement Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000009825 accumulation Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 10
- 238000003708 edge detection Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Description
検査対象物に少なくとも異なる3方向から個別に光を照射する照明手段と、
前記検査対象物からの反射光を受光し、照明方向の異なる複数の輝度画像を生成する撮像手段と、
前記複数の輝度画像をフォトメトリックステレオ法により合成し、前記検査対象物の表面の法線ベクトルを求めて傾き画像を生成し、当該傾き画像の各画素について、隣接する画素の法線ベクトルを用いて、前記検査対象物の表面形状が平坦である部分に対応する画素に基準レベルを割り当て、凸部を示す画素に前記基準レベルよりも大きな画素値を割り当て、凹部を示す画素に前記基準レベルよりも小さな画素値を割り当てることで、前記検査対象物の輪郭を示す形状画像を生成する画像生成手段と
を有する検査装置であって、
前記基準レベルを調整する基準レベル調整手段をさらに有し、
前記画像生成手段は、前記基準レベル調整手段によって調整された基準レベルにしたがって前記形状画像を構成する各画素値を決定することを特徴とする検査装置が提供される。
検査対象物の表面の形状が平坦であることを示す画素値である基準レベルを調整する基準レベル調整手段と、
前記検査対象物をフォトメトリックステレオ法により撮像して照明方向の異なる複数の輝度画像を生成し、前記複数の輝度画像をフォトメトリックステレオ法により合成し、前記検査対象物の表面の法線ベクトルを求めて傾き画像を生成し、当該傾き画像の各画素について、隣接する画素の法線ベクトルを用いて、前記検査対象物の表面形状が平坦である部分に対応する画素に基準レベルを割り当て、凸部を示す画素に前記基準レベルよりも大きな画素値を割り当て、凹部を示す画素に前記基準レベルよりも小さな画素値を割り当てることで、前記検査対象物の輪郭が強調された輪郭画像を生成する画像生成手段と
を有することを特徴とする検査装置が提供される。
一般的なフォトメトリックステレオ法では、図2に示すように、ワーク2に対して4方向から照明光L1〜L4を順番に切り替えながら照射し、4枚の輝度画像を生成する。各輝度画像を撮影する際に使用される照明光の方向は一方向だけである。なお、輝度画像は複数の画素により構成されており、4枚の輝度画像において座標が一致する4つの画素は同一のワーク表面に対応している。4つの画素の画素値(輝度値)I1、I2、I3、I4と、法線ベクトルnとの間には図2示した式1が成り立つ。ここでρは反射率である。Lは各方向からの照明光の光量であり、既知である。ここでは4方向とも光量は同一である。Sは照明方向行列であり、既知である。この数式を解くことで各座標(ワーク表面)ごとの反射率ρと法線ベクトルnが求められる。その結果、反射率画像と傾き画像とが得られる。
テクスチャ情報とはワーク2の表面の反射率ρに基づく情報である。式1によって反射率ρが求められる、つまり4枚の輝度画像から1枚の反射率画像が得られる。反射率画像はワーク表面の反射率ρに比例した画素値を有する画像である。図7に示すように、4枚の輝度画像701〜704から法線ベクトルを算出し、算出された法線ベクトルと複数の輝度画像の各々対応する画素の輝度値に基づいて各画素の反射率に比例した画素値を算出することで反射率画像であるテクスチャ画像711、712が求められる。この合成方法としては4枚の輝度画像の画素平均によってテクスチャ画像を求める方法や、4枚の輝度画像からハレーションを除去してから画素平均によってテクスチャ画像を求める方法などがある。テクスチャ画像711は画像平均によって求められたものであり、テクスチャ画像712はハレーション除去によって求められたものの一例である。4枚の輝度画像において座標が一致する画素が4つ存在する。4つの画素のうち画素値が1番大きい画素を除外したり、画素値の大きい順に1番目からN番目(Nは3以下の自然数)までの画素を除外したりすることでハレーションを除去することが可能である。ハレーションは高い輝度として画像に表れるからである。テクスチャ画像711、712はともに反射率に基づく画素により構成されているため、反射率画像の一種である。
図8は検査装置のブロック図である。この例では照明装置3、カメラ4および画像処理装置5がそれぞれ個別の筐体に収容されているが、これは一例に過ぎず、適宜に一体化されてもよい。照明装置3は、フォトメトリックステレオ法にしたがって検査対象物を照明する照明手段の一例であり、光源群801とこれを制御する照明コントローラ802を備えている。複数の発光素子で1つのセグメントが構成され、さらに複数のセグメントによって光源群801が構成されていてもよい。セグメントの数は一般的には4つであるが、3つ以上であればよい。これは3方向以上の照明方向からワーク2を照明できれば、フォトメトリックステレオ法により検査画像を生成できるからである。図1に示したように照明装置3の外形はリング状をしていてもよい。また、照明装置3は、それぞれ分離した複数の照明ユニットにより構成されていてもよい。たとえば、市場にはワーク2を撮影するために使用される照明ユニットが存在しているが、これらはフォトメトリックステレオ用に開発されたものではない。ただし、このような照明ユニットを複数個用意するとともに、これらを制御する照明コントローラを接続することで、照明装置3を構成してもよい。照明コントローラ802は、画像処理装置5からの制御コマンドに応じて光源群801の点灯タイミングや照明パターン(点灯パターン)を制御する。照明コントローラ802は照明装置3に内蔵されているものとして説明するが、カメラ4に内蔵されていてもよいし、画像処理装置5に内蔵されていてもよいし、これらからは独立した筐体に収容されていてもよい。
検査システムには検査ツールを設定する設定モードと、設定された検査ツールにしたがってワーク2の外観検査を実行する検査モード(運転モード)とを有しいている。ここでは設定モードの一例について説明する。
図20は検査モードを示すフローチャートである。入力部6を通じて検査モードの開始が指示されると、プロセッサ810が動作モードを検査モードに移行させる。
図21は検査フローを設定するUI2100の一例を示している。UI管理部814はUI2100を表示部7に表示させ、検査フローのスタートからエンドまでの間に実行される複数の工程を入力部6から入力される指示にしたがって設定して行く。この例では、撮像工程、パターンサーチ工程、位置補正工程および傷検査工程が検査フローに追加されている。たとえば、入力部6を通じて検査フローのエンドが指定されると、UI管理部814はエンドにおいて検査履歴を蓄積するように設定してもよい。検査履歴とは、検査結果や検査に使用された画像などである。
検査対象物の輪郭を精度良く抽出した輪郭画像を生成できれば、検査対象物の寸法検査や欠け検査、計測領域の動的設定に役立つであろう。
本実施形態によれば、基準レベル調整部3101を設けているため、検査対象物の表面形状を示す形状画像における平坦レベル(基準レベル)が調整可能となった。また、本実施形態によれば、フォトメトリックステレオ法を応用して輪郭画像を生成できるようになる。すなわち、ワークの表面における反射率の変化や鏡面反射の影響を受けにくく、かつ、演算負荷についても軽い、輪郭画像の生成方法を実現できる。また、本実施形態によれば効率よく精度の良い輪郭画像が得られるため、輪郭画像を用いた製品検査の精度も向上するであろう。このように、フォトメトリックステレオ法にしたがって求められたワーク表面の形状値を濃淡値に変換するための基準レベルをユーザによって調整可能とすることで、ダイナミックレンジを有効に活用することが可能となる。たとえば、基準レベルを中間値(例:128)に設定してしまうと、濃淡値の範囲のうち一部が使用されず、ダイナミックレンジが有効に活用されないことがある。たとえば、0〜87までの濃淡値が存在しないような形状画像ではその範囲が無駄となってしまう。このよう場合には、形状画像における最小値である88に基準レベルを設定することで、0〜87までの形状値は削除され(0〜87までの傾きはいずれも最小の濃淡値で表現される)、0〜255までの範囲を実際に存在する形状値に対応付けることが可能となる。よって、ダイナミックレンジが有効に活用される。
Claims (13)
- 検査対象物に少なくとも異なる3方向から個別に光を照射する照明手段と、
前記検査対象物からの反射光を受光し、照明方向の異なる複数の輝度画像を生成する撮像手段と、
前記複数の輝度画像をフォトメトリックステレオ法により合成し、前記検査対象物の表面の法線ベクトルを求めて傾き画像を生成し、当該傾き画像の各画素について、隣接する画素の法線ベクトルを用いて、前記検査対象物の表面形状が平坦である部分に対応する画素に基準レベルを割り当て、凸部を示す画素に前記基準レベルよりも大きな画素値を割り当て、凹部を示す画素に前記基準レベルよりも小さな画素値を割り当てることで、前記検査対象物の輪郭を示す形状画像を生成する画像生成手段と
を有する検査装置であって、
前記基準レベルを調整する基準レベル調整手段をさらに有し、
前記画像生成手段は、前記基準レベル調整手段によって調整された基準レベルにしたがって前記形状画像を構成する各画素値を決定することを特徴とする検査装置。 - 前記基準レベル調整手段は、前記形状画像における前記検査対象物の輪郭が強調されるように前記基準レベルを調整することを特徴とする請求項1に記載の検査装置。
- 検査対象物の表面の形状が平坦であることを示す画素値である基準レベルを調整する基準レベル調整手段と、
前記検査対象物をフォトメトリックステレオ法により撮像して照明方向の異なる複数の輝度画像を生成し、前記複数の輝度画像をフォトメトリックステレオ法により合成し、前記検査対象物の表面の法線ベクトルを求めて傾き画像を生成し、当該傾き画像の各画素について、隣接する画素の法線ベクトルを用いて、前記検査対象物の表面形状が平坦である部分に対応する画素に基準レベルを割り当て、凸部を示す画素に前記基準レベルよりも大きな画素値を割り当て、凹部を示す画素に前記基準レベルよりも小さな画素値を割り当てることで、前記検査対象物の輪郭が強調された輪郭画像を生成する画像生成手段と
を有することを特徴とする検査装置。 - 前記基準レベル調整手段が基準レベルを低下させたときに前記輪郭画像のコントラストを上昇させるコントラスト調整手段をさらに有することを特徴とする請求項3に記載の検査装置。
- 前記輪郭画像を表示するとともに前記基準レベルを調整するためのユーザインタフェースを表示する表示手段と、
前記基準レベル調整手段は、前記ユーザインタフェースを通じて入力または指定された数値もしくはレベルに応じて前記基準レベルを調整することを特徴とすることを特徴とする請求項3または4に記載の検査装置。 - 前記画像生成手段は、前記検査対象物の輪郭のうち凸部の輪郭について強調して前記輪郭画像を生成することを特徴とする請求項3ないし5のいずれか1項に記載の検査装置。
- 前記画像生成手段は、前記輪郭画像における画素値のとり得る範囲において最小値を基準レベルに設定することで前記凸部の輪郭について強調することを特徴とする請求項6に記載の検査装置。
- 前記画像生成手段は、前記検査対象物の輪郭のうち凹部の輪郭について強調して前記輪郭画像を生成することを特徴とする請求項3ないし5のいずれか1項に記載の検査装置。
- 前記画像生成手段は、前記輪郭画像における画素値のとり得る範囲において最大値を基準レベルに設定することで前記凹部の輪郭について強調することを特徴とする請求項8に記載の検査装置。
- 前記画像生成手段は、
前記検査対象物をフォトメトリックステレオ法により撮像して、当該検査対象物の表面の傾きに応じた画素値を有する傾き画像を生成する複数の傾き画像生成手段と、
前記複数の傾き画像に基づき前記検査対象物の表面の形状に応じた画素値を有する形状画像を生成する形状画像生成手段と、
前記基準レベル調整手段によって調整された基準レベルに応じて前記形状画像の各画素値を修正することで、前記形状画像に含まれている前記検査対象物の輪郭を強調して当該検査対象物の輪郭画像を生成する輪郭画像生成手段と
を有することを特徴とする請求項3ないし9のいずれか1項に記載の検査装置。 - 良品の輪郭画像に対して検査領域を設定する設定手段と、
前記良品の輪郭画像を用いてサーチ処理を実行して前記検査対象物の位置を判別する位置判別手段と、
前記検査対象物の位置に応じて前記検査対象物の輪郭画像に対する前記検査領域の位置を補正する位置補正手段と
を有することを特徴とする請求項3ないし10のいずれか1項に記載の検査装置。 - 検査対象物の表面の形状が平坦であることを示す画素値である基準レベルを調整する基準レベル調整工程と、
照明手段が、前記検査対象物に少なくとも異なる3方向から個別に光を照射する工程と、
撮像手段が、前記検査対象物からの反射光を受光し、照明方向の異なる複数の輝度画像を生成する工程と、
前記複数の輝度画像をフォトメトリックステレオ法により合成し、前記検査対象物の表面の法線ベクトルを求めて傾き画像を生成し、当該傾き画像の各画素について、隣接する画素の法線ベクトルを用いて、前記検査対象物の表面形状が平坦である部分に対応する画素に基準レベルを割り当て、凸部を示す画素に前記基準レベルよりも大きな画素値を割り当て、凹部を示す画素に前記基準レベルよりも小さな画素値を割り当てることで、前記検査対象物の輪郭を示す形状画像を生成する画像生成工程と
を有することを特徴とする検査方法。 - 請求項12に記載の検査方法の各工程をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018174173A JP6585793B2 (ja) | 2018-09-18 | 2018-09-18 | 検査装置、検査方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018174173A JP6585793B2 (ja) | 2018-09-18 | 2018-09-18 | 検査装置、検査方法およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014119105A Division JP6405124B2 (ja) | 2014-06-09 | 2014-06-09 | 検査装置、検査方法およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019156937A Division JP6864722B2 (ja) | 2019-08-29 | 2019-08-29 | 検査装置、検査方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018200328A JP2018200328A (ja) | 2018-12-20 |
JP6585793B2 true JP6585793B2 (ja) | 2019-10-02 |
Family
ID=64667144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018174173A Active JP6585793B2 (ja) | 2018-09-18 | 2018-09-18 | 検査装置、検査方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6585793B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020189189A1 (ja) * | 2019-03-15 | 2020-09-24 | オムロン株式会社 | 検査装置及び方法 |
KR102428871B1 (ko) * | 2020-10-27 | 2022-08-05 | 주식회사 보림파워텍 | 로봇을 이용한 비전검사장치 |
CN117522870B (zh) * | 2024-01-04 | 2024-03-19 | 陕西凯迈航空航天机电设备有限公司 | 基于机器视觉的航空发动机零部件的缺陷智能检测方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007206797A (ja) * | 2006-01-31 | 2007-08-16 | Omron Corp | 画像処理方法および画像処理装置 |
JP5218177B2 (ja) * | 2009-03-13 | 2013-06-26 | オムロン株式会社 | 画像処理装置および方法 |
JP5371848B2 (ja) * | 2009-12-07 | 2013-12-18 | 株式会社神戸製鋼所 | タイヤ形状検査方法、及びタイヤ形状検査装置 |
JP5564349B2 (ja) * | 2010-07-15 | 2014-07-30 | 株式会社キーエンス | 画像処理装置及び外観検査方法 |
JP5684505B2 (ja) * | 2010-07-16 | 2015-03-11 | 株式会社キーエンス | 画像処理装置、画像処理方法及びコンピュータプログラム |
FR2966956B1 (fr) * | 2010-10-27 | 2012-12-14 | Michelin Soc Tech | Methode de pre-traitement d'une image tri dimensionnelle de la surface d'un pneumatique a l'aide de deformations b-spline successives |
US9013469B2 (en) * | 2011-03-04 | 2015-04-21 | General Electric Company | Method and device for displaying a three-dimensional view of the surface of a viewed object |
JP2013186100A (ja) * | 2012-03-12 | 2013-09-19 | Hitachi Ltd | 形状検査方法およびその装置 |
JP2013174547A (ja) * | 2012-02-27 | 2013-09-05 | Sharp Corp | ステレオ3次元計測装置 |
JP2013205202A (ja) * | 2012-03-28 | 2013-10-07 | Azbil Corp | 半田ツノ外観検査装置 |
-
2018
- 2018-09-18 JP JP2018174173A patent/JP6585793B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018200328A (ja) | 2018-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10489900B2 (en) | Inspection apparatus, inspection method, and program | |
CN105184765B (zh) | 检查设备、检查方法和程序 | |
JP6405124B2 (ja) | 検査装置、検査方法およびプログラム | |
US10241056B2 (en) | Inspection apparatus, inspection method, and program | |
JP4997252B2 (ja) | 画像内の照明域を識別する方法 | |
JP6585793B2 (ja) | 検査装置、検査方法およびプログラム | |
JP2017096750A (ja) | 位置決め方法、位置決め装置、プログラムおよびコンピュータ可読記録媒体 | |
JP6278842B2 (ja) | 検査装置、検査方法およびプログラム | |
JP5342413B2 (ja) | 画像処理方法 | |
US6993177B1 (en) | Gauging based on global alignment and sub-models | |
JP7214432B2 (ja) | 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法 | |
JP6620215B2 (ja) | 検査装置 | |
JP6395455B2 (ja) | 検査装置、検査方法およびプログラム | |
JP6864722B2 (ja) | 検査装置、検査方法およびプログラム | |
JP6825067B2 (ja) | 検査装置およびその制御方法 | |
EP3062516B1 (en) | Parallax image generation system, picking system, parallax image generation method, and computer-readable recording medium | |
JP2019060903A (ja) | 検査装置 | |
JP2004240909A (ja) | 画像処理装置及び画像処理方法 | |
JP6475875B2 (ja) | 検査装置 | |
US11436754B2 (en) | Position posture identification device, position posture identification method and position posture identification program | |
JPS62205474A (ja) | パタ−ン検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181015 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181015 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6585793 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |