JP2024017229A - 検査システムおよび検査方法 - Google Patents
検査システムおよび検査方法 Download PDFInfo
- Publication number
- JP2024017229A JP2024017229A JP2022119737A JP2022119737A JP2024017229A JP 2024017229 A JP2024017229 A JP 2024017229A JP 2022119737 A JP2022119737 A JP 2022119737A JP 2022119737 A JP2022119737 A JP 2022119737A JP 2024017229 A JP2024017229 A JP 2024017229A
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- inspection
- area
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000005286 illumination Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 238000006073 displacement reaction Methods 0.000 claims description 20
- 230000001678 irradiating effect Effects 0.000 abstract description 3
- 230000005856 abnormality Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 30
- 230000008859 change Effects 0.000 description 26
- 230000000875 corresponding effect Effects 0.000 description 13
- 239000013598 vector Substances 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 10
- 230000010363 phase shift Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 230000000737 periodic effect Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000009491 slugging Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
【課題】検査対象物に対して空間的に強度が変化する光を照射することで得られた時系列に複数の撮像画像に基づいて検査対象物の検査を行う検査システムにおいて、高精度なマスク画像を生成する方法を提供する。【解決手段】検査システムは、検査対象物に対して空間的に強度が変化する光を照射する照明部である照明装置120と、前記照明部によって照射された光が前記検査対象物の表面で反射することで発生した反射光を含む光を撮像する撮像部である時間相関カメラ110と、前記撮像部によって撮像された時系列に複数の前記撮像画像に基づいて、予め設定された各画素の輝度値に関する所定条件を用いて、前記撮像画像における検査対象領域を抽出するためのマスク領域を含むマスク画像を生成する処理部103を含むPC100と、を備える。【選択図】図1
Description
本発明の実施形態は、検査システムおよび検査方法に関する。
従来から、例えば、検査対象物に対して周期的に空間的に強度が変化する光を照射し、検査対象物の表面からの反射光を撮像して撮像画像を取得し、撮像画像の輝度変化等に基づいて検査対象物の異常を検出する技術が提案されている。
上述の従来技術では、撮像画像における検査対象領域を抽出するためのマスク領域を含むマスク画像を生成するのが有効である。しかしながら、検査対象物の表面(検査面)が例えば光沢があって曲面である場合、正反射光で観察できる領域(正反射領域)は検査対象物の表面の僅かな歪みや設置誤差などによって変化するため、事前にマスク画像を用意するのは難しい。
また、例えば、いわゆる時間相関技術(位相シフト法)の場合、強度画像、振幅画像、位相画像からマスクエッジを決定してマスク画像を生成することができる。しかし、正反射領域を特定せずに算出した振幅画像と位相画像は、位相シフト法が成立しない領域を含みうるため、正確であるとは限らない。
そこで、本実施形態は、上述の事情に鑑みてなされたものであり、検査対象物に対して空間的に強度が変化する光を照射することで得られた時系列に複数の撮像画像に基づいて検査対象物の検査を行う検査システムにおいて、高精度なマスク画像を生成することを課題とする。
実施形態の検査システムは、検査対象物に対して空間的に強度が変化する光を照射する照明部と、前記照明部によって照射された光が前記検査対象物の表面で反射することで発生した反射光を含む光を撮像する撮像部と、前記撮像部によって撮像された時系列に複数の前記撮像画像に基づいて、予め設定された各画素の輝度値に関する所定条件を用いて、前記撮像画像における検査対象領域を抽出するためのマスク領域を含むマスク画像を生成する処理部と、を備える。
以下、本発明の検査システムおよび検査方法の実施形態について説明する。なお、以下の実施形態では、位相シフト法を使う場合について説明するが、本発明はこれに限定されない。本発明は、ほかにも、例えば、光沢があって曲面である検査面について正反射光によって複数枚画像を取得し、これらの複数枚画像を合成する手法の全般(例えば空間コード化法や特許第6590455号公報の技術など)にも適用できる。
実施形態の概要を説明すると、まず、図1~図10を用いて、位相シフト法における強度画像、振幅画像、位相画像の生成などについて説明する。その後で、図11~図16を用いて、マスク画像の生成について説明する。
実施形態の検査システムは、検査対象物を検査するために様々な構成を備えている。図1は、本実施形態の検査システムの構成例を示した図である。図1に示されるように、本実施形態の検査システムは、PC100と、時間相関カメラ110と、照明装置120と、スクリーン130と、アーム140と、を備えている。
アーム140は、検査対象物150を固定するために用いられ、PC100からの制御に応じて、時間相関カメラ110が撮影可能な検査対象物150の表面の位置と向きを変化させる。
照明装置120は、検査対象物150に対して周期的に空間的に強度が変化する光を照射する。具体的には、照明装置120は、PC100からの縞パターンに従って、照射する光の強度を領域単位で制御する。また、照明装置120は、周期的な時間の遷移に従って当該領域単位の光の強度を制御できる。換言すれば、照明装置120は、光の強度の周期的な時間変化及び空間変化を与えることができる。なお、具体的な光の強度の制御手法については後述する。
また、本実施形態では、位相シフト法を前提にしているので、照明装置120が検査対象物150に対して「周期的に」空間的に強度が変化する光を照射するものとした。しかし、位相シフト法以外では、「周期的に」は必要ではない場合がある。
スクリーン130は、照明装置120から出力された光を拡散させた上で、検査対象物150に対して面的に光を照射する。本実施形態のスクリーン130は、照明装置120から入力された周期的な時間変化及び空間変化が与えられた光を、面的に検査対象物150に照射する。なお、照明装置120とスクリーン130との間には、集光用のフレネルレンズ等の光学系部品(図示されず)が設けられてもよい。
なお、本実施形態は、照明装置120とスクリーン130とを組み合わせて、光強度の周期的な時間変化及び空間変化を与える面的な照射部を構成する例について説明するが、このような組み合わせに制限するものではなく、例えば、LEDを面的に配置して照明部を構成してもよい。また、市販のモニターやテレビなどの一般的なディスプレイによって照明部を構成してもよい。
時間相関カメラ110は、光学系210と、イメージセンサ220と、データバッファ230と、制御部240と、参照信号出力部250と、を備えている。図2は、本実施形態の時間相関カメラ110の構成を示したブロック図である。
光学系210は、撮影レンズ等を含み、時間相関カメラ110の外部の被写体(検査対象物を含む)からの光束を透過し、その光束により形成される被写体の光学像を結像させる。
イメージセンサ220は、照明装置120によって照射された光が検査対象物150の表面で反射することで発生した反射光を含む光を、光学系210を介して撮像する。具体的には、イメージセンサ220は、光学系210を介して入射された光の強弱を光強度信号として画素毎に高速に出力可能なセンサである。
本実施形態の光強度信号は、検査システムの照明装置120が被写体(検査対象物を含む)に対して光を照射し、当該被写体からの反射光を、イメージセンサ220が受け取ったものである。
イメージセンサ220は、例えば従来のものと比べて高速に読み出し可能なセンサであり、行方向(x方向)、列方向(y方向)の2種類の方向に画素が配列された2次元平面状に構成されたものとする。そして、イメージセンサ220の各画素を、画素P(1,1),……,P(i,j),……,P(X,Y)とする(なお、本実施形態の画像サイズをX×Yとする。)。なお、イメージセンサ220の読み出し速度を制限するものではなく、従来と同様であってもよい。
イメージセンサ220は、光学系210によって透過された、被写体(検査対象物を含む)からの光束を受光して光電変換することで、被写体から反射された光の強弱を示した光強度信号(撮影信号)で構成される、2次元平面状のフレームを生成し、制御部240に出力する。本実施形態のイメージセンサ220は、読み出し可能な単位時間毎に、当該フレームを出力する。
本実施形態の制御部240は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等で構成され、ROMに格納された検査プログラムを実行することで、転送部241と、読出部242と、強度画像用重畳部243と、第1の乗算器244と、第1の相関画像用重畳部245と、第2の乗算器246と、第2の相関画像用重畳部247と、画像出力部248と、を実現する。なお、CPU等で実現することに制限するものではなく、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)やGPU(Graphics Processing Unit)などで実現してもよい。
転送部241は、イメージセンサ220から出力された、光強度信号で構成されたフレームを、データバッファ230に、時系列順に蓄積する。
データバッファ230は、イメージセンサ220から出力された、光強度信号で構成されたフレームを、時系列順に蓄積する。
図3は、本実施形態の時間相関カメラ110で時系列順に蓄積されたフレームを表した概念図である。図3に示されるように、本実施形態のデータバッファ230には、時刻t(t=t0,t1,t2,……,tn)毎の複数の光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)の組み合わせで構成された複数のフレームFk(k=1,2,……,n)が、時系列順に蓄積される。なお、時刻tで作成される一枚のフレームは、光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)で構成される。
本実施形態の光強度信号(撮像信号)G(1,1,t),……,G(i,j,t),……,G(X,Y,t)には、フレーム画像Fk(k=1,2,……,n)を構成する各画素P(1,1),……,P(i,j),……,P(X,Y)が対応づけられている。
イメージセンサ220から出力されるフレームは、光強度信号のみで構成されており、換言すればモノクロの画像データとも考えることができる。なお、本実施形態は、解像度、感度、及びコスト等を考慮して、イメージセンサ220がモノクロの画像データを生成する例について説明するが、イメージセンサ220としてモノクロ用のイメージセンサに制限するものではなく、カラー用のイメージセンサを用いてもよい。
図2に戻り、本実施形態の読出部242は、データバッファ230から、光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)をフレーム単位で、時系列順に読み出して、第1の乗算器244と、第2の乗算器246と、強度画像用重畳部243と、に出力する。
本実施形態の時間相関カメラ110は、読出部242の出力先毎に画像データを生成する。換言すれば、時間相関カメラ110は、3種類の画像データを作成する。
本実施形態の時間相関カメラ110は、3種類の画像データとして、強度画像データと、2種類の時間相関画像データと、を生成する。なお、本実施形態は、3種類の画像データを生成することに制限するものではなく、強度画像データを生成しない場合や、1種類又は3種類以上の時間相関画像データを生成する場合も考えられる。
本実施形態のイメージセンサ220は、上述したように単位時間毎に、光強度信号で構成されたフレームを出力している。しかしながら、通常の画像データを生成するためには、撮影に必要な露光時間分の光強度信号が必要になる。そこで、本実施形態では、強度画像用重畳部243が、撮影に必要な露光時間分の複数のフレームを重畳して、強度画像データを生成する。なお、強度画像データの各画素値(光の強度を表す値)G(x,y)は、以下に示す式(1)から導き出すことができる。なお、露光時間は、t0とtnの時間差とする。
これにより、従来のカメラの撮影と同様に、被写体(検査対象物を含む)が撮影された強度画像データが生成される。そして、強度画像用重畳部243は、生成した強度画像データを、画像出力部248に出力する。
時間相関画像データは、時間遷移に応じた光の強弱の変化を示す画像データである。つまり、本実施形態では、時系列順のフレーム毎に、当該フレームに含まれる光強度信号に対して、時間遷移を示した参照信号を乗算し、参照信号と光強度信号と乗算結果である時間相関値で構成された、時間相関値フレームを生成し、複数の時間相関値フレームを重畳することで、時間相関画像データを生成する。
ところで、時間相関画像データを用いて、検査対象物の異常を検出するためには、イメージセンサ220に入力される光強度信号を、参照信号に同期させて変化させる必要がある。このために、照明装置120が、上述したように、スクリーン130を介して周期的に時間変化および縞の空間的な移動を与えるような、面的な光の照射を行うこととした。
本実施形態では、2種類の時間相関画像データを生成する。参照信号は、時間遷移を表した信号であればよいが、本実施形態では、複素正弦波e-jωtを用いる。なお、角周波数ω、時刻tとする。参照信号を表す複素正弦波e-jωtが、上述した露光時間(換言すれば強度画像データ、時間相関画像を生成するために必要な時間)の一周期と相関をとるように、角周波数ωが設定されるものとする。換言すれば、照明装置120およびスクリーン130等の照明部によって形成された面的かつ動的な光は、検査対象物150の表面(反射面)の各位置で第一の周期(時間周期)での時間的な照射強度の変化を与えるとともに、表面に沿った少なくとも一方向に沿った第二の周期(空間周期)での空間的な照射強度の増減分布を与える。この面的な光は、表面で反射される際に、当該表面のスペック(法線ベクトルの分布等)に応じて複素変調される。時間相関カメラ110は、表面で複素変調された光を受光し、第一の周期の参照信号を用いて直交検波(直交復調)することにより、複素信号としての時間相関画像データを得る。このような複素時間相関画像データに基づく変復調により、表面の法線ベクトルの分布に対応した特徴を検出することができる。
複素正弦波e-jωtは、e-jωt=cos(ωt)-j・sin(ωt)と表すこともできる。従って、時間相関画像データの各画素値C(x,y)は、以下に示す式(2)から導き出すことができる。
本実施形態では、式(2)において、実数部を表す画素値C1(x,y)と、虚数部を表す画素値C2(x,y)と、に分けて2種類の時間相関画像データを生成する。
このため、参照信号出力部250は、第1の乗算器244と、第2の乗算器246と、に対してそれぞれ異なる参照信号を生成し、出力する。本実施形態の参照信号出力部250は、複素正弦波e-jωtの実数部に対応する第1の参照信号cosωtを第1の乗算器244に出力し、複素正弦波e-jωtの虚数部に対応する第2の参照信号sinωtを第2の乗算器246に出力する。このように本実施形態の参照信号出力部250は、互いにヒルベルト変換対をなす正弦波および余弦波の時間関数として表される2種類の参照信号を出力する例について説明するが、参照信号は時間関数のような時間遷移に応じて変化する参照信号であればよい。
そして、第1の乗算器244は、読出部242から入力されたフレーム単位で、当該フレームの光強度信号毎に、参照信号出力部250から入力された複素正弦波e-jωtの実数部cosωtを乗算する。
第1の相関画像用重畳部245は、撮影に必要な露光時間分の複数のフレームについて、第1の乗算器244の乗算結果を画素毎に重畳する処理を行う。これにより、第1の時間相関画像データの各画素値C1(x,y)が、以下の式(3)から導出される。
そして、第2の乗算器246は、読出部242から入力されたフレームの光強度信号に対して、参照信号出力部250から入力された複素正弦波e-jωtの虚数部sinωtを乗算する。
第2の相関画像用重畳部247は、撮影に必要な露光時間分の複数のフレームについて、第2の乗算器246の乗算結果を画素毎に重畳する処理を行う。これにより、第2の時間相関画像データの各画素値C2(x、y)が、以下の式(4)から導出される。
上述した処理を行うことで、2種類の時間相関画像データ、換言すれば2自由度を有する時間相関画像データを生成できる。
また、本実施形態は、参照信号の種類を制限するものでない。例えば、本実施形態では、複素正弦波e-jωtの実部と虚部の2種類の時間相関画像データを作成するが、光の振幅と、光の位相と、による2種類の画像データを生成してもよい。
なお、本実施形態の時間相関カメラ110は、時間相関画像データとして、複数系統分作成可能とする。これにより、例えば複数種類の幅の縞が組み合わされた光が照射された際に、上述した実部と虚部とによる2種類の時間相関画像データを、縞の幅毎に作成可能とする。このために、時間相関カメラ110は、2個の乗算器と2個の相関画像用重畳部とからなる組み合わせを、複数系統分備えるとともに、参照信号出力部250は、系統毎に適した角周波数ωによる参照信号を出力可能とする。
そして、画像出力部248が、2種類の時間相関画像データと、強度画像データと、をPC100に出力する。これにより、PC100が、2種類の時間相関画像データと、強度画像データと、を用いて、検査対象物の異常を検出する。そのためには、被写体に対して光を照射する必要がある。
本実施形態の照明装置120は、高速に移動する縞パターンを照射する。図4は、本実施形態の照明装置120が照射する縞パターンの一例を示した図である。図4に示す例では、縞パターンをx方向にスクロール(移動)させている例とする。白い領域が縞に対応した明領域、黒い領域が縞と縞との間に対応した間隔領域(暗領域)である。
本実施形態では、時間相関カメラ110が強度画像データ及び時間相関画像データを撮影する露光時間で、照明装置120が照射する縞パターンが一周期分移動させる。これにより、照明装置120は、光の強度の縞パターンの空間的な移動により光の強度の周期的な時間変化を与える。本実施形態では、図4の縞パターンが一周期分移動する時間を、露光時間と対応させることで、時間相関画像データの各画素には、少なくとも、縞パターン一周期分の光の強度信号に関する情報が埋め込まれる。
図4に示されるように、本実施形態では、照明装置120が矩形波に基づく縞パターンを照射する例について説明するが、矩形波以外を用いてもよい。本実施形態では、照明装置120がスクリーン130を介して照射されることで、矩形波の明暗の境界領域をぼかすことができる。
本実施形態では、照明装置120が照射する縞パターンをA(1+cos(ωt+kx))と表す。すなわち、縞パターンには、複数の縞が反復的に(周期的に)含まれる。なお、検査対象物に照射される光の強度は0~2Aの間で調整可能とし、光の位相kxとする。kは、縞の波数である。xは、位相が変化する方向である。
そして、フレームの各画素の光強度信号f(x,y,t)の基本周波数成分は、以下の式(5)として表すことができる。式(5)で示されるように、x方向で縞の明暗が変化する。
f(x,y,t)=A(1+cos(ωt+kx))
=A+A/2{ej(ωt+kx)+e-j(ωt+kx)}……(5)
=A+A/2{ej(ωt+kx)+e-j(ωt+kx)}……(5)
式(5)で示されるように、照明装置120が照射する縞パターンの強度信号は、複素数として扱うことができる。
そして、イメージセンサ220には、当該照明装置120からの光が被写体(検査対象物を含む)から反射して入力される。
したがって、イメージセンサ220に入力される光強度信号G(x,y,t)を、照明装置120が照射された際のフレームの各画素の光強度信号f(x,y,t)とできる。そこで、強度画像データを導出するための式(1)に式(5)を代入すると、式(6)を導出できる。なお、位相kxとする。
式(6)から、強度画像データの各画素には、露光時間Tに、照明装置120が出力している光の強度の中間値Aを乗じた値が入力されていることが確認できる。さらに、時間相関画像データを導出するための式(2)に式(5)を代入すると、式(7)を導出できる。なお、AT/2を振幅とし、kxを位相とする。
これにより、式(7)で示された複素数で示された時間相関画像データは、上述した2種類の時間相関画像データと置き換えることができる。つまり、上述した実部と虚部とで構成される時間相関画像データには、検査体に照射された光強度変化における位相変化と振幅変化とが含まれている。換言すれば、本実施形態のPC100は、2種類の時間相関画像データに基づいて、照明装置120から照射された光の位相変化と、光の振幅変化と、を検出できる。そこで、本実施形態のPC100が、時間相関画像データ及び強度画像データに基づいて、画素毎に入る光の振幅を表した振幅画像データと、画素毎に入る光の位相変化を表した位相画像データと、を生成する。
さらに、PC100は、生成した振幅画像データと位相画像データとに基づいて、検査対象物の異常を検出する。
ところで、検査対象物の表面形状に凹凸に基づく異常が生じている場合、検査対象物の表面の法線ベクトルの分布には異常に対応した変化が生じている。また、検査対象物の表面に光を吸収するような異常が生じている場合、反射した光の強度に変化が生じる。法線ベクトルの分布の変化は、光の位相変化及び振幅変化のうち少なくともいずれか一つとして検出される。そこで、本実施形態では、時間相関画像データ及び強度画像データを用いて、法線ベクトルの分布の変化に対応した、光の位相変化及び振幅変化のうち少なくともいずれか一つを検出する。これにより、表面形状の異常を検出可能となる。次に、検査対象物の異常、法線ベクトル、及び光の位相変化又は振幅変化の関係について説明する。
図5は、実施形態の時間相関カメラ110による、検査対象物の異常の第1の検出例を示した図である。図5に示される例では、検査対象物500に突形状の異常501がある状況とする。当該状況においては、異常501の点502の近傍領域においては、法線ベクトル521、522、523が異なる方向を向いていることを確認できる。そして、当該法線ベクトル521、522、523が異なる方向を向いていることで、異常501から反射した光に拡散(例えば、光511、512、513)が生じ、時間相関カメラ110のイメージセンサ220の任意の画素531に入る縞パターンの幅503が広くなる。
図6は、図5に示される異常501が検査対象物500にある場合に、当該異常に応じて変化する、光の振幅の例を表した図である。図6に示される例では、光の振幅を実部(Re)と、虚部(Im)に分けて2次元平面上に表している。図6では、図5の光511、512、513に対応する光の振幅611、612、613として示している。そして、光の振幅611、612、613は互いに打ち消し合い、イメージセンサ220の当該任意の画素531には、振幅621の光が入射する。
したがって、図6に示される状況で、検査対象物500の異常501が撮像された領域で振幅が小さいことが確認できる。換言すれば、振幅変化を示した振幅画像データで、周囲と比べて暗くなっている領域がある場合に、当該領域で光同士の振幅の打ち消し合いが生じていると推測できるため、当該領域に対応する検査対象物500の位置で異常501が生じていると判断できる。
本実施形態の検査システムは、図5の異常501のように傾きが急峻に変化しているものに限らず、緩やかに変化する異常も検出できる。図7は、実施形態の時間相関カメラ110による、検査対象物の異常の第2の検出例を示した図である。図7に示される例では、正常な場合は検査対象物の表面が平面(換言すれば法線が平行)となるが、検査対象物700に緩やかな勾配701が生じた状況とする。このような状況においては、勾配701上の法線ベクトル721、722、723も同様に緩やかに変化する。したがって、イメージセンサ220に入力する光711、712、713も少しずつずれていく。図7に示される例では、緩やかな勾配701のために光の振幅の打ち消し合いは生じないため、図5、図6で表したような光の振幅はほとんど変化しない。しかしながら、本来スクリーン130から投影された光が、そのままイメージセンサに平行に入るはずが、緩やかな勾配701のために、スクリーン130から投影された光が平行の状態でイメージセンサに入らないために、光に位相変化が生じる。従って、光の位相変化について、周囲等との違いを検出することで、図7に示したような緩やかな勾配701による異常を検出できる。
また、検査対象物の表面形状(換言すれば、検査対象物の法線ベクトルの分布)以外にも異常が生じる場合がある。図8は、実施形態の時間相関カメラ110による、検査対象物の異常の第3の検出例を示した図である。図8に示される例では、検査対象物800に汚れ801が付着しているため、照明装置120から照射された光が吸収あるいは拡散反射し、時間相関カメラ110の、汚れ801を撮影している任意の画素領域では光がほとんど強度変化しない例を表している。換言すれば、汚れ801を撮影している任意の画素領域では、光強度は位相打ち消しを起こし振動成分がキャンセルされ、ほとんど直流的な明るさになる例を示している。
このような場合、汚れ801を撮影している画素領域においては、光の振幅がほとんどないため、振幅画像データを表示した際に、周囲と比べて暗くなる領域が生じる。したがって、当該領域に対応する検査対象物800の位置に、汚れ801等の異常があることを推定できる。
このように、本実施形態では、時間相関画像データに基づいて、光の振幅の変化と、光の位相の変化と、を検出することで、検査対象物に異常があることを推定できる。
図1に戻り、PC100について説明する。PC100は、検出システム全体の制御を行う。PC100は、アーム制御部101と、照明制御部102と、処理部103と、を備える。
アーム制御部101は、検査対象物150の時間相関カメラ110による撮像対象となる表面を変更するために、アーム140を制御する。本実施形態では、PC100において、検査対象物の撮影対象となる表面を複数設定しておく。そして、時間相関カメラ110が検査対象物150の撮影が終了する毎に、アーム制御部101が、当該設定に従って、時間相関カメラ110が設定された表面を撮影できるように、アーム140が検査対象物150を移動させる。なお、本実施形態は撮影が終了する毎にアームを移動させ、撮影が開始する前に停止させることを繰り返すことに制限するものではなく、継続的にアーム140を駆動させてもよい。
照明制御部102は、検査対象物150を検査するために照明装置120が照射する縞パターンを出力する。本実施形態の照明制御部102は、少なくとも3枚以上の縞パターンを、照明装置120に受け渡し、当該縞パターンを露光時間中に切り替えて表示するように照明装置120に指示する。
図9は、照明制御部102が照明装置120に出力する縞パターンの例を示した図である。図9(B)に示す矩形波に従って、図9(A)に示す黒領域と白領域とが設定された縞パターンが出力されるように、照明制御部102が制御を行う。
本実施形態で照射する縞パターン毎の縞の間隔は、検出対象となる異常(欠陥)の大きさに応じて設定されるものとしてここでは詳しい説明を省略する。
また、縞パターンを出力するための矩形波の角周波数ωは、参照信号の角周波数ωと同じ値とする。
図9に示されるように、照明制御部102が出力する縞パターンは、矩形波として示すことができるが、スクリーン130を介することで、縞パターンの境界領域をぼかす、すなわち、縞パターンにおける明領域(縞の領域)と暗領域(間隔の領域)との境界での光の強度変化を緩やかにする(鈍らせる)ことで、正弦波に近似させることができる。図10は、スクリーン130を介した後の縞パターンを表した波の形状の例を示した図である。図10に示されるように波の形状が、正弦波に近づくことで、計測精度を向上させることができる。また、縞に明度が多段階に変化するグレー領域を追加したり、グラデーションを与えたりしてもよい。また、カラーの縞を含む縞パターンを用いてもよい。
図1に戻り、処理部103は、時間相関カメラ110から入力された強度画像データと、時間相関画像データと、により、検査対象物150の検査対象面の法線ベクトルの分布と対応した特徴であって、周囲との違いによって異常を検出する特徴を算出するための処理を行う。なお、本実施形態は、検査を行うために、複素数で示した時間相関画像データ(複素時間相関画像データと称す)の代わりに、複素数相関画像データの実部と虚部とで分けた2種類の時間相関画像データを、時間相関カメラ110から受け取る。
処理部103は、時間相関カメラ110から入力された強度画像データと、時間相関画像データと、に基づいて、振幅画像データと、位相画像データと、を生成する。
振幅画像データは、画素毎に入る光の振幅を表した画像データとする。位相画像データは、画素毎に入る光の位相を表した画像データとする。
本実施形態は振幅画像データの算出手法を制限するものではないが、例えば、処理部103は、2種類の時間相関画像データの画素値C1(x,y)及びC2(x,y)から、式(8)を用いて、振幅画像データの各画素値F(x,y)を導き出せる。
そして、本実施形態では、振幅画像データの画素値(振幅)と、強度画像データの画素値と、に基づいて、異常が生じている領域があるか否かを判定できる。例えば、強度画像データの画素値(AT)を2で除算した値と、振幅画像データの振幅(打ち消し合いが生じない場合にはAT/2となる)と、がある程度一致する領域は異常が生じていないと推測できる。一方、一致していない領域については、振幅の打ち消しが生じていると推測できる。なお、具体的な手法については後述する。
同様に、処理部103は、画素値C1(x,y)及びC2(x,y)から、式(9)を用いて、位相画像データの各画素値P(x,y)を導き出せる。
[マスク画像の生成]
次に、マスク画像の生成に関する処理部103の処理について説明する。処理部103は、時系列に複数の撮像画像に基づいて、予め設定された各画素の輝度値に関する所定条件を用いて、撮像画像における検査対象領域を抽出するためのマスク領域を含むマスク画像を生成する。なお、使用する撮像画像の枚数は、サンプリング定理から最低3枚以上である。
次に、マスク画像の生成に関する処理部103の処理について説明する。処理部103は、時系列に複数の撮像画像に基づいて、予め設定された各画素の輝度値に関する所定条件を用いて、撮像画像における検査対象領域を抽出するためのマスク領域を含むマスク画像を生成する。なお、使用する撮像画像の枚数は、サンプリング定理から最低3枚以上である。
具体的には、処理部103は、複数の撮像画像に基づいて、各画素について、最高輝度値を抽出することで最高輝度画像を生成するとともに、最低輝度値を抽出することで最低輝度画像を生成する。
また、処理部103は、複数の撮像画像に基づいて、各画素について、最高輝度値と最低輝度値の差である変位を算出することで輝度変位画像を生成する。
また、処理部103は、最高輝度画像に基づいて、最高輝度値が、予め設定された上限輝度値以下の画素の領域を、第1領域として抽出する。ここで、上限輝度値は、最高輝度画像中のハレーションがない領域を抽出するために設定された値である。具体的には、上限輝度値は、例えば、市販の8bitカメラであれば、画素値が250程度(階調最高値の96~98%程度)であるが、これに限定されず、カメラの性能等に応じて可変である。
また、処理部103は、最低輝度画像に基づいて、最低輝度値が、予め設定された下限輝度値以上の画素の領域を、第2領域として抽出する。ここで、下限輝度値は、最低輝度画像中の画像がつぶれていない領域を抽出するために設定された値である。具体的には、下限輝度値は、例えば、市販の8bitカメラであれば、画素値が5程度であるが、これに限定されず、カメラの性能等に応じて可変である。また、対象となる検査面が光沢面であって、例えば保持治具などの不要な物体が映り込む場合、照明強度を上げて下限輝度値も上げることで不要な物体を分離(排除)するようにしてもよい。
また、処理部103は、輝度変位画像に基づいて、変位が、予め設定された変位閾値以上の画素の領域を、第3領域として抽出する。ここで、変位閾値は、輝度変位画像中の照明変調の効果が充分に表れている領域を抽出するために設定された値である。具体的には、変位閾値は、例えば、市販の8bitカメラであれば、変位が10程度であるが、これに限定されず、カメラの性能等に応じて可変である。なお、検査対象物の表面が光沢面であるが完全な鏡面ではない場合、正反射領域でない部位も照明光由来でない環境光などによってある程度の最低輝度値を持つことになる。したがって、変位が充分にある領域を選択することでこのような非正反射領域を除くことができる。
そして、処理部103は、第1領域と第2領域と第3領域との共通の領域をマスク領域としてマスク画像を生成する。このマスク領域は、光沢のある被検査面上の正反射領域(位相シフト法が成立する領域)に対応している。なお、処理部103は、マスク画像を生成した後に、さらに、複数回の膨張処理・収縮処理などを用いてエッジ部分を調整してもよい。
また、状況によっては、例えば、処理部103は、第3領域を用いず、第1領域と第2領域との共通の領域をマスク領域としてマスク画像を生成するようにしてもよい。
次に、図11、図12を参照して、実施例1について説明する。なお、照明装置120が照射する縞パターンとしては、図4に示すものを用いる。図4に示す縞パターンにおいて、白黒1対で1周期とする。この縞パターンを、1/24周期分ずつずらしながら、撮像画像を24枚撮像する。
図11は、実施形態の実施例1で取得された撮像画像の例を示す図である。検査対象物150は、光沢のある自動車用アンテナカバーである。図11(a)は撮像画像で、図11(b)は撮像画像から検査対象物150の部分を切り取ったものである。
図12は、実施形態の実施例1における計算結果の例を示した図である。(a)は、強度画像(撮像画像(生画像)24枚の平均値)である。(b)は、振幅画像である。(c)は、位相画像である。(d)は、マスク画像である。
図12からわかるように、位相シフト法で得られる強度画像、振幅画像、位相画像と比較して、高精度な画像マスクが得られている。なお、このマスク画像は、本実施形態の方法で共通領域を得た後、6回の膨張収縮でエッジ部分を整えたものである。
次に、図13~図15を参照して、実施例2について説明する。なお、照明装置120が照射する縞パターンとしては、図13に示すものを用いる。図13は、実施形態の実施例2における正弦波投影パターンを示す図である。図13に示す縞パターンにおいて、白黒1対で1周期とする。この縞パターンを、1/4周期分ずつずらしながら、撮像画像を4枚撮像する。
図14は、実施形態の実施例2で取得された撮像画像の例を示す図である。検査対象物150は、実施例1と同じである。図14(a)は撮像画像で、図14(b)は検査対象物150の部分を切り取ったものである。
図15は、実施形態の実施例2における計算結果の例を示した図である。(a)は、強度画像(撮像画像(生画像)4枚の平均値)である。(b)は、振幅画像である。(c)は、位相画像である。(d)は、マスク画像である。
図15からわかるように、位相シフト法で得られる強度画像、振幅画像、位相画像と比較して、高精度な画像マスクが得られている。なお、このマスク画像は、本実施形態の方法で共通領域を得た後、6回の膨張収縮でエッジ部分を整えたものである。
次に、図16を参照して、検査システムにおけるマスク画像の生成処理について説明する。図16は、実施形態の検査システムにおけるマスク画像の生成処理を示すフローチャートである。
まず、ステップS1において、処理部103は、時系列に複数の撮像画像を取得する(図11、図14)。
次に、ステップS2において、処理部103は、複数の撮像画像に基づいて、各画素について、最高輝度値を抽出することで最高輝度画像を生成する。
次に、ステップS3において、処理部103は、複数の撮像画像に基づいて、各画素について、最低輝度値を抽出することで最低輝度画像を生成する。
次に、ステップS4において、処理部103は、複数の撮像画像に基づいて、各画素について、最高輝度値と最低輝度値の差である変位を算出することで輝度変位画像を生成する。
次に、ステップS5において、処理部103は、最高輝度画像に基づいて、最高輝度値が、予め設定された上限輝度値以下の画素の領域を、第1領域として抽出する。
次に、ステップS6において、処理部103は、最低輝度画像に基づいて、最低輝度値が、予め設定された下限輝度値以上の画素の領域を、第2領域として抽出する。
次に、ステップS7において、処理部103は、輝度変位画像に基づいて、変位が、予め設定された変位閾値以上の画素の領域を、第3領域として抽出する。
次に、ステップS8において、処理部103は、第1領域と第2領域と第3領域との共通の領域をマスク領域としてマスク画像を生成する(図12(d)、図15(d))。その後、検査システムは、マスク画像を用いた処理によって、検査対象物の検査を行う。
このように、本実施形態によれば、検査対象物150に対して空間的に強度が変化する光を照射することで得られた時系列に複数の撮像画像に基づいて検査対象物の検査を行う検査システムにおいて、予め設定された各画素の輝度値に関する所定条件(上限輝度値以下、下限輝度値以上、変位閾値以上など)を用いることで、高精度なマスク画像を生成することができる。具体的には、所定条件を用いて抽出した第1領域と第2領域と第3領域との共通の領域をマスク領域として、高精度なマスク画像を生成することができる。
したがって、照明変調の効果が意図通りの信頼性をもって現れている領域を抽出できるため、例えば光沢のある検査対象物を正反射光を用いて複数枚撮像して画像合成する場合に、それがどのような手法(位相シフト法、空間コード化法、特許第6590455号公報の技術など)であっても、アルゴリズムが成立しない領域を容易かつ高速に排することができる。例えば、検査対象物の僅かな歪みや設置誤差などがあっても、高精度なマスク画像を得ることができる。
上述した実施形態のPC100で実行される検査プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、上述した実施形態のPC100で実行される検査プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述した実施形態のPC100で実行される検査プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
本発明の実施形態や実施例を説明したが、これらの実施形態や実施例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態や実施例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態や実施例は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、実施例1、2で、撮像画像の枚数をそれぞれ24枚、4枚としたが、これらに限定されない。撮像画像の枚数は、3枚以上であれば任意の枚数であってよい。また、実施形態におけるその他の各数値についても、状況に応じて適宜変更可能である。
100…PC、101…アーム制御部、102…照明制御部、103…処理部、110…時間相関カメラ、120…照明装置(照明部)、130…スクリーン(照明部)、140…アーム、150…検査対象物。
Claims (4)
- 検査対象物に対して空間的に強度が変化する光を照射する照明部と、
前記照明部によって照射された光が前記検査対象物の表面で反射することで発生した反射光を含む光を撮像する撮像部と、
前記撮像部によって撮像された時系列に複数の撮像画像に基づいて、予め設定された各画素の輝度値に関する所定条件を用いて、前記撮像画像における検査対象領域を抽出するためのマスク領域を含むマスク画像を生成する処理部と、
を備える検査システム。 - 前記照明部は、前記検査対象物に対して周期的に空間的に強度が変化する光を照射し、
前記処理部は、
複数の前記撮像画像に基づいて、各画素について、最高輝度値を抽出することで最高輝度画像を生成するとともに、最低輝度値を抽出することで最低輝度画像を生成し、
前記最高輝度画像に基づいて、最高輝度値が、予め設定された上限輝度値以下の画素の領域を、第1領域として抽出し、
前記最低輝度画像に基づいて、最低輝度値が、予め設定された下限輝度値以上の画素の領域を、第2領域として抽出し、
前記第1領域と前記第2領域の共通の領域を前記マスク領域として前記マスク画像を生成する、請求項1に記載の検査システム。 - 前記照明部は、前記検査対象物に対して周期的に空間的に強度が変化する光を照射し、
前記処理部は、
複数の前記撮像画像に基づいて、各画素について、最高輝度値と最低輝度値の差である変位を算出することで輝度変位画像を生成し、
前記輝度変位画像に基づいて、前記変位が、予め設定された変位閾値以上の画素の領域を、第3領域として抽出し、
前記第1領域と前記第2領域と前記第3領域との共通の領域を前記マスク領域として前記マスク画像を生成する、請求項2に記載の検査システム。 - 検査対象物に対して空間的に強度が変化する光を照射する照明部と、前記照明部によって照射された光が前記検査対象物の表面で反射することで発生した反射光を含む光を撮像する撮像部と、を備える検査システムによる検査方法であって、
前記撮像部によって撮像された時系列に複数の撮像画像に基づいて、予め設定された各画素の輝度値に関する所定条件を用いて、前記撮像画像における検査対象領域を抽出するためのマスク領域を含むマスク画像を生成する生成ステップを含む検査方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022119737A JP2024017229A (ja) | 2022-07-27 | 2022-07-27 | 検査システムおよび検査方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022119737A JP2024017229A (ja) | 2022-07-27 | 2022-07-27 | 検査システムおよび検査方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024017229A true JP2024017229A (ja) | 2024-02-08 |
Family
ID=89807945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022119737A Pending JP2024017229A (ja) | 2022-07-27 | 2022-07-27 | 検査システムおよび検査方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024017229A (ja) |
-
2022
- 2022-07-27 JP JP2022119737A patent/JP2024017229A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6316068B2 (ja) | 検査システムおよび検査方法 | |
US10739272B2 (en) | Inspection system and inspection method | |
JP6542586B2 (ja) | 検査システム | |
JP6553412B2 (ja) | 検査システム | |
JP6800463B2 (ja) | 検査システムおよび検査方法 | |
JP6682251B2 (ja) | 検査システム、及び検査方法 | |
JP6276092B2 (ja) | 検査システムおよび検査方法 | |
JP6420131B2 (ja) | 検査システム、及び検査方法 | |
JP2018028527A (ja) | 検査システム | |
JP2018009849A (ja) | 検査システムおよび検査方法 | |
JP2017101977A (ja) | 検査システムおよび検査方法 | |
JP2024017229A (ja) | 検査システムおよび検査方法 | |
JP6064151B1 (ja) | 照明装置、撮像システムおよび照明方法 | |
JP6909378B2 (ja) | 検査システム | |
JP2017101979A (ja) | 検査システム | |
JP2019020365A (ja) | 検査システム | |
JP2018115937A (ja) | 検査システム | |
JP2024017231A (ja) | 検査システムおよび検査方法 | |
JP6781430B2 (ja) | 検査システム | |
JP6703415B2 (ja) | 検査装置及び検査方法 | |
JP2024017225A (ja) | 検査システムおよび検査方法 | |
JP6909377B2 (ja) | 検査システムおよび検査方法 | |
JP6945106B2 (ja) | 検査システム | |
JP6826813B2 (ja) | 検査装置及び検査方法 | |
JP6529247B2 (ja) | 較正システムおよび検査システム |