JP2017224974A - 撮像装置および撮像システム並びに外観検査装置および製造方法 - Google Patents

Abstract

【課題】テンプレートマッチングによる対象物の探索時間を短縮し、予め設定された関心領域と同じ配置及び面積で欠落なく画像データを出力可能な撮像装置および撮像システム並びに外観検査装置および製造方法を提供する。【解決手段】一部領域の画像データのみを出力可能な撮像装置で、撮像領域の対象物を含む第１の関心領域内の画素から得られた信号に基づく第１の画像データを記憶する記憶手段と、撮像領域内で移動可能で第１の関心領域と同じ面積の第２の関心領域内の画素から得られた信号に基づく第２の画像データを得る獲得手段と、第１及び第２の画像データの類似度を表す評価値を算出する評価値算出手段と、評価値が所定の閾値以上であるとき、第２の関心領域内の画素から得られた信号に基づく出力画像データを出力する出力手段と、を備え、第１及び第２の画像データは、出力画像データよりもデータ量が小さい。【選択図】図１

Description

本発明は、撮像装置および撮像システム並びに外観検査装置および製造方法に関し、特に部分読出し機能を有するものに関する。

工場の製造ラインでは、流れ作業の中で検査者が部品等の外観検査を行う目視検査の代わりに、画像入力用の撮像装置とコンピュータやデジタル入出力機器とを接続して検査を行うシステムが導入されている。これらのシステムに使用される撮像装置は、マシンビジョンカメラと呼ばれ、近年では、検査精度を向上させるために、１０００万以上の画素を有する撮像素子（イメージセンサ）を搭載したものが使用されるようになってきた。

このような撮像装置で被検査物（対象物）を撮像し、撮像素子の全画素から信号を読み出す場合、画素数が多いため、各画素から信号を読み出すための時間が長くなる。

そこで、特許文献１では、撮像素子の全画素の一部を関心領域として指定し、該当する関心領域のみを読み出しする、所謂部分読み出しを行うことにより、画素から信号を読み出すための時間を短縮する技術が提案されている。

特開２００４−０２３２５６号公報

しかしながら、上述の特許文献１に開示された従来技術では、部品等の被検査物（対象物）の位置が撮像装置の指定された関心領域内からずれて配置される度に、被検査物（対象物）の一部しか表示されないこととなる。そこで、検査者は、その都度、流れ作業を止めて撮像装置の関心領域を変更するか、被検査物の位置を変更する（調整する）か、いずれかの作業を行う必要があった。

これを解消するため、対象物が撮像領域の予め設定された関心領域内から位置ずれを起こして配置されても、予め設定された関心領域と同じ配置及び面積で欠落なく画像データを出力可能とするようにテンプレートマッチングを利用することが考えられる。即ち、撮像素子の撮像領域のうち、一部領域の画像データのみを出力可能な撮像装置で、撮像領域における対象物を含む第１の関心領域の画像データと、第１の関心領域と同じ面積で変位する第２の関心領域の画像データをテンプレートマッチングで比較する。

このとき、撮像素子の対象物を含む一部領域の全画素を読み出した画像データが必要であるため、対象物の探索に時間がかかることを改善することが望まれる。

本発明の目的は、テンプレートマッチングによる対象物の探索時間を短縮し、予め設定された関心領域と同じ配置及び面積で欠落なく画像データを出力可能な撮像装置および撮像システム並びに外観検査装置および製造方法を提供することにある。

上記目的を達成するため、本発明に係る撮像装置は、複数の画素を有する撮像素子の撮像領域のうち、一部領域の画像データのみを出力可能な撮像装置であって、前記撮像領域の対象物を含む第１の関心領域内の画素から得られた信号に基づく第１の画像データを記憶する記憶手段と、前記撮像領域の領域内で移動可能であって、前記第１の関心領域と同じ面積の第２の関心領域内の画素から得られた信号に基づく第２の画像データを得る獲得手段と、前記第２の画像データと前記第１の画像データとの類似度を表す評価値を算出する評価値算出手段と、前記評価値算出手段により算出された前記評価値が所定の閾値以上であるとき、前記第２の関心領域内の画素から得られた信号に基づく出力画像データを出力する出力手段と、を備えており、前記第１の画像データ、及び前記第２の画像データは、前記出力画像データよりもデータ量が小さい、ことを特徴とする。

また、本発明に係る撮像システムは、複数の画素を有する撮像素子の撮像領域のうち、一部領域の画像データのみを出力可能な撮像装置と、該撮像装置からの画像データを受信する外部機器と、を含む撮像システムであって、前記撮像領域の対象物を含む第１の関心領域内の画素から得られた信号に基づく第１の画像データを記憶する記憶手段と、前記撮像領域の領域内で移動可能であって、前記第１の関心領域と同じ面積の第２の関心領域内の画素から得られた信号に基づく第２の画像データを得る獲得手段と、前記第２の画像データと前記第１の画像データとの類似度を表す評価値を算出する評価値算出手段と、前記評価値算出手段により算出された前記評価値が所定の閾値以上であるとき、前記第２の関心領域内の画素から得られた信号に基づく出力画像データを出力する出力手段と、を備えており、前記第１の画像データ、及び前記第２の画像データは、前記出力画像データよりもデータ量が小さく、前記評価値の算出を前記外部機器において行うことを特徴とする。

また、本発明に係る外観検査装置は、複数の画素を有する撮像素子の撮像領域のうち、一部領域の画像データのみを用いて対象物を外観検査する外観検査装置であって、前記撮像領域の第１の関心領域内の画素から得られた信号に基づく第１の画像データを記憶する記憶手段と、前記撮像領域の領域内で移動可能であって、前記第１の関心領域と同じ面積の第２の関心領域内の画素から得られた信号に基づく第２の画像データを得る獲得手段と、前記第２の画像データと前記第１の画像データとの類似度を表す評価値を算出する評価値算出手段と、前記評価値算出手段により算出された前記評価値が所定の閾値以上であるとき、前記第２の関心領域内の画素から得られた信号に基づく出力画像データを出力する出力手段と、を備えており、前記第１の画像データ、及び前記第２の画像データは、前記出力画像データよりもデータ量が小さい、ことを特徴とする。

また、本発明に係る製造方法は、複数の部品から構成される装置を製造する製造方法であって、前記複数の部品のうちの少なくとも一つを、上記外観検査装置を用いて検査する検査工程と、前記検査工程の検査結果に基づいて、前記複数の部品を組み立てる組立工程と、を備えることを特徴とする。

本発明によれば、テンプレートマッチングによる対象物の探索時間を短縮し、予め設定された関心領域と同じ配置及び面積で欠落なく画像データを出力可能な撮像装置および撮像システム並びに外観検査装置および製造方法を提供することができる。

第１の実施形態に係る撮像装置の構成図 第１の実施形態で画素間引きを示す図 第１の実施形態で関心領域から画素間引きを行うことを示す図 第１の実施形態で基準テンプレートを登録する際のモニタ画面を示す図 第１の実施形態で間引きテンプレートを示す図 第１の実施形態のフローチャート 第２の実施形態における複数の間引きテンプレートを示す図 第２の実施形態のフローチャート 第３の実施形態のフローチャート 第４の実施形態に係る撮像装置の構成図 第４の実施形態における部分読み出し位置変更範囲を示す図 第５の実施形態に係る撮像システムの構成図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

以下の実施形態における外観検査装置は、まず第１の関心領域において対象物（被検査物）の形状（外観、輪郭、外形等）を記憶する。その上で、次の対象物を含む第２の関心領域における対象物の形状と、記憶している第１の関心領域における対象物の形状とを比較して類似度を算出する（得る）。その算出された類似度が所定の閾値以上であれば、第２の関心領域内に位置している対象物は、第１の関心領域内に位置していた対象物と同種の物体（部品）であり、検査の対象（撮像の対象）となる。

このように、類似度が所定の閾値以上に高くなるように、撮像装置が撮影し得る撮像領域（撮像可能な全領域）の中から第２の関心領域を切り出して、この第２の関心領域に対応する位置部分（撮像領域全体ではない）を読み出すようにする。このような動作をすることによって、比較的短時間に（読み出し時間を削減しつつ）外観検査を行うことができる外観検査装置を提供することができる。

尚、以下の実施形態で、第１の関心領域における対象物と、第２の関心領域における類似の対象物との照合を外観検査として行う外観検査装置は、撮像装置で構成される場合や、撮像システム（撮像装置および外部機器）で構成される場合がある。

《第１の実施形態》
（撮像装置）
図１に、撮像素子の撮像領域のうち一部領域の画像データのみを出力可能な本発明の第１の実施形態に係る撮像装置の構成を示す。撮像装置１００は、イメージセンサ（撮像素子）１０１を含む撮像系を有し、センサ駆動制御部１０２、デジタル変換部（変換部）としてのＡＤ部１０３、アドレス変換部１０４で撮像処理が行われる。

不図示のレンズを通った光束は、撮像装置１００のイメージセンサ１０１に結像する。センサ駆動制御部１０２は、イメージセンサ１０１の蓄積動作や読み出し動作の制御を行う。センサ駆動制御部１０２によってイメージセンサ１０１の撮像処理を行うと、イメージセンサ１０１からはアナログの撮像信号が出力される。アナログの撮像信号は、ＡＤ部１０３にてデジタル変換され、画像データとして後述の画像信号処理部１０８に入力される。尚、ＡＤ部１０３は、イメージセンサ１０１に構成されていても構わない。

アドレス変換部１０４は、センサ駆動制御部１０２がイメージセンサ１０１の蓄積制御と読み出し制御を行う対象画素のアドレスを算出する。画素間引き設定部１２０は、部分読み出し領域内の画素の間引き量を設定する。図２において、灰色枠の画素が間引きされた画素に対応し、白枠の画素のみ読み出しを行う。具体的な間引きとしては、図２（ａ）のように隣接画素を間引いたり、図２（ｂ）のように数画素ごとに1画素間引いたり、図２（ｃ）のように数ラインごとに、1ライン間引いたりする。

イメージセンサ１０１の一部領域から画素間引き設定部１２０の間引き量に基づいて部分読み出しを行う場合、アドレス変換部１０４は、イメージセンサ１０１の全画素のうち、読み出しを行う画素を対象画素としてアドレス出力する。即ち、読み出し対象とならないアドレスはスキップする。これに関しては、後に詳述する。

カメラ入力インターフェース部１０６は、撮像装置１００の装置筐体の外側に設けられるＰＣなど外部機器から、撮像装置１００の間引き量の設定や、部分読み出しを行いたい関心領域の座標データを受信するインターフェースである。また、メモリ１０７は、カメラ入力インターフェース部１０６で入力された撮像装置１００の設定値や、部分読み出しを行いたい関心領域の座標データを保存する。部分読み出し位置設定部１０５は、メモリ１０７から、関心領域の座標データを読み出し、アドレス変換部１０４に送信する。

ここで、イメージセンサ１０１の全画素を横１０００×縦１０００として、一部領域から画素間引き設定部１２０の間引き量に基づいて部分読み出しを行う場合を、図３を用いて説明する。本実施形態では、イメージセンサ１０１の左上の座標を（１，１）とし、右下の座標を（１０００，１０００）として説明している。また、画素間引き設定部１２０における間引き量として、隣接画素を間引く場合を選択している。

本実施形態では、部分読み出しを行う関心領域の左上と右下の座標を与えることで、関心領域を定義している。図３では、基準テンプレートとして登録する撮影対象物（撮影したい被写体）を含む固定された第１の関心領域Ｉｍｇ_０は、左上（３００，３００）、右下（６００，６００）の破線で囲まれた領域で示されている。

（第１の関心領域Ｉｍｇ_０の座標データ）
この第１の関心領域Ｉｍｇ_０の座標データは、カメラ入力インターフェース部１０６を経由して、メモリ１０７に保存される。第１の関心領域Ｉｍｇ_０の座標データは、部分読み出し位置の設定部１０５によりメモリ１０７から読み出される。そして、第１の関心領域Ｉｍｇ_０の画像データもしくは画像間引き設定部１２０により間引かれた画像データは、アドレス変換部１０４、センサ駆動制御部１０２によりイメージセンサ１０１より読み出される。そして、ＡＤ部１０３でデジタル変換される。

（第１の関心領域Ｉｍｇ_０と同じ面積を保って変位可能（移動可能）な第２の関心領域Ｉｍｇの座標データ）
後述する画像信号所織り部１０８における部分読み出し位置変更部１１１が、第２の関心領域Ｉｍｇの新しい部分読み出し位置座標データを算出し、初期値を更新してメモリ１０７に保存する。

（変位可能な関心領域Ｉｍｇにおける画像読出し）
第２の関心領域Ｉｍｇの画像データもしくは画像間引き設定部１２０により間引かれた画像データは、画像データを得る獲得手段としてのアドレス変換部１０４、センサ駆動制御部１０２によりイメージセンサ１０１より読み出される。そして、ＡＤ部１０３でデジタル変換される。これについては、第１の関心領域と同様である。

即ち、部分読み出し位置設定部１０５は、メモリ１０７から、第２の関心領域Ｉｍｇの座標データを読み出す。アドレス変換部１０４は、部分読み出し位置設定部１０５の座標データ及び画素間引き設定部１２０の間引き量に基づき、イメージセンサ１０１の蓄積及び読み出しを行うためのアドレス情報であるラインや画素ナンバーをセンサ駆動制御部１０２に対し発行する。図３では、灰色枠の画素を間引いて白枠のみの画素を読み出すアドレスを発行する。

具体的には、アドレス変換部１０４は、下記のように読み飛ばしライン、読み飛ばし列、読み出し画素を算出する。

・読み飛ばしライン 行１〜行２９９。行６０１〜１０００
・読み飛ばし列の画素 列１〜列２９９、列６０１〜１０００
・読み出し画素 （３００+２ｉ、３００＋２ｊ）但し、ｉ、Ｊは、０〜１５０
・読み出し画素 （３００+２ｍ−１、３００＋２ｎ−１）但し、ｍ、ｎは、1〜１５０
その後センサ駆動制御部１０２は、アドレス変換部１０４から発行されたアドレス情報に基づきイメージセンサ１０１から関心領域内の対象画素のみ部分読み出しを行う。

（画像信号処理部１０８）
画像信号処理部１０８は、基準テンプレート保存部１０９、間引きテンプレート保存部１２１、評価値算出部１1０、部分読み出し位置変更部１１１、画像信号出力部１１２から構成されている。

基準テンプレート保存部１０９は、関心領域内の全画素を読み出したＡＤ部１０３からの出力画像データを基準テンプレートとして登録し保存する。間引きテンプレート保存部１２１は、基準テンプレートの画像データから、画素間引き設定部１２０で設定された間引き量で間引かれた画像データをテンプレートとして保存する。尚、基準テンプレート保存部１０９に記憶した基準テンプレートの画像データ、間引きテンプレート保存部１２１に記憶した間引きテンプレートの画像データの双方あるいはいずれか一方を、メモリ１０７に記憶するようにしても構わない。

本実施形態では、間引きテンプレートを基準テンプレートの画像データから画素間引きを行い生成しているが、次のような方法でも構わない。即ち、アドレス変換部１０４は、第１の関心領域内の全画素から画素間引き設定部１２０で設定された間引き量で間引かれた対象画素のアドレスを算出し、対象画素のみのアナログ信号を出力する。その後、第１の関心領域における対象画素のみのアナログ信号（画素信号）については、ＡＤ部１０３でデジタル変換され、間引きテンプレート保存部１２１は、ＡＤ部１０３からの出力画像データを間引きテンプレートとして保存する。

評価値算出部１１０には、ＡＤ部１０３からの出力画像（第２の関心領域Ｉｍｇの間引きされたデータ量の画像）と、間引きテンプレート保存部１２１に記憶された第１の関心領域Ｉｍｇ_０の間引きされたデータ量の画像に係るデジタル信号が入力する。そして、被検査物が対象物であるかどうか（類似の対象物であるかどうか）をパターンマッチングで比較し、類似度に基づく評価値（類似度を表す評価値、或いは類似度が高ければ高いほど大きな値を示す評価値）を算出する。

この類似度を表す評価値が所定の閾値以上であるときは、基準テンプレートにおける撮影対象物と類似する類似対象物（検査対象）がＡＤ部１０３からの出力画像に存在することとなる。

そして、この類似度を表す評価値が所定の閾値未満であるときは、後に詳述するように
部分読み出し位置変更部１１１は、部分読み出し領域の位置を変更するための座標データを算出しメモリ１０７に保存する。画像信号出力部１１２は、評価値が既定値以上のときに、撮像装置１００からの画像をＰＣやモニタ等の外部機器に対応したフォーマットに変換し、出力するためのインターフェースである。

尚、ここでいう評価値とは、類似度、或いは一致度、或いは類似度（一致度）の高さ（或いは低さ）を表す何らかの値であればどのような値であっても構わない。

（基準テンプレートの登録）
次に、検査者または操作者が基準テンプレートを登録する方法について説明する。図４は、本実施形態における撮像装置１００を用いて、基準テンプレートとなる撮影対象物Ｔ_０を撮影したときのモニタ画面を示している。なお、本実施形態では、イメージセンサの全画素数を図３と同様に横１０００×縦１０００としているが、撮影映像の画素数についてはこれに限定されない。また、本実施形態では、撮影映像の左上の座標を（１，１）とし、右下の座標を（１０００，１０００）として説明している。

まず、検査者は、図４のようにモニタ画面を見ながら基準テンプレートとして登録したい撮影対象物Ｔ_０を含む固定された第１の関心領域ＩｍｇｏをＰＣや他の操作器で設定する。図４において、第１の関心領域Ｉｍｇ_０は、左上（３００，３００）、右下（６００，６００）の破線で囲まれた領域である。この第１の関心領域Ｉｍｇ_０の座標データは、カメラ入力インターフェース部１０６を経由して、メモリ１０７に保存される。そして、部分読み出し位置設定部１０５は、メモリ１０７から、第１の関心領域Ｉｍｇ_０の座標データを読み出すことができる。

アドレス変換部１０４は、部分読み出し位置設定部１０５の座標データに基づき、イメージセンサ１０１の蓄積および読み出しを行うためのアドレス情報であるラインや画素ナンバーをセンサ駆動制御部１０２に対して発行する。具体的には、アドレス変換部１０４は、以下のように読み飛ばしライン、読み出しライン、読み飛ばし列、読み出し列の画素を算出する。

・読み飛ばしライン 行１〜行２９９。行６０１〜１０００
・読み出しライン 行３００〜行６００
・読み飛ばし列の画素 列１〜列２９９、列６０１〜１０００
・読み出し列の画素 列３００〜列６００
その後、センサ駆動制御部１０２は、アドレス変換部１０４から発行されたアドレス情報に基づきイメージセンサ１０１から第１の関心領域のみの対象画素の部分読み出しを行う。第１の関心領域から読み出された対象画素のアナログ信号は、ＡＤ部１０２で既定のビット数（８ビットや１０ビット等）で量子化され、デジタル変換された画像データとして画像信号処理部１０８に入力される。この画像データを基準テンプレートＴＥＭＰ_０として保存する場合は、ＰＣや他の操作器からテンプレート保存のコマンドをカメラ入力インターフェース部１０６に入力することで、基準テンプレート保存部１０９に保存される。

（間引きテンプレートの登録）
次に、間引きテンプレートの登録方法について説明する。間引きテンプレートは、画素間引き設定部１２０の設定に従い、基準テンプレートＴＥＭＰ_０の画像データから、間引きを行った画像データのみを保存する。例えば、基準テンプレートＴＥＭＰ_０が図５（ａ）のように横６×縦６の画素の画像データとし、基準テンプレートの左上の座標を（ｉ，ｊ）とし、右下の座標を（ｉ+６，ｊ+６）とする。

間引きテンプレートは、画素間引き設定部１２０が隣接画素を間引く設定となっている場合は、図５（ｂ）のように灰色枠の画素を間引き、白枠で囲まれた画素の画像データのみを間引きテンプレート保存部１２１に保存する。

（ｉ＋１、ｊ）、（ｉ+３、ｊ）、（ｉ+５、ｊ）
（ｉ、ｊ+１）、（ｉ+２、ｊ+１）、（ｉ+３、ｊ+１）
（ｉ＋１、ｊ+２）、（ｉ+３、ｊ+２）、（ｉ+５、ｊ+２）
（ｉ、ｊ+３）、（ｉ+２、ｊ+３）、（ｉ+３、ｊ+３）
（ｉ＋１、ｊ+４）、（ｉ+３、ｊ+４）、（ｉ+５、ｊ+４）
（ｉ、ｊ+５）、（ｉ+２、ｊ+５）、（ｉ+３、ｊ+５）
（フローチャート）
図６は、本実施形態におけるイメージセンサ１０１で撮像された被検査物が、対象物であるかを間引きテンプレートＳＴＥＭＰ_０とテンプレートマッチングを行い、対象物である場合は、既定のフォーマットで画像出力を行うフローチャートである。

まず、ＰＣや他の操作器等の外部機器から予めメモリ１０７に保存された第１の関心領域Ｉｍｇ_０の座標データを、部分読み出し位置設定部１０５（図１）が、初期値ＩＮＴ_０として読みだす（ステップＳ１）。次に、ＰＣや他の操作器等の外部機器から予め設定されている間引き量を画素間引き設定部１２０から読み出す（ステップＳ２）。

アドレス変換部１０４は、部分読み出し位置設定部１０５から読み出された初期値ＩＮＴ_０と、画素間引き設定部１２０で読出された間引き量からイメージセンサ１０１の部分読出しを行う指定アドレスを駆動制御部１０２に対して発行する（ステップＳ３）。

すると、イメージセンサ１０１から指定アドレスの対象画素が読み出され（ステップＳ４）、ＡＤ部１０３は、デジタル変換された画像データを出力する（ステップＳ５）。ステップＳ６は、まだ実行されていないのでステップＳ７へ進む。

ステップＳ７では、評価値算出部１１０で、ＡＤ部１０３からの間引きされた画像データと、間引きテンプレート保存部１０９に保存される間引きテンプレートの画像とテンプレートマッチングを行い、類似度を表す評価値を算出する（ステップＳ８）。

本実施形態では、間引きテンプレートとＡＤ部１０３からの間引きされた画像データの輝度値で相関マッチングを行っているが、輪郭、カラーマッチング等他のパターン認識技術を使用してマッチングを行っても構わない。

ステップＳ８で評価値がある既定値（所定の閾値）以上のときは、ＡＤ１０３からの画像データは、被検査物であると判定し、ステップＳ１２へ進む。検査者は、最終的には被検査物を含む関心領域内の全画素の画像データが必要なので、ステップＳ１２では、被検査物を含む関心領域内の全画素を読み出す必要がある。

よって、ステップＳ１２では、画素間引き設定部１２０の間引き量をなしに設定する（間引き量をゼロとする）。その後、画像データを間引き無しで出力するために、ステップＳ２へ戻り、ステップＳ３〜ステップＳ５を再度実行し、ステップＳ６へ進む。ステップＳ６では、ステップＳ１２が既に終了済みなので、ステップＳ１３に進む。ステップＳ１３では、画像信号出力部１１２で既定のフォーマットに変換され外部に出力される。

ステップＳ９で評価値がある既定値未満のときは、被検査物の位置が関心領域Ｉｍｇ_０内からずれていると判断し、イメージセンサ１０１の部分読み出し領域（第２の関心領域）の位置を変更する。具体的には、部分読み出し位置変更部１１１が新しい部分読み出し位置座標データを算出し（ステップＳ１０）、初期値ＩＮＴ_０を更新してメモリ１０７に保存する（ステップＳ１１）。このとき、新しい第２の関心領域の座標データは、初期値ＩＮＴ_０で囲まれた領域（第１の関心領域）と同じ面積で、左上、右下の座標のみ異なっている。

その後、ステップＳ９で評価値がある既定値以上になるまでは、ステップＳ１〜Ｓ９を繰り返す。つまり、ＡＤ部１０３からの間引かれた画像データと間引きテンプレートとの評価値が既定値以上になるまで、イメージセンサ１０１の部分読み出し位置（第２の関心領域の位置）を予め設定された第１の関心領域と同じ面積で変更していく。

以上の構成及びフローを行うことで、テンプレートマッチングで被検査物をイメージセンサ１０１から探索する時間を短縮し、被検査物を予め設定された関心領域と同じ配置及び面積で欠落なく外部に出力することが可能となる。また、間引き（撮像領域内の所定画素からの信号を読み出さない）を用いることで、読出し時間を最短化できる。

本実施形態では、読み出し領域（撮像領域の一部）の中において、格子状に画素を間引いたり、ラインごとに画素を間引いたり、といった画素領域を間引く手法を採っている。しかしながら、データ量を減らす方法はこの限りではなく、例えばＡＤ変換する際の階調数を減らしたり、色情報を減らしたり（或いは白黒画像として取り込んだり）することによってデータ量を減らしても良い。

ここで、領域（画素領域）を間引くと、読み出しにかかる時間とマッチングにかかる時間の両方を短縮することが可能であり、ＡＤ変換する際に上記のような方法でデータ量を減らせばマッチングにかかる時間を短縮可能である。いずれの方法も本発明の効果を奏することができる方法であり、この点は後述する実施形態でも同様である。

《第２の実施形態》
第１の実施形態は、一つの間引きテンプレートを用いて被検査物の画像データとテンプレートマッチングを行った。本実施形態は、第１及び第２の間引きを行う第１及び第２の間引きテンプレートとして間引きテンプレートを複数備え、被検査物の画像データとテンプレートマッチングを行う点が第１の実施形態と異なる。

本実施形態の撮像装置の構成図は、第１の実施形態と同じなので省略する。ただし、間引きテンプレート保存部１２１には、複数の間引きテンプレートが保存されている。即ち、図７（ａ）の基準テンプレートから、図７（ｂ）のように灰色枠の画素を間引いた画素データのテンプレートＳＴＥＭＰ_０と、図７（ｃ）のように白枠の画素を間引いた画素データのＳＴＥＭＰ₁の２つのテンプレートが保存されている。つまり、間引きテンプレート保存部１２１には、ＳＴＥＭＰ_０とＳＴＥＭＰ₁の相補的（排他的）な画像データが保存されている。

尚、本実施形態では間引きテンプレート保存部１２１に、相補的（排他的）な画像データを保存したが、図７（ｄ）、（ｅ）のように間引き量の異なる(灰色枠の画素を間引く)複数の間引きテンプレートを保存しても構わない。また、上記説明では２種類の間引きテンプレートを間引きテンプレート保存部１２１に保存したが、３種類以上の間引きテンプレートを保存しても構わない。

（フローチャート）
図８は、本実施形態のフローチャートである。ステップＳ２１〜ステップＳ２６までは、第１の実施形態のステップＳ１〜Ｓ６と同等なので説明は省略する。ステップＳ２７では、まず初期値ｎ＝０として、間引きテンプレートＳＴＥＭＰ_０とテンプレートマッチングを行う（ステップＳ２７）。ここでｎは、間引きテンプレートのテンプレート番号であり、本実施形態では間引きテンプレートを２種類用意しているので、ｎは０または１の値である。

ステップＳ２８で、評価値が既定値以上の場合は、ステップＳ３３に進み、ｎが最大値ではないのでステップＳ３４に進み、ｎをインクリメントする。ステップＳ３５で画素間引き設定部１２０の間引き量を間引きテンプレートＳＴＥＭＰ₁と同じ間引き量に変更する。その後、他方の間引きテンプレートＳＴＥＭＰ₁とのマッチングのため、再度ステップＳ２２からＳ２９を繰り返す。

ステップＳ２９で評価値が再度既定値以上の場合は、ステップＳ３３に進み、ｎは、最大値であるのでステップＳ３６に進み、第１の実施形態のステップＳ１２と同様に画素間引き設定部１２０の間引き量を無しにする（間引き量をゼロとする）。その後は、再度ステップＳ２２〜Ｓ２６へ進む。ステップＳ２６で、ステップＳ３６は実施済みなので、第１の実施形態のステップＳ１３と同様に、画像信号出力部１１２で既定のフォーマットに変換して外部に出力する（ステップＳ３７）。

ステップＳ２８で、評価値が既定値未満の場合は、被検査物の位置が関心領域Ｉｍｇ_０内からずれていると判断し、イメージセンサ１０１の部分読み出し領域の位置を変更する。
ステップＳ３０で、ｎ=０及び間引き量を初期値に戻し、ステップＳ２９で評価値が既定値以上になるまでステップＳ１からステップＳ３２を繰り返す。

第１の実施形態では、一つの間引きテンプレートとテンプレートマッチングを行った。一方、本実施形態では、複数の間引きテンプレートとテンプレートマッチングを行い、全ての間引きテンプレートとの評価値が既定値以上になるまでテンプレートマッチングを繰り返す。これにより、評価値の信頼度を向上させることが可能となり、似たような形状の部品が配置されている中から所望している対象物（類似の対象物）を探索するのに有効となる。

《第３の実施形態》
第２の実施形態では、複数の間引きテンプレートを使用してテンプレートマッチングを行った。本実施形態は、最初に間引きテンプレートで粗マッチング（第１のマッチング）を行い、評価値が既定値以上の場合は、基準テンプレートで微マッチング（精マッチング、第２のマッチング）を行う。この点が、第２の実施形態と異なる。

（フローチャート）
図９は、本実施形態のフローチャートである。ステップＳ４１からステップＳ５２までが、間引きテンプレートでテンプレートマッチングを行い、評価値が既定値以上になるまで部分読み出し位置を変更していくフローである。ステップＳ４９で、評価値が既定値以上の場合は、ステップＳ５３に進む。これは、間引きテンプレートで粗マッチングが終了したことを意味する。

ステップＳ５３では、評価値が２回連続して既定値以上となっていないので、ステップＳ５４に進み、微マッチングを行うべく関心領域の全画素を読み出すために間引き量を無しに設定する。再度、ステップＳ４２からステップＳ４６を行い、ステップＳ５６で基準テンプレートとテンプレートマッチングを行う。これは、微マッチングを行うフローである。

その後、評価値が既定値以上の場合は、ステップＳ５３で、評価値が２回連続して既定値以上となったので既定のフォーマットで画像出力を行い処理を終了する。ステップＳ５３は、部分読み出しされた画像データが、間引きテンプレートと、基準テンプレートの両方でマッチングを行い、評価値が既定値以上になったかを判断している。ステップＳ５３で既定値未満の時は、再度、粗マッチングのフローに戻る。つまり、間引きテンプレートと基準テンプレートの両方で評価値が既定値以上になるまで、部分読み出し位置を変更しテンプレートマッチングを行っていく。

《第４の実施形態》
第１乃至第３の実施形態は、評価値が既定値未満の時、部分読み出し位置を変更しているが、変更位置の範囲は規定していない。本実施形態では、部分読み出し位置の変更範囲を限定している点が第１乃至第３の実施形態と異なる。

図１０は、本実施形態の構成図で、図１の構成図に対し、第２の関心領域Ｉｍｇの座標データを所定範囲に規制する範囲規制手段としての部分読み出し位置変更範囲設定部１３０を備えている点が第１乃至第３の実施形態と異なる。部分読み出し位置変更範囲設定部１３０は、部分読み出し位置変更部１１１が、位置変更を行う範囲を設定する。つまり、テンプレートマッチングを行う探索範囲を限定する。

具体的には、第２の関心領域Ｉｍｇの移動範囲として、図１１のように第１の関心領域Ｉｍｇ_０の左上、右下の座標データをある既定量変化させることで、第１の関心領域Ｉｍｇ_０の中心から数倍拡大した範囲を設定することが出来る（図１１の太線枠）。例えば、第１の関心領域Ｉｍｇ_０の左上、右下の座標データが（３００、３００）、(６００、６００)とする。第２の関心領域Ｉｍｇの移動範囲として、第１の関心領域Ｉｍｇ_０の範囲を中心から拡大するために左上、右下の座標データを６２変化させる。

すると、左上、右下の座標データは、（３００−６２＝２３８、３００−６２＝２３８）、（６００+６２＝６６２、６００+６２＝６６２）となる。これは、第１の関心領域Ｉｍｇ_０の約２倍の範囲となる。部分読み出し位置変更部１１１は、この範囲内で、第２の関心領域Ｉｍｇの部分読み出し位置を変更する。被検査物の配置が大きくずれないシステムの場合、部分切り出し位置の変更範囲を限定することで更にテンプレートマッチングを行う探索範囲の時間短縮を図ることが可能となる。

ところで、左上、右下の座標データをある既定量変化させた範囲内で、テンプレートマッチングを行い評価値がある既定値以上にならない場合は、既定量を更に大きくし、探索範囲を拡大させていくと良い。

本実施形態では、Ｉｍｇ_０の中心から放射状にある既定量拡大していくように探索範囲を設定しているが、これに限られない。他の探索範囲の設定方法として、評価値がある既定値以上になった左上、右下の座標データを随時メモリ１０７に記憶しておき、過去の履歴に基づき各座標データに対応する各領域を包含する最大探索範囲を定めるようにしても良い。即ち、左上の座標データの最小値、右下の座標データの最大値の範囲で探索範囲を決定しても良い。

また、評価値がある既定値以上になった左上、右下の座標データを随時メモリ１０７に記憶しておき、部分読み出し位置変更部１１１は、過去の履歴に基づき各座標データを順次読み出していき位置変更をしても良い。つまり、評価値がある既定値以上になった左上、右下の座標データの履歴に基づいて部分読み出し位置を変更していくようにしても良い。

《第５の実施形態》
図１２は、本実施形態の構成図である。第１乃至第４の実施形態では、撮像装置１００の装置筐体の内部において、評価部算出部１１０におけるパターンマッチングにより類似度が算出された。これに対し、本実施形態では、撮像装置１００の装置筐体の外部に撮像素子１０１からの画像データを受信するＰＣ（パソコン）など外部機器を有し、装置筐体の外部において、評価部算出部１１０におけるパターンマッチングにより類似度が算出される。

図１２に示すように、本実施形態では、画素間引き設定部１２０、間引きテンプレート保存部１２１、部分読み出し位置変更範囲設定部１３０を撮像装置１００に接続されたＰＣ等の外部機器２００に設けている。

本実施形態では、撮像装置１００で部分読み出しを行った画像データを外部機器２００に送信し、外部機器２００内で基準テンプレートや間引きテンプレートとテンプレートマッチングを行う。そして、評価値が既定値以上になるまで、部分読み出し位置変更座標を撮像装置１００に送信している。以上の構成をとることで、第１乃至第４の実施形態と同様の効果を得ることが可能である。また、本実施形態においては、図１、図１０に示した撮像装置１００の処理負荷を軽減することが可能となる。

（変形例）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（変形例１）
上述した実施形態では、第１及び第２の関心領域に対応して変換部（デジタル変換部）でデジタル変換されたデータ量より少ない第１及び第２のデータに関し、間引き（撮像領域内の所定画素からの信号を読み出さない）や階調数を減らすことを述べた。更には、圧縮（例えば隣接する複数画素を包含した画素として隣接する複数画素の平均化）を用いて画素数を少なくしても良い。

（変形例２）
上述した第２の実施形態で、第１の関心領域は、複数の対象物に対し対象物ごとに複数設けられるものであったが、第１の関心領域は、複数の対象物を含む（第１の関心領域として単一となる）ように設けられるものであっても良い。

（変形例３）
上述の実施形態に記載した外観検査装置、撮像装置、撮像システム（撮像装置および外部機器）は、複数の部品によって構成される様々な装置の製造方法（組み立て方法）に適用することも可能である。

例えば、部品Ａ、部品Ｂ等の複数の部品によって構成される装置を製造する方法において、部品Ａ、部品Ｂを含む複数の部品のうちの少なくとも１つを上述の外観検査装置で検査した上で組み立て（製造）を行うようにする。このようにすれば、短い時間で部品の検査を行うことができるため、高品質な装置（製品）を短時間で（高効率で）製造することが可能となる。

尚、ここで行う検査の結果、問題がある、と判定された部品については、製造ラインから自動的に外しても良いし、或いは自動的に修正加工を行う工程に進めても構わない。いずれにしても、組み立て工程に進む部品は、検査の結果が基準を満たしている（外観上問題が無い、形状のずれが所定の閾値の範囲内である）部品だけ、とすることが望ましい。ただし、装置によっては、検査結果が基準値から外れている（形状のずれが所定の閾値を越えている）場合は、装置への組み込み方（組み立て方）を変えて対応しても構わない。

上述したような、複数の部品から構成される装置を製造する製造方法は、複数の部品のうちの少なくとも一つを上述した外観検査装置を用いて検査する検査工程と、該検査工程の検査結果に基づいて、上記複数の部品を組み立てる組立工程と、を備える。

１０１・・イメージセンサ（撮像素子）、１０２・・センサ駆動制御部、１０３・・ＡＤ部、１０４・・アドレス変換部、１０７・・メモリ、１１０・・評価値算出部、１１１・・ 部分読み出し位置変更部、１１２・・画像信号出力部、１２１・・間引きテンプレート保存部、Ｉｍｇｏ・・第１の関心領域、Ｉｍｇ・・第２の関心領域

Claims (16)

1. 複数の画素を有する撮像素子の撮像領域のうち、一部領域の画像データのみを出力可能な撮像装置であって、
   前記撮像領域の対象物を含む第１の関心領域内の画素から得られた信号に基づく第１の画像データを記憶する記憶手段と、
   前記撮像領域の領域内で移動可能であって、前記第１の関心領域と同じ面積の第２の関心領域内の画素から得られた信号に基づく第２の画像データを得る獲得手段と、
   前記第２の画像データと前記第１の画像データとの類似度を表す評価値を算出する評価値算出手段と、
   前記評価値算出手段により算出された前記評価値が所定の閾値以上であるとき、前記第２の関心領域内の画素から得られた信号に基づく出力画像データを出力する出力手段と、
   を備えており、
   前記第１の画像データ、及び前記第２の画像データは、前記出力画像データよりもデータ量が小さい、
   ことを特徴とする撮像装置。
2. 前記複数の画素から出力された信号をデジタル信号に変換する変換部を更に備え、
   前記第１、２の画像データ及び前記出力画像データは、前記撮像領域の領域内の画素信号を前記変換部によって変換されることによって得られたデジタル信号である、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第１、２の画像データの各々は、前記第１、２の関心領域内の一部の画素からの信号のみを前記変換部によって変換したデータである、
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記出力画像データは、前記２の関心領域内の全ての画素からの信号を前記変換部によって変換したデータである、
   ことを特徴とする請求項２又は３に記載の撮像装置。
5. 前記第１の関心領域の座標データを予め記憶する記憶手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第１の関心領域は、複数の対象物に対し対象物ごとに複数設けられることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第１の関心領域は、複数の対象物を含むように設けられることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. 前記第１の画像データ、及び前記第２の画像データは、前記出力画像データよりも画素数が少ないことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記第１の画像データ、及び前記第２の画像データは、第１及び第２の間引きによりそれぞれ複数備わり、
   算出されたそれぞれの前記評価値がそれぞれ既定値以上であるとき、前記第２の関心領域内の画素から得られた信号に基づく出力画像データを出力することを特徴とする請求項８に記載の撮像装置。
10. 前記第１及び第２の間引きは、互いに相補的な間引きであることを特徴とする請求項９に記載の撮像装置。
11. 前記第２の関心領域の座標データを所定範囲に規制する範囲規制手段を有することを特徴とする請求項５に記載の撮像装置。
12. 前記所定範囲は、前記第１の評価値算出手段の評価値が既定値以上である前記第２の関心領域の座標データの最小値および最大値に基づいて定められることを特徴とする請求項１１に記載の撮像装置。
13. 前記評価値算出手段は第１及び第２の評価値算出手段を備え、
    前記第１の評価値算出手段は、前記第２の画像データと前記第１の画像データとの類似度を表す評価値を算出し、
    前記第２の評価値算出手段は、前記第２の画像データよりもデータ量が大きいデータと前記第１の画像データよりもデータ量が大きいデータとの類似度を表す評価値を算出し、前記第１の評価値算出手段の評価値が既定値以上であるとき、前記第２の評価値算出手段による類似度を算出することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 複数の画素を有する撮像素子の撮像領域のうち、一部領域の画像データのみを出力可能な撮像装置と、該撮像装置からの画像データを受信する外部機器と、を含む撮像システムであって、
    前記撮像領域の対象物を含む第１の関心領域内の画素から得られた信号に基づく第１の画像データを記憶する記憶手段と、
    前記撮像領域の領域内で移動可能であって、前記第１の関心領域と同じ面積の第２の関心領域内の画素から得られた信号に基づく第２の画像データを得る獲得手段と、
    前記第２の画像データと前記第１の画像データとの類似度を表す評価値を算出する評価値算出手段と、
    前記評価値算出手段により算出された前記評価値が所定の閾値以上であるとき、前記第２の関心領域内の画素から得られた信号に基づく出力画像データを出力する出力手段と、
    を備えており、
    前記第１の画像データ、及び前記第２の画像データは、前記出力画像データよりもデータ量が小さく、
    前記評価値の算出を前記外部機器において行うことを特徴とする撮像システム。
15. 複数の画素を有する撮像素子の撮像領域のうち、一部領域の画像データのみを用いて対象物を外観検査する外観検査装置であって、
    前記撮像領域の第１の関心領域内の画素から得られた信号に基づく第１の画像データを記憶する記憶手段と、
    前記撮像領域の領域内で移動可能であって、前記第１の関心領域と同じ面積の第２の関心領域内の画素から得られた信号に基づく第２の画像データを得る獲得手段と、
    前記第２の画像データと前記第１の画像データとの類似度を表す評価値を算出する評価値算出手段と、
    前記評価値算出手段により算出された前記評価値が所定の閾値以上であるとき、前記第２の関心領域内の画素から得られた信号に基づく出力画像データを出力する出力手段と、
    を備えており、
    前記第１の画像データ、及び前記第２の画像データは、前記出力画像データよりもデータ量が小さい、ことを特徴とする外観検査装置。
16. 複数の部品から構成される装置を製造する製造方法であって、
    前記複数の部品のうちの少なくとも一つを、請求項１３に記載の外観検査装置を用いて検査する検査工程と、
    前記検査工程の検査結果に基づいて、前記複数の部品を組み立てる組立工程と、
    を備えることを特徴とする製造方法。