JP3584685B2

JP3584685B2 - 画像処理装置

Info

Publication number: JP3584685B2
Application number: JP19339997A
Authority: JP
Inventors: 肇竹川
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 1997-07-04
Filing date: 1997-07-04
Publication date: 2004-11-04
Anticipated expiration: 2017-07-04
Also published as: JPH1125262A

Description

【０００１】
【発明の属する技術分野】
本発明は、対象物を撮像して得られる画像から対象物の検査・計測等を行う画像処理装置に関する。
【０００２】
【従来の技術】
従来、撮像装置を用いて対象物を撮像し、得られた入力画像と基準となるモデル画像とのマッチングを行って、その結果から対象物の良否を判定する画像検査装置が知られている。
【０００３】
図９は、そのような従来の画像検査装置のブロック図である。この装置は対象物７０をカメラ７１で撮像し、得られた入力画像をコントローラ７２を介して画像表示装置７３のモニタ画面７３ａに写し出す構成となっている。
【０００４】
セッティング時には、オペレータはモニタ画面７３ａを見ながら対象物７０の入力画像７０ｐがモニタ画面７３ａの視野に入るように、また入力画像７０ｐのぼやけ具合を目視観察しながらピントが合うように、対象物７０に対するカメラ７１の位置を調整していた。
【０００５】
また、オペレータはモニタ画面７３ａに写し出される入力画像７０ｐの濃度分布が最適になるようにカメラ７１の絞りや照明の輝度を調整していた。また、モニタ画面７３ａに写し出された入力画像７０ｐとコントローラ７２から出力される枠状の領域指定画像７２ｐとを見ながら、操作部７４を操作して領域指定画像７２ｐを入力画像７０ｐの所定の位置に重ね合わせ、検査対象領域を特定する操作を行っていた。
【０００６】
【発明が解決しようとする課題】
前述した従来の画像検査装置においては、対象物７０の入力画像７０ｐおよび領域指定画像７２ｐを画像表示装置７３のモニタ画面７３ａに表示する必要があるため、画像出力機能、グラフィック処理機能などが必要となり、システムとして高価なものにならざるを得なかった。
【０００７】
また、ピント調整を行うために、オペレータが入力画像７０ｐのぼやけ具合をモニタ画面７３ａで確認しながらカメラ７１の位置を調整する必要があるため、カメラ７１が設置されている位置と画像表示装置７３が設置されている位置とが離れている場合にはピント調整は困難であった。
【０００８】
本発明は、このような従来の課題を解決するためになされたもので、画像表示装置を用いずに撮像手段の位置調整を行うことができ、かつ対象物の種類や使用環境に応じて最適な撮像条件を設定することができる画像処理装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明による画像処理装置は、レンズおよび半透過鏡を通して対象物の光学像を撮像する撮像手段と、半透過鏡およびレンズに導かれて対象物上の検査領域に検査領域画像を投影し、対象物上のモデル登録領域に登録領域画像を投影する投影手段と、レンズの周囲に設置され対象物を照明する照明手段と、撮像条件を変化させてモデル登録領域の画像を撮像して特徴量を計測し、当該計測結果から最適な画像を抽出し、当該最適な画像を撮像した撮像条件を対象物を検査するときの撮像条件として記憶するコントロール部とを備えて、モデル画像と検査領域の画像との比較により対象物の検査や計測処理を行うことを特徴とするものである。
【００１０】
本発明によれば、投影手段によって対象物上の所定領域に投影画像を投影し、この投影画像のぼやけ具合を目視観察しながら画像の輪郭がシャープになるように撮像手段の位置調整を行うことができる。また、こうして位置調整を行った後に撮像条件（例えば、撮像手段の受光時間や対象物上の照度）を変化させ、各撮像条件で撮像した画像に対して特徴量を計測し、その計測結果から最適な画像を抽出し、そのときの撮像条件を対象物を検査等する際の撮像条件として設定することができる。
【００１１】
【発明の実施の形態】
図１は、本発明による画像処理装置の一実施の形態を示すブロック図で、検査や計測等の対象となる対象物１を撮像する撮像ヘッド部２と、この撮像ヘッド部２の駆動制御および撮像ヘッド部２で撮像した画像から対象物１の検査等を行うコントロール部４とを備えている。
【００１２】
撮像ヘッド部２およびコントロール部４はそれぞれ個別の筐体から構成されており、撮像ヘッド部２は対象物１が流れるライン上に設置され、コントロール部４はケーブルを介して撮像ヘッド部２と離間した位置に設置される。
【００１３】
撮像ヘッド部２は、対象物１の像を所定位置に結像させるレンズ２１、入射光の一部を透過し一部を反射する半透過鏡としてのハーフミラー２２、レンズ２１およびハーフミラー２２を透過した対象物１の像が結象される撮像手段としての撮像素子（例えば、２次元ＣＣＤ撮像デバイス）２３を備え、それぞれ光軸Ｌ１上にこれらの順に設置されている。
【００１４】
また、ハーフミラー２２の反射方向である光軸Ｌ２上には、対象物１の検査面１１に所定形状の像を投影させる投影手段２４が設置されている。この投影手段２４は投影用光源（例えば、発光ダイオード）２４ａとスリット板２４ｂとからなり、投影用光源２４ａから発せられた光がスリット板２４ｂに穿設したスリットを透過してハーフミラー２２で反射し、レンズ２１を通って対象物１に達するようになっている。
【００１５】
撮像素子２３およびハーフミラー２２間の距離と、スリット板２４ｂおよびハーフミラー２２間の距離とは同一距離に設定されているので、スリット板２４ｂの像が対象物１の検査面１１にピントが合った状態で結像されれば、対象物１の像が撮像素子２３の撮像面にピントが合った状態で結象されることになる。
【００１６】
レンズ２１の周囲には対象物１の検査面１１を照明する照明手段として照明用光源（例えば、発光ダイオード）２５が多数配置されている。図２はその様子を示す撮像ヘッド部２の正面図で、レンズ２１の周囲に１６個の照明用光源２５が配置された一例を示している。
【００１７】
また、撮像ヘッド部２は投影用光源２４ａを駆動制御する投影ドライバ２６、照明用光源２５を駆動制御する照明ドライバ２７、撮像素子２３で撮像した画像を同期信号の付加された映像信号としてコントロール部４に送出する撮像コントローラ２８を備えている。
【００１８】
なお、撮像素子２３と投影手段２４との位置は入れ替えてもよい。すなわち、投影手段２４を光軸Ｌ１上に、撮像素子２３を光軸Ｌ２上に配置するようにしてもよい。
【００１９】
また、半透過鏡としてハーフミラーに代えてダイクロイックミラーを用いるようにしてもよい。ハーフミラーは入射光の一部を透過し残りは反射する性質を有するので、透過光量および反射光量の双方が減少する。これに対してダイクロイックミラーは光の干渉を利用して可視光域の一部を選択的に反射し、残りは透過するので、高価ではあるが投影用光源２４の投光量や撮像素子２３の受光量の減衰を少なくすることができる。
【００２０】
次に、コントロール部４は、撮像ヘッド部２からの映像信号をディジタル画像信号に変換するアナログ／ディジタル（Ａ／Ｄ）変換器４１を備え、Ａ／Ｄ変換器４１の出力はシステムバス４２に接続されている。
【００２１】
システムバス４２には、装置全体を制御するＣＰＵ４３、ＣＰＵ４３を作動させるプログラムデータおよび各種データが記憶された読出専用メモリ（ＲＯＭ）４４、処理中のデータを一次的に記憶する読出／書込メモリ（ＲＡＭ）４５、撮像ヘッド部２を制御するコントロール信号を出力するコントロール信号発生部４６、対象物１を検査するときの基準となるモデル画像を記憶するモデルメモリ４７、対象物１を撮像して得た入力画像を記憶する画像メモリ４８、入力画像とモデル画像との比較など各種のディジタル画像処理を実行する画像処理部４９、モデル画像の登録および対象物１の検査・計測等を指示する操作部５０、対象物１の判定結果等を出力する出力部５１が接続されている。なお、撮像画像をモニタ画面に表示するための画像表示装置は備えていない。
【００２２】
図３は、スリット板２４ｂの構成図である。スリット板２４ｂは光を遮断する平板に光を透過する複数のスリットＳＬ１〜ＳＬ５を穿設したものである。スリットＳＬ１〜ＳＬ５のうち細い帯状の４つのスリットＳＬ１〜ＳＬ４は対象物１の検査面１１の検査領域に検査領域画像を投影するためのものであり、中央の方形のスリットＳＬ５は対象物１の検査面１１のモデル登録領域に登録領域画像を投影するものである。
【００２３】
この構成において、ライン（図示せず）上を移送されてくる対象物１を撮像して検査等をする場合、初期設定として撮像ヘッド部２のセッティングを行う。このセッティングは、図４に示すように、ライン上に停止した基準となる対象物１の検査面１１に対し、光軸Ｌ１が垂直になるように撮像ヘッド部２をセットし、検査面１１の検査領域に投影画像２４ｐが結像されるように撮像ヘッド部２の位置を上下左右に調整する。
【００２４】
次いで、投影画像２４ｐのぼやけ具合を目視観察し、画像の輪郭がシャープになるように距離Ｄを調整する。図５にその様子を示す。距離Ｄはレンズ２１の焦点距離によって定まる。こうして、オペレータは画像表示装置を用いることなく対象物１の検査面１１に投影された投影画像２４ｐのぼやけ具合を目視観察しながら撮像ヘッド部２の位置調整を行うことができる。
【００２５】
また、照明用光源２５を駆動して対象物１の検査面１１を照明しながら行うことができる。図６にその様子を示す。この例では、投影用光源２４ａの発光周波数を緑色領域とし、照明用光源２５の発光周波数を赤色領域としているので、赤色の照明光で照射された対象物１の検査面１１上に緑色の投影画像２４ｐが照射されることになり、目視観察しやすくなる。
【００２６】
次に、対象物１の検査等を行う際の基準となるモデル画像の登録を行う。これは対象物１の検査面１１に投影した登録領域画像（スリットＳＬ５による投影画像）で示されるモデル登録領域を撮像素子２２で撮像し、コントロール部４のモデルメモリ４７に記憶する処理である。
【００２７】
具体的には、基準となる対象物１を撮像素子２２で撮像し、得られた撮像信号を映像信号に変換しコントロール部４に送出する。コントロール部４では、Ａ／Ｄ変換器４１で映像信号をディジタル画像信号に変換し、画像メモリ４８に記憶する。そして、画像メモリ４８に記憶した画像の中からモデル登録領域に相当する位置の画像を読み出し、モデルメモリ４７にモデル画像として記憶する。
【００２８】
このモデル画像を登録する際に、種々の撮像条件でモデル登録領域の画像を撮像し、最適な画像をモデル画像として登録する処理を行う。すなわち、この画像処理装置は画像表示装置を備えていないため、撮像ヘッド部２で撮像した対象物１の画像をモニタ画面に写し出すことができない。このため、オペレータはモニタ画面を見ながら対象物１の種類や使用環境によって異なる入力画像の濃度分布を調整し、最適な撮像条件に設定することができない。
【００２９】
そこで、モデル登録領域の画像を撮像する際に撮像条件（例えば、撮像素子２２の受光時間や検査面１１の照度）を時系列に何段階かに変化させ、各撮像条件で撮像したモデル登録領域の画像に対して特徴量を計測し、その計測結果から最適な画像を抽出し、そのときの撮像条件を対象物１を検査等する際の撮像条件として選択するようにしている。
【００３０】
撮像条件を変化させる一例としては、図７に示すように、垂直同期信号ＶＤ（図ａ）の開始時点ｔ３より１２Ｈ（１Ｈは１水平期間）前の時点ｔ２から１Ｈ（２８．８μｓｅｃ）ずつ１２段階（最小２８．８μｓｅｃ〜最大３４５．６μｓｅｃ）で撮像素子２３の受光時間（図ｃ）を時系列に切り換え、同時に照明用光源２５の発光時間（図ｄ）も１Ｈずつ１２段階で切り換える。
【００３１】
そして、各段階で撮像した画像の特徴量を計測し、最適な特徴量を有する画像をモデル画像として抽出する。そして、そのときの受光時間および発光時間を最適な撮像条件として、対象物１の検査・計測等を行う際の撮像条件とする。
【００３２】
なお、図ｂは水平同期信号ＨＤ、図ｅは投影用光源２４ａの投影時間である。この投影時間は時点ｔ１（＜ｔ２）から時点ｔ４（＞ｔ３）までの１４Ｈの間は消灯し、その他の間は点灯する。これによって撮像素子２２が投影画像２４ｐを撮像しないようにしている。また、受光時間（図ｃ）の前後に２４．６μｓｅｃと６．５μｓｅｃのマージンを取り、受光時間が発光時間（図ｄ）より長くなるようにしている。
【００３３】
対象物１の検査面１１の照度を変化させる例としては、照明用光源２５を駆動する駆動電流値を切り換えて発光体の輝度を切り換えるようにしてもよい。あるいは複数個の照明用光源２５の中で発光させる発光体の個数を変化させるようにしてもよい。
【００３４】
計測する特徴量としては、例えば濃度ヒストグラムを使って濃度分散値Ｖを求め、この濃度分散値Ｖが最大となる画像を選択する。濃度分散値Ｖはある領域の画像に対して各画素の濃度値ｉ（ｉ＝０〜２５５）と画素数Ｐｉを求め、全画素数をＮとし、濃度平均値をμとした場合に、次の式から求まる値である。濃度分散値Ｖが最大となる画像は、他の画像に比べてコントラストが高い最適な画像となる。
【００３５】
【数１】

こうして撮像ヘッド部２のセッティング、最適な撮像条件の設定、モデル画像の登録といった初期設定が終了すると、ラインを起動し、ライン上を移送されてくる対象物１の検査・計測等を開始する。
【００３６】
対象物１が到来すると対象物１の検査面１１の検査領域を設定した撮像条件で撮像素子２２を撮像し、撮像コントローラ２８からコントロール部４に映像信号として出力する。コントロール部４では、映像信号をＡ／Ｄ変換器４１でディジタル画像信号に変換し、画像メモリ４８に記憶する。
【００３７】
次いで、画像メモリ４８に記憶した画像中の検査領域画像と、モデルメモリ４７に記憶されているモデル画像とを比較し、対象物１の検査・計測処理を行う。比較方法としては、モデル画像を検査領域の画像に対して１画素ずつずらしながら端から端までを順次比較し、一致点を検索する２値化サーチまたはグレイサーチを行う。
【００３８】
図８はその様子を示し、アルファベットＡ，Ｂ，Ｃが描かれた検査領域画像２４ｑをアルファベットＡの描かれたモデル画像２４ｒによって左上端部から右下端部に至るまでサーチし、アルファベットＡの有無を検査する例である。各位置毎に正規化相関演算を行い、相関値が基準値を越えた位置にモデル画像と同一の画像、すなわちアルファベットＡの画像があることを示している。
【００３９】
【発明の効果】
本発明の画像処理装置によれば、画像表示装置を用いることなく、対象物に投影される投影画像を目視観察しながら撮像手段の位置を調整することができ、かつ撮像条件を自動的に変化させ各撮像条件で撮像した画像の中から最適な画像を抽出し、そのときの撮像条件で対象物を検査等する際の撮像条件とするので、画像表示装置を用いることなく、対象物の種類や使用環境によって異なる入力画像の濃度分布に適した撮像条件で対象物の検査等を行うことができる。
【図面の簡単な説明】
【図１】本発明による画像処理装置の一実施の形態を示すブロック図である。
【図２】レンズと照明用光源との位置関係を示す正面図である。
【図３】スリット板の構成図である。
【図４】対象物と撮像ヘッド部との位置関係を示す斜視図である。
【図５】対象物に投影された投影手段の画像を示す説明図である。
【図６】投影用光源の投光色と照明用光源の照明色とを異ならせて対象物の検査面を照射している様子を示す説明図である。
【図７】撮像素子の受光時間および照明用光源の発光時間を変化させる様子を示すタイミング図である。
【図８】検査領域画像をモデル画像によってサーチする様子を示す説明図である。
【図９】従来の画像検査装置のブロック図である。
【符号の説明】
１対象物
２撮像ヘッド部
４コントロール部
２１レンズ
２２ハーフミラー
２３撮像素子
２４投影手段
２４ａ投影用光源
２４ｂスリット板
２４ｐ投影画像
２４ｑ検査領域画像
２４ｒモデル画像
２５照明用光源
２６投影ドライバ
２７照明ドライバ
２８撮像コントローラ
４１Ａ／Ｄ変換器
４６コントロール信号発生部
４７モデルメモリ
４８画像メモリ
４９画像処理部
Ｌ１，Ｌ２光軸
ＳＬ１〜ＳＬ５スリット

Claims

レンズおよび半透過鏡を通して対象物の光学像を撮像する撮像手段と、
前記半透過鏡および前記レンズに導かれて前記対象物上の検査領域に検査領域画像を投影し、前記対象物上のモデル登録領域に登録領域画像を投影する投影手段と、
前記レンズの周囲に設置され前記対象物を照明する照明手段と、
撮像条件を変化させてモデル登録領域の画像を撮像して特徴量を計測し、当該計測結果から最適な画像を抽出し、当該最適な画像を撮像した撮像条件を前記対象物を検査するときの撮像条件として記憶するコントロール部と、
を備えて、モデル画像と検査領域の画像との比較により対象物の検査や計測処理を行うことを特徴とする画像処理装置。
請求項１において、変化させる撮像条件は撮像手段の受光時間であることを特徴とする画像処理装置。
請求項１において、変化させる撮像条件は照明手段の発光時間であることを特徴とする画像処理装置。
請求項１において、変化させる撮像条件は照明手段の輝度であることを特徴とする画像処理装置。
請求項１において、変化させる撮像条件は照明手段の発光体数であることを特徴とする画像処理装置。