JP2021015035A - 画像表示装置の画像検査方法及び画像検査装置 - Google Patents

Abstract

【課題】 画像表示装置の表示部に検査パターンを表示して画像表示装置の表面光学部材を検査する際に、表示部と表面光学部材との間には接眼レンズなどの光学系を有する場合があり、検査パターンが被検査面である表面光学部材において所望の大きさで投影されない場合がある。【解決手段】 画像表示装置の記憶部に表示部の表示画像と被検査面の撮像画像の大きさの関係を確認するための調整パターン画像と自動で表示するプログラムを登録し、調整パターン画像を被検査面に投影して撮像することで表示部の表示画像と被検査面である表面光学部材の撮像画像の大きさの関係を確認する。大きさ関係を調整済みの検査パターン画像を表示して被検査面に投影し、被検査面を分割露光して撮像を行う。取得した撮像画像群の中から取捨選択を行って合成処理を行うことにより、欠陥候補を抽出して良否判定を行う。【選択図】 図４

Description

本発明は、例えば電子ビューファインダといった画像表示装置の表面光学部材に発生するキズや汚れといった欠陥を検出する画像検査方法及び画像検査装置に関するものである。

ミラーレスカメラに搭載される電子ビューファインダといった画像表示装置の外面に露出している表面光学部材は、汚れや傷といった欠陥が発生する可能性が高く、製造工程内の作業者による目視検査が行われていることがある。この目視検査を自動化するために画像センサや画像処理システムを用いた画像検査装置の検討が行われている。たとえば、下記特許文献１の画像検査装置では、明暗パターンを連続的に変化できる専用照明の準備を行い、明暗パターンを切り替えながら被検物である光学部材に照射して撮像を行う。そして明暗パターンが投影された被検体の撮像画像同士を合成処理することにより汚れや傷といった欠陥を検出して画像上の欠陥の面積といった特徴量を元に良否判定を行っている。

特表２００８−５０１９６０号公報

このように、従来技術では、明暗パターンを連続的に切り替えながら表示できる専用照明を準備する必要があり、簡便に検査できなという問題がある。そこで電子ビューファインダといった被検体である画像表示装置自身の液晶パネルや有機ＥＬパネルといった表示部に明暗パターンの表示を行うことによって検査を行う。しかしながら、表示部と被検査面である表面光学部材との間には接眼レンズなどの光学系を有する場合があり、表示部に表示した明暗パターンが、被検査面である表面光学部材において所望の大きさに投影されない場合がある。また明暗パターンの切り替えと撮像のタイミングを取るためのシステムを準備する必要もあり、検査を行うための準備が容易でない。

本発明はこのような問題を解決するためになされたもので、電子ビューファインダといった、画像表示装置の外面に露出している表面の光学部材の欠陥を簡便に検出する画像検査方法及び画像検査装置を提供することを目的とする。

上記の目的を達成すべく本発明では、被検物である画像表示装置の表面光学部材の撮像画像に基づいて前記被検物を検査するための方法であって、画像表示装置の記憶部に、表示部の表示画像と被検査面の撮像画像の大きさの関係を確認するための調整パターン画像と前記調整パターン画像を自動で表示するプログラムを登録する工程と、前記調整パターン画像を前記表示部に表示して被検物に投影して撮像することにより前記表示画像と被検物の撮像画像との大きさの関係を確認する工程と、前記記憶部に、撮像画像との大きさの関係を調整済みの検査パターン画像と前記検査パターン画像を自動で表示して予め指定した時間で切り替えるプログラムを登録する手段と、前記検査パターン画像を表示部に表示して被検物に投影して、前記被検物を分割露光によって複数回撮像する工程と、複数枚の撮像画像から検査に利用できない画像を取り除いて、同じ検査パターン画像を選択して合成処理を行い、さらに検査パターン画像同士を合成して検査パターン合成画像を作成する工程と、前記検査パターン合成画像から欠陥検出処理を行う工程と、有していることを特徴とする画像検査方法を採用した。

以上説明したように本発明によれば、画像表示装置の表示部と被検査面になる表面光学部材との間に接眼レンズなどの光学系を有する場合においても、表示部の検査パターン画像を被検査面において所望の大きさで投影することが可能となる。また検査パターンを投影した被検査面を分割露光することにより複数枚の撮像画像を取得し、その中から取捨選択して画像同士を合成処理することにより、検査パターンの切り替えと撮像のタイミングを気にせずに検査を行うことが可能となる。

実施形態における画像検査方法を実行する画像検査装置１の概略構成図である。 実施形態における表示部３０１ｃの表示画像と撮像画像の大きさの関係を確認するための調整パターン画像の例図である。 実施形態における調整パターンが投影された電子ビューファインダ３０１の被検査面である表面ガラス３０１ａの撮像画像の例図である。 実施形態における検査パターン画像の例図である。 実施形態における検査パターン画像の黒領域開始位置の説明図である。 実施形態における画像検査装置１による画像検査フローチャートである。 実施形態における図６のステップＳ１０４の画像検査処理、ステップＳ１０５の良否判定の詳細を示すフローチャートである。 実施形態における同一検査パターンの撮像画像群を１枚の検査パターン画像に合成した際の例図である。

以下に本発明の画像表示装置の画像検査方法及び画像検査装置の実施形態を示すが、以下の実施形態で本発明の内容が限定されるものではない。

（第１の実施形態）
図１は本発明の実施形態としての画像検査方法を実行する画像検査装置１の概略構成図である。画像検査装置１は、画像撮像部１００と画像処理システム２００とを有する。画像撮像部１００は、カメラ１０１、被検物としてのミラーカメラ本体３００を載置される載置台１０２を有する。カメラ１０１、載置台１０２は、それぞれフレーム部１０３に固定されている。カメラ１０１は、対物レンズユニット１０１ａとセンサ部１０１ｂとを有する。

ミラーレスカメラ本体３００は、電子ビューファインダ３０１、記憶部３０２を有する。電子ビューファインダ３０１は、被検査面である表面ガラス３０１ａ、接眼レンズ群３０１ｂ、表示部３０１ｃを有する。

画像処理システム２００は、画像撮像部１００より送信された画像データを処理して、後述する表面ガラス３０１ａの良否判定を行うプロセッサ２０１と、を有する。そして撮像画像部１００より送信された画像データやプロセッサ２０１による画像処理結果等を表示可能なモニタ２０２と、を有する。なお、本実施形態における「プロセッサ２０１による画像処理結果」には、２値化やラベリング処理等が行われた後の画像と、表面ガラス３０１ａが良品であるか不良品であるかどうかの判定結果等の画像計測結果との双方が含まれる。以上のように構成された画像検査装置１による、表面ガラス３０１ａの検査手順について図面を用いて説明する。

まず表示部３０１ｃの表示画像と撮像画像の大きさの関係を確認するための調整方法について説明を行う。図２は表示部３０１ｃの表示画像と撮像画像の大きさの関係を確認するための調整パターン画像である。調整パターン画像は、白、黒、白のストライプ画像であり、既知の寸法情報として黒領域の幅ｗを設定する。ミラーレスカメラ本体３００の記憶部３０２に前記調整パターン画像と自動でパターンを表示するプログラムを登録して起動することにより電子ビューファインダ３０１の表示部３０１ｃに調整パターンを表示する。調整パターンが表示されたミラーレスカメラ本体３００を画像検査装置１の載置台１０２に載置する。画像検査装置１を起動し、調整パターンが投影された電子ビューファインダ３０１の被検査面である表面ガラス３０１ａの画像をカメラ１０１で撮像する。

図３は調整パターンが投影された電子ビューファインダ３０１の被検査面である表面ガラス３０１ａの撮像画像である。図３上の撮像画像の調整パターンの黒領域の幅Ｗを測定する。黒領域の幅Ｗの測定は撮像画像上の黒帯部分の幅方向の画素数をカウントする。前記既知の寸法である調整パターン画像の黒領域の幅ｗと撮像画像上の調整パターンの黒領域の幅Ｗを用いて、表示画像と撮像画像の大きさの関係を表す倍率α ＝ Ｗ ／ ｗを求める。この倍率αを用いて、被検査面で所望の位置、大きさに投影される検査パターン画像を作成する。

次に、検査パターン画像を作成するための手順について説明する。図４は作成する検査パターン画像であり、白、黒、白のストライプ画像の黒部分の開始位置を変えた画像をｎ枚準備する。黒領域が撮像画像上の検査面全体に行き渡るように黒領域の位置が異なる検査パターン画像を切り替えて電子ビューファインダ３０１の表示部３０１ｃに表示する。尚、図４とこの後の説明は検査パターン画像の枚数ｎ＝２の条件で示す。図４（ａ）は検査パターン画像１における表示部３０１ｃと、表面ガラス３０１ａを示した図である。図４（ｂ）は検査パターン画像２における表示部３０１ｃと、表面ガラス３０１ａを示した図である。まず検査パターン画像の黒領域の幅ａを決定するために、図３上の撮像画像の被検査面の幅Ｄを測定する。

被検査面の幅Ｄの測定は、撮像画像上の被検査面である表面ガラス部分の幅方向のエッジ端からエッジ端の距離を画素数としてカウントする。測定した被検査面の幅Ｄから１枚の検査パターン画像で対応する撮像画像上の黒領域の幅Ａを設定する。Ａは、Ａ＞Ｄ／２とする。設定したＡに対して、表示画像と撮像画像の大きさの関係を表す倍率αを用いて、ａ＝α×Ａとして検査パターン画像の黒領域の幅ａを決定する。

次に、検査パターン画像の黒領域開始位置ｏ１，ｏ２は、図５に示すように黒領域が重なりあうように表示画像上の画像中心に移動量ｍだけずらした位置に設定する。そのために、まず移動量ｍを求める必要がある。図５（ａ）が検査パターン画像１の時、図５（ｂ）が検査パターン画像２の時を示した図である。図５に示す移動量ｍを求めるために、撮像画像上の被検査面の幅Ｄと１枚の検査パターン画像で対応する撮像画像上の黒領域の幅Ａを利用して、撮像画像上での移動量Ｍ＝（２×Ａ−Ｄ）／２を求める。求めたＭに対して、表示画像と撮像画像の大きさの関係を表す倍率αを用いて、ｍ＝α×Ｍとして検査パターン画像の表示画像上の移動量ｍを求める。この表示画像上の移動量ｍを利用して、図５上の検査パターン画像の黒領域開始位置ｏ１＝（ｈ−ｍ）／２−ａ，ｏ２＝（ｈ−ｍ）／２と決定する。尚、ｈは表示画像の高さである。

以上のように作成した検査パターン画像をミラーレスカメラ本体３００の記憶部３０２に登録する。次に、ミラーレスカメラ本体３００の記憶部３０２に登録する検査パターン画像の切り替えタイミングの時間ｔ、画像検査装置１のカメラ１０１の露光時間ｅと撮像枚数ｉの設定方法について説明を行う。まずカメラ１０１の露光時間は、対象とする汚れや傷といった欠陥を可視化できる最小の露光時間ｅに設定する。この設定した露光時間ｅの画像をｉ枚連続で撮像する設定を行い、分割して露光をしながら複数回撮像を行う。そして、検査パターン画像の切り替えタイミングの時間ｔはｔ＝ｅ×ｉ／２に設定する。尚、説明は撮像画像の枚数ｉ＝６の条件で示す。切り替えタイミング時間ｔで設定した検査パターン切り替えプログラムをミラーレスカメラ本体３００の記憶部３０２に登録して起動することにより、電子ビューファインダ３０１の表示部３０１ｃに検査パターン画像を切り替えながら表示する。

図６は画像検査装置１による画像検査フローである。電子ビューファインダ３０１の被検査面である表面ガラス３０１ａの検査手順について図６を用いて説明する。画像検査装置１を起動し、Ｓ１０１の通り検査パターン画像が表示されたミラーレスカメラ本体３００を画像検査装置１の載置台１０２に載置する。

次いで、Ｓ１０２に進み、検査パターン画像が投影された電子ビューファインダ３０１の表面ガラス３０１ａを撮像する。検査パターンからの投影光によって照明された表面ガラス３０１ａに欠陥がある場合、光を散乱させて欠陥のみを明るく浮かび上がらせる。

ステップＳ１０３では、指定撮像枚数ｉだけ複数回撮像を行ったどうかを判定する。表面ガラス３０１ａの撮像が終了したのであれば（Ｓ１０３：ＹＥＳ）、ステップＳ１０４に進み、画像処理を行う。表面ガラス３０１ａの撮像がまだ終了していないのであれば（Ｓ１０３：ＮＯ）、Ｓ１０２に戻り、引き続き撮像を続ける。表面ガラス３０１ａを上記のように撮像することによって得られる画像は、デジタル画像データとして画像処理システム２００のプロセッサ２０１に送信される。

ステップＳ１０４では、プロセッサ２０１はこのデジタル画像データを処理して、表面ガラス３０１ａ上の欠陥候補を抽出し、欠陥候補の点数化を行い、欠陥検出を行う。そして算出した点数が許容範囲であるかどうかの良否判定をＳ１０５のステップで行う。ステップＳ１０４の画像検査処理、Ｓ１０５の良否判定に関しては、後に記述する。表面ガラス３０１ａが良品であるか（Ｓ１０５：Ｙｅｓ）、不良品であるか（Ｓ１０５；Ｎо）を判別し、画像処理システム２００に判定結果の記録を行う。そして図示しない機構によりミラーレスカメラ本体３００を載置した載置台を画像検査装置１から取り出す。以上が画像検査装置１および該装置を用いた載置の検査手順の概要である。

次に、ステップＳ１０４で行われる画像検査処理とステップＳ１０５で行われる良否判定について詳説する。図７は、図６のステップＳ１０４の画像検査処理、ステップＳ１０５の良否判定の詳細を示すフローチャートである。以下、フローチャートおよびそれに関連する図を参照にして画像検査処理と良否判定について説明する。

まずステップＳ２０１により、画像検査処理に利用できない検査パターン切り替え中の撮像画像を除く取捨選択処理を実行する。取捨選択する方法としては、検査パターンが投影された表面ガラス３０１ａの撮像画像を２値化処理し、検査パターンの明領域の面積を特徴として画像検査処理に利用できるかできないかを判別する。

次にステップＳ２０２により、取捨選択した撮像画像群の中から同じ検査パターンが投影された表面ガラス３０１ａの撮像画像を分別する。分別方法としては、撮像画像の中の任意の１枚をテンプレート画像として登録し、残りの撮像画像群に対してパターンマッチング処理を行って類似度を計算する。任意の閾値以上の類似度の撮像画像をテンプレート画像と同一パターンとして登録する。この処理をすべての撮像画像が分別されるまで行って同一検査パターンの撮像画像群を作成する。

ステップＳ２０３では、図８に示すように同一検査パターンの撮像画像群を１枚の検査パターン画像に合成する。この検査パターン画像は、画像群の同一画素の値を加算処理した値を合成画像の画素として作成する。

次にステップＳ２０４では検査パターン画像をさらに１つの画像に合成する検査パターン合成画像を作成する。このステップでは表面ガラス３０１ａから欠陥候補を抽出したいため、図８に示すように欠陥候補と背景の輝度コントラストが高く取れる検査パターンの黒領域が被検査面全体になるように合成処理を行う。検査パターン合成画像は、検査パターン画像の同一画素の値の中から最小値を選択して検査パターン合成画像の画素として作成する。

次にステップＳ２０５にて、各画素の輝度が検査パターン合成画像の平均輝度を基準として設定された輝度範囲内に含まれない場合に当該画素を欠陥候補として２値化処理を行い、１又は複数の各欠陥画素からラベリング処理によって欠陥候補を形成する。

ステップＳ２０６では、ステップＳ２０５において検査パターン合成画像上の形成された欠陥候補の特徴量を計算する。ここでの特徴量とは、欠陥候補と考えられる連結成分を構成する画素数である面積である。

後は、ステップＳ２０７にて欠陥候補を評価し良否判定を行う。ここで、ステップＳ２０７は、図６におけるステップＳ１０５を詳細に示したものである。ステップＳ２０７は欠陥候補の面積による判定による判定である。各欠陥候補の面積が所定のしきい値を超えた場合、表面ガラス３０１ａを不良と判断し結果を出力する。

以上、本実施形態では、被検体であるミラーレスカメラ本体３００に、調整パターン画像、検査パターン画像、表示切替プログラムを内蔵している。これにより、被検体に内蔵された光学系の影響を受けることなく、被検体であるミラーレスカメラ本体３００の表面ガラス３０１ａの検査を行うことができる。

上述した実施形態の処理手順は具体的には画像処理システム２００により実行されるものとして説明した。しかし、上述した機能を実行可能なソフトウェアの制御プログラムおよびそのプログラムを記録した記録媒体を外部入力装置に搭載させて実施しても良い。

従って上述した機能を実行可能なソフトウェアの制御プログラムおよびそのプログラムを記録した記録媒体、通信装置は本発明を構成することになる。

また、上記実施形態では、コンピュータで読み取り可能な記録媒体がＲＯＭ或いはＲＡＭであり、ＲＯＭ或いはＲＡＭに制御プログラムが格納される場合について説明したが、本発明はこのような形態に限定されるものではない。

本発明を実施するための制御プログラムは、コンピュータ読み取り可能な記録媒体であれば、いかなる記録媒体に記録されていてもよい。例えば、制御プログラムを供給するための記録媒体としては、ＨＤＤ、外部記憶装置、記録ディスク等を用いてもよい。

（その他の実施形態）
また上述した実施形態では、フレーム部１０３にカメラ１０１を設ける場合を説明したが、これに限定されるものではない。例えば、カメラ１０１を所定のロボット装置に設ける場合も考えられる。その際ロボット装置の形式として、垂直多軸構成や、パラレルリンク型など種々の形式の関節においても実施することができる。

また上述した実施形態は、制御装置に設けられる記憶装置の情報に基づき、伸縮、屈伸、上下移動、左右移動もしくは旋回の動作またはこれらの複合動作を自動的に行うことができる機械に適用可能である。

なお本発明は、上述した実施形態に限定されるものではなく、本発明の技術的思想内で多くの変形が可能である。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されない。

１ 画像検査装置
１００ 画像撮像部
１０１ カメラ
１０１ａ 対物レンズユニット
１０１ｂ センサ部
１０２ 載置台
１０３ フレーム部
２００ 画像処理システム
２０１ プロセッサ
２０２ モニタ
３００ ミラーレスカメラ本体
３０１ 電子ビューファインダ
３０１ａ 表面ガラス
３０１ｂ 接眼レンズ群
３０１ｃ 表示部
３０２ 記憶部

Claims (2)

1. 被検物である画像表示装置の表面光学部材の撮像画像に基づいて前記被検物を検査するための方法であって、
   画像表示装置の記憶部に、表示部の表示画像と被検査面の撮像画像の大きさの関係を確認するための調整パターン画像と前記調整パターン画像を自動で表示するプログラムを登録する工程と、
   前記調整パターン画像を前記表示部に表示して被検物に投影して撮像することにより前記表示画像と被検物の撮像画像との大きさの関係を確認する工程と、
   前記記憶部に、撮像画像との大きさの関係が調整された検査パターン画像と前記検査パターン画像を自動で表示して予め指定した時間で切り替えるプログラムを登録する手段と、
   前記検査パターン画像を表示部に表示して被検物に投影して、前記被検物を分割して露光することによって複数回、撮像する工程と、
   複数の撮像画像から検査に利用できない画像を取り除いて、同じ検査パターン画像を選択して合成処理を行い、さらに検査パターン画像を合成して検査パターン合成画像を作成する工程と、
   前記検査パターン合成画像から欠陥検出の処理を行う工程と、
   有していることを特徴とする画像検査方法。
2. 被検物である画像表示装置の表面光学部材の検査を行う画像検査装置であって、
   前記被検物を撮像する撮像手段と、
   前記被検物が撮像された画像に基づいて前記被検物の良否判定を行う手段と、
   前記良否判定の結果に基づいて出力を行う手段と、を備え、
   前記撮像手段と判定手段が前記請求項１に記載の検査方法にしたがい前記被検物の良否判定を行う、
   ことを特徴とする画像検査装置。

Images