JP5993133B2 - 画像処理センサ、フォーカス調整方法及びコンピュータプログラム - Google Patents

Description

本発明は、複数の合焦候補位置を抽出することができ、抽出した複数の合焦候補位置の中から最適な焦点位置を視認しながら選択することができる画像処理センサ、フォーカス調整方法及びコンピュータプログラムに関する。

検査対象物に欠陥が存在するか否かを検査する場合、検査対象物の外観を撮像装置で撮像し、撮像した画像に基づいて欠陥の存否を判定する。欠陥の存在を正しく判定するためには撮像した画像が鮮明である必要があり、通常はフォーカス調整を行ってから検査対象物を撮像している。フォーカス調整には手動調整と自動調整とがあるが、自動調整の方がユーザにとっては使い勝手が良い。

自動でフォーカス調整を行う場合、矩形領域、円形領域等のフォーカスを調整する調整領域を設定し、設定された調整領域内で撮像される検査対象物について、撮像した画像の合焦度合いを評価し、最も合焦度合いが高い位置を合焦位置として抽出している。例えば特許文献１では、撮像部によるフォーカス（合焦）の度合いを示すフォーカス値を算出して、フォーカス値が最大となる最大フォーカス値を抽出し、最大フォーカス値に対応する最大フォーカス位置まで撮像部を移動させることで、撮像部から検査対象物までの被写体距離を調整する拡大観察装置が開示されている。

特開２００７−３１６４３２号公報

従来、合焦度合いの評価には画像データの高周波成分の多少によって評価していた。つまり、設定された調整領域内の高周波成分が多いほどフォーカスが合っており、少ないほどフォーカスがずれていると評価されていた。

しかし、設定された調整領域内でのみ高周波成分を抽出する場合、調整領域の大きさ、調整領域の周囲のにじみの影響により、意図しない評価がなされる場合が生じうる。図１は、従来の合焦度合いの評価の問題点を説明するための模式図である。

図１（ａ）に示すように、フォーカスが合っていない、いわゆる非合焦状態では、図１（ｂ）に示すフォーカスが合っている、いわゆる合焦状態と比べて、検査対象物の特徴部分５００の周囲ににじみ部分５０１が存在する。この状態で調整領域５０２を設定した場合、図１（ｂ）の合焦状態では、背景色一色であるのに対し、図１（ａ）の非合焦状態では、にじみ部分５０１の存在により背景色と異なる色が混じるので、高周波成分が図１（ｂ）よりも多いと判断される可能性が高く、図１（ａ）に示す非合焦状態の方が合焦度合いが高いと誤認されるおそれがあった。

また、図１（ａ）に示す非合焦状態では、検査対象物の特徴部分５００の周囲に存在するにじみ部分５０１を含む画像となるため、適切な調整領域５０２を設定すること自体が困難である。つまり、にじみ部分５０１がある場合には、ウインドウ（調整領域）の設定によってはフォーカス調整を正しく行うことができない場合が生じうる。さらに、フォーカス調整を行う必要があるということは、フォーカスが合っていないことを意味しており、フォーカスが合っていない状態の画像上で、ユーザにウインドウ（調整領域）の設定作業を強いるため、一層ウインドウ（調整領域）の設定が困難になっていた。

本発明は、上記問題点に鑑みてなされたものであり、検査対象物に複数の合焦候補位置が存在する場合であっても、容易に最適な焦点位置を選択することが可能な画像処理センサ、フォーカス調整方法及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するために第１発明に係る画像処理センサは、検査対象物を含む撮像領域を撮像する撮像部と、該撮像部で撮像した画像を表示するとともに、ユーザ入力を受け付ける表示部と、前記撮像部の焦点位置を調整するフォーカス調整機構とを有し、前記フォーカス調整機構により前記撮像部の焦点位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像に基づいて、前記撮像領域の一部の領域が合焦状態となる焦点位置を合焦候補位置として複数抽出する合焦候補位置抽出手段と、該合焦候補位置抽出手段により抽出した複数の前記合焦候補位置を選択するための合焦候補位置選択受付画面を前記表示部に表示する候補表示手段と、該候補表示手段により表示された前記合焦候補位置選択受付画面上で、複数の前記合焦候補位置の中から一の合焦候補位置に対応する画面位置の選択を受け付ける選択受付手段と、該選択受付手段で前記一の合焦候補位置に対応する画面位置の選択を受け付けた場合、前記撮像部の焦点位置が前記一の合焦候補位置に調整された画像を前記表示部に表示する焦点位置表示手段と、該焦点位置表示手段で前記撮像部の焦点位置が前記一の合焦候補位置に調整された画像上に、前記ユーザ入力に基づき画像処理の種別を表す画像処理ツールを一の検査条件データと対応付けて設定し、前記一の合焦候補位置を前記一の検査条件データと対応付けて設定する条件データ設定手段と、該条件データ設定手段により設定された前記画像処理ツール及び前記一の合焦候補位置をメモリに記憶する記憶手段と、前記フォーカス調整機構により前記撮像部の焦点位置が前記メモリに記憶された前記一の合焦候補位置に合焦した状態で、前記撮像部により撮像される画像に対して前記メモリに記憶された前記画像処理ツールを用いて処理する画像処理手段と、該画像処理手段における処理結果に基づいて、検査対象物の良否を示す判定信号を出力する出力手段とを備えることを特徴とする。

また、第２発明に係る画像処理センサは、第１発明において、前記選択受付手段で前記一の合焦候補位置に対応する画面位置の選択を受け付けた場合、前記フォーカス調整機構により選択を受け付けた前記一の合焦候補位置に前記撮像部の焦点位置が調整されることを特徴とする。

また、第３発明に係る画像処理センサは、第１発明において、前記選択受付手段で前記一の合焦候補位置に対応する画面位置の選択を受け付けた場合、選択を受け付けた前記一の合焦候補位置に前記撮像部の焦点位置を調整した時点で撮像された画像が前記表示部に表示されることを特徴とする。

また、第４発明に係る画像処理センサは、第１乃至第３発明のいずれか１つにおいて、前記条件データ設定手段は、さらに前記撮像部により検査対象物を撮像するタイミングを特定するトリガ条件を前記一の検査条件データと対応付けて設定し、前記記憶手段は、前記条件データ設定手段により設定された前記トリガ条件を前記メモリに記憶し、前記画像処理手段は、前記メモリに記憶された前記トリガ条件に従って前記撮像部により撮像される画像に対して処理を実行することを特徴とする。

また、第５発明に係る画像処理センサは、第１乃至第４発明のいずれか１つにおいて、事前に設定してある前記撮像領域内の複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出する合焦度算出手段を備え、前記合焦候補位置抽出手段は、前記合焦度算出手段により前記小領域ごとに算出した合焦度に基づいて、前記合焦候補位置を抽出することを特徴とする。

また、第６発明に係る画像処理センサは、第１乃至第５発明のいずれか１つにおいて、前記条件データ設定手段により前記画像処理ツール及び前記一の合焦候補位置を設定する設定モードと、前記出力手段により前記判定信号を出力する検査モードとを切り替えるモード切替手段を備え、前記画像処理手段は、前記検査モードにおいて、前記設定モードにて設定された前記一の合焦候補位置に前記撮像部の焦点位置が合焦した状態で、前記撮像部により撮像される画像に対して、前記設定モードにて設定された前記画像処理ツールを用いて処理することを特徴とする。

また、第７発明に係る画像処理センサは、第１乃至第６発明のいずれか１つにおいて、前記候補表示手段は、前記合焦候補位置選択受付画面に複数の前記合焦候補位置に関する合焦候補位置情報を表示し、前記選択受付手段は、前記候補表示手段により前記合焦候補位置情報が表示された前記表示部にて、前記一の合焦候補位置に対応する画面位置の選択を受け付けることを特徴とする。

また、第８発明に係る画像処理センサは、第７発明において、前記候補表示手段は、複数の目盛が前記撮像部の焦点位置に対応付けられたバーを表示するとともに、複数の前記合焦候補位置それぞれを示す複数の図形を前記バーの複数の目盛に対応付けて表示し、前記選択受付手段は、前記複数の図形の中から一の図形の選択を受け付けることを特徴とする。

また、第９発明に係る画像処理センサは、第７発明において、前記候補表示手段は、前記撮像部の焦点位置が複数の前記合焦候補位置それぞれに調整された複数のサムネイル画像を並列表示し、前記選択受付手段は、並列表示された前記複数のサムネイル画像の中から一のサムネイル画像の選択を受け付けることを特徴とする。

次に、上記目的を達成するために第１０発明に係るフォーカス調整方法は、検査対象物を含む撮像領域を撮像する撮像部と、該撮像部で撮像した画像を表示するとともに、ユーザ入力を受け付ける表示部と、前記撮像部の焦点位置を調整するフォーカス調整機構とを有する画像処理センサで実行することが可能なフォーカス調整方法であって、前記画像処理センサは、前記フォーカス調整機構により前記撮像部の焦点位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像に基づいて、前記撮像領域の一部の領域が合焦状態となる焦点位置を合焦候補位置として複数抽出するステップと、抽出した複数の前記合焦候補位置を選択するための合焦候補位置選択受付画面を前記表示部に表示するステップと、表示された前記合焦候補位置選択受付画面上で、複数の前記合焦候補位置の中から一の合焦候補位置に対応する画面位置の選択を受け付けるステップと、前記一の合焦候補位置に対応する画面位置の選択を受け付けた場合、前記撮像部の焦点位置が前記一の合焦候補位置に調整された画像を前記表示部に表示するステップと、前記撮像部の焦点位置が前記一の合焦候補位置に調整された画像上に、前記ユーザ入力に基づき画像処理の種別を表す画像処理ツールを一の検査条件データと対応付けて設定し、前記一の合焦候補位置を前記一の検査条件データと対応付けて設定するステップと、設定された前記画像処理ツール及び前記一の合焦候補位置をメモリに記憶するステップと、前記フォーカス調整機構により前記撮像部の焦点位置が前記メモリに記憶された前記一の合焦候補位置に合焦した状態で、前記撮像部により撮像される画像に対して前記メモリに記憶された前記画像処理ツールを用いて処理するステップと、前記画像処理ツールによる処理結果に基づいて、検査対象物の良否を示す判定信号を出力するステップとを含むことを特徴とする。

次に、上記目的を達成するために第１１発明に係るコンピュータプログラムは、検査対象物を含む撮像領域を撮像する撮像部と、該撮像部で撮像した画像を表示するとともに、ユーザ入力を受け付ける表示部と、前記撮像部の焦点位置を調整するフォーカス調整機構とを有する画像処理センサで実行することが可能なコンピュータプログラムであって、前記画像処理センサを、前記フォーカス調整機構により前記撮像部の焦点位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像に基づいて、前記撮像領域の一部の領域が合焦状態となる焦点位置を合焦候補位置として複数抽出する合焦候補位置抽出手段、該合焦候補位置抽出手段により抽出した複数の前記合焦候補位置を選択するための合焦候補位置選択受付画面を前記表示部に表示する候補表示手段、該候補表示手段により表示された前記合焦候補位置選択受付画面上で、複数の前記合焦候補位置の中から一の合焦候補位置に対応する画面位置の選択を受け付ける選択受付手段、該選択受付手段で前記一の合焦候補位置に対応する画面位置の選択を受け付けた場合、前記撮像部の焦点位置が前記一の合焦候補位置に調整された画像を前記表示部に表示する焦点位置表示手段、該焦点位置表示手段で前記撮像部の焦点位置が前記一の合焦候補位置に調整された画像上に、前記ユーザ入力に基づき画像処理の種別を表す画像処理ツールを一の検査条件データと対応付けて設定し、前記一の合焦候補位置を前記一の検査条件データと対応付けて設定する条件データ設定手段、該条件データ設定手段により設定された前記画像処理ツール及び前記一の合焦候補位置をメモリに記憶する記憶手段、前記フォーカス調整機構により前記撮像部の焦点位置が前記メモリに記憶された前記一の合焦候補位置に合焦した状態で、前記撮像部により撮像される画像に対して前記メモリに記憶された前記画像処理ツールを用いて処理する画像処理手段、及び該画像処理手段における処理結果に基づいて、検査対象物の良否を示す判定信号を出力する出力手段として機能させることを特徴とする。

第１発明、第１０発明及び第１１発明では、フォーカス調整機構により撮像部の焦点位置を変えながら、撮像部により検査対象物を撮像して取得した複数の異なる画像に基づいて、撮像領域の一部の領域が合焦状態となる焦点位置を合焦候補位置として複数抽出する。抽出した複数の合焦候補位置を選択するための合焦候補位置選択受付画面を表示部に表示し、表示された合焦候補位置選択受付画面上で、複数の合焦候補位置の中から一の合焦候補位置に対応する画面位置の選択を受け付ける。複数の合焦候補位置を抽出して、撮像領域のどの一部の領域が合焦状態であるのか画面上で確認しながらフォーカス調整を行うことができるので、ユーザは、検査対象物の所望の特徴部分が鮮明である画像に対応する合焦候補位置を容易に選択することが可能となる。
また、一の合焦候補位置に対応する画面位置の選択を受け付けた場合に、撮像部の焦点位置が一の合焦候補位置に調整された画像を表示部に表示し、撮像部の焦点位置が一の合焦候補位置に調整された画像上に、ユーザ入力に基づき画像処理の種別を表す画像処理ツールを一の検査条件データと対応付けて設定し、一の合焦候補位置を一の検査条件データと対応付けて設定する。設定された画像処理ツール及び一の合焦候補位置をメモリに記憶し、フォーカス調整機構により撮像部の焦点位置がメモリに記憶された一の合焦候補位置に合焦した状態で、撮像部により撮像される画像に対してメモリに記憶された画像処理ツールを用いて処理し、処理結果に基づいて、検査対象物の良否を示す判定信号を出力する。これにより、合焦候補位置に対応する画像を表示することができ、選択を受け付けた撮像領域が正しいか否かを目視で確認することが可能となる。

第２発明では、一の合焦候補位置に対応する画面位置の選択を受け付けた場合、フォーカス調整機構により選択を受け付けた一の合焦候補位置に撮像部の焦点位置が調整されるので、選択された一の合焦候補位置に対応する画像を表示することができ、選択を受け付けた撮像領域が正しいか否かを目視で確認することが可能となる。

第３発明では、一の合焦候補位置に対応する画面位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に撮像部の焦点位置を調整した時点で撮像された画像が表示部に表示されるので、所望の特徴部分が鮮明に表示されているか否かを目視で確認することができ、所望の撮像領域に対応した合焦候補位置を容易に選択することが可能となる。

第４発明では、さらに撮像部により検査対象物を撮像するタイミングを特定するトリガ条件を一の検査条件データと対応付けて設定し、設定されたトリガ条件をメモリに記憶し、メモリに記憶されたトリガ条件に従って撮像部により撮像される画像に対して処理を実行するので、トリガ条件に応じた検査条件データで撮像された画像に対して画像処理ができ、高い精度で良否判定をすることが可能となる。

第５発明では、事前に設定してある撮像領域内の複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出し、小領域ごとに算出した合焦度に基づいて、合焦候補位置を抽出するので、合焦状態となる可能性が高い合焦候補位置を抽出することが可能となる。
第６発明では、画像処理ツール及び一の合焦候補位置を設定する設定モードと、判定信号を出力する検査モードとを切り替えることができ、検査モードにおいて、設定モードにて設定された一の合焦候補位置に撮像部の焦点位置が合焦した状態で、撮像部により撮像される画像に対して、設定モードにて設定された画像処理ツールを用いて処理するので、高い精度で良否判定を行うことが可能となる。
第７発明では、合焦候補位置選択受付画面に複数の合焦候補位置に関する合焦候補位置情報を表示し、合焦候補位置情報が表示された表示部にて、一の合焦候補位置に対応する画面位置の選択を受け付けるので、撮像部の焦点位置が合焦する合焦候補位置が表示されている画面から選択することが可能となる。
第８発明では、複数の目盛が撮像部の焦点位置に対応付けられたバーを表示するとともに、複数の合焦候補位置それぞれを示す複数の図形をバーの複数の目盛に対応付けて表示し、複数の図形の中から一の図形の選択を受け付けるので、選択ミスを防ぐことが可能となる。
第９発明では、撮像部の焦点位置が複数の合焦候補位置それぞれに調整された複数のサムネイル画像を並列表示し、並列表示された複数のサムネイル画像の中から一のサムネイル画像の選択を受け付けるので、選択ミスを防ぐことが可能となる。

本発明では、複数の合焦候補位置を抽出して、撮像領域のどの一部の領域が合焦状態であるのか画面上で確認しながらフォーカス調整を行うことができるので、検査対象物の所望の特徴部分が鮮明である画像に対応する合焦候補位置を容易に選択することが可能となる。

従来の合焦度合いの評価の問題点を説明するための模式図である。 本発明の実施の形態に係る画像処理センサの構成を示す模式図である。 本発明の実施の形態に係る画像処理センサの撮像装置の構成を示す外形図である。 本発明の実施の形態に係る画像処理センサの撮像装置のハードウェア構成を示すブロック図である。 本発明の実施の形態に係る画像処理センサの撮像装置のカメラモジュールのフォーカス調整部の構成を示す斜視図である。 本発明の実施の形態に係る画像処理センサの表示装置の構成を示す正面図である。 本発明の実施の形態に係る画像処理センサの表示装置のモード切り換え画面の例示図である。 本発明の実施の形態に係る画像処理センサの表示装置の設定画面の例示図である。 本発明の実施の形態に係る画像処理センサの機能ブロック図である。 本発明の実施の形態に係る画像処理センサの合焦度算出方法を説明するための模式図である。 本発明の実施の形態に係る画像処理センサの、記憶された画像データに基づく合焦度算出方法を説明するための模式図である。 本発明の実施の形態に係る画像処理センサの、算出した合焦度に基づく合焦候補位置の抽出方法を説明するためのテーブルである。 本発明の実施の形態に係る画像処理センサの、算出した合焦度がばらついている場合の合焦候補位置の抽出方法を説明するためのテーブルである。 本発明の実施の形態に係る画像処理センサで作成された高周波抽出画像の例示図である。 画素ごとに合焦度が最大である高周波抽出画像の画像番号を記した合焦度の配置を示す例示図である。 本発明の実施の形態に係る画像処理センサの表示装置のフォーカス自動調整画面の例示図である。 発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のＦＰＧＡ及びＤＳＰのフォーカス自動調整処理の手順を示すフローチャートである。 合焦候補位置情報をタッチパネル上の候補ボタンの選択で表示する場合の、表示装置の合焦候補位置選択受付画面の例示図である。 合焦候補位置の選択をタッチパネル上で合焦対象位置の指定で受け付ける場合の、表示装置の合焦候補位置選択受付画面の例示図である。 合焦状態を順次選択可能とした、表示装置の合焦状態選択受付画面の例示図である。 合焦候補位置ごとに小領域を定める場合の、表示装置の合焦候補位置選択受付画面の例示図である。 本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のＤＳＰの、高周波抽出画像に基づくフォーカス自動調整処理の手順を示すフローチャートである。

以下、本発明の実施の形態に係る画像処理センサについて、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。

図２は、本発明の実施の形態に係る画像処理センサの構成を示す模式図である。図２に示すように、本実施の形態に係る画像処理センサは、撮像装置１と、撮像装置１とデータ通信することが可能に接続ケーブル３で接続されている表示装置２とで構成されている。もちろん、表示装置２の代わりに、ディスプレイを有する外部コンピュータであっても良い。なお、撮像装置１と表示装置２とが一体として構成されていても良い。

撮像装置１は、内部に画像処理を実行するＦＰＧＡ、ＤＳＰ等を備えており、検査対象物を撮像する撮像素子を有するカメラモジュール（撮像部）と、検査対象物に対して光を照射する照明部とを備えている。撮像装置１をコンパクトにするべく、例えば図１に示すように、撮像装置１の正面の中央近傍にレンズ１２を配置し、レンズ１２の周囲を囲むように、照明部として複数のＬＥＤ１１を配置してある。なお、撮像装置１とは別に外部照明（リング照明等）を設けても良い。

図３は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す外形図である。図３（ａ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す正面図を、図３（ｂ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す平面図を、図３（ｃ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す背面図を、それぞれ示している。

図３（ａ）に示すように、撮像装置１はレンズ１２を正面の中央近傍に配置しており、レンズ１２の周囲を囲むように複数のＬＥＤ１１を配置してある。撮像時には、複数のＬＥＤ１１を点灯させることにより、検査対象物を含む撮像領域に光を照射し、検査対象物を含む撮像領域を明瞭に撮像することができる。

図３（ｂ）及び図３（ｃ）に示すように、撮像装置１の背面には、外部の電源から電力の供給を受ける電源ケーブルを接続する電源コネクタ１０２と、表示装置２とデータ通信する接続ケーブル３を接続することが可能な接続コネクタ１０３とを備えている。また、手動でフォーカスを調整することができるフォーカス調整ネジ１０１も背面に備えている。

図４は、本発明の実施の形態に係る画像処理センサの撮像装置１のハードウェア構成を示すブロック図である。図４において、コネクタ基板１６は、電源インタフェース１６１に設けてある電源コネクタ１０２（図３（ｂ）及び図３（ｃ）参照）を介して、外部の電源から電力の供給を受ける。電源基板１８は、供給された電力を各基板に供給する。本実施の形態では、カメラモジュール１４にはメイン基板１３を介して電力を供給している。電源基板１８のモータドライバ１８１は、カメラモジュール１４のモータ１４１に駆動電力を供給し、オートフォーカスを実現している。すなわち、モータドライバ１８１及びモータ１４１は、フォーカス調整機構の一例として機能する。

通信基板１７は、メイン基板１３から出力された欠陥を検出したか否かで検査対象物の良否を示すＯＫ／ＮＧ信号（判定信号）を表示装置２へ送信する。判定信号を受信した表示装置２は、判定結果を表示する。

照明基板（照明部）１５は、検査対象物を撮像する撮像領域に光を照射する。照明基板１５には複数のＬＥＤ１１が設けてあり、図示しないリフレクタはＬＥＤ１１の前方に設けてある。また、レンズ１２は、短距離用又は長距離用のレンズユニットとして交換可能となっている。

カメラモジュール（撮像部）１４は、モータ１４１が回転することにより、オートフォーカス動作の制御を行うフォーカス調整部を備えており、フォーカス調整した後、メイン基板１３からの撮像指示信号に応じて検査対象物を撮像する。本実施の形態では、撮像素子としてＣＭＯＳ基板１４２を備えており、撮像されたカラー画像は、ＣＭＯＳ基板１４２にてダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像へ変換され、メイン基板１３のＦＰＧＡ１３１へ出力される。つまり、ＣＭＯＳ基板１４２は、ＨＤＲ画像を生成・出力する機能を備えており、例えばＨＤＲＣＭＯＳ等がこれに該当する。なお、画像処理センサの撮像装置１には、ＣＭＯＳ基板にてＨＤＲ画像に変換するか否かを切り替える切替部を設けても良い。切替部により、検査対象物を撮像した場合にハレーション等が生じ難いワークが搬送されてきたとき、ＨＤＲ画像を生成しないよう切り替えることができ、ひいては演算処理負荷を軽減することができる。

図５は、本発明の実施の形態に係る画像処理センサの撮像装置１のカメラモジュール１４のフォーカス調整部の構成を示す斜視図である。図５に示すように、カメラモジュール１４のＣＭＯＳ基板１４２にベースマウント１４３を取り付けてある。ベースマウント１４３には、レンズホルダ１４４のレンズ１２を支持するレンズ支持体１２１の上下方向（矢印方向）の動きを検知する上下検知用センサと、レンズ支持体１２１を移動させる機構の一部であるモータ１４１の回転を検知する回転検知用センサとを備えている（図示せず）。

ベースマウント１４３には、レンズ支持体１２１とレンズ支持体１２１を移動させる機構とで構成されたレンズホルダ１４４を取り付けてある。図４に示すように、モータ１４１の回転軸１４１ａに形成された雄ネジと、ナット１４１ｂに形成された雌ネジとが螺合することにより、モータ１４１の回転に応じてナット１４１ｂが矢印方向に直線移動する。ナット１４１ｂはレンズ支持体１２１を下方から押し上げるようになっており、レンズ支持体１２１は図示しない付勢部材により下方へ押し下げられている。したがって、ナット１４１ｂの矢印方向への往復運動をモータ１４１の回転により制御することで、ナット１４１ｂにより付勢部材の付勢力に抗してレンズ支持体１２１を上昇させたり、下降させたりすることができ、レンズ支持体１２１に設けてあるレンズ１２と検査対象物との距離を調整することができる。

図４に戻って、メイン基板１３は、接続してある各基板の動作を制御する。例えば照明基板１５に対しては、複数のＬＥＤ１１の点灯／消灯を制御する制御信号を、ＬＥＤドライバ１５１へ送信する。ＬＥＤドライバ１５１は、ＦＰＧＡ１３１からの制御信号に応じて、例えばＬＥＤ１１の点灯／消灯、光量等を調整する。また、カメラモジュール１４のモータ１４１に対しては、電源基板１８のモータドライバ１８１を介してオートフォーカス動作を制御する制御信号を、ＣＭＯＳ基板１４２に対しては、撮像指示信号等を、それぞれ送信する。

メイン基板１３のＦＰＧＡ１３１は、照明制御、撮像制御をするとともに、取得した画像データに対する画像処理を実行する（画像処理部）。また、メイン基板１３のＤＳＰ１３２は、画像データについて、エッジ検出処理、パターン検索処理等を実行する。パターン検索処理の結果として、欠陥を検出したか否かで検査対象物の良否を示すＯＫ／ＮＧ信号（判定信号）を通信基板１７へ出力する。演算処理結果等はメモリ１３３に記憶される。なお、本実施の形態では、エッジ検出処理、パターン検索処理等の比較的負荷の重い処理をＤＳＰ１３２により実行している。しかし、場合によってはＦＰＧＡ１３１により実行するようにしても良い。要するに、画像処理部は、ＣＭＯＳ基板１４２で取得した画像データに対して何らかの画像処理を実行できれば、それで足りる。

また、本実施の形態では、ＦＰＧＡ１３１が照明制御、撮像制御等を行っているが、これらをＤＳＰ１３２が行うようにしても良い。また、ＦＰＧＡ１３１とＤＳＰ１３２とが一体となった回路、すなわち主制御回路（主制御部）を設けても良い。要するに、主制御部は、複数のＬＥＤ１１の点灯／消灯を制御する制御信号をＬＥＤドライバ１５１へ送信したり、オートフォーカス動作を制御する制御信号を電源基板１８のモータドライバ１８１を介してカメラモジュール１４のモータ１４１へ送信したり、撮像指示信号等をＣＭＯＳ基板１４２へ送信したり、ＦＰＧＡ１３１及びＤＳＰ１３２の双方の機能を有する。

図６は、本発明の実施の形態に係る画像処理センサの表示装置２の構成を示す正面図である。図６に示すように、表示装置２の前面の中央部分にはタッチパネル２１が設けてあり、撮像された検査対象物のカラー画像を画面に表示するとともに、ユーザによる選択入力を受け付ける。

また、表示装置２は、外部の電源から電力が供給される電源ケーブルを接続する電源コネクタ２４と、撮像装置１とデータ通信する接続ケーブル３を接続することが可能な接続コネクタ２５とを備えている。さらにＵＳＢメモリ等と接続することが可能なＵＳＢポート２２を前面に設けてある。

ユーザは、表示装置２のタッチパネル２１の画面に表示されているボタンを選択することにより、画像処理センサの動作を制御する。そして、検査対象物の検査を実行する「検査モード」と、撮像装置１の条件設定を行う「設定モード」との切り換えを行うこともできる。言い換えると、本実施の形態に係る画像処理センサは、検査対象物の良否を判定する検査モード（Ｒｕｎモード）と、検査に用いる各種パラメータ（撮像パラメータ、照明パラメータ、画像処理パラメータ等）の設定を行う設定モード（非Ｒｕｎモード）とを切り替えるためのモード切替部を有している。図７は、本発明の実施の形態に係る画像処理センサの表示装置２のモード切り換え画面の例示図である。

図７（ａ）は、「検査モード」の画面表示の例示図である。図７（ａ）に示すように検査対象物表示領域７１に、撮像装置１が撮像した検査対象物の画像を表示する。左下の「センサ設定」ボタン７２が切換手段として機能し、「センサ設定」ボタン７２が選択された場合、「設定モード」へと切り換わり、図７（ｂ）に示す画面へと画面遷移する。

図７（ｂ）は、「設定モード」の画面表示の例示図である。図７（ｂ）に示すように、プログラム選択領域７３にて、検査対象物の種類を選択する。ここで、「プログラム」とは、検査対象物の種類又は検査環境に応じて設定された一連のデータ群（パラメータ値の組み合わせ）を意味しており、検査対象物の種類ごとに異なるデータ群をプログラムとして記憶することができる。検査対象物の検査する条件に関する検査条件データには、フォーカス調整をする場合にフォーカスが合う位置を示すフォーカス位置データを含んでいる。

また、検査対象物と比較する基準となる代表的画像であるマスタ画像が記憶されている場合、マスタ画像表示領域７４にマスタ画像が表示される。「設定ナビ」ボタン７５が選択された場合、詳細な設定を行う設定画面に画面遷移する。図７（ｂ）の「運転開始」ボタン７６は切換手段として機能し、「運転開始」ボタン７６が選択された場合、「検査モード」へと切り換わり、図７（ａ）に示す画面へと画面遷移する。

図８は、本発明の実施の形態に係る画像処理センサの表示装置２の設定画面の例示図である。図８に示す設定画面を通じて、ユーザは、撮像条件の設定（図８（ａ））から、パターンサーチする基準となるマスタ画像の登録（図８（ｂ））、マスタ画像に対して輪郭サーチ等のツール設定（図８（ｃ）〜図８（ｅ））、出力割当（図８（ｆ））、という流れで順次設定を行う。以下、詳細に説明する。図７（ｂ）に示す「設定ナビ」ボタン７５が選択された場合、まず図８（ａ）に示す撮像条件設定画面が表示される。撮像条件設定画面では、マスタ画像が記憶されていない場合には現在撮像している検査対象物の画像が、マスタ画像が記憶されている場合にはマスタ画像が主表示領域８１に表示され、画面下部に撮像条件を設定する設定ボタン群が表示されている。例えば「トリガ条件」ボタンが選択された場合には、撮像装置１が検査対象物を撮像するタイミングを特定するトリガ条件を設定することができる。詳細な設定画面は省略するが、それぞれのボタンが選択された場合、それぞれの設定条件に応じて図６に示すタッチパネル２１上に表示される。「フォーカス自動調整」ボタン８３が選択された場合については後述する。

また、より詳細な設定をするには、図８（ａ）の「拡張機能」ボタン８２を選択すれば良い。「拡張機能」ボタン８２が選択された場合、詳細な設定を行うためのボタンが別途表示される。このように撮像条件設定画面では、明るさの調整、フォーカスの調整、撮像範囲、照明のオン／オフ、ズームのオン／オフ等を設定することができる。フォーカスの調整については後述する。

図８（ａ）の「進む」と表示された「画面遷移」ボタン８４が選択された場合、図８（ｂ）に示すマスタ画像登録画面が表示される。登録されたマスタ画像上に、以後、検査用の様々なツールを設定する。１つのマスタ画像に対して複数のプログラムを記憶することができる。つまり、同じマスタ画像に対して異なるツールを設定し、異なるプログラムとして記憶しておくことができる。

マスタ画像は、現在撮像している検査対象物の画像を登録しても良いし、以前に撮像しておいた画像から選択して登録しても良い。現在撮像している画像を登録する場合、ユーザは「Ｌｉｖｅ画像登録」ボタン８５を選択すればよい。「Ｌｉｖｅ画像登録」ボタン８５が選択された時点で撮像されている画像がマスタ画像として登録される。

図８（ｂ）の「進む」と表示された「画面遷移」ボタン８６が選択された場合、図８（ｃ）に示すマスタ画像ごとのツール設定画面が表示される。マスタ画像上に、以後、検査用の様々なツールを設定する。

ツール設定画面では、表示されているマスタ画像に、検査を実行するためのツールを追加設定する。図８（ｃ）に示す「追加」ボタン８７が選択された場合、図８（ｄ）に示すツール選択画面が表示される。ツール選択画面で選択されたツールを追加設定する。例えば「輪郭サーチ」ボタン８８が選択された場合、図８（ｅ）に示す輪郭サーチ設定画面が表示される。輪郭サーチ設定画面で、マスタ画像のどの輪郭を撮像された検査対象物の画像と照合するのか設定しておくことにより、欠陥を検出したか否かで検査対象物の良否を判定することができる。以下、色面積、位置補正等の設定をすることができる。

図８（ｃ）の「進む」と表示された「画面遷移」ボタン８９が選択された場合、図８（ｆ）に示す出力割当画面が表示される。「完了」ボタン９０が選択された場合、図７（ｂ）に示す「設定モード」の画面表示に戻る。このように、ユーザは、図６に示す表示装置２のタッチパネル２１上で、「進む」と表示された「画面遷移」ボタン８４、８６、８９を順に選択することで、簡単かつ短時間に、検査に用いる各種パラメータを設定することができる。また、画像処理センサに慣れていないユーザであっても、表示装置２のタッチパネル２１上で次の操作へ誘導されるので、各種パラメータを容易に設定することができる。

図９は、本発明の実施の形態に係る画像処理センサの機能ブロック図である。図９において、撮像部９０１は、検査対象物を含む撮像領域を撮像する。図４のカメラモジュール１４のうち、ＣＭＯＳ基板１４２の機能がこれに相当する。

フォーカス調整部９０２は、検査対象物に対する合焦位置を調整する。フォーカス調整部９０２は、合焦候補位置抽出部９１１、選択受付部９１２、候補表示部９１３、合焦度算出部９１４、合焦位置取得部９１５を備えている。

合焦候補位置抽出部９１１は、フォーカス調整機構により検査対象物に対する合焦位置を変えながら、カメラモジュール１４により検査対象物を撮像して取得した複数の異なる画像データに基づいて、撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出する。合焦候補位置を抽出するために、合焦度算出部９１４は、事前に撮像領域に設定してある複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出し、合焦位置取得部９１５は、小領域ごとに算出した合焦度が最大である合焦位置を取得する。合焦候補位置抽出部９１１は、合焦位置取得部９１５で取得した小領域ごとの合焦位置に基づいて、複数の合焦候補位置を抽出する。

図１０は、本発明の実施の形態に係る画像処理センサの合焦度算出方法を説明するための模式図である。図１０（ａ）には、撮像された画像上に複数の仮想中心１００１を１２点設定している。そして、仮想中心１００１それぞれから周囲数１０ピクセルの調整領域（小領域）１００２を設定し、調整領域１００２ごとに高周波成分を抽出する。具体的には、調整領域１００２内の画素数に対する高周波成分の画素数の比率（百分率）として、仮想中心１００１ごと（調整領域１００２ごと）に合焦度を算出して記憶しておく。

もちろん、小領域として１２個の調整領域１００２を設定することに限定されるものではなく、明示的に複数の窓領域を配置する方法であっても良い。図１０（ｂ）は、撮像された画像上に複数の窓領域１００３を配置してある。窓領域１００３ごとに高周波成分を抽出し、窓領域１００３内の画素数に対する高周波成分の画素数の比率（百分率）として、窓領域１００３ごとに合焦度を算出して記憶しておく。

図１０に示す合焦度算出方法は、撮像部で撮像された画像に対して動的に合焦度を算出する方法であるが、事前に撮像されて記憶されている画像であれば高周波成分を細かく検出しても良い。この場合、図１０とは異なり、仮想中心１００１を１２点設定する必要もなく、詳細な高周波抽出画像を全画面に対して作成することができる。

図１１は、本発明の実施の形態に係る画像処理センサの、記憶されている画像に基づく合焦度算出方法を説明するための模式図である。図１１（ａ）に示す撮像された画像の高周波成分を抽出し、図１１（ｂ）に示す高周波抽出画像を得る。図１１（ｂ）では、白い部分に高周波成分が存在することを示しており、黒い部分には存在しないことを示している。もちろん、元の画像と同じサイズで高周波抽出画像を作成しても良いし、画像を圧縮する等により高周波抽出画像のサイズを変更しても良い。例えば図１１（ｃ）では、画像サイズを縮小した高周波抽出画像を示している。

合焦位置取得部９１５は、合焦度の分布又は高周波抽出画像に基づいて複数の合焦候補位置を抽出する。図１２は、本発明の実施の形態に係る画像処理センサの、算出した合焦度に基づく合焦候補位置の抽出方法を説明するためのテーブルである。なお、算出した合焦度には、適当な固定係数を乗じて重み付けしても良い。

図１２は、各仮想中心点のレンズ位置ごとの合焦度を示している。仮想中心点１〜１２において、仮想中心点１〜８で合焦度が最大であるレンズ位置（合焦候補位置）は‘２０’であり、仮想中心点９〜１２で合焦度が最大であるレンズ位置は‘３５’である。レンズ位置は、検査対象物と接触している状態が‘０’、離れるに従って、すなわちレンズ１２がカメラモジュール１４に近いほどレンズ位置の値は大きくなる。

図１２の例では、合焦候補位置として、レンズ位置‘２０’と‘３５’との２つを抽出することができる。複数の合焦候補位置のうち、カメラモジュール１４により近い、すなわちフォーカス距離が短いのはレンズ位置‘３５’であるので、フォーカス自動調整時にはレンズ位置‘３５’にレンズ１２を移動させて合焦候補位置に合焦位置を調整して終了する。

以上、本実施の形態では、図１０乃至図１２を用いて説明しているように、調整領域１００２内の画素数に対する高周波成分（又はエッジ成分）の画素数の比率（百分率）を、仮想中心１００１ごと（調整領域１００２ごと）の合焦度として算出しているが、合焦度の算出方法は特にこれに限定されるものではない。例えば、撮像された画像に対して、ｌ×ｍフィルタを縦横にｎ画素ごとに移動させ（ｌ、ｍ、ｎともに任意の整数）、移動させるたびにｌ×ｍ領域内にある全画素の画素値の分散値を計算し、分散値の２次元配列からなる高周波画像を作成する。作成した高周波画像に対し、事前に決められた重み付けで分散値の重み付け加算又は重み付け乗算を計算し、合焦度を算出する（すなわち、上述した仮想中心１００１の座標に基づいて係数で重み付けし、各仮想中心１００１における１２個の合焦度を算出する）。このように高周波画像を作成することにより合焦度を算出することもできる。要するに、合焦度は、事前に設定してある複数の小領域それぞれについて、合焦状態の度合いを示すものであれば、特に算出方法は限定されるものではない。

ここで、図１２の例のように合焦度にばらつきがない場合よりも、実際には合焦度がばらつくことが多い。図１３は、本発明の実施の形態に係る画像処理センサの、算出した合焦度がばらついている場合の合焦候補位置の抽出方法を説明するためのテーブルである。

図１２とは異なり、図１３の例では、仮想中心点２、６、１０で合焦度がばらついている。このようなばらつきが生じている場合、レンズ位置ごとに出現回数を降順にソートし、出現回数の多いレンズ位置から順に合焦候補位置として抽出する。抽出時には、抽出する合焦候補位置のレンズ位置近傍の合焦度から、合焦候補位置から除外する合焦度を選定する。

例えば図１３では、レンズ位置‘２０’が出現回数６回と最多であるので、レンズ位置‘２０’を合焦候補位置として抽出する。そして、同一の検査対象物に起因する合焦度の幅を‘５’とした場合、レンズ位置‘１５’〜‘２５’は同一の合焦候補位置とみなすことができ、レンズ位置‘１５’及び‘２５’は合焦候補位置から除外することができる。

同様に、次にレンズ位置‘３５’が出現回数３回と多いので、レンズ位置‘３５’を合焦候補位置として抽出する。そして、同一の検査対象物に起因する合焦度の幅を‘５’とした場合、レンズ位置‘３０’〜‘４０’は同一の合焦候補位置とみなすことができ、レンズ位置‘３０’及び‘４０’は合焦候補位置から除外することができる。このように、レンズ位置‘２０’、‘３５’が合焦候補位置として抽出され、フォーカス距離が短いのはレンズ位置‘３５’であるのでレンズ位置‘３５’に自動調整される。

合焦位置取得部９１５は、記憶してある、検査対象物を撮像した画像の高周波成分を抽出して作成された高周波抽出画像に基づいて、合焦候補位置を抽出することもできる。図１４は、本発明の実施の形態に係る画像処理センサで作成された高周波抽出画像の例示図である。

図１４（ａ）〜（ｇ）は、左側に元の画像を、右側に合焦度に基づく高周波抽出画像を、それぞれ示している。右側の高周波抽出画像で白く表示されている部分は、高周波成分が多い部分、すなわち合焦度が所定値よりも大きい部分を示している。

合焦位置取得部９１５は、作成された高周波抽出画像の画素ごとに合焦度が最大である高周波抽出画像を選択する。図１５は、画素ごとに合焦度が最大である高周波抽出画像の画像番号を記した合焦度の配置を示す例示図である。

図１５では、画素ごとに合焦度が最大である図１４に示す高周波抽出画像の画像番号を記している。例えば‘２’と記してある画素は、画像番号‘２’の合焦度が最大である旨を示している。そして、同じ画像番号が連続して記されている領域を合焦領域として特定することができ、合焦候補位置として抽出することができる。

なお、合焦領域の境界では値が安定しないことが多いが、この場合は隣接する合焦領域に含めても合焦領域自体は大きく変動しない。また、合焦度の最大値が比較的小さい画素は、ノイズの影響を受けやすい。したがって、合焦領域として特定し得る合焦度の最小値を設けておき、最小値以下である場合には合焦領域に含めないようにしても良い。

また、元の画像ににじみ部分等が存在する場合、高周波成分が多いと判断され、合焦状態であると誤認されるおそれがある。それを回避するべく、高周波抽出画像の各画素をそのまま比較するのではなく、元の画像（図１４の左側の画像）に対して画素ごとにフィルタ処理した値、あるいは標準偏差を算出して除算した値で比較して、値が最大である高周波抽出画像を選択しても良い。

さらに、模様によっては高周波成分が誤って多く算出されるおそれがある。そこで、画素ごとに、周囲の画素値に重み付けをして画素値を決定する、あるいは周囲の画素値の最大値を代表値として画素値を決定することにより、決定した画素値に基づく高周波抽出画像を作成しても良い。このようにすることで、模様による誤差の影響を低減することができる。したがって、高い精度で高周波抽出画像から画素ごとの合焦度が最大である領域を合焦領域として特定することができ、合焦候補位置として抽出することができる。

もちろん、上述した方法を組み合わせることで、より高い精度で高周波抽出画像から画素ごとの合焦度が最大である領域を合焦領域として特定することができ、合焦候補位置として抽出することができる。

図９に戻って、選択受付部９１２は、抽出された複数の合焦候補位置の中から、一の合焦候補位置の選択を受け付ける。選択を受け付ける方法は特に限定されるものではなく、表示装置２のタッチパネル２１に表示されている合焦候補位置を識別することが可能な情報の選択を受け付けることができれば良い。

なお、選択受付部９１２で、一の合焦候補位置の選択を受け付けた場合、選択を受け付けた一の合焦候補位置に合焦位置を調整する。具体的には、ＤＳＰ１３２（ＦＰＧＡ１３１でも良い）は、モータドライバ１８１を介してカメラモジュール１４のモータ１４１に回転指示を送信し、レンズ１２を移動させて選択を受け付けた一の合焦候補位置に合焦位置を調整する。

候補表示部９１３は、選択を受け付けた一の合焦候補位置に合焦位置を調整した時点で撮像された検査対象物の画像を表示する。候補表示部９１３は、抽出した複数の合焦候補位置に関する合焦候補位置情報を、表示されている画像に重畳して表示することが好ましい。どの合焦候補位置が検査対象物の所望の特徴部分が鮮明に表示されているか否かを目視で確認することができ、所望の特徴部分に対応した合焦位置を選択することができるからである。

そして、画像処理部９０３は、フォーカス調整された画像データに対して画像処理を実行する。メイン基板１３のＦＰＧＡ１３１による、撮像して取得した画像データに対する前処理、例えば明度調整、ホワイトノイズ調整等の処理がこれに該当する。

本実施の形態では、図７（ｂ）に示す「設定モード」画面から、フォーカス調整を行う場合の検査条件データを設定して記憶する。図７（ｂ）に示す「設定モード」画面から、「設定ナビ」ボタン７５を選択し、図８（ａ）に示す画面が表示される。そして、図８（ａ）の「フォーカス自動調整」ボタン８３を選択することで、フォーカス調整を行う。

図１６は、本発明の実施の形態に係る画像処理センサの表示装置２のフォーカス自動調整画面の例示図である。図１６（ａ）では、主表示領域１６０に現在撮像している検査対象物の画像が表示されている。この状態で「フォーカス自動調整」ボタン１６２が選択された場合、フォーカスの自動調整が実行される。

具体的には、「フォーカス自動調整」ボタン１６２が選択された時点で、ＤＳＰ１３２はモータドライバ１８１に回転制御信号を送信し、モータ１４１を回転させる。そして、検査対象物との距離が最も短い（近い）位置から最も遠い位置までレンズ１２を移動させ、移動中に検査対象物を複数枚撮像する。撮像した複数枚の画像データ、例えば合焦度に基づいて複数の合焦候補位置を抽出する。

そして、複数抽出される合焦候補位置のうち、カメラモジュール１４に最も近い、すなわちフォーカス距離が最も短い合焦候補位置までレンズ１２を移動させて合焦候補位置に合焦位置を調整してフォーカス自動調整を終了する。図１６（ｂ）は、フォーカス自動調整完了時の調整完了画面の例示図である。

主表示領域１６０に表示されている画像は、図１６（ａ）では、表示されている検査対象物の画像の左右の画像ともにぼけて表示されていたのに対し、図１６（ｂ）では右側の画像が鮮明に表示されている。これは、フォーカス距離が短い合焦候補位置にレンズ１２が移動しているからである。

調整完了画面には、合焦候補位置１６４、１６５及び現在の合焦位置１６３が表示されている。図１６（ｂ）の例では、現在の合焦位置１６３は合焦候補位置１６５と一致している。なお、図１６（ｂ）の調整完了画面には、画面下方に、左端をＦａｒ、右端をＮｅａｒとする１本のバーが表示されており、合焦候補位置１６４、１６５を示すボタンは、表示されたバーの上でそれぞれ対応する合焦候補位置の近傍に配置されている。これにより、ユーザは、合焦候補位置１６４、１６５のフォーカス距離がどれくらいであるかを一見して把握することができる。

また、現在の合焦位置１６３を示す逆三角の図形も、表示されたバーの上で対応する合焦候補位置の近傍に配置されている（図１６（ｂ）では合焦候補位置１６５を指す位置に、図１６（ｃ）では合焦候補位置１６４を指す位置に配置されている）。これにより、ユーザは、現在表示されている画像のフォーカス距離がどれくらいであるかを一見して把握することができる。

なお、現在の合焦位置１６３を示すために、図１６（ｃ）に示すような逆三角形の図形でなく、例えば合焦候補位置１６４を示すボタン又は合焦候補位置１６５を示すボタンのうち、現在の合焦位置１６３を示すボタンを光らせても良い。要するに、抽出した複数の合焦候補位置をユーザが表示装置２のタッチパネル２１上で選択することが可能となるように、抽出した複数の合焦候補位置に関する合焦候補位置情報（好ましくは複数の合焦候補位置及び現在の合焦位置）を表示する。

ユーザは、現在の合焦位置１６３を他の合焦候補位置１６４へ変更する操作を行うことで、他の合焦候補位置にレンズ１２を移動させることができる。例えば、表示されている他の合焦候補位置１６４を指１６６でタッチすることにより、現在の合焦位置１６３が他の合焦候補位置１６４へ変更され、主表示領域１６０に表示される画像も変更される。

図１６（ｃ）は、他の合焦候補位置１６４へ変更した場合の調整完了画面の例示図である。図１６（ｃ）では、左側の画像のみが鮮明に表示されている。これは、フォーカス距離が異なる他の合焦候補位置１６４にレンズ１２が移動しているからである。

したがって、フォーカス自動調整を一度行うことで、複数の合焦候補位置を抽出することができ、ユーザは、表示される画像を見ながら、所望の合焦候補位置を選択することができる。また、ユーザは調整範囲、仮想中心点等を指定する必要もなく、容易に所望の合焦候補位置に合焦位置を調整することが可能となる。

図１７は、本発明の実施の形態に係る画像処理センサの撮像装置１のメイン基板１３のＦＰＧＡ１３１及びＤＳＰ１３２のフォーカス自動調整処理の手順を示すフローチャートである。ＦＰＧＡ１３１は、フォーカス自動調整の開始指示を受け付け（ステップＳ１７０１）、レンズ１２をカメラモジュール１４に最も近い、すなわちフォーカス距離が最も短い調整領域に対応する撮像位置へ移動させる移動指示を、モータドライバ１８１へ送信する（ステップＳ１７０２）。モータドライバ１８１は、移動指示に従ってモータ１４１を回転させ、レンズ１２をカメラモジュール１４に最も近い、すなわち検査対象物から離れた位置に移動させる。

そして、ＦＰＧＡ１３１は、撮像装置１のカメラモジュール１４のＣＭＯＳ基板１４２へ、検査対象物の撮像指示を送信し（ステップＳ１７０３）、撮像指示を受信したＣＭＯＳ基板１４２で撮像した検査対象物の画像を取得する（ステップＳ１７０４）。

ＤＳＰ１３２は、取得した画像の画像データの合焦度を算出する（ステップＳ１７０５）。ここでは、図１０及び図１１で説明した合焦度算出方法を用いて合焦度を算出する。ＤＳＰ１３２は、取得した画像データの全ての調整領域について合焦度を算出したか否かを判断する（ステップＳ１７０６）。

ＤＳＰ１３２が、まだ合焦度を算出していない調整領域が存在すると判断した場合（ステップＳ１７０６：ＮＯ）、ＤＳＰ１３２は、次の調整領域に対応する撮像位置への移動指示をモータドライバ１８１へ送信する（ステップＳ１７０７）。モータドライバ１８１は、移動指示に従ってモータ１４１を回転させ、レンズ１２を次の撮像位置へ移動させる。ＤＳＰ１３２は、処理をステップＳ１７０３へ戻して、上述した処理を繰り返す。

ＤＳＰ１３２が、全ての調整領域について合焦度を算出したと判断した場合（ステップＳ１７０６：ＹＥＳ）、ＤＳＰ１３２は、合焦候補位置を抽出する（ステップＳ１７０８）。ここでは、図１２及び図１３で説明した合焦候補位置の抽出方法を用いる。ＤＳＰ１３２は、抽出した複数の合焦候補位置に関する合焦候補位置情報の表示指示を、表示装置２のタッチパネル２１へ送信する（ステップＳ１７０９）。

合焦候補位置情報としては、例えば図１６に示す合焦候補位置１６４、１６５の表示に限定されるものではない。図１８は、合焦候補位置情報をタッチパネル２１上の候補ボタンの選択で表示する場合の、表示装置２の合焦候補位置選択受付画面の例示図である。

図１８（ａ）に示すように、画像表示部１８０に合焦候補位置に対応する画像データのサムネイル画像等を表示しておき、「候補」ボタン１８２、１８３の選択を受け付けることにより、選択を受け付けた画像を表示する。例えば「候補」ボタン１８２の選択を受け付けた場合には、図１８（ｂ）に示す画像を表示する。画像の左側の模様に焦点が合っていることがわかる。

一方、「候補」ボタン１８３の選択を受け付けた場合には、図１８（ｃ）に示す画像を表示する。画像の右側の模様に焦点が合っていることがわかる。このように複数の合焦候補位置情報を同時に表示し、合焦候補位置情報の指定を受け付けることにより、合焦候補位置の選択を受け付けることができる。

また、合焦候補位置情報を表示していなくても、直接、タッチパネル２１上で合焦候補位置の選択を受け付けることができる。図１９は、合焦候補位置の選択をタッチパネル２１上の合焦対象位置の指定で受け付ける場合の、表示装置２の合焦候補位置選択受付画面の例示図である。

図１９（ａ）に示すように、検査対象物の画像を画像表示部１９１に表示しておき、指１９２、１９３が指し示す位置の選択を受け付けることにより、選択を受け付けた位置の画素に対応して記憶してある合焦候補位置へレンズ１２を移動させて撮像した画像を表示する。例えば指１９２が指し示す位置の選択を受け付けた場合には、図１９（ｂ）に示す画像を表示する。画像の左側の模様に焦点が合っていることがわかる。

一方、指１９３が指し示す位置の選択を受け付けた場合には、図１９（ｃ）に示す画像を表示する。画像の右側の模様に焦点が合っていることがわかる。このように複数の合焦候補位置情報を直接に画面上に表示することなく、合焦候補位置の選択を受け付けることができる。

また、順次、合焦候補位置情報を選択することができるようにしても良い。図２０は、合焦状態を順次選択可能とした、表示装置２の合焦状態選択受付画面の例示図である。

図２０（ａ）に示すように、検査対象物の画像を画像表示部２０１に表示しておき、「次の候補」ボタン２０２又は「前の候補」ボタン２０４の選択を受け付けることにより、順次、記憶してある合焦候補位置へレンズ１２を移動させて撮像した画像を表示する。例えば「次の候補」ボタン２０２の選択を受け付けた場合には、図２０（ｂ）に示す画像を表示する。そして、表示されている画像を確認して、合焦位置とする場合には、「確定」ボタン２０３の選択を受け付ければ良い。

さらに、表示されている画像を同一の合焦候補位置ごとに小領域を定めて記憶し、小領域単位で選択を受け付けても良い。図２１は、合焦候補位置ごとに小領域を定める場合の、表示装置２の合焦候補位置選択受付画面の例示図である。

図２１（ａ）に示すように、検査対象物の画像を画像表示部２０１に表示しておき、合焦候補位置ごとに小領域２１１、２１２、２１３に区分けしておく。画面表示においては、各小領域を色分け表示しても良い。

この状態で、各小領域２１１、２１２、２１３の選択を受け付ける。例えば小領域２１１の選択を受け付けた場合、図２１（ｂ）に示すように、選択を受け付けた小領域２１１が合焦状態である画像を含む画面が表示される。同様に、小領域２１２の選択を受け付けた場合、図２１（ｃ）に示すように、選択を受け付けた小領域２１２が合焦状態である画像を含む画面が表示される。小領域２１３の選択を受け付けた場合、図２１（ｄ）に示すように、選択を受け付けた小領域２１３が合焦状態である画像を含む画面が表示される。

もちろん、検査対象物を撮像した画像の高周波成分を抽出して作成された高周波抽出画像に基づいて、合焦候補位置を抽出しても良い。図２２は、本発明の実施の形態に係る画像処理センサの撮像装置１のメイン基板１３のＤＳＰ１３２の、高周波抽出画像に基づくフォーカス自動調整処理の手順を示すフローチャートである。ＤＳＰ１３２は、フォーカス自動調整の開始指示を受け付け（ステップＳ２２０１）、記憶してある検査対象物の画像データをレンズ位置の順にソートする（ステップＳ２２０２）。ＤＳＰ１３２は、最初のレンズ位置における検査対象物の画像データを読み出す（ステップＳ２２０３）。

ＤＳＰ１３２は、読み出した画像データの合焦度を算出する（ステップＳ２２０４）。ＤＳＰ１３２は、記憶してある全ての画像データについて合焦度を算出したか否かを判断する（ステップＳ２２０５）。

ＤＳＰ１３２が、まだ合焦度を算出していない画像データが存在すると判断した場合（ステップＳ２２０５：ＮＯ）、ＤＳＰ１３２は、次の画像データを読み出し（ステップＳ２２０６）、処理をステップＳ２２０４へ処理を戻して、上述した処理を繰り返す。

ＤＳＰ１３２が、全ての画像データについて合焦度を算出したと判断した場合（ステップＳ２２０５：ＹＥＳ）、ＤＳＰ１３２は、合焦候補位置を抽出する（ステップＳ２２０７）。ここでは、図１４及び図１５で説明した合焦候補位置の抽出方法を用いる。ＤＳＰ１３２は、抽出した複数の合焦候補位置に関する合焦候補位置情報を表示する表示指示を、表示装置２のタッチパネル２１へ送信する（ステップＳ２２０８）。

以上のように本実施の形態によれば、複数の合焦候補位置を抽出して、撮像領域のどの一部の領域が合焦状態であるのか画面上で確認しながらフォーカス調整を行うことができるので、検査対象物の所望の特徴部分が鮮明である画像に対応する合焦位置を容易に選択することが可能となる。

つまり、本実施の形態に係る撮像装置１では、モータドライバ１８１及びモータ１４１で構成されるフォーカス調整機構により、検査対象物に対する合焦位置を変えながら、カメラモジュール１４により検査対象物を撮像し、複数の異なる画像データを取得する。そして、取得した複数の画像データに基づいて、撮像領域の一部の領域が合焦状態となる位置を合焦候補位置として複数抽出し、抽出した複数の合焦候補位置に関する合焦候補位置情報を表示装置２に表示する。これにより、ユーザは、検査対象物の所望の特徴部分が鮮明である画像に対応する合焦位置を容易に選択することができる。

なお、検査対象物を撮像し、複数の異なる画像データを取得するタイミングと、合焦候補位置を複数抽出するタイミングとは、特に限定されるものではない。例えば、最初に複数の異なる画像データを全て取得した後に、取得した全ての画像データを用いて合焦候補位置を複数抽出しても良いし、例えば予め合焦候補位置を３個抽出すると決めておき、画像データの取得と合焦候補位置の抽出とを交互に行い、合焦候補位置が３個抽出された時点で終了するようにしても良い。

後者について、さらに具体的には、画像データを取得し、合焦候補位置を１個抽出した場合には、抽出した合焦候補位置を記憶しておき、次に取得した画像データに基づいて合焦候補位置を抽出するときには、既に記憶されている合焦候補位置と異なる位置か否かを判断する。異なる位置であると判断した場合には、新たな合焦候補位置として抽出する。一方、同じ位置であると判断した場合には、新たな合焦候補位置として抽出しない（既に抽出して記憶されている合焦候補位置と同じであるとみなす）。このような処理を繰り返し、合焦候補位置が３個抽出された時点で画像データの取得を終了しても良い。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば撮像装置１と表示装置２とは、接続ケーブル３で直結されている形態に限定されるものではなく、ＬＡＮ、ＷＡＮ等のネットワーク網を介して接続されていても良いことは言うまでもない。また、本実施の形態では撮像装置１と表示装置２とは別体となっているが、両者が一体になった画像処理装置であっても良い。

１ 撮像装置
２ 表示装置
３ 接続ケーブル
１３ メイン基板
１４ カメラモジュール（撮像部）
２１ タッチパネル
１３１ ＦＰＧＡ（制御部）
１４１ モータ
１４２ ＣＭＯＳ基板（撮像素子）

Claims (11)

1. 検査対象物を含む撮像領域を撮像する撮像部と、
   該撮像部で撮像した画像を表示するとともに、ユーザ入力を受け付ける表示部と、
   前記撮像部の焦点位置を調整するフォーカス調整機構と
   を有し、
   前記フォーカス調整機構により前記撮像部の焦点位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像に基づいて、前記撮像領域の一部の領域が合焦状態となる焦点位置を合焦候補位置として複数抽出する合焦候補位置抽出手段と、
   該合焦候補位置抽出手段により抽出した複数の前記合焦候補位置を選択するための合焦候補位置選択受付画面を前記表示部に表示する候補表示手段と、
   該候補表示手段により表示された前記合焦候補位置選択受付画面上で、複数の前記合焦候補位置の中から一の合焦候補位置に対応する画面位置の選択を受け付ける選択受付手段と、
   該選択受付手段で前記一の合焦候補位置に対応する画面位置の選択を受け付けた場合、前記撮像部の焦点位置が前記一の合焦候補位置に調整された画像を前記表示部に表示する焦点位置表示手段と、
   該焦点位置表示手段で前記撮像部の焦点位置が前記一の合焦候補位置に調整された画像上に、前記ユーザ入力に基づき画像処理の種別を表す画像処理ツールを一の検査条件データと対応付けて設定し、前記一の合焦候補位置を前記一の検査条件データと対応付けて設定する条件データ設定手段と、
   該条件データ設定手段により設定された前記画像処理ツール及び前記一の合焦候補位置をメモリに記憶する記憶手段と、
   前記フォーカス調整機構により前記撮像部の焦点位置が前記メモリに記憶された前記一の合焦候補位置に合焦した状態で、前記撮像部により撮像される画像に対して前記メモリに記憶された前記画像処理ツールを用いて処理する画像処理手段と、
   該画像処理手段における処理結果に基づいて、検査対象物の良否を示す判定信号を出力する出力手段と
   を備えることを特徴とする画像処理センサ。
2. 前記選択受付手段で前記一の合焦候補位置に対応する画面位置の選択を受け付けた場合、前記フォーカス調整機構により選択を受け付けた前記一の合焦候補位置に前記撮像部の焦点位置が調整されることを特徴とする請求項１に記載の画像処理センサ。
3. 前記選択受付手段で前記一の合焦候補位置に対応する画面位置の選択を受け付けた場合、選択を受け付けた前記一の合焦候補位置に前記撮像部の焦点位置を調整した時点で撮像された画像が前記表示部に表示されることを特徴とする請求項１に記載の画像処理センサ。
4. 前記条件データ設定手段は、さらに前記撮像部により検査対象物を撮像するタイミングを特定するトリガ条件を前記一の検査条件データと対応付けて設定し、
   前記記憶手段は、前記条件データ設定手段により設定された前記トリガ条件を前記メモリに記憶し、
   前記画像処理手段は、前記メモリに記憶された前記トリガ条件に従って前記撮像部により撮像される画像に対して処理を実行することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理センサ。
5. 事前に設定してある前記撮像領域内の複数の小領域それぞれについて、合焦状態の度合いを示す合焦度を算出する合焦度算出手段を備え、
   前記合焦候補位置抽出手段は、前記合焦度算出手段により前記小領域ごとに算出した合焦度に基づいて、前記合焦候補位置を抽出することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理センサ。
6. 前記条件データ設定手段により前記画像処理ツール及び前記一の合焦候補位置を設定する設定モードと、前記出力手段により前記判定信号を出力する検査モードとを切り替えるモード切替手段を備え、
   前記画像処理手段は、前記検査モードにおいて、前記設定モードにて設定された前記一の合焦候補位置に前記撮像部の焦点位置が合焦した状態で、前記撮像部により撮像される画像に対して、前記設定モードにて設定された前記画像処理ツールを用いて処理することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理センサ。
7. 前記候補表示手段は、
   前記合焦候補位置選択受付画面に複数の前記合焦候補位置に関する合焦候補位置情報を表示し、
   前記選択受付手段は、前記候補表示手段により前記合焦候補位置情報が表示された前記表示部にて、前記一の合焦候補位置に対応する画面位置の選択を受け付けることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理センサ。
8. 前記候補表示手段は、
   複数の目盛が前記撮像部の焦点位置に対応付けられたバーを表示するとともに、複数の前記合焦候補位置それぞれを示す複数の図形を前記バーの複数の目盛に対応付けて表示し、
   前記選択受付手段は、前記複数の図形の中から一の図形の選択を受け付けることを特徴とする請求項７に記載の画像処理センサ。
9. 前記候補表示手段は、
   前記撮像部の焦点位置が複数の前記合焦候補位置それぞれに調整された複数のサムネイル画像を並列表示し、
   前記選択受付手段は、並列表示された前記複数のサムネイル画像の中から一のサムネイル画像の選択を受け付けることを特徴とする請求項７に記載の画像処理センサ。
10. 検査対象物を含む撮像領域を撮像する撮像部と、
    該撮像部で撮像した画像を表示するとともに、ユーザ入力を受け付ける表示部と、
    前記撮像部の焦点位置を調整するフォーカス調整機構と
    を有する画像処理センサで実行することが可能なフォーカス調整方法であって、
    前記画像処理センサは、
    前記フォーカス調整機構により前記撮像部の焦点位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像に基づいて、前記撮像領域の一部の領域が合焦状態となる焦点位置を合焦候補位置として複数抽出するステップと、
    抽出した複数の前記合焦候補位置を選択するための合焦候補位置選択受付画面を前記表示部に表示するステップと、
    表示された前記合焦候補位置選択受付画面上で、複数の前記合焦候補位置の中から一の合焦候補位置に対応する画面位置の選択を受け付けるステップと、
    前記一の合焦候補位置に対応する画面位置の選択を受け付けた場合、前記撮像部の焦点位置が前記一の合焦候補位置に調整された画像を前記表示部に表示するステップと、
    前記撮像部の焦点位置が前記一の合焦候補位置に調整された画像上に、前記ユーザ入力に基づき画像処理の種別を表す画像処理ツールを一の検査条件データと対応付けて設定し、前記一の合焦候補位置を前記一の検査条件データと対応付けて設定するステップと、
    設定された前記画像処理ツール及び前記一の合焦候補位置をメモリに記憶するステップと、
    前記フォーカス調整機構により前記撮像部の焦点位置が前記メモリに記憶された前記一の合焦候補位置に合焦した状態で、前記撮像部により撮像される画像に対して前記メモリに記憶された前記画像処理ツールを用いて処理するステップと、
    前記画像処理ツールによる処理結果に基づいて、検査対象物の良否を示す判定信号を出力するステップと
    を含むことを特徴とするフォーカス調整方法。
11. 検査対象物を含む撮像領域を撮像する撮像部と、
    該撮像部で撮像した画像を表示するとともに、ユーザ入力を受け付ける表示部と、
    前記撮像部の焦点位置を調整するフォーカス調整機構と
    を有する画像処理センサで実行することが可能なコンピュータプログラムであって、
    前記画像処理センサを、
    前記フォーカス調整機構により前記撮像部の焦点位置を変えながら、前記撮像部により検査対象物を撮像して取得した複数の異なる画像に基づいて、前記撮像領域の一部の領域が合焦状態となる焦点位置を合焦候補位置として複数抽出する合焦候補位置抽出手段、
    該合焦候補位置抽出手段により抽出した複数の前記合焦候補位置を選択するための合焦候補位置選択受付画面を前記表示部に表示する候補表示手段、
    該候補表示手段により表示された前記合焦候補位置選択受付画面上で、複数の前記合焦候補位置の中から一の合焦候補位置に対応する画面位置の選択を受け付ける選択受付手段、
    該選択受付手段で前記一の合焦候補位置に対応する画面位置の選択を受け付けた場合、前記撮像部の焦点位置が前記一の合焦候補位置に調整された画像を前記表示部に表示する焦点位置表示手段、
    該焦点位置表示手段で前記撮像部の焦点位置が前記一の合焦候補位置に調整された画像上に、前記ユーザ入力に基づき画像処理の種別を表す画像処理ツールを一の検査条件データと対応付けて設定し、前記一の合焦候補位置を前記一の検査条件データと対応付けて設定する条件データ設定手段、
    該条件データ設定手段により設定された前記画像処理ツール及び前記一の合焦候補位置をメモリに記憶する記憶手段、
    前記フォーカス調整機構により前記撮像部の焦点位置が前記メモリに記憶された前記一の合焦候補位置に合焦した状態で、前記撮像部により撮像される画像に対して前記メモリに記憶された前記画像処理ツールを用いて処理する画像処理手段、及び
    該画像処理手段における処理結果に基づいて、検査対象物の良否を示す判定信号を出力する出力手段
    として機能させることを特徴とするコンピュータプログラム。