JP2008276017A - 撮像装置および方法、並びにプログラム - Google Patents

Abstract

【課題】高精度およびロバストに焦点調整できるようにする。
【解決手段】輝度値算出部３１は、撮像レンズを介して入射する可視光および非可視光の範囲の複数の色を画素の単位で撮像された全色に対応する前記画素毎の少なくとも１以上の色の画素値を算出する。コントラスト評価値算出部３２は、算出された色の画素値に基づいて、少なくとも１以上の色毎のコントラスト値を算出する。焦点補正値算出部３３は、算出された少なくとも１以上の色のコントラスト値の時系列の変化に基づいて、撮像レンズの現在の位置から撮像レンズが合焦する位置までの焦点補正値を算出する。撮像レンズが、算出された焦点補正値に基づいて、駆動される。本発明は、デジタルスチルカメラに適用することができる。
【選択図】図２

Description

本発明は、撮像装置および方法、並びにプログラムに関し、特に、可視光と合わせて非可視光も考慮して自動焦点調整できるようにした撮像装置および方法、並びにプログラムに関する。

近年、自動的に焦点を調整する自動焦点調整機能を備えたデジタルカメラ、あるいは、ビデオカメラが一般に普及している。

自動焦点調整方法として、撮像レンズを移動させながら撮像される画像信号の輝度値よりコントラスト値を算出して、コントラスト値が最大となるとき、合焦しているものと判断し、コントラスト値が最大となる位置に撮像レンズを駆動するコントラスト検出方式が提案されている。このようなコントラスト検出方式の自動焦点調整機能、すなわちAF（Auto Focus）機能は、撮像信号そのもので合焦判断を行うため、精度が高く、機械装置の経時変化による影響を受けない。また、コントラスト検出方式では、焦点調整に際して機械的動作が必要ないため低コストであるという長所がある。しかしながら、一方で、コントラスト検出方式は、合焦に時間がかかるため、動被写体での合焦が難しく、また、低コントラスト被写体の合焦が難しい。

そこで、連写性能や動被写体合焦性能が求められる一眼レフタイプのデジタルカメラでは、位相差検出方式のAF機能が採用されている。この位相差検出方式では、直接距離を測定するため、高速に合焦点が判別できるという長所があるが、撮像系の装置とは異なる装置で測距するため、自動焦点検出のための機械装置が別途必要になりコスト高になる、視差が発生する、または、経時変化による合焦精度の悪化などが発生する。

このような合焦時間、合焦精度の問題に対して、位相差検出方式AF機能とコントラスト検出AF機能の双方を利用したハイブリッドAFが提案されている。例えば、連写性能や動被写体合焦性能が求められるスポーツモードでは位相差検出方式AF機能を重視し、風景モードやマクロモードではコントラスト検出AF機能を重視したり、位相差検出方式AF機能で大雑把に焦点を合わせ、微調整はコントラスト検出AF機能で行ったりする。

しかしながら、ハイブリッドAFでも低コントラスト被写体や低照度環境下においては焦点調整能力が低下してしまう。そこで、低コントラスト被写体や低照度環境下においては、補助光源を被写体に照射し、その反射光を利用して焦点調整や被写体距離の検出をする方式が提案されている。例えば、特定の低輝度以下でストロボ光をＡＦ補助光として照射する提案がされている（特許文献１参照）。また、近赤外光をAF補助光として照射する技術が提案されている（特許文献２参照）。

特許３１３９０６７号公報 特開平０５−１９６８５９号公報

しかしながら、上述の手法においては、補助光で照度を稼ぐことができても、補助光の波長帯により低コントラストな被写体の合焦は困難であり、低コントラスト被写体において、合焦に時間がかかる、あるいは合焦しないことがあった。

本発明はこのような状況に鑑みてなされたものであり、特に、可視光領域の波長において低コントラストな被写体においても、非可視光領域の波長を利用して焦点調整を行うことで、高精度およびロバストに焦点調整できるようにするものである。

本発明の一側面の撮像装置は、撮像レンズを介して入射する可視光および非可視光の範囲の複数の色を画素の単位で撮像する撮像素子からなる撮像手段と、前記撮像手段により撮像された全色に対応する前記画素毎の少なくとも１以上の色の画素値を算出する画素値算出手段と、前記画素値算出手段により算出された色の画素値に基づいて、前記少なくとも１以上の色毎のコントラスト値を算出するコントラスト値算出手段と、前記コントラスト値算出手段により算出された前記少なくとも１以上の色のコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出する補正値算出手段と、前記焦点補正値算出手段で算出された焦点補正値に基づいて、前記撮像レンズを駆動する撮像レンズ駆動手段と含む。

前記画素値算出手段には、前記可視光および非可視光を含んだ輝度値を画素毎に画素値として算出させ、前記コントラスト値算出手段には、前記画素値算出手段で算出された輝度値に基づいて、前記コントラスト値を算出させ、前記焦点補正値算出手段には、前記コントラスト値算出手段により算出されたコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出させるようにすることができる。

前記画素値算出手段には、前記画素毎に可視光の輝度値である可視光値を算出する可視光値算出手段と、前記画素毎に非可視光の輝度値である非可視光値を算出する非可視光値算出手段とを含ませるようにすることができ、前記コントラスト値算出手段には、前記可視光値算出手段で算出された可視光値について可視光コントラスト値を算出する可視光コントラスト算出手段と、前記非可視光値算出手段で算出された非可視光値について非可視光コントラスト値を算出する非可視光コントラスト算出手段とを含ませるようにすることができ、前記焦点補正値算出手段には、前記可視光コントラスト値および前記非可視光コントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出させるようにすることができる。

前記コントラスト値算出手段で算出された可視光のコントラスト値のS/N比を算出する可視光S/N比算出手段と、前記コントラスト値算出手段で算出された非可視光のコントラスト値のS/N比を算出する非可視光S/N比算出手段とをさらに含ませるようにすることができ、前記焦点補正値算出手段には、前記可視光コントラスト値および前記非可視光コントラスト値のうち、前記可視光と非可視光のそれぞれのS/N比を比較して大きい方のコントラスト値を焦点補正値の算出に適するコントラスト値とみなし、前記焦点補正値の算出に適するコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出させるようにすることができる。

前記可視光値コントラスト値および非可視光値コントラスト値を合成し、合成コントラスト値を生成するコントラスト値合成手段をさらに含ませるようにすることができ、前記焦点補正値算出手段には、前記合成コントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出させるようにすることができる。

コントラスト値合成手段には、前記可視光値および非可視光値のそれぞれについてコントラスト値を相互の値に基づいた合成比率で合成し、合成コントラスト値を生成させるようにすることができ、前記焦点補正値算出手段には、前記合成コントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を前記合成比率に対応して算出させるようにすることができる。

前記画素値算出手段には、前記画素毎に非可視光値について、赤外光の輝度値である赤外光値、および紫外光の輝度値である紫外光値を算出させるようにすることができ、前記コントラスト値算出手段には、前記画素値算出手段で算出された可視光値、赤外光値、および紫外光値のそれぞれについてコントラスト値を算出させるようにすることができ、前記焦点補正値算出手段には、前記コントラスト値算出手段で算出された可視光値、赤外光値、紫外光値のコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出させるようにすることができる。

前記可視光および非可視光の範囲において、コントラスト算出に最適な色の光を被写体に照射する補助光照射手段と、前記補助光照射手段により補助光の照射を制御する補助光照射制御手段とをさらに含ませるようにすることができる。

前記補助光照射制御手段には、前記可視光、赤外光、または紫外光のうち前記コントラスト値の算出に最適な光を被写体に照射するように補助光手段を制御させるようにすることができる。

本発明の一側面の撮像方法は、撮像レンズを介して入射する可視光および非可視光の範囲の複数の色を画素の単位で撮像する撮像ステップと、前記撮像ステップの処理により撮像された全色に対応する前記画素毎の少なくとも１以上の色の画素値を算出する画素値算出ステップと、前記画素値算出ステップの処理により算出された色の画素値に基づいて、前記少なくとも１以上の色毎のコントラスト値を算出するコントラスト値算出ステップと、前記コントラスト値算出ステップの処理により算出された前記少なくとも１以上の色のコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出する補正値算出ステップと、前記焦点補正値算出ステップの処理で算出された焦点補正値に基づいて、前記撮像レンズを駆動する撮像レンズ駆動ステップと含む。

本発明の一側面のプログラムは、撮像レンズを介して入射する可視光および非可視光の範囲の複数の色を画素の単位で撮像する撮像ステップと、前記撮像ステップの処理により撮像された全色に対応する前記画素毎の少なくとも１以上の色の画素値を算出する画素値算出ステップと、前記画素値算出ステップの処理により算出された色の画素値に基づいて、前記少なくとも１以上の色毎のコントラスト値を算出するコントラスト値算出ステップと、前記コントラスト値算出ステップの処理により算出された前記少なくとも１以上の色のコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出する補正値算出ステップと、前記焦点補正値算出ステップの処理で算出された焦点補正値に基づいて、前記撮像レンズを駆動する撮像レンズ駆動ステップとを含む処理をコンピュータに実行させる。

本発明のプログラム格納媒体には、請求項１１に記載のプログラムが格納させるようにすることができる。

本発明の一側面の撮像装置および方法、並びにプログラムにおいては、撮像レンズを介して入射する可視光および非可視光の範囲の複数の色が画素の単位で撮像され、撮像された全色に対応する前記画素毎の少なくとも１以上の色の画素値が算出され、算出された色の画素値に基づいて、前記少なくとも１以上の色毎のコントラスト値が算出され、算出された前記少なくとも１以上の色のコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値が算出され、算出された焦点補正値に基づいて、前記撮像レンズが駆動される。

本発明の撮像装置は、独立した装置であっても良いし、撮像処理を行うブロックであっても良い。

本発明の一側面によれば、低コントラストな被写体においても、高精度およびロバストに焦点調整することが可能となる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

即ち、本発明の一側面の撮像装置（例えば、図１の撮像装置）は、撮像レンズを介して入射する可視光および非可視光の範囲の複数の色を画素の単位で撮像する撮像素子からなる撮像手段（例えば、図１の撮像部３）と、前記撮像手段により撮像された全色に対応する前記画素毎の少なくとも１以上の色の画素値を算出する画素値算出手段（例えば、図２の輝度値算出部３１）と、前記画素値算出手段により算出された色の画素値に基づいて、前記少なくとも１以上の色毎のコントラスト値を算出するコントラスト値算出手段（例えば、図２のコントラスト評価値算出部３２）と、前記コントラスト値算出手段により算出された前記少なくとも１以上の色のコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出する補正値算出手段（例えば、図２の焦点補正値算出部３３）と、前記焦点補正値算出手段で算出された焦点補正値に基づいて、前記撮像レンズを駆動する撮像レンズ駆動手段（例えば、図１のモータドライブ部８）と含む。

前記画素値算出手段（例えば、図１の輝度値算出部３１）には、前記可視光および非可視光を含んだ輝度値を画素毎に画素値として算出させ、前記コントラスト値算出手段（例えば、図２のコントラスト評価値算出部３２）には、前記画素値算出手段で算出された輝度値に基づいて、前記コントラスト値を算出させ、前記焦点補正値算出手段（例えば、図２の焦点補正値算出部３３）には、前記コントラスト値算出手段により算出されたコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出させるようにすることができる。

前記画素値算出手段には、前記画素毎に可視光の輝度値である可視光値を算出する可視光値算出手段（例えば、図４の可視光値算出部４１、または、図６の可視光値算出部５１）と、前記画素毎に非可視光の輝度値である非可視光値を算出する非可視光値算出手段（例えば、図４の非可視光値算出部４３、または、図６の非可視光値算出部５３）とを含ませるようにすることができ、前記コントラスト値算出手段には、前記可視光値算出手段で算出された可視光値について可視光コントラスト値を算出する可視光コントラスト算出手段（例えば、図４のコントラスト評価値算出部４２、または、図６のコントラスト評価値算出部５２）と、前記非可視光値算出手段で算出された非可視光値について非可視光コントラスト値を算出する非可視光コントラスト算出手段（例えば、図４のコントラスト評価値算出部４４、または、図６のコントラスト評価値算出部５４）とを含ませるようにすることができ、前記焦点補正値算出手段（例えば、図４の焦点補正値算出部４６、または、図６の焦点補正値算出部５５）には、前記可視光コントラスト値および前記非可視光コントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出させるようにすることができる。

前記コントラスト値算出手段で算出された可視光のコントラスト値のS/N比を算出する可視光S/N比算出手段（例えば、図６のS/N比算出部５２ａ）と、前記コントラスト値算出手段で算出された非可視光のコントラスト値のS/N比を算出する非可視光S/N比算出手段（例えば、図６のS/N比算出部５４ａ）とをさらに含ませるようにすることができ、前記焦点補正値算出手段（例えば、図６の焦点補正値算出部５５）には、前記可視光コントラスト値および前記非可視光コントラスト値のうち、前記可視光と非可視光のそれぞれのS/N比を比較して大きい方のコントラスト値を焦点補正値の算出に適するコントラスト値とみなし、前記焦点補正値の算出に適するコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出させるようにすることができる。

前記可視光値コントラスト値および非可視光値コントラスト値を合成し、合成コントラスト値を生成するコントラスト値合成手段（例えば、図４のコントラスト評価値合成部４５）をさらに含ませるようにすることができ、前記焦点補正値算出手段には、前記合成コントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出させるようにすることができる。

コントラスト値合成手段（例えば、図４のコントラスト評価値合成部４５）には、前記可視光値および非可視光値のそれぞれについてコントラスト値を相互の値に基づいた合成比率で合成し、合成コントラスト値を生成させるようにすることができ、前記焦点補正値算出手段には、前記合成コントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を前記合成比率に対応して算出させるようにすることができる。

前記画素値算出手段（例えば、図２の輝度値算出部３１）には、前記画素毎に非可視光値について、赤外光の輝度値である赤外光値、および紫外光の輝度値である紫外光値を算出させるようにすることができ、前記コントラスト値算出手段（例えば、図２のコントラスト評価値算出部３２）には、前記画素値算出手段で算出された可視光値、赤外光値、および紫外光値のそれぞれについてコントラスト値を算出させるようにすることができ、前記焦点補正値算出手段（例えば、図２の焦点補正値算出部３３）には、前記コントラスト値算出手段で算出された可視光値、赤外光値、紫外光値のコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出させるようにすることができる。

前記可視光および非可視光の範囲において、コントラスト算出に最適な色の光を被写体に照射する補助光照射手段（例えば、図１の投光部１９）と、前記補助光照射手段により補助光の照射を制御する補助光照射制御手段（例えば、図６の投光部制御信号生成部５７）とをさらに含ませるようにすることができる。

前記補助光照射制御手段（例えば、図６の投光部制御信号生成部５７）には、前記可視光、赤外光、または紫外光のうち前記コントラスト値の算出に最適な光を被写体に照射するように補助光手段を制御させるようにすることができる。

本発明の一側面の撮像方法は、撮像レンズを介して入射する可視光および非可視光の範囲の複数の色を画素の単位で撮像する撮像ステップ（例えば、図３のステップＳ１）と、前記撮像ステップの処理により撮像された全色に対応する前記画素毎の少なくとも１以上の色の画素値を算出する画素値算出ステップ（例えば、図３のステップＳ１）と、前記画素値算出ステップの処理により算出された色の画素値に基づいて、前記少なくとも１以上の色毎のコントラスト値を算出するコントラスト値算出ステップ（例えば、図３のステップＳ２）と、前記コントラスト値算出ステップの処理により算出された前記少なくとも１以上の色のコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出する補正値算出ステップ（例えば、図３のステップＳ４）と、前記焦点補正値算出ステップの処理で算出された焦点補正値に基づいて、前記撮像レンズを駆動する撮像レンズ駆動ステップ（例えば、図３のステップＳ５）と含む。

図１は、本発明を適用したデジタルスチルカメラの実施の形態を示すブロック図である。

図１に示すように、デジタルスチルカメラは、レンズ１、絞り２、撮像部３、サンプリング部（CDS：Correlated Double Sampling）４、A/D（Analog/Digital）変換部５、カメラ信号処理部６、AF（Auto Focus）信号処理部７、モータドライブ部８、モータ９、D/A（Digital/Analog）変換部１０、ビデオエンコーダ１１、表示部１２、タイミング生成部１３、符号化/復号部１４、メモリ１５、操作入力部１６、制御部１７、ドライバ１８、投光部１９、およびバス２０から構成される。

撮像部３は、光情報を電気信号に変換する（光電変換）半導体素子であるCCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）、などからなり、光を電気に変換する受光素子（画素）を複数個並べ、光の変化を画素ごとに独立して電気信号に変換し、サンプリング部４に出力する。

尚、撮像部３には、可視光領域のみならず非可視光（または、不可視光）領域（紫外、赤外）に感度を有しているため、通常の撮像装置の多くには、非可視光波長をカットするフィルタなどが、撮像部３の前段に配設され、可視光領域の波長（R，G，B）のみを撮するように構成されている。

しかしながら、図１の撮像部３は、可視光領域の波長だけでなく、非可視光領域の波長も撮像可能な撮像装置であり、記録時は従来通り可視光領域（R，G，B）を利用し、焦点調整処理を繰り返している間（AF時）は、可視光領域と非可視光領域（赤外、紫外）双方の情報を利用する。

可視光領域と非可視光領域を同時に撮像する方法としては、例えば、単版イメージセンサで実現する方法、すなわち、１つのセンサの中に空間的に可視光取得画素と非可視光取得画素をちりばめる方法や、プリズムで入射光を複数の波長帯に分け、複数のイメージセンサで受光する方法、透過波長の異なる複数のフィルタを使って時分割に撮影を行う方法などが考えられるが、そのいずれであってもよいものである。尚、図１においては、撮像部３は、１つのセンサの中に空間的に可視光取得画素と非可視光取得画素をちりばめられているものとして説明を進めるものとする。

サンプリング部４は、撮像部３の出力信号に含まれるノイズのうちの主な成分であるリセットノイズを、出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することにより除去し、A/D変換部５に出力する。

A/D変換部５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換し、カメラ信号処理部６に出力する。

カメラ信号処理部６は、信号処理用プロセッサと画像用RAM（Random Access Memory）を持つブロックで、信号処理用プロセッサが画像用RAMに格納された画像データに対して、予めプログラムされた画像処理、または、ハードウェアによる演算処理として構成された画像処理を行うものである。

AF信号処理部７は、焦点調整処理により、カメラ信号処理部６により画像処理された画像の各画素の画素値より、いわゆるコントラスト方式により合焦位置を検出し、レンズ１の位置を算出により求めてモータドライブ部８を制御してモータ９を駆動させてレンズ１を合焦位置に駆動させる。また、AF信号処理部７は、低照度時などのとき、商店調整処理を実行する際、可視光または非可視光からなる補助光を被写体に照射させるように投光部１９の動作を制御する。尚、AF信号処理部７については、図２を参照して、詳細を後述する。

D/A変換部１０は、カメラ信号処理部６より供給されたデジタル信号の画像信号をアナログ信号に変換してビデオエンコーダ１１に出力する。ビデオエンコーダ１１は、供給されたアナログ信号の画像信号を、表示部１２において表示可能な形式のビデオデータにエンコードする。表示部１２は、例えば、LCD（Liquid Crystal Display）などで構成され、ビデオエンコーダ１１から供給されたビデオ信号を表示する。

タイミング生成部１３は、撮像部３を駆動するために必要な、水平および垂直の各種駆動パルス、並びに、アナログフロント処理で用いるパルスを、基準クロックに同期して発生させるロジック回路である。また、タイミング生成部１３により発生されるタイミングクロックは、バス２０を介して、符号化/復号部１４、メモリ１５、制御部１７、および投光部１９にも供給されている。

符号化/復号部１４は、例えば、JPEG（Joint Picture Experts Group）などの、デジタル画像データの圧縮または伸張アルゴリズムによる処理を実行する。メモリ１５は、例えば、半導体メモリ、磁気ディスク、光磁気ディスク、または、光ディスクなどにより構成され、制御部１７の制御に基づいて、供給されたデータを記憶したり、または、記憶しているデータを出力する。なお、メモリ１５は、デジタルスチルカメラの本体に対して着脱可能なようになされていても良い。

操作入力部１６は、録画を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受ける。

制御部１７は、バス２０を介して、操作入力部１６から供給されたユーザの操作入力を基に、デジタルスチルカメラの各部を制御する。また、制御部１７は、ドライバ１８に接続される半導体メモリ、磁気ディスク、光磁気ディスク、または、光ディスクなどにより構成される外部記憶媒体に記録されているプログラムやデータを適宜ダウンロードして使用する。

投光部１９は、低照度時に可視光または非可視光からなる補助光を被写体に照射する。

次に、図１のデジタルスチルカメラの動作について説明する。

レンズ１および絞り２を介して入力された光は、撮像部３に入射され、受光素子での光電変換によって電気信号に変換され、サンプリング部４に供給される。サンプリング部４は、撮像部３の出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりノイズを除去し、A/D変換部５に供給する。A/D変換部５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換し、カメラ信号処理部６の画像用RAMに一時格納する。

タイミング生成部１３は、シャッタボタンが押されたか否かかの、撮像中の状態に基づいて、撮像部３による画像の読み出しを制御し、一定のフレームレートによる画像取り込みを維持するように、撮像部３、サンプリング部４、A/D変換部５、および、カメラ信号処理部６を制御する。

カメラ信号処理部６は、一定のレートで画素のストリームデータの供給を受け、画像用RAMに一時格納し、信号処理用プロセッサにおいて、一時格納された画像データに対して、後述する画像処理を実行する。カメラ信号処理部６は、画像処理の終了後、制御部１７の制御に基づいて、その画像データを表示部１２に表示させる場合は、D/A変換部１０に、メモリ１５に記憶させる場合は、符号化/復号部１４に画像データを供給する。

D/A変換部１０は、カメラ信号処理部６から供給されたデジタルの画像データをアナログ信号に変換し、ビデオエンコーダ１１に供給する。ビデオエンコーダ１１は、供給されたアナログの画像信号を、ビデオ信号に変換し、表示部１２に出力して表示させる。すなわち、表示部１２は、デジタルスチルカメラにおいて、カメラのファインダの役割を担っている。符号化/復号部１４は、カメラ信号処理部６から供給された画像データに対して、所定の方式の符号化を施し、符号化された画像データをメモリ１５に供給して記憶させる。

AF信号処理部７は、カメラ信号処理部６の内蔵する画像用RAMの画像信号に基づいてレンズ１の合焦に必要な情報を算出する。合焦モータドライブ部８は、AF信号処理部７で算出された合焦に必要な情報に基づいて、元にレンズ１の位置から合焦位置として計算されるレンズ１の補正位置までの移動に必要な補正分の駆動信号をモータ９に供給する。すると、モータ９は、モータドライブ部８より供給された駆動信号でレンズを駆動する。

すなわち、通常の状態では合焦の処理が繰り返し行われることになる。また、AF信号処理部７は、低照度環境あるいは低コントラスト被写体などにより合焦に必要な情報が算出できない場合、投光部１９を制御して合焦用の補助光を被写体に照射させる。

また、符号化/復号部１４は、操作入力部１６からユーザの操作入力を受けた制御部１７の制御に基づいて、メモリ１５に記憶されているデータのうち、ユーザに指定されたデータを読み取り、所定の復号方法で復号し、復号した信号をカメラ信号処理部６に出力する。これにより、復号された信号が、カメラ信号処理部６を介してD/A変換部１０に供給され、アナログ変換された後、ビデオエンコーダ１１によりエンコードされて、表示部１２に表示される。

すなわち、通常の状態（シャッタボタンが押される前の状態）では、タイミング生成部１３の制御により、カメラ信号処理部６の画像用RAMには、撮像部３から間引き処理された画像信号が、一定のフレームレートで絶えず上書きされるようになされている。カメラ信号処理部６により処理された画像信号は、D/A変換部５に供給されてアナログ信号に変換され、ビデオエンコーダ１１によってビデオ信号に変換されて、変換されたビデオ信号に対応する画像が表示部１２に表示される。この時表示される画像は、間引き処理された画像信号に対応する画像であるため、撮像部３の解像度より低い解像度の画像となる。この状態において、表示部１２は、撮像部３のファインダの役割を担っている。

まず、ユーザにより操作入力部１６に含まれるシャッタボタンが半分押下された場合（半押しされた場合）、制御部１７は、AF信号制御部７によりコントラスト方式でレンズ１の合焦位置を調整させる。

そして、ユーザにより操作入力部１６に含まれるシャッタボタンが押下された場合、制御部１７は、シャッタボタンが押下されたタイミングに基づいて、タイミング生成部１３に撮像部３から全画素が読出されるように制御させるとともに、カメラ信号処理部６の画像用RAMに新たな画像データが一定期間上書きされないように、すなわち、読み出された画像信号が処理されて保持されるように制御する。カメラ信号処理部６により処理された画像信号は、符号化/復号部１４により、所定の方式の符号化が施されて、メモリ１５に記憶される。

次に、図２を参照して、図１のAF信号処理部７の実施の形態の構成例について説明する。

輝度値算出部３１は、画素毎の画素値より輝度値を算出し、結果をコントラスト評価値算出部３２に出力する。ここでの輝度値とは、可視光領域と非可視光領域の双方を加味したものである。

コントラスト評価値算出部３２は、入力された輝度画像の各画素位置の輝度値に対して、例えば、ハイパスフィルタを掛けるなどして、高周波成分をコントラスト値として抽出し、抽出したコントラスト値を積分して、画像毎のコントラスト評価値として焦点補正値算出部３３とコントラスト評価値保持メモリ３４に出力する。

コントラスト評価値保持メモリ３４は、AF信号処理部７に時系列に入力される画像毎にコントラスト評価値算出部３２で算出されるコントラスト評価値を、時系列でレンズ１の位置情報に対応付けて複数個格納する。

焦点補正値算出部３３は、コントラスト評価値算出部３２が算出した現在の入力画像のコントラスト評価値と、コントラスト評価値保持メモリ３４に格納されている直前までの画像毎に算出された複数のコントラスト評価値と、それぞれの時系列のレンズ１の位置に基づいて、コントラスト評価値が合焦状態を示す極大値となる合焦位置を推定し、レンズ１の今現在の位置から合焦位置までの距離を焦点補正値として算出する。

モータドライブ部８は、この焦点補正値に対応する駆動量だけモータ９を駆動させ、レンズ１を推定した合焦位置に移動させる。

次に、図３のフローチャートを参照して、図２のAF信号処理部７を含む図１のデジタルスチルカメラによる焦点調整処理について説明する。

ステップＳ１において、カメラ信号処理部６は、レンズ１、絞り２、撮像部３、サンプリング部４、およびA/D変換部５を介して、供給されてくる画像データに基づいて、画素毎に可視光領域と非可視光領域の情報を揃えた画像信号を生成し、AF信号処理部７に供給する。AF信号処理部７の輝度値算出部３１は、このカメラ信号処理部６より供給されてくる画像信号に基づいて、１フレーム分の画像信号が供給されてくると、各画素の画素値より輝度値を算出し、結果をコントラスト評価値算出部３２に出力する。

ステップＳ２において、コントラスト評価値算出部３２は、入力された輝度画像の各画素位置の輝度値に対して、例えば、ハイパスフィルタを掛けるなどして、高周波成分をコントラスト値として抽出し、抽出したコントラスト値を積分して、コントラスト評価値を生成すると共に、生成したコントラスト評価値を焦点補正値算出部３３とコントラスト評価値保持メモリ３４に出力する。

ステップＳ３において、焦点補正値算出部３３は、コントラスト評価値算出部３２が算出した今現在の時刻Ｔの入力画像のコントラスト評価値と、コントラスト評価値保持メモリ３４に格納されている今現在の時刻Ｔ以前の画像毎に算出された複数のコントラスト評価値とに基づいて、それぞれのレンズ１の位置との関係からコントラスト評価値が極大値を持つか否かを判定する。

すなわち、焦点補正値算出部３３は、例えば、横軸にコントラスト評価値を算出したタイミングにおけるレンズ１の絞り２からの位置をとり、縦軸にそれぞれのタイミングにおけるコントラスト評価値を取ることにより、今現在の時刻Ｔ乃至時刻Ｔ以前のタイミングにおけるレンズ１の絞り２からの位置変化に応じたコントラスト評価値の時系列の変化を分析し、今現在である時刻Ｔにおけるレンズ１の絞り２からの位置でのコントラスト評価値が極大値となっているか否かを判定する。

ステップＳ３において、例えば、今現在の時刻Ｔにおいてコントラスト評価値が極大値ではないと判定された場合、ステップＳ４において、焦点補正値算出部３３は、焦点補正値を計算し、AF信号としてモータドライブ部８に出力する。すなわち、焦点補正値算出部３３は、今現在の時刻Ｔ乃至時刻Ｔ以前のタイミングにおけるレンズ１の絞り２からの位置変化に応じたコントラスト評価値の時系列の変化の分析結果に基づいて、極大値となる絞り２からの位置を推定し、今現在のレンズ１の位置からの距離を焦点補正値として算出する。

そして、ステップＳ５において、モータドライブ部８は、AF信号制御部７より供給されてきたAF信号に含まれる焦点補正値に基づいて、モータ９を駆動させてレンズ１を移動させ、処理は、ステップＳ１に戻る。

すなわち、コントラスト評価値が極大値を持つためには、少なくとも３個以上のコントラスト評価値が必要となる。例えば、コントラスト評価値が１個の場合、すなわち、今現在の時刻Ｔにおけるコントラスト評価値しかなくコントラスト評価値保持メモリ３４にコントラスト評価値が記憶されていない場合、コントラスト評価値のサンプル数を増やすためだけにレンズ１を、今現在とは異なる位置に移動させるだけであるので、予め設定された所定の値を焦点補正値として設定し、焦点補正値の計算を具体的には行わない。

また、コントラスト評価値が２個以上であって、極大値を持たず、単調増加または単調減少しているような場合、今現在のレンズ１の位置からみて、過去におけるコントラスト評価値によりコントラスト評価値が最大値をとった位置に向う方向に、今現在の位置から最大値を取ったレンズ１の位置よりも所定の距離だけ進めた位置までの距離を、レンズ１を駆動させる焦点補正値として設定する。例えば、コントラスト評価値が２個であるとき、レンズ１が絞り２からみて遠い位置Ｐ１におけるコントラスト評価値Ｅ１が高く、絞り２からみて近い位置Ｐ２におけるコントラスト評価値Ｅ２が低い場合、高いコントラスト評価値は、レンズ１が絞り２より遠い方向に進むに従って単調増加していることになるので、このような場合、焦点補正値算出部３３は、位置Ｐ１よりもさらに絞り２から所定の位置だけ遠い位置に移動するような焦点補正値を算出する。

さらに、コントラスト評価値が３個以上であって、レンズ１が絞り２から最も近い位置から遠い位置までの中間近傍に極大値となるコントラスト評価値が存在する場合、焦点補正値算出部３３は、中間近傍のコントラスト評価値を用いて、例えば、補間によりコントラスト評価値が極大値となるレンズ１の位置を計算し、現在位置からの差分値を焦点補正値として算出する。

ステップＳ３において、今現在のコントラスト評価値が、極大値であると判定されるまで、ステップＳ１乃至Ｓ５の処理が繰り返され、極大値であると判定された場合、レンズ１の位置が合焦位置に設定されたものとみなし、処理は、終了する。

以上の処理により、従来は可視光領域のみを使った輝度情報を元にコントラスト評価値を算出したが、非可視光領域を加味した輝度情報を使うことにより、例えば、可視光領域では低コントラストだが非可視光領域では高コントラストな被写体の場合などにおいて、コントラスト情報を有効に使うことが可能となるため、結果として、従来に比べて、焦点調整の際、より高精度な合焦が可能となる。

以上においては、コントラスト評価値の計算に際して、可視光と非可視光とを混在させて求める例にして説明してきたが、可視光におけるコントラスト評価値と非可視光におけるコントラスト評価値とを個別に求めて、それらを合成し、合成コントラスト評価値として扱い、合成コントラスト評価値により焦点調整を行うようにしても良い。

次に、図４を参照して、合成コントラスト評価値を利用して焦点調整するデジタルスチルカメラのAF信号処理部７の実施の形態における構成例について説明する。

可視光値算出部４１は、撮像された可視光領域の波長の情報を使って画素毎の画素値より可視光の輝度値を可視光値として算出し、結果をコントラスト評価値算出部４２に出力する。

コントラスト評価値算出部４２は、入力された輝度画像の各画素位置の可視光値に対して、例えば、ハイパスフィルタを掛けるなどして、高周波成分をコントラスト値として抽出し、抽出したコントラスト値を積分して、可視光値のコントラスト評価値を算出し、結果をコントラスト評価値合成部４５に出力する。

非可視光値算出部４３は、撮像された非可視光領域の波長の情報を使って画素毎の画素値より非可視光の輝度値を非可視光値として算出し、結果をコントラスト評価値算出部４４に出力する。

コントラスト評価値算出部４４は、入力された輝度画像の各画素位置の非可視光値に対して、例えば、ハイパスフィルタを掛けるなどして、高周波成分をコントラスト値として抽出し、抽出したコントラスト値を積分して、非可視光値のコントラスト評価値を算出し、結果をコントラスト評価値合成部４５に出力する。

コントラスト評価値合成部４５は、可視光値のコントラスト評価値と非可視光値のコントラスト評価値に基づいて、コントラスト評価がしやすいように評価値の合成し、結果を合成コントラスト評価値として合成比率と共に焦点補正値算出部４６およびコントラスト評価値保持メモリ４７に出力する。

焦点補正値算出部４６は、コントラスト評価値合成部４５が算出した今現在の時刻Ｔの入力画像の合成コントラスト評価値と、コントラスト評価値保持メモリ４７に格納されている時刻Ｔ以前の画像毎に算出された複数の合成コントラスト評価値と、対応する合成比率に基づいて、合成コントラスト評価値が極大値を持つ焦点位置を推定し、レンズを合焦させるための焦点補正値を算出し出力する。

コントラスト評価値保持メモリ４７は、AF信号処理部７に時系列に入力される画像毎にコントラスト評価値合成部４５で算出される合成コントラスト評価値とその合成比率を、各タイミングにおけるレンズ１の位置の情報に対応付けて複数格納する。

次に、図５のフローチャートを参照して、図４のAF信号処理部７を含む図１のデジタルスチルカメラによる焦点調整処理について説明する。

ステップＳ２１において、カメラ信号処理部６は、レンズ１、絞り２、撮像部３、サンプリング部４、およびA/D変換部５を介して、供給されてくる画像データに基づいて、画素毎に可視光領域と非可視光領域の情報を揃えた画像信号を生成し、AF信号処理部７に供給する。AF信号処理部７の可視光値算出部４１は、このカメラ信号処理部６より供給されてくる画像信号に基づいて、１フレーム分の画像信号が供給されてくると、可視光成分の各画素の画素値より輝度値を算出し、結果をコントラスト評価値算出部４２に出力する。

ステップＳ２２において、コントラスト評価値算出部４２は、入力された可視光成分の輝度画像の各画素位置の輝度値（可視光値）に対して、例えば、ハイパスフィルタを掛けるなどして、高周波成分をコントラスト値として抽出し、抽出したコントラスト値を積分して、可視光成分のコントラスト評価値を生成すると共に、生成した可視光成分のコントラスト評価値をコントラスト評価値合成部４５に出力する。

ステップＳ２３において、AF信号処理部７の非可視光値算出部４３は、このカメラ信号処理部６より供給されてくる画像信号に基づいて、１フレーム分の画像信号が供給されてくると、非可視光成分の各画素の画素値より輝度値を算出し、結果をコントラスト評価値算出部４４に出力する。

ステップＳ２４において、コントラスト評価値算出部４４は、入力された非可視光成分の輝度画像の各画素位置の輝度値（非可視光値）に対して、例えば、ハイパスフィルタを掛けるなどして、高周波成分をコントラスト値として抽出し、抽出したコントラスト値を積分して、非可視光成分のコントラスト評価値を生成すると共に、生成した非可視光成分のコントラスト評価値をコントラスト評価値合成部４５に出力する。

ステップＳ２５において、コントラスト評価値合成部４５は、可視光値のコントラスト評価値と非可視光値のコントラスト評価値に基づいて、コントラスト評価値を比較しやすいような合成比率で可視光値のコントラスト評価値と非可視光値のコントラスト評価値とを合成し、結果を合成コントラスト評価値として合成比率と共に焦点補正値算出部４６およびコントラスト評価値保持メモリ４７に出力する。

すなわち、コントラスト評価値合成部４５は、例えば、可視光成分のコントラスト評価値ＣＥが小さく、非可視光成分のコントラスト評価値ＮＥが大きい場合、非可視光コントラスト評価値の重みを大きくして合成し、逆の場合、可視光成分のコントラスト評価値の重みを大きくして合成する。つまり、コントラスト評価値合成部４５は、コントラスト評価値の大きな成分のコントラスト評価値の重みを大きくすることで、合成コントラスト評価値を比較しやすいように可視光成分と非可視光成分のコントラスト評価値を合成する。

ステップＳ２６において、焦点補正値算出部４６は、コントラスト評価値合成部４５が算出した今現在の時刻Ｔの入力画像の合成コントラスト評価値と、コントラスト評価値保持メモリ４７に格納されている今現在の時刻Ｔ以前の画像毎に算出された複数の合成コントラスト評価値とに基づいて、合成コントラスト評価値が極大値を持つか否かを判定する。

ステップＳ２６において、例えば、コントラスト評価値が極大値を持たないと判定された場合、ステップＳ２７において、焦点補正値算出部４６は、焦点補正値を計算し、AF信号としてモータドライブ部８に出力する。その際、焦点補正値算出部４６は、可視光と非可視光の焦点位置が異なるため、合成コントラスト評価値の合成比率から可視光と非可視光の焦点位置の違いを補正する値を算出し、焦点補正値に反映させる。

ステップＳ２８において、モータドライブ部８は、AF信号制御部７より供給されてきたAF信号に含まれる焦点補正値に基づいて、モータ９を駆動させてレンズ１を移動させ、処理は、ステップＳ２１に戻る。

そして、ステップＳ２６において、今現在の合成コントラスト評価値が、極大値であると判定されるまで、ステップＳ２１乃至Ｓ２８の処理を繰り返し、極大値であると判定された場合、処理は、終了する。

以上の処理により、可視光コントラスト評価値と非可視光コントラスト評価値の合成比率を適応的に変えながら評価値の合成し、合成コントラスト評価値を比較することで、高精度でロバストなコントラスト評価を行うことが可能となる。また、可視光と非可視光の焦点位置が異なる問題に対して、可視光と非可視光の合成比率を考慮した焦点補正値が求められるので、非可視光を利用しながら可視光に焦点を合わせるといったことも可能になる。結果として、従来に比べて、焦点調整の際、より高精度な合焦が可能となる。

なお、図４のAF信号処理部７においては、可視光と非可視光のコントラスト評価値をそれぞれ独立して算出する例について説明してきたが、非可視光をさらに複数に分割しても良く、例えば、可視光のコントラスト評価値に加えて、赤外光の輝度値に対応するコントラスト評価値と紫外光の輝度値に対応するコントラスト評価値を用いて図４におけるAF信号処理部７と同様の処理により焦点調整を行うようにするようにしても良い。尚、コントラスト評価値の種類が増えるのみであるので、その構成および処理については説明を省略するものとする。

以上においては、可視光領域および非可視光領域におけるコントラスト評価値を合成し、合成コントラスト評価値の極大値により焦点補正値を求めるようにする例について説明してきたが、複数のコントラスト評価値のうち、最もS/N比の高いコントラスト評価値を優先的に使用するようにしてもよい。また、その際、投光部１９を利用して補助光を使用するようにしてもよい。

図６は、複数のコントラスト評価値のうち、最もS/N比の高いコントラスト評価値を優先的に使用し、必要に応じて補助光を使用するようにしたAF信号処理部７の実施の形態の構成例を示している。

可視光値算出部５１は、撮像された可視光領域の波長の情報を使って画素毎の画素値より可視光の輝度値を可視光値として算出し、結果をコントラスト評価値算出部５２に出力する。

コントラスト評価値算出部５２は、入力された輝度画像の各画素位置の可視光値に対して、例えば、ハイパスフィルタを掛けるなどして、高周波成分をコントラスト値として抽出し、抽出したコントラスト値を積分して、可視光値のコントラスト評価値を算出する。また、コントラスト評価値算出部５２は、S/N比算出部５２ａを備えており、S/N比算出部５２ａを制御して可視光のコントラスト評価値のS/N比を計算させる。コントラスト評価値算出部５２は、算出された可視光のコントラスト評価値およびS/N比を焦点補正値算出部５５、コントラスト評価値保持メモリ５６、および投光部制御信号生成部５７に出力する。

非可視光値算出部５３は、撮像された非可視光領域の波長の情報を使って画素毎の画素値より非可視光の輝度値を非可視光値として算出し、結果をコントラスト評価値算出部５４に出力する。

コントラスト評価値算出部５４は、入力された輝度画像の各画素位置の非可視光値に対して、例えば、ハイパスフィルタを掛けるなどして、高周波成分をコントラスト値として抽出し、抽出したコントラスト値を積分して、非可視光値のコントラスト評価値を算出する。また、コントラスト評価値算出部５４は、S/N比算出部５４ａを備えており、S/N比算出部５４ａを制御して非可視光のコントラスト評価値のS/N比を計算させる。コントラスト評価値算出部５４は、算出された非可視光のコントラスト評価値およびS/N比を焦点補正値算出部５５、コントラスト評価値保持メモリ５６、および投光部制御信号生成部５７に出力する。

焦点補正値算出部５５は、S/N比比較部５５ａを備えており、コントラスト評価値算出部５２，５４によりそれぞれ算出された今現在の時刻Ｔの入力画像のコントラスト評価値のそれぞれのS/N比を比較し、S/N比の高いコントラスト評価値を選択させる。そして、焦点補正値算出部５５は、S/N比比較部５５ａで選択されたS/N比の高いコントラスト評価値について、コントラスト評価値保持メモリ５６に格納されている時刻Ｔ以前の画像毎に算出された複数のコントラスト評価値に基づいて、コントラスト評価値が極大値を持つ焦点位置を推定し、レンズを合焦させるための焦点補正値を算出し出力する。

コントラスト評価値保持メモリ５６は、AF信号処理部７に時系列に入力される画像毎にコントラスト評価値算出部５２，５４で算出される、それぞれのコントラスト評価値およびS/N比を複数保持する。

投光部制御信号生成部５７は、焦点補正値算出部５５、およびコントラスト評価値保持メモリ５６の可視光および非可視光のそれぞれのコントラスト評価値のS/N比に基づいて、S/N比が所定の閾値よりも低い場合、コントラスト評価値を求めるのに最適な波長の補助光を選択し、発光させるように投光部１９を制御する。

次に、図７のフローチャートを参照して、図６のAF信号処理部７を含む図１のデジタルスチルカメラによる焦点調整処理について説明する。

ステップＳ４１において、カメラ信号処理部６は、レンズ１、絞り２、撮像部３、サンプリング部４、およびA/D変換部５を介して、供給されてくる画像データに基づいて、画素毎に可視光領域と非可視光領域の情報を揃えた画像信号を生成し、AF信号処理部７に供給する。AF信号処理部７の可視光値算出部５１は、このカメラ信号処理部６より供給されてくる画像信号に基づいて、１フレーム分の画像信号が供給されてくると、可視光成分の各画素の画素値より輝度値を算出し、結果をコントラスト評価値算出部５２に出力する。

ステップＳ４２において、コントラスト評価値算出部５２は、入力された可視光成分の輝度画像の各画素位置の輝度値（可視光値）に対して、例えば、ハイパスフィルタを掛けるなどして、高周波成分をコントラスト値として抽出し、抽出したコントラスト値を積分して、可視光成分のコントラスト評価値を算出する。

ステップＳ４３において、コントラスト評価値算出部５２は、S/N比算出部５２ａを制御して、可視光成分のコントラスト評価値に基づいて、S/N比を算出させ、可視光のコントラスト評価値と共に算出されたS/N比を焦点補正値算出部５５、コントラスト評価値保持メモリ５６、および投光部制御信号生成部５７に出力する。

ステップＳ４４において、AF信号処理部７の非可視光値算出部５３は、このカメラ信号処理部６より供給されてくる画像信号に基づいて、１フレーム分の画像信号が供給されてくると、非可視光成分の各画素の画素値より輝度値を算出し、結果をコントラスト評価値算出部５４に出力する。

ステップＳ４５において、コントラスト評価値算出部５４は、入力された非可視光成分の輝度画像の各画素位置の輝度値（非可視光値）に対して、例えば、ハイパスフィルタを掛けるなどして、高周波成分をコントラスト値として抽出し、抽出したコントラスト値を積分して、非可視光成分のコントラスト評価値を算出する。

ステップＳ４６において、コントラスト評価値算出部５４は、S/N比算出部５４ａを制御して、非可視光成分のコントラスト評価値に基づいて、S/N比を算出させ、非可視光のコントラスト評価値と共に算出されたS/N比を焦点補正値算出部５５、コントラスト評価値保持メモリ５６、および投光部制御信号生成部５７に出力する。

ステップＳ４７において、投光部制御信号生成部５７は、焦点補正値算出部５５、およびコントラスト評価値保持メモリ５６の可視光および非可視光のそれぞれのコントラスト評価値のS/N比に基づいて、S/N比が所定の閾値よりも低いか否かを判定し、例えば、低い場合、ステップＳ４８において、コントラスト評価値を求めるのに最適な補助光の波長、照度、および照射時間を計算し投光部制御信号を投光部１９に出力する。この際、補助光の波長は、可視光成分のコントラスト評価値のS/N比が悪い場合は可視光、非可視光成分のコントラスト評価値のS/N比が悪い場合は非可視光のそれぞれに重みをおいた波長の光が選択されるようにする。

ステップＳ４８において、投光部１９は、投光部制御信号に基づいて、補助光を投光し、処理は、ステップＳ４１に戻る。

すなわち、S/N比が改善されるまで、ステップＳ４１乃至Ｓ４９の処理が繰り返される。

そして、ステップＳ４７において、投光部１９により投光される補助光によりS/N比が所定の閾値よりも小さくないと判定された場合、ステップＳ５０において、焦点補正値算出部５５は、S/N比比較部５５ａを制御して、可視光成分のコントラスト評価値と非可視光成分のコントラスト評価値のうち、S/N比の高いコントラスト評価値を選択させる。

ステップＳ５１において、焦点補正値算出部５５は、S/N比の高いコントラスト評価値
について、今現在の時刻Ｔの入力画像のコントラスト評価値と、コントラスト評価値保持メモリ５６に格納されている今現在の時刻Ｔ以前の画像毎に算出された複数のコントラスト評価値とに基づいて、コントラスト評価値が極大値を持つか否かを判定する。

ステップＳ５１において、例えば、コントラスト評価値が極大値を持たないと判定された場合、ステップＳ５２において、焦点補正値算出部５５は、焦点補正値を計算し、AF信号としてモータドライブ部８に出力する。

ステップＳ５２において、モータドライブ部８は、AF信号制御部７より供給されてきたAF信号に含まれる焦点補正値に基づいて、モータ９を駆動させてレンズ１を移動させ、処理は、ステップＳ４１に戻る。

そして、ステップＳ５１において、今現在のコントラスト評価値が、極大値であると判定されるまで、ステップＳ４１乃至Ｓ５３の処理が繰り返され、極大値であると判定された場合、処理は、終了する。

以上の処理により、例えば、低照度の環境下での撮像する場合、従来の焦点検出方法では高精度なコントラスト値の算出が難しかったが、非可視光である赤外領域を利用することでより高精度なコントラスト値の算出が可能となる。また、非可視光である紫外領域を利用すると、可視光領域では取得できないコントラストを取得できる可能性がある。例えば、可視光では見えない物体の表面の細かい傷の検査に紫外線撮影が使用されている。また、図８の左部（上部が撮像画像、その下部が撮像画像にHPFを掛けた画像）で示されるように、可視光下の撮像画像ではのっぺりした花弁が、図８の右部（上部が撮像画像、その下部が撮像画像にHPFを掛けた画像）で示されるように、紫外光下の撮像画像では花弁に模様が現れる。このように、可視光領域でコントラストの算出が困難な場合でも、非可視光を合わせて利用することで、より安定してコントラスト算出が可能になる。

以上の処理により、自動焦点調整機能を有するデジタルスチルカメラやビデオカメラなどの撮像装置において、従来の可視光の撮像結果を利用した自動焦点検出機能においては、低コントラストの被写体、あるいは、低照度環境下において焦点検出の精度が悪化していたが、被写体のコントラスト低下時において、従来の可視光だけでなく非可視光も撮像しそれを焦点検出に利用することで、高精度でロバストな焦点検出が可能となる。

また、低照度な環境下において、算出した可視光および非可視光のコントラスト評価値から、コントラスト評価に適した補助光の波長およびその照射量を推定し、投光部より被写体に照射することで、従来に比べて高精度な焦点検出が可能となる。

尚、焦点検出には非可視光を利用し実際の撮像は可視光で行う場合、可視光と非可視光の焦点位置は異なるため、そのまま撮像すると撮像結果が合焦していないという問題が発生するが、非可視光を焦点検出に利用した際には、焦点補正において可視光と非可視光の焦点位置の差の補正分を考慮することにより解決することができる。

また、以上においては、デジタルスチルカメラにおける例について説明してきたが、自動焦点装置を持つ他の撮像装置にも適用が可能であり、例えば、ビデオカメラなどに適用することも可能である。

以上の如く、本発明によれば、低コントラストな被写体においても、高精度およびロバストに焦点調整することが可能となる。

ところで、上述した一連の画像処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図９は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

本発明を適用したデジタルスチルカメラの実施の形態の構成例を示すブロック図である。 図１のAF信号処理部の構成例を示すブロック図である。 図２のAF信号処理部を含む焦点調整処理を説明するフローチャートである。 図１のAF信号処理部のその他の構成例を示すブロック図である。 図４のAF信号処理部を含む焦点調整処理を説明するフローチャートである。 図１のAF信号処理部のその他の構成例を示すブロック図である。 図６のAF信号処理部を含む焦点調整処理を説明するフローチャートである。 赤外光および紫外光により撮像された画像例を示す図である。 パーソナルコンピュータの構成例を説明する図である。

符号の説明

１ レンズ， ２ 絞り， ３ 撮像部， ４ サンプリング部， ５ A/D変換部， ６ カメラ信号処理部， ７ AF信号処理部， ８ モータドライブ部， ９ モータ， １０ D/A変換部， １１ ビデオエンコーダ部， １２ 表示部， １３ タイミング生成部， １４ 符号化/復号部， １５ メモリ， １６ 操作入力部， １７ 制御部， １８ ドライバ， １９ 投光部， ３１ 輝度値算出部， ３２ コントラスト評価値算出部， ３３ 焦点補正値算出部， ３４ コントラスト評価値保持メモリ， ４１ 可視光値算出部， ４２ コントラスト評価値算出部， ４３ 非可視光値算出部， ４４ コントラスト評価部， ４５ コントラスト評価値合成部， ４６ 焦点補正値算出部， ４７ コントラスト評価値保持メモリ， ５１ 可視光値算出部， ５２ コントラスト評価値算出部， ５３ 非可視光値算出部， ５４ コントラスト評価部， ５５ 焦点補正値算出部， ５６ コントラスト評価値保持メモリ， ５７ 投光部制御信号生成部

Claims (12)

1. 撮像レンズを介して入射する可視光および非可視光の範囲の複数の色を画素の単位で撮像する撮像素子からなる撮像手段と、
   前記撮像手段により撮像された全色に対応する前記画素毎の少なくとも１以上の色の画素値を算出する画素値算出手段と、
   前記画素値算出手段により算出された色の画素値に基づいて、前記少なくとも１以上の色毎のコントラスト値を算出するコントラスト値算出手段と、
   前記コントラスト値算出手段により算出された前記少なくとも１以上の色のコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出する補正値算出手段と、
   前記焦点補正値算出手段で算出された焦点補正値に基づいて、前記撮像レンズを駆動する撮像レンズ駆動手段と
   含む撮像装置。
2. 前記画素値算出手段は、前記可視光および非可視光を含んだ輝度値を画素毎に画素値として算出し、
   前記コントラスト値算出手段は、前記画素値算出手段で算出された輝度値に基づいて、前記コントラスト値を算出し、
   前記焦点補正値算出手段は、前記コントラスト値算出手段により算出されたコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出する
   請求項１に記載の撮像装置。
3. 前記画素値算出手段は、
   前記画素毎に可視光の輝度値である可視光値を算出する可視光値算出手段と、
   前記画素毎に非可視光の輝度値である非可視光値を算出する非可視光値算出手段とを含み、
   前記コントラスト値算出手段は、
   前記可視光値算出手段で算出された可視光値について可視光コントラスト値を算出する可視光コントラスト算出手段と、
   前記非可視光値算出手段で算出された非可視光値について非可視光コントラスト値を算出する非可視光コントラスト算出手段とを含み、
   前記焦点補正値算出手段は、前記可視光コントラスト値および前記非可視光コントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出する
   請求項１に記載の撮像装置。
4. 前記コントラスト値算出手段で算出された可視光のコントラスト値のS/N比を算出する可視光S/N比算出手段と、
   前記コントラスト値算出手段で算出された非可視光のコントラスト値のS/N比を算出する非可視光S/N比算出手段とをさらに含み、
   前記焦点補正値算出手段は、前記可視光コントラスト値および前記非可視光コントラスト値のうち、前記可視光と非可視光のそれぞれのS/N比を比較して大きい方のコントラスト値を焦点補正値の算出に適するコントラスト値とみなし、前記焦点補正値の算出に適するコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出する
   請求項３に記載の撮像装置。
5. 前記可視光値コントラスト値および非可視光値コントラスト値を合成し、合成コントラスト値を生成するコントラスト値合成手段をさらに含み、
   前記焦点補正値算出手段は、前記合成コントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出する
   請求項３に記載の撮像装置。
6. コントラスト値合成手段は、前記可視光値および非可視光値のそれぞれについてコントラスト値を相互の値に基づいた合成比率で合成し、合成コントラスト値を生成し、
   前記焦点補正値算出手段は、前記合成コントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を前記合成比率に対応して算出する
   請求項５に記載の撮像装置。
7. 前記画素値算出手段は、前記画素毎に非可視光値について、赤外光の輝度値である赤外光値、および紫外光の輝度値である紫外光値を算出し、
   前記コントラスト値算出手段は、前記画素値算出手段で算出された可視光値、赤外光値、および紫外光値のそれぞれについてコントラスト値を算出し、
   前記焦点補正値算出手段は、前記コントラスト値算出手段で算出された可視光値、赤外光値、紫外光値のコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出する
   請求項１に記載の撮像装置。
8. 前記可視光および非可視光の範囲において、コントラスト算出に最適な色の光を被写体に照射する補助光照射手段と、
   前記補助光照射手段により補助光の照射を制御する補助光照射制御手段とをさらに含む
   請求項１に記載の撮像装置。
9. 前記補助光照射制御手段は、前記可視光、赤外光、または紫外光のうち前記コントラスト値の算出に最適な光を被写体に照射するように補助光手段を制御する
   請求項８に記載の撮像装置。
10. 撮像レンズを介して入射する可視光および非可視光の範囲の複数の色を画素の単位で撮像する撮像ステップと、
    前記撮像ステップの処理により撮像された全色に対応する前記画素毎の少なくとも１以上の色の画素値を算出する画素値算出ステップと、
    前記画素値算出ステップの処理により算出された色の画素値に基づいて、前記少なくとも１以上の色毎のコントラスト値を算出するコントラスト値算出ステップと、
    前記コントラスト値算出ステップの処理により算出された前記少なくとも１以上の色のコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出する補正値算出ステップと、
    前記焦点補正値算出ステップの処理で算出された焦点補正値に基づいて、前記撮像レンズを駆動する撮像レンズ駆動ステップと
    含む撮像方法。
11. 撮像レンズを介して入射する可視光および非可視光の範囲の複数の色を画素の単位で撮像する撮像ステップと、
    前記撮像ステップの処理により撮像された全色に対応する前記画素毎の少なくとも１以上の色の画素値を算出する画素値算出ステップと、
    前記画素値算出ステップの処理により算出された色の画素値に基づいて、前記少なくとも１以上の色毎のコントラスト値を算出するコントラスト値算出ステップと、
    前記コントラスト値算出ステップの処理により算出された前記少なくとも１以上の色のコントラスト値の時系列の変化に基づいて、前記撮像レンズの現在の位置から前記撮像レンズが合焦する位置までの焦点補正値を算出する補正値算出ステップと、
    前記焦点補正値算出ステップの処理で算出された焦点補正値に基づいて、前記撮像レンズを駆動する撮像レンズ駆動ステップと
    を含む処理をコンピュータに実行させるプログラム。
12. 請求項１１に記載のプログラムが格納されているプログラム格納媒体。

Images