JP2009206801A - 撮像システムおよびその調整方法 - Google Patents

Abstract

【課題】露出変動時に、露出・アナログゲインという画像調整レベルを振って、顔領域の信号の黒つぶれ・白飛びを抑え、確度よく顔領域を抽出しながら、画質劣化を軽減させる撮像システムおよびその調整方法を提供。
【解決手段】ディジタルカメラ10は、システム制御部20で光学系12、前処理部16、信号処理部18およびタイミング信号発生器24を制御し、動作制御機能部64で逆光および過順光のいずれかの状態を含む異常シーンの画像に対して、顔の検出を可能にするように画像の取得における調整レベルを変化させて、かつ少なくとも、光学系12、前処理部16およびタイミング信号発生器24のいずれかの動作を制御し、画像の連続表示モードにおいて、システム制御部20の表示制御機能部66で顔検出する画像か否かに応じて表示禁止/表示および顔の検出の有無に応じた表示制御して、非表示の画像だけを用いて調整レベルを可変させて顔検出する。
【選択図】図１

Description

本発明は、撮像システムおよびその調整方法に関し、とくに、本発明の撮像システムは、ディジタルカメラ、ビデオカメラのような動画表示可能な画像入力装置に関し、また、本発明の撮像調整方法は、逆光または過順光状態のようなシーンでの表示制御、およびこのシーンでの顔検出を可能にする撮像調整や信号処理技術に関するものである。

逆光または過順光状態のような被写体と背景との輝度に大きな差がある環境下では、画面内で輝度平均など行ない、露出を決定することにより、背景が適性露出になっても、被写体部分の画像が黒つぶれや白飛びする問題がある。このような状況では、被写体に顔が含まれていても、顔領域の信号自体が黒つぶれや白飛びすると、固体撮像装置は、顔抽出も困難である。

この問題を回避するために、特許文献１および２には、露出・アナログゲインを振り、顔領域が黒つぶれまたは白飛びしていない画像を取得することで顔抽出し、この結果を基に顔領域が適性露出になるように補正するといった技術が開示されている。
特開2004-201228号公報 特開2005-347873号公報

動画・スルー画のように、連続して、画像を読み出し、表示するような装置において、上述した技術を実施した場合、顔抽出のための露出・ゲイン等の信号調整レベルの変更によって画像が前フレームよりも暗く変化したり、明るく変化したりしてしまう。このため、カメラなど装置を使用するユーザには、不快感を抱かせることになる。

また、固体撮像装置は、調整レベルを増大させ、光信号を過剰に取得しようとすると、得られた画像には、ブルーミングが発生してしまうことがある。この結果、この画像は壊れてしまう可能性がある。したがって、固体撮像装置は、この画像を画質劣化させるだけでなく、この画像から顔検出も困難にしてしまう懸念を有する。

本発明はこのような課題に鑑み、逆光状態や過順光状態のような露出変動時に、露出・アナログゲインという画像調整レベルを振って、顔領域の信号の黒つぶれ・白飛びを抑え、確度よく顔領域を抽出しながら、画質劣化を軽減させる撮像システムおよびその調整方法を提供することを目的とする。

本発明は上述の課題を解決するために、被写界からの入射光の入射光量を調節する機構を含む光学調整手段と、調整した入射光をアナログ電気信号に変換する撮像手段と、変換したアナログ電気信号に対してアナログ処理を施し、アナログ処理した信号をディジタル信号に変換し、画像データとして出力する前処理手段と、供給される前記画像データに含まれる顔を検出する顔検出機能を有する信号処理手段と、撮像手段および前処理手段を動作させるタイミング信号を生成するタイミング信号発生手段と、供給されるタイミング信号に応じて駆動信号を生成する駆動手段と、光学調整手段、前処理手段、信号処理手段およびタイミング信号発生手段を制御するシステム制御手段とを含み、このシステム制御手段は、逆光および過順光のいずれかの状態を含む異常シーンの画像に対して、顔の検出を可能にするように画像の取得における調整レベルを変化させて、かつ少なくとも、光学調整手段、前処理手段およびタイミング信号発生手段のいずれかの動作を制御する動作制御機能ブロックと、信号処理手段で処理した画像の連続表示モードにおいて、顔検出する画像か否かに応じて表示禁止/表示を制御し、顔検出された画像を表示し、顔未検出の画像を表示禁止に制御する表示制御機能ブロックとを含むことを特徴とする。

また、本発明は上述の課題を解決するために、被写界からの入射光の入射光量を調節し、調整した入射光をアナログ電気信号に変換し、変換したアナログ電気信号に対してアナログ処理を施し、アナログ処理した信号をディジタル信号に変換し、画像データとして供給され、供給される画像データの連続表示モードで、前記画像データに信号処理を施し、撮像条件や撮像信号を調整する方法において、この方法は、撮像条件および撮像信号の調整を設定する第１の工程と、この設定に応じて画像を取得する第２の工程と、取得した画像から顔を検出する第３の工程と、顔の検出が成功したか否か判定する第４の工程と、取得した画像が正常な制御に基づき得られた画像か否かを判定する第５の工程と、正常な制御を基に得られた画像を表示させる第６の工程と、異常な制御を基に得られた画像の表示を禁止し、この得られた画像の設定データを一時的に保存する第７の工程と、顔の検出の有無を判定する第８の工程と、顔の未検出に応じて異常なシーンでの顔検出の制御をオンにする第９の工程と、この制御のオンに応じて新たな設定データを設定する第10の工程とを含み、顔の検出および新たな設定データの設定それぞれに応じて第２の工程に戻ることを特徴とする。

本発明に係る撮像システムおよびその調整方法によれば、システム制御手段で光学調整手段、前処理手段、信号処理手段およびタイミング信号発生手段を制御し、動作制御機能ブロックで逆光および過順光のいずれかの状態を含む異常シーンの画像に対して、顔の検出を可能にするように画像の取得における調整レベルを変化させて、かつ少なくとも、光学調整手段、前処理手段およびタイミング信号発生手段のいずれかの動作を制御し、光学調整手段で被写界からの入射光の入射光量を調節し、タイミング信号発生手段から撮像手段および前処理手段を動作させるタイミング信号を生成し、駆動手段で供給されるタイミング信号に応じて駆動信号を生成し、撮像手段で供給される駆動信号に応じて調整した入射光をアナログ電気信号に変換し、前処理手段で変換したアナログ電気信号に対してアナログ処理を施し、アナログ処理した信号をディジタル信号に変換し、画像データとして出力し、信号処理手段の顔検出機能により供給される画像データに含まれる顔を検出し、信号処理手段で処理した画像の連続表示モードにおいて、システム制御手段の表示制御機能ブロックで顔検出する画像か否かに応じて表示禁止/表示を制御し、顔の検出の有無に応じて表示を制御し、顔の検出に用いる画像を非表示に制御し、非表示の画像だけを用いて調整レベルを可変させて顔検出することにより、表示画像の明るさを変動させることなく、顔検出できない異常なシーンも表示させないように制御して、ユーザに不快感を与えることなく、顔検出することができる。

次に添付図面を参照して本発明による撮像システムの実施例を詳細に説明する。図１を参照すると、本発明による撮像システムの実施例は、システム制御部20で光学系12、前処理部16、信号処理部18およびタイミング信号発生器24を制御し、動作制御機能部64で逆光および過順光のいずれかの状態を含む異常シーンの画像に対して、顔の検出を可能にするように画像の取得における調整レベルを変化させて、かつ少なくとも、光学系12、前処理部16およびタイミング信号発生器24のいずれかの動作を制御し、光学系12で被写界からの入射光の入射光量を調節し、タイミング信号発生器24から撮像部14および前処理部16を動作させるタイミング信号を生成し、ドライバ26で供給されるタイミング信号80に応じて駆動信号36を生成し、撮像部14で供給される駆動信号36に応じて調整した入射光35をアナログ電気信号38に変換し、前処理部16で変換したアナログ電気信号38に対してアナログ処理を施し、アナログ処理した信号46をディジタル信号48に変換し、画像データとして出力し、信号処理部18の顔検出機能部54により供給される画像データ48に含まれる顔を検出し、信号処理部18で処理した画像の連続表示モードにおいて、システム制御部20の表示制御機能部66で顔検出する画像か否かに応じて表示禁止/表示を制御し、顔の検出の有無に応じて表示を制御して、とくに、顔の検出に用いる画像を非表示に制御し、非表示の画像だけを用いて調整レベルを可変させて顔検出することにより、表示画像の明るさを変動させることなく、顔検出できない異常なシーンも表示させないように制御して、ユーザに不快感を与えることなく、顔検出することができる。

本実施例は、本発明の撮像システムをディジタルカメラ10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。

ディジタルカメラ10は、図１に示すように、光学系12、撮像部14、前処理部16、信号処理部18、システム制御部20、操作部22、タイミング信号発生器24、ドライバ26、モニタ28、メモリカードインタフェース（IF： InterFace）部30およびストレージ32を含む。

光学系12は、図示しないがレンズおよびレンズ絞りを有し、レンズの位置を移動させて、被写界の画角を広角およびズームに調整し、レンズ絞りにより被写界からの入射光34の光束を所定の光量に設定し、収束させた入射光35を、撮像部14に供給する。撮像部14は、入射光を電気信号に変換する複数の受光素子を有し、受光素子それぞれには、入射光側にマイクロレンズおよびカラーフィルタセグメントが形成されている。複数の受光素子は、２次元状に配置されている。撮像部14は、CCD（Charge Coupled Device）型でもC-MOS（Complementary-Metal-Oxide Semiconductor）型でもよい。本実施例で撮像部14は、CCD型撮像素子を適用している。撮像部14は、後述するドライバ26から供給される駆動信号36に応じて光電変換して得られた電気信号を読み出している。撮像部14は、得られたアナログ電圧信号38を前処理部16に供給する。

前処理部16は、アナログ処理部40およびADC（Analog-to-Digital Converter）42を含む。アナログ処理部38は、図示しないが供給される信号の黒レベルをクランプする機能を有するクランプ回路、ノイズを除去する機能を有する相関二重サンプリング回路とノイズ除去した信号に対する増幅機能を有するAGC（Automatic Gain Controller）を含む。クランプ回路、相関二重サンプリング回路およびAGCは、タイミング信号発生器24から供給されるタイミング信号44aおよび44bに応じて動作し、クランプし、ノイズ除去した信号46をADC 42に供給する。ADC 42は、信号46をディジタル変換して画像データ48を出力する。クランプ回路は、供給される制御信号84に応じて入力信号38に対するクランプをオン/オフする。前処理部16は、供給されるアナログ電圧信号38に信号処理を施し、画像データ48を信号処理部18に出力する。

信号処理部18は、供給される画像データ48に対してガンマ補正、ホワイトバランス処理、顔検出およびパラメータ演算というディジタル信号処理機能を有する。ガンマ補正機能部50は、供給される画像データ48の色データが実際に出力される際の信号の相対関係を調節して、より自然に近い表示を得るための補正処理である。この補正におけるガンマ値は、画像の明るさの変化に対する電圧換算値の変化の比で、この比が１に近づくのが理想である。ガンマ補正は、素子の特性により機器によってそれぞれ異なった値となることから、元データに忠実な表示を再現したい場合、これらの誤差を修正する処理である。

ホワイトバランス機能部52は、太陽光や蛍光灯といった光源の種類により、変化する被写体の色に対応させる上で白を白に補正する機能である。顔検出機能部54は、被写体の中から、人物の顔領域を抽出する処理機能である。本実施例で顔検出機能部54は、逆光および過順光のいずれの状態にあるか否かを判定する機能を有する。また、パラメータ演算機能部56は、供給される画像データ48を基にレンズ絞りおよびシャッタ速度をどのくらいの値にするか演算する機能である。

なお、信号処理部18には、図示しないが圧縮/伸長処理機能部が含まれている。圧縮/伸長処理機能部は、圧縮の指示に応じて信号処理された画像データに圧縮処理を施して、ストレージ32に記録する。また、圧縮/伸長処理機能部は、再生の指示に応じてストレージ32から圧縮された画像データを読み出して、伸長処理を施す。

信号処理部18は、バス58を介して、演算により得られたパラメータ、ゲイン、および逆光および過順光のいずれの状態にあるかを示すデータ60をシステム制御部20に供給する。また、信号処理部18は、システム制御部20から供給される制御信号に応じて動画表示モードにおいて信号処理された画像データ60をスルー画として、バス58を介して、モニタ28に選択されたフレーム画像を出力する。

システム制御部20は、バス58を介して、供給されるデータ62を基に光学系12、信号処理部18、タイミング信号発生器24、モニタ28およびメモリカードIF部30を制御する機能を有する。とくに、本実施例では、逆光および過順光のいずれかの状態を含む異常シーンの画像に対して、顔の検出を可能にするように画像の取得における調整レベルを変化させて、かつ光学系12の図示しない絞り調整機構、前処理部16およびタイミング信号発生器24に対する動作制御機能部64および信号処理部18で処理した画像の連続表示モードにおいて、顔検出する画像か否かに応じてモニタ28に対する表示禁止/表示を制御し、顔検出された画像を表示し、顔未検出の画像を表示禁止に制御する表示制御機能部66を有する。システム制御部20は、供給されるデータ62を基に制御信号を生成し、光学系12、信号処理部18およびタイミング信号発生器24に制御信号68、70および72を、それぞれに供給し、信号処理部18、モニタ28およびメモリカードIF部30に制御信号70を、バス58、ならびに信号線60、74および76のそれぞれを介して供給する。

システム制御部20は、前処理部16のアナログゲインを可変させるように制御し、タイミング信号発生器24における電子シャッタの速度を可変させて、１フレームあたりの露光時間の可変制御、駆動周波数の可変制御、生成するタイミング信号に応じて前記撮像手段の画素加算数および画素間引き数のいずれかを可変制御する。また、システム制御部20は、図示しない絞り調整機構に設定される絞り値を可変制御させる。さらに、システム制御部20は、顔の検出に用いる画像に対してOBクランプの制御を解除するように制御する。これらの制御については、後段で信号処理に応じて動作の制御を詳述する。

操作部22は、静止画撮影モード、動画撮影モード、再生モードおよび静止画撮影モードにおけるスルー画表示といった操作に関って設定し、設定および選択したタイミングに応じて指示信号78をシステム制御部20に供給する。

タイミング信号発生器24は、制御信号72に応じてタイミング信号44a、44bおよび80を生成する機能を有する。また、タイミング信号発生器24は、制御信号72に応じて用いるクロックを所定の周波数に生成する機能を有する。タイミング信号発生器24は、生成したタイミング信号44a、44bおよび80をアナログ処理部40、ADC 42およびドライバ26にそれぞれ、供給する。タイミング信号44aおよび44bは、相関二重サンプリングにおけるサンプリングタイミング信号およびディジタル変換におけるサンプリングタイミング信号である。タイミング信号80は、撮像部14の駆動タイミングを示す信号である。

ドライバ26は、供給されるタイミング信号80に応じた駆動信号を生成する機能を有する。ドライバ26は、生成した駆動信号36を撮像部14に供給する。

モニタ28は、信号処理部18からバス58および信号線74を介して供給される画像データを表示する機能を有する。モニタ28は、図示しないがモニタインタフェース（IF）部を含む液晶モニタを用いる。モニタ28は、供給される制御信号70に応じてフレーム画像として表示の可否の制御を受ける。モニタインタフェース（IF）部は、画像データが液晶モニタの駆動が可能な形式に変換する機能を有する。

メモリカードIF部30は、信号処理部18からバス58および信号線76を介して、供給される画像データを所定の形式に変換して書き込んだり、ストレージ32から所定の形式で蓄積している画像データを、バス58および信号線76を介して読み出したりする機能を有する。したがって、メモリカードIF部30は、バス58やストレージ32の間における画像データのやり取りに介在している。

ストレージ32は、供給される制御信号70に応じて画像データ60を書き込んだり、ストレージ32が格納するデータを読み出したりする機能を有する。ストレージ32は、信号線82を介してメモリカードIF部30とデータをやり取りする。ストレージ32には、マイクロドライブやメモリカードがある。

次に本発明を適用したディジタルカメラ10の動作について記述する。撮影シーンには逆光や過順光の場合がある。一般的にディジタルカメラは、このような場合、画像全体の輝度を基に露出などのパラメータを調整し、さらにゲイン調整した画像レベルで撮影して、画像を得ている。撮影した画像の顔エリアの信号には、いわゆる黒つぶれや白飛びが生じている。そこで、ディジタルカメラは、上述したパラメータを所定の範囲で変化させて、顔エリアが顔検出できるだけの適正な信号に調整している。

従来のディジタルカメラは、このように調整することよって逆光シーンなどの顔検出できない状態から顔エリアの信号を適正にする。しかしながら、この調整して得られた画像を液晶モニタに表示させる、動画・スルー画のような連続撮影の場合、急な画像輝度の変化から、ユーザには、不快感を与えてしまう。

ディジタルカメラ10において動画・スルー画のような連続撮影の動作について図４を参照しながら、手順を記述する。ディジタルカメラ10の電源を投入する。静止画モードに設定する。この設定でディジタルカメラ10は、動画・スルー画表示する際に、画像の撮影に対するパラメータおよびゲインを設定する（ステップS10）。また、フラグを設定する。すなわち、顔検出フラグA=0、異常画像制御フラグB=0および所定の周期フラグC=0である。

次に設定に応じて被写界からの入射光を撮像部14で光電変換し、画像データを取得する（ステップS12）。次に取得した画像データから顔を検出する（ステップS14）画像中の顔は、信号処理部18の顔検出機能部54で検出する。顔検出機能部54は、検出結果をシステム制御部20に供給する。

次に顔検出が成功したか否か判定する（ステップS16）。判定は、システム制御部20で行なう。顔検出が成功の場合（YES）、顔検出フラグAの設定に進む（ステップS18へ）。また、顔検出が失敗の場合（NO）、画像が逆光における顔検出の制御画像、すなわち逆光画像か否かの判定処理に進む（ステップS20へ）。

次にシステム制御部20は、顔検出の成功に応じて顔検出フラグAを“1”に設定する（ステップS18）。

次にシステム制御部20は、顔検出の失敗に応じて取得画像に対して正常画像か否かを判定する（ステップS20）。正常な画像と判定した場合（YES）、モニタ表示の制御に進む（ステップS22へ）。また、異常な画像の中、逆光画像と判定した場合、異常対応制御に進む（ステップS24へ）。

表示制御機能部66は、信号処理部18に該当する取得画像をモニタ28に供給するように制御し、モニタ28に供給された取得画像を正常表示させるように制御する（ステップS22）。

また、表示制御機能部66は、異常対応制御としてモニタ28に対して非表示制御し、かつこの画像取得におけるパラメータ、すなわち設定データを図示しないメモリに一時格納する（ステップS24）。

正常表示および一時格納処理それぞれの後に、顔検出の判定処理に進む（ステップS26へ）。顔検出の判定処理は、フラグA=1か否かで判定する（ステップS26）。フラグA=1のとき（YES）、顔が検出されたと判定し、設定したパラメータに問題がないと判断し、画像の取得に進む（ステップS12へ）。また、フラグA=0のとき（NO）、接続子AおよびBを介して、異常シーン（逆光）用での顔検出制御の開始に進む（ステップS28へ）。

異常用顔検出制御の開始は、異常画像制御フラグBの値を“1”に設定する（ステップS28）。システム制御部20は、異常画像制御を開始する。次に接続子Cを介して、システム制御部20は、メモリに格納した設定データよりも大きく変化させた設定値を新たな設定データとして設定する（ステップS30）。この設定後、接続子Dを介して、画像の取得に進み（ステップS12へ）、以後、前述した一連の処理を繰り返し、モニタ28に画像を表示する。

このように動作させることにより、調整レベルを振って制御した際は、該当するフレーム画像を表示させず、その直前に取得したフレーム画像を表示させる。本実施例は、逆光状態における手順を開示したが、これに限定されず、過順光の場合においても同様の手順により顔検出すべく、露出等の画像調整レベルを変化させる際に過順光の画像を表示させないように制御し、顔検出可能な画像を得る。これによって、表示画像は、急な輝度変化が生じないことから、ユーザヘの不快感を回避できる。

また、ディジタルカメラ10は、画像表示と画像の非表示を周期に行なうように表示制御してもよい。この場合について図３に示す。所定の周期により表示制御する場合、図３に示すように、図２の接続子Aを介して、所定の周期に表示設定されているか否かの判定処理を設け、この処理に進む（ステップS32へ）。

この判定処理は、たとえばユーザ設定で所定の周期でモニタ28に画像を表示させる設定になっているか否かを判定する（ステップS32）。フラグC=0の場合（NO）、所定の周期での表示を設定するか否かの判断処理に進む（ステップS34へ）。フラグC=1の場合（YES）、所定の周期での表示制御に設定済みと判定し、接続子Bを介して、顔検出制御処理に進む（ステップS28へ）。

表示制御の設定判断は、このユーザ設定として、たとえば所定のボタンを押圧すると、割込み処理が機能を発揮し、所定の周期での表示に制御を設定するか否か判断する（ステップS34）。ユーザにより所定の周期での表示制御を設定するように選択されると、ディジタルカメラ10は、フラグCの値を“1”に設定する（ステップS36）。また、割込み処理が機能を発揮するが、所定の周期での表示制御を設定しないように選択されると、ディジタルカメラ10は、フラグCの値を“0”のままに設定する（ステップS38）。

ディジタルカメラ10は、フラグC=1の設定を受けて、表示制御機能部66に所定の周期での表示制御を設定する（ステップS40）。表示制御は、Ｎ枚周期中、１枚を表示したり、Ｍ枚を表示したりしてもよい。具体的には、飛び飛びに１枚ずつではなく、２枚連続でレベルを可変調整するように制御してもよい。この設定後、ディジタルカメラ10は、接続子Eを介して、レベル調整の設定に進む（ステップS10へ）。また、ディジタルカメラ10は、フラグC=0の設定を受けて、接続子Bを介して、顔検出制御処理に進む（ステップS28へ）。

このように手順を追加し、周期的に飛び飛びの画像フレームを表示させ、調整レベルを可変制御した飛び飛びの画像フレームを非表示させ、非表示の画像フレームには、直前の画像フレームを表示させることにより、ユーザに急な輝度変化の画像表示によって不快感を与えないだけでなく、動画のような連続画像でもコマ送りのように止まった期間が短くて済むことから、ユーザの不快感を減らすことができる。

また、前述した手順は、異常シーンとして逆光の場合を例示しているが、過順光の場合で対応させる。システム制御部20で異常画像制御を開始した後、図４に示すように、接続子Cを介して、システム制御部20は、メモリに格納した設定データよりもアナログゲインを減少させるように制御した設定値を新たな設定データとして設定する（ステップS30a）。この場合、システム制御部20は、図１に示すように、アナログ処理部40にアナログゲインを低下させる制御信号84を出力する。この設定後、接続子Dを介して、画像の取得に進み（ステップS12へ）、前述した一連の処理を繰り返し、モニタ28に画像を表示する。

この制御により、ディジタルカメラ10は、黒潰れした顔エリアの信号にはアナログゲインを増加させ、白飛びした顔エリアの信号にはアナログゲインを低下させることで、顔エリアの信号を顔検出可能な適正レベルにすることができる。

同様に、過順光の場合、前述した手順において、システム制御部20で異常画像制御を開始した後、図５に示すように、接続子Cを介して、システム制御部20は、メモリに格納した設定データよりも電子シャッタ速度を速くするように制御した設定値を新たな設定データとして設定する（ステップS30b）。システム制御部20は、図１に示すように、タイミング信号発生器24を制御信号72で制御し、メモリに格納した設定データよりも電子シャッタ速度を速いタイミング信号80をドライバ26に出力する。これにより、撮像部14は、露光量を減少させる。逆光時にシステム制御部20は、図１に示すように、タイミング信号発生器24を制御信号72で制御し、メモリに格納した設定データよりも電子シャッタ速度を遅いタイミング信号80をドライバ26に出力する。これにより、撮像部14は、露光量を増加させる。この設定後、接続子Dを介して、画像の取得に進み（ステップS12へ）、前述した一連の処理を繰り返し、モニタ28に画像を表示する。

この制御により、ディジタルカメラ10は、過順光および逆光時にそれぞれ顔エリアの信号を顔検出可能なレベルにすることができる。

次にディジタルカメラ10における逆光や過順光に対する他の対処手順の実施例について記述する。表示および非表示の手順は、図２の手順に基本的に同じである。ここでの相違点は、異常シーンとして逆光の場合で対応させる。システム制御部20で異常画像制御を開始した後、図６に示すように、接続子Cを介して、システム制御部20は、メモリに格納した設定データよりも電子シャッタ速度を遅くして、１フレームあたりの露光時間を１フレーム時間以上に任意に設定するように制御した設定値を新たな設定データとして設定する（サブルーチンSUB1）。この設定後、接続子Dを介して、画像の取得に進み（ステップS12へ）、前述した一連の処理を繰り返し、モニタ28に画像を表示する。

次に露光時間の設定について図７を参照しながら、記述する（サブルーチンSUB1）。メモリに格納した設定データよりも電子シャッタ速度を遅くするため、電子シャッタで表わされるTv（Time value）値をΔTvだけ減少させる（サブステップSS10）。この減少によりシャッタ速度が遅くなるから、露光時間が長くなることを意味する。

次に露光時間を判定する（サブステップSS12）。電子シャッタで表わされるTv値が所定の値Xより小さい場合（YES）、露光時間が１フレームの露光時間より長くなったと判定し、露光時間の設定に進む（サブステップSS14へ）。所定の値Xは、たとえばディジタルカメラ10が動画においてあらかじめ１秒間に生成するフレーム数での露光時間である。また、電子シャッタで表わされるTv値が所定の値X以上の場合（NO）、この設定値のままで動作させ、リターンに進む。

次に露光時間の設定は、システム制御部20が、図１に示すように、タイミング信号発生器24を制御信号72で制御し、メモリに格納した設定データよりも電子シャッタ速度の遅いタイミング信号80をタイミング信号発生器24に生成させる。タイミング信号発生器24は、生成したタイミング信号80をドライバ26に出力する。これにより、撮像部14は、露光量を増加させる。この設定後、リターンに進む。

前述と同様、露光時間の設定後、接続子Dを介して、画像の取得に進む（ステップS12へ）。露光時間の設定（SUB1）と読出し転送期間の関係を図８に示す。図8(a)は、矢印が示すように、露光期間がフレームを跨がない、すなわち各露光時間が１フレームで予定される露光時間内にあることを示している。したがって、露光により生成された信号電荷の読出しは、次のフレーム期間内で転送されていることがわかる。

これに対して、図8(b)は、矢印が示す露光期間が複数のフレームに跨る、すなわち各露光時間が１フレームで予定される露光時間以上にある場合があることを示す。フレームＢやフレームＤの場合である。このように露光時間を長く設定した場合、一例としてフレームＡの読出しを完了しても、フレームＢがまだ露光中になることから、信号電荷の読出しは、フレームＢの露光完了まで待機する。１フレームあたりの時間を長くしても、読み出し転送時間は同じであるから、長くした分だけ前のフレームの読み出し転送時間が余る。したがって、余った待機期間、フレームＡの読出し完了からフレームＢの露光完了までの時間には、スミア掃出しが行なわれようにしてもよい。これにより、ディジタルカメラ10は、次に読み出される画像へのスミアによる劣化を防ぐことができる。

なお、露光時間の設定は、1.5倍、２倍、３倍、４倍…と自由に設定してもよい。

このように動作させることにより、非常に顔エリアが暗い逆光時には露光時間をさらに長くすることで露光量を増やし、より顔検出に適切な画像として出力することができる。

また、本実施例は、異常ソーンとして過順光の場合である。システム制御部20で異常画像制御を開始した後、図９に示すように、接続子Cを介して、システム制御部20は、メモリに格納した設定データよりも電子シャッタ速度を速くして、１フレームあたりの露光時間を１フレーム時間の半分未満に任意に設定するように制御した設定値を新たな設定データとして設定する（サブルーチンSUB2）。この設定後、接続子Dを介して、画像の取得に進み（ステップS12へ）、前述した一連の処理を繰り返し、モニタ28に画像を表示する。

次に露光時間の設定について図10を参照しながら、記述する（サブルーチンSUB2）。メモリに格納した設定データよりも電子シャッタ速度を速くするため、電子シャッタで表わされるTv（Time value）値をΔTvだけ増加させる（サブステップSS20）。この増加によりシャッタ速度が速くなるから、露光時間が短くなることを意味する。

次に露光時間を判定する（サブステップSS22）。電子シャッタで表わされるTv値が所定の値Yより大きい場合（YES）、露光時間が１フレームでの露光時間の半分より短くなったと判定し、露光時間の設定に進む（サブステップSS24へ）。所定の値Yは、たとえばディジタルカメラ10が動画においてあらかじめ１秒間に生成するフレーム数での1/2露光時間である。また、電子シャッタで表わされるTv値が所定の値Y以上の場合（NO）、この設定値のままで動作させ、リターンに進む。

次に露光時間の設定は、システム制御部20が、図１に示すように、タイミング信号発生器24を制御信号72で制御し、メモリに格納した設定データよりも電子シャッタ速度の速いタイミング信号80をタイミング信号発生器24に生成させる。タイミング信号発生器24は、タイミング信号の生成に使用する駆動周波数を制御信号により、たとえば通常の駆動周波数の倍速い駆動周波数を選択して、タイミング信号を生成する。タイミング信号発生器24は、生成したタイミング信号80をドライバ26に出力する。これにより、撮像部14は、露光量を減少させる。この設定後、リターンに進む。

前述と同様、露光時間の設定後、接続子Dを介して、画像の取得に進む（ステップS12へ）。駆動周波数、露光時間の設定（SUB2）および読出し転送期間の関係を図11に示す。図11(a)は、矢印で露光時間を示す。ディジタルカメラ10は、露光時間の長短に関係なく、駆動周波数を20MHzに設定して、被写界からの入射光を撮像部14に露光している。したがって、露光により生成された信号電荷の読出しは、次のフレーム期間内で転送されていることがわかる。

これに対して、図11(b)は、矢印が示す露光期間が１フレームにおける予定された1/2露光時間未満にある場合があることを示す。本実施例でのシステム制御部20は、図11(b)に示したフレームＢ、Ｃ、Ｅ、Ｆ、ＨおよびＩの露光において駆動周波数に倍の周波数を使用するように、タイミング信号発生器24を制御信号72で制御する。フレームＡ、Ｂ、Ｄ、Ｅ、ＧおよびＨの信号電荷は、露光時に使用している駆動周波数が適用されることから、半分の読出し転送時間で済む。モニタ28には、フレームＡ、ＤおよびＧが表示される。

このように、画像調整レベルを変化させた画像の１フレームあたりの時間を短くして、取得する画像フレーム数を増加できるだけでなく、読み出し転送期間が短い画像フレームには、通常での駆動よりもスミア量を減少させ、画質劣化を低減できることから、ディジタルカメラ10は、より顔検出に適切な画像として出力することができる。

また、ディジタルカメラ10は、過順光の場合、絞りを小絞り側に狭め、逆光の場合、絞りを開放側に絞りを制御するとよい。すなわち、システム制御部20で異常画像制御を開始した後、図12に示すように、接続子Cを介して、システム制御部20は、過順光の判定にてメモリに格納した設定データよりも絞り値を増加させて、入射光量を絞るように制御した設定値を新たな設定データとして設定する（ステップS30c）。この場合、システム制御部20は、図示しないが、光学系12の絞り調節ドライバに絞りを狭める方向に動作させる制御信号を出力する。この設定後、接続子Dを介して、画像の取得に進み（ステップS12へ）、前述した一連の処理を繰り返し、モニタ28に画像を表示する。

逆光の場合、システム制御部20で異常画像制御を開始した後、図13に示すように、接続子Cを介して、システム制御部20は、逆光の判定にてメモリに格納した設定データよりも絞り値を減少させて、入射光量を増やすように制御した設定値を新たな設定データとして設定する（ステップS30d）。この場合、システム制御部20は、図示しないが、光学系12の絞り調節ドライバに絞りを開放側の方向に動作させる制御信号を出力する。この設定後、接続子Dを介して、画像の取得に進み（ステップS12へ）、前述した一連の処理を繰り返し、モニタ28に画像を表示する。

このように、逆光時は絞りを開放側に、過順光時は小絞り側に絞りを制御することによって、顔エリアの信号量を調節でき、より顔検出に適切な画像として出力することができる。

また、この他の手順として、逆光の場合、システム制御部20で異常画像制御を開始した後、図14に示すように、接続子Cを介して、システム制御部20は、逆光の判定にてメモリに格納した設定データよりも画素加算をS倍に増加させて、得られた信号電荷量を増やすように制御した設定値を新たな設定データとして設定する（ステップS30e）。この場合、システム制御部20は、タイミング信号発生器24に画素加算させる制御信号72を出力する。タイミング信号発生器24は、制御信号72に応じて画素加算するようにタイミング信号を生成する。タイミング信号発生器24は、生成したタイミング信号80をドライバ26に出力する。これにより、撮像部14は、画素数を減らしながら、信号電荷量を加算により増加させる。撮像部14は、ドライバ26からの駆動信号36により画素加算数の増加に応じてその加算により減った割合の逆数分だけ画素を読み出すようにし、最終的な画素信号数が一定になるようにする。

具体例を示すと、これは、全画素数800万として、画素加算数３を、すなわち２^３=８に増加させた際に、読み出す画素数は100万画素に設定される。たとえば最終的な画素信号数を100万画素と設定するように、ディジタルカメラ10は、画像を一定な画素数になるようにする。

撮像部14は、画素加算により、たとえば信号電荷量をS倍させる。この設定後、接続子Dを介して、画像の取得に進み（ステップS12へ）、前述した一連の処理を繰り返し、モニタ28に画像を表示する。過順光の場合、画素加算数は、減少させるとよい。

過順光の場合、システム制御部20で異常画像制御を開始した後、図15に示すように、接続子Cを介して、システム制御部20は、過順光の判定にてメモリに格納した設定データよりも画素間引きさせて、得られた信号電荷量を減らすように制御した設定値を新たな設定データとして設定する（ステップS30f）。この場合、システム制御部20は、画素間引きさせる制御信号72を出力する。タイミング信号発生器24は、制御信号72に応じて画素間引きするようにタイミング信号を生成する。タイミング信号発生器24は、生成したタイミング信号80をドライバ26に出力する。これにより、撮像部14は、この場合、画素間引き数を増やして、信号電荷量を減少させる。

ここで、画素間引き数とは、撮像素子にて読み出し高速化のために行われている画素間引き数のことである。この設定後、接続子Dを介して、画像の取得に進み（ステップS12へ）、すなわち、システム制御部20は、たとえば信号電荷量を1/S倍させる制御信号72をタイミング信号発生器24に出力する。タイミング信号発生器24は、生成したタイミング信号80をドライバ26に供給する。ドライバ26は、生成した駆動信号36を撮像部14に供給する。撮像部14は、供給される駆動信号36に応じて撮像した画像信号38を前処理部16に出力する。このようにディジタルカメラ10は、前述した一連の処理を繰り返し、モニタ28に画像を表示する。

なお、画素加算や間引きは、撮像部14に限定されるものでなく、スルー画表示のリアルタイム性が損なわれなければ、信号処理部18で行なうようにしてもよい。この場合、各画素データに対する演算によって処理することができるので、顔エリアの解像度を損なうことなく、顔検出することができる。

このように、逆光時は画素加算数を増加させ、過順光時は画素加算数を減少させることで、１画素あたりの信号電荷量を調節でき、より顔検出に適切な画像として出力することができる。画素加算数が増加した時は、それに応じてその逆数分だけ画素を読み出すようにし、最終的な画素信号数が一定になるように駆動することから、画素加算による解像度変動がなくなり、画素加算数毎の顔検出制御を用意しなくて済む。

ところで、逆光状態で露出を可変させ、信号電荷量を増加させると、ブルーミング現象を生じる場合がある。逆光状態の背景のような高輝度部では、信号電荷量が増え過ぎて、受光素子が蓄積できる飽和レベルを越えると、OB（Optical Black）画素領域に信号電荷が漏れ込む可能性がある。この電荷漏れが生じると、ディジタルカメラ10は、クランプする黒レベルが変動してしまう。

ここで、電荷漏れが生じて浮いたOB領域から得られた画素信号を黒レベルと設定することから、この黒レベルを用いて、読み込んだ信号ラインは、浮いた信号量だけ通常得られるはずの信号よりも引かれてしまい、結果として、画壊れ状態の画像を取得することになる。

次にこのような逆光や過順光の状態を有する画像に対してクランプする黒レベルをどのように調整するかについて、図16を参照しながら、手順を記述する。この場合、接続子Aを介して、OBクランプの制御をフリーに切り換える（ステップS42）。実際には、画像調整レベルを可変させる制御が入ったと同時に、OBクランプしない制御に切り換える。すなわち、システム制御部20は、OBクランプしない制御に切り換える制御信号84をアナログ処理部40に供給する。

また、システム制御部20は、タイミング信号発生器24にOBクランプしない制御に切り換える制御信号72を供給し、タイミング信号発生器24は、アナログ信号処理部40にOBクランプON/OFFの制御信号を送信し、制御してもよい。

この後、所定の周期での表示設定にするか否かの判定に進む（ステップS32へ）。

このように逆光状態や過順光状態でも顔検出できるように画像レベルの調整を変更するだけでなく、制御する際に、OBクランプしない制御に切り換えることで、飽和レベルを越えた高輝度領域からのブルーミングまたは信号電荷漏れによる画壊れを回避することができ、より顔検出に適切な画像として出力することができる。

また、OBクランプのオフ制御は、上述した手順に限定されるものでなく、図17に示すように、新たな設定データの設定（ステップS30）後に、OBクランプの制御をフリーにする（ステップS42）。これにより、画像表示させない方だけOBクランプしないように制御し、画像表示させる場合、通常通り、画像フレームそれぞれに対してOBクランプするように制御する。

OBクランプしないと、ディジタルカメラ10は、図18Aに示すように、装置自体の発熱や環境温度の変化によってアナログ信号処理部のデバイス精度が変動し、クランプレベルも時間経過とともに、ずれる傾向にあり、クランプレベルが変動する。クランプレベルがずれると、黒レベルもずれてしまい、画質劣化に繋がる。

これに対して、ディジタルカメラ10は、図18Bに示すように、システム制御部20で表示の有無に応じて動作制御して、矢印86、88および90の位置でOBクランプする。この定期的なOBクランプ制御によって、このクランプレベル変動を低減させることができる。

このように、逆光・過順光状態でも、顔検出できるように画像調整レベルを変更するように制御する際に、表示しない画像のみクランプしない制御に切り替えることで、クランプレベルの変動を低減でき、先の手順と組み合わせると、表示しない画像に対するブルーミングによる黒レベル変動を回避でき、より顔検出に適切な画像として出力することができる。

本発明に係る撮像システムを適用したディジタルカメラにおける実施例の概略的な構成を示すブロック図である。 図１に示したディジタルカメラにおける動作手順のフローチャートである。 図２に示したディジタルカメラにおける動作手順に所定の周期での表示設定と制御設定の手順を表わすフローチャートである。 図２に示したディジタルカメラでの新たな設定データにおける具体的な設定手順を表わす要部のフローチャートである。 図２に示したディジタルカメラでの新たな設定データにおける具体的な設定手順を表わす要部のフローチャートである。 図２に示したディジタルカメラでの新たな設定データにおける具体的な設定手順（サブルーチンSUB1）を表わす要部のフローチャートである。 図６に示したディジタルカメラでの新たな設定データにおける具体的な設定手順を表わすフローチャートである。 図１に示したディジタルカメラにおける露光時間と読出し転送期間の関係を示すタイミングチャートである。 図２に示したディジタルカメラでの新たな設定データにおける具体的な設定手順（サブルーチンSUB2）を表わす要部のフローチャートである。 図９に示したディジタルカメラでの新たな設定データにおける具体的な設定手順を表わすフローチャートである。 図１に示したディジタルカメラにおける駆動周波数、露光時間および読出し転送期間の関係を示すタイミングチャートである。 図２に示したディジタルカメラでの新たな設定データにおける具体的な設定手順を表わす要部のフローチャートである。 図２に示したディジタルカメラでの新たな設定データにおける具体的な設定手順を表わす要部のフローチャートである。 図２に示したディジタルカメラでの新たな設定データにおける具体的な設定手順を表わす要部のフローチャートである。 図２に示したディジタルカメラでの新たな設定データにおける具体的な設定手順を表わす要部のフローチャートである。 図２に示したディジタルカメラに加えるOBクランプのフリー制御の位置を表わす要部のフローチャートである。 図２に示したディジタルカメラに加えるOBクランプのフリー制御の位置を表わす要部のフローチャートである。 図１に示したディジタルカメラにおいてクランプのフリー制御によるクランプレベルの変動を表わす図である。 図１に示したディジタルカメラにおいてクランプ制御を定期的にオンにした場合のクランプレベルの変動を表わす図である。

符号の説明

10 ディジタルカメラ
12 光学系
14 撮像部
16 前処理部
18 信号処理部
20 システム制御部
22 操作部
24 タイミング信号発生器
26 ドライバ
28 モニタ
64 動作制御機能部
66 表示制御機能部

Claims (19)

1. 被写界からの入射光の入射光量を調節する機構を含む光学調整手段と、
   調整した入射光をアナログ電気信号に変換する撮像手段と、
   変換したアナログ電気信号に対してアナログ処理を施し、アナログ処理した信号をディジタル信号に変換し、画像データとして出力する前処理手段と、
   供給される前記画像データに含まれる顔を検出する顔検出機能を有する信号処理手段と、
   前記撮像手段および前記前処理手段を動作させるタイミング信号を生成するタイミング信号発生手段と、
   供給されるタイミング信号に応じて駆動信号を生成する駆動手段と、
   前記光学調整手段、前記前処理手段、前記信号処理手段および前記タイミング信号発生手段を制御するシステム制御手段とを含み、
   該システム制御手段は、逆光および過順光のいずれかの状態を含む異常シーンの画像に対して、前記顔の検出を可能にするように前記画像の取得における調整レベルを変化させて、かつ少なくとも、前記光学調整手段、前記前処理手段および前記タイミング信号発生手段のいずれかの動作を制御する動作制御機能ブロックと、
   前記信号処理手段で処理した画像の連続表示モードにおいて、前記顔検出する画像か否かに応じて表示禁止/表示を制御し、前記顔検出された画像を表示し、顔未検出の画像を表示禁止に制御する表示制御機能ブロックとを含むことを特徴とする撮像システム。
2. 請求項１に記載のシステムにおいて、前記システム制御手段は、前記前処理手段のアナログゲインを可変させることを特徴とする撮像システム。
3. 請求項１に記載のシステムにおいて、前記システム制御手段は、前記タイミング信号発生手段における電子シャッタの速度を可変させて、１フレームあたりの露光時間を可変させることを特徴とする撮像システム。
4. 請求項１に記載のシステムにおいて、前記システム制御手段は、前記タイミング信号発生手段における駆動周波数を可変させることを特徴とする撮像システム。
5. 請求項１に記載のシステムにおいて、前記システム制御手段は、前記光学調整手段に設定される絞り値を可変させることを特徴とする撮像システム。
6. 請求項１に記載のシステムにおいて、前記システム制御手段は、前記タイミング信号発生手段において生成するタイミング信号に応じて前記撮像手段の画素加算数および画素間引き数のいずれかを可変させることを特徴とする撮像システム。
7. 請求項１に記載のシステムにおいて、前記システム制御手段は、前記顔の検出に用いる画像に対して光学ブラックのクランプの制御を解除することを特徴とする撮像システム。
8. 被写界からの入射光の入射光量を調節し、調整した入射光をアナログ電気信号に変換し、変換したアナログ電気信号に対してアナログ処理を施し、アナログ処理した信号をディジタル信号に変換し、画像データとして供給され、供給される画像データの連続表示モードで、前記画像データに信号処理を施し、撮像条件や撮像信号を調整する方法において、該方法は、
   前記撮像条件および前記撮像信号の調整を設定する第１の工程と、
   該設定に応じて画像を取得する第２の工程と、
   取得した画像から顔を検出する第３の工程と、
   前記顔の検出が成功したか否か判定する第４の工程と、
   取得した画像が正常な制御に基づき得られた画像か否かを判定する第５の工程と、
   正常な制御を基に得られた画像を表示させる第６の工程と、
   異常な制御を基に得られた画像の表示を禁止し、該得られた画像の設定データを一時的に保存する第７の工程と、
   前記顔の検出の有無を判定する第８の工程と、
   前記顔の未検出に応じて異常なシーンでの顔検出の制御をオンにする第９の工程と、
   該制御のオンに応じて新たな設定データを設定する第10の工程とを含み、
   前記顔の検出および前記新たな設定データの設定それぞれに応じて第２の工程に戻ることを特徴とする撮像調整方法。
9. 請求項８に記載の方法において、該方法は、第９の工程前に、所定の周期での表示するように設定されているか否か判定する第11の工程と、
   前記所定の周期での表示を設定禁止する場合、該所定の周期での表示を設定するか否かを判定する第12の工程と、
   前記所定の周期での表示を設定し、制御する第13の工程と、
   前記所定の周期での表示を禁止するように設定する第14の工程とを含み、
   該方法は、前記所定の周期での表示が設定されている場合および第14の工程後、第９の工程に進み、第13の工程後、第１の工程に進むことを特徴とする撮像調整方法。
10. 請求項８に記載の方法において、第10の工程は、アナログゲインを減少させる設定データを設定することを特徴とする撮像調整方法。
11. 請求項８に記載の方法において、第10の工程は、保存した値より電子シャッタを速く設定することを特徴とする撮像調整方法。
12. 請求項８に記載の方法において、第10の工程は、露光時間を１フレーム以上に設定することを特徴とする撮像調整方法。
13. 請求項８に記載の方法において、第10の工程は、保存した値より駆動周波数を速くして、露光時間を短縮設定することを特徴とする撮像調整方法。
14. 請求項８に記載の方法において、第10の工程は、保存した値より絞り値を増加設定することを特徴とする撮像調整方法。
15. 請求項８に記載の方法において、第10の工程は、保存した値より絞り値を減少設定することを特徴とする撮像調整方法。
16. 請求項８に記載の方法において、第10の工程は、保存した値より画素加算の数を増加設定することを特徴とする撮像調整方法。
17. 請求項８に記載の方法において、第10の工程は、保存した値より画素間引きの数を増加設定することを特徴とする撮像調整方法。
18. 請求項８に記載の方法において、該方法は、第11の工程の前に、光学ブラックのクランプ制御をフリーにすることを特徴とする撮像調整方法。
19. 請求項８または18に記載の方法において、該方法は、第10の工程の後に、光学ブラックのクランプ制御をフリーにする特徴とする撮像調整方法。

Images