JP2007081732A - 撮像装置 - Google Patents

Abstract

【課題】合焦に要する顔検出にかかる時間を低減させる。
【解決手段】入射した光を電気信号に変換する撮像素子の出力をデジタル値に変換して画像データを得る撮像装置において、エリア設定部、領域切り出し処理部、顔検出処理は、画像中における複数の部分領域を示す領域データをメモリから読み出し、領域データによって示される部分領域内の画像データから顔領域を検出する。撮像装置は、検出された顔領域内の画像データに基づいて、オートフォーカスや自動露光といったような、撮像装置の制御を行う。
【選択図】図５

Description

入射した光を電気信号に変換する撮像素子の出力をデジタル値に変換して画像データを得る撮像装置に関する。

従来、人物撮影を行う場合において、主被写体である人物とその背景のコントラストの関係から焦点が人物に合わずに、背景に合ってしまうという問題があった。このような問題を解決するために、画面内の顔を検出し、検出した顔の位置に合焦させることで、人物に焦点を合わせる撮像装置が開発されている（特許文献１参照）。

なお、画像データからの顔検出については、非特許文献１，２に記載されたものが知られている。更に、特許文献２〜５に記載されている手法で目を検出することにより、顔の位置や大きさを推定することもできる。
特開２００１−２１５４０３号公報 特開平３−１７６９６号公報 特開平４−２５５０１５号公報 特開平５−３００６０１号公報 特開平９−２５１３４２号公報 テレビジョン学会誌Ｖｏｌ．４９、Ｎｏ．６、ｐｐ．７８７−７９７（１９９５）、「顔領域抽出に有効な修正ＨＳＶ表色系の提案」 電子情報通信学会誌Ｖｏｌ．７４−Ｄ−II、Ｎｏ．１１、ｐｐ．１６２５−１６２７（１９９１）、「静止濃淡情景画像から顔領域を抽出する手法」

しかしこのような撮像装置では、画面のどこに人物がいるかわからないため、画面全体を顔検出エリアとして設定していた。このため、顔検出処理に時間が多くかかっていた。このような顔検出に要する時間は直接シャッタータイムラグへ影響するため、顔検出にかかる時間を低減する必要がある。

本発明は上記の課題に鑑みてなされたものであり、撮像装置における顔検出にかかる時間を低減させることによりシャッターレリーズタイムラグを低減させることを目的とする。

入射した光を電気信号に変換する撮像素子の出力をデジタル値に変換して画像データを得る撮像装置において、
画像データ中の複数の部分領域を示す領域データを保持する保持手段と、
前記保持手段に保持された領域データによって示される部分領域を画像データより切り出す切り出し手段と、
前記切り出し手段で切り出された部分領域内の画像データから顔領域を検出する検出手段と、
前記検出手段で検出された顔領域内の画像データに基づいて当該撮像装置の制御を行う制御手段とを備えることを特徴とする撮像装置。

撮像装置における顔検出にかかる時間を低減させ、シャッターレリーズタイムラグを低減させることができる。

以下、添付の図面を参照して本発明の好適な実施形態を説明する。

＜第１実施形態＞
図１は、第１実施形態による撮像装置の構成例を示すブロック図である。図１において、１００は第１実施形態の撮像装置を示している。

撮像装置１００において、撮影レンズ１０、絞り機能を備えるシャッター１２を通過した光学像は撮像素子１４に到達する。撮像素子１４は、その撮像面に到達した光学像を電気信号に変換し、アナログ信号を出力する。Ａ／Ｄ変換器１６は撮像素子１４からのアナログ信号出力をディジタル信号に変換する。タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。また、タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御される。

画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０において撮像した画像データを用いて所定の演算処理を行い、システム制御回路５０がこの演算結果に基づいて露光制御部４０や測距制御部４２を制御する。この制御により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。なお、画像表示部２８は、例えばＴＦＴ液晶表示器等から成る。

画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

メモリ３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

圧縮・伸長回路３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

露光制御部４０は絞り機能を備えるシャッター１２を制御するとともに、フラッシュ４８と連携することによりフラッシュ調光機能も有する。測距部４２は撮影レンズ１０のフォーカシングを制御する。ズーム制御部４４は撮影レンズ１０のズーミングを制御する。バリア制御部４６はバリアである保護部１０２の動作を制御する。フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されている。すなわち、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。

システム制御回路５０は撮像装置１００の全体を制御する。メモリ５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。表示部５４は、システム制御回路５０におけるプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置やスピーカー等を含む。表示部５４は、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。また、表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。

表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示、等がある。また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。

不揮発性メモリ５６は電気的に消去・記録が可能であり、例えばＥＥＰＲＯＭ等により構成されている。６０、６２、６４、６６、６８及び７０は、システム制御回路５０の各種の動作指示を入力するための指示入力部を構成する。指示入力部は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これら指示入力部の具体的な説明を行う。

モードダイアルスイッチ６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

シャッタースイッチ６２は、シャッターボタンの操作途中（シャッターボタンの半押し）でＯＮとなりＳＷ１信号を発生する。システム制御部５０は、このＳＷ１信号により、顔検出処理、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。シャッタースイッチ６４は、シャッターボタンの操作完了（シャッターボタンの全押し）でＯＮとなり、ＳＷ２信号を発生する。このＳＷ２信号により、露光処理、現像処理及び記録処理を含む一連の処理の動作開始を指示する。なお、露光処理では、撮像素子１２から読み出された信号が、Ａ／Ｄ変換器１６、メモリ制御回路２２を介して画像データとしてメモリ３０に書き込まれる。現像処理では、画像処理回路２０やメモリ制御回路２２での演算を用いた画像処理が行われる。また、記録処理では、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む。

画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８のＯＮ／ＯＦＦを設定することが出来る。この機能により、光学ファインダ１０４を用いて撮影を行う際に、ＴＦＴ液晶表示器等から成る画像表示部への電流供給を遮断することができ、省電力を図ることが可能となる。クイックレビューＯＮ／ＯＦＦスイッチ６８は、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定する。なお、本実施形態では特に、画像表示部２８をＯＦＦとした場合におけるクイックレビュー機能の設定をする機能も備えるものとする。

操作部７０は各種ボタンやタッチパネル等からなる。操作部７０が備える操作ボタンとしては、例えば、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン、画像削除ボタン、画像削除取消しボタン等がある。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。これらの構成により、電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。電源部８６は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなり、コネクタ８２、８４を介して電源制御部８０に接続される。

インターフェース９０及び９４はメモリカードやハードディスク等の記録媒体と装置内のバスとを接続する。コネクタ９２，９６はメモリカードやハードディスク等の記録媒体と接続を行うためのコネクタである。記録媒体着脱検知部９８はコネクタ９２及び或いはコネクタ９６に記録媒体２００或いは記録媒体２１０が装着されているか否かを検知する。なお、本実施形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。

インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ(登録商標)）カード等の規格に準拠したものを用いて構成して構わない。

さらに、インタフェース９０及び９４、コネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦカード等の規格に準拠して構成した場合、外部装置との通信を可能とする通信カードを用いることができる。すなわち、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。通信カードとしては、例えば、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳカード等が挙げられる。

保護部１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアとして機能する。光学ファインダ１０４は、画像表示部２８による電子ファインダ機能を使用すること無しに撮影を行うことを可能にする。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。

通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。１１２は通信部１１０により撮像装置１００を他の機器と接続するためのコネクタ（無線通信の場合はアンテナ）である。

２００，２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２００，２１０はそれぞれ、半導体メモリや磁気ディスク等から構成される記録部２０２，２１２、画像処理装置１００とのインタフェース２０４，２１４、画像処理装置１００と接続を行うコネクタ２０６，２１６を備えている。

図２は、撮像装置１００の一例としての電子カメラを示す斜視図である。電源ボタン２０１は、撮像装置１００に対する電源ＯＮ／ＯＦＦのためのボタンである。モード切り替えレバー２０２は、撮影モード、再生モード、動画撮影モード、静止画撮影モード等の各機能モードを切り替え設定するためのレバーである。シャッターボタン２０３は、シャッタースイッチ６２，６４を構成する。液晶でディスプレイ（ＬＣＤ）２０４は、カメラの撮影画像等を表示する画像表示部２８を構成する。静止画像及び／又は動画像の再生等のための画面もＬＣＤ２０４に表示される。

メニューボタン２０５は、撮影パラメータやカメラの設定を変更するためのメニュー画面の表示を開始及び終了させるためのボタンである。セットボタン２０６は、メニュー画面における設定内容の決定等に使用される。削除ボタン２０７は、画像の削除を指定する野に使用される。ＤＩＳＰボタン２０８は、ＬＣＤ２０４における表示のＯＮ／ＯＦＦを切り替えるボタンであり、画像表示ＯＮ／ＯＦＦスイッチ６６を構成する。十字ボタン２０９は、例えば、その上下左右ボタンによりメニュー画面での項目の移動などを指示するのに用いられる。また、再生モードでは十字ボタン２０９の左右ボタンが、画像送りを行うのに用いられる。

以上のような構成を備えた撮像装置１００による撮影動作について以下に説明する。図４は第１実施形態による撮像動作を説明するフローチャートである。図４に示される処理はシステム制御部５０により実行される。例えば、システム制御部５０は不図示のＣＰＵを具備し、例えばメモリ５２に格納された制御プログラムを実行することにより図４に示される処理を実現する。

図４において、ユーザによりシャッターボタン２０３が押されると、まずシャッタースイッチ６２がＯＮし、信号ＳＷ１がＯＮとなる。信号ＳＷ１がＯＮになると、ステップＳ４０１からステップＳ４０２に進み、図１の画像処理部２０に顔領域検出処理を実行させる。

さて、この顔検出処理に要する時間は直接シャッタータイムラグへ影響するため、顔検出処理にかかる時間を低減する必要がある。例えば、図３は３点オートフォーカス（以下ＡＦと略する）を行うカメラのファインダ内の見え方の例を模式的に示した図である。カメラは３０１ａ〜３０１ｃの３点のＡＦ枠のどこに合焦させるかを判断し、合焦するＡＦ枠を表示する。このような３点ＡＦシステムにおいては画面全体にわたって人物の顔を検出する必要はなく、３０２ａ〜３０２ｃに示した３つの顔検出領域枠に示されたエリア内でそれぞれ顔検出を行い、顔が判別されたエリアが合焦するようにカメラを制御すればよい。すなわち、ＡＦ枠３０１ａ〜３０１ｃに対応して顔検出領域枠３０２ａ〜３０２ｃを設定し、これら顔検出領域枠について顔検出を行うことにより、撮像装置の制御（ＡＦやＡＥ等）に対して効果のある顔検出を行うことができる。

図５は、画像処理部２０による顔領域検出処理を説明するフローチャートである。また、図６は画像処理部２０による顔領域検出処理のための機能構成を示すブロック図である。以下、画像処理部２０による顔領域検出処理の動作を図５及び図６を用いて説明する。

システム制御部５０の指示により顔検出処理がスタートすると、ステップＳ５０１において、エリア設定部６０１が切り出し領域数と切り出し領域座標を設定する。本実施形態では、図３に示されるように、切り出し領域数は３、切り出し領域座標は顔検出枠３０２ａ、３０２ｂ、３０２ｃとなるように設定される。顔検出領域枠は、図６に示すように、例えば予めメモリ５２に格納されている。なお、顔検出領域枠は、例えば、枠の左上と右下の座標によって特定される。

ステップＳ５０２において、エリア設定部６０１は、顔検出枠３０２ａの切り出し座標（例えば、顔検出領域枠３０２ａの右上角（Xs,Ys）と左下角（Xe,Ye）により規定される）を領域切り出し処理部６０２に渡す。次に、ステップＳ５０３において、領域切り出し処理部６０２は、エリア設定部６０１より渡された切り出し領域座標に従って領域の切り出しを行う。上記の例では、画像データからまず顔検出領域枠３０２ａの領域が切り出される。切り出された画像データは顔検出処理部６０３へと送られる。ステップＳ５０４において、顔検出処理部６０３は、領域切り出し処理部６０２によって切り出された画像データ（顔検出枠３０１ａ内の画像データ）について顔検出処理を行なう。ステップＳ５０５において、情報格納部６０４は、顔検出処理部６０３が検出された顔の数とそれぞれの大きさおよび座標データをメモリ３０に格納する。

次に、ステップＳ５０６において、エリア設定部６０１にて設定されたすべての顔検出枠について顔検出処理を行ったかを判定する。例えば、処理した顔検出枠の数をカウントし、これがステップＳ５０１で設定された切り出し領域数と一致するかどうかですべての顔検出枠について顔検出処理を行ったかを判定するようにしてもよい。未処理の顔検出枠があれば処理をステップＳ５０２に戻し、未処理の顔検出枠について上述の処理を繰り返す。例えば、エリア設定部６０１が次の処理対象とすべき顔検出領域枠３０２ｂを示す切り出し座標を領域切り出し部６０２に設定することにより、領域切り出し部６０２及び顔検出処理部６０３は顔検出枠３０２ｂについて顔検出処理を実行する。

以上のようにして、図３の顔検出枠３０２ａ〜３０２ｃの全てについて顔検出処理を終えたならばステップＳ５０６より図５に示した画像処理部２０の顔検出処理を終了する。こうして、本顔検出処理の終了時には、顔検出枠３０２ａ〜３０２ｃの全顔検出枠の領域について顔検出処理が行われ、その結果が情報格納部６０４によりメモリ３０に格納される。

なお、上記顔検出処理部６０３では、顔の位置及び座標と顔の大きさを検出している。顔の位置及び座標の検出方法としては「顔領域抽出に有効な修正ＨＳＶ表色系の提案」（非特許文献１）、或いは、「静止濃淡情景画像から顔領域を抽出する手法」（非特許文献２）に開示された方法を用いることができる。これらの方法で顔検出および座標位置の検出を行う。或いは、目を検出することにより得られる左目と右目の間隔を用いて顔の大きさや位置の推定を行うこともできる。目の検出には特開平３−１７６９６号公報（特許文献２）、特開平４−２５５０１５号公報（特許文献３）、特開平５−３００６０１号公報（特許文献４）、特開平９−２５１３４２号公報（特許文献５）の技術を用いることができる。

以上のようにして、ステップＳ４０２による顔領域検出が終了すると、ステップＳ４０３において、切り出されたエリア（顔検出枠）毎の顔検出情報をもとにＡＥ処理が行われる。以下に顔検出結果を用いたＡＥ処理について説明する。例えば顔検出された領域が図３の顔検出領域枠３０２ｂのみであった場合には、顔検出領域枠３０２ｂの領域の輝度が適正になるように、絞りとシャッタースピードが決定される。また、顔検出領域枠３０２ａと３０２ｂに顔が検出された場合においては、顔検出領域枠３０２ａと３０２ｂの領域内の平均輝度が適正になるように絞りとシャッタースピードが決定される。更に、顔検出領域枠３０２ａ、３０２ｂ、３０２ｃに顔が検出された場合においては、顔検出領域枠３０２ａ、３０２ｂ、３０２ｃの領域の平均輝度が適正になるように絞りとシャッタースピードが決定される。また、何れの顔検出領域枠にも顔が検出されなかった場合には、顔検出領域枠３０２ａ、３０２ｂ、３０２ｃ内の平均輝度が適正になるように絞りとシャッタースピードが決定される。なお、ＡＥ処理自体は、上述したように画像処理部２０、システム制御部５０及び露光制御部４２の協働により実現される。

以上のようにして、ＡＥ処理が終了すると、処理はステップＳ４０４へ進み、ＡＦ処理が行われる。以下に顔検出結果を用いたＡＦ処理について説明する。図１の測距制御部４４により、撮像レンズ１０の中にある、フォーカスレンズ位置を一定量動かしながら順に撮像をおこなう。そして、撮像された画像データのうちの、顔が検出された顔検出領域枠内の画像データからバンドパスフィルター処理によりＡＦ信号を作成する。作成されたＡＦ信号が一番大きくなるフォーカスレンズ位置をもとめて、そのフォーカスレンズ位置を合焦点位置とする。

例えば顔検出された領域が顔検出領域枠３０２ｂのみであった場合には、顔検出領域枠３０２ｂ内の画像データを用いてＡＦ信号が作成され、ＡＦ信号の最も大きいフォーカスレンズ位置が求められる。また、顔検出領域枠３０２ａと３０２ｂに顔が検出された場合においては、顔検出領域枠３０２ａと３０２ｂをあわせた領域の画像データを用いてＡＦ信号の最も大きいフォーカスレンズ位置が求められる。更に、顔検出領域枠３０２ａ、３０２ｂ、３０２ｃに顔が検出された場合においては、顔検出領域枠３０２ａ、３０２ｂ、３０２ｃをあわせた領域の画像データを用いて、ＡＦ信号の最も大きいフォーカスレンズ位置が求められる。なお、顔領域検処理により顔が検出されなかった場合には、顔検出領域枠３０２ａ、３０２ｂ、３０２ｃをあわせた領域の画像データを用いてＡＦ信号を作成し、最もＡＦ信号の大きいフォーカスレンズ位置が求められる。

ＡＦ処理が終了するとＳＷ２がＯＮするのを待機する状態になる（ステップＳ４０５）。ユーザによりシャッターボタン３０３が押しこまれ、シャッタースイッチ６４がＯＮ状態となると、システム制御部５０にＳＷ２のＯＮ信号が入力される。ＳＷ２がＯＮとなると、処理はステップＳ４０６へ進み、システム制御部５０は、ステップＳ４０３、Ｓ４０４で求めた絞り、シャッタースピードおよび、フォーカスレンズ位置にて本露光を行う。本露光によって撮像素子１４より出力されたアナログ信号はＡ／Ｄ変換器１６によりデジタル信号へと変換され、画像処理部２０へ送られる。ステップＳ４０７において、画像処理部２０は、デジタル信号をＹＵＶ信号へ変換し、更に、ＪＰＥＧフォーマットへと変換し、メモリ３０に格納する。そして、ステップＳ４０８において、このＪＰＥＧフォーマット変換されたデータを、画像ファイルとして記録部２０２（或いは２１２）に記録する。

以上説明したように、第１実施形態によれば、撮像素子から取り込まれる画像の全体について顔検出処理を行うのではなく、顔検出領域枠という限定された領域について顔検出処理が行われる。そのため、顔検出処理時間が短縮され、シャッタータイムラグを低減することができる。

なお、複数の顔検出領域枠のうち、顔検出処理を行なうべき所望の一つ又は複数の顔検出領域枠を前もってユーザが選択可能にしてもよい。この場合、ステップＳ４０１では、選択された顔検出領域枠のみに対して顔領域検出処理を行うことになる。或いは、ユーザによるＡＦ枠の選択が可能な撮像装置の場合、選択されたＡＦ枠に対応する顔検出領域枠を用いて顔検出を行うようにしてもよい。その場合、エリア設定部６０１が設定する領域数、切り出し領域座標は、ユーザによって選択された顔検出領域枠、或いは、ＡＦ枠の選択に従って選択された顔検出領域枠に関するものとなる。

＜第２実施形態＞
第１実施形態では、図４のフローチャートに示したようにシャッタースイッチＳＷ１がＯＮした後、顔検出、ＡＥ処理、ＡＦ処理が終了しないと、シャッタースイッチＳＷ２のＯＮ検出に移行することができない。そのため、シャッターレリーズタイムラグが大きくなるという課題が生じることが考えられる。そこで、第２実施形態では、更にシャッターレリーズタイムラグを短縮することを可能とする。

撮像装置の構成等は第１実施形態と同様であるため、ここでは説明を省略する。以下、主として第１実施形態と同異なる部分について説明を行う。図７は第２実施形態の画像処理部２０による顔領域検出処理を説明するフローチャートである。また、図８は第２実施形態の画像処理部２０による顔領域検出処理のための機能構成を示すブロック図である。なお、図７において図５と同様の処理には同一のステップ番号を付してある。また、図８において図６に示される構成と同様の機能ブロックには同一の参照番号を付してある。また、撮影動作の処理の流れは図４のフローチャートのとおりである。

シャッターボタン３０３が半押し状態となり、信号ＳＷ１がＯＮになると、ステップＳ４０１からステップＳ４０２へ進み、顔領域検出処理が行われる。第２実施形態では、この顔検出処理が図７のフローチャートに示すものとなる。

ステップＳ５０１において、エリア設定部８０２は切り出し領域数と切り出し領域座標を設定する。第２実施形態においても、図３に示されるように、切り出し領域数は３、切り出し領域座標は顔検出枠３０２ａ、３０２ｂ、３０２ｃとなるように設定されるものとする。

次に、ステップＳ７０１において、優先度設定部８０１（図８）は、切り出し領域の優先度を設定する。顔検出領域枠と設定された優先度を示すデータの例を図８（テーブル８１０）に示す。ここでは、顔検出領域枠３０２ｂ、３０２ａ、３０２ｃの順に優先度が設定されるものとして説明する。なお、優先度設定部８０１は、十字キーなどの操作に応じて、顔検出領域枠に所望の優先順位を設定する。従って、優先順位の設定状態は書き換えが可能なメモリ３０に格納される。それぞれの領域の領域の優先度が設定されると、ステップＳ７０２において、エリア設定部８０２は、設定された優先度の高い順に、領域切り出し処理部６０２に対して切り出し領域枠の座標を設定する。すなわち、本例では、まず、顔検出領域枠３０２ｂの領域が画像データから切り出される。そして、この切り出された画像データが顔検出部６０３へ送られ、切り出された画像データ内の顔の数とそれぞれの大きさおよび座標データが出力される（ステップＳ５０３、Ｓ５０４）。顔検出処理部６０３にて出力されたデータは情報格納部６０４により顔検出情報としてメモリ３０に格納される（ステップＳ５０５）。

次に、ステップＳ７０３において、上記ステップＳ７０２、Ｓ５０３〜Ｓ５０５の処理の間に信号ＳＷ２がＯＮになったかどうかを判定する。ここで、信号ＳＷ２がＯＮになっていれば、直ちに顔検出処理を終了する。一方、信号ＳＷ２がＯＮになっていなければ、ステップＳ５０６において、エリア設定部８０２にて設定された領域すべてについて顔検出処理を行ったかを判定する。ここでは、まだ顔検出領域枠３０２ａ、３０２ｃの顔検出が終了していないため、処理をステップＳ７０２に戻す。そして、エリア設定部８０２は、次の優先度の領域を示す切り出し領域座標を領域切り出し処理部６０２に設定する。こうして、顔検出領域枠３０２ａに対する顔検出が行われる。このように顔検出領域枠３０２ａ、３０２ｃの顔検出処理が終了し、情報格納部６０４により各領域の顔検出情報がメモリ３０に格納されると、ステップＳ５０６により顔領域検出処理が終了する。

なお、全ての顔検出領域枠について顔検出処理が行われる前に信号ＳＷ２がＯＮとなった場合、顔検出が行われなかった領域は、顔が検出されなかったものとして取り扱われる。図４に戻り、ステップＳ４０２の顔領域検出処理が終了すると、顔領域検出情報を用いたＡＥ処理およびＡＦ処理が行われる。図４のステップＳ４０３以降の動作は第１実施形態と全く同じであるためここでは説明を省略する。

以上のように、第２実施形態によれば、優先順位の高い顔領域検出枠の順に顔検出処理が行われていく。そして、その途中で、シャッターボタン３０３が全押し状態となり、信号ＳＷ２がＯＮすると、顔検出処理中の顔領域検出枠について処理を終えた後、直ちに顔領域検出を終了する。信号ＳＷ２のＯＮにより顔検出処理が打ち切られるので、シャッターレリーズタイムラグを低減することができる。また、優先順位に従って顔検出処理対象となる顔検出領域枠が選択されて顔検出処理が行われるので、未処理の顔検出領域枠が残ったとしても、効果的な顔領域検出結果が得られることになる。また、半押し状態（信号ＳＷ１のＯＮ状態）の継続時間により、顔領領域の検出数を調整でき、ＡＥ，ＡＦの精度を調整できる。

なお、顔検出領域枠の優先順位については、固定であってもよいし、ユーザが所望に順位を設定できるようにしてもよい。優先順位が固定の場合は、メモリ５２に図８に示したようなテーブル８１０を保持すればよい。また、顔検出領域が選択的に用いられる場合（ユーザが選択した顔検出領域枠、或いはユーザが選択したＡＦ枠に対応する顔検出領域枠が用いられる場合）にも、優先順位を設定する本実施形態が適用可能であることは明らかである。なお、優先順位が固定であって、顔検出領域枠が選択的に用いられる場合は、その優先順位の相対的な順位関係が保たれるように、選択された顔検出領域に優先順位を設定すればよい。

また、上記第２実施形態においては、図７のフローチャートに示したように、信号ＳＷ１のＯＮ後、すぐに信号ＳＷ２がＯＮになっても必ず優先順位が１番目の領域に関しては顔検出処理が行われる。しかしながら、このような処理に限られるものではなく、例えば、図１０のように信号ＳＷ２がＯＮになっているかの判定を画像切り出しおよび顔検出を行う前に実行する（ステップＳ７０２）ようにしてもよい。この場合、信号ＳＷ２がＯＮになるタイミングによっては顔検出処理を全く行わないうちに顔領域検出処理が終了することになる。

＜第３実施形態＞
第２実施形態では、シャッタースイッチ６４による信号ＳＷ２により顔領域検出処理を終了させる構成を説明した。第３実施形態では、複数の顔検出領域枠について、優先順位の高い順に顔検出処理を行ない、顔が検出された場合に顔領域検出処理（ステップＳ４０２）を終了する。

撮像装置の構成等は第１実施形態と同様であるため、ここでは説明を省略する。以下、主として第１実施形態と同異なる部分について説明を行う。図１０は第３実施形態の画像処理部２０による顔領域検出処理を説明するフローチャートである。なお、撮像装置の動作シーケンスは第１実施形態（図４）と同様であり、画像処理部２０における顔検出処理の機能構成は第２実施形態（図８）と同様である。

信号ＳＷ１がＯＮとなるとステップＳ４０２による顔領域検出処理が行われる。この顔検出処理の動作を図１０のフローチャートを用いて説明する。

ステップＳ５０１において、エリア設定部８０２が切り出し領域数と切り出し領域座標を設定する。第３実施形態においても、図３に示されるように、切り出し領域数は３、切り出し領域座標は顔検出枠３０２ａ、３０２ｂ、３０２ｃとなるように設定されるものとする。

次に、ステップＳ７０１において、優先度設定部８０１（図８）は切り出し領域の優先度を設定する。ここでは、顔検出領域枠３０２ｂ、３０２ａ、３０２ｃの順に優先度が設定されるものとして説明する。それぞれの領域の領域の優先度が設定されると、ステップＳ７０２において、エリア設定部８０２は、設定された優先度の高い順に、領域切り出し処理部６０２に対して切り出し領域枠の座標を設定する。従って、本例では、まず、顔検出領域枠３０２ｂの領域が画像データから切り出される。そして、この切り出された画像データが顔検出部６０３へ送られ、切り出された画像データ内の顔の数とそれぞれの大きさおよび座標データが出力される（ステップＳ５０３、Ｓ５０４）。顔検出処理部６０３にて出力されたデータは情報格納部６０４により顔検出情報としてメモリ３０に格納される（ステップＳ５０５）。

次に、ステップＳ１００１において、上記ステップＳ７０２、Ｓ５０３〜Ｓ５０５の処理によって顔が検出されたか否かを判定する。ここで、顔が検出されていれば、直ちに顔検出処理を終了する。一方、ステップＳ１００１で顔が検出されていないと判定された場合は、ステップＳ５０６において、エリア設定部８０２にて設定された領域すべてについて顔検出処理を行ったかを判定する。ここでは、まだ顔検出領域枠３０２ａ、３０２ｃの顔検出が終了していないため、処理をステップＳ７０２に戻す。そして、エリア設定部８０２は、次の優先度の領域を示す切り出し領域座標を領域切り出し処理部６０２に設定する。こうして、顔検出領域枠３０２ａに対する顔検出が行われる。このように顔検出領域枠３０２ａ、３０２ｃの顔検出処理が終了し、情報格納部６０４により各領域の顔検出情報がメモリ３０に格納されると、ステップＳ５０６により顔領域検出処理が終了する。

図４に戻り、ステップＳ４０２の顔領域検出処理が終了すると、顔領域検出情報を用いたＡＥ処理およびＡＦ処理が行われる。図４のステップＳ４０３以降の動作は第１実施形態と全く同じであるためここでは説明を省略する。

以上説明したように、第３実施形態によれば、顔が検出された時点で顔領域検出処理を終えるので、シャッターレリーズタイムラグを低減することができる。また、優先順位に従って顔検出処理対象となる顔検出領域枠が選択されて顔検出処理が行われるので、顔が検出された時点で顔検出処理を終了しても、撮影に適した顔検出が行われていることになる。すなわち、必要最低限の顔領域検出を行って撮影動作に移行するので、レリーズタイムラグの低減と適切な顔領域の検出を両立させることができる。

＜他の実施形態＞
上記第１〜第３実施形態においては、図３に示されるように画像を３つの領域に分割して顔検出する例を示して説明した。しかしながら、顔検出領域枠の設定はこれに限られるものでなく、１つ以上の領域が設定されていれば幾つでも良い。また、図１１に示される様に顔検出領域枠が他の顔検出領域枠とオーバーラップするように設定されてもよい。

以上説明したように、上記実施形態によれば、顔検出を行い最適な撮影条件を求めて撮影するカメラにおいて、画面の必要領域部分のみについて顔検出を行うので、顔検出処理時間が短縮され、レリーズタイムラグを低減することが可能となる。またユーザのシャッタースイッチ操作により顔検出を中断すること、また必要最低限の顔領域検出を行うことでさらにレリーズタイムラグを低減させることが可能となる。

第１実施形態による撮像装置の構成を示すブロック図である。 第１実施形態による撮像装置の概観を示す模式図である。 第１実施形態による顔検出領域枠の例を示す図である。 第１実施形態の撮像装置による撮像動作を示すフローチャートである。 第１実施形態による顔領域検出処理を説明するフローチャートである。 第１実施形態による画像処理部２０の顔領域検出処理のための機能構成例を示すブロック図である。 第２実施形態による顔領域検出処理を説明するフローチャートである。 第２実施形態による画像処理部２０の顔領域検出処理のための機能構成例を示すブロック図である。 第２実施形態による顔領域検出処理の変形例を説明するフローチャートである。 第３実施形態による顔領域検出処理を説明するフローチャートである。 顔検出領域枠の他の例を示す図である。

Claims (10)

1. 入射した光を電気信号に変換する撮像素子の出力をデジタル値に変換して画像データを得る撮像装置であって、
   画像中における複数の部分領域を示す領域データを保持する保持手段と、
   前記保持手段に保持された領域データによって示される部分領域内の画像データから顔領域を検出する検出手段と、
   前記検出手段で検出された顔領域内の画像データに基づいて当該撮像装置の制御を行う制御手段とを備えることを特徴とする撮像装置。
2. 前記検出手段は、前記領域データによって示される前記複数の部分領域の全てについて顔領域の検出を実行することを特徴とする請求項１に記載の撮像装置。
3. 前記複数の部分領域から所望の部分領域を選択する選択手段を更に備え、
   前記検出手段は、前記選択手段で選択された部分領域の全てについて顔領域の検出を実行することを特徴とする請求項１に記載の撮像装置。
4. 前記複数の部分領域には優先順位が設定されており、
   前記検出手段は、前記優先順位の高い順に部分領域を選択して顔領域の検出を実行し、所定の操作信号の入力に応じて顔領域の検出を終了することを特徴とする請求項１に記載の撮像装置。
5. 前記所定の操作信号はシャッターレリーズを指示する操作信号であることを特徴とする請求項４に記載の撮像装置。
6. 前記複数の部分領域には優先順位が設定されており、
   前記検出手段は、前記優先順位の高い順に部分領域を選択して顔領域の検出を実行し、顔領域が検出されたことに応じて顔領域の検出を終了することを特徴とする請求項１に記載の撮像装置。
7. 前記撮像装置は、複数のオートフォーカス枠を有し、
   前記複数の部分領域は前記複数のオートフォーカス枠に対応して設定されていることを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
8. 前記制御手段は、前記検出手段で検出された顔領域内の画像データに基づいて焦点位置制御を行うことを特徴とする請求項１乃至７のいずれかに記載の撮像装置。
9. 前記制御手段は、前記検出手段で検出された顔領域内の画像データに基づいて露出制御を行うことを特徴とする請求項１乃至７のいずれかに記載の撮像装置。
10. 入射した光を電気信号に変換する撮像素子の出力をデジタル値に変換して画像データを得る撮像装置の制御方法であって、
    画像中における複数の部分領域を示す領域データを保持するメモリをアクセスして、領域データを取得し、取得された領域データによって示される部分領域内の画像データから顔領域を検出する検出工程と、
    前記検出工程で検出された顔領域内の画像データに基づいて当該撮像装置の制御を行う制御工程とを備えることを特徴とする撮像装置の制御方法。

Images