JP2009130840A - 撮像装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】顔の検出結果を用いて撮影動作の設定を行う撮像装置において、顔の検出精度の低下の防止と、処理スピードの低下の防止を両立できるようにする。
【解決手段】被写体像を光電変換して画像を撮影する撮像部１０２と、被写体を撮影する撮影モードを設定する撮影モード設定部１１１と、撮影モード設定部により設定された撮影モードに応じて画像をリサイズするリサイズ部１２０と、リサイズ部によりリサイズされた画像から人物の顔を検出する顔検出部１２１とを備える。
【選択図】図１

Description

本発明は、撮像装置において、顔検出結果を用いて撮影動作の設定を行う技術に関するものである。

近年、デジタルカメラでは、撮影時に顔の検出を行い、その検出結果をカメラの制御に用いる技術が開発されてきている。

顔の検出方法には、一般的にニューラルネットワークに代表される学習を用いた方法、目や鼻といった物理的な形状の特徴のある部位を画像領域からテンプレートマッチングを用いて検出する手法などがある。また、肌の色や目の形といった画像特徴量を検出し統計的解析を用いて顔を検出する手法などもある。このように、顔の検出方法は、多数提案されており、一般的にはそれらの方法を複数組み合わせて顔を認識する。

現在製品として提案されているものとしては、ウェーブレット変換と画像特徴量を利用して顔を検出する方法や、テンプレートマッチング等を組み合わせた方法など、多数の顔検出方法が提案されている。

ところで、このような顔検出の結果を用いて、カメラの撮影動作を制御する方法としては、以下のようなものが提案されている。

例えば、特開２００３−３４４８９１号公報（特許文献１）には、センサーの出力をもとに被写体が顔を含むかを認識する顔認識手段と被写体の状態を検出する被写体状態検出手段とを備えたカメラが開示されている。そして、顔認識手段と状態検出手段の出力情報に基づいてカメラの撮影モードを設定する。例えば顔のアップが一つだけ画像の中央にあった場合には、ポートレートモードに自動的に設定する。また、小さい顔が多数ある場合には、集合写真モードに設定することで最適な画像を得ることが可能となる。

また、撮影モードに応じて顔検出パラメータを変えることも提案されている。この手法では、集合写真モードの場合には小さい顔まで検出可能にするパラメータを設定することで適切な顔検出が可能となる。
特開２００３−３４４８９１号公報

しかしながら、前述したような顔検出手法は、テンプレートマッチングなどの画像処理的な手法によって行われる。これらのテンプレートマッチングは、顔の大きさ毎にテンプレートを複数種類もつことで、様々な大きさの顔を検出することが可能となる。しかしながら、あらゆる大きさの顔を検出するためには、そのテンプレート毎に画像検索を行う必要があり、顔検出を行うにあたり非常に時間がかかってしまうという問題がある。この場合、顔の大きさをある程度限定することで処理時間を短くすることは可能とであるが、顔の検出精度が低下してしまうという問題がある。

また、特許文献１においては、顔の検出結果に応じて撮影モードを設定しているが、上記のように様々な大きさの顔を検出しなければ顔検出精度を上げることができないという問題は解決されない。

また、上述したような撮影モードに応じて顔検出パラメータを設定する手法の場合、現状では、顔として認める条件の閾値を変更することが考えられているのみであって、顔検出そのものの精度を向上させることはできない。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、顔の検出結果を用いて撮影動作の設定を行う撮像装置において、顔の検出精度の低下の防止と、処理スピードの低下の防止を両立できるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体像を光電変換して画像を撮影する撮像手段と、被写体を撮影する撮影モードを設定する撮影モード設定手段と、前記撮影モード設定手段により設定された撮影モードに応じて前記画像をリサイズするリサイズ手段と、前記リサイズ手段によりリサイズされた画像から人物の顔を検出する顔検出手段と、を備えることを特徴とする。

また、本発明に係わる撮像装置の制御方法は、被写体像を光電変換して画像を撮影する撮像手段を備える撮像装置を制御する方法であって、被写体を撮影する撮影モードを設定する撮影モード設定工程と、前記撮影モード設定工程において設定された撮影モードに応じて前記画像をリサイズするリサイズ工程と、前記リサイズ工程においてリサイズされた画像から人物の顔を検出する顔検出工程と、を備えることを特徴とする。

本発明によれば、顔の検出結果を用いて撮影動作の設定を行う撮像装置において、顔の検出精度の低下の防止と、処理スピードの低下の防止を両立させることが可能となる。

以下、本発明の好適な一実施形態について、添付図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係わる撮像装置（デジタルカメラ）の構成を示す図である。

まず、ユーザによりユーザインターフェース１１１を介して撮影指示があると、システムコントローラ１１２は、撮影動作を行う。撮影動作は、レンズ鏡筒１０１内のレンズの位置、絞り、メカシャッターを制御すると共に、ＣＣＤなどの撮像素子を備える撮像部１０２、さらにフラッシュ撮影を行う際の発光装置１０５を制御して行われる。なお、撮像素子は、被写体像を光電変換することにより画像の撮影を行う。

撮影がなされると、撮像部１０２から画像信号が出力され、バッファメモリ１０３に蓄えられる。その後、信号処理回路１０４によって画像生成用の信号処理がなされてＹＵＶ画像が生成される。

上記の生成された画像信号に対して、画像記録が行われる場合には、バッファメモリ１０３内の画像は圧縮／伸長回路１０６に送られてＪＰＥＧファイルとして画像圧縮され、記録・読み出し装置１０７によって記録媒体１０８に記録される。

また、バッファメモリ１０３に蓄えられたＹＵＶ生成画像はＤ／Ａ変換器によりアナログ信号に変換され、表示装置１０９に表示される。

また、顔検出を行う場合には、バッファメモリ１０３に蓄えられたＹＵＶまたはＣＣＤ画像データは、トリミング部１２５によってトリミングされ、画像リサイズ処理部１２０によってリサイズされ、顔位置検出部１２１に入力されて、顔検出がなされる。

顔位置検出部１２１によって顔位置が検出され、画像中の座標位置や顔の大きさ、さらには目の位置や目の大きさを算出し座標値を出力する。

なお、ユーザインターフェース１１１等によって、撮影モード設定がなされると、それに応じて発光装置１０５やレンズ鏡筒１０１内のレンズ位置、絞り、メカシャッターを制御して撮影モードに適した撮影がなされる。

それと共に、リサイズ率決定部１２２はシステムコントローラ１１２に記憶されている撮影モードを取得し、それに応じてリサイズ率を決定し、画像リサイズ処理部１２０およびトリミング位置決定部１２４に出力する。また、トリミング位置決定部１２４はリサイズ率決定部１２２によって決定されたリサイズ率と、システムコントローラ１１２から取得した撮影モード情報を元にトリミング位置を決定して、トリミング部１２５に出力する。

次に画像中から人物の顔を検出する方法について説明する。

図２は、本実施形態における顔を検出する方法を説明したフローチャートであり、図３は顔を検出する方法を説明する図である。

図３において顔検出する対象画像を図３（ａ）とする。

ステップＳ１０１は肌色領域抽出処理であり、画像中から肌色の領域を抽出する。図４はＣＩＥＬＡＢのＬａｂ色空間における代表色を示した色度図であり、その中の楕円は、肌色である可能性が高い領域である。図３（ｂ）は、肌色領域の色度に対応する領域を画像中から抽出したものを示した図である。

ステップＳ１０２で、画像に対してハイパスフィルタを適用する。図３（ｃ）はハイパスフィルタを適用した画像である。図５は２次元ハイパスフィルタの係数の一例を示した図である。

ステップＳ１０３では、エッジ検出にて被写体の形状を抽出し、テンプレートマッチングを行い画像中における目の検出を行う。なお、ここではステップＳ１０１にて抽出された肌色領域に対してテンプレートマッチングを行っているが、これに限られるものではない。ステップＳ１０１にて肌色領域を抽出せずに、画像の全領域に対して目の検出を行っても構わないし、目以外の口、鼻、顔の輪郭、あるいは、これらの組合せをテンプレートマッチングにて検出しても構わない。

ステップＳ１０４では、検出された目の領域の位置関係から顔認識を行い、方向・大きさ等の特徴量抽出を行う。

図６は、検出された目の領域の位置関係から顔認識を行い、方向・大きさ等の特徴量抽出を行った例を示す図である。

次に、撮影モード毎にリサイズ率を決定する方法について説明する。

まず、本実施形態における前提として、顔位置検出部１２１における顔検出サイズは一定範囲内とし、それよりも大きすぎても小さすぎても検出は不可能であるものとする。これは、ハードウェアーの画像メモリーの容量や、ソフトウェアーにおける画像探索アルゴリズムに依存するものである。また、検出領域が狭いほど検出にかかる時間が短くなることはいうまでもく、例えば画角に対して、５０％程度の領域を検出するとすると、面積的には１００％と比較すると１/４であるため、処理スピードは４倍となる。本実施形態では、被写体の形状の抽出結果を用いて顔検出を行っているため、高い解像度を維持するために狭い範囲に対して顔検出を行うほうが、顔検出の処理精度は向上する。

また、バッファメモリ１０３に蓄えられている画像サイズは、ＥＶＦ画像（表示装置１０９を電子ビューファインダとして機能させるときに表示する画像）のサイズであり、３２０×２４０画素に間引いた画像サイズであるものとする。その際、ＥＶＦ画像の画角は静止画撮影時と同じで表示され解像度のみが異なる。また、顔位置検出部１２１に入力できる画像サイズは縦×横＝３２０×２４０画素として説明する。つまり、リサイズ率が１倍でリサイズしない状態と同じとする。

もちろん、顔検出のための画像入力サイズや画像バッファに蓄積された画像サイズが異なる場合には、それに応じた倍率を設定すればよい。

以下に各種撮影モードの説明および、各撮影モードにおけるリサイズ率と、顔検出領域と、顔として判断する顔らしさを表現する顔信頼度から、顔として判断する際の判定基準設定について説明する。ここで説明する撮影モードには、画像から顔領域を検出する顔検出モード、画像から被写体の表情を検出する表情検出モード、あるいは、画像から特定の個人を検出する個人検出モード等の顔検出機能そのものを制御対象とするモードは含まれない。撮影モードとは、露光時間、絞り値、感度、ＡＦ領域、ホワイトバランス、および、動画／静止画の切り替えを示す各パラメータのいずれか、あるいは、それらパラメータの組合せに対して、予め設定された制限を設けるためのモードを指す。

（１）通常撮影モード
一般的な撮影モードであり、あらゆる被写体が撮影されることを前提として、自動的に露光時間、絞り値、感度、あるいは、ホワイトバランスを制御する、所謂オートモードを指す。

リサイズ率０.５〜５倍。

顔検出領域を画面の中心を中心として全画面の１００％程度の面積の領域とする。

顔らしさの信頼度が普通である場合でも顔と判定する。

（２）子供撮影モード
子供撮影モードとは、被写体である子供が走り回っている状態でも撮影できるようなモードである。そして、ＡＦ（オートフォーカス）やＡＥ（自動露出）やＡＷＢ（オートホワイトバランス）などの計算を行う時間をなるべく短縮し、シャッタータイムラグと撮影間隔をなるべく短く設定すると共にシャッタースピードをなるべく早く設定する撮影モードである。

被写体が中心付近ではあるものの様々な顔サイズが想定されるため、リサイズ率２〜５倍とする。

顔検出領域を画面の中心を中心として全画面の７０％程度の面積の領域とする。

被写体が動くため、信頼度の高い顔検出結果を得ることは困難であることが予想される。そこで、顔らしさの信頼度が低めの場合でも顔と判定する。

（３）ポートレートモード
人物のアップが撮影され、画像の中心付近に顔があることが想定されるモードである。絞りをなるべく開放側にして背景をぼかし気味にして被写体を浮き上がらせるような撮影を行う撮影モードである。

画面の中心位置に大きめの顔が存在することが想定されるため、リサイズ率１〜２倍とする。

顔検出領域を画面の中心を中心として全画面の５０％程度の面積の領域とする。

被写体が静止していることが多く、画面上の比較的大きな割合を占めていることが予想される。顔検出が容易である状況が多いため、誤検出を抑制するためにも顔らしさの信頼度が高めの場合に顔と判定する。

（４）集合写真モード
比較的他人数の顔が一様に並んでいると想定されるシーン。絞りを絞り気味にして被写界深度を深くして全員にフォーカスが当たるように設定されるモード。

画像中心領域に顔が存在する可能性が高く、顔サイズが小さいことが想定されるため、リサイズ率３〜５倍とする。

顔検出領域を画面の中心を中心として全画面の３３％程度の面積の領域とする。

顔らしさの信頼度が普通である場合でも顔と判定する。

（５）証明写真モード
証明写真撮影は、撮影距離がほぼ２〜３ｍ程度であり、顔の大きさも決められた撮影シーンが想定されるので、リサイズ率０.７〜１倍とする。

顔検出領域を画面の中心を中心として全画面の５０％程度の面積の領域とする。

被写体が静止していることが多く、画面上の比較的大きな割合を占めていることが予想される。顔検出が容易である状況が多いため、誤検出を抑制するためにも顔らしさの信頼度が高めの場合に顔と判定する。

（６）電子ズームモード
電子ズームとは元の画像から拡大処理を行うことで光学ズームに似せたモードである。そのため電子ズーム時は、倍率が上がるほど画素の解像度が低下するため、顔検出時のリサイズ率を低めに設定することで顔検出精度を保つことが可能となる。

電子ズームが２倍の場合、リサイズ率を２倍以下、顔検出領域を画面の中心を中心として全画面の８０％程度の面積の領域とする。

電子ズームが４倍の場合、リサイズ率を１倍以下、顔検出領域を画面の中心を中心として全画面の７０％程度の面積の領域とする。

（７）動画撮影モード
動画撮影モードは、静止画に比べて解像度が低いことが多い。そのため顔検出精度が低下することが懸念される。一方その反面、時系列的に顔検出を行うことが可能である。また撮影中に顔の大きさが変化することが考えられる。

そのため、リサイズ率を０.５〜５倍とする。

顔検出領域を画面の中心を中心として全画面の１００％程度の面積の領域とする。

被写体も動くことが多いため、信頼度の高い顔検出結果を得ることは困難であることが予想される。そこで、顔らしさの信頼度が低い場合でも顔と判定する。

ここで、リサイズ率は一意に決定されても良いが、２〜５倍というような幅を持つものは、２倍から５倍までの間に複数回リサイズおよび顔検出を行うことを意味する。もちろんそれだけ処理速度が遅くなるため、なるべくリサイズ率を限定することにより処理速度が速くなる。

また、動画やＥＶＦ動作のように定期的に複数回の顔検出が可能であるような場合には、１フレームの画像で複数の回数のリサイズを行う必要はなく、複数のフレームにわたり徐々にリサイズ率とトリミング領域を限定させることが可能である。もちろん、前フレームで検出できていた場合には、その設定で検出し続ければよい。

また、前回に検出できなかった場合においては、リサイズ率のみでなく、トリミング位置を撮影モードに応じて変更しても良い。

また、トリミング位置は、撮影時のカメラの縦位置か横位置かを検出する縦横センサーの出力と撮影モードに応じて変化させても良い。たとえばポートレートモードなどの場合に、縦位置の場合と横位置の場合で顔検出を行う領域を変化させるなどの処理を行ってもよい。

リサイズ手法に関しては、一般的な電気ローパスフィルタと線形画素補間を用いたバイリニアやバイキュービック補間など、一般的な手法を用いることで実現できる。

またトリミングに関しても単純に切り出すことでトリミング可能であるし、リサイズ回路に画像データを入力する際に画像中の領域を特定しながら入力させることでも同様の効果が得られる。

本実施形態では、上述したような構成をとることにより、各種モード毎に最適なリサイズ率でのリサイズとトリミング位置を設定することで、顔検出スピードと顔検出精度を高く、相反する両者を両立させた顔検出を可能とすることができる。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の一実施形態に係わる撮像装置（デジタルカメラ）の構成を示す図である。 本発明の一実施形態における顔を検出する方法を説明したフローチャートである。 顔を検出する方法を説明する図である。 ＣＩＥＬａｂ色空間における代表的な色度図である。 本発明の一実施形態におけるハイパスフィルタの例を示す図である。 本発明の一実施形態における顔検出結果を示す図である。

符号の説明

１０１ レンズ鏡筒
１０２ 撮像部
１０３ バッファメモリ
１０４ 信号処理回路
１０５ 発光装置
１０６ 圧縮／伸長回路
１０７ 記録・読み出し装置
１０８ 記録媒体
１０９ 表示装置
１１１ ユーザインターフェース
１１２ システムコントローラ
１２０ 画像リサイズ処理部
１２１ 顔位置検出部
１２２ リサイズ率決定部
１２４ トリミング位置決定部
１２５ トリミング部

Claims (7)

1. 被写体像を光電変換して画像を撮影する撮像手段と、
   被写体を撮影する撮影モードを設定する撮影モード設定手段と、
   前記撮影モード設定手段により設定された撮影モードに応じて前記画像をリサイズするリサイズ手段と、
   前記リサイズ手段によりリサイズされた画像から人物の顔を検出する顔検出手段と、
   を備えることを特徴とする撮像装置。
2. 前記撮影モードとは、子供撮影モード、ポートレートモード、集合写真モード、証明写真モード、電子ズームモード、動画撮影モードのいずれかであることを特徴とする請求項１に記載の撮像装置。
3. 前記リサイズ手段によりリサイズされるリサイズ率に応じて前記画像をトリミングするトリミング手段をさらに備え、前記リサイズ手段は、前記トリミング手段によりトリミングされた画像に対してリサイズ処理を行うことを特徴とする請求項１に記載の撮像装置。
4. 前記トリミング手段は、前記撮影モード設定手段により設定された撮影モードと、前記リサイズ率とに応じてトリミング位置を決定することを特徴とする請求項３に記載の撮像装置。
5. 前記リサイズ手段は、複数回にわたり定期的に顔検出を行う場合において、前回の顔検出結果と前記撮影モードとに応じて、前記画像をリサイズするリサイズ率を決定することを特徴とする請求項１に記載の撮像装置。
6. 被写体像を光電変換して画像を撮影する撮像手段を備える撮像装置を制御する方法であって、
   被写体を撮影する撮影モードを設定する撮影モード設定工程と、
   前記撮影モード設定工程において設定された撮影モードに応じて前記画像をリサイズするリサイズ工程と、
   前記リサイズ工程においてリサイズされた画像から人物の顔を検出する顔検出工程と、
   を備えることを特徴とする撮像装置の制御方法。
7. 請求項６に記載の制御方法をコンピュータに実行させるためのプログラム。

Images