JP2006211139A - 撮像装置 - Google Patents

Abstract

【課題】 この発明は、撮影者が撮影しようとする人物の顔を自動的に検出でき、撮影しようとする人物に対して自動合焦制御、自動露出制御、自動ホワイトバランス調整等を行うことが可能となる撮像装置を提供することを目的とする。
【解決手段】 画像を撮像するための撮像手段、撮像手段によって撮像された画像を表示するための表示装置、撮像手段から入力された画像データに顔検出ポイントを示すマークを付加して表示装置に表示させる手段、撮像手段から入力された画像データの中から、顔検出ポイントに重なっている人物の顔領域を検出するための顔検出手段、ならびに顔検出手段によって検出された顔領域の少なくとも一部を調整対象領域として、自動合焦制御、自動露出制御および自動ホワイトバランス調整のうちの少なくとも１つを行う手段を備えている。
【選択図】 図３

Description

この発明は、デジタルカメラ等の撮像装置に関する。

従来の自動合焦機能を有する撮像装置では、画面中央部の１つまたは複数のエリアを測距エリアとして自動合焦を行うのが一般的である。しかしながら、シャッターボタンを半押しの状態で、動いている人物の顔を測距エリアに正確に合わし続けるのは容易ではなかった。

また、特開２００３−１０７３３５号公報には、人物の顔を検出する手段を用いて、画面内の人物の顔に合焦させることにより、人物の位置にかかわらず、人物の顔にピントを合わせることが開示されている。

しかしながら、画面内において複数の顔が検出された場合、撮影者が複数の顔の中から１つの顔を選択しなければならず、その操作が面倒である。また、上記公報には、画面内において複数の顔が検出された場合、画面の中央にいる人物や、顔が大きく写っている人物を自動的に選択する技術も開示されているが、どのような顔を自動的に選択するかを決めるためのモードをユーザが設定する必要がある。
特開２００３−１０７３３５号公報

この発明は、撮影者が撮影しようとする人物の顔を自動的に検出でき、撮影しようとする人物に対して自動合焦制御、自動露出制御、自動ホワイトバランス調整等を行うことが可能となる撮像装置を提供することを目的とする。

請求項１に記載の発明は、画像を撮像するための撮像手段、撮像手段によって撮像された画像を表示するための表示装置、撮像手段から入力された画像データに顔検出ポイントを示すマークを付加して表示装置に表示させる手段、撮像手段から入力された画像データの中から、顔検出ポイントに重なっている人物の顔領域を検出するための顔検出手段、ならびに顔検出手段によって検出された顔領域の少なくとも一部を調整対象領域として、自動合焦制御、自動露出制御および自動ホワイトバランス調整のうちの少なくとも１つを行う手段を備えていることを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明において、顔検出手段によって顔領域が検出されたときに、顔検出ポイントを示すマークを消去する手段を備えていることを特徴とする。

請求項３に記載の発明は、請求項２に記載の発明において、顔検出手段によって顔領域が検出されたときに、検出された顔領域の中心を顔検出ポイントに設定する手段を備えていることを特徴とする。

この発明によれば、撮影者が撮影しようとする人物の顔を自動的に検出でき、撮影しようとする人物に対して自動合焦制御、自動露出制御、自動ホワイトバランス調整等を行うことが可能となる。

以下、図面を参照して、この発明をデジタルカメラに適用した場合の実施例について説明する。

〔１〕デジタルカメラの構成についての説明

図１は、デジタルカメラの構成を示している。

デジタルカメラは、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた制御部１０を備えている。制御部１０には、撮像部１、フォーカス・露出調整部２、測距部３、操作部４、顔検出部５、表示部６、不揮発性メモリ７が接続されている。

撮像部１は、撮像素子、光学系、ズーム機構、絞り機構等を含んでいる。測距部３は、フォーカス調整の対象となる領域（調整対象領域）までの距離を測定する。フォーカス・露出調整部２は、測距部３によって測定された距離に基づいてレンズ機構を制御することにより、フォーカス調整を行う。また、フォーカス・露出調整部２は、調整対象領域が好適な明るさとなるように絞り機構やシャッタースピードを制御することにより、露出調整を行う。なお、撮像した画像のコントラストに基づいて、フォーカス調整を行うようにしてもよい。つまり、フォーカスを変化させて調整対象領域のコントラストが最も高くなるフォーカスを選択するようにしてもよい。この場合には、測距部３は不要である。

操作部４は、シャッターボタン等の各種ボタンを含んでいる。顔検出部５は、入力画像内における後述する顔探索領域内で、人物の顔領域を検出する。表示部６には、入力画像等が表示される。不揮発性メモリ７には、撮影された画像が保持される。

このデジタルカメラには、人物を撮像するためのポートレートモードが用意されている。そして、このデジタルカメラは、ポートレートモードが設定されている場合に、撮影者が撮影しようとする人物の顔を自動的に検出し、検出された顔領域の少なくとも一部を調整対象領域として、フォーカス・露出調整を自動的に行う機能を備えている。

〔２〕顔検出手法についての説明

本実施例で用いられる顔検出手法について説明する。ポートレートモードで撮影する場合、表示部６の表示画面の中心部に「顔検出ポイント」を設定する。図２に示すように、「顔検出ポイント」の位置が撮影者に分かるように、「顔検出ポイント」の位置を示すマーク( 顔検出ポイントマーク) Ｍを表示部６の表示画面内に表示する。図２の例では、顔検出ポイントマークＭとして、十字マークが用いられている。顔検出ポイントマークとしては、×印、丸印、点印、かぎ括弧等を用いることができる。

撮影者は、図３に示すように、表示部６に表示されている入力画像に存在している撮影したい人物の顔に、顔検出ポイントマークＭが重なるように、デジタルカメラの向きを調整する。図３において、ａは人物Ａの顔を示し、ｂは人物Ｂの顔を示している。顔検出部５は、顔検出ポイントマークに合わせた顔のみを検出する。

顔検出方法としては、公知の方法（例えば、文献Ａに記載された方法）が用いられる。

文献Ａ：P.Viola and M.Jones,"Robust Real Time Object Detection", IEEE ICCV Workshop Statistical and Computational Theories of Vision, July 2001 ．

一般的な顔検出方法の概要について説明する。あらかじめ顔の大きさや濃淡値を正規化した顔画像の目、鼻、口、顔の輪郭などを含む顔領域から様々なエッジ特徴を抽出し、顔であるか否かを識別するのに有効な特徴量を統計手法に基づき学習することにより顔識別器を構築する。

入力画像の中から顔を検出するためには、学習の際に正規化した顔サイズ（顔マッチング枠）で入力画像の端からラスタスキャンしながら、同様な特徴量を抽出し、その特徴量から、識別器によりその領域が顔か否かの判断を行う。特徴量には、例えば、水平エッジ、垂直エッジ、右斜めエッジ、左斜めエッジ等がある。

顔が検出されなければ、入力画像を一定の割合で縮小し、縮小後の画像に対して、上記と同様にラスタスキャンしながら顔を検索する。このような処理を繰り返すことにより、画像中から任意の大きさの顔を見つけることができる。

本実施例では、顔検出ポイントマークに合わせた顔のみを適切に検出するために、図３に示すように、顔探索領域Ｓを限定する。つまり、顔検出ポイントを中心とした顔探索領域Ｓを設定する。そして、顔探索領域Ｓ内を、学習の際に正規化した顔サイズ（顔マッチング枠）でラスタスキャンしながら、特徴量を抽出し、その特徴量から顔識別器により顔か否かの判断を行う。このように、顔検出ポイントを設け、顔探索領域を限定することにより、顔検出ポイントに重なった顔のみを検出することができる。図３の例では、画像内に２つの顔ａ、ｂが存在しているが、顔ｂは検索対象外となるため、顔検出ポイントに重なった一方の顔ａのみを検出することができる。

顔探索領域Ｓの大きさは、図４に示すように、撮影者によって顔検出ポイントマークの中心に顔の中心を合わせることは難しいことを考慮して、顔マッチング枠Ｆより大きく設定されている。ただし、顔探索領域Ｓの大きさが大きすぎると複数の顔が検出される可能性があるため、顔探索領域Ｓの大きさを、２つの顔が収まらないような大きさに設定する。ここでは、顔探索領域Ｓの大きさを、顔マッチング枠Ｆの１．５倍に設定している。

ところで、画像内の顔の大きさが顔マッチング枠Ｆの大きさとほぼ同じ大きさでなければ顔を検出することができないが、画像内の顔の大きさは一定ではない。そこで、顔が検出できなかった場合には、顔探索領域Ｓの大きさはそのままとして、画像を一定の割合で縮小して、顔の探索を行う。このような処理を繰り返すことにより、顔探索領域Ｓ内から任意の大きさの顔を検出する。画像の縮小率や縮小回数は予め定められている。

なお、顔探索領域Ｓの大きさをそのままにして画像を縮小することは、画像をそのままにして顔探索領域Ｓの大きさを大きくすることに相当する。

図５は、顔探索領域と顔サイズとの相対的な関係を示している。図５では、顔探索領域と顔サイズとの相対的な関係を分かりやすく表すために、画像をそのままにして顔探索領域Ｓの大きさを大きくしている。Ｓ１〜Ｓ４が顔探索領域を表している。小さい顔は、顔検出ポイントの近傍の小領域で探索する。大きな顔を検出する場合には、顔探索領域を広げる。

顔が検出されると、そのことを撮影者に認識させるために、図６に示すように、顔検出ポイントマーク（十字マーク）Ｍを消去し、検出された顔を囲む矩形のマーク（顔領域表示マーク）Ｗを表示させる。

被写体は動いている場合も予想される。そこで、この実施例では、顔を検出した後においては、顔検出ポイントを顔検出領域の中心点に移動させ、その位置を基準として、同様に顔を探索するようにする。顔検出ポイントの位置は、被写体の移動を予測することにより、決定してもよい。このように、連続して顔を検出することによって、被写体を追尾することが可能となる。また、被写体を追尾するためには、公知の追尾手法（文献Ｂ参照）を用いてもよい。また、検出した顔の領域の色情報を取得して、色情報によって被写体を追尾してもよい（文献Ｃ参照）。

文献Ｂ："An iterative image registration technique with an application to stereo vision" Proc. of the international Joint Conference on Artificial Intelligence, pp.674-679, 1981.

文献Ｃ：「顔領域抽出に有効な修正ＨＳＶ表色系の提案」，テレビジョン学会誌 Vol.49, No.6, pp.787-797 (1995).

〔３〕処理手順についての説明

図７は、ポートレートモードが設定されている場合にデジタルカメラによって実行される顔検出に基づく焦点、露光調整処理手順を示している。

撮像部１によって撮像された画像を入力する（ステップＳ１）。そして、フラグＦがリセット（Ｆ＝０）されているかセット（Ｆ＝１）されているかを判別する。このフラグＦは、ポートレートモードが設定されたときにリセットされるとともに、ポートレートモード時にシャッターボタンが押されたときにリセットされる。このフラグＦは、後述するステップＳ５の顔検出処理において顔が検出されたときにセットされる。

ポートレードモードが設定された直後であるとすると、フラグＦがリセットされているので、ステップＳ３に進み、入力画像に顔検出ポンイトマークＭを合成して表示部６に表示する。そして、ステップＳ５に進む。撮影者は、撮影したい人物の顔に、顔検出ポイントマークＭが重なるように、デジタルカメラの向きを調整する。

ステップＳ５では、顔検出ポイントを中心とした顔探索領域を設定し、上述したように顔探索領域内で顔検出処理を行う。

顔を検出することができなかった場合（ステップＳ６でＮＯ）、ステップＳ１に戻り、撮像部１によって撮像された画像を入力する。顔を検出できた場合には、フラグＦをセット（Ｆ＝１）するとともに（ステップＳ７）、顔検出ポイントマークＭを消去し（Ｍが表示されている場合）、検出された顔を囲む顔領域表示マークＷを表示する（ステップＳ８）。また、検出された顔領域の少なくとも一部を調整対象領域として、フォーカス調整および露出調整を行う（ステップＳ９）。

次に、検出された顔領域の中心を顔検出ポイントに設定する（ステップＳ１０）。そして、ステップＳ１に戻る。顔が検出された後に、ステップＳ１に戻った場合には、フラグＦはセットされているので、撮像部１によって撮像された画像を入力すると、その画像をそのまま表示部６に表示する（ステップＳ４）。そして、入力画像に対してステップＳ１０で設定された顔検出ポイントを中心とした顔探索領域を用いて、顔検出処理を行う（ステップＳ５）。

このような処理が行われている途中で、シャッターボタンが押されると、フラグＦがリセット（Ｆ＝０）されるので、その後にステップＳ１に戻った場合には、撮像部１によって撮像された画像を入力すると、入力画像に顔検出ポンイトマークを合成して表示部６に表示する。そして、入力画像に対して顔検出ポイントを中心とした顔探索領域を用いて、顔検出処理を行う（ステップＳ５）。

ステップＳ９では、検出された顔領域を調整対象領域として、フォーカス調整および露出調整を行っているが、いずれか一方の調整のみを行うようにしもよい。また、検出された顔領域の少なくとも一部を調整対象領域として、ホワイトバランスを調整するようにしてもよい。

上記実施例では、ステップＳ６で顔検出ができたと判別される毎に、フォーカス調整および露出調整を行っているが、前フレームにおいて顔が検出されており、カメラから前フレームで検出された顔までの距離とカメラから現フレームで検出された顔までの距離が異なっていない場合には、フォーカス調整を行わないようにしてもよい。カメラから前フレームで検出された顔までの距離とカメラから現フレームで検出された顔までの距離が異なっているか否かは、前フレームで検出された顔の大きさと現フレームで検出された顔の大きさとが異なっているか否かに基づいて判別することができる。顔の大きさは、顔を検出できたときの、顔探索領域と顔サイズとの相対的な関係から求めることができる。

同様に、前フレームにおいて顔が検出されており、前フレームで検出された顔領域の明るさとカメラから現フレームで検出された顔領域の明るさが異なっていない場合には、露出調整を行わないようにしてもよい。

上記実施例では、ポートレートモードが設定されている場合には、常時、顔検出に基づく焦点、露光調整を行っているが、顔検出モードを切り換えるスイッチを設けておき、このスイッチがオンに切り換えられている場合にのみ、顔検出に基づく焦点、露光調整を行うようにしてもよい。また、ポートレートモード等の撮影モードにかかわらず、シャッターボタンが半押しされた時点で、顔検出に基づく焦点、露光調整を行うようにしてもよい。この場合、複数フレームに対して顔検出を行っても顔が検出できないときには、顔検出に基づく焦点、露光調整を終了させる。このように顔が検出できずにシャッターボタンが押されたときには、従来から装備されている「自動シーン判定機能」に従って撮影を行う。

なお、「自動シーン判定機能」とは、ポートレート、風景、夜景などの各シーンを自動的に判定し、判定結果に適した絞りとシャッタースピードを自動的に設定する機能をいう。

デジタルカメラの構成を示すブロック図である。 顔検出ポイントマークＭを示す模式図である。 表示部６に表示されている入力画像に存在している撮影したい人物の顔に、顔検出ポイントマークＭが重なるように、デジタルカメラの向きが調整された場合の表示画像の例を示す模式図である。 顔探索領域Ｓを示す模式図である。 顔探索領域と顔サイズとの相対的な関係を示す模式図である。 顔が検出されたときに、顔検出ポイントマークＭが消去され、検出された顔を囲む矩形のマーク（顔領域表示マーク）Ｗが表示されることを示す模式図である。 ポートレートモードが設定されている場合にデジタルカメラによって実行される顔検出に基づく焦点、露光調整処理手順を示すフローチャートである。

符号の説明

１０ 制御部
１ 撮像部
２ フォーカス・露出調整部
３ 測距部
４ 操作部
５ 顔検出部
６ 表示部
７ 不揮発性メモリ

Claims (3)

1. 画像を撮像するための撮像手段、
   撮像手段によって撮像された画像を表示するための表示装置、
   撮像手段から入力された画像データに顔検出ポイントを示すマークを付加して表示装置に表示させる手段、
   撮像手段から入力された画像データの中から、顔検出ポイントに重なっている人物の顔領域を検出するための顔検出手段、ならびに
   顔検出手段によって検出された顔領域の少なくとも一部を調整対象領域として、自動合焦制御、自動露出制御および自動ホワイトバランス調整のうちの少なくとも１つを行う手段、
   を備えていることを特徴とする撮像装置。
2. 顔検出手段によって顔領域が検出されたときに、顔検出ポイントを示すマークを消去する手段を備えていることを特徴とする請求項１に記載の撮像装置。
3. 顔検出手段によって顔領域が検出されたときに、検出された顔領域の中心を顔検出ポイントに設定する手段を備えていることを特徴とする請求項２に記載の撮像装置。

Images