JP2008160280A - 撮像装置および自動撮像方法 - Google Patents

Abstract

【課題】撮影者の意図に反して自動撮像機能が発動されてしまうことがあった。
【解決手段】顔検出部５０は、予備撮像した画像内から顔領域を検出する。動き検出部６０は、予備撮像された複数のピクチャから画像内の動きを検出する。受付部は、検出すべき顔領域の数および所定の動き量を設定するための情報を受け付ける。制御部１０は、顔検出部５０により検出された顔領域の数と、受付部から受け付けた顔領域の数が対応し、かつ動き検出部６０により検出された動き量が所定の動き量より小さい場合、自動撮像を実行する。
【選択図】図１

Description

本発明は、自動撮像機能が搭載された撮像装置および自動撮像方法に関する。

デジタルスチルカメラやデジタルビデオカメラが広く普及してきており、今まで以上に、一般ユーザが写真や動画を手軽に撮影できるようになってきている。一般ユーザは、記念撮影など人物を被写体とすることが多く、人物を撮影する場合、自分も含めて撮影したいという要求が強い。特に、旅行先などでは、家族、友人、恋人など全員が写った写真や動画を撮影したいと望むユーザが多い。

このような要求に対して、様々な自動撮像技術が提案および実用化されている。例えば、タイマーを用いて一定時間経過後に撮影するセルフタイマー機能を搭載したカメラが広く実用化されている。また、距離、音、光などの各種センサーが一定の値を検出したら撮像する機能（例えば、特許文献１参照）も提案されている。
特開平３−２６５２８２号公報

しかしながら、上述したような自動撮像技術では、被写体となる人物が撮影位置に全員揃っていない場合や、人物がポーズをとっている最中に、撮影者の意図に反して自動撮像機能が発動されてしまうことがある。

本発明はこうした状況に鑑みなされたものであり、その目的は、撮像失敗の少ない自動撮像が可能な撮像装置および自動撮像方法を提供することにある。

上記課題を解決するために、本発明のある態様の撮像装置は、予備撮像した画像内から顔領域を検出する顔検出部と、顔検出部により顔領域を検出され、かつ所定の条件を満たした場合、自動撮像を実行する制御部と、を備える。

この態様によると、顔領域が検出されただけでなく、所定の条件を満たした場合に、自動撮像を実行することにより、撮像失敗を少なくすることができる。

ユーザから条件を受け付ける受付部をさらに備えてもよい。受付部は、検出すべき顔領域の数を受け付けてもよい。制御部は、顔検出部により検出された顔領域の数と、受付部から受け付けた顔領域の数が対応したとき、自動撮像を行ってもよい。

この態様によると、顔領域の数が対応したとき、自動撮像を実行することにより、被写体が全員揃う前に撮像されてしまう事態を回避することができる。

予備撮像された複数のピクチャから画像内の動きを検出する動き検出部をさらに備えてもよい。制御部は、顔領域の数が対応し、かつ動き検出部により検出された動き量が所定の動き量より小さい場合、自動撮像を行ってもよい。「ピクチャ」は符号化の単位であり、その概念にはフレーム、フィールド、ＶＯＰ（Video Object Plane）などが含まれてもよい。

この態様によると、動き量が所定の動き量より小さい場合、自動撮像を実行することにより、撮影位置への移動中やポーズを決めている最中など、被写体の準備が整う前に撮像されてしまう事態を回避することができる。

受付部は、所定の動き量を設定するための情報をユーザから受け付けてもよい。これによれば、ユーザが自動撮像機能の感度を調整することができる。

制御部は、顔検出部により検出された顔領域にフォーカスが合うと、自動撮像を行ってもよい。顔検出部により検出された顔領域の数と、受付部から受け付けた顔領域の数が対応し、かつ顔検出部により検出された顔領域にフォーカスが合ったとき、自動撮像を行ってもよい。これらによれば、高品質な画像を自動撮像することができる。

本発明の別の態様は、自動撮像方法である。この方法は、予備撮像した画像内から顔領域を検出し、かつ所定の条件を満たした場合、自動撮像を実行する。

この態様によると、顔領域が検出されただけでなく、所定の条件を満たした場合に、自動撮像を実行することにより、撮像失敗を少なくすることができる。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、撮像失敗の少ない自動撮像が可能となる。

図１は、実施形態に係る撮像装置１００の構成図である。実施形態に係る撮像装置１００は、制御部１０、撮像部２０、測距部３０、フォーカス・露出調整部４０、顔検出部５０、動き検出部６０、操作部７０、表示部８０および記録部９０を備える。これらの構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

制御部１０は、撮像装置１００全体を制御する。本実施形態では、主に以下の処理を行う。制御部１０は、画像内で検出すべき顔の数を設定値として顔検出部５０に設定し、設定した人数分の顔を検出したか否かを検出結果として顔検出部５０から受け取る。また、制御部１０は、画像内に生じる動き量の許容値を設定値として動き検出部６０に設定し、検出した動き量が当該設定値より小さいか否かを検出結果として動き検出部６０から受け取る。制御部１０は、撮像部２０から受け取った画像データを記録部９０に記録するか否か判断する。例えば、後述する予備撮像して得られた画像データは基本的に記録しない。その他、制御部１０は、撮像部２０から受け取った画像データをＪＰＥＧ(Joint Photographic Expert Group）形式などを用いて圧縮符号化する。

撮像部２０は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの撮像素子、光学系、ズーム機構および絞り機構などを備え、撮像素子で撮像した画像を電気信号に変換し、制御部１０に出力する。撮像部２０は、後述する自動撮像モードが選択されると、予備撮像を行う。撮像部２０は、予備撮像の間、所定の間隔で連続撮像する。また、本撮像装置１００が動画撮像モードを搭載している場合、そのモードを利用してもよい。なお、予備撮像された画像は、自動撮像すべきタイミングを決定するために使用されるものであり、そのタイミング決定処理が終了すると、削除される。

測距部３０は、フォーカス調整の対象となる領域（以下、調整対象領域という。）までの距離を測定する。フォーカス・露出調整部４０は、測距部３０によって測定された距離に基づいてレンズ機構を制御することにより、フォーカス調整を行う。また、フォーカス・露出調整部４０は、調整対象領域が好適な明るさとなるように絞り機構やシャッタースピードを制御することにより、露出調整を行う。なお、撮像した画像のコントラストに基づいて、フォーカス調整を行うようにしてもよい。つまり、フォーカスを変化させて調整対象領域のコントラストが最も高くなるフォーカスを選択するようにしてもよい。この場合には、測距部３０は不要である。

顔検出部５０は、入力画像内から人物の顔を検出する。入力画像内に複数の顔が存在する場合、そのすべてを検出する。制御部１０から設定された顔の数と、入力画像内から検出された顔の数が一致するか否かを判断し、その判断結果を制御部１０に出力する。なお、クラス写真など、顔の数が多くなる場合、略一致でもよい。顔検出は、公知の方法で行えばよく、特に限定されるものではない。例えば、エッジ検出または形状パターン検出による顔検出方法、色相抽出または肌色抽出による顔検出方法を用いることができる。

以下、エッジ検出を用いる場合の具体例について説明する。この方法は、あらかじめ顔の大きさや濃淡値を正規化した顔画像の目、鼻、口、顔の輪郭などを含む顔領域から様々なエッジ特徴を抽出し、顔であるか否かを識別するのに有効な特徴量を統計的手法に基づき学習することにより顔識別器を構築する。

入力画像の中から顔を検出するために、学習の際に正規化した顔サイズで入力画像の端からラスタスキャンしながら、同様な特徴量を抽出する。その特徴量から、識別器によりその領域が顔か否か判断する。特徴量には、例えば、水平エッジ、垂直エッジ、右斜めエッジ、左斜めエッジなどを用いることができる。顔が検出されなければ、入力画像を一定の割合で縮小し、縮小後の画像に対して、上記と同様にラスタスキャンしながら顔を検索する。このような処理を繰り返すことにより、画像中から任意の大きさの顔を見つけることができる。

その他の顔検出方法として以下のような方法を用いてもよい。顔候補領域を抽出して、この顔候補領域を小領域に分割して、各領域の特徴量を予め設定した顔領域パターンと照合して、その確度から顔領域を抽出する方法、もしくは顔候補領域を抽出して、各候補領域の重複度から確度を評価して顔領域を抽出する方法を用いてもよい。さらに、顔候補領域を抽出して、各候補領域の濃度が所定の閾値に対応する値である場合に、胴体候補領域を抽出し、顔および胴体候補領域の濃度または彩度コントラストを用いて確度を評価して、顔領域を抽出する方法を用いてもよい。

動き検出部６０は、予備撮像されたフレーム間の差分を算出することにより、入力画像内の動き量を検出する。その動き量が制御部１０から設定された設定値より小さいか否かを判断し、その判断結果を制御部１０に出力する。予備撮像されたフレームは、ＲＡＭなどの作業領域に一時的に保存される。動き検出部６０は、現フレームと、一フレーム前のフレームとの差分を算出する。なお、それに加えて、現フレームと、二フレーム以上前の複数のフレームとの差分をそれぞれ算出してもよい。また、予備撮像された画像がＭＰＥＧ（Moving Picture Experts Group）形式のデータであれば、動き量として動きベクトルを用いてもよい。

操作部７０は、シャッターボタンなどの各種ボタンを含む。ユーザは、操作部７０を操作することにより、自動撮像モードへの遷移を制御部１０に指示することができる。それと共に、自動撮像が発動されるための条件を制御部１０に設定することができる。まず、フレーム内で検出される顔の数を上記条件に設定することができる。例えば、三人の集合写真を撮る場合、顔の数を三に設定する。

また、動き検出部６０に設定値として設定すべき動き量を上記条件に設定することができる。なお、ユーザが動き量を直接設定するのではなく、当該動き量の複数の候補に対応した複数のモードから、ユーザが一つを選択するような設計でもよい。なお、当該動き量をユーザが設定するのでなく、制御部１０に予め登録しておき、その値を使用してもよい。

表示部８０は、撮像された画像や上記条件の設定画面、その他の各種情報などを表示する。記録部９０は、メモリーカードスロット、ＤＶＤ、またはＨＤＤを備え、撮像された画像などを記録媒体に記録する。

次に、本実施形態に係る撮像装置１００における自動撮像モードについて説明する。以下の例では、恋人や友人とツーショット写真を撮る場合を想定する。ユーザは、顔検出部５０が検出すべき顔の数として操作部７０から二を設定する。また、操作部７０から所望の動き量を設定する。

図２（ａ）−（ｂ）および図３（ａ）−（ｂ）は、自動撮像モード中に予備撮像された画像を示す。図２（ａ）に示す画像内には人物が一人しか検出されず、画像内から検出される顔の数も一つである。したがって、自動撮像機能は発動されない。図２（ｂ）に示す画像内には人物が二人検出されるが、片方の人物が動いている状態である。この状況は、自動撮像モードを設定したユーザが、自分もフレームに収まろうと撮像装置１００の前に移動中である場合などが想定される。この画像内から検出される顔の数も二つであるが、検出された動き量が設定値より大きいため、自動撮像機能は発動されない。

図３（ａ）に示す画像内には人物が二人検出され、かつ二人は静止している。また、画像内から検出される動き量も設定値より小さい。したがって、自動撮像機能が発動される。図３（ｂ）に示す画像内には人物が三人検出される。しかも一人の人物が動いている状態である。この状況は、撮影に関係ない通行人などがフレーム内に入ってしまった場合などである。顔が三つ検出され、検出された動き量が設定値より大きいため、自動撮像機能は発動されない。

図４は、本実施形態に係る撮像装置１００の動作について説明するためのフローチャートである。まず、ユーザは、操作部７０を操作することにより、撮像装置１００を自動撮像モードに遷移させ、被写体の人数と許容可能な動き量を設定する。制御部１０は、操作部７０から入力された制御信号を参照して、顔検出部５０に検出すべき顔の数を設定し、動き検出部６０に閾値となる動き量を設定する（Ｓ１０）。撮像部２０は、制御部１０の指示にしたがい、予備撮像を開始する（Ｓ１２）。

顔検出部５０は、予備撮像された画像内から顔を検出する（Ｓ１４）。制御部１０は、予備撮像された画像内から検出された顔の数と、設定された顔の数とを比較する（Ｓ１６）。一致しない場合（Ｓ１６のＮ）、ステップＳ１２に遷移し、予備撮像を続行する（Ｓ１２）。一致した場合（Ｓ１６のＹ）、動き検出部６０は、予備撮像された画像内の動き量を検出する（Ｓ１８）。例えば、予備撮像されたフレーム間の差分を算出する。

制御部１０は、検出された動き量と、設定された動き量とを比較する（Ｓ２０）。検出された動き量が設定された動き量以上の場合（Ｓ２０のＮ）、ステップＳ１２に遷移し、予備撮像を続行する（Ｓ１２）。検出された動き量が設定された動き量未満の場合（Ｓ２０のＹ）、制御部１０は、撮像部２０に指示して本番の撮像を実行させる（Ｓ２２）。

以上説明したように本実施形態によれば、撮像失敗の少ない自動撮像が可能となる。例えば、人物写真を自動撮像する場合にて、被写体が全員揃っていないときや、被写体がポーズをとっている最中や、撮影対象外の人や動物または物体が撮像スポットに入ってきたときなどに撮像されてしまう事態を軽減することができる。それにより、撮り直しを軽減できるため、消費電力の低減につながる。また、記録媒体の使用量を削減することにつながる。

また、リモコンを使用することも考えられるが、リモコンを紛失したり置き忘れたりする人も多く、撮影したいときに手元にない場合も多い。この点、本実施形態によれば、自動撮像したいときにいつでも利用することができる。また、リモコン操作者の背後を人が通りすぎるなど、リモコン操作者の視界に入りにくい、撮像中断事由が発生しても、適切に対応することができる。

以上、本発明をいくつかの実施形態をもとに説明した。これらの実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記実施形態では、ユーザは操作部７０から被写体の人数と許容可能な動き量を設定した。この点、許容可能な動き量に代えて、または上記二つの設定事項に加えて以下のような条件を設定してもよい。顔にフォーカスが合っているか否かを条件に設定してもよい。制御部１０は、フォーカス・露出調整部４０からフォーカス位置を取得し、顔検出部５０から顔の位置を取得することにより、顔にフォーカスが合っているか否かを判断する。制御部１０は、顔にフォーカスが合っている場合で、かつ他の設定条件を満たした場合、撮像するよう撮像部２０に指示する。これにより、顔にフォーカスが合った画像を自動撮像することができる。

また、許容可能な動き量に代えて、または上記二つまたは三つの設定事項に加えて以下のような条件を設定してもよい。予備撮像された画像内の輝度値の変化量を条件に設定してもよい。太陽が雲から出てくるときや太陽が雲に隠れるときなど、明るさが急変するときに撮像された画像は、品質が悪くなりがちである。制御部１０は、設定された輝度値の変化量を超える変化量が検出されない場合で、かつ他の設定条件を満たした場合、撮像するよう撮像部２０に指示する。設定される輝度値の変化量は、設計者が実験やシミュレーションにより求めた値でもよいし、ユーザが操作部７０から設定した値でもよい。これにより、品質の高い画像を自動撮像することができる。

また、上記許容可能な動き量に代えて、または上記二つ、三つもしくは四つの設定事項に加えて以下のような条件を設定してもよい。顔領域内に輝度値が極端に高い点が存在するか否かを条件に設定してもよい。顔領域内に輝度値が極端に高い点が存在する場合、メガネが光を反射している可能性があり、この状態で撮像された画像も品質が悪くなりがちである。制御部１０は、設定された輝度値を超える輝度値が顔領域内から検出されない場合で、かつ他の設定条件を満たした場合、撮像するよう撮像部２０に指示する。設定される輝度値は、設計者が実験やシミュレーションにより求めた値でもよいし、ユーザが操作部７０から設定した値でもよい。これにより、品質の高い画像を自動撮像することができる。

また、動き検出部６０が予備撮像された画像内の動き量を検出する際、画像内における検出範囲を制限したり、領域に応じて重み付けを行ってもよい。例えば、顔領域および顔領域に隣接する領域を検出範囲にし、他の領域を検出範囲外としてもよい。この場合、背景に噴水がある場合など、背景に動きがある場合でも自動撮像モードを使用することができる。また、顔領域の重み付けを他の領域より高く設定してもよい。この場合、まばたきの検出精度を高めることができる。

また、上述した実施形態では、人物の顔を想定したが、犬や猫など動物の顔でもよい。撮像装置１００に犬自動撮像モードや猫自動撮像モードが搭載されてもよい。それぞれ、犬用の顔識別器、猫用の顔識別器を構築すれば人物の顔の場合と同様の原理で実施可能である。

実施形態に係る撮像装置の構成図である。 図２（ａ）−（ｂ）は自動撮像モード中に予備撮像された画像を示す。 図３（ａ）−（ｂ）は自動撮像モード中に予備撮像された画像を示す。 実施形態に係る撮像装置の動作について説明するためのフローチャートである。

符号の説明

１０ 制御部、 ２０ 撮像部、 ３０ 測距部、 ４０ フォーカス・露出調整部、 ５０ 顔検出部、 ６０ 動き検出部、 ７０ 操作部、 ８０ 表示部、 ９０ 記録部、 １００ 撮像装置。

Claims (6)

1. 予備撮像した画像内から顔領域を検出する顔検出部と、
   前記顔検出部により顔領域を検出され、かつ所定の条件を満たした場合、自動撮像を実行する制御部と、
   を備えることを特徴とする撮像装置。
2. 前記条件を受け付ける受付部をさらに備え、
   前記受付部は、検出すべき顔領域の数を受け付け、
   前記制御部は、前記顔検出部により検出された顔領域の数と、前記受付部から受け付けた顔領域の数が対応したとき、前記自動撮像を実行することを特徴とする請求項１に記載の撮像装置。
3. 予備撮像された複数のピクチャから画像内の動きを検出する動き検出部をさらに備え、
   前記制御部は、前記顔領域の数が対応し、かつ前記動き検出部により検出された動き量が所定の動き量より小さい場合、前記自動撮像を実行することを特徴とする請求項２に記載の撮像装置。
4. 前記受付部は、前記所定の動き量を設定するための情報を受け付けることを特徴とする請求項３に記載の撮像装置。
5. 前記制御部は、前記顔検出部により検出された顔領域にフォーカスが合うと、前記自動撮像を実行することを特徴とする請求項１に記載の撮像装置。
6. 予備撮像した画像内から顔領域を検出し、かつ所定の条件を満たした場合、自動撮像を実行することを特徴とする自動撮像方法。

Images