JP2012119840A

JP2012119840A - 撮像装置

Info

Publication number: JP2012119840A
Application number: JP2010266484A
Authority: JP
Inventors: Yuya Narasako; 裕也奈良迫
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2010-11-30
Filing date: 2010-11-30
Publication date: 2012-06-21

Abstract

【課題】撮影中に照明装置が照射する光の強さを、被写体に応じて適切に調整する。
【解決手段】ユーザによって照明装置を点灯する操作が行われると、照明装置は予め定められた照度で点灯する。その後、顔検出部は顔検出処理を行い、その結果をＣＰＵに出力する。ＣＰＵは顔が検出された場合は撮像装置と検出された顔との距離に応じて照明装置の照度を調節し、顔が検出されなかった場合は照明装置の照度を最大に調節し、再度、顔検出処理を行う。
【選択図】図１

Description

本発明は、デジタルビデオカメラ等の撮像装置に関する。

近年、デジタルビデオカメラや動画撮影機能を備えるデジタルスチルカメラ等の撮像装置が広く普及し、様々な撮影シーンで使用されている。この種の撮像装置には、ＬＥＤ（Light Emitting Diode）ビデオライトなどの照明装置を備えているものがある。暗所で動画撮影を行う際に、被写体を明るく照らすことにより撮影画像の質を向上させることができる。しかしながら、被写体が人である場合には、照射する光を強くし過ぎると、人にまぶしさを感じさせ不快感を与えるだけでなく、眼に損傷を与えるおそれもあるという問題がある。また、照射する光を過剰に強くした状態で撮影を継続すると撮像装置或いは照明装置の電池の消耗を招き、結果、撮影可能時間が減少してしまうという問題も発生する。

このような問題を解消するためには、被写体に応じて、或いは被写体が人である場合には被写体距離に応じて、照射する光の強さを適宜調整する必要がある。しかしながら、撮影中に撮影者が手動で随時照射する光の強さを調整しなければならないとなると、これは撮影者にとって非常に煩わしいことになる。また、利便性に欠けることにもなる。

尚、下記特許文献１には、カメラで撮影された画像からドライバー（運転者）の顔の向きや角度を検出し、その検出結果に基づき、当該顔に照射するＬＥＤの照度を制御するドライバー監視装置が開示されている。しかしながら、下記特許文献１では、人が存在するか否かによって、或いは人と撮像装置との距離に応じて照射するＬＥＤの照度を変更する技術は開示されていない。

特開２０１０−２３６２６号公報

本願発明は上記問題に鑑みてなされたものであり、撮影中に照明装置が照射する光の強さを、被写体に応じて適切に調整することができる撮像装置を提供することを目的とする。また、被写体が人である場合には、被写体と撮像装置との距離に応じて、照射する光の強さを適切に調整することができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、撮影により被写体の撮影画像を取得する撮影手段、被写体に光を照射する照明手段、被写体から特定被写体を検出する特定被写体検出手段、
を備え、特定被写体検出手段により特定被写体が検出された場合、照明手段は、当該撮像装置から前記特定被写体までの距離に応じて、照射する光の強さを変更することを特徴とする。

本発明に係る撮像装置は、照明手段の有効又は無効を切り替える切り替え手段、特定被写体検出手段の有効又は無効を設定する設定手段、を更に備え、特定被写体検出手段は、照明手段が有効化された場合には、設定手段による有効又は無効の設定にかかわらず、特定被写体の検出を行うことを特徴とする。

本発明によると、撮影中に照明装置が照射する光の強さを、被写体に応じて適切に調整することができる撮像装置を提供することができる。また、被写体が人である場合には、被写体と撮像装置との距離に応じて、照射する光の強さを適切に調整することができる撮像装置を提供することができる。

本発明に係る撮像装置１の構成の概略を示すブロック図である。特定被写体検出部７ａの内部構成の概略を示すブロック図である。縮小画像生成手段によって得られる階層画像の一例を示す図解図である。被写体検出処理の処理動作を示す図解図である。テーブル構造の一例を示す図解図である。照度調整処理の処理動作を示すフローチャートである。＜第１の実施の形態＞（撮像装置の構成）図１は、本発明の一実施例における撮像装置１の概略を示したブロック図である。撮像装置１は、被写体の光学像を所定のフレーム周期でデジタル画像信号（以下、フレーム画像信号、または、フレーム画像と記載する。）に変換する撮像部２、撮像部２から出力されるフレーム画像を一時記録するメモリ６、メモリ６に一時記録されたフレーム画像に色補間処理、ホワイトバランス調整、ノイズリダクション処理等の各種信号処理を施す信号処理部４、フレーム画像を走査し、人の顔を検出する顔検出部８、信号処理部４で処理されたフレーム画像が静止画を撮影したものである場合はＪＰＥＧ（Joint Photographic Experts Group）方式、動画を撮影したものである場合はＭＰＥＧ（Moving Picture Experts Group）方式などにより該フレーム画像に圧縮符号化処理を施し圧縮画像信号を生成する画像コーデック部１０、フレーム画像を表示する表示部１２、撮影されたフレーム画像を記録する記録媒体１４、撮像装置１の動作を制御するＣＰＵ（Central Processing Unit）１６、撮像装置１に対するユーザからの操作を受け付け、当該操作に応じた指示をＣＰＵ１６に与える操作部１８、被写体を照らすための光を照射する照明装置２０、照明装置２０が照射する光の強さ（以下、照度と記載する。）を調節する照度調節部２２、を備えている。

撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子を備える。

メモリ６は、例えば、ＶＲＡＭ（Video Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、或いはＳＤＲＡＭ（Synchronous DRAM）などの一般的に用いられているメモリが使用される。

記録媒体１４は、例えばフラッシュメモリなどの撮像装置１に内蔵される内部記録媒体、或いはＳＤメモリカードやメモリスティック（登録商標）などの撮像装置１への着脱が自在な外部記録媒体が使用される。

表示部１２は、例えば、ＬＣＤ（Liquid Crystal Display）モニタや有機ＥＬ（Electro-Luminescence）モニタが使用される。

照明装置２０は、例えば、ＬＥＤライトが使用され、照度（換言すると光量）を調節することが可能である。

（撮像装置の基本撮影動作）
この撮像装置の動画撮影時の基本動作について説明する。まず、ユーザによって操作部１８が操作され、撮影モードが選択されると、ＣＰＵ１６は、スルー画像（プレビュー画像とも言う。）処理を実行する命令を撮像部２に与える。

撮像部２は、後述の動画撮影処理の場合よりも低解像度のフレーム画像信号を、所定のフレームレートで生成し、メモリ６に書き込む。信号処理部４は、メモリ６に書き込まれたフレーム画像信号に対して、色同時化処理、ホワイトバランス調整、ノイズリダクション処理等の信号処理を施す。このとき、顔検出機能がオンに設定されている場合はフレーム画像信号に対して顔検出処理を行う。この顔検出機能については後述する。表示部１２は、信号処理が施されたフレーム画像をスルー画像として表示する。

次に、操作部１８から動画撮影の操作がなされると、撮像装置１は動画撮影処理を開始する。ＣＰＵ１６は、上述のフレーム画像生成の一連の動作を実行する命令を撮像部２に出力する。

また、ＣＰＵ１６は、操作部１８の撮影操作に応答して、画像コーデック部１０に圧縮命令及び記録命令を与える。画像コーデック部１０は、メモリ６から信号処理が施されたフレーム画像を読み出し、読み出したフレーム画像に、例えば、ＭＰＥＧ等の圧縮符号化処理を施し、圧縮したフレーム画像を、記録媒体１４に記録する。

撮像装置１は、上記処理を繰り返し、複数のフレーム画像信号から１つの動画像信号（以下、動画とも記載する。）を生成し、記録することで動画撮影を行う。
操作部１８から撮影終了の操作がなされると、撮像装置１は、動画撮影処理を終了し、撮影開始から撮影終了までに記録された動画像信号を動画ファイルとして保存する。

（顔検出処理）
ここで、撮像装置１の顔検出処理について説明する。顔検出部８は顔検出装置８１を備え、入力されるフレーム画像から人の顔を検出することができる。顔検出装置８１の構成及び動作について以下に説明する。

図２は、顔検出装置８１の構成の概略を示すブロック図である。顔検出装置８１は、撮像部２から得られたフレーム画像から１または複数の縮小画像を生成する縮小画像生成部８２、フレーム画像及びその縮小画像から構成される各階層画像とメモリ６に記憶された顔検出用の重みテーブルを用いてフレーム画像に顔が存在するか否かを判定する顔判定部８３、および顔判定部８３の判定結果を出力する判定結果出力部８４を備えている。判定結果出力部８４は、顔が検出された場合には、検出された顔のフレーム画像を基準とする大きさ及び顔の位置から撮像装置１から当該顔までの距離を推定し、ＣＰＵ１６に出力する。

図３は、縮小画像生成部８２によって得られる階層画像の一例を示している。階層画像とは、フレーム画像を任意の縮小率Ｒ（０＜Ｒ＜１、理想的には０．８や０．９など１に近い値が望ましい。）で縮小した複数の画像である。図３において、Ｐ１は、フレーム画像を、Ｐ２〜Ｐ５は、フレーム画像がそれぞれＲ倍、Ｒ^２倍、Ｒ^３倍、Ｒ^４倍に縮小された縮小画像を示しており、Ｆ１は判定領域を示している。

判定領域は、顔検出の対象となる領域を示しており、例えば、縦２４画素、横２４画素の大きさに設定される。判定領域Ｆ１は、フレーム画像Ｐ１及びその縮小画像Ｐ２〜Ｐ５のいずれの画像においても同じ大きさである。

顔検出処理は、走査される判定領域毎に、フレーム画像Ｐ１及び階層画像Ｐ２〜Ｐ５それぞれに対応する複数のエッジ特徴画像と判定領域に対応する顔らしさを表す重みに基づいて行われる。

本実施例では、矢印で示すように、フレーム画像及び階層画像上で判定領域を左から右に移動させる水平方向走査を、画像の上方から下方に向かって行う。フレーム画像Ｐ１の他に、階層画像Ｐ２〜Ｐ５を生成しているのは、一種類の判定領域及びこれに対応する重みテーブルのみを用いて大きさの異なる複数の顔を検出するためである。

図４は、顔検出処理を説明するための図である。顔判定部８３による顔検出処理は、フレーム画像Ｐ１と階層画像Ｐ２〜Ｐ５のそれぞれに対して行なわれるが、処理方法は同様なので、ここではフレーム画像Ｐ１に対して行なわれる顔検出処理についてのみ説明する。

顔判定部８３は、フレーム画像Ｐ１が入力されると、フレーム画像Ｐ１について水平方向、垂直方向、右斜上方向、及び左斜上方向の合計４方向についてのエッジ特徴画像を生成する。生成される４つのエッジ特徴画像はフレーム画像Ｐ１と同じ大きさ（画素数）である。図４は、フレーム画像Ｐ１とフレーム画像Ｐ１内に設定された判定領域Ｆ１を示している。

顔判定部８３は、判定領域Ｆ１内におけるフレーム画像Ｐ１の画素に対応する４方向のエッジ特徴画像の値から顔らしさを表す重みを導出する。顔らしさを表す重みとは、判定領域Ｆ１内の一つの画素に対応する４方向エッジ特徴画像の４つの画素値に基づいて予め設定された人の顔らしさを表す値である。

例えば、判定領域Ｆ１における画素Ａに対応する水平方向エッジ特徴画像の値ＨＯ、垂直方向エッジ特徴画像の値ＶＥ、右斜上方向エッジ特徴画像の値ＵＲ、及び左斜上方向エッジ特徴画像の値ＵＬが、（ＨＯ，ＶＥ，ＵＲ，ＵＬ）＝（１，１，１，１）である場合には、画素Ａの人の顔らしさを表す重み＝１０、（ＨＯ，ＶＥ，ＵＲ，ＵＬ）＝（１，１，１，２）である場合には、画素Ａの人の顔らしさを表す重み＝２０・・・という具合に設定されている。判定領域Ｆ１の全画素（２４×２４＝５７６画素）それぞれに対応する４つのエッジ特徴画像の画素値に応じた顔らしさを表す重みが重みテーブルに格納されている。

顔判定部８３は、フレーム画像Ｐ１の判定領域Ｆ１内の２４画素×横２４画素分の重みの総和から当該判定領域Ｆ１に顔が存在するかどうかを検出する。顔判定部８３は、このようにしてフレーム画像Ｐ１に顔が存在するか否かを判定する。このような顔検出処理については、特開２００７−２５７３５８号公報に詳しく開示されている。
そして、顔が検出された場合は、いずれの階層画像が用いられていたかによって、フレーム画像を基準とする顔の大きさを推定することができる。

また、固体撮像素子の大きさとフォーカスレンズの焦点距離から撮影画角を求めることができるため、撮影画角と検出された顔の大きさから、顔までの距離を推定することができる。このようにして、検出された顔の位置、大きさ及びその顔までの距離は判定結果出力部８４によってＣＰＵ１６に出力される。

（照度調整処理）
次に、撮像装置１で、照明装置２０を使用する場合の処理動作について説明する。動画撮影中に操作部１８が操作され、照明装置２０がオンに設定されると、照明装置２０が点灯する。このときの照明装置２０の照度は照度調節部２２によって予め定められた値に設定されている。

撮像装置１の至近距離に人が存在する場合、照明装置２０の点灯時の照度が強すぎると、その人にまぶしさを感じさせる、或いはその人の目に悪影響を及ぼすおそれがある。従って、照明点灯時の照度は至近距離に人が存在しても、その人にまぶしさを感じさせず、またその人の目に悪影響を及ぼさない程度の強さに設定されている。

照明装置２０が点灯すると、ＣＰＵ１６は、顔検出部８に顔検出処理を実行させる。ＣＰＵ１６は、顔検出機能がオフに設定されていたとしても、照明装置２０が点灯した場合は顔検出機能をオンに設定し、顔検出処理を実行させる。

顔検出部８は、ＣＰＵ１６からの命令を受けて、撮像部２から得られるフレーム画像に対して顔検出処理を行い、検出結果をＣＰＵ１６に出力する。ＣＰＵ１６は顔検出部８から出力された検出結果に応じて以下の処理を行う。

１．顔が検出された場合
顔検出処理によって顔が検出された場合、ＣＰＵ１６は、撮像装置１から検出された顔までの距離ｄと図５に示すテーブルに基づき、照明装置２０の照度を決定する。また、ＣＰＵ１６は、照明装置２０の照度が決定された照度となるように、照度調節部２２に照度を調節させる。本実施例では、０＜ｄ＜Ｄ１の場合、照明装置２０の照度はＬ１に決定され、Ｄ１≦ｄ＜Ｄ２の場合、照明装置２０の照度はＬ２に決定される。

この照度調節処理は、ユーザによって照明装置２０が消灯されるまで繰り返される。また、この照度調節処理は、フレーム画像毎に行われても良いし、所定のフレーム毎（例えば、６０フレーム毎など。）に行われるようにしても良い。

２．顔が検出されなかった場合
顔検出処理によって顔が検出されなかった場合、ＣＰＵ１６は照度調節部２２に照明装置２０の照度を最大にするように命令を与える。照度調節部２２はＣＰＵ１６から与えられた命令を受けて照明装置２０の照度を最大に調節する。

これは撮影領域に人が存在しているが、撮像装置１と人との距離が離れ過ぎているため、照明装置２０の光が人まで届かずに顔検出ができなかったのか、或いは、現在、撮影領域に人が存在しないのかを判断するためである。

照明装置２０の照度が最大に設定されると、顔検出部８は再度顔検出処理を行う。その結果、顔が検出された場合は、上述した１の処理を行い照明装置２０の照度を調節する。顔が検出されなかった場合は、現在、撮影領域に人は存在しないものとし、照明装置２０の照度を最大のまま維持する。

その間、各フレーム画像、又は、所定のフレーム毎（例えば、６０フレーム毎など。）に顔検出処理を行い、顔が検出された場合は、上述した１の処理を行う。これにより、撮影領域に存在する人を安全かつ確実に検出することができる。また、撮像装置１から人までの距離に応じて適切な照度で照明装置２０を点灯するため、無駄な電力消費を抑えることができる。

尚、ここでいう最大とは、人の目に悪影響を及ぼさない範囲内での最大であり、例えば、撮影場所が屋外である場合なら、ＪＩＳＣ６８０２「レーザー製品の安全基準」におけるクラス１に該当する範囲内、撮影場所が屋内である場合ならＪＩＳＣ６８０２「レーザー製品の安全基準」におけるクラス１Ｍに該当する範囲内での最大を指す。

図６は、照度調整処理の動作を示すフローチャートである。撮像装置１の電源がオンされ、撮影モードが選択されると、ステップＳ１に移行する。ステップＳ１では、撮像装置１はプレビューモードに設定され、表示部１２にスルー画像が表示される。

ステップＳ２では、撮影が開始されたか否かを判別する。撮影が開始された場合はステップＳ３に進み、そうでない場合はステップＳ１を繰り返す。
ステップＳ３では、照明装置２０が点灯したか否かを判別する。照明装置２０が点灯した場合はステップＳ４に進み、そうでない場合はステップＳ３を繰り返す。

ステップＳ４では顔検出機能がオンになっているか否かを判別する。顔検出機能がオンになっている場合はステップＳ７に進み、そうでない場合はステップＳ５に進む。ステップＳ５では顔検出機能をオンにし、ステップＳ７に進む。

ステップＳ７では、顔検出処理を行い、その結果、顔が検出されたか否かを判別する。顔が検出された場合はステップＳ９に進み、そうでない場合はステップＳ１３に進む。ステップＳ９では、顔検出処理を行った際に算出した撮像装置１から顔までの距離とテーブルに基づき、照明装置２０の照度を調節する。照明装置２０の照度の調節が完了したらステップＳ１１に進む。

ステップＳ１１では、撮影が終了したか否かを判別する。撮影が終了した場合、照度調整処理を終了し、そうでない場合はステップＳ１２に進む。

ステップＳ１２は、照明装置２０が消灯したか否かを判別する。照明装置２０が消灯した場合は照度調整処理を終了する。そうでない場合はステップＳ７に戻る。

ステップＳ１３では、照明装置２０の照度を最大に調節する。照明装置２０の照度を最大にしたらステップＳ１５に進む。ステップＳ１５では顔検出処理を行い、その結果、顔が検出された否かを判別する。顔が検出された場合はステップＳ９に進み、そうでない場合はステップＳ１１に進む。

上述した実施例は、照明装置２０を点灯した時に行った顔検出処理で、顔が検出できなかった場合、自動的に照明装置２０の照度を最大にするようにしているが、照明装置２０の照度を最大にするか否かをユーザが状況に応じて選択できるようにしてもよい。また、照明装置２０の照度を段階的に上げるようにしても良い。

また、上述した実施例では、撮影中に照明装置２０がオンされた場合に照度調節処理を実行するようにしているが、プレビューモード時に照明装置２０がオンされた場合にも、照度調節処理を実行するようにしても良い。

また、上述した実施例では、照明装置２０はユーザによってオンされたときに点灯するようにしているが、撮影された画像から撮影領域の明るさを判別し、所定の明るさを下回る場合は自動的に照明装置２０をオンするようにしても良い。

また、上述した実施例では、複数の顔を同時に検出した場合、撮像装置１との距離が近い顔の方が照明による悪影響を受けやすい。そのため複数の顔を同時に検出した場合は、撮像装置１と各顔の距離を比較し、最も近い距離に基づいて照明装置２０の照度を制御するのが望ましい。

また、上述した実施例では、予め特定の人の顔に関する情報を撮像装置１に登録しておき、優先度を設定できるようにしておき、撮像装置１と最も優先度の高い顔との距離に応じて照明装置２０の照度を調節するようにしても良い。

以上、本発明の一実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で変形及び変更が可能である。

１撮像装置
２撮像部
４信号処理部
６メモリ
８顔検出部
８１顔検出装置
８２縮小画像生成部
８３顔判定部
８４判定結果出力部
１０画像コーデック部
１２表示部
１４記録媒体
１６ＣＰＵ
１８操作部
２０照明
２２照度調節部

Claims

撮影により被写体の撮影画像を取得する撮影手段、
被写体に光を照射する照明手段、
被写体から特定被写体を検出する特定被写体検出手段、
を備えた撮像装置において、
特定被写体検出手段により特定被写体が検出された場合、照明手段は、当該撮像装置から前記特定被写体までの距離に応じて、照射する光の強さを変更することを特徴とする撮像装置。
前記照明手段の有効又は無効を切り替える切り替え手段、
前記特定被写体検出手段の有効又は無効を設定する設定手段、
を更に備え、
前記特定被写体検出手段は、前記照明手段が有効化された場合には、前記設定手段による有効又は無効の設定にかかわらず、特定被写体の検出を行うことを特徴とする請求項１記載の撮像装置。