JP2010124258A

JP2010124258A - 撮像装置およびその制御方法

Info

Publication number: JP2010124258A
Application number: JP2008296245A
Authority: JP
Inventors: Takeshi Ikeda; 剛池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-11-20
Filing date: 2008-11-20
Publication date: 2010-06-03
Anticipated expiration: 2028-11-20
Also published as: US8698948B2; JP5202245B2; US20100123795A1

Abstract

【課題】高輝度領域内の被写体を適正に撮影することができる撮像装置を提供する。
【解決手段】顔検出する被写体検出部２４０ａと、撮影画面Ｓの各分割領域の輝度値を取得する輝度値取得部２４０ｂと、顔情報と各分割領域の輝度値から顔の測光値を生成する被写体測光値生成部２７０ａと、高輝度領域Ａ１を選択する領域選択部２７０ｂと、高輝度領域Ａ１の測光値を生成する領域測光値生成部２７０ｃと、高輝度領域にある顔の測光値と、領域測光値生成部により生成された高輝度領域の測光値から露出制御用の測光値を生成する露出制御測光値生成部と、を有するデジタルカメラ１００を提供する。
【選択図】図１

Description

本発明は、撮像装置に関するものであり、特に被写体検出の結果を用いて露出制御を行う撮像装置に関する。

近年のデジタルカメラは、被写体認識の一部として顔認識技術が搭載されてきている。こうした技術は、撮影する画像の中で主たる被写体となるものを自動で判定し、その主たる被写体を適正に撮影するのに有効である。例えば、人物が撮影画面中に存在しており顔をカメラに向けていたとき、人の顔が顔認識機能により認識された結果、主たる被写体であると判断され、その認識された顔が適正に撮影できるようにカメラが自動的にフォーカス、ホワイトバランス、露出制御などを行う。特許文献１では、デジタルカメラにおいて顔認識した部分の測光値と画面全体の測光値を重み付けして露出制御用の測光値を生成することを提案している。
特開２００３−１０７５５５号公報

しかしながら、特許文献１は、顔検出で主顔が決定されると主顔に重点をおいて自動露出をしているため、主顔が測光中心ではない場合に撮影者の意図するような露出制御が行えない場合がある。例えば、近年のデジタルカメラにおいて、スポットライトが当たった被写体を適正に撮影するための撮影モード（スポットライトモード）を有するものがある。スポットライトモードは撮影画面中の高輝度領域をサーチしてその領域を適正露出にしている。このため、スポットライトモードで主顔を自動露出すると、主顔が高輝度領域に存在しない場合には、高輝度領域が明るくなりすぎてその領域内に存在する顔（主顔と判断された顔以外の顔）が適正露出にならないという問題が生じる。

そこで、本発明は、高輝度領域内の被写体を適正露出で撮影することができる撮像装置を提供することを目的とする。

本発明の撮像装置は、レンズから入射した光を電気信号に変換する撮像素子と、前記撮像素子から出力された電気信号から画像の特徴点を抽出して被写体を検出する被写体検出部と、複数の分割領域に分割された撮影画面の各分割領域の輝度値を取得する輝度値取得部と、前記被写体検出部が検出した前記被写体の情報と、前記輝度値取得部が取得した各分割領域の輝度値から前記被写体の測光値を生成する被写体測光値生成部と、前記撮影画面のうち閾値以上の輝度を有する高輝度領域を選択する領域選択部と、前記領域選択部により選択された高輝度領域の測光値を生成する領域測光値生成部と、前記被写体測光値生成部により生成された前記被写体の測光値と、前記領域測光値生成部により生成された前記高輝度領域の測光値から露出制御用の測光値を生成する露出制御測光値生成部と、を有し、前記被写体検出部は、前記高輝度領域において第１被写体を検出し、前記撮影画面内で前記高輝度領域以外にあって前記高輝度領域よりも輝度が低い低輝度領域において第２被写体を検出した場合に、前記露出制御測光値生成部は、前記領域測光値生成部が生成した前記高輝度領域の測光値と前記被写体測光値生成部が生成した前記第１被写体の測光値とを使用し、前記被写体測光値生成部が生成した前記第２被写体の測光値を使用せずに前記露出制御用の測光値を生成することを特徴とする。

本発明によれば、高輝度領域内の被写体を適正露出で撮影することができる。

図１は、本発明の実施例のデジタルカメラ（撮像装置）１００のブロック図である。

１１０は被写体の結像用レンズ、１２０は入射光量を制御する絞り機構、１３０は絞り機構１２０を駆動する絞り駆動モーター、１４０は絞り駆動モーター１３０を駆動する絞り機構駆動部、１５０は絞り機構１２０の状態を検出する絞り状態検出部である。

また、２００は結像用レンズ１１０から入射した光を電気信号に変換（光電変換）する撮像素子である。２１０は撮像素子２００を制御し、光電変換された信号を読み出すと共に、信号の蓄積時間を制御するいわゆる電子シャッタ機能を制御する撮像素子駆動部である。２２０は撮像素子２００で光電変換された信号をサンプリングし、かつ、その信号を電気的に増幅させることのできるサンプルホールド／ＡＧＣ回路である。２３０はサンプルホールド／ＡＧＣ回路２２０の出力であるアナログ信号をディジタル信号に変換するアナログ−ディジタル変換器（以下、「Ａ／Ｄ変換器」と称す）である。

２４０はガンマ補正後、色分離、色差マトリクス等の処理を施した後に、同期信号を加え標準テレビジョン信号を生成する制御機能を有した信号処理部（以下、「ＤＳＰ」と称す）である。２４０ａはＡ／Ｄ変換器２３０からのデジタルデータに基づいて画像の特徴点を抽出して画像中の被写体（顔）を検出する被写体検出部である。２４０ｂは画面の輝度値を取得する輝度値取得部であり、画面全体の輝度平均値や、複数に分割された領域毎の輝度平均値を取得することができる。

２５０はＤＳＰ２４０で処理された画像を記憶するメモリ、２６０は動画や静止画を記録可能な記録媒体である。

２７０はＤＳＰ２４０に処理命令を出すマイクロコンピュータ、２８０は画像を表示する表示部である。２７０ａは被写体検出部２４０ａで検出された被写体情報と輝度値取得部２４０ｂにより取得した輝度値より被写体検出部２４０ａにより検出された被写体の測光値を生成する被写体測光値生成部である。２７０ｂは輝度値取得部２４０ｂで取得した輝度値から、ある一定の輝度範囲である輝度領域を自動選択する領域選択部である。２７０ｃは領域選択部２７０ｂで選択された領域の測光値を生成する領域測光値生成部である。２７０ｄは被写体測光値生成部２７０ａにより生成された被写体の測光値と、領域測光値生成部２７０ｃにより生成された選択領域の測光値の両方の測光値から、露出制御用の測光値を生成する露出制御測光値生成部である。２７０ｅは露出制御測光値生成部２７０ｄの出力を受けて露出を制御する露出制御部である。露出制御部２７０ｅは、絞り機構１２０、電子シャッタ、ＡＧＣのいずれかを動作させるか判断し、絞り機構駆動部１４０、撮像素子駆動部２１０、サンプルホールド／ＡＧＣ回路２２０に命令を出す。２７０ｆはタイマであり、設定された時間（期間）Ｔを計時する。

以下、図２及び図３を参照して、スポットライトが当たっている部分に人物Ｈ１の顔（第１被写体）が存在し、その顔が適正露出になる様子を説明する。図２は、撮影画面の模式図であり、画面左上の領域Ａ１はスポットライトが当たっている高輝度領域である。領域Ａ１は、領域Ａ１の周囲のスポットライトが当たっていない領域Ａ２よりも明るく照らされている。領域Ａ２が撮影画面内で高輝度領域以外にある低輝度領域であり、画面右側に人物Ｈ２の顔（第２被写体）が存在している。人物Ｈ１よりも人物Ｈ２の方が大きい。

領域Ａ１の測光値Ｙｈを求めるに当たり、図３に示すように、図２に示す撮影画面Ｓを横方向の座標ｉ、縦方向の座標ｊでマトリックス表示される複数の分割領域に分割し、各分割領域の明るさの単位面積当たりの輝度値Ｙｉｊを取得する。ｉとｊは、それぞれ、１≦ｉ≦８、１≦ｊ≦８を満たし、それぞれ各分割領域の位置を示すパラメータである。左上の分割領域の輝度値はＹ１１、右下の分割領域の輝度値はＹ８８である。マイクロコンピュータ２７０は、数式１のように、この輝度値を閾値Ｙｔｈ１と比較して閾値以上と判断した場合に高輝度領域であると判定する。

図３において、座標（ｉ，ｊ）が（２、１）、（３、１）、（１、２）、（２、２）、（３、２）、（１、３）、（２、３）、（３、３）、（１、４）、（２、４）、（３、４）の分割領域が数式１の条件に合致するものとする。このため、領域選択部２７０ｂはこれらの分割領域（第１分割領域）を選択する。次に、領域測光値生成部２７０ｃが、これら１１個の分割領域の輝度値Ｙ２１、Ｙ３１、Ｙ１２、Ｙ２２、Ｙ３２、Ｙ１３、Ｙ２３、Ｙ３３、Ｙ１４、Ｙ２４、Ｙ３４を次式のように加算平均して領域Ａ１の測光値Ｙｈを生成する。

（但し、ｉ、ｊは数１の条件に合致する座標）
次に、マイクロコンピュータ２７０の被写体測光値生成部２７０ａは、ＤＳＰ２４０の被写体検出部２４０ａの検出結果に基づいて、領域Ａ１に顔が検出されているかどうかを判断する。まず、被写体測光値生成部２７０ａは、ＤＳＰ２４０の輝度値取得部２４０ｂの結果を利用して領域Ａ１を数１により検出し、そのとき条件が合致した分割領域の位置である高輝度領域座標（ｉ，ｊ）をメモリ２５０に記憶する。また、被写体測光値生成部２７０ａは、被写体検出部２４０ａの顔認識結果としての顔が存在する座標（ｉｆ，ｊｆ）、輝度値取得部２４０ｂにより取得された顔の単位面積あたりの測光値Ｙｆをメモリ２５０に記憶する。そして、被写体測光値生成部２７０ａは、このメモリ２５０に記憶されている顔の存在座標が、メモリ２５０に記憶されている領域Ａ１に一致すれば領域Ａ１に顔が存在すると判定する。一致しなければ高輝度領域内に顔は存在しないと判断する。

なお、図３では、人物Ｈ１及びＨ２が撮影画面に存在しているが、二人とも顔認識されており、人物Ｈ２の顔の測光値をＹｆ１、存在座標（６、３）とし、人物Ｈ１の顔の測光値をＹｆ２、存在座標（２、２）とする。この二人の顔が存在する座標をメモリ２５０に記憶してある領域Ａ１の座標と比較すると、人物Ｈ１の顔の存在座標（２、２）のみが一致する。即ち、高輝度領域内に一人顔認識されており、低輝度領域に一人顔認識されていることになる。

ここで、露出制御測光値生成部２７０ｄは、上述の顔認識結果と次式を用いて露出制御用の測光値Ｙｔを生成する。なお、領域Ａ１の測光値は先に示したようにＹｈとし、係数の分子、分母をそれぞれｋ１、ｋ２とする。更に、領域Ａ１の測光値の重点比率をＮｈ、領域Ａ１内の顔の測光値の重点比率をＮ１とする。

このように、領域Ａ１内で認識された人物Ｈ１の顔の測光値を用い、領域Ａ２で認識された顔の測光値は用いないことにより、領域Ａ１内の人物Ｈ１の顔をより適正な露出で撮影することができる。

以下、図４に示すように、領域Ａ１内で認識されていた顔が、人物の動作やスポットライトの移動などによって認識されなくなった場合の露出制御について説明する。高輝度領域で認識されていた顔が消失した場合、露出制御用の測光値は次式で表される。

顔が高輝度領域から消失した場合に数式３から数式４に直ちに移行してもよいが、顔が再び高輝度領域内に出現する可能性もある。このため、高輝度領域で顔が認識されて数式３の結果に基づいて露出制御を行っているときに高輝度領域から顔が消失した場合、高輝度領域から顔が消失してから予め決められた一定時間Ｔが経過するまで数式５の結果に基づいて露出制御を行う。なお、顔が高輝度領域から消失した場合は最後に認識されていた高輝度領域の顔の測光値Ｙｆ１´をメモリ２５０に記憶しておき計算に用いる。

高輝度領域から認識された顔が消失してから時間Ｔだけ経過する前に、再び高輝度領域内に顔が認識された場合は認識された顔の測光値を用いて数式３の結果に基づいて露出制御を行う。高輝度領域から認識された顔が消失してから時間Ｔだけ経過しても高輝度領域で顔が認識されないままであれば、数式４の高輝度領域の測光値に基づいて露出制御を行う。このような制御を行うことにより、動画撮影中に被写体検出している状態から被写体検出しなくなった場合でも、急に露出が大きく変化することがなくなり露出制御を安定させることができる。

更に、顔検出結果を重視して露出を安定させるために、時間Ｔだけ経過しても高輝度領域で顔が認識されないままであれば、低輝度領域内で顔認識を行い、その認識結果の顔の測光値Ｙｆ３を用いて数式６に基づいて露出制御を行ってもよい。

なお、低輝度領域で認識された顔が複数存在する場合、高輝度領域に最も近い顔がそれまで露出制御に用いていた顔である可能性が高いので、高輝度領域に最も近い顔の測光値をより反映させて露出制御を行ってもよい。

また、低輝度領域で認識された顔が複数存在する場合、高輝度領域に最も近い顔以外の顔の測光値は反映させずに露出制御を行ってもよい。

数式６に基づいて露出制御を行っている状態から高輝度領域に顔が再び認識された場合は、再度、高輝度領域中の顔の測光値Ｙｆ１を用いて数式３に基づいて露出制御を行う。但し、この場合も、高輝度領域で再び顔が認識されてから時間Ｔが経過したら数式６から数式３に切り替える。このことにより露出制御を安定させる。そして、高輝度領域と低輝度領域のどちらの領域にも顔が認識されなくなったら、高輝度領域の測光値を用いて数式４に基づいて露出制御を行う。この場合も時間Ｔが経過してから数式４に切り替えるようにする。

以上説明したように、本実施例は、撮影画面中の高輝度領域を適正にする制御を行っているとき、その撮影画面中の高輝度領域の測光値と、その撮影画面中の高輝度領域で検出された被写体の測光値を用いて露出制御を行っている。これにより、撮影画面中の高輝度領域の露出をより適正にする効果を得ることができる。また、動画撮影中に撮影画面中の高輝度領域で被写体が検出されている状態から被写体が検出されなくなった場合、検出されなくなる直前の被写体の測光値を一定時間だけ継続して使用して露出制御を行うことにより露出制御を安定させることができる。

デジタルカメラ（撮像装置）のブロック図である。図１に示すデジタルカメラの撮影画面の平面図である。図２に示す撮影画面を分割した分割領域の平面図である。図３に示す撮影画面の高輝度領域から顔が認識されなくなった状態を示す平面図である。

符号の説明

２４０信号処理部（ＤＳＰ）
２４０ａ被写体検出部
２４０ｂ輝度値取得部
２７０マイクロコンピュータ
２７０ａ被写体測光値生成部
２７０ｂ領域選択部
２７０ｃ領域測光値生成部
２７０ｄ露出制御測光値生成部
２７０ｅ露出制御部

Claims

レンズから入射した光を電気信号に変換する撮像素子と、
前記撮像素子の出力に基づいて画像の特徴点を抽出して被写体を検出する被写体検出部と、
複数の分割領域に分割された撮影画面の各分割領域の輝度値を取得する輝度値取得部と、
前記被写体検出部が検出した前記被写体の情報と、前記輝度値取得部が取得した各分割領域の輝度値から前記被写体の測光値を生成する被写体測光値生成部と、
前記撮影画面のうち閾値以上の輝度を有する高輝度領域を選択する領域選択部と、
前記領域選択部により選択された高輝度領域の測光値を生成する領域測光値生成部と、
前記被写体測光値生成部により生成された前記被写体の測光値と、前記領域測光値生成部により生成された前記高輝度領域の測光値から露出制御用の測光値を生成する露出制御測光値生成部と、
を有し、
前記被写体検出部は、前記高輝度領域において第１被写体を検出し、前記撮影画面内で前記高輝度領域以外にあって前記高輝度領域よりも輝度が低い低輝度領域において第２被写体を検出した場合に、前記露出制御測光値生成部は、前記領域測光値生成部が生成した前記高輝度領域の測光値と前記被写体測光値生成部が生成した前記第１被写体の測光値とを使用し、前記被写体測光値生成部が生成した前記第２被写体の測光値を使用せずに前記露出制御用の測光値を生成することを特徴とする撮像装置。
設定された時間を計時するタイマを更に有し、
前記被写体検出部が前記高輝度領域に前記第１被写体を認識した後に前記第１被写体が前記高輝度領域から消失したが前記低輝度領域に前記第２被写体を検出したままである場合に、前記第１被写体が前記高輝度領域から消失してから前記タイマが前記設定された時間を計時するまでは、前記露出制御測光値生成部は、前記領域測光値生成部が生成した前記高輝度領域の測光値と前記被写体測光値生成部が生成した最後に認識された前記第１被写体の測光値を使用し、前記被写体測光値生成部が生成した前記第２被写体の測光値を使用せずに前記露出制御用の測光値を生成することを特徴とする請求項１に記載の撮像装置。
前記被写体検出部が前記高輝度領域に前記第１被写体を認識した後に前記第１被写体が前記高輝度領域から消失したが前記低輝度領域に前記第２被写体を検出したままである場合に、前記第１被写体が前記高輝度領域から消失してから前記設定された時間が経過した後は、前記露出制御測光値生成部は、前記領域測光値生成部が生成した前記高輝度領域の測光値を使用し、前記被写体測光値生成部が生成した前記第２被写体の測光値を使用せずに前記露出制御用の測光値を生成することを特徴とする請求項２に記載の撮像装置。
前記被写体検出部が前記高輝度領域に前記第１被写体を認識した後に前記第１被写体が前記高輝度領域から消失したが前記低輝度領域に前記第２被写体を検出したままである場合に、前記第１被写体が前記高輝度領域から消失してから前記設定された時間が経過した後は、前記露出制御測光値生成部は、前記領域測光値生成部が生成した前記高輝度領域の測光値と前記被写体測光値生成部が生成した前記第２被写体の測光値とを使用して前記露出制御用の測光値を生成することを特徴とする請求項２に記載の撮像装置。
前記第１被写体が前記高輝度領域から消失した後に、再度、前記被写体検出部が前記高輝度領域に前記第１被写体を認識した場合には、前記第１被写体が前記高輝度領域に認識されてから前記タイマが前記設定された時間を計時するまでは、前記領域測光値生成部が生成したそれまでの露出制御用の測光値を生成することを特徴とする請求項３又は４に記載の撮像装置。
撮像装置の制御方法であって、
前記撮像装置の撮像素子からの出力に基づいて画像の特徴点を抽出して被写体を検出する被写体検出ステップと、
複数の分割領域に分割された撮影画面の各分割領域の輝度値を取得する輝度値取得ステップと、
前記被写体検出ステップで検出した前記被写体の情報と、前記輝度値取得ステップで取得した各分割領域の輝度値から前記被写体の測光値を生成する被写体測光値生成ステップと、
前記撮影画面のうち閾値以上の輝度を有する高輝度領域を選択する領域選択ステップと、
前記領域選択ステップで選択された高輝度領域の測光値を生成する領域測光値生成ステップと、
前記被写体測光値生成ステップで生成された前記被写体の測光値と、前記領域測光値生成ステップで生成された前記高輝度領域の測光値から露出制御用の測光値を生成する露出制御測光値生成ステップと、
を有し、
前記露出制御測光値生成ステップは、前記被写体検出部ステップで前記高輝度領域において第１被写体を検出し、前記撮影画面内で前記高輝度領域以外にあって前記高輝度領域よりも輝度が低い低輝度領域において第２被写体を検出した場合、前記領域測光値生成ステップで生成した前記高輝度領域の測光値と前記被写体測光値生成ステップで生成した前記第１被写体の測光値とを使用し、前記被写体測光値生成ステップで生成した前記第２被写体の測光値を使用せずに前記露出制御用の測光値を生成することを特徴とする撮像装置の制御方法。