JP4040613B2

JP4040613B2 - 撮像装置

Info

Publication number: JP4040613B2
Application number: JP2004252311A
Authority: JP
Inventors: 康嘉宮▲崎▼
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-08-31
Filing date: 2004-08-31
Publication date: 2008-01-30
Anticipated expiration: 2024-08-31
Also published as: US7889890B2; CN1744672A; KR20060050871A; JP2006074164A; EP1684504A3; DE602005006375T2; CN100379265C; EP1684504B1; DE602005006375D1; EP1684504A2; KR100698483B1; US20060044422A1

Description

本発明は撮像素子を用いたデジタルカメラ、ビデオカメラの信号処理方法に関する。

従来の撮像装置において、フラッシュ撮影時には撮影画面内の被写体からの反射光量データをもとに調光制御を行っているため、撮影画面内に高反射率もしくは低反射率の被写体が存在した場合には、その影響を受け、適切な調光ができないことがある。例えば、被写体が黒い服を着ていた場合、従来の方式を用いると、撮影画面内の被写体からの反射光量データをもとに調光制御してしまう為、被写体の顔に適正量以上のフラッシュを照射することになってしまう。その結果、被写体の顔が露出オーバーといった状態で撮影されてしまうという欠点があった。

そこで、ＡＦ（ＡｕｔｏＦｏｃｕｓ以後ＡＦと呼ぶ）前に撮影画像から被写体の顔を検出し、この検出された被写体の顔領域に重みをつけて露出制御したり（特許文献１参照）、調光制御したりする（特許文献２参照）技術が提案されている。このような構成であれば、常に被写体の顔に合焦させ、顔領域が最適な輝度となるような撮影が可能である。
特開２００３−１０７５５５号公報特開２００３−１０７５６７号公報

しかしながら、例えば輝度が充分でない状況（夜景を背景として人物を撮影する場合等）では、撮影画像から人物の顔の検出を精度良く行うことは難しい。人物の顔検出方法として所定以上の大きさを有する肌色領域を顔領域とみなす方法や、輝度情報から顔の輪郭や目の形状を検出して顔領域とみなす方法があるが、どちらの場合も暗闇では検出精度が低下することは否めない。

本発明は上記問題点に鑑みてなされたものであり、プリ発光前後において得た撮影画像信号からそれぞれ被写体の顔領域の検出を行い、その得られた撮影画像信号の顔領域同士で輝度演算を行うことで、顔領域を中心とした領域で調光制御を行い顔領域が好適な露出となるように発光制御を行うというものである。

また、上記に述べたような顔が精度良く検出できないような場合においても、プリ発光時の顔検出の結果から、顔検出が行えなかったプリ発光前の撮影画像信号における顔領域を推定することで、プリ発光前の撮影画像信号から被写体の顔領域の検出を行い、上記と同様の処理が可能である。

また、プリ発光を行った時点で、鏡等の高反射率の被写体が存在するようなシーンだと判明した場合においては、顔検出を行うことができないので、プリ発光前の顔検出の結果を使用する事によってできるだけ顔領域が適切な輝度に近づくように露出制御を行うことを可能にしている。

そこで、本発明の撮像装置は、メイン発光前にプリ発光を行い、メイン発光にともない本撮影を行う撮像装置において、撮像画像信号を取得するための撮像画像信号取得手段と、被写体の顔領域を検出する顔領域検出手段と、プリ発光が行われる前に取得した第１の撮像画像信号と、プリ発光が行われている時に取得した第２の撮像画像信号の輝度を比較し、メイン発光時の発光量を決定する発光量決定手段とを有し、前記第１の撮像画像信号から顔領域の検出ができなかった場合、前記発光量決定手段は、前記第２の撮像画像信号における顔領域と、該顔領域に対応する前記第１の撮像画像信号における領域との輝度を比較して演算し、メイン発光の発光量を決定することを特徴とする。

また、上記課題を解決し、目的を達成するために、本発明の撮像装置の制御方法は、メイン発光前にプリ発光を行い、メイン発光にともない本撮影を行う撮像装置の制御方法において、撮像画像信号を取得するための撮像画像信号取得工程と、被写体の顔領域を検出する顔領域検出工程と、プリ発光が行われる前に取得した第１の撮像画像信号と、プリ発光が行われている時に取得した第２の撮像画像信号の輝度を比較し、メイン発光時の発光量を決定する発光量決定工程とを有し、前記第１の撮像画像信号から顔領域の検出ができなかった場合、前記発光量決定工程は、前記第２の撮像画像信号における顔領域と、該顔領域に対応する前記第１の撮像画像信号における領域との輝度を比較して演算し、メイン発光の発光量を決定することを特徴とする。

本発明によれば、顔検出機能を備えたカメラにおいて、顔検出により得られた顔領域を中心として本発光量を算出しているため、被写体の顔以外の反射物の影響を受けずにフラッシュッ撮影を行うことができる。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
本実施形態における撮像装置の構成図を図１に示す。

同図において１０１はカメラの各種制御を行うマイクロコンピュータであるＣＰＵ。１０２はレンズ、絞り、シャッター等を含む撮像光学系、１０３は光電変換機能を有するＣＣＤ等の撮像素子である。１０４は撮像素子１０３から得られるアナログ信号をデジタル信号へと変化させるＡ／Ｄ変換部である。１０５はＡ／Ｄ変換部１０３の出力を基に生成された画像データから被写体の顔の領域、形状、位置等の顔情報を検出する顔検出部である。１０６はフォーカス位置を決定するＡＦ（ＡｕｔｏＦｏｃｕｓ、以後ＡＦと呼ぶ）処理部、１０７は被写体輝度値Ｂｖを求め、Ｂｖをもとにして不図示のプログラム線図によりＡｖ（絞り）、Ｔｖ（シャッタースピード）、Ｓｖ（感度）を決定して露出を自動的に制御するＡＥ（ＡｕｔｏＥｘｐｏｓｕｒｅ、以後ＡＥと呼ぶ）処理部である。ここで
Ｂｖ＝Ａｖ＋Ｔｖ−Ｓｖ
である。

１０８はフラッシュ発光装置であるフラッシュ部。ＣＰＵ１０１はＡＥ処理部１０７で求められたＢｖ、Ａｖ、Ｔｖ、Ｓｖを入力として、フラッシュ部１０８においてフラッシュ発光を行うか必要があるか否かを決定する。フラッシュ発光を行う必要があればフラッシュ部１０８にてプリ発光を行う。次に、ＣＰＵ１０１はプリ発光による被写体の反射光データから本発光量を演算し、フラッシュ部１０８に信号を送り本発光を行う。また、高反射物体が撮影画面に含まれる場合は、高反射物体からの光の反射が強くフラッシュ発光を行う撮影では好適な画像を得ることができないため、フラッシュ発光を禁止する。

なお、ここでの高反射物体というのは、あくまでプリ発光によりフラッシュ撮影に支障をきたすレベルと判断された物体のことであり、例えば鏡のような一般的に反射率の高い物体が撮像画面内に含まれていても、物体自体が小さくプリ発光によるフラッシュ撮影可否の判断の結果がフラッシュ撮影可能ということであればフラッシュ撮影を行えるというのは言うまでもない。さらに、ここでいうフラッシュ撮影に支障をきたすような場合とは、感度や露出を調整することによって発光量を調整したとしてもフラッシュ撮影に適さないようなシーンのことである。

１０９は撮影された画像を処理する画像処理部。１１０は画像処理部１０９で処理された画像データをＪＰＥＧ等の他のフォーマットへ変換するフォーマット変換部、１１１はフォーマット変換部１１０で変換された画像データを記録する記録部である。

図２は本実施形態における処理の流れを説明する為のフローチャートである。以下このフローチャートにそって動作の説明を行う。

ステップＳ２０１で使用者によってシャッターボタン（ＳＷ１）が半押しされると、ステップＳ２０２においてＡＦ処理部１０６とＡＥ処理部１０７が撮像画面全体を対象にして公知のＡＦ、ＡＥ処理を行い、ステップＳ２０３で第１の画像データを得て、得られた第１の画像データを不図示のバッファメモリに一時記録する。公知のＡＦ、ＡＥ処理としては、例えば、予め撮影画面上に設定された複数の焦点検出領域の中から距離情報やコントラスト情報に基づいて一つあるいは複数の焦点検出領域を選択し、選択された焦点検出領域に存在する被写体が被写界深度に収まるようにフォーカスレンズを駆動し、また、この選択された焦点検出領域に対応する測光領域から検出された輝度値の重み付けを大きくして、撮影対象の輝度値を演算する方法がある。

ステップＳ２０４にて、顔検出部１０５はステップＳ２０３で一時記録された第１の画像データに対して上述した顔検出を行い、顔領域および、顔位置や反射データ等の顔情報を得る。

ステップＳ２０４にて顔検出を行うことができれば、ステップＳ２０５にてステップＳ２０４で得られた顔情報を基に、ＡＦ処理部１０６とＡＥ処理部１０７は、第１の画像データにおける顔領域を中心とした画像領域に対してＡＦ、ＡＥ処理を行い、ステップＳ２０６にて第２の画像データ（図３−ａ）を得て、得られた第２の画像データを不図示のバッファメモリに一時記録する。なお、本実施形態が顔領域を中心にＡＦ、ＡＥ処理を行っているのに対して、従来例では撮像画面全体を対象にしてＡＦ、ＡＥ処理を行っている（図３−ｄ）。具体的には検出された顔領域に焦点が合うように撮影光学系１０２内のフォーカスレンズを駆動し、顔領域の輝度値をそのまま被写体輝度値とみなして、顔領域が適正露出となるよう制御を行う。

ステップＳ２０７で、使用者によってシャッターボタン（ＳＷ２）が全押しされるまでステップＳ２０４からステップＳ２０６の処理を繰り返す。

ステップＳ２０７にて、使用者によってシャッターボタン（ＳＷ２）が全押しされると、ステップＳ２０８において、ＣＰＵ１０１が撮影画面の状況によってフラッシュ撮影を行うか否かの判断を行う。

ステップＳ２０８において、ＣＰＵ１０１がフラッシュ撮影を行う必要ありと判段すると、ステップＳ２０９でフラッシュ部１０８はプリ発光を行う。

また、ステップＳ２０８にてＣＰＵ１０１がフラッシュ撮影の必要がないと判断すると、ステップＳ２１４にてフラッシュを発光させずに本撮影を行い、記録部１１１に記録する。

ステップＳ２０９にてプリ発光を行うと、ステップＳ２１０にて、プリ発光の発光中に反射光データに基づいた第３の画像データ（図３−ｂ）を得る。なお、本実施形態では、顔領域を中心にＡＦ、ＡＥ処理を行っている（図３−ｂ）のに対して、従来例では撮像画面全体を対象にしてＡＦ、ＡＥ処理を行っている（図３−ｅ）。

ステップＳ２１１にて、ステップＳ２０９のプリ発光による反射光データの分布により高反射物体が撮影画面内に含まれていないと判明したら、ステップＳ２１２で、ステップＳ２１０にて得た第３の画像データに対して、顔検出部１０５が顔検出を行い、顔領域および、顔位置や反射データ等の顔情報を得る。

また、ステップＳ２１１にて、ステップＳ２０９のプリ発光による反射光データの分布により高反射物体が撮影画面内に含まれていると判明したら、ステップＳ２１４へ進みフラッシュ発光を行わずに本撮影を行い、記録部１１１に記録する。

ステップＳ２１３では、ＣＰＵ１０１がステップＳ２０６で得られる第２の画像データ（図３−ａ）の顔領域とステップＳ２１０で得られた第３の画像データ（図３−ｂ）の顔領域との輝度の比較演算（差分演算）を行い、その結果に基づき本発光量を算出し、ステップＳ２１４にてフラッシュ発光を用いた本撮影を行う。

ステップＳ２１５において、ＡＦ処理部１０６とＡＥ処理部１０７は撮像画面全体を対象にしてＡＦ、ＡＥ処理を行い、ステップＳ２１６にて使用者によってシャッターボタン（ＳＷ２）が全押しされるまで、ステップＳ２１５の処理を繰り返す。

従来のＡＦ、ＡＥ処理では予め設定されている焦点検出領域の領域に距離の近い物体やコントラストの高い物体が存在した場合、ＡＦ処理やＡＥ処理がその物体に引っ張られてしまうという問題点が生じる可能性があったが、撮像画面から画像処理にて顔領域を検出することにより、人物よりも近距離に物体が存在したとしても被写体の顔を中心としたＡＦ処理やＡＥ処理を行うことが可能となる。

例えば図３に示すように、顔よりも手前側に白い箱を配置した被写体を撮影した場合、従来のＡＦ，ＡＥ処理では白い箱の位置を基準にフォーカス制御、露出制御、および調光制御が行われてしまい、画面全体の輝度値がアンダーになってしまう（図３−ｆ）ことがあったが、顔領域の検出を行うことにより人物以外の被写体に露出が引っ張られることがなくなるため、常に人物の顔が最適となるよう露出制御、調光制御を行う（図３−ａ）ことが可能となる。

図２のフローに戻り、ステップＳ２０４にて、例えば被写体が暗いような場合に顔検出を行うことができなければ、ステップＳ２１５にてＡＦ処理部１０６とＡＥ処理部１０７が撮像画面全体を対象にして上述した公知のＡＦ、ＡＥ処理を行う。

ステップＳ２１６にて、シャッターボタン（ＳＷ２）が全押しされると、ステップＳ２１７へ進みＣＰＵ１０１が撮影画面の状況によってフラッシュ撮影を行うか否かの判断を行う。

ステップＳ２１７において、ＣＰＵ１０１がフラッシュ撮影を行う必要ありと判段すると、ステップＳ２１８でフラッシュ部１０８はプリ発光を行う。

ステップＳ２１７において、ＣＰＵ１０１がフラッシュ撮影の必要がないと判断すると、ステップＳ２２４にてフラッシュを発光させずに本撮影を行い、記録部１１１に記録する。

ステップＳ２１８にてプリ発光を行うと、ステップＳ２１９にて、プリ発光の発光中に反射光データに基づいた第３の画像データを得る。

ステップＳ２２０では、ステップＳ２１８のプリ発光による反射光データの分布により、高反射物体が撮影画面内に含まれていないと判明したら、ステップＳ２２１でステップＳ２１９にて得た第３の画像データに対して、顔検出部１０５が顔検出を行い、顔領域および、顔位置や反射データなどの顔情報を得る。

また、ステップＳ２２０にて高反射物体が撮影画面内に含まれていると判明したら、ステップＳ２２４にてフラッシュ発光を行わずに本撮影を行い、記録部１１１に記録する。

ステップＳ２２２では、ステップＳ２２１で第３の画像データから検出された顔領域の位置情報を求め、第１の画像データに対しても同じ位置の領域を顔領域として設定する。

ステップＳ２２３では、ＣＰＵ１０１がステップＳ２０３で得られた第１の画像データの顔領域とステップＳ２１９で得られた第３の画像データの顔領域との輝度の比較演算（差分演算）を行い、その結果に基づき本発光量を算出し、ステップＳ２２４にてフラッシュ発光を用いた本撮影を行う。

なお、本実施形態での具体的な輝度比較演算の方法は、図４のように第２の画像データ（図４−ａ）と第３の画像データ（図４−ｂ）をそれぞれ任意のブロック（図中では５×７ブロック）に分割し、設定された顔領域を囲む矩形枠内の輝度を比較して演算を行うのに対して、従来例では撮像画面全体を対象にして輝度の比較演算を行っている（図４−ｄ、ｅ）。

比較演算後の輝度データ（図４−ｃ）より適正な輝度となるように本発光量を算出する。算出された本発光量にてフラッシュ発光撮影することで得られた画像データ（図３−ｃ）が本撮影画像である。なお、従来例では、撮像画面全体を輝度比較演算の対象とし、比較演算後の輝度データ（図４−ｆ）より適正な輝度となるように本発光量を算出する為、フラッシュ撮影の結果得られる画像データ（図３−ｆ）は被写体が適正な輝度とならないことがある。

以上のように本実施形態では、顔領域を中心として本発光量を算出しているため、被写体の顔以外の反射物の影響を受けずにフラッシュ撮影を行うことができる。また、その結果、顔領域が適正な輝度となるような撮影を行うことが可能となる。

さらに、高反射物体が撮影画面中に存在し、プリ発光中の被写体像から顔検出ができない場合でも、プリ発光前に得られた画像データを用いて顔領域を中心としたＡＦ，ＡＥ処理を行っているため、顔領域を最適とすることに重みを置いたＡＥ処理を行うことができる。

（第２の実施形態）
本実施例の動作を図５のフローチャート図を用いて説明する。第１の実施形態と同じ処理を行うステップには、図２と同じステップ番号が割り当てられる。

本実施形態では、ステップＳ２１２で検出される顔領域に対して、重み付け係数の設定処理（ステップＳ３０１）を行うところと、ステップＳ２２１で検出される顔領域に対して、重み付け係数の設定処理（ステップＳ３０２）を行うところが、図２と異なっておりこの処理についての説明を行う。

ここでは上記実施形態と同様に、ステップＳ２１２で、ステップＳ２１０で得た第３の画像データに対して、顔検出部１０５が顔検出を行い、顔領域および、顔位置や反射データ等の顔情報を得て、ステップＳ３０１に進む。

ステップＳ３０１では、ＣＰＵ１０１が撮影画面内の状態に応じて顔画像領域の輝度に関しての重み付け処理を行う。

ステップＳ２１３にて、ＣＰＵ１０１がステップＳ２０６で得られた第２の画像データとステップＳ３０１の重み付け処理によって得られた画像データとの輝度の比較演算を行い、その比較演算の結果に基づき本発光量を算出し、ステップＳ２１４にて本撮影を行う。

また、ステップＳ２２１では、ステップＳ２１９で得た第３の画像データに対して、顔検出部１０５が顔検出を行い、顔領域および、顔位置や反射データ等の顔情報を得て、ステップＳ３０２に進む。

ステップＳ３０２では、ＣＰＵ１０１が撮影画面内の状態に応じて顔画像領域の輝度に関しての重み付け処理を行う。具体的な重み付けの様子を従来例（図６）と本実施形態（図７）とで比較しながら説明する。

図６においては、従来例の撮像画像全体を重み付けの対象とした重み付けの様子を示している。

図６（ａ）はステップＳ２０６で得られる第２の画像データであり、図６（ｂ）はステップＳ２１０で得られる第３の画像データである。図６（ｃ）は第３の画像データと第２の画像データとの差分により求まる差分画像データであり、その差分画像データに対して図６（ｄ）で表されるような画像中心に重みを置いた重み付け処理を行っている。

従来例に対して、図７においては検出された顔領域を重み付けの対象とした重み付けの様子を示している。

本実施形態では、図７（ａ）に示す第２の画像データと図７（ｂ）に示す第３の画像データは上記従来例と同様にして得られた画像データである。次に、両画像データに対して、顔領域の検出を行う。そして、上記実施例と同様に差分画像データである図７（ｃ）を求める。次に、求められた差分画像データに対して、図７（ｄ）で表される検出された顔領域の重み付けを大きくした重み付け処理を行っている。

そしてステップＳ２２３にて、ＣＰＵ１０１がステップＳ２０３で得られた第１の画像データとステップＳ３０２の重み付け処理によって得られた画像データとの輝度の比較演算を行い、その比較演算の結果に基づき本発光量を算出し、ステップＳ２１４にて本撮影を行う。

以上のように本実施形態では、顔領域に関する重み付けを撮影画面の状態に応じて行っているので、被写体の顔以外の影響などを受けずに顔領域を適正な輝度となるように撮影可能である。

第１の実施形態における撮像装置のブロック図である。第１の実施形態における処理のフローチャートを示す図である。本発明と従来法の処理を示す図。本発明と従来法の輝度演算処理を示す図。第２の実施形態における処理のフローチャートを示す図である。撮像画像全体を重み付けの対象にした一例の図。顔領域を重み付けの対象にした一例の図。

符号の説明

１０１ＣＰＵ
１０２撮像光学系
１０３撮像素子
１０４Ａ／Ｄ変換部
１０５顔検出部
１０６ＡＦ処理部
１０７ＡＥ処理部
１０８フラッシュ部
１０９画像処理部
１１０フォーマット変換部
１１１記録部

Claims

メイン発光前にプリ発光を行い、メイン発光にともない本撮影を行う撮像装置において、
撮像画像信号を取得するための撮像画像信号取得手段と、
被写体の顔領域を検出する顔領域検出手段と、
プリ発光が行われる前に取得した第１の撮像画像信号と、プリ発光が行われている時に取得した第２の撮像画像信号の輝度を比較し、メイン発光時の発光量を決定する発光量決定手段とを有し、
前記第１の撮像画像信号から顔領域の検出ができなかった場合、
前記発光量決定手段は、前記第２の撮像画像信号における顔領域と、該顔領域に対応する前記第１の撮像画像信号における領域との輝度を比較して演算し、メイン発光の発光量を決定することを特徴とする撮像装置。
前記発光量決定手段は、前記第２の撮像画像信号における顔領域と、該顔領域に対応する前記第１の撮像画像信号における領域に対して、それ以外の領域に比べ大きな重み付けを設定してから、該第２の撮像画像信号と該第１の撮像画像信号の輝度を比較して演算し、メイン発光の発光量を決定することを特徴とする請求項１に記載の撮像装置。
プリ発光を行うことによりフラッシュ撮影に支障をきたすような物体がシーンに存在する場合は、プリ発光が行われる前に設定されているカメラパラメータに基づき撮影を行うことを特徴とする請求項１に記載の撮像装置。
メイン発光前にプリ発光を行い、メイン発光にともない本撮影を行う撮像装置の制御方法において、
撮像画像信号を取得するための撮像画像信号取得工程と、
被写体の顔領域を検出する顔領域検出工程と、
プリ発光が行われる前に取得した第１の撮像画像信号と、プリ発光が行われている時に取得した第２の撮像画像信号の輝度を比較し、メイン発光時の発光量を決定する発光量決定工程とを有し、
前記第１の撮像画像信号から顔領域の検出ができなかった場合、
前記発光量決定工程は、前記第２の撮像画像信号における顔領域と、該顔領域に対応する前記第１の撮像画像信号における領域との輝度を比較して演算し、メイン発光の発光量を決定することを特徴とする撮像装置の制御方法。
前記発光量決定工程は、前記第２の撮像画像信号における顔領域と、該顔領域に対応する前記第１の撮像画像信号における領域に対して、それ以外の領域に比べ大きな重み付けを設定してから、該第２の撮像画像信号と該第１の撮像画像信号の輝度を比較して演算し、メイン発光の発光量を決定することを特徴とする請求項４に記載の撮像装置の制御方法。
プリ発光を行うことによりフラッシュ撮影に支障をきたすような物体がシーンに存在する場合は、プリ発光が行われる前に設定されているカメラパラメータに基づき撮影を行うことを特徴とする請求項４に記載の撮像装置の制御方法。