JP2008187317A - 撮影装置およびその制御方法並びにプログラム - Google Patents

Abstract

【課題】撮影装置において、人物の肌の色に拘わらず顔の明るさを適切なものとする。
【解決手段】顔検出処理部２４が撮影により取得された画像を対象として、顔の検出処理を実行する。反射率算出部２５が、画像の取得が開始されてからの所定の時点における顔検出処理部２４による顔の検出結果を取得し、同一被写体についての発光を伴う画像および発光を伴わない画像を取得し、取得した検出結果が顔を含む旨のものである場合、前記発光検出結果を参照して、発光を伴う画像および発光を伴わない画像にそれぞれ含まれる顔の明るさの相違および顔の大きさに基づいて、顔の反射率を算出する。
【選択図】図４

Description

本発明は撮影により画像を取得する撮影装置および撮影装置の制御方法並びに制御方法をコンピュータに実行させるためのプログラムに関するものである。

デジタルカメラにより人物を被写体として撮影を行う場合に、人物の顔を好ましい画質とするための様々な手法が提案されている。例えば、撮影しようとする画像に人物が含まれる場合に人物に適した露光条件を設定する手法（特許文献１参照）、顔の測光結果と画像の全体の測光結果とを用いて露出を制御する手法（特許文献２参照）、撮影しようとする画像における顔の検出結果に基づいて、赤目軽減発光の制御を行う手法（特許文献３参照）等が提案されている。また、フラッシュ非発光時の画像およびフラッシュを予備発光させたときの画像を取得し、２つの画像から顔領域を検出し、２つの顔領域の輝度の差に基づいてフラッシュの発光量を制御する手法が提案されている（特許文献４参照）。
特開２００１−２１５４０４号公報 特開２００３−１０７５５５号公報 特開２００３−１０７５６７号公報 特開２００６−７４１６４号公報

しかしながら、上記特許文献４に記載された手法においては、顔の明るさをあらかじめ定められた目標とされる明るさとなるようにフラッシュの発光量を一律に制御しているため、取得される画像に含まれる顔の明るさが人物の肌の色に応じて不自然なものとなってしまう場合がある。例えば、目標とされる明るさが明るすぎると肌が白い人の場合には画像の肌の部分が白とびしてしまう場合があるが、肌が黒い人の場合には顔の細部まで明りょうな好ましい画像を取得できる。一方、目標とされる明るさが暗すぎると肌が白い人の場合には肌の色が暗めの好ましい画像を取得できるが、肌が黒い人の場合には顔の細部が不明瞭となってしまう場合がある。

本発明は上記事情に鑑みなされたものであり、人物の肌の色に拘わらず顔の明るさを適切なものとすることを目的とする。

本発明による撮影装置は、撮影により被写体を表す画像を取得する撮影手段と、
該撮影手段により取得された画像を対象として顔の検出処理を実行する顔検出手段と、
前記撮影手段による前記画像の取得が開始されてからの所定の時点における前記顔検出手段による前記顔の検出結果を取得し、同一被写体についての発光を伴う画像および発光を伴わない画像を取得し、前記取得した検出結果が前記顔を含む旨のものである場合、前記発光を伴う画像および前記発光を伴わない画像にそれぞれ含まれる顔の明るさの相違および該顔の大きさに基づいて、前記顔の反射率を算出する反射率算出手段とを備えたことを特徴とするものである。

「撮影手段による画像の取得が開始されてからの所定の時点」とは、撮影手段が撮影を開始してから、本発明による反射率の算出を行うまでの間における任意の時点であり、例えば、レリーズボタンを半押したとき、全押したとき、後述するように発光を伴う画像を取得したとき、および発光を伴わない画像を取得したとき等を所定の時点とすることができる。

なお、発光を伴う画像および発光を伴わない画像は、フラッシュを発光した撮影およびフラッシュを発光しない撮影により取得するのみならず、ＡＦ補助光やタリーランプを発光した撮影および発光しない撮影を撮影手段に行わせることによっても取得することができる。

なお、本発明による撮影装置においては、フラッシュを発光する発光手段と、
前記顔検出手段から出力される前記所定の時点における検出結果を参照して前記フラッシュの発光量を制御する発光量制御手段であって、前記所定の時点における検出結果が前記顔を含む旨のものである場合には、前記反射率から前記顔の目標輝度を算出し、前記検出結果とともに前記目標輝度をも参照して前記フラッシュの発光量を制御する発光量制御手段とをさらに備えるものとしてもよい。

この場合、前記撮影手段を、前記フラッシュを発光した撮影および該フラッシュを発光しない撮影を行って、前記発光を伴う画像および前記発光を伴わない画像を取得する手段としてもよい。

なお、発光手段は、内蔵フラッシュでも、脱着可能な外付フラッシュでもよい。また、反射率算出手段、顔検出手段、発光量制御手段は、それぞれ独立した反射率算出回路、顔検出回路、フラッシュ制御回路として実装してもよいし、反射率算出プログラム、顔検出プログラム、フラッシュ制御プログラムとしてメモリに記憶せしめ、プログラムに従った処理をＣＰＵに実行させることにより実現してもよい。

本発明による撮影装置の制御方法は、撮影により被写体を表す画像を取得する撮影手段と、
該撮影手段により取得された画像を対象として顔の検出処理を実行する顔検出手段とを備えた撮影装置の制御方法であって、
前記撮影手段による前記画像の取得が開始されてからの所定の時点における前記顔検出手段による前記顔の検出結果を取得し、
同一被写体についての発光を伴う画像および発光を伴わない画像を取得し、
前記取得した検出結果が前記顔を含む旨のものである場合、前記発光を伴う画像および前記発光を伴わない画像にそれぞれ含まれる顔の明るさの相違および該顔の大きさに基づいて、前記顔の反射率を算出することを特徴とするものである。

なお、本発明による撮影装置の制御方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、撮影手段による画像の取得が開始されてからの所定の時点における顔の検出結果が取得され、同一被写体についての発光を伴う画像および発光を伴わない画像が取得され、取得した検出結果が顔を含む旨のものである場合、発光を伴う画像および発光を伴わない画像にそれぞれ含まれる顔領域の明るさの相違、および顔領域の大きさに基づいて、顔領域の反射率が算出される。ここで、顔領域の反射率は肌の色に応じて異なるものである。すなわち、肌の色が白ければ反射率は高くなり、肌の色が黒ければ反射率は低くなる。したがって、本発明によれば顔領域の反射率から、顔領域の肌の色を推定することができる。

また、所定の時点における検出結果を参照してフラッシュの発光量を制御するに際し、所定の時点における検出結果が顔を含むものである場合には、反射率から顔の目標輝度を算出し、検出結果とともに目標輝度をも参照してフラッシュの発光量を設定することにより、反射率すなわち肌の色に応じてフラッシュの発光量を制御することができる。例えば、肌が黒い人を撮影する場合には、顔の細部まで明りょうとなるような明るさを有する画像を取得できるように発光量を大きくし、肌が白い人を撮影する場合には肌が暗めの好ましい画像を取得できるように発光量を小さくすることができる。したがって、設定した発光量によりフラッシュを発光して撮影を行うことにより、肌の色に拘わらず顔が適切な明るさを有する画像を取得することができる。

以下、本発明の実施形態としてフラッシュ撮影機能を備えた一眼レフのデジタルカメラと、そのデジタルカメラのフラッシュの発光量の制御方法を例示して説明する。

図１から図３は、本発明の一実施形態におけるデジタルカメラ１の外観を示す図である。図１に示すように、このデジタルカメラ１の上部には、シャッタレリーズボタン２、撮影モードの設定に利用されるモードダイヤル３、内蔵フラッシュ４および付属品の取付口であるホットシュー５が備えられている。

シャッタレリーズボタン２は、２段階の押下により２種類の動作を指示できる構造となっている。例えば、自動露出調整機能（ＡＥ：Auto Exposure）、自動焦点調節機能（ＡＦ：Auto Focus）を利用した撮影では、デジタルカメラ１は、シャッタレリーズボタン２が軽く押下（半押しともいう）されたときに、露出調整、焦点合わせ等の撮影準備を行う。その状態で、シャッタレリーズボタン２が強く押下（全押しともいう）されると、デジタルカメラ１は露光を開始し、露光により得られた１画面分の画像データをメモリカードに記録する。

内蔵フラッシュ４は、脇にあるフラッシュポップアップボタン６を押すことにより、図２に示すようにカメラ上部方向に開く（以下、ポップアップと称する）。また、一部の撮影モードでは、自動的にポップアップすることもある。ポップアップ状態の内蔵フラッシュ４は、シャッタレリーズボタン２の２段階目の押下操作と連動して２回発光する。１回目の発光は被写体からの反射光量を測定するための予備発光（プリ発光）であり、通常の発光に比べれば発光量は微小である。予備発光には反射光量の測定のほか、赤目を予防する目的もある。２回目の発光は被写体に対して撮影に十分な光を供給するための（適切な露光量を得るための）本発光であり、本発光の発光量が適正であれば、適当な明るさの画像を得ることができる。

内蔵フラッシュ４の動作は、シャッタレリーズボタン２の操作のみならず、モードダイヤル３により設定された撮影モードにも依存する。撮影モードとしては、撮影に係る全設定をカメラが自動で行う「ＡＵＴＯ」、撮影に係る全設定をユーザが手動で行う「マニュアル」のほか、「プログラムオート」、「シャッタ優先オート」、「絞り優先オート」、「ブレ軽減」、「ナチュラルフォト」、「人物」、「風景」、「夜景」等、撮影シーンごとのモードが用意されている。「ＡＵＴＯ」モードに設定されたデジタルカメラ１は、フラッシュ撮影が必要と判断すれば、自動的に内蔵フラッシュ４をポップアップし、シャッタレリーズボタン２の操作と連動してフラッシュを発光させる。一方、「ナチュラルフォト」はフラッシュレス撮影を行うモードであるため、このモードに設定されたデジタルカメラ１では、シャッタレリーズボタン２を操作しても内蔵フラッシュ４は動作しない。他のモードについても、それぞれ、そのモードの目的に適う内蔵フラッシュ４の動作が定められている。

なお、このデジタルカメラ１は、図３に示すようにホットシュー５に外付フラッシュ７を取り付けて使用することもできる。外付フラッシュ７は、ホットシュー５に取付けられることで機械的・電気的にデジタルカメラ１に接続され、これにより、内蔵フラッシュ４と同様、モードダイヤル３によるモード設定に応じて、シャッタレリーズボタン２の２段階目の押下操作と連動した発光動作を行うようになる。以下、図１および図２に例示した形態を中心に説明するが、本発明はフラッシュが内蔵か外付けかによらず適用可能な発明である。

続いて、図４を参照して、デジタルカメラ１の内部構成について概要を説明する。図４に示すように、デジタルカメラ１は、レンズ１２、レンズ駆動部１６、絞り１３、絞り駆動部１７、ＣＣＤ１４およびタイミングジェネレータ（ＴＧ）１８からなる撮像部を備える。

レンズ１２は、被写体にピントを合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成される。レンズ駆動部１６はステッピングモータ等小型のモータで、ＣＣＤ１４から各機能別レンズのまでの距離が目的に適った距離となるように各機能別レンズの位置を調整する。

絞り１３は複数の絞り羽根からなる。絞り駆動部１７は、ステッピングモータ等小型のモータで、絞りの開口サイズが目的に適ったサイズになるように絞り羽根の位置を調整する。

ＣＣＤ１４は原色カラーフィルタを伴う５００〜１２００万画素のＣＣＤで、タイミングジェネレータ１８からの指示信号に応じて蓄積された電荷を放出する。タイミングジェネレータ１８は、ＣＣＤ１４に所望の時間のみ電荷が蓄積されるようにＣＣＤ１４に対して信号を送り、これによりシャッタ速度を調整する。

また、デジタルカメラ１は、ＣＣＤ１４の出力信号をデジタル信号に変換するＡ／Ｄ変換部１５と、Ａ／Ｄ変換部１５が出力した画像データをシステムバス３５を介して他の処理部に転送する画像入力制御部２３と、画像入力制御部２３から転送された画像データを一時記憶するＳＤＲＡＭ２２を備える。ＳＤＲＡＭ２２に記憶される画像データはＲＡＷデータである。

また、デジタルカメラ１は、フラッシュ１１と、フラッシュ１１の発光タイミングや発光量を制御するフラッシュ制御部１９と、レンズ駆動部１６にレンズの移動を指示して焦点合わせを行う焦点調節部２０と、絞り値とシャッタ速度とを決定し、絞り駆動部１７とタイミングジェネレータ１８とに指示信号を送出する露出調整部２１と、ＳＤＲＡＭ２２に記憶されている画像データを対象として顔の検出処理を実行する顔検出処理部２４と、画像データにより表される画像に含まれる顔の反射率を算出する反射率算出部２５とを備える。

フラッシュ制御部１９、焦点調節部２０および露出調整部２１は、ＳＤＲＡＭ２２に記憶されている画像データのほか、顔検出処理部２４が出力する検出結果を参照して処理を行うこともある。また、フラッシュ制御部１９は反射率算出部２５が算出した反射率を参照して処理を行うこともある。

なお、顔の検出結果を参照して露出調整を行う方法としては、例えば特開２００１−２１５４０４号公報、特開２００３−１０７５５５号公報等に開示されている方法を用いることができる。また、顔の検出結果を参照して焦点調節を行う方法としては、例えば特開２００６−１４５６２９号公報等に開示されている方法を用いることができる。フラッシュ制御部１９、焦点調節部２０および露出調整部２１が、顔検出処理部２４から出力される検出結果および反射率算出部２５から出力される反射率を参照するか否かは、撮影モードその他の設定値によって決まる。

なお、本明細書において、顔検出処理部２４が出力する「検出結果」とは、顔を検出できなかった場合には検出できなかったという結果、顔を検出できた場合には顔を検出できたということと検出した顔の情報（位置、大きさ等）を意味するものとする。したがって、顔を検出できなかった場合は検出結果は顔情報を含まないものとなり、顔を検出できた場合は検出結果は顔情報を含むものとなる。

デジタルカメラ１は、この他、ＳＤＲＡＭ２２に記憶されている画像データに対して画像処理を施す画像処理部２６を備える。画像処理部２６は、画像を自然な色合い、明るさにするための色階調補正や明るさ補正、また画像データが赤目を含むものであるときに赤目を黒目に修正する処理等、画像の見栄えを良くするための各種仕上げ処理を行った後、処理済画像データを再度ＳＤＲＡＭ２２に格納する。

また、デジタルカメラ１は、ＳＤＲＡＭ２２に記憶されている画像データの液晶モニタ（ＬＣＤ：Liquid Crystal Display）２８への出力を制御する表示制御部２７を備える。表示制御部２７は、ＳＤＲＡＭ２２に記憶されている画像データの画素数を、表示に適した大きさとなるように間引きしてから液晶モニタ２８に出力する。

また、デジタルカメラ１は、ＳＤＲＡＭ２２に記憶されている画像データのメモリカード３０への書込み、およびメモリカード３０に記録されている画像データのＳＤＲＡＭ２２へのロードを制御する記録読出制御部２９を備える。記録読出制御部２９は、ユーザの設定に応じてＲＡＷデータをそのまま、もしくは圧縮符号化によりＪＰＥＧデータに変換してからメモリカード３０に記録する。ＪＰＥＧデータをロードするときは、その逆の変換を行ってからデータをＳＤＲＡＭ２２にロードする。

デジタルカメラ１は、この他、ＣＰＵ（Central Processor Unit）３２、操作／制御プログラムが格納されたＲＡＭ（Random Access Memory）３３、各種設定値が記憶されているＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）３４からなる全体制御部３１を備える。全体制御部３１は、モードダイヤルによる撮影モードの設定をはじめユーザが行う各種設定操作を検出し、設定された内容をＥＥＰＲＯＭ３４に記憶せしめる。そして、その設定操作が行われたとき、もしくは撮影操作が行われたときに、ＥＥＰＲＯＭ３４に記憶された設定値にしたがって、前述したフラッシュ制御部１９、焦点調節部２０、露出調整部２１、画像入力制御部２３、顔検出処理部２４、反射率算出部２５、画像処理部２６、表示制御部２７、および記録読出制御部２９に対し、システムバス３５を介して、実行すべき処理や、その処理の実行タイミングを指示する信号を送出する。以下、フラッシュ制御部１９によるフラッシュ発光量の制御について、さらに説明する。

図５は、顔の検出結果を利用した露出調整機能、焦点調節機能、発光制御機能が有効な場合のデジタルカメラの処理を、時間の流れとともに図の左から右に並べた図であり、本実施形態によるデジタルカメラ１におけるシャッタレリーズボタンの操作とデジタルカメラ１の動作との関係を示したものである。

図５に示すように、デジタルカメラがボタン操作待ち状態でいるときに、シャッタレリーズボタン２の第１段階目の押下操作（半押し）が行われると、デジタルカメラ１はＡＥ／ＡＦ処理を行い、それらの処理が終了すると再びボタン操作待ち状態に戻る。その状態で、シャッタレリーズボタン２の第２段階目の押下操作（全押し）が行われると、フラッシュを発光して露光を行い、これにより取得した画像をメモリカード３０に記録する。デジタルカメラ１は、画像の記録処理が終了すると再びボタン操作待ち状態に戻る。なお、以上に説明した動作は、第１段階目の押下操作が行われた後しばらく時間をおいてから第２段階目の押下操作が行われた場合の動作であるが、シャッタレリーズボタン２が一気に第２段階目まで押下された場合には、デジタルカメラ１はＡＥ／ＡＦ処理後、直ちにフラッシュを発光して露光を行う。

図５に示すように、デジタルカメラ１は、ＡＥ／ＡＦ処理を行う以前に顔検出処理を繰り返し行っており、その検出結果をＡＥ／ＡＦ処理に利用する。また、デジタルカメラ１は、ＡＥ／ＡＦ処理終了後のボタン操作待ち状態のときにも顔検出処理を繰り返し行っている。そして、ＡＥ／ＡＦ処理以前およびＡＥ／ＡＦ処理後に実行された顔検出処理の検出結果を利用してフラッシュの発光量を制御する。

本実施形態においては、図５に示すように、ＡＥ／ＡＦ処理前に取得された顔検出結果のうちシャッタレリーズボタン２の１段階目の押下操作が行われる直前の顔検出処理で得られた検出結果（以下第１の検出結果とする）、およびＡＥ／ＡＦ処理後に取得された顔検出結果のうちシャッタレリーズボタン２の２段階目の押下操作が行われる直前の顔検出処理で得られた検出結果（以下第２の検出結果とする）を参照する。

ここで、シャッタレリーズボタン２が第１段階押下された時点で撮影範囲に顔があった場合、そのことのみをもって直ちにユーザは顔以外の被写体を撮影しようとしていたと判断することもできるが、その顔がユーザの意図に反して撮影範囲に含まれていた顔という可能性も少なからずある。ユーザが真に顔を撮影しようとしていたのであれば、ＡＥ／ＡＦ処理以前に得られた検出結果のみならず、ＡＥ／ＡＦ処理後に得られた検出結果にも顔が含まれるはずなので、ＡＥ／ＡＦ処理後に得られた第２の検出結果に顔情報が含まれているか否かを確認すれば、ＡＥ／ＡＦ処理以前に検出された顔が、ユーザにとっての撮影対象であるか否かを判断することができる。

そこで、本実施形態においては、第１の検出結果が顔情報を含むものである場合には、さらに第２の検出結果も参照し、第２の検出結果が顔情報を含むものである場合、第１の検出結果に含まれる顔情報は有効であるとしてそれに応じたフラッシュ発光量の制御を行う。一方、第２の検出結果が顔情報を含まないものである場合、第１の検出結果に含まれる顔情報は無効であるとしてそれに応じたフラッシュ発光量の制御を行う。さらに、第１の検出結果が顔情報を含まないものである場合には、第２の検出結果に拘わらずユーザは顔以外の被写体を撮影しようとしていたと判断できるため、第１の検出結果が顔情報を含まないものである場合には、第２の検出結果を参照せず、顔情報は無効であるとしてそれに応じたフラッシュ発光量の制御を行う。

次いで、本実施形態において行われる処理について説明する。図６は本実施形態において行われる処理を示すフローチャートである。以下、このフローチャートに示される動作を、図４に示したデジタルカメラ１の構成と関連付けて説明する。

全体制御部３１は、ＥＥＰＲＯＭ３４の設定値のうち顔検出処理の要否を示す値が「要」を示す値に設定されていれば、顔検出処理部２４に対し、顔検出処理を実行して検出結果をフラッシュ制御部１９、焦点調節部２０、露出調整部２１および反射率算出部２５に供給するよう指示する信号を送出する。この指示信号を受けて、顔検出処理部２４は顔検出処理を開始する（ステップＳＴ１）。顔検出処理は、シャッタレリーズボタン２の押下操作が検出されるまで繰り返し実行される。

全体制御部３１は、シャッタレリーズボタン２の第１の押下操作を検出すると（ステップＳＴ２：肯定）、フラッシュ制御部１９、焦点調節部２０および露出調整部２１に押下操作が検出されたことを通知する通知信号を送出する。通知信号を受けて、露出調整部２１がＡＥ処理を、焦点調節部２０がＡＦ処理を行う（ＡＥ／ＡＦ処理、ステップＳＴ３）。なお、フラッシュ制御部１９および反射率算出部２５は、シャッタレリーズボタン２の第１の押下操作の直前に供給された検出結果を第１の検出結果として保持する。ステップＳＴ３に続いて、顔検出処理部２４は顔検出処理を引き続き行う（ステップＳＴ４）。

そして、全体制御部３１が、シャッタレリーズボタン２の第２段階目の押下操作を検出すると（ステップＳＴ５：肯定）、フラッシュ制御部１９および反射率算出部２５が、非発光で撮影された画像、すなわち、ＳＤＲＡＭ２２に記憶されている最新の画像データを取得する（ステップＳＴ６）。なお、フラッシュ制御部１９および反射率算出部２５は、シャッタレリーズボタン２の第２の押下操作の直前に供給された検出結果を第２の検出結果として保持する。さらには、フラッシュ制御部１９が予備発光を行って、フラッシュ制御部１９および反射率算出部２５が予備発光時に撮影されＳＤＲＡＭ２２に記憶された画像データを取得する（ステップＳＴ７）。

続いて、フラッシュ制御部１９は、第１および第２の検出結果から顔情報が有効であるか否かを判定する（ステップＳＴ８）。ステップＳＴ８が肯定されると、反射率算出部２５が、撮影範囲に含まれる顔の反射率を算出する。以下、反射率の算出について説明する。

一般的な物体の反射率と反射光量との関係は、光源が点光源の場合下記の式（１）により表される。

Ｌｒ＝Ｒ・ｋ０／ｒ４ （１）
但し、Ｌｒは反射光量、Ｒは反射率、ｋ０は光源の発光量により定められる定数、ｒは光源からの距離である。式（１）より、反射光量Ｌｒは物体の光源からの距離ｒの４乗に反比例するものとなる。ここで、光源からの距離ｒにある物体の大きさをＳとすると、大きさＳは距離ｒの２乗に反比例する。なお、本実施形態では大きさＳは顔の面積とする。したがって、距離ｒに代えて物体の大きさＳを用いると、式（１）は下記の式（２）となる。

Ｌｒ＝Ｒ・ｋ１・Ｓ2 （２）
なお、式（２）のｋ１は式（１）におけるｋ０に対応する定数である。ここで、ある基準となる光源からの距離ｒ０において、基準となる反射率Ｒ０を有する人物の顔が存在した場合における顔領域の大きさをＳ０、反射光量をＬｒ０とすると、式（２）は下記の式（３）となる。

Ｌｒ０＝Ｒ０・ｋ１・Ｓ０2 （３）
ここで、顔が検出できた場合、すなわち顔情報が有効である場合、非発光で撮影された画像（以下非発光時撮影画像Ｇ１とする）と予備発光で撮影された画像（以下予備発光時撮影画像Ｇ２とする）には対応する顔が含まれており、顔検出処理部２４の検出結果に基づいて、両画像の顔領域を特定することができる。ここで、撮影範囲には１つの顔のみが含まれており、非発光撮影時画像Ｇ１の顔領域をＦ１、予備発光撮影時画像Ｇ２の顔領域をＦ２とすると、顔領域Ｆ１および顔領域Ｆ２の大きさは同一であると見なすことができ、検出結果から顔領域Ｆ１，Ｆ２の大きさＳｆを知ることができる。なお、この場合に使用する検出結果は、第１の検出結果であっても第２の検出結果であってもよい。

また、非発光時撮影画像Ｇ１および予備発光時撮影画像Ｇ２における顔領域Ｆ１，Ｆ２の輝度の差は、画像Ｇ１，Ｇ２に含まれる顔の反射光量Ｌｒｆとなる。ここで、画像Ｇ１，Ｇ２に含まれる顔の反射率をＲｆとすると、式（２）は下記の式（４）となる。なお、反射光量Ｌｒｆは、顔領域Ｆ２の平均輝度から顔領域Ｆ１の平均輝度を減算することにより算出すればよい。

Ｌｒｆ＝Ｒｆ・ｋ１・Ｓｆ2 （４）
式（３）、（４）をｋ１について解くと下記の式（５）の関係が成立する。

ｋ１＝Ｌｒ０／（Ｒ０・Ｓ０2）＝Ｌｒｆ／（Ｒｆ・Ｓｆ2） （５）
式（５）をＲｆについて解くと下記の式（６）となる。

Ｒｆ＝Ｒ０・（Ｌｒｆ・Ｓ０2）／（Ｌｒｏ・Ｓｆ2） （６）
したがって、ある基準となる光源からの距離ｒ０において、基準となる反射率Ｒ０を有する人物の顔が存在した場合における顔領域の大きさＳ０および反射光量Ｌｒ０をあらかじめ測定してＥＥＰＲＯＭ３４に保存しておき、顔領域の大きさＳｆおよび反射光量Ｌｒｆを算出することにより、撮影しようとする顔の反射率Ｒｆを算出することができる。なお、反射率Ｒｆが高いほど肌の色は白いものとなる。

したがって、反射率算出部２５は、画像Ｇ１，Ｇ２から反射光量Ｌｒｆを算出し（ステップＳＴ９）、顔領域の大きさＳｆを算出する（ステップＳＴ１０）。そして上記式（６）に基づいて撮影しようとする顔の反射率Ｒｆを算出する（ステップＳＴ１１）。

次いで、フラッシュ制御部１９は、反射率算出部２５が算出した反射率Ｒｆを取得し、取得した反射率Ｒｆに基づいて、撮影する画像に含まれる顔の目標とする輝度（目標輝度とする）を設定する（ステップＳＴ１２）。

ここで、肌の白い顔の人は白とびを抑えるためにやや暗くして撮影を行い、肌の黒い人は顔の細部を明りょうなものとするための明るくして撮影を行うことが好ましい。このため、各種反射率Ｒｆと好ましい目標輝度Ｌｆとの関係をあらかじめ設定してＬＵＴ（ルックアップテーブル）１としてＥＥＰＲＯＭ３４に保存しておくことにより、ＬＵＴ１を参照して、算出した反射率Ｒｆから目標輝度Ｌｆを求めることができる。

続いて、フラッシュ制御部１９は、顔および目標輝度Ｌｆを考慮した調光を行う（ステップＳＴ１３）。なお、ステップＳＴ８が否定された場合、顔を考慮しない調光を行う（ステップＳＴ１４）。

フラッシュ制御部１９は、調光が完了すると、その旨を全体制御部３１に通知し、フラッシュの発光（本発光）と画像の取得は、全体制御部３１の指示の下、同期して行われる（ステップＳＴ１５）。フラッシュ制御部１９は、全体制御部３１から指示されたタイミングで、ステップＳＴ１３またはＳＴ１４において決定された発光量でフラッシュを発光させる。また、同じタイミングで、露出調整部２１はステップＳＴ３において決定された絞り、シャッタ速度を、絞り駆動部１７とタイミングジェネレータ１８とに伝え、画像入力制御部２３はＡ／Ｄ変換部１５から供給された画像データを記録読出制御部２９に転送し、記録読出制御部２９はその画像データをメモリカード３０に記録する。以上により、フラッシュ撮影が完了する。

ここで、顔および目標輝度Ｌｆを考慮した調光処理とは、調光のための演算に顔の検出結果および目標輝度Ｌｆを何らの形で利用する処理を意味し、顔を考慮しない調光とは調光のための演算に顔の検出結果を利用しない処理を意味するものとする。顔および目標輝度Ｌｆを考慮して調光を行うときは、フラッシュ制御部１９は、検出結果に含まれる顔情報を取得して、顔情報、目標輝度Ｌｆ、非発光時撮影画像Ｇ１、予備発光時撮影画像Ｇ２を用いた演算を行って、本発光時の発光量を求める。例えば、非発光時撮影画像Ｇ１と予備発光時撮影画像Ｇ２とをそれぞれ複数の領域に分割し、領域ごとにデータの差分を求めることで領域ごとの反射光量を推定し、顔がある領域の輝度が目標輝度Ｌｆとなるように、顔がある領域の反射光量のみに基づいて発光量を決定したり、顔がある領域の反射光量が顔のない領域の反射光量よりも発光量の決定に強く影響するように重みづけをした演算を行って、適正発光量を求める。

一方、顔を考慮せずに調光を行うときは、非発光時撮影画像Ｇ１および予備発光時撮影画像Ｇ２を用いて本発光量の発光量を求める。例えば、非発光時撮影画像Ｇ１と予備発光時撮影画像Ｇ２との差分を求めることにより被写体各部の反射光量を推定し、被写体全体の反射光量の平均値に基づいて本発光時の発光量を求める。

なお、上述した発光量を求める方法は、顔があるときは顔情報および目標輝度Ｌｆを利用し、顔がないときは顔情報を利用しないという方法であるが、顔および目標輝度を考慮する調光処理とは、必ずしも顔情報を利用して調光を行う処理には限られない。例えば、顔があるときも顔がないときもステップＳＴ１４と同様の処理を行い、顔があるときだけ求めた発光量に対して目標輝度Ｌｆを考慮して何らかの処理を加えるという方法も考えられる。例えば、顔があるときにだけ、求めた発光量から顔が目標輝度Ｌｆとなるように一定量を減算する手法が考えられる。なお減算する量は、顔からの反射が強い場合でも確実に白とびを防げるように、大きめに設定しておくとよい。例えば顔のアップをフラッシュ撮影する場合を想定して減算量を定めるとよい。

なお、この方法では、フラッシュを発光させたのにも拘わらず露出不足の画像が得られる可能性があるが、これはフラッシュ撮影が完了した後に、画像処理部２６において明るさの調整を行うことで補うことができる。例えば、フラッシュ撮影完了後に、画像処理部２６がＳＤＲＡＭ２２に記憶されている画像データに対し、明るさを調整する画像処理を行えばよい。この際、画像処理部２６に対しても顔検出処理部２４の検出結果およびフラッシュ制御部１９が算出した目標輝度Ｌｆが供給されるように全体制御を行っておけば、画像処理部２６は顔がある領域の明るさが目標輝度となるように調整を行うこともできる。

あるいは、撮影モードがプログラムオートに設定されており、オートブラケティング（Auto Bracketing）機能が働いているときは、デジタルカメラ１が適正露出と判断して取得した画像以外に、露出オーバー、露出アンダーの画像も取得されているはずである。よって、画像処理部２６は、オートブラケティング（Auto Bracketing）機能により取得された画像の中から、適切な明るさのものを選択し、それを明るさ調整後の画像として出力してもよい。画像処理部２６により調整された画像データは再びＳＤＲＡＭ２２に記録される。

このように、本実施形態によれば、顔領域の反射率Ｒｆを算出し、反射率Ｒｆに基づいて顔の目標輝度Ｌｆを設定し、目標輝度Ｌｆを考慮してフラッシュの発光量を設定するようにしたため、反射率Ｒｆすなわち肌の色に応じてフラッシュの発光量を制御することができる。例えば、肌が黒い人を撮影する場合には、顔の細部まで明りょうとなるような明るさを有する画像を取得できるように発光量を大きくし、肌が白い人を撮影する場合には肌が暗めの好ましい画像を取得できるように発光量を小さくすることができる。したがって、設定した発光量によりフラッシュを発光して撮影を行うことにより、肌の色に拘わらず顔が適切な明るさを有する画像を取得することができる。

以上、本発明の実施形態を例示しながら説明したが、本発明はこれらの実施形態に限定されるものではない。例えば、顔を考慮した発光量の制御方法、顔を考慮しない発光量の制御方法としては、本明細書に記載されている方法以外にも公知のあらゆる制御方法を適用することができる。

また、上記実施形態においては、反射率の算出の際に使用する顔領域の大きさとして顔の面積を用いているが、顔領域の縦方向または横方向の長さ、両目間の距離等、画像に含まれる顔領域の大きさが分かる指標であれば、どのような値を用いてもよいものである。

また、上記実施形態において、反射率Ｒｆを算出する際に、非発光時撮影画像Ｇ１および予備発光時撮影画像Ｇ２を用いているが、デジタルカメラ１がＡＦ補助光を照射する手段またはタリーランプ等のフラッシュ１１以外の他の発光手段を備えている場合には、他の発光手段の非発光時および発光時にそれぞれ非発光時撮影画像Ｇ１および予備発光時撮影画像Ｇ２に対応する２つの画像を取得し、この２つの画像を用いて反射率Ｒｆを算出するようにしてもよい。

また、上記実施形態においては、第１および第２の検出結果の双方を用いて顔情報が有効か否かを判定しているが、シャッタレリーズボタン２の第１の押下操作の直前の第１の検出結果が顔が含まれるものである場合には、第２の検出結果を参照しないようにしてもよい。この場合、顔情報が有効か否かの判断は第１の検出結果にのみ基づいて行われる。

また、上記実施形態においては、非発光時撮影画像Ｇ１および予備発光時撮影画像Ｇ２を取得してから顔情報が有効か否かを判断しているが、シャッタレリーズボタン２の第２の押下操作を検出した後に顔情報が有効か否かを判断し、その後に非発光時撮影画像Ｇ１および予備発光時撮影画像Ｇ２を取得して、反射率Ｒｆの算出、目標輝度Ｌｆの設定並びに顔および目標輝度を考慮した調光または顔を考慮しない調光を行うようにしてもよい。

また、顔検出処理部２４が顔の検出結果をフラッシュ制御部１９、焦点調節部２０、露出調整部２１および反射率算出部２５供給する時点としては、シャッタレリーズボタン２の第１および第２の押下操作の直前に限定されるものではなく、検出結果を供給するタイミングをあらかじめ所定の時点に設定しておいてもよい。

また、被写体からの反射光量を測定する目的で、あるいは赤目を予防する目的で予備発光を行うデジタルカメラの場合には、顔検出を高速に行うことが可能であれば、予備発光と同期して取得された画像データやその前後の非発光時に取得された画像データを対象として顔検出処理を行うことも可能である。この場合、顔検出用の画像データと調光用の画像データが同じであれば手ブレの影響が出ることもないので、顔の検出に成功すれば、他の時点における検出結果を利用する場合よりも優れた効果を期待することができる。また、時間が足りず顔の検出処理を完了できなかったとしても、他の時点における検出結果を利用して発光量を決定できるので、上記実施形態と同等の効果は確保される。

このように、上記実施形態に限らず、顔の検出結果を参照して反射率を算出し、反射率から目標輝度を設定し、顔の検出結果および目標輝度に基づいてストロボの発光量を制御するデジタルカメラは、すべて本発明の技術的範囲に属する。

本発明の一実施形態におけるデジタルカメラの概観図（通常状態） 本発明の一実施形態におけるデジタルカメラの概観図（内蔵フラッシュをポップアップした状態） 本発明の一実施形態におけるデジタルカメラの概観図（外付フラッシュを取り付けた状態） デジタルカメラの内部構成を示す図 本実施形態のデジタルカメラにおけるシャッタレリーズボタンの操作とデジタルカメラの動作との関係を示す図 本実施形態において行われる処理を示すフローチャート

符号の説明

１ デジタルカメラ
２ シャッタレリーズボタン
３ モードダイヤル
４ 内蔵フラッシュ
５ ホットシュー
６ フラッシュポップアップボタン
７ 外付フラッシュ
１９ フラッシュ制御部
２４ 顔検出処理部
２５ 反射率算出部
３１ 全体制御部

Claims (5)

1. 撮影により被写体を表す画像を取得する撮影手段と、
   該撮影手段により取得された画像を対象として顔の検出処理を実行する顔検出手段と、
   前記撮影手段による前記画像の取得が開始されてからの所定の時点における前記顔検出手段による前記顔の検出結果を取得し、同一被写体についての発光を伴う画像および発光を伴わない画像を取得し、前記取得した検出結果が前記顔を含む旨のものである場合、前記発光を伴う画像および前記発光を伴わない画像にそれぞれ含まれる顔の明るさの相違および該顔の大きさに基づいて、前記顔の反射率を算出する反射率算出手段とを備えたことを特徴とする撮影装置。
2. フラッシュを発光する発光手段と、
   前記顔検出手段から出力される前記所定の時点における検出結果を参照して前記フラッシュの発光量を制御する発光量制御手段であって、前記所定の時点における検出結果が前記顔を含む旨のものである場合には、前記反射率から前記顔の目標輝度を算出し、前記検出結果とともに前記目標輝度をも参照して前記フラッシュの発光量を制御する発光量制御手段とをさらに備えたことを特徴とする請求項１記載の撮影装置。
3. 前記撮影手段は、前記フラッシュを発光した撮影および該フラッシュを発光しない撮影を行って、前記発光を伴う画像および前記発光を伴わない画像を取得する手段であることを特徴とする請求項２記載の撮影装置。
4. 撮影により被写体を表す画像を取得する撮影手段と、
   該撮影手段により取得された画像を対象として顔の検出処理を実行する顔検出手段とを備えた撮影装置の制御方法であって、
   前記撮影手段による前記画像の取得が開始されてからの所定の時点における前記顔検出手段による前記顔の検出結果を取得し、
   同一被写体についての発光を伴う画像および発光を伴わない画像を取得し、
   前記取得した検出結果が前記顔を含む旨のものである場合、前記発光を伴う画像および前記発光を伴わない画像にそれぞれ含まれる顔の明るさの相違および該顔の大きさに基づいて、前記顔の反射率を算出することを特徴とする制御方法。
5. 撮影により被写体を表す画像を取得する撮影手段と、
   該撮影手段により取得された画像を対象として顔の検出処理を実行する顔検出手段とを備えた撮影装置の制御方法をコンピュータに実行させるためのプログラムであって、
   前記撮影手段による前記画像の取得が開始されてからの所定の時点における前記顔検出手段による前記顔の検出結果を取得する手順と、
   同一被写体についての発光を伴う画像および発光を伴わない画像を取得する手順と、
   前記取得した検出結果が前記顔を含む旨のものである場合、前記発光を伴う画像および前記発光を伴わない画像にそれぞれ含まれる顔の明るさの相違および該顔の大きさに基づいて、前記顔の反射率を算出する手順とを有することを特徴とするプログラム。

Images