JP2008005035A - 撮像装置 - Google Patents

Abstract

【課題】被写体に適した撮影を行うことができる撮像装置を提供する。
【解決手段】人物をフラッシュ撮影する場合において、撮像素子１２８から得られる画像から人物の顔を抽出し、その人物の表情を判別し、表情に応じてフラッシュ光の発光量を補正する。
【選択図】 図４

Description

本発明は撮像装置に係り、特にフラッシュを搭載し、被写体を電気的に撮像する撮像装置に関する。

夜間や室内などの暗いシーンや逆光シーンでは、フラッシュを用いた撮影が行われる。このフラッシュ撮影では、一般に被写体平均反射率が約１８％のような灰色の時に適度露光となるようフラッシュ光が調光される。

このフラッシュ撮影時において、被写体が最適な露光量で撮影されるように、特許文献１では、主要被写体の反射率を測定し、その反射率に応じてフラッシュ光の発光を制御することが提案されている。また、特許文献２では、撮影時の焦点距離の変化に対応して、フラッシュ光の発光を制御することが提案されている。
特開平８−３２８０６９号公報 特開平８−２８６２２６号公報

しかしながら、従来のフラッシュ撮影では、人物や風景などの被写体によらず、画面全体において適正露出になるようにフラッシュ光の発光を制御しているため、得られる画像が一様となり、メリハリに欠けるという欠点がある。

本発明は、このような事情に鑑みてなされたもので、被写体に適した撮影を行うことができる撮像装置を提供することを目的とする。

請求項１に係る発明は、前記目的を達成するために、被写体の画像を取得する撮像手段と、所定の発光量で照明光を発光する照明手段と、前記撮像手段から得られる画像から人物の顔を抽出する抽出手段と、前記抽出手段で抽出された人物の顔画像から該人物の表情及び／又は属性を判別する判別手段と、人物の表情及び／又は属性に応じた前記照明光の発光量の補正量の情報が記憶された補正情報記憶手段と、前記判別手段で判別された表情及び／又は属性に対応する補正量で前記照明光の発光量を補正する補正手段と、を備えたことを特徴とする撮像装置を提供する。

請求項１に係る発明によれば、被写体となる人物の表情（たとえば、笑い顔、泣き顔、怒り顔、悲しい顔等）及び／又は属性（たとえば、年代、性別等）に応じた発光量で照明手段から照明光が発光される。これにより、被写体に適した照明光を照射して撮影することができる。

請求項２に係る発明は、前記目的を達成するために、前記補正情報記憶手段に記憶された補正量を個別に修正する修正手段を備えたことを特徴とする請求項１に記載の撮像装置を提供する。

請求項２に係る発明によれば、撮影者が照明光の発光量を任意に修正することができる。これにより、撮影者ごとの好みに合った画像を簡単に撮影することができる。

請求項３に係る発明は、前記目的を達成するために、前記修正手段は、修正対象とする補正量で発光量を補正して前記照明手段から照明光を発光させて撮像した画像を取得する画像取得手段と、修正量を入力する入力手段と、前記入力手段から入力された修正量に応じて前記画像取得手段から取得された画像を補正することにより、前記入力手段から入力された修正量で修正後に得られると想定される画像を生成する画像生成手段と、前記画像生成手段で生成された画像を表示する表示手段と、前記入力手段から入力された修正量の確定を指示する指示手段と、を備え、前記指示手段で確定された修正量を前記選択手段で選択された補正量の修正量とすることを特徴とする請求項２に記載の撮像装置を提供する。

請求項３に係る発明によれば、修正の効果を確認しながら照明光の発光量を修正できる。すなわち、入力手段から修正量を入力すると、その修正量に応じて修正後に得られると想定される画像が画像生成手段によって生成される。そして、その生成された画像が表示手段に表示される。撮影者は、その表示手段に表示された画像を確認して、修正が適切と判断すると、指示手段で修正量の確定を指示する。このように、どの程度の修正量でどの程度の修正が行われるかを確認しながら照明光の発光量を修正することができる。

請求項４に係る発明は、前記目的を達成するために、前記画像生成手段で生成された画像の記録を指示する記録指示手段と、前記記録指示手段の記録指示に応じて前記画像生成手段で生成された画像を記憶メディアに記録する記録制御手段と、を備えたことを特徴とする請求項３に記載の撮像装置を提供する。

請求項４に係る発明によれば、照明光の発光量の修正時に生成された画像を記録することができる。

本発明に係る撮像装置によれば、被写体に適した撮影を行うことができる。

以下、添付図面を参照して本発明に係る撮像装置を実施するための最良の形態について説明する。

図１、図２は、それぞれ本発明が適用されたデジタルカメラの外観構成を示す正面斜視図と背面斜視図である。

同図に示すように、このデジタルカメラ１０は、いわゆるコンパクトカメラとして構成されており、そのカメラボディ１２は、薄く四角い箱型に形成されている。

カメラボディ１２の正面には、図１に示すように、撮影レンズ１４、フラッシュ１６、スピーカ１８、ＡＦ補助光ランプ２０等が設けられており、上面には、シャッタボタン２２、モードレバー２４、電源ボタン２６等が設けられている。

一方、カメラボディ１２の背面には、図２に示すように、モニタ２８、ズームボタン３０、再生ボタン３２、ファンクションボタン３４、十字ボタン３６、ＭＥＮＵ／ＯＫボタン３８、ＤＩＳＰ／ＢＡＣＫボタン４０等が設けられている。

また、図示されていないが、カメラボディ１２の底面には、三脚ネジ穴及び開閉自在なバッテリカバーが設けられており、バッテリカバーの内側には、バッテリを収納するためのバッテリ収納室及びメモリカードを装着するためのメモリカードスロットが設けられている。

撮影レンズ１４は、沈胴式のズームレンズで構成されており、デジタルカメラ１０の電源をＯＮすると、カメラボディ１２から繰り出される。なお、撮影レンズ１４のズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。

フラッシュ１６は、たとえばキセノン管を光源として構成されており、その発光量を調整可能に形成されている。なお、キセノン管の他、高輝度のＬＥＤを光源としたフラッシュを用いることもできる。

ＡＦ補助光ランプ２０は、たとえば高輝度ＬＥＤ構成されており、ＡＦ時に必要に応じて発光される。

シャッタボタン２２は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。デジタルカメラ１０は、このシャッタボタン２２を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、全押すると、画像の撮影・記録処理を行う。

モードレバー２４は、撮影モードの設定に用いられる。このモードレバー２４は、シャッタボタン２２の周りを所定の角度の範囲で揺動自在に設けられており、「ＳＰ位置」、「ＡＵＴＯ位置」、「Ｍ位置」、「動画位置」にセット可能に設けられている。デジタルカメラ１０は、このモードレバー２４を「ＳＰ位置」にセットすることにより、「シーンプログラム撮影モード」に設定され、撮影シーンに応じた露出制御、撮影制御を行うモードに設定される。また、「ＡＵＴＯ位置」にセットすることにより、「オート撮影モード」に設定され、露出制御を全自動で行うモードに設定される。また、「Ｍ位置」に設定されることにより、「マニュアル撮影モード」に設定され、露出設定を手動で行うモードに設定される。また、「動画位置」に設定することにより、「動画撮影モード」に設定され、動画を撮影するモードに設定される。なお、「シーンプログラム撮影モード」としては、たとえば、人物撮影を行う「人物モード」、風景撮影を行う「風景モード」、スポーツ撮影を行う「スポーツモード」、夜景撮影を行う「夜景モード」、水中撮影を行う「水中モード」等が用意されている。

電源ボタン２６は、デジタルカメラ１０の電源をＯＮ／ＯＦＦするのに用いられ、所定時間（たとえば、２秒）押下されることにより、デジタルカメラ１０の電源がＯＮ／ＯＦＦされる。

モニタ２８は、カラーＬＣＤで構成されている。このモニタ２８は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩとして利用される。また、撮影時には、撮像素子で捉えた画像がスルー表示され、電子ファインダとして利用される。

ズームボタン３０は、撮影レンズ１４のズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。

再生ボタン３２は、再生モードへの切り替え指示に用いられる。すなわち、デジタルカメラ１０は、撮影中、この再生ボタン３２が押されると、再生モードに切り替えられる。また、電源ＯＦＦの状態でこの再生ボタン３２が押されると、再生モードの状態でデジタルカメラ１０が起動する。

ファンクションボタン３４は、撮影及び再生機能の各種設定画面の呼び出しに用いられる。すなわち、撮影時に、このファンクションボタン３４が押されると、モニタ２８に画像サイズ（記録画素数）、感度等の設定画面が表示され、再生時に、このファンクションボタン３４が押されると、モニタ２８にプリント予約（ＤＰＯＦ）の設定画面が表示される。

十字ボタン３６は、上下左右４方向に押圧操作可能に設けられており、各方向のボタンには、カメラの設定状態に応じた機能が割り当てられる。たとえば、撮影時には、左ボタンにマクロ機能のＯＮ／ＯＦＦを切り替える機能が割り当てられ、右ボタンにフラッシュモードを切り替える機能が割り当てられる。また、上ボタンにモニタ２８の明るさを替える機能が割り当てられ、下ボタンにセルフタイマのＯＮ／ＯＦＦを切り替える機能が割り当てられる。また、再生時には、左ボタンにコマ送りの機能が割り当てられ、右ボタンにコマ戻しの機能が割り当てられる。また、上ボタンにモニタ２８の明るさを替える機能が割り当てられ、下ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ２８に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。

なお、本実施の形態のデジタルカメラ１０では、フラッシュモードとして、オート／強制発光／発光禁止／シーン発光の各モードが用意されているものとし、シーン発光を選択することにより、被写体の表情に応じた発光量でフラッシュが発光される。この点については、後に詳述する。

ＭＥＮＵ／ＯＫボタン３８は、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、デジタルカメラ１０の設定状態に応じて割り当てられる機能が切り替えられる。

ＤＩＳＰ／ＢＡＣＫボタン４０は、モニタ２８の表示内容の切り替え指示（ＤＩＳＰ機能）に用いられるとともに、入力操作のキャンセル等の指示（ＢＡＣＫ機能）に用いられ、デジタルカメラ１０の設定状態に応じて割り当てられる機能が切り替えられる。

図３は、本実施の形態のデジタルカメラ１０の電気的構成を示すブロック図である。

同図に示すように、デジタルカメラ１０は、ＣＰＵ１１０、操作部（シャッタボタン２２、モードレバー２４、電源ボタン２６、ズームボタン３０、再生ボタン３２、ファンクションボタン３４、十字ボタン３６、ＭＥＮＵ／ＯＫボタン３８、ＤＩＳＰ／ＢＡＣＫボタン４０等）１１２、ＲＯＭ１１４、ＲＡＭ１１６、ＥＥＰＲＯＭ１１８、ＶＲＡＭ１２０、撮影光学系１２４、撮影光学系駆動制御部１２６、撮像素子１２８、タイミングジェネレータ１３０、アナログ信号処理部１３２、Ａ／Ｄコンバータ１３４、画像入力コントローラ１３６、画像信号処理部１３８、圧縮伸張処理部１４０、顔検出部１４２、表情判定部１４４、メディアコントローラ１４６、表示制御部１４８、ＡＥ／ＡＷＢ検出部１５２、ＡＦ検出部１５４、フラッシュ制御部１５６、ＡＦ補助光ランプ制御部１５８等で構成されている。

ＣＰＵ１１０は、デジタルカメラ１０の全体の動作を統括制御する制御手段として機能するとともに、各種の演算処理を行う演算手段として機能し、操作部１１２からの入力に基づき所定の制御プログラムに従ってデジタルカメラ１０の各部を制御する。

ＲＯＭ１１４には、このＣＰＵ１１０が実行する制御プログラム及び制御に必要な各種データ等が格納されており、ＥＥＰＲＯＭ１１８には、ユーザ設定情報等の各種設定情報等が格納されている。なお、後述するように、ＲＯＭ１１４には、表情に応じたフラッシュの発光量の情報が記録されており、ＥＥＰＲＯＭ１１８には、その修正量の情報が記録される。

ＲＡＭ１１６は、ＣＰＵ１１０の作業用領域として利用されるとともに、画像データの一時記憶領域として利用され、ＶＲＡＭ１２０は、表示用の画像データ専用の一時記憶領域として利用される。

撮影光学系１２４は、撮影レンズ１４、絞り、シャッタを含み、各構成要素は、モータ等のアクチュエータで構成される駆動部１２４Ａに駆動されて動作する。たとえば、撮影レンズ１４を構成するフォーカスレンズ群は、フォーカスモータに駆動されて前後方向に移動し、ズームレンズ群は、ズームモータに駆動されて前後方向に移動する。また、絞りは、絞りモータに駆動されて拡縮し、シャッタは、シャッタモータに駆動されて開閉する。

撮影光学系駆動制御部１２６は、ＣＰＵ１１０からの指令に応じて撮影光学系１２４の駆動部１２４Ａを制御し、撮影レンズ１４、絞り、シャッタの動作を制御する。

撮像素子１２８は、たとえば、所定のカラーフィルタ配列のカラーＣＣＤで構成されており、撮影光学系１２４によって結像された被写体の画像を電子的に撮像する。タイミングジェネレータ（ＴＧ）１３０は、ＣＰＵ１１０からの指令に応じて、この撮像素子１２８を駆動するためのタイミング信号を出力する。

アナログ信号処理部１３２は、撮像素子１２８から出力された画像信号に対して相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）を行い、増幅して出力する。

Ａ／Ｄコンバータ１３４は、アナログ信号処理部１３２から出力されたＲ、Ｇ、Ｂのアナログの画像信号をデジタルの画像信号に変換する。

画像入力コントローラ１３６は、所定容量のラインバッファを内蔵しており、ＣＰＵ１１０からの指令に従い、Ａ／Ｄコンバータ１３４から出力された１画像分の画像信号を蓄積して、ＲＡＭ１１６に格納する。

画像信号処理部１３８は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＣＰＵ１１０からの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。

圧縮伸張処理部１４０は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。

顔検出部１４２は、ＣＰＵ１１０からの指令に従い、入力された画像データから画像内の顔領域を抽出する。この顔領域の抽出は、たとえば、原画像から肌色データを抽出し、肌色範囲と判断された測光点のクラスタを顔として抽出する。この他、画像から顔領域を抽出する方法としては、測光データを色相と彩度に変換し、変換した色相・彩度の二次元ヒストグラムを作成し、解析することで、顔領域を判断する方法や、人の顔の形状に相当する顔候補領域を抽出し、その領域内の特徴量から顔領域を決定する方法、画像から人の顔の輪郭を抽出し、顔領域を決定する方法、複数の顔の形状をしたテンプレートを用意し、そのテンプレートと画像との相関を計算し、この相関値により顔候補領域とすることで人の顔を抽出する方法等が知られており、これらの方法を用いて抽出することができる。

表情判定部１４４は、ＣＰＵ１１０からの指令に従い、顔検出部１４２で検出された人物の顔の表情を判別する。たとえば、顔検出部１４２で検出された顔の特徴部位（目、鼻、口など）の位置や形状を入力された画像データから抽出し、その測定量に基づいて顔の表情を判別する。この他、画像から表情を判別する技術としては、たとえば電子情報通信学会技術研究報告１９９９年１１月１８日および１９日、ＰＲＭＵ９９−１０６「動作位置の変化に頑健なジェスチャ認識」天田泰亨・鈴木基之・後藤英昭・牧野正三（東北大）、ＰＲＭＵ９９−１３８「顔器官輪郭の自動抽出と表情認識の自動化」小林宏・高橋久徳・菊地耕生（東京理科大）、ＰＲＭＵ９９−１３９「ポテンシャルネットを用いた顔領域の推定と表情認識」別所弘章（イメージ情報科研）・岩井儀雄・谷内田正彦（阪大）、ＰＲＭＵ９９−１４０（特別講演）「顔面表情認知研究と画像処理技術」山田寛（日大／ＡＩＲ）、ＰＲＭＵ９９−１４２（特別招待論文）「インタラクションのための人物動作解析と認識」谷内田正彦・岩井儀雄（阪大）等に記載されており、これらの技術を用いることができる。

なお、本例では、人物の表情を笑い顔、泣き顔、怒り顔、悲しい顔、無表情（判定不能を含む）に分類し、いずれに属するかを判定するものとする。

メディアコントローラ１４６は、ＣＰＵ１１０からの指令に従い、メディアスロットに装填されたメモリカード１６０に対してデータの読み／書きを制御する。

表示制御部１４８は、ＣＰＵ１１０からの指令に従い、モニタ２８への表示を制御する。すなわち、ＣＰＵ１１０からの指令に従い、入力された画像信号をモニタ２８に表示するための映像信号（たとえば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換してモニタ２８に出力するとともに、所定の文字、図形情報をモニタ２８に出力する。

ＡＥ／ＡＷＢ検出部１５２は、ＣＰＵ１１０からの指令に従い、入力された画像信号からＡＥ制御及びＡＷＢ制御に必要な物理量を算出する。たとえば、ＡＥ制御に必要な物理量として、１画面を複数のエリア（たとえば１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。ＣＰＵ１１０は、このＡＥ／ＡＷＢ検出部１５２から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。そして、算出した撮影ＥＶ値と所定のプログラム線図から絞り値とシャッタ速度を決定する。また、ＡＷＢ制御に必要な物理量として、１画面を複数のエリア（例えば、１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の色別の平均積算値を算出する。ＣＰＵ１１０は、得られたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を決定する。

ＡＦ検出部１５４は、ＣＰＵ１１０からの指令に従い、入力された画像信号からＡＦ制御に必要な物理量を算出する。本実施の形態のデジタルカメラ１０では、撮像素子１２８から得られる画像のコントラストによりＡＦ制御が行われ（いわゆるコントラストＡＦ）、ＡＦ検出部１５４は、入力された画像信号から画像の鮮鋭度を示す焦点評価値を算出する。ＣＰＵ１１０は、このＡＦ検出部１５４で算出される焦点評価値が極大となる位置を検出し、その位置にフォーカスレンズ群を移動させる。すなわち、フォーカスレンズ群を至近から無限遠まで所定のステップで移動させ、各位置で焦点評価値を取得し、得られた焦点評価値が最大の位置を合焦位置として、その位置にフォーカスレンズ群を移動させる。

フラッシュ制御部１５６は、ＣＰＵ１１０からの指令に従い、フラッシュ１６の発光を制御する。

ＡＦ補助光ランプ制御部１５８は、ＣＰＵ１１０からの指令に従い、ＡＦ補助光ランプ２０の発光を制御する。すなわち、ＣＰＵ１１０は、ＡＦ時に被写体が暗いと判断すると、あるいは、被写体のコントラストが低いと判断すると、ＡＦ補助光ランプ制御部１５８を介してＡＦ補助光ランプ２０を発光させ、被写体にＡＦ補助光を照射させてＡＦ制御を実行する。

次に、以上のように構成された本実施の形態のデジタルカメラ１０の作用について説明する。

まず、フラッシュを発光させないで画像を撮影する場合の処理手順について概説する。

電源ボタン２６を押下し、デジタルカメラ１０の電源を投入すると、デジタルカメラ１０は、撮影モードの下で起動する。

まず、撮影光学系駆動制御部１２６を介して撮影光学系１２４の駆動部１２４Ａが駆動され、撮影レンズ１４が所定位置まで繰り出される。そして、撮影レンズ１４が所定位置まで繰り出されると、撮像素子１２８によってスルー画像用の撮影が行われ、モニタ２８にスルー画像が表示される。すなわち、撮像素子１２８で連続的に画像が撮像され、その画像信号が連続的に処理されて、スルー画像用の画像データが生成される。生成された画像データは、ＶＲＡＭ１２０を介して順次表示制御部１４８に加えられ、表示用の信号形式に変換されて、モニタ２８に出力される。これにより、撮像素子１２８で捉えた画像がモニタ２８にスルー表示される。撮影者は、このモニタ２８に表示されたスルー画像を見て構図を決定し、シャッタボタン２２を半押しする。

シャッタボタン２２が半押しされると、ＣＰＵ１１０にＳ１ＯＮ信号が入力される。ＣＰＵ１１０は、このＳ１ＯＮ信号に応動して、撮影準備処理、すなわち、ＡＥ、ＡＦ、ＡＷＢの各処理を実行する。

まず、撮像素子１２８から出力された画像信号をアナログ信号処理部１３２、Ａ／Ｄコンバータ１３４、画像入力コントローラ１３６を介してＲＡＭ１１６に取り込み、ＡＥ／ＡＷＢ検出部１５２及びＡＦ検出部１５４に加える。

ＡＥ／ＡＷＢ検出部１５２は、入力された画像信号からＡＥ制御及びＡＷＢ制御に必要な物理量を算出し、ＣＰＵ１１０に出力する。ＣＰＵ１１０は、このＡＥ／ＡＷＢ検出部１５２からの出力に基づき、絞り値とシャッタースピードを決定するとともに、ホワイトバランス補正値を決定する。

また、ＡＦ検出部１５４は、入力された画像信号からＡＦ制御に必要な物理量を算出し、ＣＰＵ１１０に出力する。ＣＰＵ１１０は、このＡＦ検出部１５４からの出力に基づき撮影光学系駆動制御部１２６を介して撮影光学系１２４の駆動部１２４Ａの駆動を制御し、フォーカスレンズの移動を制御して、撮影レンズ１４のピントを主要被写体に合わせる。この際、ＣＰＵ１１０は、必要に応じてＡＦ補助光ランプ２０を発光させて、ＡＦ制御を実行する。

撮影者は、モニタ２８に表示されるスルー画像を見て撮影レンズ１４のピント状態等を確認し、撮影を実行する。すなわち、シャッタボタン２２を全押しする。

シャッタボタン２２が全押しされると、ＣＰＵ１１０にＳ２ＯＮ信号が入力される。ＣＰＵ１１０は、このＳ２ＯＮ信号に応動して、撮影、記録処理を実行する。

まず、上記のＡＥ処理で求めた絞り値、シャッタースピードで撮像素子１２８を露光し、記録用の画像を撮像する。

撮像素子１２８から出力された記録用の画像信号は、アナログ信号処理部１３２、Ａ／Ｄコンバータ１３４を介して画像入力コントローラ１３６に取り込まれ、ＲＡＭ１１６に格納される。ＲＡＭ１１６に格納された画像信号は、ＣＰＵ１１０の制御の下、画像信号処理部１３８に加えられる。画像信号処理部１３８は、入力された画像信号に所定の信号処理を施して、輝度データと色差データとからなる画像データ（ＹＵＶデータ）を生成する。

画像信号処理部１３８で生成された画像データは、一旦ＲＡＭ１１６に格納されたのち、圧縮伸張処理部１４０に加えられる。圧縮伸張処理部１４０は、入力された画像データに対して所定の圧縮処理を施し、圧縮画像データを生成する。

圧縮された画像データは、ＲＡＭ１１６に格納され、所定フォーマットの静止画像ファイル（たとえば、Ｅｘｉｆ）として、メディアコントローラ１４６を介してメモリカード１６０に記録される。

このようにしてメモリカード１６０に記録された画像データは、デジタルカメラ１０のモードを再生モードに設定することにより、モニタ２８に再生表示される。再生モードへの移行は、再生ボタン３２を押下することにより行われる。

再生ボタン３２が押下されると、ＣＰＵ１１０は、メディアコントローラ１４６を介してメモリカード１６０に最後に記録された画像ファイルの圧縮画像データを読み出す。

メモリカード１６０から読み出された圧縮画像データは、圧縮伸張処理部１４０に加えられ、非圧縮の画像データとされたのちＶＲＡＭ１２０に加えられる。そして、ＶＲＡＭ１２０から表示制御部１４８を介してモニタ２８に出力される。これにより、メモリカード１６０に記録されている画像が、モニタ２８に再生表示される。

画像のコマ送りは、十字ボタン３６の左右のキー操作で行なわれ、右キーが操作されると、次の画像ファイルがメモリカード１６０から読み出され、モニタ２８に再生表示される。また、十字ボタン３６の左キーが操作されると、一つ前の画像ファイルがメモリカード１６０から読み出され、モニタ２８に再生表示される。

次に、フラッシュを発光させて画像を撮影する場合の処理手順について説明する。

上記のように、本実施の形態のデジタルカメラ１０では、フラッシュモードとして、オート／強制発光／発光禁止／シーン発光の各モードが用意されている。

ここで、オートは、ＡＥの結果から被写体が暗い場合に自動的に発光されるモードであり、強制発光は被写体の明暗に係わらず強制的に発光されるモードである。一方、シーン発光は、被写体の表情に応じた発光量でフラッシュが発光されるモードである。

オート及び強制発光については、一般的なモードであるので、ここでは、シーン発光のモードにおけるフラッシュ撮影の処理の手順について説明する。

図４は、シーン発光モード時におけるデジタルカメラの撮影処理の手順を示すフローチャートである。

まず、カメラのモードを撮影モードに設定し（ステップＳ１０）、フラッシュのモードをシーン発光モードに設定する（ステップＳ１１）。

このように撮影モードの下でフラッシュのモードがシーン発光モードに設定されると、ＣＰＵ１１０は、操作部１１２からの入力に基づいてシャッタボタン２２が半押しされたか否かを判定する（ステップＳ１２）。そして、シャッタボタン２２が半押しされたと判定すると、撮影準備を行う（ステップＳ１３）。すなわち、ＡＥ、ＡＦ、ＡＷＢの各処理を実行する。

そして、ＡＥの結果からフラッシュ１６の発光の要否を判定し（ステップＳ１４）、フラッシュ１６の発光は必要と判定すると、フラッシュ１６をプリ発光させ（ステップＳ１５）、その反射光に基づいて本撮影時のフラッシュ１６の発光量を決定する（ステップＳ１６）。

この後、ＣＰＵ１１０は、撮像素子１２８から得られる画像から人物の顔領域の抽出処理を行う（ステップＳ１７）。すなわち、撮像素子１２８で顔抽出用の画像を撮像し、その撮像により得られた画像データを顔検出部１４２に加えて、顔領域の抽出を行わせる。そして、その抽出処理の結果から、人物の顔の有無を判定する（ステップＳ１８）。

この判定の結果、人物の顔が含まれていると判定すると、ＣＰＵ１１０は、抽出された顔の表情の判定処理を行う（ステップＳ１９）。すなわち、顔抽出用に撮像した画像データを表情判定部１４４に加え、顔検出部１４２で検出された人物の顔の表情を判定させる。

ＣＰＵ１１０は、この表情判定部１４４の判定結果に基づいてフラッシュ１６の発光量の補正を行う（ステップＳ２０）。すなわち、プリ発光の結果から求めた本発光時のフラッシュ１６の発光量を顔の表情の判定結果に応じて補正する。

ここで、この顔の表情に応じた発光量の補正量の情報は、ＥＥＰＲＯＭ１１８に記録されており、ＣＰＵ１１０は、このＥＥＰＲＯＭ１１８に記録された補正量の情報を参照して、フラッシュ１６の発光量を補正する。

なお、補正量は、表情ごとに定められており、ＣＰＵ１１０は、表情判定部１４４の判定結果に基づいて表情ごとにフラッシュ１６の発光量の補正を行う。本例の場合、表情は、笑い顔、泣き顔、怒り顔、悲しい顔、無表情に分類されるので、分類された各表情について補正量が設定される（たとえば、笑い顔は＋２段、泣き顔は−１段、怒り顔は−２段、悲しい顔は−１段、無表情は±０段等）。

このように、撮影しようとする画像に人物が含まれている場合は、人物の顔を検出し、その人物の表情に応じてフラッシュ１６の発光量を補正する。なお、人物の顔が含まれていない場合、すなわち、ステップＳ１８において、人物の顔が抽出されないと判定すると、フラッシュ１６の発光量の補正はせず、そのままプリ発光の結果から求めた発光量を本撮影時のフラッシュ１６の発光量とする。

この後、ＣＰＵ１１０は、シャッタボタン２２の半押しの解除の有無を判定し（ステップＳ２１）、解除されたと判定すると、ステップＳ１２に戻り、再度、シャッタボタン２２の半押しに応じて、上記の処理を実行する。

一方、シャッタボタン２２の半押しが解除されてないと判定すると、シャッタボタン２２が全押しされたか否かを判定し（ステップＳ２２）、全押しされたと判定すると、本撮影を実行し（ステップＳ２３）、得られた画像をメモリカード１６０に記録する（ステップＳ２４）。この際、フラッシュ１６を発光させる場合は、設定された発光量でフラッシュ１６を発光させて、本撮影を行う。

このように、本実施の形態のデジタルカメラ１０では、フラッシュモードをシーン発光モードに設定すると、人物の顔の検出を行い、その顔の表情に応じてフラッシュ１６の発光量が調整されるので、被写体に応じた撮影を行うことができる。

なお、上記実施の形態では、表情判定部１４４で判定可能な表情として、笑い顔、泣き顔、怒り顔、悲しい顔、無表情を挙げているが、更に細かい分類で判定するようにしてもよい。これにより、被写体に適したフラッシュ光で撮影を行うことができ、画像ごとにメリハリをつけることができる。

また、上記実施の形態では、フラッシュ１６をプリ発光させて、本撮影時におけるフラッシュ１６の発光量を求めているが、フラッシュを自動調光する方法は、これに限定されるものではなく、他の自動調光方法を用いてもよい。たとえば、調光センサを用いて、フラッシュ光を自動調光してもよい。この場合も表情に応じてフラッシュの発光量を補正する。

また、上記実施の形態では、人物の顔の表情に応じてフラッシュ１６の発光量を補正しているが、人物の年代、性別等の属性に応じてフラッシュ１６の発光量を補正するようにしてもよい。たとえば、抽出した人物の顔画像から子供か大人かを判定し、その判定結果に応じてフラッシュ１６の発光量を補正してもよい。また、抽出した人物の顔画像から男性か女性かを判定し、その判定結果に応じてフラッシュ１６の発光量を補正してもよい。あるいは、これらを複合的に組み合わせた判定を行い、その判定結果に応じてフラッシュ１６の発光量を補正してもよい。たとえば、子供か大人かを判定するとともに、男性か女性かを判定し、更に表情を判定する。そして、その判定結果に応じてフラッシュ１６の発光量を補正する。この場合、分類したパターンごとに発光量の補正量を規定する。

また、上記実施の形態では、表情ごとの補正量が、あらかじめ設定されているが、このあらかじめ設定された補正量をユーザが個別に修正できるようにしてもよい。以下、この補正方法の一例について説明する。

図５は、設定された補正量の修正手順を示すフローチャートである。

同図に示すように、補正量の修正は、本撮影の後に実行される。

まず、本撮影が行われると（ステップＳ３０）、図６（ａ）に示すように、その本撮影により得られた画像がモニタ２８にプレビュー表示される（ステップＳ３１）。すなわち、撮影により得られた画像の画像データが、画像信号処理部１３８で生成後、ＲＡＭ１１６に格納されるとともにＶＲＡＭ１２０に格納され、ＶＲＡＭ１２０から表示制御部１４８を介してモニタ２８に出力さる。撮影者は、このモニタ２８に表示された画像を見て、補正量の修正の要否を判断する。そして、修正が必要と判断した場合は、ファンクションボタン３４を押下する。ＣＰＵ１１０は、このファンクションボタン３４の押下の有無を判定して、補正量の修正の要否を判定する（ステップＳ３２）。

ファンクションボタン３４が押下され、補正量の修正が指示されると、ＣＰＵ１１０は、図６（ｂ）に示すように、モニタ２８の表示を補正量の修正画面に切り替え、修正量の入力を受け付ける（ステップＳ３３）。

ここで、修正量の入力は、十字ボタン３６によって行われ、十字ボタン３６の上ボタンが１回押されるたびに１段ずつ修正量が上げられ、下ボタンが１回押されるたびに１段ずつ修正量が下げられる。なお、図６（ｂ）に示すように、補正量の修正画面には、プレビュー画像に重ねて修正量が目盛表示され、入力した修正量が確認できるようにされている。また、修正しようとしている補正量が、どの表情の補正量かが分かるように、修正しようとしている表情（プレビューしている画像が撮影時に判定された表情）の項目が表示される。なお、図６（ｂ）の例では、笑い顔と判定された画像の補正量の修正を対象としている。

ＣＰＵ１１０は、十字ボタン３６の上ボタン又は下ボタンが押されるたびに撮影画像に所要の画像処理、たとえば明るさを変える処理を施し、修正後に得られると想定される画像（想定画像）を生成する（ステップＳ３４）。すなわち、十字ボタン３６の上ボタンが１回押されると、修正量が１段上げられて、補正量がプラス側に１段上げられるので、その補正量の下で発光量を補正してフラッシュ撮影した際に得られると想定される画像を画像処理により生成する。同様に十字ボタン３６の下ボタンが１回押されると、修正量が１段下げられて、補正量がマイナス側に１段下げられるので、その補正量の下で発光量を補正してフラッシュ撮影した際に得られると想定される画像を画像処理により生成する。この画像処理は、画像信号処理部１３８により行われ、ＣＰＵ１１０は、ＲＡＭ１１６に格納された画像データを画像信号処理部１３８に加えて所要の信号処理を実行させる。生成された想定画像の画像データは、ＶＲＡＭ１２０に格納される。ＣＰＵ１１０は、このＶＲＡＭ１２０に格納された想定画像の画像データを表示制御部１４８に加え、モニタ２８に表示させる（ステップＳ３５）。

撮影者は、このモニタ２８に表示された想定画像を見て、更なる修正の要否を判断する。そして、修正が必要と判断した場合は、更に十字ボタン３６を操作して、修正量の入力を行う。一方、修正が適切と判断した場合は、ＭＥＮＵ／ＯＫボタン３８を押下して、修正量の確定を指示する。

ＣＰＵ１１０は、操作部１１２からの入力に基づいて修正量が確定したか否か判定する（ステップＳ３６）。そして、修正量が確定していないと判断した場合は、ステップＳ３３に戻り、入力された修正量に基づいて再度画像処理を実行する。

一方、修正量が確定したと判断した場合は、該当する表情の補正量を確定した補正量で修正する（ステップＳ３７）。すなわち、ＥＥＰＲＯＭ１１８に記録されている補正量の情報を書き替え、該当する表情の補正量を修正する。図６（ｂ）に示す例では、笑い顔の補正量について修正しているので、笑い顔の補正量を入力された修正量で修正する。

このように補正量の修正後、ＣＰＵ１１０は、図６（ｃ）に示すように、モニタ２８の表示を撮影画像の記録の要否を問い合わせる画面に切り替える。撮影者は、このモニタ２８の表示を確認して、撮影した画像の記録の要否を判定する。そして、記録すると判断した場合は、ＭＥＮＵ／ＯＫボタン３８を押下し、記録しないと判断した場合は、ＢＡＣＫボタン４４を押下する。

ＣＰＵ１１０は、操作部１１２からの入力に基づいて撮影画像の記録の要否を判定し（ステップＳ３８）、記録すると判断すると、撮影画像の画像データをメモリカード１６０に記録する。すなわち、ＲＡＭ１１６に格納されている撮影画像の画像データを圧縮伸張処理部１４０に加えて圧縮した後、所定フォーマットの静止画像ファイルとして、メディアコントローラ１４６を介してメモリカード１６０に記録する。

なお、ステップＳ３２において、光量の補正を行わないと判定した場合も、操作部１１２からの入力に基づいて撮影画像の記録の要否を判定する（ステップＳ３８）。そして、記録すると判断すると、撮影画像の画像データをメモリカード１６０に記録し、記録しないと判断すると、記録処理を行わず、処理を終了する。この場合、ＲＡＭ１１６に格納した撮影画像の画像データを消去する。

このように、補正量を個別に修正できることにより、撮影者の好みに合った画像を簡単に撮影することができる。この場合、修正の効果を確認しながら修正の指示ができるので、簡単に修正処理を行うことができる。

なお、上記の例では、撮影者が補正量を修正するたびにＥＥＰＲＯＭ１１８に格納された補正量のデータを書き換えるようにしているが、修正量のデータを別途記録し、補正時に適宜デフォルトの補正量を修正して用いるようにしてもよい。

また、上記の例では、補正量の修正時に生成した想定画像の記録を行っていないが、想定画像の記録も行うようにしてもよい。

図７は、想定画像の記録を可能にした補正量の修正手順を示すフローチャートである。

なお、修正が確定し、確定した修正量で補正量を修正するまでの処理（ステップＳ３７までの処理）は、上記と同じなので、ここでは、補正量の修正後の処理について説明する。

確定した修正量で補正量が修正されると（ステップＳ３７）、ＣＰＵ１１０は、図８（ａ）に示すように、モニタ２８の表示を撮影画像の記録の要否を問い合わせる画面に切り替える。撮影者は、このモニタ２８の表示を確認して、撮影した画像の記録の要否を判定する。そして、記録すると判断した場合は、ＭＥＮＵ／ＯＫボタン３８を押下し、記録しないと判断した場合は、ＢＡＣＫボタン４４を押下する。

ＣＰＵ１１０は、操作部１１２からの入力に基づいて撮影画像の記録の要否を判定し（ステップＳ３８）、記録すると判断すると、図８（ｂ）に示すように、モニタ２８の表示を切り替え、どの画像を記録するか問い合わせる画面を表示させる。すなわち、補正前の画像（撮影画像）を記録するか、補正後の画像（想定画像）を記録するか、補正前と補正後の双方の画像を記録するかを問い合わせる画面を表示させる。撮影者は、このモニタ２８の表示に応じて記録する画像を選択する。なお、図８（ｂ）に示す例では、モニタ２８に表示されるカーソルによって、「両方とも記録」、「補正前の画像を記録」、「補正後の画像を記録」のいずれかの項目を選択して、記録する画像を選択するようにしている。

ＣＰＵ１１０は、操作部１１２からの入力に基づいて、補正前の画像（撮影画像）と補正後の画像（想定画像）の双方を記録するか否か判定する（ステップＳ４０）。そして、双方の画像を記録すると判定すると、ＲＡＭ１１６に格納されている補正前の画像（撮影画像）と補正後の画像（想定画像）の双方の画像データを圧縮後、メモリカード１６０に記録する（ステップＳ４１）。

一方、双方の画像を記録しないと判定すると、補正前の画像（撮影画像）のみを記録するか否か判定する（ステップＳ４２）。そして、補正前の画像（撮影画像）のみを記録すると判定すると、ＲＡＭ１１６に格納されている補正前の画像（撮影画像）の画像データのみを圧縮後、メモリカード１６０に記録する（ステップＳ４３）。また、補正前の画像（撮影画像）を記録しないと判定すると、補正後の画像（想定画像）のみを記録するものとして、ＲＡＭ１１６に格納されている補正後の画像（想定画像）の画像データのみを圧縮後、メモリカード１６０に記録する（ステップＳ４４）。

このように、補正後の画像（想定画像）を記録できることにより、撮り直しなどの必要がなくなり、好みの画像を簡単に取得することができる。

なお、上記の例では、記録する画像を選択できるようにしているが、補正後の画像（想定画像）のみを記録できるようにしてもよい。

また、上記の例では、撮影直後に補正量の修正処理を行うようにしているが、撮影済み画像に基づいて補正量の修正処理を行うようにしてもよい。すなわち、修正しようとする表情の発光量でフラッシュを発光させて撮影した画像の画像データをメモリカード１６０から読み出し、当該画像データに対して上記の修正処理を実行するようにしてもよい。

また、発光量修正モード等の専用のモードを用意し、当該モードで撮影した画像に対して、上記の修正処理を実行するようにしてもよい。この場合、ユーザの選択により、当該モードで撮影された画像及び想定画像を記録できるようにすることが好ましい。

また、上記の実施の形態では、撮影対象が一人の場合について説明したが、撮影しようとする画像に複数の人物の顔が検出された場合は、撮影者が選択した人物の顔の表情を基に発光量の補正を行うようにすることが好ましい。なお、選択は、たとえば、図９に示すように、検出された各人物の顔を枠で表示し、カーソルによって、その中の一つを撮影者が選択できるように構成する。

この他、画像の中心に近い人物の顔を検出し、その人物の顔の表情を基に発光量の補正を行うようにしてもよいし、画像中最も大きく写されている人物の顔を検出し、その人物の顔の表情に基づいて発光量の補正を行うようにしてもよい。また、画像に写されている人物の顔全てを検出し、最も多い表情に基づいて発光量の補正を行うようにしてもよい。

また、上記実施の形態では、フラッシュ撮影する場合に本発明を適用する場合について説明したが、いわゆる動画撮影時にビデオライトを照射して撮影する場合にも本発明を適用することができる。すなわち、動画撮影時に被写体の表情、属性に応じてビデオライトの発光量を補正して撮影する。なお、この場合、逐次表情の検出を行って発光量の補正を行うようにしてもよいし、定期的に表情の検出を行って発光量の補正を行うようにしてもよい。

また、本発明の適用は、デジタルカメラに限定されるものではなく、カメラつき携帯電話機やビデオカメラ等の撮像装置にも同様に適用することができる。

デジタルカメラの外観構成を示す正面斜視図 デジタルカメラの外観構成を示す背面斜視図 デジタルカメラの電気的構成を示すブロック図 シーン発光モード時におけるデジタルカメラの撮影処理の手順を示すフローチャート 補正量の修正手順を示すフローチャート 補正量の修正時におけるモニタの表示例を示す図 想定画像の記録を可能にした補正量の修正手順を示すフローチャート 補正量の修正時におけるモニタの表示例を示す図 人物選択時におけるモニタの表示例を示す図

符号の説明

１０…デジタルカメラ、１２…カメラボディ、１４…撮影レンズ、１６…フラッシュ、１８…セルフタイマランプ、２０…ＡＦ補助光ランプ、２２…シャッタボタン、２４…モードレバー、２６…電源ボタン、２８…モニタ、３０…ズームボタン、３２…再生ボタン、３４…ファンクションボタン、３６…十字ボタン、３８…ＭＥＮＵ／ＯＫボタン、４０…ＤＩＳＰ／ＢＡＣＫボタン、１１０…ＣＰＵ、１１２…操作部、１１４…ＲＯＭ、１１６…ＲＡＭ、１１８…ＥＥＰＲＯＭ、１２０…ＶＲＡＭ、１２４…撮影光学系、１２４Ａ…駆動部、１２６…撮影光学系駆動制御部、１２８…撮像素子、１３０…タイミングジェネレータ、１３２…アナログ信号処理部、１３４…Ａ／Ｄコンバータ、１３６…画像入力コントローラ、１３８…画像信号処理部、１４０…圧縮伸張処理部、１４２…顔検出部、１４４…表情判定部、１４６…メディアコントローラ、１４８…表示制御部、１５２…ＡＥ／ＡＷＢ検出部、１５４…ＡＦ検出部、１５６…フラッシュ制御部、１５８…ＡＦ補助光ランプ制御部、１６０…メモリカード

Claims (4)

1. 被写体の画像を取得する撮像手段と、
   所定の発光量で照明光を発光する照明手段と、
   前記撮像手段から得られる画像から人物の顔を抽出する抽出手段と、
   前記抽出手段で抽出された人物の顔画像から該人物の表情及び／又は属性を判別する判別手段と、
   人物の表情及び／又は属性に応じた前記照明光の発光量の補正量の情報が記憶された補正情報記憶手段と、
   前記判別手段で判別された表情及び／又は属性に対応する補正量で前記照明光の発光量を補正する補正手段と、
   を備えたことを特徴とする撮像装置。
2. 前記補正情報記憶手段に記憶された補正量を個別に修正する修正手段を備えたことを特徴とする請求項１に記載の撮像装置。
3. 前記修正手段は、
   修正対象とする補正量で発光量を補正して前記照明手段から照明光を発光させて撮像した画像を取得する画像取得手段と、
   修正量を入力する入力手段と、
   前記入力手段から入力された修正量に応じて前記画像取得手段から取得された画像を補正することにより、前記入力手段から入力された修正量で修正後に得られると想定される画像を生成する画像生成手段と、
   前記画像生成手段で生成された画像を表示する表示手段と、
   前記入力手段から入力された修正量の確定を指示する指示手段と、
   を備え、前記指示手段で確定された修正量を前記選択手段で選択された補正量の修正量とすることを特徴とする請求項２に記載の撮像装置。
4. 前記画像生成手段で生成された画像の記録を指示する記録指示手段と、
   前記記録指示手段の記録指示に応じて前記画像生成手段で生成された画像を記憶メディアに記録する記録制御手段と、
   を備えたことを特徴とする請求項３に記載の撮像装置。

Images