JP4178017B2

JP4178017B2 - 画像処理方法及びデジタルカメラ

Info

Publication number: JP4178017B2
Application number: JP2002313089A
Authority: JP
Inventors: 浩一坂本
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2002-10-28
Filing date: 2002-10-28
Publication date: 2008-11-12
Anticipated expiration: 2022-10-28
Also published as: JP2004153315A

Description

【０００１】
【発明の属する技術分野】
本発明は、顔抽出技術を利用して明るさ補正を行う画像処理方法及びデジタルカメラに関する。
【０００２】
【従来の技術】
近年、デジタルカメラにはＡＥ（自動露出）やＡＦ（自動焦点調整）の機能が装備され、撮影がより容易に行えるようになっている。このＡＥにおける測光方式としては中央重点測光が一般的に知られているが、中央重点測光では主要な被写体が中央にない構図で撮影するような場合、主要被写体に合わせた適正な露出が得られないという問題がある。例えば、主要被写体である人物をフレームの端に置く構図で、背景の中央が白いような場合、ＡＥはその白色に合わせて露出制御を行うため、光量が絞られ、人物の顔が暗く写ってしまうなどの露出不良となる。
【０００３】
中央重点測光の欠点を解決する手段として、複数のポイントにおいて光量を測定するいわゆるマルチパターン測光による露出制御も行われている。マルチパターン測光によれば、フレーム全体で平均的な露出制御が行われるため、上記のように主要被写体である人物が中央にないような場合の問題は幾分解決される。しかし、例えば、逆光で人物を撮影する場合などでは、どのような構図であっても、ＡＥは全体的に明るいと判断して光量を絞るように露出制御を行うため、やはり人物の顔が暗く写るという問題は解決されない。
【０００４】
【発明が解決しようとする課題】
上述のように中央重点測光やマルチパターン測光あるいはそれらを任意に選択できるデジタルカメラでは、撮影時の状況によって顔部の明るさが適正になるような露出制御を行うことはできない。しかし、撮影の対象を人物や風景とする一般的な撮影においては、風景よりも人物、特に人物の顔部の撮影具合が写真（あるいは画像データ）としての出来栄えに影響することから、人物の顔部を適正な明るさすることが望まれる。
【０００５】
本発明は上記事情に鑑みてなされたもので、画像に対する明るさ補正により人物の顔部を良好な明るさ（輝度）にする画像処理方法及びデジタルカメラを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像処理方法は、シャッターボタンの半押しで露出及び焦点調整を行い、シャッターボタンの全押しで露出及び焦点調整後の記録画像を取得して記録するデジタルカメラの画像処理方法において、前記半押しを検出して露出及び焦点処理後の縮小画像を取得するステップと、前記全押しを検出して露出及び焦点処理後の前記縮小画像を分析して人物の顔領域を抽出するステップと、抽出した顔領域の輝度値と顔の適正な明るさにおける輝度値との差分値を、抽出した顔領域の明るさが最適値となる補正量として算出するステップと、前記補正量に基づいて全押し時の前記記録画像の明るさを補正するステップとを含むものである。
【０００８】
本発明のデジタルカメラは、シャッターボタンの半押しで露出及び焦点調整を行い、シャッターボタンの全押しで露出及び焦点調整後の記録画像を取得して記録するデジタルカメラにおいて、前記半押しを検出して露出及び焦点処理後の縮小画像を取得する手段と、前記全押しを検出して露出及び焦点処理後の前記縮小画像を分析して人物の顔領域を抽出する手段と、抽出した顔領域の輝度値と顔の適正な明るさにおける輝度値との差分値を、抽出した顔領域の明るさが最適値となる補正量として算出する手段と、前記補正量に基づいて全押し時の前記記録画像の明るさを補正する手段とを備えるものである。
【０００９】
上記発明によれば、画像から抽出した顔領域の明るさが最適値となる補正量に基づいて記録画像の明るさを補正することで、人物の顔部が良好な明るさ（輝度）の記録画像が得られる。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態のデジタルカメラの構成を示すブロック図であり、主として、レンズ１０１、ＣＣＤ１０２、アナログ信号処理部１０３、Ａ／Ｄ変換器１０４、ＴＧ（タイミングジェネレータ）１０５、制御部１０６、デジタル信号処理部１０７、メモリ１０８、圧縮伸張部１０９、ＬＣＤ１１０、記録部１１１、シャッターボタン１１２、操作スイッチ１１３、顔抽出処理部１１４及び補正量算出部１１５を備える。
【００１１】
レンズ１０１は詳しくはＡＦ（自動焦点調節）機構を備えたズームレンズ（焦点距離可変レンズ）であり、レンズ１０１のＡＦ機構及びズーム機構は図示せぬ駆動回路によって駆動される。なお、ズームレンズに代えて、ＡＦ機構のみを備えた焦点距離構成レンズを用いてもよい。
【００１２】
ＣＣＤ１０２は、マトリクス状またはハニカム状に配置された多数の受光素子を有する光センサで、レンズ１０１の焦点位置に相当するカメラ本体内部の位置に配置されている。
【００１３】
アナログ信号処理部１０３は、ＣＣＤ１０２から出力された画像信号に所定のアナログ処理を行い、画素ごとのＲ、Ｇ、Ｂ信号として出力する。アナログ信号処理部１０３は、内部にＣＤＳ（相関二重サンプリング）回路やＡＧＣ（オートゲインコントロール）回路などを有し、ＣＤＳ回路では画像信号のノイズ低減が、ＡＧＣ回路ではゲイン調整により各画像信号のレベル調整が行われる。
【００１４】
Ａ／Ｄ変換器３３は、アナログ信号処理部３２から順次加えられるＲ、Ｇ、Ｂ信号をデジタル形式のＲ、Ｇ、Ｂ信号に変換して出力する。
【００１５】
タイミングジェネレータ１０５は、ＣＣＤ１０２、アナログ信号処理部１０３、Ａ／Ｄ変換器１０４にタイミング信号を与え、このタイミング信号によって各回路の同期がとられている。
【００１６】
制御部１０６は、バスで接続する各部の動作を制御し、デジタルカメラの撮像動作に係る統括制御を行う。また、シャッターボタン１１２やその他の操作スイッチ１１３からの入力に基づいて、ＡＦ（自動焦点調整）、ＡＥ（自動露出）、ＡＷ（オートホワイトバランス）等の制御を行う制御手段の役割を果たす。制御部１０６は、周辺構成とのデータの受け渡しやタイミング制御などの他に様々な機能をソフトウェア的に行う。
【００１７】
デジタル信号処理部１０７は、入力された画像データに対してホワイトバランス補正、ガンマ（γ）補正、輪郭補正、色補正、ＹＣ処理等の各種処理を行う。さらに、後述する顔部の明るさが最適となる明るさ補正量に基づく明るさ補正を行う。デジタル信号処理部１０７で輝度信号（Ｙ信号）及び色差信号（Ｃr、Ｃb信号）に変換された画像データは、バスを介して画像データ一時記憶用のメモリ１０８に格納される。ＹＣ信号は、圧縮伸張部１０９で所定のフォーマットに従って圧縮されたのち、記録部１１１を介してメモリカードなどの記録媒体に記録される。
【００１８】
メモリ１０８は、ＤＲＡＭ等で構成され、取得した画像データを一時記憶するバッファメモリとしての機能を果たす。各種処理を行うため、画像データはバスを介して接続する各部に読み出され、処理後再び書き込みが行われる。
【００１９】
圧縮伸張部１０９は、メモリ１０８に蓄積された画像データをＪＰＥＧ方式などの所定の圧縮方式で圧縮して記録部１１１に装填された記録媒体に記録したり、記録媒体から読み出された画像データを伸長したりする。圧縮伸張部１０９で圧縮処理を行う際の画像データは、輝度データＹと色差データＣｒ，Ｃｂとに変換されて（ＹＣ分離処理）、メモリ３７に格納されている。一方、記録媒体に記録されている画像データを再生表示する場合、ＹＣ分離により生成された輝度信号および色差信号がＲＧＢ信号に変換される。
【００２０】
ＬＣＤ１１０は画像表示用のディスプレイで、ＲＧＢ信号に基づいてＬＣＤドライバ（図示省略）により駆動される。メモリ１０８に一時記憶されている画像データは、所定の処理が行われた後ＬＣＤ１１０へ転送され、カラー画像が表示される。撮影時はＬＣＤをファインダーとして用いることにより、撮影範囲を正確に決定することができる。
【００２１】
記録部１１１は、取得した画像データと画像データごとのタグ情報をメモリカードなどの記録媒体に記録する。記録の具体的処理は、シャッターボタン１１２の全押しにより撮影（即ち、画像データの取得）が指示されると、上記の一連の画像処理完了後メモリ１０８に記憶された画像のサムネイル画像とＪＰＥＧ方式により圧縮された圧縮画像とが生成され、撮影画像に関するタグ情報（コマ番号、露出値、シャッタースピード、圧縮率、撮影日、撮影時のフラッシュのオン／オフのデータ、シーン情報等）とともに両画像が記録媒体に記録される。
【００２２】
なお、記録媒体は半導体記録メディア等のメモリカードに限定されるものではなく、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＣＤ−ＲＷ等の光記録媒体、フロッピーディスク等の磁気記録媒体、ＭＯ等の光磁気記録媒体等も用いることができ、また、外部記録媒体に限らずハードディスク等の内蔵記録媒体であってもよい。
【００２３】
シャッターボタン１１２は、デジタルカメラに撮影開始を指示するためのスイッチであり、半押し状態と全押し状態とが検出可能な２段階スイッチになっており、シャッターボタン１１２の半押しでＡＦ（自動焦点調整）制御、ＡＥ（自動露出）制御、顔領域抽出用の画像の取得が行なわれ、シャッターボタン１１２の全押しで撮影並びに後述する明るさ補正処理及び画像データの記録が行われる。
【００２４】
ＡＥ制御は、輝度検出及び輝度判定に基づいてシャッタースピードや絞りが自動的に設定する。輝度検出は、ＣＣＤ１０１により所定の間隔で取り込まれ、メモリ１０８に格納される画像データを利用して、Ｒ、Ｇ、Ｂで与えられる画像データの各色成分の輝度値を画像全体に渡って合計または平均して行われる。輝度判定による被写体の明るさの判定結果に基づいてシャッタースピードや絞りの設定が決定される。
【００２５】
ＡＦ制御は、画像データ全体のコントラストの概略値をＡＦ評価値として求めつつレンズ１０１を移動させることによって合焦を行う。例えば、シャッターボタンの半押し時にＧ信号の高周波成分が最大になるようにＡＦモータ駆動回路がＡＦモータを駆動し、合焦位置へレンズを移動させてオートフォーカスを行う。
【００２６】
顔領域抽出処理部１１４は、シャッターボタン１１２の半押しで取得された画像データを保持するメモリと、画像データから画像中に存在する人物の顔に相当する領域を抽出する顔抽出機能とを有する。顔抽出処理は、デジタル信号処理部１０７の輪郭補正等の処理を経た画像データに対して行われる。顔領域の抽出方法は公知の技術（特開平９−１０１５７９号公報等）を用いることができる。
【００２７】
補正量算出部１１５は、抽出した顔領域の明るさ（輝度値）を算出して、算出した明るさと適正な明るさとの差分から補正値を算出する。
【００２８】
上記顔抽出処理及び補正量算出処理は、処理時間が比較的長いため、短時間の処理が要求されるシャッターボタンの半押し後の期間では行わず、長時間の処理が許容されるシャッターボタンの全押し後の期間で行う。
【００２９】
次に、図２に示すフローチャートを参照して本発明の実施の形態のデジタルカメラの動作について説明する。
【００３０】
デジタルカメラの電源スイッチがオンの状態で（ステップＳ１０１）、「撮影」モードがオンである場合（ステップＳ１０２）、制御部１０６はシャッターボタン１１２の半押し（Ｓ１）の検出を行う（ステップＳ１０３）。
【００３１】
シャッターボタン１１２の半押しが検出されると、制御部１０６の指示により、ＡＥとＡＦが実行され（ステップＳ１０４）、上記ＡＥとＡＦによって合焦点、適正露出と判断して取得された画像データがメモリ１０８に格納される。また、同じ画像データは顔領域抽出処理部１１４内のメモリにも顔領域抽出用として格納される（ステップＳ１０５）。格納される画像データは、ＣＣＤの間引きモードにおいて間引きされた縮小画像（例えば、ＶＧＡ程度の画像サイズ）である。
【００３２】
次に、制御部１０６はシャッターボタン１１２の全押し（Ｓ２）の検出を行う（ステップＳ１０６）。シャッターボタン１１２の押下がない場合は、ステップＳ１０７で所定時間の経過を判断し、所定時間が経過していない場合はステップＳ１０６戻り検知を繰り返す。所定時間が経過している場合、撮影動作が行われないものと判断してステップＳ１０３に戻る。
【００３３】
ステップＳ１０６でシャッターボタン１１２の全押しが検出されると、制御部１０６の指示により、画像の記録及び明るさの補正を含む明るさ補正処理が行われる（ステップＳ１０８）。
【００３４】
図３は、記録用に取得した画像に対して行う明るさ補正処理の手順を示すフローチャートである。シャッターボタン１１２の全押しを検出すると、制御部１０６は、画像の記録及び明るさの補正処理を行う。
【００３５】
明るさ補正処理を行うために、顔領域抽出処理部１１４は、ステップＳ１０５で顔領域抽出処理部内のメモリに格納した画像データに対して顔領域抽出処理を行う（ステップＳ２０１）。次に、画像データの被写体が人物で顔の領域が存在する場合、抽出された顔領域の輝度値を算出する（ステップＳ２０２）。
【００３６】
次に、記録用に取得した画像データに対して行う明るさ補正処理を行うための補正値を算出する（ステップＳ２０３）。補正値は、ステップＳ２０２で算出した輝度値と顔の適正な明るさにおける輝度値との差分値である。
【００３７】
前述の通り、ステップＳ２０４でシャッターボタン１１２の全押しと同時にＣＣＤ１０２から記録用の画像が取得され、信号処理された画像データがメモリ１０８に一時記憶される。メモリ１０８に一時記憶された記録用画像データは、再びデジタル信号処理部１０７に読み出され、ステップＳ２０３で算出した補正値に基づいてデジタルゲインの調整等を行い、明るさ補正の画像処理が行われる（ステップＳ２０５）。
【００３８】
図２のフローチャートに戻り、明るさの補正処理が施された画像データは、再びメモリ１０８に一時記憶され、その後ＹＣ処理や圧縮処理などの必要な処理を行ったあと、記録部１１１により記録媒体に記録される。また、必要に応じてＬＣＤ１１０への画像表示も行われる（ステップＳ１０９）。
【００３９】
以上の処理により、記録用に取得した画像データは、被写体の顔の明るさが適正に補正された状態で記録される。この結果、被写体がフレームの中央になかったり（中央重点測光の場合）、逆光であったりして、被写体の顔部に合わせた露出制御が行われず、撮影時（画像データ取得時）には顔の明るさが不適切な画像データであっても、記録媒体に保存される際は、顔の明るさが適正になるように自動的に補正される。
【００４０】
なお、上記の処理において、顔領域抽出処理で複数の顔領域が抽出された場合（即ち複数の人物が被写体として撮像されている場合）、複数の領域で輝度値を求めて平均を算出したり、または、面積が大きい領域だけの輝度値を代表値としたりするなど、適宜適切な条件設定を行う。
【００４１】
また、顔領域抽出処理は撮影時、常に行う必要はなく、例えば、人物を撮影するためのモード（例えば、ポートレート撮影モード）に設定されている場合の撮影時にのみ顔領域抽出処理を実行するようにしてもよい。モード設定で顔領域抽出処理部のオン、オフを制御することにより、人物が撮影されていない画像データに対して顔領域抽出処理を行う等の不要な動作を防止して消費電力の低減を図ることができる。
【００４２】
【発明の効果】
以上説明したように本発明によれば、画像から抽出した顔領域の明るさが最適値となる補正量に基づいて記録画像の明るさを補正することで、人物の顔部が良好な明るさ（輝度）の記録画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態におけるデジタルカメラの構成を示すブロック図。
【図２】デジタルカメラにおける画像処理の手順を示すフローチャート。
【図３】画像処理における明るさ補正の手順を示すフローチャート。
【符号の説明】
１０１レンズ
１０２ＣＣＤ
１０３アナログ処理部
１０４Ａ／Ｄ変換器
１０５タイミングジェネレータ
１０６制御部
１０７デジタル信号処理部
１０８メモリ
１０９圧縮伸長部
１１０ＬＣＤ
１１１記録部
１１２シャッターボタン
１１３操作スイッチ
１１４顔抽出処理部
１１５補正量算出部

Claims

シャッターボタンの半押しで露出及び焦点調整を行い、シャッターボタンの全押しで露出及び焦点調整後の記録画像を取得して記録するデジタルカメラの画像処理方法において、
前記半押しを検出して露出及び焦点処理後の縮小画像を取得するステップと、前記全押しを検出して露出及び焦点処理後の前記縮小画像を分析して人物の顔領域を抽出するステップと、抽出した顔領域の輝度値と顔の適正な明るさにおける輝度値との差分値を、抽出した顔領域の明るさが最適値となる補正量として算出するステップと、前記補正量に基づいて全押し時の前記記録画像の明るさを補正するステップとを含む画像処理方法。
シャッターボタンの半押しで露出及び焦点調整を行い、シャッターボタンの全押しで露出及び焦点調整後の記録画像を取得して記録するデジタルカメラにおいて、
前記半押しを検出して露出及び焦点処理後の縮小画像を取得する手段と、前記全押しを検出して露出及び焦点処理後の前記縮小画像を分析して人物の顔領域を抽出する手段と、抽出した顔領域の輝度値と顔の適正な明るさにおける輝度値との差分値を、抽出した顔領域の明るさが最適値となる補正量として算出する手段と、前記補正量に基づいて全押し時の前記記録画像の明るさを補正する手段とを備えるデジタルカメラ。