JP2010026284A - フラッシュ発光方法及び装置 - Google Patents

フラッシュ発光方法及び装置 Download PDF

Info

Publication number
JP2010026284A
JP2010026284A JP2008188207A JP2008188207A JP2010026284A JP 2010026284 A JP2010026284 A JP 2010026284A JP 2008188207 A JP2008188207 A JP 2008188207A JP 2008188207 A JP2008188207 A JP 2008188207A JP 2010026284 A JP2010026284 A JP 2010026284A
Authority
JP
Japan
Prior art keywords
image
area
moving object
light
light emission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008188207A
Other languages
English (en)
Other versions
JP5425424B2 (ja
Inventor
Shinya Fujiwara
慎也 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008188207A priority Critical patent/JP5425424B2/ja
Priority to US12/458,719 priority patent/US8237854B2/en
Publication of JP2010026284A publication Critical patent/JP2010026284A/ja
Application granted granted Critical
Publication of JP5425424B2 publication Critical patent/JP5425424B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)
  • Exposure Control For Cameras (AREA)
  • Image Analysis (AREA)

Abstract

【課題】動体を含む画像をフラッシュ撮影する際、適切な発光量でフラッシュを発光させることができるフラッシュ発光方法及び装置を提供する。
【解決手段】本撮影前にフラシュを発光させないで撮影した非発光画像と、フラッシュをプリ発光させて撮影した発光画像を取得し、得られた非発光画像と発光画像とに基づいて、本撮影時のフラッシュの発光量(本発光量)を算出する場合において、画角内の動体を検出し、検出した動体が主要被写体の場合は、動体の画像に基づいて、本発光量を算出し、検出した動体が主要被写体でない場合は、動体以外の画像に基づいて、本発光量を算出する。
【選択図】 図17

Description

本発明は、フラッシュ発光方法及び装置に係り、特に本発光前にフラッシュを発光させて撮影した画像(発光画像)と、発光させないで撮影した画像(非発光画像)を取得し、得られた発光画像と非発光画像とに基づいて、本発光時の発光量を決定するフラッシュ発光方法及び装置に関する。
本発光時(本撮影時)におけるフラッシュの発光量を決定する手法の一つとして、いわゆる、CCD調光が知られている(たとえば、特許文献1)。このCCD調光は、本発光前にフラッシュを所定の発光量でプリ発光させて撮影した画像(発光画像)と、発光させないで撮影した画像(非発光画像)を取得し、得られた発光画像と非発光画像とに基づいて、本発光時の発光量を決定(両画像を比較し、プリ発光が画像に与える影響量から本発光時の発光量を決定)する方法である。
また、動体の撮影方法として、特許文献2には、動体までの距離を測距し、動体までの距離が近距離の場合は、絞りを絞り込んでフラッシュ撮影する方法が提案されている。
特開2008−79143号公報 特開平5−216087号公報
ところで、CCD調光では、フラッシュの発光量を決定するために、発光画像と非発光画像の二枚の画像が必要になる。この二枚の画像は、連続して撮影されるが、画角内に動体が含まれていたり、被写体が動いたりすると、適切な発光量を算出できないという欠点がある。特に、背景に光源(ネオン等)が含まれる場合や逆光撮影時には顕著な影響を受け、明るすぎたり、逆に暗すぎたりする画像が撮影されるという欠点がある。
本発明は、このような事情に鑑みてなされたもので、動体を含む画像をフラッシュ撮影する際、適切な発光量でフラッシュを発光させることができるフラッシュ発光方法及び装置を提供することを目的とする。
請求項1に係る発明は、前記目的を達成するために、フラッシュを発光させないで撮影した非発光画像を取得するステップと、フラッシュを所定の発光量で発光させて撮影した発光画像を取得するステップと、取得した非発光画像から動体が存在するエリアを抽出するステップと、取得した発光画像から動体が存在するエリアを抽出するステップと、非発光画像と発光画像の双方で動体が存在しない動体不存在エリアを抽出するステップと、非発光画像における動体不存在エリアの画像と、発光画像における動体不存在エリアの画像とに基づいて、本発光時の発光量を算出するステップと、算出した発光量でフラッシュを本発光させるステップと、からなることを特徴とするフラッシュ発光方法を提供する。
請求項1に係る発明によれば、非発光画像と発光画像とから本発光時の発光量を求めるに際して、取得した非発光画像と発光画像とから動体が存在するエリアが抽出され、その双方で動体が存在しないエリア(動体不存在エリア)の画像に基づいて、発光量が求められる。すなわち、動体が含まれる領域以外の領域の画像に基づいて、本発光時の発光量が求められる(=非発光画像と発光画像とから動体が含まれる領域を除いて、本発光時の発光量が求められる。これにより、画角内に動体が含まれる場合であっても、適切な発光量でフラッシュを発光させることができ、良好な画像を得ることができる。
請求項2に係る発明は、前記目的を達成するために、フラッシュを発光させないで撮影した非発光画像を取得するステップと、フラッシュを所定の発光量で発光させて撮影した発光画像を取得するステップと、取得した非発光画像を複数のエリアに分割するステップと、取得した発光画像を複数のエリアに分割するステップと、分割した非発光画像から動体が存在するエリアを抽出するステップと、分割した発光画像から動体が存在するエリアを抽出するステップと、分割した非発光画像のエリアごとの輝度を算出するステップと、分割した発光画像のエリアごとの輝度を算出するステップと、エリアごとの輝度を算出した非発光画像と発光画像のエリアごとの輝度の差分を算出し、エリアごとの輝度の差分値を取得するステップと、動体が存在するエリアと動体が存在しないエリアとに分けて、各エリアに付与する重みを設定するステップと、算出したエリアごとの輝度の差分値に前記重みを付けて重み付け平均し、反射輝度を取得するステップと、非発光画像のエリアごとの輝度に前記重みを付けて重み付け平均し、非発光輝度を取得するステップと、取得した反射輝度と非発光輝度とに基づいて、本発光時の発光量を算出するステップと、算出した発光量でフラッシュを本発光させるステップと、からなることを特徴とするフラッシュ発光方法を提供する。
請求項2に係る発明によれば、非発光画像と発光画像とから本発光時の発光量を求めるに際して、取得した非発光画像と発光画像とから動体が存在するエリアが抽出され、動体が存在するエリアと動体が存在しないエリアとに分けて、各エリアに付与する重みが設定される。これにより、画角内に動体が含まれる場合であっても、適切な発光量でフラッシュを発光させることができ、良好な画像を得ることができる。
請求項3に係る発明は、前記目的を達成するために、各エリアに付与する重みを設定するステップは、非発光画像において、動体が存在するエリアと動体が存在しないエリアとに分けて、各エリアに付与する重みを設定するステップと、発光画像において、動体が存在するエリアと動体が存在しないエリアとに分けて、各エリアに付与する重みを設定するステップと、非発光画像において、各エリアに設定した重みと、発光画像において、各エリアに設定した重みとを混合して、各エリアに付与する重みを設定するステップと、からなることを特徴とする請求項2に記載のフラッシュ発光方法を提供する。
請求項3に係る発明によれば、各エリアに付与する重みを設定する際、非発光画像と発光画像の双方において、動体が存在するエリアと動体が存在しないエリアとに分けて、各エリアに付与する重みを個別に設定し、設定したエリアごとの重みを混合して、各エリアに付与する重みを設定する。これにより、各エリアに付与する重みを簡便かつ適切に設定することができる。
請求項4に係る発明は、前記目的を達成するために、各エリアに付与する重みを設定するステップは、動体が存在しないエリアに付与する重みに対して、動体が存在するエリアに付与する重みを下げて、各エリアに付与する重みを設定することを特徴とする請求項2又は3に記載のフラッシュ発光方法を提供する。
請求項4に係る発明によれば、各エリアに付与する重みを設定する際、動体が存在するエリアに付与される重みが、動体が存在しないエリアに付与される重みよりも下げられる。これにより、動体の影響をなくして、発光量を求めることができる。
請求項5に係る発明は、前記目的を達成するために、フラッシュを発光させないで撮影した非発光画像を取得するステップと、フラッシュを所定の発光量で発光させて撮影した発光画像を取得するステップと、取得した非発光画像から動体が存在するエリアを抽出するステップと、取得した発光画像から動体が存在するエリアを抽出するステップと、非発光画像における動体が存在するエリアの画像と、発光画像における動体が存在するエリアの画像とに基づいて、本発光時の発光量を算出するステップと、算出した発光量でフラッシュを本発光させるステップと、からなることを特徴とするフラッシュ発光方法を提供する。
請求項5に係る発明によれば、非発光画像における動体が存在するエリアの画像と、発光画像における動体が存在するエリアの画像とに基づいて、本発光時の発光量が決定される。これにより、主要被写体が動いている場合であっても、適切な発光量でフラッシュを発光させることができ、良好な画像を得ることができる。
請求項6に係る発明は、前記目的を達成するために、フラッシュを発光させないで撮影した非発光画像を取得するステップと、フラッシュを所定の発光量で発光させて撮影した発光画像を取得するステップと、取得した非発光画像から動体が存在するエリアを抽出するステップと、取得した発光画像から動体が存在するエリアを抽出するステップと、動体が主要被写体か否かを判定するステップと、動体が主要被写体である場合に、非発光画像における動体が存在するエリアの画像と、発光画像における動体が存在するエリアの画像とに基づいて、本発光時の発光量を算出するステップと、動体が主要被写体でない場合に、非発光画像と発光画像の双方で動体が存在しない動体不存在エリアを抽出し、非発光画像における動体不存在エリアの画像と発光画像における動体不存在エリアの画像とに基づいて、本発光時の発光量を算出するステップと、算出した発光量でフラッシュを本発光させるステップと、からなることを特徴とするフラッシュ発光方法を提供する。
請求項6に係る発明によれば、主要被写体が動いている場合(動体が主要被写体の場合)は、非発光画像における動体が存在するエリアの画像と、発光画像における動体が存在するエリアの画像とに基づいて、本発光時の発光量が決定され、主要被写体が動いていない場合(動体が主要被写体でない場合)は、非発光画像における動体不存在エリアの画像と発光画像における動体不存在エリアの画像とに基づいて、本発光時の発光量が決定される。これにより、シーンに応じて適切な発光量でフラッシュを発光させることができ、良好な画像を得ることができる。
請求項7に係る発明は、前記目的を達成するために、動体が主要被写体か否かを判定するステップは、動体が顔であるか否かを判定し、顔である場合に主要被写体であると判定することを特徴とする請求項6に記載のフラッシュ発光方法を提供する。
請求項7に係る発明によれば、動体が顔である場合に動体が主要被写体であると判定される。
請求項8に係る発明は、前記目的を達成するために、動体が存在するエリアの抽出は、取得した非発光画像と発光画像とに基づいて動体を特定し、特定した動体が存在するエリアを抽出することにより行われることを特徴とする請求項1〜7のいずれか1項に記載のフラッシュ発光方法を提供する。
請求項8に係る発明によれば、取得した非発光画像と発光画像とに基づいて動体が特定される。
請求項9に係る発明は、前記目的を達成するために、動体が存在するエリアの抽出は、非発光画像と発光画像とを取得する前に取得した画像に基づいて動体を特定し、特定した動体が存在するエリアを抽出することにより行われることを特徴とする請求項1〜8のいずれか1項に記載のフラッシュ発光方法を提供する。
請求項9に係る発明によれば、非発光画像と発光画像とを取得する前に取得した画像(たとえば、スルー画像)に基づいて動体が特定される。
請求項10に係る発明は、前記目的を達成するために、フラッシュを発光させないで撮影した非発光画像を取得する非発光画像取得手段と、フラッシュを所定の発光量で発光させて撮影した発光画像を取得する発光画像取得手段と、非発光画像取得手段で取得された非発光画像から動体が存在するエリアを抽出する第1の動体存在エリア抽出手段と、発光画像取得手段で取得された発光画像から動体が存在するエリアを抽出する第2の動体存在エリア抽出手段と、非発光画像と発光画像の双方で動体が存在しない動体不存在エリアを抽出する動体不存在エリア抽出手段と、非発光画像における動体不存在エリアの画像と、発光画像における動体不存在エリアの画像とに基づいて、本発光時の発光量を算出する発光量算出手段と、前記発光量算出手段で算出された発光量でフラッシュを本発光させる発光制御手段と、を備えたことを特徴とするフラッシュ発光装置を提供する。
請求項10に係る発明によれば、非発光画像と発光画像とから本発光時の発光量を求めるに際して、取得した非発光画像と発光画像とから動体が存在するエリアが抽出され、その双方で動体が存在しないエリア(動体不存在エリア)の画像に基づいて、発光量が求められる。これにより、画角内に動体が含まれる場合であっても、適切な発光量でフラッシュを発光させることができ、良好な画像を得ることができる。
請求項11に係る発明は、前記目的を達成するために、フラッシュを発光させないで撮影した非発光画像を取得する非発光画像取得手段と、フラッシュを所定の発光量で発光させて撮影した発光画像を取得する発光画像取得手段と、非発光画像を複数のエリアに分割する第1のエリア分割手段と、発光画像を複数のエリアに分割する第2のエリア分割手段と、第1のエリア分割手段によって複数のエリアに分割された非発光画像から動体が存在するエリアを抽出する動体存在エリア抽出手段と、第2のエリア分割手段によって複数のエリアに分割された発光画像から動体が存在するエリアを抽出する動体存在エリア抽出手段と、第1のエリア分割手段によって複数のエリアに分割された非発光画像のエリアごとの輝度を算出する第1の輝度算出手段と、第2のエリア分割手段によって複数のエリアに分割された発光画像のエリアごとの輝度を算出する第2の輝度算出手段と、エリアごとの輝度が算出された非発光画像と発光画像のエリアごとの輝度の差分を算出する差分値算出手段と、動体が存在するエリアと動体が存在しないエリアとに分けて、各エリアに付与する重みを設定する重み設定手段と、前記差分値算出手段で算出されたエリアごとの輝度の差分値に前記重み設定手段で設定された重みを付けて重み付け平均し、反射輝度を算出する反射輝度算出手段と、非発光画像のエリアごとの輝度に前記重み設定手段で設定された重みを付けて重み付け平均し、非発光輝度を算出する非発光輝度算出手段と、前記反射輝度算出手段で算出された反射輝度と前記非発光輝度算出手段で算出された非発光輝度とに基づいて、本発光時の発光量を算出する本発光量算出手段と、前記本発光量算出手段で算出された発光量でフラッシュを本発光させる発光制御手段と、を備えたことを特徴とするフラッシュ発光装置を提供する。
請求項11に係る発明によれば、非発光画像と発光画像とから本発光時の発光量を求めるに際して、取得した非発光画像と発光画像とから動体が存在するエリアが抽出され、動体が存在するエリアと動体が存在しないエリアとに分けて、各エリアに付与する重みが設定される。これにより、画角内に動体が含まれる場合であっても、適切な発光量でフラッシュを発光させることができ、良好な画像を得ることができる。
請求項12に係る発明は、前記目的を達成するために、前記重み設定手段は、非発光画像において、動体が存在するエリアと動体が存在しないエリアとに分けて、各エリアに付与する重みを設定するとともに、発光画像において、動体が存在するエリアと動体が存在しないエリアとに分けて、各エリアに付与する重みを設定し、非発光画像において、各エリアに設定した重みと、発光画像において、各エリアに設定した重みとを混合して、各エリアに付与する重みを設定することを特徴とする請求項11に記載のフラッシュ発光装置を提供する。
請求項12に係る発明によれば、各エリアに付与する重みを設定する際、非発光画像と発光画像の双方において、動体が存在するエリアと動体が存在しないエリアとに分けて、各エリアに付与する重みを個別に設定し、設定したエリアごとの重みを混合して、各エリアに付与する重みを設定する。これにより、各エリアに付与する重みを簡便かつ適切に設定することができる。
請求項13に係る発明は、前記目的を達成するために、前記重み設定手段は、動体が存在しないエリアに付与する重みに対して、動体が存在するエリアに付与する重みを下げて、各エリアに付与する重みを設定することを特徴とする請求項11又は12に記載のフラッシュ発光装置を提供する。
請求項13に係る発明によれば、各エリアに付与する重みを設定する際、動体が存在するエリアに付与される重みが、動体が存在しないエリアに付与される重みよりも下げられる。これにより、動体の影響をなくして、発光量を求めることができる。
請求項14に係る発明は、前記目的を達成するために、フラッシュを発光させないで撮影した非発光画像を取得する非発光画像取得手段と、フラッシュを所定の発光量で発光させて撮影した発光画像を取得する発光画像取得手段と、前記非発光画像取得手段で取得された非発光画像から動体が存在するエリアを抽出する第1の動体存在エリア抽出手段と、前記発光画像取得手段で取得された発光画像から動体が存在するエリアを抽出する第2の動体存在エリア抽出手段と、前記第1の動体存在エリア抽出手段で抽出されたエリアの画像と、前記第2の動体存在エリア抽出手段で抽出されたエリアの画像とに基づいて、本発光時の発光量を算出する発光量算出手段と、前記発光量算出手段によって算出された発光量でフラッシュを本発光させる発光制御手段と、を備えたことを特徴とするフラッシュ発光装置を提供する。
請求項14に係る発明によれば、非発光画像における動体が存在するエリアの画像と、発光画像における動体が存在するエリアの画像とに基づいて、本発光時の発光量が決定される。これにより、主要被写体が動いている場合であっても、適切な発光量でフラッシュを発光させることができ、良好な画像を得ることができる。
請求項15に係る発明は、前記目的を達成するために、フラッシュを発光させないで撮影した非発光画像を取得する非発光画像取得手段と、フラッシュを所定の発光量で発光させて撮影した発光画像を取得する発光画像取得手段と、前記非発光画像取得手段で取得された非発光画像から動体が存在するエリアを抽出するステップと、前記発光画像取得手段で取得された発光画像から動体が存在するエリアを抽出するステップと、動体が主要被写体か否かを判定する判定手段と、動体が主要被写体である場合に、非発光画像における動体が存在するエリアの画像と、発光画像における動体が存在するエリアの画像とに基づいて、本発光時の発光量を算出する第1の発光量算出手段と、動体が主要被写体でない場合に、非発光画像と発光画像の双方で動体が存在しない動体不存在エリアを抽出し、非発光画像における動体不存在エリアの画像と発光画像における動体不存在エリアの画像とに基づいて、本発光時の発光量を算出する第2の発光量算出手段と、前記第1の発光量算出手段又は前記第2の発光量算出手段で算出された発光量でフラッシュを本発光させる発光制御手段と、を備えたことを特徴とするフラッシュ発光装置を提供する。
請求項15に係る発明によれば、主要被写体が動いている場合(動体が主要被写体の場合)は、非発光画像における動体が存在するエリアの画像と、発光画像における動体が存在するエリアの画像とに基づいて、本発光時の発光量が決定され、主要被写体が動いていない場合(動体が主要被写体でない場合)は、非発光画像における動体不存在エリアの画像と発光画像における動体不存在エリアの画像とに基づいて、本発光時の発光量が決定される。これにより、シーンに応じて適切な発光量でフラッシュを発光させることができ、良好な画像を得ることができる。
請求項16に係る発明は、前記目的を達成するために、前記非発光画像取得手段で取得された非発光画像から顔を抽出する第1の顔抽出手段と、前記発光画像取得手段で取得された発光画像から顔を抽出する第2の顔抽出手段と、を備え、前記判定手段は、動体が顔であるか否かを判定し、顔である場合に主要被写体であると判定することを特徴とする請求項15に記載のフラッシュ発光装置を提供する。
請求項16に係る発明によれば、動体が顔である場合に動体が主要被写体であると判定される。
請求項17に記載の発明は、前記目的を達成するために、前記非発光画像取得手段で取得された非発光画像と前記発光画像取得手段で取得された発光画像とに基づいて動体を特定する動体特定手段を備え、前記第1の動体存在エリア抽出手段と前記第2の動体存在エリア抽出手段は、前記動体特定手段で特定された動体が存在するエリアを抽出して、画像から動体が存在するエリアを抽出することを特徴とする請求項10〜17のいずれか1項に記載のフラッシュ発光装置を提供する。
請求項17に係る発明によれば、取得した非発光画像と発光画像とに基づいて動体が特定される。
請求項18に係る発明は、前記目的を達成するために、非発光画像と発光画像とを取得する前に連続的に画像を取得する連続画像取得手段と、前記連続画像取得手段で連続的に取得された画像に基づいて動体を特定する動体特定手段と、を備え、前記第1の動体存在エリア抽出手段と前記第2の動体存在エリア抽出手段は、前記動体特定手段で特定された動体が存在するエリアを抽出して、画像から動体が存在するエリアを抽出することを特徴とする請求項10〜17のいずれか1項に記載のフラッシュ発光装置を提供する。
請求項9に係る発明によれば、非発光画像と発光画像とを取得する前に取得した画像(たとえば、スルー画像)に基づいて動体が特定される。
本発明によれば、動体を含む画像をフラッシュ撮影する際、適切な発光量でフラッシュを発光させることができる。
以下、添付図面を参照して、本発明に係るフラッシュ発光方法及び装置の好ましい実施の形態について詳説する。
[第1の実施の形態]
図1は、本発明が適用されたデジタルカメラの構成の一実施形態を示すブロック図である。
同図に示すように、本実施の形態のデジタルカメラ10は、撮影光学系12、イメージセンサ(CCD)14、タイミングジェネレータ(TG)16、アナログ信号処理部18、A/D変換器20、画像入力コントローラ22、デジタル信号処理部24、表示制御部28、画像表示部30、圧縮・伸張処理部32、メディアコントローラ34、記憶メディア36、AE検出部38、AF検出部40、中央処理装置(CPU)42、ROM44、RAM46、フラッシュROM48、操作部50、顔検出部52、動体検出部54、調光部56、フラッシュ制御部58、フラッシュ装置60等を備えて構成されている。
操作部50は、シャッタボタン、電源スイッチ、撮影/再生モード選択スイッチ、バックスイッチ、メニュー/OKスイッチ、及びマルチファンクションの十字キー等を備えて構成されており、この操作部50からの入力に応じて、各種処理が実行される。
なお、本実施の形態のデジタルカメラ10において、シャッタボタンは、2段ストローク式の押下ボタンで構成されており、半押し時にONするスイッチS1と、全押し時にONするスイッチS2とを備えて構成されている。
デジタルカメラ10の全体の動作は、CPU42によって統括制御されており、CPU42は、操作部50からの入力に基づき所定のプログラムに従ってデジタルカメラ10の各部を制御する。
ROM44には、このCPU42が実行するプログラムの他、プログラム線図等の制御に必要なデータが格納されている。CPU42は、このROM44に格納されたプログラムをRAM46に展開し、RAM46を作業メモリとして使用しながら各種処理を実行する。また、フラッシュROM48には、ユーザ設定情報等のデジタルカメラ10の動作に関する各種設定情報等が格納されている。
撮影光学系12は、ズームレンズ装置で構成されており、ズーミングを行うズームレンズ12zと、フォーカシングを行うフォーカスレンズ12fと、光量調節を行う絞り12iを備えて構成されている。
ズームレンズ12zは、ズームモータ62zに駆動されて撮影光軸上を前後移動し、これにより、焦点距離が変化する。
フォーカスレンズ12fは、フォーカスモータ62fに駆動されて撮影光軸上を前後移動し、これにより結像位置が変化する。
絞り12iは、たとえば、虹彩絞りで構成され、アイリスモータ62iに駆動されて、その開口量(絞り値)が連続的又は段階的に変化する。
CPU42は、ズームモータドライバ64z、フォーカスモータドライバ64f、アイリスモータドライバ64iを介してズームモータ64z、フォーカスモータ62f、アイリスモータ62iの駆動を制御し、ズームレンズ12z、フォーカスレンズ12f、絞り12iの動作を制御する。
イメージセンサ14は、所定のカラーフィルタ配列(たとえば、ベイヤ配列)のカラーCCDで構成されている(以下、「CCD」という。)。撮影光学系12を介してCCD14の受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ(TG)16から加えられるタイミング信号に従って読み出され、電圧信号(画像信号)としてCCD14から順次出力される。
このCCD14には、シャッタゲートとシャッタドレインが備えられており、シャッタゲートにシャッタゲートパルスを印加することで各フォトダイオードに蓄積された信号電荷をシャッタドレインに掃き出すことができる。CPU42は、TG16を介してシャッタゲートへのシャッタゲートパルスの印加を制御することにより、各フォトダイオードに蓄積される信号電荷の電荷蓄積時間(いわゆる電子シャッタによるシャッタ速度)を制御する。
なお、本実施の形態では、イメージセンサ14にCCDを用いているが、イメージセンサ14には、CMOS等の他の構成のものを用いることもできる。
アナログ信号処理部18は、CDS回路及びアナログアンプを含み、CDS回路は、TG16から加えられるCDSパルスに基づいて、CCD出力信号を相関二重サンプリング処理し、アナログアンプは、CPU42から加えられる撮影感度に応じて設定されたゲインによってCDS回路から出力される画像信号を増幅する。
A/D変換器20は、アナログ信号処理部18から出力されたアナログの画像信号をデジタルの画像信号に変換する。
画像入力コントローラ22は、所定容量のバッファメモリを内蔵しており、CPU42による制御の下、A/D変換器20から出力された画像信号を1コマ分蓄積し、RAM46に格納する。
図2は、デジタル信号処理部24の構成を示すブロック図である。
同図に示すように、デジタル信号処理部24は、オフセット補正回路24A、ゲイン補正回路24B、ガンマ補正回路24C、同時化回路24D、RGB/YC変換回路24E、ノイズフィルタ回路24F、輪郭補正回路24G、及び色差マトリクス回路24H、及び、ホワイトバランスゲイン算出回路24Iを備えて構成されており、CPU42による制御の下、RAM46に格納された画像信号(R、G、BのRAWデータ)に所定の信号処理を施して、輝度信号(Y)と色差信号(Cr、Cb)とからなるYC信号を生成する。具体的には、次のようにして、YC信号(YCデータ)を生成する。
RAM46に格納されたR、G、Bの画像信号(R、G、B信号)は、CCD14のカラーフィルタ配列に応じて順次デジタル信号処理部24に取り込まれる。
デジタル信号処理部24に取り込まれたR、G、B信号は、まず、オフセット補正回路24Aに加えられる。オフセット補正回路24Aは、入力されたR、G、B信号に対してオフセット処理を施し、黒レベルを揃える。
オフセット処理されたR、G、B信号は、ゲイン補正回路24Bに加えられる。ゲイン補正回路24Bは、入力されたR、G、B信号に対してゲイン補正を行い、ホワイトバランス(WB)を補正する。このゲイン補正回路24Bには、WBゲイン算出回路24Iによって決定されたR、G、B信号別のWBゲインRg,Gg,Bgが加えられており、ゲイン補正回路24Bは、入力されたR、G、B信号を対応するWBゲインRg,Gg,Bgを用いて、ゲイン補正する。
ゲイン補正されたR、G、B信号は、ガンマ補正回路24Cに加えられる。ガンマ補正回路24Cは、入力されたR、G、B信号に対してガンマ補正を行い、階調変換を行う。
ガンマ補正されたR、G、B信号は、同時化回路24Dに加えられる。同時化回路24Dは、単板CCDのカラーフィルタ配列に伴うR、G、B信号の空間的なズレを補間して、R、G、B信号を同時式に変換する。
同時化されたR、G、B信号は、RGB/YC変換回路24Eに加えられる。RGB/YC変換回路24Eは、同時化されたR、G、B信号を輝度信号Yと色差信号Cr/Cbに変換する。
生成された輝度信号Yは、ノイズフィルタ回路24Fを介して輪郭補正回路24Gに出力され、色差信号Cr/Cbは、ノイズフィルタ回路24Fを介して色差マトリクス回路24Hに出力される。
輪郭補正回路24Gは、入力された輝度信号Yに対して、輪郭部(輝度変化の大きい部分)を強調する処理を行い、色差マトリクス回路24Hは、入力された色差信号Cr/Cbに対して、所要のマトリクス変換を行って、良好な色再現性を実現させる。
このように、デジタル信号処理部24は、RAM46から取り込んだR、G、Bの画像信号(R、G、B信号)に所定の信号処理を施して、輝度信号(Y)と色差信号(Cr、Cb)を生成する。
なお、画像表示部30にスルー画像(ライブ画像と同義)を表示させる場合は、CCD14で連続的に画像を撮像し、得られた画像信号を連続的に処理して、連続的にYC信号を生成する。生成されたYC信号は、RAM46を介して表示制御部28に加えられ、この表示制御部28によって表示用の信号形式に変換されて、画像表示部30に出力される。これにより、画像表示部30にスルー画像が表示される。
また、画像を記録する場合は、シャッタボタンからの撮影指令に応じて、CCD14で1コマ分の画像を撮像し、得られた画像信号を処理して、1コマ分のYC信号を生成する。生成されたYC信号は、RAM46を介して圧縮・伸張処理部32に加えられ、この圧縮・伸張処理部32で所定の圧縮フォーマット(たとえば、JPEG)に従って圧縮されたのち、RAM46に格納される。そして、所定のファイルフォーマット(たとえば、Exif)の画像ファイルとされたのち、メディアコントローラ34を介して記憶メディア36に格納される。
なお、YCデータは、圧縮せずに記録することもでき、この場合は、圧縮処理を経ずに、生成されたYCデータが、所定のファイルフォーマットの画像ファイルとされて、記憶メディア36に格納される。
同様に、CCD14から出力されて、デジタル化されたR、G、Bの画像信号(いわゆるRAWデータ)をそのまま記録することもでき、この場合は、YC信号への変換処理を行わずに、所定のファイルフォーマットの画像ファイルとして、記憶メディア36に格納される。
このようにして記憶メディア36に格納された画像は、再生指令に応じて記憶メディア36から読み出され、圧縮・伸張処理部32で非圧縮のYC信号とされたのち(再生対象画像の画像データが圧縮画像データの場合)、表示制御部28を介して画像表示部30に出力される。これにより、記憶メディア36に記録された画像が画像表示部30に再生表示される。
AE検出部38は、RAM46に格納された画像信号からAE(Auto Exposure:自動露出)制御に必要なエリアごとの画像信号の積算値を算出する。すなわち、1画面を複数のエリア(本例では8×8)に分割し、分割したエリアごとに画像信号の積算値を算出する。算出されたエリアごとの画像信号の積算値の情報は、CPU42に出力され、CPU42は、このAE検出部38から得た積算値の情報と、画像信号取得時の絞り値、シャッタ速度の情報等に基づいて、AE制御に必要なEV値を算出する。そして、求めたEV値に基づいて、本撮影時の露出を決定する。たとえば、あらかじめ用意されたプログラム線図を利用して、求めたEV値から本撮影時の露出(絞り、シャッタ速度)を決定する。
AF検出部40は、R、G、Bの画像信号からAF(Auto Focus:自動焦点合せ)制御に必要なAF評価値を算出する。すなわち、本実施の形態のデジタルカメラ10では、いわゆるコントラストAFによりAF制御が行われ、AF検出部40は、入力された画像信号から画像の鮮鋭度を示すAF評価値を算出する。算出されたAF評価値は、CPU42に出力され、CPU42は、このAF検出部40から得られるAF評価値が極大となるように、フォーカスレンズ12fの位置を制御する。たとえば、フォーカスレンズ12fを至近から無限遠まで所定のステップで移動させ、各位置でAF評価値を取得する。そして、AF評価値が極大となる位置を検出し、検出された位置にフォーカスレンズ12fを移動させる。
顔検出部52は、撮影画像中に含まれる被写体(人物)の顔を検出し、その位置や大きさの情報をCPU42に出力する。
顔検出の技術は、公知技術なので、詳細な説明は省略するが、たとえば、顔画像テンプレートとの相関を調べて、顔エリアを検出する方法を用いることができる。この方法は、顔検出枠を画面内で少しずつ移動(走査)させながら、顔画像テンプレートとの相関を調べ、相関スコアが閾値を越えた顔検出枠の領域を顔エリアとして認定するものであり、顔検出枠を段階的に小さくしながら繰り返し実施するものである。この他、顔検出の技術には、種々の方式が存在するので(たとえば、エッジ検出又は形状パターン検出による顔検出、色相検出又は肌色検出による顔検出等)、適宜最適な方式のものを選択して用いることができる。
顔検出部52で検出された顔エリアの情報(顔エリアの大きさ及び位置を示す情報)は、CPU42に出力される。検出された顔エリアの情報は、必要に応じてAF、AE制御等に利用される。たとえば、顔AFとして、検出された顔エリアに合焦するように、AF制御が行われる。また、顔AEとして、検出された顔エリアの明るさが人物に適した明るさとなるように、AE制御が行われる。
動体検出部54は、撮影画像中の動きのある領域(動体)を抽出し、その位置や大きさの情報をCPU42に出力する。
動体検出の技術は、公知技術なので、詳細な説明は省略するが、たとえば、時間的に前後する2枚の画像の差分(たとえば、輝度の差分や輪郭の差分等)を求めることにより、画像の動きのある領域(動体が存在する領域)を検出する方法を用いることができる。
この他、動体の移動量及び移動方向(移動ベクトル)を検出する方法として、次の方法を用いることができる。
図3は、動き検出の原理を説明する説明図である。画像は、一定の時間間隔で連続的に撮像されるものとする。図3(a)に示すNコマ目の画像1中の所定アドレスで示されるブロック2内の画像を基準画像とすると、図3(b)に示す(N+1)コマ目の画像3中の同一アドレスで示されるブロック4によって切り出された比較画像が、基準画像と同一であれば、ブロック2内の画像は動いていないことになる。
しかし、ブロック2内に撮影されている画像が動いていれば、この画像は、(N+1)コマ目の画像では、ブロック4内には存在しない。
そこで、ブロック4を(N+1)コマ目の画像中で4a、4b、4c、…と、X方向(水平方向)、Y方向(垂直方向)に1画素単位又は数画素単位でずらしながら、各ブロック4a、4b、4c、…中のそれぞれの画像を基準画像(ブロック2内の画像)と比較し、基準画像と最も相関性が高い比較画像を切り出したブロック位置を求める。
図3(b)に示す例で、ブロック2の基準画像に対し最も相関性の高い比較画像がブロック4cで切り出されたとすると、ブロック2内の基準画像が移動した移動量及び移動方向は、移動ベクトルKで示すことができる。
動体検出の技術には、この他にも種々の方式が存在するので、適宜最適な方式のものを選択して用いることができる。
後述するように、検出した動体の位置、大きさ情報は、フラッシュの発光量の算出に用いられる。すなわち、本実施の形態のデジタルカメラ10では、フラッシュ撮影時に、いわゆるCCD調光によってフラッシュの発光量が決定されるが、この際、取得した非発光画像と発光画像とから動体が存在するエリアが抽出され、その双方で動体が存在しないエリアの画像に基づいて、フラッシュの発光量が求められる。あるいは、非発光画像の動体が存在するエリアの画像と発光画像の動体が存在するエリアの画像に基づいて、フラッシュの発光量が求められる。
この際、画像中の動体領域(動体が存在する領域)の検出は、非発光画像と発光画像とを利用して行われる。また、スルー画像を撮影している場合には、取得したスルー画像を利用して行われる。
調光部56は、本撮影時(本発光時)におけるフラッシュ装置60の発光量を算出する。上述したように、この調光部56は、いわゆるCCD調光によって発光量を算出する。すなわち、所定の発光量でフラッシュ装置60をプリ発光させて撮影した画像(発光画像)と、発光させないで撮影した画像(非発光画像)とに基づいて、本撮影時のフラッシュ装置60の発光量を決定する。この際、動体検出部54による動体の検出結果の情報を利用して、発光量を決定する。具体的には、次のようにして、本発光時のフラッシュの発光量を決定する。
この調光部56は、図4に示すように、輝度算出部56A、発光量算出部56B、重み算出部56Cを備えて構成されている。
輝度算出部56Aは、発光画像と非発光画像のエリアごとの平均輝度を算出する。この輝度算出部56Aには、発光画像の画像信号と非発光画像の画像信号が入力される。輝度算出部56Aは、入力された発光画像を複数のエリア(本例では8×8)に分割し、分割したエリアごとの平均輝度を算出する。同様に、入力された非発光画像を複数のエリア(8×8)に分割し、分割したエリアごとの平均輝度を算出する。算出されたエリアごとの平均輝度の情報は、発光量算出部56Cに出力される。
発光量算出部56Bは、輝度算出部56Aで算出された発光画像のエリアごとの平均輝度と、非発光画像のエリアごとの平均輝度とに基づいて、本発光時のフラッシュ発光量(発光時間)を算出する。具体的には、次の手順で発光量(発光時間)を算出する。
まず、発光画像のエリアごとの平均輝度から非発光画像のエリアごとの平均輝度を差し引くことにより、エリアごとの反射輝度を算出する。
次に、得られたエリアごとの反射輝度に重み算出部56Cで算出された重みを付けて重み付け平均し、反射輝度を算出する。同様に、非発光画像のエリアごとの反射輝度に重み算出部56Cで算出された重みを付けて重み付け平均し、非発光輝度を算出する。
次に、所定の目標輝度から非発光輝度を引き、反射輝度で割ることにより、プリ発光に対して何倍の発光量で発光すれば、最適な発光量となるか(発光倍率)を算出する(発光倍率=([目標輝度]−[非発光輝度])/[反射輝度])。
このようにして算出した発光倍率を満たす発光量(発光時間)を求める。なお、発光量(発光時間)は、フラッシュ装置60を構成する発光管により特性が異なるため、あらかじめルックアップテーブル等にて発光倍率と対応させておく。
重み算出部56Cは、発光量算出部56Bで使用する重みを算出する。この重み算出部56Cには、動体検出部54で検出された発光画像の動体検出結果の情報と、非発光画像の動体検出結果の情報とが入力され、重み算出部56Cは、入力された発光画像の動体検出結果の情報と、非発光画像の動体検出結果の情報とに基づいて、各エリアに設定する重みを算出する。
たとえば、図5に示すように、まず、入力された発光画像の動体検出結果の情報と、非発光画像の動体検出結果の情報とに基づいて、発光画像における動体存在エリア(動体が存在するエリア)と、非発光画像における動体存在エリアを抽出する。そして、その抽出結果に基づいて、重み付けするエリアを動体存在エリアと動体不存在エリアとに区分けする(いずれか一方の画像で動体が存在したエリアが動体存在エリアとなり、それ以外のエリアが動体不存在エリアとなる。)。なお、この重み付けするエリアは、平均輝度を算出する際に区分けするエリアと同じである(したがって、本例では8×8)。
この後、区分けした動体存在エリアの重みを0、動体不存在エリアの重みを1に設定し、設定した重みをあらかじめ設定されたエリアごとの重み係数に掛けて、各エリアに設定する重みを算出する。すなわち、図6に示すように、各エリアには、あらかじめ重み係数が設定されており(同図に示す例は、中央重点の重み付けを行った例である。)、この重み係数に動体存在エリアと動体不存在エリアとに分けて設定した重みを掛けて、本発光量の算出に使用するエリアごとの重み係数を算出する。
このように重み付けすることにより、発光量算出時に動体が存在するエリアの情報を排除して、発光量を算出することができ、画角内に動体が含まれる場合であっても、適切にフラッシュの発光量を設定することができる。
なお、上記の例は、中央重点の重み付けを行う例であるが、あらかじめ設定する重み係数は、これに限定されるものではない。顔の検出結果を利用して、顔に重点を置いて重み付けすることもできる。
また、このような重み付けをしない場合には、動体存在エリアと動体不存在エリアとに分けて設定した重みが、各エリアに設定する最終的な重みとなる。
フラッシュ制御部58は、CPU42からの指令に応じて、フラッシュ装置60の駆動(発光)を制御する。
フラッシュ装置60は、たとえば、キセノン管を光源として構成され、メインコンデンサ、その他の駆動回路を含んで構成されている。なお、フラッシュ装置60は、この他、LED等を光源として構成することもできる。
次に、以上のように構成された本実施の形態のデジタルカメラ10によるフラッシュ撮影の処理の手順について説明する。
図7は、フラッシュ撮影時における撮影処理の手順を示すフローチャートである。
上記のように、本実施の形態のデジタルカメラ10は、シャッタボタンの半押しで撮影準備(AE/AF等)の処理が行われ、全押しで本撮影が実行される。
まず、CPU42は、操作部50からの入力に基づいて、シャッタボタンが半押しされたか否か判定する。なお、上記のように、シャッタボタンは、半押しされると、スイッチS1がONされるので、CPU42は、このスイッチS1がONされたか否かを判定して、シャッタボタンが半押しされたか否かを判定する(ステップS10)。
スイッチS1がONされると、CPU42は撮影準備処理を実行する(ステップS11)。すなわち、AE、AFの各処理を実行し、本撮影時における露出を設定するとともに、主要被写体に焦点を合せる。
撮影準備が完了すると、CPU42は、操作部50からの入力に基づいて、シャッタボタンが全押しされた否かを判定する。すなわち、本撮影の実行が指示されたか否かを判定する。ここで、上記のように、シャッタボタンは、全押しされると、スイッチS2がONされるので、CPU42は、このスイッチS2がONされたか否かを判定して、シャッタボタンが全押しされたか否かを判定する(ステップS12)。
シャッタボタンが全押しされたと判定すると、CPU42は、調光処理を実行する。
まず、フラッシュ非発光の状態でCCD14を露光し、非発光画像を取得する(ステップS13)。
次いで、フラッシュを所定の光量で発光させてCCD14を露光し、発光画像を取得する(ステップS14)。
そして、得られた非発光画像と発光画像とに基づいて、本撮影時(本発光時)におけるフラッシュの発光量を算出する処理を実行する(ステップS15)。
図8は、非発光画像と発光画像とに基づく本発光量の算出処理の手順を示すフローチャートである。
まず、取得した非発光画像から動体の検出処理が行われる(ステップS20)。すなわち、動体検出部54において、非発光画像に含まれる動体の位置、大きさが検出される。
なお、ここでの動体検出は、たとえば、非発光画像を取得する直前に得られたスルー画像との比較で行われ、非発光画像を取得する直前に得られたスルー画像と非発光画像とが動体検出部54に加えられて、非発光画像に含まれる動体の位置、大きさが検出される。
検出された動体の位置、大きさの情報は、CPU42に出力され、CPU42は、得られた情報を調光部56に加える。
次に、取得した非発光画像からエリアごとの平均輝度の算出処理が行われる(ステップS21)。すなわち、調光部56において、非発光画像が複数のエリア(本例では、8×8のエリア)に分割され、分割されたエリアごとに平均輝度が算出される。
次に、取得した発光画像から動体の検出処理が行われる(ステップS22)。すなわち、動体検出部54において、発光画像に含まれる動体の位置、大きさが検出される。
なお、ここでの動体検出は、たとえば、非発光画像との比較で行われ、非発光画像と発光画像とが動体検出部54に加えられて、発光画像に含まれる動体の位置、大きさが検出される。あるいは、非発光画像を取得する直前に得られたスルー画像との比較で行われ、非発光画像を取得する直前に得られたスルー画像と発光画像とが動体検出部54に加えられて、発光画像に含まれる動体の位置、大きさが検出される。
検出された動体の位置、大きさの情報は、CPU42に出力され、CPU42は、得られた情報を調光部56に加える。
次に、取得した発光画像からエリアごとの平均輝度の算出処理が行われる(ステップS23)。すなわち、調光部56において、発光画像が複数のエリア(本例では、8×8のエリア)に分割され、分割されたエリアごとに平均輝度が算出される。
次に、調光部56の重み算出部56Cにて、非発光画像における動体の検出結果の情報と、発光画像における動体の検出結果の情報とに基づいて、本発光の発光量の算出に必要な重みの設定処理が行われる(ステップS24)。すなわち、非発光画像と発光画像の双方で動体が存在しないエリアの画像に基づいて、発光量が求められるように(動体が含まれる領域以外の領域の画像に基づいて、本発光時の発光量が求められるように)、各エリアに設定する重み係数が算出される。
なお、双方の画像に動体が検出されない場合は、通常通り、画面全体から発光量が求められるように、各エリアに設定する重み係数が算出される。
CPU42は、すべてのエリアの重み係数の設定が完了したか否かを判定し(ステップS25)、すべてのエリアの重み係数の設定が完了したと判定すると、設定した重み係数を用いて、調光部56の発光量算出部56Bに本撮影時のフラッシュの発光量(本発光量)の算出処理を実行させる(ステップS26)。
この場合、まず、発光画像のエリアごとの平均輝度から非発光画像のエリアごとの平均輝度を差し引くことにより、エリアごとの反射輝度を算出する。そして、得られたエリアごとの反射輝度に重み算出部56Cで算出された重みを付けて重み付け平均し、反射輝度を算出する。同様に、非発光画像のエリアごとの反射輝度に重み算出部56Cで算出された重みを付けて重み付け平均し、非発光輝度を算出する。そして、所定の目標輝度から非発光輝度を引き、反射輝度で割ることにより、発光倍率を算出し、算出した発光倍率を満たす発光量(発光時間)を求める。
以上により、本発光量の演算処理が完了する。調光部56は、算出した本発光量の情報をCPU42に出力する。
この後、CPU42は、図6に示すように、取得した発光量でフラッシュ装置60を発光させて、本撮影の処理を実行する(ステップS16)。すなわち、取得した発光量でフラッシュ装置60が発光するように、フラッシュ制御部58に指令し、CCD14の露光に同期させて、フラッシュを発光させる。そして、得られた画像を記憶メディア36に記録する。
このように、本実施の形態のデジタルカメラ10では、本撮影時におけるフラッシュの発光量(本発光量)を求める際、動体が含まれる領域以外の領域の画像に基づいて、本発光時の発光量を求めるので、画角内に動体が含まれる場合であっても、適切な発光量でフラッシュを発光させることができる。これにより、良好な画像を得ることができる。
なお、上記の例では、動体存在エリアと動体不存在エリアとに分けて重みを設定する際、動体存在エリアの重みを0、動体不存在エリアの重みを1に設定しているが、各エリアに設定する重みは、これに限定されるものではない。少なくとも動体存在エリアの重みを動体不存在エリアの重みよりも下げて設定することにより、動体の影響を排除することができる。したがって、たとえば、動体不存在エリアの重みを1、動体存在エリアの重みを0.5に設定することもできる。
また、上記の例では、調光処理を行うに際して、先に非発光画像を取得しているが、非発光画像と発光画像を取得する順番は、特に限定されるものではなく、先に発光画像を取得するようにしてもよい。
また、動体検出を行う順番、平均輝度を算出する順番も特に限定されるものではなく、先に発光画像について、動体検出と平均輝度の算出を行ってもよい。
また、上記の例では、非発光画像に含まれる動体の位置、大きさを検出する方法として、非発光画像を取得する直前に得られたスルー画像との比較で検出する方法を例示しているが、非発光画像及び発光画像に含まれる動体の位置、大きさを検出する方法は、これに限定されるものではない。たとえば、非発光画像と発光画像との比較で非発光画像及び発光画像に含まれる動体の位置、大きさを検出することもできる。
また、比較する画像は1枚に限らず、複数枚の画像に基づいて、画像中に含まれる動体の検出を行うこともできる。たとえば、非発光画像に含まれる動体を検出する場合において、非発光画像を取得する直前に得られた複数枚のスルー画像を参酌して、非発光画像に含まれる動体を検出することもできる。同様に、発光画像に含まれる動体を検出する場合において、非発光画像を取得する直前に得られた複数枚のスルー画像及び非発光画像を参酌して、発光画像に含まれる動体を検出することもできる。
また、先に平均輝度の算出を行ったのち、動体検出の処理を行うようにしてもよい。
また、本実施の形態では、エリアごとの平均輝度を算出するに際して、調光部56で独自に算出するようにしているが、AE検出部38の検出結果を利用して、算出するようにしてもよい。
また、本実施の形態では、調光処理を専用のハードウェア回路(調光部)を用いて行っているが、同様の機能を実現するソフトウェアで処理することもできる。
また、本実施の形態では、画角内を複数のエリアに分割し、エリア単位で動体の有無を判別しているが、動体そのものを抽出し、それ以外の領域の画像に基づいて、本発光量を算出するようにしてもよい。
[第2の実施の形態]
次に、本発明に係るフラッシュ発光方法の第2の実施の形態について説明する。
なお、上述した第1の実施の形態とは、本発光量の算出処理の手順が異なるだけなので、ここでは、本発光量の算出処理の手順についてのみ説明する。
図9は、本発光量の算出処理の手順の第2の実施の形態を示すフローチャートである。
本発光量の算出処理に先立って、非発光画像と発光画像を取得する点は、上記第1の実施の形態と同じである(図7参照)。
まず、取得した非発光画像から動体の検出処理が行われる(ステップS30)。ここでの動体検出は、上記実施の形態と同様に、たとえば、非発光画像を取得する直前に得られたスルー画像との比較で行われる。検出された動体の位置、大きさの情報は、CPU42に出力され、CPU42は、得られた情報を調光部56に加える。
次に、取得した非発光画像からエリアごとの平均輝度の算出処理が行われる(ステップS31)。
次に、取得した発光画像から動体の検出処理が行われる(ステップS32)。ここでの動体検出は、上記実施の形態と同様に、たとえば、非発光画像、あるいは、非発光画像を取得する直前に得られたスルー画像との比較で行われる。検出された動体の位置、大きさの情報は、CPU42に出力され、CPU42は、得られた情報を調光部56に加える。
次に、取得した発光画像からエリアごとの平均輝度の算出処理が行われる(ステップS33)。
次に、図10(a)に示すように、非発光画像に対して、動体の検出結果の情報に基づいて、分割したエリアごと(エリアごとの平均輝度を算出するために分割したエリアごと)に動体の有無を判定する(ステップS34)。そして、動体が存在するエリアは、重みを変更し(ステップS35)、動体が存在しないエリアは、重みをそのままにする(不変とする)。
ここで、本例において、重みは当初全エリアに1が設定されており、動体が存在するエリア(動体存在エリア)は0に変更される。したがって、動体が存在しないエリア(動体不存在エリア)は、そのまま1に設定される。また、画角内に動体が存在しない場合には、全てのエリアが1に設定される。
なお、重みを変更するのではなく、動体が存在するエリアの重みを0に設定し、動体が存在しないエリアの重みを1に設定することによっても、同様の結果を得ることができる。
CPU42は、非発光画像に対して、すべてのエリアの重みの設定が完了したか否かを判定する(ステップS36)。そして、すべてのエリアの重みの設定が完了したと判定すると、CPU42は、発光画像に対して、重みの設定処理を行う。すなわち、図10(b)に示すように、発光画像に対する動体の検出結果の情報に基づいて、分割したエリアごと(エリアごとの平均輝度を算出するために分割したエリアごと)に動体の有無を判定し(ステップS37)、動体が存在するエリアに対して、重みを変更する処理を行う(ステップS38)。
なお、発光画像についても、重みは当初全エリアに1が設定されており、動体が存在するエリアは0に変更される。
CPU42は、発光画像に対して、すべてのエリアの重みの設定が完了したか否かを判定する(ステップS39)。そして、すべてのエリアの重みの設定が完了したと判定すると、CPU42は、各エリアに付与する重み係数の設定処理を行う(ステップS40)。
まず、非発光画像について設定した重みと、発光画像について設定した重みとを混合し、各エリアに設定する重み(=あらかじめ設定されたエリアごとの重み係数に掛ける重み)を算出する。ここでは、図11に示すように、非発光画像について設定した重みと、発光画像について設定した重みとをエリアごとに掛け合わせて、各エリアに設定する重みを算出する。
そして、このようにして算出したエリアごとの重みをあらかじめ設定されたエリアごとの重み係数に掛けて、本発光量の算出に使用する重み係数を算出する(図6参照)。
この後、CPU42は、算出された重み係数を用いて、調光部56の発光量算出部56Bに本撮影時のフラッシュの発光量(本発光量)の算出処理を実行させる(ステップS41)。
このように、本実施の形態の本発光量の算出方法によっても、動体の影響を排除して、発光量を適切に設定でき、良好な画像を撮影することができる。
なお、上記の例では、動体存在エリアに設定する重みを0にしているが、動体存在エリアに設定する重みは、少なくとも動体不存在エリアに設定する重みよりも下げて設定すればよい。したがって、動体存在エリアに設定する重みを0.5とし、動体不存在エリアに設定する重みを1に設定することもできる。
また、上記の例では、各エリアに設定する重み(=あらかじめ設定されたエリアごとの重み係数に掛ける重み)を算出する際、非発光画像について設定した重みと、発光画像について設定した重みとをエリアごとに掛け合わせて算出しているが、各エリアに設定する重みを算出する方法は、これに限定されるものではない。非発光画像について設定した重みと、発光画像について設定した重みとをエリアごとに足し合せた後、エリアごとに1/2を掛けて、各エリアに設定する重みを算出するようにしてもよい。
[第3の実施の形態]
上記第1、第2の実施の形態では、画角内に動体が含まれる場合に動体が存在するエリア以外の画像に基づいて、本撮影時のフラッシュ発光量(本発光量)を算出している。この方法は、主要被写体以外(たとえば、背景)が動いている場合に有効である。
一方、主要被写体が動いている場合は、動体が存在するエリアの画像(動体の画像)に基づいて、本発光量を算出する方が主要被写体を適切な明るさで撮影することができる。
そこで、本実施の形態では、画角内における動体の画像に基づいて、本発光量を算出する。
図12は、本実施の形態の方法で本発光量を算出する場合の調光部の構成を示すブロック図である。
同図に示すように、本実施の形態の調光部70は、動体存在エリア検出部70Aと、輝度算出部70Bと、発光量算出部70Cとを備えて構成されている。
動体存在エリア検出部70Aは、画像を複数のエリアに分割し、動体検出部54による動体の検出結果に基づいて、動体が存在するエリア(動体存在エリア)を検出(抽出)する。ここでは、画像を8×8のエリアに分割し、動体存在エリアを検出する。動体存在エリア検出部70Aの検出結果の情報は、輝度算出部70Bに出力される。
輝度算出部70Bは、動体存在エリア検出部70Aによる動体存在エリアの検出結果に基づいて、動体存在エリアの平均輝度を算出する。輝度算出部70Bで算出された動体存在エリアの平均輝度の情報は、発光量算出部70Cに出力される。
発光量算出部70Cは、輝度算出部70Bで算出された非発光画像における動体存在エリアの平均輝度と、発光画像における動体存在エリアの平均輝度とに基づいて、本発光量を算出する。たとえば、次の手順で発光量(発光時間)を算出する。
まず、発光画像の平均輝度から非発光画像の平均輝度を差し引くことにより、反射輝度を算出する。次に、所定の目標輝度から非発光輝度(非発光画像の平均輝度)を引き、反射輝度で割ることにより、プリ発光に対して何倍の発光量で発光すれば、最適な発光量となるか(発光倍率)を算出する。このようにして算出した発光倍率を満たす発光量(発光時間)を求める。なお、発光量(発光時間)は、フラッシュ装置60を構成する発光管により特性が異なるため、あらかじめルックアップテーブル等にて発光倍率と対応させておく。
次に、本実施の形態のフラッシュ発光方法について説明する。
なお、上述した第1の実施の形態とは、本発光量の算出処理の手順が異なるだけなので、ここでは、本発光量の算出処理の手順についてのみ説明する。
図13は、本発光量の算出処理の手順の第3の実施の形態を示すフローチャートである。
本発光量の算出処理に先立って、非発光画像と発光画像を取得する点は、上記第1の実施の形態と同じである(図7参照)。
まず、非発光画像に対して動体の検出処理が行われる(ステップS50)。すなわち、動体検出部54において、非発光画像から動体が抽出され、その位置、大きさが検出される。なお、ここでの動体検出は、上記実施の形態と同様に、たとえば、非発光画像を取得する直前に得られたスルー画像との比較で行われる。検出された動体の位置、大きさの情報は、CPU42に出力され、CPU42は、得られた情報を調光部70に加える。
調光部70は、図14(a)に示すように、取得した非発光画像の動体検出結果に基づいて、動体存在エリアの検出処理を行う(ステップS51)。すなわち、動体存在エリア検出部70Aにおいて、非発光画像を複数のエリアに分割し、動体が存在するエリア(動体存在エリア)を検出する。動体存在エリア検出部70Aで検出された動体存在エリアの情報は、輝度算出部70Bに加えられ、輝度算出部70Bは、検出された非発光画像の動体存在エリアの平均輝度を算出する(ステップS52)。算出された非発光画像の動体存在エリアの平均輝度は、発光量算出部70Cに加えられる。
非発光画像に対する動体存在エリアの平均輝度の算出が完了すると、次に、発光画像に対して動体の検出処理が行われる(ステップS53)。ここでの動体検出は、上記実施の形態と同様に、たとえば、非発光画像、あるいは、非発光画像を取得する直前に得られたスルー画像との比較で行われる。検出された動体の位置、大きさの情報は、CPU42に出力され、CPU42は、得られた情報を調光部70に加える。
調光部70は、図14(b)に示すように、取得した発光画像の動体検出結果に基づいて、発光画像の動体存在エリアを検出する(ステップS54)。そして、検出された発光画像の動体存在エリアの平均輝度を輝度算出部70Bで算出する(ステップS55)。算出された非発光画像の動体存在エリアの平均輝度は、発光量算出部70Cに加えられる。
以上のようにして、非発光画像における動体存在エリアの平均輝度と、発光画像における動体存在エリアの平均輝度とが算出されると、発光量算出部70Cにおいて、算出された非発光画像における動体存在エリアの平均輝度と、発光画像における動体存在エリアの平均輝度とに基づいて、本撮影時のフラッシュの発光量(本発光量)が算出される(ステップS56)。
このように、本実施の形態では、動体の画像に基づいて、本発光量を算出するので、主要被写体が動いている場合であっても、フラッシュの発光量を適切に設定でき、良好な画像を撮影することができる。
なお、上記実施の形態では、画角内を複数のエリアに分割し、エリア単位で動体の有無を判別しているが、動体そのものを抽出し、それ以外の領域の画像に基づいて、本発光量を算出するようにしてもよい。
なお、非発光画像と発光画像を取得する順番、非発光画像と発光画像とから動体存在エリアを検出する順番等は、特に限定されない点は、上記第1の実施の形態と同じである。
また、調光部70で行う処理をソフトウェアで行ってもよい点も上述した第1の実施の形態と同じである。
[第4の実施の形態]
画角内における動体の画像に基づいて、本発光量を算出する場合の他の実施の形態について説明する。
なお、調光部の構成は、上述した第3の実施の形態の調光部の構成と同じである。
図15は、本発光量の算出処理の手順の第4の実施の形態を示すフローチャートである。
本発光量の算出処理に先立って、非発光画像と発光画像を取得する点は、上記第3の実施の形態と同じである。
まず、非発光画像に対して動体の検出処理が行われる(ステップS60)。すなわち、動体検出部54において、非発光画像から動体が抽出され、その位置、大きさが検出される。なお、ここでの動体検出は、上記実施の形態と同様に、たとえば、非発光画像を取得する直前に得られたスルー画像との比較で行われる。検出された動体の位置、大きさの情報は、CPU42に出力され、CPU42は、得られた情報を調光部70に加える。
調光部70は、図14(a)に示すように、取得した非発光画像の動体検出結果に基づいて、動体存在エリアの検出処理を行う(ステップS61)。すなわち、動体存在エリア検出部70Aにおいて、非発光画像を複数のエリアに分割し、動体が存在するエリア(動体存在エリア)を検出する。検出された動体存在エリアの情報は、輝度算出部70Bに加えられる。
動体存在エリアが検出されると、調光部70において、非発光画像のエリアごとの平均輝度が算出される(ステップS62)。すなわち、輝度算出部70Bにおいて、非発光画像が複数のエリア(本例では8×8)に分割され、分割されたエリアごとの平均輝度が算出される。
この後、輝度算出部70Bにおいて、動体存在エリア検出部70Aによる動体存在エリアの検出結果の情報に基づいて、非発光画像における動体存在エリアの平均輝度が算出される(ステップS63)。
非発光画像に対する動体存在エリアの平均輝度の算出が完了すると、次に、発光画像に対して動体の検出処理が行われる(ステップS64)。なお、ここでの動体検出は、上記実施の形態と同様に、たとえば、非発光画像、あるいは、非発光画像を取得する直前に得られたスルー画像との比較で行われる。そして、その検出結果に基づいて、発光画像の動体存在エリアが検出される(ステップS65)。
また、発光画像のエリアごとの平均輝度が算出され(ステップS66)、その後、発光画像における動体存在エリアの平均輝度が算出される(ステップS67)。
以上のようにして、非発光画像における動体存在エリアの平均輝度と、発光画像における動体存在エリアの平均輝度とが算出されると、発光量算出部70Cにおいて、算出された非発光画像における動体存在エリアの平均輝度と、発光画像における動体存在エリアの平均輝度とに基づいて、本撮影時のフラッシュの発光量(本発光量)が算出される(ステップS68)。
このように、動体存在エリアの平均輝度を算出する際、エリアごとの平均輝度を算出したのち、この算出したエリアごとの平均輝度の情報を利用して、動体存在エリアの平均輝度を算出することもできる。
なお、AE検出部38でエリアごとの平均輝度を算出している場合には、この情報を利用して、動体存在エリアの平均輝度を算出する構成とすることもできる。
[第5の実施の形態]
画角内における動体の画像に基づいて、本発光量を算出する場合の他の実施の形態について説明する。
上記第3、第4の実施の形態では、動体の画像にのみ基づいて、本発光量を算出する構成としているが、動体存在エリアと動体不存在エリアに付与する重みを変えることにより(動体存在エリアに付与する重みを動体不存在エリアに付与する重みよりも上げる。)、画像全体から本発光量を算出する構成とすることもできる。
以下、動体存在エリアと動体不存在エリアに付与する重みを変えることにより、画像全体から本発光量を算出する場合について説明する。
なお、調光部の構成は、上述した第1の実施の形態のデジタルカメラにおける調光部の構成と同じである。
図16は、本発光量の算出処理の手順の第5の実施の形態を示すフローチャートである。
本発光量の算出処理に先立って、非発光画像と発光画像を取得する点は、上記第3の実施の形態と同じである。
まず、取得した非発光画像から動体の検出処理が行われる(ステップS70)。なお、ここでの動体検出は、上記実施の形態と同様に、たとえば、非発光画像を取得する直前に得られたスルー画像との比較で行われる。検出された動体の位置、大きさの情報は、CPU42に出力され、CPU42は、得られた情報を調光部56に加える。
次に、取得した非発光画像からエリアごとの平均輝度の算出処理が行われる(ステップS71)。
次に、取得した発光画像から動体の検出処理が行われる(ステップS72)。なお、ここでの動体検出は、上記実施の形態と同様に、たとえば、非発光画像、あるいは、非発光画像を取得する直前に得られたスルー画像との比較で行われる。検出された動体の位置、大きさの情報は、CPU42に出力され、CPU42は、得られた情報を調光部56に加える。
次に、取得した発光画像からエリアごとの平均輝度の算出処理が行われる(ステップS73)。
次に、非発光画像に対し、動体の検出結果の情報に基づいて、分割したエリアごと(エリアごとの平均輝度を算出するために分割したエリアごと)に動体の有無を判定し、エリアごとに重みを設定する(ステップS75)。ここでは、動体が存在するエリアの重みを1に設定し、動体が存在しないエリアの重みを0に設定する。
同様にして、発光画像に対し、動体の検出結果の情報に基づいて、分割したエリアごとに動体の有無を判定し、エリアごとに重みを設定する(ステップS76)。
発光画像に対する重みの設定が完了すると、CPU42は、各エリアに付与する重み係数の設定処理を行う(ステップS77)。
ここでは、非発光画像について設定した重みと、発光画像について設定した重みとを混合し、各エリアに設定する重み(=あらかじめ設定されたエリアごとの重み係数に掛ける重み)を算出し、算出したエリアごとの重みをあらかじめ設定されたエリアごとの重み係数に掛けて、本発光量の算出に使用する重み係数を算出する。
この後、CPU42は、算出された重み係数を用いて、調光部56の発光量算出部56Bに本撮影時のフラッシュの発光量(本発光量)の算出処理を実行させる(ステップS41)。
このように、本実施の形態の本発光量の算出方法によっても、動体の画像に基づいて、発光量を適切に設定することができる。
なお、上記の例では、動体不存在エリアに設定する重みを0にしているが、動体存在エリアに設定する重みは、少なくとも動体存在エリアに設定する重みよりも下げて設定すればよい。したがって、動体不存在エリアに設定する重みを0.5とし、動体存在エリアに設定する重みを1に設定することもできる。
また、上記の例では、各エリアに設定する重み(=あらかじめ設定されたエリアごとの重み係数に掛ける重み)を算出する際、非発光画像について設定した重みと、発光画像について設定した重みとをエリアごとに掛け合わせて算出しているが、各エリアに設定する重みを算出する方法は、これに限定されるものではない。非発光画像について設定した重みと、発光画像について設定した重みとをエリアごとに足し合せた後、エリアごとに1/2を掛けて、各エリアに設定する重みを算出するようにしてもよい。
[第6の実施の形態]
上述したように、主要被写体が動いている場合は、動体が存在するエリアの画像に基づいて、本発光量を算出することにより、適切な明るさで良好な画像を撮影することができる。
一方、主要被写体は静止しているが、背景が動いている場合(背景に動体が含まれる場合)は、動体が存在しないエリアの画像に基づいて、本発光量を算出することにより、適切な明るさで良好な画像を撮影することができる。
したがって、動体が主要被写体か否かに応じて、本発光量の算出処理を切り換えることにより、常に適切な明るさでフラッシュを発光させることができ、良好な画像を撮影することができる。
そこで、本実施の形態では、動体が主要被写体か否かに応じて、本発光量の算出処理を切り換える。具体的には、動体が主要被写体の場合は、上述した第3、4又は5の実施の形態の方法で本発光量を算出し、動体が主要被写体ではない場合は、上述した第1又は第2の実施の形態の方法で本発光量を算出する。
以下、動体が主要被写体の場合は、上述した第5の実施の形態の方法で本発光量を算出し、動体が主要被写体ではない場合は、上述した第第2の実施の形態の方法で本発光量を算出する場合の処理の手順について説明する。
なお、調光部の構成は、上述した第1の実施の形態のデジタルカメラと同じである。
図17は、本発光量の算出処理の手順の第6の実施の形態を示すフローチャートである。
本発光量の算出処理に先立って、非発光画像と発光画像を取得する点は、上記第1の実施の形態と同じである。
まず、取得した非発光画像から動体の検出処理が行われる(ステップS80)。なお、ここでの動体検出は、上記実施の形態と同様に、たとえば、非発光画像を取得する直前に得られたスルー画像との比較で行われる。
次に、取得した非発光画像からエリアごとの平均輝度の算出処理が行われる(ステップS81)。
次に、取得した発光画像から動体の検出処理が行われる(ステップS82)。なお、ここでの動体検出は、上記実施の形態と同様に、たとえば、非発光画像、あるいは、非発光画像を取得する直前に得られたスルー画像との比較で行われる。
次に、取得した発光画像からエリアごとの平均輝度の算出処理が行われる(ステップS83)。
次に、検出された動体が主要被写体か否か判定され(ステップS84)、主要被写体の場合は、動体存在エリアの画像に基づいて、本発光量の算出処理が行われる。すなわち、上記第5の実施の形態で説明した本発光量の算出処理の手順(ステップS74〜S77の処理)で本発光量の算出処理が行われる。
一方、動体が主要被写体ではない場合、動体不存在エリアの画像に基づいて、本発光量の算出処理が行われる。すなわち、上記第2の実施の形態で説明した本発光量の算出処理の手順(ステップS34〜S41の処理)で本発光量の算出処理が行われる。
ここで、検出された動体が主要被写体か否かの判定は、たとえば、主要被写体が人物の顔か否かに基づいて行われる。すなわち、顔検出部で検出された顔が、動体検出部で検出された動体と一致する場合は、動体が主要被写体と判定する。
このように、動体が主要被写体か否かに応じて、本発光量の算出方法を切り換えることにより、シーンごとに適切な発光量でフラッシュを発光させることができ、安定した撮影を行うことができる。
なお、動体が主要被写体の場合に行う本発光量の算出処理は、上述した第3〜5のいずれの実施の形態で説明した方式で行うようにしてもよい。同様に、動体が主要被写体ではない場合に行う本発光量の算出処理は、上述した第1、第2のいずれの実施の形態で説明した方式で行うようにしてもよい。
また、上記の例では、動体が人物の顔か否かによって、動体が主要被写体であるか否かを判定しているが、動体が主要被写体か否かの判定方法は、これに限定されるものではない。たとえば、ユーザの設定に基づいて、動体が主要被写体か否かを判定するようにしてもよい。すなわち、事前に動体をメインにした撮影を行うことが分かっている場合には、あらかじめ動体の画像に基づいて、本発光量が算出されるように設定できるようにし、この設定に基づいて、本発光量の算出処理を行う。同様に、静止した被写体をメインにした撮影を行うことが分かっている場合には、あらかじめ動体以外の画像に基づいて、本発光量が算出されるように設定できるようにし、この設定に基づいて、本は光量の算出処理を行う。この設定は、たとえば、メニュー画面等で行う。
また、人物の顔に基づいて、動体が主要被写体か否かを判定する場合は、人物の顔の大きさ(顔の大きさが画面に占める割合)に基づいて、処理を切り換えるようにしてもよい。すなわち、動体が人物の顔である場合であっても、画面の大きさに対して、小さい場合は、主要被写体ではないと判断して、動体以外の画像に基づいて、本発光量を算出するようにする。これにより、より適切に処理を切り換えることができる。
なお、上記一連の実施の形態では、本発明をデジタルカメラで実施した場合を例に説明したが、本発明の適用は、これに限定されるものではなく、フラッシュ撮影機能を備えたすべての機器に適用することができる。この場合において、フラッシュ装置は、装置本体に内蔵されているものであってもよいし、装置本体に外付けされるものであってもよい。
また、上記実施の形態では、フラッシュ撮影を行うことを前提に説明したが、フラッシュ撮影は、カメラの設定モードに応じて行われ、たとえば、強制発光モードの場合は、常にフラッシュ撮影が行われる。また、オートモードの場合には、被写体の明るさに応じてフラッシュ撮影が行われる。
本発明が適用されたデジタルカメラの構成の一実施形態を示すブロック図 デジタル信号処理部の構成を示すブロック図 動き検出の原理を説明する説明図 調光部の構成を示すブロック図 重み付けの概念図 重み係数の決定方法の概念図 フラッシュ撮影時における撮影処理の手順を示すフローチャート 非発光画像と発光画像とに基づく本発光量の算出処理の手順を示すフローチャート 本発光量の算出処理の手順の第2の実施の形態を示すフローチャート 重み付けの概念図 本実施の形態の方法で本発光量を算出する場合の調光部の構成を示すブロック図 調光部の構成を示すブロック図 本発光量の算出処理の手順の第3の実施の形態を示すフローチャート 重み付けの概念図 本発光量の算出処理の手順の第4の実施の形態を示すフローチャート 本発光量の算出処理の手順の第5の実施の形態を示すフローチャート 本発光量の算出処理の手順の第6の実施の形態を示すフローチャート
符号の説明
10…デジタルカメラ、12…撮影光学系、14…イメージセンサ(CCD)、16…タイミングジェネレータ(TG)、18…アナログ信号処理部、20…A/D変換器、22…画像入力コントローラ、24…デジタル信号処理部、28…表示制御部、30…画像表示部、32…圧縮・伸張処理部、34…メディアコントローラ、36…記憶メディア、38…AE検出部、40…AF検出部、42…中央処理装置(CPU)、44…ROM、46…RAM、48…フラッシュROM、50…操作部、52…顔検出部、54…動体検出部、56…調光部、56A…輝度算出部、56B…発光量算出部、56C…重み算出部、58…フラッシュ制御部、60…フラッシュ装置、70…調光部、70A…動体存在エリア検出部、70B…輝度算出部、70C…発光量算出部

Claims (18)

  1. フラッシュを発光させないで撮影した非発光画像を取得するステップと、
    フラッシュを所定の発光量で発光させて撮影した発光画像を取得するステップと、
    取得した非発光画像から動体が存在するエリアを抽出するステップと、
    取得した発光画像から動体が存在するエリアを抽出するステップと、
    非発光画像と発光画像の双方で動体が存在しない動体不存在エリアを抽出するステップと、
    非発光画像における動体不存在エリアの画像と、発光画像における動体不存在エリアの画像とに基づいて、本発光時の発光量を算出するステップと、
    算出した発光量でフラッシュを本発光させるステップと、
    からなることを特徴とするフラッシュ発光方法。
  2. フラッシュを発光させないで撮影した非発光画像を取得するステップと、
    フラッシュを所定の発光量で発光させて撮影した発光画像を取得するステップと、
    取得した非発光画像を複数のエリアに分割するステップと、
    取得した発光画像を複数のエリアに分割するステップと、
    分割した非発光画像から動体が存在するエリアを抽出するステップと、
    分割した発光画像から動体が存在するエリアを抽出するステップと、
    分割した非発光画像のエリアごとの輝度を算出するステップと、
    分割した発光画像のエリアごとの輝度を算出するステップと、
    エリアごとの輝度を算出した非発光画像と発光画像のエリアごとの輝度の差分を算出し、エリアごとの輝度の差分値を取得するステップと、
    動体が存在するエリアと動体が存在しないエリアとに分けて、各エリアに付与する重みを設定するステップと、
    算出したエリアごとの輝度の差分値に前記重みを付けて重み付け平均し、反射輝度を取得するステップと、
    非発光画像のエリアごとの輝度に前記重みを付けて重み付け平均し、非発光輝度を取得するステップと、
    取得した反射輝度と非発光輝度とに基づいて、本発光時の発光量を算出するステップと、
    算出した発光量でフラッシュを本発光させるステップと、
    からなることを特徴とするフラッシュ発光方法。
  3. 各エリアに付与する重みを設定するステップは、
    非発光画像において、動体が存在するエリアと動体が存在しないエリアとに分けて、各エリアに付与する重みを設定するステップと、
    発光画像において、動体が存在するエリアと動体が存在しないエリアとに分けて、各エリアに付与する重みを設定するステップと、
    非発光画像において、各エリアに設定した重みと、発光画像において、各エリアに設定した重みとを混合して、各エリアに付与する重みを設定するステップと、
    からなることを特徴とする請求項2に記載のフラッシュ発光方法。
  4. 各エリアに付与する重みを設定するステップは、動体が存在しないエリアに付与する重みに対して、動体が存在するエリアに付与する重みを下げて、各エリアに付与する重みを設定することを特徴とする請求項2又は3に記載のフラッシュ発光方法。
  5. フラッシュを発光させないで撮影した非発光画像を取得するステップと、
    フラッシュを所定の発光量で発光させて撮影した発光画像を取得するステップと、
    取得した非発光画像から動体が存在するエリアを抽出するステップと、
    取得した発光画像から動体が存在するエリアを抽出するステップと、
    非発光画像における動体が存在するエリアの画像と、発光画像における動体が存在するエリアの画像とに基づいて、本発光時の発光量を算出するステップと、
    算出した発光量でフラッシュを本発光させるステップと、
    からなることを特徴とするフラッシュ発光方法。
  6. フラッシュを発光させないで撮影した非発光画像を取得するステップと、
    フラッシュを所定の発光量で発光させて撮影した発光画像を取得するステップと、
    取得した非発光画像から動体が存在するエリアを抽出するステップと、
    取得した発光画像から動体が存在するエリアを抽出するステップと、
    動体が主要被写体か否かを判定するステップと、
    動体が主要被写体である場合に、非発光画像における動体が存在するエリアの画像と、発光画像における動体が存在するエリアの画像とに基づいて、本発光時の発光量を算出するステップと、
    動体が主要被写体でない場合に、非発光画像と発光画像の双方で動体が存在しない動体不存在エリアを抽出し、非発光画像における動体不存在エリアの画像と発光画像における動体不存在エリアの画像とに基づいて、本発光時の発光量を算出するステップと、
    算出した発光量でフラッシュを本発光させるステップと、
    からなることを特徴とするフラッシュ発光方法。
  7. 動体が主要被写体か否かを判定するステップは、動体が顔であるか否かを判定し、顔である場合に主要被写体であると判定することを特徴とする請求項6に記載のフラッシュ発光方法。
  8. 動体が存在するエリアの抽出は、取得した非発光画像と発光画像とに基づいて動体を特定し、特定した動体が存在するエリアを抽出することにより行われることを特徴とする請求項1〜7のいずれか1項に記載のフラッシュ発光方法。
  9. 動体が存在するエリアの抽出は、非発光画像と発光画像とを取得する前に取得した画像に基づいて動体を特定し、特定した動体が存在するエリアを抽出することにより行われることを特徴とする請求項1〜8のいずれか1項に記載のフラッシュ発光方法。
  10. フラッシュを発光させないで撮影した非発光画像を取得する非発光画像取得手段と、
    フラッシュを所定の発光量で発光させて撮影した発光画像を取得する発光画像取得手段と、
    非発光画像取得手段で取得された非発光画像から動体が存在するエリアを抽出する第1の動体存在エリア抽出手段と、
    発光画像取得手段で取得された発光画像から動体が存在するエリアを抽出する第2の動体存在エリア抽出手段と、
    非発光画像と発光画像の双方で動体が存在しない動体不存在エリアを抽出する動体不存在エリア抽出手段と、
    非発光画像における動体不存在エリアの画像と、発光画像における動体不存在エリアの画像とに基づいて、本発光時の発光量を算出する発光量算出手段と、
    前記発光量算出手段で算出された発光量でフラッシュを本発光させる発光制御手段と、
    を備えたことを特徴とするフラッシュ発光装置。
  11. フラッシュを発光させないで撮影した非発光画像を取得する非発光画像取得手段と、
    フラッシュを所定の発光量で発光させて撮影した発光画像を取得する発光画像取得手段と、
    非発光画像を複数のエリアに分割する第1のエリア分割手段と、
    発光画像を複数のエリアに分割する第2のエリア分割手段と、
    第1のエリア分割手段によって複数のエリアに分割された非発光画像から動体が存在するエリアを抽出する動体存在エリア抽出手段と、
    第2のエリア分割手段によって複数のエリアに分割された発光画像から動体が存在するエリアを抽出する動体存在エリア抽出手段と、
    第1のエリア分割手段によって複数のエリアに分割された非発光画像のエリアごとの輝度を算出する第1の輝度算出手段と、
    第2のエリア分割手段によって複数のエリアに分割された発光画像のエリアごとの輝度を算出する第2の輝度算出手段と、
    エリアごとの輝度が算出された非発光画像と発光画像のエリアごとの輝度の差分を算出する差分値算出手段と、
    動体が存在するエリアと動体が存在しないエリアとに分けて、各エリアに付与する重みを設定する重み設定手段と、
    前記差分値算出手段で算出されたエリアごとの輝度の差分値に前記重み設定手段で設定された重みを付けて重み付け平均し、反射輝度を算出する反射輝度算出手段と、
    非発光画像のエリアごとの輝度に前記重み設定手段で設定された重みを付けて重み付け平均し、非発光輝度を算出する非発光輝度算出手段と、
    前記反射輝度算出手段で算出された反射輝度と前記非発光輝度算出手段で算出された非発光輝度とに基づいて、本発光時の発光量を算出する本発光量算出手段と、
    前記本発光量算出手段で算出された発光量でフラッシュを本発光させる発光制御手段と、
    を備えたことを特徴とするフラッシュ発光装置。
  12. 前記重み設定手段は、非発光画像において、動体が存在するエリアと動体が存在しないエリアとに分けて、各エリアに付与する重みを設定するとともに、発光画像において、動体が存在するエリアと動体が存在しないエリアとに分けて、各エリアに付与する重みを設定し、非発光画像において、各エリアに設定した重みと、発光画像において、各エリアに設定した重みとを混合して、各エリアに付与する重みを設定することを特徴とする請求項11に記載のフラッシュ発光装置。
  13. 前記重み設定手段は、動体が存在しないエリアに付与する重みに対して、動体が存在するエリアに付与する重みを下げて、各エリアに付与する重みを設定することを特徴とする請求項11又は12に記載のフラッシュ発光装置。
  14. フラッシュを発光させないで撮影した非発光画像を取得する非発光画像取得手段と、
    フラッシュを所定の発光量で発光させて撮影した発光画像を取得する発光画像取得手段と、
    前記非発光画像取得手段で取得された非発光画像から動体が存在するエリアを抽出する第1の動体存在エリア抽出手段と、
    前記発光画像取得手段で取得された発光画像から動体が存在するエリアを抽出する第2の動体存在エリア抽出手段と、
    前記第1の動体存在エリア抽出手段で抽出されたエリアの画像と、前記第2の動体存在エリア抽出手段で抽出されたエリアの画像とに基づいて、本発光時の発光量を算出する発光量算出手段と、
    前記発光量算出手段によって算出された発光量でフラッシュを本発光させる発光制御手段と、
    を備えたことを特徴とするフラッシュ発光装置。
  15. フラッシュを発光させないで撮影した非発光画像を取得する非発光画像取得手段と、
    フラッシュを所定の発光量で発光させて撮影した発光画像を取得する発光画像取得手段と、
    前記非発光画像取得手段で取得された非発光画像から動体が存在するエリアを抽出するステップと、
    前記発光画像取得手段で取得された発光画像から動体が存在するエリアを抽出するステップと、
    動体が主要被写体か否かを判定する判定手段と、
    動体が主要被写体である場合に、非発光画像における動体が存在するエリアの画像と、発光画像における動体が存在するエリアの画像とに基づいて、本発光時の発光量を算出する第1の発光量算出手段と、
    動体が主要被写体でない場合に、非発光画像と発光画像の双方で動体が存在しない動体不存在エリアを抽出し、非発光画像における動体不存在エリアの画像と発光画像における動体不存在エリアの画像とに基づいて、本発光時の発光量を算出する第2の発光量算出手段と、
    前記第1の発光量算出手段又は前記第2の発光量算出手段で算出された発光量でフラッシュを本発光させる発光制御手段と、
    を備えたことを特徴とするフラッシュ発光装置。
  16. 前記非発光画像取得手段で取得された非発光画像から顔を抽出する第1の顔抽出手段と、
    前記発光画像取得手段で取得された発光画像から顔を抽出する第2の顔抽出手段と、
    を備え、前記判定手段は、動体が顔であるか否かを判定し、顔である場合に主要被写体であると判定することを特徴とする請求項15に記載のフラッシュ発光装置。
  17. 前記非発光画像取得手段で取得された非発光画像と前記発光画像取得手段で取得された発光画像とに基づいて動体を特定する動体特定手段を備え、
    前記第1の動体存在エリア抽出手段と前記第2の動体存在エリア抽出手段は、前記動体特定手段で特定された動体が存在するエリアを抽出して、画像から動体が存在するエリアを抽出することを特徴とする請求項10〜16のいずれか1項に記載のフラッシュ発光装置。
  18. 非発光画像と発光画像とを取得する前に連続的に画像を取得する連続画像取得手段と、
    前記連続画像取得手段で連続的に取得された画像に基づいて動体を特定する動体特定手段と、
    を備え、前記第1の動体存在エリア抽出手段と前記第2の動体存在エリア抽出手段は、前記動体特定手段で特定された動体が存在するエリアを抽出して、画像から動体が存在するエリアを抽出することを特徴とする請求項10〜17のいずれか1項に記載のフラッシュ発光装置。
JP2008188207A 2008-07-22 2008-07-22 フラッシュ発光方法及び装置 Expired - Fee Related JP5425424B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008188207A JP5425424B2 (ja) 2008-07-22 2008-07-22 フラッシュ発光方法及び装置
US12/458,719 US8237854B2 (en) 2008-07-22 2009-07-21 Flash emission method and flash emission apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008188207A JP5425424B2 (ja) 2008-07-22 2008-07-22 フラッシュ発光方法及び装置

Publications (2)

Publication Number Publication Date
JP2010026284A true JP2010026284A (ja) 2010-02-04
JP5425424B2 JP5425424B2 (ja) 2014-02-26

Family

ID=41568290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008188207A Expired - Fee Related JP5425424B2 (ja) 2008-07-22 2008-07-22 フラッシュ発光方法及び装置

Country Status (2)

Country Link
US (1) US8237854B2 (ja)
JP (1) JP5425424B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012093519A1 (ja) * 2011-01-06 2012-07-12 富士フイルム株式会社 撮像装置及びその発光量制御方法
US9589339B2 (en) 2012-04-04 2017-03-07 Canon Kabushiki Kaisha Image processing apparatus and control method therefor

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5818488B2 (ja) * 2011-04-11 2015-11-18 キヤノン株式会社 撮像装置及びカメラシステム
JP5808142B2 (ja) 2011-05-02 2015-11-10 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8730383B2 (en) * 2011-11-30 2014-05-20 Cognex Corporation System and method for controlling illumination in a vision system
US8982237B2 (en) * 2011-12-09 2015-03-17 Htc Corporation Portable electronic device with auto-exposure control adaptive to environment brightness and image capturing method using the same
JP2018535856A (ja) 2015-11-29 2018-12-06 メイヨ フォンデーシヨン フォー メディカル エジュケーション アンド リサーチ 3dプリント用途における品質管理のためのシステムと方法
WO2017221643A1 (ja) * 2016-06-22 2017-12-28 ソニー株式会社 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
JP7103839B2 (ja) * 2018-05-07 2022-07-20 シャープ株式会社 電子機器、制御装置、制御方法及び制御プログラム
CN111050069B (zh) * 2019-12-12 2021-11-23 维沃移动通信有限公司 一种拍摄方法及电子设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05110912A (ja) * 1991-12-16 1993-04-30 Minolta Camera Co Ltd カメラ
JPH05183801A (ja) * 1992-01-07 1993-07-23 Sharp Corp 自動露光制御回路
JPH0738803A (ja) * 1993-07-20 1995-02-07 Mitsubishi Electric Corp ビデオカメラ
JPH0974516A (ja) * 1995-09-06 1997-03-18 Sharp Corp 画像入力装置
JP2000032331A (ja) * 1998-07-13 2000-01-28 Kawasaki Steel Corp 自動露光制御装置
JP2003107555A (ja) * 2001-09-28 2003-04-09 Ricoh Co Ltd 撮像装置、自動露出方法、およびその方法をコンピュータが実行するためのプログラム
JP2003219225A (ja) * 2002-01-25 2003-07-31 Nippon Micro Systems Kk 動体画像監視装置
JP2005102116A (ja) * 2003-09-04 2005-04-14 Sony Corp 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JP2005354199A (ja) * 2004-06-08 2005-12-22 Canon Inc 撮像装置及びその制御方法
JP2006017854A (ja) * 2004-06-30 2006-01-19 Canon Inc 撮像装置及び閃光発光装置
JP2006066996A (ja) * 2004-08-24 2006-03-09 Canon Inc 撮像装置及び撮像方法
JP2007033543A (ja) * 2005-07-22 2007-02-08 Fujifilm Holdings Corp 撮影装置
JP2007049529A (ja) * 2005-08-11 2007-02-22 Fujifilm Corp 撮像装置、撮像方法、及びプログラム
JP2007049449A (ja) * 2005-08-10 2007-02-22 Canon Inc 画像記録装置
JP2008104156A (ja) * 2006-09-22 2008-05-01 Fujifilm Corp デジタルカメラおよびその制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05216087A (ja) 1991-07-25 1993-08-27 Olympus Optical Co Ltd 動体検知装置を有するカメラ
JP4761066B2 (ja) 2006-09-22 2011-08-31 富士フイルム株式会社 ホワイトバランス補正方法及び撮像装置
US7808532B2 (en) * 2007-05-29 2010-10-05 Microsoft Corporation Strategies for extracting foreground information using flash and no-flash image pairs
US8063942B2 (en) * 2007-10-19 2011-11-22 Qualcomm Incorporated Motion assisted image sensor configuration

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05110912A (ja) * 1991-12-16 1993-04-30 Minolta Camera Co Ltd カメラ
JPH05183801A (ja) * 1992-01-07 1993-07-23 Sharp Corp 自動露光制御回路
JPH0738803A (ja) * 1993-07-20 1995-02-07 Mitsubishi Electric Corp ビデオカメラ
JPH0974516A (ja) * 1995-09-06 1997-03-18 Sharp Corp 画像入力装置
JP2000032331A (ja) * 1998-07-13 2000-01-28 Kawasaki Steel Corp 自動露光制御装置
JP2003107555A (ja) * 2001-09-28 2003-04-09 Ricoh Co Ltd 撮像装置、自動露出方法、およびその方法をコンピュータが実行するためのプログラム
JP2003219225A (ja) * 2002-01-25 2003-07-31 Nippon Micro Systems Kk 動体画像監視装置
JP2005102116A (ja) * 2003-09-04 2005-04-14 Sony Corp 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JP2005354199A (ja) * 2004-06-08 2005-12-22 Canon Inc 撮像装置及びその制御方法
JP2006017854A (ja) * 2004-06-30 2006-01-19 Canon Inc 撮像装置及び閃光発光装置
JP2006066996A (ja) * 2004-08-24 2006-03-09 Canon Inc 撮像装置及び撮像方法
JP2007033543A (ja) * 2005-07-22 2007-02-08 Fujifilm Holdings Corp 撮影装置
JP2007049449A (ja) * 2005-08-10 2007-02-22 Canon Inc 画像記録装置
JP2007049529A (ja) * 2005-08-11 2007-02-22 Fujifilm Corp 撮像装置、撮像方法、及びプログラム
JP2008104156A (ja) * 2006-09-22 2008-05-01 Fujifilm Corp デジタルカメラおよびその制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012093519A1 (ja) * 2011-01-06 2012-07-12 富士フイルム株式会社 撮像装置及びその発光量制御方法
US9001266B2 (en) 2011-01-06 2015-04-07 Fujifilm Corporation Imaging device and light emission amount control method of the same
JP5728498B2 (ja) * 2011-01-06 2015-06-03 富士フイルム株式会社 撮像装置及びその発光量制御方法
US9589339B2 (en) 2012-04-04 2017-03-07 Canon Kabushiki Kaisha Image processing apparatus and control method therefor

Also Published As

Publication number Publication date
US20100020200A1 (en) 2010-01-28
JP5425424B2 (ja) 2014-02-26
US8237854B2 (en) 2012-08-07

Similar Documents

Publication Publication Date Title
JP5425424B2 (ja) フラッシュ発光方法及び装置
JP4761066B2 (ja) ホワイトバランス補正方法及び撮像装置
JP5049490B2 (ja) デジタルカメラ、ゲイン算出装置
JP5004544B2 (ja) 撮影装置及び露出制御方法
JP4657052B2 (ja) デジタルカメラ、撮影方法、および撮影制御プログラム。
JP4791331B2 (ja) 撮像装置及び露出制御方法
JP6049343B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5743696B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2009094725A (ja) 撮像方法及び装置
CN1992820A (zh) 具有有助于曝光补偿的脸部检测功能的数字照相机
JP2007163561A (ja) 撮像装置及びそのプログラム
JP2012235358A (ja) 画像処理装置、画像処理方法及びプログラム
JP4872277B2 (ja) 撮像装置および撮像方法
US20200304723A1 (en) Image processing device, imaging apparatus, image processing method, and program
JP2010093679A (ja) 撮像装置及び撮像制御方法
JP5304295B2 (ja) 撮像装置およびホワイトバランスブラケティング撮影プログラム
JP2008298847A (ja) 撮影方法及びデジタルカメラ
JP2008145583A (ja) カメラおよび発光量演算プログラム
JP4170194B2 (ja) 撮影装置
JP4553570B2 (ja) オートフォーカスカメラ
JP2008083243A (ja) 撮影装置及び露出制御方法
JP6300514B2 (ja) 撮像装置、および撮像装置の制御方法
JP4422353B2 (ja) 電子カメラ
JP2016220031A (ja) 画像処理装置及び画像処理方法
JP2003302570A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131127

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5425424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees