JP5885416B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

撮像装置及び撮像装置の制御方法 Download PDF

Info

Publication number
JP5885416B2
JP5885416B2 JP2011155908A JP2011155908A JP5885416B2 JP 5885416 B2 JP5885416 B2 JP 5885416B2 JP 2011155908 A JP2011155908 A JP 2011155908A JP 2011155908 A JP2011155908 A JP 2011155908A JP 5885416 B2 JP5885416 B2 JP 5885416B2
Authority
JP
Japan
Prior art keywords
value
predetermined range
output value
block
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011155908A
Other languages
English (en)
Other versions
JP2013021658A (ja
JP2013021658A5 (ja
Inventor
陽介 峰
陽介 峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011155908A priority Critical patent/JP5885416B2/ja
Priority to US13/545,767 priority patent/US9131197B2/en
Priority to EP12175940.1A priority patent/EP2547092A3/en
Priority to CN201210244126.4A priority patent/CN102883107B/zh
Publication of JP2013021658A publication Critical patent/JP2013021658A/ja
Publication of JP2013021658A5 publication Critical patent/JP2013021658A5/ja
Application granted granted Critical
Publication of JP5885416B2 publication Critical patent/JP5885416B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)

Description

本発明は、撮像装置の露出制御に関するものである。
従来、人物などを撮影する場合に撮影画面内の人物の顔を検出し、顔の検出領域が適正な輝度で撮影できるように露出設定を行う技術が提案されている(特許文献1)。
また、フラッシュ撮影を行う場合に、閃光装置の非発光画像と予備発光させた画像の差分を演算し、閃光装置の光のみの被写体反射光を抽出し、閃光装置の光源色が分かっていることを用いて、特定色を検出する技術が提案されている(特許文献2)。
特開平05−041830号公報 特開2005−065186号公報
しかしながら、上述の特許文献に開示された従来技術では、ストロボ撮影時に被写体が近距離にある場合や、ストロボ光を正反射する物体を撮影する場合には、撮像センサのダイナミックレンジが足りなくなることがあり、肌色を正しく検知することができない。
また、上述の特許文献では、撮影画像をブロックに分割し、ブロック内の肌色の割合で発光量重み付け係数を変えているため、ブロック内に肌色が多く入っているが、しかし反射率が高い物体も入っている場合にはそのブロックに大きな重みづけをして発光量を決定してしまうため、顔を適正露出で撮影することができない。
ブロックの分割数を増やすことで上述問題を軽減できるが、演算にかかる処理時間が延びてしまう。
上述した課題に鑑み、本発明は、撮影画面内で画像のダイナミックレンジの範囲外の信号値を持つ物体が及ぼす影響を抑制することができる撮像装置及び撮像装置の制御方法を提供することを目的とする。
上記目的を達成するために、本発明に関わる撮像装置は、撮像手段と、前記撮像手段で撮像を行い得られた画像データに基づいて複数の測光ブロックごとに代表輝度値を算出する輝度値算出手段と、前記複数の測光ブロックのそれぞれについて、前記測光ブロックに含まれる複数の小ブロックのうち出力値が所定の範囲内となる小ブロックが所定値以上存在するか否かを判定する判定手段と、前記輝度値算出手段により算出された複数の前記代表輝度値に基づいて露光量を算出する露光量算出手段と、記複数の測光ブロックごとに重み付け係数を決定する決定手段と、を有し、前記輝度値算出手段は、前記判定手段により出力値が所定の範囲内となる小ブロックが所定値以上存在すると判定された測光ブロックについては、出力値が前記所定の範囲内とならない小ブロックを除いた小ブロックの出力値に基づいて前記代表輝度値を算出し、前記決定手段は、前記判定手段により出力値が前記所定の範囲内となる小ブロックが前記所定値以上存在すると判定された測光ブロックについては、出力値が前記所定の範囲内となる小ブロックの色情報と出力値が前記所定の範囲内となる小ブロックの数または割合に応じた重み付け係数を決定し、前記露光量算出手段は、前記輝度値算出手段により算出された複数の前記代表輝度値と前記決定手段により決定された重み付け係数とに基づいて露光量を算出することを特徴とする。
また、本発明に係わる撮像装置の制御方法は、撮像手段で撮像を行い得られた画像データに基づいて複数の測光ブロックごとに代表輝度値を算出する輝度値算出ステップと、前記複数の測光ブロックのそれぞれについて、前記測光ブロックに含まれる複数の小ブロックのうち出力値が所定の範囲内となる小ブロックが所定値以上存在するか否かを判定する判定ステップと、前記輝度値算出ステップにより算出された複数の前記代表輝度値に基づいて露光量を算出する露光量算出ステップと、前記複数の測光ブロックごとに重み付け係数を決定する決定ステップと、を有し、前記輝度値算出ステップは、前記判定ステップで出力値が所定の範囲内となる小ブロックが所定値以上存在すると判定された測光ブロックについては、出力値が前記所定の範囲内とならない小ブロックを除いた小ブロックの出力値に基づいて前記代表輝度値を算出し、前記決定ステップは、前記判定ステップで出力値が前記所定の範囲内となる小ブロックが前記所定値以上存在すると判定された測光ブロックについては、出力値が前記所定の範囲内となる小ブロックの色情報と出力値が前記所定の範囲内となる小ブロックの数または割合に応じた重み付け係数を決定し、前記露光量算出ステップは、前記輝度値算出ステップで算出された複数の前記代表輝度値と前記決定ステップで決定された重み付け係数とに基づいて露光量を算出することを特徴とする。
本発明によれば、撮影画面内で画像のダイナミックレンジの範囲外の信号値を持つ物体が及ぼす影響を抑制することができる。
第1の実施形態における撮像装置の構成を示すブロック図である。 本発明の形態に係る撮像装置における撮影処理を説明するフローチャートである。 本発明の形態に係る撮像装置における撮影処理を説明するフローチャートである。 本発明の形態に係る撮像装置における撮影処理を説明するフローチャートである。 本発明の形態に係る撮像装置における撮影処理を説明するための説明図である。 特定色を抽出するときに、基準となる色差平面を簡略化して示した説明図である。 重み付け係数の調節方法を説明するための表である。
(第1の実施形態)
以下、図面を参照して第1の実施形態を説明する。図1は、本実施形態における撮像装置の1例としてのデジタルカメラ10のブロック図である。なお、図1において実線矢印は制御線等の信号線を表わし、波線矢印は通信線を表わす。
撮影レンズ11は、ズーム制御部44からの制御信号または測距制御部45からの制御信号に従ってレンズ位置を動かす。
絞り12は、絞り制御部43から出力される絞り制御信号に従って開閉し、入射する光の量を制御する。
シャッタ13は、シャッタ制御部42から送られてくるシャッタ制御信号に従って、シャッタを動作させる。
撮像素子14は、電子シャッタ制御部41から送られてくる電子シャッタ制御信号に従い、撮影レンズ11、絞り12、シャッタ13の光学系から導かれる光束による光学像(被写体像)を電気信号に変換してAGC(オートゲインコントロール)回路15に出力する。
AGC回路15は、ゲイン制御部40から送られてくるゲイン制御信号に従い、撮像素子14から送られてくる画像データのゲイン調整をして、A/D(アナログ/デジタル)変換器16に出力する。
A/D変換器16は、AGC回路15から送られてくるゲイン調整された画像データにA/D変換を行う。A/D変換後の画像データは、画像処理部20、メモリ制御部21を介して、或いは画像処理部20を介さずに直接メモリ制御部21から、メモリ30に書き込まれる。
画像処理部20は、A/D変換器16からのデータ或いはメモリ制御部21からのデータに対して所定の画素補正処理、AWB(オートホワイトバランス)処理、色変換処理、特定色データの抽出等の画像処理を行う。本実施形態では、A/D変換後の画像データはR(赤)/G(緑)/B(青)の信号値がベイヤー配列をなしており、画像処理部20は画素補間処理により画素ごとにR/G/Bの信号値を持つように補間される。その後、AWB処理が行われ、色変換処理にてY(輝度)、UV(色差)信号値に変換されて出力される。しかし、入力される画像データの信号の形態及び画像処理部20から出力される画像データの形態はこれに限らない。
また画像処理部20は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部50が各部を制御する。例えば、測距制御部45に対してTTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理を実行する。また、ゲイン制御部40、電子シャッタ制御部41、シャッタ制御部42、絞り制御部43、ストロボユニット46に対してAE(自動露出)処理を実行する。さらに、ストロボユニット46に対して、EF(ストロボプリ発光)処理を実行する。また、メモリ30に記憶してある画像データを読みだして、記録部70に送信する。
メモリ制御部21は、A/D変換器16、画像処理部20、メモリ30を制御する。
ゲイン制御部40は、AGC回路15に、撮像素子14から出力される信号に掛けるゲイン値の指示信号を送信する。
電子シャッタ制御部41は、撮像素子14を制御して、撮像素子14に取り込まれる電荷の蓄積開始タイミング及び蓄積量を制御する。
シャッタ制御部42は、シャッタ13を制御することでシャッタースピードを制御する。絞り制御部43は絞り12の口径を制御することで、撮像素子14に導く光束を制御する。
ズーム制御部44は、撮影レンズ11のレンズ位置を制御することでズーミングを制御する。
測距制御部45は、撮影レンズ11のレンズ位置を制御することでフォーカシングを制御する。
ストロボユニット46は、AF補助光の投光機能、ストロボ調光機能を有する。
ここで、調光機能はプリ発光で被写界の反射光や特定色検知を行い、被写界が適正な露出となるようにストロボの発光量を決定する技術である。
また、ストロボユニットがバウンス機構を有する場合、バウンス位置に応じてプリ発光の発光量や、特定色検知処理を変更する。
システム制御部50は、各部に制御信号を送るなどしてデジタルカメラ10全体の動作を制御している。
メモリ30は、このシステム制御部50の動作用の定数、変数、プログラム等を記憶している。また、各部で行われる処理動作における作業用のメモリとしても用いられる。
シャッタスイッチ60は、シャッタスイッチSW1とSW2から成り、SW1は、不図示のシャッタボタンの操作途中でオンとなり、AF(オートフォーカス)処理、AE(自動露出)処理等の動作開始を指示する。SW2は、不図示のシャッタボタンの操作完了でオンとなる。ストロボ撮影モードの場合は、SW2のオンによってストロボユニット46の発光制御、及び撮像素子14から読み出した信号をA/D変換器16、メモリ制御部21を介してメモリ30に画像データとして書き込む露光処理の開始を指示する。さらに画像処理部20やメモリ制御部21での演算を用いた現像処理、メモリ30から画像データを読み出し、記録部70に画像データを書き込む記録処理という一連の処理の動作開始を指示する。
記録部70は、画像処理部20から送られてくる画像信号を記録媒体に記録する。
以下、図2乃至図4のフローチャートと図5の画像データを参照して、本実施形態に係る撮影動作を説明する。
図2は、撮影前の待機状態から撮影開始までの動作を示すフローチャート図である。
ステップS101で、シャッタースイッチ(SW1)が押されていると、ステップS102に進む。
ステップS102では、A/D変換器16から入力された画像データに対して、測距及び測光処理を行う。尚、ステップS102の測距及び測光処理の詳細は図3のフローチャートを参照して詳しく後述する。
ステップS103でシャッタスイッチ(SW2)が押されると、ステップS105に進む。
ステップS104でシャッタースイッチ(SW2)が押されずに、更にシャッタースイッチ(SW1)も解除されるとステップS101に戻る。
ステップS105では、ステップS102の測光結果より、ストロボの発光モードを参照して、もしくは平均輝度値を見て平均輝度値が所定値未満であるか否かを判定する。ここで、判定する輝度値は単純な加算平均による平均輝度値に限らず、特定被写体に重みを付けた重みづけ平均、または特定被写体の領域に限定した輝度値などでもよい。
ステップS150では、ステップS105で平均輝度値が所定値以上と判定された場合、もしくはストロボモードを非発光に設定していた場合に、ストロボを発光させずに通常の撮影を行う。
ステップS106では、ステップS102の測光結果より、画像処理部20、又はシステム制御部50で、AE処理を行う。具体的には、画像処理部20で算出した輝度レベルに基づいて絞りの口径、電子シャッタ速度、ゲインなどの制御値を算出する。システム制御部50は、算出された制御値に応じた制御値をゲイン制御部40、電子シャッタ制御部41、絞り制御部43に送信する。
また、画像処理部20で算出された輝度レベル、測距結果に基づくレンズ駆動量から、ストロボユニット46をプリ発光した時に、特定色などの反射光輝度レベルが適正なレベルで得ることができる絞りの口径、電子シャッタ速度、ゲインなどの制御値などを設定する。
尚、絞りの口径、ストロボのプリ発光光量は、被写体が階調不良にならない程度に設定し、また、外光の影響を極力少なくするために電子シャッタの速度は高速度に設定し、画像信号のノイズを低減するために低めのゲインを設定する。
ステップS107では、絞り12、撮像素子14、AGC回路15に口径、電子シャッタ速度、ゲインなどの制御値が設定されると、ストロボユニット46を発光させずに被写体の撮影を行う。画像信号は撮像素子部14、AGC回路15、A/D変換器16を介して画像処理部20に送信され、ここで所定の処理を施された後、非発光画像としてメモリ30に記憶する。
ステップS108では、ストロボユニット46を発光(プリ発光)させて撮影を行い、撮像素子部14、AGC回路15、A/D変換器16を介して画像処理部20に送信され、ここで所定の処理を施された後、プリ発光画像としてメモリ30に記憶する。
ステップS109では、画像処理部20にて、メモリ30に記憶されている非発光画像データとプリ発光画像データを読み出し、2つの画像データを画素単位で差分をとり、反射光輝度データを生成する。
ここで、非発光画像データの光源である環境光と、プリ発光画像データの光源である環境光とストロボ光の差分をとることで、環境光の影響を除去した画像データを取得することができ、光源をストロボ光のみとした反射光輝度データを生成できる。
ステップS110では、ストロボユニット46との通信により、ストロボユニット46がバウンス撮影であるか否かを判別する。
ステップS111では、ストロボのプリ発光画像撮影時の色温度情報を取得する。内蔵のストロボを使用する場合には、予め画像処理部20又はメモリ30などに記憶した色温度情報を読み出す。
ステップS112では、ホワイトバランス制御を行う。ステップS111で得られたストロボユニット46の色温度情報をメモリから読み出し、ストロボユニット46の色温度(分光特性)に応じて画像データのR/G/Bの各信号値のゲインを調整する。即ち、光源をストロボのみに限定することができるため、より正確なホワイトバランス補正を行うことが可能となる。
ステップS160では、ストロボユニット46がバウンス状態の場合には、光源をストロボ光に限定することができないため、既知のオートホワイトバランス処理を行い、R/G/B各色のゲインを調整する。
ステップS113では、ゲイン調整画像データに基づいて所定の演算を行い、発光量の目標値を算出する。算出した発光量の目標値に基づいたストロボ制御信号をストロボユニット46に設定する。尚、本演算は図4のフローチャートを参照して詳しく後述する。
ステップS114では、ストロボユニット46に設定した本発光量に基づいてストロボを発光させて、被写体の本撮影が行われる。
図3は、図2のステップS102における測距及び測光処理の詳細を示すフローチャートである。
まずステップS201で、撮像素子14から電荷信号を読み出し、A/D変換器16を介してデジタルデータに変換し、そのデジタルデータを画像処理部20に入力する。
ステップS202では、画像処理部20にて、入力された画像データから光源の色温度を判断し、各画素の色毎に所定のゲインをかける(AWB処理)。
ステップS203では、画像処理部20にて、入力された画像データを用いて既知のコントラスト方式のAF(オートフォーカス)処理を行う。
ステップS204では、上述の画像データに対して所定の処理を行い、露光量の目標値を算出する。算出した露光量の目標値に基づいて絞り、シャッタ速度、ゲインの調整値を決定する。尚、本演算は図4のフローチャートを参照して詳しく後述する。
図4は、図2のステップS113及び図3のステップS204における輝度演算の詳細を示すフローチャートである。
図5は、図4の各ステップをイメージ図で説明したものである。
ステップS301では、図2のステップS112と、図3のステップS203から画像データが入力され、画像処理部20にて所定面積の測定ブロックに分割する。
図5(a)は、人物が撮像素子14のリニアリティ範囲内(ダイナミックレンジ内)で撮影出来ており、その背景がダイナミックレンジ外の範囲の信号値で白つぶれしてしまっている画像データの例を示している。
図5(b)は、画像データ(a)を4×4の測定ブロック200に分割したものである。
ステップS302では、測定ブロック内の複数の色成分を含む複数画素ずつの画素グループに分け、該画素グループ内の画素出力全てが撮像素子14のリニアリティ範囲に入るグループ数(割合)を算出する。
図5(c)は、(3,)ブロックを40個のグループに細分化した例である。該グループ内の複数の色成分の画素出力全てが撮像素子14のリニアリティ範囲(ダイナミックレンジ)に対応する所定の範囲内に入るグループを所定範囲内グループ210とする。図5(d)は、ブロック毎に所定範囲内グループ数を算出したものである。(0,0)ブロックに示したように、背景が白つぶれしている場合には、所定範囲内グループ数は0となる。
ステップS303では、該所定範囲内グループ数が所定数以上存在するか否かを判別する。
図5(d)では、所定数を20とした時に、所定数以上存在すると判定されたブロックを所定範囲内ブロック220として表示している。
ステップS304では、ステップS301で分割したブロック単位で、ブロック内の画素全体の輝度の平均値である全体輝度平均値を算出する。
図5(e)は、ブロック毎に輝度平均値を算出したものである。
ステップS305では、ブロック毎に、該画素グループ内の画素出力がそれぞれ所定の範囲内に入る画素グループのみを使用した輝度平均値と色成分毎の平均値を算出する。
図5(f)、(g)は、所定範囲内ブロック220内の所定の範囲内に入る画素グループのみを使用した輝度平均値と色成分毎の色成分平均値である。
ステップS306では、ステップS305で求めた該所定範囲内の色成分毎の平均値が、特定色を示す色空間上の所定領域の中に存在するか否かを判定し、存在するブロックを特定色ブロックと判定する。
ステップS307では、特定色ブロックの判定結果や所定範囲内グループの数に応じて、ブロックごとの重み付け係数を調節する。重み付け係数の調節は図7を参照して詳しく後述する。
図5(h)は、特定色として肌色を抽出したときの結果を特定色ブロック230として示し、特定色に応じた重み付け係数を示したものである。
ステップS308では、ステップS307より算出された重み付け係数と、ステップS304、もしくはステップS306より検出したブロック毎の輝度平均値との加重平均により、特定色を最適な露出で撮影するための露光量、本発光量の目標値を算出する。
図5(i)は、ステップS304、もしくはステップS306より検出したブロック毎の輝度平均値である。所定範囲内ブロック220は図5(f)に示す所定範囲内輝度平均値、所定範囲内ブロック以外のブロックは図5(e)に示す輝度平均値を輝度平均値とする。
図5(j)は、図5(i)に示した輝度平均値と図5(h)に示した重み付け係数の乗算値の総和“5650”から、重み付け係数の総和“285”で除算処理(加重平均処理)によって、目標値“19.8”を算出する。
次に、上述した図2及び図3のフローチャートにおいて、特定色の被写体を抽出するときの抽出方法について、図6を用いて具体的に説明する。
図6は、縦軸R/G、横軸B/Gの色差平面を簡略化したグラフである。
特定色の抽出では、まず撮影環境における光源の色温度を判定してオートホワイトバランス制御を行う。これは、画面内の画像から得られる輝度情報や色情報により光源の色温度を推定し、白い被写体を撮影した時に、各R、G、Bの画素出力が同一のレベルになるように、R、G、Bのゲインを調整する既知の技術である。
尚、ストロボ使用時にストロボがバウンス撮影ではない場合には、プリ発光の色温度がわかっているので、これを光源の色温度とする。
ストロボユニット46がバウンス撮影時には、ストロボが周辺の反射物を介して被写体にストロボ光が届くため、反射物の反射率によって色温度(分光特性)が変化する。
そのため、バウンス撮影時には、画像データの色情報などにより、既知の手段でホワイトバランスの制御を行う。
ホワイトバランス制御した画像データより、ブロックの色成分毎の平均値をB/G値とR/G値の色差信号とする。色差信号の二次元平面上(色空間)において、特定色がプロットされる範囲が決まっているため、ブロック毎のダイナミックレンジ内色成分毎の平均値が色空間上で特定色を示す所定範囲内に入るか否かを判定する(ステップS306)。
例えば、特定色として肌色を抽出する場合に、肌色は図6に示す色空間において左上(第二象限)の範囲に存在することがわかっているため、左上の範囲に特定色枠を設定し、肌色の抽出を行う。
ここで、グループ内のR、G、B画素1色でも撮像素子14のリニアリティ範囲外であると、R、G、Bの比率が変化し色空間上で異なる位置にプロットされてしまう。
そのため、ブロック内で複数の色成分を含む数画素ずつの画素グループ内の画素出力全てが所定の範囲内に入る画素のみを使用した色成分毎の平均値が色空間上で特定色枠に入るか否かの判定を行う。
該ブロック内でリニアリティ範囲内のグループ数が所定のグループ数より少ない(所定のグループ割合より小さい)場合には、ブロック内の特定色の割合がそもそも小さいため、該ブロックが特定色枠に入るか否かの判定は行わない。
また、外付けストロボを使用する場合には、ストロボユニット46との通信により、ストロボユニット46のプリ発光時の色温度を取得する。内蔵のストロボを使用する場合には、予め画像処理部又はメモリなどに記憶したデータを読み出す。
次に、ストロボを発光せずに被写体を撮影した非発光画像データを取得し、メモリ30に記憶する。次に、ストロボユニット46を発光させて被写体を撮影したプリ発光画像データをメモリ30に記憶し、記憶した2つの画像データを画素単位で差分をとり、反射光輝度データを生成する。
ここで、非発光画像データの光源である環境光と、プリ発光画像データの光源である環境光とストロボ光の差分演算をとることで、環境光の影響を除去した反射光画像データを取得することができ、光源をストロボ光に特定することができる。
ストロボユニット46のプリ発光時の分光特性は、ストロボユニットとの通信により取得するか、予め画像処理部20又はメモリ30などに記憶したデータを読み出すことで取得する。
ストロボユニット46の分光特性と撮像素子14の分光特性は常に一定の値となるため、ストロボと撮像素子の分光特性データを予め画像処理部20又はメモリ30などに記憶しておく。画像処理部20は色温度データや分光特性データを分析し、分析結果に基づいて反射光画像データのR、G、Bのゲイン(ホワイトバランス調整値)を調整することで、正確なホワイトバランス調整が可能となる。
次に、上述した図2及び図3のフローチャートにおいて、重み付け係数の調節方法について、図7を用いて具体的に説明する。
図7は、各特定色、非特定色への重み付け係数を表にまとめたものである。該所定範囲内グループ数に応じて、重み付け係数値を調節する。
例えば、特定色として肌色を抽出した場合には、その領域を適正な露出で撮影するために、大きい重み付け係数値を設定する。
ストロボ発光時に、特定色として反射率の高い鏡や金屏風を検出した場合には、その反射光の影響を抑制するため、他のブロックに比べて重み付け係数値を小さく設定する。
また、非特定色のブロックも、該所定範囲内グループ数が小さい場合には、重み付け係数を小さく設定する。これは、画面内でダイナミックレンジ外の物体が及ぼす影響を抑制するためである。
以上のように、本実施形態では、発光画像と非発光画像との差分から特定色を検出する処理において、各ブロックでダイナミックレンジ内の色成分毎の平均値が色空間上で特定色を示す所定範囲内に入る画素グループを検出する。該画素グループの各ブロックに占める割合に基づいて各ブロックの重みづけ係数を決めて最終的な露出制御を行う。これらの処理により、ダイナミックレンジ外の物体が及ぼす影響を抑制し、人間の肌色を適正な露出で撮影することができる。また、反射率の高い鏡や金屏風の反射光の影響を抑える適正な露出で撮影することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
(他の実施形態)
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ(またはCPU、MPU等)が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD−R、磁気テープ、不揮発性のメモリカード、ROM等も用いることができる。
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う。
10 撮像装置
11 撮影レンズ
12 絞り
13 シャッタ
14 撮像素子
15 AGC回路
16 A/D変換器
20 画像処理部
21 メモリ制御部
30 メモリ
40 ゲイン制御部
41 電子シャッタ制御部
42 シャッタ制御部
43 絞り制御部
44 ズーム制御部
45 測距制御部
46 ストロボユニット
50 システム制御部
60 記録部

Claims (13)

  1. 像手段と、
    前記撮像手段で撮像を行い得られた画像データに基づいて複数の測光ブロックごとに代表輝度値を算出する輝度値算出手段と、
    前記複数の測光ブロックのそれぞれについて、前記測光ブロックに含まれる複数の小ブロックのうち出力値が所定の範囲内となる小ブロックが所定値以上存在するか否かを判定する判定手段と、
    前記輝度値算出手段により算出された複数の前記代表輝度値に基づいて露光量を算出する露光量算出手段と、
    前記複数の測光ブロックごとに重み付け係数を決定する決定手段と、を有し、
    前記輝度値算出手段は、前記判定手段により出力値が所定の範囲内となる小ブロックが所定値以上存在すると判定された測光ブロックについては、出力値が前記所定の範囲内とならない小ブロックを除いた小ブロックの出力値に基づいて前記代表輝度値を算出し、
    前記決定手段は、前記判定手段により出力値が前記所定の範囲内となる小ブロックが前記所定値以上存在すると判定された測光ブロックについては、出力値が前記所定の範囲内となる小ブロックの色情報と出力値が前記所定の範囲内となる小ブロックの数または割合に応じた重み付け係数を決定し、
    前記露光量算出手段は、前記輝度値算出手段により算出された複数の前記代表輝度値と前記決定手段により決定された重み付け係数とに基づいて露光量を算出することを特徴とする撮像装置。
  2. 前記輝度値算出手段は、前記判定手段により出力値が前記所定の範囲内となる小ブロックが前記所定値以上存在すると判定されない測光ブロックについては、少なくとも出力値が前記所定の範囲内とならない小ブロックの出力値に基づいて前記代表輝度値を算出することを特徴とする請求項1に記載の撮像装置。
  3. 前記判定手段は、出力値が前記所定の範囲内となる小ブロックが前記所定値以上存在するか否かを、出力値が前記所定の範囲内となる小ブロックの数が所定数以上か否かで判定することを特徴とする請求項1または2に記載の撮像装置。
  4. 前記判定手段は、出力値が前記所定の範囲内となる小ブロックが前記所定値以上存在するか否かを、出力値が前記所定の範囲内となる小ブロックの割合が所定割合以上か否かで判定することを特徴とする請求項1または2に記載の撮像装置。
  5. 前記決定手段は、前記判定手段により出力値が前記所定の範囲内となる小ブロックが前記所定値以上存在すると判定された測光ブロックについては、出力値が前記所定の範囲内となる小ブロックの色成分の平均値と出力値が前記所定の範囲内となる小ブロックの数または割合に応じた重み付け係数を決定することを特徴とする請求項1ないし4のいずれか1項に記載の撮像装置。
  6. 前記決定手段は、前記判定手段により出力値が前記所定の範囲内となる小ブロックが前記所定値以上存在すると判定された測光ブロックについては、出力値が前記所定の範囲内となる小ブロックの色成分の平均値が色空間上で肌色を示す範囲内であれば、出力値が前記所定の範囲内となる小ブロックの数または割合が小さいときよりも大きいときのほうが重み付け係数を大きくすることを特徴とする請求項に記載の撮像装置。
  7. 前記決定手段は、前記判定手段により出力値が前記所定の範囲内となる小ブロックが前記所定値以上存在すると判定された測光ブロックについては、出力値が前記所定の範囲内となる小ブロックの色成分の平均値が色空間上で金屏風に対応する色を示す範囲内であれば、出力値が前記所定の範囲内となる小ブロックの数または割合が小さいときよりも大きいときのほうが重み付け係数を小さくすることを特徴とする請求項5または6に記載の撮像装置。
  8. 前記輝度値算出手段は、前記判定手段により出力値が前記所定の範囲内となる小ブロックが前記所定値以上存在すると判定された測光ブロックについては、出力値が前記所定の範囲内となる小ブロックの平均輝度値を前記代表輝度値として算出することを特徴とする請求項1ないし7のいずれか1項に記載の撮像装置。
  9. 前記輝度値算出手段は、前記判定手段により出力値が前記所定の範囲内となる小ブロックが前記所定値以上存在すると判定されない測光ブロックについては、含んでいる小ブロックすべての輝度平均値を前記代表輝度値として算出することを特徴とする請求項2に記載の撮像装置。
  10. 前記所定の範囲は、前記撮像手段のダイナミックレンジに対応する範囲であることを特徴とする請求項1ないし9のいずれか1項に記載の撮像装置。
  11. 撮像手段で撮像を行い得られた画像データに基づいて複数の測光ブロックごとに代表輝度値を算出する輝度値算出ステップと、
    前記複数の測光ブロックのそれぞれについて、前記測光ブロックに含まれる複数の小ブロックのうち出力値が所定の範囲内となる小ブロックが所定値以上存在するか否かを判定する判定ステップと、
    前記輝度値算出ステップにより算出された複数の前記代表輝度値に基づいて露光量を算出する露光量算出ステップと、
    前記複数の測光ブロックごとに重み付け係数を決定する決定ステップと、を有し、
    前記輝度値算出ステップは、前記判定ステップで出力値が所定の範囲内となる小ブロックが所定値以上存在すると判定された測光ブロックについては、出力値が前記所定の範囲内とならない小ブロックを除いた小ブロックの出力値に基づいて前記代表輝度値を算出し、
    前記決定ステップは、前記判定ステップで出力値が前記所定の範囲内となる小ブロックが前記所定値以上存在すると判定された測光ブロックについては、出力値が前記所定の範囲内となる小ブロックの色情報と出力値が前記所定の範囲内となる小ブロックの数または割合に応じた重み付け係数を決定し、
    前記露光量算出ステップは、前記輝度値算出ステップで算出された複数の前記代表輝度値と前記決定ステップで決定された重み付け係数とに基づいて露光量を算出することを特徴とする撮像装置の制御方法。
  12. 請求項11に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
  13. コンピュータに、請求項11に記載の撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
JP2011155908A 2011-07-14 2011-07-14 撮像装置及び撮像装置の制御方法 Expired - Fee Related JP5885416B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011155908A JP5885416B2 (ja) 2011-07-14 2011-07-14 撮像装置及び撮像装置の制御方法
US13/545,767 US9131197B2 (en) 2011-07-14 2012-07-10 Imaging apparatus capable of controlling exposure including flash amount control of flash apparatus, and control method thereof
EP12175940.1A EP2547092A3 (en) 2011-07-14 2012-07-11 Imaging apparatus capable of controlling exposure including flash amount control of flash apparatus, and control method thereof
CN201210244126.4A CN102883107B (zh) 2011-07-14 2012-07-13 摄像设备及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011155908A JP5885416B2 (ja) 2011-07-14 2011-07-14 撮像装置及び撮像装置の制御方法

Publications (3)

Publication Number Publication Date
JP2013021658A JP2013021658A (ja) 2013-01-31
JP2013021658A5 JP2013021658A5 (ja) 2015-02-19
JP5885416B2 true JP5885416B2 (ja) 2016-03-15

Family

ID=46679095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011155908A Expired - Fee Related JP5885416B2 (ja) 2011-07-14 2011-07-14 撮像装置及び撮像装置の制御方法

Country Status (4)

Country Link
US (1) US9131197B2 (ja)
EP (1) EP2547092A3 (ja)
JP (1) JP5885416B2 (ja)
CN (1) CN102883107B (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717454B2 (en) * 2009-12-24 2014-05-06 Samsung Electronics Co., Ltd. Image pickup apparatus and image pickup method for adjusting white balance to account for flash and external light sources
US20130176457A1 (en) * 2012-01-09 2013-07-11 Sawada Yasuhiro Auto processing images having arbitrary regions of interest
US9411212B2 (en) * 2013-01-25 2016-08-09 Canon Kabushiki Kaisha Illumination apparatus which is arrangeable so as to surround an image capturing lens
JP6351214B2 (ja) * 2013-06-19 2018-07-04 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP5947263B2 (ja) * 2013-08-27 2016-07-06 Necプラットフォームズ株式会社 アンテナおよび無線通信装置
JP6255931B2 (ja) * 2013-11-19 2018-01-10 リコーイメージング株式会社 照明装置、撮像装置、照明方法および反射領域判定装置
US10154202B2 (en) * 2014-10-15 2018-12-11 Samsung Electronics Co., Ltd. Apparatus for illuminating a scene and control method thereof
CN104967776B (zh) * 2015-06-11 2018-03-27 广东欧珀移动通信有限公司 一种拍照设置方法及用户终端
US10032252B2 (en) * 2015-10-30 2018-07-24 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer readable storage medium
TWI588587B (zh) 2016-03-21 2017-06-21 鈺立微電子股份有限公司 影像擷取裝置及其操作方法
JP6727920B2 (ja) * 2016-05-17 2020-07-22 キヤノン株式会社 撮像装置及び制御方法
CN106791472B (zh) * 2016-12-29 2019-07-30 努比亚技术有限公司 一种曝光方法及终端
CN106952244B (zh) * 2017-03-28 2020-05-05 中航视嘉(北京)技术有限公司 一种图像亮度的自动调整方法及装置
JP6910837B2 (ja) * 2017-04-14 2021-07-28 キヤノン株式会社 撮像装置、撮像素子とその制御方法及びプログラム
US10154256B1 (en) * 2017-06-13 2018-12-11 Qualcomm Incorporated Flash color calibration
CN107302663B (zh) * 2017-07-31 2020-07-14 珠海大横琴科技发展有限公司 一种图像亮度调整方法、终端及计算机可读存储介质
CN108810509B (zh) * 2018-07-06 2020-08-11 北京中安未来科技有限公司 一种图像色彩校正方法及装置
CN111372007B (zh) * 2020-03-03 2021-11-12 荣耀终端有限公司 环境光照度的检测方法、装置和电子设备
CN112702551A (zh) * 2020-12-21 2021-04-23 上海眼控科技股份有限公司 一种闪电场视频录制方法、装置、设备及介质
CN113099191B (zh) * 2021-03-22 2023-04-07 浙江大华技术股份有限公司 一种图像处理方法及装置
KR20220152019A (ko) * 2021-05-07 2022-11-15 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그 동작 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3343921B2 (ja) 1991-08-06 2002-11-11 ミノルタ株式会社 人物適応露出制御装置
JPH11275454A (ja) * 1998-03-23 1999-10-08 Ricoh Co Ltd デジタルビデオカメラ
JP4277406B2 (ja) * 2000-01-26 2009-06-10 株式会社ニコン 画像記録装置
JP4636739B2 (ja) 2001-06-29 2011-02-23 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、及びコンピュータ読み取り可能な記憶媒体
JP4300936B2 (ja) 2003-08-20 2009-07-22 ソニー株式会社 撮像装置
US7551207B2 (en) 2003-08-26 2009-06-23 Casio Computer Co., Ltd. Image pickup apparatus, white balance control method, and white balance control program
JP4118864B2 (ja) 2004-11-05 2008-07-16 三菱電機株式会社 撮像装置
JP4115467B2 (ja) 2005-06-01 2008-07-09 富士フイルム株式会社 撮影装置
US8107762B2 (en) * 2006-03-17 2012-01-31 Qualcomm Incorporated Systems, methods, and apparatus for exposure control
JP5169318B2 (ja) 2007-09-18 2013-03-27 株式会社リコー 撮像装置、撮像方法
JP2010268134A (ja) * 2009-05-13 2010-11-25 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
JP2013021658A (ja) 2013-01-31
EP2547092A3 (en) 2016-12-21
US20130016249A1 (en) 2013-01-17
CN102883107A (zh) 2013-01-16
EP2547092A2 (en) 2013-01-16
CN102883107B (zh) 2016-01-06
US9131197B2 (en) 2015-09-08

Similar Documents

Publication Publication Date Title
JP5885416B2 (ja) 撮像装置及び撮像装置の制御方法
US8493485B2 (en) Image pickup device, image pickup apparatus, control method, and program
JP5597243B2 (ja) 撮像装置
JP5489591B2 (ja) 撮像装置およびその制御方法
JP6303304B2 (ja) カメラ
US9888184B2 (en) Light emission control device, control method therefor, storage medium storing control program therefor, and image pickup apparatus with light emission control device
US10063795B2 (en) Image capturing apparatus, method for controlling the same, and storage medium
JP5092565B2 (ja) 撮像装置、画像処理装置およびプログラム
US8559809B2 (en) Image shooting device
JP2002207159A (ja) デジタルカメラ
JP5791765B2 (ja) 撮像装置及びその制御方法
JP2008236032A (ja) 撮影装置
JP5228318B2 (ja) カメラおよび発光量演算プログラム
JP2005065186A (ja) 撮像装置
JP2012163679A (ja) 撮像装置、ストロボ制御方法およびストロボ制御プログラム
US10873707B2 (en) Image pickup apparatus and method, for ensuring correct color temperature based on first or second preliminary light emission of a flash device
JP2006259056A (ja) カメラ
JP6272006B2 (ja) 撮像装置、画像処理方法及びプログラム
JP2005121834A (ja) 撮像方法、撮像装置、プログラム及び記憶媒体
JP5625711B2 (ja) 撮像装置及び撮像方法
JP5791454B2 (ja) 撮像装置、及びその制御方法
JP4539254B2 (ja) 電子カメラおよび画像処理プログラム
JP2008219334A (ja) 電子カメラ
JP2017032754A (ja) 撮像装置、その制御方法、及びプログラム
JP6561432B2 (ja) 露出演算装置、露出制御装置及びカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160209

R151 Written notification of patent or utility model registration

Ref document number: 5885416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees