JP2023106486A - 撮像装置及びその制御方法並びにプログラム - Google Patents

Abstract

【課題】露出量を領域ごとに制御可能な撮像素子に関し、白飛びの発生を抑えながらＳ／Ｎ比の低下も抑制できるように露出量を制御する。【解決手段】撮像装置であって、領域ごとに露出条件を制御可能な撮像手段を備える。撮像手段による撮像範囲中の各領域の動きを示す情報を取得する。撮像手段による撮像範囲中の各領域の明るさ情報を取得する。動きを示す情報及び明るさ情報を用いて、撮像手段により用いられる露出条件を領域ごとに設定する。【選択図】図３

Description

本発明は、撮像装置及びその制御方法並びにプログラムに関し、特に領域毎に露出条件を制御可能な撮像素子の露出条件制御に関する。

デジタルカメラ及びデジタルビデオカメラなどの撮像装置において用いられるＣＣＤ及びＣＭＯＳ等の撮像素子のダイナミックレンジは、自然界のダイナミックレンジよりも狭い。そのため、広いダイナミックレンジ（ハイダイナミックレンジと称され、本明細書では「ＨＤＲ」と略記される）を有する被写体を撮像すると、黒潰れ又は白飛びなどが発生することがある。

この課題に対し、特許文献１は、予備撮像に基づいて領域ごとに蓄積時間などの露出条件を制御可能なセンサを用いることを提案している。さらに特許文献２は、予備撮像に基づいて画像領域を低露光量領域と高露光量領域に分類し、さらにこれらの領域の境界部を低露光量領域に変更することで、境界部における白飛びを防ぐことを提案している。

特開２０１０－１３６２０５号公報 特開２０１１－４０８９号公報

しかしながら、本願発明者の検討によれば、特許文献２に記載の方法は動体が存在する動領域における白飛びの防止に効果的である一方で、動体が存在しない静止領域におけるＳ／Ｎ比の低下が目立つことが見出された。

本発明は、露出量を領域ごとに制御可能な撮像素子に関し、白飛びの発生を抑えながらＳ／Ｎ比の低下も抑制できるように露出量を制御することを目的とする。

本発明の目的を達成するために、例えば、本発明の撮像装置は以下の構成を備える。すなわち、
撮像装置であって、
領域ごとに露出条件を制御可能な撮像手段と、
前記撮像手段による撮像範囲中の各領域の動きを示す情報を取得する第１の取得手段と、
前記撮像手段による撮像範囲中の各領域の明るさ情報を取得する第２の取得手段と、
前記動きを示す情報及び前記明るさ情報を用いて、前記撮像手段により用いられる前記露出条件を領域ごとに設定する設定手段と、を有する。

露出量を領域ごとに制御可能な撮像素子に関し、白飛びの発生を抑えながらＳ／Ｎ比の低下も抑制できるように露出量を制御する。

一実施形態に係る撮像装置の構成例を示すブロック図。 一実施形態に係る制御方法のフローチャート。 露出条件算出部１０６の内部構成例を示すブロック図。 露出条件算出処理（ステップＳ２０３）のフローチャート。 一実施形態に係るコンピュータの構成例を示すブロック図。 領域ごとの露出値の算出方法の説明図。 領域ごとの露出値の補正方法の説明図。 露出値と露出条件の対応を示すテーブルの一例を示す図。 領域ごとの露出値の補正方法の説明図。 露出条件補正処理（ステップＳ４０９）のフローチャート。

以下、本発明の実施形態について、図面を参照して説明する。しかしながら、以下の実施形態は本発明を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。一方で本発明は、別個の実施形態で説明される特徴の組み合わせも包含する。以下では、同一又は類似の構成に対しては同じ符号を付し、説明を省略することがある。

［実施形態１］
実施形態１に係る撮像装置は、領域ごとに露出条件を制御可能な撮像部を有している。例えば、撮像部は撮像素子（センサ）を有しており、撮像素子の領域ごとに露出条件を制御することができる。本実施形態に係る撮像装置は、撮像部による撮像範囲中の動領域を示す情報を用いて、露出条件を領域ごとに制御する。このような構成によれば、動きがある動領域における白飛びを防止する一方で、動きがない静止領域におけるＳ／Ｎ比の低下を軽減することができる。以下、このような撮像装置及びその制御方法について説明する。

以下で説明する特定の実施形態において、撮像部は、領域ごとに蓄積時間を設定可能な撮像素子を有している。撮像部は、各領域について均一の露出条件で予備撮像を行うことで、連続した２枚の予備撮像画像を取得する。そして、これらの予備撮像画像を用いて判定された動領域及び輝度分布に基づいて、本撮像における領域ごとの露出条件が決定される。例えば、以下に説明する特定の実施形態においては、周辺に動領域が存在する領域の露出条件については、周辺の領域について輝度分布に基づいて決定された露出条件のうち、最も暗い（露出量又は受光量が少なくなる）露出条件に変更される。しかしながら、本発明がこのような特定の実施形態に限定されないことに留意すべきである。

図１は、実施形態１に係る撮像装置１０１の構成例を示す。本実施形態に係る撮像装置１０１は、図１に参照符号１０２～１１３で示される構成を有している。撮像装置１０１が有する撮像部は、光学系１０２及び撮像素子１０３を有している。光学系１０２は、被写体１９０の像を撮像素子１０３に結像させる光学素子を有しており、例えば、シャッタ、レンズ、絞り、及び光学ローパスフィルタなどを有している。撮像素子１０３は、撮像素子１０３上に結像した被写体像を示す光情報を、デジタル情報に変換する。撮像素子１０３は、例えばＣＭＯＳなどであってもよい。また、カラー撮像素子である撮像素子１０３は、カラーフィルタを有していてもよい。

撮像素子１０３は、さらに、領域ごとに露出条件を制御可能なように構成されている。露出条件とは、撮像装置の各画素に入射して撮像素子１０３によって検知される光量、又は撮像素子の各画素に蓄積する電荷の量を制御するパラメータのことである。露出条件には、例えば、電荷の蓄積時間が含まれる。各素子は設定された蓄積時間内に入射した光量を検知し、すなわちこの光量に応じた電荷が蓄積する。以下では、撮像素子１０３の露出量が大きいことは、同一の入射光について撮像素子１０３がより多くの電荷を蓄積できることを意味する。一方で、露出値は、撮像素子１０３により得られる画像の明るさを制御するパラメータである。露出値は、例えばＥＶ値であってもよく、大きいほど画像が暗くなる。露出値は、絞り値、蓄積時間、及び感度（例えばＩＳＯ感度、又は撮像素子１０３からの読出しゲイン）に依存する。

後述する露出条件算出部１０６は、撮像素子１０３の電荷蓄積時間を露出条件として制御することができる。なお、撮像素子１０３は、所定の画素ブロック（例えば６４×６４画素）で構成される領域ごとに露出条件を制御可能であってもよいし、１画素ごとに露出条件を制御可能であってもよい。

制御部１０４は、光学系１０２及び撮像素子１０３を駆動させることにより、撮像動作を制御する。

露出条件算出部１０６は、撮像部による撮像範囲中の動体領域を示す情報を取得する。また、露出条件算出部１０６は、撮像部による撮像範囲中の各領域の明るさ情報を取得する。さらに、露出条件算出部１０６は、動体領域を示す情報及び明るさ情報を用いて、撮像部が用いる露出条件を領域ごとに設定する。

参照符号１０５，１０７～１１０で示される構成は、本実施形態における露出条件算出部１０６の処理を支援するための構成である。画像記憶部１０５は、本撮像に先立つ予備撮像によって得られた２枚の予備撮像画像を記憶する。本実施形態において露出条件算出部１０６は、２枚の予備撮像画像を用いて、動体領域を示す情報及び明るさ情報を取得する。

パラメータ記憶部１０７は、露出条件算出部１０６が露出条件を設定するために参照するパラメータを記憶する。露出条件記憶部１０８は、露出条件算出部１０６が算出した領域ごとの露出条件を記憶する。露出条件設定部１０９は、露出条件記憶部１０８が記憶している領域ごとの露出条件に従って撮像を行うための設定を行い、制御部１０４はこの設定に従って本撮像動作を制御する。

ゲイン補正部１１０は、露出条件記憶部１０８が記憶している領域ごとの露出条件に従って、本撮像により撮像素子１０３から得られたデータに対し、領域ごとにゲイン補正を行う。このような構成により、撮像装置１０１は撮像素子１０３からの信号に適用するゲインを領域ごとに制御することができる。

参照符号１１１～１１３で示される構成は、本撮像を行った後に、得られたデータを処理するための構成である。現像処理部１１１は、ゲイン補正部１１０によるゲイン補正後のデータに対し、現像処理を行うことで、本撮像画像を生成する。現像処理は、ホワイトバランス補正処理、ディベイヤー処理、ノイズリダクション処理、シャープネス処理、及びガンマ補正などを含むことができる。画像記憶部１１２は、現像処理部１１１により得られた本撮像画像のデータを記憶する。画像出力部１１３は、画像記憶部１１２が記憶している本撮像画像のデータを外部装置に出力する。画像出力部１１３は、例えば、ケーブルなどを介して、プリンタ、ディスプレイ、又はメモリカードなどの記憶媒体に、本撮像画像のデータを出力することができる。

図２は、本実施形態に係る撮像装置１０１が行う処理の全体の流れを示すフローチャートである。ステップＳ２０１で制御部１０４は、予備撮像及び本撮像で用いる撮像条件を設定する。撮像条件には、撮像画像全体に対する撮像パラメータ（例えば絞り値などの光学系１０２の制御パラメータ、感度、及び露出値など）が含まれる。なお、予備撮像における露出条件及び本撮像画像全体に対応する露出条件はステップＳ２０１で設定することができるが、本撮像における各領域の露出条件はステップＳ２０３でさらに制御される。制御部１０４は、例えばユーザ入力に従ってこれらの設定を行うことができる。

ステップＳ２０２で制御部１０４は、ステップＳ２０１で設定された撮像条件に従って、光学系１０２及び撮像素子１０３を駆動させて予備撮像を行う。制御部１０４は、予備撮像により複数の予備撮像画像を生成し、画像記憶部１０５に記憶する。予備撮像では、各領域について同じ露出条件を用いて撮像を行うことができる。制御部１０４は、例えば本撮像を行う指示を取得したことに応じて、本撮像の前に、所定の時間間隔で２回の予備撮像を行うことができる。

ステップＳ２０３で露出条件算出部１０６は、画像記憶部１０５に記憶されている複数の予備撮像画像と、パラメータ記憶部１０７に記憶されているパラメータとを用いて、領域ごとに本撮像の露出条件を決定し、露出条件記憶部１０８に記憶する。本実施形態において露出条件算出部１０６は、領域ごとに蓄積時間を決定する。具体的な処理例については後述する。

ステップＳ２０４で制御部１０４は、露出条件記憶部１０８に記憶された領域ごとの露出条件に従って、撮像素子１０３を駆動することで、領域ごとに異なる露出条件を用いた本撮像を行う。

ステップＳ２０５でゲイン補正部１１０は、ステップＳ２０４における本撮像で得られたデータに対し、領域ごとにゲイン補正を行う。例えばゲイン補正部１１０は、露出値に対応するゲインを決定することにより、領域間の露出量の差を補償することができる。ゲイン補正は、例えば下式にしたがって行うことができる。
Ｃ’ ＝ ａ＿ｉ・Ｃ （Ｃ＝Ｒ，Ｇ，Ｂ）
ａ＿ｉ ＝ ２．０＾（ＥＶ＿ｉ－ＥＶ＿０）
上式において、ＣはＲ，Ｇ，Ｂのいずれかの色についての補正前の信号値を示し、Ｃ’は補正後の信号値を示す。ａ＿ｉは領域ｉにおけるゲイン補正値である。また、ＥＶ＿ｉは領域ｉにおける露出値であり、ステップＳ２０３で設定された露出条件に従って決定される。ＥＶ＿０は本撮像時の露出値であり、ステップＳ２０１で設定された本撮像画像全体に対応する露出条件に従って決定される。なお、本撮像時の露出値ＥＶ＿０は、例えば図８に示すように、蓄積時間、感度（読出しゲイン）、及び絞り値に応じて決定できる。

ステップＳ２０６で現像処理部１１１は、ステップＳ２０５におけるゲイン補正後のデータに対して現像処理を行う。ステップＳ２０７で出力部１１３は、ステップＳ２０６で得られた本撮像画像データを出力する。

＜領域ごとの露出条件設定＞
次に、ステップＳ２０３における領域別の露出条件設定処理について説明する。図３は、露出条件算出部１０６の内部構成の一例を示すブロック図である。露出条件算出部１０６には、古い予備撮像画像（ｔ）３０１及び新しい予備撮像画像（ｔ＋１）３０２が入力される。

上述のように、露出条件算出部１０６は、撮像部による撮像範囲中の各領域の明るさ情報を取得する。露出条件算出部１０６は、撮像部により得られた画像に基づいて、明るさ情報を取得することができる。明るさ情報の種類は特に限定されないが、本実施形態においては明るさ情報として輝度値が用いられる。また、本実施形態において露出条件算出部１０６は、予備撮像画像を用いてこの明るさ情報を生成する。このための具体的な構成として、輝度変換部３０３は予備撮像画像（ｔ＋１）３０２を輝度画像に変換する。また、輝度変換部３０３は予備撮像画像（ｔ）３０１も輝度画像に変換することができる。もっとも、撮像装置１０１が取得した画像情報に基づいて明るさ情報を生成することは必須ではなく、例えば外部の測定装置によって得られた明るさ情報を、露出条件算出部１０６が取得してもよい。

さらに、露出条件算出部１０６は、撮像部による撮像範囲中の動領域を示す情報を取得する。例えば、露出条件算出部１０６は、撮像部により得られた２枚の画像の差分に基づいて動領域を示す情報を取得することができる。本実施形態において露出条件算出部１０６は、複数の予備撮像画像の比較により動領域を判定する。すなわち、露出条件算出部１０６は、予備撮像画像間で差異が大きい領域を、動領域と判定することができる。このための具体的な構成として、動領域判定部３０４は、輝度画像に変換された予備撮像画像（ｔ）３０１及び予備撮像画像（ｔ＋１）３０２を用いて、動領域を判定する。

そして、露出条件算出部１０６は、動領域を示す情報及び明るさ情報を用いて、撮像部が用いる露出条件を領域ごとに設定する。露出条件算出部１０６は、各領域について撮像素子１０３が測定する光量の飽和が抑制されるように、それぞれの領域についての露出条件を設定することができる。

一実施形態において露出条件算出部１０６は、動領域の周辺にない領域と、動領域の周辺にある領域との間で、露出条件の設定方法を切り替える。すなわち、動領域の周辺にない領域については、第１の設定方法を用いてこの領域についての露出条件を設定することができ、動領域の周辺にない領域については、第２の設定方法を用いてこの領域についての露出条件を設定することができる。

切り替え方法は特に限定されないが、以下の例では、動領域の周辺にない領域については、この領域における明るさに従って、この領域についての露出条件が決定される。一方で、動領域の周辺にない領域については、この領域における明るさに加えて、この領域の周辺領域の明るさに基づいて、この領域についての露出条件が設定される。

このための具体的な構成として、補正値算出部３０５は、予備撮像画像（ｔ＋１）３０２の輝度画像を用いて、領域ごとの露出補正値を算出する。また、露出値算出部３０６は、補正値算出部３０５が算出した露出補正値を用いて、領域ごとの補正後の露出値を算出する。さらに、露出値補正部３０７は、動領域判定部３０４が判定した動領域を示す情報と、露出値算出部３０６が算出した領域ごとの補正後の露出値を用いて、動領域における露出値の補正を行う。そして、露出条件決定部３０８は、露出値補正部３０７による補正後の露出値を用いて、領域ごとの露出条件を決定し、露出条件記憶部１０８に記憶する。

図４は、ステップＳ２０２における領域ごとの露出条件設定処理の詳細を示すフローチャートである。ステップＳ４０１で、輝度変換部３０３は、予備撮像画像（ｔ）及び予備撮像画像（ｔ＋１）を取得する。ステップＳ４０２で輝度変換部３０３は、撮像素子１０３の領域のうち１つを処理対象領域として選択する。ステップＳ４０３～４０６では、撮像素子１０３の１つの領域を対象として処理が行われ、この領域についての露出条件が決定される。露出条件を決定しようとする領域のことを、処理対象領域と呼ぶ。処理対象領域は、例えば、同じ露出条件が適用される撮像素子１０３の画素ブロックに対応していてもよい。すなわち、撮像素子１０３が、所定の画素ブロック（例えば６４×６４画素）で構成される領域ごとに露出条件を制御可能である場合、それぞれの画素ブロックを処理対象領域として順次選択することができる。

ステップＳ４０３で輝度変換部３０３は、予備撮像画像（ｔ）３０１及び予備撮像画像（ｔ＋１）３０２の処理対象領域を輝度画像に変換する。輝度画像の生成方法は特に限定されないが、例えばＲＧＢのベイヤー構造を有する撮像画像を輝度画像に変換する場合、次式を用いて、処理対象領域に含まれる２×２画素の画素ブロックのそれぞれに対する輝度Ｙを算出することができる。
Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ

ステップＳ４０４で補正値算出部３０５は、ステップＳ４０３で得られた予備撮像画像（ｔ＋１）の処理対象領域の輝度画像を用いて、露出補正値を算出する。露出補正値は、予備撮像時に用いられた露出条件を、露出補正値に従って変更することにより、最適な露出条件が得られるように算出される。露出補正値の算出方法は特に限定されない。本実施形態で補正値算出部３０５は、露出値についての補正値を算出する。この場合、下式に従って露出補正値を算出することができる。下式において、処理対象領域における輝度の最大値をＹｍａｘ、本撮像画像における輝度の最大値をｍａｘと表す。Ｙｍａｘとｍａｘが等しい場合には、処理対象領域が飽和しているため、ＥＶ補正値が大きくされ、暗く撮影するような露光条件が設定される。一方、ｍａｘが、Ｙｍａｘ／２以上で、Ｙｍａｘより小さい場合には、現状の露光条件が維持される。それ以外の場合については、明るく撮影するように露光条件が設定される。
ｉｆ（Ｙｍａｘ＝＝ｍａｘ）
ＥＶ補正値＝１
ｅｌｓｅ ｉｆ（Ｙｍａｘ／２≦ｍａｘ＜Ｙｍａｘ）
ＥＶ補正値＝０
ｅｌｓｅ
ＥＶ補正値＝－ｌｏｇ_２（ｍａｘ／Ｙｍａｘ）

ステップＳ４０５で露出値算出部３０６は、ステップＳ４０４で得られた露出補正値を用いて、補正後の露出値を算出する。補正後の露出値は、例えば、下式に従って算出することができる。下式において、ＥＶｐｒｅは予備撮像時の露出条件に対応する露出値である。また、ＥＶｍａｘは本撮像時に設定可能な撮像条件のうち最も暗くなる撮像条件に対応する露出値であり、設定された絞り値に応じて決定することができる。ＥＶｐｒｅ及びＥＶｍａｘは、図８に示すように、露出値、蓄積時間、感度（読出しゲイン）、及び絞り値の関係に従って決定することができる。
ＥＶ＝ＥＶｐｒｅ＋ＥＶ補正値
ｉｆ（ＥＶ＜１）
ＥＶ＝１
ｅｌｓｅ ｉｆ（ＥＶ＞ＥＶｍａｘ）
ＥＶ＝ＥＶｍａｘ

上記のような構成により、各領域に適した露出値を、この領域の明るさに従って算出することができる。具体的には、各領域について撮像素子１０３が測定する光量が飽和することを抑制しながら、測定する光量が大きくなるように、露出値を決定することができる。すなわち、このように決定された露出値を用いることで、撮像素子１０３から得られる信号のＳ／Ｎ比を向上させることができる。

ステップＳ４０６で動領域判定部３０４は、処理対象領域が動領域か否かを判定する。動領域判定部３０４は、処理対象領域における被写体の変化を反映する情報を用いて、この判定を行うことができる。本実施形態において動領域判定部３０４は、処理対象領域における、予備露光画像（ｔ）３０１の輝度画像と、予備露光画像（ｔ＋１）３０２の輝度画像との間の差分に基づいて、処理対象領域が動領域か否かを判定する。例えば動領域判定部３０４は、輝度差分の絶対値を、処理対象領域（領域ｉ）にわたって合計し、ゲイン処理及び閾値処理を行うことで、処理対象領域における動き量Ｍｉを算出することができる。そして、動き量Ｍｉが所定の閾値よりも大きい場合に、処理対象領域は動領域であると判定することができる。

下式は、動き量Ｍｉを算出する式の一例である。
Ｍｉ＝ｇ×（Σ｜Ｙ_ｔ，ｉ（ｊ）－Ｙ_{ｔ＋１，ｉ}（ｊ）|－Ｔｈ）
この式において、Ｙ_ｔ，ｉ（ｊ）は、領域ｉの画素位置ｊにおける予備撮像画像（ｔ）３０１の輝度を、Ｙ_{ｔ＋１，ｉ}（ｊ）は、領域ｉの画素位置ｊにおける予備撮像画像（ｔ＋１）３０２の輝度を表す。ｇ及びＴｈは、誤差を調整するためのパラメータであり、パラメータ記憶部１０７に記憶されている。ｇを調整することで、動き量Ｍｉの大きさを制御することが可能となり、Ｔｈを制御することにより、動領域として判定される輝度差の大きさを制御することができる。

ステップＳ４０７では、輝度変換部３０３は、すべての領域について処理を完了したかどうかを判定する。すべての領域に対して処理を完了していない場合、処理はステップＳ４０８に進み、完了した場合、処理はステップＳ４０９に進む。ステップＳ４０８で輝度変換部３０３は、まだ処理されていない領域を処理対象領域として選択し、その後ステップＳ４０３からステップＳ４０６の処理が繰り返される。

ステップＳ４０９で露出条件決定部３０８は、動領域判定部３０４による判定に従って、ステップＳ４０５で領域ごとに決定された露出値をさらに補正する。この処理の詳細は後述する。

ステップＳ４１０で露出条件決定部３０８は、ステップＳ４０９における補正後の、領域ごとの露出値に従って、領域ごとの露出条件を決定する。そして露出条件決定部３０８は、決定した露出条件を露出条件記憶部１０８に記憶する。ここで、露出条件決定部３０８は、露出値が小さいほど露出量が大きくなるように又は蓄積時間が長くなるように、露出値に対応する露出量又は蓄積時間を決定することができる。例えば、露出条件決定部３０８は、各領域についての絞り値及び感度を一定とした場合の、各領域の露出値に対応する蓄積時間を決定してもよい。

具体的な露出条件の決定方法は特に限定されないが、露出条件決定部３０８は、例えば、図８に示すような露出値に対応する蓄積時間を定めるテーブルを参照して、領域ごとの露出条件を決定することができる。ここで露出条件決定部３０８は、図８に示すように、ステップＳ２０１で設定された絞り値及び感度（読出しゲイン）などの撮像条件と、露出値と、の双方に対応する蓄積時間を決定してもよい。このような構成により、露出値がより小さく設定される暗い領域において、露出量又は蓄積時間を増やし、Ｓ／Ｎ比を改善することができる。もっとも、全ての露出値に関して、特に十分に露出値が大きい（又は明るい）領域について、露出値が大きいほど（又は明るいほど）露出量を小さくすることは必須ではない。

＜動領域における露出値補正＞
ステップＳ４０９における、動領域における露出値補正について、図１０のフローチャートを参照して詳細に説明する。本実施形態においては、動領域の周辺にある領域の露出条件が、この領域の明るさに加えて、この領域の周辺領域の明るさに基づいて設定される。この設定には、例えば、既にステップＳ４０５において各領域についての明るさに基づいて算出されている、各領域についての露出条件（又は露出値）を用いることができる。以下の例では、動領域の周辺にある領域の露出条件は、この領域の明るさに基づいてステップＳ４０５で算出された露出条件と、この領域の周辺領域の明るさに基づいてステップＳ４０５で算出された露出条件と、に基づいて設定される。

ステップＳ１００１で露出条件決定部３０８は、動領域マップ及び露出値マップを取得する。動領域マップとは、領域ごとに動領域であるか否かを示す情報であって、ステップＳ４０６の処理により得られている。露出値マップとは、領域の明るさ情報（本実施形態においては輝度）にしたがって領域ごとに決定された露出値であって、ステップＳ４０５の処理により得られている。

ステップＳ１００２で露出条件決定部３０８は、撮像素子１０３の領域のうち１つを処理対象領域として選択する。ステップＳ１００６でも露出条件決定部３０８は、まだ処理されていない領域を処理対象領域として選択する。ステップＳ１００３～Ｓ１００５では、こうして選択された撮像素子１０３の１つの領域を対象として処理が行われる。露出条件決定部３０８は、ステップＳ１００２，Ｓ１００６において、ステップＳ４０２，Ｓ４０８と同様に、撮像素子１０３のそれぞれの画素ブロックを処理対象領域として順次選択することができる。

ステップＳ１００３で露出条件決定部３０８は、処理対象領域に関して設定された探索範囲に、動領域が存在するか否かを判定する。露出条件決定部３０８は、動領域マップを参照し、動領域と判定された領域が１つ以上探索範囲に存在する場合、動領域が存在すると判定することができる。図９は、探索範囲９２０が、処理対象領域９１０の周囲の３×３ブロックである場合の例を示す。図９には動領域９３０が示されており、この例では探索範囲９２０の中に動領域として判定された領域が含まれるため、処理対象領域についての探索範囲には動領域が存在すると判定される。

ステップＳ１００３において、処理対象領域についての探索範囲に動領域が存在すると判定された場合、処理はステップＳ１００４に進む。この場合、処理対象領域は動領域の周辺にあると判定されている。ステップＳ１００４においては、ステップＳ４０５で算出されている処理対象領域の露出条件（又は露出値）と、処理対象領域の周辺領域の露出条件と、のうち最も最も露出量が小さくなる露出条件が、処理対象領域についての露出条件として設定される。このように、処理対象領域についてステップＳ４０５で算出された、処理対象領域の明るさに基づいて設定された露出条件による露出量は、ステップＳ１００４における補正後の露出条件による露出量以上となる。

ここで、探索範囲は周辺領域と一致していてもよいし、異なっていてもよい。例えば、露出条件決定部３０８は、処理対象領域の露出値を、探索範囲内の領域に設定された露出値のうち最大の値となるように補正することができる。このように、探索範囲内の領域についての露出値は、この領域の明るさに基づいて設定されているため、このような処理により、探索範囲内の領域の明るさを考慮して露出条件を決定することができる。このため、動体の存在などにより光量が変化しやすい動領域において、隣接領域に映っていた明るい被写体が処理対象領域に移動してきたとしても、光量が過大になって信号が飽和しないように、露出量が抑えられる。

一方で、ステップＳ１００３において、処理対象領域についての探索範囲に動領域が存在しないと判定された場合、ステップＳ１００４のような、処理対象領域の露出値を、探索範囲内の最大の露出値で置き換える処理は行われない。このような処理により、光量が変化しにくい静止領域においては、隣接領域に明るい被写体が存在しても、処理対象領域における光量が処理対象領域の明るさに応じた値に保たれるため、この領域におけるＳ／Ｎ比を良好に保つことができる。

図６は、本実施形態における、領域ごとの露出値を決定する処理の概略を説明する図である。図６（Ａ）は、予備撮像画像（ｔ）３０１の拡大図であり、１つの処理対象領域となる６４×６４画素のブロック６１０が示されている（図６（Ａ）には一部のブロック６１０のみ示されている）。また、ブロック６１０には、１つのＲ画素、２つのＧ画素、及び１つのＢ画素で構成される２×２画素のブロック６２０が複数含まれている（図６（Ａ）には一部のブロック６２０のみ示されている）。図６（Ｂ）に示されるように、輝度変換部３０３は、２×２画素のブロック６２０ごとに、輝度Ｙを算出する。そして、図６（Ｃ）に示されるように、補正値算出部３０５は、６４×６４画素のブロック６１０ごとに、含まれるブロック６２０の輝度の最大値Ｙｍａｘに基づいて、露出補正値を算出する。こうして算出された補正値に基づいて、露出値算出部３０６は６４×６４画素のブロック６１０ごとに露出値を算出する。

図７は、本実施形態における、露出条件決定部３０８が露出値を補正する処理の概略を説明する図である。図７（Ａ）には動領域マップ７１０が、図７（Ｂ）には露出値マップ７２０が、それぞれ示されている。図７（Ａ）（Ｂ）において、一つの正方形は６４×６４画素のブロック６１０に対応する。また、図７（Ａ）において、ハッチング部分は動領域を表す。さらに、図７（Ｂ）には、各ブロック６１０について露出値算出部３０６によって算出された露出値が示されている。図７（Ｃ）は、露出条件決定部３０８によって露出値が補正された後の露出値マップ７３０を示す。図７（Ｃ）に示すように、動領域の近傍にある領域（図７（Ｂ）の左側）では、露出値が探索範囲内の最大の露出値で置き換えられている。一方で、動領域の近傍ではない領域（図７（Ｂ）の右側）では、部分的に露出値が小さい領域も存在しているものの、露出値は変更されていない。

本実施形態に係る撮像装置によれば、動領域を示す情報に基づいて、各領域の露出条件の決定方法が切り替えられる。このため、静止領域においては良好なＳ／Ｎ比を得るように自領域の明るさに基づく露出制御を行う一方で、動領域近傍においては白飛びが発生しないように隣接領域の明るさを考慮した露出制御を行うことができる。このため、露出条件を決定するための予備撮像と本撮像との間に時間差が生じていても、白飛びを軽減しながらＳ／Ｎ比を維持することが可能となる。

［実施形態２］
実施形態１では、予備撮像結果に基づいて領域ごとの露出条件が決定された。実施形態２では、予備撮像結果を用いる代わりに、動画像のフレーム画像を用いて露出条件が決定される。すなわち、撮像部によって撮像された動画像を構成するフレーム画像を用いて、明るさ情報及び動領域を示す情報が得られ、これらの情報に基づいて各領域についての撮像条件が設定される。以下では、実施形態１とは異なる点について説明する。

ステップＳ２０１で制御部１０４は、予備撮像で用いる撮像条件の代わりに、基準となる撮像条件を設定する。また、ステップＳ２０２で制御部１０４は、ステップＳ２０１で設定された撮像条件に従って動画像の撮像を開始する。

ステップＳ２０３で露出条件算出部１０６は、フレーム画像ｔを得るための領域毎の露出条件を設定し、露出条件記憶部１０８に記憶する。本実施形態においては、２つの予備撮像画像の代わりに、前々フレーム画像ｔ－２及び前フレーム画像ｔ－１を用いて、フレーム画像ｔについての露出条件が設定される。

ステップＳ２０４で制御部１０４は、露出条件記憶部１０８に記憶された領域ごとの露出条件に従って撮像を行う。その後、ステップＳ２０５～２０７の処理を実施形態１と同様に行うにより、フレーム画像ｔが得られる。その後、制御部１０４は撮像を終了するか否かを判定し、撮像を終了しない場合、ステップＳ２０３以降の処理が繰り返される。

実施形態２の処理によれば、動画像を撮像する際にも、実施形態１と同様の効果を得ることができる。

（その他の実施例）
実施形態１，２では、周辺に動領域が存在する領域と、存在しない領域との間で、露出条件の設定方法が切り替えられた。しかしながら、動領域を示す情報の使用方法は、この具体例には限定されない。例えば、応用例によっては、動領域に属する処理対象領域と、静止領域に属する処理対象領域との間で、露出条件の設定方法を切り替えてもよい。

また、実施形態１，２では、周辺に動領域が存在しない処理対象領域については、処理対象領域の明るさに基づいて露出条件を決定する一方、周辺に動領域が存在する処理対象領域については、さらに探索範囲内の領域の明るさを考慮して露出条件が決定された。しかしながら、露出条件の決定方法は、この具体例には限定されない。例えば、処理対象領域の明るさに基づいて露出値算出部３０６が決定した露出値と、処理対象領域についての露出条件との対応関係が、周辺に動領域が存在する処理対象領域と存在しない処理対象領域との間で異なっていてもよい。一例として、露出条件決定部３０８は、周辺に動領域が存在しない処理対象領域については、露出値と露出条件との対応関係を示す図８のようなテーブルを用いて露出値から露出条件を決定することができる。また、露出条件決定部３０８は、周辺に動領域が存在する処理対象領域については、周辺に動領域が存在する領域用に別個に用意されたテーブルを用いて、露出値から露出条件を決定することができる。この場合、例えば、周辺に動領域が存在する領域用のテーブルは、周辺に動領域が存在する領域用のテーブルと比較して、少なくとも１つの露出値に対応する露光条件で得られる露出量がより小さくなるように、露出条件を規定することができる。このような構成によっても、動領域近傍での白飛びを軽減しながらＳ／Ｎ比を維持することが可能となる。

さらに、実施形態１，２では、画像の差分に基づいて動領域が判定されたが、動領域の判定方法はこの方法に限られない。例えば、ブロック探索などを用いて動領域を判定することもできる。また、実施形態１，２で露出条件算出部１０６は、撮像装置１０１の撮像部が取得した画像を用いて動領域を示す情報を取得したが、この構成は必須ではなく、例えば外部の測定装置によって得られた動領域を示す情報を取得してもよい。

とりわけ、動き方向を判定可能な判定手法を用いる場合、動き方向を考慮して露出条件を設定することも可能である。例えば、動き方向に応じて探索範囲を設定してもよく、具体例としては処理対象領域から動き方向の反対方向にある領域からなる探索範囲を設定してもよい。また、処理対象領域の露出条件を動き方向に対応する露出条件に置き換えてもよい。より具体的な例として、実施形態１，２において、処理対象領域に対応する探索範囲内の領域のうち、処理対象領域に向かう被写体の動きが検出されている領域を、選択領域として選択することができる。この場合、ステップＳ１００４において、処理対象領域の露出値を、選択領域に設定された露出値のうち最大の値となるように補正することができる。このように、被写体の動き方向をさらに考慮することにより、周辺に動領域が存在する領域の中から、明るさが変化する可能性がある領域をより詳細に指定することができる。このため、白飛びを軽減するために露出量を減らす領域をさらに限定することが可能となり、Ｓ／Ｎ比をより良好に維持することが可能となる。

上述の実施形態においては、例えば図１等に示される各処理部は、専用のハードウェアによって実現される。しかしながら、撮像装置１０１が有する一部又は全部の処理部が、コンピュータにより実現されてもよい。一実施形態において、撮像装置は光学系１０２及び撮像素子１０３に加えて、コンピュータ、すなわちプロセッサ及びメモリを有しており、上述の各実施形態に係る処理の少なくとも一部がコンピュータにより実行される。

図５はこのようなコンピュータの基本構成を示す図である。図５においてプロセッサ５１０は、例えばＣＰＵであり、コンピュータ全体の動作をコントロールする。メモリ５２０は、例えばＲＡＭであり、プログラム及びデータ等を一時的に記憶する。コンピュータが読み取り可能な記憶媒体５３０は、例えばハードディスク又はＣＤ－ＲＯＭ等であり、プログラム及びデータ等を長期的に記憶する。本実施形態においては、記憶媒体５３０が格納している、各部の機能を実現するプログラムが、メモリ５２０へと読み出される。そして、プロセッサ５１０が、メモリ５２０上のプログラムに従って動作することにより、各部の機能が実現される。

図５において、入力インタフェース５４０は外部の装置から情報を取得するためのインタフェースである。また、出力インタフェース５５０は外部の装置へと情報を出力するためのインタフェースである。バス５６０は、上述の各部を接続し、データのやりとりを可能とする。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０３：撮像素子、１０４：制御部、１０６：露出条件算出部、１０９：露出条件設定部、３０３：輝度変換部、３０４：動領域判定部、３０５：補正値算出部、３０６：露出値算出部、３０７：露出値補正部、３０８：露出条件決定部

Claims (10)

1. 撮像装置であって、
   領域ごとに露出条件を制御可能な撮像手段と、
   前記撮像手段による撮像範囲中の各領域の動きを示す情報を取得する第１の取得手段と、
   前記撮像手段による撮像範囲中の各領域の明るさ情報を取得する第２の取得手段と、
   前記動きを示す情報及び前記明るさ情報を用いて、前記撮像手段により用いられる前記露出条件を領域ごとに設定する設定手段と、を有することを特徴とする撮像装置。
2. 前記第１の取得手段は、前記撮像装置により得られた複数の撮像画像に基づき、前記撮像範囲中の各領域の動きを示す情報を取得することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の取得手段は、前記撮像装置により得られた複数の撮像画像の差分に基づき、前記撮像範囲中の各領域の動きを示す情報を取得することを特徴とする請求項１に記載の撮像装置。
4. 前記設定手段は、前記撮像手段が有する撮像素子の電荷蓄積時間を前記露出条件として設定することを特徴とする、請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記設定手段は、前記動きを示す情報及び前記明るさ情報を用いて、前記撮像手段が有する撮像素子からの信号に適用するゲインを前記領域ごとに設定することを特徴とする請求項１に記載の撮像装置。
6. 前記第２の取得手段は、前記撮像手段により得られた撮像画像を用いて、前記明るさ情報を取得することを特徴とする、請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記撮像手段により得られた撮像画像は、各領域について同じ露出条件を用いて前記撮像手段により撮像された画像であることを特徴とする、請求項６に記載の撮像装置。
8. 前記撮像手段により得られた撮像画像は、前記撮像手段によって撮像された動画像を構成するフレーム画像であることを特徴とする、請求項６に記載の撮像装置。
9. 領域ごとに露出条件を制御可能な撮像手段を備える撮像装置が行う制御方法であって、
   前記撮像手段による撮像範囲中の各領域の動きを示す情報を取得する第１の取得工程と、
   前記撮像手段による撮像範囲中の各領域の明るさ情報を取得する第２の取得工程と、
   前記動きを示す情報及び前記明るさ情報を用いて、前記撮像手段により用いられる前記露出条件を領域ごとに設定する設定工程と、を有することを特徴とする制御方法。
10. 領域ごとに露出条件を制御可能な撮像手段を有する撮像装置が備えるコンピュータを、
    請求項１乃至８の何れか１項に記載の撮像装置が有している第１の取得手段、第２の取
    得手段、及び設定手段として機能させるための、プログラム。

Images