JP2011097141A - 撮像装置、撮像装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】ディジタルカメラ等の撮像装置の露出制御の安定性能を向上することができる撮像装置、撮像装置の制御方法及びプログラムを提供する。
【解決手段】撮像装置１００は、画像を取得する撮像素子１１と、撮像素子１１により取得した画像データに基づき、フィードバック制御により前記撮像素子の露出を再設定するイメージセンサ処理部２０とを有する。イメージセンサ処理部２０は、撮像装置の起動直後の１フレーム目で撮像素子１１の露光時間を設定し、２フレーム目で前フレームにて設定された露光時間で撮像素子１１に蓄光させ、２フレーム目までに設定されたゲインを適用して３フレーム目で画像データを出力する処理をパイプライン処理により連続実行する。
【選択図】図１

Description

本発明は、ディジタルカメラ等の撮像装置、撮像装置の制御方法及びプログラムに関し、特に、自動露出制御（Auto Exposure Control）可能な撮像装置、撮像装置の制御方法及びプログラムに関する。

従来、撮像素子（ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor））の露出制御を行う際、「露光時間（シャッタスピード）」と「ゲイン」をセットで制御する必要がある（例えば特許文献１等）。この２つの制御情報は、１つの画像データに対して異なるタイミングで制御されることが重要である。通常の露出制御では、「露光時間」を先に決定し設定する必要があり、これに従い受光素子が「入射光」に反応して電荷を蓄え、その蓄積量（輝度）を出力する第１段目の処理と、この出力に対して適正な露出を得るための不足を補う「ゲイン（増感）」（後処理）により露出をコントロールする第２段目の処理に分かれている。つまり「適正露出＝入射光×露光時間×ゲイン」により得られる。ディジタルカメラにおいて、これを実現するには、「露光時間設定」→「露光（蓄光）」→「ゲイン(増感)」という３段階を順に踏む必要がある。この処理は１つの画像データに対しては平行して実施することはできない。

したがって、事前になんら外界（入射光）の情報がない状況、例えばカメラ起動時やシーンが大きく変化した場合等に、外界（入射光）の状況に合わせて適正な露出値に設定するには以下の処理が必要になる。先ず、適当な「露光時間」及び「ゲイン」を設定して得られた画像データ（画像の輝度＝入射光×露光時間×ゲイン）を評価し、その評価結果を次の露光時間及びゲインにフィードバックする。このような処理により、はじめて適正露出を得ることができる。この処理のためには、第１段目で得られた画像の広範（全体）を評価する必要があり、一旦、画像データを蓄えておき、評価が完了した後、再度画像全体にゲイン処理を施すなどの対応が必要になる。このため、回路規模の増大や処理時間の遅延につながり、カメラの露出制御安定に時間がかかるという問題点があった。

ところで、特許文献２では、起動時に、パッシブＡＦ（受動的なオートフォーカス）の補助光によるフィードバックに基づき露出制御を行う。しかしながら、パッシブＡＦなどカメラ側に投光及び受光による明るさの測定が可能な特別な機器を搭載しないカメラでは適用することができない。高価なディジタルカメラでは、当該機器を搭載しているものもあるが、携帯電話向けなどのシステムでは価格や大きさ、電力などの問題があり、搭載するのは困難な場合が多いという問題点がある。

特開２０００−７８４６１号公報 特開２００６−１５４６４２号公報 特開２００４−３６３６５８号公報

露出の設定に関しては、次の技術が公知である。特許文献３には、電源投入直後に撮像素子の露光時間制御を１回目は長時間シャッター、２回目は短時間シャッターとして制御し、それぞれのシャッター動作時の輝度平均値を輝度平均値算出手段により算出する。それを基に撮像素子駆動手段では輝度平均値算出手段で露出制御の収束目標とする輝度平均値となるようにシャッター時間制御信号を制御し、撮像素子のシャッター時間を制御する。このことにより、撮像素子の出力が飽和しているような場合であっても３回目のシャッターから適切な露出制御が施されるため、露出制御に要する時間を短縮できる。

ただし、どのように露光時間を変化させても環境によって画像全体が「白飛び」「黒潰れ」する可能性は避けられない。このような状況が発生すると正確な露光時間の推測はもちろん、ホワイトバランスも評価できず、さらに数フレーム先のフィードバックを待たなければならないため、露出やホワイトバランスの安定が遅れるという問題点がある。

この特許文献３に限らず、露出制御に関する特許文献の多くは、制御対象（センサ）の制御タイミングまで考慮しているものが少ない。

本発明に係る撮像装置は、画像を取得する撮像素子と、前記撮像素子により取得した画像データに基づき、フィードバック制御により前記撮像素子の露出を再設定するイメージセンサ処理部とを有し、前記イメージセンサ処理部は、撮像装置の起動直後の１フレーム目で前記撮像素子の露光時間を設定し、２フレーム目で前フレームにて設定された露光時間で前記撮像素子に蓄光させ、２フレーム目までに設定されたゲインを適用して３フレーム目で画像データを出力する処理をパイプライン処理により連続実行するものである。

本発明に係る撮像装置の制御方法は、撮像素子により取得した画像データに基づき、フィードバック制御により前記撮像素子の露出を再設定する撮像装置の制御方法であって、
撮像装置の起動直後の１フレーム目で前記撮像素子の露光時間を設定し、２フレーム目で前フレームにて設定された露光時間で前記撮像素子に蓄光させ、２フレーム目までに設定されたゲインを適用して３フレーム目で画像データを出力する処理をパイプライン処理により前記フィードバック制御前に連続実行し、３フレーム目以降で連続して取得される画像データの評価を順次行い、その評価結果に基づき最適な露出を決定して前記撮像素子に設定するものである。

また、本発明に係るプログラムは、上述した露出制御処理をコンピュータに実行させるものである。

撮像装置の起動直後の１フレーム目で前記撮像素子の露光時間を設定し、２フレーム目で前フレームにて設定された露光時間で前記撮像素子に蓄光させ、２フレーム目までに設定されたゲインを適用して３フレーム目で画像データを出力する処理をパイプライン処理により連続実行することにより、フォードバック制御を待たずに画像データを連続取得する。そして、この連続取得した複数の画像データを使用して露出制御することで、初期値に応じ、露出制御をより速く安定化させることができる。

本発明によれば、ディジタルカメラ等の撮像装置の露出制御の安定性能を向上することができる撮像装置、撮像装置の制御方法及びプログラムを提供することができる。

本発明の実施の形態１にかかる撮像装置を示す図である。 取得した画像に基づき露出及びホワイトバランス制御を行う一般的な方法を示すフローチャートである。 （ａ）乃至（ｄ）は、画像評価部露出及びホワイトバランス制御動作の説明のための図であり、 本発明の実施の形態１の初期値を説明するための図である。 本発明の実施の形態１にかかる露出設定タイミングを説明する図である。 本発明の実施の形態１における効果を示す図である。 本発明の実施の形態２にかかる露出用初期値を説明するための図である。 本発明の実施の形態２における効果を示す図である。 本発明の実施の形態２において、露出用初期値の並べ順の違いにより生じる効果を説明するための図である。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、ＣＣＤ又はＣＭＯＳ等の撮像素子を有するディジタルカメラに適用したものである。

本発明の実施の形態１.

図１は、本実施の形態にかかる撮像装置を示す図である。撮像装置１００は、センサ部１０、イメージセンサ処理部２０（以下ＩＳＰ（Image Sensor Processor）２０という。）及び画像出力部３０を有する。

センサ部１０は、ＣＣＤ又はＣＭＯＳなどからなり、画像を取得する撮像素子１１及び撮像素子１１が取得した画像をアナログ信号からディジタル信号に変換するアナログデジタル変換部（Ａ／Ｄ部）１２を有する。ＩＳＰ２０は、画像評価部２１、画像保持部２２、画像処理部２３、ＣＰＵ２４及び制御情報保持部２５を有し、ＣＰＵ２４は、適正露光近傍判定部２６、露出制御部２７及びホワイトバランス制御部（ＷＢ制御部）２８を有する。

画像評価部２１は、撮像素子１１より取得した画像データの輝度値を算出する。ＣＰＵ２４は、画像評価部２１の算出結果に基づき最適な露出値（レンズの絞り（Ｆ値）及びシャッタースピード（露光時間））及びゲインを算出し、それぞれ撮像素子１１及びＡ／Ｄ変換部１２に設定する。撮像素子１１は、設定された露光時間で画像を取得する。Ａ／Ｄ変換部１２は、設定されたゲインで撮像素子１１から得られた画像データを増幅する。

画像評価部２１にて輝度値の算出された画像データは、いったん画像保持部２２に保持され、画像処理部２３に出力される。画像処理部２３は、ＣＰＵ２４より最適なホワイトバランスを受け取り、当該ホワイトバランスとなるよう画像データを処理し、画像出力部３０に出力される。

ここで、本実施の形態にかかる撮像装置１００は、起動直後の１フレーム目で露出設定し、２フレーム目で設定された露光時間で画像を撮像し、３フレーム目で、２フレーム目までに設定されたゲインを撮像した画像データに適用する処理をフィードバック制御なしのパイプライン処理により連続実行することを特徴とする。本実施の形態においては、連続３フレーム分パイプライン処理を行う。すなわち、１〜３フレーム目に、異なる露出値・ゲインを設定し、２〜４フレーム目でそれぞれの露光時間で画像を取得し、３〜５フレーム目で画像データを取得する。そして、画像評価部２１は、３〜５フレーム目で取得した画像データの評価値を算出し露出制御部２７は、３〜５フレーム目で取得した画像データの評価結果に基づき最適な露出を決定して撮像素子１１に設定する。

このため、制御情報保持部２５は、起動後、１〜３フレーム目で設定する露出のための露出制御情報（露出用初期値）を有する。さらに、次フレームで設定する露出制御設定やＷＢ設定に必要な情報（適正露出が得られなかったときのＷＢ設定値）などの露出及びＷＢ制御情報も有する。

このように、起動直後に３つの露出用初期値を使用して画像を取得し、この結果に応じて最適な露出値を求めることにより、従来に比して、露出制御を高速に安定化することができる。

先ず、露出制御及びホワイトバランス制御について簡単に説明する。なお、後述するように、本実施の形態においては、起動直後に画像を取得し、露出値及びホワイトバランスを決定するタイミングに特徴を有するため、取得した画像から、どのように露出値及びホワイトバランスを決定するかは以下に説明する方法に限るものではない。

図２は、取得した画像に基づき露出及びホワイトバランス制御を行う一般的な方法を示すフローチャートである。また、図３（ａ）乃至（ｄ）は、画像評価部露出及びホワイトバランス制御動作の説明のための図であり、図３（ａ）は、そのタイミングを説明するための図である。ここでは、ＩＳＰ２０の処理、主に画像評価部２１、ＣＰＵ２４及び画像処理部２３の処理について説明する。

先ず、露出制御について説明する。露出制御部２７により、センサ部１０の撮像素子１１に露出値、Ａ／Ｄ変換部１２にゲインを設定する（ステップＳ１）。図３に示すように、例えばこれを１フレーム目に行う。次のフレーム（本例では２フレーム目）の間は、撮像素子１１により露光が行われる。この間に、露出制御部２７がＡ／Ｄ変換部１２に感度設定（ゲイン設定）Ｇを行う（ステップＳ２）。また、この間、ＩＳＰ２０のその他のブロックは次のフレームになるまで待機となる。

そして、３フレーム目で１フレーム目で露出設定した画像データを取得する（ステップＳ３）。取得された画像データは、Ａ／Ｄ変換部１２で増幅され、画像評価部２１へ入力される。次に、画像評価部２１は、画像データの明るさの平均値を算出する（ステップＳ４）。これは、例えば、図３（ｄ）に示すように、１つの画像データを、１６×１６のブロックに分割する。そして、各ブロックの輝度値の平均値（輝度平均値）を求める。輝度値は、ＹＵＶフォーマットの輝度を用いても、ＲＧＢより算出してもよい。先ず各ブロックにおける輝度平均値を求めてから、必要に応じて、例えば外縁部のブロックより中心部のブロックの方の重みを大きくするなどの重みづけを行う。最後に、各ブロックの輝度値から、画面全体の輝度値の平均値Ｙを求める（図３（ｂ））。

次に、適正露出近傍判定部２６が、図３（ｃ）に示すように、撮像素子１１のダイナミックレンジに対し、露出目標値をＸとしたとき、画像全体の輝度平均値Ｙがどの程度離れているかを判定する（ステップＳ５）。

露出目標値Ｘと輝度平均値Ｙとの差が所定値以上離れていれば、露出の補正を行う。すなわち、露出制御部２７は、輝度平均値Ｙが露出目標Ｘとなるような、露出設定Ｅ'、感度設定Ｇ'を算出する（ステップＳ６）。なお、当該差が小さければ、露出値は適切であるとし、当該ステップ６はスキップする。露出の補正は、例えば、現在の露出設定Ｅ、感度設定Ｇとすると、
（Ｅ'−Ｇ'）＝（Ｅ−Ｇ）×Ｘ／Ｙ
となるＥ'及びＧ'を求める。なお、上記式を満たすＥ'及びＧ'は無数に存在するが、ＩＳＰ２０において、シーン等に応じてＥ'及びＧ'をどのように配分するかが決定される。なお、上記式を満たせば、得られる画像の明るさ（露出）は同じである。ステップＳ４〜Ｓ６の処理は３フレーム目で実行される。この補正では、得られた輝度平均値Ｙが目標値Ｘの２倍の明るさであれば、露光時間を半分にするなどのフィードバック制御を行う。

適正露出近傍判定部２６が、輝度平均値Ｙの評価を行う（ステップＳ７）。すなわち、当該輝度値の輝度平均値Ｙがダイナミックレンジに対し、例えば１％〜８０％等の所定の範囲内に含まれるか否かなどを判定する。ここで、輝度平均値Ｙが所定の範囲内にあれば、ホワイトバランスの制御が可能と判断し、ホワイトバランス制御に移行する。ここで、当該差が所定範囲外である場合、ホワイトバランス制御を行わず、再びセンサ部１０に露出及びゲインを設定するステップＳ１からの処理を繰り返す。

次にホワイトバランス制御について説明する。先ず、ＷＢ制御部２８は、ホワイトバランス制御用の評価情報を取得する（ステップＳ８）。具体的には、例えば、画像評価部２１が、画像データを１６×１６のブロックに分割し、各ブロックについて、Ｒ、Ｇ、Ｂの平均値を算出し、ＷＢ制御部２８に出力する。ＷＢ制御部２８は、色味を補正するため、Ｒ、Ｇ、Ｂの各値に乗ずるゲインを求める（ステップＳ９）。なお、このゲインの求め方は種々考えられ、様々な技術が公知であること、及び本願の特徴ではないことからその詳細な算出方法は省略する。ＷＢ制御部２８は、得られたＲゲイン、Ｇゲイン、Ｂゲインを画像処理部２３に出力し、画像処理部２３は、画像データの色味を補正する。最後に補正後のデータが画像出力部３０より出力される（ステップＳ１０）。

次に、露出制御部２７により設定される露出の初期値について説明する。上述したように、本実施の形態においては、３つの露出用の初期値を制御情報保持部２５に保持しており、これを１〜３フレーム目に連続で設定する。図４は、初期値を説明するための図である。図４（ａ）に示すように、カメラのダイナミックレンジを１〜１００％とすると、適正露出近傍が例えば１〜８０％であるとする。適正露出近傍とは、正確な露出及びホワイトバランス制御が行える範囲である。露出制御目標値Ｘは、当然この範囲内に含まれる。この範囲を超える、すなわち、輝度平均値Ｙがダイナミックレンジの１％を下回ると黒潰れが生じて適正露光近傍判定部２６において輝度平均値Ｙの評価が不可能となる。また、輝度平均値Ｙがダイナミックレンジの８０％を超えると、白とびが生じて評価不可能となる。ここで。この適正露出近傍範囲を守備範囲ということとする。

例えば一般的なディジタルカメラなどでは、この守備範囲は６ＥＶ（Exposure Value）程度の大きさである。そこで、この守備範囲が重複しないように露出を設定すると、３つの初期値で、１８ＥＶの明るさの範囲をカバーできる。すなわち、３フレームに、守備範囲が重複しない範囲で露出設定することで、１８ＥＶの範囲の明るさに対応することができ、これらの初期値を利用して画像を取得することで、カメラ起動後、１８ＥＶの明るさの露出及びホワイトバランス制御を実行することができる。なお、ここでは、１フレーム６ＥＶ、３フレームで１８ＥＶの例について説明するが、各守備範囲の一部が重複してもよい。すなわち、各露出で得られる画像におけるダイナミックレンジの少なくとも一部が重複しないように設定すればよい。

図５（ｂ）は、本実施の形態にかかる露出設定タイミングを説明する図である。図５（ａ）に従来のタイミングを合わせて示す。従来は、１フレーム目で露出Ａを設定（センサ設定）するとその画像は３フレーム目で得られる。よって、この３フレーム目で得られた画像データに基づき、フィードバック制御が行われていた。この場合、４フレーム目でフィードバック制御のための演算が行われ、フィードバックが実際に反映されるのは、５フレーム目からである。すなわち、２、３フレーム目は、画像データの取得を待つ期間となり、無駄な時間であった。

これに対し、図５（ｂ）に示すように、本実施の形態においては、１、２、３フレーム目でそれぞれ露出Ａ、露出Ｂ、露出Ｃを設定する。これらの値は、上述したように、互いの守備範囲が重複しないように設定された露出用初期値である。この３フレーム分の画像は、３〜５フレームで取得することができる。３フレーム分の画像は、上述したように、１８ＥＶという広範囲な明るさの環境に対応することができ、ほとんどの場合、この１８ＥＶの中に適正露出が含まれることになり、遅くとも、７フレーム以降に露出を安定させることができる。

また、従来のように、初期値が１つであると、露出Ａが適正露出近傍をはずれた場合、次の露出Ｄの画像が得られるのは、６フレーム目となり、露出安定制御が本実施の形態に比して遅れることとなる。また、本実施の形態においては、４〜６フレームで設定される露出Ｄ、Ｅ、Ｆは、露出Ａ、Ｂ、Ｃにより得られた画像データのフィードバック結果となっている。これに対し、従来法では、４〜６フレームにおいて設定される露出Ｂ、Ｃ、Ｄは、いずれも露出Ａにより得られた画像データのみからしかフィードバック制御することができず、この点においても、本実施の形態にかかる露出制御方法の方がより早く露出を安定させ、より正確な露出値を得ることができる。

図６は、本実施の形態における効果を示す図である。比較のため従来の手法を用いた場合も示す。図６に示すように、比較例においては、１フレーム目で、露出Ａを設定し、当該露出Ａが適正露出近傍内に含まれる場合、５フレーム目以降の出力が安定することとなる。これをベストケースとする。なお、ここでは、ホワイトバランス制御に１フレーム分必要として示しているが、これはホワイトバランスの制御方法により異なる場合がある。このベストケースに対し、ワーストケース、すなわち、露出Ａでは白とび、黒潰れが生じ、更に４フレーム目で設定した露出Ｂも適正露出近傍内に含まれず、７フレーム目で設定した露出Ｃで安定画像が得られる場合、安定出力するのは１１フレーム以降となる。これをワーストケースとする。

これに対し、本実施の形態においては、ベストケースは、比較例と同じく５フレーム目で安定出力となる。これに対し、ワーストケースでも、露出Ｃの画像は５フレーム目で得られるので、７フレーム目から安定出力を得ることができる。なお、露出Ａが最適露出近傍内であれば、他の露出Ｂ、Ｃの画像データは破棄する等すればよい。ここで、１フレームの長さは、約３３．３ｍｓ〜１／４ｓである。したがって、ワーストケースであれば、本実施の形態の手法の方が４フレーム分（１３３ｓｍ〜１ｓ）早く露出を安定させることができる。

以上、本実施の形態においては、複数の露出設定用初期値を撮像装置の起動後に、フィードバックを待たずに連続して設定し、露出設定から画像取得までの処理をパラレルに実行する。このことにより、フィードバックを待つことなく高速に外界に合わせた露出の最適解を得る。これにより、撮像装置１００の起動時の露出制御を高速に安定させ、これにより露出が安定するまでの起動時間を短縮させることで、ユーザビリティを向上させることができる。

ディジタルカメラ等の撮像装置においては、センサ部１０には、その構造上、画像が得られる２フレーム前に露光時間を設定し、１フレーム前に信号増幅ゲインを設定する必要がある。従って、１枚の画像を取得するためには、露光時間設定、ゲイン設定、画像出力の合計３フレームかかることになる。撮像装置１００の露出制御では、この結果得られた画像データを解析し、その解析情報をフィードバックとして露光時間及び信号増幅ゲインをコントロールする。従って、３フレームを１セットとしてこれを何度も繰り返しながら最適な露出となるように、すなわち露出が安定するように制御する必要がある。したがって、従来手法においては、特にカメラ起動時など外界の情報が皆無の状況では、制御が安定し、最適な露出に到達するまでに相当な時間（フレーム数）がかかっていた。

これに対し、本実施の形態においては、カメラ始動時の、本来ならフィードバックを待つ期間を利用し、複数（本実施の形態例では３段階）の露出用初期値を、フィードバックを無視して強制的に切替設定することで、露出制御のターゲット（露出制御目標値）を高速かつ正確に発見し、適正な露出情報を得ることができる。

３段階の露出用初期値は、互いに、適正露出近傍範囲（守備範囲）が重複しないような３つの値を使用する。この露出用初期値により１フレーム目から連続３フレーム露出設定することで、１８ＥＶの明るさに対応することができ、露出制御をより適切により早く安定化させることができる。

本発明の実施の形態２．
次に、本発明の実施の形態２について説明する。上述の実施の形態１においては、互いに守備範囲が重複しないような３つの露出用初期値を使用するものとしたが、本実施の形態においては、３つの露出用初期値の設定順序を指定する。これにより、ホワイトバランス制御をより高速に安定させるものである。撮像装置１００の構成は、図１に示す実施の形態１と同様である。

図７は、本実施の形態にかかる露出用初期値を説明するための図である。実施の形態１では、互いに守備範囲の異なる露出用初期値を設定するものの、その順序は規定しなかった。これに対し、本実施の形態においては、１フレーム目で設定する露出用初期値（第１の初期値）は、屋内又は屋外かを判別できるような明るさの画像を取得可能な設定値とする。そして、２フレーム目で設定する露出用初期値（第２の初期値）は、屋内を想定した明るさの画像を取得可能な設定値とする。そして、３フレーム目で設定する露出用初期値（第３の初期値）は、屋外を想定した明るさの画像を取得可能な設定値とする。以降の説明では、図７に示す露出用初期値のうち、小さいものから露出Ａ（第２の初期値）、露出Ｂ（第１の初期値）、露出Ｃ（第３の初期値）であるとして説明する。

次に、このような順番で露出用初期値を設定する効果を説明する前に、まず、従来と比べた効果について説明する。図８は、本実施の形態における効果を示す図である。実施の形態１と同様、従来手法であると、ワーストケースは、露出及びホワイトバランスが安定するのは１１フレーム以降となる。これに対し、本実施の形態におけるワーストケースは６フレームとなり、６フレーム以降であれば露出及びホワイトバランスを安定させることができる。

先ず、露出Ｂにより得られた画像データから、現在の環境が屋内であるか屋外であるかを判定する。ここで、屋外と判定された場合、現在の環境における光源は太陽光とほぼ特定することができる。つまり、露出Ｂにより得られる画像データが白飛びしている場合には光源は太陽光にほぼ限定されるため、ホワイトバランスは評価しなくても推定することができ、予め制御情報保持部２５にその値を保持しておき、それを使用することができる。したがって、ホワイトバランスを算出する処理が不要となる。このため、屋外用の露出Ｃによる画像データが得られるのが５フレーム目であるが、ホワイトバランス（ＲＧＢの各ゲイン）を求める必要がないため、この５フレーム目に、センサ部１０からの画像データを取得すると同時にホワイトバランスを制御し出力することができる（屋外ワーストケース）。

また、１フレーム目の露出Ｂが適正露出近傍範囲に入っている場合は、当該露出Ｂの画像データを３フレーム目で取得し、４フレーム目でホワイトバランスを算出し、従来手法と同様、５フレーム目に安定出力となる（ベストケース）。

次に、現在の環境が屋内である場合は、露出Ａにより得られる画像データよりホワイトバランスを算出することになる。すなわち、２フレーム目で露出Ａを設定、３フレーム目で露光、４フレーム目で画像データ取得、５フレーム目でホワイトバランス演算、となり、６フレーム目で露出及びホワイトバランスが安定する（屋内ワーストケース）。

このように、本実施の形態においては、従来手法に比べ、ワーストケースでは、５フレーム早く、すなわち、１フレーム３３．３ｍｓとすると、約１６６．５ｍｓ早く、露出及びホワイトバランスが安定することになる。

次に、本実施の形態における露出用初期値の並び順による効果について説明する。ここでは、図９は、露出用初期値の並べ順の違いにより生じる効果を説明するための図である。上述したように、実施の形態１においては、露出用初期値の並び順について特に限定していない。したがって、例えば、露出Ｂ、Ｃ、Ａの順に露出を設定した場合（以下、参考例という。）と比較して説明する。図９に示すように、参考例においても、１フレーム目に露出Ｂを設定し、屋内か屋外かを判定する。ここで、現在の環境が屋外であるときがベストケースとなる。上述したように、屋外と判定された場合は、ホワイトバランスは規定値となるため、ホワイトバランスを適正とするための処理が必要ない。屋外の明るさにあった露出は露出Ｃであり、２フレーム目に設定されるので４フレーム目に画像データが得られる。この画像データの取得と同時に、当該画像データをホワイトバランス用のＲＧＢゲインにより補正することができるため、４フレーム目に画像出力が可能である。

次に、露出Ｂの画像データより屋内であると判定された場合、ホワイトバランス制御を行う必要があるが、この制御は、画像データ取得後となる。したがって、屋内の明るさにあった露出は露出Ａであるが、この画像は５フレーム目に取得されるため、その後ホワイトバランス処理を行い、画像データが出力できるのは、７フレーム目となる（屋内ワーストケース）。このように、参考例の並び順であると、実施の形態２における並び順に比して、ワーストケースの場合、露光及びホワイトバランスの制御が１フレーム遅れることとなる。

なお、ユーザの使用目的などに応じて、露光用初期値の設定順序を参考例以外のようにしてもよいことは勿論である。この場合は、屋外であれば、本実施の形態よりも、１フレーム早く露出及びホワイトバランスが安定することとなる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、上述の実施の形態では、例えば画像評価部２１は、ハードウェアの構成として説明したが、これに限定されるものではなく、ＣＰＵ（Central Processing Unit）がコンピュータプログラムを実行させることにより画像評価処理を実現することも可能である。また、ＣＰＵが使用するコンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。

１０ センサ部
１１ 撮像素子
１２ Ａ／Ｄ変換部
２０ ＩＳＰ
２１ 画像評価部
２２ 画像保持部
２３ 画像処理部
２４ ＣＰＵ
２５ 制御情報保持部
２６ 適正露光近傍判定部
２７ 露出制御部
２８ ＷＢ制御部
３０ 画像出力部
１００ 撮像装置

Claims (20)

1. 画像を取得する撮像素子と、
   前記撮像素子により取得した画像データに基づき、フィードバック制御により前記撮像素子の露出を再設定するイメージセンサ処理部とを有し、
   前記イメージセンサ処理部は、撮像装置の起動直後の１フレーム目で前記撮像素子の露光時間を設定し、２フレーム目で前フレームにて設定された露光時間で前記撮像素子に蓄光させ、２フレーム目までに設定されたゲインを適用して３フレーム目で画像データを出力する処理をパイプライン処理により連続実行する、撮像装置。
2. 前記イメージセンサ処理部は、
   前記撮像素子により取得した画像データの評価用データを算出する画像評価部と、
   画像取得前は複数の初期値に、画像取得後は、前記画像評価部の評価用データに基づき、前記撮像素子の露出を設定する露出制御部と、を有し、
   前記画像評価部は、３フレーム目以降で取得した画像データの評価用データの算出を順次行い、
   前記露出制御部は、前記３フレーム目以降で取得した前記評価用データに基づき最適な露出を決定して前記撮像素子に設定する、請求項１記載の撮像装置。
3. 前記イメージセンサ処理部は、前記パイプライン処理をフィードバック制御なしで最大３フレーム連続実行する、請求項１記載の撮像装置。
4. 前記複数の初期値は、適正露出近傍の所定の範囲の明るさの画像を取得できる値であって、当該所定の範囲が重複しないような値である、請求項３記載の撮像装置。
5. 前記複数の初期値は、第１乃至第３の初期値からなり、各初期値は、適正露出近傍の所定の範囲の明るさの画像を取得できる値であって、当該所定の範囲が重複しないように設定された値である、請求項４記載の撮像装置。
6. 前記複数の初期値は、互いに、ダイナミックレンジの少なくとも一部が重複しないように設定された値である、請求項４又は５記載の撮像装置。
7. 前記第１の値は、屋内又は屋外かを判別できるような明るさの画像を取得するように設定された値である、請求項５記載の撮像装置。
8. 前記第２の値は、屋内を想定した明るさの画像を取得するために設定された値であり、前記第３の値は、屋外を想定した明るさの画像を取得するために設定された値である、請求項７記載の撮像装置。
9. 前記イメージセンサ処理部は、ホワイトバランスを決定するＷＢ制御部を有し、
   前記ＷＢ制御部は、前記３フレーム目で取得した画像データに基づき、屋内又は屋外であることを判別し、当該判別結果に基づきホワイトバランスを設定する、請求項８項記載の撮像装置。
10. 前記イメージセンサ処理部は、前記第１の初期値に設定され最初に取得した画像に基づき、現在の環境が屋外であると判定した場合、３フレーム目で前記第３の値に設定され５フレーム目に取得される画像を、出力画像として出力する、請求項９記載の撮像装置。
11. 前記イメージセンサ処理部は、前記第１の初期値に設定され最初に取得した画像に基づき、現在の環境が屋内であると判定した場合、２フレーム目で前記第２の値に設定され４フレーム目に取得される画像に対し、前記ＷＢ制御部によりホワイトバランス制御を施し、出力画像として出力する、請求項９記載の撮像装置。
12. 撮像素子により取得した画像データに基づき、フィードバック制御により前記撮像素子の露出を再設定する撮像装置の制御方法であって、
    撮像装置の起動直後の１フレーム目で前記撮像素子の露光時間を設定し、２フレーム目で前フレームにて設定された露光時間で前記撮像素子に蓄光させ、２フレーム目までに設定されたゲインを適用して３フレーム目で画像データを出力する処理をパイプライン処理により前記フィードバック制御前に連続実行し、
    ３フレーム目以降で連続して取得される画像データの評価を順次行い、その評価結果に基づき最適な露出を決定して前記撮像素子に設定する、撮像装置の制御方法。
13. 前記パイプライン処理は、前記フィードバック制御前に最大３フレーム連続実行する、請求項１２記載の撮像装置の制御方法。
14. 前記複数の初期値は、適正露出近傍の所定の範囲の明るさの画像を取得できる値であって、当該所定の範囲が重複しないような値である、請求項１２記載の撮像装置の制御方法。
15. 前記複数の初期値は、第１乃至第３の初期値からなり、各初期値は、適正露出近傍の所定の範囲の明るさの画像を取得できる値であって、当該所定の範囲が重複しないように設定された値である、請求項１４記載の撮像装置の制御方法。
16. 前記複数の初期値は、互いに、ダイナミックレンジの少なくとも一部が重複しないように設定された値である、請求項１４又は１５記載の撮像装置の制御方法。
17. 前記第１の値は、屋内又は屋外かを判別できるような明るさの画像を取得するように設定された値である、請求項１５記載の撮像装置の制御方法。
18. 前記第２の値は、屋内を想定した明るさの画像を取得するために設定された値であり、前記第３の値は、屋外を想定した明るさの画像を取得するために設定された値である、請求項１７記載の撮像装置の制御方法。
19. 前記３フレーム目で取得した画像データに基づき、屋内又は屋外であることを判別し、当該判別結果に基づきホワイトバランスを設定する、請求項１７項記載の撮像装置の制御方法。
20. 撮像素子により取得した画像データに基づき、フィードバック制御により前記撮像素子の露出を再設定する露出制御動作をコンピュータに実行させるためのプログラムであって、
    撮像装置の起動直後の１フレーム目で前記撮像素子の露光時間を設定し、２フレーム目で前フレームにて設定された露光時間で前記撮像素子に蓄光させ、２フレーム目までに設定されたゲインを適用して３フレーム目で画像データを出力する処理をパイプライン処理により前記フィードバック制御前に連続実行し、
    ３フレーム目以降で連続して取得される画像データの評価を順次行い、その評価結果に基づき最適な露出を決定して前記撮像素子に設定する、プログラム。

Images