JP2011254125A - 画像処理装置、カメラシステム、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】低照度シーンにおいて発生しやすい合成の境界におけるノイズを低減することが可能な画像処理装置、カメラシステム、画像処理方法、およびプログラムを提供する。
【解決手段】イメージセンサ１０１で得られた長蓄画像から第１の長蓄評価値を算出する第１の長蓄評価値算出部１０４と、長蓄画像から第１の長蓄評価値算出部とは異なる方法で第２の長蓄評価値を算出する第２の長蓄評価値算出部１０５と、短蓄画像から短蓄評価値を算出する短蓄評価値算出部１０６と、短蓄評価値と第１の目標レベルから短蓄目標露光時間と短蓄露光制御情報を算出する短蓄露光制御部１０７と、第１および第２の長蓄評価値を短蓄目標露光時間に応じて合成することで長蓄評価値を得る長蓄評価値合成部１０８と、長蓄評価値と第２の目標レベルから長蓄露光制御情報を算出する長蓄露光制御部１０９と、長蓄画像と短蓄画像から１枚の画像を生成する合成部１１１と、を有する。
【選択図】図４

Description

本発明は、露光時間の異なる複数の画像を合成処理する画像処理装置、カメラシステム、画像処理方法、およびプログラムに関するものである。

ＣＣＤやＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）に代表される固体撮像素子であるイメージセンサは、入射光量に応じた電荷を蓄積する光電変換素子で光電変換を行う。

近年、ＣＣＤやＣＭＯＳセンサなどのイメージセンサを用いたカメラが広く利用されている。
しかし、一般にイメージセンサは、銀塩カメラなどと比べ、表現できるダイナミックレンジ（以下、ＤＲ）が狭いため、コントラスト比が大きい被写体を撮影すると、高輝度部分が白飛びする、あるいは、低輝度部分が黒つぶれするなどの問題が生じる。

このような問題を解決すべく、露光時間の異なる複数の画像を撮影し、適切に１枚の画像として合成することで、イメージセンサが出力する画像の見かけ上のＤＲを拡大する方式が当業者の間で広く知られている。
ここでは一例として、露光時間の異なる２枚の画像を合成する方式について説明する。
以後、前記２枚の画像のうち、相対的に露光時間が長い画像を長蓄画像、露光時間が短い画像を短蓄画像と呼び、長蓄画像と短蓄画像をデジタル合成して得られる画像を合成画像と呼ぶこととする。

図１は、長蓄画像、短蓄画像について、イメージセンサへの入射光量と出力レベルの関係性（以下、入出力特性）を示すグラフの一例である。
ここで、２００１は、長蓄画像に係る入出力特性、２００２は短蓄画像に係る入出力特性を示している。２００３はイメージセンサの出力に含まれるノイズのうち入射光量や露光時間に依存しない成分のレベル（以下、ノイズレベル）、２００５は長蓄画像の出力レベルが飽和しはじめる入射光量を示している。

長蓄画像は、所定の入射光量以上の領域では入出力の線形性が崩れ、出力レベルの飽和（＝白飛び）が生じるが、前記飽和する入射光量未満における出力レベルとノイズレベルの比の値、いわゆるＳ／Ｎ比は高いという特徴を持つ。
他方、短蓄画像は、同一入射光量に対する出力レベルが長蓄画像よりも相対的に低くなり、Ｓ／Ｎが劣化する反面、入射光量が大きくなっても飽和が生じにくい、という特徴を持つ。

図２は、長蓄画像と短蓄画像を合成し、１枚の合成画像として出力する際の、入射光量と合成画像の出力レベルの関係性（以下、合成画像に係る入出力特性）を示すグラフの一例である。
ここで、２１０４は前記合成画像に係る入出力特性を、２１０６、２１０７はそれぞれ合成画像において長蓄画像、短蓄画像が選択される入射光量の範囲を示している。２００１、２００２については、図１において同一符号が指すものと等価であるため説明を省略する。なお、以下でも同一符号が指すものは、同一のものであるとし、説明は一度しか行わない。

図２に示される合成方式は、入射光量が所定の閾値ＩＮＰ未満の領域（入射光量範囲２１０６で示される領域）には長蓄画像を、入射光量が所定の閾値ＩＮＰ以上の領域（入射光量範囲２１０７で示される領域）には短蓄画像に露光比を掛けたものを選択する。これにより、合成画像を生成する。
ここで、露光比とは長蓄画像の露光量と短蓄画像の露光量の比のことで、長蓄画像と短蓄画像で異なるゲインが掛かっていなければ、長蓄画像と短蓄画像の露光時間の比そのものである。
また、所定の閾値ＩＮＰは、図示するように長蓄画像の出力レベルが飽和するより少し低いところに置かれるのが一般的である。たとえば、飽和が開始する入射光量の５０〜８０％程度の位置である。
その他にも以下のような合成方式が公知の技術として知られている。

第１は、入射光量が所定の閾値ＩＮＰ以上の領域の出力として、短蓄画像＊所定のゲイン（＜露光比）＋所定のオフセットを採用する方式（所定の閾値ＩＮＰ未満の領域には長蓄画像を用いる）である。
第２は、前記各種合成方式において、長蓄画像を用いる領域と短蓄画像を用いる領域の境界付近で長蓄画像と短蓄画像を混合する方式である。
ただし、これらの合成方式を用いることは、新たな課題を生じさせる。

図３は、図２に示される合成方式を用いる際の、入射光量と合成画像のＳ／Ｎの関係性（以下、合成画像のＳ／Ｎ特性）を示すグラフの一例である。
ここで、２２０１は合成画像のＳ／Ｎ特性、２２０２は合成画像において長蓄画像が選択される領域と短蓄画像が選択される領域の切り替わりポイント、２２０３は合成前の長蓄画像のＳ／Ｎ特性、２２０４は合成前の短蓄画像のＳ／Ｎ特性を示している。
なお、合成前の長蓄画像のＳ／Ｎ特性２２０３については、長蓄画像の出力レベルが飽和する入射光量までのみを描画している。

短蓄画像の出力レベルは長蓄画像の出力レベルと比べ、（１／露光比）倍であるのに対し、ノイズレベルはあまり変化しない。また、短蓄画像に露光比を乗じても、出力レベル、ノイズレベルともに増大するため、Ｓ／Ｎは変化しない。
そのため、合成画像に短蓄画像を選択し始めるポイント２２０２付近の領域、つまり、短蓄画像の比較的低輝度部分を出力に利用する領域において、Ｓ／Ｎが極端に劣化することが分かる。このＳ／Ｎの劣化は、露光比が大きい場合により顕著となる。

また、効果的にＤＲ拡大を図る目的で、長蓄画像と短蓄画像の露光制御をそれぞれ以下のように行うことがある。
長蓄画像は、黒つぶれが少なくなるよう、標準より明るく露光（逆光補正露光制御）する。
短蓄画像は、白飛びが少なくなるよう、標準より暗く露光（過順光補正露光制御）する。

ここで、露光制御とは、各画像から所定の方法で露光制御評価値（以下、評価値）を算出し、前記評価値が所定の目標レベルＲＥＦと合致するよう、露光時間、アイリスの開口量、ＰＧＡゲイン量などを制御する操作のことを指す。
ただし、以下では簡単のため、露光時間の制御に限って説明する。
標準の露光制御においては、たとえば、画像の輝度値の積分あるいはそれを画素数で割った平均を評価値とする。

それに対し、逆光補正露光制御、過順光補正露光制御においては、たとえば、画像を輝度レベルごとに複数のクラスに分割し、前記クラスごとに異なる比重で輝度値の積分を行うことで評価値を求める。
なお、全てのクラスの比重を同一にすることは、前記標準の露光制御と等価な制御を意味する。
逆光補正露光制御は、低輝度側のクラスの比重を大きく設定することで実現でき、過順光補正露光制御は、逆に、高輝度側のクラスの比重を大きく設定することで実現できる。

このような露光制御の下では、シーンのＤＲに応じて、以下のように露光比が変動する。
ＤＲが広いシーンにおいては、長蓄画像と短蓄画像の露光比が大きくなる。
ＤＲが狭いシーンにおいては、長蓄画像と短蓄画像の露光比が小さくなる。究極的には１倍、つまり、長蓄画像と短蓄画像の露光時間が同じとなる。

しかし、動解像度を低下させない目的で１フィールド（または、１フレーム）期間に長短２回露光を行う場合、短蓄画像については、デバイスの制約からＶブランキング期間中に露光を行わなければならないことがある。
この場合、露光時間の上限（最長露光時間）が、長蓄画像と比べると極めて短く、たとえば、ＰＡＬ方式で撮影する場合、長蓄画像の最長露光時間が約１／５０秒に対し、短蓄画像の最長露光時間は約１／１０００秒となる。
撮影シーンが暗くなると、露光制御により、長蓄画像および短蓄画像の露光時間はやがてそれぞれの最長露光時間に張り付くこととなるが、これは低照度においては、シーンのＤＲが狭くとも、常に約２０倍の露光比がつくことを意味する。
つまり、ＤＲが狭い低照度のシーンでは、長蓄画像と短蓄画像を合成することのメリットはなく、短蓄画像の低輝度部分を利用する領域のＳ／Ｎをさらに劣化させるだけである。

このような状況に鑑み、たとえば特許文献１に記載の技術（以下、先行技術１）においては、合成画像中の短蓄画像の低輝度部分を使用する領域に、所定のフィルタを適用することで、前記ノイズを低減する手法が提案されている。

また、別のＤＲ拡大手法として、露光時間ではなく感度が異なる２つの画素を合成する手法があるが、このＤＲ拡大手法においても同様の課題が発生する。
これを解決する手法として特許文献２に記載の技術（以下、先行技術２）が知られている。
先行技術２においては、露光時間が所定以上になると、高感度画素のみを使用することで、合成画像における局所ノイズを低減する。

特開２０００−６９３５５号公報 特開２００４−２２２１８２号公報

しかしながら、前記２つの先行技術においては、それぞれ以下のような問題点が存在する。

先行技術１においては、露光比が大きくなるとそれに応じて短蓄画像のノイズレベルが高くなり、それを低減するためには適用するフィルタ強度を強くせざるを得ないため、合成画像の一部領域の解像感が極端に低下する。
特に暗いシーンにおいては、短蓄露光時間の制約から短蓄露光が収束せず、それゆえに本来シーンが持つＤＲに比して不正に高い露光比がつくため、その傾向が顕著となる。
また、合成画像における一部領域にのみフィルタが掛かるため、合成画像に不自然さが生まれる可能性がある。

先行技術２においては、高感度画素と低感度画素の両方を使用する状況と高感度画素のみを使用する状況とで特に露光制御の変更は行わないため、画面全体は暗くてもＤＲが比較的広いシーンにおいて、白つぶれが再び発生する。

本発明は、低照度シーンにおいて発生しやすい合成の境界におけるノイズを低減することが可能な画像処理装置、カメラシステム、画像処理方法、およびプログラムを提供することにある。

本発明の第１の観点の画像処理装置は、少なくとも、１フィールド期間に露光時間が長い画像である長蓄画像、露光時間が短い画像である短蓄画像の２枚の画像を露光し、撮像して出力するイメージセンサと、長蓄画像から露光評価値を算出し、第１の長蓄評価値として出力する第１の長蓄評価値算出部と、長蓄画像から前記第１の長蓄評価値算出部とは異なる方法に基づいて露光評価値を算出し、第２の長蓄評価値として出力する第２の長蓄評価値算出部と、短蓄画像から露光評価値を算出し、短蓄評価値として出力する短蓄評価値算出部と、前記短蓄評価値と第１の目標レベルから短蓄目標露光時間と短蓄露光制御情報を取得する短蓄露光制御部と、前記第１の長蓄評価値と前記第２の長蓄評価値を前記短蓄目標露光時間に応じて所定の方法で合成することで長蓄評価値を取得する長蓄評価値合成部と、前記長蓄評価値と第２の目標レベルから長蓄露光制御情報を取得する長蓄露光制御部と、上記長蓄露光制御情報および上記短蓄露光制御情報に応じて長蓄画像と短蓄画像から１枚の画像を生成する合成部と、を有する。

本発明の第２の観点のカメラシステムは、イメージセンサを含む画像処理装置と、前記イメージセンサに被写体像を結像する光学系と、を有し、前記画像処理装置は、少なくとも、１フィールド期間に露光時間が長い画像である長蓄画像、露光時間が短い画像である短蓄画像の２枚の画像を露光し、撮像して出力するイメージセンサと、長蓄画像から露光評価値を算出し、第１の長蓄評価値として出力する第１の長蓄評価値算出部と、長蓄画像から前記第１の長蓄評価値算出部とは異なる方法に基づいて露光評価値を算出し、第２の長蓄評価値として出力する第２の長蓄評価値算出部と、短蓄画像から露光評価値を算出し、短蓄評価値として出力する短蓄評価値算出部と、前記短蓄評価値と第１の目標レベルから短蓄目標露光時間と短蓄露光制御情報を取得する短蓄露光制御部と、前記第１の長蓄評価値と前記第２の長蓄評価値を前記短蓄目標露光時間に応じて所定の方法で合成することで長蓄評価値を取得する長蓄評価値合成部と、前記長蓄評価値と第２の目標レベルから長蓄露光制御情報を取得する長蓄露光制御部と、前記長蓄露光制御情報と前記短蓄露光制御情報から前記イメージセンサを駆動するイメージセンサ駆動部と、上記長蓄露光制御情報および上記短蓄露光制御情報に応じて長蓄画像と短蓄画像から１枚の画像を生成する合成部と、を含む。

本発明の第３の観点の画像処理方法は、少なくとも、１フィールド期間に露光時間が長い画像である長蓄画像、露光時間が短い画像である短蓄画像の２枚の画像を撮像する撮像ステップと、長蓄画像から露光評価値を算出し、第１の長蓄評価値を得る第１の長蓄評価値算出ステップと、長蓄画像から前記第１の長蓄評価値算出ステップとは異なる方法に基づいて露光評価値を算出し、第２の長蓄評価値を得る第２の長蓄評価値算出ステップと、短蓄画像から露光評価値を算出し、短蓄評価値を得る短蓄評価値算出ステップと、前記短蓄評価値と第１の目標レベルから短蓄目標露光時間と短蓄露光制御情報を得る短蓄露光制御ステップと、前記第１の長蓄評価値と前記第２の長蓄評価値を前記短蓄目標露光時間に応じて所定の方法で合成することで長蓄評価値を得る長蓄評価値合成ステップと、前記長蓄評価値と第２の目標レベルから長蓄露光制御情報を得る長蓄露光制御ステップと、上記長蓄露光制御情報および上記短蓄露光制御情報に応じて長蓄画像と短蓄画像から１枚の画像を生成する合成ステップと、を有する。

本発明の第４の観点は、少なくとも、１フィールド期間に露光時間が長い画像である長蓄画像、露光時間が短い画像である短蓄画像の２枚の画像を撮像する撮像処理と、長蓄画像から露光評価値を算出し、第１の長蓄評価値を得る第１の長蓄評価値算出処理と、長蓄画像から前記第１の長蓄評価値算出処理とは異なる方法に基づいて露光評価値を算出し、第２の長蓄評価値を得る第２の長蓄評価値算出処理と、短蓄画像から露光評価値を算出し、短蓄評価値を得る短蓄評価値算出処理と、前記短蓄評価値と第１の目標レベルから短蓄目標露光時間と短蓄露光制御情報を得る短蓄露光制御処理と、前記第１の長蓄評価値と前記第２の長蓄評価値を前記短蓄目標露光時間に応じて所定の方法で合成することで長蓄評価値を得る長蓄評価値合成処理と、前記長蓄評価値と第２の目標レベルから長蓄露光制御情報を得る長蓄露光制御処理と、上記長蓄露光制御情報および上記短蓄露光制御情報に応じて長蓄画像と短蓄画像から１枚の画像を生成する合成処理と、を有する画像処理をコンピュータに実行させるプログラムである。

本発明によれば、低照度シーンにおいて発生しやすい合成の境界におけるノイズを低減することができる。

長蓄画像、短蓄画像について、イメージセンサへの入射光量と出力レベルの関係性（入出力特性）をグラフで示す図である。 長蓄画像と短蓄画像を合成し、１枚の合成画像として出力する際の、入射光量と合成画像の出力レベルの関係性（合成画像に係る入出力特性）をグラフで示す図である。 図２に示される合成方式を用いる際の、入射光量と合成画像のＳ／Ｎの関係性（合成画像のＳ／Ｎ特性）をグラフで示す図である。 本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。 第１の長蓄評価値算出部、第２の長蓄評価値算出部、短蓄評価値算出部、短蓄露光制御部、長蓄評価値合成部、および長蓄露光制御部における処理の流れの一例を示すフローチャートである。 長蓄評価値合成部におけるより詳細な処理の一例を示すフローチャートである。 本発明の第１の実施形態に係る画像処理装置を用いる際の、前記想定シーンにおける長蓄画像に係る入出力特性、短蓄画像に係る入出力特性、合成画像に係る入出力特性をグラフで示す図である。 本第１の実施形態に係る画像処理装置と既存の画像処理装置の比較を行うため、図７に記載の各入出力特性と、図２に記載の入出力特性の両方のグラフを合わせて示す図である。 本第１の実施形態に係る画像処理装置と既存の画像処理装置における合成画像のＳ／Ｎ特性を比較したグラフで示す図である。 本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図である。 本発明の第２の実施形態に係る画像処理装置における長蓄評価値合成部の処理の一例を示すフローチャートである。 図１１に示す処理フローにより、第２の長蓄評価値、第２の長蓄評価値の寄与率が、短蓄目標露光時間に応じて、どのように変化するのかをグラフで示す図である。 本発明の第３の実施形態に係る画像処理装置の構成例を示すブロック図である。 本第３の実施形態に係る画像処理装置の合成部における処理の流れの一例を示すフローチャートである。 本発明の第１または第２の実施形態に係る画像処理装置と本発明の第３の実施形態に係る画像処理装置における合成画像のＳ／Ｎ特性を比較するためにグラフとして合わせて示す図である。 本発明の実施形態に係る画像処理装置が適用されるカメラシステムの構成の一例を示す図である。

以下、本発明の実施の形態を図面に関連付けて説明する。
なお、説明は次の順序で行う。
１．第１の実施形態（画像処理装置の第１の構成例）
２．第２の実施形態（画像処理装置の第２の構成例）
３．第３の実施形態（画像処理装置の第３の構成例）
４．第４の実施形態（カメラシステムの構成例）

＜１．第１の実施形態＞
図４は、本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。

本画像処理装置１００は、イメージセンサ１０１、アナログデジタル変換部（ＡＤＣ：Analog digital converter）１０２、同時化部１０３、第１の長蓄評価値（Ａ）算出部１０４、第２の長蓄評価値（Ｂ）算出部１０５を有する。
画像処理装置１００は、短蓄評価値算出部１０６、短蓄露光制御部１０７、長蓄評価値合成部１０８、長蓄露光制御部１０９、イメージセンサ駆動部１１０、および合成部１１１を有する。

イメージセンサ１０１は、入射光をアナログ信号に変換して後段のＡＤＣ１０２に出力する。
イメージセンサ１０１は、少なくとも、１フィールド期間に露光時間の長い画像である長蓄画像と、露光時間の短い画像である短蓄画像の２枚の画像を露光し、撮像して出力する。

ＡＤＣ１０２は、イメージセンサ１０１によるアナログ信号をＡ／Ｄ変換し、デジタル信号として後段の同時化部１０３に出力する。

同時化部１０３は、ＡＤＣ１０２によるデジタル信号を長蓄画像と短蓄画像に分離する。
同時化部１０３は、分離した長蓄画像を第１の長蓄評価値算出部１０４、第２の長蓄評価値算出部１０５および合成部１１１に出力し、短蓄画像を短蓄評価値算出部１０６および合成部１１１に出力する。

第１の長蓄評価値算出部１０４は、供給される長蓄画像から露光評価値を算出し、算出した露光評価値を第１の長蓄評価値ＬＥＶＡとして長蓄評価値合成部１０８に出力する。

第２の長蓄評価値算出部１０５は、供給される長蓄画像から第１の長蓄評価値算出部と異なる方法に基づいて露光評価値を算出し、算出した露光評価値を第２の長蓄評価値ＬＥＶＢとして長蓄評価値合成部１０８に出力する。

短蓄評価値算出部１０６は、供給される短蓄画像から露光評価値を算出し、短蓄評価値ＳＥＶとして短蓄露光制御部１０７に出力する。

短蓄露光制御部１０７は、供給される短蓄評価値ＳＥＶと第１の目標レベルＲＥＦ１とを比較し、比較結果に応じた短蓄画像用の短蓄目標露光時間と露光制御情報（以下、短蓄露光制御情報）を生成する。
短蓄露光制御部１０７は、生成した短蓄目標露光時間ＳＴＥＴを長蓄評価値合成部１０８に出力し、生成した短蓄露光制御情報ＳＥＣＩを合成部１１１に出力する。

長蓄評価値合成部１０８は、供給される長蓄評価値ＬＥＶＡ、長蓄評価値ＬＥＶＢ、短蓄目標露光時間ＳＴＥＴに応じて、長蓄評価値ＬＥＶを生成し、生成した長蓄評価値ＬＥＶを長蓄露光制御部１０９に出力する。

長蓄露光制御部１０９は、供給される長蓄評価値ＬＥＶと第２の目標レベルＲＥＦ２とを比較し、長蓄画像用の露光制御情報（以下、長蓄露光制御情報）ＬＥＣＩを生成し、生成した長蓄露光制御情報ＬＥＣＩを合成部１１１に出力する。

イメージセンサ駆動部１１０は、長蓄露光制御情報ＬＥＣＩおよび短蓄露光制御情報ＳＥＣＩに応じた駆動信号を生成し、生成した駆動信号によりイメージセンサ１０１を駆動する。

合成部１１１は、長蓄露光制御情報ＬＥＣＩおよび短蓄露光制御情報ＳＥＣＩに応じて供給される２枚の長蓄画像と短蓄画像を合成し、後段の処理系に出力する。

このような構成を有する画像処理装置１００において、以下の特徴を有するように構成可能である。
短蓄露光制御部１０７が生成する短蓄露光制御情報ＳＥＣＩおよび長蓄露光制御部１０９が生成する長蓄露光制御情報ＬＥＣＩには、露光時間情報が含まれる。

第１の長蓄評価値算出部１０４は低輝度側に、第２の長蓄評価値算出部１０５は高輝度側に、短蓄評価値算出部１０６高輝度側に、それぞれ比重をおいて露光評価値を算出する機能を有する。
また、第２の長蓄評価値算出部１０５と短蓄評価値算出部１０６において、露光評価値を算出する比重が同一である。
短蓄露光制御部１０７で適用される第１の目標レベルＲＥＦ１と長蓄露光制御部１０９で適用される第２の目標レベルＲＥＦ２が同値である。

長蓄評価値合成部１０８は、短蓄露光制御部１０７による短蓄目標露光時間ＳＴＥＴが第１の閾値ＳＨＴＡ未満であれば長蓄評価値ＬＥＶＡを、短蓄目標露光時間ＳＴＥＴが第１の閾値ＳＨＴＡ以上であれば長蓄評価値ＬＥＶＢを、それぞれ長蓄評価値ＬＥＶとする。
この第１の閾値ＳＨＴＡは、長蓄画像の最短露光時間および短蓄画像の最長露光時間を超える値である。
短蓄画像におけるＰＧＡゲイン量が大きいときは、第１の閾値ＳＨＴＡが小さい。

また、長蓄評価値合成部１０８は、短蓄目標露光時間ＳＴＥＴが第２の閾値ＳＨＴＢ未満であれば長蓄評価値ＬＥＶＡを、短蓄目標露光時間ＳＴＥＴが第２の閾値ＳＨＴＢより大きい第３の閾値ＳＨＴＣ以上であれば長蓄評価値ＬＥＶＢを、長蓄評価値ＬＥＶとする。
長蓄評価値合成部１０８は、短蓄目標露光時間ＳＴＥＴが第２の閾値ＳＨＴＢ以上かつ第３の閾値ＳＨＴＣ未満であれば長蓄評価値ＬＥＶＡと長蓄評価値ＬＥＶＢを所定の方法で補完した値を、長蓄評価値ＬＥＶとする。
第２の閾値ＳＨＴＢが、長蓄画像の最短露光時間および短蓄画像の最長露光時間を超える値である
短蓄画像におけるＰＧＡゲイン量が大きいときは、第２および閾値ＳＨＴＢ、ＳＨＴＣが小さい。

次に、図４に示す画像処理装置１００が１フィールド分の合成画像を生成する際の動作概略を説明する。

処理開始後、イメージセンサ１０１は、入射した光を光電変換し、アナログ信号として後段に出力する。この際、イメージセンサ駆動部１１０は、長蓄露光制御情報ＬＥＣＩ、短蓄露光制御情報ＳＥＣＩに基づき、１フィールド期間に長短合わせて２度の電子シャッタを切るような駆動信号を生成し、イメージセンサ１０１に入力する。
それゆえ、イメージセンサ１０１が生成するアナログ信号には、長蓄画像、短蓄画像の両方に係る情報が含まれる。
イメージセンサ１０１が出力するアナログ信号は、後段のＡＤＣ１０２にてデジタル信号へと変換され、さらに後段の同時化部１０３にて長蓄画像と短蓄画像とに分離、出力される。
次に、分離された長蓄画像と短蓄画像を用いて、第１の長蓄評価値算出部１０４、第２の長蓄評価値算出部１０５、短蓄評価値算出部１０６、短蓄露光制御部１０７、長蓄評価値合成部１０８、および長蓄露光制御部１０９は、次のフィールドの露光においてイメージセンサ駆動部１１０が必要とする長蓄露光制御情報ＬＥＣＩと短蓄露光制御情報ＳＥＣＩを生成する。
なお、露光制御情報には、少なくとも長蓄画像の露光時間と短蓄画像の露光時間に係る情報が含まれ、必要に応じてＰＧＡゲイン量に係る情報なども含まれる。
なお、第１の長蓄評価値算出部１０４、第２の長蓄評価値算出部１０５、短蓄評価値算出部１０６、短蓄露光制御部１０７、長蓄評価値合成部１０８、および長蓄露光制御部１０９の動作は、重要なポイントであるため、のちに詳細に説明する。
合成部１１１は、長蓄露光制御情報ＬＥＣＩと短蓄露光制御情報ＳＥＣＩの生成と並行、または、逐次的に長蓄画像と短蓄画像を合成し、合成画像を出力することで、１フィールドの処理を完了する。

なお、図２のグラフに示される合成方式を使用する場合、長蓄画像、短蓄画像に加えて、短蓄画像に掛ける露光比が必要となる。
前記露光比を得るために、第１の長蓄評価値算出部１０４、第２の長蓄評価値算出部１０５、短蓄評価値算出部１０６、短蓄露光制御部１０７、長蓄評価値合成部１０８、および長蓄露光制御部１０９で求めた長蓄画像露光制御情報と短蓄画像露光制御情報を追加で合成部１１１に入力して露光比を算出してもよい。
あるいは、長蓄画像において飽和していない所定の領域の輝度値と、短蓄画像における前記所定の領域の輝度値をそれぞれ積分し、その比を露光比と見なす処理を合成部１１１内部で実施してもよい。

次に、第１の長蓄評価値算出部１０４、第２の長蓄評価値算出部１０５、短蓄評価値算出部１０６、短蓄露光制御部１０７、長蓄評価値合成部１０８、および長蓄露光制御部１０９の動作の詳細を説明する。
図５は、第１の長蓄評価値算出部１０４、第２の長蓄評価値算出部１０５、短蓄評価値算出部１０６、短蓄露光制御部１０７、長蓄評価値合成部１０８、および長蓄露光制御部１０９における処理の流れの一例を示すフローチャートである。

処理開始後、第１の長蓄評価値算出部１０４、第２の長蓄評価値算出部１０５、短蓄評価値算出部１０６にて、それぞれ第１の長蓄評価値ＬＥＶＡ、第２の長蓄評価値ＬＥＶＢ、短蓄評価値ＳＥＶを算出する（ステップＳＴ１０１、ＳＴ１０２、ＳＴ１０３）。
これら３ステップに示す処理は、図示するように同時並行的に行ってもよいし、順不同で逐次的に行ってもよい。

各評価値算出部１０４〜１０６は、より具体的には、たとえば以下のようなフローで評価値を算出する。
長蓄画像または短蓄画像から各画素の輝度値を得る。
前記各画素の輝度値を、所定の輝度範囲ごとにクラス化し、クラスごとに前記輝度値の積分と画素数カウントを行う。以下、所定のクラスｘの輝度積分値をＩＮＴｘ、画素数をＣＮＴｘとする（ｘが大きいほど、高輝度のクラスとする）。
以下の式により、評価値ＥＶＡを算出する。

ここで、クラスｘの比重ＷＧＴｘの値は、評価値算出部の種類に応じて以下のように設定する。
第１の長蓄評価値算出部１０４の場合、降順にｘが大きいほど、ＷＧＴｘも大きい。
第２の長蓄評価値算出部１０５の場合、昇順にｘが大きいほど、ＷＧＴｘは小さい。
短蓄評価値算出部１０６の場合、昇順にｘが大きいほど、ＷＧＴｘは小さい。
なお、第２の長蓄評価値算出部１０５と短蓄評価値算出部１０６における各比重ＷＧＴｘの値は同じであることが好ましく、以下ではそれを前提に説明するが、必ずしも同一でなくてもよい。

ステップＳＴ１０３の処理が完了後、短蓄露光制御部１０７にて、短蓄評価値ＳＥＶと第１の目標レベルＲＥＦ１とから、短蓄目標露光時間ＳＴＥＴと短蓄画像露光制御情報ＳＥＣＩを生成し、後段に出力する（ステップＳＴ１０４）。
より具体的には、たとえば、以下のような処理になる。
短蓄評価値ＳＥＶと第１の目標レベルＲＥＦ１の比を求める。この比の値を、ＲＳ、とする。
現フィールドの露光で使用した露光時間／ＲＳを計算し、シーンの短蓄目標露光時間とする。
短蓄目標露光時間ＳＴＥＴそのもの、あるいは、短蓄目標露光時間ＳＴＥＴにＩＩＲフィルタなどを適用し、平滑化させたものを、次フィールドの露光時間とする。
前記露光時間に、必要に応じてＰＧＡゲイン量などを加えたうえで、短蓄画像露光制御情報とし、短蓄目標露光時間と合わせて、合成部１１１とイメージセンサ駆動部１１０に出力する。
つまり、ステップＳＴ１０３、ＳＴ１０４の処理により、短蓄画像については、常に過順光補正の考え方で露光制御がなされることとなる。この挙動は、前記先行技術における露光制御と同一である。

ステップＳＴ１０１、ＳＴ１０２、ＳＴ１０４の全ての処理が完了後、長蓄評価値合成部１０８が第１の長蓄評価値ＬＥＶＡと第２の長蓄評価値ＬＥＶＢの値を短蓄目標露光時間ＳＴＥＴに応じて合成することで長蓄評価値ＬＥＶを生成する（ステップＳＴ１０５）。長蓄評価値合成部１０８は、生成した長蓄評価値ＬＥＶを長蓄露光制御部１０９に出力する。

図６は、長蓄評価値合成部１０８におけるより詳細な処理の一例を示すフローチャートである。

処理開始後、長蓄評価値合成部１０８は、短蓄目標露光時間ＳＴＥＴと閾値ＳＨＴの大小関係をチェックする（ステップＳＴ２０１）。ここで、所定の閾値ＳＨＴは、以下の関係を満たすものとする。

［数２］
閾値ＳＨＴ ＞ 短蓄画像の最長露光時間（ＭＡＸＬＥＴ） （式２）

短蓄目標露光時間ＳＴＥＴが閾値ＳＨＴより小さい場合（ステップＳＴ２０１／ＹＥＳ）、第１の長蓄評価値ＬＥＶＡを長蓄評価値ＬＥＶとしてそのまま後段の長蓄露光制御部１０９に出力し（ステップＳＴ２０２）、処理を終了する。
他方、短蓄目標露光時間ＳＴＥＴが閾値ＳＨＴと等しいあるいはそれ以上であれば（ステップＳＴ２０１／ＮＯ）、第２の長蓄評価値ＬＥＶＢを長蓄評価値ＬＥＶとしてそのまま後段の長蓄露光制御部１０９に出力し（ステップＳＴ２０３）、処理を終了する。

図５のステップＳＴ１０５の処理が完了後、長蓄露光制御部１０９にて、長蓄評価値ＬＥＶと第２の目標レベルＲＥＦ２とから、長蓄目標露光時間と長蓄画像露光制御情報ＬＥＣＩを生成し、後段に出力し（ステップＳＴ１０６）、処理を終了する。

より具体的には、たとえば、以下のような処理になる（前記短蓄画像のケースと同様）。
長蓄評価値ＬＥＶと第２の目標レベルＲＥＦ２の比を求める。この比の値を、ＲＬ、とする。
現フィールドの露光で使用した露光時間／ＲＬを計算し、シーンの長蓄目標露光時間とする。
長蓄目標露光時間そのもの、あるいは、長蓄目標露光時間にＩＩＲフィルタなどを適用し、平滑化させたものを、次フィールドの露光時間とする。
前記露光時間に、必要に応じてＰＧＡゲイン量などを加味したうえで、長蓄画像露光制御情報とし、合成部１１１とイメージセンサ駆動部１１０に出力する。
ここで、第２の目標レベルＲＥＦ２は、短蓄露光制御部１０７の処理で用いる第１の目標レベルＲＥＦ１の値と同じであることが好ましく、以下ではそれを前提に説明するが、必ずしも同一でなくとも構わない。

図５のステップＳＴ１０１、ＳＴ１０２、ＳＴ１０５、ＳＴ１０６の処理により、長蓄画像の露光制御について、以下のことが言える。

短蓄目標露光時間＜閾値ＳＨＴにおいては、逆光補正の考え方で露光制御がなされる。
短蓄画像の露光時間が短蓄目標露光時間またはその付近に到達可能、つまり、シーンが十分明るい場合は、長蓄画像は、既存の画像処理装置と同様にふるまう。

短蓄目標露光時間≧閾値ＳＨＴにおいては、過順光補正の考え方で露光制御がなされる。短蓄画像の露光時間がデバイスの制約から短蓄目標露光時間に全く到達できない、つまり、シーンが暗すぎる場合でも、長蓄画像はより長い露光時間を設定できる。
このため、本来短蓄画像で行うべき露光を長蓄画像において代わりに実現する。
ただし、既存の画像処理装置における長蓄画像よりも暗く露光することになるため、閾値ＳＨＴが長蓄画像の最短露光時間よりも短く設定されないことを保証する必要がある。

以上の説明から、既存の画像処理装置における露光制御と、本第１の実施形態に係る画像処理装置１００における露光制御の差分は、以下のみとなる。
短蓄目標露光時間≧所定の閾値ＳＨＴにおける、長蓄画像の露光制御は次のようにみなすことができる。
既存の画像処理装置の場合には、逆光補正露光制御とみなすことができる。
本第１の実施形態に係る画像処理装置１００の場合には、過順光補正露光制御、つまり、短蓄画像と同じ露光制御とみなすことができる。

次に、この露光制御の差分が、どのような効果を生むかを以下に説明する。
短蓄目標露光時間について、以下の関係がなりたつシーンを想定する。
・短蓄目標露光時間（ＳＴＥＴ） ≧ 閾値ＳＨＴ、
・短蓄画像の最長露光時間（ＭＡＸＳＥＴ） ＜ 短蓄目標露光時間（ＳＴＥＴ） ＜ 長蓄画像の最長露光時間（ＭＡＸＬＥＴ）。
なお、既存の画像処理装置を用いる際の、前記想定シーンにおける長蓄画像、短蓄画像、合成画像に係る入出力特性は、上で説明した図２に記載のものであるとする。

前記想定シーンにおいて、本第１の実施形態に係る画像処理装置１００における長蓄画像の露光制御は、以下のようになる。
既存の画像処理装置における長蓄画像と比べて、暗く露光する（露光時間が短い）。
短蓄画像と比べて、明るく露光する（露光時間が長い）。これは、長蓄画像と短蓄画像は同じ露光制御を行うが、短蓄画像は、最長露光時間の制約から露光が収束できていないためである。

図７は、本発明の第１の実施形態に係る画像処理装置を用いる際の、前記想定シーンにおける長蓄画像に係る入出力特性、短蓄画像に係る入出力特性、合成画像に係る入出力特性を示すグラフの一例である。
ここで、１００１は長蓄画像に係る入出力特性、１００２は短蓄画像に係る入出力特性、１００４は合成画像に係る入出力特性、１００６、１００７は合成画像においてそれぞれ長蓄画像、短蓄画像が選択される入射光量の範囲を示している。
なお、図７において、長蓄画像に係る入出力特性１００１と合成画像に係る入出力特性１００４が完全に一致しているのは、長蓄画像の露光制御が短蓄画像の露光制御と同じになり、長蓄画像の高輝度領域においても飽和が発生しなくなったためである。
また、このことから、合成画像において長蓄画像が選択される入射光量の範囲が広がっている。

図８は、本第１の実施形態に係る画像処理装置と既存の画像処理装置の比較を行うため、図７に記載の各入出力特性と、図２に記載の入出力特性の両方のグラフを合わせて示す図である。

短蓄画像に係る入出力特性については、既存の画像処理装置と本第１の実施形態に係る画像処理装置１００において差分はないため、入出力特性１００２と入出力特性２１０２は完全に一致する。
また、本第１の実施形態に係る画像処理装置１００における長蓄画像に係る入出力特性については、既存の画像処理装置の長蓄画像に係る入出力特性と、短蓄画像に係る入出力特性の中間的な特性を持つことが分かる。

図９は、本第１の実施形態に係る画像処理装置と既存の画像処理装置における合成画像のＳ／Ｎ特性を比較したグラフである。
ここで、１２０１は本第１の実施形態に係る画像処理装置１００における前記関係性を、１２０２は本第１の実施形態に係る画像処理装置が出力する合成画像において長蓄画像が選択される領域と短蓄画像が選択される領域の切り替わりポイントを示している。

図９から、本第１の実施形態に係る画像処理装置１００の合成画像のＳ／Ｎ特性には、既存の画像処理装置と比べて以下の差分があることが分かる。
長蓄画像が暗く露光されるため、低輝度部分のＳ／Ｎが低下している。前記Ｓ／Ｎの低下量は、図９に記載の符号１２１０で示される。
短蓄画像の露光は変わらないが、合成画像において長蓄画像が選択される領域と短蓄画像が選択される領域の切り替わりポイントが高輝度側にシフトしているため、前記切り替わりポイントにおけるＳ／Ｎが向上している。
前記Ｓ／Ｎの向上量は、図９に記載の符号１２１１で示される。

つまり、本第１の実施形態に係る画像処理装置１００には、先行技術１に記載の画像処理装置と比べて、以下の効果がある。
低照度のシーンにおいて、合成画像における高輝度部分のＳ／Ｎ低下が軽減する。代わりに低輝度部分のＳ／Ｎが低下する副作用がうまれるが、この副作用は、画面全体に弱いフィルタを適用することで高輝度側に依然残るＳ／Ｎ低下と合わせて解消が可能である。
画面の一部のみに強いフィルタを掛ける必要がないため、合成画像において長蓄画像が選択される領域と短蓄画像が選択される領域の境界に生じうる不自然さは発生しない。
無論、先行技術１と本第１の実施形態に係る技術を併用することで、高照度時と低照度時の両方のシーンにおいてより高画質な合成画像を得られることは言うまでもない。

なお、本発明の第１の実施形態に係る画像処理装置１００の副作用として、低輝度部分のＳ／Ｎ低下を述べたが、これは、以下の条件では必ずしも発生しない。
照度が極端に低く、長蓄画像の最長露光時間でも露光制御が収束しないシーンにおいて、ＰＧＡゲインによるゲインアップを実施する場合、かつ、閾値ＳＨＴ≧長蓄画像の最長露光時間、を満たす閾値ＳＨＴを設定する場合である。
この条件において、短蓄目標露光時間≧所定の閾値ＳＨＴとなり、長蓄画像の露光制御が短蓄画像の露光制御に切り替えられても、長蓄画像の「露光時間」は長蓄画像の最長露光時間のまま変化せず、「ＰＧＡゲイン量」のみが低下することになる。
しかし、特にＰＧＡゲインの手法としてデジタルゲインを使う場合、ＰＧＡゲイン量が変化しても出力レベルのＳ／Ｎの変化が発生しないため、前記長蓄画像の露光制御の切り替わり前後でＳ／Ｎの低下は発生しない。
一方で、短蓄画像の露光制御にＰＧＡゲインを使用する場合は、シーンが低照度であっても、短蓄目標露光時間が長くならないことがある。
たとえば、以下の２つのケースにおいて、基本的に短蓄画像の露光量は同じであるが、Ｓ／Ｎは前者の方が圧倒的に悪い。
第１は、短蓄画像の露光時間が１／２０００秒、ＰＧＡゲインが１０倍（＝ＰＧＡゲイン使用）のケースである。
第２は、短蓄画像の露光時間が１／２００秒、ＰＧＡゲインが１倍（＝ＰＧＡゲイン不使用）のケースである。
つまり、短蓄目標露光時間と所定の閾値ＳＨＴとの比較だけで、長蓄画像の露光制御を切り替えるのは危険である。前記のようなケースでは、短蓄目標露光時間と、所定の閾値ＳＨＴをＰＧＡゲイン量で除算した値とで比較を行うことが好ましい。

＜２．第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
図１０は、本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図である。

本発明の第２の実施形態における画像処理装置１００Ａと本発明の第１の実施形態における画像処理装置１００の異なる点（差分）は、長蓄評価値合成部の機能のみである。図１０と図４とはブロック構成としては変わらない。
よってここでは、前記動作の差分についてのみ説明する。

図１１は、本発明の第２の実施形態に係る画像処理装置１００Ａにおける長蓄評価値合成部１０８Ａの処理の一例を示すフローチャートである。

処理開始後、長蓄評価値合成部１０８Ａは、短蓄目標露光時間ＳＴＥＴと閾値ＳＨＴ１、閾値ＳＨＴ２との大小関係をチェックする（ステップＳＴ３０１）。ここで、所定の閾値ＳＨＴ１＜所定の閾値ＳＨＴ２とする。
短蓄目標露光時間ＳＴＥＴ＜閾値ＳＨＴ１であれば、第１の長蓄評価値ＬＥＶＡを長蓄評価値ＬＥＶとしてそのまま後段に出力し（ステップＳＴ３０２）、処理を終了する。
閾値ＳＨＴ１≦短蓄目標露光時間ＳＴＥＴ＜所定の閾値ＳＨＴ２であれば、第１の長蓄評価値ＬＥＶＡと第２の長蓄評価値ＬＥＶＢを補完して得られる値を長蓄評価値ＬＥＶとして後段に出力し（ステップＳＴ３０３）、処理を終了する。
閾値ＳＨＴ２≦短蓄目標露光時間ＳＴＥＴであれば、第２の長蓄評価値ＬＥＶＢを長蓄評価値ＬＥＶとしてそのまま後段に出力し（ステップＳＴ３０４）、処理を終了する。
ステップＳＴ３０３における補完方法の一例として線形補完が挙げられ、その式は以下のようになる。

［数３］
長蓄評価値ＬＥＶ＝長蓄評価値ＬＥＶＡ＊（１−Ｋ）＋長蓄評価値ＬＥＶＢ＊Ｋ
（式３）
（ここで、Ｋ＝（短蓄目標露光時間−ＳＨＴ１）／（ＳＨＴ２−ＳＨＴ１））

図１２は、図１１に示す処理フローにより、第２の長蓄評価値ＬＥＶＡ、第２の長蓄評価値ＬＥＶＢの寄与率が、短蓄目標露光時間に応じて、どのように変化するのかを示したグラフである。
図１２において、１４０１は長蓄評価値Ａの寄与率を、１４０２は長蓄評価値Ｂの寄与率をそれぞれ示す。

第１の実施形態に係る画像処理装置１００によれば、１つの閾値ＳＨＴと、短蓄目標露光時間との比較により、長蓄評価値ＬＥＶの算出方法の切り替えをデジタルに行っていた。
そのため、短蓄目標露光時間と閾値ＳＨＴの値が非常に近いシーンにおいては、被写体のわずかな変化やノイズにより、２種類の長蓄評価値の算出方法が頻繁に切り替わる、いわゆるハンチングという現象が発生するおそれがあった。
もっとも、長蓄露光制御部１０９にて長蓄画像の露光時間を求める際、長蓄目標露光時間に時定数が十分長いＩＩＲフィルタを適用することで、前記現象が長蓄画像の露光制御のハンチングとなって表面化することはない。
しかし、露光制御の収束速度を高める目的で、前記時定数を短くしたい場合には、第１の実施形態に係る画像処理装置１００では問題となるおそれがある。

本第２の実施形態に係る画像処理装置１００Ａによれば、第１の実施形態に係る画像処理装置１００の効果に加えて、露光制御の収束速度を高めることができる。
また、短蓄画像の露光制御にＰＧＡゲインを使用する場合は、短蓄目標露光時間と閾値ＳＨＴ１、ＳＨＴ２を直接比較するのではない。
すなわち、第２の実施形態に係る画像処理装置１００Ａによれば、第１の実施形態に係る画像処理装置１００と同様、短蓄目標露光時間と、閾値ＳＨＴ１、ＳＨＴ２をＰＧＡゲイン量で除算したものとで比較することが好ましい。

＜３．第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
図１３は、本発明の第３の実施形態に係る画像処理装置の構成例を示すブロック図である。

本第３の実施形態に係る画像処理装置１００Ｂと第１および第２の実施形態に係る画像処理装置１００，１００Ａの異なる点（差分）は、合成部１１１Ｂの機能のみである。よってここでは、合成部の差分についてのみ説明する。

合成部１１１Ｂは、少なくとも長蓄画像、短蓄画像、短蓄目標露光時間ＳＴＥＴを入力し、２枚の画像を合成して得られる合成画像、または、長蓄画像のいずれか一方を出力する。

図１４は、本第３の実施形態に係る画像処理装置１００Ｂの合成部１１１における処理の流れの一例を示すフローチャートである。

処理開始後、合成部１１１Ｂは、短蓄目標露光時間と閾値ＳＨＴ３の大小関係をチェックする（ステップＳＴ４０１）。ここで、閾値ＳＨＴ３は、以下の関係を満たすものとする。

［数４］
閾値ＳＨＴ３ ≧ 所定の閾値ＳＨＴ または 所定の閾値ＳＨＴ２ （式４）

短蓄目標露光時間ＳＴＥＴ＜閾値ＳＨＴ３である場合（ステップＳＴ４０１／ＹＥＳ）、第１または第２の実施形態に係る画像処理装置１００，１００Ａにおける合成部１１１と等価な処理を実施する。
つまり、長蓄画像と短蓄画像を合成し、合成で得られた合成画像を後段に出力し（ステップＳＴ４０２）、処理を終了する。
他方、短蓄目標露光時間≧閾値ＳＨＴ３である場合（ステップＳＴ４０１／ＮＯ）、前記合成は行わず、長蓄画像をそのまま出力し（ステップＳＴ４０３）、処理を終了する。

第１または第２の実施形態に係る画像処理装置１００，１００Ａにおける合成部１１１が出力する画像は、常に長蓄画像と短蓄画像を合成し、出力していた。
しかし、低照度なシーンにおいて、長蓄画像の露光制御が完全に短蓄画像の露光制御に切り替わっていれば、合成を行わず、長蓄画像そのものを出力しても、問題となる高輝度側の飽和は発生しない。
これは、シーンの照度に応じて露光制御の方法を変化させない先行技術２に記載の画像処理装置にはない効果である。

図１５は、本発明の第１または第２の実施形態に係る画像処理装置１００，１００Ａと本発明の第３の実施形態に係る画像処理装置１００Ｂにおける合成画像のＳ／Ｎ特性を比較するためにグラフとして合わせて示す図である。
ここで、１３０１は第３の実施形態に係る画像処理装置１００Ｂにおける入射光量と合成画像のＳ／Ｎの関係性を示している。

図１５から、本第３の実施形態に係る画像処理装置１００Ｂには、本発明の第１及び第２の実施形態に係る画像処理装置１００，１００Ａと比べて以下の追加効果があることが分かる。
すなわち、本第３の実施形態に係る画像処理装置１００Ｂによれば、低照度時においては、短蓄画像を使用せず、長蓄画像のみを出力するため、高輝度部分におけるＳ／Ｎの落ち込みが発生しない。

なお、本第１〜第３の実施形態に係る技術は、露光時間の異なるＮ枚（Ｎは３以上の整数）の画像を合成するケースに対しても、応用が可能である。
たとえば、まず、Ｎ枚の画像のうち露光時間が最も短い２枚の画像について、相対的に露光時間が長い画像を長蓄画像、短い画像を短蓄画像と見なし、本技術を適用して合成画像を得る。
次に、残る画像のうち最も露光時間が短い１枚を長蓄画像、前記合成画像を短蓄画像と見なして、本技術を適用、新しい合成画像を得る、というステップを、最終的に１枚の合成画像が得られるまで再帰的に繰り返せばよい。

以上説明したように、本実施形態の画像処理装置によれば、以下の効果を得ることができる。
低照度のシーンにおいて、合成画像における高輝度部分のＳ／Ｎ低下が軽減する。代わりに低輝度部分のＳ／Ｎが低下する副作用がうまれるが、この副作用は、画面全体に弱いフィルタを適用することで高輝度側に依然残るＳ／Ｎ低下と合わせて解消が可能である。
画面の一部のみに強いフィルタを掛ける必要がないため、合成画像において長蓄画像が選択される領域と短蓄画像が選択される領域の境界に生じうる不自然さは発生しない。
上記効果に加えて、露光制御の収束速度を高めることができる。
高輝度部分のＳ／Ｎ低下を抑制しつつ、白飛び発生を抑制できる。
高輝度部分のＳ／Ｎ低下を完全になくすこともできる。

＜４．第４の実施形態＞
このような効果を有する画像処理装置は、デジタルカメラやビデオカメラの撮像デバイスとして適用することができる。

図１７は、本発明の実施形態に係る画像処理装置が適用されるカメラシステムの構成の一例を示す図である。

本カメラシステム２００は、図１６に示すように、光学系２１０および画像処理装置２２０を有する。
画像処理装置２２０は、本実施形態に係る画像処理装置１００，１００Ａ，１００Ｂが適用可能である。

画像処理装置２２０は、撮像デバイスであるイメージセンサ２２１、信号処理回路（ＰＲＣ）２２２、およびイメージセンサ駆動部（ＤＲＶ）２２３を含んで構成される。
イメージセンサ２２１は、図４、図１０、図１３のイメージセンサ１０１に相当し、イメージセンサ駆動部２２３は、図４等のイメージセンサ駆動部１１０に相当する。
信号処理回路２２２には、図４等のＡＤＣ１０２、同時化部１０３、第１の長蓄評価値算出部１０４、第２の長蓄評価値算出部１０５、短蓄評価値算出部１０６、短蓄露光制御部１０７、長蓄評価値合成部１０８、長蓄露光制御部１０９、および合成部１１１を含む。
光学系２１０は、撮像デバイスであるイメージセンサ２２１の画素領域に入射光を導く（被写体像を結像する）光学系、たとえば入射光（像光）を撮像面上に結像させるレンズ２１１を有する。

イメージセンサ駆動部２２３は、イメージセンサ２２１内の回路を駆動するスタートパルスやクロックパルスを含む各種のタイミング信号を生成するタイミングジェネレータ(図示せず)を有し、所定のタイミング信号でイメージセンサ２２１を駆動する。

また、信号処理回路２２２は、イメージセンサ２２１の出力信号に対して上述したように所定の信号処理を施す。
信号処理回路２２２で処理された画像信号は、たとえばメモリなどの記録媒体に記録される。記録媒体に記録された画像情報は、プリンタなどによってハードコピーされる。また、信号処理回路３４０で処理された画像信号を液晶ディスプレイ等からなるモニターに動画として映し出される。

上述したように、デジタルスチルカメラ等の撮像装置において、画像処理装置２２０とて、先述した画像処理装置１００，１００Ａ，１００Ｂを搭載することで、上述したと同様の効果を得ることができる。
すなわち、低照度のシーンにおいて、合成画像における高輝度部分のＳ／Ｎ低下が軽減する。代わりに低輝度部分のＳ／Ｎが低下する副作用がうまれるが、この副作用は、画面全体に弱いフィルタを適用することで高輝度側に依然残るＳ／Ｎ低下と合わせて解消が可能である。
画面の一部のみに強いフィルタを掛ける必要がないため、合成画像において長蓄画像が選択される領域と短蓄画像が選択される領域の境界に生じうる不自然さは発生しない。
さらに、露光制御の収束速度を高めることができる。
高輝度部分のＳ／Ｎ低下を抑制しつつ、白飛び発生を抑制できる。
高輝度部分のＳ／Ｎ低下を完全になくすこともできる。

なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。

１００，１００Ａ，１００Ｂ・・・画像処理装置、１０１・・・イメージセンサ、１０２・・・アナログデジタル変換部（ＡＤＣ）、１０３・・・同時化部、１０４・・・第１の長蓄評価値（Ａ）算出部、１０５・・・第２の長蓄評価値（Ｂ）算出部、１０６・・・短蓄評価値算出部、１０７・・・短蓄露光制御部、１０８，１０８Ａ・・・長蓄評価値合成部、１０９・・・長蓄露光制御部、１１０・・・イメージセンサ駆動部、１１１，１１１Ｂ・・・合成部、２００・・・カメラシステム、２１０・・・光学系、２２０・・・画像処理装置、２２１・・・イメージセンサ、２２２・・・信号処理回路、２２３・・・イメージセンサ駆動部。

ここで、クラスｘの比重ＷＧＴｘの値は、評価値算出部の種類に応じて以下のように設定する。
第１の長蓄評価値算出部１０４の場合、降順にｘが大きいほど、ＷＧＴｘは小さい。
第２の長蓄評価値算出部１０５の場合、昇順にｘが大きいほど、ＷＧＴｘも大きい。
短蓄評価値算出部１０６の場合、昇順にｘが大きいほど、ＷＧＴｘも大きい。
なお、第２の長蓄評価値算出部１０５と短蓄評価値算出部１０６における各比重ＷＧＴｘの値は同じであることが好ましく、以下ではそれを前提に説明するが、必ずしも同一でなくてもよい。

Claims (18)

1. 少なくとも、１フィールド期間に露光時間が長い画像である長蓄画像、露光時間が短い画像である短蓄画像の２枚の画像を露光し、撮像して出力するイメージセンサと、
   長蓄画像から露光評価値を算出し、第１の長蓄評価値として出力する第１の長蓄評価値算出部と、
   長蓄画像から前記第１の長蓄評価値算出部とは異なる方法に基づいて露光評価値を算出し、第２の長蓄評価値として出力する第２の長蓄評価値算出部と、
   短蓄画像から露光評価値を算出し、短蓄評価値として出力する短蓄評価値算出部と、
   前記短蓄評価値と第１の目標レベルから短蓄目標露光時間と短蓄露光制御情報を取得する短蓄露光制御部と、
   前記第１の長蓄評価値と前記第２の長蓄評価値を前記短蓄目標露光時間に応じて所定の方法で合成することで長蓄評価値を取得する長蓄評価値合成部と、
   前記長蓄評価値と第２の目標レベルから長蓄露光制御情報を取得する長蓄露光制御部と、
   上記長蓄露光制御情報および上記短蓄露光制御情報に応じて長蓄画像と短蓄画像から１枚の画像を生成する合成部と、
   を有する画像処理装置。
2. 前記長蓄露光制御情報と前記短蓄露光制御情報から前記イメージセンサを駆動するイメージセンサ駆動部を有する
   請求項１に記載の画像処理装置。
3. 前記長蓄露光制御情報と前記短蓄露光制御情報に、露光時間の情報が含まれる
   請求項１または２に記載の画像処理装置。
4. 前記第１の長蓄評価値算出部は、低輝度側に、前記第２の長蓄評価値算出部は高輝度側に、短蓄評価値算出部は高輝度側に、それぞれ比重をおいて露光評価値を算出する
   請求項１から３のいずれか一に記載の画像処理装置。
5. 前記第２の長蓄評価値算出部と前記短蓄評価値算出部において、前記比重が同一である
   請求項４に記載の画像処理装置。
6. 前記第１の目標レベルと前記第２の目標レベルが同値である
   請求項１から５のいずれか一に記載の画像処理装置。
7. 前記長蓄評価値合成部は、
   前記短蓄目標露光時間が第１の閾値未満であれば前記第１の長蓄評価値を、前記短蓄目標露光時間が前記第１の閾値以上であれば前記第２の長蓄評価値を、それぞれ前記長蓄評価値とする
   請求項１から６のいずれか一に記載の画像処理装置。
8. 前記第１の閾値は、長蓄画像の最短露光時間および短蓄画像の最長露光時間を超える値である
   請求項７に記載の画像処理装置。
9. 短蓄画像におけるＰＧＡゲイン量が大きいときは、前記第１の閾値が小さい
   請求項７または８に記載の画像処理装置。
10. 前記長蓄評価値合成部は、
    前記短蓄目標露光時間が第２の閾値未満であれば前記第１の長蓄評価値を、前記短蓄目標露光時間が前記第２の閾値より大きい第３の閾値以上であれば前記第２の長蓄評価値を、前記短蓄目標露光時間が前記第２の閾値以上かつ前記第３の閾値未満であれば前記第１の長蓄評価値と前記第２の長蓄評価値を所定の方法で補完した値を、それぞれ前記長蓄評価値とする
    請求項１から６のいずれか一に記載の画像処理装置。
11. 前記第２の閾値が、長蓄画像の最短露光時間および短蓄画像の最長露光時間を超える値である
    請求項１０に記載の画像処理装置。
12. 短蓄画像におけるＰＧＡゲイン量が大きいときは、前記第２および第３の閾値が小さい
    請求項１０または１１に記載の画像処理装置。
13. 前記短蓄目標露光時間が第４の閾値以上であれば、前記合成部において、長蓄画像と短蓄画像の合成画像ではなく、長蓄画像そのものを後段に出力する
    請求項１から１２のいずれか一に記載の画像処理装置。
14. 前記第４の閾値が、前記第１の閾値以上である
    請求項１３に記載の画像処理装置。
15. 前記第４の閾値が、前記第３の閾値以上である
    請求項１３に記載の画像処理装置。
16. イメージセンサを含む画像処理装置と、
    前記イメージセンサに被写体像を結像する光学系と、を有し、
    前記画像処理装置は、
    少なくとも、１フィールド期間に露光時間が長い画像である長蓄画像、露光時間が短い画像である短蓄画像の２枚の画像を露光し、撮像して出力するイメージセンサと、
    長蓄画像から露光評価値を算出し、第１の長蓄評価値として出力する第１の長蓄評価値算出部と、
    長蓄画像から前記第１の長蓄評価値算出部とは異なる方法に基づいて露光評価値を算出し、第２の長蓄評価値として出力する第２の長蓄評価値算出部と、
    短蓄画像から露光評価値を算出し、短蓄評価値として出力する短蓄評価値算出部と、
    前記短蓄評価値と第１の目標レベルから短蓄目標露光時間と短蓄露光制御情報を取得する短蓄露光制御部と、
    前記第１の長蓄評価値と前記第２の長蓄評価値を前記短蓄目標露光時間に応じて所定の方法で合成することで長蓄評価値を取得する長蓄評価値合成部と、
    前記長蓄評価値と第２の目標レベルから長蓄露光制御情報を取得する長蓄露光制御部と、
    前記長蓄露光制御情報と前記短蓄露光制御情報から前記イメージセンサを駆動するイメージセンサ駆動部と、
    上記長蓄露光制御情報および上記短蓄露光制御情報に応じて長蓄画像と短蓄画像から１枚の画像を生成する合成部と、を含む
    カメラシステム。
17. 少なくとも、１フィールド期間に露光時間が長い画像である長蓄画像、露光時間が短い画像である短蓄画像の２枚の画像を撮像する撮像ステップと、
    長蓄画像から露光評価値を算出し、第１の長蓄評価値を得る第１の長蓄評価値算出ステップと、
    長蓄画像から前記第１の長蓄評価値算出ステップとは異なる方法に基づいて露光評価値を算出し、第２の長蓄評価値を得る第２の長蓄評価値算出ステップと、
    短蓄画像から露光評価値を算出し、短蓄評価値を得る短蓄評価値算出ステップと、
    前記短蓄評価値と第１の目標レベルから短蓄目標露光時間と短蓄露光制御情報を得る短蓄露光制御ステップと、
    前記第１の長蓄評価値と前記第２の長蓄評価値を前記短蓄目標露光時間に応じて所定の方法で合成することで長蓄評価値を得る長蓄評価値合成ステップと、
    前記長蓄評価値と第２の目標レベルから長蓄露光制御情報を得る長蓄露光制御ステップと、
    上記長蓄露光制御情報および上記短蓄露光制御情報に応じて長蓄画像と短蓄画像から１枚の画像を生成する合成ステップと、
    を有する画像処理方法。
18. 少なくとも、１フィールド期間に露光時間が長い画像である長蓄画像、露光時間が短い画像である短蓄画像の２枚の画像を撮像する撮像処理と、
    長蓄画像から露光評価値を算出し、第１の長蓄評価値を得る第１の長蓄評価値算出処理と、
    長蓄画像から前記第１の長蓄評価値算出処理とは異なる方法に基づいて露光評価値を算出し、第２の長蓄評価値を得る第２の長蓄評価値算出処理と、
    短蓄画像から露光評価値を算出し、短蓄評価値を得る短蓄評価値算出処理と、
    前記短蓄評価値と第１の目標レベルから短蓄目標露光時間と短蓄露光制御情報を得る短蓄露光制御処理と、
    前記第１の長蓄評価値と前記第２の長蓄評価値を前記短蓄目標露光時間に応じて所定の方法で合成することで長蓄評価値を得る長蓄評価値合成処理と、
    前記長蓄評価値と第２の目標レベルから長蓄露光制御情報を得る長蓄露光制御処理と、
    上記長蓄露光制御情報および上記短蓄露光制御情報に応じて長蓄画像と短蓄画像から１枚の画像を生成する合成処理と、
    を有する画像処理をコンピュータに実行させるプログラム。

Images