JP2014233075A - 画像を解析する装置 - Google Patents

Abstract

【課題】露出制御を行う装置を提供する。
【解決手段】複数のピクセルを含む画像を解析する装置であって、前記画像を受信し、前記画像から、ピクセルの数量をピクセル強度に応じて表現するために、数量の組を求め、組における各数量は、ピクセル強度の異なるビンに属するピクセルを表現し、前記数量は、それらが属するピクセル強度に応じて配置され、および、前記画像の露出が、数量の組における変動を表現する大きさを求めることによって、前記画像の露出が適切であるかどうかを決定するために、数量の組を解析する、回路を、備える。
【選択図】図１

Description

本願は、２００７年７月２５日出願された第６０／９６２，０２８号の優先権を主張するものである。

本発明は、概して、デジタルカメラにおける自動露出制御に関する。

デジタルカメラは、光エネルギを電気信号に変換する撮像素子を内蔵している。デジタルカメラは殆ど自動露出制御機能を備えている。露出制御は、撮像されている画像シーンの特性が与えられた場合の撮像素子のダイナミック範囲を最良利用する露出設定の確認に関わる。撮像素子のダイナミック範囲は、最低有用信号出力に対する最高信号出力の比率として定義されてもよい。

撮像素子は、ダイナミック範囲の限定がある。代表的な電子撮像素子の場合、自然シーンのダイナミック範囲よりも小さいダイナミック範囲を有している。これは、主に、シーンオブジェクトを照明する広範囲の可変強度をもつ光源によるものである。

一般的に言えば、撮像された画像が過度に明るく、または過度に暗くならないような露出を有することが望ましい。一般的に、それは、該システムの最高出力信号レベルと最低出力信号レベルとの境界内の最適点への画像ヒストグラムの移動によって達成される。ヒストグラムは強度値に基づく画像ピクセルの周波数の分布を示す。

カメラにおける露出制御は、通常、撮像中の画像シーンのサンプル領域から入る光の平均強度の測定に関わる。次いで、該平均値を予め定められた撮像素子のダイナミック範囲の比率に調整するように、露出設定が選択される。一般に平均光学測定と呼ばれる技術において、画像全体領域の検出と、その検出信号が一定レベルになる露出制御とを含む。一般に中心強調光学測定と呼ばれるもう一つの方法において、画像領域の中心部だけを検出し、その検出信号が一定レベルになるように露出制御を行う。平均光学測定と中心強調光学測定とを組合せることも実現できる。それは、ビデオ全体領域の検出データと中心領域の検出データの重み付けを行うことと、固定比率で重み付きデータを加えることによって得られた検出データに基づいて露出制御を行うことによって達成することができる。また、より精細な露出制御も達成できる。それは、一つのシーンを幾つかの領域に分割し、各領域でのビデオを検出し、そして露出制御で使用する検出データの領域を制限するか、重み付けを変えることによって達成することができる。しかしながら、上記の光学測定方法においても、該当のシーンに適した露出制御の状態を常に提供するわけではない。

本発明の装置は、複数のピクセルを含む画像を解析する装置であって、前記画像を受信し、前記画像から、ピクセルの数量をピクセル強度に応じて表現するために、数量の組を求め、組における各数量は、ピクセル強度の異なるビンに属するピクセルを表現し、前記数量は、それらが属するピクセル強度に応じて配置され、および、前記画像の露出が、数量の組における変動を表現する大きさを求めることによって、前記画像の露出が適切であるかどうかを決定するために、数量の組を解析する、回路を、備えることを特徴とする。

撮像装置のブロック図を示す図である。 画像システムの構成要素を示す図である。 画像ヒストグラムの例を示す図である。 第１実施形態のヒストグラム生成部の構成要素を示す図である。 第１実施形態のヒストグラム生成部におけるプロセスを示すフローチャートである。 １つのＥＤＲ画像を形成するために結合した相違露出の３つのＬＤＲ画像の図式説明である。 複数のＬＤＲ画像から１つのＥＤＲ画像を構成するプロセスを示す図である。 １つのＥＤＲ画像から相違露出の３つのＬＤＲ画像を抽出する場合の図式説明である。 ＥＤＲ画像からＬＤＲ画像を生成する場合のフローチャートである。 一つのＬＤＲ画像からの赤い色、緑い色、青い色、および輝度の４つの異なるチャネルより、ヒストグラムを生成する場合の図式説明である。 第２実施形態のヒストグラム生成部を示す図である。 第２実施形態のヒストグラム生成部におけるプロセスを示すフローチャートである。 一つのＥＤＲ画像からの赤い色、緑い色、青い色、および輝度の４つの異なるチャネルより、ＥＤＲヒストグラムを生成する場合の図式説明である。 一つのＥＤＲヒストグラムから３つのＬＤＲヒストグラムを生成する場合を示す幾つかのグラフを含む。 一つのＥＤＲヒストグラムからＬＤＲヒストグラムを抽出する場合のフローチャートである。 一つのＥＤＲヒストグラムから４つの異なる（それぞれ異なる露出を有する）ＬＤＲヒストグラムを生成する場合を示す幾つかのグラフを含む。 ヒストグラム生成部の実施形態を示す図である。 第３実施形態のヒストグラム生成部における工程を示すフローチャートである。 それぞれ対応の赤い色のチャネルのヒストグラムを有する４つのＬＤＲヒストグラムを示す。 第４実施形態のヒストグラム生成部における工程を示すフローチャートである。 第５実施形態のヒストグラム生成部における工程を示すフローチャートである。 第６実施形態のヒストグラム生成部における工程を示すフローチャートである。 第７実施形態のヒストグラム生成部における工程を示すフローチャートである。 特徴抽出部の実施形態を示す図である。 ａ〜ｃは、３つのタイプのヒストグラムの峰を示すグラフである。 空の峰検出部における工程を示すフローチャートである。 ａ〜ｂは、緑い色と青い色のチャネルのヒストグラムにおける類似の右端峰の例を示すグラフである。 ａ〜ｂは、赤い色のヒストグラムよりも著しく高い青い色のヒストグラムの末端頂点の例を示すグラフである。 ａ〜ｂは、赤い色と緑い色の両ヒストグラムよりも高い青い色のヒストグラムの右端峰の頂点の例を示すグラフである。 ａ〜ｃは、赤い色と緑い色の両ヒストグラムよりも高い青い色のヒストグラムの末端頂点の例を示すグラフである。 重要な峰のパラメタの測定を説明するフローチャートである。 重要な峰のパラメタの測定の図式説明を示すグラフである。 右の峰のパラメタの測定における工程を説明するフローチャートである。 右の峰のパラメタの測定の図式説明を示すグラフである。 最適露出確認部を示す図である。 最適露出確認部によって行われるプロセスを示すフローチャートである。 ａ〜ｂは、暗闇の詳細の測定の第１例を示すグラフである。 ａ〜ｂは、暗闇の詳細の測定の第２例を示すグラフである。 空の対比の測定を詳細に示すフローチャートである。 ａ〜ｂは、空の対比の測定の例を示すグラフである。 対比の峰の測定を詳細に示すフローチャートである。 ａ〜ｂは、対比の峰の測定の第１例を示すグラフである。 ａ〜ｂは、対比の峰の測定の第２例を示すグラフである。 フラクト（Ｆｌｕｃｔ）の測定を詳細に示すフローチャートである。 ａ〜ｄは、フラクトの測定の例を示すグラフである。 露出を増加するプロセスを示すフローチャートである。 露出を減少するプロセスを示すフローチャートである。

本発明には、画像を解析する装置が掲示される。上記装置は、複数のピクセルを含む画像を受信する回路を備える。上記回路は、該画像のヒストグラムを作成し、該ヒストグラムを解析することによって該画像の許容露出を確認する。このヒストグラムは、それぞれに関連しているピクセルの数量（ｐｏｐｕｌａｔｉｏｎ ｏｆ ｐｉｘｅｌｓ）に対して、複数のビンを有してもよい。例として、このビンは光強度に関連付けられてもよい。画像とヒストグラムは、低ダイナミック範囲数のビットおよび／または拡張ダイナミック範囲数のビットで定義されたデータを含んでもよい。画像の特定の特徴と基準とを確認し解析することによって、その画像が許容露出を有しているか否かを確認してもよい。その画像が許容できない場合、露出特性を変更し、また、許容できる画像を獲得するまでこのプロセスを繰り返してもよい。

図面を参照し参照番号を用いてより具体的に説明する。図１は、撮像装置１０２の実施形態を示す。本実施形態では、ディジタルスチルカメラを示すが、画像システムを利用して画像の露出を制御できる異なる実施形態が多くありえる。撮像装置１０２は、レンズ１０４、絞り１０６、撮像素子１０８、Ａ／Ｄコンバータ１１０、プロセッサ１１２、表示装置１１４、及びメモリカード１１６を含んでいる。シーンからの光がレンズ１０４を通して入る間に、絞り１０６が撮像素子１０８に入る光の量を制御する。撮像素子１０８から得られたアナログ信号はＡ／Ｄコンバータ１１０によってディジタル信号に変換される。そして、ディジタル信号は、補間などの各種処理のためにプロセッサ１１２へ送られる。プロセッサ１１２によって、絞り１０６および／または撮像素子１０８内に配置された時間積分装置の設定を変更する露出制御値が生成される。出力に適切とされる最終画像は、表示装置１１４に表示されるか、あるいはメモリカード１１６に格納される。プロセッサ１１２は画像処理を行う。

露出は、撮像装置１０２に入る光の量として定義される。それは、Ｆ値（例えばＦ４．５）として与えられる絞り１０６のサイズ、および露出時間（例えば１／１２５ｓ）として与えられる撮像装置１０２のシャッター速度から算出できる。露出値は以下の数式を用いて算出できる。

但し、ＥＶは露出値、ＮはＦ値、ｔは露出時間である。

図２は、入力と出力とを有する画像システム２０４の実施形態を示すブロック図である。画像システム２０４は、例えばデジタルカメラやその類似物（上記のようなもの）における処理部のように、電子機器の一部として実現することができる。撮像装置は、ディジタルスチルカメラでよいが、このような実施形態に限定されない。それは、スキャナ、デジタルフォトキオスク、デジタル画像のあるコンピュータ、あるいは画像システム２０４とメモリにデジタル画像を提供して画像システムを走行することが可能な任意の装置でもよい。画像提供部２０２は、画像システム２０４にデジタル画像を提供する。画像提供部は、メモリカード、デジタル画像のあるハードディスク、あるいは画像システム２０４にデジタル画像を提供することが可能な任意の装置でもよい。

画像システム２０４は、ヒストグラム生成部２０６、ヒストグラム特徴抽出部２０８（または、単に特徴抽出部２０８と称する）、及び最適露出画像２１２を提供する最適露出確認部２１０を含む。ヒストグラム生成部２０６は、画像提供部２０２から提供されたデジタル画像によってヒストグラムを生成する。次に、生成されたヒストグラムが特徴抽出部２０８に送られ、この特徴抽出部２０８によってヒストグラムの各種の特徴が測定、算出される。それらの特徴が最適露出確認部２１０に入力され、この最適露出確認部２１０によってそれらの特徴に基づいて露出の適切性が測定される。矢２１４で示すように、画像システム２０４は、最適露出画像２１２を獲得するまでヒストグラム生成部２０６、特徴抽出部２０８、最適露出確認部２１０が繰り返し動作するように、ループ式に動作する。最適露出確認部２１０は、ループの反復（ｌｏｏｐ ｉｔｅｒａｔｉｏｎ）毎に仮露出値Ｔｘを算出し、ヒストグラム生成部２０６へ出力する。

図３は、画像から生成したヒストグラムの例を示す。画像ヒストグラムは、強度による画像内ピクセル数の図形表現である。ピクセルの強度は、画像内に捕獲した光の一定のカラー、色相、明度、あるいは他の特質として表現できる。ヒストグラムは、その図に示す頂点３０２で形成されるものである。ｘ軸３０４はビンからなり、各ビンは一定の強度値範囲を表す。ヒストグラムは、全ピクセルを調べ、ピクセル強度によって各ピクセルをビンに割り当てることで計算される。ｙ軸３０６は、各ビンに属する、画像のピクセルの数量を示す。例えば、０から２５５の範囲の赤い色のチャネルの値を有する８ビットＲＧＢ画像に対応する２５６ビンの赤い色のチャネルのヒストグラムは、０の赤い色の値を示すビン１、１の赤い色の値を示すビン２などを有する。また、１６ビンのヒストグラムの場合は、０から１５の赤い色のチャネルの値を示すビン１、１６から３１の赤い色のチャネル値を示すビン２などを有する。

画像のダイナミック範囲は、ゼロ以外の最小信号値で割った最大可能信号値の比である。例えば、８ビットＲＧＢディジタル画像の場合、最大信号値は２５５、ゼロ以外の最小信号値は１である。８ビット画像のダイナミック範囲は２５５となる。低ダイナミック範囲（ｌｏｗ ｄｙｎａｍｉｃ ｒａｎｇｅ，ＬＤＲ）画像は、通常、ダイナミック範囲が２５５の８ビット画像である。しかし、拡張ダイナミック範囲（ｅｘｔｅｎｄｅｄ ｄｙｎａｍｉｃ ｒａｎｇｅ，ＥＤＲ）画像は、ダイナミック範囲が２５５より大きい画像である。

図２を参照して、ヒストグラム生成部２０６は、ディジタルＬＤＲ画像を受信し、仮ＬＤＲ画像の仮ＬＤＲヒストグラムを１セット出力する。このことを行うことが可能である実施形態は多くありえるが、ここではそれらの一部を特定する。特徴抽出部２０８は、それらのＬＤＲヒストグラムを受信し、仮画像の重要な特徴を示すことが可能なヒストグラムのパラメタを算出する。ヒストグラム生成部２０６の実施形態によっては、仮画像は画像システム２０４によって生成されることもあるし、されないこともある。画像システム２０４内の最適露出確認部２１０は、特徴抽出部２０８から受信する特徴を調べることにより、仮画像の適切な露出についてチェックする。露出がシーンに対して不適切であると確認された場合、最適露出確認部２１０は、露出値Ｔｘの新たな仮画像が生成されるように、次の仮画像のために新たな仮露出値Ｔｘを算出し、このＴｘをヒストグラム生成部２０６に提供する。異なる露出の新たな仮画像は処理されて、新たなヒストグラムが生成される。特徴が再び抽出され、露出の適切性が確認される。仮画像が適切な露出を有し、また出力の２１２として提供されるであると考えられるまで、このプロセスが繰り返される。

図４は、一実施形態のヒストグラム生成部２０６のブロック図である。このヒストグラム生成部２０６は、ＥＤＲ画像生成部４０４、画像生成部４０６、およびヒストグラム算出部４０８により処理される相違露出の複数のＬＤＲ画像４０２を受信する。ヒストグラム生成部２０６は、ＬＤＲヒストグラム４１０を提供する。また、仮露出値Ｔｘ４１２が画像生成部４０６に提供される。

図５は、ヒストグラムを生成するためのプロセスを説明するフローチャートである。ブロック５０２において、段階露出モードまたは同一シーン且つ相違露出の画像を獲得するための他の任意の方式を用いて、相違露出の複数のＬＤＲ画像を獲得する。ＥＤＲ画像は、ブロック５０４においてＬＤＲ画像から生成される。ＥＤＲ画像によって、相違露出のＬＤＲ画像を多く格納するメモリの利用が減少される。これは、予め定められた範囲内の露出のＬＤＲ画像がＥＤＲ画像から得られることによるが、そのＥＤＲ画像はＬＤＲ画像の最小露出値Ｔｍｉｎと最大露出値Ｔｍａｘから決められた範囲を有する。次に、ブロック５０６において、仮露出値Ｔｘの一つのＬＤＲ画像をＥＤＲ画像から獲得する。Ｔｘは予め定められた範囲内になる。ブロック５０８において、その画像のＬＤＲヒストグラムは前記一つのＬＤＲ画像から生成される。

図６は、相違露出の３つのＬＤＲ画像から形成したＥＤＲ画像の例を示す。増大する露出の３つのＬＤＲ画像が図６の左側に示してある。含まれる画像は、最小露出Ｔ１（最も暗い）のＬＤＲ １ ６０２、露出Ｔ２のＬＤＲ ２ ６０４、および最大露出Ｔ３（最も明るい）のＬＤＲ ３ ６０６である。これらのＬＤＲ画像は図６の右側に示すＥＤＲ画像６０８を構成する。この例では、各ＬＤＲ画像は８ビットＲＧＢ画像である。したがって、生成されたＥＤＲ画像は１０ビットＲＧＢ画像である。１を超える数であるかぎり、異なる数のＬＤＲ画像を用いてＥＤＲ画像を構成してもよい。したがって、この記述は、ＥＤＲ画像を構成する方法を限定するものではなく、概念の把握しやすいように説明を簡略化している。

図７は、３つのＬＤＲ画像６０２、６０４、６０６からＥＤＲ画像６０８を作成するプロセスを示す。３つのショットで最も明るい露出Ｔ３のＬＤＲ ３ ６０６は、最初の入力をシステムに提供する。ＬＤＲ画像は、画像獲得プロセス中にできた非線形歪みを含んでもよい。非線形歪みの一例としては、撮像装置内で発生するものであるが、その撮像装置では、アナログ回路が、信号レベルにしたがって変化する増幅ゲインを有してもよい。第２の例としては、撮像装置の検知ノードが、信号レベルにしたがって変化するキャパシタンス値を有している。第３の例としては、ＬＤＲ写真が、一般的にコンピュータ表示に対応するディジタル画像を生成する際に発見されるγ前歪みを受ける。ＬＤＲ ３ ６０６は線形化部７０２によって処理されるが、該線形化部は非線形歪みを排除するように、線形化関数を各ピクセルの強度値に適用する。線形化関数は、画像を非線形画像から線形画像に変換させる。以下に、γ関数とそれに対応する逆γ関数との例を示す。γ関数は：

逆γ関数は：

次に、線形化されたＬＤＲ ３の強度値は、マッピング部７０４によって低露出値Ｔ２へマッピングされる。Ｔ２は、ダーク画像ＬＤＲ ２ ６０４の露出値である。これは、非線形化されたＬＤＲ ３ ６０６が線形化部７０２によって既に線形化されているので、Ｔ３に対するＴ２の比率（即ち、Ｔ２／Ｔ３）を掛ける乗算によって行う。結果としての画像は非線形化部７０６によって処理される。この非線形化部７０６の出力は、組合せ部１ ７０８によってＬＤＲ ２ ６０４の強度値と組合せられる。

その組合せは非線形化部７０６の出力内の「ブライトピクセル」をＬＤＲ ２ ６０４のピクセルで置換することによって行い、１つの出力画像を形成する。非線形化部７０６の出力内の「ブライトピクセル」とは、少なくとも１つのカラーチャネルが第１既定閾値（例えば、０から２５５の強度値に対しては、１２７）より大きい強度値を有するピクセルである。組合せ部２ ７１０は、ＬＤＲ ２ ６０４内の「ディマーピクセル」を組合せ部１ ７０８の出力内のピクセルで置換する。ＬＤＲ ２ ６０４内の「ディマーピクセル」とは、少なくとも１つのカラーチャネルが第２既定閾値より小さい強度値を有するピクセルである。その第２既定閾値は第１既定閾値同じであっても同じでなくてもよい。組合せ部１ ７０８と組合せ部２ ７１０による組合せ処理は、ＬＤＲ ２内の「ディマーピクセル」を非線形化部７０６の出力で置換することと相等である。ただし、これは、上記非線形化部７０６の出力が「ブライトピクセル」ではない場合に限り、あるいは「ブライトピクセル」ではない場合だけに限る。

この処理では、下記の画像アーチファクトは除去される。シーンが単調にフレームにわたって徐々に変化する明度を有している場合、ＬＤＲ ２ ６０４のピクセルはピクセルがディマーになる非線形化部７０６の出力で置換される。しかし、線形化あるいは非線形化処理における不精確性のために、非線形化部７０６からの出力は想定されるよりも若干明るい。結果の画像に現れるのは、シーンの明度が閾値を超えるエッジである。非線形化部７０６の出力がより明るくないことを組合せ部７０８はチェックして確認するが、そうでなければＬＤＲ２のピクセルはそのまま保持される。

組合せ部７１０の出力画像は上記ＬＤＲ ３ ６０６と同様に処理されるが、マッピング部７１２によって更に低い露出値Ｔ１にリマッピングされる。Ｔ１は最も暗い画像ＬＤＲ １ ６０２の露出値である。２つの組合せ部７０８、７１０への第２の入力画像はＬＤＲ １ ６０２に変更される。次に、第２組合せ部２ ７１０での出力画像は線形化部７０２によって処理される。結果の画像は、乗算部７１４によって乗数Ｎと乗算される。Ｎは、複数のＬＤＲ画像の最大露出値Ｔｍａｘの最小露出値Ｔｍｉｎに対する比率である（即ち、Ｔｍａｘ／Ｔｍｉｎ）。１０ビットＥＤＲ画像６０８はこの乗算部７１４によって生成される。

図４を参照して説明すると、ＥＤＲ画像がＥＤＲ画像生成部４０４から生成された後、仮露出の仮ＬＤＲ画像が画像生成部４０６から生成される。ＬＤＲ画像の仮露出値は、ＥＤＲ画像の作成に用いられる複数のＬＤＲ画像の最小および最大露出値の間の値である。例えば、図８に示すように、３つのＬＤＲ画像８０２、８０４、８０６がＥＤＲ画像から抽出される。これらの三つの画像は、それぞれＴｍｉｎ（最小露出値）とＴｍａｘ（最大露出値）との間の値の露出を有する。

図９は、ＥＤＲ画像８０８からＬＤＲ画像８０６を生成する方法を示す。図７に示したものと同様に、先ず、ＥＤＲ画像８０８の強度値を乗算部７１４によって処理される。該乗算部７１４において、ＥＤＲ画像８０８の強度値を乗数１／Ａに掛ける乗算を行う。Ａは、ＬＤＲ ３画像８０６の仮露出値に対する最大露出の比率である。乗算されたＥＤＲ画像は、非線形化部７０６およびクランピング部９０２によって処理される。該クランピング部９０２は、画像がＬＤＲ画像になるように、その画像の強度値のクランピングを行う。例えば、システムがＬＤＲ画像を８ビット画像として定義する場合、そのシステムは非線形化されたＬＤＲ画像８０６の強度値を最大値２５５にクランプする。ＬＤＲ ３ ８０６はクランピング部９０２の出力である。

図４を参照して説明すると、ヒストグラム算出部４０８は、画像生成部４０６によって作成された仮ＬＤＲ画像を受信し、仮ＬＤＲ画像と仮露出値Ｔｘとに基づいて仮ＬＤＲヒストグラムを算出する。図１０は、ＬＤＲ画像１００２から、赤い色のチャネル１００４、緑い色のチャネル１００６、青い色のチャネル１００８、および輝度チャネル１０１０の４つの相違強度のチャネルに対応する４つのＬＤＲヒストグラム１００４、１００６、１００８、および１０１０を算出する場合を示す。他の色域ヒストグラム、例えばＨＳＶヒストグラムやＣＭＹＫヒストグラムも算出可能であるが、該図面には示されていない。

図１１は、ヒストグラム生成部２０６の他の実施形態を示す。このヒストグラム生成部２０６は、ＥＤＲ画像からＥＤＲヒストグラムを作成し、更に、仮ＬＤＲ画像を作成する代わりに、ＥＤＲヒストグラムから仮ヒストグラムを作成する。次に、前述の実施形態のように、ヒストグラム生成部２０６は仮ＬＤＲヒストグラムを１セット作成する。前述の実施形態と同様に、ＥＤＲ画像生成部４０４において、相違露出のＬＤＲ画像４０２を用いてＥＤＲ画像を作成する。次に、ＥＤＲ画像がＤＲヒストグラム生成部１１０２によって用いられ、ＥＤＲ画像のピクセル強度値に基づいてＥＤＲヒストグラムが作成される。次に、ヒストグラム算出部１１０４において、仮露出値Ｔｘ ４１２を用いて、ＥＤＲヒストグラムからＬＤＲヒストグラム４１０が算出される。

ヒストグラムは通常、一定の露出値の画像から生成される。本実施形態では、ＬＤＲ画像を生成することなく、ＬＤＲヒストグラムはＥＤＲヒストグラムから直接生成できる。特定の露出値でＥＤＲヒストグラムから生成されたＬＤＲヒストグラムは、同一露出値のＬＤＲ画像から生成されたＬＤＲヒストグラムに対応する。したがって、特定の露出値を有するＬＤＲヒストグラムは、その特定の露出値の画像から生成される同一ＬＤＲヒストグラムとして定義される。

図１２は、ＬＤＲヒストグラム生成のプロセスを示すフローチャートである。先ず、ブロック１２０２において、相違露出の複数のＬＤＲ画像を獲得する。ブロック１２０４において、ＥＤＲ画像を用いてＥＤＲ画像を生成する。次に、ブロック１２０６において、そのＥＤＲ画像からＥＤＲヒストグラムを算出する。最後に、ブロック１２０８において、仮露出値Ｔｘを用いて、ＬＤＲヒストグラムを生成する。

図１３は、ＥＤＲヒストグラムを作成する場合を示す。ＥＤＲヒストグラムは、ＬＤＲヒストグラムがＬＤＲ画像から算出されるのと同一方法で算出される。各ビンに属するＥＤＲ画像内のピクセルの数量がカウントされて、各ビン対応のＥＤＲヒストグラムのｙ値になる。図１３の左側に、ＥＤＲ画像１３０２の例を示す。ＥＤＲ画像１３０２のピクセル強度値を用い、４つのＥＤＲヒストグラム１３０４、１３０６、１３０８、１３１０が生成される。図１３の右側には、それぞれ赤い色、緑い色、青い色、輝度（明度）チャネルの４つの強度チャネルに対応する４つのヒストグラムを示す。

図１４は、ＥＤＲヒストグラム１４０２および複数のＬＤＲヒストグラム１４０４、１４０６、１４０８を示す。８ビットＬＤＲ画像からなる１０ビット画像に対しては、ＥＤＲ画像から生成したＥＤＲヒストグラム１４０２が０から１０２３までのビン値を有する。ＥＤＲヒストグラムから抽出されたＬＤＲヒストグラム１４０４、１４０６、１４０８は０から２５５までのビン値を有することになる。ＥＤＲヒストグラムからのＬＤＲヒストグラムの抽出は、ＥＤＲ画像からＬＤＲ画像が抽出される場合と同様に行われる。

図１５は、ＥＤＲヒストグラム１４０２からＬＤＲヒストグラム１４０４を抽出する場合の実施形態を示す。図９と同様に、図１５は、ＥＤＲヒストグラム１４０２が乗算部７１４、非線形化部７０６、クランピング部９０２によって処理され、それによってＬＤＲヒストグラム１ １４０４が作成される場合を示す。まず、ＥＤＲヒストグラム１４０２のビン値を乗算部７１４によって処理され、そこで、その値は乗数１／Ａに掛ける乗算を行う。ＡはＬＤＲヒストグラム１ １４０４の仮露出値に対する最大露出の比率である。その後、乗算されたＥＤＲヒストグラムは、非線形化部７０６およびクランピング部９０２によって処理される。該クランピング部９０２は、結果のヒストグラムのビン値を最大値である２５５にクランプする。

複数のＬＤＲ画像からＥＤＲ画像が合成される場合の概念と同様、ＥＤＲヒストグラムも複数のＬＤＲヒストグラムから合成できる。したがって、このプロセスは可逆的でもあるので、ＥＤＲヒストグラムからＬＤＲヒストグラムを抽出することできる。ＥＤＲヒストグラムの２つの相違ビンをＬＤＲヒストグラムの同一ビンにマップできる。この場合、ＥＤＲヒストグラムの両ビンの数量が合計されて、ＬＤＲヒストグラムのビンの数量が生成される。一般に、同一ＬＤＲヒストグラムビンにマップする全てのＥＤＲヒストグラムビンの数量が合計されて、ＬＤＲヒストグラムビンの数量が生成される。

図１６は、ＥＤＲヒストグラム１６０２から、４つの相違露出値Ｔ１、Ｔ２、Ｔ３、Ｔ４を用いてＬＤＲヒストグラム１ １６０４、ＬＤＲヒストグラム２ １６０６、ＬＤＲヒストグラム３ １６０８、およびＬＤＲヒストグラム４ １６１０をそれぞれ作成する場合を説明する図である。各ＬＤＲヒストグラムは、上記の同一の露出値でＬＤＲ画像のピクセル強度から算出されるＬＤＲヒストグラムを表している。

前述の実施形態と比較して、本実施形態は、プロセッサの少ないメモリスペースを使用するメリットを有し、また、処理時間も減少される。これは、ヒストグラムを格納するのに用いるメモリが、それに対応する画像のメモリよりも著しく小さいことによる。更に、ＬＤＲヒストグラムをＥＤＲヒストグラムから抽出する場合よりも、画像からのヒストグラムの算出は著しく多い計算ステップとメモリスペースを要する。プロセッサのメモリ容量はかなり限定されているもので、より少ないメモリスペースを使用することによって、スペースを他の処理や目的に使用することができる。処理時間を短縮することによって、反応時間を速めて最適露出レベルのシーンを撮像することができる。したがって、他の実施形態と比較して、本実施形態は計算効率の点でメリットを有している。

図１７のブロック図に示すように、第３実施形態では、ＬＤＲヒストグラムを相違露出の一連のＬＤＲ画像をＥＤＲ画像から生成することによって生成する。前記の二つの実施形態と同様、本実施形態では、ＥＤＲ画像が生成される。ＥＤＲ画像生成部４０４によるＥＤＲ画像の合成のために、相違露出の第１複数ＬＤＲ画像４０２が必要である。第２複数ＬＤＲ画像は複数画像生成部１７０２および複数ヒストグラム算出部１７０４によって生成され、第２複数ＬＤＲ画像のそれぞれからＬＤＲヒストグラム４１０を形成する。ヒストグラム選択部１７０６は仮露出値Ｔｘ４１２を利用して、システムから提供されるＬＤＲヒストグラム４１０を選択する。

図１８は、本実施形態のプロセスを更に詳しく示す。前記二つの実施形態において記述したように、ブロック１８０２において相違露出の第１複数ＬＤＲ画像を得て、ブロック１８０４においてそれらを用いてＥＤＲ画像を生成される。次に、ブロック１８０６において、ＥＤＲ画像から相違露出の第２複数ＬＤＲ画像が生成される。これらの生成されたＬＤＲ画像の露出は、ブロック１８０２で得られたＬＤＲ画像の露出と同一であってもよいし同一でなくてもよい。ブロック１８０８において、ＬＤＲ画像のピクセル強度に対応するＬＤＲヒストグラムを各画像から算出する。ブロック１８１０において、特定の露出Ｔｘを有する任意の特定のＬＤＲ画像に対応するＬＤＲヒストグラムを、複数のＬＤＲヒストグラムの中から選ぶ。最適露出確認部２１０（図２参照）によってこのセットに対応する画像の露出値が不適切と確認された場合は、ＬＤＲヒストグラムを再選択することができる。

図１９は、図１８に示す実施形態におけるブロック１８０６において対応ヒストグラムを生成するために用いられた、各々相違露出を有する４つのＬＤＲ画像ＬＤＲ １ １９０２、ＬＤＲ ２ １９０４、ＬＤＲ ３ １９０６、ＬＤＲ ４ １９０８を示す。この例では、各ＬＤＲ画像に対応する多くのヒストグラムが相違カラーチャネルから生成されている。簡略にするため、ここでは入手可能な多種のチャネルのうちで赤い色のチャネルからのヒストグラムだけを示す。示されているのは、ＬＤＲ １ １９０２、ＬＤＲ ２ １９０４、ＬＤＲ ３ １９０６、ＬＤＲ ４ １９０８にそれぞれ属する赤い色の１ １９１０、赤い色の２ １９１２、赤い色の３ １９１４、赤い色の４ １９１６である。

図２０は、図１７に示す前記実施形態と同様の他の実施形態を示す。ブロック２００２において相違露出のＬＤＲ画像を獲得する。これらのＬＤＲ画像は次のブロック２００４においてＥＤＲ画像を生成されるために用いられる。次に、ブロック２００６において、相違露出の複数のＬＤＲ画像が生成される。これらのＬＤＲ画像の露出値は、ブロック２００２で得られたＬＤＲ画像の露出値と同一であってもよいし同一でなくてもよい。第３のプロセス実施形態で述べたように、生成された全画像に対応するヒストグラムを作成する代わりに、ブロック２００８において、１つのＬＤＲ画像を複数のＬＤＲ画像から選ぶ。次に、ブロック２０１０において、この画像のＬＤＲヒストグラムを作成する。最適露出確認部２１０（図２参照）によって該画像が不適切な露出値を有すると確認された場合は、ＬＤＲヒストグラムを再選択することができる。

図２１は、他の実施形態を示すが、前記第２のプロセス実施形態の若干異なるバリエーションである。ブロック２１０２において相違露出のＬＤＲ画像を得て、ブロック２１０４において、そのＬＤＲ画像はＥＤＲ画像を生成されるために用いられる。次に、ブロック２１０６において、そのＥＤＲ画像のピクセル強度値を用いてＥＤＲヒストグラムが算出される。次に、ブロック２１０８において、そのＥＤＲヒストグラムから、相違露出値に類似した複数のＬＤＲヒストグラムを生成する。次に、ブロック２１１０において、仮露出値のＬＤＲヒストグラムが選択される。最適露出確認部２１０（図２参照）によってその仮露出値に対応するヒストグラムが不適切な露出値を有すると確認された場合、相違露出値に対応するＬＤＲヒストグラムを再選択することができる。特定の露出値を有するＬＤＲヒストグラムは、その特定の露出値の画像から生成される同一ＬＤＲヒストグラムとして定義される。

図２２は、他の実施形態を示す。前記の実施形態と異なり、本実施形態ではＥＤＲ画像を必要としない。ブロック２２０２において、相違露出の複数のＬＤＲ画像を獲得する。それらを用いてＥＤＲ画像を合成する代わりに、ブロック２２０４において、それらの各画像からＬＤＲヒストグラムを算出する。次に、ブロック２２０６において、それらの複数のＬＤＲヒストグラムからＥＤＲヒストグラムを生成する。複数のＬＤＲ画像からのＥＤＲヒストグラムの生成は、図６、７、８で述べた一連のＬＤＲ画像からのＥＤＲ画像の生成と同様である。ブロック２２１０において、仮露出値ＴｘのＬＤＲヒストグラムはＥＤＲヒストグラムから生成できる。Ｔｘは、複数のＬＤＲ画像の最低露出値から最大露出値までの既定範囲でなければならない。最適露出確認部２１０（図２参照）によって現露出値のシーンの画像が不適切な露出値を有すると確認された場合、新たなＴｘ露出値を用いることができる。特定の露出値を有するＬＤＲヒストグラムは、その特定の露出値の画像から生成される同一ＬＤＲヒストグラムとして定義される。

図２３は他の実施形態を示す。ここでは、ブロック２３０２において、ＬＤＲ画像を撮像装置２０２（図２参照）から獲得する。続いて、ブロック２３０４においてＬＤＲヒストグラムを生成する。最適露出確認部２１０（図２参照）によって画像が不適切な露出値を有すると確認された場合、他の画像を撮像装置２０２から獲得することが可能で、上記工程は繰り返される。

画像システム２０４内のヒストグラム生成部２０６、およびその各種の実施形態が説明された。次に、ヒストグラム特徴抽出部２０８、あるいは略称の特徴抽出部２０８、について説明する。

代表的な屋外昼光写真は、通常、空（ｓｋｙ）の部分、写真の主要なフォーカスである優位被写体、適切に露出しなければならない明るいオブジェクトを含む。周囲環境によっては、被写体はハイライト内にあるかもしれないし、ないかもしれない。空の一部が写真に存在することによって、画像システムの自動露出は写真を露出不足にして、その被写体を過度に暗くする可能性がある。したがって、被写体が写真のフォーカスである場合、空が存在する時でも、画像を適切に露出する必要がある。一方、明るいオブジェクトが写真内にある場合、ハイライト中にない優位被写体にフォーカスを単に当てることで、露出を増大し、明るいオブジェクトが白っぽくなる可能性がある。したがって、写真内に空がある場合であっても優位被写体と明るいオブジェクトを両者に対応する露出を実現するにはバランスをとる必要がある。

適切に露出された画像を実現するために、画像システム２０４は、図２に示す特徴抽出部２０８を含む。特徴抽出部は、最適に露出された画像に必須である３つの特徴、即ち、空の存在、優位被写体、及び明るいオブジェクトを識別する。これらの特徴は、それぞれ空の峰（Ｓｋｙ−Ｐｅａｋ）、重要な峰（Ｓｉｇｎｉｆｉｃａｎｔ−Ｐｅａｋ）、右の峰（Ｒｉｇｈｔ−Ｐｅａｋ）と呼ぶ。

図２４に示すように、特徴抽出部２０８は、それぞれ空の峰検出部２４０４、重要な峰検出部２４０６、右の峰検出部２４０８を含んでもよい。これらの各種の検出器は、画像のヒストグラムを調べ、特定の特性を抽出する。

これらの主な特徴、即ち空の峰、重要な峰、右の峰は、画像が最適露出を有する場合、ヒストグラムの内容へのガイドを提供する。これらの３つの特徴は、ガイドとしてのものであり、本質的に制限するためのものではない。以下に、これらの特徴とこれらが画像内で表すものを理解するために、ヒストグラム内の峰を構成するものについて説明する。

峰は、ヒストグラム内で１つだけのローカル極限を有する連続する頂点のグループとして定義されてもよい。ヒストグラム内で見られる３つの相違するタイプの峰を図２５ａ〜図２５ｃに示す。第１タイプの峰として峰１ ２５０２が図２５ａに示されている。図２５ａは、ヒストグラムの一部分を示すが、その部分の頂点の各側面には、小さいｙ値を有する頂点が置かれている。その峰の最上点は山頂２４１０、峰の左側の最下点は峰の左尾２５０８、右側の最下点は峰の右尾２５１２と呼ぶ。図２５ｂは、ヒストグラムの最右端にだけ見られる第２タイプの峰を示す。峰２ ２５０４は、最後のビンにおいて山頂２５１０を有する。峰２５０４は、右尾を有しておらず、峰の最下点を表す左尾２５０８だけを有している。最後は、図２５ｃに峰３ ２５０６を示してある。これはヒストグラムの最左端にだけ見られる。峰３の山頂２５１０はヒストグラムの先頭ビンにある。山頂２５１０は、左尾を有していないが、峰の最下点を表す右尾２５１２を有している。峰の左と右の尾は常に山頂のそれよりも低くなければならない。尾の直左と右の頂点はその尾自体よりも高くなければならない。山頂の直左と右の頂点は山頂自体よりも低くなければならない。本明細書において使用している共通用語はヒストグラム内の右端峰である。実際には、それは、ヒストグラム内の右端山頂を有する峰である。

図２４を参照して説明すると、特徴抽出部２０８は、ヒストグラム２４０２を受信し、そのヒストグラム内の特徴を抽出する。３つの主要な検出器２４０４、２４０６、２４０８は、ヒストグラムの主要な特徴２４１０を検出、測定する。最適露出確認部２１０において、特徴の山頂のビン値を既定閾値と比較することによって、これらの特徴が用いられる。

屋外昼光写真の場合、写真に空が部分的に存在することによって、通常、代表的な撮像装置の自動露出は写真の残部を暗くする。開示される露出制御において、空の領域からの露出制御に対する影響が低下される。開示される方法では、まず空の領域を識別し、続いて、露出制御算出において低い重み付け係数を排除するか、あるいは空領域内のピクセルに対応するヒストグラムのビンに割り振る。

通常、昼光写真の空の領域は明るい。空の領域の第１特性としては、その領域は一般的に画像内においてブライトピクセルで構成されている。第２特性として、空の領域は、通常、青い色か緑い色の色相で支配されている。一般に、ＲＧＢ色域で表現されている場合、空の領域はＲＧＢのＧ値および／またはＢ値によって支配されている。ＨＳＶ色域の場合、峰は、色相チャネルの青い色の領域近傍、例えば、対応する高Ｖ（明度）の約２４０度に現れる。ＹＣｒＣｂ色域の場合は、明るい青い色は高ポジティブＣｂで表現される。そのような検出は色域に限定されず、本実施形態ではＲＧＢ色域が用いられる。この一対の特性は緑い色と青い色のヒストグラムの右側端で峰に達する。空の峰という用語はそのような観点で定められており、その確認について以下に詳述する。

特徴抽出部２０８の第１構成要素は空の峰検出部２４０４である。図２６は空の峰検出部２４０４のプロセスの実施形態を示す。まず、ブロック２６０２において、空の峰検出部は、３つのチャネルのヒストグラム（赤い色、緑い色、青い色）のセットにおいて右端峰を検出する。次に、確認ブロック２６０４において、青い色のヒストグラムの右端峰を緑い色のヒストグラムと比較し、二つの峰が互いに相似しているかをチェックする。二つの峰については、その３つのポイント（左尾、山頂、または右尾）のうち２つのポイントが１ビン以内離間であれば、それらが十分に相似しているといわれている。更に、類似ポイントにおける数量は一定の許容度合以内で十分に近似しているべきである。例えば、峰Ａの左尾がビン３、山頂がビン５、右尾がビン８にあり、そして、峰Ｂの左尾がビン２、山頂がビン４、右尾がビン６にある場合、左尾と山頂における数量が互いに、例えば１０％などの差があるような許容可能な範囲内にあるかをチェックする。それらがそうである場合、峰Ａは峰Ｂと相似していると考えられる。青い色の右端峰が緑い色の右端峰と相似していると確認された場合、ブロック２６１４において、画像に空が存在し、ヒストグラム内にその空が対応する空の峰を含むと結論づけられる。

青い色の右端峰が緑い色の右端峰と相似していないと確認された場合、ブロック２６０６において、赤い色のヒストグラムの右端峰を青い色のヒストグラムの右端峰と相似性についてチェックする。赤い色の右端峰が青い色のヒストグラムと相似していると確認された場合、次に確認ブロック２６０８において青い色の右端峰の山頂を赤い色の右端峰の山頂と比較し、青い色のほうが高いか否かを確認する。青い色のほうが高い場合、空の峰が存在する。しかし、赤い色の右端峰が青い色のに相似していない場合、あるいは、それらが相似しているが青い色の山頂が赤い色のものよりも高くない場合、更に他の比較を行う必要がある。

確認ブロック２６１０における第三の比較では、青い色のヒストグラムの右端峰の山頂が、赤い色の右端峰と緑い色の右端峰の両山頂よりも高いか否かをチェックする。青い色の山頂のほうが高い場合、空の峰が存在する。そうでない場合、第四の比較を行う必要がある。確認ブロック２６１２において、空の峰の検出部は、青い色のヒストグラムの最終頂点が赤い色および緑い色のヒストグラムの最終頂点より高いか否かをチェックする。赤い色および緑い色のヒストグラムの最終頂点が青い色のヒストグラムの最終頂点より低い場合、空の峰が存在する。しかし、全ての基準を満足しない場合、ブロック２６１６において、ヒストグラムには空の峰が存在しないので、結果として画像に空が存在しないと結論づけられる。

図２７ａ〜図２７ｂ、図２８ａ〜図２８ｂ、図２９ａ〜図２９ｃ、図３０ａ〜図３０ｃは、空の峰が存在するかを確認するために用いる基準を示す。図２７ａと図２７ｂには、図２６に示したプロセスの確認ブロック２６０４で、青い色と緑い色の右端峰の比較の第１規準を示す。図２７ａは特定画像の緑い色のヒストグラム２７０２を示し、図２７ｂは同画像の青い色のヒストグラム２７０６を示す。図２７ａと図２７ｂでは、それぞれ、緑い色と青い色の右端峰が点線円を用いて強調表示してある。図２７ａと図２７ｂに示すように、これらの両ヒストグラムの右端峰は相似しているが、それは空の峰が存在していることを表している。

図２８ａと図２８ｂにはそれぞれ特定画像の赤い色のヒストグラム２８０２と青い色のヒストグラム２８０８とを示す。図２８ａの赤い色のヒストグラム２８０４の右端峰を図２８ｂの青い色の右端峰２８１０と比較し、これらが相似しているかを確認するためにチェックする。両峰が相似せず、両ヒストグラムの右端峰の赤い色の山頂２８０６よりも青い色の山頂２８１２が著しく高いことがチャックから分かるが、これは空の峰が存在することを示唆している。

図２９ａ、図２９ｂ、図２９ｃは、図２６のフローチャートの確認ブロック２６１０で用いられるヒストグラムを示す。図２９ａは右端山頂２９０４を含む赤い色のヒストグラム２９０２を示し、図２９ｂは右端山頂２９０８を含む緑い色のヒストグラム２９０６を示し、図２９ｃは右端山頂２９１２を含む青い色のヒストグラム２９１０を示し。目視検査をすれば、青い色の山頂２９１２が最も高いことが分かるが、これは空の峰の存在を示唆している。

図３０ａ〜図３０ｃは、図２６のフローチャートの確認ブロック２６１２で用いられるヒストグラムを示す。図３０ａ、図３０ｂ、図３０ｃは、それぞれ、最終頂点３００４を含む赤い色のヒストグラム３００２、最終頂点３００８を含む緑い色のヒストグラム３００６、最終頂点３０１２を含む青い色のヒストグラム３０１０を示す。見て分かるように、青い色の最終頂点３０１２は赤い色の最終頂点３００４と緑い色の最終頂点３０１２の両者よりも高い。したがって、空の峰が存在する。

特徴抽出部２０８は重要な峰として呼ばれる特徴を抽出する。この重要な峰は、画像中の優位被写体を示す。視覚的にアピールする画像にとっては、このディテールは過度に明るくなるべきではないし過度に暗くなるべきではない。この特徴は、画像が適切な露出を有しているか否かを確認するために用いることができる。図３１は、重要な峰パラメタを検出するためのプロセスを示す。まず、ブロック３１０２、３１０４、３１０６、３１０８において、４つのチャネルすべてのヒストグラムの最も高い峰が検出される。これらの峰は、必ずしも空の峰に対応してはならず、非空の峰として呼ばれる。ブロック３１１０において、各々のヒストグラムからのこれらの最も高い非空の峰から、右端山頂を含む各峰を重要な峰３１１２として選択する。

図３２は、重要な峰検出の図解例を示す。最も高い非空の峰３２０４を含む赤い色のヒストグラム３２０２、最も高い非空の峰３２０８を含む緑い色のヒストグラム３２０６、最も高い非空の峰３２１２を含む青い色のヒストグラム３２１０、及び最も高い非空の峰３２１６を含む輝度のヒストグラム３２１４が示されている。目視検査をすれば分かるように、赤い色の山頂が最終ビンにあり右端山頂となっており、このように赤い色の峰３２０４は重要な峰としてラベリングされる。例えば、画像が露出不足とされている場合、フォーカスの被写体は通常暗いので、写真から算出された重要な峰の山頂のビン値はダークビンに配置される可能性がある。

特徴抽出部２０８から抽出されえる最終特徴は右の峰である。これは、重要な峰の実施形態になりえるし、または独立して用いることができる。この右の峰は、画像内の明るいオブジェクトを表す。最適露出の画像は、過度に明るくないし過度に暗くもないこのディテールを有するはずである。図３３は、右の峰検出部によるヒストグラムからの右の峰の測定と検出の方法を示す。空の峰に対応しない右端峰は、ブロック３３０２、３３０４、３３０６、３３０８において、それぞれの４つのヒストグラム内で検出される。４つの右端非空の峰がすべて検出された場合、ブロック３３１０において、最も高い山頂を有する峰が確認され、ブロック３３１２において右の峰としてラベリングされる。

図３４は、図３３に示したプロセスの図式表現である。図３４の左側に示すように、同一画像の赤い色のヒストグラム３４０２、緑い色のヒストグラム３４０６、青い色のヒストグラム３４１０、輝度のヒストグラム３４１４が解析される。空の峰に対応しない各ヒストグラムの右端峰は、それぞれ、赤い色、緑い色、青い色、輝度のヒストグラムの３４０４、３４０８、３４１２、３４１６として示されている。図３４の右側に示すように、峰３４１２の青い色の山頂は、最も高く、右の峰としてラベリングされる。例えば、画像が露出不足とされている場合、フォーカスの被写体は通常暗いので、そのような写真から算出された右の峰の山頂のビン値は暗いビンに配置される可能性がある。

視覚的にアピールする画像は過度に暗いものでも過度に明るいものでもないほうがよい。また、その画像中のオブジェクトが十分な対比を有するべきである。オブジェクトがが白っぽくなるか過度に暗くなる場合、オブジェクトとその最大明暗ポイントとの違いがほとんどない。更に、準最適露出を画像に適用した場合、写真内のディテールを失うことになる。

望ましい写真を獲得するためには、４つの基準を用いて、画像が最適露出を有しているか否かを確認することができる。第一に、写真内の暗い領域は画像全体の大きな割合を占めるべきではない。第二に、写真に空の部分を含んでいる場合、画像の空と残部との間に十分な対比があるべきである。第三に、空の部分ではない写真の最も明るい被写体あるいは重要なディテールは、その最も明るいポイントとオブジェクトの残部との間に十分な対比を有しているべきである。最後に、写真内のオブジェクトのディテールはが白っぽくなるべきではないし過度に暗くなるべきではない。

画像は３種類のピクセル、具体的には、ダークピクセル、中間範囲ピクセル、ブライトピクセルによって定義できる。例えば、８ビットＲＧＢ画像の場合、ダークピクセルは多分に５０より低いＲＧＢ値を有し、ブライトピクセルは少なくても２００より高いＲＧＢ値の一つを有し、中間範囲ピクセルは５０〜２００の間に属するＲＧＢ値を有するピクセルである。中間範囲ピクセルは、ダークピクセル範囲とブライトピクセル範囲に属する若干のピクセルと重複してもよい。本実施形態では、これらの３つの範囲は厳密に排他的ではなく重複する。最適に露出された画像の場合、空は大部分ブライトピクセルで構成されが、殆どのオブジェクトは主に、小さい比率でダークピクセルからなる画像を有する中間範囲ピクセルで構成される。

図３５は、最適露出確認部２１０に対応する実施形態を示す。ある画像の、ヒストグラム生成部２０６や他の手段から生成されたヒストグラム２４０２、および特徴抽出部２０８や他の手段によってヒストグラムから抽出された特徴２４１０が提供されているが、両者とも画像が適切な露出を有しているか否かを確認するためである。

最適露出確認部２１０は、暗闇の詳細確認部３５０２、空の対比確認部３５０４、峰の対比確認部３５０６、及び複数のディテールを検出する検出部であるフラクト（Ｆｌｕｃｔ）確認部３５０８を含み、上記４つの基準を測定する。すべての４つの測定によって、画像が適切露出を有しているか否かを確認し、そして画像２１２を生成する。

前記基準は、暗闇の詳細、空の対比、峰の対比、フラクトと呼ぶ。各基準は、まず確認され、それから、４つの各チャネルのヒストグラムの最適露出を確認するように、既定閾値と比較される。最適露出の確認するために用いられる測定を以下に示す：
（ａ）暗闇の詳細： ダークピクセルと、ダークピクセルと中間範囲ピクセルの集合との間の比率を検出する。
（ｂ）空の対比： 空が存在する場合、空の暗い部分とその優位明度との対比を調べる。
（ｃ）峰の対比： 画像内での重要なディテールの明るい部分とその優位明度との間の対比を検出する。
（ｄ）フラクト： 写真内の多数のディテールの存在を検出する。

暗闇の詳細は、画像のダークピクセルと、ダークピクセルと中間範囲ピクセルの集合との間の比率を検出する。この比率は、画像が適切な対比を有するか否かを確認するために用いられる。例えば、暗闇の詳細を検出するには２つの方法がありえるが、用いる方法はヒストグラムにおける空の峰の存在によって選択する。図３６は、暗闇の詳細確認部３５０２によって処理される８ビンのヒストグラムの例を示す。ブロック３６０２において、ヒストグラムの最初の二つの頂点の数量を算出する第１合計を検出する。これはダークピクセルを構成する。確認ブロック３６０４において、前記ヒストグラムをチェックして、空の峰の存在を確認する。空の峰が存在しない場合、８ビンのヒストグラムを３分割する。最初の二つの頂点をダークピクセルとして分類するが、最後の二つのビンはブライトピクセルとなる。中間範囲ピクセルは２番目〜７番目のビンとなる。中間範囲ピクセルとダークピクセルとの間のビンと、中間範囲ピクセルとブライトピクセルとの間のビンに重複が生じる。３箇所が重複しない他の実施形態も用いることができる。中間範囲ピクセルは３番目のビンと６番目のビンとの間に存在することになる。空の峰が存在する場合、ブライトピクセルは空の峰を表すビンに入れられると想定されるが、最初の２つの頂点は依然ダークピクセルとして想定される。中間範囲ピクセルはダークピクセルとブライトピクセルとの間のビンに入れられることになる。本実施形態では、中間範囲ピクセルはダークピクセルとブライトピクセルとの間のビンに入れられるが、この場合はダークピクセルの最終ビンと空の峰の最初のビンとを含む。他の実施形態では、空の峰と重複しない中間範囲ピクセルも用いることができる。

第１基準の暗闇の詳細３６１２を検出するには、ダークピクセルと中間範囲ピクセル両方の数に対するダークピクセルの数の比率を検出する。空の峰が存在しない場合、これは、ステップ３６０２において検出した最初の２つの頂点の数量の合計対ステップ３６０６において確認した最初の６つの頂点の数量の合計の比率３６１０を得ることによって行われる。一方、空の峰が存在する場合、ステップ３６０８において、中間範囲ピクセルの上限が６番目のビンから空の峰の左尾にシフトする。

図３７ａと図３７ｂは、空の峰が存在しないヒストグラム３７０２を示す。図３６のフローチャートのブロック３６０２に対応する図３７ａに、８ビンのヒストグラムの最初の２つの頂点３７０４の数量の第１合計がある。次に、図３７ｂに示すように、図３６の処理ブロック３６０６に基づいて、最初の６つの頂点３７０６の数量の第２合計が算出される。第１合計３７０４と第２合計３７０６の比率は、暗闇の詳細、即ち、ブライトピクセルを除く、画像のダークピクセルと全ピクセルとの間の対比を表す。

図３８ａと図３８ｂは、空の峰３８０４を含むヒストグラム３８０２を示す。最初の２つの頂点のｙ値の第１合計３８０６は算出された。しかし、図３８ｂに示すように、この方法での第２合計３８０８は、図３６の処理ブロック３６０８に基づいて、最初の頂点から空の峰の左尾３８１０までの数量に対する加算を行う。暗闇の詳細は、第２合計３８０８に対する第１合計３８０６の比率を検出することによって確認される。暗闇の詳細は閾値と比較され、測定されている画像の露出が適切であるか否かを確認される。

空の対比は、空が存在する場合、空の暗い部分とその優位明度との対比を測定する。空の対比は、露出が増大する場合、ディテールが失われているか否かを測定する。それは、山頂に対する空の峰の左尾の比率として定義される。この場合、左尾は空の暗い部分を表し、山頂は空の優位明度を含むピクセルのビン値を表す。図３９は、空の対比を測定するために空の対比確認部３５０４によって行われるプロセスを示す。まず、確認ブロック３９０２において、ヒストグラムがチェックされ、それが空の峰を有しているか否かを確認する。空の峰が存在する場合、ブロック３９０４において、空の峰の山頂のｙ値に対する左尾のｙ値の比率を算出する。ブロック３９０６において、この比率は空の対比の測定値として提供される。しかし、ブロック３９０８で示すように、空の峰が存在しない場合、空の対比は確認できない。

図４０ａ〜図４０ｂは、それぞれ空の峰を含む２つの相違の画像の２つのヒストグラムを示す。図４０ａは、最終頂点における山頂４００６と左尾４００４を含む空の峰を有するヒストグラム４００２を示す。図４０ｂは、山頂４０１２と左尾４０１０を含む空の峰を有するヒストグラム４００８を示す。２つのヒストグラムの空の対比は、それぞれ４００４対４００６、４０１０対４０１２の比率である。現画像が適切露出を有するか否かを確認するには、空の対比は一定の閾値より低くなければならない。

峰の対比は、画像における重要なディテールの明るい部分とその優位明度との間の対比を確認する。これは、最適露出測定を行い、それによって、露出の増大に伴い、画像内の重要なディテールが白っぽくならないことを保証する。図４１は、峰の対比を確認するプロセスを示す。確認ブロック４１０２において、ヒストグラムがチェックされ、それが空の峰を含んでいるかを確認する。含んでいる場合、ブロック４１０４において、空の峰に対応しない（あるいは非空の峰と称される）次の右端峰を検出する。空の峰が存在しなければ、ブロック４１０６においてヒストグラムの右端峰を検出する。次に、ブロック４１０８において、山頂の数量に対する４１０４または４１０６において検出された右端の非空の峰の右尾の数量の比率が算出され、その測定値がブロック４１１０において峰の対比として供給される。

図４２ａ〜図４２ｂおよび図４３ａ〜図４３ｂは峰の対比の確認について示す。図４２ａと図４２ｂでは、ヒストグラム４２０２が空の峰についてチェックされる。空の峰４２０４が検出され、次の右端の非空の峰４２０６が検出される。次に、山頂４２１０の数量に対する右端の非空の峰４２０８の右尾の数量の比率を得ることにより、峰の対比を検出される。図４３ａと図４３ｂの第２ヒストグラム４３０２では、空の峰がない。右端峰４３０４が検出される。峰の対比は、山頂４３０８の数量に対する峰４３０４の右尾の数量の比率である。現画像が適切露出を有することを確認するには、峰の対比は一定の閾値より低くなければならない。

最終的に、特定画像の露出が適切であるかを確認するために、最後の測定値Ｆｌｕｃｔが必要とされる。これは、ヒストグラムにおいて変動あるいは非平滑性として表される写真内の多くのディテールの存在を測定するものである。写真内の多くのディテールは、一定の最適露出内に保持する必要がある。ディテール数が過度に小さい場合、露出が適切ではない可能性がある。図４４は、フラクト解析ためののプロセスを示す。ブロック４４０２内において、選択された頂点Ａの数量とその直左右の頂点の平均値との間の絶対差が検出される。これは、ブロック４４０４、４４０６において、該当の頂点（頂点Ａ）を変えることによって繰り返される。本例では３つの頂点についての絶対差が検出されているが、ビンのサイズや他の要素によっては任意数の頂点を用いることができる。次に、ブロック４４０８において全ての絶対差の合計が検出され、ブロック４４１０においてフラクトとして供給される。

例えば、図４５ａ〜図４５ｄに示すような一連の連続する頂点の場合、フラクトは、頂点とその直左右の頂点の平均値との間の全ての絶対差の合計として算出できる。図４５ａ〜図４５ｄは、８ビンを有するヒストグラム４５０２を示す。図４５ａに示すフラクト１は、頂点３ ４５０６のｙ値と頂点２ ４５０４、頂点４ ４５０８の平均ｙ値との間の絶対差である。図４５ｂに示すフラクト２は、頂点４ ４５０８の数量と頂点３ ４５０６、頂点５ ４５１０の平均値との間の絶対差である。図４５ｃに示すフラクト３は、頂点５ ４５１０のｙ値と頂点４ ４５０８、頂点６ ４５１２の平均値との間の絶対差である。図４５ｄに示すフラクト４は、頂点６ ４５１２と頂点５ ４５１０、頂点７ ４５１４の平均値との間のｙ値の絶対差である。そして、フラクトはフラクト１、フラクト２、フラクト３、フラクト４の合計である。写真内に多くのディテールが存在し、それによって露出が適切であることを確認するには、フラクトは一定の閾値より高くればならない。以上が測定値Ｆｌｕｃｔの算出の一例である。ヒストグラム曲線において小波が現れている限り、他の数式を提案してもよい。

上記の数式は以下のように表すことができる。

提案可能な他の数式は以下を含む。

上で説明したように、４つのパラメタである暗闇の詳細、空の対比、峰の対比、フラクトは別として、ヒストグラムから抽出した特徴も露出の最適性を確認するために用いられる。特徴抽出部２０８の実施形態で述べたように、これらの特徴とは空の峰、重要な峰、右の峰である。これらの３つの特性を既定閾値と比較され、画像が最適露出を有しているか否かをチェックされる。

これらのパラメタと特徴が与えられる場合、多くの基準は、露出が準最適であるか否かを確認するために使用されてもよい。これらの基準によって、特徴とパラメタを既定閾値と比較する。これらの既定閾値は、実験において、特徴とパラメタに関して最良結果を供与することを発見した。ヒストグラムにおける非平滑性を測定するフラクトは除くが、分率や百分率に関して該パラメタは常に測定され、特徴はパラメタを検出するために用いられる。暗闇の詳細が半分より大きい場合、それはダークピクセルが画像の半分より多く占めており、該画像が過度に暗いと考えられ、露出が準最適であるということを意味する。空の対比が５０％を超える場合、空全体と空の最も暗い部分との対比が不足しており、これは、露出過度のために画像のディテールが失われているということを意味する。他の露出過度の兆しは、峰の対比が５０％を超える場合に現れる。

一方、ブライトピクセルとダークピクセルとの比率がバランス取れている場合、露出は最適に近い可能性がある。これは、空の対比が約１／５程度、暗闇の詳細が約１／３程度の場合に達成されるが、複数のディテールが現れる（高いフラクトによって示される）場合に露出が最適になる可能性がある。重要な峰と右の峰もヒストグラムの上半分にあり、露出が最適に近い場合に暗闇の詳細は１／５より小さいである。

重要な峰または右の峰の山頂に対応するビン値の閾値は、テストが露出不足の画像か露出過度の画像のいずれを対象にするかによって、低ビン値から高ビン値の間で変化してもよい。最適露出の画像に対して、暗闇の詳細に対応する閾値は通常７０％より小さい値であるが、空の対比に対応する閾値は５％から６０％の範囲で変化する。これは、テストが露出不足の画像か露出過度の画像のいずれを対象にするか、更に、空の対比と対となる他のパラメタが何であるかによるものである。複数のディテールが表れる場合、フラクトに対応する閾値は通常高い値で、これらの値は２００を超え、また、峰の対比に対応する閾値は通常約５０％である。

図４６、４７は、増大または低減させる露出を確認するための基準の使用方法の実施形態を示す。図４６は、露出を増大させるか否かを確認するプロセスを示す。確認ブロック４６０２において、重要な峰または右の峰の山頂のビン値が３より小さいか否かをチェックする。テストがポジティブで、且つ確認ブロック４６０４内に、暗闇の詳細が５５％より大きいことが検出される場合、ブロック４６１０において露出を増大させてもよい。しかし、確認ブロック４６０２でのテストがネガティブで、且つ確認ブロック４６０６内に、暗闇の詳細が４５％より大きいことが検出される場合も、ブロック４６１０において露出を増大させてもよい。確認ブロック４６０８において、プロセスは、暗闇の詳細が３５％より大きいか否か、且つ空の対比が５％より小さいか否かを確認する。テストがポジティブな場合、露出を増大させてもよいが、そうでなければ、露出を増大させない。

図４７は、露出を低減させるか否かを確認するプロセスを示す。確認ブロック４７０２において、プロセスは、空の対比が５０％より大きいか否かを確認し、また、確認ブロック４７０４において、プロセスは、空の対比が２０％より大きいか否か、且つ暗闇の詳細が３５％より小さいか否かを確認する。確認ブロック４７０６において、プロセスは、フラクトが２００より大きいか否かを確認する。確認ブロック４７０８において、プロセスは、暗闇の詳細が３５％より小さいか否かを確認し、ブロック４７１０において、プロセスは、重要な峰または右の峰の山頂のビン値が３より大きいか否か、且つ暗闇の詳細が２０％より小さいか否かを確認する。確認ブロック４７１２において、プロセスは、峰の対比が５０％より大きいか否か、且つ暗闇の詳細が４５％より小さいか否かを確認し、また、確認ブロック４７１４において、空の対比が１０％より小さいか否か、且つ峰の対比が５０％より大きいか否かを確認する。

確認ブロック４７０２、４７０４のいずれかにおけるテストがポジティブな場合、確認ブロック４７１６において、露出が低減される。さもなければ、確認ブロック４７０６、４７１０の両方におけるテストがポジティブな場合、あるいは確認ブロック４７０６におけるテストがネガティブであるが、確認ブロック４７０８におけるテストがポジティブな場合も、露出が低減される。上記の条件のすべても満足しない場合、確認ブロック４７１２、４７１４からの結果が用いられる。いずれにおいてもテストがポジティブな場合、露出が低減される。

実施形態を具体例として説明し添付の図面に示したが、そのような実施形態は、単なる例に過ぎず、広範囲な本発明を制限するものではなく、更に、本発明は、他の種々の変形が可能であり、図示して以上に説明した特定の構成と配置に限定されるものではないことは当業者が理解すべきである。

Claims (1)

1. 複数のピクセルを含む画像を解析する装置であって、
   前記画像を受信し、
   前記画像から、ピクセルの数量をピクセル強度に応じて表現するために、数量の組を求め、組における各数量は、ピクセル強度の異なるビンに属するピクセルを表現し、前記数量は、それらが属するピクセル強度に応じて配置され、
   および、前記画像の露出が、数量の組における変動を表現する大きさを求めることによって、前記画像の露出が適切であるかどうかを決定するために、数量の組を解析する、
   回路を、備えることを特徴とする装置。

Images