JP7077395B2 - 多重化高ダイナミックレンジ画像 - Google Patents

Description

光イメージング及び写真撮影において、より小さい輝度範囲を各画像露出に使用する撮像技術で可能なものよりも大きい範囲の光度を再現するために、高ダイナミックレンジ撮像が使用される。ＨＤＲ（高ダイナミックレンジ）は、像内の、人間の眼の能力にいっそう似た輝度範囲を提示することができる。人間の眼は、虹彩を使って、見ているシーン内の広範囲の輝度に絶えず適応する。この見た情報を脳が継続的に解釈することで、見ている者は広範囲の光条件において見ることができる。対照的に、既存の撮像技術は、一般に、キャプチャされる像内のより小さい輝度範囲を捕捉する。

ＨＤＲ画像は、より低い輝度範囲を捕捉する装置を使用して達成されることができるものよりも大きい範囲の輝度レベルを表現することができる。捕捉され得る大きい輝度範囲を持つシーンの例は、非常に明るい直射日光から、より大きい輝度範囲を持つ極度の影の暗い像又は空間のほのかな像までを含む多くの実世界のシーンを含み得る。ＨＤＲ画像は、同じシーン又は被写体の複数の狭い範囲の露出を組み合わせることによって作成されることが多い。大抵のイメージセンサ又はカメラは、限られた露出範囲で写真を撮影し、ハイライト又はシャドウの細部の喪失をもたらす。

ＨＤＲ画像は、複数の低ダイナミックレンジ（ＬＤＲ）又は標準ダイナミックレンジ（ＳＤＲ）の写真を融合させることから作成され得る。ＨＤＲ画像はまた、例えば、ＨＤＲ画像に使用される複数の露出レベルを持つ画像をキャプチャするために使用され得る複数のカメラヘッドの使用などの、高価な特殊イメージセンサ構成を使用して取得され得る。

時間多重化高ダイナミックレンジ画像の作成のためのシステムの一例を示すブロック図である。 フレームバッファに出力される時間多重化高ダイナミックレンジ画像の作成のためのシステムの一例を示すブロック図である。 有人又は無人のビークルからキャプチャされた画像を用いた時間多重化高ダイナミックレンジ画像の作成のためのシステムの一例を示すブロック図である。 時間多重化高ダイナミックレンジ画像の生成用のイメージセンサによってキャプチャされることが可能なベイヤー色空間にて蓄積される像の一部の例示である。 初期露出及び増加された露出を有する画像が結合されてＨＤＲ画像を作り出す一例を示すフローチャートである。 時間多重化高ダイナミックレンジ画像の作成のための処理の一例を示すフローチャート図である。 本技術で使用され得るコンピューティング装置の一例を提供するブロック図である。

時間多重化された高ダイナミックレンジ（ＨＤＲ）画像の作成のための技術が提供され得る。これらの画像は、所定のフレームレート（例えば、毎秒２０フレームから６０フレーム以上）のフルモーションビデオで使用されることができ、あるいは、静止画像が作成されてもよい。本技術を実行する方法は、ＨＤＲ画像を作成するための動作を含み得る。例えば、ベース露出レベルを持つ第１の画像をイメージセンサから取得することができ、該第１の画像を蓄積メモリに格納することができる。イメージセンサは、フルモーションビデオ用の画像をキャプチャするように構成されたカメラとし得る。一構成において、画像はベイヤー色空間にて格納されることができ、イメージセンサ又はカメラは生来的に、ベイヤー色空間フォーマットで画像をキャプチャするように構成されることができる。他の色画像空間もイメージセンサによって使用されることができる。

ベース露出レベルと比較して変更された露出レベル（例えば、増加された露出レベル）を持つ第２の画像を、イメージセンサを用いて取得することができる。別の動作は、第２の画像内の入力ピクセルの飽和レベルが飽和閾値を超えているかについての判定とし得る。入力画像は、当該入力画像のピクセルが飽和閾値を下回っていて蓄積メモリ内の画像と組み合わせるべきかを決定するために、ピクセルについて計算された推定画像強度を有し得る。

さらに、第１の画像内の局所ピクセル群の第１の局所エッジ推定、及び第２の画像内の第２の局所ピクセル群の第２の局所エッジ推定を決定することができる。この局所エッジ推定は、勾配計算又は他の局所エッジ推定を用いて決定されることができる。第１の局所エッジ推定を第２の局所エッジ推定と比較することで、第１の画像をキャプチャすることと第２の画像をキャプチャすることとの間の画像における動きに起因して、上記局所ピクセル群と上記第２の局所ピクセル群との比較において変化があったかを判定することができる。入力ピクセルの飽和が飽和レベル又は飽和閾値を超えておらず、且つ動きが動き閾値を下回っている場合、これらの基準を満たす第２の画像の個々のピクセルを、第１の画像のそれぞれのピクセルと組み合わせることができる。局所エッジ推定及び飽和閾値の検査を行うことは、ピクセル毎をベースにして、飽和閾値を下回っていて且つ動きが検出されなかった第２の画像からの全てのピクセルが第１の画像に結合されるまで実行され得る。

蓄積バッファ内に画像を蓄積するプロセスは、ある出力フレームレートで出力フレームを作成するように、いくつもの入力画像に対して繰り返され得る。例えば、イメージセンサ又はカメラは、出力フレームレートのＮ倍又は所望のフレームレートで動作されることができる。露出は、キャプチャされたＮ個のフレームで構成されるデータセットを形成するよう、Ｎ個のフレームの各々について、Ｎ個の異なるレベルのうちの１つに設定されることができる。各出力フレームが、ＨＤＲ画像を形成するために使用されるデータセット内にＮ個の関連フレームを有することができる。これらＮフレームは、ＨＤＲ画像を作成するために使用され、一般的にユーザによって見られるものとはならない。このプロセスは、ＨＤＲ画像を作成するための総メモリ要求を低減させるために、データセット内のＮ個のフレームの各々を蓄積メモリに格納されたデータと組み合わせることによって、蓄積メモリを再帰的に使用することができる。より具体的には、出力フレームが完成されるまで、蓄積メモリに格納された先行結果が各入力画像フレームと結合される。

この技術は、限られたハードウェア及び計算リソースを有し得るコンピューティング及び撮像システム上で動作するが、そのシステムは依然としてＨＤＲイメージを提供することができる。以前のＨＤＲシステムでは、複数の画像がロー（raw）カメラデータフォーマットでキャプチャされていた。そして、例えば画像のモザイク解除（demosicing）、画像の色補正、画像の強度補正、及び／又はＣＩＥ色空間への画像変換などの、画像を見える画像に変換するためのステップが実行されていた。従来システムではこの時点で、強度空間内の複数の画像が共に結合されて、最終的なＨＤＲ画像を作成していた。キャプチャされたフォーマットからの画像を見える画像へと変換するこのプロセスは、望ましい数学的出力を提供するが、複数の画像のために大量のメモリを占有してしまい得る。対照的に、本技術は、入力画像を強度空間に変換せず、単一の蓄積メモリにロー画像フォーマット（例えば、ベイヤー画像空間）で画像を蓄積する。

前述したように、本技術は、所望の出力レートよりも高いレートでＮ個のフレームをキャプチャし、これら増加された数のキャプチャされたフレームからＨＤＲ画像を生成することができる。例えば、多くの既存の市販カメラは３０Ｈｚで動作し、データセット内の追加の画像に使用され得るもっと高いフレームレートは、６０Ｈｚ（出力フレーム又は表示フレームごとに２つのキャプチャフレーム）にされることができ、あるいは、９０Ｈｚ（出力フレームごとに３つのキャプチャフレーム）又はそれよりも高いキャプチャフレームレートも使用されることができる。最初のフレームはベース露出（見える写真の露出と考えられ得るもの）に設定されることができ、次いで、画像のハイライトを捕捉するために、後続の画像キャプチャのために画像露出を増加させることができる。画像の暗めの部分についての新しい情報が入って来るにつれて、入力画像のそれら有用な部分が、蓄積メモリに現在格納されている画像とインテリジェントに組み合わされ、故に、画像の明るめの部分は不変のままであることができる。これは、時間多重化された露出出力をもたらす。

この記述で使用されるピクセルという用語は、輝度及び／又は色の値を表す任意のタイプのピクチャエレメント又は画像サブエレメントを含み得る。ピクセルは、イメージセンサの物理的キャプチャ素子又はディスプレイ上の物理的出力素子（例えば、ディスプレイ画素）に直接マッピング可能であるが、物理的なキャプチャ素子又はディスプレイ素子と数学的なピクセルとの間の一対一マッピングが常に使用されるわけではない。

図１Ａは、時間多重化を用いて高ダイナミックレンジ画像を生成するために提供されるシステム１０２及び方法を例示している。このシステム及び方法を、２つの画像を組み合わせる一例に関して説明する。しかしながら、システムがフルモーションビデオ（ＦＭＶ）モードで動作されるとき、センサデバイス又はカメラは、所望のフレームレートのＮ倍で動作されることができ、出力フレーム当たりＮフレームを処理することができる。より具体的には、このシステムは、ベース露出レベルを持つ第１の画像１１２をキャプチャするように構成されたイメージセンサ１１０又はカメラを含むことができる。イメージセンサ１１０又はカメラは、ＲＯＩＣ（読み出し集積回路）、ＣＭＯＳ（相補型金属酸化膜半導体）センサ又は他のイメージキャプチャセンサを使用し得る。このシステムはまた、画像処理法を備えた既存の市販（off-the-shelf；ＯＴＳ）カメラハードウェアを使用し得る。

イメージセンサ１１０と通信する蓄積メモリ１２６がシステム１０２に含められ得る。蓄積メモリ１２６は、当該蓄積メモリに第１の画像１１２を格納するように構成されることができる。例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）、カスタムＡＳＩＣ（特定用途向け集積回路）、又はメモリが付随した別のプロセッサなどの、プロセッサ１３０又はプロセッサ群が、イメージセンサ１１０から第２の画像１１２を受信又は取得するように構成され得る。第２の画像は、前の画像（すなわち、第１の画像）のベース露出レベルと比較して増加された露出レベルを持ち得る。

プロセッサ１３０は、飽和検査モジュール１２０又は飽和ロジックを用いて、第２の画像内の入力ピクセルの各々の、第１の画像内の対応する行（ロウ）及び列（カラム）にあるそれぞれのピクセルと比較しての飽和を検査することができる。各入力ピクセルの飽和が予め定められた飽和閾値を超えていない場合、その個体ピクセルに対する処理を進めることができる。一方、入力ピクセルの飽和レベルが飽和閾値を超えている場合には、その個体ピクセルに対する処理を終了させることができる。何故なら、飽和閾値を超えており、そのピクセルは、蓄積されているＨＤＲ画像を向上させることが期待されないからである。

ピクセルの飽和を検査するために、処理中のピクセルの近傍又は近隣のピクセルを含む局所領域を調べることができる。ピクセル強度を決定するために調べられる近傍近隣は、処理中のピクセルに対して近傍の又は隣接した局所領域内のピクセルとし得る。一例において、領域（例えば、３×３領域）内のピクセルの一部又は全ての最大強度値を用いて、飽和を評価することができる。ピクセルの最大輝度値を使用することは、アンダーサンプリングされた色（赤、青、又は緑）のどの単一成分も飽和していないことを意味する。強度のこの計算（例えば、最大強度を使用する）は、入力フレームのピクセルが、ＨＤＲ画像を蓄積する蓄積メモリ１２６に格納されたフレームに再帰的に付加されるかを決定する際に使用されることができる。ベイヤー画像フォーマット及び／又はＲＧＢフォーマットは、ピクセルの格納位置又は単一値でのピクセル強度情報を提供しないので、ベイヤー画像フォーマットで格納されたピクセルの強度が特定又は推定されることが望ましい。関連する一例として、ＲＧＢは、１つの画像エレメント又はピクセルに対する強度を格納せず、表現される３つの色の各々についての強度を格納する。

従前のＨＤＲ法では、ＨＤＲ画像を生成する前にＣＩＥベースの強度変換が使用されていた。強度ベースの色空間又はＣＩＥ色空間は、従来のＨＤＲ画像を作成するために使用されることがあったかもしれないが、画像全体の強度を見出すこれらの変換は、遅いとともに、かなりの量の時間及び計算リソース（すなわち、プロセッシング及びメモリ）を消費する。

対照的に、ここに記載される技術は、ピクセル強度又は画像エレメント強度のインプロセス推定を使用する。本技術において強度を推定するために使用され得る一例の高レベル計算は、ベイヤー画像フォーマットで格納された近傍ピクセルについて、赤、緑、及び青のピクセルの局所的な最大強度値を見つけるものである。この計算は、（１つ以上の）入力ピクセルに対して近傍の又は隣接した、３×３グリッド、４×４グリッド、５×５グリッド、不規則な形状、又は網戸型のパターンのピクセルを含み得る。強度推定のこの例は、選択された位置における入力画像からのピクセルを格納画像の対応するピクセルと組み合わせるべきかの決定を行うことを可能にする強度の大まかな推定を提供することができる。このタイプのピクセル強度推定は、限られた量のプロセッシング及びメモリリソースのみを使用し、比較的高速である。例えば、１回か２回か２で除算することは、算術論理ユニット（ＡＬＵ）ハードウェアにおいて、
数回のレジスタシフトのみを要し得る。この強度推定は、第１及び第２の画像の両方のピクセルに対して行われることができ、どのピクセルが組み合わせられ得るかについての決定を行うことができる。

この方法は、２つ、３つ、又は４つの画像を組み合わせることに関して記述されているが、ＨＤＲ出力フレームを形成するために、如何なる複数の画像又はＮ個の画像が共に組み合わされてもよい。例えば、Ｎは２から６０までで設定され得る。現在のイメージセンサ又はカメラは、１０００フレームを１秒あたりに、又はそれよりも多数のフレームを１秒あたりにキャプチャすることができ得る。ＨＤＲ出力フレーム毎に、ＨＤＲ出力フレームを作成するためにキャプチャされて共に組み合わされるＮ個の別の画像（例えば、５、１０、２０、又は３０個の画像）が存在し得る。

キャプチャされるＮ個の画像が存在する場合、露出をＮ個の異なるレベル（例えば、画像ごとに異なるレベル）に設定することができる。これらのＮ個のカメラフレームが、ＨＤＲ出力フレームを作成するために結合されるデータセットを構成することができる。Ｎ個の画像のうち第１の画像又は第１のフレームは、画像ハイライトの１％飽和を狙い得る最初の露出フレームとすることができる。この画像は、典型的な露出又はベース露出とみなされることができる。この第１のフレームは、処理されることなくメモリに格納され得る。次のＮ－１個のフレームは、徐々に増加する露出（すなわち、増加する露出時間）を提供するように働くことができ、ここで、露出比は、撮像されるシーンに合わせて最適化される。これらＮフレームの各々は、次第にますます“露出過多”になり得る。例えば、日中、カメラは所望の出力フレームに関して３０Ｈｚで出力画像を生成することができる。さらに、イメージセンサは、ＨＤＲ画像に使用される追加フレームを提供するために、実際には所望のフレームレートのＮ倍又は１５０Ｈｚ（Ｎ＝５）のＮ倍で動作することができる。夜間、カメラは所望のフレームレートに関して７．５ＨｚでＨＤＲ画像を出力することができ、カメラはＨＤＲ画像のための追加の露出をキャプチャするために１５Ｈｚ（Ｎ＝２）で動作することができる。

データセット内の各フレームが受信されるとき、入力フレームは、蓄積メモリ１２６又はデジタルフレームメモリ内に既に蓄積されている既存のフレームと条件付きで組み合わされ得る。この条件付きの蓄積は、個々のピクセル又は画像エレメント各々について推定された局所強度に基づき得る。最終画像がまだ生成されていないので、ピクセル強度は、前述のようにローイメージセンサ出力から推定され得る。入力ピクセルが過飽和であるとき、その入力ピクセルは使用されず、その入力ピクセルは、蓄積メモリ内の格納画像に組み合わされない。

画像を組み合わせることに関して更なる条件が検査される本技術の他の一構成では、局所エッジ推定モジュール１２２又はロジックが、第１の画像内の個々のピクセルについて、局所ピクセル群の第１の局所エッジ推定を計算及び決定することができる。第２の画像内の対応するピクセル（すなわち、双方の画像内の対応し合うｘ及びｙ位置）についての第２の局所ピクセル群の第２の局所エッジ推定も、局所エッジ推定モジュール１２２によって計算されることができる。局所エッジ推定は、画像勾配計算又は勾配推定を用いて計算され得る。他の例として、局所エッジ推定のために、キャニー（Ｃａｎｎｙ）エッジ検出器、探索ベースの方法、ゼロ交差法、又は他のエッジ検出法も使用されることができる。次いで、第１の局所エッジ推定を第２の局所エッジ推定と比較して、第１の画像のキャプチャと第２の画像のキャプチャとの間で、個々のピクセルについての局所ピクセル群において第２の局所ピクセル群と比較して動きがあるかを判定することができる。例えば、第１の局所エッジ推定からの出力値と第２の局所エッジ推定からの出力値とが同じである場合、動きは発生していない。逆に、第１の局所エッジ推定からの出力値と第２の局所エッジ推定からの出力値とが有意に異なる（例えば、差が制約の外にある）場合には、動きが発生しているとし得る。

最初のケースでは、第１の画像と第２の画像との間でそれらの中の特定のピクセルに動きが殆ど又は全くないとの判定を行うことができる。第２の画像の第２の局所ピクセル群が、第１の画像内の対応する局所ピクセル群に対して有意に動いていないとき、蓄積メモリ１２６内にＨＤＲ画像を形成するよう、第２の画像からのピクセルを第１の画像のピクセルと組み合わせることができる。

入力フレーム（例えば、新たにキャプチャされたフレーム又は入力フレーム）が、蓄積メモリ１２６内の格納フレームと結合されるとき、各入力フレームが格納画像と結合され、次いで、更新された画像として格納されるので、このような結合動作は再帰的であるとみなされ得る。更新された画像は、蓄積メモリ１２６に格納されることができる。従って、蓄積メモリ１２６に格納された格納画像のピクセル値が、入力画像のピクセル値と組み合わされて、蓄積メモリ１２６に格納されることになる更新されたＨＤＲ出力フレーム１２８を作り出す。増加された露出（例えば、潜在的に増加される強度）を持つ新たなキャプチャ画像各々を蓄積メモリに追加することは、ＨＤＲ出力フレーム１２８の作成中に使用される全体的なメモリリソースを削減することができる。結果として、単一の画像フレームを格納するように構成されたメモリを用いて、各ＨＤＲ出力フレーム１２８が構成される。

蓄積された格納フレーム及び入力フレームの中のピクセルについて局所エッジ推定を計算するために疑似コードの例を提供することができる。
・緑の位置：
delta_H=abs(inB(i,j-2)+inB(i,j+2)-2*inB(i,j))+abs(inG(i,j-1)-inG(i,j+1);
delta_V=abs(inB(i-2,j)+inB(i+2,j)-2*inB(i,j))+abs(inG(i-1,j)-inG(i+1,j));
・赤／青の位置：
delta_H=abs(inR(i,j-2)+inR(i,j+2)-2*inR(i,j))+abs(inG(i,j-1)-inG(i,j+1));
delta_V=abs(inR(i-2,j)+inR(i+2,j)-2*inR(i,j))+abs(inG(i-1,j)-inG(i+1,j));

なお、“ｉｎＢ”、“ｉｎＧ”及び“ｉｎＲ”は、それぞれ、配列内の特定の相対位置にある入力Ｂｌｕｅ（青）、入力Ｇｒｅｅｎ（緑）及び入力Ｒｅｄ（赤）を指す。局所エッジ推定は、蓄積メモリ１２６内の格納画像又は格納フレームに関する及び入力フレームに関するピクセル位置の各々に対して行われることができる。局所エッジ推定計算は、局所エッジ推定を使用することにより、水平及び／又は鉛直位置における局所エッジを推定することができる。局所エッジ推定のこの例は、アンダーサンプリングされたデータ（例えば、ベイヤーパターンデータ）を使用して計算されることができる。ここに記載される画像例のフォーマットはアンダーサンプリングされるフォーマットであるので、緑ピクセルについてと、赤／青ピクセルとについてとで、異なる計算が使用される。任意のタイプの既知の局所エッジ推定が使用され得るが、局所エッジ推定のこの例は、ＨＤＲ出力フレームを作成するために動きに関して検査することに使用されており、局所エッジ推定はモザイク解除には使用されない。

局所エッジ推定を用いて、入力ピクセルが局所ピクセル領域内で動きを持つかを判定することができる。ピクセルの位置又はその近傍で局所的な動きが存在する場合、その入力ピクセルを組み込むことが画像をぼやけさせてしまい得るので、その入力ピクセルは使用されないことになる。例えば、動いている物体（例えば、動いている人、ビークル（乗り物）、動物など）が存在する場合、その物体をぼやけさせることを回避することが、画像の全体的な品質を向上させる。

ゴーストの発生は、ぼやけよりも問題が少ないとし得るが、そのピクセルの位置又は近傍に局所的な動きがあるときに入力画像からのピクセルを組み込むことを避けることは、物体が視野中を動いているときにその物体の背後にゴーストを生み出すことを避けることにもなり得る。この説明に記載される時間多重化された画像は、アーチファクトを生み出し得るが、局所エッジ推定を用いて動きを検査することは、そのような可能性ある視覚的アーチファクトを最小化する助けとなる。

２つの画像を組み合わせることの例において、第２の画像からのピクセルを第１の画像とともに平均することによって、第１の画像からのピクセルが第２の画像からのピクセルと結合され得る。２つのピクセルの結合は、結合モジュール１２４を使用して行われ得る。それに代えて、ピクセル値の非線形結合を使用して、第２の画像からのピクセルが第１の画像と共に結合されてもよい。この非線形演算は、第１の画像に結合されるピクセルからの色及び／又は強度の量を、入力ピクセルの色及び／又は強度に基づいてスケーリングすることができるものとし得る。例えば、入力フレーム内の入力ピクセルの彩度及び／又は強度が増加するにつれて、格納画像と結合される入力ピクセルの量は逆に減少することができる。他の一構成では、第２の画像からの入力ピクセルの一定の割合を第１の画像に加えることができる。例えば、第２の画像からの各ピクセルの色及び強度の１０％から９０％までが、第１の画像に加えられてもよい。

蓄積メモリ内のピクセルを入力ピクセル値と組み合わせることはまた、最終的なＨＤＲ画像に対するノイズ抑制を提供することができる。例えば、格納ピクセルを入力ピクセルとともに平均することは、画像内のノイズを抑圧し得る。

一構成において、入力画像からのピクセルと蓄積メモリ内の格納画像との結合は、入力ピクセル強度が格納出力強度とどれだけ異なるかに基づいて行われることができる。（蓄積メモリ内の）格納画像内のピクセルが黒色であるが、入力ピクセルが灰色である場合、灰色ピクセルは黒色ピクセルの利益のために使用されることができ、黒色ピクセルは灰色ピクセルと共に平均されないとし得る。これは何故なら、さもなければ黒色ピクセルが、入力ピクセルを過度に支配することになるからである。ピクセルはまた、特に、ピクセルの色及び／又は強度が強度スペクトルのいずれかの端（例えば、非常に白色又は非常に黒色）にあるときに、異なる組み合わせで結合されることもできる。

他の一態様では、入力画像の強度ヒストグラムを作成して分析することができる。強度ヒストグラムの分析に基づいて、システムは、キャプチャされる後続画像に使用されるべき露出レベルを決定することができる。例えば、黒によって重度に支配されたヒストグラムを入力画像が持つ場合、次の画像は露出を１段分だけではなく３段分又は４段分増加させることができる。この動的な露出決めは、１段分だけ高い露出でのキャプチャでは、最終ＨＤＲ画像にとって実際に有用な画像コンテンツを提供することができないという状況を回避することができる。より具体的な一例において、双モード画像は、ヒストグラムのうちいっそう暗い部分に多数の主値を持つとともにヒストグラムのいっそう明るい部分に多数の主値を持つ強度ヒストグラムを有し得る。このようなケースでは、露出における２倍（２ｘ）の増加は、最終的なＨＤＲ出力フレームに有用なものを提供しないことがある。従って、ベース露出レベルと比較して８倍（８ｘ）の露出まで跳ね上げることが、より良好な結果を提供し得る。このような露出制御技術はまた、シーン内に反射性の物体を有する暗いシーン（例えば、反射する車両がある暗い駐車場）の場合にも役立つものとなり得る。同様の例において、システムは、入力画像についての次の露出レベルを選択するために、ヒストグラム又は累積分布関数（ＣＤＦ）の５０％及び２５％のポイントを分析することができる。次の入力画像についての全体的な露出は、カメラがフレームを露出させる（すなわち、イメージセンサが光をキャプチャすることを可能にする）時間の長さを制御することによって設定され得る。

入力ピクセル値を格納ピクセル値と組み合わせ、次いで、データセットのＨＤＲ出力フレーム用のメモリにピクセルを格納するための疑似コードの一例は：
if saturation_estimate(pixel_new(i))>saturation_limit)
--入力が飽和している，それを含めない
Pixel(i)=Pixel_prev(i);
else if ((abs(delta_H_prev－delta_H_new)>threshold) or
abs(delta_V_prev－delta_V_new)>threshold)
--エッジが動いている，ぼやけさせない
Pixel(i)=Pixel_prev(i)
else
--信号を平均
Pixel(i)=(Pixel_prev(i)+Pixel_new(i))/2;
end if;
とすることができる。

データセット全体（例えば、出力フレームのためのＮ個の画像）が処理されると、既存の色空間変換技術を用いて、出力フレーム（例えば、ベイヤー画像）を表示可能な画像に変換することができる。Ｎ個の画像のデータセット全体が蓄積され、出力フレームが出力された後、蓄積メモリは、次のデータセットに備えてクリアされることができる。

飽和を検査すること、局所エッジ推定、及びピクセルを結合することに関して記述された動作は、ピクセルごとに実行されることができる。従って、２つの画像に関する結合に値する如何なるピクセルも結合されたことになるまで、画像内の行ごと又は列ごとの順序でピクセルが処理され得る。第２の画像すなわち入力画像からの一部のピクセルは、過飽和、動き、又は他の要因のために、第１の画像に結合されるのに値しないものであり得る。そのようなピクセルは、特定されるとスキップされ得る。生成されたＨＤＲ出力フレーム１２８は、その後、保管、パターン認識、マシンビジョン、エンドユーザによる閲覧などのために、蓄積メモリ１２６からコンピュータネットワーク又はコンピューティングバスを横切って送信されることができる。画像はまた、画像を見ることができる遠隔のモバイル装置又はコマンドステーションに送られ得る。

図１Ｂは、接続された出力ディスプレイを備えた時間多重化ＨＤＲ画像を作成するためのシステムを例示している。図１Ｂのカメラ１１０、プロセッサ１３０、蓄積メモリ１２６、及び他の要素は、図１Ａの要素と同様に動作することができる。ＨＤＲ出力フレーム１２８を生成することに加えて、蓄積メモリ１２６からＨＤＲ出力フレーム１２８を受け取るようにフレームバッファ１３０が構成され得る。フレームバッファ１３０は、画像情報（例えば、完成したＨＤＲ画像ビットマップ）を提供して、フレームバッファ１３０と通信してエンドユーザ又は他の観察者が見るためにＨＤＲ画像を出力する表示装置１３２をリフレッシュすることができる。表示装置は、ＬＣＤ（液晶ディスプレイ）、プラズマディスプレイ、ＯＬＥＤ（有機発光ダイオード）ディスプレイ、又は任意の他のディスプレイタイプとすることができる。

この技術を使用して、非常に暗い領域及び明るい領域を有するシーンを撮像するのに有用な高ダイナミックレンジ（ＨＤＲ）ビデオを作成することができる。複数のカメラヘッドを備えた高価なハードウェアを配備しなければならないのでなく、単一のカメラを使用してソフトウェア及びファームウェアの変更でＨＤＲビデオを作成できることが望ましい。この技術は、既存の撮像能力を損なうことなく、オペレータによって望まれるように起動又は停止されることができる。これが意味することは、エンドユーザ又はオペレータが、ソフトウェアインタフェースを使用していつでもＨＤＲビデオ機能をオン又はオフにすることができるということである。

以前は、フルモーションビデオ（ＦＭＶ）ＨＤＲシステムが構築されたとき、それらのシステムは、使用されるカメラヘッドの数又は使用され得る特殊なハードウェアに関して全体的なカメラコストを上昇させてしまい得る高価なカスタムＲＯＩＣ又は複数のカメラヘッドを利用していた。一部のＦＭＶ構成は、開発するのに数百万ドルのコストがかかり得るカスタムＲＯＩＣ又はカスタムカメラを有する。複数のカメラの使用はＨＤＲ画像を提供することができるが、それらの構成は、かなりの量のメモリ、追加のハードウェア、及びプロセッシング能力を使用する。

加えて、複数のカメラの使用は、戦術的環境内で動く複雑な機械的アライメントを含み得る。複雑な機械的機構が使用されるとき、それらの機構は、特に、要求の高い軍事的又は商業的用途で撮像装置が使用されるときに、撮像装置の追加の故障ポイントを生み出してしまい得る。マルチカメラヘッド構成で使用される特殊なハードウェアは、（例えば、夕暮れ、日の出、低照明条件などで）ＨＤＲ画像を周期的に使用し得る用途のための高価なハードウェア投資であり得る。

ＨＤＲ画像を形成するために多重露出を実装した静止画カメラが利用可能となっているが、静止画カメラは、単一の静止画を生成するものであるとともに、画像を形成するのにかなりの時間を要する。静止画ＨＤＲ撮像は、軍事的環境又は他の要求が厳しい環境には適さない。複数のカメラ及び特殊なハードウェアを用いてハードウェア多重化露出システムが製造されているが、それらのシステムは、高価なプロセッシングリソースを使用するとともに、比較的大きいレイテンシ及び低いフレームレートを有する。この開示にて記述されるＨＤＲ技術は、これらの制限を、過度に複雑又は高価なハードウェアを使用することなくＨＤＲビデオ又は画像を提供することによって克服し、従って、軍事的及び他の用途を可能にする。

本技術は、１つのカメラを含むリソース制約的なシステムでＨＤＲビデオ又は静止画像を提供することができる。より具体的には、この技術は、図１Ｃに例示するように、有人又は無人のビークル上のカメラからビデオをキャプチャするために使用されることができる。例えば、飛行するドローン、道路車両無人機、船舶又は他のタイプのビークル１０４に搭載されたカメラから、ＨＤＲ画像を作成することができる。他の例では、防犯カメラ、組立ラインカメラ、包装施設カメラ、農機具カメラ、又はカメラを備えた他のモノのインターネット（ＩｏＴ）装置によってキャプチャされた画像から、ＨＤＲビデオを生成することができる。

図２は、カメラからキャプチャされる画像がベイヤー画像パターン２００でのものであり得ることを例示している。ベイヤー画像パターン構成のカメラでは、図２に示すように、グリッド状の強度センシング用のハードウェア又は半導体の上にカラーフィルタが配置される。画像のためのロー（raw）アンダーサンプリング色が、既知の画像技術を用いて、最終的にＲＧＢ画像を作り出すように処理され得る。

この技術はベイヤードメインで動作することができるので、この技術を実装することは、強度空間（ＣＩＥ、ＹＵＶ）で画像を計算することよりもかなり少ない計算リソースしか要しない。この結果がもたらされるのは、強度空間への変換が、メモリ及び処理スループット要求を増加させ得るからである。単一のカメラでＨＤＲビデオを提供するというリソース及びコストの制約のため、このカメラはアンダーサンプリングされたベイヤー色空間を使用し得る。この技術での画像は、カメラによってキャプチャされたままのネイティブ色空間又はローフォーマットに留まることができ、メモリを節約し、処理に使用される他のリソースを減少させる。画像をベイヤー空間内に維持することでメモリ及びプロセッシングリソースを節約できるので、画像の蓄積中に画像を完全にモザイク解除されたＣＩＥ色空間画像に変換しなくてもよい。しかしながら、時間多重化されたＨＤＲ出力フレームが作成されたときに、完全変換を行うことができる。より具体的には、蓄積メモリに格納される画像も、ベイヤー画像フォーマット又は他のネイティブカメラフォーマットで格納されることになる。ＨＤＲ画像が蓄積されると、次いで、ベイヤー画像フォーマットから、見るためのＲＧＢ又は他の強度ベースの画像フォーマットへと、画像を変換するために、通常の画像処理を行うことができる。

既存の画像処理法を用いて、最終的な見ることができる画像を生成することができる。複数のカメラヘッドからの複数の画像を処理してＨＤＲ画像を作成する従来の撮像法は、結果として４つの画像ストリームとストリーム当たり３つの画像となって、これが、１２個の完成画像が組み合わされることをもたらし、それにより、大量のメモリ及び処理が消費され得る。対照的に、この技術は、１つの出力フレームのみを有し、その１つの画像を、既知のモザイク解除、色補正、強度補正、及び／又は画像をＣＩＥ色空間に変換することを用いて、見える画像へと変換することができる。あるいは、画像は、例えば輝度空間、ＲＧＢ（赤、緑、青）、ＣＭＹＫ（シアン、マゼンタ、イエロー、キー）、又は他の画像色空間などの色空間にて格納されることができる。ベイヤーパターン配列ではない他のカラーフィルタ配列パターンも、カメラからキャプチャされた画像を格納するためにこの技術で使用され得る。例えば、製造業者は、キャプチャされた画像を格納するために、専有のカラーフィルタパターン及び配列（例えば、ソニーフォーマット又は他のロー画像フォーマット）を使用してもよい。この技術で使用される動作は、多重化されたＨＤＲ画像を再帰的に作成するために、そのような様々な画像フォーマットを処理するように変更されることができる。

図３は、カメラによってキャプチャされたベース露出レベルを有する最初の露出画像３１０を例示している。その後の時点（例えば、最初の露出画像の直後）で、意図的に増加された露出画像３２０もカメラによってキャプチャされ得る。これらの画像の双方を、先述の処理を用いて組み合わせることで、最初の露出画像３１０又は増加された露出画像３２０のいずれよりも別々に高いダイナミックレンジを持つＨＤＲ画像３３０を得ることができる。

図３におけるこの技術の例示記述は、主に、２つの画像又はカメラ露出を用いて説明されているが、最終的なＨＤＲ出力フレーム１２８を得るために任意の数の画像が使用され得る。例えば、システムは、所望の出力フレームレートで、各出力フレームに対してＮ個の画像を取得することができる。従って、イメージセンサからの出力フレームに関する出力フレームレートを、出力フレームレートのＮ倍に設定することができ、イメージセンサは、出力フレームレートのＮ倍で動作されて、出力フレームレートのＮ倍の数の画像をキャプチャすることができる。Ｎ個の画像のピクセルが、ＨＤＲ画像を形成するように共に結合され得る。所望の画像出力レートが毎秒２４フレームである場合、カメラは毎秒７２フレームで動作することができる。これは、各ＨＤＲ出力フレーム１２８又は出力フレームを作成するために共に結合され得る３つの画像を提供する。ＨＤＲ出力フレーム１２８を作成することには、任意の数の画像が使用され得る。ＨＤＲ出力フレームを作成するために使用される画像の数Ｎは、画像を結合するために利用可能なカメラハードウェア、蓄積メモリ及びプロセッシング能力を唯一の制約として、２個の画像から数千個の画像（例えば、出力フレーム当たり２０００個の画像）までの任意の数とし得る。Ｎ個の画像は、次第に高まる露出レベルでキャプチャ又は取得されることができる。例えば、１つめの露出レベルは０、２つめの露出レベルは＋２、３つめの露出レベルは＋４、等々とし得る。

図４は、時間多重化された高ダイナミックレンジ画像を生成する方法を例示している。この方法は、ブロック４１０においてのように、イメージセンサからキャプチャされたベース露出レベルを持つ第１の画像を取得する第１動作を含み得る。第１の画像は、ブロック４２０においてのように、蓄積メモリに格納され得る。ブロック４３０においてのように、ベース露出レベルと比較して変更された露出レベル（例えば、増加された露出レベル）を持つ第２の画像を取得され得る。

ブロック４４０においてのように、第２の画像内の入力ピクセルの飽和レベルが飽和閾値を超えているかの判定が為され得る。入力ピクセルの飽和レベルを検査するために、ピクセルの推定強度が計算され得る。キャプチャ画像を格納するのにベイヤー画像パターンを用いるとき、Ｎ個の画像を組み合わせることを可能にするよう、各ピクセルの強度が推定され得る。この技術は、新たな色空間（ＣＩＥ、ＹＵＶ）への完全な変換を必要とせずに強度を推定することができる。一例において、飽和は、ピクセル領域における強度の局所的な最大値を見つけることによって推定されることができる。このピクセル領域は、処理されている入力ピクセルに対して近傍の又は隣接したピクセルの一部又は全てを含み得る。この領域は、入力ピクセルの近傍における３×３のサイズ又はで他の有用なサイズ（例えば、Ｎ×Ｎ）とし得る。

定められた閾値を超える強度を持たない第２の画像のピクセルは、ブロック４５０においてのように、蓄積メモリ内に高ダイナミックレンジ画像を形成するよう、第１の画像のピクセルと結合されることができる。街路灯を用いた夜間の画像キャプチャの場合、ベース画像は、非常に暗い最初の画像とし得る。次の露出において、街路灯を露出過多にすることができ、街路灯に関連するピクセルは廃棄されて蓄積画像に結合されないとし得る。しかしながら、他の暗めの光及び反射はエンドユーザにとって見やすいものとなり、そして、暗めの光及び反射は飽和レベル閾値を超えないので、これらの暗めの光及び反射を蓄積画像に結合することができる。これらの追加の細部は、最終画像を見る者が、影の中の何があるかを見ることを可能にする。追加フレームごとに、飽和レベル閾値を超えない限りにおいて、より明るくなった各領域がフレームに追加される。

本技術の更なる一構成において、第１の画像内の局所ピクセル群の第１の局所エッジ推定が決定され得るとともに、第２の画像内のその局所ピクセル群の第２の局所エッジ推定も決定され得る。第１の局所エッジ推定を第２の局所エッジ推定と比較することで、第１の画像をキャプチャすることと第２の画像をキャプチャすることとの間に、第２の局所ピクセル群と比較して第１の画像の局所ピクセル群に動きがあったかを判定することができる。各ピクセルについて動きが動き閾値を下回る場合、第２の画像の適切なピクセルが第１の画像のピクセルと結合され得る。

第１の画像は、第２の画像と、第２の画像からのピクセルを第１の画像と共に平均することによって組み合わされ得る。それに代えて、第１の画像を第２の画像と組み合わせることは、非線形結合を用いて第２の画像からのピクセルを第１の画像と結合することとしてもよい。

定められた出力フレームレートに対して、該出力フレームレートの各出力フレームについて、次第に高まる露出レベルでＮ個の画像を取得することができる。イメージセンサからの出力フレームについての定められた出力フレームレートに基づいて、イメージセンサは、出力フレームレートのＮ倍で動作されて、出力フレームレートのＮ倍の数の画像をキャプチャすることができる。Ｎ個の画像のそれぞれのピクセルが共に結合されて、高ダイナミックレンジ画像を形成し得る。最後に、高ダイナミックレンジ画像は、表示のためにフレームバッファメモリ及び表示装置に送られ得る。

他の一方法例において、本技術に関する動作は、実行されるときにプロセッサに、時間多重化された高ダイナミックレンジ画像を生成させることができる命令を有する非一時的な機械読み取り可能記憶媒体に記憶され得る。本技術は、カメラからキャプチャされたベース露出レベルを持つ第１の画像を取得し、第１の画像を蓄積メモリに格納し得る。ベース露出レベルと比較して増加された露出レベルで第２の画像が取得され得る。第２の画像内の入力ピクセルの入力飽和レベルが、該ピクセルの強度が飽和閾値を超えているかを見るために検査され得る。

第１の画像内の局所ピクセル群の第１の局所エッジ推定、及び第２の画像内のその局所ピクセル群の第２の局所エッジ推定が計算され得る。第１の局所エッジ推定が第２の局所エッジ推定と比較されて、第１の画像をキャプチャすることと第２の画像をキャプチャすることとの間に、その局所ピクセル群において動き閾値を上回る動きがあったかが判定され得る。動きが動き閾値を下回り、且つ飽和閾値が超えられていないとき、第２の画像のピクセルが、蓄積メモリ内の第１の画像のピクセルと結合され得る。

この技術は、最初の露出を用いるとともに後続画像の露出時間を増加させ、それらがＨＤＲ画像のために共に結合され得るとして記述されている。しかしながら、逆のプロセスも使用され得る。最初の画像は、高い露出レベルを持つ画像で始まってもよい。その後、次第に減る露出を持つ後続画像をキャプチャされて最初画像と組み合わされることで、出力フレームのＨＤＲ画像が作成され得る。

図５は、この技術のモジュールが実行可能なコンピューティング装置５１０を例示している。本技術のハイレベル例が実行され得るコンピューティング装置５１０が例示されている。コンピューティング装置５１０は、メモリデバイス５２０と通信する１つ以上のプロセッサ５１２を含むことができる。コンピューティング装置は、当該コンピューティング装置内のコンポーネントのためのローカル通信インタフェース５１８を含むことができる。例えば、ローカル通信インタフェースは、ローカルデータバス及び／又は所望の任意の関連アドレス若しくは制御バスとし得る。

メモリデバイス５２０は、（１つ以上の）プロセッサ５１２によって実行可能なモジュール５２４と、モジュール５２４用のデータとを含むことができる。モジュール５２４は、前述の機能を実行することができる。モジュールによって使用されるコード又はデータを記憶するためにデータストア５２２も利用可能とし得る。

他のアプリケーションも、メモリデバイス５２０に格納されて、（１つ以上の）プロセッサ５１２によって実行可能にされ得る。この記述にて説明されるコンポーネント又はモジュールは、本方法のハイブリッドを用いてコンパイル、解釈、又は実行される高水準プログラミング言語を用いたソフトウェアの形態で実装され得る。

コンピューティング装置はまた、当該コンピューティング装置によって使用可能なＩ／Ｏ（入力／出力）装置５１４へのアクセスを有し得る。Ｉ／Ｏ装置の一例は、コンピューティング装置からの出力を表示するのに利用可能な表示スクリーン５３０である。所望に応じて、コンピューティング装置と共に、他の知られたＩ／Ｏ装置が使用されてもよい。ネットワーキング装置５１６及び同様の通信装置が、コンピューティング装置に含められ得る。ネットワーキング装置５１６は、インターネット、ＬＡＮ、ＷＡＮ、又は他のコンピューティングネットワークに接続する有線又は無線のネットワーキング装置とし得る。

メモリデバイス５２０に格納されているとして示されるコンポーネント又はモジュールは、プロセッサ５１２によって実行され得る。用語“実行可能”は、プロセッサ５１２によって実行可能とすることができる形態にあるプログラムファイルを意味し得る。例えば、高水準言語のプログラムが、メモリデバイス５２０のランダムアクセス部分にロードされてプロセッサ５１２によって実行されることができるフォーマットの機械コードにコンパイルされてもよいし、あるいは、ソースコードが、別の実行可能プログラムによってロードされ且つ解釈されて、プロセッサによって実行される命令をメモリのランダムアクセス部分に生成してもよい。実行可能プログラムは、メモリデバイス５２０の任意の部分又はコンポーネントに格納され得る。例えば、メモリデバイス５２０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ソリッドステートドライブ、メモリカード、ハードドライブ、光ディスク、フロッピーディスク（登録商標）、磁気テープ、又は他のメモリコンポーネントとし得る。

プロセッサ５１２は、複数のプロセッサを表すことができ、メモリ５２０は、プロセッシング回路に対して並列に動作する複数のメモリユニットを表すことができる。これは、システムにおけるプロセス及びデータに関する並列プロセッシングチャネルを提供することができる。ローカルインタフェース５１８は、複数のプロセッサ及び複数のメモリのいずれの間の通信をも支援するネットワークとして使用され得る。ローカルインタフェース５１８は、例えば負荷分散、バルクデータ転送、及び同様のシステムなどの、通信を調整するように設計された追加のシステムを使用し得る。

この技術に関して提示されるフローチャートは、特定の実行順序を暗示することがあるが、実行順序は、図示されたものと異なってもよい。例えば、２つ以上のブロックの順序を、示された順序に対して並べ替えられてもよい。また、連続して示された２つ以上のブロックが、並列に、又は部分的な並列化を用いて実行されてもよい。一部の構成では、フローチャートに示された１つ以上のブロックが省略又はスキップされ得る。高められた実用性、アカウンティング、性能、測定、トラブルシューティング、又は同様の理由のために、任意数のカウンタ、状態変数、警告セマフォ、又はメッセージが論理フローに追加されてもよい。

この明細書に記載される機能ユニットの一部は、それらの実装独立性をよりいっそう強調するために、モジュールとしてラベル付けられている。例えば、モジュールは、カスタムＶＬＳＩ回路若しくはゲートアレイ、例えば論理チップ、トランジスタ、又は他のディスクリートコンポーネントなどの市販の半導体、を有するハードウェア回路として実装されることができる。モジュールはまた、例えばフィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス、又はこれらに類するものなどの、プログラム可能なハードウェアデバイスにて実装されることもできる。

モジュールはまた、様々なタイプのプロセッサによって実行されるソフトウェアで実装されることもできる。実行可能コードの特定のモジュールが、例えば、オブジェクト、プロシージャ、又は関数として編成され得るものであるコンピュータ命令の１つ以上のブロックを有し得る。そうとはいえ、特定のモジュールの実行可能プログラムは、物理的に一緒に置かれる必要はなく、そのモジュールをなす複数の異なる位置に格納され、論理的に結合されたときに、そのモジュールに関して記載された目的を達成する複数の異種の命令を有してもよい。

実際、実行可能なコードのモジュールは、単一の命令であってもよいし多数の命令であってもよく、さらには、幾つかの異なるコードセグメント上で、複数の異なるプログラムの間で、そして、幾つかのメモリデバイスにまたがって分散されることができる。同様に、動作データは、モジュール内で特定され得るとともに、任意の好適な形態で具現化され、任意の好適なタイプのデータ構造内に編成され得る。動作データは、単一のデータセットとして収集されてもよいし、複数の異なる記憶装置上を含め、複数の異なる位置にわたって分散されてもよい。モジュールは、所望の機能を実行するように動作可能なエージェントを含め、受動的であってもよいし、能動的であってもよい。

ここに記載される技術はまた、例えばコンピュータ読み取り可能な命令、データ構造、プログラムモジュール、又は他のデータなどの情報の記憶のための何らかの技術で実施される揮発性及び不揮発性の、リムーバル及び非リムーバブルな媒体を含むコンピュータ読み取り可能記憶媒体に格納され得る。コンピュータ読み取り可能記憶媒体は、以下に限られないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）若しくは他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置若しくは他の磁気記憶装置、又は所望の情報及び記載の技術を格納するために使用されることが可能な他のコンピュータ記憶媒体を含む。

ここに記載される装置はまた、当該装置が他の装置と通信することを可能にする通信接続又はネットワーキング装置及びネットワーキング接続を含むことができる。通信接続は、通信媒体の一例である。通信媒体は典型的に、コンピュータ読み取り可能な命令、データ構造、プログラムモジュール、及び他のデータを、例えば搬送波又は他の輸送機構などの変調データ信号にて具現化し、任意の情報送達媒体を含む。“変調データ信号”は、その特徴のうちの１つ以上が当該信号内に情報をエンコードするように設定又は変化される信号を意味する。限定ではなく例として、通信媒体は、例えば有線ネットワーク若しくは直接配線接続などの有線媒体と、例えば音響、無線周波数、赤外線及び他の無線媒体などの無線媒体とを含む。ここで使用されるコンピュータ読み取り可能媒体なる用語は、通信媒体を含む。

図面に示した例を参照するとともに、ここでは特定の言葉を用いてそれを説明している。そうとはいえ、理解されることには、それによる本技術の範囲の限定は意図していない。ここに例示された特徴の改変及び更なる改良、並びにここに例示された例の追加の適用であって、本開示を得た当業者の心に浮かぶことになるものは、この記述の範囲内であるとみなされるべきである。

また、記載された機構、構造、又は特性は、１つ以上の例において好適に組み合わされ得る。以上の説明においては、記載された技術の例の十分な理解を提供するため、例えば様々な構成の例など、数多くの具体的詳細事項が提供されている。しかしながら、当業者が認識するように、本技術は、これらの具体的詳細事項のうちの１つ以上を用いずに実施されてもよいし、あるいは、他の方法、構成要素、装置などを用いて実施されてもよい。また、周知の構造又は処理については、本技術の態様を不明瞭にすることがないよう、詳細に示したり説明したりしていない。

主題事項を、構造的特徴及び／又は動作に特有の言語で説明してきたが、理解されるべきことには、添付の請求項にて規定される主題事項は、必ずしも、上述の特定の特徴及び動作に限定されるものではない。むしろ、上述の特定の特徴及び作用は、請求項を実施する形態例として開示されている。記載された技術の精神及び範囲から逸脱することなく、数多くの変更及び代替構成が考案され得る。

Claims (20)

1. 時間多重化された高ダイナミックレンジ画像を生成する方法であって、
   イメージセンサからキャプチャされたベース露出レベルを持つ第１の画像を取得することと、
   前記第１の画像を蓄積メモリに格納することと、
   前記ベース露出レベルと比較して変更された露出レベルを持つ第２の画像を取得することと、
   前記第２の画像内の入力ピクセルの飽和レベルが飽和閾値を超えているかを判定することと、
   前記入力ピクセルの前記飽和レベルが前記飽和閾値を超えていると判定された場合に、格納された前記第１の画像のピクセルを変更しないことと、
   前記入力ピクセルの前記飽和レベルが前記飽和閾値を超えていないと判定された場合に、前記第２の画像の前記入力ピクセルを、格納された前記第１の画像のピクセルと結合して、前記蓄積メモリに格納される高ダイナミックレンジ画像を形成することと、
   を有する方法。
2. 入力ピクセルの近傍のピクセルの局所最大強度値を見つけることによって、ピクセルの飽和を推定すること、を更に有する請求項１に記載の方法。
3. 前記入力ピクセルの近傍の前記ピクセルに加えて前記入力ピクセルを使用することによって、ピクセルの飽和を推定すること、を更に有する請求項２に記載の方法。
4. 前記第１の画像内の局所ピクセル群の第１の局所エッジ推定を決定することと、
   前記第２の画像内の第２の局所ピクセル群の第２の局所エッジ推定を決定することと、
   前記第１の局所エッジ推定を前記第２の局所エッジ推定と比較して、前記局所ピクセル群と前記第２の局所ピクセル群との間に動きがあったかを判定することと、
   動きが動き閾値よりも小さいときに、前記第２の画像のピクセルを前記第１の画像のピクセルと結合することと、
   を更に有する請求項１に記載の方法。
5. 前記第２の画像の入力ピクセルを、格納された前記第１の画像のピクセルと結合することは更に、前記第２の画像からの入力ピクセルを、格納された前記第１の画像のピクセルと共に平均することを有する、請求項１に記載の方法。
6. 出力フレームレートに関連付けられた各出力フレームについてＮ個の画像を取得することと、
   前記Ｎ個の画像のピクセルを選択的に結合して前記高ダイナミックレンジ画像を形成することと、
   を更に有する請求項１に記載の方法。
7. 前記Ｎ個の画像を次第に高まる露出レベルで取得すること、を更に有する請求項６に記載の方法。
8. 読み出し集積回路（ＲＯＩＣ）又は相補型金属酸化膜半導体（ＣＭＯＳ）センサである前記イメージセンサから前記第１の画像を取得すること、を更に有する請求項１に記載の方法。
9. 前記第１の画像及び前記第２の画像をベイヤー画像フォーマット、輝度フォーマット又はローイメージセンサフォーマットで格納すること、を更に有する請求項１に記載の方法。
10. 前記第１の画像を前記第２の画像と結合するステップは更に、非線形結合を用いて、前記第２の画像の入力ピクセルを、格納された前記第１の画像のピクセルと結合することを有する、請求項１に記載の方法。
11. 前記イメージセンサからの出力フレームに対して出力フレームレートが設定され、前記イメージセンサは、前記出力フレームレートのＮ倍で動作されて、前記出力フレームレートのＮ倍の数の画像をキャプチャする、請求項１に記載の方法。
12. 前記高ダイナミックレンジ画像を、表示のためにフレームバッファメモリ及び表示装置に送ること、を更に有する請求項１に記載の方法。
13. 命令を具現化した非一時的な機械読み取り可能記憶媒体であって、前記命令は、実行されるときに、プロセッサに、時間多重化された高ダイナミックレンジ画像を生成させ、該生成は、
    カメラからキャプチャされたベース露出レベルを持つ第１の画像を取得することと、
    前記第１の画像を蓄積メモリに格納することと、
    前記ベース露出レベルと比較して増加された露出レベルを持つ第２の画像を取得することと、
    前記第２の画像内の入力ピクセルの飽和レベルが飽和閾値を超えているかを検査することと、
    前記第１の画像内の定められた位置の局所ピクセル群の第１の局所エッジ推定を決定することと、
    前記第２の画像内の前記定められた位置の第２の局所ピクセル群の第２の局所エッジ推定を決定することと、
    前記第１の局所エッジ推定を前記第２の局所エッジ推定と比較して、前記第１の画像をキャプチャすることと前記第２の画像をキャプチャすることとの間の、前記局所ピクセル群及び前記第２の局所ピクセル群における、動き閾値を上回る動きを特定することと、
    動きが前記動き閾値を下回るとき、前記飽和閾値が超えられている場合に、前記蓄積メモリに格納された前記第１の画像のピクセルを変更せず、前記飽和閾値が超えられていない場合に、前記第２の画像の前記入力ピクセルを、前記蓄積メモリに格納された前記第１の画像のピクセルと結合することと、
    を有する、非一時的な機械読み取り可能記憶媒体。
14. 前記第２の画像の前記入力ピクセルを、格納された前記第１の画像のピクセルと結合するステップは更に、前記第２の画像からのピクセルを前記第１の画像と共に平均することを有する、請求項１３に記載の非一時的な機械読み取り可能記憶媒体。
15. 前記第２の画像の前記入力ピクセルを、格納された前記第１の画像のピクセルと結合するステップは更に、非線形計算を用いて、前記第２の画像からの入力ピクセルを、格納された前記第１の画像のピクセルと結合することを有する、請求項１３に記載の非一時的な機械読み取り可能記憶媒体。
16. 前記カメラからの出力フレームについて出力フレームレートが存在し、前記カメラは、高ダイナミックレンジ画像を形成するように結合される出力画像のデータセットを形成するよう、前記出力フレームレートのＮ倍で動作されて、前記出力フレームレートのＮ倍の数の画像をキャプチャする、請求項１３に記載の非一時的な機械読み取り可能記憶媒体。
17. 出力フレームレートにてキャプチャされる出力フレームについてＮ個の画像を取得することを更に有する、請求項１３に記載の非一時的な機械読み取り可能記憶媒体。
18. 処理されている入力ピクセルの近傍及び該ピクセルを含むピクセルについて強度の局所最大値を決定することによって、前記第１の画像内又は前記第２の画像内のピクセルの飽和を推定することを更に有する、請求項１３に記載の非一時的な機械読み取り可能記憶媒体。
19. 時間多重化された高ダイナミックレンジ画像を生成するシステムであって、
    ベース露出レベルを持つ第１の画像をキャプチャするカメラと、
    前記カメラと通信する蓄積メモリであり、前記第１の画像を当該蓄積メモリに格納する蓄積メモリと、
    プロセッサであり、
    前記カメラから第２の画像を取得し、該第２の画像は、前記ベース露出レベルと比較して増加された露出レベルを持ち、
    飽和閾値と比較して、前記第２の画像内の入力ピクセルの飽和を検査し、
    前記第１の画像内の局所ピクセル群の第１の局所エッジ推定を決定し、
    前記第２の画像内の第２の局所ピクセル群の第２の局所エッジ推定を決定し、
    前記第１の局所エッジ推定を前記第２の局所エッジ推定と比較して、前記第１の画像の前記局所ピクセル群と前記第２の画像の前記第２の局所ピクセル群との間で動きが生じたかを判定し、
    前記局所ピクセル群と前記第２の局所ピクセル群との間で動きが生じていないとき、前記入力ピクセルが飽和している場合に、前記蓄積メモリに格納された前記第１の画像のピクセルを変更せず、前記入力ピクセルが飽和していない場合に、前記第２の画像の前記入力ピクセルを前記第１の画像のそれぞれのピクセルと結合して高ダイナミックレンジ画像を形成する、
    ように構成されたプロセッサと、
    を有するシステム。
20. 前記蓄積メモリから前記高ダイナミックレンジ画像を受け取るように構成されたフレームバッファと、
    前記フレームバッファと通信して、表示のために前記高ダイナミックレンジ画像を出力する表示装置と、
    を更に有する請求項１９に記載のシステム。

Images