JP4593449B2

JP4593449B2 - 検知装置及びエネルギー場の検知方法

Info

Publication number: JP4593449B2
Application number: JP2005338244A
Authority: JP
Inventors: ジャック・タンブリン; アミット・アグラワル; ラメッシュ・ラスカー
Original assignee: Mitsubishi Electric Research Laboratories Inc
Current assignee: Mitsubishi Electric Research Laboratories Inc
Priority date: 2004-12-01
Filing date: 2005-11-24
Publication date: 2010-12-08
Anticipated expiration: 2025-11-24
Also published as: CN1829291A; EP1667435A3; EP1667435A2; JP2006157908A; CN1829291B; US7038185B1

Description

この発明は、包括的にはエネルギー場の検知に関し、特にカメラによる画像の生成に関するものである。

カメラ
デジタル画像の生成には２つの技法がよく知られている。第１の技法では、アナログフィルムをエネルギー場（例えば可視光）に暴露する。フィルムを現像し、スキャナを用いてデジタル化する。結果として得られる画像は、エネルギー場の強度分布を反映する画素値を含む。この画像はまた、周波数分布、すなわちエネルギー場の「色」を示すことができる。

第２の技法では、デジタルセンサアレイをエネルギー場の像平面に配置する。センサは、エネルギー強度を直接測定する。センサはまた、フィルタを用いることによって周波数選択性にすることができる。利点として、第２の技法は、即座に結果を生成し、フィルムを消費しない。これらの理由及び他の理由から、デジタルカメラは急速にアナログカメラに取って代わりつつある。

従来のアナログカメラでは、感光材料はフィルムである。従来のデジタルカメラでは、感光材料は電荷結合素子（ＣＣＤ）である。フィルム又はＣＣＤに到達する光量は、露出として知られる。露出は、口径とシャッター速度の関数である。場合によっては、特定の露出時間に対して許容可能な露出を得るために、焦点深度を犠牲にする必要があり得る。

出力デジタル画像において、エネルギー場は、画素値の格子として表現される。各画素値は、大部分において、検知されたエネルギー量に対応する。しかし、画素値は、相関のないノイズ（例えば、熱、量子化誤差、離散的な電磁束、並びにセンサ、回路及びプロセスの欠陥によるノイズ）の結果も含み得る。

いずれの技法も、同一の選択及び同一のタスク（例えば、シーン、視野、及びカメラ位置の選択）をユーザに課す。単なる「ポイントアンドシュート」機能に限定されないより複雑なカメラの場合、ユーザは、露出時間、レンズ口径、及び他の設定も選択しなければならない。設定は、シーンの外観を最も良く取り込む妥協である。多くの照明が不十分なシーンでは、カメラの制限のために、露出過多、露出不足、ノイズ、及びモーションブラーを避けるのは難しい。

従来のアナログカメラ及びデジタルカメラはいずれも、露出、レンズ及びセンサに制限がある。これらの制限は、ズームに依存した色収差、条件等色、混合照明から生じるカラーバランス誤差、ズームとフォーカスの連動調整、過度に明るい物体のグレアすなわち「ブルーミング」、及びレンズフレアコースティックスを生じる。

従来の強度検知式カメラに対する代替的な技法も先行技術に記載されている。いくつかの「スマートセンシング」チップは、より良い性能を得るため、又は検知構成要素及び処理構成要素をより小型にするために、光検出素子と処理回路を一体化する。

Mead著「Analog VLSI implementation of neural systems」（Chapter Adaptive Retina, pages 239-246, Kluwer Academic Publishers, 1989）に記載されているシリコン網膜及び適応網膜は、生体の網膜（vertebrate retina）のチップ型モデルを用いる。

Funatsu等著「An artificial retina chip with a 256x256 array of N-MOS variable sensitivity photodetector cells」（Proc. SPIE. Machine Vision App., Arch., and Sys. Int., vol. 2597, pages 283-291, 1995）は、光検出器からの出力を直接変調することによる入力画像の変調を記載している。しかし、これらのシステムはほとんどが、特徴部の検出等の特定用途向けに設計された特殊なハードウェアを有する。結果として、それらのシステムは、選択された特徴部を表示するだけであり、元の２Ｄ強度場から完全な出力画像を再構成することができない。

高速の相補形金属酸化膜半導体（ＣＭＯＳ）イメージングセンサの開発により、出力画像を生成する前に複数の入力画像を取得し処理することが可能になった。複数の入力画像を取得し単一の出力画像を生成するイメージング機構は、「複数取り込み単一画像（multiple capture single image）」（ＭＣＳＩ）と呼ばれる（Xiao等著「Image analysis using modulated light sources」（Proc. SPIE Image Sensors, vol. 4306, pages 22-30, 2001）を参照）。

Integrated Vision Products（Wallenbergs gata 4, SE-583 35, Linkoping, Sweden）製のＲａｎｇｅｒ（商標）カメラでは、連続する画素値を解析するプログラマブル回路を有する単一命令複数データ（ＳＩＭＤ）プロセッサアレイが利用可能である。Ｒａｎｇｅｒカメラでは、ユーザが、画素値に対して操作を行うマイクロコードをアップロードすることができる（Johansson等著「A multiresolution 100 GOPS 4 gpixels/s programmable CMOS image sensor for machine vision」（IEEE Workshop on CCD and Advanced Image Sensors, 2003）を参照）。

別の技法は、ＭＣＳＩ画像を取得し、周囲光の存在下であっても、ストロボ発光するＬＥＤからの高周波の光符号を復号化する（Matsushita等著「Id cam: A smart camera for scene capturing and id recognition」（ISMAR, pages 227-236, 2003）を参照）。

画像の生成
既知の画像生成方法の数は、ここで詳述するには多過ぎる。ほとんどの方法は、画素強度値に対して直接操作を行う。他の方法は、出力画像の強度値から画像勾配を抽出する。次に、勾配をさらに処理して、高ダイナミックレンジ（ＨＤＲ）トーンマッピング、影の除去、及び他の画像編集操作により画像を生成する。

別の技法は、人間の視覚系が、絶対的な光強度よりも局所的なコントラストにより敏感であるという観察に基づく。この技法は、トーンマッピング方式を用いて、従来のディスプレイに高ダイナミックレンジ画像をレンダリングする（Fattal等著「Gradient domain high dynamic range compression」（ACM SIGGRAPH, pages 249-256, 2002）を参照）。

別の技法は、エッジベースの圧縮を画像に適用する（J. Elder著「Are Edges Incomplete?」（International Journal of Computer Vision, 34(2/3):97-122, 1999）を参照）。ゼロをピークとするヒストグラムである勾配の解析により、超解像方式及び画像モザイク除去方式がベイヤーパターンから得られる（Tappen等著「Exploiting the sparse derivative prior for super-resolution and image demosaicing」（3rd Intl. Workshop on Stats. and Computl. Theories of Vision, 2003）を参照）。

ＨＤＲ画像を取得する技法はほとんどが、複数回の露出に、又は入射光の強度に応じた個々の画素の感度の調整に依存してきた（Mann等著「On Being undigital with digital cameras: Extending dynamic range by combining differently exposed pictures」（Proc. of IST 46th Annual Conf., pages 422-428, 1995）、Kang等著「High dynamic range video」（ACM Trans. Graphics, 22(3):319-325, July 2003）、及びDebevec等著「Recovering high dynamic range radiance maps from photographs」（ACM SIGGRAPH, pages 369-378, 1997）を参照）。

ＨＤＲ画像の取得には対数応答式（log-responding）カメラが用いられている。しかし、これらの出力画像は、強度が高くなると線分解能が低下する。

１つのＨＤＲ技法は、画素強度値の適応的減衰を行い、画素の露出を空間的に変化させる（Nayar等著「Adaptive dynamic range imaging: Optical control of pixel exposures over space and time」（Proc. Int'l Conf. Computer Vision, 2003）を参照）。

別のイメージングシステムは、マイクロミラーのプログラマブルアレイを用いる。このアレイにより、シーン光線の変調が可能になる（Nayar等著「Programmable imaging using a digital micromirror array」（Proc. Conf. Computer Vision and Pattern Recognition, 2004）を参照）。

測定方法
従来のアナログカメラ及びデジタルカメラのほとんどは、静的な光強度を測定する。すなわち、カメラは、次式に従って強度を経時的に平均化する。

ここで、Ｉ_ｄは、「ディスプレイ」画素（ｍ，ｎ）における０．０＝Ｉ_ｄ＝１．０の範囲の正規化された出力強度値であり、Ｉ_ｓは、対応する光センサ（ｍ，ｎ）で取得される検知エネルギーであり、ｋは、露出（例えば、利得、光感度又はフィルム速度）であり、γは、コントラスト感度である。通常、ＣＣＤのコントラスト感度γは約１である。感度γが１未満である場合、コントラストを下げ、そうでなく、感度が１よりも大きい場合、コントラストを上げる。

式（１）は、差がコントラスト比に直接対応する対数で表すことができる。

式２は、コントラスト感度γがコントラストのスケールファクタであり、対数単位の露出ｋはオフセットであることを示す。

従来のほとんどのカメラでは、コントラスト感度γは取得画像全体にわたって均一である。これにより、各画素値が確実に所定の強度値範囲内となる。ｋ及びγにおける画素毎の強度の変化は、出力画像の外観に強く影響する。

しかし、上述のように、ディスプレイ強度Ｉ_ｄは、離散的な光子の到来、センサ素子内の熱ノイズ、不均一なセンサ材料及び回路構成要素（例えば固定パターンノイズ）、及び外部干渉（例えばＥＭＩ／ＲＦＩ）によるノイズ、「光漏れ」、並びに処理の欠陥により生じるノイズも含む。ノイズは、正確なディスプレイ値Ｉ_ｄを「隠す」ため、１２〜１４ビットを超えるＡ／Ｄ変換精度でも、人工的に冷却されないセンサの信号の評価はほとんど高まらない。多くの従来のデジタルカメラは、生の画素センサ強度を１０ビット又は１２ビットの値として測定する。

従来のデジタルカメラのほとんどはまた「準線形」であり、表示値Ｉ_ｄの値は、シーン強度値Ｉ_ｓに正比例することが意図されるが、従来のコンピュータディスプレイのコントラスト強調（例えばγ＝２．２）を補償するためにいくらかのコントラスト圧縮（例えばγ＝０．４５５）を含むため、結果として得られる見かけのコントラスト感度は約１である。

露出ｋをシーン強度Ｉ_ｓにより指定すると、ディスプレイ強度値Ｉ_ｄ＝１．０は「白」を表示する。すると、ディスプレイ装置のコントラスト制限は、ディスプレイ装置の暗領域における細部の欠如として見える。

Ａ／Ｄ分解能及びコントラスト感度γもまた、従来の準線形デジタルカメラのコントラスト範囲に上限を設ける。ディスプレイ強度値Ｉ_ｄの２^ｂ個の均一な量子化レベル、固定されたｋ及び固定されたγを用いると、カメラが取得することのできるシーン強度の最も大きな比は次のようになる。
Ｃ_ｍａｘ＝Ｉ_ｓｍａｘ／Ｉ_ｓｍｉｎ＝２^−ｂ／γ、又は
（ｌｏｇ（１）−ｌｏｇ（２^ｂ）＝γ（ｌｏｇ（Ｉ_ｓｍａｘ）−ｌｏｇ（Ｉ_ｓｍｉｎ））

従来のデジタルカメラの中には、０．０及び１．０という極端な強度に近いＩ_ｄ値についてコントラスト感度γが滑らかにゼロに近づく写真フィルムの「ニー（knee）」及び「ショルダー（shoulder）」応答を模倣できるものもある。カメラコントラスト応答のあまり急激でない終端は、さもなければ黒い影及び白いハイライトとなる部分においていくらかの細部を保存することができる。しかし、フィルムと同様、これらの努力は依然として、ＨＤＲシーンの詳細な画像の生成には不十分である。

多くの興味深いシーンが、ほとんどのＡ／Ｄ変換器にとって高過ぎるコントラストを含む。これらのＨＤＲシーンでは、従来の露出制御方法は失敗する場合が多く、ユーザは不運にも、まぶしい白又は特徴のない黒によりどちらの可視のシーン特徴部を失うかを選択しなければならない。

対数応答式デジタルカメラの量子化レベルは、フェヒナーの法則に従う。フェヒナーは、約１パーセント又は２パーセントの強度変化が人間の視覚系にとって「ちょうど知覚可能な差」であることを発見した。しかし、従来のカメラと同様、対数応答式カメラについて選択される量子化レベルは、シーン強度Ｉ_ｓのダイナミックレンジ全体に及ばなければならず、この範囲内にないシーン強度はすべて失われ、取り返しがつかない。

したがって、高ダイナミックレンジの細部を再現することができ、従来技術の多くの問題を克服する画像を生成するためのカメラを提供することが望ましい。

本発明は、エネルギー場（例えばシーン中の可視光）を検知するための方法及び装置を提供する。本装置は、一組のエネルギー検知素子を備える。各検知素子は、エネルギー場の局所勾配の大きさ及び符号を直接検知する。出力画像は、従来技術のカメラにおけるような信号強度からではなく局所勾配から生成される。

特に、本発明による勾配カメラ及び方法は、従来のカメラにおけるような静的強度ではなく静的勾配を測定する。検知素子毎に符号付き勾配を量子化する。露出時間及び平均化時間を検知素子毎に局所的に求める。勾配を用いてポアソン式を解くことにより、出力画像の強度値を生成することができる。

本発明は、エネルギー場の局所勾配を１回の露出で直接測定する。したがって、コモンモードノイズを低減する。本発明は、従来のカメラのような画素強度飽和の影響を受けない詳細な高コントラストＨＤＲ出力画像を生成することができる。

本発明は、量子化ノイズを低減し、個々の検知素子における飽和の補正を可能にする。露出の計測は不要であり、レンズ口径を用いて焦点深度を厳密に制御することができる。

本発明は、エネルギー場を、その局所的に検知された勾配の再構成により測定する勾配カメラを提供する。このカメラは、従来のカメラに対していくつかの大きな利点を有する。高コントラストのシーンの取得に露出の計測は不要である。量子化効果は低減され、ノイズは低周波の誤差として分散される。勾配に基づく画像再構成の視覚特性は、知覚的に満足のいくものとなる。

本発明は、より少ない量子化レベルを使用することができる。わずか４ビットの量子化勾配が、８ビットの画素強度と同様の外観を生成する。これは、量子化強度が画像を区分的に一定なものとして近似するのに対し、量子化勾配は画像を区分的に線形なものとして近似するためである。

本発明によるカメラはノイズ耐性である。信号に依存する勾配ノイズは、勾配の大きさに比例し、従来のカメラにおけるような画像強度に比例するノイズよりも遥かに目立たない。

本発明は、飽和した勾配センサ、及び誤動作している個別のセンサを、これらの検出器の明示的な所定のマップを用いずに自動的に補正することができる。さらに、固有の差動シグナリングによりコモンモードノイズの排除を改善する。ハンドヘルドカメラについては、ぶれ（motion-smear）も抑制することができる。

さらに、勾配に基づく画像操作技法は、カメラ内（in-camera）効果を提供することができる。個別の勾配センサが、ブラーとノイズを最小化するために利得及び露出時間を選択することができる。フィルム粒子に似たデジタル強度カメラのノイズと異なり、検知される勾配ノイズは、画像の再構成後に、エッジをぼかさない「曇った（cloudy）」外観を持つ低周波の分散誤差のように見え、画像自体のよりコントラストの高い高周波成分によってマスクされる。

システムの概要
図１は、本発明によるシステム１００を示す。このシステムは、エネルギー場１０１を検知し、検知したエネルギー場（例えば可視光のような電磁放射線）を表すデジタル出力画像１０２を生成する。

本発明のシステムは、一組１１０の検知素子２００を含む。この一組の検知素子は、エネルギー場１０１に空間的に配置される。例えば、素子２００は、図示のように、像平面にＮ×Ｍの素子アレイとして配置することができる。代替的に、検知素子は、環状リング又は円筒として配置し、医療用途及び高エネルギー物理学用途で使用されるようなエネルギー場の３次元走査を可能にすることができる。３Ｄアレイのような他の配置も可能である。好ましい実施形態において、センサ素子２００はまた、点で示すように、Ｎ×Ｍのアレイの周縁に一組の境界素子２０１も含む。

勾配検知素子
本発明の検知素子２００はそれぞれ、エネルギー場の、その素子のみに入射する部分の局所勾配Ｇ２０９の大きさ及び符号を測定する。勾配２０９は、メモリ１２１に記憶し、さらに、本明細書中で説明するように処理１２０して、出力画像１０２を生成することができる。本システムは、レンズ、シャッター及びフィルタも含むことができることを理解すべきである。

図２に示すように、各検知素子２００は、少なくとも２つのエネルギー強度センサ２１０を含む。図３は、センサ素子の代替的な配置３０１〜３０３を示す。これらの配置は、様々な方向の勾配の大きさ及び符号（例えばＧ_ｘ及びＧ_ｙ）を測定することができる。好ましい実施形態では、後述のように、素子を異なる「クリーク（clique）」に動的に再構成することができる。

エネルギー場が可視光の形態である場合、センサ２１０は、電荷を蓄積して記憶する電荷結合素子（ＣＣＤ）、すなわち金属酸化膜半導体（ＭＯＳ）キャパシタとすることができる。他の形態の電磁放射線については、当該技術分野において既知であるような適切なセンサを選択することができる。

強度センサ２１０の各出力２１１を乗算器２２０に接続し、乗算器の出力を増幅器２３０に接続し、増幅器２３０をＡ／Ｄ変換器２４０に接続して、Ａ／Ｄ変換器２４０への入力２３１を場の強度の対数（ｌｏｇ）にする。デジタル出力２４１を接続して、ｌｏｇ入力信号２４１間の差を測定する加算器２５０がエネルギー場の局所勾配２０９の大きさ及び符号の測度を生成するようにする。乗算器２２０は、本明細書中で説明するように、ゲインコントローラ２６０に個別に接続する。利得は、素子毎に個別に、動的に調整することもできる。

上記の回路は、勾配の大きさを差動的に測定及び転送して、コモンモードノイズを低減することに留意することが重要である。

対数勾配測定
理想的には、アレイ１１０は、場１０１の勾配の大きさ２０９を測定するノイズレスな微小面積素子の２Ｄ格子である。素子の空間サンプリングレートはまた、次式で表される測定すべきレンズの点像分布関数（ＰＳＦ）の最も高い周波数成分を超えるべきである。

ここで、∇Ｉは勾配の大きさを示す。

実際には、ｇ_ｘ（ｍ，ｎ）、ｇ_ｙ（ｍ，ｎ）は、隣接する強度センサ２１０の対からの差信号である。好ましい実施形態では、ｌｏｇ（Ｉ_ｄ）の差を測定し、測定値から露出値ｋを排除する。
ｌｇ_ｘ（ｍ，ｎ）＝ｌｏｇ（Ｉ_ｄ（ｍ＋１，ｎ））−ｌｏｇ（Ｉ_ｄ（ｍ，ｎ））、
＝γ（ｌｏｇ（Ｉ_ｓ（ｍ＋１，ｎ））−ｌｏｇ（Ｉ_ｓ（ｍ，ｎ）））、
且つ
ｌｇ_ｙ（ｍ，ｎ）＝γ（ｌｏｇ（Ｉ_ｓ（ｍ，ｎ＋１）−ｌｏｇ（Ｉ_ｓ（ｍ，ｎ）））

各符号付きｌｏｇ勾配２０９（ｌｇ_ｘ又はｌｇ_ｙ）は、２つの局所的に調整される強度センサ２１０から求める。両方の強度センサ２１０が同一の露出ｋ及びコントラスト感度γの値を用いる限り、露出ｋの値は出力画像１０２に何ら影響を与えない。これにより、各勾配検知素子２００は、強度飽和を最大限に防止するために、共通の露出ｋを必要に応じて局所的に調整することができる。さらに、より正確な結果を得るために、ｌｇ_ｘ及びｌｇ_ｙそれぞれの設定γにより、Ａ／Ｄ変換器２４０への信号２３１の大きさを調整することができる。

本発明は、ノイズの多い飽和した量子化勾配から高コントラストのシーンを常に良好な精度で再現する。直接見ることのできる遮蔽された光源のあるシーンでさえ、１００：１未満の最大コントラスト比を有する勾配センサにより再現することができる。本明細書中で説明するようなカメラは、後述のように、それぞれが利用可能な光に対して調整され、検知した４つの値を対数の形で中継するインタリーブされた４画素強度カメラのアレイとして考えることが可能である。

測定クリーク
Ｎ×Ｍの適応検知素子２００の格子について全ての勾配ｌｇ_ｘ、ｌｇ_ｙを同時に測定する代わりに、本発明では複数の測定ステップを用いる。これは、各測定により、一対の強度センサ２１０が同一のｋ及びγの値を共有するように制約されるためである。全ての値ｌｇ_ｘ、ｌｇ_ｙを同時に測定した場合、信号強度を測定する従来のデジタルカメラで行われるように、画像全体に同一のｋ及びγの値を適用しなければならない。本発明では、この制限を回避したい。

代わりに、図４に示すように、本発明では、センサを小さな独立した「クリーク」４０１のグループに動的に区分化する。センサは、どのセンサも２つ以上のクリークのメンバとなることができるように動作中に再構成することができる。

当該技術分野において既知のようなグラフ理論では、クリークは完全に接続された一組のノードである。すなわち、各ノードは、別のノードへのエッジすなわち「リンク」を有する。４クリークでは、各ノードが３つの他ノードに接続し、合計で６つのエッジがある。本発明による勾配場では、グラフ表現中のエッジは検知された勾配である。

本発明によるシステムでは、隣り合ったセンサ２１０の対間の差４０２を測定して、クリークの４つの勾配を得る。対角線についても勾配を測定して、６つの勾配を得ることができる。その場合、誤差がさらに低減される。

各クリークは、場の勾配２０９の大きさを個別に測定する。各クリーク４０１のｋ及びγの値を個別に調整して、各クリークのｌｏｇ（Ｉ_ｓ）値２３１及び次の勾配を求める。

特定のクリークのｋ及びγの値を動的に選択して、強度飽和を防止する。いくつかの異なるクリーク設計が可能である。最も単純なものは、２つのセンサクリークを用い、各クリークが、１回のｌｇ_ｘ又はｌｇ_ｙの測定に用いるセンサ対を含む。この設計では、各センサ４０３は、図４に示すように、独自のｋ及びγの値をそれぞれ有する、Ａ、Ｂ、Ｃ、及びＤとして記す４つの異なるクリークのメンバである。

経時的に、各センサは２つ以上のクリークに属する。クリークは、勾配を順次測定する。本発明では、２つ又はそれ以上の相互に独立したクリーク組、すなわち、センサを共有しないクリークを定義し、各組をインタリーブ方式で測定する。クリーク組を順次測定することにより、現在のクリークの共有のｋの値を最良の値に調整することができる。４つの隣接するセンサから成るクリークを、図４に示すように、適切な切り換え回路を用いてチェック盤パターンに配置することができる。

この「ボックス」クリークのチェッカー盤方式は、全ての（ｌｇ_ｘ、ｌｇ_ｙ）の値をたった２つのクリーク組Ａ及びＣにおいて一度測定する。各クリークは、２つの局所的なｋ値の間で選択を行う。したがって、Ｍ×Ｎのアレイが用いる別個のｋ値はＭＮ／２個のみである。

各クリークメンバ又はセンサ２１０をグラフ中のノードとみなし、メンバ間の差をノード間の「リンク」強度とみなした場合、クリークメンバ間の全ての差の完全な組は、クリークである接続されたグラフを形式的に定義する。Ａ／Ｄ変換２４０後にこれらの差を測定することにより、後述するように、クリーク内で測定されるｌｇ_ｘ、ｌｇ_ｙ及び任意の対角線リンクが持つ「回転（curl）」を確実にゼロにする。

ノイズの排除
クリークを用いて局所勾配の大きさ及び符号を測定することにより、コモンモードノイズの排除を高める。各要素２００はｌｇ_ｘ、ｌｇ_ｙを直接測定せず、その代わりに、先ずｌｏｇ（Ｉ_ｓ）をセンサ毎に測定し、次に対数測定値をデジタルで差し引く２５０ことに留意することが重要である。

多くの従来技術のイメージセンサは、強度信号をアナログの電圧、電流又は電荷として、センサに組み込まれていないＡ／Ｄ変換器へ転送する。このタイプの転送は、近接するデジタル回路及び外部ＥＭＩ／ＲＦＩからのノイズ、クロストークの影響を受け易い。

本発明が用いるような差動シグナリングは、信号とその負数（＋Ｓ，−Ｓ）を２つの隣接経路２０３〜２０４（図２を参照）に沿って送ることによって、ノイズに対する免疫性を高める。両方の経路に結合する望ましくない「コモンモード」ノイズＮが減算２５０により除去される。
（Ｎ＋Ｓ）−（Ｎ−Ｓ）＝２Ｓ

４つのクリークメンバからのｌｏｇ（Ｉ_ｓ）信号を隣接経路に沿って送ることにより、そのクリークの４つのＩｇ_ｘ、Ｉｇ_ｙの値を求めるために用いられる減算により不要な信号が相殺されるため、さらなる信号経路を用いることなくコモンモードノイズの排除を行うことができる。コモンモードノイズの排除に加えて、Ａ／Ｄ変換器２４０へのクリーク入力２３１は、「オートレンジ（auto-ranging）」Ａ／Ｄ変換を可能にして、ｌｇ_ｘ、ｌｇ_ｙ測定値の量子化誤差をさらに低減する。

また、本発明は、広範囲の入力信号強度に合わせて測定値範囲を動的に変更することによって付加的な精度を提供する。これにより、差がゼロに近く、ノイズに支配されている場合であっても、各クリーク内の信号を細かく量子化することができる。この付加的な精度により、同一の局所的な場の勾配の繰り返し測定値をデジタル平均化することによるノイズ抑制が改善される。

画像の生成方法
図５は、本発明による方法５００を示す。エネルギー場１０１（例えば「シーン」）を測定５１０して、勾配２０９の大きさ及び符号を取得する。この勾配は、勾配場５１１としてメモリ１２１に記憶することができる。グラフとして表現した勾配場５１１を「回転」について補正５２０する。グラフが独立している場合、これを接続５３０して補正場５３１を生成する。補正場５３１を用いてポアソンの式を解き５４０、出力画像１０２を生成する。

具体的には、本発明では、検知された勾配Ｉｇ_ｘ及びＩｇ_ｙと略同じ画像勾配Ｉ_ｘ及びＩ_ｙを有する２Ｄ対数強度Ｉ（＝ｌｏｇ（Ｉ_ｄ））を最小二乗法で復元する。

２Ｄ対数強度の復元は、以下の関数を最小化することによって達成することができる。

Ｊを最小化するためのオイラー−ラグランジュ方程式は次の通りである。

これにより、以下のよく知られたポアソンの式が得られる。

ここで、

は同様によく知られたラプラシアン演算子である。この場合、表示強度Ｉ_ｄをＩから得ることができる。

ポアソンの式を解く５４０ために、マルチグリッドソルバ、連続過緩和、及び正弦変換に基づく直接解析解のような、いくつかの異なる技法が知られている（W.H. Press、S.A. Teukolsky、W.T. Vetterling、及びB.P. Flannery著「Numerical Recipes in C: The Art of Scientific Computing」（Cambridge University Press, 2nd edition, 1992）、Simchony、R. Chellappa、及びM. Shao著「Direct analytical methods for solving Poisson equations in computer vision problems」（IEEE Trans. Pattern Anal. Machine Intell., 12(5), pp. 435-446, May 1990）、並びにJian Sun、Jiaya Jia、Chi-Keung Tang、及びHeung-Yeung Shum著「Poisson matting」（ACM Trans. Graph., 23(3), pp. 315-321, 2004）を参照）。

境界条件
画像の生成のために、本発明では、当該技術分野で既知であるようなディリクレ境界条件を用いたい。しかし、これには、本発明で回避しようとしている、アレイ１１０の周縁において絶対強度値を測定することが必要となる。

そこで、本発明では、アレイ１１０の周縁に境界素子２０１の１Ｄの環を提供する。これらの素子２０１は、周縁の勾配のみを測定する。残りの内部素子はすべて、境界素子により取得された勾配に対して勾配を測定する。したがって、先ず、境界素子から画像強度を復元し、次に、境界素子の組から取得された強度に対して残りの素子から画像強度を復元する。

画像の生成は２ステップで行われる。先ず、境界検知素子２０１を用いて、画像の周縁において強度値を未知のオフセットまで求め（これは１Ｄ問題である）、次に、周縁の強度値を用いて、ポアソンの式を解くことにより内部画素の強度値を得る（これは２Ｄ問題である）。

１自由度を有する再構成画像中の未知のオフセットは大域的な露出設定になる。上記の解により、検知誤差が補正されれば、エネルギー場１０１の良好な再構成が得られる。

センサ誤差の補正
回転の補正
微分フィルタを自然画像に適用すると、フィルタの出力は疎になる。したがって、画像の大部分の勾配値は低い。本発明による適応的な測定値は、飽和する勾配が確実に少数のみであるようにする。勾配は、基礎にある２Ｄ関数を表すため、保存場を形成する。

非保存性の勾配場は非ゼロの回転を有する。したがって、飽和した勾配は非ゼロの回転を有する。さらに、製造欠陥により機能していないセンサもまた非ゼロの回転に寄与する可能性がある。したがって、本発明は、非ゼロの回転を補正５２０して、補正保存場５３１を生成する。

勾配場の位置（ｍ，ｎ）における回転は次のように定義される。
Ｃ（ｍ，ｎ）＝（ｌｇ_ｘ（ｍ，ｎ＋１）−ｌｇ_ｘ（ｍ，ｎ））−（ｌｇ_ｙ（ｍ＋１，ｎ）−ｌｇ_ｙ（ｍ，ｎ））（７）
これはｌｇ_ｘｙ−ｌｇ_ｙｘを離散的にしたものに等しい。特定の位置（ｍ，ｎ）について、ｌｇ_ｘ又はｌｇ_ｙのいずれか又は両方が飽和し得る。これにより、多くとも、（ｍ，ｎ）、（ｍ，ｎ−１）及び（ｍ−１，ｎ）の位置において非ゼロの回転が生じる。したがって、飽和した勾配の位置を用いて、非ゼロの回転を有する全ての勾配を求めることができる。

非ゼロの回転を有する画素の数をＫとする。このような画素毎に、式７を書き換えてＫ個の回転の式を得ることができる。全ての非ゼロの回転値を辞書順にスタックすることで得られるＫ×１ベクトルをｃとする。

辞書順とは、本明細書では以下のことを意味する。Ｃ（ｍ_１，ｎ_１）、Ｃ（ｍ_２，ｎ_２）、．．．、Ｃ（ｍ_Ｋ，ｎ_Ｋ）がＫ個の非ゼロの回転値を示すものとする。「ｍ」及び「ｎ」の値を昇順にソートすることによって、これらの値をＫ^＊１ベクトルとしてスタックする。列の１番目のエントリは、「ｍ」及び「ｎ」の最小値に対応するＣ値となる。スタック中で「上」にあるエントリの「下」にあるエントリはいずれも、より大きな「ｎ」の値を有するべきである。そうでない場合、そのエントリは、より大きな「ｍ」の値を有するべきである。例えば、Ｃ（１，１）、Ｃ（４，３）、Ｃ（６，５）、Ｃ（３，４）、Ｃ（３，６）、Ｃ（５，１）、及びＣ（５，５）は次のように並べられる。
Ｃ（１，１）
Ｃ（３，４）
Ｃ（３，６）
Ｃ（４，３）
Ｃ（５，１）
Ｃ（５，５）
Ｃ（６，５）

形式的に、ｘは、上記のＫ個すべての回転式に出現する全てのｌｇ_ｘ及びｌｇ_ｙの値を示すものとし、これは、次のように書き表すことができる。

ここで、ｘ_１は、既知の、すなわち飽和していない勾配測定値を示すＰ×１ベクトルであり、ｘ_２は、飽和した勾配測定値を示すＬ×１ベクトルである。したがって、以下の線形連立方程式を得る。

ここで、Ａは、Ｋ×（Ｐ＋Ｌ）の疎行列である。行列Ａの各行は、Ｋ個の式のうちの１つを表し、４つのみの非ゼロ値、すなわち、ｌｇ_ｘ（ｍ，ｎ＋１）及びｌｇ_ｙ（ｍ，ｎ）に対応する２つの＋１と、ｌｇ_ｘ（ｍ，ｎ）及びｌｇ_ｙ（ｍ＋１，ｎ）に対応する２つの−１とを有する。行列Ａを

のように書き表すことにより、次式が得られる。

したがって、ｘ_２＝（Ａ_２ ^ＴＡ_２）^−１Ａ_２ ^Ｔ（ｃ−Ａ_１ｘ_１）であり、よって、飽和した勾配測定値を復元することができる。上記の解は、ｒａｎｋ（Ａ_２）＝Ｌである場合にのみ有効である。ｒａｎｋ（Ａ_２）＜Ｌである状況を以下に説明する。

独立したグラフの補正
上述のように、本発明では、勾配ｌｇ_ｘ及びｌｇ_ｙをノード間の「リンク」として考え、飽和した勾配は「切れた」リンクを表す。検知格子が、グラフ理論により定義される接続されたグラフ又はクリークのままである場合、ｒａｎｋ（Ａ_２）はＬとなる。しかし、飽和した勾配すなわち「切れた」リンクにより、任意のノードが格子の残りの部分から切り離される場合、それらの関連する勾配について回転を補正することはできない。

この場合、主格子を切って独立したグラフにする。例えば、画像中に極端に明るい点がある場合、明るい点の境界上の全ての勾配を飽和させる。したがって、この明るい点を画像の残りの部分に接続する全てのリンクが切られ、明るい点に対応するノードが、主格子から切り離された独立したグラフを形成する。

本発明は、独立したグラフ中の誤差を制限する。好ましい実施形態において、このような独立した各グラフは、最大の勾配値を切り離したリンクのうちの１つに割り当てることによって、主格子に接続５３０し、回転補正を用いて残りの飽和した勾配を解く。

低コントラストの細部を有するＨＤＲ
量子化
本発明は、非常に広範囲のコントラストを有する画像を取得することができるが、勾配の測定値は、従来の強度カメラと比べた場合に可視の量子化誤差が遥かに少ない。従来の強度カメラは、区分的に一定の値を持つ関数として出力画像を近似し、Ａ／Ｄ変換器は、固定数の均一に離間した量子化レベルを生じる。

対照的に、本発明は、区分的に線形の値、例えば区分的に一定の勾配２０９を有する強度関数として出力画像１０２を近似し、必要な勾配の数はＡ／Ｄ変換器により設定する。

信号に依存したノイズ
回転及びコモンモードノイズは低減されるが、「勾配は常にノイズが多い」ことがよく知られているため、勾配の検知に基づくいかなるカメラにもノイズの問題は残る。各センサが、分散Ｖを有する付加的なゼロ平均のガウス分布ランダムノイズを有する場合、対数差測定値ｌｇ_ｘ、ｌｇ_ｙのノイズは分散２Ｖを有し、勾配カメラに必要な付加的な回路が新たなノイズ源を導入する。

しかし、勾配ノイズは出力画像では異なって見える。上述したように、本発明では、ポアソンの式を解き、センサのノイズの多い勾配ｇ_ｘ＋Ｎ_ｘ、ｇ_ｙ＋Ｎ_ｙを積算して画像Ｉ_ｏｕｔを再構成する。ここで、勾配は最小二乗法でｇ_ｘ、ｇ_ｙに最も良く一致する。積算は線形である。すなわち、Ｉ_ｏｕｔ＝Ｉ_{ｉｄｅａｌ}＋Ｉ_Ｎであり、画素（ｍ，ｎ）における勾配ノイズは小さな誤差に滑らかに寄与する。結果として得られるノイズのみの画像Ｉ_Ｎは、後述のように、特徴的に平滑な低周波の「曇った」外観を有する。

エッジマスキングとして知られる人間の視覚系の特性は、ステップ状の切れ目に近いノイズをあまり目立たなくする。これは、人間の視覚系が、高い勾配において高いノイズを持つことにあまり反発せず、よって、本発明の勾配カメラは信号に依存するノイズを適度に「隠す」ことを示唆する。

動きの排除
従来のデジタルカメラの中には、安定化機構を使用して、カメラ又はシーンの動きにより生じるブラーを低減するものもある。本発明による勾配検知式カメラは、強度の区分的に線形の変化を許容し、これにより、別の戦略を提供し、さらに、一定期間にわたる勾配を選択的に平均化することによってノイズを低減する。従来の強度カメラも同一の戦略を使用することができるが、ノイズは低減しない。

基本概念は、比較回路を使用して、電流勾配測定値を時間平均した測定値と比較することである。変動がノイズにより生じるよりも大きい場合、平均化を終了し、現在の値を最良推定値として用いる。ステップ状又はリッジ状の特徴部のような、画像強度及び勾配に切れ目を生じる鮮明な画像特徴部は、特徴部が像平面を「移動する」につれて、測定される勾配に大きな変化を生じる。これらの特徴部は、画像を鮮明に保つために排除する必要がある。

残念ながら、これと同じ戦略が、強度カメラでは遥かに早く終了してしまう。区分的に一定の勾配を有する画像領域、例えば滑らかな影付き領域を、本発明の勾配カメラでは動きの存在下で正確に測定することができるが、従来の強度カメラでは不可能である。本発明による勾配カメラの延長された測定・平均化時間により、測定値のノイズ量が低減する。

他のノイズ問題
上述のように、本発明の勾配カメラは、信号に依存するノイズに良好に作用する。ノイズは、低い勾配では低く、高い勾配では高い。しかし、ガウス分布ランダムノイズは、ポアソンの式５３１のために「曇った」外観を有する。１つの解決策は、従来の画像におけるエッジ保存平滑化で行なわれるのと同様に、高い勾配を双方向フィルタにより選択的に保存することによってノイズを低減することができる。しかし、双方向フィルタリングを勾配に直接適用しても、満足のいくものにならない。双方向フィルタは、勾配の差が大きい場合には平滑化を行わないが、高い勾配に近い勾配を平滑化し、よってエッジを滲ませてしまう。

本発明では、勾配の大きさに依存し、高い勾配の平滑化を制限するガウスフィルタを使用することを好む。したがって、本発明では、低い勾配のみを平滑化する。さらに、勾配場は２Ｄ場であるため、本発明では、楕円形の空間ガウスフィルタを使用することができる。本発明ではこれを、拡張型指向性双方向フィルタリングと呼ぶ。フィルタカーネルＧは次のように表すことができる。

ここで、Ｇ_ｓは、勾配の方向に沿って分散が低く、勾配に垂直な方向で分散が高い楕円形のガウスフィルタである。フィルタＧ_ｄｉｆｆは、現位置（画素）と隣接画素の勾配の大きさの差に依存するガウスフィルタである。これにより、鮮明なエッジに沿った平滑化を防止する。フィルタＧ_ｍａｇは、現画素の勾配の大きさに依存するガウスフィルタである。フィルタＧ_ｍａｇは、高い勾配を平滑化しないことを確実にする。空間フィルタの幅及び分散を選択することによって、結果を大幅に改善することができる。

別の手法は、意味のある強度表現を得ることによってノイズ問題を処理し、強度を用いてポアソンの再構成を制約する。鮮明さ及びエッジを保存するには高い勾配ほど重要であるため、先ず、高い勾配のみから部分画像を再構成し、この再構成を最小二乗解において制約として用いて、低い勾配からの強度値を再構成することができる。

焦点ぼけによる較正
正確な動作のために、「クリーク」内の強度センサの利得設定を合わせ、入射信号の強度が変化するにつれて動的に変化させなければならない。設定は、製造中又は動作中に合わせることができる。

検知素子２００のサイズが比較的小さいことにより、意図的に焦点をぼかすことで各クリーク中の各センサに対して事実上同一の信号強度を確実に提供するようにする。したがって、焦点ぼけを、クリークメンバ間の非ゼロのオフセットを除去するための信頼性の高い基準として用いることができる。同様に、絞りの開閉により、各クリークに入射する均一な強度を大幅に変化させることができ、各検知素子の感度設定又は利得を合わせるための信頼性の高い基準として用いることができる。クリーク内の利得をより正確に合わせるためにより高いダイナミックレンジが必要である場合、焦点をぼかした空、太陽、又は明るい電球のビューにより、必要な極端な照明を提供することができる。

カメラ内効果
いくつかの勾配に基づく画像操作技法をカメラ内効果として提供することができる。これらには、同一画像中の複数の焦点距離又は深い焦点を大きなレンズ口径と組み合わせることによる、ユーザにより規定される焦点深度が含まれる。移動する前景物体、例えば移動する車両及び歩行者は、平均化時間を延長し、勾配の外れ値を排除することによって、静的なシーンから自動的に除去することができる。大気中のもやも除去することができる。レンズフレアを抑制することができ、適切な勾配操作によりレンズグレアを部分的に除去することができる。

このような動作は、従来のカメラにより取得された画像に対して行うことができることに留意すべきである。しかし、その場合、後処理ステップにおいて、既に処理された出力画像の画素強度値から勾配場を、その全ての累積固有誤差とともに抽出する必要がある。次に、勾配をさらに処理し、出力画像から得られる処理済みの勾配から新たな出力画像を再構成する。

対照的に、本発明は、出力画像を生成する前に、生の入力データ、すなわち符号付き勾配に対して直接操作を行うことによって、カメラ内効果を生成する。

対数領域の勾配の測定
勾配信号は、高コントラストのシーンでも勾配の大きさの大部分は低いため、Ａ／Ｄ変換に良く適している。数少ない真に大きな勾配は通常、直接見ることのできる光源の遮蔽されたエッジにより生じる。対数領域において測定を行うことにより、これらの勾配でさえ、カメラレンズのインパルス応答、すなわち点像分布関数から測定可能な最大のｌｇ_ｘ、ｌｇ_ｙ以下に制限される。従来のカメラにより強度を直接測定する場合、同様の制限は存在しない。

量子化許容差
量子化方法は、勾配カメラの性能の向上に多くの機会を提供するようである。対数勾配のヒストグラムはゼロ付近をピークとするため、小さな勾配に大きな勾配よりも付加的なレベルを割り当てる量子化器は、全体的なＲＭＳ測定誤差がより低くなる。

同様に、人間の視覚系は概ねレシオメトリックである。人間の視覚の有効な強度範囲の大部分について、輝度の「ちょうどそれと分かる差」は、約１〜２パーセントのコントラストを表す。対数領域の勾配をデジタル化することによって、勾配の量子化レベルはコントラストに直接対応し、センサ利得や強度のオフセットに依存しない。

いくつかの他の形態の適応的量子化により、Ａ／Ｄ量子化レベルの使用をさらに改善して、シーンのコントラストを高めることができる。例えば、オートレンジＡ／Ｄは、各クリークの信号に合った量子化レベルを割り当てることができる。勾配ヒストグラムの量子化を用いることもできる。代替的に、ユーザは、シーンを最も良くイメージングする量子化レベルを選択することができる。

クリークの選択
図４に示すような４クリークの組Ａ、Ｂ、Ｃ、Ｄの簡単な拡張により、それらの組がｌｇ_ｘ、ｌｇ_ｙの各値について２回の個別の測定を完了する際に、ノイズをさらに低減することができ、対角の差の完全な組を測定することができる。

例えば、４つのクリーク（Ａ、Ｂ、Ｃ、Ｄ）すべてからの結果を結合することができる。その場合、フィルタカーネルが４連結ではなく８連結であるポアソンソルバを用いて、集束をより速め、再構成される出力画像中のノイズをさらに低減することができる。位置に依存したフィルタカーネルを使用することによって、インタリーブされた（Ａ、Ｃ）の配置を改善することもできる。

（ｍ，ｎ）の位置毎の８連結の差の測定値、例えばｌｏｇ（Ｉ（ｍ±１，ｎ±１））−ｌｏｇ（Ｉ（ｍ，ｎ））は、回転なしの測定値の数を倍にし、９ポイントのフィルタカーネル再構成とともに用いてノイズをさらに低減することができる。クリーク及びクリーク組の最良の配置は、幾何学的形状とセンサチップの能力とのバランスをとる。クリークを大きくすれば、ｋ調節回路が少なくなる可能性があるが、広く共有されるｋ値でクリークメンバのセンサが飽和する可能性が高まり、センサ効率が低下する。

クリークの形状規則及び幾何学的タイル張り規則により、全ての（ｌｇ_ｘ，ｌｇ_ｙ）値の測定に必要な異なるクリーク組の数が決まる。選択肢の数はクリークのサイズとともに急激に大きくなる。多くのクリーク組を必要とするクリーク設計は、画像の取得に必要な時間を増加させる可能性がある。

本発明を、静的なシーンの測定に関して記載してきたが、本発明による時空間勾配カメラは、動きのあるビデオを取得してもよいことが理解されるべきである。同様に、上記の説明は、輝度の解析に焦点を当てる。本発明のＨＤＲ技法は、色差を後処理中に処理することができる。色差は通常低コントラストである。したがって、色は、単一のセンサ組により検知することができる。矩形格子以外のパターンも検討することができる。例えば、軸合わせされた格子に重ねた対角線格子により集束を改善することができる。

本発明を、好適な実施形態の例として記載してきたが、本発明の精神及び範囲内で様々な他の適応及び変更を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るこのような変形及び変更をすべて網羅することである。

本発明による勾配センサのブロック図である。本発明による勾配検知素子の回路図である。検知素子の配置のブロック図である。センサのクリークのブロック図である。本発明による検知方法のフロー図である。

Claims

それぞれがエネルギー場に配置されて前記エネルギー場の局所勾配の大きさ及び符号を測定する一組の検知素子と、
前記エネルギー場を表す出力画像を前記勾配の大きさ及び符号から生成する手段と、
前記エネルギー場の強度の対数の差から勾配場を生成する手段と、
前記勾配場を用いてポアソンの式を解いて、前記出力画像中の画素の強度値を復元する、解く手段と、
前記勾配場における回転を補正する手段とを備え、
前記ポアソンの式は、

であり、

は、前記出力画像Ｉ中の位置（ｘ，ｙ）における画素強度のラプラシアン演算子であり、ｌｇは、前記エネルギー場の検知される強度の対数の差を示す、
検知装置。
前記一組の検知素子は、周縁に一組の境界素子を含み、
前記一組の境界素子から強度値を求める手段と、
前記一組の境界素子の強度に対して、前記検知素子の残りから強度値を求める手段とをさらに備える
請求項１記載の検知装置。
前記勾配場の位置（ｍ，ｎ）における回転は、

として定義される
請求項１記載の検知装置。
それぞれがエネルギー場に配置されて前記エネルギー場の局所勾配の大きさ及び符号を測定する一組の検知素子と、
前記エネルギー場を表す出力画像を前記勾配の大きさ及び符号から生成する手段と、
前記エネルギー場の強度の対数の差から勾配場を生成する手段と、
前記勾配場を用いてポアソンの式を解いて、前記出力画像中の画素の強度値を復元する、解く手段と、
前記勾配場をフィルタリングする手段とを備え、
前記フィルタリングは、指向性双方向フィルタを前記勾配場に適用し、
前記指向性双方向フィルタは、フィルタカーネルＧとして次のように表され、

ここで、フィルタＧ _ｓは、前記勾配の方向に沿って分散が低く、前記勾配に垂直な方向で分散が高い楕円形のガウスフィルタであり、フィルタＧ _ｄｉｆｆは、現位置及び隣接位置における前記勾配の大きさの差に依存するガウスフィルタであり、フィルタＧ _ｍａｇは、前記現位置における前記勾配の大きさに依存するガウスフィルタである、
検知装置。
一組の検知素子をエネルギー場に配置することと、
前記検知素子の各々により前記エネルギー場の局所勾配の大きさ及び符号を検知することと、
前記エネルギー場を表す出力画像を前記勾配の大きさ及び符号から生成することと、
前記大きさの対数から勾配場を生成することと、
前記勾配場を用いてポアソンの式を解いて、前記出力画像中の画素の強度値を復元する、解くこととを含み、
前記ポアソンの式は、

であり、

は、前記出力画像Ｉ中の位置（ｘ，ｙ）における強度のラプラシアン演算子であり、ｌｇは、前記対数を示す、
エネルギー場の検知方法。
一組の検知素子をエネルギー場に配置することと、
前記検知素子の各々により前記エネルギー場の局所勾配の大きさ及び符号を検知することと、
前記エネルギー場を表す出力画像を前記勾配の大きさ及び符号から生成することと、
前記大きさの対数から勾配場を生成することと、
前記勾配場を用いてポアソンの式を解いて、前記出力画像中の画素の強度値を復元する、解くことと、
前記勾配場をフィルタリングすることとを含み、
前記フィルタリングは、指向性双方向フィルタを前記勾配場に適用し、
前記指向性双方向フィルタは、フィルタカーネルＧとして次のように表され、

ここで、フィルタＧ _ｓは、前記勾配の方向に沿って分散が低く、前記勾配に垂直な方向で分散が高い楕円形のガウスフィルタであり、フィルタＧ _ｄｉｆｆは、現位置及び隣接位置における前記勾配の大きさの差に依存するガウスフィルタであり、フィルタＧ _ｍａｇは、前記現位置における前記勾配の大きさに依存するガウスフィルタである、
エネルギー場の検知方法。