JP4234420B2 - データ解像度を増す方法および装置 - Google Patents

Description

【０００１】
【関連出願との相互参照】
本願は、全体における参照によってここに含まれる２０００年７月６日に出願されたシリアル番号６０／２１６，３９５号の「高ダイナミックレンジカラーイメージング用装置および方法」という名称の米国仮特許出願に対する優先権を主張する。
【０００２】
【連邦が後援した研究または開発に関する声明】
本発明は、国際科学財団、情報技術調査奨学金番号ＩＩＳ−００−８５８６４からの米国政府援助によって形成された。したがって、米国政府は、本発明において特定の権利を有してもよい。
【０００３】
【発明の背景】
画像処理の共通のゴールは、入力データの所定の組から可能な最高の品質の画像を得ることである。画質は、代表的に、“解像度”で判断され、この解像度は、一般的に、画像を形成したデータの正確さおよび精度を示し、空間解像度（例えば、単位面積あたりまたは画像あたりの画素）、各画素の特徴の正確さおよび精度（輝度および／または色のダイナミックレンジ）および／または（例えば、ビデオ用途に関する）単位時間あたりの画像フレーム数を含むことができる。慣例的な画像処理アルゴリズムは、代表的に、処理されているデータに付帯的な情報および知識を無視するが、それにもかかわらず適切である。結果として、慣例的な画像処理アルゴリズムを使用して発生される画像の解像度は低下する。特に、入力画像が理論上どんな特性も持つことができるとしても、大部分の画像の特性は、画像化されている物理的な物体を支配する物理法則によって制限される。加えて、物体が理論上どんな形状をも持つことができるとしても、他のものより頻繁に繰り返される傾向がある特定の形状が存在する。
【０００４】
例えば、理論上画像が輝度インパルス、すなわち無限の輝度の無限に小さい点を含むことができるとしても、このような現象は現実の世界において絶対に生じない。加えて、現実の物体の画像は、しばしば、例えば線、長方形、長円形、平坦な表面、および、滑らかに丸くなった表面のような単純な幾何学的形状で満たされている。実際には、実際の物理的な場面の画像が、根本的に完全にランダムなように分布した完全にランダムな形状の組から成ることはめったにない。まだ、慣例的な画像処理アルゴリズムは、大部分の画像を支配する上述した実際上の制限を大部分無視する。
【０００５】
ダイナミックレンジを拡大するある慣例的な方法は、同じ場面の多数の画像を異なった露光量を使用して連続して獲得することである。各々の画像に関する路光量を、イメージング光学系の開口か、画像検出器の露光時間かのいずれかを変化させることによって制御する。高露光画像（すなわち、大きい開口または長い露光時間を使用して獲得された画像）は、明るい場面領域において飽和する傾向があるが、暗い領域においてより正確に獲得される傾向がある。コントラストにおいて、低露光画像（すなわち、小さい開口または短い露光時間を使用して獲得された画像）は、明るい領域においてあまり飽和しない傾向があるが、暗すぎるかもしれず、暗い領域においてノイジーになるかもしれない。これらの高露光画像および低露光画像の相補的性質は、これらを単一の高ダイナミックレンジ画像に結合することを可能にする。このような方法を、獲得された画像を使用して画像化システムの放射応答関数を計算することによってさらに強めることができる。
【０００６】
上述した方法は、動く場面より静止画面により好適であり、良好な結果が得られるため、イメージングシステム、シーンオブジェクト、および、物体の放射輝度に関して、異なった露光の元での画像の連続的な獲得中、一定のままであることが好適である。しかしながら、静止場面要求は、いくつかの場合において、多数のイメージングシステムの使用によって改善されてきた。このような方法において、ビームスプリッタを使用し、場面の光学画像の多数の複製を発生する。各々の複製を画像検出器によって検出し、この画像検出器の露光を、光減衰器を使用するか、該検出器の露光時間を特定の値に設定することによってプリセットする。各々の検出器の露光量を、異なった値に設定する。この方法は、高ダイナミックレンジの画像をリアルタイムで発生する利点を有する。リアルタイムイメージングは、シーンオブジェクトおよび／またはイメージングシステムが、前記多数の画像複製の処理に影響を及ぼすことなく、獲得中に動くことを可能にする。欠点は、この方法は、多数の画像検出器と、獲得された画像のすべての位置合わせに関する正確な光学系と、多数の画像の獲得および処理に関する追加のハードウェアとを使用するため、費用がかかることである。
【０００７】
高ダイナミックレンジイメージングに使用された他の方法は、特別なＣＣＤ設計を用いる。この方法において、各々の検出器セルは、異なったサイズのポテンシャル壁を有する、すなわち、異なった感度を有する２つの感知素子を含む。前記検出器が場面に対して露光されると、２つの測定が各々のセル内で行われ、これらの測定をチップ上で、画像が読み出される前に結合する。しかしながら、この技術は、複雑なＣＣＤ画像センサの製造を必要とするため、費用がかかる。加えて、結果として生じる画像の空間解像度は、前記２つの感知素子が、単一の感知素子セルを有する画像検出器において２つの画素が占めるのと同じ空間量を占めるため、半分に低下する。さらに、この技術は、他の処理に関してチップに信号を送る前に、各々の検出器セルにおける２つの感知素子の出力を結合するために、追加のオンチップエレクトロニクスを必要とする。
【０００８】
高ダイナミックレンジイメージングに関する“適応性画素”方法も提案されている。このような方法は、各々の画素が、ポテンシャル壁における電荷が完全な容量に累算されるのに必要な時間を測定する計算素子を含む、固体画像センサを用いる。前記壁容量は、すべての画素に関して同じであるため、壁を満たすのに必要な時間は、対応する画素に入射する光の強度に比例する。記録された時間値を読み出し、高ダイナミックレンジ画像に変換する。いくつかの場合において、この方法は、増大したダイナミックレンジを与えることができる。しかしながら、３２×３２セル装置が実現されているが、高い製造コストを被ることなしにこの技術を高解像度に拡大するのは困難だと思われる。加えて、露光時間は暗い場面の領域において長くなる傾向にあるため、このような技術は、モーションブラーに対して比較的敏感であると思われる。
【０００９】
画像データを、画素に関連する偏光データの形式において獲得することもできる。特に、個々の偏光フィルタを検出器アレイにおける各々の画素の前面において配置することが提案されている。例えば、個々の偏光フィルタを、検出器のアレイを覆う個々のカラーフィルタに追加することができる。前記偏光フィルタの下の検出器の出力を使用し、隣接する検出器にぶつかる光の偏光を推定することができる。しかしながら、このような技術は、前記偏光データに関して、画素を取り囲む領域全体を単一の画素として扱うため、空間解像度を犠牲にする。
【００１０】
【発明の要約】
したがって、本発明の目的は、画像処理アルゴリズムであって、該アルゴリズムによって処理されるであろう画像の代表的な特徴に関する情報を使用する画像処理アルゴリズムを提供することである。
【００１１】
本発明の他の目的は、上述した情報を使用してデータの解像度を上げることができる画像処理アルゴリズムを提供することである。
【００１２】
これらおよび他の目的は、本発明の以下の態様によって成し遂げられる。
【００１３】
本発明の一態様によれば、解像度を増したデータを発生する方法は、（１）局所的に均質でない測定パターンにおいて配置された複数の感度特性を使用して発生された第１データ組を受けるステップと、（２）モデルを使用し、前記第１データ組を処理し、これによって第２データ組を発生するステップとを含み、前記モデルが学習手順を使用して決定された第１モデルパラメータを有する。
【００１４】
本発明の追加の態様によれば、解像度を増したデータを発生する方法は、（１）少なくとも１つの変数の第１値を表す第１データを受けるステップであって、前記少なくとも１つの変数が、少なくとも１次元における第１位置における前記第１値を有する、ステップと、（２）前記少なくとも１つの変数の第２値を表す第２データを受けるステップであって、前記少なくとも１つの変数が、前記少なくとも１次元における第２位置における前記第２値を有する、ステップと、（３）多項式モデルを使用し、前記第１および第２データを処理し、これによって少なくとも第３データを発生するステップとを含み、前記多項式モデルが、（ａ）前記多項式モデルの前記第１データへの適用を制御する第１多項式係数と、（ｂ）前記多項式モデルの前記第２データへの適用を制御する第２多項式係数とを融資、前記第１および第２多項式係数の少なくとも一方を、学習手順を使用して決定する。
【００１５】
本発明の他の態様によれば、測定方法は、（１）第１信号組の少なくとも１回の測定を含む第１測定組を行うステップであって、前記第１信号組が少なくとも１次元における第１領域からの少なくとも１つの信号を含み、前記第１測定組が前記第１信号組に関する第１および第２感度特性を有し、前記第１感度特性が第１特性形式を有し、前記第２感度特性が第２特性形式を有する、ステップと、（２）第２信号組の少なくとも１回の測定を含む第２測定組を行うステップであって、前記第２信号組が少なくとも１次元における第２領域からの少なくとも１つの信号を含み、前記第２測定組が前記第２信号組に関する第１感度特性を有し、前記第２測定組が前記第２信号組に関する第３感度特性をさらに含み、前記第３感度特性が前記第２特性形式を有する、ステップと、（３）第３信号組の少なくとも１回の測定を含む第２測定組を行うステップであって、前記第３信号組が少なくとも１次元における第３領域からの少なくとも１つの信号を含み、前記第３測定組が前記第３信号組に関する第４感度特性を有し、前記第４感度特性が前記第１特性形式を有する、ステップとを含む。
【００１６】
本発明の依然として他の態様によれば、測定方法は、（１）第１信号組の少なくとも１回の測定を含む第１測定組を行うステップであって、前記第１信号組が少なくとも１次元における第１領域からの少なくとも１つの信号を含み、前記第１測定組が前記第１信号組に関する第１、第２および第３感度特性を有し、前記第１感度特性が第１特性形式を有し、前記第２感度特性が第２特長形式を有し、前記第３感度特性が第３特長形式を有する、ステップと、（２）第２信号組の少なくとも１回の測定を含む第２測定組を行うステップであって、前記第２測定組が前記第２信号組に関する第１感度特性を有し、前記第２測定組が前記第２信号組に関する第４および第５感度特性をさらに有し、前記第４感度特性が前記第２特性形式を有し、前記第５感度特性が前記第３特長形式を有する、ステップとを含む。
【００１７】
本発明のさらなる目的、特徴および利点は、本発明の説明的な実施形態を示す添付図面に関連して行った以下の詳細な説明から明らかになるであろう。
【００１８】
図面を通じて、他に述べなければ、同じ参照符を使用し、示した実施形態の同様な特徴、要素、構成要素または部分を示す。さらに、本発明を図面の参照と共に例としての実施形態に関して詳細に説明するが、変更および修正を前記説明した実施形態に、添付した請求項によって規定される本発明の真の範囲および精神から逸脱することなく行うことができる。
【００１９】
発明の詳細な説明
多くの画像は、実際のまたは想像の物理的な場面の表現である。画像データは、しばしば、各画素データが、ある場面内の特定の領域または点のある属性、例えば輝度および／またはカラーを表す、画素データの組を具える。しかしながら、輝度およびカラーに加え、画素データは、前記場面の深さ、偏光、温度または何か他の物理的属性を含むことができる。さらに、画像がしばしば空間次元（例えば、垂直位置、水平位置、および／または、深さ位置、例えば、カメラまたは観察者からの距離）の関数としての場面の物理的属性（例えば、輝度）の表現であるとしても、前記属性を時間のような他の次元の関数として表すこともできる。代表的に、利用可能な画像データは、画素の制限された数、および／または、各々の画素の制限されたダイナミックレンジにより、制限された解像度を有する。したがって、画像データが物理的場面を表現する精度は制限される。入来画像データを処理し、これによって、より正確におよび／またはより精密に前記場面を表現する、より高い解像度のデータを発生することが望ましい。
【００２０】
このようなデータ解像度向上は、１つ以上の入来データの関数として各々のより高い解像度のデータを発生する。特に、前記入来データのある領域におけるデータを使用し、処理された画像の対応する領域におけるより高い解像度データを発生する。しかしながら、より高い解像度のデータ組は、一般的に、対応するより低い解像度のデータ組より多くの情報を含む。例えば、より多くの画素を有する画像は、画素のすべてが同じダイナミックレンジを有する場合、より少ない画素を有する画像より多くの情報を含む。加えて、特定の数の高ダイナミックレンジ画素の組は、等しい数の低ダイナミックレンジ画素の組より多くの情報を含む。したがって、付帯的な情報が利用可能でない場合、すなわち、前記入来データそれ自身以外に利用可能な情報がない場合、より低い品質のデータからより高い品質のデータを再構成することは不可能であるかもしれない。
【００２１】
他方において、上述したように、多くの画像に関して、追加の付帯的情報が利用可能であり、この情報は、大部分の画像において代表的に存在し、発生が期待される、形状およびパターンに関する知識を含む。本発明によれば、このような付帯的情報を、入来データ組と処理されたデータ組との間のマップのパラメータに取り入れる。前記マップ、別名“モデル”は、より高い解像度の処理されたデータを発生するために前記入来データに用いられる関数の組を具える。上述した付帯的情報の取り入れを、１つ以上の代表的な簡単な画像または画像部分を用いて前記モデルのパラメータを最適化する“学習”手順（別名、“トレーニング”手順）を使用して行う。前記モデルパラメータが最適化されたら、次に、最適化されたマップは前記画像の各々の位置において前記データの“正確”らしい値の改善された評価を与えるため、結果として生じたマップを使用し、より高い解像度データをより低い解像度の入来データから発生する。要するに、前記最適化されたマップは、生データの位置間の位置におけるデータの（例えば、画像属性値）向上した品質の推定を計算することを可能にし、これによって画像または画像列の空間または時間解像度の向上を可能にする。すなわち、画素数または画像フレーム数を、割り増しの画素またはフレームの追加によって増すことができる。本発明によれば、前記追加データは、隣接する画素またはフレームに基づいて単純に補間された値である必要はなく、代わりに、代表的な画像の特徴または他のデータに関する学習された知識に基づいて知的予測を構成することができる。本発明の技術が、画像に関するデータの品質を改善するのに特に有用であるとしても、ここでの考察は、この技術を使用することができるデータの形式にどのような制限を伴うことも意味しないことに注意すべである。例えば、本発明の技術を、（ａ）金融証券の値または他の値の時間列のような１次元データや、（ｂ）平面画像データのような２次元データや、（ｃ）深さ情報を含む画像データ、または２次元画像データの時間列を具えるビデオデータのような３次元データや、（ｄ）深さ情報を含む画像データの時間列を具える３次元ビデオデータのような４次元データや、（ｅ）任意の次元数における他の形式のデータに用いることができる。
【００２２】
図１は、本発明による解像度を高めたデータを発生するデータの組の処理の一例を示す。この示した例において、例えば生画像であってもよいデータの第１組１０２を検出器アレイ１０４から受ける。第１データ組１０２は、例えば生画像の画素であってもよい第１データ１２２および第２データ１２４を含む。第１データ１２２は、例えば画像化されている場面の第１部分６４０の輝度のような少なくとも１つの変数の第１の値を表す。特に、前記場面内の物理的物体１２６の表面における第１位置６４０が特定の輝度を有する場合、第１データ１２２はこの輝度を表す。同様に、第２データ１２４は、前記場面内の物理的物体１２６の表面における第２位置６４２の輝度を表すことができる。モデル１０６を使用し、第１データ組１０２を処理し、これによって第２データ組１０８を発生する。好適には、モデル１０６は、第１データ１２２へのモデル１０６の適用を制御する第１モデルパラメータ１１６と、第２データ１２４へのモデル１０６の適用を制御する第１２モデルパラメータ１１８とを含む。第２データ組１０８は、第１および第２データ１２２および１２４へのモデル１０６の適用によって発生された第３データ１２０を含む。
【００２３】
本発明の好適実施形態において、マップ１０６は、第１データ組１０２におけるデータの多項関数の組を具える。第１および第２データ１２２および１２４を、図１に示すアルゴリズムにしたがって処理することができる。この示したアルゴリズムにおいて、前記第１データを受ける（ステップ４０２）。前記第２データも受ける（ステップ４０４）。モデル１０６を使用し、前記第１および第２データを処理し（ステップ４０６）、これによって第２データ１２０を発生する（ステップ４０８）。多項モデルを使用する場合、ステップ４０６は、好適には、第１多項係数を第１データ１２２に適用するステップ（ステップ４０８）と、第２多項係数を第２データ１２４に適用するステップ（ステップ４１０）と、ステップ４０８および４１０の結果を加算するステップ（ステップ４１２）とを含む。データへの多項係数の適用は、代表的に、前記係数に前記データの数学的パワーを掛けることを含む。
【００２４】
好適には、モデル１０６は、獲得された画像内の小さい隣接部からの画素測定を受け、前記画素測定を所望の出力画像に変換する局所マッピング機能の組を具える。前記マッピング機能を、高品質データ（例えば、高解像度画像データ）の標本を、前記高品質データから計算された低品質データの標本と比較することによって“学習”する。例えば、目標が、低空間解像度を有する輝度画像を処理し、これによって高空間解像度を有する輝度画像を発生する構造モデルを学習することである場合、前記高解像度画像を意図的に劣化させ（かすませ、またはダウンサンプリングし）、対応する低解像度画像を発生することができる。他の例として、前記モデルを、高ダイナミックレンジ画像（例えば、１画素あたり１２ビットを有する画像）を種々の異なった露光レベルに対応する低ダイナミックレンジ画像（例えば、１画素あたり８ビットを有する画像）から計算するように最適化すべき場合、前記高ダイナミックレンジ画像を拡大縮小、切り取り、および再量子化し、これによって、低ダイナミックレンジを有する試験画像の組を発生することができる。すなわち、“ダウングレード”処理ステップを使用し、前記トレーニング手順において使用する測定されたデータの低品質シミュレーションと同期するために、前記高品質画像を劣化させる。好例の高品質画像と低品質画像との間の関係を図８Ａおよび８Ｂにおいて示す。図８Ａの例において、低品質データ組８０２は、高品質データ８０４の低解像度版である。したがって、これら２つの画像における同じ領域に関して、前記高品質画像における方が前記測定された画像におけるより多くの標本が存在する。図８Ｂの例において、高品質データ組８０８は、時間次元（すなわち、時間）を含み、低品質データ組８０６より高い空間解像度および／または時間解像度を有する。
【００２５】
前記学習段階において使用する高品質画像を、実際の場面の画像としても、種々の描画技術を使用して発生された合成画像としても、実画像データおよび合成画像データのある組み合わせとしてもよいことに注意すべきである。実場面の画像を、高品質（例えば、業務用グレード）画像化システムを使用して獲得することができ、前記高品質画像を、低品質画像化システムの特徴および欠点をシミュレートするモデルを使用して劣化させる場合、本発明の解像度向上技術は、より低い品質の画像化システムに高品質システムの性能をエミュレートすることを可能にすることができる。前記アルゴリズムによって使用される構造モデルを好適にはできるだけ一般的にし、したがって、前記訓練手順に選択された画像は、現実世界において遭遇することが期待される場面および特徴の形式の完全な範囲を十分に表すべきである。例えば、都市セッティング、風景、および、屋内空間の画像を好適には含む。加えて、前記選択された画像は、実際に遭遇する照明状態の完全な範囲を表し、屋内照明、曇りの屋外条件、および、晴れの屋外条件を含む。加えて、前記構造モデル最適化処理がスケーリングおよび方向付けの影響を獲得できるようにするために、種々の異なった拡大セッティングおよび回転の下で取得した同じ場面の画像を含むのが、通常は有利である。特定の用途に関連するかもしれない特定の特徴を容易に含むことができるため、合成画像が特に有用であるかもしれない。例えば、合成画像の発生において、種々の方向付けおよびスケーリングにおいてエッジ、線、曲線および／またはより複雑な特徴を描画するのは比較的容易である。加えて、表面テクスチャの特定の形式を、コンピュータ発生画像において容易に合成することができる。
【００２６】
前記高品質画像およびこれらに対応する低品質画像が得られたら、１つ以上の構造マッピングモデルを評価することが望ましい。この評価を行う好例の手順を図９に示す。示した例の構造モデル９０２は、入力データＭ（ｘ，ｙ）（例えば、実際の測定データ、またはシミュレートされたデータ）を所望の出力値の組Ｈ（ｉ，ｊ）に関連付ける一般的な関数である。前記入力および出力データの間の関係を、以下のように表すことができる。
H(i,j)=f(M(1,1),...,M(x,y),...,M(X,Y)) （１）
ここで、ＸおよびＹは、高品質値Ｈ（ｉ，ｊ）の対応する隣接部を取り囲む、またはこれに近い入力測定データＭ（ｘ，ｙ）の隣接部を規定する。構造モデルの評価は、式（１）における関数ｆのパラメータの評価を本質的に構成する。
【００２７】
本例における関数ｆを一般的な用語において規定したことに注意すべきである。関数ｆを線形または非線形とすることができる。そのパラメータを、多数の異なった回帰技術のいずれをも使用して任意に評価することができる。これらの回帰方法は、線形または非線形であってもよく、ロバスト統計の技術において一般的に使用されるような、フィッティング中の境外の点の除去のような技術を含むことができる。さらに、関数ｆは、関数係数が評価すべきモデルのパラメータである基本関数の組み合わせを具えてもよい。
【００２８】
加えて、モデル１０６は、図３に示すようなネットワーク３０６を具えることができる。図３に示す例において、第１データ組１０２を、種々のリンク３０６によって接続された複数のノード３０２を含むネットワーク３０６中に受ける。ネットワーク３０６は、例えば、マルコフネットワーク、ベイジアンネットワーク、および／または、ニューラルネットワークを具えることができ、これらすべては既知である。ネットワーク３０６は、第１データ組１０２を処理し、これによって、改善された解像度を有する第２データ組１０８を発生する。前記関数をベイジアンまたはニューラルネットワークとして実現すべき場合、そのパラメータを、逆伝播アルゴリズムのような種々の既知の方法を使用して評価することができる。さらに、前記モデルは、隠れマルコフモデルを任意に具えることができる。好適実施形態において、所望の高品質値を、前記入力データの多項式関数としてモデル化する。前記モデルの形式に係らず、本発明のアルゴリズムは、係数または他のモデルパラメータの組Ｃを決定し、最適化しようとする。上述したように、高品質訓練画像（現実、合成、または双方）を使用し、これらの係数を計算する（ステップ９０４）。前記手順において使用する（大きさ（Ｘ，Ｙ）の）隣接部は一般的に小さく、代表的な例は、その値を最終的に計算すべき前記高品質画素の場所を取り囲む低品質画素の５×５ウィンドウであるため、各々の高品質訓練画像は、代表的に、前記係数を見つけるのに有用な多量のデータを与える。
【００２９】
構造モデル９０２を上述したように計算したら、前記データの再構成を行うことができる。この再構成処理は、図９に示すように、前記モデルを低品質データに用いることを含む。前記低品質データは、物理的測定装置から来ることができ、または、効率的な格納および／または伝送の目的のため、前記高品質データから発生され、この高品質データの代わりに使用される“合成”低品質データであってもよい。さらに、前記低品質データを、高品質データから、比較的低品質のセンサのモデル（図９における項目９０６）を使用することによって合成することができる。
【００３０】
各々の出力画像値を、前記再構成処理から得る。
【数１】

【００３１】
多くの用途に関して、到来画像信号を、局所不均質測定パターン、すなわち、あるセンサが、隣接するまたは近いセンサと有意に異なる感度を有するパターンを使用して測定することが有利である。“モザイク”とも呼ぶことができるこのようなパターンを、検出器アレイの感度が中心からエッジに向かって徐々に減少する傾向にある“ぼかし”のような効果と区別すべきである。ぼかし効果は、アレイ全体のサイズに匹敵するスケールにおいて生じる。
【００３２】
大部分の光強度センサの制限されたダイナミックレンジと、人間の目の高いダイナミックレンジとにより、到来光の強度（すなわち、輝度）に対して異なった感度を有するセンサのパターンを使用することが望ましいかもしれない。このようなパターンは、前記場面の明るく照明された部分および暗く照明された部分の双方の輝度を正確に測定することを可能にする。このような局所不均質測定パターンを図１に示す。パターン１１０は、到来光の強度に対して高感度を有する第１領域１１４と、到来光の強度に対して減少した感度を有する第２領域１１２とを含む。局所不均質測定パターン１１０を多数回繰り返し、検出器アレイ１０４において使用するためのより大きい局所不均質測定パターンを形成することができる。結果として生じる画像を、“空間変化露出”（ＳＶＥ）画像と呼ぶことができる。図１に示す例において、前記場面における物体１２６の第１部分６４０から来る光を、測定パターン１１０の第１部分１１４が受ける。物体１２６の表面における第２位置６４２から来る光は、検出器アレイ１１０において使用する測定パターンの第２部分１１２が受ける。好適には、モデル１０６の第１モデルパラメータ１１６を、測定パターン１１０の第１部分１１４の感度特性（すなわち高感度）に対して調和させると共に最適化し、第２モデルパラメータ１１８を、測定パターン１１０の第２領域１１２の感度特性（すなわち低感度）に対して調和させると共に最適化する。局所不均質測定パターン１１０を繰り返して検出器アレイ１０４用のより大きいパターンを形成することができるように、第１および第２モデルパラメータ１１６および１１８を、好適には、測定パターン１１０の第１および第２部分１１４および１１２の各々の複製に対して再使用する。第１センサ特性を有する第１センサを使用して標本化された生データは、異なった感度特性を有するセンサを使用して標本化された生データと異なる場面に対して関係を有すると思われるため、このような構成は有利である。したがって、マップ１０６のパラメータ１１６および１１８を決定および最適化する場合、各々の感度特性を、好適にはそれ自身のマップパラメータに割り当てる。
【００３３】
図１７は、追加の空間不均質輝度感度（すなわち、ＳＶＥ）パターンを示す。この図においてより明るいとして示す画素は、到来光強度に対するより高い感度を有し、より暗い画素は、より低い感度を有する。示した例において、４つの隣接する画素１７１１、１７１２、１７１３および１７１４は、異なった感度（ｅ_１＜ｅ_２＜ｅ_３＜ｅ_４）を有する。これら４つの画素１７１１、１７１２、１７１３および１７１４は、反復して前記検出器アレイを覆う２×２隣接画素１７０５を形成する。４値感度パターンに基づくＳＶＥ画像は、２×２隣接画素１７０５の異なった周期的シフトに対応する４つの異なった形式の局所隣接部強度パターン１７２２、１７２４、１７２６および１７２８を有する。
【００３４】
ある画素が飽和する場合でも、この画素は、飽和しない少なくとも１つの隣接画素を有すると思われるため、ＳＶＥパターンは有利である。加えて、ＳＶＥパターンにおけるある画素が、きわめて低いまたはゼロの輝度を示すか、低い信号対ノイズ比を有する場合、この画素は、測定可能な輝度を有するおよび／または許容しうる信号対ノイズ比を有する少なくとも１つの隣接画素を有すると思われる。結果として、ＳＶＥパターンは、前記場面の高ダイナミックレンジ画像の計算を可能にする。
【００３５】
ＳＶＥ技術は、図１７に示すモザイクに決して限定されないことにさらに注意すべきである。輝度感度値の数、したがって、異なった局所パターン形式の数を変化させることができ、前記パターンは周期的である必要はない。ランダムに配置された露出モザイクが有用である場合があるかもしれない。加えて、ＳＶＥモザイクを多くの方法において実現することができる。あるアプローチは、異なった光学的透明度を有するセルを具えるマスクで前記検出器アレイを覆うことである。代わりに、または加えて、特に前記検出器がＣＣＤアレイのような固体装置である場合、前記感度パターン（すなわち、前記モザイク）を前記検出器上に直接エッチングすることができる。さらに、前記画素の感度を、（１）異なって構成されたマイクロレンズで各画素を覆う、（２）種々の異なった積分時間を異なった画素に使用する、および／または、（３）各画素を異なった間隙で覆う、のような追加の技術によってプリセットすることができる。上述した方法のすべてを使用し、検出器アレイに空間的に変化する輝度感度パターンを与えることができる。
【００３６】
異なった透明度を有するセルのモザイクを有する光学マスクを使用することは、このような方法を、事実上任意の画像化システムへのきわめて簡単な変更を行うことによって実現することができるため、特に便利であるかもしれない。図１８Ａ−１８Ｃは、光学マスクを画像化システム中に組み込むいくつかの方法を示す。図１８Ａにおいて、マスク１８０２を検出器１８０４の面に隣接して配置する。マスク１８０２を、画像化レンズ１８０６の外側に配置してもよく、この配置は、通常は、検出器面１８０４にアクセスするのが困難なシステムに好適である。図１８Ｂに示す例において、一次レンズ１８１０を使用し、場面１８０８をマスク１８０２の面上に集束させる。マスク１８０２から出てくる光線を画像化レンズ１８０６によって受け、検出器１８０４の面上に集束させる。拡散器１８１２を使用し、マスク１８０２に達する光線の指向性を減少または除去することができ、この場合において、好適には、画像化レンズ１８０６に拡散器１８１２の面において集束させる。図１８Ｃは、マスク１８０２を慣例的な写真機中に容易に組み込む配置を示す。図１８Ｃに示す例において、マスク１８０２を、フィルム１８１４が沿って進む面に隣接して固定する。前記ＳＶＥ技術は、決して可視光に限定されないことに注意すべきである。要するに、任意の電磁放射イメージャまたは任意の他の放射イメージャのダイナミックレンジを、前記ＳＶＥ方法を使用して拡大することができる。
【００３７】
本発明によれば、低ダイナミックレンジＳＶＥ画像を、広ダイナミックレンジ画像に、局所多項式マッピング関数を使用してマッピングすることができる。前記ＳＶＥアルゴリズムは、画像放射度の空間−露出次元を活用する構造モデルを開発しようとする。
【００３８】
前記測定されたデータ（例えば、ＳＶＥセンサを使用して獲得されたデータ）をＭによって示すとする。高ダイナミックレンジ画像Ｈを、局所隣接パターンｐの４つの形式の各々に関して１つの構造モデル（すなわち、マッピング関数）の組を使用してＭから再構成することができる。Ｍｐは、特定の局所パターンｐを有するＭの隣接部を示すとする。隣接部中心における所望の高ダイナミックレンジ値を、以下のように評価することができる。
【数２】

ここで、Ｓ_ｐ（ｉ，ｊ）を、図１９に示すように画素（ｉ，ｊ）の隣接部とする。Ｍ_ｐ ^ｎ（ｘ，ｙ）Ｍ_ｐ ^ｑ（ｋ，ｌ）は、（１）隣接部Ｍ_ｐ内における点（ｘ，ｙ）における生値のｎ乗と、（２）隣接部Ｍ_ｐ内における点（ｋ，ｌ）における生値のｑ乗との積を表す。Ｎ_ｐは、前記多項式マッピングの次数である。Ｃ_ｐは、局所パターンｐの多項式係数を表す。代表的に、垂直方向において画素（ｉ，ｊ）から変位した画素からの情報は、水平方向において変位した画素からの情報より多かれ少なかれ重要でないと思われる。したがって、一般的には、長さと同じくらいの幅である隣接部、例えば、正方形の隣接部を使用するのが好適である。さらに、すべての強度感度特性（例えば、すべての露出レベル）は、好適には、各々の隣接部において同じ回数生じるべきである。任意の偶数回の露出に関して、偶数（奇数でなく）の長さおよび幅を有する隣接部は、この条件を満たす。例えば、図１９に示す隣接部Ｓ_ｐ（ｉ，ｊ）は、偶数の長さおよび幅を有する正方形隣接部である。前記高ダイナミックレンジ値を、オフグリッド隣接部中心（ｉ＋０．５，ｊ＋０．５）において計算する。
【００３９】
積Ｍ_ｐ（ｘ，ｙ）Ｍ_ｐ（ｋ，ｌ）は、前記隣接部の２つの画素間の相関を明示的に意味する。しかしながら、多くの場合において、この積の項を使用し、すなわち、相関項を明示的に計算し、含むことは、（空間位置または他の次元において）近い場面の光は自然に相関する傾向があるため、前記技術の精度および効率をあまり増さない。より簡単で、したがって、あまり計算上集中的でない好適なマッピング関数を、
【数３】

によって与える。
【００４０】
図１９は正方形の４×４隣接部を示しているが、本方法を、任意のサイズおよび形状を有する隣接部に用いることができ、本方法を使用し、オフグリッド位置またはオングリッド位置のいずれに位置する画素の値も計算することができる。
【００４１】
各々の局所パターンｐに関して、式（４）を図１４に示すように行列によって表すことができ、
Ｂ_ｐ＝Ａ_ｐＣ_ｐ （５）
ここで、行列Ａ_ｐの各行は、局所パターン形式ｐを有する隣接部Ｍ_ｐの画素値の累乗を含む。Ａ_ｐの各行は、多項式次数Ｎ_ｐまでの画素値累乗を含む。Ｃｐは、局所パターンｐを有する隣接部における各々の画素に対応する多項式係数を含む列ベクトルである。Ｂ_ｐは、各ｐに関する所望のオフセンタ隣接部中心値Ｈ_ｐを含む列ベクトルである。
【００４２】
異なった局所露出パターンに対応するマッピング値を、重み付き最小二乗法を使用して評価する。このような技術のある例は、重み付き正規方程式
Ａ_ｐ ^ＴＷ_ｐ ^２Ａ_ｐＣ_ｐ＝Ａ_ｐ ^ＴＷ_ｐ ^２Ｂ_ｐ （６）
を解くことであり、ここで、Ｗ_ｐは、隣接部線型方程式の各々を重み付けする対角行列である。最小二乗法用語において、Ａ_ｐ ^ＴＷ_ｐ ^２Ａ_ｐを“重み付き正規方程式”と呼ぶことができ、Ａ_ｐ ^ＴＷ_ｐ ^２Ｂ_ｐを“重み付き回帰ベクトル”と呼ぶことができる。
【００４３】
前記多項式マッピング関数における係数の数を以下のように計算することができる。ｕ、ｘ、ｖは前記隣接部のサイズを表し、Ｎ_ｐは局所露出パターンｐに対応する多項式の次数を表すとする。ｐをＳＶＥ画像における異なった局所パターンの数とする。係数の数｜Ｃ｜は、以下の式によって与えられる。
【数４】

【００４４】
例えば、Ｐ＝４（例えば、４つの異なった画素露出を有するＳＶＥ検出器に関して）、ｐ＝１．．．Ｐに関してＮｐ＝２、ｕ＝ｖ＝６（すなわち、偶数の長さおよび偶数の幅を有する正方形隣接部）の場合、係数の数は２９２である。
【００４５】
本発明によるアルゴリズムを使用し、前記局所多項式マッピング係数を、高ダイナミックレンジセンサを使用して獲得されたいくつかの異なった画像を処理することによって学習（すなわち、最適化）することができる。次に、前記最適化されたマッピング関数を使用し、高ダイナミックレンジ画像を、ＳＶＥセンサによって獲得された他の画像から再構成することができる。前記訓練段階において、訓練アルゴリズムは、高ダイナミックレンジ画像を使用し、隣接部パターンの各々の形式（例えば、図１７におけるパターン１７０１−１７０４）に関する局所多項式マッピング関数の係数を評価する。
【００４６】
図２０は、本発明による好例の訓練段階のフローチャートである。図２０に示す例において、前記訓練を、フィルムカメラによって、または、スライドスキャナによって獲得された１２ビット画像２０２４を使用して行う。前記画像の強度を拡大縮小し、前記センサの全体的な露出における変化をシミュレートする（ステップ２００２）。ＳＶＥ検出器のこれに調和する応答関数２００４を前記訓練画像に適用する。次に、露出パターンの各々の形式に関するアルゴリズムを画像隣接部の各々の形式によって訓練する（すなわち、前記モデルパラメータを最適化する）ために、前記拡大縮小された画像を平行にシフトさせる（ステップ２００６）。次に、ＳＶＥマスク２００８を訓練画像２０２６に適用し、これによって、１２ビットＳＶＥ画像２０１２を発生する（ステップ２０１０）。次に、（ステップ２０１４において）１２ビットＳＶＥ画像２０１２を、このデータを２５５の最高強度レベルにおいてクリッピングし、次にこの画像をマッピングまたは再量子化することによってダウングレードし（すなわち劣化させ）、これによって８ビット画像Ｍ（図２０における項目２０２８）を発生する。上述したダウングレード手順は、低ダイナミックレンジを有するＳＶＥセンサをシミュレートする。図１４に示すように、画像Ｍから、隣接部の組Ａ_ｐを各パターンｐに関して抽出する。同様に、列ベクトルＢ_ｐを訓練画像Ｈから抽出する。異なった強度感度（例えば、図１７におけるｅ_１、ｅ_２、ｅ_３およびｅ_４）の数における非対称を回避するために、好適には、（奇数より）偶数の長さおよび幅を有する正方形の隣接部を使用する。偶数の長さおよび／または幅を有する隣接部の中心は、図１９に示すようにオフグリッド位置である。結果として生じる半画素オフセットを補償するために、前記訓練画像それ自体を半ピクセルだけオフセットする。前記高品質画像の元の標本化が、信号再構成に関するナイキスト基準に従わない場合、前記オフセットは、さらに、前記画像に不明瞭さを導入することができ、これによって、不明瞭なまたは滑らかな画像および場面に関して最適化された係数が生じる。よりシャープな画像および場面に関する最適化を望む場合、最初の高解像度画像は、好適には、シャープな特徴を有するシャープな場面を表すべきであり、ナイキスト基準にしたがって標本化すべきである。しかしながら、シャープな画像の拡張は、代表的に、滑らかなおよび／またはぼけた画像の拡張より正確なモデルを必要とすることに注意すべきである。さらに、シャープな画像ですら、重大な量の滑らかな領域を含む傾向にある。したがって、訓練時において、後に前記アルゴリズムによって拡張される画像のシャープさのレベルを知る方法はなく、前記モデルの精度が、よりシャープな画像を拡張するのに最も重要であり、任意の場合において、シャープな訓練画像は、滑らかおよび／またはぼけた画像の拡張をも可能にする十分な滑らかな領域を含む傾向があるため、好適には訓練にシャープな画像を使用する。
【００４７】
前記ＳＶＥデータにおける任意の局所パターン形式に属するすべての隣接部を正規化する。この正規化を、最初に、各ｐ型隣接部のデータから、ｐ型のすべての隣接部Ａ_ｐの平均エネルギーμ_ｐを引き、次に、このデータをＡ_ｐ（ｉ）のエネルギーで割ることによって行う。数学的に、この正規化ステップを以下のように表すことができる。
【数５】

ここで、Ａ_ｐ（ｉ）のエネルギー（すなわち、分母）は、図１４に示す行列Ａ_ｐのｉ番目の行ベクトルの選択された位置の大きさである。このｉ番目の行ベクトルの選択された位置は、隣接画素値の１乗を含む位置である。残りのデータＢ_ｐを同様に正規化する。
【数６】

【００４８】
正規化（ステップ２０１６）後、重み付き最小二乗法（ステップ２０１８）を使用し、重み付き正規行列Ａ_{ｐｎｏｒｍ} ^ＴＷ_ｐ ^２Ａ_{ｐｎｏｒｍ}と、右側の回帰ベクトルＡ_{ｐｎｏｒｍ} ^ＴＷ_ｐ ^２Ｂ_{ｐｎｏｒｍ}とを計算する。最小二乗法手順２０１８において、すべての訓練画像に関して、前記正規行列および回帰ベクトルを、各々付加的に累算する。次に、最小二乗法の結果を計算する（ステップ２０２２）。前記高ダイナミックレンジ画像のすべてが、多数の露出および多数の平行シフトによる訓練を含む訓練モードに使用されたら、前記多項式マッピング関数の係数Ｃ_ｐ（図２０における項目２０３２）を、隣接部パターンｐの各々の形式に関して、式（６）を使用して計算する（ステップ２０３０）。
【００４９】
図２１に例を示す再構成段階において、再構成アルゴリズムは、前記訓練段階において計算された多項式係数２０３２を、低ダイナミックレンジ８ビットＳＶＥセンサを使用して獲得されたＳＶＥ画像２１０２に適用する。前記訓練アルゴリズムと同様に、この再構成アルゴリズムは、各々の局所パターンｐに対応する隣接部Ａ_ｐの各々を正規化する（ステップ２１０４）。次に、係数Ｃ_ｐ（項目２０３２）を、前記正規化隣接パターンの各々に用い、これによってＢ_{ｐｎｏｒｍ}＝Ａ_{ｐｎｏｒｍ}Ｃ_ｐを得る（ステップ２１０６）。次に、Ｂ_{ｐｎｏｒｍ}を、逆正規化（すなわち、非正規化）し、Ｂ_ｐを得る（ステップ２１０８）。前記ＳＶＥ技術は前記場面強度の不均質量子化を使用するため、このアルゴリズムは、好適には、前記ＳＶＥ検出器マスクにおいて使用された別々の露出の数にしたがって、前記逆正規化されたデータを不均質に量子化し（ステップ２１１０）、これによって、再構成された高ダイナミックレンジ画像２１１２を得る。
【００５０】
本発明によるＳＶＥ方法を、広い種類の自然の場面を表す５つの高ダイナミックレンジ（１２ビット）訓練画像を使用してテストした。前記マッピング係数を“訓練”（すなわち、最適化）するために、図２０のフローチャートに示すように、前記訓練画像の各々をダウングレードし（すなわち、劣化させ）、８ビットＳＶＥ画像を得る。前記ＳＶＥ画像を形成するために、各々の訓練画像を、４つの異なった露出（ｅ_１＝４ｅ_２＝１６ｅ_３＝６４ｅ_４）を使用して獲得し、次に、図１７に示すＳＶＥマスク１７０６にしたがって結合する。再構成に関して、訓練において使用された画像とは異なる６つの１２ビットＳＶＥ試験画像をダウングレードし、８ビットＳＶＥ画像を発生する。結果として生じる係数を、図２１に示すフローチャートに従って、前記ダウングレードされた８ビットＳＶＥ画像に用いる。図３６は、上述した手順とバイキュービック補間手順との結果を比較するヒストグラムグラフである。これら２つのヒストグラムの比較は、本発明の方法がより多い低誤差画素とより少ない高誤差画素とを示すことを示す。
【００５１】
前述の例において、局所的に不均質な感度特性は、特定の形式、特に、光強度に関するセンサ出力の依存の形式のものである。しかしながら、本発明によれば、他の感度特性形式を使用し、局所的不均質測定パターンを形成することができる。例えば、前記感度特性は、信号波長（例えば、色）に関する測定感度の依存の形式を有することができる。さらに、前記特性形式を、到来光偏光に関する測定感度の依存の形式とすることができる。
【００５２】
いくつかの場合において、構造モデルは、どの画素を拡張するかにかかわらず同じ係数を使用する場合、最適な結果を示さないかもしれないことに注意すべきである。これは、前記場面の多数の属性を同時に標本化する場合、特にありそうである。このような例を図２に示す。示した測定パターンの調査は、グリッド上の異なった画素が異なった局所標本化パターンを持つことができることを示す。例えば、図２に関して、第１画素２０２および第２の隣接する画素２０４の隣接部における高品質Ｒ、ＧおよびＢ値を得るのに本発明によるアルゴリズムを使用しているとする。第１画素２０２の周囲の露出およびスペクトルフィルタの局所パターンは、隣接画素２０４の周囲のパターンと異なっていると思われる。したがって、前記モデルが多数のモデル係数を有していなければ、単一の均質構造モデル、すなわち、周囲の隣接画素の感度パターンを無視するパターンを使用して、３つの示したカラーチャンネルのすべてにおけるすべての画素における前記画像の輝度を予測する場合、不正確な結果が生じるかもしれない。“コンパクト”（すなわち、少ない数の係数を有する）および効率的の双方であるモデルを得るために、好適には、種々の局所標本化パターンを使用して獲得されたデータを供給するのに、１つの組の係数を使用しない。より良好な結果を、局所標本化パターンの各々の形式に関してモデル形式の異なった組を使用することによって達成することができる。画像値を、代表的に、単一の繰り返しパターンを使用して標本化するため、代表的に、結果として生じる標本化パターンは少ない。したがって、少ない数の構造モデル（または、モデル構成要素）のみが通常は必要である。興味ある特定の画素を与えると、適切な構造モデルを、この特定の画素の局所隣接部において生じる特定の標本化パターンに用いる。
【００５３】
大部分のディジタルカラーセンサは、単一の検出器アレイを使用し、画像を獲得する。前記アレイにおける各々の検出器は、特定の波長範囲、例えば、赤、緑または青における到来光の強度を測定する画素に対応する。すなわち、カラーフィルタを、前記検出器アレイにおいて空間的に交互配置する。このようなカラーモザイクを、空間変化カラー（ＳＶＣ）モザイクと呼ぶことができる。カラーフィルタの種々のパターンを、センサアレイ上に載せることができる。本発明によるアルゴリズムは、訓練された局所多項式マッピング関数を使用して高品質カラー画像を発生することができる。本発明のカラーモザイク方法を、ここに、単一チップカラーＣＣＤカメラに関して主に説明したが、本発明の方法は、どのような特定のカラーセンサにも決して限定されないことに注意すべきである。
【００５４】
単一チップＣＣＤカメラの検出器アレイにおけるカラーフィルタを、種々の方法において配置することができる。各々の画素の周囲の領域を、“隣接部”と呼ぶことができる。すべての隣接部は、“局所パターン”と呼ぶことができるカラーの空間変化パターンを含む。全体的な画像モザイクを、全体的な検出器アレイ上に局所パターンを複製することによって形成することができる。いくつかの場合において、前記局所パターンを、重なるように配置することができる。
【００５５】
上記概念を、ディジタルカメラ産業において広く使用される２つの簡単なモザイクを参照して説明することができる。図１０に示す第１形式を、一般に列モザイクと呼ぶ。この形式のモザイクは、図１０においてＲ、ＧおよびＢとしてラベル付けされた赤、緑および青チャネルの均一な列ごとの交互配置である。前記モザイクを形成するために、Ｒ、ＧおよびＢ感度の１×３パターン１００４を、全体的な画素アレイ上で繰り返す。図１０に示す例のモザイクにおいて、Ｒ、ＧおよびＢチャネルの各々の空間解像度は３３％である。ここで、図１０における隣接部１００１、１００２および１００３を考える。図１０において示す好例の列モザイクに関して可能な局所３×３隣接部パターンのみが存在するため、同様のサイズおよび形状の任意の他の隣接部は、局所パターン１００１、１００２または１００３の１つに対応しなければならない。一般に、３カラー列モザイクＣＣＤは、前記隣接部の形状およびサイズにかかわらず、３つの異なった局所隣接部パターンのみを有する。
【００５６】
一般にベイヤモザイクと呼ばれるモザイクのより一般的な形式は、異なった色に対する人間の視覚システムの感度を考慮する。人間の目が、赤または青の光に対するよりも緑の光により高感度であることはよく知られている。したがって、ベイヤモザイクは、５０％の緑色画素の空間解像度と、２５％の赤色および青色画素の空間解像度とを各々設定し、これによって、人間の目にあまり粒状に見えない画像を発生する。このようなモザイクの例を図１１に示す。示したモザイクは、画像全体にわたって繰り返される２×２パターン１１０５を具える。種々の隣接部における局所パターンの異なった形式は、図１１に示すように、前記２×２パターンの行および列の異なった周期的シフトに対応する。したがって、ベイヤモザイクＣＣＤにおいて、２×２以上のサイズのすべての隣接部を、４つの異なった可能な局所パターンのうちの１つに属するようにクラス分けする。これら４つのパターン１１０５−１１０８を図１２に示す。図１１において、パターン１１０１−１１０４は、ベイヤモザイクＣＣＤにおいて可能な局所パターンの４つの異なった形式を表す３×３隣接部の例である。本発明の好適実施形態において、ベイヤモザイクを使用するが、本技術は、列モザイクパターンまたは任意の他の形式のパターンにも効果的である。
【００５７】
いくつかの慣例的なシステムにおいて、補間を使用し、単一チップＣＣＤによって獲得された画像において存在しないＲ、ＧおよびＢ値を計算する。この補間を、各々のカラーチャネルに関して別々に行う。しかしながら、このような方法は、隣接する場面点の色の間の相関を明らかにせず、このような相関は実際の場面において生じる傾向がある。これと相違して、本発明による方法は、実際の場面の相関を、空間次元においてだけでなく、波長および／または時間のような他の次元においても活用する局所関数を展開する。これらのような局所関数を使用し、ベイヤモザイク入力を高品質ＲＧＢ画像にマッピングする。
【００５８】
測定されたＳＶＣデータ（例えば、ベイヤＣＣＤによって獲得されたデータ）をＭによって表すとする。所望の高品質ＲＧＢ画像Ｈを、前記隣接部の４つのユニークな局所パターンの各々とのカラーチャネルλの各々の可能な組み合わせに関して１つある（代表的に１２の）構造モザイク（または、マッピング関数）の組を使用してＭから再構成することができる。Ｍ_ｐは、特定の局所パターンｐに属するＭの隣接部を示すとする。次に、前記隣接部中心における所望のカラー値を、
【数７】

として評価することができ、ここで、Ｓ_ｐ（ｉ，ｊ）を画素（ｉ，ｊ）の隣接部とする（図１３参照）。Ｎ_ｐは、前記多項式マッピングの順序である。Ｃ_ｐは、各々のカラーチャネルλに関する局所パターンｐの多項式係数の組を表す。代表的に、垂直方向において画素（ｉ，ｊ）から離れた画素からの情報は、水平方向において画素から離れた情報より多かれ少なかれ重要でないことが予想される。したがって、一般的に、幅が長さと同じくらいの隣接部、例えば、正方形隣接部を使用することが好適である。さらに、すべての波長感度特性（例えば、すべての色）は、好適には、各々の隣接部において同じ回数生じるべきである。任意の偶数の色に関して、または、偶数の画素を有するモザイクパターンに関して、この条件は、（奇数より）偶数長さおよび幅を有する隣接部によって満たされる。Ｒ、ＧおよびＢ値を、オフグリッド隣接部中心（ｉ＋０．５，ｊ＋０．５）において計算する。
【００５９】
積Ｍ_ｐ（ｘ，ｙ）Ｍ_ｐ（ｋ，ｌ）は、前記隣接部の２つの画素間の相関を明示的に意味する。しかしながら、多くの場合において、（空間位置または他の次元において）近い場面の光は自然に相関する傾向があるため、前記積の項を使用することは、前記技術の精度および効率をあまり増さない。好適なマッピング関数は、より簡単で、
【数８】

によって与えられる。
【００６０】
すなわち、多項式を、低品質ＳＶＣデータ内の隣接部の各オングリッド画素に関して計算し、高品質（すなわち、高解像度）カラー値を、対応するオフグリッド中心画素において、前記隣接部におけるすべての画素の多項式を集める（例えば、加える）ことによって発生する。一般に、上述した方法を、任意のサイズおよび形状の隣接部に使用することができ、オフグリッドおよびオングリッド計算に使用することができることに注意すべきである。
【００６１】
各々のλおよび各々の局所パターン形式ｐに関して、式（１１）によって規定されたマッピング関数を、図１４に示すように、行列によって表すことができる。
Ｂ_ｐ（λ）＝Ａ_ｐＣ_ｐ（λ） （１２）
ここで、行列Ａ_ｐの各行は、局所パターン形式ｐを有する隣接部Ｍ_ｐの画素値の累乗を含む。Ａ_ｐの各行は、多項式次数Ｎ_ｐまでの画素値累乗を含む。Ｃ_ｐ（λ）は、カラーλおよび局所パターンｐに関する前記隣接部画素の各々の多項式係数を含む列ベクトルである。Ｂ_ｐ（λ）は、各々のλおよびｐに関する所望のオフグリッド隣接部中心値Ｈ_ｐ（λ）を含む列ベクトルである。インデックスλを、簡潔さのために省略することができ、前記マッピング関数の評価を、重み付き最小二乗問題としておくことができる。
Ａ_ｐ ^ＴＷ_ｐ ^２Ａ_ｐＣ_ｐ＝Ａ_ｐ ^ＴＷ_ｐ ^２Ｂ_ｐ （１３）
ここで、Ｗ_ｐは、前記隣接部線形式の各々を重み付けする対角行列である。最小二乗法において、Ａ_ｐ ^ＴＷ_ｐ ^２Ａ_ｐを“重み付き正規行列”と呼ぶことができ、Ａ_ｐ ^ＴＷ_ｐ ^２Ｂ_ｐを“重み付き回帰ベクトル”と呼ぶことができる。
【００６２】
式（１１）のマッピング関数における係数の数を以下のように計算することができる。ｕｘｖは隣接部サイズを表すとし、Ｎ_ｐはパターンｐに対応する多項式次数を表すとする。Ｐは前記ＳＶＣ画像における異なった局所パターンの数を表すとする。Ａはカラーチャネルの数を表すとする。次に、係数の数｜Ｃ｜を以下の式によって与える。
【数９】

例えば、Ｐ＝４（例えば、ベイヤモザイクＣＣＤに関して）、ｐ＝１．．．Ｐに関してＮ_ｐ＝２、ｕ＝ｖ＝６（すなわち、偶数の長さおよび幅を有する正方形隣接部）、Λ＝３（Ｒ、ＧおよびＢ）の場合、係数の数は８７６である。画像再構成に関して、多数の係数は、慣例的な補間技術より高い柔軟性を与える。
【００６３】
本発明によるアルゴリズムは、前記局所多項式マッピング関数のパラメータを、いくつかの高品質ＲＧＢ画像を使用して“学習”（すなわち、最適化）することができる。前記最適化されたマッピング関数は、すべての画素においてただ１つのカラーチャネル測定を与えるベイヤモザイクＣＣＤを使用して獲得された画像からの高品質カラー画像の再構成を可能にする。
【００６４】
前記訓練段階において、訓練アルゴリズムは、局所パターンの各形式に関してと、各々のカラーチャネルに関して前記局所多項式マッピング関数の係数を、高品質ＲＧＢ画像を使用して評価する。図１５は、本発明による好例の訓段段階のフローチャートである。示した例における訓練アルゴリズムは、フィルムカメラを使用して獲得され、スライドスキャナを使用してスキャンされた高品質カラー画像１５０２によって開始する。前記画像を劣化させ、実際のＣＣＤアレイによって獲得された画像をシミュレートするために、訓練画像１５０６を、代表的なＣＣＤアレイの性能および制限をシミュレートする応答関数１５０４によって高品質画像１５０２を処理することによって発生する。次に、例えば、ベイヤモザイク画像であってもよいＳＶＣ画像Ｍ（図１５における項目１５１４）を、カラーモザイクパターン１５１０にしたがって高品質画像１５０２から適切なカラーチャネル値を消去することによってシミュレートする（ステップ１５１２）シミュレートされたＳＶＣ画像Ｍ（項目１５１４）から、前記アルゴリズムは、図１４に示すような、各々のパターンｐに関する隣接部の組Ａ_ｐ（項目１５２８）を抽出する。各々の隣接部は、局所パターン形式ｐ（例えば、図１１におけるパターン１１０１−１１０４を参照）を有する。同様に、各々のカラーチャネルに関して、列ベクトルＢ_ｐ（項目１５３０）を、訓練画像Ｈ（項目１５０２）から抽出する。前記隣接部における赤色および青色画素が基本ベイヤパターンにおけるのと同じ比率において表示されるのを保証するために、好適には、（奇数より）偶数の長さおよび幅を有する隣接部を使用する。偶数の長さおよび／または幅を有する隣接部の中心は、図１３に示すようにオフグリッド位置である。結果として生じる半画素オフセットを補償するために、前記アルゴリズムは、訓練画像１５０６を半画素だけオフセットする（ステップ１５０８）。前記高品質画像の元の標本化が、信号再構成に関するナイキスト基準に従わなかった場合、前記半画素オフセットは、さらにぼけを前記訓練画像に導入することができる。このようなぼけは、顕著に滑らかな表面を有するぼけた入力画像および／または場面に関してより良好に最適化されたモデル係数を結果として生じることができる。顕著にシャープで急な特徴を有する場面のシャープな画像に関するモデルを最適化することを望む場合、好適には、ナイキスト基準に適合して標本化され、顕著にシャープで急な特性を有する画像を表す画像で開始する。しかしながらＳＶＥアルゴリズムに関して上述したように、訓練時において、前記アルゴリズムによって後に拡張される前記画像のシャープさのレベルを知る方法がない場合、前記モデルの精度は、よりシャープな画像を拡張することに関して最も重要であり、いかなる場合においても、シャープ訓練画像は、滑らかおよび／またはぼけた画像の拡張をも可能にする十分な滑らかな領域を含むと思われるため、好適には、訓練にシャープ画像を使用する。
【００６５】
前記アルゴリズムは、ＳＶＥアルゴリズムに関して上述したように、ＳＶＣデータにおける各々の隣接部Ａ_ｐ（ｉ）を正規化する（ステップ１５１６）。正規化後、重み付き最小二乗手順（ステップ１５１８）を使用し、重み付き正規行列Ａ_{ｐｎｏｒｍ} ^ＴＷ_ｐ ^２Ａ_{ｐｎｏｒｍ}と左側回帰ベクトルＡ_{ｐｎｏｒｍ} ^ＴＷ_ｐ ^２Ｂ_{ｐｎｏｒｍ}とを計算する。最小二乗手順１５１８において、各々の訓練画像に関して、前記重み付き正規行列および重み付き回帰ベクトルを、付加的に累算する（ステップ１５２０）。次に、最小二乗法の結果を計算する（ステップ１５１８）。前記訓練画像のすべてを処理したら、前記アルゴリズムは式（１３）を使用し、隣接部パターンｐの各々の形式に関してと、各々のカラーチャネルに関して、前記多項式マッピング関数の係数Ｃ_ｐ（項目１５２６）を決定する（ステップ１５２４）。
【００６６】
例を１６に示す再構成段階において、再構成アルゴリズムは、前記訓練段階において計算された多項式係数１５２６を、ベイヤモザイクＣＣＤを使用して獲得されたＳＶＣ画像１６０２に用いる。すなわち、前記アルゴリズムは、１画素あたり３つのカラーチャネル値を有する高品質画像１６１０を、１画素あたり１つのカラーチャネル測定値のみを有するＳＶＣ画像から計算する。この再構成を、“非モザイク化”と呼ぶことができる。前記訓練段階と同様に、前記再構成段階において、前記ＳＶＣ画像の各々の隣接部を正規化する（ステップ１６０４）。次に、係数Ｃ_ｐ（項目１５２６）を、前記正規化された隣接部パターンおよび各々のカラーチャネルに用い、これによって、Ｂ_{ｐｎｏｒｍ}＝Ａ_{ｐｎｏｒｍ}Ｃ_ｐを得る（ステップ１６０６）。次に、Ｂ_{ｐｎｏｒｍ}を逆正規化（すなわち、非正規化）し（ステップ１６０８）、これによって、再構成された高品質カラー画像１６１０を得る。
【００６７】
本発明によるＳＶＣ訓練アルゴリズムを、広い種類の自然の場面を表す３０の高品質カラー画像を使用して試験した。図１５のフローチャートに示すように、前記訓練画像の各々を、各々の画素から２つのカラーチャネルを除去することによってダウングレードし、これによって、ＳＶＣ画像を得た。次に、次数２の局所多項式マッピング関数の係数を、重み付き最小二乗手順を使用して計算した。次に、前記訓練ステップにおいて使用した画像とはことなる２０の試験画像を、２０のシミュレートされた低品質ＳＶＣ画像を得るためにダウングレードした。図１６のフローチャートにしたがって、前記モデル係数を前記シミュレートされた低品質試験画像に用いた。図３５のヒストグラムグラフによって示すように、本発明の構造再構成方法は、慣例的なキュービック補間より多い低誤差画素と、より少ない高誤差画素とを発生した。
【００６８】
本発明の好適実施形態によれば、局所不均質測定パターンは、異なった形式の感度特性の局所不均質パターンの組み合わせを具えることができる。例えば、図６Ａに示すように、測定パターンを、強度感度パターンと波長（例えば、色）感度パターンの組み合わせとすることができる。ＳＶＥパターンおよびＳＶＣパターンの組み合わせを構成するこのようなパターンを、空間変化カラーおよび露出（ＳＶＥＣ）パターンと呼ぶことができる。図６Ａに示す例において、前記測定パターンは、３つのセンサ領域６０２、６０４および６０６を具える。図５は、図６Ａのパターンを使用して信号を測定する手順の一例を示す。第１領域６０２は、前記場面（図１参照）における物体１２６の領域６４０から、１つ以上の信号を含む第１信号組６２０を受ける（図５におけるステップ２０２）。
【００６９】
第１センサ部分６０２は、第１信号組６２０の第１測定組（少なくとも１つの測定を含む）を行う（図５におけるステップ５０４）。図６Ａに示す測定パターンにおいて、第１領域６０２は、緑色光に対する感度を具える第１感度特性６４６を有する。加えて、第１センサ領域６０２は、光強度に対する高感度を具える第２感度特性６４８を有する。
【００７０】
第２検出器組６０４は、前記場面の第２領域６４２から第２信号組６２２を受け、測定する（ステップ５０６および５０８）。第２検出器組６０４も緑色光に感度があり、すなわち、このセンサは、第１検出器組６０２と同じ第１感度特性６４６を有する。加えて、第２検出器組６０４は、第２信号組６２２に関する第３感度特性を有し、この第３感度特性６５０は、光強度に対していくぶん低下した感度を具える。第３検出器組６０６は、第３信号組６２４を、前記場面の第３領域６４４から受け、測定する（ステップ５１０および５１２）。第３検出器組６０６は、第３信号組６２４に関する第４感度特性６５２を有する。この例において、第４感度特性６５２は、第１感度特性６４６と同じ形式、すなわち、選択された波長の組（この場合において、赤色光）に対する感度を有する。さらに、図６Ａに示す例において、第３検出器組６０６は、光強度に対して一層減少した感度を具える第５感度特性６５４を有する。第５感度特性６５４は、各々第１および第２検出器組６０２および６０４の第２および第３感度特性６４８および６５０と同じ形式、すなわち、光強度に対して特定の感度レベルのものである。前記第１、第２および第３信号組を測定したら、本発明による構造モデルを使用し、結果として生じるデータの解像度を増し、これによって、より高い解像度の出力データを発生する（図５におけるステップ５１４）。
【００７１】
本発明による局所不均質測定パターンの追加の実施形態によれば、検出器組を重なったマスクによって形成する必要はなく、代わりに、図６Ｂに示すように、各々がそれ自身の感度特性を有する多数の検出器によって形成することができる。示した測定パターンにおいて、前記第１検出器組は、信号波長に関して測定感度のある形式の依存性を有する検出器６１６を具え、すなわち、検出器６１６は、緑色光に対して高感度である。前記第１検出器組は、信号強度に関して測定出力のある形式の依存性を有する感度特性６４８を有する検出器６１８も含み、すなわち、この場合において、検出器６１８は低下していない強度感度を有する。第２検出器組６０４は、同様に、カラー感度形式および強度感度形式の感度特性６４６および６５０を各々有する２つの検出器６３２および６３４を含む。同様に、第３検出器セット６０６は、カラー感度形式および強度感度形式の感度特性６４６および６５４を各々有する検出器６３６および６３８も含む。図６Ａおよび６Ｂに示す測定パターンは３つの検出器組のみを含むが、前記測定パターンの一部として使用することができる検出器組の数に制限はない。例えば、図６Ｃおよび６Ｄに示すように、本発明による局所不均質測定パターンの好適実施形態において、ベイヤパターンを、強度感度特性の局所不均質パターンと共に使用することができる。図６Ｃに示す例において、４つの検出器組６０８、６０２、６１０および６０４は、種々のカラー感度特性６６２、６４６、６５６および６４６を各々有する。加えて、検出器組６０８、６０２、６１０および６０４は、種々の強度感度特性６６４、６４８、６６０および６５０を各々有する。加えて、図６Ｄに示すように、異なった強度感度特性パターンを使用することができる。例えば、図６Ｃに示す例において、赤色および青色検出器組６０８および６１０は、光強度に対する高い感度に対応する強度感度特性６６４および６６０を有する。しかしながら、図６Ｄに示す例において、赤色および青色検出器組６０８および６１０は、光強度に対する低下した感度に対応する強度感度特性６６６および６６８を有する。
【００７２】
基本ＳＶＥＣパターンを使用し、全体画像ＳＶＥＣパターンを形成することができる。例えば、図２２に示す画素のアレイを考える。グレイレベルは画素露出を示し、頭文字Ｒ、ＧおよびＢは、種々の画素において測定されたカラーチャネルを示す。このような全体画像ＳＶＥＣモザイクを形成するある方法は、カラー感度および輝度（すなわち、強度）感度を小さい隣接部内に割り当て、初期パターンを形成し、次に、前記初期パターンを前記検出器アレイ全体に渡って繰り返すことによる。図２２に示す例において、正方形の４×４初期パターン２２０１を前記検出器アレイ全体に渡って繰り返す。このような初期パターンを前記検出器アレイじゅうに繰り返すことの利点は、局所パターン２２０１−２２１６の異なった形式の数が、初期パターン２２０１の異なった周期的シフトに対応することである。ＳＶＥＣ画像化において、カラーおよびダイナミックレンジを、空間位置の関数として同時に標本化し、結果として、前記ＳＶＥＣモザイク中の局所パターンは、前記ＳＶＣモザイクまたはＳＶＥモザイクのいずれかにおける局所パターンより複雑になる。
【００７３】
種々の露出およびカラーを、好適には、特定の用途に応じた特定の所望の特性を有するＳＶＥＣモザイクを生じるように個々の画素に割り当てる。前記所望の特性を、以下のパラメータによって規定することができる。
１．長さｕ、幅ｖおよび／またはアスペクト比ａ＝ｖ／ｕにしたがって規定された隣接部サイズおよび形状。
２．任意の隣接部におけるＲ、ＧおよびＢ領域の数と、個々のカラー高感度領域の個々の位置。
３．異なった露出（すなわち、強度感度）の数ｅおよび値と、前記隣接部内の個々の露出感度領域の個々の位置。
４．各々の露出値に割り当てられたＲ、ＧおよびＢ領域の数。
【００７４】
例えば、上述したように、大部分の場合において、前記隣接部長さおよび幅を、好適には等しくする（すなわち、ａ＝１）。サイズに関して、より小さい隣接部は、“より小さい”テクスチャを有する、すなわち、輝度が単位距離ごとに急激に変化する画像に関してより良好な結果を与える傾向がある。これは、これらのような画像に関して、より離れた画素間の相関が減衰し、結果として、大きい隣接部は、小さい隣接部より多くの情報を提供しないためである。加えて、上述したように、偶数の要素を有するモザイクに関して、前記隣接部は、好適には、偶数長さおよび偶数幅を有するべきである。
【００７５】
露出レベルの数ｅに関して、より多くの数は、より高いダイナミックレンジを与えることができる。異なった露出レベル間の比に関して、より高い比は、より大きい合計検出可能範囲を与えるが、結果として、検出可能輝度レベルのより粗い間隔を生じる。好適には、前記露出レベルの比を、前記検出可能輝度の合計範囲が、前記場面において存在すると共に興味がある輝度レベルの範囲と一致するように選択すべきである。
【００７６】
前記種々の露出レベルを、好適には分散し、前記隣接部のある位置（例えば、右上のコーナ）において大部分の高感度画素が位置し、異なった位置（例えば、左下のコーナ）において大部分の低感度画素が位置するのを回避する。このような好適な配置は、前記隣接部のすべての位置における少なくともいくつかの画素が、隣接するまたは近くの画素が飽和するか、前記信号を検出することができなくても、到来信号を正確に検出する可能性を増す。
【００７７】
カラーパターンに関して、多くのシステムにおいて、ベイヤモザイク（図１１に示す）は、このようなパターンは人間の目の感度に調和し、大部分のディジタルカメラはこのパターンに従うため、前記検出器アレイにおけるカラー分布に関する好適な選択である。このようなパターンを使用すると、図１１に示すように、サイズｕｘｖの各々の局所隣接部内で、Ｒ、ＧおよびＢの空間解像度は、各々、２５％、５０％および２５％となる。
｜Ｒ｜＝｜Ｂ｜＝０．２５ｕｖ；｜Ｇ｜＝０．５ｕｖ （１５）
【００７８】
式（１５）および前記ベイヤパターンに基づいて、隣接部長さｕおよび隣接部幅ｖは双方とも偶数であることが容易にわかる。さらに、各々の隣接部内において、異なった露出レベルの各々に関して、各々のカラーは、好適には、前記ベイヤパターンにおいて該カラーが生じるのと同じ回数生じるべきである。したがって、
｜Ｒ｜＝｜Ｂ｜＝ｋｅ；｜Ｇ｜＝２ｋｅ
４ｋｅ＝ｕｖ （１６）
であり、ここで、ＲおよびＢは各々の露出ｋ回と結合し、Ｇは各々の結合２ｋ回と結合し、ｋ、ｅおよびｕは正の整数である。さらに、前記隣接部のアスペクト比ａの項において、
４ｋｅ＝ａｕ^２ （１７）
となる。
【００７９】
前記モデルに必要な係数の数を最小にするために、好適には、上記条件を満たす最小の局所ＳＶＥＣパターンを見つける。露出の一定の数ｅと一定のアスペクト比ａとに関して、前記局所パターンの最小サイズｕは、式（１７）を満たすｋに関する最小整数値に対応する。例えば、ｅ＝２およびａ＝１（すなわち、前記隣接部は正方形）の場合、前記検出器アレイ全体に渡って繰り返す必要がある最小の隣接部は、サイズｕ＝４（ｋ＝２に対応する）を有する。同様に、ｅ＝４およびａ＝１に関して、結果として生じるパターンは、ｕ＝４およびｋ＝１である。図２２に示す好例の画像パターンは、ｅ＝４（すなわち、４つの異なったグレイレベル）およびベイヤカラーモザイクを使用する。全体画像パターンを発生するために、４×４正方形隣接部２２０１を前記アレイ全体にわたって繰り返す。
【００８０】
上記結果は、露出感度値の数と、好適な局所隣接部パターンサイズとの間の関係を確立する。加えて、各々の隣接部におけるカラーの空間配置を決定した。上記制約を使用し、種々の露出感度値を、前記局所パターンにおける種々の画素に割り当てることができる。
【００８１】
本発明の好適実施形態において、低ダイナミックレンジベイヤモザイクＳＶＥＣ画像を、最適化された局所多項式マッピング関数を使用し、高ダイナミックレンジカラー画像に割り当てる。前記マッピング関数を、学習された構造モデルから得る。
【００８２】
前記測定データ、この例においては、ＳＶＥＣセンサを使用して獲得されたデータを、Ｍによって表すとする。高ダイナミックレンジカラー画像Ｈを、構造モデル（すなわち、局所マッピング関数）の組を使用し、Ｍから再構成することができる。各々のカラーチャネルλに関して、局所マッピング関数を、図２２においてパターン２２０１−２２１６として示す局所隣接パターンｐの１６形式の各々に関して最適化する。Ｍ_ｐは、特定の局所パターンｐに属するＭの隣接部を示すとする。次に、前記隣接部中心における所望の高ダイナミックレンジカラー値を、
【数１０】

として評価することができ、ここで、Ｓ_ｐ（ｉ，ｊ）は、図２３に示すような画素（ｉ，ｊ）の隣接部である。Ｎ_ｐは、前記多項式マッピングの次数である。Ｃ_ｐは、各々のカラーチャネルλに関する隣接画素（ｘ，ｙ）の各々におけるパターンｐの多項式係数を表す。この好例のインプリメンテーションは、偶数長さおよび偶数幅を有する正方形隣接部を使用する。前記高ダイナミックレンジカラー値を、図２３に示すように、オフグリッド隣接部中心（ｉ＋０．５，ｊ＋０．５）において計算する。本方法を、任意の隣接部サイズおよび形状に使用することができ、オフグリッドおよびオングリッド位置／領域（すなわち、画素）の双方における画像値を計算するのに使用することができることに注意すべきである。比較的簡単なマッピング関数、式（１８）をこの好例のインプリメンテーションにおいて使用したが、本アルゴリズムは、ＳＶＣおよびＳＶＥ状況において上述した式（３）および（１０）のようなより一般的なマッピング関数を用いることもできることにも注意すべきである。
【００８３】
前記ＳＶＣおよびＳＶＥ手順と同様に、式（１８）を、図１４に示すように、各々の局所パターンｐに関する行列によって表すことができる。
Ｂ_ｐ（λ）＝Ａ_ｐＣ_ｐ（λ） （１９）
ここでＡ_ｐは、各々の行が、局所パターンｐに属する隣接部Ｍ_ｐの画素値の累乗を含む行列である。Ａ_ｐは、多項式次数Ｎ_ｐまでの画素値累乗を含む。Ｃ_ｐ（λ）は、カラーλおよび局所パターン形式ｐに関する隣接画素の各々の多項式係数を含む列ベクトルである。Ｂ_ｐ（λ）は、各々のλおよびｐに関する所望の高ダイナミックレンジオフグリッド隣接部の中心カラー値Ｈ_ｐ（λ）を表す列ベクトルである。インデックスλを簡潔さのために省略することができ、前記マッピング関数の評価を、重み付き最小二乗問題としておくことができる。
Ａ_ｐ ^ＴＷ_ｐ ^２Ａ_ｐＣ_ｐ＝Ａ_ｐ ^ＴＷ_ｐ ^２Ｂ_ｐ （２０）
ここで、Ｗ_ｐは、前記隣接部線形式の各々を重み付けする対角行列である。
【００８４】
前記多項式マッピング関数における係数の数を、以下のように計算することができる。ｕｘｖは、前記隣接部サイズおよび形状を表すとし、Ｎ_ｐは、局所ＳＶＥＣパターンｐに対応する多項式次数を表すとする。Ｐは、前記ＳＶＥＣ画像における異なった隣接部パターンの数を表す。次に、係数の数｜Ｃ｜を、以下の式によって与える。
【数１１】

【００８５】
例えば、Ａ＝３（例えば、カラーＲ、ＧおよびＢに関して）、Ｐ＝１６（４つの異なった画素露出およびベイヤカラーモザイクを有するＳＶＥＣ検出器に関して）、ｐ＝１．．．Ｐに関してＮｐ＝２、ｕ＝ｖ＝６（すなわち、偶数の長さおよび幅を有する正方形隣接部）の場合、係数のｋ図は３５０４である。
【００８６】
本発明による画像品質を高めるモデルベース方法を、式（４）、（１１）および（１８）のマッピング関数間の類似性によって、そして、ＳＶＣ、ＳＶＥおよびＳＶＥＣ表示法および方法の記述間の類似性によっても証明されるように、画像放射照度の次元の任意の同時標本化に用いることができる。
【００８７】
本発明によるＳＶＥＣアルゴリズムは、高ダイナミックレンジカラーセンサによって獲得されたいくつかの画像を使用して、局所多項式マッピング関数を学習することができる。結果として生じるマッピング関数を使用し、ＳＶＥＣセンサによって獲得された他の画像から、高ダイナミックレンジカラー画像を再構成することができる。前記アルゴリズムの訓練段階において、局所多項式マッピング関数の係数を、隣接部パターンの各々の形式（例えば、図２２におけるパターン２２０１−２２１６）に関して、高ダイナミックレンジカラー画像を使用して評価する。図２４は、本発明による好例のＳＶＥＣ訓練段階のフローチャートを示す。示した例において、前記訓練を、フィルムカメラによって獲得されスライドスキャナによってスキャンされた１２ビットカラー画像２４０２を使用して行う。個々の画像２４０２の強度を増減し、前記センサによって獲得された画像の全体的な露出における変化をシミュレートする（ステップ２４０４）。前記アルゴリズムは、前記増減された画像に、ＳＶＥＣ検出器の応答関数と調和する応答関数２４０６を用いる。次に、結果として生じる画像を、好適には露出パターンの各形式と画像隣接部の各形式とのすべての可能な組み合わせを使用して前記マッピング関数パラメータを訓練（すなわち、最適化）するために、平行シフトする（ステップ２４０８）。１２ビットＳＶＥＣ画像を発生するために、ＳＶＣマスク２４１２およびＳＶＥマスクを各々の訓練画像に用いる（ステップ２４１６および２４２０）。示した例において、ＳＶＣマスク２４１２を最初に用い（ステップ２４１４）、これによってＳＶＣ中間データ２４１６を発生する。しかしながら、前記ＳＶＥマスクを最初に用いてもよい。各々の１２ビットＳＶＥＣ画像２４２２を、前記画素データを２５５の強度レベルにおいてクリッピングし、次に前記データを再量子化し（ステップ２４２４）、（項目２４２６として示す）８ビット画像Ｍを発生することによってダウングレードする。上述した処理は、低ダイナミックレンジＳＶＥＣセンサをシミュレートする。画像Ｍ（項目２４２６）から、隣接部Ａ_ｐの組を、図１４に示すように、各パターンｐに関して抽出する。各々のカラーチャネルおよび局所パターンに関して、列ベクトルＢ_ｐを、訓練画像Ｈから抽出する。示したインプリメンテーションは、偶数の長さおよび幅を有する正方形隣接部を使用する。ＳＶＣおよびＳＶＥアルゴリズムと同様に、ＳＶＥＣアルゴリズムにおいて、前記訓練画像を、１画素の半分だけオフセットする（ステップ２４３０）。加えて、ＳＶＥおよびＳＶＣアルゴリズムに関して上述したように、訓練時において、後に該アルゴリズムによって拡張されるシャープさのレベルを知る方法がない場合、前記モデルの精度は、よりシャープな画像を拡張するのに最も重要であり、いかなる場合においても、シャープな訓練画像は、滑らかなおよび／またはぼけた画像の拡張をも可能にする十分な滑らかな領域を含むと思われるため、好適にはシャープな画像を訓練に使用する。
【００８８】
局所ＳＶＥＣパターン形式の１つに属する各隣接部のデータを、ＳＶＥおよびＳＶＣアルゴリズムと同様に、式（８）および（９）を使用して正規化する。正規化後、重み付き最小二乗手順２４３２を使用し、重み付き正規行列Ａ_{ｐｎｏｒｍ} ^ＴＷ_ｐ ^２Ａ_{ｐｎｏｒｍ}および右側回帰ベクトルＡ_{ｐｎｏｒｍ} ^ＴＷ_ｐ ^２Ｂ_{ｐｎｏｒｍ}を計算する。最小二乗手順２４３２において、各訓練画像に関して、前記正規行列および回帰ベクトルを、各々、付加的に累算する（ステップ２４３４）。前記訓練アルゴリズムが、各々の画像に関する多数の露出および多数の平行シフトを含む前記高ダイナミックレンジカラー画像のすべてを処理したら、前記最小二乗手順の結果が得られ（ステップ２４３６）、この結果を使用し、隣接部パターンｐの各形式および各カラーチャネルλに関する多項式マッピング関数の係数Ｃ_ｐ（項目２４４０）を、式（２０）を使用して計算する（ステップ２４３８）。
【００８９】
一例を図２５に示す再構成段階において、前記アルゴリズムは、前記最適化された多項式係数を、低ダイナミックレンジ（例えば、８ビット）ベイヤモザイクＳＶＥＣセンサを使用して獲得されたＳＶＥＣ画像２５０２に用いる。前記訓練手順と同様に、前記再構成アルゴリズムは、前記ＳＶＥＣ画像における各局所パターンｐに対応する各隣接部Ａ_ｐを正規化する（ステップ２５０４）。次に係数Ｃ_ｐを、各カラーチャネルに関する前記正規化された隣接部パターンの各々に用い、これによって、Ｂ_{ｐｎｏｒｍ}＝Ａ_{ｐｎｏｒｍ}Ｃ_ｐを得る（ステップ２５０６）。次に前記アルゴリズムは、Ｂ_{ｐｎｏｒｍ}を逆正規化する（ステップ２５０８）。前記ＳＶＥＣパターンは場面光の不均質量子化に基づくため、前記逆量子化されたデータを、前記ＳＶＥＣ検出器マスクにおいて使用された異なった露出の数にしたがって不均質量子化し（ステップ２５１０）、これによって、再構成された高ダイナミックレンジカラー画像２５１２を発生する。
【００９０】
本発明によるＳＶＥＣアルゴリズムを、４つの異なった露出の下で獲得された１０の高ダイナミックレンジカラー（１カラーチャネルあたり１２ビット）を使用して試験した。以下を確認した。前記訓練画像は、広い範囲の自然の場面を表す。各１２ビット訓練画像の各画素に関して、前記アルゴリズムは２つのカラーチャネルから情報を除去し、これによって、各画素を単一カラー画素に変換した。次に、各場面の４つの露出に対応する１２ビットＳＶＣ画像を、図２２に示すＳＶＥＣ露出パターンにしたがって結合した。結果として生じる１２ビットＳＶＥＣ画像を、次にダウングレードし、図２４のフローチャートに示すように、８ビットＳＶＥＣ画像を発生した。次に、（次数３の）前記局所多項式マッピング関数の係数を、重み付き最小二乗法を使用して計算した。次に、訓練において使用する画像とは異なる１０の試験画像を、例としての８ビットＳＶＥＣ試験画像を発生するためにダウングレードした。次に、前記訓練手順によって発生された係数を使用するモデルを、図２５のフローチャートにしたがって前記８ビットＳＶＥＣ試験画像に用いた。図３４のヒストグラムグラフは、本発明の構造再構成アルゴリズムの結果を、バイキュービック補間手順の結果と比較する。このグラフによって示されるように、前記構造モデルは、より多くの低誤差画素と、より少ない高誤差画素とを示した。
【００９１】
上記例は、２つの空間次元（すなわち、垂直および水平次元）において配置された測定パターンを強調したが、本発明による測定パターンを空間次元に限定する必要はない。特に、ビデオ用途において、図６Ｅおよび６Ｆに示すように、空間および時間の双方に関して局所的に不均質である測定パターンを使用することが望ましいかもしれない。図６Ｅにおいて、ビデオフレームを第１時間Ｔ１において獲得する。前記ビデオフレームは、場面の２つの領域６４０および６４２から発される光の測定を含む。領域６４０および６４２を、空間および時間の双方におけるこれらの位置によって規定する。図６Ｆにおいて、第２ビデオフレームを第２時間Ｔ２において受け、この第２ビデオフレームは、場面の２つの異なった位置６７０および６４４から受けた光の測定を含む。図６Ｅおよび６Ｆにおいて示した例において、位置６４０および６７０は、空間において同じ位置を有するが、時間次元において異なる位置を有することに注意すべきである。同様に、位置６４２および６４４は、空間次元において同じ位置を有し、時間次元において異なった位置を有する。
【００９２】
位置６４０、６４２および６４４の測定を、例えば、図６Ａに示す測定パターンを使用して行うことができ、この測定パターンは、（パターン要素６０２および６０４によって規定される）垂直空間次元と、（パターン要素６０４および６０６）によって規定される）時間次元とにおいて局所的に不均質である。
【００９３】
本発明によるアルゴリズムを使用し、図６Ｅおよび６Ｆに示す多フレーム画像のようなデータの時間解像度を増すことができる。連続的な画像間の移動物体６９０の空間平行移動は、前記画像を獲得する周波数（すなわち、フレームレート）に依存する。本発明の構造モデルを使用し、ビデオシーケンスの実際の時間フレームレートをアップグレード（すなわち、増加）することができる。実際には、前記モデルを使用し、元の獲得されたフレーム間に追加のフレームを挿入することができる。時間解像度のアップグレードを行うために、前記構造モデルは、前記画像における輝度値がどれくらい２つのフレーム間で変化すると期待されるかを予測する。
【００９４】
実際のまたは合成の高時間解像度データを使用し、前記モデルパラメータを最適化することができる。このような高時間解像度データは、運動における物体の種々の形式の高フレームレートビデオシーケンスに対応する。前記高解像度データを、測定データを合成するために、時間解像度においてダウングレードする。この場合における局所パターンは、画素値の３次元ブロックに対応し、各々のブロックは、空間および時間位置の範囲を有する。図２８を参照し、例えば、このようなブロック２８１４は、図２８に示すような３×３空間ウィンドウ（合計３６測定値）の４つのビデオフレーム２８０２、２８０４、２８０６および２８０８を具えることができる。中間フレーム２８１２における画素値２８０１は、高解像度画像データを構成する。前記解像度向上アルゴリズムは、高解像度画像データ値２８１０を、３６測定値２８１４の多項式関数として表す。このような構造モデルを使用し、完全な中間画像フレームを予測する。構造モデルの組は、したがって、多くの中間フレームを予測し、これによって、任意の獲得されたビデオシーケンスの時間解像度を向上させる。
【００９５】
加えて、本発明によるアルゴリズムを使用し、異なった露出を使用して獲得された画像のシーケンスの形式における画像データの解像度を増すこともできる。このようなシーケンスを、多くの技術を使用して獲得することができる。例えば、ユーザは、単に、カメラの絞りまたは露出設定を変化することができ、各々の設定を使用して別々の画像を獲得することができる。さらに、前記カメラそれ自体が、迅速な連続における多数の積分時間を使用し、画像のシーケンスを獲得することができる。これらの２つの方法のいずれも、図２６に示す形式のシーケンスを示す。示したシーケンス２６０６は、きわめて明るい場面領域が最も露出されなかった画像２６０２において飽和なく獲得され、きわめて暗い領域が最も露出された画像２６０４において良好な明瞭さで獲得されるため、高ダイナミックレンジ画像を発生するのに十分な情報を含むことは容易に明白である。本発明による多項式モデルを使用し、各画素の異なった露出に対応する輝度値から単一の高ダイナミックレンジ値へのマッピングを計算することができる。前記測定データが飽和効果を含むと思われ、前記データを獲得するのに使用されたセンサの放射測定応答関数が所望の高品質画像の応答関数と異なっているかもしれなくても、本発明のアルゴリズムは、出力画像の各画素に関する高ダイナミックレンジ値を発生することができる強力な多項式モデルを最適化することができる。さらに、前記入力および出力画像は、カラー情報を含むこともできる。カラー画像の場合において、前記マッピングを、カラーチャネルの各々に関して別々に行うことができる。代わりに、前記マッピング方法を輝度データのみに使用することができ、この場合において、各画素のカラーを、飽和していない（そして暗すぎない）測定値の１つから選択する。
【００９６】
上述した考察は、輝度およびカラーを画素の重要な属性として強調したが、場面から反射される光も偏光状態を示す。この画像化光の偏光状態は、前記場面における鏡面反射（ハイライト）や、反射表面の材料特性のような有用な情報を運ぶ。上述したように、異なった線形偏光角を有する変更フィルタを使用し、画像検出器の画素を覆うことができる。例えば、前記偏光フィルタを、ベイヤモザイクにおける緑色フィルタのすべてに加えることができる。場面位置の偏光状態を、偏光データを使用して隣接画素から計算することができる。
【００９７】
本発明によれば、偏光データの解像度を、構造モデルを使用して増すことができる。図３０は、画像検出器アレイにおける偏光およびカラーフィルタの好例の配置を示す。獲得された画像は、カラーおよび偏光情報の双方を含む。本発明によるアルゴリズムは、画素の小さい隣接部を使用し、赤色、緑色、青色および偏光状態の高品質値を評価する構造モデルを訓練する。上述したＳＶＥＣアルゴリズムの場合におけるように、図３０に示す偏光パターンにおいて生じる４つの異なった局所パターンが存在する。したがって、構造モデルの４つの組を評価し、各々の組は、赤色、緑色、青色および偏光角データの各々に関して１つの構成要素である、４つのモデル構成要素を含む。前記構造モデルは、偏光測定の空間相関と、カラー測定の空間相関とを取り入れる。加えて、前記モデルは、前記カラーチャネルと変更測定のとの間の相関を取り入れる。
【００９８】
カラーに特定の興味がない場合、異なった偏光フィルタを有するモノクローム検出器を使用することができる。このようなシステムにおいて、前記構造モデルは、単純に、前記画像における各点における輝度値および偏光状態を評価する。
【００９９】
上記考察は、カラー感度特性の局所不均質パターンと、強度感度特性の局所不均質パターンとの組み合わせを具える測定パターンの使用を強調した。しかしながら、この考察は、組み合わせることができる測定パターンの形式の数におけるなんらかの制限を伴うことを意味しない。例えば、図７に示すように、カラー感度（特性７０６および７０８）のパターンと、強度特性（特性７１０および７１２）のパターンと、偏光感度（特性７１４および７１６）のパターンとを組み合わせることが望ましいかもしれない。さらに、図７に示す例は、各々が単一の検出器を具える検出器組７０２および７０４を含むが、検出器組７０２および７０４の各々を、図６Ｂに示す検出器組６０２、６０４および６０６と同様に、多数の検出器から形成することもできる。
【０１００】
多数の特性の場合において、生じるパターンの種々の形式を含むために、いくつかの構造モデルを使用する。このような方法は、図３１に示す好例のパターンのような場合に適用可能であり、この場合において、前記画像データは、強度およびスペクトル属性の空間および時間的標本化を含む。構造モデルを使用し、空間、強度、スペクトルおよび／または時間解像度が向上した高品質画像データを予測する。
【０１０１】
さらに、本発明による再構成アルゴリズムは、可視スペクトル内の光のパターンを表現する画像データに限定されないことを理解すべきである。ここに説明した技術は、赤外（ＩＲ）画像化、Ｘ線画像化、磁気共鳴（ＭＲ）画像化、合成アパーチャレーダ（ＳＡＲ）画像化、粒子ベース画像化（例えば、電子顕微鏡）および音響（例えば、超音波）画像化を含むがこれらに限定されない、任意の電磁放射または任意の他の放射の画像化に適用可能である。
【０１０２】
本発明による方法を使用し、画像の空間解像度を増すこともできる。獲得された画像を、理論的なより高品質の画像の低解像度バージョンとみなすことができる。構造モデルを使用し、１つ以上の低解像度画像の局所隣接部を、上述したより高品質の画像の画素として考えることができる単一の高解像度値にマッピングすることができる。このような技術の一例を図２７に示す。前記画像の画素２７０２の各々を、測定された輝度値によって表す。前記アルゴリズムは、解像度アップグレードを行い、このアップグレードにおいて、測定画素値の局所隣接部２７０４を使用し、画素グリッド上にない新たな位置２７０６に関する最も確からしい値を評価する。このプロセスを、前記画像全体に渡って繰り返し、元の前記測定画像の４倍多くの画素を有する画像を発生する。情報理論は、このような解像度アップグレードを慣例的な技術を使用して行うことはできないことを示唆している。しかしながら、本発明の構造モデルは、付帯的情報を使用し、追加の解像度の達成を可能にする。特に、前記モデル係数は、前記訓練手順によって学習された代表的な場面の知識を取り入れる。
【０１０３】
上述した例と同様に、前記空間解像度向上アルゴリズムは、高解像度画像の組を使用し、前記訓練手順を行う。前記訓練画像を解像度においてダウングレードする。次に、前記アルゴリズムは、測定値の局所（例えば、３×３または５×５）隣接部を新たな位置の１つにおける高品質データにマッピングするのに好適な多項式構造モデルのパラメータを最適化する。別個の構造モデルを、前記新たな高品質値の各々に関して計算する。この例において、新たな位置２７０６の各々に１つ、３つの構造モデルを使用する。これらの構造モデルは、共に、任意の所定の測定画像の解像度アップグレードを可能にする。さらに、上記例は、非カラー輝度データの組の空間解像度の向上を含むが、この技術を、２つ以上のカラーチャネルを表すデータに用いることもできる。３つのカラーチャネル、代表的に、Ｒ、ＧおよびＢに関して、合計９の構造モデルを好適には使用する。
【０１０４】
本発明によるアルゴリズムを使用し、画像データのスペクトル解像度を増すこともできる。理論において、場面点は、任意のスペクトル分布関数、すなわち、波長の関数としての任意の反射率を有することができる。しかしながら、実際には、物体表面を形成する自然のおよび人工の物理的プロセスは、表面反射率のスペクトル分布を滑らかにし、良好に動作させる傾向がある。結果として、少数のスペクトル標本、例えば、ナローバンドスペクトルフィルタを使用して行う測定が、広範囲の照明状態の下での現実世界の表面の大規模なクラスの完全なスペクトル分布を正確に予測するのに十分であるかもしれない。図２９は、異なったスペクトルフィルタを使用して獲得された好例の場面のいくつかの画像を示す。これらのような画像を、高品質多スペクトル画像を使用して合成することもできる。比較的低いスペクトル解像度を有する現実のまたは合成された画像を使用し、前記測定された（または合成された）ものの間にある波長に関する輝度値を予測することができる構造モデルを展開し、最適化する。このような方法は、慣例的な（Ｒ−Ｇ−Ｂ）カラーカメラを使用して獲得された画像に基づいて、前記場面点のスペクトル分布の評価の決定を可能にする。好適実施形態において、前記再構成に使用した測定データの隣接部２９０２を、空間およびスペクトル次元の双方において規定する。このような実施形態は、隣接部場面点のスペクトル分布間の相関を利用し、これによって、各々の画像位置におけるスペクトル分布のより高品質な再構成を与える。
【０１０５】
当業者には、図１−３１の方法を、図４、５、９、１５、１６、２０、２１、２４および２５によって規定される好適ソフトウェアの制御の下で動作する種々の標準コンピュータプラットフォームにおいて実現することができることが明らかであろう。いくつかの場合において、慣例的なパーソナルコンピュータにおける周辺カードのような専用コンピュータハードウェアが、上記方法の動作効率を増すことができる。
【０１０６】
図３２および３３は、本発明を実行するのに好適な代表的なコンピュータハードウェアを示す。図３２を参照し、このコンピュータシステムは、処理セクション３２１０と、ディスプレイ３２２０と、キーボード３２３０と、モデムのような通信周辺装置３２４０とを含む。本システムは、画像媒体３２００を走査する光学スキャナ３２５０のような他の入力装置も含む。本コンピュータシステムは、代表的に、データおよびアプリケーションソフトウェアを格納する磁気媒体（すなわち、ディスケット）または光学媒体（例えば、ＣＤ−ＲＯＭまたはＤＶＤ）のようなコンピュータ読み出し可能媒体を読み出し、書き込むことができる１つ以上のディスク装置を含む。図示しないが、ディジタルポインタ（例えば、マウス）等のような他の入力装置を含むこともできる。
【０１０７】
図３３は、処理セクション３２１０をさらに示す機能ブロック図である。処理セクション３２１０は、一般に、処理ユニット３３１０と、制御ロジック３３２０と、メモリユニット３３３０とを含む。好適には、処理セクション３２１０は、タイマ３３５０と、入力／出力ポート３３４０も含むことができる。処理セクション３２１０は、前記処理ユニットにおいて使用されるマイクロプロセッサに応じて、コプロセッサ３３６０を含むこともできる。制御ロジック３３２０は、処理ユニット３３１０と共に、メモリユニット３３５０と入力／出力ポート３３４０との間の通信を処理するのに必要な制御を与える。タイマ３３５０は。処理ユニット３３１０および制御ロジック３３２０に関するタイミング基準信号を与える。コプロセッサ３３６０は、暗号アルゴリズムによって必要とされるような実時間における複雑な計算を行う増強された能力を与える。
【０１０８】
メモリユニット３３３０は、揮発性および不揮発性メモリや、読み出し専用およびプログラマブルメモリのような異なった形式のメモリを含むことができる。例えば、図３３に示すように、メモリユニット３３３０は、読み出し専用メモリ（ＲＯＭ）３３３１と、電気消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）と、ランダムアクセスメモリ（ＲＡＭ）３３３３とを含むことができる。異なったコンピュータプロセッサ、メモリ構成、データ構造等を使用し、本発明を実施することができ、本発明は、特定のプラットフォームに限定されない。例えば、処理セクション３２１０を図３２および３３においてコンピュータシステムの一部として示したが、処理セクション３２１０および／またはその構成要素を、ディジタルビデオカメラまたはディジタル静止画カメラのようなイメージャ中に組み込むことができる。
【０１０９】
図４、５、９、１５，１６、２０、２１、２４および２５によって規定されるソフトウェアを、当業者には明らかなように、広範囲のプログラミング言語において書くことができる。本発明による好適なソフトウェアアルゴリズムを、Ｍａｔｈｌａｂ^ＴＭ言語バージョン５．３．１において書いた。好例のＳＶＥＣ、ＳＶＣおよびＳＶＥアルゴリズムに関するコンピュータソースを、添付した付録において与えた。
【０１１０】
本発明を特定の好適実施形態に関して説明したが、種々の変更、交換および改造を、開示した実施形態に対して、添付した請求項において述べた本発明の精神および範囲から逸脱することなしに行えることを理解すべきである。

【図面の簡単な説明】
【図１】 本発明によるデータ解像度を増す好例の手順を示すブロック図である。
【図２】 本発明による好例の検出器感度パターンを示す図である。
【図３】 本発明によるデータ解像度を増す好例の手順を示すブロック図である。
【図４】 本発明によるデータ解像度を増す追加の好例の手順を示す流れ図である。
【図５】 本発明によるデータ解像度を増す他の好例の手順を示す流れ図である。
【図６】 Ａは本発明による好例の検出器感度パターンの使用を示す図であり、Ｂは本発明による追加の好例の検出器感度パターンの使用を示す図であり、Ｃは本発明による好例の検出器感度パターンを示す図であり、Ｄは本発明による他の好例の検出器感度パターンを示す図であり、Ｅは本発明によるさらに他の好例の検出器感度パターンの使用を示す図であり、Ｆは本発明による追加の好例の検出器感度パターンの使用を示す図である。
【図７】 本発明による依然として他の好例の検出器感度パターンを示す図である。
【図８】 Ａは本発明によるより高い解像度のデータ組を得る入力データの処理を示す図であり、Ｂは本発明によるより高い解像度のデータ組を得る追加の入力データの処理を示す図である。
【図９】 本発明によるデータ解像度を増す好例の手順を示す流れ図である。
【図１０】 本発明による好例の検出器感度パターンを示す図である。
【図１１】 本発明による追加の好例の検出器感度パターンを示す図である。
【図１２】 本発明による他の好例の検出器感度パターンを示す図である。
【図１３】 本発明による好例の多項式マッピング関数によるデータの処理を示すブロック図である。
【図１４】 本発明によるデータ解像度を増す好例の手順を示す行列図である。
【図１５】 本発明によるデータ解像度を増す追加の好例の手順を示す流れ図である。
【図１６】 本発明によるデータ解像度を増す依然として他の好例の手順を示す流れ図である。
【図１７】 本発明による好例の検出器感度パターンを示す図である。
【図１８】 Ａは本発明による検出器感度パターンを使用する好例の方法を示す図であり、Ｂは本発明による検出器感度パターンを使用する追加の好例の方法を示す図であり、Ｃは本発明による検出器感度パターンを使用する依然として他の好例の方法を示す図である。
【図１９】 本発明による好例の多項式マッピング関数を使用する入力データの処理を示すブロック図である。
【図２０】 本発明によるデータ解像度を増す好例の手順を示すブロック図である。
【図２１】 本発明によるデータ解像度を増す追加の好例の手順の流れ図である。
【図２２】 本発明による好例の検出器感度パターンを示す図である。
【図２３】 本発明による好例の多項式マッピング関数の処理を示すブロック図である。
【図２４】 本発明によるデータ解像度を増す依然として他の好例の手順を示す流れ図である。
【図２５】 本発明によるデータ解像度を増す依然として他の好例の手順を示す流れ図である。
【図２６】 本発明による追加の好例の検出器感度パターンを示す図である。
【図２７】 本発明によるデータの再構成を示す図である。
【図２８】 本発明による追加の好例の検出器感度パターンを示す図である。
【図２９】 本発明による依然として他の好例の検出器感度パターンを示す図である。
【図３０】 本発明による依然として他の構成の検出器感度パターンを示す図である。
【図３１】 本発明による追加の好例の検出器感度パターンを示す図である。
【図３２】 本発明によるデータ解像度向上手順を行うコンピュータシステムを示すブロック図である。
【図３３】 図３２のコンピュータシステムにおいて使用するプロセッサのブロック図である。
【図３４】 本発明によるデータ解像度を増す好例の手順の性能のレベルを示すグラフである。
【図３５】 本発明によるデータ解像度を増す他の好例の手順の性能のレベルを示すグラフである。
【図３６】 本発明によるデータ解像度を増す追加の好例の手順の性能のレベルを示すグラフである。

Claims (30)

1. 局所的に不均質な測定パターンにおいて配置された複数の感度特性を使用して発生された第１データ組を受けるステップと、
   モデルを使用して前記第１データ組を処理し、これによって第２データ組を発生するステップとを具え、前記モデルが、学習手順を使用して決定された第１モデルパラメータを有することを特徴とする、解像度を増したデータを得る方法において、
   前記複数の感度特性が、
   複数の強度感度特性と、
   複数の波長感度特性とを具えることを特徴とする解像度を増したデータを得る方法。
2. 請求項１に記載の解像度を増したデータを得る方法において、前記複数の感度特性が、
   複数の時間範囲感度特性と、
   複数の偏光感度特性と、
   複数の距離感度特性と、
   複数の温度感度特性と、
   複数の磁気共鳴信号感度特性とのうち１つを具えることを特徴とする解像度を増したデータを得る方法。
3. 請求項１に記載の解像度を増したデータを得る方法において、前記複数の感度特性が、
   電磁気信号波長と、
   音響信号波長との内１つにおける測定感度の依存性を有することを特徴とする解像度を増したデータを得る方法。
4. 請求項１に記載の解像度を増したデータを得る方法において、前記複数の感度特性が第１および第２感度特性を具え、第１モデルパラメータが前記第１感度特性に対応し、前記モデルが、前記第２感度特性に対応する第２モデルパラメータをさらに有し、前記第１データ組が第１および第２データ値を具え、前記第１データ値を、前記第１感度特性を使用して測定し、前記第２データ値を、前記第２感度特性を使用して測定し、前記モデルを使用するステップが、少なくとも１つの多項式関数を前記第１および第２データ値に適用し、これによって少なくとも第３データ値を発生するステップを含み、前記第３データ値が前記第２データ組のメンバであり、前記第１モデルパラメータが、前記少なくとも１つの多項式関数の前記第１データ値への適用を制御し、前記第２モデルパラメータが、前記少なくとも１つの多項式関数の前記第２データ値への適用を制御することを特徴とする解像度を増したデータを得る方法。
5. 請求項４に記載の解像度を増したデータを得る方法において、前記少なくとも１つの多項式関数が、各々、前記第１および第２モデルパラメータのうち１つを具える少なくとも１つの係数を有することを特徴とする解像度を増したデータを得る方法。
6. 請求項５に記載の解像度を増したデータを得る方法において、前記第１および第２データ組が、各々、画像データを具え、前記第１感度特性が強度感度特性を具え、前記第２感度特性が波長感度特性を具えることを特徴とする解像度を増したデータを得る方法。
7. 請求項１に記載の解像度を増したデータを得る方法において、前記第１データ組を、カメラの画像センサによって発生された画像データとしたことを特徴とする解像度を増したデータを得る方法。
8. 請求項７に記載の解像度を増したデータを得る方法において、前記カメラが、ＳＶＥカメラと、ＳＶＣカメラと、ＳＶＥＣカメラとのうちの１つを具えることを特徴とする解像度を増したデータを得る方法。
9. データ解像度向上において使用するモデルを学習する方法において、
   複数の高品質画像を処理する画像処理ステップを含み、前記画像処理ステップが、
   シミュレートされた検出器応答関数を前記複数の高品質画像の各々に適用し、これによって訓練データ組を発生するステップと、
   局所的に不均質なモザイクパターン関数を前記訓練データに適用し、これによって品質低下データ組を発生するステップと、
   前記品質低下組の重み付き正規行列を計算するステップと、
   前記重み付き正規行列を行列和に加えるステップと、
   前記品質低下データの回帰ベクトルを計算するステップと、
   前記回帰ベクトルをベクトル和に加えるステップとを含み、該方法が、
   前記行列和を使用し、累算された正規行列を決定するステップと、
   前記ベクトル和を使用し、累算された回帰ベクトルを決定するステップと、
   最小二乗方程式を解き、解像度を増したデータを発生するモデルの係数行列を決定するステップとを含み、前記最小二乗方程式が第１側および第２側を具え、前記第１側が、前記累算された正規行列と前記係数行列との積を具え、前記第２側が、前記累算された回帰ベクトルを具え、前記係数行列が、多項式関数の係数を具えることを特徴とするデータ解像度向上において使用するモデルを学習する方法。
10. 請求項９に記載のデータ解像度向上において使用するモデルを学習する方法において、前記画像処理ステップが、前記重み付き正規行列を計算するステップおよび前記回帰ベクトルを計算するステップの前に、前記品質低下データをダウングレードするステップをさらに含むことを特徴とするデータ解像度向上において使用するモデルを学習する方法。
11. 解像度を増したデータを得る装置において、
    局所的に不均質な測定パターンにおいて配置された複数の感度特性を使用して第１データ組を発生するデータ発生器と、
    前記第１データ組を処理し、第２データ組を発生するモデルプロセッサとを具え、前記モデルプロセッサが、学習手順を使用して決定された第１モデルパラメータを有することを特徴とする解像度を増したデータを得る装置であって、
    前記複数の感度特性が、
    複数の強度感度特性と、
    複数の波長感度特性とを具えることを特徴とする解像度を増したデータを得る装置。
12. 請求項１１に記載の解像度を増したデータを得る装置において、前記複数の感度特性が、
    複数の時間範囲感度特性と、
    複数の偏光感度特性と、
    複数の距離感度特性と、
    複数の温度感度特性と、
    複数の磁気共鳴信号感度特性とのうち１つを具えることを特徴とする解像度を増したデータを得る装置。
13. 請求項１１に記載の解像度を増したデータを得る装置において、前記複数の感度特性が、
    電磁気信号波長と、
    音響信号波長との内１つにおける測定感度の依存性を有することを特徴とする解像度を増したデータを得る装置。
14. 請求項１１に記載の解像度を増したデータを得る装置において、前記複数の感度特性が第１および第２感度特性を具え、前記第１モデルパラメータが前記第１感度特性に対応し、前記モデルプロセッサが、前記第２感度特性に対応する第２モデルパラメータをさらに有し、前記第１データ組が第１および第２データ値を含み、前記データ発生器が、前記第１感度特性を使用して前記第１データ値を発生し、前記データ発生器が、前記第２感度特性を使用して前記第２データ値を発生し、前記モデルプロセッサが、少なくとも１つの多項式関数を前記第１および第２データ値に適用し、これによって少なくとも第３データ値を発生し、前記第３データ値が前記第２データ組のメンバであり、前記第１モデルパラメータが、前記第１データ値への前記少なくとも１つの多項式関数の適用を制御し、前記第２パラメータが、前記第２データ値への前記少なくとも１つの多項式関数の適用を制御することを特徴とする解像度を増したデータを得る装置。
15. 請求項１４に記載の解像度を増したデータを得る装置において、前記少なくとも１つの多項式関数が、各々、前記第１および第２モデルパラメータのうちの１つを含む少なくとも１つの係数を有することを特徴とする解像度を増したデータを得る装置。
16. 請求項１５に記載の解像度を増したデータを得る装置において、前記第１および第２データ組が、各々、画像データを具え、前記第１感度特性が強度感度特性を具え、前記第２感度特性が波長感度特性を具えることを特徴とする解像度を増したデータを得る装置。
17. 請求項１１に記載の解像度を増したデータを得る装置において、前記データ発生器がカメラの画像センサを具えることを特徴とする解像度を増したデータを得る装置。
18. 請求項１７に記載の解像度を増したデータを得る装置において、前記カメラが、ＳＶＥカメラと、ＳＶＣカメラと、ＳＶＥＣカメラとのうちの１つを具えることを特徴とする解像度を増したデータを得る装置。
19. データ解像度向上において使用する学習モデルに関する装置において、
    複数の高品質画像を処理する第１プロセッサを具え、前記第１プロセッサが、
    シミュレートされた検出器応答関数を前記複数の高品質画像の各々に適用し、これによって訓練データの組を発生する第２プロセッサと、
    局所的に不均質なモザイクパターンを前記複数の高品質画像の各々に適用し、これによって品質の低下したデータの組を発生する第３プロセッサと、
    前記品質の低下したデータの重み付き正規行列を計算する第４プロセッサと、
    前記重み付き正規行列を行列和に加える第５プロセッサと、
    前記品質の低下したデータの回帰ベクトルを計算する第６プロセッサと、
    前記回帰ベクトルをベクトル和に加える第７プロセッサと、
    前記行列和を使用し、累算された正規行列を決定する第８プロセッサと、
    前記ベクトル和を使用し、累積された回帰ベクトルを決定する第９プロセッサと、
    最小二乗方程式を解き、解像度を増したデータを発生するモデルの係数行列を決定する第１０プロセッサとを具え、前記最小二乗方程式が第１の側および第２の側を具え、前記第１の側が、前記累算された正規行列と前記係数行列との積を具え、前記第２の側が、前記累算されたベクトルを具え、前記係数行列が、多項式関数の係数を具えることを特徴とするデータ解像度向上において使用する学習モデルに関する装置。
20. 請求項１９に記載のデータ解像度向上において使用する学習モデルに関する装置において、前記第１プロセッサが、前記品質が低下したデータをダウングレードする第１１プロセッサをさらに具えることを特徴とするデータ解像度向上において使用する学習モデルに関する装置。
21. 局所的に不均質な測定パターンにおいて配置された複数の感度特性を使用して発生された第１データ組を受けるステップと、
    学習手順を使用して決定される第１モデルパラメータを有するモデルを使用して前記第１データ組を処理し、これによって第２データ組を発生するステップとを行うようにプロセッサに命令するように動作可能な命令の組を有するコンピュータ読み出し可能媒体において、
    前記複数の感度特性が、
    複数の強度感度特性と、
    複数の波長感度特性とを具えることを特徴とするコンピュータ読み出し可能媒体。
22. 請求項２１に記載のコンピュータ読み出し可能媒体において、前記複数の感度特性が、
    複数の時間範囲感度特性と、
    複数の偏光感度特性と、
    複数の距離感度特性と、
    複数の温度感度特性と、
    複数の磁気共鳴信号感度特性とのうちの少なくとも１つを具えることを特徴とするコンピュータ読み出し可能媒体。
23. 請求項２１に記載のコンピュータ読み出し可能媒体において、前記複数の感度特性の少なくとも１つが、
    電磁気信号波長と、
    音響信号波長とのうち一方における測定感度の依存性を有することを特徴とするコンピュータ読み出し可能媒体。
24. 請求項２１に記載のコンピュータ読み出し可能媒体において、前記複数の感度特性が第１および第２感度特性を含み、前記第１モデルパラメータが前記第１感度特性に対応し、前記モデルが、前記第２感度特性に対応する第２モデルパラメータをさらに有し、前記第１データ組が第１および第２データ値を含み、前記第１データ値を前記第１感度特性を使用して測定し、前記第２データ値を前記第２感度特性を使用して測定し、前記モデルを使用するステップが、少なくとも１つの多項式関数を前記第１および第２データ値に適用し、これによって少なくとも第３データ値を発生するステップを含み、前記第３データ値が前記第２データ組のメンバであり、前記第１モデルパラメータが、前記第１データ値への前記少なくとも１つの多項式関数の適用を制御し、前記第２モデルパラメータが、前記第２データ値への前記少なくとも１つの多項式関数の適用を制御することを特徴とするコンピュータ読み出し可能媒体。
25. 請求項２４に記載のコンピュータ読み出し可能媒体において、前記少なくとも１つの多項式関数が、各々、前記第１および第２モデルパラメータのうち一方を含む少なくとも１つの係数を有することを特徴とするコンピュータ読み出し可能媒体。
26. 請求項２５に記載のコンピュータ読み出し可能媒体において、前記第１および第２データ組が、各々、画像データを含み、前記第１感度特性が強度感度特性を含み、前記第２感度特性が波長感度特性を含むことを特徴とするコンピュータ読み出し可能媒体。
27. 請求項２１に記載のコンピュータ読み出し可能媒体において、前記第１データ組が、カメラの画像センサによって発生された画像データであることを特徴とするコンピュータ読み出し可能媒体。
28. 請求項２７に記載のコンピュータ読み出し可能媒体において、前記カメラが、ＳＶＥカメラと、ＳＶＣカメラと、ＳＶＥＣカメラとのうちの１つを具えることを特徴とするコンピュータ読み出し可能媒体。
29. 複数の高品質画像を処理する画像処理ステップであって、
    シミュレートされた検出器応答関数を前記複数の高品質画像の各々に適用し、これによって訓練データの組を発生するステップと、
    局所的に不均質なモザイクパターンを前記訓練データに適用し、これによって品質が低下したデータの組を発生するステップと、
    前記品質が低下したデータの組の重み付き正規行列を計算するステップと、
    前記重み付き正規行列を行列和に加えるステップと、
    前記品質が低下したデータの組の回帰ベクトルを計算するステップと、
    前記回帰ベクトルをベクトル和に加えるステップとを含む、画像処理ステップと、
    前記行列和を使用し、累算された正規行列を決定するステップと、
    前記ベクトル和を使用し、累算された回帰ベクトルを決定するステップと、
    最小二乗方程式を解き、解像度が増したデータを発生するモデルの係数行列を決定するステップであって、前記最小二乗方程式が第１および第２の側を有し、前記第１の側が前記累算された正規行列と前記係数行列との積を含み、前記第２の側が前記累算された回帰ベクトルを含み、前記係数行列が多項式関数の係数を含む、係数行列を決定するステップとを実行するようにプロセッサに命令するように動作可能な命令の組を有するコンピュータ読み出し可能媒体。
30. 請求項２９に記載のコンピュータ読み出し可能媒体において、前記画像処理ステップが、前記重み付き正規行列を計算するステップと、前記回帰ベクトルを計算するステップとの前に、前記品質が低下したデータをダウングレードするステップをさらに含むことを特徴とするコンピュータ読み出し可能媒体。

Images