JP2013511924A - 圧縮カラー画像サンプリングおよび再構成のための方法およびシステム - Google Patents

Abstract

圧縮カラー画像サンプリングおよび再構成のための方法およびシステムである。空間基底において元の画像の光特性を変換およびサンプリングすることによって生成したサンプルデータ集合を受け取り、生じた変換は、空間基底で実質的に斜交する。サンプルデータに対して圧縮センシング再構成技術が適用され、推定される原画像データの集合がもたらされる。データ処理装置は、このようなサンプルデータ集合を受け取り、圧縮センシング再構成技術を適用して推定される原画像データの集合をもたらすように適合される。好ましい実施例において、画像処理システムは、色フィルタアレイ（ＣＦＡ）を使用し、色は、画像センサ上にランダムまたは疑似ランダムに配置される。画像は、圧縮センシングスパース解検索技術を使用して、センサデータおよびＣＦＡパターンから推定される。推定された画像は、同一の数のセンサ要素を有するセンサを使用したＣＦＡ利用スキームを使用して実現される解像度よりも高い解像度を有する。

Description

関連出願
本件出願は、２００９年１１月２０日に出願された米国特許仮出願第６１／２６２，９２３号に基づいており、かつその利益を主張するものであり、その全体が引用によりここに援用される。

発明の背景
発明の分野
本発明の実施例は、画像処理における圧縮サンプリングのためのシステムおよび方法に関する。

背景情報
従来のサンプリング
デジタル信号解析においては、第一のステップとして、アナログ信号を離散領域に変換する必要がある。これは、アナログ信号をナイキストレート以上でサンプリングしなければならないことを定めた従来のサンプリング定理に基づいている。ナイキストレートは、アナログ信号の最も高い周波数成分の２倍と定められる。これに応じて、高帯域幅信号の場合には、高いサンプリングレートによって収集システムに高い負荷がかかり得る。

従来のカラー画像処理
ここでいう画像とは、関連する測定期間内において空間的に変化するが時間的に著しく変化しない強度、色、および偏光などの一部の光特性を現わし得る振幅を有するアナログ信号であるとみなされる。カラー画像処理において、光強度は典型的に感光センサ要素によって検出される。従来の画像センサは、典型的にこれらの感光センサ要素を二次元正多面体空間充填することによって構成される。カラー画像処理システムは、カラー画像を合成するために、少なくとも３つの基本色の画像をサンプリングする必要がある。ここで使用される「基本色」の用語は、画像処理システムによって画像が表現される色空間を形成する原色、二次色、またはその他の適切に選択された色の集合をいう。色センシングは、様々な手法によって実現され得る。例えば、（ａ）画像の同一コピーを３つ作成し、別個に各々の画像を基本色にフィルタリングし、別個の画像センサを用いて各々を感知する手法、または（ｂ）各基本色にフィルタリングされた画像を、回転フィルタディスクを用いて同じ画像センサに送るなどの手法がある。

しかし、カラー画像を得るための最も一般的な設計では、色フィルタアレイ（「ＣＦＡ」）を付加した単一のセンサが使用される。これは、通常は水平方向または垂直方向にストライプ状で設けられた各基本色のための３つのセンサ要素によって各出力ピクセルの値が定められる、簡易な設計を有している。

他のＣＦＡ設計としては、「カラー画像処理アレイ」と題されたＢａｙｅｒの米国特許第３，９７１，０６５号に記載の一般的な設計があり、主に規則的かつ反復的なパターンで配置された異なる色のフィルタが使用される。これらの全てのシステムは、非モザイク化または非モザイキングと呼ばれる処理に依存し、各ピクセル位置において３つの基本色を再構成する。従来の非モザイク化アルゴリズムは、典型的に、例えば双線形補間、復調およびフィルタリング、ならびにエッジ適応アルゴリズムなどの補間技術の使用を伴う。従来の非モザイク化アルゴリズムは、基本色からなる画像の周波数が高く、すなわち、画像が高精細であり、周波数が互いに相関する、または少なくとも一方向において低い高周波エネルギー成分を有する場合にのみうまく機能する。これらの高周波数特性が欠如している場合、再構成される画像にはアーティファクトが表れる。ランダムＣＦＡもまた、Ｃｏｎｄａｔの「良好なスペクトル特性を有するカラーフィルタアレイのランダムパターン」（ＩＢＢの研究報告書、ヘルムホルツ・ゼントラム・ミュンヘン、第０８−２５号、２００８年９月、ミュンヘン、ドイツ国）において研究がなされているが、ここでも再構成については従来の非モザイク化に依存している。このため、再構成される画像は、ランダム化によって視覚的には好ましくない状態が軽減されているが、非モザイク化によるアーティファクトが表れる。

信号圧縮
デジタル画像が取得された後、通常は画像圧縮が施され、これによって伝送時および記憶時におけるシステムデータ負荷を軽減することができる。画像圧縮は、ある基準において自然画像および人工画像の多くがほぼスパース状態であるという観測結果に基づいている。これは、経験的に観測された自然画像の階層的自己疑似性に依存するＪＰＥＧおよびウェーブレットに採用される、例えば離散コサイン変換（「ＤＣＴ」）などのフーリエ関連基底を含んでおり、ＪＰＥＧ２０００圧縮方法の基礎となっている。

汎用のセンシング
サンプリングされる信号がある基準においてスパース状態である場合、ナイキストレートでサンプリングを行うと、リソースの使用が非効率となる。このスパース性を活用してサンプリングレートを下げるための様々な試みが行われている。一部の技術においては、予期される信号構造に関する既存の知識を統合した制限的信号モデルを使用し、これによって、推測する必要のあるパラメータの数を減らす。適応マルチスケールセンシングにおいては、信号の予期されるマルチスケール構造に関する既存の知識が使用される。この技術は、必要とされる測定結果の数を減らすことに関しては非常に有効であるのに対し、連続的測定を行う必要があるという弊害がある。この特徴は、高速で移動する物体を画像処理する際には望ましくない。

圧縮センシング
近年、「圧縮センシング」という新しい低レートサンプリングスキームが開発されている。この圧縮センシング再構成技術の目的は、「スパース性促進」として知られる規則化スキームによって不良設定逆問題を解くことにある。ここでの不良設定逆問題は、原信号を不可逆に変換した信号のサンプルデータ集合から原信号を再構成することに関連する。スパース性促進は、ある基準において、原信号のスパース性に関する既存の統計的知識を使用し、その基準において、ほぼスパース状態である不良設定逆問題の解を優先的に見つけ出す。全体が引用によりここに援用される、およびその他による「強固な不確定性原理：高度に不完全な周波数情報からの完全な信号の再構成」（情報理論に関するＩＥＥＥ議事録、５２（２）ｐｐ．４８９−５０９、２００６年２月）を参照されたい。この文献の著者は、原信号がスパース状態である基底に対して非干渉である所定のサンプル基底において、原信号の不適応サンプルの数を減少させても、情報の損失が少ない信号、または情報の損失が全く無い信号を再生するには十分であることを示している。ここでの非干渉性とは、２つの基底の間での非類似性の基準である。より正確には、２つの基底それぞれからの基底ベクトルのペア間の内積における最大の大きさである。ＣａｎｄｅｓおよびＲｏｍｂｅｒｇによる「圧縮サンプリングにおけるスパース性および非干渉性」（逆問題、２３（３）ｐｐ．９６９−９８５、２００７）を参照されたい。この文献の著者は、基底間の非干渉性と、高い確率で原信号を正確に再構成するために必要なサンプルの数との間の反比例関係を導き出した。圧縮センシング技術は、論理的支持可能性と物理的確率とを併せて最大化することによって劣決定系方程式から原信号を再構成する。

当初は、演算的に不可能なコンビナトリアル検索を要するＬ_０ノルム最小化が必要であると考えられていた。しかし、注目すべきことに、より演算的に扱いやすい線形プログラミング手法でもうまく行くことが示された。この手法により、公知の観測によって制約されていたスパース基底において再構成のＬ_１ノルムが最小化される。

圧縮センシングにおける逆問題を解くための様々な公式が提唱されてきた。例えば、「基底追跡」ならびに制約および無制約凸二次計画法などがある。全体が引用によりここに援用されるＦｉｇｕｅｉｒｅｄｏおよびその他による「スパース再構成のための勾配投影：圧縮センシングおよび他の逆問題への適用」（信号処理における選択されたトピックに関するＩＥＥＥ議事録、２００７）を参照されたい。

ある公式は、無制約凸最適化問題を含み、

ｘは、スパース基底における解であって、一次元ベクトルにラスタライズされる。ｙは、観測された画像であり、これもラスタライズされる。Ａは、スパース状態から空間領域への基底の変化に相当する変換行列である。スパース表現であるｘは、ｙよりも要素の数が少ない。第一の項は、観測データからの偏差に対してペナルティを与える。これに対して、第二の項は、より小さいスパース解に対してペナルティを与えるように示されるＬ_１ノルムである。τは２つのペナルティ項の相対的な比重を制御する。

制約凸最適化問題の公式も存在する。この公式は、第一の項または第二の項だけを最小化し、その他方を閾値より小さくなるように制約する。

直交マッチング追跡（「ＯＭＰ」）、およびその多くの変化形、例えば同時直交マッチング追跡、段階的マッチング追跡、拡張マッチング追跡、スパースマッチング追跡、および連続的スパースマッチング追跡は、おおよその解を素早く得るためのアルゴリズムの一般的な部類を形成する。全変動（「ＴＶ」）最小化は、再構成の向上をもたらすことが示されている。全体が引用によりここに援用されるＣａｎｄｅｓおよびその他による「ランダムプロジェクションからの実用的な信号再生」（ＩＥＥＥ議事録、信号処理、２００５）を参照されたい。さらに他の部類に属する再構成アルゴリズムは、ノイズ除去方法によって促進され、変換領域における反復閾値化を含む。再構成の質をさらに高め、演算負荷をさらに減らすために、これらに続く開発が続いている。

圧縮センシングは、情報の拡張が可能である。すなわち、完全な再構成を行うにはサンプルが少なすぎる場合であっても、測定結果の数によって様々なレベルの情報を抽出することができる。

ここで使用される「圧縮センシング」（「圧縮型センシング」としても知られる）は、一部の基底における原信号のスパース性の概算に関する既存の統計的知識を使用して再構成を行い、その基底においてほぼスパース状態である原信号の変化形のサンプルに基づいて不良設定逆問題の解を優先的に見つけ出すことを意味する。

様々なスパース性促進解法がある。顕著なものをいくつか以下に挙げる。
ＧＰＳＲ：これは、勾配投影アルゴリズムを使用して、境界制約付き二次計画法の公式を解く。これは、全体が引用によりここに参照される、Ｆｉｇｕｉｅｉｒｅｄｏ、Ｎｏｗａｋ、Ｗｒｉｇｈｔによる「スパース再構成のための勾配投影：圧縮センシングおよび他の逆問題への適用」（信号処理における選択されたトピックに関するＩＥＥＥ議事録、２００７）に開示されており、現在はｈｔｔｐ：／／ｗｗｗ．ｌｘ．ｉｔ．ｐｔ／〜ｍｔｆ／ＧＰＳＲ／で入手することができる。

ｌ１−Ｍａｇｉｃ：これは、「線形プログラミング」または二次「錐計画法」の公式を解く。これは、現在では、ｈｔｔｐ：／／ｗｗｗ．ａｃｍ．ｃａｌｔｅｃｈ．ｅｄｕ／ｌ１ｍａｇｉｃ／で得ることができる、または、請求により著者エマヌエル・キャンデス、スタンフォード大学数学科、４５０、セラモール、ビルディング３８０から得ることができる。

Ｓｐａｒｓｉｆｙ：これは、ＯＭＰのいくつかの変形を含む複数のアルゴリズムを含む。これは、ｈｔｔｐ：／／ｗｗｗ．ｐｅｒｓｏｎａｌ．ｓｏｔｏｎ．ａｃ．ｕｋ／ｔｂｌｍ０８／ｓｐａｒｓｉｆｙ／ｓｐａｒｓｉｆｙ．ｈｔｍｌで入手することができる。

ｌ１＿ｌｓ：これは、内点法を使用して式（１）の凸二次計画法の公式を解く。それは、ｈｔｔｐ：／／ｗｗｗ．ｓｔａｎｆｏｒｄ．ｅｄｕ／〜ｂｏｙｄ／ｌ１＿ｌｓ／において入手することができる。

圧縮画像処理
残念ながら、画像処理に圧縮センシングを適用するには、いくつかの難点による弊害がある。任意のサンプリング基底を実施して特定のスパース基底との不干渉性を実現するには、各測定結果において全てのピクセル値が線形の組み合わせとなる必要がある。全てのピクセル値を得てそれらの線形の組み合わせを算出することは圧縮センシングの目的にそぐわないことから、感光要素によってセンシングされる前の光領域、またはデジタル化される前のアナログ電気領域において任意の基底に投影を実施する技術が開発されている。

このような技術の１つにおいては、デジタルミラー装置（「ＤＭＤ」）を使用して異なる基底への投影が行われ、複数のサンプルが逐次的に得られる。Ｄｕａｒｔｅおよびその他による「圧縮サンプリングを介した単一ピクセル画像処理」（ＩＥＥＥ信号処理マガジン、２５（２）、ｐｐ．８３−９１、２００８年３月）を参照されたい。連続的測定は、リアルタイム画像処理には好ましくない特性である。さらに、ＤＭＤに係る更なる費用は、センサに係る費用を大きく節約できた場合にのみ正当と認めることができる。これは、一部の検出器が、可視スペクトルそのものを測定するのではなく、可視スペクトルの縁部を超えて測定する場合である。

光領域において任意の基底に投影を実施する他の技術としては、マイクロ工学機械装置または複屈折構造を使用して画像を複数回にわたって複製し、測定の前に各レプリカを別個にフィルタリングする方法が挙げられる。Ｂｒａｄｙによる米国特許第７，５３２，７７２号「圧縮画像処理のためのコード化」を参照されたい。これらの技術には逐次的測定が不要であるのに対し、光学処理には更なる大きな費用がかかる。さらに、これらの技術はカラー画像を取得しない。

Ｊａｃｑｕｅｓ，Ｌ．、Ｖａｎｄｅｒｇｈｅｙｎｓｔ，Ｐ．、Ｂｉｂｅｔ，Ａ．、Ｍａｊｉｄｚａｄｅｈ，Ｖ．、Ｓｃｈｍｉｄ，Ａ．、およびＬｅｂｌｅｂｉｃｉ，Ｙ．による「ランダムコンボリューションによるＣＭＯＳ圧縮画像処理」（音響、音声、および信号処理についてのＩＥＥＥ国際会議（ＩＣＡＳＳＰ）、２００９年４月１９日−２４日）に記載の他の技術は、様々なセンサ要素を電気的に接続することによってサンプリングステップ自体において画像のランダムコンボリューションを行い、空間基底とは異なる基底において効果的にサンプリングを行う。これは、空間基底における非対角変換に影響を与える。コンボリューションをハードウェアで行うための特殊なハードウェアにかかる費用とは別に、このスキームには、連続的測定を行わなければならないという不都合による弊害がある。

したがって、演算的に実行可能であって、実用的であり、かつ経済的な方法で画像処理において圧縮センシングを使用するための方法およびシステムが求められる。

発明の概要
本発明は、画像を処理するための方法を提供する。本方法において、空間基底において原画像の光特性を変換してサンプリングすることによって生成されるサンプルデータ集合が受け取られる。生じた変換は、空間基底で実質的に斜交する。圧縮センシング再構成技術がサンプルデータ集合に対して適用され、推定される原画像データの集合がもたらされる。

さらに、複数の感光センサ要素を有する画像センサが、光特性に応答する複数の変換要素を有する光変換器とともにさらに設けられ、光変換器によって生じた変換は、空間基底において実質的に斜交する。この場合、画像は光変換器に対して投影され、原画像に対する変換要素の光応答は、画像センサでセンシングされ、サンプルデータ集合がもたらされる。

本発明は、さらに画像を処理するためのシステムを提供する。システムは、空間基底において原画像の光特性を変換してサンプリングすることによって生成されるサンプルデータを受け取るように適合されたデータ処理装置を含み、生じた変換は、空間基底において実質的に斜交する。その後に、データ処理装置は、圧縮センシング再構成技術をサンプルデータ集合に適用し、推定される原画像データの集合をもたらす。

システムはさらに、複数の感光センサ要素を有する画像センサと、光特性に応答する複数の変換要素を有する光変換装置とを含む。光変換装置によって生じた変換は、空間基底において実質的に斜交する。システムはさらに、光変換装置に対して画像を投影するように適合された光画像処理装置を含み、画像センサは、変換要素に対応する感光要素において画像に対する変換要素の光応答を受けるように、光変換装置に取り付けられ、サンプルデータ集合をもたらす。

本発明の１つの好ましい実施例は、ランダムまたは疑似ランダムに配置された色を有する色フィルタアレイと、同じ数のセンサ要素を使用し、各色においてモノクロ画像センサと同じ限界解像度を実現する圧縮センシングに基づいた画像再構成技術とを組み合わせる。

この概要は、以降の図面および詳細な説明において示されるものを概略的に記載するものであって、本発明の範囲を限定することを意図していないことが理解されるであろう。本発明の目的、特徴、および利点は、添付の図面と関連付けて以下の詳細な説明を考慮することにより容易に理解することができるであろう。

本発明の好ましい実施例による、圧縮サンプリングを使用してカラー画像をサンプリングおよび再構成するための方法を示すフロー図である。 本発明の好ましい実施例による、カラー画像処理システムの概略図である。 本発明の好ましい実施例による、色フィルタアレイを示す図である。 本発明の好ましい実施例による、圧縮サンプリングを使用したカラー画像のサンプリングおよび再構成をマットラブ（登録商標）を用いてシミュレーションした結果を示す図である。 本発明の好ましい実施例での使用に適したランダム色フィルタアレイをもたらすためのマットラブ（登録商標）コードの一部を示す図である。

発明の詳細な説明
従来技術による圧縮画像処理方法およびシステムにかかる制約を克服するために、本発明は、サンプリング基底として直接的に空間基底を使用する。この直接的な空間サンプリングは、上記で述べられた既存の画像サンプリング技術とは異なる。なぜなら、他の事象の中でも、この空間サンプリングは、空間基底で実質的に斜交するカラーフィルタリングなどの変換を行った後の画像をサンプリングする、すなわち、各位置の変換された値は、その位置のみにおける原画像に依存し、実質的に除去された位置には依存せず、測定結果とスパース基底との間の非干渉性を実現するからである。これは、スパース基底と、自然信号がほぼスパース状態であるフーリエ基底とが高度に不干渉であるため、うまく機能する。この選択により、各々の測定結果が単に個々のセンサ要素の出力であり、その全ての測定結果を同時に得られることから、複数の測定を行わなければならないという上述の難点による弊害はない。空間基底において斜交しない変換に影響を与える光ローパスフィルタなどの光要素はパイプライン型とすることができるが、原画像、すなわち圧縮センシング技術によって再構成しようとする画像は、ここではこのようなフィルタが適用された後にもたらされる画像として定義される。このような要素は、不干渉性を向上させる目的では使用されない。

モノクロ画像センサの場合、規則的なパターンで配列され、より少ないセンサ要素を有するセンサアレイを選択する単純な設計は、圧縮センシングの利点に寄与しない。このような画像センサの最大空間周波数は、ナイキスト周波数の減少により制限されてしまう。空間測定基底においてこれらの周波数でランダムに投影しても、エイリアシングと区別することができないため、ナイキスト限界を超える周波数が見込めない。その一方で、ランダムまたは疑似ランダムに選択されたセンサ要素を有する標準モノクロ画像センサは、いくつかのセンサ要素をオフ状態にしたとしても、品質の劣化が少ない、または劣化の無い最大解像度の画像を再構成するのに必要な情報を十分に提供することができる。これは、センサ領域の減少につながらない一方で、読み出しレートを下げる。これは、本発明の実施例を形成する。

本発明の好ましい実施例は、上記のモノクロ画像センサにおいてスパースセンサ要素を使用し、モノクロ画像センサと同じ数のセンサ要素を有する画像センサに３つの基本色を集め、モノクロセンサと同じ各色の限定解像度を得る。ランダムに配置された、各々の基本色のほぼ等しい数のフィルタ要素が、基本色を多重化させるために使用される。

他の実施例は、パンクロフィルタ要素を使用し、その各要素は、全ての基本色において異なる透過度を有する。ここでは、色の分布のみでなく、色の成分もランダムに選択される。しかし、このようなＣＦＡは、基本色のＣＦＡよりも製造が難しい。

他の実施例は、基本色であるが異なる透過性を有するフィルタを使用する、もしくは少数の非基本色または透明のフィルタをＣＦＡに追加する。これにより、結果として得られるセンサの感度またはダイナミックレンジが向上する。

図１は、圧縮画像処理の好ましい方法を示すフロー図である。ステップ１１０において、ＣＦＡには、ランダムまたは疑似ランダム（ここで使用される「ランダム」の用語は、疑似ランダムとランダムとを含むように解釈される）に配置される色を有する。ステップ１２０において、投射画像は、このＣＦＡを介してフィルタリングされる。ステップ１３０において、フィルタリングされた画像は、単一の測定期間において画像センサにより検出される。ステップ１４０において、圧縮センシングスパース信号再構成技術を使用して、最大解像度の画像が画像センサ出力およびＣＦＡパターンから再構成される。

図２は、本発明の好ましい実施例による画像処理システムの概略図である。画像２１０は、レンズ２２０によって光変換装置、具体的にはＣＦＡ２３０に結像される。（ここで使用される「光変換装置」の用語は、画像の１つまたはそれ以上の数の光特性に基づいてある状態から別の状態に光画像を変換する固定色フィルタまたは空間光変調器のような装置を意味する。）フィルタリングされた画像は、画像センサ２４０によって検出される。結果として得られる複数の感知されたフィルタリング画像の強度値は、プロセッサ２５０に送られる。プロセッサ２５０は、最大解像度の画像の再構成を行う図１のアルゴリズムを実行する。

図３は、本発明の好ましい実施例による例示的なＣＦＡ３１０を示す図である。この例においては、ほぼ等しい数の赤、緑、および青（総称して「ＲＧＢ」）のフィルタがランダムなパターンで分布している。

マットラブ（登録商標）シミュレーションが行われ、ランダムなパターンで配置されたほぼ同じ数の赤、緑、青のフィルタを有するＣＦＡが生成される。このようなＣＦＡを生成するためのマットラブ（登録商標）コードは、図５に示される。原カラー画像は、このＣＦＡを介してフィルタリングされ、フィルタリングされた画像に対して所定量の白色ノイズが加えられ、結果として得られる画像センサの出力において再構成が行われる。二次元離散コサイン変換（「ＤＣＴ」）基底は、スパース基底として使用される。ＧＰＳＲ解法が、信号再構成を行うために使用される。ＧＰＳＲ解法は、当業者によって理解されるように、上記の式（１）の公式を、均等境界制約付き二次計画法公式に変換し、勾配投影アルゴリズムを使用することによって解く。同じ数のセンサ要素によって作られる従来のモノクロセンサと同じ各色の最大解像度を有し、カラー画像のシミュレーション結果が、画質に僅かな劣化がありながらも得られた。このシミュレーションを行うためのマットラブ（登録商標）コードは、発明の詳細な説明の最後に記載されている。

図４は、このシミュレーションの結果を示す図である。画像４１０は、元のカラー画像である。画像４２０は、例示的なランダムＲＧＢフィルタによってフィルタリングされた後の原画像である。画像４３０は、再構成された最大解像度のカラー画像である。カラー画像は、ここでは濃淡画像で示される。

図５は、本発明の簡易な実施例のシミュレーションに使用されるマットラブ（登録商標）コードを示す図である。ＣＦＡを生成するためのマットラブ（登録商標）コードは、当業者がＧＰＳＲ解法を使用してこれらを再構成するには十分である必要がある。マットラブ（登録商標）は、アメリカ合衆国、マサチューセッツ州、ネイティクのザ・マスワークス・インコーポレーテッドの製品である。

この圧縮センシング画像処理設計により、画像取得層における圧縮の統合が可能となる。これにより、光場とデジタルデータとの間のインターフェースである焦点面の外でのデータ伝送要件を減らすことができ、少ない数の感光部を有する画像センサ設計が可能となる。また、これにより、低電力で、帯域幅の狭い画像センサの設計が可能となる。

上記のように、本発明は空間基底を測定基底として使用し、自然画像のスパース基底に対する不干渉性を活用することで、圧縮センシングを効果的に実現する。これにより、各色の画像を再構成するために必要なサンプルを減らし、互いに多重化される３色のサンプリングが可能となる。このシステムは、画質を高めるために、再構成技術に様々な変更を加えることができる。

３つの基本色の画像間での相関性を活用して、自然画像のスパース性が合成画像よりも高い結合基底で表現することができる。全体が引用によりここに援用される、Ｎａｇｅｓｈおよびその他による「カラー画像の圧縮画像処理」（音響、音声および信号処理についてのＩＥＥＥ国際会議（ＩＣＡＳＳＰ）、台北、台湾、２００９年４月）を参照されたい。結合基底は、スパース基底で基本色の画像を、全ての色に共通の部分および特定の色部分にリファクタリングする。

上述のように、ＴＶ最小化によって、Ｌ_１最小化のみを使用する場合よりも良い結果がもたらされる。ＴＶは、勾配利用平滑関数である。全体が引用によりここに援用される（ＩＢＲ）Ｃａｎｄｅｓおよびその他による「ランダムプロジェクションからの実用的な信号再生」（ＩＥＥＥ議事録、信号処理、２００５）を参照されたい。全体が引用によりここに援用される、Ｓ．Ｂｅｃｋｅｒ、Ｊ．Ｂｏｂｉｎ、およびＥ．Ｊ．Ｃａｎｄｅｓによる「ＮＥＳＴＡ：スパース再生のための速く正確な一次方法」（インプレス、シアムＪ．、画像処理科学について）に記載され、現在はｈｔｔｐ：／／ｗｗｗ．ａｃｍ．ｃａｌｔｅｃｈ．ｅｄｕ／〜ｎｅｓｔａ／または著者への要求により得ることができるＮＥＳＴＡ解法において、全変動最小化が実施される。

従来の非モザイク化された画像は、解法の開始点として使用することができる。ランダムＣＦＡパターンのためのこの非モザイク化は、全体が引用によりここに援用される（ＩＢＲ）、Ｃｏｎｄａｔの「良好なスペクトル特性を有するカラーフィルタアレイのランダムパターン」（ＩＢＢの研究報告書、ヘルムホルツ・ゼントラム・ミュンヘン、番号０８−２５、２００８年９月、ミュンヘン、ドイツ国）、およびに全体が引用によりここに援用される（ＩＢＲ）、Ｌｕｋａｃおよびその他による「ＲＧＢ色フィルタアレイを利用した画像処理パイプラインのための普遍的非モザイク化」（パターン認識、ｖｏｌ．３８，ｐｐ．２２０８−２２１２，２００５）に開示の方法を含む異なる方法を使用して行うことができる。これらを画像再生のための開始点として使用することにより、再生プロセスが加速し、一部の実施においては、再構成自体の質も向上し得る。非モザイク化された画像は、最大解像度の画像を再構成する前の画像のプレビューとして使用することができる。

他のＣＦＡパターンも使用することができる。これらのパターンは、異なる色空間をベースとして使用することができる。すなわち、原色の赤、緑、および青の代わりに異なる基本色の集合を使用することができる。

基本色の数が等しくないＣＦＡパターンを使用することができる。例えば、ベイヤーＣＦＡのように、赤または青の２倍の緑箇所を採用することができる。このような非対称性は、ノイズを減らすのに有用である。

全体が引用によりここに援用される（ＩＢＲ）、Ｃｏｎｄａｔの「良好なスペクトル特性を有するカラーフィルタアレイのランダムパターン」（ＩＢＢの研究報告書、ヘルムホルツ・ゼントラム・ミュンヘン、番号０８−２５、２００８年９月、ミュンヘン、ドイツ国）に記載のような、色分布に関して所定の制約を有するＣＦＡパターンを使用することもできる。このような制約により、同一色のフィルタ要素の凝集が避けられる一方、ＣＦＡパターンのランダム性が維持される。

他のウェーブレット基底、フラクタル基底、もしくはカーブレット基底またはこれらの組み合わせをスパース基底として使用することができる。スパース基底を選択する際、自然画像がよりスパース状態となる基底を選択する利点と、その基底が空間測定基底に対して低い不干渉性を有するという不都合とのバランスをとらなければならない。２Ｄ・ＤＣＴ基底の代わりのスパース基底としてドビッチーのウェーブレットを使用した実験では、視覚的には類似の再構成結果が得られた。

センサの読み取りは、熱源および電源からのポアソン光ショットノイズおよびガウスノイズによる弊害を受ける。これらの分布への対数尤度ペナルティ項を含む再構成アルゴリズムによって、より正確にノイズの無い原信号を抽出することができる。ＳＰＩＲＡＬ（全体が引用によりここに援用されるＺａｃｈａｒｙ Ｌ．Ｈａｒｍａｎｙ、Ｒｏｕｍｍｅｌ Ｆ．Ｍａｒｃｉａ、Ｒｅｂｅｃｃａ Ｍ．Ｗｉｌｌｅｔによる「これがＳＰＩＲＡＬ−ＴＡＰである：スパースポワソン強度再構成アルゴリズム−原理および実施」（画像処理に関するＩＥＥＥ議事録に寄稿）に記載され、現在はｈｔｔｐ：／／ｐｅｏｐｌｅ．ｅｅ．ｄｕｋｅ．ｅｄｕ／〜ｚｔｈ／ｓｏｆｔｗａｒｅ／から入手可能、または要求により著者から入手可能）は、Ｌ_１を促進するスパース性と全変動項に加え、ポワソン分布の負の対数尤度に基づいてペナルティ項を使用することができる解法である。

自然画像に対して統計的に関連する他の制約としては、大きなウェーブレット係数が粗いスケールとなる可能性がある。これは、ウェーブレットがスパース基底として選択される場合、再構成プロセスにおいて活用することができる。同様に、自然画像および大部分の合成画像をフーリエ変換する際に振幅が大きく周波数が低くなる可能性の高まりは、再構成プロセスに活用することができる。

輝度もしくは色度、またはこれら両方の限界分解能、または１つまたはそれ以上の数の基本色の限界分解能が低下した状態で画像再構成を行うと、より画質が向上する。

本発明は、静止画だけでなく、動画にも使用することができる。複数のフレームを僅かに拡張することに加え、複数フレームの互いの相関関係を活用して接合再生を行うアルゴリズムも使用することができる。

可視スペクトルにおけるカラー画像のみならず、本発明は、複数スペクトル画像センサシステムが形状的制約によって限定される他の状況においても使用することができる。本発明によって、多重スペクトルサンプリングを、取得時間の延長なくして、より小さい開口部を要する小さいセンサに縮小することができる。

本発明は、故障または誤作動を起こしたセンサ要素に対して画質の適応性をもたらす。これは、いくつかの故障したセンサ要素を廃棄する必要なくして、センサ歩留まりを改善するために使用することができる。

本発明は、画像スキャナに使用することができる。
本発明は、一次元および三次元を含む、異なる数の次元のマルチスペクトル画像の取得のために使用することができる。

以下に、図４に示されるシミュレーション結果を得るためのマットラブ（登録商標）コードを記載する。

上記の実施例、代替的実施例、および具体例は例示であり、限定として捉えられるべきではない。さらに、本実施例の範囲内において、その趣旨から逸脱しない限りでは様々な変更や改良が可能であり、本発明はそのような変更や改良を含む。

上記の明細書において使用された用語や表現は、記載のためであり限定ではなく、このような用語や表現の使用には、示され記載される特徴またはその一部の均等物を排除する意図はなく、本発明の範囲は添付の請求項のみによって定義される。

Claims (28)

1. 画像を処理するための方法であって、
   空間基底において原画像の光特性を変換してサンプリングすることによって生成されるサンプルデータ集合を受け取るステップを備え、生じた変換は、空間基底で実質的に斜交し、方法はさらに、
   推定される原画像データ集合をもたらすために、サンプルデータ集合に対して圧縮センシング再構成技術を適用するステップを備える、方法。
2. 複数の感光センサ要素を有する画像センサを設けるステップと、
   光特性に対して応答する複数の変換要素を有する光変換装置を設けるステップとをさらに備え、光変換装置によって生じた変換は、空間基底で実質的に斜交し、方法はさらに、
   光変換装置に画像を投影するステップと、
   サンプルデータ集合をもたらすために、原画像に対する変換要素の光応答を画像センサにおいて検知する、請求項１に記載の方法。
3. 光変換装置を設けるステップは、複数のフィルタ要素を有する光フィルタアレイを設けるステップを含む、請求項２に記載の方法。
4. 光フィルタアレイを設けるステップは、色に対して異なる応答を示す少なくとも２組のフィルタ要素を設けるステップを含む、請求項３に記載の方法。
5. 光フィルタ要素を設けるステップは、少なくとも１つの所定の分布状態を満たすランダムな色パターンで光フィルタ要素を配置するステップを含む、請求項４に記載の方法。
6. 光フィルタアレイには、複数の基本色のうちの１つに応答するフィルタ要素が設けられ、フィルタ要素は、ランダムな色パターンで配置され、推定される原画像データは全ての基本色によってもたらされる、請求項３に記載の方法。
7. 光フィルタアレイには、実質的に全てのセンサアレイ要素と一意的関係にあるフィルタ要素が設けられ、フィルタ要素の各々は基本色のうちの１つに応答し、フィルタ要素は、少なくとも一つの所定の分布状態を満たすランダムな色パターンで配置され、推定される原画像データは、全ての基本色でもたらされる、請求項６に記載の方法。
8. 光フィルタアレイには、ランダムに構成されたパンクロ色に応答するフィルタ要素が設けられ、フィルタ要素はランダムなパターンで配置され、推定される画像データは適切な色空間の全ての軸に沿ってもたらされる、請求項３に記載の方法。
9. 光フィルタアレイには、ランダムなパターンで配置された透過性または不透明フィルタ要素が設けられる、請求項３に記載の方法。
10. 画像センサの１つまたはそれ以上のセンサ要素に欠陥がある、請求項２に記載の方法。
11. 複数の逐次的なサンプルデータ集合がもたらされ、このサンプルデータ集合から、対応して推定される原画像データ連続セットがもたらされる、請求項２に記載の方法。
12. 光特性は、ランダムな色パターンにおいてサンプリングされた複数の色のうちの１つの強度であり、推定される原画像データは全ての基本色でもたらされる、請求項１に記載の方法。
13. 光特性は、ランダムな色パターンにおいてサンプリングされた複数のパンクロ色のうちの１つの強度であり、推定される画像データは、推定される原画像データ要素の各々の適切な色空間の全ての軸に沿ってもたらされる、請求項１に記載の方法。
14. 光特性は強度である、請求項１に記載の方法。
15. 画像を処理するためのシステムであって、
    データ処理装置を備え、データ処理装置は、
    空間基底で原画像の光特性を変換してサンプリングすることによって生成されたサンプルデータ集合を受け取るように適合され、生じた変換は、空間基底で実質的に斜交し、データ処理装置はさらに、
    推定される原画像データ集合をもたらすために、サンプルデータ集合に対して圧縮センシング再構成技術を適用するように適合される、システム。
16. 複数の感光センサ要素を有する画像センサと、
    光特性に対して応答する複数の変換要素を有する光変換装置とを備え、光変換装置によって生じた変換は、空間基底で実質的に斜交し、さらに、
    フィルタアレイに画像を投影するように適合された光画像処理装置とを備え、サンプルデータ集合をもたらすために、変換要素に対応する感光要素における画像に対する変換要素に対する光応答を受け取るように、光変換装置に対して画像センサが取り付けられる、、請求項１５に記載のシステム。
17. 光変換装置は、複数のフィルタ要素を有する光フィルタアレイを含む、請求項１６に記載のシステム。
18. 少なくとも２組のフィルタ要素は、色に対して異なる応答を示す、請求項１７に記載のシステム。
19. 光フィルタ要素は、少なくとも１つの所定の分布状態を満たすランダムな色パターンで配置される、請求項１８に記載のシステム。
20. フィルタ要素は、複数の基本色のうちの１つに応答し、ランダムな色のパターンで配置され、推定される原画像データは全ての基本色によってもたらされる、請求項１７に記載のシステム。
21. フィルタ要素は、実質的に全てのセンサアレイ要素と相関関係にあり、各々が有限数の色のうちの１つに応答し、少なくとも一つの所定の分布状態を満たすランダムな色パターンで配置され、推定される原画像データは、全ての基本色でもたらされる、請求項２０に記載のシステム。
22. フィルタ要素は、ランダムに構成されたパンクロ色に応答し、ランダムなパターンで配置され、推定される画像データは、各センサ要素に対応する適切な色空間の全ての軸に沿ってもたらされる、請求項１７に記載のシステム。
23. 光フィルタ要素は、ランダムなパターンで配置された透過性または不透明フィルタ要素である、請求項１７に記載のシステム。
24. 画像センサの１つまたはそれ以上の数のセンサ要素に欠陥がある、請求項１６に記載のシステム。
25. センサは、複数の連続したサンプルデータ集合をもたらし、処理装置は、このサンプルデータ集合から、対応して推定される原画像データをもたらす、請求項１６に記載のシステム。
26. 光特性は、少なくとも１つの所定の分布状態を満たすランダムな色パターンにおいてサンプリングされた基本色の強度であり、データ処理装置は、推定される元のデータを全ての基本色でもたらすように適合される、請求項１５に記載のシステム。
27. 光特性は、少なくとも１つの所定の分布状態を満たすランダムな色パターンにおいてサンプリングされた有限数のパンクロ色のうちの１つの強度であり、データ処理装置は、推定される原画像データ要素の各々に適切な色空間の全ての軸に沿って推定される原画像データをもたらすように適合される、請求項１５に記載のシステム。
28. 光特性は強度である、請求項１５に記載のシステム。