JP2004536518A

JP2004536518A - デモザイク処理プロセスにおけるバイラテラルフィルタリング

Info

Publication number: JP2004536518A
Application number: JP2003514501A
Authority: JP
Inventors: レナート・ケシェット; ダニー・バラシュ; ドロン・シェイケッド; マイケル・エラド; ロニ−・キンメル
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 2001-03-21
Filing date: 2002-03-20
Publication date: 2004-12-02
Also published as: EP1371015B1; WO2003009231A2; DE60236581D1; US20020186309A1; US6816197B2; EP1371015A2; WO2003009231A3

Abstract

【課題】特に異なる色の強度値のモザイクパターンから画像を復元する。
【解決手段】カラーモザイクパターン（１０）が出力画像（２０、２２および２４）に変換される場合に急峻な強度遷移におけるアーティファクトを低減するために、バイラテラルフィルタリングのフレームワークにデモザイク処理畳み込みカーネル（ｋ_p,c）が組込まれる。強度を考慮せずに選択されるウィンドウ内のバイラテラルフィルタリングの結果として、物理的に近接する画素Ｉ（ａ，ｂ）の強度値には、より遠い画素の強度値より大きい重みが与えられ、同時に、量的に類似する（すなわち、測光的に類似する）強度値には、量的に非類似の強度値より大きい重みが与えられる。デモザイク処理操作において測光的類似性を使用することにより、急峻な強度遷移の一方の側の画素に対し補間された強度値を確定する際に、急峻な強度遷移の反対側に対する画素の影響が低減される。
【選択図】図１

Description

【技術分野】
【０００１】
本発明は、包括的には画像情報を操作することに関し、特に異なる色の強度値のモザイクパターンから画像を復元する方法およびシステムに関する。
【背景技術】
【０００２】
デジタルカラー画像は、画像の各ポイントにおいて色の強度を表す画素値のアレイからなる。
一般的には、画像を生成するために３つの色が使用され、それらの色の各々の強度は、各画素に対して特定される。
画像を復元する際、３つの強度は、画素単位で結合されることにより、プリントされるかまたは見る人に表示される画像を確定する。
【０００３】
従来のカラー写真術は、カラースペクトルの異なる領域に感度を有する３つのオーバーラップする色検知層を利用する。
通常は、赤、緑および青が、３つの選択された色である。
しかしながら、デジタルカメラは、単一アレイのセンサに限定されるため、１つの「層」しかない。
この層内において、各センサは特定の色の強度を確定する。
結果として、センサアレイは、従来の意味のカラー画像ではなく、個々のカラーサンプルの集まりを生成する。
アレイ内の個々の画素への色の割当を、カラーフィルタアレイ（ＣＦＡ）またはカラー「モザイクパターン」と呼ぶこともある。
本来のカラー画像を生成するために、各画素にカラーサンプルの完全なセットがある場合、欠落情報を推定するために相当量の計算が必要である。
計算上の操作を、一般に「デモザイク処理（demosaicing）」と呼ぶ。
【０００４】
各画素において１つの色のみが検知されるため、スペクトル情報の２／３が欠落する。
特定画素において欠落情報を生成するために、近傍画素からの情報を使用してもよい。
その理由は、特定画像の同じ領域における画素間に統計的依存性があるためである。
複数のデモザイク処理アルゴリズムが利用可能である。
「双線形補間」は、デモザイク処理操作の複雑性を最小限にするよう試みる手法である。
双線形補間アルゴリズムは、同じ色のセンサのみからの色強度を補間する。
すなわち、赤色センサは、緑色および青色センサとは独立して扱われ、緑色センサは、赤色および青色センサとは独立して扱われ、青色センサは、赤色および緑色センサとは独立して扱われる。
所与の画素において赤色強度値を提供するために、指定されたサイズの近傍において（たとえば、中心に所与の画素を有する９つのセンサの近傍において）赤色センサによって測定される値が補間される。
センサのモザイクパターンがベイヤー（Bayer）パターン（すなわち、カーネル内に対角線上に配置される２つの緑色センサと１つの赤色センサと１つの青色センサとを有する、繰返しの２×２センサアレイカーネル）である場合、双線形補間アルゴリズムは、１２の畳み込みカーネルを使用して画像を復元することができる。
しかしながら、デモザイク処理操作において異なる色を分離する手法は、比較的低レベルの計算オーバヘッドを提供するが、復元される画像には、従来のカラー写真術の鮮鋭性が欠ける。
後述するように、アーティファクトを最小化することと鮮鋭性を最大化することとの間には望ましくないトレードオフがある。
【０００５】
別の手法は、Wober他に対する米国特許第５，４７５，７６９号（特許文献１）に述べられている。
この手法では、カラーセンサはもはや他の色のセンサとは無関係であるようには扱われない。
双線形補間手法のように、定義されたサイズの画素の近傍をモザイクパターンに関して「移動(move)」させ、近傍の中心にある画素に対して強度値を確定する。
近傍の各画素は、中心画素に対する色感度に対して重みが付けられる。
各センサ画素の欠落した色強度値は、各色帯域に対し近傍の重み付き画素を平均化することによって推定される。
近傍データと画素データとは、Ａ＊Ｗ＝Ｘの形式を有する行列およびベクトル表現で配置される。
ここで、Ａは近傍値の行列であり、Ｗは重み係数を表すベクトルであり、Ｘは中心画素の特定波長の色成分のベクトルである。
重み係数は、線形最小平均二乗誤差（linear minimum mean square error（ＬＭＭＳＥ））解を用いて確定することができる。
【０００６】
単一画素アレイを、各々が同じ色のセンサを有する、複数の別々の画素の平面から構成されるものと見てもよい。
画素はオーバーラップしないため、あらゆる平面のセンサは異なる位置にある。
複数の単色平面にわたって重み付き平均をとるデモザイク処理手法は、サンプル位置間の統計的依存性を利用する。
実際には、カメラ光学系による画像のぼけにより、単色平面のうちの１つのセンサに正確に存在する真のオブジェクトエッジ（すなわち、イメージングされているオブジェクトのうちの１つのエッジ）が、他の色平面でも見られることになる。
その理由は、他の単色平面のセンサへのぼけにより画像が広がるためである。
【０００７】
カメラ光学系によってもたらされるぼけは、画像を復元するデモザイク処理操作において役立つが、デモザイク処理操作は、ぼけを増大させてはならず、すなわち復元された画像に他のいかなるアーティファクトも付加してはならない。
デモザイク処理アルゴリズムの目標は、本来の色鮮鋭なプリントまたは表示を提供するように画像を忠実に復元することでなければならない。
１つの問題は、補間手法が強度の急峻な変化においてアーティファクトをもたらす傾向にある、ということである。
急峻な遷移の例として、照明が不足した部屋で取込まれるデジタルピクチャは、いかなる照明源に沿っても鮮鋭な遷移を有することになる。
鮮鋭な遷移はまた、２つの明るい色の間の境界でも発生する。
ほとんどの既知の補間アルゴリズムは、遷移を特定することに依存しない近傍内の推定を提供するため、遷移に沿って発生する平均化は、遷移の一方の側の高強度値と反対側の低強度値との両方を考慮する。
空間不変補間は、遷移に沿って画像をぼんやりさせる。
すなわち、復元された画像は、その鮮鋭性を幾分か喪失する。
鮮鋭化喪失の程度は、部分的に、急峻な強度遷移においてアーティファクトの導入を制御することに対する重要性によって決まる（すなわち、鮮鋭性／アーティファクトトレードオフがある）。
【０００８】
鮮鋭性を増大させるように設計される空間不変手法を、David TaubmanのＧｅｎｅｒａｌｉｚｅｄＩｍａｇｅＤｅｍｏｓａｉｃｉｎｇａｎｄＥｎｈａｎｃｅｍｅｎｔ（一般化画像デモザイク処理および拡張（ＧＩＤＥ））手法と呼んでもよい。
ＧＩＤＥは、センサ特性と、関連イメージングシステムおよび広義定常（ＷｉｄｅＳｅｎｓｅＳｔａｔｉｏｎａｒｙ（ＷＳＳ））雑音のモデルと、先の画像統計モデルと、を含む要素の点から、オリジナルシーン復元の誤差推定を最小化する。
その手法は、David Taubmanによる「Generalized Wiener Reconstruction of Images from Colour Sensor Data Using a Scale Invariant Prior」、Proceedings of the International Conference on Image Processing(ICIP2000)(Vancouver、Canada、September、2000)と題された出版物（非特許文献１）において概説されている。
本手法は、ほとんどの場合に十分に作用するが、強度の急峻な変化のエッジにおいて「過鮮鋭化する（oversharpen）」傾向がある。
すなわち、第１の強度レベルから大幅に高い第２の強度レベルまでの急峻な遷移がある場合、遷移の直前の画素の補間された画素値は、第１のレベルより大幅に下に低下する可能性があり、一方急峻な遷移およびその直後に配置される画素は、第２の強度レベルより大幅に上の補間された画素値が割当てられる可能性がある。
過鮮鋭化により、復元された画像にアーティファクトがもたらされる。
アーティファクトは、他の手法によってもたらされるものより視覚的に不快ではないが、はっきり目に見える。
【０００９】
空間可変手法は、各々がイーストマン・コダック・カンパニー（Eastman Kodak Company）に譲渡されている、Laroche他に対する米国特許第５，３７３，３２２号とHibbardに対する同第５，３８２，９７６号（特許文献２，３）とにおいて述べられている。
Laroche他の特許は、クロミナンス値を補間することに関連し、一方Hibbard特許は、輝度値を補間するために同じ技法を使用する。
Laroche他に関し、デジタルプロセッサは、特定の関心画素からの垂直画像方向と水平画像方向とにおけるクロミナンス値間の差から勾配値を取得する。
勾配値は、追加のクロミナンス値の補間のために好ましい向きとして方向のうちの一方を選択するために、互いに比較される。
そして、好ましい向きに一致するように選択される値に対し、補間が実行される。
勾配値の比較を実行することにより、エッジアーティファクトが低減され画像鮮鋭性が向上する。
【００１０】
Matraszek他に対する米国特許第５，８７５，０４０号（特許文献４）は、画素補間が実行される前に方向を計算する、別のイーストマン・コダック・カンパニー特許である。
Matraszek他の特許は、ソース画像の欠陥領域における欠陥画素を補正するために使用される。
その方法は、欠陥領域を有する画像の非欠陥領域においてエッジを探索するステップを含む。
一旦非欠陥領域のエッジが特定されると、欠陥領域に対する画素信号は、エッジの方向によって確定される欠陥画素からの方向に位置する非欠陥画素の画素信号に基づく。
好ましくは、エッジの検出において方向角と大きさとがともに計算される。
エッジ方向角は、考慮されている画素における勾配方向に対して垂直であると定義される。
エッジの位置を特定する１つの方法は、欠陥領域に隣接する寸法が制限された「スライディング」ウィンドウとして、非欠陥領域を選択することとして説明され、ウィンドウは、局所的な非欠陥領域を画定する。
この特許では、ウィンドウの中心またはウィンドウの端部を欠陥領域から分離する幾分かの事前選択された距離がある可能性があるため、隣接が必ずしも直接隣接することを意味しない、ということに言及している。
そして、勾配フィールドを使用して、ウィンドウのエッジの位置を特定することができる。
上述した方法を使用して、画素値を非欠陥領域からの画素値に基づかせることができる。
【００１１】
特定画素値の確定において他の画素値が選択される方向を適当に選択することにより、アーティファクトの導入を制御することができる。
しかしながら、最初に方向を確定しその後画素値を確定するプロセスは、計算上複雑である。多数の反復が必要である可能性がある。
【特許文献１】
米国特許第５，４７５，７６９号
【特許文献２】
米国特許第５，３７３，３２２号
【特許文献３】
米国特許第５，３８２，９７６号
【特許文献４】
米国特許第５，８７５，０４０号
【非特許文献１】
David Taubmanによる「Generalized Wiener Reconstruction of Images from Colour Sensor Data Using a Scale Invariant Prior」、Proceedings of the International Conference on Image Processing(ICIP2000)(Vancouver、Canada、September、2000)
【発明の開示】
【発明が解決しようとする課題】
【００１２】
必要なことは、高レベルの計算オーバヘッドなしに、色情報のモザイクパターンから画像を忠実に復元する方法およびシステムである。
【課題を解決するための手段】
【００１３】
後述するバイラテラルフィルタリングを使用することにより、デモザイク処理操作において強度遷移の保存が向上する。
結果として、色画素のモザイクパターンにおける近傍画素間の補間は、強度の影響を受けないウィンドウ内の画素値の相対位置と測光的類似性とを含む要素に基づく。
「強度の影響を受けない」とは、ウィンドウの位置が、画像内の測光的類似性または非類似性の関数ではないことを意味する。
むしろ、測光的類似性は、ウィンドウの位置が確定された後の要素である。
このため、特定画素に対する強度値を確定するための固定向きのウィンドウ内では、物理的に近接する画素の強度値に対し、より離れた画素の強度値より大きい重みが与えられ、同時に、量的に類似する強度値には、量的に類似しない強度値よりも大きい重みが与えられる。
急峻な強度遷移の一方の側において補間された強度値を確定する際に急峻な強度遷移の反対側における画素の影響を低減することにより、復元された画像において遷移の鮮鋭性が向上する。
このため、鮮鋭性とアーティファクトのない復元との間の従来のトレードオフは、少なくとも部分的に除去される。
【００１４】
本発明を双線形補間デモザイク処理で使用してもよいが、別の実施形態は、近傍の略中心（正確な中心は、所与のサイズのウィンドウのパラメータ次第では、いかなる画素の物理的位置とも一致しない場合があるため、「略」中心）において画素の強度値を確定する際に、モザイクパターンの所与のサイズのウィンドウ内の強度値のすべてが考慮される、というものである。
このため、デモザイク処理は、少なくともＰ_s×Ｐ_tの異なる畳み込みカーネルを利用することを含み、Ｐ_sが所与のサイズの近傍内のあり得る色配置の数であり、Ｐ_tがモザイクパターンの異なる色の数である。
ベイヤーパターンの場合、Ｐ_s＝４およびＰ_t＝３であり、そのため１２の畳み込みカーネルがあることになる。
【００１５】
バイラテラルフィルタリングでは、近傍画素の強度値間の測光的類似性を示す類似性関数が、近傍画素位置の相対位置の確定とアルゴリズム的に結合される。
復元される画像の各画素に対し、類似性関数は、関連画素の近傍が選択された後に適用される。
アルゴリズム的結合の結果として、選択された近傍内の強度値間の統計的依存性は、より確実に推定される。
一実施形態では、類似性関数は、相対位置の確定によって乗算される係数を定める。
この実施形態では、絶対的な測光的非類似性が小さい場合は「１」に近接する係数を返し、測光的非類似性が増大するにしたがって「０」に向かう。
このため、類似性関数は、強度が低速に変化する画像領域にはほとんど影響を与えないが、画像内の高コントラスト遷移の周囲ではアーティファクトを抑止する。
【００１６】
デモザイク処理プロセスを、緑色画像平面、赤色画像平面および青色画像平面等、複数の単色画像平面を形成するものとみなしてもよい。
一実施形態では、各出力画像平面は、オリジナルモザイクパターンと同数の画素を有し、各画素は強度値を有する。
このため、各画素位置には３つの強度値（すなわち、各単色画像に対して１つの強度値）が割当てられ、各強度値は、画素位置の選択された他の画素位置に対する相対位置と、選択された画素位置の強度値に対する測光的類似性とに基づく。
ウィンドウの位置および向きが強度に影響を受けないため、選択された画素位置は、略中心として特定の画素位置を有する所与のサイズのウィンドウ内に含まれるものである。
なお、本発明の実施に対してウィンドウの形状は重要ではない。
【００１７】
本発明を実施するシステムは、センサが色特定であるセンサの２次元アレイを含む。
重要ではないが、センサをベイヤーパターンに配置してもよい。
センサアレイには、モザイクパターンを表すフォーマットで信号を受取る入力が接続される。
デモザイク処理プロセスソフトウェア／ハードウェアは、オリジナルモザイクパターンの別個の画素位置の各々において異なる色の各々の強度値を生成することができる。
デモザイク処理能力は、モザイクパターンの空間情報にアクセスし、強度値が画素位置の相対位置とスペクトル情報の測光的類似性との両方に基づいて生成されるようにスペクトル情報を処理するように構成される、バイラテラルフィルタを有する。
一実施形態では、デモザイク処理能力はまた、モザイクパターン内の第１の画素位置と第２の画素位置との相対位置の計算に応答する第１の入力を有し、また第１の画素位置と第２の画素位置とに含まれるスペクトル情報間の測光的類似性の計算に応答する第２の入力を有する、乗算器も有する。
モザイクパターンがベイヤーパターンである実施形態の場合、適応係数を有する１２の格納された畳み込みカーネルが利用される。
【発明の効果】
【００１８】
本発明の利点は、ウィーナ（Wiener）フィルタ等の既知の線形復元フィルタを、遷移およびテクスチャの影響を受けるように変更することができる、ということである。
適応的であることに加えて、バイラテラルフィルタリングを有するデモザイク処理は、反復を必要としない。
これは、補間が発生することができる前に急峻な強度（色または輝度）のエッジを特定しなければならないシステムとは対照的である。
プロセスを、わずかな量の計算オーバヘッドを追加するのみで空間可変となるようにすることにより、遷移およびテクスチャの影響を受けるようにすることができる。
デモザイク処理においてアーティファクトを「補正」するためにバイラテラルフィルタリングを適用することを、実質的にアーティファクトがない画像の復元において鮮鋭性を向上させるためにデジタルカメラ等のアプリケーションで使用することができる。
【発明を実施するための最良の形態】
【００１９】
図１を参照すると、画像センサアレイ１０は、ベイヤーパターンと呼ばれる配置に従うモザイクパターンによって表される。
センサアレイは、複数の別個の色特定検出器を使用してそのサンプルを獲得するカラーサンプリングデバイスである。
アレイは、１５００列および１５００行を有してもよいが、ＭおよびＮの値は本発明には重要ではない。
【００２０】
センサアレイ１０を使用して取込まれる画像を、４つの入力画像平面１２、１４、１６および１８に分解されていると考えてもよい。
各入力画像平面は２つの条件を満たす。
第１に、平面は、水平および垂直サンプリング間隔内に同数のサンプルを有する。
第２に、複数の画像平面が同じ色特性を有することができるが、所与の入力画像平面のサンプルのすべてが同一の色特性を有していなければならない。
たとえば、画像平面１２および１８は、文字「Ｇ」で示すように緑色サンプルを含む。
画像平面１４は、文字「Ｂ」で示すように青色に特有のサンプルのすべてを含み、一方画像平面１６は、文字「Ｒ」で示すようにセンサアレイ１０からの赤色サンプルのすべてを含む。
例示する実施形態はベイヤーパターンを示すが、いかなる規則的なサンプリング格子を図１に示す画像平面のセットに分解することも可能である。
【００２１】
図１において、合計３つの異なる色（Ｐ_t＝３）があり、画素の２×２近傍内に４つのあり得る色配置（Ｐ_s＝４）がある。
あり得る色配置の数は、４つのイメージング平面１２、１４、１６および１８で一貫している。
この例示する実施形態では、デモザイク処理は、１２の畳み込みカーネル（Ｐ_s×Ｐ_t＝１２）を利用する。
１２の畳み込みカーネルは、入力画像平面のいずれが、補間が発生する可動近傍の現中心にある画素に対するサンプルを含むかに基づき、および、いずれの単色出力平面２０、２２および２４が目下構成されているかに基づき、選択される。
各単色出力平面は、入力画像平面１２、１４、１６および１８の強度値から導出される補間された強度値を含む。
出力強度値を導出する技法は、本技術分野において既知である。
たとえば、線形補間を使用してもよい。
しかしながら、一実施形態では、ＧｅｎｅｒａｌｉｚｅｄＩｍａｇｅＤｅｍｏｓａｉｃｉｎｇａｎｄＥｎｈａｎｃｅｍｅｎｔ（ＧＩＤＥ）手法を使用する。
この手法では、畳み込みカーネルを生成する際に、捕捉装置（たとえば、センサアレイ１０用の集光光学系）のシーン統計量と物理的特性とが考慮される。
【００２２】
単色出力平面２０、２２および２４の強度値を導出する既知の手法の問題は、出力平面から形成される最終画像に、アーティファクトがしばしば導入される、ということである。
特に、アーティファクトは、取込まれた画像内の急峻な強度遷移の結果として導入されることが多い。
ここで図２を参照すると、センサアレイ１０を横切る距離の関数としての強度のグラフが、平坦域３０の両側に２つの急峻な遷移２６および２８を含むものとして示されている。
図２に示す反応は、平坦域３０に対応する画素が光源をイメージングし、平坦域の両側の画素が暗い領域をイメージングする場合に、発生する可能性がある。
図２の反応の平坦領域は平滑ではないが、その理由は、イメージング信号を取込む際に幾分かの雑音が生成されるためである。
【００２３】
１つのアーティファクト源は、双線形補間を参照する場合にもっとも明確に理解される。
上述したように、双線形補間は、画素値を、同じ色のセンサの近傍の画素値に基づかせる。
例として、図１の赤色画像平面１６内の画素の場合、補間ステップにおいて同じ画像平面の画素値のみが考慮される。
ベイヤーパターンが赤色画素と青色画素との交互の行を有するため、復元された画像において急峻な強度遷移のエッジが近接して見える場合、対角線状に延在する急峻な強度遷移は、モザイクパターンの容易に検出可能な残存物を有する。
この残存物は、遷移に沿った交互の赤色画素と青色画素との対角線パターンとして現れる。
【００２４】
第２のアーティファクト源を、図２および図３を参照して説明する。
図１のセンサアレイ１０によって取込まれるような、図２の急峻な遷移２６および２８は、単色出力平面２０、２２および２４の強度値が補間に対する単純な平均化手法を使用して確定される場合にぼやける。
たとえば、急峻な遷移２６より前の補間された強度値は、画素の少なくともいくつかが平坦域３０に対応する強度値によって平均化されるため、不正確に高いように確定されることになる。
同様に、平坦域３０の初期強度値は、急峻な遷移２６の直前の画素で平均化されるため不正確に低くなる。
急峻な下方への遷移２８において、同様な「平滑化」が発生する。
結果としての応答３２を、図３に表す。
かかる応答は、デモザイク処理が線形フィルタリングとともに使用される場合に発生する可能性が最も高い。
【００２５】
ＧＩＤＥ手法と他の補間手法とは、この「平滑化」問題を、別のタイプのカラーアーティファクトを提示する方法で対処する。
このアーティファクトを、「過鮮鋭化（oversharpening）」と呼んでもよい。
また図２および図３を参照すると、単純な平均化によってもたらされる誤差を克服するために急峻な遷移２６に先立つ画素を「低下させ（depressed）」てもよい。
同様に、平均化問題を克服するために、急峻な遷移２６のすぐ後に続く画素を上昇させてもよい。
しかしながら、過補償が発生することが多く、そのため急峻な遷移の直前の画素に低すぎる値が割当てられ、遷移の直後の画素に、統計的に高すぎる値が割当てられることになる。
応答における同様の上昇および下降のハンプは、第２の急峻な遷移２８の両側において反対の順序ではあるが発生する。
【００２６】
本発明によれば、バイラテラルフィルタリングのフレームワークにデモザイク処理畳み込みカーネルを組込むことにより、アーティファクトが回避される。
このため、強度値を補間するための基礎として相対位置を利用することに加えて、測光的類似性が考慮される。
図４を参照すると、バイラテラルフィルタリングの使用により、平坦域３０の両側における急峻な遷移２６および２８が保存される。
したがって、プロセスにより、より鮮鋭な最終画像がレンダリングされる。
雑音除去（デモザイク処理とは対照的に）を実行するためにかかるフィルタリングを使用することは、C. TomasiおよびR. Manduchiにより、「Bilateral Filtering for Gray and Color Images」、Proceedings of the 1998 IEEE International Conference on Computer Vision, Bombay, Indiaと題された出版物において説明されている。
【００２７】
本明細書で使用する「相対位置」は、強度値が考慮されている２つの画素の座標を考慮することを言う。
図１を参照すると、第１の画素ｉ，ｊの第２の画素ａ，ｂに対する相対位置を、単純に座標ｉ−ａ，ｊ−ｂに基づいて確定してもよい。
デモザイク処理操作において、「可動」ウィンドウが使用され、強度値が補間されている画素ｉ，ｊは略中心に位置し、近傍における他の画素（ξ）の各々の強度値と比較される。
本発明によれば、ウィンドウの形状は重要ではなく、可動ウィンドウの位置および向きは、急峻な遷移の影響を受けない。
すなわち、所与の画素のウィンドウは強度の影響を受けない。
【００２８】
本明細書で使用する「測光的類似性」とは、２つの画素値が量的に類似している程度を言う。
図２を参照すると、急峻な上方の遷移２６より前の領域の画素値は、測光的に類似している。
同様に、平坦域３０に位置合せされた画素の強度値は、測光的に類似している。
しかしながら、急峻な遷移２６の両側の画素の強度値は、測光的に類似していない。
【００２９】
バイラテラルフィルタリングのフレームワークに線形補間畳み込みカーネルを組込むことにより、図１のセンサアレイ１０によって取込まれた入力画像Iのすべての画素位置（ｉ，ｊ）に対して、以下の式に従ってフィルタリングされた出力ｈ（ｉ，ｊ）が返される。
【００３０】
【数１】

【００３１】
ここで、ｋ（・，・）は、相対位置を考慮する事前定義された２次元空間カーネルであり、ｓ（・）は、測光的類似性を組込む事前定義された１次元類似性関数である。
このため、ｋ（ｉ−ａ，ｊ−ｂ）は、画素位置（ｉ，ｊ）と近くの画素位置（ａ，ｂ）との間の相対位置に応答し、一方ｓ［Ｉ（ｉ，ｊ）−Ｉ（ａ，ｂ）］は、位置（ｉ，ｊ）および（ａ，ｂ）における強度値が類似する程度に応答する。
一実施形態では、空間カーネルはＧＩＤＥによって確定され、それによりバイラテラルフィルタリングへの組込みを、ＢｉＧＩＤＥと呼んでもよい。
しかしながら、他のデモザイク処理カーネルを使用してもよい。
【００３２】
式１を使用する実施形態は利点を有するが、バイラテラルフィルタリングのフレームワークに畳み込みカーネルを組込む他のアルゴリズムを使用してもよい。
しかしながら、式１が使用される場合、絶対非類似性値が小さい場合は「１」に近い値を返し、測光的非類似性が増大するにしたがい「０」に向かう値を返す、類似性関数に対して特に関心が持たれている。
たとえば、図２では、平坦域３０に沿った強度値が測光的に類似しており、そのため、類似性関数は「１」かまたはそれに近い値を返す。
一方、急峻な遷移２６の両側の強度値は測光的に非類似であり、そのため類似性関数は、実質的に「０」により近い値を返す。
その最も単純な形態において、類似性関数はガウスであってもよく、「１」の頂点は、２つの強度値が同一であるという確定に対応する。
この場合、類似性関数は、強度値が低速でのみ変化する画像領域のデモザイク処理ではわずかな役割しか果たさないが、画像の高コントラスト領域では、アーティファクトの混和を低減するように作用する。
【００３３】
図５は、バイラテラルフィルタリングなしに線形畳み込みによりデモザイク処理を可能にする、従来技術による構成を示す。
図１の単色出力平面２０、２２および２４のうちの１つを形成するための値を累算するために、加算デバイス３４を使用する。
加算デバイスは、センサアレイ１０の各座標位置ｉ，ｊに対してＣ個の値を出力する。
ここでＣは、出力画像プロセスにおける色平面の望ましい数である。
各出力色平面は、１からＣまでの範囲である整数値をとる、記号ｃによってインデックス付けされる。
通常は、Ｃは３に等しい。
各出力値に対し、加算デバイスは、略中心に画素ｉ，ｊを有する可動ウィンドウ内に位置する、センサアレイ１０の画素ａ，ｂの各々に対する入力を受取る。
利用される適当な畳み込みカーネル（ｋ）の選択は、出力の位置ｐと色ｃとによって決まる。
図１の実施形態では、上述したように１２の畳み込みカーネルｋ_p,cがあることになる。
【００３４】
図５の従来技術によるアプリケーションは、ｈ_c（ｉ，ｊ）の値を確定する際に使用される乗算器３６を含む。
略中心に画素ｉ，ｊを有するウィンドウ内の画素の各々における強度値は、適当なカーネルｋ_p,cからの結果によって乗算される。
この結果は、相対的な位置決めに応答する。
このプロセスは、単色出力平面２２の各画素に対して繰返し、また図１の他の２つの単色出力平面２０および２４を形成する際にも繰返す。
【００３５】
カーネルｋ_p,cから乗算器３６に入力を提供する際に相対位置は考慮されるが、測光的類似性は考慮されない。
ここで図６を参照すると、本発明は、差分回路３８と類似性関数デバイス４０とを追加することにより、システムが、略中心に画素ｉ，ｊを有する近傍を画定する可動ウィンドウ内における相対位置と測光的類似性との両方に応答する、補間された強度値ｈ_c（ｉ，ｊ）の確定を行うようにする。
差分回路３８は、画素ｉ，ｊの強度値と近傍内の画素ａ，ｂにおける強度値との測光的「距離」を確定する。
これは、略中心に画素ｉ，ｊを有する近傍内の各画素に対して逐次発生する。
【００３６】
差分回路３８の出力は、類似性関数デバイス４０によって受取られる測光的距離である。
一実施形態では、デバイス４０によって使用される類似性関数はガウスであり、「１」の頂点は、画素ｉ，ｊと画素ａ，ｂとにおける強度値が同一であるという判断の結果として出力される。
しかしながら、類似性関数デバイスの出力は、差分回路３８の出力の絶対値が増大するにしたがい「０」に向かう傾向がある。
【００３７】
乗算器４２は、測光的類似性に応答する類似性関数デバイス４０からの第１の入力を有し、画素ｉ，ｊおよびａ，ｂの相対位置に応答する第２の入力を有する。
この第２の入力は、図５に関して説明したものと同一であってもよい。
類似性関数デバイス４０が「１」の出力を有する場合（すなわち、画素ｉ，ｊにおける強度が画素ａ，ｂにおける強度と等しい場合）、加算デバイス３４への入力は、図５に関して説明した入力と同一となる。
一方、２つの画素における強度値が測光的に「遠い」場合、２つの画素の物理的近接は、従来技術による構成より影響を及ぼさない。
【００３８】
図６の実施形態は正規化を利用する。
このため、この実施形態は式１の特徴のすべてを組込む。
その理由は、式１の分母が、正規化を達成するように設計されているためである。
乗算器の出力は、乗算器３６と第２の加算デバイス４３とに向けられる。
式１の分母は、第２の加算デバイス４３の出力であり、一方分子は、第１の加算デバイス３４の出力である。
除算器４５は、加算デバイスの２つの出力を受取り、ｈ_c（ｉ，ｊ）を計算する。
正規化は本発明に重要ではなく、そのため、第２の加算デバイスと除算器とを除去することができる。
図６において、各種コンポーネントを、コンピュータソフトウェアで（たとえば、アプリケーションプログラムの異なるモジュールで）、ハードウェアで、またはソフトウェアとハードウェアとの組合せで実施してもよい。
【００３９】
図７は、本発明の第２実施形態を示す。
このシステム４４では、図５で説明したものなどの畳み込みシステムを使用して、事前デモザイク処理された画像
【数２】

が生成され、その値は、差分モジュール３８への入力として選択的に使用される。
このため、画像の事前デモザイク処理が、色特定値を提供するために発生する。
３つの色平面が形成されている場合、畳み込みシステムは、各画素に対して３つの異なる強度値を提供する。
差分モジュール３８への入力として選択される
【数３】

の色成分は、エントリＩ（ａ，ｂ）のものと同じモザイク色であり、ｍ（ａ，ｂ）と指定される。
選択された色成分は、
【数４】

と指定される。
このため、たとえば、モザイク画像における画素（ａ，ｂ）が赤色（ｍ（ａ，ｂ）＝赤色）である場合、
【数５】

の赤色成分が考慮される。
残りの操作は、図６に関して説明したものと同一である。
【産業上の利用可能性】
【００４０】
本発明は、画像情報の操作のために利用可能である。
【図面の簡単な説明】
【００４１】
【図１】本発明の一実施形態によるデモザイク処理操作の概略描写である。
【図２】強度測度がフィルタリングされていない、図１の出力平面のうちの１つにわたる距離の関数としての強度のプロットである。
【図３】強度の同じ測定のプロットであるが、従来技術によるフィルタリングがなされているもののプロットである。
【図４】図２と同じ強度のプロットであるが、本発明によるバイラテラルフィルタリングがなされているプロットである。
【図５】従来技術によるデモザイク処理システムの選択されたコンポーネントの概略図である。
【図６】本発明によるバイラテラルフィルタリングを有するデモザイク処理システムの一実施形態の選択されたコンポーネントの概略図である。
【図７】本発明によるバイラテラルフィルタリングを有するデモザイク処理システムの第２実施形態の概略図である。
【符号の説明】
【００４２】
１０・・・画像センサアレイ、
１２〜１８・・・画像平面、
２０〜２４・・・単色出力平面、
１６，２８・・・遷移、
３０・・・平坦域、
３２・・・応答、
３６・・・乗算器、
３８・・・差分回路、
４０・・・類似性関数デバイス、
４３・・・加算デバイス、
４５・・・除算器、
４４・・・システム、

Claims

画像情報を操作する方法であって、
画素位置のモザイクパターンから捕捉される強度値（１０）として前記画像情報を受取るステップであって、前記画素位置のモザイクパターンにおいて、前記モザイクパターンの異なる画素位置が異なる色に特有である、受け取るステップと、
前記モザイクパターンの前記画素位置に対し複数の色を表す補間された強度値（２０、２２および２４）を確定することにより前記画像情報をデモザイク処理するステップであって、
補間された強度値（ｈ_cｉ，ｊ）の各確定が、特定の前記画素位置（ｉ，ｊ）に特有であり、かつ、近傍の画素位置（ａ，ｂ）を選択するステップであって、該選択が、前記画素位置の相対位置に基づき、前記近傍内の前記画素位置に対する前記強度値（Ｉ（ａ，ｂ））の測光的類似性とは無関係である、選択するステップと、
前記補間された強度値の前記確定を、前記近傍内の前記画素位置の相対位置と該近傍内の該画素位置に対する前記強度値の前記測光的類似性（４０）との両方に基づかせるステップと
を含むデモザイク処理するステップと
を含む方法。
デモザイク処理する前記ステップは、
少なくともＰ_s×Ｐ_tの異なる畳み込みカーネル（ｋ_p,c）を利用すること
を含み、
Ｐ_sは、所与のサイズのウィンドウ内の、該ウィンドウが前記モザイクパターン内で操作される際のあり得る色配置の数であり、
Ｐ_tは、前記モザイクパターンにおける前記異なる色の数であり、
Ｐ_sとＰ_tとの各々は１より大きい
請求項１記載の画像情報を操作する方法。
前記画像情報を受取る前記ステップは、
Ｐ_s＝４であるモザイクパターン内の３つの色（Ｐ_t＝３）の強度を表すデータ（１０）を受取ること
を含む
請求項２記載の画像情報を操作する方法。
前記画像情報を受取る前記ステップは、
前記モザイクパターンがパターン
ＲＧＲＧ
ＧＢＧＢ
ＲＧＲＧ
ＧＢＧＢ
の拡張である、画素センサのアレイ（１０）を利用すること
を含む
請求項２記載の画像情報を操作する方法。
前記補間された強度値（ｈ_c（ｉ，ｊ））の前記確定を相対位置と測光的類似性との両方に基づかせる前記ステップは、
前記近傍内の前記画素位置（ａ，ｂ）の強度値（Ｉ（ａ，ｂ））間の前記測光的類似性を示す類似性関数（４０）を適用すること
を含み、該類似性関数は、前記相対位置の確定とアルゴリズム的に結合されることにより、前記補間された強度値を確定する
請求項１記載の画像情報を操作する方法。
前記補間された強度値（ｈ_c（ｉ，ｊ））の前記確定を相対位置と前記測光的類似性（４０）との両方に基づかせる前記ステップは、
前記近傍における互いの画素位置（ａ，ｂ）に関する前記特定画素位置（ｉ，ｊ）の相対位置と、
前記近傍における互いの画素位置に関する前記特定画素位置の前記測光的類似性と、
前記相対位置と前記測光的類似性との前記確定に応答する補間された強度値と、
を確定することと
を含む
請求項１記載の画像情報を操作する方法。
画像情報を操作するシステムであって、
モザイクパターンを表すフォーマットの２次元アレイセンサ（１０）からの入力であって、異なる色に関連するスペクトル情報が前記モザイクパターンの別個の画素位置（ｉ，ｊ）に格納される、入力と、
前記別個の画素位置の各々において前記異なる色の各々に対する強度値（ｈ_c（ｉ，ｊ））を生成することが可能なデモザイク処理であって、前記モザイクパターンの前記スペクトル情報のセットにアクセスし、前記スペクトル情報のセットの各々を、当該デモザイク処理によって生成される前記強度値が前記各セットに関連する画素位置の相対位置と前記各セット内のスペクトル情報の測光的類似性との両方に基づくように処理するよう構成される、バイラテラルフィルタ（３８、４０、４２）を含む、デモザイク処理と、
を具備するシステム。
前記デモザイク処理は、
前記各セットに関連する第１の画素位置と第２の画素位置との相対位置に応答する第１の入力
を備え、
前記第１および第２の画素位置のスペクトル情報の前記測度的類似性に応答する第２の入力（４０）を有する、乗算器（４２）
を含む
請求項７記載の画像情報を操作するシステム。
前記バイラテラルフィルタは、前記測光的類似性（４０）の点から類似性関数を適用するように構成され、
該類似性関数は、スペクトル情報の非類似性によりゼロに向かって減衰する係数を提供する
請求項７記載の画像情報を操作するシステム。
前記デモザイク処理は、
前記モザイクパターン（１０）の前記スペクトル情報から前記強度値ｈ_c（ｉ，ｊ）を導出する少なくともＰ_s×Ｐ_tの畳み込みカーネル
を含み、
Ｐ_sは、所与のサイズのウィンドウ内の、該ウィンドウが前記モザイクパターン内で操作される際のあり得る色配置の数であり、
Ｐ_tは、前記モザイクパターンにおける前記異なる色の数であり、
前記Ｐ_sとＰ_tとの各々は１より大きい
請求項７記載の画像情報を操作するシステム。