JP7182907B2 - カメラの画像データ処理方法およびカメラ - Google Patents

Description

本発明はカメラの画像処理方法に関する。実施形態の説明は、ＲＧＢベイヤーカラーフィルタアレイを使って捕捉された画像について行うが、白ピクセル、即ちフィルタリング処理されていないピクセルを含むカラーフィルタアレイ（ＣＦＡ）を備えた異なる画像捕捉構成を使って、他の実施例を実行することもできる。

デジタルカラーカメラは、通常、電荷結合素子（ＣＣＤ）や相補型金属酸化膜半導体（ＣＭＯＳ）センサである画像センサを使って、現実シーンのカラー画像を電子的に捕捉する。画像センサは単色性であるので、デジタルカメラメーカは現場の色を捕捉するために様々な解決方法を実行する。これらの解決方法はカラーチャネルごとに１つのセンサを用いる３つのセンサデバイスの使用、垂直色感知フォトサイトの使用、又は最も一般的にはカラーフィルタアレイを備えたシングルセンサデバイスの使用を含む。現在カラーイメージングに使われている最も費用対効果の高い方法の一つが、シングルセンサデバイスの利用であり、デジタルカメラに広く使用されている。

シングルセンサカメラにおいて、本質的にはカラーフィルタの空間的アレイであるカラーフィルタアレイ（ＣＦＡ）は、シングル画像センサの前方に配置されて、異なるスペクトル成分（色）を同時に捕捉する。ＣＦＡのフィルタはシングル画像センサのフォトサイトと空間的に相関し、各フォトサイトは対応するスペクトル選択フィルタを有する。シングルセンサカメラで捕捉されたＲＡＷ画像は、一般的に各フォトサイトにただ１つのカラー要素を有するモザイク状のグレースケール画像を構成する。ＲＡＷ画像はその後一連の画像処理ステップを経て捕捉された現実の情景をリアルに示す画像を生成する。

最も一般的に使用されるＣＦＡは、図２に示すような赤、緑、青が交互に配置されたベイヤーＣＦＡである。各フォトサイトで捕捉されるのはただ１つのカラータイプなので、捕捉されたＲＡＷ画像はそれぞれ異なるフォトサイトの赤、緑、青値の「モザイク」である。

「デモザイシング」として知られているプロセスにより各フォトサイトのフルカラー情報を生成する。このプロセスにおいて、フォトサイトの不足するカラー情報は補間プロセスにより隣接のフォトサイトから決定される。ベイヤーＣＦＡを備えたセンサで３色画像を取得する場合、ＲＡＷ画像データ量はこのデモザイシングプロセスにより３倍に増加する。さらにはホワイトバランス、カラー変換、ノイズリダクション、トーンマッピング等のプロセスも必要となる。このような処理工程は以下のように実行される：
（１）上記画像処理工程はカメラが画像を記憶する前に実行され、ユーザが記憶された画像をディスプレイ上でいつでも見られるようにする。捕捉した画像やビデオが直ちに見られることに対し多くの要望があるため、ほとんどの民生用カメラのアプリケーションはＲＡＷ画像データをそれが記憶される前に処理するようにしている。
（２）上記の画像処理工程のいくつかは後処理に回しても良い。このアプローチは業務用カメラのアプリケーションではより一般的である。両方のオプションにはそれぞれの長所と短所がある。

上述のように、第１のオプションは、デモザイシングを行いデモザイシング処理された画像データを圧縮するようなさまざまな画像処理アルゴリズムを画像センサのＲＡＷ画像に適用する。このオプションの大きな短所は、圧縮が非効率となるだけでなく後処理に制限があることである。この後処理の制限は、既に特定のカラー処理がデモザイシング処理されたデータに適用されており、圧縮プロセスにおいて特定の画像情報が失われる可能性があることに起因する。圧縮の非効率はデモザイシングのアルゴリズムがＲＡＷ画像データと比較して３倍のデータ量に至らしめることに起因する。画像が記憶される前により小さなサイズやビットレートを達成するために、この追加されたデータをより大幅に圧縮することが必要になる。

第２のオプションは画像センサのＲＡＷ画像データをエンコードして圧縮し、その後圧縮されたモザイクＲＡＷ画像データをデモザイシング、ホワイトバランス等を行うことなく記憶することに関わる。このオプションは画像センサで捕捉されたビジュアル情報の全てが保留されるので後処理により大きな自由度がある。さらにこのオプションではデモザイシングによって追加される画像データが無いのでデモザイシングを十分に行った後で画像をエンコードする場合に較べて圧縮が少なくて済む。しかしながら、必要なその後の画像処理だけでなくフルデモザイシング等の大幅な処理がデコーディングステージで必要となる。

本発明は上述の課題の少なくともいくつかについて対処することを目的とするカメラＲＡＷ画像データ処理方法及び／又はシステムを提供し、あるいは少なくとも有用な代替手段を提供する。

明細書に記載の従来技術の参照は、その従来技術が常識の一部であることを裁判管轄を問わず承認又は示唆されるものではなく、あるいはその従来技術が当業者によって従来技術の別の部分に関連すると見なされ、及び／又はそれと組み合わされると見なされると合理的に予測できることが承認又は示唆されるものではない。

本発明は、広義にはカメラのＲＡＷ画像データを処理する方法を提供する。該方法はＲＡＷ画像データから輝度画像を算出し；ＲＡＷ画像データからセンサの画像カラーの少なくとも１つに対応する少なくとも１つのクロミナンス画像を算出する。輝度画像及びクロミナンス画像はＲＡＷ画像データに表現が可能な同じ色の範囲を表すことができる。本願明細書中、画像もしくは画像データが画像センサから出力されたＲＡＷ画像データを表すものとして記載される場合は、該画像もしくは画像データが、該画像もしくは画像データによって表現可能なカラー値のレンジを狭くする処理を経ていないことを意味すると理解されるべきである。即ち該画像もしくは画像データのデータ範囲は、画像センサによって出力することができたものと較べて制限されていないしカットされてもいない。もちろん、どのような画像タイプ（輝度画像、クロミナンス画像、カラープレーン等）の画像もしくは画像データであっても、ＲＡＷ画像データに含めることができるカラーレンジ全てをそれ自体で表現することはできないことは理解されるべきである。

本発明の実施形態はセンサＲＡＷ画像データをデモザイシング処理して各捕捉カラーのそれぞれデモザイシング処理された画像を生成し、デモザイシング処理された画像データから輝度画像を算出し、センサの画像カラーの少なくとも１つに対応する、輝度画像よりも解像度が低いクロミナンス画像を算出することを広義に含む方法をさらに提供する。有利な点は、デモザイシングをカメラの画像センサに対して最適化された方法で実行できることである。

以下の記載において、「カラーフィルタアレイ」は通常のカラーフィルタアレイに加えて以下を備えたフィルタアレイの配置を有するフィルタアレイを含むものとして理解されるべきである：
例えばフィルタが全く存在しないノーカラーフィルタリング、中立密度フィルタ、透明の光透過性フィルタエレメント；
所定カラーに無関係のパスバンドを有するフィルタリング（例えばハイパスフィルタ、ローパスフィルタ、広帯域バンドパスフィルタ等）。

従って、カラーフィルタアレイにおける「カラー」あるいは画像のカラーのコンセプトは（カラーという言葉に関連する使用を含め）カラーフィルタアレイのフィルタエレメントに対応するパスバンドの識別子として機能する。

第１の態様において本発明はカメラの画像データ処理方法を提供し、該カメラはカラーフィルタアレイを備えた画像センサを含み、画像センサはフォトサイトのアレイを含み、各フォトサイトはカラーフィルタアレイの複数のカラーのそれぞれで受光し、対応するフォトサイトで捕捉された光の強度を示すピクセル値を出力するように構成される。該方法は、画像センサから出力されたＲＡＷ画像データを示す第１解像度を有する輝度画像を生成し；該画像センサから出力されたＲＡＷ画像データを示す第１解像度よりも低い第２解像度を有する少なくとも１つのクロミナンス画像を生成することを含むことができる。

別の態様において、本発明はカメラの画像データ処理方法を提供し、該カメラはカラーフィルタアレイを備えた画像センサを使ってＲＡＷ画像データを捕捉するように構成され、画像センサフォトサイトのアレイを含み、各フォトサイトはカラーフィルタアレイの複数のカラーのそれぞれで受光し、対応するフォトサイトで捕捉された光の強度を示すピクセル値を出力するように構成され；該方法は：
捕捉されたＲＡＷ画像データをデモザイシングしてカラーフィルタアレイの複数の色に対応する複数のカラー画像を生成し；
第１解像度を有する輝度画像を生成し；
第１解像度よりも低い第２解像度を有するカラーフィルタアレイのカラーのそれぞれに対応する少なくとも１つのクロミナンス画像を生成することを含む。

デモザイシングはカラーフィルタアレイの各カラーに対応するカラー画像を生成することを含む。好ましくは、各カラーのカラー画像は第１の解像度である。

本発明の上記態様の実施例はさまざまな光学的特徴を含んでもよい。

好ましくは、２以上のクロミナンス画像が生成される。

上記いずれの態様であっても、カラー画像の生成（所定カラーの）は：カラー画像の各ピクセルに対し、該ピクセル周辺の複数のピクセルに基づいてエッジ及びライン検出の少なくとも一つを実行し、該エッジ又はライン検出に基づいてピクセル値を決定することを含んでも良い。

ピクセル値を決定することは、そこからそのピクセル値を決定する別のピクセルの周辺のピクセルのサブセットを選択することを含んでも良い。それは、前記ピクセル値を決定する場合のサブセット内のピクセルに対して重み付けを行うことを交互に又は追加的に含んでも良い。前記サブセット内のピクセルの重み付けは重み付けされるサブセットのピクセル又はピクセルのサブセットのいずれかに適用されるノイズレベルに基づいて決定しても良い。

好ましくは、デモザイシングプロセスは周辺のピクセル値に基づいて不足するカラー情報をそれが不足するフォトサイト毎に又はピクセル毎に推定する。好ましい実施例で使われる方法はそれぞれのカラータイプのピクセルによって捕捉されたものと同様に微細でランダムノイズから区別できる画像細部を維持することである。さらに細部のエッジを維持するとともに該ランダムノイズレベルが各イメージプレーンにおいて低減される。

好ましくは、捕捉されたＲＡＷ画像データはＮｘＭピクセルの解像度を有する。輝度画像もＮｘＭピクセルの解像度を有しても良い。

輝度画像は複数のデモザイシング処理されたカラー画像の同じピクセル位置に対応する複数のピクセル値を組合せて生成されても良い。１つの形態では、ピクセル値を組み合わせるステップはピクセル位置毎に複数のピクセル値に重み付けを行うことを含む。１つの形態では、通常のベイヤーＲＧＢ ＣＦＡと同じ赤、青、緑ピクセルの割合を有する従来のベイヤーＲＧＢカラーフィルタアレイが採用される場合、位置（ｉ， ｊ）における輝度値Ｙは次式で算出される：

但し、Ｙ（ｉ，ｊ）は所定のピクセル位置（ｉ，ｊ）の輝度値を表し、Ｒ，Ｇ，Ｂはそのピクセル位置の赤、緑、青のカラー画像のピクセル値を表す。好ましくは、輝度画像の第１解像度はＮｘＭピクセルのフル解像度である。

クロミナンス画像を生成するステップは、ＲＡＷ画像のピクセル値と輝度画像中のピクセルのサブセットにおける輝度画像値との差分値を算出することを含む。好ましくは、クロミナンス画像はＣＦＡの所定カラーのピクセルに対応するピクセルについて算出される。例えば、シングルセンサ及び標準ＲＧＢベイヤーフィルタＣＦＡを使うカメラについて、青と赤のクロミナンス画像が生成される。青のクロミナンス画像はＣＦＡの青のピクセルに対応するピクセル値のみを含み、これは赤のクロミナンス画像に対しても同様である。従って、クロミナンス画像は明らかに輝度画像と較べ低解像度となる。ＲＧＢベイヤーフィルタの例では、クロミナンス画像は輝度画像のピクセル数の１／４である。この場合、クロミナンス画像の各ピクセル（ｉ，ｊの位置の）に対し差異値を算出するステップは次式を使うことができる：

但し、ｋＢとｋＲは倍率であり；
ＣＢ（ｉ，ｊ）及びＣＲ（ｉ，ｊ）は所定のピクセル位置（ｉ，ｊ）の青の差分値、赤の差分値を表し；
Ｒ（ｉ，ｊ），Ｂ（ｉ，ｊ）はピクセル位置（ｉ，ｊ）の赤、緑、青画像のピクセル値を表し；
Ｙ（ｉ，ｊ）はピクセル位置（ｉ，ｊ）の輝度値を表わす。

好ましくは、ｋＢとｋＲはＣＢ（ｉ，ｊ）及びＣＲ（ｉ，ｊ）のデータ範囲の精度を最大化する一方で色応答のフルレンジが維持されるように値を抑えることなく選択される。ｋＲ＝ｋＢ＝２の一例において、該方法はさらに算出された輝度値及び差分値をエンコード及び／又は圧縮することを含むことができる。

輝度画像及びクロミナンス画像は分離された画像として圧縮されても良いし、関連画像グループとして一緒に圧縮されても良い。好ましくは、圧縮には変換符号化を使い、例えば、ウェーブレット変換や離散コサイン変換等を使う。

より好ましくは、圧縮はＪＰＥＧ又はＪＰＥＧ ２０００圧縮を使って行う。このような圧縮アルゴリズムは算出された輝度画像及びクロミナンス画像を圧縮プロセスにそのまま使えるので都合が良い。

一例において該方法は：輝度値と差分値をエンコードしてＹＣｂＣｒ ４２０フォーマットと互換性のある画像データを生成することを含めることができる。

さらなる態様において、本発明はカメラの画像データ処理方法を提供する。該カメラはカラーフィルタアレイを備えた画像センサを含み、画像センサはフォトサイトのアレイを含み、各フォトサイトはカラーフィルタアレイの複数のカラーのそれぞれで受光し、対応するフォトサイトで捕捉された光の強度を示すピクセル値を出力するように構成される。該方法は、捕捉されたＲＡＷ画像データをデモザイシングして画像センサから出力されたＲＡＷ画像データを表し、かつカラーフィルタアレイの複数の色に対応する複数のカラー画像を生成し、該デモザイシング処理は；
カラーフィルタアレイの各カラーに対応するカラー画像を生成し、カラー画像の各ピクセルに対しモザイシング処理された、捕捉されたＲＡＷ画像データの前記ピクセルの周辺の複数のピクセルに基づいてエッジ及びライン検出の少なくとも一つを実行し、及び前記エッジ又はライン検出に基づいて、所定のピクセル周辺のピクセルのサブセットを選択することによりピクセル値を決定することを含み、前記ピクセルのサブセットは該サブセット内ピクセルの加重平均を算出する前記ピクセルと同じカラーである。

前記サブセットのピクセルの重み付けは重み付けされるサブセット内のピクセルかピクセルのサブセットのいずれかに適用され得るノイズレベルに基づいて決定されることが望ましい。

好ましくは、各カラー画像は画像センサから出力されたＲＡＷ画像データを表す。該方法はさらに、画像センサから出力されたＲＡＷ画像データを表す輝度画像を生成し、画像センサから出力されたＲＡＷ画像データを表す少なくとも１つのクロミナンス画像を生成することを含む。好ましくは少なくとも２つのクロミナンス画像が生成される。さらなる態様において、本発明は上記の方法のいずれかによる実施例を実行するように構成されたカメラを含む。該カメラは：
受光した光をＲＡＷ画像データに変更するように構成された画像捕捉システムと；
前述の方法に従ってＲＡＷ画像データを処理するように構成された画像処理システムを含む。

本明細書で使用される用語の“ｃｏｍｐｒｉｓｅｓ”及びその変化形の“ｃｏｍｐｒｉｓｉｎｇ”、“ｃｏｍｐｒｉｓｅｓ”、“ｃｏｍｐｒｉｓｅｄ”等は、文脈からそれを必要としない場合は、さらなる添加剤、コンポーネント、整数又はステップを除外することを意図しない。

本開示のさらなる形態及び先行するパラグラフに記載された形態のさらなる実施例は、例を挙げ添付図面を参照してなされる以下の説明によって明らかとなる。

本明細書で説明する方法を実施可能なカメラの概略ブロック図である。 ＮｘＭピクセルの解像度を有するセンサに適用される代表的なＣＦＡの配置、およびこれに対応するイメージ画像を示す。 代表的な方法の概要を表すフローチャートである。 図２のセンサ配置により捕捉された画像に対応する一連のフルデモザイシング処理されたイメージプレーンを表す。 ピクセル値決定プロセスにおいてエッジ検出に用いる一組の１次中心差分を表す。 ピクセル補間を実施するとき細線検出に用いられる一組の２次中心差分を表す。 図２のセンサ配置により捕捉された画像をデモザイシングするときにピクセル平均化に用いることができる一連のピクセルペアを表す。 図２のセンサ配置により捕捉された画像をデモザイシングするときにピクセル平均化に用いることができるさらなる一連のピクセルペアを表す。 図３の代替方法の概要を表すフローチャートである。 図９の実施例において輝度画像を導出する３ｘ３フィルタカーネル及びクロミナンス画像を算出する５ｘ５フィルタカーネルの利用を表している。 図９の実施例においてフル解像度輝度画像の導出に利用できる代替のフィルタカーネルを表している。

本発明の実施形態を具体的な例を参照して説明するが、発明の範囲はそのような例に限定されることはない。例えば、実施形態として通常のＲＧＢベイヤーカラーフィルタアレイを備えるシングルセンサを使ったカメラの場合について説明する。しかしながら、本発明の実施形態は「ホワイト」、中立密度、又はアレイ内のフィルタされないピクセルを含むカラーフィルタアレイを含む他のカラーフィルタアレイの使用にも適用される。

図１は本開示にかかる方法を実施可能なカメラ１０の概略図である。カメラ１０は受光した光をＲＡＷ画像データに変換する画像捕捉システム１２を含む。この例では、画像捕捉システム１２は画像センサ１２Ａ（例えばＣＣＤやＣＭＯＳ画像センサチップ等）と関連するオプティカルフィルタ１２Ｂ（例えばＩＲカットオフフィルタやオプティカルローパスフィルタ）とを含む。オプティカルシステム１４、例えばレンズも画像センサの上に画像を形成するために設けられる。画像センサはカラーフィルタの空間的アレイの形で、カラー画像を捕捉できるように画像センサチップの前方に配置されるカラーフィルタアレイ（ＣＦＡ）を含む。ＣＦＡのフィルタはシングルイメージセンサのフォトサイトと空間的に相関関係があり、各フォトサイトは対応するスペクトル選択フィルタを有する。上記のようにこの実施例で使用されるＣＦＡは、図２に示すように赤、緑、青が交互に配置されるベイヤーＣＦＡである。各フォトサイトはただ１つのカラータイプを捕捉するので、捕捉されるＲＡＷ画像はそれぞれが異なるフォトサイトの赤、緑、青の値の「モザイク」である。

図２はフィルタエレメントの配置に対応する、センサによリ出力されたＲＡＷ画像のフォーマットを表している。ＲＡＷ画像データは画像センサのフォトサイトのＮｘＭアレイに対応するＮｘＭピクセルの解像度を有する。各フォトサイトは対応するフィルタエレメントを有しており、それはＣＦＡの複数のカラーそれぞれで光を受光して捕捉された光の強度を示すピクセル値を出力する。各フォトサイトで捕捉された光のカラーは各ピクセルのＲ，Ｇ，Ｂとして図２に示されている。通常、「Ｒ」は赤ピクセル、「Ｇ」は緑ピクセル、「Ｂ」は青ピクセルを表す。

画像捕捉システム１２で生成されるセンサＲＡＷビデオデータは画像処理サブシステム１８へ送られる。画像処理サブシステム１８はＡＳＩＣやＦＰＧＡ又は関連するソフトウェアを備えたマイクロプロセッサ等、１以上のプロセッサを含み、一連の画像処理タスクを実行する。画像プロセッサ１６は以下のタスクを実行できるが、これらに限定されない：糸巻き形ひずみ等の不要な光学的効果の補正、ベイヤーモザイク画像のデモザイシング、ノイズリダクション、例えばデッドピクセル除去による捕捉されるビデオデータのピクセル間変動の補正、変換効率変動の補正。ワーキングメモリ２０は画像処理及び／又は画像圧縮や他のタスク実行する間データやソフトウェア等を一時的に記憶するために設けられる。

画像処理サブシステム１８はさらにビデオエンコーディングシステム２２を含む。通常ビデオエンコーディングシステム２２はプロセッサが１以上のビデオコーデックを実装できるように構成されたソフトウェアを提供することで実装される。このシステムはビデオデータを所望のフォーマットにエンコードし選択的に圧縮するために使用する。例えば、ビデオエンコーディングシステム２２はビデオデータを任意の既知のビデオデータフォーマットにエンコードするように設定できる。

画像処理サブシステム１８はさらにビデオ出力データを処理してビデオ伝送システム２６を介して伝送されるフォーマットにするフォーマット変換システム２４を含む。一般的に、ビデオ伝送システム２６は１個もしくは場合により数個のビデオ伝送プロトコルに適合するビデオデータのみを伝送するように設定されている。フォーマット変換システム２４はビデオ伝送システム２６に送られる前に、ビデオデータを前記ビデオ伝送フォーマットの１つに合わせて伝送を可能にする。このことはビデオデータをそのオリジナルのフォーマットからビデオ伝送システム２６の適当なビデオ伝送フォーマット（の１つ）にトランスコードすることを含む。

ビデオ伝送システムは少なくともビデオ出力ポートを有するビデオインターフェイスを介してビデオ出力データを伝送し（そして選択的に受信する）ように動作可能である。ビデオインターフェイスは双方向に動作可能であり従ってビデオ入力ポートも備える。一例としてビデオインターフェイスはＳＤＩインターフェイスまたは他の同様のインターフェイスであってもよい。

さらにカメラはメモリコントロールサブシステム２８の形式でデータ記憶システムを含み、メモリコントロールサブシステムはローカル不揮発性メモリ３０上のビデオデータ（及び他の任意のデータ）の永続性記憶装置をコントロールするために構成される。ローカルメモリ３０はメモリカードやリムーバブルハードディスク等リムーバブルメモリを使っても良い。しかし、一般的にはメモリコントロールサブシステム２８はローカルメモリ３０に対する双方向のコントロール信号を送信及び／又は受信するように配置されてメモリ３０のビデオデータの記憶と検索をコントロールし、さらに記憶のためのデータのエンコーディングやフォーマッティングを実行する。メモリ３０はシリアルＡＴＡプロトコルに従って動作するソリッドステートドライブであっても良く、メモリコントロールサブシステムはシリアルＡＴＡドライブの動作をコントロールしてメモリ３０に対しデータの読出しと書き込みを管理する。

図３はＲＡＷビデオデータを処理する実施形態についてその概略方法を示す。

方法１００はＮｘＭピクセルの解像度を有するモザイク状複合カラー画像形式のＲＡＷセンサ画像データ１０２から始まる。好ましい実施例では、ＲＡＷセンサデータはほとんどが未処理のセンサデータである。これによりＲＡＷデータはセンサによって捕捉されたカラーレンジが制限やカットされることなく維持される。ホワイトやカラーバランスは処理されたデータをデコーディングした後で、例えばポストプロダクションで適用される。ＲＡＷセンサイメージデータ１０２はデモザイシング処理され（１０４）、それぞれデモザイシング処理された画像１０６Ｒ，１０６Ｇ，１０６Ｂ（カラープレーン）を生成する。各画像１０６Ｒ，１０６Ｇ，１０６ＢはＣＦＡカラーの１つに対応する。その後、輝度画像１１０がデモザイシング処理された画像１０６Ｒ，１０６Ｇ，１０６Ｂから算出される（１０８）。そしてセンサ画像カラーの少なくとも１つに対応する一以上のクロミナンス画像１１４Ｂ，１１４Ｒを生成する（１１２）。デモザイシング１０４は第一解像度を有するカラー画像を生成する。一般的にこれは捕捉画像データ（ＮｘＭピクセル）のフル解像度となる。輝度画像１１０も通常デモザイシング画像１０６Ｒ，１０６Ｇ，１０６Ｂと同じ解像度であるが、クロミナンス画像１１４Ｂ，１１４Ｒは通常解像度が低い。最後にエンコードステップ１１６が実行されて輝度画像とクロミナンス画像とが例えば圧縮又はフォーマッティングされて今後の使用（例えば、記憶、伝送、表示等）のためにエンコードされる。エンコードステップの出力データは、既知のツールでハンドリングや処理を行えるように一般的な標準フォーマットに適合できることが有利である。これらのステップのそれぞれについて実行例を下記に記載している。好ましい実施例では、本プロセスを通して、画像データは、センサで捕捉されたカラーレンジをそのカラーレンジが制限やカットされることなく保存することが好ましい。それにより、該データをあたかもＲＡＷ画像データのように下流の処理で有効に取り扱うことができる。

（デモザイシング１０４）
デモザイシングは単一の、マルチカラーの、モザイク状のＲＡＷ画像データ１０２からＣＦＡカラー毎にそれぞれの画像１０６Ｒ，１０６Ｇ，１０６Ｂを生成する。理解されるように、それぞれの最終のカラー画像１０６Ｒ，１０６Ｇ，１０６Ｂは最初に捕捉されたものよりそれぞれのカラーに対しより多くのピクセルを含み、従って各カラー画像に欠けているピクセル値を推定するための補間が必要になる。図４はデモザイシング処理された単一のカラー画像１０６Ｒ，１０６Ｇ，１０６Ｂのフォーマットを示している。それぞれがＮｘＭピクセルの解像度を有する。

実施形態において選択されたデモザイシングプロセスは画像センサによって捕捉された詳細を保持するようにかつ画像センサによって取り込まれるかもしれないノイズを低減するように最適化される。

デモザイシングプロセスは重み付け補間に基づく。しかし、単に各単一のカラー画像の「不足する」ピクセル値を算出するのではなく、好ましくは同じピクセル値決定プロセスが全てのフォトサイト（ｉ，ｊ）で実行されて３色画像１０６Ｒ、１０６Ｇ、１０６Ｂを得る。従って、特定のフォトサイトで捕捉されたカラー値が利用できる場合であっても、ピクセル値の算出は（ＣＦＡの）全てのカラーに対し、全ての位置で有効に実行することができる。これにより、ノイズ分布に対し全てのフォトサイトを通してバランスを取ることが可能となり、３色ベイヤＣＦＡにおいて、２ｘ２ベイヤマクロピクセルの２つの緑フォトサイト間の偏差補償が可能となる。

デモザイシングで使われるピクセル計算の概要は：
（ａ）決定すべきピクセル値の周囲のピクセルに基づいてエッジ及び／又は細線を検出し、及び／又は
（ｂ） エッジ／細線情報を使って補間のために周辺ピクセルから寄与の選択または重み付けを行う。

このプロセスは中間（デモザイシング処理された）画像データのエッジや形状を保持するように様々な角度でエッジセンシティブである。ステップ（ａ）は異なるカラーフィルタパターン内の異なる角度で勾配（１次差分）を計算するにより実行される。図５は緑フォトサイト（図５（ａ））又は青フォトサイト（図５（ｂ））の位置（ｉ，ｊ）の１次中心差分の例を示している。いずれの場合も中心差分は（ｉ，ｊ）の位置に対し相互に対向する同一タイプの２つのフォトサイト間の差分として４方向に算出される。これらの差分は以下のように算出される：

これらは水平、垂直、斜め上下方向の中心差分の絶対値である。これらはフォトサイトのカラータイプに関係なく原点のフォトサイトＰ（ｉ，ｊ）を元に任意のフォトサイト位置（ｉ，ｊ）で算出される。

これらの勾配は３ｘ３ウィンドウで計算され任意の位置（ｉ，ｊ）でエッジ方向が決定される一方、２次差分は異なる方向の線検出の手段として５ｘ５ウィンドウで計算される。図６（ａ）、（ｂ）は緑、青フォトサイトの同様に４方向における２次差分をそれぞれ示している。これらの差分は絶対値の差分として以下のように算出される：

１次中心差分は任意の中心ピクセル位置即ちカラータイプでの４つの異なる角度においてエッジを検出するために使われる。２次中心差分は任意の中心ピクセル位置即ちカラーでの同じ４つの異なる角度において細線を検出するために使われる。１次、２次差分の組合せは異なる４つの角度におけるエッジと細線の両方の画像の詳細について情報を提供する。両方の検出器タイプの組合せは以下のように異なる角度に対し２つの絶対値差分を加算することで達成できる：

これは水平、垂直、上下斜め方向の角度検出器の１次セットである。角度検出器の２次セットは、別の４つの角度のセットを与える垂直（又は水平）方向とその周辺斜め方向のそれぞれとの組合せを使って決定される。角度検出器は最小の差分の角度方向にかかる情報を与え、平均化の方向を決定するために用いられる。

ステップ（ｂ）では、これらの角度検出器のセットを使って各カラー値１０６Ｒ，１０６Ｇ，１０６Ｂを算出するための周辺ピクセル値の組合せ方法を決定する。これには特定のピクセル平均値の選択又は重み付けのいずれかを含む。図７は推定すべきカラータイプの２ピクセル間の異なる可能な平均化方向を示す。各ペアは以下の特徴を有している：
ピクセルは中心ピクセルから等距離であり；
ピクセルは中心ピクセルから正反対であり；
ピクセルは５ｘ５ウィンドウの中で中心ピクセルの回りの異なる角度に在り；
ピクセルは対応のエッジ／ライン検出器を有するか又は２つのエッジ／ライン検出器の組合せによって決定される。

図７（ａ）では、青のカラー値は緑のフォトサイトに基づいて決定される必要がある。３つの異なるピクセル平均値は緑フォトサイトを中心とする５ｘ５ウィンドウ内のピクセル値決定に含めることができる。これら３つの平均値は以下のように算出される：

図７（ｂ）の別の例は、青フォトサイトに基づく赤のカラー値を算出するために使われる。２つの異なるフォトサイト平均値がこのケースで含められ以下のように算出される：

対応の角度エッジ検出器は平均値のそれぞれについて重み付けを決定し各カラー値を推定するとともに任意のエッジ又は細線を保存するために使われる。特定のカラーに対し使われるピクセル平均値の各方向の重み係数ｗ（）は、特定方向の１次、２次差分から導出される。一般的に、より高い重み付けがその特定の方向により低い差分を有する方向に対して望ましい。重み係数は絶対値差に依存して０から１の範囲の重み係数を与える。最適な重み関数は、フォトサイトの特定応答レベルにおいて差分がノイズ閾値より低い場合、最大の重み付けを割り振る。一旦差分がノイズ閾値を超えると、重み付けは漸次減少し、特定方向の大きな差分に対して結果的にはゼロになる。重み係数を創出するために指数関数を使うことができるが、その方法は特定の関数に限定されない。重み関数はさらに中心に対して２平均ピクセル分の距離を考慮できる。実施例で使用可能な適切な重み関数を次式で示す：

但し、Ｄは重み付けされる差分値、σはピクセルのシグナルレベルでのセンサのノイズ分布の標準偏差を表す。

図７（ｂ）は青フォトサイトで赤のカラー値を算出することを求める。最も近い赤のフォトサイトは中心位置から両方の斜めの上下方向反対側にある。この場合５ｘ５ウィンドウ内のピクセル値は次式で決定される：

この例は１次勾配エッジ検出器のみを使う。重み関数ｗ（）も１次、２次差分の絶対値の合計に加えられてエッジ及びライン検出の両方を重み付けされた補間に含ませる。ｗ（）の最小重み係数は０による除算を避けるため常に０よりも大である。赤フォトサイトに対し青のピクセル値を決定するスキームも同様であるが、赤フォトサイトが中心となるように位置がずらされる。

図７（ａ）は緑フォトサイトで青のカラー値を算出することを求め、異なる３方向を示しているが、そのうち２つは１次、２次差分の４方向と正確に一致しない。水平成分が対応するエッジ及びライン検出器Ｄ１２ｈを有する一方ピクセル平均値Ｍ２ａ、Ｍ２ｂはそうではない。

図７（ｂ）についてピクセル値決定の機能は上記と同じ原理に従う。

図７（ｃ）は中心のフォトサイトを囲う５ｘ５ピクセル領域内の緑フォトサイトで赤のピクセル値を算出するために平均化が可能なピクセルペアを示している。これは図７（ａ）の場合に似ており、図７（ａ）を９０度回転させている。図７（ｄ）は中心のフォトサイトを囲う５ｘ５ピクセル領域内の青フォトサイトで緑のピクセル値を算出するために平均化が可能なピクセルのペアを示している。赤フォトサイトに対し緑のピクセル値を決定するためのスキームも赤フォトサイトが中心となるよう位置を変えることを除き同様である。

多数のピクセルを平均化するピクセル値決定プロセスは画像のランダムノイズの減少に役立つ。各方向の絶対値差分はランダムノイズによって引き起こされる想定される差異と比較することもできる。画像センサは所定のカメラデザインで周知であり、任意の特定のモード又は構成において出力信号範囲に渡ってそのノイズパフォーマンスに対し特徴付けを行えるので、任意の信号応答レベルでランダムノイズの標準偏差が一定になるように画像センサの出力信号を変換する機能を決定できる。これにより、任意のカラータイプピクセルの任意の信号レベル（デジタル値）とともに任意のピクセル位置でアルゴリズムが絶対値差分に対し固定の重み関数を使うことができる。この重み関数はランダムノイズ成分に対して予想される最大偏差に対し滑らかなカットオフを与え、エッジと細線とを区別して維持しランダムノイズを減衰させる。ノイズレベルより低い絶対値差分を示すどの角度方向もその方向において２ピクセルの平均を使うことを許容する。その方向のノイズが重み付けされたローパスフィルタにより多くのピクセルを含めることでノイズが減少するので、所定位置で捕捉されたカラータイプのピクセルにも同じ原理が適用される。当業者は平均化されるピクセルと共にノイズ検出器の数を増やすことによりノイズが重み付けされたローパスフィルタのウインドウサイズを増大させることがこのアプローチにおいてノイズ減少能力を高めることにも気付くであろう。

図８（ａ）は原点の緑フォトサイトを囲む５ｘ５ピクセル領域を使って原点の緑フォトサイトにおける緑ピクセル値を算出するために平均化される可能なピクセルペアを表している。図８（ｂ）、図８（ｃ）は青と赤のフォトサイトについてのペアをそれぞれ示している。図８（ｃ）の場合、ピクセル値の算出は以下に示すように適切に行われる：

この場合、全ての方向で差分が大きいか、ノイズレベルを下回る差分の小さな方向で周囲のピクセルと平均化されていれば、原点のピクセル値が加重合計を特徴づけることになる。同様のピクセル値の算出が、Ｐ（ｉ，ｊ）が青フォトサイトの場合の青ピクセル値に対してなされる。緑フォトサイトの値は以下のように計算される：

好ましい実施形態で使われる方法はそれぞれのカラータイプのピクセルにより捕捉されたものと同じように微細でかつランダムノイズから区別できる画像細部を維持することが好ましい。さらに細部のエッジを維持するとともにランダムノイズレべルは各イメージプレーンにおいて低減される。

（輝度画像の算出１１０）
輝度画像は複数のデモザイシング処理されたカラー画像のそれぞれの同一のピクセル位置に対応する複数のピクセル値を組合わせることにより生成される。好ましい形態は、ピクセル値を組み合わせるステップがピクセル位置毎に複数のピクセル値を重み付けすることを含む。従来のベイヤーＲＧＢカラーフィルタアレイが使用される場合、位置（ｉ，ｊ）における輝度値Ｙは次式で算出される：

ここで、Ｙ（ｉ，ｊ）は所定ピクセル位置（ｉ，ｊ）の輝度値を表し、Ｒ、Ｇ、Ｂは該ピクセル位置の赤、緑、青カラー画像のピクセル値を表す。輝度画像はデモザイシング処理されたフル解像度即ちＮｘＭとなる。選択される重み付けは計算が単純化されかつ効率的にエンコードできる輝度表現に近似されることを付記する。しかしながら、異なる重み係数を使うこともできる。

好ましい実施例では、エンコードされたデータはリアルなカラー画像にそのまま変換されるカラー修正表現よりむしろＲＡＷ画像センサデータを表すことを求める。換言すれば、輝度画像は捕捉カラーのフルレンジが後処理のために維持されることを可能にする、選択された係数を有する。

（クロミナンス画像の算出１１２）
クロミナンス画像を生成するステップ１１２は１つのカラープレーンのピクセルと前記ピクセルにおける対応する輝度値間の差分値を算出することを含む。これは好ましくはカラーピクセル値とＣＦＡの所定カラーのピクセルに対応するピクセルにおける輝度画像値との間の差分値の算出を含んでも良い。この場合、青ピクセルが捕捉されるピクセルに対しクロミナンス画像ピクセルが生成され青チャネルのクロミナンス画像を生成する。従って青のクロミナンス画像はＣＦＡの青ピクセルに対応するピクセル値のみを含み、このことは赤のクロミナンス画像に対してもあてはまる。従って、クロミナンス画像は輝度画像よりも低い解像度となる。ＲＧＢベイヤーフィルタの例では、クロミナンス画像は輝度画像の四分の一のピクセル数を有する。この例では、ＣＦＡがＸ＝３のカラータイプの場合、Ｘ－１のクロミナンス画像が生成される。一般的にこれで十分である。しかし、コンセプトは、捕捉された光のスペクトル成分の追加的又はより正確な表現を許容するＸ＞３まで拡張可能である。そのような場合、システムはＸ－１のクロミナンス画像を記憶して最大量の利用可能なカラー情報を維持する。３カラーフィルタに加えて白／透明フィルタがＣＦＡに含まれる場合、Ｘ＝４に繋がり、そのシーンにおいて１つのカラーが主に輝度情報を担う場合はＸ－２のクロミナンス画像を生成することができる。例えば、これはＲ、Ｇ、Ｂ成分に重み付けを行って第１輝度画像Ｙを生成することにより達成でき、白／透明フィルタによってそのまま捕捉される第２輝度画像Ｙ２に匹敵する。これら２つの輝度表現がその後エンコード用の単一輝度画像に組み合わされる。

好ましい形態では、クロミナンス画像の各ピクセル（位置ｉ，ｊ）のカラー差分値を算出するステップは次式を用いる：

ここで、ｋＢ、ｋＲは倍率であり；
ＣＢ（ｉ，ｊ）、ＣＲ（ｉ，ｊ）は所定ピクセル位置（ｉ，ｊ）の青差分値と赤差分値を表し；
Ｒ（ｉ，ｊ）、Ｂ（ｉ，ｊ）はピクセル位置（ｉ，ｊ）の赤、緑、青カラー画像のピクセル値を表し；
Ｙ（ｉ，ｊ）はピクセル位置（ｉ，ｊ）の輝度値を表す。

好ましくは、ＣＢ（ｉ，ｊ）、ＣＲ（ｉ，ｊ）のデータレンジの精度を最大にするように、具体的にはＣＢ（ｉ，ｊ）、ＣＲ（ｉ，ｊ）をレンジ内に保つようにｋＲ、ｋＢが選択される。一例においてｋＲ＝ｋＢ＝２となる。

（エンコード１１６）
輝度画像の生成１１０及びクロミナンス画像の生成１１４Ｒ、１１４Ｂ後にこれらの画像は伝送されて記憶される。これは圧縮、フォーマッティング、あるいは使用及び記憶のためのデータエンコーディングを含んでも良い。例えば、結果として生じる輝度画像１１０及びクロミナンス画像１１４Ｒ、１１４Ｂを圧縮することができる。圧縮は適切な圧縮技術（例えば離散コサイン変換（例えばＪＰＥＧ）やウェーブレット変換（例えばＪＰＥＧ２０００）に基づく技術を含む）を使って実行され得る。選択された圧縮方法は輝度画像１００及びクロミナンス画像１１４Ｒ、１１４Ｂを完全に分離して処理できる。しかしながら、それらは一般的な方法で処理すべきである。特に、それらをＪＰＥＧ圧縮、ＪＰＥＧ２０００等の色空間変換を従来から含む周知の技術を使用の一部として使って圧縮することが効果的である。

好都合なことに、輝度画像１１０及びクロミナンス画像１１４Ｒ、１１４Ｂの相対的解像度及びそれらのピクセルの本実施形態における空間的なアライメントは、その後の処理においてＹＣｂＣｒ４２０画像データとして処理できることを意味している。これにより、修正を行うことなく、周知の組み込まれた圧縮と伝送のプロトコルを使用することができる。

この方法はＹＣｂＣｒ４２０画像をさらに画像処理するために異なる画像フォーマットに変換することを含んでも良い。これはＹＣｂＣｒ４２０画像データをデコーディングしそれをＲＧＢ画像フォーマットに戻す変換を行うことを含む。実施形態では、各ピクセルのＲＧＢ値が以下の計算により生成される：

ここで、（ｉ，ｊ）はピクセル位置を示す。このプロセスはセンサＲＡＷ画像１０２の復元を行う。

この方法はさらに復号されたビデオデータの表示やデモザイシング処理されたカラー画像の復元を含んでも良い。

しかしながら、これまでの記載から分かるように、クロミナンス画像はそれをフル解像度で行うにはピクセルの数が少なすぎる。従って、フル解像度のデータを必要とする場合には補間によりクロミナンス画像のための追加のピクセル値を生成することが必要になる。クロミナンス成分は一般的には高い空間周波数を持たないのでこれはシンプルな双線形補間となり得る。

本実施形態はカメラベースのデータ処理においていくつか利点がある。それらの第１の利点はセンサＲＡＷデータのデータレンジを実質的に維持するようにＲＡＷ画像データをエンコードして後処理においてカラー変換とトーンマッピングの適用に完全な自由度を与えるとともに、（デモザイシング処理された未処理のＲＡＷデータと比較して）比較的良好な圧縮率を達成できることである。さらには、ファイナルデータが既存のＲＡＷワークフローに適合する一方ＲＡＷ復号ステージで必要とされる処理レベルを低減し、それによってワークフローを迅速化して大量の画像データのハンドリングを改善することである。

カメラにおいてデモザイシングの主要部分を実行することが圧縮コーデック及び望ましい圧縮比に対してだけでなくカメラの特定の画像取得センサ及びそのノイズ特性に対してもデモザイシングのアルゴリズムを適合させることを容易にする。

図９は図３の方法の代替方法を示しており、ＲＡＷビデオデータを処理する。方法１００はＮｘＭピクセルの解像度を有するモザイシング処理された多数のカラー画像形式のＲＡＷセンサ画像データ１０２から始まる。好ましい実施例ではＲＡＷセンサデータはほとんどが処理されていないセンサデータである。これにより、ＲＡＷデータはセンサにより捕捉されたカラーレンジが制限やカットされることなく維持される。図９のプロセスではＲＡＷセンサ画像データ１０２が輝度画像やクロミナンス画像の算出前にデモザイシング処理されない。その代わりステップ１０８において適当なフィルタカーネル９００を用いて輝度画像がモザイシング処理された画像から直接算出される。その後ステップ１１２において、１以上のクロミナンス画像１１４Ｂ，１１４Ｒが適当なフィルタカーネル９０２を用いて生成される。

図１０は従来のベイヤーＣＦＡを備えた画像センサで取得されモザイシング処理された画像１０００から輝度画像１００４及び２つのクロミナンス画像１００８．Ｂ、１００８．Ｒを生成するプロセスを示す。輝度画像Ｙの値は図３の値と同じである。以下に示す比率において“ＡＮＤ”はＲ、Ｇ、Ｂ値の組合せを表している：
Ｙ＝（Ｒ＋２Ｇ＋Ｂ）／４
図３の例ではＣＢ（ｉ，ｊ）、ＣＲ（ｉ，ｊ）がそれぞれ（Ｂ－Ｙ）／ｋＢ、（Ｒ－Ｙ）／ｋＲとして算出されるが、本例ではクロミナンス画像Ｃｂ、Ｃｒがそれぞれ（Ｂ－Ｇ）／ｋＢ、（Ｒ－Ｇ）／ｋＲを表す。即ち、クロミナンス画像は輝度画像に対し差分がないが、緑値に対して差分がある。

この例では、輝度画像１００４の各ピクセル値は図１０で示される３ｘ３フィルタカーネル１００２を使って生成される。フィルタカーネル１００２はフィルタによりカバーされ算出するピクセル値のフォトサイトを中心とする、ピクセル値の加重合計に課される重み付けを表している。該合計は１６で除算され値をレンジに戻す。本例のフィルタカーネルは簡略化係数を使って特定幅の２次元ガウシアンフィルターを近似する。しかし、同じ方法がより複雑なフィルタを使っても実行され目標に向けて周波数応答を改善する。その例を図１１に示す。

Ｃｂ、Ｃｒ値１００８Ｂ、１００８Ｒをそれぞれ算出するには５ｘ５フィルタカーネル１００６を使う。Ｃｂ値を算出するためにフィルタカーネル１００６が各青のフォトサイトに適用されて上記ピクセル値を計算する。各加重合計は３２（フィルタの重み合計）で除算され各ピクセル値をレンジに入れて最終ピクセル値を得る。

Ｃｒ値を得るためにフィルタカーネル１００６がモザイシング処理された画像１０００の各赤フォトサイトに適用されて上記のようにその位置のＣｒピクセル値に対応するピクセルを計算する。各加重合計は３２（フィルタの重み合計）で除算され各ピクセル値をレンジに入れて最終ピクセル値を得る。

前例と同様Ｃｂ、Ｃｒの解像度は輝度画像の解像度の４分の１である。

理解されるように、モザイシング処理されたフレーム１０００のエッジからフィルタ幅半分より近くのフォトサイトに対しピクセル値を算出することが必要となる。

図１１は図１０のカーネル１００２に置き換えて使うことができる代替の２次元ガウシアンフィルタカーネル１１０２を示す。理解されるように、そのようなフィルタカーネルを用いて算出されるピクセル値は５１２（フィルタ係数の合計値である）で除算される。理解されるように、代替フィルタカーネル１１０２は９ｘ９領域をカバーする。より広いためにこのフィルタは３ｘ３ピクセルカーネル１００２よりも大きいノイズ低減を達成する。幾つかの実施例において、処理される画像フレームの１以上の特性（例えばフレームの所定領域のノイズレベル）に基づいて（フィルタカーネル１００２、１１０２等の２以上のカーネルから）好ましいフィルタカーネルを選択できるようにしても良い。

図９に戻って、エンコードステップ１１６が実行されて輝度画像及びクロミナンス画像がさらなる使用（記憶、送信、表示等）のために例えば圧縮及び／又はフォーマッティングによりエンコードされる。上記のように、好ましい形態において、ここで記載される実施例のＹ、Ｃｒ、Ｃｂフレームのフレーム解像度の比率はＹＣｂＣｒ ４：２：０フォーマットとしてエンコードするのに適している。さらにエンコードされた画像データはセンサで取得されたカラーレンジを維持するのに最も好ましく、カラーレンジは制限やカットされることなく恰もＲＡＷ画像データのように下流でデータが効果的に処理されることを可能にする。

この明細書で開示され明らかにされた本発明は述べられた、あるいはテキストや図面から明白な個々の特徴の２以上の全ての取り得る組合せに及ぶことが理解されるであろう。これらの異なる組合せの全てが本発明の種々の代替の態様を構成する。

Claims (14)

1. カメラの画像データ処理方法であって、前記カメラはカラーフィルタアレイを備えた画像センサを含み、画像センサはフォトサイトのアレイを含み、各フォトサイトはカラーフィルタアレイの複数のカラーのそれぞれにおいて受光し、対応するフォトサイトで捕捉された光の強度を示すピクセル値を出力するように構成され；該方法は：
   画像センサで生成されるＲＡＷ画像データをデモザイシングしてカラーフィルタアレイの各カラーに対応するカラー画像を生成することであり、各カラー画像の各ピクセル値は、前記ＲＡＷ画像データ内のピクセルのサブセットから重み付け補間により計算されること；
   前記カラー画像から第１解像度を有する輝度画像を生成すること；及び
   前記カラー画像から前記第１解像度よりも低い第２解像度を有する少なくとも２つのクロミナンス画像を生成することであり、青のクロミナンス画像は、前記カラーフィルタアレイの青のピクセルに対応するピクセル値を含み、赤のクロミナンス画像は、前記カラーフィルタアレイの赤のピクセルに対応するピクセル値を含むこと；
   を含む方法。
2. 前記輝度画像の位置（ｉ，ｊ）におけるピクセルの値Ｙ（ｉ，ｊ）は、式
   

   

   により算出され、式中、Ｒ（ｉ，ｊ）は、赤のカラー画像内の対応する位置のピクセル値であり、Ｂ（ｉ，ｊ）は、青のカラー画像内の対応する位置のピクセル値であり、Ｇ（ｉ，ｊ）は、緑のカラー画像内の対応する位置のピクセル値である、請求項１に記載の方法。
3. 青のクロミナンス画像の位置（ｉ，ｊ）におけるピクセルの値ＣＢ（ｉ，ｊ）は、式
   

   

   により算出され、式中、Ｂ（ｉ，ｊ）は、青のカラー画像内の対応する位置のピクセル値であり、Ｙ（ｉ，ｊ）は、前記輝度画像内の対応する位置のピクセル値であり、ｋＢは定数である、請求項１または２に記載の方法。
4. 赤のクロミナンス画像の位置（ｉ，ｊ）におけるピクセルの値ＣＲ（ｉ，ｊ）は、式
   

   

   により算出され、式中、Ｒ（ｉ，ｊ）は、赤のカラー画像内の対応する位置のピクセル値であり、Ｙ（ｉ，ｊ）は、前記輝度画像内の対応する位置のピクセル値であり、ｋＲは定数である、請求項１～３のいずれかに記載の方法。
5. ｋＲおよびｋＢは、ＣＢ（ｉ，ｊ）およびＣＲ（ｉ，ｊ）のデータ範囲の精度を最大化し、前記輝度画像および少なくとも２つの前記クロミナンス画像が、前記画像センサで生成される前記ＲＡＷ画像データのカラーレンジ全てを表している、請求項４に記載の方法。
6. 所定のカラーのカラー画像を生成することは：
   カラー画像の各ピクセルに対し、別のピクセル周辺の複数のピクセルに基づいてエッジ及びライン検出の少なくとも一つを実行し、前記エッジ又はライン検出に基づいてピクセル値を決定することを含む、請求項１～５のいずれかに記載の方法。
7. 所定のピクセルのピクセル値を決定することは、そこからそのピクセル値を決定する前記ピクセルのサブセットを選択することを含む、請求項６に記載の方法。
8. 前記サブセットのピクセルの重み付けは重み付けされるサブセット内のピクセル又はピクセルのサブセットに適用が可能なノイズレベルに基づいて決定される、請求項１～７のいずれかに記載の方法。
9. 捕捉されたＲＡＷ画像データがＮｘＭピクセルの解像度を有する；及び／又は
   輝度画像がＮｘＭピクセルの解像度を有する、請求項１～８のいずれかに記載の方法。
10. 少なくとも１つの前記輝度画像、１以上のクロミナンス画像を圧縮することをさらに含む、請求項１～９のいずれかに記載の方法。
11. 前記輝度画像及び２つのクロミナンス画像が共通の圧縮アルゴリズムを使って一緒に圧縮される、請求項１０に記載の方法。
12. ＲＡＷ画像データのカラーレンジが前記輝度画像及び１以上のクロミナンス画像の一方又は両方に維持される、請求項１～１１のいずれかに記載の方法。
13. 前記輝度画像及び２つのクロミナンス画像がＹＣｂＣｒ４２０フォーマットにフォーマット化されている、請求項１～１２のいずれかに記載の方法。
14. 請求項１～１３のいずれかに記載された方法を実行するように構成された画像処理システムを含むカメラ。
    

Images