JP2010537228A

JP2010537228A - パンクロ画素を使用する画素アスペクト比の補正

Info

Publication number: JP2010537228A
Application number: JP2010520986A
Authority: JP
Inventors: イー．，ジュニアアダムス，ジェイムズ; オブライエン，ミッシェル; フランクリンハミルトン，ジョン
Original assignee: イーストマンコダックカンパニー
Priority date: 2007-08-14
Filing date: 2008-08-06
Publication date: 2010-12-02
Also published as: CN101803391A; EP2177039A1; WO2009038618A1; US20090046182A1; TW200926759A

Abstract

第１の画素アスペクト比を有するエンハンスド・デジタルフルカラー画像の形成方法であって、第１の画素アスペクト比と異なる第２の画素アスペクト比をそれぞれ有するパンクロ画素と少なくとも２つの色の光応答に対応するカラー画素とを有する画像センサを使用して画像を捕捉するステップと、デジタル高解像度パンクロ画像を捕捉画像から提供し、第２の画素アスペクト比から第１の画素アスペクト比にパンクロ画素値のアスペクト比を変更して、アスペクト補正したデジタル高解像度パンクロ画像を作り出すステップと、デジタル低解像度ＣＦＡ色差画像を捕捉画像から提供するステップと、アスペクト補正したデジタル高解像度色差画像を低解像度ＣＦＡ色差画像から提供するステップと、それぞれアスペクト補正したデジタル高解像度パンクロ画像と、デジタル高解像度色差画像とを使用して、エンハンスド・デジタルフルカラー画像を作り出すステップとを有する方法。
【選択図】図４

Description

本発明は、異なる画素アスペクト比（pixel aspect ratio）を有するパンクロ画像とカラー画像とから、所望の画素アスペクト比を有するカラー画像を形成することに関する。

一般的には、ビデオカメラとデジタルスチルカメラは、カラーフィルタアレイを有する単一の画像センサを使用して、場面（scene）を記録する。このアプローチは、カラーフィルタアレイのパターンによって色情報がエンコードされる低密度（sparsely populated）単一チャネル画像とともに開始する。これに続く、近接画素値による補間は、完全な３チャネルフルカラー画像の復元を可能にする。一般的には、このフルカラー画像は、正方形の画素格子上にサンプリングされた画素値から構成することが暗黙に仮定される。すなわち、画像の画素は、正方形であると仮定される。このことは、これに続く画像のレンダリングにおいて、正方形の画素を使用する画像表示装置及び画像印刷装置の多くで重要なことである。しかしながら、フルカラー画像における正方形の画素の要求は、単一の画像センサが正方形の画素を使用することを要求するものではない。長方形の（正方形ではない）画素を使用するセンサは、周知の技術である。長方形の画素捕捉から正方形の画素捕捉を作り出す一般的な方法は、長方形の画素によってフルカラー画像を作り出して、次いで最終的なステップとして、フルカラー画像を正方形の画素を有するフルカラー画像に変換する。このアプローチは、米国特許第５７７８１０６号、（Juenger他）に典型的に示される。図２を参照すると、長方形の画素の単一センサを装備するデジタルカメラ２００は、ＲＧＢＣＦＡ画像２０２を作り出す。ＣＦＡ補間ブロック２０４は、ＲＧＢＣＦＡ画像２０２からフルカラー画像２０６を作り出す。画素アスペクト比補正ブロック２０８は、フルカラー画像２０６から画素アスペクト比を補正したフルカラー画像２１０を作り出す。この例では、正方形でない画素を有する初期画像（ブロック２０２）から正方形の画素を有する画像（ブロック２１０）を作り出すために、一連の画像処理において余分な操作（ブロック２０８）が必要になることが理解できる。より良い解決法は、画素アスペクト比補正ブロック２０８をＣＦＡ補間ブロック２０４に直接的に組み込むことであろう。このアプローチに関係する一例が米国特許第７０９２０２０号（Yoshikawa）において教示される。図３を参照すると、（正方形の画素の単一センサを装備する）デジタルカメラ２１２は、ＲＧＢＣＦＡ画像２１４を作り出す。ＣＦＡ補間及びサイズ変更ブロック２１６は、２つの別のステップ（補間、次にサイズ変更）に操作を分割せずに、すなわち対応する中間画像を作り出さずに、デジタル処理でズームされた（拡大された）フルカラー画像を直接計算することによって、ＲＧＢＣＦＡ画像２１４からサイズを変更したフルカラー画像２１８を作り出す。

低光量画像形成状況の下では、カラーフィルタアレイでフィルタリングしない、すなわちスペクトル感度において白色、又はパンクロである１つ又は２つ以上の画素を有することは、有利である。パンクロ画素は、捕捉システムの最大光感度能力を有する。パンクロ画素を採用することは、捕捉システムにおける光感度とカラースペクトル解像度との間のトレードオフを意味する。この目的を達成するために、４色カラーフィルタアレイシステムが多く説明されてきた。米国特許第６５２９２３９号（Dyck他）は、センサ表面に亘りモザイク状にして２×２ブロックとして配置する緑色‐シアン‐黄色‐白色のパターンを教示する。米国特許第６７５７０１２号（Hubina他）は、赤色‐緑色‐青色‐白色のパターンと、黄色‐シアン‐マゼンタ‐白色のパターンとの双方を開示する。双方の場合で、色は、画像装置の表面に亘りモザイク状にして２×２ブロックとして配置される。このようなシステムにおける問題は、カラーフィルタアレイの１／４の画素のみが最大光感度を有するので、捕捉装置の全体的な低光量性能が制限されることである。

カラーフィルタアレイにおいて、最大光感度を有する画素をより多く有する必要性に対処するために、米国特許出願第２００３／０２１０３３２号（Frame）は、画素の多くがフィルタリングされない画素アレイを説明する。場面からの色情報の捕捉に比較的少ない画素を充て、カラースペクトル解像度が低いシステムを作り出す。さらに、Frameは、単純な線形補間技術を使用することを教示するが、これは、画像における高周波の色空間のディテール（color spatial details）に応答しない、すなわちこれを保護しない。

本発明の目的は、異なる画素アスペクト比を有するパンクロ画像とカラー画像とから、所望の画素アスペクト比を有するカラー画像を作り出すことである。

この目的は、第１の画素アスペクト比を有するエンハンスド・デジタルフルカラー画像を形成する方法であって、
ａ）パンクロ画素と、少なくとも２つの色の光応答に対応するカラー画素とを有する画像センサを使用して画像を捕捉するステップであって、カラー画素と、パンクロ画素はそれぞれ、第１の画素アスペクト比と異なる第２の画素アスペクト比を有するステップと、
ｂ）デジタル高解像度パンクロ画像を捕捉画像から提供し、第２の画素アスペクト比から第１の画素アスペクト比にパンクロ画素値のアスペクト比を変更して、アスペクト補正したデジタル高解像度パンクロ画像を作り出すステップと、
ｃ）デジタル低解像度カラーフィルタアレイ色差画像を捕捉画像から提供するステップと、
ｄ）低解像度カラーフィルタアレイ色差画像から、アスペクト補正したデジタル高解像度色差画像を提供するステップと、
ｅ）アスペクト補正したデジタル高解像度パンクロ画像と、アスペクト補正したデジタル高解像度色差画像とを使用して、エンハンスド・デジタルフルカラー画像を作り出すステップと、
を有する方法によって達成される。

低光量条件の下で、第１のアスペクト比を有するパンクロ画素及びカラー画素を有するセンサによって画像を捕捉し、パンクロ画像とカラー画像とから作り出したデジタルカラー画像の所望の画素アスペクト比を作り出す処理ができることは、本発明の特徴である。

本発明は、低光量感度と、色空間解像度の忠実性との双方の改良を上述の方法が提供できるように、パンクロ画素とカラー画素の適当な構成を有するカラーフィルタアレイを使用する。上述の方法は、パンクロ空間のディテールと色空間のディテールを維持、エンハンスし、フルカラー、かつフル解像度画像を作り出す。

本発明を実行するデジタルカメラを含むコンピュータシステムの全体像を示す図である。画素アスペクト比を補正する一連の画像処理の先行技術のブロックを概略的に示す図である。ＣＦＡ補間と、画像サイズ変更とを組み合わせた一連の先行技術のブロックを概略的に示す図である。本発明の好適な実施形態のブロックを概略的に示す図である。図４のブロック３０２をより詳細に表すブロックを示す図である。本発明の他の実施形態における図４のブロック３０２をより詳細に表すブロックを示す図である。図４のブロック３１６をより詳細に表すブロックを示す図である。本発明の他の実施形態における図４のブロック３１６をより詳細に表すブロックを示す図である。本発明の他の実施形態における図４のブロック３１６をより詳細に表すブロックを示す図である。本発明の他の実施形態における図４のブロック３１６をより詳細に表すブロックを示す図である。本発明の他の実施形態における図４のブロック３１６をより詳細に表すブロックを示す図である。本発明の他の実施形態における図４のブロック３１６をより詳細に表すブロックを示す図である。図６Ａにおけるブロック３１６で使用する画素の領域を示す図である。図６Ａにおけるブロック３１６で使用する画素の領域を示す図である。図６Ｃにおけるブロック３１６で使用する画素の領域を示す図である。図６Ｃにおけるブロック３１６で使用する画素の領域を示す図である。図６Ｄにおけるブロック３１６で使用する画素の領域を示す図である。図６Ｄにおけるブロック３１６で使用する画素の領域を示す図である。図６Ｅにおけるブロック３１６で使用する画素の領域を示す図である。図６Ｅにおけるブロック３１６で使用する画素の領域を示す図である。図６Ｆにおけるブロック３１６で使用する画素の領域を示す図である。図６Ｆにおけるブロック３１６で使用する画素の領域を示す図である。

以下の説明において、本発明の好適な実施形態は通常、ソフトウェアプログラムとして実行する条件で説明されていく。当業者は、このソフトウェアの均等物がハードウェアにおいても構成できることを直に理解するであろう。画像操作アルゴリズム及び画像操作システムは、周知であるので、本明細書は、本発明に従ったシステム及び方法の一部を形成するアルゴリズム及びシステム、又は本発明に従ったシステム及び方法の一部とより直接的に協働するアルゴリズム及びシステムに特に向けられることになるであろう。本明細書に含まれる画像信号を作り出し、またそれ以外の処理アルゴリズム及び処理システム、及びハードウェア又はソフトウェアの他の態様は、公知のシステム、アルゴリズム、コンポーネント、及び素子から選択できる。以下の説明において、本発明に従って説明されるシステムを鑑みて、本発明の実施に有用なソフトウェアであって、本明細書に特に示され、提案され、又は説明されないソフトウェアは、従来のものであり、慣用技術の範囲内である。

またさらに、本明細書において使用するときに、コンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶でき、これには磁気ディスク（ハードドライブディスク、フロッピー（登録商標）ディスクなど）、又は磁気テープなどの磁気記憶媒体、光ディスク、光テープ、又は機械が読み取り可能なバーコードなどの光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）、又はリードオンリメモリ（ＲＯＭ）などの電子的半導体記憶媒体、若しくはコンピュータプログラムを記憶するために採用する他の物理的装置、又は物理的媒体などを含むことができる。

なお、本発明が、パーソナルコンピュータなどの周知のいずれかのコンピュータシステムにおいて好適に利用されることを、本発明の説明の前に留意すると理解が容易になる。このため、本明細書では、コンピュータシステムは、詳細に説明されることはないであろう。なお、（デジタルカメラなどによって）コンピュータシステムに画像が直接入力されるか、又は（ハロゲン化銀フィルムなどのオリジナルを走査するなどして）コンピュータシステムに入力される前に画像がデジタル化されるかの何れかであることに留意することもまた有益である。

図１を参照して、本発明を実施するコンピュータシステム１１０が説明される。コンピュータシステム１１０は、好適な実施形態を説明するために示されるが、本発明は、図示されるコンピュータシステム１１０に限定されず、家庭用コンピュータ、キオスク、小売店、大規模現像所、又は任意の他のデジタル画像処理システムに見いだされるような任意の電子処理システムにおいて使用できる。コンピュータシステム１１０は、ソフトウェアプログラムを受信し、かつ処理し、そして他の処理機能を実行するマイクロプロセッサベースユニット１１２を含む。表示装置１１４は、ソフトウェアに関連付けられるユーザ関係情報をグラフィカルユーザインタフェースなどによって表示するために、マイクロプロセッサベースユニット１１２に電気的に接続される。また、ユーザがソフトウェアに情報を入力するために、マイクロプロセッサベースユニット１１２にキーボード１１６が電気的に接続される。入力に使用するキーボート１１６に代わるものとして、周知のように、マウス１１８を使用して、表示装置１１４上のセレクタ１２０を移動してセレクタ１２０が重なった項目を選択できる。

ソフトウェアプログラムを標準的に包含するコンパクトディスク読み出し専用メモリ（ＣＤ‐ＲＯＭ）１２４をマイクロプロセッサベースユニットに挿入して、ソフトウェアプログラムと他の情報とをマイクロプロセッサベースユニット１１２に入力する経路を提供する。さらにまた、フロッピー（登録商標）ディスクもソフトウェアプログラムを包含でき、フロッピー（登録商標）ディスクをマイクロプロセッサベースユニット１１２に挿入して、ソフトウェアプログラムを入力する。また、マイクロプロセッサベースユニット１１２に接続される外部ディスクドライブユニット１２２にコンパクトディスク読み出し専用メモリ（ＣＤ‐ＲＯＭ）１２４、又はフロッピー（登録商標）ディスク１２６を挿入できる。またさらに、マイクロプロセッサベースユニット１１２は、周知のように、ソフトウェアプログラムを内部で記憶するようにプログラムできる。また、マイクロプロセッサベースユニット１１２は、電話線などのネットワーク接続１２７を有し、構内通信網、又はインタネットなどの外部ネットワークに接続される。また、プリンタ１２８をマイクロプロセッサベースユニット１１２に接続して、コンピュータシステム１１０から出力されるハードコピーを印刷できる。

また、画像は、（Personal Computer Memory Card International Associationの規格に基づき）以前はＰＣＭＣＩＡカードと称されたパーソナルコンピュータカード（ＰＣカード）１３０によって、表示装置１１４に表示できる。ＰＣカード１３０は、電子的に組み込まれたデジタル画像を含む。最終的には、ＰＣカード１３０をマイクロプロセッサベースユニット１１２に挿入して、表示装置１１４に画像の画像表示できる。また、ＰＣカード１３０は、マイクロプロセッサベースユニット１１２に接続される外付けのＰＣカードリーダ１３２に挿入できる。また、画像は、コンパクトディスク読み出し専用メモリ（ＣＤ‐ＲＯＭ）１２４、フロッピー（登録商標）ディスク１２６、又はネットワーク接続１２７を介して入力できる。ＰＣカード１３０、フロッピー（登録商標）ディスク１２６、又はコンパクトディスク読み出し専用メモリ（ＣＤ‐ＲＯＭ）１２４に記憶された画像、若しくはネットワーク接続１２７を介して入力された画像はいずれも、デジタルカメラ（図示せず）、スキャナ（図示せず）などの様々なソースから取得された画像にできる。また、画像は、マイクロプロセッサベースユニット１１２に接続されたカメラ接続ポート１３６を介してデジタルカメラから直接入力できる。また、マイクロプロセッサベースユニット１１２とのケーブル接続１３８、又はマイクロプロセッサベースユニット１１２との無線接続１４０を介してデジタルカメラから直接入力できる。

本発明に従って、これまで述べたいずれの記憶装置にも記憶でき、低密度画像を補間するために画像に適用される。

図４において、好適な実施形態のハイレベル図を概略的に示す。デジタルカメラ１３４（図１）に起因して、デジタルＲＧＢＰＣＦＡ画像、又はＲＧＢＰＣＦＡ画像とも称されるデジタル赤色‐緑色‐青色‐パンクロ（ＲＧＢＰ）カラーフィルタアレイ（ＣＦＡ）画像３００のオリジナルを創出する。なお、以下の説明で赤色‐緑色‐青色‐パンクロの代わりにシアン‐マゼンタ‐黄色‐パンクロなどの他の色の組み合わせを使用できる。キーポイントは、パンクロチャネルを含むことである。画像内のそれぞれの画素は、赤色データ、緑色データ、青色データ、又はパンクロデータの１つの画素値のみを含むので、この画像は、粗く（sparsely）サンプリングした画像と考えられる。パンクロ補間ブロック３０２は、ＲＧＢＰＣＦＡ画像３００から高解像度パンクロ画像３０４と、低解像度パンクロ画像３０６とを作り出す。画像処理連鎖においてこの時点で、それぞれのカラー画素の位置は、赤色値、緑色値、又は青色値の何れかと、関連するパンクロ値とを有する。低解像度色間引き（Decimation）ブロック３１０は、ＲＧＢＰＣＦＡ画像３００から低解像度ＲＧＢＣＦＡ画像３１２を作り出す。色差生成ブロック３０８は、低解像度ＲＧＢＣＦＡ画像３１２と、低解像度パンクロ画像３０６とから、低解像度ＣＦＡ色差画像３１４を作り出す。ＣＦＡ色差補間及びサイズ変更ブロック３１６は、低解像度ＣＦＡ色差画像３１４と、低解像度パンクロ画像３０６とから、補正した高解像度色差画像３１８を作り出す。画素アスペクト比補正ブロック３２０は、高解像度パンクロ画像３０４から、補正した高解像度パンクロ画像３２２を作り出す。最後に、色差画像及びパンクロ画像合計ブロック３２４は、補正した高解像度色差画像３１８と、補正した高解像度パンクロ画像３２２とから、エンハンスド・フルカラー画像３２６を作り出す。

図５Ａにおいて、好適な実施形態のブロック３０２（図４）のより詳細な表示を示す。高解像度パンクロ補間ブロック３２８は、ＲＧＢＰＣＦＡ画像３００（図４）から高解像度パンクロ画像３３０を作り出す。高解像度パンクロ画像３３０のコピーは、高解像度パンクロ画像３０４（図４）になる。低解像度パンクロ間引きブロック３３２は、パンクロ画像３３０から低解像度パンクロ画像３０６（図４）を作り出す。

図５Ａにおいて、高解像度パンクロ補間ブロック３２８と、低解像度パンクロ間引きブロック３３２とは、当業者に公知な方法で実行できる。適当な方法は、先に引用した同一出願人による米国特許出願公報第２００７／００２４９３４号と、米国特許出願第１１／５６４４５１号とにおいて教示される。

図５Ｂにおいて、他の実施形態のブロック３０２（図４）のより詳細な表示を示す。高解像度パンクロ補間ブロック３２８は、ＲＧＢＰＣＦＡ画像３００（図４）から高解像度パンクロ画像３０４（図４）を作り出す。低解像度パンクロ補間ブロック３３４は、ＲＧＢＰＣＦＡ画像３００（図４）から低解像度パンクロ画像３０６（図４）を作り出す。高解像度パンクロ補間ブロック３２８は、図５Ａにおいて既に説明している。低解像度パンクロ補間ブロック３３４は、補間したパンクロ画素値の低解像度パンクロ画像を作り出す補間計算の後に、捕捉されたパンクロ画値が自動的に廃棄されることのみが、高解像度パンクロ補間ブロック３２８と異なる。

図６Ａにおいて、好適な実施形態のブロック３１６（図４）をより詳細に表すブロックを示す。ＣＦＡ色差補間ブロック３３６は、低解像度ＣＦＡ色差画像３１４（図４）から低解像度色差画像３３８を作り出す。高解像度サイズ変更ブロック３４０は、低解像度色差画像３３８から高解像度色差画像３４２を作り出す。画素アスペクト比補正ブロック３４４は、高解像度色差画像３４２から、補正した高解像度色差画像３１８（図４）を作り出す。

図６Ａにおいて、ＣＦＡ色差補間ブロック３３６は、当業者に公知のいずれかの方法で実行できる。適当な方法は、先に引用した同一出願人による米国特許出願公報第２００７／００２４９３４号と、米国特許出願第１１／５６４４５１号とにおいて教示される。高解像度サイズ変更ブロック３４０は、同一出願人による米国特許出願公報第２００７／００２４９３４号にも記載される標準的なデジタル画像サイズ変更（補間、又は再サンプリング）である。また、画素アスペクト比補正ブロック３４４は、横倍率と縦倍率とが異なるという優れた特徴を有する標準的なデジタル画像サイズ変更である。一例として、図７Ｂの（Ｑ₁−Ｑ_C）は、画素アスペクト比を補正した図７Ａの（Ｐ₁−Ｐ_C）の変形である。双線形補間を使用すると、画素アスペクト比の計算は、以下のようになる。

３次畳込補間法などの他の補完法を双線形補間の代わりに使用できることは、当業者には明らかであろう。

図６Ｂにおいて、他の実施形態におけるブロック３１６（図４）をより詳細に表すブロックを示す。ＣＦＡ色差補間ブロック３３６は、低解像度ＣＦＡ色差画像３１４（図４）から低解像度色差画像３３８を作り出す。画素アスペクト比補正ブロック３４６は、低解像度色差画像３３８から、補正した色差画像３４８を作り出す。高解像度サイズ変更ブロック３５０は、補正した色差画像３４８から、補正した高解像度色差画像３１８（図４）を作り出す。

図６Ｂにおいて、ＣＦＡ色差補間ブロック３３６は、図６Ａにおいて先に説明した通りである。画素アスペクト比補正ブロック３４６は、ブロック３４６が低解像度データにおいて操作され、ブロック３４４が高解像度において操作されることを除き、図６Ａの画素アスペクト比補正ブロック３４４と同一である。高解像度サイズ変更ブロック３５０は、ブロック３５０が画素アスペクト比補正データにおいて使用され、ブロック３４０がそうではないことを除き、高解像度サイズ変更ブロック３４０と同一である。

図６Ｃにおいて、他の実施形態におけるブロック３１６（図４）をより詳細に表すブロックを示す。ＣＦＡ色差補間ブロック３３６は、低解像度色差画像３３８から低解像度ＣＦＡ色差画像３１４（図４）を作り出す。高解像度サイズ変更及び画素アスペクト比補正ブロック３５２は、低解像度色差画像３３８から、補正した高解像度色差画像３１８（図４）を作り出す。

図６Ｃにおいて、ＣＦＡ色差補間ブロック３３６は、図６Ａにおいて先に説明した通りである。高解像度サイズ変更及び画素アスペクト比補正ブロック３５２は、高解像度なサイズ変更と、画素アスペクト比の補正とを単一の操作として実行する。ブロック３５２は、横倍率と縦倍率とが異なる標準的なデジタル画像サイズ変更によって遂行される。一例として、図８Ｂの（Ｑ₁−Ｑ_m）は、画素アスペクト比を補正した図８Ａの（Ｐ₁−Ｐ_C）の変形である。双線形補間を使用すると、画素アスペクト比の計算は、以下のようになる。

この計算を拡張して、図８ＢにおけるＱの他の値を作り出す方法は、当業者には明らかであろう。また、３次畳込補間法などの他の補完法を双線形補間の代わりに使用できることも、当業者には明らかであろう。

図６Ｄにおいて、他の実施形態におけるブロック３１６（図４）をより詳細に表すブロックを示す。ＣＦＡ色差補間及び画素アスペクト比補正ブロック３５４は、低解像度ＣＦＡ色差画像３１４（図４）から、補正した低解像度色差画像３５６を作り出す。高解像度サイズ変更ブロック３５８は、補正した低解像度色差画像３５６から、補正した高解像度色差画像３１８（図４）を作り出す。

図６Ｄにおいて、高解像度サイズ変更ブロック３５８は、ブロック３５８が画素アスペクト比補正データにおいて操作されることを除き、高解像度サイズ変更ブロック３４０（図６Ａ）と同一である。ＣＦＡ色差補間及び画素アスペクト比補正ブロック３５４は、補間操作の組み合わせである。一例として、図９Ｂの（Ｑ₁−Ｑ_C）は、ＣＦＡを補間し、画素アスペクト比を補正した図９Ａの（Ｒ₁−Ｇ_C）の変形である。なお、図９Ａにおいて、画素値はそれぞれ、色差値であり、オリジナルの色の値（original color value）ではない。画素Ｑ₁とＲ₁とは一致するので、Ｑ_１の画素アスペクト比を補正する必要はない。したがって、ＣＦＡ補間のみが実行される。標準的な双線形補間が使用される。

Ｑ₂の場合には、ＣＦＡ補間と画素アスペクト比補正の双方が実行される。最終的な計算の決定を説明するために、中間のステップを示す。

したがって、ブロック３５４による計算を実行して決定されるＱ₂の値は、以下の通りである。

例における他の計算は、以下の通りである。

図６Ｅにおいて、他の実施形態におけるブロック３１６（図４）をより詳細に表すブロックを示す。ＣＦＡ色差補間及び高解像度サイズ変更ブロック３６０は、低解像度ＣＦＡ色差画像３１４（図４）から高解像度色差画像３６２を作り出す。画素アスペクト比補正ブロック３６４は、高解像度色差画像３６２から、補正した高解像度色差画像３１８（図４）を作り出す。

図６Ｅにおいて、画素アスペクト比補正ブロック３６４は、画素アスペクト比補正ブロック３４４（図６Ａ）と同一である。ＣＦＡ色差補間及び高解像度サイズ変更ブロック３６０は、補間操作の組み合わせである。一例として、図１０Ｂの（Ｑ₁−Ｑ_G）は、ＣＦＡを補間し、画素アスペクト比を補正した図１０Ａの（Ｒ₁−Ｂ₄）の変形である。なお、図１０Ａにおいて、画素値はそれぞれ、色差値であり、オリジナルの色の値ではない。画素Ｑ₁とＲ₁とは一致するので、Ｑ_１の画素アスペクト比を補正する必要はない。したがって、ＣＦＡ補間のみが実行される。標準的な双線形補間が使用される。

Ｑ₂の場合には、ＣＦＡ補間と高解像度サイズ変更の双方が実行される。最終的な計算の決定を説明するために、中間のステップを示す。

したがって、ブロック３６０による計算を実行して決定されるＱ₂の値は、以下の通りである。

例における他の計算は、以下の通りである。

図６Ｆにおいて、他の実施形態におけるブロック３１６（図４）をより詳細に表すブロックを示す。ＣＦＡ色差補間、高解像度サイズ変更、及び画素アスペクト比補正ブロック３６６は、低解像度ＣＦＡ色差画像３１４（図４）から、補正した高解像度色差画像３１８（図４）を作り出す。ブロック３６６は、補間操作の組み合わせである。一例として、図１１Ｂの（Ｑ₁−Ｑ_O）は、ＣＦＡを補間し、ＣＦＡ色差を補間し、画素アスペクト比を補正した図１１Ａの（Ｒ₁−Ｇ₆）の変形である。なお、図１１Ａにおいて、画素値はそれぞれ、色差値であり、オリジナルの色の値ではない。画素Ｑ₁とＲ₁とは一致するので、高解像度サイズ変更をする必要はなく、またＱ_１の画素アスペクト比を補正する必要はない。したがって、ＣＦＡ補間のみが実行される。標準的な双線形補間が使用される。

Ｑ₂の場合には、ＣＦＡ補間と、高解像度サイズ変更と、画素アスペクト比補正とが実行される。最終的な計算の決定を説明するために、中間のステップを示す。

例における他の計算は、以下の通りである。

本発明に係る好適な実施形態において開示された画素アスペクト比補正アルゴリズムは、様々な状況及び環境で採用できる。典型的な状況及び環境は、一例として、卸売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウトのようなプロセス・ステップ又は段に関与する）、小売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウト）、家庭内印刷（家庭内で走査されたフィルム又はデジタル画像、デジタル処理、プリントアウト）、デスクトップ・ソフトウェア（デジタルプリントをより良くするか、又はただこれらを変化させるだけのために、アルゴリズムをデジタルプリントに適用するソフトウェア）、デジタル・フルフィルメント（媒体からの、又はウェブを介したデジタル画像の受け入れ、デジタル処理、そして媒体上のデジタル形態の画像、又はウェブを介したデジタル形態の画像、又はハードコピー・プリント上に印刷された画像の納品を伴う）、キオスク（デジタル又は走査入力、デジタル処理、デジタル又は走査出力）、携帯デバイス（例えばＰＤＡ、又は処理ユニット、ディスプレイ・ユニット、又は処理指示を与えるためのユニットとして使用することができる携帯電話機）、及びワールド・ワイド・ウェブを介して提供されるサービスを含むが、これには限定されない。

それぞれの事例において、補間アルゴリズムは、独立していてよく、或いは、より大型のシステム手段の構成部分であってもよい。さらに、アルゴリズムを有するインターフェイス、例えば走査又は入力、デジタル処理、（必要な場合には）ユーザに対する表示、（必要な場合には）ユーザ要求又は処理指示の入力、出力がそれぞれ、同じか又は異なるデバイス、及び物理的場所上で行われてよく、そしてデバイス及び場所の間の通信は、公的又は私的なネットワーク接続、又は媒体に基づく通信を介して行うことができる。本発明の前記開示内容と一致する場合には、アルゴリズム自体は、完全自動であってよく、ユーザ入力を有することができ（完全又は部分手動)、結果を受諾/拒絶するためのユーザ又は操作者の検閲を有することができ、或いはメタデータ（ユーザによって供給するか、（例えばカメラ内の）測定デバイスによって供給するか、又はアルゴリズムによって決定することができるメタデータ）によって支援することができる。さらに、アルゴリズムは、種々のワークフロー・ユーザ・インターフェイス・スキームとインターフェイス接続することができる。

本発明による本明細書中に開示された補間アルゴリズムは、種々のデータ検出・整理技術（例えば顔検出、眼検出、皮膚検出、フラッシュ検出）を利用する内部成分を有することができる。

１１０コンピュータシステム
１１２マイクロプロセッサベースユニット
１１４表示装置
１１６キーボード
１１８マウス
１２０表示部上のセレクタ
１２２ディスクドライブユニット
１２４コンパクトディスク読み出し専用メモリ（ＣＤ‐ＲＯＭ）
１２６フロッピー（登録商標）ディスク
１２７ネットワーク接続
１２８プリンタ
１３０パーソナルコンピュータカード（ＰＣカード）
１３２ＰＣカードリーダ
１３４デジタルカメラ
１３６カメラ接続ポート
１３８ケーブル接続
１４０無線接続
２００デジタルカメラ
２０２ＲＧＢＣＦＡ画像
２０４ＣＦＡ補間
２０６フルカラー画像
２０８画素アスペクト比画像
２１０補正したフルカラー画像
２１２デジタルカメラ
２１４ＲＧＢＣＦＡ画像
２１６ＣＦＡ補間及びサイズ変更
２１８サイズ変更したフルカラー画像
３００ＲＧＢＰＣＦＡ画像
３０２パンクロ補間
３０４高解像度パンクロ画像
３０６低解像度パンクロ画像
３０８色差生成
３１０低解像度色間引き
３１２低解像度ＲＧＢＣＦＡ画像
３１４低解像度ＣＦＡ色差画像
３１６ＣＦＡ色差補間及びサイズ変更
３１８補正した高解像度色差画像
３２０画素アスペクト比補正
３２２補正した高解像度パンクロ画像
３２４色差画像とパンクロ画像との合計
３２６エンハンスド・フルカラー画像
３２８高解像度パンクロ補間
３３０高解像度パンクロ画像
３３２低解像度パンクロ間引き
３３４低解像度パンクロ補間
３３６ＣＦＡ色差補間
３３８低解像度色差画像
３４０高解像度サイズ変更
３４２高解像度色差画像
３４４画素アスペクト比補正
３４６高解像度色差画像
３４８補正した色差画像
３５０高解像度サイズ変更
３５２高解像度サイズ変更及び画素アスペクト比補正
３５４ＣＦＡ色差補間及び画素アスペクト比補正
３５６補正した低解像度色差画像
３５８高解像度サイズ変更
３６０ＣＦＡ色差補間及び高解像度サイズ変更
３６２高解像度色差画像
３６４高解像度色差画像
３６６ＣＦＡ色差補間、高解像度サイズ変更、及び高解像度サイズ変更

Claims

第１の画素アスペクト比を有するエンハンスド・デジタルフルカラー画像を形成する方法であって、
ａ）パンクロ画素と、少なくとも２つの色の光応答に対応するカラー画素とを有する画像センサを使用して画像を捕捉するステップであって、カラー画素と、パンクロ画素はそれぞれ、前記第１の画素アスペクト比と異なる第２の画素アスペクト比を有するステップと、
ｂ）デジタル高解像度パンクロ画像を前記捕捉画像から提供し、前記第２の画素アスペクト比から前記第１の画素アスペクト比に前記パンクロ画素値のアスペクト比を変更して、アスペクト補正したデジタル高解像度パンクロ画像を作り出すステップと、
ｃ）デジタル低解像度カラーフィルタアレイ色差画像を前記捕捉画像から提供するステップと、
ｄ）前記低解像度カラーフィルタアレイ色差画像から、アスペクト補正したデジタル高解像度色差画像を提供するステップと、
ｅ）前記アスペクト補正した高解像度パンクロ画像と、アスペクト補正した高解像度色差画像とを使用して、前記エンハンスド・デジタルフルカラー画像を作り出すステップと、
を有することを特徴とする方法。
ステップ（a）は、赤色、緑色、及び青色の光応答を有するカラー画素を含む請求項１に記載の方法。
ステップ（a）は、シアン、マゼンタ、及び黄色の光応答を有するカラー画素を含む請求項１に記載の方法。
ステップ（ｃ）は、前記高解像度パンクロ画像からデジタル低解像度パンクロ画像を作り出し、前記低解像度パンクロ画像と、前記捕捉したカラー画像とを使用して、前記デジタル低解像度カラーフィルタアレイ色差画像を作り出すステップを含む請求項１に記載の方法。
ステップ（ｄ）は、色差画素値をカラーフィルタアレイ補間するステップを含む請求項１に記載の方法。
ステップ（ｄ）は、前記第２の画素アスペクト比から前記第１の画素アスペクト比に色差画素値の前記画素アスペクト比を変更するステップを含む請求項１に記載の方法。
ステップ（ｄ）は、低解像度から高解像度に色差画素値をサイズ変更するステップを含む請求項１に記載の方法。
前記第１の画素アスペクト比は、正方形の輪郭を示し、前記第２の画素アスペクト比は、正方形ではない長方形の輪郭を示す請求項１に記載の方法。