JP4019201B2 - ディスクリートコサイン変換を用いた色調回復のためのシステムおよび方法 - Google Patents

Description

本願は、1995年6月8日公告された国際公告第ＷＯ９５／１５５３８号に対応する、本願より前に出願した米国出願の一部継続出願である。
発明の背景
１．発明の分野
本発明は一般に、改良された画像処理システムおよびこのシステムと共に用いる画像処理方法に関する。具体的には、本発明は、画像色調回復のためのシステムおよびその方法に関する。
２．先行技術の説明
画像は、空間的または時間的に分布する何らかの視覚的現実の２次元的表現であると考えることができる。通常、画像は、人間の視覚系が明るさ、色および時にはデプスキュー（depth cue）などの外部からの刺激の変形物として認識するものである。画像をキャプチャ（capture）して再生するための技術が何年にもわたって数多く開発されているが、コンピュータまたは他の専用電子ハードウェアを用いて操作、処理、または表示することができる連続的信号、離散的信号、またはデジタル信号としての画像の表現は、最新の技術である。この最新の技術は現在十分に確立されており、この技術には種々の有益な応用がある。例えば、電子的な形態では、特殊視覚効果をつくりだすようにエンハンスされ、復元され、離れた場所への送信用に符号化され、メモリ（ＣＤＲＯＭ、ＤＡＴ、フロッピーディスクなど）に格納され、再構築され、表示されるか、または他の何らかの実体的な形態に変換される。
画像処理は、空間領域または周波数領域のような様々な領域で起こり得る。画像を表記するときに用いるクロミナンスなどのパラメータの値が空間的ロケーションに直接対応するとき、画像は空間領域にあると言われる。周波数領域では、空間領域の画像は、三角関数の形式の一連の周波数成分によって表記され得る。この三角関数は、空間領域の各画像データポイント（すなわち、画素）について合計されたとき、空間領域のその特定の画像データポイントの画像を特徴づけるために用いられるパラメータの値を生成する。そのような表記を拡張して画像の全画像データポイントをカバーすることもできる。
空間領域では、元の画像データは、空間的ポジションの連続的な関数として表記することができ、２次元の場合にはｓ_c（ｙ，ｘ）として表される。ほとんどの応用では、ｘ＝ｉＴ_hおよびｙ＝ｊＴ_vで水平方向および垂直方向に沿ってこの連続的な空間的画像をサンプリングすることが可能でありかつ都合がよい。ここで、ｉおよびｊは整数の指数であり、Ｔ_hは水平サンプリング期間であり、Ｔ_vは垂直サンプリング期間である。これによりポイントの行列ｓ_c（ｊＴ_v，ｉＴ_h）が生成され、以下の説明では、２次元の場合これをｓ（ｊ，ｉ）として示される離散的信号で表し、ここで小文字ｓは空間領域を表し、ｉは行のインデックスであり、ｊは列のインデックスであり、ｉおよびｊは０から始まるように初期化することができる。周波数領域では、行列を用いて、従来からＳ（ｖ，ｕ）で示される変換行列で周波数データを表記する一組の変換係数として画像を数学的に表記することもできる。ここで、大文字Ｓは周波数領域を表し、ｕは行のインデックスであり、ｖは列のインデックスである。
空間的画像データポイントは、フーリエ変換またはディスクリート・コサイン変換（discrete cosine transform）のような変換を用いて周波数領域に変換され得る。ディスクリート・イーブン・コサイン変換（discrete even cosine transform）（以下、ＤＥＣＴと称す）および逆ディスクリート・イーブン・コサイン変換（inverse discrete even cosine transform）（以下、ＩＤＥＣＴ）を用いて画像圧縮を行うことは当該技術分野において周知であり、実際に、このような慣習は、国際電信電話諮問委員会（Consultative Committee on International Telegraphy and Telephony）（CCITT）および国際標準化機構（International Standards Organization）（ISO）の共同事業の一部としてつくられたジョイント・フォトグラフィック・エキスパート・グループ（Joint Photographic Experts Group）（JPEG）およびモーション・ピクチャー・エキスパート・グループ（Motion Picture Experts Group）（MPEG）によって規格として採用されている。
ディスクリート・イーブン・コサイン変換を用いた場合、周波数領域はＤＥＣＴ領域と呼ばれ、周波数係数はＤＥＣＴ係数と呼ばれる。従来から、空間領域から周波数領域へのデータ変換は前方変換と呼ばれ、周波数領域から空間領域へのデータ変換は逆変換と呼ばれる。したがって、前方ディスクリートコサイン変換は、前方ＤＥＣＴの基底関数に従って、画像を、空間領域のもとの画像データポイントｓ（ｊ，ｉ）からＤＥＣＴ領域のＤＥＣＴ係数Ｓ（ｖ，ｕ）に写像（map）する変換として定義され、逆ディスクリート・イーブン・コサイン変換は、ＩＤＥＣＴの基底関数に従って、ＤＥＣＴ係数Ｓ（ｖ，ｕ）を、ＤＥＣＴ領域から、空間領域の再構築画像データポイント

に写像する変換として定義される。
1992年9月24日発行のELECTRONICS LETTERS、Vol.28、No.20の1927頁〜1928頁のJ.I.Agbinyaによる「ディスクリート・コサイン変換を用いた補間（Interpolation Using the Discrete Cosine Transform）」と題された論文では、従来のＤＥＣＴおよびＩＤＥＣＴが、いかに、ズーミング（zooming）およびゼロパディング（zero padding）補間アルゴリズムにおいて、変換のある特定の変形例よりも優れているかが記載されている。
カラー画像処理の共通の問題点は、人間の目に不快に見える画像の歪みが導入されるあるいは伝搬することである。1991年5月発行のIEEE TRANSACTIONS ON ELECTRON SERVICES、Vol.38、No.5の1226頁〜1232頁のY.Tim Tsaiによる「シングルチップカメラのための色画像圧縮（Color Image Compression for Single-Chip Cameras）」では、カラーフィルタを用いてシングルチップカメラのための画像圧縮を行う方法が記載されており、ここでは、最終的な色画像は非圧縮画像に比べて目に見えるエラーがない。画像圧縮法はディスクリート・コサイン変換に基づいて行われ、欠けている色情報を回復する方法は既知の色値の対数の１次の補間法、すなわち（ｌｏｇ Ｒ−ｌｏｇ Ｇ）および（ｌｏｇ Ｂ−ｌｏｇ Ｇ）に基づいて行われる。
色の補間については、別個の色補間および色組成を有するグラフィックエンジン（graphic engine）において所望のシェード（shade）または色相を生成するための方法が記載されている1992年6月25日に公告された国際公告番号ＷＯ９２／１０９１１号に記載されおり、ここでは、補間によって各色チャネルの開始色と終了色との間の混合色が生成され、組成によってこれらの混合色が画素メモリで混ぜられる。このようにして、所与の色チャネルの各々において既知の色密度間で補間を行うことによって赤、緑または青の特定のシェードが得られる。
本発明は、前方および逆ディスクリート・イーブン・コサイン変換に基づいて疑似絵素での色値を推定することによって画像の色調回復を行うためのシステムおよび方法を提供する。請求されるシステム及び方法は、既存のシステムよりも効率的であり、さらに、国際標準化機構、ジョイント・フォトグラフィック・エキスパート・グループによって定められたISO/IEC 10918-1、§A.3.3、およびモーション・ピクチャー・エキスパート・グループによって認められている同様のＤＥＣＴベースの圧縮規格などのＤＥＣＴベースの圧縮の国際規格と相補的である。
発明の概要
入力画像の色再生方法は、（ａ）画像取得装置から、該入力画像を表す画像信号ｓ（ｊ，ｉ）を取得するステップと、（ｂ）該画像信号ｓ（ｊ，ｉ）の色チャネルを選択するステップとを包含する。この方法は、（ｃ）該画像信号ｓ（ｊ，ｉ）の第１の方向のセグメントのＮポイントＤＥＣＴを行って第１のＤＥＣＴ係数を生成し、該第１のＤＥＣＴ係数の変形ＩＤＥＣＴを行って第１の変形ＩＤＥＣＴ係数を生成することにより第１の方向の色調回復を行うステップを包含し、Ｎは所定の絵素数であり、該第１の変形ＩＤＥＣＴ係数は該第１の方向のセグメントの第１の推定色成分を表し、（ｄ）画像の該第１の推定色成分の第２の方向のセグメントのＮポイント・ディスクリート・イーブン・コサイン変換を行って第２のＤＥＣＴ係数を生成し、該第２のＤＥＣＴ係数の変形逆ディスクリート・イーブン・コサイン変換を行って第２の変形ＩＤＥＣＴ係数を生成することにより第２の方向の色調回復を行うステップをさらに包含し、該第２の変形ＩＤＥＣＴ係数は該第２のセグメントの第２の推定色成分を表し、該第２の推定色成分は
疑似絵素に配置されることを特徴とする。
画像信号ｓ（ｊ，ｉ）として表される画像の色再生を与えるためのシステムは、空間領域で画像信号源から該画像信号ｓ（ｊ，ｉ）を取得する手段と、該画像信号ｓ（ｊ，ｉ）の色チャネルを選択する手段とを備え、該システムは、該画像信号ｓ（ｊ，ｉ）の第１のセグメントのＮポイントＤＥＣＴを行って第１のＤＥＣＴ係数を生成し、該第１のＤＥＣＴ係数の変形ＩＤＥＣＴを行って第１の変形ＩＤＥＣＴ係数を生成することによって、第１の方向の色調回復を行う手段を備え、Ｎは所定の絵素数であり、該第１の変形ＩＤＥＣＴ係数は該第１のセグメントの第１の推定色成分を表し、該画像信号ｓ（ｊ，ｉ）の該第１の推定色成分の第２のセグメントのＮポイント・ディスクリート・イーブン・コサイン変換を行って第２のＤＥＣＴ係数を生成し、該第２のＤＥＣＴ係数の変形逆ディスクリート・イーブン・コサイン変換を行って第２の変形ＩＤＥＣＴ係数を生成することによって、第２の方向の色調回復を行う手段をさらに備え、該第２の変形ＩＤＥＣＴ係数は該第２のセグメントの第２の推定色成分を表し、該第２の推定色成分は疑似絵素に配置され、該疑似絵素から色画像を生成する手段をさらに備えることを特徴とする。
上述のシステムおよび方法は、画像データポイントアレイを、シフトされた疑似絵素アレイに再構築することによってフルカラー解像度を与える。アレイの特定のグリッドタイプにより、色調回復が垂直解像度のみを用いるか、水平解像度のみを用いるか、垂直解像度を用いてから水平解像度を用いるか、水平解像度を用いてから垂直解像度を用いるかが決まる。各色チャネルについて、欠けている色成分の補間は、まず画像データポイントのＤＥＣＴを行い、その後ＤＥＣＴ係数の変形ＩＤＥＣＴを行うことによって行われる。
【図面の簡単な説明】
本発明の上述の局面および他の特徴は添付の図面に関して詳細に説明しており、図中対応するエレメントには同じ参照番号を用いている。
図１は、本発明による電子撮像システムの好適な実施形態を示す図である。
図２Ａは、図１の電子撮像システムの詳細なブロック図である。
図２Ｂは、図２Ａの行列乗算器２１８の論理図である。
図２Ｃは、図２Ａのシステムによって用いられかつ発生される信号のタイミング図である。
図３Ａは、各色が順次回復される、本発明によるＤＥＣＴ色調回復のフローチャートである。
図３Ｂは、補間のためのセグメントサイズが列の画素の総数に等しい場合に用いられる図３Ａの水平色調回復ブロック３０６のフローチャートである。
図３Ｃは、補間のためのセグメントサイズが列の画素の総数未満に等しい場合に用いられる図３Ａの水平色調回復ブロック３０６のフローチャートである。
図３Ｄは、補間のためのセグメントサイズが行の画素の総数に等しい場合に用いられる図３Ａの垂直色調回復ブロック３０４のフローチャートである。
図３Ｅは、補間のためのセグメントサイズが行の画素の総数未満に等しい場合に用いられる図３Ａの垂直色調回復ブロック３０４のフローチャートである。
図４は、各色の色調回復が並列的に起こる、本発明によるＤＥＣＴ色調回復のフローチャートである。
図５は、赤絵素、緑絵素、および青絵素の垂直ストライプを有する長方形グリッドを図示したものである。
図６は、図５の長方形グリッドの赤チャネルを図示したものである。
図７は、行０における、もとのインデックスｓ_rec（ｊ，０）と付け直した整数インデックスｓ（ｊ）との関係を図示したものである。
図８は、赤チャネルに対して垂直色解像を行った後、図５の長方形グリッドの各画素に関する実際の赤成分値と補間された赤成分値とを図示したものである。
図９は、図５の長方形グリッドのフルカラー解像度に達する実際の赤、緑および青の成分値と、補間された赤、緑および青の成分値とを図示したものである。
図１０は、画素の行が一行おきに半分の画素幅だけオフセットされる六角形グリッドを図示したものである。
図１１は、図１０の六角形グリッドの赤チャネルを図示したものである。
図１２は、行０における、もとのインデックスｓ_hec（ｊ，０）と付け直した整数インデックスｓ（ｊ）との関係を図示したものである。
図１３は、赤チャネルに対して垂直色調回復を行った後の、図１０の六角形グリッドの各画素に関する実際の赤成分値と補間された赤成分値とを図示したものである。
図１４は、図１３の垂直色調回復された画素に対して水平色調回復を行う場合に得られる、赤チャネルに関する疑似絵素の計算を説明するのに有用な図である。
図１５は、図１２を参照して説明するようにインデックス付けされる疑似絵素として表される、図１０の六角形グリッドのフルカラー解像度を図示したものである。
好適な実施形態の詳細な説明
本発明は、画像の色調回復画像処理システムおよび、それに関連する画像処理方法に関する。図１は、そのようなシステムの実施形態の一例を示す。図から分かるように、図１は、電子スチルカメラ１０あるいはスキャナ１２等の画像信号源によって、被写体（不図示）の画像を表す電子画像信号を提供する電子画像処理システムを示す。コンピュータ１８は、画像信号源から電子信号を受信し、その後、この画像信号を電子的に処理することにより、サイズ変更（resizing）、鮮明化（sharpening）、ノイズ除去（noise removal）、反射（reflection）、エッジ検出、あるいは回転等の公知の画像処理機能を任意の数だけ行う。処理後の画像は、ディスケット１６、ユーザモニタ２０、プリンタ１４、あるいは遠隔モニタ２６等の任意のデスティネーション装置あるいはデスティネーションアプリケーションへと送信即ち出力され得る。操作者によるシステムとのインタラクションは、キーボード２２あるいはマウス２４を用いて行われる。無論、図１に示される構成要素は例示に過ぎず、当業者には公知である多数の等価な装置を全て含んではいない。例えば、上記画像信号源には、電子カメラ、スキャナ、カムコーダー、電荷結合素子、電荷注入装置等、画像信号源として機能するあらゆる装置が含まれ得る。また、上記画像処理が必ずしもコンピュータ１８内でのみ行われる必要はないことにも注意されたい。むしろ、画像処理の様々な段階あるいは局面が、画像信号源、コンピュータ、あるいはデスティネーション出力装置において行われ得る。
図１の画像処理システムを図２Ａにさらに詳細に示すが、ここでは、画像信号源２００が含まれており、画像信号源２００は画像取得装置２０８に接続され、画像取得装置２００はＲＡＭ２１２および制御シーケンサロジック２２８に接続されている。また、ＲＡＭ２１２は、行列乗算器２１８および制御シーケンサロジック２２８に接続されている。制御シーケンサロジック２２８および行列乗算器２１８は互いに接続されており、また、これらは共にＲＯＭ２０２、ＲＯＭ２０４、ＲＯＭ２０６およびＲＡＭ２３２に接続されている。ＲＡＭ２３２および制御シーケンサロジック２２８は共に画像ジェネレータ２３４に接続されている。画像ジェネレータ２３４は、プリンタ、ＣＲＴディスプレイ等、画像の出力を行うことができるあらゆる種類の装置を代表している。制御シーケンサロジック２２８は、システムクロック２４４からクロックパルス列２４２を受信する。
１．ＤＥＣＴ計算
以下の数学的な説明では、前方および逆ディスクリート・コサイン変換に関する特定の基本的な概念を示す。
典型的に、画像は、画素あるいは画像データポイントと呼ばれる記述子の２次元的なＰ×Ｑのアレイによって構成される。ここで、ＰおよびＱは、画像を表している行の数および列の数である。画像は、空間領域の画像データポイントあるいは周波数領域の対応ＤＥＣＴ係数によって表され得る。前方ＤＥＣＴでは、画像データポイントのディスクリート・イーブン・コサイン変換（discrete even cosine transformation）を行うことによってＤＥＣＴ係数を生成する。逆に、逆ディスクリート・イーブン・コサイン変換（inverse discrete even cosine transformation）では、ＤＥＣＴ係数の逆ディスクリート・コサイン変換を行うことによってＩＤＥＣＴ係数（即ち、再構築された画像データポイント）を生成する。
当業者には理解されるように、ＤＥＣＴ変換は、あらゆる次元で行われ得る。次の１次元の例の場合、等式（１）に従って、Ｎ個の画像データポイントｓ（ｊ）からなる行（より一般的にはセグメントと呼ばれる）を、空間領域から周波数領域の対応ＤＥＣＴ係数Ｓ（ｖ）に変換することができる。

但し、０≦ｖ≦（Ｎ−１）、ｖは整数であり、
ｓ（ｊ）は、そのセグメント内の画像データポイントの行列を表し、
Ｓ（ｖ）は、対応ＤＥＣＴ係数の行列を表し、
Ｎは、そのセグメント内の画像データポイントの数を表し、

ＤＥＣＴ係数Ｓ（ｖ）は、等式（１）から求められ、正規化されたコサイン基底項（normalized cosine basis term）はＮ個の画像データポイントを有するセグメントについて求められる。０≦ｊ≦（Ｎ−１）における画像データポイントｓ（ｊ）のそれぞれに基底関数のコサイン項を掛けたものを合計することによって、ｖ＝０の場合のＳ（０）の値が求められる。ｖ＝１の場合のＳ（１）の値は、各画像データポイントｓ（ｊ）にコサイン項を掛けたものの合計として求められる。先ずｖについてインデックス付けを行ってからｊについてインデックス付けを行うこの手順を繰り返すことによって、Ｓ（０）からＳ（Ｎ−１）までのＤＥＣＴ係数を求める。
変形逆ディスクリートコサイン変換は、数学的には等式（２）で定義され、ＤＥＣＴ係数の１次行列Ｓ（ｖ）は、再構築された画像データポイントからなる再構築行列

に変換され、ｙは国際公告第ＷＯ９５／１５５３８号に開示および説明されている範囲内の実数として定義される。

但し、０≦ｙ≦（Ｎ−１）、ｙは実数であり、
Ｓ（ｖ）は、ＤＥＣＴ係数の行列を表し、
ｓ（ｙ）は、再構築された画像データポイントの空間行列を表し、
Ｎは、そのセグメント内の画像データポイントの数を表し、

等式（１）のＤＥＣＴ係数Ｓ（ｖ）が１組の画像データポイントｓ（ｊ）から算出され、且つ、等式（２）の再構築された画像データポイント

が対応ＤＥＣＴ係数Ｓ（ｖ）から算出されるのであれば、ｙ＝ｊの場合、

となり、この処理は可逆写像あるいは１対１写像と呼ばれる。なぜなら、範囲内において（within limits）、

の再構築画像データポイントはｓ（ｊ）の元の画像データポイントと同一であるからである。０≦ｙ≦（Ｎ−１）の他の（非整数の）値で等式（２）のｙの値を求めることによって、変形ＩＤＥＣＴが得られ、これを用いて、画像を表す離散的な画像データポイント間の値の補間等の様々な処理を行うことができる。
等式（２）を用いて再構築された画像データポイント

を表す値を求める場合、

は、ＤＥＣＴ係数Ｓ（ｖ）のそれぞれにｙ＝０の場合の逆基底関数のコサイン項を掛けたものを合計することによって求められる。例えば、

の値は、各ＤＥＣＴ係数Ｓ（ｖ）にｙ＝０．５の場合のコサイン項を掛けたものの合計として求められる。先ずｙについてインデックス付けを行ってからｖについてインデックス付けを行うこの手順を繰り返して、０≦ｙ≦（Ｎ−１）における所望の再構築画像データポイント

を全て求める。
先にも述べたが、当業者には公知であるように、上記計算は、容易に多次元に拡張することができる。例えば、国際公告第ＷＯ９５／１５５３８号に開示されている２次フォーマットによって、空間領域で画像を表すことができる。この場合、ｓ（ｙ、ｘ）は空間領域の実数ｙおよびｘにおける画像データポイントを表し、Ｓ（ｖ、ｕ）は、周波数領域の対応ＤＥＣＴ係数を表し、ｘは０から（Ｐ−１）の範囲にあり、ｙは０から（Ｑ−１）の範囲にあり、Ｐは総行数を表し、Ｑは総列数を表す。画像データポイントｓ（ｙ、ｘ）は明るさ、輝度、色あるいは色相（hue）等のパラメータを表し得るが、これらに限定はされない。
等式（１）および（２）は共に、行列表記（matrix notation）でも表現され得る。等式（１）の行列表記（インデックス無し）は、

である。但し、

はＤＥＣＴ係数の行列を表し、ｓは空間領域の画像データポイントの行列を表し、ＦＢは前方ＤＥＣＴ基底行列を表す。等式（２）の行列表記は、

である。但し、Ｓは再構築された画像データポイントの空間的行列を表し、ＩＢは所望の出力ポイント（即ち、再構築された画像データポイント）についての逆ＤＥＣＴ基底行列を表す。行列方程式（３）および（４）を組み合わせることにより、上記のように２ステップにわたって行列代数（matrix algebra）を行う場合に対して、演算処理の回数が低減される。行列方程式（３）および（４）を組み合わせることにより、

が得られる。但し、ＭＢは、逆ＤＥＣＴ基底行列ＩＢに前方ＤＥＣＴ基底行列ＦＢを掛けた行列乗算から求めた組合せＤＥＣＴ基底行列（combined DECT basis matrix）である。組合せＤＥＣＴ基底行列ＭＢは、等式（５）を解く間に同時に算出してもよいし、あるいは、ＭＢを予め計算しておいてルックアップテーブルに格納しておいてもよい。
２．色調回復ハードウェア
（図２Ａに示すような）画像色調回復システムの好適な一実施形態は、画像取得装置２０８と、行列乗算器２１８と、ランダムアクセスメモリ（ＲＡＭ）画像バッファ２１２および２３２と、係数リードオンリーメモリ（ＲＯＭ）２０２、２０４および２０６と、制御シーケンサロジック２２８と、マスタクロック２４４と、画像ジェネレータ２３４とを備える。マスタクロック２４４はマスタクロック信号２４２を生成し、制御シーケンサロジック２２８がこの信号を用いてクロック信号ＣＫ１およびＣＫ２を発生する。画像信号源２００は、カメラ、スキャナ、電荷結合素子などの、画像を与えるためのいかなる装置またはシステムであってもよい。画像取得装置２０８は、Ａ／Ｄコンバータ、入力バッファ、入力ポート等、信号源２００から画像を受け取ることができる任意のハードウェアを代表している。同様に、画像ジェネレータ２３４は、プリンタ、ブラウン管等、ＲＡＭ２１２あるいは２３２に格納された係数から画像を生成する任意の装置あるいはシステムであり得る。この全体ハードウェア構成は様々な行列積演算を実行する汎用型である。
図２Ａ、図２Ｂおよび図２Ｃを参照して、行列乗算器ロジック２１８は、３×３の行列積の計算を９ＣＫ１クロックサイクルで行うことができる固定ポイント並行演算プロセッサ（fixed point parallel arithmetic processor）である。制御シーケンサロジック２２８は、マスタクロック２４４からクロックパルスＣＫ１およびＣＫ２を生成する。バッファ２１２および２３２は、入力画像および出力画像をバッファリングするランダムアクセスメモリであり、リードオンリーメモリ２０２、２０４および２０６は予め計算した係数行列を格納し、制御シーケンサロジック２２８は、制御信号、タイミング信号およびメモリアドレス信号を制御する（handle）ために用いられる。
行列乗算器ロジック２１８は、図２Ｂに詳細に示される３固定ポイント乗算累算器（three fixed-point multiplier accumulator）（ＭＡＣ）アレイであり、入／出力ラッチと２つの双方向データバス２２０および２３０とを有する。信号Ｉ₀およびＩ₁によって制御されるデータバス２２０および２３０の機能を規定した真理値表Ｉに従って、通過モードにおいてはデータをＲＡＭ２１２およびＲＡＭ２３２間で直接送信し、処理モードにおいてはデータを行列乗算器ロジック２１８に送信して処理するように、バス２２０および２３０を構成することが可能である。

３つのＭＡＣユニットには乗算器２５６、２５８および２６０が含まれ、これらは、それぞれ、加算器および累算器の対｛２６２、２６４｝、｛２６６、２６８｝および｛２７０、２７２｝へと続いている。累算器２６４、２６８および２７２の出力は、それぞれ、出力ラッチ２７４、２７６および２７８に格納される。これらが一時的な格納を行うことによって、共通出力バス２８０上で結果が多重化される。
制御シーケンサロジック２２８は、メモリおよびデータバスを制御するとともに、行列乗算器ロジック２１８に適切なタイミング信号を生成する。具体的には、制御シーケンサロジック２２８は、ＲＡＭメモリ２１２および２３２に、それぞれ、ライン２２２および２３８上のアドレスデータならびにライン２２６および２３６上の読出し／書込み

制御データを提供する。制御シーケンサロジック２２８は、行列乗算器ロジック２１８に、（マスタクロック信号２４２から求めた）クロック信号ＣＫ１およびＣＫ２と、バス方向信号Ｉ₀およびＩ₁と、出力多重制御信号Ｏ₀およびＯ₁と、ＲＯＭ２０２、２０４および２０６のライン２１０上のアドレスとを提供する。制御シーケンサロジック２２８は、マイクロコントローラあるいはプログラマブルロジックアレイ（ＰＬＡ）を用途に応じて選択して用いることにより容易に実現できる。概して、前者はプログラミングの観点からはより柔軟であるが、後者よりも幾分コストが高い。
行列乗算器ロジック２１８の動作は、３×３の行列乗算の例を考えることによって容易に理解される。この例において、Ｃは係数行列を表し、Ｄはソース画像データ行列を表し、Ｂは、ＣにＤを掛けた行列乗算の結果を表している。従って、

について、Ｃの各行とＤの第１列との各積の合計であるＢの第１列を考える。

図２Ｃのタイミングチャートは、本実施例における制御信号とデータ信号との関係を示す。この計算は、順次、Ｂ行列の第１、第２および第３列の値を求めることによって行われる。この処理は、行列乗算器ロジック２１８が制御シーケンサロジック２２８からネガティブＲＥＳＥＴパルスを受信することによる累算器のクリア（clearing）で開始する。行列Ｃの第１列、即ちＣ₁₁、Ｃ₂₁、Ｃ₃₁と、行列Ｄの第１列の第１要素、即ちＤ₁₁とを、クロックパルスＣＫ１の時間Ｔ₁において、それぞれ、入力ラッチ２４６、２４８、２５０および２５４に転送する。具体的には、入力ラッチ２４６によってＲＯＭ２０２からのＣ₁₁を受け取り、入力ラッチ２４８によってＲＯＭ２０４からのＣ₁₂を受け取り、入力ラッチ２５０によってＲＯＭ２０６からのＣ₁₃を受け取り、ソース画像を格納するＲＡＭ２１２からのＤ₁₁をバストランスミッタ２５２を通して受け取る。行列乗算器ロジック２１８とＲＡＭ２１２および２３４との間のデータの転送ならびに転送方向の制御は、真理値表Ｉに従って、制御信号Ｉ₀およびＩ₁によって行われる。真理値表Ｉに対応するロジックは、ロジック２５２およびバストランスミッタ２５１によって示されている時間。Ｔ₂において、各積Ｃ₁₁Ｄ₁₁、Ｃ₂₁Ｄ₁₁およびＣ₃₁Ｄ₁₁を、それぞれ累算器２６４、２６８、および２７２に格納する。当業者には周知であるように、典型的には、出力のスケーリング、即ちデータの切り捨てを行うロジック（不図示）を累算器の後に設けて、データオーバーフロー状態に対処する。時間Ｔ₃において、行列Ｃの第２列、即ちＣ₁₂、Ｃ₂₂およびＣ₃₂ならびにＤの第１列の第２要素Ｄ₂₁をそれぞれ入力ラッチ２４６、２４８、２５０および２５４に転送する。時間Ｔ₄において、各積の部分的な合計、即ちＣ₁₁Ｄ₁₁＋Ｃ₁₂Ｄ₃₁、Ｃ₂₁Ｄ₁₁＋Ｃ₂₂Ｄ₂₁、Ｃ₃₁Ｄ₁₁＋Ｃ₃₂Ｄ₂₁をそれぞれ累算器２６４、２６８および２７２に格納する。無論、乗算は乗算器２５６、２５８および２６０で行い、加算は加算器２６２、２６６および２７０で行う。Ｃの第３列およびＤの第１列の第３要素についてこの処理を繰り返すと、Ｔ₆の時点では、Ｂの第１列が各要素｛Ｃ₁₁Ｄ₁₁＋Ｃ₁₂Ｄ₂₁＋Ｃ₁₃Ｄ₃₁｝、｛Ｃ₂₁Ｄ₁₁＋Ｃ₂₂Ｄ₂₁＋Ｃ₂₃Ｄ₃₁｝および｛Ｃ₃₁Ｄ₁₁＋Ｃ₃₂Ｄ₂₁＋Ｃ₃₃Ｄ₃₁｝を有することになる。これらは、Ｃの各行とＤの第１列との積の合計として得られる（等式（７）を参照）。
時間Ｔ₇におけるクロックパルスＣＫ２の立ち上がりエッジにおいて、累算器２６４、２６８および２７２からのデータをそれぞれ出力ラッチ２７４、２７６および２７８に転送する。出力多重制御信号Ｏ₀およびＯ₁は、真理値表Ｉに従って、各時間Ｔ₈、Ｔ₉およびＴ₁₀において、データバス２２０あるいは２３０上で各出力ラッチの出力を時間多重化する（time multiplex）。処理全体をこのような方法で繰り返して、等式（６）におけるＢの残りの第２および第３列の計算を行う。
水平変換行列および垂直変換行列の第１および第２行は、それぞれＲＯＭ２０２および２０４に格納され、ソース画像はＲＡＭ２１２に格納され、回転画像はＲＡＭ２３２に格納される。なお、行列乗算器ロジック２１８は、明らかに、３次以外の行列の積を扱うことができる。例えば、ベクトル積および２×２行列積を簡単に処理することができる。
もちろん、上述の構成要素と機能的に等価なものであれば、色調回復システムを実現する際に等しく動作する。例えば、メモリはＲＡＭまたはＲＯＭに限定されず、既知のいかなるタイプのメモリデバイスも含む。さらに、上述のように、ＲＯＭ２０２、２０４および２０６に格納された係数は、ＲＡＭ２１２に格納された予め計算されたＤＥＣＴ係数を掛ける予め計算された変形ＩＤＥＣＴ基底係数ではなく、ＲＡＭ２１２から受け取られるソース画素を掛ける組み合わされた再構築ベクトルとして予め計算され得る。
図２Ａの画像処理システムを用いた色調回復では、まず、第１のチャネル、例えば赤チャネルの垂直方向の再構築が得られる。このプロセスは、垂直方向に隣接する実際の（測定された）赤絵素値の所定の個数に基づく、赤成分の補間である。ＲＡＭ２１２から取り出された列セグメントに、ＲＯＭ２０２に格納された変形ＩＤＥＣＴ基底ベクトル、すなわち再構築ベクトルを掛けて、実際の赤絵素ロケーションの間に配置される推定再構築画素が生成される。これらの処理された再構築赤絵素値はＲＡＭ２３２の奇数メモリロケーションに格納され、実際の赤絵素値は通過モードでＲＡＭ２３２の偶数メモリロケーションに転送される。他の等しく効果的なアプローチは、実際の赤絵素値を通過させずに補間によって、すべての再構築赤絵素を生成し、その後、すべての再構築赤絵素値をＲＡＭ２３２の連続するメモリロケーションに格納することである。
赤チャネルの水平再構築の場合、ＲＡＭ２３２から再構築行列およびＤＣＴ行セグメントが取り出され、これが行列乗算器ロジック２１８で処理され、その後ＲＡＭ２１２に格納される。水平再構築プロセスは、画像のすべての行が取り出され、処理され、ＲＡＭ２１２に格納されるまで続く。一旦、赤チャネルの処理が終わると、緑チャネルおよび青チャネルが同様に処理され、フルカラー解像度を有する画像が、出力装置２３４への転送のために利用できるようになる。
３．色調回復方法論
典型的な電荷結合素子（ＣＣＤ）カメラは、ピクセルまたは画像データポイントとも呼ばれる画素のアレイからなり、これらの画素は、所定の順序で配列され、それぞれに対応する検出器を有し、これらの検出器の各々は特定の色帯域に割り当てられる。すなわち、「青絵素」は、約４００ナノメートルから約５００ナノメートルの青色帯域に応答する検出器に関連する絵素を表し、「緑絵素」は、約５００ナノメートルから約６００ナノメートルの緑色帯域に応答する検出器に関連する絵素を表し、「赤絵素」は、約６００ナノメートルから約７００ナノメートルの赤色帯域に応答する検出器に関連する絵素を表す。言うまでもなく、各絵素は、完全な色スペクトルの約３分の１にしか応答せず、残りの色情報は失われる。本発明の色調回復システムおよびその方法では、ディスクリートコサイン変換を用いて、画像の各画素に対してフルカラー解像度を与え、従って、フルカラー解像度は、各絵素が色彩学的に青成分、緑成分、および赤成分によって表されるような、約４００ｎｍから約７００ｎｍの完全な色スペクトル全体にわたる各画素の色再生として定義される。
色調回復は、各色について別々に１次元的に実現される。すなわち、行の後に列が処理されるか、または列の後に行が処理される。図２Ａの色調回復システムを用いて各色を処理することができる。逐次処理を図３Ａに示し、並列処理を図４に示す。さらに、垂直色調回復ステップと水平色調回復ステップとを入れ換えるか、または、これらの色調回復ステップのうちのいずれかを省略することによって、図３Ａの方法に変更を加えることができる。グリッドタイプに依存して、色調回復方法は、（１）垂直絵素再構築のみを用いるか、（２）水平絵素再構築のみを用いるか、（３）垂直絵素再構築の後に水平絵素再構築を用いるか、または（４）水平絵素再構築の後に垂直絵素再構築を用いることによって実現できる。なお、垂直絵素再構築ステップおよび水平絵素再構築ステップは、色調回復方法の基本的なビルディングブロックである。上記のように、色調回復の標的となる特定のグリッドタイプのジオメトリに依存して、これらの再構築ステップを、入れ換えるか、いかなる順序で設定するか、または省略することもできる（必要がある場合）。
図３Ａは、垂直色調回復の後に水平色調回復を行う（すなわち、列の後に行の処理を行う）、上で挙げた第３の色調回復方法の逐次的な実現の例であり、これを以下に示す。Ｐ行およびＱ行を有する入力画像ｓ（ｊ，ｉ）をブロック３００に示しており、ここで、ｉは行インデックスであり、ｊは列インデックスである。赤絵素、緑絵素、および青絵素が等しい数ある場合、各画素でフルカラー解像度の３分の１しか得られない。例えば、入力画像ｓ（ｉ，ｊ）中の赤絵素の場合、赤成分は検出するが、緑成分または青成分は検出しない。ブロック３００で、撮像装置の特性に応じてグリッドタイプが選択され、ブロック３０２で、行インデックスｒが０に初期化され、列インデックスｃが０に初期化され、行セグメントサイズがＬに設定され、列セグメントサイズがＭに設定され、原色インジケータは、３原色（ただし、任意の数の原色を用いることができる）のうちの第１の原色を表す１に設定される。第１の原色について、画像中のすべての絵素にブロック３０４で垂直色調回復が行われ、ブロック３０６で水平色調回復が行われると、ブロック３０８で色＝色＋１に設定することによって色チャネルが変えられる。
ブロック３１０で、すべての原色チャネルが色調回復されたかどうかが判断される。各原色について、画像中の各絵素に色調回復が行われると、画像のフルカラー解像度が得られる。すなわち、各絵素は、実際の赤、緑および青成分値または補間された赤、緑および青成分値によって表される。
列の後に行を処理して、上で挙げた第３の色調回復方法を並列的に実現する例を図４に示している。ブロック４００で、グリッドタイプを含む入力データが選択され、ブロック４０２で行セグメントサイズおよび列セグメントサイズが設定される。色調回復が逐次的にではなく（ブロック４０４、４０６、４０８、４１０、４１２、４１４で）並列的に行われると、図３Ａの方法から出発し、より高速に処理が行われる。図４の色調回復処理の各々は、図３Ｂおよび図３Ｄに示すような行または列の画像データポイントの数に等しいセグメントサイズを用いるか、または、図３Ｃおよび図３Ｅに示すように１ポイントのオーバーラップを有するＮポイントセグメントサイズ（ここで、Ｎは、行または列の絵素の総数よりも少ない）を用いて実現できる。各色成分が各絵素ロケーションで表され、処理された絵素から描かれる出力画像がフルカラー解像度を示すように、ブロック４１６で、各チャネルの並列色調回復の結果が組み合わされる。
本発明による色調回復方法および装置は、いかなるタイプのグリッドにも応用できる。以下に示す例には、通常用いられている、図５に示すような垂直色ストライプを有する長方形グリッドパターンに色調回復方法を応用した例と、図１０に示すように、絵素の行が１行おきに１絵素分オフセットされ、長方形グリッドとは異なるジオメトリを有する六角形グリッドパターンに色調回復方法を応用する例とがある。
図５に示す４×９の絵素の長方形ｓ_rec（ｊ，ｉ）に色調回復方法を応用する場合、各色成分は垂直方向にフルカラー解像度を有し、水平方向に３分の１の色解像度を有する。具体的には、グリッドは０〜３の４行および０〜８の９列を有し、赤絵素はｓ_rec（０，ｉ）、ｓ_rec（３，ｉ）およびｓ_rec（６，ｉ）で列０、３および６にそれぞれ配置され、緑絵素はｓ_rec（１，ｉ）、ｓ_rec（４，ｉ）およびｓ_rec（７，ｉ）で列１、４および７にそれぞれ配置され、青絵素はｓ_rec（２，ｉ）、ｓ_rec（５，ｉ）およびｓ_rec（８，ｉ）で列２、５および８にそれぞれ配置される。赤絵素は緑成分または青成分を検出せず、緑絵素は赤成分または青成分を検出せず、青絵素は赤成分または緑成分を検出しない。この例の場合の色調回復方法の目標は、図９に示すようなフルカラー解像度を有する４×９の画素出力画像を生成することであり、ここで各画素は３つの色成分（赤、緑、青）を有する。ここでの説明では、小文字（ｒ、ｇ、ｂ）は実際の（測定された）色成分を表し、大文字（Ｒ、Ｇ、Ｂ）は補間された（推定の）色成分を表す。例えば、図９の列０の各画素は実際の赤成分ｒと、補間された緑成分Ｇと、補間された青成分Ｂとを含む。
図５の長方形グリッドが既に完全な垂直色解像度を含んでいるため、水平色調回復だけを行えばよい。したがって、図３Ａのブロック３０４の垂直色調回復ステップが省略される。各行に対して水平色調回復を行い、欠けている色成分を補間する。例えば、赤成分の第ｉ行は、ｓ（ｊ）＝ｓ_rec（３ｊ，ｉ）にある絵素を有する。ここで、ｊ＝０，１，２．．．であり、ｓ（ｊ）は長方形グリッドｓ_rec（ｊ，ｉ）の第ｉ行の測定赤絵素値を１次元的に表したものである。アレイｓ_rec（３ｊ，ｉ）は測定赤成分を表す。同様に、緑成分の第ｉ行は、ｓ（ｊ）＝ｓ_rec（３ｊ＋１，ｉ）にある、ｓ_rec（ｊ，ｉ）の測定緑成分を有する。ここで、ｓ（ｊ）は長方形グリッドの第ｉ行ｓ_rec（ｉ，ｊ）の測定緑絵素値を１次元的に表したものである。アレイｓ_rec（３ｊ＋１，ｉ）は測定緑成分を表す。最後に、青成分の第ｉ行は、ｓ（ｊ）＝ｓ_rec（３ｊ＋２，ｉ）にある、ｓ_rec（ｊ，ｉ）の測定青成分を有する。ここで、ｓ（ｊ）は長方形グリッドｓ_rec（ｉ，ｊ）の第ｉ行の測定青絵素値を１次元的に表したものであり、ｓ_rec（３ｊ＋２，ｉ）は測定青成分を表す。
Ｌが行の画像データポイントの総数に設定されるように（または、Ｍが列の画像データポイントの総数に設定されるように）垂直色調回復または水平色調回復が選択されるときは常に、ブロック３０４または３０６の色調回復は、図３Ｂまたは図３Ｄに示したステップに従う。しかし、１ポイントのオーバーラップを有する列または行の画像データポイントのＮポイントセグメントの色調回復を行うのにＮポイント補間が望ましい場合は、色調回復は図３Ｃまたは図３Ｅに示したステップに従う。この例では、水平方向では、１ポイントのオーバーラップを有する３ポイント補間が望ましく、従って、Ｌは図３Ａのブロック３０２で３に設定される。
図６は、色調回復前の赤チャネルを示している。実際の赤色成分は、ｓ_rec（０，ｉ）、ｓ_rec（３，ｉ）およびｓ_rec（６，ｉ）にある。赤画像中の他のすべての絵素ロケーションは赤成分を持たないが、欠けている色成分はどれも実際の値を補間することによって推定できる。補間は、都合良くは、現在のＪＰＥＧおよびＭＰＥＧ圧縮規格を用いる既存のシステムと互換性があるディスクリート・コサイン変換を用いて実現できる。
赤チャネルについての垂直色調回復の最初のステップは、等式（１）に従って図３Ｃのブロック３２２で３ポイントＤＥＣＴを行うことによって行われる。ここで、図６に示すようにｓ_rec（０，０）、ｓ_rec（３，０）およびｓ_rec（６，０）にある行０の最初の３つの測定赤画像データポイントについて、Ｌ＝Ｎ＝３である。等式（１）のディスクリート・コサイン変換を促進するために、セグメントの３ポイントを、図７に示すようにｓ（ｊ）＝ｓ_rec（３ｊ，０）、ｊ＝０，１，２となるように、１次元のアレイにインデックス付けし直さなければならない。もちろん、色調回復方法は１つの次元に限定されないが、必要であれば、当業者に公知のように容易に拡張して多次元的計算にすることができる。その場合でも、ｓ（０）、ｓ（１）およびｓ（２）に対応するＤＥＣＴ係数はそれぞれＳ（０）、Ｓ（１）およびＳ（２）として計算される。ブロック３２４で、等式（２）に従った３ポイント変形ＩＤＥＣＴが、ｙ＝１／３，２／３，４／３，５／３でＮ＝３の場合のＤＥＣＴ係数Ｓ（０）、Ｓ（１）およびＳ（２）に関して行われ、

で、補間された赤成分値が得られる。これらの補間された赤成分値はその後長方形グリッドのもとの列インデックスにインデックス付し直され、図７に示した上述のような再構築が行われる。この例の３ポイントセグメントは、ブロック３２６でインクリメントされ、１ポイントのオーバーラップを促進し、その後、ブロック３０６の水平色調回復プロセスは、判断記号３２８で列インデックスｃが列の総数Ｑと等しくなるまで続く。もちろん、セグメント中の絵素数と同様に、選ばれたオーバーラップは変わり得る。
判断記号３２８で列インデックスｃが列の総数Ｑに等しくなると、赤チャネルに対する水平色調回復が終了し、再構築された各々の絵素は、実際の赤色成分または推定赤色成分を含む（図８参照）。水平赤色調回復の終了後、ブロック３０８で色チャネルインジケータが色＝色＋１にインクリメントされ、ブロック３１０で、すべての原色が水平色調回復の処理を受けたかどうかが判断される。ブロック３１２でプロセスが終了するまで、各色チャネルに対して図３Ａのステップ３０４からステップ３１０までのループが繰り返される。このとき、赤チャネル、緑チャネルおよび青チャネルの各々に関する色調回復の結果が組み合わされて、図９に示すような出力画像のフルカラー解像度が与えられる。
図３Ａのブロック３０４で垂直色調回復を必要とする初期のグリッドおよび絵素レイアウトが選択されると、図３Ｄのプロセスが、画像の列の総数Ｑに等しい列セグメントサイズに適用されるであろう。セグメントサイズが列の総数Ｑよりも小さいことが望ましい場合、図３Ｅのプロセスが適用されるであろう。図３Ｅの垂直色調回復プロセスのステップ（以下に説明する）は、図３Ｃに関して上記で説明した水平色調回復プロセスのステップと同様である。
（垂直色調回復を必要とする長方形グリッドおよび絵素レイアウトの場合を考えると）赤チャネルについての垂直色調回復の最初のステップは、等式（１）に従って図３Ｅのブロック３４２で３ポイントＤＥＣＴを行うことによって行われる。ここで、ｓ_rec（０，０）、ｓ_rec（３，０）およびｓ_rec（６，０）にある行０の最初の３つの測定赤画像データポイントに関して、Ｌ＝Ｎ＝３である。等式（１）のディスクリート・コサイン変換の値を求めるためには、セグメントの３ポイントを上述のように１次元のアレイにインデックス付けし直さなければならない。ｓ（０）、ｓ（１）およびｓ（２）に対応するＤＥＣＴ係数は、それぞれＳ（０）、Ｓ（１）およびＳ（２）として計算される。次に、ブロック３４４で、Ｎ＝３の場合のＤＥＣＴ係数Ｓ（０）、Ｓ（１）およびＳ（２）に対して等式（２）に従った３ポイント変形ＩＤＥＣＴが行われ、補間された赤成分値を生成する。これらの補間された赤成分値は、その後、長方形グリッドのもとの列インデックスにインデックス付けし直され、上述のような再構築が行われる。この例の３ポイントセグメントはブロック３４６でインクリメントされて１ポイントオーバーラップを促進し、その後、判断記号３４８で行インデックスｒが行の総数Ｐに等しくなるまで、ブロック３０４の垂直色調回復プロセスが続く。もちろん、セグメント中の絵素数と同様に、オーバーラップも変わり得る。判断記号３４８で行インデックスｒが行の総数Ｐに等しくなると、赤チャネルに対する垂直色調回復が終わり、再構築された各々の絵素は、垂直方向に実際の赤色成分または推定赤色成分を含む。
色調回復を行うための他のおそらくよりよいと考えられるアプローチは（１）ＤＥＣＴを行うステップと（２）ＩＤＥＣＴを行うステップとを組み合わせて１つの動作にすることによって実現できる（等式（５）参照）。組み合わされたＤＥＣＴ基底行列、すなわち再構築行列ＭＢは、任意の所与のセグメントサイズに対して予め定めることができる。さらに、再構築行列に、所与の範囲のソースデータを掛けることにより、空間領域において、再構築された画像データポイントが得られる。この方法では、用いる計算は上述の技術の場合よりも少なくて済み、処理がより高速となる。さらに、再構築行列を画像に関して用いることができるため、再構築行列を格納するのに必要なメモリ量が最小になる。
本発明のＤＥＣＴ色調回復方法を説明するために用いる第２のグリッドタイプは図１０に示すような六角形グリッド絵素構成であり、この場合、一行おきに１絵素分オフセットされる。図１０の２次元入力アレイｓ_hex（ｊ，ｉ）は、それぞれｉ＝０，１，２，３の４行およびｊ＝０，１，２．．．１６の１７列を含む。ｉ＝０，２にある行は、ｊ＝０，２，４，６，８，１０，１２，１４，１６の列にある絵素を有し、ｉ＝１，３にある行はｊ＝１，３，５，７，９，１１，１３，１５の列にある絵素を有する。以下に示す例は、図３Ａに示した方法に従って行われる図１０の六角形グリッドの色調回復である。
垂直絵素再構築の後に水平絵素再構築を行う上述の色調回復方法を行うと、図１０の六角形グリッドに対して優れた色調回復の結果が得られることが経験的にわかっており、このような優れた結果は、まず１ポイントのオーバーラップを有する２ポイントセグメントの垂直色調回復を行い、次に、１ポイントのオーバーラップを有する３ポイントセグメントの垂直色調回復を行うことによって得られる。したがって、図３Ａのブロック３０２で、Ｌは３に等しくなるように設定され、Ｍは２に等しくなるように設定され、列インデックスは０に設定され、行インデックスｒは０に設定され、色＝１を設定することによって最初の色（例えば、赤）が選択される。もちろん、垂直色調回復でＤＥＣＴおよび変形ＩＤＥＣＴを行う場合ＮはＭに等しく、水平色調回復でＤＥＣＴおよび変形ＩＤＥＣＴを行う場合ＮはＬに等しい。
図１１は、色調回復前の赤チャネルを示している。実際の測定赤成分は、小文字ｒで示される絵素ロケーションにある。赤画像の他のすべての絵素ロケーションには赤成分が無く、これらの欠けている成分は、本発明の方法に従ったディスクリート・コサイン変換を用いて実際の値を補間することによって推定できる。
図３Ｅでは、六角形グリッドの赤チャネルに対するブロック３０４の垂直色調回復の最初のステップは、等式（１）に従ってブロック３４２で２ポイントＤＥＣＴを行うことによって行われる。ここで、図１１に示すように、ｓ_hex（０，０）およびｓ_hex（０，２）にある列０の最初の２つの測定赤画像データポイントに関してＭ＝Ｎ＝１である。等式（１）のディスクリート・コサイン変換の値を求めるためには、ｓ（ｉ）＝ｓ_hex（ｊ，２ｉ）、ｉ＝０，１となるようにセグメントの２ポイントを１次元のアレイにインデックス付けし直さなければならない。したがって、ｓ（０）およびｓ（１）に対応するＤＥＣＴ係数はそれぞれＳ（０）およびＳ（１）として計算される。ブロック３４４において、ｘ＝１／２で、Ｎ＝２の場合のＤＥＣＴ係数Ｓ（０）およびＳ（１）に対して、等式（２）に従った２ポイント変形ＩＤＥＣＴが行われ、

で、補間された垂直方向に再構築された赤成分値が得られる。このセグメントは、ブロック３４６でインクリメントされ、判断記号３４８で行インデックスｒが行の総数Ｐに等しくなるまで、ブロック３０４の垂直色調回復プロセスが続く。その後、垂直方向に補間された赤成分値は、六角形グリッドに用いられるインデックスにインデックス付けし直される。画像の赤チャネルに対する垂直色調回復を図１３に示している。
等式（１）の前方ＤＥＣＴと等式（２）の変形ＩＤＥＣＴとを組み合わせて１つのステップにする上述の変形例を用いると、上述の垂直方向の補間手順をより速く行うことができる。等式（１）に従ったｓ（０）およびｓ（１）の２ポイントＤＥＣＴは、以下のような行列形式に書き直される。

ここで、定数は前方ＤＥＣＴ基底行列を表す。その後、ｘ＝１／２で等式（２）に従ってＤＥＣＴ係数Ｓ（０）およびＳ（１）の変形ＩＤＥＣＴを行うことによって、再構築された画像データポイントｓ（１／２）の補間された赤成分値が決定される。
ｘ＝１／２で等式（２）に従った２ポイント変形ＩＥＤＣＴは、以下のような行列形式に書き直される。

ここで、

は変形ＩＤＥＣＴ基底関数を表す。前方および変形逆ＤＥＣＴの２つのステップを組み合わせて、等式（５）に示すような行列形式で表される１つのステップにすることができる。等式（８）を等式（９）に代入すると、補間された画像データポイント

を以下のように計算することができる。

この場合、補間された赤成分値は単に、乗算および加算をそれぞれ一回ずつ行うだけで効率的に計算できる２つの隣接する赤絵素値の平均値である。
（図１０の行０、列３の欠けている赤成分値のような）画像周辺（perimeter）成分値を推定するという特別な場合は、欠けている値を０に設定するか、または隣接する絵素と同じ値に割り当てることができる。すなわち、ｓ（３，０）の欠けている赤成分値を、ｓ（３，１）と同じ赤成分値に設定することができる。周辺値を推定するこの方法を用いて、垂直色調回復および水平色調回復を補足することができる。
判断記号３４８で行インデックスｒが行の総数Ｐに等しいとき、赤チャネルに対する垂直色調回復は終了しており、図１３に示すような再構築された各々の絵素は、実際の赤色成分または推定赤色成分を含む。垂直赤色調回復の終了後、ブロック３０６で、図１３の垂直方向に再構築された絵素に対して水平色調回復が行われる。
六角形グリッドの赤チャネルに対する水平色調回復は、長方形グリッドの水平色調回復に関して上で説明したのと同様の態様で行われる。六角形グリッドの赤チャネルに対する水平色調回復の最初のステップは、図３Ｃのブロック３２２で等式（１）に従って３ポイントＤＥＣＴを行うことによって行われる。ここで、実際の赤成分値または推定赤成分値を有しかつ図１３のｓ（０，０）、ｓ（３，０）およびｓ（６，０）にある最初の３つの絵素に関しては、Ｌ＝Ｎ＝３である。ここでも、等式（１）のディスクリート・コサイン変換の値を求めるためには、セグメントの３ポイントを１次元のアレイにインデックス付けし直さなければならない。この場合、ｓ（ｊ）＝ｓ_hex（３ｊ，ｉ）であり、ここでｊ＝０，１，２であり、アレイｓ_hex（３ｊ，ｉ）は図１３の推定赤成分および実際の赤成分を表す。同様に、緑成分の第ｉ列は、ｓ（ｊ）＝ｓ_hex（３ｊ＋１，ｉ）にあるＳ_hex（ｊ，ｉ）の測定緑成分および推定緑成分を有し、青成分の第ｉ列は、ｓ（ｊ）＝ｓ_hex（３ｊ＋２，ｉ）にあるｓ_hex（ｊ，ｉ）の測定青成分および推定青成分を有する。したがって、ｓ（０）、ｓ（１）およびｓ（２）に対応するＤＥＣＴ係数はそれぞれＳ（０）、Ｓ（１）およびＳ（２）として計算される。
ブロック３２４で、ＤＥＣＴ係数Ｓ（０）、Ｓ（１）およびＳ（２）に対して等式（２）に従った３ポイント変形ＩＤＥＣＴが行われる。等式（２）の変形ＩＤＥＣＴの連続補間特性を用いると、入力データの範囲内の任意のロケーションの信号の値を求めることができる。さらに、グリッド上の実際の絵素ロケーションとは異なるロケーションに疑似絵素を作ると、色バランスがより良くなり、補間された色値に隣接する真の色値をシフトしたことから起こり得るアーティファクトがなくなることが実験から分かっている。したがって、疑似絵素は、図１４において×印で示すロケーションで選択されている。この×印は、最初の３列内の絵素の３ポイントセグメント（点線参照）に関する行と列との交点を示している。優れた色調回復結果は、図１４に示すようなγ_1R＝１／２、γ_2R＝７／６およびγ_3R＝１１／６で、等式（２）に関して赤チャネルのｙの値を補間すると得られる。図１４の赤チャネルに関して×印で示した同じロケーションで緑疑似絵素および青疑似絵素が計算されるようにするためには、この例では、緑チャネルに関してはγ_1G＝１／６、γ_2G＝５／６およびγ_3G＝３／２で、青チャネルに関してはγ_1B＝１／２、γ_2B＝７／６およびγ_3B＝１１／６で、各３ポイントセグメントの各々のセグメント内に値を補間しなければならない。
ここで赤チャネル（図１４）内での水平補間に関して議論するために、列０および列３の赤絵素中心間の距離を１単位長とし、γ_1Rは１単位長の半分を表し、γ_2Rは１単位長の６分の７を表し、γ_3Rは１単位長の６分の１１を表す。したがって、ブロック３２４で、ｙ＝１／２、７／６、１１／６でｖ＝０，１，２の値についてのＤＥＣＴ係数Ｓ（０）、Ｓ（１）およびＳ（２）に対して、等式（２）に従った３ポイント変形ＩＤＥＣＴが行われ、

にある、補間された垂直方向に再構築された赤成分値が得られる。その後、これらの補間された赤成分値は、図１２に示すような付け直された（整数値）列インデックスにインデックス付けし直される。ブロック３２６で列インデックスｃをインクリメントすることによって次のセグメントが選択されて１ポイントオーバーラップが促進され、判断記号３２８で列インデックスｃが列Ｑの総数に等しくなるまで、ブロック３０６の水平色調回復プロセスが続く。このとき、赤チャネルに関して垂直色調回復および水平色調回復が終了しており、図１４の×印に配置される疑似絵素の各々は推定垂直赤色成分および推定水平赤色成分を含む。
フルカラー回復が得られるまで、ブロック３０８で色インジケータをインクリメントすることによって、上述のブロック３０４の垂直色調回復およびブロック３０６の水平色調回復が各原色に対して繰り返される。このとき、色調回復方法はブロック３１２で終了し、疑似絵素の各々は推定赤成分、推定緑成分、および推定青成分を含む。
以下に述べるように、等式（１）の前方ＤＥＣＴと等式（２）の変形ＩＤＥＣＴとを組み合わせて１つのステップにすることによって、上述の水平方向の補間手順はをより速く行うことができる。等式（１）に従ったｓ（０）、ｓ（１）およびｓ（２）の３ポイントＤＥＣＴは以下のような行列形式に書き直される。

ここで、定数はＤＥＣＴ基底行列を表す。その後、ｙ＝１／２、７／６、１１／６でＮ＝３の場合に等式（２）に従ったＤＥＣＴ係数Ｓ（０）、Ｓ（１）およびＳ（２）の変形ＩＤＥＣＴを行うことによって、再構築された画像データポイント

の補間された成分値が決定され、これらの値は以下のような行列形式に書き直される。

ここで、定数は変形ＩＤＥＣＴ基底行列を表す。
前方ＤＥＣＴおよび変形ＩＤＥＣＴの２つのステップを組み合わせて、行列形式で表される１つのステップにすることができる。等式（１１）を等式（１２）に代入して、補間された画像データポイント

を以下のように計算することができる。

ここで、定数はＤＥＣＴと変形ＩＤＥＣＴとを組み合わせた基底行列である。

Claims (6)

1. 複数の絵素のグリッドによって表される入力画像とともに用いられる色回復方法であって、該複数の絵素のグリッドは、２次元の空間において提供され、該複数の絵素のグリッドにおける各絵素は、実際の赤色成分、緑色成分または青色成分を有しており、該複数の絵素のうちの少なくとも１つは、該実際の色成分のうちの１つ以上を欠いてお、り、
   該色回復方法は、
   該入力画像を表す画像信号を取得するステップと、
   実際の絵素の位置からオフセットされた疑似絵素を生成するステップと、
   実際の色成分に対してディスクリート・イーブン・コサイン変換（ＤＥＣＴ）を行うことによって、該実際の色成分に対応する該画像信号のＤＥＣＴ係数を生成し、該ＤＥＣＴ係数に対して変形逆ディスクリート・イーブン・コサイン変換（ＩＤＥＣＴ）を行うことによって、各疑似絵素において補間された色成分を生成するステップと、
   該補間された色成分を組み合わせることによって、各疑似絵素に対してフルカラー解像度を有する出力画像を生成するステップと
   を包含する、色回復方法。
2. 前記疑似絵素は、長方形のグリッドパターンに再インデックス付けされている、請求項１に記載の色回復方法。
3. 前記グリッドは、六角形の形状を有している、請求項１に記載の色回復方法。
4. 複数の絵素のグリッドによって表される入力画像とともに用いられる色回復システムであって、該複数の絵素のグリッドは、２次元の空間において提供され、該複数の絵素のグリッドにおける各絵素は、実際の赤色成分、緑色成分または青色成分を有しており、該複数の絵素のうちの少なくとも１つは、該実際の色成分のうちの１つ以上を欠いており、
   該色回復システムは、
   該入力画像を表す画像信号を取得する手段と、
   実際の絵素の位置からオフセットされた疑似絵素を生成する手段と、
   実際の色成分に対してディスクリート・イーブン・コサイン変換（ＤＥＣＴ）を行うことによって、該実際の色成分に対応する該画像信号のＤＥＣＴ係数を生成し、該ＤＥＣＴ係数に対して変形逆ディスクリート・イーブン・コサイン変換（ＩＤＥＣＴ）を行うことによって、各疑似絵素において補間された色成分を生成する手段と、
   該補間された色成分を組み合わせることによって、各疑似絵素に対してフルカラー解橡度を有する出力画像を生成する手段と
   を備えた、色回復システム。
5. 前記疑似絵素は、長方形のグリッドパターンに再インデックス付けされている、請求項４に記載の色回復システム。
6. 前記グリッドは、六角形の形状を有している、請求項４に記載の色回復システム。

Images