WO2004068862A1

WO2004068862A1 - 高解像度カラー画像生成方法,高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム

Info

Publication number: WO2004068862A1
Application number: PCT/JP2003/012868
Authority: WO
Inventors: Masatoshi Okutomi; Tomomasa Goto
Original assignee: The Circle For The Promotion Of Science And Engineering
Priority date: 2003-01-31
Filing date: 2003-10-08
Publication date: 2004-08-12
Also published as: JP4214409B2; US20060038891A1; US7515747B2; JPWO2004068862A1; AU2003272936A1

Abstract

イメージセンサの物理的な解像度においての制限は、画像の解像度を高める動機を提供する。超解像が主にグレー・スケール画像に適用されており、色フィルタ配列を有するイメージセンサから高解像度カラー画像を生成することはまだ徹底的な検討がなされていない。本発明は色フィルタ配列を有するイメージセンサによって得られた色モザイクから直接に高解像度カラー画像を生成することを目的とする。本発明の高解像度カラー画像生成方法は、解像度の増大とデモザイキングを同時に行う、カラー画像生成の斬新な技術思想に基づくものである。本発明の検証及び有効な実装も示されている。

Description

高解像度カラー画像生成方法、高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム技術分野明

本発明は、画像の生成方法、生成細衣置及び生成プログラムに関し、特に、単板 C C D配列から高解像度力ラ一画像を生成するための高解像度カラー画像生成方法、高解像度力ラ画像生成装置及び高解像度カラー画像生成プログラムに関する。背景技術

単板力ラ一力メラにおいて、 C C Dの各画素にはカラ一フィル夕（色フィルタとも称する）がかけられている。赤（R e d ) 、緑 ( G r e e n ) 、青（ B l u e ) は、カラ ―フィル夕に使用される典型的な色である。カラ一フィルタは、モザィク · パターンになるように配置され、画素毎に 1つの原色のみが撮像されるモザイク · パ夕一ンは、 C F A (

C F Aはカラーフィル夕配列を意味する）パターンと呼ばれる。よって、 C F Aを通して得られるデ一夕は、色モザイク状の画像であり、フル • カラ一画像の表現としては不完全なものとなる。

完全なカラー画像を生成するために、欠けている色チャネルは色モザイク状の生データ（R AW D a t a ) から推定する必要がある。一般に、この色復元処理をデモザィキング（D e m o s a i 'c k i n g ) と呼ぶ。最も簡単なデモザィキング方法としては、各色チャネル毎に線形補間を行うことである。より複雑なデモザィキング方法（参考文献 [ 1 ] 〜 [ 2 ] 参照）も報告されており、線形補間と比較して画像復元の精度が高い。

一般に、デモザィキングにおいて、処理結果のカラー画像に偽色が発生することが主な問題となる。画像を光学ローパスフィル夕に通すことにより偽色を低減させることはできるが、その結果帯域の制限を受けることになるといった問題点がある。特に、画像を高解像度の画面に拡大表示する場合、帯域制限による画質の低下が顕著となるといった問題が生じてしまう。

デモザィキング方法によって生成されたカラー画像の解像度は C C D の物理的解像度に等しい。例えば、 .表示、印刷や後処理等の場合には、より高い解像度が必要になってくる。このような要望に対する従来の解決方法としては補間である。

しかしながら、より高い解像度を有する C C Dによって得られた画像と比較すると、補間は結果的に品質の低い画像をもたらす。それは補間処理によって実質的に情報が付加されるわけではないことに起因する。補間は画像の詳細を復元できないといった問題を有する。換言すれば、補間は高周波数信号を復元できない。 ' 超解像（ S u p e r — r e s o l u t i o n ) (参考文献 [ 3 ] 〜 [ 5 ] 参照）は補間とは異なる方法であり、超解像は撮影されたシーンに含まれる高周波を詳細に復元することができる。超解像は、複数の低解像度画像から高解像度画像を合成する画像処理技術である。文献における超解像の各種方法の中で、 T s a yと H u a n gが提案した周波数ドメインの手法（参考文献 [ 3 ] 参照）は、初めて超解像の理論を提案した。 P e 1 e g ら（参考文献 [ 4 ] 参照）は、繰返し逆投影法に基づいた空間ドメインの手法を提案した。まず第一に、高解像度画像の撮像過程をシミュレートすることで測定値を生成し、また、シミュレーション誤差は一時的な画像推測誤差を更新するために使用される。

これまでに、超解像はグレー · スケール画像或いはフル · カラー画像に適用されてきたが、単板 C C Dから得られた生データにまだ適用されていない。デモザィキングと超解像を順次実行することで高解像度カラ一画像が得られるが、このような方法ではデモザィキングされた画像で見られる偽色及びぼやけ効果で損害を受ける。ユーザが利用できるデー夕はデモザィキングされた（その上圧縮された）画像であるために、このようなことは民生カメラを使用した場合によく見られることである。本発明は上述のような事情よりなされたものであり、本発明の目的は、上述制限を克服することができ、且つ、 C F Aで覆われた C C Dによつて撮像された生の色モザイク画像を直接利用し、単板 C C D配列から高解像度カラー画像を生成できるようにした、高解像度カラー画像生成方法、高解像度カラー画像生成装置及び高解像度力ラー画像生成プログラムを提供するものである。

本発明は、 C C Dの物理的解像度より高い空間解像度を提供する単一ステップの処理を特徴とする。従って、本発明はデモザィキングと解像度増大との効果的な統合を可能にする。発明の開示

本発明に係る高解像度カラー画像生成方法は、イメージセンサと色フィル夕配列を用いる画像撮像装置によって撮像された 1枚または一連の複数枚の入力画像に基づいて高解像度カラー画像を生成する高解像度力ラ一画像生成方法であって、前記高解像度カラー画像生成方法は、前記画像撮像装置の物理的な解像度に等しい解像度、或いは、前記画像撮像装置の物理的な解像度より大きい所定の解像度を有する前記高解像度力ラー画像を生成し、前記一連の複数枚の入力画像間に既知または未知の幾何学的変換を行うステップと、評価関数に最適化処理を行うことにより、被写体に含まれる高い空間周波数成分まで忠実に再現し且つ偽色の発生を抑制した前記高解像度カラ一画像を生成するステップとを有するまた、本発明は、前記評価関数は、前記入力画像から前記高解像度力ラー画像の生成を表す画像形成モデルを用いて、前記入力画像に対する推定画像である前記高解像度カラ一画像の忠実度を評価する第 1項と、前記入力画像内の隣接する画素値が急激に変化する前記推定画像に対してペナルティ一を与えることにより、前記推定画像における滑らかさを評価する第 2項と、前記入力画像内が色差成分が急激に変化する前記推定画像に対してペナルティーを与えることにより、前記推定画像の色差の滑らかさを評価する第 3項とより構成され、前記第 2項は保存されたエッジを有する滑らかな推定画像を得る役割を果たし、前記第 3項は局所的色差連続性と保存されたエッジを有する滑らかな推定画像を得る役割を果たすようにすることにより、或いは、前記入力画像間の幾何学的変換を前記高解像度カラ一画像と同時に推定するステップを更に有するようにすることによってより効果的に達成される。

さらに、本発明に係る高解像度カラー画像生成装置は、本発明の高解像度カラ一画像生成方法を用いた、単板撮像素子を利用した単板式画像撮像装置であることによって達成される。図面の簡単な説明

第 1 図は本発明に用いられる信号処理の流れの一例を説明するための図である。

第 2図は本明の全体的な処理の流れ図である

第 3図は、 2図における目的関数の繰り返し最小化処理に用いられる最急降下法を説明するための流れ図である。

第 4図はェッジモデルの R成分（実線）、 G成分（破線）、 B成分（点線）を説明するための図である。

第 5図は色に関するエネルギー関数の性を示す図である

第 6図は本発明の画像処理方法を利用した画像撮影装置の構成図である。

7図は第 6図の信号処理部の詳細図である。

第 8図は本発明において実験に使用された画像を示す図でめる第 9図は本発明を用いて生成された画像を示す図である。

第 1 0図は従来の方法を用いて生成された画像を示す図でめる第 1 1 図は R M S誤差と入力画像の枚数との関係を示す図である第 1 2図は実験に使用される参照画像を示す図である。

第 1 3図は模擬された、実験に使用される入力画像を示す図である。第 1 4図は線形補間を用いて生成された画像を示す図である

第 1 5図は従来のデモザィキング方法を用いて生成された画を示すである

第 1 6図は本発明を用いて生成された画像を示す図である

第 1 7図は模擬された、実験に使用される入力画像を示す図である。第 1 8図は線形補間を用いて生成された画像を示す図である

第 1 9図は従来のデモザィキング方法を用いて生成された画を示すである □

第 2 0図は本発明を用いて生成された画像を示す図である第 2 1 図は、文書画像による実験結果を示す図である。

第 2 2図は、自然画像による実験結果を示す図である。発明を実施するための最良の形態

以下に、本発明の好適な実施例を図面及び数式を参照しながら説明する。

< 1 >観測モデル

ぐ 1 _ 1 >はじめに

例えばデジタル · カメラのような画像撮像装置に撮像された 1枚または複数枚の生の画像を考える。 1枚の撮像された画像は、絶対座標系に対する幾何学的変換、光学系と C C Dの開口によるぼやけ効果、ダウン，サンプリング、及び C F Aマスキングが真の画像（つまり撮影されたシーン）に対し施された結果である。

< 1 - 2 >画像形成モデル

ここで C F Aの効果を考慮せずにモデリングを開始する。この節においてグレー · スケ一ル画像を考慮する。

画像撮像系における画像形成モデルは、入力画像は連続的で、一方出力データ（ここで言う "出力データ" は C F Aマスクされた生の画像を意味する）は離散的であるということで、連続一離散モデルによって表すことができる。

画像撮像系用の画像形成モデルは下記数 1 によって表される。

【数 1】

u( ,i₂) -x,i₂ - y)I(x,y)dxdy

ここで、 M ( , ）は C C Dで撮像されたデジタル画像を表し、また、は真の画像（シーン）を表す。（，）は離散的な座標系であり、一方、（ , は連続的な座標系である。は点広がり関数である。 P S F ( " P S F " は点広がり関数を意味する）は、画像撮像系における光学系と C C D開口からなる光学的伝達特性から導出されるが、実用上は下記数 2によって表されるガウス関数によって近似的にモデル化されることができる。

【数 2】ノ U 2びつ- ¹

ここで、び²は分散である。

数 1 における積分は（x,j;)に関して行われる。

(； cj)から（ , ）への座標変換を考える。ここで、（）は高解像度画像が定義される座標である。

例えば、パラメータ一

【数 3】を有する 3パラメ一夕一 · モデルによって、画像全体の並進運動及び回転運動を表すことが考えられる。次のモデルにおいて座標変換が表される：

【数 4】

ここで、 0は回転角であり、また、，はそれぞれ並進運動の水平成分と垂直成分である。 /は任意に指定できる解像度拡大率である。

座標変換 , ) = s ( , )を使うと、前記数 1は下記数 5 になる。【数 5】

数 5 に表されるモデルの離散的な近似を得るために、高解像度の格子点（ん Λ)に位置する高解像度画素を覆う領域全体で真の画像 /( ，が一定であることを仮定する。よって、数 5の積分は数 6の形で書くことができる。

【数 6】

" 1，） = }] ζ (ん j₂y ( ,i₂, Λ, J₂;s)

Λ h

ここで、 Z(ん）は仮定された真の画像/ ( , の一定値である。また、数 7は次のようになる。

【数 7】 ds

ん ^s) =J,__1/2 j _a/2 s ( ，")― (")) 数 7 の積分は（ん）に位置する高解像度画素を覆う領域全体に対して行われる。数 6 に表されるモデルは、 "ゼロ次ホールド" と呼ばれている。ゼロ次ホールド以外の異なったモデル化も可能で、例えば線形近似や高次近似等が考えられる。

数 6 は行列べクトル記法によって表すことができる。画像 )と，）に対して辞書式記法を使うと、数 6は下記数 8 になる。

【数 8】

u = H(s)z

ここで、 Uと zはそれぞれ _M Ί，）と Z (ん）における画素の数と等しいサィズを有する列べクトルである。 H(s)は uと zを関連付ける i₂,ん ; s)の行列表現である。

< 1 一 3 >色フィルタ配列（ C F A)

カラー画像は複数の 2次元信号の色チャネルによって表すことができる。赤（R e d ) 、緑（G r e e n ) 、青（B l u e ) は、例えば 3 C C Dデジタルスチルカメラのような民生カメラによく用いられる。

上述した画像撮像系用の画像形成モデル（本発明において、撮像モデルとも称する）をカラー画像に拡張する。数 8 に表されるモデルは 1つの色チャネル用のモデルであることが考えられる。従って、各色チヤネル用の画像形成モデルは同様に表される：

【数 9】

u_c = Hjs)z_c

ここで、行列 H s)は色チャネルの画像形成モデルを表す。実用上、行列 H^s^H s^H^s)は同一の行列 H(s)で近似できることが多い単板 C C Dカメラにおいて、カラー画像は C F Aによつてマスクされて色モザイクを生成する。第 1 図（a)において、その中の 1枚の画像はべィヤー . ノターン（B _{a y} e r P a t t e r n ) としてよく知られている C F Aを示す。この処理は C F Aによってカラ一画像 uに適用されるサンプリングとしてモデル化される。

要素毎に 1或いは 0 を含む 1つの 2次元配列を考える 1 という値を有する要素は色に対して感度を有する。次の配列はべィャ一

• パターン用のサンプリング配列を示す。つまり、この感度配列は画像サイズが 5 X 5のべィヤー · パターンを表している。

【数 1 0】

【数 1 1】

【数 1 2】

他の C F Aパターンを用いるイメージセンサ（本実施例では C C D撮像素子）用のサンプリング配列も同様に構成することができる。

m_R(i, ]),m_G(i, j),m_B(i, のベクトル表現を考えると、下記数 1 3 になる。【数 1 3】 ιη_Λ =(0,1, 0,1, 0,0,0,...0)

m_G = 1,0,1, 0,1, 0,Ι,.,.Ι

m_B = 0， 0,0,0, 0,1, 0,.,.Ο この C F Aによるサンプリングは次の対角行列の形で表すことができる。

【数 1 4】

M_c =diag( _c) ここで cE{R,G, }

以上より、 C F Aによるサンプリング · モデルは、フル · カラー画像に柠列を作用させることによって与えられる。

【数 1 5】

y_c = M_cu_c

ここで、 y_cは C F Aマスクされた C C Dで撮像された生データ（R AW D a t a ) における画素値を含む。上記数 9及び数 1 5を用いて、単板 C C D用の全体的な順方向モデルは次の形で書かれる。

【数 1 6】

' diag(M_RU_R (s),M_GH_G (s),M_BH_B (s))

< 1 一 4 >マルチ · フレーム観察モデル

単板 C C Dで撮像された、一連の生の色モザイク画像を考える。数 1 6に対し幾何的変換を考慮した表現を使用することができる：

【数 1 7】 R

-

(s_k ),M_GH_G (s_t ),M_Bti_B [s_k )) ここで、画像列における各フレームに対して、 s k=l,..M は数 5 にあるような座標変換を表す。

数 1 7において、ベクトルのスタック表現を考えると、下記数 1 8 なる。

【数 1 8】ここで、は高解像度画像と観測されたフレームとの関係を表す、数

1 7の右辺におけるブロック対角行列である。

べクトル y_A.は zから観察されない画素値を含む。ここで留意すべきは Α_έの有効な行とは _zの運動を補償した要素から観測される y_fcの要素に対応する行であることである。残りの無効な行は取り除かれ、縮小された方程式の系が生成される。従って、この処理は入力データとして意味をなさない要素を取り除く。

いま、 M枚の入力画像を有する複数の画像の撮像モデルを表す一連の式があるとする：

【数 1 9】

yん- = ^Ak²

スタックされた式を用いると、下記数 2 Q になる。

【数 2 0】

y = Az +n

上記数 2 0の右辺において、ノイズを表す追加項を考慮している。 A は画像列の撮像過程全体の順方向観測モデルであり、本発明ではシステム行列と呼ぶ。

< 2 >問題の定式化

< 2 _ 1 >はじめに

本発明は、イメージセンサ（本例では単板 C C D ) と色フィル夕配列

2 とを用いる画像撮像装置で撮像された生の色モザイク画像を入力とし、そして、出力としてフル · カラ一高解像度画像を直接に生成することを可能にした斬新な高解像度カラ一画像生成方法、生成装置及び生成プログラムを提供することを最大な目的としている。このような直接的方法を採用する本発明における重要な技術思想とは、色チャネル間の相関関係についての先験的知識を画像復元問題に組み入れるところである。

本発明において、マルチ · チャネル拘束は、色チャネル内の区分的に滑らかなデータをモデル化するために演算子を使用し、また、クロス ' チャネルの相関関係を明らかにするためにスぺクトル · エネルギー関数を包含する。 .

< 2 — 2 >逆問題としての画像復元

本発明の画像生成方法（画像復元方法とも称する）は、低解像度画像或いは一連の数枚の低解像度画像から高解像度画像を得ることを目指す。ところが、このようなことはよく不良設定逆問題になる。従って、このアプリケーションには先験的拘束を包含することが欠かせない。これは限られたデータ或いは質の悪いデ一夕を条件としての容認できる画像推定を確実なものにする。

前節で検討された順方向観測モデルを用いて、 z_fに対しての推定画像は逆問題を解くことによって得られる。逆問題を解くことに適切化された最適化アプローチを適用すると、下記数 2 1が得られる。

【数 2 1】

z = argmin{/₁(z) + A/ (z)}

z ^r

しし、

【数 2 2】 M

(_Z) =|| y - Az ||²= ;||_yfc -A _Z||^: パラメ一ター λは先験的拘束と観察されたデータへの適合性との間の重みを制御する。

空間とスペクトルの相関関係を表す、 2つの項から成るエネルギー関数は次のようになる。

【数 2 3】

ここで、 /₂(ζ)は空間エネルギーを表し、また、 /₃(_Ζ)はスペクトル ' ェネルギーを表す。パラメ一ター μは 2つの項の間の相対的重要度を調整する。

< 2 — 3 >空間エネルギー関数

一般に、色チャネル毎に区分的に滑らかさを仮定することができる。この仮定を空間エネルギー関数に組み入れると、滑らかな信号ほど、一層高い優先が得られる。

次のモデルは空間の相関関係を表す：

【数 2 4】

ここで、 Ρは、色チャネル毎に適用されたラプラシアン演算子に対しての差分近似である線形演算子である。

数 2 4に表される関数は空間アクティビティを表す。滑らかな画像において、 /₂(ζ)は小さな値であり、一方、エッジを有する画像に対して、 /₂(_Ζ)は大きい。 /₂(ζ)は画像内の不連続性に対してペナルティ一を与える。このモデルで、滑らかな信号は空間仮定と合致して高いパフオーマンスを有する。

< 2 '— 3 — 1 >エツジ保存演算子

上述した適切化モデルは滑らかさの拘束としての機能を果たす。この拘束は不必要に平滑化された推定画像をもたらす。この問題に対処するために、画像推定において、エッジ保存拘束を使用することができる。画像内のエッジ方向を提供するエッジ検出関数を考える。異なった方向に二次微分を適用し、画素毎に検出関数を最小化する方向を選ぶことによって、エッジ万向マップを生成する。

よって、画素毎にエツジ方向に二次微分を評価する適応的演算子は、エッジ保存拘束としての機能を果たし、数 2 4を置き換えることができる。

< 2 一 4〉スぺクトル · エネルギー関数

各色平面は高い関連があって相互に位置が合ったオブジェクトのエツジを包含する。この相関関係は別の色空間によって解釈されることができる。輝度と色差に分解された色空間を考える：

【数 2 5】

ここで、 Iは単位行列で、 _Z£は _zの輝度信号成分で、また、 [ _zj _z の色差信号成分である。輝度信号は光の強度を表すように定義される。

R G B信号の線形結合は輝度を提供する：

【数 2 6】係数は次のように設定される。

α =1/3,^=1/3, =1/3

ベィャ一 C F Αパターンが使用された具体的な例において、 C F Aにおける最も多くの情報を包含する緑のチャネルに重みを置くことができる。例えば、ベィャ一パターンにとって、係数は α = 0, =l,y = 0或いは a=l/4,)3=l/2,y =1/4になるように設定することができる。

数 2 5 と数 2 6は R G B信号及び色差信号に関する次の変換を決定する。

【数 2 7】

ここで、数 2 8は R G B —色差変換行列である。

【数 2 8】

(1-α)Ι - βΐ 一 γΐ

T -αϊ (1-β)1 -γΐ

- l -βϊ (l-y)I 関数 / ₃(_Ζ)は色差信号における急激な変化に対してペナルティ一を与える。

【数 2 9】

/₃(_Z)=||QTz||²

ここで、 Qは、色差信号毎に適用されたラプラシアン演算子に対しての差分近似である線形演算子である。

これは結果的に色差信号が局所的連続性を持つような推定画像は一層 12868

高い優先が得られることをもたらす。望ましい推定画像を導き出すために、色空間変換における係数を修正することができる。

色差は輝度と R G B信号の差であるため（数 2 5参照）、スペクトル • エネルギー関数はこれら信号間の相関関係を検出する。従って、スぺクトル . エネルギー関数は、輝度と色差の間の相関特徴を考慮に入れ、また、色チャネル間信号処理に対して基盤を提供する。

ベィャ一 C F Aにとつて、フィルタ Qのカーネルのウインドウの大きさが 3/ X 3/に設定された時に色相関関係拘束は適切に機能する。ここで、 /は解像度拡大率である。使用できる入力画像の数が少ない際に、この処理は特に必要である。ウインドウの大きさが適切に調整されない場合、偽色が現れる傾向がある。

空間エネルギー関数に利用されたエッジ保存演算子に類似したエツジ保存演算子も、スペクトル ' エネルギー関数に使用されることができる

< 3 >パラメ一夕一推定及び最適化技術

< 3— 1〉P S F推定

観測モデルを構築するために、上述した点広がり関数を求める必要がある。

画像撮像装置における光学系及び C C D開口の知識で、 P S Fが理論的に導き出されることができる。

エッジ画像或いはエッジ広がり関数を用いて実験的に P S Fを推定することもできる。

P S Fに対しての大まかな推定も可能で、結果としての推定画像を検査することで P S Fに対しての一層良い推定をもたらす。 < 3 - 2 >動き推定

観察モデルにおける幾何学的変換 s₄は、画像生成処理に先立って同定されなければならない。解像度拡大はサブピクセル精度を有する動き推定を必要とする。所望の解像度拡大率が大きいほど、このような要件は画像生成に制限を与える。

また、動き推定方法の計算効率及び信頼性は実装上重要な課題である。パラメーターの数の少ない簡単な動きモデルはこのような要件に適している。

補間に基づいたブロック · マッチング技術はサブピクセルの動き推定を提供する。よく知られた 1つのアプローチは、画像データ自身を補間してからブロック · マッチング技術を適用する。もう 1つのアプローチは、例えば誤差二乗和（ S S D ) 、誤差絶対値和（ S A D ) や相互相閧関数（ C C ) のようなマッチング基準を補間する。

清水らは斬新なサブピクセル · マッチング技術（ E E C方法）（参考文献 [ 6 ] 参照）を提案した。該方法は本発明で使用されることができる。マッチング基準の補間に基づいた従来技術と比較して、 E E C方法は推定誤差を低減することができる。推定誤差をキャンセルするために、該方法において逆位相推定が使用される。該方法のもう 1つの長所とは、画像データ自身を補間するような方法と比較して、一層高い計算効率を有することである。

< 3 - 3〉最急降下最適化

数 2 1 より、高解像度推定画像は、次の目的関数（本発明では、この目的関数を評価関数とも称する）を最小化することによって得られる。【数 3 0】

/(z) = /₁(z) ₊ «/₂(z) ₊ b/₃(z)

ここで、な = λまた、 & = λ^αが成立する。

これは、大規模最適化問題として表され、システム行列の大きい寸法が原因で実装段階で問題が生じる。

繰り返し法はこの最適化によく適している。最急降下技術を使用することによって、高解像度画像に対して次の繰り返し更新が与えられる。

【数 3 1】

z(„₊i) _{= z}(„_{) + cc}(„)_d(«)

【数 3 2】

ここで、《は 11番目の繰り返しを意味する。 d⁽ⁿ⁾は目的関数の勾配である。ステップ · サイズひは計算安定性のために調整される。最初の画像推定 z^(Q)はを補間することによって得られる。

ここで、本実施例では、最適化技術として、最急降下法を用いたが、本発明で使用された最適化技術は、それに限ることなく、他の最適化技術を用いることも可能である。ぐ 3— 4 >本発明の信号処理の流れ

第 1図は本発明に用いられる信号処理の流れの一例を示している。第 1図（a )は、ペイヤー色フィル夕配列を通して撮像された生の色モザィク画像の入力画像列を示す。第 1 図（ a )に示されたこれらの入力画像列のデータから、本発明に係る高解像度カラー画像生成方法を用いて、第 1 図（b )に示された高解像度フル · カラー画像を生成する。第 2図において、本発明に係る高解像度力ラー画像生成方法の全体的な処理の流れが詳細に示されている。まず、生の色モザイク画像列は単板 C C Dから得られる。次に、色チャネル毎に線形補間を適用する簡単なデモザィキングが行われる。そして、所定の色チャネル（本実施例では、緑チャネル）に対して動き推定が適用される。本実施例では、ペイヤー色フィルタ配列が用いられているので、所定の色チャネルは緑チヤネルになるが、他の C F Aを使用した場合、その C F Aに基づいて決められる他の色チャネルを用いることになる。

色空間変換後に、動き推定の代わりに輝度信号を使うことができる。推定された動きパラメ一夕と指定された解像度拡大率 /は、 P S F及び C F Aパターンと共に、システム行列 Wを構築するのに使用されることができる。目的関数の繰り返し最小化処理は、高解像度推定画像の初期値 z ( ^{Q )}を必要とするので、線形デモザィキング処理された 1枚の入力画像が補間の準備的な処理を経て、アップサンプリングされて生成された高解像度画像をこの初期値 z ( ^{Q )}とする。

最後に、推定画像の初期値は、目的関数の繰り返し最小化処理（本例では、第 3図に詳細に述べられている最急降下法）を介して更新される。目的関数は 2次式であるため、勾配の算出は簡単である。もし、推定画像 2が収束すれば、或いは、数 3 3 に表された指定条件が満たされていれば、繰り返しを停止する。推定画像 έは、目的関数の繰り返し最小化処理によって得られる。

【数 3 3】

II d(") || / || ζ^(η) ||< ε

ここで、 εは閾値である。 < 4 >高解像度カラー画像の合成

本発明のもう 1 つの実施例を以下のように開示する。

まず、上述した順方向観測モデルを元に、逆問題解析を行うことにより高解像度画像を推定する。正則化の項を付加した目的関数（本発明では評価関数とも称する）の最適化手法を用いると、推定すべき高解像度カラー画像 2は下記数 3 4により与えられる。

【数 3 4】

z = argmin{/₁(z) + (z)}

z ^

ここで、目的関数の第一項

【数 3 5】

は測定データへの適合度を表す項である。

目的関数の第二項は正則化項である。正則化項は、ダレ一スケール画像の超解像で用いられてきた、信号の局所的な平.滑性を評価する項を力ラー信号に拡張した評価式と考えることができる。

一般に、自然画像では R G B信号の各成分は強い正の相関を持ち、ェッジ位置も一致していることが知られている。そのため、各色チャネルに対し独立な評価式を用いることは望ましくない。例えば R G Β信号のそれぞれに対して（独立に）平滑化の効果を持つ評価式を用いると、色ずれが生じる。

この現象は、線形デモザィキングを施した画像に見られる偽色と同様な原因で生じる。すなわち、異なるサンプリング位置を持つ各色チヤネルを独立に補間することで、 R G Β信号間の相関関係を大きく変化させることが原因となる。このことは、 R A Wデ一夕の各色チャネルが 3 C

2 C Dのように密なサンプリングではないことに起因している。したがつて、数 3 5 において複数の位置がずれた入力画像 yい…， y _M、 (M> 2 ) が得られれば、密なサンプリングをすることと同等の効果が得られ、色ずれの発生は低減される。これは、事実上 3 C C Dの画像を得ていることとほぼ同等であることからも明らかである。複数の位置がずれた入力画像が十分に得られ、数 3 5 がオーバー · デ夕ーミンド（ over - determined) に近づくほど色ずれが低減されることになる。

しかし実際には、数 3 5がオーバー · デ夕ーミンドであっても偽色が発生することが確認されている。その原因となるのは、各色チャネルに独立のノィズが入ることや、入力画像間の位置ずれの推定が不正確であることである。なお、本発明では色収差の影響による色ずれは考慮していない。

このような偽色の発生を抑えるには、 R G Bより相関の小さい色成分をもつような色空間を利用することが適切である。そこで、次のような R G B空間から Y C b C r空間への変換を考える。

【数 3 6】 ζ_γ = 0.299ζ_Λ +0.587z_G +0.114z_B

z_Cb = - 0.1687ζ_Λ -0.3313z_G +0.5z_B

z_Cr = 0.5ζ_Λ -0.4187z_G -0.0813z_B 上記変換を用い、正則化項は輝度成分と色差成分に対する項で定義される。

【数 3 7】

/_P(z) = /₂(z_y) + /₃(z_C6，z_Cr)

自然画像では、輝度成分と比較して色差成分の変化が小さく、輝度成分に最も多くの情報が含まれる。また、多くのアプリケーションでは、色彩の情報より輝度情報で表される被写体の構造が高精細に表現されることが要求される。さらに、人間の視覚系が色彩の変化に対して比較的感度が低いといった理由から、次のような条件を正則化の項に取り込むまず、輝度に対してはエツジ保存型の非等方的平滑性条件を正則化の項に組み込むことで、被写体の構造が過度な平滑化により劣化することを防ぐ。このような要求を満たす平滑性条件として、エッジに沿う方向に平滑化する正則化演算子（参考文献 [ 7 ] 参照）を利用する。すなわち、各画素における方向 D : {水平、垂直、対角方向（2通り）、方向なし (全方向均等） }への平滑性を評価するハイパス演算子 P _d , d G Dを用いて下記数 3 8で表される。

【数 3 8】

/ ) = 1 ρ_Α ΙΓ 対角行列 Λ _dの各成分は z γの各画素におけるエッジ方向 dのハイパス演算に対する重みを表す。この重みは、各画素におけるエッジの方向と強度を検出することによって定めることができる。

一方、色差に対する正則化項は、等方的平滑性を考慮する。入力画像の枚数が少なく、数 3 5が未知数に対してアンダー · デタ一ミンド（ unde r de t e rm i ned) になる場合、色差に対して異方的平滑性条件を与えると、真のエッジ方向の推定が困難となるためである。等方的ハイパスフィル夕 Hを用いた次の正則化項を定義する。

【数 3 9】

/₃(z_Cb,z_Cr) = A_c(|| Hz_c¾ IP + II Hz II²)

ここで、え _cは重みパラメ一夕である。数 3 5がオーバ一 ' デターミンドの場合でも、モーション推定の誤差や色チャネル独立のノイズに起因する偽色が発生するため、数 3 9で表された上記の正則化項は、カラ一画像の復元において重要な役割を果たす。

ハイパスフィルタのカツトオフ周波数は、カラ一フィル夕のサンプリング間隔が最も粗い色チャネルの帯域に設定することで偽色を抑制することができる。複数の入力画像が与えられ、数 3 5がォ一バー · デターミンドに近づく場合にはより大きなカツトオフ周波数を設定することで、色差の過剰な平滑化を抑制できる。なお、後述する実験では、ガウシアンハイパスフィルタ（つまり、周波数特性が H ( u , V ) = 1 — e X p ( — (U ² + V ²)Z 2 σ ² _C)で与えられるフィル夕）を用い、その標準偏差をカットオフ周波数とする正則化演算子を用いている。

上述の色差に対する正則化項が色チャネル間のエツジのずれを抑制する性質を持つことは、後述する実験により確かめられる。まず、画像中で 2つの色の領域が接しているエッジ部分のモデルとして、次のような 1 次元の R G B信号を考える。

【数 4 0】

¾0') = ^/(；) + ¾

z ^{= c z}R(j-^Dg) ^{+ b}i，

e r f ( - )は誤差関数

を表す。 a ^ a ^ b ^ b sは定数である。 D g， D bはそれぞれ R成分に対する G成分、 B成分のエッジ位置のずれ量を表す（第 4図）。 R G B間のエッジ位置が揃っている場合（D g =D b = 0 ) は 2つの色の領域が接しているモデルとなるが、エッジ位置が微小にずれている場合（ D g≠ 0 , D b≠ 0 ) は境界部に色ずれを生じることになる。

数 4 0 に表されるモデルの D g，D bを変化させたときの f ₃ (z _{C b}， z _{C r})の評価値の変化を第 5図に示す。定数は、（aい a ₂， bい b ₂)= ( 1. 2， 0. 8 , 0. 1， 0. 1 )とした。第 5図から、エッジの位置が完全に一致したときに正則化項の評価値が最小値をとることがわかる。このような正則化項の性質は、 a i , a ₂> 0 ( R G B信号が正の相関を持つとき成り立つ）なる任意の aい a ^ b ^ b sに対して成り立つことが容易に確認することができる。

本発明の高解像度力ラー画像生成方法を適用した画像撮像装置の構成例を第 6図に示す。第 6図に示されるように、本発明を適用した画像撮像装置は、レンズや光学ローパスフィルタからなる光学系と、色フィル夕と、イメージセンサ（本例では C C D撮像素子）と、撮像装置全体を駆動する駆動回路と、 AD変換部と、信号処理部と、メモリとから構成される。

図 6に示された画像撮像装置の動作はこのようになつている。先ず、光学系及び色フィル夕によって色モザイク状の受光信号が C C Dに入力される。次に、一定の時間連続的に撮影することにより、 C C Dにおいて受光信号の時系列が生成される。そして、これら色モザイク状の受光信号の時系列は、 AD変換部において量子化された後に、メモリに記憶される。信号処理部において、複数の色モザイク信号 y i， y ₂，…， y M は、マッチング処理及び超解像処理によって合成され、高解像度の結果画像の R G B成分が生成される。

次に、第 6図の信号処理部での信号処理の詳細を第 7図に示す。ここでは、第 7図を参照しながら、高解像度カラー画像を合成するための画像復元方法を以下のように説明する。

ステップ 1 ：

入力となる R AW画像列 y i , ···, y Mを取得する。

ステップ 2 ：

C F Aパターンの配置が未知の場合は、感度配列 m c ( i い i ₂)のキヤリブレーシヨンを行う。

ステップ 3 ：

入力 R A W画像列を線形補間による単純なデモザィキングによりカラ一化する。得られたカラ一画像の輝度成分に対して、画像の位置ずれ d _k = [d _{x k}, d _{y k}]を推定する。

ステップ 4 ：

所望の解像度倍率 f を設定する。次に、数 3 4の最適化を行う。本発明では、色々な最適化手法を用いる事が可能であるが、例えば、最適化手法として最急降下法を用いると、次のステップ 5 となる。

ステップ 5 ：

n = 0 とする。基準となる入力画像一枚から線形補間により高解像度カラー画像を生成する。この画像を復元画像の初期値 z ^(Q とする。ステップ 6 ：

画像 z ^{(n )}の輝度成分のエッジ方向解析（参考文献 [ 7 ] 参照）より、正則化項 f ₂ (z γ )の重み A_dを計算する。

ステップ 7 ：

下記数 4 1〜数 4 4にょり画像 2 ⁽¹¹⁾を更新する。

【数 4 1】

【数 4 2】

【数 4 3】

Τ^ΓΛ^ΓΡ^ΓΡ Λ

【数 4 4】

T HT_cZ ⁽")

ここで、 T_T， T_{C b}， T_{C r}はそれぞれ R G B信号から Y， C b , C r成分を求める演算を表す行列である。数 4 1から数 4 4までの計算は、線形フィルタリング、サンプリング、座標変換、色空間変換等の画像処理の組み合わせにより実現できるため、実際に行列演算を行う必要はないステップ 8 ：

n = n + l と置き、ステップ 6 に戻る。

ステップ 9 ：

ステップ 6からステップ 8 までの繰り返し計算の終了条件としては、繰り返し計算の収束を判定するか、または予め定めた繰り返し回数で打ち切る。

また、上述したような本発明の高解像度カラー画像復元方法（画像生成方法）を更に拡張して、高解像度画像と画像間変位とを同時に推定することも可能になる。この同時最適化手法（つまり、同時推定法）は、入力画像間の変位の推定精度が充分でないときに有効な手法となる。この高解像度画像と画像間変位の同時推定法について以下のように説明する。

まず、評価関数 f ( Z )は実際は高解像度画像と画像間変位の関数 f ( z， s )であるから、これらの未知数を同時に推定する最適化手法を用いることで、高解像度画像と画像間変位を高精度に推定することができる。

次に、高解像度画像と画像間変位とを同時に推定するために、つまり、同時最適化を実現するには、上述した繰り返し計算において、ステツプ 8の後に、下記ステップ A、ステップ Bを加えればよい。

ステップ A ：

画像 z ^{(n + u}を固定し、下記数 4 5により画像間変位 s を推定する。【数 4 5】 s⁽"⁺¹⁾ =argmin||y-A(s)z^(¾+1)||² ステップ B ：

撮像モデル A (s (ⁿ⁾)を更新し、 A (s (^{n +} )とする。

< 5 >本発明の有効性を検証するための実験及び実験結果

< 5 - 1 >画像取得

本発明に係る高解像度カラー画像生成方法は、各画像間に僅かな異なつた動きを有するエイリアシングを受けた複数の画像を必要とする。また、各画像は、画像生成が適用される重なり領域を有するべきである。このような入力画像を生成するために、例えば、わずかな震動でデジ夕ル · スチル · カメラ (或いはデジタル · ビデオ · カメラ）を握ってシーンを連続的に撮影するのは好ましい。

また、文書のスチル画像を 1枚撮影することも、本発明に係る高解像度カラー画像生成方法に対して有用な情報を提供する。文書画像が異なつた位置に位置する同一の文字或いは単語を包含するので、これは異なつた動きを有する複数の画像を撮影することに等しいと考えられる。く 5— 2 >シミュレーションによる評価

第 8図（a)は、シミュレーションで用いた基準画像（参照画像とも称する）である。第 8図（b)は、第 8図（a)に示された基準画像からシミユレーシヨンにより生成した生の色モザイク画像を示す。

第 9図は、種々の条件での本発明に係る高解像度カラー画像生成方法による画像復元結果を示す。第 9図（a)、（b)、（c )及び（d)は、入力画像の数. Mと解像度拡大率 /がそれぞれ異なつた 4枚の復元された画像を示す。第 9図（a)、（c )の入力画像の数は 1枚で、第 9図（b)、 (d) の入力画像の数は 8枚である。また、第 9図（a)、（b)の解像度拡大率は 1で、第 9図（c )、（d)の解像度拡大率は 2である。本発明に係る高解像度カラー画像生成方法によって復元された画像において、高い空間周波数成分が忠実に復元されており、更に偽色の発生も抑制されていることが確認される。

本発明では、解像度拡大が必要とされず、また複数の画像が利用できるといった特別な場合は、マルチ · フレーム · デモザィキングと呼ばれる画像復元を行うことができる（第 9図（b)参照）。また、本発明の実際の適用場合では、必ずしも複数の入力画像が得られるとは限らない。この場合も本発明に係る高解像度カラー画像生成方法の特殊なケースとして、 1枚の入力画像から画像復元を行うことができる（第 9図（a)、 ( C ) 参照）。

第 1 0図は従来の画像生成方法によって復元された画像を示す。第 1 0図（a)、（b)は、従来の代表的なデモザィキング技術によって復元された画像を示す。第 1 0図（c )、（d)は、第 1 0図（a)、（b)をそれぞれ線形補間及びパイキュービック補間により拡大した結果である。拡大倍率は水平、垂直方向共に 2倍である。第 1 0図に示された結果は、単純な処理により R AWデータから高解像度を生成したものであり、典型的なアーチファクト（ボケ、偽色）が発生していることが良く分かる。本シミュレーション実験では、本発明に係る高解像度カラー画像生成方法の定量的評価として、基準画像と復元画像の誤差を RM S値により算出した。，第 1 1 図は本発明の高解像度カラー画像生成方法において、入力画像の枚数と RM S値の関係を示す。第 1 1 図において、従来の手法（つまり、 1枚の入力画像にデモザィキングを施し、拡大したもの）の RM S値も示されている。第 1 1図から分かるように、特に複数枚の入力画像が得られる場合、本発明の高解像度力ラー画像生成方法による画像復元の効果が顕著に表れることが明らかである。

また、第 1 2図〜第 2 0図を通して、上述した本発明の顕著な画像復元効果を更に確認することができる。第 1 2図は実験に使用される参照画像を示す。第 1 3図、第 1 4図、第 1 5図及び第 1 6図は、解像度が 2倍に拡大された実験結果である。第 1 3図は、シミュレーションにより生成した、実験に使用される入力画像を示す。第 1 4図は線形補間を用いて生成された画像を示す。第 1 5図は従来のデモザィキング方法を用いて生成された画像を示す。第 1 6図は本発明を用いて生成された画像を示す。第 1 6図の入力画像の数は 1 6枚である。第 1 7図、第 1 8 図、第 1 9図及び第 2 0図は、解像度が 4倍に拡大された実験結果である。第 1 7図は、シミュレーションにより生成した、実験に使用される入力画像を示す。第 1 8図は線形補間を用いて生成された画像を示す。第 1 9図は従来のデモザィキング方法を用いて生成された画像を示す。第 2 0図は本発明を用いて生成された画像を示す。第 2 0図の入力画像の数は 6 4枚である。

< 5 — 3 >文書画像による実験

ここでは、実際に単板 C C Dカメラを用いて、動画像から高解像度画像を復元する実験を行った。第 2 1図（a)は入力画像の 1枚目である。復元する高解像度画像は C C Dの物理的解像度に対し、水平方向、垂直方向それぞれ 4倍の解像度を持つ。第 2 1 図（b)及び第 2 1 図（c )は従来の手法を用いて復元された結果画像を示す。そのうち、第 2 1 図（b) は線形デモザィキング及び線形補間を、第 2 1 図（c )はコダックデモザィキング及びバイキュービック補間を用いて復元された結果画像である一方、第 2 1図（d)は本発明の高解像度カラー画像生成方法を用いて復元された結果画像を示す。第 2 1図（d)の入力画像の数は 6 4枚である。第 2 1 図（b)、 (c ), (d)を比較することにより、本発明の高解像度力ラー画像生成方法が従来の手法より格段に優れた復元画像をもたらすことが明らかである。

< 5 - 4 >自然画像による実験

ここでは、種々の自然画像を対象とした実験結果を示す。撮影には 3 C C Dカメラを使用し、計算機上でベィャ一 · フィルタをかけた R AW データを模擬的に生成した。第 2 2図 l)、（a 2)、 3)は入力画像としての色モザイク状の画像である。そのうち、第 2 2図（a l )、 ( a 2 )はカメラの手ぶれを利用して静止した対象を撮影した結果であり、第 2 2図（a 3 )はカメラを固定し、風で揺れている対象を撮影した結果である。第 2 2図（a 3 )の場合は、画像全体が一様な運動で表せないため、画像内の局所的なブロックに対してモーションパラメータを推定している。

実画像を用いた実験では、より多くの入力画像を用いるほど画像の復元精度が高くなるとは限らない。その原因としては、入力画像間の位置ずれに推定誤差があること、位置ずれが 2パラメータの並進運動では正確に表現できないこと、時間の経過とともに明るさが変化することなどが考えられる。そのため、本発明では、利用可能な入力画像列の中から、次の基準で入力画像を選択するのが好ましい。

( 1 ) 入力の基準画像から時間的に近い画像を優先的に選択する。

( 2 ) d!mod^^mod^...^,, mod 2が領域 [ 0 , 2 ) X [ 0 , 2 )内で均一に分布するような入力画像を優先的に選択する。

( 3 ) 入力画像間の位置ずれの推定における画像の一致度評価値（S S D、 S AD等）が低い画像は選択しない。

第 2 2図（b l )、（b 2 )、（b 3 )及び（c l )、（c 2 )、（c 3 )は、従来の手法を用いて復元された結果画像を示す。そのうち、第 2 2 図（b 1 )、（b 2 )、（b 3 )は線形デモザィキング及び線形補間を、第 2 2図（ c 1 )、 ( c 2 )、（ c 3 )はコダックデモザィキング及びバイキュービック補間を用いて復元された結果画像である。一方、第 2 2図（d l )、 ( d 2 )、（d 3 )は、本発明の高解像度カラ一画像生成方法を用いて復元された結果画像を示す。第 2 2図（d l )及び（d 2 )の入力画像の数は 6 4枚で、第 2 2図（d 3 )の入力画像の数は 1 6枚である。また、復元された高解像度画像は C C Dの物理的解像度に対し、第 2 2図（b l )、（b 2 )、（c l )、（c 2 )、（d l )、（d 2)では水平、垂直方向共に 4倍、第 2 2図（b 3 )、 ( c 3 ) 、（d 3)では水平、垂直方向共に 2倍の解像度を持つようになっている。第 2 2図からも、本発明の高解像度力ラー画像生成方法が、自然画像による実験でも顕著な効果を奏することが確認された。

< 6 >まとめ

本発明は、イメージセンサ（例えば単板 C C D) から得られた R AW データと所望の解像度のカラー画像との関係を直接的なモデルで定式化し、高解像度カラ一画像を生成するようにしたものである。本発明は、撮像系の製造段階で決められた物理的分解能を超えた高い解像度を有する高解像度カラー画像を事後的に生成することができることを最大な特徵とする。また、本発明では、入力画像の枚数や解像度拡大率を任意に設定することができる。

本発明において、 C F Aパターンはべィャ一 · パターンに制限されることはない。 R G Bの任意の配列或いは補色系のようなほかの色システムを観測モデルに組み込むことができる。即ち、本発明で適用可能な C F Aパターンがペイヤー · パターン等に特化したものではない点でも、汎用性のある一般性的方法であるため、本発明の適用範囲は極めて広いなお、本発明の高解像度カラー画像生成方法は、 C P Uにより実行されるコンピュータ · プログラムで実現されることもできる。また、本発明の高解像度カラー画像生成方法をハードウェアで実現する形態も本発明に含まれることは言うまでもない。なお、上述した実施形態において、本発明では、その画像撮像系（つまり、画像撮像装置）に使用されたイメージセンサは C C D撮像素子を例として説明しましたが、本発明はそれに限定されることなく、例えば M O S型撮像素子や撮像管のようなその他の単板撮像素子を利用した画像撮像系に本発明を適用することもできることは言うまでもない。産業上の利用可能性

以上のように、本発明によれば、次のようなことができる。

まず、本発明に係る高解像度カラー画像生成方法は、入力画像データの有効利用に基づく画像信号処理の改善を提供し、画像撮像装置に用いられるイメージセンサの物理的解像度の制限を克服することができる。本発明の画像生成方法は、画像撮像装置のハードフェアを変更せずに画像解像度を所望の任意の解像度まで拡大できるので、画像撮像装置の製造コストの低減に大きく貢献することが期待される。

また、本発明に係る高解像度カラー画像生成方法は、デモザィキングとダレ一 · スケール超解像とから成る従来技術の単なる組合せではない。この 2種類の従来技術を順次実行するだけでは、品質の低下した画像が復元されたという結果になるだけである。本発明の高解像度カラー画像生成方法は、単一の画像処理によって、高い空間周波数成分を忠実に復元でき且つ偽色の発生も有効に抑制される、高解像度カラー画像を生成する、効果的な画像復元方法である。

さらに、本発明に係る高解像度カラ一画像生成方法は、入力画像の枚数及び解像度拡大率を所望の任意の数字に設定できるといつた汎用性を有する。解像度拡大が必要とされないといった特別な場合は、マルチ · フレーム，デモザィキングと呼ばれる画像復元を行うこともできる。また、本発明をイメージセンサと C F A配列を用いる一般的な画像撮像装置或いは画像撮像機能を備えた情報機器（例えば、デジタルスチルカメラ、デジタルビデオカメラ、カメラ付携帯電話、監視カメラ、天体観測用カメラ、内視鏡、顕微鏡、工業用カメラ等）に適用することができる。さらに、イメージセンサ（例えば単板 C C D) から得られた R A Wデータさえ有れば、本発明の高解像度カラ一画像生成方法をソフトゥエア（アプリケーション）の実施形態にしたコンピュータ · プログラムが実行されれば、任意の所望の解像度を有する高解像度力ラー画像を得ることができる。

本発明では、複数枚の入力画像を利用する場合、入力画像間に変位或いは変形が生じるように撮影することが効果的である。入力画像間に変位或いは変形が生じる状況としては、例えば撮像素子を機械的に制御して既知の移動量だけ変位させた入力画像を得るという場合に限らず、未知の変位或いは変形が被写体とカメラの間に生じている場合でもよい。手ぶれによってカメラが動く場合や、固定されたカメラから移動物体を撮影する場合などがその典型的な例である。入力画像間の変位或いは変形が未知の場合は、事前にそれを推定するか、前述の同時最適化法によつて算出することができる。参考文献：

[ 1 ] コ一ク · D . · R . (Cok, D.R.) , 「シグナルプロセシングメソッドアンドァパラタスフォープロデューシングインターポレイテッドクロミナンスノリュースインァサンブレッド力ラーィメ一ジシクナル (Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal) 」，米国特許 4 6 4 2 6 7 8， 1 9 8 7年

[2 ]ラロシュ ' C . ' A.、 Μ. · Α . · プレスコット（Laroche, C. A, M. A. , Prescot t) ，「ァパラタスアンドメソッドフォーァダプティブリインターポレイティングァフルカラ一イメージュ —ティライジンククロミナンスグラティエント（ Apparatus and method for adap t i ve ly interpolating a full color image utilizing chrominance gradients) 」，米国特許 5 3 7 3 3 2 2 , 1 9 9 4年

[ 3 ] T . ' S . ' ファン、 R . - Υ . · トセィ（T. S. Huang and R. Y. Tsay) ，「マルチプルフレームイメージレストレイシヨンアンド - レシス卜レイシヨン Multiple frame image restoration and registrat ion」，インアドバンスインコンピュータビジョンアンドィメ一ジフロセシンク ( in Advances in Computer Vision and Image Processing) ，第 1 巻， T. S. Huang, Ed. Greenwich, CT： JAI, p. 317 - 339, 1984年

[4]M. · イラニ、 S . · プレグラン（Μ· Irani and S. Pel eg) ，「インプル一ビングレゾリューションバイイメージレジストレイション ( Improving resolution by Image Registration) J , C V G I P ：グラフ . モデルズイメージプロセス . （CVGIP ： Graph. Models Image Process. ) ，第 5 3巻， p. 231— 239, 1991 年 3月

[5 ] R . ' C . ' ノ、一ディ、 K. ' J . ' バーナード、 Ε . · Ε . · ァムス卜ロング (R. Hardie, K. J. Barnard and E. E. Ams trong) , 「ジョイント MA P レジストレイシヨンアンドハイレゾリュ一ションイメージエスティメイシヨンユージングァシーケンスォフアンダーサンブレッドイメージズ (Joint MAP Registration and High-Resolut ion Image Estimation us ing a Sequence of Under samp led Images) 」， I E E E トランザクションオンィメージプロセシング（ IEEE Trans, on Image Process ing) ，第 6巻， ρ· 1 6 2 1 — 1 6 3 3 , 1997年 .

[ 6 ] マサオ · シミズ、マサトシノォクトミ（Masao Shimizu and Masatoshi Okutomi) , 「プリサイスサブピクセルエスティメイションオンエリアべイセドマッチング (Precise sub-pixel estimation on area-based matching ，プロク . 8^th IEEE インタ一ナショナルコンファレンスオンコンピュータビジョン (ICCV2001) (Pro 8^th IEEE International Conference on Computer Vision (ICCV200 D) ，（カナダ，バンクーバー）， 2001年 7月， p.90 - 97

[ 7 ] J . · シン、 J . · パイク、 J . · R . · プライス、 M . · A . · ァビディ（J. Shin, J. Paik, J. R. Price and M. A. Ab i d i)，「ァダプティブレギュライゼドイメージインタ一ポレーシヨンュ一ジングデ一夕フユ一ジョンアンドスチライブルコンストラインズ (Adaptive regularized image interpolation us ing data fusion and st eer able constrain ts)」，イン S P I E ビジュアルコミュニケ一シヨンズアンドイメージプロセシング（In SP IE Visual Communi cat ions and Image Processing)，第 4310巻， 2001年 1 月

Claims

請求の範囲

1 . イメージセンサと色フィルタ配列を用いる画像撮像装置によって撮像された 1枚または一連の複数枚の入力画像に基づいて高解像度カラー画像を生成する高解像度カラー画像生成方法であって、

前記高解像度カラー画像生成方法は、前記画像撮像装置の物理的な解像度に等しい解像度、或いは、前記画像撮像装置の物理的な解像度より大きい所定の解像度を有する前記高解像度カラー画像を生成し、

前記一連の複数枚の入力画像間に生じる既知または未知の変位或いは変形を含む撮像系のモデル或いは被写体に関する事前知識に基づいた画像復元処理を行うことにより、被写体に含まれる高い空間周波数成分まで忠実に再現し且つ偽色の発生を抑制した前記高解像度カラ一画像を生成するステップを有することを特徴とする高解像度カラー画像生成方法

2 . 前記画像復元処理において、前記画像撮像装置から得られた、色補間していない生の前記入力画像を直接処理するようになっている請求の範囲第 1項に記載の高解像度力ラー画像生成方法。

3 . 前記画像復元処理において、前記撮像系のモデル或いは色成分に関する評価関数に最適化処理を行うようになつている請求の範囲第 1項に記載の高解像度カラー画像生成方法。

4 . 前記評価関数は、

前記入力画像から前記高解像度力ラー画像の生成を表す画像形成モデルを用いて、前記入力画像に対する推定画像である前記高解像度カラー画像の忠実度を評価する第 1項と、

前記入力画像内の隣接する画素値が急激に変化する前記推定画像に対してペナルティーを与えることにより、前記推定画像における滑らかさを評価する第 2項と、

前記入力画像内が色差成分が急激に変化する前記推定画像に対してべナルティ一を与えることにより、前記推定画像の色差の滑らかさを評価する第 3項と、

より構成される請求の範囲第 3項に記載の高解像度カラー画像生成方法。

5 . 前記第 2項は保存されたエッジを有する滑らかな推定画像を得る役割を果たし、前記第 3項は局所的色差連続性と保存されたエッジを有する滑らかな推定画像を得る役割を果たす請求の範囲第 4項に記載の高解像度力ラー画像生成方法。

6 . 前記評価関数は次の数式によって決定され、

z = argmin{ ;(z) + af₂(z) + bf₃(x)}

前記第 1項は次の数式によって決定され、

前記第 2項は次の数式によって決定され、

前記第 3項は次の数式によって決定され、

/₃(_Z) =|| QT_Z |r

ここで、 y_tは前記イメージセンサと前記色フィル夕配列から得られた入力画像列における k番目の画像の画素値を包含するべクトルであり、 zは推定される前記高解像度カラ一画像における画素値を包含し、それぞれ zの赤（R e d ) 、緑（ G r e e n ) 、青（B l u e ) チャネルにおける画素値を包含する z^z^z^といった複数のべクトルを包含するべクトルであり、

έは前記高解像度カラー画像の生成方法によって得られた前記高解像度カラー画像の画素値を包含するべクトルであり、

Α_Αは y_fcと ζを関連付け、また、前記画像撮像装置の特性によって決定される行列であり、前記特性は異なる前記入力画像 ^，γ₂,...γ_Μ間の動きと、前記画像撮像装置の点広がり関数と、前記イメージセンサによるダウンサンプリングの比率と前記色フィルタ配列とから構成され、

Ρと Qは適応的或いは非適応的高域通過フィルタとしての役割を果たす行列であり、

Τは R G Β信号を色差信号に変換する行列であり、

α はそれぞれ / ₂(ζ)と /₃(ζ)の影響を制御する重み係数であるようにした請求の範囲第 5項に記載の高解像度力ラ一画像生成方法。

7. 前記評価関数は次の数式によって決定され、

z = argmin{/₁(z) + / (ζ)}

そのうち、

M

/ z) = /₂(z_y) + /₃(z ， z_Cr) /₃(z ,zひ） = A_C(|| HZ_C ² + || Ηζ ||²)

が成立するようにした請求の範囲第 3項に記載の高解像度力ラ一画像生成方法。

8 . 前記入力画像間の前記変位或いは変形を前記高解像度力ラー画像と同時に推定するステツプを更に有する請求の範囲第 1項乃至第 7項のいずれかに記載の高解像度力ラ一画像生成方法。

9 . 前記請求の範囲第 1項乃至第 8項のいずれかに記載の高解像度カラ一画像生成方法を用いた、単板撮像素子を利用した単板式画像撮像装置であることを特徴とする高解像度カラー画像生成装置。

1 0 . 前記単板撮像素子は C C Dである請求の範囲第 9項に記載の高解像度力ラー画像生成装置。

1 1 . イメージセンサと色フィルタ配列を用いる画像撮像装置によって撮像された 1枚または一連の複数枚の入力画像に基づいて高解像度カラ一画像を生成する高解像度カラー画像生成プログラムであって、

前記高解像度カラ一画像生成プログラムは、コンピュータに前記画像撮像装置の物理的な解像度に等しい解像度、或いは、前記画像撮像装置の物理的な解像度より大きい所定の解像度を有する前記高解像度カラー画像を生成する機能を実現させ、

更にコンピュータに、

前記一連の複数枚の入力画像間に生じる既知または未知の変位或いは変形を含む撮像系のモデル或いは被写体に関する事前知識に基づいた画像復元処理を行うことにより、被写体に含まれる高い空間周波数成分まで忠実に再現し且つ偽色の発生を抑制した前記高解像度カラー画像を生成する機能と、 .

を実現させるための高解像度カラー画像生成プログラム。

1 2 . 前記画像復元処理において、前記画像撮像装置から得られた、色補間していない生の前記入力画像を直接処理するようになっている請求の範囲第 1 1項に記載の高解像度力ラー画像生成プログラム。

1 3 . 前記画像復元処理において、前記撮像系のモデル或いは色成分に関する評価関数に最適化処理を行うようになっている請求の範囲第 1 1 項に記載の高解像度力ラー画像生成プログラム。

1 4 . 前記評価関数は、

前記入力画像から前記高解像度カラー画像の生成を表す画像形成モデルを用いて、前記入力画像に対する推定画像である前記高解像度カラー画像の忠実度を評価する第 1項と、

より構成される請求の範囲第 1 3項に記載の高解像度カラー画像生成プログラム。

1 5. 前記第 2項は保存されたエッジを有する滑らかな推定画像を得る役割を果たし、前記第 3項は局所的色差連続性と保存されたエッジを有する滑らかな推定画像を得る役割を果たす請求の範囲第 1 4項に記載の高解像度カラー画像生成プログラム。

1 6. 前記評価関数は次の数式によって決定され、

z = arg mini j (z) + af₂ (z) + bf_z (z)}

前記第 1項は次の数式によって決定され、

前記第 2項は次の数式によって決定され、

前記第 3項は次の数式によって決定され、

/₃(_Z)=||QTz||²

ここで、 y₄は前記イメージセンサと前記色フィルタ配列から得られた入力画像列における k番目の画像の画素値を包含するベクトルであり、 zは推定される前記高解像度カラ一画像における画素値を包含し、それぞれ zの赤（R e d ) 、緑（G r e e n ) 、青（B l u e ) チャネルにおける画素値を包含する z_R,z_G,i_Bといった複数のべクトルを包含するべクトルであり、

A_fcは ^と ζを関連付け、また、前記画像撮像装置の特性によって決定される行列であり、前記特性は異なる前記入力画像 ₂,.^ 間の動きと、前記画像撮像装置の点広がり関数と、前記イメージセンサによるダウンサンプリングの比率と前記色フィルタ配列とから構成され、

Pと Qは適応的或いは非適応的高域通過フィルタとしての役割を果たす行列であり、

Tは R G B信号を色差信号に変換する行列であり、

a,bはそれぞれ /₂(z)と /₃(z)の影響を制御する重み係数であるようにした請求の範囲第 1 5項に記載の高解像度カラー画像生成プログラム。

1 7 . 前記評価関数は次の数式によって決定され、

z = argmin{/₁(z) + / (z)}

そのうち、

/ z) = /₂(z_y) + /₃(z_C6,z ） /₂(z_y)= Y||A_dP,_2y II²

/₃(z_c&,z_Cr) = A_c(|| Hz_Cfc IP + II Hz_Cr IP)

が成立するようにした請求の範囲第 1 3項に記載の高解像度カラ一画像生成プログラム。

1 8 . 更に、コンピュータに前記入力画像間の前記変位或いは変形を前記高解像度カラー画像と同時に推定する機能を実現させる請求の範囲第 1 1項乃至第 1 7項のいずれかに記載の高解像度カラー画像生成プログラム。