JP2010081176A - 撮像装置及びその方法 - Google Patents

Abstract

【課題】様々なカラーフィルタに対応して画質を高めることができる撮像装置及びその方法を提供する。
【解決手段】スペクトル強度関数は低い空間周波数に対応するスペクトル低周波強度関数と、高い空間周波数に対応するスペクトル高周波強度関数の和で構成されている。そして、前記スペクトル強度関数と撮像装置の撮像データ入力部２０１から得られた撮像データから定義されるモデル誤差を最小にするスペクトル強度関数のパラメータをスペクトル強度関数パラメータ推定部２０２によって推定して、ブロック内に入射する光のスペクトル毎の強度をスペクトル強度関数パラメータ推定部２０３で算出し、画像を生成する。
【選択図】 図２

Description

本発明は、撮像装置及びその方法に関する。

小型カメラの実現のために、撮像素子に数種類の分光透過スペクトルを持つカラーフィルタを並べたカラーフィルタ配列を装着した単板撮像素子によって得た撮像データから、カラー画像を得るというニーズがある。

カラーフィルタには主に、Ｒ，Ｇ，ＢのカラーフィルタからなるＢａｙｅｒ配列が用いられている。単板撮像素子の撮像データからカラー画像を得るためにはデモザイキングという処理が必要であるが、単純な方法では偽色が発生する。

ＡＣＰＩ法（例えば、特許文献１参照）は、画像上の各点においてＲＧＢ信号の強度に相関を持たせて偽色を防いでいる。しかし、本来ＲＧＢ信号が相関を持たない場所に適用した場合に鋸歯状に見えるノイズであるＺｉｐｐｅｒノイズ（例えば、非特許文献３参照）が発生する問題点がある。また、このＡＣＰＩ法はＢａｙｅｒ配列にしか適用できない。

非特許文献１，２の方法はともに高周波信号のみ相関を持たせているのでＺｉｐｐｅｒノイズが軽減すると考えられる。しかし、Ｂａｙｅｒ配列に対する処理しか開示されていない。また、特許文献１の方法のようにエッジに応じて処理を変えることに対応できず、充分な画質が得られない可能性がある。
特許第３５１００３７号公報 J. H. Glotzbach, et. al., 「A method of color filter array interpolation with alias cancellation properties,」 in Proc. IEEE Int. Conf. Image Processing, vol. 1, 2002, pp.141-144. D. Alleysson, et. al., 「Color demosaicing by estimating luminance and opponent chromatic signal in the fourier domain,」 in Proc. Color Imaging Conf.: Color Science, Systems, Applications, 2002, pp.331-336 W. Lu and Y. P. Tan, 「Color Filter Array Demosaicking: New Method and Performance Measures,」 Trans. on IP, vol. 12, pp. 1194--1210, 2003.

上述したように、従来技術では偽色の発生を抑えると色が変化する部分にＺｉｐｐｅｒノイズが発生するという問題点があった。

また、Ｚｉｐｐｅｒノイズを抑える方法は、エッジに応じた処理が出来ず画質を上げられない可能性があるという問題点があった。

そこで本発明は、上記問題点を解決するためになされたものであって、様々なカラーフィルタに対応して画質を高めることができる撮像装置及びその方法を提供することを目的とする。

本発明は、カラーフィルタによって異なる分光感度を持つ複数の画素から構成される撮像素子上の任意のブロックに含まれる各画素について、前記各画素の前記撮像素子上での位置を示す画素位置、分光感度及び測定信号量を含む撮像データを入力する入力部と、（１）前記ブロック内における、互いに異なるスペクトルを持つ光毎の強度を記述する複数のスペクトル強度関数のパラメータのそれぞれを、前記撮像データから推定するものであって、（２）前記スペクトル強度関数は、スペクトル低周波強度関数とスペクトル高周波強度関数の和で表され、（３）前記スペクトル高周波強度関数は、前記スペクトル低周波強度関数に比べて、前記カラーフィルタの配列のナイキスト周波数に基づいた高い空間周波数成分を多く含み、（４）前記スペクトル低周波強度関数のパラメータのそれぞれと前記スペクトル高周波強度関数のパラメータのそれぞれとを、前記撮像データから推定するパラメータ推定部と、前記複数のスペクトル強度関数と前記推定したパラメータとから、前記ブロック内の位置のそれぞれの前記光毎の強度を推定する強度推定部と、を備えた撮像装置である。

本発明によれば、様々なカラーフィルタに対応して画質を高めることができる。

以下、本発明の一実施形態の撮像装置について図１〜図４に基づいて説明する。

（１）撮像装置の概要
本実施形態の撮像装置では、撮像素子上の任意の大きさのブロック毎に処理を行う。また、ブロックをずらしながら処理を行うことで撮像素子上の全点に入射した光の強度を推定する。

以後の説明は、Ｂａｙｅｒ配列を用い図１に示すような７×７画素のブロックを例に行う。図１のブロック内の画素１００〜１４８にはＲＧＢいずれかのカラーフィルタが付与されているものとする。なお、図１では色が表現できないため、赤色（Ｒ）はドットで表現し、緑色（Ｇ）は左上がりのハッチで表現し、青色（Ｂ）は右上がりのハッチで表現している。

また、図１に示すように、ブロック中心の画素１２４の中心を原点とするｘ，ｙの２次元座標系を定義し、画素の間隔を１とする。すなわち、画素１２４の座標はｐ_１２４＝（ｘ_１２４，ｙ_１２４）＝（０，０）となり、その左隣の座標はｐ_１２５＝（ｘ_１２５，ｙ_１２５）＝（０，１）と表記する。

また、画素１２４から得られた測定信号量はｓ_１２４というように、画素の番号に対応した添字をつけて表記する。つまり４９の測定信号量ｓ_１００〜ｓ_１４８を用い、ブロック中心ｐ_１２４におけるＲＧＢ信号を推定する。

次に、以下の実施形態の説明に必要となる「スペクトル強度関数」「モデル誤差Ｅ」について説明する。

（２）スペクトル強度関数
まず、スペクトル強度関数について述べる。

本実施形態の撮像装置では、ブロック内に入射した光の強度をｘ，ｙの関数であるスペクトル強度関数で記述する。スペクトル強度関数は予め定められたスペクトル毎に個別に定義される。以後の説明は、Ｂａｙｅｒのカラーフィルタの分光透過スペクトルと同じＲＧＢの３色のスペクトルに対応するスペクトル強度関数ｆ_Ｒ（ｘ，ｙ），ｆ_Ｇ（ｘ，ｙ），ｆ_Ｂ（ｘ，ｙ）を用いる場合を例に説明する。

撮像データからスペクトル強度関数を正しく推定できれば、ブロック中心のＲＧＢ信号はｆ_Ｒ（０，０），ｆ_Ｇ（０，０），ｆ_Ｂ（０，０）として算出することができる。

本実施形態ではスペクトル強度関数を有限個の基底関数及び各基底関数に付与される実数であるスペクトル強度関数パラメータからなる形で定義する。以後は基底関数を三角関数とした下記の式（１）の場合を例に説明する。

なお、基底関数のパラメータａ_Ｒｉ，ｂ_Ｒｉ，ａ_Ｇｉ，ｂ_Ｇｉ，ａ_Ｂｉ，ｂ_Ｂｉ，は全てデモザイキング処理の前にユーザーによって決定され撮像装置に記憶される実数である。これらの決定方法については後述する。

また、スペクトル強度関数パラメータα_Ｒｉ，β_Ｒｉ，α_Ｇｉ，β_Ｇｉ，α_Ｂｉ，β_Ｂｉ，は、全て実数であり撮像データから推定する。

なお、スペクトル強度関数のパラメータの総数は、ブロック内の画素数以下であることが必要である。例えば、図１のブロックで処理を行う場合は、スペクトル強度関数のパラメータの個数は４９個以下でなくてはならない。

（３）モデル誤差Ｅ
次に、モデル誤差Ｅについて説明する。

（３−１）第１の説明
本実施形態ではモデル誤差Ｅを下記の式（２）のように定義する。

なお、式（２）に登場するｆ（ｘ_ｉ，ｙ_ｉ）をモデル信号量と呼び、下記の式（３）によって定義される。

但し、分光重みｗ_ｉＲはユーザーが決める実数であり、画素ｉに付与されたカラーフィルタの分光感度とスペクトル強度関数ｆ_Ｒに対応付けられたスペクトルが近いほど大きくする。他の分光重みｗ_ｉＧ，ｗ_ｉＢについても、同様の方法で決定する。例えば、画素ｉがＲであるときにのみ１とし、他の場合は０とすることができる。この場合は分光重みｗ_１２４Ｒ＝１，ｗ_１２４Ｇ＝０，ｗ_１２４Ｂ＝０であり、ｗ_１２５Ｒ＝０，ｗ_１２５Ｇ＝１，ｗ_１２５Ｂ＝０であり、ｗ_１１８Ｒ＝０，ｗ_１１８Ｇ＝０，ｗ_１１８Ｂ＝１となる。

ブロック内に入射した光の分布とスペクトル強度関数が類似していれば、モデル信号量ｆ（ｘ_ｉ，ｙ_ｉ）と測定信号量ｓ_ｉは近い値をとる。すなわち、モデル誤差Ｅが小さくなると考えられる。逆に、モデル誤差Ｅを最小にするスペクトル強度関数パラメータα_Ｒｉ，β_Ｒｉ，α_Ｇｉ，β_Ｇｉ，α_Ｂｉ，β_Ｂｉが得られれば、ブロック内の光の分布に近いスペクトル強度関数が得られると考えられる。

（３−２）第２の説明
なお、モデル誤差Ｅは正の数であり、｜ｓ_ｉ−ｆ（ｘ_ｉ，ｙ_ｉ）｜と正の相関を持つものであれば式（２）の形である必要はないが、モデル誤差Ｅを最小にするスペクトル強度関数パラメータを求めるアルゴリズムが存在することが望ましい。例えば、スペクトル強度関数が式（１）の形を取る場合、画素から得られた測定信号量ｓ_ｉを一列に並べた列ベクトルを測定信号量ｓ_ｉとしスペクトル強度関数パラメータを並べた列ベクトルをｐとすると、式（２）は実数の行列Wを用いて下記の式（４）の形に変形できる。

式（４）の形のモデル信号量Ｅを最小にするパラメータｐ’を算出する方法は、最急降下法、共役勾配法など多数が提案されている。

また、パラメータｐ’は行列Wから算出される擬似逆行列Ｗ^＋を用いて、下記の式（５）としても得られる。

式（５）は、画素から得られた測定信号量ｓ_ｉを用いたフィルタリング演算でパラメータｐ’が算出可能であることを示しており、このフィルタ係数を事前に撮像装置内部に記憶しておくことで、反復解法である最急降下法や共役勾配法と比較して容易にパラメータｐ’を算出できる。

（３−３）第３の説明
また、式（２）では全ての画素を同等に扱っているが、下記の式（６）のように、正の実数である重みｗ_ｉを用いて画素毎に重みをつけても良い。

例えば、図１のブロックのデータを用いて画素１２４のＧＢ信号を推定する場合、ブロック中心に近い画素の重みを大きくすることにより、解像度感が向上する。式（６）の形のエネルギーはｗ_ｉの平方根を要素にもつ対角行列Ｋを用いると、下記の式（７）のように変形できる。

そして、式（７）は、式（４）のエネルギーと同様に最急降下法、共役勾配法で解ける。また、下記の式（８）のように

とすることで、フィルタリング演算でｐ’を算出することも可能である。

（３−４）第４の説明
他には、エッジに沿って並んだ画素に重みをつけると解像度感とＳ／Ｎを同時に高めることが可能である。

このような重みｗ_ｉを算出するには、例えば、米国出願公開２００７／００４７８３８号公報に記載の「Ｓｔｅｅｒｉｎｇ Ｋｅｒｎｅｌ」を用いることができる。以後では、Ｓｔｅｅｒｉｎｇ Ｋｅｒｎｅｌの導出について述べる。

まず、同一のカラーフィルタを付与された３つの画素ｐ_ｉ，ｐ_ｊ，ｐ_ｋの近傍の信号量を示す平面ｆ_ｌ（ｘ，ｙ）を式（９）で表す。

すなわち、図４の平面４０１のｘ軸方向微分ｄｘ_ｌとｙ軸方向微分ｄｙ_ｌからなる２次元ベクトルである局所エッジをブロック内から取得する。ブロック内で同一のカラーフィルタを持つ３画素の組は多数定義できるため、局所エッジも複数求めることができる。

次に、この局所エッジの自己相関行列Ｃは下記の式（１０）のようになる。

この自己相関行列Ｃを用いて下記の式（１１）に示す２次元ガウス分布Ｎ（ｘ，ｙ）を定義する。

そして、２次元ガウス分布Ｎ（ｘ，ｙ）を用いて、ｗ_ｉを式（１２）の様に定義する。

２次元ガウス分布Ｎ（ｘ，ｙ）の等高線は、エッジの形に応じて図５のように変化する。

例えば、図５（ａ）に示すように、斜め４５度のエッジが入力されたときは楕円５０１のように長軸の向きが斜め４５度の楕円が得られる。

また、図５（ｂ）に示すように、水平のエッジが入力されたときは楕円５０２のように長軸の向きが水平の楕円が得られる。

さらに、図５（ｃ）に示すように、コーナーやテクスチャのように線状でないエッジの場合は、楕円５０３のように直径の小さい円が得られる。

このようにして求めた対角行列Ｋを用いても、式（８）はそのまま用いることができる、すなわちフィルタリング演算を用いてモデル誤差Ｅを最小にするスペクトル強度関数のパラメータｐ’を算出することが可能である。

但し、エッジの形状に応じて対角行列Ｋを変化させる場合はフィルタ係数が対角行列Ｋに応じて変化する。そのためフィルタリング演算でパラメータｐ’を算出する場合には、異なる対角行列Ｋに対応する複数のフィルタ係数を事前にメモリに蓄積する必要がある。

（４）撮像装置の構成
以下、本実施形態の撮像装置の構成について説明する。

図２は、本実施形態に係わる撮像装置を示すブロック図である。

撮像装置は、単板撮像素子から撮像データを取得する撮像データ入力部（以下、単に「入力部」という）２０１と、単板撮像素子上の各点に入射する光の強度を波長毎に記述するスペクトル強度関数パラメータ推定部（以下、単に「パラメータ推定部」という）２０２と、スペクトル強度関数のパラメータから各画素に入射した光の強度を推定するスペクトル強度推定部（以下、単に「強度推定部」という）２０３とを備える。

なお、この撮像装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、入力部２０１、パラメータ推定部２０２、及び、強度推定部２０３は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、本実施形態の撮像装置は、上記のプログラムをコンピュータ装置に予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。

（５）基底関数
パラメータ推定部２０２には、基底関数とモデル誤差Ｅを予め記憶させておく必要がある。基底関数は式（１）の形を保つべく、図１のブロックサイズと同じ７×７の画像をフーリエ級数展開するために用いる基底の中から、画質を見つつ取捨選択して生成する。

本実施形態ではスペクトル強度関数ｆ_Ｒ（ｘ，ｙ）、ｆ_Ｇ（ｘ，ｙ）、ｆ_Ｂ（ｘ，ｙ）を式（１３）のように定義してパラメータ推定部２０２の第１記憶部２０４に記憶させておく。

そして、Ｆ_Ｒ（ｘ，ｙ）、Ｆ_Ｇ（ｘ，ｙ）、Ｆ_Ｂ（ｘ，ｙ）をスペクトル低周波強度関数と呼び、下記の式（１４）のように定義する。

また、Ｆ（ｘ，ｙ）をスペクトル高周波強度関数と呼び、下記の式（１５）のように定義する。

式（１３）のスペクトル強度関数の独立なパラメータの個数は２３個であり、図１のブロックに含まれる画素の数４９個より少ない。

このスペクトル強度関数は、低周波数成分に相当するスペクト低周波強度関数Ｆ_Ｒ（ｘ，ｙ），Ｆ_Ｇ（ｘ，ｙ），Ｆ_Ｂ（ｘ，ｙ）と、高周波数成分に相当するスペクトル高周波強度関数Ｆ（ｘ，ｙ）に分かれており、またスペクトル高周波強度関数のみがＲＧＢで共通化されている。スペクトル高周波強度関数を共通とすることで、ＲＧＢ信号の相関を利用し偽色を抑圧することができる。また、スペクトル低周波強度関数を別にすることで、ＲＧＢ信号の相関が無い場合に対処できる。

そして、高空間周波数と低空間周波数を分ける境界の空間周波数は、カラーフィルタ配列のナイキスト周波数を基準にするものである。例えば、カラーフィルタ配列のうち、最も配置間隔が広い、すなわち、最も疎なもののナイキスト周波数と、最も配置間隔が狭い、すなわち、最も密なもののナイキスト周波数との間に前記境界の空間周波数をユーザーが定める。

また、スペクトル高周波強度関数Ｆ（ｘ，ｙ）を構成する三角関数の空間周波数（以下、「高空間周波数」という）とスペクトル低周波強度関数Ｆ_Ｒ（ｘ，ｙ），Ｆ_Ｇ（ｘ，ｙ），Ｆ_Ｂ（ｘ，ｙ）を構成する三角関数の空間周波数（以下、「低空間周波数」という）は、ユーザーが画質をみて判断する。

例えば、次のように行う。まず、高空間周波数として最も疎なもののナイキスト周波数と、最も配
置間隔が狭い、すなわち、最も密なもののナイキスト周波数との間の空間周波数から１つ以上の周波数を選択する。次に低空間周波数を高空間周波数より低い空間周波数のなかから１つ以上選択する。

さらに説明すると、図１に示すカラーフィルタ配列のうち、最も配置間隔が広く、すなわち、最も疎なもののナイキスト周波数以上を、高空間周波数とする。言い換えると、スペクトル高周波強度関数は、撮像素子内における密度が最も低いカラーフィルタを付与された画素の配置間隔に着目して、その配置間隔の２倍以上の波長に対応する空間周波数以上の周波数からなる。一方、スペクトル低周波強度関数は、高空間周波数より低い周波数成分を持つ。

これによりエッジに沿った高周波の形で発生するＺｉｐｐｅｒノイズを軽減することが出来る。

（６）モデル誤差Ｅ
本実施形態では、式（６）のモデル誤差Ｅを利用し、各画素に付与する分光重みｗ_ｉは（３−４）第４の説明の通りに決定して、パラメータ推定部２０２の第２記憶部２０５に記憶させておく。

また、式（２）のモデル誤差Ｅを利用することも可能であるが、ｆ_Ｒ（ｘ，ｙ），ｆ_Ｇ（ｘ，ｙ），ｆ_Ｂ（ｘ，ｙ）には高周波成分が無いため、出力画像にボケが発生する可能性がある。しかし、式（６）のモデル誤差を利用し、エッジの方向と強度に応じた処理を行うことで、出力画像のボケを低減できる。

（７）撮像装置の動作
次に、図２及び図３を用いて、本実施形態に係わる撮像装置の動作について説明する。なお、図３は、撮像装置の動作を示すフローチャートである。

まず、入力部２０１は、ブロック内の各画素が持つ分光感度と各画素において得られた測定信号量からなる撮像データを取得する（ステップ１）。

次に、パラメータ推定部２０２は、ブロック内の画素に位置やエッジに応じた正の実数である分光重みｗ_ｉをつける（ステップ２）。

その後、式（６）のモデル誤差Ｅを最小にするスペクトル強度関数のパラメータを算出する（ステップ３）。

最後に、強度推定部２０３は、パラメータ推定部２０２から得られたスペクトル強度関数のパラメータを用いて、ブロック中心（ｘ，ｙ）＝（０，０）における光の強度を算出する（ステップ４）。既にこれまでの処理でスペクトル強度関数が得られているので、スペクトル強度関数にｘ＝０，ｙ＝０を代入することでブロック中心の光の強度を算出することができる。

（８）効果
このように本実施形態によれば、ブロック内の光の強度のモデルであるスペクトル強度関数のパラメータを測定信号量から推定することで、ブロック内の異なるスペクトルを持つ光の強度を個別に推定することが可能になる。

（変更例）
本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

例えば、本発明の実施形態は以下に述べる要素を変更して実施することも可能である。

（１）変更例１
ブロックの形状は必ずしも図１に示すような７×７の正方形のブロックである必要はない。但し、以下の２条件を満たすことが望ましい。

第１の条件は、スペクトル強度関数の定義の項で述べたが、ブロックに含まれる画素の数がスペクトル強度関数の独立なパラメータの数より多いことが望ましい。

第２の条件は、各色の画素の数は低周波成分が持つ独立なパラメータの数より多いことが望ましい。例えば、式（１４）ではＦ_Ｒ（ｘ，ｙ），Ｆ_Ｇ（ｘ，ｙ），Ｆ_Ｂ（ｘ，ｙ）がそれぞれ独立な５つのパラメータを持っているため、ブロック内のＲＧＢの各画素の数も５つ以上であることが望ましい。図１のブロックは、最も少ないＲの画素でもブロック内に９個存在しており、この条件を満たしている。

上記の２条件を満たしている限り、ブロックの形状は正方形ではなく例えば８角形、ひし形、円形など、任意の形を選ぶことが出来る。但し、ブロック中心に対し点対称の形が望ましい。

（２）変更例２
スペクトル強度関数は式（１４）、式（１５）の形である必要はない。

まず、基底関数の個数は必要に応じて増減させても良い。

また、最終的にＦ_Ｒ（ｘ，ｙ），Ｆ_Ｇ（ｘ，ｙ），Ｆ_Ｂ（ｘ，ｙ），Ｆ（ｘ，ｙ）に持たせる空間周波数は画質を見て調整してもよい。但し、スペクトル高周波強度関数に高周波成分を含めるとＺｉｐｐｅｒノイズが発生する可能性が高まり、スペクトル低周波強度関数に高周波成分を含めると偽色が発生する可能性が高まる。

（３）変更例３
スペクトル強度関数の元となる基底関数は、必ずしも式（１）の形である必要はない。例えば、多項式を用いて、スペクトル低周波強度関数を下記の式（１６）のように定義する。

また、スペクトル高周波強度関数を下記の式（１７）のように定義する。

４つの関数Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ，Ｆにどの次数の多項式を割り当てるかはユーザーが指定する。すなわち、スペクトル低周波強度関数は定数項と次数の低い多項式から構成し、スペクトル高周波強度関数の各項はスペクトル低周波強度関数より高い次数の多項式から構成する。

なお、スペクトル低周波強度関数とスペクトル高周波強度関数は、有限個の基底関数を実数で重み付けして加算する形で実現される。例えば、式（１４）、式（１５）では基底関数として三角関数が使われており、式（１６）、式（１７）では基底関数として多項式が使われている。基底関数としては他の関数を用いることも可能であるが、ウェーブレットの基底など高周波を表現するものと低周波を表現するものを分けられることが望ましい。

また、スペクトル低周波強度関数で表される低空間周波数とスペクトル高周波強度関数で表される高空間周波数とは、式（１４）と式（１５）のようにそれぞれ低空間周波数成分のみと高空間周波数成分のみを含むものである必要がない。すなわち、上記のような式（１６）と式（１７）の多項式で表現した場合には、低空間周波数であっても高い空間周波数成分が含まれていても、低い空間周波数の成分の比率が高い空間周波数成分より高ければよい。なお、高空間周波数成分も同様に低い空間周波数の成分が少し含まれていても良い。

（４）変更例４
カラーフィルタ配列は、必ずしもＢａｙｅｒ配列である必要はない。

例えば、特開２００６−２１１６３１公報記載のカラーフィルタのように画素が正方配列でないものを用いても、式（１）〜式（１３）は変化しないため、そのまま実施することが可能である。

但し、Ｚｉｐｐｅｒノイズとなりやすい空間周波数は画素の配置間隔によるため、スペクトル強度関数が持つ空間周波数は、カラーフィルタ毎に画質を見て調整する必要がある。

（５）変更例５
本実施形態は、分光重みを変更することで、ＲＧＢ以外のカラーフィルタにも適用が可能である。

例えば、黄色（Ｙｅ）は赤（Ｒ）と緑（Ｇ）を混ぜたものであるため、Ｙｅのカラーフィルタが付与された画素ｐ_ｉにおいては、分光重みをｗ_ｉＲ，＝１， ｗ_ｉＧ，＝１，ｗ_ｉＢ，＝０とすればよい。

同様に、シアン（Ｃｙ）では、ｗ_ｉＲ，＝０，ｗ_ｉＧ，＝１，ｗ_ｉＢ，＝１、マゼンタ（Ｍｇ）ではｗ_ｉＲ，＝１，ｗ_ｉＧ，＝０，ｗ_ｉＢ，＝１、白もしくはカラーフィルタなし（Ｗ）ではｗ_ｉＲ，＝１，ｗ_ｉＧ，＝１，ｗ_ｉＢ，＝１とすればよい。

（６）変更例６
スペクトル強度関数はＲＧＢの３つに限定する必要は無い。

例えば、マルチスペクトル撮像に対応するため、スペクトル強度関数を４つ以上に増やし、各スペクトル強度関数に異なる光の波長を関連付けことも可能である。

その場合の分光重みは、スペクトル強度関数に対応付けられた波長における、当該カラーフィルタの透過率が高いほど分光重みを大きくすれば良い。

本発明の一実施形態の処理単位であるブロックを示す図である。 本実施形態に係わる撮像装置の構成を示すブロック図である。 本実施形態の動作を示すフローチャートである。 平面４０４の説明図である。 エッジの形に応じて変化した２次元ガウス分布の等高線の説明図である。

符号の説明

２０１ 撮像データ入力部
２０２ スペクトル強度関数パラメータ推定部
２０３ スペクトル強度推定部

Claims (14)

1. カラーフィルタによって異なる分光感度を持つ複数の画素から構成される撮像素子上の任意のブロックに含まれる各画素について、前記各画素の前記撮像素子上での位置を示す画素位置、分光感度及び測定信号量を含む撮像データを入力する入力部と、
   （１）前記ブロック内における、互いに異なるスペクトルを持つ光毎の強度を記述する複数のスペクトル強度関数のパラメータのそれぞれを、前記撮像データから推定するものであって、（２）前記スペクトル強度関数は、スペクトル低周波強度関数とスペクトル高周波強度関数の和で表され、（３）前記スペクトル高周波強度関数は、前記スペクトル低周波強度関数に比べて、前記カラーフィルタの配列のナイキスト周波数に基づいた高い空間周波数成分を多く含み、（４）前記スペクトル低周波強度関数のパラメータのそれぞれと前記スペクトル高周波強度関数のパラメータのそれぞれとを、前記撮像データから推定するパラメータ推定部と、
   前記複数のスペクトル強度関数と前記推定したパラメータとから、前記ブロック内の位置のそれぞれの前記光毎の強度を推定する強度推定部と、
   を備えた撮像装置。
2. 前記スペクトル高周波強度関数が、前記異なるスペクトルに対応する複数の前記スペクトル強度関数の間で共通である、請求項１記載の撮像装置。
3. 前記スペクトル低周波強度関数が、前記異なるスペクトルに対応する複数の前記スペクトル強度関数の間でそれぞれ異なる、請求項１記載の撮像装置。
4. 前記スペクトル強度関数は、前記ブロック内の前記位置の関数である複数の基底関数のそれぞれを、実数である前記パラメータで重み付けして加算した関数である、請求項１記載の撮像装置。
5. 前記スペクトル低周波強度関数と前記スペクトル高周波強度関数をなす前記基底関数が三角関数である、請求項４記載の撮像装置。
6. 前記スペクトル低周波強度関数と前記スペクトル高周波強度関数をなす前記基底関数は多項式であり、前記スペクトル低周波数強度関数の各項は次数の低い多項式から成り、前記スペクトル高周波強度関数の各項は、前記スペクトル低周波強度関数より高い次数の多項式からなる、請求項４記載の撮像装置。
7. 前記パラメータ推定部は、
   前記複数のスペクトル強度関数を記憶する第１記憶部と、
   前記撮像素子の各画素において、前記各スペクトル強度関数にそれぞれ対応付けられた前記スペクトルと、前記画素が持つ前記分光感度が類似しているほど大きくなる実数である分光重みを記憶する第２記憶部と、
   前記分光重みを用いた前記スペクトル強度関数の重み付け和であるモデル信号量を求め、
   前記モデル信号量と、前記各画素の前記測定信号量の差の絶対値が小さくなるほど小さくなるモデル誤差が、最小となるように前記パラメータを求める演算部と、
   を備える請求項１記載の撮像装置。
8. 前記パラメータ推定部は、
   前記複数のスペクトル強度関数を記憶する第１記憶部と、
   前記撮像素子の各画素において、前記各スペクトル強度関数にそれぞれ対応付けられた前記スペクトルと、前記画素が持つ前記分光感度が類似しているほど大きくなる実数である分光重みを記憶する第２記憶部と、
   前記分光重みを用いた前記スペクトル強度関数の重み付け和であるモデル信号量を求め、
   前記各画素の前記測定信号量と、前記モデル信号量の差の二乗の和が小さくなるほど小さくなるモデル誤差が、最小となるように前記パラメータを求める演算部と、
   を備える請求項１記載の撮像装置。
9. 前記パラメータ推定部は、
   前記複数のスペクトル強度関数を記憶する第１記憶部と、
   前記撮像素子の各画素において、前記各スペクトル強度関数にそれぞれ対応付けられた前記スペクトルと、前記画素が持つ前記分光感度が類似しているほど大きくなる実数である分光重みを記憶する第２記憶部と、
   前記分光重みを用いた前記スペクトル強度関数の重み付け和であるモデル信号量を求め、
   前記各画素の前記測定信号量と前記モデル信号量の差の二乗の値に、正の実数である重みを乗じて加算した値が小さくなるほど小さくなるモデル誤差が、最小となるように前記パラメータを求める演算部と、
   を備える請求項１記載の撮像装置。
10. 前記第１記憶部が記憶している２つ以上、または、全ての前記スペクトル強度関数について、同一の基底関数に対応するパラメータが同一である、
    請求項６乃至９のいずれか一項に記載の撮像装置。
11. 前記スペクトル高周波強度関数で表される空間周波数は、前記スペクトル低周波強度関数で表される空間周波数より高い周波数成分のみを有する、
    請求項１記載の撮像装置。
12. 前記スペクトル高周波強度関数で表される空間周波数は、前記カラーフィルタの配列の中で、最も配置間隔が広い画素のナイキスト周波数以上の空間周波数を有し、
    前記スペクトル低周波強度関数で表される空間周波数は、前記スペクトル高周波強度関数で表される空間周波数より低い周波数成分を有する、
    請求項１記載の撮像装置。
13. カラーフィルタによって異なる分光感度を持つ複数の画素から構成される撮像素子上の任意のブロックに含まれる各画素について、前記各画素の前記撮像素子上での位置を示す画素位置、分光感度及び測定信号量を含む撮像データを入力する入力ステップと、
    （１）前記ブロック内における、互いに異なるスペクトルを持つ光毎の強度を記述する複数のスペクトル強度関数のパラメータのそれぞれを、前記撮像データから推定するものであって、（２）前記スペクトル強度関数は、スペクトル低周波強度関数とスペクトル高周波強度関数の和で表され、（３）前記スペクトル高周波強度関数は、前記スペクトル低周波強度関数に比べて、前記カラーフィルタの配列のナイキスト周波数に基づいた高い空間周波数成分を多く含み、（４）前記スペクトル低周波強度関数のパラメータのそれぞれと前記スペクトル高周波強度関数のパラメータのそれぞれとを、前記撮像データから推定するパラメータ推定ステップと、
    前記複数のスペクトル強度関数と前記推定したパラメータとから、前記ブロック内の位置のそれぞれの前記光毎の強度を推定する強度推定ステップと、
    を備えた撮像方法。
14. カラーフィルタによって異なる分光感度を持つ複数の画素から構成される撮像素子上の任意のブロックに含まれる各画素について、前記各画素の前記撮像素子上での位置を示す画素位置、分光感度及び測定信号量を含む撮像データを入力する入力機能と、
    （１）前記ブロック内における、互いに異なるスペクトルを持つ光毎の強度を記述する複数のスペクトル強度関数のパラメータのそれぞれを、前記撮像データから推定するものであって、（２）前記スペクトル強度関数は、スペクトル低周波強度関数とスペクトル高周波強度関数の和で表され、（３）前記スペクトル高周波強度関数は、前記スペクトル低周波強度関数に比べて、前記カラーフィルタの配列のナイキスト周波数に基づいた高い空間周波数成分を多く含み、（４）前記スペクトル低周波強度関数のパラメータのそれぞれと前記スペクトル高周波強度関数のパラメータのそれぞれとを、前記撮像データから推定するパラメータ推定機能と、
    前記複数のスペクトル強度関数と前記推定したパラメータとから、前記ブロック内の位置のそれぞれの前記光毎の強度を推定する強度推定機能と、
    をコンピュータによって実現させるための撮像プログラム。

Images