JP2011171885A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像のボケを抑制することができる加重平均処理を施すことができる画像処理装置、及び画像処理方法を提供する。
【解決手段】撮像システム１は、行列状に配列され、各画素の所定の位置にＲ、Ｇｂ、Ｇｒ又はＢからなるカラーフィルタが形成されたセンサ１０と、センサ１０により得られた画像に対し、縮小処理する縮小処理部と、縮小処理部より後段であって、センサ１０から得られたベイヤ方式のデータを補間処理によりＲＧＢ画像に変換する画素補間部よりも前段に設けられるものであって、Ｒ、Ｇｂ、Ｇｒ又はＢからなるカラーフィルタが形成された画素の値であるＲ、Ｇｂ、Ｇｒ及びＢ画素値のうち、いずれか１つ以上を除く画素値について加重平均を施す加重平均処理部２１とを有する。
【選択図】図１

Description

本発明は、撮影後の画像データを間引き又は加算等して縮小処理する画像処理装置及び画像処理方法に関し、特に、縮小処理後のデータに対し加重平均処理を施す画像処理装置及び画像処理方法に関する。

特許文献１には、フレームレート高速化等を目的とし、画素が行列状に配列されるとともに、各画素に所定のカラーコーディングを持つカラーフィルタが形成されているＸ−Ｙアドレス型固体撮像素子から画素情報を間引いて読み出す技術が開示されている。

この場合、行方向および列方向にて互いに隣接する複数の画素からなる画素ブロックを１つの単位画素ブロックとし、その単位画素ブロックが互いに重なり合うことなく敷き詰められた状態で、当該単位画素ブロック中に存在する同色フィルタの画素情報を１画素分の情報として読み出す。

これを一般式で表すと、（２ｋ＋３）×（２ｋ＋３）の画素ブロック（ｋは０以上の正の整数）を単位画素ブロックとし、当該単位ブロック内の同色の画像情報をすべて加算することにより、擬似的に画素面積を増加させている。図１１は３×３、図１２では５×５、図１３では７×７を単位ブロックとする場合、すなわち、それぞれ１／９、１／２５、１／４９の割合で画素情報量を圧縮する方法を示す図である。つまり、これら図１１乃至図１３に示すように、奇数個×奇数個のブロック（マトリクス）を擬似的に１つの画素（疑似画素）とみなし、擬似画素を代表する画素色の値を加算して擬似画素値としている。

特開２００４−２６６３６９号公報 特開２００３−２６４８４４号公報

しかしながら、この特許文献１のように、マトリクスを代表する画素色の値を加算する方法では、マトリクスに含まれるほかの色の画素値は捨てられてしまう。また、図１４は、２×２の画素群を単位ブロックとして圧縮する場合の加算の組合せを示す図である。図１５は、圧縮後のデータを示す図である。図１４に示すように、奇数ではなく、偶数個×偶数個の画素を単位としたマトリクスに応用した場合には、図１４に示すように、すなわち、処理対象画素に隣接する８近傍の画素のうち、右上、右下、左上、左下の画素と処理対象画素との加算が行われるが、図１５に示すように、偶数個の画素には、中心となる画素が存在しない、すなわち、４つの画素であれば、２番目と３番目の画素の間が中心となり、中心となる画素が存在しない。したがって、重心が元の全画素に対してずれてしまうという現象が発生する。そして、この画素の重心ずれにより画素色毎の重心位置が不均一になることから、周期的なパタンが発生する（図１７（ａ））。図１７（ａ）のＡとＢでは、斜めの湾曲線の滑らかさが異なっている。

そこで、特許文献２に記載の技術では、不均一となった画素値を元に、図１６のように、画素の重心位置の距離によって加重平均処理を行い、画素の位置が均等になるよう補正する。図１６は、画素の重心を○に示す位置に補正する際の加重平均の様子を示している。図１８は、補正後の重心を示す図である。

しかしながら、この特許文献２に記載の方法であると、画素の重心ずれによる周期的なパタンの発生を抑制することができる反面、画像にボケが発生する（図１７（ｂ））という問題点がある。つまり、特許文献２に記載の技術においては、水平方向の２画素ごとに加算されて読み出しされる。したがって、そのために不均一となる画素値を、加重平均処理によって均一にすることとしているが、その結果画像にボケが発生するため、対策として不十分であるという問題点がある。

本発明に係る画像処理装置は、行列状に配列され、各画素の所定の位置にＲ、Ｇｂ、Ｇｒ又はＢからなるカラーフィルタが形成された固体撮像素子により得られた画像を縮小画像に変換し、当該縮小画像に対し加重平均処理を行う画像処理装置であって、前記固体撮像素子から得られたベイヤ方式のデータを補間処理によりＲＧＢ画像に変換する画素補間部よりも前段に設けられるものであって、前記Ｒ、Ｇｂ、Ｇｒ又はＢからなるカラーフィルタが形成された画素の値であるＲ、Ｇｂ、Ｇｒ及びＢ画素値のうち、いずれか１つ以上を除く画素値について加重平均を施す、又はいずれか１つの画素値の平均の割合を他より小さくする加重平均処理部を有するものである。

本発明に係る画像処理方法は、行列状に配列され、各画素の所定の位置にＲ、Ｇｂ、Ｇｒ又はＢからなるカラーフィルタが形成された固体撮像素子により得られた画像を縮小画像に変換し、当該縮小画像に対し加重平均処理を行う画像処理方法であって、前記固体撮像素子から得られたベイヤ方式のデータを補間処理によりＲＧＢ画像に変換する画素補間処理を行う前までに、前記Ｒ、Ｇｂ、Ｇｒ又はＢからなるカラーフィルタが形成された画素の値であるＲ、Ｇｂ、Ｇｒ及びＢ画素値のうち、いずれか１つ以上を除く画素値について加重平均を施す、又はいずれか１つの画素値の平均の割合を他より小さくするものである。

本発明においては、加重平均をとる際に、Ｒ、Ｇｂ、Ｇｒ及びＢ画素のうちいずれか１以上については、加重平均をとらない。又はいずれか１つの画素値の平均の割合を他より小さくする、すなわちぼかす量を他より少なくする。加重平均をとるとどうしてもボケが発生してしまうが、いずれかの平均をとらないか、又は平均の割合を小さくする（他より少ない画素数から平均を求める）ことで、このボケを抑制することができる。

本発明によれば、画像のボケを抑制することができる加重平均処理を施すことができる画像処理装置、及び画像処理方法を提供することができる。

本発明の実施の形態にかかる撮像装置を示す図である。 画素色毎の加重平均による位置補正の様子を示す図である。 補正後の画素位置を示す図である。 入力画像の各画素値を示す図である。 出力画像の各画素値を示す図である。 Ｒ画素を加重平均に用いない場合の位置補正の様子を示す図である。 Ｇｒ画素を加重平均に用いない場合の位置補正の様子を示す図である。 Ｇｂ画素を加重平均に用いない場合の位置補正の様子を示す図である。 Ｂ画素を加重平均に用いない場合の位置補正の様子を示す図である。 Ｇｒ及びＧｂ画素を加重平均に用いない場合の位置補正の様子を示す図である。 ３×３を単位ブロックとする場合、すなわち、１／９の割合で画素情報量を圧縮する方法を示す図である。 ５×５を単位ブロックとする場合、すなわち、１／２５の割合で画素情報量を圧縮する方法を示す図である。 ７×７を単位ブロックとする場合、すなわち、１／４９の割合で画素情報量を圧縮する方法を示す図である。 ２×２画素を単位ブロックとして圧縮する場合の加算の組合せを示す図である。 圧縮後のデータを示す図である。 特許文献２における加重平均処理を示す図である。 （ａ）は、画素の重心ずれにより周期的なパタンが発生している例、（ｂ）特許文献２の技術の適用によって、画像にボケが発生している例を示す図である。 特許文献２における加重平均処理による補正後の重心を示す図である。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、ディジタルカメラ等の画像撮像装置に適用したものである。

図１は、本実施の形態にかかる撮像装置を示す図である。本実施の形態にかかる撮像システム１は、センサ１０と撮像装置５０とを有する。撮像装置５０は、画像処理部２０、ＣＰＵ（Central Processing Unit）３０、及びメモリ４０を有する。メモリ４０には、画像処理パラメータ４１などが記憶されている。ＣＰＵ３０は、メモリ４０から画像処理パラメータ４１を読み出し、画像処理部２０の各部の実行を制御したり、パラメータを設定したりする。

画像処理部２０は、加重平均処理部２１、ノイズ低減部（Noise Reduction：ＮＲ）２２、ＷＢ（ホワイトバランス）・センサ感度補正部２３、画素補間部２４、色分離部２５及びＲＧＢ／ＹＵＶ変換部２６を有する。

センサ１０は、行列状に各画素が配列され、各画素の所定の位置にＲ、Ｇｂ、Ｇｒ又はＢからなるカラーフィルタが形成されており、ベイヤ方式のＲＡＷ（生）画像データを出力する。Ｒは赤、Ｂは青、Ｇｂ、Ｃｒは、緑のカラーフィルタが形成されている画素の画素値を示す。なお、画素は、マトリクス状に形成され、青のカラーフィルタが形成される画素列に形成される画素であって、緑のカラーフィルタが形成される画素の画素値をＧｂ、赤のカラーフィルタが形成される画素列に形成される画素であって、緑のカラーフィルタが形成される画素の画素値をＧｒで表わしている。

プレビューや動画撮影などの、画像が小さく、かつ高フレームレートで撮影する場合には、センサの動作モード設定により、図１１、図１２、図１３のように、間引き、加算、又は加算平均した代表値を出力させて出力データを減らし、高フレームレートで動作させる。以下、この処理を縮小処理という。なお、本実施の形態においては、センサ１０が縮小処理を行うこととして説明するが、後段の画像処理部２０に縮小処理部を設けたり、加重平均処理部２１において縮小処理を行ってから加重平均処理を行うようにしてもよいことは勿論である。

ノイズ低減部２２は、センサ１０で発生するノイズに対して、ノイズ低減を行う。他の画像処理の設定によって、後段処理に出力する最終画像の色成分毎のノイズ量が異なるため、各色成分に対して低減量を調整する機能を有する。

ＷＢ・センサ感度補正部２３は、画像の内容を元に、白色が白色になるよう、Ｒ、Ｇｂ、Ｇｒ、Ｂの画素値を個別に補正する。センサの特性に応じて、Ｒ、Ｇｂ、Ｇｒ、Ｂの画素値に対して、それぞれの感度の差異を補正する。画素補間部２４は、ベイヤ方式の生画像データから、ＲＧＢ画像に変換する。

色分離部２５は、センサ１０のカラーフィルタの特性により、画素色毎に異なる色成分が混入する現象を補正する。例えば、Ｒ成分に対して、ＧやＢの成分が含まれてしまう場合、これを取り除くような補正を行う。ＲＧＢ／ＹＵＶ変換部２６は、ＲＧＢ形式の画像を、カメラで標準的に使用するＹＵＶ形式の画像に変換する。

そして、本実施の形態にかかる画像処理部は、加重平均処理部２１を有する。この加重平均処理部は、上述の縮小処理を行うブロックより後段であって、センサ１０から得られた生データをＲＧＢ画像に変換する画素補間部２４よりも前段であれば、いずれに配置されていてもよい。

ところで、上述のセンサ１０により縮小処理を行うと、プレビューや動画撮影では、図１４や図１５に示したように、センサが出力するデータの時点で、各画素値が代表している画素位置が画角に対して均等割りした位置とはなっておらず、不均一になっている。
そこで、この加重平均処理部２１では、センサ１０からの画像データに対し、Ｒ、Ｇｂ、Ｇｒ及びＢ画素値のうち、いずれか１つ以上を除く画素値についてのみに加重平均を施す。

上記の特許文献２においては、水平方向に２画素毎の加算平均を求める。そして、２画素毎に加算平均されることにより不均一となった画素値を加重平均処理により均一にして、重心ズレによる周期的なパタン発生を抑制する。これに対し、本実施の形態においては、重心位置のズレ量（位置座標の距離）だけでなく、Ｒ、Ｇｂ、Ｇｒ、Ｂの各色成分の最終画像への影響を加味して加重平均係数設定を決定することで、画像のボケを抑制するものである。

なお、本実施の形態においては、Ｒ、Ｇｂ、Ｇｒ、Ｂの４画素のうち、いずれか１又は２つの加重平均を求めない例について説明するが、要するに、過度の加重平均により、画像がぼけてしまうことを防止するものであるから、例えばいずれか１つの画素値の平均の割合を他より小さくする、すなわち、ぼかす量を他より少なくするようにすることも可能である。すなわち、加重平均をとるとどうしてもボケが発生してしまうが、平均の割合を小さくする（他より少ない画素数から平均を求める）ことで、このボケを抑制することができる。

カメラでは、出力画像は、輝度と色差成分からなるＹＵＶ（またはＹＣＣ）形式の画像となる。このとき、画像のボケは、輝度成分であるＹ成分におけるボケが大きな要因である。ＲＧＢ空間から、ＹＵＶ空間（またはＹＣＣ空間）に変換する場合、下記の例のようにＲ、Ｇｂ、Ｇｒ、Ｂの各成分に重みをつけてＹ成分を決定しており、Ｙ成分に対して寄与率の大きなＧ成分のボケが、最終画像のボケに大きく寄与することとなる。なお、ＲＧＢ／ＹＵＶ変換部２６に入力されるＲＧＢのデータは、ＲはＲＡＷデータのＲ画素値のデータを基に、ＧはＲＡＷデータのＧｒ画素値とＧｂ画素値のデータを基に、ＢはＲＡＷデータのＢの画素値を基に、画像処理を経て得られるデータである。
Ｙ成分の決定方法の例
Ｙ＝０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ

そこで、Ｇ成分のボケを抑えるため、Ｇ画素の加重平均を極力行わないように、色成分毎に図２のように、加重平均を行い、重心位置を図３に示すように補正する。図２は、画素色毎の加重平均による位置補正の様子を示す図である。図２において○で示すのが、間引き後の画素（ハッチングで示す画素）のうち最近傍の４画素から加重平均して求めた画素位置である。画素の重心に、補正結果である○印が一致するよう、加重平均を行っている。図３は、画素の重心を○に示す位置に補正する際の加重平均の様子を示している。このとき、重心位置が不均一であると、周期的なパタンが発生するため、図１８と同様に補正後の重心位置に粗密が発生しないように配置する。

図４は、入力画像の各画素値、図５は、出力画像の各画素値を示す。加重平均に用いるパラメータとして、下記のように画素色毎にａ,ｂ,ｃ,ｄの４つの係数を有する。
Ｒ画素係数：kr_a、kr_b、kr_c、kr_d
Ｇｒ画素係数：kgr_a、kgr_b、kgr_c、kgr_d
Ｇｂ画素係数：kgb_a、kgb_b、kgb_c、kgb_d
Ｂ画素係数：kb_a、kb_b、kb_c、kb_d

このとき、例えばＲ画素の出力値は次のような演算で求められる。なお、他の画素についても同様である。
Ｒｏ００＝（kr_a×Ｒｉ００）＋（kr_b×Ｒｉ１０）＋（kr_c×Ｒｉ０１）＋（kr_d×Ｒｉ１１）
Ｒｏ１０＝（kr_a×Ｒｉ１０）＋（kr_b×Ｒｉ２０）＋（kr_c×Ｒｉ１１）＋（kr_d×Ｒｉ２１）
Ｒｏ０１＝（kr_a×Ｒｉ０１）＋（kr_b×Ｒｉ１１）＋（kr_c×ＲＩ０２）＋（kr_d×Ｒｉ１２）
ＲｏＭＮ＝（kr_a×ＲｉＭＮ）＋（kr_b×Ｒｉ（Ｍ＋１）Ｎ）＋（kr_c×ＲｉＭ（Ｎ＋１））＋（kr_d×Ｒｉ（Ｍ＋１）（Ｎ＋１））

以下は、Ｇｒ画素を加重平均に用いない場合の各画素係数を示す。図６は、Ｇｒ画素を加重平均に用いない場合の位置補正の様子を示す図である。図６及び以下に示す図７乃至図９はいずれも、４×４の１６画素を、Ｒ、Ｇｂ、Ｇｒ、Ｒの４画素に縮小し、さらに、各Ｒ、Ｇｂ、Ｇｒ、Ｒについて、隣接する４つの画素の加重平均を求める場合を示している。図において、４×４画素の中に示す、ハッチングした４画素のうち、左上の画素がＲ、右上の画素がＧｒ、右下の画素がＢ、左下の画素がＧｂを示している。
Ｒ画素係数：kr_a＝０．２５、kr_b＝０．７５、kr_c＝０、kr_d＝０
Ｇｒ画素係数：kgr_a＝０、kgr_b＝１、kgr_c＝０、kgr_d＝０
Ｇｂ画素係数：kgb_a＝０．１８７５、kgb_b＝０．５６２５、kgb_c＝０．０６２５、kgb_d＝０．１８７５
Ｂ画素係数：kb_a＝０、kb_b＝０．７５、kb_c＝０、kb_d＝０．２５

すなわち、図６において、Ｇｒは加重平均を求めないため、右上の画素値をＧｒの画素の値とする。なお、本実施の形態のように、１点のみ、加重平均を取らない場合には、画素色によって左上、右上、左下、右下の画素値のうち、それぞれ異なる画素値を使用する。これは、各画素色の中心位置の間隔は一定が前提となっているためである。したがって、１６画素を４点で補間する場合、センサが１／２に縮小して出力する際の平均化の方法が本実施の形態と同様であれば、Ｒ画素の加重平均をとらない場合は、Ｒ画素値として左上画素値を採用し、Ｇｂ画素の加重平均をとらない場合は、Ｇｂ画素値として左下の画素値を採用し、Ｂ画素の加重平均をとらない場合は、Ｂ画素値として右下の画素値を採用する。

また、図６左上図に示すように、Ｒ画素については、左上の画素０．２５、右上の画素０．７５の割合で加重平均する。また、Ｇｂ画素については、図６左下図に示すように、左上、右下の画素０．１８７５、右上の画素０．５６２５、左下の画素０．０６２５の割合で加重平均する。また、Ｂ画素については、右下図に示すように、右下の画素０．２５、右上の画素０．７５の割合で加重平均する。

すなわち、上記と同じく最近傍の４つの各画素値を左上、右上、左下、右下の順にＲ１乃至Ｒ４、Ｇｂ１乃至Ｇｂ４、Ｇｒ１乃至Ｇｒ４及びＢ１乃至Ｂ４としたとき、加重平均は、下記により求まる。
Ｒ画素＝０．２５×Ｒ１＋０．７５×Ｒ２＋０×Ｒ３＋０×Ｒ４
Ｇｒ画素＝０×Ｇｒ１＋１×Ｇｒ２＋０×Ｇｒ３＋０×Ｇｒ４
Ｇｂ画素＝０．１８７５×Ｇｂ１＋０．５６２５×Ｇｂ＋０．０６２５×Ｇｂ３＋０．１８７５×Ｇｒ４
Ｂ画素＝０×Ｂ１＋０．７５×Ｂ２＋０×Ｂ３＋０．２５×Ｂ４

以下は、Ｇｂ画素を加重平均に用いない場合の各画素係数を示す。図７は、Ｇｂ画素を加重平均に用いない場合の位置補正の様子を示す図である。
Ｒ画素係数：kr_a＝０．２５、kr_b＝０、kr_c＝０．７５、kr_d＝０
Ｇｒ画素係数：kgr_a＝０．１８７５、kgr_b＝０．０６２５、kgr_c＝０．５６２５kgr_d＝０．１８７５
Ｇｂ画素係数：kgb_a＝０、kgb_b＝０、kgb_c＝１、kgb_d＝０
Ｂ画素係数：kb_a＝０、kb_b＝０、kb_c＝０．７５、kb_d＝０．２５

すなわち、上記と同じく最近傍の４つの各画素値を左上、右上、左下、右下の順にＲ１乃至Ｒ４、Ｇｂ１乃至Ｇｂ４、Ｇｒ１乃至Ｇｒ４及びＢ１乃至Ｂ４としたとき、加重平均は、下記により求まる。
Ｒ画素＝０．２５×Ｒ１＋０×Ｒ２＋０．７５×Ｒ３＋０×Ｒ４
Ｇｒ画素＝０．１８７５×Ｇｒ１＋０．０６２５×Ｇｒ２＋０．５６２５×Ｇｒ３＋０．１８７５×Ｇｒ４
Ｇｂ画素＝０×Ｇｂ１＋０×Ｇｂ＋１×Ｇｂ３＋０×Ｇｒ４
Ｂ画素＝０×Ｂ１＋０×Ｂ２＋０．７５×Ｂ３＋０．２５×Ｂ４

以下にＲ画素を加重平均に用いない場合の各画素係数を示す。図８は、Ｒ画素を加重平均に用いない場合の位置補正の様子を示す図である。
Ｒ画素係数：kr_a＝１、kr_b＝０、kr_c＝０、kr_d＝０
Ｇｒ画素係数：kgr_a＝０．７５、kgr_b＝０．２５、kgr_c＝０、kgr_d＝０
Ｇｂ画素係数：kgb_a＝０．７５、kgb_b＝０、kgb_c＝０．７５、kgb_d＝０
Ｂ画素係数：kb_a＝０．５６２５、kb_b＝０．１８７５、kb_c＝０．１８７５、kb_d＝０．０６２５

すなわち、最近傍の４つの各画素値を左上、右上、左下、右下の順にＲ１乃至Ｒ４、Ｇｂ１乃至Ｇｂ４、Ｇｒ１乃至Ｇｒ４及びＢ１乃至Ｂ４としたとき、加重平均は、下記により求まる。
Ｒ画素＝１×Ｒ１＋０×Ｒ２＋０×Ｒ３＋０×Ｒ４
Ｇｒ画素＝０．７５×Ｇｒ１＋０．２５×Ｇｒ２＋０×Ｇｒ３＋０×Ｇｒ４
Ｇｂ画素＝０．７５×Ｇｂ１＋０×Ｇｂ＋０．２５×Ｇｂ３＋０×Ｇｒ４
Ｂ画素＝０．５６２５×Ｂ１＋０．１８７５×Ｂ２＋０．１８７５×Ｂ３＋０．０６２５×Ｂ４

以下は、Ｂ画素を加重平均に用いない場合の各画素係数を示す。図９は、Ｂ画素を加重平均に用いない場合の位置補正の様子を示す図である。
Ｒ画素係数：kr_a＝０．０６２５、kr_b＝０．１８７５、kr_c＝０．１８７５、kr_d＝０．５６２５
Ｇｒ画素係数：kgr_a＝０、kgr_b＝０．２５、kgr_c＝０、kgr_d＝０．７５
Ｇｂ画素係数：kgb_a＝０、kgb_b＝０、kgb_c＝０．２５、kgb_d＝０．７５
Ｂ画素係数：kb_a＝０、kb_b＝０、kb_c＝０、kb_d＝１

すなわち、上記と同じく最近傍の４つの各画素値を左上、右上、左下、右下の順にＲ１乃至Ｒ４、Ｇｂ１乃至Ｇｂ４、Ｇｒ１乃至Ｇｒ４及びＢ１乃至Ｂ４としたとき、加重平均は、下記により求まる。
Ｒ画素＝０．０６２５×Ｒ１＋０．１８７５×Ｒ２＋０.１８７５×Ｒ３＋０．５６２５×Ｒ４
Ｇｒ画素＝０×Ｇｒ１＋０．２５×Ｇｒ２＋０×Ｇｒ３＋０．７５×Ｇｒ４
Ｇｂ画素＝０×Ｇｂ１＋０×Ｇｂ＋０．２５×Ｇｂ３＋０．７５×Ｇｒ４
Ｂ画素＝０×Ｂ１＋０×Ｂ２＋０×Ｂ３＋１×Ｂ４

また、上記は４つの画素値から１つの画素値を算出する方法であるが、使用する画素数は４に限らない。例えば、９個の画素値から下記のように求めることも可能である。
Ｒｏ_ＭＮ＝（kr_a×Ｒｉ（Ｍ−１）（Ｎ−１））＋（kr_b×ＲｉＭ（Ｎ−１））＋（kr_c×Ｒｉ（Ｍ＋１）（Ｎ−１））＋（kr_d×Ｒｉ（Ｍ−１）Ｎ）＋（kr_e×ＲｉＭＮ）＋（kr_f×Ｒｉ（Ｍ＋１）Ｎ）＋（kr_g×Ｒｉ（Ｍ−１）（Ｎ＋１））＋（kr_h×ＲｉＭ（Ｎ＋１））＋（kr_i×Ｒｉ（Ｍ＋１）（Ｎ＋１））

次に、本実施の形態においては、Ｒ、Ｇｒ、Ｇｂ、又はＢのうちいずれか１つを加重平均せず、残りを加重平均するものとして説明している。ここで、Ｒ、Ｇｒ、Ｇｂ、又はＢのうちいずれを加重平均しないものとするのが好ましいかについて説明する。

先ず、ＲＧＢからＹＵＶの変換において、Ｙに最も寄与する寄与率が高いＧ成分のボケ（ぼやけ）を考慮すると、Ｂ又はＲの加重平均を行わないことが好ましい。

Ｇ成分のぼやけ具合は、Ｇｒ又はＧｂを加重平均なしとすると、もう一方が最大にボケることになる。画素補間では、周囲の画素を参照して、ＲＧＢ形式とするため、ボケたＧが付近にあることで、結果的にＲＧＢに変換したＧもボケてしまう。

一方、ＢやＲを混合しない場合、ＧｒもＧｂも同程度にボケるが、いずれも最悪のボケにはならず、Ｇｒ又はＧｂを加重平均なしとするよりもボケの程度がよくなる。よって、Ｒ又はＢのいずれかの加重平均をなしとすることが好ましい。

ここで、ＲとＢのいずれを「加重平均をなし」とすべきか、については、ＲＧＢからＹＵＶ変換時の寄与率からは、Ｒが好ましいと言える。しかしながら、ノイズ感などを含めた総合的な画質の観点でみると、「ぼやける」＝「ノイズが減る」場合も考えられるため、ボケ具合のみならず、総合判断が必要な場合もある。

例えば、あるシステムでは、センサのＲ画素の感度が低いため、感度比の補正によってＲ画素値に係数が掛け合わされＲに対するノイズが多くなっている場合、そのシステムでは、Ｂを「加重平均をなし」とすることでＲ画素を意図的にボケさせ、ノイズを減少させて、総合的な画質向上を図ることができる。なお、上述したように、画素値Ｂの加重平均を求めない代わりに、画素値Ｂの加重平均の度合いを小さくする、すなわち、他の画素を４つの画素から加重平均を求める場合、画素値Ｂは２つの画素から加重平均を求めるものとするなどしてもよい。

すなわち、本実施の形態にかかる画像処理装置においては、重心位置を規定する係数を、単純な二次元上の距離だけでなく、加重平均による画素色毎のボケ発生やノイズへの影響と、他の画像処理のパラメータ設定との組み合わせによる、最終画像の画質への影響を考慮して、決定することで、総合的な画質の向上を図ることができる。

次に、２色を混ぜ合わせない場合について説明する。この場合、Ｇｒ及びＧｂを加重平均なしとするのが、ボケ防止としては最良となる。図１０は、Ｇｒ及びＧｂ画素を加重平均に用いない場合の位置補正の様子を示す図である。ただし、ＲとＢが混ぜ合わさるような位置にすると、Ｒ，Ｇｒ，Ｇｂ，Ｂの４点が、平行四辺形上に配置され、水平・垂直に配置されていることを前提とした画素補間と矛盾し、画像中の直線が波線になるなどの弊害が発生する。よって、２点以上を加重平均しない方式は、重心位置が垂直または水平に配置されないことによる異なる劣化を招くため、垂直または水平位置に配置でき、かつ粗密が発生しない、１点以外は加重平均を取らない方式のほうが優れている。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。

１ 撮像システム
１０ センサ
２０ 画像処理部
２１ 加重平均処理部
２２ ノイズ低減部
２３ ＨＷ・センサ感度補正部
２４ 画素補間部
２５ 色分離部
２６ ＲＧＢ／ＹＵＶ変換部
４０ メモリ
４１ 画像処理パラメータ
５０ 撮像装置

Claims (11)

1. 行列状に配列され、各画素の所定の位置にＲ、Ｇｂ、Ｇｒ又はＢの４種の画素からなるカラーフィルタが形成された固体撮像素子により得られたベイヤ方式の画像を縮小画像に変換し、当該縮小画像に対し加重平均処理を行う画像処理装置であって、
   前記固体撮像素子から入力された前記ベイヤ方式の画像に対し、前記カラーフィルタが形成された４種の画素の少なくとも１種の画素値の平均の割合を他の画素値より小さくして算出した加重平均値を出力する加重平均処理部と、
   前記出力された加重平均値に基づいて、前記画像をＲＧＢ画像に変換する画素補間部と、
   を有する画像処理装置。
2. 前記加重平均処理部は、Ｒ、Ｇｂ、Ｇｒ及びＢ画素のうち、Ｒ画素以外の加重平均処理を行う、請求項１記載の画像処理装置。
3. 前記加重平均処理部は、Ｒ、Ｇｂ、Ｇｒ及びＢ画素のうち、Ｂ画素以外の加重平均処理を行う、請求項１記載の画像処理装置。
4. 前記加重平均処理部は、Ｒ、Ｇｂ、Ｇｒ及びＢ画素のうち、Ｇｂ又はＧｒ以外の画素以外の加重平均処理を行う、請求項１記載の画像処理装置。
5. 最近傍の４つの各画素値を左上、右上、左下、右下の順にＲ１乃至Ｒ４、Ｇｂ１乃至Ｇｂ４、Ｇｒ１乃至Ｇｒ４及びＢ１乃至Ｂ４としたとき、加重平均は、下記により求まる請求項１又は２記載の画像処理装置。
   Ｒ画素＝１×Ｒ１＋０×Ｒ２＋０×Ｒ３＋０×Ｒ４
   Ｇｒ画素＝０．７５×Ｇｒ１＋０．２５×Ｇｒ２＋０×Ｇｒ３＋０×Ｇｒ４
   Ｇｂ画素＝０．７５×Ｇｂ１＋０×Ｇｂ＋０．２５×Ｇｂ３＋０×Ｇｒ４
   Ｂ画素＝０．５６２５×Ｂ１＋０．１８７５×Ｂ２＋０．１８７５×Ｂ３＋０．０６２５×Ｂ４
6. 最近傍の４つの各画素値を左上、右上、左下、右下の順にＲ１乃至Ｒ４、Ｇｂ１乃至Ｇｂ４、Ｇｒ１乃至Ｇｒ４及びＢ１乃至Ｂ４としたとき、加重平均は、下記により求まる請求項１又は４記載の画像処理装置。
   Ｒ画素＝０．２５×Ｒ１＋０．７５×Ｒ２＋０×Ｒ３＋０×Ｒ４
   Ｇｒ画素＝０×Ｇｒ１＋１×Ｇｒ２＋０×Ｇｒ３＋０×Ｇｒ４
   Ｇｂ画素＝０．１８７５×Ｇｂ１＋０．５６２５×Ｇｂ＋０．０６２５×Ｇｂ３＋０．１８７５×Ｇｒ４
   Ｂ画素＝０×Ｂ１＋０．７５×Ｂ２＋０×Ｂ３＋０．２５×Ｂ４
7. 最近傍の４つの各画素値を左上、右上、左下、右下の順にＲ１乃至Ｒ４、Ｇｂ１乃至Ｇｂ４、Ｇｒ１乃至Ｇｒ４及びＢ１乃至Ｂ４としたとき、加重平均は、下記により求まる請求項１又は４記載の画像処理装置。
   Ｒ画素＝０．２５×Ｒ１＋０×Ｒ２＋０．７５×Ｒ３＋０×Ｒ４
   Ｇｒ画素＝０．１８７５×Ｇｒ１＋０．０６２５×Ｇｒ２＋０．５６２５×Ｇｒ３＋０．１８７５×Ｇｒ４
   Ｇｂ画素＝０×Ｇｂ１＋０×Ｇｂ＋１×Ｇｂ３＋０×Ｇｒ４
   Ｂ画素＝０×Ｂ１＋０×Ｂ２＋０．７５×Ｂ３＋０．２５×Ｂ４
8. 最近傍の４つの各画素値を左上、右上、左下、右下の順にＲ１乃至Ｒ４、Ｇｂ１乃至Ｇｂ４、Ｇｒ１乃至Ｇｒ４及びＢ１乃至Ｂ４としたとき、加重平均は、下記により求まる請求項１又は３記載の画像処理装置。
   Ｒ画素＝０．０６２５×Ｒ１＋０．１８７５×Ｒ２＋０.１８７５×Ｒ３＋０．５６２５×Ｒ４
   Ｇｒ画素＝０×Ｇｒ１＋０．２５×Ｇｒ２＋０×Ｇｒ３＋０．７５×Ｇｒ４
   Ｇｂ画素＝０×Ｇｂ１＋０×Ｇｂ＋０．２５×Ｇｂ３＋０．７５×Ｇｒ４
   Ｂ画素＝０×Ｂ１＋０×Ｂ２＋０×Ｂ３＋１×Ｂ４
9. 行列状に配列され、各画素の所定の位置にＲ、Ｇｂ、Ｇｒ又はＢからなるカラーフィルタが形成された固体撮像素子と、
   前記固体撮像素子により得られた画像を縮小画像に変換する画像変換部とを更に有し、
   前記加重平均処理部は、前記画像変換部より後段であって、当該固体撮像素子から得られた生データをＲＧＢ画像に変換する画素補間部よりも前段に設けられる、請求項１乃至８のいずれか１項記載の画像処理装置。
10. 前記縮小画像は、固体撮像素子から得られた画像を縮小処理して得られる画像である、請求項１乃至９のいずれか１項記載の画像処理装置。
11. 行列状に配列され、各画素の所定の位置にＲ、Ｇｂ、Ｇｒ又はＢの４種の画素からなるカラーフィルタが形成された固体撮像素子により得られたベイヤ方式の画像を縮小画像に変換し、当該縮小画像に対し加重平均処理を行う画像処理方法であって、
    前記固体撮像素子から入力された前記ベイヤ方式の画像に対し、前記カラーフィルタが形成された４種の画素の少なくとも１種の画素値の平均の割合を他の画素値より小さくして算出した加重平均値を出力し、
    前記出力された加重平均値に基づいて、前記画像をＲＧＢ画像に変換する画像処理方法。