JP5841358B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関し、特には輝度信号及び色信号を作成する画像処理装置及び画像処理方法に関する。

従来、輝度信号よりも色信号に対する感度が低いという人間の視覚特性を利用し、色信号を間引いて画像データ量を削減する技術が広く用いられている。そして、間引かれた色信号を隣接画素の色信号に基づいて補間することで、色信号が間引かれている画像信号に対しても、色の滑らかさが損なわれないようにする方法も知られている（特許文献１参照）。

また、画像信号を複数の周波数帯域に分割して、周波数帯域ごとに処理された画像信号を合成することで元の画像信号のノイズを低減する技術が知られている（特許文献２参照）。特許文献２では、ｎ個の周波数帯域の各々でエッジ成分を保存しながらノイズ成分を低減した信号を合成することで、広帯域なエッジ成分を保存しつつノイズ成分を低減している。

特開平１０−７５４６２号公報 特開２００８−０１５７４１号公報

特許文献２の技術では、画像信号をＲ／Ｇ１／Ｇ２／Ｂの４プレーンで記憶する必要があり、さらに各プレーンの画像信号を周波数帯域ごとに記憶する必要がある。そのため大容量のメモリが必要となり、コストの面で好ましくない。また、必要なメモリアクセス量も多いため、連写撮影など高速性が求められる処理の場合にはメモリアクセス帯域の上限に達して処理速度の低下を招くおそれがある。

この問題を緩和するために、例えば、特許文献１に示されるような色信号の間引き技術を特許文献２の構成に適用して、必要なメモリ容量及びメモリアクセス量を削減することが考えられる。

しかしながら、特許文献１の技術には、間引かれた色信号を隣接画素の色信号から補間して復元するため、色信号の周波数帯域と輝度信号の周波数帯域に差が生じ、被写体には存在しない色スジが発生してしまうという問題がある。

そのため、特許文献２の構成に適用した場合においても、周波数帯域ごとに分割された画像信号の全てにおいて、補間後の色信号の周波数帯域と、輝度信号の周波数帯域の差に起因した色スジが発生してしまう。その結果、各周波数帯域の画像信号を合成すると、低い周波数帯域の画像信号に生じている色スジが広がって画質の劣化を招くことが予想される。

本発明はこのような従来技術の組み合わせにおいて予期される問題を解決するためになされたものであり、間引きと補間がなされた色信号に対して信号処理を適用する画像処理装置および画像処理方法において、画質低下の抑制を実現することを目的とする。

上述の目的は、カラーフィルタを有する撮像素子から得られる画像信号を、第１の信号及び第２の信号に変換する変換手段と、第１の信号を間引く間引き手段と、間引き手段で間引かれた第１の信号と、第２の信号とを記憶する記憶手段と、記憶手段から読み出した第１の信号を補間する補間手段と、記憶手段から読み出した第２の信号に対して、間引き手段と補間手段によって第１の信号に行われた間引き及び補間と同様の間引き及び補間を行う間引き補間手段と、補間手段によって補間された第１の信号と、間引き補間手段で間引き及び補間された第２の信号とを用いて、信号処理を行う信号処理手段と、を有することを特徴とする画像処理装置によって達成される。

このような構成により、本発明によれば、間引きと補間がなされた色信号に対して信号処理を適用する画像処理装置および画像処理方法において、処理データ量の削減と画質低下の抑制を実現することができる。

（ａ）は本発明の実施形態における画像処理装置の一例としての撮像装置の構成を示すブロック図、（ｂ）は撮像素子２０２のカラーフィルタの配列を示す図。 図１の信号処理回路の構成例を示すブロック図。 図２の信号処理部におけるＲＢ間引き回路の構成及び動作の例を説明するための図。 図２の信号処理部におけるＹ間引き補間回路の構成及び動作の例を説明するための図。 図２の信号処理部での処理過程におけるＹ信号とＲＢ信号の周波数帯域の変化を示す図。 本発明の第２の実施形態に係る画像処理装置における色信号処理回路の構成例を示すブロック図。

（第１の実施形態）
以下、本発明の例示的な実施形態について、添付図面に基づいて詳細に説明する。
図１は、本発明の実施形態にかかる画像処理装置の一例としての撮像装置２００の機能構成例を示すブロック図である。なお、本発明において撮像のための構成は必須でなく、処理対象となる画像データは記憶装置や記憶媒体に予め記憶されたデータファイルなどから直接、又はネットワークなどを介して間接的に取得することもできる。

図１（ａ）において、結像光学系２０１はレンズや絞り等からなり、被写体光学像を撮像素子２０２の撮像面に結蔵する。結像光学系２０１の合焦制御や絞りの制御はシステム制御部２０７が行う。撮像素子２０２はＣＣＤイメージセンサやＣＭＯＳイメージセンサであり、結像光学系２０１が結蔵した被写体光学像を画素単位のアナログ電気信号に変換する。本実施形態において撮像素子２０２の結像面には、図１（ｂ）に示すベイヤ−配列のカラーフィルタが配置されており、撮像素子２０２の各画素は対応するカラーフィルタの色に応じた画素値（輝度値）を出力する。

Ａ／Ｄ変換部２０３は撮像素子２０２の出力するアナログ画像信号をデジタル画像信号（画像データとも呼ぶ）に変換する。信号処理部２０４はＡ／Ｄ変換部２０３が出力するデジタル画像信号に対して周波数帯域ごとにノイズ低減などの信号処理を行う。メモリ制御部２０５はメモリ（ＤＲＡＭ）２０６との間でデジタル画像信号の書き込み／読み出しを行う。システム制御部２０７は撮像装置２００全体の動作を制御する。なお、図１（ａ）においては、撮像装置２００が通常有する構成のうち、本実施形態の説明に直接関係がない構成要素については図示していない。

図２は、信号処理部２０４の機能構成例を示すブロック図である。信号処理部２０４は周波数分解回路１０１と、バッファ１０３と、周波数合成回路１０２とを有する。なお、バッファ１０３は信号処理部２０４内に設けてもよいが、本実施形態ではメモリ２０６の一部領域をバッファ１０３として用いるものとする。従って、周波数分解回路１０１からバッファ１０３への書き込みおよび、バッファ１０３から周波数合成回路１０２への読み出しは、メモリ制御部２０５を通じて実行される。

周波数分解回路１０１はＡ／Ｄ変換されたベイヤー配列の画像データを予め定められた複数の周波数帯域に分割し、色信号成分を間引く。周波数合成回路１０２は周波数帯域ごとに信号処理を行ってから合成して出力する。周波数合成回路１０２の出力画像データは、メモリ制御部２０５を通じてメモリ２０６に記憶される。

（周波数分解回路１０１の構成）
周波数分解回路１０１において、フォーマット変換回路１０４は図１（ｂ）に示したＲ（赤）、Ｇ１（緑１）、Ｇ２（緑２）、Ｂ（青）形式の画像信号をＹ（輝度）及びＲ、Ｂ形式に変換する。さらにフォーマット変換回路１０４では偽色抑圧処理が行われる。なお、偽色抑圧処理の方法に特に制限はなく、公知な任意の方法を採用することができる。特開２００２−３００５９０号公報に記載される方法は採用可能な方法の一例である。

具体的には、撮像素子に結像された光学像の画素ごとに、水平方向、垂直方向の相関のどちらが強いか判別する。そして、水平方向の相関が強ければ（Ｒ−Ｇ１）を、垂直方向の相関が強ければ（Ｒ−Ｇ２）を選択して（Ｒ−Ｇａ１）信号とする。同様に、水平方向の相関が強ければ（Ｂ−Ｇ２）を、垂直方向の相関が強ければ（Ｂ−Ｇ１）を選択して（Ｂ−Ｇａ２）信号とする。
また、画素ごとにＧ１、Ｇ２から例えばＧｂ＝（Ｇ１＋Ｇ２）／２の演算からＧｂ信号を作成し、（Ｒ−Ｇｂ）を生成する。

さらに、画素ごとに例えば
SatA=|R-Ga1|+|B-Ga2|
SatB=|R-Gb|+|B-Gb|
として彩度値SatA、SatBを求め、
SatA＜SatBなら（Ｒ−Ｇａ１）を、SatA≧SatBなら（Ｒ−Ｇｂ）を選択してＣｒ信号とする。
SatA＜SatBなら（Ｂ−Ｇａ２）を、SatA≧SatBなら（Ｂ−Ｇｂ）を選択してＣｂ信号とする。
このような処理を行うことで、偽色が抑圧された色差信号Ｃｒ、Ｃｂを生成する。

また輝度信号Ｙは、撮像素子に結像された光学像の水平方向の相関が強ければ水平方向の画素から、垂直方向の相関が強ければ垂直方向の画素から、画素ごとに補間されたＲ信号、Ｇ信号、Ｂ信号を用いて、例えば
Ｙ＝０．３３Ｒ＋０．５９Ｇ＋０．１１Ｂ
の演算から生成する。

フォーマット変換回路１０４は例えばこのような方法で生成されたＹ、Ｃｒ、Ｃｂ信号から、Ｙ＝Ｙ、Ｒ＝Ｃｒ＋Ｙ、Ｂ＝Ｃｂ＋ＹとしてＹ，Ｒ，Ｂ形式の画像データを生成する。

ローパスフィルタ（ＬＰＦ）１０５〜１０７は、水平方向、垂直方向のいずれにおいても、例えば伝達関数Ｈ（ｚ）＝１／２（１＋Ｚ^-1）を有するフィルタである。ダウンサンプリング回路１０８〜１１０は、入力画像信号を水平方向と垂直方向で１／２にダウンサンプリングする。ダウンサンプリングする位相は、水平方向では左右２画素のうち左側の画素、垂直方向では上下２画素のうち上側の画素とする。

ＬＰＦ１０５〜１０７とダウンサンプリング回路１０８〜１１０は交互に、かつ直列に接続されている。従って、ＬＰＦ１０５に入力されたＹ／Ｒ／Ｂ信号は水平および垂直に１／２に帯域制限され、画素数もダウンサンプリング回路１０８により水平および垂直に１／２に間引かれる。

そして、ダウンサンプリング回路１０８で間引かれたＹ／Ｒ／Ｂ信号は、ＬＰＦ１０６に入力されてさらに１／２に帯域制限され、ダウンサンプリング回路１０９で１／２に間引かれる。ＬＰＦ１０７も同様にダウンサンプリング回路１０９で間引かれたＹ／Ｒ／Ｂ信号を１／２に帯域制限し、ダウンサンプリング回路１１０は画素数を１／２に間引く。

フォーマット変換回路１０４とダウンサンプリング回路１０８〜１１０から出力されるＹ／Ｒ／Ｂ信号はそれぞれ、Ｒ信号とＢ信号の解像度を低下させるＲＢ間引き回路１１１〜１１４に入力される。

図３（ａ）は、ＲＢ間引き回路１１１の構成例を説明する図である。図３（ｂ）は、ＲＢ間引き回路１１１及び周波数合成回路１０２のＲＢ補間回路１１５の動作を説明する図である。ＲＢ間引き回路１１１〜１１４の構成及び動作は共通であるため、ここではＲＢ間引き回路１１１について説明する。なお、図３（ａ）には、ＲＢ間引き回路１１１の構成のうち、Ｒ信号の間引きを行う回路（Ｒ間引き回路）のみを示しているが、Ｂ信号の間引きを行う回路（Ｂ間引き回路）も同様の構成を有している。

ローパスフィルタ４０１は例えば伝達関数Ｈ（ｚ）＝１／２（１＋Ｚ^-1）を有する水平方向の一次元ローパスフィルタである。セレクタ４０２はローパスフィルタ４０１が適用された信号と、適用されない信号の一方を出力する。間引き回路４０３は、必要に応じて偶数位相か奇数位相を選択し、選択した位相の画素を間引いて出力する（図３（ｂ））。

なお、Ｒ間引き回路とＢ間引き回路はその伝達関数Ｈ（ｚ）が等しくなるよう、セレクタの選択する信号を等しくする。つまり、Ｒ間引き回路のセレクタ４０２がローパスフィルタ４０１の出力を選択する場合、Ｂ間引き回路のセレクタでもローパスフィルタの出力を選択するようにする。また、Ｒ間引き回路で偶数位相（奇数位相）を選択して間引きする場合は、Ｂ間引き回路でも偶数位相（奇数位相）を選択して間引きを行う。この点に関しては後で詳述する。

以上の構成を有する周波数分解回路１０１は、周波数帯域ごとに帯域制限された、ＹとＲＢの２プレーンから成るＹ／ＲＢ信号を出力する。上述の通り、このＹ／ＲＢが像信号は周波数帯域ごとにバッファ１０３に記憶される（Ｙ／ＲＢ−１〜Ｙ／ＲＢ−４）。このように、周波数分解回路１０１は周波数帯域を分割するだけでなく、Ｒ／Ｇ１／Ｇ２／Ｂ形式の画像信号をＹ／ＲＢの２プレーンの画像信号とする。そのため、Ｒ／Ｇ１／Ｇ２／Ｂの４プレーンの画像信号を用いる場合と比較して必要となるバッファ１０３の容量を削減可能である。これにより、コストダウンおよび装置の小型化が実現できる。また、かつ単位時間あたりのメモリアクセスも削減可能なため、処理パフォーマンスの低下も抑制可能である。

（周波数合成回路１０２の構成）
周波数合成回路１０２は、まずＲＢ補間回路１１５〜１１８により、周波数帯域ごとにＲおよびＢ信号に対して補間処理を行う。ＲＢ補間回路１１５〜１１８はそれぞれ、図３（ｂ）に示すように、Ｒ及びＢ信号が間引かれたＹ／ＲＢ−１〜Ｙ／ＲＢ−４に対し、ＲＢ間引き回路１１１〜１１４が選択した位相に応じて補間の位相（奇数位相又は偶数位相）を補間する。つまり、偶数位相が間引かれていれば、偶数位相を補間し、奇数位相が間引かれていれば、奇数位相を補間する。補間対象の画素の隣接画素の平均値で補間する例を図３（ｂ）に示す。なお、上述の通り図３ではＲ画素信号についてのみ記載しているが、Ｂ画素信号についても同様の補間処理を行う。

ＲＢ補間回路１１５〜１１８でＲＢが補間されたＹ／Ｒ／Ｂ信号は、Ｙ間引き補間回路１１９〜１２２と輝度信号処理回路１２３〜１２６に出力される。

図４（ａ）及び図４（ｂ）は、Ｙ間引き補間回路１１９の構成および動作の例を説明する図である。Ｙ間引き補間回路１１９〜１２２の構成及び動作は共通であるため、ここではＹ間引き補間回路１１９について説明する。

ローパスフィルタ５０１は、例えば伝達関数Ｈ（ｚ）＝１／２（１＋Ｚ^-1）を有する水平方向の一次元ローパスフィルタである。セレクタ５０２はローパスフィルタ５０１が適用された信号と、適用されない信号の一方を出力する。輝度（Ｙ）間引き回路５０３は、間引き前のＹ信号のうち、必要に応じて偶数位相か奇数位相を選択し、選択した画素を間引いて出力する（図４（ｂ））。輝度（Ｙ）補間回路５０４は、Ｙ間引き回路５０３で水平方向に間引かれたＹ信号に対し、間引いた位相に応じた補間の位相を補間する。つまり、偶数位相が間引かれていれば、偶数位相を補間し、奇数位相が間引かれていれば、奇数位相を補間する。補間対象の画素の隣接画素の平均値で補間する例を図４（ｂ）に示す。

なお、ＲＢ間引き回路１１１〜１１４のセレクタ４０２でローパスフィルタ４１１の出力を選択した場合、Ｙ間引き補間回路１１９のセレクタ５０２でもローパスフィルタ５０１の出力を選択する。これにより、Ｙ間引き補間回路の伝達関数Ｈ（ｚ）を、Ｒ間引き回路及びＢ間引き回路の伝達関数Ｈ（ｚ）と等しくする。

また、ＲＢ間引き回路で偶数位相を選択して間引きを行った場合は、Ｙ間引き回路５０３でも偶数位相を選択して間引く。また、ＲＢ間引き回路で奇数位相を選択して間引きを行った場合は、Ｙ間引き回路５０３でも同様に奇数位相を選択して間引く。さらに、Ｙ補間回路５０４でも、ＲＢ補間回路１１５〜１１８が選択した位相に応じて補間の位相を選択する。

先に述べたように、
・Ｙ間引き補間回路１１９〜１２２によって、ＲＢ間引き回路１１１〜１１４とＲＢ補間回路１１５〜１１８と等価の処理を行う
ことで、Ｙ信号と、Ｒ、Ｂ信号との周波数帯域が一致するようになる。
また、ＲＢ間引き回路１１１〜１１４とＲＢ補間回路１１５〜１１８とが、同じ位相で間引き及び補間を行うことで、Ｙ信号と、Ｒ、Ｂ信号との位相も一致するようになる。

信号処理部２０４内の処理におけるＹ信号とＲＢ信号の帯域変化の例を図５を用いて説明する。図５（ａ）〜図５（ｇ）は、横軸が位相を示し、右側を高周波成分とする。また縦軸はゲインを示す。また、図３（ａ）及び図４（ａ）に、図５（ａ）〜図５（ｇ）に対応する信号が得られる位置ａ〜ｇを示した。

まずＲＢ間引き回路に入力される、ＲＢ間引き前の状態（図５（ａ））では、Ｙ信号の帯域と、Ｒ及びＢ信号の帯域は一致している。Ｒ，Ｂ信号にＬＰＦ４０１によりローパスフィルタ処理を行うと、図５（ｂ）に示すようにＲ及びＢ信号の高周波成分が抑圧される。

次にＲ，Ｂ信号が間引き回路４０３により間引かれ、図５（ｃ）に示すように、高周波成分がカットされるとともに低周波成分に折り返し成分が発生する。間引かれたＲ、Ｂ信号はＲＢ補間回路１１５〜１１８により補間され、図５（ｄ）に示すように、さらに高周波成分が抑圧される。

次にＹ信号に対しても同様に、ＬＰＦ５０１によりローパスフィルタ処理を行うと、図５（ｅ）に示すように高周波成分が抑圧される。さらに、Ｙ間引き回路５０３によりＹ信号が間引かれると、図５（ｆ）に示すように、高周波成分がカットされ、低周波成分に折り返し成分が発生する。最後にＹ補間回路５０４によりＹ信号が補間されると、図５（ｇ）に示すようにさらに高周波成分が抑圧され、Ｒ，Ｂ信号と同様の帯域を有するＹ信号となる。

このように、Ｙ信号とＲ，Ｂ信号とがそれぞれ同様の周波数帯域を有する信号となるようにすることで、Ｙ信号とＲ，Ｂ信号の周波数帯域の差により生じる色スジの発生を抑圧することが可能である。

Ｙ間引き補間回路１１９〜１２２で周波数帯域が揃えられたＹ／Ｒ／Ｂ信号は色信号処理回路１２７〜１３０に入力される。

色信号処理回路１２７〜１３０は、フォーマット変換回路１０４の逆の処理を行う。すなわち、
Ｃｒ＝Ｒ−Ｙ
Ｃｂ＝Ｂ−Ｙ
としてＣｒ信号及びＣｂ信号を生成し、各周波数帯域ごとにノイズ低減処理を適用する。

ここで適用するノイズ低減処理の方法に制限はなく、公知かつ任意の方法を用いることができる。一例として、例えば特開２００８−１５７４１号公報に記載されている方法であってよい。具体的には、周波数帯域ごとに低周波画像と高周波画像を生成し、コアリング処理を行ってノイズ除去を行った高周波画像と、コアリング処理前の高周波画像とを、低周波画像のエッジ強度に応じて合成する方法である。低周波画像のエッジ強度が大きいほどコアリング処理前の高周波画像の重みを大きくすることで、元画像のエッジを保存しつつノイズ除去することができる。

色信号処理回路１２７〜１３０は、ノイズ低減処理したＣｒ，Ｃｂ信号を合成回路１３１に出力する。色信号処理回路１２７〜１３０が出力する周波数帯域ごとのＣｒ、Ｃｂ信号は合成回路１３１で合成され、Ｃｒ、Ｃｂの色差信号として出力される。Ｃｒ、Ｃｂの色差信号についてはそれぞれ水平方向の解像度を１／２に落として１プレーンの色差信号ＣｒＣｂとして出力しても良いし、Ｃｒ、Ｃｂそれぞれ１プレーンとして出力しても良い。

また、輝度信号処理回路１２３〜１２６は、ＲＢ補間回路１１５〜１１８から出力されたＹ／Ｒ／Ｂ信号に対し、例えば上述した方法で周波数帯域ごとにノイズ低減処理を適用する。輝度信号処理回路１２３〜１２６で処理された各周波数成分ごとのＹ信号は合成回路１３１で合成されて出力される。このとき、輝度信号処理回路１２３〜１２６に入力されるＹ／Ｒ／Ｂ信号のＹ信号に対しては、Ｙ間引き補間回路１１９〜１２２で行っているような周波数帯域制限処理がなされていないため、Ｙ信号に対しては高周波成分を保持することが可能である。

以上説明したように、本実施形態によれば、間引きと補間がなされた色信号に対して信号処理を適用する画像処理装置において、間引きと補間を行った色信号の処理に用いる輝度信号として、色信号と同様の間引き及び補間処理を行った輝度信号を用いる。これにより、色信号処理に用いる色信号と輝度信号の周波数帯域を揃えることができ、色信号のみ間引きと補間がなされる従来技術で発生していた色スジの発生を抑制することができる。

このように、本実施形態においては、間引きと補間がなされた色信号に対して信号処理を適用する画像処理装置において、処理データ量の削減と画質低下の抑制を両立することが可能である。

なお、この効果は、周波数帯域ごとに画像信号を信号処理する画像処理装置でなくても得ることができることは理解されよう。ただし、画像信号を複数の周波数帯域に分割し、周波数帯域ごとに信号処理を適用して合成する画像処理装置においては、より効果が大きい。

つまり、このような画像処理装置では、周波数帯域ごとに発生した色スジの影響が合成によって加算されるが、本実施形態においては周波数帯域ごとの処理で色スジの発生を抑制するため、画質劣化抑制効果が大きい。また、色信号の間引きによる中間データの記憶容量及び記録装置へのアクセス低減という効果も、周波数帯域ごとに中間データを記憶する必要のある、周波数帯域ごとに信号処理を適用して合成する画像処理装置で顕著となることが理解されよう。

（第２の実施形態）
次に、本発明の第２の実施形態に係る画像処理装置について説明する。なお、本実施形態による画像処理装置は、信号処理部２０４の色信号処理回路１２７〜１３０の処理以外は第１の実施形態と同様であるため、本実施形態における色信号処理回路１２７〜１３０についてのみ説明する。

図６は、本実施形態における色信号処理回路の構成例を示すブロック図である。図６では、同一構成を有する色信号処理回路１２７〜１３０を代表して色信号処理回路１２７を示している。倍率色収差補正回路７０１は、結像光学系に起因する倍率色収差を補正する。ノイズリダクション回路７０２は第１の実施形態で説明したノイズリダクション処理を行う。

倍率色収差補正回路７０１が行う倍率色収差の方法に特に制限はないが、例えば特開２００８−１５９４６号公報に開示されているように、Ｇの信号を基準として、Ｒ、Ｂの信号を本来あるべき位置の画素値と置き換えることで倍率色収差を補正する。ただし、本実施形態においてはＧ信号の代わりにＹ信号を基準として、Ｒ信号、Ｂ信号の倍率色収差を補正する。またＲ信号の倍率色収差を補正する際に、本来あるべき位置の画素の位置が実際の画素位置から１画素未満ずれている場合は、周辺のＲ信号の画素値から補間して、本来あるべき位置の画素値を計算する。Ｂ信号についても同様の置き換えを行い、Ｙ信号に対してＲ信号、Ｂ信号の画素位置を補正することにより、倍率色収差を補正する。

Ｒ信号、Ｂ信号にはフォーマット変換回路１０４の処理によりベイヤー配列のＧ信号も含まれているため、完全に倍率色収差を補正することは不可能だが、倍率色収差の影響を軽減することは可能である。

倍率色収差補正されたＹ／Ｒ／Ｂの信号はノイズリダクション回路７０２に入力される。ノイズリダクション回路７０２では、Ｙ信号と、倍率色収差が補正されたＲＢ信号とから実施形態１と同様にＣｒ，Ｃｂ信号を生成し、ノイズ低減処理を適用する。

このように、本発明は、ノイズ低減処理だけでなく倍率色収差補正処理を行う画像処理装置においても有効であり、画像信号を周波数帯域ごとに処理する画像処理装置において、処理データ量の削減と画質低下の抑制を両立することが可能である。

（その他の実施形態）
なお、上述の実施形態においては、輝度信号処理回路１２３〜１２６は、ＲＢ補間回路１１５〜１１８の出力するＹ／Ｒ／Ｂ信号を用いてＹ信号に信号処理を行うものとして説明した。しかしながら、信号処理にＹ信号だけを用いる場合には、ＲＢ補間回路１１５〜１１８を介する必要はない。あるいは、輝度信号処理回路１２３〜１２６は、ＲＢ補間回路１１５〜１１８から受けたＹ／Ｒ／Ｂ信号のうち、Ｙ信号のみを用いる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. カラーフィルタを有する撮像素子から得られる画像信号を、第１の信号及び第２の信号に変換する変換手段と、
   前記第１の信号を間引く間引き手段と、
   前記間引き手段で間引かれた前記第１の信号と、前記第２の信号とを記憶する記憶手段と、
   前記記憶手段から読み出した前記第１の信号を補間する補間手段と、
   前記記憶手段から読み出した前記第２の信号に対して、前記間引き手段と前記補間手段によって前記第１の信号に行われた間引き及び補間と同様の間引き及び補間を行う間引き補間手段と、
   前記補間手段によって補間された前記第１の信号と、前記間引き補間手段で間引き及び補間された前記第２の信号とを用いて、信号処理を行う信号処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記間引き手段が、前記画像信号の偶数位相又は奇数位相を選択して前記間引きを行い、前記補間手段が、前記間引き手段が間引いた偶数位相又は奇数位相を補間することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の信号が色信号であり、前記第２の信号が輝度信号であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像信号が、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の信号から構成されていることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記変換手段は、前記画像信号を輝度信号および色差信号に変換したのち、該輝度信号および色差信号からＲの信号およびＢの信号を生成する処理を行い、
   前記第１の信号が前記生成されたＲの信号およびＢの信号であり、前記第２の信号が前記輝度信号であることを特徴とする請求項４に記載の画像処理装置。
6. 前記信号処理が倍率色収差補正処理を含むことを特徴とする請求項５に記載の画像処理装置。
7. 前記信号処理手段が、前記補間手段によって補間された前記Ｒの信号および前記Ｂの信号と、前記間引き補間手段で間引き及び補間された前記輝度信号とから色差信号を生成し、前記色差信号に対して前記信号処理を行うことを特徴とする請求項５に記載の画像処理装置。
8. 前記信号処理がノイズ低減処理を含むことを特徴とする請求項７に記載の画像処理装置。
9. 前記画像処理装置が、前記変換手段が変換した前記第１の信号及び前記第２の信号を、複数の周波数帯域に分割する分割手段をさらに有し、
   前記間引き手段、前記記憶手段、前記補間手段、前記間引き補間手段、及び前記信号処理手段が、前記分割された周波数帯域ごとの前記第１の信号または前記第２の信号に対して処理を行い、
   前記画像処理装置が、前記信号処理手段が出力する前記周波数帯域ごとの前記信号処理の結果を合成して出力する合成手段をさらに有することを特徴とする請求項１乃至請求項８のいずれか１項に記載の画像処理装置。
10. 前記記憶手段から読み出した前記第２の信号に対してノイズ低減処理を行う第２の信号処理手段をさらに有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
11. 画像処理装置が実行する画像処理方法であって、
    カラーフィルタを有する撮像素子から得られる画像信号を、第１の信号及び第２の信号に変換する変換工程と、
    前記第１の信号を間引く間引き工程と、
    前記間引き工程で間引かれた前記第１の信号と、前記第２の信号とを記憶装置に記憶する記憶工程と、
    前記記憶装置から読み出した前記第１の信号を補間する補間工程と、
    前記記憶装置から読み出した前記第２の信号に対して、前記間引き工程と前記補間工程によって前記第１の信号に行われた間引き及び補間と同様の間引き及び補間を行う間引き補間工程と、
    前記補間工程によって補間された第１の信号と、前記間引き補間工程で間引き及び補間された第２の信号とを用いて、信号処理を行う信号処理工程と、
    を有することを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images