JP2009164778A

JP2009164778A - 撮像装置

Info

Publication number: JP2009164778A
Application number: JP2007340414A
Authority: JP
Inventors: Junzo Sakurai; 順三桜井; Takanaga Miki; 隆永三木
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2007-12-28
Filing date: 2007-12-28
Publication date: 2009-07-23
Anticipated expiration: 2027-12-28
Also published as: US20090167917A1; JP5068158B2

Abstract

【課題】撮像装置において、画素加算して感度を上げるとともに、画素補間の精度を上げる。
【解決手段】水平方向あるいは垂直方向に画素加算して撮像素子の感度を上げる撮像装置。ＣＣＤ１２から例えば垂直方向に画素加算されたＲ画素信号、Ｇ画素信号、Ｂ画素信号が出力される。ＣＦＡ補間部２４は、Ｇ画素信号に関しては水平方向の隣接画素を用いて補間処理する。また、ＣＦＡ補間部２４は、Ｒ画素信号及びＢ画素信号に関しては水平方向の隣接画素を用いて水平方向の補間処理を行うとともに、補間済みのＧ画素の相関を用いて垂直方向の補間処理を行う。
【選択図】図１

Description

本発明は撮像装置に関し、特に画素補間に関する。

従来より、ＣＣＤ等の撮像素子を備えるデジタルカメラにおいて、感度を上げるためにセンサ内で水平方向あるいは垂直方向に画素加算を行う場合がある。但し、画素加算を行うと、加算している方向と加算していない方向とで解像度が異なるため、画像が不自然となってしまう。例えば、垂直方向の画素加算を行うと、水平方向の解像度は維持されるものの垂直方向の解像度が低下してしまう。そこで、画素加算を行って解像度が低下した方向に関して画素補間処理することで解像度を戻すことが提案されている。

特許文献１には、２次元マトリクス状に配列された複数の光電変換素子からなる固体撮像素子を備えた固体撮像装置において、固体撮像素子に垂直方向の複数の画素の信号電荷を加算処理し、加算処理した信号電荷を毎ライン連続して固体撮像素子より出力するＣＣＤ駆動手段と、固体撮像素子の出力信号を記憶する記憶手段を備えることが開示されている。

また、特許文献２には、被写体を撮像する撮像素子を備えた撮像装置において、撮像素子により撮像された被写体画像であって、画像内での位置によって異なる色情報を有する画素から構成されている段階の被写体画像に、同一色の複数の画素の画素値を加算する画素加算処理を施すことにより前記被写体画像の明るさを増幅する画素加算手段と、この画素加算手段による画素加算処理に伴い変化する被写体画像を構成する各画素の画素空間における配置に基づいて、色補間処理により画素毎に補間される色成分の位相を調整する位相調整手段と備えることが開示されている。

特開２００４−９６６１０号公報特開２００７−１３２７５号公報

一般に、画素補間処理は、補間すべき画素位置の周囲の複数の画素を用いて実行される。例えば、補間すべき画素位置に対し、水平方向２画素、垂直方向２画素、斜め方向の４画素の計８画素を用いて補間する。しかしながら、水平方向あるいは垂直方向に画素加算が行われた画像データに対し、単に補間すべき画素位置の周囲の８画素を用いて補間したのでは正確な補間を行うことができない。水平方向と垂直方向とでは解像度が異なるため、補間すべき画素位置に対する影響の度合い、あるいは相関の度合いが異なるからである。

本発明の目的は、水平方向あるいは垂直方向に画素加算して得られた画像データに対して精度良く画素補間を行うことができる撮像装置を提供することにある。

本発明は、撮像装置であって、撮像素子と、前記撮像素子から画素信号を読み出す際に、水平方向あるいは垂直方向のいずれかの方向に複数の画素信号を加算して読み出し、Ｒ画素信号、Ｇ画素信号及びＢ画素信号として出力する読み出し手段と、前記Ｒ画素信号、前記Ｇ画素信号、前記Ｂ画素信号をそれぞれ補間する補間手段であって、前記Ｇ画素信号に関しては前記水平方向あるいは垂直方向のうち前記加算の方向でない方向の隣接画素を用いて補間し、前記Ｒ画素信号及び前記Ｂ画素信号に関しては前記水平方向あるいは垂直方向のうち前記加算の方向でない方向の隣接画素及び補間済みの前記Ｇ画素信号を用いて補間する補間手段とを有する。

本発明の１つの実施形態では、前記水平方向あるいは垂直方向のうち前記加算の方向を第１方向、加算の方向でない方向を第２方向とした場合に、前記補間手段は、前記Ｒ画素信号及び前記Ｂ画素信号に関しては前記第２方向の隣接画素を用いて前記第２方向に補間し、前記第１方向の隣接画素及び補間済みの前記Ｇ画素信号を用いて前記第１方向に補間する。

また、本発明の他の実施形態では、前記補間手段は、前記補間済みのＧ画素信号を用いて前記Ｒ画素信号及び前記Ｂ画素信号を補間する際に、前記補間済みの前記Ｇ画素信号の前記第１方向のノイズを除去する。

本発明によれば、水平方向あるいは垂直方向に画素加算して得られた画像データに対して精度良く画素補間を行うことができる。

以下、図面に基づき本発明の実施形態について、撮像装置としてデジタルカメラを例にとり説明する。

図１に、本実施形態におけるデジタルカメラの構成ブロック図を示す。レンズ１０等の光学系は、被写体からの光を撮像素子に結像する。レンズ１０はズームレンズやフォーカスレンズを含み、光学系はさらにシャッタやアイリスも含む。

ＣＣＤ１２は、光学系により結像された被写体像を電気信号に変換して画像信号として出力する。ＣＣＤ１２はベイヤー配列のカラーフィルタアレイを有する。ＣＣＤ１２からの画像信号の読み出しタイミングはタイミングジェネレータ（ＴＧ）からのタイミング信号で設定される。撮像素子としてはＣＣＤではなくＣＭＯＳでもよい。

ＣＤＳ１４は、ＣＣＤ１２からの画像信号を相関二重サンプリングして出力する。

Ａ／Ｄ１６は、ＣＤＳ１４によりサンプリングされた画像信号をデジタル画像信号に変換して出力する。デジタル画像信号は色信号、すなわちＲ画素信号、Ｇ画素信号、Ｂ画素信号から構成される。

フィルタ重心移動フィルタ１８は、ＣＣＤ１２から読み出された画像信号の重心が互いに一致していない場合に、後段の処理のためにその重心を互いに一致させるように画像信号を変換する。ＣＣＤ１２から読み出された画像信号の重心が互いに一致している場合にはフィルタ重心移動フィルタ１８は入力画像信号をそのまま通過する。すなわち、フィルタ重心移動フィルタ１８は、ＣＣＤ１２からの読み出し方式に応じて動作と非動作が切り替わる。

画像メモリ２０は、画像データを保持する。

シグマ（Σ）ノイズフィルタ２２は、画像データのノイズを除去する。

ＣＦＡ補間部２４は、Ｒ画素、Ｇ画素、Ｂ画素をそれぞれ補間してｒ画素信号、ｇ画素信号、ｂ画素信号として出力する。

輝度色差変換部２６は、画素補間されたｒ画素信号、ｇ画素信号、ｂ画素信号を輝度信号Ｙと色差信号ＣＲ、ＣＢに変換して出力する。

メディアンノイズフィルタ２８は、輝度信号Ｙのノイズを除去する。

エッジ処理部３０は、ノイズ除去された輝度信号Ｙのエッジを強調する処理を行う。

クロマノイズフィルタ３４は、ローパスフィルタであり、色差信号ＣＢ、ＣＲのノイズを除去する。

ＲＧＢ変換部３６は、輝度信号Ｙとノイズ除去された色差信号から再びＲ画素信号、Ｇ画素信号、Ｂ画素信号を生成する。

ＷＢ（ホワイトバランス）／色補正／γ補正部３８は、Ｒ画素信号、Ｇ画素信号、Ｂ画素信号に対してホワイトバランス補正、色補正及びγ補正を施す。ホワイトバランス補正や色補正、γ補正は公知の技術であるためその説明は省略する。

輝度色差変換部４０は、各種処理が施されたＲ画素信号、Ｇ画素信号、Ｂ画素信号を再び輝度信号Ｙ、色差信号ＣＢ、ＣＲに変換して出力する。

加算器４２は、エッジ処理部３０でエッジ強調処理された輝度信号と輝度色差変換部４０からの輝度信号とを加算し、輝度信号ＹＨとして出力する。

画像メモリ４６は、加算器４２からの輝度信号ＹＨ及び輝度色差変換部４０からの色差信号ＣＢ、ＣＲを格納する。

圧縮伸長回路５２は、画像メモリ４６に格納された輝度色差信号を圧縮して記録媒体５４に格納し、あるいは圧縮されたデータを伸長して画像メモリ４６に格納する。

ＬＣＤ４４は、画像メモリ４６に格納された画像データを表示する。ＬＣＤ４４は、プレビュー画像を表示し、あるいは撮影済み画像を表示する。

操作部５６は、シャッタボタンや各種のモード選択ボタンを含む。操作部５６はタッチパネルで構成されてもよい。

メモリコントローラ５０は、画像メモリ２０、４６の書き込み／読み出しを制御する。

ＣＰＵ５８は、各部の動作を制御する。具体的には、操作部５６からの操作信号に応じてタイミングジェネレータＴＧ４８を制御してＣＣＤ１２からの信号読み出しを開始し、メモリコントローラ５０を制御して画像メモリ２０への書き込み及び読み出しを制御する。また、画像メモリ４６及び圧縮伸長回路５２の動作を制御し、圧縮処理された撮影済み画像を記録媒体５４へ書き込み、あるいは記録媒体５４からデータを読み出して伸長処理してＬＣＤ４４へ表示する。また、ユーザが特定のモードを選択した場合、選択に応じてホワイトバランスを制御する。

以下、図１におけるフィルタ重心移動フィルタ１８について説明する。

図２に、ＣＣＤ１２からの第１の読み出し方法を示す。ＣＣＤ１２の感度を上げるために垂直方向に画素加算して読み出す場合である。ＣＣＤ１２は既述したようにベイヤー配列のカラーフィルタアレイを有し、Ｒ画素（図でＲで示す）、Ｇ画素（図でＧｒ、Ｇｂで示す）、Ｂ画素（図でＢで示す）が所定の配列をなす。ＧｒはＲ画素と同一行に位置するＧ画素であり、ＧｂはＢ画素と同一行に位置するＧ画素である。Ｇ画素に着目すると、垂直方向に位置する３つのＧ画素（Ｇ画素の信号電荷）を互いに加算して１つのＧ画素とする。また、Ｒ画素に着目すると、Ｇ画素と同様に垂直方向に位置する３つのＲ画素を互いに加算して１つのＲ画素とする。また、Ｂ画素についても、垂直方向に位置する３つのＢ画素を互いに加算して１つのＢ画素とする。垂直方向に加算した後においても画素加算前と同様に、Ｇｒ画素とＲ画素の重心と、Ｇｂ画素とＢ画素の重心は等間隔となっている。このような場合、フィルタ重心移動フィルタ１８は、入力画像信号をそのまま通過させればよい。つまり、その動作をＯＦＦ（非動作）とする。なお、図２において、画素加算前の各画素は正方形で示され、垂直方向の画素加算後の各画素は長方形（垂直方向が水平方向よりも長い長方形）として示されている。これは、垂直方向の解像度が水平方向の解像度よりも低いことを示すためである。

図３に、ＣＣＤ１２からの第２の読み出し方法を示す。ＣＣＤ１２の感度を上げるために垂直方向に画素加算して読み出す場合であるが、読み出し方法が異なる。すなわち、図２では、Ｂ画素に着目すると、Ｇｒ２の下に位置するＢ２と、Ｇｒ３の下に位置するＢ３と、Ｇｒ４の下に位置するＢ４を互いに加算して読み出すが、図３では、Ｇｒ１の下に位置するＢ１とＧｒ２の下に位置するＢ２とＧｒ３の下に位置するＢ３を加算して読み出すため、垂直方向に加算した後においては、Ｇｒ画素とＲ画素の重心と、Ｇｂ画素とＢ画素の重心は等間隔とならずズレが生じる。フィルタ重心移動フィルタ１８は、このような場合に動作し、入力画素信号（入力画素データ）の重心を移動させる。すなわち、Ｒ画素とＧｒ画素の行に対しては、Ｒ画素をＲ１及びＲ２とし、Ｇｒ画素をＧｒ１とＧｒ２とすると、
Ｒ１’＝（２Ｒ１＋Ｒ２）／３
Ｇｒ１’＝（２Ｇｒ１＋Ｇｒ２）／３
により新たな画素Ｒ１’及びＧｒ１’を生成する。また、Ｂ画素とＢ１及びＢ２とし、Ｇｂ画素をＧｂ１とＧｂ２とすると、
Ｂ１’＝（Ｂ１＋２Ｂ２）／３
Ｇｂ１’＝（Ｇｂ１＋２Ｇｂ２）／３
により新たな画素Ｂ１’及びＧｂ１’を生成する。この演算により、Ｇｒ画素とＲ画素の重心と、Ｇｂ画素とＢ画素の重心は等間隔となる。他の画素についても同様の計算を繰り返す。このように重心位置を移動させるのは、後段のノイズ処理や補間処理において周囲画素を考慮して処理するが、重心位置が等間隔でないと処理が複雑化してしまうからである。

次に、図１におけるシグマ（Σ）ノイズフィルタ２２について説明する。

図４に、シグマノイズフィルタ２２の動作を示す。処理対象の画素をＬ２２とし、処理対象画素Ｌ２２の周囲にＬ００〜Ｌ４４の８個の画素が存在するものとする。従来のノイズフィルタでは、処理対象画素Ｌ２２と周囲画素Ｌ００〜Ｌ４４の各画素とをそれぞれ比較し、画素値の差分が所定のノイズレベルＮよりも小さければ初期値（例えば１．２２）に順次周囲画素の画素値を加算するとともにカウント値Ｃを１ずつインクリメントし、最後に加算結果をカウント値Ｃで除算することでノイズを除去する。しかしながら、本実施形態では図２あるいは図３に示すように画素加算後の画素は水平方向と垂直方法とで解像度が異なるため、従来の方法では確実にノイズを除去することができない。例えば、処理対象画素Ｌ２２に対して垂直方向の周囲画素Ｌ０２、Ｌ４２は、水平方向の周囲画素Ｌ２０、Ｌ２４よりもＬ２２に対する影響度が小さいはずである。そこで、本実施形態におけるシグマノイズフィルタ２２は、以下のように動作する。すなわち、初期条件をＡＶＧ（Ｌ２２の当初の画素値）、カウント値Ｃ＝１として、まず水平方向の周囲画素Ｌ２０、Ｌ２４を対象として処理対象画素Ｌ２２と比較する。すなわち、差分値＝Ｌ２２−Ｌ２０及び差分値＝Ｌ２２−Ｌ２４をそれぞれ演算し、差分値の絶対値が所定のノイズレベルＮより小さいか否かを判定する。差分値の絶対値が所定のノイズレベルＮより小さい場合には、ＡＶＧに周囲画素を加算するとともにカウント値Ｃを１だけインクリメントする。例えば、差分値＝Ｌ２２−Ｌ２０がノイズレベルＮより小さい場合、ＡＶＧにＬ２０を加算する。

水平方向の周囲画素Ｌ２０、Ｌ２４との比較を行った後、水平方向以外の周囲画素を対象として処理対象画素Ｌ２２と比較する。すなわち、差分値＝Ｌ２２−Ｌｘｘ（Ｌｘｘ＝Ｌ００、Ｌ０２、Ｌ０４、Ｌ４０、Ｌ４２、Ｌ４４）を順次算出し、その差分値の絶対値が所定のノイズレベルＮ／２より小さいか否かを判定する。ここで留意すべきは、差分値の絶対値を比較するのはＮではなくそれよりも小さいＮ／２である点である。垂直方向の解像度は水平方向の解像度に比べて低いため、処理対象画素Ｌ２２に対する影響度あるいは相関度は小さい。そこで、差分値の絶対値と比較すべきノイズレベルをより小さく設定するのである。そして、差分値の絶対値がノイズレベルＮ／２より小さければＡＶＧに周囲画素を加算するとともにカウント値Ｃを１だけインクリメントし、加算して得られたＡＶＧをカウント値Ｃで除算して最終的な平均値を算出する。

以上の動作により、例えばＬ００〜Ｌ４４のうち、Ｌ２２とＬ２０との差分値がノイズレベルＮより小さく、Ｌ２２とＬ４０、Ｌ４２との差分値がノイズレベルＮ／２より小さい場合、ＡＶＧ＝（１．２２＋Ｌ２０＋Ｌ４０＋Ｌ４２）／４によってＬ２２の新たな画素値が算出される。

次に、図１におけるメディアンノイズフィルタ２８の動作について説明する。

図５〜図７に、メディアンノイズフィルタ２８の動作を示す。メディアンノイズフィルタ２８は、通常、処理対象画素を周囲の画素の中央値に置き換えることでノイズを除去する。しかしながら、既述したように本実施形態では画素加算後の画素は水平方向と垂直方法とで解像度が異なるため、従来の方法では確実にノイズを除去することができない。そこで、本実施形態のメディアンノイズフィルタ２８は、図５に示すように、処理対象画素Ｙ２２に対し、水平方向の周囲画素２個と垂直方向の周囲画素２画素の計４画素を用いた中央値で置き換える処理を行う場合、水平方向の周囲画素Ｙ２０、Ｙ２４はそのまま用いるものの、垂直方向に関してはＹ０２、Ｙ４２ではなく、より処理対象画素Ｙ２２に近いＹ１２、Ｙ３１を用いて中央値を算出する。すなわち、Ｙ０２、Ｙ４２、Ｙ２０、Ｙ２４を用いて中央値を算出するのではなく、Ｙ１２、Ｙ３２、Ｙ２０、Ｙ２４を用いて中央値を算出する。垂直方向の解像度は水平方向の解像度よりも低いが、垂直方向の周囲画素として処理対象画素により近い画素を用いることで、垂直方向の低い解像度を補償することができる。言い換えれば、垂直方向の周囲画素として水平方向と同じ程度だけ離れた周囲画素を採用しないことで、ノイズ除去精度を上げることができる。図６に一例を示す。図６に示すように、Ｙ２２＝７０、Ｙ０２＝９０、Ｙ１２＝４０、Ｙ３２＝５０、Ｙ４２＝８０、Ｙ２０＝２０、Ｙ２４＝３０とすると、周囲画素としてＹ０２、Ｙ２０、Ｙ４２、Ｙ２４を用いるとＹ２２を含めて合計５個の輝度値の中央値は７０となり、Ｙ２２のノイズを除去できない。これは、Ｙ２２と相関が少ないＬ０２及びＬ４２を算入してしまうためである。しかし、周囲画素としてＹ１２、Ｙ２０、Ｙ３２、Ｙ２４を用いるとＹ２２を含めて合計５個の輝度値の中央値は４０となり、Ｙ２２のノイズを除去することができる。

また、メディアンノイズフィルタ２８として、図７に示すように処理対象画素に対して斜め方向に位置する４個の周囲画素を用いた中央値で置き換える処理を行う場合においても、垂直方向に関してはより処理対象画素に近い画素を用いることでノイズを確実に除去できる。すなわち、Ｙ００の代わりにＹ０１、Ｙ４０の代わりにＹ４１、Ｙ０４の代わりにＹ０３、Ｙ４４の代わりにＹ４３を用いて中央値を算出する。

次に、図１におけるＣＦＡ補間部２４の動作について説明する。

図８〜図１２に、ＣＦＡ補間部２４の動作を示す。ＣＦＡ補間部２４は、ベイヤー配列のカラーフィルタアレイを有するＣＣＤ１２から出力されたＲ画素信号、Ｇ画素信号、Ｂ画素信号をそれぞれ補間するものである。

図８は、Ｇ画素の補間動作を示す。Ｇ画素は既述したようにＧｒ画素とＧｂ画素から構成される。本実施形態では、垂直方向に画素加算しているため、垂直方向の解像度は水平方向の解像度よりも低い。そこで、Ｇ画素を補間する際には、水平方向の周囲画素のみを用いて画素補間する。例えば、Ｇｒ画素に関しては、補間対象画素に対して水平方向に隣接する２つのＧｒ画素を加算（平均値を算出）して補間する。また、Ｇｂ画素に関しても、補間対象画素に対して水平方向に隣接する２つのＧｂ画素を加算（平均値を算出）して補間する。Ｇｒ画素、Ｇｂ画素ともに垂直方向に位置する周囲画素は算入しない。

図９〜図１１は、Ｒ画素の補間動作を示す。Ｒ画素を補間する際には、まず、Ｇ画素と同様に垂直方向の解像度は水平方向の解像度よりも低いことを考慮し、水平方向の周囲画素のみを用いて画素補間する。図９に、補間対象画素に対して水平方向に隣接する２つのＲ画素を加算（平均値を算出）して補間する様子を示す。しかしながら、これだけではＲ画素の補間として十分ではない。垂直方向に「空き」があるからである。本実施形態では、Ｒ画素の垂直方向の画素補間は、周囲のＲ画素のみではなく周囲のＧ画素の相関を用いて行う。すなわち、Ｇ画素については図８に示すように水平方向の周囲画素の加算により全て補間されている。Ｒ画素の垂直方向の補間を行う際には、補間済みのＧ画素の相関を用い、Ｇ画素の相関に合致するようにＲ画素の垂直方向の補間を行う。但し、図８に示す補間済みのＧ画素にはノイズが含まれている可能性があり、そのまま用いるとＧ画素のノイズがＲ画素にも伝播してしまう可能性がある。そこで、図１０に示すように、Ｇ画素の相関を用いてＲ画素の垂直方向を補間するに先立ち、垂直方向のメディアンノイズフィルタを用いて補間済みのＧ画素の垂直方向のノイズを除去する。例えば、補間済みのＧ画素の同一列にＧｒ１＝５４、Ｇｂ１＝１４、Ｇｒ２＝６２が存在する場合、これら垂直方向の３つの画素の中央値を算出してＧｂ１の値を置き換える。すると、置換後のＧｂ１をＧｂ１’とすると、Ｇｂ１’＝５４となり、垂直方向のノイズが除去される。同様にしてＧｒ２’＝５２となる。このようにして補間済みのＧ画素の垂直方向ノイズを除去した上で、Ｒ画素の垂直方向を補間する。

図１１に、Ｒ画素の垂直方向の補間動作を示す。補間対象画素をＲ、その垂直方向の周囲画素をＲ１、Ｒ２とすると、
Ｒ＝Ｇｂ１’＋｛（Ｒ１−Ｇｒ１’）＋（Ｒ２−Ｇｒ２’）｝／２
により補間する。この式から明らかなように、Ｒ画素の垂直方向の補間は、Ｒ１、Ｒ２のみならず、Ｇ画素のＧｒ１’、Ｇｒ２’、Ｇｂ１’を用いて補間する。

図１２に、Ｂ画素の補間動作を示す。Ｂ画素の補間もＲ画素の補間と同様である。すなわち、まず水平方向の周囲画素のみを用いて補間し、その後、補間済みのＧ画素の相関を用いてＢ画素の垂直方向の補間を行う。補間済みのＧ画素を用いる際には、垂直方向のメディアンフィルタを用いて補間済みのＧ画素の垂直方向ノイズを除去して用いる。補間対象画素をＢ、その垂直方向の周囲画素をＢ１、Ｂ２とすると、
Ｂ＝Ｇｒ２’＋｛（Ｂ１−Ｇｂ１’）＋（Ｂ２−Ｇｂ２’）｝／２
により補間する。Ｇｒ２’、Ｇｂ１’、Ｇｂ２’は、いずれも垂直方向のメディアンフィルタを通過した後の補間済みＧ画素の画素値である。

以上説明したように、本実施形態ではＣＣＤ１２の感度を上げるために垂直方向に画素加算した場合に、ノイズフィルタのノイズ処理や画素補間処理において垂直方向の周囲画素の影響度を小さくする、あるいは、処理対象画素により近い垂直方向画素を採用することでノイズ処理や補間処理の精度を上げることができる。

本実施形態では、垂直方向に画素加算した場合を例示したが、水平方向に画素加算した場合も同様である。この場合、本実施形態における水平方向を垂直方向と読み替え、垂直方向を水平方向と読み替えればよい。

また、本実施形態における垂直方向を鉛直方向、水平方向を鉛直方向に垂直な方向と読み替えてもよい。デジタルカメラを縦向きにして撮影した場合、横向きに撮影した場合の水平方向及び垂直方向はそれぞれ鉛直方向、鉛直方向に垂直な方向（水平方向）になる。

また、本実施形態のクロマノイズフィルタ（ローパスフィルタ）３４の動作についても、垂直方向の重みを調整することで垂直方向の低解像度を考慮したノイズ処理を行うことができる。図１３に、クロマノイズフィルタ３４のフィルタ係数の一例を示す。図においてフィルタＡは従来の係数であり、フィルタＢは本実施形態のフィルタ係数である。

また、本実施形態のエッジ処理部３０の動作についても、垂直方向の重みを調整することで垂直方向の低解像度を考慮したエッジ強調処理を行うことができる。図１４に、エッジ処理部３０のフィルタ係数の一例を示す。図においてフィルタＣは従来の係数であり、フィルタＤは本実施形態のフィルタ係数である。垂直方向に関しては、処理対象画素により近い周囲画素を用いてエッジ強調処理が行われる。

実施形態の構成ブロック図である。ＣＣＤからの読み出し説明図である。ＣＣＤからの他の読み出し説明図である。シグマノイズフィルタの動作説明図である。メディアンノイズフィルタの動作説明図である。メディアンノイズフィルタの動作説明図である。メディアンノイズフィルタの動作説明図である。Ｇ画素の補間説明図である。Ｒ画素の補間説明図である。補間済みＧ画素の処理説明図である。Ｒ画素の補間説明図である。Ｂ画素の補間説明図である。クロマノイズフィルタの係数説明図である。エッジ処理部の係数説明図である。

符号の説明

１２ＣＣＤ、２２シグマ（Σ）ノイズフィルタ、２４ＣＦＡ補間部、２８メディアンノイズフィルタ、５８ＣＰＵ。

Claims

撮像装置であって、
撮像素子と、
前記撮像素子から画素信号を読み出す際に、水平方向あるいは垂直方向のいずれかの方向に複数の画素信号を加算して読み出し、Ｒ画素信号、Ｇ画素信号及びＢ画素信号として出力する読み出し手段と、
前記Ｒ画素信号、前記Ｇ画素信号、前記Ｂ画素信号をそれぞれ補間する補間手段であって、前記Ｇ画素信号に関しては前記水平方向あるいは垂直方向のうち前記加算の方向でない方向の隣接画素を用いて補間し、前記Ｒ画素信号及び前記Ｂ画素信号に関しては前記水平方向あるいは垂直方向のうち前記加算の方向でない方向の隣接画素及び補間済みの前記Ｇ画素信号を用いて補間する補間手段と、
を有することを特徴とする撮像装置。
請求項１記載の装置において、
前記水平方向あるいは垂直方向のうち前記加算の方向を第１方向、加算の方向でない方向を第２方向とした場合に、前記補間手段は、前記Ｒ画素信号及び前記Ｂ画素信号に関しては前記第２方向の隣接画素を用いて前記第２方向に補間し、前記第１方向の隣接画素及び補間済みの前記Ｇ画素信号を用いて前記第１方向に補間することを特徴とする撮像装置。
請求項２記載の装置において、
前記補間手段は、前記補間済みのＧ画素信号を用いて前記Ｒ画素信号及び前記Ｂ画素信号を補間する際に、前記補間済みの前記Ｇ画素信号の前記第１方向のノイズを除去することを特徴とする撮像装置。
請求項３記載の装置において、
前記補間手段は、前記補間済みの前記Ｇ画素信号の前記第１方向のノイズをメディアンフィルタで除去することを特徴とする撮像装置。
請求項１記載の装置において、
前記読み出し手段から出力された前記Ｒ画素信号、前記Ｇ画素信号、前記Ｂ画素信号のうち、前記水平方向あるいは垂直方向のうち前記加算の方向に関して前記Ｒ画素信号と前記Ｂ画素信号の間隔が等間隔でない場合に、該間隔を等間隔とするように前記Ｒ画素信号及び前記Ｂ画素信号を変換する変換手段と、
を有することを特徴とする撮像装置。