JP2008109543A - 撮像装置 - Google Patents

Abstract

【課題】 複数の画素を共有する撮像素子の構造によって発生する共有画素周期のバンドノイズを、信号処理によって補正する撮像装置を提供する。
【解決手段】 ２は外界の画像を結ぶレンズ系、３は前記レンズ系２からの光を受ける撮像素子、４は前記撮像素子３からの画像信号を信号処理して外部に出力する信号処理部、５−１は前記信号処理部４内に有するＢＥＦ部、１は前記レンズ系２と前記撮像素子３と前記信号処理部４を備える撮像装置である。前記撮像素子３は垂直或いは水平方向に複数の画素を共有する構造であり、前記ＢＥＦ部５−１は前記撮像素子３が画素を共有する方向と同一方向のラインに対して信号処理がなされ共有画素周期の周波数を減衰できる帯域阻止フィルタを有する。
【選択図】図１

Description

本発明は、ＣＭＯＳ等の撮像素子を有し、複数の画素を共有する撮像素子の構造によって発生する、共有画素周期のライン間信号レベル差（以降バンドノイズと称する）を、信号処理によって補正する撮像装置に関するものである。

撮像装置はより高画素化が求められている中、近年複数の画素を共有する構造によって
高画素化を実現する撮像素子が現れている。この構造として特許文献１に示される例を上げる。
特開２００６−５４２７６

図３０は前記特許文献１に記載された撮像素子の各構成要素の配置レイアウト例を示している。図３０では、光電変換を行う光電変換部１０１と、その光電変換部１０１での光電変換によって発生した電荷を電圧に変換する電圧変換部１０２と、光電変換部１０１から電圧変換部１０２への電荷の読み出しを制御する転送ゲ−ト１０３と、電圧変換部１０２により変換された電圧信号に対する処理を行う回路群（リセットゲ−ト等のトランジスタ群）が配置されるトランジスタ領域１０４と、電圧変換部１０２とトランジスタ領域１０４における回路群とを電気的に接続する配線１０５と、を備えている。これらの構成要素のレイアウトは、複数列と複数行とからなる二次元アレイ状に配置された光電変換部１０１に対して、その二次元アレイ中の斜めに隣り合う二つの光電変換部１０１−１と１０１−２、及び１０１−３と１０１−４の間にそれぞれ電圧変換部１０２−１、及び１０２−２が配置され、二つの光電変換部１０１−１と１０１−２はそれぞれに付設された転送ゲ−ト１０３−１、１０３−２を介して電圧変換部１０２−１を共用し、同じく他の二つの光電変換部１０１−３と１０１−４はそれぞれに付設された転送ゲ−ト１０３−３、１０３−４を介して電圧変換部１０２−２を共用するように構成されている。更に、電圧変換部１０２が配置されていない光電変換部１０１同士の間には、トランジスタ領域１０４が設けられているが、そのトランジスタ領域１０４における回路群を、該当回路群と配線１０５を介して電気的に接続する二つの電圧変換部１０２が共用するように構成されている。このとき、共用される回路群としては、ＲST（リセット）トランジスタやSEL（セレクト）トランジスタ等があるが、これらの各回路要素は、複数のトランジスタ領域１０４に分散した配置がなされている。このように複数の要素を共用して共有単位１０６を構成することで光電変換部の領域面積の確保を行っている。なお、共用化を行った共有単位１０６を回路図で表すと図３１である。

しかしながら、前記特許文献１に記載の方法では、例えは次の二つの課題が容易に想像できる。

第１の課題は、共有単位内の回路の不均一性である。図３１に示される回路は、例えば配線長の違いによる配線抵抗や配線容量が表現されていない。共用部分の配置次第で様々ではあるが、一例として図３２を上げる。図３２は、リセットゲ−ト１０８をトランジスタ領域１０４−１に、その他のトランジスタ群をトランジスタ領域１０４−２に配置したことを想定する。電圧変換部１０２−１、１０２−２はそれぞれ同一の静電容量を有し、配線等によるその他の容量は十分無視できる容量を有すると仮定する。更に、配線１０５−２には周波数依存性の無い抵抗成分と表皮効果による周波数依存性のある抵抗成分の和である配線抵抗１０５−２Ｒが、配線１０５−３にも同様の成分で配線抵抗１０５−３Ｒが現れるものと仮定すると図３２の等価回路として表せる。この回路において、各光電変換部１０１によって光電変換された電荷は、各転送ゲ−ト１０３によって２つの電圧変換部１０２−１及び１０２−２に読み出される。この読み出しからリセットゲ−ト１０８によるリセットまでの時間が十分に長ければ、電圧変換部１０２−１の容量と電圧変換部１０２−２の容量が同じであると仮定したことから同じ電荷となる。仮に同じ電荷となった状態と仮定したとして、その後リセットゲ−ト１０８が動作したとする。仮にこのリセット時間が十分でなかった場合、電圧変換部１０２−１の電荷は速やかにリセットされるが、電圧変換部１０２−２の電荷は配線抵抗１０５−２Ｒ及び１０５−３Ｒの影響を受けて十分なリセットがなされない。つまり電圧変換部１０２−１の電荷と電圧変換部１０２−２の電荷に一時的な相違が発生する。その後十分な時間が経過した場合は電圧変換部１０２−１と１０２−２の電荷は同じになるが、仮に相違の残っている状態で次の光電変換部１０１の読み出しが行われた場合、十分にリセットされた電圧変換部１０２−１との関係にも違いがでる。仮に各光電変換１０１−１から１０１−４が同じ量の光電変換となったとする。それに対し、それぞれの読み出しを行った場合、光電変換部１０１−１或いは１０１−２の読み出し時は電圧変換部１０２−１との間には抵抗は無く、電圧変換部１０２−２との間には配線抵抗１０５−２Ｒと配線抵抗１０５−３Ｒの和が発生する。一方光電変換部１０１−３或いは１０１−４の読み出し時は電圧変換部１０２−２との間には抵抗は無く、電圧変換部１０２−１との間には配線抵抗１０５−２Ｒと配線抵抗１０５−３Ｒの和が発生する。この読み出し時間も十分な時間が確保できなかった場合、十分なリセットが行われた電圧変換部１０２−１との間に抵抗が無い光電変換部１０１−１或いは１０１−２の読み出しの方が多く電荷を読み出しできることになる。このように、仮に各光電変換部１０１の光電変換量が同じであったとしても、光電変換部１０１−１或いは１０１−２からの読み出しと、光電変換部１０１−３或いは１０１−４からの読み出しとの間に差が発生する。この差は相対的な数値で置き換えると例えば次ぎのようになる。光電変換部１０１−１で読み出される量を２とすると、光電変換部１０１−２で読み出される量も２となる。一方で光電変換部１０１−３で読み出される量は光電変換部１０１−１よりも少ない値として仮に１と想定でき、その場合光電変換部１０１−４で読み出される量も１となる。共有単位１０６の４つの画素が共有されている方向を仮に垂直方向とすると、各共有単位１０６は水平方向に並んでいる。それぞれの共有単位１０６は各単位ごとに同じ配置レイアウトとなるため、光電変換部１０１の読み出し量の差は上記の差が繰り返されることになる。従って、仮に各光電変換部１０１−１が並ぶラインをライン１０７−１、各光電変換部１０１−２が並ぶラインをライン１０７−２、各光電変換部１０１−３が並ぶラインをライン１０７−３、各光電変換部１０１−４が並ぶラインをライン１０７−４とすると、ライン１０７−１及び１０７−２は２、ライン１０７−３及び１０７−４は１の水平ライン単位での差が発生することになる。共有単位１０６は垂直方向にも順次並ぶことになるので、水平ライン単位での差が４ライン周期で発生することとなる。これを垂直方向の１ラインで見るとライン１０７−１とライン１０７−２の間、及びライン１０７−３とライン１０７−４の間にピ−クを持つ４画素周期の単一周波数と見なせるノイズが発生していることになる。以上のように、共有単位内の回路の不均一性によって、共有する画素方向のラインに、共有する画素周期のノイズが発生することが容易に想像できる。

第２の課題は、共有単位内の配線層の不均一性である。図３３は光電変換部１０１と光電変換部１０１の周辺に配線される配線層１０９との関係を示す図である。配線層１０９は配線１０５や図示しないその他の配線によってなされるもので、目的によって配線層の高さや位置関係に違いが出る。配線層１０９−１は配線層１０９−３よりも高い場合の例であり、配線層１０９−２は配線層１０９−３よりも光電変換部１０１から離れている場合の例である。この場合ある角度を持った入射光１１０が入射された場合、各配線層１０９によって光電変換部１０１への入射光量に差が発生してしまう。配線層１０９の高さや位置関係は共有単位１０６内での差の関係になることは容易に想像できる。仮に配線１０５−１、１０５−２、及び１０５−３が垂直方向に配線され、これが配線層１０９−１と光電変換部１０１との関係になったとし、各光電変換部１０１のその他の各辺は全て配線層１０９−２と光電変換部１０１との関係になったとする。この場合、入射光１１０が右方向或いは左方向からの角度を持った入射であった場合、光電変換部１０１−４に比べて光電変換部１０１−１、１０１−２、及び１０１−３は配線層の影響を受けて光電変換量が少ないことになる。この差についても相対的な数値で置き換えると、例えば光電変換部１０１−１、１０１−２、及び１０１−３を同一の読み出し量である１とすると、光電変換部１０１−４の読み出し量はそれよりも大きい、例えば２となる。従って、水平のライン１０７−１、１０７−２、及び１０７−３は１であるのに対してライン１０７−４は２となる４ライン周期の差が発生することになる。この場合に垂直方向の１ラインに現れる周波数成分は、４画素周期を基本周波数とした成分と２倍高調波成分が重畳されたノイズが発生していることとなる。このノイズは光の入射角の違いによって発生強度に変化が現れることが容易に想像できるので、この例の場合は例えば画像の右側や左側がレンズとの関係で出やすいと想像できる。以上のように、共有単位内の配線層の不均一性によって、共有する画素方向のラインに、共有する画素周期のノイズが発生することが容易に想像できる。

このように、複数の画素を共有する構造の撮像素子は、共有する画素方向のラインに、共有する画素周期のノイズを発生してしまうことが容易に想像できる。また、共有単位１０６は共有画素方向とは直角方向に並ぶため、共有画素方向と直角のラインにはノイズは発生せず、画像としてライン状のスジとして見えるバンドノイズが発生することが容易に想像できる。

本発明は、上記課題を解決するために、共有画素周期で発生するバンドノイズを信号処理によって除去する撮像装置を提供するものである。

前記従来の課題を解決するため、本発明の請求項１に記載の撮像装置は、撮像素子が共有する画素方向と同一方向のラインに対して、撮像素子が発生させる共有画素周期のバンドノイズ周波数を減衰させるＢＥＦを有する第１のＢＥＦ部を備えることとした。

この構成によって、第１のＢＥＦ部の処理が行われるライン方向に含まれる、固定周波数となるバンドノイズと同一の周波数成分のみ減衰させることができる。

本発明の請求項２に記載の撮像装置は、請求項１に記載の第１のＢＥＦ部で有するＢＥＦおよびＢＥＦで処理するライン方向の画像輪郭であるエッジを検出できる第１のエッジ検出部を有する第２のＢＥＦ部と、第２のＢＥＦ部への入力画像信号と、第２のＢＥＦ部を通過した画像信号との加算比率を、第１のエッジ検出部からの検出信号をもとに変化させることのできる混合部とを備えることとした。

この構成によって、１つのラインの中に含まれる画像信号のエッジを検出し、エッジ付近ではＢＥＦの強度を弱めることができる。

本発明の請求項３に記載の撮像装置は、請求項２に記載の第１のエッジ検出部を、ＨＰＦとした。

この構成によって、１つのラインの中に含まれる２画素周期となる高周波成分をピ−クとした高周波成分を取り出すことができる。

本発明の請求項４に記載の撮像装置は、請求項２に記載の第１のエッジ検出部が、注目画素及び注目画素周辺（ＢＥＦで処理するライン方向）の画素の中で、最大の値と最小の値とを判別して前記最大の値と前記最小の値の差を出力することとした。

この構成によって、１つのラインの中で、注目画素周辺の画素幅内の最大の変動範囲を取り出すことができる。

本発明の請求項５に記載の撮像装置は、請求項２に記載の第１のエッジ検出部が、２つの入力の中で最大となる値を出力する第１の最大値選択部と、２つの入力の中で最小となる値を出力する最小値選択部とを有し、第１の最大値選択部の第１の入力は、第１のエッジ検出部への入力信号であり、第１の最大値選択部の第２の入力は、第１の最大値選択部の出力からＢＥＦで処理するライン方向に遅延させた信号を、第１のエッジ検出部への入力信号に帰還さるＬＰＦの特性の信号であり、最小値選択部の第１の入力は、第１のエッジ検出部への入力信号であり、最小値選択部の第２の入力は、最小値選択部の出力からＢＥＦで処理するライン方向に遅延させた信号を、第１のエッジ検出部への入力信号に帰還さるＬＰＦの特性の信号であり、第１の最大値選択部と最小値選択部の出力の差を出力することとした。

この構成によって、エッジ付近で最大の値でエッジから離れるに伴ってレベルが下がる検出信号を取り出すことができる。

本発明の請求項６に記載の撮像装置は、請求項２に記載の第１のエッジ検出部が、第２のＢＥＦ部への入力画像信号からの信号と、ＢＥＦを通過した信号との差分の絶対値を出力することとした。

この構成によって、ＢＥＦを通過した信号が入力画像信号に対してずれた量を取り出すことができる。

本発明の請求項７に記載の撮像装置は、請求項１に記載の第１のＢＥＦ部に、第１のＢＥＦ部への入力画像信号がそれぞれ直接入力されるＢＥＦを有する第４のＢＥＦ部を複数有する第３のＢＥＦ部と、第１のＢＥＦ部への入力画像信号と複数の第４のＢＥＦ部の出力信号をもとに、複数の第４のＢＥＦ部の出力信号を選択して出力する第１のフィルタ選択部とを備えることとした。

この構成によって、入力画像信号や複数の第４のＢＥＦ部の出力信号をもとに、出力信号として複数のＢＥＦの中から選択することができる。

本発明の請求項８に記載の撮像装置は、請求項７に記載の第１のフィルタ選択部に、第１のＢＥＦ部への入力画像信号と複数の第４のＢＥＦ部の出力信号の何れかから、ＢＥＦで処理するライン方向のエッジを検出できる第２のエッジ検出部と、第２のエッジ検出部からの検出信号をもとに複数の第４のＢＥＦ部の出力信号を選択して出力する第２のフィルタ選択部とを備えることとした。

この構成によって、エッジ検出信号のレベルに応じて出力信号として複数のＢＥＦの中から選択することができる。

本発明の請求項９に記載の撮像装置は、請求項７に記載の第１のフィルタ選択部に、第１のＢＥＦ部への入力画像信号に対して複数の第４のＢＥＦ部の出力信号の差分の絶対値をそれぞれ出力する複数の第１の差分演算部と、複数の第１の差分演算部から出力された信号の中で、最小値を判別し、最小値となった第１の差分演算部の入力となる第４のＢＥＦ部の出力信号を選択して出力する第１の差分最小値側選択部とを備えることとした。

この構成によって、各ＢＥＦの出力信号が入力画像信号に対して最も差の少ないＢＥＦを各画素ごとに判別することができる。

本発明の請求項１０に記載の撮像装置は、請求項１に記載の第１のＢＥＦ部に、第１のＢＥＦ部への入力画像信号について、ＢＥＦで処理するライン方向の１ラインの各画素信号を予め蓄積可能で、蓄積順及びその逆順どちらからの順番でも読み出し可能な第１のラインメモリと、第１のＢＥＦ部への入力画像信号の１ラインに対して第１のラインメモリから蓄積順の順方向読み出しラインと第１の逆方向読み出しラインのそれぞれの処理を行うことができ、無限のインパルス応答継続時間となるIIＲ−ＢＥＦとしたＢＥＦを有する第５のＢＥＦ部と、第５のＢＥＦ部を通過した順方向読み出しライン、或いは第１の逆方向読み出しラインの何れか一方の１ラインの各画素信号を蓄積可能で、蓄積順に対して第２の逆方向読み出しラインで読み出し可能な第２のラインメモリと、第２の逆方向読み出しラインの各画素信号と、第２のラインメモリに蓄積する際に第１のラインメモリから読み出した順とは逆の順方向読み出しライン或いは第１の逆方向読み出しラインの各画素信号と、の差分の絶対値を出力する第２の差分演算部と、第２のラインメモリに蓄積する際に第１のラインメモリから読み出した順とは逆の順方向読み出しライン或いは第１の逆方向読み出しラインの各画素信号が、第５のＢＥＦ部を通過する前と後との差分の絶対値を出力する第３の差分演算部と、同一画素位置における、第２、第３の差分演算部の出力信号の最小値を判別し、最小値となった第２或いは第３の差分演算部の入力となる第５のＢＥＦ部の出力信号、或いは第２のラインメモリの出力信号を選択して出力する第２の差分最小値側選択部とを備えることとした。

この構成によって、１つのラインに対して、同一特性のIIＲ−ＢＥＦを２つの方向から処理し、それらの結果と入力画像信号との差を、同一座標の画素単位で判別し、入力画像信号との差が少ない方向の処理結果の出力を選択することができる。

本発明の請求項１１に記載の撮像装置は、請求項１に記載の第１のＢＥＦ部が、目的の周波数の基本周波数を阻止する第６−１のＢＥＦ部から、目的の周波数のｎ次高調波を阻止する第６−ｎのＢＥＦ部までの何れかを有し、互いに直列接続されていることとした。

この構成によって、基本周波数からｎ次高調波までの周波数を離散的に減衰させることができる。

本発明の請求項１２に記載の撮像装置は、請求項１に記載の第１のＢＥＦ部が、ＢＰＦを有するＢＰＦ部と、信号のゲイン調節が可能なアンプとを備え、前記ＢＰＦ部および前記アンプは、第６−１のＢＥＦ部から第６−ｎのＢＥＦ部の最終出力或いは入力と互いに直列接続されていることとした。

この構成によって、直流成分及び２画素周期の周波数に対して、その間の周波数成分の信号レベルを相対的に上げることができ、各フィルタによって変化した信号レベルをアンプによって調節することができる。

本発明の請求項１３に記載の撮像装置は、請求項２に記載の第２のＢＥＦ部に、請求項７、８、９のいずれかに記載の第３のＢＥＦ部と、第１のフィルタ選択部とを備えることとした。

この構成によって、フィルタ効果を維持しつつ劣化を抑えたＢＥＦ処理後の信号について、エッジ付近で強度を弱めることができる。

本発明の請求項１４に記載の撮像装置は、請求項２に記載の第１のエッジ検出部が、請求項８に記載の第２のエッジ検出部で兼用することとした。

この構成によって、フィルタ効果を維持しつつ劣化を抑えたＢＥＦ処理、及びエッジ付近でフィルタの強度を弱める処理、の両方に１つのエッジ検出部のみとすることができる。

本発明の請求項１５に記載の撮像装置は、請求項２に記載の第１のエッジ検出部が、請求項９に記載の複数の第１の差分演算部の出力の中で最大となる値を出力する第２の最大値選択部を追加した第３のエッジ検出部で兼用することとした。

この構成によって、フィルタ効果を維持しつつ劣化を抑えたＢＥＦ処理、及びエッジ付近でフィルタの強度を弱める処理、の両方に目的の異なる複数の第１の差分演算部を兼用することができる。

本発明の請求項１６に記載の撮像装置は、請求項２〜１０、１３〜１５のいずれかに記載のＢＥＦに、請求項１１、或いは請求項１２のＢＥＦ部を使用することとした。

この構成によって、フィルタ効果を維持しつつ劣化を抑えたＢＥＦ処理、及びエッジ付近でフィルタの強度を弱める処理、の何れについても複数の周波数の減衰を行うことができる。

本発明の請求項１７に記載の撮像装置は、請求項１に記載の第１のＢＥＦ部への入力前に、予め把握している撮像素子の垂直或いは水平画素方向のノイズ傾向と入力画像信号から、ノイズ量を予測計算して入力信号から減算することができる補正部を備えることとした。

この構成によって、ＢＥＦ部への入力前に予めバンドノイズ成分を軽減することができる。

以上のように、本発明の請求項１に記載の撮像装置によれば、固定周波数のバンドノイズと同一の周波数成分のみ減衰させることができるので、その他の周波数成分である画像信号への劣化の影響を少なく抑えることができる。

本発明の請求項２に記載の撮像装置によれば、エッジ付近のＢＥＦの強弱を制御できるので、画像信号のエッジ付近に発生するリンギングの発生を抑える制御ができる。

本発明の請求項３に記載の撮像装置によれば、エッジ信号を一時的に発生した高周波成分として検出することができる。

本発明の請求項４に記載の撮像装置によれば、注目画素周辺の画素幅付近では同じ変動範囲を取り出すことができるので、エッジ付近の一定の幅で安定した検出レベルとすることができる。

本発明の請求項５に記載の撮像装置によれば、エッジ付近に重みを持たせた検出信号を取り出すことができるので、ＢＥＦの強度をエッジに近いほど弱める制御ができる。また、遅延回路は最大値側と最小値側にそれぞれ１つのままで、エッジ付近との重みの関係をＬＰＦ内の係数を変更するだけで調節することができる。

本発明の請求項６に記載の撮像装置によれば、ＢＥＦの特性によって発生するリンギングや遅延成分から発生する入力画像信号との差をエッジ付近と見なした検出信号を取り出すことができる。

本発明の請求項７に記載の撮像装置によれば、リンギングの振幅や画素幅、目的の周波数以外の周波数の減衰、及び遅延によって入力画像信号からの劣化に違いが出る複数のＢＥＦを有することができるので、劣化の影響が少ないＢＥＦを画像信号の状態に応じて切り替えることができる。また、何れのＢＥＦが選択されても常に目的の周波数を減衰するＢＥＦであるため、フィルタ効果は維持される。

本発明の請求項８に記載の撮像装置によれば、エッジ検出信号のレベルに応じてエッジに対して劣化の少ないＢＥＦを切り替えることができる。また、何れのＢＥＦが選択されても常に目的の周波数を減衰するＢＥＦであるため、フィルタ効果は維持される。

本発明の請求項９に記載の撮像装置によれば、入力画像信号に対して最も差の少ない信号を判別できるので、リンギング、目的の周波数以外の周波数の減衰、及び遅延による劣化の少ない信号を毎画素ごとに出力できる。また、何れのＢＥＦが選択されても常に目的の周波数を減衰するＢＥＦであるため、フィルタ効果は維持される。

本発明の請求項１０に記載の撮像装置によれば、IIＲ−ＢＥＦで発生するリンギングがエッジに対して後側となることから、処理方向を変えることで同じエッジに対してリンギングの発生方向を２種類とした処理結果を作り出すことができる。これによりリンギングによる入力画像信号との差を大きくすることで、入力画像信号からの劣化の少ない信号を判別することができる。また、２種類の処理結果はどちらもIIＲ−ＢＥＦによるものであるため、常に目的の周波数を減衰するフィルタ効果は維持される。

本発明の請求項１１に記載の撮像装置によれば、バンドノイズの周波数成分が基本周波数のみならず、２次、３次等の高調波成分を含む場合、これらの周波数別のノイズ除去を行うことができる。

本発明の請求項１２に記載の撮像装置によれば、複数のＢＥＦの重なりによって目的の周波数以外の周波数の減衰量も大きくなるため、ＢＰＦによって減衰が大きくなってしまった周波数付近のゲインを相対的に上げ、目的の周波数以外の周波数のゲインを均一化することができる。

本発明の請求項１３に記載の撮像装置によれば、フィルタ効果を維持しつつ劣化を抑えたＢＥＦ処理後の信号に残るエッジ付近の劣化の影響を抑える制御ができる。

本発明の請求項１４、及び１５に記載の撮像装置によれば、フィルタ効果を維持しつつ劣化を抑える効果と、エッジ付近でフィルタの強度を弱める効果の２つの効果を得るために、それぞれに必要とする構成を一部兼用できるので、構成規模の増加を軽減できる。

本発明の請求項１６に記載の撮像装置によれば、高調波成分を有するバンドノイズに対して、フィルタ効果を維持しつつ劣化を抑える効果と、エッジ付近でフィルタの強度を弱める効果を得られる構成が実現できる。

本発明の請求項１７に記載の撮像装置によれば、第１のＢＥＦ部に入力されるバンドノイズは予め軽減されているため、使用するＢＥＦの特性は、目的の周波数の減衰量を予め小さくした強度の弱いものを使用できる。従って、リンギング、目的の周波数以外の周波数の減衰、及び遅延による劣化の影響を少なくすることができる。

以下に、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は本発明の実施の形態１における構成図である。図１において、２は外界の画像を結ぶレンズ系、３は前記レンズ系２からの光を受ける撮像素子、４は前記撮像素子３からの画像信号を信号処理して外部に出力する信号処理部、５−１は前記信号処理部４内に有するＢＥＦ部、１は前記レンズ系２と前記撮像素子３と前記信号処理部４を備える撮像装置である。前記撮像素子３は垂直或いは水平方向に複数の画素を共有する構造であり、仮に垂直方向に４画素を共有する構造とする。前記ＢＥＦ部５−１は前記撮像素子３が共有する画素方向と同一方向の垂直ラインに対して４画素周期となる周波数を減衰させるＢＥＦを有する。図１７（ａ）は４画素周期の周波数を減衰させるＢＥＦの例である。尚、この例ではIIＲ−ＢＥＦとしたが、有限のインパルス応答継続時間となるFIＲフィルタ（以降FIＲ−ＢＥＦと称する）であっても良い。このIIＲ−ＢＥＦのゲイン−周波数特性は図１７（ｂ）に示す通りとなり、４画素周期の周波数は十分に減衰し、その他の周波数はほとんど減衰しない特性となっている。

以上のように本実施の形態によれば、撮像素子３によって発生する垂直方向に４画素周期固定のバンドノイズのみを減衰させ、その他の周波数成分に相当する画像信号は減衰による劣化を抑えることができる。

（実施の形態２）
図２は本発明の実施の形態２における構成図である。尚、撮像素子は垂直方向に４画素を共有する構造とする。

図２において、６−１は入力画像信号をもとに垂直ライン方向のエッジを検出できるエッジ検出部、５−３は実施の形態１に記載のＢＥＦと前記エッジ検出部６−１を有する第２のＢＥＦ部、７は入力画像信号と第２のＢＥＦ部５−３を通過した画像信号との加算比率を、エッジ検出部６−１からの検出信号をもとに変化させることのできる混合部、５−２は第２のＢＥＦ部５−３と混合部７を有するＢＥＦ部である。ＢＥＦ部５−２は、図１のＢＥＦ部５−１に該当する。ここで使用するＢＥＦには図１８（ａ）を例として説明する。なお、本明細書において、ＢＥＦ部は、ＢＥＦを備え、目的の周波数を減衰させる機能を有する構成を意味する。説明の便宜上、ＢＥＦ部には、「第２のＢＥＦ部」等と名称を付し、互いに異なるＢＥＦ部を区別する。図１８（ａ）は、図１７（ａ）と同様に４画素周期の周波数を減衰させるＢＥＦの例である。このＢＥＦのゲイン−周波数特性は図１８（ｂ）に示す通りとなる。またエッジ検出部６−１は図３で示すＨＰＦとしたエッジ検出部６−２として説明する。図１８（ａ）に示すＢＥＦに図１９（ａ）で示す画像信号が入力されたとする。図１９（ａ）の横軸は垂直ライン方向の各画素に相当し、縦軸は各画素のレベルである。また、横軸の左の画素から順次図１８（ａ）のＢＥＦに入力されたとする。この場合の図１８（ａ）のＢＥＦの出力は図１９（ｂ）のようになり、エッジの発生した２画素は入力信号に対して劣化を起こしていることがわかる。一方でエッジ検出部６−２に同様の図１９（ａ）を入力すると図１９（ｃ）が得られ、劣化が発生した２画素の位置にレベルが発生していることわかる。従って、混合部７はエッジ検出部６−２で得られた信号をもとに、２画素についてはＢＥＦ部５−３からの画像信号を０％、入力画像信号を１００％で加算した出力を行い、その他の画素についてはＢＥＦ部５−３からの画像信号を１００％、入力画像信号を０％で加算した出力を行うことができる。

以上のように本実施の形態によれば、ＢＥＦによってエッジ付近に発生する画像信号の劣化を抑えることができる。また、ＨＰＦはエッジ信号を一時的に発生した高周波成分として検出することができる。

（実施の形態３）
図４は本発明の実施の形態３における構成図である。図４において、８−２−１から８−２−４は入力画像信号を１画素遅延させる１画素遅延回路、１１−１は入力画像信号及び順次遅延された入力画像信号の中から最大値を選択して出力する最大値選択部、１２−１は前記最大値選択部１１−１と同様の入力信号の中で最小値を選択して出力する最小値選択部、１０−２は前記最大値選択部１１−１から前記最小値選択部１２−１の出力を減算して出力する減算器、６−３は前記１画素遅延回路８−２−１から８−２−４と前記最大値選択部１１−１と前記最小値選択部１２−１と前記減算器１０−２を有するエッジ検出部であり、エッジ検出部６−３は図２のエッジ検出部６−１に該当する。このエッジ検出部６−３に図１９（ａ）同様の入力があった場合は、図２０（ｂ）のように、エッジの発生した画素以降の４画素で一定の検出信号が得られている。一定の検出画素幅である４画素は１画素遅延回路を４つ設けたことによるものであり、検出幅を更に広く得る場合は１画素遅延回路を更に追加すれば良い。

以上のように本実施の形態によれば、エッジ付近の一定の幅で安定した検出レベルとすることができるのでエッジ付近で安定した混合比率の切り替えを行うことができる。更に、１画素遅延回路の数で一定幅を調節できるので、ＢＥＦの特性によって異なるエッジ付近の劣化の幅に応じた混合比率の調節が可能である。

（実施の形態４）
図５は本発明の実施の形態４における構成図である。図５において、１１−２は２つの入力の中で最大となる値を出力する最大値選択部、８−３−１は前記最大値選択部１１−２の出力を１画素遅延させる１画素遅延回路、９−２−２は前記１画素遅延回路８−３−１からの信号を減衰させるアンプ、９−２−１は入力画像信号を減衰させるアンプ、１０−３−１は前記アンプ９−２−１と９−２−２の出力を加算して出力する加算器、１２−２は２つの入力の中で最小となる値を出力する最小値選択部、８−３−２は前記最小値選択部１２−２の出力を１画素遅延させる１画素遅延回路、９−２−４は前記１画素遅延回路８−３−２からの信号を減衰させるアンプ、９−２−３は入力画像信号を減衰させるアンプ、１０−３−２は前記アンプ９−２−３と９−２−４の出力を加算して出力する加算器、１０−３−３は前記最大値選択部１１−２の出力から前記最小値選択部１２−２の出力を減算して出力する減算器、６−４はこれらで構成されたエッジ検出部であり、エッジ検出部６−４は図２のエッジ検出部６−１に該当する。

最大値選択部１１−２の第１の入力は、入力画像信号であり、第２の入力は加算器１０−３−１の出力である。最小値選択部１２−２の第１の入力は、入力画像信号であり、第２の入力は加算器１０−３−２の出力である。

アンプ９−２−１と９−２−２の減衰量は、合計が１となるようにする。ここでは仮に１／８と７／８とする。アンプ９−２−３と９−２−４の減衰量も同様に、合計が１となるようにする。ここでは仮に１／８と７／８とする。

この構成により前記最大値選択部１１−２の出力は入力画像信号に対して下回らないＬＰＦの特性が得られ、前記最小値選択部１２−２の出力は入力信号に対して上回らないＬＰＦの特性が得られる。このエッジ検出部６−４に図１９（ａ）同様の入力があった場合は、図２１（ｂ）のように、エッジの発生した画素を最大としてエッジから離れるほどレベルが下がる特性が得られる。アンプの減衰量を仮に１／８と７／８としたが、これを仮に１／１６と１５／１６とすると帰還成分が強くなるので、エッジの発生した画素で発生するレベルに対してエッジから離れてもレベルが下がらずに継続する傾向が強くなる。

以上のように本実施の形態によれば、エッジ付近に重みを持たせた検出信号を取り出すことができるので、ＢＥＦの強度をエッジに近いほど弱める制御ができる。また、遅延回路は最大値側と最小値側にそれぞれ１つのままで、アンプの減衰量の調節のみでエッジ付近との重みの関係を調節することができるので、ＢＥＦの特性によって異なるエッジ付近の劣化の幅に応じた混合比率の調節が可能である。

（実施の形態５）
図６は本発明の実施の形態５における構成図である。図６において、５−４はＢＥＦを有する第３のＢＥＦ部、１３−１は入力画像信号と第３のＢＥＦ部５−４の出力信号の差分の絶対値を出力する差分演算部、６−５は差分演算部１３−１を有するエッジ検出部であり、エッジ検出部６−５は図２のエッジ検出部６−１に該当する。第３のＢＥＦ部５−４が有するＢＥＦを図１８（ａ）とし、図１９（ａ）同様の入力があった場合は、差分演算部１３−１の出力は図１９（ｄ）となる。

以上のように本実施の形態によれば、ＢＥＦの特性によって発生するリンギングや遅延成分から発生する入力信号との差をエッジ付近と見なした検出信号を取り出すことができる。また、１画素遅延回路を使わずにエッジ検出部を構成できる。

（実施の形態６）
図７、図９、図１５、及び図２２は本発明の実施の形態６における構成図である。

図７において、５−７−１から５−７−ｎはそれぞれ特性が異なるが目的の周波数を減衰できるＢＥＦを有する第４のＢＥＦ部、５−６は前記第４のＢＥＦ部５−７−１から５−７−ｎを有する第３のＢＥＦ部、１４−１は入力画像信号と前記複数の第４のＢＥＦ部５−７−１から５−７−ｎの出力信号をもとに、前記複数の第４のＢＥＦ部５−７−１から５−７−ｎの出力信号を選択して出力するフィルタ選択部、５−５は前記第３のＢＥＦ部５−６と前記フィルタ選択部１４−１を有するＢＥＦ部であり、ＢＥＦ部５−５は図１のＢＥＦ部５−１に該当する。

図９において、１３−３−１は入力画像信号と前記第４のＢＥＦ部５−７−１の出力の差分の絶対値を出力する差分演算部、１３−３−２から１３−３−ｎまで同様にしてそれぞれの第４のＢＥＦ部５−７−ｎまでに対応した差分演算部、１５−１は前記差分演算部１３−３−１から１３−３−ｎの出力の中で、最小値を判別し、最小値となった前記差分演算部１３−３の入力となる前記第４のＢＥＦ部５−７の出力信号を選択して出力する差分最小値側選択部、１４−５は前記差分演算部１３−３−１から１３−３−ｎと前記差分最小値側選択部１５−１とを有するフィルタ選択部であり、フィルタ選択部１４−５は図７のフィルタ選択部１４−１に該当する。

図１５において、１１−４は図９の差分演算部１３−３−１から１３−３−ｎの出力の中で最大となる値を選択して出力する最大値選択部、６−９は前記差分演算部１３−３−１から１３−３−ｎと前記最大値選択部１１−４を有するエッジ検出部、１４−６は前記差分最小値側選択部１５−１と前記エッジ検出部６−９を有するフィルタ選択部であり、フィルタ選択部１４−６は図７のフィルタ選択部１４−１に該当する。

前記フィルタ選択部１４−６内に有するエッジ検出部６−９の出力を図２のエッジ検出部６−１として使用する。

尚、エッジ検出部６−９には前記複数の第４のＢＥＦ部５−７−１〜５−７−ｎ間の差分の絶対値を出力する差分演算部を有して、その出力を含めて最大値を選択する最大値選択部１１−４であっても良い。

これらの構成について、図２２とした構成を加えて説明する。
図２２において、５−２０−１は前記ＢＥＦ部５−７−１と同様のＢＥＦ部であり、図１７（ａ）となるＢＥＦとする。５−２０−２は前記ＢＥＦ部５−７−２と同様のＢＥＦ部であり、図１８（ａ）となるＢＥＦとする。

１３−５−１は入力画像信号とＢＥＦ部５−２０−１の出力の差分の絶対値を出力する前記差分演算部１３−３−１とする差分演算部、１３−５−２は入力画像信号とＢＥＦ部５−２０−２の出力の差分の絶対値を出力する前記差分演算部１３−３−２とする差分演算部、１３−５−３はＢＥＦ部５−２０−１の出力とＢＥＦ部５−２０−２の出力の差分の絶対値を出力する差分演算部、１５−３は差分演算部１３−５−１と１３−５−２の出力の中で最小値となった差分演算部１３−５への入力となるＢＥＦ部５−２０の出力を選択して出力する前記差分最小値選択部１５−１とする差分最小値側選択部、１１−５は差分演算部１３−５−１から１３−５−３の出力の中で最大となる値を選択して出力する前記最大値選択部１１−４とする最大値選択部である。

図１７（ａ）の群遅延−周波数特性は図１７（ｃ）であり、図１８（ａ）の群遅延−周波数特性は図１８（ｃ）である。また図１７（ａ）に図１９（ａ）と同様の入力があった場合の出力は図２３（ｂ）となる。

図１７（ａ） および図１８（ａ）の特性を比較すると、図１７（ａ）は目的の周波数以外の周波数での減衰範囲が狭く、かつ減衰の少ない周波数での群遅延が１画素よりも十分小さい。しかし、図２３（ｂ）と図１９（ｂ）とでわかるようにエッジの後のリンギングが広い画素範囲で継続している。一方で図１７（ａ）と図１８（ａ）の共通点は、共に４画素周期の周波数を減衰するところにある。

次に図２２の動作について説明する。
まず４画素周期となる周波数のバンドノイズが定常的に重畳され、その他の交流成分、及び直流の変動は無い入力画像信号について説明する。ＢＥＦ部５−２０−１の出力は図１７（ａ）の特性からもわかるように、ＢＥＦ部５−２０−２の出力は図１８（ａ）の特性からもわかるように、４画素周期の周波数成分は共に除去され直流成分のみの出力となる。それぞれの直流成分は入力画像信号の直流成分と同じになるため、ＢＥＦ部５−２０−１の出力とＢＥＦ部５−２０−２の出力は同じ値となる。従って、差分演算部１３−５−１および差分演算部１３−５−２の出力は共に同じ値となる。差分最小値側選択部１５−３は差分演算部１３−５−１および差分演算部１３−５−２の出力が同じ値であった場合は、ＢＥＦ部５−２０−１の出力、ＢＥＦ部５−２０−２の出力の何れを選択しても良いので、差分最小値側選択部１５−３の出力にはＢＥＦ部５−２０−１の出力、ＢＥＦ部５−２０−２の出力の何れかが出力されることになる。出力された画像信号は入力画像信号の直流成分が常に出力され、４画素周期となる周波数成分のバンドノイズは除去されている。

次に図２４（ａ）の交流成分が画像を表す成分として定常的に発生した入力画像信号について説明する。この交流成分の周波数は図１７（ｂ）および図１８（ｂ）における横軸０.１２５に相当する８画素周期の成分である。除去すべき周波数は４画素周期としているので８画素周期の交流成分は除去せず、かつできるだけ波形を劣化させないことが望まれる。横軸０.１２５において図１７（ｂ）と図１８（ｂ）とを比較すると、図１８（ｂ）の減衰が明らかに大きい。また、図１７（ｃ）と図１８（ｃ）とを比較すると、図１８（ｃ）の遅延が明らかに大きい。従って、ＢＥＦ部５−２０−１の出力は図２４（ｂ）に示される通り８画素周期の成分の減衰、および遅延はほとんど発生していないのに対して、ＢＥＦ部５−２０−２の出力は図２４（ｄ）に示される通り減衰及び１画素の遅延が発生している。以上のことからＢＥＦ部５−２０−２はＢＥＦ部５−２０−１と比較して入力画像信号に対して減衰および遅延共に劣化していることは明らかである。従って、差分演算部１３−５−１の出力である図２４（ｃ）、差分演算部１３−５−２の出力である図２４（ｅ）、のように図２４（ｅ）の方が大きな値になる傾向となる。これはつまりＢＥＦ部５−２０−１の出力信号を選択する傾向が強いということとなり、減衰および遅延による劣化の少ない図２４（ｆ）が生成されることとなる。

次に図１９（ａ）のエッジが発生した入力画像信号について説明する。ＢＥＦ部５−２０−１の出力は図２３（ｂ）に示す通りとなり、エッジ以降レベルが上下に変動するリンギングが複数の画素に継続して発生している。ＢＥＦ部５−２０−２の出力は図１９（ｂ）に示す通りとなり、エッジ以降のリンギングは３画素以降で速やかに収束しているが、エッジの発生した画素と次の画素である２画素分は、本来のレベル変動に対して５０％の劣化が発生している。差分演算部１３−５−１の出力は図２３の（ａ）と（ｂ）の差分の絶対値であるから、図２３（ｃ）となる。差分演算部１３−５−２の出力は図１９の（ａ）と（ｂ）の差分の絶対値であるから、図１９（ｄ）となる。差分最小値側選択部１５−３は各画素ごとに図２３（ｃ）と図１９（ｄ）の値を比較する。エッジの発生した画素と次の画素（２画素分）は、図２３（ｃ）と図１９（ｄ）を比較して図２３（ｃ）側の方が小さい値である。従って、この２画素はＢＥＦ部５−２０−１の出力を選択して出力する。以降ＢＥＦ部５−２０−１にリンギングが継続している間の画素は図２３（ｃ）と図１９（ｄ） の比較にて図１９（ｄ）側の方が小さい値である。従ってＢＥＦ部５−２０−２の出力を選択して出力する。このようにして差分最小値側選択部１５−３が出力する画像信号は図２５となり図２３（ｂ）及び図１９（ｂ）のどちらと比較しても劣化の少ない画像信号が得られている。

以上のようにここまでの動作にて図７、図９に示す構成の実施例とすることができ、入力画像信号に対して最も差の少ない信号を判別できるので、リンギング、目的の周波数以外の周波数の減衰、及び遅延による劣化の少ない信号を毎画素ごとに出力できる。また、何れのＢＥＦが選択されても常に目的の周波数を減衰するＢＥＦであるため、フィルタ効果は維持される。

更に図２２の動作について説明する。差分演算部１３−５−３は図２３（ｂ）及び図１９（ｂ）を比較して図２６を出力する。最大値選択部１１−５は図２３（ｃ）、図１９（ｄ） 、図２６を比較して最大の値を出力するため、図２７が得られる。この信号はエッジ付近に強く重みを持たせるものの、広く継続するリンギング領域にも若干の検出成分を持たせたバランスとなっている。最大値選択部１１−５はどの信号入力を利用するかは自由で、目的のバランスに応じて予め入力する信号を決めれば良い。混合部７は図２７の値に従って、まず入力輝度信号と差分最小値側選択部１５−３の出力信号を減衰させる。それぞれの減衰量は、入力輝度信号の減衰後のレベルを「Ａ」、および差分最小値側選択部１５−３の出力信号の減衰後のレベルを「Ｂ」として、例えば下記比率になるようしきい値分をする。

図２７の値＜２０の場合、
Ａ ： Ｂ ＝ ０：１
２０≦図２７の値＜３０の場合、
Ａ ： Ｂ ＝ １：１
図２７の値≧３０の場合、
Ａ ： Ｂ ＝ １：０

尚、上記はしきい値を２つ設けたが、しきい値数を増やしても良く、またしきい値の値や比率の値も上記に限るものではない。

この例の場合、エッジ２画素分は図２７の値≧３０に相当するため、Ａは入力画像信号が減衰無く保たれる。一方でＢは差分最小値側選択部１５−３の出力が０となる減衰をさせる。従って混合後に出力される画像信号は１００%入力画像信号となる。逆に２画素以外では図２７の値＜２０となるのでＡは０となり、Ｂは差分最小値側選択部１５−３の出力が減衰無く保たれる。従って混合後に出力される画像信号は１００%差分最小値側選択部１５−３の出力となる。この例の場合は、出力信号の画像信号成分は完全に復元されることになる。

図示しないが仮に２０≦図２７の値＜３０となった場合は、Ａは入力画像信号を５０％に減衰させて、Ｂは差分最小値側選択部１５−３の出力を５０％に減衰させる。従って出力される画像信号は入力画像信号の成分と差分最小値側選択部１５−３の出力信号の成分が半々で混合される。

以上のようにここまでの動作にて図１５に示す構成の実施例とすることができ、フィルタ効果を維持しつつ劣化を抑える効果、エッジ付近でフィルタの強度を弱める効果の２つの効果を得ている。さらに２つの効果を得る上で、それぞれに必要とする構成を一部兼用しているので、構成規模の増加を軽減している。

（実施の形態７）
図８（ａ）、及び図８（ｂ）は本発明の実施の形態７における構成図である。
図８（ａ）において、６−７は入力画像信号からエッジを検出して出力するエッジ検出部、１４−２は前記エッジ検出部６−７からの検出信号をもとに、前記複数の第４のＢＥＦ部５−７−１から５−７−ｎの出力信号を選択して出力するフィルタ選択部、１４−３は前記エッジ検出部６−７と前記フィルタ選択部１４−２を有するフィルタ選択部であり、フィルタ選択部１４−３を図７のフィルタ選択部１４−１とする。

図８（ｂ）において、１３−２−１は入力画像信号と前記ＢＥＦ部５−７−１の出力の差分の絶対値を出力する差分演算部、１３−２−２から１３−２−ｎまで同様にしてそれぞれのＢＥＦ部５−７−ｎまでに対応した差分演算部、１１−３は前記差分演算部１３−２−１から１３−２−ｎの出力の中で最大となる値を選択して出力する最大値選択部、６−８は前記差分演算部１３−２−１から１３−２−ｎ及び最大値選択部１１−３を有するエッジ検出部、１４−４は前記エッジ検出部６−８と前記フィルタ選択部１４−２を有するフィルタ選択部であり、フィルタ選択部１４−４は図７のフィルタ選択部１４−１に該当する。

図８（ａ）の構成はエッジ検出部６−７に図３から図５に示すものを使用とすると、図１９（ａ）の入力画像信号に対して、それぞれ図１９（ｃ）、図２０（ｂ）、図２１（ｂ）の検出信号が得られる。図２２と同様の特性のＢＥＦ部５−２０−１と、ＢＥＦ５−２０−２の２つが使われる構成の場合、図１９（ｃ）、図２１（ｂ）の検出信号に対してそれぞれエッジ付近２画素でＢＥＦ５−２０−１を選択するしきい値とすると、図２５と同じ結果が得られる。図２０（ｂ）の場合はエッジ付近２画素に対して４画素幅単位での判別になるが。エッジ付近４画素を図２３（ｂ）から選択、その他の画素を図１９（ｂ）から選択することは可能で、この結果得られた画像信号も図２３（ｂ） や図１９（ｂ）と比較して劣化の少ない画像信号が得られる。

図８（ｂ）の構成はエッジ検出部６−８の出力が図２２の最大値選択部１１−５の出力図２７であるので、エッジ付近２画素にてＢＥＦ部５−２０−１を選択するしきい値とすると、図２５と同じ結果が得られる。

以上のように図８（ａ）,（ｂ）の実施例にて、エッジ検出信号のレベルに応じてエッジに対して劣化の少ないＢＥＦを切り替えることができ、エッジ付近の画像信号の劣化を抑えることができる。また、何れのＢＥＦが選択されても常に目的の周波数を減衰するＢＥＦであるため、フィルタ効果は維持される。

（実施の形態８）
図１３は本発明の実施の形態８における構成図である。図１３において、５−１５は前記第３のＢＥＦ部５−６と前記フィルタ選択部１４−１と図２のエッジ検出部６−１とを有する第２のＢＥＦ部であり、ＢＥＦ部５−１５は図２の第２のＢＥＦ部５−３に該当する。

図１３の構成は、例えば図２２の差分最小値側選択部１５−３の出力である図２５と、図１９（ｃ）、図２０（ｂ）、図２１（ｂ）のいずれかによるエッジ検出で動作する。混合部７は図１９（ｃ）、図２１（ｂ）の場合、エッジ付近２画素で、図２０（ｂ）の場合はエッジ付近４画素で入力画像信号を１００％とする出力を行うことで、出力信号の画像信号成分は完全に復元されることになる。

以上のように図１３の実施例にて、フィルタ効果を維持しつつ劣化を抑えたＢＥＦ処理後の信号に残るエッジ付近の劣化の影響を抑える制御ができる。

（実施の形態９）
図１４は本発明の実施の形態９における構成図である。図１４において、前記フィルタ選択部１４−１内に有するエッジ検出部６−８は、図８（ａ）のエッジ検出部６−７或いは図８（ｂ）のエッジ検出部６−８に該当し、この出力を図２のエッジ検出部６−１として兼用する。

図１４の構成は、図８（ｂ）の構成でフィルタ効果を維持しつつ劣化を抑えたＢＥＦ処理を行い、エッジ検出部６−８の出力を兼用して混合部７を動作させる。

以上のように図１４の実施例も図１３同様、フィルタ効果を維持しつつ劣化を抑えたＢＥＦ処理後の信号に残るエッジ付近の劣化の影響を抑える制御ができる。さらに２つの効果を得る上で、それぞれに必要とするエッジ検出部を兼用しているので、構成規模の増加を軽減している。

（実施の形態１０）
図１０は本発明の実施の形態１０における構成図である。図１０において、１６−１は入力画像信号について、垂直１ラインの各画素信号を予め蓄積可能で、蓄積順及びその逆順どちらからの順番でも読み出し可能なラインメモリ、５−９はラインメモリ１６−１の蓄積順の１ライン（以降順方向読み出しラインと称する）と逆順の１ライン（以降第１の逆方向読み出しラインと称する）のそれぞれの処理を行うことができ、無限のインパルス応答継続時間となるIIＲ−ＢＥＦとしたＢＥＦを有する第５のＢＥＦ部、１６−２は第５のＢＥＦ部５−９を通過した順方向読み出しライン、或いは第１の逆方向読み出しラインの何れか一方の１ラインの各画素信号を蓄積可能で、蓄積順に対して逆順（以降第２の逆方向読み出しライン）で読み出し可能なラインメモリ、１３−４−１は第２の逆方向読み出しラインの各画素信号と、ラインメモリ１６−２に蓄積する際にラインメモリ１６−１から読み出した順とは逆の順方向読み出しライン或いは第１の逆方向読み出しラインの各画素信号と、の差分の絶対値を出力する差分演算部、１３−４−２はラインメモリ１６−２に蓄積する際にラインメモリ１６−１から読み出した順とは逆の前記順方向読み出しライン或いは第１の逆方向読み出しラインの各画素信号が、第５のＢＥＦ部５−９を通過する前と後との差分の絶対値を出力する差分演算部、１５−２は同一画素位置における、差分演算部１３−４−１、１３−４−２の出力信号の最小値を判別し、最小値となった差分演算部１３−４−１、１３−４−２の入力となる第５のＢＥＦ部５−９の出力信号、或いはラインメモリ１６−２の出力信号を選択して出力する差分最小値側選択部、５−８はこれらを有する図１のＢＥＦ部５−１とする。

第５のＢＥＦ部５−９には図１７（ａ）を使用するものとし、入力画像信号として図２８（ａ）が左から順にＢＥＦ部５−８に入力されたとする。入力画像信号はラインメモリ１６−１に順次１ライン分蓄積される。第５のＢＥＦ部５−９はまずラインメモリ１６−１から蓄積順に読み出されて処理される。この場合、第５のＢＥＦ部５−９を通過した結果は図２８（ｂ）となり、順次ラインメモリ１６−２に蓄積される。第５のＢＥＦ部５−９は次にラインメモリ１６−１から蓄積順とは逆順、つまり図２８（ａ）の右から順に読み出されて処理される。この場合、第５のＢＥＦ部５−９を通過した結果は図２８（ｃ）となる。尚、この場合の処理順は図２８（ｃ）の右からである。図２８（ｃ）の処理が開始されると同時に差分演算部１３−４−１、１３−４−２、差分最小値側選択部の動作が開始される。差分演算部１３−４−１は図２８（ａ）と図２８（ｂ）を右から順に処理される。差分演算部１３−４−２は図２８（ａ）と図２８（ｃ）を右から順に処理される。差分最小値側選択部は同一座標の画素位置に対する２方向からのIIＲ−ＢＥＦの結果を比較選択するので、エッジの左右においてどちらかが必ずリンギングの存在しない処理結果を選択できることになり、入力の図２８（ａ）と同じ結果が出力として得られている。

以上のようにIIＲ−ＢＥＦで発生するリンギングがエッジに対して後側となることから、処理方向を変えることで同じエッジに対してリンギングの発生方向を２種類とした処理結果を作り出せ、リンギングによる入力画像信号との差を大きくすることで、入力画像信号からの劣化の少ない信号を判別することができる。また、２種類の処理結果はどちらもＢＥＦによるものであるため、常に目的の周波数を減衰するフィルタ効果は維持される。

（実施の形態１１）
図１１は本発明の実施の形態１１における構成図である。図１１において、５−１１−１は目的の周波数の基本周波数を阻止する第６−１のＢＥＦ部、５−１１−２は目的の周波数の２次高調波を阻止する第６−２のＢＥＦ部、５−１１−ｎは目的の周波数のｎ次高調波を阻止する第６−ｎのＢＥＦ部であり、互いに直列接続されている。また５−１０は前記第６−１のＢＥＦ部５−１１−１から第６−ｎのＢＥＦ部５−１１−ｎまでの何れかを有し、図１のＢＥＦ部５−１に該当する。

入力画像信号に含まれるバンドノイズが仮に８画素周期を基本周波数とし、２次高調波(４画素周期)を含む入力があるとすると、第６−１のＢＥＦ部５−１１−１及び第６−２のＢＥＦ部５−１１−２が必要で、例えば第６−１のＢＥＦ部５−１１−１は図２９（ａ）となるＢＥＦを構成する。また第６−２のＢＥＦ部５−１１−２には図１８（ｂ）となるＢＥＦを構成する。これらを直列接続することにより図２９（ｂ）の特性が得られ、バンドノイズの基本周波数及び２次高調波を減衰させることができる。

（実施の形態１２）
図１２は本発明の実施の形態１２における構成図である。図１２において、５−１３−１は図１１の第６−１のＢＥＦ部５−１１−１と同じ第６−１のＢＥＦ部、５−１３−２は図１１の第６−２のＢＥＦ部５−１１−２と同じ第６−２のＢＥＦ部、５−１３−ｎは図１１の第６−ｎのＢＥＦ部５−１１−ｎと同じ第６−ｎのＢＥＦ部、１７は第６−１のＢＥＦ部５−１３−１から第６−ｎのＢＥＦ部５−１３−ｎの減衰の重なりによって大きくなった減衰部分のゲインを持ち上げるＢＰＦ部、９−３は第６−１のＢＥＦ部５−１３−１から第６−ｎのＢＥＦ部５−１３−ｎとＢＰＦ部１７によってずれた各周波数のゲインを調節するアンプであり、これらは全て直列接続される。５−１２はこれらを有する図１のＢＥＦ部５−１とする。

実施の形態１１同様のバンドノイズが入力されるとすると、第６−１のＢＥＦ部５−１３−１及び第６−２のＢＥＦ部５−１３−２は実施の形態１１と同様の特性のＢＥＦとする。これにより第６のＢＥＦ部５−１３によって図２９（ｂ）が得られるが、例えば８画素周期から４画素周期の間は互いの第６のＢＥＦ部５−１３の減衰の重なりによって減衰量が増加する。この周波数帯のゲインを強調する目的のＢＰＦ部１７を例えば図２９（ｃ）になるように構成することで８画素周期から４画素周期付近のゲインを相対的に上げることができる。第６のＢＥＦ部５−１３とＢＰＦ部１７によって、変化した各周波数のゲインはアンプ９−３によって調整され、入力画像信号のゲインに近づけられた画像信号を出力することができる。

（実施の形態１３）
これまでの図に示される第２のＢＥＦ部５−３、第３のＢＥＦ部５−４、第４のＢＥＦ部５−７−１から５−７−ｎ、第５のＢＥＦ部５−９に、ＢＥＦ部５−１０、或いはＢＥＦ部５−１２を使用することによって、それぞれの構成における高調波成分を含む複数の周波数が含まれるバンドノイズを減衰させることができる。

（実施の形態１４）
図１６は本発明の実施の形態１４における構成図である。図１６において、１９は予め把握している撮像素子の垂直或いは水平画素方向のノイズ傾向と入力画像信号から、ノイズ量を予測計算して出力する補正量演算部、１０−４は入力画像信号から補正量演算部の出力を減算する減算器、１８は前記補正量演算部１９と減算器１０−４を有する補正部である。

使用する撮像素子が４画素周期でノイズを発生するものとし、本来の信号レベルがX,ノイズが重畳された信号レベルをYとして、予め把握している撮像素子のノイズ傾向は以下で表せたとする。
１画素目：Ｙ＝Ｘ
２画素目：Ｙ＝Ｘ＋(ａＸ＋ｂ)
３画素目：Ｙ＝Ｘ
４画素目：Ｙ＝Ｘ−(ａＸ＋ｂ)

この場合、補正量演算部は、入力画像信号をY、出力の画像信号をXとすることになるので、１画素目、３画素目については入力信号をそのまま出力する。２画素目はX＝(Y−b)／(１+a)のYに入力画像信号レベルを代入したXの値を出力する。４画素目はX＝(Y−b)／(１−a)のYに入力画像信号レベルを代入したXの値を出力する。

これによりノイズ成分は完全に除去できることになるが、実際は内部の構造や撮像素子の温度、固体ばらつき等々様々な要因で正確に等価式に置き換えることは不可能であるので、必ず誤差が発生する。つまりこの補正のみで完全に除去することは事実上不可能である。従って、上記の様に近似として置き換えた式からノイズ量を算出することとなり、補正部１８はノイズ量を予め軽減する働きとなる。これにより、ノイズ量は軽減されている傾向となるので、その後に行われるＢＥＦ部５−１のＢＥＦは目的の周波数の減衰量を予め小さくした強度の弱いものを使用できる。従って、リンギング、目的の周波数以外の周波数の減衰、及び遅延による劣化の影響を少なくすることができる。

本発明にかかる撮像装置は、複数の画素を共有する撮像素子の構造によって発生する共有画素周期のバンドノイズを、容易にＩＣに組み込むことができる信号処理によって補正することができるので、高画素化に有効な複数の画素を共有する撮像素子を使用する撮像装置に、更に小型化が要求される撮像装置に幅広く有用である。

本発明の実施の形態１における撮像装置の構成図 本発明の実施の形態２におけるＢＥＦ部の構成図 本発明の実施の形態２におけるエッジ検出部の構成図 本発明の実施の形態３におけるエッジ検出部の構成図 本発明の実施の形態４におけるエッジ検出部の構成図 本発明の実施の形態５におけるエッジ検出部の構成図 本発明の実施の形態６におけるＢＥＦ部の構成図 （ａ）本発明の実施の形態７におけるＢＥＦ部の構成図（ｂ）本発明の実施の形態７におけるＢＥＦ部の構成図 本発明の実施の形態６におけるＢＥＦ部の構成図 本発明の実施の形態１０におけるＢＥＦ部の構成図 本発明の実施の形態１１におけるＢＥＦ部の構成図 本発明の実施の形態１２におけるＢＥＦ部の構成図 本発明の実施の形態８におけるＢＥＦ部の構成図 本発明の実施の形態９におけるＢＥＦ部の構成図 本発明の実施の形態６におけるＢＥＦ部の構成図 本発明の実施の形態１４における信号処理部の構成図 （ａ）４画素周期の周波数を減衰させるＢＥＦの例（ｂ）図１７（ａ）のＢＥＦのゲイン−周波数特性（ｃ）図１７（ａ）の群遅延−周波数特性 （ａ）４画素周期の周波数を減衰させるＢＥＦの例（ｂ）図１８（ａ）のＢＥＦのゲイン−周波数特性（ｃ）図１８（ａ）の群遅延−周波数特性 （ａ）入力画像信号の例（ｂ）図１８（ａ）に図１９（ａ）を入力した出力結果（ｃ）エッジ検出部に図１９（ａ）を入力した出力結果（ｄ）エッジ検出部に図１９（ａ）を入力した出力結果、差分演算部の出力結果 （ａ）入力画像信号の例（ｂ）エッジ検出部に図１９（ａ）を入力した出力結果 （ａ）入力画像信号の例（ｂ）エッジ検出部に図１９（ａ）を入力した出力結果 本発明の実施の形態６におけるＢＥＦ部の構成図 （ａ）入力画像信号の例（ｂ）図１７（ａ）に図１９（ａ）を入力した出力結果（ｃ）差分演算部の出力結果 （ａ）入力画像信号の例（交流成分）（ｂ）図１７（ａ）に図２４（ａ）を入力した出力結果（ｃ）差分演算部の出力結果（ｄ）図１８（ａ）に図２４（ａ）を入力した出力結果（ｅ）差分演算部の出力結果（ｆ）出力結果 出力結果 差分演算部の出力結果 最大値選択部の出力結果 （ａ）入力画像信号の例（ｂ）ＢＥＦ部の出力結果（ｃ）ＢＥＦ部の出力結果 （ａ）８画素周期を減衰するＢＥＦのゲイン−周波数特性例（ｂ）ＢＥＦ部の出力結果（ｃ）ＢＰＦ部のゲイン−周波数特性例 特許文献１に記載の撮像素子の配置レイアウト例 共有単位の回路図 共有単位の等価回路図 光電変換部と周辺配線層の関係図

符号の説明

１ 撮像装置
２ レンズ系
３ 撮像素子
４ 信号処理部
５−１〜５−６,５−７−１〜５−７−ｎ,５−８〜５−１０,５−１１−１〜５−１１−ｎ,５−１２,５−１３−１〜５−１３−ｎ,５−１４〜５−１９,５−２０−１,５−２０−２ ＢＥＦ部
６−１〜６−５,６−７〜６−９ エッジ検出部
７ 混合部
８−１−１,８−１−２,８−２−１〜８−２−４,８−３−１,８−３−２ １画素遅延回路
９−１−１〜９−１−３,９−２−１〜９−２−４,９−３ アンプ
１０−１−１,１０−１−２,１０−３−１,１０−３−２ 加算器
１０−２, １０−３−３,１０−４ 減算器
１１−１〜１１−５ 最大値選択部
１２−１,１２−２ 最小値選択部
１３−１,１３−２−１〜１３−２−ｎ,１３−３−１〜１３−３−ｎ,１３−４−１,１３−４−２,１３−５−１〜１３−５−３ 差分演算部
１４−１〜１４−６ フィルタ選択部
１５−１〜１５−３ 差分最小値側選択部
１６−１,１６−２ ラインメモリ
１７ ＢＰＦ部
１８ 補正部
１９ 補正量演算部
１０１−１〜１０１−４ 光電変換部
１０２−１,１０２−２ 電圧変換部
１０３−１〜１０３−４ 転送ゲ−ト
１０４−１,１０４−２ トランジスタ領域
１０５−１〜１０５−３ 配線
１０５−２Ｒ,１０５−３Ｒ 配線抵抗
１０６ 共有単位
１０７−１〜１０７−４ ライン
１０８ リセットゲ−ト
１０９−１〜１０９−３ 配線層
１１０ 入射光

Claims (17)

1. 外界の画像を結ぶレンズ系と、前記レンズ系からの光を受ける撮像素子と、前記撮像素子からの画像信号を信号処理して外部に出力する信号処理部と、を備える撮像装置であって、
   前記撮像素子は垂直或いは水平方向の複数の画素を共有する構造であり、
   前記信号処理部は、前記撮像素子が共有する画素方向と同一方向の垂直或いは水平ラインに対して目的の周波数を減衰させる帯域阻止フィルタ（以降ＢＥＦと称する）を有する第１のＢＥＦ部と、
   を備えることを特徴とする撮像装置。
2. 前記第１のＢＥＦ部は、
   前記ＢＥＦおよび前記ＢＥＦで処理するライン方向の画像輪郭であるエッジを検出できる第１のエッジ検出部を有する第２のＢＥＦ部と、
   前記第２のＢＥＦ部への入力画像信号と、前記第２のＢＥＦ部を通過した画像信号との加算比率を、前記第１のエッジ検出部からの検出信号をもとに変化させることのできる混合部と、
   を備えることを特徴とする請求項１に記載の撮像装置。
3. 前記第１のエッジ検出部は、
   前記第２のＢＥＦ部への入力画像信号からの信号を直接入力されるものであって、
   前記ＢＥＦで処理するライン方向の高周波成分を通過させ、低周波成分を阻止する高域通過フィルタ（以降ＨＰＦと称する）であることを特徴とする請求項２に記載の撮像装置。
4. 前記第１のエッジ検出部は、
   前記第２のＢＥＦ部への入力画像信号からの信号を直接入力されるものであって、
   注目画素及び前記注目画素から前記ＢＥＦで処理するライン方向に周辺の画素の中で、最大の値と最小の値とを判別して前記最大の値と前記最小の値の差を出力することを特徴とする請求項２に記載の撮像装置。
5. 前記第１のエッジ検出部は、
   前記第２のＢＥＦ部への入力画像信号からの信号を直接入力されるものであって、
   ２つの入力の中で最大となる値を出力する第１の最大値選択部と、
   ２つの入力の中で最小となる値を出力する最小値選択部とを有し、
   前記第１の最大値選択部の第１の入力は、
   前記第１のエッジ検出部への入力信号であり、
   前記第１の最大値選択部の第２の入力は、
   前記第１の最大値選択部の出力から前記ＢＥＦで処理するライン方向に遅延させた信号を、前記第１のエッジ検出部への入力信号に帰還さる低域通過フィルタ（以降ＬＰＦと称する）の特性の信号であり、
   前記最小値選択部の第１の入力は、
   前記第１のエッジ検出部への入力信号であり、
   前記最小値選択部の第２の入力は、
   前記最小値選択部の出力から前記ＢＥＦで処理するライン方向に遅延させた信号を、前記第１のエッジ検出部への入力信号に帰還さるＬＰＦの特性の信号であり、
   前記第１の最大値選択部と前記最小値選択部の出力の差を出力することを特徴とする請求項２に記載の撮像装置。
6. 前記第１のエッジ検出部は、
   前記第２のＢＥＦ部への入力画像信号からの信号と、前記ＢＥＦを通過した信号との差分の絶対値を出力することを特徴とする請求項２に記載の撮像装置。
7. 前記第１のＢＥＦ部は、
   それぞれ特性が異なり、前記第１のＢＥＦ部への入力画像信号がそれぞれ直接入力される前記ＢＥＦを有する第４のＢＥＦ部を複数有する第３のＢＥＦ部と、
   前記第１のＢＥＦ部への入力画像信号と前記複数の第４のＢＥＦ部の出力信号をもとに、前記複数の第４のＢＥＦ部の出力信号を選択して出力する第１のフィルタ選択部と、
   を備えることを特徴とする請求項１に記載の撮像装置。
8. 前記第１のフィルタ選択部は、
   前記第１のＢＥＦ部への入力画像信号と前記複数の第４のＢＥＦ部の出力信号の何れかから、前記ＢＥＦで処理するライン方向のエッジを検出できる第２のエッジ検出部と、
   前記第２のエッジ検出部からの検出信号をもとに前記複数の第４のＢＥＦ部の出力信号を選択して出力する第２のフィルタ選択部と、
   を備えることを特徴とする請求項７に記載の撮像装置。
9. 前記第１のフィルタ選択部は、
   前記第１のＢＥＦ部への入力画像信号に対して前記複数の第４のＢＥＦ部の出力信号の差分の絶対値をそれぞれ出力する複数の第１の差分演算部と、
   前記複数の第１の差分演算部から出力された信号の中で、最小値を判別し、最小値となった前記第１の差分演算部の入力となる前記第４のＢＥＦ部の出力信号を選択して出力する第１の差分最小値側選択部と、
   を備えることを特徴とする請求項７に記載の撮像装置。
10. 前記第１のＢＥＦ部は、
    前記第１のＢＥＦ部への入力画像信号について、前記ＢＥＦで処理するライン方向の１ラインの各画素信号を予め蓄積可能で、蓄積順及びその逆順どちらからの順番でも読み出し可能な第１のラインメモリと、
    前記第１のＢＥＦ部への入力画像信号の１ラインに対して前記第１のラインメモリから蓄積順の１ライン（以降順方向読み出しラインと称する）と逆順の１ライン（以降第１の逆方向読み出しラインと称する）のそれぞれの処理を行うことができ、無限のインパルス応答継続時間となるIIＲフィルタ（以降IIＲ−ＢＥＦと称する）とした前記ＢＥＦを有する第５のＢＥＦ部と、
    前記第５のＢＥＦ部を通過した順方向読み出しライン、或いは第１の逆方向読み出しラインの何れか一方の１ラインの各画素信号を蓄積可能で、蓄積順に対して逆順（以降第２の逆方向読み出しライン）で読み出し可能な第２のラインメモリと、
    前記第２の逆方向読み出しラインの各画素信号と、前記第２のラインメモリに蓄積する際に前記第１のラインメモリから読み出した順とは逆の前記順方向読み出しライン或いは第１の逆方向読み出しラインの各画素信号との差分の絶対値を出力する第２の差分演算部と、
    前記第２のラインメモリに蓄積する際に前記第１のラインメモリから読み出した順とは逆の前記順方向読み出しライン或いは第１の逆方向読み出しラインの各画素信号が、前記第５のＢＥＦ部を通過する前と後との差分の絶対値を出力する第３の差分演算部と、
    同一画素位置における、前記第２、第３の差分演算部の出力信号の最小値を判別し、最小値となった前記第２或いは第３の差分演算部の入力となる前記第５のＢＥＦ部の出力信号、或いは前記第２のラインメモリの出力信号を選択して出力する第２の差分最小値側選択部と、
    を備えることを特徴とする請求項１に記載の撮像装置。
11. 前記第１のＢＥＦ部は、
    目的の周波数の基本周波数を阻止する第６−１のＢＥＦ部から、目的の周波数のｎ次高調波を阻止する第６−ｎのＢＥＦ部までの何れかを有し、互いに直列接続されていることを特徴とする請求項１に記載の撮像装置。
12. 前記第１のＢＥＦ部は、
    帯域通過フィルタ（以降ＢＰＦと称する）を有するＢＰＦ部と、
    信号のゲイン調節が可能なアンプとを備え、
    前記ＢＰＦ部および前記アンプは、前記第６−１のＢＥＦ部から前記第６−ｎのＢＥＦ部の最終出力或いは入力と互いに直列接続されている
    ことを特徴とする請求項１１に記載の撮像装置。
13. 前記第２のＢＥＦ部は、
    それぞれ特性が異なり、前記第１のＢＥＦ部への入力画像信号がそれぞれ直接入力される前記ＢＥＦを有する第４のＢＥＦ部を複数有する第３のＢＥＦ部と、
    前記第１のＢＥＦ部への入力画像信号と前記複数の第４のＢＥＦ部の出力信号をもとに、前記複数の第４のＢＥＦ部の出力信号を選択して出力する第１のフィルタ選択部と、
    を備えることを特徴とする請求項２〜６のいずれかに記載の撮像装置。
14. 前記第１のフィルタ選択部は、
    前記第１のＢＥＦ部への入力画像信号と前記複数の第４のＢＥＦ部の出力信号の何れかから、前記ＢＥＦで処理するライン方向のエッジを検出できる第２のエッジ検出部と、
    前記第２のエッジ検出部からの検出信号をもとに前記複数の第４のＢＥＦ部の出力信号を選択して出力する第２のフィルタ選択部と、
    を備え、
    前記第１のエッジ検出部と第２のエッジ検出部とを兼用することを特徴とする請求項１３に記載の撮像装置。
15. 前記第１のフィルタ選択部は、
    前記第１のＢＥＦ部への入力画像信号に対して前記複数の第４のＢＥＦ部の出力信号の差分の絶対値をそれぞれ出力する複数の第１の差分演算部と、
    前記複数の第１の差分演算部から出力された信号の中で、最小値を判別し、最小値となった前記第１の差分演算部の入力となる前記第４のＢＥＦ部の出力信号を選択して出力する第１の差分最小値側選択部と、
    を備え、
    前記第１のエッジ検出部は、
    前記第１の差分演算部の出力の中で最大となる値を出力する第２の最大値選択部を追加した第３のエッジ検出部で兼用することを特徴とする請求項１３に記載の撮像装置。
16. 前記第１のＢＥＦ部は、
    目的の周波数の基本周波数を阻止する第６−１のＢＥＦ部から、目的の周波数のｎ次高調波を阻止する第６−ｎのＢＥＦ部までの何れかを有し、互いに直列接続されているＢＥＦ部、あるいは、前記第６−１のＢＥＦ部から第６−ｎのＢＥＦ部に直列に接続されたＢＰＦおよび信号のゲイン調節が可能なアンプとを備えたＢＥＦ部であることを特徴とする請求項２〜１０、１３〜１５のいずれかに記載の撮像装置。
17. 前記信号処理部の前記第１のＢＥＦ部への入力前に、予め把握している前記撮像素子の垂直或いは水平画素方向のノイズ傾向と入力画像信号から、ノイズ量を予測計算して入力信号から減算することができる補正部を備えることを特徴とする請求項１〜１６のいずれかに記載の撮像装置。

Images