JP2008109543A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2008109543A JP2008109543A JP2006292093A JP2006292093A JP2008109543A JP 2008109543 A JP2008109543 A JP 2008109543A JP 2006292093 A JP2006292093 A JP 2006292093A JP 2006292093 A JP2006292093 A JP 2006292093A JP 2008109543 A JP2008109543 A JP 2008109543A
- Authority
- JP
- Japan
- Prior art keywords
- bef
- unit
- signal
- output
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】 複数の画素を共有する撮像素子の構造によって発生する共有画素周期のバンドノイズを、信号処理によって補正する撮像装置を提供する。
【解決手段】 2は外界の画像を結ぶレンズ系、3は前記レンズ系2からの光を受ける撮像素子、4は前記撮像素子3からの画像信号を信号処理して外部に出力する信号処理部、5−1は前記信号処理部4内に有するBEF部、1は前記レンズ系2と前記撮像素子3と前記信号処理部4を備える撮像装置である。前記撮像素子3は垂直或いは水平方向に複数の画素を共有する構造であり、前記BEF部5−1は前記撮像素子3が画素を共有する方向と同一方向のラインに対して信号処理がなされ共有画素周期の周波数を減衰できる帯域阻止フィルタを有する。
【選択図】図1
【解決手段】 2は外界の画像を結ぶレンズ系、3は前記レンズ系2からの光を受ける撮像素子、4は前記撮像素子3からの画像信号を信号処理して外部に出力する信号処理部、5−1は前記信号処理部4内に有するBEF部、1は前記レンズ系2と前記撮像素子3と前記信号処理部4を備える撮像装置である。前記撮像素子3は垂直或いは水平方向に複数の画素を共有する構造であり、前記BEF部5−1は前記撮像素子3が画素を共有する方向と同一方向のラインに対して信号処理がなされ共有画素周期の周波数を減衰できる帯域阻止フィルタを有する。
【選択図】図1
Description
本発明は、CMOS等の撮像素子を有し、複数の画素を共有する撮像素子の構造によって発生する、共有画素周期のライン間信号レベル差(以降バンドノイズと称する)を、信号処理によって補正する撮像装置に関するものである。
撮像装置はより高画素化が求められている中、近年複数の画素を共有する構造によって
高画素化を実現する撮像素子が現れている。この構造として特許文献1に示される例を上げる。
特開2006−54276
高画素化を実現する撮像素子が現れている。この構造として特許文献1に示される例を上げる。
図30は前記特許文献1に記載された撮像素子の各構成要素の配置レイアウト例を示している。図30では、光電変換を行う光電変換部101と、その光電変換部101での光電変換によって発生した電荷を電圧に変換する電圧変換部102と、光電変換部101から電圧変換部102への電荷の読み出しを制御する転送ゲ−ト103と、電圧変換部102により変換された電圧信号に対する処理を行う回路群(リセットゲ−ト等のトランジスタ群)が配置されるトランジスタ領域104と、電圧変換部102とトランジスタ領域104における回路群とを電気的に接続する配線105と、を備えている。これらの構成要素のレイアウトは、複数列と複数行とからなる二次元アレイ状に配置された光電変換部101に対して、その二次元アレイ中の斜めに隣り合う二つの光電変換部101−1と101−2、及び101−3と101−4の間にそれぞれ電圧変換部102−1、及び102−2が配置され、二つの光電変換部101−1と101−2はそれぞれに付設された転送ゲ−ト103−1、103−2を介して電圧変換部102−1を共用し、同じく他の二つの光電変換部101−3と101−4はそれぞれに付設された転送ゲ−ト103−3、103−4を介して電圧変換部102−2を共用するように構成されている。更に、電圧変換部102が配置されていない光電変換部101同士の間には、トランジスタ領域104が設けられているが、そのトランジスタ領域104における回路群を、該当回路群と配線105を介して電気的に接続する二つの電圧変換部102が共用するように構成されている。このとき、共用される回路群としては、RST(リセット)トランジスタやSEL(セレクト)トランジスタ等があるが、これらの各回路要素は、複数のトランジスタ領域104に分散した配置がなされている。このように複数の要素を共用して共有単位106を構成することで光電変換部の領域面積の確保を行っている。なお、共用化を行った共有単位106を回路図で表すと図31である。
しかしながら、前記特許文献1に記載の方法では、例えは次の二つの課題が容易に想像できる。
第1の課題は、共有単位内の回路の不均一性である。図31に示される回路は、例えば配線長の違いによる配線抵抗や配線容量が表現されていない。共用部分の配置次第で様々ではあるが、一例として図32を上げる。図32は、リセットゲ−ト108をトランジスタ領域104−1に、その他のトランジスタ群をトランジスタ領域104−2に配置したことを想定する。電圧変換部102−1、102−2はそれぞれ同一の静電容量を有し、配線等によるその他の容量は十分無視できる容量を有すると仮定する。更に、配線105−2には周波数依存性の無い抵抗成分と表皮効果による周波数依存性のある抵抗成分の和である配線抵抗105−2Rが、配線105−3にも同様の成分で配線抵抗105−3Rが現れるものと仮定すると図32の等価回路として表せる。この回路において、各光電変換部101によって光電変換された電荷は、各転送ゲ−ト103によって2つの電圧変換部102−1及び102−2に読み出される。この読み出しからリセットゲ−ト108によるリセットまでの時間が十分に長ければ、電圧変換部102−1の容量と電圧変換部102−2の容量が同じであると仮定したことから同じ電荷となる。仮に同じ電荷となった状態と仮定したとして、その後リセットゲ−ト108が動作したとする。仮にこのリセット時間が十分でなかった場合、電圧変換部102−1の電荷は速やかにリセットされるが、電圧変換部102−2の電荷は配線抵抗105−2R及び105−3Rの影響を受けて十分なリセットがなされない。つまり電圧変換部102−1の電荷と電圧変換部102−2の電荷に一時的な相違が発生する。その後十分な時間が経過した場合は電圧変換部102−1と102−2の電荷は同じになるが、仮に相違の残っている状態で次の光電変換部101の読み出しが行われた場合、十分にリセットされた電圧変換部102−1との関係にも違いがでる。仮に各光電変換101−1から101−4が同じ量の光電変換となったとする。それに対し、それぞれの読み出しを行った場合、光電変換部101−1或いは101−2の読み出し時は電圧変換部102−1との間には抵抗は無く、電圧変換部102−2との間には配線抵抗105−2Rと配線抵抗105−3Rの和が発生する。一方光電変換部101−3或いは101−4の読み出し時は電圧変換部102−2との間には抵抗は無く、電圧変換部102−1との間には配線抵抗105−2Rと配線抵抗105−3Rの和が発生する。この読み出し時間も十分な時間が確保できなかった場合、十分なリセットが行われた電圧変換部102−1との間に抵抗が無い光電変換部101−1或いは101−2の読み出しの方が多く電荷を読み出しできることになる。このように、仮に各光電変換部101の光電変換量が同じであったとしても、光電変換部101−1或いは101−2からの読み出しと、光電変換部101−3或いは101−4からの読み出しとの間に差が発生する。この差は相対的な数値で置き換えると例えば次ぎのようになる。光電変換部101−1で読み出される量を2とすると、光電変換部101−2で読み出される量も2となる。一方で光電変換部101−3で読み出される量は光電変換部101−1よりも少ない値として仮に1と想定でき、その場合光電変換部101−4で読み出される量も1となる。共有単位106の4つの画素が共有されている方向を仮に垂直方向とすると、各共有単位106は水平方向に並んでいる。それぞれの共有単位106は各単位ごとに同じ配置レイアウトとなるため、光電変換部101の読み出し量の差は上記の差が繰り返されることになる。従って、仮に各光電変換部101−1が並ぶラインをライン107−1、各光電変換部101−2が並ぶラインをライン107−2、各光電変換部101−3が並ぶラインをライン107−3、各光電変換部101−4が並ぶラインをライン107−4とすると、ライン107−1及び107−2は2、ライン107−3及び107−4は1の水平ライン単位での差が発生することになる。共有単位106は垂直方向にも順次並ぶことになるので、水平ライン単位での差が4ライン周期で発生することとなる。これを垂直方向の1ラインで見るとライン107−1とライン107−2の間、及びライン107−3とライン107−4の間にピ−クを持つ4画素周期の単一周波数と見なせるノイズが発生していることになる。以上のように、共有単位内の回路の不均一性によって、共有する画素方向のラインに、共有する画素周期のノイズが発生することが容易に想像できる。
第2の課題は、共有単位内の配線層の不均一性である。図33は光電変換部101と光電変換部101の周辺に配線される配線層109との関係を示す図である。配線層109は配線105や図示しないその他の配線によってなされるもので、目的によって配線層の高さや位置関係に違いが出る。配線層109−1は配線層109−3よりも高い場合の例であり、配線層109−2は配線層109−3よりも光電変換部101から離れている場合の例である。この場合ある角度を持った入射光110が入射された場合、各配線層109によって光電変換部101への入射光量に差が発生してしまう。配線層109の高さや位置関係は共有単位106内での差の関係になることは容易に想像できる。仮に配線105−1、105−2、及び105−3が垂直方向に配線され、これが配線層109−1と光電変換部101との関係になったとし、各光電変換部101のその他の各辺は全て配線層109−2と光電変換部101との関係になったとする。この場合、入射光110が右方向或いは左方向からの角度を持った入射であった場合、光電変換部101−4に比べて光電変換部101−1、101−2、及び101−3は配線層の影響を受けて光電変換量が少ないことになる。この差についても相対的な数値で置き換えると、例えば光電変換部101−1、101−2、及び101−3を同一の読み出し量である1とすると、光電変換部101−4の読み出し量はそれよりも大きい、例えば2となる。従って、水平のライン107−1、107−2、及び107−3は1であるのに対してライン107−4は2となる4ライン周期の差が発生することになる。この場合に垂直方向の1ラインに現れる周波数成分は、4画素周期を基本周波数とした成分と2倍高調波成分が重畳されたノイズが発生していることとなる。このノイズは光の入射角の違いによって発生強度に変化が現れることが容易に想像できるので、この例の場合は例えば画像の右側や左側がレンズとの関係で出やすいと想像できる。以上のように、共有単位内の配線層の不均一性によって、共有する画素方向のラインに、共有する画素周期のノイズが発生することが容易に想像できる。
このように、複数の画素を共有する構造の撮像素子は、共有する画素方向のラインに、共有する画素周期のノイズを発生してしまうことが容易に想像できる。また、共有単位106は共有画素方向とは直角方向に並ぶため、共有画素方向と直角のラインにはノイズは発生せず、画像としてライン状のスジとして見えるバンドノイズが発生することが容易に想像できる。
本発明は、上記課題を解決するために、共有画素周期で発生するバンドノイズを信号処理によって除去する撮像装置を提供するものである。
前記従来の課題を解決するため、本発明の請求項1に記載の撮像装置は、撮像素子が共有する画素方向と同一方向のラインに対して、撮像素子が発生させる共有画素周期のバンドノイズ周波数を減衰させるBEFを有する第1のBEF部を備えることとした。
この構成によって、第1のBEF部の処理が行われるライン方向に含まれる、固定周波数となるバンドノイズと同一の周波数成分のみ減衰させることができる。
本発明の請求項2に記載の撮像装置は、請求項1に記載の第1のBEF部で有するBEFおよびBEFで処理するライン方向の画像輪郭であるエッジを検出できる第1のエッジ検出部を有する第2のBEF部と、第2のBEF部への入力画像信号と、第2のBEF部を通過した画像信号との加算比率を、第1のエッジ検出部からの検出信号をもとに変化させることのできる混合部とを備えることとした。
この構成によって、1つのラインの中に含まれる画像信号のエッジを検出し、エッジ付近ではBEFの強度を弱めることができる。
本発明の請求項3に記載の撮像装置は、請求項2に記載の第1のエッジ検出部を、HPFとした。
この構成によって、1つのラインの中に含まれる2画素周期となる高周波成分をピ−クとした高周波成分を取り出すことができる。
本発明の請求項4に記載の撮像装置は、請求項2に記載の第1のエッジ検出部が、注目画素及び注目画素周辺(BEFで処理するライン方向)の画素の中で、最大の値と最小の値とを判別して前記最大の値と前記最小の値の差を出力することとした。
この構成によって、1つのラインの中で、注目画素周辺の画素幅内の最大の変動範囲を取り出すことができる。
本発明の請求項5に記載の撮像装置は、請求項2に記載の第1のエッジ検出部が、2つの入力の中で最大となる値を出力する第1の最大値選択部と、2つの入力の中で最小となる値を出力する最小値選択部とを有し、第1の最大値選択部の第1の入力は、第1のエッジ検出部への入力信号であり、第1の最大値選択部の第2の入力は、第1の最大値選択部の出力からBEFで処理するライン方向に遅延させた信号を、第1のエッジ検出部への入力信号に帰還さるLPFの特性の信号であり、最小値選択部の第1の入力は、第1のエッジ検出部への入力信号であり、最小値選択部の第2の入力は、最小値選択部の出力からBEFで処理するライン方向に遅延させた信号を、第1のエッジ検出部への入力信号に帰還さるLPFの特性の信号であり、第1の最大値選択部と最小値選択部の出力の差を出力することとした。
この構成によって、エッジ付近で最大の値でエッジから離れるに伴ってレベルが下がる検出信号を取り出すことができる。
本発明の請求項6に記載の撮像装置は、請求項2に記載の第1のエッジ検出部が、第2のBEF部への入力画像信号からの信号と、BEFを通過した信号との差分の絶対値を出力することとした。
この構成によって、BEFを通過した信号が入力画像信号に対してずれた量を取り出すことができる。
本発明の請求項7に記載の撮像装置は、請求項1に記載の第1のBEF部に、第1のBEF部への入力画像信号がそれぞれ直接入力されるBEFを有する第4のBEF部を複数有する第3のBEF部と、第1のBEF部への入力画像信号と複数の第4のBEF部の出力信号をもとに、複数の第4のBEF部の出力信号を選択して出力する第1のフィルタ選択部とを備えることとした。
この構成によって、入力画像信号や複数の第4のBEF部の出力信号をもとに、出力信号として複数のBEFの中から選択することができる。
本発明の請求項8に記載の撮像装置は、請求項7に記載の第1のフィルタ選択部に、第1のBEF部への入力画像信号と複数の第4のBEF部の出力信号の何れかから、BEFで処理するライン方向のエッジを検出できる第2のエッジ検出部と、第2のエッジ検出部からの検出信号をもとに複数の第4のBEF部の出力信号を選択して出力する第2のフィルタ選択部とを備えることとした。
この構成によって、エッジ検出信号のレベルに応じて出力信号として複数のBEFの中から選択することができる。
本発明の請求項9に記載の撮像装置は、請求項7に記載の第1のフィルタ選択部に、第1のBEF部への入力画像信号に対して複数の第4のBEF部の出力信号の差分の絶対値をそれぞれ出力する複数の第1の差分演算部と、複数の第1の差分演算部から出力された信号の中で、最小値を判別し、最小値となった第1の差分演算部の入力となる第4のBEF部の出力信号を選択して出力する第1の差分最小値側選択部とを備えることとした。
この構成によって、各BEFの出力信号が入力画像信号に対して最も差の少ないBEFを各画素ごとに判別することができる。
本発明の請求項10に記載の撮像装置は、請求項1に記載の第1のBEF部に、第1のBEF部への入力画像信号について、BEFで処理するライン方向の1ラインの各画素信号を予め蓄積可能で、蓄積順及びその逆順どちらからの順番でも読み出し可能な第1のラインメモリと、第1のBEF部への入力画像信号の1ラインに対して第1のラインメモリから蓄積順の順方向読み出しラインと第1の逆方向読み出しラインのそれぞれの処理を行うことができ、無限のインパルス応答継続時間となるIIR−BEFとしたBEFを有する第5のBEF部と、第5のBEF部を通過した順方向読み出しライン、或いは第1の逆方向読み出しラインの何れか一方の1ラインの各画素信号を蓄積可能で、蓄積順に対して第2の逆方向読み出しラインで読み出し可能な第2のラインメモリと、第2の逆方向読み出しラインの各画素信号と、第2のラインメモリに蓄積する際に第1のラインメモリから読み出した順とは逆の順方向読み出しライン或いは第1の逆方向読み出しラインの各画素信号と、の差分の絶対値を出力する第2の差分演算部と、第2のラインメモリに蓄積する際に第1のラインメモリから読み出した順とは逆の順方向読み出しライン或いは第1の逆方向読み出しラインの各画素信号が、第5のBEF部を通過する前と後との差分の絶対値を出力する第3の差分演算部と、同一画素位置における、第2、第3の差分演算部の出力信号の最小値を判別し、最小値となった第2或いは第3の差分演算部の入力となる第5のBEF部の出力信号、或いは第2のラインメモリの出力信号を選択して出力する第2の差分最小値側選択部とを備えることとした。
この構成によって、1つのラインに対して、同一特性のIIR−BEFを2つの方向から処理し、それらの結果と入力画像信号との差を、同一座標の画素単位で判別し、入力画像信号との差が少ない方向の処理結果の出力を選択することができる。
本発明の請求項11に記載の撮像装置は、請求項1に記載の第1のBEF部が、目的の周波数の基本周波数を阻止する第6−1のBEF部から、目的の周波数のn次高調波を阻止する第6−nのBEF部までの何れかを有し、互いに直列接続されていることとした。
この構成によって、基本周波数からn次高調波までの周波数を離散的に減衰させることができる。
本発明の請求項12に記載の撮像装置は、請求項1に記載の第1のBEF部が、BPFを有するBPF部と、信号のゲイン調節が可能なアンプとを備え、前記BPF部および前記アンプは、第6−1のBEF部から第6−nのBEF部の最終出力或いは入力と互いに直列接続されていることとした。
この構成によって、直流成分及び2画素周期の周波数に対して、その間の周波数成分の信号レベルを相対的に上げることができ、各フィルタによって変化した信号レベルをアンプによって調節することができる。
本発明の請求項13に記載の撮像装置は、請求項2に記載の第2のBEF部に、請求項7、8、9のいずれかに記載の第3のBEF部と、第1のフィルタ選択部とを備えることとした。
この構成によって、フィルタ効果を維持しつつ劣化を抑えたBEF処理後の信号について、エッジ付近で強度を弱めることができる。
本発明の請求項14に記載の撮像装置は、請求項2に記載の第1のエッジ検出部が、請求項8に記載の第2のエッジ検出部で兼用することとした。
この構成によって、フィルタ効果を維持しつつ劣化を抑えたBEF処理、及びエッジ付近でフィルタの強度を弱める処理、の両方に1つのエッジ検出部のみとすることができる。
本発明の請求項15に記載の撮像装置は、請求項2に記載の第1のエッジ検出部が、請求項9に記載の複数の第1の差分演算部の出力の中で最大となる値を出力する第2の最大値選択部を追加した第3のエッジ検出部で兼用することとした。
この構成によって、フィルタ効果を維持しつつ劣化を抑えたBEF処理、及びエッジ付近でフィルタの強度を弱める処理、の両方に目的の異なる複数の第1の差分演算部を兼用することができる。
本発明の請求項16に記載の撮像装置は、請求項2〜10、13〜15のいずれかに記載のBEFに、請求項11、或いは請求項12のBEF部を使用することとした。
この構成によって、フィルタ効果を維持しつつ劣化を抑えたBEF処理、及びエッジ付近でフィルタの強度を弱める処理、の何れについても複数の周波数の減衰を行うことができる。
本発明の請求項17に記載の撮像装置は、請求項1に記載の第1のBEF部への入力前に、予め把握している撮像素子の垂直或いは水平画素方向のノイズ傾向と入力画像信号から、ノイズ量を予測計算して入力信号から減算することができる補正部を備えることとした。
この構成によって、BEF部への入力前に予めバンドノイズ成分を軽減することができる。
以上のように、本発明の請求項1に記載の撮像装置によれば、固定周波数のバンドノイズと同一の周波数成分のみ減衰させることができるので、その他の周波数成分である画像信号への劣化の影響を少なく抑えることができる。
本発明の請求項2に記載の撮像装置によれば、エッジ付近のBEFの強弱を制御できるので、画像信号のエッジ付近に発生するリンギングの発生を抑える制御ができる。
本発明の請求項3に記載の撮像装置によれば、エッジ信号を一時的に発生した高周波成分として検出することができる。
本発明の請求項4に記載の撮像装置によれば、注目画素周辺の画素幅付近では同じ変動範囲を取り出すことができるので、エッジ付近の一定の幅で安定した検出レベルとすることができる。
本発明の請求項5に記載の撮像装置によれば、エッジ付近に重みを持たせた検出信号を取り出すことができるので、BEFの強度をエッジに近いほど弱める制御ができる。また、遅延回路は最大値側と最小値側にそれぞれ1つのままで、エッジ付近との重みの関係をLPF内の係数を変更するだけで調節することができる。
本発明の請求項6に記載の撮像装置によれば、BEFの特性によって発生するリンギングや遅延成分から発生する入力画像信号との差をエッジ付近と見なした検出信号を取り出すことができる。
本発明の請求項7に記載の撮像装置によれば、リンギングの振幅や画素幅、目的の周波数以外の周波数の減衰、及び遅延によって入力画像信号からの劣化に違いが出る複数のBEFを有することができるので、劣化の影響が少ないBEFを画像信号の状態に応じて切り替えることができる。また、何れのBEFが選択されても常に目的の周波数を減衰するBEFであるため、フィルタ効果は維持される。
本発明の請求項8に記載の撮像装置によれば、エッジ検出信号のレベルに応じてエッジに対して劣化の少ないBEFを切り替えることができる。また、何れのBEFが選択されても常に目的の周波数を減衰するBEFであるため、フィルタ効果は維持される。
本発明の請求項9に記載の撮像装置によれば、入力画像信号に対して最も差の少ない信号を判別できるので、リンギング、目的の周波数以外の周波数の減衰、及び遅延による劣化の少ない信号を毎画素ごとに出力できる。また、何れのBEFが選択されても常に目的の周波数を減衰するBEFであるため、フィルタ効果は維持される。
本発明の請求項10に記載の撮像装置によれば、IIR−BEFで発生するリンギングがエッジに対して後側となることから、処理方向を変えることで同じエッジに対してリンギングの発生方向を2種類とした処理結果を作り出すことができる。これによりリンギングによる入力画像信号との差を大きくすることで、入力画像信号からの劣化の少ない信号を判別することができる。また、2種類の処理結果はどちらもIIR−BEFによるものであるため、常に目的の周波数を減衰するフィルタ効果は維持される。
本発明の請求項11に記載の撮像装置によれば、バンドノイズの周波数成分が基本周波数のみならず、2次、3次等の高調波成分を含む場合、これらの周波数別のノイズ除去を行うことができる。
本発明の請求項12に記載の撮像装置によれば、複数のBEFの重なりによって目的の周波数以外の周波数の減衰量も大きくなるため、BPFによって減衰が大きくなってしまった周波数付近のゲインを相対的に上げ、目的の周波数以外の周波数のゲインを均一化することができる。
本発明の請求項13に記載の撮像装置によれば、フィルタ効果を維持しつつ劣化を抑えたBEF処理後の信号に残るエッジ付近の劣化の影響を抑える制御ができる。
本発明の請求項14、及び15に記載の撮像装置によれば、フィルタ効果を維持しつつ劣化を抑える効果と、エッジ付近でフィルタの強度を弱める効果の2つの効果を得るために、それぞれに必要とする構成を一部兼用できるので、構成規模の増加を軽減できる。
本発明の請求項16に記載の撮像装置によれば、高調波成分を有するバンドノイズに対して、フィルタ効果を維持しつつ劣化を抑える効果と、エッジ付近でフィルタの強度を弱める効果を得られる構成が実現できる。
本発明の請求項17に記載の撮像装置によれば、第1のBEF部に入力されるバンドノイズは予め軽減されているため、使用するBEFの特性は、目的の周波数の減衰量を予め小さくした強度の弱いものを使用できる。従って、リンギング、目的の周波数以外の周波数の減衰、及び遅延による劣化の影響を少なくすることができる。
以下に、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図1は本発明の実施の形態1における構成図である。図1において、2は外界の画像を結ぶレンズ系、3は前記レンズ系2からの光を受ける撮像素子、4は前記撮像素子3からの画像信号を信号処理して外部に出力する信号処理部、5−1は前記信号処理部4内に有するBEF部、1は前記レンズ系2と前記撮像素子3と前記信号処理部4を備える撮像装置である。前記撮像素子3は垂直或いは水平方向に複数の画素を共有する構造であり、仮に垂直方向に4画素を共有する構造とする。前記BEF部5−1は前記撮像素子3が共有する画素方向と同一方向の垂直ラインに対して4画素周期となる周波数を減衰させるBEFを有する。図17(a)は4画素周期の周波数を減衰させるBEFの例である。尚、この例ではIIR−BEFとしたが、有限のインパルス応答継続時間となるFIRフィルタ(以降FIR−BEFと称する)であっても良い。このIIR−BEFのゲイン−周波数特性は図17(b)に示す通りとなり、4画素周期の周波数は十分に減衰し、その他の周波数はほとんど減衰しない特性となっている。
(実施の形態1)
図1は本発明の実施の形態1における構成図である。図1において、2は外界の画像を結ぶレンズ系、3は前記レンズ系2からの光を受ける撮像素子、4は前記撮像素子3からの画像信号を信号処理して外部に出力する信号処理部、5−1は前記信号処理部4内に有するBEF部、1は前記レンズ系2と前記撮像素子3と前記信号処理部4を備える撮像装置である。前記撮像素子3は垂直或いは水平方向に複数の画素を共有する構造であり、仮に垂直方向に4画素を共有する構造とする。前記BEF部5−1は前記撮像素子3が共有する画素方向と同一方向の垂直ラインに対して4画素周期となる周波数を減衰させるBEFを有する。図17(a)は4画素周期の周波数を減衰させるBEFの例である。尚、この例ではIIR−BEFとしたが、有限のインパルス応答継続時間となるFIRフィルタ(以降FIR−BEFと称する)であっても良い。このIIR−BEFのゲイン−周波数特性は図17(b)に示す通りとなり、4画素周期の周波数は十分に減衰し、その他の周波数はほとんど減衰しない特性となっている。
以上のように本実施の形態によれば、撮像素子3によって発生する垂直方向に4画素周期固定のバンドノイズのみを減衰させ、その他の周波数成分に相当する画像信号は減衰による劣化を抑えることができる。
(実施の形態2)
図2は本発明の実施の形態2における構成図である。尚、撮像素子は垂直方向に4画素を共有する構造とする。
図2は本発明の実施の形態2における構成図である。尚、撮像素子は垂直方向に4画素を共有する構造とする。
図2において、6−1は入力画像信号をもとに垂直ライン方向のエッジを検出できるエッジ検出部、5−3は実施の形態1に記載のBEFと前記エッジ検出部6−1を有する第2のBEF部、7は入力画像信号と第2のBEF部5−3を通過した画像信号との加算比率を、エッジ検出部6−1からの検出信号をもとに変化させることのできる混合部、5−2は第2のBEF部5−3と混合部7を有するBEF部である。BEF部5−2は、図1のBEF部5−1に該当する。ここで使用するBEFには図18(a)を例として説明する。なお、本明細書において、BEF部は、BEFを備え、目的の周波数を減衰させる機能を有する構成を意味する。説明の便宜上、BEF部には、「第2のBEF部」等と名称を付し、互いに異なるBEF部を区別する。図18(a)は、図17(a)と同様に4画素周期の周波数を減衰させるBEFの例である。このBEFのゲイン−周波数特性は図18(b)に示す通りとなる。またエッジ検出部6−1は図3で示すHPFとしたエッジ検出部6−2として説明する。図18(a)に示すBEFに図19(a)で示す画像信号が入力されたとする。図19(a)の横軸は垂直ライン方向の各画素に相当し、縦軸は各画素のレベルである。また、横軸の左の画素から順次図18(a)のBEFに入力されたとする。この場合の図18(a)のBEFの出力は図19(b)のようになり、エッジの発生した2画素は入力信号に対して劣化を起こしていることがわかる。一方でエッジ検出部6−2に同様の図19(a)を入力すると図19(c)が得られ、劣化が発生した2画素の位置にレベルが発生していることわかる。従って、混合部7はエッジ検出部6−2で得られた信号をもとに、2画素についてはBEF部5−3からの画像信号を0%、入力画像信号を100%で加算した出力を行い、その他の画素についてはBEF部5−3からの画像信号を100%、入力画像信号を0%で加算した出力を行うことができる。
以上のように本実施の形態によれば、BEFによってエッジ付近に発生する画像信号の劣化を抑えることができる。また、HPFはエッジ信号を一時的に発生した高周波成分として検出することができる。
(実施の形態3)
図4は本発明の実施の形態3における構成図である。図4において、8−2−1から8−2−4は入力画像信号を1画素遅延させる1画素遅延回路、11−1は入力画像信号及び順次遅延された入力画像信号の中から最大値を選択して出力する最大値選択部、12−1は前記最大値選択部11−1と同様の入力信号の中で最小値を選択して出力する最小値選択部、10−2は前記最大値選択部11−1から前記最小値選択部12−1の出力を減算して出力する減算器、6−3は前記1画素遅延回路8−2−1から8−2−4と前記最大値選択部11−1と前記最小値選択部12−1と前記減算器10−2を有するエッジ検出部であり、エッジ検出部6−3は図2のエッジ検出部6−1に該当する。このエッジ検出部6−3に図19(a)同様の入力があった場合は、図20(b)のように、エッジの発生した画素以降の4画素で一定の検出信号が得られている。一定の検出画素幅である4画素は1画素遅延回路を4つ設けたことによるものであり、検出幅を更に広く得る場合は1画素遅延回路を更に追加すれば良い。
図4は本発明の実施の形態3における構成図である。図4において、8−2−1から8−2−4は入力画像信号を1画素遅延させる1画素遅延回路、11−1は入力画像信号及び順次遅延された入力画像信号の中から最大値を選択して出力する最大値選択部、12−1は前記最大値選択部11−1と同様の入力信号の中で最小値を選択して出力する最小値選択部、10−2は前記最大値選択部11−1から前記最小値選択部12−1の出力を減算して出力する減算器、6−3は前記1画素遅延回路8−2−1から8−2−4と前記最大値選択部11−1と前記最小値選択部12−1と前記減算器10−2を有するエッジ検出部であり、エッジ検出部6−3は図2のエッジ検出部6−1に該当する。このエッジ検出部6−3に図19(a)同様の入力があった場合は、図20(b)のように、エッジの発生した画素以降の4画素で一定の検出信号が得られている。一定の検出画素幅である4画素は1画素遅延回路を4つ設けたことによるものであり、検出幅を更に広く得る場合は1画素遅延回路を更に追加すれば良い。
以上のように本実施の形態によれば、エッジ付近の一定の幅で安定した検出レベルとすることができるのでエッジ付近で安定した混合比率の切り替えを行うことができる。更に、1画素遅延回路の数で一定幅を調節できるので、BEFの特性によって異なるエッジ付近の劣化の幅に応じた混合比率の調節が可能である。
(実施の形態4)
図5は本発明の実施の形態4における構成図である。図5において、11−2は2つの入力の中で最大となる値を出力する最大値選択部、8−3−1は前記最大値選択部11−2の出力を1画素遅延させる1画素遅延回路、9−2−2は前記1画素遅延回路8−3−1からの信号を減衰させるアンプ、9−2−1は入力画像信号を減衰させるアンプ、10−3−1は前記アンプ9−2−1と9−2−2の出力を加算して出力する加算器、12−2は2つの入力の中で最小となる値を出力する最小値選択部、8−3−2は前記最小値選択部12−2の出力を1画素遅延させる1画素遅延回路、9−2−4は前記1画素遅延回路8−3−2からの信号を減衰させるアンプ、9−2−3は入力画像信号を減衰させるアンプ、10−3−2は前記アンプ9−2−3と9−2−4の出力を加算して出力する加算器、10−3−3は前記最大値選択部11−2の出力から前記最小値選択部12−2の出力を減算して出力する減算器、6−4はこれらで構成されたエッジ検出部であり、エッジ検出部6−4は図2のエッジ検出部6−1に該当する。
図5は本発明の実施の形態4における構成図である。図5において、11−2は2つの入力の中で最大となる値を出力する最大値選択部、8−3−1は前記最大値選択部11−2の出力を1画素遅延させる1画素遅延回路、9−2−2は前記1画素遅延回路8−3−1からの信号を減衰させるアンプ、9−2−1は入力画像信号を減衰させるアンプ、10−3−1は前記アンプ9−2−1と9−2−2の出力を加算して出力する加算器、12−2は2つの入力の中で最小となる値を出力する最小値選択部、8−3−2は前記最小値選択部12−2の出力を1画素遅延させる1画素遅延回路、9−2−4は前記1画素遅延回路8−3−2からの信号を減衰させるアンプ、9−2−3は入力画像信号を減衰させるアンプ、10−3−2は前記アンプ9−2−3と9−2−4の出力を加算して出力する加算器、10−3−3は前記最大値選択部11−2の出力から前記最小値選択部12−2の出力を減算して出力する減算器、6−4はこれらで構成されたエッジ検出部であり、エッジ検出部6−4は図2のエッジ検出部6−1に該当する。
最大値選択部11−2の第1の入力は、入力画像信号であり、第2の入力は加算器10−3−1の出力である。最小値選択部12−2の第1の入力は、入力画像信号であり、第2の入力は加算器10−3−2の出力である。
アンプ9−2−1と9−2−2の減衰量は、合計が1となるようにする。ここでは仮に1/8と7/8とする。アンプ9−2−3と9−2−4の減衰量も同様に、合計が1となるようにする。ここでは仮に1/8と7/8とする。
この構成により前記最大値選択部11−2の出力は入力画像信号に対して下回らないLPFの特性が得られ、前記最小値選択部12−2の出力は入力信号に対して上回らないLPFの特性が得られる。このエッジ検出部6−4に図19(a)同様の入力があった場合は、図21(b)のように、エッジの発生した画素を最大としてエッジから離れるほどレベルが下がる特性が得られる。アンプの減衰量を仮に1/8と7/8としたが、これを仮に1/16と15/16とすると帰還成分が強くなるので、エッジの発生した画素で発生するレベルに対してエッジから離れてもレベルが下がらずに継続する傾向が強くなる。
以上のように本実施の形態によれば、エッジ付近に重みを持たせた検出信号を取り出すことができるので、BEFの強度をエッジに近いほど弱める制御ができる。また、遅延回路は最大値側と最小値側にそれぞれ1つのままで、アンプの減衰量の調節のみでエッジ付近との重みの関係を調節することができるので、BEFの特性によって異なるエッジ付近の劣化の幅に応じた混合比率の調節が可能である。
(実施の形態5)
図6は本発明の実施の形態5における構成図である。図6において、5−4はBEFを有する第3のBEF部、13−1は入力画像信号と第3のBEF部5−4の出力信号の差分の絶対値を出力する差分演算部、6−5は差分演算部13−1を有するエッジ検出部であり、エッジ検出部6−5は図2のエッジ検出部6−1に該当する。第3のBEF部5−4が有するBEFを図18(a)とし、図19(a)同様の入力があった場合は、差分演算部13−1の出力は図19(d)となる。
図6は本発明の実施の形態5における構成図である。図6において、5−4はBEFを有する第3のBEF部、13−1は入力画像信号と第3のBEF部5−4の出力信号の差分の絶対値を出力する差分演算部、6−5は差分演算部13−1を有するエッジ検出部であり、エッジ検出部6−5は図2のエッジ検出部6−1に該当する。第3のBEF部5−4が有するBEFを図18(a)とし、図19(a)同様の入力があった場合は、差分演算部13−1の出力は図19(d)となる。
以上のように本実施の形態によれば、BEFの特性によって発生するリンギングや遅延成分から発生する入力信号との差をエッジ付近と見なした検出信号を取り出すことができる。また、1画素遅延回路を使わずにエッジ検出部を構成できる。
(実施の形態6)
図7、図9、図15、及び図22は本発明の実施の形態6における構成図である。
図7、図9、図15、及び図22は本発明の実施の形態6における構成図である。
図7において、5−7−1から5−7−nはそれぞれ特性が異なるが目的の周波数を減衰できるBEFを有する第4のBEF部、5−6は前記第4のBEF部5−7−1から5−7−nを有する第3のBEF部、14−1は入力画像信号と前記複数の第4のBEF部5−7−1から5−7−nの出力信号をもとに、前記複数の第4のBEF部5−7−1から5−7−nの出力信号を選択して出力するフィルタ選択部、5−5は前記第3のBEF部5−6と前記フィルタ選択部14−1を有するBEF部であり、BEF部5−5は図1のBEF部5−1に該当する。
図9において、13−3−1は入力画像信号と前記第4のBEF部5−7−1の出力の差分の絶対値を出力する差分演算部、13−3−2から13−3−nまで同様にしてそれぞれの第4のBEF部5−7−nまでに対応した差分演算部、15−1は前記差分演算部13−3−1から13−3−nの出力の中で、最小値を判別し、最小値となった前記差分演算部13−3の入力となる前記第4のBEF部5−7の出力信号を選択して出力する差分最小値側選択部、14−5は前記差分演算部13−3−1から13−3−nと前記差分最小値側選択部15−1とを有するフィルタ選択部であり、フィルタ選択部14−5は図7のフィルタ選択部14−1に該当する。
図15において、11−4は図9の差分演算部13−3−1から13−3−nの出力の中で最大となる値を選択して出力する最大値選択部、6−9は前記差分演算部13−3−1から13−3−nと前記最大値選択部11−4を有するエッジ検出部、14−6は前記差分最小値側選択部15−1と前記エッジ検出部6−9を有するフィルタ選択部であり、フィルタ選択部14−6は図7のフィルタ選択部14−1に該当する。
前記フィルタ選択部14−6内に有するエッジ検出部6−9の出力を図2のエッジ検出部6−1として使用する。
尚、エッジ検出部6−9には前記複数の第4のBEF部5−7−1〜5−7−n間の差分の絶対値を出力する差分演算部を有して、その出力を含めて最大値を選択する最大値選択部11−4であっても良い。
これらの構成について、図22とした構成を加えて説明する。
図22において、5−20−1は前記BEF部5−7−1と同様のBEF部であり、図17(a)となるBEFとする。5−20−2は前記BEF部5−7−2と同様のBEF部であり、図18(a)となるBEFとする。
図22において、5−20−1は前記BEF部5−7−1と同様のBEF部であり、図17(a)となるBEFとする。5−20−2は前記BEF部5−7−2と同様のBEF部であり、図18(a)となるBEFとする。
13−5−1は入力画像信号とBEF部5−20−1の出力の差分の絶対値を出力する前記差分演算部13−3−1とする差分演算部、13−5−2は入力画像信号とBEF部5−20−2の出力の差分の絶対値を出力する前記差分演算部13−3−2とする差分演算部、13−5−3はBEF部5−20−1の出力とBEF部5−20−2の出力の差分の絶対値を出力する差分演算部、15−3は差分演算部13−5−1と13−5−2の出力の中で最小値となった差分演算部13−5への入力となるBEF部5−20の出力を選択して出力する前記差分最小値選択部15−1とする差分最小値側選択部、11−5は差分演算部13−5−1から13−5−3の出力の中で最大となる値を選択して出力する前記最大値選択部11−4とする最大値選択部である。
図17(a)の群遅延−周波数特性は図17(c)であり、図18(a)の群遅延−周波数特性は図18(c)である。また図17(a)に図19(a)と同様の入力があった場合の出力は図23(b)となる。
図17(a) および図18(a)の特性を比較すると、図17(a)は目的の周波数以外の周波数での減衰範囲が狭く、かつ減衰の少ない周波数での群遅延が1画素よりも十分小さい。しかし、図23(b)と図19(b)とでわかるようにエッジの後のリンギングが広い画素範囲で継続している。一方で図17(a)と図18(a)の共通点は、共に4画素周期の周波数を減衰するところにある。
次に図22の動作について説明する。
まず4画素周期となる周波数のバンドノイズが定常的に重畳され、その他の交流成分、及び直流の変動は無い入力画像信号について説明する。BEF部5−20−1の出力は図17(a)の特性からもわかるように、BEF部5−20−2の出力は図18(a)の特性からもわかるように、4画素周期の周波数成分は共に除去され直流成分のみの出力となる。それぞれの直流成分は入力画像信号の直流成分と同じになるため、BEF部5−20−1の出力とBEF部5−20−2の出力は同じ値となる。従って、差分演算部13−5−1および差分演算部13−5−2の出力は共に同じ値となる。差分最小値側選択部15−3は差分演算部13−5−1および差分演算部13−5−2の出力が同じ値であった場合は、BEF部5−20−1の出力、BEF部5−20−2の出力の何れを選択しても良いので、差分最小値側選択部15−3の出力にはBEF部5−20−1の出力、BEF部5−20−2の出力の何れかが出力されることになる。出力された画像信号は入力画像信号の直流成分が常に出力され、4画素周期となる周波数成分のバンドノイズは除去されている。
まず4画素周期となる周波数のバンドノイズが定常的に重畳され、その他の交流成分、及び直流の変動は無い入力画像信号について説明する。BEF部5−20−1の出力は図17(a)の特性からもわかるように、BEF部5−20−2の出力は図18(a)の特性からもわかるように、4画素周期の周波数成分は共に除去され直流成分のみの出力となる。それぞれの直流成分は入力画像信号の直流成分と同じになるため、BEF部5−20−1の出力とBEF部5−20−2の出力は同じ値となる。従って、差分演算部13−5−1および差分演算部13−5−2の出力は共に同じ値となる。差分最小値側選択部15−3は差分演算部13−5−1および差分演算部13−5−2の出力が同じ値であった場合は、BEF部5−20−1の出力、BEF部5−20−2の出力の何れを選択しても良いので、差分最小値側選択部15−3の出力にはBEF部5−20−1の出力、BEF部5−20−2の出力の何れかが出力されることになる。出力された画像信号は入力画像信号の直流成分が常に出力され、4画素周期となる周波数成分のバンドノイズは除去されている。
次に図24(a)の交流成分が画像を表す成分として定常的に発生した入力画像信号について説明する。この交流成分の周波数は図17(b)および図18(b)における横軸0.125に相当する8画素周期の成分である。除去すべき周波数は4画素周期としているので8画素周期の交流成分は除去せず、かつできるだけ波形を劣化させないことが望まれる。横軸0.125において図17(b)と図18(b)とを比較すると、図18(b)の減衰が明らかに大きい。また、図17(c)と図18(c)とを比較すると、図18(c)の遅延が明らかに大きい。従って、BEF部5−20−1の出力は図24(b)に示される通り8画素周期の成分の減衰、および遅延はほとんど発生していないのに対して、BEF部5−20−2の出力は図24(d)に示される通り減衰及び1画素の遅延が発生している。以上のことからBEF部5−20−2はBEF部5−20−1と比較して入力画像信号に対して減衰および遅延共に劣化していることは明らかである。従って、差分演算部13−5−1の出力である図24(c)、差分演算部13−5−2の出力である図24(e)、のように図24(e)の方が大きな値になる傾向となる。これはつまりBEF部5−20−1の出力信号を選択する傾向が強いということとなり、減衰および遅延による劣化の少ない図24(f)が生成されることとなる。
次に図19(a)のエッジが発生した入力画像信号について説明する。BEF部5−20−1の出力は図23(b)に示す通りとなり、エッジ以降レベルが上下に変動するリンギングが複数の画素に継続して発生している。BEF部5−20−2の出力は図19(b)に示す通りとなり、エッジ以降のリンギングは3画素以降で速やかに収束しているが、エッジの発生した画素と次の画素である2画素分は、本来のレベル変動に対して50%の劣化が発生している。差分演算部13−5−1の出力は図23の(a)と(b)の差分の絶対値であるから、図23(c)となる。差分演算部13−5−2の出力は図19の(a)と(b)の差分の絶対値であるから、図19(d)となる。差分最小値側選択部15−3は各画素ごとに図23(c)と図19(d)の値を比較する。エッジの発生した画素と次の画素(2画素分)は、図23(c)と図19(d)を比較して図23(c)側の方が小さい値である。従って、この2画素はBEF部5−20−1の出力を選択して出力する。以降BEF部5−20−1にリンギングが継続している間の画素は図23(c)と図19(d) の比較にて図19(d)側の方が小さい値である。従ってBEF部5−20−2の出力を選択して出力する。このようにして差分最小値側選択部15−3が出力する画像信号は図25となり図23(b)及び図19(b)のどちらと比較しても劣化の少ない画像信号が得られている。
以上のようにここまでの動作にて図7、図9に示す構成の実施例とすることができ、入力画像信号に対して最も差の少ない信号を判別できるので、リンギング、目的の周波数以外の周波数の減衰、及び遅延による劣化の少ない信号を毎画素ごとに出力できる。また、何れのBEFが選択されても常に目的の周波数を減衰するBEFであるため、フィルタ効果は維持される。
更に図22の動作について説明する。差分演算部13−5−3は図23(b)及び図19(b)を比較して図26を出力する。最大値選択部11−5は図23(c)、図19(d) 、図26を比較して最大の値を出力するため、図27が得られる。この信号はエッジ付近に強く重みを持たせるものの、広く継続するリンギング領域にも若干の検出成分を持たせたバランスとなっている。最大値選択部11−5はどの信号入力を利用するかは自由で、目的のバランスに応じて予め入力する信号を決めれば良い。混合部7は図27の値に従って、まず入力輝度信号と差分最小値側選択部15−3の出力信号を減衰させる。それぞれの減衰量は、入力輝度信号の減衰後のレベルを「A」、および差分最小値側選択部15−3の出力信号の減衰後のレベルを「B」として、例えば下記比率になるようしきい値分をする。
図27の値<20の場合、
A : B = 0:1
20≦図27の値<30の場合、
A : B = 1:1
図27の値≧30の場合、
A : B = 1:0
A : B = 0:1
20≦図27の値<30の場合、
A : B = 1:1
図27の値≧30の場合、
A : B = 1:0
尚、上記はしきい値を2つ設けたが、しきい値数を増やしても良く、またしきい値の値や比率の値も上記に限るものではない。
この例の場合、エッジ2画素分は図27の値≧30に相当するため、Aは入力画像信号が減衰無く保たれる。一方でBは差分最小値側選択部15−3の出力が0となる減衰をさせる。従って混合後に出力される画像信号は100%入力画像信号となる。逆に2画素以外では図27の値<20となるのでAは0となり、Bは差分最小値側選択部15−3の出力が減衰無く保たれる。従って混合後に出力される画像信号は100%差分最小値側選択部15−3の出力となる。この例の場合は、出力信号の画像信号成分は完全に復元されることになる。
図示しないが仮に20≦図27の値<30となった場合は、Aは入力画像信号を50%に減衰させて、Bは差分最小値側選択部15−3の出力を50%に減衰させる。従って出力される画像信号は入力画像信号の成分と差分最小値側選択部15−3の出力信号の成分が半々で混合される。
以上のようにここまでの動作にて図15に示す構成の実施例とすることができ、フィルタ効果を維持しつつ劣化を抑える効果、エッジ付近でフィルタの強度を弱める効果の2つの効果を得ている。さらに2つの効果を得る上で、それぞれに必要とする構成を一部兼用しているので、構成規模の増加を軽減している。
(実施の形態7)
図8(a)、及び図8(b)は本発明の実施の形態7における構成図である。
図8(a)において、6−7は入力画像信号からエッジを検出して出力するエッジ検出部、14−2は前記エッジ検出部6−7からの検出信号をもとに、前記複数の第4のBEF部5−7−1から5−7−nの出力信号を選択して出力するフィルタ選択部、14−3は前記エッジ検出部6−7と前記フィルタ選択部14−2を有するフィルタ選択部であり、フィルタ選択部14−3を図7のフィルタ選択部14−1とする。
図8(a)、及び図8(b)は本発明の実施の形態7における構成図である。
図8(a)において、6−7は入力画像信号からエッジを検出して出力するエッジ検出部、14−2は前記エッジ検出部6−7からの検出信号をもとに、前記複数の第4のBEF部5−7−1から5−7−nの出力信号を選択して出力するフィルタ選択部、14−3は前記エッジ検出部6−7と前記フィルタ選択部14−2を有するフィルタ選択部であり、フィルタ選択部14−3を図7のフィルタ選択部14−1とする。
図8(b)において、13−2−1は入力画像信号と前記BEF部5−7−1の出力の差分の絶対値を出力する差分演算部、13−2−2から13−2−nまで同様にしてそれぞれのBEF部5−7−nまでに対応した差分演算部、11−3は前記差分演算部13−2−1から13−2−nの出力の中で最大となる値を選択して出力する最大値選択部、6−8は前記差分演算部13−2−1から13−2−n及び最大値選択部11−3を有するエッジ検出部、14−4は前記エッジ検出部6−8と前記フィルタ選択部14−2を有するフィルタ選択部であり、フィルタ選択部14−4は図7のフィルタ選択部14−1に該当する。
図8(a)の構成はエッジ検出部6−7に図3から図5に示すものを使用とすると、図19(a)の入力画像信号に対して、それぞれ図19(c)、図20(b)、図21(b)の検出信号が得られる。図22と同様の特性のBEF部5−20−1と、BEF5−20−2の2つが使われる構成の場合、図19(c)、図21(b)の検出信号に対してそれぞれエッジ付近2画素でBEF5−20−1を選択するしきい値とすると、図25と同じ結果が得られる。図20(b)の場合はエッジ付近2画素に対して4画素幅単位での判別になるが。エッジ付近4画素を図23(b)から選択、その他の画素を図19(b)から選択することは可能で、この結果得られた画像信号も図23(b) や図19(b)と比較して劣化の少ない画像信号が得られる。
図8(b)の構成はエッジ検出部6−8の出力が図22の最大値選択部11−5の出力図27であるので、エッジ付近2画素にてBEF部5−20−1を選択するしきい値とすると、図25と同じ結果が得られる。
以上のように図8(a),(b)の実施例にて、エッジ検出信号のレベルに応じてエッジに対して劣化の少ないBEFを切り替えることができ、エッジ付近の画像信号の劣化を抑えることができる。また、何れのBEFが選択されても常に目的の周波数を減衰するBEFであるため、フィルタ効果は維持される。
(実施の形態8)
図13は本発明の実施の形態8における構成図である。図13において、5−15は前記第3のBEF部5−6と前記フィルタ選択部14−1と図2のエッジ検出部6−1とを有する第2のBEF部であり、BEF部5−15は図2の第2のBEF部5−3に該当する。
図13は本発明の実施の形態8における構成図である。図13において、5−15は前記第3のBEF部5−6と前記フィルタ選択部14−1と図2のエッジ検出部6−1とを有する第2のBEF部であり、BEF部5−15は図2の第2のBEF部5−3に該当する。
図13の構成は、例えば図22の差分最小値側選択部15−3の出力である図25と、図19(c)、図20(b)、図21(b)のいずれかによるエッジ検出で動作する。混合部7は図19(c)、図21(b)の場合、エッジ付近2画素で、図20(b)の場合はエッジ付近4画素で入力画像信号を100%とする出力を行うことで、出力信号の画像信号成分は完全に復元されることになる。
以上のように図13の実施例にて、フィルタ効果を維持しつつ劣化を抑えたBEF処理後の信号に残るエッジ付近の劣化の影響を抑える制御ができる。
(実施の形態9)
図14は本発明の実施の形態9における構成図である。図14において、前記フィルタ選択部14−1内に有するエッジ検出部6−8は、図8(a)のエッジ検出部6−7或いは図8(b)のエッジ検出部6−8に該当し、この出力を図2のエッジ検出部6−1として兼用する。
図14は本発明の実施の形態9における構成図である。図14において、前記フィルタ選択部14−1内に有するエッジ検出部6−8は、図8(a)のエッジ検出部6−7或いは図8(b)のエッジ検出部6−8に該当し、この出力を図2のエッジ検出部6−1として兼用する。
図14の構成は、図8(b)の構成でフィルタ効果を維持しつつ劣化を抑えたBEF処理を行い、エッジ検出部6−8の出力を兼用して混合部7を動作させる。
以上のように図14の実施例も図13同様、フィルタ効果を維持しつつ劣化を抑えたBEF処理後の信号に残るエッジ付近の劣化の影響を抑える制御ができる。さらに2つの効果を得る上で、それぞれに必要とするエッジ検出部を兼用しているので、構成規模の増加を軽減している。
(実施の形態10)
図10は本発明の実施の形態10における構成図である。図10において、16−1は入力画像信号について、垂直1ラインの各画素信号を予め蓄積可能で、蓄積順及びその逆順どちらからの順番でも読み出し可能なラインメモリ、5−9はラインメモリ16−1の蓄積順の1ライン(以降順方向読み出しラインと称する)と逆順の1ライン(以降第1の逆方向読み出しラインと称する)のそれぞれの処理を行うことができ、無限のインパルス応答継続時間となるIIR−BEFとしたBEFを有する第5のBEF部、16−2は第5のBEF部5−9を通過した順方向読み出しライン、或いは第1の逆方向読み出しラインの何れか一方の1ラインの各画素信号を蓄積可能で、蓄積順に対して逆順(以降第2の逆方向読み出しライン)で読み出し可能なラインメモリ、13−4−1は第2の逆方向読み出しラインの各画素信号と、ラインメモリ16−2に蓄積する際にラインメモリ16−1から読み出した順とは逆の順方向読み出しライン或いは第1の逆方向読み出しラインの各画素信号と、の差分の絶対値を出力する差分演算部、13−4−2はラインメモリ16−2に蓄積する際にラインメモリ16−1から読み出した順とは逆の前記順方向読み出しライン或いは第1の逆方向読み出しラインの各画素信号が、第5のBEF部5−9を通過する前と後との差分の絶対値を出力する差分演算部、15−2は同一画素位置における、差分演算部13−4−1、13−4−2の出力信号の最小値を判別し、最小値となった差分演算部13−4−1、13−4−2の入力となる第5のBEF部5−9の出力信号、或いはラインメモリ16−2の出力信号を選択して出力する差分最小値側選択部、5−8はこれらを有する図1のBEF部5−1とする。
図10は本発明の実施の形態10における構成図である。図10において、16−1は入力画像信号について、垂直1ラインの各画素信号を予め蓄積可能で、蓄積順及びその逆順どちらからの順番でも読み出し可能なラインメモリ、5−9はラインメモリ16−1の蓄積順の1ライン(以降順方向読み出しラインと称する)と逆順の1ライン(以降第1の逆方向読み出しラインと称する)のそれぞれの処理を行うことができ、無限のインパルス応答継続時間となるIIR−BEFとしたBEFを有する第5のBEF部、16−2は第5のBEF部5−9を通過した順方向読み出しライン、或いは第1の逆方向読み出しラインの何れか一方の1ラインの各画素信号を蓄積可能で、蓄積順に対して逆順(以降第2の逆方向読み出しライン)で読み出し可能なラインメモリ、13−4−1は第2の逆方向読み出しラインの各画素信号と、ラインメモリ16−2に蓄積する際にラインメモリ16−1から読み出した順とは逆の順方向読み出しライン或いは第1の逆方向読み出しラインの各画素信号と、の差分の絶対値を出力する差分演算部、13−4−2はラインメモリ16−2に蓄積する際にラインメモリ16−1から読み出した順とは逆の前記順方向読み出しライン或いは第1の逆方向読み出しラインの各画素信号が、第5のBEF部5−9を通過する前と後との差分の絶対値を出力する差分演算部、15−2は同一画素位置における、差分演算部13−4−1、13−4−2の出力信号の最小値を判別し、最小値となった差分演算部13−4−1、13−4−2の入力となる第5のBEF部5−9の出力信号、或いはラインメモリ16−2の出力信号を選択して出力する差分最小値側選択部、5−8はこれらを有する図1のBEF部5−1とする。
第5のBEF部5−9には図17(a)を使用するものとし、入力画像信号として図28(a)が左から順にBEF部5−8に入力されたとする。入力画像信号はラインメモリ16−1に順次1ライン分蓄積される。第5のBEF部5−9はまずラインメモリ16−1から蓄積順に読み出されて処理される。この場合、第5のBEF部5−9を通過した結果は図28(b)となり、順次ラインメモリ16−2に蓄積される。第5のBEF部5−9は次にラインメモリ16−1から蓄積順とは逆順、つまり図28(a)の右から順に読み出されて処理される。この場合、第5のBEF部5−9を通過した結果は図28(c)となる。尚、この場合の処理順は図28(c)の右からである。図28(c)の処理が開始されると同時に差分演算部13−4−1、13−4−2、差分最小値側選択部の動作が開始される。差分演算部13−4−1は図28(a)と図28(b)を右から順に処理される。差分演算部13−4−2は図28(a)と図28(c)を右から順に処理される。差分最小値側選択部は同一座標の画素位置に対する2方向からのIIR−BEFの結果を比較選択するので、エッジの左右においてどちらかが必ずリンギングの存在しない処理結果を選択できることになり、入力の図28(a)と同じ結果が出力として得られている。
以上のようにIIR−BEFで発生するリンギングがエッジに対して後側となることから、処理方向を変えることで同じエッジに対してリンギングの発生方向を2種類とした処理結果を作り出せ、リンギングによる入力画像信号との差を大きくすることで、入力画像信号からの劣化の少ない信号を判別することができる。また、2種類の処理結果はどちらもBEFによるものであるため、常に目的の周波数を減衰するフィルタ効果は維持される。
(実施の形態11)
図11は本発明の実施の形態11における構成図である。図11において、5−11−1は目的の周波数の基本周波数を阻止する第6−1のBEF部、5−11−2は目的の周波数の2次高調波を阻止する第6−2のBEF部、5−11−nは目的の周波数のn次高調波を阻止する第6−nのBEF部であり、互いに直列接続されている。また5−10は前記第6−1のBEF部5−11−1から第6−nのBEF部5−11−nまでの何れかを有し、図1のBEF部5−1に該当する。
図11は本発明の実施の形態11における構成図である。図11において、5−11−1は目的の周波数の基本周波数を阻止する第6−1のBEF部、5−11−2は目的の周波数の2次高調波を阻止する第6−2のBEF部、5−11−nは目的の周波数のn次高調波を阻止する第6−nのBEF部であり、互いに直列接続されている。また5−10は前記第6−1のBEF部5−11−1から第6−nのBEF部5−11−nまでの何れかを有し、図1のBEF部5−1に該当する。
入力画像信号に含まれるバンドノイズが仮に8画素周期を基本周波数とし、2次高調波(4画素周期)を含む入力があるとすると、第6−1のBEF部5−11−1及び第6−2のBEF部5−11−2が必要で、例えば第6−1のBEF部5−11−1は図29(a)となるBEFを構成する。また第6−2のBEF部5−11−2には図18(b)となるBEFを構成する。これらを直列接続することにより図29(b)の特性が得られ、バンドノイズの基本周波数及び2次高調波を減衰させることができる。
(実施の形態12)
図12は本発明の実施の形態12における構成図である。図12において、5−13−1は図11の第6−1のBEF部5−11−1と同じ第6−1のBEF部、5−13−2は図11の第6−2のBEF部5−11−2と同じ第6−2のBEF部、5−13−nは図11の第6−nのBEF部5−11−nと同じ第6−nのBEF部、17は第6−1のBEF部5−13−1から第6−nのBEF部5−13−nの減衰の重なりによって大きくなった減衰部分のゲインを持ち上げるBPF部、9−3は第6−1のBEF部5−13−1から第6−nのBEF部5−13−nとBPF部17によってずれた各周波数のゲインを調節するアンプであり、これらは全て直列接続される。5−12はこれらを有する図1のBEF部5−1とする。
図12は本発明の実施の形態12における構成図である。図12において、5−13−1は図11の第6−1のBEF部5−11−1と同じ第6−1のBEF部、5−13−2は図11の第6−2のBEF部5−11−2と同じ第6−2のBEF部、5−13−nは図11の第6−nのBEF部5−11−nと同じ第6−nのBEF部、17は第6−1のBEF部5−13−1から第6−nのBEF部5−13−nの減衰の重なりによって大きくなった減衰部分のゲインを持ち上げるBPF部、9−3は第6−1のBEF部5−13−1から第6−nのBEF部5−13−nとBPF部17によってずれた各周波数のゲインを調節するアンプであり、これらは全て直列接続される。5−12はこれらを有する図1のBEF部5−1とする。
実施の形態11同様のバンドノイズが入力されるとすると、第6−1のBEF部5−13−1及び第6−2のBEF部5−13−2は実施の形態11と同様の特性のBEFとする。これにより第6のBEF部5−13によって図29(b)が得られるが、例えば8画素周期から4画素周期の間は互いの第6のBEF部5−13の減衰の重なりによって減衰量が増加する。この周波数帯のゲインを強調する目的のBPF部17を例えば図29(c)になるように構成することで8画素周期から4画素周期付近のゲインを相対的に上げることができる。第6のBEF部5−13とBPF部17によって、変化した各周波数のゲインはアンプ9−3によって調整され、入力画像信号のゲインに近づけられた画像信号を出力することができる。
(実施の形態13)
これまでの図に示される第2のBEF部5−3、第3のBEF部5−4、第4のBEF部5−7−1から5−7−n、第5のBEF部5−9に、BEF部5−10、或いはBEF部5−12を使用することによって、それぞれの構成における高調波成分を含む複数の周波数が含まれるバンドノイズを減衰させることができる。
これまでの図に示される第2のBEF部5−3、第3のBEF部5−4、第4のBEF部5−7−1から5−7−n、第5のBEF部5−9に、BEF部5−10、或いはBEF部5−12を使用することによって、それぞれの構成における高調波成分を含む複数の周波数が含まれるバンドノイズを減衰させることができる。
(実施の形態14)
図16は本発明の実施の形態14における構成図である。図16において、19は予め把握している撮像素子の垂直或いは水平画素方向のノイズ傾向と入力画像信号から、ノイズ量を予測計算して出力する補正量演算部、10−4は入力画像信号から補正量演算部の出力を減算する減算器、18は前記補正量演算部19と減算器10−4を有する補正部である。
図16は本発明の実施の形態14における構成図である。図16において、19は予め把握している撮像素子の垂直或いは水平画素方向のノイズ傾向と入力画像信号から、ノイズ量を予測計算して出力する補正量演算部、10−4は入力画像信号から補正量演算部の出力を減算する減算器、18は前記補正量演算部19と減算器10−4を有する補正部である。
使用する撮像素子が4画素周期でノイズを発生するものとし、本来の信号レベルがX,ノイズが重畳された信号レベルをYとして、予め把握している撮像素子のノイズ傾向は以下で表せたとする。
1画素目:Y=X
2画素目:Y=X+(aX+b)
3画素目:Y=X
4画素目:Y=X−(aX+b)
1画素目:Y=X
2画素目:Y=X+(aX+b)
3画素目:Y=X
4画素目:Y=X−(aX+b)
この場合、補正量演算部は、入力画像信号をY、出力の画像信号をXとすることになるので、1画素目、3画素目については入力信号をそのまま出力する。2画素目はX=(Y−b)/(1+a)のYに入力画像信号レベルを代入したXの値を出力する。4画素目はX=(Y−b)/(1−a)のYに入力画像信号レベルを代入したXの値を出力する。
これによりノイズ成分は完全に除去できることになるが、実際は内部の構造や撮像素子の温度、固体ばらつき等々様々な要因で正確に等価式に置き換えることは不可能であるので、必ず誤差が発生する。つまりこの補正のみで完全に除去することは事実上不可能である。従って、上記の様に近似として置き換えた式からノイズ量を算出することとなり、補正部18はノイズ量を予め軽減する働きとなる。これにより、ノイズ量は軽減されている傾向となるので、その後に行われるBEF部5−1のBEFは目的の周波数の減衰量を予め小さくした強度の弱いものを使用できる。従って、リンギング、目的の周波数以外の周波数の減衰、及び遅延による劣化の影響を少なくすることができる。
本発明にかかる撮像装置は、複数の画素を共有する撮像素子の構造によって発生する共有画素周期のバンドノイズを、容易にICに組み込むことができる信号処理によって補正することができるので、高画素化に有効な複数の画素を共有する撮像素子を使用する撮像装置に、更に小型化が要求される撮像装置に幅広く有用である。
1 撮像装置
2 レンズ系
3 撮像素子
4 信号処理部
5−1〜5−6,5−7−1〜5−7−n,5−8〜5−10,5−11−1〜5−11−n,5−12,5−13−1〜5−13−n,5−14〜5−19,5−20−1,5−20−2 BEF部
6−1〜6−5,6−7〜6−9 エッジ検出部
7 混合部
8−1−1,8−1−2,8−2−1〜8−2−4,8−3−1,8−3−2 1画素遅延回路
9−1−1〜9−1−3,9−2−1〜9−2−4,9−3 アンプ
10−1−1,10−1−2,10−3−1,10−3−2 加算器
10−2, 10−3−3,10−4 減算器
11−1〜11−5 最大値選択部
12−1,12−2 最小値選択部
13−1,13−2−1〜13−2−n,13−3−1〜13−3−n,13−4−1,13−4−2,13−5−1〜13−5−3 差分演算部
14−1〜14−6 フィルタ選択部
15−1〜15−3 差分最小値側選択部
16−1,16−2 ラインメモリ
17 BPF部
18 補正部
19 補正量演算部
101−1〜101−4 光電変換部
102−1,102−2 電圧変換部
103−1〜103−4 転送ゲ−ト
104−1,104−2 トランジスタ領域
105−1〜105−3 配線
105−2R,105−3R 配線抵抗
106 共有単位
107−1〜107−4 ライン
108 リセットゲ−ト
109−1〜109−3 配線層
110 入射光
2 レンズ系
3 撮像素子
4 信号処理部
5−1〜5−6,5−7−1〜5−7−n,5−8〜5−10,5−11−1〜5−11−n,5−12,5−13−1〜5−13−n,5−14〜5−19,5−20−1,5−20−2 BEF部
6−1〜6−5,6−7〜6−9 エッジ検出部
7 混合部
8−1−1,8−1−2,8−2−1〜8−2−4,8−3−1,8−3−2 1画素遅延回路
9−1−1〜9−1−3,9−2−1〜9−2−4,9−3 アンプ
10−1−1,10−1−2,10−3−1,10−3−2 加算器
10−2, 10−3−3,10−4 減算器
11−1〜11−5 最大値選択部
12−1,12−2 最小値選択部
13−1,13−2−1〜13−2−n,13−3−1〜13−3−n,13−4−1,13−4−2,13−5−1〜13−5−3 差分演算部
14−1〜14−6 フィルタ選択部
15−1〜15−3 差分最小値側選択部
16−1,16−2 ラインメモリ
17 BPF部
18 補正部
19 補正量演算部
101−1〜101−4 光電変換部
102−1,102−2 電圧変換部
103−1〜103−4 転送ゲ−ト
104−1,104−2 トランジスタ領域
105−1〜105−3 配線
105−2R,105−3R 配線抵抗
106 共有単位
107−1〜107−4 ライン
108 リセットゲ−ト
109−1〜109−3 配線層
110 入射光
Claims (17)
- 外界の画像を結ぶレンズ系と、前記レンズ系からの光を受ける撮像素子と、前記撮像素子からの画像信号を信号処理して外部に出力する信号処理部と、を備える撮像装置であって、
前記撮像素子は垂直或いは水平方向の複数の画素を共有する構造であり、
前記信号処理部は、前記撮像素子が共有する画素方向と同一方向の垂直或いは水平ラインに対して目的の周波数を減衰させる帯域阻止フィルタ(以降BEFと称する)を有する第1のBEF部と、
を備えることを特徴とする撮像装置。 - 前記第1のBEF部は、
前記BEFおよび前記BEFで処理するライン方向の画像輪郭であるエッジを検出できる第1のエッジ検出部を有する第2のBEF部と、
前記第2のBEF部への入力画像信号と、前記第2のBEF部を通過した画像信号との加算比率を、前記第1のエッジ検出部からの検出信号をもとに変化させることのできる混合部と、
を備えることを特徴とする請求項1に記載の撮像装置。 - 前記第1のエッジ検出部は、
前記第2のBEF部への入力画像信号からの信号を直接入力されるものであって、
前記BEFで処理するライン方向の高周波成分を通過させ、低周波成分を阻止する高域通過フィルタ(以降HPFと称する)であることを特徴とする請求項2に記載の撮像装置。 - 前記第1のエッジ検出部は、
前記第2のBEF部への入力画像信号からの信号を直接入力されるものであって、
注目画素及び前記注目画素から前記BEFで処理するライン方向に周辺の画素の中で、最大の値と最小の値とを判別して前記最大の値と前記最小の値の差を出力することを特徴とする請求項2に記載の撮像装置。 - 前記第1のエッジ検出部は、
前記第2のBEF部への入力画像信号からの信号を直接入力されるものであって、
2つの入力の中で最大となる値を出力する第1の最大値選択部と、
2つの入力の中で最小となる値を出力する最小値選択部とを有し、
前記第1の最大値選択部の第1の入力は、
前記第1のエッジ検出部への入力信号であり、
前記第1の最大値選択部の第2の入力は、
前記第1の最大値選択部の出力から前記BEFで処理するライン方向に遅延させた信号を、前記第1のエッジ検出部への入力信号に帰還さる低域通過フィルタ(以降LPFと称する)の特性の信号であり、
前記最小値選択部の第1の入力は、
前記第1のエッジ検出部への入力信号であり、
前記最小値選択部の第2の入力は、
前記最小値選択部の出力から前記BEFで処理するライン方向に遅延させた信号を、前記第1のエッジ検出部への入力信号に帰還さるLPFの特性の信号であり、
前記第1の最大値選択部と前記最小値選択部の出力の差を出力することを特徴とする請求項2に記載の撮像装置。 - 前記第1のエッジ検出部は、
前記第2のBEF部への入力画像信号からの信号と、前記BEFを通過した信号との差分の絶対値を出力することを特徴とする請求項2に記載の撮像装置。 - 前記第1のBEF部は、
それぞれ特性が異なり、前記第1のBEF部への入力画像信号がそれぞれ直接入力される前記BEFを有する第4のBEF部を複数有する第3のBEF部と、
前記第1のBEF部への入力画像信号と前記複数の第4のBEF部の出力信号をもとに、前記複数の第4のBEF部の出力信号を選択して出力する第1のフィルタ選択部と、
を備えることを特徴とする請求項1に記載の撮像装置。 - 前記第1のフィルタ選択部は、
前記第1のBEF部への入力画像信号と前記複数の第4のBEF部の出力信号の何れかから、前記BEFで処理するライン方向のエッジを検出できる第2のエッジ検出部と、
前記第2のエッジ検出部からの検出信号をもとに前記複数の第4のBEF部の出力信号を選択して出力する第2のフィルタ選択部と、
を備えることを特徴とする請求項7に記載の撮像装置。 - 前記第1のフィルタ選択部は、
前記第1のBEF部への入力画像信号に対して前記複数の第4のBEF部の出力信号の差分の絶対値をそれぞれ出力する複数の第1の差分演算部と、
前記複数の第1の差分演算部から出力された信号の中で、最小値を判別し、最小値となった前記第1の差分演算部の入力となる前記第4のBEF部の出力信号を選択して出力する第1の差分最小値側選択部と、
を備えることを特徴とする請求項7に記載の撮像装置。 - 前記第1のBEF部は、
前記第1のBEF部への入力画像信号について、前記BEFで処理するライン方向の1ラインの各画素信号を予め蓄積可能で、蓄積順及びその逆順どちらからの順番でも読み出し可能な第1のラインメモリと、
前記第1のBEF部への入力画像信号の1ラインに対して前記第1のラインメモリから蓄積順の1ライン(以降順方向読み出しラインと称する)と逆順の1ライン(以降第1の逆方向読み出しラインと称する)のそれぞれの処理を行うことができ、無限のインパルス応答継続時間となるIIRフィルタ(以降IIR−BEFと称する)とした前記BEFを有する第5のBEF部と、
前記第5のBEF部を通過した順方向読み出しライン、或いは第1の逆方向読み出しラインの何れか一方の1ラインの各画素信号を蓄積可能で、蓄積順に対して逆順(以降第2の逆方向読み出しライン)で読み出し可能な第2のラインメモリと、
前記第2の逆方向読み出しラインの各画素信号と、前記第2のラインメモリに蓄積する際に前記第1のラインメモリから読み出した順とは逆の前記順方向読み出しライン或いは第1の逆方向読み出しラインの各画素信号との差分の絶対値を出力する第2の差分演算部と、
前記第2のラインメモリに蓄積する際に前記第1のラインメモリから読み出した順とは逆の前記順方向読み出しライン或いは第1の逆方向読み出しラインの各画素信号が、前記第5のBEF部を通過する前と後との差分の絶対値を出力する第3の差分演算部と、
同一画素位置における、前記第2、第3の差分演算部の出力信号の最小値を判別し、最小値となった前記第2或いは第3の差分演算部の入力となる前記第5のBEF部の出力信号、或いは前記第2のラインメモリの出力信号を選択して出力する第2の差分最小値側選択部と、
を備えることを特徴とする請求項1に記載の撮像装置。 - 前記第1のBEF部は、
目的の周波数の基本周波数を阻止する第6−1のBEF部から、目的の周波数のn次高調波を阻止する第6−nのBEF部までの何れかを有し、互いに直列接続されていることを特徴とする請求項1に記載の撮像装置。 - 前記第1のBEF部は、
帯域通過フィルタ(以降BPFと称する)を有するBPF部と、
信号のゲイン調節が可能なアンプとを備え、
前記BPF部および前記アンプは、前記第6−1のBEF部から前記第6−nのBEF部の最終出力或いは入力と互いに直列接続されている
ことを特徴とする請求項11に記載の撮像装置。 - 前記第2のBEF部は、
それぞれ特性が異なり、前記第1のBEF部への入力画像信号がそれぞれ直接入力される前記BEFを有する第4のBEF部を複数有する第3のBEF部と、
前記第1のBEF部への入力画像信号と前記複数の第4のBEF部の出力信号をもとに、前記複数の第4のBEF部の出力信号を選択して出力する第1のフィルタ選択部と、
を備えることを特徴とする請求項2〜6のいずれかに記載の撮像装置。 - 前記第1のフィルタ選択部は、
前記第1のBEF部への入力画像信号と前記複数の第4のBEF部の出力信号の何れかから、前記BEFで処理するライン方向のエッジを検出できる第2のエッジ検出部と、
前記第2のエッジ検出部からの検出信号をもとに前記複数の第4のBEF部の出力信号を選択して出力する第2のフィルタ選択部と、
を備え、
前記第1のエッジ検出部と第2のエッジ検出部とを兼用することを特徴とする請求項13に記載の撮像装置。 - 前記第1のフィルタ選択部は、
前記第1のBEF部への入力画像信号に対して前記複数の第4のBEF部の出力信号の差分の絶対値をそれぞれ出力する複数の第1の差分演算部と、
前記複数の第1の差分演算部から出力された信号の中で、最小値を判別し、最小値となった前記第1の差分演算部の入力となる前記第4のBEF部の出力信号を選択して出力する第1の差分最小値側選択部と、
を備え、
前記第1のエッジ検出部は、
前記第1の差分演算部の出力の中で最大となる値を出力する第2の最大値選択部を追加した第3のエッジ検出部で兼用することを特徴とする請求項13に記載の撮像装置。 - 前記第1のBEF部は、
目的の周波数の基本周波数を阻止する第6−1のBEF部から、目的の周波数のn次高調波を阻止する第6−nのBEF部までの何れかを有し、互いに直列接続されているBEF部、あるいは、前記第6−1のBEF部から第6−nのBEF部に直列に接続されたBPFおよび信号のゲイン調節が可能なアンプとを備えたBEF部であることを特徴とする請求項2〜10、13〜15のいずれかに記載の撮像装置。 - 前記信号処理部の前記第1のBEF部への入力前に、予め把握している前記撮像素子の垂直或いは水平画素方向のノイズ傾向と入力画像信号から、ノイズ量を予測計算して入力信号から減算することができる補正部を備えることを特徴とする請求項1〜16のいずれかに記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006292093A JP2008109543A (ja) | 2006-10-27 | 2006-10-27 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006292093A JP2008109543A (ja) | 2006-10-27 | 2006-10-27 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008109543A true JP2008109543A (ja) | 2008-05-08 |
Family
ID=39442509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006292093A Pending JP2008109543A (ja) | 2006-10-27 | 2006-10-27 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008109543A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013507672A (ja) * | 2009-10-09 | 2013-03-04 | 禾瑞亞科技股▲ふん▼有限公司 | デュアル差動感知装置及びその方法 |
US9483152B2 (en) | 2009-10-09 | 2016-11-01 | Egalax_Empia Technology Inc. | Method and device for dual-differential sensing |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0542198B2 (ja) * | 1982-10-15 | 1993-06-25 | Olympus Optical Co | |
JPH06113315A (ja) * | 1992-09-28 | 1994-04-22 | Victor Co Of Japan Ltd | ノイズ低減回路 |
JPH1063839A (ja) * | 1996-08-19 | 1998-03-06 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
JP2000040154A (ja) * | 1998-07-23 | 2000-02-08 | Fuji Photo Film Co Ltd | 画像処理方法及び装置 |
JP2000078475A (ja) * | 1998-09-02 | 2000-03-14 | Canon Inc | 撮像装置およびそれを用いた撮像システム |
JP2004172950A (ja) * | 2002-11-20 | 2004-06-17 | Sony Corp | 固体撮像装置 |
JP2004275563A (ja) * | 2003-03-18 | 2004-10-07 | Citizen Watch Co Ltd | 心弾図モニター装置 |
JP2005033688A (ja) * | 2003-07-11 | 2005-02-03 | Sony Corp | 信号処理装置および方法、記録媒体、並びにプログラム |
JP2006179846A (ja) * | 2004-11-25 | 2006-07-06 | Tokyo Electron Ltd | 基板処理装置 |
-
2006
- 2006-10-27 JP JP2006292093A patent/JP2008109543A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0542198B2 (ja) * | 1982-10-15 | 1993-06-25 | Olympus Optical Co | |
JPH06113315A (ja) * | 1992-09-28 | 1994-04-22 | Victor Co Of Japan Ltd | ノイズ低減回路 |
JPH1063839A (ja) * | 1996-08-19 | 1998-03-06 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
JP2000040154A (ja) * | 1998-07-23 | 2000-02-08 | Fuji Photo Film Co Ltd | 画像処理方法及び装置 |
JP2000078475A (ja) * | 1998-09-02 | 2000-03-14 | Canon Inc | 撮像装置およびそれを用いた撮像システム |
JP2004172950A (ja) * | 2002-11-20 | 2004-06-17 | Sony Corp | 固体撮像装置 |
JP2004275563A (ja) * | 2003-03-18 | 2004-10-07 | Citizen Watch Co Ltd | 心弾図モニター装置 |
JP2005033688A (ja) * | 2003-07-11 | 2005-02-03 | Sony Corp | 信号処理装置および方法、記録媒体、並びにプログラム |
JP2006179846A (ja) * | 2004-11-25 | 2006-07-06 | Tokyo Electron Ltd | 基板処理装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013507672A (ja) * | 2009-10-09 | 2013-03-04 | 禾瑞亞科技股▲ふん▼有限公司 | デュアル差動感知装置及びその方法 |
US8643613B2 (en) | 2009-10-09 | 2014-02-04 | Egalax—Empia Technology Inc. | Method and device for dual-differential sensing |
US8890821B2 (en) | 2009-10-09 | 2014-11-18 | Egalax—Empia Technology Inc. | Method and device for dual-differential sensing |
US9141216B2 (en) | 2009-10-09 | 2015-09-22 | Egalax—Empia Technology Inc. | Method and device for dual-differential sensing |
US9483152B2 (en) | 2009-10-09 | 2016-11-01 | Egalax_Empia Technology Inc. | Method and device for dual-differential sensing |
TWI566135B (zh) * | 2009-10-09 | 2017-01-11 | 禾瑞亞科技股份有限公司 | 雙差動感測的方法與裝置 |
US9798427B2 (en) | 2009-10-09 | 2017-10-24 | Egalax_Empia Technology Inc. | Method and device for dual-differential sensing |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6116301B2 (ja) | 撮像装置及びその制御方法 | |
JP5459717B2 (ja) | オートフォーカス画像システムにおけるフォーカス信号を生成する方法 | |
KR100460755B1 (ko) | 이미지센서의 화소배열부 및 그를 포함하는 이미지센서 및이미지센서의 플리커 잡음 제거방법 | |
US11949995B2 (en) | Universal and adaptive de-mosaicing (CFA) system | |
WO2007020930A1 (ja) | 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム | |
KR20060049870A (ko) | 촬상 장치 및 신호 처리 방법 | |
US20050270388A1 (en) | Noise reduction device, noise reduction method and image capturing device | |
US20120189225A1 (en) | Systems and methods for calculating image sharpness measurements | |
US9277136B2 (en) | Imaging systems and methods with pixel sensitivity adjustments by adjusting demodulation signal | |
JP2008109543A (ja) | 撮像装置 | |
JP6090696B2 (ja) | クランプ処理方法 | |
NL194937C (nl) | Beeldaftaststelsel met overspraakcorrectiefilter. | |
EP0991017A2 (en) | A motion detection circuit and a noise suppressing circuit including the same | |
JP2007335991A (ja) | 信号処理回路 | |
JP6727814B2 (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP2005159564A (ja) | Ccd固体撮像装置のスミア補正方法及び電子機器 | |
US12028630B2 (en) | Signal processing apparatus, photoelectric conversion apparatus, image capturing system, and control method of signal processing apparatus | |
JP4380399B2 (ja) | 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム | |
JP5950679B2 (ja) | 焦点検出装置、撮像装置及び焦点検出方法 | |
JP4932460B2 (ja) | スミア補正方法及びスミア補正ユニット | |
US8774543B2 (en) | Row noise filtering | |
JP2009159596A (ja) | Ccd信号処理装置および撮像装置 | |
JP2011250249A (ja) | 映像信号処理装置および映像信号処理方法 | |
JP5761979B2 (ja) | ノイズ除去システムおよび撮像装置 | |
KR20080106112A (ko) | 촬상 장치 및 촬상 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090602 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110906 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120110 |