JP4396757B2 - ノイズ補正回路、撮像装置及びノイズ補正方法 - Google Patents

Description

本発明は、イメージセンサが出力する映像信号に含まれるノイズを除去する固定パターンノイズ補正回路、及びその固定パターンノイズ補正回路を備えた撮像装置、並びに撮像装置に適用される固定パターンノイズ補正方法に関する。

従来、固体撮像装置として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（charge coupled device）イメージセンサなどのセンサを使用したものが、各種開発され実用化されている。
これらの固体撮像装置の場合には、時間によらず同じ画素位置に存在する固定パターンノイズが存在する。固定パターンノイズの１つとして、例えば、縦方向（垂直方向）に筋状のノイズが発生することが知られている。即ち、ＣＭＯＳイメージセンサにおいて、垂直方向の列ごとに同じ回路を使用する構成の場合に、それぞれの列の回路の特性の不均一により、縦方向に筋状のノイズが発生することが知られている。

この縦方向の筋状のノイズを補正する手法はいくつか提案されているが、デジタル信号処理において縦筋を補正する場合、元の映像信号から検出した縦筋成分を差し引くため、映像信号の量子化精度以下の縦筋を補正することはできない。

また、固体撮像装置で高輝度な被写体を撮像した場合に、撮像画像に横方向（水平方向）にストリーキングと称されるノイズが生じる場合がある。ストリーキング補正を行うためには、例えば、画素部を遮光したときと撮像したときとの直流レベル差を補正することで、補正が可能である。特許文献１には、このストリーキング補正手法についての例の記載がある。
特開平２００５−１３０３３１号公報

縦方向に筋状のノイズの場合、上述したように、元の映像信号から検出した縦筋成分を差し引くことで補正が可能である。この手法では、映像信号の量子化精度以下の縦筋を補正することはできない。
このため、イメージセンサに十分な光が入力されず、デジタル変換後の出力信号レベルが小さい場合に、デジタルによる増幅を行うと、映像信号成分とともに量子化精度以下の補正されない縦筋も増幅されて、量子化誤差が強調されると、誤差は縦一列のノイズとなって、画質が大きく劣化するという問題があった。

ストリーキング補正の場合も同様に、量子化精度以下の誤差が増幅されると、横一行のノイズとなって、画質が大きく劣化する問題があった。

本発明はこれらの点に鑑みてなされたものであり、イメージセンサの縦方向や横方向のノイズを、効率良く目立たないように補正できるようにすることを目的とする。

本発明は、イメージセンサが出力する映像信号に含まれるノイズを検出して補正を行うものである。
その処理としては、イメージセンサが出力する映像信号の所定の範囲の信号レベルの平均値を求め、その算出した平均値を使用して、イメージセンサが出力する映像信号の所定の方向のノイズ成分を求め、その求められたノイズ成分に基いて、イメージセンサが出力した映像信号からノイズを除去する。そして、ノイズ成分を除去した映像信号に、この映像信号の量子化精度以下の乱数を加える処理を行うようにしたものである。

映像信号に量子化精度以下の乱数を加えたことで、乱数の値によって、最下位ビットの値が１つ繰り上がる場合と、そのままの場合とがある。従って、最下位ビットの値が同じ列で均一ではなくなり、出力映像信号を表示させた場合、連続した筋状のノイズではなくなり、ノイズが目立たなくなる。

本発明によると、量子化精度以下の乱数を加えたことで、出力映像信号の最下位ビットの状態が同じ列で均一ではなくなり、筋状のノイズを軽減した良好なノイズ除去が可能となる。

以下、本発明の第１の実施の形態の例を、図１〜図９を参照して説明する。
図１は、本実施の形態の例が適用される撮像装置１００の全体構成を示した図である。撮像装置１００は、イメージセンサを各色ごとに備えた３板式のカラー撮像装置である。この撮像１００は、イメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂを備える。イメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂは、それぞれ赤、緑、青用の各画像を撮像するイメージセンサである。本実施の形態においては、イメージセンサとして、ＣＭＯＳイメージセンサを使用する。ＣＭＯＳイメージセンサの具体的構成例については後述する。
各イメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂが撮像して出力する映像信号（撮像信号）は、ビデオアンプ１０２Ｒ，１０２Ｇ，１０２Ｂで適正なレベルに増幅した後、アナログ／デジタル変換器１０３Ｒ，１０３Ｇ，１０３Ｂで各色のデジタルデータＲ，Ｇ，Ｂに変換する。変換されたデータは、ビデオ処理部１０９で映像信号処理を行う。

ビデオ処理部１０９としては、映像信号の補正を行う補正回路１０４と、ホワイトバランス調整などのゲイン調整を行うゲイン調整回路１０５と、輝度調整を行う輝度調整回路１０６と、ガンマ補正を行うガンマ補正回路１０７と、出力フォーマットの映像信号とする出力信号生成回路１０８とを備える。補正回路１０４での補正処理としては、イメージャの欠陥画素補正処理や、縦筋補正、ストリーキング補正などがある。縦筋補正処理の詳細については後述する。出力信号生成回路１０８では、例えば輝度データＹと色差データＣｒ，Ｃｂとして出力する。

この撮像装置１００の動作を簡単に説明すると、図示しない光学系により得られる被写体からの像光は、各原色ごとにそれぞれ別のイメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂの撮像面に入射され、それぞれの撮像面に赤、緑、青の各原色画像が結像される。その原色画像が、イメージセンサの撮像面にマトリクス状に配置された画素を構成する受光素子で画素信号として読み出され、各センサで得た画素信号を順に読み出すことで、１フレーム単位の映像信号が出力される。
イメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂから出力された映像信号は、アナログ／デジタル変換器１０３Ｒ，１０３Ｇ，１０３Ｂでデジタルデータ化された後、ビデオ処理部１０９内の各回路で上述した映像処理が行われる。なお、アナログ／デジタル変換器１０３Ｒ，１０３Ｇ，１０３Ｂについては、次に説明するように、本例の場合には、各垂直ラインごとに設けてある。

次に、図２を参照して、ＣＭＯＳイメージセンサで構成される各イメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂの構成について説明する。
図２に示すように、画素１１を構成する受光素子が、撮像面にマトリクス状に配置してあり、水平アドレス選択部１２により各画素１１に接続されたスイッチ１４のオン・オフを制御し、さらに垂直アドレス選択部１３でスイッチ１５のオン・オフを制御して、１水平ラインずつ順に各画素１１の信号を読み出す。スイッチ１４，１５で各垂直ラインごとに選択された信号は、アンプ１６で増幅された後、各ライン個別のアナログ／デジタル変換器１７でデジタルデータに変換される。本例の場合には、例えば１画素のデータを８ビットのデジタルデータとする。そして、その変換されたデジタルデータが、各垂直ラインで一斉にシフトレジスタ１８に転送されて、シフトレジスタ１８から１水平ラインずつ順に出力される。

この図２に示した垂直ラインごとにアンプ１６やアナログ／デジタル変換器１７を備えた構成は、ＣＭＯＳイメージセンサに特有の構成である。この図２に示すような垂直ラインごとにアンプ１６やアナログ／デジタル変換器１７を備えた構成としてあるために、各アンプ１６や各アナログ／デジタル変換器１７の特性の不均一により、縦一列のノイズ、すなわち縦筋状のノイズが、イメージセンサ固有のノイズとして発生してしまう問題がある。本実施の形態では、この縦筋状のノイズを補正する処理を行うものである。縦筋状のノイズ補正処理は、図１に示した補正回路１０４での補正処理の１つとして実行される。

図３は、縦筋ノイズを検出するノイズ検出部３０と、そのノイズ検出部３０で検出したノイズを除去する補正部との構成例を示したものである。ノイズ検出部３０での縦筋ノイズの検出処理については、例えば撮像装置の製造時などに行い、検出したノイズ量をメモリ２２に保存させておく。そして、撮像装置で撮像を行う際には、そのメモリ２２に保存されたノイズ量を、撮像して得た映像信号から減算して、ノイズ補正を行うものである。

図３に示したノイズ検出部３０の構成について説明すると、補正回路１０４（図１）内の入力端子２１に得られる映像信号が、ノイズ検出部３０に供給される。ノイズ検出部３０では、黒レベル積分器３１で黒レベルの映像信号を積分する。従って、１画面中の任意の範囲の黒レベルを積分して、平均黒レベルを得る処理が行われる。そして、黒レベル積分器３１で積分された値を、減算器３２に供給し、入力端子２１に得られる映像信号から黒レベル積分器３１で積分した値を減算する。
減算器３２で黒レベルの積分値を減算した信号は、加算器３３に供給し、その加算器３３の出力を１水平ライン期間だけラインメモリ３４で遅延させた信号と加算する。加算器３３で加算させてラインメモリ３４で遅延させた信号は、乗算器３５に供給し、１／ｎ倍の乗算処理（ｎはイメージセンサの画素数）を行い、1画素ごとのノイズ量とする。
このようにして、任意の範囲の黒レベルの積分値を減算した値を、１水平ライン期間だけラインメモリ３４で遅延させた信号を順に加算することで、各垂直ラインごとのノイズ量が検出される。即ち、イメージセンサ上の黒レベル積分器３１で積分された範囲の信号レベルの、垂直ラインごとのノイズ量を求める処理が行われることになる。

そして、乗算器３５の出力を、ノイズ検出部３０で検出された各垂直ラインのノイズ量として、メモリ２２に記憶させる。ここまでのメモリ２２への記憶作業は、この撮像装置の製造時などの初期設定時に実行される。

そして、撮像装置で撮像を行う際には、図３に示したように、入力端子２１に入力される、撮像して得た映像信号を減算器２３に供給する。減算器２３では、メモリ２２に記憶されたノイズ量を映像信号から減算する。ノイズ量は、前述のように各垂直ラインのノイズ量として記憶されているので、端子２１側から供給される映像信号の垂直ラインの位置に対応したものを読み出す。
このように構成したことで、減算器２３で、いわゆる縦筋ノイズの補正が行われることになる。ここまでは、従来から知られている縦筋の補正処理と基本的に同じである。

そして本実施の形態においては、図３に示すように、減算器２３の減算出力を、さらに加算器２４に供給し、加算器２４で乱数発生器２５からの乱数値を加算し、その加算信号を、補正された信号の出力端子２６に供給する。
加算器２４での加算処理のより詳細を説明すると、減算器２３が出力する補正済みの映像信号は、平均で得たノイズ信号を減算した信号であり、平均化の処理のために、元の映像信号のビット数以下（即ち量子化精度以下）のビット数が下位に付加された信号となっている。乱数発生器２５では、その下位ビットのビット数までの桁数の乱数を発生させ、発生した乱数を、加算器２４で下位ビットに加算させる。
そして、加算器２４で下位ビットに乱数を加算した映像信号のその下位ビットを切り捨てる処理を行い、規定されたビット数（即ち量子化精度のビット数）の映像信号として、出力端子２６から後段の回路に供給する。

図４は、乱数発生器２５の構成例を示した図である。この図４の構成は、Ｍ系列の巡回符号発生器であり、３ビットの乱数を得る構成である。入力データをセレクタ４２，４３，４４の一方の入力端に供給し、各セレクタ４２，４３，４４の出力を各フリップフロップ４５，４６，４７のＤ入力端に供給する。各フリップフロップ４５，４６，４７には共通のクロックを供給する。そして、フリップフロップ４５の出力を、セレクタ４３の他方の入力端に供給し、フリップフロップ４６の出力を、セレクタ４４の他方の入力端に供給し、フリップフロップ４６の出力とフリップフロップ４７の出力を、ＥＸＯＲゲート（排他的論理和回路）４１を介してセレクタ４２の他方の入力端に供給する。
このように構成した上で、各フリップフロップ４５，４６，４７の出力を、３ビットの出力ＯＵＴ［０］，［１］，［２］とする。

この図４に示す構成とすることで、例えば図５に示すように、３ビットの出力ＯＵＴ［０］，［１］，［２］が順に変化し、擬似的な乱数値が得られる。
即ち、各セレクタに供給されるＬＯＡＤパルスが１の時に、セレクタ４２，４３，４４によりＳＥＥＤの値が選択され、フリップフロップ４５，４６，４７に選択された値が入力される。ＬＯＡＤパルスが０の時は、セレクタ４２，４３，４４は、ＳＥＥＤでない方の入力が選択される。ＳＥＥＤに２進数の“１１１”が入力し、これがロードされたとすると、ＥＸＯＲゲート４１のフィードバックにより、次のクロックでは、出力ＯＵＴが“１１０”、その次は“１００”、・・・のように出力が変化し、１クロック毎に変化する３ビットの擬似乱数を発生するという動作を行う。なお、ＬＯＡＤパルスは、例えば撮像装置の制御部（図示せず）により制御し、ＳＥＥＤには映像信号の任意のビットを入力する。

次に、本実施の形態の構成で、縦筋ノイズの検出と補正が行われる処理状態を、図６及び図７のフローチャートを参照して説明する。
まず図６のフローチャートを参照して、縦筋のノイズ成分を検出する処理例について説明する。
このノイズ成分の検出処理が開始されると（ステップＳ１）、最初に各色のイメージセンサを遮光し、この遮光した状態で撮像を行う（ステップＳ２）。この状態で撮像された映像信号が、黒レベルの撮像信号であり、黒レベル信号が検出される（ステップＳ３）。そして、撮像して得た映像信号より、黒レベル信号を減算し（ステップＳ４）、その黒レベルを減算した信号を、垂直方向に加算し（ステップＳ５）、最下位のラインであるか否か判断する（ステップＳ６）。最下位のラインでない場合には、映像信号を１水平ライン期間遅延させ（ステップＳ７）、ステップＳ６での加算を繰り返し、ステップＳ７で最下位のラインであると判断されると、そのときの加算値に基づいて縦筋成分のノイズ量が算出される（ステップＳ８）。その算出された各垂直ラインのノイズ量が、メモリ２２に記憶（保存）させて（ステップＳ９）、検出処理を終了する（ステップＳ１０）。

次に、このようにしてメモリ２２に保存されたデータを利用して、撮像時にノイズ除去を行う状態を、図７のフローチャートを参照して説明する。
映像信号が入力端子２１から入力されると（ステップＳ１１）、その入力信号から縦筋成分の信号が、減算器２３で減算される（ステップＳ１２）。例えば、ステップＳ１１で得られる映像信号は、１画素が１色あたり８ビットであるとする。そして、ステップＳ１２での減算で、下位に２ビット付加された１０ビットのデータとなったとする。

このとき、加算器２４では、減算器２３が出力する１０ビットのデータの下位２ビットに、２ビットの乱数値を加算する（ステップＳ１３）。ここでは、加算結果は１０ビットにクリップする。さらに下位２ビットを切り捨て（ステップＳ１４）、補正された値を得る（ステップＳ１５）。

図８は、この図７のフローチャートでの処理状態を説明した図である。図８（ａ）は、本実施の形態での処理例で、図８（ｂ）は比較のために従来の処理例を示してある。
図８（ａ）に示すように、本実施の形態の例の場合には、１画素が８ビットの信号であり、縦筋成分の減算で、その８ビットの信号の下位に、２ビット付加された状態となっている。この下位の２ビットは、アナログ／デジタル変換器での量子化精度以下の信号である。
この１０ビットの信号に対して、２ビットの乱数を加算し、１０ビットとの加算値を得る。そして、その加算された１０ビットの信号の下位２ビットを削除し、上位８ビットを補正結果として出力させる。このように処理されることで、出力される８ビットの値の内の最下位ビットの値が、乱数値に応じて変化する場合と、変化しない場合とがある。

これに対して、図８（ｂ）に示すように、従来の場合には、１画素が８ビットの信号に、縦筋成分を減算して１０ビットとなった場合、下位２ビットの内の上位ビットの値に応じて、丸め処理が行われる。

図９は、本実施の形態での乱数加算の効果を示した図である。図９（ａ）は、下位２ビットが「１１」の例であり、図９（ｂ）は、下位２ビットが「１０」の例であり、図９（ｃ）は、下位２ビットが「０１」の例であり、図９（ｄ）は、下位２ビットが「００」の例である。各図の縦軸は、加算後の８ビット出力の最下位ビットの値であり、横軸は水平ライン数である。また各図で実線で示す特性は、本実施の形態での値（即ち乱数を加算した値）の変化特性ｄ１１，ｄ１２，ｄ１３，ｄ１４であり、破線で示す特性は、従来例での値（図８（ｂ）に示した丸め処理での値）の変化特性ｄ２１，ｄ２２，ｄ２３，ｄ２４である。

この図９から判るように、下位２ビットが「１１」、「１０」、「０１」の場合には、乱数加算をした特性ｄ１１，ｄ１２，ｄ１３は、いずれも最下位ビットの値が乱数値に応じて変化している。下位２ビットが「００」の場合だけは、最下位ビットが０のまま変化しない。また、この時の８ビット出力の最下位ビットへの繰り上がりは、下位２ビットの値に応じた確率で生じるため、一つの垂直ラインを平均的に見ると、下位２ビットの情報が保存されていることになる。
一方、従来の丸め処理の場合には、いずれも例の場合にも、同じ垂直ライン上で値が同じ値である。即ち、下位２ビットが「１１」の特性ｄ２１は、その垂直ラインの最下位ビットの値が１のままであり、下位２ビットが「１０」の特性ｄ２２も、その垂直ラインの最下位ビットの値が１のままである。さらに、下位２ビットが「０１」の特性ｄ２３は、その垂直ラインの最下位ビットの値が０のままであり、下位２ビットが「００」の特性ｄ２４も、その垂直ラインの最下位ビットの値が０のままである。

このように乱数値を加算することで、補正された映像信号の最下位ビットが、１つの垂直ライン上で同じ値に続くことがなくなる。
さらに、前述のように、一つの垂直ラインを平均的に見ると縦筋成分減算後の１０ビット中の下位２ビットの情報が保存されており、縦筋の見え方は４通りに変化する。
従って、補正後に増幅などがあっても、補正後に残ったノイズ成分の影響で、縦筋が目立つようなことがない。具体的には、乱数加算を行った映像信号による表示画像では、ゲインが高い映像の場合であっても、縦筋が縦に連続しなくなり、縦筋の見え方が薄くなり、結果的に表示画像中の縦筋が目立たなくなる効果がある。
これに対して、従来の丸め処理では、縦筋補正は垂直１列に同じ補正データが適用されるため、この丸めによる誤差は垂直１列の間一定に保たれ、誤差分が縦筋として見える不具合が生じる。
以上説明したように、本実施の形態の処理を行うことにより、人間の目の積分特性を利用して縦筋補正の量子化誤差を低減し、低照度時にデジタルによる増幅を行った場合などの画質を大幅に改善することができる。

なお、ここまでの説明では、縦筋成分が映像信号の最下位ビットより下に２ビットの有効ビットを持つ例について述べてきたが、より多くのラインの積分を行うと有効ビットが増え、その分加算する乱数のビット数を増やすことにより、より高い効果が得られる。

また、図４に示した乱数を加算する構成は、１つの色の映像信号に対する処理だけを示してあり、実際には、それぞれの色の映像信号Ｒ，Ｇ，Ｂに対して、同じ構成で乱数を加算するようにしてある。この場合、３つの色の映像信号Ｒ，Ｇ，Ｂで、それぞれ別の乱数発生器を備えて、それぞれ別の乱数を加算する構成とすることで、同じ垂直ラインであっても、それぞれの色ごとに最下位ビットの状態が変化し、より量子化誤差が拡散して、画質を向上させることが可能になる。

次に、本発明の第２の実施の形態を、図１０から図１４を参照して説明する。
本実施の形態においては、第１の実施の形態で説明した、縦筋のノイズ補正時に乱数を加えて縦筋の量子化精度以下の誤差が目立たないようにした処理を、横方向のノイズ成分である、ストリーキングの補正に適用したものである。
撮像装置の全体構成としては、既に説明した図１の撮像装置１００が適用可能である。撮像装置１００が備えるイメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂとしては、ＣＭＯＤイメージセンサ、ＣＣＤイメージセンサなど各種方式のものが適用可能である。その撮像装置１００の補正回路１０４での補正処理の１つとして、水平方向の誤差の補正である、ストリーキングの補正を行う。ストリーキング補正は、ゲイン調整を行う前の映像信号に対してストリーキング量を検出して、補正するのが好ましい。

ストリーキング補正は、イメージセンサの遮光部からストリーキング量を検出し、補正量を生成し、その生成した補正量を原信号から減算することで補正が行われる。
図１０は、本実施の形態でのストリーキング補正を行う構成例を示した図である。
図１０において、赤補正信号生成回路２１１Ｒ、緑補正信号生成回路２１１Ｇ、青補正信号生成回路２１１Ｂのそれぞれは、各色の映像信号から、ストリーキング量を検出する回路である。

赤補正信号生成回路２１１Ｒの構成を説明すると、補正信号生成部２２１と、信号レベル検出部２２２と、補正ゲイン生成部２２３と、乗算部２２４とを備える。他の色信号の生成回路２１１Ｇ，２１１Ｂも同様の構成である。
補正信号生成部２２１は、入力される映像信号Ｒinに基いて、各ラインのストリーキング補正信号Ｓstを生成する。この補正信号生成部２２１は、イメージセンサの水平遮光部（ＨＯＰＢ）及び垂直遮光部（ＶＯＰＢ）の出力信号を用いて、各ラインのストリーキング補正信号Ｓst″を生成する。

ここで、ストリーキングの発生状態を、図１１を参照して説明する。
図１１（ａ）は、イメージセンサ１０１Ｒの構造とストリーキングの発生状態の例を示している。イメージセンサ１０１Ｒは、例えば、水平方向に２２００画素、垂直方向に１１２５画素（１１２５ライン）を備えた構成である。そして、水平方向に例えば３６画素分の水平遮光部（ＨＯＰＢ）２０１を備え、垂直方向に例えば１０〜２０画素分の垂直遮光部（ＶＯＰＢ）２０２を備える。その他の部分が、有効撮像領域としての受光部２０３である。

このイメージセンサ１０１Ｒで、高輝度の光源２０４を撮像した場合、水平方向に縞状のストリーキング２０５が発生する。
図１２は、補正信号生成部２２１の構成例を示している。補正信号生成部２２１は、遮光部波形検出部２３０と、黒レベル検出部２４０と、減算部２５０と、コアリング部２６０とを有している。

遮光部波形検出部２３０は、イメージセンサの水平遮光部２０１の出力信号を用いて、図１１（ｂ）に示すような、水平遮光部における各ラインの信号レベルを求める。
この遮光部波形検出部２３０は、図１２に示すように、平均値算出部２３１と、デジタルフィルタ（ＩＩＲフィルタ）２３２と、ε（イプシロン）フィルタ２３３と、メディアンフィルタ２３４とが、この順に接続されている。

平均値算出部２３１は、ライン毎に、水平遮光部２０１を構成する各画素の値の平均を求める。この平均値算出部２３１により、水平方向の空間的なランダムノイズが軽減される。
ＩＩＲフィルタ２３２は、平均値算出部２３１で求められる各ラインの画素平均値を、時間方向に平均化する。ＩＩＲフィルタ２３２は、現フレームの入力信号とそれ以前のフレームの出力信号を、フィードバックループによって用いるフィルタである。このＩＩＲフィルタ２３２により、時間的なランダムノイズが軽減される。なお、ＩＩＲフィルタの代わりに、ＦＩＲフィルタを使用してもよい。

εフィルタ２３３は、小振幅なノイズを除去するための非線形フィルタである。このεフィルタ２３３は、ＩＩＲフィルタ２３２から出力される各ラインの画素平均値に対して、垂直方向に適用される。このεフィルタ２３３により垂直方向のランダムノイズが軽減される。

メディアン（中央値）フィルタ２３４は、εフィルタ２３３から出力される各ラインの画素平均値に対して、垂直方向に適用される。このメディアンフィルタ２３４は、対象信号を中心とした奇数個の値を大きさ順に並べ替え、中央の値をとるフィルタである。このメディアンフィルタ２３４により、インパルス的なノイズが除去される。このメディアンフィルタ２３４から、上述した水平遮光部２０１における各ラインの信号レベル（水平遮光部２０１の波形）が得られる。

黒レベル検出部２４０は、イメージセンサの垂直遮光部２０２の出力信号を用いて、黒レベルを検出する。図１１に示すように、撮像中の水平遮光部２０１の信号にはストリーキングが乗ってくるため、当該水平遮光部２０１の出力信号からは黒レベルを精度よく検出することができない。このため、黒レベル検出部２４０では、垂直遮光部２０２の出力信号を用いて、黒レベルを検出する。

黒レベル検出部２４０は、平均値算出部２４１と、デジタルフィルタとしてのＩＩＲフィルタ２４２とが、この順に接続されて構成されている。黒レベル検出部２４０では、ＩＩＲフィルタ２４２を時間軸方向に適用することで、ノイズの影響を最小限に抑えながら、リアルタイム性が保持されるようにしている。

平均値算出部２４１は、垂直遮光部２０２を構成する各画素の値の平均値を求める。この平均値算出部２４１により水平方向及び垂直方向の空間的なランダムノイズが軽減される。
ＩＩＲフィルタ２４２は、平均値算出部２４１で求められる画素平均値を、時間方向に平均化する。ＩＩＲフィルタは、現フレームの入力信号とそれ以前のフレームの出力信号をフィードバックループによって用いるフィルタである。このＩＩＲフィルタ２４２により時間的なランダムノイズが軽減される。

減算部２５０は、遮光部波形検出部２３０で検出された水平遮光部２０１における各ラインの信号レベルから、黒レベル検出部２４０で検出された黒レベルを減算して、各ラインのストリーキング補正信号Ｒst′、つまり各ラインのストリーキング成分を求める。

コアリング部２６０は、減算部２５０で得られる各ラインのストリーキング補正信号Ｒst′に対してコアリング処理を施し、各水平ラインの最終的なストリーキング補正信号Ｒst″を出力する。コアリング部２６０は、εフィルタ２６１と、減算器２６２と、コアリング処理部２６３と、加算器２６４とを有している。

εフィルタ２６１は、小振幅なノイズを除去するための非線形フィルタである。このεフィルタ２６１は、上述した遮光部波形検出部２３０のεフィルタ２３３と同様に構成されている。このεフィルタ２６１は、減算部２５０から出力される各水平ラインのストリーキング補正信号Ｒst′に対して、垂直方向に適用される。

減算器２６２は、減算部２５０で得られる各ラインのストリーキング補正信号から、εフィルタ２６１により生成された対応する信号を減算して、高周波成分Ｌinを抽出する。
コアリング処理部２６３は、減算器２６２で得られる各ラインの高周波成分Ｌinに対して、コアリング処理を行う。即ち、コアリング処理部２６３は、入力信号Ｌinの絶対値と、予め設定されているコアリングレベルとの大小を比較して、コアリングレベルより入力信号の絶対値の方が大きい場合には、入力信号Ｌinをそのまま出力信号Ｌoutとする。一方、入力信号Ｌinの絶対値よりコアリングレベルの方が大きい場合には、出力信号Ｌoutを０とする。つまり、コアリング処理部２６３におけるコアリング処理は、エッジなどの比較的信号成分の大きな成分は残し、それ以外の小さい信号レベルの成分は除く処理である。

図１０の説明に戻ると、このようにして補正信号生成回路２１１で生成された補正信号Ｒst,Ｇst,Ｂstを、減算器２１２に供給して、それぞれの色の入力信号Ｒin,Ｇin,Ｂin
から減算する。

そして本実施の形態においては、補正信号を減算した各色の信号を加算器２７１，２７２，２７３に供給して、乱数発生器２７４で生成された乱数を加算する。この乱数値の加算時には、例えばストリーキング補正処理で生じた映像信号の量子化精度以下の下位ビットに対して、乱数値を加算する。そして、加算後に、量子化精度以下の下位ビットを除去して、出力信号Ｒout,Ｇout,Ｂoutを得る。乱数発生器２７４としては、例えば、各色の信号ごとに異なる乱数値を発生するものを使用する。

図１３は、ストリーキング補正処理を示したフローチャートである。
まず、水平遮光部の波形を検出し（ステップＳ２１）、時間軸方向にフィルタリングし（ステップＳ２２）、空間軸方向にフィルタリングする（ステップＳ２３）。また、垂直遮光部の画素を積分し（ステップＳ２４）、時間軸方向にフィルタリングする（ステップＳ２５）。

その後、垂直遮光部波形から黒レベルを減算し、補正信号を生成し（ステップＳ２６）、補正信号をコアリング処理し（ステップＳ２７）、補正信号のゲインを調整する（ステップＳ２８）そして、映像信号から得られた補正信号を減算する（ステップＳ２９）。
さらに、補正信号を減算した映像信号に、乱数値を加算する（ステップＳ３０）。

なお、ストリーキングは映像信号レベルや温度の変化によって、水平の遮光部で検出されるレベルと有効画で検出されるレベルが必ずしも一致しないことがある。その一例を図１４に示す。図１４は、信号レベルとストリーキング比（＝有効画のストリーキング量／ＨＯＰＢのストリーキング量）の関係を表している。このような特性に対応するため、補正量減算回路では、補正対象画素の信号レベルを検出し、イメージセンサに応じて予め作成しておいたルックアップテーブル（ＬＵＴ）に基づいて補正ゲインを決定する。

そして、第１の実施の形態で説明した縦筋補正の場合と同様に、ストリーキング補正信号は映像信号の４画素以上の平均値から作られているため、映像信号の最下位ビット（ＬＳＢ）より下に２ビットの有効ビットを持ち、映像信号が８ビットの場合、ストリーキング成分を減算した結果は１０ビットの有効ビットを持つ。これを８ビットに戻す際に、２ビットの乱数を加え、その結果の下位２ビットを切り捨てて、上位８ビットを取り出す処理を、図１０の構成で施す。この量子化誤差の値を加算する処理の詳細は、第１の実施の形態で、図８（ａ）に示した処理と同じ処理が適用可能である。但し、この第２の実施の形態の場合にも、各信号のビット数については、その他のビット数としてもよい。

このような乱数加算処理を加えることにより、ストリーキング補正に関しても、量子化誤差を低減し、低照度時にデジタルによる増幅を行った場合などの画質を大幅に改善することができる。

本発明の第１の実施の形態の例による撮像装置の構成例を示すブロック図である。 イメージセンサの構成例を示すブロック図である。 本発明の第１の実施の形態によるノイズ検出回路及び補正回路の例を示すブロック図である。 本発明の第１の実施の形態の例による乱数発生回路を示す構成図である。 図４の構成で発生される乱数の例を示す説明図である。 本発明の第１の実施の形態の例による縦筋のノイズ成分の検出処理例を示すフローチャートである。 本発明の第１の実施の形態の例による縦筋のノイズ補正処理例を示すフローチャートである。 本発明の第１の実施の形態による補正状態を従来と比較して示す説明図であり、（ａ）は本実施の形態による補正状態を示し、（ｂ）は従来処理による補正状態を示す。 本発明の第１の実施の形態による乱数加算による効果の例を示す説明図である。 本発明の第２の実施の形態による構成例を示すブロック図である。 イメージセンサの構造とストリーキングの発生状態の例を示す説明図である。 本発明の第２の実施の形態による補正信号生成部の構成例を示すブロック図である。 本発明の第２の実施の形態の例によるストリーキング補正処理例を示すフローチャートである。 本発明の第２の実施の形態の例による信号レベルとストリーキング比の例を示すと特性図である。

符号の説明

１１…画素、１２…水平アドレス選択部、１３…垂直アドレス選択部、１４，１５…スイッチ、１６…アンプ、１７…アナログ／デジタル変換器、１８…シフトレジスタ、２２…メモリ、２３…減算器、２４…加算器、２５…乱数発生器、３０…ノイズ検出部、３１…黒レベル積分器、３２…減算器、３３…加算器、３４…ラインメモリ、３５…乗算器、４１…ＥＸＯＲゲート、４２，４３，４４…セレクタ、４５，４６，４７…フリップフロップ、１００…撮像装置、１０１Ｒ，１０１Ｇ，１０１Ｂ…イメージセンサ、１０２Ｒ，１０２Ｇ，１０２Ｂ…ビデオアンプ、１０３Ｒ，１０３Ｇ，１０３Ｂ…アナログ／デジタル変換器、１０４…補正回路、１０９…ビデオ処理部、２１０…ストリーキング補正回路、２１１Ｒ，２１１Ｇ，２１１Ｂ…補正信号生成回路、２１２…減算器、２７１，２７２，２７３…減算器、２７４…乱数発生器

Claims (9)

1. イメージセンサが出力する映像信号に含まれるノイズを検出して補正を行うノイズ補正回路において、
   前記イメージセンサが出力する映像信号の所定の範囲の信号レベルの平均値を求め、その算出した平均値を使用して、所定の方向のノイズ成分を求めるノイズ判定部と、
   前記ノイズ判定部で判定したノイズ成分に基いて、前記イメージセンサが出力した映像信号からノイズを除去するノイズ除去部と、
   前記ノイズ除去部でノイズ成分を除去した映像信号に、この映像信号の量子化精度以下の乱数を加える乱数加算部とを備えることを特徴とする
   ノイズ補正回路。
2. 請求項１記載のノイズ補正回路において、
   前記ノイズ判定部として、
   前記映像信号から前記平均値を減算する減算部と、
   前記平均値を減算した映像信号を所定の方向に積分することにより垂直方向の縞模様の固定パターンノイズ成分を算出する垂直固定パターンノイズ算出部とを備えたことを特徴とする
   ノイズ補正回路。
3. 請求の範囲第２項記載のノイズ補正回路において、
   前記乱数加算部として、
   前記平均値算出部での平均値算出処理で、その映像信号の量子化精度以下の値として生成された下位ビットに対して、前記乱数を加算し、その加算後の前記下位ビットを切り捨てる処理を行うことを特徴とする
   ノイズ補正回路。
4. 請求の範囲第３項記載のノイズ補正回路において、
   前記イメージセンサが出力する映像信号の色成分ごとに前記乱数加算部を設け、
   各色成分でそれぞれ別の乱数を加算することを特徴とする
   ノイズ補正回路。
5. 請求項１記載のノイズ補正回路において、
   前記ノイズ判定部として、
   前記イメージセンサの水平遮光部の出力信号を用いて、該水平遮光部における各ラインの信号レベルを求める遮光部波形検出部と、
   前記イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出する黒レベル検出部と、
   前記遮光部波形検出部で求められた水平遮光部における各ラインの信号レベルから前記黒レベル検出部で検出された黒レベルを減算して、各ラインのストリーキング補正信号を求める減算部とを備え、
   前記ノイズ除去部として、
   前記イメージセンサが出力する映像信号の信号レベルに対する補正ゲインを発生し、前記ノイズ判定部で生成されたストリーキング補正信号を発生した補正ゲインに乗算する補正ゲイン発生部と、
   上記イメージセンサが出力する映像信号から、上記補正ゲイン発生部で補正ゲインが乗算されたストリーキング補正信号を減算する減算部を備えたことを特徴とする
   ノイズ補正回路。
6. イメージセンサ部を備えた撮像装置において、
   前記イメージセンサが出力する映像信号の所定の範囲の信号レベルの平均値を求め、その算出した平均値を使用して、前記イメージセンサ部が出力する映像信号の所定の方向のノイズ成分を求めるノイズ判定部と、
   前記ノイズ判定部で判定したノイズ成分に基いて、前記イメージセンサ部が出力した映像信号からノイズを除去するノイズ除去部と、
   前記ノイズ除去部でノイズ成分を除去した映像信号に、この映像信号の量子化精度以下の乱数を加える乱数加算部とを備えることを特徴とする
   撮像装置。
7. 請求項６記載の撮像装置において、
   前記ノイズ判定部として、
   前記イメージセンサ部の任意の範囲の信号レベルの平均値を求める平均値算出部と、
   前記映像信号から前記平均値を減算する減算部と、
   前記平均値を減算した映像信号を所定の方向に積分することにより垂直方向の縞模様の固定パターンノイズ成分を算出する垂直固定パターンノイズ算出部とを備えたことを特徴とする
   撮像装置。
8. 請求項６記載の撮像装置において、
   前記ノイズ判定部として、
   前記イメージセンサの水平遮光部の出力信号を用いて、該水平遮光部における各ラインの信号レベルを求める遮光部波形検出部と、
   前記イメージセンサ部の垂直遮光部の出力信号を用いて黒レベルを検出する黒レベル検出部と、
   前記遮光部波形検出部で求められた水平遮光部における各ラインの信号レベルから前記黒レベル検出部で検出された黒レベルを減算して、各ラインのストリーキング補正信号を求める減算部とを備え、
   前記ノイズ除去部として、
   前記イメージセンサ部が出力する映像信号の信号レベルに対する補正ゲインを発生し、前記ノイズ判定部で生成されたストリーキング補正信号を発生した補正ゲインに乗算する補正ゲイン発生部と、
   上記イメージセンサ部が出力する映像信号から、上記補正ゲイン発生部で補正ゲインが乗算されたストリーキング補正信号を減算する減算部を備えたことを特徴とする
   撮像装置。
9. イメージセンサが出力する映像信号に含まれるノイズを検出して補正を行うノイズ補正方法において、
   前記イメージセンサが出力する映像信号の所定の範囲の信号レベルの平均値を求め、その算出した平均値を使用して、前記イメージセンサが出力する映像信号の所定の方向のノイズ成分を求め、
   求められたノイズ成分に基いて、前記イメージセンサが出力した映像信号からノイズを除去し、
   前記ノイズ成分を除去した映像信号に、この映像信号の量子化精度以下の乱数を加えることを特徴とする
   ノイズ補正方法。