JP5072423B2 - ノイズ除去装置、及びノイズ除去方法 - Google Patents

Description

本発明は、静止画像や動画像を撮影し、記憶又は記録し、再生する撮像装置に関し、特に撮像装置から得られる映像信号に重畳するノイズ信号成分のノイズ除去装置、及びノイズ除去方法に関する。

近年、デジタルカメラや携帯電話機等の電子機器に用いられるＣＣＤ、ＣＭＯＳ等の固体撮像素子は、小型化や高画素化が非常に進んでいる。それにより、固体撮像素子を駆動させる駆動回路の駆動周波数が一段と高くなる傾向にある。また、これら電子機器には、固体撮像素子の駆動回路以外に、ＣＰＵなどの制御システム回路や、ＤＲＡＭなどのメモリ回路、ＬＣＤ等で構成される表示回路等が組み込まれ、それぞれが異なる高速の駆動周波数を有するクロック信号に従って動作している。

このような複数の異なる周波数のクロック信号が存在する電子機器において、小型化により基板面積が小さくなるため、各回路間のクロック信号の干渉が無視できない問題となっている。例えば、クロック信号ライン間の干渉、クロック信号ラインと電源配線パターンの干渉、クロック信号ラインとアナログ信号ライン間の干渉等が挙げられる。これらのクロック信号の干渉が起こると、干渉したクロック信号の周波数に関連した干渉ノイズ信号成分が映像信号に重畳してしまい、再生する画像の品位が劣化する問題がある。

従来例としては、映像信号に重畳した干渉ノイズ信号成分を抽出してキャンセルするために、１水平ライン分の映像信号を記憶する記憶手段を備えるものが知られている。そして、固体撮像素子の垂直方向の光学的黒領域の画素データをライン積分して記憶手段に記憶し、有効画素信号から１水平ライン分の記憶データを減算することで干渉ノイズ信号成分を除去する方法が、例えば特許文献１で提案されている。
特開平７−６７０３８号公報

しかしながら、上記の特許文献１で提案された従来例では、複数水平ラインの画像データを１水平ライン分の信号として積分している。そのため、画面上で垂直方向に発生するノイズ信号成分しか抽出できず、斜め方向に発生するノイズ信号成分には対応できない。 したがって、本発明の目的は、画面上で垂直方向に発生するノイズ信号成分に加えて、斜め方向に発生するノイズ信号成分にも対応できるノイズ除去の手法を提案するものである。

上記の目的を達成するため、本発明の実施形態におけるノイズ除去装置は、
複数の画素ラインを有する撮像素子の有効画素領域から出力される画像データに重畳した干渉ノイズ信号成分を除去するノイズ除去装置であって、
前記撮像素子の前記有効画素領域ではない領域から出力される画像データを積分する積分手段と、
前記積分手段で積分して得られた積分データを記憶する記憶手段と、
前記撮像素子の前記有効画素領域から出力される画像データから、前記記憶手段に記憶された前記積分データを減算する減算手段と、を有し、
前記積分手段は、前記干渉ノイズ信号成分の周期に従って決定されたライン数だけ対応する画素ラインがずれた複数の画像データを積分し、
前記減算手段は、前記撮像素子の前記有効画素領域から出力される画像データに含まれる前記干渉ノイズ信号成分の位相と前記積分データに含まれる前記干渉ノイズ信号成分の位相とを合わせて前記減算を実行する、ことを特徴とする。

上記の目的を達成するため、本発明の他の実施形態におけるノイズ除去方法は、ノイズ除去装置におけるノイズ除去方法であって、
複数の画素ラインを有する撮像素子の有効画素領域から出力される画像データに重畳した干渉ノイズ信号成分を除去するノイズ除去方法であって、
前記撮像素子の前記有効画素領域ではない領域から出力される画像データを積分する積分工程と、
前記積分工程で積分して得られた積分データを記憶する記憶工程と、
前記撮像素子の前記有効画素領域から出力される画像データから、前記記憶工程で記憶された前記積分データを減算する減算工程と、を有し、
前記積分工程は、前記干渉ノイズ信号成分の周期に従って決定されたライン数だけ対応する画素ラインがずれた複数の画像データを積分し、
前記減算工程は、前記撮像素子の前記有効画素領域から出力される画像データに含まれる前記干渉ノイズ信号成分の位相と前記積分データに含まれる前記干渉ノイズ信号成分の位相とを合わせて前記減算を実行する、ことを特徴とする。

本発明によれば、垂直方向のみならず、斜め方向のノイズ信号成分を抽出し、映像信号から除去することが可能となる。

以下、図面を参照して本発明の実施形態１に係るノイズ除去装置を説明する。

＜ＤＳＣ１の構成の説明＞
図１は、本発明の実施形態に係るノイズ除去装置が組み込まれたデジタルスチルカメラの外観の一例を示す図であり、図２は、そのブロック構成図を示す。図１及び２において、１はデジタルスチルカメラ（以下ＤＳＣとする）を示す。

ＤＳＣ１において、２はＤＳＣ本体部、１０は撮像レンズ、４８はストロボ発光部、５４はモード表示用ＬＣＤ部、６２はシャッタスイッチである。又、７２は撮影モード、再生モード、パーソナルコンピュータ等との通信を行う通信モード等を切り換えるモード切替スイッチ、１０４は光学ビューファインダである。

更に、１１はバリア保護機構、１２は絞り機能を備えるシャッタ、１４は光学被写体像を電気信号に変換する固体撮像素子である。１３は固体撮像素子１４の出力信号からアナログ映像信号を抽出するＣＤＳ回路（相関二重サンプリング回路）である。更に、１５はＣＤＳ回路１３からのアナログ映像信号を増幅する増幅回路、１６は増幅回路１５からのアナログ映像信号をデジタルの画像データに変換するＡ／Ｄ変換回路である。

又１８は、固体撮像素子１４、Ａ／Ｄ変換回路１６、 Ｄ／Ａ変換回路２６等にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換回路１６からの画像データ、或いはメモリ制御回路２２からの画像データに対し、画素補間処理や色変換処理を行う。

又、画像処理回路２０においては、撮影した画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御回路５０が、露光制御回路４０、焦点制御回路４２に対して制御を行う。これらの制御には、ＴＴＬ（スルーザレンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理等が含まれる。

更に、画像処理回路２０においては、撮影した画像データを用いて別の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

２２はメモリ制御回路であり、Ａ／Ｄ変換回路１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ回路２４、Ｄ／Ａ変換回路２６、メモリ回路３０、圧縮伸長回路３２等を制御する。

Ａ／Ｄ変換回路１６からの画像データが、画像処理回路２０及びメモリ制御回路２２を介して、或いはＡ／Ｄ変換回路１６の画像データが直接メモリ制御回路２２を介して、画像表示メモリ回路２４或いはメモリ回路３０に書き込まれる。

２４は画像表示メモリ回路、２６はＤ／Ａ変換回路、２８はＴＦＴ型ＬＣＤ等から成る画像表示部である。画像表示メモリ回路２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換回路２６を介して画像表示部２８に供給され、表示される。この画像表示部２８を用いて撮影した画像データを逐次表示すれば、電子ビューファインダ機能を実現することが可能である。

３０は撮影した静止画像データや動画像データを格納するためのメモリ回路であり、所定枚数の静止画像データや所定時間の動画像データを格納するのに十分な記憶容量を備える。これにより、複数枚の静止画像データを連続して撮影する連写撮影や、パノラマ撮影の場合にも、高速かつ大量の画像データの書き込みをメモリ回路３０に対して行うことが可能となる。また、メモリ回路３０はシステム制御回路５０の作業領域としても使用されてもよい。

３２は適応離散コサイン変換（ＡＤＣＴ）、ウェーブレット変換等により画像データを圧縮伸長する圧縮伸長回路である。圧縮伸長回路３２は、メモリ回路３０に格納された画像データを読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ回路３０に再度書き込む。

４０は、絞り機能を備えるシャッタ１２を制御する露光制御回路であり、ストロボ４８と連携することによりストロボ調光機能も有する。４２は撮像レンズ１０のフォーカシングを制御する焦点制御回路、４４は撮像レンズ１０のズーミングを制御するズーム制御回路、４６はバリア保護機構１１の動作を制御するバリア制御回路である。

４８はストロボであり、ＡＦ補助光の投光機能、ストロボ調光機能も有する。先に説明したように、露光制御回路４０及び焦点制御回路４２は、ＴＴＬ方式を用いて制御されている。すなわち、撮像レンズ１０を介して撮影した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御回路４０及び焦点制御回路４２に対して制御を行うことになる。

５０はＤＳＣ１全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリ回路である。尚、制御回路５０には、積分回路９４、減算回路９６及び水平ライン数決定回路９８が、制御プログラムに従って設定されるが、これらの説明は後述する。

５４は、システム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用い、動作状態やメッセージ等を表示する液晶表示装置、スピーカ等からなる表示部である。表示部は、ＤＳＣ１の操作部近辺の、視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。

又表示部５４は、その一部の機能が光学ビューファインダ１０４内に設置されている。表示部５４の表示内容のうち、光学ビューファインダ１０４内に表示するものには、焦点状態表示、撮影準備完了表示、手振れ警告表示等がある。さらに、ストロボ充電表示、ストロボ充電完了表示、シャッタスピード表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示等も含まれる。

又表示部５４の表示内容のうち、ＬＥＤ等に表示するものとしては、焦点状態表示、撮影準備完了表示、手振れ警告表示、手振れ警告表示等がある。さらに、ストロボ充電表示、ストロボ充電完了表示、記録媒体書き込み動作表示、マクロ撮影設定通知表示、二次電池充電状態表示、等も含まれる。そして、表示部５４の表示内容のうち、ランプ等に表示するものとしては、例えば、セルフタイマ通知ランプ、等がある。このセルフタイマ通知ランプは、ＡＦ補助光と共用して用いても良い。

５６は電気的に消去及び記録が可能な不揮発性メモリ回路であり、例えばＥＥＰＲＯＭ、フラッシュメモリ等が用いられる。

６０、６２、６４、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段を構成し、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。次に、これらの操作手段の具体的な説明を行う。

６０はメインスイッチで、ＤＳＣ１の電源オン、電源オフの各モードを切り替え設定することが出来る。また、ＤＳＣ１に接続された各種の付属装置の電源オン、電源オフの設定も合わせて切り替え設定することが出来る。

６２はシャッタスイッチＳＷ１で、不図示のシャッタボタンの押込操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。

６４はシャッタスイッチＳＷ２で、不図示のシャッタボタンの押込操作完了でＯＮとなる。これにより、固体撮像素子１４から読み出した映像信号をＡ／Ｄ変換回路１６、メモリ制御回路２２を介してメモリ回路３０に画像データとして書き込むまでの露光処理を開始する。そして、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理のあと、メモリ回路３０から画像データを読み出し、圧縮伸長回路３２で画像データの圧縮を行う。そして記録媒体２００に画像データを書き込む記録処理という一連の処理の動作開始を指示する。７０は各種ボタンやタッチパネル等からなる操作部である。

又７４は圧縮モードスイッチである。圧縮モードスイッチ７４においては、ＪＰＥＧ（Joint Photographic Expert Gpoup）圧縮の圧縮率を選択することが可能である。或いは固体撮像素子１４からの映像信号をそのままデジタル化し、生の画像データとして記録媒体２００に記録するＣＣＤＲＡＷモードを選択することも可能である。ＪＰＥＧ圧縮のモードは、例えばノーマルモードとファインモードが用意されている。ＤＳＣ１のユーザは、撮影した画像データのデータサイズを重視する場合はノーマルモードを、撮影した画像データの画質を重視する場合はファインモードを、それぞれ選択して撮影を行うことが出来る。

ＪＰＥＧ圧縮のモードに於いては、固体撮像素子１４から読み出されてＡ／Ｄ変換回路１６、画像処理回路２０、メモリ制御回路２２を介して、メモリ回路３０に書き込まれた画像データを読み出す。そして読み出した画像データを圧縮伸長回路３２により設定した圧縮率に圧縮し、記録媒体２００に記録を行う。一方、ＣＣＤＲＡＷモードでは、固体撮像素子１４の色フィルタの画素配列に応じて、水平ライン毎にそのまま映像信号を読み出す。そして、Ａ／Ｄ変換回路１６、メモリ制御回路２２を介して、画像データとしてメモリ回路３０に書き込まれた画像データを読み出し、記録媒体２００に記録を行う。

７２はモードダイアルで、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生／消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

８０は電源制御回路で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいて内蔵するＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、各部へ供給する。

８２及び８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池や、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ−iｏｎ電池等の二次電池、ＡＣアダプター等からなる電源回路である。

９０はメモリカードやハードディスク等の記録媒体２００とのインタフェース、９２はメモリカードやハードディスク等の記録媒体２００と接続を行うコネクタである。

１０４は光学ビューファインダであり、画像表示部２８による電子ビューファインダ機能を使用すること無しに、撮影を行うことが可能である。また、光学ビューファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、ストロボ充電表示、シャッタスピード表示、絞り値表示、露出補正表示などが設置されている。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、ＤＳＣ１とのインタフェース２０４、ＤＳＣ１と接続を行うコネクタ２０６を備えている。なお、記録媒体２００は本実施形態ではＤＳＣ１に内蔵される構成として説明している。

＜ＤＳＣ１の動作説明＞
図３は、本実施形態に係るノイズ除去装置が組み込まれたＤＳＣ１の動作を説明するフローチャート図である。

まず、処理の開始後ステップＳ１０１において、システム制御回路５０はフラグや制御変数等を初期化すると共に、ＤＳＣ１各部の初期化処理を行う。次にステップＳ１０２において、システム制御回路５０は、メインスイッチ６０の設定位置を判断する。

そして、メインスイッチ６０が電源ＯＦＦに設定されていたならば、ステップＳ１０３に進み、表示部５４、画像表示部２８の表示を終了状態に変更する。そして、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ回路５６に記録する。さらに、電源制御回路８０により画像表示部２８を含むＤＳＣ１各部の不要な電源を遮断する等の所定の終了処理を行ない、処理を終了する。

しかしステップＳ１０２において、メインスイッチ６０が電源ＯＮに設定されていたならば、処理はステップＳ１０４に進む。ステップＳ１０４において、システム制御回路５０は、電源制御回路８０により電池等により構成される電源回路８６の残容量や動作情況がＤＳＣ１の動作に問題があるか否かを判断する。このとき、問題があるならばステップＳ１０５に進み、表示部５４及び或いは画像表示部２８を用いて画像や音声により所定の警告表示を行った後にステップＳ１０２に戻る。

しかし、ステップＳ１０４で、電源回路８６に問題が無いと判断されれば、ステップ１０６に進む。ステップＳ１０６では、システム制御回路５０は、表示部５４を用いて画像や音声によりＤＳＣ１の各種設定状態の表示を行う。なお、画像表示部２８の画像表示がＯＮであったならば、画像表示部２８も用いて画像や音声によりＤＳＣ１の各種設定状態の表示を行う。

その後ステップＳ１０７に進み、システム制御回路５０は、モードダイアル７２の設定位置を判断し、モードダイアル７２が撮影モードに設定されていないならばＳ１０９に進む。しかし、モードダイアル７２が撮影モードに設定されていたならば、ステップＳ１０８に進み、システム制御回路５０は、撮影モード処理を実行し、撮影モード処理の終了後、ステップＳ１０２に戻る。この撮影モード処理の詳細は、図４を用いて後述する。

ステップＳ１０９においては、システム制御回路５０は、モードダイアル７２の設定位置を判断し、モードダイアル７２が再生モードに設定されていないならば、同様にステップＳ１０２に戻る。しかし、モードダイアル７２が再生モードに設定されていたならば、ステップＳ１１０に進み、再生モード処理を実行し、再生モード処理の終了後、ステップＳ１０２に戻る。上記のようにして、ＤＳＣ１のユーザは、ＤＳＣ１を携帯して撮影し及び／又は再生を随時行うことが可能である。

図４は、図３のステップＳ１０８で示す撮影モード処理の動作を説明するフローチャートを示す。

図４において、撮影モード処理の開始後ステップＳ２０１で、システム制御回路５０は、操作部７０が備える各種スイッチの操作により、ユーザによって撮影に関する各種設定の変更が行われた否かを調べる。もし、変更が行われたならば、ステップＳ２０２に進み、変更された内容に応じて、撮影に関する動作設定を変更し、ステップＳ２０３に進む。しかし、ユーザによって撮影に関する各種設定の変更が行われてなければ、すぐに、ステップＳ２０３に進む。

システム制御回路５０は、ステップＳ２０３において、シャッタスイッチＳＷ１が押されていないならば、撮影モード処理ルーチンを終了し、それにより図３のステップＳ１０２に戻る。

しかし、ステップＳ２０３においてシャッタスイッチＳＷ１が押されたならばステップＳ２０４に進み、システム制御回路５０は撮影動作を起動し、固体撮像素子１４から得られた画像データを用いて所定の演算処理を行う。

すなわちステップＳ２０５に進み、得られた演算結果に基づいて焦点制御回路４２に対し、焦点制御処理を行って撮像レンズ１０の焦点を被写体に合わせるＡＦ制御を実行させる。さらにステップＳ２０６に進み、システム制御回路５０は、露光制御回路４０を起動して、適正な露出にするように絞り及びシャッタを制御し、絞り制御値、シャッタ制御値、撮影感度値等から被写体輝度を算出するＡＥ制御を実行させる。

さらに、システム制御回路５０は、ステップＳ２０７で、固体撮像素子１４からの画像データを用いて所定の演算処理を行い、得られた演算結果がホワイトバランスとして適正と判断されるまで画像処理回路２０を用いて、ＡＷＢ制御を実行させる。

そして、その後、ステップＳ２０８で、シャッタスイッチＳＷ２が押されたら、ステップＳ２０９に進み、システム制御回路５０は、露光制御回路４０を起動して、適正に調光できるようにＥＦ制御を実行させる。

ＥＦ制御の完了後、ステップＳ２１０のノイズキャンセル処理に進み、ノイズ信号成分の抽出と、画像データに重畳されたノイズ信号成分のキャンセルを行う。そして、ノイズキャンセル処理の完了後はステップＳ２１１に進み、インタフェース９０、コネクタ９２、２０６を介して、メモリーカードやコンパクトフラッシュ（登録商標）カード等の記録媒体２００への画像データを書き込みをすることで記録を行う。記録媒体２００への画像データの記録の終了後は、図３のステップＳ１０２に戻る。

ステップＳ２０８で、６４のシャッタスイッチＳＷ２が押されない場合は、シャッタスイッチＳＷ２が押されるまで待機することになる。

次に、図５のフローチャート図を用いて、図４のステップＳ２１０で示すにノイズキャンセル処理の動作を説明する。処理の開始後、システム制御回路５０は、ステップＳ３０１において、シャッタスイッチＳＷ２が押された時に行ったステップＳ２０９のＥＦ制御の演算結果を使用して、干渉するノイズ信号成分の周波数の演算を行う。

ここで、ステップＳ３０１における、干渉ノイズ信号成分の周波数の演算に関して説明する。ＤＳＣ１は、既知の数種のクロック周波数のクロック信号で動作している（不図示）。例えば、固体撮像素子１４を動作する撮像素子駆動クロック信号の周波数をＦ_ｉｍｇ、システム制御回路５０が動作しているシステムクロック信号の周波数をＦ_ｓｙｓとする。そして、撮像素子駆動クロック信号の周波数のＦ_ｉｍｇとシステムクロック信号の周波数のＦ_ｓｙｓが干渉する場合を想定する。この場合には、固体撮像素子１４から得られる映像信号に干渉する干渉ノイズ信号成分の周波数Ｆは
Ｆ＝｜Ｆ_ｉｍｇ−Ｆ_ｓｙｓ｜
のように算出される。

また、干渉ノイズ信号成分の周波数Ｆから１水平ラインの映像信号に重畳する干渉ノイズ信号成分は、以下で表されるＨ_{ｎｏｉｓｅ}画素毎に繰り返されることが分かる。

Ｈ_{ｎｏｉｓｅ}＝Ｆ_ｉｍｇ／Ｆ
ここで、固体撮像素子１４の水平同期信号のクロック数を、Ｈ_ｃｌｋとする。この場合、Ｈ_{ｎｏｉｓｅ}画素毎に干渉ノイズ信号成分が繰り返されるから、垂直方向に繰り返される干渉ノイズ信号成分の垂直周期Ｖ_{ｎｏｉｓｅ}は、以下のように表すことが出来る。

Ｖ_{ｎｏｉｓｅ}＝ｎ×Ｈ_{ｎｏｉｓｅ}／Ｈ_ｃｌｋ、
ただし、ｎは最小の整数である。

このように、干渉ノイズ信号成分の垂直周期Ｖ_{ｎｏｉｓｅ}の演算のステップＳ３０１の後、システム制御回路５０のシステムクロック信号の周波数Ｆ_ｓｙｓの周波数に変化がないとする。さらに固体撮像素子１４及び周囲の温度の変化が一定値以下であり、かつ増幅回路１５のゲインが一定であるとステップＳ３０２で判断されたとする。以上の条件を満たす場合、システム制御回路５０は、ステップＳ３０３に進み本露光を行う。

しかし、システム制御回路５０のシステムクロック信号の周波数Ｆ_ｓｙｓの周波数に変化があった場合、周囲の温度の変化が一定値以上あった場合、又は増幅回路１５のゲインが変化した場合もありうる。この場合には、システム制御回路５０の動作はステップＳ３０１に戻り、再度干渉ノイズ信号成分の垂直周期Ｖ_{ｎｏｉｓｅ}の演算をし直すこととなる。この条件を満たさないと、ノイズキャンセル処理が正しく行われないので、この条件を満足するまで繰り返される。

図６は、固体撮像素子１４から出力される映像信号に重畳された干渉ノイズ信号成分のノイズパターンと、繰り返して発生する干渉ノイズ信号成分の干渉ノイズ信号成分の周期の関係を示す。例えば、固体撮像素子１４の撮像素子駆動クロック信号の周波数と干渉ノイズ信号成分の周波数との関係から、水平方向に５画素毎の干渉ノイズ信号成分が重畳する場合を検討する。この場合には、図５のステップＳ３０３における本露光により読み出される映像信号は、図６に示すノイズパターンとなる。この場合、水平同期信号の１水平ラインのクロック数から、繰り返えされる干渉ノイズ信号成分の周期は５水平ライン数毎となる。

そしてステップＳ３０４に進み、５水平ライン数毎の繰り返し周期Ａ、Ｂ、Ｃ、、、、で画像データ、即ち干渉ノイズ信号成分を、システム制御回路５０に設定された積分回路９４で積分することで、積分データ（Ｘ１）を抽出する。この場合、水平ライン数の決定は、たとえばシステム制御回路５０に設定された、水平ライン数決定回路９８で実行されることになる。

以上説明するように、積分回路９４で積分することで、ランダムノイズ成分をキャンセルすることが出来る。干渉ノイズ信号成分であるこの積分データ（Ｘ１）を抽出するために用いる固体撮像素子１４の特定の画素領域は、有効画素が読み出されたあとの有効画素領域ではないダミー画素領域を用いる。或いは水平ライン数が確保できる場合は、画面の上部又は下部に位置して設けられる垂直方向の遮光領域（光学的黒の領域）を用いる。かくして積分回路９４で得られた積分データ（Ｘ１）はメモリ回路３０に記憶される。

次のノイズキャンセル動作においては、まず、ステップＳ３０５で、ステップＳ３０３の本露光で読み出された有効画素領域の有効な画像データ（Ｘ２）とメモリ回路３０から読み出される積分データ（Ｘ１）との位相合わせを行う。

位相合わせ後にステップＳ３０６に進み、システム制御回路５０は、メモリ回路３０に記憶した積分データ（Ｘ１）を読み出す。そして、ステップＳ３０３の本露光で読み出された有効画素領域の有効な画像データ（Ｘ２）から、システム制御回路５０に設定された減算回路９６で減算し、干渉ノイズ信号成分のキャンセルを行う。すなわち、本露光で読み出された有効画素領域の画像データ（Ｘ２）にも、同じ干渉ノイズ信号成分であるこの積分信号（Ｘ１）が含まれる。従って、上記のように位相を合わせて減算回路９６で減算することで、有効画素領域の画像データ（Ｘ２）から、干渉ノイズ信号成分であるこの積分信号（Ｘ１）をキャンセルすることが出来る。

ここで、ステップＳ３０６での減算を減算回路９６で行う場合は、干渉ノイズ信号成分である積分信号（Ｘ１）と有効画素領域の画像データ（Ｘ２）に含まれる干渉ノイズ信号成分の位相を合わせる必要がある。このため、ステップＳ３０５で、垂直同期信号を基準とした水平ライン数と、干渉ノイズ信号成分の垂直周期Ｖ_{ｎｏｉｓｅ}との関係から位相合わせを行う。

図７を用いて、ステップＳ３０６での減算を減算回路９６で行う場合のノイズ信号成分の位相合わせの手法を説明する。すなわち、ステップＳ３０５は、以下に従って実行される。まず、垂直同期信号の立下りをＴ０＝０とし、有効画素領域の開始の水平ライン位置をＴ１、ダミー画素領域の開始の水平ライン位置をＴ２とする（Ｔ０、Ｔ１、Ｔ２は水平ライン数を表す）。システム制御回路５０は、ダミー画素領域の開始の水平ライン位置Ｔ２から干渉ノイズ信号成分の垂直周期Ｖ_{ｎｏｉｓｅ}毎に、積分回路９４で積分を開始し、干渉ノイズ信号成分である積分信号（Ｘ１）を得る。

干渉ノイズ信号成分の垂直周期Ｖ_{ｎｏｉｓｅ}から、ダミー画素領域の開始の水平ライン位置Ｔ２とノイズ信号成分の位相が同位相になる有効画素領域の水平ラインＴｘは、
Ｔｘ＝Ｔ２−Ｖ_{ｎｏｉｓｅ}×ｎ、ただしｎは整数、
より求められる。そして、ステップＳ３０５において、システム制御回路５０は、Ｔｘ＜Ｔ１となる最小のｎを求め、ノイズ信号成分の位相の一致した水平ラインＴｘから積分信号（Ｘ１）の減算を減算回路９６で開始する。こうして、有効画素領域の画像データからノイズ信号成分の除去を行い、ノイズキャンセル処理を完了する。

しかし、ステップＳ３０２から、ステップＳ３０６での減算動作の完了までに、いかの何れかが起きると正しくノイズキャンセル処理が行われない。つまり、システム制御回路５０のシステムクロック信号の周波数Ｆ_ｓｙｓの周波数が変化したり、固体撮像素子１４及び周囲の温度が一定値以上に変化したり、増幅回路１５のゲインが変化する場合は、正しい処理が行われない。したがって、ステップＳ３０７でこれらを監視し、変化がなければ処理を終了し、変化があれば、正しくノイズキャンセル処理が行われないものとして、処理をやり直す。したがって、その場合には、ステップＳ３０１に戻る。

上記では、干渉ノイズ信号成分の垂直周期Ｖ_{ｎｏｉｓｅ}を求めるのに、撮像素子の駆動クロック信号の周波数Ｆ_ｉｍｇとシステムクロック信号の周波数Ｆ_ｓｙｓの関係を用いた。

しかしながら、別の方法として、ステップＳ３０３の本露光で得られる画像データの垂直方向の上部又は下部に位置する遮光される領域（光学的黒の領域）の画像データを用いてもよい。この場合、ＦＦＴ（Fast Fourier Transform）解析を行った結果から周波数スペクトル成分がもっとも大きい周波数を干渉するノイズ信号成分の周波数としてノイズ信号成分のキャンセルを行うことになる。また、本実施形態では、システム制御回路５０において干渉するノイズ信号成分の周波数の演算を行ったが、あらかじめ干渉するノイズ信号成分の周波数を回路設計する段階で演算し、繰り返し周波数を設定しても良い。

本発明の実施形態におけるノイズ除去装置が組み込まれたデジタルスチルカメラの外観の斜視図である。 本発明の実施形態におけるノイズ除去装置が組み込まれたデジタルスチルカメラの構成を示すブロック図である。 本発明の実施形態におけるノイズ除去装置が組み込まれたデジタルスチルカメラの全体の動作を説明するフローチャート図である。 本発明の実施形態におけるノイズ除去装置が組み込まれたデジタルスチルカメラの撮影モード処理の動作を説明するフローチャート図である。 本発明の実施形態におけるノイズ除去装置が組み込まれたデジタルスチルカメラのノイズキャンセル処理の動作を説明するフローチャート図である。 本発明の実施形態におけるノイズ除去装置が組み込まれたデジタルスチルカメラの固体撮像素子からの映像信号に重畳したノイズパターンと繰り返し周期の関係を示す図である。 本発明の実施形態におけるノイズ除去装置が組み込まれたデジタルスチルカメラのノイズキャンセル処理で実行されるノイズ信号成分の位相合わせを説明するタイミングを示す図である。

Claims (10)

1. 複数の画素ラインを有する撮像素子の有効画素領域から出力される画像データに重畳した干渉ノイズ信号成分を除去するノイズ除去装置であって、
   前記撮像素子の前記有効画素領域ではない領域から出力される画像データを積分する積分手段と、
   前記積分手段で積分して得られた積分データを記憶する記憶手段と、
   前記撮像素子の前記有効画素領域から出力される画像データから、前記記憶手段に記憶された前記積分データを減算する減算手段と、を有し、
   前記積分手段は、前記干渉ノイズ信号成分の周期に従って決定されたライン数だけ対応する画素ラインがずれた複数の画像データを積分し、
   前記減算手段は、前記撮像素子の前記有効画素領域から出力される画像データに含まれる前記干渉ノイズ信号成分の位相と前記積分データに含まれる前記干渉ノイズ信号成分の位相とを合わせて前記減算を実行する、ことを特徴とするノイズ除去装置。
2. 前記撮像素子の前記有効画素領域ではない領域から出力される画像データは、前記撮像素子における垂直方向の光学的黒の画素領域から出力される画像データである、ことを特徴とする請求項１に記載のノイズ除去装置。
3. 前記撮像素子の前記有効画素領域ではない領域から出力される画像データは、前記撮像素子におけるダミー画素領域から出力される画像データである、ことを特徴とする請求項１に記載のノイズ除去装置。
4. 前記積分手段は、前記減算手段による前記減算が完了するまでにシステムクロック信号の周波数が変化した場合、前記積分をやり直す、ことを特徴とする請求項１ないし３のいずれか１項に記載のノイズ除去装置。
5. 前記積分手段は、前記減算手段による前記減算が完了するまでに周囲の温度の変化があった場合、前記積分をやり直す、ことを特徴とする請求項１ないし４のいずれか１項に記載のノイズ除去装置。
6. 前記積分手段は、前記減算手段による前記減算が完了するまでに前記撮像素子の前記有効画素領域から出力される画像データを増幅するゲインが変化した場合、前記積分をやり直す、ことを特徴とする請求項１ないし５のいずれか１項に記載のノイズ除去装置。
7. 前記減算手段は、前記減算が完了するまでにシステムクロック信号の周波数が変化した場合、前記減算をやり直す、ことを特徴とする請求項１ないし６のいずれか１項に記載のノイズ除去装置。
8. 前記減算手段は、前記減算が完了するまでに周囲の温度の変化があった場合、前記減算をやり直す、ことを特徴とする請求項１ないし７のいずれか１項に記載のノイズ除去装置。
9. 前記減算手段は、前記減算が完了するまでに前記撮像素子の前記有効画素領域から出力される画像データを増幅するゲインが変化した場合、前記減算をやり直す、ことを特徴とする請求項１ないし８のいずれか１項に記載のノイズ除去装置。
10. 複数の画素ラインを有する撮像素子の有効画素領域から出力される画像データに重畳した干渉ノイズ信号成分を除去するノイズ除去方法であって、
    前記撮像素子の前記有効画素領域ではない領域から出力される画像データを積分する積分工程と、
    前記積分工程で積分して得られた積分データを記憶する記憶工程と、
    前記撮像素子の前記有効画素領域から出力される画像データから、前記記憶工程で記憶された前記積分データを減算する減算工程と、を有し、
    前記積分工程は、前記干渉ノイズ信号成分の周期に従って決定されたライン数だけ対応する画素ラインがずれた複数の画像データを積分し、
    前記減算工程は、前記撮像素子の前記有効画素領域から出力される画像データに含まれる前記干渉ノイズ信号成分の位相と前記積分データに含まれる前記干渉ノイズ信号成分の位相とを合わせて前記減算を実行する、ことを特徴とするノイズ除去方法。

Images