JP5072423B2 - Noise removing apparatus and noise removing method - Google Patents
Noise removing apparatus and noise removing method Download PDFInfo
- Publication number
- JP5072423B2 JP5072423B2 JP2007121163A JP2007121163A JP5072423B2 JP 5072423 B2 JP5072423 B2 JP 5072423B2 JP 2007121163 A JP2007121163 A JP 2007121163A JP 2007121163 A JP2007121163 A JP 2007121163A JP 5072423 B2 JP5072423 B2 JP 5072423B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- subtraction
- integration
- noise
- data output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は、静止画像や動画像を撮影し、記憶又は記録し、再生する撮像装置に関し、特に撮像装置から得られる映像信号に重畳するノイズ信号成分のノイズ除去装置、及びノイズ除去方法に関する。 The present invention relates to an imaging device that captures, stores or records still images and moving images, and particularly relates to a noise removal device and a noise removal method for a noise signal component superimposed on a video signal obtained from the imaging device.
近年、デジタルカメラや携帯電話機等の電子機器に用いられるＣＣＤ、ＣＭＯＳ等の固体撮像素子は、小型化や高画素化が非常に進んでいる。それにより、固体撮像素子を駆動させる駆動回路の駆動周波数が一段と高くなる傾向にある。また、これら電子機器には、固体撮像素子の駆動回路以外に、ＣＰＵなどの制御システム回路や、ＤＲＡＭなどのメモリ回路、ＬＣＤ等で構成される表示回路等が組み込まれ、それぞれが異なる高速の駆動周波数を有するクロック信号に従って動作している。 In recent years, solid-state imaging devices such as CCDs and CMOSs used in electronic devices such as digital cameras and mobile phones have been greatly reduced in size and increased in pixel count. As a result, the drive frequency of the drive circuit that drives the solid-state imaging device tends to be higher. In addition to the solid-state image sensor drive circuit, these electronic devices incorporate a control system circuit such as a CPU, a memory circuit such as a DRAM, a display circuit constituted by an LCD, etc. It operates according to a clock signal having a frequency.
このような複数の異なる周波数のクロック信号が存在する電子機器において、小型化により基板面積が小さくなるため、各回路間のクロック信号の干渉が無視できない問題となっている。例えば、クロック信号ライン間の干渉、クロック信号ラインと電源配線パターンの干渉、クロック信号ラインとアナログ信号ライン間の干渉等が挙げられる。これらのクロック信号の干渉が起こると、干渉したクロック信号の周波数に関連した干渉ノイズ信号成分が映像信号に重畳してしまい、再生する画像の品位が劣化する問題がある。 In such an electronic device having a plurality of clock signals having different frequencies, the board area is reduced due to the miniaturization, and therefore, the interference of the clock signal between the circuits cannot be ignored. Examples include interference between clock signal lines, interference between clock signal lines and power supply wiring patterns, interference between clock signal lines and analog signal lines, and the like. When these clock signals interfere with each other, an interference noise signal component related to the frequency of the interfered clock signal is superimposed on the video signal, thereby degrading the quality of the reproduced image.
従来例としては、映像信号に重畳した干渉ノイズ信号成分を抽出してキャンセルするために、１水平ライン分の映像信号を記憶する記憶手段を備えるものが知られている。そして、固体撮像素子の垂直方向の光学的黒領域の画素データをライン積分して記憶手段に記憶し、有効画素信号から１水平ライン分の記憶データを減算することで干渉ノイズ信号成分を除去する方法が、例えば特許文献１で提案されている。
しかしながら、上記の特許文献１で提案された従来例では、複数水平ラインの画像データを１水平ライン分の信号として積分している。そのため、画面上で垂直方向に発生するノイズ信号成分しか抽出できず、斜め方向に発生するノイズ信号成分には対応できない。 したがって、本発明の目的は、画面上で垂直方向に発生するノイズ信号成分に加えて、斜め方向に発生するノイズ信号成分にも対応できるノイズ除去の手法を提案するものである。 However, in the conventional example proposed in Patent Document 1 described above, image data of a plurality of horizontal lines is integrated as a signal for one horizontal line. Therefore, only the noise signal component generated in the vertical direction on the screen can be extracted, and the noise signal component generated in the oblique direction cannot be handled. Accordingly, an object of the present invention is to propose a noise removal technique that can cope with a noise signal component generated in an oblique direction in addition to a noise signal component generated in a vertical direction on a screen.
上記の目的を達成するため、本発明の実施形態におけるノイズ除去装置は、
複数の画素ラインを有する撮像素子の有効画素領域から出力される画像データに重畳した干渉ノイズ信号成分を除去するノイズ除去装置であって、
前記撮像素子の前記有効画素領域ではない領域から出力される画像データを積分する積分手段と、
前記積分手段で積分して得られた積分データを記憶する記憶手段と、
前記撮像素子の前記有効画素領域から出力される画像データから、前記記憶手段に記憶された前記積分データを減算する減算手段と、を有し、
前記積分手段は、前記干渉ノイズ信号成分の周期に従って決定されたライン数だけ対応する画素ラインがずれた複数の画像データを積分し、
前記減算手段は、前記撮像素子の前記有効画素領域から出力される画像データに含まれる前記干渉ノイズ信号成分の位相と前記積分データに含まれる前記干渉ノイズ信号成分の位相とを合わせて前記減算を実行する、ことを特徴とする。
In order to achieve the above object, a noise removal apparatus according to an embodiment of the present invention includes:
A noise removing device that removes an interference noise signal component superimposed on image data output from an effective pixel region of an imaging device having a plurality of pixel lines,
An integrating means for integrating the image data output from the effective non-pixel region region of the imaging element,
Storage means for storing integration data obtained by integration by the integration means;
From the image data output from the effective pixel region before Symbol IMAGING element has, subtracting means for subtracting the integration data stored in the storage means,
The integrating means integrates a plurality of image data in which corresponding pixel lines are shifted by the number of lines determined according to the period of the interference noise signal component,
Said subtracting means, said combined before Symbol of the interference noise component, wherein included in the integration data and the interfering noise signal component of the phase included in the image data outputted from the effective pixel region of an imaging element phase Subtracting is performed.
上記の目的を達成するため、本発明の他の実施形態におけるノイズ除去方法は、ノイズ除去装置におけるノイズ除去方法であって、
複数の画素ラインを有する撮像素子の有効画素領域から出力される画像データに重畳した干渉ノイズ信号成分を除去するノイズ除去方法であって、
前記撮像素子の前記有効画素領域ではない領域から出力される画像データを積分する積分工程と、
前記積分工程で積分して得られた積分データを記憶する記憶工程と、
前記撮像素子の前記有効画素領域から出力される画像データから、前記記憶工程で記憶された前記積分データを減算する減算工程と、を有し、
前記積分工程は、前記干渉ノイズ信号成分の周期に従って決定されたライン数だけ対応する画素ラインがずれた複数の画像データを積分し、
前記減算工程は、前記撮像素子の前記有効画素領域から出力される画像データに含まれる前記干渉ノイズ信号成分の位相と前記積分データに含まれる前記干渉ノイズ信号成分の位相とを合わせて前記減算を実行する、ことを特徴とする。
In order to achieve the above object, a noise removal method according to another embodiment of the present invention is a noise removal method in a noise removal device,
A noise removal method for removing an interference noise signal component superimposed on image data output from an effective pixel region of an image sensor having a plurality of pixel lines ,
An integrating step of integrating the image data output from the effective non-pixel region region of the imaging element,
A storage step of storing the integrated data obtained by integrating the previous SL integration process,
From the image data output from the effective pixel area of the shooting image element, anda subtraction step for subtracting the integration data stored in the storing step,
The integration step integrates a plurality of image data in which corresponding pixel lines are shifted by the number of lines determined according to the period of the interference noise signal component,
The subtraction process, the combined before Symbol of the interference noise component, wherein included in the integration data and the interfering noise signal component of the phase included in the image data outputted from the effective pixel region of an imaging element phase Subtracting is performed.
本発明によれば、垂直方向のみならず、斜め方向のノイズ信号成分を抽出し、映像信号から除去することが可能となる。 According to the present invention, not only vertical direction only, extracted in the oblique direction of the noise signal component, it is possible to remove from the video signal.
以下、図面を参照して本発明の実施形態１に係るノイズ除去装置を説明する。 Hereinafter, a noise removing apparatus according to Embodiment 1 of the present invention will be described with reference to the drawings.
＜ＤＳＣ１の構成の説明＞
図１は、本発明の実施形態に係るノイズ除去装置が組み込まれたデジタルスチルカメラの外観の一例を示す図であり、図２は、そのブロック構成図を示す。図１及び２において、１はデジタルスチルカメラ（以下ＤＳＣとする）を示す。
<Description of DSC1 Configuration>
FIG. 1 is a diagram showing an example of the appearance of a digital still camera in which a noise removing device according to an embodiment of the present invention is incorporated, and FIG. 2 is a block diagram of the digital still camera. 1 and 2, reference numeral 1 denotes a digital still camera (hereinafter referred to as DSC).
ＤＳＣ１において、２はＤＳＣ本体部、１０は撮像レンズ、４８はストロボ発光部、５４はモード表示用ＬＣＤ部、６２はシャッタスイッチである。又、７２は撮影モード、再生モード、パーソナルコンピュータ等との通信を行う通信モード等を切り換えるモード切替スイッチ、１０４は光学ビューファインダである。
In
更に、１１はバリア保護機構、１２は絞り機能を備えるシャッタ、１４は光学被写体像を電気信号に変換する固体撮像素子である。１３は固体撮像素子１４の出力信号からアナログ映像信号を抽出するＣＤＳ回路（相関二重サンプリング回路）である。更に、１５はＣＤＳ回路１３からのアナログ映像信号を増幅する増幅回路、１６は増幅回路１５からのアナログ映像信号をデジタルの画像データに変換するＡ／Ｄ変換回路である。
Further, 11 is a barrier protection mechanism, 12 is a shutter having a diaphragm function, and 14 is a solid-state image sensor that converts an optical subject image into an electrical signal.
又１８は、固体撮像素子１４、Ａ／Ｄ変換回路１６、 Ｄ／Ａ変換回路２６等にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。
２０は画像処理回路であり、Ａ／Ｄ変換回路１６からの画像データ、或いはメモリ制御回路２２からの画像データに対し、画素補間処理や色変換処理を行う。
An
又、画像処理回路２０においては、撮影した画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御回路５０が、露光制御回路４０、焦点制御回路４２に対して制御を行う。これらの制御には、ＴＴＬ（スルーザレンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理等が含まれる。
Further, the
更に、画像処理回路２０においては、撮影した画像データを用いて別の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。
Further, the
２２はメモリ制御回路であり、Ａ／Ｄ変換回路１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ回路２４、Ｄ／Ａ変換回路２６、メモリ回路３０、圧縮伸長回路３２等を制御する。
A
Ａ／Ｄ変換回路１６からの画像データが、画像処理回路２０及びメモリ制御回路２２を介して、或いはＡ／Ｄ変換回路１６の画像データが直接メモリ制御回路２２を介して、画像表示メモリ回路２４或いはメモリ回路３０に書き込まれる。
The image data from the A /
２４は画像表示メモリ回路、２６はＤ／Ａ変換回路、２８はＴＦＴ型ＬＣＤ等から成る画像表示部である。画像表示メモリ回路２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換回路２６を介して画像表示部２８に供給され、表示される。この画像表示部２８を用いて撮影した画像データを逐次表示すれば、電子ビューファインダ機能を実現することが可能である。
３０は撮影した静止画像データや動画像データを格納するためのメモリ回路であり、所定枚数の静止画像データや所定時間の動画像データを格納するのに十分な記憶容量を備える。これにより、複数枚の静止画像データを連続して撮影する連写撮影や、パノラマ撮影の場合にも、高速かつ大量の画像データの書き込みをメモリ回路３０に対して行うことが可能となる。また、メモリ回路３０はシステム制御回路５０の作業領域としても使用されてもよい。
３２は適応離散コサイン変換（ＡＤＣＴ）、ウェーブレット変換等により画像データを圧縮伸長する圧縮伸長回路である。圧縮伸長回路３２は、メモリ回路３０に格納された画像データを読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ回路３０に再度書き込む。
A compression /
４０は、絞り機能を備えるシャッタ１２を制御する露光制御回路であり、ストロボ４８と連携することによりストロボ調光機能も有する。４２は撮像レンズ１０のフォーカシングを制御する焦点制御回路、４４は撮像レンズ１０のズーミングを制御するズーム制御回路、４６はバリア保護機構１１の動作を制御するバリア制御回路である。
４８はストロボであり、ＡＦ補助光の投光機能、ストロボ調光機能も有する。先に説明したように、露光制御回路４０及び焦点制御回路４２は、ＴＴＬ方式を用いて制御されている。すなわち、撮像レンズ１０を介して撮影した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御回路４０及び焦点制御回路４２に対して制御を行うことになる。
A
５０はＤＳＣ１全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリ回路である。尚、制御回路５０には、積分回路９４、減算回路９６及び水平ライン数決定回路９８が、制御プログラムに従って設定されるが、これらの説明は後述する。
５４は、システム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用い、動作状態やメッセージ等を表示する液晶表示装置、スピーカ等からなる表示部である。表示部は、ＤＳＣ１の操作部近辺の、視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。
又表示部５４は、その一部の機能が光学ビューファインダ１０４内に設置されている。表示部５４の表示内容のうち、光学ビューファインダ１０４内に表示するものには、焦点状態表示、撮影準備完了表示、手振れ警告表示等がある。さらに、ストロボ充電表示、ストロボ充電完了表示、シャッタスピード表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示等も含まれる。
The
又表示部５４の表示内容のうち、ＬＥＤ等に表示するものとしては、焦点状態表示、撮影準備完了表示、手振れ警告表示、手振れ警告表示等がある。さらに、ストロボ充電表示、ストロボ充電完了表示、記録媒体書き込み動作表示、マクロ撮影設定通知表示、二次電池充電状態表示、等も含まれる。そして、表示部５４の表示内容のうち、ランプ等に表示するものとしては、例えば、セルフタイマ通知ランプ、等がある。このセルフタイマ通知ランプは、ＡＦ補助光と共用して用いても良い。
Among the display contents of the
５６は電気的に消去及び記録が可能な不揮発性メモリ回路であり、例えばＥＥＰＲＯＭ、フラッシュメモリ等が用いられる。
６０、６２、６４、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段を構成し、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。次に、これらの操作手段の具体的な説明を行う。
６０はメインスイッチで、ＤＳＣ１の電源オン、電源オフの各モードを切り替え設定することが出来る。また、ＤＳＣ１に接続された各種の付属装置の電源オン、電源オフの設定も合わせて切り替え設定することが出来る。
６２はシャッタスイッチＳＷ１で、不図示のシャッタボタンの押込操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。
６４はシャッタスイッチＳＷ２で、不図示のシャッタボタンの押込操作完了でＯＮとなる。これにより、固体撮像素子１４から読み出した映像信号をＡ／Ｄ変換回路１６、メモリ制御回路２２を介してメモリ回路３０に画像データとして書き込むまでの露光処理を開始する。そして、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理のあと、メモリ回路３０から画像データを読み出し、圧縮伸長回路３２で画像データの圧縮を行う。そして記録媒体２００に画像データを書き込む記録処理という一連の処理の動作開始を指示する。７０は各種ボタンやタッチパネル等からなる操作部である。
又７４は圧縮モードスイッチである。圧縮モードスイッチ７４においては、ＪＰＥＧ（Joint Photographic Expert Gpoup）圧縮の圧縮率を選択することが可能である。或いは固体撮像素子１４からの映像信号をそのままデジタル化し、生の画像データとして記録媒体２００に記録するＣＣＤＲＡＷモードを選択することも可能である。ＪＰＥＧ圧縮のモードは、例えばノーマルモードとファインモードが用意されている。ＤＳＣ１のユーザは、撮影した画像データのデータサイズを重視する場合はノーマルモードを、撮影した画像データの画質を重視する場合はファインモードを、それぞれ選択して撮影を行うことが出来る。
ＪＰＥＧ圧縮のモードに於いては、固体撮像素子１４から読み出されてＡ／Ｄ変換回路１６、画像処理回路２０、メモリ制御回路２２を介して、メモリ回路３０に書き込まれた画像データを読み出す。そして読み出した画像データを圧縮伸長回路３２により設定した圧縮率に圧縮し、記録媒体２００に記録を行う。一方、ＣＣＤＲＡＷモードでは、固体撮像素子１４の色フィルタの画素配列に応じて、水平ライン毎にそのまま映像信号を読み出す。そして、Ａ／Ｄ変換回路１６、メモリ制御回路２２を介して、画像データとしてメモリ回路３０に書き込まれた画像データを読み出し、記録媒体２００に記録を行う。
In the JPEG compression mode, the image data read from the solid-
７２はモードダイアルで、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生／消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。
８０は電源制御回路で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいて内蔵するＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、各部へ供給する。
Reference numeral 80 denotes a power control circuit, which includes a battery detection circuit, a DC-DC converter, a switch circuit for switching a block to be energized, and the like. The presence / absence of the battery, the type of battery, and the remaining battery level are detected, and the built-in DC-DC converter is controlled based on the detection result and the instruction of the
８２及び８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池や、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ−iｏｎ電池等の二次電池、ＡＣアダプター等からなる電源回路である。 82 and 84 are connectors, 86 is a primary battery such as an alkaline battery or lithium battery, a secondary battery such as a NiCd battery, NiMH battery or Li-ion battery, an AC adapter, or the like.
９０はメモリカードやハードディスク等の記録媒体２００とのインタフェース、９２はメモリカードやハードディスク等の記録媒体２００と接続を行うコネクタである。
Reference numeral 90 denotes an interface with the
１０４は光学ビューファインダであり、画像表示部２８による電子ビューファインダ機能を使用すること無しに、撮影を行うことが可能である。また、光学ビューファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、ストロボ充電表示、シャッタスピード表示、絞り値表示、露出補正表示などが設置されている。
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、ＤＳＣ１とのインタフェース２０４、ＤＳＣ１と接続を行うコネクタ２０６を備えている。なお、記録媒体２００は本実施形態ではＤＳＣ１に内蔵される構成として説明している。
＜ＤＳＣ１の動作説明＞
図３は、本実施形態に係るノイズ除去装置が組み込まれたＤＳＣ１の動作を説明するフローチャート図である。
<Description of operation of DSC 1>
FIG. 3 is a flowchart for explaining the operation of the DSC 1 in which the noise removing apparatus according to the present embodiment is incorporated.
まず、処理の開始後ステップＳ１０１において、システム制御回路５０はフラグや制御変数等を初期化すると共に、ＤＳＣ１各部の初期化処理を行う。次にステップＳ１０２において、システム制御回路５０は、メインスイッチ６０の設定位置を判断する。
First, in step S101 after the start of processing, the
そして、メインスイッチ６０が電源ＯＦＦに設定されていたならば、ステップＳ１０３に進み、表示部５４、画像表示部２８の表示を終了状態に変更する。そして、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ回路５６に記録する。さらに、電源制御回路８０により画像表示部２８を含むＤＳＣ１各部の不要な電源を遮断する等の所定の終了処理を行ない、処理を終了する。
If the
しかしステップＳ１０２において、メインスイッチ６０が電源ＯＮに設定されていたならば、処理はステップＳ１０４に進む。ステップＳ１０４において、システム制御回路５０は、電源制御回路８０により電池等により構成される電源回路８６の残容量や動作情況がＤＳＣ１の動作に問題があるか否かを判断する。このとき、問題があるならばステップＳ１０５に進み、表示部５４及び或いは画像表示部２８を用いて画像や音声により所定の警告表示を行った後にステップＳ１０２に戻る。
However, if the
しかし、ステップＳ１０４で、電源回路８６に問題が無いと判断されれば、ステップ１０６に進む。ステップＳ１０６では、システム制御回路５０は、表示部５４を用いて画像や音声によりＤＳＣ１の各種設定状態の表示を行う。なお、画像表示部２８の画像表示がＯＮであったならば、画像表示部２８も用いて画像や音声によりＤＳＣ１の各種設定状態の表示を行う。
However, if it is determined in step S104 that there is no problem in the
その後ステップＳ１０７に進み、システム制御回路５０は、モードダイアル７２の設定位置を判断し、モードダイアル７２が撮影モードに設定されていないならばＳ１０９に進む。しかし、モードダイアル７２が撮影モードに設定されていたならば、ステップＳ１０８に進み、システム制御回路５０は、撮影モード処理を実行し、撮影モード処理の終了後、ステップＳ１０２に戻る。この撮影モード処理の詳細は、図４を用いて後述する。
Thereafter, the
ステップＳ１０９においては、システム制御回路５０は、モードダイアル７２の設定位置を判断し、モードダイアル７２が再生モードに設定されていないならば、同様にステップＳ１０２に戻る。しかし、モードダイアル７２が再生モードに設定されていたならば、ステップＳ１１０に進み、再生モード処理を実行し、再生モード処理の終了後、ステップＳ１０２に戻る。上記のようにして、ＤＳＣ１のユーザは、ＤＳＣ１を携帯して撮影し及び／又は再生を随時行うことが可能である。
In step S109, the
図４は、図３のステップＳ１０８で示す撮影モード処理の動作を説明するフローチャートを示す。 FIG. 4 is a flowchart for explaining the operation of the shooting mode process shown in step S108 of FIG.
図４において、撮影モード処理の開始後ステップＳ２０１で、システム制御回路５０は、操作部７０が備える各種スイッチの操作により、ユーザによって撮影に関する各種設定の変更が行われた否かを調べる。もし、変更が行われたならば、ステップＳ２０２に進み、変更された内容に応じて、撮影に関する動作設定を変更し、ステップＳ２０３に進む。しかし、ユーザによって撮影に関する各種設定の変更が行われてなければ、すぐに、ステップＳ２０３に進む。
In FIG. 4, in step S201 after the start of the shooting mode process, the
システム制御回路５０は、ステップＳ２０３において、シャッタスイッチＳＷ１が押されていないならば、撮影モード処理ルーチンを終了し、それにより図３のステップＳ１０２に戻る。
If the shutter switch SW1 is not pressed in step S203, the
しかし、ステップＳ２０３においてシャッタスイッチＳＷ１が押されたならばステップＳ２０４に進み、システム制御回路５０は撮影動作を起動し、固体撮像素子１４から得られた画像データを用いて所定の演算処理を行う。
However, if the shutter switch SW1 is pressed in step S203, the process proceeds to step S204, where the
すなわちステップＳ２０５に進み、得られた演算結果に基づいて焦点制御回路４２に対し、焦点制御処理を行って撮像レンズ１０の焦点を被写体に合わせるＡＦ制御を実行させる。さらにステップＳ２０６に進み、システム制御回路５０は、露光制御回路４０を起動して、適正な露出にするように絞り及びシャッタを制御し、絞り制御値、シャッタ制御値、撮影感度値等から被写体輝度を算出するＡＥ制御を実行させる。
In other words, the process proceeds to step S205, and the focus control circuit 42 is subjected to focus control processing based on the obtained calculation result to execute AF control for focusing the
さらに、システム制御回路５０は、ステップＳ２０７で、固体撮像素子１４からの画像データを用いて所定の演算処理を行い、得られた演算結果がホワイトバランスとして適正と判断されるまで画像処理回路２０を用いて、ＡＷＢ制御を実行させる。
Further, in step S207, the
そして、その後、ステップＳ２０８で、シャッタスイッチＳＷ２が押されたら、ステップＳ２０９に進み、システム制御回路５０は、露光制御回路４０を起動して、適正に調光できるようにＥＦ制御を実行させる。
After that, when the shutter switch SW2 is pressed in step S208, the process proceeds to step S209, and the
ＥＦ制御の完了後、ステップＳ２１０のノイズキャンセル処理に進み、ノイズ信号成分の抽出と、画像データに重畳されたノイズ信号成分のキャンセルを行う。そして、ノイズキャンセル処理の完了後はステップＳ２１１に進み、インタフェース９０、コネクタ９２、２０６を介して、メモリーカードやコンパクトフラッシュ（登録商標）カード等の記録媒体２００への画像データを書き込みをすることで記録を行う。記録媒体２００への画像データの記録の終了後は、図３のステップＳ１０２に戻る。
After the EF control is completed, the process proceeds to the noise canceling process in step S210, and the noise signal component is extracted and the noise signal component superimposed on the image data is canceled. Then, after the noise canceling process is completed, the process proceeds to step S211, and image data is written to the
ステップＳ２０８で、６４のシャッタスイッチＳＷ２が押されない場合は、シャッタスイッチＳＷ２が押されるまで待機することになる。 If it is determined in step S208 that the 64 shutter switch SW2 is not pressed, the process waits until the shutter switch SW2 is pressed.
次に、図５のフローチャート図を用いて、図４のステップＳ２１０で示すにノイズキャンセル処理の動作を説明する。処理の開始後、システム制御回路５０は、ステップＳ３０１において、シャッタスイッチＳＷ２が押された時に行ったステップＳ２０９のＥＦ制御の演算結果を使用して、干渉するノイズ信号成分の周波数の演算を行う。
Next, the operation of the noise cancellation processing shown in step S210 of FIG. 4 will be described using the flowchart of FIG. After the start of processing, the
ここで、ステップＳ３０１における、干渉ノイズ信号成分の周波数の演算に関して説明する。ＤＳＣ１は、既知の数種のクロック周波数のクロック信号で動作している（不図示）。例えば、固体撮像素子１４を動作する撮像素子駆動クロック信号の周波数をＦｉｍｇ、システム制御回路５０が動作しているシステムクロック信号の周波数をＦｓｙｓとする。そして、撮像素子駆動クロック信号の周波数のＦｉｍｇとシステムクロック信号の周波数のＦｓｙｓが干渉する場合を想定する。この場合には、固体撮像素子１４から得られる映像信号に干渉する干渉ノイズ信号成分の周波数Ｆは
Ｆ＝｜Ｆｉｍｇ−Ｆｓｙｓ｜
のように算出される。
Here, the calculation of the frequency of the interference noise signal component in step S301 will be described. The DSC 1 operates with clock signals having several known clock frequencies (not shown). For example, the frequency of the imaging device driving clock signal that operates the solid-
It is calculated as follows.
また、干渉ノイズ信号成分の周波数Ｆから１水平ラインの映像信号に重畳する干渉ノイズ信号成分は、以下で表されるＨｎｏｉｓｅ画素毎に繰り返されることが分かる。 Further, it can be seen that the interference noise signal component superimposed on the video signal of one horizontal line from the frequency F of the interference noise signal component is repeated for each H noise pixel expressed below.
Ｈｎｏｉｓｅ＝Ｆｉｍｇ／Ｆ
ここで、固体撮像素子１４の水平同期信号のクロック数を、Ｈｃｌｋとする。この場合、Ｈｎｏｉｓｅ画素毎に干渉ノイズ信号成分が繰り返されるから、垂直方向に繰り返される干渉ノイズ信号成分の垂直周期Ｖｎｏｉｓｅは、以下のように表すことが出来る。
H noise = F img / F
Here, the number of clocks of the horizontal synchronizing signal of the solid-
Ｖｎｏｉｓｅ＝ｎ×Ｈｎｏｉｓｅ／Ｈｃｌｋ、
ただし、ｎは最小の整数である。
V noise = n × H noise / H clk ,
However, n is the smallest integer.
このように、干渉ノイズ信号成分の垂直周期Ｖｎｏｉｓｅの演算のステップＳ３０１の後、システム制御回路５０のシステムクロック信号の周波数Ｆｓｙｓの周波数に変化がないとする。さらに固体撮像素子１４及び周囲の温度の変化が一定値以下であり、かつ増幅回路１５のゲインが一定であるとステップＳ３０２で判断されたとする。以上の条件を満たす場合、システム制御回路５０は、ステップＳ３０３に進み本露光を行う。
As described above, it is assumed that the frequency F sys of the system clock signal of the
しかし、システム制御回路５０のシステムクロック信号の周波数Ｆｓｙｓの周波数に変化があった場合、周囲の温度の変化が一定値以上あった場合、又は増幅回路１５のゲインが変化した場合もありうる。この場合には、システム制御回路５０の動作はステップＳ３０１に戻り、再度干渉ノイズ信号成分の垂直周期Ｖｎｏｉｓｅの演算をし直すこととなる。この条件を満たさないと、ノイズキャンセル処理が正しく行われないので、この条件を満足するまで繰り返される。
However, there may be a case where there is a change in the frequency F sys of the system clock signal of the
図６は、固体撮像素子１４から出力される映像信号に重畳された干渉ノイズ信号成分のノイズパターンと、繰り返して発生する干渉ノイズ信号成分の干渉ノイズ信号成分の周期の関係を示す。例えば、固体撮像素子１４の撮像素子駆動クロック信号の周波数と干渉ノイズ信号成分の周波数との関係から、水平方向に５画素毎の干渉ノイズ信号成分が重畳する場合を検討する。この場合には、図５のステップＳ３０３における本露光により読み出される映像信号は、図６に示すノイズパターンとなる。この場合、水平同期信号の１水平ラインのクロック数から、繰り返えされる干渉ノイズ信号成分の周期は５水平ライン数毎となる。
FIG. 6 shows the relationship between the noise pattern of the interference noise signal component superimposed on the video signal output from the solid-
そしてステップＳ３０４に進み、５水平ライン数毎の繰り返し周期Ａ、Ｂ、Ｃ、、、、で画像データ、即ち干渉ノイズ信号成分を、システム制御回路５０に設定された積分回路９４で積分することで、積分データ（Ｘ１）を抽出する。この場合、水平ライン数の決定は、たとえばシステム制御回路５０に設定された、水平ライン数決定回路９８で実行されることになる。
Then, the process proceeds to step S304, where the image data, that is, the interference noise signal component is integrated by the
以上説明するように、積分回路９４で積分することで、ランダムノイズ成分をキャンセルすることが出来る。干渉ノイズ信号成分であるこの積分データ（Ｘ１）を抽出するために用いる固体撮像素子１４の特定の画素領域は、有効画素が読み出されたあとの有効画素領域ではないダミー画素領域を用いる。或いは水平ライン数が確保できる場合は、画面の上部又は下部に位置して設けられる垂直方向の遮光領域（光学的黒の領域）を用いる。かくして積分回路９４で得られた積分データ（Ｘ１）はメモリ回路３０に記憶される。
As described above, the random noise component can be canceled by integrating with the
次のノイズキャンセル動作においては、まず、ステップＳ３０５で、ステップＳ３０３の本露光で読み出された有効画素領域の有効な画像データ（Ｘ２）とメモリ回路３０から読み出される積分データ（Ｘ１）との位相合わせを行う。
In the next noise canceling operation, first, in step S305, the phase between the effective image data (X2) in the effective pixel area read in the main exposure in step S303 and the integration data (X1) read out from the
位相合わせ後にステップＳ３０６に進み、システム制御回路５０は、メモリ回路３０に記憶した積分データ（Ｘ１）を読み出す。そして、ステップＳ３０３の本露光で読み出された有効画素領域の有効な画像データ（Ｘ２）から、システム制御回路５０に設定された減算回路９６で減算し、干渉ノイズ信号成分のキャンセルを行う。すなわち、本露光で読み出された有効画素領域の画像データ（Ｘ２）にも、同じ干渉ノイズ信号成分であるこの積分信号（Ｘ１）が含まれる。従って、上記のように位相を合わせて減算回路９６で減算することで、有効画素領域の画像データ（Ｘ２）から、干渉ノイズ信号成分であるこの積分信号（Ｘ１）をキャンセルすることが出来る。
After phase alignment, the process proceeds to step S306, where the
ここで、ステップＳ３０６での減算を減算回路９６で行う場合は、干渉ノイズ信号成分である積分信号（Ｘ１）と有効画素領域の画像データ（Ｘ２）に含まれる干渉ノイズ信号成分の位相を合わせる必要がある。このため、ステップＳ３０５で、垂直同期信号を基準とした水平ライン数と、干渉ノイズ信号成分の垂直周期Ｖｎｏｉｓｅとの関係から位相合わせを行う。
Here, when the subtraction in step S306 is performed by the
図７を用いて、ステップＳ３０６での減算を減算回路９６で行う場合のノイズ信号成分の位相合わせの手法を説明する。すなわち、ステップＳ３０５は、以下に従って実行される。まず、垂直同期信号の立下りをＴ０＝０とし、有効画素領域の開始の水平ライン位置をＴ１、ダミー画素領域の開始の水平ライン位置をＴ２とする（Ｔ０、Ｔ１、Ｔ２は水平ライン数を表す）。システム制御回路５０は、ダミー画素領域の開始の水平ライン位置Ｔ２から干渉ノイズ信号成分の垂直周期Ｖｎｏｉｓｅ毎に、積分回路９４で積分を開始し、干渉ノイズ信号成分である積分信号（Ｘ１）を得る。
A method for phase matching of noise signal components when the subtraction in step S306 is performed by the
干渉ノイズ信号成分の垂直周期Ｖｎｏｉｓｅから、ダミー画素領域の開始の水平ライン位置Ｔ２とノイズ信号成分の位相が同位相になる有効画素領域の水平ラインＴｘは、
Ｔｘ＝Ｔ２−Ｖｎｏｉｓｅ×ｎ、ただしｎは整数、
より求められる。そして、ステップＳ３０５において、システム制御回路５０は、Ｔｘ＜Ｔ１となる最小のｎを求め、ノイズ信号成分の位相の一致した水平ラインＴｘから積分信号（Ｘ１）の減算を減算回路９６で開始する。こうして、有効画素領域の画像データからノイズ信号成分の除去を行い、ノイズキャンセル処理を完了する。
From the vertical period V noise of the interference noise signal component, the horizontal line Tx of the effective pixel region in which the phase of the noise signal component is in phase with the horizontal line position T2 at the start of the dummy pixel region is
Tx = T2-V noise × n, where n is an integer,
More demanded. In step S305, the
しかし、ステップＳ３０２から、ステップＳ３０６での減算動作の完了までに、いかの何れかが起きると正しくノイズキャンセル処理が行われない。つまり、システム制御回路５０のシステムクロック信号の周波数Ｆｓｙｓの周波数が変化したり、固体撮像素子１４及び周囲の温度が一定値以上に変化したり、増幅回路１５のゲインが変化する場合は、正しい処理が行われない。したがって、ステップＳ３０７でこれらを監視し、変化がなければ処理を終了し、変化があれば、正しくノイズキャンセル処理が行われないものとして、処理をやり直す。したがって、その場合には、ステップＳ３０１に戻る。
However, the noise canceling process is not performed correctly if any of the events occurs from step S302 to the completion of the subtraction operation in step S306. That is, it is correct if the frequency F sys of the system clock signal of the
上記では、干渉ノイズ信号成分の垂直周期Ｖｎｏｉｓｅを求めるのに、撮像素子の駆動クロック信号の周波数Ｆｉｍｇとシステムクロック信号の周波数Ｆｓｙｓの関係を用いた。 In the above description, the relationship between the frequency F img of the drive clock signal of the image sensor and the frequency F sys of the system clock signal is used to obtain the vertical period V noise of the interference noise signal component.
しかしながら、別の方法として、ステップＳ３０３の本露光で得られる画像データの垂直方向の上部又は下部に位置する遮光される領域（光学的黒の領域）の画像データを用いてもよい。この場合、ＦＦＴ（Fast Fourier Transform）解析を行った結果から周波数スペクトル成分がもっとも大きい周波数を干渉するノイズ信号成分の周波数としてノイズ信号成分のキャンセルを行うことになる。また、本実施形態では、システム制御回路５０において干渉するノイズ信号成分の周波数の演算を行ったが、あらかじめ干渉するノイズ信号成分の周波数を回路設計する段階で演算し、繰り返し周波数を設定しても良い。
However, as another method, image data of a light-shielded region (optical black region) located at the upper or lower portion in the vertical direction of the image data obtained by the main exposure in step S303 may be used. In this case, the noise signal component is canceled as the frequency of the noise signal component that interferes with the frequency having the largest frequency spectrum component based on the result of FFT (Fast Fourier Transform) analysis. In the present embodiment, the frequency of the noise signal component that interferes is calculated in the
Claims (10)
前記撮像素子の前記有効画素領域ではない領域から出力される画像データを積分する積分手段と、
前記積分手段で積分して得られた積分データを記憶する記憶手段と、
前記撮像素子の前記有効画素領域から出力される画像データから、前記記憶手段に記憶された前記積分データを減算する減算手段と、を有し、
前記積分手段は、前記干渉ノイズ信号成分の周期に従って決定されたライン数だけ対応する画素ラインがずれた複数の画像データを積分し、
前記減算手段は、前記撮像素子の前記有効画素領域から出力される画像データに含まれる前記干渉ノイズ信号成分の位相と前記積分データに含まれる前記干渉ノイズ信号成分の位相とを合わせて前記減算を実行する、ことを特徴とするノイズ除去装置。 A noise removing device that removes an interference noise signal component superimposed on image data output from an effective pixel region of an imaging device having a plurality of pixel lines,
An integrating means for integrating the image data output from the effective non-pixel region region of the imaging element,
Storage means for storing integration data obtained by integration by the integration means;
From the image data output from the effective pixel region before Symbol IMAGING element has, subtracting means for subtracting the integration data stored in the storage means,
The integrating means integrates a plurality of image data in which corresponding pixel lines are shifted by the number of lines determined according to the period of the interference noise signal component,
Said subtracting means, said combined before Symbol of the interference noise component, wherein included in the integration data and the interfering noise signal component of the phase included in the image data outputted from the effective pixel region of an imaging element phase A noise removing device that performs subtraction.
前記撮像素子の前記有効画素領域ではない領域から出力される画像データを積分する積分工程と、
前記積分工程で積分して得られた積分データを記憶する記憶工程と、
前記撮像素子の前記有効画素領域から出力される画像データから、前記記憶工程で記憶された前記積分データを減算する減算工程と、を有し、
前記積分工程は、前記干渉ノイズ信号成分の周期に従って決定されたライン数だけ対応する画素ラインがずれた複数の画像データを積分し、
前記減算工程は、前記撮像素子の前記有効画素領域から出力される画像データに含まれる前記干渉ノイズ信号成分の位相と前記積分データに含まれる前記干渉ノイズ信号成分の位相とを合わせて前記減算を実行する、ことを特徴とするノイズ除去方法。 A noise removal method for removing an interference noise signal component superimposed on image data output from an effective pixel region of an image sensor having a plurality of pixel lines ,
An integrating step of integrating the image data output from the effective non-pixel region region of the imaging element,
A storage step of storing the integrated data obtained by integrating the previous SL integration process,
From the image data output from the effective pixel area of the shooting image element, anda subtraction step for subtracting the integration data stored in the storing step,
The integration step integrates a plurality of image data in which corresponding pixel lines are shifted by the number of lines determined according to the period of the interference noise signal component,
The subtraction process, the combined before Symbol of the interference noise component, wherein included in the integration data and the interfering noise signal component of the phase included in the image data outputted from the effective pixel region of an imaging element phase A noise removal method characterized by performing subtraction.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007121163A JP5072423B2 (en) | 2007-05-01 | 2007-05-01 | Noise removing apparatus and noise removing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007121163A JP5072423B2 (en) | 2007-05-01 | 2007-05-01 | Noise removing apparatus and noise removing method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2008278332A JP2008278332A (en) | 2008-11-13 |
| JP2008278332A5 JP2008278332A5 (en) | 2010-06-24 |
| JP5072423B2 true JP5072423B2 (en) | 2012-11-14 |
Family
ID=40055727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007121163A Expired - Fee Related JP5072423B2 (en) | 2007-05-01 | 2007-05-01 | Noise removing apparatus and noise removing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5072423B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2942093B1 (en) * | 2009-02-06 | 2011-04-15 | Trixell Sas | METHOD OF CORRECTING IMAGES OBTAINED BY A MATRIX OF PHOTOSENSITIVE POINTS |
| WO2023188765A1 (en) * | 2022-03-30 | 2023-10-05 | 株式会社日立ハイテク | Data processing system and method for automatic analyzer |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002152600A (en) * | 2000-11-13 | 2002-05-24 | Sony Corp | Electronic camera apparatus and multichannel clamp circuit |
| JP2002344812A (en) * | 2001-05-16 | 2002-11-29 | Matsushita Electric Ind Co Ltd | Video signal processor |
| JP2005130322A (en) * | 2003-10-27 | 2005-05-19 | Matsushita Electric Ind Co Ltd | Image sensor noise eliminating device |
-
2007
- 2007-05-01 JP JP2007121163A patent/JP5072423B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008278332A (en) | 2008-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5173453B2 (en) | Imaging device and display control method of imaging device | |
| US8427430B2 (en) | Apparatus for and method of controlling digital image processing apparatus | |
| JP5276308B2 (en) | Imaging apparatus and control method thereof | |
| US20060092297A1 (en) | Method and apparatus for removing hot pixels in a digital camera | |
| JP2006287803A (en) | Imaging device | |
| JP2010193007A (en) | Imaging apparatus | |
| JP4810162B2 (en) | Imaging device, control method for solid-state imaging device, and computer program | |
| JP2005167697A (en) | Electronic camera having red-eye correction function | |
| JP2006054698A (en) | Imaging apparatus having camera shake correction function | |
| JP5072423B2 (en) | Noise removing apparatus and noise removing method | |
| US20120070124A1 (en) | Image capturing apparatus, image capturing method, and computer readable medium | |
| JP2006042258A (en) | Imaging apparatus and its control method | |
| JP6274780B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP4717645B2 (en) | Imaging apparatus and control method thereof | |
| JP2005033454A (en) | Photographing apparatus | |
| JP4948011B2 (en) | Imaging apparatus, control method therefor, computer program, and storage medium | |
| JP2009296143A (en) | Imaging device | |
| JP2006042028A (en) | Image processor, and control method, control program and storage medium for image processor | |
| JP2006039203A (en) | Imaging apparatus, and its control method | |
| JP4667251B2 (en) | Imaging apparatus and white balance control method | |
| JP2002314872A (en) | Imaging device and imaging method | |
| JP2008252683A (en) | Image sensing apparatus and control method therefor | |
| JP2006203665A (en) | Imaging device and method therefor, and recording medium and program | |
| JP2007267000A (en) | Imaging apparatus, and control method of imaging apparatus | |
| JP2006211392A (en) | Imaging apparatus and its control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100506 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100506 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120327 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120723 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120821 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5072423 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150831 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |