JP2008042240A

JP2008042240A - Imaging apparatus

Info

Publication number: JP2008042240A
Application number: JP2006209756A
Authority: JP
Inventors: 和紀 ▲高▼山; Kazunori Takayama
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-08-01
Filing date: 2006-08-01
Publication date: 2008-02-21
Anticipated expiration: 2026-08-01
Also published as: JP4804259B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an apparatus capable of reflecting a change in a state of a pattern noise having a fixed vertical streak on a corrected value in a short time and always executing highly accurate correction of a fixed pattern noise, even if the status changes in pattern noise having a fixed vertical streak. <P>SOLUTION: An imaging apparatus on a two-dimensional image sensor causes a recursive filter to suppress a random noise on an image signal, based on a fixed value to obtain a corrected value of the pattern noise having a fixed vertical streak. In the imaging apparatus, the coefficient k of the recursive filter is set small when the state of the pattern noise having the fixed vertical streak change, thereby reflecting its change to the corrected value in a short time. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、撮像装置に関し、特に二次元イメージセンサの固定パターンノイズを動画撮像中にリアルタイムに補正する機能に関するものである。 The present invention relates to an imaging apparatus, and more particularly to a function for correcting fixed pattern noise of a two-dimensional image sensor in real time during moving image imaging.

昨今の二次元イメージセンサの分野においては多画素化、高速撮像の需要がさらに拡大し、高速な信号処理が要求されるようになってきており、このため画素から出力されたアナログ信号を処理する回路の高速化が課題となっている。 In the field of recent two-dimensional image sensors, the demand for multi-pixels and high-speed imaging has further expanded, and high-speed signal processing has been demanded. For this reason, analog signals output from pixels are processed. Speeding up the circuit is an issue.

そこで通常、画素からの信号を列ごとに同時に読み出したり、またその後の水平転送も１本に集約せず、出力段としてアンプを複数有するなど、いろいろな並列読み出し処理技術によって多画素、高速撮像に対応している。 Therefore, usually, signals from pixels are read simultaneously for each column, and subsequent horizontal transfer is not consolidated into one, and multiple amplifiers are provided as output stages. It corresponds.

しかしながら、これら並列処理回路はレイアウト設計上では同じように設計しても、製造工程上におけるばらつきなどが原因で、それら各々の特性にばらつきが生じる。この特性のばらつきは、出力画像においてはスジ状の固定パターンノイズとして見えてくる。 However, even though these parallel processing circuits are designed in the same way in layout design, their characteristics vary due to variations in the manufacturing process. This variation in characteristics appears as streaky fixed pattern noise in the output image.

固定パターンノイズはそのノイズパターンを記憶することができれば、補正することが可能である。そこで、後段にラインメモリを用いてノイズパターンを記憶し、デジタル信号処理にて、その補正を行う方法が用いられる。 The fixed pattern noise can be corrected if the noise pattern can be stored. Therefore, a method of storing a noise pattern using a line memory in the subsequent stage and correcting the noise pattern by digital signal processing is used.

上記のように各画素信号は、列ごとに並列に読み出しを行うため、列読み出し回路の特性ばらつき起因によって出力信号がばらついてしまう。この列ごとの入出力特性のばらつきを要因分離すると、おもにオフセット性、ゲイン性、非線形性の３つに大別できるが、出力画像で一番目につきやすく、またデジタル補正も容易なオフセット性のばらつきを抑え込むことが第一に要求される。 As described above, since each pixel signal is read out in parallel for each column, the output signal varies due to variations in characteristics of the column readout circuit. If the variation in input / output characteristics for each column is separated into factors, it can be broadly divided into three categories: offset, gain, and non-linearity. First of all, it is required to suppress this.

オフセット性のばらつきをデジタル値として認識させる方法は、一度各並列回路すべてに一定同レベルの入力信号を与える期間を、有効画素を処理する期間とは別に設け、その出力のばらつきを記憶すればよい。そして、有効画素の撮像画像信号から、その記憶したばらつき量を減算すればオフセット性の縦スジ固定パターンノイズが補正できる。 In the method of recognizing the variation in offset as a digital value, it is only necessary to provide a period in which an input signal having a constant and same level is once applied to all the parallel circuits separately from the period for processing effective pixels, and to store the variation in output. . The offset vertical streak fixed pattern noise can be corrected by subtracting the stored variation amount from the captured image signal of the effective pixel.

ただし通常、出力信号には、熱雑音や１／ｆ雑音などといったアナログ回路特有のランダムノイズがのっているため、それを抑圧するフィルタリング処理も不可欠となる。 However, since the output signal usually contains random noise peculiar to an analog circuit such as thermal noise and 1 / f noise, filtering processing for suppressing the random noise is indispensable.

そこで、特許文献１では、加算平均法を用いてランダムノイズを抑圧し、また、補正値の精度を向上させるために、複数フレームにわたって加算平均したものを補正値としている。
特開２００５−１６７９１８ Therefore, in Patent Document 1, a random value is suppressed using an addition averaging method, and an addition average over a plurality of frames is used as a correction value in order to improve the accuracy of the correction value.
JP 2005-167918 A

ところが、複数フレームにわたって補正値を求める場合、システムの状態変化などによって縦スジ固定パターンノイズの状態が変わった時に、その変化を補正値に反映させるためにも複数フレームが必要となる。その間は、縦スジ固定パターンノイズの補正効果が見られないという問題があった。 However, when the correction value is obtained over a plurality of frames, when the state of the vertical streak fixed pattern noise changes due to a change in the state of the system or the like, a plurality of frames are required to reflect the change in the correction value. During that time, there was a problem that the effect of correcting the vertical streak fixed pattern noise was not seen.

本発明は、上記問題に鑑み、縦スジ固定パターンノイズの状態が変わった場合でも、その変化を短時間で補正値に反映させ、常に精度良く固定パターンノイズの補正が行える装置を提供しようとするものである。 In view of the above problems, the present invention aims to provide an apparatus that can always correct fixed pattern noise with high accuracy by reflecting the change in a correction value in a short time even when the state of vertical streak fixed pattern noise changes. Is.

複数の光電変換部を有するとともに、複数の出力部を有する撮像部を有する撮像装置であって、遮光された光電変換部の信号を処理する巡回型フィルタと、前記複数の出力部された、遮光されていない光電変換部からの信号を、前記巡回型フィルタの出力に基づいて補正する補正部と、前記巡回型フィルタの周波数特性を前記撮像装置の状態に応じて変化させる制御部とを有する撮像装置を提供する。 An image pickup apparatus having an image pickup unit having a plurality of photoelectric conversion units and a plurality of output units, wherein a cyclic filter that processes a signal of the light-shielded photoelectric conversion unit, and the light output of the plurality of output units An imaging device comprising: a correction unit that corrects a signal from an unconverted photoelectric conversion unit based on an output of the cyclic filter; and a control unit that changes a frequency characteristic of the cyclic filter according to a state of the imaging device. Providing equipment.

以上説明したように、本発明によれば、撮像装置の状態に応じて縦スジ固定パターンノイズの状態が変わった場合に、その変化を短時間で補正値に反映させ、常に精度良く補正を行うことができる。 As described above, according to the present invention, when the state of the vertical streak fixed pattern noise changes according to the state of the imaging device, the change is reflected in the correction value in a short time, and correction is always performed with high accuracy. be able to.

以下、本発明の好適な実施例について、添付図面を参照して詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

図１乃至図４を参照して、第１の実施例について説明する。 The first embodiment will be described with reference to FIGS.

図１に、第１の実施例の撮像装置のブロック図を示す。 FIG. 1 shows a block diagram of the image pickup apparatus of the first embodiment.

図１において、１は撮像素子、２は信号増幅回路、３はＡ／Ｄ変換器である。４は撮像素子１、信号増幅回路２、Ａ／Ｄ変換器３の駆動と現在読み出している画素のアドレスと、その画素が遮光された領域か有効画素領域かを示す信号を出力する駆動回路である。６は縦スジ固定パターンノイズを補正する補正回路、７はカメラ信号処理回路、９は撮像装置から取り外し可能な画像記録媒体である。８はカメラ信号処理された画像信号を記録媒体９に記録する記録処理回路、１０は撮像装置全体を制御するシステム制御部である。５はシステム制御部１０と撮像装置内の各ブロックとの通信を行うバス、１１はシステム制御部１０で実行される制御方法を記載したプログラムである。プログラムを実行する際に使用されるパラメータやテーブル等の制御データを記憶しておく不揮発性メモリ（ＲＯＭ）である。１２は不揮発性メモリ１１に記憶されたプログラムおよび制御データを転送して記憶しておき、システム制御部１０が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）となっている。 In FIG. 1, 1 is an image sensor, 2 is a signal amplifier circuit, and 3 is an A / D converter. Reference numeral 4 denotes a driving circuit for driving the imaging device 1, the signal amplifying circuit 2, and the A / D converter 3 and outputting a signal indicating the address of the pixel currently read out and whether the pixel is a light-shielded region or an effective pixel region. is there. Reference numeral 6 denotes a correction circuit that corrects vertical streak fixed pattern noise, reference numeral 7 denotes a camera signal processing circuit, and reference numeral 9 denotes an image recording medium that can be detached from the imaging apparatus. Reference numeral 8 denotes a recording processing circuit that records an image signal subjected to camera signal processing on the recording medium 9, and 10 denotes a system control unit that controls the entire imaging apparatus. Reference numeral 5 denotes a bus for performing communication between the system control unit 10 and each block in the imaging apparatus, and 11 is a program describing a control method executed by the system control unit 10. It is a non-volatile memory (ROM) that stores control data such as parameters and tables used when executing the program. Reference numeral 12 denotes a volatile memory (RAM) used when the system control unit 10 controls the imaging apparatus by transferring and storing the program and control data stored in the nonvolatile memory 11.

以下、上述のように構成された撮像装置での撮影動作について説明する。撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１０の動作開始時において、不揮発性メモリ１１から必要なプログラム、制御データおよび補正データを揮発性メモリ１２に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部１０が撮像装置を制御する際に使用する。それとともに、必要に応じて、追加のプログラムやデータを不揮発性メモリ１１から揮発性メモリ１２に転送したりする。また、システム制御部１０が直接不揮発性メモリ１１内のデータを読み出して使用したりするものとする。 Hereinafter, a photographing operation in the imaging apparatus configured as described above will be described. Prior to the photographing operation, necessary programs, control data, and correction data are transferred from the nonvolatile memory 11 to the volatile memory 12 and stored at the start of the operation of the system control unit 10 such as when the imaging apparatus is turned on. Shall. These programs and data are used when the system control unit 10 controls the imaging apparatus. At the same time, additional programs and data are transferred from the nonvolatile memory 11 to the volatile memory 12 as necessary. In addition, the system control unit 10 directly reads and uses data in the nonvolatile memory 11.

まず、撮像素子１は、図示しないレンズ系によって被写体からの光が入射され、システム制御部１０により制御される駆動パルスで駆動し、被写体光を光電変換により電気信号に変換する。撮像素子１で変換された電気信号はラスタスキャン状に読み出され、信号増幅回路２において、アナログゲイン処理により適当な振幅とされる。信号増幅回路２によって読み出された画像信号は、Ａ／Ｄ変換器３によりデジタル画像信号に変換される。Ａ／Ｄ変換器により変換されたデジタル画像信号は、カメラ信号処理回路７により輝度色差の画像信号に変換され、また、圧縮符号化される。圧縮符号化された画像信号は、記録処理回路８において記録媒体９に適したデータ（例えば階層構造を持つファイルシステムデータ）に変換されて記録媒体９に記録する。システム制御部１０は、バス５を介して、駆動回路４、補正回路６、カメラ信号処理回路７、記録処理回路８を制御する。各信号処理回路に必要な制御パラメータや、回路を制御するプログラム等の情報は、システム制御部１０に接続された不揮発性メモリ１１から読み出される。 First, the image pickup device 1 receives light from a subject through a lens system (not shown), is driven by a drive pulse controlled by the system control unit 10, and converts the subject light into an electrical signal by photoelectric conversion. The electric signal converted by the image pickup device 1 is read out in a raster scan form, and the signal amplification circuit 2 makes an appropriate amplitude by analog gain processing. The image signal read by the signal amplification circuit 2 is converted into a digital image signal by the A / D converter 3. The digital image signal converted by the A / D converter is converted into an image signal of luminance color difference by the camera signal processing circuit 7 and is compression-coded. The compression-coded image signal is converted into data suitable for the recording medium 9 (for example, file system data having a hierarchical structure) by the recording processing circuit 8 and recorded on the recording medium 9. The system control unit 10 controls the drive circuit 4, the correction circuit 6, the camera signal processing circuit 7, and the recording processing circuit 8 via the bus 5. Information such as control parameters necessary for each signal processing circuit and a program for controlling the circuit is read from the nonvolatile memory 11 connected to the system control unit 10.

次に、図２に補正回路６の構成を示す。図２において引算器６０１は、Ａ／Ｄ変換器３から出力されるデジタル画像信号から、遮光された画素の基準レベルであるＯＢ−Ｌｅｖｅｌを引き算し、正規の画素値を出力する。また、引算器６０２は、引算器６０１から出力された正規の画素値とＳＲＡＭ６０５に記憶されている補正値との差分を出力する。６０３は乗算器であり、システム制御部１０により設定された係数ｋと引算器６０２の出力を乗算して出力する。加算器６０４は乗算器６０３の出力とＳＲＡＭ６０５に記憶されている補正値を加算し、新しい縦スジ固定パターンノイズの補正値を算出する。ＳＲＡＭ６０５は、加算器６０４の出力を駆動回路４からの出力であるその画素が遮光された領域か有効画素領域かを示す信号ＷＥＮが、遮光された領域を示していたならばその時のアドレス信号ＡＤＲに従い記憶する。 Next, FIG. 2 shows the configuration of the correction circuit 6. In FIG. 2, a subtractor 601 subtracts OB-Level, which is a reference level of a shielded pixel, from the digital image signal output from the A / D converter 3, and outputs a normal pixel value. The subtractor 602 outputs a difference between the normal pixel value output from the subtractor 601 and the correction value stored in the SRAM 605. A multiplier 603 multiplies the coefficient k set by the system control unit 10 and the output of the subtractor 602 and outputs the result. The adder 604 adds the output of the multiplier 603 and the correction value stored in the SRAM 605 to calculate a new vertical streak fixed pattern noise correction value. The SRAM 605 outputs the address signal ADR at that time if the signal WEN indicating whether the pixel is a light-shielded region or an effective pixel region, which is an output from the drive circuit 4, is an output from the adder 604 indicates a light-shielded region. To remember.

ここで、引算器６０２、乗算器６０３、加算器６０４、ＳＲＡＭ６０５は以下に示す演算によって、いわゆる巡回型ローパスフィルタを形成している。
新補正値＝正規の画素値×ｋ＋古補正値×（１−ｋ）（数１） Here, the subtractor 602, the multiplier 603, the adder 604, and the SRAM 605 form a so-called cyclic low-pass filter by the following calculation.
New correction value = regular pixel value × k + old correction value × (1−k) (Equation 1)

ここで、０＜ｋ≦１であり、ｋの値が大きくなると正規の画素値の割合が増えるため、現フレームの縦スジ固定パターンノイズの値が新しく生成される補正値に大きく反映されることとなる。ｋの値が小さくなると今までの補正値の割合が増えるため、ランダムノイズが抑圧された補正値が新しく生成される補正値に大きく反映されることになる。 Here, since 0 <k ≦ 1, and the ratio of normal pixel values increases as the value of k increases, the value of the vertical stripe fixed pattern noise of the current frame is greatly reflected in the newly generated correction value. It becomes. When the value of k is decreased, the ratio of the correction value so far is increased, so that the correction value in which random noise is suppressed is largely reflected in the newly generated correction value.

引算器６０６は、引算器６０１からの正規の画素値とＳＲＡＭ６０５に記憶されている補正値を引算することで、縦スジ固定パターンノイズの補正を行う。加算器６０７は、補正された画像信号に、遮光された画素の基準レベルであるＯＢ−Ｌｅｖｅｌを加算し、カメラ信号処理回路７へ出力する。 The subtractor 606 corrects the vertical streak fixed pattern noise by subtracting the normal pixel value from the subtractor 601 and the correction value stored in the SRAM 605. The adder 607 adds OB-Level, which is the reference level of the light-shielded pixel, to the corrected image signal and outputs it to the camera signal processing circuit 7.

次に、図３を参照して補正回路６の動作と、図４を参照して本発明の特徴である係数ｋの制御動作について説明する。 Next, the operation of the correction circuit 6 with reference to FIG. 3 and the control operation of the coefficient k, which is a feature of the present invention, will be described with reference to FIG.

Ｓ１０１においてシステムに電源が投入される。次に、Ｓ１０２において本発明の特徴である係数ｋの制御動作が行われる。電源投入直後は、現在の縦スジ固定パターンノイズの量とＳＲＡＭ６０５の補正値が大きく異なるため、図４において、係数ｋの値をｋ０のように大きく設定し、現在の縦スジ固定パターンノイズ量が大きく反映された補正値が生成されるようにする。続いて、Ｓ１０３において画素データが読み出され、Ｓ１０４において画素データからＯＢ−Ｌｅｖｅｌが引き算される。次にＳ１０５において現在の画素領域が遮光領域かどうか判断される。ここで、現在の画素領域が遮光領域であったならばＳ１０９において補正値が算出され、Ｓ１１０においてＳＲＡＭ６０５に補正が記憶される。また、Ｓ１０５において現在の画素領域が遮光領域ではなく有効画素領域であれば補正を行うため、Ｓ１０６へ進む。Ｓ１０６において、記憶されている補正値をＳＲＡＭ６０５から読み出し、Ｓ１０７において正規の画素値から補正値を引き算し、補正を行う。Ｓ１０８ではＯＢ−Ｌｅｖｅｌを補正された値に加算し、画像信号を生成する。Ｓ１１１では、１フレーム分の処理が完了したかどうかを判断し、完了していなければＳ１０３に戻る。また、完了した場合は、次のフレームに備えてＳ１０２へ戻る。この場合のＳ１０２では、時間が経つにつれ、係数ｋをｋ１、ｋ２、ｋ３と値を小さく設定し、ランダムノイズがより抑圧された補正値が生成されるようにする。 In S101, the system is turned on. Next, in S102, the control operation for the coefficient k, which is a feature of the present invention, is performed. Immediately after the power is turned on, the current vertical streak fixed pattern noise amount and the correction value of the SRAM 605 are greatly different. Therefore, in FIG. 4, the value of the coefficient k is set to a large value such as k0, and the current vertical streak fixed pattern noise amount is A correction value that is largely reflected is generated. Subsequently, pixel data is read in S103, and OB-Level is subtracted from the pixel data in S104. Next, in S105, it is determined whether or not the current pixel area is a light shielding area. If the current pixel area is a light shielding area, a correction value is calculated in S109, and the correction is stored in the SRAM 605 in S110. In S105, if the current pixel area is not a light-shielding area but an effective pixel area, the process proceeds to S106 for correction. In S106, the stored correction value is read from the SRAM 605, and in S107, the correction value is subtracted from the regular pixel value to perform correction. In S108, OB-Level is added to the corrected value to generate an image signal. In S111, it is determined whether or not the processing for one frame has been completed. If it has not been completed, the process returns to S103. If completed, the process returns to S102 in preparation for the next frame. In S102 in this case, as the time passes, the coefficient k is set to k1, k2, and k3 so that the correction value in which random noise is further suppressed is generated.

なお、本例では、縦スジ固定パターンノイズの補正値を求めるために、遮光された画素領域の信号を用いたが、１フレーム期間内の固定値に基づく領域の信号であれば遮光されていなくても良い。 In this example, in order to obtain the correction value of the vertical streak fixed pattern noise, the signal of the shielded pixel area is used. However, if the signal is an area based on the fixed value within one frame period, the signal is not shielded. May be.

このように、係数ｋを制御することによって、縦スジ固定パターンノイズが変化した直後は、係数ｋの値を大きく設定することで、縦スジ固定パターンノイズの変化に応じた補正値を用いて補正を行うことができる。また、時間が経つにつれ、係数ｋの値を小さく設定することによってランダムノイズをより抑圧し、より精度の高い補正値を用いて補正することができるのである。 In this way, by controlling the coefficient k, immediately after the vertical streak fixed pattern noise changes, the coefficient k is set to a large value, and correction is performed using a correction value corresponding to the change in the vertical streak fixed pattern noise. It can be performed. Further, as time passes, random noise can be further suppressed by setting the value of the coefficient k to be smaller, and correction can be performed using a correction value with higher accuracy.

次に、図５乃至図６を参照して、第２の実施例について説明する。 Next, a second embodiment will be described with reference to FIGS.

この第２の実施例は、第１の実施例と略同様であって、同一部材には同一番号を付しており、その部分の説明は省略する。異なっているのは、縦スジ固定パターンノイズが変化するシステムの状態である。 The second embodiment is substantially the same as the first embodiment, and the same members are denoted by the same reference numerals, and the description thereof is omitted. What is different is the state of the system in which the vertical streak fixed pattern noise changes.

図５を参照して補正回路６の動作と、図６を参照して本発明の特徴である係数ｋの制御動作について説明する。 With reference to FIG. 5, the operation of the correction circuit 6 and the control operation of the coefficient k, which is a feature of the present invention, will be described with reference to FIG.

Ｓ２０１においてアナログゲインが変更される。次に、Ｓ２０２において本発明の特徴である係数ｋの制御動作が行われる。アナログゲイン変更直後は、現在の縦スジ固定パターンノイズの量とＳＲＡＭ６０５の補正値が大きく異なるため、図６において、係数ｋの値をｋ４のように大きく設定し、現在の縦スジ固定パターンノイズ量が大きく反映された補正値が生成されるようにする。続いて、Ｓ２０３において画素データが読み出され、Ｓ２０４において画素データからＯＢ−Ｌｅｖｅｌが引き算される。次にＳ２０５において現在の画素領域が遮光領域かどうか判断される。ここで、現在の画素領域が遮光領域であったならばＳ２０９において補正値が算出され、Ｓ２１０においてＳＲＡＭ６０５に補正が記憶される。また、Ｓ２０５において現在の画素領域が遮光領域ではなく有効画素領域であれば補正を行うため、Ｓ２０６へ進む。Ｓ２０６において、記憶されている補正値をＳＲＡＭ６０５から読み出し、Ｓ２０７において正規の画素値から補正値を引き算し、補正を行う。Ｓ２０８ではＯＢ−Ｌｅｖｅｌを補正された値に加算し、画像信号を生成する。Ｓ２１１では、１フレーム分の処理が完了したかどうかを判断し、完了していなければＳ２０３に戻る。また、完了した場合は、次のフレームに備えてＳ２０２へ戻る。この場合のＳ２０２では、時間が経つにつれ、係数ｋをｋ５、ｋ６、ｋ７と値を小さく設定し、ランダムノイズがより抑圧された補正値が生成されるようにする。 In S201, the analog gain is changed. Next, in S202, the control operation for the coefficient k, which is a feature of the present invention, is performed. Immediately after the analog gain is changed, the current vertical streak fixed pattern noise amount and the correction value of the SRAM 605 are greatly different. Therefore, in FIG. 6, the value of the coefficient k is set to a large value such as k4, and the current vertical streak fixed pattern noise amount is set. A correction value that greatly reflects is generated. Subsequently, pixel data is read in S203, and OB-Level is subtracted from the pixel data in S204. Next, in S205, it is determined whether or not the current pixel area is a light shielding area. If the current pixel area is a light shielding area, a correction value is calculated in S209, and the correction is stored in the SRAM 605 in S210. In S205, if the current pixel area is not a light-shielding area but an effective pixel area, the process proceeds to S206 for correction. In S206, the stored correction value is read from the SRAM 605, and in S207, the correction value is subtracted from the regular pixel value to perform correction. In S208, OB-Level is added to the corrected value to generate an image signal. In S211, it is determined whether or not the processing for one frame has been completed. If it has not been completed, the process returns to S203. If completed, the process returns to S202 in preparation for the next frame. In S202 in this case, the coefficient k is set to a smaller value such as k5, k6, and k7 with time so that a correction value in which random noise is further suppressed is generated.

次に、図７乃至図１０を参照して、第３の実施例について説明する。 Next, a third embodiment will be described with reference to FIGS.

この第３の実施例は、第１の実施例と略同様であって、同一部材には同一番号を付しており、その部分の説明は省略する。異なっているのは、図７、図８において補正回路６がシステム制御部１０から、直接制御を受けない構成となっていることである。また、補正回路６に加算平均回路６０８、引算器６０９、係数制御回路６１０を追加し、係数ｋを係数制御回路６１０によって制御することである。 The third embodiment is substantially the same as the first embodiment, and the same members are denoted by the same reference numerals, and description thereof is omitted. 7 and 8 is that the correction circuit 6 is not directly controlled by the system control unit 10 in FIGS. Further, an addition averaging circuit 608, a subtractor 609, and a coefficient control circuit 610 are added to the correction circuit 6, and the coefficient k is controlled by the coefficient control circuit 610.

図８において、加算平均回路６０８は１フレーム内の遮光された領域においての１行分の平均値を算出し、それを補正値としてラインメモリに記憶する機能を持つ。引算器６０９は、ＳＲＡＭ６０５に記憶された補正値と加算平均回路６０８のラインメモリに記憶された補正値を比較し、その差分値を出力する。係数制御回路６１０は、引算器６０９から出力された差分値に応じた係数ｋを設定する。 In FIG. 8, the addition averaging circuit 608 has a function of calculating an average value for one row in a light-shielded area in one frame and storing it in a line memory as a correction value. The subtractor 609 compares the correction value stored in the SRAM 605 with the correction value stored in the line memory of the addition averaging circuit 608 and outputs the difference value. The coefficient control circuit 610 sets a coefficient k corresponding to the difference value output from the subtractor 609.

次に、図９を参照して補正回路６の動作と、図１０を参照して本発明の特徴である係数ｋの制御動作について説明する。 Next, the operation of the correction circuit 6 will be described with reference to FIG. 9, and the control operation of the coefficient k, which is a feature of the present invention, will be described with reference to FIG.

まず、Ｓ３０１においてＳＲＡＭ６０５から記憶されている補正値を読み出す。次に、Ｓ３０２において加算平均回路６０８で生成された補正値を読み出す。続いて、Ｓ３０３において、ＳＲＡＭ６０５から読み出した補正値と加算平均回路６０８から読み出した補正値の差分を求める。Ｓ３０４において、本発明の特徴である係数ｋの制御動作が行われる。図１０のように、この時求めた差分が大きい場合は、縦スジの固定パターンノイズが変化したことを示しているため、係数ｋの値を大きく設定し、現在の縦スジ固定パターンノイズ量が大きく反映された補正値を生成するようにする。また、差分が小さい場合は、縦スジの固定パターンノイズが変化していないことを示しているため、係数ｋの値を小さく設定し、ランダムノイズをより抑圧された補正値が生成されるようにする。続いて、Ｓ３０５において画素データが読み出され、Ｓ３０６において画素データからＯＢ−Ｌｅｖｅｌが引き算される。次にＳ３０７において現在の画素領域が遮光領域かどうか判断される。ここで、現在の画素領域が遮光領域であったならばＳ３１１において補正値が算出され、Ｓ３１２においてＳＲＡＭ６０５に補正が記憶される。次いで、Ｓ３１３において、加算平均回路６０８において加算平均した補正値を生成する。また、Ｓ３０７において現在の画素領域が遮光領域ではなく有効画素領域であれば補正を行うため、Ｓ３０８へ進む。Ｓ３０８において、記憶されている補正値をＳＲＡＭ６０５から読み出し、Ｓ３０９において正規の画素値から補正値を引き算し、補正を行う。Ｓ３１０ではＯＢ−Ｌｅｖｅｌを補正された値に加算し、画像信号を生成する。Ｓ３１４では、１フレーム分の処理が完了したかどうかを判断し、完了していなければＳ３０５に戻る。 First, the correction value memorize | stored from SRAM605 in S301 is read. Next, the correction value generated by the averaging circuit 608 is read in S302. Subsequently, in S303, a difference between the correction value read from the SRAM 605 and the correction value read from the addition averaging circuit 608 is obtained. In S304, the control operation for the coefficient k, which is a feature of the present invention, is performed. As shown in FIG. 10, when the difference obtained at this time is large, it indicates that the fixed pattern noise of the vertical stripe has changed. Therefore, the coefficient k is set to a large value, and the current vertical stripe fixed pattern noise amount is A correction value that is largely reflected is generated. In addition, when the difference is small, it indicates that the fixed pattern noise of the vertical stripe has not changed, so that the coefficient k is set to a small value so that a correction value in which random noise is further suppressed is generated. To do. Subsequently, pixel data is read in S305, and OB-Level is subtracted from the pixel data in S306. In step S307, it is determined whether the current pixel area is a light-shielding area. If the current pixel area is a light shielding area, a correction value is calculated in S311 and the correction is stored in the SRAM 605 in S312. Next, in S313, a correction value obtained by addition averaging in the addition averaging circuit 608 is generated. In step S307, if the current pixel area is not a light-shielding area but an effective pixel area, the process proceeds to step S308 to perform correction. In S308, the stored correction value is read from the SRAM 605, and in S309, the correction value is subtracted from the regular pixel value to perform correction. In S310, OB-Level is added to the corrected value to generate an image signal. In S314, it is determined whether or not the processing for one frame has been completed. If it has not been completed, the process returns to S305.

このように、係数ｋを制御することによって、ＳＲＡＭ６０５に記憶された補正値と加算平均回路６０８のラインメモリに記憶された補正値の差分が大きい場合は、縦スジ固定パターンノイズが変化したことを示す。そのため、係数ｋの値を大きく設定することで、縦スジ固定パターンノイズの変化に応じた補正値を用いて補正を行うことができる。また、差分が小さくなれば、縦スジの固定パターンノイズが変化していないことを示している。そのため、係数ｋの値を小さく設定することによってランダムノイズをより抑圧し、より精度の高い補正値を用いて補正することができるのである。 In this way, by controlling the coefficient k, if the difference between the correction value stored in the SRAM 605 and the correction value stored in the line memory of the addition averaging circuit 608 is large, the fact that the vertical streak fixed pattern noise has changed is indicated. Show. Therefore, by setting the coefficient k to a large value, correction can be performed using a correction value corresponding to a change in vertical streak fixed pattern noise. Moreover, if the difference is small, it indicates that the fixed pattern noise of the vertical stripe has not changed. Therefore, by setting the coefficient k to a small value, random noise can be further suppressed, and correction can be performed using a correction value with higher accuracy.

次に、図１１乃至図１３を参照して、第４の実施例について説明する。 Next, a fourth embodiment will be described with reference to FIGS.

この第４の実施例は、第３の実施例と略同様であって、同一部材には同一番号を付しており、その部分の説明は省略する。異なっているのは補正回路６にセレクタ６１１が追加されていることである。 The fourth embodiment is substantially the same as the third embodiment, and the same members are denoted by the same reference numerals, and the description thereof is omitted. The difference is that a selector 611 is added to the correction circuit 6.

図１１において、セレクタ６１１は、係数制御回路６１０からのセレクト信号に従って加算平均回路６０８の補正値を用いて補正を行うか、ＳＲＡＭ６０５の補正値を用いて補正を行うか、を選択する。 In FIG. 11, the selector 611 selects whether to perform correction using the correction value of the addition averaging circuit 608 or correction using the correction value of the SRAM 605 according to the select signal from the coefficient control circuit 610.

次に、図１２を参照して補正回路６の動作と、図１３を参照して本発明の特徴である加算平均回路６０８の補正値を用いて補正を行うか、ＳＲＡＭ６０５の補正値を用いて補正を行うか、を選択する動作について説明する。 Next, referring to FIG. 12, the correction circuit 6 is operated and the correction value of the averaging circuit 608, which is a feature of the present invention is referred to, and the correction value of the SRAM 605 is used. An operation for selecting whether to perform correction will be described.

まず、Ｓ４０１においてＳＲＡＭ６０５から記憶されている補正値を読み出す。次に、Ｓ３０２において加算平均回路６０８で生成された補正値を読み出す。続いて、Ｓ３０３において、ＳＲＡＭ６０５から読み出した補正値と加算平均回路６０８から読み出した補正値の差分を求める。Ｓ４０４においては図１０に示した制御動作を行う。Ｓ４０５、Ｓ４０６、Ｓ４０７において、本発明の特徴である加算平均回路６０８の補正値を用いて補正を行うか、ＳＲＡＭ６０５の補正値を用いて補正を行うか、を選択する動作を行う。まず、Ｓ４０５においては、図１３に示すように差分値がＴｈよりも大きいかどうかの判断を行う。ここで、差分値がＴｈよりも大きければ、それは、縦スジ固定パターンノイズに変化が起こっており、ＳＲＡＭ６０８に記憶されている補正値と縦スジ固定パターンノイズの量が大きく異なっていることを示している。加算平均回路６０８は、そのフレームごとの補正値を算出しているため、加算平均回路６０８で算出した補正値のほうが補正効果が高い。そこで、差分値がＴｈよりも大きい場合には、加算平均回路６０８において算出した補正値を用いて補正を行うためにＳ４０６において、セレクト信号に０をセットする。またＳ４０５において、差分値がＴｈよりも小さいまたは同じ場合には、ランダムノイズがより抑圧されているＳＲＡＭ６０８に記憶されている補正値を用いて補正を行うために、セレクト信号に１をセットする。続いて、Ｓ４０８において画素データが読み出され、Ｓ４０９において画素データからＯＢ−Ｌｅｖｅｌが引き算される。次にＳ４１０において現在の画素領域が遮光領域かどうか判断される。ここで、現在の画素領域が遮光領域であったならばＳ４１６において補正値が算出され、Ｓ４１７においてＳＲＡＭ６０５に補正が記憶される。次いで、Ｓ４１８において、加算平均回路６０８において加算平均した補正値を生成する。また、Ｓ４１０において現在の画素領域が遮光領域ではなく有効画素領域であれば補正を行うため、Ｓ４１１へ進む。Ｓ４１１では、セレクト信号に従って、補正値を読み出す処理が行われる。セレクト信号が１であったならばＳ４１２へ進み、ＳＲＡＭ６０５から記憶された補正値を読み出し、セレクト信号が０であったならばＳ４１３へ進み、加算平均回路６０８で算出された補正値を読み出す。次いで、Ｓ４１４では読み出した補正値を用い、Ｓ４１５ではＯＢ−Ｌｅｖｅｌを補正された値に加算し、画像信号を生成する。Ｓ４１９では、１フレーム分の処理が完了したかどうかを判断し、完了していなければＳ４０８に戻る。 First, the correction value memorize | stored from SRAM605 in S401 is read. Next, the correction value generated by the averaging circuit 608 is read in S302. Subsequently, in S303, a difference between the correction value read from the SRAM 605 and the correction value read from the addition averaging circuit 608 is obtained. In S404, the control operation shown in FIG. 10 is performed. In S405, S406, and S407, an operation of selecting whether correction is performed using the correction value of the addition averaging circuit 608, which is a feature of the present invention, or correction is performed using the correction value of the SRAM 605 is performed. First, in S405, it is determined whether or not the difference value is larger than Th as shown in FIG. Here, if the difference value is larger than Th, it indicates that the vertical streak fixed pattern noise has changed, and the correction value stored in the SRAM 608 and the amount of vertical streak fixed pattern noise are greatly different. ing. Since the addition averaging circuit 608 calculates the correction value for each frame, the correction value calculated by the addition averaging circuit 608 has a higher correction effect. Accordingly, when the difference value is larger than Th, 0 is set to the select signal in S406 in order to perform correction using the correction value calculated in the addition averaging circuit 608. If the difference value is smaller than or equal to Th in S405, 1 is set to the select signal in order to perform correction using the correction value stored in the SRAM 608 in which random noise is further suppressed. Subsequently, pixel data is read in S408, and OB-Level is subtracted from the pixel data in S409. Next, in S410, it is determined whether or not the current pixel area is a light shielding area. If the current pixel area is a light-shielding area, a correction value is calculated in S416, and the correction is stored in the SRAM 605 in S417. Next, in S418, a correction value obtained by addition averaging in the addition averaging circuit 608 is generated. In step S410, if the current pixel area is not a light-shielding area but an effective pixel area, the process proceeds to step S411 in order to perform correction. In S411, a process of reading the correction value is performed according to the select signal. If the select signal is 1, the process proceeds to S412 and the correction value stored from the SRAM 605 is read. If the select signal is 0, the process proceeds to S413 and the correction value calculated by the addition averaging circuit 608 is read. Next, in S414, the read correction value is used, and in S415, OB-Level is added to the corrected value to generate an image signal. In S419, it is determined whether or not the processing for one frame has been completed. If it has not been completed, the process returns to S408.

このように、差分値に応じて加算平均回路６０８で算出した補正値を用いて補正を行うか、ＳＲＡＭ６０８に記憶されている補正値を用いて補正を行うかを切り替えることで、より精度の高い補正を行うことができるのである。 In this way, by switching between correction using the correction value calculated by the addition average circuit 608 according to the difference value or correction using the correction value stored in the SRAM 608, higher accuracy is achieved. Corrections can be made.

実施例１、実施例２の撮像装置を示すブロック図である。1 is a block diagram illustrating an imaging apparatus according to Embodiment 1 and Embodiment 2. FIG. 実施例１、実施例２の縦スジ補正回路を示すブロック図である。FIG. 3 is a block diagram illustrating a vertical stripe correction circuit according to a first embodiment and a second embodiment. 実施例１の縦スジ補正回路の動作を示すフローチャートである。3 is a flowchart illustrating an operation of a vertical stripe correction circuit according to the first exemplary embodiment. 実施例１の係数ｋの制御動作を示す図である。6 is a diagram illustrating a control operation of a coefficient k according to the first embodiment. FIG. 実施例２の縦スジ補正回路の動作を示すフローチャートである。10 is a flowchart illustrating the operation of the vertical stripe correction circuit according to the second embodiment. 実施例２の係数ｋの制御動作を示す図である。FIG. 10 is a diagram illustrating a control operation of a coefficient k according to the second embodiment. 実施例３、実施例４の撮像装置を示すブロック図である。FIG. 6 is a block diagram illustrating an imaging apparatus according to a third embodiment and a fourth embodiment. 実施例３の縦スジ補正回路を示すブロック図である。FIG. 10 is a block diagram illustrating a vertical stripe correction circuit according to a third embodiment. 実施例３の縦スジ補正回路の動作を示すフローチャートである。12 is a flowchart illustrating the operation of the vertical stripe correction circuit according to the third exemplary embodiment. 実施例３の係数ｋの制御動作を示す図である。It is a figure which shows the control operation | movement of the coefficient k of Example 3. FIG. 実施例４の縦スジ補正回路を示すブロック図である。FIG. 10 is a block diagram illustrating a vertical stripe correction circuit according to a fourth embodiment. 実施例４の縦スジ補正回路の動作を示すフローチャートである。14 is a flowchart illustrating the operation of the vertical stripe correction circuit according to the fourth embodiment. 実施例４の係数ｋの制御動作を示す図である。It is a figure which shows control operation | movement of the coefficient k of Example 4. FIG.

符号の説明Explanation of symbols

６縦スジ補正回路
６０１引算器
６０２引算器
６０３乗算器
６０４加算器
６０５ＳＲＡＭ
６０６引算器
６０７加算器
６０８加算平均回路
６０９引算器
６１０係数制御回路
６１１セレクタ 6 Vertical Line Correction Circuit 601 Subtractor 602 Subtractor 603 Multiplier 604 Adder 605 SRAM
606 Subtractor 607 Adder 608 Addition averaging circuit 609 Subtractor 610 Coefficient control circuit 611 Selector

Claims

複数の光電変換部を有するとともに、複数の出力部を有する撮像部を有する撮像装置であって、
遮光された光電変換部の信号を処理する巡回型フィルタと、
前記複数の出力部された、遮光されていない光電変換部からの信号を、前記巡回型フィルタの出力に基づいて補正する補正部と、
前記巡回型フィルタの周波数特性を前記撮像装置の状態に応じて変化させる制御部と、
を有する撮像装置。 An imaging apparatus having an imaging unit having a plurality of photoelectric conversion units and a plurality of output units,
A recursive filter for processing the light-shielded photoelectric conversion unit signal;
A correction unit that corrects signals from the plurality of output units, which are not shielded from light, based on the output of the cyclic filter;
A control unit that changes the frequency characteristics of the recursive filter according to the state of the imaging device;
An imaging apparatus having

前記撮像措置の状態は、電源投入時であることを特徴とする請求項１に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the state of the imaging measure is when power is turned on.

前記撮像装置の状態は、前記複数の出力部からの信号を増幅するアナログゲインを変えた時であることを特徴とする請求項１に記載の撮像装置。 2. The imaging apparatus according to claim 1, wherein the state of the imaging apparatus is when an analog gain for amplifying signals from the plurality of output units is changed.

前記周波数特性は、電源投入時には、より高いカットオフ周波数となるように設定し、時間が経つにつれ、前記カットオフ周波数を下げていくように設定することを特徴とする請求項２に記載の撮像装置。 3. The imaging according to claim 2, wherein the frequency characteristic is set so as to have a higher cutoff frequency when the power is turned on, and is set so as to decrease the cutoff frequency as time passes. apparatus.

前記周波数特性は、アナログゲインを変えた直後はより高いカットオフ周波数となるように設定し、時間が経つにつれ、前記カットオフ周波数を下げていくように設定することを特徴とする請求項３に記載の撮像装置。 The frequency characteristic is set so that a higher cut-off frequency is set immediately after the analog gain is changed, and the cut-off frequency is set to decrease with time. The imaging device described.

前記巡回型フィルタは、遮光された光電変換部の信号に発生するランダムノイズの影響を加算平均することで抑圧する手段と、前記加算平均の出力と前記巡回型フィルタの出力の差分をとる手段を有し、前記差分により前記巡回型フィルタの周波数特性を制御することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。 The cyclic filter includes means for suppressing the influence of random noise generated in the signal of the light-shielded photoelectric conversion unit by addition averaging, and means for calculating a difference between the output of the addition average and the output of the cyclic filter. The imaging apparatus according to claim 1, wherein the frequency characteristic of the cyclic filter is controlled by the difference.

前記巡回型フィルタの周波数特性は、前記加算平均の出力と前記巡回型フィルタの出力の差分が大きい場合には、前記周波数特性のカットオフ周波数が高くなるように制御し、前記差分が小さい場合には、前記周波数特性のカットオフ周波数が低くなるように制御することを特徴とする請求項６に記載の撮像装置。 The frequency characteristic of the cyclic filter is controlled so that the cut-off frequency of the frequency characteristic is high when the difference between the output of the addition average and the output of the cyclic filter is large, and when the difference is small. The imaging apparatus according to claim 6, wherein control is performed so that a cutoff frequency of the frequency characteristic is lowered.

前記巡回型フィルタは、前記加算平均の出力と前記巡回型フィルタの出力を選択する手段を有し、前記加算平均の出力と前記巡回型フィルタの出力の差分が大きい場合は、前記加算平均の出力を選択し、前記差分が小さい場合は、前記巡回型フィルタの出力を選択し、選択された出力を前記補正データとすることを特徴とする請求項６に記載の撮像装置。 The cyclic filter includes means for selecting the output of the addition average and the output of the cyclic filter, and when the difference between the output of the addition average and the output of the cyclic filter is large, the output of the addition average The imaging apparatus according to claim 6, wherein if the difference is small, an output of the cyclic filter is selected, and the selected output is used as the correction data.