JP2006135425A - Signal processor and processing method of solid state image sensor and imaging apparatus - Google Patents
Signal processor and processing method of solid state image sensor and imaging apparatus Download PDFInfo
- Publication number
- JP2006135425A JP2006135425A JP2004319558A JP2004319558A JP2006135425A JP 2006135425 A JP2006135425 A JP 2006135425A JP 2004319558 A JP2004319558 A JP 2004319558A JP 2004319558 A JP2004319558 A JP 2004319558A JP 2006135425 A JP2006135425 A JP 2006135425A
- Authority
- JP
- Japan
- Prior art keywords
- solid
- error value
- column
- imaging device
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、Ｃ−ＭＯＳイメージセンサ等の固体撮像装置から出力された画像信号に対して信号処理を行う固体撮像素子の信号処理装置及び方法、並びに、Ｃ−ＭＯＳイメージセンサ等の固体撮像装置を用いた撮像装置に関するものである。 The present invention relates to a signal processing device and method for a solid-state imaging device that performs signal processing on an image signal output from a solid-state imaging device such as a C-MOS image sensor, and a solid-state imaging device such as a C-MOS image sensor. The present invention relates to the imaging device used.
近年、Ｃ―ＭＯＳ型の半導体製造プロセスを用いたイメージセンサ（以下、Ｃ−ＭＯＳイメージセンサという。）が広く実用化されつつある。Ｃ−ＭＯＳイメージセンサでは、例えば、ｍ列×ｎ行のマトリクス状に配置された単位画素から得られる画素信号を、１画素ずつ順次読み出しをすることができる。具体的には、Ｃ−ＭＯＳイメージセンサは、垂直方向（カラム方向ともいう。）に並んだｎ個の単位画素から発生された画素信号を伝送するｍ本のカラム信号線と、水平方向に並んだｍ個毎に動作させる単位画素を選択するｎ本の水平選択線とが、格子状に配線されており、これらカラム信号線及び水平選択線によりｎ行×ｍ列の単位画素を１つずつ順次にラスタスキャンして画像信号を生成する。 In recent years, an image sensor using a C-MOS type semiconductor manufacturing process (hereinafter referred to as a C-MOS image sensor) has been widely put into practical use. In the C-MOS image sensor, for example, pixel signals obtained from unit pixels arranged in a matrix of m columns × n rows can be sequentially read out pixel by pixel. Specifically, the C-MOS image sensor is arranged in the horizontal direction with m column signal lines that transmit pixel signals generated from n unit pixels arranged in the vertical direction (also referred to as the column direction). In addition, n horizontal selection lines for selecting unit pixels to be operated for every m pieces are wired in a grid pattern, and n row × m column unit pixels are arranged one by one by these column signal lines and horizontal selection lines. Image signals are generated by sequentially raster scanning.
Ｃ−ＭＯＳイメージセンサの中に、カラム信号線毎に増幅器（カラム増幅器という。）が設けられたＣ−ＭＯＳイメージセンサが知られている。このようなＣ−ＭＯＳイメージセンサのことを、カラムアンプ式Ｃ−ＭＯＳイメージセンサという。 Among C-MOS image sensors, C-MOS image sensors are known in which an amplifier (referred to as a column amplifier) is provided for each column signal line. Such a C-MOS image sensor is called a column amplifier type C-MOS image sensor.
カラムアンプ式Ｃ−ＭＯＳイメージセンサでは、カラム増幅器毎の増幅率の誤差により、画面の垂直方向の縞模様が発生してしまう。この縞模様は、撮像する被写体に関わらない固定のパターンで定常的に発生し、画質を劣化させる。以下、この縞模様のことを縦筋ノイズという。 In the column amplifier type C-MOS image sensor, a stripe pattern in the vertical direction of the screen is generated due to an error in amplification factor for each column amplifier. This striped pattern is a fixed pattern that is not related to the subject to be imaged, and is constantly generated, thereby degrading the image quality. Hereinafter, this stripe pattern is referred to as vertical stripe noise.
このような縦筋ノイズは、より少なくすることが望ましい。縦筋ノイズを除去する方法が特許文献１に記載されている。特許文献１に記載された技術は、暗状態で撮像した画像信号を検出し、検出した画像信号をノイズ成分としてラインバッファに記憶しておき、撮像時に当該ノイズ成分を画像信号から減算するというものである。
It is desirable to reduce such vertical stripe noise.
しかしながら、この特許文献１に記載された技術では、色フィルタ毎の出力特性のばらつきが存在するため、縦筋ノイズを完全には除去することができない。
However, with the technique described in
本発明は、このような課題を解決することを目的としている。 The present invention aims to solve such a problem.
本発明に係る固体撮像素子の信号処理装置は、カラム方向に並んだ画素から得られる画像信号を出力する出力系統を、内部に複数有する固体撮像素子の信号処理装置において、上記固体撮像素子から出力された画像信号のカラム毎の誤差値を補正する補正手段と、上記固体撮像素子から出力された画像信号から、補正手段により補正された誤差値を減算する減算手段とを備え、上記カラム毎の誤差値は、上記固体撮像素子を遮光又は上記固体撮像素子に対して一定光量の光を照射し、上記固体撮像素子の所定領域の画素から得られる画素信号の平均値を算出し、上記固体撮像素子の各画素から得られる画素信号から上記平均値を減算し、減算して得られた値を上記カラム毎に累積する処理を、撮像前に予め行うことによって算出され、上記補正手段は、上記固体撮像素子から出力された画像信号のカラム位置に対応した誤差値を、上記固体撮像素子から出力された画像信号の色に応じて補正し、補正した誤差値を上記減算手段に供給する。 A signal processing apparatus for a solid-state image pickup device according to the present invention is an output from the solid-state image pickup device in the signal processing device for a solid-state image pickup element having a plurality of output systems for outputting image signals obtained from pixels arranged in a column direction. Correction means for correcting the error value for each column of the image signal that has been performed, and subtracting means for subtracting the error value corrected by the correction means from the image signal output from the solid-state imaging device, The error value is calculated by calculating an average value of pixel signals obtained from pixels in a predetermined area of the solid-state image sensor by shielding the solid-state image sensor or irradiating the solid-state image sensor with a certain amount of light. The above average value is subtracted from the pixel signal obtained from each pixel of the element, and the value obtained by the subtraction is accumulated for each column, calculated in advance before imaging, The means corrects the error value corresponding to the column position of the image signal output from the solid-state image sensor according to the color of the image signal output from the solid-state image sensor, and the corrected error value is supplied to the subtracting means. Supply.
本発明に係る固体撮像素子の信号処理方法は、カラム方向に並んだ画素から得られる画像信号を出力する出力系統を、内部に複数有する固体撮像素子から出力された画像信号の信号処理方法において、上記固体撮像素子を用いた撮像の前に予め、上記固体撮像素子を遮光又は上記固体撮像素子に対して一定光量の光を照射し、上記固体撮像素子の所定領域の画素から得られる画素信号の平均値を算出し、上記固体撮像素子の各画素から得られる画素信号から上記平均値を減算し、減算して得られた値を上記カラム毎に累積し、累積した値をカラム毎の誤差値として算出し、上記固体撮像素子を用いた撮像時に、上記固体撮像素子から出力された画像信号のカラム位置に対応した誤差値を、上記固体撮像素子から出力された画像信号の色に応じて補正し、上記固体撮像素子から出力された画像信号から、補正した誤差値を減算することを特徴とする。 A signal processing method for a solid-state imaging device according to the present invention is a signal processing method for an image signal output from a solid-state imaging device having a plurality of output systems for outputting image signals obtained from pixels arranged in a column direction. Before imaging using the solid-state imaging device, the solid-state imaging device is shielded in advance or a certain amount of light is irradiated to the solid-state imaging device, and a pixel signal obtained from a pixel in a predetermined region of the solid-state imaging device The average value is calculated, the average value is subtracted from the pixel signal obtained from each pixel of the solid-state imaging device, the value obtained by subtraction is accumulated for each column, and the accumulated value is an error value for each column. The error value corresponding to the column position of the image signal output from the solid-state image sensor at the time of imaging using the solid-state image sensor is calculated according to the color of the image signal output from the solid-state image sensor. Corrected, from image signals output from the solid-state imaging device, characterized by subtracting the corrected error value.
本発明に係る撮像装置は、カラム方向に並んだ画素から得られる画像信号を出力する出力系統を、内部に複数有する固体撮像素子を用いた撮像装置において、上記固体撮像素子から出力された画像信号のカラム毎の誤差値を補正する補正手段と、上記固体撮像素子から出力された画像信号から、補正手段により補正された誤差値を減算する減算手段と、上記減算手段により誤差値が減算された画像信号を記録媒体に記録又は表示装置に表示する記録又は表示手段とを備え、上記カラム毎の誤差値は、上記固体撮像素子を遮光又は上記固体撮像素子に対して一定光量の光を照射し、上記固体撮像素子の所定領域の画素から得られる画素信号の平均値を算出し、上記固体撮像素子の各画素から得られる画素信号から上記平均値を減算し、減算して得られた値を上記カラム毎に累積する処理を、撮像前に予め行うことによって算出され、上記補正手段は、上記固体撮像素子から出力された画像信号のカラム位置に対応した誤差値を、上記固体撮像素子から出力された画像信号の色に応じて補正し、補正した誤差値を上記減算手段に供給する。 An image pickup apparatus according to the present invention includes an image signal output from the solid-state image sensor in an image pickup apparatus using a solid-state image sensor that includes a plurality of output systems that output image signals obtained from pixels arranged in a column direction. Correction means for correcting the error value for each column, subtracting means for subtracting the error value corrected by the correcting means from the image signal output from the solid-state imaging device, and the error value being subtracted by the subtracting means Recording or displaying means for recording an image signal on a recording medium or displaying on a display device, and the error value for each column is determined by shielding the solid-state image sensor or irradiating the solid-state image sensor with a certain amount of light. Calculating an average value of pixel signals obtained from pixels in a predetermined region of the solid-state image sensor, subtracting the average value from a pixel signal obtained from each pixel of the solid-state image sensor, and subtracting The correction unit calculates the error value corresponding to the column position of the image signal output from the solid-state imaging device, by calculating in advance the process of accumulating the obtained values for each column before imaging. Correction is performed according to the color of the image signal output from the image sensor, and the corrected error value is supplied to the subtracting means.
本発明は、カラム方向に並んだ画素から得られる画像信号を出力する出力系統を、内部に複数有する固体撮像素子に対する信号処理装置及び方法、並びに、この固体撮像装置を用いた撮像装置である。本発明では、上記固体撮像素子を遮光又は一定光量の光を照射することにより当該固体撮像素子から画像信号を得て、その画像信号から黒レベル又は任意の基準レベルを減算して、カラム毎の誤差値を求める。そして、本発明では、撮像時に、この誤差値に基づく値を画像信号から減算して、固体撮像装置のカラム増幅器に起因する縞状のノイズを除去する。 The present invention is a signal processing apparatus and method for a solid-state imaging device having a plurality of output systems for outputting image signals obtained from pixels arranged in a column direction, and an imaging apparatus using the solid-state imaging apparatus. In the present invention, an image signal is obtained from the solid-state image sensor by shielding the solid-state image sensor or irradiating with a certain amount of light, and a black level or an arbitrary reference level is subtracted from the image signal, and each column is subtracted. Find the error value. In the present invention, at the time of imaging, a value based on this error value is subtracted from the image signal to remove stripe noise caused by the column amplifier of the solid-state imaging device.
さらに、本発明では、画素の色に応じて上記誤差値を補正し、補正した誤差値を画像信号から減算して、固体撮像装置のカラム増幅器に起因する縞状のノイズを除去する。 Furthermore, in the present invention, the error value is corrected according to the color of the pixel, and the corrected error value is subtracted from the image signal to remove the stripe noise caused by the column amplifier of the solid-state imaging device.
このことにより、本発明では、色フィルタ毎の出力特性のばらつきが存在しても、確実に固体撮像装置のカラム増幅器に起因する縞状のノイズを除去することができる。 As a result, in the present invention, even if there is a variation in output characteristics for each color filter, it is possible to reliably remove striped noise caused by the column amplifier of the solid-state imaging device.
以下、本発明が適用された電子式のビデオカメラ（以下、単にビデオカメラという。）について説明する。 An electronic video camera (hereinafter simply referred to as a video camera) to which the present invention is applied will be described below.
図１に、本発明が適用されたビデオカメラ１０のブロック構成図を示す。
FIG. 1 shows a block diagram of a
ビデオカメラ１０は、レンズユニット１１と、Ｃ−ＭＯＳ（Complementary - Metal Oxide Semiconductor）イメージセンサ１２と、タイミングジェネレータ１３と、アナログ信号処理部１４と、メモリコントローラ１５と、メモリ１６と、カメラ信号処理部１７と、システムコントローラ１８とを備えている。
The
レンズユニット１１には、フォーカスレンズ、ズームレンズ及び絞り羽根等、並びに、これらレンズ等を駆動する駆動部が設けられている。レンズユニット１１は、被写体像を受光してＣ−ＭＯＳイメージセンサ１２の受光面上に結像させる。
The
Ｃ−ＭＯＳイメージセンサ１２は、受光面にマトリクス状に配置された単位画素を有しており、各単位画素が照射された光を光電変換する。Ｃ−ＭＯＳイメージセンサ１２は、マトリクス状に配置された単位画素をスキャンして電気信号を読み出すことにより、画像信号を出力する。なお、Ｃ−ＭＯＳイメージセンサ１２は、４本のカラムラインの画像信号が並列して出力されるカラムアンプ方式のＣ−ＭＯＳイメージセンサとなっている。
The C-
Ｃ−ＭＯＳイメージセンサ１２により読み出された画像信号は、アナログ信号処理部１４に供給される。
The image signal read by the C-
タイミングジェネレータ１３は、信号読み出しタイミングや垂直同期信号等の各種の同期信号を発生し、各回路に供給する。
The
アナログ信号処理部１４は、Ｃ−ＭＯＳイメージセンサ１２から出力された４本の出力信号毎にサンプリング処理や増幅処理等のアナログ処理を行い、４本の出力信号毎にＡ/Ｄ変換を行ってデジタル化する。デジタル化された画像信号は、メモリコントローラ１４により読み出され、一旦メモリ１６に格納される。
The analog
メモリコントローラ１４は、一旦メモリ１６に格納された画像信号を１画素列単位で通常の画素順序で読み出し、カメラ信号処理部１７に供給する。
The
カメラ信号処理部１７は、入力された画像信号に対して、ガンマ補正やホワイトバランス等の調整を行う。さらに、カメラ信号処理部１７は、入力された画像信号に対して、縦筋ノイズの除去処理を行う。カメラ信号処理部１７は、信号処理を行った後に、ＮＴＳＣや記録メディアに必要なフォーマットのビデオ信号に変換する。
The camera
なお、縦筋ノイズの除去処理部の構成及び処理内容については、詳細を後述する。 The configuration and processing contents of the vertical streak noise removal processing unit will be described later in detail.
システムコントローラ１８は、ビデオカメラ１０の各部の制御を行う。
The
以上のようなビデオカメラ１０では、被写体画像を撮像して、撮像した信号をビデオ信号として出力することができる。出力されたビデオ信号は、例えばハードディスクや光ディスクに記録され、また、ＬＣＤモニタ等のファインダに表示される。
The
つぎに、Ｃ−ＭＯＳイメージセンサ１２の構成について説明する。
Next, the configuration of the C-
カラムアンプ方式のＣ−ＭＯＳイメージセンサ１２の構成を図２に示す。
The configuration of the column amplifier type C-
Ｃ−ＭＯＳイメージセンサ１２は、ｍ列×ｎ行のマトリクス状に配置された複数個の単位画素２１と、各単位画素２１から出力される電気信号を伝送するｍ本のカラム信号線２２（２２−１，２２−２，…，２２−ｍ）とを備えている。また、Ｃ−ＭＯＳイメージセンサ１２は、水平方向に並んだｍ個の一群の単位画素に接続されたｎ本の水平選択線２３（２３−１，２３−２，…，２３―ｎ）と、ｎ本の水平選択線２３に選択信号を供給する水平アドレス選択回路２４とを備えている。
The C-
単位画素２１は、図３に示すように、少なくともフォトディテクタ２１Ａと、Ｃ−ＭＯＳスイッチ２１Ｂとを有している。フォトディテクタ２１Ａは、照射された光を受光して、光電変換を行い、受光光量に応じた電気信号を発生する。水平アドレス選択回路２４から出力された水平選択線２３は、Ｃ―ＭＯＳスイッチ２１Ｂのゲートに接続されている。Ｃ−ＭＯＳスイッチ２１Ｂは、水平アドレス選択回路２４から水平選択線２３を介して供給される選択信号によりオン／オフ制御される。また、垂直方向に並んだｎ個の一群の単位画素２１は、いずれか一本のカラム信号線２２に接続されている。
As shown in FIG. 3, the
このような各単位画素２１では、撮像時に、フォトディテクタ２１Ａから照射光量に応じた電気信号が発生する。各単位画素２１では、水平アドレス選択回路２４によりＣ―ＭＯＳスイッチ２１Ｂがオンとされると、フォトディテクタ２１Ａが発生した電気信号が、接続されたカラム信号線２２上に出力される。
In each
Ｃ−ＭＯＳイメージセンサ１２は、４個のカラム増幅器２５（第１のカラム増幅器２５Ａ，第２のカラム増幅器２５Ｂ，第３のカラム増幅器２５Ｃ，第４のカラム増幅器２５Ｄ）と、各カラム信号線２２に接続されたｍ個のカラム選択スイッチ２６（２６−１，２６−２，…，２６−ｍ）と、垂直アドレス選択回路２７とを備えている。
The C-
ｍ本のカラム信号線２２は、カラム増幅器２５に対応する本数（４本）が１セットとされ、それらが各カラム増幅器２５に１つずつカラム選択スイッチ２６を介して接続されている。すなわち、４本のセットのうち、１番目のカラム信号線２２（２２-１，２２-５，…，２２−（ｎ−３））はカラム選択スイッチ２６を介して第１のカラム増幅器２５Ａに接続され、２番目のカラム信号線２２（２２-２，２２-６，…，２２−（ｎ−２））はカラム選択スイッチ２６を介して第２のカラム増幅器２５Ｂに接続され、３番目のカラム信号線２２（２２-３，２２-７，…，２２−（ｎ−１））はカラム選択スイッチ２６を介して第３のカラム増幅器２５Ｃに接続され、４番目のカラム信号線２２（２２-４，２２-８，…，２２−ｎ）はカラム選択スイッチ２６を介して第４のカラム増幅器２５Ｄに接続されている。
The m
垂直アドレス選択回路２７は、カラム選択スイッチ２６をオン/オフするカラム選択信号を発生する。垂直アドレス選択回路２７は、４本のセット単位でカラム選択スイッチ２６をオン／オフを制御する。カラム選択スイッチ２６がオンとなると、そのカラム信号線２２に接続された単位画素２１から出力された電気信号が、カラム増幅器２５に増幅されて外部に出力される。
The vertical address selection circuit 27 generates a column selection signal for turning on / off the
以上のようなＣ−ＭＯＳイメージセンサ１２では、撮像時に、各単位画素２１が光電変換して発生する電気信号が、水平アドレス選択回路２４及び垂直アドレス選択２７により順次走査されて、外部に出力される。この際、Ｃ−ＭＯＳイメージセンサ１２では、垂直方向（カラム方向）に並んだ一群の単位画素２１を、４列同時に並列出力する。このため、Ｃ−ＭＯＳイメージセンサ１２では、非常に高速に信号の読み出しを行うことができる。
In the C-
なお、本例では、４列を並列読み出するＣ−ＭＯＳイメージセンサ１２を示しているが、本発明は、４列に限らない。また、内部で複数の読み出し線を有し、撮像素子から出力される直前に１出力にマルチプレクスされる場合も含む。
In this example, the C-
また、図４に示すように、各カラム信号線２２に、アナログ／デジタル（Ａ/Ｄ）変換器２８を挿入して、デジタル出力をするようなＣ−ＭＯＳイメージセンサであってもかまわない。この場合、後段のアナログ信号処理部１４は必要がなくなる。
In addition, as shown in FIG. 4, a C-MOS image sensor in which an analog / digital (A / D) converter 28 is inserted into each
さらに、本例では、イメージセンサとして、Ｃ−ＭＯＳイメージセンサ１２を用いているが、本発明では、Ｃ−ＭＯＳイメージセンサに限らず、ＣＣＤイメージセンサを用いてもよい。
Furthermore, in this example, the C-
縦筋ノイズ除去処理
つぎに、カメラ信号処理部１７内に設けられる縦筋ノイズの除去処理部について説明をする。
Vertical Streak Noise Removal Processing Next, a vertical streak noise removal processing unit provided in the camera
なお、以下、縦筋ノイズ除去処理部の具体例として、以下、第１から第４の縦筋ノイズ除去処理部を説明する。カメラ信号処理部１７には、第１から第４の縦筋ノイズ除去処理部のいずれか一つを設けても良いし、これらを組み合わせて設けても良い。
Hereinafter, first to fourth vertical streak noise removal processing units will be described as specific examples of the vertical streak noise removal processing unit. The camera
第１の縦筋ノイズ除去処理部
図５は、第１の縦筋ノイズ除去処理部３０のブロック構成図である。
First Vertical Streak Noise Removal Processing Unit FIG. 5 is a block diagram of the first vertical streak noise
第１の縦筋ノイズ除去処理部３０は、図５に示すように、誤差値算出部３１と、誤差値格納メモリ３２と、ノイズ除去部３３とを備えている。
As shown in FIG. 5, the first vertical streak noise
誤差値算出部３１は、Ｃ−ＭＯＳイメージセンサ１２のカラム増幅器２５の増幅率のばらつき等に応じて発生する縦筋ノイズを予め検出し、検出した縦筋ノイズ成分に応じたカラム毎の誤差値を算出し、その誤差値を誤差値格納メモリ３２に格納する。ここで、予め縦筋のノイズを検出しておくとは、撮像動作の前までに検出するという意味であり、例えば、工場出荷時、電源投入時又はリセット時に検出することである。すなわち、この誤差値算出部３１は、工場出荷時、電源投入時又はリセット時に動作する回路である。なお、本例では、誤差値算出部３１をカメラ信号処理回路１７の内部に設けられたハードウェアであるが、システムコントローラ１８がソフトウェアにより当該誤差値算出部３１と同等の処理を行っても良い。
The error
誤差値格納メモリ３２は、誤差値算出部３１により算出された誤差値を保持しておくメモリであり、例えば、フラッシュメモリ等の不揮発性メモリである。なお、電源投入時やオートブラック中にノイズを算出する場合には、誤差値格納メモリ３２は不揮発性メモリである必要はない。誤差値格納メモリ３２には、カラムアドレスに対応させて誤差値が格納されており、外部からカラムアドレスを指定することにより誤差値が読み出されるようになっている。
The error
ノイズ除去部３３は、本ビデオカメラ１０での撮像動作中に、撮像して得られた画像信号から、誤差値格納メモリ３２に格納された誤差値を用いて縦筋ノイズを除去する処理を行う。
The
誤差値算出部３１について更に詳細に説明をする。
The error
誤差値算出部３１は、図５に示すように、画像信号の黒レベルを格納するメモリ４１と、入力された画像信号からメモリ４１に格納された黒レベルを減算する減算器４２と、加算器４３と、加算器４３の出力結果を１水平ライン分遅延させるラインメモリ４４とを備えている。なお、加算器４３は、減算器４２の出力値とラインメモリ４４の出力値とを加算する。すなわち、加算器４３とラインメモリ４４とで、垂直ライン（カラムライン）方向に差分値を累積加算する累積加算回路を構成している。
As shown in FIG. 5, the error
このような構成の誤差値算出部３１は、システムコントローラ１８により動作制御される。システムコントローラ１８は、工場出荷時、電源投入時又はリセット時等に、誤差値算出部３１を用いて図６のフローチャートに示した誤差値算出処理を行う。
The operation of the error
誤差値検出処理が開始されると、システムコントローラ１８は、レンズユニット１１等を制御して、Ｃ−ＭＯＳイメージセンサ１２に照射される光を遮断する（ステップＳ１）。
When the error value detection process is started, the
続いて、システムコントローラ１８は、遮光状態で撮像を行い、Ｃ−ＭＯＳイメージセンサ１２から得られた例えば１画面分の画像信号をメモリ１６に格納する。システムコントローラ１８は、メモリ１６に格納された１画面分の画像信号の画面所定領域の平均値を算出する。ここで得られた平均値は、画像信号の黒レベル（すなわち、０レベル）であると想定できる。システムコントローラ１８は、算出した黒レベルをメモリ４１に格納する（ステップＳ２）。
Subsequently, the
続いて、システムコントローラ１８は、メモリ１６に格納されている遮光状態で撮像された１画面分の画像信号を１画素毎順次に読み出し、減算器４２に供給する。減算器４２は、入力された画像信号の各画素値から、メモリ４１に格納されている黒レベルを減算する（ステップＳ３）。この結果、各画素値に含まれている誤差成分が出力されることとなる。
Subsequently, the
続いて、減算器４２から出力された誤差成分は、ラインメモリ４４から出力された値と加算され、再度ラインメモリ４４に格納される（ステップＳ４）。ラインメモリ４４は、入力された信号を１水平ライン分遅延させて出力する（ステップＳ５）。また、ラインメモリ４４の初期値は０となっている。
Subsequently, the error component output from the
すなわち、加算器４３及びラインメモリ４４は、画像信号の誤差成分を、垂直方向（カラム方向）に累積加算する。
That is, the
続いて、システムコントローラ１８は、画面内の最下ラインまで累積加算処理を行ったか否かを判断する（ステップＳ６）。最下ラインまで累積加算処理がされると、ラインメモリ４４に格納されている値をさらに加算したライン数で除算した値は、垂直列毎（カラム毎）の黒レベルからの誤差値となる。この値が、縦筋ノイズを表している。
Subsequently, the
システムコントローラ１８は、最下ラインまで累積加算処理がされたと判断すると、ラインメモリ４４に格納されている垂直列毎の誤差値を、誤差値格納メモリ３２に格納する（ステップＳ７）。このとき、カラムアドレスに対応させて各誤差値を格納し、カラムアドレスを指定することにより誤差値が読み出させるようにしておく。
When the
ステップＳ７の処理が終了すると、誤差値検出処理が終了する。 When the process of step S7 ends, the error value detection process ends.
つぎに、ノイズ除去部３３について説明をする。
Next, the
ノイズ除去部３３は、図５に示すように、画像信号のレベルに応じた補正ゲインＧを発生する補正ゲイン発生部４５と、誤差値格納メモリ３２から読み出された誤差値に補正ゲインＧを乗算する乗算器４６と、入力された画像信号から乗算器４６により補正された誤差値（補正誤差値）を減算する減算器４７とを備えている。
As shown in FIG. 5, the
このようなノイズ除去部３３は、ビデオカメラ１０が撮像動作をしている最中に処理を実行する。
Such a
ビデオカメラ１０が撮像動作をしていると、撮像された画像信号が当該ノイズ除去部３３に入力される。この画像信号は、１画素毎に減算器４７に入力される。
When the
誤差値格納メモリ３２は、減算器４７に入力された画素のカラムアドレスが入力される。誤差値格納メモリ３２は、入力されたカラムアドレスに対応して誤差値を出力する。誤差値格納メモリ３２から出力された誤差値は、乗算器４６に入力される。
The error
補正ゲイン発生部４５は、減算器４７に入力された画素が同時に入力される。補正ゲイン発生部４５は、入力された画素のレベルに応じた補正ゲインＧを発生する。
The
ノイズ除去部３３では、以上のように補正ゲイン発生部４５により算出された補正ゲインＧが、乗算器４６に供給される。
In the
乗算器４６では、誤差値格納メモリ３２から出力された誤差値に、補正ゲインＧを乗算し、減算器４７に供給する。
The
減算器４７では、補正ゲインＧが乗算されて補正がされた誤差値（補正誤差値）を、入力された画素信号から減算する。
The
このように処理がされることによって、縦筋ノイズが除去された画像信号が、減算器４７から出力される。
By performing the processing in this way, an image signal from which vertical streak noise has been removed is output from the
補正ゲイン発生部４５の補正ゲインＧの算出フローを図７に示す。
A calculation flow of the correction gain G of the correction
画像信号の最大レベルをＶｍとし、入力された画素のレベルをＶｔとすると、補正ゲイン発生部４５は、例えば次のように補正ゲインＧを算出する。
When the maximum level of the image signal is Vm and the level of the input pixel is Vt, the
補正ゲイン発生部４５は、入力された画素のレベルＶｔが、Ｖｍ以下であり、且つ、（３／４×Ｖｍ）より大きければ（ステップＳ１１）、補正ゲインＧの値を１．７５とする（ステップＳ１４）。
The correction
補正ゲイン発生部４５は、入力された画素のレベルＶｔが、（３／４×Ｖｍ）以下であり、且つ、（２／４×Ｖｍ）より大きければ（ステップＳ１２）、補正ゲインＧの値を１．５０とする（ステップＳ１５）。
If the input pixel level Vt is equal to or less than (3/4 × Vm) and greater than (2/4 × Vm) (step S12), the correction
補正ゲイン発生部４５は、入力された画素のレベルＶｔが、（２／４×Ｖｍ）以下であり、且つ、（１／４×Ｖｍ）より大きければ（ステップＳ１３）、補正ゲインＧの値を１．２５とする（ステップＳ１６）。
If the input pixel level Vt is equal to or lower than (2/4 × Vm) and greater than (1/4 × Vm) (step S13), the correction
補正ゲイン発生部４５は、入力された画素のレベルＶｔが、（１／４×Ｖｍ）以下であれば（ステップＳ１３）、補正ゲインＧの値を１．００とする（ステップＳ１７）。
If the input pixel level Vt is equal to or lower than (1/4 × Vm) (step S13), the correction
以上のように補正ゲイン発生部４５は、入力された画像信号のレベルが大きければ、当該画像信号から減算する補正誤差値が小さくなるように、補正ゲインＧを変化させている。このように変化させたのは、カラム増幅器のゲインばらつきは、入力された画像信号の大きさに応じて、大きくなるという特性を考慮したものである。
As described above, the correction
以上のように第１の縦筋ノイズ除去処理部３０では、黒レベルからの差で表された誤差値をカラム増幅器毎に算出しておき、入力された画素のレベルに応じてその誤差値を補正する。このため、信号レベルに依存していない誤差値が保存される。そして、第１の縦筋ノイズ除去処理部３０では、その補正した誤差値を画像信号から減算することにより、縦筋ノイズの除去を行っている。
As described above, the first vertical streak noise
第１の縦筋ノイズ除去処理部３０では、このような処理を行うため、画像信号のレベルに応じて縦筋ノイズにバラツキが生じてしまっていても、確実に除去することができる。
Since the first vertical streak noise
なお、第１の縦筋ノイズ除去処理部３０では、Ｃ−ＭＯＳイメージセンサ１２を遮光して黒レベルから誤差値を算出しているが、Ｃ−ＭＯＳイメージセンサ１２の各単位画素２１のフォトディテクタ２１Ａが基準となる任意の光の光量(一定光量)を照射して、任意の基準レベルからの誤差値を算出してもよい。
In the first vertical streak noise
第２の縦筋ノイズ除去処理部
つぎに、第２の縦筋ノイズ除去処理部について説明をする。なお、第２の縦筋ノイズ除去処理部を説明するにあたり、第１の縦筋ノイズ除去処理部３０と同一の構成要素には図面中に同一の符号を付けて、その詳細な説明を省略する。
Second Vertical Stripe Noise Removal Processing Unit Next, the second vertical stripe noise removal processing unit will be described. In describing the second vertical streak noise removal processing unit, the same components as those of the first vertical streak noise
図８は、第２の縦筋ノイズ除去処理部５０のブロック構成図である。
FIG. 8 is a block configuration diagram of the second vertical streak noise
第２の縦筋ノイズ除去処理部５０は、図８に示すように、誤差値算出部３１と、誤差値格納メモリ３２と、ノイズ除去部５１とを備えている。
As shown in FIG. 8, the second vertical streak noise
誤差値算出部３１は、内部構成は、第１の縦筋ノイズ除去処理部３０のものと同一である。ただし、第２の縦筋ノイズ除去処理部５０では、誤差値算出部３１を用いた誤差値検出処理を、Ｃ−ＭＯＳイメージセンサ１２の温度が低温のとき、及び、Ｃ−ＭＯＳイメージセンサ１２の温度が高温時のときで２回行う。
The error
誤差値格納メモリ３２には、低温時に検出したカラム毎の誤差値（低温時誤差値）と、高温時に検出したカラム毎の誤差値（高温時誤差値）とが格納される。誤差値格納メモリ３２は、カラムアドレスに対応させて低温時誤差値及び高温時誤差値を格納しており、外部からカラムアドレスを指定することにより２つの誤差値が読み出されるようになっている。
The error
ノイズ除去部５１は、本ビデオカメラ１０での撮像動作中に、撮像して得られた画像信号から、誤差値格納メモリ３２に格納された誤差値を用いて縦筋ノイズを除去する処理を行う。
The noise removing unit 51 performs processing for removing vertical streak noise from an image signal obtained by imaging during the imaging operation of the
ノイズ除去部５１は、図８に示すように、Ｃ−ＭＯＳイメージセンサ１２の温度を検出する温度センサ５２と、温度センサ５２により検出された温度に応じた低温用補正ゲインＧＬ及び高温用補正ゲインＧＨを発生する補正ゲイン発生部５３と、誤差値格納メモリ３２から読み出された低温時誤差値に低温用補正ゲインＧＬを乗算する第１の乗算器５４と、誤差値格納メモリ３２から読み出された高温時誤差値に高温用補正ゲインＧＨを乗算する第２の乗算器５５と、第１の乗算器５４の出力値と第２の乗算器５５の出力値とを加算する加算器５６と、加算器５６から出力された補正誤差値を入力された画像信号から減算する減算器５７とを備えている。
As shown in FIG. 8, the noise removing unit 51 includes a
このようなノイズ除去部５１は、ビデオカメラ１０が撮像動作をしている最中に処理を実行する。
Such a noise removing unit 51 executes processing while the
ビデオカメラ１０が撮像動作をしていると、撮像された画像信号が当該ノイズ除去部５１に入力される。
When the
画像信号は、１画素毎に減算器５７に入力される。
The image signal is input to the
誤差値格納メモリ３２は、減算器５７に入力された画素のカラムアドレスが入力される。誤差値格納メモリ３２は、入力されたカラムアドレスに対応した２つの誤差値（低温時誤差値，高温時誤差値）を出力する。誤差値格納メモリ３２から出力された低温時誤差値は、第１の乗算器５４に入力され、高温時誤差値は第２の乗算器５５に入力される。
The error
補正ゲイン発生部５３は、温度センサ５２により検出された温度が入力される。補正ゲイン発生部５３は、入力された温度に応じて２つの補正ゲイン（低温用補正ゲインＧＬ及び高温用補正ゲインＧＨ）を発生する。
The correction gain generator 53 receives the temperature detected by the
誤差値格納メモリ３２から出力された低温時誤差値は、第１の乗算器５４により低温用補正ゲインＧＬが乗算され、誤差値格納メモリ３２から出力された高温時時誤差値は、第２の乗算器５５により高温用補正ゲインＧＨが乗算される。そして、補正ゲインが乗算された２つの誤差値は、加算器５６により加算されたのち、減算器５７に供給される。
The low temperature error value output from the error
減算器５７では、補正ゲインが乗算されて補正がされた誤差値（補正誤差値）を、入力された画素信号から減算する。
The
このように処理がされることによって、縦筋ノイズが除去された画像信号が、減算器５７から出力される。
By performing the processing in this way, an image signal from which vertical streak noise has been removed is output from the
ここで、補正ゲイン発生部５３により発生される低温用補正ゲインＧＬ及び高温用補正ゲインＧＨは、低温時誤差値と高温時誤差値とを補間して、Ｃ−ＭＯＳイメージセンサ１２の温度での誤差値が出力されるようなゲインとなっている。
The correction gain generator 53 low temperature amendment gain G L and the high temperature amendment gain G H is generated by interpolates the low temperature error value and the high temperature error value, the temperature of the C-
具体的には、補正ゲイン発生部５３は、図９に示すようなフローに基づき、低温用補正ゲインＧＬ及び高温用補正ゲインＧＨを算出している。 Specifically, the correction gain generating unit 53, based on the flow shown in FIG. 9, and calculates the low temperature amendment gain G L and the high temperature amendment gain G H.
まず、補正ゲイン算出部５３は、温度センサ５２により検出された温度に応じた変数ｂを算出する（ステップＳ２１）。この変数ｂは、温度に対する１次関数で与えられる値であり、且つ、低温時誤差値を検出したときの温度に対する値が０、高温時誤差値を検出したときの温度に対する値が１である。 First, the correction gain calculation unit 53 calculates a variable b corresponding to the temperature detected by the temperature sensor 52 (step S21). This variable b is a value given by a linear function with respect to the temperature, and the value for the temperature when the low temperature error value is detected is 0, and the value for the temperature when the high temperature error value is detected is 1. .
続いて、補正ゲイン算出部５３は、低温用補正ゲインＧＬ＝ｂとし、高温用補正ゲインＧＨ＝（１−ｂ）を算出する（ステップＳ２２）。 Subsequently, the correction gain calculation unit 53 sets the low temperature correction gain G L = b and calculates the high temperature correction gain G H = (1−b) (step S22).
続いて、補正ゲイン算出部５３は、算出した低温用補正ゲインＧＬ及び高温用補正ゲインＧＨを第１及び第２の乗算器５４，５５に供給する。
Subsequently, the correction gain calculation unit 53 supplies the calculated low-temperature correction gain GL and high-temperature correction gain GH to the first and
そして、低温時誤差値に低温用補正ゲインＧＬが乗算され（ステップＳ２３）、高温時時誤差値に高温用補正ゲインＧＨが乗算され（ステップＳ２４）、乗算結果が加算され（ステップＳ２５）、画像信号から減算される（ステップＳ２６）。 Then, the low temperature amendment gain G L are multiplied by low temperature error value (step S23), the high temperature amendment gain G H is multiplied to a high temperature during the time of the error value (step S24), and the multiplication results are summed (Step S25) Then, it is subtracted from the image signal (step S26).
以上のように第２の縦筋ノイズ除去処理部５０では、低温時及び高温時の誤差値をカラム増幅器毎に算出しておき、Ｃ−ＭＯＳイメージセンサ１２の温度に応じて２つの誤差値を補間している。このため、温度特定に依存していない誤差値を生成することができる。
As described above, in the second vertical streak noise
第２の縦筋ノイズ除去処理部５０では、このような処理を行うため、温度に応じて縦筋ノイズにバラツキが生じてしまっていても、確実にそれを除去することができる。
Since the second vertical streak noise
第３の縦筋ノイズ除去処理部
つぎに、第３の縦筋ノイズ除去処理部について説明をする。なお、第３の縦筋ノイズ除去処理部を説明するにあたり、第１の縦筋ノイズ除去処理部３０と同一の構成要素には図面中に同一の符号を付けて、その詳細な説明を省略する。
Third vertical streak noise removal processing unit Next, a third vertical streak noise removal processing unit will be described. In describing the third vertical streak noise removal processing unit, the same components as those of the first vertical streak noise
図１０は、第３の縦筋ノイズ除去処理部６０のブロック構成図である。
FIG. 10 is a block configuration diagram of the third vertical streak noise
第３の縦筋ノイズ除去処理部６０は、図１０に示すように、誤差値算出部３１と、誤差値格納メモリ３２と、ノイズ除去部６１とを備えている。
As shown in FIG. 10, the third vertical streak noise
誤差値算出部３１は、内部構成は、第１の縦筋ノイズ除去処理部３０のものと同一である。ただし、第３の縦筋ノイズ除去処理部６０では、誤差値算出部３１を用いた誤差値検出処理として、Ｃ−ＭＯＳイメージセンサ１２を遮光して黒レベルからの誤差値を算出する処理と、Ｃ−ＭＯＳイメージセンサ１２に一定光量の光を照射して任意の基準レベルからの誤差値を算出する２つの処理を行っている。
The error
誤差値格納メモリ３２には、黒レベルを基準に検出したカラム毎の誤差値（黒レベル誤差値）と、任意の基準レベルを基準に検出したカラム毎の誤差値（基準レベル誤差値）とが格納される。誤差値格納メモリ３２は、カラムアドレスに対応させて黒レベル誤差値及び基準レベル誤差値を格納しており、外部からカラムアドレスを指定することにより２つの誤差値が読み出されるようになっている。
The error
ノイズ除去部６１は、本ビデオカメラ１０での撮像動作中に、撮像して得られた画像信号から、誤差値格納メモリ３２に格納された誤差値を用いて縦筋ノイズを除去する処理を行う。
The noise removing unit 61 performs processing for removing vertical streak noise from an image signal obtained by imaging during the imaging operation of the
ノイズ除去部６１は、図１０に示すように、画像信号のレベルに応じた黒レベル用補正ゲインＧＢ及び基準レベル用補正ゲインＧＷを発生する補正ゲイン発生部６３と、誤差値格納メモリ３２から読み出された黒レベル誤差値に黒レベル用補正ゲインＧＢを乗算する第１の乗算器６４と、誤差値格納メモリ３２から読み出された基準レベル誤差値に基準レベル用補正ゲインＧＷを乗算する第２の乗算器６５と、第１の乗算器６４の出力値と第２の乗算器６５の出力値とを加算する加算器６６と、加算器６６から出力された補正誤差値を入力された画像信号から減算する減算器６７とを備えている。
Noise removal unit 61, as shown in FIG. 10, a correction
このようなノイズ除去部６１は、ビデオカメラ１０が撮像動作をしている最中に処理を実行する。
Such a noise removing unit 61 performs processing while the
ビデオカメラ１０が撮像動作をしていると、撮像された画像信号が当該ノイズ除去部６１に入力される。
When the
画像信号は、１画素毎に減算器６７に入力される。
The image signal is input to the
誤差値格納メモリ３２は、減算器６７に入力された画素のカラムアドレスが入力される。誤差値格納メモリ３２は、入力されたカラムアドレスに対応した２つの誤差値（黒レベル誤差値，基準レベル誤差値）を出力する。誤差値格納メモリ３２から出力された黒レベル誤差値は、第１の乗算器６４に入力され、基準レベル誤差値は第２の乗算器６５に入力される。
The error
補正ゲイン発生部６３は、減算器６７に入力された画素が同時に入力される。補正ゲイン発生部６３は、入力された画素のレベルに応じて２つの補正ゲイン（黒レベル用補正ゲインＧＢ及び基準レベル用補正ゲインＧＷ）を発生する。
The
誤差値格納メモリ３２から出力された黒レベル誤差値は、第１の乗算器６４により黒レベル用補正ゲインＧＢが乗算され、誤差値格納メモリ３２から出力された基準レベル誤差値は、第２の乗算器６５により基準レベル用補正ゲインＧＷが乗算される。そして、補正ゲインが乗算された２つの誤差値は、加算器６６により加算されたのち、減算器６７に供給される。
Error value black level error value output from the
減算器６７では、補正ゲインが乗算されて補正がされた誤差値（補正誤差値）を、入力された画素信号から減算する。
The
このように処理がされることによって、縦筋ノイズが除去された画像信号が、減算器６７から出力される。
By performing the processing in this way, an image signal from which vertical stripe noise has been removed is output from the
ここで、補正ゲイン発生部６３により発生される黒レベル用補正ゲインＧＢ及び基準レベル用補正ゲインＧＷは、黒レベル誤差値と基準レベル誤差値とを補間して、入力された画像信号のレベルに応じた誤差値が出力されるようなゲインとなっている。
The correction
具体的には、補正ゲイン発生部６３は、図１１に示すようなフローに基づき、黒レベル用補正ゲインＧＢ及び基準レベル用補正ゲインＧＷを算出している。
Specifically, the correction
まず、補正ゲイン算出部５３は、入力された信号のレベルに応じた変数ｃを算出する（ステップＳ３１）。この変数ｃは、信号レベルに対する１次関数で与えられる値であり、且つ、黒レベルに対する値が０、任意の基準レベルに対する値が１である。 First, the correction gain calculation unit 53 calculates a variable c according to the level of the input signal (step S31). The variable c is a value given by a linear function with respect to the signal level, and the value for the black level is 0 and the value for any reference level is 1.
続いて、補正ゲイン算出部５３は、黒レベル用補正ゲインＧＢ＝ｃとし、基準レベル用補正ゲインＧＷ＝（１−ｃ）を算出する（ステップＳ３２）。 Subsequently, the correction gain calculation unit 53 sets the black level correction gain G B = c and calculates the reference level correction gain G W = (1−c) (step S32).
続いて、補正ゲイン算出部５３は、算出した黒レベル用補正ゲインＧＢ及び基準レベル用補正ゲインＧＷを第１及び第２の乗算器６４，６５に供給する。
Subsequently, the amendment gain computing section 53 supplies a calculator for the black level amendment gain G B and the reference level amendment gain G W to the first and
そして、黒レベル誤差値に黒レベル用補正ゲインＧＢが乗算され（ステップＳ３３）、基準レベル誤差値に基準レベル用補正ゲインＧＷが乗算され（ステップＳ３４）、乗算結果が加算され（ステップＳ３５）、画像信号から減算される（ステップＳ３６）。 Then, the black level amendment gain G B is multiplied by the black level error value (step S33), the reference level error value to the reference level amendment gain G W is multiplied (step S34), the multiplication results are summed (Step S35 ) Is subtracted from the image signal (step S36).
以上のように第３の縦筋ノイズ除去処理部６０では、黒レベル及び任意の基準レベルの誤差値をカラム増幅器毎に算出しておき、画像信号のレベルに応じて２つの誤差値を補間している。このため、信号レベルに依存していない誤差値を生成することができる。
As described above, the third vertical streak noise
第３の縦筋ノイズ除去処理部６０では、このような処理を行うため、信号レベルに応じて縦筋ノイズにバラツキが生じてしまっていても、確実にそれを除去することができる。
Since the third vertical streak noise
第４の縦筋ノイズ除去処理部
つぎに、第４の縦筋ノイズ除去処理部について説明をする。なお、第４の縦筋ノイズ除去処理部を説明するにあたり、第１の縦筋ノイズ除去部３０と同一の構成要素には図面中に同一の符号を付けて、その詳細な説明を省略する。
Fourth Vertical Streak Noise Removal Processing Unit Next, a fourth vertical streak noise removal processing unit will be described. In describing the fourth vertical streak noise removal processing unit, the same components as those of the first vertical streak
図１２は、第４の縦筋ノイズ除去処理部７０のブロック構成図である。
FIG. 12 is a block configuration diagram of the fourth vertical streak noise
第４の縦筋ノイズ除去処理部７０は、図１２に示すように、誤差値算出部３１と、誤差値格納メモリ３２と、ノイズ除去部７１とを備えている。
As illustrated in FIG. 12, the fourth vertical streak noise
誤差値算出部３１は、内部構成は、第１の縦筋ノイズ除去処理部３０のものと同一である。
The error
誤差値格納メモリ３２には、黒レベルを基準に検出したカラム毎の誤差値が格納される。誤差値格納メモリ３２は、カラムアドレスに対応させて誤差値を格納しており、外部からカラムアドレスを指定することによりこの誤差値が読み出されるようになっている。
The error
ノイズ除去部７１は、本ビデオカメラ１０での撮像動作中に、撮像して得られた画像信号から、誤差値格納メモリ３２に格納された誤差値を用いて縦筋ノイズを除去する処理を行う。
The noise removing unit 71 performs processing for removing vertical streak noise from an image signal obtained by imaging during the imaging operation of the
ノイズ除去部７１は、図１２に示すように、画素の色成分に応じた補正ゲインＧを発生する補正ゲイン発生部７２と、誤差値格納メモリ３２から読み出された誤差値に補正ゲインＧを乗算する乗算器７３と、乗算器７３から出力された補正誤差値を入力された画像信号から減算する減算器７４とを備えている。
As shown in FIG. 12, the noise removing unit 71 includes a correction gain generating unit 72 that generates a correction gain G corresponding to the color component of the pixel, and a correction gain G applied to the error value read from the error
このようなノイズ除去部７１は、ビデオカメラ１０が撮像動作をしている最中に処理を実行する。
Such a noise removing unit 71 executes processing while the
ビデオカメラ１０が撮像動作をしていると、撮像された画像信号が当該ノイズ除去部７１に入力される。
When the
画像信号は、１画素毎に減算器７４に入力される。
The image signal is input to the
誤差値格納メモリ３２は、減算器７４に入力された画素のカラムアドレスが入力される。誤差値格納メモリ３２は、入力されたカラムアドレスに対応した誤差値を出力する。誤差値格納メモリ３２から出力された誤差値は、乗算器７３に入力される。
The error
補正ゲイン発生部７２には、減算器７４に入力された画素の色情報が入力される。また、補正ゲイン発生部７２には、画素の色成分毎に、補正用のゲインが登録してある。例えば、Ｃ−ＭＯＳイメージセンサ１２のカラーフィルタの色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）毎にゲインが登録してある。なお、Ｃ−ＭＯＳイメージセンサ１２が原色フィルタを用いているならば、原色毎にゲインが登録されているが、補色フィルタであれば補色の色毎に登録される。
補正ゲイン発生部７２は、入力された画素の色情報が入力される。補正ゲイン発生部７２は、登録されている複数のゲインのうち、その色情報に対応したゲインを選択して、補正ゲインＧとして出力する。
The correction gain generation unit 72 receives the color information of the pixels input to the
The correction gain generator 72 receives color information of the input pixel. The correction gain generation unit 72 selects a gain corresponding to the color information from among the plurality of registered gains, and outputs it as a correction gain G.
誤差値格納メモリ３２から出力された誤差値は、乗算器７３により補正ゲインＧが乗算される。そして、補正ゲインが乗算された誤差値は減算器７４に供給される。
The error value output from the error
減算器７４では、補正ゲインが乗算されて補正がされた誤差値（補正誤差値）を、入力された画素信号から減算する。
The
このように処理がされることによって、縦筋ノイズが除去された画像信号が、減算器７４から出力される。
As a result of such processing, an image signal from which vertical streak noise has been removed is output from the
具体的に、ノイズ除去部７１の処理フローを図１３に示す。 Specifically, the processing flow of the noise removing unit 71 is shown in FIG.
ノイズ除去部７１は、図１３に示すように、入力された画像信号は色成分を持っているか否かを判断する（ステップＳ４１）。色成分を持っていれば、ノイズ除去部７１は、色情報に基づき、補正ゲインＧを選択する（ステップＳ４２）。色成分を持っていなければ、補正ゲインＧを１に設定する（ステップＳ４３）。 As shown in FIG. 13, the noise removing unit 71 determines whether or not the input image signal has a color component (step S41). If the color component is present, the noise removing unit 71 selects the correction gain G based on the color information (step S42). If it has no color component, the correction gain G is set to 1 (step S43).
そして、ノイズ除去部７１は、誤差値に補正ゲインＧを乗算し（ステップＳ４４）、画像信号から乗算結果（補正された誤差値）を減算する（ステップＳ４５）。 Then, the noise removing unit 71 multiplies the error value by the correction gain G (step S44), and subtracts the multiplication result (corrected error value) from the image signal (step S45).
以上のように第４の縦筋ノイズ除去処理部７０では、誤差値をカラム増幅器毎に算出しておき、画像信号の色成分に応じて誤差値を補正している。このため、例えば、色成分毎に依存しない、例えば、色成分毎に存在するレベル差に依存しない誤差値を生成することができる。
As described above, the fourth vertical streak noise
第４の縦筋ノイズ除去処理部７０では、このような処理を行うため、色成分毎に縦筋ノイズにバラツキが生じてしまっていたとしても、確実にそれを除去することができる。
Since the fourth vertical streak noise
１０ ビデオカメラ、１２ Ｃ−ＭＯＳイメージセンサ、１７ カメラ信号処理部、１８ システムコントローラ、３０，４０，５０，７０ 縦筋ノイズ除去処理部 10 video camera, 12 C-MOS image sensor, 17 camera signal processing unit, 18 system controller, 30, 40, 50, 70 vertical stripe noise removal processing unit
Claims (7)
上記固体撮像素子から出力された画像信号のカラム毎の誤差値を補正する補正手段と、
上記固体撮像素子から出力された画像信号から、補正手段により補正された誤差値を減算する減算手段とを備え、
上記カラム毎の誤差値は、
上記固体撮像素子を遮光又は上記固体撮像素子に対して一定光量の光を照射し、上記固体撮像素子の所定領域の画素から得られる画素信号の平均値を算出し、上記固体撮像素子の各画素から得られる画素信号から上記平均値を減算し、減算して得られた値を上記カラム毎に累積する処理を、撮像前に予め行うことによって算出され、
上記補正手段は、
上記固体撮像素子から出力された画像信号のカラム位置に対応した誤差値を、上記固体撮像素子から出力された画像信号の色に応じて補正し、
補正した誤差値を上記減算手段に供給すること
を特徴とする固体撮像素子の信号処理装置。 In a signal processing device of a solid-state imaging device having a plurality of output systems that output image signals obtained from pixels arranged in the column direction inside,
Correction means for correcting an error value for each column of the image signal output from the solid-state imaging device;
Subtracting means for subtracting the error value corrected by the correcting means from the image signal output from the solid-state imaging device,
The error value for each column is
The solid-state imaging device is shielded from light, or a certain amount of light is irradiated to the solid-state imaging device, an average value of pixel signals obtained from pixels in a predetermined area of the solid-state imaging device is calculated, and each pixel of the solid-state imaging device Subtracting the average value from the pixel signal obtained from the above, and calculating the value obtained by the subtraction for each column is calculated in advance before imaging,
The correction means is
The error value corresponding to the column position of the image signal output from the solid-state image sensor is corrected according to the color of the image signal output from the solid-state image sensor,
A signal processing apparatus for a solid-state imaging device, wherein the corrected error value is supplied to the subtracting means.
上記固体撮像素子から出力された画像信号の色に応じてゲインを算出し、
算出したゲインを上記誤差値に乗算することにより、上記誤差値の補正を行うこと
を特徴とする請求項１記載の固体撮像素子の信号処理装置。 The correction means is
Calculate the gain according to the color of the image signal output from the solid-state image sensor,
The signal processing apparatus for a solid-state imaging device according to claim 1, wherein the error value is corrected by multiplying the error value by the calculated gain.
少なくともフォトディテクタとＭＯＳスイッチとを有し、マトリクス状に配置された複数の単位画素と、
カラム方向に並んだ単位画素群毎に設けられており、各フォトディテクタにより検出された検出信号を伝送する複数のカラム信号線と、
行方向に並んだ単位画素群毎に設けられており、上記ＭＯＳスイッチを制御して上記検出信号を読み出す単位画素を選択する水平選択線と、
上記カラム信号線に伝送される検出信号を増幅する複数のカラム増幅器とを有し、
マトリクス状に配置された複数の単位画素が順次選択されることにより画像信号を出力すること
を特徴とする請求項１記載の固体撮像素子の信号処理装置。 The solid-state imaging device is
A plurality of unit pixels having at least a photodetector and a MOS switch and arranged in a matrix;
A plurality of column signal lines that are provided for each unit pixel group arranged in the column direction and transmit detection signals detected by the respective photodetectors;
A horizontal selection line that is provided for each unit pixel group arranged in the row direction and controls the MOS switch to select a unit pixel for reading the detection signal;
A plurality of column amplifiers for amplifying detection signals transmitted to the column signal lines;
The signal processing apparatus for a solid-state imaging device according to claim 1, wherein an image signal is output by sequentially selecting a plurality of unit pixels arranged in a matrix.
上記固体撮像素子を用いた撮像の前に予め、
上記固体撮像素子を遮光又は上記固体撮像素子に対して一定光量の光を照射し、上記固体撮像素子の所定領域の画素から得られる画素信号の平均値を算出し、上記固体撮像素子の各画素から得られる画素信号から上記平均値を減算し、減算して得られた値を上記カラム毎に累積し、累積した値をカラム毎の誤差値として算出し、
上記固体撮像素子を用いた撮像時に、
上記固体撮像素子から出力された画像信号のカラム位置に対応した誤差値を、上記固体撮像素子から出力された画像信号の色に応じて補正し、
上記固体撮像素子から出力された画像信号から、補正した誤差値を減算すること
を特徴とする固体撮像素子の信号処理方法。 In the signal processing method of the image signal output from the solid-state image sensor having a plurality of output systems for outputting the image signal obtained from the pixels arranged in the column direction inside,
Prior to imaging using the solid-state imaging device,
The solid-state image sensor is shielded or irradiated with a certain amount of light to the solid-state image sensor, an average value of pixel signals obtained from pixels in a predetermined area of the solid-state image sensor is calculated, and each pixel of the solid-state image sensor Subtract the average value from the pixel signal obtained from, accumulate the value obtained by subtraction for each column, calculate the accumulated value as an error value for each column,
During imaging using the solid-state imaging device,
The error value corresponding to the column position of the image signal output from the solid-state image sensor is corrected according to the color of the image signal output from the solid-state image sensor,
A signal processing method for a solid-state imaging device, wherein the corrected error value is subtracted from the image signal output from the solid-state imaging device.
少なくともフォトディテクタとＭＯＳスイッチとを有し、マトリクス状に配置された複数の単位画素と、
カラム方向に並んだ単位画素群毎に設けられており、各フォトディテクタにより検出された検出信号を伝送する複数のカラム信号線と、
行方向に並んだ単位画素群毎に設けられており、上記ＭＯＳスイッチを制御して上記検出信号を読み出す単位画素を選択する水平選択線と、
上記カラム信号線に伝送される検出信号を増幅する複数のカラム増幅器とを有し、
マトリクス状に配置された複数の単位画素が順次選択されることにより画像信号を出力すること
を特徴とする請求４記載の固体撮像素子の信号処理方法。 The solid-state imaging device is
A plurality of unit pixels having at least a photodetector and a MOS switch and arranged in a matrix;
A plurality of column signal lines that are provided for each unit pixel group arranged in the column direction and transmit detection signals detected by the respective photodetectors;
A horizontal selection line that is provided for each unit pixel group arranged in the row direction and controls the MOS switch to select a unit pixel for reading the detection signal;
A plurality of column amplifiers for amplifying detection signals transmitted to the column signal lines;
5. The signal processing method for a solid-state imaging device according to claim 4, wherein an image signal is output by sequentially selecting a plurality of unit pixels arranged in a matrix.
上記固体撮像素子から出力された画像信号のカラム毎の誤差値を補正する補正手段と、
上記固体撮像素子から出力された画像信号から、補正手段により補正された誤差値を減算する減算手段と、
上記減算手段により誤差値が減算された画像信号を記録媒体に記録又は表示装置に表示する記録又は表示手段とを備え、
上記カラム毎の誤差値は、
上記固体撮像素子を遮光又は上記固体撮像素子に対して一定光量の光を照射し、上記固体撮像素子の所定領域の画素から得られる画素信号の平均値を算出し、上記固体撮像素子の各画素から得られる画素信号から上記平均値を減算し、減算して得られた値を上記カラム毎に累積する処理を、撮像前に予め行うことによって算出され、
上記補正手段は、
上記固体撮像素子から出力された画像信号のカラム位置に対応した誤差値を、上記固体撮像素子から出力された画像信号の色に応じて補正し、
補正した誤差値を上記減算手段に供給すること
を特徴とする撮像装置。 In an imaging apparatus using a solid-state imaging device having a plurality of output systems that output image signals obtained from pixels arranged in the column direction inside,
Correction means for correcting an error value for each column of the image signal output from the solid-state imaging device;
Subtracting means for subtracting the error value corrected by the correcting means from the image signal output from the solid-state imaging device;
Recording or display means for recording the image signal from which the error value has been subtracted by the subtracting means, or recording or displaying the image signal on a display device;
The error value for each column is
The solid-state imaging device is shielded from light, or a certain amount of light is irradiated to the solid-state imaging device, an average value of pixel signals obtained from pixels in a predetermined area of the solid-state imaging device is calculated, and each pixel of the solid-state imaging device Subtracting the average value from the pixel signal obtained from the above, and calculating the value obtained by the subtraction for each column is calculated in advance before imaging,
The correction means is
The error value corresponding to the column position of the image signal output from the solid-state image sensor is corrected according to the color of the image signal output from the solid-state image sensor,
An image pickup apparatus, wherein the corrected error value is supplied to the subtracting means.
少なくともフォトディテクタとＭＯＳスイッチとを有し、マトリクス状に配置された複数の単位画素と、
カラム方向に並んだ単位画素群毎に設けられており、各フォトディテクタにより検出された検出信号を伝送する複数のカラム信号線と、
行方向に並んだ単位画素群毎に設けられており、上記ＭＯＳスイッチを制御して上記検出信号を読み出す単位画素を選択する水平選択線と、
上記カラム信号線に伝送される検出信号を増幅する複数のカラム増幅器とを有し、
マトリクス状に配置された複数の単位画素が順次選択されることにより画像信号を出力すること
を特徴とする請求項６記載の撮像装置。 The solid-state imaging device is
A plurality of unit pixels having at least a photodetector and a MOS switch and arranged in a matrix;
A plurality of column signal lines that are provided for each unit pixel group arranged in the column direction and transmit detection signals detected by the respective photodetectors;
A horizontal selection line that is provided for each unit pixel group arranged in the row direction and controls the MOS switch to select a unit pixel for reading the detection signal;
A plurality of column amplifiers for amplifying detection signals transmitted to the column signal lines;
The imaging apparatus according to claim 6, wherein an image signal is output by sequentially selecting a plurality of unit pixels arranged in a matrix.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004319558A JP4661168B2 (en) | 2004-11-02 | 2004-11-02 | Signal processing apparatus and method for solid-state imaging device, and imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004319558A JP4661168B2 (en) | 2004-11-02 | 2004-11-02 | Signal processing apparatus and method for solid-state imaging device, and imaging apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006135425A true JP2006135425A (en) | 2006-05-25 |
| JP4661168B2 JP4661168B2 (en) | 2011-03-30 |
Family
ID=36728607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004319558A Expired - Fee Related JP4661168B2 (en) | 2004-11-02 | 2004-11-02 | Signal processing apparatus and method for solid-state imaging device, and imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4661168B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008271186A (en) * | 2007-04-20 | 2008-11-06 | Olympus Corp | Solid-state imaging apparatus |
| JP2009135787A (en) * | 2007-11-30 | 2009-06-18 | Sony Corp | Noise detector, imaging device and noise detection method |
| JP2009177646A (en) * | 2008-01-25 | 2009-08-06 | Canon Inc | Imaging apparatus, control method thereof and program |
| EP2645708A3 (en) * | 2012-03-30 | 2017-02-22 | FUJIFILM Corporation | Stripe noise correction method of captured image, photographing apparatus and electronic endoscopic apparatus |
| JP2019022096A (en) * | 2017-07-18 | 2019-02-07 | オリンパス株式会社 | Endoscope, control device, correction method, and program |
| US11134190B2 (en) | 2017-01-12 | 2021-09-28 | Sony Semiconductor Solutions Corporation | Imaging device, imaging method, electronic device, and signal processing device |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0654330A (en) * | 1992-07-28 | 1994-02-25 | Fuji Photo Film Co Ltd | Video camera and focusing method therefor |
| JPH06189200A (en) * | 1992-12-22 | 1994-07-08 | Canon Inc | Solid-state image pickup device |
| JPH1013582A (en) * | 1996-06-25 | 1998-01-16 | Casio Comput Co Ltd | Printer |
| JPH10108207A (en) * | 1996-10-01 | 1998-04-24 | Canon Inc | Image pickup device and method for eliminating longitudinal stripe |
| JPH10322598A (en) * | 1997-05-15 | 1998-12-04 | Sony Corp | Solid-state image pickup device |
| JPH11136693A (en) * | 1997-10-31 | 1999-05-21 | Olympus Optical Co Ltd | Electron endoscope |
| JP2000261730A (en) * | 1999-03-10 | 2000-09-22 | Matsushita Electric Ind Co Ltd | Solid-state image pickup device and camera using it |
| JP2000287135A (en) * | 1999-03-31 | 2000-10-13 | Sony Corp | Image pickup unit and device and method for detecting pixel defect in solid-state image pickup element |
| JP2003018475A (en) * | 2001-06-28 | 2003-01-17 | Sharp Corp | Method for suppressing fixed pattern noise for solid- state imaging apparatus and the solid-state imaging apparatus |
| JP2005109968A (en) * | 2003-09-30 | 2005-04-21 | Matsushita Electric Ind Co Ltd | Color solid-state image pickup device |
-
2004
- 2004-11-02 JP JP2004319558A patent/JP4661168B2/en not_active Expired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0654330A (en) * | 1992-07-28 | 1994-02-25 | Fuji Photo Film Co Ltd | Video camera and focusing method therefor |
| JPH06189200A (en) * | 1992-12-22 | 1994-07-08 | Canon Inc | Solid-state image pickup device |
| JPH1013582A (en) * | 1996-06-25 | 1998-01-16 | Casio Comput Co Ltd | Printer |
| JPH10108207A (en) * | 1996-10-01 | 1998-04-24 | Canon Inc | Image pickup device and method for eliminating longitudinal stripe |
| JPH10322598A (en) * | 1997-05-15 | 1998-12-04 | Sony Corp | Solid-state image pickup device |
| JPH11136693A (en) * | 1997-10-31 | 1999-05-21 | Olympus Optical Co Ltd | Electron endoscope |
| JP2000261730A (en) * | 1999-03-10 | 2000-09-22 | Matsushita Electric Ind Co Ltd | Solid-state image pickup device and camera using it |
| JP2000287135A (en) * | 1999-03-31 | 2000-10-13 | Sony Corp | Image pickup unit and device and method for detecting pixel defect in solid-state image pickup element |
| JP2003018475A (en) * | 2001-06-28 | 2003-01-17 | Sharp Corp | Method for suppressing fixed pattern noise for solid- state imaging apparatus and the solid-state imaging apparatus |
| JP2005109968A (en) * | 2003-09-30 | 2005-04-21 | Matsushita Electric Ind Co Ltd | Color solid-state image pickup device |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008271186A (en) * | 2007-04-20 | 2008-11-06 | Olympus Corp | Solid-state imaging apparatus |
| JP2009135787A (en) * | 2007-11-30 | 2009-06-18 | Sony Corp | Noise detector, imaging device and noise detection method |
| JP2009177646A (en) * | 2008-01-25 | 2009-08-06 | Canon Inc | Imaging apparatus, control method thereof and program |
| EP2645708A3 (en) * | 2012-03-30 | 2017-02-22 | FUJIFILM Corporation | Stripe noise correction method of captured image, photographing apparatus and electronic endoscopic apparatus |
| US11134190B2 (en) | 2017-01-12 | 2021-09-28 | Sony Semiconductor Solutions Corporation | Imaging device, imaging method, electronic device, and signal processing device |
| JP2019022096A (en) * | 2017-07-18 | 2019-02-07 | オリンパス株式会社 | Endoscope, control device, correction method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4661168B2 (en) | 2011-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101211117B1 (en) | Signal processing apparatus and signal processing method for solid-state image pickup element and image pickup apparatus | |
| KR101252275B1 (en) | The signal process apparatus and method of the solid-state image pickup device and imaging device | |
| JP5852324B2 (en) | Imaging apparatus, control method therefor, and program | |
| US7355638B2 (en) | Image pickup apparatus having function of suppressing fixed pattern noise | |
| JP2006295763A (en) | Imaging apparatus | |
| JP5268454B2 (en) | Imaging device | |
| JP2009005329A (en) | Imaging apparatus, and processing method thereof | |
| JP5207926B2 (en) | Imaging apparatus and control method thereof | |
| JP4268643B2 (en) | Imaging apparatus and noise reduction method thereof | |
| JP2005110178A (en) | Solid-state imaging apparatus | |
| JP4661168B2 (en) | Signal processing apparatus and method for solid-state imaging device, and imaging apparatus | |
| JP2008306565A (en) | Imaging apparatus and signal correcting method thereof | |
| JP5271201B2 (en) | Image signal processing apparatus and imaging apparatus | |
| JP4129019B2 (en) | Shading correction method | |
| JP2008053812A (en) | Imaging apparatus | |
| JP2010166479A (en) | Imaging device and method of correcting imaged image | |
| JP4129035B2 (en) | Shading correction method | |
| JP2010141392A (en) | Solid-state image pickup device | |
| JP5421703B2 (en) | Image signal processing apparatus and imaging apparatus | |
| JP2006261932A (en) | Solid imaging device, solid imaging system, and black level setting method of solid imaging device | |
| JP2006229308A (en) | Imaging apparatus and imaging method | |
| JP2006013606A (en) | Solid-state imaging apparatus and solid-state imaging system using same | |
| JP2016015611A (en) | Imaging device and driving method therefor | |
| JP2013017039A (en) | Solid-state image pickup device and dark shading correction method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070516 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101207 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101220 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140114 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |