JP2007081453A - Imaging apparatus, signal processing method, and program - Google Patents
Imaging apparatus, signal processing method, and program Download PDFInfo
- Publication number
- JP2007081453A JP2007081453A JP2005262662A JP2005262662A JP2007081453A JP 2007081453 A JP2007081453 A JP 2007081453A JP 2005262662 A JP2005262662 A JP 2005262662A JP 2005262662 A JP2005262662 A JP 2005262662A JP 2007081453 A JP2007081453 A JP 2007081453A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- image area
- light
- column noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、Ｘ−Ｙアドレス型固体撮像素子により被写体を撮像する撮像装置及び信号処理方法並びにプログラムに関する。 The present invention relates to an imaging apparatus, a signal processing method, and a program for imaging a subject using an XY address type solid-state imaging device.
ＣＭＯＳ（complementary metal oxide semiconductor）センサに代表されるＸ−Ｙアドレス型の固体撮像素子１は、図６に示すように多数の画素が行列状に配列されており、この画素部５２の各行（以下、ラインという。）を順に選択するための垂直走査回路５４と、画素部５２の各列（以下、カラムという。）を順に選択するための水平走査回路６０と、信号を出力するための出力回路６１を備えている。
An XY address type solid-
また、垂直走査回路５４と水平走査回路５９は、例えば、シフトレジスタによって構成され、垂直走査パルスおよび水平走査パルスをラインごと及びカラムごとに１個ずつ順に発生するようになっている。
The
また、各画素に蓄えられた画像信号を読み出す際には、垂直走査回路５４によりパルス信号が一の垂直選択線５３に加えられ、１ライン分の各画素トランジスタ５１をすべて通電させ、各感光部５０から画像信号が各垂直信号線５５に読み出される。各垂直信号線５５に読み出された画像信号は、画素ごとのオフセット信号を除去する相関二重サンプリング回路（ＣＤＳ）５６等の回路に供給される。
Further, when the image signal stored in each pixel is read, a pulse signal is applied to one
水平走査回路５９は、各垂直信号線５５に接続されているトランジスタ５１に水平選択線５９を介してパルス信号を加え、該トランジスタ５１を通電状態にする。ＣＤＳ５６によりオフセット信号が除去されたカラムの画素信号は、水平信号線５８に読み出され、出力回路６１により電圧信号に変換されて、外部に出力される。
The
このようなＸ−Ｙアドレス型の固体撮像素子では、出力回路６１から供給される画素信号は、カラムごとに垂直信号線５５が異なるため、ＣＤＳ５６やトランジスタ５７などに特性のばらつきがあると、カラムごとに異なるオフセットが画像信号に乗ってしまう。このカラムごとのオフセットが表示画面上に筋状の固定パターンノイズ（以下、カラムノイズという。）として現れ、画質の劣化を生じさせてしまう。
In such an XY address type solid-state imaging device, the pixel signal supplied from the
この劣化の防止を図る方法として、固体撮像素子からカラムノイズ成分のみを抽出し、抽出したカラムノイズ成分を補正のための基準信号として保持しておき、通常の撮像動作時に固体撮像素子の信号出力から保持されている基準信号を減算することによってカラムノイズを補正するものがある。 As a method for preventing this deterioration, only the column noise component is extracted from the solid-state image sensor, and the extracted column noise component is held as a reference signal for correction, and the signal output of the solid-state image sensor during normal imaging operation In some cases, column noise is corrected by subtracting the reference signal held from the column.
しかし、通常は、画素部５２に光が照射されると、カラムノイズ成分に入射光による信号成分が加算されるため、この出力信号を補正のための基準信号として使うことはできない。そこで、特許文献１では、図７に示すように、画素部５２を、光が照射される有効画像領域Ａと、アルミ薄膜等による遮光板により数カラムから数十カラムに渡って光の照射が遮られる水平オプティカルブラック（以下、ＨＯＰＢという。）領域Ｂと、アルミ薄膜等による遮光板により数ラインから数十ラインに渡って光の照射が遮られる垂直オプティカルブラック（以下、ＶＯＰＢという。）領域Ｃとにより構成し、カラムノイズの検出・補正を行っている。
However, normally, when the
ところで、カラムノイズの原因となるカラムごとのオフセットは、有効画像領域Ａに位置する画素だけではなく、遮光された黒レベル基準のＶＯＰＢ領域Ｃに位置する画素からの出力にも同様に現れる。そのため、ＶＯＰＢ領域Ｃの画素からの信号を用いてカラムノイズ成分を検出し、有効画像領域Ａの画素からの信号から差し引くことで補正できる。 By the way, the offset for each column causing the column noise appears not only in the pixel located in the effective image area A but also in the output from the pixel located in the shielded black level reference VOPB area C. Therefore, it can be corrected by detecting a column noise component using a signal from a pixel in the VOPB area C and subtracting it from a signal from a pixel in the effective image area A.
しかし、ＶＯＰＢ領域Ｃの各画素の信号を用いてカラムノイズを補正するための基準信号を得る場合には、ＶＯＰＢ領域Ｃの各画素から出力されるばらつきのある暗電流成分（以下、ランダムノイズという。）の影響が問題となる。特に、ＶＯＰＢ領域Ｃは、数ラインから数十ライン分であるため画素数が少なく、平均化処理を行ったとしても、各画素から出力されるランダムノイズを十分に抑圧することができない。 However, when obtaining a reference signal for correcting column noise using the signal of each pixel in the VOPB region C, there is a variation in dark current components (hereinafter referred to as random noise) output from each pixel in the VOPB region C. )) Is a problem. In particular, since the VOPB region C is from several lines to several tens of lines, the number of pixels is small, and even if averaging processing is performed, random noise output from each pixel cannot be sufficiently suppressed.
そこで、ＶＯＰＢ領域Ｃのライン数を増加してしまうと、カラムノイズ検出専用の領域が大きくなり、その分、固体撮像素子が大きくなってしまう。 Therefore, if the number of lines in the VOPB area C is increased, the area dedicated to column noise detection becomes larger, and the solid-state imaging device becomes larger correspondingly.
また、固体撮像素子から読み出す信号量もＶＯＰＢ領域Ｃの分増加し、高速に読み出して処理できるだけの性能がハードウェアに求められる。 In addition, the amount of signal read from the solid-state imaging device is also increased by the VOPB area C, and the hardware is required to have performance sufficient to read and process at high speed.
これに対して、固体撮像素子を有効画像領域ＡとＨＯＰＢ領域Ｂのみで構成することが考えられる。この構成の場合には、有効画像領域Ａを一時的に遮光してカラムノイズを検出してメモリに保存し、カラムノイズの補正を行う。 On the other hand, it is conceivable that the solid-state imaging device is configured only by the effective image area A and the HOPB area B. In the case of this configuration, the effective image area A is temporarily shielded, column noise is detected and stored in the memory, and column noise is corrected.
しかしながら、このような方法では、工場出荷時又は電源投入時の一度しかカラムノイズを検出しないため、熱などの外的要因によってカラムノイズ成分が変化したときには、カラムノイズの補正がうまく行かず、結果として画質を劣化させてしまう。 However, in such a method, column noise is detected only once at the time of shipment from the factory or when the power is turned on, so when the column noise component changes due to external factors such as heat, the column noise is not corrected properly. As a result, the image quality deteriorates.
そこで、本発明では、固体撮像素子を有効画像領域ＡとＨＯＰＢ領域Ｂのみで構成しながら、カラムノイズ成分が変化した場合であっても、当該カラムノイズ成分の変化に適応的に対応し、良質な画像を得る撮像装置及び信号処理方法並びにプログラムを提供する。 Therefore, in the present invention, the solid-state imaging device is configured only by the effective image area A and the HOPB area B, and even when the column noise component is changed, the solid-state imaging device is adaptively adapted to the change of the column noise component, and the high quality. Provided are an imaging apparatus, a signal processing method, and a program for obtaining a clear image.
本発明に係る撮像装置は、上述の課題を解決するために、画素が行列状に配置され、光が照射される有効画像領域と、光の照射が遮られる水平遮光画像領域とからなる画素部と、垂直選択線で共通に接続された同一行の画素の制御電極を制御する垂直走査回路と、同一列の画素の主電極が共通に接続された垂直信号線を介して出力される画素信号を行単位で順次出力する水平走査回路と、水平走査回路からの画素信号を出力する出力回路とを有する固体撮像素子手段と、有効画像領域に照射される光を遮光する遮光手段と、遮光手段により光が遮光された状態で有効画像領域に配置されている画素から出力される画素信号に基づき、有効画像領域のオフセット信号を検出する第１の検出手段と、水平遮光画像領域に配置されている画素から出力される画素信号に基づき、水平遮光画像領域の基準となるオフセット信号を検出する第２の検出手段と、第２の検出手段により基準となるオフセット信号を検出した後に、水平遮光画像領域に配置されている画素から出力される画素信号に基づき、水平遮光画像領域のオフセット信号を検出する第３の検出手段と、第２の検出手段により検出された基準オフセット信号と、第３の検出手段により検出された所定時間経過後のオフセット信号を比較する比較手段と、第１の検出手段から検出されたオフセット信号と、比較手段による比較結果とに基づいて補正信号を生成する補正信号生成手段と、補正信号生成手段により生成された補正信号に基づいて、有効画像領域に配置されている画素から出力されている画素信号を補正する補正手段とを備える。 In order to solve the above-described problems, an imaging apparatus according to the present invention includes a pixel unit including pixels, which are arranged in a matrix, an effective image area where light is irradiated, and a horizontal light-shielded image area where light irradiation is blocked. And a vertical scanning circuit for controlling the control electrodes of the pixels in the same row connected in common by the vertical selection line, and a pixel signal output via the vertical signal line in which the main electrodes of the pixels in the same column are connected in common A solid-state image pickup device means having a horizontal scanning circuit that sequentially outputs in units of rows, and an output circuit that outputs a pixel signal from the horizontal scanning circuit, a light shielding means for shielding light irradiated to an effective image area, and a light shielding means And a first detection means for detecting an offset signal of the effective image area based on a pixel signal output from a pixel arranged in the effective image area in a state where light is blocked by Out of the pixel A second detection unit that detects an offset signal that serves as a reference for the horizontal light-shielded image region based on the pixel signal that is generated, and an offset signal that serves as a reference is detected by the second detection unit and is then disposed in the horizontal light-shielded image region. A third detection unit that detects an offset signal of the horizontal light-shielded image region based on a pixel signal output from the active pixel, a reference offset signal detected by the second detection unit, and a third detection unit A comparison means for comparing the offset signal after the predetermined time has elapsed, a correction signal generation means for generating a correction signal based on the offset signal detected from the first detection means, and a comparison result by the comparison means, and a correction Correction means for correcting pixel signals output from pixels arranged in the effective image area based on the correction signal generated by the signal generation means; Provided.
また、本発明に係る信号処理方法は、上述の課題を解決するために、画素が行列状に配置され、光が照射される有効画像領域と、光の照射が遮られる水平遮光画像領域とからなる画素部と、垂直選択線で共通に接続された同一行の画素の制御電極を制御する垂直走査回路と、同一列の画素の主電極が共通に接続された垂直信号線を介して出力される画素信号を行単位で順次出力する水平走査回路と、水平走査回路からの画素信号を出力する出力回路とを有する固体撮像素子から出力される信号の信号処理方法であって、有効画像領域に照射される光を遮光する遮光工程と、遮光工程により光が遮光された状態で有効画像領域に配置されている画素から出力される画素信号に基づき、有効画像領域のオフセット信号を検出する第１の検出工程と、水平遮光画像領域に配置されている画素から出力される画素信号に基づき、水平遮光画像領域の基準となるオフセット信号を検出する第２の検出工程と、第２の検出工程により基準となるオフセット信号を検出した後に、水平遮光画像領域に配置されている画素から出力される画素信号に基づき、水平遮光画像領域のオフセット信号を検出する第３の検出工程と、第２の検出工程により検出された基準オフセット信号と、第３の検出工程により検出された所定時間経過後のオフセット信号を比較する比較工程と、第１の検出工程から検出されたオフセット信号と、比較工程による比較結果とに基づいて補正信号を生成する補正信号生成工程と、補正信号生成工程により生成された補正信号に基づいて、有効画像領域に配置されている画素から出力されている画素信号を補正する補正工程とを備える。 In order to solve the above-described problem, the signal processing method according to the present invention includes an effective image area where pixels are arranged in a matrix and irradiated with light, and a horizontal light-shielded image area where light irradiation is blocked. And a vertical scanning circuit for controlling the control electrodes of the pixels in the same row connected in common by the vertical selection line, and a vertical signal line in which the main electrodes of the pixels in the same column are connected in common. A signal processing method for a signal output from a solid-state imaging device having a horizontal scanning circuit that sequentially outputs pixel signals in units of rows and an output circuit that outputs pixel signals from the horizontal scanning circuit, the method including: A first step of detecting an offset signal of the effective image area based on a pixel signal output from a pixel arranged in the effective image area in a state where the light is blocked by the light shielding process; Detection process and A second detection step for detecting an offset signal serving as a reference for the horizontal shading image region based on a pixel signal output from a pixel arranged in the horizontal shading image region, and an offset signal serving as a reference by the second detection step After the detection, the third detection step of detecting the offset signal of the horizontal light-shielding image region based on the pixel signal output from the pixel arranged in the horizontal light-shielding image region, and the second detection step Based on the reference offset signal, the comparison step for comparing the offset signal detected after the elapse of the predetermined time detected by the third detection step, the offset signal detected from the first detection step, and the comparison result by the comparison step A correction signal generation step for generating a correction signal, and a pixel arranged in the effective image area based on the correction signal generated by the correction signal generation step. And a correction step of correcting a pixel signal that is output.
また、本発明に係るプログラムは、上述の課題を解決するために、画素が行列状に配置され、光が照射される有効画像領域と、光の照射が遮られる水平遮光画像領域とからなる画素部と、垂直選択線で共通に接続された同一行の画素の制御電極を制御する垂直走査回路と、同一列の画素の主電極が共通に接続された垂直信号線を介して出力される画素信号を行単位で順次出力する水平走査回路と、水平走査回路からの画素信号を出力する出力回路とを有する固体撮像素子から出力される信号を処理するプログラムであって、有効画像領域に照射される光を遮光する遮光工程と、遮光工程により光が遮光された状態で有効画像領域に配置されている画素から出力される画素信号に基づき、有効画像領域のオフセット信号を検出する第１の検出工程と、水平遮光画像領域に配置されている画素から出力される画素信号に基づき、水平遮光画像領域の基準となるオフセット信号を検出する第２の検出工程と、第２の検出工程により基準となるオフセット信号を検出した後に、水平遮光画像領域に配置されている画素から出力される画素信号に基づき、水平遮光画像領域のオフセット信号を検出する第３の検出工程と、第２の検出工程により検出された基準オフセット信号と、第３の検出工程により検出された所定時間経過後のオフセット信号を比較する比較工程と、第１の検出工程から検出されたオフセット信号と、比較工程による比較結果とに基づいて補正信号を生成する補正信号生成工程と、補正信号生成工程により生成された補正信号に基づいて、有効画像領域に配置されている画素から出力されている画素信号を補正する補正工程とをコンピュータに実行させるためのものである。 In addition, in order to solve the above-described problem, the program according to the present invention is a pixel including pixels that are arranged in a matrix, an effective image area where light is irradiated, and a horizontal light-shielded image area where light irradiation is blocked. And a vertical scanning circuit for controlling control electrodes of pixels in the same row connected in common by a vertical selection line, and a pixel output through a vertical signal line in which main electrodes of pixels in the same column are connected in common A program for processing a signal output from a solid-state imaging device having a horizontal scanning circuit that sequentially outputs signals in units of rows and an output circuit that outputs pixel signals from the horizontal scanning circuit, and is applied to an effective image area. And a first detection for detecting an offset signal of the effective image area based on a pixel signal output from a pixel arranged in the effective image area in a state where the light is blocked by the light shielding process. Craft And a second detection step for detecting an offset signal serving as a reference for the horizontal light-shielded image region based on a pixel signal output from a pixel arranged in the horizontal light-shielded image region, and a reference by the second detection step. After detecting the offset signal, based on the pixel signal output from the pixel arranged in the horizontal light-shielding image region, a third detection step for detecting the offset signal in the horizontal light-shielding image region, and detection by the second detection step A comparison step for comparing the reference offset signal that has been detected and an offset signal after the elapse of a predetermined time detected by the third detection step, an offset signal detected from the first detection step, and a comparison result by the comparison step A correction signal generation step for generating a correction signal based on the correction signal, and an image arranged in the effective image area based on the correction signal generated by the correction signal generation step. It is intended for executing a correction process for correcting the pixel signal output to the computer from.
本発明では、通常の撮像装置が有する固体撮像素子の構成（有効画像領域とＨＯＰＢ領域）において、時間の経過により有効画像領域Ａのカラムノイズ値が変化した場合に、ＨＯＰＢ領域Ｂにおけるカラムノイズの変化に応じてカラムノイズ補正値を生成し、当該カラムノイズ補正値によって有効画像領域Ａのカラムノイズを適宜補正するので、常に良質な画像を得ることができる。 In the present invention, when the column noise value of the effective image area A changes with the passage of time in the configuration of the solid-state imaging device (effective image area and HOPB area) of a normal imaging apparatus, the column noise in the HOPB area B A column noise correction value is generated according to the change, and the column noise in the effective image area A is appropriately corrected by the column noise correction value, so that a high-quality image can always be obtained.
以下、本発明の実施の形態として、被写体を撮像する撮像装置及び信号処理方法並びにプログラムについて説明する。 Hereinafter, an imaging apparatus, a signal processing method, and a program for imaging a subject will be described as embodiments of the present invention.
撮像装置１は、図１に示すように、入射光を集光するレンズ１０と、レンズ１０で集光された光を所定時間だけ通過させるシャッタ１１と、レンズ１０及びシャッタ１１を介して入射される被写体の画像を撮像する固体撮像素子１２と、シャッタ１１と固体撮像素子１２を制御する制御部１３と、固体撮像素子１２により撮像された画素信号に所定の信号処理を行う信号処理部１４とを備えている。
As shown in FIG. 1, the
被写体から発せられた光は、レンズ１０及びシャッタ１１の光学系を経て、固体撮像素子１２に入射する。固体撮像素子１２は、被写体を撮像する画素部を有している。画素部は、図２に示すように、光が照射される有効画像領域Ａと、アルミ薄膜等による遮光板により数カラムから数十カラムに渡って光の照射が遮られる水平オプティカルブラック（以下、ＨＯＰＢという。）領域Ｂで構成されている。このＨＯＰＢ領域Ｂは、基準となる黒の信号レベルを獲得するために存在する。画像を撮影するときには、有効画像領域ＡとＨＯＰＢ領域Ｂの信号を同一フレーム内に読出し、画像の黒レベルを検出・補正している。本発明では、詳細は以下に述べるが、ＨＯＰＢ領域Ｂの信号にもカラムノイズが存在することを利用してカラムノイズ成分の変化分をリアルタイムに検出し、メモリに蓄えられたカラムノイズ量に補正処理を行うものである。
Light emitted from the subject enters the solid-
制御部１３は、シャッタ１１の開閉動作を制御する。また、制御部１３は、固体撮像素子１２を制御し、選択的に有効画像領域Ａ及びＨＯＰＢ領域Ｂに配置されている画素から出力される画素信号Ｓ１を信号処理部１４に出力させる。
The
ここで、固体撮像素子１２について図３を用いて説明する。固体撮像素子１２は、例えば、Ｘ−Ｙアドレス型を採用し、図３に示すように、光の照射に応じて電荷を蓄積する感光部１５と、感光部１５に蓄積されている電荷を出力する画素トランジスタ１６からなる画素が行列状に配置されてなる画素部１７と、画素部１７に配列されている画素を行（ライン）ごとに接続している垂直選択線１８にパルス信号を印加する垂直走査回路１９と、垂直走査回路１９によるパルス信号の印加により、画素部１７に配列されている画素を列（カラム）ごとに接続している垂直信号線２０に供給された信号のオフセット信号を除去する相関２重サンプリング回路（ＣＤＳ）２１と、ＣＤＳ２１によりオフセット信号が除去された信号を水平信号線２２に供給するためのトランジスタ２３と、ＣＤＳ２１によりオフセット信号が除去された信号を水平信号線２２に供給させるために水平選択線２４を介してトランジスタ２３にパルス信号を供給する水平走査回路２５と、水平走査回路２５に供給された信号を信号処理部１４に供給する出力回路２６とを備える。
Here, the solid-
このようなＸ−Ｙアドレス型の固体撮像素子１２では、出力回路２６から供給される画素信号は、配置されている画素により列（カラム）ごとに垂直信号線４が異なるため、ＣＤＳ２１やトランジスタ２３などに特性のばらつきがあると、カラムごとに異なるオフセット信号が画像信号に乗ってしまう。このカラムごとのオフセット信号が表示画面上に筋状の固定パターンノイズ（以下、カラムノイズという。）として現れ、画質の劣化を生じさせてしまう原因となる。固体撮像素子１２の後段にある信号処理部１４は、このようなカラムノイズを除去する。
In such an XY address type solid-
つぎに、信号処理部１４の構成について以下に説明する。信号処理部１４は、図４に示すように、固体撮像素子１２の出力信号をデジタル信号に変換するＡＦＥ（analog front end）部３０と、シャッタ１１で遮光された有効画像領域Ａのカラムノイズ成分を検出するカラムノイズ検出部３１と、カラムノイズ検出部３１で検出されたカラムノイズ成分を記憶保持するラインメモリ３２と、ＨＯＰＢ領域Ｂのカラムノイズを検出し、基準となるカラムノイズと所定時間経過後のカラムノイズとを比較し、変化を検出するカラムノイズ変化検出部３３と、カラムノイズ変化検出部３３で検出されたカラムノイズの変化量と、ラインメモリ３２に記憶されているカラムノイズに基づいてカラムノイズ補正値を生成するカラムノイズ補正値生成部３４と、カラムノイズ補正値生成部３４で生成されたカラムノイズ補正値に基づき、ＡＦＥ部３０から供給される画素信号のカラムノイズ成分を補正するカラムノイズ補正部３５と、カラムノイズ補正部３５の出力信号に所定のカメラ処理を行うカメラ信号処理部３６とを備える。
Next, the configuration of the
ＡＦＥ部３０は、固体撮像素子１２から供給された画素信号Ｓ１をデジタル信号に変換し、変換後の画素信号を出力する。また、ＡＦＥ部３０は、ＨＯＰＢ領域Ｂに配置されている画素から出力される信号Ｓ２をカラムノイズ変化検出部３３に供給し、シャッタ１１により光が遮光された状態で有効画像領域Ａに配置されている画素から出力される信号Ｓ３をカラムノイズ検出部３１に供給し、シャッタ１１により光が遮光されていない状態で有効画像領域Ａに配置されている画素から出力される信号Ｓ４をカラムノイズ補正部３５に供給する。
The
カラムノイズ検出部３１は、ＡＦＥ部３０から供給された信号Ｓ３に基づき、有効画像領域Ａのカラムノイズ値を検出する。カラムノイズ検出部３１は、有効画像領域Ａのカラムノイズ値を求める時（例えば、工場調整時又は電源投入時）は、制御部１３による制御に応じてシャッタ１１が閉じられ、有効画像領域Ａが遮光された状態における固体撮像素子１２からカラムノイズ検出用の信号Ｓ３が供給される。カラムノイズ検出部３１は、信号Ｓ３に基づいて演算を行い、演算により得られた（検出された）カラムノイズ値をラインメモリ３２に保存する。なお、カラムノイズ検出部３１は、有効画像領域Ａのカラムごとにカラムノイズ値を算出し、算出したカラムごとのカラムノイズ値をラインメモリ３２に記憶する。
The column
カラムノイズ変化検出部３３は、カラムノイズ検出部３１により有効画像領域Ａのカラムノイズ量を求める時（例えば、工場調整時又は電源投入時）にＡＦＥ部３０から供給されてきたＨＯＰＢ領域Ｂの信号Ｓ２に基づいてカラムノイズ（基準カラムノイズ）を検出する。また、カラムノイズ変化検出部３３は、基準カラムノイズを検出した後に、ＡＦＥ部３０から供給されてきたＨＯＰＢ領域Ｂの信号Ｓ２に基づいてカラムノイズ（比較対照カラムノイズ）を検出する。カラムノイズ変化検出部３３は、基準カラムノイズと比較対照カラムノイズを比較し、カラムノイズの変化量をリアルタイムに検出する。そして、カラムノイズ変化検出部３３は、検出したカラムノイズの変化量をカラムノイズ補正値生成部３４に供給する。
The column noise
ここで、カラムノイズ変化検出部３３によりカラムノイズの変化を検出する場合の一例について説明する。図５に示すように、ＨＯＰＢ領域Ｂの各カラムで検出したカラムノイズＣＮｉは正負存在する。そこで、カラムノイズの絶対値｜ＣＮｉ｜を取り、平均化Ａ＝1／Ｎ（Σ｜ＣＮｉ｜）を行う（ＨＯＰＢ領域Ｂのカラム数をＮとする）。なお、平均化においては、カラム毎に変化量を求めてから、その変化量を平均化してもよい。
Here, an example in which the column noise
カラムノイズ変化検出部３３は、基準カラムノイズＡと、画像撮影時のカラムノイズＢとの比をカラムノイズの変化量とし、例えば、カラムノイズＢ／カラムノイズＡ＝２であれば、カラムノイズが２倍に変化したものと想定する。
The column noise
カラムノイズ補正値生成部３４は、カラムノイズ変化検出部３３から供給されたＨＯＰＢ領域Ｂのカラムノイズの変化量に基づいて、ラインメモリ３２に保存されている有効画像領域Ａのカラムノイズ値を補正し、カラムノイズ補正値を生成する。カラムノイズ補正値生成部３４は、生成したカラムノイズ補正値をカラムノイズ補正部３５に供給する。
The column noise correction
また、カラムノイズ補正値生成部３４は、カラムノイズ変化検出部３３で検出されたカラムノイズの変化量をそのままカラムノイズ補正値の生成に使用しても良いが、ＨＯＰＢ領域Ｂと有効画像領域Ａのカラムノイズの特性が多少異なり変化量をそのまま使えない場合には、カラムノイズ変化検出部３３で検出されたカラムノイズ変化量に対応する変換テーブルを有し、当該変換テーブルを参照してラインメモリ３２に記憶されている有効画像領域Ａのカラムノイズ値を補正し、カラムノイズ補正値を生成しても良い。
The column noise correction
また、カラムノイズ補正値生成部３４は、カラムノイズ変化検出部３３により検出されたカラムノイズ変化量に時定数の大きいフィルタをかけて、カラムノイズ補正部３５で用いるカラムノイズ値の変化を緩やかにする構成であっても良いし、ランダムノイズ成分を取り除くフィルタをかけることにより、カラムノイズ変化の検出精度を高める構成であっても良い。
In addition, the column noise correction
また、有効画像領域Ａは、熱源（例えば、電源）に近いカラムほど温度による影響を受けやすい傾向にある。撮像装置１は、このような熱源による影響を考慮してカラムノイズ補正値を生成するために、有効画像領域Ａの画素を複数のカラムごとに分け、複数のカラムごとにカラムノイズを調整するための調整値を保持する調整値保持部３７を備える。
Also, the effective image area A tends to be more susceptible to temperature as the column is closer to the heat source (for example, power source). In order to generate a column noise correction value in consideration of the influence of such a heat source, the
カラムノイズ補正値生成部３４は、カラムノイズ変化検出部３３から供給されたＨＯＰＢ領域Ｂのカラムノイズの変化量と、調整値保持部３７により保持されている調整値に基づいて、ラインメモリ３２に保存されている有効画像領域Ａのカラムノイズ値を補正し、カラムノイズ補正値を生成する。
The column noise correction
カラムノイズ補正部３５は、カラムノイズ補正値生成部３４から供給されたカラムノイズ補正値に基づき、ＡＦＥ部３０から供給される画素信号のカラムノイズ成分を補正する。カラムノイズ補正部３５は、カラムノイズ成分を補正した画素信号をカメラ信号処理部３６に供給する。
The column
カメラ信号処理部３６は、カラムノイズ補正部３５でカラムノイズが補正処理された信号に所定のカメラ信号処理を行う。
The camera
ここで、撮像装置１の動作について説明する。撮像装置１では、通常の画像撮影時には、固体撮像素子１２から有効画像領域Ａの信号Ｓ４とＨＯＰＢ領域Ｂの信号Ｓ２が読み出され、カラムノイズ変化検出部３３によりＨＯＰＢ領域Ｂのカラムノイズ量の変化がリアルタイムに観測される。
Here, the operation of the
カラムノイズ補正値生成部３４は、カラムノイズ変化検出部３３から供給されるカラムノイズの変化量に基づいて、ラインメモリ３２に記憶されている有効画像領域Ａのカラムノイズ値に補正を行い、カラムノイズ補正値を生成する。
The column noise correction
カラムノイズ補正部３５では、カラムノイズ補正値生成部３４から供給されるＨＯＰＢ領域Ｂのカラムノイズの変化に合わせて補正されたカラムノイズ補正値を用いて、本線系の信号からカラムノイズ成分を減じ、カメラ信号処理部３６へと信号を供給する。
The column
このようにして本発明に係る撮像装置１は、通常の撮像装置が有する固体撮像素子１２の構成（有効画像領域ＡとＨＯＰＢ領域Ｂ）において、固体撮像素子１２の出力信号をデジタル信号に変換するＡＦＥ部３０と、シャッタ１１で遮光された有効画像領域Ａのカラムノイズ成分を検出するカラムノイズ検出部３１と、カラムノイズ検出部３１で検出されたカラムノイズ成分を記憶保持するラインメモリ３２と、ＨＯＰＢ領域Ｂのカラムノイズを検出し、基準となるカラムノイズと所定時間経過後のカラムノイズとを比較し、変化を検出するカラムノイズ変化検出部３３と、カラムノイズ変化検出部３３で検出されたカラムノイズの変化量と、ラインメモリ３２に記憶されているカラムノイズに基づいてカラムノイズ補正値を生成するカラムノイズ補正値生成部３４と、カラムノイズ補正値生成部３４で生成されたカラムノイズ補正値に基づき、ＡＦＥ部３０から供給される画素信号のカラムノイズ成分を補正するカラムノイズ補正部３５と、カラムノイズ補正部３５の出力信号に所定のカメラ処理を行うカメラ信号処理部３６とを備える信号処理部１４を有し、シャッタ１１によって遮光された状態の有効画像領域Ａのカラムノイズ値をカラムノイズ検出部３１において検出し、ＨＯＰＢ領域Ｂのカラムノイズ変化量をリアルタイムにカラムノイズ変化検出部３３において検出し、カラムノイズ変化検出部３３で検出したカラムノイズ変化量に基づいてカラムノイズ検出部３１で検出したカラムノイズ値を補正し、カラムノイズ補正値をカラムノイズ補正値生成部３４によって生成し、このカラムノイズ補正値に基づいて、通常の画像撮影時において有効画像領域Ａから供給された信号Ｓ４をカラムノイズ補正部３５によって補正するので、時間の経過により有効画像領域Ａのカラムノイズ値が変化した場合に、ＨＯＰＢ領域Ｂにおけるカラムノイズの変化に応じてカラムノイズ補正値を生成し、当該カラムノイズ補正値によって有効画像領域Ａのカラムノイズを適宜補正するので、常に良質な画像を得ることができる。
In this way, the
また、本発明に係る撮像装置１では、有効画像領域Ａで検出したカラムノイズの変化分を補正するために特別のモードに移行する必要がなく、通常の画像撮影を行いながらリアルタイムにカラムノイズ補正を行うことができ、特に、画像の撮影が連続するような、いわゆる動画撮影において効果を発揮する。
Further, in the
また、本発明では、上述で説明した撮像装置１による一連の処理は、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。また、当該プログラムは、ＣＤ−ＲＯＭのようなリムーバブルメディアに記録されてユーザに配布されても良いし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されても良い。
In the present invention, the series of processing by the
１ 撮像装置、１０ レンズ、１１ シャッタ、１２ 固体撮像素子、１３ 制御部、１４ 信号処理部、１５ 感光部、１６ 画素トランジスタ、１７ 画素部、１８ 垂直選択線、１９ 垂直走査回路、２０ 垂直信号線、２１ 相関２重サンプリング回路（ＣＤＳ）、２２ 水平信号線、２３ トランジスタ、２４ 水平選択線、２５ 水平走査回路、２６ 出力回路、３０ ＡＦＥ（analog front end）部、３１ カラムノイズ検出部、３２ ラインメモリ、３３ カラムノイズ変化検出部、３４ カラムノイズ補正値生成部、３５ カラムノイズ補正部、３６ カメラ信号処理部、３７ 調整値保持部
DESCRIPTION OF
Claims (6)
上記有効画像領域に照射される光を遮光する遮光手段と、
上記遮光手段により光が遮光された状態で上記有効画像領域に配置されている画素から出力される画素信号に基づき、上記有効画像領域のオフセット信号を検出する第１の検出手段と、
上記水平遮光画像領域に配置されている画素から出力される画素信号に基づき、上記水平遮光画像領域の基準となるオフセット信号を検出する第２の検出手段と、
上記第２の検出手段により上記基準となるオフセット信号を検出した後に、上記水平遮光画像領域に配置されている画素から出力される画素信号に基づき、上記水平遮光画像領域のオフセット信号を検出する第３の検出手段と、
上記第２の検出手段により検出された上記基準オフセット信号と、上記第３の検出手段により検出された所定時間経過後の上記オフセット信号を比較する比較手段と、
上記第１の検出手段から検出されたオフセット信号と、上記比較手段による比較結果とに基づいて補正信号を生成する補正信号生成手段と、
上記補正信号生成手段により生成された上記補正信号に基づいて、上記有効画像領域に配置されている画素から出力されている画素信号を補正する補正手段とを備えることを特徴とする撮像装置。 Control of pixels in the same row that are connected in common by vertical selection lines, and a pixel part that consists of an effective image area in which pixels are arranged in a matrix and light is irradiated, and a horizontal light-shielded image area that is blocked from light irradiation A vertical scanning circuit that controls the electrodes, a horizontal scanning circuit that sequentially outputs pixel signals output via a vertical signal line in which main electrodes of pixels in the same column are connected in common, and the horizontal scanning circuit Solid-state imaging device means having an output circuit for outputting the pixel signal of
A light shielding means for shielding light applied to the effective image area;
First detection means for detecting an offset signal of the effective image area based on a pixel signal output from a pixel arranged in the effective image area in a state where light is blocked by the light shielding means;
Second detection means for detecting an offset signal serving as a reference for the horizontal light-shielded image region based on a pixel signal output from a pixel arranged in the horizontal light-shielded image region;
After the offset signal serving as the reference is detected by the second detection means, a first offset signal for detecting the offset signal in the horizontal light-shielded image area is detected based on the pixel signal output from the pixel arranged in the horizontal light-shielded image area. 3 detection means;
A comparison means for comparing the reference offset signal detected by the second detection means with the offset signal after a predetermined time detected by the third detection means;
Correction signal generation means for generating a correction signal based on the offset signal detected from the first detection means and the comparison result by the comparison means;
An imaging apparatus comprising: correction means for correcting a pixel signal output from a pixel arranged in the effective image area based on the correction signal generated by the correction signal generation means.
上記補正信号生成手段は、上記第１の検出手段から検出されたオフセット信号と、上記比較手段による比較結果と、上記調整値保持手段により保持されている上記調整値に基づいて補正信号を生成することを特徴とする請求項１記載の撮像装置。 The pixel of the effective image area is divided into a plurality of columns, and includes adjustment value holding means for holding an adjustment value for adjusting the offset signal for each of the plurality of columns,
The correction signal generation unit generates a correction signal based on the offset signal detected from the first detection unit, the comparison result by the comparison unit, and the adjustment value held by the adjustment value holding unit. The imaging apparatus according to claim 1.
上記有効画像領域に照射される光を遮光する遮光工程と、
上記遮光工程により光が遮光された状態で上記有効画像領域に配置されている画素から出力される画素信号に基づき、上記有効画像領域のオフセット信号を検出する第１の検出工程と、
上記水平遮光画像領域に配置されている画素から出力される画素信号に基づき、上記水平遮光画像領域の基準となるオフセット信号を検出する第２の検出工程と、
上記第２の検出工程により上記基準となるオフセット信号を検出した後に、上記水平遮光画像領域に配置されている画素から出力される画素信号に基づき、上記水平遮光画像領域のオフセット信号を検出する第３の検出工程と、
上記第２の検出工程により検出された上記基準オフセット信号と、上記第３の検出工程により検出された所定時間経過後の上記オフセット信号を比較する比較工程と、
上記第１の検出工程から検出されたオフセット信号と、上記比較工程による比較結果とに基づいて補正信号を生成する補正信号生成工程と、
上記補正信号生成工程により生成された上記補正信号に基づいて、上記有効画像領域に配置されている画素から出力されている画素信号を補正する補正工程とを備えることを特徴とする信号処理方法。 Control of pixels in the same row that are connected in common by vertical selection lines, and a pixel part that consists of an effective image area in which pixels are arranged in a matrix and light is irradiated, and a horizontal light-shielded image area that is blocked from light irradiation A vertical scanning circuit that controls the electrodes, a horizontal scanning circuit that sequentially outputs pixel signals output via a vertical signal line in which main electrodes of pixels in the same column are connected in common, and the horizontal scanning circuit A signal processing method of a signal output from a solid-state imaging device having an output circuit for outputting the pixel signal of
A light shielding step for shielding the light applied to the effective image area;
A first detection step of detecting an offset signal of the effective image region based on a pixel signal output from a pixel arranged in the effective image region in a state where light is blocked by the light blocking step;
A second detection step of detecting an offset signal serving as a reference for the horizontal light-shielded image region based on a pixel signal output from a pixel arranged in the horizontal light-shielded image region;
After detecting the reference offset signal in the second detection step, the offset signal of the horizontal shading image area is detected based on the pixel signal output from the pixel arranged in the horizontal shading image area. 3 detection steps;
A comparison step of comparing the reference offset signal detected by the second detection step with the offset signal after the elapse of a predetermined time detected by the third detection step;
A correction signal generation step of generating a correction signal based on the offset signal detected from the first detection step and the comparison result of the comparison step;
And a correction step of correcting a pixel signal output from a pixel arranged in the effective image area based on the correction signal generated by the correction signal generation step.
上記有効画像領域に照射される光を遮光する遮光工程と、
上記遮光工程により光が遮光された状態で上記有効画像領域に配置されている画素から出力される画素信号に基づき、上記有効画像領域のオフセット信号を検出する第１の検出工程と、
上記水平遮光画像領域に配置されている画素から出力される画素信号に基づき、上記水平遮光画像領域の基準となるオフセット信号を検出する第２の検出工程と、
上記第２の検出工程により上記基準となるオフセット信号を検出した後に、上記水平遮光画像領域に配置されている画素から出力される画素信号に基づき、上記水平遮光画像領域のオフセット信号を検出する第３の検出工程と、
上記第２の検出工程により検出された上記基準オフセット信号と、上記第３の検出工程により検出された所定時間経過後の上記オフセット信号を比較する比較工程と、
上記第１の検出工程から検出されたオフセット信号と、上記比較工程による比較結果とに基づいて補正信号を生成する補正信号生成工程と、
上記補正信号生成工程により生成された上記補正信号に基づいて、上記有効画像領域に配置されている画素から出力されている画素信号を補正する補正工程とをコンピュータに実行させるためのプログラム。 Control of pixels in the same row that are connected in common by vertical selection lines, and a pixel part that consists of an effective image area in which pixels are arranged in a matrix and light is irradiated, and a horizontal light-shielded image area that is blocked from light irradiation A vertical scanning circuit that controls the electrodes, a horizontal scanning circuit that sequentially outputs pixel signals output via a vertical signal line in which main electrodes of pixels in the same column are connected in common, and the horizontal scanning circuit A program for processing a signal output from a solid-state imaging device having an output circuit for outputting the pixel signal of
A light shielding step for shielding the light applied to the effective image area;
A first detection step of detecting an offset signal of the effective image region based on a pixel signal output from a pixel arranged in the effective image region in a state where light is blocked by the light blocking step;
A second detection step of detecting an offset signal serving as a reference for the horizontal light-shielded image region based on a pixel signal output from a pixel arranged in the horizontal light-shielded image region;
After detecting the reference offset signal in the second detection step, the offset signal of the horizontal shading image area is detected based on the pixel signal output from the pixel arranged in the horizontal shading image area. 3 detection steps;
A comparison step of comparing the reference offset signal detected by the second detection step with the offset signal after the elapse of a predetermined time detected by the third detection step;
A correction signal generation step of generating a correction signal based on the offset signal detected from the first detection step and the comparison result of the comparison step;
A program for causing a computer to execute a correction step of correcting a pixel signal output from a pixel arranged in the effective image area based on the correction signal generated by the correction signal generation step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005262662A JP2007081453A (en) | 2005-09-09 | 2005-09-09 | Imaging apparatus, signal processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005262662A JP2007081453A (en) | 2005-09-09 | 2005-09-09 | Imaging apparatus, signal processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007081453A true JP2007081453A (en) | 2007-03-29 |
Family
ID=37941346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005262662A Withdrawn JP2007081453A (en) | 2005-09-09 | 2005-09-09 | Imaging apparatus, signal processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007081453A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009135787A (en) * | 2007-11-30 | 2009-06-18 | Sony Corp | Noise detector, imaging device and noise detection method |
| JP2010219234A (en) * | 2009-03-16 | 2010-09-30 | Canon Inc | Image sensor, and image capturing apparatus |
| WO2020124314A1 (en) * | 2018-12-17 | 2020-06-25 | 深圳市大疆创新科技有限公司 | Image processing method, image processing apparatus, image collection apparatus and storage medium |
-
2005
- 2005-09-09 JP JP2005262662A patent/JP2007081453A/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009135787A (en) * | 2007-11-30 | 2009-06-18 | Sony Corp | Noise detector, imaging device and noise detection method |
| JP2010219234A (en) * | 2009-03-16 | 2010-09-30 | Canon Inc | Image sensor, and image capturing apparatus |
| WO2020124314A1 (en) * | 2018-12-17 | 2020-06-25 | 深圳市大疆创新科技有限公司 | Image processing method, image processing apparatus, image collection apparatus and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10785439B2 (en) | Image sensor comprising detection error correction using correction coefficient based on count values from plural pixels | |
| JP4379230B2 (en) | Solid-state image sensor device and signal processing method | |
| JP5852324B2 (en) | Imaging apparatus, control method therefor, and program | |
| JP4396425B2 (en) | Solid-state imaging device and signal processing method | |
| JP2006025148A (en) | Signal processing device and method thereof | |
| US8422819B2 (en) | Image processing apparatus having a noise reduction technique | |
| JP5013811B2 (en) | Imaging apparatus and correction method | |
| US20120224086A1 (en) | Image capturing apparatus and control method thereof | |
| JP6731626B2 (en) | Imaging device, camera, and imaging method | |
| JP5013812B2 (en) | Imaging apparatus and correction method | |
| JP5489739B2 (en) | Signal processing apparatus, imaging apparatus, and signal processing method | |
| JP2008067060A (en) | Imaging apparatus | |
| JP2007081453A (en) | Imaging apparatus, signal processing method, and program | |
| JP7134786B2 (en) | Imaging device and control method | |
| JP2009296358A (en) | Imaging apparatus, and imaging system | |
| JP5311943B2 (en) | Imaging apparatus, control method, and program | |
| JP2010118963A (en) | Imaging device and method for controlling the same, and program | |
| JP2009260871A (en) | Imaging apparatus | |
| JP7277251B2 (en) | Imaging device and its control method | |
| JP5404217B2 (en) | Imaging apparatus and control method thereof | |
| JP2009284358A (en) | Imaging apparatus | |
| JP2006108918A (en) | Imaging apparatus | |
| JP2016039491A (en) | Imaging device and driving method therefor | |
| JP2006157341A (en) | Smear correcting method and signal processor for solid-state imaging device, and imaging apparatus | |
| JP2006261932A (en) | Solid imaging device, solid imaging system, and black level setting method of solid imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20081202 |