JP2010272916A - White defect correction device of solid-state imaging element - Google Patents
White defect correction device of solid-state imaging element Download PDFInfo
- Publication number
- JP2010272916A JP2010272916A JP2009120643A JP2009120643A JP2010272916A JP 2010272916 A JP2010272916 A JP 2010272916A JP 2009120643 A JP2009120643 A JP 2009120643A JP 2009120643 A JP2009120643 A JP 2009120643A JP 2010272916 A JP2010272916 A JP 2010272916A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- defective
- value
- pixels
- defective pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、イメージセンサにより撮像した画像の白キズを補正する技術に関する。 The present invention relates to a technique for correcting white flaws in an image captured by an image sensor.
CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの固体撮像素子を用いた撮像装置が一般に普及している。この種の固体撮像素子の撮像面は複数の画素をマトリクス状に配列して構成されている。固体撮像素子を用いた撮像装置では、その撮像面に被写体の光学像を結像させ、一定時間長のフレーム(垂直走査期間)毎に各画素から画素信号を読み出す処理が繰り返し実行される。固体撮像素子の撮像面を構成する各画素に着目すると、前回の画素信号の読み出しから今回の画素信号の読み出しまでの期間である1フレームが露光時間となり、今回読み出される画素信号の信号値である画素値は、露光時間内における画素の受光量を反映したものとなる。 Imaging devices using solid-state imaging devices such as CCD (Charge Coupled Device) image sensors and CMOS (Complementary Metal Oxide Semiconductor) image sensors are generally popular. The imaging surface of this type of solid-state imaging device is configured by arranging a plurality of pixels in a matrix. In an imaging apparatus using a solid-state imaging device, an optical image of a subject is formed on the imaging surface, and a process of reading a pixel signal from each pixel is repeatedly executed for each frame (vertical scanning period) having a certain time length. Focusing on each pixel constituting the imaging surface of the solid-state imaging device, one frame, which is a period from the previous readout of the pixel signal to the readout of the current pixel signal, is the exposure time, and is the signal value of the pixel signal read out this time. The pixel value reflects the amount of light received by the pixel within the exposure time.
ところで、固体撮像素子の撮像面を構成する複数の画素のなかには、ダストの付着や結晶欠陥等により、画素信号を正常に出力せず、撮像画像に白キズを生じさせるもの(以下、欠陥画素)が含まれている場合がある。このような欠陥画素は全くないことが好ましいのであるが、固体撮像素子には数十万〜数百万個の画素が含まれているため、欠陥画素が全く無いように固体撮像素子を製造することは極めて困難である。そこで、固体撮像素子に含まれる複数の画素のなかには、ある程度の数の欠陥画素が含まれていることを前提に、各画素から読み出される画素信号に後処理を施すことで、欠陥画素に起因して生じる白キズを補正し、その影響を緩和する技術が提案されている(例えば、特許文献1参照)。 By the way, among the plurality of pixels constituting the imaging surface of the solid-state imaging device, pixel signals are not normally output due to dust adhesion, crystal defects, etc., and white defects are generated in the captured image (hereinafter, defective pixels). May be included. It is preferable that there are no such defective pixels. However, since the solid-state image sensor includes hundreds of thousands to millions of pixels, the solid-state image sensor is manufactured so that there are no defective pixels. It is extremely difficult. Therefore, on the premise that a certain number of defective pixels are included in the plurality of pixels included in the solid-state imaging device, post-processing is performed on the pixel signal read from each pixel, resulting in defective pixels. There has been proposed a technique for correcting white flaws that occur and mitigating the effect (see, for example, Patent Document 1).
特許文献1に開示された技術では、撮像装置の工場出荷時に欠陥画素の位置を検出しておき、ユーザがその撮像装置を用いて撮像を行う際には、欠陥画素の周辺に位置する画素(以下、周辺画素)の画素値を用いてその欠陥画素の画素値を補正(例えば周辺画素の画素値の平均値で欠陥画素の画素値を置き換える等)することで白キズの影響が緩和される。より詳細に説明すると、特許文献1に開示された技術では、撮像装置の工場出荷時に、各々異なる長さの露光時間で真っ暗な画像を撮像し(固体撮像素子を遮光した状態で撮像する等)、各画像にて白キズとなって現れる欠陥画素の位置を検出し、その欠陥画素の位置を示す白キズ情報を露光時間毎に記憶する。ここで、各々異なる長さの露光時間で欠陥画素の位置を検出するのは、白キズは結晶欠陥に起因して生じるため、固体撮像素子の使用状況(露光時間等)に応じて発生頻度が変化する(露光時間が長くなるほど白キズは増加する)からである。また、真っ暗な画像を撮像して白キズの検出を行うのは、このような状態では、固体撮像素子に含まれる複数の画素が全て正常であれば、各画素の画素値は一定になるため、欠陥画素を検出し易くなるからである。
In the technique disclosed in
白キズとなって現れる欠陥画素の数が露光時間の長さに応じて変動するということは、欠陥画素毎に不具合の程度が異なり、その不具合が顕在化し始める露光時間が欠陥画素毎に異なるということを意味している。したがって、ある長さの露光時間で検出される欠陥画素のなかには、さほど顕著な白キズとなって現れず、画素値の補正を殆ど要しないものが含まれている場合がある。このように画素値の補正を殆ど要しない欠陥画素であれば、原画素値をそのまま用いるほうが被写体を忠実に再現するという観点からは好ましい。しかし、特許文献1に開示された技術では、白キズの程度(欠陥画素の不具合の程度)によらず、一律に欠陥画素の画素値を周辺画素の画素値を用いて補正するため、不具合の程度が低い欠陥画素についても補正が行われ、撮像画像における被写体の再現性が大きく損なわれる虞がある。
The fact that the number of defective pixels that appear as white scratches varies according to the length of the exposure time means that the degree of the defect differs for each defective pixel, and the exposure time at which the defect starts to manifest varies for each defective pixel. It means that. Accordingly, there are cases where defective pixels detected with a certain length of exposure time include those that do not appear as a noticeable white flaw and hardly require correction of pixel values. In this manner, if the defective pixel hardly requires correction of the pixel value, it is preferable to use the original pixel value as it is from the viewpoint of faithfully reproducing the subject. However, in the technique disclosed in
本発明は上記課題に鑑みて為されたものであり、撮像画像における被写体の再現性を大きく損なうことなく、固体撮像素子の欠陥画素に起因して生じる白キズを補正する技術を提供することを目的とする。 The present invention has been made in view of the above problems, and provides a technique for correcting white flaws caused by defective pixels of a solid-state image sensor without greatly impairing the reproducibility of a subject in a captured image. Objective.
上記課題を解決するために本発明は、複数の画素をマトリクス状に配列した撮像面を有する固体撮像素子に、遮光した状態で予め定められた露光時間の撮像を行わせた場合において、前記複数の画素の各々を注目画素とし、当該注目画素の周辺画素の画素値の平均値と当該注目画素の画素値との差分から当該注目画素が欠陥画素であるか否かを判定し、欠陥画素と判定される場合には、前記撮像面における当該注目画素の位置を示す位置情報を欠陥画素管理テーブルに書き込む欠陥画素検出手段と、利用者により指示された露光時間の撮像を前記固体撮像素子に行わせ、前記複数の画素の各々の画素値が得られた場合において、前記欠陥画素管理テーブルに記憶されている位置情報の示す画素については、当該画素の原画素値を、当該画素の周辺画素の画素値の平均値と当該原画素値との重み付け平均に置き換えて補正する画素値補正手段と、前記利用者により指示された露光時間が長いほど、前記重み付け平均における前記周辺画素の画素値の平均値の重みを大きくする重み調整手段とを有することを特徴とする固体撮像素子の白キズ補正装置を提供する。なお、本発明の別の態様においては、コンピュータを上記各手段として機能させることを特徴とするプログラムを提供する態様であっても良い。 In order to solve the above problems, the present invention provides a solid-state image pickup device having an image pickup surface in which a plurality of pixels are arranged in a matrix, in a case where imaging is performed with a predetermined exposure time in a light-shielded state. Each pixel is determined as a target pixel, and it is determined whether or not the target pixel is a defective pixel from a difference between an average value of pixel values of peripheral pixels of the target pixel and a pixel value of the target pixel. When the determination is made, defective pixel detection means for writing position information indicating the position of the target pixel on the imaging surface to the defective pixel management table, and imaging of the exposure time instructed by the user is performed on the solid-state imaging device. When the pixel values of each of the plurality of pixels are obtained, the original pixel value of the pixel is set to the pixel indicated by the position information stored in the defective pixel management table. Pixel value correction means for correcting the pixel value by replacing the average value of the pixel values of the side pixels with the original pixel value, and the pixels of the peripheral pixels in the weighted average as the exposure time instructed by the user is longer There is provided a white defect correction device for a solid-state imaging device, comprising weight adjusting means for increasing a weight of an average value. In another aspect of the present invention, an aspect of providing a program that causes a computer to function as each of the above means may be provided.
このような白キズ補正装置およびプログラムによれば、固体撮像素子の撮像面を構成する複数の画素の各々について、その画素値と周辺画素の画素値の平均値との差に基づいて欠陥画素であるか否かが判定され、欠陥画素と判定される場合には、撮像面における当該画素の位置が欠陥画素管理テーブルに記録される。そして、上記固体撮像素子を用いた撮像の際には、欠陥画素管理テーブルに位置が記録されている画素については、その画素値を当該画素値と周辺画素の画素値の平均値との重み付け平均(露光時間が長いほど後者の重みを大きくした重み付け平均(換言すれば、露光時間が短いほど前者の重みを大きくした重み付け平均))に置き換える補正が行われる。つまり、本発明によれば欠陥画素の原画素値を露光時間が短いほど大きな重みで生かしつつ、その欠陥画素の画素値を補正することができる。 According to such a white defect correction apparatus and program, for each of a plurality of pixels constituting the imaging surface of the solid-state imaging device, a defective pixel is determined based on the difference between the pixel value and the average value of the pixel values of surrounding pixels. If it is determined whether or not there is a defective pixel, the position of the pixel on the imaging surface is recorded in the defective pixel management table. When imaging using the solid-state imaging device, for the pixel whose position is recorded in the defective pixel management table, the pixel value is a weighted average of the pixel value and the average value of the pixel values of the surrounding pixels. The correction is performed by replacing with the weighted average in which the latter weight is increased as the exposure time is longer (in other words, the weighted average in which the weight of the former is increased as the exposure time is shorter). That is, according to the present invention, the pixel value of the defective pixel can be corrected while making use of the original pixel value of the defective pixel with a greater weight as the exposure time is shorter.
より好ましい態様においては、前記白キズ補正装置の欠陥画素検出手段は、欠陥画素と判定される画素の位置情報を前記欠陥画素管理テーブルに書き込む際に、当該欠陥画素の不具合の程度を当該欠陥画素の画素値とその周辺画素の画素値の平均値との差分に応じて判定し、その不具合の程度を示す指標値を前記位置情報に対応付けて前記欠陥画素管理テーブルへ書き込み、前記画素値補正手段は、前記位置情報に対応付けて前記欠陥画素管理テーブルに格納されている指標値の示す不具合の程度が低い欠陥画素については、前記重み付け平均による置き換えで画素値を補正し、不具合の程度が高い欠陥画素については、周辺画素の画素値の平均値による置き換えで画素値を補正することを特徴とする。このような態様によれば、不具合の程度が低い欠陥画素については露光時間の長さに応じた態様で画素値が補正される一方、不具合の程度が高い欠陥画素については、露光時間の長さによらず、その画素値を常に周辺画素の画素値の平均値で置き換える補正が行われる。つまり、本態様によれば、欠陥画素の不具合の程度に応じて異なる態様で画素値を補正することが可能になる。 In a more preferred aspect, the defective pixel detection means of the white defect correction device writes the degree of defect of the defective pixel when writing the positional information of the pixel determined as the defective pixel in the defective pixel management table. The pixel value is determined according to the difference between the pixel value of the pixel and the average value of the pixel values of the surrounding pixels, and an index value indicating the degree of the defect is written to the defective pixel management table in association with the position information. The means corrects the pixel value by replacement by the weighted average for a defective pixel having a low level of fault indicated by the index value stored in the defective pixel management table in association with the position information. For a high defective pixel, the pixel value is corrected by replacement with an average value of pixel values of peripheral pixels. According to such an aspect, the pixel value is corrected in a manner corresponding to the length of the exposure time for a defective pixel having a low degree of malfunction, while the length of the exposure time is determined for a defective pixel having a high degree of malfunction. Regardless, the pixel value is always replaced with the average value of the pixel values of the surrounding pixels. That is, according to this aspect, it is possible to correct the pixel value in a different aspect depending on the degree of defect of the defective pixel.
また、別の好ましい態様においては、前記白キズ補正装置の欠陥画素検出手段は、前記複数の画素の各々について欠陥画素か否かを判定する際には、前記固体撮像素子を使用した撮像にて指定し得る最長の露光時間で撮像を行うことを特徴とする。前述したように、欠陥画素が有する不具合は露光時間が長くなるほど顕在化するので、このような態様によれば、撮像画像において白キズとなって現れ得る全ての欠陥画素を検出することができると期待される。 In another preferred embodiment, the defective pixel detection means of the white defect correction device determines whether each of the plurality of pixels is a defective pixel by imaging using the solid-state imaging device. The imaging is performed with the longest exposure time that can be specified. As described above, the defect that the defective pixel has becomes more obvious as the exposure time becomes longer. Therefore, according to such an aspect, it is possible to detect all defective pixels that can appear as white scratches in the captured image. Be expected.
以下、図面を参照しつつ本発明の実施の形態について説明する。
(A:実施形態)
図1は、本発明の一実施形態である白キズ補正部を含むCMOS固体撮像装置の構成例を示すブロック図である。なお、本実施形態では、図1に示す構成のCMOS固体撮像装置に本発明を適用するが、他の構成のCMOS固体撮像装置に本発明を適用しても良いことは勿論である。
撮像部10Aは、図1に示すように、複数の画素10をマトリクス状に配列して構成されている。各列をなす複数の画素10は、列毎に設けられた列信号線11に接続される。各列信号線11は、図1に示すように、カラムCDS(Correlated Double Sampling;相関2重サンプリング)部20に接続されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(A: Embodiment)
FIG. 1 is a block diagram illustrating a configuration example of a CMOS solid-state imaging device including a white defect correction unit according to an embodiment of the present invention. In the present embodiment, the present invention is applied to the CMOS solid-state imaging device having the configuration shown in FIG. 1, but the present invention may of course be applied to CMOS solid-state imaging devices having other configurations.
As shown in FIG. 1, the
カラムCDS部20は、撮像部10Aにおける画素10の列毎に設けられたCDS回路の集合体である。各CDS回路は、タイミングジェネレータ50から2種類のサンプリングパルスが与えられる各タイミングにおいて、撮像部10Aの各列信号線11に読み出される電圧を各々サンプリングして差分を検出し、アナログ画素信号を各々出力する。カラムADC部30は、撮像部10Aにおける画素10の列毎に設けられたADC(Analog to Digital Converter)の集合体である。各ADCは、タイミングジェネレータ50による制御の下、各CDS回路から出力されるアナログ画素信号をデジタル画素信号に変換する。
The
水平走査回路40は、撮像部10Aの列数と同じステージ数のシフトレジスタである。この水平走査回路40は、タイミングジェネレータ50による制御の下、水平走査期間毎にカラムADC部30から出力される1行分のデジタル画素信号を取り込み、画像処理部70にシリアル転送する動作を繰り返す。タイミングジェネレータ50は、垂直走査回路60、カラムCDS部20、カラムADC部30、水平走査回路40等、CMOS固体撮像装置の各部のタイミング制御のための信号を発生する回路である。垂直走査回路60は、タイミングジェネレータ50による制御の下、露光のための撮像部10Aの駆動制御、すなわち、撮像部10Aの各行の選択および画素信号の読み出し制御を行う回路である。
The
画像処理部70は、水平走査回路40から供給される1行分のデジタル画素信号を蓄積しつつ処理し、フレーム毎に一画面分の画像データを合成する装置である。本実施形態のCMOS固体撮像装置は、欠陥画素検出モードと撮像モードの2つの動作モードを有しており、画像処理部70は、これら2つの動作モードの各々で異なる処理を実行する。欠陥画素検出モードは、CMOS固体撮像装置の工場出荷時に製品検査などで実行される動作モードである。この欠陥画素検出モードにおいては、画像処理部70は上記一画面分の画像データを解析して撮像画像にて白キズとなって現れ得る欠陥画素を検出し、その欠陥画素の位置を示す位置情報(撮像面の左上隅の画素を一行一列目の画素とした場合における当該画素の行番号および列番号等)を記憶する処理(以下、欠陥画素検出処理)を実行する。一方、撮像モードは、ユーザがCMOS固体撮像装置を用いて実際に撮像を行う際の動作モードである。この撮像モードにおいては、画像処理部70は、一画面分の画像データに対して、欠陥画素として記憶した画素の画素値をその周辺画素の画素値を利用して補正する処理(以下、画素値補正処理)を施し、後段の装置へ出力する。画像処理部70の後段の装置が液晶ディスプレイ等の表示装置であれば、画像処理部70から出力される一画面分の画像データに応じた画像がこの表示装置に表示される。また、画像処理部70の後段の装置が、ハードディスなどの記録媒体であれば、画像処理部70から出力される一画面分の画像データはこの記録媒体に記録される。
The
U/I(ユーザインタフェース)部80は、液晶表示パネル等の表示装置と押しボタン等の各種の操作子により構成されている。U/I部80は、CMOS固体撮像装置の操作に関する各種の案内情報を表示し、操作子を介して撮像条件等に関する各種の情報をユーザから取得する役割や動作モードの指示を行わせる役割を果たす。制御部90は、U/I部80を介して与えられる指示に従い、CMOS固体撮像装置の各部の制御を行う装置である。より詳細に説明すると、制御部90は、U/I部80を介して与えられる指示にしたがってCMOS固体撮像装置の動作モードの切り換えや、その切り換えに伴う各部の駆動制御、撮像条件等に関する各種情報の受け渡しを行う。
The U / I (user interface)
例えば、欠陥画素検出モードでの作動を指示された場合には、制御部90は、撮像部10Aが遮光された状態となるように絞り(図示省略)の調整を行い、CMOS固体撮像装置に設定し得る最長の露光時間を設定する。このように撮像部10Aを遮光した状態で撮像を行うのは、特許文献1に開示された技術と同様に、撮像部10Aに含まれる複数の画素10の各々が全て正常であれば各画素10の画素値は一定になり、欠陥画素を検出し易くなるからである。また、露光時間を最長に設定するのは、撮像画像にて白キズとなって現れ得る欠陥画素を全て検出することができるようにするためである。これに対して、撮像モードでの作動を指示された場合には、制御部90は、利用者により指示された露光時間を示すデータを画像処理部70に与える。これは、露光時間に応じた態様で欠陥画素の画素値を補正する画素値補正処理を画像処理部70に実行させるためである。
For example, when the operation in the defective pixel detection mode is instructed, the
図2は、画像処理部70の構成例を示す機能ブロック図である。
図2に示すように、画像処理部70は、白キズ補正部710と、画像合成部720と、画像メモリ730とを含んでいる。画像合成部720は、水平走査回路40から順次与えられる1行分のデジタル画素信号からフレーム毎に一画面分の画像データを合成する装置である。画像メモリ730は所謂フレームメモリであり、画像合成部720により合成された一画面分の画像データを記憶する。これら画像合成部720および画像メモリ730については一般的な固体撮像装置が備えるものと何ら変るところはないため詳細な説明を省略し、以下では白キズ補正部710を中心に説明する。
FIG. 2 is a functional block diagram illustrating a configuration example of the
As shown in FIG. 2, the
白キズ補正部710は、CPU(Central Processing Unit)や、RAM(Random Access Memory)等の揮発性メモリ、ROM(Read
Only Memory)やEEPROM(Erasable Programmable ROM)等からなる不揮発性メモリで構成されたコンピュータ装置である(図2では、何れも図示省略)。上記RAMは、上記CPUに各種プログラムを実行させる際のワークエリアの役割を果たす。上記EEPROMには、欠陥画素管理テーブル714が格納されている。この欠陥画素管理テーブル714の詳細については後に明らかにする。上記ROMには、上記CPUに欠陥画素検出処理や画素値補正処理を実行させるための画像処理プログラムが格納されている。上記CPUは上記画像処理プログラムを実行することにより、図2に示すスイッチSW、欠陥画素検出手段712、画素値補正手段716および重み調整手段718として機能する。図2のスイッチSWの切り換えは、制御部90によって行われる。より詳細に説明すると、欠陥画素検出モードにおいては、画像メモリ30から読み出した画像データが欠陥画素検出手段712に与えられるようにスイッチSWの切り換えが行われ、撮像モードにおいては、同画像データが画素値補正手段716に与えられるようにスイッチSWの切り換えが行われる。
The white
This is a computer device composed of a non-volatile memory such as a Only Memory (ERAM) or an EEPROM (Erasable Programmable ROM) (none of which is shown in FIG. 2). The RAM serves as a work area when the CPU executes various programs. A defective pixel management table 714 is stored in the EEPROM. Details of the defective pixel management table 714 will be made clear later. The ROM stores an image processing program for causing the CPU to execute defective pixel detection processing and pixel value correction processing. The CPU functions as the switch SW, the defective
欠陥画素検出手段712は、画像メモリ30に記憶されている画像データを解析し、撮像部10Aを構成する複数の画素10のうち撮像画像にて白キズとなって現れる得る欠陥画素を検出する欠陥画素検出処理を実行する。より詳細に説明すると、欠陥画素検出手段712は、撮像部10Aの撮像面において欠陥画素が連続していないことを前提に、撮像部10Aを構成する複数の画素10の各々を注目画素とし、その注目画素の画素値X0と周辺画素(図3(b)に示すように、注目画素の上下左右に隣接する画素)の画素値(図3(b):X1〜X4)の平均値(本実施形態では、相加平均)とを比較し、両者が大きく異なるときにその注目画素を欠陥画素と判定する。
The defective
ここで、欠陥画素が連続していないことを前提とするのは、欠陥画素が連続しているようなCMOS固体撮像装置は不良品であり、工場出荷時の製品検査にて排除されておくべきものだからである。また、注目画素の画素値と周辺画素の画素値の平均値とを比較することで、その注目画素が欠陥画素であるか否かを判定することができる理由は以下の通りである。前述したように、欠陥画素検出モードにおいては、撮像部10Aを遮光した状態で撮像が行われ、その撮像画像に対応する画像データが画像メモリ30に格納される。撮像部10Aに含まれる画素10が全て正常であれば、各画素10の画素値のS/N比(被写体の輝度に対応した信号成分Sとノイズ成分Nとの比)は露光時間の長さに依らず略一定となる。これに対して、結晶欠陥等を有する欠陥画素の場合は、図3(a)に示すように、露光時間tが長くなるほどノイズ成分Nの比率が高くなり、同一の撮像条件(露光時間)において正常な画素が出力する画素値とは異なる画素値を出力すると考えられる。このように欠陥画素は正常な周辺画素とは異なる画素値を出力すると考えられるため、注目画素の画素値を周辺画素の画素値の平均値と比較することでその注目画素が欠陥画素であるか否かを判定することができるのである。なお、撮像面にて最上段、最下段、左端列或いは右端列に位置する画素については、その配置位置に応じた態様で周辺画素の画素値の平均値を算出しても良く(例えば、左上隅の画素については、下側および右隣の画素の画素値X2およびX4の相加平均と比較して欠陥画素か否かを判定すれば良い)、また、これらの画素に欠陥画素が含まれていても、画像全体の画質等に与える影響が小さいため、欠陥画素の検出対象から除外しても勿論良い。
Here, the premise that the defective pixels are not continuous is that the CMOS solid-state imaging device in which the defective pixels are continuous is a defective product and should be excluded in the product inspection at the time of shipment from the factory. Because it is a thing. Further, the reason why it is possible to determine whether or not the target pixel is a defective pixel by comparing the pixel value of the target pixel and the average value of the pixel values of the surrounding pixels is as follows. As described above, in the defective pixel detection mode, imaging is performed with the
図4は、欠陥画素検出手段712が注目画素毎に実行する欠陥画素検出処理の流れを示すフローチャートである。欠陥画素検出手段712は、まず、画像メモリ730から注目画素の画素値X0および周辺画素の画素値X1〜X4を読み出す。次いで、欠陥画素検出手段712は、周辺画素の画素値の平均値Y(Y=(X1+X2+X3+X4)/4)と注目画素の画素値X0との差の絶対値が閾値th1を超えているか否かを判定し(ステップSA100)、その判定結果が“No”である場合には、欠陥画素検出処理を終了する。周辺画素の画素値の平均値Yと画素値X0との差分の絶対値が閾値th1以下である(すなわち、両者が大きく異ならない)ならば、注目画素は欠陥画素ではないと考えられるからである。この閾値th1については、画像処理プログラム内に固定値を予め埋め込んでおいても良く、また、欠陥画素検出モードへの動作モードの切り換えの際に、撮像部10Aの特性との関係で適切な値を制御部90に設定させるようにしても良い。
FIG. 4 is a flowchart showing the flow of defective pixel detection processing executed by the defective pixel detection means 712 for each target pixel. The defective pixel detection means 712 first reads out the pixel value X 0 of the target pixel and the pixel values X 1 to X 4 of the peripheral pixels from the
ステップSA100の判定結果が“Yes”である場合、欠陥画素検出手段712は、X0―Yの絶対値が所定の閾値th2(th2>th1)を下回っているか否かを判定する(ステップSA110)。前述したように、欠陥画素については、欠陥(不具合)の程度が高いほど、同一の撮像条件(露光時間)において正常な画素が出力する画素値とは異なる画素値を出力すると考えられる。つまり、このステップSA110では、ステップSA100にて欠陥画素であると判定された注目画素について、不具合の程度が高い欠陥画素であるか否かが判定されるのである。この閾値th2についても、画像処理プログラム内に固定値を予め埋め込んでおいても良く、また、欠陥画素検出モードへの動作モードの切り換えの際に、撮像部10Aの特性との関係で適切な値を制御部90に設定させるようにしても良い。
When the determination result in step SA100 is “Yes”, the defective
そして、欠陥画素検出手段712は、ステップSA110の判定結果が“Yes”である場合には、不具合の程度が低い欠陥画素であることを示す指標値(本実施形態では、0)と当該注目画素の撮像面における位置を示す位置情報(前述したように、本実施形態では、撮像面の左上隅を1行1列目の画素とした場合における注目画素の行番号および列番号を示す情報)とを対応付けて欠陥画素管理テーブル714に書き込む(ステップSA120)。逆に、ステップSA110の判定結果が“No”である場合には、不具合の程度が高い欠陥画素であることを示す指標値(本実施形態では、1)と上記位置情報とを対応付けて欠陥画素管理テーブル714に書き込む(ステップSA130)。
Then, when the determination result in step SA110 is “Yes”, the defective
図5は、欠陥画素管理テーブル714の一例を示す図である。
この欠陥画素管理テーブル714には、欠陥画素検出手段712により欠陥画素であると判定された画素の位置情報に対応付けてその不具合の程度を示す指標値が格納される。つまり、欠陥画素検出手段712により欠陥画素検出処理が実行された後においては、欠陥画素管理テーブル714の格納内容を参照することによって、撮像部10Aの撮像面における欠陥画素の位置および不具合の程度を把握することができるのである。この欠陥画素管理テーブル714の格納内容は、画素値補正処理にて利用される。
FIG. 5 is a diagram illustrating an example of the defective pixel management table 714.
The defective pixel management table 714 stores an index value indicating the degree of the defect in association with the position information of the pixel determined to be a defective pixel by the defective
図2に戻って、画素値補正手段716は、画像メモリ30に記憶されている画像データを後段の装置へ出力する際に、欠陥画素の画素値をその不具合の程度に応じた態様で補正しつつ出力する手段である。より詳細に説明すると、画素値補正手段716は、不具合の程度が高い欠陥画素については、その画素値を周辺画素の画素値の平均値に置き換えることでその補正を行う一方、不具合の程度が低い欠陥画素については、その画素値と上記平均値とを重み比率kで重み付け平均した値に置き換えることでその補正を行う。
Returning to FIG. 2, when outputting the image data stored in the
図6は、画素値補正手段716が実行する画素値補正処理の流れを示すフローチャートである。画素値補正手段716は、撮像部10Aに含まれる複数の画素10の各々を処理対象画素とし、処理対象画素毎に画素値補正処理を実行する。図6に示すように、画素値補正手段716は、まず、処理対象画素が欠陥画素であるか否かを判定する(ステップSB100)。より詳細に説明すると、画素値補正手段716は、処理対象画素の位置と同一の位置を示す位置情報が欠陥画素管理テーブル714に格納されている場合には、その処理対象画素は欠陥画素であると判定し、逆に、同位置情報が欠陥画素管理テーブル714に格納されていない場合には、欠陥画素ではないと判定する。
FIG. 6 is a flowchart showing the flow of pixel value correction processing executed by the pixel
ステップSB100の判定結果が“No”である場合(すなわち、欠陥画素ではないと判定された場合)には、画素値補正手段716は、処理対象画素の原画素値(画像メモリ30に記憶されている画像データにおける当該画素の画素値)に補正を加えることなく、後段の装置へ出力する(SB110)。欠陥画素でなければ、特段の補正は不要だからである。これに対して、ステップSB100の判定結果が“Yes”である場合(すなわち、処理対象画素が欠陥画素である場合)には、画素値補正手段716は、処理対象画素の位置情報に対応付けて欠陥画素管理テーブル714に格納されている指標値を読み出し、その処理対象画素についての不具合の程度を判定する(ステップSB120)。具体的には、画素値補正手段716は、上記指標値が“0”であるか否かを判定する。
When the determination result in step SB100 is “No” (that is, when it is determined that the pixel is not a defective pixel), the pixel
ステップSB120の判定結果が“No”である場合(すなわち、処理対象画素についての指標値が“1”である場合)には、画素値補正手段716は、処理対象画素の原画素値を破棄し、周辺画素の画素値の平均値Yで置き換えて出力する(ステップSB130)。前述したように、指標値が“1”であることは、不具合の程度が高く、原画素値X0を使用することはできないからである。これに対して、ステップSB120の判定結果が“Yes”である場合は、画素値補正手段716は、処理対象画素の画素値を、原画素値X0と上記周辺画素の画素値の平均値Yを以下の式(1)にしたがって重み付け平均した値Zに置き換えて出力する(ステップSB140)。
Z=(1―k)×X0+k×Y…(1)
When the determination result in step SB120 is “No” (that is, when the index value for the processing target pixel is “1”), the pixel
Z = (1−k) × X 0 + k × Y (1)
式(1)の重み比率kは0から1の範囲の値であって、重み調整手段718によって露光時間tの長さに応じて算出される。図7(a)は、重み調整手段718が算出する重み比率kと露光時間tの長さとの関係を示すグラフである。図7(a)に示すように、重み比率kの値は、露光時間tの対数値(10を底とする対数値)に対して0から1まで線形に増加し、露光時間tが所定の長さ(図7(a)では10ミリ秒)に達した後は、一定値(1)となる。なお、本実施形態では、露光時間tが一定値に達するまで、露光時間tの対数値に応じて線形に増加するように重み比率kを算出したが、図7(b)や図7(c)に示すように露光時間tの対数値に対して非線形に増加するように重み比率kを算出しても勿論良い。図7(a)、図7(b)および図7(c)の何れの態様で重み比率kを算出するのかについては、撮像部10Aの特性との関係で定めるようにすれば良い。
The weight ratio k in Expression (1) is a value in the range of 0 to 1, and is calculated by the weight adjustment unit 718 according to the length of the exposure time t. FIG. 7A is a graph showing the relationship between the weight ratio k calculated by the weight adjusting means 718 and the length of the exposure time t. As shown in FIG. 7A, the value of the weight ratio k increases linearly from 0 to 1 with respect to the logarithmic value of the exposure time t (logarithm value with 10 as the base), and the exposure time t is a predetermined value. After reaching the length (10 milliseconds in FIG. 7A), it becomes a constant value (1). In the present embodiment, the weight ratio k is calculated so as to increase linearly according to the logarithmic value of the exposure time t until the exposure time t reaches a constant value, but FIG. 7B and FIG. Of course, the weight ratio k may be calculated so as to increase nonlinearly with respect to the logarithmic value of the exposure time t as shown in FIG. Whether the weight ratio k is calculated in any one of FIGS. 7A, 7B, and 7C may be determined in relation to the characteristics of the
図8は、欠陥画素管理テーブル714の格納内容が図5に示す状態となっているCMOS固体撮像装置で、露光時間を0.001ミリ秒、0.1ミリ秒および100ミリ秒として撮像を行った場合における欠陥画素の補正の様子を示す図である。図8では、#1の欠陥画素(2行4列目に位置する欠陥画素)と#2の欠陥画素(15行10列目に位置する欠陥画素)の補正の様子が示されている。 FIG. 8 shows a CMOS solid-state imaging device in which the content stored in the defective pixel management table 714 is in the state shown in FIG. It is a figure which shows the mode of the correction | amendment of the defective pixel in the case of being. FIG. 8 shows how the # 1 defective pixel (defective pixel located in the second row and the fourth column) and the defective pixel # 2 (defective pixel located in the fifteenth row and the tenth column) are corrected.
図5を参照すれば明らかように、#1の欠陥画素は、指標値が0であるから、不具合の程度が低い欠陥画素である。#1の欠陥画素についての画素値補正処理では、ステップSB120の判定結果は“Yes”となり、前掲式(1)にしたがって画素値の補正(ステップSB140)が実行される。図7(a)に示すように、露光時間が0.001ミリ秒の場合は重み比率kは0.2となり、露光時間が0.1ミリ秒の場合は重み比率kは0.5となり、露光時間が100ミリ秒の場合は重み比率kは1.0となる。このため、#1の欠陥画素の画素値は、露光時間が0.001ミリ秒の場合は“(4/5)X0+(1/5)Y”と補正され、露光時間が0.1ミリ秒の場合は“(1/2)X0+(1/2)Yと補正され、露光時間が100ミリ秒の場合は“Y”と補正される。つまり、#1の欠陥画素については、露光時間が短いほど原画素値を大きな比率で生かしつつ画素値の補正が行われるのである。これに対して、#2の欠陥画素は、指標値が1であるから、不具合の程度が高い欠陥画素である。#2の欠陥画素についての画素値補正処理では、ステップSB120の判定結果は“No”となり、その画素値を周辺画素の平均値Yに置き換える補正(ステップSB130)が実行される。このため、#2の欠陥画素については、露光時間の長さによらず、補正後の画素値は常に“Y”となるのである。
As apparent from FIG. 5, the defective pixel of # 1 is a defective pixel having a low degree of malfunction because the index value is 0. In the pixel value correction process for the # 1 defective pixel, the determination result in step SB120 is “Yes”, and the pixel value correction (step SB140) is executed according to the above equation (1). As shown in FIG. 7A, when the exposure time is 0.001 milliseconds, the weight ratio k is 0.2, and when the exposure time is 0.1 milliseconds, the weight ratio k is 0.5. When the exposure time is 100 milliseconds, the weight ratio k is 1.0. Therefore, the pixel value of the
以上説明したように本実施形態によれば、欠陥画素の不具合の程度に応じて異なる態様で画素値の補正が行われるとともに、不具合の程度が低い欠陥画素については、露光時間の長さに応じた重みで原画素値を生かしつつ画素値の補正が行われる。このように本実施形態によれば、不具合の程度が低い欠陥画素については、露光時間の長さに応じた重みで原画素値を生かしつつ画素値の補正が行われるため、撮像画像における被写体の再現性を大きく損なうことはない。つまり、本実施形態によれば、撮像画像における被写体の再現性を大きく損なうことなく、固体撮像装置の欠陥画素に起因して生じる白キズを補正することが可能になるのである。 As described above, according to the present embodiment, the pixel value is corrected in a different manner depending on the degree of the defect of the defective pixel, and the defective pixel having a low degree of the defect depends on the length of the exposure time. The pixel value is corrected using the original pixel value with the determined weight. As described above, according to the present embodiment, for a defective pixel having a low degree of malfunction, the pixel value is corrected while making use of the original pixel value with a weight corresponding to the length of the exposure time. There is no significant loss in reproducibility. That is, according to the present embodiment, it is possible to correct white defects caused by defective pixels of the solid-state imaging device without greatly impairing the reproducibility of the subject in the captured image.
(B:変形)
以上、本発明の一実施形態について説明したが、この実施形態を以下のように変形しても勿論良い。
(1)上述した実施形態では、CMOS固体撮像装置に本発明を適用したが、CCD固体撮像装置に本発明を適用しても勿論良い。要は、撮像面が複数の画素で構成されており、かつ、白キズの発生頻度が露光時間の長さに依存するような固体撮像装置であれば、本発明の適用により、白キズ補正を効果的に行うことができる。
(B: Deformation)
Although one embodiment of the present invention has been described above, the present embodiment may of course be modified as follows.
(1) In the above-described embodiment, the present invention is applied to the CMOS solid-state imaging device. However, the present invention may of course be applied to a CCD solid-state imaging device. In short, if the imaging surface is composed of a plurality of pixels and the frequency of occurrence of white scratches depends on the length of exposure time, white scratch correction can be performed by applying the present invention. Can be done effectively.
(2)上述した実施形態では、欠陥画素検出手段712、画素値補正手段716および重み調整手段718の各々をソフトウェアモジュールで実現したが、これら各手段を電子回路で実現し、これら電子回路と欠陥画素管理テーブル714とを組み合わせて白キズ補正部710を構成しても勿論良い。また、上述した実施形態では、本発明の一実施形態たる白キズ補正部710を、CMOS撮像装置の画像処理部70に組み込んだが、各々電子回路で構成された欠陥画素検出手段712、画素値補正手段716および重み調整手段718と、欠陥画素管理テーブル714と、を組み合わせて白キズ補正装置を構成し、この白キズ補正装置の各部を固体撮像装置の各部にケーブル等で接続することで、図2に示す構成となるようにしても勿論良い。
(2) In the above-described embodiment, each of the defective
(3)上述した実施形態では、注目画素が欠陥画素であると判定される場合(すなわち、注目画素の画素値X0と周辺画素の画素値の平均値Yとの差の絶対値が閾値th1を上回る場合)には、さらに、X0−Yの絶対ちと閾値th2との比較により、その欠陥画素の不具合の程度を判定した。しかし、欠陥画素の不具合の程度によらず、露光時間tに応じて定まる重み比率kで原画素値と上記平均値とを重み付け平均した値で画素値の補正を行うようにしても良い。具体的には、図4に示す欠陥画素検出処理にてステップSA100の判定結果が“Yes”である場合には、ステップSA110の判定を行うことなく欠陥画素の位置情報を欠陥画素管理テーブル714に書き込む処理を欠陥画素検出手段712に実行させる。一方、画素値補正手段716には、ステップSB100の判定結果が“Yes”である場合には、ステップSB120の判定を行うことなく、ステップSB130の処理を実行させるようにするのである。
(3) In the above-described embodiment, when it is determined that the target pixel is a defective pixel (that is, the absolute value of the difference between the pixel value X 0 of the target pixel and the average value Y of the pixel values of the peripheral pixels is the threshold th In the case of exceeding 1 ), the degree of malfunction of the defective pixel was further determined by comparing the absolute value of X 0 -Y with the threshold value th 2 . However, the pixel value may be corrected with a weighted average of the original pixel value and the average value at a weight ratio k determined according to the exposure time t, regardless of the degree of defect pixel defect. Specifically, when the determination result of step SA100 is “Yes” in the defective pixel detection process shown in FIG. 4, the position information of the defective pixel is stored in the defective pixel management table 714 without performing the determination of step SA110. The defective pixel detection means 712 is caused to execute the writing process. On the other hand, when the determination result of step SB100 is “Yes”, the pixel
(4)上述した実施形態では、欠陥画素検出処理および画素値補正処理を実現する画像処理プログラムが白キズ補正部710の不揮発性メモリに予め格納されていたが、CD−ROM(Compact Disk-Read Only Memory)などのコンピュータ読み取り可能な記録媒体に上記プログラムを書き込んで配布しても良く、また、インターネットなどの電気通信回線経由のダウンロードにより上記プログラムを配布しても良い。
(4) In the above-described embodiment, the image processing program for realizing the defective pixel detection process and the pixel value correction process is stored in advance in the non-volatile memory of the white
10A…撮像部、10…画素、20…カラムCDS部、30…カラムADC部、40…水平走査回路、50…タイミングジェネレータ、60…垂直走査回路、70…画像処理部、710…白キズ補正部、712…欠陥画素検出手段、714…欠陥画素管理テーブル、716…画素値補正手段、718…重み調整手段、720…画像合成部、730…画像メモリ、80…U/I部、90…制御部。
DESCRIPTION OF
Claims (3)
利用者により指示された露光時間の撮像を前記固体撮像素子に行わせ、前記複数の画素の各々の画素値が得られた場合において、前記欠陥画素管理テーブルに記憶されている位置情報の示す画素については、当該画素の原画素値を、当該画素の周辺画素の画素値の平均値と当該原画素値との重み付け平均に置き換えて補正する画素値補正手段と、
前記利用者により指示された露光時間が長いほど、前記重み付け平均における前記周辺画素の画素値の平均値の重みを大きくする重み調整手段と、
を有することを特徴とする固体撮像素子の白キズ補正装置。 When a solid-state imaging device having an imaging surface in which a plurality of pixels are arranged in a matrix form is imaged for a predetermined exposure time in a light-shielded state, each of the plurality of pixels is set as a target pixel, and the target pixel It is determined whether or not the target pixel is a defective pixel from the difference between the average value of the pixel values of the peripheral pixels of the pixel and the pixel value of the target pixel. Defective pixel detection means for writing position information indicating the position of the target pixel in the defective pixel management table;
Pixels indicated by position information stored in the defective pixel management table when the solid-state imaging device is made to perform imaging with an exposure time instructed by a user and pixel values of the plurality of pixels are obtained. A pixel value correcting unit that corrects the original pixel value of the pixel by replacing it with a weighted average of the average value of the peripheral pixels of the pixel and the original pixel value;
A weight adjusting means for increasing the weight of the average value of the peripheral pixels in the weighted average as the exposure time instructed by the user is longer;
A white flaw correction apparatus for a solid-state imaging device, comprising:
欠陥画素と判定される画素の位置情報を前記欠陥画素管理テーブルに書き込む際に、当該欠陥画素の不具合の程度を当該欠陥画素の画素値とその周辺画素の画素値の平均値との差分に応じて判定し、その不具合の程度を示す指標値を前記位置情報に対応付けて前記欠陥画素管理テーブルへ書き込み、
前記画素値補正手段は、
前記位置情報に対応付けて前記欠陥画素管理テーブルに格納されている指標値の示す不具合の程度が低い欠陥画素については、前記重み付け平均との置き換えにより画素値を補正し、不具合の程度が高い欠陥画素については、周辺画素の画素値の平均値との置き換えにより画素値を補正する
ことを特徴とする請求項1に記載の固体撮像素子の白キズ補正装置。 The defective pixel detection means includes
When writing the position information of the pixel determined to be a defective pixel to the defective pixel management table, the degree of the defect of the defective pixel is determined according to the difference between the pixel value of the defective pixel and the average value of the peripheral pixels. And writing an index value indicating the degree of the defect to the defective pixel management table in association with the position information,
The pixel value correcting means includes
For defective pixels with a low degree of defect indicated by the index value stored in the defective pixel management table in association with the position information, the pixel value is corrected by replacement with the weighted average, and the defect has a high degree of defect. The white defect correction device for a solid-state imaging device according to claim 1, wherein the pixel value is corrected by replacing the pixel value with an average value of pixel values of peripheral pixels.
前記複数の画素の各々について欠陥画素か否かを判定する際には、前記固体撮像素子を使用した撮像にて指定し得る最長の露光時間で撮像を行う
ことを特徴とする請求項1または2に記載の固体撮像素子の白キズ補正装置。
The defective pixel detection means includes
3. When determining whether or not each of the plurality of pixels is a defective pixel, imaging is performed with the longest exposure time that can be specified by imaging using the solid-state imaging device. The white flaw correction apparatus for a solid-state imaging device according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009120643A JP2010272916A (en) | 2009-05-19 | 2009-05-19 | White defect correction device of solid-state imaging element |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009120643A JP2010272916A (en) | 2009-05-19 | 2009-05-19 | White defect correction device of solid-state imaging element |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010272916A true JP2010272916A (en) | 2010-12-02 |
Family
ID=43420632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009120643A Withdrawn JP2010272916A (en) | 2009-05-19 | 2009-05-19 | White defect correction device of solid-state imaging element |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010272916A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013225772A (en) * | 2012-04-20 | 2013-10-31 | Canon Inc | Image processing device and method |
WO2022210152A1 (en) * | 2021-03-30 | 2022-10-06 | パナソニックIpマネジメント株式会社 | Solid-state imaging device and solid-state imaging system |
-
2009
- 2009-05-19 JP JP2009120643A patent/JP2010272916A/en not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013225772A (en) * | 2012-04-20 | 2013-10-31 | Canon Inc | Image processing device and method |
WO2022210152A1 (en) * | 2021-03-30 | 2022-10-06 | パナソニックIpマネジメント株式会社 | Solid-state imaging device and solid-state imaging system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5028075B2 (en) | Imaging apparatus and imaging method | |
JP5615155B2 (en) | Image processing apparatus and method | |
JP2010068049A (en) | Image device | |
JP2020022135A (en) | Defective pixel correction device, imaging device, and defective pixel correction method | |
JP2010272916A (en) | White defect correction device of solid-state imaging element | |
JP5978636B2 (en) | Imaging apparatus and program | |
JP2008306565A (en) | Imaging apparatus and signal correcting method thereof | |
JP2006166194A (en) | Pixel defect detection circuit and pixel defect detection method | |
JP2008288723A (en) | Imaging apparatus, imaging method, program, and integrated circuit | |
JP5043400B2 (en) | Imaging apparatus and control method thereof | |
JP5299159B2 (en) | Imaging apparatus and program | |
JP2008131546A (en) | Fixed pattern noise elimination apparatus | |
US20080266423A1 (en) | Image sensing apparatus and control method therefor | |
JP2006217113A (en) | Electronic camera and method of inspecting electronic camera | |
JP5477035B2 (en) | Imaging device | |
JP2009284392A (en) | Imaging apparatus | |
JP6748979B2 (en) | Imaging device and control method thereof | |
JP5968145B2 (en) | Image processing apparatus and control method thereof | |
JP2008148115A (en) | Image defect correction system of imaging device using direction detection | |
JP4952548B2 (en) | Noise detection device, imaging device, and noise detection method | |
JP2006005500A (en) | Imaging device and imaging method, and imaging element | |
JP6223166B2 (en) | Image composition device, image composition method, imaging device, program, and storage medium | |
US10368020B2 (en) | Image capturing apparatus and control method therefor | |
JP2005341261A (en) | Imaging unit | |
JP4745680B2 (en) | Imaging apparatus and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120807 |