JP2010272916A - White defect correction device of solid-state imaging element - Google Patents

White defect correction device of solid-state imaging element Download PDF

Info

Publication number
JP2010272916A
JP2010272916A JP2009120643A JP2009120643A JP2010272916A JP 2010272916 A JP2010272916 A JP 2010272916A JP 2009120643 A JP2009120643 A JP 2009120643A JP 2009120643 A JP2009120643 A JP 2009120643A JP 2010272916 A JP2010272916 A JP 2010272916A
Authority
JP
Japan
Prior art keywords
pixel
defective
value
pixels
defective pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009120643A
Other languages
Japanese (ja)
Inventor
Shinichi Mine
伸一 峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2009120643A priority Critical patent/JP2010272916A/en
Publication of JP2010272916A publication Critical patent/JP2010272916A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technique for correcting white defects caused by defective pixels of solid-state imaging elements without sharply losing reproducibility of subjects in captured images. <P>SOLUTION: When the solid-state imaging element is shielded from light and images are captured for fixed exposure time, it is determined whether a target pixel is a defective pixel appearing as a white defect in the captured image according to a difference between an average of a pixel value of a peripheral pixel of the target pixel and a pixel value of the target pixel with each of a plurality of pixels of the solid-state imaging element as the target pixel. Then, when the target pixel is a defective pixel, position information is stored, which indicates the position of the target pixel on the imaging surface of the solid-state imaging element. Contrarily, when images are captured with exposure time designated by a user, the original pixel values of the defective pixels are replaced by a weighted average value between an average value of pixel values of peripheral pixels of the defective pixels and the original pixel values of the defective pixels to correct the pixel values of the defective pixels wherein the weighted averaging is carried out at a ratio (the longer the exposure time is, the higher the ratio of the average value of the pixel values of the peripheral pixels of the defective pixels is) according to the exposure time. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、イメージセンサにより撮像した画像の白キズを補正する技術に関する。   The present invention relates to a technique for correcting white flaws in an image captured by an image sensor.

ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子を用いた撮像装置が一般に普及している。この種の固体撮像素子の撮像面は複数の画素をマトリクス状に配列して構成されている。固体撮像素子を用いた撮像装置では、その撮像面に被写体の光学像を結像させ、一定時間長のフレーム（垂直走査期間）毎に各画素から画素信号を読み出す処理が繰り返し実行される。固体撮像素子の撮像面を構成する各画素に着目すると、前回の画素信号の読み出しから今回の画素信号の読み出しまでの期間である１フレームが露光時間となり、今回読み出される画素信号の信号値である画素値は、露光時間内における画素の受光量を反映したものとなる。   Imaging devices using solid-state imaging devices such as CCD (Charge Coupled Device) image sensors and CMOS (Complementary Metal Oxide Semiconductor) image sensors are generally popular. The imaging surface of this type of solid-state imaging device is configured by arranging a plurality of pixels in a matrix. In an imaging apparatus using a solid-state imaging device, an optical image of a subject is formed on the imaging surface, and a process of reading a pixel signal from each pixel is repeatedly executed for each frame (vertical scanning period) having a certain time length. Focusing on each pixel constituting the imaging surface of the solid-state imaging device, one frame, which is a period from the previous readout of the pixel signal to the readout of the current pixel signal, is the exposure time, and is the signal value of the pixel signal read out this time. The pixel value reflects the amount of light received by the pixel within the exposure time.

ところで、固体撮像素子の撮像面を構成する複数の画素のなかには、ダストの付着や結晶欠陥等により、画素信号を正常に出力せず、撮像画像に白キズを生じさせるもの（以下、欠陥画素）が含まれている場合がある。このような欠陥画素は全くないことが好ましいのであるが、固体撮像素子には数十万〜数百万個の画素が含まれているため、欠陥画素が全く無いように固体撮像素子を製造することは極めて困難である。そこで、固体撮像素子に含まれる複数の画素のなかには、ある程度の数の欠陥画素が含まれていることを前提に、各画素から読み出される画素信号に後処理を施すことで、欠陥画素に起因して生じる白キズを補正し、その影響を緩和する技術が提案されている（例えば、特許文献１参照）。   By the way, among the plurality of pixels constituting the imaging surface of the solid-state imaging device, pixel signals are not normally output due to dust adhesion, crystal defects, etc., and white defects are generated in the captured image (hereinafter, defective pixels). May be included. It is preferable that there are no such defective pixels. However, since the solid-state image sensor includes hundreds of thousands to millions of pixels, the solid-state image sensor is manufactured so that there are no defective pixels. It is extremely difficult. Therefore, on the premise that a certain number of defective pixels are included in the plurality of pixels included in the solid-state imaging device, post-processing is performed on the pixel signal read from each pixel, resulting in defective pixels. There has been proposed a technique for correcting white flaws that occur and mitigating the effect (see, for example, Patent Document 1).

特許文献１に開示された技術では、撮像装置の工場出荷時に欠陥画素の位置を検出しておき、ユーザがその撮像装置を用いて撮像を行う際には、欠陥画素の周辺に位置する画素（以下、周辺画素）の画素値を用いてその欠陥画素の画素値を補正（例えば周辺画素の画素値の平均値で欠陥画素の画素値を置き換える等）することで白キズの影響が緩和される。より詳細に説明すると、特許文献１に開示された技術では、撮像装置の工場出荷時に、各々異なる長さの露光時間で真っ暗な画像を撮像し（固体撮像素子を遮光した状態で撮像する等）、各画像にて白キズとなって現れる欠陥画素の位置を検出し、その欠陥画素の位置を示す白キズ情報を露光時間毎に記憶する。ここで、各々異なる長さの露光時間で欠陥画素の位置を検出するのは、白キズは結晶欠陥に起因して生じるため、固体撮像素子の使用状況（露光時間等）に応じて発生頻度が変化する（露光時間が長くなるほど白キズは増加する）からである。また、真っ暗な画像を撮像して白キズの検出を行うのは、このような状態では、固体撮像素子に含まれる複数の画素が全て正常であれば、各画素の画素値は一定になるため、欠陥画素を検出し易くなるからである。   In the technique disclosed in Patent Document 1, the position of a defective pixel is detected at the time of shipment of the imaging device from the factory, and when the user performs imaging using the imaging device, the pixels ( Hereinafter, by correcting the pixel value of the defective pixel using the pixel value of the peripheral pixel (for example, replacing the pixel value of the defective pixel with the average value of the pixel values of the peripheral pixels), the influence of white scratches is reduced. . More specifically, in the technique disclosed in Patent Document 1, when the imaging device is shipped from the factory, a dark image is captured with exposure times of different lengths (for example, imaging is performed while the solid-state imaging device is shielded from light). The position of the defective pixel appearing as a white defect in each image is detected, and white defect information indicating the position of the defective pixel is stored for each exposure time. Here, the reason for detecting the position of the defective pixel with exposure times of different lengths is that white scratches are caused by crystal defects, and therefore the frequency of occurrence depends on the use state (exposure time, etc.) of the solid-state imaging device. This is because it changes (white scratches increase as the exposure time increases). Also, the reason for detecting a white defect by capturing a dark image is that in such a state, if all of the plurality of pixels included in the solid-state imaging device are all normal, the pixel value of each pixel is constant. This is because it becomes easier to detect defective pixels.

特開平１１−２３９２９８号公報JP 11-239298 A

白キズとなって現れる欠陥画素の数が露光時間の長さに応じて変動するということは、欠陥画素毎に不具合の程度が異なり、その不具合が顕在化し始める露光時間が欠陥画素毎に異なるということを意味している。したがって、ある長さの露光時間で検出される欠陥画素のなかには、さほど顕著な白キズとなって現れず、画素値の補正を殆ど要しないものが含まれている場合がある。このように画素値の補正を殆ど要しない欠陥画素であれば、原画素値をそのまま用いるほうが被写体を忠実に再現するという観点からは好ましい。しかし、特許文献１に開示された技術では、白キズの程度（欠陥画素の不具合の程度）によらず、一律に欠陥画素の画素値を周辺画素の画素値を用いて補正するため、不具合の程度が低い欠陥画素についても補正が行われ、撮像画像における被写体の再現性が大きく損なわれる虞がある。   The fact that the number of defective pixels that appear as white scratches varies according to the length of the exposure time means that the degree of the defect differs for each defective pixel, and the exposure time at which the defect starts to manifest varies for each defective pixel. It means that. Accordingly, there are cases where defective pixels detected with a certain length of exposure time include those that do not appear as a noticeable white flaw and hardly require correction of pixel values. In this manner, if the defective pixel hardly requires correction of the pixel value, it is preferable to use the original pixel value as it is from the viewpoint of faithfully reproducing the subject. However, in the technique disclosed in Patent Document 1, since the pixel value of the defective pixel is uniformly corrected using the pixel value of the peripheral pixel regardless of the degree of white scratch (the degree of defect of the defective pixel), A defective pixel having a low degree is also corrected, and there is a possibility that the reproducibility of the subject in the captured image is greatly impaired.

本発明は上記課題に鑑みて為されたものであり、撮像画像における被写体の再現性を大きく損なうことなく、固体撮像素子の欠陥画素に起因して生じる白キズを補正する技術を提供することを目的とする。   The present invention has been made in view of the above problems, and provides a technique for correcting white flaws caused by defective pixels of a solid-state image sensor without greatly impairing the reproducibility of a subject in a captured image. Objective.

上記課題を解決するために本発明は、複数の画素をマトリクス状に配列した撮像面を有する固体撮像素子に、遮光した状態で予め定められた露光時間の撮像を行わせた場合において、前記複数の画素の各々を注目画素とし、当該注目画素の周辺画素の画素値の平均値と当該注目画素の画素値との差分から当該注目画素が欠陥画素であるか否かを判定し、欠陥画素と判定される場合には、前記撮像面における当該注目画素の位置を示す位置情報を欠陥画素管理テーブルに書き込む欠陥画素検出手段と、利用者により指示された露光時間の撮像を前記固体撮像素子に行わせ、前記複数の画素の各々の画素値が得られた場合において、前記欠陥画素管理テーブルに記憶されている位置情報の示す画素については、当該画素の原画素値を、当該画素の周辺画素の画素値の平均値と当該原画素値との重み付け平均に置き換えて補正する画素値補正手段と、前記利用者により指示された露光時間が長いほど、前記重み付け平均における前記周辺画素の画素値の平均値の重みを大きくする重み調整手段とを有することを特徴とする固体撮像素子の白キズ補正装置を提供する。なお、本発明の別の態様においては、コンピュータを上記各手段として機能させることを特徴とするプログラムを提供する態様であっても良い。   In order to solve the above problems, the present invention provides a solid-state image pickup device having an image pickup surface in which a plurality of pixels are arranged in a matrix, in a case where imaging is performed with a predetermined exposure time in a light-shielded state. Each pixel is determined as a target pixel, and it is determined whether or not the target pixel is a defective pixel from a difference between an average value of pixel values of peripheral pixels of the target pixel and a pixel value of the target pixel. When the determination is made, defective pixel detection means for writing position information indicating the position of the target pixel on the imaging surface to the defective pixel management table, and imaging of the exposure time instructed by the user is performed on the solid-state imaging device. When the pixel values of each of the plurality of pixels are obtained, the original pixel value of the pixel is set to the pixel indicated by the position information stored in the defective pixel management table. Pixel value correction means for correcting the pixel value by replacing the average value of the pixel values of the side pixels with the original pixel value, and the pixels of the peripheral pixels in the weighted average as the exposure time instructed by the user is longer There is provided a white defect correction device for a solid-state imaging device, comprising weight adjusting means for increasing a weight of an average value. In another aspect of the present invention, an aspect of providing a program that causes a computer to function as each of the above means may be provided.

このような白キズ補正装置およびプログラムによれば、固体撮像素子の撮像面を構成する複数の画素の各々について、その画素値と周辺画素の画素値の平均値との差に基づいて欠陥画素であるか否かが判定され、欠陥画素と判定される場合には、撮像面における当該画素の位置が欠陥画素管理テーブルに記録される。そして、上記固体撮像素子を用いた撮像の際には、欠陥画素管理テーブルに位置が記録されている画素については、その画素値を当該画素値と周辺画素の画素値の平均値との重み付け平均（露光時間が長いほど後者の重みを大きくした重み付け平均（換言すれば、露光時間が短いほど前者の重みを大きくした重み付け平均））に置き換える補正が行われる。つまり、本発明によれば欠陥画素の原画素値を露光時間が短いほど大きな重みで生かしつつ、その欠陥画素の画素値を補正することができる。   According to such a white defect correction apparatus and program, for each of a plurality of pixels constituting the imaging surface of the solid-state imaging device, a defective pixel is determined based on the difference between the pixel value and the average value of the pixel values of surrounding pixels. If it is determined whether or not there is a defective pixel, the position of the pixel on the imaging surface is recorded in the defective pixel management table. When imaging using the solid-state imaging device, for the pixel whose position is recorded in the defective pixel management table, the pixel value is a weighted average of the pixel value and the average value of the pixel values of the surrounding pixels. The correction is performed by replacing with the weighted average in which the latter weight is increased as the exposure time is longer (in other words, the weighted average in which the weight of the former is increased as the exposure time is shorter). That is, according to the present invention, the pixel value of the defective pixel can be corrected while making use of the original pixel value of the defective pixel with a greater weight as the exposure time is shorter.

より好ましい態様においては、前記白キズ補正装置の欠陥画素検出手段は、欠陥画素と判定される画素の位置情報を前記欠陥画素管理テーブルに書き込む際に、当該欠陥画素の不具合の程度を当該欠陥画素の画素値とその周辺画素の画素値の平均値との差分に応じて判定し、その不具合の程度を示す指標値を前記位置情報に対応付けて前記欠陥画素管理テーブルへ書き込み、前記画素値補正手段は、前記位置情報に対応付けて前記欠陥画素管理テーブルに格納されている指標値の示す不具合の程度が低い欠陥画素については、前記重み付け平均による置き換えで画素値を補正し、不具合の程度が高い欠陥画素については、周辺画素の画素値の平均値による置き換えで画素値を補正することを特徴とする。このような態様によれば、不具合の程度が低い欠陥画素については露光時間の長さに応じた態様で画素値が補正される一方、不具合の程度が高い欠陥画素については、露光時間の長さによらず、その画素値を常に周辺画素の画素値の平均値で置き換える補正が行われる。つまり、本態様によれば、欠陥画素の不具合の程度に応じて異なる態様で画素値を補正することが可能になる。   In a more preferred aspect, the defective pixel detection means of the white defect correction device writes the degree of defect of the defective pixel when writing the positional information of the pixel determined as the defective pixel in the defective pixel management table. The pixel value is determined according to the difference between the pixel value of the pixel and the average value of the pixel values of the surrounding pixels, and an index value indicating the degree of the defect is written to the defective pixel management table in association with the position information. The means corrects the pixel value by replacement by the weighted average for a defective pixel having a low level of fault indicated by the index value stored in the defective pixel management table in association with the position information. For a high defective pixel, the pixel value is corrected by replacement with an average value of pixel values of peripheral pixels. According to such an aspect, the pixel value is corrected in a manner corresponding to the length of the exposure time for a defective pixel having a low degree of malfunction, while the length of the exposure time is determined for a defective pixel having a high degree of malfunction. Regardless, the pixel value is always replaced with the average value of the pixel values of the surrounding pixels. That is, according to this aspect, it is possible to correct the pixel value in a different aspect depending on the degree of defect of the defective pixel.

また、別の好ましい態様においては、前記白キズ補正装置の欠陥画素検出手段は、前記複数の画素の各々について欠陥画素か否かを判定する際には、前記固体撮像素子を使用した撮像にて指定し得る最長の露光時間で撮像を行うことを特徴とする。前述したように、欠陥画素が有する不具合は露光時間が長くなるほど顕在化するので、このような態様によれば、撮像画像において白キズとなって現れ得る全ての欠陥画素を検出することができると期待される。   In another preferred embodiment, the defective pixel detection means of the white defect correction device determines whether each of the plurality of pixels is a defective pixel by imaging using the solid-state imaging device. The imaging is performed with the longest exposure time that can be specified. As described above, the defect that the defective pixel has becomes more obvious as the exposure time becomes longer. Therefore, according to such an aspect, it is possible to detect all defective pixels that can appear as white scratches in the captured image. Be expected.

本発明の一実施形態であるＣＭＯＳ固体撮像装置の構成例を示す図である。It is a figure which shows the structural example of the CMOS solid-state imaging device which is one Embodiment of this invention. 同ＣＭＯＳ固体撮像装置の画像処理部７０の構成例を示す図である。It is a figure which shows the structural example of the image process part 70 of the CMOS solid-state imaging device. 露光時間の違いによるＳ／Ｎ比の変化の様子、および注目画素と周辺画素の位置関係を示す図である。It is a figure which shows the mode of the change of S / N ratio by the difference in exposure time, and the positional relationship of an attention pixel and a surrounding pixel. 同画像処理部７０の欠陥画素検出手段７１２が実行する欠陥画素検出処理の流れを示すフローチャートである。4 is a flowchart showing a flow of defective pixel detection processing executed by a defective pixel detection unit 712 of the image processing unit 70. 欠陥画素管理テーブル７１４の一例を示す図である。5 is a diagram illustrating an example of a defective pixel management table 714. FIG. 同画像処理部７０の画素値補正手段７１６が実行する画素値補正処理の流れを示す図である。It is a figure which shows the flow of the pixel value correction process which the pixel value correction | amendment means 716 of the image processing part 70 performs. 同画像処理部７０の重み調整手段７１８により算出される重み比率ｋと露光時間ｔとの関係を示す図である。It is a figure which shows the relationship between the weight ratio k calculated by the weight adjustment means 718 of the image processing part 70, and the exposure time t. 露光時間ｔが短い場合および長い場合の白キズ補正の具体的な様子を説明するための図である。It is a figure for demonstrating the concrete mode of the white defect correction | amendment when the exposure time t is short and long.

以下、図面を参照しつつ本発明の実施の形態について説明する。
（Ａ：実施形態）
図１は、本発明の一実施形態である白キズ補正部を含むＣＭＯＳ固体撮像装置の構成例を示すブロック図である。なお、本実施形態では、図１に示す構成のＣＭＯＳ固体撮像装置に本発明を適用するが、他の構成のＣＭＯＳ固体撮像装置に本発明を適用しても良いことは勿論である。
撮像部１０Ａは、図１に示すように、複数の画素１０をマトリクス状に配列して構成されている。各列をなす複数の画素１０は、列毎に設けられた列信号線１１に接続される。各列信号線１１は、図１に示すように、カラムＣＤＳ（Correlated Double Sampling；相関２重サンプリング）部２０に接続されている。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(A: Embodiment)
FIG. 1 is a block diagram illustrating a configuration example of a CMOS solid-state imaging device including a white defect correction unit according to an embodiment of the present invention. In the present embodiment, the present invention is applied to the CMOS solid-state imaging device having the configuration shown in FIG. 1, but the present invention may of course be applied to CMOS solid-state imaging devices having other configurations.
As shown in FIG. 1, the imaging unit 10A is configured by arranging a plurality of pixels 10 in a matrix. A plurality of pixels 10 forming each column are connected to a column signal line 11 provided for each column. As shown in FIG. 1, each column signal line 11 is connected to a column CDS (Correlated Double Sampling) unit 20.

カラムＣＤＳ部２０は、撮像部１０Ａにおける画素１０の列毎に設けられたＣＤＳ回路の集合体である。各ＣＤＳ回路は、タイミングジェネレータ５０から２種類のサンプリングパルスが与えられる各タイミングにおいて、撮像部１０Ａの各列信号線１１に読み出される電圧を各々サンプリングして差分を検出し、アナログ画素信号を各々出力する。カラムＡＤＣ部３０は、撮像部１０Ａにおける画素１０の列毎に設けられたＡＤＣ（Analog to Digital Converter）の集合体である。各ＡＤＣは、タイミングジェネレータ５０による制御の下、各ＣＤＳ回路から出力されるアナログ画素信号をデジタル画素信号に変換する。   The column CDS unit 20 is an aggregate of CDS circuits provided for each column of the pixels 10 in the imaging unit 10A. Each CDS circuit samples a voltage read to each column signal line 11 of the imaging unit 10A at each timing when two kinds of sampling pulses are given from the timing generator 50, detects a difference, and outputs an analog pixel signal, respectively. To do. The column ADC unit 30 is an aggregate of ADCs (Analog to Digital Converters) provided for each column of the pixels 10 in the imaging unit 10A. Each ADC converts an analog pixel signal output from each CDS circuit into a digital pixel signal under the control of the timing generator 50.

水平走査回路４０は、撮像部１０Ａの列数と同じステージ数のシフトレジスタである。この水平走査回路４０は、タイミングジェネレータ５０による制御の下、水平走査期間毎にカラムＡＤＣ部３０から出力される１行分のデジタル画素信号を取り込み、画像処理部７０にシリアル転送する動作を繰り返す。タイミングジェネレータ５０は、垂直走査回路６０、カラムＣＤＳ部２０、カラムＡＤＣ部３０、水平走査回路４０等、ＣＭＯＳ固体撮像装置の各部のタイミング制御のための信号を発生する回路である。垂直走査回路６０は、タイミングジェネレータ５０による制御の下、露光のための撮像部１０Ａの駆動制御、すなわち、撮像部１０Ａの各行の選択および画素信号の読み出し制御を行う回路である。   The horizontal scanning circuit 40 is a shift register having the same number of stages as the number of columns of the imaging unit 10A. Under the control of the timing generator 50, the horizontal scanning circuit 40 repeats the operation of taking one row of digital pixel signals output from the column ADC unit 30 and transferring them serially to the image processing unit 70 for each horizontal scanning period. The timing generator 50 is a circuit that generates signals for timing control of each part of the CMOS solid-state imaging device, such as the vertical scanning circuit 60, the column CDS unit 20, the column ADC unit 30, and the horizontal scanning circuit 40. The vertical scanning circuit 60 is a circuit that performs drive control of the imaging unit 10A for exposure, that is, selection of each row of the imaging unit 10A and readout control of pixel signals under the control of the timing generator 50.

画像処理部７０は、水平走査回路４０から供給される１行分のデジタル画素信号を蓄積しつつ処理し、フレーム毎に一画面分の画像データを合成する装置である。本実施形態のＣＭＯＳ固体撮像装置は、欠陥画素検出モードと撮像モードの２つの動作モードを有しており、画像処理部７０は、これら２つの動作モードの各々で異なる処理を実行する。欠陥画素検出モードは、ＣＭＯＳ固体撮像装置の工場出荷時に製品検査などで実行される動作モードである。この欠陥画素検出モードにおいては、画像処理部７０は上記一画面分の画像データを解析して撮像画像にて白キズとなって現れ得る欠陥画素を検出し、その欠陥画素の位置を示す位置情報（撮像面の左上隅の画素を一行一列目の画素とした場合における当該画素の行番号および列番号等）を記憶する処理（以下、欠陥画素検出処理）を実行する。一方、撮像モードは、ユーザがＣＭＯＳ固体撮像装置を用いて実際に撮像を行う際の動作モードである。この撮像モードにおいては、画像処理部７０は、一画面分の画像データに対して、欠陥画素として記憶した画素の画素値をその周辺画素の画素値を利用して補正する処理（以下、画素値補正処理）を施し、後段の装置へ出力する。画像処理部７０の後段の装置が液晶ディスプレイ等の表示装置であれば、画像処理部７０から出力される一画面分の画像データに応じた画像がこの表示装置に表示される。また、画像処理部７０の後段の装置が、ハードディスなどの記録媒体であれば、画像処理部７０から出力される一画面分の画像データはこの記録媒体に記録される。   The image processing unit 70 is a device that processes the digital pixel signals for one row supplied from the horizontal scanning circuit 40 while accumulating them, and synthesizes image data for one screen for each frame. The CMOS solid-state imaging device according to the present embodiment has two operation modes, a defective pixel detection mode and an imaging mode, and the image processing unit 70 executes different processes in each of these two operation modes. The defective pixel detection mode is an operation mode executed in product inspection or the like when the CMOS solid-state imaging device is shipped from the factory. In this defective pixel detection mode, the image processing unit 70 analyzes the image data for one screen, detects defective pixels that may appear as white flaws in the captured image, and position information indicating the position of the defective pixels. A process of storing (hereinafter, defective pixel detection process) is executed (when the pixel at the upper left corner of the imaging surface is the pixel in the first row and the first column). On the other hand, the imaging mode is an operation mode when the user actually performs imaging using the CMOS solid-state imaging device. In this imaging mode, the image processing unit 70 corrects the pixel value of a pixel stored as a defective pixel with respect to image data for one screen by using the pixel value of the surrounding pixels (hereinafter referred to as pixel value). Correction process) and output to the subsequent apparatus. If the subsequent device of the image processing unit 70 is a display device such as a liquid crystal display, an image corresponding to one screen of image data output from the image processing unit 70 is displayed on the display device. Further, if the apparatus following the image processing unit 70 is a recording medium such as a hard disk, image data for one screen output from the image processing unit 70 is recorded on this recording medium.

Ｕ／Ｉ（ユーザインタフェース）部８０は、液晶表示パネル等の表示装置と押しボタン等の各種の操作子により構成されている。Ｕ／Ｉ部８０は、ＣＭＯＳ固体撮像装置の操作に関する各種の案内情報を表示し、操作子を介して撮像条件等に関する各種の情報をユーザから取得する役割や動作モードの指示を行わせる役割を果たす。制御部９０は、Ｕ／Ｉ部８０を介して与えられる指示に従い、ＣＭＯＳ固体撮像装置の各部の制御を行う装置である。より詳細に説明すると、制御部９０は、Ｕ／Ｉ部８０を介して与えられる指示にしたがってＣＭＯＳ固体撮像装置の動作モードの切り換えや、その切り換えに伴う各部の駆動制御、撮像条件等に関する各種情報の受け渡しを行う。   The U / I (user interface) unit 80 includes a display device such as a liquid crystal display panel and various operators such as push buttons. The U / I unit 80 displays various types of guidance information related to the operation of the CMOS solid-state imaging device, and plays a role of acquiring various types of information related to imaging conditions and the like from the user and operating mode instructions via the operator. Fulfill. The control unit 90 is a device that controls each unit of the CMOS solid-state imaging device in accordance with instructions given via the U / I unit 80. More specifically, the control unit 90 switches the operation mode of the CMOS solid-state imaging device in accordance with instructions given via the U / I unit 80, various information related to drive control of each unit, imaging conditions, and the like accompanying the switching. Delivery of.

例えば、欠陥画素検出モードでの作動を指示された場合には、制御部９０は、撮像部１０Ａが遮光された状態となるように絞り（図示省略）の調整を行い、ＣＭＯＳ固体撮像装置に設定し得る最長の露光時間を設定する。このように撮像部１０Ａを遮光した状態で撮像を行うのは、特許文献１に開示された技術と同様に、撮像部１０Ａに含まれる複数の画素１０の各々が全て正常であれば各画素１０の画素値は一定になり、欠陥画素を検出し易くなるからである。また、露光時間を最長に設定するのは、撮像画像にて白キズとなって現れ得る欠陥画素を全て検出することができるようにするためである。これに対して、撮像モードでの作動を指示された場合には、制御部９０は、利用者により指示された露光時間を示すデータを画像処理部７０に与える。これは、露光時間に応じた態様で欠陥画素の画素値を補正する画素値補正処理を画像処理部７０に実行させるためである。   For example, when the operation in the defective pixel detection mode is instructed, the control unit 90 adjusts the diaphragm (not shown) so that the imaging unit 10A is shielded from light and sets it in the CMOS solid-state imaging device. The longest possible exposure time is set. In this way, imaging is performed in a state where the imaging unit 10A is shielded from light, as in the technique disclosed in Patent Document 1, if each of the plurality of pixels 10 included in the imaging unit 10A is normal, each pixel 10 This is because the pixel value becomes constant and it becomes easy to detect defective pixels. The exposure time is set to the longest so that all defective pixels that can appear as white scratches in the captured image can be detected. On the other hand, when the operation in the imaging mode is instructed, the control unit 90 provides the image processing unit 70 with data indicating the exposure time instructed by the user. This is to cause the image processing unit 70 to execute pixel value correction processing for correcting the pixel value of the defective pixel in a manner corresponding to the exposure time.

図２は、画像処理部７０の構成例を示す機能ブロック図である。
図２に示すように、画像処理部７０は、白キズ補正部７１０と、画像合成部７２０と、画像メモリ７３０とを含んでいる。画像合成部７２０は、水平走査回路４０から順次与えられる１行分のデジタル画素信号からフレーム毎に一画面分の画像データを合成する装置である。画像メモリ７３０は所謂フレームメモリであり、画像合成部７２０により合成された一画面分の画像データを記憶する。これら画像合成部７２０および画像メモリ７３０については一般的な固体撮像装置が備えるものと何ら変るところはないため詳細な説明を省略し、以下では白キズ補正部７１０を中心に説明する。 FIG. 2 is a functional block diagram illustrating a configuration example of the image processing unit 70.
As shown in FIG. 2, the image processing unit 70 includes a white defect correction unit 710, an image composition unit 720, and an image memory 730. The image synthesis unit 720 is a device that synthesizes image data for one screen for each frame from the digital pixel signals for one row sequentially supplied from the horizontal scanning circuit 40. The image memory 730 is a so-called frame memory, and stores image data for one screen synthesized by the image synthesis unit 720. The image synthesizing unit 720 and the image memory 730 are not different from those provided in a general solid-state imaging device, and thus will not be described in detail. Hereinafter, the white defect correcting unit 710 will be mainly described.

白キズ補正部７１０は、ＣＰＵ（Central Processing Unit）や、ＲＡＭ（Random Access Memory）等の揮発性メモリ、ＲＯＭ（Read
Only Memory）やＥＥＰＲＯＭ（Erasable Programmable ROM）等からなる不揮発性メモリで構成されたコンピュータ装置である（図２では、何れも図示省略）。上記ＲＡＭは、上記ＣＰＵに各種プログラムを実行させる際のワークエリアの役割を果たす。上記ＥＥＰＲＯＭには、欠陥画素管理テーブル７１４が格納されている。この欠陥画素管理テーブル７１４の詳細については後に明らかにする。上記ＲＯＭには、上記ＣＰＵに欠陥画素検出処理や画素値補正処理を実行させるための画像処理プログラムが格納されている。上記ＣＰＵは上記画像処理プログラムを実行することにより、図２に示すスイッチＳＷ、欠陥画素検出手段７１２、画素値補正手段７１６および重み調整手段７１８として機能する。図２のスイッチＳＷの切り換えは、制御部９０によって行われる。より詳細に説明すると、欠陥画素検出モードにおいては、画像メモリ３０から読み出した画像データが欠陥画素検出手段７１２に与えられるようにスイッチＳＷの切り換えが行われ、撮像モードにおいては、同画像データが画素値補正手段７１６に与えられるようにスイッチＳＷの切り換えが行われる。 The white defect correction unit 710 includes a CPU (Central Processing Unit), a volatile memory such as a RAM (Random Access Memory), and a ROM (Read
This is a computer device composed of a non-volatile memory such as a Only Memory (ERAM) or an EEPROM (Erasable Programmable ROM) (none of which is shown in FIG. 2). The RAM serves as a work area when the CPU executes various programs. A defective pixel management table 714 is stored in the EEPROM. Details of the defective pixel management table 714 will be made clear later. The ROM stores an image processing program for causing the CPU to execute defective pixel detection processing and pixel value correction processing. The CPU functions as the switch SW, the defective pixel detecting unit 712, the pixel value correcting unit 716, and the weight adjusting unit 718 shown in FIG. 2 by executing the image processing program. Switching of the switch SW in FIG. 2 is performed by the control unit 90. More specifically, in the defective pixel detection mode, the switch SW is switched so that the image data read from the image memory 30 is supplied to the defective pixel detection means 712, and in the imaging mode, the image data is converted to a pixel. The switch SW is switched so as to be supplied to the value correction means 716.

欠陥画素検出手段７１２は、画像メモリ３０に記憶されている画像データを解析し、撮像部１０Ａを構成する複数の画素１０のうち撮像画像にて白キズとなって現れる得る欠陥画素を検出する欠陥画素検出処理を実行する。より詳細に説明すると、欠陥画素検出手段７１２は、撮像部１０Ａの撮像面において欠陥画素が連続していないことを前提に、撮像部１０Ａを構成する複数の画素１０の各々を注目画素とし、その注目画素の画素値Ｘ０と周辺画素（図３（ｂ）に示すように、注目画素の上下左右に隣接する画素）の画素値（図３（ｂ）：Ｘ１〜Ｘ４）の平均値（本実施形態では、相加平均）とを比較し、両者が大きく異なるときにその注目画素を欠陥画素と判定する。 The defective pixel detection unit 712 analyzes the image data stored in the image memory 30, and detects a defective pixel that may appear as a white defect in the captured image among the plurality of pixels 10 constituting the imaging unit 10A. A pixel detection process is executed. More specifically, the defective pixel detection unit 712 sets each of the plurality of pixels 10 constituting the imaging unit 10A as a target pixel on the assumption that the defective pixels are not continuous on the imaging surface of the imaging unit 10A. pixel value X 0 and peripheral pixels of the pixel of interest (as shown in FIG. 3 (b), pixels adjacent vertically and horizontally of the pixel of interest) pixel value (Fig. 3 (b): X 1 ~X 4) of the mean value (In this embodiment, arithmetic average) is compared, and when the two are greatly different, the target pixel is determined as a defective pixel.

ここで、欠陥画素が連続していないことを前提とするのは、欠陥画素が連続しているようなＣＭＯＳ固体撮像装置は不良品であり、工場出荷時の製品検査にて排除されておくべきものだからである。また、注目画素の画素値と周辺画素の画素値の平均値とを比較することで、その注目画素が欠陥画素であるか否かを判定することができる理由は以下の通りである。前述したように、欠陥画素検出モードにおいては、撮像部１０Ａを遮光した状態で撮像が行われ、その撮像画像に対応する画像データが画像メモリ３０に格納される。撮像部１０Ａに含まれる画素１０が全て正常であれば、各画素１０の画素値のＳ／Ｎ比（被写体の輝度に対応した信号成分Ｓとノイズ成分Ｎとの比）は露光時間の長さに依らず略一定となる。これに対して、結晶欠陥等を有する欠陥画素の場合は、図３（ａ）に示すように、露光時間ｔが長くなるほどノイズ成分Ｎの比率が高くなり、同一の撮像条件（露光時間）において正常な画素が出力する画素値とは異なる画素値を出力すると考えられる。このように欠陥画素は正常な周辺画素とは異なる画素値を出力すると考えられるため、注目画素の画素値を周辺画素の画素値の平均値と比較することでその注目画素が欠陥画素であるか否かを判定することができるのである。なお、撮像面にて最上段、最下段、左端列或いは右端列に位置する画素については、その配置位置に応じた態様で周辺画素の画素値の平均値を算出しても良く（例えば、左上隅の画素については、下側および右隣の画素の画素値Ｘ２およびＸ４の相加平均と比較して欠陥画素か否かを判定すれば良い）、また、これらの画素に欠陥画素が含まれていても、画像全体の画質等に与える影響が小さいため、欠陥画素の検出対象から除外しても勿論良い。 Here, the premise that the defective pixels are not continuous is that the CMOS solid-state imaging device in which the defective pixels are continuous is a defective product and should be excluded in the product inspection at the time of shipment from the factory. Because it is a thing. Further, the reason why it is possible to determine whether or not the target pixel is a defective pixel by comparing the pixel value of the target pixel and the average value of the pixel values of the surrounding pixels is as follows. As described above, in the defective pixel detection mode, imaging is performed with the imaging unit 10 </ b> A shielded from light, and image data corresponding to the captured image is stored in the image memory 30. If all the pixels 10 included in the imaging unit 10A are normal, the S / N ratio of each pixel 10 (the ratio of the signal component S and the noise component N corresponding to the luminance of the subject) is the length of the exposure time. It is almost constant regardless of On the other hand, in the case of a defective pixel having a crystal defect or the like, as shown in FIG. 3A, the ratio of the noise component N increases as the exposure time t increases, and the same imaging conditions (exposure time). It is considered that a pixel value different from a pixel value output by a normal pixel is output. In this way, it is considered that the defective pixel outputs a pixel value different from that of the normal peripheral pixel. Therefore, whether the target pixel is the defective pixel by comparing the pixel value of the target pixel with the average value of the pixel values of the peripheral pixels. It can be determined whether or not. For pixels located in the uppermost, lowermost, leftmost or rightmost column on the imaging surface, the average value of the pixel values of the surrounding pixels may be calculated in a manner corresponding to the arrangement position (for example, upper leftmost) For the pixel at the corner, it may be determined whether or not it is a defective pixel by comparing with the arithmetic mean of the pixel values X 2 and X 4 of the lower and right neighboring pixels). Even if it is included, the influence on the image quality and the like of the entire image is small.

図４は、欠陥画素検出手段７１２が注目画素毎に実行する欠陥画素検出処理の流れを示すフローチャートである。欠陥画素検出手段７１２は、まず、画像メモリ７３０から注目画素の画素値Ｘ０および周辺画素の画素値Ｘ１〜Ｘ４を読み出す。次いで、欠陥画素検出手段７１２は、周辺画素の画素値の平均値Ｙ（Ｙ＝（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）／４）と注目画素の画素値Ｘ０との差の絶対値が閾値ｔｈ１を超えているか否かを判定し（ステップＳＡ１００）、その判定結果が“Ｎｏ”である場合には、欠陥画素検出処理を終了する。周辺画素の画素値の平均値Ｙと画素値Ｘ０との差分の絶対値が閾値ｔｈ１以下である（すなわち、両者が大きく異ならない）ならば、注目画素は欠陥画素ではないと考えられるからである。この閾値ｔｈ１については、画像処理プログラム内に固定値を予め埋め込んでおいても良く、また、欠陥画素検出モードへの動作モードの切り換えの際に、撮像部１０Ａの特性との関係で適切な値を制御部９０に設定させるようにしても良い。 FIG. 4 is a flowchart showing the flow of defective pixel detection processing executed by the defective pixel detection means 712 for each target pixel. The defective pixel detection means 712 first reads out the pixel value X 0 of the target pixel and the pixel values X 1 to X 4 of the peripheral pixels from the image memory 730. Next, the defective pixel detection unit 712 determines that the absolute value of the difference between the average value Y (Y = (X 1 + X 2 + X 3 + X 4 ) / 4) of the pixel values of the peripheral pixels and the pixel value X 0 of the target pixel is a threshold value. It is determined whether or not th 1 is exceeded (step SA100). If the determination result is “No”, the defective pixel detection process is terminated. The absolute value of the difference between the average value Y and the pixel value X 0 of the pixel values of the peripheral pixels is the threshold value th 1 below (i.e., they are not significantly different), then since the target pixel is not considered to be defective pixel It is. This threshold th 1 is be embedded previously fixed values to the image processing program may also upon switching the operation mode to the defective pixel detection mode, suitable in relation to the characteristics of the imaging unit 10A The value may be set in the control unit 90.

ステップＳＡ１００の判定結果が“Ｙｅｓ”である場合、欠陥画素検出手段７１２は、Ｘ０―Ｙの絶対値が所定の閾値ｔｈ２（ｔｈ２＞ｔｈ１）を下回っているか否かを判定する（ステップＳＡ１１０）。前述したように、欠陥画素については、欠陥（不具合）の程度が高いほど、同一の撮像条件（露光時間）において正常な画素が出力する画素値とは異なる画素値を出力すると考えられる。つまり、このステップＳＡ１１０では、ステップＳＡ１００にて欠陥画素であると判定された注目画素について、不具合の程度が高い欠陥画素であるか否かが判定されるのである。この閾値ｔｈ２についても、画像処理プログラム内に固定値を予め埋め込んでおいても良く、また、欠陥画素検出モードへの動作モードの切り換えの際に、撮像部１０Ａの特性との関係で適切な値を制御部９０に設定させるようにしても良い。 When the determination result in step SA100 is “Yes”, the defective pixel detection unit 712 determines whether or not the absolute value of X 0 −Y is below a predetermined threshold th 2 (th 2 > th 1 ) ( Step SA110). As described above, with respect to defective pixels, it is considered that the higher the degree of defects (defectives), the different pixel values output from normal pixels output under the same imaging conditions (exposure time). That is, in step SA110, it is determined whether or not the target pixel determined to be a defective pixel in step SA100 is a defective pixel having a high degree of defect. This threshold value th 2 may also be embedded in advance in the image processing program, and may be appropriate in relation to the characteristics of the imaging unit 10A when switching the operation mode to the defective pixel detection mode. The value may be set in the control unit 90.

そして、欠陥画素検出手段７１２は、ステップＳＡ１１０の判定結果が“Ｙｅｓ”である場合には、不具合の程度が低い欠陥画素であることを示す指標値（本実施形態では、０）と当該注目画素の撮像面における位置を示す位置情報（前述したように、本実施形態では、撮像面の左上隅を１行１列目の画素とした場合における注目画素の行番号および列番号を示す情報）とを対応付けて欠陥画素管理テーブル７１４に書き込む（ステップＳＡ１２０）。逆に、ステップＳＡ１１０の判定結果が“Ｎｏ”である場合には、不具合の程度が高い欠陥画素であることを示す指標値（本実施形態では、１）と上記位置情報とを対応付けて欠陥画素管理テーブル７１４に書き込む（ステップＳＡ１３０）。   Then, when the determination result in step SA110 is “Yes”, the defective pixel detection unit 712 indicates an index value (in this embodiment, 0) indicating that the defective pixel has a low level of defect and the target pixel. Position information indicating the position on the imaging surface (as described above, in this embodiment, information indicating the row number and column number of the pixel of interest when the upper left corner of the imaging surface is the first row and first column pixel) and Are associated and written to the defective pixel management table 714 (step SA120). On the other hand, when the determination result in step SA110 is “No”, an index value (1 in the present embodiment) indicating that the defect pixel has a high degree of defect is associated with the position information and the defect is detected. Write to the pixel management table 714 (step SA130).

図５は、欠陥画素管理テーブル７１４の一例を示す図である。
この欠陥画素管理テーブル７１４には、欠陥画素検出手段７１２により欠陥画素であると判定された画素の位置情報に対応付けてその不具合の程度を示す指標値が格納される。つまり、欠陥画素検出手段７１２により欠陥画素検出処理が実行された後においては、欠陥画素管理テーブル７１４の格納内容を参照することによって、撮像部１０Ａの撮像面における欠陥画素の位置および不具合の程度を把握することができるのである。この欠陥画素管理テーブル７１４の格納内容は、画素値補正処理にて利用される。 FIG. 5 is a diagram illustrating an example of the defective pixel management table 714.
The defective pixel management table 714 stores an index value indicating the degree of the defect in association with the position information of the pixel determined to be a defective pixel by the defective pixel detection unit 712. That is, after the defective pixel detection process is executed by the defective pixel detection unit 712, the position of the defective pixel on the imaging surface of the imaging unit 10 </ b> A and the degree of the defect are referred to by referring to the stored contents of the defective pixel management table 714. You can figure it out. The stored contents of the defective pixel management table 714 are used in the pixel value correction process.

図２に戻って、画素値補正手段７１６は、画像メモリ３０に記憶されている画像データを後段の装置へ出力する際に、欠陥画素の画素値をその不具合の程度に応じた態様で補正しつつ出力する手段である。より詳細に説明すると、画素値補正手段７１６は、不具合の程度が高い欠陥画素については、その画素値を周辺画素の画素値の平均値に置き換えることでその補正を行う一方、不具合の程度が低い欠陥画素については、その画素値と上記平均値とを重み比率ｋで重み付け平均した値に置き換えることでその補正を行う。   Returning to FIG. 2, when outputting the image data stored in the image memory 30 to the subsequent apparatus, the pixel value correcting unit 716 corrects the pixel value of the defective pixel in a manner corresponding to the degree of the defect. It is a means to output. More specifically, the pixel value correcting unit 716 corrects a defective pixel having a high degree of malfunction by replacing the pixel value with an average value of the pixel values of surrounding pixels, while the degree of malfunction is low. The defective pixel is corrected by replacing the pixel value and the average value with a weighted average value with a weight ratio k.

図６は、画素値補正手段７１６が実行する画素値補正処理の流れを示すフローチャートである。画素値補正手段７１６は、撮像部１０Ａに含まれる複数の画素１０の各々を処理対象画素とし、処理対象画素毎に画素値補正処理を実行する。図６に示すように、画素値補正手段７１６は、まず、処理対象画素が欠陥画素であるか否かを判定する（ステップＳＢ１００）。より詳細に説明すると、画素値補正手段７１６は、処理対象画素の位置と同一の位置を示す位置情報が欠陥画素管理テーブル７１４に格納されている場合には、その処理対象画素は欠陥画素であると判定し、逆に、同位置情報が欠陥画素管理テーブル７１４に格納されていない場合には、欠陥画素ではないと判定する。   FIG. 6 is a flowchart showing the flow of pixel value correction processing executed by the pixel value correction unit 716. The pixel value correction unit 716 sets each of the plurality of pixels 10 included in the imaging unit 10A as a processing target pixel, and executes a pixel value correction process for each processing target pixel. As shown in FIG. 6, the pixel value correcting unit 716 first determines whether or not the processing target pixel is a defective pixel (step SB100). More specifically, the pixel value correction unit 716, when position information indicating the same position as the position of the processing target pixel is stored in the defective pixel management table 714, the processing target pixel is a defective pixel. Conversely, when the same position information is not stored in the defective pixel management table 714, it is determined that the pixel is not a defective pixel.

ステップＳＢ１００の判定結果が“Ｎｏ”である場合（すなわち、欠陥画素ではないと判定された場合）には、画素値補正手段７１６は、処理対象画素の原画素値（画像メモリ３０に記憶されている画像データにおける当該画素の画素値）に補正を加えることなく、後段の装置へ出力する（ＳＢ１１０）。欠陥画素でなければ、特段の補正は不要だからである。これに対して、ステップＳＢ１００の判定結果が“Ｙｅｓ”である場合（すなわち、処理対象画素が欠陥画素である場合）には、画素値補正手段７１６は、処理対象画素の位置情報に対応付けて欠陥画素管理テーブル７１４に格納されている指標値を読み出し、その処理対象画素についての不具合の程度を判定する（ステップＳＢ１２０）。具体的には、画素値補正手段７１６は、上記指標値が“０”であるか否かを判定する。   When the determination result in step SB100 is “No” (that is, when it is determined that the pixel is not a defective pixel), the pixel value correcting unit 716 stores the original pixel value of the processing target pixel (stored in the image memory 30). The image data is output to the subsequent apparatus without correction (pixel value of the pixel in the image data) (SB110). This is because no special correction is required unless the pixel is defective. On the other hand, when the determination result in step SB100 is “Yes” (that is, when the pixel to be processed is a defective pixel), the pixel value correcting unit 716 associates it with the position information of the pixel to be processed. The index value stored in the defective pixel management table 714 is read out, and the degree of malfunction for the processing target pixel is determined (step SB120). Specifically, the pixel value correcting unit 716 determines whether or not the index value is “0”.

ステップＳＢ１２０の判定結果が“Ｎｏ”である場合（すなわち、処理対象画素についての指標値が“１”である場合）には、画素値補正手段７１６は、処理対象画素の原画素値を破棄し、周辺画素の画素値の平均値Ｙで置き換えて出力する（ステップＳＢ１３０）。前述したように、指標値が“１”であることは、不具合の程度が高く、原画素値Ｘ０を使用することはできないからである。これに対して、ステップＳＢ１２０の判定結果が“Ｙｅｓ”である場合は、画素値補正手段７１６は、処理対象画素の画素値を、原画素値Ｘ０と上記周辺画素の画素値の平均値Ｙを以下の式（１）にしたがって重み付け平均した値Ｚに置き換えて出力する（ステップＳＢ１４０）。
Ｚ＝（１―ｋ）×Ｘ０＋ｋ×Ｙ…（１） When the determination result in step SB120 is “No” (that is, when the index value for the processing target pixel is “1”), the pixel value correction unit 716 discards the original pixel value of the processing target pixel. Then, the pixel value is replaced with the average value Y of the pixel values of the peripheral pixels and output (step SB130). As described above, it index value is "1", a high degree of defect, because it is impossible to use the original pixel value X 0. In contrast, if the decision result in the step SB120 is "Yes", the pixel value correcting unit 716, the average value Y of the pixel value of the pixel to be processed, the original pixel value X 0 and pixel values of the peripheral pixels Is replaced with a weighted average value Z according to the following equation (1) and output (step SB140).
Z = (1−k) × X 0 + k × Y (1)

式（１）の重み比率ｋは０から１の範囲の値であって、重み調整手段７１８によって露光時間ｔの長さに応じて算出される。図７（ａ）は、重み調整手段７１８が算出する重み比率ｋと露光時間ｔの長さとの関係を示すグラフである。図７（ａ）に示すように、重み比率ｋの値は、露光時間ｔの対数値（１０を底とする対数値）に対して０から１まで線形に増加し、露光時間ｔが所定の長さ（図７（ａ）では１０ミリ秒）に達した後は、一定値（１）となる。なお、本実施形態では、露光時間ｔが一定値に達するまで、露光時間ｔの対数値に応じて線形に増加するように重み比率ｋを算出したが、図７（ｂ）や図７（ｃ）に示すように露光時間ｔの対数値に対して非線形に増加するように重み比率ｋを算出しても勿論良い。図７（ａ）、図７（ｂ）および図７（ｃ）の何れの態様で重み比率ｋを算出するのかについては、撮像部１０Ａの特性との関係で定めるようにすれば良い。   The weight ratio k in Expression (1) is a value in the range of 0 to 1, and is calculated by the weight adjustment unit 718 according to the length of the exposure time t. FIG. 7A is a graph showing the relationship between the weight ratio k calculated by the weight adjusting means 718 and the length of the exposure time t. As shown in FIG. 7A, the value of the weight ratio k increases linearly from 0 to 1 with respect to the logarithmic value of the exposure time t (logarithm value with 10 as the base), and the exposure time t is a predetermined value. After reaching the length (10 milliseconds in FIG. 7A), it becomes a constant value (1). In the present embodiment, the weight ratio k is calculated so as to increase linearly according to the logarithmic value of the exposure time t until the exposure time t reaches a constant value, but FIG. 7B and FIG. Of course, the weight ratio k may be calculated so as to increase nonlinearly with respect to the logarithmic value of the exposure time t as shown in FIG. Whether the weight ratio k is calculated in any one of FIGS. 7A, 7B, and 7C may be determined in relation to the characteristics of the imaging unit 10A.

図８は、欠陥画素管理テーブル７１４の格納内容が図５に示す状態となっているＣＭＯＳ固体撮像装置で、露光時間を０．００１ミリ秒、０．１ミリ秒および１００ミリ秒として撮像を行った場合における欠陥画素の補正の様子を示す図である。図８では、＃１の欠陥画素（２行４列目に位置する欠陥画素）と＃２の欠陥画素（１５行１０列目に位置する欠陥画素）の補正の様子が示されている。   FIG. 8 shows a CMOS solid-state imaging device in which the content stored in the defective pixel management table 714 is in the state shown in FIG. It is a figure which shows the mode of the correction | amendment of the defective pixel in the case of being. FIG. 8 shows how the # 1 defective pixel (defective pixel located in the second row and the fourth column) and the defective pixel # 2 (defective pixel located in the fifteenth row and the tenth column) are corrected.

図５を参照すれば明らかように、＃１の欠陥画素は、指標値が０であるから、不具合の程度が低い欠陥画素である。＃１の欠陥画素についての画素値補正処理では、ステップＳＢ１２０の判定結果は“Ｙｅｓ”となり、前掲式（１）にしたがって画素値の補正（ステップＳＢ１４０）が実行される。図７（ａ）に示すように、露光時間が０．００１ミリ秒の場合は重み比率ｋは０．２となり、露光時間が０．１ミリ秒の場合は重み比率ｋは０．５となり、露光時間が１００ミリ秒の場合は重み比率ｋは１．０となる。このため、＃１の欠陥画素の画素値は、露光時間が０．００１ミリ秒の場合は“（４／５）Ｘ０＋（１／５）Ｙ”と補正され、露光時間が０．１ミリ秒の場合は“（１／２）Ｘ０＋（１／２）Ｙと補正され、露光時間が１００ミリ秒の場合は“Ｙ”と補正される。つまり、＃１の欠陥画素については、露光時間が短いほど原画素値を大きな比率で生かしつつ画素値の補正が行われるのである。これに対して、＃２の欠陥画素は、指標値が１であるから、不具合の程度が高い欠陥画素である。＃２の欠陥画素についての画素値補正処理では、ステップＳＢ１２０の判定結果は“Ｎｏ”となり、その画素値を周辺画素の平均値Ｙに置き換える補正（ステップＳＢ１３０）が実行される。このため、＃２の欠陥画素については、露光時間の長さによらず、補正後の画素値は常に“Ｙ”となるのである。 As apparent from FIG. 5, the defective pixel of # 1 is a defective pixel having a low degree of malfunction because the index value is 0. In the pixel value correction process for the # 1 defective pixel, the determination result in step SB120 is “Yes”, and the pixel value correction (step SB140) is executed according to the above equation (1). As shown in FIG. 7A, when the exposure time is 0.001 milliseconds, the weight ratio k is 0.2, and when the exposure time is 0.1 milliseconds, the weight ratio k is 0.5. When the exposure time is 100 milliseconds, the weight ratio k is 1.0. Therefore, the pixel value of the defective pixel # 1 is corrected to “(4/5) X 0 + (1/5) Y” when the exposure time is 0.001 milliseconds, and the exposure time is 0.1. In the case of milliseconds, it is corrected as “(1/2) X 0 + (1/2) Y, and in the case where the exposure time is 100 milliseconds, it is corrected as“ Y ”. As the exposure time is shorter, the pixel value is corrected while making use of the original pixel value at a larger ratio, whereas the defective pixel of # 2 has an index value of 1, so the degree of malfunction is high. In the pixel value correction processing for the defective pixel # 2, the determination result in step SB120 is “No”, and correction is performed to replace the pixel value with the average value Y of the surrounding pixels (step SB130). Therefore, for the defective pixel # 2, the length of the exposure time Regardless, the corrected pixel value is always “Y”.

以上説明したように本実施形態によれば、欠陥画素の不具合の程度に応じて異なる態様で画素値の補正が行われるとともに、不具合の程度が低い欠陥画素については、露光時間の長さに応じた重みで原画素値を生かしつつ画素値の補正が行われる。このように本実施形態によれば、不具合の程度が低い欠陥画素については、露光時間の長さに応じた重みで原画素値を生かしつつ画素値の補正が行われるため、撮像画像における被写体の再現性を大きく損なうことはない。つまり、本実施形態によれば、撮像画像における被写体の再現性を大きく損なうことなく、固体撮像装置の欠陥画素に起因して生じる白キズを補正することが可能になるのである。   As described above, according to the present embodiment, the pixel value is corrected in a different manner depending on the degree of the defect of the defective pixel, and the defective pixel having a low degree of the defect depends on the length of the exposure time. The pixel value is corrected using the original pixel value with the determined weight. As described above, according to the present embodiment, for a defective pixel having a low degree of malfunction, the pixel value is corrected while making use of the original pixel value with a weight corresponding to the length of the exposure time. There is no significant loss in reproducibility. That is, according to the present embodiment, it is possible to correct white defects caused by defective pixels of the solid-state imaging device without greatly impairing the reproducibility of the subject in the captured image.

（Ｂ：変形）
以上、本発明の一実施形態について説明したが、この実施形態を以下のように変形しても勿論良い。
（１）上述した実施形態では、ＣＭＯＳ固体撮像装置に本発明を適用したが、ＣＣＤ固体撮像装置に本発明を適用しても勿論良い。要は、撮像面が複数の画素で構成されており、かつ、白キズの発生頻度が露光時間の長さに依存するような固体撮像装置であれば、本発明の適用により、白キズ補正を効果的に行うことができる。 (B: Deformation)
Although one embodiment of the present invention has been described above, the present embodiment may of course be modified as follows.
(1) In the above-described embodiment, the present invention is applied to the CMOS solid-state imaging device. However, the present invention may of course be applied to a CCD solid-state imaging device. In short, if the imaging surface is composed of a plurality of pixels and the frequency of occurrence of white scratches depends on the length of exposure time, white scratch correction can be performed by applying the present invention. Can be done effectively.

（２）上述した実施形態では、欠陥画素検出手段７１２、画素値補正手段７１６および重み調整手段７１８の各々をソフトウェアモジュールで実現したが、これら各手段を電子回路で実現し、これら電子回路と欠陥画素管理テーブル７１４とを組み合わせて白キズ補正部７１０を構成しても勿論良い。また、上述した実施形態では、本発明の一実施形態たる白キズ補正部７１０を、ＣＭＯＳ撮像装置の画像処理部７０に組み込んだが、各々電子回路で構成された欠陥画素検出手段７１２、画素値補正手段７１６および重み調整手段７１８と、欠陥画素管理テーブル７１４と、を組み合わせて白キズ補正装置を構成し、この白キズ補正装置の各部を固体撮像装置の各部にケーブル等で接続することで、図２に示す構成となるようにしても勿論良い。 (2) In the above-described embodiment, each of the defective pixel detection unit 712, the pixel value correction unit 716, and the weight adjustment unit 718 is realized by a software module. However, each of these units is realized by an electronic circuit, and these electronic circuit and defect Of course, the white defect correction unit 710 may be configured in combination with the pixel management table 714. In the above-described embodiment, the white defect correction unit 710 according to an embodiment of the present invention is incorporated in the image processing unit 70 of the CMOS image pickup device. However, the defective pixel detection unit 712 and the pixel value correction are each configured by an electronic circuit. By combining the means 716 and the weight adjusting means 718 and the defective pixel management table 714 to form a white defect correction device, each part of the white defect correction device is connected to each part of the solid-state imaging device by a cable or the like. Of course, the configuration shown in FIG.

（３）上述した実施形態では、注目画素が欠陥画素であると判定される場合（すなわち、注目画素の画素値Ｘ０と周辺画素の画素値の平均値Ｙとの差の絶対値が閾値ｔｈ１を上回る場合）には、さらに、Ｘ０−Ｙの絶対ちと閾値ｔｈ２との比較により、その欠陥画素の不具合の程度を判定した。しかし、欠陥画素の不具合の程度によらず、露光時間ｔに応じて定まる重み比率ｋで原画素値と上記平均値とを重み付け平均した値で画素値の補正を行うようにしても良い。具体的には、図４に示す欠陥画素検出処理にてステップＳＡ１００の判定結果が“Ｙｅｓ”である場合には、ステップＳＡ１１０の判定を行うことなく欠陥画素の位置情報を欠陥画素管理テーブル７１４に書き込む処理を欠陥画素検出手段７１２に実行させる。一方、画素値補正手段７１６には、ステップＳＢ１００の判定結果が“Ｙｅｓ”である場合には、ステップＳＢ１２０の判定を行うことなく、ステップＳＢ１３０の処理を実行させるようにするのである。 (3) In the above-described embodiment, when it is determined that the target pixel is a defective pixel (that is, the absolute value of the difference between the pixel value X 0 of the target pixel and the average value Y of the pixel values of the peripheral pixels is the threshold th In the case of exceeding 1 ), the degree of malfunction of the defective pixel was further determined by comparing the absolute value of X 0 -Y with the threshold value th 2 . However, the pixel value may be corrected with a weighted average of the original pixel value and the average value at a weight ratio k determined according to the exposure time t, regardless of the degree of defect pixel defect. Specifically, when the determination result of step SA100 is “Yes” in the defective pixel detection process shown in FIG. 4, the position information of the defective pixel is stored in the defective pixel management table 714 without performing the determination of step SA110. The defective pixel detection means 712 is caused to execute the writing process. On the other hand, when the determination result of step SB100 is “Yes”, the pixel value correction unit 716 executes the process of step SB130 without performing the determination of step SB120.

（４）上述した実施形態では、欠陥画素検出処理および画素値補正処理を実現する画像処理プログラムが白キズ補正部７１０の不揮発性メモリに予め格納されていたが、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に上記プログラムを書き込んで配布しても良く、また、インターネットなどの電気通信回線経由のダウンロードにより上記プログラムを配布しても良い。 (4) In the above-described embodiment, the image processing program for realizing the defective pixel detection process and the pixel value correction process is stored in advance in the non-volatile memory of the white defect correction unit 710. However, the CD-ROM (Compact Disk-Read The program may be distributed by being written on a computer-readable recording medium such as Only Memory, or may be distributed by downloading via a telecommunication line such as the Internet.

１０Ａ…撮像部、１０…画素、２０…カラムＣＤＳ部、３０…カラムＡＤＣ部、４０…水平走査回路、５０…タイミングジェネレータ、６０…垂直走査回路、７０…画像処理部、７１０…白キズ補正部、７１２…欠陥画素検出手段、７１４…欠陥画素管理テーブル、７１６…画素値補正手段、７１８…重み調整手段、７２０…画像合成部、７３０…画像メモリ、８０…Ｕ／Ｉ部、９０…制御部。   DESCRIPTION OF SYMBOLS 10A ... Imaging part, 10 ... Pixel, 20 ... Column CDS part, 30 ... Column ADC part, 40 ... Horizontal scanning circuit, 50 ... Timing generator, 60 ... Vertical scanning circuit, 70 ... Image processing part, 710 ... White defect correction part 712 ... defective pixel detection means, 714 ... defective pixel management table, 716 ... pixel value correction means, 718 ... weight adjustment means, 720 ... image composition section, 730 ... image memory, 80 ... U / I section, 90 ... control section .

Claims (3)

複数の画素をマトリクス状に配列した撮像面を有する固体撮像素子に、遮光した状態で予め定められた露光時間の撮像を行わせた場合において、前記複数の画素の各々を注目画素とし、当該注目画素の周辺画素の画素値の平均値と当該注目画素の画素値との差分から当該注目画素が欠陥画素であるか否かを判定し、欠陥画素と判定される場合には、前記撮像面における当該注目画素の位置を示す位置情報を欠陥画素管理テーブルに書き込む欠陥画素検出手段と、
利用者により指示された露光時間の撮像を前記固体撮像素子に行わせ、前記複数の画素の各々の画素値が得られた場合において、前記欠陥画素管理テーブルに記憶されている位置情報の示す画素については、当該画素の原画素値を、当該画素の周辺画素の画素値の平均値と当該原画素値との重み付け平均に置き換えて補正する画素値補正手段と、
前記利用者により指示された露光時間が長いほど、前記重み付け平均における前記周辺画素の画素値の平均値の重みを大きくする重み調整手段と、
を有することを特徴とする固体撮像素子の白キズ補正装置。 When a solid-state imaging device having an imaging surface in which a plurality of pixels are arranged in a matrix form is imaged for a predetermined exposure time in a light-shielded state, each of the plurality of pixels is set as a target pixel, and the target pixel It is determined whether or not the target pixel is a defective pixel from the difference between the average value of the pixel values of the peripheral pixels of the pixel and the pixel value of the target pixel. Defective pixel detection means for writing position information indicating the position of the target pixel in the defective pixel management table;
Pixels indicated by position information stored in the defective pixel management table when the solid-state imaging device is made to perform imaging with an exposure time instructed by a user and pixel values of the plurality of pixels are obtained. A pixel value correcting unit that corrects the original pixel value of the pixel by replacing it with a weighted average of the average value of the peripheral pixels of the pixel and the original pixel value;
A weight adjusting means for increasing the weight of the average value of the peripheral pixels in the weighted average as the exposure time instructed by the user is longer;
A white flaw correction apparatus for a solid-state imaging device, comprising: 前記欠陥画素検出手段は、
欠陥画素と判定される画素の位置情報を前記欠陥画素管理テーブルに書き込む際に、当該欠陥画素の不具合の程度を当該欠陥画素の画素値とその周辺画素の画素値の平均値との差分に応じて判定し、その不具合の程度を示す指標値を前記位置情報に対応付けて前記欠陥画素管理テーブルへ書き込み、
前記画素値補正手段は、
前記位置情報に対応付けて前記欠陥画素管理テーブルに格納されている指標値の示す不具合の程度が低い欠陥画素については、前記重み付け平均との置き換えにより画素値を補正し、不具合の程度が高い欠陥画素については、周辺画素の画素値の平均値との置き換えにより画素値を補正する
ことを特徴とする請求項１に記載の固体撮像素子の白キズ補正装置。 The defective pixel detection means includes
When writing the position information of the pixel determined to be a defective pixel to the defective pixel management table, the degree of the defect of the defective pixel is determined according to the difference between the pixel value of the defective pixel and the average value of the peripheral pixels. And writing an index value indicating the degree of the defect to the defective pixel management table in association with the position information,
The pixel value correcting means includes
For defective pixels with a low degree of defect indicated by the index value stored in the defective pixel management table in association with the position information, the pixel value is corrected by replacement with the weighted average, and the defect has a high degree of defect. The white defect correction device for a solid-state imaging device according to claim 1, wherein the pixel value is corrected by replacing the pixel value with an average value of pixel values of peripheral pixels. 前記欠陥画素検出手段は、
前記複数の画素の各々について欠陥画素か否かを判定する際には、前記固体撮像素子を使用した撮像にて指定し得る最長の露光時間で撮像を行う
ことを特徴とする請求項１または２に記載の固体撮像素子の白キズ補正装置。
The defective pixel detection means includes
3. When determining whether or not each of the plurality of pixels is a defective pixel, imaging is performed with the longest exposure time that can be specified by imaging using the solid-state imaging device. The white flaw correction apparatus for a solid-state imaging device according to claim 1.
JP2009120643A 2009-05-19 2009-05-19 White defect correction device of solid-state imaging element Withdrawn JP2010272916A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009120643A JP2010272916A (en) 2009-05-19 2009-05-19 White defect correction device of solid-state imaging element

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009120643A JP2010272916A (en) 2009-05-19 2009-05-19 White defect correction device of solid-state imaging element

Publications (1)

Publication Number Publication Date
JP2010272916A true JP2010272916A (en) 2010-12-02

Family

ID=43420632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009120643A Withdrawn JP2010272916A (en) 2009-05-19 2009-05-19 White defect correction device of solid-state imaging element

Country Status (1)

Country Link
JP (1) JP2010272916A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013225772A (en) * 2012-04-20 2013-10-31 Canon Inc Image processing device and method
WO2022210152A1 (en) * 2021-03-30 2022-10-06 パナソニックＩｐマネジメント株式会社 Solid-state imaging device and solid-state imaging system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013225772A (en) * 2012-04-20 2013-10-31 Canon Inc Image processing device and method
WO2022210152A1 (en) * 2021-03-30 2022-10-06 パナソニックＩｐマネジメント株式会社 Solid-state imaging device and solid-state imaging system

Similar Documents

Publication Publication Date Title
JP5028075B2 (en) Imaging apparatus and imaging method
JP5615155B2 (en) Image processing apparatus and method
JP2010068049A (en) Image device
JP2020022135A (en) Defective pixel correction device, imaging device, and defective pixel correction method
JP2010272916A (en) White defect correction device of solid-state imaging element
JP5978636B2 (en) Imaging apparatus and program
JP2008306565A (en) Imaging apparatus and signal correcting method thereof
JP2006166194A (en) Pixel defect detection circuit and pixel defect detection method
JP2008288723A (en) Imaging apparatus, imaging method, program, and integrated circuit
JP5043400B2 (en) Imaging apparatus and control method thereof
JP5299159B2 (en) Imaging apparatus and program
JP2008131546A (en) Fixed pattern noise elimination apparatus
US20080266423A1 (en) Image sensing apparatus and control method therefor
JP2006217113A (en) Electronic camera and method of inspecting electronic camera
JP5477035B2 (en) Imaging device
JP2009284392A (en) Imaging apparatus
JP6748979B2 (en) Imaging device and control method thereof
JP5968145B2 (en) Image processing apparatus and control method thereof
JP2008148115A (en) Image defect correction system of imaging device using direction detection
JP4952548B2 (en) Noise detection device, imaging device, and noise detection method
JP2006005500A (en) Imaging device and imaging method, and imaging element
JP6223166B2 (en) Image composition device, image composition method, imaging device, program, and storage medium
US10368020B2 (en) Image capturing apparatus and control method therefor
JP2005341261A (en) Imaging unit
JP4745680B2 (en) Imaging apparatus and imaging method

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20120807