JP6041523B2 - Image processing apparatus and method - Google Patents

Image processing apparatus and method Download PDF

Info

Publication number
JP6041523B2
JP6041523B2 JP2012097076A JP2012097076A JP6041523B2 JP 6041523 B2 JP6041523 B2 JP 6041523B2 JP 2012097076 A JP2012097076 A JP 2012097076A JP 2012097076 A JP2012097076 A JP 2012097076A JP 6041523 B2 JP6041523 B2 JP 6041523B2
Authority
JP
Japan
Prior art keywords
pixel
value
image
pixels
detection target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012097076A
Other languages
Japanese (ja)
Other versions
JP2013225772A (en
JP2013225772A5 (en
Inventor
弘典 青景
弘典 青景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012097076A priority Critical patent/JP6041523B2/en
Publication of JP2013225772A publication Critical patent/JP2013225772A/en
Publication of JP2013225772A5 publication Critical patent/JP2013225772A5/ja
Application granted granted Critical
Publication of JP6041523B2 publication Critical patent/JP6041523B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

本発明は画像処理装置に関し、特にデジタル化された画像信号における欠陥画素の検出及び補正を行うための技術に関するものである。   The present invention relates to an image processing apparatus, and more particularly to a technique for detecting and correcting defective pixels in a digitized image signal.

デジタルカメラ等の撮像装置は、ＣＭＯＳセンサ等の撮像素子を用いて画像を撮影するが、一般的に、全ての画素が正常に動作するわけではなく、いくつかの欠陥画素が存在する。欠陥画素は大きく２種類に分類できる。一つは撮像素子が製造された段階ですでに欠陥画素となっている先天的なもの、もう一つは撮像素子の製造後のカメラの使用過程において発生する後天的なものである。   An image pickup apparatus such as a digital camera takes an image using an image pickup element such as a CMOS sensor, but generally, not all pixels operate normally, and some defective pixels exist. Defective pixels can be roughly classified into two types. One is a congenital that has already become a defective pixel when the image sensor is manufactured, and the other is an acquired one that occurs in the process of using the camera after the image sensor is manufactured.

一方で動画の場合の画像取得方法として、ＣＭＯＳセンサからの画素情報の読み出し時に隣接する数画素分の画素情報を加算したものを順次読みだすような、加算読み出しが知られている。これは、動画の実時間処理のために処理する画素数を減らしたり、動画の基準規格に合わせるために行われるものである。   On the other hand, as an image acquisition method in the case of a moving image, addition reading is known in which pixel information for several adjacent pixels is sequentially read when reading pixel information from a CMOS sensor. This is performed in order to reduce the number of pixels to be processed for real-time processing of a moving image or to conform to a moving image standard.

欠陥画素を補正する技術としては、撮像素子の製造時に欠陥画素を予め特定しておき、そのアドレスを保持しておいてカメラで補正する方法が知られている。しかしながらこの方法では先天的な欠陥画素に対しては対応可能であるが、後天的な欠陥画素に対しては対応することができない。   As a technique for correcting a defective pixel, there is known a method in which a defective pixel is specified in advance at the time of manufacturing an image pickup device, and the address is stored and corrected by a camera. However, this method can deal with congenital defective pixels, but cannot deal with acquired defective pixels.

後天的な欠陥画素に対して、例えば特許文献１に開示されてるように撮像画像における対象画素とその周辺の画素との差が所定の閾値よりも大きければ対象画素を欠陥画素と判定し、補正を行うという技術が存在する。また、特許文献２では、特許文献１に開示されている技術に加えてＩＳＯ感度や撮影モードなどといった撮影情報を考慮し、それらの情報を基に閾値の制御を行うことで、特許文献１よりも高い精度で欠陥画素の判定を行うことが開示されている。   For an acquired defective pixel, for example, as disclosed in Patent Document 1, if the difference between the target pixel in the captured image and its surrounding pixels is larger than a predetermined threshold, the target pixel is determined as a defective pixel and corrected. There is a technology to do. Further, in Patent Document 2, in addition to the technique disclosed in Patent Document 1, photographing information such as ISO sensitivity and photographing mode is taken into consideration, and threshold value control is performed based on such information. In addition, it is disclosed that defective pixels are determined with high accuracy.

特開２００２−２２３３９１号公報JP 2002-223391 A 特開２００４−２２２１４３号公報JP 2004-222143 A

しかしながら、例えば、光源の光を強く反射している輝点が被写体に存在していると、この輝点も周辺の画素と比べて大きく異なる値となる。そのため、この輝点のように、周辺の画素と値が大きく異なる孤立点が欠陥画素として誤検出されてしまうことがあった。しかしながら、従来技術では、欠陥画素と、非欠陥画素である輝点のような孤立点との区別がつかず、非欠陥画素である孤立点を欠陥画素として誤検出してしまっていた。   However, for example, if a bright spot that strongly reflects light from the light source is present in the subject, this bright spot also has a value that differs greatly from the surrounding pixels. For this reason, an isolated point having a value significantly different from that of surrounding pixels, such as the bright spot, may be erroneously detected as a defective pixel. However, in the prior art, a defective pixel cannot be distinguished from an isolated point such as a bright point that is a non-defective pixel, and an isolated point that is a non-defective pixel is erroneously detected as a defective pixel.

本発明は上記問題点を鑑みてなされたものであり、欠陥画素の検出精度を損なうことなく、非欠陥画素の誤検出を削減することを目的とする。   The present invention has been made in view of the above problems, and an object thereof is to reduce false detection of non-defective pixels without deteriorating detection accuracy of defective pixels.

上記目的を達成するために、複数の異なる読み出し方法により読み出し可能な撮像素子から読み出された画像を処理する本発明の画像処理装置は、前記撮像素子から読み出された画像を構成する画素のうち、欠陥画素か否かを判定する対象である検出対象画素の画素値と、該検出対象画素の複数の周辺画素を用いて求めた値との差分絶対値を求める算出手段と、前記差分絶対値に基づいて、前記検出対象画素が欠陥画素か否かを判定する判定手段とを有し、前記判定手段は、前記検出対象画素が欠陥画素であると判定するための条件に、前記差分絶対値が、第１の閾値と、該第１の閾値よりも大きい第２の閾値により予め決められた範囲内にあることを含み、前記撮像素子から複数の画素の画素信号を加算して画素値として読み出す場合に、画素信号を加算せずに読み出す場合よりも、より小さい値を前記第２の閾値として設定する。 In order to achieve the above object, an image processing apparatus according to the present invention for processing an image read from an image sensor that can be read by a plurality of different readout methods is provided for the pixels constituting the image read from the image sensor. Among them, a calculation means for obtaining a difference absolute value between a pixel value of a detection target pixel that is a target for determining whether or not the pixel is a defective pixel and a value obtained using a plurality of peripheral pixels of the detection target pixel, and the difference absolute Determination means for determining whether or not the detection target pixel is a defective pixel based on a value, and the determination means sets the absolute difference as a condition for determining that the detection target pixel is a defective pixel. A pixel value obtained by adding pixel signals of a plurality of pixels from the image sensor, including a value that is within a range determined in advance by a first threshold value and a second threshold value that is greater than the first threshold value. If it reads as, Than when reading without adding element signal, it sets a smaller value as the second threshold value.

本発明によれば、欠陥画素の検出精度を損なうことなく、非欠陥画素の誤検出を削減することができる。   According to the present invention, it is possible to reduce false detection of non-defective pixels without impairing detection accuracy of defective pixels.

第１の実施形態における撮像素子の画素配置を説明するための図。FIG. 3 is a diagram for explaining a pixel arrangement of the image sensor in the first embodiment. 第１の実施形態における動画撮影時の３画素加算読み出し及び３画素間引き読み出しを説明するための図。The figure for demonstrating 3 pixel addition reading at the time of the video recording in 1st Embodiment, and 3 pixel thinning-out reading. 第１の実施形態における動画撮影時の読み出しを説明するための図。The figure for demonstrating the reading at the time of the video recording in 1st Embodiment. 第１の実施形態における撮像装置の概略構成を示すブロック図。1 is a block diagram illustrating a schematic configuration of an imaging apparatus according to a first embodiment. 図４に示すリアルタイム欠陥画素補正部の構成を示すブロック図。The block diagram which shows the structure of the real-time defective pixel correction | amendment part shown in FIG. 第１の実施形態における欠陥画素の検出対象画素とその周辺画素の配置を示す図。The figure which shows arrangement | positioning of the detection target pixel of the defective pixel in 1st Embodiment, and its periphery pixel. 変形例における動画撮影時の２／３画素間引き加算読み出しを説明するための図。The figure for demonstrating the 2/3 pixel thinning-out addition reading at the time of the video recording in a modification. 第３の実施形態における撮像システムの構成を示す図。The figure which shows the structure of the imaging system in 3rd Embodiment. 第３の実施形態におけるメモリの格納状況を説明するための図。The figure for demonstrating the storage condition of the memory in 3rd Embodiment. 第３の実施形態における撮影処理を示すフローチャート。10 is a flowchart illustrating imaging processing according to the third embodiment. 第３の実施形態における画像処理を示すフローチャート。10 is a flowchart illustrating image processing according to the third embodiment.

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。   The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings.

＜第１の実施形態＞
本第１の実施形態においては、動画及び静止画の撮影を行うことのできるデジタルカメラにおいて、動画及び静止画の撮影時に撮像素子からの画素の読み出し方式が異なる場合の欠陥画素の検出方法について説明する。 <First Embodiment>
In the first embodiment, in a digital camera that can shoot moving images and still images, a method for detecting defective pixels when pixels are read out differently from the image sensor when shooting moving images and still images will be described. To do.

図１は第１の実施形態で用いる撮像素子の画素配置を図式化して、その一部を示したものである。撮像素子はベイヤー配列のカラーフィルタにより覆われており、水平２画素ｘ垂直２画素の４画素を１単位とした場合、図１に示すように左上の画素が赤（Ｒ）画素、右上と左下の画素が緑（Ｇ）画素、右下の画素が青（Ｂ）画素という配置になっている。   FIG. 1 schematically shows a pixel arrangement of an image sensor used in the first embodiment and shows a part thereof. The image sensor is covered with a Bayer color filter. When 4 pixels of 2 horizontal pixels × 2 vertical pixels are taken as one unit, the upper left pixel is a red (R) pixel, and the upper right and lower left pixels are shown in FIG. These pixels are arranged as green (G) pixels and the lower right pixel as blue (B) pixels.

ここでは、動画を撮影する場合に、水平方向には隣接する同色３画素の画素信号を加算してその結果を１画素の画像信号として読み出す（以下、「３画素加算読み出し」と呼ぶ。）方式で撮像素子から読み出されるものとする。一方、垂直方向には隣接する同色３画素のうちの１画素からの画素信号を画像信号として読み出す（以下、「３画素間引き読み出し」と呼ぶ。）方式で撮像素子から読み出される。   Here, when shooting a moving image, a pixel signal of three pixels of the same color adjacent in the horizontal direction is added and the result is read out as an image signal of one pixel (hereinafter referred to as “three-pixel addition reading”). It is assumed that the data is read from the image sensor. On the other hand, in the vertical direction, a pixel signal from one of the three adjacent pixels of the same color is read out as an image signal (hereinafter referred to as “three-pixel thinning-out reading”) and read out from the image sensor.

図２（ａ）は水平方向の３画素加算読み出しを図式化したものであり、各色について隣接する３画素の画素信号の加算を行い、その結果を１画素の画像信号として読み出す様子を示している。また、図２（ｂ）は垂直方向の３画素間引き読み出しを図式化したものであり、各色について隣接する３画素のうちの１画素の画素信号を画像信号として間引き読み出しする様子を示している。   FIG. 2 (a) is a schematic diagram of the three-pixel addition reading in the horizontal direction, and shows how the pixel signals of three adjacent pixels are added for each color and the result is read out as an image signal of one pixel. . FIG. 2B is a schematic diagram of three-pixel thinning-out readout in the vertical direction, and shows a state in which a pixel signal of one pixel among three adjacent pixels for each color is thinned-out as an image signal.

これに対して静止画を撮影する場合、撮像素子から全ての画素が読み出される（以下、「全画素読み出し」と呼ぶ。）。つまり、本第１の実施形態においては、動画を撮影する場合と静止画を撮影する場合とで、画像信号を読み出す際に画像信号の加算の有無が異なる。   On the other hand, when shooting a still image, all pixels are read out from the image sensor (hereinafter referred to as “all pixel readout”). That is, in the first embodiment, the presence or absence of the addition of the image signal is different when the image signal is read out when shooting a moving image and when shooting a still image.

上述した水平３画素加算読み出し、垂直３画素間引き読み出しの場合は、欠陥画素である場合と欠陥画素ではない孤立点との間の画素値にレベル差が生じる。ここで、欠陥画素が周辺の画素に比べて値の大きい場合を例として、図３を参照して具体的に説明する。欠陥画素である場合の中心画素をＲ５とし、同色の周辺画素をＲ１からＲ９とした場合、水平３画素加算読み出し、垂直３画素間引き読み出し時の、図３に示す領域における出力画素値Ｒ５’は次式（１）で表される。なお、式（１）において、Ｒ４、Ｒ５、Ｒ６は、画素Ｒ４、Ｒ５、Ｒ６の画素値を表している。

Figure 0006041523
In the above-described horizontal three-pixel addition reading and vertical three-pixel thinning-out reading, a level difference occurs in the pixel value between a defective pixel and an isolated point that is not a defective pixel. Here, the case where the defective pixel has a larger value than the surrounding pixels will be described in detail with reference to FIG. When the center pixel in the case of a defective pixel is R5 and the peripheral pixels of the same color are R1 to R9, the output pixel value R5 ′ in the region shown in FIG. It is represented by the following formula (1). In Expression (1), R4, R5, and R6 represent pixel values of the pixels R4, R5, and R6.
Figure 0006041523

このように、Ｒ５の画素値として、Ｒ４、Ｒ５、Ｒ６の画素値の平均値であるＲ５’が出力される。このとき、Ｒ５が欠陥画素の場合、Ｒ５の値はＲ４、Ｒ６と比較すると非常に大きな値となる。これに対して、Ｒ５が欠陥画素でない孤立点の場合は、Ｒ５の値はＲ４、Ｒ５と比較しても、Ｒ５が欠陥画素の場合ほど大きな値にはならない。これは、欠陥画素がその画素の構造に起因するものであるため、主にその画素単体に生じる現象であるのに対して、孤立点は高輝度の被写体の像を受光したことによって生じるものであるため、大抵の場合は近傍の画素も値が大きくなるためである。そのため、式（１）で計算されるＲ５’は、Ｒ５が欠陥画素の場合には、Ｒ４とＲ６の画素値が極端に高い値ではないことが多いため、本来のＲ５の画素値と比較して値が小さくなる。これに対してＲ５が孤立点である場合には、Ｒ４及びＲ６の少なくともいずれかが高輝度の被写体の影響を受けている可能性が高いため、Ｒ５’はＲ５と比較しても画素値が比較的小さくならない。このように、Ｒ５の画素値が同じであったとしても、欠陥画素である場合と欠陥画素でない場合とで、撮像素子から読み出される画素値Ｒ５’にはレベル差が生じる。
これに対して、全画素読み出しの場合は、画素加算を行わないため、欠陥画素であるか欠陥画素ではない孤立点であるかに関わらず、その画素の値がそのまま読み出されるため、動画撮影時のように画素値のレベルは低下しない。本第１の実施形態では、このような読み出し方法の違いよって生じる欠陥画素と欠陥画素ではない画素との画素値のレベル差を用いて、より精度の高い欠陥画素検出を実現する。 Thus, R5 ′, which is the average value of the pixel values of R4, R5, and R6, is output as the pixel value of R5. At this time, when R5 is a defective pixel, the value of R5 is very large compared to R4 and R6. On the other hand, in the case of an isolated point where R5 is not a defective pixel, the value of R5 is not as large as when R5 is a defective pixel, even when compared with R4 and R5. This is a phenomenon that occurs mainly in a single pixel because the defective pixel is due to the structure of the pixel, whereas an isolated point is caused by receiving an image of a high-luminance subject. This is because, in most cases, the value of neighboring pixels also increases. Therefore, R5 ′ calculated by Equation (1) is often not extremely high when R5 is a defective pixel, so it is compared with the original R5 pixel value. The value becomes smaller. On the other hand, when R5 is an isolated point, there is a high possibility that at least one of R4 and R6 is affected by a high-luminance subject, so that R5 ′ has a pixel value even when compared with R5. Not relatively small. As described above, even if the pixel value of R5 is the same, there is a level difference in the pixel value R5 ′ read from the image sensor between the case of being a defective pixel and the case of not being a defective pixel.
On the other hand, in the case of all pixel readout, since pixel addition is not performed, the value of the pixel is read as it is regardless of whether it is a defective pixel or an isolated point that is not a defective pixel. Thus, the pixel value level does not decrease. In the first embodiment, defective pixel detection with higher accuracy is realized by using a level difference in pixel values between a defective pixel and a pixel that is not a defective pixel caused by such a difference in reading method.

図４は本第１の実施形態における撮像装置の構成の一例を示すブロック図である。図４において、絞り、レンズ等の光学系１を通った光は、図１で示すようなベイヤー配列のカラーフィルタにより覆われた、ＣＭＯＳセンサ、ＣＣＤ等で構成された撮像素子２で光電変換されて読み出され、読み出された画像信号は信号処理部３に供給される。後述するように、撮像素子２からは、静止画モード及び動画モードを含む複数の異なる読み出し方法で画像信号を読み出すことができる。信号処理部３では、供給された画像信号に対してＡ／Ｄ変換やゲインコントロール等の所定の処理を行い、その結果得られたデジタル画像信号はリアルタイム欠陥画素補正部４に供給される。一方、ユーザーインタフェース（ＵＩ）部８では、動画／静止画モードの選択やＩＳＯ感度等の撮影設定が行われる。そして、これらの設定情報はバス９を通して光学系１、撮像素子２、信号処理部３、リアルタイム欠陥画素補正部４、信号処理部５、符号化処理部６、出力部７に供給される。   FIG. 4 is a block diagram illustrating an example of the configuration of the imaging apparatus according to the first embodiment. In FIG. 4, light passing through the optical system 1 such as an aperture and a lens is photoelectrically converted by an image sensor 2 composed of a CMOS sensor, a CCD, etc., covered with a Bayer array color filter as shown in FIG. The read image signal is supplied to the signal processing unit 3. As will be described later, the image signal can be read from the image sensor 2 by a plurality of different reading methods including a still image mode and a moving image mode. The signal processing unit 3 performs predetermined processing such as A / D conversion and gain control on the supplied image signal, and the resulting digital image signal is supplied to the real-time defective pixel correction unit 4. On the other hand, in the user interface (UI) unit 8, selection of a moving image / still image mode and shooting settings such as ISO sensitivity are performed. These pieces of setting information are supplied to the optical system 1, the image sensor 2, the signal processing unit 3, the real-time defective pixel correction unit 4, the signal processing unit 5, the encoding processing unit 6, and the output unit 7 through the bus 9.

リアルタイム欠陥画素補正部４では、供給されたデジタル画像信号を用いて、欠陥画素検出処理と欠陥画素補正処理とを行い、欠陥画素補正したデジタル画像信号を信号処理部５に出力する。なお、リアルタイム欠陥画素補正部４における欠陥画素検出処理と欠陥画素補正処理については、詳細に後述する。   The real-time defective pixel correction unit 4 performs defective pixel detection processing and defective pixel correction processing using the supplied digital image signal, and outputs the digital image signal corrected for defective pixels to the signal processing unit 5. The defective pixel detection process and the defective pixel correction process in the real-time defective pixel correction unit 4 will be described later in detail.

信号処理部５では、欠陥画素補正処理を行ったデジタル画像信号に対して、ノイズリダクション、色調整、リサイズ等を行い、符号化処理部６に信号処理結果の画像信号を供給する。符号化処理部６では信号処理結果の画像信号を符号化し、符号化結果を出力部７に出力する。出力部７は、ＨＤＭＩなどのインタフェースなどへの出力、ＣＦカードなどのメディアへの保存、背面液晶などの表示デバイスへの出力を行う。   The signal processing unit 5 performs noise reduction, color adjustment, resizing, and the like on the digital image signal that has been subjected to the defective pixel correction process, and supplies the image processing result to the encoding processing unit 6. The encoding processing unit 6 encodes the image signal resulting from the signal processing, and outputs the encoding result to the output unit 7. The output unit 7 performs output to an interface such as HDMI, storage to a medium such as a CF card, and output to a display device such as a rear liquid crystal.

次に、リアルタイム欠陥画素補正部４における欠陥画素検出処理と欠陥画素補正処理について、詳細に説明する。図５は図４に示すリアルタイム欠陥画素補正部４の詳細構成を示すブロック図である。   Next, the defective pixel detection process and the defective pixel correction process in the real-time defective pixel correction unit 4 will be described in detail. FIG. 5 is a block diagram showing a detailed configuration of the real-time defective pixel correction unit 4 shown in FIG.

リアルタイム欠陥画素補正部４に対しては、図５に示すように、入力端子４２を介して画像信号がフレーム単位で順次入力され、差分絶対値算出部４３の周辺画素最大値算出部４３１、周辺画素最小値算出部４３２、減算器４３３に供給される。更に、欠陥画素補正部４５にも供給される。図６は、入力された画像信号のうち、欠陥画素の検出対象画素とその周辺画素の配置を示す図であるが、周辺画素最大値算出部４３１では、図６に示すような検出対象画素Ｇ９の周辺画素Ｇ１からＧ８の画素値のうち、最大値を求める。ここで、求めた最大値をMax(G1toG8)とする。求めた最大値Max(G1toG8)は、減算器４３３及び減算器４３５に出力される。なお、本第１の実施形態では、説明のため、周辺の画素を図６のＧ１からＧ８のように定めているが、これより広い範囲を周辺画素の範囲としてもよい。   As shown in FIG. 5, image signals are sequentially input to the real-time defective pixel correction unit 4 in units of frames via the input terminal 42, and the peripheral pixel maximum value calculation unit 431 of the difference absolute value calculation unit 43, the peripheral The pixel minimum value calculation unit 432 and the subtracter 433 are supplied. Further, the defective pixel correction unit 45 is also supplied. FIG. 6 is a diagram showing the arrangement of defective pixel detection target pixels and their peripheral pixels in the input image signal. In the peripheral pixel maximum value calculation unit 431, the detection target pixel G9 as shown in FIG. Among the pixel values of the surrounding pixels G1 to G8, the maximum value is obtained. Here, the obtained maximum value is set to Max (G1 to G8). The obtained maximum value Max (G1toG8) is output to the subtracter 433 and the subtractor 435. In the first embodiment, the peripheral pixels are defined as G1 to G8 in FIG. 6 for the sake of explanation, but a wider range may be used as the peripheral pixel range.

一方、周辺画素最小値算出部４３２では、検出対象画素Ｇ９の周辺画素Ｇ１からＧ８の画素値のうちの最小値を求める。ここで、求めた最小値をMin(G1toG8)とする。求めた最小値Min(G1toG8)は、減算器４３５に出力される。   On the other hand, the peripheral pixel minimum value calculation unit 432 obtains the minimum value among the pixel values of the peripheral pixels G1 to G8 of the detection target pixel G9. Here, let the determined minimum value be Min (G1toG8). The obtained minimum value Min (G1toG8) is output to the subtractor 435.

減算器４３３では、最大値Max(G1toG8)から検出対象画素Ｇ９の画素値を減算し、その結果である差分値を絶対値算出部４３４において絶対値化する。即ち、欠陥画素の検出対象画素Ｇ９の画素値が、周辺画素の画素値の最大値からどれほどかけ離れているかを求める。この処理により得られる結果をＫ１（第１の差分絶対値）とすると、以下の式（２）により表される。
Ｋ１ = ｜G9 - Max(G1toG8)| …（２） The subtracter 433 subtracts the pixel value of the detection target pixel G9 from the maximum value Max (G1toG8), and the absolute value calculation unit 434 converts the resultant difference value to an absolute value. That is, how far the pixel value of the detection target pixel G9 of the defective pixel is far from the maximum pixel value of the peripheral pixels is obtained. When the result obtained by this processing is K 1 (first difference absolute value), it is expressed by the following equation (2).
K 1 = | G9-Max (G1toG8) |… (2)

上記式（２）により得られた差分絶対値Ｋ１は、欠陥画素判定部４４の第１欠陥画素候補判定部４４１に出力される。即ち、周辺画素最大値算出部４３１、減算器４３３、絶対値算出部４３４は、第１の算出手段を構成する。
また、減算器４３５では、最大値Max(G1toG8)から最小値Min(G1toG8)を減算し、その結果である差分値を絶対値算出部４３６において絶対値化する。この処理により得られる結果をＫ２とすると、以下の式（３）により表される。
Ｋ２ = ｜Max(G1toG8) - Min(G1toG8)| …（３） The difference absolute value K 1 obtained by the above equation (2) is output to the first defective pixel candidate determination unit 441 of the defective pixel determination unit 44. That is, the peripheral pixel maximum value calculation unit 431, the subtracter 433, and the absolute value calculation unit 434 constitute a first calculation unit.
The subtracter 435 subtracts the minimum value Min (G1toG8) from the maximum value Max (G1toG8), and the absolute value calculation unit 436 converts the resulting difference value to an absolute value. When the results obtained by this treatment with K 2, it is represented by the following equation (3).
K 2 = | Max (G1toG8)-Min (G1toG8) | (3)

上記式（３）により得られた差分絶対値Ｋ２（第２の差分絶対値）は、欠陥画素判定部４４の第２欠陥画素候補判定部４４２に出力される。即ち、周辺画素最小値算出部４３２、減算器４３５、絶対値算出部４３６は、第２の算出手段を構成する。
第１欠陥画素候補判定部４４１では、Ｋ１が、予め決められた閾値th_uとth_oに対して、
th_u＜Ｋ１＜th_o …（４） The difference absolute value K 2 (second difference absolute value) obtained by the above equation (3) is output to the second defective pixel candidate determination unit 442 of the defective pixel determination unit 44. That is, the peripheral pixel minimum value calculation unit 432, the subtractor 435, and the absolute value calculation unit 436 constitute a second calculation unit.
In the first defective pixel candidate determining unit 441, K 1 is relative to a predetermined threshold th_u and Th_o,
th_u <K 1 <th_o (4)

の関係を満たすかどうかを判断する。Ｋ１が閾値th_u（第１の閾値）とth_o（第２の閾値）により決められた範囲内にある場合、欠陥画素候補として判定し、そうでなければ、欠陥画素ではないと判定する。
ここで、本第１の実施形態においては、閾値th_uとth_oは次のような方法で決定する。まず、第１欠陥画素候補判定部４４１には、ＵＩ部８から入力される動画／静止画モードの選択情報により決定する撮像素子２からの読み出し方式を示す信号が、入力端子４１を介して入力される。現在の設定が静止画モードで、撮像素子２からの読み出し方式が全画素読み出しである場合、検出対象画素Ｇ９の画素値は１つの画素から出力された画素値である。そのため、th_uをｓとし、th_oは無限大に設定する。つまり、静止画モードの場合は、ｓよりもＫ１が大きければ欠陥画素候補として判定する。 Whether to satisfy the relationship. If K 1 is in the range determined by the threshold Th_u (first threshold value) and Th_o (second threshold value), judged as a defective pixel candidate, if not, is not the very defective pixel.
Here, in the first embodiment, the thresholds th_u and th_o are determined by the following method. First, the first defective pixel candidate determination unit 441 receives, via the input terminal 41, a signal indicating a readout method from the image sensor 2 determined by the moving image / still image mode selection information input from the UI unit 8. Is done. When the current setting is the still image mode and the readout method from the image sensor 2 is all-pixel readout, the pixel value of the detection target pixel G9 is a pixel value output from one pixel. Therefore, th_u is set to s, and th_o is set to infinity. That is, if the still image mode, determines the defective pixel candidate larger the K 1 than s.

一方、現在の設定が動画モードで、撮像素子２からの読み出し方式は水平３画素加算読み出し、垂直３画素間引き読み出しである場合、検出対象画素Ｇ９の画素値は、撮像素子２を構成する３つの画素の画素値の平均値である。そのため、３つの画素のいずれかが欠陥画素であった場合、読み出された画素値は、欠陥画素そのものの画素値よりもレベルが下がっている。そのため、この場合にはそれぞれの閾値を次式（５）のように設定する。   On the other hand, when the current setting is the moving image mode and the reading method from the image sensor 2 is horizontal three-pixel addition reading and vertical three-pixel thinning-out reading, the pixel value of the detection target pixel G9 includes three values constituting the image sensor 2. It is an average value of pixel values of pixels. Therefore, when any of the three pixels is a defective pixel, the read pixel value is lower than the pixel value of the defective pixel itself. Therefore, in this case, the respective threshold values are set as in the following equation (5).

Figure 0006041523
Figure 0006041523

このように、動画モード時には欠陥画素候補として判定するための閾値を、静止画モードの時と比べて低くすることで、欠陥画素の誤検出を低減することができる。なお、上述した閾値th_uとth_oは一例であり、撮像素子の温度やゲインコントロールにおける信号の増幅率に応じて、これらの値は変更すべきである。また、ここでは静止画モードと動画モードの間で、閾値th_uとth_oの両方を変化させたが、少なくとも閾値th_oの値を、動画モードのときよりも静止画モードのときよりも小さく設定すればよい。
また、第２欠陥画素候補判定部４４２では、動画／静止画モードに関わらず、Ｋ２が予め決められた閾値th2（第３の閾値）よりも小さければ（Ｋ２ ＜ th2）、Ｇ９を欠陥画素候補として判定し、そうでなければ、欠陥画素ではないと判定する。 As described above, it is possible to reduce erroneous detection of defective pixels by lowering the threshold for determining as a defective pixel candidate in the moving image mode as compared with that in the still image mode. Note that the above-described thresholds th_u and th_o are examples, and these values should be changed according to the temperature of the image sensor and the signal amplification factor in gain control. Also, here, both the thresholds th_u and th_o were changed between the still image mode and the movie mode. However, if at least the threshold th_o is set to be smaller than that in the still image mode than in the movie mode. Good.
In the second defective pixel candidate determining unit 442, regardless of the moving image / still image mode, is smaller than the threshold value K 2 is predetermined th2 (third threshold) (K 2 <th2), the G9 defects It is determined as a pixel candidate. Otherwise, it is determined not to be a defective pixel.

欠陥画素決定部４４３では、第１欠陥画素候補判定部４４１による判定結果と、第２欠陥画素候補判定部４４２による判定結果が共に欠陥画素候補であった場合に、検出対象画素Ｇ９が欠陥画素であると判定する。そして、判定した結果を欠陥画素補正部４５へ出力する。欠陥画素補正部４５では、検出対象画素Ｇ９が欠陥画素として判定されていれば、入力される検出対象画素Ｇ９の画素値を周辺画素の画素値の平均値で置き換えることで補正する。一方、欠陥画素として判定されなかった場合には入力される検出対象画素Ｇ９に補正を行わない。そして、出力端子４６を介して信号処理部５へ出力する。   In the defective pixel determination unit 443, when the determination result by the first defective pixel candidate determination unit 441 and the determination result by the second defective pixel candidate determination unit 442 are both defective pixel candidates, the detection target pixel G9 is a defective pixel. Judge that there is. The determined result is output to the defective pixel correction unit 45. If the detection target pixel G9 is determined as a defective pixel, the defective pixel correction unit 45 corrects the pixel value of the input detection target pixel G9 by replacing it with the average value of the pixel values of surrounding pixels. On the other hand, if the pixel is not determined as a defective pixel, the input detection target pixel G9 is not corrected. Then, the signal is output to the signal processing unit 5 through the output terminal 46.

以上説明したように、本第１の実施形態によれば、撮像素子２からの読み出し方式に応じて、検出対象画素の画素値と、その周辺画素の画素値の最大値との差分に対する下限及び上限の閾値を変える。このようにすることで、非欠陥画素である孤立点を誤検出する頻度が低減し、より精度の高い欠陥画素検出及び欠陥画素補正を実現することができる。   As described above, according to the first embodiment, the lower limit for the difference between the pixel value of the detection target pixel and the maximum value of the pixel values of the surrounding pixels according to the readout method from the image sensor 2 and Change the upper threshold. By doing so, the frequency of erroneously detecting isolated points that are non-defective pixels is reduced, and more accurate defective pixel detection and defective pixel correction can be realized.

＜変形例＞
撮像素子２から隣接する３画素を選択して、その中の同色２画素の画素信号を加算して１画素として読み出す方式（以下２／３画素間引き加算読み出し）も存在する。図７は水平方向の２／３画素間引き加算読み出しを図式化したものであり、隣接した３画素から同色２画素を選択し、その２画素を加算して１画素として読み出す様子を示すものである。その場合は、３画素加算読み出しの場合よりも欠陥画素の画素値は高くなる。水平方向を２／３画素間引き加算読み出し、垂直方向を３画素間引き読み出しを用いた場合、図３における画素値Ｒ５’は次式（６）により算出することができる。 <Modification>
There is also a method of selecting three adjacent pixels from the image sensor 2 and adding pixel signals of two pixels of the same color and reading them as one pixel (hereinafter referred to as 2/3 pixel thinning addition reading). FIG. 7 is a schematic diagram of 2/3 pixel decimation addition readout in the horizontal direction, and shows how two pixels of the same color are selected from three adjacent pixels, and the two pixels are added and read out as one pixel. . In that case, the pixel value of the defective pixel is higher than in the case of 3-pixel addition reading. When 2/3 pixel thinning addition reading is used in the horizontal direction and 3 pixel thinning reading is used in the vertical direction, the pixel value R5 ′ in FIG. 3 can be calculated by the following equation (6).

Figure 0006041523
Figure 0006041523

このときのth_uとth_oは以下の式（７）のように設定する。   At this time, th_u and th_o are set as in the following equation (7).

Figure 0006041523
Figure 0006041523

このように、加算する画素の画素数が少ないほど、より大きい値を閾値th_uとth_oとして設定する。言い換えれば、加算する画素の画素数が多いほど、より小さい値を閾値th_uとth_oとして設定する。   Thus, larger values are set as the thresholds th_u and th_o as the number of pixels to be added is smaller. In other words, as the number of pixels to be added increases, smaller values are set as the thresholds th_u and th_o.

上記の通り、画素加算読み出しや画素間引き読み出しを組み合わせた場合の読み出し方式でも、本第１の実施形態は適用可能であり、様々な読み出し方式が本発明の範疇に入ることは明らかである。   As described above, the first embodiment can be applied to a reading method in which pixel addition reading and pixel thinning-out reading are combined, and it is apparent that various reading methods fall within the scope of the present invention.

＜第２の実施形態＞
本第２の実施形態では、動画の撮影を行うことができるデジタルカメラにおいて、動画のフォーマットによって撮像素子からの読み出し方式が異なる場合の欠陥画素検出方法について説明する。 <Second Embodiment>
In the second embodiment, a defective pixel detection method in a case where a readout method from an image sensor differs depending on the format of a moving image in a digital camera capable of shooting a moving image will be described.

具体的には、1920×1080画素での撮影時における水平方向全画素読み出し、垂直方向３画素加算読み出し、及び、1280×720画素での撮影時における水平方向３画素加算読み出し、垂直方向３画素加算読み出しの場合の閾値を決定する。この場合、1920×1080画素での撮影時の場合は水平方向と垂直方向で読み出す割合が異なるため（垂直方向のみ加算）、読み出した直後の画像のアスペクト比が撮像素子のアスペクト比と異なる。これに対して、1280×720画素での撮影時の場合は、水平方向と垂直方向で読み出す割合が同じであるため（水平、垂直方向共に加算）、読み出した直後の画像のアスペクト比と撮像素子のアスペクト比が同じになる。本第２の実施形態では、加算読み出しを行う場合であっても、加算する画素の数に応じて非欠陥画素である孤立点を検出するための条件を変更する方法について説明する。なお、撮像素子に関しては、上述した第１の実施形態と同様に図１に示すようなベイヤー配列のカラーフィルタで覆われているものとする。   Specifically, all pixels in the horizontal direction are read out at the time of shooting with 1920 × 1080 pixels, three pixels are read out in the vertical direction, and three pixels in the horizontal direction are read out at the time of shooting with 1280 × 720 pixels, and three pixels are added in the vertical direction. A threshold for reading is determined. In this case, in the case of shooting with 1920 × 1080 pixels, since the reading ratio differs in the horizontal direction and the vertical direction (addition only in the vertical direction), the aspect ratio of the image immediately after reading is different from the aspect ratio of the image sensor. On the other hand, in the case of shooting with 1280 × 720 pixels, since the reading ratio is the same in the horizontal direction and the vertical direction (added both in the horizontal and vertical directions), the aspect ratio of the image immediately after reading and the image sensor Have the same aspect ratio. In the second embodiment, a method of changing a condition for detecting an isolated point that is a non-defective pixel in accordance with the number of pixels to be added will be described even in the case of performing addition reading. It is assumed that the image sensor is covered with a Bayer array color filter as shown in FIG. 1 as in the first embodiment described above.

また、本第２の実施形態における撮像装置の構成は、上述した第１の実施形態において図４及び図５を参照して説明したものと同様であるため、ここでは説明を省略する。またリアルタイム欠陥画素補正部４以外の処理に関しても、第１の実施形態で説明したものと同様であるため、説明を割愛する。   In addition, the configuration of the imaging apparatus according to the second embodiment is the same as that described with reference to FIGS. 4 and 5 in the first embodiment described above, and thus the description thereof is omitted here. Further, the processing other than the real-time defective pixel correction unit 4 is the same as that described in the first embodiment, and thus the description thereof is omitted.

以下、本第２の実施形態におけるリアルタイム欠陥画素補正部４による欠陥画素判定の処理について、図４〜図６を参照して説明する。   Hereinafter, the defective pixel determination processing by the real-time defective pixel correction unit 4 in the second embodiment will be described with reference to FIGS.

リアルタイム欠陥画素補正部４には、入力端子４２を介して画像信号がフレーム単位で順次入力される。周辺画素最大値算出部４３１では、図６に示すような欠陥画素の検出対象画素Ｇ９の周辺画素Ｇ１からＧ８の画素値のうち最大値を求め、求めた結果をMax(G1toG8)とする。なお、図６では、周辺画素を図６のＧ１からＧ８のように定めているが、第１の実施形態で説明したように本第２の実施形態においても、これより広い範囲を周辺画素の範囲としてもよい。   Image signals are sequentially input to the real-time defective pixel correction unit 4 in frame units via the input terminal 42. The peripheral pixel maximum value calculation unit 431 calculates the maximum value among the pixel values of the peripheral pixels G1 to G8 of the detection target pixel G9 of the defective pixel as shown in FIG. 6, and sets the calculated result as Max (G1toG8). In FIG. 6, the peripheral pixels are defined as G1 to G8 in FIG. 6, but as described in the first embodiment, the second embodiment also has a wider range of peripheral pixels. It is good also as a range.

また、周辺画素最小値算出部４３２では、画素Ｇ１からＧ８の画素値のうちの最小値を求め、求めた結果をMin(G1toG8)とする。   In addition, the peripheral pixel minimum value calculation unit 432 calculates the minimum value among the pixel values of the pixels G1 to G8, and sets the calculated result as Min (G1toG8).

減算器４３３と絶対値算出部４３４では、上述した式（２）により、検出対象画素Ｇ９の画素値とMax(G1toG8)との差分絶対値Ｋ１を算出する。また、減算器４３５と絶対値算出部４３６では、上述した式（３）により、Max(G1toG8)とMin(G1toG8)との差分絶対値Ｋ２を算出する。 Subtractor 433 and absolute value calculation unit 434, by Equation (2) described above, it calculates a difference absolute value K 1 between the pixel value of the detection target pixel G9 and Max (G1toG8). Further, the subtractor 435 and absolute value calculation unit 436, by Equation (3) described above, it calculates a difference absolute value K 2 and Max (G1toG8) and Min (G1toG8).

第１欠陥画素候補判定部４４１では、上述した式（４）により、欠陥画素候補か否かを判定する。このとき、本第２の実施形態では、th_uとth_oを次のような方法で決定する。   The first defective pixel candidate determination unit 441 determines whether or not it is a defective pixel candidate by the above-described equation (4). At this time, in the second embodiment, th_u and th_o are determined by the following method.

ＵＩ部８の設定により、現在の設定が1920x1080画素の撮影の場合、撮像素子２から読み出された着目画素の画素値と、その上下方向に位置する同色の２つの画素の画素値が加算されて読み出される。その場合、th_uをsとし、th_oは無限大に設定する。つまり、1920x1080画素の撮影時には、ｓよりもＫ１が大きければ欠陥画素候補として判定する。 When the current setting is 1920 × 1080 pixel shooting, the pixel value of the pixel of interest read from the image sensor 2 and the pixel values of two pixels of the same color positioned in the vertical direction are added. Read out. In that case, th_u is set to s, and th_o is set to infinity. That is, at the time of shooting 1920 × 1080 pixels, if K 1 is larger than s, it is determined as a defective pixel candidate.

逆に現在の設定が1280x720画素の撮影の場合、着目画素の画素値と、その上下方向および左右方向に位置する同色の４つの画素の画素値が加算されて読み出される。1920x1080画素の撮影の場合よりも周辺画素の割合が増えるため、1920x1080画素の撮影の場合と比べて、周辺画素の画素値の影響が大きくなる。   Conversely, when the current setting is 1280 × 720 pixel shooting, the pixel value of the pixel of interest and the pixel values of four pixels of the same color located in the vertical and horizontal directions are added and read. Since the ratio of the peripheral pixels increases as compared with the case of shooting with 1920 × 1080 pixels, the influence of the pixel values of the peripheral pixels becomes larger than that with shooting of 1920 × 1080 pixels.

ここで、着目画素が孤立点であれば、加算される周辺画素は孤立点の影響を受けて値が増加しているが、着目画素が欠陥画素であれば、加算される周辺画素はこのような値の増加はない。そのため、着目画素が欠陥画素の場合の加算読み出し後の着目画素の値は、孤立点の場合に比べて小さな値となる。そして、加算される周辺画素の数が増えるほど、着目画素が欠陥画素の場合の加算読み出し後の着目画素の値は小さくなる。そのため、着目画素が欠陥画素であれば、1280x720画素の撮影の場合には微小キズは殆ど目立たなくなる。この1280x720画素の撮影の場合は、それぞれの閾値を次式（８）のように設定する。   Here, if the pixel of interest is an isolated point, the peripheral pixel to be added increases in value due to the influence of the isolated point, but if the pixel of interest is a defective pixel, the peripheral pixel to be added is like this There is no significant increase. Therefore, the value of the target pixel after addition reading when the target pixel is a defective pixel is smaller than that of the isolated point. Then, as the number of peripheral pixels to be added increases, the value of the pixel of interest after addition reading when the pixel of interest is a defective pixel decreases. For this reason, if the pixel of interest is a defective pixel, minute scratches are hardly noticeable in the case of shooting at 1280 × 720 pixels. In the case of shooting at 1280 × 720 pixels, the respective threshold values are set as in the following equation (8).

Figure 0006041523
Figure 0006041523

このように、閾値th_uと閾値th_oの値は、1920x1080画素の撮影の場合よりも、小さい値となる。なお、上述した閾値th_uと閾値th_oは一例であり、撮像素子の温度やゲインコントロールにおける信号の増幅率に応じて、これらの値は変更すべきである。また、ここでは動画のフォーマットによって、閾値th_uとth_oの両方を変化させたが、少なくとも閾値th_oの値を変化させればよい。   Thus, the values of the threshold th_u and the threshold th_o are smaller than in the case of shooting with 1920 × 1080 pixels. Note that the above-described threshold th_u and threshold th_o are examples, and these values should be changed according to the temperature of the image sensor and the signal amplification factor in gain control. Here, both the thresholds th_u and th_o are changed depending on the format of the moving image, but at least the value of the threshold th_o may be changed.

第２欠陥画素候補判定部４４２では、Ｋ２が予め決められた閾値th2よりも小さければ欠陥画素候補として判定し、それ以外の場合、欠陥画素ではないと判定する。 In the second defective pixel candidate determination unit 442, it is smaller than the threshold value th2 K 2 is predetermined to determine a defective pixel candidate, otherwise, determines that there is no defective pixel.

欠陥画素決定部４４３以降の処理は、第１の実施形態において上述した処理と同様であるので、ここでは説明を省略する。   Since the processing after the defective pixel determination unit 443 is the same as the processing described in the first embodiment, the description thereof is omitted here.

以上説明したように、本第２の実施形態によれば、動画のフォーマットによって撮像素子からの読み出し方式が異なる場合において、検出対象画素の画素値と周囲の画素の最大値との差分絶対値に対する上限と下限の閾値を変える。これにより、非欠陥画素を誤検出する頻度が低減し、より精度の高い欠陥画素検出を実現することができる。   As described above, according to the second embodiment, when the readout method from the image sensor differs depending on the moving image format, the absolute value of the difference between the pixel value of the detection target pixel and the maximum value of surrounding pixels is determined. Change the upper and lower thresholds. Thereby, the frequency of erroneously detecting non-defective pixels is reduced, and more accurate defective pixel detection can be realized.

また、動画に限らず静止画においても、例えばユーザーが設定した画像サイズに応じて撮像素子からの読み出し方式が異なるのであれば、差分絶対値に対する閾値を変えるようにしてもよい。   Further, not only for moving images but also for still images, for example, if the reading method from the image sensor differs according to the image size set by the user, the threshold value for the absolute difference value may be changed.

なお、上述した第１および第２の実施形態、欠陥画素検出の精度を高めるために上述のような構成としたが、これに限られるものではない。周辺画素最小値算出部４３２、減算器４３５、および、絶対値算出部４３６からなる第２の算出手段と、第２欠陥画素候補判定部４４２は必須ではなく、省略することができる。   In addition, although it was set as the above-mentioned structure in order to raise the precision of the 1st and 2nd embodiment mentioned above and a defective pixel detection, it is not restricted to this. The second calculation means including the peripheral pixel minimum value calculation unit 432, the subtracter 435, and the absolute value calculation unit 436 and the second defective pixel candidate determination unit 442 are not essential and can be omitted.

例えば、第１欠陥画素候補判定部４４１と欠陥画素決定部４４３を統合し、差分絶対値Ｋ１が閾値th_uとth_oにより決められた範囲内にあれば、検出対象画素Ｇ９が欠陥画素であると判定する構成としてもよい。さらに、周辺画素最大値算出部４３１を、周辺画素Ｇ１からＧ８の画素値の平均値を求める周辺画素平均値算出部に置き換え、この検出対象画素Ｇ９の画素値からこの平均値を減算した結果である差分値を差分絶対値Ｋ１として求めてもよい。 For example, a first defective pixel candidate determining unit 441 and the defective pixel determination unit 443 integrates, if within the range where the difference absolute value K 1 is determined by the threshold th_u and Th_o, the detection target pixel G9 is a defective pixel It is good also as a structure to determine. Further, the peripheral pixel maximum value calculation unit 431 is replaced with a peripheral pixel average value calculation unit that calculates an average value of the pixel values of the peripheral pixels G1 to G8, and the average value is subtracted from the pixel value of the detection target pixel G9. may be calculated is a difference value as a difference absolute value K 1.

つまり、検出対象画素の画素値と周辺画素の差分を求め、この差分が予め定めた範囲内にある場合に、検出対象画素が欠陥画素、あるいは、欠陥画素候補であると判定する構成であれば、本発明を適用することが可能である。   That is, if the difference between the pixel value of the detection target pixel and the surrounding pixels is obtained, and the difference is within a predetermined range, the detection target pixel is determined to be a defective pixel or a defective pixel candidate. The present invention can be applied.

＜第３の実施形態＞
上述した第１、第２の実施形態における撮像装置における欠陥画素の検出処理を、パーソナルコンピュータ等の汎用の情報処理装置と、その情報処理装置に実行されるコンピュータプログラムでもって実現しても構わない。以下、第１の実施形態を例とし、第３の実施形態として説明する。 <Third Embodiment>
The defective pixel detection process in the imaging apparatus in the first and second embodiments described above may be realized by a general-purpose information processing apparatus such as a personal computer and a computer program executed by the information processing apparatus. . Hereinafter, the first embodiment will be described as an example, and the third embodiment will be described.

図８は本第３の実施形態における情報処理装置の構成を示すブロック図である。図中、中央演算装置（ＣＰＵ）３００は、装置全体の制御、及び種種の処理を行う。メモリ３０１は、ＢＩＯＳやブートプログラムを記憶しているＲＯＭ及びＣＰＵ３００がワークエリアとして使用するＲＡＭで構成される。指示入力部３０３はキーボード、マウスなどのポインティングデバイス、及び各種スイッチで構成される。記憶装置３０４は、本装置の制御に必要なオペレーティングシステム（ＯＳ）、第１の実施形態におけるコンピュータプログラム、演算に必要な記憶領域を提供する外部記憶装置（例えばＤＶＤ−ＲＯＭやＣＤ−ＲＯＭディスク）とアクセスする。バス３０２を介して、コンピュータと外部インタフェースとの間で画像データのやり取りを行う。   FIG. 8 is a block diagram showing the configuration of the information processing apparatus according to the third embodiment. In the figure, a central processing unit (CPU) 300 controls the entire apparatus and performs various processes. The memory 301 includes a ROM that stores a BIOS and a boot program, and a RAM that the CPU 300 uses as a work area. The instruction input unit 303 includes a keyboard, a pointing device such as a mouse, and various switches. The storage device 304 is an operating system (OS) necessary for controlling the device, the computer program in the first embodiment, and an external storage device (for example, a DVD-ROM or a CD-ROM disc) that provides a storage area necessary for computation. And access. Image data is exchanged between the computer and the external interface via the bus 302.

デジタルカメラ３０６は画像を撮像する。プロジェクタ３０７は処理結果を出力する。通信回路３０９は、ＬＡＮ、公衆回路、無線回路、放送電波で構成されている。通信インタフェース３０８は、通信回路３０９を介して画像データの送受信を行う。   The digital camera 306 takes an image. The projector 307 outputs the processing result. The communication circuit 309 includes a LAN, a public circuit, a wireless circuit, and a broadcast radio wave. The communication interface 308 transmits and receives image data via the communication circuit 309.

次に、上記構成を有する情報処理装置における処理について説明する。処理に先立ち、指示入力部３０３で装置に電源が入力されると、ＣＰＵ３００はメモリ３０１のＲＯＭに格納されているブートプログラムに従って、外部記憶装置３０４がメモリ３０１（ＲＡＭ）にＯＳをロードする。そして、ユーザーからの指示に従い、外部記憶装置３０４からアプリケーションプログラムをメモリ３０１にロードすることで、本装置が画像処理装置として機能することになる。このアプリケーションプログラムがＲＡＭ３０１にロードした際のメモリの格納状況を図９に示す。   Next, processing in the information processing apparatus having the above configuration will be described. Prior to processing, when power is input to the apparatus through the instruction input unit 303, the CPU 300 loads the OS into the memory 301 (RAM) according to the boot program stored in the ROM of the memory 301. Then, in accordance with an instruction from the user, this apparatus functions as an image processing apparatus by loading an application program from the external storage device 304 into the memory 301. FIG. 9 shows the storage status of the memory when this application program is loaded into the RAM 301.

メモリ３０１には装置全体を制御し、各種ソフトウェアを制御するためのＯＳ、欠陥画素検出、補正を行うような映像処理ソフトウェアが格納されている。さらに、カメラ３０６を制御して、動画像を１フレームずつ入力（キャプチャ）する画像入力ソフトウェアが格納されている。さらに、画像データを格納する画像エリア、各種パラメータを格納しておくワーキングエリアが存在する。   The memory 301 stores the OS for controlling the entire apparatus, OS for controlling various software, and image processing software for detecting and correcting defective pixels. Further, image input software for controlling the camera 306 to input (capture) a moving image frame by frame is stored. Furthermore, there are an image area for storing image data and a working area for storing various parameters.

図１０はＣＰＵ３００が実行するアプリケーションにおける映像処理を示すフローチャートである。Ｓ１において各部の初期化を行い、Ｓ２においてプログラムが終了かどうかの判定を行う。この終了の判定は、ユーザーが指示入力部３０３から終了指示が入力されたか否かに基づいて判定する。Ｓ３ではフレーム単位でのメモリ３０１の画像エリアへの画像の入力、Ｓ４では映像処理として、欠陥画素の検出及び補正を行って、Ｓ２の処理に戻る。   FIG. 10 is a flowchart showing video processing in an application executed by the CPU 300. In S1, each part is initialized, and in S2, it is determined whether or not the program is finished. This end determination is made based on whether or not the user has input an end instruction from the instruction input unit 303. In S3, an image is input to the image area of the memory 301 in units of frames. In S4, defective pixels are detected and corrected as video processing, and the process returns to S2.

ここで、Ｓ４で行われる映像処理を図１１のフローチャートを用いて詳しく説明する。Ｓ４１では記憶装置３０５に記憶されている画像の中の少なくとも１フレームと、撮像素子２からの画素読み出し方式といったパラメータをメモリ３０１に記憶する。Ｓ４２では、メモリ３０１に記憶された１フレームの中の検出対象画素の周辺の数画素の画素値の中から最大値を求め、Ｓ４３でその最大値と検出対象画素の画素値との差分絶対値絶対値とを算出する。Ｓ４４では検出対象画素の周辺の数画素の画素値の中から最小値を求め、Ｓ４５でその最小値とＳ４２で算出した最大値との差分絶対値を算出する。Ｓ４６では、Ｓ４３とＳ４５でそれぞれ算出された差分絶対値と、撮像素子からの読み出し方式を示すパラメータを基に、第１の実施形態で説明した方法で欠陥画素判定を行う。Ｓ４７では、Ｓ４６で検出された欠陥画素に対して補正を行い、Ｓ４８では欠陥画素が補正された１フレーム分の画像信号をメモリ３０１に格納する。   Here, the video processing performed in S4 will be described in detail with reference to the flowchart of FIG. In S <b> 41, at least one frame in the image stored in the storage device 305 and parameters such as a pixel readout method from the image sensor 2 are stored in the memory 301. In S42, the maximum value is obtained from the pixel values of several pixels around the detection target pixel in one frame stored in the memory 301, and in S43, the absolute difference between the maximum value and the pixel value of the detection target pixel. Calculate the absolute value. In S44, the minimum value is obtained from the pixel values of several pixels around the detection target pixel, and in S45, an absolute difference between the minimum value and the maximum value calculated in S42 is calculated. In S46, defective pixel determination is performed by the method described in the first embodiment, based on the difference absolute values calculated in S43 and S45, respectively, and the parameter indicating the readout method from the image sensor. In S47, the defective pixel detected in S46 is corrected. In S48, the image signal for one frame in which the defective pixel is corrected is stored in the memory 301.

以上、説明したように本第３の実施形態によれば、画像品質において第１の実施形態と同等な効果を得ることができる。なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。   As described above, according to the third embodiment, an effect equivalent to that of the first embodiment can be obtained in image quality. The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Claims (10)

複数の異なる読み出し方法により読み出し可能な撮像素子から読み出された画像を処理する画像処理装置であって、
前記撮像素子から読み出された画像を構成する画素のうち、欠陥画素か否かを判定する対象である検出対象画素の画素値と、該検出対象画素の複数の周辺画素を用いて求めた値との差分絶対値を求める算出手段と、
前記差分絶対値に基づいて、前記検出対象画素が欠陥画素か否かを判定する判定手段とを有し、
前記判定手段は、
前記検出対象画素が欠陥画素であると判定するための条件に、前記差分絶対値が、第１の閾値と、該第１の閾値よりも大きい第２の閾値により予め決められた範囲内にあることを含み、
前記撮像素子から複数の画素の画素信号を加算して画素値として読み出す場合に、画素信号を加算せずに画素値として読み出す場合よりも、より小さい値を前記第２の閾値として設定することを特徴とする画像処理装置。 An image processing apparatus that processes an image read from an image sensor that can be read by a plurality of different reading methods,
Of the pixels constituting the image read from the image sensor, the pixel value of the detection target pixel that is a target for determining whether or not it is a defective pixel, and the value obtained using a plurality of peripheral pixels of the detection target pixel A calculating means for obtaining a difference absolute value between
Determination means for determining whether or not the detection target pixel is a defective pixel based on the absolute difference value;
The determination means includes
The condition for determining that the detection target pixel is a defective pixel is such that the absolute difference value is within a range determined in advance by a first threshold value and a second threshold value that is greater than the first threshold value. Including
If the read as a pixel value by adding the pixel signals of a plurality of pixels from the image sensor, than when reading a pixel value without adding pixel signals, to set a smaller value as the second threshold value A featured image processing apparatus. 前記複数の異なる読み出し方法は、画素信号の加算の有無、および、加算する画素信号の数、の少なくともいずれかが互いに異なることを特徴とする請求項１に記載の画像処理装置。 The plurality of different read method, the presence or absence of the addition of the pixel signals, and image processing apparatus of claim 1, wherein the number of pixel signals to be added, at least one is different from one another. 前記複数の異なる読み出し方法は、静止画を撮影するための静止画モードと、動画を撮影するための動画モードとを含み、
前記判定手段は、前記撮像素子から前記動画モードで画素値を読み出す場合に、前記静止画モードで画素値を読み出す場合よりも、より小さい値を前記第１の閾値として設定することを特徴とする請求項１または２に記載の画像処理装置。 The plurality of different readout methods include a still image mode for shooting a still image and a moving image mode for shooting a moving image,
The determination unit sets a smaller value as the first threshold value when reading a pixel value from the image sensor in the moving image mode than when reading a pixel value in the still image mode. The image processing apparatus according to claim 1 . 前記撮像素子から複数の画素の画素信号を加算して画素値として読み出す場合、前記判定手段は、加算する画素信号の数が多いほど、より小さい値を前記第２の閾値として設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。 When reading the pixel value by adding the pixel signals of a plurality of pixels from the image sensor, said judging means, setting means sets as the number of pixel signals to be added, a smaller value as the second threshold value The image processing apparatus according to any one of claims 1 to 3. 前記判定手段は、前記撮像素子から複数の画素の画素信号を加算して画素値として読み出す場合に、複数の画素信号を加算せずに読み出す場合よりも、より小さい値を前記第１の閾値として設定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。 Said determination means, when read as the pixel value by adding the pixel signals of plural pixels from the image sensor, than when the reading out without adding a plurality of pixel signals, the first smaller value The image processing apparatus according to claim 1, wherein the image processing apparatus is set as a threshold value. 前記撮像素子から複数の画素の画素信号を加算して画素値として読み出す場合、前記判定手段は、加算する画素信号の数が多いほど、より小さい値を前記第１の閾値として設定することを特徴とする請求項４に記載の画像処理装置。 When reading the pixel value by adding the pixel signals of a plurality of pixels from the image sensor, said judging means, setting means sets as the number of pixel signals to be added, a smaller value as the first threshold value The image processing apparatus according to claim 4. 前記算出手段は、
前記撮像素子から読み出された画像を構成する画素のうち、前記検出対象画素の画素値と、該検出対象画素の複数の周辺画素の画素値の最大値との差分絶対値である第１の差分絶対値を求める第１の算出手段と、
前記撮像素子から読み出された画像を構成する画素のうち、前記検出対象画素の複数の周辺画素の画素値の最大値と最小値との差分絶対値である第２の差分絶対値を求める第２の算出手段と、を有し、
前記判定手段は、前記第１の差分絶対値が、前記第１の閾値と、前記第２の閾値により予め決められた範囲内にあり、且つ、前記第２の差分絶対値が予め決められた第３の閾値よりも小さい場合に、前記検出対象画素が欠陥画素であると判定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。 The calculating means includes
A first absolute value of a difference between a pixel value of the detection target pixel and a maximum value of pixel values of a plurality of peripheral pixels of the detection target pixel among pixels constituting an image read from the image sensor; First calculating means for obtaining a difference absolute value;
A second difference absolute value that is a difference absolute value between a maximum value and a minimum value of pixel values of a plurality of peripheral pixels of the detection target pixel among pixels constituting the image read from the image sensor is obtained. 2 calculation means,
It said determining means, said first difference absolute value, said first threshold value is within the predetermined range by the second threshold value, and the second difference absolute value is predetermined The image processing apparatus according to claim 1, wherein the detection target pixel is determined to be a defective pixel when smaller than a third threshold value. 複数の異なる読み出し方法により読み出し可能な撮像素子から読み出された画像を処理する画像処理方法であって、
算出手段が、前記撮像素子から読み出された画像を構成する画素のうち、欠陥画素か否かを判定する対象である検出対象画素の画素値と、該検出対象画素を用いて求めた値との差分絶対値を求める算出工程と、
判定手段が、前記差分絶対値に基づいて、前記検出対象画素が欠陥画素か否かを判定する判定工程と、を有し、
前記判定工程では、
前記検出対象画素が欠陥画素であると判定するための条件に、前記差分絶対値が、第１の閾値と、該第１の閾値よりも大きい第２の閾値により予め決められた範囲内にあることを含み、
前記撮像素子から複数の画素の画素信号を加算して画素値として読み出す場合に、画素信号を加算せずに読み出す場合よりも、より小さい値を前記第２の閾値として設定することを特徴とする画像処理方法。 An image processing method for processing an image read from an image sensor that can be read by a plurality of different readout methods,
The pixel value of the detection target pixel that is a target for determining whether or not the pixel is a defective pixel among the pixels constituting the image read from the image sensor, and the value obtained by using the detection target pixel A calculation step for obtaining a difference absolute value of
A determination step of determining whether the detection target pixel is a defective pixel based on the absolute difference value;
In the determination step,
The condition for determining that the detection target pixel is a defective pixel is such that the absolute difference value is within a range determined in advance by a first threshold value and a second threshold value that is greater than the first threshold value. Including
In the case where pixel signals of a plurality of pixels are added from the image sensor and read out as a pixel value , a smaller value is set as the second threshold value than in the case where the pixel signal is read out without being added. Image processing method. コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。   The program for functioning a computer as each means of the image processing apparatus of any one of Claims 1 thru | or 7. 請求項９に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。   A computer-readable storage medium storing the program according to claim 9.
JP2012097076A 2012-04-20 2012-04-20 Image processing apparatus and method Active JP6041523B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012097076A JP6041523B2 (en) 2012-04-20 2012-04-20 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012097076A JP6041523B2 (en) 2012-04-20 2012-04-20 Image processing apparatus and method

Publications (3)

Publication Number Publication Date
JP2013225772A JP2013225772A (en) 2013-10-31
JP2013225772A5 JP2013225772A5 (en) 2015-05-28
JP6041523B2 true JP6041523B2 (en) 2016-12-07

Family

ID=49595561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012097076A Active JP6041523B2 (en) 2012-04-20 2012-04-20 Image processing apparatus and method

Country Status (1)

Country Link
JP (1) JP6041523B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6395621B2 (en) * 2015-01-27 2018-09-26 キヤノン株式会社 Focus adjustment device, imaging device using the same, and focus adjustment method
JP6602109B2 (en) * 2015-08-28 2019-11-06 キヤノン株式会社 Control device, imaging device, control method, program, and storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4479373B2 (en) * 2004-06-28 2010-06-09 ソニー株式会社 Image sensor
JP2010081259A (en) * 2008-09-25 2010-04-08 Panasonic Corp Solid-state imaging device
JP2010130238A (en) * 2008-11-26 2010-06-10 Sony Corp Defect correcting circuit and imaging device with same
JP2010272916A (en) * 2009-05-19 2010-12-02 Yamaha Corp White defect correction device of solid-state imaging element

Also Published As

Publication number Publication date
JP2013225772A (en) 2013-10-31

Similar Documents

Publication Publication Date Title
JP4730412B2 (en) Image processing apparatus and image processing method
JP4904440B2 (en) Image processing method and apparatus, image processing program, and medium storing this program
US8013914B2 (en) Imaging apparatus including noise suppression circuit
RU2527198C2 (en) Image processing device and image processing device control method
JP5060535B2 (en) Image processing device
US10440339B2 (en) Image processing apparatus, image processing method, and storage medium for performing correction for a target pixel having high luminance in an image
WO2011042948A1 (en) Defect detecting method for imaging device, and imaging device
US9635289B2 (en) Image capturing apparatus, control method thereof, and storage medium
US20140125847A1 (en) Image processing apparatus and control method therefor
JP2018093257A (en) Imaging apparatus
JP2005123946A (en) Defective pixel detection method, detector and imaging apparatus
US20220021818A1 (en) Image capturing device and control method thereof and medium
US9489721B2 (en) Image processing apparatus, image processing method, and storage medium
JP5262953B2 (en) Image processing apparatus, image processing method, and program
US8441543B2 (en) Image processing apparatus, image processing method, and computer program
JP6066866B2 (en) Image processing apparatus, control method thereof, and control program
JP6041523B2 (en) Image processing apparatus and method
JP5956844B2 (en) Image processing apparatus and control method thereof
JP4895107B2 (en) Electronic device, information processing method, and program
JP4331120B2 (en) Defective pixel detection method
US10861194B2 (en) Image processing apparatus, image processing method, and storage medium
JPWO2018025323A1 (en) Image processing apparatus, image processing method and program
JP5256236B2 (en) Image processing apparatus and method, and image processing program
JP2011114473A (en) Pixel defect correction device
US10791289B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150414

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161108

R151 Written notification of patent or utility model registration

Ref document number: 6041523

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151