JP2008154276A

JP2008154276A - Apparatus and method for correcting defective pixel

Info

Publication number: JP2008154276A
Application number: JP2008058368A
Authority: JP
Inventors: Ko Tajima; 香田島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-03-07
Filing date: 2008-03-07
Publication date: 2008-07-03
Anticipated expiration: 2024-04-30
Also published as: JP4343988B2

Abstract

<P>PROBLEM TO BE SOLVED: To detect and correct a defective pixel suitable for an edge direction without prestoring all pieces of information on the defective pixel in a storage means. <P>SOLUTION: The apparatus for correcting the defective pixel is provided which has: an edge direction detection means detecting an edge direction on the basis of picture data obtained from an imaging device having color filters in a plurality of colors disposed for the unit of a pixel; a detection means detecting the defective pixel included in the imaging device on the basis of the edge direction detected by the edge direction detection means; and a correction means correcting the defective pixel detected by the detection means, and which is characterized in that the edge direction detection means detects the edge direction using a signal from which a color carrier is removed in each pixel. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は撮像素子を用いた撮像装置に係るものであり、特に、撮像素子の画素欠陥の補正に用いて好適なものである。 The present invention relates to an imaging apparatus using an imaging element, and is particularly suitable for use in correcting pixel defects in an imaging element.

ＣＣＤ等の撮像素子においては、二次元に配列された画素の内、その製造過程もしくは製造後において半導体の局部的な感度不良が生ずることが知られている。これらの現象が起きると、入射した光量に応じた電荷出力が得られなくなるため、撮像画像上に被写体とは無関係に白点や黒点が見て取れる、いわゆる欠陥画素となって現れる問題が発生する。 In an image sensor such as a CCD, it is known that local sensitivity failure of a semiconductor occurs in a manufacturing process or after manufacturing among pixels arranged in two dimensions. When these phenomena occur, a charge output corresponding to the amount of incident light cannot be obtained, so that a problem appears as a so-called defective pixel in which a white spot or a black spot can be seen regardless of the subject on the captured image.

こうした欠陥画素を有する撮像出力に起因する画質劣化を信号処理によって補正するために、従来、撮像素子に含まれる欠陥画素についての欠陥データを、それを製造した半導体工場で検出して不揮発性メモリに予め記憶させるようにしていた。 In order to correct the image quality degradation caused by the imaging output having such defective pixels by signal processing, conventionally, defective data about the defective pixels included in the imaging device is detected by the semiconductor factory that manufactured the pixel and stored in the nonvolatile memory. It was made to memorize beforehand.

あるいは、撮像素子を用いた撮像装置側において、撮像装置のシャッターを遮光状態としたときに、所定の出力レベルを超える画素（白点欠陥画素）、または撮像装置への入射光量を所定のレベルとしたときに、所定の出力レベルに達しない画素（黒点欠陥画素）の位置データを不揮発性メモリに記憶しておいて、通常撮像時には、この不揮発性メモリに記憶されている位置データに基づいて欠陥画素を特定し、その欠陥画素の撮像出力に代えて、例えば１画素前の撮像出力を用いることにより、欠陥画素補正を行っていた。 Alternatively, on the side of the image pickup apparatus using the image pickup device, when the shutter of the image pickup apparatus is in a light-shielded state, a pixel (white point defect pixel) exceeding a predetermined output level or an incident light amount to the image pickup apparatus The position data of pixels that do not reach the predetermined output level (black spot defective pixels) are stored in the nonvolatile memory, and the defect is determined based on the position data stored in the nonvolatile memory during normal imaging. The defective pixel correction is performed by specifying the pixel and using, for example, the imaging output of the previous pixel instead of the imaging output of the defective pixel.

しかしながら、上述のような補正方法では欠陥画素周囲の画像パターンがどのような画像パターンになっているか考慮されていなかったため、例えば複数の欠陥画素内でエッジが交差するような画像パターン等の場合、正確な補正値が得られず、画像データの画質が劣化してしまうという問題があった。 However, in the correction method as described above, since the image pattern around the defective pixel is not considered, for example, in the case of an image pattern in which edges intersect within a plurality of defective pixels, There is a problem in that an accurate correction value cannot be obtained and the image quality of the image data is deteriorated.

こうした状況に対して、例えば特許文献１に記載の「画像補正装置及び画像補正方法」では、正常画素におけるエッジの存在を検知し、その存在するエッジの欠陥画素に対する影響を考慮し、エッジ上の欠陥画素を優先的に補正することにより画質劣化を防止している。 For such a situation, for example, the “image correction apparatus and image correction method” described in Patent Document 1 detects the presence of an edge in a normal pixel, considers the influence of the existing edge on a defective pixel, Image quality deterioration is prevented by preferentially correcting defective pixels.

特開平０９−２４７５４２号公報JP 09-247542 A

近年の撮像素子に求められる画素数が、以前の数十万画素程度から数百万画素に増大したこともあり、撮像素子の製造技術の進歩にも関わらず、撮像素子に現れる欠陥画素の発生確率は増加する傾向にある。特に、低コストが求められる民生機器に使用される撮像素子では、その製造歩留まりを上げるため、欠陥画素数を従来に比して桁違いに大きく許容せざるを得なくなってきている。 In recent years, the number of pixels required for image sensors has increased from the previous hundreds of thousands of pixels to millions of pixels, and in spite of advances in image sensor manufacturing technology, defective pixels appearing on image sensors Probability tends to increase. In particular, in an image sensor used for a consumer device that requires low cost, the number of defective pixels has to be allowed to be significantly larger than that in the past in order to increase the manufacturing yield.

したがって、特許文献１の「画像補正装置及び画像補正方法」のように、欠陥画素の位置情報と形状情報を予めＲＯＭに記憶されておくことは、困難になってきている。 Therefore, it is becoming difficult to store the position information and shape information of the defective pixel in the ROM in advance as in “Image correction apparatus and image correction method” of Patent Document 1.

本発明はこのような状況のもとでなされたものであり、予めすべての欠陥画素情報を記憶手段に記憶しておかなくても、エッジ方向に適した欠陥画素の検出及び補正を行うことができるようにすることを目的としている。 The present invention has been made under such circumstances, and detection and correction of defective pixels suitable for the edge direction can be performed without storing all defective pixel information in the storage means in advance. The purpose is to be able to.

本発明の欠陥画素補正装置は、複数色の色フィルタが画素単位で配置された撮像素子から得られる画像データを基に、エッジ方向を検出するエッジ方向検出手段と、前記エッジ方向検出手段によって検出されたエッジ方向に基づいて、前記撮像素子に含まれる欠陥画素を検出する検出手段と、前記検出手段で検出された前記欠陥画素の補正を行う補正処理手段とを有し、前記エッジ方向検出手段は、各画素において色キャリアを除去した信号を用いて前記エッジ方向を検出することを特徴としている。 The defective pixel correction device according to the present invention is based on image data obtained from an image sensor in which color filters of a plurality of colors are arranged in units of pixels, and detects the edge direction by means of the edge direction detection unit. A detection unit that detects a defective pixel included in the imaging device based on the edge direction that has been detected; and a correction processing unit that corrects the defective pixel detected by the detection unit, the edge direction detection unit Is characterized in that the edge direction is detected using a signal from which the color carrier is removed in each pixel.

本発明の欠陥画素補正処理方法は、複数色の色フィルタが画素単位で配置された撮像素子から得られる画像データにおける欠陥画素を補正する欠陥画素補正処理方法であって、前記撮像素子から得られる画像データを基に、エッジ方向を検出するエッジ方向検出工程と、前記エッジ方向検出工程によって検出されたエッジ方向に基づいて、前記撮像素子に含まれる欠陥画素を検出する検出工程と、前記検出工程で検出された前記欠陥画素の補正を行う補正処理工程とを有し、前記エッジ方向検出工程においては、各画素において色キャリアを除去した信号を用いて前記エッジ方向を検出することを特徴としている。 The defective pixel correction processing method of the present invention is a defective pixel correction processing method for correcting defective pixels in image data obtained from an image sensor in which color filters of a plurality of colors are arranged in units of pixels, and is obtained from the image sensor. An edge direction detection step for detecting an edge direction based on image data, a detection step for detecting a defective pixel included in the image sensor based on the edge direction detected by the edge direction detection step, and the detection step A correction processing step for correcting the defective pixel detected in step (b), wherein the edge direction is detected using a signal from which a color carrier has been removed in each pixel. .

本発明のコンピュータプログラムは、前記欠陥画素補正処理方法の各工程をコンピュータに実行させることを特徴としている。 The computer program of the present invention is characterized by causing a computer to execute each step of the defective pixel correction processing method.

本発明の記録媒体は、前記コンピュータプログラムを記録したことを特徴としている。 The recording medium of the present invention is characterized by recording the computer program.

本発明によれば、信頼性の高いエッジ方向を得ることが可能となり、複数の画素を備えた撮像素子において、欠陥画素の検出及び補正処理を高精度に行うことができる。 According to the present invention, it is possible to obtain a highly reliable edge direction, and it is possible to detect and correct a defective pixel with high accuracy in an imaging device including a plurality of pixels.

以下、図面を参照しながら本発明の好適な実施の形態を説明する。
（第１の実施の形態）
図１は、本発明を原色ベイヤー配列の単板撮像素子に対して適用した欠陥画素補正装置の第１の実施の形態を示し、概略構成を示すブロック図である。
図１において、１１は図示しない撮像素子から出力される画像信号入力端子であり、１２は入力される画像信号を色フィルタの各成分に分離するＲＧＢ分離処理手段１２である。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram showing a schematic configuration of a first embodiment of a defective pixel correction apparatus in which the present invention is applied to a single-plate image sensor having a primary color Bayer arrangement.
In FIG. 1, 11 is an image signal input terminal that is output from an image sensor (not shown), and 12 is an RGB separation processing means 12 that separates an input image signal into each component of a color filter.

１３は、Ｇ（緑色）フィルタが配置された画素位置の欠陥画素を検出・補正するのに必要なエッジ方向信号を生成するためのＧ用エッジ方向検出処理手段であり、１４はＲ（赤色）またはＢ（青色）のフィルタが配置された画素位置の欠陥画素を検出・補正するのに必要なエッジ方向信号を生成するためのＲ／Ｂ用エッジ方向検出処理手段である。 Reference numeral 13 denotes G edge direction detection processing means for generating an edge direction signal necessary for detecting and correcting a defective pixel at a pixel position where a G (green) filter is arranged, and 14 is R (red). Alternatively, it is R / B edge direction detection processing means for generating an edge direction signal necessary for detecting and correcting a defective pixel at a pixel position where a B (blue) filter is arranged.

１５は、欠陥画素検出・補正処理の対象となる画素に配置された色フィルタの色によって、Ｇ用またはＲ／Ｂ用のエッジ方向信号を切り替える選択手段である。
１６、１７、１８は、それぞれ、選択手段１５から出力されるエッジ方向信号によって制御されるエッジ方向適応欠陥画素検出・補正処理手段であり、エッジ方向適応欠陥画素検出・補正処理手段１６では、ＲＧＢ分離処理手段１２から出力されるＧ画像に対して、欠陥画素の検出と補正を行って、欠陥画素補正済みのＧ画像信号を出力する。 Reference numeral 15 denotes selection means for switching the edge direction signal for G or R / B depending on the color of the color filter arranged in the pixel to be subjected to the defective pixel detection / correction process.
Reference numerals 16, 17 and 18 denote edge direction adaptive defective pixel detection / correction processing means controlled by the edge direction signal output from the selection means 15, respectively. A defective pixel is detected and corrected with respect to the G image output from the separation processing unit 12, and a defective G pixel signal having been corrected is output.

エッジ方向適応欠陥画素検出・補正処理手段１７では、ＲＧＢ分離処理手段１２から出力されるＲ画像に対して、欠陥画素の検出と補正を行って、欠陥画素補正済みのＲ画像信号を出力する。また、エッジ方向適応欠陥画素検出・補正処理手段１８では、ＲＧＢ分離処理手段１２から出力されるＢ画像に対して、欠陥画素の検出と補正を行って、欠陥画素補正済みのＢ画像信号を出力する。 The edge direction adaptive defective pixel detection / correction processing unit 17 detects and corrects defective pixels with respect to the R image output from the RGB separation processing unit 12 and outputs an R image signal after defective pixel correction. Further, the edge direction adaptive defective pixel detection / correction processing means 18 detects and corrects defective pixels for the B image output from the RGB separation processing means 12, and outputs a defective pixel corrected B image signal. To do.

着目画素位置情報入力端子１９には、欠陥画素検出及び補正の対象となる着目画素の画像上での位置情報が入力され、これによって、着目画素に配置されている色フィルタの色が一意に決まり、ＲＧＢ色分離処理手段１２の出力、及びエッジ方向信号選択手段１５の出力が切り替わる。 The target pixel position information input terminal 19 receives position information on the image of the target pixel to be detected and corrected in the defective pixel, thereby uniquely determining the color of the color filter arranged in the target pixel. The output of the RGB color separation processing means 12 and the output of the edge direction signal selection means 15 are switched.

画像入力端子１１には、図示しないラインメモリを介して、図２に示すような色フィルタ配列の原色ベイヤー配列撮像素子から、Ｒ及びＧのフィルタがＲＧＲＧ・・・という順で配置された画素のラインと、Ｇ及びＢのフィルタがＧＢＧＢ・・・・という順で配置された画素のラインが交互に入力される。そこで、色フィルタ毎に欠陥画素検出・補正を行うにあたり、ＲＧＢ分離処理手段１２によって、色フィルタ毎の画像信号をあらかじめ抽出しておく。 The image input terminal 11 has a pixel memory in which R and G filters are arranged in the order of RGRG... From a primary color Bayer array image sensor having a color filter array as shown in FIG. A line and a line of pixels in which G and B filters are arranged in the order of GBGB... Are alternately input. Therefore, when performing defective pixel detection / correction for each color filter, the RGB separation processing means 12 extracts an image signal for each color filter in advance.

例えば、ＲＧＢ色分離処理手段１２でＧ画像を出力する場合には、入力信号に対して、ＲまたはＢのフィルタが配置された画素の値を０にし、Ｇのフィルタが配置された画素の値のみを出力する。同様に、Ｒ画像、Ｂ画像を出力する場合には、出力する色以外の色フィルタが配置された画素の値を０にして出力するようにしている。 For example, when the G color image is output by the RGB color separation processing unit 12, the value of the pixel in which the R or B filter is arranged is set to 0 with respect to the input signal, and the value of the pixel in which the G filter is arranged Only output. Similarly, when outputting an R image and a B image, the value of a pixel in which a color filter other than the color to be output is arranged is set to 0 and output.

ＲＧＢ分離処理手段１２から出力される欠陥画素補正前のＲ画像、Ｇ画像、Ｂ画像は、それぞれ、エッジ方向適応欠陥画素検出・補正処理手段１６〜１８に入力される。また、欠陥画素補正前のＧ画像は、原色ベイヤー配列撮像素子において、エッジ方向検出に適した信号として、Ｇ用エッジ方向検出処理手段１３、Ｒ／Ｂ用エッジ方向検出処理手段１４にも入力され、ＲＧＢ全ての色フィルタについて、欠陥画素の検出及び補正処理を制御するためのエッジ方向信号をそれぞれ生成する。 The R image, the G image, and the B image before the defective pixel correction output from the RGB separation processing unit 12 are respectively input to the edge direction adaptive defective pixel detection / correction processing units 16 to 18. Further, the G image before the defective pixel correction is also input to the G edge direction detection processing unit 13 and the R / B edge direction detection processing unit 14 as a signal suitable for edge direction detection in the primary color Bayer array imaging device. Edge direction signals are generated for controlling defective pixel detection and correction processing for all RGB color filters.

ここで、原色ベイヤー配列において、Ｇ信号がエッジ方向検出に最適な理由について説明する。
エッジは画像において、隣接する数画素単位で輝度のレベルが大きく変化する部分である。したがって、このような細かい周期での輝度レベルの変化、すなわち、画像の高域成分を検出できるサンプリング構造であることが必要となる。 Here, the reason why the G signal is optimal for edge direction detection in the primary color Bayer arrangement will be described.
An edge is a portion in the image where the luminance level changes greatly in units of several adjacent pixels. Therefore, it is necessary to have a sampling structure that can detect a change in luminance level in such a fine cycle, that is, a high frequency component of an image.

この点において、原色ベイヤー配列では、図２に示すように、視覚の感度が高いＧの色フィルタを市松模様状に配置しており、図２において、Ｇフィルタが配置された画素の垂直、水平方向のサンプリング間隔Tgは、Ｒ及びＢの色フィルタが配置された画素の垂直、水平方向のサンプリング間隔Ｔrbの1/2になる。したがって、画像の高周波成分を抽出できるのはＧ信号であるといえる。 In this respect, in the primary color Bayer arrangement, as shown in FIG. 2, G color filters having high visual sensitivity are arranged in a checkered pattern, and in FIG. 2, the vertical and horizontal of the pixels on which the G filters are arranged are arranged. The sampling interval Tg in the direction is ½ of the sampling interval Trb in the vertical and horizontal directions of the pixels where the R and B color filters are arranged. Therefore, it can be said that the G signal can extract the high-frequency component of the image.

また、各画素位置において、輝度信号を生成する際には、各画素位置における欠陥画素補正後のＲＧＢの画素値を所定の比率で加重平均するが、この比率も、ＧがＲＧＢの中で最大であり、輝度において支配的な信号といえる。 In addition, when generating a luminance signal at each pixel position, the RGB pixel values after correction of defective pixels at each pixel position are weighted and averaged at a predetermined ratio. It can be said that it is a dominant signal in luminance.

以上のように、原色ベイヤー配列において、高周波成分を保持できるサンプリング構造であり、かつ、輝度の組成比に占める割合が他の２色よりも大きいため、Ｇ信号はエッジ抽出及びエッジ方向の検出に適しているといえる。 As described above, the primary color Bayer array has a sampling structure capable of holding high-frequency components and has a larger proportion of the luminance composition ratio than the other two colors, so that the G signal is used for edge extraction and edge direction detection. It can be said that it is suitable.

また、画像信号では、局所領域における明るさの変化は連続であり、色フィルタが切り替わっても、エッジの方向は大きく変わらないので、Ｒ及びＢのフィルタが配置された画素位置における欠陥画素の検出・補正処理でも、Ｇ信号から生成したエッジ方向信号を用いることは妥当と言える。 Further, in the image signal, the brightness change in the local region is continuous, and even if the color filter is switched, the edge direction does not change greatly. Therefore, the defective pixel is detected at the pixel position where the R and B filters are arranged. It can be said that it is appropriate to use the edge direction signal generated from the G signal even in the correction processing.

次に、エッジ方向の検出処理について説明する。
原色ベイヤー配列の撮像素子の場合、欠陥画素検出・補正の対象となる着目画素に配置された色フィルタの色によって、着目画素に隣接するＧ画素の配置が異なるので、それに伴い、エッジ信号の方向を検出するための演算処理も異なる。 Next, edge direction detection processing will be described.
In the case of an image sensor with a primary color Bayer array, the arrangement of G pixels adjacent to the pixel of interest differs depending on the color of the color filter arranged in the pixel of interest that is the target of defective pixel detection / correction, and accordingly, the direction of the edge signal The calculation processing for detecting is also different.

まず、Ｇフィルタが配置された着目画素におけるエッジ方向検出処理について説明する。
図３は、着目画素にＧフィルタが配置されている場合の、エッジ方向検出処理領域におけるＧ画素の分布を示す図である。 First, the edge direction detection process in the target pixel in which the G filter is arranged will be described.
FIG. 3 is a diagram illustrating a distribution of G pixels in the edge direction detection processing region when a G filter is arranged in the target pixel.

図３において、欠陥画素検出、補正の対象となる着目画素は、Ｇ₃₃である。前記着目画素Ｇ₃₃の位置におけるエッジの方向を判定するために、図３のエッジ方向検出領域に含まれるＧの画素を用いて、垂直、水平、斜め45°、斜め135°の各方向について、着目画素と周辺画素との相関を検出する。例えば、垂直方向の相関値Ｖdiff＿Gを求める場合には、Ｇ₁₃，Ｇ₃₃、Ｇ₅₃の画素を用いて、式（１）で表される演算を行う。 3, the defective pixel detection, the target pixel to be corrected is G _33. In order to determine the direction of the edge at the position of the target pixel G _33, the G pixels included in the edge direction detection region of FIG. 3 are used, and the vertical, horizontal, diagonal 45 °, and diagonal 135 ° directions are as follows: The correlation between the pixel of interest and the surrounding pixels is detected. For example, when obtaining the correlation value Vdiff_G in the vertical direction, the calculation represented by the expression (1) is performed using pixels G ₁₃ , G ₃₃ , and G ₅₃ .

Ｖdiff＿G= |G₁₃+ G₅₃ - 2*G₃₃| ・・・（１）
同様に、水平方向の相関値Ｈdiff＿Gを求める場合には、Ｇ₃₁，Ｇ₃₃、Ｇ₃₅の画素を用いて、式（２）で表される演算を行う。
Ｈdiff＿G = |G₃₁+ G₃₅ - 2*G₃₃| ・・・（２）
また、斜め45°方向の相関値D1diff＿Gを求める場合には、Ｇ₁₅，Ｇ₂₄、Ｇ₃₃、G₄₂、G₅₁の画素を用いて、式（３）で表される演算を行う。
D1diff＿G= |G₁₅+ G₅₁ - 2*G₃₃| + |G₂₄ - G₄₂| ・・・（３）
同様に、斜め135°方向の相関値D2diff＿Gを求める場合には、Ｇ₁₁，Ｇ₂₂、Ｇ₃₃、G₄₄、G₅₅の画素を用いて、式（４）で表される演算を行う。
D2diff＿G= |G₁₁+ G₅₅ - 2*G₃₃| + |G₂₂ - G₄₄| ・・・（４） _{_{Vdiff_G = | G 13 + G 53}} - 2 * G 33 | ··· (1)
Similarly, when obtaining the correlation value Hdiff_G in the horizontal direction, the calculation represented by Expression (2) is performed using the pixels G ₃₁ , G ₃₃ , and G ₃₅ .
_{_{Hdiff_G = | G 31 + G 35}} - 2 * G 33 | ··· (2)
Further, when obtaining the correlation value D1diff_G in the oblique 45 ° direction, the calculation represented by Expression (3) is performed using the pixels G ₁₅ , G ₂₄ , G ₃₃ , G ₄₂ , and G ₅₁ .
_{_{D1diff_G = | G 15 + G 51}} - 2 * G 33 | + | G 24 - G 42 | ··· (3)
Similarly, when obtaining the correlation value D2diff_G in the oblique 135 ° direction, the calculation represented by Expression (4) is performed using the pixels G ₁₁ , G ₂₂ , G ₃₃ , G ₄₄ , and G ₅₅ .
_{_{D2diff_G = | G 11 + G 55}} - 2 * G 33 | + | G 22 - G 44 | ··· (4)

ここで、Ｖdiff＿GとＨdiff＿Gの割合から、着目画素におけるエッジの方向を推測することができる。例えば、
i) Ｖdiff＿G＞Ｈdiff＿Gのとき
Eg＝1−Ｈdiff＿G／Ｖdiff＿G ・・・（５）
ii) Ｈdiff＿G＞Ｖdiff＿Gのとき
Eg＝−（１−Ｖdiff＿G／Ｈdiff＿G）・・・（６）
として、Ｖdiff＿GとＨdiff＿Gの割合を用いて、第一象現での角度の変化を示すエッジ方向信号Egを算出する。 Here, the direction of the edge of the pixel of interest can be estimated from the ratio of Vdiff_G and Hdiff_G. For example,
i) When Vdiff_G> Hdiff_G
Eg = 1−Hdiff_G / Vdiff_G (5)
ii) When Hdiff_G> Vdiff_G
Eg =-(1-Vdiff_G / Hdiff_G) (6)
As described above, an edge direction signal Eg indicating a change in angle in the first quadrant is calculated using the ratio of Vdiff_G and Hdiff_G.

図４に示すように、Egを閾値制御すると以下のようになり、エッジの方向を検出できる。
Eg=1のとき・・・完全水平方向（0°）
１＞Eg＞０のとき・・・０°〜45°の任意の方向
−１＜Eg<0のとき・・・45°〜90°の任意の方向
Eg=−１のとき・・・完全垂直方向（90°）
Eg=0のとき・・・斜め45°方向 As shown in FIG. 4, when Eg is threshold-controlled, it becomes as follows, and the direction of the edge can be detected.
When Eg = 1: Complete horizontal direction (0 °)
When 1>Eg> 0: Arbitrary direction from 0 ° to 45 ° -1 <Eg <0: Arbitrary direction from 45 ° to 90 °
When Eg = -1 ... Complete vertical direction (90 °)
When Eg = 0 ... slant 45 °

ただし、水平方向とエッジ方向のなす角をθとしたときにθのとりうる範囲は0°から180°までであるので、第一象現、第二象現のどちらに属する角度なのかを判定する必要が生じる。そこで、斜め45°方向と斜め135°方向の相関値、D1diff＿GとD2diff＿Gの大小を比較し、D1diff＿Gが大きい場合には、第一象現であると判定して象現判定フラグfgに1を設定し、D２diff＿Gが大きい場合には、第二象であると判定してfg＝2を設定する。また、D1diff＿G= D２diff＿Gのときはfg＝0とする。また、Eg=0で、かつ、D1diff＿GとD２diff＿Gの差が所定の値よりも小さい場合には、無相関であることを示す値（Eg=2）で、エッジ方向信号Egを再設定する。 However, when the angle between the horizontal direction and the edge direction is θ, the possible range of θ is from 0 ° to 180 °, so determine whether the angle belongs to the first quadrant or the second quadrant Need to do. Therefore, the correlation values in the 45 ° and 135 ° directions, and the magnitudes of D1diff_G and D2diff_G are compared. If D2diff_G is large, it is determined that the second elephant is the second elephant, and fg = 2 is set. Further, when D1diff_G = D2diff_G, fg = 0 is set. When Eg = 0 and the difference between D1diff_G and D2diff_G is smaller than a predetermined value, the edge direction signal Eg is reset with a value (Eg = 2) indicating that there is no correlation.

以上の手順により、Ｇフィルタが配置された着目画素におけるエッジ方向信号Eg、象現判定フラグｆｇが生成され、これらのパラメータEg、ｆｇとエッジの方向を示す角度θとの関係は図５のようになる。 Through the above procedure, the edge direction signal Eg and the quadrant determination flag fg are generated in the target pixel in which the G filter is arranged, and the relationship between these parameters Eg and fg and the angle θ indicating the edge direction is as shown in FIG. become.

次に、ＲまたはＢフィルタが配置された着目画素におけるエッジ方向信号の生成について説明する。
図６は、着目画素にＲフィルタが配置されている場合の、エッジ方向検出処理領域におけるＧ画素分布を示す図である。 Next, generation of the edge direction signal in the target pixel in which the R or B filter is arranged will be described.
FIG. 6 is a diagram illustrating a G pixel distribution in the edge direction detection processing region when an R filter is disposed in the target pixel.

図６において、欠陥画素検出、補正の対象となる着目画素は、×印で示される位置であり、Ｇの画素値が存在しない。したがって、着目画素の位置におけるエッジ方向を検出するために、まず、着目画素の上下に隣接するＧ画素、Ｇ₂₃、Ｇ₄₃を用いて、例えば、式（７）で表される演算を行い、着目画素における垂直方向の相関値Ｖdiff＿Rを求める。 In FIG. 6, the target pixel that is the target of defective pixel detection and correction is a position indicated by a cross, and there is no G pixel value. Therefore, in order to detect the edge direction at the position of the target pixel, first, using the G pixels G ₂₃ and G ₄₃ adjacent to the upper and lower sides of the target pixel, for example, the calculation represented by the equation (7) is performed, A correlation value Vdiff_R in the vertical direction at the pixel of interest is obtained.

Ｖdiff＿R = |G₂₃ − G₄₃| ・・・（７）
同様にして、着目画素の左右に隣接するＧ画素、Ｇ₃₂、Ｇ₃₄を用いて、例えば、式（８）で表される演算を行い、エッジの水平方向成分Ｈdiff＿Rを求める。
Ｈdiff＿R = |G₃₂ − G₃₄| ・・・（８） Vdiff_R = | G ₂₃ − G ₄₃ | (7)
Similarly, using the G pixels G ₃₂ and G ₃₄ adjacent to the left and right of the pixel of interest, for example, the calculation represented by Equation (8) is performed to obtain the horizontal component Hdiff_R of the edge.
Hdiff_R = | G ₃₂ − G ₃₄ | (8)

Ｇ用のエッジ方向信号検出の場合と同様に、Ｖdiff＿RとＨdiff＿Rの割合から、第一象現での角度の変化を示すエッジ方向信号Eｒを算出し、エッジの方向を推定する。エッジ方向信号Eｒと、エッジの方向を示す角度θとの関係は、図１０のようになる。 As in the case of detecting the edge direction signal for G, an edge direction signal Er indicating a change in angle in the first quadrant is calculated from the ratio of Vdiff_R and Hdiff_R to estimate the edge direction. The relationship between the edge direction signal Er and the angle θ indicating the edge direction is as shown in FIG.

また、本実施の形態におけるR／B用のエッジ方向検出手段では、Ｇの場合のように、斜め45°方向と斜め135°方向の相関値を用いた象現判定を行わない。これは、原色ベイヤー配列におけるR及びBのサンプリング構造では、図７のように、斜め方向の画素間距離が広いため、象現判定に誤りがあった場合、斜め方向に関しては、欠陥画素検出・補正処理への悪影響が大きくなるからである。 Further, the edge direction detection means for R / B in the present embodiment does not perform the quadrant determination using the correlation values of the 45 ° oblique direction and the 135 ° oblique direction as in the case of G. This is because, in the R and B sampling structures in the primary color Bayer array, as shown in FIG. 7, the distance between the pixels in the oblique direction is large. This is because the adverse effect on the correction process is increased.

また、着目画素にＢフィルタが配置されている場合は、エッジ抽出領域内のＧ画素の分布が、図４と同様であるので、着目画素にＲフィルタが配置されている場合と同じ方法でエッジ方向信号Ｅｂを算出することができる。 Further, when the B filter is arranged in the target pixel, the distribution of the G pixels in the edge extraction region is the same as that in FIG. 4, so the edge is obtained in the same manner as when the R filter is arranged in the target pixel. The direction signal Eb can be calculated.

本実施の形態の欠陥画素補正処理方法によれば、着目画素にどの色フィルタが配置されているかは、着目画素の画像内での位置によって一意に決まるので、図１の着目画素位置情報入力端子１９から入力される着目画素の位置情報によって、選択手段１５では、Ｇ用エッジ方向検出処理手段１３とＲ／Ｂ用エッジ方向検出処理手段１４の出力信号のいずれかを選択し、次工程の欠陥画素検出・補正処理手段を制御するエッジ方向信号を出力する。 According to the defective pixel correction processing method of the present embodiment, which color filter is arranged in the target pixel is uniquely determined by the position of the target pixel in the image, so the target pixel position information input terminal in FIG. Based on the position information of the pixel of interest input from 19, the selection unit 15 selects one of the output signals of the G edge direction detection processing unit 13 and the R / B edge direction detection processing unit 14, and the defect in the next process An edge direction signal for controlling the pixel detection / correction processing means is output.

次に、欠陥画素検出・補正処理手段について説明する。
欠陥画素の検出・補正処理では、色フィルタの違いによる信号レベルの差を考慮し、着目画素と同色の色フィルタが配置された近接画素を用いて、それぞれの色ごとに行う。また、着目画素に配置された色フィルタがＧの場合と、ＲまたはＢの場合では、サンプリング構造の違いにより、欠陥画素検出・補正のために参照できる画素の配置及び画素数が異なるので、欠陥画素検出・補正処理の方法も変わる。 Next, the defective pixel detection / correction processing means will be described.
The defective pixel detection / correction processing is performed for each color using a neighboring pixel in which a color filter of the same color as the pixel of interest is arranged in consideration of a difference in signal level due to a difference in color filter. In addition, in the case where the color filter arranged in the target pixel is G and in the case of R or B, the arrangement and the number of pixels that can be referred to for defective pixel detection / correction differ depending on the sampling structure. The method of pixel detection / correction processing also changes.

図８は、着目画素の色フィルタがＧである場合の、Ｇ用エッジ方向適応欠陥画素検出・補正処理手段の構成例である。以下、図８と図３を参照しながら、Ｇ用エッジ方向適応欠陥画素検出・補正処理を説明する。 FIG. 8 is a configuration example of the G edge direction adaptive defective pixel detection / correction processing means when the color filter of the pixel of interest is G. Hereinafter, the G edge direction adaptive defective pixel detection / correction processing will be described with reference to FIGS. 8 and 3.

図８において、８１は垂直方向欠陥画素検出手段、８２は水平方向欠陥画素検出手段、８３は斜め４５度方向欠陥画素検出手段、８４は斜め135度方向欠陥画素検出手段、８５は無方向欠陥画素検出手段、８６は選択手段、８７は比較手段である。 In FIG. 8, 81 is a vertical direction defective pixel detection means, 82 is a horizontal direction defective pixel detection means, 83 is an oblique 45 degree direction defective pixel detection means, 84 is an oblique 135 degree direction defective pixel detection means, and 85 is a non-direction defective pixel. Detection means, 86 is selection means, and 87 is comparison means.

Ｇ信号入力端子からは、ＲＧＢ色分離処理によって、ＲとＢの画素の値が０で置き換えられ、Ｇの画素値のみを持つ、図３に示すような局所領域の画像信号が入力される。この図３において、Ｇ₃₃が、欠陥画素検出・補正の対象となる着目画素である。 From the G signal input terminal, an image signal of a local area as shown in FIG. 3 is input, in which the R and B pixel values are replaced with 0 and only the G pixel value is obtained by RGB color separation processing. In FIG. 3, G ₃₃ is a pixel of interest that is a target of defective pixel detection / correction.

垂直方向欠陥画素検出手段８１では、着目画素Ｇ₃₃に対して、垂直方向に隣接する２画素Ｇ₁₃、Ｇ₅₃の平均値Ｇｖ=(G₁₃+G₅₃)/2を算出する。
水平方向欠陥画素検出手段８２では、着目画素Ｇ₃₃に対して、水平方向に隣接する２画素Ｇ₃₁、Ｇ₃₅の平均値Ｇｈ=(Ｇ₃₁+Ｇ₃₅)/2を算出する。 The vertical defective pixel detecting means 81 calculates an average value Gv = (G ₁₃ + G ₅₃ ) / 2 of two pixels G ₁₃ and G ₅₃ adjacent in the vertical direction with respect to the target pixel G ₃₃ .
The horizontal defective pixel detection means 82 calculates an average value Gh = (G ₃₁ + G ₃₅ ) / 2 of two pixels G ₃₁ and G ₃₅ adjacent in the horizontal direction with respect to the target pixel G ₃₃ .

斜め45度方向欠陥画素検出手段８３では、着目画素Ｇ₃₃に対して、水平方向を基準として斜め45度方向のライン上に隣接する２画素Ｇ₂₄、Ｇ₄₂の平均値Ｇd1=(Ｇ₂₄+Ｇ₄₂)/2を算出する。 In the oblique 45 degree direction defective pixel detecting means 83, the average value Gd1 = (G ₂₄ +) of the two pixels G ₂₄ and G ₄₂ adjacent to the target pixel G ₃₃ on the line in the oblique 45 degree direction with reference to the horizontal direction. _G42 ) / 2 is calculated.

斜め135度方向欠陥画素検出手段８４では、着目画素Ｇ₃₃に対して、水平方向を基準として斜め135°方向のライン上に隣接する２画素Ｇ₂₂、Ｇ₄₄の平均値Ｇd2=(Ｇ₂₂+Ｇ₄₄)/2を算出する。 In the oblique direction of 135 degrees defective pixel detection unit 84, with respect to the target pixel G _33, the average value of two pixels G _22, G ₄₄ adjacent in the oblique 135 ° direction on a line in the horizontal direction with reference Gd2 = (G ₂₂ + _G44 ) / 2 is calculated.

無方向欠陥画素検出手段８５では、着目画素Ｇ₃₃に対して、垂直、水平、斜め方向に隣接する８画素Ｇ₁₃、Ｇ₅₃、Ｇ₃₁、Ｇ₃₅、Ｇ₂₂、Ｇ₂₄、Ｇ₄₂、Ｇ₄₄の平均値Ｇａ=(Ｇ₁₃+Ｇ₅₃＋Ｇ₃₁＋Ｇ₃₅＋Ｇ₂₂＋Ｇ₂₄＋Ｇ₄₂＋Ｇ₄₄)/８を算出する。 In the non-directional defective pixel detection means 85, eight pixels G ₁₃ , G ₅₃ , G ₃₁ , G ₃₅ , G ₂₂ , G ₂₄ , G ₄₂ , G adjacent to the target pixel G ₃₃ in the vertical, horizontal, and diagonal directions. It calculates an average value _{_{Ga = (G 13 + G 53}} + G 31 + G 35 + G 22 + G 24 + G 42 + G 44) / 8 _44.

選択手段８６には、Ｇ用エッジ方向検出手段の出力信号Ｅｇ、ｆｇが入力される。ここで、Ｇ用エッジ方向信号Ｅｇには、「−１〜＋１」までの範囲の小数の値、または無相関を示す値2が設定されており、ｆｇには、0,1,2のいずれかの値が設定されている。 The selection means 86 receives the output signals Eg and fg of the G edge direction detection means. Here, the G edge direction signal Eg is set to a decimal value in the range of “−1 to +1” or a value 2 indicating non-correlation, and fg is any of 0, 1, 2 Is set.

選択手段８６では、入力されるＧ用エッジ信号Ｅｇの値に応じて、垂直方向欠陥画素検出手段８１から無方向欠陥画素検出手段８５までの欠陥画素検出手段の出力のうち、１つないし２つを選択する。例えば、Ｅｇ=１の場合、エッジ方向は0°、すなわち完全水平方向なので、水平方向欠陥画素検出手段８２の出力を選択する。 In the selection means 86, one or two of the outputs of the defective pixel detection means from the vertical direction defective pixel detection means 81 to the non-direction defective pixel detection means 85 according to the value of the input G edge signal Eg. Select. For example, when Eg = 1, the edge direction is 0 °, that is, the complete horizontal direction, so the output of the horizontal defective pixel detecting means 82 is selected.

また、Ｅｇ＝0.3で、かつfg=2の場合には、エッジ方向は垂直方向と、斜め135°方向の間の角度であるので、垂直方向欠陥画素検出手段８１と斜め135°方向欠陥画素検出手段８４の２種類の出力信号を選択する。また、Ｅｇ＝２の場合には、着目画素と周辺画素との相関がなく、エッジ方向なしと判定されるので、無方向欠陥画素検出手段８５の出力を選択する。 Further, when Eg = 0.3 and fg = 2, the edge direction is an angle between the vertical direction and the oblique 135 ° direction, so the vertical defective pixel detection means 81 and the oblique 135 ° direction defective pixel detection Two kinds of output signals of the means 84 are selected. If Eg = 2, there is no correlation between the pixel of interest and the surrounding pixels, and it is determined that there is no edge direction, so the output of the non-directional defective pixel detection means 85 is selected.

ここで、２種類の欠陥画素検出手段の出力が選択された場合には、エッジ方向信号Ｅｇをパラメータとして、２種類の欠陥画素検出手段の出力信号を加重平均して出力し、１種類の欠陥画素検出手段の出力が選択された場合には、欠陥画素検出手段の出力をそのまま出力する。例えば、Ｅｇ＝0.3、ｆｇ＝２の場合には、式（９）のようになる。
Ｇdet= Gv*Eg + (1-Eg)*Gd2 ・・・（９） Here, when the outputs of the two types of defective pixel detection means are selected, the edge direction signal Eg is used as a parameter to output the weighted average of the output signals of the two types of defective pixel detection means. When the output of the pixel detection means is selected, the output of the defective pixel detection means is output as it is. For example, when Eg = 0.3 and fg = 2, the equation (9) is obtained.
Gdet = Gv * Eg + (1-Eg) * Gd2 (9)

比較手段８７には、選択手段８６から出力される欠陥画素検出信号Ｇdetと、着目画素Ｇ₃₃の値が入力され、両者の差分の絶対値｜Ｇdet−Ｇ₃₃｜が、第１の閾値Ｔｈ１よりも大きい場合には、白点欠陥画素であると判定し、第２の閾値Ｔｈ２よりも小さい場合には、黒点欠陥画素であると判定し、いずれも、Ｇdetの値で着目画素Ｇ₃₃の値を置き換えることにより、欠陥画素を補正する。 The comparison means 87, the defective pixel detection signal Gdet output from the selection means 86, is inputted value of the target pixel G _33, the absolute value of the difference between them | Gdet-G ₃₃ | is than the first threshold value Th1 If also large, it is determined that the white point defective pixel, when the second is smaller than the threshold value Th2, it is determined that the black spot defect pixel, either the value of the target pixel G ₃₃ with a value of Gdet The defective pixel is corrected by replacing.

一方、｜Ｇdet−Ｇ₃₃｜が、第１の閾値Ｔｈ１よりも小さく、かつ第２の閾値Ｔｈ２よりも大きい場合には、着目画素は欠陥画素でないとみなし、Ｇ₃₃の値をそのまま出力する。 On the other hand, when | Gdet−G ₃₃ | is smaller than the first threshold Th1 and larger than the second threshold Th2, the pixel of interest is regarded as not a defective pixel, and the value of G ₃₃ is output as it is.

以上の動作により、着目画素にＧ色の色フィルタが配置されている場合の欠陥画素の検出・及び補正処理を行うことができる。 With the above operation, it is possible to detect and correct a defective pixel when a G color filter is arranged in the pixel of interest.

次に、着目画素の色フィルタがＲまたはＢである場合の欠陥画素検出・補正について、図９及び図７を参照しながら、Ｒの場合を例に説明する。
図９は、着目画素の色フィルタがＲである場合の、Ｒ用エッジ方向適応欠陥画素検出・補正処理手段の構成例である。 Next, defective pixel detection / correction when the color filter of the pixel of interest is R or B will be described with reference to FIGS. 9 and 7 by taking the case of R as an example.
FIG. 9 is a configuration example of the R edge direction adaptive defective pixel detection / correction processing means when the color filter of the pixel of interest is R.

図９において、９１は垂直方向欠陥画素検出手段、９２は水平方向欠陥画素検出手段、９３は無方向欠陥画素検出手段、９４は選択手段、９５は比較手段である。
Ｒ信号入力端子からは、ＲＧＢ色分離処理によって、ＧとＢの画素の値が０で置き換えられ、Ｒの画素値のみを持つ、図７に示すような局所領域の画像信号が入力される。この図７において、Ｒ₃₃が、欠陥画素検出・補正の対象となる着目画素である。 In FIG. 9, 91 is a vertical direction defective pixel detection means, 92 is a horizontal direction defective pixel detection means, 93 is a non-direction defective pixel detection means, 94 is a selection means, and 95 is a comparison means.
From the R signal input terminal, an image signal in a local region as shown in FIG. 7 is input, in which the values of the G and B pixels are replaced with 0 by RGB color separation processing and have only the R pixel value. In FIG. 7, R ₃₃ is a pixel of interest that is a target of defective pixel detection / correction.

垂直方向欠陥画素検出手段９１では、着目画素Ｒ₃₃に対して、垂直方向に隣接する画素Ｒ₁₃、Ｒ₅₃の平均値Ｒｖ=(Ｒ₁₃+Ｒ₅₃)/2を算出する。
水平方向欠陥画素検出手段９２では、着目画素Ｒ₃₃に対して、水平方向に隣接する画素Ｒ₃₁、Ｒ₃₅の平均値Ｒｈ=(Ｒ₃₁+Ｒ₃₅)/2を算出する。
無方向欠陥画素検出手段９３では、着目画素Ｒ₃₃に対して、垂直、水平、斜め方向に隣接する８画素Ｒ₁₁、Ｒ₁₃、Ｒ₁₅、Ｒ₃₁、Ｒ₃₅、Ｒ₅₁、Ｒ₅₃、Ｒ₅₅の平均値Ｇａ=(Ｒ₁₁+Ｒ₁₃＋Ｒ₁₅＋Ｒ₃₁＋Ｒ₃₅＋Ｒ₅₁＋Ｒ₅₃＋Ｒ₅₅)/８を算出する。 In vertical defective pixel detection unit 91 calculates relative target pixel R _33, an average value _{_{Rv = (R 13 + R 53}} ) / 2 pixel R _13, R ₅₃ which are adjacent in the vertical direction.
The horizontal defective pixel detecting means 92 calculates an average value Rh = (R ₃₁ + R ₃₅ ) / 2 of pixels R ₃₁ and R ₃₅ adjacent in the horizontal direction with respect to the pixel of interest R ₃₃ .
In the non-directional defective pixel detecting means 93, eight pixels R ₁₁ , R ₁₃ , R ₁₅ , R ₃₁ , R ₃₅ , R ₅₁ , R ₅₃ , R adjacent to the target pixel R ₃₃ in the vertical, horizontal, and diagonal directions. The average value of ₅₅ Ga = (R ₁₁ + R ₁₃ + R ₁₅ + R ₃₁ + R ₃₅ + R ₅₁ + R ₅₃ + R ₅₅ ) / 8 is calculated.

選択手段９４には、Ｒ用エッジ方向検出手段の出力信号Ｅｒが入力される。Ｒ用エッジ方向信号Ｅｒには、「−１〜＋１」までの範囲の小数の値が設定されている。選択手段９４では、入力されるＲ用エッジ信号Ｅｒの値に応じて、垂直方向欠陥画素検出手段９１〜無方向欠陥画素検出手段９３までの欠陥画素検出手段の出力のうち、１つないし２つを選択する。 The selection means 94 receives the output signal Er from the R edge direction detection means. The R edge direction signal Er is set with a decimal value in the range of “−1 to +1”. In the selection means 94, one or two of the outputs of the defective pixel detection means from the vertical direction defective pixel detection means 91 to the non-direction defective pixel detection means 93 according to the value of the input R edge signal Er. Select.

例えば、Ｅｒ=１の場合、エッジ方向は0°すなわち完全水平方向なので、水平方向欠陥画素検出手段９２の出力を選択し、Ｅｒ=−1の場合はエッジ方向は90°、すなわち完全垂直方向なので、水平方向欠陥画素検出手段９１の出力を選択する。 For example, when Er = 1, the edge direction is 0 °, ie, the complete horizontal direction, so the output of the horizontal defective pixel detection means 92 is selected. When Er = −1, the edge direction is 90 °, ie, the complete vertical direction. The output of the horizontal direction defective pixel detection means 91 is selected.

また、本実施の形態では、RまたはB用のエッジ方向適応欠陥画素検出・補正処理手段では、Ｅｒ=0のときに、エッジの方向が、斜め45°方向であるか、斜め135°方向であるかを区別しない。 Further, in this embodiment, in the edge direction adaptive defective pixel detection / correction processing means for R or B, when Er = 0, the edge direction is an oblique 45 ° direction or an oblique 135 ° direction. There is no distinction.

これは、原色ベイヤー配列の場合、Ｒ及びＢのフィルタの配置された画素は、斜め方向の画素間隔が広く、画素間の相関が低いことを考慮し、エッジ方向が斜め４５度または斜め135度である場合には、いずれも、着目画素周辺の８画素分の平均値を出力する無方向欠陥画素検出手段８５の出力を選択する方が妥当と考えられるからである。 This is because, in the case of the primary color Bayer array, the pixels in which the R and B filters are arranged have a wide pixel interval in the diagonal direction and a low correlation between the pixels, and the edge direction is 45 degrees diagonal or 135 degrees diagonal. This is because it is considered appropriate to select the output of the non-directional defective pixel detection means 85 that outputs the average value of eight pixels around the target pixel.

また、1>Ｅｒ>0、または-1<Er < 0である場合には、垂直方向欠陥画素検出手段９１と水平方向欠陥画素検出手段９２の２種類の出力信号を選択し、エッジ方向信号Ｅｒをパラメータとして、２種類の欠陥画素検出手段９１，９２の出力信号を加重平均して出力する。 When 1> Er> 0 or -1 <Er <0, two types of output signals of the vertical direction defective pixel detection unit 91 and the horizontal direction defective pixel detection unit 92 are selected, and the edge direction signal Er is selected. Is used as a parameter, and the output signals of the two types of defective pixel detection means 91 and 92 are weighted averaged and output.

比較手段９５には、選択手段９４から出力される欠陥画素検出信号Ｒdetと、着目画素Ｒ₃₃の値が入力され、両者の差分値の絶対値｜Ｒdet−Ｒ₃₃｜が、第１の閾値Ｔｈ１よりも大きい場合には、白点欠陥画素であると判定し、第２の閾値Ｔｈ２よりも小さい場合には、黒点欠陥画素であると判定し、いずれも、Ｒdetの値で着目画素Ｒ₃₃の値を置き換えることにより、欠陥画素を補正する。 The comparison means 95, the defective pixel detection signal Rdet output from the selection unit 94 is input the value of the target pixel R _33, the absolute value of both the difference value | Rdet-R ₃₃ | is the first threshold value Th1 If more greater, it is determined that the white point defective pixel, when the second is smaller than the threshold value Th2, it is determined that the black spot defect pixel, both, of the target pixel R ₃₃ with the value of Rdet The defective pixel is corrected by replacing the value.

一方、｜Ｒdet−Ｒ₃₃｜が、第１の閾値Ｔｈ１よりも小さく、かつ第２の閾値Ｔｈ２よりも大きい場合には、着目画素は欠陥画素でないとみなし、着目画素Ｒ₃₃の値をそのまま出力する。 On the other hand, when | Rdet−R ₃₃ | is smaller than the first threshold Th1 and larger than the second threshold Th2, the target pixel is regarded as not a defective pixel, and the value of the target pixel R ₃₃ is output as it is. To do.

以上の動作により、着目画素にＲ色の色フィルタが配置されている場合の欠陥画素の検出・及び補正処理を行うことができる。尚、着目画素にＢ色の色フィルタが配置されている場合も、同様の方法で欠陥画素の検出及び補正を行うことができるので、説明を割愛する。 With the above operation, it is possible to detect and correct a defective pixel when an R color filter is arranged on the target pixel. It should be noted that even when a B color filter is arranged in the pixel of interest, a defective pixel can be detected and corrected by the same method, and the description is omitted.

以上の動作を行うことにより、本実施の形態の欠陥画素補正装置においては、被写体のエッジ方向に沿った欠陥画素補正を、安定的にかつ良好に実行することができる。さらに、複数色の色フィルタが配列された撮像素子において、色フィルタの色によって、空間サンプリング構造が異なることによる色フィルタごとのばらつきを受けずにエッジの方向を判定できるようにした（一色の信号を使ってエッジ方向を検出している）ので、エッジ方向に適した欠陥画素の検出及び補正を行うことができる構成となっている。上記のような構成にすることにより、サンプリング構造の違いにより、色フィルタのうち、画像信号に含まれる高域成分を抽出できるものと、低域成分しか抽出できないものがある場合に、境界の抽出及び大小比較において、色フィルタごとにばらつきが生じるという問題を解決することができる。 By performing the above operation, the defective pixel correction apparatus according to the present embodiment can perform the defective pixel correction along the edge direction of the subject stably and satisfactorily. Furthermore, in an image pickup device in which a plurality of color filters are arranged, the edge direction can be determined without receiving variations among color filters due to different spatial sampling structures depending on the color of the color filter (one color signal). Therefore, it is possible to detect and correct defective pixels suitable for the edge direction. With the above configuration, boundary extraction is possible when there are color filters that can extract high-frequency components and only low-frequency components that can be extracted from image signals due to differences in sampling structure. In addition, in the size comparison, it is possible to solve the problem that variation occurs for each color filter.

（第２の実施の形態）
図１１は、本発明を補色配列フィールド蓄積の単板撮像素子に適用した第２の実施の形態を示し、欠陥画素補正装置の概略構成を示すブロック図である。
図１１において、１４１は図示しない撮像素子からの欠陥画素補正前の画像信号入力端子であり、１４３は入力される画像信号に対して、画素ごとに重畳されている色キャリア成分を除去する色キャリア除去処理手段であり、１４４は色キャリアを除去して生成された輝度成分から、着目画素におけるエッジの方向を検出するエッジ方向検出処理手段である。 (Second Embodiment)
FIG. 11 is a block diagram showing a schematic configuration of a defective pixel correction apparatus according to a second embodiment in which the present invention is applied to a single-plate image pickup device for complementary color array field storage.
In FIG. 11, reference numeral 141 denotes an image signal input terminal before correction of defective pixels from an image sensor (not shown), and reference numeral 143 denotes a color carrier for removing a color carrier component superimposed for each pixel from an input image signal. A removal processing unit 144 is an edge direction detection processing unit that detects the edge direction of the pixel of interest from the luminance component generated by removing the color carrier.

１４５はエッジ方向検出処理手段１４４で算出されるエッジ方向信号Epに沿って、色キャリア除去前の画像信号から欠陥画素を検出、補正するエッジ方向適応欠陥画素検出・補正処理手段であり、欠陥画素補正後画像出力端子１４６から欠陥画素補正後の画像を出力する。 Reference numeral 145 denotes edge direction adaptive defective pixel detection / correction processing means for detecting and correcting defective pixels from the image signal before color carrier removal along the edge direction signal Ep calculated by the edge direction detection processing means 144. An image after defect pixel correction is output from the corrected image output terminal 146.

本実施の形態では、補色配列の単板撮像素子の一例として、イエロー（Ye）、シアン（Cy）、マゼンダ（Mg）、グリーン（G）の各色の色フィルタが、図12に示すように配置されたものを用いる例を示している。 In this embodiment, yellow (Ye), cyan (Cy), magenta (Mg), and green (G) color filters are arranged as shown in FIG. The example using what was done is shown.

図１２に示すように、フィールド蓄積の場合、奇数フィールドでは、垂直方向奇数番目の画素と偶数番目の画素を加算して順次読み出し、偶数フィールドでは、偶数番目の画素と奇数番目の画素の信号を加算して画像信号を読み出す。 As shown in FIG. 12, in the case of field accumulation, in the odd field, the odd-numbered pixels in the vertical direction and the even-numbered pixels are added and read sequentially, and in the even-numbered field, the signals of the even-numbered pixels and odd-numbered pixels are read. Add and read the image signal.

すなわち、Wb=Mg＋Cy、Wr=Ye+Mg、Gb=Cy+G、Gr=Ye+Gとおくと、奇数フィールドでは、図13(a)のように、Wr、Gb、Wｒ、Gb・・・という画素の並びと、Wb、Gr、Wb、Gr・・・・という画素の並びが、１ラインごと交互に読み出され、偶数フィールドでは、図13(b)のように、Wb、Gr、Wb、Gr・・・・という画素の並びと、Wr、Gb、Wｒ、Gb・・・という画素の並びが１ラインごと交互に読み出される。 That is, if Wb = Mg + Cy, Wr = Ye + Mg, Gb = Cy + G, Gr = Ye + G, in the odd field, as shown in FIG. 13 (a), Wr, Gb, Wr, Gb. .., And Wb, Gr, Wb, Gr,... Are alternately read out line by line. In even fields, as shown in FIG. 13 (b), Wb, Gr, Wb , Gr..., And Wr, Gb, Wr, Gb... Are alternately read out line by line.

ここで、WrとGbが１画素おきに交互に読み出されるラインの信号をSoとし、WbとGrが１画素おきに交互に読み出されるラインの信号をSeとすると、フーリエ級数によりSo、Seは以下のように表される。
So＝Wr + Gb + {( Wr - Gb)*sin2πfst} /2
＝（2R + 3G + 2B）＋ {( 2R - G )*sin2πfst}/2 ・・・（10）
Se＝Wb + Gr + {( Wb - Gr)*sin2πfst} /2
＝（2R + 3G + 2B）＋ {( 2B - G )*sin2πfst}/2 ・・・（11）
（fs：キャリア周波数） Here, if the signal of the line in which Wr and Gb are alternately read out every other pixel is So, and the signal of the line in which Wb and Gr are alternately read out every other pixel is Se, So and Se are as follows according to the Fourier series: It is expressed as
So ＝ Wr + Gb + {(Wr-Gb) * sin2πfst} / 2
= (2R + 3G + 2B) + {(2R-G) * sin2πfst} / 2 (10)
Se ＝ Wb + Gr + {(Wb-Gr) * sin2πfst} / 2
= (2R + 3G + 2B) + {(2B-G) * sin2πfst} / 2 (11)
(Fs: carrier frequency)

前記式（10）、（11）に示すように、いずれの読み出しラインの信号も、ベースバンドの輝度成分Y＝２R+3G+2Bに、色キャリア成分Cr＝{( 2R - G )*sin2πfst}/2 またはCb＝{( 2B - G )*sin2πfst}/2が重畳されている。 As shown in the equations (10) and (11), the signal of any readout line is converted into the baseband luminance component Y = 2R + 3G + 2B and the color carrier component Cr = {(2R−G) * sin2πfst} / 2 or Cb = {(2B-G) * sin2πfst} / 2 is superimposed.

色キャリア除去処理手段１４３では、これらの信号に対し、所定の帯域のLPFをかけることにより、重畳されている色キャリア成分を除去する。色キャリアを除去した後の画像は、図１４に示すように輝度成分のみとなる。 The color carrier removal processing unit 143 removes the superimposed color carrier component by applying LPF of a predetermined band to these signals. The image after the color carrier is removed has only a luminance component as shown in FIG.

輝度変化の大きいところがエッジ信号であるから、本実施の形態では、後述する欠陥画素検出・補正処理を制御するためのエッジ信号を、色キャリアを除去した画像信号から生成する。 In this embodiment, an edge signal for controlling a defective pixel detection / correction process described later is generated from an image signal from which a color carrier has been removed.

次に、エッジ方向検出処理について説明する。
図１４は、色キャリア除去後の画像における、エッジ方向検出領域を示し、Y₃₃が欠陥画素検出・補正の対象となる着目画素である。着目画素位置におけるエッジ方向を検出するために、まず、着目画素を含む垂直方向の画素列、Y₁₃、Y₂₃、Y₃₃、Y₄₃、Y₅₃を用いて、例えば、以下の式１２で表される演算を行い、エッジの垂直方向成分Ｖdiff＿Yを求める。 Next, the edge direction detection process will be described.
14, in the image after the color carrier is removed, shows the edge-direction detecting region is a pixel of interest Y ₃₃ is subject to defective pixel detection and correction. In order to detect the edge direction at the target pixel position, first, using the pixel column in the vertical direction including the target pixel, Y ₁₃ , Y ₂₃ , Y ₃₃ , Y ₄₃ , Y ₅₃ , for example, The edge vertical direction component Vdiff_Y is obtained.

Ｖdiff＿Y= |Y₁₃ + Y₅₃ - 2*Y₃₃| + |Y₂₃- Y₄₃| ・・・（１２）
同様に、着目画素を含む水平方向の画素列、Y₃₁、Y₃₂、Y₃₃、Y₃₄、Y₃₅を用いて、例えば、式１３で表される演算を行い、エッジの水平方向成分Ｈdiff＿Yを求める。
Ｈdiff＿Y = |Y₃₁ + Y₃₅ - 2*Y₃₃| + | Y₃₂- Y₃₄| ・・・（１３） _{_{Vdiff_Y = | Y 13 + Y 53}} - 2 * Y 33 | + | Y 23 - Y 43 | ··· (12)
Similarly, using the horizontal pixel column including the pixel of interest, Y ₃₁ , Y ₃₂ , Y ₃₃ , Y ₃₄ , Y ₃₅ , for example, the calculation represented by Equation 13 is performed to obtain the horizontal component Hdiff_Y of the edge. Ask.
_{_{Hdiff_Y = | Y 31 + Y 35}} - 2 * Y 33 | + | Y 32 - Y 34 | ··· (13)

第１の実施の形態のエッジ方向信号検出の場合と同様に、Ｖdiff＿YとＨdiff＿Yの割合から、着目画素におけるエッジの方向を推測し、エッジの方向を示すパラメータEpを出力する。水平方向とエッジの方向とのなす角をθとおくと、エッジ方向を示すエッジ方向信号Epとθとの関係は、図１５のようになる。 Similar to the case of edge direction signal detection in the first embodiment, the edge direction of the pixel of interest is estimated from the ratio of Vdiff_Y and Hdiff_Y, and a parameter Ep indicating the edge direction is output. If the angle between the horizontal direction and the edge direction is θ, the relationship between the edge direction signal Ep indicating the edge direction and θ is as shown in FIG.

次に、エッジ方向に沿った欠陥画素の検出及び補正方法について説明する。入力画像信号において、着目画素を中心とした同じ色成分の画素の分布は、着目画素の色成分Wb、Wr、Gb、Grによらず、同一であり、図１７のようになる。 Next, a method for detecting and correcting defective pixels along the edge direction will be described. In the input image signal, the distribution of pixels of the same color component centered on the pixel of interest is the same regardless of the color components Wb, Wr, Gb, Gr of the pixel of interest, as shown in FIG.

図１７において、着目画素はP₃₃であり、着目画素と着目画素周辺の８画素、P₁₁、P₁₃、P₁₅、P₃₁、P₃₅、P₅₁、P₅₃、P₅₅を用いて、欠陥画素の検出及び補正を行う。また、図１７において、×印のついた画素は、着目画素と異なる色成分の信号を示している。 17, the target pixel is P _33, using the target pixel 8 pixels surrounding the target pixel, the _{_{_{P 11, P 13, P 15}}} , P 31, P 35, P 51, P 53, P 55, the defect Pixel detection and correction are performed. In FIG. 17, pixels marked with x indicate signals having color components different from those of the pixel of interest.

図１６は、エッジ方向適応欠陥画素検出・補正処理手段の構成例である。図１６において、１６１は垂直方向欠陥画素検出手段、１６２は水平方向欠陥画素検出手段、１６３は無方向欠陥画素検出手段、１６４は選択手段、１６５は比較手段である。 FIG. 16 is a configuration example of edge direction adaptive defective pixel detection / correction processing means. In FIG. 16, 161 is a vertical direction defective pixel detection means, 162 is a horizontal direction defective pixel detection means, 163 is a non-direction defective pixel detection means, 164 is a selection means, and 165 is a comparison means.

垂直方向欠陥画素検出手段１６１では、図１７の着目画素P₃₃に対して、垂直方向に隣接する同じ色成分の画素P₁₃、P₅₃の平均値Pｖ=(P₁₃+ P₅₃)/2を算出する。
水平方向欠陥画素検出手段１６２では、着目画素P₃₃に対して、水平方向に隣接する同じ色成分の画素P₃₁、P₃₅の平均値Pｈ=(P₃₁+P₃₅)/2を算出する。
無方向欠陥画素検出手段１６３では、着目画素P₃₃に対して、垂直、水平、斜め方向に隣接する８画素P₁₁、P₁₃、P₁₅、P₃₁、P₃₅、P₅₁、P₅₃、P₅₅の平均値Pa=(P₁₁+P₁₃＋P₁₅＋P₃₁＋P₃₅＋P₅₁＋P₅₃＋P₅₅)/８を算出する。 In the vertical direction defective pixel detection means 161, the average value Pv = (P ₁₃ + P ₅₃ ) / 2 of the pixels P ₁₃ and P ₅₃ of the same color component adjacent in the vertical direction with respect to the target pixel P ₃₃ in FIG. calculate.
The horizontal defective pixel detecting means 162 calculates an average value Ph = (P ₃₁ + P ₃₅ ) / 2 of pixels P ₃₁ and P ₃₅ of the same color component adjacent in the horizontal direction with respect to the target pixel P ₃₃ .
In the non-directional defective pixel detection means 163, eight pixels P ₁₁ , P ₁₃ , P ₁₅ , P ₃₁ , P ₃₅ , P ₅₁ , P ₅₃ , P adjacent to the target pixel P ₃₃ in the vertical, horizontal, and diagonal directions. It calculates an average value _{_{Pa = (P 11 + P 13}} + P 15 + P 31 + P 35 + P 51 + P 53 + P 55) / 8 _55.

選択手段１６４では、エッジ方向検出手段の出力信号Epに応じて、欠陥画素検出手段の出力のうち、１つないし２つを選択する。エッジ方向信号Ｅpには、「−１〜＋１」までの範囲の小数の値が設定されており、例えば、Ｅp=1の場合、エッジ方向は0°、すなわち完全水平方向なので、水平方向欠陥画素検出手段１６２の出力を選択し、Ｅp=-1の場合、エッジ方向は90°、すなわち完全垂直方向なので、垂直方向欠陥画素検出手段１６１の出力を選択する。 The selection unit 164 selects one or two of the outputs from the defective pixel detection unit in accordance with the output signal Ep from the edge direction detection unit. The edge direction signal Ep is set to a decimal value in the range of “−1 to +1”. For example, when Ep = 1, the edge direction is 0 °, that is, the complete horizontal direction, so the horizontal direction defective pixel When the output of the detection unit 162 is selected and Ep = −1, the edge direction is 90 °, that is, the complete vertical direction, so the output of the vertical defective pixel detection unit 161 is selected.

また、図１７に示すように、補色配列の単板撮像素子では、斜め方向の同色成分の画素間隔が広く、欠陥画素の検出・補正に用いる参照画素の相関が低くなるので、エッジ方向信号Ｅpが斜め方向を示す場合（Ep=0）には、周辺８画素の平均をとる無方向欠陥画素検出手段１６３の出力を選択する。 Also, as shown in FIG. 17, in the complementary color array single-plate image sensor, the pixel interval of the same color component in the oblique direction is wide, and the correlation between the reference pixels used for detection and correction of the defective pixel is low, so the edge direction signal Ep Indicates an oblique direction (Ep = 0), the output of the non-directional defective pixel detection means 163 that takes the average of the surrounding eight pixels is selected.

また、1>Ｅｐ>0、または-1<Eｐ < 0である場合には、垂直方向欠陥画素検出手段１６１と水平方向欠陥画素検出手段１６２の２種類の出力信号を選択し、エッジ方向信号Ｅpをパラメータとして、２種類の欠陥画素検出手段の出力信号を加重平均して出力する。 When 1> Ep> 0 or -1 <Ep <0, two kinds of output signals of the vertical direction defective pixel detection unit 161 and the horizontal direction defective pixel detection unit 162 are selected, and the edge direction signal Ep is selected. Is used as a parameter, and the output signals of the two types of defective pixel detection means are weighted averaged and output.

比較手段１６５には、選択手段１６４から出力される欠陥画素検出信号Pdetと、着目画素P₃₃の値が入力され、両者の差分値の絶対値｜Pdet−P₃₃｜が、第１の閾値Ｔｈ１よりも大きい場合には、白点欠陥画素であると判定し、第２の閾値Ｔｈ２よりも小さい場合には、黒点欠陥画素であると判定し、いずれも、Pdetの値で着目画素P₃₃の値を置き換えることにより、欠陥画素を補正する。 The comparison means 165, and the defective pixel detection signal Pdet output from the selection unit 164 is input the value of the target pixel P _33, the absolute value of both the difference value | Pdet-P ₃₃ | is the first threshold value Th1 If more greater, it is determined that the white point defective pixel, when the second is smaller than the threshold value Th2, it is determined that the black spot defect pixel, both, of the target pixel P ₃₃ in the value of Pdet The defective pixel is corrected by replacing the value.

一方、｜Pdet−Ｒ₃₃｜が、第１の閾値Ｔｈ１よりも小さく、かつ、第２の閾値Ｔｈ２よりも大きい場合には、着目画素は欠陥画素でないとみなし、P₃₃の値をそのまま出力する。 On the other hand, | Pdet-R ₃₃ | is first smaller than the threshold value Th1, and if greater than the second threshold value Th2, the target pixel is regarded as not a defective pixel, which outputs the value of P ₃₃ .

以上の動作により、補色配列の単板撮像素子を用いた本実施の形態において、被写体のエッジ方向に沿った欠陥画素補正を、安定かつ良好に実行することができる。 With the above operation, defective pixel correction along the edge direction of the subject can be executed stably and satisfactorily in the present embodiment using the single-plate image sensor with a complementary color array.

さらに、複数色の色フィルタが配列された撮像素子において、色フィルタの色によって、空間サンプリング構造が異なることによる色フィルタごとのばらつきを受けずにエッジの方向を判定できるように、色キャリアを除去した信号（輝度成分）を使ってエッジ方向を検出しているので、エッジ方向に適した欠陥画素の検出及び補正を行うことができる構成となっている。上記のような構成にすることにより、サンプリング構造の違いにより、色フィルタのうち、画像信号に含まれる高域成分を抽出できるものと、低域成分しか抽出できないものがある場合に、境界の抽出及び大小比較において、色フィルタごとにばらつきが生じるという問題を解決することができる。 Furthermore, in an image sensor with multiple color filters arranged, the color carrier is removed so that the direction of the edge can be determined without being affected by the variation of the color filter due to the difference in the spatial sampling structure depending on the color of the color filter. Since the edge direction is detected using the signal (luminance component), the defective pixel suitable for the edge direction can be detected and corrected. With the above configuration, boundary extraction is possible when there are color filters that can extract high-frequency components and only low-frequency components that can be extracted from image signals due to differences in sampling structure. In addition, in the size comparison, it is possible to solve the problem that variation occurs for each color filter.

（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、前記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。 (Other embodiments of the present invention)
A program code of software for realizing the functions of the embodiment is provided to an apparatus or a computer in the system connected to the various devices so as to operate various devices to realize the functions of the embodiment. What is implemented by operating the various devices according to a program supplied and stored in a computer (CPU or MPU) of the system or apparatus is also included in the scope of the present invention.

また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記録する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。 In this case, the program code of the software itself realizes the functions of the above-described embodiments, and the program code itself and means for supplying the program code to the computer, for example, the program code are stored. The recorded medium constitutes the present invention. As a recording medium for recording the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.

また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれる。 Further, by executing the program code supplied by the computer, not only the functions of the above-described embodiments are realized, but also the OS (operating system) or other application software in which the program code is running on the computer, etc. The program code is also included in the embodiment of the present invention even when the functions of the above-described embodiment are realized in cooperation with the above.

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれる。 Further, after the supplied program code is stored in the memory provided in the function expansion board of the computer or the function expansion unit connected to the computer, the CPU provided in the function expansion board or function expansion unit based on the instruction of the program code The present invention also includes a case where the functions of the above-described embodiment are realized by performing part or all of the actual processing.

次に、図１８に基づいて、上記で説明した本発明の実施形態で説明した撮像素子（撮像装置）を用いた撮像システムについて説明する。
図１８において、１はレンズのプロテクトとメインスイッチを兼ねるバリア、２は被写体の光学像を撮像素子４に結像させるレンズ、３はレンズ２を通った光量を可変するための絞り、４はレンズ２で結像された被写体を画像信号として取り込むための撮像素子、５は撮像素子４より出力される画像信号のアナログーディジタル変換を行うＡ／Ｄ変換器、６はＡ／Ｄ変換器５より出力された画像データに各種の補正を行ったりデータを圧縮したりする信号処理部（本実施の形態の欠陥画素補正装置の動作は、全体制御部の制御により信号処理部で実施される）、７は各種演算とスチルビデオカメラ全体を制御する全体制御・演算部、１０は画像データを一時的に記憶する為のメモリ部、８は記録媒体に記録または読み出しを行うためのインターフェース部、９は画像データの記録または読み出しを行う為の半導体メモリ等の着脱可能な記録媒体である。 Next, based on FIG. 18, an imaging system using the imaging element (imaging device) described in the embodiment of the present invention described above will be described.
In FIG. 18, 1 is a barrier that serves as a lens switch and a main switch, 2 is a lens that forms an optical image of a subject on the image sensor 4, 3 is an aperture for changing the amount of light passing through the lens 2, and 4 is a lens. An image pickup element 5 for capturing the subject imaged in 2 as an image signal, 5 is an A / D converter that performs analog-digital conversion of an image signal output from the image pickup element 4, and 6 is an A / D converter 5. A signal processing unit that performs various corrections on the output image data and compresses the data (the operation of the defective pixel correction device of the present embodiment is performed by the signal processing unit under the control of the overall control unit), 7 is an overall control / arithmetic unit for controlling various calculations and the entire still video camera, 10 is a memory unit for temporarily storing image data, and 8 is an interface for recording or reading on a recording medium. Face portion, 9 is a detachable recording medium such as a semiconductor memory for recording or reading of image data.

次に、前述の構成における撮影時のスチルビデオカメラの動作について説明する。
バリア１がオープンされるとメイン電源がオンされ、次にコントロール系の電源がオンし、更にＡ／Ｄ変換器５などの撮像系回路の電源がオンされる。それから、露光量を制御する為に、全体制御・演算部７は絞り３を開放にし、撮像素子４から出力された信号はＡ／Ｄ変換器５で変換された後、信号処理部６に入力される。そのデータを基に露出の演算を全体制御・演算部７で行う。この測光を行った結果により明るさを判断し、その結果に応じて全体制御・演算部７は絞りを制御する。 Next, the operation of the still video camera at the time of shooting in the above configuration will be described.
When the barrier 1 is opened, the main power supply is turned on, then the control system power supply is turned on, and the power supply of the imaging system circuit such as the A / D converter 5 is turned on. Then, in order to control the exposure amount, the overall control / calculation unit 7 opens the diaphragm 3, and the signal output from the image sensor 4 is converted by the A / D converter 5 and then input to the signal processing unit 6. Is done. Based on this data, exposure calculation is performed by the overall control / calculation unit 7. The brightness is determined based on the result of the photometry, and the overall control / calculation unit 7 controls the aperture according to the result.

次に、撮像素子４から出力された信号をもとに、高周波成分を取り出し被写体までの距離の演算を全体制御・演算部７で行う。その後、レンズを駆動して合焦か否かを判断し、合焦していないと判断した時は、再びレンズを駆動し測距を行う。 Next, based on the signal output from the image sensor 4, a high-frequency component is extracted and the distance to the subject is calculated by the overall control / calculation unit 7. Thereafter, the lens is driven to determine whether or not it is in focus. When it is determined that the lens is not in focus, the lens is driven again to perform distance measurement.

そして、合焦が確認された後に本露光が始まる。露光が終了すると、撮像素子４から出力された画像信号はＡ／Ｄ変換器５でＡ／Ｄ変換され、信号処理部６を通り全体制御・演算部７によりメモリ部に書き込まれる。その後、メモリ部１０に蓄積されたデータは、全体制御・演算部７の制御により記録媒体制御Ｉ／Ｆ部を通り半導体メモリ等の着脱可能な記録媒体に記録される。 Then, after the in-focus state is confirmed, the main exposure starts. When the exposure is completed, the image signal output from the image sensor 4 is A / D converted by the A / D converter 5, passes through the signal processing unit 6, and is written in the memory unit by the overall control / calculation unit 7. Thereafter, the data stored in the memory unit 10 is recorded on a removable recording medium such as a semiconductor memory through the recording medium control I / F unit under the control of the overall control / arithmetic unit 7.

本発明の第１の実施の形態の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the 1st Embodiment of this invention. 原色ベイヤー配列撮像素子の色フィルタ配置を示す図である。It is a figure which shows the color filter arrangement | positioning of a primary color Bayer arrangement image sensor. 着目画素にＧフィルタが配置されている場合の、エッジ方向検出処理領域でのＧ画素の分布図である。FIG. 10 is a distribution diagram of G pixels in an edge direction detection processing region when a G filter is arranged in a target pixel. エッジ方向信号の閾値制御を示す図である。It is a figure which shows threshold value control of an edge direction signal. エッジ方向信号Eg、象現判定フラグｆｇとエッジの方向を示す角度θとの関係を示す図である。It is a figure which shows the relationship between edge direction signal Eg, quadrant determination flag fg, and angle (theta) which shows the direction of an edge. 着目画素にＲまたはＢフィルタが配置されている場合の、エッジ方向検出処理領域でのＧ画素の分布図である。FIG. 10 is a distribution diagram of G pixels in an edge direction detection processing region when an R or B filter is disposed in a target pixel. 着目画素にＲフィルタが配置されている場合の、着目画素近傍のR画素の分布図である。FIG. 10 is a distribution diagram of R pixels in the vicinity of a target pixel when an R filter is arranged in the target pixel. 着目画素の色フィルタがＧである場合の、Ｇ用エッジ方向適応欠陥画素検出・補正処理手段を示すブロック図である。FIG. 6 is a block diagram showing G edge direction adaptive defective pixel detection / correction processing means when the color filter of a pixel of interest is G. 着目画素の色フィルタがＲである場合の、Ｒ用エッジ方向適応欠陥画素検出・補正処理手段を示すブロック図である。It is a block diagram which shows the edge direction adaptive defect pixel detection / correction processing means for R when the color filter of the pixel of interest is R. Ｒまたは、Ｂフィルタが配置された着目画素におけるエッジ方向信号Eｒと、エッジの方向を示す角度θとの関係を示す図である。It is a figure which shows the relationship between edge direction signal Er in the pixel of interest in which R or B filter is arrange | positioned, and angle (theta) which shows the direction of an edge. 本発明の第２の実施の形態の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the 2nd Embodiment of this invention. 補色配列単板撮像素子の色フィルタ配置を示す図である。It is a figure which shows the color filter arrangement | positioning of a complementary color arrangement | sequence single plate image sensor. 補色配列単板撮像素子から、加算読み出しを行った場合の色信号の分布を示す図である。It is a figure which shows distribution of the color signal at the time of performing addition reading from a complementary color arrangement | sequence single-plate image sensor. 補色配列単板撮像素子から、加算読み出しを行った後、色キャリアを除去した信号の分布を示す図である。It is a figure which shows distribution of the signal which removed the color carrier after performing addition reading from a complementary color arrangement | sequence single-plate image sensor. 第２の実施の形態において、エッジ方向信号Epとエッジの方向θとの関係を示す図である。FIG. 10 is a diagram illustrating a relationship between an edge direction signal Ep and an edge direction θ in the second embodiment. 第２の実施の形態における、エッジ方向適応欠陥画素検出・補正処理手段を示すブロック図である。It is a block diagram which shows the edge direction adaptive defect pixel detection and correction process means in 2nd Embodiment. 補色配列撮像素子において、着目画素近傍における、着目画素と同色の色成分の画素分布を示す図である。It is a figure which shows pixel distribution of the color component of the same color as the pixel of interest in the vicinity of the pixel of interest in the complementary color array image sensor. 本発明の実施形態における撮像装置のシステム構成例を示すブロック図である。1 is a block diagram illustrating a system configuration example of an imaging apparatus according to an embodiment of the present invention.

符号の説明Explanation of symbols

１１画像信号入力端子
１２ＲＧＢ色分離処理手段
１３Ｇ用エッジ方向検出処理手段
１４Ｒ／Ｂ用エッジ方向検出処理手段
１５選択手段
１６エッジ方向適応Ｇ欠陥画素検出・補正処理手段
１７エッジ方向適応Ｒ欠陥画素検出・補正処理手段
１８エッジ方向適応Ｂ欠陥画素検出・補正処理手段
１９着目画素位置情報入力端子
Tg 原色ベイヤー配列ＣＣＤにおけるＧ画素の垂直・水平方向のサンプリング間隔
Trb 原色ベイヤー配列ＣＣＤにおけるＲ／Ｂ画素の垂直・水平方向のサンプリング間隔Ｖdiff＿G、Ｖdiff＿R 着目画素における垂直方向相関値
Ｈdiff＿G、Ｈdiff＿R 着目画素における水平方向相関値
D1diff＿G 着目画素における斜め45°方向の相関値
D2diff＿G 着目画素における斜め135°方向の相関値
Eg、Er、Eb、Ep エッジ方向信号
θ 水平方向とエッジ方向のなす角
fg エッジ方向の象現判定フラグ
８１垂直方向欠陥画素検出手段
８２水平方向欠陥画素検出手段
８３斜め45°方向欠陥画素検出手段
８４斜め135°方向欠陥画素検出手段
８５無方向欠陥画素検出手段
８７比較手段
１４３色キャリア除去処理手段
１４４エッジ方向検出処理手段
１４５エッジ方向適応欠陥画素検出・補正処理手段 11 Image signal input terminal 12 RGB color separation processing means 13 G edge direction detection processing means 14 R / B edge direction detection processing means 15 selection means 16 Edge direction adaptive G defect pixel detection / correction processing means 17 Edge direction adaptive R defect Pixel detection / correction processing means 18 Edge direction adaptive B defective pixel detection / correction processing means 19 Target pixel position information input terminal
Tg G-pixel vertical and horizontal sampling interval in primary color Bayer array CCD
Trb Vertical / horizontal sampling intervals of the R / B pixels in the primary color Bayer array CCD Vdiff_G, Vdiff_R Vertical correlation values Hdiff_G, Hdiff_R Horizontal correlation values in the target pixel
D1diff_G Correlation value in the 45 ° diagonal direction at the target pixel
D2diff_G Correlation value in the 135 ° diagonal direction at the pixel of interest
Eg, Er, Eb, Ep Edge direction signal θ Angle between horizontal direction and edge direction
fg Edge direction determination flag 81 Vertical defective pixel detecting means 82 Horizontal defective pixel detecting means 83 Oblique 45 ° direction defective pixel detecting means 84 Oblique 135 ° direction defective pixel detecting means 85 Nondirectional defective pixel detecting means 87 Comparing means 143 Color carrier removal processing means 144 Edge direction detection processing means 145 Edge direction adaptive defective pixel detection / correction processing means

Claims

複数色の色フィルタが画素単位で配置された撮像素子から得られる画像データを基に、エッジ方向を検出するエッジ方向検出手段と、
前記エッジ方向検出手段によって検出されたエッジ方向に基づいて、前記撮像素子に含まれる欠陥画素を検出する検出手段と、
前記検出手段で検出された前記欠陥画素の補正を行う補正処理手段とを有し、
前記エッジ方向検出手段は、各画素において色キャリアを除去した信号を用いて前記エッジ方向を検出することを特徴とする欠陥画素補正装置。 Edge direction detection means for detecting an edge direction based on image data obtained from an image sensor in which color filters of a plurality of colors are arranged in units of pixels;
Detecting means for detecting defective pixels included in the image sensor based on the edge direction detected by the edge direction detecting means;
Correction processing means for correcting the defective pixel detected by the detection means,
The defective pixel correction apparatus, wherein the edge direction detection means detects the edge direction using a signal obtained by removing a color carrier in each pixel.

請求項１に記載の欠陥画素補正装置であって、
前記撮像素子の色フィルタは、補色配列であることを特徴とする欠陥画素補正装置。 The defective pixel correction device according to claim 1,
The defective pixel correction device according to claim 1, wherein the color filter of the image sensor has a complementary color arrangement.

請求項１または２に記載の欠陥画素補正装置であって、
前記撮像素子に像を結像するレンズと、
前記撮像素子からの信号をＡ／Ｄ変換するＡ／Ｄ変換器と、
前記Ａ／Ｄ変換器から出力された信号に、カメラ信号処理を行う信号処理部とを有することを特徴とする欠陥画素補正装置。 The defective pixel correction device according to claim 1, wherein:
A lens that forms an image on the image sensor;
An A / D converter for A / D converting a signal from the image sensor;
A defective pixel correction apparatus comprising: a signal processing unit that performs camera signal processing on a signal output from the A / D converter.

複数色の色フィルタが画素単位で配置された撮像素子から得られる画像データにおける欠陥画素を補正する欠陥画素補正処理方法であって、
前記撮像素子から得られる画像データを基に、エッジ方向を検出するエッジ方向検出工程と、
前記エッジ方向検出工程によって検出されたエッジ方向に基づいて、前記撮像素子に含まれる欠陥画素を検出する検出工程と、
前記検出工程で検出された前記欠陥画素の補正を行う補正処理工程とを有し、
前記エッジ方向検出工程においては、各画素において色キャリアを除去した信号を用いて前記エッジ方向を検出することを特徴とする欠陥画素補正処理方法。 A defective pixel correction processing method for correcting defective pixels in image data obtained from an image sensor in which color filters of a plurality of colors are arranged in units of pixels,
Based on image data obtained from the image sensor, an edge direction detection step for detecting an edge direction;
A detection step of detecting defective pixels included in the image sensor based on the edge direction detected by the edge direction detection step;
A correction processing step of correcting the defective pixel detected in the detection step,
In the edge direction detection step, the edge direction is detected using a signal from which a color carrier is removed in each pixel, and the defective pixel correction processing method is characterized in that the edge direction is detected.

請求項４に記載の欠陥画素補正処理方法の各工程をコンピュータに実行させることを特徴とするコンピュータプログラム。 A computer program for causing a computer to execute each step of the defective pixel correction processing method according to claim 4.

請求項５に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium on which the computer program according to claim 5 is recorded.