JP2009177792A

JP2009177792A - Image processing unit and imaging device

Info

Publication number: JP2009177792A
Application number: JP2008313480A
Authority: JP
Inventors: Akihiko Utsuki; 暁彦宇津木
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2007-12-28
Filing date: 2008-12-09
Publication date: 2009-08-06
Anticipated expiration: 2028-12-09
Also published as: JP5309940B2

Abstract

<P>PROBLEM TO BE SOLVED: To interpolate a pixel value of a defective pixel of pixel data. <P>SOLUTION: The defective pixel position information of an imaging element is recorded in a defective pixel position information recording portion 103. An interpolated value calculating method supplying portion 103b supplies a plurality of interpolated value calculating method to interpolate a pixel value in defective pixels, and a pixel-to-be-interpolated setting portion 103e set the defective pixel as a pixel-to-be-interpolated. The optimum interpolated value calculating method selecting portion 103d selects an interpolated value calculating method which is applicable to a pixel-to-be-interpolated and has the highest interpolation accuracy as the optimum interpolated value calculating method among interpolated value calculating methods supplied from the interpolated value calculating method supplying portion 103b. A defective pixel interpolating portion 103f interpolates the pixel value in pixels-to-be-interpolated using the selected optimum interpolated value calculating method. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、画像処理装置、および撮像装置に関する。 The present invention relates to an image processing device and an imaging device.

次のような画像処理装置が知られている。この画像処理装置は、画像データ内の塊欠陥画素を補間する（例えば、特許文献１）。
また、別な画像処理装置は、別の色成分の凹凸構造を検出して補間値に加える欠陥補正を行っている（例えば、特許文献２）。 The following image processing apparatus is known. This image processing apparatus interpolates chunk defective pixels in image data (for example, Patent Document 1).
Another image processing apparatus detects a concavo-convex structure of another color component and performs defect correction to add to the interpolation value (for example, Patent Document 2).

特開２００５−２２３８１５号公報JP-A-2005-223815 特許第３９５１９９２号公報Japanese Patent No. 3951992

一般に、Ｂａｙｅｒ画像において欠落する色成分は、次のように補間される。すなわち、まず、対象箇所の周囲の画素のうち、対象色成分と同じ色の画素値を用いて平均値を求める。そして、対象色成分とは異なる色の画素値などを用いて対象箇所における凹凸構造を抽出し、抽出した値を平均値に加える。これにより、微細構造再現精度や偽色抑制精度を向上している。しかしながら、従来の画像処理装置では、任意の形状の塊欠陥の補正を行う際に、別の色成分の凹凸を補間値に加えるものがないため、微細構造再現精度や偽色抑制精度が充分とは言えない。 In general, the missing color components in the Bayer image are interpolated as follows. That is, first, an average value is obtained using pixel values of the same color as the target color component among the pixels around the target location. And the uneven structure in a target location is extracted using the pixel value etc. of the color different from a target color component, and the extracted value is added to an average value. Thereby, the fine structure reproduction accuracy and the false color suppression accuracy are improved. However, in the conventional image processing apparatus, there is no one that adds unevenness of another color component to the interpolated value when correcting a block defect of an arbitrary shape, so that the fine structure reproduction accuracy and the false color suppression accuracy are sufficient. I can't say that.

本発明による画像処理装置は、欠陥画素の位置情報を記録した欠陥画素位置情報記憶手段と、欠陥画素を補間対象画素として設定する補間対象画素設定手段と、補間対象画素の画素値を補間するための複数の補間値算出式の中から、補間対象画素に対して適用可能であって、かつ最も補間精度が高い補間値算出式を最適補間値算出式として選択する選択手段と、選択手段によって選択された最適補間値算出式を用いて補間対象画素の画素値を補間する補間手段とを備えることを特徴とする。
本発明では、補間値算出式は、基準補間値算出式と補助補間値算出式とを含み、選択手段は、複数の基準補間値算出式の中から、補間対象画素に対して適用可能であって、かつ最も補間精度が高い基準補間値算出式を最適基準補間値算出式として選択した後、最適基準補間値算出式に対応する複数の補助補間値算出式の中から、補間対象画素に対して適用可能であって、かつ最も補間精度が高い補助補間値算出式を最適補助補間値算出式として選択し、補間手段は、最適基準補間値算出式を用いて算出された基準補間値と、最適補助補間値算出式を用いて算出された補助補間値とを合わせた値を、補間対象画素の画素値とするようにしてもよい。
選択手段は、画像データ内における補間対象画素の位置と、補間対象画素に対する補間参照画素の相対位置情報に基づいて、画像データ内における補間参照画素の位置を求め、画像データ内における補間参照画素の位置と、欠陥画素の位置情報とに基づいて、補間参照画素が欠陥画素か否かを判定し、補間参照画素が欠陥画素ではないと判定した場合に、その補間値算出式を適用可能と判定するようにしてもよい。
選択手段は、補間精度の良い順に補間値算出式が適用可能かを判定し、最初に適用可能と判定した補間値算出式を最適補間値算出式として選択するようにしてもよい。
選択手段は、補間精度の良い順に基準補間値算出式が適用可能か判定し、最初に適用可能と判定した基準補間値算出式を最適基準補間値算出式として選択するようにしてもよい。
選択手段は、補間精度の良い順に補助補間値算出式が適用可能か判定し、最初に適用可能と判定した補助補間値算出式を最適補助補間値算出式として選択するようにしてもよい。
補間対象画素の近傍における画像構造の類似方向を判定する類似方向判定手段をさらに備え、選択手段は、類似方向判定手段によって判定された類似方向に応じた複数の補間値算出式の中から、最適補間値算出式を選択するようにしてもよい。
本発明による画像処理装置は、複数の欠陥画素の位置情報を記録した欠陥画素位置情報記憶手段と、欠陥画素の近傍の画素のうち、欠陥画素の色と同色の正常な画素を用いて欠陥画素の画素値を補間するための複数の補間値算出式の中から、欠陥画素に対して適用可能である第１の補間値算出式を選択し、欠陥画素の近傍の画素のうち、欠陥画素の色と異色の正常な画素を用いて欠陥画素の画素値を補間するための複数の補間値算出式の中から、欠陥画素に対して適用可能である第２の補間値算出式を選択し、欠陥画素の位置情報、第１の補間値算出式、および第２の補間値算出式を用いて欠陥画素の画素値を補間する補間手段とを備えることを特徴とする。
本発明では、補間手段は、欠陥画素の色と同色の正常な画素を用いて欠陥画素の画素値を補間するための複数の補間値算出式の中に欠陥画素に対して適用可能である補間値算出式が複数ある場合には、その中から最も補間精度が高い補間値算出式を第１の補間値算出式として選択し、欠陥画素の色と異色の正常な画素を用いて欠陥画素の画素値を補間するための複数の補間値算出式の中に欠陥画素に対して適用可能である補間値算出式が複数ある場合には、その中から最も補間精度が高い補間値算出式を第２の補間値算出式として選択するようにしてもよい。
補間手段は、欠陥画素の近傍における画像構造の類似方向を判定し、判定した類似方向に応じた複数の補間値算出式の中から、第１の補間値算出式と第２の補間値算出式とを選択するようにしてもよい。
本発明による撮像装置は、被写体像を撮像する撮像素子と、撮像素子から出力される画像信号に対して画像処理を行なって画像データを生成する上記いずれかの画像処理装置とを備え、画像処理装置は、撮像素子から出力される画像信号を用いて、撮像素子に含まれる欠陥画素の画素値を補間して、画像データを生成することを特徴とする。 An image processing apparatus according to the present invention interpolates a pixel value of an interpolation target pixel, a defective pixel position information storage unit that records position information of the defective pixel, an interpolation target pixel setting unit that sets the defective pixel as an interpolation target pixel, and A selection unit that selects an interpolation value calculation formula that can be applied to a pixel to be interpolated and has the highest interpolation accuracy from among the plurality of interpolation value calculation formulas, and is selected by the selection unit And an interpolation means for interpolating the pixel value of the interpolation target pixel using the calculated optimum interpolation value calculation formula.
In the present invention, the interpolation value calculation formula includes a reference interpolation value calculation formula and an auxiliary interpolation value calculation formula, and the selection means can be applied to the interpolation target pixel from among the plurality of reference interpolation value calculation formulas. In addition, after selecting the reference interpolation value calculation formula with the highest interpolation accuracy as the optimum reference interpolation value calculation formula, a plurality of auxiliary interpolation value calculation formulas corresponding to the optimum reference interpolation value calculation formula are selected for the interpolation target pixel. The auxiliary interpolation value calculation formula that is applicable and has the highest interpolation accuracy is selected as the optimal auxiliary interpolation value calculation formula, and the interpolation means includes a reference interpolation value calculated using the optimal reference interpolation value calculation formula, A value combined with the auxiliary interpolation value calculated using the optimum auxiliary interpolation value calculation formula may be used as the pixel value of the interpolation target pixel.
The selection means obtains the position of the interpolation reference pixel in the image data based on the position of the interpolation target pixel in the image data and the relative position information of the interpolation reference pixel with respect to the interpolation target pixel, and determines the position of the interpolation reference pixel in the image data. Based on the position and position information of the defective pixel, it is determined whether or not the interpolation reference pixel is a defective pixel. If it is determined that the interpolation reference pixel is not a defective pixel, the interpolation value calculation formula is determined to be applicable. You may make it do.
The selection unit may determine whether the interpolation value calculation formula is applicable in the order of good interpolation accuracy, and may select the interpolation value calculation formula determined to be applicable first as the optimum interpolation value calculation formula.
The selection unit may determine whether the reference interpolation value calculation formula is applicable in the order of good interpolation accuracy, and may select the reference interpolation value calculation formula determined to be applicable first as the optimum reference interpolation value calculation formula.
The selection unit may determine whether the auxiliary interpolation value calculation formula is applicable in the order of good interpolation accuracy, and may select the auxiliary interpolation value calculation formula determined to be applicable first as the optimal auxiliary interpolation value calculation formula.
Similar direction determination means for determining the similar direction of the image structure in the vicinity of the interpolation target pixel is further provided, and the selection means is optimal from a plurality of interpolation value calculation formulas according to the similar direction determined by the similar direction determination means. An interpolation value calculation formula may be selected.
An image processing apparatus according to the present invention uses a defective pixel position information storage unit that records position information of a plurality of defective pixels, and a defective pixel using a normal pixel having the same color as the defective pixel among pixels near the defective pixel. A first interpolation value calculation formula that can be applied to the defective pixel is selected from among a plurality of interpolation value calculation formulas for interpolating the pixel value of the pixel value. A second interpolation value calculation formula that can be applied to the defective pixel is selected from a plurality of interpolation value calculation formulas for interpolating the pixel value of the defective pixel using normal and different color pixels; Interpolation means for interpolating the pixel value of the defective pixel using the position information of the defective pixel, the first interpolation value calculation formula, and the second interpolation value calculation formula is provided.
In the present invention, the interpolation means can be applied to the defective pixel in a plurality of interpolation value calculation formulas for interpolating the pixel value of the defective pixel using a normal pixel having the same color as the defective pixel. When there are a plurality of value calculation formulas, the interpolation value calculation formula with the highest interpolation accuracy is selected as the first interpolation value calculation formula from among them, and the defective pixel color is determined using normal pixels that are different in color from the defective pixel. When there are multiple interpolation value calculation formulas that can be applied to defective pixels among the multiple interpolation value calculation formulas for interpolating the pixel values, the interpolation value calculation formula with the highest interpolation accuracy is selected from among them. You may make it select as 2 interpolation value calculation formulas.
The interpolation means determines the similar direction of the image structure in the vicinity of the defective pixel, and the first interpolation value calculation expression and the second interpolation value calculation expression from among a plurality of interpolation value calculation expressions corresponding to the determined similar direction. Or may be selected.
An image pickup apparatus according to the present invention includes: an image pickup device that picks up a subject image; and any one of the above image processing devices that performs image processing on an image signal output from the image pickup device to generate image data. The apparatus is characterized in that image data is generated by interpolating pixel values of defective pixels included in the image sensor using an image signal output from the image sensor.

本発明によれば、撮像素子の任意の形状の塊画素欠陥を補正するにあたって、微細構造再現精度や偽色抑制精度を向上することができる。 According to the present invention, it is possible to improve the fine structure reproduction accuracy and the false color suppression accuracy in correcting a cluster pixel defect of an arbitrary shape of the image sensor.

―第１の実施の形態―
図1は、第１の実施の形態におけるデジタルカメラの一実施の形態の構成を示すブロック図である。デジタルカメラ１００は、レンズ１０１と、撮像素子１０２と、欠陥画素補正部１０３と、画像処理部１０４と、画像記録部１０５とを備えている。 -First embodiment-
FIG. 1 is a block diagram illustrating a configuration of an embodiment of a digital camera according to the first embodiment. The digital camera 100 includes a lens 101, an image sensor 102, a defective pixel correction unit 103, an image processing unit 104, and an image recording unit 105.

レンズ１０１は、複数の光学レンズにより構成され、被写体像を撮像素子１０２へ結像する。撮像素子１０２は、例えばＣＣＤやＣＭＯＳセンサであり、この撮像素子１０２が一定時間露光することにより、光学像が画像データとして得られる。撮像素子１０２は、取得した画像データを欠陥画素補正部１０３へ出力する。このとき、撮像素子１０２が塊画素欠陥を有している場合には、撮像素子１０２で取得した画像データには、欠陥画素が発生することになる。欠陥画素補正部１０３は、後述する処理を行って、このような塊画素欠陥を有する撮像素子で撮像された画像データ内の欠陥画素を補正して、補正後の画像データを画像処理部１０４へ出力する。 The lens 101 includes a plurality of optical lenses, and forms a subject image on the image sensor 102. The image sensor 102 is, for example, a CCD or CMOS sensor, and an optical image is obtained as image data when the image sensor 102 is exposed for a predetermined time. The image sensor 102 outputs the acquired image data to the defective pixel correction unit 103. At this time, when the image sensor 102 has a cluster pixel defect, a defective pixel is generated in the image data acquired by the image sensor 102. The defective pixel correction unit 103 performs processing to be described later, corrects defective pixels in the image data captured by the imaging element having such a block pixel defect, and supplies the corrected image data to the image processing unit 104. Output.

なお、本実施の形態では、撮像素子１０２から入力される画像データは、Ｂａｙｅｒ配列の画像データであるものとする。また、この画像データ内の欠陥画素は、大きさが４×４画素以内の任意形状であるものとする。本実施の形態では、画像データ内の各画素の位置を座標値によって特定するものとし、画像の左の方がｘ座標が小さく、上の方がｙ座標が小さいものとする。 In the present embodiment, it is assumed that the image data input from the image sensor 102 is Bayer array image data. In addition, it is assumed that the defective pixel in the image data has an arbitrary shape within 4 × 4 pixels. In the present embodiment, the position of each pixel in the image data is specified by the coordinate value, and the left side of the image has a smaller x coordinate and the upper side has a smaller y coordinate.

画像処理部１０４は、入力された画像データに対して、ホワイトバランス処理、色補間処理、エッジ強調処理、サイド強調処理などの公知の画像処理を施した後、画像処理後の画像データを画像記録部１０５へ出力する。画像データを画像記録部１０５は、例えば、メモリカードなどの外部記憶媒体や、フラッシュメモリなどの内部記憶媒体に画像データを記録する。なお、欠陥画素補正部１０３、画像処理部１０４、および画像記録部１０５は、ＣＰＵおよびその他の周辺回路により構成されている。 The image processing unit 104 performs known image processing such as white balance processing, color interpolation processing, edge enhancement processing, and side enhancement processing on the input image data, and then records the image data after the image processing as an image To the unit 105. The image recording unit 105 records image data on an external storage medium such as a memory card or an internal storage medium such as a flash memory, for example. The defective pixel correction unit 103, the image processing unit 104, and the image recording unit 105 are configured by a CPU and other peripheral circuits.

図２は、欠陥画素補正部１０３の構成を示すブロック図である。以下、この図２を用いて、欠陥画素補正部１０３によって実行される処理について説明する。欠陥画素補正部１０３は、類似方向判定部１０３ａと、補間値算出方法供給部１０３ｂと、欠陥画素位置情報記録部１０３ｃと、最適補間値算出方法選択部１０３ｄと、補間生成対象画素設定部１０３ｅと、欠陥画素補間生成部１０３ｆとを備えている。なお、欠陥画素位置情報記録部１０３ｃは、後述する欠陥画素位置情報を記録するためのメモリ、例えばフラッシュメモリである。なお、類似方向判定部１０３ａと、最適補間値算出方法選択部１０３ｄと、補間生成対象画素設定部１０３ｅと、欠陥画素補間生成部１０３ｆとが演算処理部を構成している。 FIG. 2 is a block diagram illustrating a configuration of the defective pixel correction unit 103. Hereinafter, the process executed by the defective pixel correction unit 103 will be described with reference to FIG. The defective pixel correction unit 103 includes a similar direction determination unit 103a, an interpolation value calculation method supply unit 103b, a defective pixel position information recording unit 103c, an optimum interpolation value calculation method selection unit 103d, and an interpolation generation target pixel setting unit 103e. A defective pixel interpolation generation unit 103f. The defective pixel position information recording unit 103c is a memory for recording defective pixel position information described later, for example, a flash memory. Note that the similar direction determination unit 103a, the optimum interpolation value calculation method selection unit 103d, the interpolation generation target pixel setting unit 103e, and the defective pixel interpolation generation unit 103f constitute an arithmetic processing unit.

欠陥画素位置情報記録部１０３ｃには、画像データ内の欠陥画素の位置や分布を特定するための欠陥画素位置情報として、塊欠陥位置（Ｐ，Ｑ）と欠陥マップＤ（ｉ，ｊ）（ｉ＝０〜３，ｊ＝０〜３）が記録されている。塊欠陥位置（Ｐ，Ｑ）は、画像内の４×４画素の塊欠陥領域の左上端の座標値である。また、欠陥マップＤ（ｉ，ｊ）（ｉ＝０〜３，ｊ＝０〜３）は、塊欠陥領域のそれぞれの画素が欠陥かどうかを指定するためのマップ情報である。なお、塊欠陥位置（Ｐ，Ｑ）と欠陥マップＤ（ｉ，ｊ）（ｉ＝０〜３，ｊ＝０〜３）は、デジタルカメラを出荷する前に、撮像素子の欠陥画素特性を調査した結果に基づいて生成されているものとする。 The defective pixel position information recording unit 103c stores, as defective pixel position information for specifying the position and distribution of defective pixels in the image data, a block defect position (P, Q) and a defect map D (i, j) (i = 0-3, j = 0-3) are recorded. The block defect position (P, Q) is the coordinate value of the upper left corner of the block defect area of 4 × 4 pixels in the image. The defect map D (i, j) (i = 0-3, j = 0-3) is map information for designating whether each pixel in the block defect area is defective. The defect position (P, Q) and defect map D (i, j) (i = 0-3, j = 0-3) are used to investigate the defective pixel characteristics of the image sensor before shipping the digital camera. It is assumed that it is generated based on the result.

この欠陥マップＤ（ｉ，ｊ）は、図３に示すように、０と１のコード値によって正常画素と欠陥画素とを区別している。すなわち、欠陥マップＤ（ｉ，ｊ）においては、画像データ上の画素（Ｐ＋ｉ，Ｑ＋ｊ）が正常画素ならＤ（ｉ，ｊ）＝０となり、画像データ上の画素（Ｐ＋ｉ，Ｑ＋ｊ）が欠陥画素ならＤ（ｉ，ｊ）＝１となる。なお、ここで言う正常画素とは、出力低下などの異常性のある画素に対して、ゲイン補正などの不図示の前補正処理を施すことによって正常な出力値に補正された画素を含む。以下の説明では、１つの塊欠陥を補正する例について説明するが、同じ処理を繰り返すことによって複数の塊欠陥を補正することができる。 In the defect map D (i, j), as shown in FIG. 3, normal pixels and defective pixels are distinguished by code values of 0 and 1. That is, in the defect map D (i, j), if the pixel (P + i, Q + j) on the image data is a normal pixel, D (i, j) = 0, and the pixel (P + i, Q + j) on the image data is a defective pixel. Then D (i, j) = 1. The normal pixel referred to here includes a pixel that has been corrected to a normal output value by performing a pre-correction process (not shown) such as gain correction on a pixel having an abnormality such as a decrease in output. In the following description, an example of correcting one block defect will be described, but a plurality of block defects can be corrected by repeating the same process.

まず、撮像素子１０２から出力された画像データは、類似方向判定部１０３ａへ入力される。類似方向判定部１０３ａは、欠陥画素位置情報記録部１０３ｃから上述した塊欠陥位置（Ｐ，Ｑ）を読み込む。そして、類似方向判定部１０３ａは、塊欠陥領域からの距離が４画素以内の領域、（つまり、欠陥領域４×４を中心とする１２×１２の領域のうち、中心の４×４を除く領域）において、同色画素の隣接画素差分絶対値和である、ＣＶ、ＣＨ、Ｃ４５、およびＣ１３５を算出する。ここで、ＣＶは縦方向に隣接する画素の差分絶対値和であり、ＣＨは横方向に隣接する画素の差分絶対値和である。また、Ｃ４５は斜め４５度方向に隣接する画素の差分絶対値和であり、Ｃ１３５は斜め１３５度方向に隣接する画素の差分絶対値和である。そして、類似方向判定部１０３ａは、この４方向のうち、画素差分絶対値和が最も小さくなる方向を類似方向と判定する。 First, the image data output from the image sensor 102 is input to the similar direction determination unit 103a. The similar direction determination unit 103a reads the block defect position (P, Q) described above from the defective pixel position information recording unit 103c. Then, the similar direction determination unit 103a has an area within a distance of 4 pixels from the block defect area (that is, an area excluding the center 4 * 4 in the 12 * 12 area centered on the defect area 4 * 4). ), CV, CH, C45, and C135, which are sums of adjacent pixel difference absolute values of pixels of the same color, are calculated. Here, CV is the sum of absolute differences of pixels adjacent in the vertical direction, and CH is the sum of absolute differences of pixels adjacent in the horizontal direction. Further, C45 is a sum of absolute differences of pixels adjacent in the oblique 45 degree direction, and C135 is a sum of absolute differences of pixels adjacent in the oblique 135 degree direction. Then, the similar direction determination unit 103a determines the direction in which the sum of pixel difference absolute values is the smallest among the four directions as the similar direction.

補間値算出方法供給部１０３ｂは、類似方向判定部１０３ａが判定した類似方向に応じた複数の補間値算出方法を最適補間値算出方法選択部１０３ｄへ出力する。すなわち、類似方向が横、縦、斜め４５度、斜め１３５度のそれぞれの場合の補間値算出方法があらかじめ設定されてメモリに記録されており、補間値算出方法供給部１０３ｂは、その中から類似方向判定部１０３ａによる判定結果に応じた方向の補間値算出方法を選択して、最適補間値算出方法選択部１０３ｄへ出力する。 The interpolation value calculation method supply unit 103b outputs a plurality of interpolation value calculation methods corresponding to the similar direction determined by the similar direction determination unit 103a to the optimum interpolation value calculation method selection unit 103d. That is, the interpolation value calculation method for each of the similar directions of horizontal, vertical, 45 degrees oblique, and 135 degrees oblique is preset and recorded in the memory, and the interpolation value calculation method supply unit 103b is similar among them. A direction interpolation value calculation method corresponding to the determination result by the direction determination unit 103a is selected and output to the optimum interpolation value calculation method selection unit 103d.

例えば、類似方向判定部１０３ａによる類似方向の判定結果が横方向であった場合には、補間値算出方法供給部１０３ｂは、横方向の画素を参照する複数の補間値算出方法として、以下の補間値算出方法１から補間値算出方法８の８通りの補間値算出方法（補間値算出式）を最適補間値算出方法選択部１０３ｄへ出力する。 For example, when the determination result of the similar direction by the similar direction determination unit 103a is the horizontal direction, the interpolation value calculation method supply unit 103b uses the following interpolation as a plurality of interpolation value calculation methods that refer to the pixels in the horizontal direction. Eight interpolation value calculation methods (interpolation value calculation formulas) from value calculation method 1 to interpolation value calculation method 8 are output to the optimum interpolation value calculation method selection unit 103d.

補間値算出方法１：ｎ＝６、Ｘ＝｛−２，２， −３， −１，１，３｝、Ｙ＝｛０，０，０，０，０，０｝、Ｋ＝｛２，２，−１，１，１，−１｝
補間値算出方法２：ｎ＝４, Ｘ＝｛−２，２， −３， −１｝、Ｙ＝｛０，０，０，０｝、Ｋ＝｛２，２，−１，１｝
補間値算出方法３：ｎ＝４, Ｘ＝｛−２，２，１，３｝、Ｙ＝｛０，０，０，０｝、Ｋ＝｛２，２，１，−１｝
補間値算出方法４：ｎ＝２, Ｘ＝｛−２，２｝、Ｙ＝｛０，０｝、Ｋ＝｛２，２｝
補間値算出方法５：ｎ＝３, Ｘ＝｛−２， −３， −１｝、Ｙ＝｛０，０，０｝、Ｋ＝｛４，−２，２｝
補間値算出方法６：ｎ＝３, Ｘ＝｛２，１，３｝、Ｙ＝｛０，０，０｝、Ｋ＝｛４，２，−２｝
補間値算出方法７：ｎ＝１, Ｘ＝｛−２｝、Ｙ＝｛０｝、Ｋ＝｛４｝
補間値算出方法８：ｎ＝１, Ｘ＝｛２｝、Ｙ＝｛０｝、Ｋ＝｛４｝ Interpolation value calculation method 1: n = 6, X = {− 2, 2, −3, −1, 1, 3}, Y = {0, 0, 0, 0, 0, 0}, K = {2, 2, -1,1,1, -1}
Interpolation value calculation method 2: n = 4, X = {− 2, 2, −3, −1}, Y = {0, 0, 0, 0}, K = {2, 2, −1, 1}
Interpolation value calculation method 3: n = 4, X = {− 2, 2, 1, 3}, Y = {0, 0, 0, 0}, K = {2, 2, 1, −1}
Interpolation value calculation method 4: n = 2, X = {− 2, 2}, Y = {0, 0}, K = {2, 2}
Interpolation value calculation method 5: n = 3, X = {− 2, −3, −1}, Y = {0, 0, 0}, K = {4, −2, 2}
Interpolation value calculation method 6: n = 3, X = {2, 1, 3}, Y = {0, 0, 0}, K = {4, 2, −2}
Interpolation value calculation method 7: n = 1, X = {− 2}, Y = {0}, K = {4}
Interpolation value calculation method 8: n = 1, X = {2}, Y = {0}, K = {4}

なお、上記補間値算出方法１における「Ｘ＝｛−２，２， −３， −１，１，３｝」という表記は、配列Ｘの各値が、Ｘ［０］＝−２、Ｘ［１］＝２、Ｘ［２］＝−３、Ｘ［３］＝−１、Ｘ［４］＝１、Ｘ［５］＝３であることを表す。また、それぞれの補間値算出方法は、パラメータｎ、Ｘ、Ｙ、およびＫを持つ構造体として出力される。 The notation “X = {− 2, 2, −3, −1, 1, 3}” in the interpolation value calculation method 1 indicates that each value of the array X is X [0] = − 2, X [ 1] = 2, X [2] =-3, X [3] =-1, X [4] = 1, and X [5] = 3. Each interpolation value calculation method is output as a structure having parameters n, X, Y, and K.

上記ｎおよび配列Ｘ、Ｙ、Ｋは、補間方法を特定するパラメータであり、座標（ｘ，ｙ）の画素値Ａ（ｘ，ｙ）を算出する処理は次の補間式（１）によりなされる。

The n and the arrays X, Y, and K are parameters that specify the interpolation method, and the process of calculating the pixel value A (x, y) of the coordinates (x, y) is performed by the following interpolation formula (1). .

例えば、補間値算出方法１の補間式は次式（２）のようになる。

ここで、式（２）に示す補間式の第一項は、（ｘ，ｙ）の左右の同色画素の平均を求めることにより基準となる補間値を算出している。そして、第二項は（ｘ，ｙ）の左右の異色画素を用いて微細な凹凸構造を抽出して基準となる補間値に加算することにより微細構造の再現性を向上させている。 For example, the interpolation formula of the interpolation value calculation method 1 is represented by the following formula (2).

Here, the first term of the interpolation equation shown in Equation (2) calculates the reference interpolation value by obtaining the average of the left and right pixels of the same color in (x, y). The second term improves the reproducibility of the fine structure by extracting a fine concavo-convex structure using left and right different color pixels of (x, y) and adding it to a reference interpolation value.

また、補間値算出方法２の補間式は次式（３）のようになる。

この式（３）に示す補間式では、凹凸構造を抽出する第二項が不完全なので補間値算出方法１に比べて補間精度がやや劣る。 Further, the interpolation formula of the interpolation value calculation method 2 is as shown in the following formula (3).

In the interpolation formula shown in this formula (3), the second term for extracting the concavo-convex structure is incomplete, so the interpolation accuracy is slightly inferior to the interpolation value calculation method 1.

また、補間値算出方法５の補間式は次式（４）のようになる。

この式（４）に示す補間式では、基準となる補間値算出で（ｘ，ｙ）の左側の画素しか参照していないので、補間値算出方法１や２よりも補間精度が劣る。このように、補間値算出方法は、補間精度が良い順に並んでいる。 The interpolation formula of the interpolation value calculation method 5 is as shown in the following formula (4).

In the interpolation formula shown in the formula (4), only the pixel on the left side of (x, y) is referred to in the calculation of the standard interpolation value, so that the interpolation accuracy is inferior to the interpolation value calculation methods 1 and 2. As described above, the interpolation value calculation methods are arranged in the order of good interpolation accuracy.

補間生成対象画素設定部１０３ｅは、欠陥画素位置情報記録部１０３ｃから欠陥マップＤ（ｉ，ｊ）（ｉ＝０〜３，ｊ＝０〜３）を読み込み、欠陥マップＤ（ｉ，ｊ）内におけるＤ（ｐ，ｑ）＝１を満たす画素の画素位置（補間生成対象画素相対位置）（ｐ，ｑ）を特定する。例えば、図３に示す欠陥マップＤ（ｉ，ｊ）においては、補間生成対象画素設定部１０３ｅは、（ｐ，ｑ）として（１，１）、（１，２）、（２，１）、（２，２）、（３，２）を補間生成対象画素相対位置として特定する。そして、補間生成対象画素設定部１０３ｅは、欠陥マップＤ（ｉ，ｊ）、および補間生成対象画素相対位置（ｐ，ｑ）を最適補間値算出方法選択部１０３ｄへ出力する。 The interpolation generation target pixel setting unit 103e reads the defect map D (i, j) (i = 0-3, j = 0-3) from the defective pixel position information recording unit 103c, and stores the defect map D (i, j) in the defect map D (i, j). The pixel position of the pixel satisfying D (p, q) = 1 at (interpolation generation target pixel relative position) (p, q) is specified. For example, in the defect map D (i, j) shown in FIG. 3, the interpolation generation target pixel setting unit 103e sets (p, q) to (1,1), (1,2), (2,1), (2, 2) and (3, 2) are specified as the interpolation generation target pixel relative position. Then, the interpolation generation target pixel setting unit 103e outputs the defect map D (i, j) and the interpolation generation target pixel relative position (p, q) to the optimum interpolation value calculation method selection unit 103d.

最適補間値算出方法選択部１０３ｄは、補間値算出方法供給部１０３ｂから入力された補間値算出方法１から８と、補間生成対象画素設定部１０３ｅから入力された欠陥マップＤ（ｉ，ｊ）、および補間生成対象画素相対位置（ｐ，ｑ）を取得する。そして、最適補間値算出方法選択部１０３ｄは、欠陥マップＤ（ｉ，ｊ）を参照しながら、各補間生成対象画素相対位置（ｐ，ｑ）に対して補間値算出方法１から８のいずれが適用可能であるかを判定する。このとき、最適補間値算出方法選択部１０３ｄは、補間値算出方法１から順に当該判定を行う。 The optimum interpolation value calculation method selection unit 103d includes the interpolation value calculation methods 1 to 8 input from the interpolation value calculation method supply unit 103b, the defect map D (i, j) input from the interpolation generation target pixel setting unit 103e, And the interpolation generation target pixel relative position (p, q) is acquired. Then, the optimum interpolation value calculation method selection unit 103d refers to the defect map D (i, j), and any one of the interpolation value calculation methods 1 to 8 for each interpolation generation target pixel relative position (p, q). Determine if applicable. At this time, the optimum interpolation value calculation method selection unit 103d performs the determination in order from the interpolation value calculation method 1.

最適補間値算出方法選択部１０３ｄは、補間値算出方法が参照する画素が全て正常である場合に、その補間値算出方法は適用可能であると判定する。具体的には、最適補間値算出方法選択部１０３ｄは、欠陥マップＤ（ｉ，ｊ）においてｉ，ｊが負または4以上の場合の値を０に設定したときに次式（５）が成立する場合に、その補間値算出方法は適用可能であると判定する。

The optimum interpolation value calculation method selection unit 103d determines that the interpolation value calculation method is applicable when all the pixels referred to by the interpolation value calculation method are normal. Specifically, the optimum interpolation value calculation method selection unit 103d establishes the following expression (5) when the value when i, j is negative or 4 or more is set to 0 in the defect map D (i, j). In this case, it is determined that the interpolation value calculation method is applicable.

最適補間値算出方法選択部１０３ｄは、上記判定を行った結果、最初に適用可能と判定した補間値算出方法を最適補間値算出方法として選択する。例えば、図３に示す欠陥マップＤ（ｉ，ｊ）においては、（ｐ，ｑ）＝（１，１）に対しては補間値算出方法２が最適補間値算出方法として選択され、（ｐ，ｑ）＝（１，２）に対しては補間値算出方法３が最適補間値算出方法として選択される。また、（ｐ，ｑ）＝（２，１）に対しては補間値算出方法５が最適補間値算出方法として選択され、（ｐ，ｑ）＝（２，２）に対しては補間値算出方法４が最適補間値算出方法として選択され、（ｐ，ｑ）＝（３，２）に対しては補間値算出方法６が最適補間値算出方法として選択される。 The optimal interpolation value calculation method selection unit 103d selects, as a result of the above determination, the interpolation value calculation method that is initially determined to be applicable as the optimal interpolation value calculation method. For example, in the defect map D (i, j) shown in FIG. 3, the interpolation value calculation method 2 is selected as the optimal interpolation value calculation method for (p, q) = (1,1), For q) = (1, 2), the interpolation value calculation method 3 is selected as the optimum interpolation value calculation method. Also, the interpolation value calculation method 5 is selected as the optimal interpolation value calculation method for (p, q) = (2, 1), and the interpolation value calculation is performed for (p, q) = (2, 2). Method 4 is selected as the optimal interpolation value calculation method, and interpolation value calculation method 6 is selected as the optimal interpolation value calculation method for (p, q) = (3, 2).

上述したように補間値算出方法は補間精度が良い順に１から並んでおり、最適補間値算出方法選択部１０３ｄは、補間値算出方法１から順番に補間値算出方法が適用可能か否かの判定を行って最適補間値算出方法を選択するため、適用可能な補間値算出方法の中で最も補間精度が良い補間値算出方法を最適補間値算出方法として選択することができる。なお、塊欠陥の幅が４画素以下の場合には、補間値算出方法７と８の少なくともどちらか一方は適用可能と判定されるため、必ず補間値算出方法７か８のいずれかの補間値算出方法が選択されることになる。 As described above, the interpolation value calculation methods are arranged from 1 in the order of good interpolation accuracy, and the optimum interpolation value calculation method selection unit 103d determines whether the interpolation value calculation method can be applied in order from the interpolation value calculation method 1. Therefore, the interpolation value calculation method having the highest interpolation accuracy among the applicable interpolation value calculation methods can be selected as the optimum interpolation value calculation method. When the width of the block defect is 4 pixels or less, it is determined that at least one of the interpolation value calculation methods 7 and 8 is applicable. The calculation method is selected.

最適補間値算出方法選択部１０３ｄは、各補間生成対象画素相対位置（ｐ，ｑ）と、各補間生成対象画素相対位置（ｐ，ｑ）を補間するための最適補間値算出方法とを欠陥画素補間生成部１０３ｆへ出力する。 The optimum interpolation value calculation method selection unit 103d determines each interpolation generation target pixel relative position (p, q) and the optimum interpolation value calculation method for interpolating each interpolation generation target pixel relative position (p, q) as defective pixels. The data is output to the interpolation generation unit 103f.

欠陥画素補間生成部１０３ｆは、最適補間値算出方法選択部１０３ｄから入力される補間生成対象画素相対位置（ｐ，ｑ）とそれを補間するための最適補間値算出方法とを取得する。また、欠陥画素補間生成部１０３ｆは、欠陥画素位置情報記録部１０３ｃから上述した塊欠陥位置（Ｐ，Ｑ）を読み込む。そして、欠陥画素補間生成部１０３ｆは、各補間生成対象画素相対位置（ｐ，ｑ）に対して、最適補間値算出方法のパラメータｎ、Ｘ、Ｙ、およびＫを用いて、次式（６）により欠陥画素Ａ（Ｐ＋ｐ，Ｑ＋ｑ）を補間生成する。

The defective pixel interpolation generation unit 103f acquires the interpolation generation target pixel relative position (p, q) input from the optimal interpolation value calculation method selection unit 103d and the optimal interpolation value calculation method for interpolating the interpolation generation target pixel relative position. Further, the defective pixel interpolation generation unit 103f reads the above-described block defect position (P, Q) from the defective pixel position information recording unit 103c. Then, the defective pixel interpolation generation unit 103f uses the parameters n, X, Y, and K of the optimum interpolation value calculation method for each interpolation generation target pixel relative position (p, q), and uses the following equation (6). Thus, the defective pixel A (P + p, Q + q) is generated by interpolation.

これによって、欠陥画素補間生成部１０３ｆは、最適補間値算出方法選択部１０３ｄで選択された最適補間値算出方法を用いて算出した最適な補間値を用いて補画像データ内の欠陥画素Ａ（Ｐ＋ｐ，Ｑ＋ｑ）を補間生成することができる。 As a result, the defective pixel interpolation generation unit 103f uses the optimum interpolation value calculated using the optimum interpolation value calculation method selected by the optimum interpolation value calculation method selection unit 103d to detect the defective pixel A (P + p) in the complementary image data. , Q + q) can be generated by interpolation.

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）欠陥画素位置情報記録部１０３ｃには、撮像素子の欠陥画素位置情報を記録しておき、補間値算出方法供給部１０３ｂは、欠陥画素における画素値を補間生成するための複数の補間値算出方法を最適補間値算出方法選択部１０３ｄへ供給し、補間生成対象画素設定部１０３ｅは、欠陥画素を補間生成対象画素として設定するようにした。そして、最適補間値算出方法選択部１０３ｄは、補間値算出方法供給部１０３ｂから供給された補間値算出方法の中から、補間生成対象画素設定部１０３ｅによって設定された補間生成対象画素に対して適用可能であって、かつ最も補間精度が高い補間値算出方法を最適補間値算出方法として選択するようにした。そして、欠陥画素補間生成部１０３ｆは、最適補間値算出方法選択部１０３ｄによって選択された最適補間値算出方法を用いて補間生成対象画素における画素値を補間生成するようにした。これによって、画像データの欠陥画素を補間するにあたって、微細構造再現精度や偽色抑制精度を向上することができる。 According to the first embodiment described above, the following operational effects can be obtained.
(1) The defective pixel position information recording unit 103c records defective pixel position information of the image sensor, and the interpolation value calculation method supply unit 103b has a plurality of interpolation values for generating and interpolating pixel values in the defective pixels. The calculation method is supplied to the optimum interpolation value calculation method selection unit 103d, and the interpolation generation target pixel setting unit 103e sets the defective pixel as the interpolation generation target pixel. The optimum interpolation value calculation method selection unit 103d is applied to the interpolation generation target pixel set by the interpolation generation target pixel setting unit 103e from among the interpolation value calculation methods supplied from the interpolation value calculation method supply unit 103b. An interpolation value calculation method that is possible and has the highest interpolation accuracy is selected as the optimum interpolation value calculation method. Then, the defective pixel interpolation generation unit 103f uses the optimal interpolation value calculation method selected by the optimal interpolation value calculation method selection unit 103d to interpolate and generate pixel values in the interpolation generation target pixel. This can improve the fine structure reproduction accuracy and the false color suppression accuracy in interpolating the defective pixels of the image data.

（２）補間値算出方法供給部１０３ｂは、各補間値算出方法について、補間生成対象画素に対する補間参照画素の相対位置情報を最適補間値算出方法選択部１０３ｄへ供給し、最適補間値算出方法選択部１０３ｄは、画像データ内における補間生成対象画素の位置と、補間参照画素の相対位置情報に基づいて、画像データ内における補間参照画素の位置を求め、画像データ内における補間参照画素の位置と、欠陥画素位置情報とに基づいて、補間参照画素が欠陥画素か否かを判定し、補間参照画素が欠陥画素ではないと判定した場合に、その補間値算出方法を適用可能と判定するようにした。これによって、正常画素のみを参照画素として補間を行うことができるため、補間精度を向上することができる。 (2) The interpolation value calculation method supply unit 103b supplies the relative position information of the interpolation reference pixel with respect to the interpolation generation target pixel to the optimum interpolation value calculation method selection unit 103d for each interpolation value calculation method, and selects the optimum interpolation value calculation method. The unit 103d obtains the position of the interpolation reference pixel in the image data based on the position of the interpolation generation target pixel in the image data and the relative position information of the interpolation reference pixel, and the position of the interpolation reference pixel in the image data. Based on the defective pixel position information, whether or not the interpolation reference pixel is a defective pixel is determined, and when it is determined that the interpolation reference pixel is not a defective pixel, the interpolation value calculation method is determined to be applicable . Thereby, since interpolation can be performed using only normal pixels as reference pixels, interpolation accuracy can be improved.

（３）最適補間値算出方法選択部１０３ｄは、補間精度の良い順に補間値算出方法が適用可能か判定し、最初に適用可能と判定した補間値算出方法を最適補助補間値算出方法として選択するようにした。これによって、最も精度の高い補間値算出方法を使用して、欠陥画素を補間することができる。 (3) The optimal interpolation value calculation method selection unit 103d determines whether the interpolation value calculation method is applicable in the order of good interpolation accuracy, and selects the interpolation value calculation method determined to be applicable first as the optimal auxiliary interpolation value calculation method. I did it. Thus, the defective pixel can be interpolated using the most accurate interpolation value calculation method.

（４）類似方向判定部１０３ａは、補間生成対象画素の近傍における画像構造の類似方向を判定し、補間値算出方法供給部１０３ｂは、類似方向判定部１０３ａによって判定された類似方向に基づいて、複数の補間値算出方法を供給するようにした。これによって、補間生成対象画素と類似する方向に存在する画素の画素値を用いて、精度高く補間を行うことが可能となる。 (4) The similar direction determining unit 103a determines the similar direction of the image structure in the vicinity of the interpolation generation target pixel, and the interpolation value calculation method supplying unit 103b is based on the similar direction determined by the similar direction determining unit 103a. A plurality of interpolation value calculation methods are supplied. This makes it possible to perform interpolation with high accuracy using pixel values of pixels existing in a direction similar to the interpolation generation target pixel.

―第２の実施の形態―
第２の実施の形態では、最適補間値算出方法選択部１０３ｄは、補間生成対象画素相対位置（ｐ，ｑ）の周囲の画素のうち、補間生成対象画素相対位置（ｐ，ｑ）と同じ色の画素を用いて補間生成対象画素相対位置（ｐ，ｑ）を補間した後、補間生成対象画素相対位置（ｐ，ｑ）の周囲の画素のうち、補間生成対象画素相対位置（ｐ，ｑ）とは異なる色の画素を用いて補間生成対象画素相対位置（ｐ，ｑ）を補間する。補間値算出方法供給部１０３ｂは、このために用いる補間値算出方法を最適補間値算出方法選択部１０３ｄへ出力する。 -Second embodiment-
In the second embodiment, the optimum interpolation value calculation method selection unit 103d has the same color as the interpolation generation target pixel relative position (p, q) among the pixels around the interpolation generation target pixel relative position (p, q). Are used to interpolate the interpolation generation target pixel relative position (p, q), and among the pixels around the interpolation generation target pixel relative position (p, q), the interpolation generation target pixel relative position (p, q) The interpolation generation target pixel relative position (p, q) is interpolated using pixels of a different color from the above. The interpolation value calculation method supply unit 103b outputs the interpolation value calculation method used for this purpose to the optimum interpolation value calculation method selection unit 103d.

なお、第２の実施の形態では、図１から図３の各図については、第１の実施の形態と同様のため、説明を省略する。また、図２に示す各部１０３ａから１０３ｆのうち、類似方向判定部１０３ａ、欠陥画素位置情報記録部１０３ｃ、および補間生成対象画素設定部１０３ｅによる処理については、第１の実施の形態と同様のため、説明を省略する。 In the second embodiment, the drawings from FIG. 1 to FIG. 3 are the same as those in the first embodiment, and the description thereof is omitted. Also, among the units 103a to 103f shown in FIG. 2, the processing by the similar direction determination unit 103a, the defective pixel position information recording unit 103c, and the interpolation generation target pixel setting unit 103e is the same as in the first embodiment. The description is omitted.

補間値算出方法供給部１０３ｂは、類似方向判定部１０３ａが判定した類似方向に応じた複数の補間値算出方法を最適補間値算出方法選択部１０３ｄへ出力する。例えば、類似方向判定部１０３ａによる類似方向の判定結果が横方向であった場合には、補間値算出方法供給部１０３ｂは、以下の基準補間値算出方法１から３、および各基準補間値算出方法に対応する補助補間値算出方法を最適補間値算出方法選択部１０３ｄへ出力する。 The interpolation value calculation method supply unit 103b outputs a plurality of interpolation value calculation methods corresponding to the similar direction determined by the similar direction determination unit 103a to the optimum interpolation value calculation method selection unit 103d. For example, when the determination result of the similar direction by the similar direction determination unit 103a is the horizontal direction, the interpolation value calculation method supply unit 103b includes the following reference interpolation value calculation methods 1 to 3, and each reference interpolation value calculation method: Is output to the optimum interpolation value calculation method selection unit 103d.

基準補間値算出方法１：ｎ＝２、Ｘ＝｛−２，２｝、Ｙ＝｛０，０｝、Ｋ＝｛２，２｝
基準補間値算出方法１に対応する補助補間値算出方法１：ｎ＝４、Ｘ＝｛−３， −１，１，３｝Ｙ＝｛０，０，０，０｝、Ｋ＝｛−１，１，１，−１｝
基準補間値算出方法１に対応する補助補間値算出方法２：ｎ＝２、Ｘ＝｛−３， −１｝、Ｙ＝｛０，０｝、Ｋ＝｛−１，１｝
基準補間値算出方法１に対応する補助補間値算出方法３：ｎ＝２、Ｘ＝｛１，３｝、Ｙ＝｛０，０｝、Ｋ＝｛１，−１｝
基準補間値算出方法１に対応する補助補間値算出方法４：ｎ＝０、Ｘ＝｛｝，Ｙ＝｛｝、Ｋ＝｛｝ Reference interpolation value calculation method 1: n = 2, X = {− 2, 2}, Y = {0, 0}, K = {2, 2}
Auxiliary interpolation value calculation method 1 corresponding to the reference interpolation value calculation method 1: n = 4, X = {− 3, −1, 1, 3} Y = {0, 0, 0, 0}, K = {− 1 , 1,1, -1}
Auxiliary interpolation value calculation method 2 corresponding to the reference interpolation value calculation method 1: n = 2, X = {− 3, −1}, Y = {0, 0}, K = {− 1, 1}
Auxiliary interpolation value calculation method 3 corresponding to the reference interpolation value calculation method 1: n = 2, X = {1, 3}, Y = {0, 0}, K = {1, −1}
Auxiliary interpolation value calculation method 4 corresponding to the reference interpolation value calculation method 1: n = 0, X = {}, Y = {}, K = {}

基準補間値算出方法２：ｎ＝１、Ｘ＝｛−２｝、Ｙ＝｛０｝、Ｋ＝｛２｝
基準補間値算出方法２に対応する補助補間値算出方法１：ｎ＝２、Ｘ＝｛−３， −１｝、Ｙ＝｛０，０｝、Ｋ＝｛−１，１｝
基準補間値算出方法２に対応する補助補間値算出方法２：ｎ＝０、Ｘ＝｛｝、Ｙ＝｛｝、Ｋ＝｛｝ Reference interpolation value calculation method 2: n = 1, X = {− 2}, Y = {0}, K = {2}
Auxiliary interpolation value calculation method 1 corresponding to the reference interpolation value calculation method 2: n = 2, X = {− 3, −1}, Y = {0, 0}, K = {− 1, 1}
Auxiliary interpolation value calculation method 2 corresponding to the reference interpolation value calculation method 2: n = 0, X = {}, Y = {}, K = {}

基準補間値算出方法３：ｎ＝１、Ｘ＝｛−２｝、Ｙ＝｛０｝、Ｋ＝｛２｝
基準補間値算出方法３に対応する補助補間値算出方法１：ｎ＝２、Ｘ＝｛１，３｝、Ｙ＝｛０，０｝Ｋ＝｛１，−１｝
基準補間値算出方法３に対応する補助補間値算出方法２：ｎ＝０、Ｘ＝｛｝、Ｙ＝｛｝、Ｋ＝｛｝ Reference interpolation value calculation method 3: n = 1, X = {− 2}, Y = {0}, K = {2}
Auxiliary interpolation value calculation method 1 corresponding to the reference interpolation value calculation method 3: n = 2, X = {1, 3}, Y = {0, 0} K = {1, −1}
Auxiliary interpolation value calculation method 2 corresponding to the reference interpolation value calculation method 3: n = 0, X = {}, Y = {}, K = {}

最適補間値算出方法選択部１０３ｄは、補間値算出方法供給部１０３ｂから入力された基準補間値算出方法１から３と、それぞれの基準補間値算出方法に対応する補助補間値算出方法を取得する。また、最適補間値算出方法選択部１０３ｄは、補間生成対象画素設定部１０３ｅから入力された欠陥マップＤ（ｉ，ｊ）、および補間生成対象画素相対位置（ｐ，ｑ）を取得する。 The optimum interpolation value calculation method selection unit 103d acquires the reference interpolation value calculation methods 1 to 3 input from the interpolation value calculation method supply unit 103b and auxiliary interpolation value calculation methods corresponding to the respective reference interpolation value calculation methods. Further, the optimum interpolation value calculation method selection unit 103d acquires the defect map D (i, j) and the interpolation generation target pixel relative position (p, q) input from the interpolation generation target pixel setting unit 103e.

最適補間値算出方法選択部１０３ｄは、上述した第１の実施の形態と同様に、各補間生成対象画素相対位置（ｐ，ｑ）について基準補間値算出方法１から順に適用可能か判定し、最初に適用可能と判定されたものを最適基準補間値算出方法として選択する。次に、最適補間値算出方法選択部１０３ｄは、最適基準補間値算出方法に対応する補助補間値算出方法を１から順に適用可能か判定し、最初に適用可能と判定されたものを最適補助補間値算出方法として選択する。 The optimal interpolation value calculation method selection unit 103d determines whether each interpolation generation target pixel relative position (p, q) can be applied in order from the reference interpolation value calculation method 1 in the same manner as in the first embodiment described above. Is selected as the optimum reference interpolation value calculation method. Next, the optimum interpolation value calculation method selection unit 103d determines whether or not the auxiliary interpolation value calculation method corresponding to the optimum reference interpolation value calculation method can be applied in order from 1, and the first determined to be applicable is the optimum auxiliary interpolation. Select as the value calculation method.

そして、最適補間値算出方法選択部１０３ｄは、各補間生成対象画素相対位置（ｐ，ｑ）と、各補間生成対象画素相対位置（ｐ，ｑ）を補間するための最適基準補間値算出方法および最適補助補間値算出方法とを欠陥画素補間生成部１０３ｆへ出力する。 Then, the optimum interpolation value calculation method selection unit 103d includes an optimum reference interpolation value calculation method for interpolating each interpolation generation target pixel relative position (p, q) and each interpolation generation target pixel relative position (p, q), and The optimal auxiliary interpolation value calculation method is output to the defective pixel interpolation generation unit 103f.

欠陥画素補間生成部１０３ｆは、最適補間値算出方法選択部１０３ｄから入力される補間生成対象画素相対位置（ｐ，ｑ）と、それを補間するための最適基準補間値算出方法および最適補助補間値算出方法とを取得する。また、欠陥画素補間生成部１０３ｆは、欠陥画素位置情報記録部１０３ｃから上述した塊欠陥位置（Ｐ，Ｑ）を読み込む。 The defective pixel interpolation generation unit 103f includes an interpolation generation target pixel relative position (p, q) input from the optimum interpolation value calculation method selection unit 103d, an optimum reference interpolation value calculation method, and an optimum auxiliary interpolation value for interpolating the interpolation generation target pixel relative position (p, q). Get the calculation method. Further, the defective pixel interpolation generation unit 103f reads the above-described block defect position (P, Q) from the defective pixel position information recording unit 103c.

そして、欠陥画素補間生成部１０３ｆは、まず、各補間生成対象画素相対位置（ｐ，ｑ）に対して、最適基準補間値算出方法のパラメータｎ、Ｘ、Ｙ、およびＫを用いて、次式（７）により欠陥画素Ａ（Ｐ＋ｐ，Ｑ＋ｑ）の基準補間値を補間生成する。

Then, the defective pixel interpolation generation unit 103f first uses the parameters n, X, Y, and K of the optimum reference interpolation value calculation method for each interpolation generation target pixel relative position (p, q) to The reference interpolation value of the defective pixel A (P + p, Q + q) is generated by interpolation through (7).

次に、欠陥画素補間生成部１０３ｆは、最適補助補間値算出方法のパラメータｎ、Ｘ、Ｙ、およびＫを用いて、次式（８）により欠陥画素Ａ（Ｐ＋ｐ，Ｑ＋ｑ）に補助補間値を加算する。

Next, the defective pixel interpolation generation unit 103f uses the parameters n, X, Y, and K of the optimal auxiliary interpolation value calculation method to supply auxiliary interpolation values to the defective pixel A (P + p, Q + q) according to the following equation (8). to add.

以上説明した第２の実施の形態によれば、第１の実施の形態における作用効果に加えて、次のような効果を得ることができる。すなわち、最適補間値算出方法を、最適基準補間値算出方法と最適補助補間値算出方法とに分けて算出し、これらを用いて欠陥画素Ａ（Ｐ＋ｐ，Ｑ＋ｑ）を補間生成するようにしたので、補間値算出方法を記録するためのメモリ量や最適補間値選択の演算量を節約するという効果を得ることができる。 According to the second embodiment described above, the following effects can be obtained in addition to the functions and effects of the first embodiment. That is, the optimum interpolation value calculation method is calculated by dividing the optimum reference interpolation value calculation method and the optimum auxiliary interpolation value calculation method, and the defective pixel A (P + p, Q + q) is generated by interpolation using these. It is possible to obtain the effect of saving the memory amount for recording the interpolation value calculation method and the calculation amount for selecting the optimum interpolation value.

さらに、第２の実施の形態によると、補助所補間値を基準補間値と区別して算出するので、補助補間値に対して修正を加えることができる。例えば、補助補間値が大きくなり過ぎないようにクリッピング処理を行うようにしてもよい。具体的には、補助補間値の絶対値が画素値の値域の８分の１程度の所定値以内になるように制限すればよい。そのような処理を行うことにより以下の効果がある。 Furthermore, according to the second embodiment, since the auxiliary interpolation value is calculated separately from the reference interpolation value, the auxiliary interpolation value can be modified. For example, clipping processing may be performed so that the auxiliary interpolation value does not become too large. Specifically, the absolute value of the auxiliary interpolation value may be limited to be within a predetermined value of about one-eighth of the pixel value range. By performing such processing, the following effects are obtained.

欠陥補正を行う箇所の基準補間値の色成分の大きさに対して、補助補間値の色成分が大きい場合、補助補間値として算出される高周波成分の大きさが基準補間値の色成分の実際の高周波成分よりも大きくなり、不適切な構造を加えてしまう場合がある。したがって、補助補間値が大きな値になる場合には、それをそのまま基準補間値に加えるのは望ましくなく、上記処理のように補助補間値の大きさを制限して加えることが望ましい。なお、補助補間値の絶対値が画素値の値域の８分の１程度の所定値以内になるように制限する代わりに、例えば基準補間値の半分程度の値以内に制限するようにしてもよい。 When the color component of the auxiliary interpolation value is larger than the size of the color component of the reference interpolation value at the location where defect correction is performed, the size of the high frequency component calculated as the auxiliary interpolation value is the actual color component of the reference interpolation value. It may be larger than the high-frequency component, and an inappropriate structure may be added. Therefore, when the auxiliary interpolation value becomes a large value, it is not desirable to add it to the reference interpolation value as it is, and it is desirable to add the auxiliary interpolation value while limiting the size as in the above processing. Instead of limiting the absolute value of the auxiliary interpolation value to be within a predetermined value of about one-eighth of the pixel value range, for example, the auxiliary interpolation value may be limited to a value that is about half of the reference interpolation value. .

―変形例―
なお、上述した実施の形態のデジタルカメラは、以下のように変形することもできる。
（１）上述した第１の実施の形態では、例えば、類似方向判定部１０３ａによる類似方向の判定結果が横方向であった場合に、補間値算出方法供給部１０３ｂは、補間値算出方法１から補間値算出方法８の８通りの補間値算出方法を最適補間値算出方法選択部１０３ｄへ出力する例について説明した。また、上述した第２の実施の形態では、例えば、類似方向判定部１０３ａによる類似方向の判定結果が横方向であった場合に、補間値算出方法供給部１０３ｂは、基準補間値算出方法１から３、および各基準補間値算出方法に対応する補助補間値算出方法を最適補間値算出方法選択部１０３ｄへ出力する例について説明した。しかしながら、補間値算出方法供給部１０３ｂが出力する補間値算出方法は、上記各方法に限定されず、公知の様々な補間値算出方法を適用することも可能である。 -Modification-
The digital camera according to the above-described embodiment can be modified as follows.
(1) In the first embodiment described above, for example, when the determination result of the similar direction by the similar direction determination unit 103a is the horizontal direction, the interpolation value calculation method supply unit 103b starts from the interpolation value calculation method 1. The example in which the eight interpolation value calculation methods of the interpolation value calculation method 8 are output to the optimum interpolation value calculation method selection unit 103d has been described. In the second embodiment described above, for example, when the determination result of the similar direction by the similar direction determination unit 103a is the horizontal direction, the interpolation value calculation method supply unit 103b starts from the reference interpolation value calculation method 1. 3 and the example in which the auxiliary interpolation value calculation method corresponding to each reference interpolation value calculation method is output to the optimum interpolation value calculation method selection unit 103d has been described. However, the interpolation value calculation method output from the interpolation value calculation method supply unit 103b is not limited to the above-described methods, and various known interpolation value calculation methods can be applied.

（２）上述した第１および第２の実施の形態では、欠陥画素の補正処理をデジタルカメラ１００上で行う例について説明した。しかしながた、撮像素子を備えた他の画像処理装置、例えばカメラ付き携帯電話やビデオカメラ等で処理を行うようにしてもよい。 (2) In the first and second embodiments described above, the example in which the defective pixel correction process is performed on the digital camera 100 has been described. However, the processing may be performed by another image processing apparatus including an image sensor, such as a mobile phone with a camera or a video camera.

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。 Note that the present invention is not limited to the configurations in the above-described embodiments as long as the characteristic functions of the present invention are not impaired.

デジタルカメラの一実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment of a digital camera. 欠陥画素補正部１０３の構成を示すブロック図である。3 is a block diagram illustrating a configuration of a defective pixel correction unit 103. FIG. 欠陥マップＤ（ｉ，ｊ）の具体例を示す図である。It is a figure which shows the specific example of defect map D (i, j).

符号の説明Explanation of symbols

１００デジタルカメラ、１０１レンズ、１０２撮像素子、１０３欠陥画素補正部、１０３ａ類似方向判定部、１０３ｂ補間値算出方法供給部、１０３ｃ欠陥画素位置情報記録部、１０３ｄ最適補間値算出方法選択部、１０３ｅ補間生成対象画素設定部、１０３ｆ欠陥画素補間生成部、１０４画像処理部、１０５画像記録部 DESCRIPTION OF SYMBOLS 100 Digital camera, 101 Lens, 102 Image sensor, 103 Defective pixel correction part, 103a Similar direction determination part, 103b Interpolation value calculation method supply part, 103c Defective pixel position information recording part, 103d Optimum interpolation value calculation method selection part, 103e Interpolation Generation target pixel setting unit, 103f defective pixel interpolation generation unit, 104 image processing unit, 105 image recording unit

Claims

欠陥画素の位置情報を記録した欠陥画素位置情報記憶手段と、
前記欠陥画素を補間対象画素として設定する補間対象画素設定手段と、
前記補間対象画素の画素値を補間するための複数の補間値算出式の中から、前記補間対象画素に対して適用可能であって、かつ最も補間精度が高い補間値算出式を最適補間値算出式として選択する選択手段と、
前記選択手段によって選択された前記最適補間値算出式を用いて前記補間対象画素の画素値を補間する補間手段とを備えることを特徴とする画像処理装置。 Defective pixel position information storage means for recording the position information of the defective pixels;
Interpolation target pixel setting means for setting the defective pixel as an interpolation target pixel;
Among the plurality of interpolation value calculation formulas for interpolating the pixel value of the interpolation target pixel, an interpolation value calculation formula that is applicable to the interpolation target pixel and has the highest interpolation accuracy is calculated as the optimal interpolation value calculation. A selection means for selecting as an expression;
An image processing apparatus comprising: interpolation means for interpolating a pixel value of the interpolation target pixel using the optimum interpolation value calculation formula selected by the selection means.

請求項１に記載の画像処理装置において、
前記補間値算出式は、基準補間値算出式と補助補間値算出式とを含み、
前記選択手段は、複数の前記基準補間値算出式の中から、前記補間対象画素に対して適用可能であって、かつ最も補間精度が高い基準補間値算出式を最適基準補間値算出式として選択した後、前記最適基準補間値算出式に対応する複数の前記補助補間値算出式の中から、前記補間対象画素に対して適用可能であって、かつ最も補間精度が高い補助補間値算出式を最適補助補間値算出式として選択し、
前記補間手段は、前記最適基準補間値算出式を用いて算出された基準補間値と、前記最適補助補間値算出式を用いて算出された補助補間値とを合わせた値を、前記補間対象画素の画素値とすることを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The interpolation value calculation formula includes a reference interpolation value calculation formula and an auxiliary interpolation value calculation formula,
The selection means selects a reference interpolation value calculation expression that is applicable to the interpolation target pixel and has the highest interpolation accuracy as the optimum reference interpolation value calculation expression from among the plurality of reference interpolation value calculation expressions. After that, among the plurality of auxiliary interpolation value calculation expressions corresponding to the optimum reference interpolation value calculation expression, an auxiliary interpolation value calculation expression that is applicable to the interpolation target pixel and has the highest interpolation accuracy is obtained. Select as the optimal auxiliary interpolation value calculation formula,
The interpolation means uses a value obtained by combining a reference interpolation value calculated using the optimum reference interpolation value calculation formula and an auxiliary interpolation value calculated using the optimum auxiliary interpolation value calculation formula, as the interpolation target pixel. An image processing apparatus having a pixel value of.

請求項１または２に記載の画像処理装置において、
前記選択手段は、画像データ内における前記補間対象画素の位置と、前記補間対象画素に対する補間参照画素の相対位置情報に基づいて、画像データ内における補間参照画素の位置を求め、前記画像データ内における補間参照画素の位置と、前記欠陥画素の位置情報とに基づいて、前記補間参照画素が欠陥画素か否かを判定し、前記補間参照画素が欠陥画素ではないと判定した場合に、その補間値算出式を適用可能と判定することを特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
The selection means obtains the position of the interpolation reference pixel in the image data based on the position of the interpolation target pixel in the image data and the relative position information of the interpolation reference pixel with respect to the interpolation target pixel, and Based on the position of the interpolation reference pixel and the position information of the defective pixel, it is determined whether the interpolation reference pixel is a defective pixel, and when it is determined that the interpolation reference pixel is not a defective pixel, the interpolation value An image processing apparatus that determines that a calculation formula is applicable.

請求項１に記載の画像処理装置において、
前記選択手段は、補間精度の良い順に前記補間値算出式が適用可能かを判定し、最初に適用可能と判定した補間値算出式を前記最適補間値算出式として選択することを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The selection unit determines whether the interpolation value calculation formula is applicable in the order of good interpolation accuracy, and selects the interpolation value calculation formula determined to be applicable first as the optimum interpolation value calculation formula. Processing equipment.

請求項２に記載の画像処理装置において、
前記選択手段は、補間精度の良い順に前記基準補間値算出式が適用可能か判定し、最初に適用可能と判定した基準補間値算出式を前記最適基準補間値算出式として選択することを特徴とする画像処理装置。 The image processing apparatus according to claim 2,
The selection means determines whether the reference interpolation value calculation formula is applicable in the order of good interpolation accuracy, and selects the reference interpolation value calculation formula determined to be applicable first as the optimum reference interpolation value calculation formula. An image processing apparatus.

請求項２または５に記載の画像処理装置において、
前記選択手段は、補間精度の良い順に前記補助補間値算出式が適用可能か判定し、最初に適用可能と判定した補助補間値算出式を前記最適補助補間値算出式として選択することを特徴とする画像処理装置。 The image processing apparatus according to claim 2 or 5,
The selection means determines whether the auxiliary interpolation value calculation formula is applicable in the order of good interpolation accuracy, and selects the auxiliary interpolation value calculation formula determined to be applicable first as the optimum auxiliary interpolation value calculation formula. An image processing apparatus.

請求項１〜６のいずれか一項に記載の画像処理装置において、
前記補間対象画素の近傍における画像構造の類似方向を判定する類似方向判定手段をさらに備え、
前記選択手段は、前記類似方向判定手段によって判定された類似方向に応じた前記複数の補間値算出式の中から、前記最適補間値算出式を選択することを特徴とする画像処理装置。 In the image processing apparatus according to any one of claims 1 to 6,
Similar direction determining means for determining a similar direction of the image structure in the vicinity of the interpolation target pixel,
The image processing apparatus, wherein the selection unit selects the optimal interpolation value calculation formula from the plurality of interpolation value calculation formulas according to the similar direction determined by the similar direction determination unit.

複数の欠陥画素の位置情報を記録した欠陥画素位置情報記憶手段と、
前記欠陥画素の近傍の画素のうち、前記欠陥画素の色と同色の正常な画素を用いて前記欠陥画素の画素値を補間するための複数の補間値算出式の中から、前記欠陥画素に対して適用可能である第１の補間値算出式を選択し、前記欠陥画素の近傍の画素のうち、前記欠陥画素の色と異色の正常な画素を用いて前記欠陥画素の画素値を補間するための複数の補間値算出式の中から、前記欠陥画素に対して適用可能である第２の補間値算出式を選択し、前記欠陥画素の位置情報、前記第１の補間値算出式、および前記第２の補間値算出式を用いて前記欠陥画素の画素値を補間する補間手段とを備えることを特徴とする画像処理装置。 A defective pixel position information storage unit that records position information of a plurality of defective pixels;
Among a plurality of interpolation value calculation formulas for interpolating the pixel value of the defective pixel using a normal pixel having the same color as the defective pixel among the pixels in the vicinity of the defective pixel, The first interpolation value calculation formula that can be applied is selected, and the pixel value of the defective pixel is interpolated using normal pixels different from the color of the defective pixel among the pixels in the vicinity of the defective pixel. A second interpolation value calculation formula applicable to the defective pixel is selected from the plurality of interpolation value calculation formulas, and the position information of the defective pixel, the first interpolation value calculation formula, and the An image processing apparatus comprising: interpolation means for interpolating a pixel value of the defective pixel using a second interpolation value calculation formula.

請求項８に記載の画像処理装置において、
前記補間手段は、前記欠陥画素の色と同色の正常な画素を用いて前記欠陥画素の画素値を補間するための複数の補間値算出式の中に前記欠陥画素に対して適用可能である補間値算出式が複数ある場合には、その中から最も補間精度が高い補間値算出式を前記第１の補間値算出式として選択し、前記欠陥画素の色と異色の正常な画素を用いて前記欠陥画素の画素値を補間するための複数の補間値算出式の中に前記欠陥画素に対して適用可能である補間値算出式が複数ある場合には、その中から最も補間精度が高い補間値算出式を前記第２の補間値算出式として選択することを特徴とする画像処理装置。 The image processing apparatus according to claim 8.
The interpolation means is applicable to the defective pixel in a plurality of interpolation value calculation formulas for interpolating the pixel value of the defective pixel using a normal pixel having the same color as the defective pixel. When there are a plurality of value calculation formulas, an interpolation value calculation formula having the highest interpolation accuracy is selected as the first interpolation value calculation formula from among them, and the normal pixel having a different color from the defective pixel is used. If there are a plurality of interpolation value calculation formulas applicable to the defective pixel among a plurality of interpolation value calculation formulas for interpolating the pixel value of the defective pixel, the interpolation value having the highest interpolation accuracy among them An image processing apparatus, wherein a calculation formula is selected as the second interpolation value calculation formula.

請求項８または９に記載の画像処理装置において、
前記補間手段は、前記欠陥画素の近傍における画像構造の類似方向を判定し、判定した類似方向に応じた複数の補間値算出式の中から、前記第１の補間値算出式と前記第２の補間値算出式とを選択することを特徴とする画像処理装置。 The image processing apparatus according to claim 8 or 9,
The interpolation means determines a similar direction of the image structure in the vicinity of the defective pixel, and the first interpolation value calculation formula and the second interpolation value calculation formula are selected from a plurality of interpolation value calculation formulas according to the determined similar direction. An image processing apparatus, wherein an interpolation value calculation formula is selected.

被写体像を撮像する撮像素子と、
前記撮像素子から出力される画像信号に対して画像処理を行なって画像データを生成する請求項１〜１０のいずれかに記載の画像処理装置とを備え、
前記画像処理装置は、前記撮像素子から出力される画像信号を用いて、前記撮像素子に含まれる欠陥画素の画素値を補間して、前記画像データを生成することを特徴とする撮像装置。 An image sensor for capturing a subject image;
The image processing apparatus according to any one of claims 1 to 10, wherein image processing is performed on an image signal output from the image sensor to generate image data.
The image processing apparatus generates the image data by interpolating pixel values of defective pixels included in the image sensor using an image signal output from the image sensor.