JP2001157217A - Color interpolation method for single board type solid- state imaging device and recording medium for recording color interpolation processing program for the single board type solid-state imaging device - Google Patents

Abstract

PROBLEM TO BE SOLVED: To reduce a computing amount even while realizing an image with high quality through the use of principles of the bi-cubic method and to select values easily processed by a computer for coefficients used for arithmetic operations. SOLUTION: A pixel actually in existence (to be a pixel corresponding to cyan C33) is selected for a position to which color interpolation is applied. The color component cyan C33 of the pixel (target pixel) is used for the color component thereof, as to yellow, magenta, green, a pixel rage of 4×4 is set around the target pixel for each of the color components. Then pixel lines A1-A4 in row directions and pixel lines B1-B4 in column directions are set within a 4×4 pixel range of a color component (let it be yellow) to obtain 4 coefficients on the basis of distances Dy1-Dy4 between each row direction pixel line and the target pixel and 4 coefficients on the basis of distances Dx1-Dx4 between each column direction pixel line and the target pixel and the value of the yellow of the target pixel is obtained through a matrix arithmetic operation by using the coefficients and the pixel values in existence within the 4×4 pixel range. The other color components can similarly be obtained.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は単板式固体撮像素子
の色補間を行う方法に係わり、特に、バイキュービック
（Bi Cubic）法の原理を用いた色補間を少ない演算量で
可能とする単板式固体撮像素子の色補間方法および単板
式固体撮像素子の色補間処理プログラムを記録した記録
媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for performing color interpolation of a single-chip solid-state imaging device, and more particularly to a single-chip solid-state imaging device capable of performing color interpolation using the principle of the Bi Cubic method with a small amount of calculation. The present invention relates to a color interpolation method for a solid-state imaging device and a recording medium that stores a color interpolation processing program for a single-chip solid-state imaging device.

【０００２】[0002]

【従来の技術】ディジタルカメラなど画像をディジタル
データとして取り出すことのできる画像入力装置には、
ＣＣＤ（Charge Coupled Device）と呼ばれる固体撮像
素子が用いられている。このＣＣＤは一般の家庭用機器
では、単一のＣＣＤから３つの基本となる色を取り出
す、いわゆる単板式方式が採用されている。2. Description of the Related Art Image input devices such as a digital camera capable of extracting an image as digital data include:
A solid-state imaging device called a CCD (Charge Coupled Device) is used. In a general household appliance, a so-called single-panel type CCD is used for extracting three basic colors from a single CCD.

【０００３】この単板式のＣＣＤは基本となる色（ここ
では補色を用いて説明する）として、シアン（Ｃ）、イ
エロ（Ｙ）、マゼンタ（Ｍ）とそれにグリーン（Ｇ）を
加えた４つの色を１セットとしてたとえば図４に示すよ
うにそれぞれの画素対応に２次元平面的な配列となって
いる。This single-plate CCD has four basic colors (described here using complementary colors): cyan (C), yellow (Y), magenta (M), and green (G). As a set of colors, for example, as shown in FIG. 4, a two-dimensional planar array is provided for each pixel.

【０００４】この図４において、今、シアンＣ２２に対
応する画素部分に注目して考えると、この画素（注目画
素という）における色はシアンのみの色情報しか得られ
ないことになる。したがって、この部分の色再現を行う
には、近傍の色を用いた色補間を行う必要がある。一例
としては、マゼンタはシアンＣ２２の直ぐ上にあるマゼ
ンタＭ１２と直ぐ下にあるマゼンタＭ２２を用いて、両
者の値を足して２で割るいわゆる単純平均によって求め
た値を注目画素のマゼンタの値とする。なお、ここでの
説明では、Ｃ２２やＭ１２などの数値「２２」や「１
２」は、図４において、それぞれの色成分の座標上の位
置を示しているが、便宜的にれぞれの色成分の値（画素
値）を示すものとする、これは、他の色においても同様
であり、以下の説明でもこれを用いる。In FIG. 4, when attention is paid to a pixel portion corresponding to cyan C22, only the color information of cyan in the pixel (referred to as a pixel of interest) can be obtained. Therefore, in order to reproduce the color of this portion, it is necessary to perform color interpolation using nearby colors. As an example, magenta uses magenta M12 immediately above cyan C22 and magenta M22 immediately below cyan C22, and adds the values of the two and divides by 2 to obtain the value obtained by so-called simple averaging as the value of the magenta of the pixel of interest. I do. In the description here, numerical values “22” and “1” such as C22 and M12 are used.
In FIG. 4, “2” indicates the position on the coordinates of each color component. For convenience, it indicates the value (pixel value) of each color component. And the same is used in the following description.

【０００５】同様に、イエロはシアンＣ２２の左隣にあ
るイエロＹ２１と右隣にあるイエロＹ２２を用いて、両
者の値を足して２で割る単純平均によって得られた値を
注目画素Ｃ２２のイエロの値とする。Similarly, yellow uses the yellow Y21 to the left of cyan C22 and the yellow Y22 to the right of cyan C22, adds the values of both, and divides the value obtained by simple averaging by 2 to the yellow of the pixel of interest C22. Value.

【０００６】同様に、グリーンはシアンＣ２２の斜め左
上にあるグリーンＧ１１と斜め右上にあるグリーンＧ１
２、斜め左下にあるグリーンＧ２１と斜め右下にるグリ
ーンＧ２２をいて、これらの値を足して４で割る単純平
均によって得られた値を注目画素のグリーンの値とす
る。Similarly, green is green G11 at the upper left corner of cyan C22 and green G1 at the upper right corner of cyan C22.
2. There is a green G21 at the diagonally lower left and a green G22 at the diagonally lower right, and a value obtained by a simple average of adding these values and dividing by 4 is defined as the green value of the target pixel.

【０００７】このように、注目画素を中心とした所定の
画素範囲に存在するそれぞれの画素対応の色成分を用い
て注目画素の色補間を行うようにしている。As described above, the color interpolation of the target pixel is performed using the color components corresponding to the respective pixels existing in the predetermined pixel range centering on the target pixel.

【０００８】また、これとは別にたとえば、もともと存
在していない部分の画素に対する色補間を行うこともあ
る。これは画素データを内挿することによって、主に、
画像の平滑化とともに画像の鮮鋭化を図るためであり、
その手法として従来より、バイキュービック法と呼ばれ
る補間方法がある。このバイキュービック法について以
下に簡単に説明する。Alternatively, for example, color interpolation may be performed on pixels that do not exist originally. This is mainly by interpolating the pixel data,
This is for sharpening the image as well as smoothing the image.
Conventionally, there is an interpolation method called a bicubic method. The bicubic method will be briefly described below.

【０００９】バイキュービックは、本来、無限に広がる
範囲からそれぞれの色成分ごとに画素補間演算を行う
が、処理を簡略化するために、それぞれの色成分ごとに
４×４の画素範囲を設定して行うことが一般的に行われ
ている。In the bicubic, a pixel interpolation operation is originally performed for each color component from an infinitely wide range, but in order to simplify the processing, a 4 × 4 pixel range is set for each color component. It is generally done.

【００１０】たとえば、ある１つの色成分について図５
に示すような４×４の画素範囲を設定し、その範囲内に
存在するそれぞれの画素の色成分の値（画素値）をＱ１
１，Ｑ１２，・・・，Ｑ４４で表すとする。このような
設定において、周囲４画素の中心に位置する格子点ｐ
（この場合は、Ｑ２２，Ｑ２３，Ｑ３２，Ｑ３３の中心
位置）に画素補間することを考える。一般に、求めるべ
き点の画素値Ｇｐは、次に示す行列式で求めることがで
きる。For example, FIG. 5 shows one color component.
Is set as a 4 × 4 pixel range, and the value (pixel value) of the color component of each pixel within the range is set to Q1.
1, Q12,..., Q44. In such a setting, the grid point p located at the center of the surrounding four pixels
(In this case, the pixel interpolation to Q22, Q23, Q32, and Q33) is considered. Generally, the pixel value Gp of a point to be obtained can be obtained by the following determinant.

【００１１】[0011]

【数１】 (Equation 1)

【００１２】この行列式における行ベクトル（ｙ１，ｙ
２，ｙ３，ｙ４）と列ベクトル（ｘ１，ｘ２，ｘ３，ｘ
４）は、色補間すべき点からその色成分に対応する既存
の画素の存在する列方向ライン及び行方向ラインまでの
距離から決まる係数である。The row vector (y1, y
2, y3, y4) and column vector (x1, x2, x3, x
4) is a coefficient determined from a distance from a point to be color-interpolated to a column direction line and a row direction line where existing pixels corresponding to the color component exist.

【００１３】これを図５によって説明すると、ｙ１は格
子点ｐと行方向画素ラインＡ１との間の距離Ｄｙ１によ
って決まる係数、ｙ２は格子点ｐと行方向画素ラインＡ
２との間の距離Ｄｙ２によって決まる係数、ｙ３は格子
点ｐと行方向画素ラインＡ３との間の距離Ｄｙ３によっ
て決まる係数、ｙ４は格子点ｐと行方向画素ラインＡ４
との間の距離Ｄｙ４によって決まる係数である。また、
ｘ１は格子点ｐと列方向画素ラインＢ１との間の距離Ｄ
ｘ１によって決まる係数、ｘ２は格子点ｐと列方向画素
ラインＢ２との間の距離Ｄｘ２によって決まる係数、ｘ
３は格子点ｐと列方向画素ラインＢ３との間の距離Ｄｘ
３によって決まる係数、ｘ４は格子点ｐと列方向画素ラ
インＢ４との間の距離Ｄｘ４によって決まる係数であ
る。Referring to FIG. 5, y1 is a coefficient determined by the distance Dy1 between the grid point p and the row-direction pixel line A1, and y2 is a coefficient determined by the grid point p and the row-direction pixel line A1.
2, a coefficient determined by the distance Dy3 between the grid point p and the row direction pixel line A3, and y4 is a coefficient determined by the distance Dy3 between the grid point p and the row direction pixel line A4.
Is a coefficient determined by the distance Dy4 between. Also,
x1 is the distance D between the grid point p and the pixel line B1 in the column direction.
a coefficient determined by x1, x2 is a coefficient determined by a distance Dx2 between the grid point p and the column-direction pixel line B2, x
3 is the distance Dx between the grid point p and the column-direction pixel line B3
X4 is a coefficient determined by the distance Dx4 between the grid point p and the column-direction pixel line B4.

【００１４】そして、これらそれぞれの係数ｙ１，ｙ
２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を、ここでは
これらを代表して係数ｋと表し、かつ、上述のそれぞれ
の距離Ｄｙ１、 Ｄｙ１、 Ｄｙ１、 Ｄｙ１とＤｘ１、
Ｄｘ１、 Ｄｘ１、 Ｄｘ１を代表して距離Ｄと表せば、
定数ｋは、距離Ｄの大きさに応じて Ｋ＝１−２｜Ｄ｜２＋｜Ｄ｜３ （ただし、０≦｜Ｄ｜＜１） （ ２） Ｋ＝４−８｜Ｄ｜＋５｜Ｄ｜２−｜Ｄ｜３ （ただし、１≦｜Ｄ｜＜２） （ ３） Ｋ＝０ （ただし、２≦｜Ｄ｜） （ ４） で求められる。The coefficients y1, y
2, y3, y4 and x1, x2, x3, x4 are represented here as a coefficient k, and the respective distances Dy1, Dy1, Dy1, Dy1 and Dx1,
If Dx1, Dx1, and Dx1 are represented as distance D,
The constant k is given by K = 1-2 | D | 2+ | D | 3 (where 0 ≦ | D | <1) (2) K = 4-8 | D | +5 | D | 2- | D | 3 (1 ≦ | D | <2) (3) K = 0 (2 ≦ | D |) (4)

【００１５】つまり、距離Ｄが０≦｜Ｄ｜＜１である場
合には（２）式を用い、１≦｜Ｄ｜＜２である場合には
（３）式を用い、２≦｜Ｄ｜である場合には（４）式を
用いる。That is, when the distance D satisfies 0 ≦ | D | <1, the expression (2) is used. When 1 ≦ | D | <2, the expression (3) is used. If |, equation (4) is used.

【００１６】なお、距離Ｄは、行方向および列方向のそ
れぞれの画素ライン間隔をＤ＝１としている。したがっ
て、画素ライン間隔の１／２であればＤ＝0.5、画素ラ
イン間隔の１／４であればＤ＝0.25とする。たとえば、
図５において、格子点ｐと行方向画素ラインＡ１との間
の距離Ｄ（この場合はＤｙ１で表される）はＤｙ１=1.5
であり、格子点ｐと行方向画素ラインＡ２との間の距離
Ｄ（この場合はＤｙ２で表される）はＤｙ２=0.5であ
る。また、格子点ｐと列方向画素ラインＢ１との間の距
離Ｄ（この場合はＤｘ１で表される）はＤｘ１=1.5であ
り、格子点ｐと列方向画素ラインＢ２との間の距離Ｄ
（この場合はＤｘ２で表される）はＤｘ２=0.5である。The distance D is set such that the pixel line interval in the row direction and the column direction is D = 1. Therefore, if the pixel line interval is ２, D = 0.5, and if it is 画素, D = 0.25. For example,
In FIG. 5, the distance D (in this case, represented by Dy1) between the grid point p and the row-direction pixel line A1 is Dy1 = 1.5.
And the distance D between the grid point p and the row-direction pixel line A2 (in this case, represented by Dy2) is Dy2 = 0.5. The distance D between the lattice point p and the column-direction pixel line B1 (in this case, represented by Dx1) is Dx1 = 1.5, and the distance D between the lattice point p and the column-direction pixel line B2.
(Represented by Dx2 in this case) is Dx2 = 0.5.

【００１７】このような距離をその値の大きさに応じて
上述の（２）〜（４）式のいずれかに代入することによ
って、係数ｙ１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ
３，ｘ４が求められる。以下、具体例により説明する。By substituting such a distance into any of the above equations (2) to (4) according to the magnitude of the value, the coefficients y1, y2, y3, y4 and x1, x2, x
3, x4 are required. Hereinafter, a specific example will be described.

【００１８】マトリクス状の画素配列のそれぞれの画素
に対し図６に示すような色成分配列（図４と同じ色成分
配列）となっている単板式固体撮像素子を考える。この
ような単板式固体撮像素子において、格子点ｐの位置に
画素補間（色補間）を行う例について説明する。なお、
この格子点ｐは、その周囲にある４画素（Ｇ２２、Ｍ２
３，Ｙ３２．Ｃ３３）の中心に位置しているものとす
る。Consider a single-chip solid-state imaging device having a color component array as shown in FIG. 6 (the same color component array as in FIG. 4) for each pixel in a matrix pixel array. An example in which pixel interpolation (color interpolation) is performed at the position of the lattice point p in such a single-plate solid-state imaging device will be described. In addition,
This grid point p is composed of four pixels (G22, M2
3, Y32. C33).

【００１９】この格子点ｐを中心にしてシアン、マゼン
タ、イエロ、グリーンそれぞれについて４画素×４画素
の１６画素を用いて格子点ｐにおけるそれぞれの色成分
（シアンＣｐ、イエロＹｐ、マゼンタＭｐ、グリーンＧ
ｐ）の値を求める。Each of the color components (cyan Cp, yellow Yp, magenta Mp, green) at grid point p using 16 pixels of 4 pixels × 4 pixels for each of cyan, magenta, yellow, and green around grid point p. G
Find the value of p).

【００２０】すなわち、シアンについては、図６におい
て、Ｃ１１〜Ｃ１４、 Ｃ２１〜Ｃ２４、 Ｃ３１〜Ｃ３
４、 Ｃ４１〜Ｃ４４でなる４画素×４画素の１６画
素、イエロについては同様にＹ１１〜Ｙ１４、Ｙ２１〜
Ｙ２４、 Ｙ３１〜Ｙ３４、Ｙ４１〜Ｙ４４でなる４画
素×４画素の１６画素、マゼンタについては同様にＭ１
１〜Ｍ１４、 Ｍ２１〜Ｍ２４、 Ｍ３１〜Ｍ３４、Ｍ４
１〜Ｍ４４でなる４画素×４画素の１６画素、 グリー
ンについても同様にＧ１１〜Ｇ１４、Ｇ２１〜Ｇ２４、
Ｇ３１〜Ｇ３４、Ｇ４１〜Ｇ４４でなる４画素×４画素
の１６画素を用いるものとする。That is, for cyan, in FIG. 6, C11 to C14, C21 to C24, C31 to C3
4, 16 pixels of 4 pixels × 4 pixels composed of C41 to C44, and similarly for yellow, Y11 to Y14, Y21 to Y21
Y24, Y31 to Y34, Y41 to Y44, 4 pixels × 4 pixels, 16 pixels, magenta is similarly M1
1 to M14, M21 to M24, M31 to M34, M4
16 pixels of 4 × 4 pixels consisting of 1 to M44, and similarly for green, G11 to G14, G21 to G24,
It is assumed that 16 pixels of 4 × 4 pixels G31 to G34 and G41 to G44 are used.

【００２１】このような範囲を設定したとき、格子点ｐ
におけるシアンＣｐは、When such a range is set, the lattice point p
Is Cp in

【００２２】[0022]

【数２】 (Equation 2)

【００２３】の行列式で表される。Is represented by the following determinant.

【００２４】この（５）式における係数ｙ１，ｙ２，ｙ
３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を求める。なお、こ
こでは、格子点ｐにおけるシアンの値Ｃｐを求めるので
あるから、図６に示すように、Ｃ１１〜Ｃ１４の存在す
る画素ラインを行方向画素ラインＡ１、 Ｃ２１〜Ｃ２
４の存在する画素ラインを行方向画素ラインＡ２、 Ｃ
３１〜Ｃ３４の存在する画素ラインを行方向画素ライン
Ａ３、 Ｃ４１〜Ｃ４４の存在する画素ラインを行方向
画素ラインＡ４とし、Ｃ１１〜Ｃ４１の存在する画素ラ
インを列方向画素ラインＢ１、 Ｃ１２〜Ｃ４２の存在
する画素ラインを列方向画素ラインＢ２、 Ｃ１３〜Ｃ
４３の存在する画素ラインを列方向画素ラインＢ３、
Ｃ１４〜Ｃ４４の存在する画素ラインを列方向画素ライ
ンＢ４とする。The coefficients y1, y2, y in the equation (5)
3, y4 and x1, x2, x3, x4 are obtained. In this case, since the cyan value Cp at the grid point p is determined, as shown in FIG. 6, the pixel lines where C11 to C14 exist are replaced with the row direction pixel lines A1, C21 to C2.
4 are located in the row direction pixel lines A2, C
A pixel line where 31 to C34 is present is a row direction pixel line A3, a pixel line where C41 to C44 is present is a row direction pixel line A4, and a pixel line where C11 to C41 is present is a column direction pixel line B1, C12 to C42. The existing pixel lines are defined as column-direction pixel lines B2, C13 to C13.
The pixel line in which 43 exists is defined as a column-direction pixel line B3,
The pixel line where C14 to C44 exists is defined as a column direction pixel line B4.

【００２５】ここで、係数ｙ１は格子点ｐと行方向画素
ラインＡ１との間の距離Ｄｙ１によって求められる。つ
まり、この場合、Ｄｙ１はＤｙ１＝1.75であるので、上
述した（２）〜（４）式のうち（３）式を用いる。これ
によって、ｙ１＝−0.046875と求められる。Here, the coefficient y1 is obtained from the distance Dy1 between the grid point p and the row-direction pixel line A1. That is, in this case, since Dy1 is 1.75, Dy1 is used, and the expression (3) among the expressions (2) to (4) is used. Thus, y1 = −0.046875 is obtained.

【００２６】また、係数ｙ２は格子点ｐと行方向画素ラ
インＡ２との間の距離Ｄｙ２によって求められる。つま
り、この場合、Ｄｙ２はＤｙ２＝0.75であるので、上述
した（２）〜（４）式のうち（２）式を用いる。これに
よって、ｙ２＝0.296875と求められる。The coefficient y2 is obtained from the distance Dy2 between the grid point p and the row pixel line A2. That is, in this case, Dy2 is Dy2 = 0.75, and therefore, Expression (2) of the above Expressions (2) to (4) is used. Thus, y2 = 0.296875 is obtained.

【００２７】また、係数ｙ３は格子点ｐと行方向画素ラ
インＡ３との間の距離Ｄｙ３によって求められる。つま
り、この場合、Ｄｙ３はＤｙ３＝0.25であるので、上述
した（２）〜（４）式のうち（２）式を用いる。これに
よって、ｙ３＝0.890625と求められる。The coefficient y3 is obtained from the distance Dy3 between the grid point p and the row pixel line A3. That is, in this case, since Dy3 is Dy3 = 0.25, the expression (2) among the above expressions (2) to (4) is used. Thereby, y3 = 0.906625 is obtained.

【００２８】また、係数ｙ４は格子点ｐと行方向画素ラ
インＡ４との間の距離Ｄｙ４によって求められる。つま
り、この場合、Ｄｙ４はＤｙ４＝1.25であるので、上述
した（２）〜（４）式のうち（３）式を用いる。これに
よって、ｙ４＝−0.140625と求められる。The coefficient y4 is obtained from the distance Dy4 between the grid point p and the row pixel line A4. That is, in this case, since Dy4 is Dy4 = 1.25, the expression (3) among the above expressions (2) to (4) is used. Thus, y4 = −0.140625 is obtained.

【００２９】同様に、係数ｘ１，ｘ２，ｘ３，ｘ４を求
める。係数ｘ１は格子点ｐと列方向画素ラインＢ１との
間の距離Ｄｘ１によって求められる。つまり、この場
合、Ｄｘ１はＤｘ１＝1.75であるので、上述した（２）
〜（４）式のうち（３）式を用いる。これによって、ｘ
１＝−0.046875と求められる。Similarly, coefficients x1, x2, x3 and x4 are obtained. The coefficient x1 is obtained from the distance Dx1 between the grid point p and the pixel line B1 in the column direction. That is, in this case, since Dx1 is Dx1 = 1.75, the above-mentioned (2)
Expression (3) among Expressions (4) to (4) is used. This gives x
1 = −0.046875.

【００３０】また、係数ｘ２は格子点ｐと列方向画素ラ
インＢ２との間の距離Ｄｘ２によって求められる。つま
り、この場合、Ｄｘ２はＤｘ２＝0.75であるので、上述
した（２）〜（４）式のうち（２）式を用いる。これに
よって、ｘ２＝0.296875と求められる。The coefficient x2 is obtained from the distance Dx2 between the grid point p and the pixel line B2 in the column direction. That is, in this case, since Dx2 is Dx2 = 0.75, Expression (2) of the above Expressions (2) to (4) is used. Thus, x2 = 0.296875 is obtained.

【００３１】また、係数ｘ３は格子点ｐと列方向画素ラ
インＢ３との間の距離Ｄｘ３によって求められる。つま
り、この場合、Ｄｘ３はＤｘ３＝0.25であるので、上述
した（２）〜（４）式のうち（２）式を用いる。これに
よって、ｘ３＝0.890625と求められる。The coefficient x3 is obtained from the distance Dx3 between the grid point p and the pixel line B3 in the column direction. That is, in this case, since Dx3 is Dx3 = 0.25, the expression (2) among the above expressions (2) to (4) is used. As a result, x3 = 0.90625 is obtained.

【００３２】また、係数ｘ４は格子点ｐと列方向画素ラ
インＢ４との間の距離Ｄｙ４によって求められる。つま
り、この場合、Ｄｘ４はＤｘ４＝1.25であるので、上述
した（２）〜（４）式のうち（３）式を用いる。これに
よって、ｘ４＝−0.140625と求められる。The coefficient x4 is obtained from the distance Dy4 between the grid point p and the pixel line B4 in the column direction. That is, in this case, since Dx4 is Dx4 = 1.25, Expression (3) among Expressions (2) to (4) described above is used. Thus, x4 = −0.140625 is obtained.

【００３３】このようにして求められた係数ｙ１，ｙ
２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を上述の行列
式（５）式に代入して行列演算を行えば、格子点ｐにお
けるシアンＣｐが求められる。The coefficients y1, y thus obtained
By substituting 2, y3, y4 and x1, x2, x3, x4 into the above-described determinant (5) and performing a matrix operation, cyan Cp at the lattice point p can be obtained.

【００３４】次に、格子点ｐ１におけるイエロＹｐを求
める。このイエロＹｐは、行列式Next, the yellow Yp at the lattice point p1 is determined. This yellow Yp is a determinant

【００３５】[0035]

【数３】 (Equation 3)

【００３６】で表される。Is represented by

【００３７】この（６）式におけるそれぞれの係数ｙ
１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を求め
る。なお、ここでは、イエロについて求めるのであるか
ら、図７に示すように、イエロＹ１１〜Ｙ１４の存在す
る画素ラインを行方向画素ラインＡ１、 Ｙ２１〜Ｙ２
４の存在する画素ラインを行方向画素ラインＡ２、 Ｙ
３１〜Ｙ３４の存在する画素ラインを行方向画素ライン
Ａ３、Ｙ４１〜Ｙ４４の存在する画素ラインを行方向画
素ラインＡ４とし、Ｙ１１〜Ｙ４１の存在する画素ライ
ンを列方向画素ラインＢ１、 Ｙ１２〜Ｙ４２の存在す
る画素ラインを列方向画素ラインＢ２、Ｙ１３〜Ｙ４３
の存在する画素ラインを列方向画素ラインＢ３、Ｙ１４
〜Ｙ４４の存在する画素ラインを列方向画素ラインＢ４
とする。Each coefficient y in the equation (6)
1, y2, y3, y4 and x1, x2, x3, x4 are obtained. In this case, since the yellow is obtained, the pixel lines in which the yellows Y11 to Y14 exist are replaced with the row direction pixel lines A1, Y21 to Y2 as shown in FIG.
4 is defined as a row-direction pixel line A2, Y
A pixel line where 31 to Y34 is present is a row direction pixel line A3, a pixel line where Y41 to Y44 is present is a row direction pixel line A4, and a pixel line where Y11 to Y41 is present is a column direction pixel line B1 and Y12 to Y42. The existing pixel lines are defined as column-direction pixel lines B2, Y13 to Y43.
Are located in the column direction pixel lines B3 and Y14.
To the pixel line B4 in the column direction.
And

【００３８】ここで、係数ｙ１は格子点ｐと行方向画素
ラインＡ１との間の距離Ｄｙ１によって求められる。つ
まり、この場合、Ｄｙ１はＤｙ１＝1.75であるので、上
述した（２）〜（４）式のうち（３）式を用いる。これ
によって、 ｙ１＝−0.046875と求められる。Here, the coefficient y1 is obtained from the distance Dy1 between the grid point p and the row-direction pixel line A1. That is, in this case, since Dy1 is 1.75, Dy1 is used, and the expression (3) among the expressions (2) to (4) is used. Thus, y1 = −0.046875 is obtained.

【００３９】また、係数ｙ２は格子点ｐと行方向画素ラ
インＡ２との間の距離Ｄｙ２によって求められる。つま
り、この場合、Ｄｙ２はＤｙ２＝0.75であるので、上述
した（２）〜（４）式のうち（２）式を用いる。これに
よって、ｙ２＝0.296875と求められる。The coefficient y2 is obtained from the distance Dy2 between the grid point p and the row-direction pixel line A2. That is, in this case, Dy2 is Dy2 = 0.75, and therefore, Expression (2) of the above Expressions (2) to (4) is used. Thus, y2 = 0.296875 is obtained.

【００４０】また、係数ｙ３は格子点ｐと行方向画素ラ
インＡ３との間の距離Ｄｙ３によって求められる。この
場合、Ｄｙ３はＤｙ３＝0.25であるので、上述した
（２）〜（４）式のうち（２）式を用いる。これによ
り、ｙ３＝0.890625と求められる。The coefficient y3 is obtained from the distance Dy3 between the grid point p and the row pixel line A3. In this case, since Dy3 is Dy3 = 0.25, Expression (2) among Expressions (2) to (4) described above is used. Thus, y3 = 0.890625 is obtained.

【００４１】また、係数ｙ４は点ｐと行方向画素ライン
Ａ４との間の距離Ｄｙ４によって求められる。この場
合、Ｄｙ４はＤｙ３＝1.25であるので、上述した（２）
〜（４）式のうち（３）式を用いる。これにより、同様
にして計算すると、ｙ４＝−0.140625と求められる。The coefficient y4 is obtained from the distance Dy4 between the point p and the pixel line A4 in the row direction. In this case, since Dy4 is Dy3 = 1.25, the above-mentioned (2)
Expression (3) among Expressions (4) to (4) is used. Thus, when similarly calculated, y4 = −0.140625 is obtained.

【００４２】同様に、係数ｘ１，ｘ２，ｘ３，ｘ４を求
めるが、この係数ｘ１，ｘ２，ｘ３，ｘ４も係数ｙ１，
ｙ２，ｙ３，ｙ４と同じようにして求められる。ただ
し、この場合は、格子点ｐと列方向画素ラインＢ１との
間の距離Ｄｘ１（Ｄｘ１＝1.25）、格子点ｐと列方向画
素ラインＢ２との間の距離Ｄｘ２（Ｄｘ２＝0.25）、格
子点ｐと列方向画素ラインＢ３との間の距離Ｄｘ３（Ｄ
ｘ３＝0.75）、格子点ｐと列方向画素ラインＢ４との間
の距離Ｄｘ４（Ｄｘ４＝1.75）の距離に基づき、（２）
式〜（４）式のいずれかを用いて係数ｘ１，ｘ２，ｘ
３，ｘ４が求められる。ここで、 ｘ１＝−0.140625、
ｘ２＝0.890625、ｘ３＝0.296875、ｘ４＝−0.046875と
求められる。Similarly, the coefficients x1, x2, x3, and x4 are obtained.
It is obtained in the same way as y2, y3, y4. However, in this case, the distance Dx1 between the grid point p and the column direction pixel line B1 (Dx1 = 1.25), the distance Dx2 between the grid point p and the column direction pixel line B2 (Dx2 = 0.25), the grid point distance Dx3 (D
x3 = 0.75), based on the distance Dx4 (Dx4 = 1.75) between the grid point p and the column-direction pixel line B4, (2)
Coefficients x1, x2, x using any of Equations (4) to (4)
3, x4 are required. Here, x1 = −0.140625,
x2 = 0.890625, x3 = 0.296875, x4 = -0.046875.

【００４３】このようにして求められた係数ｙ１，ｙ
２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を上述の行列
式（６）式に代入して行列演算を行えば、格子点ｐにお
けるイエロＹｐが求められる。Coefficients y1, y thus obtained
By substituting 2, y3, y4 and x1, x2, x3, x4 into the above determinant (6), and performing a matrix operation, the yellow Yp at the lattice point p is obtained.

【００４４】次に、格子点ｐ１におけるマゼンタＭｐを
求める。マゼンタＭｐは行列式Next, the magenta Mp at the lattice point p1 is determined. Magenta Mp is determinant

【００４５】[0045]

【数４】 (Equation 4)

【００４６】で表される。Is represented by

【００４７】この（７）式におけるそれぞれの係数ｙ
１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を求め
る。ここでは、格子点ｐにおけるマゼンタの値Ｍｐを求
めるのであるから、図８に示すように、マゼンタＭ１１
〜Ｍ１４の存在する画素ラインを行方向画素ラインＡ
１、Ｍ２１〜Ｍ２４の存在する画素ラインを行方向画素
ラインＡ２、Ｍ３１〜Ｍ３４の存在する画素ラインを行
方向画素ラインＡ３、Ｍ４１〜Ｍ４４の存在する画素ラ
インを行方向画素ラインＡ４とし、Ｍ１１〜Ｍ４１の存
在する画素ラインを列方向画素ラインＢ１、 Ｍ１２〜
Ｍ４２の存在する画素ラインを列方向画素ラインＢ２、
Ｍ１３〜Ｍ４３の存在する画素ラインを列方向画素ライ
ンＢ３、 Ｍ１４〜Ｍ４４の存在する画素ラインを列方
向画素ラインＢ４とする。Each coefficient y in the equation (7)
1, y2, y3, y4 and x1, x2, x3, x4 are obtained. Here, since the magenta value Mp at the lattice point p is obtained, as shown in FIG.
To M14 is defined as a pixel line A in the row direction.
1, the pixel line where M21 to M24 exists is a row direction pixel line A2, the pixel line where M31 to M34 exists is a row direction pixel line A3, and the pixel line where M41 to M44 is present is a row direction pixel line A4. The pixel line in which M41 exists is defined as a column-direction pixel line B1, M12-
A pixel line in which M42 exists is defined as a column-direction pixel line B2,
A pixel line in which M13 to M43 exists is defined as a column direction pixel line B3, and a pixel line in which M14 to M44 exists is defined as a column direction pixel line B4.

【００４８】ここで、係数ｙ１は格子点ｐと行方向画素
ラインＡ１との間の距離Ｄｙ１によって求められる。つ
まり、この場合、Ｄｙ１はＤｙ１＝1.25であるので、上
述した（２）〜（４）式のうち（３）式を用いる。これ
によって、ｙ１＝−0.140625と求められる。Here, the coefficient y1 is obtained from the distance Dy1 between the grid point p and the row-direction pixel line A1. That is, in this case, since Dy1 is Dy1 = 1.25, the expression (3) among the expressions (2) to (4) is used. Thus, y1 = −0.140625 is obtained.

【００４９】また、係数ｙ２は格子点ｐと行方向画素ラ
インＡ２との間の距離Ｄｙ２によって求められる。つま
り、この場合、Ｄｙ２はＤｙ２＝0.25であるので、上述
した（２）〜（４）式のうち（２）式を用いる。これに
よって、ｙ２＝0.890625と求められる。The coefficient y2 is obtained from the distance Dy2 between the grid point p and the row pixel line A2. That is, in this case, since Dy2 is Dy2 = 0.25, the expression (2) among the above expressions (2) to (4) is used. Thus, y2 = 0.906625 is obtained.

【００５０】また、係数ｙ３は格子点ｐと行方向画素ラ
インＡ３との間の距離Ｄｙ３によって求められる。つま
り、この場合、Ｄｙ３はＤｙ３＝0.75であるので、上述
した（２）〜（４）式のうち（２）式を用いる。これに
よって、ｙ３＝0.296875と求められる。The coefficient y3 is obtained from the distance Dy3 between the grid point p and the row-direction pixel line A3. That is, in this case, since Dy3 is Dy3 = 0.75, Expression (2) among Expressions (2) to (4) described above is used. Thus, y3 = 0.296875 is obtained.

【００５１】また、係数ｙ４は格子点ｐと行方向画素ラ
インＡ４との間の距離Ｄｙ４によって求められる。つま
り、この場合、Ｄｙ４はＤｙ４＝1.75であるので、上述
した（２）〜（４）式のうち（３）式を用いる。これに
よって、同様にして計算すると、ｙ４＝−0.046875と求
められる。The coefficient y4 is obtained from the distance Dy4 between the grid point p and the row pixel line A4. In other words, in this case, since Dy4 is 1.75, Dy4 uses the expression (3) among the above expressions (2) to (4). Thus, when similarly calculated, y4 = −0.046875 is obtained.

【００５２】同様に、係数ｘ１，ｘ２，ｘ３，ｘ４を求
めるが、この係数ｘ１，ｘ２，ｘ３，ｘ４も係数ｙ１，
ｙ２，ｙ３，ｙ４と同じようにして求められる。ただ
し、この場合は、格子点ｐと列方向画素ラインＢ１との
間の距離Ｄｘ１（Ｄｘ１＝1.75）、格子点ｐと列方向画
素ラインＢ２との間の距離Ｄｘ２（Ｄｘ２＝0.75）、格
子点ｐと列方向画素ラインＢ３との間の距離Ｄｘ３（Ｄ
ｘ３＝0.25）、格子点ｐに対する列方向画素ラインＢ４
の距離Ｄｘ４（Ｄｘ４＝1.25）の距離に基づき、（２）
式〜（４）式のいずれかを用いて係数ｘ１，ｘ２，ｘ
３，ｘ４が求められる。ここで、ｘ１＝−0.046875、ｘ
２=0.296875、ｘ３＝0.890625、ｘ４＝−0.140625と求
められる。Similarly, coefficients x1, x2, x3, and x4 are obtained.
It is obtained in the same way as y2, y3, y4. However, in this case, the distance Dx1 between the grid point p and the column direction pixel line B1 (Dx1 = 1.75), the distance Dx2 between the grid point p and the column direction pixel line B2 (Dx2 = 0.75), the grid point distance Dx3 (D
x3 = 0.25), column-direction pixel line B4 for grid point p
(2) based on the distance Dx4 (Dx4 = 1.25)
Coefficients x1, x2, x using any of Equations (4) to (4)
3, x4 are required. Here, x1 = −0.046875, x
2 = 0.296875, x3 = 0.906625, x4 = −0.140625.

【００５３】このようにして求められた係数ｙ１，ｙ
２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を上述の行列
式（７）式に代入して行列演算を行えば、格子点ｐにお
けるマゼンタＭｐが求められる。次に、格子点ｐ１にお
けるグリーンＧｐを求める。グリーンＧｐは行列式The coefficients y1, y thus obtained
If the matrix operation is performed by substituting 2, y3, y4 and x1, x2, x3, x4 into the above determinant (7), the magenta Mp at the lattice point p is obtained. Next, a green Gp at the lattice point p1 is obtained. Green Gp is determinant

【００５４】[0054]

【数５】 (Equation 5)

【００５５】で表される。ここでは、格子点ｐにおける
グリーンの値Ｇｐを求めるのであるから、図９に示すよ
うに、グリーンＧ１１〜Ｇ１４の存在する画素ラインを
行方向画素ラインＡ１、Ｇ２１〜Ｇ２４の存在する画素
ラインを行方向画素ラインＡ２、Ｇ３１〜Ｇ３４の存在
する画素ラインを行方向画素ラインＡ３、Ｇ４１〜Ｇ４
４の存在する画素ラインを行方向画素ラインＡ４とし、
グリーンＧ１１〜Ｇ４１の存在する画素ラインを列方向
画素ラインＢ１、Ｇ１２〜Ｇ４２の存在する画素ライン
を列方向画素ラインＢ２、Ｇ１３〜Ｇ４３の存在する画
素ラインを列方向画素ラインＢ３、Ｇ１４〜Ｇ４４の存
在する画素ラインを列方向画素ラインＢ４とする。Is represented by Here, since the green value Gp at the grid point p is determined, as shown in FIG. 9, the pixel lines where the greens G11 to G14 exist are replaced with the row direction pixel lines A1 and the pixel lines where the G21 to G24 exist. The pixel lines in which the directional pixel lines A2, G31 to G34 are present are referred to as row direction pixel lines A3, G41 to G4.
4 is defined as a row direction pixel line A4,
The pixel lines where the greens G11 to G41 are present are defined as the column direction pixel lines B1, the pixel lines where the G12 to G42 are present are defined as the column direction pixel lines B2, and the pixel lines where the G13 to G43 are present are defined as the column direction pixel lines B3 and G14 to G44. The existing pixel line is defined as a column direction pixel line B4.

【００５６】上述したと同じ考え方で、係数ｙ１，ｙ
２，ｙ３，ｙ４を求めるが、この場合は、格子点ｐと行
方向画素ラインＡ１との間の距離Ｄｙ１（Ｄｙ１＝1.2
5）、格子点ｐと行方向画素ラインＡ２との間の距離Ｄ
ｙ２（Ｄｙ２＝0.25）、格子点ｐと行方向画素ラインＡ
３との間の距離Ｄｙ３（Ｄｙ３＝0.75）、格子点ｐと行
方向画素ラインＡ４との間の距離Ｄｙ４（Ｄｙ４＝1.7
5）の距離に基づき、（２）式〜（４）式のいずれかを
用いて係数ｙ１，ｙ２，ｙ３，ｙ４が求められる。ここ
で、ｙ１＝−0.140625、ｙ２＝0.890625、ｙ３＝0.2968
75、ｙ４＝−0.046875と求められる。In the same way as described above, the coefficients y1, y
2, y3, y4 are obtained. In this case, the distance Dy1 (Dy1 = 1.2) between the grid point p and the row-direction pixel line A1 is obtained.
5) The distance D between the grid point p and the row-direction pixel line A2
y2 (Dy2 = 0.25), grid point p and row direction pixel line A
3, a distance Dy3 (Dy3 = 0.75) and a distance Dy4 (Dy4 = 1.7) between the grid point p and the row-direction pixel line A4.
Based on the distance of 5), the coefficients y1, y2, y3, y4 are obtained by using any of the equations (2) to (4). Here, y1 = −0.140625, y2 = 0.906625, y3 = 0.2968
75, y4 = -0.046875.

【００５７】同様に、係数ｘ１，ｘ２，ｘ３，ｘ４を求
めるが、この係数ｘ１，ｘ２，ｘ３，ｘ４は、格子点ｐ
と列方向画素ラインＢ１との間の距離Ｄｘ１（Ｄｘ１＝
1.25）、格子点ｐと列方向画素ラインＢ２との間の距離
Ｄｘ２（Ｄｘ２＝0.25）、格子点ｐと列方向画素ライン
Ｂ３との間の距離Ｄｘ３（Ｄｘ３＝0.75）、格子点ｐと
列方向画素ラインＢ４との間の距離Ｄｘ４（Ｄｘ４＝1.
75）の距離に基づき、（２）式〜（４）式のいずれかを
用いて係数ｘ１，ｘ２，ｘ３，ｘ４が求められる。ここ
で、ｘ１＝−0.140625、ｘ２＝0.890625、ｘ３＝0.2968
75、ｘ４＝−0.046875と求められる。Similarly, the coefficients x1, x2, x3, and x4 are obtained.
Dx1 (Dx1 =
1.25), the distance Dx2 between the grid point p and the column-direction pixel line B2 (Dx2 = 0.25), the distance Dx3 between the grid point p and the column-direction pixel line B3 (Dx3 = 0.75), the grid point p and the column The distance Dx4 (Dx4 = 1.
Based on the distance of (75), the coefficients x1, x2, x3, and x4 are obtained by using any of the equations (2) to (4). Here, x1 = -0.140625, x2 = 0.890625, x3 = 0.2968
75, x4 = -0.046875.

【００５８】このようにして求められた係数ｙ１，ｙ
２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を上述の行列
式（８）式に代入して行列演算を行えば、格子点ｐにお
けるグリーンＧｐが求められる。Coefficients y1, y thus obtained
If the matrix operation is performed by substituting 2, y3, y4 and x1, x2, x3, x4 into the above determinant (8), the green Gp at the lattice point p is obtained.

【００５９】[0059]

【発明が解決しようとする課題】以上説明したように色
補間を行う方法は従来より各種存在するが、最初に説明
した近傍の画素の色成分を単純平均した値で色補間する
方法では、高品質な画像が得られない場合も多く、ま
た、バイキュービック法による画素補間（色補間）は、
確かに、画像の平滑化や鮮鋭化が図れ良好な画質が得ら
れる利点があるが、非常に計算量が多いのが欠点であ
る。As described above, there are various methods of performing color interpolation. Conventionally, the method of performing color interpolation by simply averaging the color components of the neighboring pixels described above has a high value. In many cases, high-quality images cannot be obtained. In addition, pixel interpolation (color interpolation) by the bicubic method
Certainly, there is an advantage that an image can be smoothed and sharpened to obtain good image quality, but a disadvantage is that the amount of calculation is extremely large.

【００６０】すなわち、１つの画素を補間する際の１つ
の色成分を求めるに必要な処理として、４×４＋４＝２
０回の乗算を行う必要があるため、１画素について全て
の色成分（シアン。マゼンタ、イエロ、グリーン）を求
めるには、２０×４＝８０回もの乗算処理が必要となっ
てくる。That is, 4 × 4 + 4 = 2 as processing necessary for obtaining one color component when interpolating one pixel.
Since 0 multiplications need to be performed, 20 × 4 = 80 multiplications are required to obtain all the color components (cyan, magenta, yellow, and green) for one pixel.

【００６１】また、行列式に用いられる係数ｙ１，ｙ
２，ｙ３，ｙ４やｘ１，ｘ２，ｘ３，ｘ４の値は前述し
たように、たとえば、「−0.140625」、「0.890625」と
いうような値であるため、ビットシフトで対応するのが
困難な値となっていて、コンピュータ処理がしにくいな
どの問題もある。The coefficients y1, y used for the determinant
Since the values of 2, y3, y4 and x1, x2, x3, x4 are, for example, values such as “−0.140625” and “0.890625” as described above, it is difficult to deal with the bit shift. There are also problems such as difficulty in computer processing.

【００６２】そこで本発明は、バイキュービック法によ
る画素補間（色補間）の原理を用いながらもその計算量
を大幅に削減することができ、しかも、バイキュービッ
クによる画素補間を行ったと同じような高品質な画像を
得ることができる単板式固体撮像素子の色補間方法およ
び単板式固体撮像素子の色補間処理プログラムを記録し
た記録媒体を提供することを目的とする。Therefore, according to the present invention, the amount of calculation can be greatly reduced while using the principle of pixel interpolation (color interpolation) by the bicubic method. An object of the present invention is to provide a color interpolation method for a single-chip solid-state imaging device capable of obtaining a high-quality image and a recording medium in which a color-interpolation processing program for the single-chip solid-state imaging device is recorded.

【００６３】[0063]

【課題を解決するための手段】上述した目的を達成する
ために、本発明のる単板式固体撮像素子の色補間方法
は、基本となる色成分を構成する個々の色成分が、一定
の繰り返しで個々の画素対応に２次元平面的に配列され
てなる単板式固体撮像素子の色補間方法において、 色
補間を行うべき位置を実際に存在する画素に選び、この
画素を注目画素として、前記補間すべき色成分のうち当
該注目画素がもともと有する色成分についてはそれをそ
の色成分とし、それ以外の色成分については、前記補間
すべき各色成分ごとに、前記注目画素の周囲にｍ×ｎ
（ｍ，ｎは正の整数）でなる画素範囲を設定し、この設
定された或る色成分におけるｍ×ｎの画素範囲の行方向
画素ライン上にｍ本の行方向画素ラインを設定し、この
ｍ本の行方向画素ラインそれぞれと前記注目画素との間
の距離に基づいて得られるｍ個の係数を求めるととも
に、当該色成分におけるｍ×ｎの画素範囲の列方向画素
ライン上にｎ本の列方向画素ラインを設定し、このｎ本
の列方向画素ラインそれぞれと前記注目画素との間の距
離に基づいて得られるｎ個の係数を求め、求められたｍ
個の係数およびｎ個の係数と、前記ｍ×ｎの画素範囲に
存在する画素の値とから当該注目画素の色成分を求める
ようにしている。In order to achieve the above-mentioned object, a color interpolation method for a single-chip solid-state imaging device according to the present invention is provided. In the color interpolation method for a single-chip solid-state imaging device which is two-dimensionally arranged corresponding to individual pixels, a position where color interpolation is to be performed is selected as an actually existing pixel. Of the color components to be used, the color component originally included in the pixel of interest is used as that color component, and the other color components are m × n around the pixel of interest for each color component to be interpolated.
(M, n are positive integers) are set, and m row-direction pixel lines are set on the row-direction pixel lines in the set m × n pixel range for a certain color component, In addition to obtaining m coefficients obtained based on the distance between each of the m row-directional pixel lines and the pixel of interest, n pixels are arranged on a column-direction pixel line of an m × n pixel range in the color component. Are set, and n coefficients obtained based on a distance between each of the n column-direction pixel lines and the pixel of interest are obtained.
The color component of the pixel of interest is determined from the number of coefficients, the number of coefficients n, and the values of the pixels existing in the m × n pixel range.

【００６４】また、本発明の単板式固体撮像素子の色補
間処理プログラムを記録した記録媒体は、基本となる色
成分を構成する個々の色成分が、一定の繰り返しで個々
の画素対応に２次元平面的に配列されてなる単板式固体
撮像素子の色補間処理プログラムを記録した記録媒体で
あって、その色補間処理プログラムは、色補間を行うべ
き位置を実際に存在する画素に選び、この画素を注目画
素として、前記補間すべき色成分のうち当該注目画素が
もともと有する色成分についてはそれをその色成分とす
る手順と、それ以外の色成分については、前記補間すべ
き各色成分ごとに、前記注目画素の周囲にｍ×ｎ（ｍ，
ｎは正の整数）でなる画素範囲を設定する手順と、この
設定された或る色成分におけるｍ×ｎの画素範囲の行方
向画素ライン上にｍ本の行方向画素ラインを設定し、こ
のｍ本の行方向画素ラインそれぞれと前記注目画素との
間の距離に基づいて得られるｍ個の係数を求めるととも
に、当該色成分におけるｍ×ｎの画素範囲の列方向画素
ライン上にｎ本の列方向画素ラインを設定し、このｎ本
の列方向画素ラインそれぞれと前記注目画素との間の距
離に基づいて得られるｎ個の係数を求める手順と、求め
られたｍ個の係数およびｎ個の係数と、前記ｍ×ｎの画
素範囲に存在する画素の値とから当該注目画素の色成分
を求める手順とを含んでいる。The recording medium on which the color interpolation processing program for the single-chip solid-state imaging device of the present invention is recorded is such that each color component constituting a basic color component is two-dimensionally corresponding to each pixel at a constant repetition. A recording medium on which a color interpolation processing program for a single-plate solid-state imaging device arranged in a plane is recorded, wherein the color interpolation processing program selects a position where color interpolation is to be performed to a pixel that actually exists. As a pixel of interest, a procedure for using the color component originally included in the pixel of interest among the color components to be interpolated as the color component, and for the other color components, for each color component to be interpolated, M × n (m, m,
n is a positive integer), and m row-direction pixel lines are set on the row-direction pixel lines in the m × n pixel range for the set color component. While obtaining m coefficients obtained based on the distance between each of the m row-direction pixel lines and the pixel of interest, n pieces of the row-direction pixel lines in the m × n pixel range of the color component A procedure of setting a column-direction pixel line and obtaining n coefficients obtained based on a distance between each of the n column-direction pixel lines and the pixel of interest; And a procedure for obtaining the color component of the pixel of interest from the coefficients of the pixels in the m × n pixel range.

【００６５】また、前記求められたｍ個の係数およびｎ
個の係数と、ｍ×ｎの画素範囲に存在する画素の値とか
ら当該注目画素の色成分を求める演算処理は、ｍ×ｎの
画素範囲におけるｍ行ｎ列の行列とｍ個の係数でなる行
ベクトルとｎ個の係数でなる列ベクトルとの積をとる行
列演算である。Further, the obtained m coefficients and n
The arithmetic processing for obtaining the color component of the pixel of interest from the number of coefficients and the values of the pixels present in the m × n pixel range is performed by using a matrix of m rows and n columns and m coefficients in the m × n pixel range. This is a matrix operation that takes the product of a given row vector and a column vector consisting of n coefficients.

【００６６】そして、前記ｍ，ｎはｍ＝ｎ＝４であっ
て、色補間すべき或る色成分について前記注目画素の周
囲に４×４の画素範囲を設定するとともに、その色成分
で構成される４×４の画素範囲における４本の行方向画
素ラインと４本の列方向画素ラインを設定し、前記注目
画素が４本の行方向画素ラインの中のいずれかの行方向
画素ライン上に存在する場合には、その注目画素と４本
の行方向画素ラインとの間隔が整数値で表わされ、その
場合、その注目画素と４本の行方向画素ラインとの間隔
から求められる４個の係数が０または１となり、また、
前記注目画素が４本の列方向画素ラインの中のいずれか
の列方向画素ライン上に存在する場合には、その注目画
素と４本の列方向画素ラインとの間隔が整数値で表わさ
れ、その場合、その注目画素と４本の列方向画素ライン
との間隔から求められる４個の係数が０または１とな
り、また、前記注目画素がいずれの行方向画素ライン上
にも存在しない場合には、その注目画素と４本の行方向
画素ラインとの間隔から求められる４個の係数の値がビ
ットシフトで対応可能な値で表わされ、前記注目画素が
いずれの列方向画素ライン上にも存在しない場合には、
その注目画素と４本の列方向画素ラインとの間隔から求
められる４個の係数がビットシフトで対応可能な値で表
せる。M and n are m = n = 4, and for a certain color component to be color-interpolated, a 4 × 4 pixel range is set around the pixel of interest, and the color component is used. Four row-direction pixel lines and four column-direction pixel lines in a 4 × 4 pixel range to be set are set, and the target pixel is located on any one of the four row-direction pixel lines. , The interval between the pixel of interest and the four row-directional pixel lines is represented by an integer value. In this case, 4 is obtained from the interval between the pixel of interest and the four row-directional pixel lines. Coefficients are 0 or 1, and
When the target pixel exists on any one of the four column-direction pixel lines, the interval between the target pixel and the four column-direction pixel lines is represented by an integer value. In this case, if the four coefficients obtained from the distance between the target pixel and the four column-directional pixel lines are 0 or 1, and the target pixel does not exist on any of the row-directional pixel lines, Is represented by the values of the four coefficients obtained from the interval between the target pixel and the four row-direction pixel lines, which can be handled by bit shift. Also does not exist,
The four coefficients obtained from the distance between the pixel of interest and the four pixel lines in the column direction can be represented by values that can be handled by bit shifting.

【００６７】これら各発明において、前記注目画素の周
囲にｍ×ｎの画素範囲を設定する際、当該注目画素を中
心とした上下左右対称となるｍ×ｎの画素範囲の設定が
行えない場合は、すでに処理の終了した画素を優先して
含むようなｍ×ｎの画素範囲設定を行うようにしてい
る。In each of these inventions, when an m × n pixel range is set around the target pixel, it is difficult to set an m × n pixel range that is vertically and horizontally symmetrical about the target pixel. The m × n pixel range is set so as to preferentially include the pixels for which processing has already been completed.

【００６８】本発明は、原理的にはバイキュービック法
による画素補間（色補間）の原理を用いるのであるが、
色補間を行うべき位置を実際に存在する画素に選ぶよう
にする。これによって、従来から行われているバイキュ
ービック法に比べて、計算量を大幅に削減することがで
き、しかも、バイキュービックによる画素補間を行った
と同じような高品質な画像を得ることができる。The present invention uses the principle of pixel interpolation (color interpolation) by the bicubic method in principle.
The position where the color interpolation is to be performed is selected for the pixel that actually exists. As a result, the amount of calculation can be greatly reduced as compared with the conventional bicubic method, and a high-quality image similar to that obtained by performing pixel interpolation by bicubic can be obtained.

【００６９】そして、求められたｍ個の係数およびｎ個
の係数と、ｍ×ｎの画素範囲に存在する画素の値とから
当該注目画素の色成分を求める演算処理は、ｍ×ｎの画
素範囲におけるｍ行ｎ列の行列とｍ個の係数でなる行ベ
クトルとｎ個の係数でなる列ベクトルとの積をとる演算
処理であり、このとき、本発明では、それぞれライン間
距離から求められる係数の値が０または１となることも
多く、このため、行列演算を大幅に簡略化することがで
きる。また、それぞれライン間距離から求められる係数
の値が０または１とならない場合であっても、それぞれ
の係数の値を、計算機がビットシフトで対応できる数値
とすることができ、計算機の処理負担を小さくすること
ができ処理の高速化を図ることできる。Then, the arithmetic processing for obtaining the color component of the pixel of interest from the obtained m coefficients and n coefficients and the values of the pixels existing in the m × n pixel range is performed by m × n pixels This is an arithmetic process for calculating the product of a matrix of m rows and n columns in a range, a row vector composed of m coefficients, and a column vector composed of n coefficients. At this time, according to the present invention, each is obtained from the distance between lines. In many cases, the value of the coefficient is 0 or 1, so that the matrix operation can be greatly simplified. Further, even when the value of the coefficient obtained from the distance between lines does not become 0 or 1, the value of each coefficient can be set to a value that can be handled by the computer by bit shifting, and the processing load on the computer is reduced. The size can be reduced and the processing speed can be increased.

【００７０】また、注目画素の周囲にｍ×ｎの画素範囲
を設定する際、注目画素を中心とした上下左右対称とな
るｍ×ｎの画素範囲の設定が行えない場合は、すでに処
理の終了した画素を優先して含むような画素範囲設定を
行うようにする。このようにすでに色補間がなされた画
素を、限られた範囲内で少しでも多く使うことによっ
て、処理後の画像全体を高品質なものとすることができ
る。When an m × n pixel range is set around the target pixel, if the m × n pixel range that is vertically and horizontally symmetrical about the target pixel cannot be set, the processing is already terminated. The pixel range is set so as to preferentially include the selected pixel. By using as many of the pixels already color-interpolated as possible within a limited range, the entire image after processing can be made of high quality.

【００７１】[0071]

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。なお、この実施の形態で説明する内容は、
本発明の単板式固体撮像素子の色補間方法および単板式
固体撮像素子の色補間処理プログラムを記録した記録媒
体における画素補間処理プログラムの具体的な処理内容
をも含むものである。Embodiments of the present invention will be described below. The contents described in this embodiment are as follows.
The present invention also includes the specific processing content of the pixel interpolation processing program in the recording medium in which the color interpolation method for the single-chip solid-state imaging device and the color interpolation processing program for the single-chip solid-state imaging device according to the present invention are recorded.

【００７２】本発明は基本的な原理としては前述した従
来技術の項で説明したバイキュービック法を用いるので
あるが、本発明では格子点ではなく実際に画素の存在す
る位置で色補間を行うようにしている。以下、具体例に
ついて説明する。The basic principle of the present invention is to use the bicubic method described in the section of the prior art, but in the present invention, color interpolation is performed not at the lattice point but at the position where the pixel actually exists. I have to. Hereinafter, a specific example will be described.

【００７３】本発明の実施の形態を説明する画素配列に
対する色成分配列は前述のバイキュービック法の説明で
用いた図６〜図９と同じものを使用する。The same color component array as the pixel array for explaining the embodiment of the present invention is the same as that shown in FIGS. 6 to 9 used in the description of the bicubic method described above.

【００７４】従来では実際に存在しない画素を補間する
例として格子点ｐの画素補間（色補間）を行う例につい
て説明したが、ここでは、補間する画素の位置を少し変
えて実際に存在する画素での色補間を行うようにしたこ
とに特徴がある。Conventionally, an example in which pixel interpolation (color interpolation) of a grid point p is performed as an example of interpolating a pixel that does not actually exist has been described. It is characterized in that the color interpolation is performed in.

【００７５】この実施の形態では、シアンＣ３３の位置
（点ｑとする）に存在する画素（注目画素という）の色
補間を行う例について説明する。この場合、その注目画
素におけるシアンの色成分はシアンＣ３３の値をそのま
ま使用する。したがって、それ以外のイエロ、マゼン
タ、グリーンを求めればよい。なお、求めようとするイ
エロ、マゼンタ、グリーンをイエロＹｑ、マゼンタＭ
ｑ、グリーンＧｑとする。そして、イエロＹｑは図１、
マゼンタＭｑは図２、グリーンＧｑは図３を参照しなが
ら説明する。In this embodiment, an example will be described in which color interpolation is performed on a pixel (referred to as a pixel of interest) existing at the position (point q) of cyan C33. In this case, the cyan color component of the target pixel uses the value of cyan C33 as it is. Therefore, other yellow, magenta and green may be sought. The yellow, magenta, and green that are sought are yellow Yq and magenta M, respectively.
q, green Gq. And yellow Yq is in Figure 1,
The magenta Mq will be described with reference to FIG. 2 and the green Gq will be described with reference to FIG.

【００７６】また、ここでも、１つ１つの色成分につい
て注目画素の周辺に存在する４×４の画素範囲を用い
る。ただし、色成分によっては注目画素を中心とした左
右上下対称となる４×４の画素範囲を設定できない場合
も生じるので、その場合は、すでに処理の終了した画素
を優先した画素範囲の設定を行う。たとえば、１つの画
像について最上段の画素ラインについて最も左に存在す
る画素から右方向へと処理を行い、次のラインについて
も最も左に存在する画素から右方向へと処理を行うとい
うように、画像全体で見れば左上から右下へと処理を行
ういわゆるラスタスキャン的な処理を行う場合には、注
目画素を基準として左方向や上方向に存在する画素を優
先して４×４の画素範囲を設定するようにする。Also, here, a 4 × 4 pixel range existing around the target pixel is used for each color component. However, depending on the color component, a 4 × 4 pixel range that is symmetrical left and right with respect to the target pixel may not be able to be set. In this case, a pixel range that has been given priority to a pixel that has already been processed is set. . For example, for one image, processing is performed from the leftmost pixel to the right for the uppermost pixel line, and processing is also performed to the next line from the leftmost pixel to the right. When performing a so-called raster scan-like process in which the entire image is processed from the upper left to the lower right, a 4 × 4 pixel range is given with priority given to pixels existing in the left direction or the upper direction with respect to the target pixel. To be set.

【００７７】この図１〜図３の例においては、点ｑにお
けるイエロＹｑを求める際には、イエロＹ１１〜Ｙ１
４、Ｙ２１〜Ｙ２４、Ｙ３１〜Ｙ３４、Ｙ４１〜Ｙ４４
で構成される４画素×４画素の１６画素を用い、点ｑに
おけるマゼンタＭｑを求める際は、マゼンタＭ１１〜Ｍ
１４、Ｍ２１〜Ｍ２４、Ｍ３１〜Ｍ３４、Ｍ４１〜Ｍ４
４で構成される４画素×４画素の１６画素を用い、ま
た、点ｑにおけるグリーンＧｑを求める際には、グリー
ンＧ１１〜Ｇ１４、Ｇ２１〜Ｇ２４、Ｇ３１〜Ｇ３４、
Ｇ４１〜Ｇ４４で構成される４画素×４画素の１６画素
を用いる。In the examples shown in FIGS. 1 to 3, when obtaining the yellow Yq at the point q, the yellow Y11 to Y1
4, Y21 to Y24, Y31 to Y34, Y41 to Y44
When the magenta Mq at the point q is obtained by using 16 pixels of 4 pixels × 4 pixels constituted by
14, M21 to M24, M31 to M34, M41 to M4
When 16 pixels of 4 × 4 pixels composed of 4 are used, and green Gq at point q is obtained, green G11 to G14, G21 to G24, G31 to G34,
16 pixels of 4 × 4 pixels composed of G41 to G44 are used.

【００７８】このような処理範囲の設定を行ったあと
は、前述の（２）〜（４）式を用いてそれぞれの係数を
求める。After setting the processing range, the respective coefficients are obtained by using the above-mentioned equations (2) to (4).

【００７９】まず、イエロについて考える。求めるべき
イエロＹｐは、前述したように、（６）式で求められ
る。First, consider yellow. The yellow Yp to be obtained is obtained by Expression (6) as described above.

【００８０】この（６）式におけるそれぞれの係数ｙ
１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を求め
る。なお、ここでは、イエロについて求めるのであるか
ら、図１に示すように、イエロＹ１１〜Ｙ１４の存在す
る画素ラインを行方向画素ラインＡ１、 Ｙ２１〜Ｙ２
４の存在する画素ラインを行方向画素ラインＡ２、 Ｙ
３１〜Ｙ３４の存在する画素ラインを行方向画素ライン
Ａ３、Ｙ４１〜Ｙ４４の存在する画素ラインを行方向画
素ラインＡ４とし、イエロＹ１１〜Ｙ４１の存在する画
素ラインを列方向画素ラインＢ１、Ｙ１２〜Ｙ４２の存
在する画素ラインを列方向画素ラインＢ２、 Ｙ１３〜
Ｙ４３の存在する画素ラインを列方向画素ラインＢ３、
Ｙ１４〜Ｙ４４の存在する画素ラインを列方向画素ライ
ンＢ４とする。Each coefficient y in this equation (6)
1, y2, y3, y4 and x1, x2, x3, x4 are obtained. In this case, since yellow is determined, as shown in FIG. 1, the pixel lines where yellows Y11 to Y14 exist are replaced with the row direction pixel lines A1, Y21 to Y2.
4 is defined as a row-direction pixel line A2, Y
A pixel line where 31 to Y34 is present is a row direction pixel line A3, a pixel line where Y41 to Y44 is present is a row direction pixel line A4, and a pixel line where yellows Y11 to Y41 are present is a column direction pixel line B1, Y12 to Y42. Are located in the column direction pixel lines B2, Y13 to
A pixel line in which Y43 exists is defined as a column direction pixel line B3,
The pixel line where Y14 to Y44 exists is defined as a column direction pixel line B4.

【００８１】ここで、まず、係数ｙ１，ｙ２，ｙ３，ｙ
４を求める。係数ｙ１はシアンＣ３３の画素位置（点
ｑ）と行方向画素ラインＡ１との間の距離Ｄｙ１によっ
て求められる。つまり、この場合、Ｄｙ１はＤｙ１＝２
であるので、上述した（２）〜（４）式のうち（４）式
を用いる。これによって、ｙ１＝０と求められる。Here, first, the coefficients y1, y2, y3, y
Ask for 4. The coefficient y1 is obtained from the distance Dy1 between the pixel position (point q) of cyan C33 and the row-direction pixel line A1. That is, in this case, Dy1 is Dy1 = 2
Therefore, the expression (4) among the above expressions (2) to (4) is used. As a result, y1 = 0 is obtained.

【００８２】また、係数ｙ２はシアンＣ３３の画素位置
（点ｑ）と行方向画素ラインＡ２との間の距離Ｄｙ２に
よって求められる。つまり、この場合、Ｄｙ２はＤｙ２
＝１であるので、上述した（２）〜（４）式のうち
（３）式を用いる。これによって、ｙ２＝０と求められ
る。The coefficient y2 is obtained from the distance Dy2 between the pixel position (point q) of cyan C33 and the pixel line A2 in the row direction. That is, in this case, Dy2 is Dy2
Since = 1, equation (3) of equations (2) to (4) described above is used. As a result, y2 = 0 is obtained.

【００８３】また、係数ｙ３はシアンＣ３３（点ｑ）の
画素位置と行方向画素ラインＡ３との間の距離Ｄｙ３に
よって求められる。この場合、点ｑは行方向画素ライン
Ａ３上に存在するので、Ｄｙ３＝０となり、上述した
（２）〜（４）式のうち（２）式を用いる。これによっ
て、ｙ３＝１と求められる。The coefficient y3 is obtained from the distance Dy3 between the pixel position of cyan C33 (point q) and the row-direction pixel line A3. In this case, since the point q exists on the row-direction pixel line A3, Dy3 = 0, and the equation (2) among the above equations (2) to (4) is used. Thus, y3 = 1 is obtained.

【００８４】また、係数ｙ４はシアンＣ３３の画素位置
（点ｑ）と行方向画素ラインＡ４との間の距離Ｄｙ４に
よって求められる。この場合、Ｄｙ４はＤｙ４＝１であ
るので、上述した（２）〜（４）式のうち（３）式を用
いる。これによって、ｙ４＝０と求められる。The coefficient y4 is obtained from the distance Dy4 between the pixel position (point q) of cyan C33 and the pixel line A4 in the row direction. In this case, since Dy4 is Dy4 = 1, Expression (3) among Expressions (2) to (4) described above is used. As a result, y4 = 0 is obtained.

【００８５】次に、係数ｘ１，ｘ２，ｘ３，ｘ４を求め
る。係数ｘ１はシアンＣ３３の画素位置（点ｑ）と列方
向画素ラインＢ１との間の距離Ｄｘ１によって求められ
る。つまり、この場合、Ｄｘ１はＤｘ１＝1.5であるの
で、上述した（２）〜（４）式のうち（３）式を用い
る。これによって、ｘ１＝−0.125と求められる。Next, coefficients x1, x2, x3 and x4 are obtained. The coefficient x1 is obtained from the distance Dx1 between the pixel position (point q) of the cyan C33 and the column direction pixel line B1. That is, in this case, since Dx1 is Dx1 = 1.5, Expression (3) among Expressions (2) to (4) described above is used. Thereby, x1 = −0.125 is obtained.

【００８６】また、係数ｘ２はシアンＣ３３の画素位置
（点ｑ）と列方向画素ラインＢ２との間の距離Ｄｘ２に
よって求められる。つまり、この場合、Ｄｘ２はＤｘ２
＝0.5であるので、上述した（２）〜（４）式のうち
（２）式を用いる。これによって、ｘ２＝0.625と求め
られる。The coefficient x2 is obtained from the distance Dx2 between the pixel position (point q) of cyan C33 and the pixel line B2 in the column direction. That is, in this case, Dx2 is Dx2
= 0.5, the equation (2) among the above equations (2) to (4) is used. Thus, x2 = 0.625 is obtained.

【００８７】また、係数ｘ３はシアンＣ３３の画素位置
（点ｑ）と列方向画素ラインＢ３との間の距離Ｄｘ３に
よって求められる。つまり、この場合、Ｄｘ３はＤｘ３
＝0.5であるので、上述した（２）〜（４）式のうち
（２）式を用いる。これによって、ｘ３＝0.625と求め
られる。The coefficient x3 is obtained from the distance Dx3 between the pixel position (point q) of cyan C33 and the pixel line B3 in the column direction. That is, in this case, Dx3 is Dx3
= 0.5, the equation (2) among the above equations (2) to (4) is used. Thus, x3 = 0.625 is obtained.

【００８８】また、係数ｘ４はシアンＣ３３の画素位置
（点ｑ）と列方向画素ラインＢ４との間の距離Ｄｘ４に
よって求められる。つまり、この場合、Ｄｘ４はＤｘ４
＝1.5であるので、上述した（２）〜（４）式のうち
（３）式を用いる。これによって、ｘ４＝−0.125と求
められる。The coefficient x4 is obtained from the distance Dx4 between the pixel position (point q) of cyan C33 and the pixel line B4 in the column direction. That is, in this case, Dx4 is Dx4
Since 1.5 = 1.5, Expression (3) of Expressions (2) to (4) is used. Thus, x4 = −0.125 is obtained.

【００８９】このようにして求められた係数ｙ１，ｙ
２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を（６）式に
代入して行列演算を行えば、求めるべきＹｑは、 Ｙｑ＝−0.125×Y31＋0.625×Y32＋0.625×Y33−0.125×Y34 （９） となる。なお、（６）式の行列式は、この場合、行ベク
トルであるｙ１，ｙ２，ｙ３，ｙ４がｙ１＝０，ｙ２＝
０，ｙ３＝１，ｙ４＝０であるので、簡略化された行列
式となって結局は（９）式のように求められる。The coefficients y1, y thus obtained
By substituting 2, y3, y4 and x1, x2, x3, x4 into equation (6) and performing a matrix operation, Yq to be obtained is: Yq = −0.125 × Y31 + 0.625 × Y32 + 0.625 × Y33−0.125 × Y34 (9). In this case, the determinant of the equation (6) indicates that the row vectors y1, y2, y3, and y4 are y1 = 0, y2 =
Since 0, y3 = 1, and y4 = 0, a simplified determinant is obtained, which is eventually obtained as in equation (9).

【００９０】次に、マゼンタＭ３３を求める。マゼンタ
Ｍｐは、前述した（７）式の行列式で表される。Next, magenta M33 is obtained. Magenta Mp is represented by the determinant of the above-described equation (7).

【００９１】この（７）式におけるそれぞれの係数ｙ
１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を求め
る。なお、ここでは、マゼンタについて求めるのである
から、図２に示すように、マゼンタＭ１１〜Ｍ１４の存
在する画素ラインを行方向画素ラインＡ１、 Ｍ２１〜
Ｍ２４の存在する画素ラインを行方向画素ラインＡ２、
Ｍ３１〜Ｍ３４の存在する画素ラインを行方向画素ライ
ンＡ３、Ｍ４１〜Ｍ４４の存在する画素ラインを行方向
画素ラインＡ４とし、マゼンタＭ１１〜Ｍ４１の存在す
る画素ラインを列方向画素ラインＢ１、Ｍ１２〜Ｍ４２
の存在する画素ラインを列方向画素ラインＢ２、 Ｍ１
３〜Ｍ４３の存在する画素ラインを列方向画素ラインＢ
３、Ｍ１４〜Ｍ４４の存在する画素ラインを列方向画素
ラインＢ４とする。Each coefficient y in the equation (7)
1, y2, y3, y4 and x1, x2, x3, x4 are obtained. In this case, since magenta is determined, as shown in FIG. 2, the pixel lines where magenta M11 to M14 exist are replaced with the row direction pixel lines A1, M21 to M21.
A pixel line in which M24 exists is defined as a row direction pixel line A2,
The pixel line where M31 to M34 exists is the row direction pixel line A3, the pixel line where M41 to M44 exists is the row direction pixel line A4, and the pixel line where the magenta M11 to M41 exists is the column direction pixel line B1, M12 to M42.
Are located in the column direction pixel lines B2 and M1.
The pixel line where 3-M43 exists is defined as a pixel line B in the column direction.
3. The pixel line in which M14 to M44 exists is defined as a column direction pixel line B4.

【００９２】ここで、係数ｙ１はシアンＣ３３の画素位
置（点ｑ）と行方向画素ラインＡ１との間の距離Ｄｙ１
によって求められる。つまり、この場合、Ｄｙ１はＤｙ
１＝1.5であるので、上述した（２）〜（４）式のうち
（３）式を用いる。これによって、ｙ１＝−0.125と求
められる。Here, the coefficient y1 is a distance Dy1 between the pixel position (point q) of the cyan C33 and the row direction pixel line A1.
Required by That is, in this case, Dy1 is Dy
Since 1 = 1.5, equation (3) of equations (2) to (4) described above is used. Thus, y1 = −0.125 is obtained.

【００９３】また、係数ｙ２はシアンＣ３３の画素位置
（点ｑ）と行方向画素ラインＡ２との間の距離Ｄｙ２に
よって求められる。つまり、この場合、Ｄｙ２はＤｙ２
＝0.5であるので、上述した（２）〜（４）式のうち
（２）式を用いる。これによって、ｙ２＝0.625と求め
られる。The coefficient y2 is obtained from the distance Dy2 between the pixel position (point q) of cyan C33 and the row-direction pixel line A2. That is, in this case, Dy2 is Dy2
= 0.5, the equation (2) among the above equations (2) to (4) is used. Thus, y2 = 0.625 is obtained.

【００９４】また、係数ｙ３はシアンＣ３３の画素位置
（点ｑ）と行方向画素ラインＡ３との間の距離Ｄｙ３に
よって求められる。この場合、Ｄｙ３はＤｙ３＝0.5で
あるので、上述した（２）〜（４）式のうち（２）式を
用いる。これによって、ｙ３＝0.625と求められる。The coefficient y3 is obtained from the distance Dy3 between the pixel position (point q) of cyan C33 and the pixel line A3 in the row direction. In this case, since Dy3 is Dy3 = 0.5, Expression (2) among Expressions (2) to (4) described above is used. Thus, y3 = 0.625 is obtained.

【００９５】また、係数ｙ４はシアンＣ３３の画素位置
（点ｑ）と行方向画素ラインＡ４との間の距離Ｄｙ４に
よって求められる。つまり、この場合、Ｄｙ４はＤｙ４
＝1.5であるので、上述した（２）〜（４）式のうち
（３）式を用いる。これによって、ｙ４＝−0.125と求
められる。The coefficient y4 is obtained from the distance Dy4 between the pixel position (point q) of cyan C33 and the pixel line A4 in the row direction. That is, in this case, Dy4 is Dy4
Since 1.5 = 1.5, Expression (3) of Expressions (2) to (4) is used. Thus, y4 = −0.125 is obtained.

【００９６】同様に、係数ｘ１，ｘ２，ｘ３，ｘ４を求
める。係数ｘ１はシアンＣ３３の画素位置（点ｑ）と列
方向画素ラインＢ１との間の距離Ｄｘ１によって求めら
れる。つまり、この場合、Ｄｘ１はＤｙ１＝２であるの
で、上述した（２）〜（４）式のうち（４）式を用い
る。これによって、ｘ１＝０と求められる。Similarly, coefficients x1, x2, x3 and x4 are obtained. The coefficient x1 is obtained from the distance Dx1 between the pixel position (point q) of the cyan C33 and the column direction pixel line B1. That is, in this case, since Dx1 is Dy1 = 2, the expression (4) among the above expressions (2) to (4) is used. As a result, x1 = 0 is obtained.

【００９７】また、係数ｘ２はシアンＣ３３の画素位置
（点ｑ）と列方向画素ラインＢ２との間の距離Ｄｘ２に
よって求められる。つまり、この場合、Ｄｘ２はＤｘ２
＝１であるので、上述した（２）〜（４）式のうち
（３）式を用いる。これによって、ｘ２＝０と求められ
る。The coefficient x2 is obtained from the distance Dx2 between the pixel position (point q) of cyan C33 and the pixel line B2 in the column direction. That is, in this case, Dx2 is Dx2
Since = 1, equation (3) of equations (2) to (4) described above is used. Thus, x2 = 0 is obtained.

【００９８】また、係数ｘ３はシアンＣ３３の画素位置
（点ｑ）と列方向画素ラインＢ３との間の距離Ｄｘ３に
よって求められる。つまり、この場合、点ｑは列方向画
素ラインＢ３上に存在するので、Ｄｘ３＝０であり、上
述した（２）〜（４）式のうち（２）式を用いる。これ
によって、ｘ３＝１と求められる。The coefficient x3 is obtained from the distance Dx3 between the pixel position (point q) of cyan C33 and the pixel line B3 in the column direction. That is, in this case, since the point q exists on the pixel line B3 in the column direction, Dx3 = 0, and the equation (2) among the above equations (2) to (4) is used. Thus, x3 = 1 is obtained.

【００９９】また、係数ｘ４はシアンＣ３３の画素位置
（点ｑ）と列方向画素ラインＢ４との間の距離Ｄｘ４に
よって求められる。つまり、この場合、Ｄｘ４はＤｘ４
＝１であるので、上述した（２）〜（４）式のうち
（３）式を用いる。これによって、ｘ４＝０と求められ
る。The coefficient x4 is obtained from the distance Dx4 between the pixel position (point q) of cyan C33 and the pixel line B4 in the column direction. That is, in this case, Dx4 is Dx4
Since = 1, equation (3) of equations (2) to (4) described above is used. Thus, x4 = 0 is obtained.

【０１００】このようにして求められた係数ｙ１，ｙ
２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を（７）式に
代入すれば、求めるべきＭｐは、 Ｍｐ＝−0.125×M13＋0.625×M23＋0.625×M33−0.125×M43 （１０） となる。なお、（７）式の行列演算を行う際、列ベクト
ルｘ１，ｘ２，ｘ３，ｘ４は、 ｘ１＝０，ｘ２＝０，
ｘ３＝１，ｘ４＝０であるので、簡略化された行列式と
なって結局は（１０）式のように求められる。The coefficients y1, y thus obtained
By substituting 2, y3, y4 and x1, x2, x3, x4 into equation (7), Mp to be obtained is: Mp = −0.125 × M13 + 0.625 × M23 + 0.625 × M33−0.125 × M43 (10) Become. When performing the matrix operation of equation (7), the column vectors x1, x2, x3, and x4 are represented by x1 = 0, x2 = 0,
Since x3 = 1 and x4 = 0, the determinant becomes a simplified determinant, and is eventually obtained as in equation (10).

【０１０１】次にグリーンについて求める。グリーンＧ
ｐは、前述した（８）式の行列式で表される。Next, green is determined. Green G
p is represented by the determinant of equation (8) described above.

【０１０２】この（８）式におけるそれぞれの係数ｙ
１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を求め
る。なお、ここでは、グリーンについて求めるのである
から、図３に示すように、グリーンＧ１１〜Ｇ１４の存
在する画素ラインを行方向画素ラインＡ１、Ｇ２１〜Ｇ
２４の存在する画素ラインを行方向画素ラインＡ２、Ｇ
３１〜Ｇ３４の存在する画素ラインを行方向画素ライン
Ａ３、Ｇ４１〜Ｇ４４の存在する画素ラインを行方向画
素ラインＡ４とし、グリーンＧ１１〜Ｇ４１の存在する
画素ラインを列方向画素ラインＢ１、Ｇ１２〜Ｇ４２の
存在する画素ラインを列方向画素ラインＢ２、Ｇ１３〜
Ｇ４３の存在する画素ラインを列方向画素ラインＢ３、
Ｇ１４〜Ｇ４４の存在する画素ラインを列方向画素ライ
ンＢ４とする。Each coefficient y in this equation (8)
1, y2, y3, y4 and x1, x2, x3, x4 are obtained. In this case, since the determination is made for the green, as shown in FIG. 3, the pixel lines where the greens G11 to G14 exist are replaced with the row direction pixel lines A1, G21 to G21.
24 exist pixel lines in the row direction pixel lines A2, G
A pixel line in which 31 to G34 exists is a row direction pixel line A3, a pixel line in which G41 to G44 exists is a row direction pixel line A4, and pixel lines in which greens G11 to G41 exist are column direction pixel lines B1, G12 to G42. Are located in the column direction pixel lines B2, G13 to
The pixel line where G43 exists is defined as a column-direction pixel line B3,
The pixel line where G14 to G44 exists is defined as a column direction pixel line B4.

【０１０３】ここで、まず、係数ｙ１，ｙ２，ｙ３，ｙ
４を求める。係数ｙ１はシアンＣ３３の画素位置（点
ｑ）と行方向画素ラインＡ１との間の距離Ｄｙ１によっ
て求められる。つまり、この場合、Ｄｙ１はＤｙ１＝1.
5であるので、上述した（２）〜（４）式のうち（３）
式を用いる。これによって、ｙ１＝−0.125と求められ
る。Here, first, the coefficients y1, y2, y3, y
Ask for 4. The coefficient y1 is obtained from the distance Dy1 between the pixel position (point q) of cyan C33 and the row-direction pixel line A1. That is, in this case, Dy1 is Dy1 = 1.
Since it is 5, (3) in the above equations (2) to (4)
Use the formula. Thus, y1 = −0.125 is obtained.

【０１０４】また、係数ｙ２はシアンＣ３３の画素位置
（点ｑ）と行方向画素ラインＡ２との間の距離Ｄｙ２に
よって求められる。つまり、この場合、Ｄｙ２はＤｙ２
＝0.5であるので、上述した（２）〜（４）式のうち
（２）式を用いる。これによって、ｘ２＝0.625と求め
られる。The coefficient y2 is obtained from the distance Dy2 between the pixel position (point q) of cyan C33 and the pixel line A2 in the row direction. That is, in this case, Dy2 is Dy2
= 0.5, the equation (2) among the above equations (2) to (4) is used. Thus, x2 = 0.625 is obtained.

【０１０５】また、係数ｙ３はシアンＣ３３の画素位置
（点ｑ）と行方向画素ラインＡ３との間の距離Ｄｙ３に
よって求められる。つまり、この場合、Ｄｙ３はＤｙ３
＝0.5であるので、上述した（２）〜（４）式のうち
（２）式を用いる。これによって、ｙ３＝0.625と求め
られる。The coefficient y3 is obtained from the distance Dy3 between the pixel position (point q) of cyan C33 and the pixel line A3 in the row direction. That is, in this case, Dy3 is Dy3
= 0.5, the equation (2) among the above equations (2) to (4) is used. Thus, y3 = 0.625 is obtained.

【０１０６】また、係数ｙ４はシアンＣ３３の画素位置
（点ｑ）と行方向画素ラインＡ４との間の距離Ｄｙ４に
よって求められる。つまり、この場合、Ｄｙ４はＤｙ４
＝1.5であるので、上述した（２）〜（４）式のうち
（３）式を用いる。これによって、ｙ４＝−0.125と求
められる。The coefficient y4 is obtained from the distance Dy4 between the pixel position (point q) of cyan C33 and the pixel line A4 in the row direction. That is, in this case, Dy4 is Dy4
Since 1.5 = 1.5, Expression (3) of Expressions (2) to (4) is used. Thus, y4 = −0.125 is obtained.

【０１０７】次に、係数ｘ１，ｘ２，ｘ３，ｘ４を求め
る。係数ｘ１はシアンＣ３３の画素位置（点ｑ）と列方
向画素ラインＢ１との間の距離Ｄｘ１によって求められ
る。つまり、この場合、Ｄｘ１はＤｘ１＝1.5であるの
で、上述した（２）〜（４）式のうち（３）式を用い
る。これによって、ｘ１＝−0.125と求められる。Next, coefficients x1, x2, x3 and x4 are obtained. The coefficient x1 is obtained from the distance Dx1 between the pixel position (point q) of the cyan C33 and the column direction pixel line B1. That is, in this case, since Dx1 is Dx1 = 1.5, Expression (3) among Expressions (2) to (4) described above is used. Thereby, x1 = −0.125 is obtained.

【０１０８】また、係数ｘ２はシアンＣ３３の画素位置
（点ｑ）と列方向画素ラインＢ２との間の距離Ｄｙ２に
よって求められる。つまり、この場合、Ｄｘ２はＤｘ２
＝0.5であるので、上述した（２）〜（４）式のうち
（２）式を用いる。これによって、ｘ２＝0.625と求め
られる。The coefficient x2 is obtained from the distance Dy2 between the pixel position (point q) of cyan C33 and the pixel line B2 in the column direction. That is, in this case, Dx2 is Dx2
= 0.5, the equation (2) among the above equations (2) to (4) is used. Thus, x2 = 0.625 is obtained.

【０１０９】また、係数ｘ３はシアンＣ３３の画素位置
（点ｑ）と列方向画素ラインＢ３との間の距離Ｄｘ３に
よって求められる。この場合、Ｄｘ３はＤｘ３＝0.5で
あるので、上述した（２）〜（４）式のうち（２）式を
用いる。これによって、ｘ３＝0.625と求められる。The coefficient x3 is obtained from the distance Dx3 between the pixel position (point q) of cyan C33 and the column direction pixel line B3. In this case, since Dx3 is Dx3 = 0.5, Expression (2) among Expressions (2) to (4) described above is used. Thus, x3 = 0.625 is obtained.

【０１１０】また、係数ｘ４はシアンＣ３３の画素位置
（点ｑ）と列方向顔ラインＢ４との間の距離Ｄｘ４によ
って求められる。つまり、この場合、Ｄｘ４はＤｘ４＝
1.5であるので、上述した（２）〜（４）式のうち
（３）式を用いる。これによって、ｘ４＝−0.125と求
められる。The coefficient x4 is obtained from the distance Dx4 between the pixel position (point q) of cyan C33 and the face line B4 in the column direction. That is, in this case, Dx4 = Dx4 =
Since it is 1.5, equation (3) of equations (2) to (4) described above is used. Thus, x4 = −0.125 is obtained.

【０１１１】このようにして求められた係数定数ｙ１，
ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を（８）式
に代入して行列演算を行うことでＧｐが求められる。The coefficient constants y1,
Gp is obtained by substituting y2, y3, y4 and x1, x2, x3, x4 into equation (8) and performing a matrix operation.

【０１１２】このように、この実施の形態によれば、イ
エロとマゼンタについては、注目画素であるシアンＣ３
３の画素とそれぞれの画素ラインまでの距離に基づいて
求められる係数が０や１となる場合も多く、これによっ
て、行列演算を大幅に簡略化することができる。As described above, according to this embodiment, for yellow and magenta, cyan C3
In many cases, the coefficient obtained based on the distance between the three pixels and each of the pixel lines is 0 or 1, thereby greatly simplifying the matrix operation.

【０１１３】すなわち、この実施の形態におけるイエロ
やマゼンタの場合、それらの色成分による４×４の画素
範囲を設定し、それぞれの行方向画素ラインおよび列方
向画素ラインを設定すると、図１および図２からもわか
るように、イエロの場合は行方向画素ラインＡ１〜Ａ４
のうち行方向画素ラインＡ３上に注目画素（点ｑ）が存
在し（図１参照）、マゼンタの場合は列方向画素ライン
Ｂ１〜Ｂ４のうち列方向画素ラインＢ３上に注目画素
（点ｑ）が存在する（図２参照）。このような場合、注
目画素（点ｑ）からのそれぞれの画素ラインまでの距離
が整数値（ここでは、０または１または２）で表され、
それをその数値に応じて（２）〜（４）式のいずれかに
代入すると、係数ｙ１，ｙ２，ｙ３，ｙ４やｘ１，ｘ
２，ｘ３，ｘ４の値が０や１となる。That is, in the case of yellow and magenta in this embodiment, when a 4 × 4 pixel range is set by their color components, and the respective row-direction pixel lines and column-direction pixel lines are set, FIGS. As can be seen from FIG. 2, in the case of yellow, the row direction pixel lines A1 to A4
Of the target pixel (point q) exists on the row direction pixel line A3 (see FIG. 1), and in the case of magenta, the target pixel (point q) exists on the column direction pixel line B3 among the column direction pixel lines B1 to B4. Exists (see FIG. 2). In such a case, the distance from the target pixel (point q) to each pixel line is represented by an integer value (here, 0, 1, or 2),
By substituting it into any of the equations (2) to (4) according to the numerical values, the coefficients y1, y2, y3, y4 and x1, x
The values of 2, x3 and x4 are 0 and 1.

【０１１４】このように、係数ｙ１，ｙ２，ｙ３，ｙ４
やｘ１，ｘ２，ｘ３，ｘ４の値が０や１となれば、前述
した行列式は簡略化されたものとなる。Thus, the coefficients y1, y2, y3, y4
When the values of x1, x2, x3, and x4 are 0 and 1, the determinant described above is simplified.

【０１１５】結局、この実施の形態では、注目画素の色
補間を行う際に必要な演算量としては、４＋４＋４×４
＋４＝２８となり、従来の８０回に比べその演算回数を
大幅に削減できる。After all, in this embodiment, the amount of calculation necessary for performing color interpolation of the target pixel is 4 + 4 + 4 × 4
+ 4 = 28, and the number of operations can be greatly reduced as compared with the conventional 80 times.

【０１１６】また、この実施の形態では、係数ｙ１，ｙ
２，ｙ３，ｙ４やｘ１，ｘ２，ｘ３，ｘ４の値が０や１
とならない場合であっても、その値は、0.125や0.625と
いうようにビットシフトで対応できる数値となるため、
計算機での処理を行う上できわめて都合のよいものとな
る。In this embodiment, the coefficients y1, y
2, y3, y4 or x1, x2, x3, x4 are 0 or 1
Even if it is not the case, the value is a numerical value that can be handled by bit shift such as 0.125 or 0.625,
This is very convenient for performing processing on a computer.

【０１１７】このように、本発明は、バイキュービック
法による画素補間（色補間）の原理を用いながらもその
計算量を大幅に削減することができ、しかも、バイキュ
ービックによる画素補間を行ったと同じような高品質な
画像を得ることができる。As described above, according to the present invention, the amount of calculation can be significantly reduced while using the principle of pixel interpolation (color interpolation) by the bicubic method. Such high-quality images can be obtained.

【０１１８】なお、前述の実施の形態では、注目画素を
シアンＣ３３の位置に存在する画素とした場合について
説明したが、注目画素を次の画素に移しても同じような
考え方で実現できる。たとえば、注目画素をＹ３３の位
置に存在する画素とした場合には、補間すべき色成分と
してはイエロはＹ３３をそのまま用い、シアン、マゼン
タ、グリーンについて補間すべき値を求めればよい。こ
のとき、イエロＹ３３の周囲に、シアン、マゼンタ、グ
リーンそれぞれについて４×４の画素範囲を設定し、そ
れぞれに色成分における４×４の画素範囲における行方
向画素ラインと列方向画素ラインを設定して、注目画素
からの距離に基づく係数ｙ１，ｙ２，ｙ３，ｙ４とｘ
１，ｘ２，ｘ３，ｘ４を求める。そして、これらの係数
とそれぞれの色成分における４×４の行列とによりシア
ン、マゼンタ、グリーンを求めればよい。この求め方は
前述の実施の形態に準じて行うことができるので、ここ
ではその説明は省略する。In the above-described embodiment, a case has been described where the pixel of interest is a pixel existing at the position of cyan C33. However, the same idea can be realized by moving the pixel of interest to the next pixel. For example, when the pixel of interest is a pixel existing at the position of Y33, yellow may use Y33 as it is as a color component to be interpolated, and a value to be interpolated for cyan, magenta, and green may be obtained. At this time, a 4 × 4 pixel range is set for each of cyan, magenta, and green around the yellow Y33, and a row direction pixel line and a column direction pixel line are set for each of the 4 × 4 pixel ranges of the color components. And coefficients y1, y2, y3, y4 and x based on the distance from the pixel of interest.
1, x2, x3, x4 are obtained. Then, cyan, magenta, and green may be obtained from these coefficients and a 4 × 4 matrix for each color component. Since this method can be performed according to the above-described embodiment, the description thereof is omitted here.

【０１１９】なお、本発明は以上説明した実施の形態に
限定されるものではなく、本発明の要旨を逸脱しない範
囲で種々変形実施可能となるものである。たとえば、前
述の実施の形態では、基本となる色成分としてシアン、
マゼンタ、イエロ、グリーンといった補色系での説明を
行ったが、本発明は、Ｒ（赤）・Ｇ（グリーン）・Ｂ
（青）の原色系であっても同様に実施できる。The present invention is not limited to the above-described embodiment, but can be variously modified without departing from the gist of the present invention. For example, in the above-described embodiment, cyan and cyan are used as basic color components.
Although the explanation has been given in terms of complementary colors such as magenta, yellow, and green, the present invention relates to R (red), G (green), and B
The same can be applied to the (blue) primary color system.

【０１２０】また、以上説明した本発明の処理を行う単
板式固体撮像素子の画素補間処理プログラムは、フロッ
ピィディスク、光ディスク、ハードディスクなどの記録
媒体に記録させておくことができ、本発明はその記録媒
体をも含むものである。また、ネットワークから処理プ
ログラムを得るようにしてもよい。The above-described pixel interpolation processing program for the single-chip solid-state imaging device for performing the processing of the present invention can be recorded on a recording medium such as a floppy disk, an optical disk, or a hard disk. It also includes a medium. Further, the processing program may be obtained from a network.

【０１２１】[0121]

【発明の効果】以上説明したように本発明によれば、色
補間を行うべき位置を実際に存在する画素に選ぶように
することで、バイキュービック法による画素補間（色補
間）の原理を用いながらも従来から行われているバイキ
ュービック法に比べて、計算量を大幅に削減することが
でき、しかも、バイキュービックによる画素補間を行っ
たと同じような高品質な画像を得ることができる。しか
も演算に用いられる係数の値が、計算機がビットシフト
で対応できる数値として求められるので、計算機の処理
負担を小さくすることができ処理の高速化を図ることで
きる。As described above, according to the present invention, the position at which color interpolation is to be performed is selected for an actually existing pixel, so that the principle of pixel interpolation (color interpolation) by the bicubic method is used. However, the amount of calculation can be greatly reduced as compared with the conventional bicubic method, and a high-quality image similar to that obtained by performing pixel interpolation using bicubic can be obtained. In addition, since the value of the coefficient used for the calculation is obtained as a numerical value that the computer can handle by bit shifting, the processing load on the computer can be reduced and the processing can be speeded up.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の実施の形態を説明する色成分配列の一
例を示すもので、注目画素におけるイエロの色補間を行
う処理を説明する図である。FIG. 1 is a diagram illustrating an example of a color component array for describing an embodiment of the present invention, and is a diagram illustrating a process of performing yellow color interpolation on a target pixel.

【図２】本発明の実施の形態を説明する色成分配列の一
例を示すもので、注目画素におけるマゼンタの色補間を
行う処理を説明する図である。FIG. 2 is a diagram illustrating an example of a color component array illustrating an embodiment of the present invention, and is a diagram illustrating a process of performing magenta color interpolation on a target pixel.

【図３】本発明の実施の形態を説明する色成分配列の一
例を示すもので、注目画素におけるグリーンの色補間を
行う処理を説明する図である。FIG. 3 is a diagram illustrating an example of a color component array for describing an embodiment of the present invention, and is a diagram illustrating a process of performing green color interpolation on a target pixel.

【図４】注目画素に対する従来の色補間について説明す
る色成分配列の一例を示すものである。FIG. 4 shows an example of a color component array for explaining conventional color interpolation for a pixel of interest.

【図５】バイキュービック法について説明する図であ
り、ある１つの色成分について４×４の画素範囲を設定
して画素補間すべき点に対する画素補間を行う処理を説
明する図である。FIG. 5 is a diagram illustrating a bicubic method, and is a diagram illustrating a process of setting a pixel range of 4 × 4 for a certain color component and performing pixel interpolation on a point to be pixel-interpolated.

【図６】バイキュービック法の具体的な画素補間例を説
明する色成分配置例であり、画素補間すべき点における
シアンの値を求める処理を説明する図である。FIG. 6 is an example of a color component arrangement for explaining a specific pixel interpolation example of the bicubic method, and is a diagram for explaining a process of obtaining a cyan value at a point where pixel interpolation is to be performed.

【図７】バイキュービック法の具体的な画素補間例を説
明する色成分配置例であり、画素補間すべき点における
イエロの値を求める処理を説明する図である。FIG. 7 is a diagram illustrating an example of a color component arrangement for explaining a specific pixel interpolation example of the bicubic method, and is a diagram illustrating a process of obtaining a yellow value at a point where pixel interpolation is to be performed.

【図８】バイキュービック法の具体的な画素補間例を説
明する色成分配置例であり、画素補間すべき点における
マゼンタの値を求める処理を説明する図である。FIG. 8 is an example of a color component arrangement for explaining a specific pixel interpolation example of the bicubic method, and is a diagram for explaining a process of obtaining a magenta value at a point where pixel interpolation is to be performed.

【図９】バイキュービック法の具体的な画素補間例を説
明する色成分配置例であり、画素補間すべき点における
グリーンの値を求める処理を説明する図である。FIG. 9 is an example of a color component arrangement for explaining a specific pixel interpolation example of the bicubic method, and is a diagram for explaining a process of obtaining a green value at a point where pixel interpolation is to be performed.

【符号の説明】[Explanation of symbols]

Ａ１〜Ａ４ 行方向画素ライン Ｂ１〜Ｂ４ 列方向画素ライン ｑ 色補間すべき点 Ｃ１１〜Ｃ４４ シアン Ｙ１１〜Ｙ４４ イエロ Ｍ１１〜Ｍ４４ マゼンタ Ｇ１１〜Ｇ４４ グリーン A1 to A4 Row direction pixel line B1 to B4 Column direction pixel line q Points to be color-interpolated C11 to C44 Cyan Y11 to Y44 Yellow M11 to M44 Magenta G11 to G44 Green

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA02 BA12 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CD06 CE11 CE16 CH01 CH08 5C065 AA03 CC01 DD02 DD17 EE07 GG13 5C076 AA21 AA26 BA06 BB04 BB25 BB27 5C079 HB01 HB02 JA23 LA10 LA17 LA28 MA11 NA01 NA03 NA05 NA09 NA11  ──────────────────────────────────────────────────続 き Continued on the front page F-term (reference) NA01 NA03 NA05 NA09 NA11

Claims (8)

【特許請求の範囲】[Claims] 【請求項１】 基本となる色成分を構成する個々の色成
分が、一定の繰り返しで個々の画素対応に２次元平面的
に配列されてなる単板式固体撮像素子の色補間方法にお
いて、 色補間を行うべき位置を実際に存在する画素に選び、こ
の画素を注目画素として、前記補間すべき色成分のうち
当該注目画素がもともと有する色成分についてはそれを
その色成分とし、 それ以外の色成分については、 前記補間すべき各色成分ごとに、前記注目画素の周囲に
ｍ×ｎ（ｍ，ｎは正の整数）でなる画素範囲を設定し、 この設定された或る色成分におけるｍ×ｎの画素範囲の
行方向画素ライン上にｍ本の行方向画素ラインを設定
し、このｍ本の行方向画素ラインそれぞれと前記注目画
素との間の距離に基づいて得られるｍ個の係数を求める
とともに、当該色成分におけるｍ×ｎの画素範囲の列方
向画素ライン上にｎ本の列方向画素ラインを設定し、こ
のｎ本の列方向画素ラインそれぞれと前記注目画素との
間の距離に基づいて得られるｎ個の係数を求め、 求められたｍ個の係数およびｎ個の係数と、前記ｍ×ｎ
の画素範囲に存在する画素の値とから当該注目画素の色
成分を求める、 ことを特徴とする単板式固体撮像素子の色補間方法。1. A color interpolation method for a single-chip solid-state imaging device in which individual color components constituting a basic color component are arranged in a two-dimensional plane corresponding to individual pixels at a constant repetition. Is selected as a pixel that actually exists, and this pixel is set as a target pixel. Of the color components to be interpolated, a color component originally included in the target pixel is used as its color component, and other color components are used. For each of the color components to be interpolated, a pixel range of m × n (m and n are positive integers) is set around the target pixel, and m × n in the set color component is set. M row-direction pixel lines are set on the row-direction pixel lines in the pixel range, and m coefficients obtained based on the distance between each of the m row-direction pixel lines and the pixel of interest are obtained. Along with the color , N column-direction pixel lines are set on the column-direction pixel lines in the m × n pixel range, and n pixels obtained based on the distance between each of the n column-direction pixel lines and the pixel of interest And the obtained m and n coefficients, and m × n
A color interpolation method for a single-chip solid-state imaging device, wherein a color component of the pixel of interest is obtained from a value of a pixel existing in the pixel range. 【請求項２】 前記求められたｍ個の係数およびｎ個の
係数と、ｍ×ｎの画素範囲に存在する画素の値とから当
該注目画素の色成分を求める演算処理は、 ｍ×ｎの画素範囲におけるｍ行ｎ列の行列とｍ個の係数
でなる行ベクトルとｎ個の係数でなる列ベクトルとの積
をとる行列演算であることを特徴とする請求項１記載の
単板式固体撮像素子の色補間方法。2. An arithmetic process for calculating a color component of a pixel of interest from the obtained m coefficients and n coefficients and a value of a pixel existing in an m × n pixel range includes: 2. A single-chip solid-state imaging device according to claim 1, wherein the matrix operation is a product of a product of a matrix of m rows and n columns in a pixel range, a row vector composed of m coefficients, and a column vector composed of n coefficients. Element color interpolation method. 【請求項３】 前記ｍ，ｎはｍ＝ｎ＝４であって、色補
間すべき或る色成分について前記注目画素の周囲に４×
４の画素範囲を設定するとともに、その色成分で構成さ
れる４×４の画素範囲における４本の行方向画素ライン
と４本の列方向画素ラインを設定し、前記注目画素が４
本の行方向画素ラインの中のいずれかの行方向画素ライ
ン上に存在する場合には、その注目画素と４本の行方向
画素ラインとの間隔が整数値で表わされ、その場合、そ
の注目画素と４本の行方向画素ラインとの間隔から求め
られる４個の係数が０または１となり、 また、前記注目画素が４本の列方向画素ラインの中のい
ずれかの列方向画素ライン上に存在する場合には、その
注目画素と４本の列方向画素ラインとの間隔が整数値で
表わされ、その場合、その注目画素と４本の列方向画素
ラインとの間隔から求められる４個の係数が０または１
となり、 また、前記注目画素がいずれの行方向画素ライン上にも
存在しない場合には、その注目画素と４本の行方向画素
ラインとの間隔から求められる４個の係数の値がビット
シフトで対応可能な値で表わされ、前記注目画素がいず
れの列方向画素ライン上にも存在しない場合には、その
注目画素と４本の列方向画素ラインとの間隔から求めら
れる４個の係数がビットシフトで対応可能な値で表せる
ことを特徴とする請求項２記載の単板式固体撮像素子の
色補間方法。3. The m and n are such that m = n = 4, and for a certain color component to be color-interpolated, 4 ×
4 are set, and four row-direction pixel lines and four column-direction pixel lines in a 4 × 4 pixel range constituted by the color components are set.
If it exists on any of the row direction pixel lines among the row direction pixel lines, the interval between the target pixel and the four row direction pixel lines is represented by an integer value. Four coefficients obtained from the distance between the target pixel and the four row-directional pixel lines are 0 or 1, and the target pixel is located on any one of the four column-directional pixel lines. , The interval between the pixel of interest and the four column-direction pixel lines is represented by an integer value. In this case, 4 is obtained from the interval between the pixel of interest and the four column-direction pixel lines. Coefficients are 0 or 1
When the target pixel does not exist on any of the row-direction pixel lines, the values of the four coefficients obtained from the distance between the target pixel and the four row-direction pixel lines are bit-shifted. When the target pixel is not present on any of the column-direction pixel lines, the four coefficients obtained from the interval between the target pixel and the four column-direction pixel lines are represented by responsive values. 3. The color interpolation method for a single-chip solid-state imaging device according to claim 2, wherein the value can be represented by a value that can be handled by a bit shift. 【請求項４】 前記注目画素の周囲にｍ×ｎの画素範囲
を設定する際、当該注目画素を中心とした上下左右対称
となるｍ×ｎの画素範囲の設定が行えない場合は、すで
に処理の終了した画素を優先して含むようなｍ×ｎの画
素範囲設定を行うことを特徴とする請求項３記載の単板
式固体撮像素子の色補間方法。4. When an m × n pixel range is set around the target pixel, if an m × n pixel range that is vertically and horizontally symmetrical with respect to the target pixel cannot be set, processing is already performed. 4. A color interpolation method for a single-chip solid-state imaging device according to claim 3, wherein an m × n pixel range is set so as to preferentially include the pixels for which the processing has been completed. 【請求項５】 基本となる色成分を構成する個々の色成
分が、一定の繰り返しで個々の画素対応に２次元平面的
に配列されてなる単板式固体撮像素子の色補間処理プロ
グラムを記録した記録媒体であって、その色補間処理プ
ログラムは、 色補間を行うべき位置を実際に存在する画素に選び、こ
の画素を注目画素として、前記補間すべき色成分のうち
当該注目画素がもともと有する色成分についてはそれを
その色成分とする手順と、 それ以外の色成分については、 前記補間すべき各色成分ごとに、前記注目画素の周囲に
ｍ×ｎ（ｍ，ｎは正の整数）でなる画素範囲を設定する
手順と、 この設定された或る色成分におけるｍ×ｎの画素範囲の
行方向画素ライン上にｍ本の行方向画素ラインを設定
し、このｍ本の行方向画素ラインそれぞれと前記注目画
素との間の距離に基づいて得られるｍ個の係数を求める
とともに、当該色成分におけるｍ×ｎの画素範囲の列方
向画素ライン上にｎ本の列方向画素ラインを設定し、こ
のｎ本の列方向画素ラインそれぞれと前記注目画素との
間の距離に基づいて得られるｎ個の係数を求める手順
と、 求められたｍ個の係数およびｎ個の係数と、前記ｍ×ｎ
の画素範囲に存在する画素の値とから当該注目画素の色
成分を求める手順と、 を含むことを特徴とする単板式固体撮像素子の色補間処
理プログラムを記録した記録媒体。5. A color interpolation processing program for a single-chip solid-state imaging device in which individual color components constituting a basic color component are arranged in a two-dimensional plane corresponding to individual pixels at a constant repetition. The recording medium, wherein the color interpolation processing program selects a position at which color interpolation is to be performed as an actually existing pixel, and sets this pixel as a target pixel, and selects a color originally included in the target pixel among the color components to be interpolated. For the component, the procedure for setting it as the color component, and for the other color components, m × n (m and n are positive integers) around the pixel of interest for each color component to be interpolated. A procedure of setting a pixel range; and setting m row-direction pixel lines on the row-direction pixel lines of the m × n pixel range in the set color component, and setting the m row-direction pixel lines respectively. And the note above While obtaining m coefficients obtained based on the distance from the pixel, n column-direction pixel lines are set on the column-direction pixel lines in the mxn pixel range of the color component, and A procedure for calculating n coefficients obtained based on the distance between each of the pixel lines in the column direction and the pixel of interest; m coefficients and n coefficients obtained;
A step of obtaining a color component of the pixel of interest from values of pixels existing in the pixel range of (a), (b), and (b), wherein a color interpolation processing program for a single-chip solid-state imaging device is recorded. 【請求項６】 前記求められたｍ個の係数およびｎ個の
係数と、ｍ×ｎの画素範囲に存在する画素の値とから当
該注目画素の色成分を求める演算処理は、 ｍ×ｎの画素範囲におけるｍ行ｎ列の行列とｍ個の係数
でなる行ベクトルとｎ個の係数でなる列ベクトルとの積
をとる行列演算であることを特徴とする請求項５記載の
単板式固体撮像素子の色補間処理プログラムを記録した
記録媒体。6. The arithmetic processing for obtaining the color component of the pixel of interest from the obtained m coefficients and n coefficients and the values of the pixels existing in the m × n pixel range includes: 6. A single-chip solid-state imaging according to claim 5, wherein the matrix operation is a product of a matrix of m rows and n columns in a pixel range, a row vector composed of m coefficients, and a column vector composed of n coefficients. A recording medium on which a color interpolation processing program for an element is recorded. 【請求項７】 前記ｍ，ｎはｍ＝ｎ＝４であって、色補
間すべき或る色成分について前記注目画素の周囲に４×
４の画素範囲を設定するとともに、その色成分で構成さ
れる４×４の画素範囲における４本の行方向画素ライン
と４本の列方向画素ラインを設定し、前記注目画素が４
本の行方向画素ラインの中のいずれかの行方向画素ライ
ン上に存在する場合には、その注目画素と４本の行方向
画素ラインとの間隔が整数値で表わされ、その場合、そ
の注目画素と４本の行方向画素ラインとの間隔から求め
られる４個の係数が０または１となり、 また、前記注目画素が４本の列方向画素ラインの中のい
ずれかの列方向画素ライン上に存在する場合には、その
注目画素と４本の列方向画素ラインとの間隔が整数値で
表わされ、その場合、その注目画素と４本の列方向画素
ラインとの間隔から求められる４個の係数が０または１
となり、 また、前記注目画素がいずれの行方向画素ライン上にも
存在しない場合には、その注目画素と４本の行方向画素
ラインとの間隔から求められる４個の係数の値がビット
シフトで対応可能な値で表わされ、前記注目画素がいず
れの列方向画素ライン上にも存在しない場合には、その
注目画素と４本の列方向画素ラインとの間隔から求めら
れる４個の係数がビットシフトで対応可能な値で表せる
ことを特徴とする請求項６記載の単板式固体撮像素子の
色補間処理プログラムを記録した記録媒体。7. The m and n are such that m = n = 4, and for a certain color component to be color-interpolated, 4 ×
4 are set, and four row-direction pixel lines and four column-direction pixel lines in a 4 × 4 pixel range constituted by the color components are set.
If it exists on any of the row direction pixel lines among the row direction pixel lines, the interval between the target pixel and the four row direction pixel lines is represented by an integer value. Four coefficients obtained from the distance between the target pixel and the four row-directional pixel lines are 0 or 1, and the target pixel is located on any one of the four column-directional pixel lines. , The interval between the pixel of interest and the four column-direction pixel lines is represented by an integer value. In this case, 4 is obtained from the interval between the pixel of interest and the four column-direction pixel lines. Coefficients are 0 or 1
When the target pixel does not exist on any of the row-direction pixel lines, the values of the four coefficients obtained from the distance between the target pixel and the four row-direction pixel lines are bit-shifted. When the target pixel is not present on any of the column-direction pixel lines, the four coefficients obtained from the interval between the target pixel and the four column-direction pixel lines are represented by responsive values. 7. The recording medium according to claim 6, wherein the color interpolation processing program for a single-chip solid-state imaging device can be represented by a value that can be handled by a bit shift. 【請求項８】 前記注目画素の周囲にｍ×ｎの画素範囲
を設定する際、当該注目画素を中心とした上下左右対称
となるｍ×ｎの画素範囲の設定が行えない場合は、すで
に処理の終了した画素を優先して含むようなｍ×ｎの画
素範囲設定を行うことを特徴とする請求項７記載の単板
式固体撮像素子の色補間処理プログラムを記録した記録
媒体。8. When an m × n pixel range is set around the target pixel, if an m × n pixel range that is vertically and horizontally symmetrical with respect to the target pixel cannot be set, processing is already performed. 8. A recording medium storing a color interpolation processing program for a single-chip solid-state imaging device according to claim 7, wherein an m × n pixel range is set so as to preferentially include pixels for which the image processing has been completed.