JP6426909B2 - Color information complementing device and its program - Google Patents

Description

本発明は、カラーフィルタを介して撮像された撮像画像において、欠落している各色の色情報を補完する色情報補完装置およびそのプログラムに関する。   The present invention relates to a color information complementing apparatus and its program for complementing color information of missing colors in a captured image captured through a color filter.

通常、デジタルカメラ等で利用される単板式撮像デバイスは、カラーフィルタを介して受光した光を光電変換して画像信号（撮像画像）を取得する。このとき、一般的には、図１４に示すベイヤ（Ｂａｙｅｒ）配列のようなそれぞれの色（例えば、Ｒ，Ｇ，Ｂ）を画素ごとにフィルタリングするカラーフィルタＦ_Ｃが用いられる。 In general, a single-plate type imaging device used in a digital camera or the like photoelectrically converts light received through a color filter to obtain an image signal (captured image). At this time, in general, each color such as Bayer (Bayer) sequence shown in Figure 14 (e.g., R, G, B) color filters _{F C} that filters for each pixel is used.

このベイヤ配列のカラーフィルタＦ_Ｃを介して画像を撮像した場合、画素ごとに一色の信号しか得られない。すなわち、カラーフィルタＦ_Ｃを介して撮像した画像信号は、図１４に示すように、Ｇ信号については、カラーフィルタＦ_ＣのＲ，Ｂ位置に対応する画素の色情報が欠けた色信号となる。同様に、Ｒ信号については、カラーフィルタＦ_ＣのＧ，Ｂ位置に対応する画素の色情報が、Ｂ信号については、カラーフィルタＦ_ＣのＲ，Ｇ位置に対応する画素の色情報が、それぞれ欠けた色信号となる。 If capturing the image through the color filter F _C of the Bayer array, only it is obtained color signals for each pixel. That is, the image signal captured via a color filter F _C, as shown in FIG. 14, for the G signal, a color filter F _C of R, color signals missing color information of the pixel corresponding to the position B . Similarly, the R signal, G color filters F _C, the color information of the pixel corresponding to the B position, for B signals, the color filter F _C R, the color information of the pixel corresponding to the position G, respectively It becomes a missing color signal.

そのため、このような色信号をカラー画像として表示・処理するためには、欠けている色信号を補完（デモザイキング）する技術が必要となる。
この色信号を補完する技術としては、欠落した画素の色信号（画素値）を、当該画素に近接する欠落していない画素の色信号（画素値）を用いて双線形補完する技術が最も基本的である。 Therefore, in order to display and process such a color signal as a color image, a technique for complementing (demosaicing) the missing color signal is required.
The most basic technique for complementing this color signal is the technique of bilinearly complementing the color signal (pixel value) of the missing pixel using the color signal (pixel value) of the non-missing pixel adjacent to the pixel. It is

例えば、特許文献１には、補完対象画素の近傍画素の中央値によって、補完対象画素の画素値を求める手法が開示されている。
また、特許文献２には、補完対象画素の画素値を補完する際に、補完対象画素と同色の周辺画素の方向に対する相関度を求め、その相関度に応じた比率で、補完対象画素の画素値を求める手法が開示されている。 For example, Patent Document 1 discloses a method of obtaining a pixel value of a pixel to be complemented by a median value of pixels in the vicinity of the pixel to be complemented.
Further, in the patent document 2, when complementing the pixel value of the pixel to be complemented, the degree of correlation with respect to the direction of peripheral pixels of the same color as the pixel to be complemented is obtained, and the pixel of the pixel to be complemented A method for determining a value is disclosed.

特開２００６−２６２１６７号公報JP, 2006-262167, A 特開２０１０−１０４０１９号公報Unexamined-Japanese-Patent No. 2010-104019

特許文献１に記載された手法のように、双線形補完により補完対象画素の画素値を演算する手法では、画素間の画素値が平滑化されることで、空間周波数成分が適切に再現されず、画像にボケが発生してしまうという問題がある。さらに、特許文献１に記載された手法では、各色の中間値によって補完対象画素の画素値を求めるため、合成された色が実際の被写体に存在しない色となる偽色が発生しやすいという問題もある。   In the method of computing the pixel value of the interpolation target pixel by bilinear interpolation as in the method described in Patent Document 1, the spatial frequency component is not appropriately reproduced by smoothing the pixel value between the pixels. There is a problem that blurring occurs in the image. Furthermore, in the method described in Patent Document 1, since the pixel value of the pixel to be complemented is determined by the intermediate value of each color, there is also a problem that false colors are easily generated in which the synthesized color does not exist in the actual subject. is there.

また、特許文献２に記載された手法のように、周辺画素の方向に対する相関度に応じて双線形補完を行う手法では、特定の色の相関しか参照していない。そのため、この手法は、カラー画像の色情報全体の方位相関を正確に推定することができず、高品質な画像を再現することができないという問題がある。   Further, as in the method described in Patent Document 2, in the method of performing bilinear complementation according to the degree of correlation with the direction of the peripheral pixels, only the correlation of a specific color is referenced. Therefore, this method has a problem that the azimuth correlation of the entire color information of the color image can not be accurately estimated, and a high quality image can not be reproduced.

本発明は、このような問題に鑑み、カラーフィルタを介して撮像された撮像画像の欠落した色情報を補完する際に、画像の色情報の方位相関と周波数特性とを適切に求めることで、空間周波数成分の再現性を高め、知覚的に自然なカラー画像を生成することが可能な色情報補完装置およびそのプログラムを提供することを課題とする。   In view of such a problem, the present invention appropriately obtains azimuthal correlation and frequency characteristics of color information of an image when complementing missing color information of a captured image captured through a color filter. It is an object of the present invention to provide a color information complementing apparatus capable of enhancing the reproducibility of spatial frequency components and generating a perceptually natural color image and a program thereof.

前記課題を解決するため、本発明に係る色情報補完装置は、カラーフィルタを用いた単板式撮像デバイスで撮像された撮像画像から、各色の欠落した色情報を補完する色情報補完装置であって、方位別振動成分抽出手段と、方位相関強度算出手段と、方位・帯域別画像補完手段と、方位別エッジ成分抽出手段と、高周波成分加算係数算出手段と、補完画像画素値算出手段と、特定色補完手段と、特定色以外の色情報を対象とした複数の他色補完手段と、を備え、他色補完手段が、差分手段と、差分補完手段と、加算手段と、を備える。   In order to solve the above problems, a color information complementing device according to the present invention is a color information complementing device that complements missing color information of each color from a captured image captured by a single-plate type imaging device using a color filter, , Azimuth-specific vibration component extraction means, azimuth correlation strength calculation means, azimuth / band-specific image complementation means, azimuth-specific edge component extraction means, high-frequency component addition coefficient calculation means, complementary image pixel value calculation means, identification The color complementing unit includes a plurality of other color complementing units for color information other than the specific color, and the other color complementing unit includes a difference unit, a difference complementing unit, and an addition unit.

かかる構成において、色情報補完装置は、方位別振動成分抽出手段によって、撮像画像の画素ごとに水平方向および垂直方向の振動成分（空間周波数成分）を抽出することで、撮像画像全体のすべての画素において、方位別の振動成分を抽出する。
そして、色情報補完装置は、方位相関強度算出手段によって、方位別振動成分抽出手段で抽出された振動成分の相関に基づいて、画素ごとの方位相関の強度を算出する。 In such a configuration, the color information complementing apparatus extracts all horizontal and vertical vibration components (spatial frequency components) for each pixel of the captured image by the azimuthal vibration component extraction unit, thereby all the pixels of the entire captured image. , Extract the vibration component according to direction.
Then, the color information complementing device calculates the strength of the azimuth correlation of each pixel based on the correlation of the vibration component extracted by the azimuth-specific vibration component extraction means by the azimuth correlation strength calculation means.

これによって、色情報補完装置は、特定の色情報だけでなく、撮像画像に含まれている特定色以外の色情報を用いて、撮像画像の画素ごとに、水平方向、垂直方向に対して、どれだけの強度で相関しているのかを特定することができる。例えば、水平方向のみに相関があることが特定された場合、当該画素は、垂直方向の画素とは相関がなく、色情報補完装置は、色情報を補完する場合に水平方向の画素によって当該画素を補完すればよいことになる。   By this, the color information complementing apparatus uses not only specific color information but also color information other than the specific color included in the captured image, for each pixel of the captured image with respect to the horizontal direction and the vertical direction. It is possible to identify at what intensity the correlation is. For example, when it is specified that there is a correlation only in the horizontal direction, the pixel has no correlation with the pixel in the vertical direction, and the color information complementing device uses the pixel in the horizontal direction to complement the color information. Should be complemented by

また、色情報補完装置は、方位・帯域別画像補完手段によって、撮像画像の特定色に対する補完対象画素の画素値を、水平方向および垂直方向の各方位について低周波成分および高周波成分の帯域別に補完して、方位・帯域別画像を生成する。これによって、色情報補完装置は、補完対象画素において、水平方向だけに低周波成分の相関がある場合の画素値と、水平方向だけに高周波成分の相関がある場合の画素値と、垂直方向だけに低周波成分の相関がある場合の画素値と、垂直方向だけに高周波成分の相関がある場合の画素値とを、それぞれ個別に求めることができる。   Further, the color information complementing apparatus complements the pixel value of the pixel to be complemented with respect to the specific color of the captured image for each band of the low frequency component and the high frequency component for each azimuth in the horizontal direction and the vertical direction. To generate an azimuth and band classified image. By this, the color information complementing apparatus can calculate the pixel value in the case where there is a correlation of low frequency components only in the horizontal direction, the pixel value in the case where there is a correlation of high frequency components only in the horizontal direction, and the vertical direction only. The pixel value in the case where there is a correlation of low frequency components and the pixel value in the case where there is a correlation of high frequency components only in the vertical direction can be determined individually.

また、色情報補完装置は、方位別エッジ成分抽出手段によって、撮像画像の画素ごとに水平方向、垂直方向および斜め方向の方位別にエッジ成分を抽出する。
そして、色情報補完装置は、高周波成分加算係数算出手段によって、方位別エッジ成分抽出手段で抽出されたエッジ成分の大きさに基づいて、方位・帯域別画像の高周波成分を補正するために、例えば、エッジ成分の大きさが大きいほど係数が大きくなるように予め定めた演算により高周波成分加算係数を算出する。
そして、色情報補完装置は、補完画像画素値算出手段によって、方位・帯域別画像補完手段で補完された方位・帯域別画像の画素値を、方位相関の強度と高周波成分加算係数とに応じて加算して、補完対象画素の画素値を算出する。 Further, the color information complementing apparatus extracts edge components by orientation in the horizontal direction, vertical direction, and oblique direction for each pixel of the captured image by the orientation-based edge component extraction means.
Then, the color information complementing apparatus corrects, for example, the high frequency component of the azimuth and band classified image based on the size of the edge component extracted by the azimuth classified edge component extraction unit by the high frequency component addition coefficient calculation unit. The high frequency component addition coefficient is calculated by a predetermined operation such that the coefficient becomes larger as the magnitude of the edge component becomes larger.
Then, the color information complementing device calculates the pixel values of the azimuth and band classified image complemented by the azimuth and band classified image complementing means by the complementary image pixel value calculating means according to the magnitude of the azimuth correlation and the high frequency component addition coefficient. The addition is performed to calculate the pixel value of the interpolation target pixel.

この補完対象画素の画素値は、水平方向だけに相関がある場合の画素値と、垂直方向だけに相関がある場合の画素値とを、方位相関の強度に応じて、すなわち、その割合に応じて加算したものであるため、方位相関に対応した振動成分（空間周波数成分）が含まれた値となる。また、補完対象画素の画素値は、エッジ成分が大きい画素については、より加算の割合を多くすることで、エッジ成分の少ない平坦部では、ノイズ増加を抑えることができ、エッジ成分の多い部分では、高い空間周波数を再現することができる。   The pixel value of the pixel to be complemented is a pixel value when there is a correlation only in the horizontal direction and a pixel value when there is a correlation only in the vertical direction according to the strength of the azimuth correlation, that is, according to the ratio Since the sum is added, it becomes a value including the vibration component (spatial frequency component) corresponding to the azimuth correlation. In addition, the pixel value of the pixel to be complemented can be increased at a flat portion with few edge components by increasing the proportion of addition for pixels with large edge components, and noise increase can be suppressed in flat portions with few edge components. , High spatial frequency can be reproduced.

そして、色情報補完装置は、特定色補完手段によって、撮像画像において、特定色に対する補完対象画素の画素値を、補完画像画素値算出手段で算出された画素値に置き換える。すなわち、色情報補完装置は、撮像画像において、特定色に対する補完対象画素の画素値を、方位相関と帯域特性とに対応した色情報によって補完する。   Then, in the captured image, the color information complementing device replaces the pixel value of the complementation target pixel for the specific color with the pixel value calculated by the complementary image pixel value calculation unit by the specific color complementation unit. That is, in the captured image, the color information complementing apparatus complements the pixel value of the pixel to be complemented with respect to the specific color by the color information corresponding to the azimuth correlation and the band characteristic.

また、色情報補完装置は、他色補完手段によって、撮像画像から、特定色以外の色を対象として色情報を補完する。
すなわち、色情報補完装置は、他色補完手段の差分手段によって、撮像画像において、対象色の画素ごとに、当該画素の画素値と当該画素に対応する補完画像画素値算出手段で算出された補完対象画素の画素値との差分値を算出する。これによって、差分値は、方位相関と帯域特性とが加味された値となる。
そして、色情報補完装置は、他色補完手段の差分補完手段によって、対象色に対する補完対象画素の周辺画素の差分値から、当該補完対象画素の差分値を補完する。
さらに、色情報補完装置は、他色補完手段の加算手段によって、差分補完手段で差分値が補完された画像の画素ごとに、当該画素に対応する特定色補完手段で補完された補完対象画素の画素値を加算する。これによって、対象色の画素値が算出されることになる。また、このように生成された対象色の画素値は、特定色の方位相関と帯域特性とに対応したものとなる。 Further, the color information complementing apparatus complements the color information for the color other than the specific color from the captured image by the other color complementing means.
That is, in the captured image, the color information complementing apparatus calculates the complement of the pixel value of the pixel and the complementary image pixel value calculating unit corresponding to the pixel in the captured image by the difference unit of the other color complementing unit. A difference value with the pixel value of the target pixel is calculated. By this, the difference value becomes a value in which the azimuth correlation and the band characteristic are added.
Then, the color information complementing apparatus complements the difference value of the complementation target pixel from the difference value of the peripheral pixels of the complementation target pixel with respect to the target color by the difference complementation means of the other color complementation means.
Furthermore, the color information complementing apparatus further includes, for each pixel of the image in which the difference value is complemented by the difference complementing unit, the adding target pixel complemented by the specific color complementing unit corresponding to the pixel . Add pixel values. By this, the pixel value of the target color is calculated. In addition, the pixel value of the target color generated in this manner corresponds to the azimuth correlation of the specific color and the band characteristic.

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、画像の局所的性質（方向性およびエッジ成分）に基づいて、方位および帯域に応じて補完した補完画像の画素ごとに重み付け加算することで、補完対象画素の画素値を求めるため、画像の平坦部における視覚的に目立つ歪の発生を抑えつつ、一方で、画像のエッジ部では、高い空間周波数を再現し、偽色の発生を抑えることができる。
そのため、本発明によれば、カラーフィルタを介して撮像した、色情報が欠落した撮像画像から、色情報を精度よく補完して、視覚的に自然なカラー画像を生成することができる。 The present invention exhibits the following excellent effects.
According to the present invention, the pixel value of the complementation target pixel is determined by performing weighted addition for each pixel of the complemented image complemented according to the azimuth and the band based on the local property (directivity and edge component) of the image. Therefore, it is possible to reproduce high spatial frequency and to suppress the generation of false color at the edge portion of the image while suppressing the occurrence of visually noticeable distortion at the flat portion of the image.
Therefore, according to the present invention, it is possible to complement the color information with high accuracy from the captured image from which the color information is missing, which is captured through the color filter, and to generate a visually natural color image.

本発明の実施形態に係る色情報補完装置の構成を示すブロック構成図である。FIG. 1 is a block diagram showing the configuration of a color information complementing apparatus according to an embodiment of the present invention. 図１の方位別振動成分抽出手段の構成を示すブロック構成図である。It is a block block diagram which shows the structure of the vibration component extraction means by direction of FIG. （ａ）は、図２の方位別振動成分抽出手段において、水平振動成分を抽出する線形フィルタ、（ｂ）は、垂直振動成分を抽出する線形フィルタの各例を示す図である。(A) is a figure which shows each example of the linear filter which extracts a horizontal vibration component in the azimuth | direction vibration component extraction means of FIG. 2, (b) shows each example of a linear filter which extracts a vertical vibration component. 図１の方位相関強度算出手段における演算内容を模式的に説明するための説明図である。FIG. 6 is an explanatory view schematically illustrating the calculation content in the azimuth correlation strength calculation means of FIG. 1; 図１の方位・帯域別画像補完手段の構成を示すブロック構成図である。It is a block block diagram which shows the structure of the direction * band classified image complementation means of FIG. 図５の方位・帯域別画像補完手段において、撮像画像を補完する線形フィルタであって、（ａ）は水平低域フィルタ、（ｂ）は水平高域フィルタ、（ｃ）は垂直低域フィルタ、（ｄ）は垂直高域フィルタの各例を示す図である。In the azimuth / band-wise image complementing means of FIG. 5, a linear filter for complementing a captured image, wherein (a) is a horizontal low-pass filter, (b) is a horizontal high-pass filter, and (c) is a vertical low-pass filter (D) is a figure showing each example of a vertical high pass filter. 図１の方位別エッジ成分抽出手段の構成を示すブロック構成図である。It is a block block diagram which shows the structure of the edge component extraction means classified by direction of FIG. 図７の方位別エッジ成分抽出手段において、エッジ成分を検出する線形フィルタであって、（ａ）はＥ方向エッジ検出フィルタ、（ｂ）はＮＥ方向検出フィルタ、（ｃ）はＮ方向検出フィルタ、（ｄ）はＮＷ方向検出フィルタ、（ｅ）はＷ方向検出フィルタ、（ｆ）はＳＷ方向検出フィルタ、（ｇ）はＳ方向検出フィルタ、（ｈ）はＳＥ方向検出フィルタの各例を示す図である。7 is a linear filter for detecting an edge component, wherein (a) is an E direction edge detection filter, (b) is an NE direction detection filter, (c) is an N direction detection filter, (D) shows an NW direction detection filter, (e) shows a W direction detection filter, (f) shows an SW direction detection filter, (g) shows an S direction detection filter, and (h) shows an SE direction detection filter. It is. 図１の高周波成分加算係数算出手段の構成を示すブロック構成図である。It is a block block diagram which shows the structure of the high frequency component addition coefficient calculation means of FIG. 図１の補完画像画素値算出手段の構成を示すブロック構成図である。It is a block block diagram which shows the structure of the complement image pixel value calculation means of FIG. 図１のＲ画像生成手段において、Ｂ，Ｇの画素位置の画素を補完する例を説明するための説明図であって、（ａ）は、Ｂ画素位置の画素を補完する例、（ｂ）は、Ｇ画素位置の画素を補完する例を説明するための説明図である。FIG. 8 is an explanatory diagram for explaining an example of complementing pixels at pixel positions of B and G in the R image generation unit of FIG. 1, wherein (a) is an example of complementing pixels at B pixel positions, (b) These are explanatory drawings for demonstrating the example which supplements the pixel of G pixel position. 本発明の実施形態に係る色情報補完装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the color information complementation apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る色情報補完装置の特徴を説明するための説明図であって、（ａ）はベイヤ配列画像の一部（５画素分）を抜き出した図、（ｂ）は色信号の相関を説明するための図である。It is an explanatory view for explaining the feature of the color information complementation device concerning the embodiment of the present invention, and (a) is a figure which extracted a part (five pixels worth) of Bayer array image, (b) is a color signal It is a figure for demonstrating correlation of. ベイヤ配列のカラーフィルタで撮像した撮像画像における各色の欠落状態を説明するための説明図である。It is an explanatory view for explaining a lack state of each color in an image pick-up picture picturized with a color filter of Bayer arrangement.

以下、本発明の実施形態について図面を参照して説明する。
［色情報補完装置の構成］
まず、図１を参照して、本発明の実施形態に係る色情報補完装置１の構成について説明する。
図１に示した色情報補完装置１は、カラーフィルタを用いた単板式撮像デバイスで撮像された撮像画像から、各色の欠落した色情報を補完するものである。ここでは、カラーフィルタの色配列をベイヤ（Ｂａｙｅｒ）配列とし、各色をＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色とする。すなわち、色情報補完装置１は、図１４に示したカラーフィルタＦ_Ｃを介して撮像された画像（ベイヤ配列画像）を入力し、Ｇ信号（Ｇ画像）、Ｒ信号（Ｒ画像）およびＢ信号（Ｂ画像）のそれぞれにおいて欠落している色情報を補完することで、ＲＧＢ画像を生成する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[Configuration of color information complementing device]
First, with reference to FIG. 1, the configuration of the color information complementing apparatus 1 according to the embodiment of the present invention will be described.
The color information complementing apparatus 1 shown in FIG. 1 complements missing color information of each color from an image captured by a single-plate type imaging device using a color filter. Here, the color arrangement of the color filter is a Bayer arrangement, and each color is a primary color of R (red), G (green), and B (blue). That is, the color information complementing apparatus 1 inputs the captured image (Bayer array image) through a color filter F _C shown in FIG. 14, G signal (G image), R signal (R image), and B signals The RGB image is generated by complementing the missing color information in each of the (B image).

この色情報補完装置１は、方位別振動成分抽出手段１０と、方位相関強度算出手段２０と、方位・帯域別画像補完手段３０と、方位別エッジ成分抽出手段４０と、高周波成分加算係数算出手段５０と、補完画像画素値算出手段６０と、Ｇ画像生成手段７０と、Ｒ画素抽出手段８０と、Ｂ画素抽出手段８０Ｂと、Ｒ画像生成手段９０と、Ｂ画像生成手段９０Ｂと、ＲＧＢ画像生成手段１００と、を備える。   The color information complementing apparatus 1 includes an azimuth-specific vibration component extraction means 10, an azimuth correlation strength calculation means 20, an azimuth-band-specific image complement means 30, an azimuth-specific edge component extraction means 40, and a high frequency component addition coefficient calculation means 50, complementary image pixel value calculation means 60, G image generation means 70, R pixel extraction means 80, B pixel extraction means 80B, R image generation means 90, B image generation means 90B, RGB image generation And means 100.

方位別振動成分抽出手段１０は、入力された撮像画像であるベイヤ配列画像の画素ごとに、水平方向および垂直方向の方位別に振動成分を抽出するものである。なお、振動成分とは、明るさ（輝度）の変動であって、画像の空間周波数成分（交流〔ＡＣ〕成分）である。
ここで、図２を参照（適宜図１参照）して、方位別振動成分抽出手段１０の詳細な構成について説明する。図２に示すように、方位別振動成分抽出手段１０は、水平振動成分抽出手段１１（１１_１，１１_２）と、垂直振動成分抽出手段１２（１２_１，１２_２）と、を備える。 The azimuth-specific vibration component extraction means 10 extracts the vibration component according to the azimuth in the horizontal direction and the vertical direction for each pixel of the Bayer array image which is the input captured image. The vibration component is a change in brightness (brightness) and is a spatial frequency component (AC (AC) component) of the image.
Here, with reference to FIG. 2 (refer to FIG. 1 as needed), the detailed configuration of the orientation-dependent vibration component extraction means 10 will be described. As shown in FIG. 2, the azimuthal vibration component extraction means 10 includes horizontal vibration component extraction means 11 (11 ₁ , 11 ₂ ) and vertical vibration component extraction means 12 (12 ₁ , 12 ₂ ).

水平振動成分抽出手段１１は、ベイヤ配列画像の画素ごとに、水平方向の振動成分を抽出するものである。この水平振動成分抽出手段１１は、ベイヤ配列画像に、局所的な水平振動成分をとらえる線形フィルタを適用し、２次元の畳み込み処理を行うことで、水平振動成分を抽出する。ここで、局所的な線形フィルタとは、入力される撮像画像の色の配置構成で、少なくともすべての色（ベイヤ配列画像の場合、ＲＧＢ）からなる最小構成を含んだ局所領域を覆うフィルタである。   The horizontal vibration component extraction means 11 extracts the vibration component in the horizontal direction for each pixel of the Bayer array image. The horizontal vibration component extraction means 11 applies a linear filter that captures a local horizontal vibration component to the Bayer array image, and extracts the horizontal vibration component by performing a two-dimensional convolution process. Here, the local linear filter is a filter that covers the local area including the minimum configuration of at least all colors (RGB in the case of Bayer array image) in the arrangement configuration of the colors of the input captured image. .

具体的には、水平振動成分抽出手段１１は、図３（ａ）に例示する線形フィルタ（水平振動成分抽出フィルタ）を用いて水平振動成分を抽出する。図３（ａ）の（ａ−１），（ａ−２）に示すように、ここでは、水平方向に空間周波数スケール（フィルタタップ数および対応する空間周波数）の異なる２つのフィルタを用いる。このように、少なくとも２行のフィルタを用いることで、水平振動成分抽出手段１１は、ベイヤ配列画像において、ＲＧＢすべての色の配置位置を含んだ局所領域の輝度成分から水平振動成分を抽出することができる。なお、水平振動成分抽出手段１１_１が、図３（ａ）の（ａ−１）のフィルタＦ_Ｈ１を用い、水平振動成分抽出手段１１_２が、図３（ａ）の（ａ−２）のフィルタＦ_Ｈ２を用いることとする。 Specifically, the horizontal vibration component extraction means 11 extracts a horizontal vibration component using a linear filter (horizontal vibration component extraction filter) illustrated in FIG. 3A. As shown in (a-1) and (a-2) of FIG. 3A, here, two filters having different spatial frequency scales (the number of filter taps and corresponding spatial frequencies) in the horizontal direction are used. As described above, by using at least two rows of filters, the horizontal vibration component extraction unit 11 extracts horizontal vibration components from luminance components of local regions including arrangement positions of all colors of RGB in the Bayer array image. Can. Incidentally, the horizontal vibration component extracting means 11 _1, using the filter _{F H1} in Figure 3 (a) (a-1), the horizontal vibration component extracting means 11 _2, 3 in (a) of (a-2) _Let us use the filter F _H2 .

そして、水平振動成分抽出手段１１_１は、水平振動成分を抽出した画像信号（水平振動成分画像Ｈ_１）を、方位相関強度算出手段２０に出力する。
また、水平振動成分抽出手段１１_２は、水平振動成分を抽出した画像信号（水平振動成分画像Ｈ_２）を、方位相関強度算出手段２０に出力する。 Then, the horizontal vibration component extracting means 11 _1, an image signal obtained by extracting the horizontal vibration component (the horizontal vibration component image H _1), and outputs the azimuth correlation intensity calculation unit 20.
The horizontal vibration component extracting means 11 _2, an image signal obtained by extracting the horizontal vibration component (the horizontal vibration component image H _2), and outputs the azimuth correlation intensity calculation unit 20.

垂直振動成分抽出手段１２は、ベイヤ配列画像の画素ごとに、垂直方向の振動成分を抽出するものである。この垂直振動成分抽出手段１２は、水平振動成分抽出手段１１とは抽出する振動成分の方向が異なるだけで、ベイヤ配列画像に、局所的な垂直振動成分をとらえる線形フィルタを適用し、２次元の畳み込み処理を行うことで、垂直振動成分を抽出する。   The vertical vibration component extraction means 12 extracts the vibration component in the vertical direction for each pixel of the Bayer array image. The vertical vibration component extraction means 12 applies a linear filter for capturing a local vertical vibration component to the Bayer array image, except that the direction of the vibration component to be extracted is different from that of the horizontal vibration component extraction means 11, The vertical vibration component is extracted by performing convolution processing.

具体的には、垂直振動成分抽出手段１２は、図３（ｂ）に例示する線形フィルタ（垂直振動成分抽出フィルタ）を用いて垂直振動成分を抽出する。図３（ｂ）の（ｂ−１），（ｂ−２）に示すように、ここでは、垂直方向に空間周波数スケール（フィルタ係数の数）の異なる２つのフィルタを用いる。このように、少なくとも２列のフィルタを用いることで、垂直振動成分抽出手段１２は、ベイヤ配列画像において、ＲＧＢすべての色の配置位置を含んだ局所領域の輝度成分から垂直振動成分を抽出することができる。なお、垂直振動成分抽出手段１２_１が、図３（ｂ）の（ｂ−１）のフィルタＦ_Ｖ１を用い、垂直振動成分抽出手段１２_２が、図３（ｂ）の（ｂ−２）のフィルタＦ_Ｖ２を用いることとする。 Specifically, the vertical vibration component extraction means 12 extracts the vertical vibration component using the linear filter (vertical vibration component extraction filter) illustrated in FIG. 3 (b). As shown in (b-1) and (b-2) of FIG. 3B, here, two filters having different spatial frequency scales (the number of filter coefficients) in the vertical direction are used. As described above, by using at least two rows of filters, the vertical vibration component extraction unit 12 extracts the vertical vibration component from the luminance component of the local region including the arrangement positions of all the RGB colors in the Bayer array image. Can. The vertical vibration component extracting means 12 _1, using the filter _{F V1} in FIG. 3 (b) (b-1), the vertical vibration component extracting means 12 _2, 3 (b), the (b-2) _Let us use the filter F _V2 .

そして、垂直振動成分抽出手段１２_１は、垂直振動成分を抽出した画像信号（垂直振動成分画像Ｖ_１）を、方位相関強度算出手段２０に出力する。
また、垂直振動成分抽出手段１２_２は、垂直振動成分を抽出した画像信号（垂直振動成分画像Ｖ_２）を、方位相関強度算出手段２０に出力する。
なお、ここでは、方位別振動成分抽出手段１０を、水平振動成分抽出手段１１と垂直振動成分抽出手段１２とを２つずつで構成した例を示しているが、それぞれ少なくとも１つ以上あればよい。また、水平振動成分抽出手段１１と垂直振動成分抽出手段１２とは、同数とする。 Then, vertical vibration component extracting means 12 _1, an image signal obtained by extracting the vertical vibration component (the vertical vibration component image V _1), and outputs the azimuth correlation intensity calculation unit 20.
The vertical vibration component extracting means 12 _2, an image signal obtained by extracting the vertical vibration component (the vertical vibration component image V _2), and outputs the azimuth correlation intensity calculation unit 20.
Here, although an example in which the azimuthal vibration component extraction means 10 is configured by two each of the horizontal vibration component extraction means 11 and the vertical vibration component extraction means 12 is shown, at least one or more may be provided. . Further, the horizontal vibration component extraction means 11 and the vertical vibration component extraction means 12 have the same number.

また、方位別振動成分抽出手段１０は、水平振動成分抽出手段１１と垂直振動成分抽出手段１２とをそれぞれ複数備える場合、それぞれの方向において、空間周波数スケールが異なるフィルタを使用することとする。これによって、方位別振動成分抽出手段１０は、複数の異なる解像度で水平および垂直の振動成分を得ることができ、後記する方位相関強度算出手段２０で振動成分の方位相関を求める際の誤差を低減させることができる。
図１に戻って、色情報補完装置１の構成について説明を続ける。 In addition, when the directional vibration component extraction unit 10 includes a plurality of horizontal vibration component extraction units 11 and a plurality of vertical vibration component extraction units 12, filters with different spatial frequency scales in each direction are used. By this, the azimuthal vibration component extraction means 10 can obtain horizontal and vertical vibration components at a plurality of different resolutions, and the error in obtaining the azimuth correlation of the vibration components by the azimuth correlation intensity calculation means 20 described later is reduced. It can be done.
Returning to FIG. 1, the description of the configuration of the color information complementing apparatus 1 will be continued.

方位相関強度算出手段２０は、方位別振動成分抽出手段１０で抽出された水平振動成分と垂直振動成分との相関に基づいて、ベイヤ配列画像の画素ごとの局所的な方位相関の強度を算出するものである。
すなわち、方位相関強度算出手段２０は、方位相関の強度として、水平振動成分が垂直振動成分より大きければ、垂直方向に相関の度合いが高く、垂直振動成分が水平振動成分より大きければ、水平方向に相関の度合いが高いことを示すパラメータ（方位不均一性パラメータ）を算出する。 The azimuth correlation strength calculation means 20 calculates the strength of local azimuth correlation for each pixel of the Bayer array image based on the correlation between the horizontal vibration component and the vertical vibration component extracted by the azimuth vibration component extraction means 10 It is a thing.
That is, the azimuth correlation strength calculation means 20 determines that the degree of correlation is high in the vertical direction if the horizontal vibration component is larger than the vertical vibration component as the strength of the azimuth correlation, and horizontally if the vertical vibration component is larger than the horizontal vibration component. A parameter (orientation nonuniformity parameter) indicating that the degree of correlation is high is calculated.

具体的には、方位相関強度算出手段２０は、水平振動成分抽出手段１１（図２参照）で抽出された水平振動成分画像Ｈ_ｎ（ここでは、Ｈ_１，Ｈ_２）と、垂直振動成分抽出手段１２（図２参照）で抽出された垂直振動成分画像Ｖ_ｎ（ここでは、Ｖ_１，Ｖ_２）とから、以下の式（１）の演算を行うことで、画素ごとに方位不均一性パラメータλを算出する。 Specifically, the azimuth correlation strength calculation unit 20 extracts the horizontal vibration component image H _n (here, H ₁ , H ₂ ) extracted by the horizontal vibration component extraction unit 11 (see FIG. ₂ ) and the vertical vibration component extraction. From the vertical vibration component image V _n (here, V ₁ , V ₂ ) extracted by the means 12 (refer to FIG. 2), the azimuth nonuniformity for each pixel is performed by performing the calculation of the following equation (1) The parameter λ is calculated.

ここで、（ｉ，ｊ）は画像のｉ行ｊ列の画素位置を示す。また、｜Ｈ_ｎ（ｉ，ｊ）｜は水平振動成分画像Ｈ_ｎの画素位置（ｉ，ｊ）の画素値の絶対値、｜Ｖ_ｎ（ｉ，ｊ）｜は垂直振動成分画像Ｖ_ｎの画素位置（ｉ，ｊ）の画素値の絶対値をそれぞれ示す。
また、ｐは方位相関の強度（方位不均一性）を強調するための“０”以上の任意の実数である。このｐは“１”または“２”程度の値を用いることが望ましいが、これらに限定されるものではない。また、Ｎは空間周波数スケールの数であって、本実施形態ではＮ＝２である。この空間周波数スケールの数は、水平振動成分抽出手段１１の数（垂直振動成分抽出手段１２の数も同数）に応じて予め定めたものである。 Here, (i, j) indicates the pixel position of the i row j column of the image. _{Moreover, | H n (i, j} ) | is the absolute value of the pixel values of the pixel positions of the horizontal vibration component image _{H n (i, j),} | V n (i, j) | is the vertical vibration component image _{V n} The absolute values of the pixel values at pixel position (i, j) are shown.
Also, p is an arbitrary real number of “0” or more for emphasizing the strength of azimuth correlation (azimuth nonuniformity). Although it is desirable to use a value of about "1" or "2", this p is not limited to these. Also, N is the number of spatial frequency scales, and in the present embodiment, N = 2. The number of spatial frequency scales is determined in advance according to the number of horizontal vibration component extraction means 11 (the same number of vertical vibration component extraction means 12).

なお、この式（１）において、“０”による割り算の影響を避けるため、右辺の分母、または、分母および分子に、小さな定数を加算してもよい。あるいは、分母が“０”になる場合は、割り算を行わず、その演算結果を“０．５”としてもよい。
また、ノイズを軽減するために、方位相関強度算出手段２０は、前記式（１）で得られた方位不均一性パラメータλ（ｉ，ｊ）の値を画素値とする画像を空間的に平滑化してもよい。 In the formula (1), a small constant may be added to the denominator on the right side or the denominator and the numerator in order to avoid the influence of the division by "0". Alternatively, when the denominator is "0", the division may not be performed, and the calculation result may be "0.5".
Further, in order to reduce noise, the azimuth correlation intensity calculation unit 20 spatially smoothes an image in which the value of the azimuth nonuniformity parameter λ (i, j) obtained by the equation (1) is a pixel value. May be

前記式（１）によって、方位不均一性パラメータλは、水平方向の振動成分のみが抽出された場合はλ＝０、垂直方向の振動成分のみが抽出された場合はλ＝１、水平方向および垂直方向の振動成分が同等の場合はλ＝０．５の値となる。また、方位不均一性パラメータλは、水平方向の方が垂直方向の振動成分よりも小さければ０．５＜λ≦１、逆に大きければ０≦λ＜０．５の範囲の実数値となる。   According to the equation (1), the azimuth nonuniformity parameter λ is λ = 0 when only the horizontal vibration component is extracted, λ = 1 when the vertical vibration component is only extracted, and When the vibration components in the vertical direction are equal, the value of λ = 0.5 is obtained. The azimuth nonuniformity parameter λ is a real value within the range of 0.5 ≦ λ ≦ 1 if the horizontal direction is smaller than the vibration component in the vertical direction, and 0 ≦ λ <0.5 if it is large. .

この方位相関強度算出手段２０は、算出した画素ごとの方位不均一性パラメータλを、補完画像画素値算出手段６０に出力する。なお、ここでは、方位相関強度算出手段２０は、方位相関として水平方向を基準とした方位不均一性パラメータλとともに、方位相関として垂直方向を基準とした方位不均一性パラメータ（１−λ）を、補完画像画素値算出手段６０に出力することとする。   The azimuth correlation intensity calculation means 20 outputs the calculated azimuth nonuniformity parameter λ for each pixel to the complementary image pixel value calculation means 60. Here, the azimuth correlation intensity calculation unit 20 carries out the azimuth nonuniformity parameter λ with reference to the horizontal direction as the azimuth correlation and the azimuth nonuniformity parameter (1-λ) with respect to the vertical direction as the azimuth correlation. , And output to the complementary image pixel value calculating means 60.

ここで、図４を参照（適宜図１〜図３参照）して、方位相関強度算出手段２０が行う前記式（１）の演算内容を模式的に説明する。なお、図４で、各画像の右側のレベル表示は、各画像の画素値の値を示す。   Here, with reference to FIG. 4 (refer to FIG. 1 to FIG. 3 as needed), details of the calculation of the equation (1) performed by the azimuth correlation intensity calculation means 20 will be schematically described. In FIG. 4, the level display on the right side of each image indicates the value of the pixel value of each image.

方位相関強度算出手段２０には、水平振動成分として、水平振動成分抽出手段１１_１でフィルタＦ_Ｈ１によって抽出された水平振動成分画像Ｈ_１と、水平振動成分抽出手段１１_２でフィルタＦ_Ｈ２によって抽出された水平振動成分画像Ｈ_２とが入力される。
また、方位相関強度算出手段２０には、垂直振動成分として、垂直振動成分抽出手段１２_１でフィルタＦ_Ｖ１によって抽出された垂直振動成分画像Ｖ_１と、垂直振動成分抽出手段１２_２でフィルタＦ_Ｖ２によって抽出された垂直振動成分画像Ｖ_２とが入力される。
なお、図４で、水平振動成分画像｜Ｈ_１｜，｜Ｈ_２｜、垂直振動成分画像｜Ｖ_１｜，｜Ｖ_２｜は、それぞれ、水平振動成分画像Ｈ_１，Ｈ_２、垂直振動成分画像Ｖ_１，Ｖ_２の画素ごとに絶対値をとった画像である。 The azimuth correlation intensity calculating means 20 extracts, as a horizontal vibration component, the horizontal vibration component image H ₁ that has been extracted by the filter F _H1 in the horizontal vibration component extracting means 11 _1, the filter F _H2 in the horizontal vibration component extracting means 11 ₂ horizontal vibration component image H ₂ which is is input.
Further, the azimuth correlation intensity calculating means 20, as a vertical vibration component, a vertical vibration component image V _1, which is extracted by the filter F _V1 in the vertical vibration component extracting means 12 _1, the vertical vibration component extracting means 12 ₂ filter F _V2 a vertical vibration component image V ₂ extracted by is input.
In FIG. 4, horizontal vibration component images | H ₁ |, | H ₂ | and vertical vibration component images | V ₁ |, | V ₂ | are horizontal vibration component images H ₁ , H ₂ and vertical vibration components, respectively. an image taking the absolute value for each pixel of the image V _1, V _2.

そして、方位相関強度算出手段２０は、水平振動成分画像Ｈ_１と、垂直振動成分画像Ｖ_１とに対して、画素ごとに｛｜Ｖ_１｜／（｜Ｈ_１｜＋｜Ｖ_１｜）｝、あるいは、｛Ｖ_１ ^２／（Ｈ_１ ^２＋Ｖ_１ ^２）｝の演算を行うことで、方位相関の強度（方位不均一性パラメータλ_１）の空間分布を示す強度分布画像Λ_１を生成する。
また、方位相関強度算出手段２０は、水平振動成分画像Ｈ_２と、垂直振動成分画像Ｖ_２とに対して、画素ごとに｛｜Ｖ_２｜／（｜Ｈ_２｜＋｜Ｖ_２｜）｝、あるいは、｛Ｖ_２ ^２／（Ｈ_２ ^２＋Ｖ_２ ^２）｝の演算を行うことで、方位相関の強度（方位不均一性パラメータλ_２）の空間分布を示す強度分布画像Λ_２を生成する。
そして、方位相関強度算出手段２０は、強度分布画像Λ_１と強度分布画像Λ_２とを、画素ごとに平均化して、平均化した方位不均一性パラメータλの空間分布を示す強度分布画像Λを生成する。 Then, the azimuth correlation strength calculation means 20 calculates {| V ₁ | / (| H ₁ | + | V ₁ |)} for each pixel with respect to the horizontal vibration component image H ₁ and the vertical vibration component image V ₁ . Or, by performing an operation of {V ₁ ² / (H ₁ ² + V ₁ ² )}, an intensity distribution image Λ ₁ showing the spatial distribution of the intensity of orientation correlation (orientation nonuniformity parameter λ ₁ ) is generated .
Further, the azimuth correlation strength calculation means 20 calculates {| V ₂ | / (| H ₂ | + | V ₂ |)} for each pixel with respect to the horizontal vibration component image H ₂ and the vertical vibration component image V ₂ . Or, by performing an operation of {V ₂ ² / (H ₂ ² + V ₂ ² )}, an intensity distribution image Λ ₂ showing the spatial distribution of the intensity of orientation correlation (orientation nonuniformity parameter λ ₂ ) is generated .
Then, the azimuth correlation intensity calculation means 20 averages the intensity distribution image Λ ₁ and the intensity distribution image Λ ₂ for each pixel, and generates an intensity distribution image 示 す showing the spatial distribution of the averaged azimuth nonuniformity parameter λ. Generate

このように、方位相関強度算出手段２０は、空間周波数スケールごとに、方位不均一性パラメータ（λ_１，λ_２）を算出し、平均化することで、複数の解像度の異なる画像から方位相関を求めることができる。これによって、方位相関強度算出手段２０は、単一の空間周波数スケールのみの場合よりも誤差を軽減し、精度の高い方位相関を得ることができる。
図１に戻って、色情報補完装置１の構成について説明を続ける。 In this manner, the azimuth correlation intensity calculation unit 20 calculates azimuth non-uniformity parameters (λ ₁ , λ ₂ ) for each spatial frequency scale, and averages them to obtain azimuth correlations from images with different resolutions. It can be asked. By this, the azimuth correlation intensity calculation means 20 can reduce errors more than in the case of only a single spatial frequency scale, and can obtain azimuth correlation with high accuracy.
Returning to FIG. 1, the description of the configuration of the color information complementing apparatus 1 will be continued.

方位・帯域別画像補完手段３０は、入力された撮像画像であるベイヤ配列画像における特定色の画素の画素値を、水平方向および垂直方向の各方位について低周波成分および高周波成分の帯域別に補完して、方位・帯域別画像を生成するものである。なお、ここで、特定色は、当該特定色に対する水平方向の補完対象画素の画素位置と、垂直方向の補完対象画素の画素位置とが一致する色とする。すなわち、ベイヤ配列画像の場合、特定色は、水平方向および垂直方向のそれぞれに１画素おきに配置されたＧ（緑）とする。   The azimuth / band-specific image complementing means 30 complements the pixel values of pixels of a specific color in the Bayer array image, which is the input captured image, for each band of low frequency component and high frequency component for each horizontal and vertical orientation. To generate an azimuth / band-specific image. Here, the specific color is a color in which the pixel position of the complement target pixel in the horizontal direction with respect to the specific color matches the pixel position of the complement target pixel in the vertical direction. That is, in the case of the Bayer array image, the specific color is G (green) arranged at every other pixel in the horizontal direction and the vertical direction.

ここで、図５を参照（適宜図１参照）して、方位・帯域別画像補完手段３０の詳細な構成について説明する。図５に示すように、方位・帯域別画像補完手段３０は、水平低周波成分補完手段３１と、水平高周波成分補完手段３２と、垂直低周波成分補完手段３３と、垂直高周波成分補完手段３４と、を備える。   Here, with reference to FIG. 5 (refer to FIG. 1 as needed), a detailed configuration of the azimuth / band-specific image complementing means 30 will be described. As shown in FIG. 5, the azimuth and band-based image complementing unit 30 includes a horizontal low frequency component complementing unit 31, a horizontal high frequency component complementing unit 32, a vertical low frequency component complementing unit 33, and a vertical high frequency component complementing unit 34. And.

水平低周波成分補完手段３１は、ベイヤ配列画像のＲ，Ｂの画素位置において、水平方向に隣接するＧの画素値を平均化して、当該Ｒ，Ｂの画素位置におけるＧの画素値を補完するものである。
より具体的には、水平低周波成分補完手段３１は、図６（ａ）に示すような、「１／２、０、１／２」を係数とする水平低域フィルタＦ_ＨＬを用いて、水平方向にベイヤ配列画像をフィルタリングすることで、Ｒ，Ｂの画素位置においてＧの画素値を補完する。
この水平低周波成分補完手段３１は、水平方向にＧを補完した水平低周波成分補完画像Ｇ_ＨＬを、補完画像画素値算出手段６０に出力する。 The horizontal low-frequency component complementing means 31 averages the pixel values of G adjacent in the horizontal direction at pixel positions of R and B of the Bayer array image, and complements the pixel values of G at the pixel positions of R and B. It is a thing.
More specifically, the horizontal low-frequency component complementing means 31 uses a horizontal low-pass filter F _HL having “1/2, 0, 1/2” as a coefficient as shown in FIG. By filtering the Bayer array image in the horizontal direction, the G pixel values are complemented at the R and B pixel positions.
The horizontal low-frequency component complementing means 31 outputs a horizontal low-frequency component-complemented image G _HL obtained by complementing G in the horizontal direction to the complementary image pixel value calculation means 60.

水平高周波成分補完手段３２は、ベイヤ配列画像のＲ，Ｂの画素位置において、当該画素の画素値と水平方向に２画素離れた位置の画素の画素値とから高周波成分を算出し、当該Ｒ，Ｂの画素位置におけるＧの画素値を補完するものである。
より具体的には、水平高周波成分補完手段３２は、図６（ｂ）に示すような、「−１／４、０、２／４、０、−１／４」を係数とする水平高域フィルタＦ_ＨＨを用いて、水平方向にベイヤ配列画像をフィルタリングすることで、Ｒ，Ｂの画素位置においてＧの画素値を補完する。
この水平高周波成分補完手段３２は、水平方向にＧを補完した水平高周波成分補完画像Ｇ_ＨＨを、補完画像画素値算出手段６０に出力する。 The horizontal high frequency component complementing means 32 calculates a high frequency component from the pixel value of the pixel and the pixel value of the pixel two pixels away in the horizontal direction at the R and B pixel positions of the Bayer array image, The pixel value of G at the pixel position of B is complemented.
More specifically, the horizontal high-frequency component complementing means 32 is a horizontal high-frequency component having “−1/4, 0, 2/4, 0, −1⁄4” as a coefficient as shown in FIG. By filtering the Bayer array image in the horizontal direction using the filter F _HH , the G pixel values are complemented at the R and B pixel positions.
The horizontal high-frequency component complementing unit 32 outputs a horizontal high-frequency component-complemented image _GHH obtained by complementing G in the horizontal direction to the complementary image pixel value calculation unit 60.

垂直低周波成分補完手段３３は、ベイヤ配列画像のＲ，Ｂの画素位置において、垂直方向に隣接するＧの画素値を平均化して、当該Ｒ，Ｂの画素位置におけるＧの画素値を補完するものである。
より具体的には、垂直低周波成分補完手段３３は、図６（ｃ）に示すような、「１／２、０、１／２」を係数とする垂直低域フィルタＦ_ＶＬを用いて、垂直方向にベイヤ配列画像をフィルタリングすることで、Ｒ，Ｂの画素位置においてＧの画素値を補完する。
この垂直低周波成分補完手段３３は、垂直方向にＧを補完した垂直低周波成分補完画像Ｇ_ＶＬを、補完画像画素値算出手段６０に出力する。 The vertical low frequency component complementing means 33 averages the pixel values of G adjacent in the vertical direction at pixel positions of R and B of the Bayer array image, and complements the pixel values of G at the pixel positions of R and B It is a thing.
More specifically, the vertical low-frequency component complementing means 33 uses a vertical low-pass filter F _VL having coefficients “1/2, 0, 1/2” as shown in FIG. By filtering the Bayer array image in the vertical direction, the G pixel value is complemented at the R and B pixel positions.
The vertical low-frequency component complementing means 33 outputs a vertical low-frequency component-complemented image _GVL obtained by complementing G in the vertical direction to the complementary image pixel value calculation means 60.

垂直高周波成分補完手段３４は、ベイヤ配列画像のＲ，Ｂの画素位置において、当該画素の画素値と垂直方向に２画素離れた位置の画素の画素値とから高周波成分を算出し、当該Ｒ，Ｂの画素位置におけるＧの画素値を補完するものである。
より具体的には、垂直高周波成分補完手段３４は、図６（ｄ）に示すような、「−１／４、０、２／４、０、−１／４」を係数とする垂直高域フィルタＦ_ＶＨを用いて、垂直方向にベイヤ配列画像をフィルタリングすることで、Ｒ，Ｂの画素位置においてＧの画素値を補完する。
この垂直高周波成分補完手段３４は、垂直方向にＧを補完した垂直高周波成分補完画像Ｇ_ＶＨを、補完画像画素値算出手段６０に出力する。 The vertical high frequency component complementing means 34 calculates the high frequency component from the pixel value of the pixel and the pixel value of the pixel two pixels away in the vertical direction at the R and B pixel positions of the Bayer array image, The pixel value of G at the pixel position of B is complemented.
More specifically, the vertical high frequency component complementing means 34 has a vertical high frequency band having “−1/4, 0, 2/4, 0, −1⁄4” as a coefficient as shown in FIG. 6D. By filtering the Bayer array image in the vertical direction using the filter F _VH , the G pixel values are complemented at the R and B pixel positions.
The vertical high-frequency component complementing unit 34 outputs a vertical high-frequency component-complemented image _{GVH in} which G is complemented in the vertical direction to the complementary image pixel value calculation unit 60.

なお、方位・帯域別画像補完手段３０が用いるフィルタは、図６（ａ）〜（ｄ）に示した係数やフィルタ長に限定されるものではない。すなわち、低域フィルタ（水平低域フィルタＦ_ＨＬ、垂直低域フィルタＦ_ＶＬ）は、隣接画素の画素値を平滑化する平滑化フィルタであればよく、高域フィルタ（水平高域フィルタＦ_ＨＨ、垂直高域フィルタＦ_ＶＨ）は、画素値の変化を検出するハイパスフィルタであればよい。
図１に戻って、色情報補完装置１の構成について説明を続ける。 The filters used by the azimuth / band-specific image complementing unit 30 are not limited to the coefficients and filter lengths shown in FIGS. 6 (a) to 6 (d). That is, the low pass filter (horizontal low pass filter F _HL , vertical low pass filter F _VL ) may be a smoothing filter that smoothes the pixel values of adjacent pixels, and the high pass filter (horizontal high pass filter F _HH , The vertical high pass filter F _VH may be a high pass filter that detects a change in pixel value.
Returning to FIG. 1, the description of the configuration of the color information complementing apparatus 1 will be continued.

方位別エッジ成分抽出手段４０は、入力されたベイヤ配列画像から、水平方向、垂直方向および斜め方向の方位別のエッジ成分を画素ごとに抽出するものである。この方位別エッジ成分抽出手段４０は、８方向（Ｅ方向〔右方向〕、ＮＥ方向〔右上方向〕、Ｎ方向〔上方向〕、ＮＷ方向〔左上方向〕、Ｗ方向〔左方向〕、ＳＷ方向〔左下方向〕、Ｓ方向〔下方向〕、ＳＷ方向〔右下方向〕）に隣接する画素との間に存在するエッジの成分を抽出することとする。   The azimuthal edge component extraction unit 40 extracts, for each pixel, an edge component according to azimuth in the horizontal direction, the vertical direction, and the diagonal direction from the input Bayer array image. This azimuthal edge component extraction means 40 comprises eight directions (E direction [right direction], NE direction [upper right direction], N direction [upper direction], NW direction [upper left direction], W direction [left direction], SW direction [Lower left direction] A component of an edge existing between adjacent pixels in the S direction [lower direction] and the SW direction [lower right direction] is extracted.

ここで、図７を参照（適宜図１参照）して、方位別エッジ成分抽出手段４０の詳細な構成について説明する。図７に示すように、方位別エッジ成分抽出手段４０は、方位別に、Ｅ方向エッジ成分抽出手段４１と、ＮＥ方向エッジ成分抽出手段４２と、Ｎ方向エッジ成分抽出手段４３と、ＮＷ方向エッジ成分抽出手段４４と、Ｗ方向エッジ成分抽出手段４５と、ＳＷ方向エッジ成分抽出手段４６と、Ｓ方向エッジ成分抽出手段４７と、ＳＥ方向エッジ成分抽出手段４８と、を備える。   Here, with reference to FIG. 7 (refer to FIG. 1 as needed), the detailed configuration of the orientation-based edge component extraction means 40 will be described. As shown in FIG. 7, the azimuthal edge component extraction unit 40 separates the E direction edge component extraction unit 41, the NE direction edge component extraction unit 42, the N direction edge component extraction unit 43, and the NW direction edge component by direction. An extraction unit 44, a W direction edge component extraction unit 45, an SW direction edge component extraction unit 46, an S direction edge component extraction unit 47, and an SE direction edge component extraction unit 48 are provided.

Ｅ方向エッジ成分抽出手段４１は、ベイヤ配列画像のＲ，Ｂの画素位置において、当該画素の周辺８画素の画素値から、Ｅ方向（右方向）のエッジ成分を抽出するものである。
より具体的には、Ｅ方向エッジ成分抽出手段４１は、図８（ａ）に示すような係数のＥ方向エッジ検出フィルタＦ_Ｅを用いて、ベイヤ配列画像をフィルタリングし、絶対値化することで、Ｅ方向エッジ成分Ｍ_Ｅを抽出する。
このＥ方向エッジ成分抽出手段４１は、抽出したＥ方向エッジ成分Ｍ_Ｅを、高周波成分加算係数算出手段５０に出力する。 The E direction edge component extraction unit 41 extracts an edge component in the E direction (right direction) from pixel values of eight pixels around the pixel at pixel positions of R and B in the Bayer array image.
More specifically, E direction edge component extraction unit 41 uses the E direction edge detection filter F _E coefficients as shown in FIG. 8 (a), filtering the Bayer array image, by absolute values , E direction edge component M _E is extracted.
The E-direction edge component extraction means 41 outputs the extracted E-direction edge component M _E to the high frequency component addition coefficient calculation means 50.

また、ＮＥ方向エッジ成分抽出手段４２、Ｎ方向エッジ成分抽出手段４３、ＮＷ方向エッジ成分抽出手段４４、Ｗ方向エッジ成分抽出手段４５、ＳＷ方向エッジ成分抽出手段４６、Ｓ方向エッジ成分抽出手段４７、および、ＳＥ方向エッジ成分抽出手段４８は、Ｅ方向エッジ成分抽出手段４１と同様に、ベイヤ配列画像のＲ，Ｂの画素位置において、当該画素の周辺８画素の画素値から、それぞれの方向（Ｎ方向、ＮＷ方向、Ｗ方向、ＳＷ方向、Ｓ方向、および、ＳＥ方向）に隣接する画素との間に存在するエッジの成分を抽出する。   Also, NE direction edge component extraction means 42, N direction edge component extraction means 43, NW direction edge component extraction means 44, W direction edge component extraction means 45, SW direction edge component extraction means 46, S direction edge component extraction means 47, Similarly to the E direction edge component extraction unit 41, the SE direction edge component extraction unit 48 determines the directions (N from the pixel values of the peripheral 8 pixels of the pixel at the R and B pixel positions of the Bayer array image). The components of the edge existing between the pixel adjacent to the direction, the NW direction, the W direction, the SW direction, the S direction, and the SE direction) are extracted.

より具体的には、ＮＥ方向エッジ成分抽出手段４２は図８（ｂ）に示すようなＮＥ方向エッジ検出フィルタＦ_ＮＥを用いて、ベイヤ配列画像をフィルタリングし、絶対値化することで、ＮＥ方向エッジ成分Ｍ_ＮＥを抽出する。
また、Ｎ方向エッジ成分抽出手段４３は図８（ｃ）に示すようなＮ方向エッジ検出フィルタＦ_Ｎを用いて、ベイヤ配列画像をフィルタリングし、絶対値化することで、Ｎ方向エッジ成分Ｍ_Ｎを抽出する。
また、ＮＷ方向エッジ成分抽出手段４４は図８（ｄ）に示すようなＮＷ方向エッジ検出フィルタＦ_ＮＷを用いて、ベイヤ配列画像をフィルタリングし、絶対値化することで、ＮＷ方向エッジ成分Ｍ_ＮＷを抽出する。 More specifically, the NE direction edge component extraction means 42 filters the Bayer array image using an NE direction edge detection filter F _NE as shown in FIG. Edge component M _NE is extracted.
Further, N direction edge component extraction unit 43 using the N direction edge detection filter F _N as shown in FIG. 8 (c), filtering the Bayer array image, by absolute values, N direction edge component M _N Extract
Moreover, NW direction edge component extraction unit 44 with the NW direction edge detection filter F _NW as shown in FIG. 8 (d), filtering the Bayer array image, by absolute values, NW direction edge component M _NW Extract

また、Ｗ方向エッジ成分抽出手段４５は図８（ｅ）に示すようなＷ方向エッジ検出フィルタＦ_Ｗを用いて、ベイヤ配列画像をフィルタリングし、絶対値化することで、Ｗ方向エッジ成分Ｍ_Ｗを抽出する。
また、ＳＷ方向エッジ成分抽出手段４６は図８（ｆ）に示すようなＳＷ方向エッジ検出フィルタＦ_ＳＷを用いて、ベイヤ配列画像をフィルタリングし、絶対値化することで、ＳＷ方向エッジ成分Ｍ_ＳＷを抽出する。
また、Ｓ方向エッジ成分抽出手段４７は図８（ｇ）に示すようなＳ方向エッジ検出フィルタＦ_Ｓを用いて、ベイヤ配列画像をフィルタリングし、絶対値化することで、Ｓ方向エッジ成分Ｍ_Ｓを抽出する。 Further, W direction edge component extraction unit 45 by using the W direction edge detection filter F _W as shown in FIG. 8 (e), filtering the Bayer array image, by absolute values, W direction edge component M _W Extract
Further, SW direction edge component extraction unit 46 by using the SW direction edge detection filter F _SW as shown in FIG. 8 (f), filtering the Bayer array image, by absolute values, SW direction edge component M _SW Extract
Further, S direction edge component extraction unit 47 by using the S-direction edge detection filter F _S as shown in FIG. 8 (g), filtering the Bayer array image, by absolute values, S direction edge component M _S Extract

また、ＳＥ方向エッジ成分抽出手段４８は図８（ｈ）に示すようなＳＥ方向エッジ検出フィルタＦ_ＳＥを用いて、ベイヤ配列画像をフィルタリングし、絶対値化することで、ＳＥ方向エッジ成分Ｍ_ＳＥを抽出する。
そして、ＮＥ方向エッジ成分抽出手段４２、Ｎ方向エッジ成分抽出手段４３、ＮＷ方向エッジ成分抽出手段４４、Ｗ方向エッジ成分抽出手段４５、ＳＷ方向エッジ成分抽出手段４６、Ｓ方向エッジ成分抽出手段４７、および、ＳＥ方向エッジ成分抽出手段４８は、それぞれ抽出した各方向のエッジ成分（Ｍ_ＮＥ、Ｍ_Ｎ、Ｍ_ＮＷ、Ｍ_Ｗ、Ｍ_ＳＷ、Ｍ_Ｓ、Ｍ_ＳＥ）を、高周波成分加算係数算出手段５０に出力する。 Further, SE direction edge component extraction unit 48 using the SE direction edge detection filter F _SE as shown in FIG. 8 (h), filtering the Bayer array image, by absolute values, SE direction edge component M _SE Extract
The NE direction edge component extraction unit 42, the N direction edge component extraction unit 43, the NW direction edge component extraction unit 44, the W direction edge component extraction unit 45, the SW direction edge component extraction unit 46, the S direction edge component extraction unit 47, and, SE direction edge component extraction unit 48, the direction of the edge components extracted, respectively _{(M NE, M N, M} NW, M W, M SW, M S, M SE) the high frequency component adding coefficient calculating means 50 Output to

このように、方位別エッジ成分抽出手段４０は、図８（ａ）〜（ｈ）に示した方位別のフィルタを用いることで、ベイヤ配列画像からエッジ成分を抽出することができる。
図１に戻って、色情報補完装置１の構成について説明を続ける。 As described above, the azimuthal edge component extraction unit 40 can extract edge components from the Bayer array image by using the azimuthal filters shown in FIGS. 8A to 8H.
Returning to FIG. 1, the description of the configuration of the color information complementing apparatus 1 will be continued.

高周波成分加算係数算出手段５０は、方位別エッジ成分抽出手段４０で抽出された方位別（８方向）のエッジ成分から、ベイヤ配列画像のＲ，Ｂの画素位置におけるＧの画素値を補完する際の高周波成分を補正する係数（高周波成分加算係数ｗ）を算出するものである。   When the high-frequency component addition coefficient calculation means 50 complements the G pixel value at the R, B pixel positions of the Bayer array image from the edge components according to azimuth (eight directions) extracted by the azimuthal edge component extraction means 40 The coefficient (high frequency component addition coefficient w) for correcting the high frequency component of is calculated.

ここで、図９を参照（適宜図１参照）して、高周波成分加算係数算出手段５０の詳細な構成について説明する。図９に示すように、高周波成分加算係数算出手段５０は、最大値検出手段５１と、係数変換手段５２と、を備える。   Here, the detailed configuration of the high-frequency component addition coefficient calculation means 50 will be described with reference to FIG. 9 (refer to FIG. 1 as needed). As shown in FIG. 9, the high frequency component addition coefficient calculation unit 50 includes a maximum value detection unit 51 and a coefficient conversion unit 52.

最大値検出手段５１は、方位別エッジ成分抽出手段４０で抽出されたエッジ成分の最大値を検出するものである。
すなわち、最大値検出手段５１は、以下の式（２）に示すように、方位別エッジ成分抽出手段４０で抽出された各方向のエッジ成分（Ｍ_Ｅ、Ｍ_ＮＥ、Ｍ_Ｎ、Ｍ_ＮＷ、Ｍ_Ｗ、Ｍ_ＳＷ、Ｍ_Ｓ、Ｍ_ＳＥ）について、ベイヤ配列画像の画素位置（ｉ，ｊ）ごとに、エッジ成分の最大値Ｍ_ＭＡＸ（ｉ，ｊ）を求める。なお、（ｉ，ｊ）は画像のｉ行ｊ列の画素位置を示す。 The maximum value detection means 51 detects the maximum value of the edge component extracted by the azimuthal edge component extraction means 40.
That is, as shown in the following equation (2), the maximum value detection means 51 detects the edge components (M _E , M _NE , M _N , M _NW , M _N ) of each direction extracted by the azimuth-specific edge component extraction means 40. The maximum value M _MAX (i, j) of the edge component is obtained for each pixel position (i, j) of the Bayer array image for _{W 1} , M _SW , M _S and M _SE . Note that (i, j) indicates the pixel position of i row j column of the image.

この最大値検出手段５１は、検出したエッジ成分の最大値を、画素ごとに係数変換手段５２に出力する。   The maximum value detection means 51 outputs the maximum value of the detected edge component to the coefficient conversion means 52 for each pixel.

係数変換手段５２は、最大値検出手段５１で検出されたエッジ成分の最大値を、高周波成分加算係数に変換するものである。この高周波成分加算係数は、後記する補完画像画素値算出手段６０において、ベイヤ配列画像のＲ，Ｂの画素位置におけるＧの画素値を補完する際に高周波成分を補正するための係数である。
この係数変換手段５２は、エッジ成分の最大値Ｍ_ＭＡＸを、０以上１以下の範囲の実数値の高周波成分加算係数に変換する。ここでは、係数変換手段５２は、予め定めた２つの閾値ｔｈｒ１，ｔｈｒ２を用いて、以下の式（３）に示す変換式によって、ベイヤ配列画像の画素位置（ｉ，ｊ）ごとに、エッジ成分の最大値Ｍ_ＭＡＸ（ｉ，ｊ）を高周波成分加算係数ｗ（ｉ，ｊ）に変換する。 The coefficient conversion means 52 converts the maximum value of the edge component detected by the maximum value detection means 51 into a high frequency component addition coefficient. The high frequency component addition coefficient is a coefficient for correcting the high frequency component when complementing the G pixel value at the R and B pixel positions of the Bayer array image in the complementary image pixel value calculation means 60 described later.
The coefficient conversion means 52 converts the maximum value M _MAX of the edge component into a real value high frequency component addition coefficient in the range of 0 or more and 1 or less. Here, the coefficient conversion means 52 uses the two predetermined threshold values thr1 and thr2 to convert the edge component for each pixel position (i, j) of the Bayer array image according to the conversion equation shown in the following equation (3). The maximum value M _MAX (i, j) of is converted into a high frequency component addition coefficient w (i, j).

なお、この閾値ｔｈｒ１，ｔｈｒ２は、予め固定的に設定しておく必要はなく、外部から適宜調整可能にすることとしてもよい。また、閾値ｔｈｒ１を“０”に固定し、閾値ｔｈｒ２のみを、０＜ｔｈｒ２≦エッジ成分の取り得る最大値の範囲で調整することとしてもよい。
この係数変換手段５２は、変換した高周波成分加算係数を、画素ごとに補完画像画素値算出手段６０に出力する。
図１に戻って、色情報補完装置１の構成について説明を続ける。 The threshold values thr1 and thr2 do not have to be fixedly set in advance, and may be appropriately adjusted from the outside. Alternatively, the threshold value thr1 may be fixed at “0”, and only the threshold value thr2 may be adjusted within the range of 0 <thr2 ≦ maximum possible edge component value.
The coefficient conversion means 52 outputs the converted high frequency component addition coefficient to the complementary image pixel value calculation means 60 pixel by pixel.
Returning to FIG. 1, the description of the configuration of the color information complementing apparatus 1 will be continued.

補完画像画素値算出手段６０は、特定色（Ｇ）に対する補完対象画素ごとに、方位・帯域別画像補完手段３０で方位（水平方向/垂直方向）および帯域（低周波成分／高周波成分）別に補完された画像の画素値を、方位相関の強度と高周波成分加算係数とに応じて加算して、方位および帯域に対応した補完画像の画素値を算出するものである。
すなわち、補完画像画素値算出手段６０は、方位・帯域別画像補完手段３０で補完された水平低周波成分補完画像Ｇ_ＨＬ、水平高周波成分補完画像Ｇ_ＨＨ、垂直低周波成分補完画像Ｇ_ＶＬおよび垂直高周波成分補完画像Ｇ_ＶＨを、方位相関強度算出手段２０で算出された方位不均一性パラメータλと、高周波成分加算係数算出手段５０で算出された高周波成分加算係数ｗとに応じて、Ｇに対する補完対象画素ごとの画素値を算出する。 The complementary image pixel value calculation means 60 complements the azimuth (horizontal direction / vertical direction) and the band (low frequency component / high frequency component) by the azimuth / band-specific image interpolation means 30 for each complement target pixel for the specific color (G) The pixel values of the obtained image are added according to the magnitude of the azimuth correlation and the high-frequency component addition coefficient to calculate the pixel value of the complementary image corresponding to the azimuth and the band.
That is, the complementary image pixel value calculation means 60 calculates the horizontal low frequency component complementary image G _HL , the horizontal high frequency component complementary image G _HH , the vertical low frequency component complementary image G _VL and the vertical, which are complemented by the azimuth / band-specific image complementary means 30. Complement to G according to the high-frequency component addition image G _{VH according} to the azimuth non-uniformity parameter λ calculated by the azimuth correlation strength calculation unit 20 and the high-frequency component addition coefficient w calculated by the high-frequency component addition coefficient calculation unit 50 The pixel value for each target pixel is calculated.

ここで、方位・帯域別画像補完手段３０で補完された各補完画像Ｇ_ＨＬ，Ｇ_ＨＨ，Ｇ_ＶＬおよびＧ_ＶＨの画素ｉ行ｊ列の位置における画素値をＧ_ＨＬ（ｉ，ｊ），Ｇ_ＨＨ（ｉ，ｊ），Ｇ_ＶＬ（ｉ，ｊ），Ｇ_ＶＨ（ｉ，ｊ）としたとき、補完画像画素値算出手段６０は、以下の式（４）により、方位相関の強度と高周波成分加算係数とに対応した画素値Ｇ（ｉ，ｊ）を算出する。 Here, the pixel value at the position of pixel i row j column of each of the complement images G _HL , G _HH , G _VL and G _VH complemented by the azimuth / band-specific image complementing unit 30 is G _HL (i, j), G _{Assuming that HH} (i, j), G _VL (i, j), and G _VH (i, j), the complementary image pixel value calculation means 60 determines the strength of the azimuth correlation and the high frequency component according to the following equation (4). A pixel value G (i, j) corresponding to the addition coefficient is calculated.

この式（４）は、図１０に示す補完画像画素値算出手段６０の詳細な構成により演算することができる。すなわち、λ（ｉ，ｊ）と画素値Ｇ_ＨＬ（ｉ，ｊ）とを乗算する乗算手段６１と、λ（ｉ，ｊ）と画素値Ｇ_ＨＨ（ｉ，ｊ）とを乗算する乗算手段６２と、乗算手段６２の乗算結果と高周波成分加算係数ｗ（ｉ，ｊ）とを乗算する乗算手段６３と、（１−λ（ｉ，ｊ））と画素値Ｇ_ＶＬ（ｉ，ｊ）とを乗算する乗算手段６４と、（１−λ（ｉ，ｊ））と画素値Ｇ_ＶＨ（ｉ，ｊ）とを乗算する乗算手段６５と、乗算手段６５の乗算結果と高周波成分加算係数ｗ（ｉ，ｊ）とを乗算する乗算手段６６と、乗算手段６１，６３，６４，６６のそれぞれの乗算結果を加算する加算手段６７と、を用いて演算することができる。
この補完画像画素値算出手段６０は、Ｇに対する補完対象画素の画素位置と対応付けて、Ｇの画素値を、Ｇ画像生成手段７０と、Ｒ画像生成手段９０と、Ｂ画像生成手段９０Ｂとに出力する。 This equation (4) can be calculated by the detailed configuration of the complementary image pixel value calculation means 60 shown in FIG. That is, multiplication means 61 for multiplying λ (i, j) by pixel value G _HL (i, j) and multiplication means 62 for multiplying λ (i, j) by pixel value G _HH (i, j) , Multiplication means 63 for multiplying the multiplication result of the multiplication means 62 and the high frequency component addition coefficient w (i, j), (1-λ (i, j)) and the pixel value G _VL (i, j) The multiplication means 64 for multiplication, the multiplication means 65 for multiplying (1−λ (i, j)) and the pixel value G _VH (i, j), the multiplication result of the multiplication means 65 and the high frequency component addition coefficient w (i , J) and an adding means 67 for adding the multiplication results of the multiplying means 61, 63, 64, 66 respectively.
The complementary image pixel value calculation unit 60 associates the G pixel value with the G image generation unit 70, the R image generation unit 90, and the B image generation unit 90B in association with the pixel position of the complement target pixel with respect to G. Output.

Ｇ画像生成手段（特定色補完手段）７０は、入力された撮像画像であるベイヤ配列画像において、特定色（Ｇ）に対する補完対象画素の画素値を、補完画像画素値算出手段６０で算出された画素値に置き換えて特定色（Ｇ）の色情報を補完するものである。
すなわち、Ｇ画像生成手段７０は、ベイヤ配列画像のＧの画素位置における画素値については、ベイヤ配列画像の画素値をそのまま用いる。また、Ｇ画像生成手段７０は、ベイヤ配列画像のＲ，Ｂの画素位置における画素値については、補完画像画素値算出手段６０で算出されたＧの画素値を用いる。
これによって、Ｇ画像生成手段７０は、ベイヤ配列画像において、Ｇの画素位置以外の画素を、振動成分に応じた方向と、帯域別のエッジ成分とを考慮したＧの画素値で補完することができる。
このＧ画像生成手段７０は、生成したＧ画像をＲＧＢ画像生成手段１００に出力する。 The G image generation unit (specific color complementation unit) 70 calculates the pixel value of the complement target pixel for the specific color (G) by the complementary image pixel value calculation unit 60 in the Bayer array image which is the input captured image. It is replaced with pixel values to complement color information of a specific color (G).
That is, the G image generation means 70 uses the pixel value of the Bayer array image as it is for the pixel value at the G pixel position of the Bayer array image. The G image generation means 70 uses the G pixel value calculated by the complementary image pixel value calculation means 60 for the pixel values at the R and B pixel positions of the Bayer array image.
Thus, the G image generation means 70 complements the pixels other than the G pixel position in the Bayer array image with G pixel values in consideration of the direction according to the vibration component and the edge component for each band. it can.
The G image generation unit 70 outputs the generated G image to the RGB image generation unit 100.

Ｒ画素抽出手段８０は、入力された撮像画像であるベイヤ配列画像において、特定色（Ｇ）以外の画素を抽出するものである。ここでは、Ｒ画素抽出手段８０は、ベイヤ配列画像におけるＲの画素位置に対応する画素の画素値を抽出し、Ｒ画像生成手段９０に出力する。   The R pixel extraction unit 80 extracts pixels other than the specific color (G) in the Bayer array image which is the input captured image. Here, the R pixel extraction unit 80 extracts the pixel value of the pixel corresponding to the R pixel position in the Bayer array image, and outputs the pixel value to the R image generation unit 90.

Ｒ画像生成手段（他色補完手段）９０は、レイヤ配列画像の特定色（Ｇ）以外の色を対象として色情報を補完するものである。なお、Ｒ画像生成手段９０は、Ｒを対象色として、ベイヤ配列画像のＧ，Ｂの画素位置である補完対象画素の色情報を補完する。ここでは、Ｒ画像生成手段９０は、差分手段９１と、差分補完手段９２と、加算手段９３と、を備える。   The R image generation means (other color complementing means) 90 complements color information for colors other than the specific color (G) of the layer array image. The R image generation unit 90 complements the color information of the complementation target pixel which is the G and B pixel positions of the Bayer array image with R as the target color. Here, the R image generation unit 90 includes a difference unit 91, a difference complement unit 92, and an addition unit 93.

差分手段９１は、Ｒ画素抽出手段８０で抽出された対象色（Ｒ）の画素ごとに、当該画素の画素値と当該画素に対応する特定色（Ｇ）の画素の画素値との差分値を算出するものである。
すなわち、差分手段９１は、Ｒ画素抽出手段８０で抽出されたベイヤ配列画像のＲ画素位置の画素値から、当該画素位置と同じ、補完画像画素値算出手段６０で算出（補完）されたＧの画素値を減算することで、ＲとＧとの画素値の差分値（Ｒ−Ｇ）を算出する。
この差分手段９１は、算出したＲとＧとの差分値を差分補完手段９２に出力する。 The difference means 91 calculates, for each pixel of the target color (R) extracted by the R pixel extraction means 80, a difference value between the pixel value of the pixel and the pixel value of the pixel of the specific color (G) corresponding to the pixel. It is calculated.
That is, from the pixel value of the R pixel position of the Bayer array image extracted by the R pixel extraction unit 80, the difference unit 91 calculates (complements) the G calculated by the complementary image pixel value calculation unit 60 as the pixel position. By subtracting the pixel values, the difference value (R−G) of the pixel values of R and G is calculated.
The difference means 91 outputs the calculated difference value between R and G to the difference complement means 92.

差分補完手段９２は、対象色（Ｒ）に対する補完対象画素において、すでに差分値が算出されている周辺画素の差分値から、当該補完対象画素の差分値を補完するものである。すなわち、差分補完手段９２は、ベイヤ配列画像におけるＲの画素以外のＧ，Ｂの画素位置について（Ｒ−Ｇ）の差分値を推定（算出）する。
この差分補完手段９２は、ベイヤ配列画像におけるＲ画素位置における（Ｒ−Ｇ）差分値と、Ｇ，Ｂ画素位置において補完した（Ｒ−Ｇ）差分値とを、加算手段９３に出力する。 The difference complementing means 92 complements the difference value of the complementation object pixel from the difference value of the peripheral pixel for which the difference value has already been calculated in the complementation object pixel for the target color (R). That is, the difference complementing means 92 estimates (calculates) the difference value of (R−G) for the G and B pixel positions other than the R pixel in the Bayer array image.
The difference complementing means 92 outputs the (R−G) difference value at the R pixel position in the Bayer array image and the (R−G) difference value complemented at the G and B pixel positions to the addition means 93.

なお、補完対象画素の差分値を、すでに算出されている周辺画素の差分値から補完する手法は、一般的な補完手法を用いればよい。
例えば、差分補完手段９２は、図１１（ａ）に示すように、ベイヤ配列画像のＢ画素位置を、画素ｉ行ｊ列の位置としたとき、以下の式（５）に示すように、すでに求められているＢ画素位置の左上、左下、右上、右下の４つの（Ｒ−Ｇ）差分値Δの平均値を求めて、Ｂ画素位置（ｉ，ｊ）における差分値Δ（ｉ，ｊ）を補完する。 Note that a general complementation method may be used as a method of complementing the difference value of the complementation target pixel from the difference value of the peripheral pixels that has already been calculated.
For example, as shown in FIG. 11A, when the B pixel position of the Bayer array image is the position of pixel i row j column as shown in FIG. The average value of the four (R−G) difference values Δ at the upper left, lower left, upper right, and lower right of the B pixel position being determined is determined, and the difference value Δ (i, j) at the B pixel position (i, j) Complement).

また、差分補完手段９２は、図１１（ｂ）に示すように、ベイヤ配列画像のＧ画素位置を、画素ｉ行ｊ列の位置としたとき、以下の式（６）に示すように、すでに求められているＧ画素位置に対する上下左右の４つの（Ｒ−Ｇ）差分値Δの平均値を求めて、Ｇ画素位置（ｉ，ｊ）における差分値Δ（ｉ，ｊ）を補完する。   Also, as shown in FIG. 11B, when the G pixel position of the Bayer array image is the position of pixel i row j column, as shown in FIG. The average value of the four (R−G) difference values Δ in the upper, lower, left, and right directions with respect to the G pixel position being calculated is calculated to complement the difference value Δ (i, j) at the G pixel position (i, j).

加算手段９３は、差分補完手段９２で差分値が補完された画像の画素ごとに、当該画素に対応するＧ画像生成手段７０で生成された特定色（Ｇ）の画像の画素の画素値を加算して、対象色（Ｒ）の画像を生成するものである。
すなわち、加算手段９３は、以下の式（７）に示すように、差分補完手段９２で生成されたベイヤ配列画像の画素ｉ行ｊ列の位置の差分値Δ（ｉ，ｊ）に、Ｇ画像生成手段７０で生成された同じ画素位置の画素値Ｇ（ｉ，ｊ）を加算することで、画素値Ｒ（ｉ，ｊ）を演算し、Ｒ画像を生成する。 The addition means 93 adds the pixel value of the pixel of the image of the specific color (G) generated by the G image generation means 70 corresponding to the pixel for each pixel of the image of which the difference value is complemented by the difference complementation means 92. To generate an image of the target color (R).
That is, as shown in the following equation (7), the adding means 93 adds the G image to the difference value Δ (i, j) of the position of pixel i row j column of the Bayer array image generated by the difference complementing means 92 The pixel value R (i, j) is calculated by adding the pixel values G (i, j) of the same pixel position generated by the generation means 70, and an R image is generated.

この加算手段９３は、前記式（７）により、ベイヤ配列画像の画素ごとに演算してＲ画素値を補完したＲ画像を、ＲＧＢ画像生成手段１００に出力する。
このように、Ｒ画像生成手段９０は、差分手段９１によって、Ｒ画素位置の画素値から、当該画素位置に対応する振動成分に応じた方向と、帯域別のエッジ成分とを考慮したＧ画素値を減算するため、その差分値も、振動成分の方位相関と、エッジ成分とに応じた値となる。そのため、差分補完手段９２によって、Ｒ画素位置以外の画素位置で、周辺の（Ｒ−Ｇ）差分値から補完により推定された当該画素位置の（Ｒ−Ｇ）差分値も、振動成分の方位相関と、エッジ成分とに応じた値となる。
そして、Ｒ画像生成手段９０は、方位相関とエッジ成分とが考慮された（Ｒ−Ｇ）差分値に、同じく方位相関とエッジ成分とが考慮されたＧ画素値を加算手段９３で加算することで、振動成分の方位相関と、エッジ成分とに応じたＲ画素値で構成されるＲ画像を生成することになる。 The addition means 93 outputs the R image, which is calculated for each pixel of the Bayer array image by the equation (7) and complements the R pixel value, to the RGB image generation means 100.
As described above, the R image generation unit 90 determines, from the pixel value at the R pixel position by the difference unit 91, the G pixel value in consideration of the direction according to the vibration component corresponding to the pixel position and the edge component for each band. In order to subtract, the difference value is also a value according to the azimuth correlation of the vibration component and the edge component. Therefore, at the pixel position other than the R pixel position by the difference complementing means 92, the (R-G) difference value of the pixel position estimated by the complementation from the peripheral (R-G) difference value also has the azimuth correlation of the vibration component. And the edge component.
Then, the R image generation means 90 adds the G pixel value in which the azimuth correlation and the edge component are also considered by the addition means 93 to the (R−G) difference value in which the azimuth correlation and the edge component are considered. Then, an R image composed of R pixel values according to the orientation correlation of the vibration component and the edge component is generated.

Ｂ画素抽出手段８０ＢおよびＢ画像生成手段（他色補完手段）９０Ｂは、Ｒ画素抽出手段８０およびＲ画像生成手段９０に対して、処理対象となる対象色を、ＲからＢに換えただけで、構成および処理内容は同一であるため、説明を省略する。   The B pixel extraction unit 80B and the B image generation unit (other color complementation unit) 90B only change the target color to be processed from R to B with respect to the R pixel extraction unit 80 and the R image generation unit 90. Since the configuration and processing contents are the same, the description will be omitted.

ＲＧＢ画像生成手段１００は、Ｇ画像生成手段７０で生成されたＧ画像と、Ｒ画像生成手段９０で生成されたＲ画像と、Ｂ画像生成手段９０Ｂで生成されたＢ画像とを合成してＲＧＢ画像を生成するものである。
すなわち、ＲＧＢ画像生成手段１００は、Ｒ，Ｇ，Ｂの各画像の同一画素位置に対応する各画素値を、当該画素位置におけるカラー画素値としてカラー画像を生成する。なお、ＲＧＢ（カラー）画像のデータフォーマットは、一般的な画像フォーマットであればよいため、ここでは、説明を省略する。 The RGB image generation unit 100 combines the G image generated by the G image generation unit 70, the R image generated by the R image generation unit 90, and the B image generated by the B image generation unit 90B into RGB. It generates an image.
That is, the RGB image generation means 100 generates a color image as each pixel value corresponding to the same pixel position of each image of R, G, B as a color pixel value at the pixel position. The data format of the RGB (color) image may be a general image format, and thus the description thereof is omitted here.

以上説明したように色情報補完装置１を構成することで、色情報補完装置１は、方位別振動成分抽出手段１０によって、撮像画像（ベイヤ配列画像）として得られたすべての色を対象とした振動成分を抽出することができる。そのため、色情報補完装置１は、方位相関強度算出手段２０によって、すべての色成分を有効に活用して、単一の色成分から方位相関を求める場合に比べて、画像全体の方位相関を精度よく求めることができる。   As described above, by configuring the color information complementing device 1, the color information complementing device 1 targets all colors obtained as captured images (Bayer array images) by the azimuth-specific vibration component extraction means 10. Vibration components can be extracted. Therefore, the color information complementing device 1 is more accurate in the azimuth correlation of the entire image than in the case where the azimuth correlation is calculated from a single color component by effectively using all the color components by the azimuth correlation intensity calculation means 20. It can be asked well.

また、色情報補完装置１は、方位相関強度算出手段２０によって、水平方向および垂直方向において、空間周波数スケールの異なる複数の振動成分を求めることができる。そのため、色情報補完装置１は、方位相関強度算出手段２０で撮像画像の異なる複数の解像度で方位相関を求めることができ、ノイズに強く、また、誤差の少ない精度のよい方位相関を求めることができる。   Further, the color information complementation apparatus 1 can obtain a plurality of vibration components having different spatial frequency scales in the horizontal direction and the vertical direction by the azimuth correlation intensity calculation means 20. Therefore, the color information complementing device 1 can obtain the azimuth correlation at a plurality of different resolutions of the captured image by the azimuth correlation intensity calculation means 20, and is resistant to noise, and can obtain the accurate azimuth correlation with less error. it can.

また、色情報補完装置１は、方位別エッジ成分抽出手段４０によって、エッジ成分を抽出することで画像の平坦部とエッジ部とを検出することができる。そのため、色情報補完装置１は、補完画像画素値算出手段６０によって、画像の平坦部では不要な高周波成分を加算せず、画像のエッジ部では高周波成分を加算することができ、画像の平坦部でのノイズ増加を抑えつつ、エッジ部での高い空間周波数を再現することができる。   Further, the color information complementing apparatus 1 can detect the flat part and the edge part of the image by extracting the edge component by the azimuthal edge component extraction means 40. Therefore, the color information complementing device 1 can add unnecessary high frequency components in the flat part of the image by the complementary image pixel value calculation means 60, but can add high frequency components in the edge part of the image. The high spatial frequency at the edge can be reproduced while suppressing the noise increase at

このように、色情報補完装置１は、精度の高い方位相関とエッジ成分とによって、色情報を補完するため、偽色の発生を抑えるとともに、空間周波数成分を精度よく再現することができ、知覚的に自然なカラー画像を生成することができる。
なお、色情報補完装置１は、図示を省略したコンピュータを、前記した構成の各手段として機能させるためのプログラム（色情報補完プログラム）で動作させることができる。 As described above, since the color information complementing apparatus 1 complements the color information by the highly accurate azimuth correlation and the edge component, the generation of the false color can be suppressed and the spatial frequency component can be accurately reproduced. Can produce a color image that is naturally natural.
The color information complementing apparatus 1 can be operated by a program (color information complementing program) for causing a computer (not shown) to function as each means of the above configuration.

［色情報補完装置の動作］
次に、図１２を参照（構成については、適宜図１，図２，図５，図７，図９参照）して、本発明の実施形態に係る色情報補完装置１の動作について説明する。 [Operation of color information complementing apparatus]
Next, the operation of the color information complementing apparatus 1 according to the embodiment of the present invention will be described with reference to FIG. 12 (for the configurations, refer to FIG. 1, FIG. 2, FIG. 5, FIG.

（方位相関〔方位不均一性〕の推定動作）
まず、色情報補完装置１は、撮像画像（ベイヤ配列画像）を対象として、方位別振動成分抽出手段１０によって、空間周波数スケールの異なるフィルタで、画素ごとに、水平方向および垂直方向のそれぞれについて複数の振動成分を抽出する（ステップＳ１）。 (Operation to estimate azimuth correlation (azimuth nonuniformity))
First, the color information complementing apparatus 1 is a filter having different spatial frequency scales by the azimuth-specific vibration component extraction means 10 for a captured image (Bayer array image), and plural filters for each pixel in the horizontal direction and the vertical direction. The vibration component of H is extracted (step S1).

すなわち、色情報補完装置１は、水平振動成分抽出手段１１（１１_１，１１_２）によって、空間周波数スケールの異なるフィルタで、水平振動成分を抽出した画像信号（水平振動成分画像Ｈ_１，Ｈ_２）を生成する。
また、色情報補完装置１は、垂直振動成分抽出手段１２（１２_１，１２_２）によって、空間周波数スケールの異なるフィルタで、垂直振動成分を抽出した画像信号（垂直振動成分画像Ｖ_１，Ｖ_２）を生成する。 That is, the color information complementing device 1 is an image signal (horizontal vibration component image H ₁ , H ₂ ) in which horizontal vibration components are extracted by filters having different spatial frequency scales by the horizontal vibration component extraction means 11 (11 ₁ , 11 ₂ ). Generate).
Further, the color information complementing apparatus 1 is an image signal (vertical vibration component image V ₁ , V ₂ ) in which the vertical vibration component is extracted by the vertical vibration component extraction means 12 (12 ₁ , 12 ₂ ) with filters having different spatial frequency scales. Generate).

そして、色情報補完装置１は、方位相関強度算出手段２０によって、ステップＳ１で生成された、水平方向および垂直方向の画素ごとの複数の振動成分から、前記式（１）により、方位不均一性パラメータλを算出する（ステップＳ２）。
これによって、色情報補完装置１は、撮像画像全体の色情報から、画素ごとに、方位相関の強度を推定することができる。 Then, the color information complementing device 1 generates the azimuth non-uniformity according to the equation (1) from the plurality of vibration components for each pixel in the horizontal direction and the vertical direction generated by the azimuth correlation intensity calculation means 20 in step S1. The parameter λ is calculated (step S2).
By this, the color information complementing apparatus 1 can estimate the strength of azimuth correlation for each pixel from the color information of the entire captured image.

（高周波成分の重み算出動作）
次に、色情報補完装置１は、方位別エッジ成分抽出手段４０によって、撮像画像（ベイヤ配列画像）の方位別のエッジ成分を画素ごと抽出する（ステップＳ３）。
すなわち、色情報補完装置１は、方位別エッジ成分抽出手段４０のＥ方向エッジ成分抽出手段４１、ＮＥ方向エッジ成分抽出手段４２、Ｎ方向エッジ成分抽出手段４３、ＮＷ方向エッジ成分抽出手段４４、Ｗ方向エッジ成分抽出手段４５、ＳＷ方向エッジ成分抽出手段４６、Ｓ方向エッジ成分抽出手段４７、および、ＳＥ方向エッジ成分抽出手段４８によって、画素ごとに８方向のエッジ成分を抽出する。 (High-frequency component weight calculation operation)
Next, the color information complementing apparatus 1 extracts the edge component of each orientation of the captured image (Bayer array image) pixel by pixel by the orientation-specific edge component extraction means 40 (step S3).
That is, the color information complementing apparatus 1 includes the E-direction edge component extraction means 41, the NE-direction edge component extraction means 42, the N-direction edge component extraction means 43, the NW-direction edge component extraction means 44, and the W The direction edge component extraction unit 45, the SW direction edge component extraction unit 46, the S direction edge component extraction unit 47, and the SE direction edge component extraction unit 48 extract edge components in eight directions for each pixel.

そして、色情報補完装置１は、高周波成分加算係数算出手段５０によって、ステップＳ３で抽出された画素ごとのエッジ成分の大きさ（最大値）に基づいて、当該画素における高周波成分の重みを示す高周波成分加算係数ｗを算出する（ステップＳ４）。
すなわち、色情報補完装置１は、高周波成分加算係数算出手段５０の最大値検出手段５１によって、８方向のエッジ成分の最大値を検出し、係数変換手段５２によって、その最大値に応じた０以上１以下の範囲の高周波成分加算係数ｗを算出する。 Then, the color information complementing device 1 causes the high-frequency component addition coefficient calculation means 50 to indicate the weight of the high-frequency component in the pixel based on the size (maximum value) of the edge component for each pixel extracted in step S3. The component addition coefficient w is calculated (step S4).
That is, the color information complementing device 1 detects the maximum value of the edge components in eight directions by the maximum value detection means 51 of the high frequency component addition coefficient calculation means 50, and the coefficient conversion means 52 makes 0 or more according to the maximum value. The high frequency component addition coefficient w in the range of 1 or less is calculated.

（特定色〔Ｇ〕画素補完動作）
次に、色情報補完装置１は、方位・帯域別画像補完手段３０によって、撮像画像（ベイヤ配列画像）における特定色（Ｇ）の画素の画素値を、方位（水平方向/垂直方向）および帯域（低周波成分／高周波成分）別に補完する（ステップＳ５）。 (Specific color [G] pixel interpolation operation)
Next, the color information complementing device 1 causes the pixel value of the pixel of the specific color (G) in the captured image (Bayer array image) to be an azimuth (horizontal direction / vertical direction) and a band by the azimuth / band-specific image complementing means 30. (Low-frequency component / high-frequency component) is complemented separately (step S5).

すなわち、色情報補完装置１は、水平低周波成分補完手段３１によって、特定色であるＧに対して補完対象となるＲ，Ｂの画素位置におけるＧの画素値を、水平方向の他のＧの画素値から平滑化して補完することで、水平低周波成分補完画像Ｇ_ＨＬを生成する。
また、色情報補完装置１は、水平高周波成分補完手段３２によって、Ｒ，Ｂの画素位置において、当該画素の画素値と水平方向に２画素離れた位置の画素の画素値とから高周波成分を算出し、当該Ｒ，Ｂの画素位置におけるＧの画素値を補完することで、水平高周波成分補完画像Ｇ_ＨＨを生成する。 That is, the color information complementing device 1 uses the horizontal low frequency component complementing means 31 to set the pixel value of G at the pixel position of R and B to be complemented with respect to G that is the specific color A horizontal low-frequency component-complemented image G _HL is generated by smoothing and complementing pixel values.
Further, the color information complementing device 1 calculates the high frequency component from the pixel value of the pixel and the pixel value of the pixel two pixels away in the horizontal direction at the pixel position of R and B by the horizontal high frequency component complementing means 32 By complementing the G pixel values at the R and B pixel positions, a horizontal high-frequency component-complemented image G _HH is generated.

また、色情報補完装置１は、垂直低周波成分補完手段３３によって、特定色であるＧに対して補完対象となるＲ，Ｂの画素位置におけるＧの画素値を、垂直方向の他のＧの画素値から平滑化して補完することで、垂直低周波成分補完画像Ｇ_ＶＬを生成する。
また、色情報補完装置１は、垂直高周波成分補完手段３４によって、Ｒ，Ｂの画素位置において、当該画素の画素値と垂直方向に２画素離れた位置の画素の画素値とから高周波成分を算出し、当該Ｒ，Ｂの画素位置におけるＧの画素値を補完することで、垂直高周波成分補完画像Ｇ_ＶＨを生成する。 Further, the color information complementing device 1 causes the pixel value of G at the pixel position of R and B to be complemented with respect to G which is a specific color by the vertical low frequency component complementing means 33 to be the other G of the vertical direction. The vertical low-frequency component-complemented image _GVL is generated by smoothing and complementing the pixel values.
Further, the color information complementing apparatus 1 calculates the high frequency component from the pixel value of the pixel and the pixel value of the pixel two pixels away in the vertical direction at the pixel position of R and B by the vertical high frequency component complementing means 34 Then, the vertical high-frequency component-complemented image G _VH is generated by complementing the G pixel values at the R and B pixel positions.

これによって、色情報補完装置１は、Ｇに対する補完対象画素ごとに、Ｇ画素の最も水平方向に相関が強い場合の画素値と、最も水平方向に相関が強い場合の高周波成分の補正値（画素値）と、最も垂直方向に相関が強い場合の画素値と、最も垂直方向に相関が強い場合の高周波成分の補正値（画素値）とを求めることができる。   As a result, the color information complementing device 1 corrects the pixel value of the G pixel where the correlation is strongest in the horizontal direction and the correction value of the high frequency component where the correlation is strongest in the horizontal direction for each pixel to be complemented with respect to G. A value), a pixel value in the case of the highest correlation in the vertical direction, and a correction value (pixel value) of a high frequency component in the case of the highest correlation in the vertical direction can be obtained.

そして、色情報補完装置１は、補完画像画素値算出手段６０によって、ステップＳ５で生成された各補完画像Ｇ_ＨＬ，Ｇ_ＨＨ，Ｇ_ＶＬおよびＧ_ＶＨにおいて、補完対象画素ごとに、前記式（４）により、ステップＳ２で算出された方位相関の強度（方位不均一性パラメータλ）と、ステップＳ４で算出された高周波成分加算係数ｗとに応じて画素値を加算して、補完画像の画素値を算出する（ステップＳ６）。 Then, the color information complementing device 1 causes the complementary image pixel value calculation means 60 to set the above-mentioned equation (4) for each complement target pixel in each of the complementary images G _HL , G _HH , G _VL and G _VH generated in step S5. Pixel value is added according to the intensity of the azimuth correlation (azimuth inhomogeneity parameter λ) calculated in step S2 and the high frequency component addition coefficient w calculated in step S4, Is calculated (step S6).

そして、色情報補完装置１は、Ｇ画像生成手段７０によって、撮像画像（ベイヤ配列画像）において、Ｇに対する補完対象画素の画素値を、ステップＳ６で算出された補完画像の画素値に置き換えることでＧ画像を生成する（ステップＳ７）。   Then, the color information complementing device 1 causes the G image generation unit 70 to replace the pixel value of the complement target pixel for G with the pixel value of the complement image calculated in step S6 in the captured image (Bayer array image). A G image is generated (step S7).

これによって、色情報補完装置１は、ベイヤ配列のＧ画素位置における画素については、ベイヤ配列画像として撮像されたＧ画素の画素値を用い、Ｇに対する補完対象画素については、方位相関の強度と高周波成分加算係数とによって求められたＧの画素値を用いることで、空間周波数成分を精度よく再現したＧ画像を生成することができる。   Thereby, the color information complementing device 1 uses the pixel value of the G pixel imaged as the Bayer array image for the pixel at the G pixel position of the Bayer array, and the intensity of the azimuth correlation and the high frequency By using the pixel value of G obtained by the component addition coefficient, it is possible to generate a G image in which the spatial frequency component is accurately reproduced.

（対象色〔Ｒ，Ｂ〕画素補完動作）
次に、色情報補完装置１は、以下の動作によって、撮像画像から、Ｒ，Ｂを対象色として、Ｒ画像およびＢ画像を生成する。なお、Ｒ画素とＢ画素の補完動作は、対象色が異なるだけで、同一処理であるため、以降の説明では、Ｒ画素の補完動作を主に説明し、Ｂ画素に対応する内容については適宜括弧内に対応する色や手段を併記することとする。 (Object color [R, B] pixel interpolation operation)
Next, the color information complementing apparatus 1 generates an R image and a B image from R and B as target colors from the captured image by the following operation. The complementing operation of the R pixel and the B pixel is the same process except that the target color is different. Therefore, in the following description, the complementing operation of the R pixel will be mainly described, and the contents corresponding to the B pixel will be appropriately described. The corresponding colors and means will be written together in parentheses.

まず、色情報補完装置１は、Ｒ画素抽出手段８０（Ｂ画素抽出手段８０Ｂ）によって、撮像画像（ベイヤ配列画像）において、Ｒ（Ｂ）の画素位置に対応する画素の画素値を抽出する（ステップＳ８）。   First, the color information complementing apparatus 1 extracts the pixel value of the pixel corresponding to the pixel position of R (B) in the captured image (Bayer array image) by the R pixel extracting unit 80 (B pixel extracting unit 80B) Step S8).

そして、色情報補完装置１は、Ｒ画像生成手段９０（Ｂ画像生成手段９０Ｂ）の差分手段９１によって、ステップＳ８で抽出されたＲ（Ｂ）の画素ごとに、当該画素の画素値と、ステップＳ６で算出された当該画素に対応するＧの画素の画素値との差分値を算出する（ステップＳ９）。   Then, the color information complementing device 1 determines the pixel value of the pixel of R (B) extracted in step S 8 by the difference means 91 of the R image generation means 90 (B image generation means 90 B), and The difference value with the pixel value of the G pixel corresponding to the said pixel calculated by S6 is calculated (step S9).

そして、色情報補完装置１は、Ｒ画像生成手段９０（Ｂ画像生成手段９０Ｂ）の差分補完手段９２によって、Ｒ（Ｂ）に対する補完対象画素において、すでに差分値が算出されている同色の周辺画素の差分値から、前記式（５）および式（６）の例で示したように、当該補完対象画素の差分値を補完する（ステップＳ１０）。   Then, in the color information complementing device 1, the peripheral pixels of the same color for which the difference value is already calculated in the complementation target pixel for R (B) by the difference complementing means 92 of the R image generating means 90 (B image generating means 90B). The difference value of the pixel to be complemented is complemented from the difference value of {circumflex over (d)} as shown in the examples of the equations (5) and (6) (step S10).

さらに、色情報補完装置１は、Ｒ画像生成手段９０（Ｂ画像生成手段９０Ｂ）の加算手段９３によって、ステップＳ１０で差分値が補完された画像の画素ごとに、当該画素に対応するステップＳ７で生成されたＧ画像の画素の画素値を加算して、Ｒ（Ｂ）画像を生成する（ステップＳ１１）。
これによって、色情報補完装置１は、方位相関の強度と高周波成分加算係数とに応じたＧ画素の画素値を利用して、Ｒ（Ｂ）画像を生成することで、空間周波数成分を精度よく再現したＲ（Ｂ）画像を生成することができる。 Furthermore, in the color information complementing device 1, for each pixel of the image for which the difference value has been complemented in step S 10 by the addition means 93 of the R image generation means 90 (B image generation means 90 B), The pixel values of the generated G image pixels are added to generate an R (B) image (step S11).
Thus, the color information complementing apparatus 1 generates spatial frequency components with high accuracy by generating an R (B) image using pixel values of G pixels according to the magnitude of azimuth correlation and the high frequency component addition coefficient. The reproduced R (B) image can be generated.

（ＲＢＧ画像生成動作）
そして、色情報補完装置１は、ＲＧＢ画像生成手段１００によって、ステップＳ７で生成されたＧ画像と、ステップＳ１１で生成されたＲ画像およびＢ画像とを合成してＲＧＢ画像を生成する（ステップＳ１２）。 (RBG image generation operation)
Then, the color information complementing apparatus 1 generates an RGB image by combining the G image generated in step S7 and the R image and B image generated in step S11 by the RGB image generation unit 100 (step S12). ).

以上の動作によって、色情報補完装置１は、撮像画像の各画素位置において、欠落している色情報を精度よく補完することができる。
このように、色情報補完装置１は、撮像画像の局所的性質（方向性およびエッジ成分）に基づいて補完した各補完画像を、その局所的性質の重みで重み付け加算することで、最終的な補完値を決定しているため、画像の平坦部における視覚的に目立つ歪みの発生を抑えつつ、画像のエッジ部において、高い空間周波数を再現し、偽色の少ない自然なカラー画像を生成することができる。 By the above-described operation, the color information complementing apparatus 1 can accurately complement missing color information at each pixel position of a captured image.
As described above, the color information complementing apparatus 1 performs final addition by weighting each complementary image complemented based on the local property (directivity and edge component) of the captured image with the weight of the local property. Since the complementary value is determined, high spatial frequency is reproduced at the edge portion of the image while generating a natural color image with few false colors while suppressing occurrence of visually noticeable distortion in the flat portion of the image. Can.

以上、本発明の実施形態に係る色情報補完装置１の構成および動作について説明したが、本発明はこの実施形態に限定されるものではない。
例えば、ここでは、ＲＧＢの３原色の色配列を有するカラーフィルタで撮像された撮像画像を例に説明したが、カラーフィルタはこの３原色に限定されるものではなく、他の３色であっても構わない。 As mentioned above, although the structure and operation | movement of the color information complementation apparatus 1 which concern on embodiment of this invention were demonstrated, this invention is not limited to this embodiment.
For example, although a captured image captured by a color filter having a color arrangement of three primary colors of RGB is described here as an example, the color filters are not limited to these three primary colors, and the other three colors may be used. I don't care.

また、ここでは、水平振動成分抽出手段１１を複数（１１_１，１１_２）備え、パラレルに動作させることとしたが、１つの水平振動成分抽出手段１１によって、ベイヤ配列画像単位で、順次シリアルに異なる空間周波数スケールを使用して振動成分を抽出することとしてもよい。また、垂直振動成分抽出手段１２についても同様である。 Further, in this case, a plurality of horizontal vibration component extraction means 11 (11 ₁ , 11 ₂ ) are provided and operated in parallel, but one horizontal vibration component extraction means 11 sequentially serializes in units of Bayer array image. Vibration components may be extracted using different spatial frequency scales. The same applies to the vertical vibration component extraction means 12.

なお、高速処理を実現するには、水平振動成分抽出手段１１と垂直振動成分抽出手段１２とをそれぞれ複数備えて、パラレル動作させることが好ましい。
また、高速処理を実現するには、Ｅ方向エッジ成分抽出手段４１、ＮＥ方向エッジ成分抽出手段４２、Ｎ方向エッジ成分抽出手段４３、ＮＷ方向エッジ成分抽出手段４４、Ｗ方向エッジ成分抽出手段４５、ＳＷ方向エッジ成分抽出手段４６、Ｓ方向エッジ成分抽出手段４７、および、ＳＥ方向エッジ成分抽出手段４８を、それぞれ複数備えて、パラレル動作させることが好ましい。 In order to realize high-speed processing, it is preferable to provide a plurality of horizontal vibration component extraction means 11 and a plurality of vertical vibration component extraction means 12 for parallel operation.
In order to realize high-speed processing, E direction edge component extraction means 41, NE direction edge component extraction means 42, N direction edge component extraction means 43, NW direction edge component extraction means 44, W direction edge component extraction means 45, It is preferable that a plurality of SW direction edge component extraction means 46, S direction edge component extraction means 47, and SE direction edge component extraction means 48 be respectively provided and operated in parallel.

［補足説明］
以上説明したように、色情報補完装置１は、方位別および帯域別の４種類の補完画像（Ｇ_ＨＬ，Ｇ_ＨＨ，Ｇ_ＶＬおよびＧ_ＶＨ）を、方位相関の強度（方位不均一性パラメータλ）と、エッジ成分の大きさ（高周波成分加算係数ｗ）とに応じて重み付け加算することで、Ｇ画像の補完を行うことを特徴としている。ここで、方位・帯域別画像補完手段３０の水平高周波成分補完手段３２および垂直高周波成分補完手段３４は、Ｇの補完画像を生成するために、他の色（例えば、Ｒ）の画素値を用いて補完している。
そこで、最後に、図１３を参照（適宜図１参照）して、Ｇの画素値を他の色（Ｒ，Ｂ）で補完する技術的意味を説明するとともに、併せて、方位不均一性パラメータλおよび高周波成分加算係数ｗの技術的意味について説明する。 [Supplementary explanation]
As described above, the color information complementing apparatus 1 generates four types of complementary images (G _HL , G _HH , G _{V L} and G _{V H} ) by azimuth and band according to the intensity of the azimuth correlation (azimuth nonuniformity parameter λ). G image complementation is performed by performing weighted addition according to the size of the edge component (the high frequency component addition coefficient w). Here, the horizontal high frequency component complementing means 32 and the vertical high frequency component complementing means 34 of the azimuth / band-specific image complementing means 30 use pixel values of other colors (for example, R) to generate a G complementary image. Is complementing.
Therefore, finally, referring to FIG. 13 (refer to FIG. 1 as needed), the technical meaning of complementing the pixel value of G with other colors (R, B) will be described, and at the same time, the azimuth nonuniformity parameter The technical meaning of λ and the high frequency component addition coefficient w will be described.

ここで、図１３（ａ）に示すように、ベイヤ配列画像のＲ画素位置を画素ｉ行ｊ列の位置とし、当該画素位置を補完対象とする水平５画素分に着目する。なお、Ｌ_{（ｉ，ｊ）}は、ｉ行ｊ列の信号レベルを意味する。
Ｇ信号のみの補完処理において、ベイヤ配列のＧのサンプリング周波数より高い周波数成分の復元はできない。そのため、画素位置（ｉ，ｊ）のＧ信号の補完値（以下、Ｇ値）には、Ｇ信号のサンプリング周波数より高い高周波成分の補正値αが必要となる。
ここで、Ｇ値は、以下の式（８）で表すことができる。 Here, as shown in FIG. 13A, let the R pixel position of the Bayer array image be the position of pixel i row j column, and focus on five horizontal pixels for which the pixel position is to be complemented. L _{(i, j)} means the signal level of i row j column.
In the complementing process of only the G signal, it is not possible to restore frequency components higher than the sampling frequency of G in the Bayer array. Therefore, the complement value (hereinafter, G value) of the G signal at the pixel position (i, j) requires the correction value α of the high frequency component higher than the sampling frequency of the G signal.
Here, the G value can be expressed by the following equation (8).

ここで、画素位置（ｉ，ｊ）におけるＧ値の真値（ベイヤ配列画像では未知）をＬ_{Ｇ（ｉ，ｊ）}とすると、補正値αは理想的には以下の式（９）で表される。 Here, assuming that the true value of the G value (unknown in the Bayer array image) at the pixel position (i, j) is LG _{(i, j)} , the correction value α is ideally represented by the following equation (9) Be done.

しかし、Ｇ値の真値Ｌ_{Ｇ（ｉ，ｊ）}は未知であるため、使用することができない。
そこで、図１３（ｂ）に示すように、色信号間（ここでは、Ｇ信号とＲ信号との間）に相関があることを仮定し、以下の式（１０）に示すように、ベイヤ配列画像のＲ信号を用いて、補正値αを近似する。 However, since the true value L _{G (i, j)} of the G value is unknown, it can not be used.
Therefore, as shown in FIG. 13B, it is assumed that there is a correlation between color signals (here, between G signal and R signal), and as shown in the following equation (10), Bayer array The correction value α is approximated using the R signal of the image.

ここで、βは、Ｇ信号高周波成分とＲ信号高周波成分との変化パラメータ（ゲインパラメータ）で、文献「J.F. Hamilton Jr., J.E. Adams, Adaptive color plan interpolation in single sensor color electronic camera. U.S. Patent, 1997, 5629734. 」、文献「H. Malvar,L.He,R.Cutler,High-qualitylinearinterpolationfor demosaicing of Bayer-patterned color images, Proceedings of ICASSP III (2004)485-488.」にもあるように、一般的にβ＝１／２が用いられる。   Here, β is a change parameter (gain parameter) between the G signal high frequency component and the R signal high frequency component, and the document “JF Hamilton Jr., JE Adams, Adaptive color plan interpolation in single sensor color electronic camera. US Patent, 1997 General, as also described in the document "H. Malvar, L. He, R. Cutler, High-quality linear interpolation for demosaicing of Bayer-patterned color images, Proceedings of ICASSP III (2004) 485-488." Is used.

しかし、式（１０）に示した補正値αを用いた場合、２つの問題がある。
１つ目の問題は、画像の平坦部では、高周波成分が小さいため、補正値αは、画像のノイズ成分が支配的になり、画質が劣化する場合がある。
通常、撮像画像の信号レベルＬ_{（ｉ，ｊ）}は、以下の式（１１）に示すように、ノイズを含まない信号レベルＬ′_{（ｉ，ｊ）}とノイズレベルＮ_{（ｉ，ｊ）}の和として表される。 However, using the correction value α shown in equation (10) has two problems.
The first problem is that since the high frequency component is small in the flat part of the image, the noise component of the image is dominant in the correction value α, and the image quality may be degraded.
Usually, the signal level L _{(i, j)} of the captured image is the sum of the signal level L ′ _{(i, j)} not including noise and the noise level N _{(i, j)} as shown in the following equation (11) It is represented as

この式（１１）を、βを１／２としたときの前記式（１０）に代入すると、以下の式（１２）となる。   Substituting this equation (11) into the above equation (10) where β is 1/2, the following equation (12) is obtained.

この式（１２）の第一項は、ノイズを含まない信号から算出した高周波成分であり、第二項は、ノイズ成分である。
このように、ノイズ成分が含まれた平坦な画像の場合、補正値αは、第二項のノイズ成分が支配的となり、前記式（８）のように、Ｇ値を復元するために加算すると画質を劣化させることになる。 The first term of the equation (12) is a high frequency component calculated from a signal not including noise, and the second term is a noise component.
As described above, in the case of a flat image including a noise component, the correction value α is dominated by the noise component of the second term, and adding the G value in order to restore the G value as in the equation (8). It will degrade the image quality.

また、２つ目の問題として、補完対象画素である画素位置（ｉ，ｊ）の１画素隣の画素と２画素隣の画素との間に、急峻なエッジ部分が存在した場合、前記式（１０）の近似式が成り立たないため、画質が劣化する場合がある。
例えば、（ｊ＋１）列と（ｊ＋２）列の間に垂直方向の急峻なエッジ部分が存在した場合、Ｌ_{（ｉ，ｊ−１）}とＬ_{（ｉ，ｊ＋１）}とは同等な信号レベルとなるが、Ｌ_{（ｉ，ｊ−２）}およびＬ_{（ｉ，ｊ）}とＬ_{（ｉ，ｊ＋２）}とは信号レベルが大きく異なるため、前記式（９）を前記式（１０）で近似できないことになる。
このように、Ｒ（Ｂも同様）画素位置におけるＧの補完値を求める場合、１画素隣の画素と２画素隣の画素との間に存在するエッジ成分が大きいと、前記式（８）における補正値αを加算することで、逆に画像を劣化させることがある。 As the second problem, when there is a sharp edge portion between the pixel next to the pixel one pixel next to the pixel position (i, j) that is the pixel to be complemented and the pixel next to the second pixel, Since the approximate expression of 10) does not hold, the image quality may be degraded.
For example, when there is a sharp edge in the vertical direction between the (j + 1) and (j + 2) columns, L _{(i, j-1)} and L _{(i, j + 1)} have equivalent signal levels. Since L _{(i, j-2),} L _{(i, j)} and L _{(i, j + 2)} have largely different signal levels, it is impossible to approximate equation (9) by equation (10).
As described above, in the case of obtaining the complement value of G at the pixel position of R (also B), if the edge component existing between the pixel adjacent to one pixel and the pixel adjacent to two pixels is large, in the equation (8) Conversely, the image may be degraded by adding the correction value α.

一方、補完対象画素（ｉ，ｊ）と１画素隣の画素との間に、急峻なエッジ部分が存在した場合、前記式（１０）の近似式が成り立つ。そこで、補完対象画素と１画素隣の画素との間に存在するエッジ成分に応じて、前記式（８）における補正値αを加算することとする。   On the other hand, when a sharp edge portion exists between the pixel to be complemented (i, j) and the pixel next to the pixel, the approximate expression of the equation (10) holds. Therefore, the correction value α in the equation (8) is added according to the edge component existing between the pixel to be complemented and the pixel next to the pixel.

ただし、このように垂直方向のエッジが存在する場合、水平方向の画素の画素値でＧの補完値を求めるのではなく、補完対象画素である画素位置（ｉ，ｊ）に対して、垂直方向の画素位置（ｉ−２，ｊ），（ｉ＋２，ｊ）の画素値から補完値を求めればよい。
そこで、色情報補完装置１は、方位相関強度算出手段２０において、方位相関を示す方位不均一性パラメータλを求め、補完画像画素値算出手段６０において、λの値に応じて、水平成分で補完した画像と、垂直方向で補完した画像とを重み付け加算することとしている。 However, when there is an edge in the vertical direction as described above, the pixel complementation value of G is not calculated by the pixel value of the pixel in the horizontal direction, but the vertical direction with respect to the pixel position (i, j) that is the pixel to be complemented The complement value may be obtained from the pixel values of the pixel positions (i-2, j) and (i + 2, j).
Therefore, the color information complementing device 1 obtains the azimuth non-uniformity parameter λ indicating the azimuth correlation in the azimuth correlation strength calculation means 20, and complements with the horizontal component according to the value of λ in the complementary image pixel value calculation means 60. The weighted image and the image complemented in the vertical direction are weighted and added.

しかし、方位相関強度算出手段２０は、水平方向および垂直方向の相関のみを求めていることから、エッジ成分が斜め方向に存在する場合が考慮されないことになる。
そこで、色情報補完装置１は、さらに、高周波成分加算係数算出手段５０によって、方位別（８方向）のエッジ成分の大きさに応じた高周波成分加算係数ｗを求め、補完画像画素値算出手段６０において、補完画像のうちで、高域フィルタで補完した補完画像（Ｇ_ＨＨおよびＧ_ＶＨ）に対してのみ高周波成分加算係数ｗを乗算することとしている。
これによって、色情報補完装置１は、低域フィルタで補完した補完画像（Ｇ_ＨＬおよびＧ_ＶＬ）に対して、画像の斜め方向のエッジ部や平坦部においては、画像の劣化を抑えつつ、高周波成分を補正することができる。 However, since the azimuth correlation strength calculation means 20 finds only the correlation in the horizontal direction and the vertical direction, the case where the edge component exists in the oblique direction is not considered.
Therefore, the color information complementing device 1 further calculates the high frequency component addition coefficient w according to the size of the edge component according to azimuth (8 directions) by the high frequency component addition coefficient calculation unit 50, and the complementary image pixel value calculation unit 60. Among the complementary images, the high frequency component addition coefficient w is multiplied only to the complementary images (G _HH and G _{V H} ) complemented by the high-pass filter.
As a result, the color information complementing device 1 suppresses high-level image degradation in the diagonal direction edge portion or flat portion of the image with respect to the complemented image (G _HL and G _VL ) complemented by the low-pass filter. The components can be corrected.

１ 色情報補完装置
１０ 方位別振動成分抽出手段
１１ 水平振動成分抽出手段
１２ 垂直振動成分抽出手段
２０ 方位相関強度算出手段
３０ 方位・帯域別画像補完手段
３１ 水平低周波成分補完手段
３２ 水平高周波成分補完手段
３３ 垂直低周波成分補完手段
３４ 垂直高周波成分補完手段
４０ 方位別エッジ成分抽出手段
５０ 高周波成分加算係数算出手段
６０ 補完画像画素値算出手段
７０ Ｇ画像生成手段（特定色補完手段）
８０ Ｒ画素抽出手段
８０Ｂ Ｂ画素抽出手段
９０ Ｒ画像生成手段（他色補完手段）
９０Ｂ Ｂ画像生成手段（他色補完手段）
９１ 差分手段
９２ 差分補完手段
９３ 加算手段
１００ ＲＧＢ画像生成手段 DESCRIPTION OF SYMBOLS 1 Color information complementation apparatus 10 Directional vibration component extraction means 11 Horizontal vibration component extraction means 12 Vertical vibration component extraction means 20 Direction correlation strength calculation means 30 Direction and band-based image complementation means 31 Horizontal low frequency component complementation means 32 Horizontal high frequency component complementation Means 33 Vertical low-frequency component complementing means 34 Vertical high-frequency component complementing means 40 Direction-dependent edge component extracting means 50 High-frequency component addition coefficient calculating means 60 Complementary image pixel value calculating means 70 G image generating means (specific color complementing means)
80 R pixel extraction means 80B B pixel extraction means 90 R image generation means (other color complementing means)
90B B image generation means (other color complementing means)
91 difference means 92 difference complement means 93 addition means 100 RGB image generation means

Claims (7)

カラーフィルタを用いた単板式撮像デバイスで撮像された撮像画像から、各色の欠落した色情報を補完する色情報補完装置であって、
前記撮像画像の画素ごとに水平方向および垂直方向の方位別に振動成分を抽出する方位別振動成分抽出手段と、
この方位別振動成分抽出手段で抽出された方位別の振動成分の相関に基づいて、画素ごとの方位相関の強度を算出する方位相関強度算出手段と、
前記撮像画像の特定色に対する補完対象画素の画素値を水平方向および垂直方向の各方位について低周波成分および高周波成分の帯域別に補完して、方位・帯域別画像を生成する方位・帯域別画像補完手段と、
前記撮像画像の画素ごとに水平方向、垂直方向および斜め方向の方位別にエッジ成分を抽出する方位別エッジ成分抽出手段と、
この方位別エッジ成分抽出手段で抽出されたエッジ成分の大きさに基づいて、前記方位・帯域別画像の高周波成分を補正するための高周波成分加算係数を算出する高周波成分加算係数算出手段と、
前記方位・帯域別画像補完手段で補完された前記方位・帯域別画像の画素値を、前記方位相関の強度と前記高周波成分加算係数とに応じて加算して、前記補完対象画素の画素値を算出する補完画像画素値算出手段と、
前記撮像画像において、前記特定色に対する補完対象画素の画素値を、前記補完画像画素値算出手段で算出された画素値に置き換えて前記特定色の色情報を補完する特定色補完手段と、
前記撮像画像から、前記特定色以外の色を対象として色情報を補完する対象色ごとの他色補完手段と、を備え、
前記方位別振動成分抽出手段は、
前記撮像画像に対して、線形フィルタを用いて水平方向に畳み込み処理することで、水平方向の振動成分を抽出する水平振動成分抽出手段と、
前記撮像画像に対して、線形フィルタを用いて垂直方向に畳み込み処理することで、垂直方向の振動成分を抽出する垂直振動成分抽出手段と、を備え、
前記他色補完手段は、
前記撮像画像において、前記対象色の画素ごとに、当該画素の画素値と当該画素に対応する前記補完画像画素値算出手段で算出された補完対象画素の画素値との差分値を算出する差分手段と、
前記対象色に対する補完対象画素の周辺画素の前記差分値から、当該補完対象画素の差分値を補完する差分補完手段と、
この差分補完手段で差分値が補完された画像の画素ごとに、当該画素に対応する前記特定色補完手段で補完された補完対象画素の画素値を加算して、前記対象色の画像を生成する加算手段と、
を備えることを特徴とする色情報補完装置。 A color information complementing apparatus that complements missing color information of each color from an image captured by a single-plate type imaging device using a color filter,
Azimuth-specific vibration component extraction means for extracting vibration components according to horizontal and vertical directions for each pixel of the captured image;
Azimuth correlation strength calculation means for calculating the strength of the azimuth correlation for each pixel based on the correlation of the azimuth vibration components extracted by the azimuth vibration component extraction means;
Image complementation by orientation and band that complements the pixel value of the complement target pixel for a specific color of the captured image for each band of low frequency component and high frequency component for each azimuth in the horizontal direction and vertical direction, and generates an azimuth and band classified image Means,
Azimuth-specific edge component extraction means for extracting edge components according to horizontal, vertical and diagonal azimuths for each pixel of the captured image;
High-frequency component addition coefficient calculation means for calculating a high-frequency component addition coefficient for correcting the high-frequency component of the azimuth / band-specific image based on the size of the edge component extracted by the azimuth-specific edge component extraction means;
The pixel value of the azimuth and band image complemented by the azimuth and band image complementing means is added according to the strength of the azimuth correlation and the high frequency component addition coefficient, and the pixel value of the complement target pixel is calculated. A complementary image pixel value calculation unit to calculate;
Specific color complementing means for replacing the pixel value of the complementation object pixel for the specific color with the pixel value calculated by the complementary image pixel value calculating means in the captured image to complement the color information of the specific color;
And other color complementing means for each target color that complements color information for colors other than the specific color from the captured image.
The azimuth-specific vibration component extraction means
Horizontal vibration component extraction means for extracting a horizontal vibration component by performing convolution processing in the horizontal direction using a linear filter on the captured image;
Vertical vibration component extraction means for extracting a vibration component in the vertical direction by performing convolution processing in the vertical direction using a linear filter on the captured image;
The other color complementing means is
A difference unit that calculates, for each pixel of the target color in the captured image, a difference value between the pixel value of the pixel and the pixel value of the complement target pixel calculated by the complementary image pixel value calculation unit corresponding to the pixel When,
Difference complementing means for complementing the difference value of the complementation target pixel from the difference value of the peripheral pixels of the complementation target pixel with respect to the target color;
The pixel value of the complementation object pixel complemented by the specific color complementation unit corresponding to the pixel is added to each pixel of the image whose difference value is complemented by the difference complementation unit to generate the image of the target color Addition means,
A color information complementing device comprising: 前記水平方向に畳み込み処理するための空間周波数スケールが異なる線形フィルタごとに、前記水平振動成分抽出手段を複数備え、
前記垂直方向に畳み込み処理するための空間周波数スケールが異なる線形フィルタごとに、前記垂直振動成分抽出手段を前記水平振動成分抽出手段と同数備えることを特徴とする請求項１に記載の色情報補完装置。 A plurality of horizontal vibration component extraction means are provided for each linear filter having different spatial frequency scales for convolution processing in the horizontal direction,
2. A color information complementing apparatus according to claim 1 , wherein the number of vertical vibration component extraction means is the same as the number of horizontal vibration component extraction means for each linear filter having different spatial frequency scales for convolution processing in the vertical direction. . 前記方位・帯域別画像補完手段は、
前記補完対象画素の水平方向に隣接する画素値を平均化して水平低周波成分補完画像を生成する水平低周波成分補完手段と、
前記補完対象画素の画素値と当該画素の水平方向に２画素離れた位置の画素の画素値とから高周波成分を算出して水平高周波成分補完画像を生成する水平高周波成分補完手段と、
前記補完対象画素の垂直方向に隣接する画素値を平均化して垂直低周波成分補完画像を生成する垂直低周波成分補完手段と、
前記補完対象画素の画素値と当該画素の垂直方向に２画素離れた位置の画素の画素値とから高周波成分を算出して垂直高周波成分補完画像を生成する垂直高周波成分補完手段と、
を備えることを特徴とする請求項１または請求項２に記載の色情報補完装置。 The azimuth / band-wise image complementing means
Horizontal low-frequency component complementing means for averaging horizontal adjacent pixel values of the pixel to be complemented to generate a horizontal low-frequency component-complemented image;
Horizontal high-frequency component complementing means for calculating a high-frequency component from the pixel value of the pixel to be complemented and the pixel value of the pixel two pixels away in the horizontal direction of the pixel to generate a horizontal high-frequency component complemented image;
Vertical low-frequency component complementing means for averaging vertically adjacent pixel values of the pixel to be complemented to generate a vertical low-frequency component-complemented image;
Vertical high frequency component complementing means for calculating a high frequency component from the pixel value of the pixel to be complemented and the pixel value of the pixel two pixels away in the vertical direction of the pixel to generate a vertical high frequency component complemented image;
The color information complementing apparatus according to claim 1 or 2, further comprising: カラーフィルタを用いた単板式撮像デバイスで撮像された撮像画像から、各色の欠落した色情報を補完する色情報補完装置であって、
前記撮像画像の画素ごとに水平方向および垂直方向の方位別に振動成分を抽出する方位別振動成分抽出手段と、
この方位別振動成分抽出手段で抽出された方位別の振動成分の相関に基づいて、画素ごとの方位相関の強度を算出する方位相関強度算出手段と、
前記撮像画像の特定色に対する補完対象画素の画素値を水平方向および垂直方向の各方位について低周波成分および高周波成分の帯域別に補完して、方位・帯域別画像を生成する方位・帯域別画像補完手段と、
前記撮像画像の画素ごとに水平方向、垂直方向および斜め方向の方位別にエッジ成分を抽出する方位別エッジ成分抽出手段と、
この方位別エッジ成分抽出手段で抽出されたエッジ成分の大きさに基づいて、前記方位・帯域別画像の高周波成分を補正するための高周波成分加算係数を算出する高周波成分加算係数算出手段と、
前記方位・帯域別画像補完手段で補完された前記方位・帯域別画像の画素値を、前記方位相関の強度と前記高周波成分加算係数とに応じて加算して、前記補完対象画素の画素値を算出する補完画像画素値算出手段と、
前記撮像画像において、前記特定色に対する補完対象画素の画素値を、前記補完画像画素値算出手段で算出された画素値に置き換えて前記特定色の色情報を補完する特定色補完手段と、
前記撮像画像から、前記特定色以外の色を対象として色情報を補完する対象色ごとの他色補完手段と、を備え、
前記方位・帯域別画像補完手段は、
前記補完対象画素の水平方向に隣接する画素値を平均化して水平低周波成分補完画像を生成する水平低周波成分補完手段と、
前記補完対象画素の画素値と当該画素の水平方向に２画素離れた位置の画素の画素値とから高周波成分を算出して水平高周波成分補完画像を生成する水平高周波成分補完手段と、
前記補完対象画素の垂直方向に隣接する画素値を平均化して垂直低周波成分補完画像を生成する垂直低周波成分補完手段と、
前記補完対象画素の画素値と当該画素の垂直方向に２画素離れた位置の画素の画素値とから高周波成分を算出して垂直高周波成分補完画像を生成する垂直高周波成分補完手段と、を備え、
前記他色補完手段は、
前記撮像画像において、前記対象色の画素ごとに、当該画素の画素値と当該画素に対応する前記補完画像画素値算出手段で算出された補完対象画素の画素値との差分値を算出する差分手段と、
前記対象色に対する補完対象画素の周辺画素の前記差分値から、当該補完対象画素の差分値を補完する差分補完手段と、
この差分補完手段で差分値が補完された画像の画素ごとに、当該画素に対応する前記特定色補完手段で補完された補完対象画素の画素値を加算して、前記対象色の画像を生成する加算手段と、
を備えることを特徴とする色情報補完装置。 A color information complementing apparatus that complements missing color information of each color from an image captured by a single-plate type imaging device using a color filter,
Azimuth-specific vibration component extraction means for extracting vibration components according to horizontal and vertical directions for each pixel of the captured image;
Azimuth correlation strength calculation means for calculating the strength of the azimuth correlation for each pixel based on the correlation of the azimuth vibration components extracted by the azimuth vibration component extraction means;
Image complementation by orientation and band that complements the pixel value of the complement target pixel for a specific color of the captured image for each band of low frequency component and high frequency component for each azimuth in the horizontal direction and vertical direction, and generates an azimuth and band classified image Means,
Azimuth-specific edge component extraction means for extracting edge components according to horizontal, vertical and diagonal azimuths for each pixel of the captured image;
High-frequency component addition coefficient calculation means for calculating a high-frequency component addition coefficient for correcting the high-frequency component of the azimuth / band-specific image based on the size of the edge component extracted by the azimuth-specific edge component extraction means;
The pixel value of the azimuth and band image complemented by the azimuth and band image complementing means is added according to the strength of the azimuth correlation and the high frequency component addition coefficient, and the pixel value of the complement target pixel is calculated. A complementary image pixel value calculation unit to calculate;
Specific color complementing means for replacing the pixel value of the complementation object pixel for the specific color with the pixel value calculated by the complementary image pixel value calculating means in the captured image to complement the color information of the specific color;
And other color complementing means for each target color that complements color information for colors other than the specific color from the captured image.
The azimuth / band-wise image complementing means
Horizontal low-frequency component complementing means for averaging horizontal adjacent pixel values of the pixel to be complemented to generate a horizontal low-frequency component-complemented image;
Horizontal high-frequency component complementing means for calculating a high-frequency component from the pixel value of the pixel to be complemented and the pixel value of the pixel two pixels away in the horizontal direction of the pixel to generate a horizontal high-frequency component complemented image;
Vertical low-frequency component complementing means for averaging vertically adjacent pixel values of the pixel to be complemented to generate a vertical low-frequency component-complemented image;
Vertical high frequency component complementing means for calculating a high frequency component from the pixel value of the pixel to be complemented and the pixel value of the pixel two pixels away in the vertical direction of the pixel to generate a vertical high frequency component complemented image;
The other color complementing means is
A difference unit that calculates, for each pixel of the target color in the captured image, a difference value between the pixel value of the pixel and the pixel value of the complement target pixel calculated by the complementary image pixel value calculation unit corresponding to the pixel When,
Difference complementing means for complementing the difference value of the complementation target pixel from the difference value of the peripheral pixels of the complementation target pixel with respect to the target color;
The pixel value of the complementation object pixel complemented by the specific color complementation unit corresponding to the pixel is added to each pixel of the image whose difference value is complemented by the difference complementation unit to generate the image of the target color Addition means,
A color information complementing device comprising: 前記方位別エッジ成分抽出手段は、前記撮像画像の画素ごとに、右方向、右上方向、上方向、左上方向、左方向、左下方向、下方向および右下方向の８方向の方位別に前記エッジ成分を抽出することを特徴とする請求項１から請求項４のいずれか一項に記載の色情報補完装置。 The azimuth-specific edge component extraction unit is configured to determine the edge components according to eight azimuths of right, upper, upper, upper left, upper left, left, lower left, and lower right directions for each pixel of the captured image. The color information complementing device according to any one of claims 1 to 4 , wherein the color information is extracted. 前記撮像画像は、３原色のベイヤ配列のカラーフィルタを用いて撮像された画像であって、前記特定色は緑色、前記対象色は赤色および青色であることを特徴とする請求項１から請求項５のいずれか一項に記載の色情報補完装置。   The said captured image is an image imaged using the color filter of Bayer array of three primary colors, Comprising: The said specific color is green, The said object color is red and blue, It is characterized by the above-mentioned. The color information complementing device according to any one of 5. コンピュータを、請求項１から請求項６のいずれか一項に記載の色情報補完装置として機能させるための色情報補完プログラム。   A color information supplement program for causing a computer to function as the color information supplement apparatus according to any one of claims 1 to 6.