JP5494249B2

JP5494249B2 - Image processing apparatus, imaging apparatus, and image processing program

Info

Publication number: JP5494249B2
Application number: JP2010127849A
Authority: JP
Inventors: 英康国場
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-06-03
Filing date: 2010-06-03
Publication date: 2014-05-14
Anticipated expiration: 2030-06-03
Also published as: JP2011254376A

Description

本発明は、画像処理装置、撮像装置及び画像処理プログラムに関するものである。 The present invention relates to an image processing device, an imaging device, and an image processing program.

従来、デジタルカメラでは単板イメージセンサーでカラー情報を取得するためにイメージセンサーに、例えばベイヤーパターンによるカラーフィルターアレイを配置し複数の色成分を検出している（例えば、特許文献１参照）。 Conventionally, in a digital camera, in order to acquire color information with a single-plate image sensor, for example, a color filter array based on a Bayer pattern is arranged on the image sensor to detect a plurality of color components (see, for example, Patent Document 1).

ＵＳＰ３，９７１，０６５USP 3,971,065

ところで、カラーフィルターアレイを使った単板カラーイメージセンサーでは各画素毎には一つの色成分しか検出できないため、各画素でＲＧＢの情報を有するカラー画像を作成するために補間処理が必要になるが、ベイヤーパターンによるカラーフィルターアレイでは、主に輝度成分に寄与する緑画素が主に色成分に寄与する赤、青画素よりも密度が高く配置されていて、補間処理においても輝度は高解像度に補間されるが色差は低解像度に補間される。従って、例えば白色の紙に赤色の文字が表示されているような画像の場合、輝度を高解像度に再現し色差を低解像度に再現すると文字の周りに色が滲んでしまい画質が低下するという問題がある。 By the way, since a single-plate color image sensor using a color filter array can detect only one color component for each pixel, an interpolation process is required to create a color image having RGB information at each pixel. In the color filter array using the Bayer pattern, the green pixels that mainly contribute to the luminance component are arranged with a higher density than the red and blue pixels that mainly contribute to the color component, and the luminance is interpolated at a high resolution even in the interpolation process. However, the color difference is interpolated to a low resolution. Therefore, for example, in the case of an image in which red characters are displayed on white paper, if the luminance is reproduced at a high resolution and the color difference is reproduced at a low resolution, the color blurs around the characters and the image quality deteriorates. There is.

本発明の目的は、カラーフィルターアレイで得られた画像を補間した際に輝度と色差の解像度の差を補正して高画質の補間画像を得ることができる画像処理装置、撮像装置及び画像処理プログラムを提供することである。 An object of the present invention is to provide an image processing apparatus, an imaging apparatus, and an image processing program capable of obtaining a high-quality interpolated image by correcting a difference in resolution between luminance and color difference when an image obtained by a color filter array is interpolated. Is to provide.

本発明の画像処理装置は、イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像データの補間を行う画像処理装置において、前記カラーフィルター画像データの輝度成分を補間する第１の補間手段と、前記カラーフィルター画像データの色差成分を補間する第２の補間手段と、前記輝度成分の解像度と前記色差成分の解像度の差に応じて前記色差成分の補正値を算出する補正値算出手段と、前記色差成分の補正値に応じて前記色差成分を補正する補正手段とを備え、前記第１の補間手段及び前記第２の補間手段は、前記カラーフィルター画像データを周波数空間において輝度成分の帯域及び色差成分の帯域に分割して補間を行うことを特徴とする。 The image processing apparatus of the present invention is obtained by detecting one color component of a plurality of color components in each pixel by a color image sensor in which a plurality of color filters having different transmission characteristics are arranged on the front surface of the image sensor. In the image processing apparatus for interpolating the color filter image data, a first interpolation means for interpolating a luminance component of the color filter image data, a second interpolation means for interpolating a color difference component of the color filter image data, correction value calculating means for calculating a correction value of the color difference component depending on the difference between the resolution and the color difference components of said luminance component, and a correction means for correcting the color difference component in accordance with the correction value of the color difference component The first interpolation unit and the second interpolation unit radiate the color filter image data in a frequency space. By dividing the bandwidth of the band and the chrominance components of the component and performing interpolation.

また、本発明の撮像装置は、本発明の画像処理装置を含むことを特徴とする。 The imaging apparatus of the present invention includes the image processing apparatus of the present invention.

また、本発明の画像処理プログラムは、イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像データの補間を行う画像処理装置に適用される画像処理プログラムであって、前記カラーフィルター画像データの輝度成分を補間する第１の補間ステップと、前記カラーフィルター画像データの色差成分を補間する第２の補間ステップと、前記輝度成分の解像度と前記色差成分の解像度の差に応じて前記色差成分の補正値を算出する補正値算出ステップと、前記色差成分の補正値に応じて前記色差成分を補正する補正ステップとを含み、前記第１の補間ステップ及び前記第２の補間ステップは、前記カラーフィルター画像データを周波数空間において輝度成分の帯域及び色差成分の帯域に分割して補間を行うことを特徴とする。 The image processing program of the present invention detects one color component of a plurality of color components in each pixel by a color image sensor in which a plurality of color filters having different transmission characteristics are arranged on the front surface of the image sensor. An image processing program applied to an image processing apparatus for interpolating the obtained color filter image data, the first interpolation step for interpolating the luminance component of the color filter image data, and the color difference of the color filter image data A second interpolation step for interpolating components, a correction value calculating step for calculating a correction value for the color difference component according to the difference between the resolution of the luminance component and the resolution of the color difference component, and a correction value for the color difference component and a correction step of correcting the color difference component Te, the first interpolation step and the second auxiliary Step, and performing interpolation by dividing the band of the band and the chrominance component of the luminance component in the frequency space the color filter image data.

本発明の画像処理装置、撮像装置及び画像処理プログラムによれば、カラーフィルターアレイで得られた画像を補間した際に輝度と色差の解像度の差を補正して高画質の補間画像を得ることができる。 According to the image processing apparatus, the imaging apparatus, and the image processing program of the present invention, when interpolating the image obtained by the color filter array, it is possible to obtain a high-quality interpolated image by correcting the difference in resolution between luminance and color difference. it can.

第１の実施の形態に係るデジタルカメラの構成を示すブロック図である。1 is a block diagram showing a configuration of a digital camera according to a first embodiment. 第１の実施の形態に係る画像処理部の構成を示すブロック図である。It is a block diagram which shows the structure of the image process part which concerns on 1st Embodiment. 第２の実施の形態に係るカラーフィルターアレイの構成を示す図である。It is a figure which shows the structure of the color filter array which concerns on 2nd Embodiment.

以下、図面を参照して本発明の第１の実施の形態に係る画像処理装置（撮像装置）としてのデジタルカメラについて説明する。図１は、第１の実施の形態に係るデジタルカメラの構成を示すブロック図である。デジタルカメラ１は、撮影レンズ２を介して入射した被写体光によって、入射面にカラーフィルターアレイ４を有するイメージセンサー６上に被写体像を結像させ、この被写体像をイメージセンサー６で電気信号に変換する。ここでカラーフィルターアレイ４及びイメージセンサー６は、カラーイメージセンサーを構成する。カラーフィルターアレイ４は、例えば４つの画素の中の左上及びその対角である右下の画素に対して緑色（Ｇ）のカラーフィルター、右上の画素に対して赤色（Ｒ）のカラーフィルター、左下の画素に対して青色（Ｂ）のカラーフィルターをアレイ状に配列したベイヤーカラーフィルターアレイ（ＢａｙｅｒＣＦＡ）である。 A digital camera as an image processing apparatus (imaging apparatus) according to a first embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the digital camera according to the first embodiment. The digital camera 1 forms a subject image on an image sensor 6 having a color filter array 4 on the incident surface by subject light incident through the photographing lens 2 and converts the subject image into an electrical signal by the image sensor 6. To do. Here, the color filter array 4 and the image sensor 6 constitute a color image sensor. The color filter array 4 includes, for example, a green (G) color filter for the upper left and the lower right pixel that is the diagonal of the four pixels, a red (R) color filter for the upper right pixel, and the lower left. This is a Bayer color filter array (Bayer CFA) in which blue (B) color filters are arranged in an array with respect to these pixels.

イメージセンサー６から出力された電気信号は、画像処理部８に入力される。画像処理部８においては、図示しないメモリ等から読み込まれた画像処理プログラムが実行されることにより、後述の補間等の画像処理が行われる。画像処理部８において画像処理された画像は記録部１０に記録される。 The electrical signal output from the image sensor 6 is input to the image processing unit 8. The image processing unit 8 executes image processing such as interpolation, which will be described later, by executing an image processing program read from a memory or the like (not shown). The image processed by the image processing unit 8 is recorded in the recording unit 10.

図２は、第１の実施の形態に係る画像処理部８の構成を示すブロック図である。画像処理部８は、ホワイトバランス処理部１２、第１階調処理部１４、補間処理部１６、色差補正処理部１７、第１色変換処理部１８、第２階調処理部２０、第２色変換処理部２２、エッジ強調処理部２４及び圧縮処理部２６を備えている。 FIG. 2 is a block diagram illustrating a configuration of the image processing unit 8 according to the first embodiment. The image processing unit 8 includes a white balance processing unit 12, a first gradation processing unit 14, an interpolation processing unit 16, a color difference correction processing unit 17, a first color conversion processing unit 18, a second gradation processing unit 20, and a second color. A conversion processing unit 22, an edge enhancement processing unit 24, and a compression processing unit 26 are provided.

ホワイトバランス処理部１２においては、無彩色の被写体を撮影した時にカラーイメージセンサー上の各色チャンネルの出力が概ね同じになるようにホワイトバランス処理を行う。この処理は、例えば画像中の最も明るい領域が無彩色だとの仮定の元、その領域のＲＧＢの値が同じになるようなゲインとしても良いし、予めユーザーが撮影光源を設定しその光源に応じたゲインを設定しても良い。また撮影シーンの判定を行い人物の顔領域が肌色になるようなゲインを設定しても良い。ホワイトバランス処理部１２では各画素のＲＧＢにホワイトバランス係数を掛ける。 The white balance processing unit 12 performs white balance processing so that the output of each color channel on the color image sensor is substantially the same when an achromatic subject is photographed. This processing may be performed, for example, on the assumption that the brightest area in the image is an achromatic color, and so that the RGB values of the area are the same. A corresponding gain may be set. Further, a gain may be set so that the photographing scene is determined and the face area of the person becomes skin color. The white balance processing unit 12 multiplies the RGB of each pixel by a white balance coefficient.

次に、第１階調処理部１４においては、ガンマ処理と呼ばれる入力画素値ｘに対して出力画素値ｙが

となるような特性の階調変換を行う。定数γは、γ＝２．２程度が良い。なおγ＝１として実質的に階調処理を行わないようにしても良い。 Next, in the first gradation processing unit 14, the output pixel value y is set to the input pixel value x called gamma processing.

Gradation conversion with such characteristics is performed. The constant γ is preferably about γ = 2.2. Note that the gradation processing may not be substantially performed with γ = 1.

次に、補間処理部１６においては、ＣＦＡ（ＣｏｌｏｒＦｉｌｔｅｒＡｒｒａｙ）画像を補間し、各画素にＲＧＢの揃ったカラー画像を生成する。補間の方法としてEric Dubois, “Frequency-Domain Methods for Demosaicking of Bayer-Sampled Color Images,” IEEE Signal Process. Lett., vol.12, pp.847,2005に記載の方法のようにＣＦＡ画像を周波数帯域で分割して輝度信号Ｌ，色差信号Ｃ_１，Ｃ_２成分の抽出を行う。ここで、ＢａｙｅｒＣＦＡで得られた画像をフーリエ変換した場合に、周波数解析を行うと低周波領域にＬ（輝度成分）、高周波領域にＣ_１，Ｃ_２（色差成分）が現れる。ここで、Ｌ，Ｃ_１，Ｃ_２はそれぞれ、
Ｌ＝（２Ｇ＋Ｂ＋Ｒ）／４
Ｃ_１＝（２Ｇ−Ｂ−Ｒ）／４
Ｃ_２＝（Ｂ−Ｒ）／４
で表される。 Next, the interpolation processing unit 16 interpolates a CFA (Color Filter Array) image to generate a color image in which RGB is aligned for each pixel. As an interpolation method, CFA images are frequency-banded as described in Eric Dubois, “Frequency-Domain Methods for Demosaicking of Bayer-Sampled Color Images,” IEEE Signal Process. Lett., Vol.12, pp.847, 2005. And the luminance signal L and the color difference signals C ₁ and C ₂ are extracted. Here, when the image obtained by the Bayer CFA is subjected to Fourier transform, when frequency analysis is performed, L (luminance component) appears in the low frequency region, and C ₁ and C ₂ (color difference components) appear in the high frequency region. Here, L, C ₁ and C ₂ are respectively
L = (2G + B + R) / 4
C ₁ = (2G−B−R) / 4
C ₂ = (BR) / 4
It is represented by

ここで輝度成分ＬはＢａｙｅｒＣＦＡ画像において低周波成分として現れ、色差成分Ｃ_１は（−１／２，−１／２）を中心とする周波数域に変調され、色差成分Ｃ_２は（０，−１／２）、（−１／２，０）を中心とする周波数域に変調されて分布する。このＬ，Ｃ_１，Ｃ_２成分をローパスフィルター、またはバンドパスフィルターを用いて抽出し、ＢａｙｅｒＣＦＡ画像の補間を行うことにより画素毎にＲＧＢの揃ったカラー画像を得ることができる。なお、この実施の形態では、ローパスフィルターを用いてＬ，Ｃ_１，Ｃ_２成分を抽出するローパスフィルター処理（ＬＰＦ処理）を例に挙げて説明する。 Here, the luminance component L appears as a low frequency component in the Bayer CFA image, the color difference component C ₁ is modulated in a frequency range centered on (−1/2, −1/2), and the color difference component C ₂ is (0, − 1/2) and (−1/2, 0) are modulated and distributed in a frequency range centered on (−1/2, 0). The L, C ₁ , and C ₂ components are extracted using a low-pass filter or a band-pass filter, and a Bayer CFA image is interpolated to obtain a color image with RGB for each pixel. In this embodiment, a low-pass filter process (LPF process) that extracts L, C ₁ , and C ₂ components using a low-pass filter will be described as an example.

まず、ＢａｙｅｒＣＦＡ画像を周波数解析した時の（−１／２，−１／２）の周波数を中心に分布する色差Ｃ_１成分を抽出する。そのためにＢａｙｅｒＣＦＡ画像の座標（ｘ，ｙ）の位置の画素値に（−１）^ｘ＋ｙを掛けて（−１／２，−１／２）の周波数を中心に分布する成分を（０，０）の周波数を中心に分布するように変調する。そしてＬＰＦ処理を行って低域成分を抽出しＣ_１（ｘ，ｙ）成分とする。 First, the color difference C ₁ component distributed around the (−1/2, −1/2) frequency when the Bayer CFA image is subjected to frequency analysis is extracted. For this purpose, the pixel value at the position of the coordinates (x, y) of the Bayer CFA image is multiplied by (−1) ^{x + y,} and the component distributed around the frequency of (−1/2, −1/2) is (0, 0). Is modulated so as to be distributed around the center frequency. Then, LPF processing is performed to extract a low-frequency component to obtain a C ₁ (x, y) component.

次にＢａｙｅｒＣＦＡ画像を周波数解析した時の（−１／２，０）の周波数を中心に分布する色差Ｃ_２ａ成分を抽出する。そのためにＢａｙｅｒＣＦＡ画像の座標（ｘ，ｙ）の位置の画素値に（−１）^ｘを掛けて（−１／２，０）の周波数を中心に分布する成分を（０，０）の周波数を中心に分布するように変調する。そしてＬＰＦ処理を行って低域成分を抽出しＣ_２ａ（ｘ，ｙ）成分とする。 Next, a color difference C _2a component distributed around the frequency (−1/2, 0) when the Bayer CFA image is subjected to frequency analysis is extracted. Therefore, the pixel value at the position of the coordinates (x, y) of the Bayer CFA image is multiplied by (−1) ^x, and the component distributed around the frequency of (−1/2, 0) is set as the frequency of (0, 0). Modulate to distribute in the center. Then, LPF processing is performed to extract a low frequency component and set it as a C _2a (x, y) component.

次にＢａｙｅｒＣＦＡ画像を周波数解析した時の（０，−１／２）の周波数を中心に分布する色差Ｃ_２ｂ成分を抽出する。そのためにＢａｙｅｒＣＦＡ画像の座標（ｘ，ｙ）の位置の画素値に（−１）^ｙを掛けて（０，−１／２）の周波数を中心に分布する成分を（０，０）の周波数を中心に分布するように変調する。そしてＬＰＦ処理を行って低域成分を抽出しＣ_２ｂ（ｘ，ｙ）成分とする。 Next, the color difference C _2b component distributed around the frequency (0, −1/2) when the Bayer CFA image is subjected to frequency analysis is extracted. For this purpose, the pixel value at the position of the coordinates (x, y) of the Bayer CFA image is multiplied by (−1) ^y, and the component distributed around the frequency of (0, −1/2) is set as the frequency of (0, 0). Modulate to distribute in the center. Then, LPF processing is performed to extract the low-frequency component to obtain a C _2b (x, y) component.

次にＢａｙｅｒＣＦＡ画像を周波数解析した時の輝度Ｌ成分を抽出する。Ｃ_１成分の座標（ｘ，ｙ）の位置の画素値に（−１）^ｘ＋ｙを掛けて（−１／２，−１／２）の周波数を中心に分布する成分に戻し、Ｃ’_１（ｘ，ｙ）成分とする。また、Ｃ_２ａ成分の座標（ｘ，ｙ）の位置の画素値に（−１）^ｘを掛けて（−１／２，０）の周波数を中心に分布する成分に戻し、Ｃ’_２ａ（ｘ，ｙ）成分とする。また、Ｃ_２ｂ成分の座標（ｘ，ｙ）の位置の画素値に（−１）^ｙを掛けて（０，−１／２）の周波数を中心に分布する成分に戻し、Ｃ’_２ｂ（ｘ，ｙ）成分とする。 Next, a luminance L component when the Bayer CFA image is subjected to frequency analysis is extracted. The pixel value at the position of the coordinate (x, y) of the C ₁ component is multiplied by (−1) ^{x + y} to return to a component distributed around the frequency of (−1/2, −1/2), and C ′ ₁ ( x, y) component. Also, the pixel value at the position of the coordinates (x, y) of the C _2a component is multiplied by (−1) ^x to return to a component distributed around the frequency of (−1/2, 0), and C ′ _2a (x , Y) component. Also, the pixel value at the position of the coordinates (x, y) of the C _2b component is multiplied by (−1) ^y to return to the component distributed around the frequency (0, −1/2), and C ′ _2b (x , Y) component.

次に、ＢａｙｅｒＣＦＡ画像からＣ’_１，Ｃ’_２ａ，Ｃ’_２ｂを引いてＬ成分を抽出する（次式参照）。
Ｌ（ｘ，ｙ）＝ＣＦＡ（ｘ，ｙ）−Ｃ’_１（ｘ，ｙ）−Ｃ’_２ａ（ｘ，ｙ）−Ｃ’_２ｂ（ｘ，ｙ） Next, C ′ ₁ , C ′ _2a , and C ′ _2b are subtracted from the Bayer CFA image to extract the L component (see the following equation).
L (x, y) = CFA (x, y) −C ′ ₁ (x, y) −C ′ _2a (x, y) −C ′ _2b (x, y)

なお、Ｌ成分はＣＦＡ画像に直接ＬＰＦを掛けて抽出しても良い。この場合、色差と輝度は周波数帯域で分離したそれぞれの領域から抽出されているのではなく、一部分重なっている領域が色差と輝度の両方に抽出されることもある。また、ＬＰＦは線形フィルターでなくてもよく、ε-フィルター、σ-フィルターやbilateralフィルターのような画素値の差に依存する非線形フィルターを用いて抽出してもよい。この場合、帯域の違いだけでなく、振幅の違いでも輝度や色差の抽出を行うことができる。 The L component may be extracted by directly applying an LPF to the CFA image. In this case, the color difference and the luminance are not extracted from the respective regions separated in the frequency band, but a partially overlapping region may be extracted for both the color difference and the luminance. The LPF may not be a linear filter, and may be extracted using a non-linear filter that depends on a difference in pixel values, such as an ε-filter, a σ-filter, or a bilateral filter. In this case, it is possible to extract luminance and color difference not only by the difference in band but also by the difference in amplitude.

次に、Ｃ_２ａとＣ_２ｂよりＣ_２を求める。

_Next, determine the _{C 2} from _{C 2a} and _{C 2b.}

これは色差成分や輝度成分の分布に応じて例えば

としてαとβを定めてＣ_２を求めても良い。 This depends on the distribution of color difference components and luminance components, for example

C ₂ may be obtained by determining α and β.

なお、ここではＣＦＡ画像を変調し、ＬＰＦ処理によって色差成分を抽出しているが、ＣＦＡ画像にバンドパスフィルター処理、ハイパスフィルター処理を施して色差成分を抽出し、その後抽出した成分を変調して低周波成分にしてもよい。フィルターの通過帯域は、Ｌ，Ｃ_１，Ｃ_２ａ，Ｃ_２ｂの成分ごとに変えてもよい。また、ここではＢａｙｅｒＣＦＡの補間処理を示しているが、ＣＦＡ画像を周波数帯域で分割して輝度色差成分を抽出する方法はＢａｙｅｒＣＦＡに限らずあらゆるＣＦＡ画像に適用できる。異なるＣＦＡでは色差成分の分布する周波数帯域が異なり、輝度色差成分をＲＧＢ成分に変換する変換マトリクスが異なる。また、ここでの補間はＬＰＦ処理のみを行っているが、ＣＦＡ画像をフーリエ変換やＤＣＴ変換して輝度色差の帯域を抽出しても良いし、ウェーブレット変換して局所的な空間情報も考慮して輝度色差帯域を抽出しても良い。 Here, the CFA image is modulated and the color difference component is extracted by LPF processing. However, the CFA image is subjected to band pass filter processing and high pass filter processing to extract the color difference component, and then the extracted component is modulated. It may be a low frequency component. The pass band of the filter may be changed for each component of L, C ₁ , C _2a , and C _2b . Further, although Bayer CFA interpolation processing is shown here, the method of extracting a luminance / color difference component by dividing a CFA image in a frequency band is not limited to Bayer CFA, and can be applied to any CFA image. Different CFAs have different frequency bands in which color difference components are distributed, and different conversion matrices for converting luminance color difference components to RGB components. In addition, the interpolation here is performed only by LPF processing, but the CFA image may be subjected to Fourier transform or DCT transform to extract a luminance color difference band, or may be subjected to wavelet transform to consider local spatial information. Thus, the luminance color difference band may be extracted.

次に、色差補正処理部１７においては、色滲みが低減するように色差の補正を行う。輝度の帯域よりも色差の帯域が狭いため、色差に高周波成分が含まれる領域（色のついたエッジなど）で色滲みが出てしまうため色差の補正を行う。 Next, the color difference correction processing unit 17 corrects the color difference so that color blur is reduced. Since the color difference band is narrower than the luminance band, color blur is generated in an area (such as a colored edge) in which the color difference includes a high frequency component, so that the color difference is corrected.

先ず、輝度Ｌの帯域と色差Ｃ_１，Ｃ_２の帯域の差のぶんだけ輝度をぼかした輝度Ｌ_ＬＰＦ１，Ｌ_ＬＰＦ２を作成する。つまり、Ｌ_ＬＰＦ１はＣ_１と同程度の帯域幅を有し、Ｌ_ＬＰＦ２はＣ_２と同程度の帯域幅を有するようにして輝度と色差の解像度を揃える。 First, the luminances L _LPF1 and L _{LPF2 in} which the luminance is blurred by the difference between the luminance L band and the color difference C ₁ and C ₂ band are created. _{That, L LPF1} has a bandwidth substantially equal to that of _{C _1,} _{L LPF2} align the resolution of the luminance and color-difference so as to have a bandwidth substantially equal to that of _{C 2.}

次に、

を用いて色差を仮補正する。 next,

Is used to temporarily correct the color difference.

次に、色差を補正するか否かの判定を行う。仮補正した色差の大きさがもとの色差の大きさよりも大きくなっているか、仮補正すると色差の符号が反転してしまう場合は色差の補正を行わない。仮補正した色差の大きさがもとの色差の大きさよりも大きくなっているという条件は

であり、仮補正すると色差の符号が反転してしまうという条件は

である。上記条件式が複数の色差成分Ｃ_１，Ｃ_２で一つでも成立した場合には補正を行わないとしてもよいし、それぞれの色差成分毎に判断してそれぞれの色差成分毎に補正を行っても良い。そして、補正を行わないという判定がなされなかった場合は補正を行う。ここでは（Ｌ_ＬＰＦ１−Ｌ）や（Ｌ_ＬＰＦ２−Ｌ）の大きさに応じて補正強度を変える。

なお、ｆ（ｘ）はｄｆ／ｄｘ≧０となる関数である。また、Ｃ_１やＣ_２の大きさによって補正強度を変えても良い。例えばＣ_１やＣ_２の大きさが大きい場合には補正を強くし、小さい場合には補正を弱くする。 Next, it is determined whether or not to correct the color difference. If the temporarily corrected color difference is larger than the original color difference or the sign of the color difference is reversed after the temporary correction, the color difference is not corrected. The condition that the temporarily corrected color difference is larger than the original color difference is

The condition that the color difference sign is reversed when provisional correction is performed

It is. If at least one of the conditional expressions is satisfied with a plurality of color difference components C ₁ and C ₂ , the correction may not be performed, or each color difference component is determined and corrected for each color difference component. Also good. If it is not determined that correction is not performed, correction is performed. Here, the correction strength is changed according to the size of (L _LPF1 -L) or (L _LPF2 -L).

Note that f (x) is a function that satisfies df / dx ≧ 0. It is also possible to change the correction strength by the magnitude of C ₁ and C _2. For example, the correction is strengthened when the size of C ₁ or C ₂ is large, and is weakened when the size is small.

次に、第１色変換処理部１８において、各画素のＬ，Ｃ_１” ，Ｃ_２”の値を用いて、次数に従って各画素のＲＧＢの値を求める。

Next, in the first color conversion processing unit 18, RGB values of each pixel are obtained according to the order using the values of L, C ₁ ″, C ₂ ″ of each pixel.

ここではＢａｙｅｒＣＦＡの周波数空間補間での色変換処理を示しているが、ＣＦＡ画像を周波数帯域で分割して輝度色差成分を抽出する方法はＢａｙｅｒＣＦＡに限らずあらゆるＣＦＡ画像に適用できる。異なるＣＦＡでは色差成分の分布する周波数帯域が異なり、輝度色差成分をＲＧＢ成分に変換する変換マトリクスが異なる。 Although the color conversion processing by Bayer CFA frequency space interpolation is shown here, the method of extracting the luminance color difference component by dividing the CFA image in the frequency band is not limited to the Bayer CFA, and can be applied to any CFA image. Different CFAs have different frequency bands in which color difference components are distributed, and different conversion matrices for converting luminance color difference components to RGB components.

次に、第２階調処理部２０において、第１階調処理部１４において行った階調処理の逆変換を行う。即ち、入力画素値ｘに対して出力画素値ｙが

となるような特性の階調変換を行う。なお、γ=１の場合はこの処理をスキップできる。 Next, the second gradation processing unit 20 performs inverse conversion of the gradation processing performed in the first gradation processing unit 14. That is, the output pixel value y is equal to the input pixel value x.

Gradation conversion with such characteristics is performed. If γ = 1, this process can be skipped.

次に、第２色変換処理部２２において、次式に従ってカラーイメージセンサーのＲＧＢデータを出力色空間のＲＧＢデータＲ_０，Ｇ_０，Ｂ_０に変換する。

Next, the second color conversion processing unit 22 converts the RGB data of the color image sensor into RGB data R ₀ , G ₀ , B ₀ of the output color space according to the following equation.

なお、ｃ_ｉｊはイメージセンサー６の分光感度、光源、出力色空間より定められる定数である。出力色空間の規格としては例えばIEC 61966-2-1 sRGBが挙げられる。そしてさらに出力色空間の定義に従い階調処理が行われる。例えばIEC 61966-2-1 sRGBでは入力画素値ｘに対して出力画素値ｙが

となるような特性で入力ＲＧＢを出力Ｒ'Ｇ'Ｂ'に階調変換を行う。 Note that c _ij is a constant determined from the spectral sensitivity, light source, and output color space of the image sensor 6. An example of the output color space standard is IEC 61966-2-1 sRGB. Further, gradation processing is performed according to the definition of the output color space. For example, in IEC 61966-2-1 sRGB, the output pixel value y is different from the input pixel value x.

The gradation conversion is performed from the input RGB to the output R′G′B ′ with such characteristics.

さらにエッジ強調、圧縮処理のためにＲＧＢからＹＣｂＣｒへ色変換を行っても良い。この色変換は入力がＲ'Ｇ'Ｂ'とすると

となる。 Further, color conversion from RGB to YCbCr may be performed for edge enhancement and compression processing. If this color conversion is R'G'B '

It becomes.

次に、エッジ強調処理部２４により輝度成分Ｙにエッジ強調処理を行う。また、圧縮処理部２６によりＪＰＥＧ、ＪＰＥＧ２０００、ＪＰＥＧＸＲ等の圧縮方式で圧縮する。 Next, the edge enhancement processing unit 24 performs edge enhancement processing on the luminance component Y. Further, the compression processing unit 26 performs compression using a compression method such as JPEG, JPEG2000, or JPEG XR.

ここで補間処理部１６において、Ｃ_１，Ｃ_２ａ，Ｃ_２ｂを抽出するのに用いるローパスフィルター（以下、ＬＰＦという。）は撮影被写体や撮影条件、カラーイメージセンサーの特性によって最適化することで高品質な補間画像が得られる。 Here, the interpolation processing unit 16 optimizes the low-pass filter (hereinafter referred to as LPF) used to extract C ₁ , C _2a , and C _{2b according} to the shooting subject, shooting conditions, and characteristics of the color image sensor. A quality interpolation image is obtained.

第１の実施の形態に係るデジタルカメラによれば、カラーフィルターアレイで得られた画像を補間した際に輝度と色差の解像度の差を補正して高画質の補間画像を得ることができる。 According to the digital camera according to the first embodiment, when the image obtained by the color filter array is interpolated, a difference in resolution between the luminance and the color difference can be corrected to obtain a high-quality interpolated image.

次に、図面を参照して本発明の第２の実施の形態に係る画像処理装置（撮像装置）としてのデジタルカメラについて説明する。第２の実施の形態に係るデジタルカメラの構成及び画像処理は、第１の実施の形態に係るデジタルカメラ１の構成及び画像処理と同一であるため説明を省略する。なお、この実施の形態では、図３に示すようなベイヤーカラーフィルターアレイ（ＢａｙｅｒＣＦＡ）を備えたカラーイメージセンサーを用いる。 Next, a digital camera as an image processing apparatus (imaging apparatus) according to a second embodiment of the present invention will be described with reference to the drawings. Since the configuration and image processing of the digital camera according to the second embodiment are the same as the configuration and image processing of the digital camera 1 according to the first embodiment, description thereof will be omitted. In this embodiment, a color image sensor having a Bayer color filter array (Bayer CFA) as shown in FIG. 3 is used.

先ず、ホワイトバランス処理部１２により、無彩色の被写体を撮影した時にセンサー上の各色チャンネルの出力が概ね同じになるようにホワイトバランス処理を行う。次に、第１階調処理部１４により、ガンマ処理と呼ばれる入力画素値ｘに対して出力画素値ｙが

となるような特性の階調変換を行う。定数γはγ＝２．２程度が良い。これは直線部を含むようにしても良いし、ＬＵＴ（Look Up Table）でもよい。またγ＝１として実質的に階調処理を行わなくてもよい。 First, the white balance processing unit 12 performs white balance processing so that the output of each color channel on the sensor becomes substantially the same when an achromatic subject is photographed. Next, the first gradation processing unit 14 sets the output pixel value y to the input pixel value x called gamma processing.

Gradation conversion with such characteristics is performed. The constant γ is preferably about γ = 2.2. This may include a straight line portion or a LUT (Look Up Table). In addition, it is not necessary to perform gradation processing substantially when γ = 1.

次に、補間処理部１６により、Ｇ空格子補間、即ちＢａｙｅｒＣＦＡでＧがない座標のＧの値を補間する。いま、例えば、図３においてＲ_３４のある位置でのＧを計算する。即ち、
ｄ_ｖ＝|Ｇ_２４−Ｇ_４４|とｄ_ｈ＝|Ｇ_３３−Ｇ_３５|を計算する。そして、ｄ_ｖとｄ_ｈの大きさに応じてＧ_３４を計算する。この場合に、
ｄ_ｖ−ｄ_ｔ＞ｄ_ｈならば、Ｇ_３４＝（Ｇ_３３＋Ｇ_３５）／２
ｄ_ｈ−ｄ_ｔ＞ｄ_ｖならば、Ｇ_３４＝（Ｇ_２４＋Ｇ_４４）／２
上記二つ以外ならば、Ｇ_３４＝（Ｇ_２４＋Ｇ_４４＋Ｇ_３３＋Ｇ_３５）／４
とする。なお、ｄ_ｔは予め定めておく正の定数であり、ノイズが大きい場合にはｄ_ｔを大きくする。 Next, the interpolation processing unit 16 interpolates G value of coordinates having no G in the G vacancy interpolation, that is, Bayer CFA. Now, for example, G is calculated at a position of R ₃₄ in FIG. That is,
_{_{_{d v = | G 24 -G 44}}} | and _{_{_{d h = | G 33 -G 35}}} | is calculated. Then, to calculate the _{G 34} according to the magnitude of the _{d v} and _{d h.} In this case,
If d _v −d _t > d _h then G ₃₄ = (G ₃₃ + G ₃₅ ) / 2
If d _h −d _t > d _v , G ₃₄ = (G ₂₄ + G ₄₄ ) / 2
Otherwise, G ₃₄ = (G ₂₄ + G ₄₄ + G ₃₃ + G ₃₅ ) / 4
And Incidentally, d _t is a positive constant determined in advance, is noisy increases the d _t.

また補間処理部１６により色差生成を行う。即ち、Ｒ,Ｂの画素位置でＣ_Ｂ＝Ｂ−Ｇ，Ｃ_Ｒ＝Ｒ−Ｇとして色差Ｃ_Ｂ，Ｃ_Ｒを計算する。そして平滑化処理を行う。ある位置（ｘ，ｙ）でのＣ_Ｂ（ｘ，ｙ）やＣ_Ｒ（ｘ，ｙ）に

として平滑化する。 The interpolation processing unit 16 generates color difference. That is, the color differences C _B and C _R are calculated with C _B = B−G and C _R = R−G at the R and B pixel positions. Then, smoothing processing is performed. C _B (x, y) and C _R (x, y) at a certain position (x, y)

Smooth as

また補間処理部１６により色差補間を行う。例えばＲ_３４の位置では、Ｃ_Ｒ３４＝Ｒ_３４−Ｇ_３４は判っていて、Ｃ_Ｂ３４＝（Ｃ_Ｂ２３＋Ｃ_Ｂ２５＋Ｃ_Ｂ４３＋Ｃ_Ｂ４５）／４とする。また、例えばＢ_４５の位置では、Ｃ_Ｂ４５＝Ｂ_４５−Ｇ_４５は判っていて、Ｃ_Ｒ４５＝（Ｃ_Ｒ３４＋Ｃ_Ｒ３６＋Ｃ_Ｒ５４＋Ｃ_Ｒ５６）／４とする。また例えばＧ_４４の位置では、Ｃ_Ｂ４４＝（Ｃ_Ｂ４３＋Ｃ_Ｂ４５）／２及び、Ｃ_Ｒ４４＝（Ｃ_Ｒ３４＋Ｃ_Ｒ３５）／２とする。 The interpolation processing unit 16 performs color difference interpolation. For example, at the position of R ₃₄ , C _R34 = R ₃₄ −G ₃₄ is known, and C _B34 = (C _B23 + C _B25 + C _B43 + C _B45 ) / 4. For example, at the position of B ₄₅ , C _B45 = B ₄₅ −G ₄₅ is known, and C _R45 = (C _R34 + C _R36 + C _R54 + C _R56 ) / 4. For example, at the position of G ₄₄ , C _B44 = (C _B43 + C _B45 ) / 2 and C _R44 = (C _R34 + C _R35 ) / 2.

次に、色差補正処理部１７により色差成分を補正する。ある位置（ｘ，ｙ）の色差成分を補正する場合には、先ず、

Next, the color difference component is corrected by the color difference correction processing unit 17. When correcting the color difference component at a certain position (x, y), first,

次に、色差を仮補正する。

Next, the color difference is temporarily corrected.

次に、Ｃ_Ｂの補正を行う。

として補正する。また、

として補正してもよい。

に比べ

は平滑化されたＧ成分を基準にして補正を行うので画像のノイズの影響を受けにくい。Ｃ_Ｒの補正も同様に行う。 Then, to correct the _{C B.}

Correct as Also,

May be corrected as follows.

compared to

Since correction is performed based on the smoothed G component, it is less susceptible to image noise. Correction of C _R is also performed similarly.

次に、第１色変換処理部１８において、ＲＢの計算を行う。即ち、色差Ｃ”_Ｂ,Ｃ”_Ｒから、Ｂ，Ｒの値を計算する。

Next, the first color conversion processing unit 18 calculates RB. That is, the values of B and R are calculated from the color differences C ″ _B and C ″ _R.

次に、第２階調処理部２０により、求まった各画素毎の(Ｒ，Ｇ，Ｂ)の値に対し第１階調処理の逆変換を行う。即ち、入力画素値ｘに対して出力画素値ｙが

となるような特性の階調変換を行う。これは直線部を含むようにしても良いし、ＬＵＴでもよい。なお、γ＝１の場合はこの処理はスキップできる。そして、第１の実施の形態と同様に、第２色変換処理部２２、エッジ強調処理部２４、圧縮処理部２６による処理を行う。 Next, the second gradation processing unit 20 performs reverse conversion of the first gradation processing on the obtained (R, G, B) values for each pixel. That is, the output pixel value y is equal to the input pixel value x.

Gradation conversion with such characteristics is performed. This may include a straight line portion or a LUT. If γ = 1, this process can be skipped. Then, similarly to the first embodiment, processing by the second color conversion processing unit 22, the edge enhancement processing unit 24, and the compression processing unit 26 is performed.

なお、上述の各実施の形態における色差の補正は色差が空間的に急に変化する領域において効果的である。従って、色差成分のエッジ検出を行い、エッジ領域を抽出し、そのエッジ領域近傍にのみ補正処理を行うようにしてもよい。その処理は例えば、エッジ検出をハイパスフィルターで行い、エッジ領域の抽出をハイパスフィルター処理画像を閾値処理して抽出する事により領域マスクを作成する。また、領域マスクにローパスフィルター処理して処理する領域としない領域をなめらかに変化させても良い。 Note that the color difference correction in each of the above-described embodiments is effective in a region where the color difference suddenly changes spatially. Therefore, the edge detection of the color difference component may be performed to extract the edge region, and the correction process may be performed only in the vicinity of the edge region. For example, the edge detection is performed by a high-pass filter, and the edge region is extracted by performing threshold processing on the high-pass filter-processed image to create a region mask. In addition, the region to be processed and the region not to be processed by low pass filter processing may be smoothly changed in the region mask.

また、上述の各実施の形態においては、画像処理装置としてデジタルカメラを例に挙げて説明したが、パーソナルコンピュータ等の画像処理を行うことができる他の画像処理装置においても本発明を適用することができる。 In each of the above-described embodiments, the digital camera has been described as an example of the image processing apparatus. However, the present invention is also applied to other image processing apparatuses that can perform image processing, such as a personal computer. Can do.

また、上述の各実施の形態においては、図示しないメモリ等からデジタルカメラ１に画像処理を実行させる画像処理プログラムを読み込んで実行している。即ち、上述の各実施の形態で用いられている画像処理プログラムは、イメージセンサー６の前面に複数の異なる透過特性を有するカラーフィルターアレイ４を配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像のデータ補間を行う画像処理装置としてのデジタルカメラ１に適用される画像処理プログラムであって、カラーフィルター画像データの輝度成分を補間する第１の補間ステップと、カラーフィルター画像データの色差成分を補間する第２の補間ステップと、輝度成分の解像度と色差成分の解像度の差に応じて色差成分の補正値を算出する補正値算出ステップと、色差成分の補正値に応じて色差成分を補正する補正ステップとを実行させている。したがって、上述の各実施の形態で用いられている画像処理プログラムによれば、カラーフィルターアレイで得られた画像を補間した際に輝度と色差の解像度の差を補正して高画質の補間画像を得ることができる。 In each of the above-described embodiments, an image processing program for causing the digital camera 1 to execute image processing is read from a memory (not shown) or the like and executed. In other words, the image processing program used in each of the above-described embodiments uses a color image sensor in which a color filter array 4 having a plurality of different transmission characteristics is arranged on the front surface of the image sensor 6 to generate a plurality of color components in each pixel. An image processing program applied to a digital camera 1 as an image processing apparatus for performing data interpolation of a color filter image obtained by detecting one of the color components, and interpolating luminance components of color filter image data A first interpolation step, a second interpolation step for interpolating the color difference component of the color filter image data, and a correction value calculation for calculating a correction value for the color difference component according to the difference between the resolution of the luminance component and the resolution of the color difference component And a correction step for correcting the color difference component in accordance with the correction value of the color difference component. . Therefore, according to the image processing program used in each of the above-described embodiments, when the image obtained by the color filter array is interpolated, the difference between the resolution of the luminance and the color difference is corrected to obtain a high-quality interpolated image. Can be obtained.

１…デジタルカメラ、２…撮影レンズ、４…カラーフィルター、６…イメージセンサー、８…画像処理部、１０…記録部、１２…ホワイトバランス処理部、１４…第１階調処理部、１６…補間処理部、１７…色差補正処理部、１８…第１色変換処理部、２０…第２階調処理部、２２…第２色変換処理部、２４…エッジ強調処理部、２６…圧縮処理部 DESCRIPTION OF SYMBOLS 1 ... Digital camera, 2 ... Shooting lens, 4 ... Color filter, 6 ... Image sensor, 8 ... Image processing part, 10 ... Recording part, 12 ... White balance processing part, 14 ... First gradation processing part, 16 ... Interpolation Processing unit 17 ... Color difference correction processing unit 18 ... First color conversion processing unit 20 ... Second gradation processing unit 22 ... Second color conversion processing unit 24 ... Edge enhancement processing unit 26 ... Compression processing unit

Claims

イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像データの補間を行う画像処理装置において、
前記カラーフィルター画像データの輝度成分を補間する第１の補間手段と、
前記カラーフィルター画像データの色差成分を補間する第２の補間手段と、
前記輝度成分の解像度と前記色差成分の解像度の差に応じて前記色差成分の補正値を算出する補正値算出手段と、
前記色差成分の補正値に応じて前記色差成分を補正する補正手段とを備え、
前記第１の補間手段及び前記第２の補間手段は、前記カラーフィルター画像データを周波数空間において輝度成分の帯域及び色差成分の帯域に分割して補間を行うことを特徴とする画像処理装置。 Interpolation of color filter image data obtained by detecting one color component of a plurality of color components at each pixel by a color image sensor in which a plurality of color filters having different transmission characteristics are arranged in front of the image sensor. In the image processing apparatus to perform,
First interpolation means for interpolating the luminance component of the color filter image data;
Second interpolation means for interpolating color difference components of the color filter image data;
Correction value calculating means for calculating a correction value of the color difference component according to a difference between the resolution of the luminance component and the resolution of the color difference component;
Correction means for correcting the color difference component according to the correction value of the color difference component ,
The image processing apparatus according to claim 1, wherein the first interpolation unit and the second interpolation unit perform the interpolation by dividing the color filter image data into a luminance component band and a color difference component band in a frequency space .

前記補正値算出手段は、前記輝度成分を平滑化して平滑化輝度成分を算出し、前記平滑化輝度成分と前記輝度成分の差を取って補正値を算出することを特徴とする請求項１に記載の画像処理装置。 Said correction value calculating means, said luminance component by smoothing calculates the smoothed luminance component, to claim 1, characterized in that the correction value is calculated by taking the difference of the luminance component and the smoothed luminance component The image processing apparatus described.

前記平滑化輝度成分は、前記輝度成分の解像度を前記色差成分の解像度に合わせたものであることを特徴とする請求項２に記載の画像処理装置。 The image processing apparatus according to claim 2 , wherein the smoothed luminance component is obtained by matching a resolution of the luminance component with a resolution of the color difference component.

前記補正手段は、補正を行った場合に前記色差成分の大きさが小さくなり、かつ、前記色差成分の符号が変わらない場合に補正を行うことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。 The correction means, the size of the color difference component is reduced when performing correction, and any one of claims 1-3, characterized in that corrected when the sign of the color difference component is unchanged The image processing apparatus according to item.

請求項１〜４の何れか一項に記載の画像処理装置を含むことを特徴とする撮像装置。 Imaging apparatus characterized by comprising an image processing apparatus according to any one of claims 1-4.

イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像データの補間を行う画像処理装置に適用される画像処理プログラムであって、
前記カラーフィルター画像データの輝度成分を補間する第１の補間ステップと、
前記カラーフィルター画像データの色差成分を補間する第２の補間ステップと、
前記輝度成分の解像度と前記色差成分の解像度の差に応じて前記色差成分の補正値を算出する補正値算出ステップと、
前記色差成分の補正値に応じて前記色差成分を補正する補正ステップとを含み、
前記第１の補間ステップ及び前記第２の補間ステップは、前記カラーフィルター画像データを周波数空間において輝度成分の帯域及び色差成分の帯域に分割して補間を行うことを特徴とする画像処理プログラム。 Interpolation of color filter image data obtained by detecting one color component of a plurality of color components at each pixel by a color image sensor in which a plurality of color filters having different transmission characteristics are arranged in front of the image sensor. An image processing program applied to an image processing apparatus to perform,
A first interpolation step for interpolating a luminance component of the color filter image data;
A second interpolation step for interpolating color difference components of the color filter image data;
A correction value calculating step of calculating a correction value of the color difference component according to a difference between the resolution of the luminance component and the resolution of the color difference component;
A correction step of correcting the color difference component according to a correction value of the color difference component ,
An image processing program characterized in that the first interpolation step and the second interpolation step perform interpolation by dividing the color filter image data into a luminance component band and a color difference component band in a frequency space .