JP4329485B2

JP4329485B2 - Image signal processing apparatus and image signal processing method

Info

Publication number: JP4329485B2
Application number: JP2003364250A
Authority: JP
Inventors: 幸広谷添
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2003-10-24
Filing date: 2003-10-24
Publication date: 2009-09-09
Anticipated expiration: 2023-10-24
Also published as: JP2005130241A

Description

本発明は、ディジタルスチルカメラやムービー等に用いられる画像信号処理装置及び画像信号処理方法に関する。さらに具体的には、水平方向の第１ラインにはレッド、グリーンの順で色フィルタが交互配列され、第２ラインにはグリーン、ブルーの順で色フィルタが交互配列される水平２画素、垂直２画素繰り返しの原色フィルタ配列を備えた撮像素子で得られる信号から高精細な輝度信号を生成する画像信号処理装置及び画像信号処理方法に関する。 The present invention relates to an image signal processing apparatus and an image signal processing method used for a digital still camera, a movie, and the like. More specifically, color filters are alternately arranged in the order of red and green on the first line in the horizontal direction, and two horizontal pixels in which color filters are alternately arranged in the order of green and blue on the second line, vertical. The present invention relates to an image signal processing apparatus and an image signal processing method for generating a high-definition luminance signal from a signal obtained by an image sensor having a primary color filter array of two-pixel repetition.

ディジタルスチルカメラやムービーなどにおいては、ＣＣＤ（Ｃｈａｒｇｅｃｏｕｐｌｅｄｄｅｖｉｃｅ）等の撮像素子が用いられている。 In a digital still camera, a movie, and the like, an image sensor such as a CCD (Charge Coupled Device) is used.

撮像素子の表面には、カラー化のために画素毎に所定の繰り返しパターンを持つ色フィルタが装着されている。この色フィルタとしては様々なものが知られているが、広く使用されているものの１つに、図２に示すような水平方向の第１ラインにはレッド、グリーンの順で色フィルタが交互配列され、第２ラインにはグリーン、ブルーの順で色フィルタが交互配列される水平２画素、垂直２画素繰り返しの原色フィルタ配列がある。以下このフィルタ配列を原色ベイヤー配列と呼ぶ。 A color filter having a predetermined repeating pattern for each pixel is mounted on the surface of the image sensor for colorization. Various types of color filters are known, and one of the widely used color filters is that the color filters are alternately arranged in the order of red and green on the first horizontal line as shown in FIG. The second line has a primary color filter array in which color filters are alternately arranged in the order of green and blue in a horizontal 2 pixel and vertical 2 pixel repetition. Hereinafter, this filter array is referred to as a primary color Bayer array.

原色ベイヤ−配列の色フィルタを備えた撮像素子出力から輝度信号を生成する方法としては、例えば縦２×横２のレッド、グリーン、ブルー信号を加算する方法があるが、この方法では色が変化しているエッジ部で偽信号が発生するという課題があった。 As a method for generating a luminance signal from the output of an image sensor having a color filter of primary color Bayer array, for example, there is a method of adding 2 × 2 red, green and blue signals, but this method changes the color. There is a problem that a false signal is generated at the edge portion.

別の方法としては、輝度の低周波成分は縦４×横４程度の比較的広い範囲でのＲＧＢ各信号の加重平均化処理即ちローパスフィルタ処理により得る一方で、Ｇ信号の存在しない画素位置におけるＧ信号を、周囲のＧ信号の相関を見て補間することで得て、前記補間されたＧ信号の高域成分をＲＧＢ信号のローパスフィルタ処理により求めた低周波成分に加算することで、高解像な輝度信号を得る方法が知られている（例えば、特許文献１、２参照。）。 As another method, the low-frequency component of the luminance is obtained by weighted averaging processing of RGB signals in a relatively wide range of about 4 × 4, that is, low-pass filter processing, while at the pixel position where the G signal does not exist. A G signal is obtained by interpolating with reference to the correlation of surrounding G signals, and the high frequency component of the interpolated G signal is added to the low frequency component obtained by the low-pass filter processing of the RGB signal. A method for obtaining a resolution luminance signal is known (for example, see Patent Documents 1 and 2).

この方法では、ＲＧＢ全て使用した場合に発生する色エッジにおける偽信号はローパスフィルタ処理により抑圧されるため、色エッジにおける偽信号の無い輝度信号が得られる一方で、高域成分がＧ信号のみにより生成されることになるため、特に斜め方向のサンプリング間隔が、撮像素子の斜め方向の画素ピッチの２倍になってしまい、斜め方向の解像度が劣化するという課題があった。 In this method, since the false signal at the color edge that occurs when all of RGB is used is suppressed by the low-pass filter processing, a luminance signal without the false signal at the color edge can be obtained, while the high frequency component is obtained only from the G signal. As a result, the sampling interval in the oblique direction is twice the pixel pitch in the oblique direction of the image sensor, and the resolution in the oblique direction is deteriorated.

これらの課題の解決する方法として、未公開自社出願の特願２００２−２９４４９０号によれば、色エッジで適応的にローパスフィルタ処理を行う方法がある。図９は、色エッジで適応的にローパスフィルタ処理を行う輝度信号生成装置のブロック図である。以下、本装置について簡単に説明する。 As a method of solving these problems, according to Japanese Patent Application No. 2002-294490 of an unpublished in-house application, there is a method of adaptively performing low-pass filter processing at a color edge. FIG. 9 is a block diagram of a luminance signal generation apparatus that performs low-pass filter processing adaptively at color edges. Hereinafter, the apparatus will be briefly described.

撮像素子１０は、図２に示すような原色ベイヤー配列色フィルタを表面に備えたＣＣＤであり、被写体からの入射光を光電変換して各色信号として出力する。撮像素子１０の出力はＡ／Ｄ変換手段１１でデジタル信号に変換され、適応フィルタ処理部１２へ入力される。適応フィルタ処理部１２は輝度変化検出処理部３１と色変化検出処理部３２と適応ＬＰＦ処理部３０で構成されており、Ａ／Ｄ変換手段１１の出力はそれぞれに入力される。図１０は輝度変化検出処理部において為されるフィルタ処理のタップ係数を示した図であり、図中の四角がＣＣＤの１画素に対応しており、図示した縦４×横４画素の中心位置が処理中の画素位置である。（ａ）は、処理中の画素位置の左上、右下にＧ信号が存在する場合のフィルタ係数であり、（ｂ）は処理中の画素位置の右上、左下にＧ信号が存在する場合のフィルタ係数である。（ａ），（ｂ）のフィルタ処理により、処理中の画素位置における輝度の高周波成分の、Ｒ，Ｂ信号に起因する成分を検出している。 The imaging device 10 is a CCD having a primary color Bayer array color filter as shown in FIG. 2 on its surface, and photoelectrically converts incident light from a subject and outputs it as each color signal. The output of the image sensor 10 is converted into a digital signal by the A / D conversion means 11 and input to the adaptive filter processing unit 12. The adaptive filter processing unit 12 includes a luminance change detection processing unit 31, a color change detection processing unit 32, and an adaptive LPF processing unit 30, and the output of the A / D conversion unit 11 is input to each. FIG. 10 is a diagram showing tap coefficients of filter processing performed in the luminance change detection processing unit. A square in the drawing corresponds to one pixel of the CCD, and the center position of 4 × 4 pixels shown in the figure. Is the pixel position being processed. (A) is a filter coefficient when the G signal is present at the upper left and lower right of the pixel position being processed, and (b) is a filter when the G signal is present at the upper right and lower left of the pixel position being processed. It is a coefficient. The components due to the R and B signals of the high frequency component of the luminance at the pixel position being processed are detected by the filter processing of (a) and (b).

図１１は色変化検出部３２において為されるフィルタ処理のタップ係数を示した図であり、図示した縦４×横８画素の中心位置が処理中の画素位置である。（ａ）、（ｃ）は処理中の画素位置の左上、右下にＧ信号が存在する場合のフィルタ係数であり、（ｂ）、（ｄ）は、は処理中の画素位置の右上、左下にＧ信号が存在する場合のフィルタ係数である。（ａ）、（ｃ）又は（ｂ）、（ｄ）のフィルタ処理結果のうち、絶対値の大きい信号の絶対値がが色変化検出手段から出力される。 FIG. 11 is a diagram showing filter processing tap coefficients performed in the color change detection unit 32. The center position of the illustrated vertical 4 × horizontal 8 pixels is the pixel position being processed. (A) and (c) are filter coefficients when a G signal is present at the upper left and lower right of the pixel position being processed, and (b) and (d) are the upper right and lower left of the pixel position being processed. Is a filter coefficient when a G signal is present. Among the filter processing results of (a), (c) or (b), (d), the absolute value of a signal having a large absolute value is output from the color change detection means.

図１２は適応ＬＰＦ処理部３０において為されるフィルタ処理の係数を示したものである。適応ＬＰＦ処理部３０では、輝度変化検出処理部３１の出力ｉｎと色変化検出処理部３２の出力ｔｈに従って、フィルタ処理の係数が変化する。 FIG. 12 shows the coefficients of the filter processing performed in the adaptive LPF processing unit 30. In the adaptive LPF processing unit 30, the filter processing coefficient changes according to the output in of the luminance change detection processing unit 31 and the output th of the color change detection processing unit 32.

即ち、２×ｔｈ＜｜ｉｎ｜である場合は、図１２（ａ）のフィルタ処理が為され、｜ｉｎ｜＜＝ｔｈの場合には、図１２（ｄ）又は（ｅ）のフィルタ処理が為される。（ｄ）は処理中の画素位置の左上、右下にＧ信号が存在する場合のフィルタ処理係数であり、（ｅ）は処理中の画素の右上、左下にＧ信号が存在する場合のフィルタ係数である。色の変化が無い部分では、２×ｔｈ＜｜ｉｎ｜となり、Ｒ、Ｂ信号に対してローパスフィルタ処理の為されない高解像な信号が出力され、色の変化が有る部分では、｜ｉｎ｜＜＝ｔｈとなり、Ｒ，Ｂ信号に対してローパスフィルタ処理が為され、色エッジでの偽輝度信号が抑圧された信号が出力される。 That is, when 2 × th <| in |, the filtering process of FIG. 12A is performed, and when | in | <= th, the filtering process of FIG. 12D or 12E is performed. Done. (D) is a filter processing coefficient when the G signal is present at the upper left and lower right of the pixel position being processed, and (e) is a filter coefficient when the G signal is present at the upper right and lower left of the pixel being processed. It is. In a portion where there is no color change, 2 × th <| in |, and a high-resolution signal that is not subjected to low-pass filter processing is output for the R and B signals. In a portion where there is a color change, | in | <= Th, and low-pass filter processing is performed on the R and B signals, and a signal in which the false luminance signal at the color edge is suppressed is output.

以上の動作により、図９の方法では、色の変化が無い部分では縦２×横２のレッド、グリーン、ブルー信号の加算により輝度信号を生成し、色の変化のある部分では、偽信号の原因となっているＲ，Ｂ信号について、縦４×横４の範囲での適応ローパスフィルタ処理を行うことにより偽信号の発生を抑えている。 With the above operation, in the method shown in FIG. 9, a luminance signal is generated by adding 2 × 2 red, green, and blue signals in a portion where there is no color change, and a false signal is generated in a portion where there is a color change. Generation of false signals is suppressed by performing adaptive low-pass filter processing in the range of 4 × 4 for the R and B signals that are the cause.

この方法は、色の変化の無い部分では、ＲＧＢ信号全て使用するため、斜め方向にも高解像な画像を得ることが出来る。
特開２０００−１６５８９２号公報特開２０００−１６５８９３号公報 Since this method uses all RGB signals in a portion where there is no color change, a high-resolution image can be obtained even in an oblique direction.
Japanese Unexamined Patent Publication No. 2000-165892 JP 2000-165893 A

しかし、図９の方法では、特に、レンズの色収差が大きい場合に、被写体には色の変化が無いにも関わらす、色収差により色の変化が発生してしまい、ローパスフィルタ処理が為されるために解像度が劣化してしまうという課題があった。 However, in the method of FIG. 9, particularly when the chromatic aberration of the lens is large, although the subject has no color change, the color change occurs due to the chromatic aberration, and low-pass filter processing is performed. However, there was a problem that the resolution deteriorated.

これらの課題を解決するために、本発明の画像信号処理装置は、撮像素子と、輝度信号生成手段と、水平アパーチャ補正手段と、垂直アパーチャ補正手段と、斜めアパーチャ補正手段と、加算手段と、を備える。 In order to solve these problems, an image signal processing apparatus of the present invention includes an imaging device, a luminance signal generation unit, a horizontal aperture correction unit, a vertical aperture correction unit, an oblique aperture correction unit, an addition unit, Is provided.

ここで、撮像素子は、原色ベイヤ−配列のフィルタを備え、フィルタを透過した被写体の光学的信号であるグリーン信号、レッド信号およびブルー信号をそれぞれ光電変換して出力信号を生成する。輝度信号生成手段は、被写体のグリーン信号、レッド信号およびブルー信号に対応する撮像素子の出力信号から輝度信号を生成する。水平アパーチャ補正手段は、被写体のグリーン信号に対応する撮像素子の出力信号に対して、水平方向のハイパスフィルタ処理又は水平方向のバンドパスフィルタ処理を含む処理を施して水平補正信号を生成する。垂直アパーチャ補正手段は、被写体のグリーン信号に対応する撮像素子の出力信号に対して、垂直方向のハイパスフィルタ処理又は垂直方向のバンドパスフィルタ処理を含む処理を施して垂直補正信号を生成する。斜めアパーチャ補正手段は、被写体のグリーン信号、レッド信号およびブルー信号に対応する撮像素子の出力信号に対して、斜め方向のハイパスフィルタ処理又は斜め方向のバンドバスフィルタ処理を含む処理を施して斜め補正信号を生成する。加算手段は、輝度信号に、水平補正信号と、垂直補正信号と、斜め補正信号とを加算する。 Here, the imaging device includes a primary color Bayer array filter, and generates an output signal by photoelectrically converting a green signal, a red signal, and a blue signal, which are optical signals of a subject that has passed through the filter. The luminance signal generation unit generates a luminance signal from the output signal of the image sensor corresponding to the green signal, red signal, and blue signal of the subject. The horizontal aperture correction means generates a horizontal correction signal by performing processing including horizontal high-pass filter processing or horizontal band-pass filter processing on the output signal of the image sensor corresponding to the green signal of the subject. The vertical aperture correction unit performs processing including vertical high-pass filter processing or vertical band-pass filter processing on the output signal of the image sensor corresponding to the green signal of the subject to generate a vertical correction signal. The diagonal aperture correction means performs diagonal correction on the output signal of the image sensor corresponding to the green signal, red signal, and blue signal of the subject by performing processing including diagonal high-pass filter processing or diagonal band-pass filter processing. Generate a signal. The adding means adds the horizontal correction signal, the vertical correction signal, and the oblique correction signal to the luminance signal.

また、本発明の画像信号処理装置は、フィルタを備え、被写体の光学的信号を光電変換して出力信号を生成する撮像素子と、撮像素子の出力信号から輝度信号を生成する輝度信号生成手段と、撮像素子の出力信号に対して、斜め方向のハイパスフィルタ処理又は斜め方向のバンドバスフィルタ処理を含む処理を施して斜め補正信号を生成する斜めアパーチャ補正手段と、輝度信号に、斜め補正信号を加算する加算手段と、を備える。 The image signal processing apparatus according to the present invention includes a filter, an image sensor that photoelectrically converts an optical signal of a subject to generate an output signal, and a luminance signal generation unit that generates a luminance signal from the output signal of the image sensor. , An oblique aperture correction unit that generates an oblique correction signal by performing processing including oblique high-pass filter processing or oblique bandpass filter processing on the output signal of the image sensor, and an oblique correction signal for the luminance signal. Adding means for adding.

本発明の画像信号処理装置及び画像信号処理方法は、色収差の影響が少なくなるように、補正の方向に応じて輝度の高周波成分の生成方法を変えるため、色収差による解像度劣化を最小に抑えつつ、偽信号の発生の少ない高解像な画像を得ることが出来る。 Since the image signal processing apparatus and the image signal processing method of the present invention change the generation method of the high frequency component of the luminance according to the correction direction so that the influence of the chromatic aberration is reduced, the resolution degradation due to the chromatic aberration is minimized, A high-resolution image with less generation of false signals can be obtained.

以下、本発明の実施の形態について、図を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は本発明の画像信号処理装置の実施例を示し、図１において、１０は撮像素子、１１はＡ／Ｄ変換手段である。撮像素子１０は表面に図２に示す配列の原色ベイヤー配列色フィルタを備えており、フィルタの色に応じたレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の色信号を水平１ラインづつ出力する。 FIG. 1 shows an embodiment of an image signal processing apparatus according to the present invention. In FIG. 1, 10 is an image sensor and 11 is an A / D conversion means. The image pickup device 10 has a primary color Bayer array color filter having the arrangement shown in FIG. 2 on the surface, and color signals of red (R), green (G), and blue (B) corresponding to the color of the filter are arranged in one horizontal line. Output.

また、１２は適応フィルタ手段であり、輝度信号生成手段を構成する。また、１３はＧ信号抽出手段、１４はローパスフィルタ手段である。また、１５は水平方向ハイパスフィルタ手段、１８はゲイン調整手段であり、水平方向アパーチャ補正手段を構成する。また、１６は垂直方向ハイパスフィルタ手段、１９はゲイン調整手段であり、垂直方向アパーチャ補正手段を構成する。また、１７は斜め方向ハイパスフィルタ手段、２０はゲイン調整手段であり、斜め方向アパーチャ補正手段を構成する。
また、図１において２１，２２は加算手段、２３は輝度信号出力端子である。 Reference numeral 12 denotes adaptive filter means, which constitutes a luminance signal generation means. Reference numeral 13 denotes a G signal extraction means, and reference numeral 14 denotes a low-pass filter means. Further, 15 is a horizontal high-pass filter means, and 18 is a gain adjusting means, which constitutes a horizontal aperture correcting means. Reference numeral 16 denotes a vertical high-pass filter unit, and reference numeral 19 denotes a gain adjustment unit, which constitutes a vertical aperture correction unit. Reference numeral 17 denotes an oblique direction high-pass filter means, and reference numeral 20 denotes a gain adjustment means, which constitutes an oblique direction aperture correction means.
In FIG. 1, 21 and 22 are addition means, and 23 is a luminance signal output terminal.

以上のように構成された画像信号処理装置について、以下、その動作を述べる。 The operation of the image signal processing apparatus configured as described above will be described below.

撮像素子１０の出力信号はＡ／Ｄ変換器２にてデジタル化され、適応フィルタ手段１２及びＧ信号抽出手段１２に入力される。 The output signal of the image sensor 10 is digitized by the A / D converter 2 and input to the adaptive filter means 12 and the G signal extraction means 12.

適応フィルタ手段１２は、図９で示した従来例と同様の構成になっており、ＲＧＢ全ての信号を用いた輝度信号が生成され、出力される。 The adaptive filter means 12 has the same configuration as that of the conventional example shown in FIG. 9, and a luminance signal using all RGB signals is generated and output.

Ｇ信号抽出手段１３では、入力されたＲＧＢ信号のうち、Ｇ信号以外を０で置き換えて、ローパスフィルタ手段１４へ出力する。 The G signal extraction means 13 replaces the input RGB signals other than the G signal with 0, and outputs them to the low-pass filter means 14.

ローパスフィルタ手段１４は入力された画素信号のうち、縦２×横２画素の範囲の信号の加算平均値を演算し、出力する。 The low-pass filter unit 14 calculates and outputs an addition average value of signals in a range of 2 × 2 pixels among the input pixel signals.

図３は、ローパスフィルタ手段１４の出力において、ＣＣＤ出力信号に対して為されているフィルタ処理の係数を示した図である。処理中の画素位置の右上、左下の画素がＧ信号の場合は（ａ）、処理中の画素位置の左上、右下の画素がＧ信号の場合は（ｂ）のフィルタ処理が為される。 FIG. 3 is a diagram showing filter processing coefficients performed on the CCD output signal at the output of the low-pass filter means 14. When the pixel at the upper right and lower left of the pixel position being processed is a G signal (a), the filter processing of (b) is performed when the pixel at the upper left and lower right of the pixel position being processed is a G signal.

ローパスフィルタ手段１４の出力は、水平ハイパスフィルタ手段１５、垂直ハイパスフィルタ手段１６へ入力される。従って、水平ハイパスフィルタ手段１５および垂直ハイパスフィルタ手段１６は、Ｇ信号に対してのみ処理をする。このように被写体の光学信号のうち単色（グリーン）についてのみ処理するため、撮像素子１０上での色収差の影響をなくすことができる。 The output of the low-pass filter unit 14 is input to the horizontal high-pass filter unit 15 and the vertical high-pass filter unit 16. Accordingly, the horizontal high-pass filter unit 15 and the vertical high-pass filter unit 16 process only the G signal. Since only the single color (green) of the optical signal of the subject is processed in this way, the influence of chromatic aberration on the image sensor 10 can be eliminated.

一方、斜め方向については、適応フィルタ１２からの出力信号（ＲＧＢ全ての信号）を用いて高周波成分を生成する。斜め方向についてＧ信号のみを用いて高周波成分を生成すると、水平・垂直方向と同様に色収差による解像度の劣化は抑制できる。しかし、フィルタにはＧ信号の画素が全く存在しない斜めの列とＧ信号ばかりの列が交互に出現することとなるため、高周波成分の解像度は逆に劣化してしまうことになる。そこで、斜め方向については、ＲＧＢ全ての信号を用いて高周波成分を生成することとした。 On the other hand, in the oblique direction, high-frequency components are generated using output signals (all RGB signals) from the adaptive filter 12. When a high frequency component is generated using only the G signal in the oblique direction, degradation of resolution due to chromatic aberration can be suppressed as in the horizontal and vertical directions. However, since the diagonal columns in which no G signal pixels are present and the G signal-only columns appear alternately in the filter, the resolution of the high frequency components is deteriorated. Therefore, in the oblique direction, high-frequency components are generated using all RGB signals.

図４は、水平ハイパスフィルタ手段１５において、入力信号に対して為されるフィルタ処理のタップ係数を示した図である。また、図５は垂直方向ハイパスフィルタ手段１６において、入力信号に対して為されるフィルタ処理のタップ係数を示した図である。それぞれのフィルタ処理により、水平方向、垂直方向の高周波成分が抜き出されて出力される。 FIG. 4 is a diagram showing tap coefficients of filter processing performed on the input signal in the horizontal high-pass filter means 15. FIG. 5 is a diagram showing tap coefficients of filter processing performed on the input signal in the vertical high-pass filter means 16. By the respective filter processes, high frequency components in the horizontal direction and the vertical direction are extracted and output.

図６は斜め方向ハイパスフィルタ手段１７において、入力信号に対して為されるフィルタ処理のタップ係数を示した図である。図６のフィルタ処理により、斜め方向の高周波成分が抜き出されて出力される。 FIG. 6 is a diagram showing tap coefficients of filter processing performed on the input signal in the oblique high-pass filter means 17. The high-frequency component in the oblique direction is extracted and output by the filter processing of FIG.

水平方向ハイパスフィルタ手段１５、垂直方向ハイパスフィルタ手段１６、斜め方向ハイパスフィルタ手段１７の出力信号は、それぞれゲイン調整手段１８、１９、２０において、個別にゲイン調整された後、適応フィルタ手段１２の出力信号に加算され、輝度信号出力端子２３へ出力される。 The output signals of the horizontal high-pass filter unit 15, the vertical high-pass filter unit 16, and the oblique high-pass filter unit 17 are individually gain-adjusted by the gain adjusting units 18, 19, and 20, and then output from the adaptive filter unit 12. The signal is added to the signal and output to the luminance signal output terminal 23.

図７は、水平方向ハイパスフィルタ手段１５、垂直方向ハイパスフィルタ手段１６、斜め方向ハイパスフィルタ手段１７で抜き出される周波数領域を２次元周波数平面上に示した模式図である。破線で示した横軸は水平方向周波数、縦軸は垂直方向周波数、横軸と縦軸の交点が直流成分を示している。領域１は水平ハイパスフィルタ手段１５、領域２は垂直ハイパスフィルタ手段１６、領域３は斜め方向ハイパスフィルタ手段１７により抜き出される周波数成分である。 FIG. 7 is a schematic diagram showing a frequency region extracted by the horizontal high-pass filter unit 15, the vertical high-pass filter unit 16, and the oblique high-pass filter unit 17 on a two-dimensional frequency plane. A horizontal axis indicated by a broken line indicates a horizontal frequency, a vertical axis indicates a vertical frequency, and an intersection of the horizontal axis and the vertical axis indicates a DC component. Region 1 is a horizontal high-pass filter means 15, region 2 is a frequency component extracted by a vertical high-pass filter means 16, and region 3 is a frequency component extracted by an oblique high-pass filter means 17.

それぞれ別々の方向の周波数成分を抜き出す構成になっており、全てを加算することで、全ての方向についてバランスの取れた高周波成分を得ることが可能である。 The frequency components in different directions are extracted, and by adding all the components, it is possible to obtain balanced high-frequency components in all directions.

以上の構成により、水平方向、垂直方向の高周波成分は、Ｇ信号のみを用いて生成出来るので、水平、垂直方向については色収差による解像度劣化の少ない信号を得ることが出来る。一方、斜め方向については、ＲＧＢ全ての信号を用いて生成出来るので、斜め方向に解像度の高い信号を得ることが出来る。 With the above configuration, high-frequency components in the horizontal direction and the vertical direction can be generated using only the G signal, so that a signal with little resolution degradation due to chromatic aberration can be obtained in the horizontal and vertical directions. On the other hand, since an oblique direction can be generated using all RGB signals, a signal with high resolution can be obtained in the oblique direction.

また、垂直方向、水平方向、斜め方向それぞれ独立してゲイン調整が可能であるため、周波数特性の調整の自由度が高く、より自由な画作りが可能となる。 Further, since gain adjustment is possible independently for each of the vertical direction, the horizontal direction, and the diagonal direction, the degree of freedom in adjusting the frequency characteristics is high, and more free image creation is possible.

なお、本実施例においては、ＲＧＢ全て使用して輝度信号を生成する手段として、図９に示した適応フィルタ手段を用いたが、例えば処理中の画素位置の周辺の縦４ｘ横４画素程度に、図８に示すような係数の加重平均演算即ちローパスフィルタ処理を行って生成してもよい。その場合、色エッジ部で多少のノイズが発生するが、処理が容易なため、ローコスト又は高速な処理が可能になる。 In this embodiment, the adaptive filter means shown in FIG. 9 is used as a means for generating a luminance signal using all of RGB. For example, the adaptive filter means shown in FIG. 9 is about 4 × 4 pixels around the pixel position being processed. 8 may be generated by performing a weighted average calculation of coefficients as shown in FIG. 8, that is, low-pass filter processing. In this case, some noise is generated at the color edge portion, but since the processing is easy, low-cost or high-speed processing becomes possible.

また、本実施例においては、Ｇ信号のみを使用して生成するアパーチャ補正信号生成手段の入力信号を、図３に示す様な、処理中の画素位置周辺の縦２×横２画素内のＧ信号の加算平均により生成したが、Ｇ信号の相関を見てＧ信号が無い位置の内挿演算を行って生成しても良い。その場合は、特に水平・垂直方向に解像度の高い信号が得られる。 Further, in this embodiment, the input signal of the aperture correction signal generating means generated using only the G signal is used as the G in 2 × 2 horizontal pixels around the pixel position being processed as shown in FIG. The signal is generated by averaging the signals, but may be generated by performing an interpolation operation at a position where there is no G signal in view of the correlation of the G signal. In that case, a signal with high resolution can be obtained particularly in the horizontal and vertical directions.

本発明の画像信号処理装置及び画像信号処理方法は、色収差による解像度劣化を最小に抑えつつ、偽信号の発生の少ない高解像な画像を得ることが出来るので、高解像度のデジタルカメラ等に適用できる。 The image signal processing apparatus and the image signal processing method of the present invention can obtain a high-resolution image with few false signals while minimizing resolution degradation due to chromatic aberration, and therefore can be applied to a high-resolution digital camera or the like. it can.

本発明にの実施の形態における画像信号処理装置の構成を示すブロック図The block diagram which shows the structure of the image signal processing apparatus in embodiment of this invention 本発明にの実施の形態における撮像素子１０が備える色フィルタ配列を示す図The figure which shows the color filter arrangement | sequence with which the image pick-up element 10 in embodiment of this invention is provided. 本発明にの実施の形態におけるローパスフィルタ手段１４において為されているフィルタ処理のタップ係数を示す図The figure which shows the tap coefficient of the filter process currently performed in the low-pass filter means 14 in embodiment of this invention 本発明にの実施の形態における水平方向ハイパスフィルタ手段１５において為されるフィルタ処理のタップ係数を示す図The figure which shows the tap coefficient of the filter process performed in the horizontal high pass filter means 15 in embodiment of this invention. 本発明にの実施の形態における垂直方向ハイパスフィルタ手段１６において為されるフィルタ処理のタップ係数を示す図The figure which shows the tap coefficient of the filter process performed in the vertical high pass filter means 16 in embodiment of this invention. 本発明にの実施の形態における斜め方向ハイパスフィルタ手段１７において為されるフィルタ処理のタップ係数を示す図The figure which shows the tap coefficient of the filter process performed in the diagonal high-pass filter means 17 in embodiment of this invention 本発明にの実施の形態における水平方向ハイパスフィルタ手段１５、垂直方向ハイパスフィルタ手段１６、斜め方向ハイパスフィルタ手段１７で抜き出される周波数領域を２次元周波数平面上に大凡示した図The figure which roughly showed the frequency area | region extracted by the horizontal high-pass filter means 15, the vertical high-pass filter means 16, and the diagonal high-pass filter means 17 in embodiment of this invention on a two-dimensional frequency plane. 本発明にの実施の形態における輝度信号生成手段のフィルタ処理のタップ係数の別の例を示した図The figure which showed another example of the tap coefficient of the filter process of the luminance signal generation means in embodiment of this invention 従来の画像信号処理装置の構成を示すブロック図The block diagram which shows the structure of the conventional image signal processing apparatus 従来の画像信号処理装置の輝度変化検出手段３１におけるフィルタ処理のタップ係数を示す図The figure which shows the tap coefficient of the filter process in the brightness | luminance change detection means 31 of the conventional image signal processing apparatus. 従来の画像信号処理装置の色変化検出手段３２におけるフィルタ処理のタップ係数を示す図The figure which shows the tap coefficient of the filter process in the color change detection means 32 of the conventional image signal processing apparatus. 従来の画像信号処理装置のにおけるフィルタ処理のタップ係数を示す図The figure which shows the tap coefficient of the filter process in the conventional image signal processing apparatus

符号の説明Explanation of symbols

１０撮像素子
１１Ａ／Ｄ変換手段
１２適応フィルタ手段
１３Ｇ信号抽出手段
１４ローパスフィルタ手段
１５水平方向ハイパスフィルタ手段
１６垂直方向ハイパスフィルタ手段
１７斜め方向ハイパスフィルタ手段
１８，１９，２０ゲイン調整手段
２１、２２加算手段
２３輝度信号出力端子 DESCRIPTION OF SYMBOLS 10 Image pick-up element 11 A / D conversion means 12 Adaptive filter means 13 G signal extraction means 14 Low pass filter means 15 Horizontal high pass filter means 16 Vertical high pass filter means 17 Diagonal high pass filter means 18, 19, 20 Gain adjustment means 21, 22 Adding means 23 Luminance signal output terminal

Claims

原色ベイヤ−配列のフィルタを備え、前記フィルタを透過した被写体の光学的信号であるグリーン信号、レッド信号およびブルー信号をそれぞれ光電変換して出力信号を生成する撮像素子と、
前記被写体のグリーン信号、レッド信号およびブルー信号に対応する前記撮像素子の出力信号から輝度信号を生成する輝度信号生成手段と、
前記被写体のグリーン信号に対応する前記撮像素子の出力信号に対して、水平方向のハイパスフィルタ処理又は水平方向のバンドパスフィルタ処理を含む処理を施して水平補正信号を生成する水平アパーチャ補正手段と、
前記被写体のグリーン信号に対応する前記撮像素子の出力信号に対して、垂直方向のハイパスフィルタ処理又は垂直方向のバンドパスフィルタ処理を含む処理を施して垂直補正信号を生成する垂直アパーチャ補正手段と、
前記被写体のグリーン信号、レッド信号およびブルー信号に対応する前記撮像素子の出力信号に対して、斜め方向のハイパスフィルタ処理又は斜め方向のバンドパスフィルタ処理を含む処理を施して斜め補正信号を生成する斜めアパーチャ補正手段と、
前記輝度信号に、前記水平補正信号と、前記垂直補正信号と、前記斜め補正信号とを加算する加算手段と、
を備える画像信号処理装置。 An image sensor comprising a primary color Bayer array filter, and photoelectrically converting green signals, red signals, and blue signals, which are optical signals of a subject that has passed through the filter, to generate output signals;
A luminance signal generating means for generating a luminance signal from the output signal of the image sensor corresponding to the green signal, red signal and blue signal of the subject;
Horizontal aperture correction means for generating a horizontal correction signal by performing processing including horizontal high-pass filter processing or horizontal band-pass filter processing on the output signal of the image sensor corresponding to the green signal of the subject;
Vertical aperture correction means for generating a vertical correction signal by performing processing including vertical high-pass filter processing or vertical band-pass filter processing on the output signal of the image sensor corresponding to the green signal of the subject;
An oblique correction signal is generated by subjecting an output signal of the image sensor corresponding to the green signal, red signal, and blue signal of the subject to processing including oblique high-pass filter processing or oblique band- pass filter processing. Oblique aperture correction means;
Adding means for adding the horizontal correction signal, the vertical correction signal, and the oblique correction signal to the luminance signal;
An image signal processing apparatus comprising:

原色ベイヤ−配列のフィルタを備える撮像素子が、前記フィルタを透過した被写体の光学的信号であるグリーン信号、レッド信号およびブルー信号をそれぞれ光電変換して出力信号を生成する第１のステップと、
前記被写体のグリーン信号、レッド信号およびブルー信号に対応する前記撮像素子の出力信号から輝度信号を生成する第２のステップと、
前記被写体のグリーン信号に対応する前記撮像素子の出力信号に対して、水平方向のハイパスフィルタ処理又は水平方向のバンドパスフィルタ処理を含む処理を施して水平補正信号を生成する第３のステップと、
前記被写体のグリーン信号に対応する前記撮像素子の出力信号に対して、垂直方向のハイパスフィルタ処理又は垂直方向のバンドパスフィルタ処理を含む処理を施して垂直補正信号を生成する第４のステップと、
前記被写体のグリーン信号、レッド信号およびブルー信号に対応する前記撮像素子の出力信号に対して、斜め方向のハイパスフィルタ処理又は斜め方向のバンドパスフィルタ処理を含む処理を施して斜め補正信号を生成する第５のステップと、
前記輝度信号に、前記水平補正信号と、前記垂直補正信号と、前記斜め補正信号とを加算する第６のステップと、
を備える画像信号処理方法。 A first step in which an image pickup device including a primary color Bayer array filter photoelectrically converts a green signal, a red signal, and a blue signal, which are optical signals of a subject that has passed through the filter, to generate an output signal;
A second step of generating a luminance signal from the output signal of the image sensor corresponding to the green signal, red signal and blue signal of the subject;
A third step of generating a horizontal correction signal by performing a process including a horizontal high-pass filter process or a horizontal band-pass filter process on the output signal of the image sensor corresponding to the green signal of the subject;
A fourth step of generating a vertical correction signal by performing a process including a vertical high-pass filter process or a vertical band-pass filter process on the output signal of the image sensor corresponding to the green signal of the subject;
An oblique correction signal is generated by subjecting an output signal of the image sensor corresponding to the green signal, red signal, and blue signal of the subject to processing including oblique high-pass filter processing or oblique band- pass filter processing. A fifth step;
A sixth step of adding the horizontal correction signal, the vertical correction signal, and the oblique correction signal to the luminance signal;
An image signal processing method comprising: