JP6083678B2

JP6083678B2 - Image processing device

Info

Publication number: JP6083678B2
Application number: JP2014025591A
Authority: JP
Inventors: 克幸福井
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2013-12-25
Filing date: 2014-02-13
Publication date: 2017-02-22
Anticipated expiration: 2034-02-13
Also published as: CN104754314B; JP2015144401A; CN104754314A; US20150178947A1; US9092882B2

Description

本開示は、画像信号に対して色補正処理を行う色補正部を備えた画像処理装置に関する。 The present disclosure relates to an image processing apparatus including a color correction unit that performs color correction processing on an image signal.

特許文献１では、カメラなどの画像処理装置において、画像の色を補正する方法が開示されている。この方法によれば、サブサンプリングされた低周波画像に対して色変換を実行することで、少ない回路規模で、色補正前と遜色ない解像度を有する色補正した画像を提供することができる。また、画素数の多い画像の信号処理では、処理速度が間に合わないとき並列処理が行われ、２並列であれば回路は２倍、４並列であれば回路は４倍になる。これに対して、特許文献１では、４画素のうち１画素だけ色補正を行うことによって回路を１つだけで済ませる方法が開示されている。 Patent Document 1 discloses a method for correcting the color of an image in an image processing apparatus such as a camera. According to this method, by performing color conversion on the sub-sampled low-frequency image, it is possible to provide a color-corrected image having a resolution comparable to that before color correction with a small circuit scale. In the signal processing of an image having a large number of pixels, parallel processing is performed when the processing speed is not in time, and the circuit is doubled when there are two parallels, and the circuit is quadrupled when there are four parallels. On the other hand, Patent Document 1 discloses a method in which only one circuit is required by performing color correction on only one of the four pixels.

特開２００４−０７４７９３号公報JP 2004-074793 A

本開示は、画素数が多い画像であっても、少ない回路規模で色補正できる画像処理装置を提供する。 The present disclosure provides an image processing apparatus capable of performing color correction with a small circuit scale even for an image having a large number of pixels.

本開示における画像処理装置は、画像信号に対して、隣接する複数個の画素からなる画素群を単位として色補正処理を行う色補正部を備え、色補正部は、画素群の画素位置から外れた位置に仮想的に置かれた代表点について、当該代表点の周辺画素の画像信号を基にして、所定色の画像信号を生成する代表点生成部と、画素群の中の所定色の画素の画像信号から、代表点の画像信号を減算する減算部と、代表点の画像信号に対して、色補正処理を行う代表点色補正部と、代表点色補正部による処理後の代表点の画像信号を、減算部の減算結果に加算する加算部と、を備える。 An image processing apparatus according to the present disclosure includes a color correction unit that performs color correction processing on an image signal in units of a pixel group including a plurality of adjacent pixels, and the color correction unit deviates from the pixel position of the pixel group. A representative point generating unit that generates an image signal of a predetermined color based on an image signal of a peripheral pixel of the representative point, and a pixel of a predetermined color in the pixel group. A subtraction unit that subtracts the image signal of the representative point from the image signal of the image, a representative point color correction unit that performs color correction processing on the image signal of the representative point, and a representative point after processing by the representative point color correction unit And an addition unit that adds the image signal to the subtraction result of the subtraction unit.

本開示における画像処理装置は、画素数が多い画像であっても、少ない回路規模で色補正を実現するのに有効である。 The image processing apparatus according to the present disclosure is effective for realizing color correction with a small circuit scale even for an image having a large number of pixels.

実施の形態１に係る色補正部の構成図Configuration of color correction unit according to Embodiment 1 実施の形態１における画素群の一例Example of pixel group in Embodiment 1 実施の形態１に係る画像処理装置の構成図Configuration diagram of image processing apparatus according to Embodiment 1 実施の形態１における画素群の他の例Other examples of pixel group in Embodiment 1 実施の形態２に係る色補正部の構成図Configuration diagram of color correction unit according to Embodiment 2 実施の形態２における画素群の一例Example of pixel group in Embodiment 2 実施の形態２に係る画像処理装置の構成図Configuration diagram of an image processing apparatus according to Embodiment 2 色補正処理の対象となる画素群の他の例Other examples of pixel groups subject to color correction processing 実施の形態３に係る色補正部の構成図Configuration diagram of color correction unit according to Embodiment 3 実施の形態３における画素群の一例Example of pixel group in Embodiment 3 実施の形態３に係る画像処理装置の構成図Configuration of an image processing apparatus according to Embodiment 3 （ａ）（ｂ）は代表点の画像信号の生成方法の例を示す図(A) and (b) are figures which show the example of the production | generation method of the image signal of a representative point. 実施の形態３に係る色補正部の他の構成図Another configuration diagram of the color correction unit according to the third embodiment

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。 Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions for substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art.

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。 The inventor provides the accompanying drawings and the following description in order for those skilled in the art to fully understand the present disclosure, and is not intended to limit the subject matter described in the claims. Absent.

なお、説明を簡潔にするため処理の遅延合わせについては省略して説明する。また、画像信号の光の３原色の赤をＲ、緑をＧ、青をＢとして表現する。 For the sake of brevity, processing delay adjustment will be omitted. Further, red of the three primary colors of the image signal is expressed as R, green as G, and blue as B.

また、本開示における色補正処理を行う目的は様々である。通常は、撮像した画像の色合いをより自然なものにするために、色補正処理が行われる。この他にも例えば、表示するモニタの特性に合わせて画像の色合いを調整するために色補正処理を行う場合もあるし、あるいは、意図的に特定の色合いに変更する場合もある。 In addition, there are various purposes for performing the color correction processing in the present disclosure. Usually, color correction processing is performed in order to make the color of a captured image more natural. In addition, for example, color correction processing may be performed in order to adjust the hue of the image in accordance with the characteristics of the monitor to be displayed, or the color may be intentionally changed to a specific hue.

（実施の形態１）
以下、図１〜図４を用いて、実施の形態１を説明する。実施の形態１では、画像信号を撮像する撮像素子が、Ｒ、Ｇ、Ｂについてそれぞれ、最終のサンプル位置と同じ位置の画素を有しているものとする。例えば、３板式のＣＭＯＳカメラが相当する。 (Embodiment 1)
Hereinafter, the first embodiment will be described with reference to FIGS. In the first embodiment, it is assumed that an imaging element that captures an image signal has pixels at the same positions as the final sample positions for R, G, and B, respectively. For example, a three-plate CMOS camera corresponds.

［１−１．構成］
図１は本実施の形態に係る色補正部１０の構成図である。色補正部１０は、隣接する４個の画素からなる画素群を単位として色補正処理を行うものであり、Ｇ信号の処理を行うＧチャネル処理部１１と、Ｂ信号の処理を行うＢチャネル処理部１２と、Ｒ信号の処理を行うＲチャネル処理部１３と、代表点色補正部１５とを備える。Ｇチャネル処理部１１は、Ｇの画像信号Ｇ１ｉｎ、Ｇ２ｉｎ、Ｇ３ｉｎ、Ｇ４ｉｎに対して色補正処理を行い、Ｇの画像信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔ、Ｇ３ｏｕｔ、Ｇ４ｏｕｔとして出力する。Ｂチャネル処理部１２は、Ｂの画像信号Ｂ１ｉｎ、Ｂ２ｉｎ、Ｂ３ｉｎ、Ｂ４ｉｎに対して色補正処理を行い、Ｂの画像信号Ｂ１ｏｕｔ、Ｂ２ｏｕｔ、Ｂ３ｏｕｔ、Ｂ４ｏｕｔとして出力する。Ｒチャネル処理部１３は、Ｒの画像信号Ｒ１ｉｎ、Ｒ２ｉｎ、Ｒ３ｉｎ、Ｒ４ｉｎに対して色補正処理を行い、Ｒの画像信号Ｒ１ｏｕｔ、Ｒ２ｏｕｔ、Ｒ３ｏｕｔ、Ｒ４ｏｕｔとして出力する。 [1-1. Constitution]
FIG. 1 is a configuration diagram of a color correction unit 10 according to the present embodiment. The color correction unit 10 performs color correction processing in units of groups of four adjacent pixels, and includes a G channel processing unit 11 that performs G signal processing and a B channel processing that performs B signal processing. Unit 12, an R channel processing unit 13 for processing an R signal, and a representative point color correcting unit 15. The G channel processing unit 11 performs color correction processing on the G image signals G1in, G2in, G3in, and G4in, and outputs them as G image signals G1out, G2out, G3out, and G4out. The B channel processing unit 12 performs color correction processing on the B image signals B1in, B2in, B3in, and B4in, and outputs the B image signals B1out, B2out, B3out, and B4out. The R channel processing unit 13 performs color correction processing on the R image signals R1in, R2in, R3in, and R4in, and outputs the R image signals R1out, R2out, R3out, and R4out.

代表点色補正部１５は、画素群の代表点の画像信号に対して所定の色補正処理を行う。ここで、代表点とは、画素群において、当該画素群の画素位置から外れた位置に仮想的に置かれた点のことであり、ここでは、隣接する４個の画素からなる画素群の中央に置く。代表点色補正部１５は、Ｇチャネル処理部１１から与えられた代表点のＧの画像信号ＧＡ、Ｂチャネル処理部１２から与えられた代表点のＢの画像信号ＢＡ、および、Ｒチャネル処理部１３から与えられた代表点のＲの画像信号ＲＡの３つの信号から、ルックアップテーブルを用いて、色補正された画像信号ＧＡＣ、ＢＡＣ、ＲＡＣを生成し、それぞれ、Ｇチャネル処理部１１、Ｂチャネル処理部１２、およびＲチャネル処理部１３に戻す。 The representative point color correction unit 15 performs a predetermined color correction process on the image signal of the representative point of the pixel group. Here, the representative point is a point virtually placed in a pixel group at a position deviating from the pixel position of the pixel group, and here, the center of a pixel group composed of four adjacent pixels. Put on. The representative point color correcting unit 15 includes a G image signal GA of the representative point given from the G channel processing unit 11, a B image signal BA of the representative point given from the B channel processing unit 12, and an R channel processing unit. Color-corrected image signals GAC, BAC, and RAC are generated from the three signals of the representative point R image signal RA given from 13 using a look-up table. Return to the channel processing unit 12 and the R channel processing unit 13.

図２は本実施形態における画素群と代表点の例を表す模式図である。図２では、２×２すなわち縦２画素、横２画素に配列された４個のＧの画素Ｇ１、Ｇ２、Ｇ３、Ｇ４によって画素群ＰＧ１が構成されており、画素群ＰＧ１の中央に代表点Ａが仮想的に置かれる。なお図２ではＧを例にとって示しているが、ＢおよびＲについても同様である。 FIG. 2 is a schematic diagram illustrating an example of a pixel group and representative points in the present embodiment. In FIG. 2, a pixel group PG1 is composed of 2 × 2, that is, four G pixels G1, G2, G3, and G4 arranged in two vertical pixels and two horizontal pixels, and a representative point is located at the center of the pixel group PG1. A is virtually placed. Although FIG. 2 shows G as an example, the same applies to B and R.

Ｇチャネル処理部１１は、代表点生成部１と、減算器２ａ、２ｂ、２ｃ、２ｄと、加算器３ａ、３ｂ、３ｃ、３ｄとを備えている。代表点生成部１は、代表点について、当該代表点の周辺画素の画像信号を基にして、Ｇの画像信号ＧＡを生成する。減算器２ａ、２ｂ、２ｃ、２ｄは、代表点生成部１で生成された代表点のＧの画像信号ＧＡを、色補正部１０に入力されたＧの画像信号Ｇ１ｉｎ、Ｇ２ｉｎ、Ｇ３ｉｎ、Ｇ４ｉｎからそれぞれ減算する。加算器３ａ、３ｂ、３ｃ、３ｄは、代表点色補正部１５により色補正された代表点の画像信号ＧＡＣを、減算器２ａ、２ｂ、２ｃ、２ｄの出力Ｇ１Ｄ、Ｇ２Ｄ、Ｇ３Ｄ、Ｇ４Ｄに、それぞれ加算する。加算器３ａ、３ｂ、３ｃ、３ｄの出力が、Ｇの画像信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔ、Ｇ３ｏｕｔ、Ｇ４ｏｕｔとしてＧチャネル処理部１１から出力される。 The G channel processing unit 11 includes a representative point generation unit 1, subtractors 2a, 2b, 2c, and 2d, and adders 3a, 3b, 3c, and 3d. The representative point generation unit 1 generates a G image signal GA for a representative point based on image signals of pixels around the representative point. The subtractors 2a, 2b, 2c, and 2d use the G image signal GA of the representative point generated by the representative point generation unit 1 from the G image signals G1in, G2in, G3in, and G4in input to the color correction unit 10, respectively. Subtract each. The adders 3a, 3b, 3c, and 3d output the representative point image signals GAC color-corrected by the representative point color correction unit 15 to the outputs G1D, G2D, G3D, and G4D of the subtractors 2a, 2b, 2c, and 2d, respectively. Add each. The outputs of the adders 3a, 3b, 3c, and 3d are output from the G channel processing unit 11 as G image signals G1out, G2out, G3out, and G4out.

なお、Ｂチャネル処理部１２およびＲチャネル処理部１３は、Ｇチャネル処理部１１と同様の内部構成を有し、図１では、Ｂチャネル処理部１２およびＲチャネル処理部１３の内部構成については図示を省略する。 The B channel processing unit 12 and the R channel processing unit 13 have the same internal configuration as that of the G channel processing unit 11, and in FIG. 1, the internal configurations of the B channel processing unit 12 and the R channel processing unit 13 are illustrated. Is omitted.

図３は本実施の形態に係る画像処理装置の構成例である。図３の画像処理装置１００は、図１の色補正部１０と、撮像素子を含む撮像部１０１、信号処理部１０２、信号処理部１０３、並べ替え部１０４および信号処理部１０５とを備える。 FIG. 3 is a configuration example of the image processing apparatus according to this embodiment. The image processing apparatus 100 in FIG. 3 includes the color correction unit 10 in FIG. 1, an imaging unit 101 including an imaging element, a signal processing unit 102, a signal processing unit 103, a rearrangement unit 104, and a signal processing unit 105.

［１−２．動作］
以上のように構成された色補正部１０と、色補正部１０を含む画像処理装置１００について、その動作を以下に説明する。ここでは、有効の画素数が水平３８４０画素、垂直２１６０画素である画像を生成する場合を例にとって説明する。この場合、画像処理装置１００は、いわゆる４Ｋカメラに相当する。 [1-2. Operation]
The operation of the color correction unit 10 configured as described above and the image processing apparatus 100 including the color correction unit 10 will be described below. Here, a case where an image having an effective number of pixels of horizontal 3840 pixels and vertical 2160 pixels is generated will be described as an example. In this case, the image processing apparatus 100 corresponds to a so-called 4K camera.

まず図３の画像処理装置１００において、撮像部１０１は、Ｒ、Ｇ、Ｂそれぞれの画素が各画素配置に配置されている撮像素子を有する。そして撮像部１０１から、Ｒ、Ｇ、Ｂそれぞれ４並列の画像信号が出力される。すなわち、Ｇ信号について画像信号Ｇ１、Ｇ２、Ｇ３、Ｇ４が出力され、Ｂ信号について画像信号Ｂ１、Ｂ２、Ｂ３、Ｂ４が出力され、Ｒ信号について画像信号Ｒ１、Ｒ２、Ｒ３、Ｒ４が出力される。画像信号を４並列で出力することによって、画素数が多い場合であっても、信号処理のクロック周波数を低くし、パイプライン処理の回路の無用な増大を防ぐことができ、その結果、電力が小さくなる。 First, in the image processing apparatus 100 of FIG. 3, the imaging unit 101 includes an imaging element in which R, G, and B pixels are arranged in each pixel arrangement. The imaging unit 101 outputs four parallel image signals for each of R, G, and B. That is, the image signals G1, G2, G3, and G4 are output for the G signal, the image signals B1, B2, B3, and B4 are output for the B signal, and the image signals R1, R2, R3, and R4 are output for the R signal. . By outputting four image signals in parallel, even when the number of pixels is large, it is possible to reduce the clock frequency of signal processing and prevent unnecessary increase in the pipeline processing circuit. Get smaller.

撮像部１０１から出力された画像信号は、信号処理部１０２によって、ホワイトバランスの調整や黒レベルの調整が行われる。信号処理部１０２から出力された画像信号は、色補正部１０によって所定の色補正処理が行われる。その後、信号処理部１０３によってノイズ除去などの処理が行われ、並べ替え部１０４によってフレームメモリを利用して画像を上下左右４つに分割し、それぞれ水平１９２０画素、垂直１０８０画素の画像信号を得る。図３では、並べ替え部１０４以降の信号に、ＵＬ（上左）、ＵＲ（上右）、ＤＬ（下左）、ＤＲ（下右）の文字を付している。この画像信号は、信号処理部１０５によって高域成分を持ち上げる周波数特性の調整などが行われ、輝度信号Ｙと色差信号Ｃに変換される。この結果、上下左右４つに分割された輝度信号Ｙと色差信号Ｃが得られる。 The image signal output from the imaging unit 101 is subjected to white balance adjustment and black level adjustment by the signal processing unit 102. The image signal output from the signal processing unit 102 is subjected to predetermined color correction processing by the color correction unit 10. Thereafter, processing such as noise removal is performed by the signal processing unit 103, and the rearrangement unit 104 uses the frame memory to divide the image into four parts, top, bottom, left, and right, and obtain image signals of horizontal 1920 pixels and vertical 1080 pixels, respectively. . In FIG. 3, UL (upper left), UR (upper right), DL (lower left), and DR (lower right) are attached to signals after the rearrangement unit 104. This image signal is converted into a luminance signal Y and a color difference signal C by adjusting the frequency characteristics for raising the high frequency component by the signal processing unit 105. As a result, a luminance signal Y and a color difference signal C divided into four parts, top, bottom, left and right, are obtained.

次に、色補正部１０の動作について説明する。ここでは、Ｇチャネル処理部１１によるＧの処理を例にとって説明するが、ＢおよびＲについても同様に処理される。 Next, the operation of the color correction unit 10 will be described. Here, G processing by the G channel processing unit 11 will be described as an example, but B and R are similarly processed.

まず、代表点生成部１は、代表点におけるＧの画像信号ＧＡを生成する。ここでは、色補正部１０に入力された４個のＧの画像信号Ｇ１ｉｎ、Ｇ２ｉｎ、Ｇ３ｉｎ、Ｇ４ｉｎの加算平均を行うことによって、代表点のＧの画像信号ＧＡを得る。代表点のＧの画像信号ＧＡは、代表点色補正部１５および減算器２ａ、２ｂ、２ｃ、２ｄに与えられる。なお、代表点における画像信号の生成方法はここで示したものに限られるものではない。例えば、色補正の対象となる画素群に含まれたＧの画像信号の一部を用いてもよいし、あるいは、色補正の対象となる画素群以外の画素のＧの画像信号を用いてもかまわない。また、加算平均以外の演算を用いてもかまわない。 First, the representative point generator 1 generates a G image signal GA at a representative point. Here, the G image signal GA of the representative point is obtained by performing averaging of the four G image signals G1in, G2in, G3in, and G4in input to the color correction unit 10. The G image signal GA of the representative point is given to the representative point color correction unit 15 and the subtracters 2a, 2b, 2c, and 2d. Note that the method of generating the image signal at the representative point is not limited to the one shown here. For example, a part of the G image signal included in the pixel group to be subjected to color correction may be used, or the G image signal of a pixel other than the pixel group to be subjected to color correction may be used. It doesn't matter. In addition, an operation other than the averaging may be used.

そして、減算器２ａ、２ｂ、２ｃ、２ｄは、色補正部１０に入力されたＧの画像信号Ｇ１ｉｎ、Ｇ２ｉｎ、Ｇ３ｉｎ、Ｇ４ｉｎから代表点のＧの画像信号ＧＡをそれぞれ減算して、差分信号Ｇ１Ｄ、Ｇ２Ｄ、Ｇ３Ｄ、Ｇ４Ｄを生成する。その一方で、代表点のＧの画像信号ＧＡは、同様に生成された画像信号ＢＡ、ＲＡとともに、代表点色補正部１５においてルックアップテーブルを用いた色の変換が行われ、色補正された画像信号ＧＡＣ、ＢＡＣ、ＲＡＣが生成される。 The subtracters 2a, 2b, 2c, and 2d subtract the G image signal GA of the representative point from the G image signals G1in, G2in, G3in, and G4in input to the color correction unit 10, respectively, and obtain a difference signal G1D. , G2D, G3D, and G4D are generated. On the other hand, the image signal GA of the representative point G is color-corrected by the color conversion using the lookup table in the representative point color correction unit 15 together with the similarly generated image signals BA and RA. Image signals GAC, BAC, and RAC are generated.

そして、加算器３ａ、３ｂ、３ｃ、３ｄは、減算器２ａ、２ｂ、２ｃ、２ｄから出力された差分信号Ｇ１Ｄ、Ｇ２Ｄ、Ｇ３Ｄ、Ｇ４Ｄに、代表点色補正部１５から出力された画像信号ＧＡＣをそれぞれ加算する。加算器３ａ、３ｂ、３ｃ、３ｄの出力が、色補正されたＧの画像信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔ、Ｇ３ｏｕｔ、Ｇ４ｏｕｔとして、Ｇチャネル処理部１１から出力される。 The adders 3a, 3b, 3c, and 3d receive the difference signals G1D, G2D, G3D, and G4D output from the subtracters 2a, 2b, 2c, and 2d, and the image signal GAC output from the representative point color correction unit 15. Are respectively added. The outputs of the adders 3a, 3b, 3c, and 3d are output from the G channel processing unit 11 as G image signals G1out, G2out, G3out, and G4out after color correction.

同様の動作によって、Ｂチャネル処理部１２によって色補正されたＢの画像信号Ｂ１ｏｕｔ、Ｂ２ｏｕｔ、Ｂ３ｏｕｔ、Ｂ４ｏｕｔが生成され、Ｒチャネル処理部１３によって色補正されたＲの画像信号Ｒ１ｏｕｔ、Ｒ２ｏｕｔ、Ｒ３ｏｕｔ、Ｒ４ｏｕｔが生成される。 By similar operations, B image signals B1out, B2out, B3out, and B4out that have been color-corrected by the B-channel processing unit 12 are generated, and R-image signals R1out, R2out, R3out, and the like that have been color-corrected by the R-channel processing unit 13. R4out is generated.

［１−３．効果等］
以上のように本実施の形態では、色補正部１０は、隣接する４個の画素からなる画素群を単位として色補正処理を行う。代表点生成部１は、画素群に仮想的に置かれた代表点について、例えばＧの画像信号を生成する。減算部２ａ、２ｂ、２ｃ、２ｄは、画素群のＧの画像信号から代表点のＧの画像信号を減算する。代表点色補正部１５は、代表点のＧの画像信号に対して色補正処理を行う。加算部３ａ、３ｂ、３ｃ、３ｄは、減算部２ａ、２ｂ、２ｃ、２ｄの出力に、色補正された代表点のＧの画像信号を加算する。 [1-3. Effect]
As described above, in the present embodiment, the color correction unit 10 performs color correction processing in units of a pixel group including four adjacent pixels. The representative point generation unit 1 generates, for example, a G image signal for a representative point virtually placed in the pixel group. The subtracting units 2a, 2b, 2c, and 2d subtract the G image signal of the representative point from the G image signal of the pixel group. The representative point color correction unit 15 performs color correction processing on the G image signal of the representative point. The adders 3a, 3b, 3c, and 3d add the G image signal of the representative point that has undergone color correction to the outputs of the subtractors 2a, 2b, 2c, and 2d.

このように、元の画素位置から外れた位置の代表点の画像信号を生成し、この代表点の画像信号に色補正を行い、画像信号の減算および加算を行うことによって、画像の色補正処理を行う。これにより、簡易な回路構成で色補正を実現することができる。すなわち、色補正の部分以外は、代表点の画像信号を簡易な演算で生成する回路と、信号の系統数に相当する個数の減算器および加算器を設けるだけでよい。したがって、画素数が多く並列処理を行う構成であっても、ほとんどの画像に対して大きな破綻がなく、少ない回路規模で色補正を実現することができる。 In this manner, an image signal of a representative point at a position deviating from the original pixel position is generated, color correction is performed on the image signal of the representative point, and subtraction and addition of the image signal are performed, thereby performing image color correction processing. I do. Thereby, color correction can be realized with a simple circuit configuration. That is, except for the color correction portion, it is only necessary to provide a circuit for generating an image signal of a representative point by a simple calculation, and the number of subtractors and adders corresponding to the number of signal systems. Therefore, even in a configuration in which the number of pixels is large and parallel processing is performed, color correction can be realized with a small circuit scale without causing a major failure for most images.

なお、本実施形態では、図２に示すような２×２の４個の画素からなる画素群ＰＧ１を単位として色補正処理を行うものとしたが、これに限られるものではない。例えば、図４に示すような横一列４個の画素を単位として撮像部１０１から画像信号が出力される場合は、この横一列４個の画素からなる画素群ＰＧ２を単位として色補正処理を行えばよい。この場合は例えば、画素Ｇ２と画素Ｇ３との間に代表点Ａを仮想的に置けばよい。 In the present embodiment, the color correction processing is performed in units of a pixel group PG1 composed of four 2 × 2 pixels as shown in FIG. 2, but the present invention is not limited to this. For example, when an image signal is output from the imaging unit 101 in units of four pixels in a horizontal row as shown in FIG. 4, color correction processing is performed in units of the pixel group PG2 composed of four pixels in a horizontal row. Just do it. In this case, for example, the representative point A may be virtually placed between the pixel G2 and the pixel G3.

（実施の形態２）
以下、図５〜図７を用いて、実施の形態２を説明する。実施の形態２は、実施の形態１と同様に、画像信号を撮像する撮像素子が、Ｒ、Ｇ、Ｂについてそれぞれ、最終のサンプル位置と同じ位置の画素を有する。また、実施の形態１では４並列の処理をしていたのに対して、実施の形態２では、実施の形態１より速い信号処理が可能であり、２並列の処理をする場合である。 (Embodiment 2)
Hereinafter, Embodiment 2 will be described with reference to FIGS. In the second embodiment, as in the first embodiment, the image pickup device that picks up an image signal has a pixel at the same position as the final sample position for each of R, G, and B. Further, in the first embodiment, four parallel processes are performed, whereas in the second embodiment, signal processing faster than that in the first embodiment is possible, and two parallel processes are performed.

［２−１．構成］
図５は本実施の形態に係る色補正部１０Ａの構成図である。色補正部１０Ａは、隣接する２個の画素からなる画素群を単位として色補正処理を行うものであり、Ｇの画像信号の処理を行うＧチャネル処理部１１Ａと、Ｂの画像信号の処理を行うＢチャネル処理部１２Ａと、Ｒの画像信号の処理を行うＲチャネル処理部１３Ａと、代表点色補正部１５とを備えている。Ｇチャネル処理部１１Ａは、Ｇの画像信号Ｇ１ｉｎ、Ｇ２ｉｎに対して色補正処理を行い、Ｇの画像信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔとして出力する。Ｂチャネル処理部１２Ａは、Ｂの画像信号Ｂ１ｉｎ、Ｂ２ｉｎに対して色補正処理を行い、Ｂの画像信号Ｂ１ｏｕｔ、Ｂ２ｏｕｔとして出力する。Ｒチャネル処理部１３Ａは、Ｒの画像信号Ｒ１ｉｎ、Ｒ２ｉｎに対して色補正処理を行い、Ｒの画像信号Ｒ１ｏｕｔ、Ｒ２ｏｕｔとして出力する。 [2-1. Constitution]
FIG. 5 is a configuration diagram of the color correction unit 10A according to the present embodiment. The color correction unit 10A performs color correction processing in units of a pixel group including two adjacent pixels. The color correction unit 10A performs G channel processing unit 11A for processing a G image signal and B image signal processing. A B channel processing unit 12A for performing processing, an R channel processing unit 13A for processing R image signals, and a representative point color correcting unit 15 are provided. The G channel processing unit 11A performs color correction processing on the G image signals G1in and G2in, and outputs them as G image signals G1out and G2out. The B channel processing unit 12A performs color correction processing on the B image signals B1in and B2in, and outputs them as B image signals B1out and B2out. The R channel processing unit 13A performs color correction processing on the R image signals R1in and R2in, and outputs the R image signals R1out and R2out.

代表点色補正部１５は、代表点の画像信号に対して所定の色補正処理を行うものであり、実施の形態１で示したものと構成及び機能は同様である。代表点色補正部１５は、Ｇチャネル処理部１１Ａから与えられた代表点のＧの画像信号ＧＡ、Ｂチャネル処理部１２Ａから与えられた代表点のＢの画像信号ＢＡ、および、Ｒチャネル処理部１３Ａから与えられた代表点のＲの画像信号ＲＡの３つの信号から、ルックアップテーブルを用いて、色補正された画像信号ＧＡＣ、ＢＡＣ、ＲＡＣを生成し、それぞれ、Ｇチャネル処理部１１Ａ、Ｂチャネル処理部１２Ａ、およびＲチャネル処理部１３Ａに戻す。 The representative point color correction unit 15 performs a predetermined color correction process on the image signal of the representative point, and has the same configuration and function as those described in the first embodiment. The representative point color correcting unit 15 includes a representative point G image signal GA given from the G channel processing unit 11A, a representative point B image signal BA given from the B channel processing unit 12A, and an R channel processing unit. Color-corrected image signals GAC, BAC, and RAC are generated from the three signals of the representative point R image signal RA given from 13A using a look-up table, and G channel processing units 11A and 11B are respectively generated. Return to the channel processing unit 12A and the R channel processing unit 13A.

図６は本実施形態における画素群と代表点の例を表す模式図である。図６では、１×２すなわち縦１画素、横２画素に配列された２個のＧの画素Ｇ１、Ｇ２によって画素群ＰＧ３が構成されており、画素群ＰＧ３の中央、すなわち２個のＧの画素Ｇ１、Ｇ２の間に代表点Ａが仮想的に置かれている。なお図６ではＧを例にとって示しているが、ＢおよびＲについても同様である。 FIG. 6 is a schematic diagram illustrating an example of a pixel group and representative points in the present embodiment. In FIG. 6, a pixel group PG3 is configured by 1 × 2, that is, two G pixels G1 and G2 arranged in one vertical pixel and two horizontal pixels, and the center of the pixel group PG3, that is, two G pixels. A representative point A is virtually placed between the pixels G1 and G2. Although FIG. 6 shows G as an example, the same applies to B and R.

Ｇチャネル処理部１１Ａは、代表点生成部１Ａと、減算器４ａ、４ｂと、加算器５ａ、５ｂとを備える。代表点生成部１Ａは、代表点について、当該代表点の周辺画素の画像信号を基にして、Ｇの画像信号ＧＡを生成する。減算器４ａ、４ｂは、代表点生成部１Ａで生成された代表点のＧの画像信号ＧＡを、色補正部１０に入力されたＧの画像信号Ｇ１ｉｎ、Ｇ２ｉｎからそれぞれ減算する。加算器５ａ、５ｂは、代表点色補正部１５により色補正された画像信号ＧＡＣを、減算器４ａ、４ｂの出力Ｇ１Ｄ、Ｇ２Ｄにそれぞれ加算する。加算器５ａ、５ｂの出力が、Ｇの画像信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔとしてＧチャネル処理部１１Ａから出力される。 The G channel processing unit 11A includes a representative point generation unit 1A, subtracters 4a and 4b, and adders 5a and 5b. The representative point generation unit 1A generates a G image signal GA for a representative point based on the image signals of pixels around the representative point. The subtractors 4a and 4b subtract the G image signal GA of the representative point generated by the representative point generation unit 1A from the G image signals G1in and G2in input to the color correction unit 10, respectively. The adders 5a and 5b add the image signal GAC color-corrected by the representative point color correction unit 15 to the outputs G1D and G2D of the subtractors 4a and 4b, respectively. The outputs of the adders 5a and 5b are output from the G channel processing unit 11A as G image signals G1out and G2out.

なお、Ｂチャネル処理部１２ＡおよびＲチャネル処理部１３Ａは、Ｇチャネル処理部１１Ａと同様の内部構成を有し、図５では、Ｂチャネル処理部１２ＡよびＲチャネル処理部１３Ａの内部構成については図示を省略する。 The B channel processing unit 12A and the R channel processing unit 13A have the same internal configuration as the G channel processing unit 11A. In FIG. 5, the internal configurations of the B channel processing unit 12A and the R channel processing unit 13A are illustrated. Is omitted.

図７は本実施の形態に係る画像処理装置の構成例である。図７の画像処理装置１１０は、図５の色補正部１０Ａと、撮像素子を含む撮像部１１１、信号処理部１１２、信号処理部１１３、並べ替え部１１４および信号処理部１１５とを備える。 FIG. 7 shows a configuration example of the image processing apparatus according to this embodiment. The image processing apparatus 110 in FIG. 7 includes the color correction unit 10A in FIG. 5, an imaging unit 111 including an imaging element, a signal processing unit 112, a signal processing unit 113, a rearrangement unit 114, and a signal processing unit 115.

［２−２．動作］
以上のように構成された色補正部１０Ａと、その色補正部１０Ａを含む画像処理装置１１０について、その動作を以下に説明する。ここでは、有効の画素数が水平３８４０画素、垂直２１６０画素である画像を生成する場合を例にとって説明する。この場合、画像処理装置１１０は、いわゆる４Ｋカメラに相当する。 [2-2. Operation]
The operation of the color correction unit 10A configured as described above and the image processing apparatus 110 including the color correction unit 10A will be described below. Here, a case where an image having an effective number of pixels of horizontal 3840 pixels and vertical 2160 pixels is generated will be described as an example. In this case, the image processing apparatus 110 corresponds to a so-called 4K camera.

まず図７の画像処理装置１１０において、撮像部１１１は、Ｒ、Ｇ、Ｂそれぞれの画素が各画素配置に配置されている撮像素子を有している。そして撮像部１１１から、Ｒ、Ｇ、Ｂそれぞれ２並列の画像信号が出力される。すなわち、Ｇ信号について画像信号Ｇ１、Ｇ２が出力され、Ｂ信号について画像信号Ｂ１、Ｂ２が出力され、Ｒ信号について画像信号Ｒ１、Ｒ２が出力される。画像信号を２並列で出力することによって、画素数が多い場合であっても、信号処理のクロック周波数を低くし、パイプライン処理の回路の無用な増大を防ぐことができ、その結果、電力が小さくなる。 First, in the image processing apparatus 110 of FIG. 7, the imaging unit 111 includes an imaging element in which R, G, and B pixels are arranged in each pixel arrangement. Then, two parallel image signals of R, G, and B are output from the imaging unit 111. That is, the image signals G1 and G2 are output for the G signal, the image signals B1 and B2 are output for the B signal, and the image signals R1 and R2 are output for the R signal. By outputting two image signals in parallel, even when the number of pixels is large, it is possible to reduce the clock frequency of signal processing and prevent unnecessary increase in the pipeline processing circuit. Get smaller.

撮像部１１１から出力された画像信号は、信号処理部１１２によって、ホワイトバランスの調整や黒レベルの調整が行われる。信号処理部１１２から出力された画像信号は、色補正部１０Ａによって所定の色補正処理が行われる。その後、信号処理部１１３によってノイズ除去などの処理が行われ、並べ替え部１１４によってフレームメモリを利用して画像を上下左右４つに分割し、それぞれ水平１９２０画素、垂直１０８０画素の画像信号を得る。この画像信号は、信号処理部１１５によって高域成分を持ち上げる周波数特性の調整などが行われ、輝度信号Ｙと色差信号Ｃに変換される。この結果、上下左右４つに分割された輝度信号Ｙと色差信号Ｃが得られる。ただし、実施の形態１と異なり、信号は２系統なので、例えば、４つに分割した並べ替え部１１４以降は、左の上下２つの画像信号を１クロックおきに混合した系統１（図７ではＬＬの文字を付している）、右の上下２つの画像信号を１クロックおきに混合した系統２（図７ではＲＲの文字を付している）として出力し、ＳＤカードなどのメディアに記録する部分に送られる。 The image signal output from the imaging unit 111 is subjected to white balance adjustment and black level adjustment by the signal processing unit 112. The image signal output from the signal processing unit 112 is subjected to predetermined color correction processing by the color correction unit 10A. Thereafter, processing such as noise removal is performed by the signal processing unit 113, and the rearrangement unit 114 divides the image into four upper, lower, left, and right using the frame memory to obtain image signals of horizontal 1920 pixels and vertical 1080 pixels, respectively. . This image signal is converted into a luminance signal Y and a color-difference signal C by adjusting frequency characteristics for raising a high frequency component by the signal processing unit 115. As a result, a luminance signal Y and a color difference signal C divided into four parts, top, bottom, left and right, are obtained. However, unlike the first embodiment, since the signals are two systems, for example, after the rearrangement unit 114 divided into four, the system 1 (LL in FIG. 7) is obtained by mixing the upper and lower left two image signals. Are output as system 2 (indicated by the RR character in FIG. 7) in which the two upper and lower right image signals are mixed every other clock, and recorded on a medium such as an SD card. Sent to the part.

次に、色補正部１０Ａの動作について説明する。ここでは、Ｇチャネル処理部１１ＡによるＧ信号の処理を例にとって説明するが、Ｂ信号およびＲ信号についても同様に処理される。 Next, the operation of the color correction unit 10A will be described. Here, the G signal processing by the G channel processing unit 11A will be described as an example, but the B signal and the R signal are similarly processed.

まず、代表点生成部１Ａは、代表点におけるＧの画像信号ＧＡを生成する。ここでは、色補正部１０Ａに入力された２個のＧの画像信号Ｇ１ｉｎ、Ｇ２ｉｎの加算平均を行うことによって、代表点のＧの画像信号ＧＡを得るものとする。代表点のＧの画像信号ＧＡは、代表点色補正部１５および減算器４ａ、４ｂに与えられる。なお、代表点における画像信号の生成方法はここで示したものに限られるものではない。例えば、色補正の対象となる画素群以外の画素のＧの画像信号を用いてもかまわない。また、加算平均以外の演算を用いてもかまわない。 First, the representative point generation unit 1A generates a G image signal GA at the representative point. Here, it is assumed that the G image signal GA of the representative point is obtained by averaging the two G image signals G1in and G2in input to the color correction unit 10A. The G image signal GA of the representative point is given to the representative point color correction unit 15 and the subtracters 4a and 4b. Note that the method of generating the image signal at the representative point is not limited to the one shown here. For example, G image signals of pixels other than the pixel group to be subjected to color correction may be used. In addition, an operation other than the averaging may be used.

そして、減算器４ａ、４ｂは、色補正部１０Ａに入力された２個のＧの画像信号Ｇ１ｉｎ、Ｇ２ｉｎから、代表点のＧの画像信号ＧＡをそれぞれ減算して、差分信号Ｇ１Ｄ、Ｇ２Ｄを生成する。その一方で、代表点のＧの画像信号ＧＡは、同様に生成された画像信号ＢＡ、ＲＡとともに、代表点色補正部１５においてルックアップテーブルを用いた色の変換が行われ、色補正された画像信号ＧＡＣ、ＢＡＣ、ＲＡＣが生成される。 Then, the subtracters 4a and 4b subtract the G image signal GA of the representative point from the two G image signals G1in and G2in input to the color correction unit 10A, respectively, to generate difference signals G1D and G2D. To do. On the other hand, the image signal GA of the representative point G is color-corrected by the color conversion using the lookup table in the representative point color correction unit 15 together with the similarly generated image signals BA and RA. Image signals GAC, BAC, and RAC are generated.

そして、加算器５ａ、５ｂは、減算器４ａ、４ｂから出力された差分信号Ｇ１Ｄ、Ｇ２Ｄに、画像信号ＧＡＣをそれぞれ加算する。加算器５ａ、５ｂの出力が、色補正されたＧの画像信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔとして、Ｇチャネル処理部１１Ａから出力される。 The adders 5a and 5b add the image signal GAC to the difference signals G1D and G2D output from the subtracters 4a and 4b, respectively. The outputs of the adders 5a and 5b are output from the G channel processing unit 11A as G image signals G1out and G2out after color correction.

同様の動作によって、Ｂチャネル処理部１２Ａによって色補正されたＢの画像信号Ｂ１ｏｕｔ、Ｂ２ｏｕｔが生成され、Ｒチャネル処理部１３Ａによって色補正されたＲの画像信号Ｒ１ｏｕｔ、Ｒ２ｏｕｔが生成される。 By similar operations, B image signals B1out and B2out color-corrected by the B channel processing unit 12A are generated, and R image signals R1out and R2out color-corrected by the R channel processing unit 13A are generated.

［２−３．効果等］
以上のように本実施の形態では、色補正部１０Ａは、隣接する２個の画素からなる画素群を単位として色補正処理を行う。代表点生成部１Ａは、画素群に仮想的に置かれた代表点について、例えばＧの画像信号を生成する。減算部４ａ、４ｂは、画素群のＧの画像信号から代表点のＧの画像信号を減算する。代表点色補正部１５は、代表点のＧの画像信号に対して色補正処理を行う。加算部５ａ、５ｂは、減算部４ａ、４ｂの出力に、色補正された代表点のＧの画像信号を加算する。 [2-3. Effect]
As described above, in the present embodiment, the color correction unit 10A performs the color correction process in units of pixel groups including two adjacent pixels. The representative point generation unit 1A generates, for example, a G image signal for a representative point virtually placed in the pixel group. The subtracting units 4a and 4b subtract the G image signal of the representative point from the G image signal of the pixel group. The representative point color correction unit 15 performs color correction processing on the G image signal of the representative point. The adders 5a and 5b add the G image signal of the representative point whose color has been corrected to the outputs of the subtractors 4a and 4b.

このように、元の画素位置から外れた位置の代表点の画像信号を生成し、この代表点の画像信号にのみ色補正を行い、画像信号の減算および加算を行うことによって、画像の色補正処理を行う。これにより、簡易な回路構成で色補正を実現することができる。したがって、画素数が多く並列処理を行う構成であっても、ほとんどの画像に対して大きな破綻がなく、少ない回路規模で色補正を実現することができる。 In this way, an image signal of a representative point at a position deviating from the original pixel position is generated, color correction is performed only on the image signal of this representative point, and image color correction is performed by performing subtraction and addition of the image signal. Process. Thereby, color correction can be realized with a simple circuit configuration. Therefore, even in a configuration in which the number of pixels is large and parallel processing is performed, color correction can be realized with a small circuit scale without causing a major failure for most images.

なお、実施の形態１では４個の画素からなる画素群を単位として色補正処理を行う例を示し、実施の形態２では２個の画素からなる画素群を単位として色補正処理を行う例を示したが、本開示において画素群を構成する画素の個数は、これらの例に限定されるものではない。例えば、図８に示すように、２×４すなわち縦２画素、横４画素からなる８個の画素からなる画素群ＰＧ４を単位として色補正処理を行う構成であっても、本開示は適用可能である。この場合には例えば、図８に示すように画素群ＰＧ４の中央に仮想的に代表点Ａを置けばよい。その他、２×３、４×４など他の構成の画素群であっても、本開示は適用可能である。 Note that the first embodiment shows an example in which color correction processing is performed in units of a pixel group composed of four pixels, and the second embodiment is an example in which color correction processing is performed in units of pixel groups composed of two pixels. Although shown, the number of pixels constituting the pixel group in the present disclosure is not limited to these examples. For example, as illustrated in FIG. 8, the present disclosure can be applied even in a configuration in which color correction processing is performed in units of a pixel group PG4 composed of 8 pixels including 2 × 4, that is, 2 vertical pixels and 4 horizontal pixels. It is. In this case, for example, a representative point A may be virtually placed in the center of the pixel group PG4 as shown in FIG. In addition, the present disclosure can be applied to pixel groups having other configurations such as 2 × 3 and 4 × 4.

（実施の形態３）
図９〜図１３を参照して、実施の形態３を説明する。実施の形態３では、画像信号を撮像する撮像素子が、ベイヤ型配列方式を採用する。 (Embodiment 3)
The third embodiment will be described with reference to FIGS. In the third embodiment, the image pickup device that picks up an image signal employs the Bayer type arrangement method.

［３−１．構成］
図９は本実施の形態に係る色補正部２０の構成図である。色補正部２０は、隣接する４個の画素からなる画素群を単位として色補正処理を行うものである。図１０に示すように、本実施形態では、画素群ＰＧ５は、２個のＧの画素と、１個のＢの画素と、１個のＲの画素とからなる。そして代表点は、画素群ＰＧ５の中心に仮想的に置く。 [3-1. Constitution]
FIG. 9 is a configuration diagram of the color correction unit 20 according to the present embodiment. The color correction unit 20 performs color correction processing in units of a pixel group composed of four adjacent pixels. As shown in FIG. 10, in the present embodiment, the pixel group PG5 includes two G pixels, one B pixel, and one R pixel. The representative point is virtually placed at the center of the pixel group PG5.

色補正部２０は、代表点生成部２１、２２、２３と、代表点色補正部１５と、減算器６ａ、６ｂ、６ｃ、６ｄと、加算器７ａ、７ｂ、７ｃ、７ｄとを備えている。代表点色補正部１５は、代表点の画像信号に対して所定の色補正処理を行うものであり、実施の形態１で示したものと構成及び機能は同様である。代表点色補正部１５は、代表点の画像信号ＧＡ、ＢＡ、ＲＡの３つの信号から、ルックアップテーブルを用いて、色補正された画像信号ＧＡＣ、ＢＡＣ、ＲＡＣを生成する。 The color correction unit 20 includes representative point generation units 21, 22, and 23, a representative point color correction unit 15, subtracters 6a, 6b, 6c, and 6d, and adders 7a, 7b, 7c, and 7d. . The representative point color correction unit 15 performs a predetermined color correction process on the image signal of the representative point, and has the same configuration and function as those described in the first embodiment. The representative point color correcting unit 15 generates color-corrected image signals GAC, BAC, and RAC from the three signals of the representative point image signals GA, BA, and RA using a lookup table.

代表点生成部２１は、代表点について、当該代表点の周辺画素の画像信号を基にして、Ｇの画像信号ＧＡを生成する。減算器６ａ、６ｂは、代表点生成部２１で生成された代表点のＧの画像信号ＧＡを、色補正部２０に入力されたＧの画像信号Ｇ１ｉｎ、Ｇ２ｉｎからそれぞれ減算する。加算器７ａ、７ｂは、代表点色補正部１５により色補正された画像信号ＧＡＣを減算器６ａ、６ｂの出力Ｇ１Ｄ、Ｇ２Ｄにそれぞれ加算する。加算器７ａ、７ｂの出力が、Ｇの画像信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔとして色補正部２０から出力される。 The representative point generation unit 21 generates a G image signal GA for a representative point based on image signals of pixels around the representative point. The subtracters 6a and 6b subtract the G image signal GA of the representative point generated by the representative point generation unit 21 from the G image signals G1in and G2in input to the color correction unit 20, respectively. The adders 7a and 7b add the image signals GAC color-corrected by the representative point color correction unit 15 to the outputs G1D and G2D of the subtractors 6a and 6b, respectively. The outputs of the adders 7a and 7b are output from the color correction unit 20 as G image signals G1out and G2out.

代表点生成部２２は、代表点について、当該代表点の周辺画素の画像信号を基にして、Ｂの画像信号ＢＡを生成する。減算器６ｃは、代表点生成部２２で生成された代表点のＢの画像信号ＢＡを、色補正部２０に入力されたＢの画像信号Ｂｉｎから減算する。加算器７ｃは、代表点色補正部１５により色補正された画像信号ＢＡＣを減算器６ｃの出力ＢＤに加算する。加算器７ｃの出力が、Ｂの画像信号Ｂｏｕｔとして色補正部２０から出力される。 The representative point generation unit 22 generates a B image signal BA for a representative point based on image signals of pixels around the representative point. The subtractor 6 c subtracts the B image signal BA of the representative point generated by the representative point generation unit 22 from the B image signal Bin input to the color correction unit 20. The adder 7c adds the image signal BAC color-corrected by the representative point color correction unit 15 to the output BD of the subtractor 6c. The output of the adder 7c is output from the color correction unit 20 as a B image signal Bout.

代表点生成部２３は、代表点について、当該代表点の周辺画素の画像信号を基にして、Ｒの画像信号ＲＡを生成する。減算器６ｄは、代表点生成部２３で生成された代表点のＲの画像信号ＲＡを、色補正部２０に入力されたＲの画像信号Ｒｉｎから減算する。加算器７ｄは、代表点色補正部１５により色補正された画像信号ＲＡＣを減算器６ｄの出力ＲＤに加算する。加算器７ｄの出力が、Ｒの画像信号Ｒｏｕｔとして色補正部２０から出力される。 The representative point generator 23 generates an R image signal RA for the representative point based on the image signals of the peripheral pixels of the representative point. The subtractor 6 d subtracts the R image signal RA of the representative point generated by the representative point generation unit 23 from the R image signal Rin input to the color correction unit 20. The adder 7d adds the image signal RAC color-corrected by the representative point color correction unit 15 to the output RD of the subtractor 6d. The output of the adder 7d is output from the color correction unit 20 as an R image signal Rout.

図１１は本実施の形態に係る画像処理装置の構成例である。図１１の画像処理装置１２０は、図９の色補正部２０と、撮像素子を含む撮像部１２１、信号処理部１２２、信号処理部１２３、並べ替え部１２４および信号処理部１２５とを備える。 FIG. 11 is a configuration example of the image processing apparatus according to the present embodiment. An image processing apparatus 120 in FIG. 11 includes the color correction unit 20 in FIG. 9, an imaging unit 121 including an imaging element, a signal processing unit 122, a signal processing unit 123, a rearrangement unit 124, and a signal processing unit 125.

［３−２．動作］
以上のように構成された色補正部２０と、色補正部２０を含む画像処理装置１２０について、その動作を以下に説明する。ここでは、有効の画素数が水平３８４０画素、垂直２１６０画素である画像を生成する場合を例にとって説明する。この場合、画像処理装置１００は、いわゆる４Ｋカメラに相当する。なお、図１０では４組の画素群ＰＧ５を図示しているが、有効画素数が水平３８４０画素、垂直２１６０画素に加えて、その上下左右に、十数個ずつの画素が存在する。 [3-2. Operation]
The operation of the color correction unit 20 configured as described above and the image processing apparatus 120 including the color correction unit 20 will be described below. Here, a case where an image having an effective number of pixels of horizontal 3840 pixels and vertical 2160 pixels is generated will be described as an example. In this case, the image processing apparatus 100 corresponds to a so-called 4K camera. In FIG. 10, four sets of pixel groups PG5 are shown. In addition to the number of effective pixels of 3840 pixels in the horizontal direction and 2160 pixels in the vertical direction, there are dozens of pixels on the top, bottom, left and right.

まず図１１の画像処理装置１２０において、撮像部１２１は、図１０に示すようにＲ、Ｇ、Ｂの画素が配置されている撮像素子を有している。そして撮像部１２１から、Ｇ１、Ｇ２、Ｂ、Ｒという４つの画像信号が出力される。この時点で有効の画素数は、Ｇ１、Ｇ２、Ｂ、Ｒを全部合わせて水平３８４０画素、垂直２１６０画素あり、Ｇ１だけでは４分の１の水平１９２０画素、垂直１０８０画素となっている。画像信号を４つに分けて出力することによって、画素数が多い場合であっても、信号処理のクロック周波数を低くし、パイプライン処理の回路の無用な増大を防ぐことができ、その結果、電力が小さくなる。 First, in the image processing apparatus 120 of FIG. 11, the imaging unit 121 includes an imaging element in which R, G, and B pixels are arranged as illustrated in FIG. 10. Then, four image signals G1, G2, B, and R are output from the imaging unit 121. At this time, the effective number of pixels is 3840 horizontal pixels and 2160 vertical pixels in total for G1, G2, B, and R, and the horizontal 1920 pixels and 1080 vertical pixels are a quarter of G1 alone. By dividing the image signal into four and outputting it, even when the number of pixels is large, the clock frequency of the signal processing can be lowered, and an unnecessary increase in the pipeline processing circuit can be prevented. Electric power is reduced.

撮像部１２１から出力された画像信号は、信号処理部１２２によって、ホワイトバランスの調整や黒レベルの調整が行われる。信号処理部１２２から出力された画像信号は、色補正部２０によって所定の色補正処理が例えばルックアップテーブルを用いて行われる。その後、信号処理部１２３によってノイズ除去などの処理が行われる。そして補間・並べ替え部１２４は、それぞれ水平１９２０画素、垂直１０８０画素あるＧ１、Ｇ２、Ｂ、Ｒから、フレームメモリを利用した補間処理を行うことによって、有効の画素数が水平３８４０画素、垂直２１６０画素である画像を生成する。補間・並べ替え部１２４はさらに、画像を上下左右４つに分割し、それぞれ水平１９２０画素、垂直１０８０画素の画像信号を得る。図１１では、補間・並べ替え部１０４以降の信号に、ＵＬ（上左）、ＵＲ（上右）、ＤＬ（下左）、ＤＲ（下右）の文字を付している。この画像信号は、信号処理部１２５によって高域成分を持ち上げる周波数特性の調整などが行われ、輝度信号Ｙと色差信号Ｃに変換される。この結果、上下左右４つに分割された輝度信号Ｙと色差信号Ｃが得られる。 The image signal output from the imaging unit 121 is subjected to white balance adjustment and black level adjustment by the signal processing unit 122. The image signal output from the signal processing unit 122 is subjected to predetermined color correction processing by the color correction unit 20 using, for example, a lookup table. Thereafter, processing such as noise removal is performed by the signal processing unit 123. Then, the interpolation / rearrangement unit 124 performs interpolation processing using the frame memory from G1, G2, B, and R, which are horizontal 1920 pixels and vertical 1080 pixels, respectively, so that the effective number of pixels is 3840 pixels horizontally and 2160 pixels vertically. An image that is a pixel is generated. The interpolation / rearrangement unit 124 further divides the image into four parts, top, bottom, left, and right, and obtains image signals of horizontal 1920 pixels and vertical 1080 pixels, respectively. In FIG. 11, UL (upper left), UR (upper right), DL (lower left), and DR (lower right) are attached to signals after the interpolation / sorting unit 104. This image signal is converted into a luminance signal Y and a color difference signal C by adjusting frequency characteristics for raising a high frequency component by the signal processing unit 125. As a result, a luminance signal Y and a color difference signal C divided into four parts, top, bottom, left and right, are obtained.

次に、色補正部２０の動作について述べる。 Next, the operation of the color correction unit 20 will be described.

色補正部２０に、図１０に示す配置の画素群ＰＧ５に含まれた４個の画素に対する画像信号Ｇ１ｉｎ、Ｇ２ｉｎ、Ｂｉｎ、Ｒｉｎが入力される。代表点生成部２１、２２、２３はそれぞれ、代表点のＧの画像信号ＧＡ、Ｂの画像信号ＢＡ、Ｒの画像信号ＲＡを生成する。代表点生成部２１は、画像信号Ｇ１ｉｎとＧ２ｉｎの加算平均を行うことによって、代表点のＧの画像信号ＧＡを得る。 Image signals G1in, G2in, Bin, and Rin for the four pixels included in the pixel group PG5 arranged as shown in FIG. The representative point generation units 21, 22, and 23 generate the G image signal GA of the representative point, the B image signal BA, and the R image signal RA, respectively. The representative point generation unit 21 obtains the G image signal GA of the representative point by performing the averaging of the image signals G1in and G2in.

図１２（ａ）は代表点のＢの画像信号ＢＡの生成方法の一例、図１２（ｂ）は代表点のＲの画像信号ＲＡの生成方法の一例である。図１２（ａ）に示すように、代表点Ａからみて、当該画素群に含まれる右上のＢ信号と当該画素群の左下の画素群に含まれるＢ信号とが１：３の比で離れている。したがって、代表点生成部２２は、右上のＢ信号と左下のＢ信号とを３：１の比で内分することによって、Ｂの画像信号ＢＡを得る。また、図１２（ｂ）に示すように、代表点Ａからみて、当該画素群に含まれる左下のＲ信号と当該画素群の右上の画素群に含まれるＲ信号とが１：３の比で離れている。したがって、左下のＲ信号と右上のＲ信号とを３：１の比で内分することによって、Ｒの画像信号ＲＡを得る。なお、代表点における画像信号の生成方法はここで示したものに限られるものではない。 12A shows an example of a method for generating the representative point B image signal BA, and FIG. 12B shows an example of a method for generating the representative point R image signal RA. As shown in FIG. 12A, when viewed from the representative point A, the upper right B signal included in the pixel group and the B signal included in the lower left pixel group of the pixel group are separated by a ratio of 1: 3. Yes. Therefore, the representative point generation unit 22 obtains the B image signal BA by internally dividing the upper right B signal and the lower left B signal at a ratio of 3: 1. Also, as shown in FIG. 12B, when viewed from the representative point A, the lower left R signal included in the pixel group and the R signal included in the upper right pixel group of the pixel group are in a ratio of 1: 3. is seperated. Therefore, the R image signal RA is obtained by internally dividing the lower left R signal and the upper right R signal by a ratio of 3: 1. Note that the method of generating the image signal at the representative point is not limited to the one shown here.

そして、減算器６ａ、６ｂは、色補正部２０に入力された２個の画像信号Ｇ１ｉｎ、Ｇ２ｉｎから代表点のＧの画像信号ＧＡをそれぞれ減算して、差分信号Ｇ１Ｄ、Ｇ２Ｄを生成する。同様に、減算器６ｃは、色補正部２０に入力された画像信号Ｂｉｎから代表点ＡのＢの画像信号ＢＡを減算して、差分信号ＢＤを生成し、減算器６ｄは、色補正部２０に入力された画像信号Ｒｉｎから代表点のＲの画像信号ＲＡを減算して、差分信号ＲＤを生成する。その一方で、代表点のＧの画像信号ＧＡ、Ｂの画像信号ＢＡ、Ｒの画像信号ＲＡは、代表点色補正部１５において所定の色補正処理が行われる。例えば、ルックアップテーブルを用いた色の変換が行われ、代表点の色補正されたＧの画像信号ＧＡＣ、Ｂの画像信号ＢＡＣおよびＲの画像信号ＲＡＣが出力される。 Then, the subtracters 6a and 6b subtract the G image signal GA of the representative point from the two image signals G1in and G2in input to the color correction unit 20 to generate difference signals G1D and G2D. Similarly, the subtractor 6c subtracts the B image signal BA of the representative point A from the image signal Bin input to the color correction unit 20 to generate a difference signal BD. The subtractor 6d is the color correction unit 20 Is subtracted from the image signal RA of the representative point from the image signal Rin input to, and a difference signal RD is generated. On the other hand, the representative point color correction unit 15 performs predetermined color correction processing on the representative point G image signal GA, the B image signal BA, and the R image signal RA. For example, color conversion is performed using a look-up table, and the G image signal GAC, the B image signal BAC, and the R image signal RAC, which are color-corrected at the representative point, are output.

そして、加算器７ａ、７ｂは、差分信号Ｇ１Ｄ、Ｇ２Ｄに、代表点の色補正されたＧの画像信号ＧＡＣをそれぞれ加算する。加算器７ａ、７ｂの出力が、色補正されたＧの画像信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔとして色補正部２０から出力される。加算器７ｃは、差分信号ＢＤに、代表点の色補正されたＢの画像信号ＢＡＣを加算する。加算器７ｃの出力が、色補正されたＢの画像信号Ｂｏｕｔとして色補正部２０から出力される。加算器７ｄは、差分信号ＲＤに、代表点の色補正されたＲの画像信号ＲＡＣを加算する。加算器７ｄの出力が、色補正されたＲの画像信号Ｒｏｕｔとして色補正部２０から出力される。 Then, the adders 7a and 7b add the G image signal GAC of the representative point whose color is corrected to the difference signals G1D and G2D, respectively. The outputs of the adders 7a and 7b are output from the color correction unit 20 as G image signals G1out and G2out after color correction. The adder 7c adds the B image signal BAC of the representative point subjected to color correction to the difference signal BD. The output of the adder 7c is output from the color correction unit 20 as a color-corrected B image signal Bout. The adder 7d adds the R image signal RAC of the representative point subjected to color correction to the difference signal RD. The output of the adder 7d is output from the color correction unit 20 as the R-corrected image signal Rout.

［３−３．効果等］
以上のように本実施の形態では、色補正部２０は、隣接する４個の画素からなる画素群を単位として色補正処理を行う。代表点生成部２１は、画素群に仮想的に置かれた代表点について、Ｇの画像信号を生成する。減算部６ａ、６ｂは、画素群のＧの画像信号から代表点のＧの画像信号を減算する。代表点生成部２２は、画素群に仮想的に置かれた代表点について、Ｂの画像信号を生成する。減算部６ｃは、画素群のＢの画像信号から代表点のＢの画像信号を減算する。代表点生成部２３は、画素群に仮想的に置かれた代表点について、Ｒの画像信号を生成する。減算部６ｄは、画素群のＲの画像信号から代表点のＲの画像信号を減算する。代表点色補正部１５は、代表点のＧ、Ｂ、Ｒの画像信号に対して色補正処理を行う。加算部７ａ、７ｂは、減算部６ａ、６ｂの出力に色補正された代表点のＧの画像信号を加算する。加算部７ｃは、減算部６ｃの出力に色補正された代表点のＢの画像信号を加算する。加算部７ｄは、減算部６ｄの出力に色補正された代表点のＲの画像信号を加算する。 [3-3. Effect]
As described above, in the present embodiment, the color correction unit 20 performs the color correction process in units of pixel groups each including four adjacent pixels. The representative point generation unit 21 generates a G image signal for a representative point virtually placed in the pixel group. The subtracting units 6a and 6b subtract the G image signal of the representative point from the G image signal of the pixel group. The representative point generation unit 22 generates a B image signal for a representative point virtually placed in the pixel group. The subtracting unit 6c subtracts the B image signal of the representative point from the B image signal of the pixel group. The representative point generator 23 generates an R image signal for a representative point virtually placed in the pixel group. The subtracting unit 6d subtracts the R image signal of the representative point from the R image signal of the pixel group. The representative point color correction unit 15 performs color correction processing on the G, B, and R image signals of the representative points. The adders 7a and 7b add the G image signal of the representative point whose color has been corrected to the outputs of the subtractors 6a and 6b. The adder 7c adds the B-point image signal of the representative point subjected to color correction to the output of the subtractor 6c. The adder 7d adds the R-corrected representative point image signal to the output of the subtractor 6d.

さらに、回路規模を削減するために、ＢまたはＲについて、当該画素群に含まれたＢまたはＲの画像信号を、そのまま代表点の画像信号として用いてもよい。図１３はこの場合の色補正部２０Ａの構成例である。図１３の構成では、図９の構成において、代表点生成部２２、２３、減算器６ｃ、６ｄおよび加算器７ｃ、７ｄが省かれている。そして色補正部２０Ａに入力された画像信号Ｂｉｎ、Ｒｉｎが、そのまま代表点色補正部１５に与えられ、色補正処理がなされ、色補正された画像信号Ｂｏｕｔ、Ｒｏｕｔとして出力される。 Further, in order to reduce the circuit scale, for B or R, the B or R image signal included in the pixel group may be used as it is as the representative point image signal. FIG. 13 shows a configuration example of the color correction unit 20A in this case. In the configuration of FIG. 13, the representative point generators 22 and 23, the subtracters 6c and 6d, and the adders 7c and 7d are omitted from the configuration of FIG. The image signals Bin and Rin input to the color correction unit 20A are supplied to the representative point color correction unit 15 as they are, color correction processing is performed, and the color corrected image signals Bout and Rout are output.

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜３で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。 (Other embodiments)
As described above, Embodiments 1 to 3 have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed. Moreover, it is also possible to combine each component demonstrated in the said Embodiment 1-3 and it can also be set as new embodiment.

そこで、以下、他の実施の形態を例示する。 Therefore, other embodiments will be exemplified below.

実施の形態１〜３では、撮像された元の画像信号から代表点の画像信号を減算して得た差分信号に対しては、色補正処理はなされていない。これは、差分信号は微小な値の場合が多く、色補正処理によって大きな変化をすることは少ないと考えられるためである。すなわち、差分信号に対して色補正処理がなされなくてもほとんどの場合は問題ない。ただし、より精度良く色補正処理を実現したいなどの場合には、差分信号に対しても色補正処理を行えばいい。 In the first to third embodiments, the color correction process is not performed on the difference signal obtained by subtracting the representative point image signal from the captured original image signal. This is because the difference signal is often a small value, and it is considered that there is little change due to the color correction processing. That is, there is no problem in most cases even if color correction processing is not performed on the difference signal. However, when it is desired to realize the color correction process with higher accuracy, the color correction process may be performed on the difference signal.

例えば実施の形態１の例では、減算部２ａ、２ｂ、２ｃ、２ｄの出力に、代表点の画像信号の色補正処理前と後の比率を乗算してから、色補正された代表点の画像信号を加算すればよい。Ｇ信号の場合であれば、差分信号Ｇ１Ｄ〜Ｇ４Ｄに、画像信号ＧＡＣを画像信号ＧＡで除した値を乗算してから、画像信号ＧＡＣを加算すればよい。Ｂ信号とＲ信号についても、同様の処理を行えばよい。また実施の形態２の例では、減算部４ａ、４ｂの出力に、代表点の画像信号の色補正処理前と後の比率を乗算してから、色補正処理後の代表点の画像信号を加算すればよい。Ｇ信号の場合であれば、差分信号Ｇ１Ｄ、Ｇ２Ｄに、画像信号ＧＡＣを画像信号ＧＡで除した値を乗算してから、画像信号ＧＡＣを加算すればよい。Ｂ信号とＲ信号についても、同様の処理を行えばよい。また実施の形態３の例では、減算部６ａ、６ｂ、６ｃ、６ｄの出力に、代表点の画像信号の色補正処理前と後の比率を乗算してから、色補正処理後の代表点の画像信号を加算すればよい。Ｇ信号の場合であれば、差分信号Ｇ１Ｄ、Ｇ２Ｄに、画像信号ＧＡＣを画像信号ＧＡで除した値を乗算してから、画像信号ＧＡＣを加算すればよい。Ｂ信号とＲ信号についても、同様の処理を行えばよい。 For example, in the example of the first embodiment, the output of the subtraction units 2a, 2b, 2c, and 2d is multiplied by the ratio before and after the color correction processing of the image signal of the representative point, and then the image of the representative point that has been color corrected. What is necessary is just to add a signal. In the case of the G signal, the difference signals G1D to G4D may be multiplied by a value obtained by dividing the image signal GAC by the image signal GA, and then the image signal GAC may be added. Similar processing may be performed for the B signal and the R signal. In the example of the second embodiment, the output of the subtraction units 4a and 4b is multiplied by the ratio before and after the color correction processing of the image signal of the representative point, and then the image signal of the representative point after the color correction processing is added. do it. In the case of the G signal, the difference signals G1D and G2D may be multiplied by a value obtained by dividing the image signal GAC by the image signal GA, and then the image signal GAC may be added. Similar processing may be performed for the B signal and the R signal. In the example of the third embodiment, the output of the subtraction units 6a, 6b, 6c, and 6d is multiplied by the ratio before and after the color correction process of the image signal of the representative point, and then the representative point after the color correction process is performed. What is necessary is just to add an image signal. In the case of the G signal, the difference signals G1D and G2D may be multiplied by a value obtained by dividing the image signal GAC by the image signal GA, and then the image signal GAC may be added. Similar processing may be performed for the B signal and the R signal.

なお、実施の形態１〜３において、色補正部を備えた画像処理装置は、撮像部を備えたカメラであるものとしたが、これに限られるものではない。例えば、撮像部の代わりに映像入力部を備えた再生装置であってもよい。 In the first to third embodiments, the image processing apparatus including the color correction unit is a camera including the imaging unit, but is not limited thereto. For example, a playback apparatus including a video input unit instead of the imaging unit may be used.

また、本開示において、代表点の位置は、画素群の中央でなくてもかまわない。また、画素群を構成する画素は、偶数個でなくてもかまわない。 In the present disclosure, the position of the representative point may not be the center of the pixel group. In addition, the number of pixels constituting the pixel group may not be an even number.

ここで、比較例として、撮像素子の画素配置位置から所定の画素位置をサンプリングし、サンプリングした画素の画像信号に対して色補正処理を行い、色補正された画像信号を用いた補間処理によって、その他の画素を補う、という方法が考えられる。この場合、画素サンプリングの周波数特性の影響により、画像にムラが生じやすいという問題がある。この問題を回避するためには、多数の周辺画素を用いた補間処理を行えばよいが、そのためにはタップ数の多いフィルタが必要になり、回路規模の増大につながる。 Here, as a comparative example, a predetermined pixel position is sampled from the pixel arrangement position of the image sensor, color correction processing is performed on the image signal of the sampled pixel, and interpolation processing using the color-corrected image signal is performed. A method of supplementing other pixels is conceivable. In this case, there is a problem that unevenness tends to occur in the image due to the influence of the frequency characteristics of pixel sampling. In order to avoid this problem, interpolation processing using a large number of peripheral pixels may be performed. However, for this purpose, a filter having a large number of taps is required, leading to an increase in circuit scale.

これに対して本開示では、隣接する複数個の画素からなる画素群を単位として、画素群の画素位置から外れた位置に仮想的に置かれた代表点について、画像信号を生成する。そして、実際の画像信号から代表点の画像信号を減算し、この減算結果に、色補正された代表点の画像信号を加算する。このため、上述した比較例が有する、画像にムラが生じやすいという問題は生じず、しかも、回路規模も小さくて済む。 On the other hand, in the present disclosure, an image signal is generated for a representative point that is virtually placed at a position deviating from the pixel position of the pixel group, with a pixel group including a plurality of adjacent pixels as a unit. Then, the representative point image signal is subtracted from the actual image signal, and the color corrected representative point image signal is added to the subtraction result. For this reason, there is no problem that the image of the comparative example described above is likely to be uneven, and the circuit scale is small.

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。 As described above, the embodiments have been described as examples of the technology in the present disclosure. For this purpose, the accompanying drawings and detailed description are provided.

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。 Accordingly, among the components described in the accompanying drawings and the detailed description, not only the components essential for solving the problem, but also the components not essential for solving the problem in order to illustrate the above technique. May also be included. Therefore, it should not be immediately recognized that these non-essential components are essential as those non-essential components are described in the accompanying drawings and detailed description.

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。 Moreover, since the above-mentioned embodiment is for demonstrating the technique in this indication, a various change, replacement, addition, abbreviation, etc. can be performed in a claim or its equivalent range.

本開示は、画素数の多い画像の色補正を行う画像信号処理装置に適用可能である。具体的には、デジタルスチルカメラ、ムービー、カメラ機能付き携帯電話機、スマートフォン、ハードディスクレコーダーなどに、本開示は適用可能である。 The present disclosure is applicable to an image signal processing apparatus that performs color correction of an image having a large number of pixels. Specifically, the present disclosure is applicable to a digital still camera, a movie, a mobile phone with a camera function, a smartphone, a hard disk recorder, and the like.

１、１Ａ代表点生成部
２ａ、２ｂ、２ｃ、２ｄ減算部
３ａ、３ｂ、３ｃ、３ｄ加算部
４ａ、４ｂ減算部
５ａ、５ｂ加算部
６ａ、６ｂ、６ｃ、６ｄ減算部
７ａ、７ｂ、７ｃ、７ｄ加算部
１０、１０Ａ色補正部
１５代表点色補正部
２０、２０Ａ色補正部
２１、２２、２３代表点生成部
１００、１１０、１２０画像処理装置 1, 1A representative point generator 2a, 2b, 2c, 2d subtractor 3a, 3b, 3c, 3d adder 4a, 4b subtractor 5a, 5b adder 6a, 6b, 6c, 6d subtractor 7a, 7b, 7c, 7d Adder 10, 10A Color corrector 15 Representative point color corrector 20, 20A Color correctors 21, 22, 23 Representative point generator 100, 110, 120 Image processing device

Claims

画像信号に対して色補正処理を行う色補正部を備えた画像処理装置であって、
前記色補正部は、
隣接する偶数個の画素からなる画素群を単位として色補正処理を行うものであり、かつ、
前記画素群の中央に仮想的に置かれた代表点について、当該代表点の周辺画素の画像信号を基にして、所定色の画像信号を生成する代表点生成部と、
前記画素群の中の前記所定色の画素の画像信号から、前記代表点生成部において生成された前記代表点の画像信号を減算する減算部と、
前記代表点生成部において生成された前記代表点の画像信号に対して、色補正処理を行う代表点色補正部と、
前記減算部の減算結果に、前記代表点色補正部による色補正処理後の前記代表点の画像信号を加算する加算部とを備える
ことを特徴とする画像処理装置。 An image processing apparatus including a color correction unit that performs color correction processing on an image signal,
The color correction unit
Color correction processing is performed in units of a pixel group consisting of an even number of adjacent pixels, and
For a representative point virtually placed in the center of the pixel group, a representative point generation unit that generates an image signal of a predetermined color based on an image signal of a peripheral pixel of the representative point;
A subtraction unit that subtracts the image signal of the representative point generated in the representative point generation unit from the image signal of the pixel of the predetermined color in the pixel group;
A representative point color correction unit that performs color correction processing on the image signal of the representative point generated by the representative point generation unit;
An image processing apparatus comprising: an addition unit that adds an image signal of the representative point after color correction processing by the representative point color correction unit to a subtraction result of the subtraction unit.

前記色補正部は、
前記減算部の減算結果に、前記代表点の画像信号の色補正処理前と後の比率を乗算してから、前記加算部によって色補正処理後の前記代表点の画像信号を加算する
ことを特徴とする請求項１記載の画像処理装置。 The color correction unit
The subtraction result of the subtraction unit is multiplied by a ratio before and after color correction processing of the image signal of the representative point, and then the image signal of the representative point after color correction processing is added by the addition unit. The image processing apparatus according to claim 1.

前記画素群は、前記所定色の４個の画素が縦２画素、横２画素に配列されている
ことを特徴とする請求項１記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the four pixels of the predetermined color are arranged in two vertical pixels and two horizontal pixels in the pixel group.

前記画像信号は、ベイヤ型配列に対応したものであり、
前記画素群は、赤が１個、緑が２個、青が１個の計４個の画素が縦２画素、横２画素に配列されている
ことを特徴とする請求項１記載の画像処理装置。 The image signal corresponds to a Bayer array,
2. The image processing according to claim 1, wherein in the pixel group, a total of four pixels, one for red, two for green, and one for blue, are arranged in two vertical pixels and two horizontal pixels. apparatus.

前記代表点生成部は、赤または青について、前記代表点周辺の赤または青の画素の画像信号を用いて、前記代表点の画像信号を生成する
ことを特徴とする請求項４記載の画像処理装置。 The image processing according to claim 4, wherein the representative point generation unit generates an image signal of the representative point for red or blue using an image signal of a red or blue pixel around the representative point. apparatus.

前記色補正部は、
赤または青について、当該画素群に含まれた赤または青の画像信号を、前記代表点の画像信号として用いる
ことを特徴とする請求項４記載の画像処理装置。 The color correction unit
5. The image processing apparatus according to claim 4, wherein for red or blue, a red or blue image signal included in the pixel group is used as an image signal of the representative point.

画像信号に対して色補正処理を行う色補正部を備えた画像処理装置であって、
前記色補正部は、
隣接する複数個の画素からなる画素群を単位として色補正処理を行うものであり、かつ、
前記画素群の画素位置から外れた位置に仮想的に置かれた代表点について、当該代表点の周辺画素の画像信号を基にして、所定色の画像信号を生成する代表点生成部と、
前記画素群の中の前記所定色の画素の画像信号から、前記代表点生成部において生成された前記代表点の画像信号を減算する減算部と、
前記代表点生成部において生成された前記代表点の画像信号に対して、色補正処理を行う代表点色補正部と、
前記減算部の減算結果に、前記代表点色補正部による色補正処理後の前記代表点の画像信号を加算する加算部とを備える
ことを特徴とする画像処理装置。 An image processing apparatus including a color correction unit that performs color correction processing on an image signal,
The color correction unit
Color correction processing is performed in units of a pixel group composed of a plurality of adjacent pixels, and
A representative point generating unit that generates an image signal of a predetermined color based on an image signal of a peripheral pixel of the representative point for a representative point virtually placed at a position out of the pixel position of the pixel group;
A subtraction unit that subtracts the image signal of the representative point generated in the representative point generation unit from the image signal of the pixel of the predetermined color in the pixel group;
A representative point color correction unit that performs color correction processing on the image signal of the representative point generated by the representative point generation unit;
An image processing apparatus comprising: an addition unit that adds an image signal of the representative point after color correction processing by the representative point color correction unit to a subtraction result of the subtraction unit.