WO2016185756A1 - 画像処理装置と画像処理方法および撮像素子と撮像装置 - Google Patents

画像処理装置と画像処理方法および撮像素子と撮像装置 Download PDF

Info

Publication number
WO2016185756A1
WO2016185756A1 PCT/JP2016/056192 JP2016056192W WO2016185756A1 WO 2016185756 A1 WO2016185756 A1 WO 2016185756A1 JP 2016056192 W JP2016056192 W JP 2016056192W WO 2016185756 A1 WO2016185756 A1 WO 2016185756A1
Authority
WO
WIPO (PCT)
Prior art keywords
color space
image signal
color
image
component
Prior art date
Application number
PCT/JP2016/056192
Other languages
English (en)
French (fr)
Inventor
友希 鴇崎
紀晃 高橋
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2017519038A priority Critical patent/JP6760276B2/ja
Priority to CN201680027617.XA priority patent/CN107615760B/zh
Priority to US15/570,881 priority patent/US10467728B2/en
Publication of WO2016185756A1 publication Critical patent/WO2016185756A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Definitions

  • This technique relates to an image processing apparatus, an image processing method, an image sensor and an image pickup apparatus, and prevents image quality from being deteriorated by processing an image signal from the image sensor.
  • a color filter having, for example, a Bayer arrangement is provided on the image pickup surface of the image pickup device, and a signal of one color component is output for each pixel.
  • an imaging signal generated by an imaging element is converted into an image signal having pixel values of a plurality of color components such as RGB for each pixel by an interpolation process called demosaic processing.
  • various signal processing is performed on the converted image signal, and the image signal after the signal processing is converted into an image signal of a predetermined color space and output.
  • the image pickup device for example, by incorporating a high image quality processing unit in the image pickup device, the influence of noise or the like can be reduced even if downsizing, multiple pixels, high sensitivity, etc. are performed.
  • the image sensor performs a demosaic process on the image signal
  • the image quality improvement processing unit performs a process using the image signal generated by the demosaic process.
  • the signal output from the image sensor is a signal with a Bayer array or the like as in the conventional case, the thinning process is performed on the image signal output from the high image quality signal processing unit.
  • demosaic processing or color space conversion when performing demosaic processing or color space conversion to a predetermined color space on the image signal output from the image sensor, depending on the color space of the image signal from the image sensor, by demosaic processing or color space conversion, There is a risk of degradation in image quality and color resolution.
  • an object of the present technology is to provide an image processing device, an image processing method, an image pickup device, and an image pickup device that can prevent a deterioration in image quality by processing an image signal output from the image pickup device.
  • the first aspect of this technology is A color space conversion unit that converts an image signal in the first color space into an image signal in a second color space suitable for conversion into an image signal in a predetermined third color space;
  • the second processing unit corresponds to a signal processing unit that generates an image signal indicating each color component from an image signal indicating one color component of the color space for each pixel and outputs the image signal of the third color space.
  • Image processing comprising: a thinning processing unit that performs thinning processing of an image signal in a color space and generates an image signal indicating one color component for each pixel from an image signal indicating each color component of the second color space for each pixel In the device.
  • the color space conversion unit converts the image signal in the first color space into an image signal in the second color space suitable for conversion into an image signal in a predetermined third color space.
  • the second color space is, for example, a color space in which the frequency band of the color component with the most resolution information is wider than the frequency band of the color component with the most resolution information in the third color space, or the second color space from the second color space.
  • the noise transfer function value in the color conversion to the third color space is less negative than the color conversion from the first color space to the third color space, or does not cause negative sensitivity in color components with a lot of resolution information.
  • the thinning processing unit performs a thinning process on the image signal in the second color space, and generates an image signal indicating one color component in the second color space for each pixel.
  • the color space conversion unit may convert the image signal of the first color space into the image signal of each color space including the second color space and the third color space or a plurality of different second color spaces. In this case, the thinning processing unit performs thinning processing on the image signal in each color space.
  • the second aspect of this technology is A color space conversion unit that converts an image signal in the first color space into an image signal in a second color space suitable for conversion into an image signal in a predetermined third color space;
  • the frequency band of the color component having the most resolution information is wider than the frequency band of the color component having the most resolution information in the third color space.
  • the color having no noise transfer function value in the color conversion to the color space of the first color space is smaller than the color conversion from the first color space to the third color space, and the color component having a large amount of resolution information does not cause negative sensitivity. It is in the image processing apparatus as a space.
  • the third aspect of this technology is Converting an image signal in the first color space into an image signal in a second color space suitable for conversion into an image signal in a predetermined third color space by a color space conversion unit;
  • the thinning-out processing unit corresponds to a signal processing unit that generates an image signal indicating each color component from an image signal indicating one color component of the color space for each pixel and outputs an image signal of the third color space.
  • An image processing method includes performing thinning processing of an image signal in a second color space and generating an image signal indicating one color component from an image signal indicating each color component in the second color space for each pixel.
  • the fourth aspect of this technology is A sensor unit for generating an image signal of a first color space;
  • a circuit unit for performing signal processing of the image signal The circuit section is A color space conversion unit that converts an image signal of the first color space into an image signal of a second color space suitable for conversion into an image signal of a predetermined third color space;
  • the second processing unit corresponds to a signal processing unit that generates an image signal indicating each color component from an image signal indicating one color component of the color space for each pixel and outputs the image signal of the third color space.
  • the image pickup device includes a thinning processing unit that performs a thinning process on an image signal in a color space and generates an image signal indicating one color component from an image signal indicating each color component in the second color space for each pixel.
  • the fifth aspect of this technology is An image sensor and a processor unit that performs signal processing using an image signal output from the image sensor;
  • the image sensor is A sensor unit for generating an image signal of a first color space;
  • a color space conversion unit that converts an image signal of the first color space into an image signal of a second color space suitable for conversion into an image signal of a predetermined third color space;
  • a thinning processing unit that performs thinning processing of the image signal of the second color space and generates an image signal indicating one color component for each pixel from the image signal indicating each color component of the second color space for each pixel;
  • the processor unit is A demosaic processing unit that generates an image signal indicating each color component for each pixel from an image signal indicating one color component of the color space for each pixel;
  • the image pickup apparatus includes a signal output unit that outputs the image signal generated by the demosaic processing unit in the third color space.
  • the image signal in the first color space is converted into the image signal in the second color space suitable for conversion into the image signal in the predetermined third color space. Further, the converted image signal indicating each color component of the second color space for each pixel generates an image signal indicating each color component from the image signal indicating one color component of the color space for each pixel. Thinning processing is performed so as to correspond to a signal processing unit that outputs an image signal in the color space. By this thinning-out process, the converted image signal indicating each color component in the second color space is converted into an image signal indicating one color component in the second color space for each pixel.
  • the image processing apparatus of this technique converts an image signal in the first color space into an image signal in a second color space suitable for conversion into an image signal in a predetermined third color space.
  • an image signal in a first color space generated by an image sensor using a color filter having a predetermined color arrangement is converted into an image signal indicating each color component in the second color space for each pixel. .
  • the image processing apparatus corresponds to a signal processing unit that generates an image signal indicating each color component from an image signal indicating one color component of the color space for each pixel and outputs the image signal of the third color space.
  • the thinning process of the image signal in the second color space is performed.
  • the image processing apparatus generates an image signal indicating one color component for each pixel from an image signal indicating each color component of the second color space for each pixel.
  • an image signal indicating each color component is generated from an image signal indicating one color component of the color space for each pixel by a processor unit connected to the image sensor, and the image signal of the third color space is generated.
  • a thinning process of the image signal indicating each color component of the second color space is performed for each pixel so that the output is possible.
  • the image processing apparatus generates an image signal indicating one color component of the second color space for each pixel by the thinning process, and outputs the image signal from the imaging device, whereby the image quality of the third image signal output from the processor unit Prevents color resolution degradation.
  • the color component having the most resolution information is used as the second color space so that deterioration in image quality and color resolution can be prevented even when demosaic processing is performed using the output image signal.
  • a case where a color space having a wide frequency band is used will be described.
  • FIG. 1 illustrates the configuration of the first embodiment.
  • the imaging device 10 includes an imaging element 20 and a processor unit 30.
  • the imaging element 20 includes a sensor unit 21 and a circuit unit 22a.
  • the circuit unit 22a includes a demosaic processing unit 221, a signal processing unit 222, a first color space conversion unit 223, and a thinning processing unit 226. Yes.
  • the processor unit 30 includes a demosaic processing unit 31, an output color space conversion unit 32, and the like.
  • the imaging element 20 is configured by a CMOS (Complementary Metal Oxide Semiconductor) or the like, and a light incident surface of the sensor unit 21 is provided with a color filter having, for example, red R, green G, and blue B pixels as a Bayer array. Yes.
  • the sensor unit 21 generates a pixel signal in an RGB color space indicating any one color component of a red component, a green component, and a blue component for each pixel, and outputs the pixel signal to the circuit unit 22a.
  • FIG. 2 shows the spectral characteristics of the color filter (RGB color space).
  • the demosaic processing unit 221 of the circuit unit 22a performs demosaic processing using the pixel signal. For example, the demosaic processing unit 221 performs color correlation interpolation processing based on an estimation that a red pixel and a blue pixel have a correlation with respect to a green pixel which is a pixel having a color component having the largest resolution information in the local region. The demosaic processing unit 221 performs demosaic processing, generates an image signal indicating a red component, a green component, and a blue component for each pixel, and outputs the image signal to the signal processing unit 222.
  • the signal processing unit 222 performs, for example, image quality improvement processing on the image signal supplied from the demosaic processing unit 221.
  • the signal processing unit 222 may perform noise removal processing, defective pixel correction processing, or the like as the image quality enhancement processing, and may perform other image quality enhancement processing, such as gradation correction processing, without being limited to these processing. Note that the processing performed by the signal processing unit 222 is not limited to high image quality processing, and other processing may be performed.
  • the signal processing unit 222 outputs the processed image signal to the first color space conversion unit 223.
  • the first color space conversion unit 223 is a second color signal suitable for converting the image signal of the first color space supplied from the signal processing unit 222 into the image signal of the third color space output from the processor unit 30. Convert to color space image signal.
  • the first color space conversion unit 223 can output the image signal of the second color space that can prevent the image quality and the color resolution from being lowered even if the processor unit 30 performs the demosaic process on the image signal of the first color space. This is converted into a signal and output to the thinning processing unit 226.
  • the thinning-out processing unit 226 performs thinning-out processing on the image signal after color space conversion, and generates an image signal indicating one color component for each pixel, as in the case of using an image sensor that does not include the circuit unit 22a. And output to the processor unit 30.
  • the demosaic processing unit 31 of the processor unit 30 performs demosaic processing using the image signal of the second color space output from the image sensor 20. For example, the demosaic processing unit 31 performs a color correlation interpolation process based on an estimation that there is a color correlation between a predetermined color component and another color component in the local region. The demosaic processing unit 31 generates an image signal indicating each color component for each pixel from the image signal indicating one color component for each pixel, and outputs the image signal to the output color space conversion unit 32 by color correlation interpolation processing.
  • the output color space conversion unit 32 performs color space conversion on the image signal supplied from the demosaic processing unit 31 and outputs an image signal of a predetermined third color space when outputting the image signal, for example, an sRGB color space. Converted to an image signal and output.
  • the image signal output from the output color space conversion unit 32 may be supplied to, for example, a camera signal processing unit to perform development processing such as gamma correction and white balance adjustment, or may be output to an external device or a recording medium. Good.
  • FIG. 3 shows sRGB spectral characteristics (corresponding to a color matching function).
  • the demosaic processing unit 31 of the processor unit 30 performs demosaic processing using, for example, a color correlation interpolation method
  • the image signal from the image sensor 20 is an RGB color that is the first color space.
  • the resolution of the red component is lowered because the green component is small at the frequency of the red component.
  • the signal processing unit 222 of the circuit unit 22a performs the image quality enhancement process
  • the image based on the image signal generated by the demosaic processing unit 31 is an image with degraded image quality. Therefore, the first color space conversion unit 223 is a second color space suitable for conversion of the RGB color space image signal supplied from the signal processing unit 222 into an sRGB color space image signal output from the processor unit 30. To the image signal.
  • the first color space conversion unit 223 uses a color space having a wide band of color components with the largest resolution information, for example, an XYZ color space as a second color space, and an RGB color space image signal as an XYZ color. Convert to a spatial image signal.
  • FIG. 4 shows XYZ spectral characteristics (color matching function), which has a wide band of stimulus values Y (amount relating to brightness and green), for example, many components of the stimulus value Y at the frequency of the stimulus value X (amount relating to red). include. For this reason, when the demosaic process of the image signal output from the image sensor 20 is performed by the demosaic processing unit 31 of the processor unit 30, it is possible to prevent the resolution of the stimulus value X (the amount related to red) from being lowered.
  • the demosaic processing unit 31 of the processor unit 30 generally does not assume a negative signal, if the image signal output from the image sensor 20 includes a negative sensitivity, the image quality and the color resolution are degraded. There is a fear.
  • an image signal output from the image sensor 20 is, for example, an sRGB color space
  • a negative signal may be generated in the sRGB color space as shown in FIG.
  • discontinuity of the color ratio of red and blue with respect to green may occur when the green component is near “0”, which may cause deterioration in image quality. .
  • the first color space conversion unit 223 converts the image signal in the RGB color space into the image signal in the XYZ color space, so that the image quality and color resolution can be prevented from being lowered even when the demosaic process is performed in the processor unit 30. .
  • Second Embodiment> Color space conversion is performed by linear matrix processing, but it is known that noise and false colors are amplified by linear matrix processing. Therefore, in the second embodiment, when the processor unit 30 performs color space conversion to an image signal in a predetermined color space, the image sensor 20 can suppress the color of the image signal so that noise and false colors can be suppressed. A case where spatial transformation is performed will be described.
  • FIG. 5 illustrates the configuration of the second embodiment.
  • the imaging device 10 includes an imaging element 20 and a processor unit 30.
  • the imaging element 20 includes a sensor unit 21 and a circuit unit 22b.
  • the circuit unit 22b includes a demosaic processing unit 221, a signal processing unit 222, a second color space conversion unit 224, and a thinning processing unit 226. Yes.
  • the processor unit 30 includes a demosaic processing unit 31 and an output color space conversion unit 32.
  • the imaging element 20 is configured by a CMOS (Complementary Metal Oxide Semiconductor) or the like, and a light incident surface of the sensor unit 21 is provided with a color filter having, for example, red R, green G, and blue B pixels as a Bayer array. Yes.
  • the sensor unit 21 generates a pixel signal indicating any one color component of a red component, a green component, and a blue component for each pixel and outputs the pixel signal to the circuit unit 22b.
  • the demosaic processing unit 221 of the circuit unit 22b performs demosaic processing using the pixel signal.
  • the demosaic processing unit 221 performs demosaic processing, generates an image signal indicating a red component, a green component, and a blue component for each pixel, and outputs the image signal to the signal processing unit 222.
  • the signal processing unit 222 performs the image quality improvement processing on the image signal supplied from the demosaic processing unit 221 as described above, and outputs the processed image signal to the second color space conversion unit 224.
  • the second color space conversion unit 224 is a second color space suitable for converting the image signal of the first color space supplied from the signal processing unit 222 into the image signal of the third color space output from the processor unit 30. It is converted into an image signal in the color space and output to the thinning processing unit 226.
  • the second color space conversion unit 224 converts the image signal of the first color space into the signal of the second color space, for example, so that the image quality and the color resolution can be obtained even when the demosaic process is performed in the processor unit 30. It is possible to prevent a decrease in the level.
  • the second color space conversion unit 224 converts the image signal of the first color space into the signal of the second color space, so that noise is generated when the processor unit 30 performs conversion to the third color space. And to be able to suppress false colors.
  • the thinning-out processing unit 226 performs thinning-out processing on the image signal after color space conversion, and generates an image signal indicating one color component for each pixel, as in the case of using an image sensor that does not include the circuit unit 22b. And output to the processor unit 30.
  • the demosaic processing unit 31 of the processor unit 30 performs demosaic processing using the image signal after color space conversion output from the image sensor 20 as described above.
  • the demosaic processing unit 31 performs demosaic processing, generates an image signal indicating each color component for each pixel, and outputs the image signal to the output color space conversion unit 32.
  • the output color space conversion unit 32 performs color space conversion on the image signal supplied from the demosaic processing unit 31 and outputs an image signal of a predetermined third color space when outputting the image signal, for example, an sRGB color space. Converted to an image signal and output.
  • the image signal output from the output color space conversion unit 32 may be supplied to, for example, a camera signal processing unit to perform development processing, or may be output to an external device or a recording medium.
  • the linear matrix coefficient when the output color space is converted to the optimal color space before the color space conversion is set as the linear matrix coefficient LM (P) as shown in the equation (1).
  • the linear matrix coefficient when converting the optimum color space to the output color space is defined as a linear matrix coefficient LM (Q) as shown in Expression (2).
  • the output color space is sRGB color space and the optimum color space is CS color space.
  • the pixel (r ⁇ , g ⁇ , b ⁇ ) at the frequency ⁇ in the sRGB color space is converted into the pixel (r ′ ⁇ , g) in the CS color space based on the equation (3). ' ⁇ , b' ⁇ ).
  • the component r ′ ⁇ of the CS color space can be calculated based on Equation (4). Further, if the noise at this time is a noise that has no correlation with the components r ⁇ , g ⁇ , and b ⁇ , the variance Var (r ′ ⁇ ) of the component r ′ ⁇ can be defined as in Equation (5). Further, in equation (5), assuming that the noise levels of the components r ⁇ , g ⁇ , and b ⁇ are equal and the relationship shown in equation (6) is established, equation (5) becomes equation (7).
  • the variance Var (r ′ ⁇ ) indicating the noise level of the component r ′ ⁇ is a value obtained by multiplying the variance Var (r ⁇ ) indicating the noise level of the component r ⁇ by the coefficient “a1 2 + a2 2 + a3 2 ”. It becomes. Accordingly, in the color space conversion using the linear matrix coefficient LM (P), the coefficient “a1 2 + a2 2 + a3 2 ” is a noise transfer function from the component r ⁇ to the component r ′ ⁇ .
  • a noise transfer function from the component g ⁇ to the component g ′ ⁇ and a noise transfer function from the component b ⁇ to the component b ′ ⁇ can be obtained. Furthermore, the noise transfer function from the component r ′ ⁇ to the component r ⁇ , the noise transfer function from the component g ′ ⁇ to the component g ⁇ , and the component b ′ ⁇ in the color space conversion in the case of using the linear matrix coefficient LM (Q). The noise transfer function from the component b ⁇ to the component b ⁇ can be obtained in the same manner.
  • the linear matrix coefficients are determined so that the noise transfer function value is as small as possible. For example, a coefficient that minimizes the sum of the noise transfer function value based on the linear matrix coefficient LM (P) and the noise transfer function value based on the linear matrix coefficient LM (Q) is obtained based on Expression (8).
  • MIN (a1 2 + a2 2 + a3 2 + b1 2 + b2 2 + b3 2 + C1 2 + c2 2 + c3 2 ) + (d1 2 + d2 2 + d3 2 + E1 2 + e2 2 + e3 2 + f1 2 + f2 2 + f3 2 ) ⁇ J (8)
  • the noise transfer function by the linear matrix coefficient LM (P) when converting the sRGB color space to the CS color space is a stabilization term for calculating the optimized color space.
  • the noise transfer function by the linear matrix coefficient LM (Q) when the CS color space is converted to the sRGB color space is the objective function.
  • constraints are set so that image quality and color resolution can be reduced and noise and false colors can be prevented.
  • the color component with the largest resolution information should not have negative sensitivity.
  • the color component with the largest resolution information when the color component with the largest resolution information is near “0”, the discontinuity of the color ratio with other colors occurs and the image quality deteriorates. There is a fear. Therefore, in the CS color space, for example, “min ( g′ ⁇ )> 0” is set so that the image quality is not deteriorated even if the demosaic process using the color correlation with green is performed.
  • the color component with the largest resolution information is set to have a sensitivity of a predetermined amount or more.
  • the color resolution decreases when the band of the color component having the largest resolution information is narrow. Therefore, for example, by using color components of an XYZ color space that does not generate a negative value, in a CS color space, “r ′ ⁇ > MAX (X ⁇ , Y ⁇ , Z ⁇ ) ⁇ K” and a quantity having sensitivity is a coefficient Adjust with K. For example, by setting the coefficient K to “0.2”, the sensitivity is 20% or more of each color component in the XYZ color space.
  • Constraint condition 3 The diagonal component of the linear matrix coefficient is maximized to prevent multiple solutions. That is, the linear matrix coefficient LM (Q) that satisfies “max (d2, d3 ⁇ d1)”, “max (e1, e3 ⁇ e2)”, and “max (f1, f2 ⁇ f3”) is determined.
  • linear matrix coefficients that satisfy the above constraints and have the smallest noise transfer function value are calculated.
  • the linear matrix coefficients may be calculated using a commonly used minimization method.
  • the constraint condition for color space optimization is an example, and the constraint condition may be added, deleted, changed, or the like according to the interface condition or the like.
  • FIG. 6 shows the CS spectral characteristic (color matching function).
  • FIG. 7 shows linear matrix coefficients and noise transfer function values when color space conversion to the sRGB color space is performed.
  • 7A shows a case where color space conversion from the CS color space to the sRGB color space is performed
  • FIG. 7B shows a case where color space conversion from the XYZ color space to the sRGB color space is performed. Yes.
  • FIG. 7C shows a case where color space conversion from the RGB color space to the sRGB color space is performed.
  • the second color space conversion unit 224 converts the image signal supplied from the signal processing unit 222 into an image signal in the CS color space set by color space optimization, and outputs the image signal to the thinning processing unit 226.
  • the green component band is wide, and many green components are included at red and blue frequencies. For this reason, in the demosaic process of the image signal output from the image sensor 20 by the demosaic processing unit 31 of the processor unit 30, it is possible to prevent a reduction in red or blue resolution. In addition, since the green component does not become a negative signal, it is possible to prevent a decrease in color resolution. Further, as apparent from FIG. 7, the noise transfer function value is the smallest when the CS color space is used. Therefore, in the color space conversion in which the output color space conversion unit 32 of the processor unit 30 converts the CS color space image signal into the sRGB color space image signal, noise and false colors can be suppressed.
  • negative signals may be generated with respect to red and blue. If the input of the processor unit does not correspond to a negative signal, it can be dealt with by adding a predetermined offset amount.
  • FIG. 8 is a diagram showing a configuration in the case of connection using the output color space.
  • the imaging device 10 includes an imaging element 20 and a processor unit 30.
  • the imaging element 20 includes a sensor unit 21 and a circuit unit 22c.
  • the circuit unit 22c includes a demosaic processing unit 221, a signal processing unit 222, a third color space conversion unit 225, and a thinning processing unit 226. Yes.
  • the processor unit 30 includes a demosaic processing unit 31.
  • the imaging element 20 is configured by a CMOS (Complementary Metal Oxide Semiconductor) or the like, and a light incident surface of the sensor unit 21 is provided with a color filter having, for example, red R, green G, and blue B pixels as a Bayer array. Yes.
  • the sensor unit 21 generates a pixel signal indicating any one color component of a red component, a green component, and a blue component for each pixel, and outputs the pixel signal to the demosaic processing unit 221 of the circuit unit 22c.
  • the demosaic processing unit 221 performs demosaic processing using the pixel signal.
  • the demosaic processing unit 221 performs demosaic processing, generates an image signal indicating a red component, a green component, and a blue component for each pixel, and outputs the image signal to the signal processing unit 222.
  • the signal processing unit 222 performs the image quality improvement processing on the image signal supplied from the demosaic processing unit 221 as described above, and outputs the processed image signal to the third color space conversion unit 225.
  • the third color space conversion unit 225 converts the image signal supplied from the signal processing unit 222 into the color space of the image signal output from the processor unit 30.
  • the thinning-out processing unit 226 performs thinning-out processing on the image signal supplied from the third color space conversion unit 225, and similarly to the case where it is used with an image pickup device not provided with the circuit unit 22c, one color component for each pixel. Is generated and output to the processor unit 30.
  • the demosaic processing unit 31 of the processor unit 30 performs demosaic processing using the image signal after color space conversion output from the image sensor 20 as described above.
  • the demosaic processing unit 31 performs demosaic processing and generates an image signal indicating each color component for each pixel.
  • the image signal output from the demosaic processing unit 31 may be supplied to, for example, a camera signal processing unit to perform development processing, or may be output to an external device or a recording medium.
  • the color space of the sensor unit 21 is an RGB color space and the output color space is an sRGB color space
  • a negative signal may occur in the green component in the sRGB color space, as is apparent from FIG.
  • demosaic processing is performed using the color correlation for green in the unit 30, there is a possibility that the color resolution may be lowered when the green component is near “0”.
  • the noise transfer function value in the color space conversion from the RGB color space to the sRGB color space is small, and it can be suppressed that noise and false colors are amplified by the color space conversion.
  • the image output from the demosaic processing unit 31 of the processor unit 30 has less noise and false color, and color resolution is degraded. Can be made inconspicuous.
  • the imaging device 10 selects the color space used for connection according to the characteristics of the image and the characteristics of color space conversion. . For example, in the edge portion and the detail portion, when the resolution or the like is lowered, the image quality is significantly reduced. Therefore, in a region such as an edge portion or a detail portion, a color space having a characteristic with a wide band of color components having the largest resolution information is selected. Further, since noise is conspicuous in the flat portion, a color space having a small noise transfer function value is selected in the flat portion region to suppress an increase in noise. If the color component signal with the most resolution information in the color space to be selected is a negative signal and there is a risk of a decrease in color resolution, the color area that is a negative signal may have another color space. Select.
  • the areas such as the flat part and the edge part are discriminated based on the feature amount calculated from the image signal.
  • the signal level difference between the pixels is small in the flat portion. Therefore, the flatness information of the image based on the image signal, specifically, the dynamic range in a predetermined range based on the position of the target pixel is used as the feature amount.
  • the feature amount may be a feature amount of a primary differential system (for example, an adjacent pixel absolute difference value or its sum), a feature amount based on a frequency component, or the like.
  • the present invention is not limited to the case where one feature amount is used, and a plurality of feature amounts may be used in combination to determine a region such as a flat portion or an edge portion.
  • the determination of the color region that becomes a negative signal may be performed by, for example, extracting a color region that becomes a negative signal using a filter or the like.
  • the circuit unit of the image sensor 20 When the color space is adaptively switched, the circuit unit of the image sensor 20 performs color space conversion of the image signal output from the signal processing unit, and can select a color space such as an XYZ color space, a CS color space, and an sRGB color space. , Or any two of these color space image signals. Further, the circuit unit performs a thinning process on the image signal for each color space for each color space and outputs the result to the processor unit 30. The processor unit 30 performs demosaic processing for each selectable color space. Further, the processor unit 30 determines an optimal color space according to image characteristics and color space conversion characteristics, and selects an image signal after demosaic processing of the determined color space. Further, when the color space of the selected image signal is not the output color space, the processor unit 30 converts the color space of the selected image signal into the output color space.
  • a color space such as an XYZ color space, a CS color space, and an sRGB color space. , Or any
  • the image signal of the output color space with less image quality and color resolution and less noise and false colors can be obtained. Can be generated.
  • the color space is not limited to the RGB color space, and may be another color space.
  • a pixel signal in the WRG color space may be generated using a color filter composed of red, green, and white pixels.
  • the output color space is not limited to the sRGB color space but may be another color space.
  • connection color space is a color space of an image signal supplied from the image sensor 20 to the processor unit 30. is there.
  • ⁇ indicates that the condition is satisfied
  • X indicates that the condition is not satisfied.
  • the ⁇ mark is an intermediate state.
  • symbol “ -” indicates that the condition is not satisfied as compared with the symbol “ ⁇ ”.
  • Table 2 shows a list of performance evaluations for each connection color space.
  • ⁇ indicates that satisfactory performance is satisfied, and X indicates that desired performance is not obtained.
  • ⁇ mark is an intermediate state.
  • symbol “ -” indicates that the performance is lower than the symbol “ ⁇ ”.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • the image processing device may be provided separately from the imaging device.
  • the present invention can be applied to a signal processing system that records an image signal generated by a sensor unit of an image sensor on a recording medium and performs signal processing of the image signal recorded on the recording medium.
  • FIG. 9 is a flowchart showing the operation of the image processing apparatus.
  • the image processing apparatus acquires an image signal in the first color space.
  • the image processing apparatus acquires the image signal of the first color space from the sensor unit or the storage device, and proceeds to step ST2.
  • step ST2 the image processing apparatus performs color space conversion.
  • the image processing apparatus converts the image signal in the first color space into an image signal in the second color space suitable for conversion into an image signal in the predetermined third color space, and proceeds to step ST3.
  • the image processing apparatus performs a thinning process.
  • the image processing apparatus corresponds to a signal processing unit that generates an image signal indicating each color component from an image signal indicating one color component of the color space for each pixel and outputs an image signal of the third color space. Thinning processing of the image signal in the second color space is performed.
  • the image processing apparatus generates an image signal indicating one color component for each pixel from the image signal indicating each color component of the second color space for each pixel by performing a thinning process.
  • the program recording the process of FIG. 9 is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk or ROM (Read Only Memory) as a recording medium.
  • the program can be temporarily or permanently stored on a removable recording medium such as a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical disc), DVD (Digital Versatile Disc), magnetic disk, semiconductor memory card, etc. Can be stored (recorded).
  • a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the image processing apparatus may have the following configuration.
  • the second processing unit corresponds to a signal processing unit that generates an image signal indicating each color component from an image signal indicating one color component of the color space for each pixel and outputs the image signal of the third color space.
  • Image processing comprising: a thinning processing unit that performs thinning processing of an image signal in a color space and generates an image signal indicating one color component for each pixel from an image signal indicating each color component of the second color space for each pixel apparatus.
  • the second color space is a color space in which the frequency band of the color component with the most resolution information is wider than the frequency band of the color component with the most resolution information in the third color space.
  • the second color space has a noise transfer function value in color conversion from the second color space to the third color space, from the first color space to the third color space.
  • the second color space is a color space in which a color component having a lot of resolution information has a sensitivity of a predetermined ratio or more with respect to each color component of the XYZ color space.
  • Image processing apparatus (6)
  • the color space conversion unit converts the image signal of the first color space into an image of each color space including the second color space and the third color space or a plurality of different second color spaces. Convert it into a signal
  • the image processing apparatus according to any one of (1) to (5), wherein the thinning processing unit performs a thinning process on the image signal of each color space.
  • the image signal in the first color space is in the second color space suitable for conversion into the image signal in the predetermined third color space. Converted to image signal. Further, the converted image signal indicating each color component of the second color space for each pixel generates an image signal indicating each color component from the image signal indicating one color component of the color space for each pixel. Thinning processing is performed so as to correspond to a signal processing unit that outputs an image signal in the color space, and an image signal indicating one color component in the second color space is obtained for each pixel.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

第１色空間変換部２２３は、信号処理部２２２から供給された第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する。間引き処理部２２６は、画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して第３の色空間の画像信号を出力するプロセッサ部３０に対応するように、画素毎に第２の色空間の各色成分を示す変換後の画像信号の間引き処理を行い、画素毎に第２の色空間の１つの色成分を示す画像信号とする。画素毎に第２の色空間の１つの色成分を示す画像信号を撮像素子２０から出力してプロセッサ部３０で処理したとき画質の低下等を防ぐことができる。

Description

画像処理装置と画像処理方法および撮像素子と撮像装置
　この技術は、画像処理装置と画像処理方法および撮像素子と撮像装置に関し、撮像素子からの画像信号の処理で画質の低下等を生じないようにする。
　従来、１つの撮像素子を用いた単板方式の撮像装置では、例えば特許文献１のように、撮像素子の撮像面に例えばベイヤー配列のカラーフィルタを設けて画素毎に１つの色成分の信号を生成することが行われている。また、撮像装置では、デモザイク処理と呼ばれる補間処理によって、撮像素子で生成された撮像信号を画素毎にＲＧＢ等の複数の色成分の画素値を有する画像信号に変換することが行われている。さらに、撮像装置では、変換後の画像信号に対して種々の信号処理を行い、信号処理後の画像信号を所定の色空間の画像信号に変換して出力することが行われている。
特開２０１２－２４４４４９号公報
　ところで、撮像素子では、例えば高画質化処理部を撮像素子に組み込むことで、小型化や多画素化、高感度化等が行われてもノイズ等の影響を軽減できる。この場合、撮像素子では、撮像信号のデモザイク処理を行い、高画質化処理部はデモザイク処理によって生成された画像信号を用いて処理を行う。また、撮像素子から出力される信号を従来と同様にベイヤー配列等の信号とする場合には、高画質化信号処理部から出力される画像信号に対して間引き処理を行う。ここで、撮像素子から出力される画像信号に対してデモザイク処理や所定の色空間への色空間変換を行う場合、撮像素子からの画像信号の色空間によっては、デモザイク処理や色空間変換によって、画質や色解像度の低下を生じるおそれがある。
　そこで、この技術では、撮像素子から出力された画像信号の処理で画質の低下等を防ぐことができる画像処理装置と画像処理方法および撮像素子と撮像装置を提供することを目的とする。
　この技術の第１の側面は、
　第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部と、
　画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して前記第３の色空間の画像信号を出力する信号処理部に対応するように、前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から画素毎に１つの色成分を示す画像信号を生成する間引き処理部と
を備える画像処理装置にある。
　この技術において、色空間変換部は、第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する。第２の色空間は、例えば解像度情報の最も多い色成分の周波数帯域が第３の色空間における解像度情報の最も多い色成分の周波数帯域よりも広い色空間、または、第２の色空間から第３の色空間への色変換におけるノイズ伝達関数値が、第１の色空間から第３の色空間への色変換よりも少ない色空間、または解像度情報の多い色成分で負の感度を生じない色空間、解像度情報の多い色成分がＸＹＺ色空間の各色成分に対して所定割合以上の感度を有する色空間とする。間引き処理部は、このような第２の色空間の画像信号に対して間引き処理を行い、画素毎に第２の色空間の１つの色成分を示す画像信号を生成する。なお、色空間変換部は、第１の色空間の画像信号を、第２の色空間と第３の色空間または異なる複数の第２の色空間を含む各色空間の画像信号に変換してもよく、この場合、間引き処理部は、各色空間の画像信号に対して間引き処理を行う。
　この技術の第２の側面は、
　第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部を備え、
　前記第２の色空間は、解像度情報の最も多い色成分の周波数帯域が前記第３の色空間における解像度情報の最も多い色成分の周波数帯域よりも広く、前記第２の色空間から前記第３の色空間への色変換におけるノイズ伝達関数値が、前記第１の色空間から前記第３の色空間への色変換よりも少なく、前記解像度情報の多い色成分で負の感度を生じない色空間とする画像処理装置にある。
　この技術の第３の側面は、
　色空間変換部で、第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換することと、
　画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して第３の色空間の画像信号を出力する信号処理部に対応するように、間引き処理部で前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から１つの色成分を示す画像信号を生成すること
を含む画像処理方法にある。
　この技術の第４の側面は、
　第１の色空間の画像信号を生成するセンサ部と、
　前記画像信号の信号処理を行う回路部とを備え、
　前記回路部は、
　前記第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部と、
　画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して前記第３の色空間の画像信号を出力する信号処理部に対応するように、前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から１つの色成分を示す画像信号を生成する間引き処理部と
を有する撮像素子にある。
　この技術の第５の側面は、
　撮像素子と前記撮像素子から出力された画像信号を用いて信号処理を行うプロセッサ部を有し、
　前記撮像素子は、
　第１の色空間の画像信号を生成するセンサ部と、
　前記第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部と、
　前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から画素毎に１つの色成分を示す画像信号を生成する間引き処理部を備え、
　前記プロセッサ部は、
　画素毎に色空間の１つの色成分を示す画像信号から画素毎に各色成分を示す画像信号を生成するデモザイク処理部と、
　前記デモザイク処理部で生成された画像信号を前記第３の色空間で出力する信号出力部を備える
を備える撮像装置にある。
　この技術によれば、第１の色空間の画像信号は、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換される。また、画素毎に第２の色空間の各色成分を示す変換後の画像信号は、画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して第３の色空間の画像信号を出力する信号処理部に対応するように間引き処理が行われる。この間引き処理によって、第２の色空間の各色成分を示す変換後の画像信号は、画素毎に第２の色空間の１つの色成分を示す画像信号とされる。このため、この画素毎に第２の色空間の１つの色成分を示す画像信号を撮像素子から出力して信号処理部で処理することにより画質の低下等を防ぐことができる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
第１の実施の形態の構成を例示した図である。 カラーフィルタ（ＲＧＢ色空間）の分光特性を示す図である。 ｓＲＧＢ分光特性を示す図である。 ＸＹＺ分光特性を示す図である。 第２の実施の形態の構成を例示した図である。 ＣＳ分光特性を示す図である。 ｓＲＧＢ色空間への色空間変換を行う場合のリニアマトリクス係数とノイズ伝達関数値を示す図である。 出力色空間を用いて接続する場合の構成を示した図である。 画像処理装置の動作を示すフローチャートである。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態
　２．第２の実施の形態
　３．他の実施の形態
　＜１．第１の実施の形態＞
　この技術の画像処理装置は、第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する。例えば、画像処理装置では、所定の色配列のカラーフィルタを用いた撮像素子によって生成された第１の色空間の画像信号を画素毎に第２の色空間の各色成分を示す画像信号に変換する。
　また、画像処理装置は、画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して前記第３の色空間の画像信号を出力する信号処理部に対応するように、第２の色空間の画像信号の間引き処理を行う。この間引き処理によって、画像処理装置は、画素毎に第２の色空間の各色成分を示す画像信号から画素毎に１つの色成分を示す画像信号を生成する。例えば、画像処理装置では、撮像素子に接続されるプロセッサ部で画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して第３の色空間の画像信号を出力可能に、画素毎に第２の色空間の各色成分を示す画像信号の間引き処理を行う。画像処理装置は、間引き処理によって画素毎に第２の色空間の１つの色成分を示す画像信号を生成して撮像素子から出力することで、プロセッサ部から出力する第３の画像信号の画質や色解像度の低下等を防ぐ。
　第１の実施の形態では、出力した画像信号を用いてデモザイク処理が行われても画質や色解像度の低下を防ぐことができるように、第２の色空間として、解像度情報の最も多い色成分の周波数帯域が広い色空間を用いる場合について説明する。
　図１は、第１の実施の形態の構成を例示している。撮像装置１０は、撮像素子２０とプロセッサ部３０を有している。撮像素子２０は、センサ部２１と回路部２２ａを有しており、回路部２２ａには、デモザイク処理部２２１、信号処理部２２２、第１色空間変換部２２３、間引き処理部２２６が設けられている。プロセッサ部３０は、デモザイク処理部３１と出力色空間変換部３２等を有している。
　撮像素子２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成されており、センサ部２１の光入射面には例えば赤色Ｒと緑色Ｇと青色Ｂの画素をベイヤー配列とするカラーフィルタが設けられている。センサ部２１は、画素毎に赤色成分と緑色成分と青色成分のいずれか１つの色成分を示すＲＧＢ色空間の画素信号を生成して回路部２２ａへ出力する。図２は、カラーフィルタ（ＲＧＢ色空間）の分光特性を示している。
　回路部２２ａのデモザイク処理部２２１は、画素信号を用いてデモザイク処理を行う。デモザイク処理部２２１は、デモザイク処理として例えば局所領域において解像度情報の最も多い色成分の画素である緑色画素に対して赤色画素および青色画素に相関があるとの推定に基づき色相関補間処理を行う。デモザイク処理部２２１は、デモザイク処理を行い画素毎に赤色成分と緑色成分と青色成分を示した画像信号を生成して信号処理部２２２へ出力する。
　信号処理部２２２は、デモザイク処理部２２１から供給された画像信号に対して例えば高画質化処理を行う。信号処理部２２２は、高画質化処理としてノイズ除去処理や欠陥画素補正処理等を行ってもよく、これらの処理に限らず他の高画質化処理例えば階調補正処理等を行ってもよい。なお、信号処理部２２２で行われる処理は、高画質化処理に限らず他の処理等を行ってもよい。信号処理部２２２は、処理後の画像信号を第１色空間変換部２２３へ出力する。
　第１色空間変換部２２３は、信号処理部２２２から供給される第１の色空間の画像信号を、プロセッサ部３０から出力する第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する。例えば、第１色空間変換部２２３は、第１の色空間の画像信号を、プロセッサ部３０でデモザイク処理が行われても画質や色解像度の低下を防ぐことができる第２の色空間の画像信号に変換して間引き処理部２２６へ出力する。
　間引き処理部２２６は、色空間変換後の画像信号について間引き処理を行い、回路部２２ａが設けられていない撮像素子と用いた場合と同様に、画素毎に１つの色成分を示す画像信号を生成してプロセッサ部３０へ出力する。
　プロセッサ部３０のデモザイク処理部３１は、撮像素子２０から出力された第２の色空間の画像信号を用いてデモザイク処理を行う。デモザイク処理部３１は、デモザイク処理として例えば局所領域において所定の色成分と他の色成分との色相関があるとの推定に基づく色相関補間処理を行う。デモザイク処理部３１は、色相関補間処理によって、画素毎に１つの色成分を示した画像信号から画素毎に各色成分を示した画像信号を生成して出力色空間変換部３２へ出力する。
　出力色空間変換部３２は、デモザイク処理部３１から供給された画像信号に対して色空間変換を行い、画像信号を出力する際の所定の第３の色空間の画像信号、例えはｓＲＧＢ色空間の画像信号に変換して出力する。出力色空間変換部３２から出力された画像信号は、例えばカメラ信号処理部に供給してガンマ補正やホワイトバランス調整等の現像処理を行ってもよく、外部機器や記録媒体等に出力してもよい。なお、図３は、ｓＲＧＢ分光特性（等色関数に相当）を示している。
　このように構成された撮像装置において、プロセッサ部３０のデモザイク処理部３１で例えば色相関補間方式を用いてデモザイク処理を行うと、撮像素子２０からの画像信号が第１の色空間であるＲＧＢ色空間である場合、赤色成分の周波数で緑色成分が少ないことから赤色成分の解像度が低下する。このため、回路部２２ａの信号処理部２２２で高画質化処理を行っても、デモザイク処理部３１で生成された画像信号に基づく画像は画質が劣化した画像となってしまう。したがって、第１色空間変換部２２３は、信号処理部２２２から供給されるＲＧＢ色空間の画像信号を、プロセッサ部３０から出力するｓＲＧＢ色空間の画像信号への変換に適した第２の色空間の画像信号に変換する。
　ここで、色相関補間方式を用いてデモザイク処理を行う場合、上述のように解像度情報の最も多い色（例えば緑色）の成分が少ないと、他の色（例えば赤色）の解像度が低下する。したがって、第１色空間変換部２２３は、解像度情報が最も多い色成分の帯域が広い信号特性を有する色空間、例えばＸＹＺ色空間を第２の色空間として、ＲＧＢ色空間の画像信号をＸＹＺ色空間の画像信号に変換する。
　図４はＸＹＺ分光特性（等色関数）を示しており、刺激値Ｙ（明るさと緑に関する量）の帯域が広く、例えば刺激値Ｘ（赤に関する量）の周波数で刺激値Ｙの成分が多く含まれている。このため、プロセッサ部３０のデモザイク処理部３１で撮像素子２０から出力された画像信号のデモザイク処理を行った場合、刺激値Ｘ（赤に関する量）の解像度の低下を防止できる。
　ところで、プロセッサ部３０のデモザイク処理部３１では、一般的に負の信号を想定していないため、撮像素子２０から出力される画像信号に負の感度が含まれると画質や色解像度の低下を生じるおそれがある。撮像素子２０から出力される画像信号を例えばｓＲＧＢ色空間とした場合、ｓＲＧＢ色空間では図３に示すように負の信号を生じる場合がある。このため、例えば緑色に対する色相関を用いてデモザイク処理を行った場合、緑色成分が「０」の付近では緑色に対する赤色や青色の色比の不連続性が生じて画質の劣化を生じるおそれがある。また、緑色成分が「０」の付近では緑色成分と赤色成分（青色成分）との相関が低いため、色解像度の低下を生じるおそれがある。しかし、図４に示すＸＹＺ色空間では負の信号を生じない。したがって、第１色空間変換部２２３は、ＲＧＢ色空間の画像信号をＸＹＺ色空間の画像信号に変換することで、プロセッサ部３０でデモザイク処理が行われても画質や色解像度の低下を防止できる。
　＜２．第２の実施の形態＞
　次に、第２の実施の形態について説明する。色空間の変換はリニアマトリクス処理によって行われるが、ノイズや偽色はリニアマトリクス処理によって増幅されてしまうことが知られている。そこで、第２の実施の形態では、プロセッサ部３０で所定の色空間の画像信号への色空間変換を行う場合にノイズや偽色を抑えることができるように、撮像素子２０で画像信号の色空間変換を行う場合について説明する。
　図５は、第２の実施の形態の構成を例示している。撮像装置１０は、撮像素子２０とプロセッサ部３０を有している。撮像素子２０は、センサ部２１と回路部２２ｂを有しており、回路部２２ｂには、デモザイク処理部２２１、信号処理部２２２、第２色空間変換部２２４、間引き処理部２２６が設けられている。プロセッサ部３０は、デモザイク処理部３１と出力色空間変換部３２を有している。
　撮像素子２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成されており、センサ部２１の光入射面には例えば赤色Ｒと緑色Ｇと青色Ｂの画素をベイヤー配列とするカラーフィルタが設けられている。センサ部２１は、画素毎に赤色成分と緑色成分と青色成分のいずれか１つの色成分を示す画素信号を生成して回路部２２ｂへ出力する。
　回路部２２ｂのデモザイク処理部２２１は、画素信号を用いてデモザイク処理を行う。デモザイク処理部２２１は、デモザイク処理を行い画素毎に赤色成分と緑色成分と青色成分を示した画像信号を生成して信号処理部２２２へ出力する。
　信号処理部２２２は、上述のようにデモザイク処理部２２１から供給された画像信号に対して高画質化処理等を行い、処理後の画像信号を第２色空間変換部２２４へ出力する。
　第２色空間変換部２２４は、信号処理部２２２から供給される第１の色空間の画像信号を、プロセッサ部３０から出力する第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換して間引き処理部２２６へ出力する。また、第２色空間変換部２２４は、例えば、第１の色空間の画像信号を第２の色空間の信号に変換することで、プロセッサ部３０でデモザイク処理が行われても画質や色解像度の低下を防ぐことができるようにする。さらに、第２色空間変換部２２４は、第１の色空間の画像信号を第２の色空間の信号に変換することで、プロセッサ部３０で第３の色空間への変換を行うときにノイズや偽色を抑えることができるようにする。
　間引き処理部２２６は、色空間変換後の画像信号について間引き処理を行い、回路部２２ｂが設けられていない撮像素子と用いた場合と同様に、画素毎に１つの色成分を示す画像信号を生成してプロセッサ部３０へ出力する。
　プロセッサ部３０のデモザイク処理部３１は、上述のように撮像素子２０から出力された色空間変換後の画像信号を用いてデモザイク処理を行う。デモザイク処理部３１は、デモザイク処理を行い、画素毎に各色成分を示した画像信号を生成して出力色空間変換部３２へ出力する。
　出力色空間変換部３２は、デモザイク処理部３１から供給された画像信号に対して色空間変換を行い、画像信号を出力する際の所定の第３の色空間の画像信号、例えはｓＲＧＢ色空間の画像信号に変換して出力する。出力色空間変換部３２から出力された画像信号は、例えばカメラ信号処理部に供給して現像処理を行ってもよく、外部機器や記録媒体等に出力してもよい。
　次に、第２色空間変換部２２４で用いる色空間の最適化について説明する。色空間の最適化では例えば出力色空間を色空間変換前の最適色空間に変換する場合のリニアマトリクス係数を式（１）に示すようにリニアマトリクス係数ＬＭ（Ｐ）とする。また、最適色空間を出力色空間に変換する場合のリニアマトリクス係数を式（２）に示すようにリニアマトリクス係数ＬＭ（Ｑ）とする。なお、以下の説明では例えば出力色空間をｓＲＧＢ色空間、最適色空間をＣＳ色空間とする。
Figure JPOXMLDOC01-appb-M000001
　ｓＲＧＢ色空間をＣＳ色空間に変換する場合、式（３）に基づき、ｓＲＧＢ色空間ある周波数λでの画素（ｒλ，ｇλ，ｂλ）をＣＳ色空間の画素（ｒ’λ，ｇ’λ，ｂ’λ）に変換できる。
Figure JPOXMLDOC01-appb-M000002
　ここで、ＣＳ色空間の成分ｒ’λは、式（４）に基づいて算出できる。また、このときのノイズが成分ｒλ，ｇλ，ｂλと相関のないノイズとすると、成分ｒ’λの分散Ｖａｒ（ｒ’λ）は、式（５）のように定義できる。また、式（５）において、成分ｒλ，ｇλ，ｂλのノイズレベルが等しく式（６）に示す関係が成立すると仮定すると、式（５）は式（７）となる。すなわち、成分ｒ’λのノイズレベルを示す分散Ｖａｒ（ｒ’λ）は、成分ｒλのノイズレベルを示す分散Ｖａｒ（ｒλ）に対して係数「ａ１２＋ａ２２＋ａ３２」を乗算した値となる。したがって、リニアマトリクス係数ＬＭ（Ｐ）を用いた場合の色空間変換において、係数「ａ１２＋ａ２２＋ａ３２」は、成分ｒλから成分ｒ’λへのノイズ伝達関数となる。
　ｒ’λ＝ａ１・ｒλ＋ａ２・ｇλ＋ａ３・ｂλ　　　　　　　・・・（４）

　Ｖａｒ（ｒ’λ）＝　 ａ１２＊Ｖａｒ（ｒλ）
 　　　　　　　　　　＋ａ２２＊Ｖａｒ（ｇλ）
　 　　　　　　　　　＋ａ３２＊Ｖａｒ（ｂλ）　　　　　　・・・（５）

　Ｖａｒ（ｒλ）＝Ｖａｒ（ｇλ）＝Ｖａｒ（ｂλ）　　　　　・・・（６）

　Ｖａｒ（ｒ’λ）＝（ａ１２＋ａ２２＋ａ３２）＊Ｖａｒ（ｒλ）・・・（７）
　また、同様にして、成分ｇλから成分ｇ’λへのノイズ伝達関数、成分ｂλから成分ｂ’λへのノイズ伝達関数を求めることができる。さらに、リニアマトリクス係数ＬＭ（Ｑ）を用いた場合の色空間変換における成分ｒ’λから成分ｒλへのノイズ伝達関数、成分ｇ’λから成分ｇλへのノイズ伝達関数、成分ｂ’λから成分ｂλへのノイズ伝達関数も同様にして求めることができる。
　色空間の最適化では、ノイズ伝達関数値が可能な限り小さくなるようにリニアマトリクス係数を決定する。例えば、式（８）に基づき、リニアマトリクス係数ＬＭ（Ｐ）によるノイズ伝達関数値とリニアマトリクス係数ＬＭ（Ｑ）によるノイズ伝達関数値の和が最小となる係数を求める。
　ＭＩＮ（ａ１２＋ａ２２＋ａ３２＋ｂ１２＋ｂ２２＋ｂ３２
　　　　＋ｃ１２＋ｃ２２＋ｃ３２）＋（ｄ１２＋ｄ２２＋ｄ３２
　　　　＋ｅ１２＋ｅ２２＋ｅ３２＋ｆ１２＋ｆ２２＋ｆ３２）×Ｊ・・・（８）
　なお、ｓＲＧＢ色空間をＣＳ色空間に変換する場合のリニアマトリクス係数ＬＭ（Ｐ）によるノイズ伝達関数は、最適化した色空間を算出するための安定化項である。また、ＣＳ色空間をｓＲＧＢ色空間に変換する場合のリニアマトリクス係数ＬＭ（Ｑ）によるノイズ伝達関数が目的関数である。係数Ｊは、安定化のための係数であり例えばＪ＝１とする。
　また、色空間の最適化では画質や色解像度の低下およびノイズや偽色を防ぐことができるように制約条件を設ける。
　制約条件１）解像度情報の最も多い色成分は負の感度を持たないようにする。上述のように色相関補間方式を用いてデモザイク処理を行う場合、解像度情報の最も多い色成分が「０」の付近では他の色との色比の不連続性が生じて画質の劣化を生じるおそれがある。したがって、ＣＳ色空間では、例えば「ｍｉｎ（ｇ’λ）＞０」として、緑色に対する色相関を利用したデモザイク処理が行われても画質の劣化を生じないようにする。
　制約条件２）解像度情報の最も多い色成分が所定量以上の感度を持つようにする。上述のように色相関補間方式を用いてデモザイク処理を行う場合、解像度情報の最も多い色成分の帯域が狭いと色解像度が低下する。したがって、例えば負の値を生じないＸＹＺ色空間の色成分を用いて、ＣＳ色空間では「ｒ’λ＞ＭＡＸ（Ｘλ，Ｙλ、Ｚλ）×Ｋ」として、感度を持つ量を係数Ｋで調整する。例えば係数Ｋを「０．２」とすることで、ＸＹＺ色空間の各色成分の２０パーセント以上の感度を持つようにする。
　制約条件３）リニアマトリクス係数の対角成分を最大として重解を防止する。すなわち、「ｍａｘ（ｄ２，ｄ３≦ｄ１」かつ「ｍａｘ（ｅ１，ｅ３≦ｅ２」かつ「ｍａｘ（ｆ１，ｆ２≦ｆ３」となるリニアマトリクス係数ＬＭ（Ｑ）を決定する。
　制約条件４）リニアマトリクス係数は単位行列とする。すなわち、「ＬＭ（Ｐ）ＬＭ（Ｑ）＝ＬＭ（Ｑ）ＬＭ（Ｐ）＝Ａ」として、ｓＲＧＢ色空間とＣＳ色空間との間で双方向の変換を可能とする。
　制約条件５）リニアマトリクス係数の総和を「１」、色空間変換における利得を「１」とする。すなわち、信号の増幅または圧縮を生ずることなく色空間を変換する場合、式（９）を満たすようにリニアマトリクス係数ＬＭ（Ｑ）を決定する。
Figure JPOXMLDOC01-appb-M000003
　色空間の最適化では、以上のような制約条件を満たして、ノイズ伝達関数値が最も小さくなるリニアマトリクス係数を算出する。なお、リニアマトリクス係数の算出は、一般的に用いられている最小化手法を用いればよい。また、色空間最適化の制約条件は一例であり、インタフェース条件等に応じて制約条件の追加や削除、変更等を行ってもよい。
　図６はＣＳ分光特性（等色関数）を示している。また、図７は、ｓＲＧＢ色空間への色空間変換を行う場合のリニアマトリクス係数とノイズ伝達関数値を示している。図７の（ａ）は、ＣＳ色空間からｓＲＧＢ色空間への色空間変換を行う場合、図７の（ｂ）は、ＸＹＺ色空間からｓＲＧＢ色空間への色空間変換を行う場合を示している。なお、図７の（ｃ）は、ＲＧＢ色空間からｓＲＧＢ色空間への色空間変換を行う場合である。
　第２色空間変換部２２４は、信号処理部２２２から供給された画像信号を、色空間の最適化によって設定したＣＳ色空間の画像信号に変換して間引き処理部２２６へ出力する。
　このようなＣＳ色空間では、図６に示すように、緑色に関する成分の帯域が広く、赤色や青色の周波数で緑色に関する成分が多く含まれている。このため、プロセッサ部３０のデモザイク処理部３１で撮像素子２０から出力された画像信号のデモザイク処理では、赤色や青色の解像度の低下を防止できる。また、緑色に関する成分は負の信号にならないことから色解像度の低下を防止できる。さらに、図７から明らかなようにＣＳ色空間を用いればノイズ伝達関数値が最も小さい。したがって、プロセッサ部３０の出力色空間変換部３２でＣＳ色空間の画像信号をｓＲＧＢ色空間の画像信号に変換する色空間変換では、ノイズや偽色を抑えることができる。
　なお、ＣＳ色空間では、赤色と青色に関して負の信号を生じる場合があり、プロセッサ部の入力が負の信号に対応していない場合は、所定のオフセット量を付加することで対応できる。
　＜３．他の実施の形態＞
　ところで、上述の実施の形態は、画面全体が同一色空間である場合を説明したが、接続に用いる色空間は画素毎または複数画素からなる画像領域毎に適応的に切り換えてもよい。また、撮像素子２０とプロセッサ部３０の接続に用いる色空間は、上述の第１の実施の形態の色空間や第２の実施の形態の色空間に限らず例えば出力色空間を用いてもよい。
　図８は、出力色空間を用いて接続する場合の構成を示した図である。撮像装置１０は、撮像素子２０とプロセッサ部３０を有している。撮像素子２０は、センサ部２１と回路部２２ｃを有しており、回路部２２ｃには、デモザイク処理部２２１、信号処理部２２２、第３色空間変換部２２５、間引き処理部２２６が設けられている。プロセッサ部３０は、デモザイク処理部３１を有している。
　撮像素子２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成されており、センサ部２１の光入射面には例えば赤色Ｒと緑色Ｇと青色Ｂの画素をベイヤー配列とするカラーフィルタが設けられている。センサ部２１は、画素毎に赤色成分と緑色成分と青色成分のいずれか１つの色成分を示す画素信号を生成して回路部２２ｃのデモザイク処理部２２１へ出力する。
　デモザイク処理部２２１は、画素信号を用いてデモザイク処理を行う。デモザイク処理部２２１は、デモザイク処理を行い画素毎に赤色成分と緑色成分と青色成分を示した画像信号を生成して信号処理部２２２へ出力する。
　信号処理部２２２は、上述のようにデモザイク処理部２２１から供給された画像信号に対して高画質化処理等を行い、処理後の画像信号を第３色空間変換部２２５へ出力する。
　第３色空間変換部２２５は、信号処理部２２２から供給される画像信号を、プロセッサ部３０から出力する画像信号の色空間に変換する。
　間引き処理部２２６は、第３色空間変換部２２５から供給された画像信号について間引き処理を行い、回路部２２ｃが設けられていない撮像素子と用いた場合と同様に、画素毎に１つの色成分を示す画像信号を生成してプロセッサ部３０へ出力する。
　プロセッサ部３０のデモザイク処理部３１は、上述のように撮像素子２０から出力された色空間変換後の画像信号を用いてデモザイク処理を行う。デモザイク処理部３１は、デモザイク処理を行い、画素毎に各色成分を示した画像信号を生成する。なお、デモザイク処理部３１から出力された画像信号は、例えばカメラ信号処理部に供給して現像処理を行ってもよく、外部機器や記録媒体等に出力してもよい。
　ここで、例えばセンサ部２１の色空間をＲＧＢ色空間、出力色空間をｓＲＧＢ色空間とした場合、図３から明らかなように　ｓＲＧＢ色空間では緑成分で負の信号を生じる場合があり、プロセッサ部３０で例えば緑色に対する色相関を用いてデモザイク処理を行った場合、緑色成分が「０」の付近では色解像度の低下等を生じるおそれがある。また、図７から明らかなようにＲＧＢ色空間からｓＲＧＢ色空間への色空間変換におけるノイズ伝達関数値は小さく、色空間変換によってノイズや偽色が増幅されてしまうことを抑えることができる。したがって、負の信号を生じないような画像領域に対してｓＲＧＢ色空間で接続を行えば、プロセッサ部３０のデモザイク処理部３１から出力される画像はノイズや偽色が少なく、色解像度の劣化等を目立たなくできる。
　そこで、接続に用いる色空間を画素毎または複数画素からなる画像領域毎に適応的に切り換える場合、撮像装置１０は、画像の特徴と色空間変換の特性に応じて接続に用いる色空間を選択する。例えばエッジ部分やディテール部分では、解像度等が低くなると画質の低下が顕著となる。したがって、エッジ部分やディテール部分等の領域では、解像度情報の最も多い色成分の帯域が広い特性を有する色空間を選択する。また、平坦部ではノイズが目立ちやすいことから、平坦部の領域では、ノイズ伝達関数値の小さい色空間を選択して、ノイズの増加を抑えるようにする。また、選択対象の色空間で解像度情報の最も多い色成分の信号が負の信号となり色解像度の低下等を生じるおそれがある場合には、負の信号となる色の領域では、他の色空間を選択する。
　平坦部やエッジ部等の領域判別は、画像信号から算出した特徴量に基づいて判別する。例えば、平坦部では画素間の信号レベル差が少ない。したがって、画像信号に基づく画像の平坦度情報、具体的には注目画素の位置を基準とした所定範囲におけるダイナミックレンジを特徴量とする。ここで、ダイナミックレンジが第１の閾値よりも小さい場合は平坦部、ダイナミックレンジが第２の閾値（第１の閾値≦第２の閾値）以上の場合はエッジ部と判別する。なお、特徴量は、一次微分系の特徴量（例えば隣接画素絶対差分値やその和）、周波数成分に基づく特徴量等を用いてもよい。また、１つの特徴量を用いる場合に限らず複数の特徴量を組み合わせて利用して、平坦部やエッジ部等の領域判別を行うようにしてもよい。また、負の信号となる色の領域の判別は、例えばフィルタ等を用いて負の信号となる色領域の抽出等を行えばよい。
　色空間を適応的に切り換える場合、撮像素子２０の回路部は、信号処理部から出力された画像信号の色空間変換を行い、選択可能な色空間例えばＸＹＺ色空間とＣＳ色空間とｓＲＧＢ色空間、またはこれらのいずれか２つの色空間の画像信号を生成する。さらに、回路部は、色空間毎の画像信号に対して間引き処理を色空間毎に行ってプロセッサ部３０に出力する。プロセッサ部３０は選択可能な色空間毎にデモザイク処理を行う。また、プロセッサ部３０は、画像の特徴や色空間変換の特性に応じて最適な色空間を判別して、判別した色空間のデモザイク処理後の画像信号を選択する。さらに、プロセッサ部３０は、選択した画像信号の色空間が出力色空間でない場合、選択した画像信号の色空間を出力色空間に変換する。
　このように、画像の特徴と色空間変換の特性に応じて画素毎または画像領域毎に色空間を選択すれば、画質や色解像度の低下およびノイズや偽色の少ない出力色空間の画像信号を生成できる。
　また、上述の実施の形態では、撮像素子２０のセンサ部２１でＲＧＢ色空間の画素信号を生成する場合について説明したが、色空間はＲＧＢ色空間に限らず他の色空間であってもよい。例えば、赤色と緑色と白色の画素からなるカラーフィルタを用いて、ＷＲＧ色空間の画素信号を生成してもよい。また、出力色空間もｓＲＧＢ色空間に限らず他の色空間であってもよい。
　なお、表１は、接続色空間と上述の最適な色空間の条件との対応関係を一覧として示しており、接続色空間は撮像素子２０からプロセッサ部３０に供給される画像信号の色空間である。ここで、○印は条件を満たしており、×印は条件を満たさないことを示している。また、△印は、中間の状態である。また、○－印は○印に比べて条件を満たしていないことを示している。
Figure JPOXMLDOC01-appb-T000004
　表２は、接続色空間毎の性能評価を一覧として示している。ここで、○印は良好な性能を満たしており、×印は所望の性能が得られていないことを示している。また、△印は、中間の状態である。また、○－印は○印に比べて性能が低いことを示している。
Figure JPOXMLDOC01-appb-T000005
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。また、画像処理装置は、撮像装置と別個に設けられている構成であってもよい。例えば撮像素子のセンサ部で生成された画像信号を記録媒体に記録して、この記録媒体に記録されている画像信号の信号処理を行う信号処理システムに適用することも可能である。
　図９は、画像処理装置の動作を示すフローチャートである。ステップＳＴ１で画像処理装置は第１の色空間の画像信号を取得する。画像処理装置は、センサ部または記憶装置等から第１の色空間の画像信号を取得してステップＳＴ２に進む。
　ステップＳＴ２で画像処理装置は色空間変換を行う。画像処理装置は、第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換してステップＳＴ３に進む。
　ステップＳＴ３で画像処理装置は、間引き処理を行う。画像処理装置は、画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して第３の色空間の画像信号を出力する信号処理部に対応するように、第２の色空間の画像信号の間引き処理を行う。画像処理装置は、間引き処理を行うことで、画素毎に第２の色空間の各色成分を示す画像信号から画素毎に１つの色成分を示す画像信号を生成する。
　ソフトウェアによる処理を実行する場合は、図９の処理を記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部と、
　画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して前記第３の色空間の画像信号を出力する信号処理部に対応するように、前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から画素毎に１つの色成分を示す画像信号を生成する間引き処理部と
を備える画像処理装置。
　（２）　前記第２の色空間は、解像度情報の最も多い色成分の周波数帯域が前記第３の色空間における解像度情報の最も多い色成分の周波数帯域よりも広い色空間とする（１）に記載の画像処理装置。
　（３）　前記第２の色空間は、前記第２の色空間から前記第３の色空間への色変換におけるノイズ伝達関数値が、前記第１の色空間から前記第３の色空間への色変換よりも少ない色空間とする（１）または（２）に記載の画像処理装置。
　（４）　前記第２の色空間は、解像度情報の多い色成分で負の感度を生じない色空間とする（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記第２の色空間は、解像度情報の多い色成分がＸＹＺ色空間の各色成分に対して所定割合以上の感度を有する色空間とする（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）　前記色空間変換部は、前記第１の色空間の画像信号を、前記第２の色空間と前記第３の色空間または異なる複数の前記第２の色空間を含む各色空間の画像信号に変換して、
　前記間引き処理部は、前記各色空間の画像信号に対して間引き処理を行う（１）乃至（５）のいずれかに記載の画像処理装置。
　この技術の画像処理装置と画像処理方法および撮像素子と撮像装置では、第１の色空間の画像信号は、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換される。また、画素毎に第２の色空間の各色成分を示す変換後の画像信号は、画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して第３の色空間の画像信号を出力する信号処理部に対応するように間引き処理が行われて、画素毎に第２の色空間の１つの色成分を示す画像信号とされる。このため、この画素毎に第２の色空間の１つの色成分を示す画像信号を撮像素子から出力して信号処理部で処理することにより画質の低下等を防ぐことができる。したがって、撮像機能を有する機器や撮像画の処理等を行う機器に適している。
　１０・・・撮像装置
　２０・・・撮像素子
　２１・・・センサ部
　２２ａ，２２ｂ，２２ｃ・・・回路部
　３０・・・プロセッサ部
　３１，２２１・・・デモザイク処理部
　３２・・・出力色空間変換部
　２２２・・・信号処理部
　２２３・・・第１色空間変換部
　２２４・・・第２色空間変換部
　２２５・・・第３色空間変換部
　２２６・・・間引き処理部

Claims (13)

  1. 　第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部と、
    　画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して前記第３の色空間の画像信号を出力する信号処理部に対応するように、前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から画素毎に１つの色成分を示す画像信号を生成する間引き処理部と
    を備える画像処理装置。
  2. 　前記第２の色空間は、解像度情報の最も多い色成分の周波数帯域が前記第３の色空間における解像度情報の最も多い色成分の周波数帯域よりも広い色空間とする
    請求項１記載の画像処理装置。
  3. 　前記第２の色空間は、前記第２の色空間から前記第３の色空間への色変換におけるノイズ伝達関数値が、前記第１の色空間から前記第３の色空間への色変換よりも少ない色空間とする
    請求項１記載の画像処理装置。
  4. 　前記第２の色空間は、解像度情報の多い色成分で負の感度を生じない色空間とする
    請求項１記載の画像処理装置。
  5. 　前記第２の色空間は、解像度情報の多い色成分がＸＹＺ色空間の各色成分に対して所定割合以上の感度を有する色空間とする
    請求項１記載の画像処理装置。
  6. 　前記色空間変換部は、前記第１の色空間の画像信号を、前記第２の色空間と前記第３の色空間または異なる複数の前記第２の色空間を含む各色空間の画像信号に変換して、
    　前記間引き処理部は、前記各色空間の画像信号に対して間引き処理を行う
    請求項１記載の画像処理装置。
  7. 　第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部を備え、
    　前記第２の色空間は、解像度情報の最も多い色成分の周波数帯域が前記第３の色空間における解像度情報の最も多い色成分の周波数帯域よりも広く、前記第２の色空間から前記第３の色空間への色変換におけるノイズ伝達関数値が、前記第１の色空間から前記第３の色空間への色変換よりも少なく、前記解像度情報の多い色成分で負の感度を生じない色空間とする画像処理装置。
  8. 　色空間変換部で、第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換することと、
    　画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して第３の色空間の画像信号を出力する信号処理部に対応するように、間引き処理部で前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から１つの色成分を示す画像信号を生成すること
    を含む画像処理方法。
  9. 　第１の色空間の画像信号を生成するセンサ部と、
    　前記画像信号の信号処理を行う回路部とを備え、
    　前記回路部は、
    　前記第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部と、
    　画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して前記第３の色空間の画像信号を出力する信号処理部に対応するように、前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から１つの色成分を示す画像信号を生成する間引き処理部と
    を有する撮像素子。
  10. 　前記回路部は、
    　画素毎に色空間の１つの色成分を示す前記画像信号から画素毎に各色成分を示す画像信号を生成するデモザイク処理部と、
    　前記デモザイク処理部で生成された画像信号の高画質化処理を行う信号処理部をさらに有し、
    　前記色空間変換部は、前記信号処理部で高画質化処理が行われた前記第１の色空間の画像信号を第２の色空間の画像信号に変換する
    請求項９記載の撮像素子。
  11. 　撮像素子と前記撮像素子から出力された画像信号を用いて信号処理を行うプロセッサ部を有し、
    　前記撮像素子は、
    　第１の色空間の画像信号を生成するセンサ部と、
    　前記第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部と、
    　前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から画素毎に１つの色成分を示す画像信号を生成する間引き処理部を備え、
    　前記プロセッサ部は、
    　画素毎に色空間の１つの色成分を示す画像信号から画素毎に各色成分を示す画像信号を生成するデモザイク処理部と、
    　前記デモザイク処理部で生成された画像信号を前記第３の色空間で出力する信号出力部を備える
    を備える撮像装置。
  12. 　前記プロセッサ部は、複数の色空間の画像信号からいずれかの画像信号を選択する画像信号選択部をさらに備え、
    　前記色空間変換部は、前記第１の色空間の画像信号を、前記第２の色空間と前記第３の色空間または異なる複数の前記第２の色空間を含む各色空間の画像信号に変換して、
    　前記画像信号選択部は、前記デモザイク処理部で生成された色空間毎の画像信号から、前記画像信号に基づく画像の特徴と色空間変換の特性に応じて画像信号を選択して、
    　前記信号出力部は、前記画像信号選択部で選択された画像信号を出力する
    請求項１１記載の撮像装置。
  13. 　前記画像信号選択部は、前記画像の特徴として平坦度情報を用いる
    請求項１２記載の撮像装置。
PCT/JP2016/056192 2015-05-20 2016-03-01 画像処理装置と画像処理方法および撮像素子と撮像装置 WO2016185756A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017519038A JP6760276B2 (ja) 2015-05-20 2016-03-01 画像処理装置と画像処理方法および撮像素子と撮像装置
CN201680027617.XA CN107615760B (zh) 2015-05-20 2016-03-01 图像处理装置、图像处理方法、成像元件以及成像装置
US15/570,881 US10467728B2 (en) 2015-05-20 2016-03-01 Image processing apparatus and image processing method, and image pickup element and image pickup apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015102835 2015-05-20
JP2015-102835 2015-05-20

Publications (1)

Publication Number Publication Date
WO2016185756A1 true WO2016185756A1 (ja) 2016-11-24

Family

ID=57319857

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/056192 WO2016185756A1 (ja) 2015-05-20 2016-03-01 画像処理装置と画像処理方法および撮像素子と撮像装置

Country Status (4)

Country Link
US (1) US10467728B2 (ja)
JP (1) JP6760276B2 (ja)
CN (1) CN107615760B (ja)
WO (1) WO2016185756A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180183998A1 (en) * 2016-12-22 2018-06-28 Qualcomm Incorporated Power reduction and performance improvement through selective sensor image downscaling
US11615763B2 (en) * 2020-11-05 2023-03-28 Samsung Electronics Co., Ltd. Color gamut compression and extension
CN118176738A (zh) * 2021-10-28 2024-06-11 特里普拉里·辛格 捕获彩色图像的方法和***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260693A (ja) * 2004-03-12 2005-09-22 Seiko Epson Corp 照明光源に応じた座標変換を施して画像を再生する画像再生方法
JP2006211369A (ja) * 2005-01-28 2006-08-10 Pentax Corp 色変換マトリクス算出方法および画像信号処理装置
JP2006222783A (ja) * 2005-02-10 2006-08-24 Seiko Epson Corp 色変換テーブルの作成
JP2010507281A (ja) * 2006-10-13 2010-03-04 アップル インコーポレイテッド 予め設定された階調再現曲線を使用して画像を処理するためのシステム及び方法
JP2011223452A (ja) * 2010-04-13 2011-11-04 Nippon Hoso Kyokai <Nhk> 色補正装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636473B2 (en) * 2004-03-12 2009-12-22 Seiko Epson Corporation Image color adjustment
RU2352081C2 (ru) * 2004-06-30 2009-04-10 Кониклейке Филипс Электроникс, Н.В. Выделение доминирующего цвета с использованием законов восприятия для создания окружающего освещения, получаемого из видеоконтента
US7773127B2 (en) * 2006-10-13 2010-08-10 Apple Inc. System and method for RAW image processing
JP4666050B2 (ja) * 2008-02-01 2011-04-06 セイコーエプソン株式会社 色変換装置、画像出力装置及び色変換方法
JP2012244449A (ja) 2011-05-20 2012-12-10 Sony Corp 画像処理装置および画像処理方法、学習装置および学習方法、プログラム、並びに記録媒体
JP5868076B2 (ja) * 2011-08-31 2016-02-24 キヤノン株式会社 画像処理装置及び画像処理方法
JP2014115863A (ja) * 2012-12-11 2014-06-26 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2014200000A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260693A (ja) * 2004-03-12 2005-09-22 Seiko Epson Corp 照明光源に応じた座標変換を施して画像を再生する画像再生方法
JP2006211369A (ja) * 2005-01-28 2006-08-10 Pentax Corp 色変換マトリクス算出方法および画像信号処理装置
JP2006222783A (ja) * 2005-02-10 2006-08-24 Seiko Epson Corp 色変換テーブルの作成
JP2010507281A (ja) * 2006-10-13 2010-03-04 アップル インコーポレイテッド 予め設定された階調再現曲線を使用して画像を処理するためのシステム及び方法
JP2011223452A (ja) * 2010-04-13 2011-11-04 Nippon Hoso Kyokai <Nhk> 色補正装置

Also Published As

Publication number Publication date
US20180293704A1 (en) 2018-10-11
JPWO2016185756A1 (ja) 2018-03-08
JP6760276B2 (ja) 2020-09-23
CN107615760B (zh) 2021-03-12
US10467728B2 (en) 2019-11-05
CN107615760A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
JP5546229B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5349790B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5045421B2 (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
US8508625B2 (en) Image processing apparatus
JP5441652B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
US8305459B2 (en) Image processing apparatus and camera module
EP1959681A2 (en) Image processing device and method, recording medium, and program
JP2011123589A5 (ja)
JP2012165204A (ja) 信号処理装置、信号処理方法、撮像装置及び撮像処理方法
JP6760276B2 (ja) 画像処理装置と画像処理方法および撮像素子と撮像装置
JP2008311874A (ja) 画像処理装置、画像処理プログラム、画像処理方法
WO2016111020A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
JP5701640B2 (ja) 画像処理装置
WO2015098243A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP5398667B2 (ja) 画像処理装置
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP5907590B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5631769B2 (ja) 画像処理装置
JP2010178226A (ja) 撮像装置、色収差抑制方法、色収差抑制回路及びプログラム
US20060092174A1 (en) Color noise suppressing system
US10419735B2 (en) Image processing apparatus for tone conversion, image processing method for tone conversion, and storage medium
JP4702088B2 (ja) 画像信号のノイズ低減方法、ノイズ低減装置及び撮像装置
JP2019186855A (ja) 映像信号変換装置及びプログラム
US9531956B2 (en) Image display apparatus that adjusts pixel gradation values using a lower limit value and control method thereof
US10440343B2 (en) Image processing apparatus, image processing method, and storage medium for performing tone conversion

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16796151

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017519038

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15570881

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16796151

Country of ref document: EP

Kind code of ref document: A1