WO2016098641A1 - 撮像装置、撮像方法、およびプログラム - Google Patents

撮像装置、撮像方法、およびプログラム Download PDF

Info

Publication number
WO2016098641A1
WO2016098641A1 PCT/JP2015/084390 JP2015084390W WO2016098641A1 WO 2016098641 A1 WO2016098641 A1 WO 2016098641A1 JP 2015084390 W JP2015084390 W JP 2015084390W WO 2016098641 A1 WO2016098641 A1 WO 2016098641A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
captured image
level
white balance
processing
Prior art date
Application number
PCT/JP2015/084390
Other languages
English (en)
French (fr)
Inventor
康司 倉田
泰史 佐藤
誠治 茅島
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/534,679 priority Critical patent/US10110825B2/en
Priority to JP2016564799A priority patent/JP6643250B2/ja
Publication of WO2016098641A1 publication Critical patent/WO2016098641A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Definitions

  • the present disclosure relates to an imaging device, an imaging method, and a program, and in particular, an imaging device, an imaging method, and an imaging method that can perform exposure control of a captured image of a non-Bayer array in an exposure control method of a captured image of a Bayer array. And program.
  • an integrator is provided before and after the separation, and an output from one is selected and used in accordance with the amount of invisible light component, thereby allowing exposure control (AE (Automatic Exposure) control) and white balance control (AWB (Automatic White). -Balance) control) is considered (for example, see Patent Document 2).
  • a captured image of a non-Bayer array such as a captured image of an RGBW pixel array including an invisible light component and a visible light component, in an exposure control method for a captured image of a Bayer array.
  • the present disclosure has been made in view of such a situation, and enables exposure control of a captured image of a non-Bayer array to be performed by an exposure control method of a captured image of a Bayer array.
  • An imaging apparatus when performing Bayerization processing on a captured image of a non-Bayer array, includes a front level that is a signal level of the most sensitive pixel of the captured image before Bayerization processing, and a Bayer Imaging apparatus comprising a level correction unit that corrects the signal level of the captured image so that the subsequent level, which is the signal level of the pixels used for exposure control of the Bayer array image, of the captured image after the digitization processing is the same It is.
  • the imaging method and program according to one aspect of the present disclosure correspond to the imaging apparatus according to one aspect of the present disclosure.
  • a previous level that is a signal level of the most sensitive pixel of the captured image before Bayerization processing
  • Bayerization processing The signal level of the captured image is corrected so that the subsequent level, which is the signal level of the pixels used for exposure control of the Bayer array image, of the subsequent captured image becomes the same.
  • imaging can be performed.
  • exposure control of a captured image of a non-Bayer array can be performed by an exposure control method for a captured image of a Bayer array.
  • FIG. 1 It is a block diagram showing an example of composition of a 1st embodiment of an imaging system containing an imaging device to which this indication is applied. It is a figure which shows the example of the transmittance
  • 3 is a flowchart for describing an imaging process of the imaging apparatus in FIG. 1.
  • FIG. 3 is a flowchart for describing an imaging process of the imaging apparatus in FIG. 1. It is a figure which shows the 1st structural example of IC chip of an imaging device. It is a figure which shows the 2nd structural example of IC chip of an imaging device. It is a figure which shows the 3rd structural example of IC chip of an imaging device. It is a figure which shows the 4th structural example of IC chip of an imaging device. It is a block diagram showing an example of composition of a 2nd embodiment of an imaging system containing an imaging device to which this indication is applied. It is a block diagram which shows the structural example of the Bayerization process part of FIG. 15 is a flowchart for describing imaging processing of the imaging apparatus of FIG.
  • FIG. 15 is a flowchart for describing imaging processing of the imaging apparatus of FIG. It is a figure which shows the example of a non-Bayer array other than an RGBW pixel array. It is a block diagram which shows the structural example of the hardware of a computer.
  • First Embodiment Imaging System (FIGS. 1 to 13) 2.
  • Second Embodiment Imaging System (FIGS. 14 to 17) 3. Another example of non-Bayer array (FIG. 18) 4).
  • Third Embodiment Computer (FIG. 19)
  • FIG. 1 is a block diagram illustrating a configuration example of a first embodiment of an imaging system including an imaging apparatus to which the present disclosure is applied.
  • the imaging system 10 in FIG. 1 includes an imaging device 11 and an IR (infrared light) projector 12. In the imaging system 10, images corresponding to infrared light and visible light reflected by the subject are captured.
  • IR infrared light
  • the imaging device 11 includes a lens 21, an optical filter 22, an image sensor 23, a Bayer processing unit 24, and a signal processing unit 25.
  • the light from the subject is incident on the lens 21 of the imaging device 11.
  • the lens 21 condenses incident light on the image sensor 23 via the optical filter 22.
  • the optical filter 22 transmits infrared light and visible light of the incident light.
  • the optical filter 22 may not be provided.
  • the image sensor 23 is a CMOS (Complementary Metal-Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor, and has RGBW pixel array pixels. For each pixel, the image sensor 23 is a color (red (R), green (G), blue (B), white (W)) corresponding to the pixel of the incident infrared light and visible light. Is picked up, and an electric signal corresponding to the amount of received light is generated as a pixel signal. Therefore, the pixel signal of each pixel obtained as a result of imaging includes an infrared light component and a visible light component as invisible light components. The image sensor 23 supplies a pixel signal of each pixel obtained as a result of imaging to the Bayerization processing unit 24 as a captured image.
  • CMOS Complementary Metal-Oxide Semiconductor
  • CCD Charge Coupled Device
  • the Bayerization processing unit 24 performs Bayerization processing (re-mosaic processing) on the non-Bayer array captured image supplied from the image sensor 23 to generate an RGB image of Bayer array (RGB pixel array).
  • the Bayerization processing unit 24 supplies the generated RGB image of the Bayer array to the signal processing unit 25.
  • the signal processing unit 25 is a signal processing unit for an existing Bayer array captured image.
  • the signal processing unit 25 uses the RGB image supplied from the Bayerization processing unit 24 to perform signal processing such as exposure control processing, white balance control processing, and YCbCr conversion processing in the same manner as the method for the captured image of the Bayer array. I do.
  • the signal processing unit 25 supplies a shutter gain representing the exposure amount obtained as a result of the exposure control process to the image sensor 23 to control the exposure amount of the captured image.
  • the signal processing unit 25 outputs a YCbCr image obtained as a result of performing the white balance control process and the YCbCr conversion process on the RGB image.
  • the IR projector 12 emits infrared light toward the subject at night when there is little visible light, for example.
  • FIG. 2 is a diagram illustrating an example of the light transmittance of each wavelength of the optical filter 22 of FIG.
  • the horizontal axis represents the wavelength (nm) of light passing through the optical filter 22
  • the vertical axis represents the transmittance (%) of the light.
  • the transmittance of visible light having a wavelength of about 390 nm to 660 nm and the transmittance of infrared light having a wavelength of about 820 nm to 910 nm are greater than 0%. Therefore, in the optical filter 22, visible light having a wavelength of about 390 nm to 660 nm and infrared light having a wavelength of about 820 nm to 910 nm pass.
  • FIG. 3 is a diagram for explaining pixel arrangements of images before and after the Bayerization processing by the Bayerization processing unit 24 in FIG.
  • the pixel array of the image before Bayerization processing that is, the captured image output from the image sensor 23 is an RGBW pixel array.
  • the pixel signal of each pixel includes an infrared light (IR) component.
  • the Bayerization processing unit 24 performs an Bayerization process on such an image before the Bayerization process, thereby generating an image of the RGB pixel array shown in FIG. 3B as an image after the Bayerization process. .
  • FIG. 4 is a block diagram illustrating a configuration example of the Bayerization processing unit 24 of FIG.
  • the Bayerization processing unit 24 includes a low frequency processing unit 41, a separation unit 42, a gain calculation unit 43, a white balance unit 44, a level correction unit 45, a YC conversion unit 46, a luminance synthesis unit 47, a saturation achromatic unit 48, a chroma gain.
  • the amplifier 49, the RGB conversion unit 50, the high frequency complementing unit 51, the high frequency extraction unit 52, the high frequency restoration processing unit 53, the inverse white balance unit 54, and the Bayerization unit 55 are configured.
  • the Bayerization processing unit 24 separates the captured image supplied from the image sensor 23 of FIG. 1 into a high frequency component and a low frequency component, and performs Bayerization processing.
  • the low-frequency processing unit 41 of the Bayerization processing unit 24 performs LPF (Low Pass Filter) processing and complement processing on the captured image supplied from the image sensor 23 for each pixel color of the image sensor 23. I do.
  • the low-frequency processing unit 41 includes low-frequency components (W + IR ) L , (R + IR ) L , (G + IR ) of pixel signals at the same time for each color of all pixels including the infrared light component generated as a result. ) L and (B + IR ) L are supplied to the separation unit 42, and the low frequency component (W + IR ) L is supplied to the gain calculation unit 43, luminance synthesis unit 47, high frequency extraction unit 52, and high frequency restoration processing unit 53. Supply.
  • LPF Low Pass Filter
  • the separation unit 42 is low.
  • the infrared light component and the visible light component contained in each of the frequency components (R + IR ) L , (G + IR ) L , and (B + IR ) L are separated by the following equation (1).
  • IR L represents the low-frequency component (R + IR) L, ( G + IR) L, an infrared light component contained in each of the (B + IR) L.
  • R L , G L , and B L are visible light components of low-frequency components (R + IR ) L , (G + IR ) L , and (B + IR ) L.
  • the separation unit 42 supplies the infrared light component IR L and the visible light components R L , G L , and B L obtained as a result of the separation to the gain calculation unit 43, and the visible light components R L , G L , and B L is supplied to the white balance unit 44.
  • the gain calculation unit 43 calculates the visible light components R L , G L, and white balance gain C WR of B L, C WG, a C WB calculated, and supplies the white balance unit 44.
  • AveR L, AveG L, AveB L respectively, the visible light component R L in one screen, the average value of G L, B L.
  • the gain calculation unit 43 calculates the reciprocal of the white balance gains C WR , C WG , and C WB and supplies the reciprocal to the reverse white balance unit 54.
  • the gain calculation unit 43 (correction gain calculation unit) includes a visible light component (signal level) G L (rear level) of a green pixel which is a pixel used for exposure control of a Bayer array captured image, and a low frequency. Based on the low-frequency component (signal level) (W + IR ) L (previous level) of the most sensitive white pixel in the captured image supplied from the processing unit 41, the following equation (3) Thus, the correction gain CE is calculated.
  • Ave (W + IR ) L is an average value of low frequency components (W + IR ) L in one screen.
  • the correction gain CE for calculating the visible light component G L (average value thereof) as the low frequency component (W + IR ) L (average value thereof) is calculated. Therefore, by multiplying the visible light component G L by the correction gain C E , the multiplied visible light component G L becomes the same as the low frequency component (W + IR ) L.
  • the gain calculation unit 43 supplies the correction gain CE to the level correction unit 45.
  • the white balance unit 44 is supplied from the gain calculation unit 43 to each of the visible light components R L , G L , and B L supplied from the separation unit 42 as shown in the following formula (4). Multiply the white balance gains CWR , CWG , CWB . Thereby, the ratio (white balance) of the visible light components R L , G L and B L is corrected.
  • R WL , G WL , and B WL are the corrected visible light components R L , G L , and B L , respectively.
  • the white balance unit 44 supplies the corrected visible light components R WL , G WL , and B WL to the level correction unit 45.
  • the level correction unit 45 adjusts the correction gain CE from the gain calculation unit 43 and the white so that the pixel signal of the green pixel of the RGB image after the Bayerization processing and the low frequency component (W + IR ) L are the same.
  • the visible light components R WL , G WL , and B WL are corrected by multiplying each of the visible light components R WL , G WL , and B WL from the balance unit 44.
  • the level correction unit 45 supplies the corrected visible light components R WL , G WL , and B WL to the YC conversion unit 46.
  • the YC conversion unit 46 converts the visible light components R WL , G WL , and B WL supplied from the level correction unit 45 into the luminance signal Y L and the color difference signals Cb L and Cr L according to the following equation (5). Convert. The YC conversion unit 46 supplies the luminance signal Y L to the luminance synthesis unit 47 and supplies the color difference signals Cb L and Cr L to the saturation achromatic unit 48.
  • the luminance synthesis unit 47 corrects the luminance signal Y L supplied from the YC conversion unit 46 based on the low frequency component (W + IR ) L supplied from the low frequency processing unit 41 by the following equation (6). To do.
  • a is a coefficient determined based on the luminance signal Y L and the infrared light component IR L. For example, when the average value of the luminance signal Y L in one screen is larger than a predetermined value, or when the average value of the infrared light component IR L in one screen is smaller than the predetermined value, the coefficient a is set to a relatively large value. The On the other hand, when the average value of the luminance signal Y L in one screen is equal to or smaller than a predetermined value, or when the average value of the infrared light component IR L in one screen is equal to or larger than the predetermined value, the coefficient a is a relatively small value. become.
  • Y L ′ is a corrected luminance signal.
  • the luminance synthesis unit 47 supplies the corrected luminance signal Y L ′ to the RGB conversion unit 50.
  • the saturation achromatic part 48 determines whether or not the low frequency component (W + IR ) L exceeds the saturation level that is the maximum level of the pixel signal corresponding to the charge that can be accumulated in the pixel. When the low frequency component (W + IR ) L exceeds the saturation level, the saturation achromatic part 48 multiplies the color difference signals Cb L and Cr L supplied from the YC conversion part 46 by a gain of less than 1, Remove the color.
  • the saturation achromatic part 48 when any of the low frequency components (W + IR ) L , (R + IR ) L , (G + IR ) L , and (B + IR ) L exceeds the saturation level, the accuracy of separation by the separation unit 42 is increased. The accuracy of the color difference signals Cb L and Cr L decreases. Therefore, when the low frequency component (W + IR ) L of the white pixel having the highest sensitivity exceeds the saturation level, the saturation achromatic part 48 has a low frequency component (W + IR ) L and (R + IR ) L. , (G + IR ) L , (B + IR ) L is judged to have exceeded the saturation level, and the color difference signals Cb L and Cr L are reduced. The saturated achromatic part 48 supplies the color difference signals Cb L and Cr L after achromatic to the chroma gain amplifier 49.
  • the saturation achromatic unit 48 supplies the color difference signals Cb L and Cr L supplied from the YC conversion unit 46 to the chroma gain amplifier 49 as they are. Supply.
  • the chroma gain amplifier 49 multiplies each of the color difference signals Cb L and Cr L supplied from the saturated achromatic part 48 by a chroma gain.
  • the chroma gain is set to 1 when the average value of the luminance signal Y L in one screen is larger than a predetermined value or when the average value of the infrared light component IR L in one screen is smaller than the predetermined value.
  • the average value of the luminance signal Y L is less than or equal to the predetermined value, or when the average value of the infrared light component IR L within one screen is equal to or greater than the predetermined value, the value is close to zero.
  • the color difference signals Cb L and Cr L is not corrected.
  • the amount of light from the object is small, or, infrared light is large, if the poor accuracy of the color difference signals Cb L and Cr L, the color difference signals Cb L and Cr L is reduced, the low-frequency component is monochrome of Is done.
  • the S / N (Signal / Noise) ratio of the image after Bayerization processing can be improved.
  • the chroma gain amplifier 49 supplies the RGB conversion unit 50 with the color difference signals Cb L and Cr L multiplied by the chroma gain.
  • the RGB conversion unit 50 converts the luminance signal Y L ′ and the color difference signal color difference signals Cb L and Cr L supplied from the luminance synthesis unit 47 into red, green, and blue pixel signals R L ′ according to the following equation (7). , G L ′, B L ′, and supplies them to the high frequency restoration processing unit 53.
  • the high frequency complementing unit 51 complements the pixel signal (W + IR ) H + L including the white visible light component and the infrared light component of all the pixels. Specifically, the high frequency complementing unit 51 uses the pixel signal of the white pixel in the captured image as it is as the pixel signal after complementing the white pixel. Further, the high frequency complementing unit 51 sequentially sets pixels other than the white pixel as the target pixel, and generates an average value of pixel signals of white pixels around the target pixel as a pixel signal after the target pixel is complemented. The high frequency interpolation unit 51 supplies the pixel signal (W + IR ) H + L after complementation to the high frequency extraction unit 52.
  • the high frequency extraction unit 52 subtracts the low frequency component (W + IR ) L supplied from the low frequency processing unit 41 from the pixel signal (W + IR ) H + L supplied from the high frequency complementing unit 51, and the result
  • the high-frequency component (W + IR ) H of the white pixel signal at the same time for all the pixels obtained is supplied to the high-frequency restoration processing unit 53.
  • the high frequency restoration processing unit 53 includes a low frequency component (W + IR ) L supplied from the low frequency processing unit 41, pixel signals R L ′, G L ′, B L ′ supplied from the RGB conversion unit 50, and a high frequency Based on the high-frequency component (W + IR ) H supplied from the extraction unit 52, red, green, and blue pixel signals R, G, and B of the entire band are generated by the following equation (8).
  • the high frequency restoration processing unit 53 supplies the pixel signals R, G, and B to the inverse white balance unit 54.
  • the inverse white balance unit 54 (white balance control unit) performs white balance gains C WR , C WG , C WG , C, C Multiply by the reciprocal of WB . Thereby, the ratio of the average value of the signal levels of the red, green, and blue pixel signals in one screen of the captured image output from the image sensor 23 before the Bayer processing, and the Bayer output from the Bayer processing unit 24.
  • the white balance of the pixel signals R, G, and B is controlled so that the ratio of the average values of the signal levels of the red, green, and blue pixel signals in one screen of the RGB image after the conversion processing is the same.
  • the inverse white balance unit 54 supplies pixel signals R, G, and B whose white balance is controlled to the Bayerization unit 55.
  • the Bayerization unit 55 extracts, for each pixel, a pixel signal having a color assigned to the pixel in the Bayer array from the pixel signals R, G, and B supplied from the inverse white balance unit 54.
  • the Bayerization unit 55 supplies the extracted pixel signal of each pixel to the signal processing unit 25 in FIG. 1 as an RGB image in a Bayer array.
  • FIG. 5 is a conceptual diagram illustrating signal levels of signals output from the low-frequency processing unit 41, the separation unit 42, the white balance unit 44, the level correction unit 45, and the inverse white balance unit 54.
  • the low frequency component (W + IR ) L output from the low frequency processing unit 41 is a low frequency component of a pixel signal including a white component (W) and an infrared light component (IR).
  • low frequency component (R + IR ) L is a low frequency component of a pixel signal including a red component (R) and an infrared light component (IR).
  • the low frequency component (G + IR ) L is a low frequency component of the pixel signal including the green component (G) and the infrared light component (IR), and the low frequency component (B + IR ) L is blue.
  • the signal level of the low frequency component (W + IR ) L is low frequency component (R + IR ) L , (G + IR ) L , And (B + IR ) High compared to L signal level.
  • the low frequency components (W + IR ) L , (R + IR ) L , (G + IR ) L , and (B + IR ) L are converted into infrared light components in the separation unit 42 as shown in FIG. It is separated into IR L and visible light components R L , G L and B L and outputted.
  • the white balance unit 44 multiplies the visible light components R L , G L , and B L by 1, C WB as white balance gains C WR and C WG , respectively, and outputs the result. Thereby, as shown in FIG. 5, the visible light components R WL , G WL , and B WL output from the white balance unit 44 are substantially the same.
  • the level correction unit 45 multiplies each of the visible light components R WL , G WL , and B WL output from the white balance unit 44 by the correction gain CE and outputs the result. As a result, as shown in FIG. 5, the visible light components R WL , G WL , and B WL output from the level correction unit 45 are the same as the low frequency component (W + IR ) L.
  • the inverse white balance unit 54 applies white balance gains C WR , C to the pixel signals R, G, B corresponding to the visible light components R WL , G WL , and B WL output from the level correction unit 45, respectively. Multiply the reciprocal of WG and CWB and output. Thereby, the white balance of the visible light components R L , G L and B L output from the separation unit 42 is equal to the white balance of the pixel signals R, G and B output from the inverse white balance unit 54. . That is, the ratio of the visible light components R L , G L and B L changed in the white balance unit 44 is restored.
  • the signal processing unit 25 performs the white balance control according to the white balance control method of the captured image of the Bayer array based on the RGB image of the Bayer array corresponding to the pixel signals R, G, and B. It is possible to perform white balance control of 23 captured images.
  • the visible light components R WL , G WL , and B WL are made the same as the low frequency component (W + IR ) L, and the reciprocal of the white balance gain C WG is 1. Therefore, the low frequency component (W + IR ) L output from the low frequency processing unit 41 is equal to the pixel signal G output from the inverse white balance unit 54. That is, the pixel signal G of the green pixel used for exposure control in the exposure control method of the Bayer array captured image is the low frequency component (W + IR) of the white pixel having the highest sensitivity among the pixels of the image sensor 23. ) Equal to L
  • the signal processing unit 25 performs exposure control according to the exposure control method for the captured image of the Bayer array based on the pixel signal of the green pixel in the RGB image of the Bayer array corresponding to the pixel signals R, G, and B. By performing the above, it is possible to perform exposure control of a captured image of the image sensor 23.
  • the imaging device 11 can perform exposure control and white balance control of the captured image of the image sensor 23 using the exposure control method and the white balance control method of the Bayer array captured image. Therefore, the imaging apparatus 11 simply provides the signal processing unit 25 for the captured image of the existing Bayer array, and does not develop a new exposure control unit or white balance control unit, and controls the exposure of the captured image of the image sensor 23. And white balance control. As a result, the manufacturing cost of the imaging device 11 can be reduced.
  • FIG. 6 is a diagram illustrating an output signal from the separation unit 42 when exposure control of a captured image of the image sensor 23 is not performed
  • FIG. 7 is an output from the separation unit 42 when exposure control is performed. It is a figure showing a signal.
  • the low frequency component (W + IR ) L may exceed the saturation level.
  • the low-frequency component (W + IR ) L is smaller than the low-frequency component of the pixel signal corresponding to the amount of light to be detected by the white pixel, and thus the above-described equation (1) is not satisfied.
  • the infrared light component IR L remains in the visible light components R L , G L , and B L after separation.
  • the exposure control of the captured image of the image sensor 23 since the exposure control of the captured image of the image sensor 23 is performed, the image quality of the RGB image after the Bayerization process is improved as compared with the case where the exposure control is not performed.
  • FIG. 8 and 9 are flowcharts for explaining the imaging processing of the imaging device 11 of FIG. This imaging process is performed for each captured image of the image sensor 23, for example.
  • the image sensor 23 sets the shutter gain supplied from the signal processing unit 25 as the current shutter gain in the imaging process for the previous captured image.
  • a predetermined default value of the shutter gain is set as the current shutter gain.
  • step S12 the image sensor 23 performs imaging based on the current shutter gain, and supplies a non-Bayer array captured image obtained as a result to the Bayerization processing unit 24.
  • the low frequency processing unit 41 (FIG. 4) of the Bayerization processing unit 24 performs LPF processing and complement processing on the captured image supplied from the image sensor 23 for each pixel color of the image sensor 23. .
  • the low frequency processing unit 41 supplies the low frequency components (W + IR ) L , (R + IR ) L , (G + IR ) L , and (B + IR ) L generated as a result to the separation unit 42.
  • the low frequency component (W + IR ) L is supplied to the gain calculation unit 43, the luminance synthesis unit 47, the high frequency extraction unit 52, and the high frequency restoration processing unit 53.
  • step S14 the separation unit 42 converts the low frequency components (W + IR ) L , (R + IR ) L , (G + IR ) L , and (B + IR ) L supplied from the low frequency processing unit 41. based, by equation (1) described above, the low-frequency component (R + IR) L, ( G + IR) L, and (B + IR) infrared light component IR L contained in L and the visible light component R L , G L and B L are separated.
  • the separation unit 42 supplies the infrared light component IR L and the visible light components R L , G L , and B L to the gain calculation unit 43, and the visible light components R L , G L , and B L as the white balance unit. 44.
  • step S15 the gain calculating section 43, a visible light component R L supplied from demultiplexer 42, based on G L, and B L, by the above-mentioned formula (2), the white balance gain C WR, C WG, And CWB are calculated and supplied to the white balance unit 44.
  • step S ⁇ b> 16 the gain calculation unit 43 calculates the reciprocal numbers of the white balance gains C WR , C WG , and C WB and supplies them to the reverse white balance unit 54.
  • step S ⁇ b> 17 the gain calculation unit 43 calculates the correction gain by the above-described equation (3) based on the visible light component G L and the low frequency component (W + IR ) L supplied from the low frequency processing unit 41. CE is calculated. The gain calculation unit 43 supplies the correction gain CE to the level correction unit 45.
  • step S ⁇ b> 18 the white balance unit 44 performs gain calculation unit 43 for each of the visible light components R L , G L , and B L supplied from the separation unit 42 as shown in the above-described equation (4). Multiply the white balance gains C WR , C WG , and C WB supplied from The white balance unit 44 supplies the visible light components R WL , G WL , and B WL after multiplication to the level correction unit 45.
  • step S19 the level correction unit 45 multiplies the correction gain CE supplied from the gain calculation unit 43 by each of the visible light components R WL , G WL , and B WL .
  • the level correction unit 45 supplies the visible light components R WL , G WL , and B WL after multiplication to the YC conversion unit 46.
  • step S20 the YC conversion unit 46 converts the visible light components R WL , G WL , and B WL supplied from the level correction unit 45 into the luminance signal Y L and the color difference signal Cb L and the equation (5). Convert to Cr L.
  • the YC conversion unit 46 supplies the luminance signal Y L to the luminance synthesis unit 47 and supplies the color difference signals Cb L and Cr L to the saturation achromatic unit 48.
  • step S21 the luminance synthesis unit 47 uses the above-described equation (6) based on the low frequency component (W + IR ) L supplied from the low frequency processing unit 41 to calculate the luminance signal supplied from the YC conversion unit 46.
  • Y L is corrected, and a luminance signal Y L ′ obtained as a result is supplied to the RGB converter 50.
  • step S22 the saturation achromatic part 48 determines whether or not the low frequency component (W + IR ) L has exceeded the saturation level. If it is determined in step S22 that the low frequency component (W + IR ) L has exceeded the saturation level, the saturation achromatic unit 48 outputs the color difference signals Cb L and Cr L supplied from the YC conversion unit 46 in step S23. The gain is less than 1 and achromatic is performed. The saturated achromatic part 48 supplies the color difference signals Cb L and Cr L after achromaticity to the chroma gain amplifier 49, and advances the process to step S24.
  • step S22 if it is determined in step S22 that the low frequency component (W + IR ) L does not exceed the saturation level, the saturation achromatic part 48 uses the color difference signals Cb L and Cr L supplied from the YC converter 46. Then, it is supplied to the chroma gain amplifier 49 as it is, and the process proceeds to step S24.
  • step S ⁇ b> 24 the chroma gain amplifier 49 multiplies each of the color difference signals Cb L and Cr L supplied from the saturation achromatic unit 48 with the chroma gain and supplies the result to the RGB conversion unit 50.
  • step S25 the RGB conversion unit 50 converts the luminance signal Y L ′ and the color difference signals Cb L and Cr L supplied from the luminance synthesis unit 47 into red, green, and blue pixel signals R according to the above-described equation (7).
  • the signals are converted into L ′, G L ′, and B L ′ and supplied to the high frequency restoration processing unit 53.
  • step S ⁇ b> 26 the high frequency complementing unit 51 complements the pixel signal (W + IR ) H + L including the white visible light component and the infrared light component of all the pixels based on the captured image supplied from the image sensor 23. And supplied to the high-frequency extraction unit 52.
  • the high frequency extraction unit 52 uses the low frequency component (W + IR ) supplied from the low frequency processing unit 41 from the pixel signal (W + IR ) H + L supplied from the high frequency complement unit 51. Subtract L to generate a high frequency component (W + IR ) H. The high frequency extraction unit 52 supplies the high frequency component (W + IR ) H to the high frequency restoration processing unit 53.
  • step S ⁇ b > 28 the high frequency restoration processing unit 53 performs the low frequency component (W + IR ) L from the low frequency processing unit 41, the pixel signals R L ′, G L ′, B L ′ from the RGB conversion unit 50, and the high frequency. Based on the high-frequency component (W + IR ) H from the extraction unit 52, red, green, and blue pixel signals R, G, and B of the entire band are generated by the above-described equation (8). The high frequency restoration processing unit 53 supplies the pixel signals R, G, and B to the inverse white balance unit 54.
  • step S ⁇ b> 29 the inverse white balance unit 54 performs white balance gains C WR , C WG , C WG , supplied from the gain calculation unit 43 for each of the pixel signals R, G, B supplied from the high frequency restoration processing unit 53. Multiply the reciprocal of C WB and supply to the Bayerization unit 55.
  • step S30 the Bayerization unit 55 extracts, for each pixel, a pixel signal having a color assigned to the pixel in the Bayer array from the pixel signals R, G, and B supplied from the inverse white balance unit 54.
  • the Bayerization unit 55 supplies the extracted pixel signal of each pixel to the signal processing unit 25 in FIG. 1 as an RGB image of the Bayer array after the Bayerization processing.
  • step S31 the signal processing unit 25, based on the sum (integrated value) of the green pixel signals of the RGB image of the Bayer array supplied from the Bayerization unit 55, in one screen of the green pixel signal of the RGB image An exposure control process is performed to determine the shutter gain so that the average value of the values does not exceed the saturation level.
  • the signal processing unit 25 supplies the determined shutter gain to the image sensor 23. This shutter gain is set as the current shutter gain in the process of step S11 of the imaging process for the next captured image.
  • step S32 the signal processing unit 25 calculates the white balance gain of each color based on the sum (integrated value) of the pixel signals of each color of the RGB image in the Bayer array, and multiplies the pixel signal by the white balance gain for each color. Perform white balance control processing.
  • step S33 the signal processing unit 25 performs YCbCr conversion processing on the RGB image after the white balance control processing, and outputs a YCbCr image obtained as a result. Then, the process ends.
  • (Configuration example of imaging device IC chip) 10 to 13 are diagrams illustrating a configuration example of an IC chip when the imaging device 11 is formed on an IC (Integrated Circuit) chip.
  • the imaging device 11 is formed on an IC chip, for example, as shown in FIG. 10, the image sensor 23, the Bayerization processing unit 24, and the signal processing unit 25 are formed on different IC chips 71, 72, and 73, respectively. You can make it.
  • the image sensor 23 and the Bayerization processing unit 24 are formed on the same IC chip 81, and the signal processing unit 25 is formed on an IC chip 82 different from the IC chip 81. You can also.
  • the image sensor 23 is formed on one IC chip 91, and the Bayerization processing unit 24 and the signal processing unit 25 are formed on an IC chip 92 different from the IC chip 91. You can also. Further, as shown in FIG. 13, the image sensor 23, the Bayerization processing unit 24, and the signal processing unit 25 can all be formed on the same IC chip 101.
  • the lens 21 and the optical filter 22 are formed on the image sensor 23 of the IC chip 71 (81, 91, 101) on which the image sensor 23 is formed.
  • the imaging apparatus 11 when the imaging apparatus 11 performs the Bayerization process on the captured image of the non-Bayer array, the signal level of the low-frequency component (W + IR ) L of the captured image before the Bayerization process and the Bayerization process are performed.
  • the signal level of the visible light component GWL is corrected so that the signal level of the pixel signal of the green pixel in the processed RGB image is the same. Therefore, the imaging apparatus 11 performs exposure control based on the RGB image after the Bayerization process using the signal processing unit 25 for the captured image of the existing Bayer array, thereby performing exposure control of the captured image of the non-Bayer array. Can be performed appropriately.
  • the imaging device 11 separates the infrared light component from the non-Bayer array captured image including the infrared light component captured by the image sensor 23, and performs Bayerization processing. Therefore, even when the captured image of the non-Bayer array includes an infrared light component, the imaging device 11 uses the signal processing unit 25 for the captured image of the existing Bayer array to capture the captured image of the non-Bayer array. Exposure control can be performed appropriately.
  • the imaging apparatus 11 when the imaging apparatus 11 performs the Bayerization process on the captured image of the non-Bayer array, the ratio of the signal levels of the visible light components R L , G L , B L of the captured image before the Bayerization process, and the Bayer
  • the white balance of the pixel signals R, G, B is controlled so that the signal level ratios of the pixel signals of the respective colors of the RGB image after the conversion processing are the same.
  • the imaging apparatus 11 uses the existing Bayer array captured image signal processing unit 25 to perform white balance control based on the RGB image after the Bayerization process, so that the white of the captured image of the non-Bayer array is processed. Balance control can be performed appropriately.
  • FIG. 14 is a block diagram illustrating a configuration example of a second embodiment of an imaging system including an imaging device to which the present disclosure is applied.
  • the configuration of the imaging system 120 in FIG. 14 is different from the configuration of the imaging system 10 in FIG. 1 in that an imaging device 121 is provided instead of the imaging device 11.
  • the configuration of the imaging device 121 is that the Bayerization processing unit 141 is provided instead of the Bayerization processing unit 24, and the signal processing unit 142 is provided instead of the signal processing unit 25, as shown in FIG.
  • the configuration is different.
  • the imaging device 121 uses the white balance gain calculated by the white balance control process of the signal processing unit 142 in the Bayerization processing unit 141.
  • the Bayerization processing unit 141 of the imaging device 121 performs Bayerization processing on the non-Bayer array captured image supplied from the image sensor 23 to generate a Bayer array RGB image. At this time, the Bayerization processing unit 141 corrects the white balance using the white balance gain supplied from the signal processing unit 142 and restores the original. The Bayerization processing unit 141 supplies the generated RGB image of the Bayer array to the signal processing unit 142.
  • the signal processing unit 142 is a signal processing unit for an existing Bayer array captured image.
  • the signal processing unit 142 uses the RGB image supplied from the Bayerization processing unit 141 to perform signal processing such as exposure control processing, white balance control processing, and YCbCr conversion processing in the same manner as the method for the captured image of the Bayer array. I do.
  • the signal processing unit 142 supplies a shutter gain representing the exposure amount obtained as a result of the exposure control process to the image sensor 23 to control the exposure amount of the captured image.
  • the signal processing unit 142 supplies the white balance gain calculated in the white balance control process to the Bayerization processing unit 141. Further, the signal processing unit 142 outputs a YCbCr image obtained as a result of the white balance control process and the YCbCr conversion process.
  • FIG. 15 is a block diagram illustrating a configuration example of the Bayerization processing unit 141 in FIG.
  • the configuration of the Bayerization processing unit 141 in FIG. 15 includes a gain calculation unit 161, a white balance unit 162, and an inverse white balance unit 163 instead of the gain calculation unit 43, white balance unit 44, and inverse white balance unit 54.
  • the configuration of the Bayerization processing unit 24 in FIG. 4 is different.
  • the gain calculation unit 161 of the Bayerization processing unit 141 includes a visible light component GL supplied from the separation unit 42 and a low-frequency component supplied from the low-frequency processing unit 41 ( Based on W + IR ) L , the correction gain CE is calculated by the above-described equation (3).
  • the gain calculation unit 161 supplies the correction gain CE to the level correction unit 45.
  • the gain calculation unit 161 does not calculate the white balance gains C WR , C WG , C WB and their reciprocals.
  • the white balance unit 162 applies each of the visible light components R L , G L , and B L supplied from the separation unit 42 from the signal processing unit 142 in FIG. 14.
  • the supplied white balance gain is multiplied to correct the ratio of visible light components R L , G L and B L.
  • the white balance unit 162 supplies the corrected visible light components R WL , G WL , and B WL to the level correction unit 45.
  • the inverse white balance unit 163 calculates the inverse of the white balance gain supplied from the signal processing unit 142 in FIG.
  • the inverse white balance unit 163 multiplies the pixel signals R, G, and B supplied from the high frequency restoration processing unit 53 by the reciprocal of the calculated white balance gain.
  • the white balance of the pixel signals R, G, and B is controlled so that the ratio of the average values of the signal levels of the red, green, and blue pixel signals in one screen of the RGB image after Bayerization processing is the same.
  • the inverse white balance unit 163 supplies the pixel signals R, G, and B whose white balance is controlled to the Bayerization unit 55.
  • FIGS. 16 and 17 are flowcharts for explaining the imaging processing of the imaging device 121 in FIG. This imaging process is performed for each captured image of the image sensor 23, for example.
  • step S55 the white balance unit 162 (FIG. 15) of the Bayerization processing unit 141 acquires the white balance gain supplied from the signal processing unit 142.
  • a predetermined default value of the white balance gain is set as the acquired white balance gain in step S55.
  • step S56 The processing in step S56 is the same as the processing in step S17 in FIG.
  • step S57 the white balance unit 162 multiplies each of the visible light components R L , G L , and B L supplied from the separation unit 42 by the acquired white balance gain.
  • the white balance unit 44 supplies the visible light components R WL , G WL , and B WL after multiplication to the level correction unit 45.
  • steps S58 to S67 is the same as the processing of steps S19 to S28 of FIGS. 8 and 9, description thereof will be omitted.
  • step S68 the inverse white balance unit 163 acquires the white balance gain supplied from the signal processing unit 142, and calculates the reciprocal thereof.
  • a predetermined white balance gain default value is set as the acquired white balance gain. The reciprocal is calculated.
  • step S ⁇ b> 69 the inverse white balance unit 163 multiplies the pixel signals R, G, and B supplied from the high frequency restoration processing unit 53 by the reciprocal of the calculated white balance gain, and supplies the result to the Bayerization unit 55. .
  • steps S70 and S71 Since the processing in steps S70 and S71 is the same as the processing in steps S30 and S31 in FIG. 9, the description thereof is omitted.
  • step S72 the signal processing unit 142 performs white balance control processing based on the RGB image in the Bayer array. Further, the signal processing unit 142 supplies the white balance gain calculated by the white balance control process to the white balance unit 162 and the inverse white balance unit 163.
  • step S73 is the same as the processing in step S33 in FIG.
  • the imaging device 121 can be formed on an IC chip as in the first embodiment.
  • the present technology can also be applied to an image processing apparatus that performs a Bayerization process on a non-Bayer array captured image other than an RGBW pixel array captured image including an infrared light component.
  • the captured image that is the target of the Bayerization process may or may not include an infrared light component.
  • FIG. 18 is a diagram showing an example of a non-Bayer array other than the RGBW pixel array.
  • the pixel array of A in FIG. 18 is an RGB + IR pixel array, and each pixel includes red (R) light, green (G) light, blue (B) light, and infrared light (IR). An image corresponding to either one is taken.
  • the pixel array of B in FIG. 18 is a complementary color W pixel array, and each pixel represents an image corresponding to any of white (W), yellow (Ye), cyan (Cy), and green (G) light. Take an image.
  • the content of the Bayerization process varies depending on the type of non-Bayer array, whether the captured image of the non-Bayer array includes an infrared light component, and the like. Therefore, for example, in the Bayerization process, there is a case where a process for converting an RGB signal into a YCbCr signal and a process for separating an infrared light component are not performed.
  • the Bayerization processing unit may not include the white balance unit 44 and the reverse white balance unit 54.
  • the signal processing unit 25 can perform exposure control of the captured image of the non-Bayer array by the exposure control method of the captured image of the Bayer array.
  • ⁇ Third Embodiment> (Description of computer to which the present disclosure is applied)
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 19 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An imaging unit 206, an input unit 207, an output unit 208, a storage unit 209, a communication unit 210, and a drive 211 are connected to the input / output interface 205.
  • the imaging unit 206 includes the lens 21, the optical filter 22, the image sensor 23, and the like, and performs imaging.
  • the input unit 207 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 208 includes a display, a speaker, and the like.
  • the storage unit 209 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 210 includes a network interface or the like.
  • the drive 211 drives a removable medium 212 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 209 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. A series of processing is performed.
  • the program executed by the computer 200 can be provided by being recorded on the removable medium 212 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 209 via the input / output interface 205 by attaching the removable medium 212 to the drive 211.
  • the program can be received by the communication unit 210 via a wired or wireless transmission medium and installed in the storage unit 209.
  • the program can be installed in advance in the ROM 202 or the storage unit 209.
  • the program executed by the computer 200 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as in parallel or when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the signal processing unit 25 may perform the exposure control based on the luminance signal as the exposure control according to the exposure control method for the captured image of the Bayer array.
  • the gain calculating section 43 a visible light component R L, G L, and B L and generate an average value within one frame of the luminance signal from the average value Ave (W + IR) Mean value of L a luminance signal
  • the correction gain CE is calculated by dividing by.
  • this indication can also take the following structures.
  • An image pickup apparatus comprising: a level correction unit that corrects a signal level of the picked-up image so that a subsequent level that is a signal level of a pixel used for exposure control of an image of the array becomes the same.
  • a correction gain calculating unit that calculates a correction gain for multiplying the signal level of the captured image in order to make the front level and the rear level the same based on the front level and the rear level;
  • the ratio of the RGB signal level of the captured image before Bayerization processing and the ratio of the RGB signal level of the captured image after Bayerization processing are The imaging apparatus according to (1) or (2), further including: a white balance control unit that controls white balance of the captured image so as to be the same.
  • a white balance unit that multiplies the captured image by a white balance gain when performing Bayerization processing on the captured image of the non-Bayer array;
  • the white balance control unit controls the white balance of the captured image by multiplying the captured image multiplied by the white balance gain by the white balance unit by the reciprocal of the white balance gain.
  • the imaging device according to (3) configured.
  • the imaging apparatus according to (4) further including: a white balance gain calculation unit that calculates the white balance gain based on the captured image when performing Bayerization processing on the captured image of the non-Bayer array.
  • a signal of each pixel of the captured image of the non-Bayer array includes an invisible light component and a visible light component.
  • a separation unit that separates the invisible light component and the visible light component contained in the signal;
  • the level correction unit is configured to correct a signal level of the visible light component separated by the separation unit.
  • the imaging device When performing Bayerization processing on a captured image of a non-Bayer array, a Bayer level between the previous level that is the signal level of the most sensitive pixel of the captured image before Bayer processing and the Bayer of the captured image after Bayer processing
  • An image pickup method comprising: a level correction step of correcting a signal level of the picked-up image so that a subsequent level that is a signal level of a pixel used for exposure control of an image of the array becomes the same.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

　本開示は、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができるようにする撮像装置、撮像方法、およびプログラムに関する。 レベル補正部は、RGBW画素配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の撮像画像の最も感度の高い白色の画素の信号レベルである前レベルと、ベイヤ化処理後のRGB画像の、ベイヤ配列の画像の露光制御に用いられる緑色の画素の信号レベルである後レベルが同一になるように、撮像画像の信号レベルを補正する。本開示は、例えば、撮像装置等に適用することができる。

Description

撮像装置、撮像方法、およびプログラム
　本開示は、撮像装置、撮像方法、およびプログラムに関し、特に、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができるようにした撮像装置、撮像方法、およびプログラムに関する。
　RGBW画素配列のイメージセンサにおいて、不可視光である近赤外光と可視光の両方を透過させる光学帯域分離フィルタを介して入力された光に対応する画像を撮像し、撮像画像から不可視光成分と可視光成分を分離することが考案されている（例えば、特許文献１参照）。このようなイメージセンサにおいて、不可視光成分と可視光成分の分離を高精度で行うためには、適切な露光制御を行うことが必要である。
　そこで、分離の前後に積分器を設け、不可視光成分の量に応じて一方からの出力を選択して用いることにより、露光制御（ＡＥ（Automatic Exposure）制御）やホワイトバランス制御（ＡＷＢ（Automatic White-Balance）制御）を行うことが考えられている（例えば、特許文献２参照）。
特開2008-289000号公報 特開2008-289001号公報
　しかしながら、特許文献２に記載の露光制御方法のように、ベイヤ配列の撮像画像の露光制御方法とは大きく異なる方法を用いて露光制御を行う場合、既存のベイヤ配列の撮像画像の露光制御部では、露光制御を行うことができない。従って、新たな露光制御部を開発し、設置する必要があり、製造コストが増加する。
　よって、ベイヤ配列の撮像画像の露光制御方法で、不可視光成分と可視光成分を含むRGBW画素配列の撮像画像などの非ベイヤ配列の撮像画像の露光制御を行うことが望まれている。
　本開示は、このような状況に鑑みてなされたものであり、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができるようにするものである。
　本開示の一側面の撮像装置は、非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部を備える撮像装置である。
　本開示の一側面の撮像方法およびプログラムは、本開示の一側面の撮像装置に対応する。
　本開示の一側面においては、非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルが補正される。
　本開示の一側面によれば、撮像することができる。また、本開示の一側面によれば、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した撮像装置を含む撮像システムの第１実施の形態の構成例を示すブロック図である。 図１の光学フィルタの各波長の光の透過率の例を示す図である。 ベイヤ化処理の前後の画像の画素配列を説明する図である。 図１のベイヤ化処理部の構成例を示すブロック図である。 出力信号の信号レベルを説明する概念図である。 露光制御が行われない場合の分離部からの出力信号を表す図である。 露光制御が行われた場合の分離部からの出力信号を表す図である。 図１の撮像装置の撮像処理を説明するフローチャートである。 図１の撮像装置の撮像処理を説明するフローチャートである。 撮像装置のICチップの第１の構成例を示す図である。 撮像装置のICチップの第２の構成例を示す図である。 撮像装置のICチップの第３の構成例を示す図である。 撮像装置のICチップの第４の構成例を示す図である。 本開示を適用した撮像装置を含む撮像システムの第２実施の形態の構成例を示すブロック図である。 図１４のベイヤ化処理部の構成例を示すブロック図である。 図１４の撮像装置の撮像処理を説明するフローチャートである。 図１４の撮像装置の撮像処理を説明するフローチャートである。 RGBW画素配列以外の非ベイヤ配列の例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　１．第１実施の形態：撮像システム（図１乃至図１３）
　２．第２実施の形態：撮像システム（図１４乃至図１７）
　３．非ベイヤ配列の他の例（図１８）
　４．第３実施の形態：コンピュータ（図１９）
　＜第１実施の形態＞
　（撮像装置の第１実施の形態の構成例）
　図１は、本開示を適用した撮像装置を含む撮像システムの第１実施の形態の構成例を示すブロック図である。
　図１の撮像システム１０は、撮像装置１１とＩＲ（赤外光）投光装置１２により構成される。撮像システム１０では、被写体によって反射された赤外光と可視光に対応する画像が撮像される。
　具体的には、撮像装置１１は、レンズ２１、光学フィルタ２２、イメージセンサ２３、ベイヤ化処理部２４、および信号処理部２５により構成される。
　撮像装置１１のレンズ２１には、被写体からの光が入射される。レンズ２１は、入射された光を、光学フィルタ２２を介してイメージセンサ２３に集光させる。光学フィルタ２２は、入射された光のうちの赤外光と可視光を透過させる。なお、光学フィルタ２２は設けられなくてもよい。
　イメージセンサ２３は、CMOS（Complementary Metal-Oxide Semiconductor）イメージセンサまたはCCD(Charge Coupled Device)イメージセンサであり、RGBW画素配列の画素を有する。イメージセンサ２３は、画素ごとに、入射された赤外光と、可視光のうちの、その画素に対応する色（赤色（R）、緑色（G）、青色（B）、白色（W））の光とを受光し、受光量に応じた電気信号を画素信号として生成することにより、撮像を行う。従って、撮像の結果得られる各画素の画素信号には、不可視光成分としての赤外光成分と可視光成分とが含まれる。イメージセンサ２３は、撮像の結果得られる各画素の画素信号を、撮像画像としてベイヤ化処理部２４に供給する。
　ベイヤ化処理部２４は、イメージセンサ２３から供給される非ベイヤ配列の撮像画像に対してベイヤ化処理（リモザイク処理）を行い、ベイヤ配列(RGB画素配列)のRGB画像を生成する。ベイヤ化処理部２４は、生成されたベイヤ配列のRGB画像を信号処理部２５に供給する。
　信号処理部２５は、既存のベイヤ配列の撮像画像用の信号処理部である。信号処理部２５は、ベイヤ化処理部２４から供給されるRGB画像を用いて、ベイヤ配列の撮像画像に対する方法と同一の方法で、露光制御処理、ホワイトバランス制御処理、YCbCr変換処理などの信号処理を行う。信号処理部２５は、露光制御処理の結果得られる露光量を表すシャッタゲインをイメージセンサ２３に供給し、撮像画像の露光量を制御する。また、信号処理部２５は、RGB画像に対してホワイトバランス制御処理およびYCbCr変換処理を行った結果得られるYCbCr画像を出力する。
　ＩＲ投光装置１２は、例えば、可視光が少ない夜間に、被写体に向けて赤外光を出射する。
　（光学フィルタの各波長の光の透過率の例）
　図２は、図１の光学フィルタ２２の各波長の光の透過率の例を示す図である。
　図２のグラフにおいて、横軸は、光学フィルタ２２を通過する光の波長（nm）を表し、縦軸は、その光の透過率（％）を表す。
　図２に示すように、光学フィルタ２２では、波長が約390nm～660nmである可視光の透過率と、波長が約820nm～910nmである赤外光の透過率が０％より大きい。従って、光学フィルタ２２では、波長が約390nm～660nmである可視光と波長が約820nm～910nmである赤外光が通過する。
　（ベイヤ化処理の前後の画像の画素配列の説明）
　図３は、図１のベイヤ化処理部２４によるベイヤ化処理の前後の画像の画素配列を説明する図である。
　図３のＡに示すように、ベイヤ化処理前の画像、即ちイメージセンサ２３から出力される撮像画像の画素配列は、RGBW画素配列である。また、各画素の画素信号には赤外光（IR）成分が含まれる。
　ベイヤ化処理部２４は、このようなベイヤ化処理前の画像に対して、ベイヤ化処理を行うことにより、図３のＢに示すRGB画素配列の画像を、ベイヤ化処理後の画像として生成する。
　（ベイヤ化処理部の構成例）
　図４は、図１のベイヤ化処理部２４の構成例を示すブロック図である。
　ベイヤ化処理部２４は、低周波処理部４１、分離部４２、ゲイン算出部４３、ホワイトバランス部４４、レベル補正部４５、ＹＣ変換部４６、輝度合成部４７、飽和色消し部４８、クロマゲインアンプ４９、RGB変換部５０、高周波補完部５１、高周波抽出部５２、高周波復元処理部５３、逆ホワイトバランス部５４、およびベイヤ化部５５から構成される。ベイヤ化処理部２４は、図１のイメージセンサ２３から供給される撮像画像を高周波成分と低周波成分に分離して、ベイヤ化処理を行う。
　具体的には、ベイヤ化処理部２４の低周波処理部４１は、イメージセンサ２３の画素の色ごとに、イメージセンサ２３から供給される撮像画像に対してLPF(Low Pass Filter)処理および補完処理を行う。低周波処理部４１は、その結果生成される赤外光成分を含む全画素の各色の同時刻の画素信号の低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）Lを分離部４２に供給し、低周波成分（W+IR）Lをゲイン算出部４３、輝度合成部４７、高周波抽出部５２、および高周波復元処理部５３に供給する。
　分離部４２は、低周波処理部４１から供給される低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）Lに基づいて、低周波成分（R+IR）L，（G+IR）L，（B+IR）Lのそれぞれに含まれる赤外光成分と可視光成分を、以下の式（１）により分離する。
Figure JPOXMLDOC01-appb-M000001
　なお、ＩＲLは、低周波成分（R+IR）L，（G+IR）L，（B+IR）Lのそれぞれに含まれる赤外光成分である。また、ＲL，ＧL，ＢLは、低周波成分（R+IR）L，（G+IR）L，（B+IR）Lの可視光成分である。
　分離部４２は、分離の結果得られる赤外光成分ＩＲLと可視光成分ＲL，ＧL、およびＢLとをゲイン算出部４３に供給し、可視光成分ＲL，ＧL、およびＢLをホワイトバランス部４４に供給する。
　ゲイン算出部４３（ホワイトバランスゲイン算出部）は、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLに基づいて、以下の式（２）により、可視光成分ＲL，ＧL、およびＢLのホワイトバランスゲインＣWR，ＣWG，ＣWBを算出し、ホワイトバランス部４４に供給する。
Figure JPOXMLDOC01-appb-M000002
　なお、ＡｖｅＲL，ＡｖｅＧL，ＡｖｅＢLは、それぞれ、１画面内の可視光成分ＲL，ＧL，ＢLの平均値である。また、ゲイン算出部４３は、ホワイトバランスゲインＣWR，ＣWG，ＣWBの逆数を算出し、逆ホワイトバランス部５４に供給する。
　さらに、ゲイン算出部４３（補正ゲイン算出部）は、ベイヤ配列の撮像画像の露光制御に用いられる画素である緑色の画素の可視光成分（の信号レベル）ＧL（後レベル）と、低周波処理部４１から供給される、撮像画像のうちの最も感度の高い白色の画素の低周波成分（の信号レベル）（W+IR）L（前レベル）とに基づいて、以下の式（３）により、補正ゲインＣEを算出する。
Figure JPOXMLDOC01-appb-M000003
　なお、Ａｖｅ（W+IR）Lは、１画面内の低周波成分（W+IR）Lの平均値である。式（３）によれば、可視光成分ＧL（の平均値）を低周波成分（W+IR）L（の平均値）にするための補正ゲインＣEが算出される。従って、可視光成分ＧLと補正ゲインＣEを乗算することにより、乗算後の可視光成分ＧLは、低周波成分（W+IR）Lと同一になる。ゲイン算出部４３は、補正ゲインＣEをレベル補正部４５に供給する。
　ホワイトバランス部４４は、以下の式（４）に示すように、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLのそれぞれに対して、ゲイン算出部４３から供給されるホワイトバランスゲインＣWR，ＣWG，ＣWBを乗算する。これにより、可視光成分ＲL，ＧL、およびＢLの比率（ホワイトバランス）が補正される。
Figure JPOXMLDOC01-appb-M000004
　なお、ＲWL，ＧWL、およびＢWLは、それぞれ、補正後の可視光成分ＲL，ＧL、およびＢLである。ホワイトバランス部４４は、補正後の可視光成分ＲWL，ＧWL、およびＢWLをレベル補正部４５に供給する。
　レベル補正部４５は、ベイヤ化処理後のRGB画像の緑色の画素の画素信号と低周波成分（W+IR）Lが同一になるように、ゲイン算出部４３からの補正ゲインＣEと、ホワイトバランス部４４からの可視光成分ＲWL，ＧWL、およびＢWLのそれぞれとを乗算することにより、可視光成分ＲWL，ＧWL、およびＢWLを補正する。レベル補正部４５は、補正後の可視光成分ＲWL，ＧWL、およびＢWLをＹＣ変換部４６に供給する。
　ＹＣ変換部４６は、以下の式（５）により、レベル補正部４５から供給される可視光成分ＲWL，ＧWL、およびＢWLを、輝度信号ＹLと色差信号ＣｂLおよびＣｒLとに変換する。ＹＣ変換部４６は、輝度信号ＹLを輝度合成部４７に供給し、色差信号ＣｂLおよびＣｒLを飽和色消し部４８に供給する。
Figure JPOXMLDOC01-appb-M000005
　輝度合成部４７は、低周波処理部４１から供給される低周波成分（W+IR）Lに基づいて、ＹＣ変換部４６から供給される輝度信号ＹLを、以下の式（６）により補正する。
Figure JPOXMLDOC01-appb-M000006
　なお、ａは、輝度信号ＹLや赤外光成分ＩＲLに基づいて決定される係数である。例えば、１画面内の輝度信号ＹLの平均値が所定値より大きい場合や、１画面内の赤外光成分ＩＲLの平均値が所定値より小さい場合、係数ａは比較的大きい値にされる。一方、１画面内の輝度信号ＹLの平均値が所定値以下である場合や、１画面内の赤外光成分ＩＲLの平均値が所定値以上である場合、係数ａは比較的小さい値になる。
　また、ＹL´は、補正後の輝度信号である。輝度合成部４７は、補正後の輝度信号ＹL´をRGB変換部５０に供給する。
　飽和色消し部４８は、低周波成分（Ｗ+IR）Lが、画素に蓄積可能な電荷に対応する画素信号の最大レベルである飽和レベルを超えたかどうかを判定する。飽和色消し部４８は、低周波成分（Ｗ+IR）Lが飽和レベルを超えた場合、ＹＣ変換部４６から供給される色差信号ＣｂLおよびＣｒLに対して１未満のゲインを乗算し、色消しを行う。
　即ち、低周波成分（Ｗ+IR）L，（Ｒ+IR）L，（Ｇ+IR）L，（Ｂ+IR）Lのいずれかが飽和レベルを超えると、分離部４２による分離の精度が低下し、色差信号ＣｂLおよびＣｒLの精度が低下する。従って、飽和色消し部４８は、最も感度の高い白色の画素の低周波成分（Ｗ+IR）Lが飽和レベルを超えた場合、低周波成分（Ｗ+IR）L，（Ｒ+IR）L，（Ｇ+IR）L，（Ｂ+IR）Lのいずれかが飽和レベルを超えたと判断し、色差信号ＣｂLおよびＣｒLを低減させる。飽和色消し部４８は、色消し後の色差信号ＣｂLおよびＣｒLをクロマゲインアンプ４９に供給する。
　一方、低周波成分（Ｗ+IR）Lが飽和レベルを超えていない場合、飽和色消し部４８は、ＹＣ変換部４６から供給される色差信号ＣｂLおよびＣｒLを、そのままクロマゲインアンプ４９に供給する。
　クロマゲインアンプ４９は、飽和色消し部４８から供給される色差信号ＣｂLおよびＣｒLのそれぞれに対して、クロマゲインを乗算する。クロマゲインは、１画面内の輝度信号ＹLの平均値が所定値より大きい場合や、１画面内の赤外光成分ＩＲLの平均値が所定値より小さい場合、１とされるが、１画面内の輝度信号ＹLの平均値が所定値以下である場合や、１画面内の赤外光成分ＩＲLの平均値が所定値以上である場合、０に近い値にされる。
　これにより、被写体からの光の量が多いか、または、赤外光が少なく、色差信号ＣｂLおよびＣｒLの精度が良い場合、色差信号ＣｂLおよびＣｒLは補正されない。一方、被写体からの光の量が少ないか、または、赤外光が多く、色差信号ＣｂLおよびＣｒLの精度が悪い場合、色差信号ＣｂLおよびＣｒLは低減され、低周波成分が白黒化される。その結果、ベイヤ化処理後の画像のS/N（Signal/Noise）比を向上させることができる。クロマゲインアンプ４９は、クロマゲインが乗算された色差信号ＣｂLおよびＣｒLをRGB変換部５０に供給する。
　RGB変換部５０は、以下の式（７）により、輝度合成部４７から供給される輝度信号ＹL´と色差信号色差信号ＣｂLおよびＣｒLを、赤色、緑色、青色の画素信号RL´，GL´，BL´に変換し、高周波復元処理部５３に供給する。
Figure JPOXMLDOC01-appb-M000007
　高周波補完部５１は、イメージセンサ２３から供給される撮像画像に基づいて、全画素の白色の可視光成分と赤外光成分を含む画素信号（W+IR）H+Lを補完する。具体的には、高周波補完部５１は、撮像画像のうちの白色の画素の画素信号を、そのまま、白色の画素の補完後の画素信号とする。また、高周波補完部５１は、白色の画素以外の画素を順に注目画素とし、注目画素の周辺の白色の画素の画素信号の平均値を、注目画素の補完後の画素信号として生成する。高周波補完部５１は、補完後の画素信号（W+IR）H+Lを高周波抽出部５２に供給する。
　高周波抽出部５２は、高周波補完部５１から供給される画素信号（W+IR）H+Lから、低周波処理部４１から供給される低周波成分（W+IR）Lを減算し、その結果得られる全画素の白色の同時刻の画素信号の高周波成分（W+IR）Hを高周波復元処理部５３に供給する。
　高周波復元処理部５３は、低周波処理部４１から供給される低周波成分（W+IR）L、RGB変換部５０から供給される画素信号RL´，GL´，BL´、および高周波抽出部５２から供給される高周波成分（W+IR）Hに基づいて、以下の式（８）により、全帯域の赤色、緑色、青色の画素信号R,G,Bを生成する。高周波復元処理部５３は、画素信号R,G,Bを逆ホワイトバランス部５４に供給する。
Figure JPOXMLDOC01-appb-M000008
　逆ホワイトバランス部５４（ホワイトバランス制御部）は、高周波復元処理部５３から供給される画素信号R,G,Bに対して、ゲイン算出部４３から供給されるホワイトバランスゲインＣWR，ＣWG，ＣWBの逆数を乗算する。これにより、イメージセンサ２３から出力されたベイヤ化処理前の撮像画像の１画面内の赤色、緑色、青色の画素信号の信号レベルの平均値の比と、ベイヤ化処理部２４から出力されるベイヤ化処理後のRGB画像の１画面内の赤色、緑色、青色の画素信号の信号レベルの平均値の比が同一になるように、画素信号R,G,Bのホワイトバランスが制御される。逆ホワイトバランス部５４は、ホワイトバランスが制御された画素信号R,G,Bをベイヤ化部５５に供給する。
　ベイヤ化部５５は、画素ごとに、逆ホワイトバランス部５４から供給される画素信号R,G,Bから、ベイヤ配列においてその画素に割り当てられた色の画素信号を抽出する。ベイヤ化部５５は、抽出された各画素の画素信号を、ベイヤ配列のRGB画像として、図１の信号処理部２５に供給する。
　（出力信号の信号レベルの説明）
　図５は、低周波処理部４１、分離部４２、ホワイトバランス部４４、レベル補正部４５、および逆ホワイトバランス部５４から出力される信号の信号レベルを説明する概念図である。
　図５に示すように、低周波処理部４１から出力される低周波成分（W+IR）Lは、白色の成分（Ｗ）と赤外光成分（ＩＲ）を含む画素信号の低周波成分であり、低周波成分（R+IR）Lは、赤色の成分（Ｒ）と赤外光成分（ＩＲ）を含む画素信号の低周波成分である。また、低周波成分（G+IR）Lは、緑色の成分（Ｇ）と赤外光成分（ＩＲ）を含む画素信号の低周波成分であり、低周波成分（B+IR）Lは、青色の成分（Ｂ）と赤外光成分（ＩＲ）を含む画素信号の低周波成分である。
　イメージセンサ２３が有する画素のうち、白色の画素の感度が最も高いため、低周波成分（W+IR）Lの信号レベルは、低周波成分（R+IR）L，（G+IR）L、および（B+IR）Lの信号レベルに比べて高い。
　この低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）Lは、分離部４２において、図５に示すように、赤外光成分ＩＲLと可視光成分ＲL，ＧL、およびＢLとに分離され、出力される。ホワイトバランス部４４は、可視光成分ＲL，ＧL、およびＢLに対して、それぞれ、ホワイトバランスゲインＣWR，ＣWGとしての１，ＣWBを乗算し、出力する。これにより、図５に示すように、ホワイトバランス部４４から出力される可視光成分ＲWL，ＧWL、およびＢWLは略同一となる。
　レベル補正部４５は、ホワイトバランス部４４から出力される可視光成分ＲWL，ＧWL、およびＢWLのそれぞれに対して、補正ゲインＣEを乗算し、出力する。これにより、図５に示すように、レベル補正部４５から出力される可視光成分ＲWL，ＧWL、およびＢWLは、低周波成分（W+IR）Lと同一になる。
　逆ホワイトバランス部５４は、レベル補正部４５から出力される可視光成分ＲWL，ＧWL、およびＢWLに対応する画素信号Ｒ,Ｇ,Ｂに対して、それぞれ、ホワイトバランスゲインＣWR，ＣWG，ＣWBの逆数を乗算し、出力する。これにより、分離部４２から出力される可視光成分ＲL，ＧL、およびＢLのホワイトバランスと、逆ホワイトバランス部５４から出力される画素信号Ｒ,Ｇ、およびＢのホワイトバランスが等しくなる。即ち、ホワイトバランス部４４において変化した可視光成分ＲL，ＧL、およびＢLの比率が元に戻される。
　従って、信号処理部２５は、画素信号Ｒ,Ｇ、およびＢに対応するベイヤ配列のＲＧＢ画像に基づいて、ベイヤ配列の撮像画像のホワイトバランス制御方法にしたがってホワイトバランス制御を行うことにより、イメージセンサ２３の撮像画像のホワイトバランス制御を行うことができる。
　また、レベル補正部４５において、可視光成分ＲWL，ＧWL、およびＢWLが低周波成分（W+IR）Lと同一にされており、ホワイトバランスゲインＣWGの逆数は１である。従って、低周波処理部４１から出力される低周波成分（W+IR）Lと、逆ホワイトバランス部５４から出力される画素信号Ｇとは等しくなる。即ち、ベイヤ配列の撮像画像の露光制御方法において露光制御に用いられる緑色の画素の画素信号Ｇが、イメージセンサ２３が有する画素のうちの最も感度の高い白色の画素の低周波成分（W+IR）Lと等しくされる。
　従って、信号処理部２５は、画素信号Ｒ,Ｇ、およびＢに対応するベイヤ配列のＲＧＢ画像のうちの緑色の画素の画素信号に基づいて、ベイヤ配列の撮像画像の露光制御方法にしたがって露光制御を行うことにより、イメージセンサ２３の撮像画像の露光制御を行うことができる。
　以上のように、撮像装置１１では、ベイヤ配列の撮像画像の露光制御方法とホワイトバランス制御方法を用いて、イメージセンサ２３の撮像画像の露光制御とホワイトバランス制御を行うことができる。従って、撮像装置１１は、既存のベイヤ配列の撮像画像用の信号処理部２５を設けるだけで、新たな露光制御部やホワイトバランス制御部を開発せずに、イメージセンサ２３の撮像画像の露光制御とホワイトバランス制御を行うことができる。その結果、撮像装置１１の製造コストを削減することができる。
　（露光制御による効果）
　図６は、イメージセンサ２３の撮像画像の露光制御が行われない場合の分離部４２からの出力信号を表す図であり、図７は、露光制御が行われた場合の分離部４２からの出力信号を表す図である。
　図６に示すように、イメージセンサ２３の撮像画像の露光制御が行われないと、低周波成分（W+IR）Lが飽和レベルを超える場合がある。この場合、低周波成分（W+IR）Lは、白色の画素で感知されるべき光の光量に対応する画素信号の低周波成分よりも小さくなるため、上述した式（１）が成立せず、分離後の可視光成分ＲL，ＧL、およびＢLには、赤外光成分ＩＲLが残る。
　これに対して、イメージセンサ２３の撮像画像の露光制御が行われる場合、低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）の全てが飽和レベルを超えず、上述した式（１）が成立する。従って、分離後の可視光成分ＲL，ＧL、およびＢLには、赤外光成分ＩＲLが含まれない。その結果、露光制御が行われない場合に比べて、ベイヤ化処理後のRGB画像の画質が向上する。
　撮像装置１１では、イメージセンサ２３の撮像画像の露光制御が行われるので、露光制御が行われない場合に比べて、ベイヤ化処理後のRGB画像の画質が向上する。
　（撮像装置の処理の説明）
　図８および図９は、図１の撮像装置１１の撮像処理を説明するフローチャートである。この撮像処理は、例えば、イメージセンサ２３の撮像画像単位で行われる。
　図８のステップＳ１１において、イメージセンサ２３は、前の撮像画像に対する撮像処理で、信号処理部２５から供給されたシャッタゲインを、現在のシャッタゲインとして設定する。なお、先頭の撮像画像に対する撮像処理では、まだシャッタゲインが決定されていないため、ステップＳ１１において、例えば、予め決められたシャッタゲインのデフォルト値が、現在のシャッタゲインとして設定される。
　ステップＳ１２において、イメージセンサ２３は、現在のシャッタゲインに基づいて撮像を行い、その結果得られる非ベイヤ配列の撮像画像をベイヤ化処理部２４に供給する。
　ステップＳ１３において、ベイヤ化処理部２４の低周波処理部４１（図４）は、イメージセンサ２３の画素の色ごとに、イメージセンサ２３から供給される撮像画像に対してLPF処理および補完処理を行う。低周波処理部４１は、その結果生成される低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）Lを分離部４２に供給し、低周波成分（W+IR）Lをゲイン算出部４３、輝度合成部４７、高周波抽出部５２、および高周波復元処理部５３に供給する。
　ステップＳ１４において、分離部４２は、低周波処理部４１から供給される低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）Lに基づいて、上述した式（１）により、低周波成分（R+IR）L，（G+IR）L、および（B+IR）Lに含まれる赤外光成分ＩＲLと可視光成分ＲL，ＧL、およびＢLとを分離する。分離部４２は、赤外光成分ＩＲLと可視光成分ＲL，ＧL、およびＢLとをゲイン算出部４３に供給し、可視光成分ＲL，ＧL、およびＢLをホワイトバランス部４４に供給する。
　ステップＳ１５において、ゲイン算出部４３は、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLに基づいて、上述した式（２）により、ホワイトバランスゲインＣWR，ＣWG、およびＣWBを算出し、ホワイトバランス部４４に供給する。
　ステップＳ１６において、ゲイン算出部４３は、ホワイトバランスゲインＣWR，ＣWG、およびＣWBのそれぞれの逆数を算出し、逆ホワイトバランス部５４に供給する。ステップＳ１７において、ゲイン算出部４３は、可視光成分ＧLと、低周波処理部４１から供給される低周波成分（W+IR）Lとに基づいて、上述した式（３）により、補正ゲインＣEを算出する。ゲイン算出部４３は、補正ゲインＣEをレベル補正部４５に供給する。
　ステップＳ１８において、ホワイトバランス部４４は、上述した式（４）に示すように、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLのそれぞれに対して、ゲイン算出部４３から供給されるホワイトバランスゲインＣWR，ＣWG，ＣWBを乗算する。ホワイトバランス部４４は、乗算後の可視光成分ＲWL，ＧWL、およびＢWLをレベル補正部４５に供給する。
　ステップＳ１９において、レベル補正部４５は、ゲイン算出部４３から供給される補正ゲインＣEと、可視光成分ＲWL，ＧWL、およびＢWLのそれぞれとを乗算する。レベル補正部４５は、乗算後の可視光成分ＲWL，ＧWL、およびＢWLをＹＣ変換部４６に供給する。
　ステップＳ２０において、ＹＣ変換部４６は、上述した式（５）により、レベル補正部４５から供給される可視光成分ＲWL，ＧWL、およびＢWLを、輝度信号ＹLと色差信号ＣｂLおよびＣｒLとに変換する。ＹＣ変換部４６は、輝度信号ＹLを輝度合成部４７に供給し、色差信号ＣｂLおよびＣｒLを飽和色消し部４８に供給する。
　ステップＳ２１において、輝度合成部４７は、低周波処理部４１から供給される低周波成分（W+IR）Lに基づいて、上述した式（６）により、ＹＣ変換部４６から供給される輝度信号ＹLを補正し、その結果得られる輝度信号ＹL´をRGB変換部５０に供給する。
　ステップＳ２２において、飽和色消し部４８は、低周波成分（Ｗ+IR）Lが飽和レベルを超えたかどうかを判定する。ステップＳ２２で低周波成分（Ｗ+IR）Lが飽和レベルを超えたと判定された場合、ステップＳ２３において、飽和色消し部４８は、ＹＣ変換部４６から供給される色差信号ＣｂLおよびＣｒLに対して１未満のゲインを乗算し、色消しを行う。飽和色消し部４８は、色消し後の色差信号ＣｂLおよびＣｒLをクロマゲインアンプ４９に供給し、処理をステップＳ２４に進める。
　一方、ステップＳ２２で低周波成分（Ｗ+IR）Lが飽和レベルを超えていないと判定された場合、飽和色消し部４８は、ＹＣ変換部４６から供給される色差信号ＣｂLおよびＣｒLを、そのままクロマゲインアンプ４９に供給し、処理をステップＳ２４に進める。
　ステップＳ２４において、クロマゲインアンプ４９は、飽和色消し部４８から供給される色差信号ＣｂLおよびＣｒLのそれぞれに対して、クロマゲインを乗算し、RGB変換部５０に供給する。
　ステップＳ２５において、RGB変換部５０は、上述した式（７）により、輝度合成部４７から供給される輝度信号ＹL´と色差信号ＣｂLおよびＣｒLを、赤色、緑色、青色の画素信号RL´，GL´，BL´に変換し、高周波復元処理部５３に供給する。
　ステップＳ２６において、高周波補完部５１は、イメージセンサ２３から供給される撮像画像に基づいて、全画素の白色の可視光成分と赤外光成分を含む画素信号（W+IR）H+Lを補完し、高周波抽出部５２に供給する。
　図９のステップＳ２７において、高周波抽出部５２は、高周波補完部５１から供給される画素信号（W+IR）H+Lから、低周波処理部４１から供給される低周波成分（W+IR）Lを減算して、高周波成分（W+IR）Hを生成する。高周波抽出部５２は、高周波成分（W+IR）Hを高周波復元処理部５３に供給する。
　ステップＳ２８において、高周波復元処理部５３は、低周波処理部４１からの低周波成分（W+IR）L、RGB変換部５０からの画素信号RL´，GL´，BL´、および高周波抽出部５２からの高周波成分（W+IR）Hに基づいて、上述した式（８）により、全帯域の赤色、緑色、青色の画素信号R,G,Bを生成する。高周波復元処理部５３は、画素信号R,G,Bを逆ホワイトバランス部５４に供給する。
　ステップＳ２９において、逆ホワイトバランス部５４は、高周波復元処理部５３から供給される画素信号R,G,Bのそれぞれに対して、ゲイン算出部４３から供給されるホワイトバランスゲインＣWR，ＣWG，ＣWBの逆数を乗算し、ベイヤ化部５５に供給する。
　ステップＳ３０において、ベイヤ化部５５は、画素ごとに、逆ホワイトバランス部５４から供給される画素信号R,G,Bから、ベイヤ配列においてその画素に割り当てられた色の画素信号を抽出する。ベイヤ化部５５は、抽出された各画素の画素信号を、ベイヤ化処理後のベイヤ配列のRGB画像として、図１の信号処理部２５に供給する。
　ステップＳ３１において、信号処理部２５は、ベイヤ化部５５から供給されるベイヤ配列のRGB画像の緑色の画素信号の総和(積分値)に基づいて、そのRGB画像の緑色の画素信号の１画面内の平均値が飽和レベルを越さないようにシャッタゲインを決定する露光制御処理を行う。信号処理部２５は、決定されたシャッタゲインをイメージセンサ２３に供給する。このシャッタゲインは、次の撮像画像に対する撮像処理のステップＳ１１の処理で、現在のシャッタゲインとして設定される。
　ステップＳ３２において、信号処理部２５は、ベイヤ配列のRGB画像の各色の画素信号の総和（積分値）に基づいて各色のホワイトバランスゲインを算出し、色ごとに画素信号にホワイトバランスゲインを乗算するホワイトバランス制御処理を行う。
　ステップＳ３３において、信号処理部２５は、ホワイトバランス制御処理後のRGB画像に対してYCbCr変換処理を行い、その結果得られるYCbCr画像を出力する。そして、処理は終了する。
　（撮像装置のICチップの構成例）
　図１０乃至図１３は、撮像装置１１がIC（Integrated Circuit）チップに形成される場合のICチップの構成例を示す図である。
　撮像装置１１がICチップに形成される場合、例えば、図１０に示すように、イメージセンサ２３、ベイヤ化処理部２４、および信号処理部２５は、それぞれ異なるICチップ７１，７２，７３に形成されるようにすることができる。
　また、図１１に示すように、イメージセンサ２３とベイヤ化処理部２４が同一のICチップ８１に形成され、信号処理部２５が、ICチップ８１とは異なるICチップ８２に形成されるようにすることもできる。
　さらに、図１２に示すように、イメージセンサ２３が１つのICチップ９１に形成され、ベイヤ化処理部２４と信号処理部２５が、ICチップ９１とは異なるICチップ９２に形成されるようにすることもできる。また、図１３に示すように、イメージセンサ２３、ベイヤ化処理部２４、および信号処理部２５の全てが同一のICチップ１０１に形成されるようにすることもできる。
　なお、レンズ２１と光学フィルタ２２は、イメージセンサ２３が形成されるICチップ７１（８１，９１，１０１）のイメージセンサ２３上に形成される。
　以上のように、撮像装置１１は、非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の撮像画像の低周波成分（W+IR）Lの信号レベルと、ベイヤ化処理後のRGB画像の緑色の画素の画素信号の信号レベルが同一になるように、可視光成分ＧWLの信号レベルを補正する。従って、撮像装置１１は、既存のベイヤ配列の撮像画像用の信号処理部２５を用いて、ベイヤ化処理後のRGB画像に基づいて露光制御を行うことにより、非ベイヤ配列の撮像画像の露光制御を適切に行うことができる。
　また、撮像装置１１は、イメージセンサ２３により撮像された赤外光成分を含む非ベイヤ配列の撮像画像から赤外光成分を分離し、ベイヤ化処理を行う。従って、非ベイヤ配列の撮像画像が赤外光成分を含む場合であっても、撮像装置１１は、既存のベイヤ配列の撮像画像用の信号処理部２５を用いて、非ベイヤ配列の撮像画像の露光制御を適切に行うことができる。
　さらに、撮像装置１１は、非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の撮像画像の可視光成分ＲL，ＧL，ＢLの信号レベルの比と、ベイヤ化処理後のRGB画像の各色の画素信号の信号レベルの比が同一になるように、画素信号Ｒ，Ｇ，Ｂのホワイトバランスを制御する。従って、撮像装置１１は、既存のベイヤ配列の撮像画像用の信号処理部２５を用いて、ベイヤ化処理後のRGB画像に基づいてホワイトバランス制御を行うことにより、非ベイヤ配列の撮像画像のホワイトバランス制御を適切に行うことができる。
　＜第２実施の形態＞
　（撮像装置の第２実施の形態の構成例）
　図１４は、本開示を適用した撮像装置を含む撮像システムの第２実施の形態の構成例を示すブロック図である。
　図１４に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１４の撮像システム１２０の構成は、撮像装置１１の代わりに撮像装置１２１が設けられる点が、図１の撮像システム１０の構成と異なる。また、撮像装置１２１の構成は、ベイヤ化処理部２４の代わりにベイヤ化処理部１４１が設けられる点、信号処理部２５の代わりに信号処理部１４２が設けられる点が、図１の撮像装置１１の構成と異なる。撮像装置１２１は、ベイヤ化処理部１４１において、信号処理部１４２のホワイトバランス制御処理で算出されたホワイトバランスゲインを用いる。
　具体的には、撮像装置１２１のベイヤ化処理部１４１は、イメージセンサ２３から供給される非ベイヤ配列の撮像画像に対してベイヤ化処理を行い、ベイヤ配列のRGB画像を生成する。このとき、ベイヤ化処理部１４１は、信号処理部１４２から供給されるホワイトバランスゲインを用いてホワイトバランスを補正し、元に戻す。ベイヤ化処理部１４１は、生成されたベイヤ配列のRGB画像を信号処理部１４２に供給する。
　信号処理部１４２は、既存のベイヤ配列の撮像画像用の信号処理部である。信号処理部１４２は、ベイヤ化処理部１４１から供給されるRGB画像を用いて、ベイヤ配列の撮像画像に対する方法と同一の方法で、露光制御処理、ホワイトバランス制御処理、YCbCr変換処理などの信号処理を行う。信号処理部１４２は、露光制御処理の結果得られる露光量を表すシャッタゲインをイメージセンサ２３に供給し、撮像画像の露光量を制御する。
　また、信号処理部１４２は、ホワイトバランス制御処理において算出されたホワイトバランスゲインをベイヤ化処理部１４１に供給する。さらに、信号処理部１４２は、ホワイトバランス制御処理およびYCbCr変換処理の結果得られるYCbCr画像を出力する。
　（ベイヤ化処理部の構成例）
　図１５は、図１４のベイヤ化処理部１４１の構成例を示すブロック図である。
　図１５に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１５のベイヤ化処理部１４１の構成は、ゲイン算出部４３、ホワイトバランス部４４、逆ホワイトバランス部５４の代わりに、ゲイン算出部１６１、ホワイトバランス部１６２、逆ホワイトバランス部１６３が設けられる点が、図４のベイヤ化処理部２４の構成と異なる。
　ベイヤ化処理部１４１のゲイン算出部１６１は、図４のゲイン算出部４３と同様に、分離部４２から供給される可視光成分ＧLと、低周波処理部４１から供給される低周波成分（W+IR）Lとに基づいて、上述した式（３）により、補正ゲインＣEを算出する。ゲイン算出部１６１は、補正ゲインＣEをレベル補正部４５に供給する。しかしながら、ゲイン算出部１６１は、ゲイン算出部４３のように、ホワイトバランスゲインＣWR，ＣWG，ＣWBや、その逆数を算出しない。
　ホワイトバランス部１６２は、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLのそれぞれに対して、図４のホワイトバランス部４４と同様に、図１４の信号処理部１４２から供給されるホワイトバランスゲインを乗算し、可視光成分ＲL，ＧL、およびＢLの比率を補正する。ホワイトバランス部１６２は、補正後の可視光成分ＲWL，ＧWL、およびＢWLをレベル補正部４５に供給する。
　逆ホワイトバランス部１６３（ホワイトバランス制御部）は、図１の信号処理部１４２から供給されるホワイトバランスゲインの逆数を算出する。逆ホワイトバランス部１６３は、高周波復元処理部５３から供給される画素信号R,G,Bに対して、算出されたホワイトバランスゲインの逆数をそれぞれ乗算する。これにより、イメージセンサ２３から出力されたベイヤ化処理前の撮像画像の１画面内の赤色、緑色、および青色の画素信号の信号レベルの平均値の比と、ベイヤ化処理部１４１から出力されるベイヤ化処理後のRGB画像の１画面内の赤色、緑色、および青色の画素信号の信号レベルの平均値の比が同一になるように、画素信号R,G,Bのホワイトバランスが制御される。逆ホワイトバランス部１６３は、ホワイトバランスが制御された画素信号R,G,Bをベイヤ化部５５に供給する。
　（撮像装置の処理の説明）
　図１６および図１７は、図１４の撮像装置１２１の撮像処理を説明するフローチャートである。この撮像処理は、例えば、イメージセンサ２３の撮像画像単位で行われる。
　図１６のステップＳ５１乃至Ｓ５４の処理は、図８のステップＳ１１乃至Ｓ１４の処理と同様であるので、説明は省略する。
　ステップＳ５５において、ベイヤ化処理部１４１のホワイトバランス部１６２（図１５）は、信号処理部１４２から供給されるホワイトバランスゲインを取得する。なお、先頭の撮像画像に対する撮像処理では、まだホワイトバランスゲインが算出されていないため、ステップＳ５５において、例えば、予め決められたホワイトバランスゲインのデフォルト値が、取得されたホワイトバランスゲインとされる。
　ステップＳ５６の処理は、図８のステップＳ１７の処理と同様であるので、説明は省略する。ステップＳ５７において、ホワイトバランス部１６２は、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLのそれぞれに対して、取得されたホワイトバランスゲインを乗算する。ホワイトバランス部４４は、乗算後の可視光成分ＲWL，ＧWL、およびＢWLをレベル補正部４５に供給する。
　ステップＳ５８乃至Ｓ６７の処理は、図８および図９のステップＳ１９乃至Ｓ２８の処理と同様であるので、説明は省略する。
　ステップＳ６８において、逆ホワイトバランス部１６３は、信号処理部１４２から供給されるホワイトバランスゲインを取得し、その逆数を算出する。なお、先頭の撮像画像に対する撮像処理では、まだホワイトバランスゲインが算出されていないため、ステップＳ６８において、例えば、予め決められたホワイトバランスゲインのデフォルト値が、取得されたホワイトバランスゲインとされ、その逆数が算出される。
　ステップＳ６９において、逆ホワイトバランス部１６３は、高周波復元処理部５３から供給される画素信号R,G,Bに対して、算出されたホワイトバランスゲインの逆数を乗算し、ベイヤ化部５５に供給する。
　ステップＳ７０およびＳ７１の処理は、図９のステップＳ３０およびＳ３１の処理と同様であるので、説明は省略する。
　ステップＳ７２において、信号処理部１４２は、ベイヤ配列のRGB画像に基づいてホワイトバランス制御処理を行う。また、信号処理部１４２は、ホワイトバランス制御処理により算出されたホワイトバランスゲインを、ホワイトバランス部１６２と逆ホワイトバランス部１６３に供給する。
　ステップＳ７３の処理は、図９のステップＳ３３の処理と同様であるので、説明は省略する。
　なお、第２実施の形態においても、第１実施の形態と同様に、撮像装置１２１をICチップに形成することができる。
　＜非ベイヤ配列の他の例＞
　本技術は、赤外光成分を含むRGBW画素配列の撮像画像以外の非ベイヤ配列の撮像画像に対してベイヤ化処理を行う画像処理装置にも適用することができる。ベイヤ化処理の対象となる撮像画像には、赤外光成分が含まれていてもよいし、含まれていなくてもよい。
　図１８は、RGBW画素配列以外の非ベイヤ配列の例を示す図である。
　図１８のＡの画素配列は、RGB+IR画素配列であり、各画素が、赤色（Ｒ）の光、緑色（Ｇ）の光、青色（Ｂ）の光、および赤外光（ＩＲ）のいずれかに対応する画像を撮像する。図１８のＢの画素配列は、補色W画素配列であり、各画素が、白色（Ｗ）、黄色（Ｙｅ）、シアン（Ｃｙ）、および緑色（Ｇ）の光のいずれかに対応する画像を撮像する。
　ベイヤ化処理の内容は、非ベイヤ配列の種類、非ベイヤ配列の撮像画像に赤外光成分が含まれているかどうか等によって異なる。従って、例えば、ベイヤ化処理において、RGB信号をYCbCr信号に変換する処理や赤外光成分を分離する処理が行われない場合がある。また、ベイヤ化処理部は、ホワイトバランス部４４と逆ホワイトバランス部５４を備えない場合もある。
　しかしながら、ベイヤ化処理を行う際、ベイヤ化処理前の撮像画像の最も感度の高い画素の信号レベルと、ベイヤ化処理後の画像の露光制御に用いられる画素の信号レベルが同一になるように、撮像画像の信号レベルが補正される。従って、信号処理部２５（１４２）は、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができる。
　＜第３実施の形態＞
　（本開示を適用したコンピュータの説明）
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、撮像部２０６、入力部２０７、出力部２０８、記憶部２０９、通信部２１０、及びドライブ２１１が接続されている。
　撮像部２０６は、レンズ２１、光学フィルタ２２、イメージセンサ２３などにより構成され、撮像を行う。入力部２０７は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０８は、ディスプレイ、スピーカなどよりなる。記憶部２０９は、ハードディスクや不揮発性のメモリなどよりなる。通信部２１０は、ネットワークインタフェースなどよりなる。ドライブ２１１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１２を駆動する。
　以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０９に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１２に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ２００では、プログラムは、リムーバブルメディア２１２をドライブ２１１に装着することにより、入出力インタフェース２０５を介して、記憶部２０９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２１０で受信し、記憶部２０９にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０９に、あらかじめインストールしておくことができる。
　なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、信号処理部２５は、ベイヤ配列の撮像画像の露光制御方法にしたがう露光制御として、輝度信号に基づく露光制御を行うようにしてもよい。この場合、ゲイン算出部４３は、可視光成分ＲL，ＧL、およびＢLから輝度信号の１画面内の平均値を生成し、平均値Ａｖｅ（W+IR）Lを輝度信号の平均値で除算することにより、補正ゲインＣEを算出する。
　なお、本開示は、以下のような構成もとることができる。
　（１）
　非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
　を備える撮像装置。
　（２）
　前記前レベルと前記後レベルに基づいて、前記前レベルと前記後レベルを同一にするために前記撮像画像の信号レベルに乗算する補正ゲインを算出する補正ゲイン算出部
　をさらに備え、
　前記レベル補正部は、前記補正ゲイン算出部により算出された前記補正ゲインを、前記撮像画像の信号レベルに乗算する
　ように構成された
　前記（１）に記載の撮像装置。
　（３）
　前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像のRGBの信号レベルの比と、ベイヤ化処理後の前記撮像画像のRGBの信号レベルの比が同一になるように、前記撮像画像のホワイトバランスを制御するホワイトバランス制御部
　をさらに備える
　前記（１）または（２）に記載の撮像装置。
　（４）
　前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に対してホワイトバランスゲインを乗算するホワイトバランス部
　をさらに備え、
　前記ホワイトバランス制御部は、前記ホワイトバランス部により前記ホワイトバランスゲインが乗算された前記撮像画像に対して、前記ホワイトバランスゲインの逆数を乗算することにより、前記撮像画像のホワイトバランスを制御する
　ように構成された
　前記（３）に記載の撮像装置。
　（５）
　前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に基づいて前記ホワイトバランスゲインを算出するホワイトバランスゲイン算出部
　をさらに備える
　前記（４）に記載の撮像装置。
　（６）
　前記ホワイトバランスゲインは、前記ベイヤ化処理後の撮像画像を用いて所定の信号処理を行う際に算出される
　ように構成された
　前記（４）に記載の撮像装置。
　（７）
　前記非ベイヤ配列の撮像画像の各画素の信号には、不可視光成分と可視光成分が含まれる
　ように構成された
　前記（１）乃至（６）のいずれかに記載の撮像装置。
　（８）
　前記信号に含まれる前記不可視光成分と前記可視光成分を分離する分離部
　をさらに備え、
　前記レベル補正部は、前記分離部により分離された前記可視光成分の信号レベルを補正する
　ように構成された
　前記（７）に記載の撮像装置。
　（９）
　撮像装置が、
　非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正ステップ
　を含む撮像方法。
　（１０）
　コンピュータを、
　非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
　として機能させるためのプログラム。
　１１　撮像装置,　４２　分離部,　４３　ゲイン算出部,　４４　ホワイトバランス部,　４５　レベル補正部，　５４　逆ホワイトバランス部,　１２１　撮像装置,　１６２　ホワイトバランス部

Claims (10)

  1. 　非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
    　を備える撮像装置。
  2. 　前記前レベルと前記後レベルに基づいて、前記前レベルと前記後レベルを同一にするために前記撮像画像の信号レベルに乗算する補正ゲインを算出する補正ゲイン算出部
    　をさらに備え、
    　前記レベル補正部は、前記補正ゲイン算出部により算出された前記補正ゲインを、前記撮像画像の信号レベルに乗算する
    　ように構成された
    　請求項１に記載の撮像装置。
  3. 　前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像のRGBの信号レベルの比と、ベイヤ化処理後の前記撮像画像のRGBの信号レベルの比が同一になるように、前記撮像画像のホワイトバランスを制御するホワイトバランス制御部
    　をさらに備える
    　請求項１に記載の撮像装置。
  4. 　前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に対してホワイトバランスゲインを乗算するホワイトバランス部
    　をさらに備え、
    　前記ホワイトバランス制御部は、前記ホワイトバランス部により前記ホワイトバランスゲインが乗算された前記撮像画像に対して、前記ホワイトバランスゲインの逆数を乗算することにより、前記撮像画像のホワイトバランスを制御する
    　ように構成された
    　請求項３に記載の撮像装置。
  5. 　前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に基づいて前記ホワイトバランスゲインを算出するホワイトバランスゲイン算出部
    　をさらに備える
    　請求項４に記載の撮像装置。
  6. 　前記ホワイトバランスゲインは、前記ベイヤ化処理後の撮像画像を用いて所定の信号処理を行う際に算出される
    　ように構成された
    　請求項４に記載の撮像装置。
  7. 　前記非ベイヤ配列の撮像画像の各画素の信号には、不可視光成分と可視光成分が含まれる
    　ように構成された
    　請求項１に記載の撮像装置。
  8. 　前記信号に含まれる前記不可視光成分と前記可視光成分を分離する分離部
    　をさらに備え、
    　前記レベル補正部は、前記分離部により分離された前記可視光成分の信号レベルを補正する
    　ように構成された
    　請求項７に記載の撮像装置。
  9. 　撮像装置が、
    　非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正ステップ
    　を含む撮像方法。
  10. 　コンピュータを、
    　非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
    　として機能させるためのプログラム。
PCT/JP2015/084390 2014-12-18 2015-12-08 撮像装置、撮像方法、およびプログラム WO2016098641A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/534,679 US10110825B2 (en) 2014-12-18 2015-12-08 Imaging apparatus, imaging method, and program
JP2016564799A JP6643250B2 (ja) 2014-12-18 2015-12-08 撮像装置、撮像方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014256045 2014-12-18
JP2014-256045 2014-12-18

Publications (1)

Publication Number Publication Date
WO2016098641A1 true WO2016098641A1 (ja) 2016-06-23

Family

ID=56126533

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/084390 WO2016098641A1 (ja) 2014-12-18 2015-12-08 撮像装置、撮像方法、およびプログラム

Country Status (3)

Country Link
US (1) US10110825B2 (ja)
JP (1) JP6643250B2 (ja)
WO (1) WO2016098641A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020027979A (ja) * 2018-08-09 2020-02-20 キヤノン株式会社 撮像装置及び撮像方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10594996B2 (en) 2014-09-24 2020-03-17 Sony Semiconductor Solutions Corporation Image processing apparatus, image pickup device, image pickup apparatus, and image processing method
WO2016136501A1 (ja) 2015-02-26 2016-09-01 ソニー株式会社 撮像装置、撮像方法、およびプログラム
CN106507080B (zh) * 2016-11-29 2018-07-17 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
JP7253129B2 (ja) * 2019-01-07 2023-04-06 ソニー・オリンパスメディカルソリューションズ株式会社 画像処理装置及び観察システム
TWI715142B (zh) * 2019-08-07 2021-01-01 瑞昱半導體股份有限公司 影像感測裝置以及自動白平衡方法
KR20210104462A (ko) 2020-02-17 2021-08-25 삼성전자주식회사 이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치
KR20220036014A (ko) 2020-09-15 2022-03-22 삼성전자주식회사 이미지 센싱 시스템
CN113781303B (zh) * 2021-09-01 2024-05-10 瑞芯微电子股份有限公司 图像处理方法、介质、处理器及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008289000A (ja) * 2007-05-18 2008-11-27 Sony Corp 画像入力処理装置、および、その方法
JP2008289001A (ja) * 2007-05-18 2008-11-27 Sony Corp 画像入力処理装置、および、その方法
JP2013219705A (ja) * 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
EP2833635B1 (en) * 2012-03-27 2018-11-07 Sony Corporation Image processing device, image-capturing element, image processing method, and program
JP2016048815A (ja) * 2014-08-27 2016-04-07 ソニー株式会社 画像処理装置、画像処理方法、及び、画像処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008289000A (ja) * 2007-05-18 2008-11-27 Sony Corp 画像入力処理装置、および、その方法
JP2008289001A (ja) * 2007-05-18 2008-11-27 Sony Corp 画像入力処理装置、および、その方法
JP2013219705A (ja) * 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020027979A (ja) * 2018-08-09 2020-02-20 キヤノン株式会社 撮像装置及び撮像方法
JP7150514B2 (ja) 2018-08-09 2022-10-11 キヤノン株式会社 撮像装置及び撮像方法

Also Published As

Publication number Publication date
US20170366723A1 (en) 2017-12-21
JP6643250B2 (ja) 2020-02-12
US10110825B2 (en) 2018-10-23
JPWO2016098641A1 (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
WO2016098641A1 (ja) 撮像装置、撮像方法、およびプログラム
US10070104B2 (en) Imaging systems with clear filter pixels
US10560670B2 (en) Imaging apparatus and imaging control method
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
US8467088B2 (en) Image signal processing apparatus, imaging apparatus, image signal processing method and computer program
US10699393B2 (en) Image processing apparatus and image processing method
JP4346634B2 (ja) 目標物検出装置
US10574910B2 (en) Method and apparatus for controlling a luminance composition unit
JP5663564B2 (ja) 撮像装置並びに撮像画像処理方法と撮像画像処理プログラム
JP5223742B2 (ja) エッジ強調画像処理装置
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
US9936172B2 (en) Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image
WO2014038685A1 (en) Image processor, imaging apparatus equipped with the same, and image processing method
JP5098908B2 (ja) 画像入力装置
US8345116B2 (en) Noise reduction filter processing circuit, image processing circuit, imaging device, and storage medium storing noise reduction program
JP2013219452A (ja) 色信号処理回路、色信号処理方法、色再現評価方法、撮像装置、電子機器、及び、試験装置
TWI536765B (zh) 具有透明濾波器像素之成像系統
TWI617198B (zh) 具有透明濾波器像素之成像系統
JP2006324789A (ja) 映像信号処理方法および映像信号処理装置
TWI601427B (zh) 具有透明濾波器像素之成像系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15869846

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016564799

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15534679

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15869846

Country of ref document: EP

Kind code of ref document: A1