WO2017149854A1 - 信号処理装置、撮像装置および信号処理方法 - Google Patents

信号処理装置、撮像装置および信号処理方法 Download PDF

Info

Publication number
WO2017149854A1
WO2017149854A1 PCT/JP2016/084058 JP2016084058W WO2017149854A1 WO 2017149854 A1 WO2017149854 A1 WO 2017149854A1 JP 2016084058 W JP2016084058 W JP 2016084058W WO 2017149854 A1 WO2017149854 A1 WO 2017149854A1
Authority
WO
WIPO (PCT)
Prior art keywords
light image
image signal
visible light
region
imaging condition
Prior art date
Application number
PCT/JP2016/084058
Other languages
English (en)
French (fr)
Inventor
康司 倉田
直己 岡本
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/074,026 priority Critical patent/US10694118B2/en
Publication of WO2017149854A1 publication Critical patent/WO2017149854A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only

Definitions

  • the present technology relates to a signal processing device, an imaging device, and a signal processing method.
  • the present invention relates to a signal processing device, an imaging device, and a signal processing method that perform mixing of a visible light image signal and a non-visible light image signal.
  • an imaging apparatus that improves image quality by detecting whether fog has occurred and expanding the contrast of an image has been used.
  • a system that includes two cameras, a first camera and a second camera, picks up an image including fog using the first camera, and picks up a fog portion using the second camera (for example, a patent).
  • Reference 1 the foggyness is detected from the image captured by the second camera.
  • correction processing such as enlargement of contrast of the image captured by the first camera and correction of luminance and color is performed. Thereby, the image quality of the image containing fog is improved.
  • the above-described conventional technology uses an image picked up only by visible light. This visible light is easily scattered by fog or the like, and there is a problem that an image existing behind the fog cannot be sufficiently captured. For this reason, even if contrast enlargement or the like is performed after imaging, the image existing behind the fog cannot be reproduced, and the image quality of the image including the fog cannot be sufficiently improved. There is.
  • the present technology has been created in view of such a situation, and generates an image by mixing an infrared light image signal that is not easily affected by scattering due to fog with a visible light image signal, and the infrared light image signal.
  • the object is to optimize the imaging conditions and improve the image quality of images containing fog.
  • the present technology has been made to solve the above-described problems.
  • the first aspect of the present technology is a mixture of a non-visible light image signal and a visible light image signal repeatedly imaged based on a predetermined imaging condition.
  • a mixed region detection unit that detects a region to be performed, and imaging that newly generates an imaging condition in the invisible light image signal based on the invisible light image signal in the detected region and updates the predetermined imaging condition
  • a signal processing apparatus and a signal processing method including a condition update unit whereby, the region where the non-visible light image signal and the visible light image signal are mixed is detected, and the imaging condition of the non-visible light image signal in this region is updated.
  • the imaging condition update unit newly generates an imaging condition in which the invisible light image signal and the visible light image signal in the detected area are substantially equal to each other, and performs the predetermined imaging. Conditions may be updated. As a result, the imaging condition in which the invisible light image signal and the visible light image signal in the detected region are approximately equal is newly generated and updated.
  • the imaging condition update unit is configured to capture an imaging condition in which the invisible light image signal in the detected area is substantially equal to the visible light image signal in an area other than the detected area. May be newly generated to update the predetermined imaging condition. This brings about the effect that a new imaging condition is generated and updated so that the invisible light image signal in the detected area and the visible light image signal in the area other than the detected area are substantially equal. .
  • the mixed region detection unit may detect the region based on a transmittance of fog captured by the visible light image signal. This brings about the effect
  • the mixed region detection unit may detect a region where the fog transmittance is smaller than a predetermined threshold as the region. This brings about the effect
  • the mixed area detection unit may detect a face area included in the visible light image signal as the area. This brings about the effect that the face area is detected as the area.
  • the mixed region detection unit may detect a region where the visible light image signal is larger than a predetermined threshold as the region. This brings about the effect that the region where the visible light image signal is larger than the predetermined threshold is detected as the region.
  • the mixed region detection unit may detect a region where the visible light image signal is smaller than a predetermined threshold as the region. This brings about the effect
  • the first aspect further includes a mixing ratio generation unit that generates a mixing ratio in the mixing based on the non-visible light image signal in the detected region, and the imaging condition update unit includes the generation
  • the predetermined imaging condition may be updated by newly generating an imaging condition in the non-visible light image signal based on the mixed ratio.
  • the generated mixing ratio is generated based on the invisible light image signal in the detected region, and the imaging condition in the invisible light image signal is newly generated and updated based on the mixing ratio.
  • an amplification unit that adjusts the level of the invisible light image signal based on the imaging condition may be further provided. This brings about the effect that the level of the non-visible light image signal is adjusted based on the imaging condition.
  • the invisible light image signal may be an infrared light image signal corresponding to infrared light. Accordingly, an area where the infrared light image signal and the visible light image signal are mixed is detected, and an imaging condition of the infrared light image signal in this area is updated.
  • the second aspect of the present technology provides an image sensor that generates a non-visible light image signal and a visible light image signal by repeatedly capturing images based on a predetermined imaging condition, the non-visible light image signal, and the visible light.
  • a mixed region detection unit for detecting a region where image signals are mixed, and the predetermined imaging by newly generating imaging conditions in the invisible light image signal based on the invisible light image signal in the detected region
  • An imaging apparatus including an imaging condition update unit that updates conditions. Thereby, the region where the non-visible light image signal and the visible light image signal are mixed is detected, and the imaging condition of the non-visible light image signal in this region is updated.
  • an infrared light image signal that is not easily affected by scattering due to fog is mixed with a visible light image signal to generate an image, and the imaging conditions of the infrared light image signal are optimized to include an image including fog It is possible to achieve an excellent effect of improving the image quality.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • composition of imaging device 10 in a 1st embodiment of this art. It is a figure showing an example of composition of signal processor 200 in a 1st embodiment of this art. It is a figure showing an example of composition of processing condition generation part 240 in a 1st embodiment of this art. It is a figure showing an example of generation of a mixture ratio in a 1st embodiment of this art. It is a figure which shows an example of the process sequence of the visible light image imaging condition update process in 1st Embodiment of this technique. It is a figure which shows an example of the process sequence of the infrared light imaging condition update process in 1st Embodiment of this technique.
  • FIG. 1 is a diagram illustrating a configuration example of the imaging device 10 according to the first embodiment of the present technology.
  • the imaging device 10 includes an imaging device 100, a signal processing unit 200, and a control unit 300.
  • the image sensor 100 generates a visible light image signal and an infrared light image signal by imaging a subject.
  • the imaging device 100 is configured by two-dimensionally arranging pixels that generate image signals on a surface that receives external light.
  • a pixel (R pixel) that generates an image signal (R signal) corresponding to red light
  • a pixel (G pixel) that generates an image signal (G signal) corresponding to green light
  • an image corresponding to blue light Pixels (B pixels) that generate signals (B signals) are arranged on the light receiving surface.
  • a pixel (IR pixel) that generates an image signal (IR signal) corresponding to infrared light is further arranged.
  • These pixels are arranged on the light receiving surface of the image sensor 100 based on a predetermined pattern. For example, it is repeatedly arranged on the light receiving surface by an array in which one of two G pixels in the Bayer array is replaced with an IR pixel.
  • a visible light image signal is generated from the R pixel, G pixel, and B pixel. That is, the visible light image signal is composed of an R signal, a G signal, and a B signal.
  • an infrared light image signal composed of an IR signal is generated.
  • the visible light image signal and the infrared light image signal are alternately generated, and a visible light image and an infrared light image for the same subject are generated.
  • a visible light image signal and an infrared light image signal are mixed to generate an image of one frame.
  • the frame is an image signal for one screen.
  • the image sensor 100 performs imaging based on the imaging conditions.
  • the imaging condition is a condition at the time of imaging, and corresponds to, for example, a gain for adjusting the exposure time and the signal level of the image signal.
  • the imaging conditions are generated by the signal processing unit 200 and set for the imaging element 100 by the control unit 300.
  • the signal processing unit 200 performs processing of the image signal generated by the image sensor 100. As processing of this image signal, for example, processing of mixing a visible light image signal and an infrared light image signal generated by the image sensor 100 can be performed.
  • the image signal processed by the signal processing unit 200 is output to the outside of the imaging device 10 as an output image signal of the imaging device 10.
  • the signal processing unit 200 generates an imaging condition based on the visible light image signal and the infrared light image signal, and outputs the imaging condition to the control unit 300. This imaging condition is generated for each visible light image signal and infrared light image signal.
  • the control unit 300 controls generation of a visible light image signal and an infrared light image signal in the image sensor 100. In this control, the imaging conditions of the visible light image signal and the infrared light image signal generated by the signal processing unit 200 are alternately set for the imaging device 100 to control the imaging device 100. The control unit 300 further performs overall control of the imaging device 10.
  • FIG. 2 is a diagram illustrating a configuration example of the signal processing unit 200 according to the first embodiment of the present technology.
  • the signal processing unit 200 includes a demosaic unit 250, a separation unit 210, a luminance / color difference signal generation unit 220, a mixing unit 230, and a processing condition generation unit 240.
  • the demosaic unit 250 performs a demosaic process on the image signal generated by the image sensor 100 and outputs the demosaic process to the separation unit 210.
  • the demosaic process is a process of complementing a deficient image signal with respect to a monochromatic image signal generated by the image sensor 100.
  • the image signal per pixel increases to four signals of R signal, G signal, B signal and IR signal.
  • the separation unit 210 separates the visible light image signal and the infrared light image signal generated by the image sensor 100.
  • the separated visible light image signal is output to the luminance / color difference signal generation unit 220.
  • the separated infrared light image signal is output to the mixing unit 230.
  • the luminance color difference signal generation unit 220 converts the R signal, the G signal, and the B signal that are visible light image signals output from the separation unit 210 into luminance signals (Y signals) and color difference signals (Cr signals and Cb signals). It is.
  • the Cr signal is a signal based on the difference between the R signal and the Y signal
  • the Cb signal is a signal based on the difference between the B signal and the Y signal. For this conversion, a known conversion formula can be used.
  • the converted Y signal, Cb signal, and Cr signal are output to the mixing unit 230.
  • the mixing unit 230 mixes the visible light image signal and the infrared light image signal to generate an image signal of one frame.
  • the mixing unit 230 divides the frame into a plurality of regions, and performs mixing for each region of the divided frames. At that time, mixing is performed based on the mixing ratio for each region generated by the processing condition generation unit 240 described later. For this frame division, for example, a method of dividing the frame into 63 areas by dividing the frame into 7 in the vertical direction and 9 in the horizontal direction can be adopted.
  • the mixing unit 230 in the figure mixes the Y signal output from the luminance / color difference signal generation unit 220 and the IR signal output from the separation unit 210. Mixing can be performed based on the following formula, for example.
  • Y ′ IR ⁇ ⁇ + Y ⁇ (1 ⁇ )
  • Y ′ represents the Y signal after mixing.
  • ⁇ represents the mixing ratio.
  • the Y ′ signal after mixing, the Cr signal, and the Cb signal become output image signals of the imaging device 10. Details of mixing in the mixing unit 230 will be described later.
  • the processing condition generation unit 240 generates processing conditions based on the visible light image signal and the infrared light image signal.
  • the processing condition generation unit 240 generates a processing condition based on the Y signal output from the luminance / color difference signal generation unit 220 and the IR signal output from the separation unit 210.
  • the imaging conditions and the mixing ratio ⁇ described above are generated as the processing conditions. Details of the configuration of the processing condition generation unit 240 will be described later.
  • FIG. 3 is a diagram illustrating a configuration example of the processing condition generation unit 240 according to the first embodiment of the present technology.
  • the processing condition generation unit 240 includes a visible light image signal average generation unit 241, a fog transmittance generation unit 242, an infrared light image signal average generation unit 243, a mixing ratio generation unit 244, and a visible light image imaging condition holding unit. 245 and a visible light image capturing condition update unit 246.
  • the processing condition generation unit 240 further includes an infrared light image capturing condition update unit 247 and an infrared light image capturing condition holding unit 248.
  • the visible light image signal average generation unit 241 divides a visible light image signal for one screen into a plurality of regions and generates an average of visible light image signals (Y signals) in the divided regions for each region. .
  • the division method in the mixing unit 230 described in FIG. 2 can be employed.
  • the visible light image capturing condition holding unit 245 holds a visible light image capturing condition that is an imaging condition of a visible light image signal.
  • the visible light image capturing condition holding unit 245 holds predetermined imaging conditions as initial conditions.
  • the visible light image capturing condition updating unit 246 updates the visible light image capturing condition held in the visible light image capturing condition holding unit 245.
  • the visible light image capturing condition update unit 246 generates a new image capturing condition based on the average of the Y signals generated by the visible light image signal average generation unit 241 and outputs the new image capturing condition to the control unit 300.
  • an infrared light image capturing condition is generated in which the brightness of the infrared light image signal and the visible light image signal in the region detected by the fog transmittance generation unit 242 is substantially equal.
  • the visible light image capturing condition update unit 246 performs updating by causing the visible light image capturing condition holding unit 245 to hold the generated new imaging condition. Details of the update process will be described later.
  • the fog transmittance generation unit 242 generates fog transmittance based on the visible light image signal.
  • the fog transmittance generation unit 242 generates a fog transmittance for each region divided by the mixing unit 230 described above, and outputs the fog transmission rate to the mixing ratio generation unit 244.
  • a known method can be used to detect the fog transmittance. For example, it is possible to use a method of estimating the fog density for each region of the image signal and converting the estimated fog density into transmittance by a soft matting method or the like.
  • the fog transmittance generation unit 242 detects a region where mixing is performed based on the fog transmittance. In the fog transmission rate generation unit 242 in the figure, the fog transmission rate for each region is generated and output to the mixing ratio generation unit 244.
  • the mixing ratio generation unit 244 generates a mixing ratio in which the ratio of the infrared light image signal to be mixed is increased with respect to the region where the fog transmittance is low. In this way, the area where mixing is performed by the fog transmittance generation unit 242 is detected. It is also possible to adopt a method in which a region where the fog transmittance is lower than a predetermined threshold is detected and output to the mixing ratio generation unit 244.
  • the fog transmittance generation unit 242 is an example of a mixed region detection unit described in the claims.
  • the mixing ratio ⁇ is generated based on the infrared light image signal in the region detected by the mixing ratio detection unit 244 and the fog transmittance generation unit 242. Details of generation of the mixing ratio ⁇ will be described later.
  • the infrared light image signal average generation unit 243 divides the infrared light image signal for one screen into a plurality of regions and generates an average of the infrared light image signals (IR signals) in the divided regions for each region. Is. For the division of the region, the division method in the mixing unit 230 can be adopted as in the visible light image signal average generation unit 241.
  • the infrared light imaging condition holding unit 248 holds infrared imaging conditions that are imaging conditions for infrared light image signals.
  • the infrared light image capturing condition holding unit 248 holds a predetermined image capturing condition as an initial condition.
  • the infrared light image capturing condition updating unit 247 updates the infrared light image capturing condition held in the infrared light image capturing condition holding unit 248.
  • the infrared light image capturing condition update unit 247 includes an average of Y signals generated by the visible light image signal average generation unit 241, an average of IR signals generated by the infrared light image signal average generation unit 243, and a mixing ratio.
  • the mixing ratio ⁇ generated by the generation unit 244 is input.
  • the infrared light image capturing condition update unit 247 generates a new image capturing condition based on these signals and outputs it to the control unit 300.
  • the infrared light image capturing condition update unit 247 performs update by causing the infrared light image capturing condition holding unit 248 to hold the generated new image capturing condition. Details of the update process will be described later.
  • FIG. 4 is a diagram illustrating an example of the generation of the mixing ratio according to the first embodiment of the present technology.
  • the figure shows the generation of the mixing ratio ⁇ in the mixing ratio generation unit 244.
  • the mixture ratio generation unit 244 converts the transmittance output from the fog transmittance generation unit 242 into a mixture ratio ⁇ .
  • ⁇ _MAX and ⁇ _MIN correspond to the maximum value and the minimum value of the mixing ratio ⁇ , respectively.
  • values “1” and “0” can be employed as ⁇ _MAX and ⁇ _MIN, respectively.
  • ⁇ _MAX is output as the mixing ratio ⁇ .
  • the mixing ratio ⁇ is linearly changed from ⁇ _MAX to ⁇ _MIN.
  • ⁇ _MIN is output as the mixing ratio ⁇ .
  • the generation of the mixing ratio ⁇ is not limited to this example.
  • a method of outputting either ⁇ _MAX or ⁇ _MIN with the threshold value TH1 as a boundary may be employed.
  • FIG. 5 is a diagram illustrating an example of a processing procedure of visible light image capturing condition update processing according to the first embodiment of the present technology. The figure shows the update processing of the visible light image capturing condition in the visible light image capturing condition updating unit 246.
  • a visible light metering weight is set (step S911).
  • the visible light metering weight is a weight set for each region. This visible light metering weight is used when calculating a brightness evaluation value, which will be described later. A large weight is generated with respect to an area where brightness is preferentially adjusted, for example, a center area of the screen. Thereafter, the area is weighted when the brightness evaluation value is calculated.
  • a visible light photometric target is set (step S912).
  • the visible light metering target is a target value of the brightness of the visible light image.
  • step S913 the brightness evaluation value is calculated (step S913). This can be done as follows. First, the weighted average set in step S911 is calculated with respect to the average of the visible light image signal for each region output by the visible light image signal average generation unit 241. The difference between the calculated average and the visible light photometric target generated in step S912 is set as the brightness evaluation value.
  • the visible light image capturing condition is updated (step S914). This can be done as follows. First, a new visible light image capturing condition is generated by adjusting the visible light image capturing condition held in the visible light image capturing condition holding unit 245 based on the brightness evaluation value generated in step S913. Next, the new visible light image capturing condition holding unit 245 holds the new visible light image capturing condition.
  • the visible light image capturing condition update process ends. Note that the newly generated visible light image capturing condition is output to the control unit 300 as an image capturing condition in the next frame.
  • FIG. 6 is a diagram illustrating an example of a processing procedure of infrared image capturing condition update processing according to the first embodiment of the present technology. This figure shows the update processing of the infrared light image capturing condition in the infrared light image capturing condition updating unit 247.
  • infrared light metering weights are set (step S921).
  • the infrared light metering weight is a weight set for each region. Similar to the visible light metering weight described above, a large weight is generated for a region where brightness is preferentially adjusted. This infrared light metering weight is generated based on the mixing ratio for each region generated by the mixing ratio generation unit 244. Details of generation of the infrared light metering weight will be described later.
  • an infrared light metering target is set (step S922).
  • the infrared light metering target is a target value of the brightness of the infrared light image.
  • step S923 the brightness evaluation value is calculated (step S923). This can be done as follows. First, the average with the infrared light metering weight set in step S921 is calculated with respect to the average of the infrared light image signal for each region output by the infrared light image signal average generation unit 243. The difference between the calculated average and the infrared light metering target generated in step S922 is used as the brightness evaluation value.
  • the infrared light image capturing condition is updated (step S924).
  • a new infrared light image capturing condition is generated by adjusting the infrared light image capturing condition held in the infrared light image capturing condition holding unit 248 based on the brightness evaluation value generated in step S923. Is done.
  • a new infrared light image capturing condition holding unit 248 holds the new infrared light image capturing condition.
  • the infrared light imaging condition update process ends. Note that the newly generated infrared light image capturing condition is output to the control unit 300 as an image capturing condition in the next frame.
  • FIG. 7 is a diagram illustrating an example of generation of infrared light metering weights according to the first embodiment of the present technology.
  • This figure shows the generation of infrared light metering weights in the infrared light image capturing condition update unit 247, and is the process performed in step S921 described in FIG.
  • the infrared light image capturing condition update unit 247 converts the mixing ratio ⁇ output from the mixing ratio generation unit 244 into infrared light metering weights.
  • MAX and MIN correspond to the maximum and minimum values of infrared light metering weights, respectively.
  • the fog transmission rate is generated by the fog transmission rate generation unit 242, and the high mixing rate ⁇ is generated for the region where the fog transmission rate is low by the mixing rate generation unit 244.
  • the infrared light image capturing condition update unit 247 sets a large infrared light metering weight for an area where the mixing ratio ⁇ is large, and generates an infrared light metering target.
  • an infrared light image capturing condition is generated that makes the brightness of infrared light and visible light close to each other in a region where the transmittance of fog is low.
  • the next frame is imaged so that the signal level of the infrared light image signal in the low fog transmission region is substantially the same as the visible light image signal in the region. Can be the same. Thereby, the brightness
  • FIG. 8 is a diagram illustrating an example of a signal processing procedure according to the first embodiment of the present technology.
  • the figure shows signal processing in the processing condition generation unit 240.
  • the processing in FIG. 11 is executed when a visible light image signal and an infrared light image signal are generated by the image sensor 100 and are input to the processing condition generation unit 240.
  • mixed area detection is performed (step S901). This is performed by the fog transmittance generation unit 242 generating fog transmittance.
  • a mixing ratio is generated by the mixing ratio generation unit 244 (step S902).
  • the visible light image capturing condition update described in FIG. 5 is performed (step S910).
  • the infrared image capturing condition update described with reference to FIG. 6 is performed (step S920), and the processing condition generation unit 240 ends the signal processing.
  • an image in which a visible light image signal and an infrared light image signal are mixed is generated in a region where the fog transmittance is low.
  • the imaging condition of the infrared light image signal that makes the brightness of the infrared light image signal and the visible light image signal substantially equal in the region is newly generated, and the imaging condition is updated.
  • the next imaging is performed based on the updated imaging conditions. Thereby, the brightness of these image signals in the region where the transmittance of fog is low can be made substantially equal, and the image quality of images containing fog can be improved.
  • Second Embodiment> In the first embodiment described above, the area where the infrared light image signal and the visible light image signal are mixed is detected by calculating the fog transmittance. On the other hand, in the second embodiment of the present technology, a human face area is detected. Thereby, the image quality in the face area can be improved.
  • FIG. 9 is a diagram illustrating a configuration example of the processing condition generation unit 240 according to the second embodiment of the present technology.
  • the processing condition generation unit 240 shown in the figure is different from the processing condition generation unit 240 described with reference to FIG. 3 in that a face area detection unit 249 is provided instead of the fog transmittance generation unit 242.
  • the face area detection unit 249 detects the face area based on the visible light image signal. A known method can be used to detect this face area.
  • the face area detection unit 249 can output, for example, an area including a face to the mixture ratio generation unit 244 as a detection result.
  • the face area detection unit 249 can output, as a detection result, the probability of being a face area for each area of the divided image, for example.
  • the face area detection unit 249 is an example of the mixed area detection unit described in the claims.
  • the mixing ratio generation unit 244 in the figure generates a mixing ratio based on the output from the face area detection unit 249. For example, when a region including a face is output as a detection result from the face region detection unit 249, a high mixing ratio can be generated for the region. Further, when the probability of being a face is output for each region from the face region detection unit 249, for example, a mixing ratio proportional to this probability can be generated. Infrared light and visible light have different penetration characteristics into the skin of a person, and an image captured with infrared light is an image with few skin spots and the like. For this reason, it is possible to obtain a face image with few spots and the like by mixing the infrared light image signal with the face region. At this time, the infrared light image capturing condition update unit 247 generates an image capturing condition for making the brightness of the infrared light image signal and the visible light image signal in the face region substantially equal, and is applied to image capturing of the next frame.
  • imaging apparatus 10 Other configurations of the imaging apparatus 10 are the same as the configuration of the imaging apparatus 10 described in the first embodiment of the present technology, and thus the description thereof is omitted.
  • an image in which the infrared light image signal and the visible light image signal are mixed is generated in the detected face region.
  • the imaging condition of the infrared light image signal that makes the brightness of the infrared light image signal and the visible light image signal substantially equal in the region is newly generated, and the imaging condition is updated.
  • the next imaging is performed based on the updated imaging condition. For this reason, the brightness of the infrared light image signal and visible light image signal of the face region can be made substantially equal, and the image quality can be improved.
  • the face area is detected.
  • an area specified by the user may be detected, and a mixed image signal in the area may be generated.
  • the face area detection unit 249 can detect an area specified by the user instead of the face area and output the detected area to the mixture ratio generation unit 244.
  • the area recognized by the user as the face area is the face area detected by the face area detection unit 249. Thereby, the image quality of the area specified by the user can be improved.
  • imaging device 10 Other configurations of the imaging device 10 are the same as the configuration of the imaging device 10 described in the second embodiment of the present technology, and thus the description thereof is omitted.
  • the image quality of the area designated by the user can be improved.
  • the area where the infrared light image signal and the visible light image signal are mixed is detected by calculating the fog transmittance.
  • a blackened area is detected as an area where the infrared light image signal and the visible light image signal are mixed. Thereby, the image quality in the blackout area can be improved.
  • FIG. 10 is a diagram illustrating a configuration example of the processing condition generation unit 240 according to the third embodiment of the present technology.
  • the processing condition generation unit 240 shown in the figure is different from the processing condition generation unit 240 described in FIG. 3 in that a dark part detection unit 601 is provided instead of the fog transmittance generation unit 242.
  • the dark part detection unit 601 detects a dark part based on a visible light image signal.
  • the dark portion is a region in which so-called black crushing occurs.
  • a dark portion is generated when an image with a high dynamic range is captured as in the case of imaging in a backlight state.
  • a method of detecting a region where the visible light image signal is smaller than a predetermined threshold can be adopted.
  • the dark part detection unit 601 outputs an area corresponding to the dark part to the mixing ratio generation unit 244.
  • the dark portion detection unit 601 is an example of a mixed region detection unit described in the claims.
  • the mixing ratio generation unit 244 in the same figure generates the mixing ratio of the dark part detected by the dark part detection unit 601. For example, a predetermined mixing ratio can be generated for the dark part. In addition, the mixing ratio can be set to a value “0” for other regions. Visibility can be improved by mixing the infrared light image signal based on the mixing ratio.
  • the infrared light image capturing condition update unit 247 in the same figure shows the brightness of the infrared light image signal in the region detected by the dark part detection unit 601 and the visible light image signal in the region other than the region detected by the dark part detection unit 601.
  • An infrared light image capturing condition for making the brightness substantially equal is generated.
  • an infrared light image capturing condition is generated in which the brightness of the infrared light image signal in the dark portion and the brightness of the visible light image signal in the region other than the dark portion are substantially equal.
  • step S922 described with reference to FIG. 6 an average with respect to the average of the visible light image signal for each region is calculated, and this is used as the infrared light metering target.
  • An infrared light image capturing condition is generated based on the infrared light metering target, and is applied to image capturing of the next frame. Thereby, the infrared light image signal in the dark part and the visible light image signal in the region other than the dark part can be made to have substantially the same brightness.
  • the other infrared light image capturing condition update processing procedures are the same as the processing procedures described with reference to FIG.
  • imaging apparatus 10 Other configurations of the imaging apparatus 10 are the same as the configuration of the imaging apparatus 10 described in the first embodiment of the present technology, and thus the description thereof is omitted.
  • an image in which the infrared light image signal and the visible light image signal are mixed is generated in the detected dark part.
  • the imaging condition of the infrared light image signal that makes the infrared light image signal in the dark part and the brightness of the visible light image signal in the region other than the dark part substantially equal is generated, and the imaging condition is updated.
  • the next imaging is performed based on the updated imaging condition. For this reason, the image quality in an image with a high dynamic range can be improved.
  • FIG. 11 is a diagram illustrating a configuration example of the processing condition generation unit 240 according to the fourth embodiment of the present technology.
  • the processing condition generation unit 240 shown in the figure is different from the processing condition generation unit 240 described with reference to FIG. 10 in that a saturation region detection unit 602 is provided instead of the dark part detection unit 601.
  • the saturation region detection unit 602 detects a saturation region based on the visible light image signal.
  • the saturated region is a region where a so-called whiteout occurs.
  • this saturation region occurs.
  • a method of detecting a region where the visible light image signal is larger than a predetermined threshold can be adopted.
  • the saturation region detection unit 602 outputs a region corresponding to the saturation region to the mixing ratio generation unit 244.
  • the saturated region detection unit 602 is an example of the mixed region detection unit described in the claims.
  • the mixing ratio generation unit 244 in the figure generates the mixing ratio of the saturation region detected by the saturation region detection unit 602. For example, a predetermined mixing ratio can be generated for the saturation region. In addition, the mixing ratio can be set to a value “0” for other regions. Visibility can be improved by mixing the infrared light image signal based on the mixing ratio.
  • the infrared light image capturing condition update unit 247 in FIG. 5 is the brightness of the infrared light image signal in the region detected by the saturated region detection unit 602 and the visible light image in a region other than the region detected by the saturation region detection unit 602.
  • An infrared imaging condition that makes the brightness of the signal substantially equal is generated. That is, an infrared light imaging condition is generated in which the brightness of the infrared light image signal in the saturation region is substantially equal to the brightness of the visible light image signal in the region other than the saturation region.
  • the infrared light image signal in the saturation region and the visible light image signal in the region other than the saturation region can be set to substantially the same brightness.
  • the processing procedure of the infrared light image capturing condition update processing is the same as the processing procedure described in the third embodiment of the present technology, and thus description thereof is omitted.
  • imaging device 10 Other configurations of the imaging device 10 are the same as the configuration of the imaging device 10 described in the third embodiment of the present technology, and thus the description thereof is omitted.
  • an image in which an infrared light image signal and a visible light image signal are mixed is generated in the detected saturation region.
  • an imaging condition of the infrared light image signal that makes the brightness of the infrared light image signal in the saturation region and the brightness of the visible light image signal in the region other than the saturation region substantially equal is generated, and the imaging condition is updated. .
  • the next imaging is performed based on the updated imaging condition. For this reason, the image quality in an image with a high dynamic range can be improved.
  • the visible light image signal and the infrared light image signal are generated by one image sensor.
  • imaging is performed using two imaging elements that generate a visible light image signal and an imaging element that generates an infrared light image signal. Thereby, the time required for imaging can be shortened.
  • FIG. 12 is a diagram illustrating a configuration example of the imaging device 10 according to the fifth embodiment of the present technology.
  • the image pickup apparatus 10 in the figure is different from the image pickup apparatus 10 described in FIG. 1 in that image pickup elements 400 and 500 are provided instead of the image pickup element 100.
  • the imaging elements 400 and 500 simultaneously generate a visible light image signal and an infrared light image signal, respectively, and output them to the signal processing unit 200.
  • FIG. 13 is a diagram illustrating a configuration example of the signal processing unit 200 according to the fifth embodiment of the present technology.
  • the signal processing unit 200 of FIG. the demosaic unit in the figure performs a demosaic process on the visible light image signal output from the image sensor 400. Then, the visible light image signal after the demosaic process is output to the luminance / color difference signal generation unit 220. Further, the infrared light image signal generated by the image sensor 500 is output to the mixing unit 230. Further, the control unit 300 controls the imaging elements 400 and 500 to simultaneously generate a visible light image signal and an infrared light image signal.
  • imaging apparatus 10 Other configurations of the imaging apparatus 10 are the same as the configuration of the imaging apparatus 10 described in the first embodiment of the present technology, and thus the description thereof is omitted.
  • the time required for imaging can be shortened. .
  • the image sensor adjusts the level of the image signal.
  • the signal processing device adjusts the level of the image signal.
  • FIG. 14 is a diagram illustrating a configuration example of the signal processing unit 200 according to the sixth embodiment of the present technology.
  • the signal processing unit 200 in the figure is different from the signal processing unit 200 described in FIG. 2 in that it further includes a visible light image signal amplification unit 260 and an infrared light image signal amplification unit 270.
  • the visible light image signal amplification unit 260 adjusts the level of the visible light image signal output from the separation unit 210.
  • the visible light image signal amplifying unit 260 adjusts the level of the visible light image signal based on the gain of the imaging conditions output from the processing condition generating unit 240.
  • the infrared light image signal amplifying unit 270 adjusts the level of the infrared light image signal output from the separating unit 210.
  • the infrared light image signal amplification unit 270 adjusts the level of the infrared light image signal based on the gain of the imaging conditions output from the processing condition generation unit 240.
  • the infrared light image signal amplification unit 270 is an example of the amplification unit described in the claims.
  • the processing condition generation unit 240 in the figure outputs the gain of the generated imaging conditions to the visible light image signal amplification unit 260 and the infrared light image signal amplification unit 270, and the exposure time to the control unit 300. Output. Note that only the exposure time is input to the image sensor 100 as an imaging condition. Since it is not necessary to adjust the level of the image signal, the configuration of the image sensor 100 can be simplified.
  • imaging apparatus 10 Other configurations of the imaging apparatus 10 are the same as the configuration of the imaging apparatus 10 described in the first embodiment of the present technology, and thus the description thereof is omitted.
  • the imaging of the imaging device is controlled based only on the exposure time, so that the configuration of the imaging device 100 can be simplified.
  • the visible light image signal and the infrared light image signal are mixed.
  • a non-visible light image signal other than the infrared light image signal may be mixed.
  • an image signal based on ultraviolet light can be mixed as an invisible light image signal.
  • the visible light image signal and the non-visible light image signal are mixed to generate an image, and the imaging condition of the non-visible light image signal is optimized, so It is possible to improve the image quality of an image including a wide dynamic range.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • a mixed region detection unit that detects a region where a non-visible light image signal and a visible light image signal repeatedly captured based on a predetermined imaging condition are mixed;
  • a signal processing apparatus comprising: an imaging condition update unit that newly generates an imaging condition in the invisible light image signal based on the invisible light image signal in the detected region and updates the predetermined imaging condition.
  • the imaging condition update unit newly generates an imaging condition in which the invisible light image signal and the visible light image signal in the detected region are substantially equal to each other, and updates the predetermined imaging condition ( The signal processing device according to 1).
  • the imaging condition update unit newly generates an imaging condition in which the invisible light image signal in the detected area is substantially equal to the visible light image signal in an area other than the detected area.
  • the mixed region detection unit detects the region based on a transmittance of fog captured in the visible light image signal.
  • the signal processing apparatus detects a region where the visible light image signal is larger than a predetermined threshold as the region.
  • the mixed region detection unit detects a region where the visible light image signal is smaller than a predetermined threshold as the region.
  • (9) further comprising a mixing ratio generation unit that generates a mixing ratio in the mixing based on the invisible light image signal in the detected region;
  • the imaging condition update unit newly generates an imaging condition in the invisible light image signal based on the generated mixing ratio, and updates the predetermined imaging condition.
  • the signal processing device according to any one of (1) to (9), further including an amplifying unit that adjusts a level of the invisible light image signal based on the imaging condition.
  • the invisible light image signal is an infrared light image signal corresponding to infrared light.
  • An imaging device that generates a non-visible light image signal and a visible light image signal by repeatedly imaging based on a predetermined imaging condition; A mixed region detector that detects a region where the non-visible light image signal and the visible light image signal are mixed;
  • An imaging apparatus comprising: an imaging condition update unit that newly generates an imaging condition in the invisible light image signal based on the invisible light image signal in the detected region and updates the predetermined imaging condition.
  • a mixed region detection procedure for detecting a region where the non-visible light image signal and the visible light image signal that are repeatedly captured based on a predetermined imaging condition are mixed;
  • a signal processing method comprising: an imaging condition update procedure for newly generating an imaging condition in the invisible light image signal based on the invisible light image signal in the detected region and updating the predetermined imaging condition.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

霧を含む画像の画質を向上させる。　混合領域検出部と撮像条件更新部とを備える信号処理装置において、混合領域検出部は、所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する。撮像条件更新部は、検出された領域における非可視光画像信号に基づいて非可視光画像信号における撮像条件を新たに生成して所定の撮像条件を更新する。これにより、霧等が含まれる領域が検出され、当該領域において可視光画像信号と非可視光画像信号とが混合されるとともに、当該領域における非可視光画像信号の撮像条件が更新される。

Description

信号処理装置、撮像装置および信号処理方法
　本技術は、信号処理装置、撮像装置および信号処理方法に関する。詳しくは、可視光画像信号および非可視光画像信号の混合を行う信号処理装置、撮像装置および信号処理方法に関する。
　従来、撮像を行う際、霧が発生しているか否かを検出して、画像のコントラストを拡大することにより、画質の向上を図る撮像装置が使用されている。例えば、第１および第２の２台のカメラを備え、第１のカメラにより霧を含む画像の撮像を行い、第２のカメラにより霧部分の撮像を行うシステムが提案されている（例えば、特許文献１参照。）。この従来技術では、まず第２のカメラにより撮像された画像から濃霧らしさが検知される。次に、検知された濃霧らしさに基づいて、第１のカメラにより撮像された画像のコントラストの拡大や輝度および色の補正等の補正処理を行う。これにより、霧を含む画像の画質を向上させる。
特開２０１４－１８００２４号公報
　上述の従来技術は、可視光のみにより撮像された画像を使用している。この可視光は霧等により散乱され易く、霧の背後に存在する画像の撮像を十分に行うことができないという問題がある。このため、撮像後に濃霧らしさに基づいてコントラストの拡大等を行っても、霧の背後に存在する画像を再現することができず、霧を含む画像の画質を十分に向上させることができないという問題がある。
　本技術はこのような状況に鑑みて生み出されたものであり、霧による散乱の影響を受け難い赤外光画像信号を可視光画像信号に混合して画像を生成するとともに赤外光画像信号の撮像条件を最適化して、霧を含む画像の画質を向上させることを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する混合領域検出部と、上記検出された領域における上記非可視光画像信号に基づいて上記非可視光画像信号における撮像条件を新たに生成して上記所定の撮像条件を更新する撮像条件更新部とを具備する信号処理装置および信号処理方法である。これにより、非可視光画像信号および可視光画像信号の混合を行う領域が検出され、この領域における非可視光画像信号の撮像条件が更新されるという作用をもたらす。
　また、この第１の側面において、上記撮像条件更新部は、上記検出された領域における上記非可視光画像信号および上記可視光画像信号が略等しくなる撮像条件を新たに生成して上記所定の撮像条件を更新してもよい。これにより、上記検出された領域における上記非可視光画像信号および上記可視光画像信号が略等しくなる撮像条件が新たに生成されて更新されるという作用をもたらす。
　また、この第１の側面において、上記撮像条件更新部は、上記検出された領域における上記非可視光画像信号と上記検出された領域以外の領域における上記可視光画像信号とが略等しくなる撮像条件を新たに生成して上記所定の撮像条件を更新してもよい。これにより、上記検出された領域における上記非可視光画像信号と上記検出された領域以外の領域における上記可視光画像信号とが略等しくなる撮像条件が新たに生成されて更新されるという作用をもたらす。
　また、この第１の側面において、上記混合領域検出部は、上記可視光画像信号に撮像された霧の透過率に基づいて上記領域を検出してもよい。これにより、可視光画像信号に撮像された霧の透過率に基づいて領域が検出されるという作用をもたらす。
　また、この第１の側面において、上記混合領域検出部は、上記霧の透過率が所定の閾値より小さい領域を上記領域として検出してもよい。これにより、霧の透過率が所定の閾値より小さい領域が上記領域として検出されるという作用をもたらす。
　また、この第１の側面において、上記混合領域検出部は、上記可視光画像信号に含まれる顔の領域を上記領域として検出してもよい。これにより、顔の領域が上記領域として検出されるという作用をもたらす。
　また、この第１の側面において、上記混合領域検出部は、上記可視光画像信号が所定の閾値より大きい領域を上記領域として検出してもよい。これにより、可視光画像信号が所定の閾値より大きい領域が上記領域として検出されるという作用をもたらす。
　また、この第１の側面において、上記混合領域検出部は、上記可視光画像信号が所定の閾値より小さい領域を上記領域として検出してもよい。これにより、可視光画像信号が所定の閾値より小さい領域が上記領域として検出されるという作用をもたらす。
　また、この第１の側面において、上記混合における混合比率を上記検出された領域における上記非可視光画像信号に基づいて生成する混合比率生成部をさらに具備し、上記撮像条件更新部は、上記生成された混合比率に基づいて上記非可視光画像信号における撮像条件を新たに生成して上記所定の撮像条件を更新してもよい。これにより、検出された領域における非可視光画像信号に基づいて生成混合比率が生成され、この混合比率に基づいて非可視光画像信号における撮像条件が新たに生成されて更新されるという作用をもたらす。
　また、この第１の側面において、上記撮像条件に基づいて上記非可視光画像信号のレベルを調整する増幅部をさらに具備してもよい。これにより、撮像条件に基づいて非可視光画像信号のレベルが調整されるという作用をもたらす。
　また、この第１の側面において、上記非可視光画像信号は、赤外光に対応する赤外光画像信号であってもよい。これにより、赤外光画像信号および可視光画像信号の混合を行う領域が検出され、この領域における赤外光画像信号の撮像条件が更新されるという作用をもたらす。
　また、本技術の第２の側面は、所定の撮像条件に基づいて繰返し撮像することにより非可視光画像信号および可視光画像信号を生成する撮像素子と、上記非可視光画像信号および上記可視光画像信号の混合を行う領域を検出する混合領域検出部と、上記検出された領域における上記非可視光画像信号に基づいて上記非可視光画像信号における撮像条件を新たに生成して上記所定の撮像条件を更新する撮像条件更新部とを具備する撮像装置である。これにより、非可視光画像信号および可視光画像信号の混合を行う領域が検出され、この領域における非可視光画像信号の撮像条件が更新されるという作用をもたらす。
　本技術によれば、霧による散乱の影響を受け難い赤外光画像信号を可視光画像信号に混合して画像を生成するとともに赤外光画像信号の撮像条件を最適化して、霧を含む画像の画質を向上させるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置１０の構成例を示す図である。 本技術の第１の実施の形態における信号処理部２００の構成例を示す図である。 本技術の第１の実施の形態における処理条件生成部２４０の構成例を示す図である。 本技術の第１の実施の形態における混合比率の生成の一例を示す図である。 本技術の第１の実施の形態における可視光画像撮像条件更新処理の処理手順の一例を示す図である。 本技術の第１の実施の形態における赤外光画像撮像条件更新処理の処理手順の一例を示す図である。 本技術の第１の実施の形態における赤外光測光重みの生成の一例を示す図である。 本技術の第１の実施の形態における信号処理の処理手順の一例を示す図である。 本技術の第２の実施の形態における処理条件生成部２４０の構成例を示す図である。 本技術の第３の実施の形態における処理条件生成部２４０の構成例を示す図である。 本技術の第４の実施の形態における処理条件生成部２４０の構成例を示す図である。 本技術の第５の実施の形態における撮像装置１０の構成例を示す図である。 本技術の第５の実施の形態における信号処理部２００の構成例を示す図である。 本技術の第６の実施の形態における信号処理部２００の構成例を示す図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（霧の透過率に基づいて可視光画像信号および赤外光画像信号を混合する領域を検出する場合の例）
　２．第２の実施の形態（顔領域を検出して可視光画像信号および赤外光画像信号を混合する場合の例）
　３．第３の実施の形態（画像の暗部を検出して可視光画像信号および赤外光画像信号を混合する場合の例）
　４．第４の実施の形態（画像の飽和領域を検出して可視光画像信号および赤外光画像信号を混合する場合の例）
　５．第５の実施の形態（２つの撮像素子を備える場合の例）
　６．第６の実施の形態（赤外光画像信号増幅部を備える場合の例）
　７．変形例
　＜１．第１の実施の形態＞
　［撮像装置の構成］
　図１は、本技術の第１の実施の形態における撮像装置１０の構成例を示す図である。この撮像装置１０は、撮像素子１００と、信号処理部２００と、制御部３００とを備える。
　撮像素子１００は、被写体の撮像を行うことにより可視光画像信号および赤外光画像信号を生成するものである。この撮像素子１００は、外光を受光する面に画像信号を生成する画素が２次元に配置されて構成される。この画素として、赤色光に対応する画像信号（Ｒ信号）を生成する画素（Ｒ画素）、緑色光に対応する画像信号（Ｇ信号）を生成する画素（Ｇ画素）および青色光に対応する画像信号（Ｂ信号）を生成する画素（Ｂ画素）が受光面に配置されている。また、赤外光に対応する画像信号（ＩＲ信号）を生成する画素（ＩＲ画素）がさらに配置される。これらの画素は、撮像素子１００の受光面に所定のパターンに基づいて配置される。例えば、ベイヤー配列における２つのＧ画素のうちの１つをＩＲ画素に置き換えた配列により受光面に繰返し配置される。
　Ｒ画素、Ｇ画素およびＢ画素から可視光画像信号が生成される。すなわち、可視光画像信号は、Ｒ信号、Ｇ信号およびＢ信号により構成される。一方、ＩＲ画素からは、ＩＲ信号により構成された赤外光画像信号が生成される。これら可視光画像信号および赤外光画像信号の生成が交互に行われて、同一被写体に対する可視光画像および赤外光画像が生成される。後述する信号処理部２００において可視光画像信号および赤外光画像信号が混合されて１フレームの画像が生成される。ここで、フレームとは、１画面分の画像信号である。撮像素子１００による撮像が連続して行われることにより、フレームが連続して生成されて、動画が形成される。また、静止画を取得する場合においては、連写を行う際に撮像素子１００による撮像が連続して行われる。後述する信号処理部２００は、撮像が連続する際に撮像条件を更新し、撮像条件の最適化を図る。
　また、撮像素子１００は、撮像条件に基づいて撮像を行う。ここで、撮像条件とは、撮像の際の条件であり、例えば、露光時間や画像信号の信号レベルを調整するための利得が該当する。この撮像条件は、信号処理部２００により生成され、制御部３００により撮像素子１００に対して設定される。
　信号処理部２００は、撮像素子１００により生成された画像信号の処理を行うものである。この画像信号の処理として、例えば、撮像素子１００により生成された可視光画像信号および赤外光画像信号を混合する処理を行うことができる。信号処理部２００により処理された画像信号は、撮像装置１０の出力画像信号として撮像装置１０の外部に出力される。また、信号処理部２００は、可視光画像信号および赤外光画像信号に基づいて、撮像条件を生成し、制御部３００に対して出力する。この撮像条件は、可視光画像信号および赤外光画像信号毎に生成される。
　制御部３００は、撮像素子１００における可視光画像信号および赤外光画像信号の生成の制御を行うものである。この制御は、信号処理部２００により生成された可視光画像信号および赤外光画像信号の撮像条件を撮像素子１００に対して交互に設定し、撮像素子１００を制御する。また、制御部３００は、撮像装置１０の全体の制御をさらに行う。
　［信号処理部の構成］
　図２は、本技術の第１の実施の形態における信号処理部２００の構成例を示す図である。この信号処理部２００は、デモザイク部２５０と、分離部２１０と、輝度色差信号生成部２２０と、混合部２３０と、処理条件生成部２４０とを備える。
　デモザイク部２５０は、撮像素子１００により生成された画像信号にデモザイク処理を行い、分離部２１０に対して出力するものである。ここで、デモザイク処理とは、撮像素子１００により生成された単色の画像信号に対して不足する画像信号を補完する処理である。このデモザイク処理により、１画素当たりの画像信号は、Ｒ信号、Ｇ信号、Ｂ信号およびＩＲ信号の４つに増加する。
　分離部２１０は、撮像素子１００により生成された可視光画像信号および赤外光画像信号を分離するものである。分離された可視光画像信号は、輝度色差信号生成部２２０に対して出力される。一方、分離された赤外光画像信号は、混合部２３０に対して出力される。
　輝度色差信号生成部２２０は、分離部２１０から出力された可視光画像信号であるＲ信号、Ｇ信号およびＢ信号を輝度信号（Ｙ信号）および色差信号（Ｃｒ信号およびＣｂ信号）に変換するものである。Ｃｒ信号はＲ信号とＹ信号との差分に基づく信号であり、Ｃｂ信号は、Ｂ信号とＹ信号との差分に基づく信号である。この変換には、公知の変換式を使用することができる。変換後のＹ信号、Ｃｂ信号およびＣｒ信号は、混合部２３０に対して出力される。
　混合部２３０は、可視光画像信号と赤外光画像信号とを混合して１フレームの画像信号を生成するものである。この混合部２３０は、フレームを複数の領域に分割し、分割されたフレームのそれぞれの領域毎に混合を行う。その際、後述する処理条件生成部２４０により生成された領域毎の混合比率に基づいて混合が行われる。このフレームの分割は、例えば、縦方向に７分割し、横方向に９分割して６３の領域に分割する方式を採用することができる。同図の混合部２３０は、輝度色差信号生成部２２０により出力されたＹ信号と分離部２１０から出力されたＩＲ信号とを混合する。混合は、例えば、次式に基づいて行うことができる。
　　Ｙ'＝ＩＲ×α＋Ｙ×（１－α）
ここで、Ｙ'は、混合後のＹ信号を表す。また、αは、混合比率を表す。混合後のＹ'信号ならびにＣｒ信号およびＣｂ信号は、撮像装置１０の出力画像信号となる。混合部２３０における混合の詳細については後述する。
　処理条件生成部２４０は、可視光画像信号および赤外光画像信号に基づいて処理条件を生成するものである。この処理条件生成部２４０は、輝度色差信号生成部２２０から出力されたＹ信号と分離部２１０から出力されたＩＲ信号とに基づいて処理条件を生成する。前述した撮像条件および混合比率αがこの処理条件として生成される。処理条件生成部２４０の構成の詳細については後述する。
　［処理条件生成部の構成］
　図３は、本技術の第１の実施の形態における処理条件生成部２４０の構成例を示す図である。この処理条件生成部２４０は、可視光画像信号平均生成部２４１と、霧透過率生成部２４２と、赤外光画像信号平均生成部２４３と、混合比率生成部２４４と可視光画像撮像条件保持部２４５と、可視光画像撮像条件更新部２４６とを備える。また、この処理条件生成部２４０は、赤外光画像撮像条件更新部２４７と、赤外光画像撮像条件保持部２４８をさらに備える。
　可視光画像信号平均生成部２４１は、１画面分の可視光画像信号を複数の領域に分割するとともに分割された領域における可視光画像信号（Ｙ信号）の平均を領域毎に生成するものである。この領域の分割には、図２において説明した混合部２３０における分割方式を採用することができる。
　可視光画像撮像条件保持部２４５は、可視光画像信号の撮像条件である可視光画像撮像条件を保持するものである。この可視光画像撮像条件保持部２４５には、所定の撮像条件が初期条件として保持される。
　可視光画像撮像条件更新部２４６は、可視光画像撮像条件保持部２４５に保持された可視光画像の撮像条件を更新するものである。この可視光画像撮像条件更新部２４６は、可視光画像信号平均生成部２４１により生成されたＹ信号の平均に基づいて新たな撮像条件を生成し、制御部３００に対して出力する。この際、霧透過率生成部２４２により検出された領域における赤外光画像信号および可視光画像信号の明るさが略等しくなる赤外光画像撮像条件が生成される。また、可視光画像撮像条件更新部２４６は、生成した新たな撮像条件を可視光画像撮像条件保持部２４５に保持させることにより、更新を行う。この更新の処理の詳細については後述する。
　霧透過率生成部２４２は、可視光画像信号に基づいて霧透過率を生成するものである。この霧透過率生成部２４２は、前述した混合部２３０により分割された領域毎に霧の透過率を生成し、混合比率生成部２４４に対して出力する。霧の透過率の検出には、公知の方法を使用することができる。例えば、画像信号の領域毎の霧の密度の推定を行い、この推定された霧の密度をソフトマッティング法等により透過率に変換する方法を使用することができる。
　撮像素子１００により生成された画像のうち、霧等が撮像された領域では、可視光が散乱されるため、視認性が低下する。そこで、そのような領域においては、赤外光画像信号を可視光画像信号に混合する。赤外光は、霧等による散乱の影響を受けにくいため、この混合を行うことにより、視認性を向上させることができる。霧透過率生成部２４２は、霧の透過率に基づいて混合を行う領域の検出を行う。同図の霧透過率生成部２４２においては、領域毎の霧透過率を生成して混合比率生成部２４４に対して出力する。後述するように、混合比率生成部２４４は、霧の透過率が低い領域に対して混合する赤外光画像信号の比率を高くした混合比率を生成する。このように、霧透過率生成部２４２による混合を行う領域の検出が行われる。なお、霧の透過率が所定の閾値より低い領域を検出して混合比率生成部２４４に対して出力する方式にすることも可能である。なお、霧透過率生成部２４２は、請求の範囲に記載の混合領域検出部の一例である。
　混合比率検出部２４４、霧透過率生成部２４２により検出された領域における赤外光画像信号に基づいて混合比率αを生成するものである。混合比率αの生成の詳細については後述する。
　赤外光画像信号平均生成部２４３は、１画面分の赤外光画像信号を複数の領域に分割するとともに分割された領域における赤外光画像信号（ＩＲ信号）の平均を領域毎に生成するものである。この領域の分割には、可視光画像信号平均生成部２４１と同様に、混合部２３０における分割方式を採用することができる。
　赤外光画像撮像条件保持部２４８は、赤外光画像信号の撮像条件である赤外光撮像条件を保持するものである。この赤外光画像撮像条件保持部２４８には、所定の撮像条件が初期条件として保持される。
　赤外光画像撮像条件更新部２４７は、赤外光画像撮像条件保持部２４８に保持された赤外光の撮像条件を更新するものである。この赤外光画像撮像条件更新部２４７には、可視光画像信号平均生成部２４１により生成されたＹ信号の平均、赤外光画像信号平均生成部２４３により生成されたＩＲ信号の平均および混合比率生成部２４４により生成された混合比率αが入力される。赤外光画像撮像条件更新部２４７は、これらの信号に基づいて新たな撮像条件を生成し、制御部３００に対して出力する。また、赤外光画像撮像条件更新部２４７は、生成した新たな撮像条件を赤外光画像撮像条件保持部２４８に保持させることにより、更新を行う。この更新の処理の詳細については後述する。
　［混合比率の生成］
　図４は、本技術の第１の実施の形態における混合比率の生成の一例を示す図である。同図は、混合比率生成部２４４における混合比率αの生成を表したものである。同図に表したように、混合比率生成部２４４は、霧透過率生成部２４２から出力された透過率を混合比率αに変換する。同図において、α＿ＭＡＸおよびα＿ＭＩＮは、それぞれ混合比率αの最大値および最小値に該当する。例えば、α＿ＭＡＸおよびα＿ＭＩＮとして、それぞれ値「１」および「０」を採用することができる。透過率の値が０乃至閾値ＴＨ１の場合には、α＿ＭＡＸが混合比率αとして出力される。透過率の値が閾値ＴＨ１乃至ＴＨ２の場合には、混合比率αをα＿ＭＡＸからα＿ＭＩＮまで直線的に変化させる。透過率の値が閾値ＴＨ２を超える場合には、α＿ＭＩＮが混合比率αとして出力される。
　なお、混合比率αの生成はこの例に限られず、例えば、閾値ＴＨ１を境にして、α＿ＭＡＸまたはα＿ＭＩＮの何れかを出力する方式にすることも可能である。
　［可視光画像撮像条件更新処理］
　図５は、本技術の第１の実施の形態における可視光画像撮像条件更新処理の処理手順の一例を示す図である。同図は、可視光画像撮像条件更新部２４６における可視光画像撮像条件の更新処理を表したものである。
　まず、可視光測光重みが設定される（ステップＳ９１１）。ここで、可視光測光重みとは、領域毎に設定された重みである。この可視光測光重みは、後述する明るさ評価値の算出の際に使用される。優先して明るさを合わせる領域、例えば、画面の中心領域に対して、大きな重みが生成される。その後、明るさ評価値の算出の際に当該領域に対する重み付けが行われる。
　次に、可視光測光ターゲットが設定される（ステップＳ９１２）。ここで、可視光測光ターゲットとは、可視光画像の明るさの目標値である。
　次に、明るさ評価値の算出が行われる（ステップＳ９１３）。これは、次のように行うことができる。まず、可視光画像信号平均生成部２４１により出力された領域毎の可視光画像信号の平均に対してステップＳ９１１において設定された重み付きの平均が算出される。この算出された平均とステップＳ９１２において生成された可視光測光ターゲットとの差分を明るさ評価値とする。
　次に、可視光画像撮像条件が更新される（ステップＳ９１４）。これは、次のように行うことができる。まず、ステップＳ９１３において生成された明るさ評価値に基づいて可視光画像撮像条件保持部２４５に保持された可視光画像撮像条件を調整することにより、新たな可視光画像撮像条件が生成される。次に、新たな可視光画像撮像条件が可視光画像撮像条件保持部２４５に保持される。
　その後、可視光画像撮像条件更新処理は終了する。なお、新たに生成された可視光画像撮像条件は、次のフレームにおける撮像条件として制御部３００に対して出力される。
　［赤外光画像撮像条件更新処理］
　図６は、本技術の第１の実施の形態における赤外光画像撮像条件更新処理の処理手順の一例を示す図である。同図は、赤外光画像撮像条件更新部２４７における赤外光画像撮像条件の更新処理を表したものである。
　まず、赤外光測光重みが設定される（ステップＳ９２１）。ここで、赤外光測光重みとは、領域毎に設定された重みである。上述の可視光測光重みと同様に、優先して明るさを合わせる領域に対して、大きな重みが生成される。この赤外光測光重みは、混合比率生成部２４４により生成された領域毎の混合比率に基づいて生成される。この赤外光測光重みの生成の詳細については後述する。
　次に、赤外光測光ターゲットが設定される（ステップＳ９２２）。ここで、赤外光測光ターゲットとは、赤外光画像の明るさの目標値である。可視光画像信号平均生成部２４１により出力された領域毎の可視光画像信号の平均に対してステップＳ９２１により設定された赤外光測光重み付きの平均を算出することにより、赤外光測光ターゲットを設定することができる。これにより、高い混合比率が設定された領域における赤外光および可視光の明るさを近い値にすることができる。
　次に、明るさ評価値の算出が行われる（ステップＳ９２３）。これは、次のように行うことができる。まず、赤外光画像信号平均生成部２４３により出力された領域毎の赤外光画像信号の平均に対してステップＳ９２１において設定された赤外光測光重み付きの平均が算出される。この算出された平均とステップＳ９２２において生成された赤外光測光ターゲットとの差分を明るさ評価値とする。
　次に、赤外光画像撮像条件が更新される（ステップＳ９２４）。これは、次のように行うことができる。まず、ステップＳ９２３において生成された明るさ評価値に基づいて赤外光画像撮像条件保持部２４８に保持された赤外光画像撮像条件を調整することにより、新たな赤外光画像撮像条件が生成される。次に、新たな赤外光画像撮像条件が赤外光画像撮像条件保持部２４８に保持される。
　その後、赤外光画像撮像条件更新処理は終了する。なお、新たに生成された赤外光画像撮像条件は、次のフレームにおける撮像条件として制御部３００に対して出力される。
　［赤外光測光重みの生成］
　図７は、本技術の第１の実施の形態における赤外光測光重みの生成の一例を示す図である。同図は、赤外光画像撮像条件更新部２４７における赤外光測光重みの生成を表したものであり、図６において説明したステップＳ９２１において行われる処理である。同図に表したように、赤外光画像撮像条件更新部２４７は、混合比率生成部２４４から出力された混合比率αを赤外光測光重みに変換する。同図において、ＭＡＸおよびＭＩＮは、それぞれ赤外光測光重みの最大値および最小値に該当する。混合比率αの値が０乃至閾値ＴＨ３の場合には、ＭＩＮが赤外光測光重みとして出力される。混合比率αの値が閾値ＴＨ３乃至ＴＨ４の場合には、赤外光測光重みをＭＩＮからＭＡＸまで直線的に変化させる。混合比率αの値が閾値ＴＨ４を超える場合には、ＭＡＸが赤外光測光重みとして出力される。
　このように、霧透過率生成部２４２により霧の透過率が生成され、混合比率生成部２４４により霧の透過率が低い領域に対して高い混合比率αが生成される。これにより、霧の透過率が低い領域に多くの赤外光画像信号が混合され、視認性を向上させることができる。さらに、赤外光画像撮像条件更新部２４７により、混合比率αが大きい領域に対して大きな赤外光測光重みが設定されて赤外光測光ターゲットが生成される。これにより、霧の透過率が低い領域における赤外光と可視光の明るさを近い値にする赤外光画像撮像条件が生成される。この生成された赤外光画像撮像条件に基づいて、次のフレームの撮像を行うことにより、霧の透過率が低い領域における赤外光画像信号の信号レベルを当該領域における可視光画像信号と略同じにすることができる。これにより、混合された領域および他の領域の輝度が略等しくなり、画質を向上させることができる。
　［処理条件設定］
　図８は、本技術の第１の実施の形態における信号処理の処理手順の一例を示す図である。同図は、処理条件生成部２４０における信号処理を表したものである。同図の処理は、撮像素子１００により、可視光画像信号および赤外光画像信号が生成されて、処理条件生成部２４０にこれらが入力された場合に実行される。まず、混合領域検出が行われる（ステップＳ９０１）。これは、霧透過率生成部２４２が霧の透過率を生成することにより行われる。次に、混合比率生成部２４４により混合比率が生成される（ステップＳ９０２）。次に、図５において説明した可視光画像撮像条件更新が行われる（ステップＳ９１０）。最後に、図６において説明した赤外光画像撮像条件更新が行われ（ステップＳ９２０）、処理条件生成部２４０は、信号処理を終了する。
　このように、本技術の第１の実施の形態では、霧の透過率が低い領域において、可視光画像信号および赤外光画像信号が混合された画像が生成される。この際、当該領域における赤外光画像信号および可視光画像信号の明るさを略等しくする赤外光画像信号の撮像条件が新たに生成されて、撮像条件が更新される。撮像が連続する場合、更新された撮像条件に基づいて次の撮像が行われる。これにより、霧の透過率が低い領域におけるこれらの画像信号の明るさを略等しくすることができ、霧を含む画像の画質を向上させることができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、霧の透過率を算出することにより、赤外光画像信号および可視光画像信号を混合する領域の検出を行っていた。これに対し、本技術の第２の実施の形態では、人物の顔領域の検出を行う。これにより、顔領域における画質を向上させることができる。
　［処理条件生成部の構成］
　図９は、本技術の第２の実施の形態における処理条件生成部２４０の構成例を示す図である。同図の処理条件生成部２４０は、霧透過率生成部２４２の代わりに顔領域検出部２４９を備える点で、図３において説明した処理条件生成部２４０と異なる。
　顔領域検出部２４９は、可視光画像信号に基づいて顔領域を検出するものである。この顔領域の検出には、公知の方法を使用することができる。顔領域検出部２４９は、例えば、顔が含まれている領域を検出結果として混合比率生成部２４４に対して出力することができる。また、顔領域検出部２４９は、例えば、分割された画像のそれぞれの領域毎の顔領域である確率を検出結果として出力することができる。なお、顔領域検出部２４９は、請求の範囲に記載の混合領域検出部の一例である。
　同図の混合比率生成部２４４は、顔領域検出部２４９からの出力に基づいて、混合比率を生成する。例えば、顔領域検出部２４９から顔が含まれている領域が検出結果として出力される場合には、当該領域に対して高い混合比率を生成することができる。また、顔領域検出部２４９から顔である確率が領域毎に出力される場合には、例えば、この確率に比例した混合比率を生成することができる。赤外光と可視光とは人物の肌への浸透特性が異なっており、赤外光により撮像された画像は肌のシミ等が少ない画像になる。このため、顔領域に赤外光画像信号を混合することにより、シミ等の少ない顔の画像にすることができる。この際、赤外光画像撮像条件更新部２４７により、顔領域における赤外光画像信号および可視光画像信号の明るさをほぼ等しくする撮像条件が生成され、次のフレームの撮像に適用される。
　これ以外の撮像装置１０の構成は本技術の第１の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
　このように、本技術の第２の実施の形態では、検出された顔領域において、赤外光画像信号および可視光画像信号が混合した画像が生成される。この際、当該領域における赤外光画像信号と可視光画像信号の明るさを略等しくする赤外光画像信号の撮像条件が新たに生成されて、撮像条件が更新される。この更新された撮像条件に基づいて次の撮像が行われる。このため、顔領域の赤外光画像信号および可視光画像信号の明るさを略等しくすることができ、画質を向上させることができる。
　［変形例］
　上述の第２の実施の形態では、顔領域を検出していたが、ユーザが指定する領域を検出し、当該領域における混合画像信号を生成してもよい。例えば、顔領域検出部２４９において、顔領域の代わりにユーザが指定する領域を検出し、混合比率生成部２４４に対して出力する方式にすることができる。この場合、ユーザが顔領域として認識した領域が顔領域検出部２４９により検出された顔領域となる。これにより、ユーザが指定する領域の画質を向上させることができる。
　これ以外の撮像装置１０の構成は本技術の第２の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
　このように、本技術の第２の実施の形態の変形例によれば、ユーザが指定した領域の画質を向上させることができる。
　＜３．第３の実施の形態＞
　上述の第１の実施の形態では、霧の透過率を算出することにより、赤外光画像信号および可視光画像信号を混合する領域の検出を行っていた。これに対し、本技術の第３の実施の形態では、赤外光画像信号および可視光画像信号を混合する領域として、黒潰れを生じた領域の検出を行う。これにより、黒潰れ領域における画質を向上させることができる。
　［処理条件生成部の構成］
　図１０は、本技術の第３の実施の形態における処理条件生成部２４０の構成例を示す図である。同図の処理条件生成部２４０は、霧透過率生成部２４２の代わりに暗部検出部６０１を備える点で、図３において説明した処理条件生成部２４０と異なる。
　暗部検出部６０１は、可視光画像信号に基づいて暗部を検出するものである。ここで、暗部とは、いわゆる黒潰れを生じた領域である。逆光状態において撮像を行う場合のように高いダイナミックレンジの画像を撮像する際に、暗部が発生する。暗部の検出には、例えば、可視光画像信号が所定の閾値より小さい領域を検出する方式を採ることができる。この暗部検出部６０１は、暗部に該当する領域を混合比率生成部２４４に対して出力する。なお、暗部検出部６０１は、請求の範囲に記載の混合領域検出部の一例である。
　同図の混合比率生成部２４４は、暗部検出部６０１により検出された暗部の混合比率を生成する。例えば、暗部に対して所定の混合比率を生成することができる。また、これ以外の領域に対して混合比率を値「０」にすることができる。この混合比率に基づいて赤外光画像信号の混合が行われることにより、視認性を向上させることができる。
　同図の赤外光画像撮像条件更新部２４７は、暗部検出部６０１により検出された領域における赤外光画像信号の明るさと暗部検出部６０１により検出された領域以外の領域における可視光画像信号の明るさとを略等しくする赤外光画像撮像条件を生成する。すなわち、暗部における赤外光画像信号の明るさと暗部以外の領域における可視光画像信号の明るさとを略等しくする赤外光画像撮像条件が生成される。
　このため、図６において説明したステップＳ９２２において、領域毎の可視光画像信号の平均に対する平均を算出し、これを赤外光測光ターゲットにする。この赤外光測光ターゲットに基づいて赤外光画像撮像条件が生成され、次のフレームの撮像に適用される。これにより、暗部における赤外光画像信号と暗部以外の領域における可視光画像信号とを略等しい明るさにすることができる。これ以外の赤外光画像撮像条件更新処理の処理手順は図６において説明した処理手順と同様であるため、説明を省略する。
　これ以外の撮像装置１０の構成は本技術の第１の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
　このように、本技術の第３の実施の形態では、検出された暗部において、赤外光画像信号および可視光画像信号が混合された画像が生成される。この際、暗部における赤外光画像信号と暗部以外の領域における可視光画像信号の明るさとを略等しくする赤外光画像信号の撮像条件が新たに生成されて、撮像条件が更新される。この更新された撮像条件に基づいて次の撮像が行われる。このため、高いダイナミックレンジの画像における画質を向上させることができる。
　＜４．第４の実施の形態＞
　上述の第３の実施の形態では、黒潰れ領域の検出を行っていた。これに対し、本技術の第４の実施の形態では、白飛びを生じた領域の検出を行う。これにより、白飛び領域における画質を向上させることができる。
　［処理条件生成部の構成］
　図１１は、本技術の第４の実施の形態における処理条件生成部２４０の構成例を示す図である。同図の処理条件生成部２４０は、暗部検出部６０１の代わりに飽和領域検出部６０２を備える点で、図１０において説明した処理条件生成部２４０と異なる。
　飽和領域検出部６０２は、可視光画像信号に基づいて飽和領域を検出するものである。ここで、飽和領域とは、いわゆる白飛びを生じた領域である。黒潰れと同様に高いダイナミックレンジの画像を撮像する場合、例えば、室内から屋外を含む画像の撮像を行う場合に、この飽和領域が発生する。飽和領域の検出には、例えば、可視光画像信号が所定の閾値より大きい領域を検出する方式を採ることができる。この飽和領域検出部６０２は、飽和領域に該当する領域を混合比率生成部２４４に対して出力する。なお、飽和領域検出部６０２は、請求の範囲に記載の混合領域検出部の一例である。
　同図の混合比率生成部２４４は、飽和領域検出部６０２により検出された飽和領域の混合比率を生成する。例えば、飽和領域に対して所定の混合比率を生成することができる。また、これ以外の領域に対して混合比率を値「０」にすることができる。この混合比率に基づいて赤外光画像信号の混合が行われることにより、視認性を向上させることができる。
　同図の赤外光画像撮像条件更新部２４７は、飽和領域検出部６０２により検出された領域における赤外光画像信号の明るさと飽和領域検出部６０２により検出された領域以外の領域における可視光画像信号の明るさとを略等しくする赤外光撮像条件を生成する。すなわち、飽和領域における赤外光画像信号の明るさと飽和領域以外の領域における可視光画像信号の明るさとを略等しくする赤外光撮像条件を生成する。これにより、飽和領域における赤外光画像信号と飽和領域以外の領域における可視光画像信号とを略等しい明るさにすることができる。なお、赤外光画像撮像条件更新処理の処理手順は本技術の第３の実施の形態において説明した処理手順と同様であるため、説明を省略する。
　これ以外の撮像装置１０の構成は本技術の第３の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
　このように、本技術の第４の実施の形態では、検出された飽和領域において、赤外光画像信号および可視光画像信号が混合された画像が生成される。この際、飽和領域における赤外光画像信号と飽和領域以外の領域における可視光画像信号の明るさとを略等しくする赤外光画像信号の撮像条件が新たに生成されて、撮像条件が更新される。この更新された撮像条件に基づいて次の撮像が行われる。このため、高いダイナミックレンジの画像における画質を向上させることができる。
　＜５．第５の実施の形態＞
　上述の第１の実施の形態では、１つの撮像素子により可視光画像信号および赤外光画像信号の生成を行っていた。これに対し、本技術の第５の実施の形態では、可視光画像信号を生成する撮像素子および赤外光画像信号を生成する撮像素子の２つを使用して撮像を行う。これにより、撮像に要する時間を短縮することができる。
　［撮像装置の構成］
　図１２は、本技術の第５の実施の形態における撮像装置１０の構成例を示す図である。同図の撮像装置１０は、撮像素子１００の代わりに撮像素子４００および５００を備える点で、図１において説明した撮像装置１０と異なる。
　撮像素子４００および５００は、それぞれ可視光画像信号および赤外光画像信号を同時に生成し、信号処理部２００に対して出力する。
　［信号処理部の構成］
　図１３は、本技術の第５の実施の形態における信号処理部２００の構成例を示す図である。同図の信号処理部２００は、図２において説明した信号処理部２００と比較して、分離部２１０を備える必要はない。また、同図のデモザイク部は、撮像素子４００により出力された可視光画像信号のデモザイク処理を行う。そして、デモザイク処理後の可視光画像信号を輝度色差信号生成部２２０に対して出力する。また、撮像素子５００により生成された赤外光画像信号は、混合部２３０に対して出力される。また、制御部３００は、撮像素子４００および５００の制御を行い、可視光画像信号および赤外光画像信号を同時に生成させる。
　これ以外の撮像装置１０の構成は本技術の第１の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
　このように、本技術の第５の実施の形態によれば、２つの撮像素子により、可視光画像信号および赤外光画像信号が同時に生成されるため、撮像に要する時間を短縮することができる。
　＜６．第６の実施の形態＞
　上述の第１の実施の形態では、撮像素子が画像信号のレベルの調整を行っていた。これに対し、本技術の第６の実施の形態では、信号処理装置が画像信号のレベルの調整を行う。これにより、撮像素子の構成を簡略化することができる。
　［信号処理部の構成］
　図１４は、本技術の第６の実施の形態における信号処理部２００の構成例を示す図である。同図の信号処理部２００は、可視光画像信号増幅部２６０と、赤外光画像信号増幅部２７０とをさらに備える点で、図２において説明した信号処理部２００と異なる。
　可視光画像信号増幅部２６０は、分離部２１０から出力された可視光画像信号のレベルを調整するものである。この可視光画像信号増幅部２６０は、処理条件生成部２４０から出力された撮像条件のうちの利得に基づいて可視光画像信号のレベルを調整する。
　赤外光画像信号増幅部２７０は、分離部２１０から出力された赤外光画像信号のレベルを調整するものである。この赤外光画像信号増幅部２７０は、処理条件生成部２４０から出力された撮像条件のうちの利得に基づいて赤外光画像信号のレベルを調整する。なお、赤外光画像信号増幅部２７０は、請求の範囲に記載の増幅部の一例である。
　同図の処理条件生成部２４０は、生成した撮像条件のうち、利得を可視光画像信号増幅部２６０および赤外光画像信号増幅部２７０に対して出力し、露光時間を制御部３００に対して出力する。なお、撮像素子１００は、撮像条件として露光時間のみが入力される。画像信号のレベルを調整する必要がないため、撮像素子１００の構成を簡略化することができる。
　これ以外の撮像装置１０の構成は本技術の第１の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
　このように、本技術の第６の実施の形態によれば、露光時間のみに基づいて撮像素子における撮像が制御されるため、撮像素子１００の構成を簡略化することができる。
　＜変形例＞
　上述の実施の形態では、可視光画像信号と赤外光画像信号とを混合していたが、赤外光画像信号以外の非可視光画像信号を混合してもよい。例えば、紫外光による画像信号を非可視光画像信号として混合することができる。
　このように、本技術の実施の形態によれば、可視光画像信号および非可視光画像信号を混合して画像を生成するとともに非可視光画像信号の撮像条件を最適化することにより、霧を含む画像やダイナミックレンジが広い画像の画質を向上させることができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する混合領域検出部と、
　前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新部と
を具備する信号処理装置。
（２）前記撮像条件更新部は、前記検出された領域における前記非可視光画像信号および前記可視光画像信号が略等しくなる撮像条件を新たに生成して前記所定の撮像条件を更新する前記（１）に記載の信号処理装置。
（３）前記撮像条件更新部は、前記検出された領域における前記非可視光画像信号と前記検出された領域以外の領域における前記可視光画像信号とが略等しくなる撮像条件を新たに生成して前記所定の撮像条件を更新する前記（１）に記載の信号処理装置。
（４）前記混合領域検出部は、前記可視光画像信号に撮像された霧の透過率に基づいて前記領域を検出する前記（１）または（２）に記載の信号処理装置。
（５）前記混合領域検出部は、前記霧の透過率が所定の閾値より小さい領域を前記領域として検出する前記（４）に記載の信号処理装置。
（６）前記混合領域検出部は、前記可視光画像信号に含まれる顔の領域を前記領域として検出する前記（１）または（２）に記載の信号処理装置。
（７）前記混合領域検出部は、前記可視光画像信号が所定の閾値より大きい領域を前記領域として検出する前記（１）または（３）に記載の信号処理装置。
（８）前記混合領域検出部は、前記可視光画像信号が所定の閾値より小さい領域を前記領域として検出する前記（１）または（３）に記載の信号処理装置。
（９）前記混合における混合比率を前記検出された領域における前記非可視光画像信号に基づいて生成する混合比率生成部をさらに具備し、
　前記撮像条件更新部は、前記生成された混合比率に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する
前記（１）から（８）のいずれかに記載の信号処理装置。
（１０）前記撮像条件に基づいて前記非可視光画像信号のレベルを調整する増幅部をさらに具備する前記（１）から（９）のいずれかに記載の信号処理装置。
（１１）前記非可視光画像信号は、赤外光に対応する赤外光画像信号である前記（１）から（１０）のいずれかに記載の信号処理装置。
（１２）所定の撮像条件に基づいて繰返し撮像することにより非可視光画像信号および可視光画像信号を生成する撮像素子と、
　前記非可視光画像信号および前記可視光画像信号の混合を行う領域を検出する混合領域検出部と、
　前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新部と
を具備する撮像装置。
（１３）所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する混合領域検出手順と、
　前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新手順と
を具備する信号処理方法。
　１０　撮像装置
　１００、４００、５００　撮像素子
　２００　信号処理部
　２１０　分離部
　２２０　輝度色差信号生成部
　２３０　混合部
　２４０　処理条件生成部
　２４１　可視光画像信号平均生成部
　２４２　霧透過率生成部
　２４３　赤外光画像信号平均生成部
　２４４　混合比率生成部
　２４５　可視光画像撮像条件保持部
　２４６　可視光画像撮像条件更新部
　２４７　赤外光画像撮像条件更新部
　２４８　赤外光画像撮像条件保持部
　２４９　顔領域検出部
　２５０　デモザイク部
　２６０　可視光画像信号増幅部
　２７０　赤外光画像信号増幅部
　３００　制御部
　６０１　暗部検出部
　６０２　飽和領域検出部

Claims (13)

  1. 　所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する混合領域検出部と、
    　前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新部と
    を具備する信号処理装置。
  2. 　前記撮像条件更新部は、前記検出された領域における前記非可視光画像信号および前記可視光画像信号が略等しくなる撮像条件を新たに生成して前記所定の撮像条件を更新する請求項１記載の信号処理装置。
  3. 　前記撮像条件更新部は、前記検出された領域における前記非可視光画像信号と前記検出された領域以外の領域における前記可視光画像信号とが略等しくなる撮像条件を新たに生成して前記所定の撮像条件を更新する請求項１記載の信号処理装置。
  4. 　前記混合領域検出部は、前記可視光画像信号に撮像された霧の透過率に基づいて前記領域を検出する請求項１記載の信号処理装置。
  5. 　前記混合領域検出部は、前記霧の透過率が所定の閾値より小さい領域を前記領域として検出する請求項４記載の信号処理装置。
  6. 　前記混合領域検出部は、前記可視光画像信号に含まれる顔の領域を前記領域として検出する請求項１記載の信号処理装置。
  7. 　前記混合領域検出部は、前記可視光画像信号が所定の閾値より大きい領域を前記領域として検出する請求項１記載の信号処理装置。
  8. 　前記混合領域検出部は、前記可視光画像信号が所定の閾値より小さい領域を前記領域として検出する請求項１記載の信号処理装置。
  9. 　前記混合における混合比率を前記検出された領域における前記非可視光画像信号に基づいて生成する混合比率生成部をさらに具備し、
    　前記撮像条件更新部は、前記生成された混合比率に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する
    請求項１記載の信号処理装置。
  10. 　前記撮像条件に基づいて前記非可視光画像信号のレベルを調整する増幅部をさらに具備する請求項１記載の信号処理装置。
  11. 　前記非可視光画像信号は、赤外光に対応する赤外光画像信号である請求項１記載の信号処理装置。
  12. 　所定の撮像条件に基づいて繰返し撮像することにより非可視光画像信号および可視光画像信号を生成する撮像素子と、
    　前記非可視光画像信号および前記可視光画像信号の混合を行う領域を検出する混合領域検出部と、
    　前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新部と
    を具備する撮像装置。
  13. 　所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する混合領域検出手順と、
    　前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新手順と
    を具備する信号処理方法。
PCT/JP2016/084058 2016-02-29 2016-11-17 信号処理装置、撮像装置および信号処理方法 WO2017149854A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/074,026 US10694118B2 (en) 2016-02-29 2016-11-17 Signal processing apparatus, imaging apparatus, and signal processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016036925A JP2017157902A (ja) 2016-02-29 2016-02-29 信号処理装置、撮像装置および信号処理方法
JP2016-036925 2016-02-29

Publications (1)

Publication Number Publication Date
WO2017149854A1 true WO2017149854A1 (ja) 2017-09-08

Family

ID=59742787

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/084058 WO2017149854A1 (ja) 2016-02-29 2016-11-17 信号処理装置、撮像装置および信号処理方法

Country Status (3)

Country Link
US (1) US10694118B2 (ja)
JP (1) JP2017157902A (ja)
WO (1) WO2017149854A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677597B (zh) * 2018-07-03 2021-10-29 杭州海康威视数字技术股份有限公司 图像处理方法及装置
US11343434B2 (en) 2018-12-20 2022-05-24 Canon Kabushiki Kaisha Image processing apparatus and control method for same
JP7465076B2 (ja) 2018-12-20 2024-04-10 キヤノン株式会社 画像処理装置およびその制御方法
JP7299762B2 (ja) * 2019-06-06 2023-06-28 キヤノン株式会社 画像処理装置および方法、撮像装置、プログラム
JP2023090492A (ja) 2021-12-17 2023-06-29 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252639A (ja) * 2007-03-30 2008-10-16 Fujifilm Corp 撮像装置及び方法
JP2011066809A (ja) * 2009-09-18 2011-03-31 Hitachi Kokusai Electric Inc 撮像装置
JP2013255144A (ja) * 2012-06-08 2013-12-19 Hitachi Consumer Electronics Co Ltd 撮像装置
JP2017011634A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4534756B2 (ja) * 2004-12-22 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
US7570286B2 (en) * 2005-05-27 2009-08-04 Honda Motor Co., Ltd. System and method for creating composite images
US9990730B2 (en) * 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
JP5747105B2 (ja) 2014-05-12 2015-07-08 株式会社 日立産業制御ソリューションズ 画像処理装置
US10152811B2 (en) * 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252639A (ja) * 2007-03-30 2008-10-16 Fujifilm Corp 撮像装置及び方法
JP2011066809A (ja) * 2009-09-18 2011-03-31 Hitachi Kokusai Electric Inc 撮像装置
JP2013255144A (ja) * 2012-06-08 2013-12-19 Hitachi Consumer Electronics Co Ltd 撮像装置
JP2017011634A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム

Also Published As

Publication number Publication date
US20190045139A1 (en) 2019-02-07
JP2017157902A (ja) 2017-09-07
US10694118B2 (en) 2020-06-23

Similar Documents

Publication Publication Date Title
WO2017149854A1 (ja) 信号処理装置、撮像装置および信号処理方法
JP4904440B2 (ja) 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体
WO2010041375A1 (ja) 撮像装置および撮像装置用信号処理回路
WO2017104411A1 (ja) 撮像素子、画像処理装置および方法、並びにプログラム
US10419692B2 (en) Image pickup apparatus
KR102102740B1 (ko) 이미지 프로세싱 장치 및 이미지 프로세싱 방법
JP2013093914A (ja) 画像入力装置
US20180309940A1 (en) Image processing apparatus, image processing method, and imaging system
WO2015190156A1 (ja) 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム
JP6732726B2 (ja) 撮像装置、撮像方法、およびプログラム
US9936172B2 (en) Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image
CN102629976A (zh) 图像处理设备和图像处理设备的控制方法
JP2018041380A (ja) 画像処理装置、画像処理方法、及びプログラム
US9813687B1 (en) Image-capturing device, image-processing device, image-processing method, and image-processing program
WO2010058497A1 (ja) 画像処理装置及び画像処理方法
US8218021B2 (en) Image capture apparatus, method of controlling the same, and program
WO2016117137A1 (ja) 撮像装置、撮像方法、および画像表示装置
JP2011171842A (ja) 画像処理装置及び画像処理プログラム
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
WO2016167140A1 (ja) 撮像装置、撮像方法、並びにプログラム
JP6450107B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2013038591A (ja) 撮像装置、その制御方法およびプログラム
JP6504892B2 (ja) 撮像装置
WO2016051927A1 (ja) 信号処理装置、撮像装置および信号処理方法
JP2016082390A (ja) 信号処理装置

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16892690

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16892690

Country of ref document: EP

Kind code of ref document: A1