WO2019187446A1 - 画像処理装置、画像処理方法、画像処理プログラムおよび移動体 - Google Patents

画像処理装置、画像処理方法、画像処理プログラムおよび移動体 Download PDF

Info

Publication number
WO2019187446A1
WO2019187446A1 PCT/JP2018/048105 JP2018048105W WO2019187446A1 WO 2019187446 A1 WO2019187446 A1 WO 2019187446A1 JP 2018048105 W JP2018048105 W JP 2018048105W WO 2019187446 A1 WO2019187446 A1 WO 2019187446A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
visible light
infrared
image processing
irradiation
Prior art date
Application number
PCT/JP2018/048105
Other languages
English (en)
French (fr)
Inventor
神尾　和憲
敏之 佐々木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/040,525 priority Critical patent/US11410337B2/en
Publication of WO2019187446A1 publication Critical patent/WO2019187446A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/41—Indexing codes relating to other road users or special conditions preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/42—Indexing codes relating to other road users or special conditions oncoming vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/10—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source
    • F21S41/12—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source characterised by the type of emitted light
    • F21S41/13—Ultraviolet light; Infrared light
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/10—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source
    • F21S41/14—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source characterised by the type of light source
    • F21S41/141—Light emitting diodes [LED]
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/20—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by refractors, transparent cover plates, light guides or filters
    • F21S41/25—Projection lenses
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/20—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by refractors, transparent cover plates, light guides or filters
    • F21S41/285—Refractors, transparent cover plates, light guides or filters not provided in groups F21S41/24 - F21S41/2805
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/30—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by reflectors
    • F21S41/32—Optical layout thereof
    • F21S41/321—Optical layout thereof the reflector being a surface of revolution or a planar surface, e.g. truncated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present technology relates to an image processing device, an image processing method, an image processing program, and a moving object.
  • Patent Document 1 a method for presenting a view of a field of view with good visibility to a driver (hereinafter referred to as a user) driving a vehicle.
  • An object of the present invention is to provide an image processing program and a moving body.
  • the first technique is a visible light image obtained corresponding to the irradiation of visible light in the second direction, and a direction in which the irradiation range is wider than the second direction.
  • An image processing apparatus that receives an infrared image obtained in response to infrared irradiation in a certain first direction and generates a color image by combining the infrared image and the visible light image.
  • the second technique is a direction in which the first technique is a visible light image obtained corresponding to the irradiation of visible light in the second direction and the irradiation range is wider than the second direction.
  • This is an image processing method in which an infrared image obtained in response to infrared irradiation in a first direction is input, and a color image is generated by combining the infrared image and the visible light image.
  • the third technique is a direction in which the first technique is a visible light image obtained corresponding to the irradiation of visible light in the second direction, and the irradiation range is wider than the second direction.
  • An image processing program for causing a computer to execute an image processing method for generating a color image by synthesizing an infrared image and a visible light image by inputting an infrared image obtained in response to infrared irradiation in the first direction. It is.
  • the fourth technique is a direction in which the first technique is a visible light image obtained corresponding to the irradiation of visible light in the second direction and the irradiation range is wider than the second direction.
  • An image processing apparatus that receives an infrared image obtained in response to infrared irradiation in a first direction and generates a color image by combining the infrared image and the visible light image; and in the first direction And a lighting device that emits infrared light and emits visible light in the second direction.
  • a color image can be generated from images respectively obtained corresponding to visible light and infrared rays irradiated in different directions.
  • the effect described here is not necessarily limited, and may be any effect described in the specification.
  • Embodiment> [1-1. Configuration of vehicle system] [1-2. Overview of processing in image processing apparatus] [1-3. Processing by image processing apparatus] [1-3-1. First processing example] [1-3-2. Second processing example] ⁇ 2. Modification>
  • the vehicle system 10 includes an image processing device 100, an infrared camera 11, a visible light camera 12, an operation control unit 13, a display unit 14, and a drive control unit 15, and is mounted on a vehicle 1000.
  • the infrared camera 11 captures an infrared image in front of the vehicle 1000 using infrared rays emitted from the infrared projector. An infrared image obtained by photographing is supplied to the image processing apparatus 100.
  • the visible light camera 12 takes a visible light image.
  • the visible light image obtained by photographing is supplied to the image processing apparatus 100.
  • the infrared camera 11 and the visible light camera 12 are provided on the surface opposite to the mirror surface of the room mirror provided in the vehicle 1000. However, it may be provided anywhere inside the vehicle and / or outside the vehicle as long as the front direction of the vehicle 1000 can be photographed.
  • the image processing apparatus 100 performs image processing according to the present technology using the supplied visible light image and infrared image, and generates a composite image.
  • the composite image is supplied to the display unit 14 and the operation control unit 13.
  • the image processing apparatus 100 is configured by, for example, a DSP (Digital Signal Processor). The configuration and processing of the image processing apparatus 100 will be described later.
  • the display unit 14 is a display unit configured by, for example, an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro Luminescence) panel, or the like.
  • the display unit 14 is an electronic mirror provided in the vehicle 1000, a monitor constituting a car navigation system or an in-vehicle audio device, and the like, and displays a composite image generated by the image processing device 100 and presents it to the user.
  • the operation control unit 13 controls the operation of the vehicle 1000 based on the composite image generated by the image processing apparatus 100.
  • the driving control unit 13 performs driving control of the vehicle 1000 as an advanced driving support system (ADAS: “Advanced driver-assistance” systems).
  • ADAS Advanced driver-assistance
  • the operation control unit 13 is configured by a DSP or the like.
  • the drive control unit 15 performs drive control of the steering of the vehicle 1000 under the control of the operation control unit 13.
  • the operation control unit 13 is configured by a DSP or the like.
  • the vehicle system 10 configured as described above is mounted on the vehicle 1000.
  • the vehicle 1000 is a moving body that runs on the road by rotating wheels with the power of a prime mover called an automobile or the like.
  • the vehicle 1000 is provided with a headlight 1100 that illuminates the front, and as shown in FIG. 2, it can irradiate light having different irradiation distances called a high beam and a low beam.
  • the headlight is a lighting device in the claims.
  • the high beam in the first direction is also referred to as a traveling headlamp, and its irradiation distance is determined to be able to illuminate 100 m ahead of the vehicle 1000.
  • the low beam in the second direction is also referred to as a passing headlamp, and the low beam is set to illuminate the front 40 m of the vehicle 1000.
  • the high beam that is irradiated in the first direction has a wider irradiation range than the low beam that is irradiated in the second direction.
  • the vehicle 1000 equipped with the image processing apparatus 100 has at least a function of irradiating infrared light as a high beam and irradiating visible light as a low beam.
  • the vehicle 1000 irradiates infrared rays as a high beam, but may have a function of irradiating visible light as a high beam.
  • FIG. 3A shows the first method, in which the light source 1110 of the headlight 1100 can irradiate both infrared light and visible light.
  • the light source 1110 can irradiate infrared light and visible light in a first direction as a high beam and in a second direction as a low beam directed downward from the first direction.
  • a visible light cut filter 1130 and an infrared cut filter 1140 are provided between the light source 1110 and the lens 1120.
  • the visible light cut filter 1130 is arranged so as to cut visible light irradiated in the first direction.
  • the infrared cut filter 1140 is arranged so as to cut infrared rays irradiated in the second direction.
  • the infrared rays and visible light emitted from the light source 1110 in the second direction are cut by the infrared cut filter 1140 so that only the visible light is emitted in the second direction. Thereby, only visible light can be irradiated as a low beam.
  • FIG. 3B shows the second method
  • the second method is a case where the light source 1110 of the headlight 1100 can irradiate infrared light and visible light in the same manner as the first method.
  • the light source 1110 can irradiate infrared light and visible light in a first direction as a high beam and in a second direction as a low beam directed downward from the first direction.
  • the visible light cut filter 1130 is provided between the light source 1110 and the lens 1120.
  • the visible light cut filter 1130 is arranged so as to cut visible light irradiated in the first direction.
  • the second direction as a low beam is irradiated with both infrared and visible light without being cut by a filter. This is because the infrared rays cannot be visually recognized by the user's eyes, and thus the user's driving of the vehicle 1000 is not hindered even if the infrared rays are irradiated in the second direction as a low beam.
  • FIG. 3C shows the third method
  • the third method is a case where the light source 1110 of the headlight 1100 can irradiate infrared light and visible light, as in the first method.
  • the light source 1110 can irradiate infrared rays and visible light in a first direction which is a direction of a low beam.
  • a beam splitter 1150 and a reflector 1160 are provided between the light source 1110 and the lens 1120.
  • the beam splitter 1150 can reflect a part of incident light based on the wavelength of the light and transmit a part of the light.
  • the beam splitter 1150 transmits visible light and reflects infrared light. Since visible light passes through the beam splitter 1150 and travels as it is, it is irradiated in the second direction as a low beam.
  • the reflector 1160 is provided in the direction in which infrared rays are reflected by the beam splitter 1150.
  • the reflection plate 1160 reflects the infrared light reflected by the beam splitter 1150 in a first direction that is a high beam irradiation direction. Thereby, infrared rays are irradiated as a high beam.
  • a visible light LED 1170 that emits visible light as a high beam in the first direction
  • an infrared LED 1180 that emits infrared light
  • a first light beam as a low beam.
  • a visible light LED 1190 that can irradiate visible light in two directions is provided.
  • a first lens 1121 that receives infrared light and visible light irradiated in the first direction
  • a second lens 1122 that receives visible light irradiated in the second direction are provided.
  • Switching between irradiation of the visible light LED 1170 and the infrared LED 1180 provided in the first direction can be performed by various methods.
  • the infrared / visible light is deflected by the hot / cold mirror 1200 to irradiate both infrared and visible light in the first direction
  • the hot / cold mirror 1200 is shown in FIG. 4C.
  • infrared LEDs and visible light LEDs are arranged and irradiation is switched by switching on and off the infrared LEDs and visible light LEDs by a predetermined control signal.
  • halogen lamps, xenon lamps, HID (High Intensity Discharge) lamps, LEDs (light emitting diodes), and the like can be used as the light source of the headlight 1100. Any of these light sources can be used to irradiate infrared rays as shown in the shaded portions of the graphs of FIGS. 5A, 5B, 5C, and 5D, so that the present technology can be implemented using any light source.
  • the HID lamp which can irradiate visible light and infrared rays efficiently can be implement
  • the image processing apparatus 100 is supplied with an infrared image captured by the infrared camera 11 and a visible light image captured by the visible light camera 12.
  • FIG. 7A is an infrared image taken by the infrared camera 11, and FIG. 7B is a visible light image taken by the visible light camera 12.
  • Infrared images have high sensitivity, good PSNR (Peak signal-to-noise ratio), and low noise. However, it is a so-called monochrome / monochrome image.
  • a visible light image has low sensitivity, a low PSNR, and a lot of noise in the image.
  • the visible light image is a color image and has a color.
  • the image processing apparatus 100 generates a color image having a high sensitivity, a high PSNR, and a low noise as shown in FIG. 7C by synthesizing the infrared image and the visible light image.
  • the image processing apparatus 100 separates the visible light image into a luminance signal and a color signal, and performs level matching between the luminance signal of the infrared image and the luminance signal of the visible light image. By this level adjustment processing, a luminance signal with high sensitivity and less noise can be obtained. Next, noise is removed by performing processing on the color signal of the visible light image using the luminance signal of the infrared image subjected to level adjustment as guide information. Then, a synthesized image is generated by synthesizing the luminance signal of the infrared image and the color signal of the visible light image from which noise has been removed.
  • the guide information made up of this luminance signal indicates the boundary of how far the image is composed of the same color. This is for determining how much the same color is obtained by grasping the outline of the object based on the luminance.
  • the image processing apparatus 100 that performs such image processing includes a program, and the program may be installed in advance in a processor such as a DSP or a computer that performs signal processing, or may be downloaded, stored, or the like. It may be distributed and installed by the user himself. Further, the image processing apparatus 100 is not only realized by a program, but may be realized by combining a dedicated device, a circuit, and the like by hardware having the function.
  • FIG. 1 A first example of processing in the image processing apparatus 100 will be described. This first processing example uses the above-described first method of switching between a high beam and a low beam, irradiates only infrared light as a high beam in the first direction, and irradiates only visible light as a low beam in the second direction. This is the case.
  • the image processing apparatus 100 includes a demosaic processing unit 101, a separation unit 102, a luminance level adjustment unit 103, a filter unit 104, and a synthesis unit 105.
  • An infrared image photographed by the infrared camera 11 is supplied to the brightness level adjustment unit 103.
  • the visible light image captured by the visible light camera 12 is supplied to the demosaic processing unit 101.
  • the demosaic processing unit 101 Since the RAW image data that is a visible light image supplied from the visible light camera 12 has a Bayer array, the demosaic processing unit 101 performs a demosaic process on the visible light image.
  • the separation unit 102 is a conversion processing unit that separates luminance and color by converting RGB image data into YCrCb data.
  • the luminance signal Y and the color signal YCrCb are converted and processed in a state of color separation.
  • the separated luminance signal is supplied to the luminance level adjustment unit 103, and the color signal is supplied to the filter unit 104.
  • other data formats such as L * a * b * and YUV may be used as long as the data format is separated into luminance and color.
  • the luminance level adjusting unit 103 performs level matching between the luminance signal of the visible light image and the luminance signal of the infrared image with a local average value.
  • a luminance signal generated by level matching and having a high sensitivity and a good SN ratio is supplied to the filter unit 104 and the synthesis unit 105.
  • the filter unit 104 performs a filtering process using a joint bilateral filter (Joint Bilateral Filter) on the color signal using the supplied luminance signal as guide information, and generates a color signal with high sensitivity and good SN ratio.
  • the color signal is supplied to the synthesis unit 105.
  • the synthesizing unit 105 synthesizes the luminance signal of the infrared image supplied from the luminance level adjusting unit 103 and the color signal supplied from the filter unit 104 to generate an RGB image. It can be said that the synthesizing unit 105 performs processing to return the separated luminance signal and color signal to RGB image data.
  • step S11 the demosaic processing unit 101 performs a demosaic process on the visible light image.
  • step S12 the visible light image is separated into a luminance signal and a color signal by the separation unit 102.
  • the separated luminance signal is supplied to the luminance level adjustment unit 103, and the color signal is supplied to the filter unit 104. Note that an infrared image is also supplied to the luminance level adjustment unit 103.
  • step S13 the brightness level adjusting unit 103 performs level matching processing between the brightness signal of the infrared image and the brightness signal of the visible light image using Equation 1 below.
  • the luminance signal of the infrared image subjected to the level adjustment processing is supplied to the filter unit 104 and the synthesis unit 105.
  • the filter unit 104 performs filter processing on the color signal of the visible light image using the following equation 2 using the luminance signal of the infrared image as guide information.
  • a joint bilateral filter is used as a filter.
  • the joint bilateral filter is a filter that can smooth other portions while preserving edges, and performs filtering processing using information of two images. This is an effective filter for obtaining an image in a better state by using two images of an image with accurate color but noisy color and an image with inaccurate color but less noise.
  • the color signal of the visible light image that has been subjected to the filter processing is supplied to the synthesis unit 105.
  • step S15 the synthesis unit 105 synthesizes the luminance signal of the infrared image and the color signal of the visible light image in a matrix to generate an RGB color composite image.
  • the first example of the processing of the image processing apparatus 100 is performed.
  • This second example uses the above-described fourth method of switching between a high beam and a low beam, irradiates infrared light and visible light as an adaptive high beam in the first direction, and irradiates only visible light as a low beam in the second direction.
  • an image is acquired by the RGB-IR sensor.
  • An image obtained by the RGB-IR sensor is referred to as an RGB-IR image.
  • the image processing apparatus 100 includes a demosaic processing unit 101, an infrared / visible light separating unit 201, a separating unit 102, a luminance level adjusting unit 103, a filter unit 104, and a combining unit 105. Since the demosaic processing unit 101, the separation unit 102, the brightness level adjustment unit 103, and the synthesis unit 105 are the same as those in the first processing example, description thereof is omitted.
  • the RGB-IR image obtained by the RGB-IR sensor is supplied to the demosaic processing unit 101.
  • the infrared / visible light separating unit 201 separates the supplied RGB-IR image into an infrared image and a visible light image. This is because the RGB-IR sensor can simultaneously obtain both an infrared image and a visible light image as an RGB-IR image.
  • the filter unit 104 performs a filter process using a guided filter (Guided Filter) on the color signal using the supplied luminance signal as guide information, and generates a color signal with high sensitivity and good SN ratio. It is.
  • the color signal is supplied to the synthesis unit 105.
  • the demosaic processing unit 101 When an RGB-IR image is input to the image processing apparatus 100, the demosaic processing unit 101 first performs a demosaic process on the RGB-IR image in step S21.
  • step S22 the RGB-IR image is separated into an infrared image and a visible light image.
  • the separated infrared image is supplied to the luminance level adjustment unit 103, and the visible light image is supplied to the separation unit 102.
  • step S23 the visible light image is separated into a luminance signal and a color signal by the separation unit 102.
  • the separated luminance signal is supplied to the luminance level adjustment unit 103, and the color signal is supplied to the filter unit 104. Note that an infrared image is also supplied to the luminance level adjustment unit 103.
  • step S24 the brightness level adjustment unit 103 performs level matching processing between the brightness signal of the infrared image and the brightness signal of the visible light image using the following equation (3).
  • the luminance signal of the infrared image subjected to the level adjustment processing is supplied to the filter unit 104 and the synthesis unit 105.
  • the filter unit 104 performs filter processing on the color signal of the visible light image using the following Expression 4 using the luminance signal of the infrared image as guide information.
  • a guided filter is used as a filter.
  • the guided filter is a filter that can remove noise while maintaining the edge of the image to be processed using information on an image with little noise as guide information.
  • the color signal of the visible light image that has been subjected to the filter processing is supplied to the synthesis unit 105.
  • step S26 the synthesis unit 105 combines the luminance signal of the infrared image and the color signal of the visible light image in a matrix to generate an RGB color composite image.
  • the image composition processing according to the present technology is performed.
  • a color image having a wide range as if visible light is always radiated as a high beam even at night, high sensitivity, brightness, and high visibility.
  • a high-sensitivity image can be defined as “an image with a better SN ratio and less noise within the same shooting time (exposure time)” when defined by the amount of noise.
  • the synthesized image generated by the present technology is supplied to the display unit 14 and displayed on, for example, an electronic mirror of the vehicle 1000, a car navigation system, or a monitor constituting an in-vehicle audio apparatus. Thereby, the user can grasp the situation ahead of the vehicle 1000 with a clear color image with less noise.
  • the composite image can be supplied to the driving control unit 13 to detect an oncoming vehicle, a preceding vehicle, an obstacle, a pedestrian, and the like by image analysis, and can be used for an advanced driving assistance system (ADAS).
  • ADAS advanced driving assistance system
  • the analysis result of the composite image may be reflected in automatic driving, or the user may be notified by an alert when an obstacle or the like is detected by image analysis.
  • the headlight may be changed to automatically emit a high beam of visible light, and the user may be prompted to visually check the obstacle or the like.
  • FIG. 12 is a table comparing features of the present technology with other known technologies. As shown in the table, the present technology can obtain a color image in a range substantially equivalent to the irradiation range of the high beam, so that the low beam in the visibility in the vicinity of the vehicle, the visibility in the distance of the vehicle, and the visibility in the vicinity of the vehicle. It is superior to adaptive headlights and is as good as near infrared images.
  • the present technology can acquire a color image, it can be said that this technology is superior to any of low beam, adaptive headlight, and near infrared image in this respect.
  • the vehicle 1000 is described as the moving body, but the moving body to which the present technology can be applied is not limited thereto.
  • the present technology can be applied to any moving object such as a motorcycle, an aircraft, a drone, and a ship.
  • the present technology can also have the following configurations.
  • (1) Corresponding to the visible light image obtained corresponding to the irradiation of the visible light in the second direction and the irradiation of the infrared ray in the first direction which is a direction in which the irradiation range becomes wider than the second direction.
  • the obtained infrared image is input, An image processing apparatus that generates a color image by combining the infrared image and the visible light image.
  • the image processing apparatus according to (1) wherein the first direction is an irradiation direction as a high beam in a vehicle.
  • (3) The image processing apparatus according to (1) or (2), wherein the second direction is an irradiation direction as a low beam in a vehicle.
  • the image processing apparatus according to any one of (1) to (3), wherein the visible image is filtered using the luminance signal of the infrared image as guide information to generate the color image.
  • the brightness signal of the infrared image is the image processing apparatus according to (4), wherein the level is adjusted using the brightness signal of the visible light image.
  • the image processing apparatus according to (4) or (5), wherein the color image is generated by combining the visible light color signal and the infrared luminance signal.
  • the obtained infrared image is input, An image processing program for causing a computer to execute an image processing method for generating a color image by combining the infrared image and the visible light image.
  • An image processing program for causing a computer to execute an image processing method for generating a color image by combining the infrared image and the visible light image.
  • (9) Corresponding to the visible light image obtained corresponding to the irradiation of the visible light in the second direction and the irradiation of the infrared ray in the first direction which is a direction in which the irradiation range becomes wider than the second direction.
  • the obtained infrared image is input, An image processing device that synthesizes the infrared image and the visible light image to generate a color image;
  • a moving body comprising: an illumination device that emits infrared light in the first direction and emits visible light in the second direction.
  • Image processing apparatus 1000 .. vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)

Abstract

第２の方向への可視光の照射に対応して得られた可視光画像と、第２の方向よりも照射範囲が広くなる方向である第１の方向への赤外線の照射に対応して得られた赤外線画像とが入力され、可視光画像と赤外線画像とを合成してカラー画像を生成する画像処理装置である。

Description

画像処理装置、画像処理方法、画像処理プログラムおよび移動体
　本技術は、画像処理装置、画像処理方法、画像処理プログラムおよび移動体に関する。
　従来から、車両を運転する運転手（以下、ユーザと称する。）に対して運転中の視界の景色を視認性よく提示するための手法が提案されている（特許文献１）。
特開２０１１－１５５３９０号公報
　自動車のヘッドライトでは通常、ハイビーム、ロービームと称される、照射方向、照射範囲が異なるライトがある。そのどちらのライトを照射しているかによってユーザが視認できる範囲が異なり、また、運転中の視界を撮影した画像でも色、ノイズの有無などに差があるため、高品質なユーザの運転中の視界を撮影した画像を提示できないという問題がある。
　本技術はこのような問題点に鑑みなされたものであり、異なる方向に照射した可視光と赤外線に対応してそれぞれ得られた画像からカラー画像を生成することができる画像処理装置、画像処理方法、画像処理プログラムおよび移動体を提供することを目的とする。
　上述した課題を解決するために、第１の技術は、第２の方向への可視光の照射に対応して得られた可視光画像と、第２の方向よりも照射範囲が広くなる方向である第１の方向への赤外線の照射に対応して得られた赤外線画像とが入力され、赤外線画像と可視光画像とを合成してカラー画像を生成する画像処理装置である。
　また、第２の技術は、第１の技術は、第２の方向への可視光の照射に対応して得られた可視光画像と、第２の方向よりも照射範囲が広くなる方向である第１の方向への赤外線の照射に対応して得られた赤外線画像とが入力され、赤外線画像と可視光画像とを合成してカラー画像を生成する画像処理方法である。
　また、第３の技術は、第１の技術は、第２の方向への可視光の照射に対応して得られた可視光画像と、第２の方向よりも照射範囲が広くなる方向である第１の方向への赤外線の照射に対応して得られた赤外線画像とが入力され、赤外線画像と可視光画像とを合成してカラー画像を生成する画像処理方法をコンピュータに実行させる画像処理プログラムである。
　さらに、第４の技術は、第１の技術は、第２の方向への可視光の照射に対応して得られた可視光画像と、第２の方向よりも照射範囲が広くなる方向である第１の方向への赤外線の照射に対応して得られた赤外線画像とが入力され、赤外線画像と可視光画像とを合成してカラー画像を生成する画像処理装置と、　前記第１の方向に赤外線を照射し、前記第２の方向に可視光を照射する照明装置とを備える移動体である。
　本技術によれば、異なる方向に照射した可視光と赤外線に対応してそれぞれ得られた画像からカラー画像を生成することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。
本技術に係る画像処理装置を備える車両システムの構成を示すブロック図である。 車両が備えるヘッドライトから照射されるハイビームとロービームの説明図である。 ハイビームとロービームを切り替える手法の説明図である。 ハイビームとロービームを切り替える手法の説明図である。 ヘッドライトの光源の説明図である。 本技術に係る画像処理装置による処理の概要を示す図である。 赤外線画像、可視光画像および合成画像を示す図である。 画像処理の第１の例における画像処理装置の構成を示すブロック図である。 画像処理の第１の例のフローチャートである。 画像処理の第２の例における画像処理装置の構成を示すブロック図である。 画像処理の第２の例のフローチャートである。 本技術により生成された合成画像と従来技術を比較する表である。 変形例に係る車両の構成を示す図である。
　以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１－１．車両システムの構成］
［１－２．画像処理装置における処理の概要］
［１－３．画像処理装置による処理］
［１－３－１．第１の処理例］
［１－３－２．第２の処理例］
＜２．変形例＞
＜１．実施の形態＞
［１－１．車両システムの構成］
　図１および図２を参照して画像処理装置１００を備えた車両システム１０の構成について説明する。図１に示すように車両システム１０は画像処理装置１００、赤外線カメラ１１、可視光カメラ１２、運転制御部１３、表示部１４、駆動制御部１５とから構成され、車両１０００に搭載されている。
　赤外線カメラ１１は、赤外線投光器が照射する赤外線を用い、車両１０００の前方における赤外線画像を撮影する。撮影により得られた赤外線画像は画像処理装置１００に供給される。
　可視光カメラ１２は、可視光の画像を撮影する。撮影により得られた可視光画像は画像処理装置１００に供給される。赤外線カメラ１１および可視光カメラ１２は例えば車両１０００が備えるルームミラーの鏡面とは逆側に面に設けられている。ただし、車両１０００のフロント方向を撮影することができれば車内および／または車外のどこに設けられていてもよい。
　画像処理装置１００は供給された可視光画像および赤外線画像を用いて本技術に係る画像処理を行って合成画像を生成するものである。合成画像は表示部１４および運転制御部１３に供給される。画像処理装置１００は例えば、ＤＳＰ（Digital Signal Processor）などにより構成される。画像処理装置１００の構成および処理については後述する。
　表示部１４は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示手段である。表示部１４は、車両１０００内に設けられた電子ミラー、カーナビゲーションシステムや車載オーディオ装置を構成するモニターなどであり、画像処理装置１００が生成した合成画像を表示してユーザに提示する。
　運転制御部１３は、画像処理装置１００が生成した合成画像に基づいて車両１０００の運転制御を行うものである。運転制御部１３は例えば、先進運転支援システム（ＡＤＡＳ： Advanced driver-assistance systems）として車両１０００の運転制御を行う。運転制御部１３はＤＳＰなどにより構成される。
　駆動制御部１５は、運転制御部１３の制御のもと車両１０００のステアリングの駆動制御を行うものである。運転制御部１３はＤＳＰなどにより構成される。
　以上のように構成された車両システム１０は車両１０００に搭載される。
　車両１０００は、自動車などと称される原動機の動力によって車輪を回転させることにより路上を走る移動体である。車両１０００は前方を照らすヘッドライト１１００を備えており、図２に示すように、ハイビーム、ロービームと称される照射距離が異なる光を照射することができる。ヘッドライトは特許請求の範囲における照明装置である。第１の方向へのハイビームは走行用前照灯とも称され、その照射距離は車両１０００の前方１００ｍ先を照らすことができるものと定められている。また、第２の方向へのロービームはすれ違い用前照灯とも称され、ロービームは車両１０００の前方４０ｍを照らすことができるものと定められている。このように第１の方向への照射であるハイビームは第２の方向への照射であるロービームより照射範囲が広いものとなっている。
　本技術に係る画像処理装置１００を搭載した車両１０００は少なくともハイビームとして赤外線を照射するとともに、ロービームとして可視光を照射する機能を備えている。なお、ロービームの方向に可視光と赤外線の両方を照射してもよい。赤外線はユーザには視認されないので、照射していてもユーザによる車両１０００の運転に妨げにはならないからである。また、車両１０００はハイビームとして赤外線を照射するが、ハイビームとして可視光を照射する機能を備えていてもよい。
　ここで、図３および図４を参照して車両１０００が備えるヘッドライト１１００におけるハイビームとロービームの切り替えについて説明する。
　図３Ａは第１の方式であり、ヘッドライト１１００の光源１１１０が赤外線と可視光の両方を照射可能な場合である。光源１１１０はハイビームとしての第１の方向と、その第１の方向よりも下方に向けたロービームとしての第２の方向に向けて赤外線光および可視光を照射可能となっている。
　第１の方式では光源１１１０とレンズ１１２０の間に可視光カットフィルタ１１３０と赤外線カットフィルタ１１４０が設けられている。可視光カットフィルタ１１３０は第１の方向に照射された可視光をカットできるように配置されている。光源１１１０から第１の方向に照射された赤外線および可視光のうち可視光を可視光カットフィルタ１１３０でカットすることにより第１の方向へは赤外線のみが照射される。これによりハイビームとして赤外線のみが照射され、可視光は照射されないので、対向車に不必要な眩しさを与えることがない。
　また、赤外線カットフィルタ１１４０は第２の方向に照射された赤外線をカットできるように配置されている。光源１１１０から第２の方向に照射された赤外線および可視光のうち赤外線を赤外線カットフィルタ１１４０でカットすることにより第２の方向へは可視光のみが照射される。これによりロービームとして可視光のみを照射することができる。
　図３Ｂは第２の方式であり、第２の方式も第１の方式と同様にヘッドライト１１００の光源１１１０が赤外線および可視光を照射可能な場合である。光源１１１０はハイビームとしての第１の方向と、その第１の方向よりも下方に向けたロービームとしての第２の方向に向けて赤外線光および可視光を照射可能となっている。
　第２の方式では光源１１１０とレンズ１１２０の間に可視光カットフィルタ１１３０のみが設けられている。可視光カットフィルタ１１３０は第１の方向に照射された可視光をカットできるように配置されている。光源１１１０から第１の方向に照射された赤外線および可視光のうち可視光を可視光カットフィルタ１１３０でカットすることにより第１の方向へは赤外線のみが照射される。これによりハイビームとして赤外線のみを照射することができる。
　ロービームとしての第２の方向に対してはフィルタでカットは行わず赤外線と可視光の両方を照射する。赤外線はユーザの目では視認できないため、ロービームとして第２の方向に照射してもユーザの車両１０００の運転の妨げにはならないからである。
　図３Ｃは第３の方式であり、第３の方式も第１の方式と同様にヘッドライト１１００の光源１１１０が赤外線および可視光を照射可能な場合である。光源１１１０は赤外線および可視光をロービームの方向である第１の方向に照射可能となっている。
　第３の方式では光源１１１０とレンズ１１２０の間にビームスプリッタ１１５０および反射板１１６０が設けられている。ビームスプリッタ１１５０は光の波長に基づいて入射した光の一部を反射させ、一部を透過させることができるものであり、図３Ｃの例では可視光を透過させ、赤外線を反射させる。可視光はビームスプリッタ１１５０を透過してそのまま進むため、ロービームとして第２の方向に照射される。
　反射板１１６０はビームスプリッタ１１５０による赤外線の反射方向に設けられている。反射板１１６０はビームスプリッタ１１５０により反射した赤外線をハイビームの照射方向である第１の方向に反射させるものである。これにより赤外線がハイビームとして照射される。
　第４の方式では、図４Ａに示すように、ヘッドライト１１００の光源として、第１の方向にハイビームとしての可視光を照射する可視光ＬＥＤ１１７０と赤外線を照射する赤外線ＬＥＤ１１８０、さらに、ロービームとしての第２の方向に可視光を照射できる可視光ＬＥＤ１１９０が設けられている。また、第１の方向へ照射された赤外線および可視光が入射する第１のレンズ１１２１と、第２の方向へ照射された可視光が入射する第２のレンズ１１２２が設けられている。
　第１の方向に対して設けられた可視光ＬＥＤ１１７０と赤外線ＬＥＤ１１８０の照射の切り替えは種々の方法により行うことができる。例えば、図４Ｂに示すように、ホット／コールドミラー１２００により赤外線の照射方向を偏向させることにより赤外線と可視光の両方を第１の方向に照射し、図４Ｃに示すようにホット／コールドミラー１２００を稼働させることにより、可視光のみを第１の方向に照射させる、という方法がある。
　また、図４Ｄまたは図４Ｅに示すように赤外線ＬＥＤと可視光ＬＥＤを配置し、所定の制御信号により赤外線ＬＥＤと可視光ＬＥＤのオンオフを切替えることにより、照射の切り替えを行う、という方法もある。
　以上のようにしてヘッドライト１１００のハイビームとロービームの切り替えを構成すれば、複雑なメカ構成を有するヘッドライトは不要となる。
　なお、ヘッドライト１１００の光源として使用することができるものとしてはハロゲンランプ、キセノンランプ、ＨＩＤ（High Intensity Discharge）ランプ、ＬＥＤ（light emitting diode）などがある。いずれも図５Ａ、図５Ｂ、図５Ｃ、図５Ｄのグラフの網掛け部分に示すように赤外線を照射可能なので、いずれの光源を用いても本技術を実施することができる。なお、ＨＩＤランプではランプ内発光添加物を変えることにより効率よく可視光と赤外線を照射可能なＨＩＤランプを実現することができる。
［１－２．画像処理装置における処理の概要］
　次に図６および図７を参照して画像処理装置１００における画像処理の概要について説明する。画像処理装置１００には、赤外線カメラ１１で撮影した赤外線画像と、可視光カメラ１２で撮影された可視光画像が供給される。
　図７Ａは赤外線カメラ１１により撮影された赤外線画像であり、図７Ｂは可視光カメラ１２により撮影された可視光画像である。赤外線画像は高感度でありＰＳＮＲ（Peak signal-to-noise ratio）がよくノイズが少ない。ただし、いわゆる白黒／モノクロの画像である。一方、可視光画像は感度が低く、ＰＳＮＲが小さく画像中にノイズが多い。ただし、可視光画像はカラー画像であり色を有している。
　そこで画像処理装置１００は、赤外線画像と可視光画像とを合成することにより図７Ｃに示すような高感度であり、ＰＳＮＲがよくノイズが少ないカラー画像を生成するものである。
　画像処理装置１００は可視光画像を輝度信号と色信号とに分離し、赤外線画像の輝度信号と可視光画像の輝度信号とのレベル合わせを行う。このレベル調整処理により、高感度でノイズが少ない輝度信号を得ることができる。次に、レベル調整が施された赤外線画像の輝度信号をガイド情報として可視光画像の色信号からに対して処理を施してノイズ除去を行う。そして、赤外線画像の輝度信号とノイズが除去された可視光画像の色信号とを合成することにより合成画像を生成する。この輝度信号からなるガイド情報は、画像中においてどこまで同一の色で構成されているかの境界を示すものである。輝度に基づいて物体の輪郭を把握することによりどこまでが同じ色であるかを判断するためのものである。
　なお、このような画像処理を行う画像処理装置１００はプログラムで構成され、そのプログラムは、予めＤＳＰなどのプロセッサ内や信号処理を行うコンピュータにインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。また、画像処理装置１００は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
［１－３．画像処理装置による処理］
［１－３－１．第１の処理例］
　画像処理装置１００のおける処理の第１の例について説明する。この第１の処理例は上述したハイビームとロービームの切り替えの第１の方式を用いて、第１の方向にハイビームとして赤外線のみを照射し、第２の方向にロービームとして可視光のみを照射している場合である。
　まず図８を参照して第１の処理例における画像処理装置１００の構成について説明する。画像処理装置１００は、デモザイク処理部１０１、分離部１０２、輝度レベル調整部１０３、フィルタ部１０４、合成部１０５を備えて構成されている。赤外線カメラ１１により撮影された赤外線画像は輝度レベル調整部１０３に供給される。また、可視光カメラ１２により撮影された可視光画像はデモザイク処理部１０１に供給される。
　可視光カメラ１２から供給された可視光画像であるＲＡＷ画像データはＢａｙｅｒ配列であるため、デモザイク処理部１０１は可視光画像に対してデモザイク処理を行う。
　分離部１０２は、ＲＧＢの画像データをＹＣｒＣｂデータへと変換することにより輝度と色を分離する変換処理部である。本実施の形態では、輝度信号Ｙと色信号ＹＣｒＣｂに変換し、色分離した状態で処理を行う。分離された輝度信号は輝度レベル調整部１０３に供給され、色信号はフィルタ部１０４に供給される。なお、輝度と色に分離するデータ形式であれば、Ｌ*ａ*ｂ*やＹＵＶ等の他のデータ形式であってもよい。
　輝度レベル調整部１０３は、可視光画像の輝度信号と赤外線画像の輝度信号とを局所平均値でレベル合わせを行う。レベル合わせにより生成された高感度かつＳＮ比がよい輝度信号はフィルタ部１０４および合成部１０５に供給される。
　フィルタ部１０４は供給された輝度信号をガイド情報として色信号にジョイントバイラテラルフィルタ（Joint Bilateral Filter）によるフィルタ処理を施して、高感度かつ、ＳＮ比がよい色信号を生成するものである。色信号は合成部１０５に供給される。
　合成部１０５は、輝度レベル調整部１０３から供給された赤外線画像の輝度信号とフィルタ部１０４から供給された色信号とを合成してＲＧＢの画像を生成するものである。合成部１０５は、分離した状態の輝度信号と色信号とをＲＧＢの画像データに戻す処理を行っているといえる。
　次に図９のフローチャートを参照して画像処理装置１００における処理について説明する。画像処理装置１００に赤外線画像と可視光画像がそれぞれ入力されると、まずステップＳ１１でデモザイク処理部１０１により可視光画像に対してデモザイク処理が施される。
　次にステップＳ１２で分離部１０２により可視光画像が輝度信号と色信号とに分離される。分離された輝度信号は輝度レベル調整部１０３に供給され、色信号はフィルタ部１０４に供給される。なお、赤外線画像も輝度レベル調整部１０３に供給されている。
　次にステップＳ１３で、輝度レベル調整部１０３により、下記の式１を用いて赤外線画像の輝度信号と可視光画像の輝度信号とのレベル合わせ処理が行われる。
［式１］
Figure JPOXMLDOC01-appb-I000001
　レベル調整処理が施された赤外線画像の輝度信号はフィルタ部１０４および合成部１０５に供給される。
　次にステップＳ１４でフィルタ部１０４により赤外線画像の輝度信号をガイド情報として下記の式２を用い、可視光画像の色信号に対してフィルタ処理が行われる。上述したように、この第１の例では、フィルタとしてジョイントバイラテラルフィルタを用いている。ジョイントバイラテラルフィルタは、エッジを保存しつつ他の部分を平滑化できるフィルタであり、２枚の画像の情報を用いてフィルタリング処理を行なう。色は正確だがノイズが多い画像と色は不正確だがノイズが少ない画像の二枚の画像を用いてより良い状態の画像を得るために際に有効なフィルタである。フィルタ処理が施された可視光画像の色信号は合成部１０５に供給される。
［式２］
Figure JPOXMLDOC01-appb-I000002
　そして、ステップＳ１５で合成部１０５により、赤外線画像の輝度信号と可視光画像の色信号とがマトリクスで合成されてＲＧＢのカラー合成画像が生成される。
　以上のようにして画像処理装置１００の処理の第１の例が行われる。
［１－３－２．第２の処理例］
　次に画像処理装置１００による処理の第２の例について説明する。この第２の例は上述したハイビームとロービームの切り替えの第４の方式を用いて、第１の方向にアダプティブハイビームとして赤外線および可視光を照射し、第２の方向にロービームとして可視光のみを照射し、ＲＧＢ－ＩＲセンサにより画像を取得する場合である。ＲＧＢ－ＩＲセンサにより得られた画像をＲＧＢ－ＩＲ画像と称する。
　まず図１０を参照して第２の処理例における画像処理装置１００の構成について説明する。画像処理装置１００は、デモザイク処理部１０１、赤外線・可視光分離部２０１、分離部１０２、輝度レベル調整部１０３、フィルタ部１０４、合成部１０５を備えて構成されている。デモザイク処理部１０１、分離部１０２、輝度レベル調整部１０３、合成部１０５は第１の処理例におけるものと同様のものであるため説明を省略する。
　ＲＧＢ－ＩＲセンサにより得られた画像をＲＧＢ－ＩＲ画像はデモザイク処理部１０１に供給される。
　赤外線・可視光分離部２０１は、供給されたＲＧＢ－ＩＲ画像を赤外線画像と可視光画像とに分離するものである。ＲＧＢ－ＩＲセンサはＲＧＢ－ＩＲ画像として赤外線画像と可視光画像の両方を同時に得ることができるものだからである。
　第２の例においては、フィルタ部１０４は供給された輝度信号をガイド情報として色信号にガイデッドフィルタ（Guided Filter）によるフィルタ処理を施して、高感度かつ、ＳＮ比がよい色信号を生成するものである。色信号は合成部１０５に供給される。
　次に図１１のフローチャートを参照して画像処理装置１００における処理について説明する。
　画像処理装置１００にＲＧＢ－ＩＲ画像が入力されると、まずステップＳ２１でデモザイク処理部１０１によりＲＧＢ－ＩＲ画像に対してデモザイク処理が施される。
　次にステップＳ２２でＲＧＢ－ＩＲ画像を赤外線画像と可視光画像とに分離する。分離された赤外線画像は輝度レベル調整部１０３に供給され、可視光画像は分離部１０２に供給される。
　次にステップＳ２３で分離部１０２により可視光画像が輝度信号と色信号とに分離される。分離された輝度信号は輝度レベル調整部１０３に供給され、色信号はフィルタ部１０４に供給される。なお、赤外線画像も輝度レベル調整部１０３に供給されている。
　次にステップＳ２４で、輝度レベル調整部１０３により、下記の式３を用いて赤外線画像の輝度信号と可視光画像の輝度信号とのレベル合わせ処理が行われる。
［式３］
Figure JPOXMLDOC01-appb-I000003
　レベル調整処理が施された赤外線画像の輝度信号はフィルタ部１０４および合成部１０５に供給される。
　次にステップＳ２５でフィルタ部１０４により赤外線画像の輝度信号をガイド情報として下記の式４を用い、可視光画像の色信号に対してフィルタ処理が行われる。この第２の処理例では、フィルタとしてガイデッドフィルタを用いている。ガイデッドフィルタは、ノイズの少ない画像の情報をガイド情報として、処理対象の画像のエッジを維持したままノイズを除去することが可能なフィルタである。フィルタ処理が施された可視光画像の色信号は合成部１０５に供給される。
［式４］
Figure JPOXMLDOC01-appb-I000004
　そして、ステップＳ２６で合成部１０５により、赤外線画像の輝度信号と可視光画像の色信号とがマトリクスで合成されてＲＧＢのカラー合成画像が生成される。
　以上のようにして、本技術における画像の合成処理が行われる。
　本技術によれば、夜間であっても常に可視光をハイビームとして照射しているかのような範囲が広く、かつ高感度で明るく、かつ鮮明な視認性の高いカラー画像を得ることができる。なお、高感度な画像とは、ノイズ量で定義する場合には、「同じ撮影時間（露光時間）内でよりＳＮ比がよく、ノイズが少ない画像」と定義することができる。
　また、ハイビームの照射範囲相当の広い範囲を撮影したカラー画像を得ることができるため、従来のロービームのような視認性の悪さがなく、その画像から車両１０００の周囲の状況を容易および正確に把握することが可能となる。
　本技術で生成された合成画像は、表示部１４に供給されて、例えば車両１０００の電子ミラーやカーナビゲーションシステムや車載オーディオ装置を構成するモニターなどに表示される。これにより、ユーザはノイズが少なく鮮明なカラー画像で車両１０００の前方の状況を把握することができる。
　また、合成画像を運転制御部１３に供給して、画像解析により対向車、前の車、障害物、歩行者などを検知して先進運転支援システム（ＡＤＡＳ）に利用することができる。例えば、合成画像の解析結果を自動運転に反映させてもよいし、画像解析により障害物などを検知した際にアラートでユーザに知らせるようにしてもよい。また、画像解析により障害物などを検知した際に自動でヘッドライトから可視光のハイビームを照射するように変更し、ユーザに目視で障害物などを確認するように促してもよい。
　図１２は、本技術と既知の他の技術との特徴を比較した表である。表に示すように、本技術は、ハイビームの照射範囲と略同等範囲のカラー画像を得ることができるため、車両の近傍の視認性、車両の遠方の視認性、車両の周辺の視認性においてロービーム、アダプティブヘッドライト以上に優れており、近赤外線画像と同等に優れている。
　また、本技術はカラー画像を取得することができるため、この点においてはロービーム、アダプティブヘッドライト、近赤外線画像のいずれよりも優れているといえる。
　さらに、本技術ではカラー画像を得ることができるため、電子ミラーなどにおける表示およびＡＤＡＳへの適用における有用性においても本技術は他の技術より優れているといえる。
＜２．変形例＞
　以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
　図２に示すように、上述した実施の形態では車両１０００のフロント方向に可視光と赤外線を照射して画像処理を行うと説明したが、車両１０００のリア方向および／またはサイド方向にも本技術を利用することが可能である。車両１０００のリア方向および／またはサイド方向に適用する場合には、リア方向および／またはサイド方向においても赤外線画像および可視光画像を撮影する必要がある。ただし、可視光画像については自然光や街灯などの光を利用して撮影して、図１３に示すようにリア方向および／またはサイド方向に照射するのは赤外線のみでもよい。
　実施の形態では移動体として車両１０００を挙げたが、本技術を適用することができる移動体はそれに限られない。自動二輪、航空機、ドローン、船舶など移動するものであればどのようなものにも本技術を適用することが可能である。
　本技術は以下のような構成も取ることができる。
（１）
　　第２の方向への可視光の照射に対応して得られた可視光画像と、前記第２の方向よりも照射範囲が広くなる方向である第１の方向への赤外線の照射に対応して得られた赤外線画像とが入力され、
　前記赤外線画像と前記可視光画像とを合成してカラー画像を生成する
画像処理装置。
（２）
　前記第１の方向は、車両におけるハイビームとしての照射方向である（１）に記載の画像処理装置。
（３）
　前記第２の方向は、車両におけるロービームとしての照射方向である（１）または（２）に記載の画像処理装置。
（４）
　前記赤外線画像の輝度信号をガイド情報として前記可視光画像にフィルタ処理を施して前記カラー画像を生成する（１）から（３）のいずれかに記載の画像処理装置。
（５）
　前記赤外線画像の輝度信号は、前記可視光画像の輝度信号を用いてレベルを調整したものである（４）に記載の画像処理装置。
（６）
　前記可視光画像を可視光輝度信号と可視光色信号とに分離し、
　前記可視光輝度信号を用いて前記赤外線画像の赤外線輝度信号のレベルを調整し、
　前記可視光色信号に前記フィルタ処理を施し、
　前記可視光色信号と前記赤外線輝度信号とを合成することにより前記カラー画像を生成する（４）または（５）に記載の画像処理装置。
（７）
　第２の方向への可視光の照射に対応して得られた可視光画像と、前記第２の方向よりも照射範囲が広くなる方向である第１の方向への赤外線の照射に対応して得られた赤外線画像とが入力され、
　前記赤外線画像と前記可視光画像とを合成してカラー画像を生成する
画像処理方法。
（８）
　第２の方向への可視光の照射に対応して得られた可視光画像と、前記第２の方向よりも照射範囲が広くなる方向である第１の方向への赤外線の照射に対応して得られた赤外線画像とが入力され、
　前記赤外線画像と前記可視光画像とを合成してカラー画像を生成する
画像処理方法をコンピュータに実行させる画像処理プログラム。
（９）
　第２の方向への可視光の照射に対応して得られた可視光画像と、前記第２の方向よりも照射範囲が広くなる方向である第１の方向への赤外線の照射に対応して得られた赤外線画像とが入力され、
　前記赤外線画像と前記可視光画像とを合成してカラー画像を生成する
画像処理装置と、
　前記第１の方向に赤外線を照射し、前記第２の方向に可視光を照射する照明装置と
を備える移動体。
１００・・・画像処理装置
１０００・・車両

Claims (9)

  1. 　第２の方向への可視光の照射に対応して得られた可視光画像と、前記第２の方向よりも照射範囲が広くなる方向である第１の方向への赤外線の照射に対応して得られた赤外線画像とが入力され、
    　前記赤外線画像と前記可視光画像とを合成してカラー画像を生成する
    画像処理装置。
  2. 　前記第１の方向は、車両におけるハイビームとしての照射方向である
    請求項１に記載の画像処理装置。
  3. 　前記第２の方向は、車両におけるロービームとしての照射方向である
    請求項１に記載の画像処理装置。
  4. 　前記赤外線画像の輝度信号をガイド情報として前記可視光画像にフィルタ処理を施して前記カラー画像を生成する
    請求項１に記載の画像処理装置。
  5. 　前記赤外線画像の輝度信号は、前記可視光画像の輝度信号を用いてレベルを調整したものである
    請求項４に記載の画像処理装置。
  6. 　前記可視光画像を可視光輝度信号と可視光色信号とに分離し、
    　前記可視光輝度信号を用いて前記赤外線画像の赤外線輝度信号のレベルを調整し、
    　前記可視光色信号に前記フィルタ処理を施し、
    　前記可視光色信号と前記赤外線輝度信号とを合成することにより前記カラー画像を生成する
    請求項４に記載の画像処理装置。
  7. 　第２の方向への可視光の照射に対応して得られた可視光画像と、前記第２の方向よりも照射範囲が広くなる方向である第１の方向への赤外線の照射に対応して得られた赤外線画像とが入力され、
    　前記赤外線画像と前記可視光画像とを合成してカラー画像を生成する
    画像処理方法。
  8. 　第２の方向への可視光の照射に対応して得られた可視光画像と、前記第２の方向よりも照射範囲が広くなる方向である第１の方向への赤外線の照射に対応して得られた赤外線画像とが入力され、
    　前記赤外線画像と前記可視光画像とを合成してカラー画像を生成する
    画像処理方法をコンピュータに実行させる画像処理プログラム。
  9. 　第２の方向への可視光の照射に対応して得られた可視光画像と、前記第２の方向よりも照射範囲が広くなる方向である第１の方向への赤外線の照射に対応して得られた赤外線画像とが入力され、
    　前記赤外線画像と前記可視光画像とを合成してカラー画像を生成する
    画像処理装置と、
    　前記第１の方向に赤外線を照射し、前記第２の方向に可視光を照射する照明装置と
    を備える移動体。
PCT/JP2018/048105 2018-03-30 2018-12-27 画像処理装置、画像処理方法、画像処理プログラムおよび移動体 WO2019187446A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/040,525 US11410337B2 (en) 2018-03-30 2018-12-27 Image processing device, image processing method and mobile body

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018068240 2018-03-30
JP2018-068240 2018-03-30

Publications (1)

Publication Number Publication Date
WO2019187446A1 true WO2019187446A1 (ja) 2019-10-03

Family

ID=68058095

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/048105 WO2019187446A1 (ja) 2018-03-30 2018-12-27 画像処理装置、画像処理方法、画像処理プログラムおよび移動体

Country Status (2)

Country Link
US (1) US11410337B2 (ja)
WO (1) WO2019187446A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022070943A1 (ja) * 2020-09-29 2022-04-07 コニカミノルタ株式会社 ガス可視化画像処理装置、ガス可視化画像処理方法、および、プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220024436A (ko) 2019-06-19 2022-03-03 일렉트로닉 헬스 레코드 데이터, 아이엔씨. 전자 건강 기록 데이터 블록체인 시스템
US11872929B2 (en) * 2020-01-14 2024-01-16 Qualcomm Incorporated Collaborative vehicle headlight directing
US11906124B2 (en) * 2021-06-08 2024-02-20 Apple Inc. Multiband adjustable lights

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015015580A1 (ja) * 2013-07-31 2015-02-05 日立マクセル株式会社 撮像装置、撮像方法並びに車載撮像システム
JP2016213628A (ja) * 2015-05-07 2016-12-15 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011155390A (ja) 2010-01-26 2011-08-11 Denso Corp 車載表示装置
WO2016182961A1 (en) * 2015-05-08 2016-11-17 Flir Systems, Inc. Isothermal image enhancement systems and methods
CN106780392B (zh) * 2016-12-27 2020-10-02 浙江大华技术股份有限公司 一种图像融合方法及装置
CN110136183B (zh) * 2018-02-09 2021-05-18 华为技术有限公司 一种图像处理的方法、装置以及摄像装置
CN110622496B (zh) * 2018-03-26 2021-05-14 深圳市大疆创新科技有限公司 图像融合方法、拍摄设备和可移动平台***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015015580A1 (ja) * 2013-07-31 2015-02-05 日立マクセル株式会社 撮像装置、撮像方法並びに車載撮像システム
JP2016213628A (ja) * 2015-05-07 2016-12-15 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022070943A1 (ja) * 2020-09-29 2022-04-07 コニカミノルタ株式会社 ガス可視化画像処理装置、ガス可視化画像処理方法、および、プログラム

Also Published As

Publication number Publication date
US11410337B2 (en) 2022-08-09
US20210004990A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
WO2019187446A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび移動体
US7015944B2 (en) Device for improving visibility in vehicles
US20060018513A1 (en) Stereo vehicle-exterior monitoring apparatus
WO2017022172A1 (ja) 車両用表示装置及び表示方法
JP2007142624A (ja) 車両搭載撮像装置
JP2008276328A (ja) 顔画像撮像装置
JP2013098169A (ja) スポットランプユニット、このスポットランプユニットが備えられたヘッドライトシステム、およびこれを利用した前方照明方法
US20190007595A1 (en) Light system for a motor vehicle
JP2008230364A (ja) 前照灯制御装置
JP2007158820A (ja) 撮影制御装置
JP4927647B2 (ja) 車両周辺監視装置
JP2012166652A (ja) 車両用前照灯の点灯制御装置、車両用前照灯システム
JP4824598B2 (ja) 車両用ランプシステム
JP4731177B2 (ja) 車両の赤外線撮影表示装置及び赤外線撮影表示方法
JP6935815B2 (ja) 照明撮像装置
WO2020262445A1 (ja) 灯具システム
JP2020029196A (ja) 車両用灯具システム、車両用灯具
JP4782491B2 (ja) 撮像装置
JP2013016981A (ja) 撮影表示制御システム
JP2009196547A (ja) 防眩装置
CN111660917A (zh) 车辆用前照灯的控制装置及控制方法、车辆用前照灯***
WO2022196296A1 (ja) 車両用灯具の制御装置、車両用灯具の制御方法、車両用灯具システム
JP2014216087A (ja) 灯具
JP2013043617A (ja) 車両用前照灯の点灯制御装置、車両用前照灯システム
WO2022220187A1 (ja) 車両用灯具システム、配光制御装置および配光制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18912757

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18912757

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP