WO2021015208A1 - アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具 - Google Patents
アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具 Download PDFInfo
- Publication number
- WO2021015208A1 WO2021015208A1 PCT/JP2020/028325 JP2020028325W WO2021015208A1 WO 2021015208 A1 WO2021015208 A1 WO 2021015208A1 JP 2020028325 W JP2020028325 W JP 2020028325W WO 2021015208 A1 WO2021015208 A1 WO 2021015208A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- wavelength
- sensor
- subject
- probe light
- camera
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/484—Transmitters
Definitions
- the present invention relates to an active sensor.
- An object identification system that senses the position and type of objects existing around the vehicle is used for automatic driving and automatic control of the light distribution of headlamps.
- the object identification system includes a sensor and an arithmetic processing unit that analyzes the output of the sensor.
- the sensor is selected from cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter-wave radar, ultrasonic sonar, etc. in consideration of application, required accuracy, and cost.
- Depth information cannot be obtained from a general monocular camera. Therefore, when a plurality of objects located at different distances overlap, it is difficult to separate them.
- the TOF camera is known as a camera that can obtain depth information.
- a TOF (TimeOfFlight) camera emits infrared light with a light emitting device, measures the flight time until the reflected light returns to the image sensor, and obtains an image obtained by converting the flight time into distance information. is there.
- the applicant has proposed a sensor (hereinafter referred to as a gating camera in the present specification) as an alternative to the TOF camera (Patent Documents 1 and 2).
- the gating camera divides the shooting range into a plurality of ranges, changes the exposure timing and the exposure time for each range, and captures images a plurality of times. As a result, images are obtained for each target range, and each image contains only objects included in the corresponding range.
- the present inventor initially considered using near infrared light having a wavelength of around 800 nm as the probe light of the gating camera.
- Image sensors such as general CMOS sensors and CCD cameras have a sensitivity of 800 nm, so images can be acquired with a simple configuration.
- 800 nm near infrared rays are also included in daytime sunlight. Therefore, when 800 nm probe light is used, the use of the gating camera is limited to nighttime.
- LiDAR can be used for daytime photography even if near infrared rays or visible light is used as the probe light. This is due to the fact that it is possible to scan and photograph a spot of laser light having a higher intensity than ambient light, instead of photographing the entire object at once.
- An aspect of the present invention has been made in such a situation, and one of its exemplary purposes is to provide an active sensor that can be used day and night.
- Another aspect of the present invention has been made in view of the above problem, and one of its exemplary purposes is to address at least one problem due to the dependence of the brightness of the subject on the position of the depth direction in the sliced image.
- the solution is to provide a gating camera.
- the active sensor includes a lighting device that irradiates an infrared probe light, a sensor, and a controller that controls the irradiation of the probe light by the lighting device and the detection timing by the sensor.
- the wavelength of the probe light is included in the wavelength range of the dip included in the spectrum of sunlight on the surface of the earth.
- One aspect of the present invention relates to a gating camera that divides a plurality of ranges in the depth direction and generates a plurality of slice images corresponding to the plurality of ranges.
- the gating camera straddles an illumination device that irradiates probe light, an image sensor, a controller that controls the irradiation of probe light by the illumination device, and the exposure timing by the image sensor, and two adjacent slice images.
- the subject is set as a correction target, and an image processing unit for correcting the subject to be corrected is provided.
- an active sensor that can be used day and night. Further, according to an aspect, at least one of the problems caused by the dependence of the brightness of the subject on the position in the depth direction in the sliced image can be solved.
- FIG. It is a block diagram of the object identification system including the gating camera which concerns on Embodiment 1.
- FIG. It is a figure explaining the operation of a gating camera.
- 3 (a) and 3 (b) are diagrams illustrating slice images obtained by a gating camera. It is a figure which shows the spectrum of sunlight.
- 5 (a) and 5 (b) are diagrams showing a configuration example of a camera.
- 8 (a) and 8 (b) are diagrams for explaining an image obtained by a gating camera. It is a figure which shows the sensitivity characteristic in the depth direction of a gating camera.
- 10 (a) and 10 (b) are diagrams illustrating slice images obtained by a gating camera.
- 11 (a) to 11 (d) are diagrams for explaining the correction methods 1 to 3.
- 12 (a) to 12 (d) are diagrams for explaining the correction method 4. It is a figure which shows the lamp for the vehicle which built in the gating camera. It is a block diagram which shows the lighting equipment for a vehicle provided with an object detection system.
- the active sensor includes a lighting device that irradiates an infrared probe light, a sensor, and a controller that controls the irradiation of the probe light by the lighting device and the detection timing by the sensor.
- the wavelength of the probe light is included in the wavelength range of the dip included in the spectrum of sunlight on the surface of the earth.
- the light emitted by sunlight contains spectral components ranging from ultraviolet rays of 300 nm to around 3000 nm, but some of the spectral components are absorbed and scattered by substances in the atmosphere, so they do not reach the surface of the earth. Therefore, the spectrum of sunlight observed on the surface of the earth has a dip at a specific wavelength. In one embodiment, by using the wavelength of this dip as probe light, sensing can be performed even in the daytime without being affected by ambient light.
- the sensor may be an imaging device, and the active sensor may be a gating camera that divides the depth direction into a plurality of ranges and generates a plurality of slice images corresponding to the plurality of ranges.
- the sensor may include an image sensor, a bandpass filter that transmits the wavelength of the probe light, and a wavelength conversion element that converts the transmitted light of the bandpass filter into a wavelength having high sensitivity of the image sensor. This eliminates the need to match the sensitivity wavelength of the image sensor with the wavelength of the probe light. As a result, there are many choices when selecting the light source of the image sensor and the lighting device from commercially available products, or when designing them independently, the degree of freedom in design can be significantly increased. Since the total detection sensitivity of the active sensor is determined by the product of the wavelength conversion efficiency and the light receiving sensitivity of the image sensor, it is possible to increase the total detection sensitivity by optimally designing each of the wavelength conversion element and the image sensor. Become.
- the wavelength of the probe light may be the absorption wavelength of water molecules in the vicinity of 940 nm.
- the wavelength of the probe light may be the absorption wavelength of water molecules in the vicinity of 1120 nm.
- the gating camera straddles an illumination device that irradiates probe light, an image sensor, a controller that controls the irradiation of probe light by the illumination device, and the exposure timing by the image sensor, and two adjacent slice images.
- an illumination device that irradiates probe light
- an image sensor that controls the irradiation of probe light by the illumination device, and the exposure timing by the image sensor, and two adjacent slice images.
- the subject is set as a correction target, and an image processing unit for correcting the subject to be corrected is provided.
- the pixel values of the subjects to be corrected for each of the two adjacent sliced images may be combined.
- a predetermined coefficient may be multiplied by the pixel value of the subject to be corrected.
- FIG. 1 is a block diagram of an object identification system 10 including the gating camera 20 according to the first embodiment.
- This object identification system 10 is mounted on a vehicle such as an automobile or a motorcycle, and determines the type (also referred to as a category or class) of an object OBJ existing around the vehicle.
- the object identification system 10 mainly includes a gating camera 20 and an arithmetic processing unit 40.
- the gating camera 20 divides a plurality of N (N ⁇ 2) ranges RNG 1 to RNG N in the depth direction and performs imaging. Adjacent ranges may overlap in the depth direction at their boundaries.
- the gating camera 20 includes a lighting device 22, a camera 24, and a controller 26.
- the lighting device 22 irradiates the probe light L1 to the front of the vehicle in synchronization with the projection timing signal S1 given from the controller 26.
- the probe light L1 is preferably infrared light.
- the camera 24 is configured to be capable of exposure control synchronized with the shooting timing signal S2 given from the controller 26 and to be able to generate a slice image IMG.
- the camera 24 has sensitivity to the same wavelength as the probe light L1, and photographs the reflected light (return light) L2 reflected by the object OBJ.
- the controller 26 holds a predetermined light projection timing and exposure timing for each range RNG.
- the controller 26 When a certain range RNG i is photographed, the controller 26 generates a projection timing signal S1 and an imaging timing signal S2 based on the projection timing and the exposure timing corresponding to the range, and performs imaging.
- the gating camera 20 can generate a plurality of slice images IMG 1 to IMG N corresponding to a plurality of ranges RNG 1 to RNG N , and the i-th slice image IMG i is included in the corresponding range RNG i . Only the objects to be captured will be captured.
- FIG. 2 is a diagram illustrating the operation of the gating camera 20.
- FIG. 2 shows a state when the i-th range RNG i is measured.
- the lighting device 22 emits light during the light emission period ⁇ 1 between the times t 0 and t 1 in synchronization with the light projection timing signal S1.
- a diagram of rays with time on the horizontal axis and distance on the vertical axis is shown. From gating camera 20, the distance d MINi up before the boundary of the range RNG i, the distance to the far side of the boundary of the range RNG i and d MAXi.
- T MINI 2 ⁇ d MINI / c Is. c is the speed of light.
- TMAXi 2 ⁇ d MAXi / c Is.
- the controller 26 may repeat the above-mentioned exposure operation a plurality of times in a predetermined period ⁇ 2 .
- the slice image actually taken includes an object included in a narrow region (indicated by p in FIG. 2) in front of the distance d MINI .
- the image is reflected with a relatively lower exposure than the object included in the range RNG i .
- an object included in a narrow region (indicated by q in FIG. 2) behind the distance d MAXi is also reflected with a relatively low exposure.
- FIG. 3 (a) and 3 (b) are diagrams illustrating slice images obtained by the gating camera 20.
- the object to the range RNG 2 (pedestrian) OBJ 2 are present, there is an object (vehicle) OBJ 3 to the range RNG 3.
- FIG. 3 (b) shows a plurality of slice images IMG 1 to IMG 3 obtained in the situation of FIG. 3 (a).
- the image sensor is exposed only by the reflected light from the range RNG 1, so that no object image is captured in the slice image IMG 1 .
- the image sensor When the slice image IMG 2 is photographed, the image sensor is exposed only by the reflected light from the range RNG 2, so that only the object image OBJ 2 is captured in the slice image IMG 2 . Similarly, when the slice image IMG 3 is photographed, the image sensor is exposed only by the reflected light from the range RNG 3, so that only the object image OBJ 3 is captured in the slice image IMG 3 . In this way, according to the gating camera 20, it is possible to separate and shoot an object for each range.
- the arithmetic processing unit 40 is configured to be able to identify the type of the object based on the plurality of slice images IMG 1 to IMG N corresponding to the plurality of ranges RNG 1 to RNG N obtained by the gating camera 20.
- the arithmetic processing unit 40 includes a classifier 42 that is implemented based on a prediction model generated by machine learning.
- the algorithm of the classifier 42 is not particularly limited, but YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN. , DSSD (Deconvolution -SSD), Mask R-CNN, etc. can be adopted, or algorithms developed in the future can be adopted.
- the arithmetic processing unit 40 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
- a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer
- the arithmetic processing unit 40 may be a combination of a plurality of processors. Alternatively, the arithmetic processing unit 40 may be configured only by hardware.
- FIG. 4 is a diagram showing the spectrum of sunlight.
- FIG. 4 shows a spectrum (i) outside the atmosphere and a spectrum (ii) near the surface of the earth. Outside the atmosphere, a blackbody radiation spectrum with a temperature of about 5800 K is observed, and its wavelength range extends from the ultraviolet of 300 nm to around 3000 nm. Some of the spectral components of sunlight do not reach the surface of the earth because they are absorbed and scattered by substances in the atmosphere. Therefore, the spectrum (ii) of sunlight observed on the surface of the earth has dips ( ⁇ 1, ⁇ 2, ⁇ 3 ...) At specific wavelengths.
- All of ⁇ 1, ⁇ 2, and ⁇ 3 correspond to the absorption wavelength of water, and ⁇ 1 ⁇ 940 nm, ⁇ 2 ⁇ 1120 nm, and ⁇ 3 ⁇ 1820 nm.
- the wavelength ⁇ p of the probe light L1 is included in any of the wavelength ranges ⁇ 1, ⁇ 2, and ⁇ 3 of the dip included in the spectrum of sunlight on the ground surface.
- the camera 24 of FIG. 5A includes a lens 50, a bandpass filter 52, and an image sensor 54.
- the lens 50 forms an image on the imaging surface of the image sensor 54.
- the bandpass filter 52 transmits the wavelength of the probe light ⁇ p and removes other wavelengths.
- the image sensor 54 has sensitivity to the wavelength ⁇ p and images the light transmitted through the bandpass filter 52.
- CMOS sensors and CCD cameras are generally equipped with an infrared filter (IR), and can generate an image when the wavelength ⁇ p of the probe light L1 is infrared. Can not. Therefore, when adopting the configuration of FIG. 5A, it is necessary to adopt an image sensor from which the infrared filter has been removed.
- IR infrared filter
- the image sensor 54 has no sensitivity to the wavelength ⁇ p, for example, a wavelength ⁇ c different from ⁇ p.
- ⁇ c is not particularly limited, but may be a visible region.
- the camera 24 further includes a wavelength conversion element 56 in front of the image sensor 54, and the wavelength conversion element 56 converts the light transmitted through the bandpass filter 52 into the wavelength ⁇ c.
- the material of the wavelength conversion element 56 is not particularly limited, and may be selected based on the relationship between ⁇ p and ⁇ c. When ⁇ c> ⁇ p, the up-conversion element is selected.
- the total detection sensitivity is determined by the product of the wavelength conversion efficiency and the light receiving sensitivity of the image sensor. Therefore, by optimally designing each of the wavelength conversion element and the image sensor, In some cases, the total detection sensitivity can be increased as compared with the camera 24 of FIG. 5A.
- the above is the configuration of the gating camera 20.
- the gating camera 20 by matching the wavelength of the probe light L1 with a wavelength that is not easily affected by sunlight, sensing can be performed even in the daytime without being affected by ambient light.
- FIG. 6 is a block diagram of the gating camera 20 according to the second embodiment.
- the gating camera 20 performs imaging by dividing into a plurality of N (N ⁇ 2) ranges RNG 1 to RNG N in the depth direction.
- the gating camera 20 includes a lighting device 22, an image sensor 24, a controller 26, and an image processing unit 28.
- the lighting device 22 irradiates the probe light L1 to the front of the vehicle in synchronization with the projection timing signal S1 given from the controller 26.
- the probe light L1 is preferably infrared light, but is not limited to this, and may be visible light having a predetermined wavelength.
- the image sensor 24 is configured to be capable of exposure control synchronized with the shooting timing signal S2 given from the controller 26 and to be able to generate a slice image IMG.
- the image sensor 24 has sensitivity to the same wavelength as the probe light L1, and photographs the reflected light (return light) L2 reflected by the object OBJ.
- the controller 26 holds a predetermined light projection timing and exposure timing for each range RNG.
- the controller 26 When a certain range RNG i is photographed, the controller 26 generates a projection timing signal S1 and an imaging timing signal S2 based on the projection timing and the exposure timing corresponding to the range, and performs imaging.
- the gating camera 20 can generate a plurality of slice images IMG 1 to IMG N corresponding to a plurality of ranges RNG 1 to RNG N.
- the i-th slice image IMG i shows an object included in the corresponding range RNG i .
- FIG. 7 is a diagram illustrating the operation of the gating camera 20.
- FIG. 7 shows a state when the i-th range RNG i is measured.
- the lighting device 22 emits light during the light emission period ⁇ 1 between the times t 0 and t 1 in synchronization with the light projection timing signal S1.
- a diagram of rays with time on the horizontal axis and distance on the vertical axis is shown. From gating camera 20, the distance d MINi up before the boundary of the range RNG i, the distance to the far side of the boundary of the range RNG i and d MAXi.
- T MINI 2 ⁇ d MINI / c Is. c is the speed of light.
- TMAXi 2 ⁇ d MAXi / c Is.
- a plurality of exposures may be repeated (multiple exposure).
- the controller 26 may repeat the above-mentioned exposure operation a plurality of times in a predetermined period ⁇ 2 .
- 8 (a) and 8 (b) are diagrams for explaining an image obtained by the gating camera 20.
- the object (pedestrian) on the range RNG 1 OBJ 1 is present, there is an object (vehicle) OBJ 3 to the range RNG 3.
- 8 (b) shows a plurality of slice images IMG 1 to IMG 3 obtained in the situation of FIG. 8 (a).
- the image sensor is exposed only by the reflected light from the range RNG 1, so that the slice image IMG 1 shows the object image OBJ 1 of the pedestrian OBJ 1 .
- the image sensor When capturing the sliced image IMG 2 , the image sensor is exposed by the reflected light from the range RNG 2 , and therefore no object image is captured in the sliced image IMG 2 .
- the image sensor is exposed by the reflected light from the range RNG 3, so that only the object image OBJ 3 is captured in the slice image IMG 3 .
- the gating camera 20 it is possible to separate and shoot an object for each range.
- the above is the basic operation of the gating camera 20.
- FIG. 9 is a diagram showing the sensitivity characteristics of the gating camera 20 in the depth direction.
- the horizontal axis represents the position of the object in the depth direction, and the vertical axis represents the detection intensity (that is, the pixel value) when an object having a certain reflectance is assumed.
- FIG. 10A is a diagram showing an exemplary shooting scene.
- d MINi the i th range RNG i is, i-1 th range RNG i-1 consistent with d MAXi-1 '
- d MINi the i th range RNG i matches a d MAXi-1 of the (i-1) -th range RNG i-1
- i th range RNG i D MAXi may match d MINi + 1 in the i + 1th range RNG i + 1 .
- the shooting range RNG i ' contains three objects OBJ 1 ⁇ OBJ 3.
- OBJ 1 is a pedestrian facing forward, existing in the front range p i.
- the OBJ 2 is a front-facing vehicle and exists in the highly sensitive range RNG i .
- OBJ 3 is a pedestrian facing horizontal, present in the range q i sensitivity lower rear side.
- FIG. 10B is a diagram showing slice images IMG i-1 , IMG i , and IMG i + 1 obtained in the shooting scene of FIG. 10A. Here, it is assumed that the reflectances of all objects are equal. In FIG. 10B, dense hatching indicates bright pixels and coarse hatching indicates dark pixels.
- the object OBJ 2 appears bright in the slice image IMG i corresponding to the range RNG i .
- the objects OBJ 1 and OBJ 3 in the foreground and the back are darkened.
- the object OBJ 2 is emphasized, and the objects OBJ 1 and OBJ 3 are difficult to identify. Further, since the objects OBJ 1 and OBJ 3 are included in both of the two slice images, there arises a problem that their positions in the depth direction are unclear. These are due to the fact that the brightness of the subject in the sliced image has a dependence on the position in the depth direction.
- the gating camera 20 has a function of correcting the slice image IMG in order to solve such a problem.
- the image processing unit 28 sets the subject as a correction target, corrects the correction target subject, and outputs the corrected slice image IMG_CORR. ..
- the object OBJ 1 is included in the two adjacent slice images IMG i-1 and IMG i , it is a subject to be corrected.
- the object OBJ 3 is included in the two adjacent slice images IMG i and IMG i + 1 , it is a subject to be corrected.
- the object OBJ 2 is not a correction target because it is reflected in only one slice image IMG i .
- the image processing unit 28 selects a plurality of slice images IMG 1 to IMG N as inspection targets in order, detects a subject included in the slice image to be inspected, and the detected subject is a slice image before and after the slice image to be inspected. It may be determined whether or not it is included in.
- the above is the configuration of the gating camera 20.
- the subject is located near the boundary between the two adjacent ranges corresponding to the two adjacent slice images. Therefore, when such a subject is detected, at least one of the problems caused by the dependence of the brightness of the subject on the position in the depth direction in the sliced image can be solved by correcting the subject.
- 11 (a) to 11 (d) are diagrams for explaining the correction methods 1 to 3.
- the correction method 1 will be described with reference to FIGS. 11A and 11B.
- the correction target is the i-th slice image IMG i
- FIG. 11A shows the slice image IMG i to be corrected and the slice images IMG i-1 and IMG i + 1 before and after the correction target.
- FIG. 11B shows the corrected i-th slice image IMG_CORR i obtained by the correction method 1.
- the objects OBJ 1 , OBJ 2 , and OBJ 3 are rectangles of 2 ⁇ 2 pixels, 3 ⁇ 2 pixels, and 1 ⁇ 2 pixels, respectively, and pixel values are shown in the pixels.
- the pixel values of the subjects to be corrected of the two adjacent sliced image IMGs including the object OBJ k are combined.
- the pixels for each pixel constituting the object OBJ k of the slice image IMG i to be corrected The pixel value of the previous slice image IMG i-1 is combined with the value.
- the pixel value u'of the subject OBJ 1 of the sliced image IMG_CORR i after correction can be the sum (simple addition) of the pixel values u and v of the subject OBJ 1 in each of the IMG i and IMG i-1 .
- u' u + v
- Weighted addition may be used instead of simple addition.
- ⁇ and ⁇ are weighting coefficients.
- u' ⁇ u + ⁇ v
- the pixel value u'of the subject OBJ 1 of the corrected slice image IMG_CORR i is the combined value (sum) of the pixel values u and v of the subject OBJ 1 in each of the IMG i and IMG i-1 . ..
- the pixel value of the subject OBJ 3 of the corrected slice image IMG_CORR i becomes zero.
- the pixel value is maintained.
- the subject when the same subject is included in two consecutive sliced images, the subject is included only in the front (closer to the camera) range and in the back (farther from the camera) range. Is treated as not included.
- the subject OBJ 1 that appears dark in the original slice image IMG i can be corrected brightly. Therefore, when the corrected slice image is displayed on the display, the driver can easily recognize the subject.
- the identification rate can be improved when object recognition is performed by arithmetic processing.
- each subject is included in only one sliced image after correction, it becomes easy to specify the position of each subject.
- correction method 2 In the correction method 2, contrary to the correction method 1, when the same subject is included in two consecutive sliced images, the subject is included only in the range on the back side (far side from the camera) and is included in the front side (camera). It is not included in the range (closer to).
- Figure 11 (c) is a diagram showing a slice image IMG_CORR i 'after correction obtained by the correction method 2.
- the pixel value u of the subject included in a certain slice image IMG i is corrected by using the pixel value w of the slice image on the back side of the pixel value u.
- Weighted addition may be used instead of simple addition.
- ⁇ and ⁇ are weighting coefficients.
- u' ⁇ u + ⁇ w
- the pixel value u'of the subject OBJ 3 of the corrected slice image IMG_CORR i is a composite value (simple sum) of the pixel values u and w of the subject OBJ 3 in each of the IMG i and IMG i-1. There is.
- correction method 3 when the same subject is included in two consecutive sliced images, the subject is included in both the back side (far side from the camera) range and the front side (closer side to the camera) range. It shall be.
- FIG. 11D is a diagram showing a corrected slice image IMG_CORR i ”obtained by the correction method 3.
- the pixel values of the slice image IMG i to be corrected and the subject (OBJ 1 in this example) included in the slice image IMG i-1 in front of the slice image IMG i are corrected as follows.
- u' f (u, v)
- the subjects OBJ 1 and OBJ 3 that appear dark in the original slice image IMG i can be corrected brightly. Therefore, when the corrected slice image is displayed on the display, the driver can easily recognize the subject.
- the identification rate can be improved when object recognition is performed by arithmetic processing.
- (Correction method 4) 12 (a) to 12 (d) are diagrams for explaining the correction method 4.
- a predetermined coefficient is multiplied by the pixel value u of the subject to be corrected.
- FIG. 13 is a diagram showing a vehicle lamp 200 having a built-in gating camera 20.
- the vehicle lamp 200 includes a housing 210, an outer lens 220, a high beam and low beam lamp unit 230H / 230L, and a gating camera 20.
- the lamp unit 230H / 230L and the gating camera 20 are housed in the housing 210.
- a part of the gating camera 20, for example, the camera 24 may be installed outside the vehicle lamp 200, for example, behind the rearview mirror.
- FIG. 14 is a block diagram showing a vehicle lamp 200 including the object identification system 10.
- the vehicle lamp 200 constitutes a lamp system 310 together with the vehicle side ECU 304.
- the vehicle lamp 200 includes a light source 202, a lighting circuit 204, and an optical system 206. Further, the vehicle lamp 200 is provided with an object identification system 10.
- the object identification system 10 includes a gating camera 20 and an arithmetic processing unit 40.
- the arithmetic processing unit 40 is configured to be able to identify the type of the object based on the plurality of slice images IMG 1 to IMG N corresponding to the plurality of ranges RNG 1 to RNG N obtained by the gating camera 20.
- the arithmetic processing unit 40 includes a classifier implemented based on a prediction model generated by machine learning.
- the algorithm of the classifier is not particularly limited, but YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN, DSSD (Deconvolution -SSD), Mask R-CNN, etc. can be adopted, or algorithms developed in the future can be adopted.
- the arithmetic processing unit 40 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
- a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer
- the arithmetic processing unit 40 may be a combination of a plurality of processors. Alternatively, the arithmetic processing unit 40 may be configured only by hardware.
- the information about the object OBJ detected by the arithmetic processing unit 40 may be used for the light distribution control of the vehicle lamp 200.
- the lamp side ECU 208 generates an appropriate light distribution pattern based on the information regarding the type of the object OBJ generated by the arithmetic processing unit 40 and its position.
- the lighting circuit 204 and the optical system 206 operate so as to obtain the light distribution pattern generated by the lamp side ECU 208.
- the information about the object OBJ detected by the arithmetic processing unit 40 may be transmitted to the vehicle side ECU 304.
- the vehicle-side ECU may perform automatic driving based on this information.
- Modification example 1 In the configuration of the camera 24 of FIG. 5B, an infrared camera may be used as the image sensor 54, and the sensitivity wavelength ⁇ c of the image sensor 54 may be longer than the wavelength of the probe light ⁇ c.
- the down conversion element may be selected as the wavelength conversion element 56.
- Modification 2 Although the gating camera has been described as the active sensor in the first embodiment, the application of the present invention is not limited to this.
- the present invention can be applied to a normal active infrared sensor or a TOF camera that collectively captures all ranges without dividing in the depth direction.
- the present invention can also be applied to a quantum radar (quantum camera) based on correlation calculation using the theory of computer ghost imaging.
- a quantum radar quantum camera
- a single pixel photodetector is used instead of the camera 24.
- the present invention relates to an active sensor.
- Object identification system 20 Gating camera 22 Lighting device 24 Image sensor 26 Controller S1 Flooding timing signal S2 Shooting timing signal 40 Arithmetic processing device 42 Classifier 50 Lens 52 Band pass filter 54 Image sensor 56 Wavelength conversion element 200 Vehicle lighting equipment 202 Light source 204 Lighting circuit 206 Optical system 310 Lighting system 304 Vehicle side ECU
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Mechanical Engineering (AREA)
- Studio Devices (AREA)
Abstract
照明装置22は、赤外のプローブ光L1を照射する。コントローラ26は、照明装置22によるプローブ光L1の照射と、センサ24による検出のタイミングを制御する。プローブ光L1の波長は、地表における太陽光のスペクトルに含まれるディップの波長と一致している。
Description
本発明は、アクティブセンサに関する。
自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
一般的な単眼のカメラからは、奥行きの情報を得ることができない。したがって、異なる距離に位置する複数の物体が重なっている場合に、それらを分離することが難しい。
奥行き情報が得られるカメラとして、TOFカメラが知られている。TOF(Time Of Flight)カメラは、発光デバイスによって赤外光を投光し、反射光がイメージセンサに戻ってくるまでの飛行時間を測定し、飛行時間を距離情報に変換した画像を得るものである。
本出願人は、TOFカメラに代わるセンサ(以下、本明細書においてゲーティングカメラと称する)を提案している(特許文献1,2)。ゲーティングカメラは、撮影範囲を複数のレンジに区切り、レンジごとに露光タイミングおよび露光時間を変化させて複数回、撮像する。これにより、対象のレンジごとに画像が得られ、各画像は対応するレンジに含まれる物体のみを含む。
課題1. 本発明者は、当初、ゲーティングカメラのプローブ光として、波長800nm付近の近赤外を利用することを検討した。一般的なCMOSセンサやCCDカメラなどのイメージセンサは、800nmに感度を有するため、簡単な構成で、画像を取得することができる。
ところが800nmの近赤外線は昼間の太陽光にも含まれている。したがって800nmのプローブ光を用いた場合、ゲーティングカメラの使用が夜間に限定される。
なおLiDARは、プローブ光として近赤外線や可視光を用いても、昼間の撮影が可能である。これは、物体全体を一度に撮影するのではなく、環境光よりも高強度なレーザ光のスポットをスキャンして撮影することができることに起因する。
なお、この問題はゲーティングカメラに限定されず、広範囲にプローブ光を照射する必要があるその他のアクティブセンサにもあてはまる。
本発明のある態様は、係る状況においてなされたものであり、その例示的な目的のひとつは、昼夜を問わずに利用可能なアクティブセンサの提供にある。
課題2. あるレンジに着目したときに、そのレンジのスライス画像には、奥行き方向について、手前側あるいは奥側の境界に近い距離に位置する物体は、中央に位置する物体に比べて、暗く写ることとなる。また奥行き方向に長い1個の物体を撮影した場合に、その物体の一部分が暗く写る可能性がある。
このようなスライス画像をディスプレイにそのまま表示すると、ユーザは物体を認識しにくくなる。あるいはスライス画像を対象として物体認識を行った場合、暗く写る物体の識別率が低下する場合もある。
本発明の別の態様は係る課題に鑑みてなされたものであり、その例示的な目的のひとつは、スライス画像における被写体の明るさの奥行き方向の位置に対する依存性に起因する問題のすくなくともひとつを解決可能なゲーティングカメラの提供にある。
1. 本発明のある態様は、アクティブセンサに関する。アクティブセンサは、赤外のプローブ光を照射する照明装置と、センサと、照明装置によるプローブ光の照射と、センサによる検出のタイミングを制御するコントローラと、を備える。プローブ光の波長は、地表における太陽光のスペクトルに含まれるディップの波長範囲に含まれる。
2. 本発明のある態様は、奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラに関する。ゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、照明装置によるプローブ光の照射と、イメージセンサによる露光のタイミングを制御するコントローラと、隣接する二枚のスライス画像に跨がって含まれる被写体が存在する場合、当該被写体を補正対象とし、補正対象の被写体を補正する画像処理部と、を備える。
本発明のある態様によれば、昼夜を問わず利用可能なアクティブセンサを提供できる。またある態様によれば、スライス画像における被写体の明るさの奥行き方向の位置に対する依存性に起因する問題のすくなくともひとつを解決できる。
(実施形態の概要)
本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、1つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態(実施例や変形例)または複数の実施形態(実施例や変形例)を指すものとして用いる場合がある。
本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、1つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態(実施例や変形例)または複数の実施形態(実施例や変形例)を指すものとして用いる場合がある。
1. 本明細書に開示される一実施形態は、アクティブセンサに関する。アクティブセンサは、赤外のプローブ光を照射する照明装置と、センサと、照明装置によるプローブ光の照射と、センサによる検出のタイミングを制御するコントローラと、を備える。プローブ光の波長は、地表における太陽光のスペクトルに含まれるディップの波長範囲に含まれる。
太陽光が放射する光は、300nmの紫外から3000nm付近にわたるスペクトル成分を含んでいるが、そのスペクトル成分の一部は、大気中の物質によって吸収、散乱されるため地表には到達しない。したがって地表で観測される太陽光のスペクトルは、特定の波長にディップを有する。一実施形態では、このディップの波長をプローブ光として利用することにより、昼間でも環境光の影響を受けずに、センシングが可能となる。
センサは撮像装置であり、アクティブセンサは、奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであってもよい。
センサは、イメージセンサと、プローブ光の波長を透過するバンドパスフィルタと、バンドパスフィルタの透過光を、イメージセンサの感度が高い波長に変換する波長変換素子と、を含んでもよい。これにより、イメージセンサの感度波長を、プローブ光の波長と一致させる必要がなくなる。これによりイメージセンサと照明装置の光源を市販品の中から選択する場合には選択肢が多くなり、あるいはそれらを独自に設計する場合には、設計の自由度を格段に高めることができる。アクティブセンサのトータルの検出感度は、波長変換の効率と、イメージセンサの受光感度の積で決まるため、波長変換素子とイメージセンサそれぞれを最適設計することにより、トータルの検出感度を高めることが可能となる。
プローブ光の波長は、940nm近傍の水分子の吸収波長であってもよい。プローブ光の波長は、1120nm近傍の水分子の吸収波長であってもよい。
2. 本明細書に開示される一実施形態は、ゲーティングカメラに関する。ゲーティングカメラは、プローブ光を照射する照明装置と、イメージセンサと、照明装置によるプローブ光の照射と、イメージセンサによる露光のタイミングを制御するコントローラと、隣接する二枚のスライス画像に跨がって含まれる被写体が存在する場合、当該被写体を補正対象とし、補正対象の被写体を補正する画像処理部と、を備える。
隣接する二枚のスライス画像に同じ被写体が写っている場合、その被写体は、隣接する二枚のスライス画像に対応する隣接する二個のレンジの境界の近傍に位置することが推定される。そこで、そのような被写体を検出すると、その被写体を補正することにより、スライス画像における被写体の明るさの奥行き方向の位置に対する依存性に起因する問題のすくなくともひとつを解決できる。
補正において、隣接する二枚のスライス画像それぞれの補正対象の被写体の画素値が合成されてもよい。
補正において、補正対象の被写体の画素値に所定の係数が乗算されてもよい。
以下、好適な実施形態について、図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
(実施形態1)
図1は、実施形態1に係るゲーティングカメラ20を備える物体識別システム10のブロック図である。この物体識別システム10は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体OBJの種類(カテゴリ、あるいはクラスともいう)を判定する。
図1は、実施形態1に係るゲーティングカメラ20を備える物体識別システム10のブロック図である。この物体識別システム10は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体OBJの種類(カテゴリ、あるいはクラスともいう)を判定する。
物体識別システム10は、主としてゲーティングカメラ20および演算処理装置40を備える。
ゲーティングカメラ20は、奥行き方向について複数N個(N≧2)のレンジRNG1~RNGNに区切って、撮像を行う。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
ゲーティングカメラ20は、照明装置22、カメラ24、コントローラ26を含む。
照明装置22は、コントローラ26から与えられる投光タイミング信号S1と同期して、プローブ光L1を車両前方に照射する。プローブ光L1は赤外光であることが好ましい。
カメラ24は、コントローラ26から与えられる撮影タイミング信号S2と同期した露光制御が可能であり、スライス画像IMGを生成可能に構成される。カメラ24は、プローブ光L1と同じ波長に感度を有しており、物体OBJが反射した反射光(戻り光)L2を撮影する。
コントローラ26は、レンジRNGごとに予め定められた投光タイミングと露光タイミングを保持している。コントローラ26は、あるレンジRNGiを撮影するとき、そのレンジに対応する投光タイミングと露光タイミングにもとづいて投光タイミング信号S1および撮影タイミング信号S2を生成し、撮影を行う。ゲーティングカメラ20は、複数のレンジRNG1~RNGNに対応する複数のスライス画像IMG1~IMGNを生成することができ、i番目のスライス画像IMGiには、対応するレンジRNGiに含まれる物体のみが写ることとなる。
図2は、ゲーティングカメラ20の動作を説明する図である。図2にはi番目のレンジRNGiを測定するときの様子が示される。照明装置22は、投光タイミング信号S1と同期して、時刻t0~t1の間の発光期間τ1の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ20から、レンジRNGiの手前の境界までの距離をdMINi、レンジRNGiの奥側の境界までの距離をdMAXiとする。
ある時刻に照明装置22を出発した光が、距離dMINiに到達してその反射光がカメラ24に戻ってくるまでのラウンドトリップ時間TMINiは、
TMINi=2×dMINi/c
である。cは光速である。
TMINi=2×dMINi/c
である。cは光速である。
同様に、ある時刻に照明装置22を出発した光が、距離dMAXiに到達してその反射光がカメラ24に戻ってくるまでのラウンドトリップ時間TMAXiは、
TMAXi=2×dMAXi/c
である。
TMAXi=2×dMAXi/c
である。
レンジRNGiに含まれる物体OBJのみを撮影したいとき、コントローラ26は、時刻t2=t0+TMINiに露光を開始し、時刻t3=t1+TMAXiに露光を終了するように、撮影タイミング信号S2を生成する。これが1回の露光動作である。
i番目のレンジRNGiを撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ26は、所定の周期τ2で、上述の露光動作を複数回にわたり繰り返せばよい。
なお、図2の制御タイミングt0~t3を与えたときに、実際に撮影されるスライス画像には、距離dMINiより手前の狭い領域(図2にpで示す)に含まれる物体が、レンジRNGiに含まれる物体よりも相対的に低い露出で写り込む。同様に距離dMAXiより奥側の狭い領域(図2にqで示す)に含まれる物体も、相対的に低い露出で写り込む。
図3(a)、(b)は、ゲーティングカメラ20により得られるスライス画像を説明する図である。図3(a)の例では、レンジRNG2に物体(歩行者)OBJ2が存在し、レンジRNG3に物体(車両)OBJ3が存在している。図3(b)には、図3(a)の状況で得られる複数のスライス画像IMG1~IMG3が示される。スライス画像IMG1を撮影するとき、イメージセンサはレンジRNG1からの反射光のみにより露光されるため、スライス画像IMG1にはいかなる物体像も写らない。
スライス画像IMG2を撮影するとき、イメージセンサはレンジRNG2からの反射光のみにより露光されるため、スライス画像IMG2には、物体像OBJ2のみが写る。同様にスライス画像IMG3を撮影するとき、イメージセンサはレンジRNG3からの反射光のみにより露光されるため、スライス画像IMG3には、物体像OBJ3のみが写る。このようにゲーティングカメラ20によれば、レンジ毎に物体を分離して撮影することができる。
図1に戻る。演算処理装置40は、ゲーティングカメラ20によって得られる複数のレンジRNG1~RNGNに対応する複数のスライス画像IMG1~IMGNにもとづいて、物体の種類を識別可能に構成される。演算処理装置40は、機械学習によって生成された予測モデルにもとづいて実装される分類器42を備える。分類器42のアルゴリズムは特に限定されないが、YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)、R-CNN(Region-based Convolutional Neural Network)、SPPnet(Spatial Pyramid Pooling)、Faster R-CNN、DSSD(Deconvolution -SSD)、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
演算処理装置40は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、マイコンなどのプロセッサ(ハードウェア)と、プロセッサ(ハードウェア)が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置40は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置40はハードウェアのみで構成してもよい。
以上が物体識別システム10の基本構成である。続いてゲーティングカメラ20のさらなる特徴について説明する。
図4は、太陽光のスペクトルを示す図である。図4には、大気圏外でのスペクトル(i)と、地表付近でのスペクトル(ii)が示される。大気圏外では、温度約5800Kの黒体放射スペクトルが観測され、その波長域は、300nmの紫外から3000nm付近にわたる。太陽光のスペクトル成分の一部は、大気中の物質によって吸収、散乱されるため地表には到達しない。したがって地表で観測される太陽光のスペクトル(ii)は、特定の波長にディップ(λ1,λ2,λ3…)を有する。λ1,λ2,λ3はいずれも、水の吸収波長に対応し、λ1≒940nm、λ2≒1120nm、λ3≒1820nmである。ディップの波長帯域は、λ1=930nm~960nm、λ2=1110nm~1160nm、λ3=1750nm~2000nmである。
本実施形態では、プローブ光L1の波長λpは、地表における太陽光のスペクトルに含まれるディップの波長範囲λ1,λ2,λ3のいずれかに含まれている。プローブ光L1の波長λpは、(i)照明装置22の光源の入手性や特性、(ii)カメラ24による検出効率、(iii)太陽光以外の環境光のスペクトルを考慮して選べばよい。この観点から、λ1=940nmを選ぶことが好ましい。
図5(a)、(b)は、カメラ24の構成例を示す図である。図5(a)のカメラ24は、レンズ50、バンドパスフィルタ52、イメージセンサ54を備える。レンズ50は、像をイメージセンサ54の撮像面上に結像する。バンドパスフィルタ52は、プローブ光λpの波長を透過し、それ以外の波長を除去する。イメージセンサ54は、波長λpに感度を有しており、バンドパスフィルタ52を透過した光を画像化する。
一般的に市販されるCMOSセンサやCCDカメラは、赤外線フィルタ(IR)が取り付けられているのが一般的であり、プローブ光L1の波長λpを赤外とした場合に、画像を生成することができない。したがって図5(a)の構成を採用する場合、赤外線フィルタを取り除いたイメージセンサを採用する必要がある。
図5(b)のカメラ24において、イメージセンサ54は、波長λpに感度を有さず、たとえばλpとは異なる波長λcに感度を有する。λcは特に限定されないが、可視域としてもよい。カメラ24は、イメージセンサ54の手前に波長変換素子56をさらに備えており、波長変換素子56は、バンドパスフィルタ52を透過した光を、波長λcに変換する。波長変換素子56の材料は特に限定されず、λpとλcの関係にもとづいて選択すればよい。λc>λpであるとき、アップコンバージョン素子が選択される。
図5(b)のカメラ24によれば、λpとλcを一致させる必要がない。イメージセンサ54と照明装置22の光源を市販品の中から選択する場合には選択肢が多くなる。あるいはそれらを独自に設計する場合には、設計の自由度を格段に高めることができる。
図5(b)のカメラ24を採用する場合、トータルの検出感度は、波長変換の効率と、イメージセンサの受光感度の積で決まるため、波長変換素子とイメージセンサそれぞれを最適設計することにより、図5(a)のカメラ24に比べて、トータルの検出感度を高めることが可能な場合もある。
以上がゲーティングカメラ20の構成である。このゲーティングカメラ20によれば、プローブ光L1の波長を、太陽光の影響を受けにくい波長と一致させることにより、昼間でも環境光の影響を受けずに、センシングが可能となる。
(実施形態2)
図6は、実施形態2に係るゲーティングカメラ20のブロック図である。ゲーティングカメラ20は、奥行き方向について複数N個(N≧2)のレンジRNG1~RNGNに区切って撮像を行う。
図6は、実施形態2に係るゲーティングカメラ20のブロック図である。ゲーティングカメラ20は、奥行き方向について複数N個(N≧2)のレンジRNG1~RNGNに区切って撮像を行う。
ゲーティングカメラ20は、照明装置22、イメージセンサ24、コントローラ26、画像処理部28を備える。
照明装置22は、コントローラ26から与えられる投光タイミング信号S1と同期して、プローブ光L1を車両前方に照射する。プローブ光L1は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
イメージセンサ24は、コントローラ26から与えられる撮影タイミング信号S2と同期した露光制御が可能であり、スライス画像IMGを生成可能に構成される。イメージセンサ24は、プローブ光L1と同じ波長に感度を有しており、物体OBJが反射した反射光(戻り光)L2を撮影する。
コントローラ26は、レンジRNGごとに予め定められた投光タイミングと露光タイミングを保持している。コントローラ26は、あるレンジRNGiを撮影するとき、そのレンジに対応する投光タイミングと露光タイミングにもとづいて投光タイミング信号S1および撮影タイミング信号S2を生成し、撮影を行う。ゲーティングカメラ20は、複数のレンジRNG1~RNGNに対応する複数のスライス画像IMG1~IMGNを生成することができる。i番目のスライス画像IMGiには、対応するレンジRNGiに含まれる物体が写ることとなる。
図7は、ゲーティングカメラ20の動作を説明する図である。図7にはi番目のレンジRNGiを測定するときの様子が示される。照明装置22は、投光タイミング信号S1と同期して、時刻t0~t1の間の発光期間τ1の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ20から、レンジRNGiの手前の境界までの距離をdMINi、レンジRNGiの奥側の境界までの距離をdMAXiとする。
ある時刻に照明装置22を出発した光が、距離dMINiに到達してその反射光がイメージセンサ24に戻ってくるまでのラウンドトリップ時間TMINiは、
TMINi=2×dMINi/c
である。cは光速である。
TMINi=2×dMINi/c
である。cは光速である。
同様に、ある時刻に照明装置22を出発した光が、距離dMAXiに到達してその反射光がイメージセンサ24に戻ってくるまでのラウンドトリップ時間TMAXiは、
TMAXi=2×dMAXi/c
である。
TMAXi=2×dMAXi/c
である。
レンジRNGiに含まれる物体OBJを撮影したいとき、コントローラ26は、時刻t2=t0+TMINiに露光を開始し、時刻t3=t1+TMAXiに露光を終了するように、撮影タイミング信号S2を生成する。これが1回の露光動作である。
i番目のレンジRNGiを撮影する際に、複数回の露光を繰り返し行ってもよい(多重露光)。この場合、コントローラ26は、所定の周期τ2で、上述の露光動作を複数回にわたり繰り返せばよい。
図8(a)、(b)は、ゲーティングカメラ20により得られる画像を説明する図である。図8(a)の例では、レンジRNG1に物体(歩行者)OBJ1が存在し、レンジRNG3に物体(車両)OBJ3が存在している。図8(b)には、図8(a)の状況で得られる複数のスライス画像IMG1~IMG3が示される。スライス画像IMG1を撮影するとき、イメージセンサはレンジRNG1からの反射光のみにより露光されるため、スライス画像IMG1には、歩行者OBJ1の物体像OBJ1が写る。
スライス画像IMG2を撮影するとき、イメージセンサはレンジRNG2からの反射光により露光され、したがってスライス画像IMG2には、いかなる物体像も写らない。
同様にスライス画像IMG3を撮影するとき、イメージセンサはレンジRNG3からの反射光により露光されるため、スライス画像IMG3には、物体像OBJ3のみが写る。このようにゲーティングカメラ20によれば、レンジ毎に物体を分離して撮影することができる。
以上がゲーティングカメラ20の基本動作である。
続いてゲーティングカメラ20の感度特性と、それに起因する問題点を説明する。
図7に戻る。とある制御タイミングt0~t3を与えたときに、実際に撮影されるスライス画像IMGiには、距離dMINiより手前の領域(図7にpで示す)に含まれる物体が、レンジRNGiに含まれる物体よりも相対的に低い露出で写り込む。同様に距離dMAXiより奥側の領域(図7にqで示す)に含まれる物体も、相対的に低い露出で写り込む。したがって、レンジRNGiに、その前後の範囲p,qを加えた範囲が、実効的な撮影レンジRNG’iとなる。実効的な撮影レンジの境界をdMIN’,dMAX’と表記する。
図9は、ゲーティングカメラ20の奥行き方向の感度特性を示す図である。横軸は奥行き方向の物体の位置を表し、縦軸はある反射率の物体を仮定したときの検出強度(すなわち画素値)を表す。
図10(a)、(b)は、ゲーティングカメラ20により得られるスライス画像を説明する図である。図10(a)は、例示的な撮影シーンを示す図である。この例では、i番目のレンジRNGiのdMINiが、i-1番目のレンジRNGi-1のdMAXi-1’と一致し、i番目のレンジRNGiのdMAXiが、i+1番目のレンジRNGi+1のdMINi+1’と一致するものとする。
なお、レンジの範囲の決め方はこれに限定されず、i番目のレンジRNGiのdMINiが、i-1番目のレンジRNGi-1のdMAXi-1と一致し、i番目のレンジRNGiのdMAXiが、i+1番目のレンジRNGi+1のdMINi+1と一致していてもよい。
i番目の撮影レンジRNGi’に着目する。この撮影レンジRNGi’には、3つの物体OBJ1~OBJ3が含まれている。OBJ1は正面を向いた歩行者であり、手前側の範囲piに存在する。OBJ2は正面を向いた自動車であり、感度が高いレンジRNGiに存在する。OBJ3は横を向いた歩行者であり、感度が低い奥側の範囲qiに存在する。
図10(b)は、図10(a)の撮影シーンにおいて得られるスライス画像IMGi-1,IMGi,IMGi+1を示す図である。ここではすべての物体の反射率は等しいものとする。図10(b)において、密なハッチングは、明るい画素を、粗なハッチングは暗い画素を示す。
図10(b)に示すように、レンジRNGiに対応するスライス画像IMGiには、物体OBJ2が明るく写る。また手前と奥の物体OBJ1,OBJ3は、暗く写ることとなる。
つまりスライス画像IMGiにおいては、物体OBJ2が強調され、物体OBJ1,OBJ3が識別しにくい画像となっている。また、物体OBJ1,OBJ3については、二枚のスライス画像の両方に含まれるため、それらの奥行き方向の位置が不明確であるという問題が生ずる。これらは、スライス画像の被写体の明るさが奥行き方向の位置に対する依存性を有することに起因する。
本実施形態に係るゲーティングカメラ20は、このような問題を解決するために、スライス画像IMGを補正する機能を有する。図6に戻る。画像処理部28は、隣接する二枚のスライス画像に跨がって含まれる被写体が存在する場合、当該被写体を補正対象とし、補正対象の被写体を補正し、補正後のスライス画像IMG_CORRを出力する。
図10(b)を参照すると、物体OBJ1は、隣接する二枚のスライス画像IMGi-1,IMGiに含まれているから、補正対象の被写体となる。同様に物体OBJ3は、隣接する二枚のスライス画像IMGi,IMGi+1に含まれているから、補正対象の被写体となる。反対に物体OBJ2は、一枚のスライス画像IMGiにのみ写っているから、補正対象ではない。
画像処理部28は、複数のスライス画像IMG1~IMGNを順に検査対象に選び、検査対象のスライス画像に含まれる被写体を検出し、検出した被写体が、検査対象のスライス画像の前後のスライス画像に含まれているか否かを判定すればよい。
以上がゲーティングカメラ20の構成である。隣接する二枚のスライス画像に同じ被写体が写っている場合、その被写体は、隣接する二枚のスライス画像に対応する隣接する二個のレンジの境界の近傍に位置することが推定される。そこで、そのような被写体を検出すると、その被写体に補正を施すことにより、スライス画像における被写体の明るさの奥行き方向の位置に対する依存性に起因する問題のすくなくともひとつを解決できる。
続いて画像処理部28による被写体の補正について、いくつかの実施例を説明する。図11(a)~(d)は、補正方法1~3を説明する図である。
(補正方法1)
図11(a),(b)を参照して、補正方法1を説明する。補正対象はi番目のスライス画像IMGiであり、図11(a)には、補正対象のスライス画像IMGiと、その前後のスライス画像IMGi-1,IMGi+1が示される。図11(b)は、補正方法1により得られる補正後のi番目のスライス画像IMG_CORRiを示す。物体OBJ1,OBJ2,OBJ3はそれぞれ2×2画素、3×2画素、1×2画素の矩形であり、画素内には画素値が示される。
図11(a),(b)を参照して、補正方法1を説明する。補正対象はi番目のスライス画像IMGiであり、図11(a)には、補正対象のスライス画像IMGiと、その前後のスライス画像IMGi-1,IMGi+1が示される。図11(b)は、補正方法1により得られる補正後のi番目のスライス画像IMG_CORRiを示す。物体OBJ1,OBJ2,OBJ3はそれぞれ2×2画素、3×2画素、1×2画素の矩形であり、画素内には画素値が示される。
物体OBJkを補正対象とすると、補正方法1では、物体OBJkを含む隣接する二枚のスライス画像IMGそれぞれの補正対象の被写体の画素値が合成される。
たとえば、物体OBJkが補正対象のスライス画像IMGiと、それより前のスライス画像IMGi-1に含まれる場合に、補正対象のスライス画像IMGiの物体OBJkを構成する各画素について、画素値に、前のスライス画像IMGi-1の画素値が合成される。
たとえば補正後のスライス画像IMG_CORRiの被写体OBJ1の画素値u’は、IMGi,IMGi-1それぞれにおける被写体OBJ1の画素値u,vの和(単純加算)とすることができる。
u’=u+v
単純加算に代えて、重み付け加算を用いてもよい。α、βは重み付けの係数である。
u’=αu+βv
u’=u+v
単純加算に代えて、重み付け加算を用いてもよい。α、βは重み付けの係数である。
u’=αu+βv
より一般化すると、補正後の画素値u’は、任意の関数fを用いて以下のように表される。
u’=f(u,v)
u’=f(u,v)
この例では、補正後のスライス画像IMG_CORRiの被写体OBJ1の画素値u’は、IMGi,IMGi-1それぞれにおける被写体OBJ1の画素値u,vの合成値(和)となっている。
反対に、物体OBJkが補正対象のスライス画像IMGiと、それより後ろのスライス画像IMGi+1に含まれる場合には、補正対象のスライス画像IMGiの物体OBJkを構成する各画素の画素値がゼロとされる。
u’=0
u’=0
この例では、補正後のスライス画像IMG_CORRiの被写体OBJ3の画素値がゼロとなる。
物体OBJ2は補正対象の被写体ではないため、画素値が維持される。
つまり補正方法1では、同じ被写体が連続する二枚のスライス画像に含まれる場合、その被写体は、手前(カメラに近い側)のレンジにのみ含まれ、奥側(カメラから遠い側)のレンジには含まれないものとして処理される。
補正方法1によれば、元のスライス画像IMGiにおいて暗く写っていた被写体OBJ1を明るく補正することができる。したがって、補正後のスライス画像をディスプレイに表示する場合、運転者はその被写体を認識しやすくなる。あるいは演算処理による物体認識を行う場合に、識別率を改善できる。
また各被写体は、補正後の1つのスライス画像にのみ含まれるようになるため、各被写体の位置を特定しやすくなる。
(補正方法2)
補正方法2では、補正方法1とは反対に、同じ被写体が連続する二枚のスライス画像に含まれる場合、その被写体は、奥側(カメラから遠い側)のレンジにのみ含まれ、手前(カメラに近い側)のレンジには含まれないものとされる。
補正方法2では、補正方法1とは反対に、同じ被写体が連続する二枚のスライス画像に含まれる場合、その被写体は、奥側(カメラから遠い側)のレンジにのみ含まれ、手前(カメラに近い側)のレンジには含まれないものとされる。
図11(c)は、補正方法2により得られる補正後のスライス画像IMG_CORRi’を示す図である。
補正方法2では、あるスライス画像IMGiに含まれる被写体の画素値uは、それより奥側のスライス画像の画素値wを用いて補正される。
たとえば単純和を用いて、以下のように補正してもよい。
u’=u+w
u’=u+w
単純加算に代えて、重み付け加算を用いてもよい。γ、δは重み付け係数である。
u’=γu+δw
u’=γu+δw
より一般化すると、補正後の画素値u’は、任意の関数gを用いて以下のように表される。
u’=g(u,w)
u’=g(u,w)
この例では、補正後のスライス画像IMG_CORRiの被写体OBJ3の画素値u’は、IMGi,IMGi-1それぞれにおける被写体OBJ3の画素値u,wの合成値(単純和)となっている。
反対に、物体OBJkが補正対象のスライス画像IMGiと、それより前のスライス画像IMGi-1に含まれる場合には、補正対象のスライス画像IMGiの物体OBJkを構成する各画素の画素値がゼロとされる。
u’=0
u’=0
補正方法2によれば、補正方法1と同じ効果が得られる。
(補正方法3)
この補正方法3では、同じ被写体が連続する二枚のスライス画像に含まれる場合、その被写体は、奥側(カメラから遠い側)のレンジと手前(カメラに近い側)のレンジの両方に含まれるものとする。
この補正方法3では、同じ被写体が連続する二枚のスライス画像に含まれる場合、その被写体は、奥側(カメラから遠い側)のレンジと手前(カメラに近い側)のレンジの両方に含まれるものとする。
図11(d)は、補正方法3により得られる補正後のスライス画像IMG_CORRi”を示す図である。
補正対象のスライス画像IMGiと、それより手前のスライス画像IMGi-1に含まれる被写体(この例ではOBJ1)については、その画素値は、以下のように補正される。
u’=f(u,v)
u’=f(u,v)
また補正対象のスライス画像IMGiと、それより奥のスライス画像IMGi+1に含まれる被写体(この例ではOBJ3)については、その画素値は、以下のように補正される。
u’=g(u,w)
u’=g(u,w)
補正方法3によれば、元のスライス画像IMGiにおいて暗く写っていた被写体OBJ1、OBJ3を明るく補正することができる。したがって、補正後のスライス画像をディスプレイに表示する場合、運転者はその被写体を認識しやすくなる。あるいは演算処理による物体認識を行う場合に、識別率を改善できる。
補正方法3は、2つのレンジの境界近傍に存在する物体が、2つのレンジに対応する補正後の2つのスライス画像に含まれることとなる。
(補正方法4)
図12(a)~(d)は、補正方法4を説明する図である。補正方法4では、補正対象の被写体の画素値uに所定の係数が乗算される。
図12(a)~(d)は、補正方法4を説明する図である。補正方法4では、補正対象の被写体の画素値uに所定の係数が乗算される。
たとえば、物体OBJkが補正対象のスライス画像IMGiと、それより前のスライス画像IMGi-1に含まれる場合に、
u’=ε1×u
とする。物体OBJkが補正対象のスライス画像IMGiと、それより奥のスライス画像IMGi+1に含まれる場合に、
u’=ε2×u
とする。ε1,ε2は任意に定めることができる。
u’=ε1×u
とする。物体OBJkが補正対象のスライス画像IMGiと、それより奥のスライス画像IMGi+1に含まれる場合に、
u’=ε2×u
とする。ε1,ε2は任意に定めることができる。
図12(b)は、ε1=2、ε1=0としたときの補正後のスライス画像IMG_CORRを示す。これは、上述の補正方法1に対応するといえる。
図12(c)は、ε1=0、ε1=2としたときの補正後のスライス画像IMG_CORR’を示す。これは上述の補正方法2に対応するといえる。
図12(d)は、ε1=2、ε1=2としたときの補正後のスライス画像IMG_CORR”を示す。これは上述の補正方法3に対応するといえる。
ここまでの例では、複数の物体が、異なるレンジに存在する場合を説明したが、本発明は、奥行き方向の長さが長い1個の物体が、複数のレンジに渡って存在する場合にも有効である。
(車両用灯具)
続いて、実施形態1あるいは実施形態2に係るゲーティングカメラ20を備える車両用灯具について説明する。
続いて、実施形態1あるいは実施形態2に係るゲーティングカメラ20を備える車両用灯具について説明する。
図13は、ゲーティングカメラ20を内蔵する車両用灯具200を示す図である。車両用灯具200は、筐体210、アウターレンズ220、ハイビームおよびロービームの灯具ユニット230H/230Lおよびゲーティングカメラ20を備える。灯具ユニット230H/230Lおよびゲーティングカメラ20は、筐体210に収容されている。
なお、ゲーティングカメラ20の一部、たとえばカメラ24は、車両用灯具200の外部、たとえばルームミラーの裏側に設置してもよい。
図14は、物体識別システム10を備える車両用灯具200を示すブロック図である。車両用灯具200は、車両側ECU304とともに灯具システム310を構成する。車両用灯具200は、光源202、点灯回路204、光学系206を備える。さらに車両用灯具200には、物体識別システム10が設けられる。物体識別システム10は、ゲーティングカメラ20および演算処理装置40を含む。
演算処理装置40は、ゲーティングカメラ20によって得られる複数のレンジRNG1~RNGNに対応する複数のスライス画像IMG1~IMGNにもとづいて、物体の種類を識別可能に構成される。演算処理装置40は、機械学習によって生成された予測モデルにもとづいて実装される分類器を備える。分類器のアルゴリズムは特に限定されないが、YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)、R-CNN(Region-based Convolutional Neural Network)、SPPnet(Spatial Pyramid Pooling)、Faster R-CNN、DSSD(Deconvolution -SSD)、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
演算処理装置40は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、マイコンなどのプロセッサ(ハードウェア)と、プロセッサ(ハードウェア)が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置40は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置40はハードウェアのみで構成してもよい。
演算処理装置40が検出した物体OBJに関する情報は、車両用灯具200の配光制御に利用してもよい。具体的には、灯具側ECU208は、演算処理装置40が生成する物体OBJの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路204および光学系206は、灯具側ECU208が生成した配光パターンが得られるように動作する。
また演算処理装置40が検出した物体OBJに関する情報は、車両側ECU304に送信してもよい。車両側ECUは、この情報にもとづいて、自動運転を行ってもよい。
上述の実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
(変形例1)
図5(b)のカメラ24の構成において、イメージセンサ54として赤外線カメラを用い、イメージセンサ54の感度波長λcを、プローブ光λcの波長より長くしてもよい。この場合、波長変換素子56として、ダウンコンバージョン素子を選択すれば良い。
図5(b)のカメラ24の構成において、イメージセンサ54として赤外線カメラを用い、イメージセンサ54の感度波長λcを、プローブ光λcの波長より長くしてもよい。この場合、波長変換素子56として、ダウンコンバージョン素子を選択すれば良い。
(変形例2)
実施形態1では、アクティブセンサとしてゲーティングカメラを説明したが、本発明の適用はその限りでない。たとえば、奥行き方向に分割を行わずに、すべてのレンジを一括で撮影する通常のアクティブ赤外線センサやTOFカメラにも本発明は適用可能である。
実施形態1では、アクティブセンサとしてゲーティングカメラを説明したが、本発明の適用はその限りでない。たとえば、奥行き方向に分割を行わずに、すべてのレンジを一括で撮影する通常のアクティブ赤外線センサやTOFカメラにも本発明は適用可能である。
あるいは、計算機ゴーストイメージングの理論を利用した相関計算にもとづく量子レーダ(量子カメラ)にも、本発明は適用可能である。この場合、カメラ24に代えて、単画素の光検出器が用いられる。
実施形態にもとづき、具体的な語句を用いて本発明を説明したが、実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
本発明は、アクティブセンサに関する。
10 物体識別システム
20 ゲーティングカメラ
22 照明装置
24 イメージセンサ
26 コントローラ
S1 投光タイミング信号
S2 撮影タイミング信号
40 演算処理装置
42 分類器
50 レンズ
52 バンドパスフィルタ
54 イメージセンサ
56 波長変換素子
200 車両用灯具
202 光源
204 点灯回路
206 光学系
310 灯具システム
304 車両側ECU
20 ゲーティングカメラ
22 照明装置
24 イメージセンサ
26 コントローラ
S1 投光タイミング信号
S2 撮影タイミング信号
40 演算処理装置
42 分類器
50 レンズ
52 バンドパスフィルタ
54 イメージセンサ
56 波長変換素子
200 車両用灯具
202 光源
204 点灯回路
206 光学系
310 灯具システム
304 車両側ECU
Claims (12)
- 赤外のプローブ光を照射する照明装置と、
センサと、
前記照明装置による前記プローブ光の照射と、前記センサによる検出のタイミングを制御するコントローラと、
を備え、
前記プローブ光の波長は、地表における太陽光のスペクトルに含まれるディップの波長範囲に含まれることを特徴とするアクティブセンサ。 - 前記センサは撮像装置であり、
前記アクティブセンサは、奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであることを特徴とする請求項1に記載のアクティブセンサ。 - 前記センサは、
イメージセンサと、
前記プローブ光の波長を透過するバンドパスフィルタと、
前記バンドパスフィルタの透過光を、前記イメージセンサの感度が高い波長に変換する波長変換素子と、
を含むことを特徴とする請求項1または2に記載のアクティブセンサ。 - 前記プローブ光の波長は、940nm近傍の水分子の吸収波長であることを特徴とする請求項1から3のいずれかに記載のアクティブセンサ。
- 前記プローブ光の波長は、1120nm近傍の水分子の吸収波長であることを特徴とする請求項1から3のいずれかに記載のアクティブセンサ。
- 請求項1から5のいずれかに記載のアクティブセンサと、
前記アクティブセンサの出力を処理する演算処理装置と、
を備えることを特徴とする自動車。 - 請求項1から5のいずれかに記載のアクティブセンサを備えることを特徴とする車両用灯具。
- 奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、
プローブ光を照射する照明装置と、
イメージセンサと、
前記照明装置による前記プローブ光の照射と、前記イメージセンサによる露光のタイミングを制御するコントローラと、
隣接する二枚のスライス画像に跨がって含まれる被写体が存在する場合、当該被写体を補正対象とし、前記補正対象の被写体を補正する画像処理部と、
を備えることを特徴とするゲーティングカメラ。 - 補正において、前記隣接する二枚のスライス画像それぞれの前記補正対象の被写体の画素値が合成されることを特徴とする請求項8に記載のゲーティングカメラ。
- 補正において、前記補正対象の被写体の画素値に所定の係数が乗算されることを特徴とする請求項8に記載のゲーティングカメラ。
- 請求項8から10のいずれかに記載のゲーティングカメラと、
前記ゲーティングカメラの出力を処理する演算処理装置と、
を備えることを特徴とする自動車。 - 請求項8から10のいずれかに記載のゲーティングカメラを備えることを特徴とする車両用灯具。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021534052A JPWO2021015208A1 (ja) | 2019-07-22 | 2020-07-21 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-134744 | 2019-07-22 | ||
JP2019134744 | 2019-07-22 | ||
JP2019147318 | 2019-08-09 | ||
JP2019-147318 | 2019-08-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021015208A1 true WO2021015208A1 (ja) | 2021-01-28 |
Family
ID=74194203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/028325 WO2021015208A1 (ja) | 2019-07-22 | 2020-07-21 | アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2021015208A1 (ja) |
WO (1) | WO2021015208A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11508359A (ja) * | 1995-06-22 | 1999-07-21 | 3ディブイ・システムズ・リミテッド | 改善された光学測距カメラ |
JP2007316036A (ja) * | 2006-05-29 | 2007-12-06 | Honda Motor Co Ltd | 車両の乗員検知装置 |
JP2013108835A (ja) * | 2011-11-21 | 2013-06-06 | Mitsubishi Heavy Ind Ltd | 監視装置 |
US20150192676A1 (en) * | 2014-01-03 | 2015-07-09 | Princeton Lightwave, Inc. | LiDAR System Comprising A Single-Photon Detector |
US20180372873A1 (en) * | 2017-06-21 | 2018-12-27 | Analog Value Ltd. | LIDAR system |
-
2020
- 2020-07-21 JP JP2021534052A patent/JPWO2021015208A1/ja active Pending
- 2020-07-21 WO PCT/JP2020/028325 patent/WO2021015208A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11508359A (ja) * | 1995-06-22 | 1999-07-21 | 3ディブイ・システムズ・リミテッド | 改善された光学測距カメラ |
JP2007316036A (ja) * | 2006-05-29 | 2007-12-06 | Honda Motor Co Ltd | 車両の乗員検知装置 |
JP2013108835A (ja) * | 2011-11-21 | 2013-06-06 | Mitsubishi Heavy Ind Ltd | 監視装置 |
US20150192676A1 (en) * | 2014-01-03 | 2015-07-09 | Princeton Lightwave, Inc. | LiDAR System Comprising A Single-Photon Detector |
US20180372873A1 (en) * | 2017-06-21 | 2018-12-27 | Analog Value Ltd. | LIDAR system |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021015208A1 (ja) | 2021-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019508717A5 (ja) | 自動被写体検出および視覚システムの照明不変画像センサの方法および装置 | |
WO2020184447A1 (ja) | ゲーティングカメラ、自動車、車両用灯具、物体識別システム、演算処理装置、物体識別方法、画像表示システム、検査方法、撮像装置、画像処理装置 | |
TWI801637B (zh) | 用於相機之紅外光預閃光 | |
KR102480618B1 (ko) | 낮은 광 및 높은 광 레벨 이미징을 위한 단일 옵틱 | |
JP7472136B2 (ja) | イメージング装置およびその照明装置、車両、車両用灯具 | |
CN111398975B (zh) | 主动传感器、物体识别***、车辆、车辆用灯具 | |
WO2016031666A1 (ja) | 視線検出装置 | |
WO2021201269A1 (ja) | ゲーティングカメラ、車両用センシングシステム、車両用灯具 | |
JP6336337B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
WO2021015208A1 (ja) | アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具 | |
WO2021060397A1 (ja) | ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法 | |
WO2021193645A1 (ja) | ゲーティングカメラ、センシングシステム、車両用灯具 | |
JP2019204988A (ja) | 画像処理装置及び画像処理方法 | |
WO2022145261A1 (ja) | ゲーティングカメラ、車両用センシングシステム、車両用灯具 | |
WO2023013777A1 (ja) | ゲーティングカメラ、車両用センシングシステム、車両用灯具 | |
WO2020262446A1 (ja) | 車両用灯具 | |
WO2022014416A1 (ja) | ゲーティングカメラ、車両用センシングシステム、車両用灯具 | |
WO2021172478A1 (ja) | センサ、自動車および周囲環境のセンシング方法 | |
WO2023013776A1 (ja) | ゲーティングカメラ、車両用センシングシステム、車両用灯具 | |
WO2023085403A1 (ja) | センシングシステム | |
WO2023224077A1 (ja) | ToFカメラ、車両用センシングシステム、および車両用灯具 | |
JP7080724B2 (ja) | 配光制御装置、投光システム及び配光制御方法 | |
WO2023189599A1 (ja) | 距離画像センサ、および車両用灯具 | |
WO2021079811A1 (ja) | イメージング装置、車両用灯具、車両、イメージング方法 | |
JP2011109237A (ja) | 情報処理装置、情報処理方法、及び電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20844117 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021534052 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20844117 Country of ref document: EP Kind code of ref document: A1 |