WO2024004325A1 - 外界認識装置及び外界認識方法 - Google Patents
外界認識装置及び外界認識方法 Download PDFInfo
- Publication number
- WO2024004325A1 WO2024004325A1 PCT/JP2023/014887 JP2023014887W WO2024004325A1 WO 2024004325 A1 WO2024004325 A1 WO 2024004325A1 JP 2023014887 W JP2023014887 W JP 2023014887W WO 2024004325 A1 WO2024004325 A1 WO 2024004325A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- unit
- target
- matching
- imaging plane
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 74
- 238000003384 imaging method Methods 0.000 claims abstract description 198
- 238000006243 chemical reaction Methods 0.000 claims abstract description 34
- 230000009466 transformation Effects 0.000 claims description 185
- 238000001514 detection method Methods 0.000 claims description 82
- 230000008569 process Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 28
- 238000012795 verification Methods 0.000 description 25
- 239000011159 matrix material Substances 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000009434 installation Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- the present invention relates to an external world recognition device and an external world recognition method.
- a stereo camera is one in which two cameras are placed on a vehicle at a predetermined interval. Then, the distance to the photographed object can be measured using the parallax between the overlapping areas of the images photographed by the two cameras.
- Stereo cameras include parallel stereo cameras in which the optical axes of two cameras are installed parallel to each other, and non-parallel stereo cameras in which the optical axes of two cameras are installed non-parallel. Furthermore, a camera system using two or more cameras is sometimes called a multi-view stereo system.
- the electronic control unit (hereinafter referred to as ECU) installed in a vehicle uses multiple images taken by multiple cameras to measure the distance to an object, and then detects objects in front of the vehicle. It is possible to grasp the possibility of contact with an object. However, even if two cameras located at different positions capture images of the same object, the way the object is generally viewed differs between the two cameras. When comparing images that appear differently, if one image and the other image have a pattern that looks different and a similar pattern, there is a possibility that the images will be compared at the wrong position.
- the distance to the object measured based on the matching result may be incorrect, which may lead to incorrect control of the vehicle. If you know the shape and plane model of an object in the real world, you can geometrically determine how it will appear in each image, so it is thought that mismatching can be suppressed by predicting the shape and plane and matching.
- Patent Document 1 states, ⁇ By transforming at least one of the first image captured by the first camera and the second image captured by the second camera, the first image and the second image are transformed into images from a common viewpoint. After performing a viewpoint transformation to convert the viewpoint to It says "Do it.”
- Patent Document 2 states, ⁇ Since the stereo camera image information captured by the imaging means is an image of the surface to be monitored, such as the road surface or floor surface, facing downward, the conventional camera is installed facing almost horizontally. By comparing the image information with the stereo camera image information obtained by the stereo camera obtained by Since 3D distance image information is generated, it becomes an overhead image looking down on the surface to be monitored, so the distance to the road surface or floor surface can be determined with high precision.”
- the present invention was made in view of this situation, and even if an unspecified target appears in two images with different appearance, it is possible to estimate the distance to this target.
- the purpose is to
- the external world recognition device includes a first image capturing unit that detects a target based on a first image acquired from at least a first imaging unit among a plurality of imaging units whose imaging fields of view with respect to the outside world overlap at least in part. a second target detection unit that detects a target based on a second image acquired from a second imaging unit among the plurality of imaging units; and a first target detection unit.
- an imaging plane estimating section that estimates an imaging plane in the first image based on the detection result of the target object, information on the imaging plane estimated by the imaging plane estimating section, and imaging parameters of the plurality of imaging sections, an image transformation estimating unit that estimates an image transformation parameter that matches the imaging plane in the second image; It includes a feature matching unit that matches the features of the target detected from the image, and a position estimation unit that estimates the three-dimensional position of the target based on the result of the matching process performed by the feature matching unit.
- FIG. 1 is a diagram showing the position of a camera mounted on a vehicle according to a first embodiment of the present invention.
- FIG. 1 is a diagram showing a world coordinate system based on a vehicle according to a first embodiment of the present invention.
- FIG. 2 is a diagram showing an image coordinate system according to the first embodiment of the present invention.
- FIG. 3 is a diagram showing an example of an image of the foreground of the vehicle captured by the front camera and the left camera according to the first embodiment of the present invention.
- 1 is a block diagram showing an example of the internal configuration of an external world recognition device according to a first embodiment of the present invention.
- FIG. 1 is a block diagram showing an example of a hardware configuration of a computer according to a first embodiment of the present invention.
- FIG. 2 is a diagram illustrating an example of an image captured by the front camera according to the first embodiment of the present invention, in which another vehicle, a person, a guardrail, and a side wall are reflected in the straight-ahead direction.
- FIG. 2 is a diagram illustrating an example of an image captured by the front camera according to the first embodiment of the present invention, in which another vehicle is reflected diagonally in front of the host vehicle.
- FIG. 3 is a diagram showing an example of processing by a feature matching unit according to the first embodiment of the present invention.
- FIG. 6 is a diagram illustrating a process in which the feature matching unit according to the first embodiment of the present invention performs template matching using a left camera image and a front camera image.
- FIG. 2 is a block diagram showing an example of the internal configuration of an external world recognition device according to a second embodiment of the present invention.
- FIG. 7 is a block diagram showing an example of the internal configuration of an external world recognition device according to a third embodiment of the present invention.
- FIG. 7 is a diagram illustrating an example of a region where a vehicle and a background coexist according to a third embodiment of the present invention.
- It is a block diagram showing an example of an internal configuration of an external world recognition device concerning a 4th embodiment of the present invention.
- FIG. 12 is a block diagram showing an example of the internal configuration of a geometric transformation estimation section and a feature matching section according to a modification of the external world recognition device according to the fourth embodiment of the present invention.
- It is a block diagram showing an example of an internal configuration of an external world recognition device concerning a 5th embodiment of the present invention.
- the present invention is applicable to, for example, an arithmetic unit for vehicle control that can communicate with an in-vehicle ECU (Electronic Control Unit) for advanced driver assistance systems (ADAS) or autonomous driving (AD). It is.
- ECU Electronic Control Unit
- ADAS advanced driver assistance systems
- AD autonomous driving
- FIG. 1A, FIG. 1B, and FIG. 1C are diagrams showing the position of a camera mounted on a vehicle 1, a world coordinate system based on the vehicle 1, and an image coordinate system according to the first embodiment.
- FIG. 1A shows a configuration example in which a front camera 10, a left camera 20, and a right camera 30 are provided on the front, left side, and right side of the vehicle 1, respectively.
- the front camera 10, left camera 20, and right camera 30 are not distinguished, they will also be simply referred to as "cameras.”
- a photographing range 10a of the front camera 10 a photographing range 20a of the left camera 20, and a photographing range 30a of the right camera 30 are shown separated by a chain line.
- the photographing ranges 10a and 20a partially overlap.
- the photographing ranges 10a and 30a partially overlap, and the photographing ranges 20a and 30a partially overlap. In these overlapping areas, the same thing will be reflected in the images taken by each camera.
- the ECU external world recognition device 100 shown in FIG. 3, which will be described later
- the ECU detects pedestrians, other vehicles, white lines, road surfaces, etc.
- Object information about surrounding objects and physical quantities such as the distance from the vehicle 1 to the object, the size of the object, and the speed of the object are estimated and acquired.
- another ECU automated driving control ECU, not shown
- targets objects (road surfaces, people, guardrails, white lines, etc.) that may affect the running of the vehicle 1 are referred to as "targets.”
- FIG. 1B shows an example of a world coordinate system with the position of the vehicle 1 as the origin.
- the X-axis is in the traveling direction of the vehicle 1
- the Y-axis is in the horizontal direction perpendicular to the X-axis
- the Z-axis is in the vertical direction.
- the positions of targets other than the vehicle 1 are estimated using the world coordinate system. Therefore, the distance from the vehicle 1 to the target object is also estimated.
- a typical method for estimating distance is to measure the distance to the target using the principle of triangulation when multiple cameras capture images of the same target.
- FIG. 1C shows an example of an image coordinate system for identifying a target within an image.
- the origin is the upper left of the image
- the u-axis is horizontal
- the v-axis is vertical. Then, the position of the target object in the image captured by the camera is specified by (u, v).
- the scale parameter s is a scalar value.
- the subscript on the symbol in equation (1) represents the type of camera.
- the subscript of one camera is set to "0"
- the subscript of the other camera is set to "1”. Note that in equation (1), if there is no scale parameter s, the right side of equation (1) will be a constant times the left side. Therefore, a scale parameter s is provided to prevent the right side of equation (1) from being a constant multiple of the left side.
- the angle of view of the front camera 10 is the apex angle of a triangle at the installation position of the front camera 10, as shown in the photographing range 10a.
- the angle of view of the left camera 20 is the apex angle of the triangle at the installation position of the left camera 20, as shown in the photographing range 20a.
- the angle of view of the right camera 30 is the apex angle of the triangle at the installation position of the right camera 30, as shown in the photographing range 30a.
- the distance can be estimated using the principle of triangulation with respect to a target object that appears in an area where the angles of view of the two cameras overlap.
- the distance can be estimated using the principle of triangulation for the area where the angle of view of the front camera 10 and the angle of view of the right camera 30 overlap (the right front of the vehicle 1).
- the epipole constraint equation shown in equation (3) is used.
- the fundamental matrix used in the epipole constraint equation is derived from the external parameter matrix and internal parameter matrix of the two cameras (for example, the front camera 10 and the left camera 20) shown above.
- Template matching involves cutting out a small area such as a rectangle around the image coordinates of the target of interest from one image, and then selecting an area close to the pixel distribution within that rectangle from the other image while moving the small rectangular area. This is a search method using a cost function. As a comparison method, the sum of absolute differences, the sum of squared differences, etc. are known as basic methods.
- Another method for matching image information is to first search for image coordinates in areas with high image characteristics, such as corners of targets, as feature points, and then search for image coordinates around this feature point.
- SIFT Scale Invariant Feature Transform
- ORB Oriented FAST and Rotated BRIEF
- a deep learning-based method is a method that matches feature amounts between two images.
- FIG. 2 is a diagram showing an example of an image of the foreground of the vehicle 1 captured by the front camera 10 and the left camera 20 shown in FIG. 1A.
- the image captured by the front camera 10 will be referred to as a "front camera image”
- the image captured by the left camera 20 will be referred to as a "left camera image”.
- template matching compares pixels at the same position in an image, but matching becomes difficult if the pixels look different.
- feature points or feature quantities are created for images that look different, it becomes difficult to match the images with each other. For this reason, shapes that are originally different may be matched, or shapes that should originally be determined to be the same may not be found in the image and may not be matched. If the same target object appearing in different images is not correctly matched in this manner, the distance to the target object may be incorrectly estimated.
- the present inventor considered what kind of conversion should be performed on one image to reduce the difference in the target when comparing two images that appear significantly different.
- External world recognition devices and target object matching methods according to embodiments of the present invention that can improve the performance of matching the same object appearing in two images will be described below with reference to the drawings from FIG. 3 onwards.
- the functions of the external world recognition device are realized by software configured in the ECU installed in the vehicle 1.
- FIG. 3 is a block diagram showing an example of the internal configuration of the external world recognition device 100 according to the first embodiment.
- the external world recognition device 100 is, for example, a form of ECU mounted on the vehicle 1.
- the vehicle 1 on which the external world recognition device 100 is mounted is also referred to as the "host vehicle 1" in order to distinguish it from other vehicles 2.
- the external world recognition device 100 is a device mounted on the vehicle 1.
- the outside world is, for example, the outside of the vehicle 1 on which the outside world recognition device 100 is mounted, and the outside world recognition device 100 recognizes various targets existing in the outside world.
- the recognition result of the target includes information such as the attribute of the target, the size of the target, and the distance from the vehicle 1 to the target.
- Two images captured by the two imaging units 40 and 41 are input to the external world recognition device 100, respectively.
- the imaging unit 40 is, for example, the left camera 20 shown in FIG. 1A, and outputs an image 40a captured by the left camera 20 to the target detection unit 101.
- the imaging unit 41 is, for example, the front camera 10 shown in FIG. 1A, and outputs an image 41a captured by the front camera 10 to the target object detection unit 102.
- the camera combinations shown in FIG. 1A of the imaging units 40 and 41 may be the front camera 10 and the right camera 30, or the left camera 20 and the right camera 30.
- the external world recognition device 100 includes two target detection units 101 and 102, a camera parameter 103, a matching condition determination unit 104, a feature matching unit 105, and a position estimation unit 106.
- the target detection unit 101 performs target detection processing on the image input from the imaging unit 40 .
- This first target object detection section detects the first target object detected from at least the first imaging section (imaging section 40) among the plurality of imaging sections whose imaging fields of view relative to the outside world overlap at least in part.
- a target object is detected based on one image (image 40a).
- the target detection unit 102 performs target detection processing on the image input from the imaging unit 41.
- This second target detection unit (target detection unit 102) detects the target based on the second image (image 41a) acquired from the second imaging unit (imaging unit 41) among the plurality of imaging units. Detect.
- the target object detection processing performed by the target object detection units 101 and 102 is, for example, a process of detecting the vehicle 2, white lines, pedestrians, the driveable area of the vehicle 1, guardrails, side walls, etc. from the input images 40a and 41a. be. A portion of each image shown in areas 11, 12, 21, and 22 as shown in FIG. 2 is output to a subsequent functional unit as a result of the target object detection process. Note that the target object detection units 101 and 102 can also obtain the attributes of the target object by performing image analysis for each target object through the target object detection process.
- the result of target detection processing by the target detection unit 101 is output to the imaging plane estimation unit 111 of the matching condition determination unit 104.
- the result of target detection processing by the target detection unit 102 is output to the feature matching unit 105.
- the result of the target object detection process will also be referred to as a "target object detection result.”
- the image captured by the imaging unit 40 is input to the matching condition determining unit 104 via the target detecting unit 101, and further input to the feature matching unit 105 via the matching condition determining unit 104.
- the image captured by the imaging unit 41 is input to the feature matching unit 105 via the target detection unit 102.
- the matching condition determining unit 104 determines matching conditions for the feature matching unit 105 to match the positions where the same target objects detected in the images 40a and 41a correspond to each other.
- the matching condition determining unit 104 includes an imaging plane estimating unit 111 and a geometric transformation estimating unit 112.
- the imaging plane estimation unit estimates the imaging plane in the first image (image 40a) based on the target detection result by the target detection unit (target detection unit 101).
- the imaging plane estimating unit 111 estimates what kind of plane each target is formed of in the real world based on the target detection results input from the target detecting unit 101.
- the plane that constitutes each target object is called an imaging plane, and is expressed by a plane equation of the imaging plane.
- the imaging plane estimation unit (imaging plane estimation unit 111) estimates an imaging plane based on the size of the target and the distance to the target. Further, the imaging plane estimating unit (imaging plane estimating unit 111) estimates an imaging plane in the image area where the target object is imaged. Note that the plane equation is expressed by parameters ( ⁇ , ⁇ , ⁇ , ⁇ ), for example.
- the equation of the imaging plane estimated by the imaging plane estimation unit 111 is output to the geometric transformation estimation unit 112.
- the image transformation estimating unit (geometric transformation estimating unit 112), based on the information on the imaging plane estimated by the imaging plane estimating unit (imaging plane estimating unit 111) and the imaging parameters (camera parameters 103) of the plurality of imaging units, Among the plurality of imaging units, image transformation parameters (geometric transformation parameters) matching the imaging plane in the second image (image 41a) are estimated.
- the geometric transformation estimating unit 112 calculates the geometric transformation parameters between the images at the location being imaged by the imaging units 40 and 41 based on the equation of the imaging plane input from the imaging plane estimation unit 111 and the camera parameters 103.
- the camera parameters 103 include, for example, K and P included in the above-mentioned equation (1). However, the camera parameters 103 may be fixed values. Note that the imaging plane estimation section 111 and the geometric transformation estimation section 112 may be located on the target object detection section 102 side.
- the feature matching unit detects the detected target from the first image (image 40a) that has been image-converted using the image transformation parameters (geometric transformation parameters) by the image transformation estimation unit (geometric transformation estimation unit 112).
- the features of the target object detected from the second image (image 41a) are compared.
- the feature matching unit 105 matches the features of the transformation result obtained by geometrically transforming the target detected by the target detecting unit 101 with the features of the detection result of the target input from the target detecting unit 102. Therefore, the feature matching unit 105 uses the geometric transformation parameters estimated by the geometric transformation estimation unit 112 to transform the shape of the target detected from the image 40a.
- the feature matching unit 105 matches the shape of the target object whose shape has been converted with the shape of the target object detected from the image 41a, and calculates the distance from the host vehicle 1 to the target object.
- the distance from the own vehicle 1 to the target object is output to the position estimating unit 106 as a result of the matching by the feature matching unit 105.
- the matching result may be expressed, for example, as a value for each image region including the target to be matched, with 0% representing a mismatch and 100% representing a complete match.
- the feature matching unit 105 may determine that the matching result is highly reliable, and may output the matching result with high reliability to the position estimating unit 106.
- the position estimating unit estimates the three-dimensional position of the target based on the result of the matching process by the feature matching unit (feature matching unit 105). For example, the position estimation unit 106 estimates the three-dimensional position (referred to as “position estimation result”) of the target in the world coordinate system (see FIG. 1B) based on the matching result by the feature matching unit 105. At this time, the position estimation unit 106 can calculate the distance from the host vehicle 1 to the target object, and include the distance for each target object in the position estimation result.
- the position estimation result may be used for vehicle control of the own vehicle 1 by another ECU (for example, an ECU for automatic driving control) mounted on the own vehicle 1, or may be used to obtain depth information of targets around the own vehicle 1. It is sometimes used to ask for something.
- FIG. 4 is a block diagram showing an example of the hardware configuration of the computer 80.
- the computer 80 is an example of hardware used as a computer that can operate as the external world recognition device 100 according to the present embodiment.
- the external world recognition device 100 according to the present embodiment realizes an image processing method performed by the functional blocks shown in FIG. 3 in cooperation with each other by the computer 80 (computer) executing a program.
- the computer 80 includes a CPU (Central Processing Unit) 81, a ROM (Read Only Memory) 82, and a RAM (Random Access Memory) 83, each connected to a bus 84. Furthermore, the computer 80 includes a nonvolatile storage 85 and a network interface 86.
- CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- the CPU 81 reads software program codes that implement each function according to the present embodiment from the ROM 82, loads them into the RAM 83, and executes them. Variables, parameters, etc. generated during the arithmetic processing of the CPU 81 are temporarily written in the RAM 83, and these variables, parameters, etc. are read out by the CPU 81 as appropriate.
- an MPU Micro Processing Unit
- the functions of each functional unit in the external world recognition device 100 are realized by the CPU 81, ROM 82, and RAM 83.
- non-volatile storage 85 for example, an HDD (Hard Disk Drive), SSD (Solid State Drive), flexible disk, optical disk, magneto-optical disk, CD-ROM, CD-R, magnetic tape, or non-volatile memory is used. It will be done.
- OS Operating System
- programs for operating the computer 80 are recorded in the nonvolatile storage 85.
- the ROM 82 and the non-volatile storage 85 record programs and data necessary for the operation of the CPU 81, and serve as an example of a computer-readable non-transitory storage medium that stores programs to be executed by the computer 80. used.
- Various values such as camera parameters 103 are stored in the RAM 83 or nonvolatile storage 85 and read out as appropriate.
- a NIC Network Interface Card
- LAN Local Area Network
- FIG. 5A is an image showing another vehicle 2, a person, a guardrail, and a side wall in the straight direction.
- a region 51 represents a road surface detection result
- a region 52 represents a guardrail detection result
- a region 53 represents a person detection result
- a region 54 represents a side wall detection result. In this way, the regions 51 to 54 are used as the target object detection results.
- FIG. 5B is an image showing another vehicle 2 diagonally in front of the own vehicle 1.
- the detection result by the target object detection unit 101 is another vehicle 2, and the detection result is output as a rectangular bounding box like the area 55.
- the imaging plane estimating unit 111 estimates the plane equation of each surface from the shape of the rectangular parallelepiped represented by the region 55, with the front, back, and side surfaces of the rectangular parallelepiped as imaging planes.
- the front of the bounding box of the region 55 is the front surface of the vehicle 2
- the back surface is the rear surface of the vehicle 2
- the side surfaces are the left and right surfaces of the vehicle 2.
- the actual coefficient value differs depending on the face of the rectangular parallelepiped.
- the actual coefficient value uses the estimated distance from the host vehicle 1 to the other vehicle 2, which is output from the sensor.
- the detection result can include distance estimation information.
- the imaging plane estimation unit 111 can also estimate the plane equation of the side surface of the vehicle 1, etc., based on the distance estimation information included in the detection result. Therefore, the imaging plane estimation unit 111 can also output the estimated plane equation as an estimation result.
- the plane equation of the imaging plane can be estimated. Note that the imaging plane estimation unit 111 calculates the plane equation parameters ( ⁇ , ⁇ , ⁇ , ⁇ ) may be estimated.
- the imaging plane estimation unit 111 assumes that a three-dimensional object of a predetermined height is located at the position of a pole or tree, and that a plane perpendicular to the traveling direction of the vehicle 1 is formed.
- the imaging plane estimating unit 111 can also estimate the parameters of the plane equation by assuming a rectangular bounding box in a region where the attribute of the detection result is unknown, such as when the detection result is a pedestrian.
- the imaging plane estimation unit 111 estimates the imaging plane
- the imaging plane estimating unit 111 estimates the imaging plane by dividing the multidimensional equation into piecewise linear equations and approximating them according to the position of interest on the image. As described above, the imaging plane estimation unit 111 estimates the imaging plane of the target object based on the detection result of the target object.
- the geometric transformation estimation unit 112 calculates the geometry of the two images 40a and 41a captured by the two cameras (imaging units 40 and 41) based on the estimation result of the imaging plane estimated by the imaging plane estimation unit 111 and the camera parameters 103. Estimate transformation parameters. An example of a method for estimating this geometric transformation parameter will be explained.
- the estimation result of the imaging plane estimation unit 111 processed for one image (the image 40a captured by the imaging unit 40) is used.
- the geometric transformation estimating unit 112 converts a plane equation for the pixel coordinate into a plane transformation matrix.
- the geometric transformation estimating unit 112 organizes the plane equation for Z and introduces the plane transformation matrix C as shown in equation (4).
- the four-dimensional world coordinate (homogeneous coordinate) X is one-dimensionally compressed and organized as X'.
- the geometric transformation estimating unit 112 can transform s 0 u 0 and s 1 u 1 shown in equation (1) as shown in equation (5) and equation (6) by using X′.
- the geometric transformation estimating unit 112 can derive the projective transformation matrix H (geometric transformation parameter) as shown in equation (7) by simultaneously rearranging equations (5) and (6).
- H geometric transformation parameter
- the camera parameters 103 input to the matching condition determination unit 104 are used in equations (5) to (7) because K and P are included in equation (1).
- Equation (7) represents the relative relationship between the two images 40a and 41a.
- the geometric transformation estimating unit 112 may perform geometric transformation using affine transformation, shear transformation, etc., which have fewer transformation parameters than projective transformation, depending on the above-mentioned parallelization process, camera installation position, and plane equation. In some cases. If the geometric transformation estimation unit 112 uses fewer transformation parameters for the geometric transformation, the calculation time by the geometric transformation estimation unit 112 can be reduced. Therefore, the geometric transformation estimation unit 112 may switch the type of transformation according to the number of transformation parameters. In the following processing, various types of conversion processing will be collectively referred to as "geometric conversion" as an example of image conversion.
- the feature matching unit 105 uses the estimation result by the geometric transformation estimation unit 112 and the images captured by the imaging units 40 and 41 to match the images.
- An example of processing in which the feature matching unit 105 matches two images will be described with reference to FIG. 6.
- FIG. 6 is a diagram illustrating an example of processing by the feature matching unit 105. Images 40a and 41a are input to the feature matching unit 105 from the imaging units 40 and 41 shown in FIG.
- Geometric transformation parameters are used as the estimation result of the geometric transformation estimation unit 112 for any point within the image 40a.
- the geometric transformation parameters are expressed as the projective transformation matrix H in equation (7) above.
- the feature matching unit 105 receives the image 40a captured by the imaging unit 40 and the geometric transformation parameters estimated by the geometric transformation estimation unit 112, and performs geometric transformation processing on the corresponding location of the image 40a (S1 ).
- the image 41a captured by the imaging unit 41 is input to the feature matching unit 105 via the target detection unit 102. Then, the feature matching unit 105 performs an image matching process between the image 40a subjected to the geometric transformation process in step S1 and the other image 41a input via the target object detection unit 102 (S2). However, the area to be geometrically transformed is the area around this position, including the position where the same part of the target object is detected in the images 40a and 41a.
- step S2 the processing result is output to the position estimation unit 106.
- FIG. 7 is a diagram showing how the feature matching unit 105 performs template matching using the left camera image and the front camera image.
- the left camera image is the image 40a shown in FIG. 7
- the front camera image is the image 41a shown in FIG.
- regions 21 and 22 in which characteristic parts of intersections (locations where white lines intersect) are reflected in parts of the left camera image and the front camera image. These characteristic parts also exist in the front camera image as areas 11 and 12, respectively. However, since the shapes of regions 21 and 11 were different, and the shapes of regions 22 and 12 were also different, it was not possible to simply match the shapes of each region with the conventional method.
- the targets in regions 21 and 22 included in the left camera image are converted into the shapes of regions 71 and 72 shown in the lower side of FIG. be done.
- the shapes included in regions 71 and 72 become close to the shapes included in regions 11 and 12, respectively. Therefore, the feature matching unit 105 can perform the matching process more easily than searching for the shape before the geometric transformation included in the regions 21 and 22 from the front camera image.
- the shape of the region including the characteristic portion is geometrically transformed in this way, an advantage is obtained that the feature matching unit 105 can easily perform the matching process.
- template matching may be performed after the feature matching unit 105 projectively transforms the region.
- the feature matching unit 105 may perform projective transformation for each template.
- the feature matching unit 105 may perform projective transformation on the image and then extract feature points and feature amounts. Alternatively, the feature matching unit 105 may extract feature points and feature amounts by incorporating projective transformation into the process of extracting feature points and feature amounts.
- the position estimation unit 106 uses the above equation (2) to calculate the coordinate point of the target in the world coordinate system from the corresponding position obtained as a result of the matching by the feature matching unit 105.
- the external world recognition device 100 can respond to changes in the environment such as the vehicle 1, pedestrians, roads, etc. while the vehicle 1 is traveling, and improve the accuracy of matching targets shown in the two images and the vehicle 1. It is possible to improve the accuracy of estimating the distance from the object to the target object.
- the external world recognition device 100 in order to estimate the distance from the host vehicle 1 to the target object, an image is A plane equation of the imaging plane according to the position within 40a is estimated for each target. Then, the external world recognition device 100 performs geometric transformation for each target object, and matches the target object and features detected from the image 41a. For this reason, the external world recognition device 100 can estimate the distance to an unspecified target even if it appears in two images that appear differently. Further, since the position estimating unit 106 estimates the position of the target whose features have been verified, it is possible to reduce errors in the distance to the target.
- FIG. 8 is a block diagram showing an example of the internal configuration of an external world recognition device 100A according to the second embodiment.
- the external world recognition device 100A includes target detection units 101 and 102, camera parameters 103, a matching condition determining unit 104A, a feature matching unit 105A, and a position estimation unit 106.
- the external world recognition device 100A performs an imaging plane estimation process and a geometric transformation parameter estimation process on two images input from the imaging units 40 and 41, respectively. For this reason, the external world recognition device 100A has a plurality of imaging plane estimations provided respectively for the target detected from the first image (image 40a) and the target detected from the second image (image 41a). (imaging plane estimation sections 111, 113) and a plurality of image transformation estimation sections (geometric transformation estimation sections 112, 114). As shown in FIG.
- the matching condition determination unit 104A included in the external world recognition device 100A includes imaging plane estimation units 111 and 113 and geometric transformation estimation units 112 and 114.
- the imaging plane estimation units 111 and 113 have the same function, and the geometric transformation estimation units 112 and 114 have the same function.
- the target detection unit 101 detects a target from the image captured by the imaging unit 40. Based on this detection result, the imaging plane estimation unit 111 estimates an imaging plane, and the geometric transformation estimation unit 112 estimates geometric transformation parameters. Similarly, the target detection unit 102 detects a target from the image captured by the imaging unit 41. Based on the target object detection result, the imaging plane estimation unit 113 estimates an imaging plane, and the geometric transformation estimation unit 114 estimates geometric transformation parameters.
- the feature matching unit 105A receives two results through the geometric transformation estimation units 112 and 114. Therefore, the function of the feature matching unit 105A is different from the function of the feature matching unit 105 according to the first embodiment shown in FIG.
- the feature matching unit 105A obtains a matching result between the image 41a and the result of geometric transformation of the image 40a using the geometric transformation parameters estimated by one of the geometric transformation estimation units 112. Further, the feature matching unit 105A obtains a matching result between the image 40a and the result of the geometric transformation of the image 41a using the geometric transformation parameters estimated by the other geometric transformation estimation unit 114. Then, the two matching results obtained by the feature matching unit 105A are compared. If it is determined from the two matching results that the same target was matched at the same location, both matching results can be considered to have high reliability.
- the feature matching unit converts the first image (image 40a) into an image using the image transformation parameters (geometric transformation parameters) estimated by one of the image transformation estimation units (geometric transformation estimation unit 112).
- the result of the conversion (geometric transformation) and the comparison result with the second image (image 41a) are obtained, and the image transformation parameters (geometric transformation parameters) estimated by the other image transformation estimation unit (geometric transformation estimation unit 114) are obtained.
- the results of the geometric transformation of the second image (image 41a) using the image processing method are obtained, and the matching results of the first image (image 40a) are obtained, and the matching results are compared.
- the target detected from the second image (image 41a) and the target detected from the second image (image 41a) are matched at the same three-dimensional position, high reliability is given to the matching result.
- the reliability given to the matching results here is that for each target detected from each image, if the target object is not matched at the same three-dimensional position, the mismatch is 0%, and if it is matched at the same three-dimensional position, it is 100%. It may also be expressed as a value. Then, the feature matching unit 105 may output a highly reliable matching result to the position estimating unit 106 if the reliability is 80% or more.
- the feature matching unit 105A may match the estimated imaging plane. Therefore, the feature matching unit 105A compares the imaging plane estimated by the imaging plane estimation unit 111 and the imaging plane estimated by the imaging plane estimation unit 113. At this time, the feature matching unit 105A uses the imaging plane estimated by the imaging plane estimating unit 113 as a reference, and if the imaging plane estimated by the imaging plane estimating unit 111 is different, the reliability of the matching result is low. It is determined that Then, the feature matching unit 105A can take measures not to output the feature matching result to the position estimating unit 106 regarding the target object of the estimated imaging plane.
- the feature matching unit 105A outputs the matching results to the position estimation unit 106 while leaving only the matching results with high reliability, or judges the matching results with low reliability as noise and does not output the matching results. or Therefore, the position estimating unit 106 can estimate the position and distance of only targets whose verification results are highly reliable.
- the matching condition determination unit 104A is configured to include imaging plane estimation units 111 and 113 and geometric transformation estimation units 112 and 114.
- the feature matching unit 105A then matches the estimation results using one of the estimation results output from the geometric transformation estimating units 112 and 114 as a reference, thereby determining the reliability of the matching results. Therefore, it becomes easier to determine whether the target object has been correctly matched based on the level of reliability of the matching result by the feature matching unit 105A, and the position estimating unit 106 can also accurately estimate the position of the target object.
- the matching condition determination unit 104B shown in FIG. This method can be considered. For example, upon receiving the detection result of the target detected by the target detection unit 101, the matching condition determination unit 104B determines the attributes of the target detected by the target detection unit 101 and the attributes estimated by the imaging plane estimation unit 111.
- One possible method is to give priority to the target object that is in the foreground of the target object to be compared based on the plane equation.
- the matching condition determining unit 104B may select the dominant attribute of the target.
- the dominant target is, for example, a target that becomes the foreground when a plurality of targets appear in the image area.
- the feature matching unit 105 matches the features of the target according to the attributes of the dominant target that is in the foreground with respect to the dominated target, and estimates the position of the target.
- the matching condition determination unit 104B included in the external world recognition device 100B which is capable of selecting a dominant target among a plurality of targets detected from the images 40a and 41a.
- FIG. 9 is a block diagram showing an example of the internal configuration of an external world recognition device 100B according to the third embodiment.
- the external world recognition device 100B according to the third embodiment when targets with a plurality of attributes coexist in the image area specified by the target object detection unit 101, a specific target is identified using a template by the feature matching unit 105. A process of selecting a target for matching is performed.
- the external world recognition device 100B includes target detection units 101 and 102, camera parameters 103, a matching condition determining unit 104B, a feature matching unit 105, and a position estimation unit 106.
- the matching condition determination unit 104B included in the external world recognition device 100B includes a transformation selection unit 115 in addition to an imaging plane estimation unit 111 and a geometric transformation estimation unit 112.
- the conversion selection unit selects a target that is close in distance from among a plurality of targets detected from the first image (image 40a) and the second image (image 41a), and selects the selected target.
- Image transformation parameters (geometric transformation parameters) estimated by the image transformation estimation unit (geometric transformation estimation unit 112) for the target object are selected.
- the transformation selection unit 115 selects the geometric transformation parameter estimated for a target having a dominant attribute from the geometric transformation parameters for a plurality of targets estimated by the geometric transformation estimation unit 112. Then, the geometric transformation parameters selected by the transformation selection unit 115 are output to the feature matching unit 105.
- the feature matching unit uses the image transformation parameters (geometric transformation parameters) selected by the transformation selection unit (conversion selection unit 115) to determine the target object detected from the first image (image 40a). Perform image conversion. Then, the feature matching unit 105 matches the feature of the target after the geometric transformation with the feature of the target detected by the target detecting unit 102, and outputs the matching result to the position estimating unit 106.
- the matching condition determination unit 104B uses a plane equation to select the attributes of a target that is close to, that is, in front of, the host vehicle 1.
- FIG. 10 is a diagram showing an example of areas 56 and 57 where the vehicle 2 and the background coexist. It is assumed that the vehicle 2 is running opposite to the own vehicle 1.
- the region 56 a portion of the left side of the vehicle 2 and the road surface that is the background coexist. Further, in the region 57, a portion of the lower side of the vehicle 2 and the road surface serving as the background coexist. Normally, when the road surface is included in the upper part of the image, the three-dimensional object is located in front of the road surface.
- the frame targeted for template matching by the feature matching unit 105 is the region 56, the shape of the vehicle 2 located ahead of the background is preferentially adopted as the matching target.
- an image when an image includes a three-dimensional object and a road surface, the road surface at the bottom of the image is located in front of the three-dimensional object.
- the frame targeted for template matching by the feature matching unit 105 is the area 57, the junction point between the lower part of the vehicle 2 and the road surface is closer to the own vehicle, so the shape of the road surface in front of the own vehicle 1 is Will be given priority as a matching target.
- priority may be given to a three-dimensional object (for example, vehicle 2) that would have a large impact on driving if the host vehicle 1 comes into contact with it, and simply use the attribute information of each vehicle as a matching target. You may decide.
- the conversion selection unit (conversion selection unit 115) preferentially selects a target object that has an attribute that has a large influence on the running of the host vehicle.
- the position estimating unit 106 gives priority to estimating the distance to the target object that has attributes that have a large effect on the running of the own vehicle, so the own vehicle can avoid the target object whose distance has been estimated, etc. Control becomes possible.
- the external world recognition device 100B when targets with a plurality of attributes are detected in one image area in the image 40a, a geometric transformation parameter for one target is selected, This target can be geometrically transformed and compared with the target in the corresponding image area of the image 41a. Therefore, the feature matching unit 105 easily matches the targets to be matched in the images 40a and 41a, and the position estimating unit 106 can accurately estimate the position of the matched target.
- the road surface model (plane equation) estimated by the imaging plane estimation unit 111 will deviate from the actual plane model as the target object is farther away from the own vehicle 1.
- the plane equation estimated by the imaging plane estimating section 111 based on the detection result of the target object detecting section 101 may itself include an error. Therefore, it is assumed that the error included in the plane equation may affect the accuracy of feature matching by the feature matching unit 105B.
- the external world recognition device 100C in which the error included in the plane equation does not affect the accuracy of feature matching by the feature matching unit 105B will be described.
- FIG. 11 is a block diagram showing an example of the internal configuration of an external world recognition device 100C according to the fourth embodiment.
- the plane equation includes an error
- a process of comparing the characteristics of the target object is performed.
- the external world recognition device 100C has the same configuration as the external world recognition device 100 shown in FIG. 3, but the matching condition determining unit 104 is replaced with a matching condition determining unit 104C, and the matching condition determining unit 104C is connected to the geometric transformation estimation unit 112A.
- the difference is that an error estimation unit 107 is provided.
- the error estimation unit (error estimation unit 107) estimates the error of the imaging plane estimated by the imaging plane estimation unit (imaging plane estimation unit 111).
- the error estimation unit 107 estimates the error of the plane equation estimated by the imaging plane estimation unit 111, and outputs the estimation result to the geometric transformation estimation unit 112A.
- the error in the plane equation is, for example, a value determined in a preliminary experiment or a design stage.
- the error estimating unit 107 estimates a large error for objects far away from the own vehicle 1 and a small error for objects near the own vehicle 1.
- One way to use the error output from the error estimation unit 107 is, for example, for a plane equation for which the error estimation result by the error estimation unit 107 is equal to or greater than a certain value, the geometric transformation estimation unit 112A does not output a geometric transformation parameter. do it like this. As a result, the feature matching unit 105B does not need to use the geometric transformation parameters estimated by the geometric transformation estimation unit 112A. The reason why such processing is performed is that geometric transformation of the imaging plane by the feature matching unit 105B is expected to adversely affect feature matching processing. When the feature matching unit 105B does not use a geometric transformation parameter, it does not perform geometric transformation of the imaging plane and matches the targets detected from the images 40a and 41a as they are.
- the image transformation estimating unit determines the error range of the imaging plane to be subjected to image transformation, based on the error of the imaging plane. Then, the geometric transformation estimation unit 112A uses the estimation result of the error of the plane equation input from the error estimation unit 107 to determine whether or not the geometric transformation parameters estimated for the imaging plane estimated by the imaging plane estimation unit 111 can be output. do. Since the error range of the imaging plane is determined in this way, the geometric transformation parameters estimated for the imaging plane with a large error are no longer output.
- the feature matching unit 105B matches the areas where the target objects of the images 40a and 41a are detected without performing geometric transformation, and uses the matching results as the position estimation unit 106. Output to.
- the geometric transformation estimation unit 112A uses the estimation result of the error of the plane equation to determine whether or not to output the geometric transformation parameter. If the geometric transformation parameters are not output, the feature matching unit 105B matches the area where the target has been detected without performing the geometric transformation. Compared to , the accuracy of matching target features is improved.
- FIG. 12 is a block diagram showing an example of the internal configuration of a geometric transformation estimation unit 112A and a feature matching unit 105B according to a modified example of the external world recognition device 100C.
- a configuration example of the geometric transformation estimation section 112A and the feature matching section 105B of the external world recognition device 100C shown in FIG. 11 will be explained with emphasis.
- the parameters of the plane equation estimated from the imaging plane by the imaging plane estimation unit 111 have empirical errors ( ⁇ , ⁇ , ⁇ , ⁇ ) with respect to the original parameters ( ⁇ , ⁇ , ⁇ , ⁇ ). Assume that there is a deviation of In this case, the geometric transformation estimation unit 112A copies the estimation result of the imaging plane for each imaging plane by N patterns within the range of this error width.
- FIG. 12 shows an example of the configuration and processing of a geometric transformation estimation unit 112A that can execute one of the methods.
- the image transformation estimation unit (geometric transformation estimation unit 112A) shown in FIG. 12 generates a plurality of imaging planes based on the error of the imaging plane estimated by the error estimation unit (error estimation unit 107), and A plurality of image transformation parameters (geometric transformation parameters) are estimated for each image transformation parameter.
- the geometric transformation estimation section 112A includes an imaging plane N generation section 112A-1 and a geometric transformation N estimation section 112A-2.
- the imaging plane N generation unit 112A-1 for example, randomly allocates parameters so that they fall within the above error range, adds them to the parameters of the plane equation estimated by the imaging plane estimation unit 111, and generates N patterns of a plurality of imaging planes. generate.
- the geometric transformation N estimation unit 112A-2 estimates a plurality of geometric transformation parameters for each of the generated N patterns of imaging planes. Therefore, the geometric transformation N estimation unit 112A-2 can estimate N patterns of geometric transformation parameters.
- the geometric transformation N estimation unit 112A-2 estimated by the geometric transformation N estimation unit 112A-2 is output to the feature matching unit 105B.
- the feature matching unit compares the features of the target detected from the first image (image 40a), which has been image-converted using a plurality of image transformation parameters (geometric transformation parameters), and the second image (image 40a). 41a) is performed multiple times, and the results of the matching process with a high evaluation are output to the position estimation unit (position estimation unit 106).
- This feature matching section 105B includes a feature N matching section 105B-1 and a feature matching result selection section 105B-2.
- the feature N matching unit 105B-1 receives the estimation results of N patterns of geometric transformation parameters from the geometric transformation N estimation unit 112A-2 of the geometric transformation estimation unit 112A. Then, the feature N matching unit 105B-1 performs N different matching processes on the features of the target object based on the estimation results of the inputted N patterns of geometric transformation parameters. The results of these N times of matching processing are each output to the feature matching result selection section 105B-2.
- the feature matching result selection unit 105B-2 selects the result of the matching process with the highest evaluation at the time of matching from among the results of the N matching processes input from the feature N matching unit 105B-1, and selects the result of the matching process with the highest evaluation during matching.
- the result is output to the position estimation unit 106.
- the position estimating unit 106 estimates the position of the target based on the result of the matching process input from the feature matching unit 105B.
- the external world recognition device 100C includes the geometric transformation estimation unit 112A and the feature matching unit 105B, so that the geometric transformation parameters of the N patterns can be calculated from the estimation results of the N patterns of the imaging plane. The estimated results can be obtained. Then, after the matching process is performed N times using the estimation results of the geometric transformation parameters of the N patterns, the result of the matching process with the highest evaluation at the time of matching is selected. Therefore, even if the parameters of the plane equation estimated by the imaging plane estimation unit 111 include errors with respect to the original parameters, the position estimation unit 106 can estimate the position of the target object reflected in the images 40a and 41a. Be able to do it accurately.
- FIG. 13 is a block diagram showing an example of the internal configuration of the external world recognition device 100D.
- the external world recognition device 100D includes a parallax calculation unit 108 and a parallax validity verification unit 109 in addition to target detection units 101 and 102, camera parameters 103, a matching condition determination unit 104, and a position estimation unit 106.
- the parallax calculation unit calculates the parallax from the first image (image 40a) input from the imaging unit 40 and the second image (image 41a) input from the imaging unit 41, and calculates the parallax from the first image (image 41a) input from the imaging unit 41.
- the positions of the targets shown in the image 40a) and the second image (image 41a) are compared. That is, the parallax calculation unit 108 calculates the parallax between the images 40a and 41a without using the plane equation estimated by the imaging plane estimation unit 111 based on the detection result of the target object by the target detection unit 101.
- parallax calculation unit 108 calculates parallax and outputs the result of comparing the corresponding positions of the same target appearing in the images 40a and 41a to the parallax validity verification unit 109 as a second matching result.
- the parallax validity verification unit 109 is a modification of the feature matching unit 105 according to the first embodiment.
- the feature matching unit (parallax validity verification unit 109) compares the characteristics of the target detected from the first image (image 40a), which has been image-converted using image conversion parameters (geometric conversion parameters), and the second image (image 41a). ), and the second matching result, which was matched by parallax, is compared, and based on the validity of the comparison result, the first matching result or The second matching result is output to the position estimation section (position estimation section 106).
- the parallax validity verification unit 109 uses the plane equation estimated by the imaging plane estimation unit 111 to calculate the target object in the image area that has been geometrically transformed by the geometric transformation parameter estimated by the geometric transformation estimation unit 112, and the image 41a. A first matching result is obtained by matching the target object in the area. Then, the parallax validity verification unit 109 compares the first verification result and the second verification result, and verifies the validity of the second verification result by the parallax calculation unit 108. The validity of the matching result by the parallax validity verification unit 109 is assumed to be determined based on the degree of matching in template matching, for example.
- the parallax validity verification unit 109 limits the first matching result obtained by the plane equation and the geometric transformation parameter, and converts this limited first matching result into a correct second matching result by the parallax calculation unit 108. Used for verification processing. This process is performed because the parallax validity verification unit 109 obtains the first matching result obtained from the plane equation and the geometric transformation parameter for all targets commonly included in the images 40a and 41a. This is because the processing load on the parallax validity verification unit 109 increases.
- the parallax validity verification unit 109 compares the limited first matching result with the second matching result, and if the first matching result using geometric transformation has high validity, the first matching result is The result is adopted and the first matching result is output to the position estimation unit 106. For example, if the target is detected at a position close to the host vehicle 1, the parallax will be large, so the validity of the second matching result based on the parallax will be low. On the other hand, if this target is located close to the host vehicle 1, the imaging plane can be estimated accurately, so the validity of the first matching result based on the geometric transformation becomes high. Therefore, the position estimating unit 106 estimates the position of the target object using the first matching result, similarly to the external world recognition device 100 according to the first embodiment described above.
- the parallax validity verification unit 109 compares the first matching result and the second matching result, and if the validity of the second matching result is low, calculates the parallax between the images 40a and 41a and performs the matching.
- the second matching result thus obtained is output to the position estimating unit 106. For example, if the target is detected at a position far from the own vehicle 1, the parallax will be small, so the validity of the second matching result based on the parallax will be high. On the other hand, since this target is located far from the host vehicle 1, the imaging plane is estimated inaccurately, and the validity of the first matching result based on the geometric transformation becomes low. Therefore, the position estimating unit 106 estimates the position of the target using the second matching result.
- the parallax validity verification unit 109 may again compare the first matching result and the second matching result with respect to the image area in which this target is reflected.
- the first image region of the image 40a and the image region of the image 41a that have been geometrically transformed using the geometric transformation parameters output from the matching condition determination unit 104 are matched.
- the validity of the matching result is verified by comparing the matching result with the second matching result of the images 40a and 41a using the parallax calculated by the parallax calculation unit 108.
- the parallax validity verification unit 109 determines the result to be output to the position estimation unit 106 as either the first verification result or the second verification result, depending on the validity of the verification result. If the validity obtained by comparing the first matching result and the second matching result is low, the position estimating unit 106 can estimate the position of the target using the second matching result. Therefore, depending on whether the target object is located close to or far from the host vehicle 1, either the first verification result or the second verification result is output to the position estimation unit 106. Therefore, the position estimating unit 106 can quickly estimate the positions of targets located at various positions.
- the present invention has been described as an external world recognition device mounted on the vehicle 1, but this external world recognition device can be applied to, for example, a self-propelled robot equipped with a plurality of cameras, or a self-propelled robot equipped with a plurality of cameras. It may also be used in an infrastructure monitoring system that monitors premises using captured images. In an infrastructure monitoring system, for example, a configuration in which a plurality of cameras are installed at one location is assumed.
- an external world recognition device that has a function of directly calculating distance from the results of machine learning.
- the external world recognition device becomes able to calculate the distance to the target using machine learning, the distance can be calculated as soon as the target is detected from the image, reducing the calculation load on the external world recognition device. can do.
- the external world recognition device may perform parallax matching used in conventional stereo cameras.
- the external world recognition device may refer to the result that is estimated to be the best matching result from the results of matching multiple images, and may also estimate the positional relationship of each target using map information prepared in advance. can.
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
外界認識装置は、第一の物標検知部による物標の検知結果に基づいて、第一画像における撮像平面を推定する撮像平面推定部と、撮像平面推定部が推定した撮像平面の情報と、複数の撮像部の撮像パラメータとに基づいて、第二画像における撮像平面に合わせた画像変換パラメータを推定する画像変換推定部と、画像変換推定部による画像変換パラメータを用いて画像変換した第一画像から検知された物標の特徴と、第二画像から検知された物標の特徴とを照合する特徴照合部と、特徴照合部の照合結果に基づいて、物標の三次元位置を推定する位置推定部と、を備える。
Description
本発明は、外界認識装置及び外界認識方法に関する。
自動運転や高度運転支援システムの実現においては、車両の外界を監視し、走行経路にある障害物や、走行経路のレーン情報などの車両の走行に必要な物体を検知するカメラの重要性が高まっている。特に、物体の検知性能を高めるために、車両に複数台のカメラを搭載し、カメラから車両の周囲の情報を取得して、周囲の状況を認識する機能が実現されている。
このような外界を認識するカメラの種類として、例えば、複数のカメラを使用したステレオカメラがある。ステレオカメラは、所定の間隔を空けて2つのカメラが車両に配置されたものである。そして、2つのカメラが撮影した画像の重複領域の視差を利用して、撮影された物体までの距離を計測することができる。
ステレオカメラには、2台のカメラの光軸を平行に設置した平行ステレオカメラや、光軸を非平行に設置した非平行ステレオカメラなどが存在する。また、2台以上のカメラを使用したカメラシステムをマルチビューステレオシステムと呼称することもある。
車両に搭載された電子制御装置(以下、ECU(Electronic Control Unit)と呼ぶ)は、複数のカメラが撮影した複数の画像を用いて、物体までの距離を測定することで、車両の前方にある物体との接触可能性を把握できる。しかし、異なる位置にある2つのカメラでは同じ物体を撮像していたとしても、一般に2つのカメラ間で物体の映り方が異なる。映り方の違う画像同士を照合した場合、一方の画像と他方の画像とで映り方の違うパターンと似たパターンがあった場合に、誤った位置で画像を照合する可能性がある。
誤った位置で画像を照合してしまうと、照合結果に基づいて測定される物体までの距離を誤ることに繋がり、車両の誤制御に繋がる可能性がある。実世界における物体の形状や平面のモデルが分かれば、各画像上での映り方が幾何学的に求まるため、形状や平面などを予測して照合することで誤照合が抑制できると考えられる。
特許文献1には、「第1カメラによって撮像された第1画像と第2カメラによって撮像された第2画像の少なくとも一方を変形することで第1画像及び第2画像を共通の視点からの画像に変換する視点変換を行った後に複数の対応点を抽出し、視点変換前の第1画像及び第2画像における複数の対応点の座標を利用して第1カメラ及び第2カメラの幾何校正を行う」と記載されている。
また、特許文献2には、「撮像手段により撮像されたステレオカメラ画像情報が、下向きで路面や床面等の監視対象面を撮像したものであることから、従来のほぼ水平方向に向いて設置されたステレオカメラによるステレオカメラ画像情報と比較して、監視対象面により向き合うような画像情報とすることにより、さらに、この下向きのステレオカメラ画像情報を平行化変換処理した平行化画像情報に基づいて3D距離画像情報を生成するので、監視対象面に対して上から見下ろす俯瞰画像となるため、路面や床面に対する距離を高精度で求めることができる。」と記載されている。
画像に映っている物体毎に、自車両から物体までの距離を算出する方法を変えるのが適切であるが、特許文献1及び2に開示された技術では、画像内の特定の場所には特定の物体が映っていることを前提とした処理が行われていた。このため、画像内の特定の場所に不特定の物体が映っていた場合、その物体までの距離の測定を誤ることがあった。また、特許文献1及び2に開示された技術では、自車両に正対した物体までの距離を算出することができても、自車両に正対していない物体(例えば、側壁、ガードレール)等の距離を誤ることがあった。
本発明はこのような状況に鑑みて成されたものであり、見え方が異なる2つの画像に不特定の物標が映った場合であっても、この物標までの距離を推定できるようにすることを目的とする。
本発明に係る外界認識装置は、外界に対する撮像視野の少なくとも一部が重複する複数の撮像部のうち、少なくとも第一の撮像部から取得した第一画像に基づいて、物標を検知する第一の物標検知部と、複数の撮像部のうち、第二の撮像部から取得した第二画像に基づいて、物標を検知する第二の物標検知部と、第一の物標検知部による物標の検知結果に基づいて、第一画像における撮像平面を推定する撮像平面推定部と、撮像平面推定部が推定した撮像平面の情報と、複数の撮像部の撮像パラメータとに基づいて、第二画像における撮像平面に合わせた画像変換パラメータを推定する画像変換推定部と、画像変換推定部による画像変換パラメータを用いて画像変換した第一画像から検知された物標の特徴と、第二画像から検知された物標の特徴とを照合する特徴照合部と、特徴照合部による照合処理の結果に基づいて、物標の三次元位置を推定する位置推定部と、を備える。
本発明によれば、見え方が異なる2つの画像に不特定の物標が映った場合であっても、この物標までの距離を推定できるようになる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。本発明は、例えば、先進運転支援システム(ADAS:Advanced Driver Assistance System)、又は自動運転(AD:Autonomous Driving)向けの車載ECU(Electronic Control Unit)が通信可能な車両制御用の演算装置に適用可能である。
[第1の実施形態]
図1A,図1B、及び図1Cは、第1の実施形態に係る車両1に搭載されるカメラの位置、車両1を基準とした世界座標系、画像座標系について示す図である。
図1A,図1B、及び図1Cは、第1の実施形態に係る車両1に搭載されるカメラの位置、車両1を基準とした世界座標系、画像座標系について示す図である。
図1Aは、車両1のフロント、左側面、右側面にそれぞれ、フロントカメラ10、左カメラ20、右カメラ30を設けた構成例を示す。以下の説明で、フロントカメラ10、左カメラ20、右カメラ30を区別しない場合、単に「カメラ」とも呼ぶ。
図1Aでは、フロントカメラ10の撮影範囲10a、左カメラ20の撮影範囲20a、右カメラ30の撮影範囲30aが一点鎖線で区切って示されている。撮影範囲10a,20aは、一部の範囲が重なっている。同様に、撮影範囲10a,30aは、一部の範囲が重なっており、撮影範囲20a,30aは、一部の範囲が重なっている。これらの重なった範囲では、同じものがそれぞれのカメラで撮影された画像に映り込む。
車両1に設置されたカメラが撮影した画像により、車両1に搭載されたECU(後述する図3に示す外界認識装置100)は、歩行者、他の車両、白線、路面などの、車両1の周囲に存在する物体の物体情報と、車両1から物体までの距離、物体のサイズ、物体の速度などの物理量を推定して取得する。そして、他のECU(不図示の自動運転制御ECU)は、取得した物理量に基づいて車両1の制御量を決定し、車両1の自動運転や運転支援等を実施する。以下の説明では、車両1の走行に影響を与える可能性のある物体(路面、人、ガードレール、白線等)を「物標」と呼ぶ。
図1Bは、車両1の位置を原点とした世界座標系の例を示す。この世界座標系では、車両1の進行方向にX軸をとり、該X軸と直交する水平方向にY軸をとり、鉛直方向にZ軸をとる。車両1以外の物標の位置は、世界座標系により推定される。このため、車両1から物標までの距離も推定される。
車両1から物標までの距離の推定方法にはいくつかある。代表的な距離の推定方法として、複数のカメラが同じ物標を撮像する場合に、三角測量の原理で物標までの距離を計測する方法がある。この方法では、道路上に存在する世界座標の任意の点を斉次座標系で転置行列X=(X,Y,Z,1)Tとし、カメラの回転角に関わる外部パラメータ行列をRとし、カメラの設置位置に関わる外部パラメータ行列をTとする。そして、外部パラメータ行列R,Tの行列をP=(R|T)とし、カメラの焦点距離や光学中心など内部状態を管理する内部パラメータ行列をKとする。
図1Cは、画像内で物標を特定するための画像座標系の例を示す。この画像座標系では、画像の左上を原点として水平方向にu軸をとり、垂直方向にv軸をとる。そして、カメラが撮像した画像内における物標の位置が(u,v)で特定される。
ここで、転置行列Xが撮像された画像座標を斉次座標系で転置行列u=(u,v,1)Tとし、スケールパラメータをsとし、透視投影モデルのレンズで仮定するとそれぞれのカメラについて式(1)が成り立つ。スケールパラメータsはスカラー値である。また、式(1)における記号上の添え字はカメラの種類を表す。ここでは、2つのカメラを識別するために、一方のカメラの添え字を「0」とし、他方のカメラの添え字を「1」としている。なお、式(1)にて、スケールパラメータsが無ければ、式(1)の右辺が左辺の定数倍になってしまう。そこで、式(1)の右辺が左辺の定数倍にならないようにするためにスケールパラメータsが設けられる。
一つのカメラの画像座標が与えられた場合、この画像座標から物標の三次元点を復元することは何らかの前提条件なしには不可能である。しかし、同じ位置Xを映す2つのカメラの組があった場合には、位置Xの同一箇所が画像座標(u0,u1)で表されるのであれば、式(2)を用いて最小二乗法を解くことで三次元点Xを推定することができる。ただし、式変形の形によっては、式(2)を用いた解き方に限る必要はない。
ここで、図1Aを参照して、式(2)の意味を説明する。
フロントカメラ10の画角は、撮影範囲10aに示されるように、フロントカメラ10の設置位置における三角形の頂角である。同様に、左カメラ20の画角は、撮影範囲20aに示されるように、左カメラ20の設置位置における三角形の頂角である。右カメラ30の画角は、撮影範囲30aに示されるように、右カメラ30の設置位置における三角形の頂角である。
フロントカメラ10の画角は、撮影範囲10aに示されるように、フロントカメラ10の設置位置における三角形の頂角である。同様に、左カメラ20の画角は、撮影範囲20aに示されるように、左カメラ20の設置位置における三角形の頂角である。右カメラ30の画角は、撮影範囲30aに示されるように、右カメラ30の設置位置における三角形の頂角である。
フロントカメラ10の画角と、左カメラ20の画角が重複する領域が車両1の左前方にある。このため、2つのカメラの画角が重複する領域に映る物標に対して三角測量の原理で距離が推定できる。同様に、フロントカメラ10の画角と、右カメラ30の画角が重複する領域(車両1の右前方)についても、三角測量の原理で距離が推定できる。
2つの画像に共通して映る物標を、2つの画像の同一位置で効率的に探索するためには、式(3)に示すエピポール拘束式が用いられる。この式を使う際には、片方の画像に映った物標の画像座標を与えた場合に、もう片方の画像に映った物標の画像座標の位置の候補が直線上にあるため、画像全体ではなく、その直線上を探索すればよいという条件を与える。エピポール拘束式で用いられる基本行列は、上に示した2つのカメラ(例えば、フロントカメラ10と左カメラ20)の外部パラメータ行列と内部パラメータ行列から導かれる。
また、上記に示したパラメータ群を適切に用いて平行化という前処理を施せば、世界座標の任意の点Xが同一の画像の高さに並ぶ画像に変換することができる。平行化された画像の横方向に探索するという簡易な処理で物標の同一位置の探索を実施できる。これは平行ステレオカメラの原理である。いずれにせよ、2つの画像から物標の同一位置を探索することは、各画像を撮像したカメラに固有のパラメータや設置条件の情報などから推定することが可能である。ここで、両画像とは、図1Aでは、フロントカメラ10と左カメラ20の画像、フロントカメラ10と右カメラ30の画像、左カメラ20と右カメラ30の画像の組み合わせが想定される。このように2つの画像を探索して物標の同一位置を求めることを以下では簡単に「照合する」と呼ぶ。
なお、画像情報を照合する手法にはいくつかあり、典型的な手法としてテンプレートマッチングが挙げられる。テンプレートマッチングは、一方の画像から関心のある物標の画像座標の周辺を矩形などの小さい領域で切り出し、その矩形内の画素分布に近い領域を他方の画像から小さい矩形領域を移動しながら適当なコスト関数を用いて探索する手法である。比較手法としては差分絶対値和、差分二乗和などが基本的な手法として知られる。
画像情報を照合する別の手法としては、画像内における物標の角(コーナー)などの画像特徴の高い部分における画像座標をまず探索して特徴点とした上で、この特徴点の周辺の画像特徴量をベクトル化(特徴量化)して保持する方法がある。特徴量化の手法としてはSIFT(Scale Invariant Feature Transform)、ORB(Oriented FAST and Rotated BRIEF)などが代表的なものとして知られ、深層学習ベースの手法も存在する。深層学習ベースの手法は、2つの画像間で特徴量同士を照合する手法である。
ここで、2つのカメラの画角の重複領域にて同一の物標が映る画像について説明する。
図2は、図1Aに示したフロントカメラ10と左カメラ20が撮像した車両1の前景の画像の例を示す図である。フロントカメラ10が撮像した画像を「フロントカメラ画像」と呼び、左カメラ20が撮像した画像を「左カメラ画像」と呼ぶ。
図2は、図1Aに示したフロントカメラ10と左カメラ20が撮像した車両1の前景の画像の例を示す図である。フロントカメラ10が撮像した画像を「フロントカメラ画像」と呼び、左カメラ20が撮像した画像を「左カメラ画像」と呼ぶ。
車両1の手前には横断歩道があり、奥には直方体状の物標が存在する。横断歩道と直方体上の物標は、いずれも左カメラ画像とフロントカメラ画像に映っている。ここで、左カメラ画像に映る横断歩道の一部の領域21,22を破線の矩形枠で表す。同様にフロントカメラ画像に映る横断歩道の一部の領域11,12を破線の矩形枠で表す。領域21,11の組み合わせ、領域22,12の組み合わせのように左カメラ画像の矩形枠に対応する場所が、フロントカメラ画像にも存在している。しかし、左カメラ画像とフロントカメラ画像とで、矩形枠の内部(横断歩道の一部)の見え方が大きく異なる。
このように大きく見え方が異なる2つの画像に映る同じ場所の画像を照合するのは、上述したテンプレートマッチングでは難しく、特徴点又は特徴量を用いた照合であっても難しい。通常、テンプレートマッチングは、画像中の同じ位置にある画素同士を比較するが、見え方が異なるとマッチングしにくくなる。また、見え方が異なる画像同士で特徴点又は特徴量が作成されることでも、互いに画像をマッチングしにくくなる。このため、本来異なる形状同士が照合されたり、本来同一と判断されるべき形状が画像内で見つからず照合されなかったりする。このように異なる画像に映る同じ物標の照合が正しく行われなければ、その物標までの距離を誤って推定する可能性がある。
そこで、本発明者は、片方の画像に対してどのような変換をすれば、大きく見え方が異なる2つの画像の照合時に物標の差分が少なくなるかを検討した。以下に、2つの画像に映る同一物の照合の性能を上げることが可能な本発明の各実施形態に係る外界認識装置及び物標照合方法について、図3以降の図面を参照して説明する。外界認識装置は、車両1に搭載されるECUに構成されるソフトウェアにより、その機能が実現される。
図3は、第1の実施形態に係る外界認識装置100の内部構成例を示すブロック図である。外界認識装置100は、例えば、車両1に搭載されるECUの一形態である。また、以下の説明では、外界認識装置100が搭載される車両1を他の車両2と区別するため、「自車両1」とも呼ぶ。
外界認識装置100は、車両1に搭載される装置である。外界とは、例えば、外界認識装置100が搭載される車両1の外のことであり、外界認識装置100は、外界に存在する様々な物標を認識する。物標の認識結果は、例えば、物標の属性、物標の大きさ、車両1から物標までの距離等の情報を含む。
外界認識装置100には、2つの撮像部40,41が撮像した2つの画像がそれぞれ入力される。撮像部40は、例えば、図1Aに示した左カメラ20であり、左カメラ20が撮像した画像40aを物標検知部101に出力する。
撮像部41は、例えば、図1Aに示したフロントカメラ10であり、フロントカメラ10が撮像した画像41aを物標検知部102に出力する。
撮像部40,41の図1Aに示した各カメラの組み合わせは、フロントカメラ10と右カメラ30、左カメラ20と右カメラ30としてもよい。
外界認識装置100には、2つの撮像部40,41が撮像した2つの画像がそれぞれ入力される。撮像部40は、例えば、図1Aに示した左カメラ20であり、左カメラ20が撮像した画像40aを物標検知部101に出力する。
撮像部41は、例えば、図1Aに示したフロントカメラ10であり、フロントカメラ10が撮像した画像41aを物標検知部102に出力する。
撮像部40,41の図1Aに示した各カメラの組み合わせは、フロントカメラ10と右カメラ30、左カメラ20と右カメラ30としてもよい。
外界認識装置100は、2つの物標検知部101,102、カメラパラメータ103、照合条件決定部104、特徴照合部105、及び位置推定部106を備える。
物標検知部101は、撮像部40から入力した画像に対する物標検知処理を行う。この第一の物標検知部(物標検知部101)は、外界に対する撮像視野の少なくとも一部が重複する複数の撮像部のうち、少なくとも第一の撮像部(撮像部40)から取得した第一画像(画像40a)に基づいて、物標を検知する。
物標検知部102は、撮像部41から入力した画像に対する物標検知処理を行う。この第二の物標検知部(物標検知部102)は、複数の撮像部のうち、第二の撮像部(撮像部41)から取得した第二画像(画像41a)に基づいて、物標を検知する。
物標検知部102は、撮像部41から入力した画像に対する物標検知処理を行う。この第二の物標検知部(物標検知部102)は、複数の撮像部のうち、第二の撮像部(撮像部41)から取得した第二画像(画像41a)に基づいて、物標を検知する。
物標検知部101,102で行われる物標検知処理は、例えば、入力された画像40a,41aから車両2や白線、歩行者、車両1の走行可能領域、ガードレール、側壁などを検知する処理である。図2に示したような領域11,12,21,22に示される各画像の一部が物標検知処理の結果として後続の機能部に出力される。なお、物標検知部101,102は、物標検知処理を通じて、物標毎に画像解析をすることで物標の属性を求めることもできる。物標検知部101による物標検知処理の結果は、照合条件決定部104の撮像平面推定部111に出力される。物標検知部102による物標検知処理の結果は、特徴照合部105に出力される。以下の説明では、物標検知処理の結果を「物標の検知結果」とも呼ぶ。
また、撮像部40が撮像した画像は、物標検知部101を介して、照合条件決定部104に入力され、さらに照合条件決定部104を介して特徴照合部105に入力される。撮像部41が撮像した画像は、物標検知部102を介して、特徴照合部105に入力される。
照合条件決定部104は、画像40a,41aにおいて検知された同じ物標が互いに対応する位置を特徴照合部105が照合するための照合条件を決定する。この照合条件決定部104は、撮像平面推定部111及び幾何変換推定部112を備える。
撮像平面推定部(撮像平面推定部111)は、物標検知部(物標検知部101)による物標の検知結果に基づいて、第一画像(画像40a)における撮像平面を推定する。この撮像平面推定部111は、物標検知部101から入力した物標の検知結果に基づいて、各物標が実世界でどのような平面で構成されているかを推定する。各物標を構成する平面を撮像平面と呼び、撮像平面の平面方程式で表現される。撮像平面推定部(撮像平面推定部111)は、物標の大きさ、及び物標までの距離に基づいて、撮像平面を推定する。また、撮像平面推定部(撮像平面推定部111)は、物標が撮像された画像領域において撮像平面を推定する。なお、平面方程式は、例えば、パラメータ(α,β,γ,δ)で表される。撮像平面推定部111が推定した撮像平面の方程式は、幾何変換推定部112に出力される。
画像変換推定部(幾何変換推定部112)は、撮像平面推定部(撮像平面推定部111)が推定した撮像平面の情報と、複数の撮像部の撮像パラメータ(カメラパラメータ103)とに基づいて、複数の撮像部のうち、第二画像(画像41a)における撮像平面に合わせた画像変換パラメータ(幾何変換パラメータ)を推定する。例えば、幾何変換推定部112は、撮像平面推定部111から入力した撮像平面の方程式と、カメラパラメータ103とに基づいて、撮像部40,41で撮像されている場所における画像間の幾何変換パラメータを推定する。カメラパラメータ103として、例えば、上述した式(1)に含まれるK及びPがある。ただし、カメラパラメータ103は、固定値としてもよい。
なお、撮像平面推定部111及び幾何変換推定部112は物標検知部102側にあってもよい。
なお、撮像平面推定部111及び幾何変換推定部112は物標検知部102側にあってもよい。
特徴照合部(特徴照合部105)は、画像変換推定部(幾何変換推定部112)による画像変換パラメータ(幾何変換パラメータ)を用いて画像変換した第一画像(画像40a)から検知された物標の特徴と、第二画像(画像41a)から検知された物標の特徴とを照合する。この特徴照合部105は、物標検知部101が検知した物標に幾何変換を行った変換結果の特徴と、物標検知部102から入力した物標の検知結果の特徴とを照合する。このため、特徴照合部105は、幾何変換推定部112により推定された幾何変換パラメータを用いて、画像40aから検知された物標の形状を変換する。その後、特徴照合部105は、形状が変換された物標の形状と、画像41aから検知された物標の形状とを照合し、自車両1から物標までの距離を算出する。自車両1から物標までの距離が特徴照合部105による照合結果として位置推定部106に出力される。照合結果は、例えば、照合される物標を含む画像領域ごとに、不一致を0%、完全一致を100%とする値で表してもよい。そして、特徴照合部105は、80%以上の照合結果であれば、この照合結果は信頼度が高いと判断し、信頼度が高い照合結果を位置推定部106に出力してもよい。
位置推定部(位置推定部106)は、特徴照合部(特徴照合部105)による照合処理の結果に基づいて、物標の三次元位置を推定する。例えば、位置推定部106は、特徴照合部105による照合結果に基づいて、世界座標系(図1Bを参照)における物標の三次元位置(「位置推定結果」と呼ぶ)を推定する。この時、位置推定部106は、自車両1から物標までの距離を算出し、物標ごとの距離を位置推定結果に含めることができる。位置推定結果は、自車両1に搭載された他のECU(例えば、自動運転制御用のECU)による自車両1の車両制御に用いられたり、自車両1の周辺にある物標の奥行き情報を求めるために用いられたりする。
次に、外界認識装置100を構成する計算機80のハードウェア構成を説明する。
図4は、計算機80のハードウェア構成例を示すブロック図である。計算機80は、本実施の形態に係る外界認識装置100として動作可能なコンピューターとして用いられるハードウェアの一例である。本実施の形態に係る外界認識装置100は、計算機80(コンピューター)がプログラムを実行することにより、図3に示した各機能ブロックが連携して行う画像処理方法を実現する。
図4は、計算機80のハードウェア構成例を示すブロック図である。計算機80は、本実施の形態に係る外界認識装置100として動作可能なコンピューターとして用いられるハードウェアの一例である。本実施の形態に係る外界認識装置100は、計算機80(コンピューター)がプログラムを実行することにより、図3に示した各機能ブロックが連携して行う画像処理方法を実現する。
計算機80は、バス84にそれぞれ接続されたCPU(Central Processing Unit)81、ROM(Read Only Memory)82、及びRAM(Random Access Memory)83を備える。さらに、計算機80は、不揮発性ストレージ85及びネットワークインターフェイス86を備える。
CPU81は、本実施の形態に係る各機能を実現するソフトウェアのプログラムコードをROM82から読み出してRAM83にロードし、実行する。RAM83には、CPU81の演算処理の途中で発生した変数やパラメータ等が一時的に書き込まれ、これらの変数やパラメータ等がCPU81によって適宜読み出される。ただし、CPU81に代えてMPU(Micro Processing Unit)を用いてもよい。外界認識装置100における各機能部の機能は、CPU81、ROM82及びRAM83により実現される。
不揮発性ストレージ85としては、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フレキシブルディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ又は不揮発性のメモリ等が用いられる。この不揮発性ストレージ85には、OS(Operating System)、各種のパラメータの他に、計算機80を機能させるためのプログラムが記録されている。ROM82及び不揮発性ストレージ85は、CPU81が動作するために必要なプログラムやデータ等を記録しており、計算機80によって実行されるプログラムを格納したコンピューター読取可能な非一過性の記憶媒体の一例として用いられる。カメラパラメータ103等の各種の値は、RAM83又は不揮発性ストレージ85に保存され、適宜読み出される。
ネットワークインターフェイス86には、例えば、NIC(Network Interface Card)等が用いられ、NICの端子に接続されたLAN(Local Area Network)、専用線等を介して各種のデータを外部の装置と送受信することが可能である。
ここで、撮像平面推定部111が行う処理について、図5Aと図5Bを参照して説明する。
図5Aと図5Bは、フロントカメラ10で撮像された画像の例を示す。
図5Aは、直進方向に、他の車両2、人物、ガードレール、側壁が映っている画像である。図5Aでは、領域51が路面の検知結果を表し、領域52がガードレールの検知結果を表し、領域53が人物の検知結果を表し、領域54が側壁の検知結果を表している。このように領域51~54が物標の検知結果として用いられる。
図5Aと図5Bは、フロントカメラ10で撮像された画像の例を示す。
図5Aは、直進方向に、他の車両2、人物、ガードレール、側壁が映っている画像である。図5Aでは、領域51が路面の検知結果を表し、領域52がガードレールの検知結果を表し、領域53が人物の検知結果を表し、領域54が側壁の検知結果を表している。このように領域51~54が物標の検知結果として用いられる。
撮像平面推定部111は、ある画像座標における検知結果に従って、例えば、その撮像平面を、平面方程式であるαX+βY+γZ+δ=0に従うようにパラメータ(α,β,γ,δ)を推定する。
例えば、物標検知部101が画像から物標を検知した結果が領域51のような路面であるとする。この場合、撮像平面推定部111は、その画像座標で撮像された平面を車両1が接地して走行している車両接地面として、Z=0、つまり(α,β,γ,δ)=(0,0,1,0)として推定する。なお、物標の検知結果が坂道の場合は、平面方程式は、例えばhX+Z+k=0と表される。つまり、撮像平面推定部111は、(α,β,γ,δ)=(h,0,1,k)として推定することができる。
図5Bは、自車両1の斜め前に他の車両2が映っている画像である。ここでは、自車両1の前方にカーブした道路がある場面が想定される。例えば、物標検知部101による検知結果が他の車両2であって、領域55のように直方体のバウンディングボックスとして検知結果が出力される場合を想定する。この場合、撮像平面推定部111は、領域55で表される直方体の形状から、直方体の正面、背面及び側面を撮像平面とした各面の平面方程式を推定する。なお、領域55のバウンディングボックスの正面とは、車両2の前方の面であり、背面とは車両2の後方の面であり、側面とは車両2の左右の面である。
ここで、物標検知部101により検知された他の車両2が、Z=0の平面に直立していると仮定する。このため、撮像平面推定部111は、領域55で表される直方体の面の平面方程式は、例えばaX+bY+d=0と表される。つまり、撮像平面推定部111は、(α,β,γ,δ)=(a,b,0,d)として平面方程式のパラメータを推定する。本明細書では、平面方程式のパラメータを推定することを「撮像平面を推定する」とも呼ぶ。
ただし、直方体の面によって実際の係数値は異なる。実際の係数値はセンサから出力される、自車両1から他の車両2までの推定距離などを用いる。例えば、路面と他の車両2の接地面の位置、並びに単眼カメラの設置位置及び設置角度から距離を推定可能とする公知の測定原理を用いることで、検知結果が距離の推定情報を含むことがある。この場合、撮像平面推定部111は、検知結果に含まれる距離の推定情報に基づいて、車両1の側面などの平面方程式も推定可能である。このため、撮像平面推定部111は、推定した平面方程式を推定結果として出力することもできる。
また、例えば、検知結果が歩行者や障害物である場合を想定する。この場合、図5Aの領域52,53に示したように矩形のバウンディングボックスが検知結果として出力されただけでは、撮像平面推定部111は、撮像平面を明確には推定できない。そこで、撮像平面推定部111は、例えば、自車両1の進行方向に垂直な面ができていると仮定する。そして、撮像平面推定部111は、平面方程式を、X+e=0と表す。つまり、撮像平面推定部111は、(α,β,γ,δ)=(1,0,0,e)として、平面方程式のパラメータを推定することができる。他にも、図5Aに示したガードレールが映る領域52、側壁が映る領域54に対して、直方体のバウンディングボックスが検知結果として出力されると、撮像平面推定部111は、直方体の側面に対応する撮像平面の平面方程式を推定することができる。なお、撮像平面推定部111は、各カメラへの光線の到来方向、又は各カメラの光軸に対して物体が垂直に正対していると仮定して、物体毎に平面方程式のパラメータ(α,β,γ,δ)を推定してもよい。
ところで、ポールや木などの立体物に対して属性が付与されておらず、検知結果の属性が不明な領域がある場合も想定される。この場合、撮像平面推定部111は、ポールや木の位置に所定の高さの立体物を想定し、車両1の進行方向に垂直な面が出来ていると仮定する。そして、撮像平面推定部111は、検知結果を歩行者としたように、検知結果の属性が不明な領域に矩形のバウンディングボックスを仮定して、平面方程式のパラメータを推定することも可能である。
なお、撮像平面推定部111が撮像平面を推定する方法の他の例として、物標の検知結果に対して単純な線形方程式ではなく、二次方程式や多次方程式を用いることも考えられる。その場合は、撮像平面推定部111は、画像上で着目している位置に従って、多次方程式を区分的な線形式に分割して近似し、撮像平面を推定する。以上のように、撮像平面推定部111は、物標の検知結果に基づいて、物標の撮像平面を推定する。
次に、幾何変換推定部112が幾何変換パラメータを推定する方法について説明する。
幾何変換推定部112は、撮像平面推定部111で推定された撮像平面の推定結果とカメラパラメータ103に基づいて2つのカメラ(撮像部40,41)で撮像された2つの画像40a,41aの幾何変換パラメータを推定する。この幾何変換パラメータの推定方法の一例について説明する。
幾何変換推定部112は、撮像平面推定部111で推定された撮像平面の推定結果とカメラパラメータ103に基づいて2つのカメラ(撮像部40,41)で撮像された2つの画像40a,41aの幾何変換パラメータを推定する。この幾何変換パラメータの推定方法の一例について説明する。
まず、片方の画像(撮像部40が撮像した画像40a)に対して処理された撮像平面推定部111の推定結果を用いる。幾何変換推定部112は、撮像部40が撮像した画像内のある画素座標に着目した場合に、その画素座標に対する平面方程式を平面変換行列に変換する。幾何変換推定部112は、例えば、Zについて平面方程式を整理して、式(4)に示すように平面変換行列Cを導入する。そして、4次元の世界座標(斉次座標)Xを一次元圧縮し、X’として整理する。
幾何変換推定部112は、X’を用いることで、式(1)に示したs0u0,s1u1を、式(5)、式(6)のように変換できる。幾何変換推定部112は、式(5)と式(6)を連立して整理することで、射影変換行列H(幾何変換パラメータ)を式(7)のように導くことができる。なお、照合条件決定部104に入力したカメラパラメータ103は、式(1)に含まれるK及びPがあるため、式(5)~式(7)で用いられる。式(7)により、2つの画像40a,41aの相対関係が表される。
なお、幾何変換推定部112は、前述した平行化処理を使用した場合や、カメラの設置位置、平面方程式によっては、射影変換よりも変換パラメータ数が少ないアフィン変換や剪断変換等で幾何変換が済む場合もある。幾何変換推定部112が幾何変換に用いる変換パラメータが少なければ、幾何変換推定部112による計算時間の短縮につながる。そこで、幾何変換推定部112は、変換パラメータの数に合わせて変換の種類を切り替えてもよい。以降の処理では、画像変換の一例として、様々な種類の変換処理をまとめて「幾何変換」と呼ぶ。
特徴照合部105は、幾何変換推定部112による推定結果と、撮像部40,41で撮像された画像とを用いて、画像同士を照合する。特徴照合部105が2つの画像を照合する処理の例について、図6を参照して説明する。
図6は、特徴照合部105の処理の例を示す図である。特徴照合部105には、図3に示した撮像部40,41から画像40a,41aが入力される。
図6は、特徴照合部105の処理の例を示す図である。特徴照合部105には、図3に示した撮像部40,41から画像40a,41aが入力される。
画像40a内の任意の点に対する幾何変換推定部112の推定結果として幾何変換パラメータが用いられる。幾何変換パラメータは、上述した式(7)の射影変換行列Hとして表される。特徴照合部105では、撮像部40で撮像された画像40aと、幾何変換推定部112で推定された幾何変換パラメータとが入力され、画像40aの該当場所に対して幾何変換処理が行われる(S1)。
また、特徴照合部105には、撮像部41で撮像された画像41aが物標検知部102を介して入力される。そして、特徴照合部105は、ステップS1で幾何変換処理が行われた画像40aと、物標検知部102を介して入力された他方の画像41aとの画像照合処理が行われる(S2)。ただし、幾何変換される箇所は、画像40a,41aで同一部の物標が検知された位置を含む、この位置の周辺の領域である。
画像照合処理では、画像40aの幾何変換された箇所と、画像41aの対応する箇所とのテンプレートマッチングや、画像の特徴点の抽出処理、及び特徴量の抽出処理が行われる。射影変換の場合、幾何変換自体が移動成分を含むので、照合箇所は、幾何変換で与えられる位置の周辺である程度推定されていることと等価になる。このため、特徴照合部105は、幾何変換で与えられる位置の周辺を探索すればよい。ステップS2の後、処理結果が位置推定部106に出力される。
ここで、テンプレートマッチングの例について、図7を参照して説明する。
図7は、特徴照合部105が左カメラ画像とフロントカメラ画像を用いてテンプレートマッチングをする処理の様子を示す図である。ここでは、左カメラ画像が、図7に示した画像40aであり、フロントカメラ画像が、図7に示した画像41aであるとする。
図7は、特徴照合部105が左カメラ画像とフロントカメラ画像を用いてテンプレートマッチングをする処理の様子を示す図である。ここでは、左カメラ画像が、図7に示した画像40aであり、フロントカメラ画像が、図7に示した画像41aであるとする。
図2に示したように、左カメラ画像とフロントカメラ画像の一部に交差点の特徴的な部分(白線が交差する箇所)が映り込んだ領域21,22が存在する。この特徴的な部分は、フロントカメラ画像にもそれぞれ領域11,12として存在する。しかし、領域21,11の形状が異なっており、また、領域22,12の形状も異なっていたので、従来の方法では各領域の形状を単純にマッチングすることができなかった。
一方、本実施の形態に係る射影変換(幾何変換)を利用することで、左カメラ画像に含まれる領域21,22の物標は、図7の下側に示す領域71,72の形状に変換される。この時、領域71,72に含まれる形状は、それぞれ領域11,12に含まれる形状に近くなる。このため、特徴照合部105は、領域21,22に含まれる幾何変換前の形状を、フロントカメラ画像から探すよりも照合処理を簡単に行えるようになる。このように特徴部分を含む領域の形状が幾何変換されると、特徴照合部105が照合処理を簡単に行えるという効果が得られる。
なお、平面方程式がある画像領域内で一定である場合には、特徴照合部105がその領域を射影変換した後、テンプレートマッチングを行ってもよい。あるいは、特徴照合部105がテンプレートごとに射影変換を実施してもよい。
また、画像内の特徴点を抽出する処理、及び特徴量を抽出する処理(「特徴点及び特徴量の抽出」と呼ぶ)も同様である。特徴照合部105は、一旦、画像を射影変換した上で特徴点及び特徴量の抽出を実施してもよい。あるいは、特徴照合部105は、特徴点及び特徴量の抽出の処理内に射影変換を組み込んで、特徴点及び特徴量の抽出を実施してもよい。
位置推定部106は、特徴照合部105による照合の結果、求められた対応位置から上式(2)を用いて、世界座標系における物標の座標点を計算する。
外界認識装置100では、上述した構成にすることで、車両1、歩行者、道路など、車両1の走行中における環境変化に対応しつつ、2つの画像に映る物標の照合精度と、車両1から物標までの距離の推定精度とを上げることが可能となる。
外界認識装置100では、上述した構成にすることで、車両1、歩行者、道路など、車両1の走行中における環境変化に対応しつつ、2つの画像に映る物標の照合精度と、車両1から物標までの距離の推定精度とを上げることが可能となる。
以上説明した第1の実施形態に係る外界認識装置100では、自車両1から物標までの距離の推定をするために、車両の走行に伴って動的に変化する走行環境に合わせて、画像40a内の位置に応じた撮像平面の平面方程式を物標ごとに推定する。そして、外界認識装置100は、物標ごとに幾何変換を行って、画像41aから検知された物標と特徴を照合する。このため、外界認識装置100は、見え方が異なる2つの画像に不特定の物標が映った場合であっても、この物標までの距離を推定できる。また、位置推定部106は、特徴が照合された物標の位置を推定するため、物標までの距離の誤差を低減することが可能となる。
[第2の実施形態]
次に、本発明の第2の実施形態に係る外界認識装置100Aの構成例及び処理例について、図8を参照して説明する。
図8は、第2の実施形態に係る外界認識装置100Aの内部構成例を示すブロック図である。
次に、本発明の第2の実施形態に係る外界認識装置100Aの構成例及び処理例について、図8を参照して説明する。
図8は、第2の実施形態に係る外界認識装置100Aの内部構成例を示すブロック図である。
外界認識装置100Aは、物標検知部101,102、カメラパラメータ103、照合条件決定部104A、特徴照合部105A、及び位置推定部106を備える。この外界認識装置100Aは、撮像部40,41から入力する2つの画像に対して、それぞれ撮像平面の推定処理と、幾何変換パラメータの推定を実施する。このため、外界認識装置100Aは、第一画像(画像40a)から検知される物標と、第二画像(画像41a)から検知される物標に対して、それぞれ設けられた複数の撮像平面推定部(撮像平面推定部111,113)と、複数の画像変換推定部(幾何変換推定部112,114)と、を備える。図8に示すように、外界認識装置100Aが備える照合条件決定部104Aは、撮像平面推定部111,113、幾何変換推定部112,114を備える。撮像平面推定部111,113は同じ機能を持ち、幾何変換推定部112,114は同じ機能を持つ。
物標検知部101は、撮像部40で撮像された画像から物標を検知する。この検知結果に対して、撮像平面推定部111が撮像平面を推定し、幾何変換推定部112が幾何変換パラメータを推定する。
同様に、物標検知部102は、撮像部41で撮像された画像から物標を検知する。この物標の検知結果に対して、撮像平面推定部113が撮像平面を推定し、幾何変換推定部114が幾何変換パラメータを推定する。
同様に、物標検知部102は、撮像部41で撮像された画像から物標を検知する。この物標の検知結果に対して、撮像平面推定部113が撮像平面を推定し、幾何変換推定部114が幾何変換パラメータを推定する。
特徴照合部105Aは、幾何変換推定部112,114を通じて二つの結果を受け取る。このため、特徴照合部105Aの機能は、図3に示した第1の実施形態に係る特徴照合部105の機能とは異なる。
特徴照合部105Aの機能を実装する方法には、いくつか想定される。その一つの方法では、特徴照合部105Aが、一方の幾何変換推定部112により推定された幾何変換パラメータを使って画像40aを幾何変換した結果と、画像41aとの照合結果を得る。また、特徴照合部105Aが、他方の幾何変換推定部114により推定された幾何変換パラメータを使って画像41aを幾何変換した結果と、画像40aとの照合結果を得る。そして、特徴照合部105Aが得た2つの照合結果を比較する。2つの照合結果より、同じ場所で同じ物標が照合されたことが判明した場合に、いずれの照合結果も信頼度が高いとみなすことができる。
そこで、特徴照合部(特徴照合部105A)は、一方の画像変換推定部(幾何変換推定部112)により推定された画像変換パラメータ(幾何変換パラメータ)を使って第一画像(画像40a)を画像変換(幾何変換)した結果と、第二画像(画像41a)との照合結果を取得し、他方の画像変換推定部(幾何変換推定部114)により推定された画像変換パラメータ(幾何変換パラメータ)を使って第二画像(画像41a)を幾何変換した結果と、第一画像(画像40a)との照合結果を取得し、それぞれの照合結果を比較して、第一画像(画像40a)から検知される物標と、第二画像(画像41a)から検知される物標が同じ三次元位置で照合した場合に、照合結果に高い信頼度を付与する。ここでの照合結果に付与される信頼度は、各画像から検知された物標ごとに、同じ三次元位置で照合されなかったら不一致を0%とし、同じ三次元位置で照合されたら100%とする値で表してもよい。そして、特徴照合部105は、80%以上の信頼度であれば、信頼度が高い照合結果を位置推定部106に出力してもよい。
また、特徴照合部105Aは、推定される撮像平面を照合してもよい。そこで、特徴照合部105Aは、撮像平面推定部111が推定する撮像平面と、撮像平面推定部113が推定する撮像平面とを比較する。この時、特徴照合部105Aは、撮像平面推定部113が推定する撮像平面を基準とし、撮像平面推定部111が推定する撮像平面が異なる場合には、照合結果の信頼度が低いため、照合ミスと判定する。そして、特徴照合部105Aは、推定した撮像平面の対象である物標に関して、特徴の照合結果を位置推定部106に出力しない対応ができる。このように、特徴照合部105Aは、信頼度が高い照合結果のみを残して位置推定部106に照合結果を出力したり、信頼度が低い照合結果をノイズと判断して照合結果を出力しなかったりする。このため、位置推定部106は、照合結果の信頼度が高い物標に限定して、この物標の位置及び距離を推定することが可能となる。
以上説明した第2の実施形態に係る外界認識装置100Aでは、照合条件決定部104Aが、撮像平面推定部111,113、幾何変換推定部112,114を備える構成とした。そして、特徴照合部105Aが、幾何変換推定部112,114から出力される推定結果のうち、一方の推定結果を基準にとって推定結果を照合することで、照合結果の信頼度を求めることができる。このため、特徴照合部105Aによる照合結果の信頼度の高低に基づいて、物標を正しく照合できたか判定しやすくなり、位置推定部106による物標の位置の推定も正確に行えるようになる。
[第3の実施形態]
次に、本発明の第3の実施形態に係る外界認識装置100Bの構成例及び処理例について、図9と図10を参照して説明する。
次に、本発明の第3の実施形態に係る外界認識装置100Bの構成例及び処理例について、図9と図10を参照して説明する。
物標検知部101により指定された画像領域の中に複数の属性の物標が混在する場合に、図9に示す照合条件決定部104Bが各属性の物標を正確に検知するためにはいくつかの方法が考えられる。例えば、照合条件決定部104Bは、物標検知部101が検知した物標の検知結果を受け取ると、物標検知部101により検知された物標の属性や、撮像平面推定部111により推定された平面方程式から照合対象である物標の前景となる物標を優先して計測する方法が考えられる。
また、物標検知部101により物標ごとに複数の属性が検知された場合、照合条件決定部104Bは、支配的な物標の属性を選択する方法をとってもよい。支配的な物標とは、例えば、画像領域に複数の物標が映る場合に前景となる物標である。この場合、特徴照合部105は、被支配的な物標に対して前景となる、支配的な物標の属性に従って物標の特徴を照合し、物標の位置を推定する。ここでは、画像40a,41aから検知された複数の物標のうち、支配的な物標を選択することが可能な外界認識装置100Bが有する照合条件決定部104Bについて説明する。
図9は、第3の実施形態に係る外界認識装置100Bの内部構成例を示すブロック図である。第3の実施形態に係る外界認識装置100Bでは、物標検知部101により指定された画像領域の中に複数の属性の物標が混在する場合に、特定の物標を特徴照合部105によるテンプレートマッチングの対象として選択する処理が行われる。
外界認識装置100Bは、物標検知部101,102、カメラパラメータ103、照合条件決定部104B、特徴照合部105、及び位置推定部106を備える。この外界認識装置100Bが備える照合条件決定部104Bは、撮像平面推定部111、幾何変換推定部112に加えて、変換選択部115を備える。
変換選択部(変換選択部115)は、第一画像(画像40a)及び第二画像(画像41a)から検知される複数の物標のうち、距離が近い物標を選択して、選択された物標に対して画像変換推定部(幾何変換推定部112)が推定した画像変換パラメータ(幾何変換パラメータ)を選択する。例えば、変換選択部115は、幾何変換推定部112で推定された複数の物標に対する幾何変換パラメータから、支配的な属性を有する物標に対して推定された幾何変換パラメータを選択する。そして、変換選択部115が選択した幾何変換パラメータが特徴照合部105に出力される。
変換選択部(変換選択部115)は、第一画像(画像40a)及び第二画像(画像41a)から検知される複数の物標のうち、距離が近い物標を選択して、選択された物標に対して画像変換推定部(幾何変換推定部112)が推定した画像変換パラメータ(幾何変換パラメータ)を選択する。例えば、変換選択部115は、幾何変換推定部112で推定された複数の物標に対する幾何変換パラメータから、支配的な属性を有する物標に対して推定された幾何変換パラメータを選択する。そして、変換選択部115が選択した幾何変換パラメータが特徴照合部105に出力される。
特徴照合部(特徴照合部105)は、変換選択部(変換選択部115)により選択された画像変換パラメータ(幾何変換パラメータ)を用いて、第一画像(画像40a)から検知された物標の画像変換を行う。そして、特徴照合部105は、幾何変換後の物標の特徴と、物標検知部102により検知された物標の特徴とを照合し、照合結果を位置推定部106に出力する。
ここで、図9に示した照合条件決定部104Bで行われる処理の具体例について、図10を参照して説明する。ここでは例として、照合条件決定部104Bが平面方程式を用いて、自車両1に近い、すなわち手前にある物標の属性を選択する例を示す。
図10は、車両2と背景が混在する領域56,57の例を示す図である。車両2は、自車両1に対向して走行しているものとする。
領域56では、車両2の左側の一部と、背景である路面とが混在している。また、領域57では、車両2の下側の一部と、背景である路面とが混在している。通常、画像の上側に路面が含まれている場合、立体物の方が路面よりも手前にある。特徴照合部105によるテンプレートマッチングの対象となる枠が領域56である場合、背景よりも前方にある車両2の形状がマッチングの対象として優先して採用される。
逆に、画像に立体物と路面とが含まれている場合、画像の下側にある路面の方が立体物よりも手前にある。特徴照合部105によるテンプレートマッチングの対象となる枠が領域57である場合、車両2の下部と路面との接合点の方が自車両に近いため、自車両1よりも前方にある路面の形状がマッチングの対象として優先して採用される。
他の例として、車両制御の観点から、自車両1が接触した場合に走行への影響が大きい立体物(例えば、車両2)を優先し、単純に車両ごとの属性の情報からマッチングの対象として決定してもよい。この場合、変換選択部(変換選択部115)は、自車両の走行に影響の大きい属性を持つ物標を優先して選択する。この結果、位置推定部106により、自車両の走行に影響の大きい属性を持つ物標までの距離が優先して推定されるので、自車両は、距離が推定された物標を回避する等の制御が可能となる。
以上説明した第3の実施形態に係る外界認識装置100Bでは、画像40aにおける一つの画像領域に複数の属性の物標が検知された場合に、一つの物標に対する幾何変換パラメータを選択して、この物標の幾何変換を行い、画像41aの対応する画像領域の物標と照合することができる。このため、特徴照合部105では画像40a,41aの照合対象となる物標が一致しやすく、位置推定部106では、照合された物標の位置推定も正確に行える。
[第4の実施形態]
次に、本発明の第4の実施形態に係る外界認識装置100Cの構成例及び処理例について、図11と図12を参照して説明する。
次に、本発明の第4の実施形態に係る外界認識装置100Cの構成例及び処理例について、図11と図12を参照して説明する。
撮像平面推定部111が推定する路面のモデル(平面方程式)は、自車両1に対して物標が遠方であるほど、実際の平面モデルからずれることが予想される。つまり、物標検知部101の検知結果に基づいて撮像平面推定部111が推定する平面方程式は、その平面方程式自身が誤差を含む場合がある。このため、平面方程式に含まれる誤差が、特徴照合部105Bによる特徴照合の精度に影響を与える可能性が想定される。ここでは、平面方程式に含まれる誤差が、特徴照合部105Bによる特徴照合の精度に影響を与えない外界認識装置100Cの構成例について説明する。
図11は、第4の実施形態に係る外界認識装置100Cの内部構成例を示すブロック図である。第4の実施形態に係る外界認識装置100Cでは、平面方程式が誤差を含む場合に、物標の特徴を照合する処理を行う。
外界認識装置100Cは、図3に示した外界認識装置100と同様の構成としているが、照合条件決定部104を照合条件決定部104Cに置き換え、照合条件決定部104Cの幾何変換推定部112Aに接続される誤差推定部107を備える点が異なる。
誤差推定部(誤差推定部107)は、撮像平面推定部(撮像平面推定部111)により推定された撮像平面の誤差を推定する。例えば、誤差推定部107は、撮像平面推定部111によって推定される平面方程式の誤差を推定し、推定結果を幾何変換推定部112Aに出力する。平面方程式の誤差は、例えば、事前に行われる実験や設計段階で決定される値である。誤差推定部107による誤差の推定結果としては、物標が遠方であればあるほど誤差の出力を大きくする方式が考えられる。そこで、誤差推定部107は、自車両1に対して遠方の物体に大きな誤差を推定し、自車両1に対して近方の物体に小さな誤差を推定する。
誤差推定部(誤差推定部107)は、撮像平面推定部(撮像平面推定部111)により推定された撮像平面の誤差を推定する。例えば、誤差推定部107は、撮像平面推定部111によって推定される平面方程式の誤差を推定し、推定結果を幾何変換推定部112Aに出力する。平面方程式の誤差は、例えば、事前に行われる実験や設計段階で決定される値である。誤差推定部107による誤差の推定結果としては、物標が遠方であればあるほど誤差の出力を大きくする方式が考えられる。そこで、誤差推定部107は、自車両1に対して遠方の物体に大きな誤差を推定し、自車両1に対して近方の物体に小さな誤差を推定する。
誤差推定部107から出力される誤差の使い方の一つとして、例えば、誤差推定部107による誤差の推定結果が一定以上となる平面方程式に対して、幾何変換推定部112Aが幾何変換パラメータを出力しないようにする。この結果、特徴照合部105Bは、幾何変換推定部112Aが推定する幾何変換パラメータを使用しなくてすむ。このような処理を行うのは、特徴照合部105Bが撮像平面を幾何変換することが、逆に特徴の照合処理に悪影響を与えることが予想されるためである。特徴照合部105Bが幾何変換パラメータを使用しない場合には、撮像平面の幾何変換を実施せず、画像40a,41aから検知された物標をそのまま照合する。
画像変換推定部(幾何変換推定部112A)は、撮像平面の誤差に基づいて、画像変換される撮像平面の誤差の範囲を決定する。そして、幾何変換推定部112Aは、誤差推定部107から入力した平面方程式の誤差の推定結果を用いて、撮像平面推定部111が推定した撮像平面に対して推定した幾何変換パラメータの出力可否を判定する。このように撮像平面の誤差の範囲が決定されるので、誤差の大きな撮像平面に対して推定された幾何変換パラメータは出力されなくなる。
特徴照合部105Bは、幾何変換推定部112Aから幾何変換パラメータが出力されない場合には、画像40a,41aの物標が検知された領域を幾何変換せずに照合し、照合結果を位置推定部106に出力する。
特徴照合部105Bは、幾何変換推定部112Aから幾何変換パラメータが出力されない場合には、画像40a,41aの物標が検知された領域を幾何変換せずに照合し、照合結果を位置推定部106に出力する。
以上説明した第4の実施形態に係る外界認識装置100Cでは、幾何変換推定部112Aが平面方程式の誤差の推定結果を用いて、幾何変換パラメータの出力可否を判定する。幾何変換パラメータが出力されない場合、特徴照合部105Bは、物標が検知された領域を幾何変換せずに照合するため、誤差の大きい平面方程式を用いた撮像平面から幾何変換した領域を照合した場合に比べて、物標の特徴を照合する精度が向上する。
[第4の実施形態の変形例]
ここで、誤差推定部107が出力する誤差の推定結果を使う別の方法について説明する。
図12は、外界認識装置100Cの変形例に係る幾何変換推定部112Aと特徴照合部105Bの内部構成例を示すブロック図である。ここでは、図11に示した外界認識装置100Cのうち、幾何変換推定部112Aと特徴照合部105Bの構成例を重点的に説明する。
ここで、誤差推定部107が出力する誤差の推定結果を使う別の方法について説明する。
図12は、外界認識装置100Cの変形例に係る幾何変換推定部112Aと特徴照合部105Bの内部構成例を示すブロック図である。ここでは、図11に示した外界認識装置100Cのうち、幾何変換推定部112Aと特徴照合部105Bの構成例を重点的に説明する。
撮像平面推定部111が撮像平面から推定した平面方程式のパラメータが、本来のパラメータ(α,β,γ,δ)に対して、経験的に誤差(±εα,±εβ,±εγ,±εδ)だけずれると仮定する。この場合、幾何変換推定部112Aは、この誤差幅の範囲で、撮像平面の推定結果を撮像平面ごとにNパターン分複製する。複製の仕方は様々な方法があるが、図12には、そのうちの一つの方法を実行可能な幾何変換推定部112Aの構成例及び処理の例を示す。
図12に示す画像変換推定部(幾何変換推定部112A)は、誤差推定部(誤差推定部107)により推定された撮像平面の誤差に基づいて複数の撮像平面を生成し、複数の撮像平面のそれぞれに対して複数の画像変換パラメータ(幾何変換パラメータ)を推定する。この幾何変換推定部112Aは、撮像平面N生成部112A-1と、幾何変換N推定部112A-2を備える。
撮像平面N生成部112A-1は、例えばランダムで上記の誤差幅に収まるようにパラメータを振り、撮像平面推定部111が推定した平面方程式のパラメータに加算して、Nパターンの複数の撮像平面を生成する。
幾何変換N推定部112A-2は、生成されたNパターンの撮像平面のそれぞれに対して複数の幾何変換パラメータを推定する。このため、幾何変換N推定部112A-2は、Nパターンの幾何変換パラメータを推定することが可能である。幾何変換N推定部112A-2が推定した幾何変換N推定部112A-2は、特徴照合部105Bに出力される。
特徴照合部(特徴照合部105B)は、複数の画像変換パラメータ(幾何変換パラメータ)を用いて画像変換された第一画像(画像40a)から検知された物標の特徴と、第二画像(画像41a)から検知された物標の特徴との照合処理を複数回行って、評価が高い照合処理の結果を位置推定部(位置推定部106)に出力する。この特徴照合部105Bは、特徴N照合部105B-1及び特徴照合結果選択部105B-2を備える。
特徴N照合部105B-1には、幾何変換推定部112Aの幾何変換N推定部112A-2からNパターンの幾何変換パラメータの推定結果が入力される。そして、特徴N照合部105B-1は、入力されたNパターンの幾何変換パラメータの推定結果に基づいて、物標の特徴に対するN回の異なる照合処理を行う。このN回の照合処理の結果は、それぞれ特徴照合結果選択部105B-2に出力される。
特徴照合結果選択部105B-2は、特徴N照合部105B-1から入力したN回の照合処理の結果のうち、最も照合時の評価が高い照合処理の結果を選択し、選択した照合処理の結果を位置推定部106に出力する。
位置推定部106は、特徴照合部105Bから入力した照合処理の結果に基づいて、物標の位置を推定する。
位置推定部106は、特徴照合部105Bから入力した照合処理の結果に基づいて、物標の位置を推定する。
以上説明した第4の実施形態の変形例に係る外界認識装置100Cは、幾何変換推定部112A及び特徴照合部105Bを備えることで、撮像平面のNパターン分の推定結果からNパターンの幾何変換パラメータの推定結果を得られる。そして、Nパターンの幾何変換パラメータの推定結果によりN回の照合処理が行われた後、最も照合時の評価が高い照合処理の結果が選択される。このため、撮像平面推定部111により推定される平面方程式のパラメータが、本来のパラメータに対して誤差を含む場合であっても、位置推定部106が画像40a,41aに映る物標の位置推定を正確に行えるようになる。
[第5の実施形態]
次に、本発明の第5の実施形態に係る外界認識装置100Dの構成例及び処理例について、図13を参照して説明する。
図13は、外界認識装置100Dの内部構成例を示すブロック図である。
次に、本発明の第5の実施形態に係る外界認識装置100Dの構成例及び処理例について、図13を参照して説明する。
図13は、外界認識装置100Dの内部構成例を示すブロック図である。
外界認識装置100Dは、物標検知部101,102、カメラパラメータ103、照合条件決定部104、位置推定部106に加えて、視差算出部108及び視差妥当性検証部109を備える。
視差算出部(視差算出部108)は、撮像部40から入力する第1画像(画像40a)、及び撮像部41から入力する第2画像(画像41a)から視差を算出して、第1画像(画像40a)と第2画像(画像41a)に映る物標の位置を照合する。すなわち、視差算出部108は、物標検知部101の物標の検知結果に基づいて撮像平面推定部111が推定する平面方程式を用いずに、画像40a,41aの視差を算出する。視差算出部108が視差を算出する方法として、視差を計測する公知の方法を用いてよい。視差算出部108は、視差を算出することで、画像40a,41aに映る同一物標が対応する位置を照合した結果を第2の照合結果として視差妥当性検証部109に出力する。
視差妥当性検証部109は、第1の実施形態に係る特徴照合部105を変形したものである。特徴照合部(視差妥当性検証部109)は、画像変換パラメータ(幾何変換パラメータ)を用いて画像変換した第1画像(画像40a)から検知された物標の特徴と、第2画像(画像41a)から検知された物標の特徴とを照合した第1の照合結果と、視差により照合された第2の照合結果とを比較し、比較結果の妥当性に基づいて、第1の照合結果又は第2照合結果を位置推定部(位置推定部106)に出力する。すなわち、視差妥当性検証部109は、撮像平面推定部111が推定する平面方程式を用いて幾何変換推定部112が推定した幾何変換パラメータにより幾何変換された画像領域の物標と、画像41aの画像領域の物標とを照合し、第1の照合結果を求める。そして、視差妥当性検証部109は、第1の照合結果と第2の照合結果とを比較し、視差算出部108による第2の照合結果の妥当性を検証する。視差妥当性検証部109による照合結果の妥当性は、例えばテンプレートマッチングにおいてはマッチング度合いの高さにより判断される方法などが想定される。
なお、撮像平面推定部111により平面方程式が推定された範囲では、幾何変換推定部112が推定した幾何変換パラメータに基づいて幾何変換された物標の照合精度が高いことが想定される。ただし、撮像平面推定部111による平面方程式の推定無しで、視差算出部108が画像40a,41aから算出した視差により物標の対応位置を求める方法は、平面方程式による条件分岐が発生しない。このため、視差算出部108をハードウェア化すれば、視差の算出処理の高速化をしやすくなるというメリットがある。
そこで、視差妥当性検証部109は、平面方程式と幾何変換パラメータにより求められる第1の照合結果を限定し、この限定した第1の照合結果を、視差算出部108による第2の照合結果が正しいか否かの検証処理に用いる。このように処理を行うのは、視差妥当性検証部109が画像40a,41aに共通して含まれる全ての物標に対して平面方程式と幾何変換パラメータにより求められる第1の照合結果を求めるのは、視差妥当性検証部109の処理負荷が高くなるからである。
視差妥当性検証部109は、限定した第1の照合結果と、第2の照合結果とを比較し、幾何変換を用いた第1の照合結果の妥当性が高い場合には、第1の照合結果を採用し、位置推定部106に第1の照合結果を出力する。例えば、自車両1に近い位置で検知された物標であれば、視差が大きくなるため、視差により照合された第2の照合結果の妥当性が低くなる。一方、この物標が自車両1に近い位置にあると、撮像平面が正確に推定されるため、幾何変換による第1の照合結果の妥当性が高くなる。そこで、位置推定部106は、上述した第1の実施形態に係る外界認識装置100と同様に、第1の照合結果を用いて物標の位置を推定する。
なお、視差妥当性検証部109は、第1の照合結果と第2の照合結果とを比較し、第2の照合結果の妥当性が低い場合に、画像40a,41aの視差を算出して照合された第2の照合結果を位置推定部106に出力する。例えば、自車両1から遠い位置で検知された物標であれば、視差が小さくなるため、視差により照合された第2の照合結果の妥当性が高くなる。一方、この物標が自車両1に遠い位置にあるので、撮像平面が不正確に推定されるため、幾何変換による第1の照合結果の妥当性が低くなる。このため、位置推定部106は、第2の照合結果を用いて物標の位置を推定する。なお、第2の照合結果の妥当性が低い場合、第1の照合結果と第2の照合結果とで差が大きい物標が存在する。そこで、視差妥当性検証部109は、この物標が映る画像領域について、再び第1の照合結果と第2の照合結果とを比較してもよい。
以上説明した第5の実施形態に係る外界認識装置100Dでは、照合条件決定部104から出力された幾何変換パラメータにより幾何変換された画像40aの画像領域と画像41aの画像領域とで照合した第1の照合結果と、視差算出部108が算出した視差を用いた画像40a,41aの第2の照合結果とを比較して照合結果の妥当性が検証される。そして、視差妥当性検証部109は、照合結果の妥当性に応じて、位置推定部106に出力する結果を、第1の照合結果、又は第2の照合結果のいずれかに決定する。第1の照合結果と第2の照合結果の比較による妥当性が低い場合には、位置推定部106が第2の照合結果を用いて物標の位置を推定することができる。このため、物標が自車両1に近い位置にあるか、遠い位置にあるかで、第1の照合結果又は第2の照合結果のいずれかが位置推定部106に出力される。このため、位置推定部106が様々な位置にある物標の位置を高速に推定することができる。
[変形例]
なお、上述した各実施の形態では、本発明を車両1に搭載される外界認識装置として説明したが、この外界認識装置は、例えば、複数のカメラを備える自走型のロボット、複数のカメラが撮影した映像により構内を監視するインフラ監視システムで用いられてもよい。インフラ監視システムでは、例えば、一つの場所に複数のカメラが設置される構成が想定される。
なお、上述した各実施の形態では、本発明を車両1に搭載される外界認識装置として説明したが、この外界認識装置は、例えば、複数のカメラを備える自走型のロボット、複数のカメラが撮影した映像により構内を監視するインフラ監視システムで用いられてもよい。インフラ監視システムでは、例えば、一つの場所に複数のカメラが設置される構成が想定される。
また、上述した各実施の形態に加えて、機械学習の結果から直接距離を算出する機能を有する外界認識装置を構成することもできる。この場合、外界認識装置が機械学習により物標までの距離を算出することが可能になると、画像から物標が検知された時点で距離を算出することができ、外界認識装置の演算負荷を低減することができる。
また、上述した各実施の形態に加えて、外界認識装置は、従来のステレオカメラで用いられる視差マッチングを実施してもよい。この場合、外界認識装置は、複数の画像を照合した結果から最も照合結果が良いと推定される結果を参照し、さらに予め用意した地図情報を用いて物標ごとの位置関係を推定することもできる。
なお、本発明は上述した各実施形態に限られるものではなく、請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した各実施形態は本発明を分かりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ここで説明した実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、さらにはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
例えば、上述した各実施形態は本発明を分かりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ここで説明した実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、さらにはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
1,2…車両、40,41…撮像部、40a,41a…画像、100…外界認識装置、101,102…物標検知部、103…カメラパラメータ、104…照合条件決定部、105…特徴照合部、106…位置推定部、111…撮像平面推定部、112…幾何変換推定部、113…撮像平面推定部、114…幾何変換推定部
Claims (10)
- 外界に対する撮像視野の少なくとも一部が重複する複数の撮像部のうち、少なくとも第一の撮像部から取得した第一画像に基づいて、物標を検知する第一の物標検知部と、
複数の前記撮像部のうち、第二の撮像部から取得した第二画像に基づいて、物標を検知する第二の物標検知部と、
前記第一の物標検知部による前記物標の検知結果に基づいて、前記第一画像における撮像平面を推定する撮像平面推定部と、
前記撮像平面推定部が推定した前記撮像平面の情報と、前記複数の撮像部の撮像パラメータとに基づいて、前記第二画像における撮像平面に合わせた画像変換パラメータを推定する画像変換推定部と、
前記画像変換推定部による画像変換パラメータを用いて画像変換した前記第一画像から検知された前記物標の特徴と、前記第二画像から検知された前記物標の特徴とを照合する特徴照合部と、
前記特徴照合部の照合結果に基づいて、前記物標の三次元位置を推定する位置推定部と、を備える
外界認識装置。 - 前記撮像平面推定部は、前記物標の大きさ、及び前記物標までの距離に基づいて、前記撮像平面を推定する
請求項1に記載の外界認識装置。 - 前記撮像平面推定部は、前記物標が撮像された画像領域において前記撮像平面を推定する
請求項2に記載の外界認識装置。 - 前記第一画像から検知される前記物標と、前記第二画像から検知される前記物標に対して、それぞれ設けられた複数の前記撮像平面推定部と、複数の前記画像変換推定部と、を備え、
前記特徴照合部は、一方の前記画像変換推定部により推定された前記画像変換パラメータを使って前記第一画像を画像変換した結果と、前記第二画像との照合結果を取得し、他方の前記画像変換推定部により推定された前記画像変換パラメータを使って前記第二画像を画像変換した結果と、前記第一画像との照合結果を取得し、それぞれの前記照合結果を比較して、前記第一画像から検知される前記物標と、前記第二画像から検知される前記物標が同じ三次元位置で照合した場合に、前記照合結果に高い信頼度を付与する
請求項3に記載の外界認識装置。 - 前記第一画像及び前記第二画像から検知される複数の前記物標のうち、自車両からの距離が近い前記物標を選択して、選択された前記物標に対して前記画像変換推定部が推定した前記画像変換パラメータを選択する変換選択部を備え、
前記特徴照合部は、前記変換選択部により選択された前記画像変換パラメータを用いて、前記第一画像から検知された物標の画像変換を行う
請求項3に記載の外界認識装置。 - 前記変換選択部は、前記自車両の走行に影響の大きい属性を持つ前記物標を優先して選択する
請求項5に記載の外界認識装置。 - 前記撮像平面推定部により推定された前記撮像平面の誤差を推定する誤差推定部を備え、
前記画像変換推定部は、前記撮像平面の誤差に基づいて、画像変換される前記撮像平面の誤差の範囲を決定する
請求項3に記載の外界認識装置。 - 前記画像変換推定部は、前記誤差推定部により推定された前記撮像平面の誤差に基づいて複数の撮像平面を生成し、複数の前記撮像平面のそれぞれに対して複数の前記画像変換パラメータを推定し、
前記特徴照合部は、複数の前記画像変換パラメータを用いて画像変換した前記第一画像から検知された特徴と、前記第二画像から検知された特徴との照合処理を複数回行って、評価が高い前記照合処理の結果を前記位置推定部に出力する
請求項7に記載の外界認識装置。 - 前記第一画像及び前記第二画像から視差を算出して、前記第一画像と前記第二画像に映る物標の位置を照合する視差算出部を備え、
前記特徴照合部は、前記画像変換パラメータを用いて画像変換した前記第一画像から検知された前記物標の特徴と、前記第二画像から検知された前記物標の特徴とを照合した第1の照合結果と、前記視差により照合された第2の照合結果とを比較し、比較結果の妥当性に基づいて、前記第1の照合結果又は前記第2の照合結果を前記位置推定部に出力する
請求項3に記載の外界認識装置。 - 外界に対する撮像視野の少なくとも一部が重複する複数の撮像部のうち、少なくとも第一の撮像部から取得した第一画像に基づいて、第一の物標検知部が物標を検知する処理と、
複数の前記撮像部のうち、第二の撮像部から取得した第二画像に基づいて、第二の物標検知部物標を検知する処理と、
撮像平面推定部が、前記第一の物標検知部による前記物標の検知結果に基づいて、前記第一画像における撮像平面を推定する処理と、
前記撮像平面推定部が推定した前記撮像平面の情報と、前記複数の撮像部の撮像パラメータとに基づいて、画像変換推定部が、前記第二画像における撮像平面に合わせた画像変換パラメータを推定する処理と、
前記画像変換推定部による画像変換パラメータを用いて画像変換した前記第一画像から検知された前記物標の特徴と、前記第二画像から検知された前記物標の特徴とを照合する処理と、
照合処理の結果に基づいて、前記物標の三次元位置を推定する処理と、を含む
外界認識方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-102526 | 2022-06-27 | ||
JP2022102526A JP2024003407A (ja) | 2022-06-27 | 2022-06-27 | 外界認識装置及び外界認識方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024004325A1 true WO2024004325A1 (ja) | 2024-01-04 |
Family
ID=89382603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/014887 WO2024004325A1 (ja) | 2022-06-27 | 2023-04-12 | 外界認識装置及び外界認識方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2024003407A (ja) |
WO (1) | WO2024004325A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016175586A (ja) * | 2015-03-20 | 2016-10-06 | 株式会社デンソーアイティーラボラトリ | 車両周辺監視装置、車両周辺監視方法、及びプログラム |
JP2019095345A (ja) * | 2017-11-24 | 2019-06-20 | 国立大学法人 岡山大学 | 物体識別システム |
WO2020017334A1 (ja) * | 2018-07-18 | 2020-01-23 | 日立オートモティブシステムズ株式会社 | 車載環境認識装置 |
-
2022
- 2022-06-27 JP JP2022102526A patent/JP2024003407A/ja active Pending
-
2023
- 2023-04-12 WO PCT/JP2023/014887 patent/WO2024004325A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016175586A (ja) * | 2015-03-20 | 2016-10-06 | 株式会社デンソーアイティーラボラトリ | 車両周辺監視装置、車両周辺監視方法、及びプログラム |
JP2019095345A (ja) * | 2017-11-24 | 2019-06-20 | 国立大学法人 岡山大学 | 物体識別システム |
WO2020017334A1 (ja) * | 2018-07-18 | 2020-01-23 | 日立オートモティブシステムズ株式会社 | 車載環境認識装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2024003407A (ja) | 2024-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9846812B2 (en) | Image recognition system for a vehicle and corresponding method | |
JP6942712B2 (ja) | コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出 | |
US8331653B2 (en) | Object detector | |
US8180100B2 (en) | Plane detector and detecting method | |
EP2757524B1 (en) | Depth sensing method and system for autonomous vehicles | |
US8154594B2 (en) | Mobile peripheral monitor | |
EP3159121A1 (en) | Device for updating map of mobile robot and method therefor | |
US9042639B2 (en) | Method for representing surroundings | |
EP3159126A1 (en) | Device and method for recognizing location of mobile robot by means of edge-based readjustment | |
JP6021689B2 (ja) | 車両諸元計測処理装置、車両諸元計測方法及びプログラム | |
EP3159122A1 (en) | Device and method for recognizing location of mobile robot by means of search-based correlation matching | |
JP2007527569A (ja) | 立体視に基づく差し迫った衝突の検知 | |
WO2017051480A1 (ja) | 画像処理装置及び画像処理方法 | |
EP3324359B1 (en) | Image processing device and image processing method | |
KR102082254B1 (ko) | 차량 인식 시스템 | |
KR20210090384A (ko) | 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치 | |
US11861914B2 (en) | Object recognition method and object recognition device | |
KR102188164B1 (ko) | 3차원 데이터를 이용한 도로 인식 방법 | |
US10783350B2 (en) | Method and device for controlling a driver assistance system by using a stereo camera system including a first and a second camera | |
KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
WO2024004325A1 (ja) | 外界認識装置及び外界認識方法 | |
JP7062904B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
US20220410942A1 (en) | Apparatus and method for determining lane change of surrounding objects | |
WO2024142571A1 (ja) | 画像処理装置 | |
JP7379268B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23830779 Country of ref document: EP Kind code of ref document: A1 |