WO2024004325A1 - 外界認識装置及び外界認識方法 - Google Patents

外界認識装置及び外界認識方法 Download PDF

Info

Publication number
WO2024004325A1
WO2024004325A1 PCT/JP2023/014887 JP2023014887W WO2024004325A1 WO 2024004325 A1 WO2024004325 A1 WO 2024004325A1 JP 2023014887 W JP2023014887 W JP 2023014887W WO 2024004325 A1 WO2024004325 A1 WO 2024004325A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
target
matching
imaging plane
Prior art date
Application number
PCT/JP2023/014887
Other languages
English (en)
French (fr)
Inventor
英彰 城戸
耕太 入江
寛知 齋
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Publication of WO2024004325A1 publication Critical patent/WO2024004325A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an external world recognition device and an external world recognition method.
  • a stereo camera is one in which two cameras are placed on a vehicle at a predetermined interval. Then, the distance to the photographed object can be measured using the parallax between the overlapping areas of the images photographed by the two cameras.
  • Stereo cameras include parallel stereo cameras in which the optical axes of two cameras are installed parallel to each other, and non-parallel stereo cameras in which the optical axes of two cameras are installed non-parallel. Furthermore, a camera system using two or more cameras is sometimes called a multi-view stereo system.
  • the electronic control unit (hereinafter referred to as ECU) installed in a vehicle uses multiple images taken by multiple cameras to measure the distance to an object, and then detects objects in front of the vehicle. It is possible to grasp the possibility of contact with an object. However, even if two cameras located at different positions capture images of the same object, the way the object is generally viewed differs between the two cameras. When comparing images that appear differently, if one image and the other image have a pattern that looks different and a similar pattern, there is a possibility that the images will be compared at the wrong position.
  • the distance to the object measured based on the matching result may be incorrect, which may lead to incorrect control of the vehicle. If you know the shape and plane model of an object in the real world, you can geometrically determine how it will appear in each image, so it is thought that mismatching can be suppressed by predicting the shape and plane and matching.
  • Patent Document 1 states, ⁇ By transforming at least one of the first image captured by the first camera and the second image captured by the second camera, the first image and the second image are transformed into images from a common viewpoint. After performing a viewpoint transformation to convert the viewpoint to It says "Do it.”
  • Patent Document 2 states, ⁇ Since the stereo camera image information captured by the imaging means is an image of the surface to be monitored, such as the road surface or floor surface, facing downward, the conventional camera is installed facing almost horizontally. By comparing the image information with the stereo camera image information obtained by the stereo camera obtained by Since 3D distance image information is generated, it becomes an overhead image looking down on the surface to be monitored, so the distance to the road surface or floor surface can be determined with high precision.”
  • the present invention was made in view of this situation, and even if an unspecified target appears in two images with different appearance, it is possible to estimate the distance to this target.
  • the purpose is to
  • the external world recognition device includes a first image capturing unit that detects a target based on a first image acquired from at least a first imaging unit among a plurality of imaging units whose imaging fields of view with respect to the outside world overlap at least in part. a second target detection unit that detects a target based on a second image acquired from a second imaging unit among the plurality of imaging units; and a first target detection unit.
  • an imaging plane estimating section that estimates an imaging plane in the first image based on the detection result of the target object, information on the imaging plane estimated by the imaging plane estimating section, and imaging parameters of the plurality of imaging sections, an image transformation estimating unit that estimates an image transformation parameter that matches the imaging plane in the second image; It includes a feature matching unit that matches the features of the target detected from the image, and a position estimation unit that estimates the three-dimensional position of the target based on the result of the matching process performed by the feature matching unit.
  • FIG. 1 is a diagram showing the position of a camera mounted on a vehicle according to a first embodiment of the present invention.
  • FIG. 1 is a diagram showing a world coordinate system based on a vehicle according to a first embodiment of the present invention.
  • FIG. 2 is a diagram showing an image coordinate system according to the first embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of an image of the foreground of the vehicle captured by the front camera and the left camera according to the first embodiment of the present invention.
  • 1 is a block diagram showing an example of the internal configuration of an external world recognition device according to a first embodiment of the present invention.
  • FIG. 1 is a block diagram showing an example of a hardware configuration of a computer according to a first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of an image captured by the front camera according to the first embodiment of the present invention, in which another vehicle, a person, a guardrail, and a side wall are reflected in the straight-ahead direction.
  • FIG. 2 is a diagram illustrating an example of an image captured by the front camera according to the first embodiment of the present invention, in which another vehicle is reflected diagonally in front of the host vehicle.
  • FIG. 3 is a diagram showing an example of processing by a feature matching unit according to the first embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a process in which the feature matching unit according to the first embodiment of the present invention performs template matching using a left camera image and a front camera image.
  • FIG. 2 is a block diagram showing an example of the internal configuration of an external world recognition device according to a second embodiment of the present invention.
  • FIG. 7 is a block diagram showing an example of the internal configuration of an external world recognition device according to a third embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an example of a region where a vehicle and a background coexist according to a third embodiment of the present invention.
  • It is a block diagram showing an example of an internal configuration of an external world recognition device concerning a 4th embodiment of the present invention.
  • FIG. 12 is a block diagram showing an example of the internal configuration of a geometric transformation estimation section and a feature matching section according to a modification of the external world recognition device according to the fourth embodiment of the present invention.
  • It is a block diagram showing an example of an internal configuration of an external world recognition device concerning a 5th embodiment of the present invention.
  • the present invention is applicable to, for example, an arithmetic unit for vehicle control that can communicate with an in-vehicle ECU (Electronic Control Unit) for advanced driver assistance systems (ADAS) or autonomous driving (AD). It is.
  • ECU Electronic Control Unit
  • ADAS advanced driver assistance systems
  • AD autonomous driving
  • FIG. 1A, FIG. 1B, and FIG. 1C are diagrams showing the position of a camera mounted on a vehicle 1, a world coordinate system based on the vehicle 1, and an image coordinate system according to the first embodiment.
  • FIG. 1A shows a configuration example in which a front camera 10, a left camera 20, and a right camera 30 are provided on the front, left side, and right side of the vehicle 1, respectively.
  • the front camera 10, left camera 20, and right camera 30 are not distinguished, they will also be simply referred to as "cameras.”
  • a photographing range 10a of the front camera 10 a photographing range 20a of the left camera 20, and a photographing range 30a of the right camera 30 are shown separated by a chain line.
  • the photographing ranges 10a and 20a partially overlap.
  • the photographing ranges 10a and 30a partially overlap, and the photographing ranges 20a and 30a partially overlap. In these overlapping areas, the same thing will be reflected in the images taken by each camera.
  • the ECU external world recognition device 100 shown in FIG. 3, which will be described later
  • the ECU detects pedestrians, other vehicles, white lines, road surfaces, etc.
  • Object information about surrounding objects and physical quantities such as the distance from the vehicle 1 to the object, the size of the object, and the speed of the object are estimated and acquired.
  • another ECU automated driving control ECU, not shown
  • targets objects (road surfaces, people, guardrails, white lines, etc.) that may affect the running of the vehicle 1 are referred to as "targets.”
  • FIG. 1B shows an example of a world coordinate system with the position of the vehicle 1 as the origin.
  • the X-axis is in the traveling direction of the vehicle 1
  • the Y-axis is in the horizontal direction perpendicular to the X-axis
  • the Z-axis is in the vertical direction.
  • the positions of targets other than the vehicle 1 are estimated using the world coordinate system. Therefore, the distance from the vehicle 1 to the target object is also estimated.
  • a typical method for estimating distance is to measure the distance to the target using the principle of triangulation when multiple cameras capture images of the same target.
  • FIG. 1C shows an example of an image coordinate system for identifying a target within an image.
  • the origin is the upper left of the image
  • the u-axis is horizontal
  • the v-axis is vertical. Then, the position of the target object in the image captured by the camera is specified by (u, v).
  • the scale parameter s is a scalar value.
  • the subscript on the symbol in equation (1) represents the type of camera.
  • the subscript of one camera is set to "0"
  • the subscript of the other camera is set to "1”. Note that in equation (1), if there is no scale parameter s, the right side of equation (1) will be a constant times the left side. Therefore, a scale parameter s is provided to prevent the right side of equation (1) from being a constant multiple of the left side.
  • the angle of view of the front camera 10 is the apex angle of a triangle at the installation position of the front camera 10, as shown in the photographing range 10a.
  • the angle of view of the left camera 20 is the apex angle of the triangle at the installation position of the left camera 20, as shown in the photographing range 20a.
  • the angle of view of the right camera 30 is the apex angle of the triangle at the installation position of the right camera 30, as shown in the photographing range 30a.
  • the distance can be estimated using the principle of triangulation with respect to a target object that appears in an area where the angles of view of the two cameras overlap.
  • the distance can be estimated using the principle of triangulation for the area where the angle of view of the front camera 10 and the angle of view of the right camera 30 overlap (the right front of the vehicle 1).
  • the epipole constraint equation shown in equation (3) is used.
  • the fundamental matrix used in the epipole constraint equation is derived from the external parameter matrix and internal parameter matrix of the two cameras (for example, the front camera 10 and the left camera 20) shown above.
  • Template matching involves cutting out a small area such as a rectangle around the image coordinates of the target of interest from one image, and then selecting an area close to the pixel distribution within that rectangle from the other image while moving the small rectangular area. This is a search method using a cost function. As a comparison method, the sum of absolute differences, the sum of squared differences, etc. are known as basic methods.
  • Another method for matching image information is to first search for image coordinates in areas with high image characteristics, such as corners of targets, as feature points, and then search for image coordinates around this feature point.
  • SIFT Scale Invariant Feature Transform
  • ORB Oriented FAST and Rotated BRIEF
  • a deep learning-based method is a method that matches feature amounts between two images.
  • FIG. 2 is a diagram showing an example of an image of the foreground of the vehicle 1 captured by the front camera 10 and the left camera 20 shown in FIG. 1A.
  • the image captured by the front camera 10 will be referred to as a "front camera image”
  • the image captured by the left camera 20 will be referred to as a "left camera image”.
  • template matching compares pixels at the same position in an image, but matching becomes difficult if the pixels look different.
  • feature points or feature quantities are created for images that look different, it becomes difficult to match the images with each other. For this reason, shapes that are originally different may be matched, or shapes that should originally be determined to be the same may not be found in the image and may not be matched. If the same target object appearing in different images is not correctly matched in this manner, the distance to the target object may be incorrectly estimated.
  • the present inventor considered what kind of conversion should be performed on one image to reduce the difference in the target when comparing two images that appear significantly different.
  • External world recognition devices and target object matching methods according to embodiments of the present invention that can improve the performance of matching the same object appearing in two images will be described below with reference to the drawings from FIG. 3 onwards.
  • the functions of the external world recognition device are realized by software configured in the ECU installed in the vehicle 1.
  • FIG. 3 is a block diagram showing an example of the internal configuration of the external world recognition device 100 according to the first embodiment.
  • the external world recognition device 100 is, for example, a form of ECU mounted on the vehicle 1.
  • the vehicle 1 on which the external world recognition device 100 is mounted is also referred to as the "host vehicle 1" in order to distinguish it from other vehicles 2.
  • the external world recognition device 100 is a device mounted on the vehicle 1.
  • the outside world is, for example, the outside of the vehicle 1 on which the outside world recognition device 100 is mounted, and the outside world recognition device 100 recognizes various targets existing in the outside world.
  • the recognition result of the target includes information such as the attribute of the target, the size of the target, and the distance from the vehicle 1 to the target.
  • Two images captured by the two imaging units 40 and 41 are input to the external world recognition device 100, respectively.
  • the imaging unit 40 is, for example, the left camera 20 shown in FIG. 1A, and outputs an image 40a captured by the left camera 20 to the target detection unit 101.
  • the imaging unit 41 is, for example, the front camera 10 shown in FIG. 1A, and outputs an image 41a captured by the front camera 10 to the target object detection unit 102.
  • the camera combinations shown in FIG. 1A of the imaging units 40 and 41 may be the front camera 10 and the right camera 30, or the left camera 20 and the right camera 30.
  • the external world recognition device 100 includes two target detection units 101 and 102, a camera parameter 103, a matching condition determination unit 104, a feature matching unit 105, and a position estimation unit 106.
  • the target detection unit 101 performs target detection processing on the image input from the imaging unit 40 .
  • This first target object detection section detects the first target object detected from at least the first imaging section (imaging section 40) among the plurality of imaging sections whose imaging fields of view relative to the outside world overlap at least in part.
  • a target object is detected based on one image (image 40a).
  • the target detection unit 102 performs target detection processing on the image input from the imaging unit 41.
  • This second target detection unit (target detection unit 102) detects the target based on the second image (image 41a) acquired from the second imaging unit (imaging unit 41) among the plurality of imaging units. Detect.
  • the target object detection processing performed by the target object detection units 101 and 102 is, for example, a process of detecting the vehicle 2, white lines, pedestrians, the driveable area of the vehicle 1, guardrails, side walls, etc. from the input images 40a and 41a. be. A portion of each image shown in areas 11, 12, 21, and 22 as shown in FIG. 2 is output to a subsequent functional unit as a result of the target object detection process. Note that the target object detection units 101 and 102 can also obtain the attributes of the target object by performing image analysis for each target object through the target object detection process.
  • the result of target detection processing by the target detection unit 101 is output to the imaging plane estimation unit 111 of the matching condition determination unit 104.
  • the result of target detection processing by the target detection unit 102 is output to the feature matching unit 105.
  • the result of the target object detection process will also be referred to as a "target object detection result.”
  • the image captured by the imaging unit 40 is input to the matching condition determining unit 104 via the target detecting unit 101, and further input to the feature matching unit 105 via the matching condition determining unit 104.
  • the image captured by the imaging unit 41 is input to the feature matching unit 105 via the target detection unit 102.
  • the matching condition determining unit 104 determines matching conditions for the feature matching unit 105 to match the positions where the same target objects detected in the images 40a and 41a correspond to each other.
  • the matching condition determining unit 104 includes an imaging plane estimating unit 111 and a geometric transformation estimating unit 112.
  • the imaging plane estimation unit estimates the imaging plane in the first image (image 40a) based on the target detection result by the target detection unit (target detection unit 101).
  • the imaging plane estimating unit 111 estimates what kind of plane each target is formed of in the real world based on the target detection results input from the target detecting unit 101.
  • the plane that constitutes each target object is called an imaging plane, and is expressed by a plane equation of the imaging plane.
  • the imaging plane estimation unit (imaging plane estimation unit 111) estimates an imaging plane based on the size of the target and the distance to the target. Further, the imaging plane estimating unit (imaging plane estimating unit 111) estimates an imaging plane in the image area where the target object is imaged. Note that the plane equation is expressed by parameters ( ⁇ , ⁇ , ⁇ , ⁇ ), for example.
  • the equation of the imaging plane estimated by the imaging plane estimation unit 111 is output to the geometric transformation estimation unit 112.
  • the image transformation estimating unit (geometric transformation estimating unit 112), based on the information on the imaging plane estimated by the imaging plane estimating unit (imaging plane estimating unit 111) and the imaging parameters (camera parameters 103) of the plurality of imaging units, Among the plurality of imaging units, image transformation parameters (geometric transformation parameters) matching the imaging plane in the second image (image 41a) are estimated.
  • the geometric transformation estimating unit 112 calculates the geometric transformation parameters between the images at the location being imaged by the imaging units 40 and 41 based on the equation of the imaging plane input from the imaging plane estimation unit 111 and the camera parameters 103.
  • the camera parameters 103 include, for example, K and P included in the above-mentioned equation (1). However, the camera parameters 103 may be fixed values. Note that the imaging plane estimation section 111 and the geometric transformation estimation section 112 may be located on the target object detection section 102 side.
  • the feature matching unit detects the detected target from the first image (image 40a) that has been image-converted using the image transformation parameters (geometric transformation parameters) by the image transformation estimation unit (geometric transformation estimation unit 112).
  • the features of the target object detected from the second image (image 41a) are compared.
  • the feature matching unit 105 matches the features of the transformation result obtained by geometrically transforming the target detected by the target detecting unit 101 with the features of the detection result of the target input from the target detecting unit 102. Therefore, the feature matching unit 105 uses the geometric transformation parameters estimated by the geometric transformation estimation unit 112 to transform the shape of the target detected from the image 40a.
  • the feature matching unit 105 matches the shape of the target object whose shape has been converted with the shape of the target object detected from the image 41a, and calculates the distance from the host vehicle 1 to the target object.
  • the distance from the own vehicle 1 to the target object is output to the position estimating unit 106 as a result of the matching by the feature matching unit 105.
  • the matching result may be expressed, for example, as a value for each image region including the target to be matched, with 0% representing a mismatch and 100% representing a complete match.
  • the feature matching unit 105 may determine that the matching result is highly reliable, and may output the matching result with high reliability to the position estimating unit 106.
  • the position estimating unit estimates the three-dimensional position of the target based on the result of the matching process by the feature matching unit (feature matching unit 105). For example, the position estimation unit 106 estimates the three-dimensional position (referred to as “position estimation result”) of the target in the world coordinate system (see FIG. 1B) based on the matching result by the feature matching unit 105. At this time, the position estimation unit 106 can calculate the distance from the host vehicle 1 to the target object, and include the distance for each target object in the position estimation result.
  • the position estimation result may be used for vehicle control of the own vehicle 1 by another ECU (for example, an ECU for automatic driving control) mounted on the own vehicle 1, or may be used to obtain depth information of targets around the own vehicle 1. It is sometimes used to ask for something.
  • FIG. 4 is a block diagram showing an example of the hardware configuration of the computer 80.
  • the computer 80 is an example of hardware used as a computer that can operate as the external world recognition device 100 according to the present embodiment.
  • the external world recognition device 100 according to the present embodiment realizes an image processing method performed by the functional blocks shown in FIG. 3 in cooperation with each other by the computer 80 (computer) executing a program.
  • the computer 80 includes a CPU (Central Processing Unit) 81, a ROM (Read Only Memory) 82, and a RAM (Random Access Memory) 83, each connected to a bus 84. Furthermore, the computer 80 includes a nonvolatile storage 85 and a network interface 86.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 81 reads software program codes that implement each function according to the present embodiment from the ROM 82, loads them into the RAM 83, and executes them. Variables, parameters, etc. generated during the arithmetic processing of the CPU 81 are temporarily written in the RAM 83, and these variables, parameters, etc. are read out by the CPU 81 as appropriate.
  • an MPU Micro Processing Unit
  • the functions of each functional unit in the external world recognition device 100 are realized by the CPU 81, ROM 82, and RAM 83.
  • non-volatile storage 85 for example, an HDD (Hard Disk Drive), SSD (Solid State Drive), flexible disk, optical disk, magneto-optical disk, CD-ROM, CD-R, magnetic tape, or non-volatile memory is used. It will be done.
  • OS Operating System
  • programs for operating the computer 80 are recorded in the nonvolatile storage 85.
  • the ROM 82 and the non-volatile storage 85 record programs and data necessary for the operation of the CPU 81, and serve as an example of a computer-readable non-transitory storage medium that stores programs to be executed by the computer 80. used.
  • Various values such as camera parameters 103 are stored in the RAM 83 or nonvolatile storage 85 and read out as appropriate.
  • a NIC Network Interface Card
  • LAN Local Area Network
  • FIG. 5A is an image showing another vehicle 2, a person, a guardrail, and a side wall in the straight direction.
  • a region 51 represents a road surface detection result
  • a region 52 represents a guardrail detection result
  • a region 53 represents a person detection result
  • a region 54 represents a side wall detection result. In this way, the regions 51 to 54 are used as the target object detection results.
  • FIG. 5B is an image showing another vehicle 2 diagonally in front of the own vehicle 1.
  • the detection result by the target object detection unit 101 is another vehicle 2, and the detection result is output as a rectangular bounding box like the area 55.
  • the imaging plane estimating unit 111 estimates the plane equation of each surface from the shape of the rectangular parallelepiped represented by the region 55, with the front, back, and side surfaces of the rectangular parallelepiped as imaging planes.
  • the front of the bounding box of the region 55 is the front surface of the vehicle 2
  • the back surface is the rear surface of the vehicle 2
  • the side surfaces are the left and right surfaces of the vehicle 2.
  • the actual coefficient value differs depending on the face of the rectangular parallelepiped.
  • the actual coefficient value uses the estimated distance from the host vehicle 1 to the other vehicle 2, which is output from the sensor.
  • the detection result can include distance estimation information.
  • the imaging plane estimation unit 111 can also estimate the plane equation of the side surface of the vehicle 1, etc., based on the distance estimation information included in the detection result. Therefore, the imaging plane estimation unit 111 can also output the estimated plane equation as an estimation result.
  • the plane equation of the imaging plane can be estimated. Note that the imaging plane estimation unit 111 calculates the plane equation parameters ( ⁇ , ⁇ , ⁇ , ⁇ ) may be estimated.
  • the imaging plane estimation unit 111 assumes that a three-dimensional object of a predetermined height is located at the position of a pole or tree, and that a plane perpendicular to the traveling direction of the vehicle 1 is formed.
  • the imaging plane estimating unit 111 can also estimate the parameters of the plane equation by assuming a rectangular bounding box in a region where the attribute of the detection result is unknown, such as when the detection result is a pedestrian.
  • the imaging plane estimation unit 111 estimates the imaging plane
  • the imaging plane estimating unit 111 estimates the imaging plane by dividing the multidimensional equation into piecewise linear equations and approximating them according to the position of interest on the image. As described above, the imaging plane estimation unit 111 estimates the imaging plane of the target object based on the detection result of the target object.
  • the geometric transformation estimation unit 112 calculates the geometry of the two images 40a and 41a captured by the two cameras (imaging units 40 and 41) based on the estimation result of the imaging plane estimated by the imaging plane estimation unit 111 and the camera parameters 103. Estimate transformation parameters. An example of a method for estimating this geometric transformation parameter will be explained.
  • the estimation result of the imaging plane estimation unit 111 processed for one image (the image 40a captured by the imaging unit 40) is used.
  • the geometric transformation estimating unit 112 converts a plane equation for the pixel coordinate into a plane transformation matrix.
  • the geometric transformation estimating unit 112 organizes the plane equation for Z and introduces the plane transformation matrix C as shown in equation (4).
  • the four-dimensional world coordinate (homogeneous coordinate) X is one-dimensionally compressed and organized as X'.
  • the geometric transformation estimating unit 112 can transform s 0 u 0 and s 1 u 1 shown in equation (1) as shown in equation (5) and equation (6) by using X′.
  • the geometric transformation estimating unit 112 can derive the projective transformation matrix H (geometric transformation parameter) as shown in equation (7) by simultaneously rearranging equations (5) and (6).
  • H geometric transformation parameter
  • the camera parameters 103 input to the matching condition determination unit 104 are used in equations (5) to (7) because K and P are included in equation (1).
  • Equation (7) represents the relative relationship between the two images 40a and 41a.
  • the geometric transformation estimating unit 112 may perform geometric transformation using affine transformation, shear transformation, etc., which have fewer transformation parameters than projective transformation, depending on the above-mentioned parallelization process, camera installation position, and plane equation. In some cases. If the geometric transformation estimation unit 112 uses fewer transformation parameters for the geometric transformation, the calculation time by the geometric transformation estimation unit 112 can be reduced. Therefore, the geometric transformation estimation unit 112 may switch the type of transformation according to the number of transformation parameters. In the following processing, various types of conversion processing will be collectively referred to as "geometric conversion" as an example of image conversion.
  • the feature matching unit 105 uses the estimation result by the geometric transformation estimation unit 112 and the images captured by the imaging units 40 and 41 to match the images.
  • An example of processing in which the feature matching unit 105 matches two images will be described with reference to FIG. 6.
  • FIG. 6 is a diagram illustrating an example of processing by the feature matching unit 105. Images 40a and 41a are input to the feature matching unit 105 from the imaging units 40 and 41 shown in FIG.
  • Geometric transformation parameters are used as the estimation result of the geometric transformation estimation unit 112 for any point within the image 40a.
  • the geometric transformation parameters are expressed as the projective transformation matrix H in equation (7) above.
  • the feature matching unit 105 receives the image 40a captured by the imaging unit 40 and the geometric transformation parameters estimated by the geometric transformation estimation unit 112, and performs geometric transformation processing on the corresponding location of the image 40a (S1 ).
  • the image 41a captured by the imaging unit 41 is input to the feature matching unit 105 via the target detection unit 102. Then, the feature matching unit 105 performs an image matching process between the image 40a subjected to the geometric transformation process in step S1 and the other image 41a input via the target object detection unit 102 (S2). However, the area to be geometrically transformed is the area around this position, including the position where the same part of the target object is detected in the images 40a and 41a.
  • step S2 the processing result is output to the position estimation unit 106.
  • FIG. 7 is a diagram showing how the feature matching unit 105 performs template matching using the left camera image and the front camera image.
  • the left camera image is the image 40a shown in FIG. 7
  • the front camera image is the image 41a shown in FIG.
  • regions 21 and 22 in which characteristic parts of intersections (locations where white lines intersect) are reflected in parts of the left camera image and the front camera image. These characteristic parts also exist in the front camera image as areas 11 and 12, respectively. However, since the shapes of regions 21 and 11 were different, and the shapes of regions 22 and 12 were also different, it was not possible to simply match the shapes of each region with the conventional method.
  • the targets in regions 21 and 22 included in the left camera image are converted into the shapes of regions 71 and 72 shown in the lower side of FIG. be done.
  • the shapes included in regions 71 and 72 become close to the shapes included in regions 11 and 12, respectively. Therefore, the feature matching unit 105 can perform the matching process more easily than searching for the shape before the geometric transformation included in the regions 21 and 22 from the front camera image.
  • the shape of the region including the characteristic portion is geometrically transformed in this way, an advantage is obtained that the feature matching unit 105 can easily perform the matching process.
  • template matching may be performed after the feature matching unit 105 projectively transforms the region.
  • the feature matching unit 105 may perform projective transformation for each template.
  • the feature matching unit 105 may perform projective transformation on the image and then extract feature points and feature amounts. Alternatively, the feature matching unit 105 may extract feature points and feature amounts by incorporating projective transformation into the process of extracting feature points and feature amounts.
  • the position estimation unit 106 uses the above equation (2) to calculate the coordinate point of the target in the world coordinate system from the corresponding position obtained as a result of the matching by the feature matching unit 105.
  • the external world recognition device 100 can respond to changes in the environment such as the vehicle 1, pedestrians, roads, etc. while the vehicle 1 is traveling, and improve the accuracy of matching targets shown in the two images and the vehicle 1. It is possible to improve the accuracy of estimating the distance from the object to the target object.
  • the external world recognition device 100 in order to estimate the distance from the host vehicle 1 to the target object, an image is A plane equation of the imaging plane according to the position within 40a is estimated for each target. Then, the external world recognition device 100 performs geometric transformation for each target object, and matches the target object and features detected from the image 41a. For this reason, the external world recognition device 100 can estimate the distance to an unspecified target even if it appears in two images that appear differently. Further, since the position estimating unit 106 estimates the position of the target whose features have been verified, it is possible to reduce errors in the distance to the target.
  • FIG. 8 is a block diagram showing an example of the internal configuration of an external world recognition device 100A according to the second embodiment.
  • the external world recognition device 100A includes target detection units 101 and 102, camera parameters 103, a matching condition determining unit 104A, a feature matching unit 105A, and a position estimation unit 106.
  • the external world recognition device 100A performs an imaging plane estimation process and a geometric transformation parameter estimation process on two images input from the imaging units 40 and 41, respectively. For this reason, the external world recognition device 100A has a plurality of imaging plane estimations provided respectively for the target detected from the first image (image 40a) and the target detected from the second image (image 41a). (imaging plane estimation sections 111, 113) and a plurality of image transformation estimation sections (geometric transformation estimation sections 112, 114). As shown in FIG.
  • the matching condition determination unit 104A included in the external world recognition device 100A includes imaging plane estimation units 111 and 113 and geometric transformation estimation units 112 and 114.
  • the imaging plane estimation units 111 and 113 have the same function, and the geometric transformation estimation units 112 and 114 have the same function.
  • the target detection unit 101 detects a target from the image captured by the imaging unit 40. Based on this detection result, the imaging plane estimation unit 111 estimates an imaging plane, and the geometric transformation estimation unit 112 estimates geometric transformation parameters. Similarly, the target detection unit 102 detects a target from the image captured by the imaging unit 41. Based on the target object detection result, the imaging plane estimation unit 113 estimates an imaging plane, and the geometric transformation estimation unit 114 estimates geometric transformation parameters.
  • the feature matching unit 105A receives two results through the geometric transformation estimation units 112 and 114. Therefore, the function of the feature matching unit 105A is different from the function of the feature matching unit 105 according to the first embodiment shown in FIG.
  • the feature matching unit 105A obtains a matching result between the image 41a and the result of geometric transformation of the image 40a using the geometric transformation parameters estimated by one of the geometric transformation estimation units 112. Further, the feature matching unit 105A obtains a matching result between the image 40a and the result of the geometric transformation of the image 41a using the geometric transformation parameters estimated by the other geometric transformation estimation unit 114. Then, the two matching results obtained by the feature matching unit 105A are compared. If it is determined from the two matching results that the same target was matched at the same location, both matching results can be considered to have high reliability.
  • the feature matching unit converts the first image (image 40a) into an image using the image transformation parameters (geometric transformation parameters) estimated by one of the image transformation estimation units (geometric transformation estimation unit 112).
  • the result of the conversion (geometric transformation) and the comparison result with the second image (image 41a) are obtained, and the image transformation parameters (geometric transformation parameters) estimated by the other image transformation estimation unit (geometric transformation estimation unit 114) are obtained.
  • the results of the geometric transformation of the second image (image 41a) using the image processing method are obtained, and the matching results of the first image (image 40a) are obtained, and the matching results are compared.
  • the target detected from the second image (image 41a) and the target detected from the second image (image 41a) are matched at the same three-dimensional position, high reliability is given to the matching result.
  • the reliability given to the matching results here is that for each target detected from each image, if the target object is not matched at the same three-dimensional position, the mismatch is 0%, and if it is matched at the same three-dimensional position, it is 100%. It may also be expressed as a value. Then, the feature matching unit 105 may output a highly reliable matching result to the position estimating unit 106 if the reliability is 80% or more.
  • the feature matching unit 105A may match the estimated imaging plane. Therefore, the feature matching unit 105A compares the imaging plane estimated by the imaging plane estimation unit 111 and the imaging plane estimated by the imaging plane estimation unit 113. At this time, the feature matching unit 105A uses the imaging plane estimated by the imaging plane estimating unit 113 as a reference, and if the imaging plane estimated by the imaging plane estimating unit 111 is different, the reliability of the matching result is low. It is determined that Then, the feature matching unit 105A can take measures not to output the feature matching result to the position estimating unit 106 regarding the target object of the estimated imaging plane.
  • the feature matching unit 105A outputs the matching results to the position estimation unit 106 while leaving only the matching results with high reliability, or judges the matching results with low reliability as noise and does not output the matching results. or Therefore, the position estimating unit 106 can estimate the position and distance of only targets whose verification results are highly reliable.
  • the matching condition determination unit 104A is configured to include imaging plane estimation units 111 and 113 and geometric transformation estimation units 112 and 114.
  • the feature matching unit 105A then matches the estimation results using one of the estimation results output from the geometric transformation estimating units 112 and 114 as a reference, thereby determining the reliability of the matching results. Therefore, it becomes easier to determine whether the target object has been correctly matched based on the level of reliability of the matching result by the feature matching unit 105A, and the position estimating unit 106 can also accurately estimate the position of the target object.
  • the matching condition determination unit 104B shown in FIG. This method can be considered. For example, upon receiving the detection result of the target detected by the target detection unit 101, the matching condition determination unit 104B determines the attributes of the target detected by the target detection unit 101 and the attributes estimated by the imaging plane estimation unit 111.
  • One possible method is to give priority to the target object that is in the foreground of the target object to be compared based on the plane equation.
  • the matching condition determining unit 104B may select the dominant attribute of the target.
  • the dominant target is, for example, a target that becomes the foreground when a plurality of targets appear in the image area.
  • the feature matching unit 105 matches the features of the target according to the attributes of the dominant target that is in the foreground with respect to the dominated target, and estimates the position of the target.
  • the matching condition determination unit 104B included in the external world recognition device 100B which is capable of selecting a dominant target among a plurality of targets detected from the images 40a and 41a.
  • FIG. 9 is a block diagram showing an example of the internal configuration of an external world recognition device 100B according to the third embodiment.
  • the external world recognition device 100B according to the third embodiment when targets with a plurality of attributes coexist in the image area specified by the target object detection unit 101, a specific target is identified using a template by the feature matching unit 105. A process of selecting a target for matching is performed.
  • the external world recognition device 100B includes target detection units 101 and 102, camera parameters 103, a matching condition determining unit 104B, a feature matching unit 105, and a position estimation unit 106.
  • the matching condition determination unit 104B included in the external world recognition device 100B includes a transformation selection unit 115 in addition to an imaging plane estimation unit 111 and a geometric transformation estimation unit 112.
  • the conversion selection unit selects a target that is close in distance from among a plurality of targets detected from the first image (image 40a) and the second image (image 41a), and selects the selected target.
  • Image transformation parameters (geometric transformation parameters) estimated by the image transformation estimation unit (geometric transformation estimation unit 112) for the target object are selected.
  • the transformation selection unit 115 selects the geometric transformation parameter estimated for a target having a dominant attribute from the geometric transformation parameters for a plurality of targets estimated by the geometric transformation estimation unit 112. Then, the geometric transformation parameters selected by the transformation selection unit 115 are output to the feature matching unit 105.
  • the feature matching unit uses the image transformation parameters (geometric transformation parameters) selected by the transformation selection unit (conversion selection unit 115) to determine the target object detected from the first image (image 40a). Perform image conversion. Then, the feature matching unit 105 matches the feature of the target after the geometric transformation with the feature of the target detected by the target detecting unit 102, and outputs the matching result to the position estimating unit 106.
  • the matching condition determination unit 104B uses a plane equation to select the attributes of a target that is close to, that is, in front of, the host vehicle 1.
  • FIG. 10 is a diagram showing an example of areas 56 and 57 where the vehicle 2 and the background coexist. It is assumed that the vehicle 2 is running opposite to the own vehicle 1.
  • the region 56 a portion of the left side of the vehicle 2 and the road surface that is the background coexist. Further, in the region 57, a portion of the lower side of the vehicle 2 and the road surface serving as the background coexist. Normally, when the road surface is included in the upper part of the image, the three-dimensional object is located in front of the road surface.
  • the frame targeted for template matching by the feature matching unit 105 is the region 56, the shape of the vehicle 2 located ahead of the background is preferentially adopted as the matching target.
  • an image when an image includes a three-dimensional object and a road surface, the road surface at the bottom of the image is located in front of the three-dimensional object.
  • the frame targeted for template matching by the feature matching unit 105 is the area 57, the junction point between the lower part of the vehicle 2 and the road surface is closer to the own vehicle, so the shape of the road surface in front of the own vehicle 1 is Will be given priority as a matching target.
  • priority may be given to a three-dimensional object (for example, vehicle 2) that would have a large impact on driving if the host vehicle 1 comes into contact with it, and simply use the attribute information of each vehicle as a matching target. You may decide.
  • the conversion selection unit (conversion selection unit 115) preferentially selects a target object that has an attribute that has a large influence on the running of the host vehicle.
  • the position estimating unit 106 gives priority to estimating the distance to the target object that has attributes that have a large effect on the running of the own vehicle, so the own vehicle can avoid the target object whose distance has been estimated, etc. Control becomes possible.
  • the external world recognition device 100B when targets with a plurality of attributes are detected in one image area in the image 40a, a geometric transformation parameter for one target is selected, This target can be geometrically transformed and compared with the target in the corresponding image area of the image 41a. Therefore, the feature matching unit 105 easily matches the targets to be matched in the images 40a and 41a, and the position estimating unit 106 can accurately estimate the position of the matched target.
  • the road surface model (plane equation) estimated by the imaging plane estimation unit 111 will deviate from the actual plane model as the target object is farther away from the own vehicle 1.
  • the plane equation estimated by the imaging plane estimating section 111 based on the detection result of the target object detecting section 101 may itself include an error. Therefore, it is assumed that the error included in the plane equation may affect the accuracy of feature matching by the feature matching unit 105B.
  • the external world recognition device 100C in which the error included in the plane equation does not affect the accuracy of feature matching by the feature matching unit 105B will be described.
  • FIG. 11 is a block diagram showing an example of the internal configuration of an external world recognition device 100C according to the fourth embodiment.
  • the plane equation includes an error
  • a process of comparing the characteristics of the target object is performed.
  • the external world recognition device 100C has the same configuration as the external world recognition device 100 shown in FIG. 3, but the matching condition determining unit 104 is replaced with a matching condition determining unit 104C, and the matching condition determining unit 104C is connected to the geometric transformation estimation unit 112A.
  • the difference is that an error estimation unit 107 is provided.
  • the error estimation unit (error estimation unit 107) estimates the error of the imaging plane estimated by the imaging plane estimation unit (imaging plane estimation unit 111).
  • the error estimation unit 107 estimates the error of the plane equation estimated by the imaging plane estimation unit 111, and outputs the estimation result to the geometric transformation estimation unit 112A.
  • the error in the plane equation is, for example, a value determined in a preliminary experiment or a design stage.
  • the error estimating unit 107 estimates a large error for objects far away from the own vehicle 1 and a small error for objects near the own vehicle 1.
  • One way to use the error output from the error estimation unit 107 is, for example, for a plane equation for which the error estimation result by the error estimation unit 107 is equal to or greater than a certain value, the geometric transformation estimation unit 112A does not output a geometric transformation parameter. do it like this. As a result, the feature matching unit 105B does not need to use the geometric transformation parameters estimated by the geometric transformation estimation unit 112A. The reason why such processing is performed is that geometric transformation of the imaging plane by the feature matching unit 105B is expected to adversely affect feature matching processing. When the feature matching unit 105B does not use a geometric transformation parameter, it does not perform geometric transformation of the imaging plane and matches the targets detected from the images 40a and 41a as they are.
  • the image transformation estimating unit determines the error range of the imaging plane to be subjected to image transformation, based on the error of the imaging plane. Then, the geometric transformation estimation unit 112A uses the estimation result of the error of the plane equation input from the error estimation unit 107 to determine whether or not the geometric transformation parameters estimated for the imaging plane estimated by the imaging plane estimation unit 111 can be output. do. Since the error range of the imaging plane is determined in this way, the geometric transformation parameters estimated for the imaging plane with a large error are no longer output.
  • the feature matching unit 105B matches the areas where the target objects of the images 40a and 41a are detected without performing geometric transformation, and uses the matching results as the position estimation unit 106. Output to.
  • the geometric transformation estimation unit 112A uses the estimation result of the error of the plane equation to determine whether or not to output the geometric transformation parameter. If the geometric transformation parameters are not output, the feature matching unit 105B matches the area where the target has been detected without performing the geometric transformation. Compared to , the accuracy of matching target features is improved.
  • FIG. 12 is a block diagram showing an example of the internal configuration of a geometric transformation estimation unit 112A and a feature matching unit 105B according to a modified example of the external world recognition device 100C.
  • a configuration example of the geometric transformation estimation section 112A and the feature matching section 105B of the external world recognition device 100C shown in FIG. 11 will be explained with emphasis.
  • the parameters of the plane equation estimated from the imaging plane by the imaging plane estimation unit 111 have empirical errors ( ⁇ , ⁇ , ⁇ , ⁇ ) with respect to the original parameters ( ⁇ , ⁇ , ⁇ , ⁇ ). Assume that there is a deviation of In this case, the geometric transformation estimation unit 112A copies the estimation result of the imaging plane for each imaging plane by N patterns within the range of this error width.
  • FIG. 12 shows an example of the configuration and processing of a geometric transformation estimation unit 112A that can execute one of the methods.
  • the image transformation estimation unit (geometric transformation estimation unit 112A) shown in FIG. 12 generates a plurality of imaging planes based on the error of the imaging plane estimated by the error estimation unit (error estimation unit 107), and A plurality of image transformation parameters (geometric transformation parameters) are estimated for each image transformation parameter.
  • the geometric transformation estimation section 112A includes an imaging plane N generation section 112A-1 and a geometric transformation N estimation section 112A-2.
  • the imaging plane N generation unit 112A-1 for example, randomly allocates parameters so that they fall within the above error range, adds them to the parameters of the plane equation estimated by the imaging plane estimation unit 111, and generates N patterns of a plurality of imaging planes. generate.
  • the geometric transformation N estimation unit 112A-2 estimates a plurality of geometric transformation parameters for each of the generated N patterns of imaging planes. Therefore, the geometric transformation N estimation unit 112A-2 can estimate N patterns of geometric transformation parameters.
  • the geometric transformation N estimation unit 112A-2 estimated by the geometric transformation N estimation unit 112A-2 is output to the feature matching unit 105B.
  • the feature matching unit compares the features of the target detected from the first image (image 40a), which has been image-converted using a plurality of image transformation parameters (geometric transformation parameters), and the second image (image 40a). 41a) is performed multiple times, and the results of the matching process with a high evaluation are output to the position estimation unit (position estimation unit 106).
  • This feature matching section 105B includes a feature N matching section 105B-1 and a feature matching result selection section 105B-2.
  • the feature N matching unit 105B-1 receives the estimation results of N patterns of geometric transformation parameters from the geometric transformation N estimation unit 112A-2 of the geometric transformation estimation unit 112A. Then, the feature N matching unit 105B-1 performs N different matching processes on the features of the target object based on the estimation results of the inputted N patterns of geometric transformation parameters. The results of these N times of matching processing are each output to the feature matching result selection section 105B-2.
  • the feature matching result selection unit 105B-2 selects the result of the matching process with the highest evaluation at the time of matching from among the results of the N matching processes input from the feature N matching unit 105B-1, and selects the result of the matching process with the highest evaluation during matching.
  • the result is output to the position estimation unit 106.
  • the position estimating unit 106 estimates the position of the target based on the result of the matching process input from the feature matching unit 105B.
  • the external world recognition device 100C includes the geometric transformation estimation unit 112A and the feature matching unit 105B, so that the geometric transformation parameters of the N patterns can be calculated from the estimation results of the N patterns of the imaging plane. The estimated results can be obtained. Then, after the matching process is performed N times using the estimation results of the geometric transformation parameters of the N patterns, the result of the matching process with the highest evaluation at the time of matching is selected. Therefore, even if the parameters of the plane equation estimated by the imaging plane estimation unit 111 include errors with respect to the original parameters, the position estimation unit 106 can estimate the position of the target object reflected in the images 40a and 41a. Be able to do it accurately.
  • FIG. 13 is a block diagram showing an example of the internal configuration of the external world recognition device 100D.
  • the external world recognition device 100D includes a parallax calculation unit 108 and a parallax validity verification unit 109 in addition to target detection units 101 and 102, camera parameters 103, a matching condition determination unit 104, and a position estimation unit 106.
  • the parallax calculation unit calculates the parallax from the first image (image 40a) input from the imaging unit 40 and the second image (image 41a) input from the imaging unit 41, and calculates the parallax from the first image (image 41a) input from the imaging unit 41.
  • the positions of the targets shown in the image 40a) and the second image (image 41a) are compared. That is, the parallax calculation unit 108 calculates the parallax between the images 40a and 41a without using the plane equation estimated by the imaging plane estimation unit 111 based on the detection result of the target object by the target detection unit 101.
  • parallax calculation unit 108 calculates parallax and outputs the result of comparing the corresponding positions of the same target appearing in the images 40a and 41a to the parallax validity verification unit 109 as a second matching result.
  • the parallax validity verification unit 109 is a modification of the feature matching unit 105 according to the first embodiment.
  • the feature matching unit (parallax validity verification unit 109) compares the characteristics of the target detected from the first image (image 40a), which has been image-converted using image conversion parameters (geometric conversion parameters), and the second image (image 41a). ), and the second matching result, which was matched by parallax, is compared, and based on the validity of the comparison result, the first matching result or The second matching result is output to the position estimation section (position estimation section 106).
  • the parallax validity verification unit 109 uses the plane equation estimated by the imaging plane estimation unit 111 to calculate the target object in the image area that has been geometrically transformed by the geometric transformation parameter estimated by the geometric transformation estimation unit 112, and the image 41a. A first matching result is obtained by matching the target object in the area. Then, the parallax validity verification unit 109 compares the first verification result and the second verification result, and verifies the validity of the second verification result by the parallax calculation unit 108. The validity of the matching result by the parallax validity verification unit 109 is assumed to be determined based on the degree of matching in template matching, for example.
  • the parallax validity verification unit 109 limits the first matching result obtained by the plane equation and the geometric transformation parameter, and converts this limited first matching result into a correct second matching result by the parallax calculation unit 108. Used for verification processing. This process is performed because the parallax validity verification unit 109 obtains the first matching result obtained from the plane equation and the geometric transformation parameter for all targets commonly included in the images 40a and 41a. This is because the processing load on the parallax validity verification unit 109 increases.
  • the parallax validity verification unit 109 compares the limited first matching result with the second matching result, and if the first matching result using geometric transformation has high validity, the first matching result is The result is adopted and the first matching result is output to the position estimation unit 106. For example, if the target is detected at a position close to the host vehicle 1, the parallax will be large, so the validity of the second matching result based on the parallax will be low. On the other hand, if this target is located close to the host vehicle 1, the imaging plane can be estimated accurately, so the validity of the first matching result based on the geometric transformation becomes high. Therefore, the position estimating unit 106 estimates the position of the target object using the first matching result, similarly to the external world recognition device 100 according to the first embodiment described above.
  • the parallax validity verification unit 109 compares the first matching result and the second matching result, and if the validity of the second matching result is low, calculates the parallax between the images 40a and 41a and performs the matching.
  • the second matching result thus obtained is output to the position estimating unit 106. For example, if the target is detected at a position far from the own vehicle 1, the parallax will be small, so the validity of the second matching result based on the parallax will be high. On the other hand, since this target is located far from the host vehicle 1, the imaging plane is estimated inaccurately, and the validity of the first matching result based on the geometric transformation becomes low. Therefore, the position estimating unit 106 estimates the position of the target using the second matching result.
  • the parallax validity verification unit 109 may again compare the first matching result and the second matching result with respect to the image area in which this target is reflected.
  • the first image region of the image 40a and the image region of the image 41a that have been geometrically transformed using the geometric transformation parameters output from the matching condition determination unit 104 are matched.
  • the validity of the matching result is verified by comparing the matching result with the second matching result of the images 40a and 41a using the parallax calculated by the parallax calculation unit 108.
  • the parallax validity verification unit 109 determines the result to be output to the position estimation unit 106 as either the first verification result or the second verification result, depending on the validity of the verification result. If the validity obtained by comparing the first matching result and the second matching result is low, the position estimating unit 106 can estimate the position of the target using the second matching result. Therefore, depending on whether the target object is located close to or far from the host vehicle 1, either the first verification result or the second verification result is output to the position estimation unit 106. Therefore, the position estimating unit 106 can quickly estimate the positions of targets located at various positions.
  • the present invention has been described as an external world recognition device mounted on the vehicle 1, but this external world recognition device can be applied to, for example, a self-propelled robot equipped with a plurality of cameras, or a self-propelled robot equipped with a plurality of cameras. It may also be used in an infrastructure monitoring system that monitors premises using captured images. In an infrastructure monitoring system, for example, a configuration in which a plurality of cameras are installed at one location is assumed.
  • an external world recognition device that has a function of directly calculating distance from the results of machine learning.
  • the external world recognition device becomes able to calculate the distance to the target using machine learning, the distance can be calculated as soon as the target is detected from the image, reducing the calculation load on the external world recognition device. can do.
  • the external world recognition device may perform parallax matching used in conventional stereo cameras.
  • the external world recognition device may refer to the result that is estimated to be the best matching result from the results of matching multiple images, and may also estimate the positional relationship of each target using map information prepared in advance. can.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

外界認識装置は、第一の物標検知部による物標の検知結果に基づいて、第一画像における撮像平面を推定する撮像平面推定部と、撮像平面推定部が推定した撮像平面の情報と、複数の撮像部の撮像パラメータとに基づいて、第二画像における撮像平面に合わせた画像変換パラメータを推定する画像変換推定部と、画像変換推定部による画像変換パラメータを用いて画像変換した第一画像から検知された物標の特徴と、第二画像から検知された物標の特徴とを照合する特徴照合部と、特徴照合部の照合結果に基づいて、物標の三次元位置を推定する位置推定部と、を備える。

Description

外界認識装置及び外界認識方法
　本発明は、外界認識装置及び外界認識方法に関する。
　自動運転や高度運転支援システムの実現においては、車両の外界を監視し、走行経路にある障害物や、走行経路のレーン情報などの車両の走行に必要な物体を検知するカメラの重要性が高まっている。特に、物体の検知性能を高めるために、車両に複数台のカメラを搭載し、カメラから車両の周囲の情報を取得して、周囲の状況を認識する機能が実現されている。
　このような外界を認識するカメラの種類として、例えば、複数のカメラを使用したステレオカメラがある。ステレオカメラは、所定の間隔を空けて２つのカメラが車両に配置されたものである。そして、２つのカメラが撮影した画像の重複領域の視差を利用して、撮影された物体までの距離を計測することができる。
　ステレオカメラには、２台のカメラの光軸を平行に設置した平行ステレオカメラや、光軸を非平行に設置した非平行ステレオカメラなどが存在する。また、２台以上のカメラを使用したカメラシステムをマルチビューステレオシステムと呼称することもある。
　車両に搭載された電子制御装置（以下、ＥＣＵ（Electronic Control Unit）と呼ぶ）は、複数のカメラが撮影した複数の画像を用いて、物体までの距離を測定することで、車両の前方にある物体との接触可能性を把握できる。しかし、異なる位置にある２つのカメラでは同じ物体を撮像していたとしても、一般に２つのカメラ間で物体の映り方が異なる。映り方の違う画像同士を照合した場合、一方の画像と他方の画像とで映り方の違うパターンと似たパターンがあった場合に、誤った位置で画像を照合する可能性がある。
　誤った位置で画像を照合してしまうと、照合結果に基づいて測定される物体までの距離を誤ることに繋がり、車両の誤制御に繋がる可能性がある。実世界における物体の形状や平面のモデルが分かれば、各画像上での映り方が幾何学的に求まるため、形状や平面などを予測して照合することで誤照合が抑制できると考えられる。
　特許文献１には、「第１カメラによって撮像された第１画像と第２カメラによって撮像された第２画像の少なくとも一方を変形することで第１画像及び第２画像を共通の視点からの画像に変換する視点変換を行った後に複数の対応点を抽出し、視点変換前の第１画像及び第２画像における複数の対応点の座標を利用して第１カメラ及び第２カメラの幾何校正を行う」と記載されている。
　また、特許文献２には、「撮像手段により撮像されたステレオカメラ画像情報が、下向きで路面や床面等の監視対象面を撮像したものであることから、従来のほぼ水平方向に向いて設置されたステレオカメラによるステレオカメラ画像情報と比較して、監視対象面により向き合うような画像情報とすることにより、さらに、この下向きのステレオカメラ画像情報を平行化変換処理した平行化画像情報に基づいて３Ｄ距離画像情報を生成するので、監視対象面に対して上から見下ろす俯瞰画像となるため、路面や床面に対する距離を高精度で求めることができる。」と記載されている。
特開２０２０－１２７３５号公報 特開２０１９－１６３０８号公報
　画像に映っている物体毎に、自車両から物体までの距離を算出する方法を変えるのが適切であるが、特許文献１及び２に開示された技術では、画像内の特定の場所には特定の物体が映っていることを前提とした処理が行われていた。このため、画像内の特定の場所に不特定の物体が映っていた場合、その物体までの距離の測定を誤ることがあった。また、特許文献１及び２に開示された技術では、自車両に正対した物体までの距離を算出することができても、自車両に正対していない物体（例えば、側壁、ガードレール）等の距離を誤ることがあった。
　本発明はこのような状況に鑑みて成されたものであり、見え方が異なる２つの画像に不特定の物標が映った場合であっても、この物標までの距離を推定できるようにすることを目的とする。
　本発明に係る外界認識装置は、外界に対する撮像視野の少なくとも一部が重複する複数の撮像部のうち、少なくとも第一の撮像部から取得した第一画像に基づいて、物標を検知する第一の物標検知部と、複数の撮像部のうち、第二の撮像部から取得した第二画像に基づいて、物標を検知する第二の物標検知部と、第一の物標検知部による物標の検知結果に基づいて、第一画像における撮像平面を推定する撮像平面推定部と、撮像平面推定部が推定した撮像平面の情報と、複数の撮像部の撮像パラメータとに基づいて、第二画像における撮像平面に合わせた画像変換パラメータを推定する画像変換推定部と、画像変換推定部による画像変換パラメータを用いて画像変換した第一画像から検知された物標の特徴と、第二画像から検知された物標の特徴とを照合する特徴照合部と、特徴照合部による照合処理の結果に基づいて、物標の三次元位置を推定する位置推定部と、を備える。
　本発明によれば、見え方が異なる２つの画像に不特定の物標が映った場合であっても、この物標までの距離を推定できるようになる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の第１の実施形態に係る車両に搭載されるカメラの位置を示す図である。 本発明の第１の実施形態に係る車両を基準とした世界座標系を示す図である。 本発明の第１の実施形態に係る画像座標系について示す図である。 本発明の第１の実施形態に係るフロントカメラと左カメラが撮像した車両の前景の画像の例を示す図である。 本発明の第１の実施形態に係る外界認識装置の内部構成例を示すブロック図である。 本発明の第１の実施形態に係る計算機のハードウェア構成例を示すブロック図である。 本発明の第１の実施形態に係るフロントカメラで撮像された画像であって、直進方向に、他の車両、人物、ガードレール、側壁が映っている画像の例を示す図である。 本発明の第１の実施形態に係るフロントカメラで撮像された画像であって、自車両の斜め前に他の車両が映っている画像の例を示す図である。 本発明の第１の実施形態に係る特徴照合部の処理の例を示す図である。 本発明の第１の実施形態に係る特徴照合部が左カメラ画像とフロントカメラ画像を用いてテンプレートマッチングをする処理の様子を示す図である。 本発明の第２の実施形態に係る外界認識装置の内部構成例を示すブロック図である。 本発明の第３の実施形態に係る外界認識装置の内部構成例を示すブロック図である。 本発明の第３の実施形態に係る車両と背景が混在する領域の例を示す図である。 本発明の第４の実施形態に係る外界認識装置の内部構成例を示すブロック図である。 本発明の第４の実施形態に係る外界認識装置の変形例に係る幾何変換推定部と特徴照合部の内部構成例を示すブロック図である。 本発明の第５の実施形態に係る外界認識装置の内部構成例を示すブロック図である。
　以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。本発明は、例えば、先進運転支援システム（ＡＤＡＳ：Advanced Driver Assistance System）、又は自動運転（ＡＤ：Autonomous Driving）向けの車載ＥＣＵ（Electronic Control Unit）が通信可能な車両制御用の演算装置に適用可能である。
［第１の実施形態］
　図１Ａ，図１Ｂ、及び図１Ｃは、第１の実施形態に係る車両１に搭載されるカメラの位置、車両１を基準とした世界座標系、画像座標系について示す図である。
　図１Ａは、車両１のフロント、左側面、右側面にそれぞれ、フロントカメラ１０、左カメラ２０、右カメラ３０を設けた構成例を示す。以下の説明で、フロントカメラ１０、左カメラ２０、右カメラ３０を区別しない場合、単に「カメラ」とも呼ぶ。
　図１Ａでは、フロントカメラ１０の撮影範囲１０ａ、左カメラ２０の撮影範囲２０ａ、右カメラ３０の撮影範囲３０ａが一点鎖線で区切って示されている。撮影範囲１０ａ，２０ａは、一部の範囲が重なっている。同様に、撮影範囲１０ａ，３０ａは、一部の範囲が重なっており、撮影範囲２０ａ，３０ａは、一部の範囲が重なっている。これらの重なった範囲では、同じものがそれぞれのカメラで撮影された画像に映り込む。
　車両１に設置されたカメラが撮影した画像により、車両１に搭載されたＥＣＵ（後述する図３に示す外界認識装置１００）は、歩行者、他の車両、白線、路面などの、車両１の周囲に存在する物体の物体情報と、車両１から物体までの距離、物体のサイズ、物体の速度などの物理量を推定して取得する。そして、他のＥＣＵ（不図示の自動運転制御ＥＣＵ）は、取得した物理量に基づいて車両１の制御量を決定し、車両１の自動運転や運転支援等を実施する。以下の説明では、車両１の走行に影響を与える可能性のある物体（路面、人、ガードレール、白線等）を「物標」と呼ぶ。
　図１Ｂは、車両１の位置を原点とした世界座標系の例を示す。この世界座標系では、車両１の進行方向にＸ軸をとり、該Ｘ軸と直交する水平方向にＹ軸をとり、鉛直方向にＺ軸をとる。車両１以外の物標の位置は、世界座標系により推定される。このため、車両１から物標までの距離も推定される。
　車両１から物標までの距離の推定方法にはいくつかある。代表的な距離の推定方法として、複数のカメラが同じ物標を撮像する場合に、三角測量の原理で物標までの距離を計測する方法がある。この方法では、道路上に存在する世界座標の任意の点を斉次座標系で転置行列Ｘ＝（Ｘ，Ｙ，Ｚ，１）Ｔとし、カメラの回転角に関わる外部パラメータ行列をＲとし、カメラの設置位置に関わる外部パラメータ行列をＴとする。そして、外部パラメータ行列Ｒ，Ｔの行列をＰ＝（Ｒ｜Ｔ）とし、カメラの焦点距離や光学中心など内部状態を管理する内部パラメータ行列をＫとする。
　図１Ｃは、画像内で物標を特定するための画像座標系の例を示す。この画像座標系では、画像の左上を原点として水平方向にｕ軸をとり、垂直方向にｖ軸をとる。そして、カメラが撮像した画像内における物標の位置が（ｕ，ｖ）で特定される。
　ここで、転置行列Ｘが撮像された画像座標を斉次座標系で転置行列ｕ＝（ｕ，ｖ，１）Ｔとし、スケールパラメータをｓとし、透視投影モデルのレンズで仮定するとそれぞれのカメラについて式（１）が成り立つ。スケールパラメータｓはスカラー値である。また、式（１）における記号上の添え字はカメラの種類を表す。ここでは、２つのカメラを識別するために、一方のカメラの添え字を「０」とし、他方のカメラの添え字を「１」としている。なお、式（１）にて、スケールパラメータｓが無ければ、式（１）の右辺が左辺の定数倍になってしまう。そこで、式（１）の右辺が左辺の定数倍にならないようにするためにスケールパラメータｓが設けられる。
Figure JPOXMLDOC01-appb-M000001
　一つのカメラの画像座標が与えられた場合、この画像座標から物標の三次元点を復元することは何らかの前提条件なしには不可能である。しかし、同じ位置Ｘを映す２つのカメラの組があった場合には、位置Ｘの同一箇所が画像座標（ｕ０，ｕ１）で表されるのであれば、式（２）を用いて最小二乗法を解くことで三次元点Ｘを推定することができる。ただし、式変形の形によっては、式（２）を用いた解き方に限る必要はない。
Figure JPOXMLDOC01-appb-M000002
　ここで、図１Ａを参照して、式（２）の意味を説明する。
　フロントカメラ１０の画角は、撮影範囲１０ａに示されるように、フロントカメラ１０の設置位置における三角形の頂角である。同様に、左カメラ２０の画角は、撮影範囲２０ａに示されるように、左カメラ２０の設置位置における三角形の頂角である。右カメラ３０の画角は、撮影範囲３０ａに示されるように、右カメラ３０の設置位置における三角形の頂角である。
　フロントカメラ１０の画角と、左カメラ２０の画角が重複する領域が車両１の左前方にある。このため、２つのカメラの画角が重複する領域に映る物標に対して三角測量の原理で距離が推定できる。同様に、フロントカメラ１０の画角と、右カメラ３０の画角が重複する領域（車両１の右前方）についても、三角測量の原理で距離が推定できる。
　２つの画像に共通して映る物標を、２つの画像の同一位置で効率的に探索するためには、式（３）に示すエピポール拘束式が用いられる。この式を使う際には、片方の画像に映った物標の画像座標を与えた場合に、もう片方の画像に映った物標の画像座標の位置の候補が直線上にあるため、画像全体ではなく、その直線上を探索すればよいという条件を与える。エピポール拘束式で用いられる基本行列は、上に示した２つのカメラ（例えば、フロントカメラ１０と左カメラ２０）の外部パラメータ行列と内部パラメータ行列から導かれる。
Figure JPOXMLDOC01-appb-M000003
　また、上記に示したパラメータ群を適切に用いて平行化という前処理を施せば、世界座標の任意の点Ｘが同一の画像の高さに並ぶ画像に変換することができる。平行化された画像の横方向に探索するという簡易な処理で物標の同一位置の探索を実施できる。これは平行ステレオカメラの原理である。いずれにせよ、２つの画像から物標の同一位置を探索することは、各画像を撮像したカメラに固有のパラメータや設置条件の情報などから推定することが可能である。ここで、両画像とは、図１Ａでは、フロントカメラ１０と左カメラ２０の画像、フロントカメラ１０と右カメラ３０の画像、左カメラ２０と右カメラ３０の画像の組み合わせが想定される。このように２つの画像を探索して物標の同一位置を求めることを以下では簡単に「照合する」と呼ぶ。
　なお、画像情報を照合する手法にはいくつかあり、典型的な手法としてテンプレートマッチングが挙げられる。テンプレートマッチングは、一方の画像から関心のある物標の画像座標の周辺を矩形などの小さい領域で切り出し、その矩形内の画素分布に近い領域を他方の画像から小さい矩形領域を移動しながら適当なコスト関数を用いて探索する手法である。比較手法としては差分絶対値和、差分二乗和などが基本的な手法として知られる。
　画像情報を照合する別の手法としては、画像内における物標の角（コーナー）などの画像特徴の高い部分における画像座標をまず探索して特徴点とした上で、この特徴点の周辺の画像特徴量をベクトル化（特徴量化）して保持する方法がある。特徴量化の手法としてはＳＩＦＴ（Scale Invariant Feature Transform）、ＯＲＢ（Oriented FAST and Rotated BRIEF）などが代表的なものとして知られ、深層学習ベースの手法も存在する。深層学習ベースの手法は、２つの画像間で特徴量同士を照合する手法である。
　ここで、２つのカメラの画角の重複領域にて同一の物標が映る画像について説明する。
　図２は、図１Ａに示したフロントカメラ１０と左カメラ２０が撮像した車両１の前景の画像の例を示す図である。フロントカメラ１０が撮像した画像を「フロントカメラ画像」と呼び、左カメラ２０が撮像した画像を「左カメラ画像」と呼ぶ。
　車両１の手前には横断歩道があり、奥には直方体状の物標が存在する。横断歩道と直方体上の物標は、いずれも左カメラ画像とフロントカメラ画像に映っている。ここで、左カメラ画像に映る横断歩道の一部の領域２１，２２を破線の矩形枠で表す。同様にフロントカメラ画像に映る横断歩道の一部の領域１１，１２を破線の矩形枠で表す。領域２１，１１の組み合わせ、領域２２，１２の組み合わせのように左カメラ画像の矩形枠に対応する場所が、フロントカメラ画像にも存在している。しかし、左カメラ画像とフロントカメラ画像とで、矩形枠の内部（横断歩道の一部）の見え方が大きく異なる。
　このように大きく見え方が異なる２つの画像に映る同じ場所の画像を照合するのは、上述したテンプレートマッチングでは難しく、特徴点又は特徴量を用いた照合であっても難しい。通常、テンプレートマッチングは、画像中の同じ位置にある画素同士を比較するが、見え方が異なるとマッチングしにくくなる。また、見え方が異なる画像同士で特徴点又は特徴量が作成されることでも、互いに画像をマッチングしにくくなる。このため、本来異なる形状同士が照合されたり、本来同一と判断されるべき形状が画像内で見つからず照合されなかったりする。このように異なる画像に映る同じ物標の照合が正しく行われなければ、その物標までの距離を誤って推定する可能性がある。
　そこで、本発明者は、片方の画像に対してどのような変換をすれば、大きく見え方が異なる２つの画像の照合時に物標の差分が少なくなるかを検討した。以下に、２つの画像に映る同一物の照合の性能を上げることが可能な本発明の各実施形態に係る外界認識装置及び物標照合方法について、図３以降の図面を参照して説明する。外界認識装置は、車両１に搭載されるＥＣＵに構成されるソフトウェアにより、その機能が実現される。
　図３は、第１の実施形態に係る外界認識装置１００の内部構成例を示すブロック図である。外界認識装置１００は、例えば、車両１に搭載されるＥＣＵの一形態である。また、以下の説明では、外界認識装置１００が搭載される車両１を他の車両２と区別するため、「自車両１」とも呼ぶ。
　外界認識装置１００は、車両１に搭載される装置である。外界とは、例えば、外界認識装置１００が搭載される車両１の外のことであり、外界認識装置１００は、外界に存在する様々な物標を認識する。物標の認識結果は、例えば、物標の属性、物標の大きさ、車両１から物標までの距離等の情報を含む。
　外界認識装置１００には、２つの撮像部４０，４１が撮像した２つの画像がそれぞれ入力される。撮像部４０は、例えば、図１Ａに示した左カメラ２０であり、左カメラ２０が撮像した画像４０ａを物標検知部１０１に出力する。
　撮像部４１は、例えば、図１Ａに示したフロントカメラ１０であり、フロントカメラ１０が撮像した画像４１ａを物標検知部１０２に出力する。
　撮像部４０，４１の図１Ａに示した各カメラの組み合わせは、フロントカメラ１０と右カメラ３０、左カメラ２０と右カメラ３０としてもよい。
　外界認識装置１００は、２つの物標検知部１０１，１０２、カメラパラメータ１０３、照合条件決定部１０４、特徴照合部１０５、及び位置推定部１０６を備える。
　物標検知部１０１は、撮像部４０から入力した画像に対する物標検知処理を行う。この第一の物標検知部（物標検知部１０１）は、外界に対する撮像視野の少なくとも一部が重複する複数の撮像部のうち、少なくとも第一の撮像部（撮像部４０）から取得した第一画像（画像４０ａ）に基づいて、物標を検知する。
　物標検知部１０２は、撮像部４１から入力した画像に対する物標検知処理を行う。この第二の物標検知部（物標検知部１０２）は、複数の撮像部のうち、第二の撮像部（撮像部４１）から取得した第二画像（画像４１ａ）に基づいて、物標を検知する。
　物標検知部１０１，１０２で行われる物標検知処理は、例えば、入力された画像４０ａ，４１ａから車両２や白線、歩行者、車両１の走行可能領域、ガードレール、側壁などを検知する処理である。図２に示したような領域１１，１２，２１，２２に示される各画像の一部が物標検知処理の結果として後続の機能部に出力される。なお、物標検知部１０１，１０２は、物標検知処理を通じて、物標毎に画像解析をすることで物標の属性を求めることもできる。物標検知部１０１による物標検知処理の結果は、照合条件決定部１０４の撮像平面推定部１１１に出力される。物標検知部１０２による物標検知処理の結果は、特徴照合部１０５に出力される。以下の説明では、物標検知処理の結果を「物標の検知結果」とも呼ぶ。
　また、撮像部４０が撮像した画像は、物標検知部１０１を介して、照合条件決定部１０４に入力され、さらに照合条件決定部１０４を介して特徴照合部１０５に入力される。撮像部４１が撮像した画像は、物標検知部１０２を介して、特徴照合部１０５に入力される。
　照合条件決定部１０４は、画像４０ａ，４１ａにおいて検知された同じ物標が互いに対応する位置を特徴照合部１０５が照合するための照合条件を決定する。この照合条件決定部１０４は、撮像平面推定部１１１及び幾何変換推定部１１２を備える。
　撮像平面推定部（撮像平面推定部１１１）は、物標検知部（物標検知部１０１）による物標の検知結果に基づいて、第一画像（画像４０ａ）における撮像平面を推定する。この撮像平面推定部１１１は、物標検知部１０１から入力した物標の検知結果に基づいて、各物標が実世界でどのような平面で構成されているかを推定する。各物標を構成する平面を撮像平面と呼び、撮像平面の平面方程式で表現される。撮像平面推定部（撮像平面推定部１１１）は、物標の大きさ、及び物標までの距離に基づいて、撮像平面を推定する。また、撮像平面推定部（撮像平面推定部１１１）は、物標が撮像された画像領域において撮像平面を推定する。なお、平面方程式は、例えば、パラメータ（α，β，γ，δ）で表される。撮像平面推定部１１１が推定した撮像平面の方程式は、幾何変換推定部１１２に出力される。
　画像変換推定部（幾何変換推定部１１２）は、撮像平面推定部（撮像平面推定部１１１）が推定した撮像平面の情報と、複数の撮像部の撮像パラメータ（カメラパラメータ１０３）とに基づいて、複数の撮像部のうち、第二画像（画像４１ａ）における撮像平面に合わせた画像変換パラメータ（幾何変換パラメータ）を推定する。例えば、幾何変換推定部１１２は、撮像平面推定部１１１から入力した撮像平面の方程式と、カメラパラメータ１０３とに基づいて、撮像部４０，４１で撮像されている場所における画像間の幾何変換パラメータを推定する。カメラパラメータ１０３として、例えば、上述した式（１）に含まれるＫ及びＰがある。ただし、カメラパラメータ１０３は、固定値としてもよい。
　なお、撮像平面推定部１１１及び幾何変換推定部１１２は物標検知部１０２側にあってもよい。
　特徴照合部（特徴照合部１０５）は、画像変換推定部（幾何変換推定部１１２）による画像変換パラメータ（幾何変換パラメータ）を用いて画像変換した第一画像（画像４０ａ）から検知された物標の特徴と、第二画像（画像４１ａ）から検知された物標の特徴とを照合する。この特徴照合部１０５は、物標検知部１０１が検知した物標に幾何変換を行った変換結果の特徴と、物標検知部１０２から入力した物標の検知結果の特徴とを照合する。このため、特徴照合部１０５は、幾何変換推定部１１２により推定された幾何変換パラメータを用いて、画像４０ａから検知された物標の形状を変換する。その後、特徴照合部１０５は、形状が変換された物標の形状と、画像４１ａから検知された物標の形状とを照合し、自車両１から物標までの距離を算出する。自車両１から物標までの距離が特徴照合部１０５による照合結果として位置推定部１０６に出力される。照合結果は、例えば、照合される物標を含む画像領域ごとに、不一致を０％、完全一致を１００％とする値で表してもよい。そして、特徴照合部１０５は、８０％以上の照合結果であれば、この照合結果は信頼度が高いと判断し、信頼度が高い照合結果を位置推定部１０６に出力してもよい。
　位置推定部（位置推定部１０６）は、特徴照合部（特徴照合部１０５）による照合処理の結果に基づいて、物標の三次元位置を推定する。例えば、位置推定部１０６は、特徴照合部１０５による照合結果に基づいて、世界座標系（図１Ｂを参照）における物標の三次元位置（「位置推定結果」と呼ぶ）を推定する。この時、位置推定部１０６は、自車両１から物標までの距離を算出し、物標ごとの距離を位置推定結果に含めることができる。位置推定結果は、自車両１に搭載された他のＥＣＵ（例えば、自動運転制御用のＥＣＵ）による自車両１の車両制御に用いられたり、自車両１の周辺にある物標の奥行き情報を求めるために用いられたりする。
　次に、外界認識装置１００を構成する計算機８０のハードウェア構成を説明する。
　図４は、計算機８０のハードウェア構成例を示すブロック図である。計算機８０は、本実施の形態に係る外界認識装置１００として動作可能なコンピューターとして用いられるハードウェアの一例である。本実施の形態に係る外界認識装置１００は、計算機８０（コンピューター）がプログラムを実行することにより、図３に示した各機能ブロックが連携して行う画像処理方法を実現する。
　計算機８０は、バス８４にそれぞれ接続されたＣＰＵ（Central Processing Unit）８１、ＲＯＭ（Read Only Memory）８２、及びＲＡＭ（Random Access Memory）８３を備える。さらに、計算機８０は、不揮発性ストレージ８５及びネットワークインターフェイス８６を備える。
　ＣＰＵ８１は、本実施の形態に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ８２から読み出してＲＡＭ８３にロードし、実行する。ＲＡＭ８３には、ＣＰＵ８１の演算処理の途中で発生した変数やパラメータ等が一時的に書き込まれ、これらの変数やパラメータ等がＣＰＵ８１によって適宜読み出される。ただし、ＣＰＵ８１に代えてＭＰＵ（Micro Processing Unit）を用いてもよい。外界認識装置１００における各機能部の機能は、ＣＰＵ８１、ＲＯＭ８２及びＲＡＭ８３により実現される。
　不揮発性ストレージ８５としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フレキシブルディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ又は不揮発性のメモリ等が用いられる。この不揮発性ストレージ８５には、ＯＳ（Operating System）、各種のパラメータの他に、計算機８０を機能させるためのプログラムが記録されている。ＲＯＭ８２及び不揮発性ストレージ８５は、ＣＰＵ８１が動作するために必要なプログラムやデータ等を記録しており、計算機８０によって実行されるプログラムを格納したコンピューター読取可能な非一過性の記憶媒体の一例として用いられる。カメラパラメータ１０３等の各種の値は、ＲＡＭ８３又は不揮発性ストレージ８５に保存され、適宜読み出される。
　ネットワークインターフェイス８６には、例えば、ＮＩＣ（Network Interface Card）等が用いられ、ＮＩＣの端子に接続されたＬＡＮ（Local Area Network）、専用線等を介して各種のデータを外部の装置と送受信することが可能である。
　ここで、撮像平面推定部１１１が行う処理について、図５Ａと図５Ｂを参照して説明する。
　図５Ａと図５Ｂは、フロントカメラ１０で撮像された画像の例を示す。
　図５Ａは、直進方向に、他の車両２、人物、ガードレール、側壁が映っている画像である。図５Ａでは、領域５１が路面の検知結果を表し、領域５２がガードレールの検知結果を表し、領域５３が人物の検知結果を表し、領域５４が側壁の検知結果を表している。このように領域５１～５４が物標の検知結果として用いられる。
　撮像平面推定部１１１は、ある画像座標における検知結果に従って、例えば、その撮像平面を、平面方程式であるαＸ＋βＹ＋γＺ＋δ＝０に従うようにパラメータ（α，β，γ，δ）を推定する。
　例えば、物標検知部１０１が画像から物標を検知した結果が領域５１のような路面であるとする。この場合、撮像平面推定部１１１は、その画像座標で撮像された平面を車両１が接地して走行している車両接地面として、Ｚ＝０、つまり（α，β，γ，δ）＝（０，０，１，０）として推定する。なお、物標の検知結果が坂道の場合は、平面方程式は、例えばｈＸ＋Ｚ＋ｋ＝０と表される。つまり、撮像平面推定部１１１は、（α，β，γ，δ）＝（ｈ，０，１，ｋ）として推定することができる。
　図５Ｂは、自車両１の斜め前に他の車両２が映っている画像である。ここでは、自車両１の前方にカーブした道路がある場面が想定される。例えば、物標検知部１０１による検知結果が他の車両２であって、領域５５のように直方体のバウンディングボックスとして検知結果が出力される場合を想定する。この場合、撮像平面推定部１１１は、領域５５で表される直方体の形状から、直方体の正面、背面及び側面を撮像平面とした各面の平面方程式を推定する。なお、領域５５のバウンディングボックスの正面とは、車両２の前方の面であり、背面とは車両２の後方の面であり、側面とは車両２の左右の面である。
　ここで、物標検知部１０１により検知された他の車両２が、Ｚ＝０の平面に直立していると仮定する。このため、撮像平面推定部１１１は、領域５５で表される直方体の面の平面方程式は、例えばａＸ＋ｂＹ＋ｄ＝０と表される。つまり、撮像平面推定部１１１は、（α，β，γ，δ）＝（ａ，ｂ，０，ｄ）として平面方程式のパラメータを推定する。本明細書では、平面方程式のパラメータを推定することを「撮像平面を推定する」とも呼ぶ。
　ただし、直方体の面によって実際の係数値は異なる。実際の係数値はセンサから出力される、自車両１から他の車両２までの推定距離などを用いる。例えば、路面と他の車両２の接地面の位置、並びに単眼カメラの設置位置及び設置角度から距離を推定可能とする公知の測定原理を用いることで、検知結果が距離の推定情報を含むことがある。この場合、撮像平面推定部１１１は、検知結果に含まれる距離の推定情報に基づいて、車両１の側面などの平面方程式も推定可能である。このため、撮像平面推定部１１１は、推定した平面方程式を推定結果として出力することもできる。
　また、例えば、検知結果が歩行者や障害物である場合を想定する。この場合、図５Ａの領域５２，５３に示したように矩形のバウンディングボックスが検知結果として出力されただけでは、撮像平面推定部１１１は、撮像平面を明確には推定できない。そこで、撮像平面推定部１１１は、例えば、自車両１の進行方向に垂直な面ができていると仮定する。そして、撮像平面推定部１１１は、平面方程式を、Ｘ＋ｅ＝０と表す。つまり、撮像平面推定部１１１は、（α，β，γ，δ）＝（１，０，０，ｅ）として、平面方程式のパラメータを推定することができる。他にも、図５Ａに示したガードレールが映る領域５２、側壁が映る領域５４に対して、直方体のバウンディングボックスが検知結果として出力されると、撮像平面推定部１１１は、直方体の側面に対応する撮像平面の平面方程式を推定することができる。なお、撮像平面推定部１１１は、各カメラへの光線の到来方向、又は各カメラの光軸に対して物体が垂直に正対していると仮定して、物体毎に平面方程式のパラメータ（α，β，γ，δ）を推定してもよい。
　ところで、ポールや木などの立体物に対して属性が付与されておらず、検知結果の属性が不明な領域がある場合も想定される。この場合、撮像平面推定部１１１は、ポールや木の位置に所定の高さの立体物を想定し、車両１の進行方向に垂直な面が出来ていると仮定する。そして、撮像平面推定部１１１は、検知結果を歩行者としたように、検知結果の属性が不明な領域に矩形のバウンディングボックスを仮定して、平面方程式のパラメータを推定することも可能である。
　なお、撮像平面推定部１１１が撮像平面を推定する方法の他の例として、物標の検知結果に対して単純な線形方程式ではなく、二次方程式や多次方程式を用いることも考えられる。その場合は、撮像平面推定部１１１は、画像上で着目している位置に従って、多次方程式を区分的な線形式に分割して近似し、撮像平面を推定する。以上のように、撮像平面推定部１１１は、物標の検知結果に基づいて、物標の撮像平面を推定する。
　次に、幾何変換推定部１１２が幾何変換パラメータを推定する方法について説明する。
　幾何変換推定部１１２は、撮像平面推定部１１１で推定された撮像平面の推定結果とカメラパラメータ１０３に基づいて２つのカメラ（撮像部４０，４１）で撮像された２つの画像４０ａ，４１ａの幾何変換パラメータを推定する。この幾何変換パラメータの推定方法の一例について説明する。
　まず、片方の画像（撮像部４０が撮像した画像４０ａ）に対して処理された撮像平面推定部１１１の推定結果を用いる。幾何変換推定部１１２は、撮像部４０が撮像した画像内のある画素座標に着目した場合に、その画素座標に対する平面方程式を平面変換行列に変換する。幾何変換推定部１１２は、例えば、Ｚについて平面方程式を整理して、式（４）に示すように平面変換行列Ｃを導入する。そして、４次元の世界座標（斉次座標）Ｘを一次元圧縮し、Ｘ’として整理する。
Figure JPOXMLDOC01-appb-M000004
　幾何変換推定部１１２は、Ｘ’を用いることで、式（１）に示したｓ０ｕ０，ｓ１ｕ１を、式（５）、式（６）のように変換できる。幾何変換推定部１１２は、式（５）と式（６）を連立して整理することで、射影変換行列Ｈ（幾何変換パラメータ）を式（７）のように導くことができる。なお、照合条件決定部１０４に入力したカメラパラメータ１０３は、式（１）に含まれるＫ及びＰがあるため、式（５）～式（７）で用いられる。式（７）により、２つの画像４０ａ，４１ａの相対関係が表される。
Figure JPOXMLDOC01-appb-M000005
　なお、幾何変換推定部１１２は、前述した平行化処理を使用した場合や、カメラの設置位置、平面方程式によっては、射影変換よりも変換パラメータ数が少ないアフィン変換や剪断変換等で幾何変換が済む場合もある。幾何変換推定部１１２が幾何変換に用いる変換パラメータが少なければ、幾何変換推定部１１２による計算時間の短縮につながる。そこで、幾何変換推定部１１２は、変換パラメータの数に合わせて変換の種類を切り替えてもよい。以降の処理では、画像変換の一例として、様々な種類の変換処理をまとめて「幾何変換」と呼ぶ。
　特徴照合部１０５は、幾何変換推定部１１２による推定結果と、撮像部４０，４１で撮像された画像とを用いて、画像同士を照合する。特徴照合部１０５が２つの画像を照合する処理の例について、図６を参照して説明する。
　図６は、特徴照合部１０５の処理の例を示す図である。特徴照合部１０５には、図３に示した撮像部４０，４１から画像４０ａ，４１ａが入力される。
　画像４０ａ内の任意の点に対する幾何変換推定部１１２の推定結果として幾何変換パラメータが用いられる。幾何変換パラメータは、上述した式（７）の射影変換行列Ｈとして表される。特徴照合部１０５では、撮像部４０で撮像された画像４０ａと、幾何変換推定部１１２で推定された幾何変換パラメータとが入力され、画像４０ａの該当場所に対して幾何変換処理が行われる（Ｓ１）。
　また、特徴照合部１０５には、撮像部４１で撮像された画像４１ａが物標検知部１０２を介して入力される。そして、特徴照合部１０５は、ステップＳ１で幾何変換処理が行われた画像４０ａと、物標検知部１０２を介して入力された他方の画像４１ａとの画像照合処理が行われる（Ｓ２）。ただし、幾何変換される箇所は、画像４０ａ，４１ａで同一部の物標が検知された位置を含む、この位置の周辺の領域である。
　画像照合処理では、画像４０ａの幾何変換された箇所と、画像４１ａの対応する箇所とのテンプレートマッチングや、画像の特徴点の抽出処理、及び特徴量の抽出処理が行われる。射影変換の場合、幾何変換自体が移動成分を含むので、照合箇所は、幾何変換で与えられる位置の周辺である程度推定されていることと等価になる。このため、特徴照合部１０５は、幾何変換で与えられる位置の周辺を探索すればよい。ステップＳ２の後、処理結果が位置推定部１０６に出力される。
　ここで、テンプレートマッチングの例について、図７を参照して説明する。
　図７は、特徴照合部１０５が左カメラ画像とフロントカメラ画像を用いてテンプレートマッチングをする処理の様子を示す図である。ここでは、左カメラ画像が、図７に示した画像４０ａであり、フロントカメラ画像が、図７に示した画像４１ａであるとする。
　図２に示したように、左カメラ画像とフロントカメラ画像の一部に交差点の特徴的な部分（白線が交差する箇所）が映り込んだ領域２１，２２が存在する。この特徴的な部分は、フロントカメラ画像にもそれぞれ領域１１，１２として存在する。しかし、領域２１，１１の形状が異なっており、また、領域２２，１２の形状も異なっていたので、従来の方法では各領域の形状を単純にマッチングすることができなかった。
　一方、本実施の形態に係る射影変換（幾何変換）を利用することで、左カメラ画像に含まれる領域２１，２２の物標は、図７の下側に示す領域７１，７２の形状に変換される。この時、領域７１，７２に含まれる形状は、それぞれ領域１１，１２に含まれる形状に近くなる。このため、特徴照合部１０５は、領域２１，２２に含まれる幾何変換前の形状を、フロントカメラ画像から探すよりも照合処理を簡単に行えるようになる。このように特徴部分を含む領域の形状が幾何変換されると、特徴照合部１０５が照合処理を簡単に行えるという効果が得られる。
　なお、平面方程式がある画像領域内で一定である場合には、特徴照合部１０５がその領域を射影変換した後、テンプレートマッチングを行ってもよい。あるいは、特徴照合部１０５がテンプレートごとに射影変換を実施してもよい。
　また、画像内の特徴点を抽出する処理、及び特徴量を抽出する処理（「特徴点及び特徴量の抽出」と呼ぶ）も同様である。特徴照合部１０５は、一旦、画像を射影変換した上で特徴点及び特徴量の抽出を実施してもよい。あるいは、特徴照合部１０５は、特徴点及び特徴量の抽出の処理内に射影変換を組み込んで、特徴点及び特徴量の抽出を実施してもよい。
　位置推定部１０６は、特徴照合部１０５による照合の結果、求められた対応位置から上式（２）を用いて、世界座標系における物標の座標点を計算する。
　外界認識装置１００では、上述した構成にすることで、車両１、歩行者、道路など、車両１の走行中における環境変化に対応しつつ、２つの画像に映る物標の照合精度と、車両１から物標までの距離の推定精度とを上げることが可能となる。
　以上説明した第１の実施形態に係る外界認識装置１００では、自車両１から物標までの距離の推定をするために、車両の走行に伴って動的に変化する走行環境に合わせて、画像４０ａ内の位置に応じた撮像平面の平面方程式を物標ごとに推定する。そして、外界認識装置１００は、物標ごとに幾何変換を行って、画像４１ａから検知された物標と特徴を照合する。このため、外界認識装置１００は、見え方が異なる２つの画像に不特定の物標が映った場合であっても、この物標までの距離を推定できる。また、位置推定部１０６は、特徴が照合された物標の位置を推定するため、物標までの距離の誤差を低減することが可能となる。
［第２の実施形態］
　次に、本発明の第２の実施形態に係る外界認識装置１００Ａの構成例及び処理例について、図８を参照して説明する。
　図８は、第２の実施形態に係る外界認識装置１００Ａの内部構成例を示すブロック図である。
　外界認識装置１００Ａは、物標検知部１０１，１０２、カメラパラメータ１０３、照合条件決定部１０４Ａ、特徴照合部１０５Ａ、及び位置推定部１０６を備える。この外界認識装置１００Ａは、撮像部４０，４１から入力する２つの画像に対して、それぞれ撮像平面の推定処理と、幾何変換パラメータの推定を実施する。このため、外界認識装置１００Ａは、第一画像（画像４０ａ）から検知される物標と、第二画像（画像４１ａ）から検知される物標に対して、それぞれ設けられた複数の撮像平面推定部（撮像平面推定部１１１，１１３）と、複数の画像変換推定部（幾何変換推定部１１２，１１４）と、を備える。図８に示すように、外界認識装置１００Ａが備える照合条件決定部１０４Ａは、撮像平面推定部１１１，１１３、幾何変換推定部１１２，１１４を備える。撮像平面推定部１１１，１１３は同じ機能を持ち、幾何変換推定部１１２，１１４は同じ機能を持つ。
　物標検知部１０１は、撮像部４０で撮像された画像から物標を検知する。この検知結果に対して、撮像平面推定部１１１が撮像平面を推定し、幾何変換推定部１１２が幾何変換パラメータを推定する。
　同様に、物標検知部１０２は、撮像部４１で撮像された画像から物標を検知する。この物標の検知結果に対して、撮像平面推定部１１３が撮像平面を推定し、幾何変換推定部１１４が幾何変換パラメータを推定する。
　特徴照合部１０５Ａは、幾何変換推定部１１２，１１４を通じて二つの結果を受け取る。このため、特徴照合部１０５Ａの機能は、図３に示した第１の実施形態に係る特徴照合部１０５の機能とは異なる。
　特徴照合部１０５Ａの機能を実装する方法には、いくつか想定される。その一つの方法では、特徴照合部１０５Ａが、一方の幾何変換推定部１１２により推定された幾何変換パラメータを使って画像４０ａを幾何変換した結果と、画像４１ａとの照合結果を得る。また、特徴照合部１０５Ａが、他方の幾何変換推定部１１４により推定された幾何変換パラメータを使って画像４１ａを幾何変換した結果と、画像４０ａとの照合結果を得る。そして、特徴照合部１０５Ａが得た２つの照合結果を比較する。２つの照合結果より、同じ場所で同じ物標が照合されたことが判明した場合に、いずれの照合結果も信頼度が高いとみなすことができる。
　そこで、特徴照合部（特徴照合部１０５Ａ）は、一方の画像変換推定部（幾何変換推定部１１２）により推定された画像変換パラメータ（幾何変換パラメータ）を使って第一画像（画像４０ａ）を画像変換（幾何変換）した結果と、第二画像（画像４１ａ）との照合結果を取得し、他方の画像変換推定部（幾何変換推定部１１４）により推定された画像変換パラメータ（幾何変換パラメータ）を使って第二画像（画像４１ａ）を幾何変換した結果と、第一画像（画像４０ａ）との照合結果を取得し、それぞれの照合結果を比較して、第一画像（画像４０ａ）から検知される物標と、第二画像（画像４１ａ）から検知される物標が同じ三次元位置で照合した場合に、照合結果に高い信頼度を付与する。ここでの照合結果に付与される信頼度は、各画像から検知された物標ごとに、同じ三次元位置で照合されなかったら不一致を０％とし、同じ三次元位置で照合されたら１００％とする値で表してもよい。そして、特徴照合部１０５は、８０％以上の信頼度であれば、信頼度が高い照合結果を位置推定部１０６に出力してもよい。
　また、特徴照合部１０５Ａは、推定される撮像平面を照合してもよい。そこで、特徴照合部１０５Ａは、撮像平面推定部１１１が推定する撮像平面と、撮像平面推定部１１３が推定する撮像平面とを比較する。この時、特徴照合部１０５Ａは、撮像平面推定部１１３が推定する撮像平面を基準とし、撮像平面推定部１１１が推定する撮像平面が異なる場合には、照合結果の信頼度が低いため、照合ミスと判定する。そして、特徴照合部１０５Ａは、推定した撮像平面の対象である物標に関して、特徴の照合結果を位置推定部１０６に出力しない対応ができる。このように、特徴照合部１０５Ａは、信頼度が高い照合結果のみを残して位置推定部１０６に照合結果を出力したり、信頼度が低い照合結果をノイズと判断して照合結果を出力しなかったりする。このため、位置推定部１０６は、照合結果の信頼度が高い物標に限定して、この物標の位置及び距離を推定することが可能となる。
　以上説明した第２の実施形態に係る外界認識装置１００Ａでは、照合条件決定部１０４Ａが、撮像平面推定部１１１，１１３、幾何変換推定部１１２，１１４を備える構成とした。そして、特徴照合部１０５Ａが、幾何変換推定部１１２，１１４から出力される推定結果のうち、一方の推定結果を基準にとって推定結果を照合することで、照合結果の信頼度を求めることができる。このため、特徴照合部１０５Ａによる照合結果の信頼度の高低に基づいて、物標を正しく照合できたか判定しやすくなり、位置推定部１０６による物標の位置の推定も正確に行えるようになる。
［第３の実施形態］
　次に、本発明の第３の実施形態に係る外界認識装置１００Ｂの構成例及び処理例について、図９と図１０を参照して説明する。
　物標検知部１０１により指定された画像領域の中に複数の属性の物標が混在する場合に、図９に示す照合条件決定部１０４Ｂが各属性の物標を正確に検知するためにはいくつかの方法が考えられる。例えば、照合条件決定部１０４Ｂは、物標検知部１０１が検知した物標の検知結果を受け取ると、物標検知部１０１により検知された物標の属性や、撮像平面推定部１１１により推定された平面方程式から照合対象である物標の前景となる物標を優先して計測する方法が考えられる。
　また、物標検知部１０１により物標ごとに複数の属性が検知された場合、照合条件決定部１０４Ｂは、支配的な物標の属性を選択する方法をとってもよい。支配的な物標とは、例えば、画像領域に複数の物標が映る場合に前景となる物標である。この場合、特徴照合部１０５は、被支配的な物標に対して前景となる、支配的な物標の属性に従って物標の特徴を照合し、物標の位置を推定する。ここでは、画像４０ａ，４１ａから検知された複数の物標のうち、支配的な物標を選択することが可能な外界認識装置１００Ｂが有する照合条件決定部１０４Ｂについて説明する。
　図９は、第３の実施形態に係る外界認識装置１００Ｂの内部構成例を示すブロック図である。第３の実施形態に係る外界認識装置１００Ｂでは、物標検知部１０１により指定された画像領域の中に複数の属性の物標が混在する場合に、特定の物標を特徴照合部１０５によるテンプレートマッチングの対象として選択する処理が行われる。
　外界認識装置１００Ｂは、物標検知部１０１，１０２、カメラパラメータ１０３、照合条件決定部１０４Ｂ、特徴照合部１０５、及び位置推定部１０６を備える。この外界認識装置１００Ｂが備える照合条件決定部１０４Ｂは、撮像平面推定部１１１、幾何変換推定部１１２に加えて、変換選択部１１５を備える。
　変換選択部（変換選択部１１５）は、第一画像（画像４０ａ）及び第二画像（画像４１ａ）から検知される複数の物標のうち、距離が近い物標を選択して、選択された物標に対して画像変換推定部（幾何変換推定部１１２）が推定した画像変換パラメータ（幾何変換パラメータ）を選択する。例えば、変換選択部１１５は、幾何変換推定部１１２で推定された複数の物標に対する幾何変換パラメータから、支配的な属性を有する物標に対して推定された幾何変換パラメータを選択する。そして、変換選択部１１５が選択した幾何変換パラメータが特徴照合部１０５に出力される。
　特徴照合部（特徴照合部１０５）は、変換選択部（変換選択部１１５）により選択された画像変換パラメータ（幾何変換パラメータ）を用いて、第一画像（画像４０ａ）から検知された物標の画像変換を行う。そして、特徴照合部１０５は、幾何変換後の物標の特徴と、物標検知部１０２により検知された物標の特徴とを照合し、照合結果を位置推定部１０６に出力する。
　ここで、図９に示した照合条件決定部１０４Ｂで行われる処理の具体例について、図１０を参照して説明する。ここでは例として、照合条件決定部１０４Ｂが平面方程式を用いて、自車両１に近い、すなわち手前にある物標の属性を選択する例を示す。
　図１０は、車両２と背景が混在する領域５６，５７の例を示す図である。車両２は、自車両１に対向して走行しているものとする。
　領域５６では、車両２の左側の一部と、背景である路面とが混在している。また、領域５７では、車両２の下側の一部と、背景である路面とが混在している。通常、画像の上側に路面が含まれている場合、立体物の方が路面よりも手前にある。特徴照合部１０５によるテンプレートマッチングの対象となる枠が領域５６である場合、背景よりも前方にある車両２の形状がマッチングの対象として優先して採用される。
　逆に、画像に立体物と路面とが含まれている場合、画像の下側にある路面の方が立体物よりも手前にある。特徴照合部１０５によるテンプレートマッチングの対象となる枠が領域５７である場合、車両２の下部と路面との接合点の方が自車両に近いため、自車両１よりも前方にある路面の形状がマッチングの対象として優先して採用される。
　他の例として、車両制御の観点から、自車両１が接触した場合に走行への影響が大きい立体物（例えば、車両２）を優先し、単純に車両ごとの属性の情報からマッチングの対象として決定してもよい。この場合、変換選択部（変換選択部１１５）は、自車両の走行に影響の大きい属性を持つ物標を優先して選択する。この結果、位置推定部１０６により、自車両の走行に影響の大きい属性を持つ物標までの距離が優先して推定されるので、自車両は、距離が推定された物標を回避する等の制御が可能となる。
　以上説明した第３の実施形態に係る外界認識装置１００Ｂでは、画像４０ａにおける一つの画像領域に複数の属性の物標が検知された場合に、一つの物標に対する幾何変換パラメータを選択して、この物標の幾何変換を行い、画像４１ａの対応する画像領域の物標と照合することができる。このため、特徴照合部１０５では画像４０ａ，４１ａの照合対象となる物標が一致しやすく、位置推定部１０６では、照合された物標の位置推定も正確に行える。
［第４の実施形態］
　次に、本発明の第４の実施形態に係る外界認識装置１００Ｃの構成例及び処理例について、図１１と図１２を参照して説明する。
　撮像平面推定部１１１が推定する路面のモデル（平面方程式）は、自車両１に対して物標が遠方であるほど、実際の平面モデルからずれることが予想される。つまり、物標検知部１０１の検知結果に基づいて撮像平面推定部１１１が推定する平面方程式は、その平面方程式自身が誤差を含む場合がある。このため、平面方程式に含まれる誤差が、特徴照合部１０５Ｂによる特徴照合の精度に影響を与える可能性が想定される。ここでは、平面方程式に含まれる誤差が、特徴照合部１０５Ｂによる特徴照合の精度に影響を与えない外界認識装置１００Ｃの構成例について説明する。
　図１１は、第４の実施形態に係る外界認識装置１００Ｃの内部構成例を示すブロック図である。第４の実施形態に係る外界認識装置１００Ｃでは、平面方程式が誤差を含む場合に、物標の特徴を照合する処理を行う。
　外界認識装置１００Ｃは、図３に示した外界認識装置１００と同様の構成としているが、照合条件決定部１０４を照合条件決定部１０４Ｃに置き換え、照合条件決定部１０４Ｃの幾何変換推定部１１２Ａに接続される誤差推定部１０７を備える点が異なる。
　誤差推定部（誤差推定部１０７）は、撮像平面推定部（撮像平面推定部１１１）により推定された撮像平面の誤差を推定する。例えば、誤差推定部１０７は、撮像平面推定部１１１によって推定される平面方程式の誤差を推定し、推定結果を幾何変換推定部１１２Ａに出力する。平面方程式の誤差は、例えば、事前に行われる実験や設計段階で決定される値である。誤差推定部１０７による誤差の推定結果としては、物標が遠方であればあるほど誤差の出力を大きくする方式が考えられる。そこで、誤差推定部１０７は、自車両１に対して遠方の物体に大きな誤差を推定し、自車両１に対して近方の物体に小さな誤差を推定する。
　誤差推定部１０７から出力される誤差の使い方の一つとして、例えば、誤差推定部１０７による誤差の推定結果が一定以上となる平面方程式に対して、幾何変換推定部１１２Ａが幾何変換パラメータを出力しないようにする。この結果、特徴照合部１０５Ｂは、幾何変換推定部１１２Ａが推定する幾何変換パラメータを使用しなくてすむ。このような処理を行うのは、特徴照合部１０５Ｂが撮像平面を幾何変換することが、逆に特徴の照合処理に悪影響を与えることが予想されるためである。特徴照合部１０５Ｂが幾何変換パラメータを使用しない場合には、撮像平面の幾何変換を実施せず、画像４０ａ，４１ａから検知された物標をそのまま照合する。
　画像変換推定部（幾何変換推定部１１２Ａ）は、撮像平面の誤差に基づいて、画像変換される撮像平面の誤差の範囲を決定する。そして、幾何変換推定部１１２Ａは、誤差推定部１０７から入力した平面方程式の誤差の推定結果を用いて、撮像平面推定部１１１が推定した撮像平面に対して推定した幾何変換パラメータの出力可否を判定する。このように撮像平面の誤差の範囲が決定されるので、誤差の大きな撮像平面に対して推定された幾何変換パラメータは出力されなくなる。
　特徴照合部１０５Ｂは、幾何変換推定部１１２Ａから幾何変換パラメータが出力されない場合には、画像４０ａ，４１ａの物標が検知された領域を幾何変換せずに照合し、照合結果を位置推定部１０６に出力する。
　以上説明した第４の実施形態に係る外界認識装置１００Ｃでは、幾何変換推定部１１２Ａが平面方程式の誤差の推定結果を用いて、幾何変換パラメータの出力可否を判定する。幾何変換パラメータが出力されない場合、特徴照合部１０５Ｂは、物標が検知された領域を幾何変換せずに照合するため、誤差の大きい平面方程式を用いた撮像平面から幾何変換した領域を照合した場合に比べて、物標の特徴を照合する精度が向上する。
［第４の実施形態の変形例］
　ここで、誤差推定部１０７が出力する誤差の推定結果を使う別の方法について説明する。
　図１２は、外界認識装置１００Ｃの変形例に係る幾何変換推定部１１２Ａと特徴照合部１０５Ｂの内部構成例を示すブロック図である。ここでは、図１１に示した外界認識装置１００Ｃのうち、幾何変換推定部１１２Ａと特徴照合部１０５Ｂの構成例を重点的に説明する。
　撮像平面推定部１１１が撮像平面から推定した平面方程式のパラメータが、本来のパラメータ（α，β，γ，δ）に対して、経験的に誤差（±εα，±εβ，±εγ，±εδ）だけずれると仮定する。この場合、幾何変換推定部１１２Ａは、この誤差幅の範囲で、撮像平面の推定結果を撮像平面ごとにＮパターン分複製する。複製の仕方は様々な方法があるが、図１２には、そのうちの一つの方法を実行可能な幾何変換推定部１１２Ａの構成例及び処理の例を示す。
　図１２に示す画像変換推定部（幾何変換推定部１１２Ａ）は、誤差推定部（誤差推定部１０７）により推定された撮像平面の誤差に基づいて複数の撮像平面を生成し、複数の撮像平面のそれぞれに対して複数の画像変換パラメータ（幾何変換パラメータ）を推定する。この幾何変換推定部１１２Ａは、撮像平面Ｎ生成部１１２Ａ－１と、幾何変換Ｎ推定部１１２Ａ－２を備える。
　撮像平面Ｎ生成部１１２Ａ－１は、例えばランダムで上記の誤差幅に収まるようにパラメータを振り、撮像平面推定部１１１が推定した平面方程式のパラメータに加算して、Ｎパターンの複数の撮像平面を生成する。
　幾何変換Ｎ推定部１１２Ａ－２は、生成されたＮパターンの撮像平面のそれぞれに対して複数の幾何変換パラメータを推定する。このため、幾何変換Ｎ推定部１１２Ａ－２は、Ｎパターンの幾何変換パラメータを推定することが可能である。幾何変換Ｎ推定部１１２Ａ－２が推定した幾何変換Ｎ推定部１１２Ａ－２は、特徴照合部１０５Ｂに出力される。
　特徴照合部（特徴照合部１０５Ｂ）は、複数の画像変換パラメータ（幾何変換パラメータ）を用いて画像変換された第一画像（画像４０ａ）から検知された物標の特徴と、第二画像（画像４１ａ）から検知された物標の特徴との照合処理を複数回行って、評価が高い照合処理の結果を位置推定部（位置推定部１０６）に出力する。この特徴照合部１０５Ｂは、特徴Ｎ照合部１０５Ｂ－１及び特徴照合結果選択部１０５Ｂ－２を備える。
　特徴Ｎ照合部１０５Ｂ－１には、幾何変換推定部１１２Ａの幾何変換Ｎ推定部１１２Ａ－２からＮパターンの幾何変換パラメータの推定結果が入力される。そして、特徴Ｎ照合部１０５Ｂ－１は、入力されたＮパターンの幾何変換パラメータの推定結果に基づいて、物標の特徴に対するＮ回の異なる照合処理を行う。このＮ回の照合処理の結果は、それぞれ特徴照合結果選択部１０５Ｂ－２に出力される。
　特徴照合結果選択部１０５Ｂ－２は、特徴Ｎ照合部１０５Ｂ－１から入力したＮ回の照合処理の結果のうち、最も照合時の評価が高い照合処理の結果を選択し、選択した照合処理の結果を位置推定部１０６に出力する。
　位置推定部１０６は、特徴照合部１０５Ｂから入力した照合処理の結果に基づいて、物標の位置を推定する。
　以上説明した第４の実施形態の変形例に係る外界認識装置１００Ｃは、幾何変換推定部１１２Ａ及び特徴照合部１０５Ｂを備えることで、撮像平面のＮパターン分の推定結果からＮパターンの幾何変換パラメータの推定結果を得られる。そして、Ｎパターンの幾何変換パラメータの推定結果によりＮ回の照合処理が行われた後、最も照合時の評価が高い照合処理の結果が選択される。このため、撮像平面推定部１１１により推定される平面方程式のパラメータが、本来のパラメータに対して誤差を含む場合であっても、位置推定部１０６が画像４０ａ，４１ａに映る物標の位置推定を正確に行えるようになる。
［第５の実施形態］
　次に、本発明の第５の実施形態に係る外界認識装置１００Ｄの構成例及び処理例について、図１３を参照して説明する。
　図１３は、外界認識装置１００Ｄの内部構成例を示すブロック図である。
　外界認識装置１００Ｄは、物標検知部１０１，１０２、カメラパラメータ１０３、照合条件決定部１０４、位置推定部１０６に加えて、視差算出部１０８及び視差妥当性検証部１０９を備える。
　視差算出部（視差算出部１０８）は、撮像部４０から入力する第１画像（画像４０ａ）、及び撮像部４１から入力する第２画像（画像４１ａ）から視差を算出して、第１画像（画像４０ａ）と第２画像（画像４１ａ）に映る物標の位置を照合する。すなわち、視差算出部１０８は、物標検知部１０１の物標の検知結果に基づいて撮像平面推定部１１１が推定する平面方程式を用いずに、画像４０ａ，４１ａの視差を算出する。視差算出部１０８が視差を算出する方法として、視差を計測する公知の方法を用いてよい。視差算出部１０８は、視差を算出することで、画像４０ａ，４１ａに映る同一物標が対応する位置を照合した結果を第２の照合結果として視差妥当性検証部１０９に出力する。
　視差妥当性検証部１０９は、第１の実施形態に係る特徴照合部１０５を変形したものである。特徴照合部（視差妥当性検証部１０９）は、画像変換パラメータ（幾何変換パラメータ）を用いて画像変換した第１画像（画像４０ａ）から検知された物標の特徴と、第２画像（画像４１ａ）から検知された物標の特徴とを照合した第１の照合結果と、視差により照合された第２の照合結果とを比較し、比較結果の妥当性に基づいて、第１の照合結果又は第２照合結果を位置推定部（位置推定部１０６）に出力する。すなわち、視差妥当性検証部１０９は、撮像平面推定部１１１が推定する平面方程式を用いて幾何変換推定部１１２が推定した幾何変換パラメータにより幾何変換された画像領域の物標と、画像４１ａの画像領域の物標とを照合し、第１の照合結果を求める。そして、視差妥当性検証部１０９は、第１の照合結果と第２の照合結果とを比較し、視差算出部１０８による第２の照合結果の妥当性を検証する。視差妥当性検証部１０９による照合結果の妥当性は、例えばテンプレートマッチングにおいてはマッチング度合いの高さにより判断される方法などが想定される。
　なお、撮像平面推定部１１１により平面方程式が推定された範囲では、幾何変換推定部１１２が推定した幾何変換パラメータに基づいて幾何変換された物標の照合精度が高いことが想定される。ただし、撮像平面推定部１１１による平面方程式の推定無しで、視差算出部１０８が画像４０ａ，４１ａから算出した視差により物標の対応位置を求める方法は、平面方程式による条件分岐が発生しない。このため、視差算出部１０８をハードウェア化すれば、視差の算出処理の高速化をしやすくなるというメリットがある。
　そこで、視差妥当性検証部１０９は、平面方程式と幾何変換パラメータにより求められる第１の照合結果を限定し、この限定した第１の照合結果を、視差算出部１０８による第２の照合結果が正しいか否かの検証処理に用いる。このように処理を行うのは、視差妥当性検証部１０９が画像４０ａ，４１ａに共通して含まれる全ての物標に対して平面方程式と幾何変換パラメータにより求められる第１の照合結果を求めるのは、視差妥当性検証部１０９の処理負荷が高くなるからである。
　視差妥当性検証部１０９は、限定した第１の照合結果と、第２の照合結果とを比較し、幾何変換を用いた第１の照合結果の妥当性が高い場合には、第１の照合結果を採用し、位置推定部１０６に第１の照合結果を出力する。例えば、自車両１に近い位置で検知された物標であれば、視差が大きくなるため、視差により照合された第２の照合結果の妥当性が低くなる。一方、この物標が自車両１に近い位置にあると、撮像平面が正確に推定されるため、幾何変換による第１の照合結果の妥当性が高くなる。そこで、位置推定部１０６は、上述した第１の実施形態に係る外界認識装置１００と同様に、第１の照合結果を用いて物標の位置を推定する。
　なお、視差妥当性検証部１０９は、第１の照合結果と第２の照合結果とを比較し、第２の照合結果の妥当性が低い場合に、画像４０ａ，４１ａの視差を算出して照合された第２の照合結果を位置推定部１０６に出力する。例えば、自車両１から遠い位置で検知された物標であれば、視差が小さくなるため、視差により照合された第２の照合結果の妥当性が高くなる。一方、この物標が自車両１に遠い位置にあるので、撮像平面が不正確に推定されるため、幾何変換による第１の照合結果の妥当性が低くなる。このため、位置推定部１０６は、第２の照合結果を用いて物標の位置を推定する。なお、第２の照合結果の妥当性が低い場合、第１の照合結果と第２の照合結果とで差が大きい物標が存在する。そこで、視差妥当性検証部１０９は、この物標が映る画像領域について、再び第１の照合結果と第２の照合結果とを比較してもよい。
　以上説明した第５の実施形態に係る外界認識装置１００Ｄでは、照合条件決定部１０４から出力された幾何変換パラメータにより幾何変換された画像４０ａの画像領域と画像４１ａの画像領域とで照合した第１の照合結果と、視差算出部１０８が算出した視差を用いた画像４０ａ，４１ａの第２の照合結果とを比較して照合結果の妥当性が検証される。そして、視差妥当性検証部１０９は、照合結果の妥当性に応じて、位置推定部１０６に出力する結果を、第１の照合結果、又は第２の照合結果のいずれかに決定する。第１の照合結果と第２の照合結果の比較による妥当性が低い場合には、位置推定部１０６が第２の照合結果を用いて物標の位置を推定することができる。このため、物標が自車両１に近い位置にあるか、遠い位置にあるかで、第１の照合結果又は第２の照合結果のいずれかが位置推定部１０６に出力される。このため、位置推定部１０６が様々な位置にある物標の位置を高速に推定することができる。
［変形例］
　なお、上述した各実施の形態では、本発明を車両１に搭載される外界認識装置として説明したが、この外界認識装置は、例えば、複数のカメラを備える自走型のロボット、複数のカメラが撮影した映像により構内を監視するインフラ監視システムで用いられてもよい。インフラ監視システムでは、例えば、一つの場所に複数のカメラが設置される構成が想定される。
　また、上述した各実施の形態に加えて、機械学習の結果から直接距離を算出する機能を有する外界認識装置を構成することもできる。この場合、外界認識装置が機械学習により物標までの距離を算出することが可能になると、画像から物標が検知された時点で距離を算出することができ、外界認識装置の演算負荷を低減することができる。
　また、上述した各実施の形態に加えて、外界認識装置は、従来のステレオカメラで用いられる視差マッチングを実施してもよい。この場合、外界認識装置は、複数の画像を照合した結果から最も照合結果が良いと推定される結果を参照し、さらに予め用意した地図情報を用いて物標ごとの位置関係を推定することもできる。
　なお、本発明は上述した各実施形態に限られるものではなく、請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
　例えば、上述した各実施形態は本発明を分かりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ここで説明した実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、さらにはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１，２…車両、４０，４１…撮像部、４０ａ，４１ａ…画像、１００…外界認識装置、１０１，１０２…物標検知部、１０３…カメラパラメータ、１０４…照合条件決定部、１０５…特徴照合部、１０６…位置推定部、１１１…撮像平面推定部、１１２…幾何変換推定部、１１３…撮像平面推定部、１１４…幾何変換推定部

Claims (10)

  1. 　外界に対する撮像視野の少なくとも一部が重複する複数の撮像部のうち、少なくとも第一の撮像部から取得した第一画像に基づいて、物標を検知する第一の物標検知部と、
    　複数の前記撮像部のうち、第二の撮像部から取得した第二画像に基づいて、物標を検知する第二の物標検知部と、
    　前記第一の物標検知部による前記物標の検知結果に基づいて、前記第一画像における撮像平面を推定する撮像平面推定部と、
    　前記撮像平面推定部が推定した前記撮像平面の情報と、前記複数の撮像部の撮像パラメータとに基づいて、前記第二画像における撮像平面に合わせた画像変換パラメータを推定する画像変換推定部と、
    　前記画像変換推定部による画像変換パラメータを用いて画像変換した前記第一画像から検知された前記物標の特徴と、前記第二画像から検知された前記物標の特徴とを照合する特徴照合部と、
    　前記特徴照合部の照合結果に基づいて、前記物標の三次元位置を推定する位置推定部と、を備える
    　外界認識装置。
  2. 　前記撮像平面推定部は、前記物標の大きさ、及び前記物標までの距離に基づいて、前記撮像平面を推定する
    　請求項１に記載の外界認識装置。
  3. 　前記撮像平面推定部は、前記物標が撮像された画像領域において前記撮像平面を推定する
    　請求項２に記載の外界認識装置。
  4. 　前記第一画像から検知される前記物標と、前記第二画像から検知される前記物標に対して、それぞれ設けられた複数の前記撮像平面推定部と、複数の前記画像変換推定部と、を備え、
    　前記特徴照合部は、一方の前記画像変換推定部により推定された前記画像変換パラメータを使って前記第一画像を画像変換した結果と、前記第二画像との照合結果を取得し、他方の前記画像変換推定部により推定された前記画像変換パラメータを使って前記第二画像を画像変換した結果と、前記第一画像との照合結果を取得し、それぞれの前記照合結果を比較して、前記第一画像から検知される前記物標と、前記第二画像から検知される前記物標が同じ三次元位置で照合した場合に、前記照合結果に高い信頼度を付与する
    　請求項３に記載の外界認識装置。
  5. 　前記第一画像及び前記第二画像から検知される複数の前記物標のうち、自車両からの距離が近い前記物標を選択して、選択された前記物標に対して前記画像変換推定部が推定した前記画像変換パラメータを選択する変換選択部を備え、
    　前記特徴照合部は、前記変換選択部により選択された前記画像変換パラメータを用いて、前記第一画像から検知された物標の画像変換を行う
    　請求項３に記載の外界認識装置。
  6. 　前記変換選択部は、前記自車両の走行に影響の大きい属性を持つ前記物標を優先して選択する
    　請求項５に記載の外界認識装置。
  7. 　前記撮像平面推定部により推定された前記撮像平面の誤差を推定する誤差推定部を備え、
    　前記画像変換推定部は、前記撮像平面の誤差に基づいて、画像変換される前記撮像平面の誤差の範囲を決定する
    　請求項３に記載の外界認識装置。
  8. 　前記画像変換推定部は、前記誤差推定部により推定された前記撮像平面の誤差に基づいて複数の撮像平面を生成し、複数の前記撮像平面のそれぞれに対して複数の前記画像変換パラメータを推定し、
    　前記特徴照合部は、複数の前記画像変換パラメータを用いて画像変換した前記第一画像から検知された特徴と、前記第二画像から検知された特徴との照合処理を複数回行って、評価が高い前記照合処理の結果を前記位置推定部に出力する
    　請求項７に記載の外界認識装置。
  9. 　前記第一画像及び前記第二画像から視差を算出して、前記第一画像と前記第二画像に映る物標の位置を照合する視差算出部を備え、
    　前記特徴照合部は、前記画像変換パラメータを用いて画像変換した前記第一画像から検知された前記物標の特徴と、前記第二画像から検知された前記物標の特徴とを照合した第１の照合結果と、前記視差により照合された第２の照合結果とを比較し、比較結果の妥当性に基づいて、前記第１の照合結果又は前記第２の照合結果を前記位置推定部に出力する
    　請求項３に記載の外界認識装置。
  10. 　外界に対する撮像視野の少なくとも一部が重複する複数の撮像部のうち、少なくとも第一の撮像部から取得した第一画像に基づいて、第一の物標検知部が物標を検知する処理と、
    　複数の前記撮像部のうち、第二の撮像部から取得した第二画像に基づいて、第二の物標検知部物標を検知する処理と、
    　撮像平面推定部が、前記第一の物標検知部による前記物標の検知結果に基づいて、前記第一画像における撮像平面を推定する処理と、
    　前記撮像平面推定部が推定した前記撮像平面の情報と、前記複数の撮像部の撮像パラメータとに基づいて、画像変換推定部が、前記第二画像における撮像平面に合わせた画像変換パラメータを推定する処理と、
    　前記画像変換推定部による画像変換パラメータを用いて画像変換した前記第一画像から検知された前記物標の特徴と、前記第二画像から検知された前記物標の特徴とを照合する処理と、
    　照合処理の結果に基づいて、前記物標の三次元位置を推定する処理と、を含む
    　外界認識方法。
PCT/JP2023/014887 2022-06-27 2023-04-12 外界認識装置及び外界認識方法 WO2024004325A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-102526 2022-06-27
JP2022102526A JP2024003407A (ja) 2022-06-27 2022-06-27 外界認識装置及び外界認識方法

Publications (1)

Publication Number Publication Date
WO2024004325A1 true WO2024004325A1 (ja) 2024-01-04

Family

ID=89382603

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/014887 WO2024004325A1 (ja) 2022-06-27 2023-04-12 外界認識装置及び外界認識方法

Country Status (2)

Country Link
JP (1) JP2024003407A (ja)
WO (1) WO2024004325A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016175586A (ja) * 2015-03-20 2016-10-06 株式会社デンソーアイティーラボラトリ 車両周辺監視装置、車両周辺監視方法、及びプログラム
JP2019095345A (ja) * 2017-11-24 2019-06-20 国立大学法人 岡山大学 物体識別システム
WO2020017334A1 (ja) * 2018-07-18 2020-01-23 日立オートモティブシステムズ株式会社 車載環境認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016175586A (ja) * 2015-03-20 2016-10-06 株式会社デンソーアイティーラボラトリ 車両周辺監視装置、車両周辺監視方法、及びプログラム
JP2019095345A (ja) * 2017-11-24 2019-06-20 国立大学法人 岡山大学 物体識別システム
WO2020017334A1 (ja) * 2018-07-18 2020-01-23 日立オートモティブシステムズ株式会社 車載環境認識装置

Also Published As

Publication number Publication date
JP2024003407A (ja) 2024-01-15

Similar Documents

Publication Publication Date Title
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
JP6942712B2 (ja) コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出
US8331653B2 (en) Object detector
US8180100B2 (en) Plane detector and detecting method
EP2757524B1 (en) Depth sensing method and system for autonomous vehicles
US8154594B2 (en) Mobile peripheral monitor
EP3159121A1 (en) Device for updating map of mobile robot and method therefor
US9042639B2 (en) Method for representing surroundings
EP3159126A1 (en) Device and method for recognizing location of mobile robot by means of edge-based readjustment
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
EP3159122A1 (en) Device and method for recognizing location of mobile robot by means of search-based correlation matching
JP2007527569A (ja) 立体視に基づく差し迫った衝突の検知
WO2017051480A1 (ja) 画像処理装置及び画像処理方法
EP3324359B1 (en) Image processing device and image processing method
KR102082254B1 (ko) 차량 인식 시스템
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
US11861914B2 (en) Object recognition method and object recognition device
KR102188164B1 (ko) 3차원 데이터를 이용한 도로 인식 방법
US10783350B2 (en) Method and device for controlling a driver assistance system by using a stereo camera system including a first and a second camera
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
WO2024004325A1 (ja) 外界認識装置及び外界認識方法
JP7062904B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
US20220410942A1 (en) Apparatus and method for determining lane change of surrounding objects
WO2024142571A1 (ja) 画像処理装置
JP7379268B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23830779

Country of ref document: EP

Kind code of ref document: A1