WO2011070650A1 - 物体検出装置及び物体検出方法 - Google Patents

物体検出装置及び物体検出方法 Download PDF

Info

Publication number
WO2011070650A1
WO2011070650A1 PCT/JP2009/070562 JP2009070562W WO2011070650A1 WO 2011070650 A1 WO2011070650 A1 WO 2011070650A1 JP 2009070562 W JP2009070562 W JP 2009070562W WO 2011070650 A1 WO2011070650 A1 WO 2011070650A1
Authority
WO
WIPO (PCT)
Prior art keywords
edge
target
reliability
object detection
deriving
Prior art date
Application number
PCT/JP2009/070562
Other languages
English (en)
French (fr)
Inventor
加藤　雅之
Original Assignee
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ自動車株式会社 filed Critical トヨタ自動車株式会社
Priority to JP2011507732A priority Critical patent/JP4883246B2/ja
Priority to DE112009005424.2T priority patent/DE112009005424B4/de
Priority to PCT/JP2009/070562 priority patent/WO2011070650A1/ja
Priority to CN200980132832.6A priority patent/CN102696060B/zh
Priority to US13/057,217 priority patent/US8610620B2/en
Publication of WO2011070650A1 publication Critical patent/WO2011070650A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles

Definitions

  • the present invention relates to an object detection apparatus and an object detection method for detecting an object based on information acquired by a radar and an image sensor.
  • a target an object to be detected
  • the radar can be recognized as an electromagnetic wave reflection point, and thereby the position of the target can be acquired.
  • the radar it is difficult for the radar to accurately acquire the edge of the target.
  • the edge of the target can be acquired with high accuracy from the image captured by the stereo image sensor. Therefore, in the object detection device, the target information acquired by the radar and the target information acquired from the image captured by the stereo image sensor are fused. Thereby, the object detection capability of the object detection device can be improved.
  • Patent Document 1 discloses an obstacle recognition device for a vehicle using a millimeter wave radar and a monocular camera.
  • the vehicle obstacle recognition device includes object information calculation means, image processing means, and vehicle information acquisition means.
  • the object information calculation means calculates object information such as a relative distance to the detected object and a relative lateral position from the output of the millimeter wave radar.
  • the image processing unit processes an image captured by the monocular camera based on the calculation result by the object information calculation unit.
  • the vehicle obstacle recognition apparatus determines the possibility that the detected object becomes an obstacle based on at least the outputs of the object information calculation means and the vehicle information acquisition means. Further, it is determined whether the output of the image processing means is effective for the determination of the obstacle based on the calculation result by the object information calculation means, and the output of the image processing means is also used for the determination of the obstacle only when it is effective. .
  • Patent Document 2 discloses an object detection device that acquires image information and distance information from a camera and a radar.
  • the object detection apparatus calculates an edge direction vector, an edge direction vector variance, an edge strength, and an edge strength variance from the image information. Then, the type of the object is determined based on the distance between at least one of these and the detection target object.
  • the object detection apparatus when a monocular image sensor is used as the image sensor, space saving and cost reduction can be achieved. However, it is difficult to acquire accurate information in the depth direction from an image captured by a monocular image sensor. Therefore, when the left and right edges of a target are detected from an image captured by a monocular image sensor, the edge of an object or pattern that exists behind the target as viewed from the host vehicle is actually In some cases, it is erroneously detected as an edge. If the lateral position (lateral position) of the target is derived based on the erroneously detected edge as described above, the lateral position of the target may be erroneously detected.
  • the present invention has been made in view of the above problems, and detects an object based on target information acquired by a radar and target information acquired from an image captured by a monocular image sensor.
  • An object of the present invention is to provide a technique capable of further improving the detection accuracy of the lateral position of a target.
  • the right edge and the left edge of the target are acquired from the image captured by the monocular image sensor. Furthermore, a straight line approximating the trajectory of the right edge and the left edge or a trajectory approximate line which is a predetermined curve is derived for both edges. Then, select the right edge or left edge that has more edges on the locus approximation line as the true edge of the target, and derive the lateral position of the target based on the position of the selected edge. To do.
  • the object detection device is An object detection device that detects an object based on target information acquired by a radar and target information acquired from an image captured by a monocular image sensor, An edge acquisition means for extracting a target corresponding to the target recognized by the radar from an image captured by the monocular image sensor, and acquiring a right edge and a left edge of the extracted target; Trajectory approximate line deriving means for deriving a trajectory approximate line that is a straight line or a predetermined curve that approximates the trajectory of the right edge and the left edge acquired by the edge acquiring means, for both edges; A selection unit that selects, as a true edge of a target, a larger number of edges existing on the locus approximate line among the right edge and the left edge acquired by the edge acquisition unit; Lateral position deriving means for deriving the lateral position of the target based on the position of the edge selected as the true edge by the selecting means; It is characterized by having.
  • the edge having the higher reliability is selected as the true edge of the target. Then, the lateral position of the target is derived based on the position of the edge with the higher reliability. Therefore, the detection accuracy of the lateral position of the target can be further improved.
  • the object detection apparatus may further include weighting means for weighting the reliability of the right edge and the left edge acquired by the edge acquisition means.
  • the weighting unit weights the right edge and the left edge so that the reliability closer to the position of the target recognized by the radar is higher.
  • the object detection apparatus calculates a reliability total value for calculating a total value of reliability for both edges by adding a plurality of reliability weighted by the weighting means for each of the right edge and the left edge. Means may be provided.
  • the right edge and the left edge may have the same number of edges on the locus approximation line.
  • the selection unit may select, as the true edge of the target, the larger of the reliability total values calculated by the reliability total value calculation unit among the right edge and the left edge.
  • the lateral position deriving unit may include a trajectory predicting unit and a collision position predicting unit.
  • the trajectory predicting means predicts the future trajectory of the edge selected as the true edge by the selecting means.
  • the collision position prediction means predicts the collision position between the target and the vehicle based on the future edge trajectory predicted by the trajectory prediction means as the position where the distance in the front-rear direction between the edge and the vehicle becomes zero.
  • the lateral position deriving means determines the lateral position of the target at the collision position based on the position of the edge selected as the true edge by the selection means at the collision position predicted by the collision position prediction means.
  • the lateral position of the center (hereinafter referred to as the target center) may be derived.
  • the lateral position of the target center at the collision position between the target and the vehicle can be detected.
  • the lateral position deriving unit may include a lateral width estimating unit that estimates the lateral width of the target.
  • the lateral position deriving means shifts from the position of the edge selected as the true edge by the selecting means to the other edge side by 1/2 of the lateral width of the target estimated by the lateral width estimating means. May be derived as the lateral position of the target center.
  • the lateral position of the target center can be detected with high accuracy.
  • An object detection method for detecting an object based on target information acquired by a radar and target information acquired from an image captured by a monocular image sensor, Extracting a target corresponding to the target recognized by the radar from an image captured by the monocular image sensor, and acquiring a right edge and a left edge of the extracted target; and A locus approximation line deriving step for deriving a locus approximation line that is a straight line or a predetermined curve that approximates the locus of the right edge and the left edge acquired in the edge acquisition step for both edges; A selection step of selecting, as the true edge of the target, the one having the larger number of edges existing on the locus approximate line among the right edge and the left edge acquired in the edge acquisition step; A lateral position deriving step of deriving the lateral position of the target based on the position of the edge selected as the true edge in the selection step; It is characterized by having.
  • the lateral position of the target is derived based on the position of the edge with higher reliability. Therefore, the detection accuracy of the lateral position of the target can be further improved.
  • the object detection method according to the present invention may further include a weighting step for weighting the reliability of the right edge and the left edge acquired in the edge acquisition step.
  • the weighting step the right edge and the left edge are weighted so that the reliability closer to the position of the target recognized by the radar is higher.
  • the object detection method according to the present invention calculates a reliability total value for calculating a total value of reliability for both edges by summing a plurality of reliability values weighted in the weighting step for each of the right edge and the left edge. You may have a process.
  • the larger of the reliability total values calculated in the reliability total value calculation process May be selected as the true edge of the target.
  • the “edge existing on the locus approximate line” includes not only an edge existing at a position that completely coincides with the locus approximate line but also an allowable range determined in advance from the locus approximate line. Edges located within may be included.
  • the lateral position of the target is detected.
  • the accuracy can be further improved.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a collision prediction apparatus according to a first embodiment.
  • FIG. 3 is a block diagram illustrating a schematic configuration of an object detection unit according to the first embodiment. It is a figure which shows the millimeter wave detection position and monocular image detection edge in the image imaged by the monocular image sensor. It is a figure which shows the detection result at the time of detecting an obstruction using a millimeter wave radar and a stereo image sensor. It is a figure which shows the detection result at the time of detecting an obstruction using a millimeter wave radar and a monocular image sensor. It is a figure which shows the locus
  • FIG. 6 is a block diagram illustrating a schematic configuration of an object detection unit according to a second embodiment. It is a figure which shows the detection result at the time of detecting an obstruction using a millimeter wave radar and a monocular image sensor.
  • FIG. 10 is a flowchart illustrating a part of a collision determination flow according to the second embodiment.
  • the collision prediction device 200 is a device that is mounted on the vehicle 100 and predicts a collision between an obstacle such as another vehicle or a pedestrian and the host vehicle 100.
  • the vehicle 100 is equipped with a warning device 8 and a collision avoidance / collision damage reduction system 9 that are activated when a collision with an obstacle is predicted.
  • the collision prediction apparatus 200 includes a millimeter wave radar 1, a monocular image sensor 2, a steering angle sensor 3, a yaw rate sensor 4, a wheel pulse sensor 5, and an ECU 10.
  • the millimeter wave radar 1 is attached to the front center portion of the vehicle 100.
  • the millimeter wave radar 1 scans the front and oblique front of the vehicle 100 in the horizontal direction with millimeter wave band electromagnetic waves and receives the electromagnetic waves reflected on the surface of an object outside the vehicle. Thereby, the millimeter wave radar 1 recognizes the target as an electromagnetic wave reflection point.
  • the target information (such as the relative position of the target with respect to the host vehicle 100) obtained from the millimeter wave transmission / reception data is input to the ECU 10.
  • the monocular image sensor 2 is attached to the front center portion of the vehicle 100.
  • the monocular image sensor 2 captures images ahead and obliquely forward of the vehicle 100.
  • the captured image is input to the ECU 10 as an image signal.
  • the steering angle sensor 3 is attached to a steering rod or the like of the vehicle 100 and detects the steering angle of the steering wheel operated by the driver.
  • the yaw rate sensor 4 is provided at the center position of the vehicle body of the vehicle 100 and detects the yaw rate applied to the vehicle body.
  • Wheel pulse sensor 5 is attached to the wheel portion of vehicle 100 and detects the wheel speed of the vehicle. Output signals from these sensors are input to the ECU 10.
  • the ECU10 has the object detection part 6 and the collision determination part 7.
  • the object detection unit 6 detects an obstacle based on target information acquired by the millimeter wave radar 1 and target information acquired from an image captured by the monocular image sensor 2.
  • the collision determination unit 7 determines whether the obstacle detected by the object detection unit 6 and the host vehicle 100 collide with each other. Details of the object detection method in the object detection unit 6 and the collision determination method in the collision determination unit 7 will be described later.
  • FIG. 2 is a block diagram illustrating a schematic configuration of the object detection unit 6 according to the present embodiment.
  • the object detection unit 6 includes an edge detection unit 61, a locus approximate line deriving unit 62, a selection unit 63, and a lateral position deriving unit 64.
  • the lateral position deriving unit 64 includes a trajectory predicting unit 641, a collision position predicting unit 642, a lateral width estimating unit 643, and a target center lateral position deriving unit 644. Details of each of the units 61 to 64 and 641 to 644 will be described later.
  • the ECU 10 further performs a collision determination in a collision determination unit such as an estimated curve radius calculation unit, a host vehicle speed calculation unit, a host vehicle track calculation unit, an obstacle speed calculation unit, an obstacle movement distance calculation unit, and the like (not shown). Therefore, it has a calculation unit for calculating various parameters necessary for this.
  • the estimated curve radius calculation unit calculates the estimated curve radius of the host vehicle 100 based on the steering angle signal input from the steering angle sensor 3 and the yaw rate signal input from the yaw rate sensor 4.
  • the own vehicle speed calculation unit calculates the vehicle speed of the own vehicle 100 based on the wheel speed signal input from the wheel pulse sensor 5.
  • the host vehicle track calculation unit calculates the track of the host vehicle 100 based on the estimated curve radius signal input from the estimated curve radius calculation unit.
  • the obstacle speed calculation unit calculates the moving speed of the obstacle detected by the object detection unit 6 based on the target information.
  • the obstacle movement distance calculation unit calculates the movement distance after the obstacle detected by the object detection unit 6 based on the target information.
  • an ON signal is transmitted from the ECU 10 to the warning device 8 and the collision avoidance / collision damage reduction system 9.
  • the warning device 8 receives the ON signal, the warning device 8 issues a warning to the driver by display on the monitor, voice, or the like.
  • the collision avoidance / collision damage reduction system executes collision avoidance control and collision damage reduction control. Examples of the collision avoidance / collision damage reduction system include an automatic steering system, a seat belt control system, a seat position control system, a brake control system, and an airbag control system.
  • the object detection unit 6 of the ECU 10 in the collision prediction device 200 derives the lateral position of the obstacle to be used for collision determination in the collision determination unit 7.
  • the method for deriving the lateral position of the obstacle according to the present embodiment will be described with reference to FIGS.
  • the object detection unit 6 detects an obstacle based on the target information acquired by the millimeter wave radar 1 and the target information acquired from the image captured by the monocular image sensor 2.
  • the millimeter wave radar 1 the relative position of the target with respect to the host vehicle 100 can be detected.
  • the edge detection unit 61 of the object detection unit 6 corresponds to the target recognized by the millimeter wave radar 1, that is, the position of the target detected by the millimeter wave radar 1 (hereinafter referred to as millimeter wave).
  • the target existing at the detection position) is extracted from the image captured by the monocular image sensor 2. Further, the right edge and the left edge of the target are detected from the extracted target image (hereinafter, the edges may be referred to as a monocular image detection edge).
  • the object or pattern edge that exists behind the target as viewed from the own vehicle 100 is actually the target. May be erroneously detected as an edge.
  • FIG. 3 is a diagram illustrating a millimeter wave detection position and a monocular image detection edge in an image captured by a monocular image sensor.
  • FIG. 3A shows a case where the edge of the target is normally detected
  • FIG. 3B shows a case where the edge of the target is erroneously detected.
  • the target is “front pole”.
  • an edge of “back utility pole” may be erroneously detected as an edge of “front power pole”.
  • FIG. 4 is a diagram illustrating temporal changes in the millimeter wave detection position and the stereo image detection edge with respect to the host vehicle when the “front utility pole” is the target.
  • the white arrow represents the trajectory of the target derived based on the millimeter wave detection position and the stereo image detection edge.
  • Accurate information in the depth direction can be acquired from the image captured by the stereo image sensor. Therefore, when an edge is detected from an image captured by a monocular image sensor, even if there is a “back utility pole” behind the “front power pole”, as shown in FIG. The edge is not erroneously detected as the edge of the “front pole”.
  • FIG. 5 is a diagram illustrating temporal changes in the millimeter wave detection position and the monocular image detection edge with respect to the host vehicle when the “electric pole in front” is the target.
  • the white arrow represents the trajectory of the target derived based on the millimeter wave detection position and the monocular image detection edge.
  • a collision determination between the target and the vehicle 100 is performed in the collision determination unit 7 based on the trajectory of the target predicted in error, an erroneous determination may be caused. Therefore, in the present embodiment, in order to derive the lateral position of the target to be used for the collision determination in the collision determination unit 7 in the object detection unit 6, the following is performed on the image captured by the monocular image sensor 2. Perform lateral position derivation processing. 6 and 7 are diagrams illustrating an image of the lateral position derivation process according to the present embodiment.
  • the locus approximate line deriving section 62 of the object detecting section 6 is detected by the edge detecting section 61 every predetermined time (in this embodiment every 50 ms) as shown in FIG.
  • a straight line approximating the trajectory of each of the right edge and the left edge or a trajectory approximate line that is a predetermined curve is derived.
  • 6A and 6B show the monocular image detection edges detected in FIG.
  • the one-dot chain line in FIG. 6A indicates the locus approximate line derived for the left edge
  • the one-dot chain line in FIG. 6B indicates the locus approximate line derived for the right edge.
  • a method for deriving the locus approximate line is determined in advance.
  • any known method such as a least square method or a spline interpolation method may be used.
  • the “predetermined curve” means a curve derived by a predetermined approximation method.
  • the right edge includes an erroneously detected edge, and therefore, of the five points, only three points exist on the locus approximation line. Note that, here, an edge that exists within a predetermined allowable range from the locus approximate line even if it is not at a position that completely coincides with the locus approximate line is counted as existing on the locus approximate line.
  • the circled edges indicate “edges existing on the locus approximate line”.
  • the selection unit 63 calculates the reliability of the right edge and the left edge based on the number of edges existing on the locus approximation line. Then, the right edge or the left edge having the higher reliability (that is, the one having a larger number of edges on the locus approximation line (the left edge in FIG. 6)) is selected as the true edge of the target.
  • the lateral position deriving unit 64 derives the lateral position of the target based on the position of the edge selected as the true edge of the target by the selecting unit 63 (hereinafter also referred to as a selected edge). . More specifically, as shown in FIG. 7, first, the trajectory prediction unit 641 predicts the future trajectory of the selected edge (the left edge in FIG. 7) based on the previous trajectory approximation line. In FIG. 7, an arrow indicated by a chain line represents a previous locus approximate line of the selected edge and a predicted future locus.
  • the selected edge and the host vehicle are determined based on the future track of the selected edge predicted by the track prediction unit 641 and the track of the host vehicle 100 calculated by the host vehicle track calculation unit of the ECU 10.
  • the collision position between the target and the host vehicle 100 is predicted as the position where the distance in the front-rear direction with respect to 100 becomes zero.
  • the broken line represents the collision position.
  • the lateral width estimating unit 643 estimates the lateral width Wt of the target.
  • any known method may be used as the lateral width estimation method. Specifically, a method of calculating the average width of the target derived from the monocular image detection edge as the width Wt of the target, or the type of target estimated from the intensity of the received wave in the millimeter wave radar 1 A method for deriving the lateral width Wt of the target based on the above can be exemplified.
  • the target center lateral position deriving unit 644 derives the lateral position of the target center at the collision position predicted by the collision position predicting unit 642. Specifically, the position shifted from the position of the selected edge at the collision position toward the other edge (right edge in FIG. 7) by 1 ⁇ 2 of the width Wt of the target estimated by the width estimation unit 643 Derived as the lateral position of the target center at the position. In FIG. 7, the position indicated by the white triangle represents the lateral position of the target center at the collision position.
  • the edge having the higher reliability of the right edge and the left edge in the monocular image detection edge is selected as the true edge of the target. Then, based on the position of the edge having the higher reliability, the lateral position of the target center at the collision position is derived. Therefore, even when a monocular image sensor is used as the image sensor, the lateral position of the target center at the collision position can be derived with high accuracy.
  • the collision determination unit 7 executes the collision determination based on the lateral position of the target center at the collision position derived by the object detection unit 6. Thereby, it becomes possible to determine with high accuracy whether or not the host vehicle 100 and the obstacle collide.
  • step S101 a target existing at the millimeter wave detection position is extracted from the image captured by the monocular image sensor 2.
  • step S102 the right edge and the left edge are detected from the target image extracted in step S101. Note that the processing of steps S101 and S102 is executed by the edge detection unit 61.
  • step S103 locus approximation lines for the right edge and the left edge are derived for the plurality of monocular image detection edges detected in step S102.
  • the process of step S103 is executed by the locus approximate line deriving unit 62.
  • step S104 the reliability of the right edge and the left edge is calculated based on the number of edges existing on the locus approximation line derived in step S103.
  • step S105 of the right edge and the left edge, the edge having the higher reliability calculated in step S104 is selected as the true edge of the target. Note that the processing of steps S104 and S105 is executed by the selection unit 63.
  • step S106 the future trajectory of the selected edge selected in step S105 is predicted. Note that the process of step S106 is executed by the trajectory prediction unit 641.
  • step S107 the collision position between the target and the host vehicle 100 is predicted based on the future track of the selected edge predicted in step S106 and the track of the host vehicle 100 calculated by the host vehicle track calculation unit. Is done.
  • the process of step S107 is executed by the collision position prediction unit 642.
  • step S108 the lateral width Wt of the target is estimated. Note that the processing in step S108 is executed by the lateral width estimation unit 643.
  • step S109 the position shifted from the position of the selected edge at the collision position predicted in step S107 to the other edge side by 1 ⁇ 2 of the lateral width Wt of the target estimated in step S108 is the collision position. Derived as the lateral position of the target center at. Note that the processing in step S109 is executed by the target center lateral position deriving unit 644.
  • step S110 the collision probability Pc between the target and the host vehicle 100 is calculated based on the lateral position of the target center at the collision position derived in step S109.
  • step S111 it is determined whether or not the collision probability Pc calculated in step S110 is greater than or equal to the reference probability Pcbase.
  • the reference probability Pcbase is a value set in advance as a threshold value to be determined that the target and the host vehicle 100 collide.
  • step S111 If an affirmative determination is made in step S111, it is then determined in step S112 that the target and the vehicle 100 collide. On the other hand, if a negative determination is made in step S111, it is then determined in step S113 that the target and the host vehicle 100 do not collide.
  • steps S110 to S113 are executed by the collision determination unit 7. And when it determines with the target and the own vehicle 100 colliding in step S112, the collision determination part 7 transmits ON signal to the warning device 8 and the collision avoidance / collision damage reduction system 9.
  • the object detection unit 6 corresponds to the object detection apparatus according to the present invention. Moreover, the relationship between the component of the object detection part 6 which concerns on a present Example, and the component requirement of this invention is as follows.
  • the edge detection unit 61 corresponds to an edge acquisition unit according to the present invention.
  • the locus approximate line deriving unit 62 corresponds to the locus approximate line deriving unit according to the present invention.
  • the selection unit 63 corresponds to selection means according to the present invention.
  • the lateral position deriving unit 64 corresponds to the lateral position deriving unit according to the present invention.
  • the trajectory prediction unit 641 corresponds to trajectory prediction means according to the present invention.
  • the collision position prediction unit 642 corresponds to the collision position prediction means according to the present invention.
  • the lateral width estimating unit 643 corresponds to the lateral width estimating means according to the present invention.
  • steps S101 and S102 in the flowchart shown in FIG. 8 correspond to the edge acquisition process according to the present invention.
  • Step S103 in the flowchart shown in FIG. 8 corresponds to the locus approximate line deriving step according to the present invention.
  • Steps S104 and S105 in the flowchart shown in FIG. 8 correspond to the selection step according to the present invention.
  • Steps S106 to S109 in the flowchart shown in FIG. 8 correspond to the lateral position deriving step according to the present invention.
  • FIG. 10 is a block diagram illustrating a schematic configuration of the object detection unit 6 according to the present embodiment.
  • the object detection unit 6 according to the present embodiment includes a weighting unit 65 and a total reliability in addition to the edge detection unit 61, the locus approximate line deriving unit 62, the selection unit 63, and the lateral position deriving unit 64.
  • a value calculation unit 66 is included. Details of the weighting unit 65 and the reliability total value calculation unit 66 will be described later.
  • FIG. 11 is a diagram illustrating a detection result when an obstacle is detected using the millimeter wave radar and the monocular image sensor according to the present embodiment.
  • FIG. 11 is a diagram illustrating changes in the temporal position of the millimeter wave detection position and the monocular image detection edge with respect to the subject vehicle when the “front pole” is the target, as in FIG. 5.
  • FIG. 11 there is a “crossing vehicle” behind the “electric pole in front”.
  • the edge of the “crossing vehicle” may be erroneously detected as the edge of the “front pole”.
  • the right edge is erroneously detected every time.
  • Such a false detection can occur even when a fixed object such as a “back utility pole” exists behind the target “front pole” as in the case of FIG. This is more likely to occur when the object in the back is a moving object that moves in a lateral direction, such as a “crossing vehicle”.
  • the following lateral position is obtained with respect to an image captured by the monocular image sensor 2 in order to derive the lateral position of the target to be used for collision determination in the collision determination unit 7.
  • the locus approximate line deriving section 62 of the object detecting section 6 is detected by the edge detecting section 61 every predetermined time (in this embodiment every 50 ms) as shown in FIG.
  • a straight line approximating the trajectory of each of the right edge and the left edge or a trajectory approximate line that is a predetermined curve is derived.
  • 12A and 12B show the millimeter wave detection position and the monocular image detection edge detected in FIG.
  • the one-dot chain line in FIG. 12A indicates the locus approximation line derived for the left edge
  • the one-dot chain line in FIG. 12B indicates the locus approximation line derived for the right edge.
  • the method for deriving the locus approximate line is the same as in the first embodiment.
  • the reliability of the edge is calculated based on the number of edges existing on the locus approximate line, the reliability of the edge that is normally detected each time is equal to the reliability of the edge that is erroneously detected each time. It becomes. In this case, it is difficult to select the true edge of the target in the lateral position derivation process according to the first embodiment.
  • the weighting unit 65 weights the reliability based on the distance from the millimeter wave detection position for each of the right edge and the left edge detected by the edge detection unit 61. Do. Here, an edge far from the millimeter wave detection position is more likely to be an erroneously detected edge than an edge near the millimeter wave detection position. Therefore, the weighting unit 65 weights the right edge and the left edge so that the reliability closer to the millimeter wave detection position is higher.
  • the reliability total value calculation unit 66 calculates a total value of the reliability for both edges by adding a plurality of reliability weighted by the weighting unit 65 for each of the right edge and the left edge.
  • the left edge is closer to the millimeter wave detection position than the right edge in all five times.
  • the weight closer to the millimeter wave detection position is 1.1 points and the weight farther from the millimeter wave detection position is 0.9 points, the reliability of the left edge is assumed.
  • the total value of degrees is 5.5 points, and the total reliability value of the right edge is 4.5 points.
  • the selection unit 63 of the right edge and the left edge, the larger total reliability value (left edge in FIG. 12) calculated by the reliability total value calculation unit 66 is set as the true edge of the target. select. According to this, even if one edge is erroneously detected every time as shown in FIG. 11, the more reliable edge of the right edge and the left edge of the monocular image detection edge is determined as the true of the target. Can be selected as the edge.
  • the lateral position deriving unit 64 derives the lateral position of the target by the same method as in the first embodiment based on the position of the selected edge selected as described above. That is, as shown in FIG. 13, the trajectory prediction unit 641 predicts the future trajectory of the selected edge. Next, the collision position prediction unit 642 predicts the collision position between the target and the host vehicle 100. In addition, the lateral width estimation unit 643 estimates the lateral width Wt of the target. Then, the target center lateral position deriving unit 644 derives the lateral position of the target center at the collision position. In FIG. 13, as in FIG.
  • the arrow indicated by the alternate long and short dash line represents the previous locus approximate line of the selected edge of the selected edge and the predicted future locus, and the broken line represents the collision position.
  • the position indicated by the white triangle represents the lateral position of the target center at the collision position.
  • the lateral position of the target center at the collision position is determined based on the position of the edge having the higher reliability of the right edge and the left edge in the monocular image detection edge. A position is derived. Therefore, even when a monocular image sensor is used as the image sensor, the lateral position of the target center at the collision position can be derived with high accuracy.
  • step S201 it is determined whether or not the reliability of the right edge calculated in step S104 is equal to the reliability of the left edge.
  • the process of step S105 is executed. In this case, the subsequent processing is the same as in the first embodiment.
  • the process of step S202 is executed next.
  • step S202 reliability weighting is performed on the right edge and the left edge for each of the plurality of monocular image detection edges detected in step S102.
  • weighting is performed so that the reliability closer to the millimeter wave detection position is higher.
  • the process of step S201 is executed by the weighting unit 65.
  • step S203 the reliability of the plurality of right and left edges weighted in step S202 is summed, and the total value of the reliability for both edges is calculated. Note that the processing in step S203 is executed by the reliability total value calculation unit 66.
  • step S105 the true edge of the target is selected.
  • the edge having the higher reliability value calculated in step 203 is selected as the true edge of the target.
  • Subsequent processing is the same as in the first embodiment.
  • the weighting unit 65 corresponds to the weighting unit according to the present invention
  • the reliability total value calculation unit 66 corresponds to the reliability total value calculation unit according to the present invention.
  • step S202 in the flowchart shown in FIG. 14 corresponds to the weighting step according to the present invention
  • step S203 in the flowchart corresponds to the reliability total value calculation step according to the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　本発明は、レーダと単眼画像センサとを用いて物体を検出する物体検出装置において、物標の横位置の検出精度をより向上させることを目的とする。本発明では、単眼画像センサによって撮像された画像から、レーダによって認識された物標に相当する物標を抽出するとともに該物標の右側エッジ及び左側エッジを取得する。さらに、右側エッジ及び左側エッジの軌跡を近似する直線又は所定の曲線である軌跡近似線を両エッジについて導出する。そして、右側エッジ及び左側エッジのうち軌跡近似線上に存在するエッジの数が多い方を物標の真のエッジとして選択し、選択された方のエッジの位置に基づいて物標の横位置を導出する。

Description

物体検出装置及び物体検出方法
　本発明は、レーダ及び画像センサによって取得される情報に基づいて物体を検出する物体検出装置及び物体検出方法に関する。
　近年、ＰＣＳ（Pre-crash safety system）等の衝突回避又は衝突による被害の低減のための安全システムが開発されている。このような安全システムを好適に実現させるためには、自車両以外の車両や歩行者等の障害物の位置及び大きさ、並びに該障害物と自車との距離等を正確に把握する必要がある。これらを把握するための技術として、レーダ及びステレオ画像センサを用いた物体検出装置が知られている。
　レーダによれば、電磁波の反射点として物標（検出対象となる物体）を認識することができ、これによって、物標の位置を取得することができる。しかしながら、レーダでは物標のエッジを正確に取得することが困難である。一方、ステレオ画像センサによって撮像された画像からは物標のエッジを高精度で取得することができる。そこで、上記物体検出装置においては、レーダによって取得される物標情報と、ステレオ画像センサによって撮像された画像から取得される物標情報とをフュージョンさせる。これによって、物体検出装置の物体検出能力を向上させることができる。
　しかしながら、画像センサとしてステレオ画像センサを使用すると、ステレオ画像センサを設置するために比較的大きいスペースを確保する必要が生じ、さらに、物体検出装置を実現させるためのコストも比較的高くなる。そのため、ステレオ画像センサに代えて単眼画像センサを用いて、ステレオ画像センサを用いた場合と同様の機能及び性能を有する物体検出装置を実現することが望まれている。
　特許文献１には、ミリ波レーダと単眼カメラとを使用した車両用障害物認識装置が開示されている。該車両用障害物認識装置は、物体情報演算手段、画像処理手段及び車両情報取得手段を備えている。物体情報演算手段は、ミリ波レーダの出力から検出物体との相対距離及び相対横位置等の物体情報を演算する。画像処理手段は、物体情報演算手段による演算結果に基づき、単眼カメラによって撮像された画像を処理する。そして、該車両用障害物認識装置は、少なくとも物体情報演算手段及び車両情報取得手段の出力に基づいて検出物体が障害物となる可能性を判定する。さらに、画像処理手段の出力が障害物の判定に有効であるか否かを物体情報演算手段による演算結果に基づいて判定し、有効な場合にのみ画像処理手段の出力も障害物の判定に用いる。
　特許文献２には、カメラとレーダとから画像情報と距離情報とを取得する物体検出装置が開示されている。該物体検出装置では、画像情報からエッジの方向ベクトル、エッジの方向ベクトル分散、エッジ強度及びエッジ強度分散を算出する。そして、これらのうちの少なくとも１つと検出対象物体との距離とに基づいて対象物の種類を判定する。
特開２００８－２７６６８９号公報 特開２００７－２８８４６０号公報
　物体検出装置において、画像センサとして単眼画像センサを用いた場合、省スペース化及び低コスト化を図ることができる。しかしながら、単眼画像センサによって撮像された画像からは正確な奥行き方向の情報を取得することが困難である。そのため、単眼画像センサによって撮像された画像から物標の左右のエッジを検出した場合、実際には自車両から見て該物標よりも奥に存在する物体又は模様のエッジが、該物標のエッジとして誤検出される場合がある。このように誤検出されたエッジに基づいて該物標の横方向の位置（横位置）を導出すると、該物標の横位置も誤検出する虞がある。
　本発明は、上記のような問題に鑑みてなされたものであって、レーダによって取得される物標情報と単眼画像センサによって撮像された画像から取得される物標情報とに基づいて物体を検出する物体検出装置において、物標の横位置の検出精度をより向上させることが可能な技術を提供することを目的とする。
　本発明では、単眼画像センサによって撮像された画像から物標の右側エッジ及び左側エッジを取得する。さらに、右側エッジ及び左側エッジの軌跡を近似する直線又は所定の曲線である軌跡近似線を両エッジについて導出する。そして、右側エッジ及び左側エッジのうち軌跡近似線上に存在するエッジの数が多い方を物標の真のエッジとして選択し、選択された方のエッジの位置に基づいて物標の横位置を導出する。
　より詳しくは、第一の発明に係る物体検出装置は、
　レーダによって取得される物標情報と単眼画像センサによって撮像された画像から取得される物標情報とに基づいて物体を検出する物体検出装置であって、
　前記レーダによって認識された物標に相当する物標を前記単眼画像センサによって撮像された画像から抽出するとともに、該抽出された物標の右側エッジ及び左側エッジを取得するエッジ取得手段と、
　前記エッジ取得手段によって取得された右側エッジ及び左側エッジの軌跡を近似する直線又は所定の曲線である軌跡近似線を両エッジについて導出する軌跡近似線導出手段と、
　前記エッジ取得手段によって取得された右側エッジ及び左側エッジのうち前記軌跡近似線上に存在するエッジの数が多い方を物標の真のエッジとして選択する選択手段と、
　前記選択手段によって真のエッジとして選択された方のエッジの位置に基づいて物標の横位置を導出する横位置導出手段と、
　を備えたことを特徴とする  。
　本発明によれば、単眼画像センサによって撮像された画像から取得された物標の右側エッジ及び左側エッジのうち信頼度の高い方のエッジが物標の真のエッジとして選択される。そして、信頼度の高い方のエッジの位置に基づいて物標の横位置が導出される。従って、物標の横位置の検出精度をより向上させることができる。
　本発明に係る物体検出装置は、エッジ取得手段によって取得された右側エッジ及び左側エッジに対し信頼度の重み付けを行なう重み付け手段をさらに備えてもよい。この場合、重み付け手段は、右側エッジ及び左側エッジに対し、レーダによって認識された物標の位置からより近い方の信頼度がより高くなるように重み付けを行なう。さらに、本発明に係る物体検出装置は、重み付け手段によって重み付けられた信頼度を右側エッジ及び左側エッジそれぞれについて複数分合計することで両エッジについての信頼度の合計値を算出する信頼度合計値算出手段を備えてもよい。
　本発明においては、右側エッジと左側エッジとで軌跡近似線上に存在するエッジの数が同数となる場合がある。この場合、選択手段は、右側エッジ及び左側エッジのうち、信頼度合計値算出手段によって算出された信頼度の合計値が大きい方を、物標の真のエッジとして選択してもよい。
　これによっても、物標の右側エッジ及び左側エッジのうち信頼度の高い方のエッジを物標の真のエッジとして選択することができる。
　本発明においては、横位置導出手段は、軌跡予測手段と衝突位置予測手段とを有してもよい。軌跡予測手段は、選択手段によって真のエッジとして選択された方のエッジの今後の軌跡を予測する。衝突位置予測手段は、軌跡予測手段によってよって予測された今後のエッジの軌跡に基づいて、該エッジと車両との前後方向の距離が零となる位置として、物標と車両との衝突位置を予測する。この場合、横位置導出手段は、衝突位置予測手段によって予測された衝突位置における、選択手段によって真のエッジとして選択された方のエッジの位置に基づいて、該衝突位置における物標の横方向の中心（以下、物標中心と称する）の横位置を導出してもよい。
　これによれば、物標と車両との衝突位置における物標中心の横位置を検出することができる。
　本発明に係る物標検出装置においては、横位置導出手段が、物標の横幅を推定する横幅推定手段を有してもよい。この場合、横位置導出手段は、選択手段によって真のエッジとして選択された方のエッジの位置から、横幅推定手段によって推定された物標の横幅の１／２分他方のエッジ側にずれた位置を物標中心の横位置として導出してもよい。
　これによれば、物標中心の横位置を高精度で検出することができる。
　また、第二の発明に係る物体検出方法は、
　レーダによって取得される物標情報と単眼画像センサによって撮像された画像から取得される物標情報とに基づいて物体を検出する物体検出方法であって、
　前記レーダによって認識された物標に相当する物標を前記単眼画像センサによって撮像された画像から抽出するとともに、該抽出された物標の右側エッジ及び左側エッジを取得するエッジ取得工程と、
　前記エッジ取得工程において取得された右側エッジ及び左側エッジの軌跡を近似する直線又は所定の曲線である軌跡近似線を両エッジについて導出する軌跡近似線導出工程と、
　前記エッジ取得工程において取得された右側エッジ及び左側エッジのうち前記軌跡近似線上に存在するエッジの数が多い方を物標の真のエッジとして選択する選択工程と、
　前記選択工程において真のエッジとして選択された方のエッジの位置に基づいて物標の横位置を導出する横位置導出工程と、
　を有することを特徴とする。
　本発明においても、信頼度の高い方のエッジの位置に基づいて物標の横位置が導出される。従って、物標の横位置の検出精度をより向上させることができる。
　本発明に係る物体検出方法は、エッジ取得工程において取得された右側エッジ及び左側エッジに対し信頼度の重み付けを行なう重み付け工程をさらに有してもよい。この場合、重み付け工程では、右側エッジ及び左側エッジに対し、レーダによって認識された物標の位置からより近い方の信頼度がより高くなるように重み付けを行なう。さらに、本発明に係る物体検出方法は、重み付け工程において重み付けられた信頼度を右側エッジ及び左側エッジそれぞれについて複数分合計することで両エッジについての信頼度の合計値を算出する信頼度合計値算出工程を有してもよい。
　そして、本発明において、右側エッジ及び左側エッジとで軌跡近似線上に存在するエッジの数が同数のときは、選択工程において、信頼度合計値算出工程において算出された信頼度の合計値が大きい方を、物標の真のエッジとして選択してもよい。
　これにより、物標の右側エッジ及び左側エッジのうち信頼度の高い方のエッジを物標の真のエッジとして選択することができる。
　尚、第一及び第二の発明において、「軌跡近似線上に存在するエッジ」には、軌跡近似線と完全に一致する位置に存在するエッジのみならず、軌跡近似線から予め定められた許容範囲内に位置するエッジが含まれてもよい。
　本発明によれば、レーダによって取得される物標情報と単眼画像センサによって撮像された画像から取得される物標情報とに基づいて物体を検出する物体検出装置において、物標の横位置の検出精度をより向上させることができる。
実施例１に係る衝突予測装置の概略構成を示すブロック図である。 実施例１に係る物体検出部の概略構成を示すブロック図である。 単眼画像センサによって撮像された画像におけるミリ波検出位置と単眼画像検出エッジとを示す図である。 ミリ波レーダとステレオ画像センサとを用いて障害物を検出した場合の検出結果を示す図である。 ミリ波レーダと単眼画像センサとを用いて障害物を検出した場合の検出結果を示す図である。 実施例１に係る、単眼画像検出エッジについて導出された右側エッジ及び左側エッジの軌跡近似線を示す図である。 実施例１に係る、選択エッジの軌跡近似線及び予測される今後の軌跡、衝突位置及び物標中心の横位置の関係を示す図である。 実施例１に係る衝突判定フローの一部を示すフローチャートである。 実施例１に係る衝突判定フローの一部を示すフローチャートである。 実施例２に係る物体検出部の概略構成を示すブロック図である。 ミリ波レーダと単眼画像センサとを用いて障害物を検出した場合の検出結果を示す図である。 実施例２に係る、単眼画像検出エッジについて導出された右側エッジ及び左側エッジの軌跡近似線を示す図である。 実施例２に係る、選択エッジの軌跡近似線及び予測される今後の軌跡、衝突位置及び物標中心の横位置の関係を示す図である。 実施例２に係る衝突判定フローの一部を示すフローチャートである。
　以下、本発明の具体的な実施形態について図面に基づいて説明する。本実施例に記載されている構成部品の寸法、材質、形状、その相対配置等は、特に記載がない限りは発明の技術的範囲をそれらのみに限定する趣旨のものではない。
　＜実施例１＞
　本発明の実施例１について図１～９に基づいて説明する。
　（概略構成）
　ここでは、本発明を衝突予測装置に適用した場合について説明する。図１及び２は、本実施例に係る衝突予測装置の概略構成を示すブロック図である。衝突予測装置２００は、車両１００に搭載されており、他車両や歩行者等の障害物と自車両１００との衝突を予測する装置である。また、車両１００には、該衝突予測装置２００の他、障害物との衝突が予測されたときに作動する警告装置８及び衝突回避・衝突被害低減システム９が搭載されている。
　衝突予測装置２００は、ミリ波レーダ１、単眼画像センサ２、操舵角センサ３、ヨーレートセンサ４、車輪パルスセンサ５及びＥＣＵ１０を備えている。ミリ波レーダ１は、車両１００の前側中央部に取り付けられている。ミリ波レーダ１は、車両１００の前方及び斜め前方をミリ波帯の電磁波によって水平方向にスキャンすると共に車外の物体の表面で反射された電磁波を受信する。これにより、ミリ波レーダ１は物標を電磁波の反射点として認識する。そして、ミリ波の送受信データから得られた物標情報（自車両１００に対する物標の相対位置等）がＥＣＵ１０に入力される。
　単眼画像センサ２は、車両１００の前側中央部に取り付けられている。単眼画像センサ２は、車両１００の前方及び斜め前方の画像を撮像する。撮像された画像は画像信号としてＥＣＵ１０に入力される。
　操舵角センサ３は、車両１００のステアリングロッド等に取り付けられており、運転者が操作したステアリングホイールの操舵角を検出する。ヨーレートセンサ４は、車両１００の車体の中央位置に設けられており、車体にかかるヨーレートを検出する。車輪パルスセンサ５は、車両１００のホイール部分に取り付けられており、車両の車輪速度を検出する。これらのセンサの出力信号がＥＣＵ１０に入力される。
　ＥＣＵ１０は、物体検出部６及び衝突判定部７を有している。物体検出部６は、ミリ波レーダ１によって取得された物標情報と単眼画像センサ２によって撮像された画像から取得される物標情報とに基づいて障害物を検出する。衝突判定部７は、物体検出部６によって検出された障害物と自車両１００とが衝突するか否かを判定する。物体検出部６における物体検出方法及び衝突判定部７における衝突判定方法の詳細については後述する。
　図２は、本実施例に係る物体検出部６の概略構成を示すブロック図である。図２（ａ）に示すように、物体検出部６は、エッジ検出部６１、軌跡近似線導出部６２、選択部６３及び横位置導出部６４を有している。また、図２（ｂ）に示すように、横位置導出部６４は、軌跡予測部６４１、衝突位置予測部６４２、横幅推定部６４３及び物標中心横位置導出部６４４を有している。各部６１～６４及び６４１～６４４の詳細については後述する。
　ＥＣＵ１０は、さらに、推定カーブ半径演算部、自車速度演算部、自車軌道演算部、障害物速演算部及び障害物移動距離演算部等（図示略）の、衝突判定部での衝突判定のために必要となる各種パラメータを算出する演算部を有している。例えば、推定カーブ半径演算部は、操舵角センサ３から入力された操舵角信号およびヨーレートセンサ４から入力されたヨーレート信号に基いて、自車両１００の推定カーブ半径を算出する。自車速演算部は、車輪パルスセンサ５から入力された車輪速度信号に基いて、自車両１００の車速を算出する。自車軌道演算部は、推定カーブ半径演算部から入力された推定カーブ半径信号に基いて、自車両１００の軌道を算出する。障害物速演算部は、物体検出部６によって検出された障害物の移動速度をその物標情報に基づいて算出する。障害物移動距離演算部は、物体検出部６によって検出された障害物の検出後の移動距離をその物標情報に基づいて算出する。
　衝突判定部７によって障害物と衝突すると判定された場合、ＥＣＵ１０から警告装置８及び衝突回避・衝突被害低減システム９にＯＮ信号が送信される。警告装置８は、該ＯＮ信号を受信すると、モニタへの表示や音声等による運転者への警告を実行する。衝突回避・衝突被害低減システムは、該ＯＮ信号を受信すると、衝突回避制御や衝突被害低減制御を実行する。衝突回避・衝突被害低減システムとしては、自動操舵システム、シートベルト制御システム、シート位置制御システム及びブレーキ制御システム及びエアバッグ制御システム等を例示することができる。
　（横位置導出方法）
　衝突予測装置２００におけるＥＣＵ１０の物体検出部６は、衝突判定部７における衝突判定に用いるための障害物の横位置を導出する。以下、本実施例に係る障害物の横位置導出方法について図３～７に基づいて説明する。
　上述したように、物体検出部６は、ミリ波レーダ１によって取得された物標情報と単眼画像センサ２によって撮像された画像から取得される物標情報とに基づいて障害物を検出する。ミリ波レーダ１によれば、自車両１００に対する物標の相対位置を検出することができる。しかしながら、ミリ波レーダ１では、物標のエッジを高精度で検出することが困難である。そこで、本実施例では、単眼画像センサ２によって撮像された画像を用いて物標のエッジを検出する。
　より詳しくは、物体検出部６のエッジ検出部６１において、ミリ波レーダ１によって認識された物標に相当する物標、即ち、ミリ波レーダ１によって検出された物標の位置（以下、ミリ波検出位置と称する場合もある）に存在する物標を単眼画像センサ２によって撮像された画像から抽出する。さらに、抽出された物標の画像から該物標の右側エッジ及び左側エッジを検出する（以下、該エッジを単眼画像検出エッジと称する場合もある）。
　しかしながら、単眼画像センサ２によって撮像された画像からは正確な奥行き方向の情報（距離）を取得することが困難である。そのため、単眼画像センサ２によって撮像された画像から物標の左右のエッジを検出した場合、実際には自車両１００から見て該物標よりも奥に存在する物体又は模様のエッジが該物標のエッジとして誤検出される場合がある。
　図３は、単眼画像センサによって撮像された画像におけるミリ波検出位置と単眼画像検出エッジとを示す図である。図３（ａ）は、物標のエッジが正常に検出された場合を示しており、図３（ｂ）は、物標のエッジが誤検出された場合を示している。尚、図３（ａ）及び（ｂ）においては、物標を「手前の電柱」とする。図３（ｂ）に示すように、単眼画像センサによって撮像された画像からエッジを検出した場合、「奥の電柱」のエッジが「手前の電柱」のエッジとして誤検出される場合がある。
　ここで、本実施例とは異なり、ミリ波レーダとステレオ画像センサとを用いて障害物を検出した場合の検出結果について図４に基づいて説明する。この場合においても、ミリ波検出位置に存在する物標をステレオ画像センサによって撮像された画像から抽出する。そして、抽出された物標の画像から該物標の右側エッジ及び左側エッジを検出する（以下、これらのエッジをステレオ画像検出エッジと称する場合もある）。図４は、「手前の電柱」を物標とした場合のミリ波検出位置及びステレオ画像検出エッジの自車両に対する時間的な位置の変化を示す図である。尚、図４において、ｔ＝ｎ＋１の図は、ｔ＝ｎから５０ｍｓ後の様子を示している。また、ｔ＝４の図において、白抜き矢印は、ミリ波検出位置及びステレオ画像検出エッジに基づいて導出された物標の軌跡を表している。
　ステレオ画像センサによって撮像された画像からは正確な奥行き方向の情報を取得することができる。そのため、単眼画像センサによって撮像された画像からエッジを検出した場合、「手前の電柱」よりも奥に「奥の電柱」が存在しても、図４に示すように、「奥の電柱」のエッジを「手前の電柱」のエッジとして誤検出することがない。
　従って、ステレオ画像検出エッジに基づいて物標中心の横位置を高精度で導出することができる。そのため、ｔ＝４の図に示すように、ミリ波検出位置及びステレオ画像検出エッジに基づいて物標の軌跡を高精度で導出することができる。その結果、今後の物標の軌跡も高精度で予測することが可能となる。
　一方、本実施例のように、ミリ波レーダと単眼画像センサとを用いて障害物を検出した場合の検出結果について図５に基づいて説明する。図５は、「手前の電柱」を物標とした場合のミリ波検出位置及び単眼画像検出エッジの自車両に対する時間的な位置の変化を示す図である。尚、図５においては、図４と同様、ｔ＝ｎ＋１の図がｔ＝ｎから５０ｍｓ後の様子を示している。また、ｔ＝５の図において、白抜き矢印は、ミリ波検出位置及び単眼画像検出エッジに基づいて導出された物標の軌跡を表している。
　上述したように、単眼画像センサによって撮像された画像からエッジを検出すると、「奥の電柱」のエッジを「手前の電柱」のエッジとして誤検出する場合がある。従って、単眼画像検出エッジに基づいて物標中心の横位置を高精度で導出することは困難である。そのため、ミリ波検出位置及び単眼画像検出エッジに基づいて物標の軌跡を導出した場合、ｔ＝５の図に示すように、該軌跡を誤って導出する場合がある。このような場合、今後の物標の軌跡を高精度で予測することも困難となる。
　誤って予測された物標の軌跡に基づいて衝突判定部７における該物標と自車両１００との衝突判定が行なわれると、誤判定を招く虞がある。そこで、本実施例では、物体検出部６において、衝突判定部７における衝突判定に用いるための物標の横位置を導出するために、単眼画像センサ２によって撮像された画像に対し以下のような横位置導出処理を行なう。尚、図６及び７は、本実施例に係る横位置導出処理のイメージを示す図である。
　本実施例に係る横位置導出処理では、物体検出部６の軌跡近似線導出部６２において、図６に示すように、エッジ検出部６１によって所定時間毎（本実施例では５０ｍｓ毎）に検出された複数の単眼画像検出エッジについて、右側エッジ及び左側エッジそれぞれの軌跡を近似する直線又は所定の曲線である軌跡近似線を導出する。図６（ａ）及び（ｂ）はいずれも図５において検出された単眼画像検出エッジを示している。図６（ａ）における一転鎖線が、左側エッジについて導出された軌跡近似線を示しており、図６（ｂ）における一転鎖線が、右側エッジについて導出された軌跡近似線を示している。尚、軌跡近似線を導出する方法は予め定められている。ここでは、最小二乗法やスプライン補間法等、既知のどのような方法を用いてもよい。「所定の曲線」とは、予め定められた近似方法で導出される曲線を意味する。
　ここで、図６（ａ）に示すように、左側エッジは全て正常に検出されているため、５点のエッジ全てが軌跡近似線上に存在している。一方、図６（ｂ）に示すように、右側エッジには誤検出されたエッジが含まれているため、５点のエッジ中、軌跡近似線上に存在するのは３点のみである。尚、ここでは、軌跡近似線と完全に一致する位置になくとも該軌跡近似線から予め定められた許容範囲内に存在するエッジは、軌跡近似線上に存在するものとしてカウントする。図６（ａ）及び（ｂ）においては、丸で囲んだエッジが、「軌跡近似線上に存在するエッジ」を示している。
　つまり、軌跡近似線上に存在するエッジの数が多い方のエッジは、軌跡近似線上に存在するエッジの数が少ない方のエッジに比べて信頼度が高いと判断できる。そこで、選択部６３においては、軌跡近似線上に存在するエッジの数に基づいて右側エッジ及び左側エッジの信頼度を算出する。そして、右側エッジ及び左側エッジのうち信頼度の高い方（即ち、軌跡近似線上に存在するエッジの数が多い方（図６では左側エッジ））を物標の真のエッジとして選択する。
　そして、横位置導出部６４において、選択部６３で物標の真のエッジとして選択された方のエッジ（以下、選択エッジと称する場合もある）の位置に基づいて物標の横位置を導出する。より詳しくは、図７に示すように、先ず、軌跡予測部６４１において、選択エッジ（図７では左側エッジ）の今後の軌跡をこれまでの軌跡近似線に基づいて予測する。図７においては、一転鎖線で示す矢印が、選択エッジのこれまでの軌跡近似線及び予測される今後の軌跡を表している。
　次に、衝突位置予測部６４２において、軌跡予測部６４１で予測された選択エッジの今後の軌跡とＥＣＵ１０の自車両軌道演算部において算出された自車両１００の軌道に基づいて、選択エッジと自車両１００との前後方向の距離が零となる位置として、物標と自車両１００との衝突位置を予測する。図７においては、破線が衝突位置を表している。
　さらに、横位置導出部６４では、横幅推定部６４３において、物標の横幅Ｗｔを推定する。ここで、横幅推定方法としては、既知のどのような方法を用いてもよい。具体的には、単眼画像検出エッジから導出される物標の横幅の平均値を物標の横幅Ｗｔとして算出する方法や、ミリ波レーダ１における受信波の強度から推定される物標の種類に基づいて物標の横幅Ｗｔを導出する方法等を例示することができる。
　そして、物標中心横位置導出部６４４において、衝突位置予測部６４２で予測された衝突位置における物標中心の横位置を導出する。具体的には、衝突位置における選択エッジの位置から、横幅推定部６４３で推定された物標の横幅Ｗｔの１／２分他方のエッジ（図７では右側エッジ）側にずれた位置を、衝突位置における物標中心の横位置として導出する。図７においては、白抜き三角で示す位置が衝突位置における物標中心の横位置を表している。
　上記のような横位置導出方法によれば、単眼画像検出エッジにおける右側エッジ及び左側エッジのうち信頼度の高い方のエッジが物標の真のエッジとして選択される。そして、信頼度の高い方のエッジの位置に基づいて、衝突位置における物標中心の横位置が導出される。従って、画像センサとして単眼画像センサを用いた場合であっても、衝突位置における物標中心の横位置を高精度で導出することができる。
　そして、衝突判定部７においては、物体検出部６において導出された衝突位置における物標中心の横位置に基づいて衝突判定を実行する。これにより、自車両１００と障害物とが衝突するか否かをより高精度で判定することが可能となる。
　（衝突判定フロー）
　本実施例に係る自車両と障害物との衝突判定のフローについて図８及び９に示すフローチャートに基づいて説明する。本フローは、ＥＣＵ１０によって所定の間隔で繰り返し実行される。
　本フローでは、先ずステップＳ１０１において、単眼画像センサ２によって撮像された画像からミリ波検出位置に存在する物標が抽出される。
　次に、ステップＳ１０２において、ステップＳ１０１で抽出された物標の画像から右側エッジ及び左側エッジが検出される。尚、ステップＳ１０１及びステップＳ１０２の処理はエッジ検出部６１によって実行される。
　次に、ステップＳ１０３において、ステップＳ１０２で検出された複数の単眼画像検出エッジについて、右側エッジ及び左側エッジそれぞれの軌跡近似線が導出される。尚、ステップＳ１０３の処理は軌跡近似線導出部６２によって実行される。
　次に、ステップＳ１０４において、ステップＳ１０３で導出された軌跡近似線上に存在するエッジの数に基づいて右側エッジ及び左側エッジの信頼度が算出される。
　次に、ステップＳ１０５において、右側エッジ及び左側エッジのうち、ステップＳ１０４で算出された信頼度の高い方のエッジが、物標の真のエッジとして選択される。尚、ステップＳ１０４及びＳ１０５の処理は選択部６３によって実行される。
　次に、ステップＳ１０６において、ステップＳ１０５で選択された選択エッジの今後の軌跡が予測される。尚、ステップＳ１０６の処理は軌跡予測部６４１によって実行される。
　次に、ステップＳ１０７において、ステップＳ１０６で予測された選択エッジの今後の軌跡と自車両軌道演算部において算出された自車両１００の軌道に基づいて、物標と自車両１００との衝突位置が予測される。尚、ステップＳ１０７の処理は衝突位置予測部６４２によって実行される。
　次に、ステップＳ１０８において、物標の横幅Ｗｔが推定される。尚、ステップＳ１０８の処理は横幅推定部６４３によって実行される。
　次に、ステップＳ１０９において、ステップＳ１０７で予測された衝突位置における選択エッジの位置から、ステップＳ１０８で推定された物標の横幅Ｗｔの１／２分他方のエッジ側にずれた位置が、衝突位置における物標中心の横位置として導出される。尚、ステップＳ１０９の処理は物標中心横位置導出部６４４によって実行される。
　次に、ステップＳ１１０において、ステップＳ１０９で導出された衝突位置における物標中心の横位置に基づいて、該物標と自車両１００との衝突確率Ｐｃが算出される。
　次に、ステップＳ１１１において、ステップＳ１１０で算出された衝突確率Ｐｃが基準確率Ｐｃｂａｓｅ以上であるか否かが判別される。ここで、基準確率Ｐｃｂａｓｅは、物標と自車両１００とが衝突すると判定すべき閾値として予め設定された値である。
　ステップＳ１１１において、肯定判定された場合、次にステップＳ１１２において、物標と自車両１００とが衝突すると判定される。一方、ステップＳ１１１において、否定判定された場合、次にステップＳ１１３において、物標と自車両１００とは衝突しないと判定される。尚、ステップＳ１１０～Ｓ１１３の処理は衝突判定部７によって実行される。そして、ステップＳ１１２において物標と自車両１００とが衝突すると判定された場合、衝突判定部７は、警告装置８及び衝突回避・衝突被害低減システム９にＯＮ信号を送信する。
　（本実施例の構成要素と本発明の構成要件との関係）
　尚、本実施例においては、物体検出部６が本発明に係る物体検出装置に相当する。また、本実施例に係る物体検出部６の構成要素と本発明の構成要件との関係は次のとおりである。エッジ検出部６１が本発明に係るエッジ取得手段に相当する。軌跡近似線導出部６２が本発明に係る軌跡近似線導出手段に相当する。選択部６３が本発明に係る選択手段に相当する。横位置導出部６４が本発明に係る横位置導出手段に相当する。軌跡予測部６４１が本発明に係る軌跡予測手段に相当する。衝突位置予測部６４２が本発明に係る衝突位置予測手段に相当する。横幅推定部６４３が本発明に係る横幅推定手段に相当する。
　また、本実施例においては、図８に示すフローチャートにおけるステップＳ１０１及びＳ１０２が、本発明に係るエッジ取得工程に相当する。図８に示すフローチャートにおけるステップＳ１０３が本発明に係る軌跡近似線導出工程に相当する。図８に示すフローチャートにおけるステップＳ１０４及びＳ１０５が本発明に係る選択工程に相当する。図８に示すフローチャートにおけるステップＳ１０６～Ｓ１０９が本発明に係る横位置導出工程に相当する。
　＜実施例２＞
　本発明の実施例１について図１０～１４に基づいて説明する。尚、ここでは、実施例１と異なる点についてのみ説明する。
　（概略構成）
　図１０は、本実施例に係る物体検出部６の概略構成を示すブロック図である。図１０に示すように、本実施例に係る物体検出部６は、エッジ検出部６１、軌跡近似線導出部６２、選択部６３及び横位置導出部６４に加えて、重み付け部６５及び信頼度合計値算出部６６を有している。重み付け部６５及び信頼度合計値算出部６６の詳細については後述する。
　（横位置導出方法）
　本実施例に係る障害物の横位置導出方法について図１１～１３に基づいて説明する。図１１は、本実施例に係る、ミリ波レーダと単眼画像センサとを用いて障害物を検出した場合の検出結果を示す図である。図１１は、図５と同様、「手前の電柱」を物標とした場合のミリ波検出位置及び単眼画像検出エッジの自車両に対する時間的な位置の変化を示す図である。尚、図１１においては、図５と同様、ｔ＝ｎ＋１の図がｔ＝ｎから５０ｍｓ後の様子を示している。
　図１１の場合、「手前の電柱」よりも奥に「横断車両」が存在している。この場合、単眼画像センサによって撮像された画像からエッジを検出すると、「横断車両」のエッジを「手前の電柱」のエッジとして誤検出する場合がある。そして、図１１においては、右側エッジを毎回誤検出している。このような誤検出は、図５の場合のように、物標たる「手前の電柱」よりも奥に「奥の電柱」のような固定物体が存在する場合でも起り得るが、物標よりも奥に存在する物体が「横断車両」のような横方向に移動する移動物体の場合により生じ易い。
　本実施例では、物体検出部６において、衝突判定部７における衝突判定に用いるための物標の横位置を導出するために、単眼画像センサ２によって撮像された画像に対し以下のような横位置導出処理を行なう。図１２及び１３は、本実施例に係る横位置導出処理のイメージを示す図である。
　本実施例に係る横位置導出処理でも、物体検出部６の軌跡近似線導出部６２において、図１２に示すように、エッジ検出部６１によって所定時間毎（本実施例では５０ｍｓ毎）に検出された複数の単眼画像検出エッジについて、右側エッジ及び左側エッジそれぞれの軌跡を近似する直線又は所定の曲線である軌跡近似線を導出する。図１２（ａ）及び（ｂ）はいずれも図１１において検出されたミリ波検出位置及び単眼画像検出エッジを示している。図１２（ａ）における一転鎖線が、左側エッジについて導出された軌跡近似線を示しており、図１２（ｂ）における一転鎖線が、右側エッジについて導出された軌跡近似線を示している。尚、軌跡近似線を導出する方法は実施例１の場合と同様である。
　ここで、右側エッジが毎回誤検出された場合、図１２（ｂ）に示すように、誤検出であっても、図１２（ａ）に示す正常に検出された左側エッジと同様、５点のエッジ全てが軌跡近似線上に存在することになる。尚、本実施例でも、実施例１の場合と同様、軌跡近似線と完全に一致する位置になくとも該軌跡近似線から所定の許容範囲内に存在するエッジは軌跡近似線上に存在するものとしてカウントする。図１２（ａ）及び（ｂ）においては、丸で囲んだエッジが、「軌跡近似線上に存在するエッジ」を示している。
　そのため、軌跡近似線上に存在するエッジの数に基づいて該エッジの信頼度を算出すると、毎回正常に検出された方のエッジの信頼度と毎回誤検出された方のエッジの信頼度とが同等となる。この場合、実施例１に係る横位置導出処理では物標の真のエッジを選択することが困難である。
　そこで、本実施例に係る横位置導出処理では、重み付け部６５において、エッジ検出部６１で検出された右側エッジ及び左側エッジそれぞれに対し、ミリ波検出位置からの距離に基づいて信頼度の重み付けを行なう。ここで、ミリ波検出位置から遠いエッジは、ミリ波検出位置から近いエッジに比べて誤検出したエッジである可能性が高い。そのため、重み付け部６５では、右側エッジ及び左側エッジに対し、ミリ波検出位置からより近い方の信頼度がより高くなるように重み付けを行なう。
　さらに、信頼度合計値算出部６６において、重み付け部６５で重み付けられた信頼度を右側エッジ及び左側エッジそれぞれについて複数分合計することで両エッジについての信頼度の合計値を算出する。
　例えば、図１２に示すような場合は、５回とも、左側エッジの方が右側エッジよりもミリ波検出位置から近い。ここで、右側エッジ及び左側エッジのうち、ミリ波検出位置からより近い方の重み付けを１．１ポイントとし、ミリ波検出位置からより遠い方の重み付けを０．９ポイントとすると、左側エッジの信頼度の合計値は５．５ポイントとなり、右側エッジの信頼度の合計値は４．５ポイントとなる。
　そして、選択部６３においては、右側エッジ及び左側エッジのうち、信頼度合計値算出部６６で算出された信頼度の合計値が大きい方（図１２では左側エッジ）を物標の真のエッジとして選択する。これによれば、図１１に示すように一方のエッジが毎回誤検出された場合であっても、単眼画像検出エッジにおける右側エッジ及び左側エッジのうち信頼度の高い方のエッジを物標の真のエッジとして選択することができる。
　そして、本実施例では、横位置導出部６４において、上記のように選択された選択エッジの位置に基づいて、実施例１と同様の方法により、物標の横位置を導出する。つまり、図１３に示すように、軌跡予測部６４１において、選択エッジの今後の軌跡を予測する。次に、衝突位置予測部６４２において、物標と自車両１００との衝突位置を予測する。また、横幅推定部６４３において、物標の横幅Ｗｔを推定する。そして、物標中心横位置導出部６４４において、衝突位置における物標中心の横位置を導出する。尚、図１３においては、図７と同様、一転鎖線で示す矢印が選択エッジの選択エッジのこれまでの軌跡近似線及び予測される今後の軌跡を表しており、破線が衝突位置を表しており、白抜き三角で示す位置が衝突位置における物標中心の横位置を表している。
　上記のような横位置導出方法によっても、実施例１と同様、単眼画像検出エッジにおける右側エッジ及び左側エッジのうち信頼度の高い方のエッジの位置に基づいて、衝突位置における物標中心の横位置が導出される。従って、画像センサとして単眼画像センサを用いた場合であっても、衝突位置における物標中心の横位置を高精度で導出することができる。
　（衝突判定フロー）
　本実施例に係る自車両と障害物との衝突判定のフローについて図１４に示すフローチャートに基づいて説明する。本フローは、ＥＣＵ１０よって所定の間隔で繰り返し実行される。尚、本フローは、図８に示すフローチャートにステップＳ２０１からＳ２０３を追加したものである。そのため、ステップＳ２０１からＳ２０３についてのみ説明し、その他のステップについての説明は省略する。
　本フローでは、ステップＳ１０４の次に、ステップＳ２０１の処理が実行される。ステップＳ２０１においては、ステップＳ１０４で算出された右側エッジの信頼度と左側エッジの信頼度とが同等であるか否かが判別される。ここで、軌跡近似線上に存在するエッジの数が右側エッジと左側エッジとで同数の場合は、両エッジの信頼度が同等と判定される。ステップＳ２０１において、否定判定された場合、次にステップＳ１０５の処理が実行される。この場合、その後の処理は実施例１と同様である。一方、ステップＳ２０１において、肯定判定された場合、次にステップＳ２０２の処理が実行される。
　ステップＳ２０２においては、ステップＳ１０２で検出された複数の単眼画像検出エッジそれぞれについて、右側エッジ及び左側エッジに対する信頼度の重み付けが実行される。ここでは、上述したように、ミリ波検出位置からより近い方の信頼度がより高くなるように重み付けが行なわれる。尚、ステップＳ２０１の処理は重み付け部６５によって実行される。
　次に、ステップＳ２０３において、ステップＳ２０２で重み付けられた複数の右側エッジ及び左側エッジの信頼度がそれぞれ合計され、両エッジについての信頼度の合計値が算出される。尚、ステップＳ２０３の処理は信頼度合計値算出部６６によって実行される。
　次に、ステップＳ１０５において、物標の真のエッジの選択が行なわれる。この場合、該ステップＳ１０５では、右側エッジ及び左側エッジのうち、ステップ２０３で算出された信頼度の合計値が高い方のエッジが、物標の真のエッジとして選択される。その後の処理は実施例１と同様である。
　（本実施例の構成要素と本発明の構成要件との関係）
　尚、本実施例においては、重み付け部６５が本発明に係る重み付け手段に相当し、信頼度合計値算出部６６が本発明に係る信頼度合計値算出手段に相当する。
　また、本実施例においては、図１４に示すフローチャートにおけるステップＳ２０２が本発明に係る重み付け工程に相当し、該フローチャートにおけるステップＳ２０３が本発明に係る信頼度合計値算出工程に相当する。
１・・・ミリ波レーダ
２・・・単眼画像センサ
３・・・操舵角センサ
４・・・ヨーレートセンサ
５・・・車輪パルスセンサ
６・・・物体検出部
７・・・衝突判定部
８・・・警告装置
９・・・衝突回避・衝突被害低減システム
１０・・ＥＣＵ
６１・・エッジ検出部
６２・・軌跡近似線導出部
６３・・選択部
６４・・横位置導出部
６５・・重み付け部
６６・・信頼度合計値算出部
１００・・車両
２００・・衝突予測装置
６４１・・軌跡予測部
６４２・・衝突位置予測部
６４３・・横幅推定部
６４４・・物標中心横位置導出部

Claims (6)

  1. 　レーダによって取得される物標情報と単眼画像センサによって撮像された画像から取得される物標情報とに基づいて物体を検出する物体検出装置であって、
    　前記レーダによって認識された物標に相当する物標を前記単眼画像センサによって撮像された画像から抽出するとともに、該抽出された物標の右側エッジ及び左側エッジを取得するエッジ取得手段と、
    　前記エッジ取得手段によって取得された右側エッジ及び左側エッジの軌跡を近似する直線又は所定の曲線である軌跡近似線を両エッジについて導出する軌跡近似線導出手段と、
    　前記エッジ取得手段によって取得された右側エッジ及び左側エッジのうち前記軌跡近似線上に存在するエッジの数が多い方を物標の真のエッジとして選択する選択手段と、
    　前記選択手段によって真のエッジとして選択された方のエッジの位置に基づいて物標の横位置を導出する横位置導出手段と、
    　を備えたことを特徴とする物体検出装置。
  2. 　前記エッジ取得手段によって取得された右側エッジ及び左側エッジに対し、前記レーダによって認識された物標の位置からより近い方の信頼度がより高くなるように信頼度の重み付けを行なう重み付け手段と、
    　前記重み付け手段によって重み付けられた信頼度を右側エッジ及び左側エッジそれぞれについて複数分合計することで両エッジについての信頼度の合計値を算出する信頼度合計値算出手段と、をさらに備え、
    　前記選択手段が、前記エッジ取得手段によって取得された右側エッジと左側エッジとで前記軌跡近似線上に存在するエッジの数が同数の場合、該右側エッジ及び左側エッジのうち、前記信頼度合計値算出手段によって算出された信頼度の合計値が大きい方を、物標の真のエッジとして選択することを特徴とする請求項１に記載の物体検出装置。
  3. 　前記横位置導出手段が、
    　前記選択手段によって真のエッジとして選択された方のエッジの今後の軌跡を予測する軌跡予測手段と、
    　前記軌跡予測手段によってよって予測された今後のエッジの軌跡に基づいて、該エッジと車両との前後方向の距離が零となる位置として物標と車両との衝突位置を予測する衝突位置予測手段と、を有し、
    　前記選択手段によって真のエッジとして選択された方のエッジの前記衝突位置における位置に基づいて、前記衝突位置における物標の横方向の中心の横位置を導出することを特徴とする請求項１又は２に記載の物体検出装置。
  4. 　前記横位置導出手段が、
    　物標の横幅を推定する横幅推定手段を有し、
    　前記選択手段によって真のエッジとして選択された方のエッジの位置から、前記横幅推定手段によって推定された物標の横幅の１／２分他方のエッジ側にずれた位置を、物標の横方向の中心の横位置として導出することを特徴とする請求項１又は２に記載の物体検出装置。
  5. 　レーダによって取得される物標情報と単眼画像センサによって撮像された画像から取得される物標情報とに基づいて物体を検出する物体検出方法であって、
    　前記レーダによって認識された物標に相当する物標を前記単眼画像センサによって撮像された画像から抽出するとともに、該抽出された物標の右側エッジ及び左側エッジを取得するエッジ取得工程と、
    　前記エッジ取得工程において取得された右側エッジ及び左側エッジの軌跡を近似する直線又は所定の曲線である軌跡近似線を両エッジについて導出する軌跡近似線導出工程と、
    　前記エッジ取得工程において取得された右側エッジ及び左側エッジのうち前記軌跡近似線上に存在するエッジの数が多い方を物標の真のエッジとして選択する選択工程と、
    　前記選択工程において真のエッジとして選択された方のエッジの位置に基づいて物標の横位置を導出する横位置導出工程と、
    　を有することを特徴とする物体検出方法。
  6. 　前記エッジ取得工程において取得された右側エッジ及び左側エッジに対し、前記レーダによって認識された物標の位置からより近い方の信頼度がより高くなるように信頼度の重み付けを行なう重み付け工程と、
    　前記重み付け工程において重み付けられた信頼度を右側エッジ及び左側エッジそれぞれについて複数分合計することで両エッジについての信頼度の合計値を算出する信頼度合計値算出工程と、をさらに有し、
    　前記選択工程において、前記エッジ取得工程において取得された右側エッジ及び左側エッジとで前記軌跡近似線上に存在するエッジの数が同数の場合は、該右側エッジ及び左側エッジのうち、前記信頼度合計値算出工程において算出された信頼度の合計値が大きい方を、物標の真のエッジとして選択することを特徴とする請求項５に記載の物体検出方法。
PCT/JP2009/070562 2009-12-08 2009-12-08 物体検出装置及び物体検出方法 WO2011070650A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011507732A JP4883246B2 (ja) 2009-12-08 2009-12-08 物体検出装置及び物体検出方法
DE112009005424.2T DE112009005424B4 (de) 2009-12-08 2009-12-08 Objektdetektionsvorrichtung und Objektdetektionsverfahren
PCT/JP2009/070562 WO2011070650A1 (ja) 2009-12-08 2009-12-08 物体検出装置及び物体検出方法
CN200980132832.6A CN102696060B (zh) 2009-12-08 2009-12-08 物体检测装置以及物体检测方法
US13/057,217 US8610620B2 (en) 2009-12-08 2009-12-08 Object detecting apparatus and object detecting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/070562 WO2011070650A1 (ja) 2009-12-08 2009-12-08 物体検出装置及び物体検出方法

Publications (1)

Publication Number Publication Date
WO2011070650A1 true WO2011070650A1 (ja) 2011-06-16

Family

ID=44145222

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/070562 WO2011070650A1 (ja) 2009-12-08 2009-12-08 物体検出装置及び物体検出方法

Country Status (5)

Country Link
US (1) US8610620B2 (ja)
JP (1) JP4883246B2 (ja)
CN (1) CN102696060B (ja)
DE (1) DE112009005424B4 (ja)
WO (1) WO2011070650A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014033954A1 (ja) * 2012-09-03 2014-03-06 トヨタ自動車株式会社 衝突判定装置及び衝突判定方法
WO2014033955A1 (ja) * 2012-09-03 2014-03-06 トヨタ自動車株式会社 速度算出装置及び速度算出方法並びに衝突判定装置
JP2015082324A (ja) * 2013-10-22 2015-04-27 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーＨｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ 予測的運転者支援システムのための複合信頼度推定
JP2018112461A (ja) * 2017-01-11 2018-07-19 いすゞ自動車株式会社 確率算出装置及び確率算出方法
CN109254289A (zh) * 2018-11-01 2019-01-22 百度在线网络技术（北京）有限公司 道路护栏的检测方法和检测设备
JP2020030190A (ja) * 2018-08-24 2020-02-27 独立行政法人日本スポーツ振興センター 位置追跡システム、及び位置追跡方法

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2639781A1 (en) * 2012-03-14 2013-09-18 Honda Motor Co., Ltd. Vehicle with improved traffic-object position detection
US10609335B2 (en) 2012-03-23 2020-03-31 Magna Electronics Inc. Vehicle vision system with accelerated object confirmation
DE112012006790B4 (de) * 2012-08-08 2022-09-29 Toyota Jidosha Kabushiki Kaisha Kollisionsvorhersagevorrichtung
CN102945602B (zh) * 2012-10-19 2015-04-15 上海交通大学无锡研究院 一种用于交通事件检测的车辆轨迹分类方法
JP5812064B2 (ja) * 2012-11-22 2015-11-11 株式会社デンソー 物標検出装置
JP5939357B2 (ja) * 2013-05-31 2016-06-22 トヨタ自動車株式会社 移動軌跡予測装置及び移動軌跡予測方法
JP5812061B2 (ja) * 2013-08-22 2015-11-11 株式会社デンソー 物標検出装置およびプログラム
JP5929870B2 (ja) * 2013-10-17 2016-06-08 株式会社デンソー 物標検出装置
JP5991332B2 (ja) * 2014-02-05 2016-09-14 トヨタ自動車株式会社 衝突回避制御装置
CN103927437B (zh) * 2014-04-04 2016-10-26 东南大学 在非直线路段测量车头间距的方法
JP6209797B2 (ja) * 2014-05-20 2017-10-11 本田技研工業株式会社 走行制御装置
EP3164859B1 (en) * 2014-07-03 2022-08-31 GM Global Technology Operations LLC Vehicle radar methods and systems
CN104269070B (zh) * 2014-08-20 2017-05-17 东风汽车公司 一种车辆主动安全预警方法和运用该方法的安全预警***
JP6380232B2 (ja) * 2015-05-19 2018-08-29 株式会社デンソー 物体検出装置、及び物体検出方法
RU2667338C1 (ru) * 2015-07-27 2018-09-18 Ниссан Мотор Ко., Лтд. Способ обнаружения объектов и устройство обнаружения объектов
JP6027659B1 (ja) * 2015-08-27 2016-11-16 富士重工業株式会社 車両の走行制御装置
CN208093709U (zh) 2015-11-05 2018-11-13 日本电产株式会社 缝隙阵列天线以及雷达装置
DE112016000178B4 (de) 2015-11-05 2023-06-22 Nidec Corporation Schlitzantenne
JP6879729B2 (ja) 2015-12-24 2021-06-02 日本電産株式会社 スロットアレーアンテナ、ならびに当該スロットアレーアンテナを備えるレーダ、レーダシステム、および無線通信システム
JP2017188867A (ja) 2015-12-24 2017-10-12 日本電産エレシス株式会社 導波路装置、スロットアンテナ、ならびに当該スロットアンテナを備えるレーダ、レーダシステム、および無線通信システム
CN106981710B (zh) 2016-01-15 2019-11-08 日本电产株式会社 波导装置、天线装置以及雷达
DE112017000573B4 (de) 2016-01-29 2024-01-18 Nidec Corporation Wellenleitervorrichtung und Antennenvorrichtung mit der Wellenleitervorrichtung
DE102017102284A1 (de) 2016-02-08 2017-08-10 Nidec Elesys Corporation Wellenleitervorrichtung und Antennenvorrichtung mit der Wellenleitervorrichtung
DE102017102559A1 (de) 2016-02-12 2017-08-17 Nidec Elesys Corporation Wellenleitervorrichtung und Antennenvorrichtung mit der Wellenleitervorrichtung
JP2019047141A (ja) 2016-03-29 2019-03-22 日本電産エレシス株式会社 マイクロ波ｉｃ導波路装置モジュール、レーダ装置およびレーダシステム
CN208092221U (zh) 2016-04-05 2018-11-13 日本电产株式会社 雷达***
JP2019054315A (ja) 2016-04-28 2019-04-04 日本電産エレシス株式会社 実装基板、導波路モジュール、集積回路実装基板、マイクロ波モジュール、レーダ装置およびレーダシステム
DE102016211730A1 (de) * 2016-06-29 2018-01-04 Continental Teves Ag & Co. Ohg Verfahren zur Vorhersage eines Fahrbahnverlaufs einer Fahrbahn
JP6787102B2 (ja) * 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
CN106740465B (zh) * 2016-12-30 2020-07-24 南通市台盈新材料科技有限公司 一种基于宽度探测的汽车避撞方法
EP3364211B1 (en) * 2017-02-21 2022-08-17 Continental Autonomous Mobility Germany GmbH Method and device for detecting a possible collision, and vehicle
JP2018164252A (ja) 2017-03-24 2018-10-18 日本電産株式会社 スロットアレーアンテナ、および当該スロットアレーアンテナを備えるレーダ
CN108695585B (zh) 2017-04-12 2021-03-16 日本电产株式会社 高频构件的制造方法
JP7020677B2 (ja) 2017-04-13 2022-02-16 日本電産エレシス株式会社 スロットアンテナ装置
JP2018182740A (ja) 2017-04-13 2018-11-15 日本電産株式会社 スロットアレーアンテナ
CN208093762U (zh) 2017-04-14 2018-11-13 日本电产株式会社 缝隙天线装置以及雷达装置
WO2018207796A1 (en) 2017-05-11 2018-11-15 Nidec Corporation Waveguide device, and antenna device including the waveguide device
WO2018207838A1 (en) 2017-05-11 2018-11-15 Nidec Corporation Waveguide device, and antenna device including the waveguide device
US10547122B2 (en) 2017-06-26 2020-01-28 Nidec Corporation Method of producing a horn antenna array and antenna array
JP7103860B2 (ja) 2017-06-26 2022-07-20 日本電産エレシス株式会社 ホーンアンテナアレイ
JP2019009779A (ja) 2017-06-26 2019-01-17 株式会社Ｗｇｒ 伝送線路装置
JP2019012999A (ja) 2017-06-30 2019-01-24 日本電産株式会社 導波路装置モジュール、マイクロ波モジュール、レーダ装置およびレーダシステム
JP7294608B2 (ja) 2017-08-18 2023-06-20 ニデックエレシス株式会社 アンテナアレイ
JP2019050568A (ja) 2017-09-07 2019-03-28 日本電産株式会社 方向性結合器
DE102018124924A1 (de) 2017-10-10 2019-04-11 Nidec Corporation Wellenleitende Vorrichtung
EP3518001B1 (en) * 2018-01-25 2020-09-16 Aptiv Technologies Limited Method for increasing the reliability of determining the position of a vehicle on the basis of a plurality of detection points
CN110443819B (zh) * 2018-05-03 2022-04-15 比亚迪股份有限公司 一种单轨列车的轨道检测方法和装置
JP7298808B2 (ja) 2018-06-14 2023-06-27 ニデックエレシス株式会社 スロットアレイアンテナ
CN109343041B (zh) * 2018-09-11 2023-02-14 昆山星际舟智能科技有限公司 用于高级智能辅助驾驶的单目测距方法
JP7379176B2 (ja) 2019-01-16 2023-11-14 太陽誘電株式会社 導波路装置、電磁波閉じ込め装置、アンテナ装置、マイクロ波化学反応装置、およびレーダ装置
CN110636266B (zh) * 2019-10-10 2020-10-16 珠海格力电器股份有限公司 基于电器的安防监控方法及装置、存储介质
CN113093176B (zh) * 2019-12-23 2022-05-17 北京三快在线科技有限公司 线状障碍物检测方法、装置、电子设备和存储介质
CN112927509B (zh) * 2021-02-05 2022-12-23 长安大学 一种基于交通冲突技术的道路行车安全风险评估***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08122432A (ja) * 1994-10-20 1996-05-17 Honda Motor Co Ltd 移動体の検出装置
JP2007288460A (ja) * 2006-04-17 2007-11-01 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2008276689A (ja) * 2007-05-07 2008-11-13 Mitsubishi Electric Corp 車両用障害物認識装置
JP2009186260A (ja) * 2008-02-05 2009-08-20 Nissan Motor Co Ltd 物体検出装置及び測距方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5018218A (en) * 1988-08-29 1991-05-21 Raytheon Company Confirmed boundary pattern matching
US5168529A (en) * 1988-08-29 1992-12-01 Rayethon Company Confirmed boundary pattern matching
US5168530A (en) * 1988-08-29 1992-12-01 Raytheon Company Confirmed boundary pattern matching
US5173949A (en) * 1988-08-29 1992-12-22 Raytheon Company Confirmed boundary pattern matching
US5052045A (en) * 1988-08-29 1991-09-24 Raytheon Company Confirmed boundary pattern matching
US5027422A (en) * 1988-08-29 1991-06-25 Raytheon Company Confirmed boundary pattern matching
JP2001134772A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP4205825B2 (ja) * 1999-11-04 2009-01-07 本田技研工業株式会社 対象物認識装置
CN1914060B (zh) * 2004-01-28 2013-05-29 丰田自动车株式会社 车辆行驶支持***
JP5088669B2 (ja) * 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
JP5098563B2 (ja) * 2007-10-17 2012-12-12 トヨタ自動車株式会社 物体検出装置
US8320615B2 (en) * 2008-02-27 2012-11-27 Honeywell International Inc. Systems and methods for recognizing a target from a moving platform
CN102301405B (zh) * 2009-01-29 2014-01-15 丰田自动车株式会社 物体识别装置以及物体识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08122432A (ja) * 1994-10-20 1996-05-17 Honda Motor Co Ltd 移動体の検出装置
JP2007288460A (ja) * 2006-04-17 2007-11-01 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2008276689A (ja) * 2007-05-07 2008-11-13 Mitsubishi Electric Corp 車両用障害物認識装置
JP2009186260A (ja) * 2008-02-05 2009-08-20 Nissan Motor Co Ltd 物体検出装置及び測距方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014033954A1 (ja) * 2012-09-03 2014-03-06 トヨタ自動車株式会社 衝突判定装置及び衝突判定方法
WO2014033955A1 (ja) * 2012-09-03 2014-03-06 トヨタ自動車株式会社 速度算出装置及び速度算出方法並びに衝突判定装置
CN104584098A (zh) * 2012-09-03 2015-04-29 丰田自动车株式会社 碰撞判定装置和碰撞判定方法
CN104620297A (zh) * 2012-09-03 2015-05-13 丰田自动车株式会社 速度算出装置、速度算出方法以及碰撞判定装置
JPWO2014033955A1 (ja) * 2012-09-03 2016-08-08 トヨタ自動車株式会社 速度算出装置及び速度算出方法並びに衝突判定装置
CN104620297B (zh) * 2012-09-03 2017-03-22 丰田自动车株式会社 速度算出装置、速度算出方法以及碰撞判定装置
CN104584098B (zh) * 2012-09-03 2017-09-15 丰田自动车株式会社 碰撞判定装置和碰撞判定方法
JP2015082324A (ja) * 2013-10-22 2015-04-27 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーＨｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ 予測的運転者支援システムのための複合信頼度推定
JP2018112461A (ja) * 2017-01-11 2018-07-19 いすゞ自動車株式会社 確率算出装置及び確率算出方法
JP2020030190A (ja) * 2018-08-24 2020-02-27 独立行政法人日本スポーツ振興センター 位置追跡システム、及び位置追跡方法
CN109254289A (zh) * 2018-11-01 2019-01-22 百度在线网络技术（北京）有限公司 道路护栏的检测方法和检测设备

Also Published As

Publication number Publication date
CN102696060B (zh) 2015-01-07
US8610620B2 (en) 2013-12-17
US20120313806A1 (en) 2012-12-13
DE112009005424B4 (de) 2015-12-24
DE112009005424T8 (de) 2013-02-07
DE112009005424T5 (de) 2012-12-06
JPWO2011070650A1 (ja) 2013-04-22
JP4883246B2 (ja) 2012-02-22
CN102696060A (zh) 2012-09-26

Similar Documents

Publication Publication Date Title
JP4883246B2 (ja) 物体検出装置及び物体検出方法
JP5316549B2 (ja) 物体認識装置および物体認識方法
EP2302412B1 (en) System and method for evaluation of an automotive vehicle forward collision threat
JP6536521B2 (ja) 物体検知装置及び物体検知方法
US7889116B2 (en) Object detecting apparatus
US7498972B2 (en) Obstacle detection system for vehicle
US11312371B2 (en) Apparatus and method for controlling vehicle
US10967857B2 (en) Driving support device and driving support method
US20180211536A1 (en) Driving support system
US9102329B2 (en) Tracking control apparatus
JP6380232B2 (ja) 物体検出装置、及び物体検出方法
US10436899B2 (en) Object detection apparatus
US10787170B2 (en) Vehicle control method and apparatus
JP5078944B2 (ja) 車両用走行制御装置
JP5471195B2 (ja) 物体検出装置
EP2894618B1 (en) Speed calculating device and speed calculating method, and collision determination device
JP6432423B2 (ja) 物体検知装置、及び物体検知方法
JP6432538B2 (ja) 衝突予測装置
US8730089B2 (en) Vehicle radar system
JP6429360B2 (ja) 物体検出装置
WO2011036807A1 (ja) 物体検出装置及び物体検出方法
KR20180069019A (ko) 물체 분류로 자동차의 주변 영역을 포착하는 방법, 제어 장치, 운전자 보조 시스템, 및 자동차
WO2023228668A1 (ja) 周辺監視装置及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 13057217

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011507732

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09852047

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 1120090054242

Country of ref document: DE

Ref document number: 112009005424

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09852047

Country of ref document: EP

Kind code of ref document: A1