WO2018070335A1 - 移動検出装置、移動検出方法 - Google Patents

移動検出装置、移動検出方法 Download PDF

Info

Publication number
WO2018070335A1
WO2018070335A1 PCT/JP2017/036263 JP2017036263W WO2018070335A1 WO 2018070335 A1 WO2018070335 A1 WO 2018070335A1 JP 2017036263 W JP2017036263 W JP 2017036263W WO 2018070335 A1 WO2018070335 A1 WO 2018070335A1
Authority
WO
WIPO (PCT)
Prior art keywords
future
fusion
vehicle
future position
detected
Prior art date
Application number
PCT/JP2017/036263
Other languages
English (en)
French (fr)
Inventor
崇弘 馬場
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2018070335A1 publication Critical patent/WO2018070335A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present disclosure relates to a movement detection device and a movement detection method for detecting movement of an object.
  • the movement detection device that detects the position of an object in front of the host vehicle using a captured image acquired by an image sensor or an electromagnetic wave sensor, and calculates the future position of the object based on a change in the detection position in time series.
  • the future position is a position where the object is predicted to arrive after a predetermined period.
  • the movement detection device predicts the movement direction of the object from a plurality of detection positions having different time series, and calculates the future position of the object based on the predicted movement direction.
  • Patent Document 1 discloses a technique that takes into account such detection accuracy characteristics. Specifically, when the object detected by the electromagnetic wave sensor and the object detected by the captured image are the same object, the orientation of the object detected by the captured image and the relative distance of the object detected by the electromagnetic wave sensor are A new fusion position is calculated by combining. Then, the newly calculated fusion position is used as an object detection position. The fusion position has higher object detection accuracy than the respective detection results of the captured image and the electromagnetic wave sensor. Therefore, the movement detection device can increase the accuracy of the future position by calculating the future position of the object using the fusion position.
  • the condition for detecting the position of the object from the captured image is different from the condition for detecting the position of the object by the electromagnetic wave sensor, there is a time difference between the timing at which the object is detected by the electromagnetic wave sensor and the timing at which the object is detected from the captured image. May occur.
  • the timing at which the movement detection device can calculate the fusion position is the position of the object detected by the electromagnetic wave sensor. From that point onwards. Further, the delay in calculation of the fusion position becomes a factor that delays the start of calculation of the future position. For example, when performing control for avoiding a collision with an object with respect to a vehicle according to a future position, it may take a long time to calculate the future position, thereby causing a delay in the execution of the control for avoiding the collision. .
  • An object is to provide an apparatus and a movement detection method.
  • a first position where an object ahead of the vehicle is detected by an electromagnetic wave sensor and a second position of the object detected from a captured image obtained by imaging the front of the vehicle by an image sensor.
  • the fusion position is calculated as the position of the object.
  • a fusion position calculation unit; and a future position calculation unit that calculates a future position of the object based on a plurality of the fusion positions having different time series.
  • the future position calculation unit includes the same object.
  • the future position of the object When calculating the future position of the object based on the fusion position obtained by fusing the first position and the second position, if the acquisition of the first position or the second position is delayed, as many fusions as necessary to calculate the future position are performed. It may take time to set the position.
  • the first position or the second position of the object when it is determined that the object is the same object, if the first position or the second position of the object has been acquired before that, the first position acquired
  • the future position of the object is calculated based on one of the second position and the fusion position.
  • the calculation of the future position of the object is started at the time when the fusion position is set, so the timing for calculating the future position can be advanced.
  • FIG. 1 is a configuration diagram illustrating a vehicle control device
  • FIG. 2 is a diagram for explaining object detection.
  • FIG. 3 is a diagram for explaining the calculation of the future position of the object performed by the ECU.
  • FIG. 4 is a flowchart illustrating a process in which the ECU stores the first position and the second position.
  • FIG. 5 is a flowchart for explaining prediction of the future position of the object using the first position and the second position.
  • FIG. 6 is a flowchart for explaining the integration permission determination in step S26 of FIG.
  • FIG. 7 is a diagram for explaining the object pop-out determination.
  • FIG. 1 is a configuration diagram illustrating a vehicle control device
  • FIG. 2 is a diagram for explaining object detection.
  • FIG. 3 is a diagram for explaining the calculation of the future position of the object performed by the ECU.
  • FIG. 4 is a flowchart illustrating a process in which the ECU stores the first position and the second position.
  • FIG. 5 is a flowchar
  • FIG. 8 is a flowchart for explaining the integration permission determination in step S29 of FIG.
  • FIG. 9 is a diagram for explaining the integration permission determination in step S26 in the second embodiment.
  • FIG. 10 is a flowchart for explaining the integration permission determination in step S26 in the third embodiment.
  • FIG. 11 is a diagram for explaining the integration permission determination in step S26 in the third embodiment.
  • FIG. 12 is a flowchart illustrating the process executed in step S31 in the fourth embodiment.
  • FIG. 13 is a diagram illustrating the reference number of detection points to be changed based on the reliability.
  • a movement detection apparatus is applied as a part of vehicle control apparatus which avoids or reduces the collision with the own vehicle and the object ahead of the own vehicle.
  • parts that are the same or equivalent to each other are denoted by the same reference numerals in the drawings, and the description of the same reference numerals is used.
  • the vehicle control device 100 is mounted on a vehicle and detects the movement of an object located in front of the vehicle. And when there exists a possibility that an object and a vehicle may collide, the avoidance operation
  • the vehicle control device 100 includes various sensors 30, an ECU (Electronic Control Unit) 20 that functions as a movement detection device, and a driving support device 40.
  • ECU Electronic Control Unit
  • the various sensors 30 are connected to the ECU 20 and output detection results for the object to the ECU 20.
  • the various sensors 30 include an electromagnetic wave sensor 31, an image sensor 32 that acquires a captured image, and an illuminance sensor 33 that detects the brightness around the vehicle.
  • the object detected by the electromagnetic wave sensor 31 is described as an electromagnetic wave target, and the object detected by the captured image is It is described as an image target.
  • the electromagnetic wave sensor 31 transmits a directional transmission wave such as a millimeter wave or a radar, and an object position or a relative speed based on the own vehicle by a reflected wave reflected from an electromagnetic wave target according to the transmission wave. Is detected.
  • the first position Pr which is the detection position of the object by the electromagnetic wave sensor 31, is detected as a position on the XY plane where the lateral direction of the vehicle is the X direction and the traveling direction of the vehicle is the Y direction.
  • the first position Pr includes a relative distance r1 from the host vehicle to the object and an azimuth ⁇ r centered on the host vehicle.
  • tip position (position in which the electromagnetic wave sensor 31 was provided) of the own vehicle CS is set as the reference point Po.
  • the image sensor 32 is arranged on the front side of the host vehicle CS, acquires a captured image obtained by capturing the front of the host vehicle, and outputs the captured image to the ECU 20 at a predetermined cycle.
  • the image sensor 32 is configured by arranging image sensors such as a charge coupled device (CCD) in the vertical and horizontal directions according to the number of resolutions.
  • the captured image acquired by the image sensor 32 is formed by pixels corresponding to the resolution of the image sensor 32.
  • the image sensor 32 is described as a monocular camera, but a stereo camera may be used.
  • the illuminance sensor 33 detects the brightness around the host vehicle CS.
  • the illuminance sensor 33 includes a detection unit such as a photodiode that detects brightness, and outputs a signal corresponding to the detection result of the detection unit to the ECU 20.
  • ECU20 is comprised as a known computer provided with CPU, ROM, RAM, etc.
  • the CPU executes a program stored in the ROM, thereby realizing each function for calculating the future position of the object ahead of the host vehicle and determining the possibility of collision with the object based on the future position. To do.
  • the object determination unit 21 determines whether the object is based on the first position where the electromagnetic wave sensor 31 detects an object ahead of the host vehicle and the second position of the object detected from the captured image obtained by imaging the front of the host vehicle using the image sensor 32. It is determined whether or not they are the same object.
  • the object determination unit 21 includes an electromagnetic wave region setting unit 22 that sets an electromagnetic wave search region based on a first position, and an image region setting unit 23 that sets an image search region based on a second position. .
  • the electromagnetic wave search region Rr has a width corresponding to an assumed error that is set in advance based on the characteristics of the electromagnetic wave sensor 31 in each of the distance direction and the azimuth direction with respect to the first position Pr. This is the area that has For example, the electromagnetic wave search region Rr is set as a region that expands by an assumed error in the distance direction and an assumed error in the angle in the azimuth direction with the first position Pr (r1, ⁇ r) as a reference.
  • the image area setting unit 23 detects the second position based on the recognition result of the image target included in the captured image.
  • the image target is recognized from the captured image by matching processing using a dictionary registered in advance.
  • a dictionary is prepared for each type of image target, whereby the type of image target is also specified. Examples of the types of image targets include pedestrians, bicycles, automobiles, guardrails, and the like.
  • the center point is detected as the second position among the pixels of the captured image recognized as the image target.
  • the second position Pi includes a relative distance r2 in the X direction from the own vehicle and an azimuth ⁇ i in the azimuth direction with respect to the own vehicle, and is on the XY plane in the same manner as the first position Pr. It is detected as the position.
  • the image search region Ri is a region having a width corresponding to an assumed error set in advance based on the characteristics of the image sensor 32 in each of the distance direction and the azimuth direction with the second position Pi as a reference.
  • the second position Pi (r2, ⁇ i) is set as a region widened by an estimated error in the distance direction and an estimated error in the azimuth direction angle.
  • the object determination unit 21 determines that the electromagnetic wave target and the image target are the same object on the condition that there is an overlapping area between the electromagnetic wave search area and the image search area.
  • the object determination unit 21 determines that the electromagnetic wave target and the image target are the same object. To do.
  • the fusion position calculation unit 24 calculates the fusion position as the position of the object based on the first position and the second position in the object determined as the same object by the object determination unit 21.
  • the fusion position calculation unit 24 calculates the fusion position by fusing highly accurate information of the first position Pr and the second position Pi in the objects determined to be the same object.
  • the fusion position Pf (r1, ⁇ i) is calculated using the relative distance r1 of the first position Pr (r1, ⁇ r) and the direction ⁇ i of the second position Pi (r2, ⁇ i). ing.
  • the object for which the fusion position is calculated by determining the same object by the object determination unit 21 is referred to as a fusion target.
  • the future position calculation unit 25 calculates the future position of the object determined as the fusion target based on a plurality of fusion positions having different time series. The calculation of the future position by the future position calculation unit 25 will be described with reference to FIG. FIG. 3 shows a change in the relative position of the pedestrian at times t1 to t6 when the pedestrian located in front of the host vehicle moves in the lateral direction with respect to the host vehicle CS. Further, it is assumed that only the second position is detected for the pedestrian from time t1 to t3, and the first position is not detected. Then, it is assumed that the first position and the second position are detected for the pedestrian at time t4, and that the pedestrian is determined as a fusion target after time t4.
  • the future position calculation unit 25 calculates the future position of the object based on a plurality of fusion positions having different time series. Specifically, the future position calculation unit 25 calculates a movement locus of the object based on a predetermined number of fusion positions, and calculates the future position of the object by extending the movement locus toward the own vehicle side. .
  • FIG. 3A illustrates the calculation of the movement trajectory based on the three fusion positions calculated at times t4 to t6. Further, the future position Fp is calculated by extending the calculated movement locus toward the host vehicle.
  • the collision determination unit 26 determines whether or not the object collides with the host vehicle based on the future position calculated by the future position calculation unit 25.
  • the collision determination unit 26 calculates a collision allowance time TTC (Time to Collision) between the object and the own vehicle so that the object becomes the own vehicle. Whether or not to collide with.
  • the collision lateral position CSP is a range extending in the lateral direction (X direction) from the center of the host vehicle at the front portion of the host vehicle.
  • the collision allowance time TTC is an evaluation value indicating how many seconds later the object collides with the object when traveling at the vehicle speed as it is. The smaller the TTC, the higher the risk of collision and the larger the TTC. The lower the risk of collision.
  • the collision allowance time TTC can be calculated by a method such as dividing the distance in the traveling direction between the object and the host vehicle by the relative speed of the object with respect to the host vehicle. The relative speed is acquired by the electromagnetic wave sensor 31.
  • the driving support device 40 is an alarm device that emits an alarm sound to the driver, or a brake device that decelerates the vehicle speed of the host vehicle, and performs a collision avoiding operation or a collision reducing operation with an object based on the collision allowance time TTC. . If the driving support device 40 is a brake device, automatic braking is performed according to the collision allowance time TTC. If the driving support device 40 is an alarm device, an alarm sound is emitted according to the collision allowance time TTC.
  • the future position accuracy can be increased by calculating the future position of the object using the fusion position.
  • the condition for detecting the position of the object from the captured image is different from the condition for detecting the position of the object by the electromagnetic wave sensor 31, even if the object can be detected from the captured image for the same object, the electromagnetic wave sensor 31 is detected. In some cases, the electromagnetic wave sensor 31 cannot detect the object until the condition for detecting the object is satisfied.
  • the second position is detected at time t1, but the first position is detected at time t4 after time t1, and calculation of the fusion position starts at time t4.
  • calculation of the future position requires a plurality of fusion positions
  • calculation of the first future position is started at time t6 after calculation of the fusion position at time t4. For this reason, since it takes time to calculate the future position, there is a case where a delay occurs in the execution of the control of the driving assistance device 40 for avoiding the collision with the object determined as the fusion target.
  • the future position calculation unit 25 is acquired when one of the first position and the second position of the object is acquired before the object is determined as the fusion target.
  • the future position of the object is calculated based on either the first position or the second position and the fusion position.
  • the movement locus of the object is determined by the second position obtained at time t2 and t3 obtained at the time of calculation of the fusion position. Start the calculation. Therefore, the prediction of the future position is started at the time t4.
  • step S11 it is determined whether or not the first position, which is the detection result of the electromagnetic wave target by the electromagnetic wave sensor 31, has been detected.
  • step S12 a reliability indicating the certainty of the first position is calculated.
  • the ECU 20 calculates the reliability of the first position according to the intensity of the reflected wave reflected from the electromagnetic wave target or the number of times the same electromagnetic wave target is continuously detected. Specifically, the higher the intensity of the reflected wave, the higher the reliability of the first position. In addition, as the number of times the same electromagnetic wave target is continuously detected is increased, the reliability of the first position is set to a higher value.
  • step S13 it is determined whether or not the second position, which is the detection result of the image target from the captured image, has been detected.
  • the second position is detected (step S13: YES)
  • step S14 a reliability indicating the certainty of the second position is calculated.
  • the ECU 20 calculates the reliability according to the pattern matching score used to identify the image target from the captured image. Specifically, the higher the pattern matching score, the higher the reliability of the second position.
  • step S15 the first position and the second position are stored in association with the buffer on the RAM.
  • the ECU 20 also stores the reliability calculated in steps S12 and S14 in association with each position.
  • an area where the first position is stored on the RAM is referred to as a first storage area
  • an area where the second position is stored on the RAM is referred to as a second storage area.
  • step S13 NO
  • step S16 only the first position is recorded in the buffer on the RAM in step S16. Therefore, the first position is stored in the first storage area on the RAM.
  • step S11 when the first position is not detected (step S11: NO), in step S17, it is determined whether or not the second position is detected.
  • step S17 When the second position is detected (step S17: YES), the reliability of the second position is calculated in step S18.
  • step S14 the reliability calculated in step S18 is calculated according to, for example, the pattern matching score. Therefore, steps S12, S14, and S18 function as a reliability calculation unit.
  • step S19 only the second position is recorded in the buffer on the RAM. Therefore, the second position is stored in the second storage area on the RAM.
  • step S17: NO the process shown in FIG. 4 is terminated. In this case, the position of the object (first position, second position) is not detected in front of the vehicle.
  • the process shown in FIG. 5 is a process performed by the ECU 20 at a predetermined cycle. Further, the calculation of the future position shown in FIG. 5 illustrates the case of calculating the future position of the pedestrian.
  • step S21 it is determined whether or not the electromagnetic wave target that has detected the first position and the image target that has detected the second position are the same object.
  • the ECU 20 sets the image target and the electromagnetic wave target on the condition that there is an overlapping area between the electromagnetic wave search area set based on the first position and the image search area set based on the second position. Are the same object.
  • step S21: NO the same object is not determined.
  • step S21 NO.
  • finishes the process shown in FIG. Step S21 functions as an object determination step.
  • step S22 when it is determined that the electromagnetic wave target and the image target are the same object (step S21: YES), in step S22, the fusion is performed based on the first position and the second position stored in the RAM buffer. Calculate the position. Step S22 functions as a fusion position calculation step.
  • step S23 the position indicated by the fusion position calculated in step S22 is stored in a buffer on the RAM.
  • the buffer stored in step S22 is an area different from the first storage area in which the first position is stored and the second storage area in which the second position is stored on the RAM. It is described as an area.
  • step S24 it is determined whether or not the number of fusion positions calculated for the same object is equal to or less than a threshold value Th1.
  • the threshold value Th1 is determined based on, for example, the reference number of fusion positions that the ECU 20 needs to calculate the future position, and is an integer of 2 or more.
  • step S24 When the calculation number of the fusion position is equal to or less than the threshold value Th1 (step S24: YES), it is determined whether the first position or the second position of the object has been acquired before it is determined that they are the same object. judge. First, in step S25, if a predetermined number of second positions of objects determined as fusion targets are stored in the second storage area on the RAM (step S25: YES), in step S26, the fusion target and It is determined whether or not the integration of the fusion position in the determined object and the plurality of second positions is permitted.
  • the integration means that each position is stored in a predetermined area on the buffer in order to use either the first position or the second position and the fusion position as a detection point for calculating the future position of the object. is doing.
  • step S26 The integration permission determination in step S26 will be described with reference to FIG.
  • steps S41 to S43 function as a pop-up determination unit.
  • step S41 it is determined whether or not there is an obstacle in the captured image that can be an obstacle to the detection when the electromagnetic wave sensor 31 detects a pedestrian. For example, when the ECU 20 recognizes an obstruction that becomes a blind spot when detecting a pedestrian from the host vehicle in the captured image, the ECU 20 determines the obstruction as an obstruction that can be an obstacle to detection of the pedestrian. Hereinafter, a description will be given of a parked vehicle located on a road as an example of an obstacle. If the presence of an obstacle is not determined (step S41: NO), the process proceeds to step S47.
  • step S42 the pedestrian determined as the fusion target walks out of the parked vehicle determined in step S41 in the lateral direction. It is determined whether it is a person. For example, the ECU 20 first determines whether or not a pedestrian whose second position is detected is located around the parked vehicle. Then, when a pedestrian is located around the parked vehicle, a known optical flow is calculated based on a time-series change of feature points corresponding to the pedestrian. Then, based on the calculated optical flow, when the pedestrian moves in the lateral direction from the parked vehicle in front of the own vehicle, it is determined that the pedestrian moves in the direction of jumping out on the own lane.
  • the feature point is a pixel used for recognizing a pedestrian in a captured image, and for example, a pedestrian edge point is used.
  • step S43 the detection point of the electromagnetic wave sensor 31 is used to determine in step S41. It is determined whether or not the parked vehicle is appropriate. Specifically, since the parked vehicle is a three-dimensional object, the ECU 20 should be able to detect the length of the parked vehicle along the traveling direction of the vehicle by detecting the parked vehicle with the electromagnetic wave sensor 31. Therefore, as shown in FIG. 7A, the ECU 20 acquires a detection point DP obtained by detecting the parked vehicle ahead of the host vehicle by the electromagnetic wave sensor 31, and uses the detected point DP in the traveling direction of the parked vehicle.
  • step S44 the process proceeds to step S47.
  • the threshold Th2 is a value set based on the length of the vehicle, for example, a value of 3 meters or more and 6 meters or less.
  • step S44 the reliability of the second position used for calculating the future position is determined.
  • the ECU 20 determines the reliability of the second position by comparing the reliability acquired in step S14 or S18 of FIG. 4 with the threshold Th3. If the reliability is less than the threshold Th3 (step S44: NO), the process proceeds to step S47.
  • the threshold value Th3 is a value that is experimentally determined based on the imaging accuracy of the image sensor 32, the detection accuracy of the object detection algorithm of the ECU 20, and the like.
  • step S45 it is determined whether or not the pedestrian and the parked vehicle are close to each other. Since the future position of the object calculated using the fusion position and the second position is slightly lower than the future position of the object calculated using only the fusion position, it is desirable to use the position in a limited manner.
  • FIG. 7A when the parked vehicle and the pedestrian are close to each other, their positions overlap in the lateral direction, and it is difficult to detect the first position by the electromagnetic wave sensor 31. There is a high possibility that the first position has not been detected in the past from the time when the fusion target is determined. Therefore, the ECU 20 sets one of the integration permission conditions that the pedestrian and the parked vehicle are close to each other.
  • the ECU 20 includes a line segment connecting the host vehicle CS and the pedestrian Gb1
  • An angle ⁇ d formed by a line segment connecting the host vehicle CS and the parked vehicle Gb2 is calculated, and the distance in the lateral direction between the pedestrian Gb1 and the parked vehicle Gb2 is determined based on the angle ⁇ d.
  • an edge point indicating an end portion far from the host vehicle CS in the traveling direction of the host vehicle is acquired, and the reference point Po and the edge point are acquired.
  • the threshold value Th4 is a value set based on the distance by which the pedestrian and the parked vehicle can be distinguished by the electromagnetic wave sensor 31.
  • Step S45 functions as a proximity determination unit. For example, a value of 0 degree or more and 20 degrees or less can be used as the threshold Th4.
  • step S46 When the pedestrian and the parked vehicle are close to each other (step S45: YES), in step S46, a permission flag for permitting the integration of the fusion position and the second position is turned on and the integration is permitted. On the other hand, when the pedestrian and the parked vehicle are not in the vicinity (step S45: NO), in step S47, the permission flag that permits the integration of the fusion position and the second position is turned off, and the integration is not permitted.
  • step S26 if the integration is not permitted (step S26: NO), the processing shown in FIG. 5 is temporarily terminated.
  • step S27 the fusion position in the same object and the plurality of second positions are integrated as reference points for calculating the future position of the fusion target.
  • the ECU 20 integrates the third storage area in which the fusion position calculated at the present time is stored and the second storage area in which the second position is stored on the RAM, and displays the movement locus. A new area in which each position for calculation is stored is set.
  • step S28 it is determined whether or not the predetermined number or more of the first positions are stored in the buffer. .
  • step S29 it is determined whether or not the integration of the fusion position in the same object and the plurality of first positions is permitted.
  • FIG. 8 is a flowchart for explaining the integration permission determination in step S29.
  • the detected brightness around the vehicle detected by the illuminance sensor 33 belongs to a brightness range that is predetermined as the brightness with which the image target can be detected from the captured image. It is determined whether or not.
  • the brightness range includes a threshold value Th11 determined according to a lower limit value of brightness at which an image target can be detected from the captured image, and an upper limit value of brightness at which the image target can be detected from the captured image. It is a range between the threshold value Th12 determined accordingly.
  • step S51 if the detected brightness indicating the brightness is equal to or less than the threshold Th11, the surroundings of the vehicle are dark, and the process proceeds to step S53. Even when the detected lightness exceeds the threshold Th11 (step S51: NO), if the detected lightness is equal to or greater than the threshold Th12 (step S52: YES), the surroundings of the vehicle is too bright, and the process proceeds to step S53. If the detected brightness is less than the threshold Th12 (step S52: NO), the integration of the first position and the fusion position is not permitted in step S56.
  • step S53 it is determined whether or not the first position is within the detection range of the electromagnetic wave sensor 31. This is because when the first position is out of the detection range of the electromagnetic wave sensor 31, there is a high possibility that noise or the like is erroneously detected as an electromagnetic wave target. Therefore, if the first position is within the detection range (step S53: YES), the process proceeds to step S54. On the other hand, if the first position is outside the detection range (step S53: NO), the process proceeds to step S56, and the integration is not permitted.
  • step S54 the reliability of the first position used for calculating the fusion position is determined.
  • the ECU 20 compares the reliability acquired in step S12 of FIG. 4 with a threshold value Th13. If the reliability is greater than or equal to the threshold Th13, the reliability of the electromagnetic wave target is high and the process proceeds to step S55. On the other hand, if the reliability is less than the threshold Th13, it is determined that the reliability of the electromagnetic wave target is low, and the process proceeds to step S56.
  • the threshold value Th13 is a value experimentally determined based on the detection accuracy of the object by the electromagnetic wave sensor 31. When the reliability is calculated based on the reflection intensity, the lower limit value is stronger than the reflection intensity at which the electromagnetic sensor 31 can detect the first position of the object.
  • step S55 the integration of the first position and the fusion position is permitted.
  • step S56 the integration of the first position and the fusion position is not permitted.
  • step S30 the future position of the fusion target is calculated from the fusion position and the plurality of first positions. Integrate as a reference point for Specifically, the ECU 20 integrates, on the RAM, the third storage area in which the fusion position calculated at the present time is stored and the first storage area in which the first position is stored. Set the integrated area. If the integration is not permitted (step S29: NO), the process shown in FIG.
  • step S31 the future position of the fusion target is calculated based on each position integrated in step S27 or step S30. For example, when permitting the integration of the second position and the fusion position, the ECU 20 calculates the movement trajectory of the pedestrian using the fusion position and the second position acquired in the past from the fusion position. The future position of the pedestrian is calculated by extending this movement locus toward the host vehicle. Moreover, when permitting the integration of the first position and the fusion position, the ECU 20 calculates the movement trajectory of the pedestrian using the fusion position and the first position acquired in the past from the fusion position. The future position of the pedestrian is calculated by extending this movement locus toward the host vehicle. Therefore, step S31 functions as a future position calculation process.
  • step S24 when the number of calculation of the fusion position is equal to or less than the threshold Th1, in step S32, an object movement prediction using the fusion position is performed.
  • the movement trajectory of the fusion target is calculated only from the fusion position.
  • the ECU 20 calculates a pedestrian's movement trajectory using time-series fusion positions, and calculates the pedestrian's future position by extending the movement trajectory toward the host vehicle.
  • the ECU 20 has already acquired either the first position or the second position of the object at the time when the object is determined as the fusion target.
  • the future position of the object is calculated based on either the acquired first position or second position and the fusion position.
  • the calculation of the future position of the object is started at the time when the fusion position is set, so the timing for calculating the future position can be advanced. .
  • the ECU 20 calculates the future position of the object on the condition that the object is determined to be a pedestrian who has a high possibility of jumping out on the own lane in front of the own vehicle. In this case, the start timing of prediction of the future position of a pedestrian who is likely to collide with the host vehicle can be advanced, and the safety of the host vehicle can be improved.
  • the future position of the object using the fusion position and the second position is slightly lower in accuracy than the case of calculating the future position of the object using only the fusion position, it is desirable that the scene to be applied is limited.
  • the ECU 20 calculates the future position of the object based on the already acquired second position and the fusion position on the condition that the pedestrian and the stationary object on the road are close to each other. did.
  • the future position of the object is unnecessarily calculated using the second position and the fusion position by determining a situation in which there is a high possibility that the first position has not been detected in the past from the determination of the fusion target. Can be prevented.
  • the ECU 20 calculates the future position of the object based on the already acquired first position and the fusion position on the condition that the brightness around the own vehicle does not belong to the predetermined range. did. In this case, it is possible to prevent the future position from being unnecessarily calculated using the first position and the fusion position by determining a situation where the second position is not likely to be detected.
  • the ECU 20 determines whether or not the reliability of the first position or the second position is equal to or higher than a predetermined value, and on the condition that the detection accuracy is equal to or higher than the predetermined value, Based on the second position, the future position of the fusion target is calculated. In this case, when the reliability is low, the future position of the object using the first position or the second position and the fusion position is not predicted. Therefore, the prediction accuracy is given priority to the advance timing of the prediction start of the future position. Can be prevented from greatly decreasing.
  • the second position In the second embodiment, in the determination of the integration permission in step S26 of FIG. 5, when the pedestrian as the image target is an object that jumps out from the guard rail extending along the own lane onto the own lane, the second position And allow integration with the fusion location.
  • the guardrail is an example of an obstacle that can be an obstacle to the detection of the pedestrian by the electromagnetic wave sensor 31, and the reflection intensity of the reflected wave received by the electromagnetic wave sensor 31 is stronger than that of the pedestrian. Therefore, when the pedestrian is positioned in the vicinity of the guardrail, the intensity of the reflected wave from the guardrail exceeds the intensity of the reflected wave from the pedestrian, and the electromagnetic wave sensor 31 may detect the first position of the pedestrian. It becomes difficult. Therefore, in the second embodiment, the future position of the object is calculated based on the second position and the fusion position on the condition that a stationary object such as a guardrail exists in the vicinity of the pedestrian.
  • step S41 of FIG. 6 it is determined whether or not a guardrail is present in the captured image.
  • step S43 the length of the guard rail in the vehicle traveling direction (Y direction) is calculated using the detection point of the electromagnetic wave sensor 31.
  • step S45 it is determined whether or not the pedestrian Gb11 and the guardrail Gb12 in the captured image are close to each other. Based on the captured image, the ECU 20 calculates an angle ⁇ d that indicates the distance between the pedestrian Gb11 and the guard rail Gb12 in the vehicle lateral direction.
  • the point Pa where the line segment extending in the lateral direction (X direction) from the second position where the pedestrian Gb11 is detected and the guard rail Gb12 intersect is calculated.
  • an angle ⁇ d between the line segment connecting the intersection Pa from the reference point Po and the line segment connecting the host vehicle CS and the pedestrian Gb11 is calculated. And when this angle (theta) is below threshold value Th4, it determines with the pedestrian and the guardrail adjoining.
  • step S46 When it is determined that the pedestrian is close to the guardrail (step S45: YES), in step S46, a permission flag for permitting the integration of the fusion position and the second position is turned on. On the other hand, when it is determined that the pedestrian and the guardrail are not close to each other (step S45: NO), in step S47, the permission flag that permits the integration of the fusion position and the second position is turned off.
  • the calculation start timing of the future position of the pedestrian can be advanced. As a result, the host vehicle can travel safely.
  • the ECU 20 calculates the future position of a preceding vehicle traveling in front of the own lane as the future position of the object. Then, when the ECU 20 determines the preceding vehicle as a fusion target, the ECU 20 calculates the future position of the object based on either the first position or the second position of the preceding vehicle and the fusion position.
  • FIG. 10 is a flowchart for explaining the integration permission determination in step S26 of FIG. 5 in the third embodiment.
  • steps S61 to S63 it is determined whether or not there is a parallel running vehicle that runs parallel to the preceding vehicle.
  • the parallel running vehicle is a vehicle traveling in an adjacent lane adjacent to the own lane. Therefore, steps S61 to S63 function as a parallel running determination unit.
  • step S61 based on the captured image, it is detected whether a preceding vehicle and a vehicle other than the preceding vehicle are traveling ahead of the host vehicle.
  • the ECU 20 detects another vehicle Gb32 around the preceding vehicle Gb31 determined as the fusion target in the captured image. If no other vehicle can be detected around the preceding vehicle (step S61: NO), the process proceeds to step S66, and the integration of the fusion position and the second position is not permitted.
  • step S62 an inter-vehicle distance difference between the preceding vehicle and the other vehicle in the own vehicle traveling direction is calculated.
  • the ECU 20 calculates a difference D2 between the inter-vehicle distance D1 from the own vehicle to the preceding vehicle and the inter-vehicle distance from the own vehicle to the other vehicle based on the captured image.
  • step S62: NO the difference in the inter-vehicle distance exceeds the threshold Th21 (step S62: NO)
  • step S63 the distance in the lateral direction between the preceding vehicle and the other vehicle is determined.
  • the ECU 20 calculates an angle ⁇ d formed by a line segment connecting the host vehicle and the preceding vehicle and a line segment connecting the host vehicle and the preceding vehicle, and determines the distance in the lateral direction based on the angle ⁇ d.
  • the angle ⁇ d exceeds the threshold Th22 (step S63: NO)
  • the ECU 20 Determines that the other vehicle is running in parallel with the preceding vehicle, and proceeds to step S64.
  • the threshold values Th21 and Th22 are values calculated based on the distance in the traveling direction of the host vehicle and the distance in the lateral direction, for example, so that the electromagnetic wave sensor 31 can recognize two vehicles.
  • step S64 the reliability of the second position used for calculating the future position is determined.
  • the ECU 20 determines the reliability of the second position by comparing the reliability of the preceding vehicle acquired in step S14 or S18 of FIG. 4 with the threshold Th23.
  • step S65 If the reliability of the second position is greater than or equal to the threshold Th23 (step S64: YES), in step S65, integration of the second position and the fusion position is permitted. If the reliability of the second position is less than the threshold Th23 (step S64: NO), in step S66, the integration of the second position and the fusion position is not permitted.
  • the third embodiment described above has the following effects.
  • the future position of the object using the fusion position and the second position is slightly lower in accuracy than the case of calculating the future position of the object using only the fusion position, it is desirable that the scene to be applied is limited.
  • the electromagnetic wave sensor 31 when calculating the future position of the preceding vehicle, it is difficult for the electromagnetic wave sensor 31 to detect the first position of the preceding vehicle due to the presence of the parallel running vehicle that runs parallel to the preceding vehicle.
  • the ECU 20 calculates the future position of the fusion target based on the acquired second position and the fusion position on the condition that there is a parallel running vehicle that runs parallel to the preceding vehicle. .
  • the future position of the object is unnecessarily calculated using the second position and the fusion position by determining a situation in which there is a high possibility that the first position has not been detected in the past from the determination of the fusion target. Can be prevented.
  • the ECU 20 when calculating the future position of the fusion target based on either the first position or the second position and the fusion position, uses the first position or the first position used to calculate the future position. As the reliability of the second position is lower, the number of first positions or second positions used to calculate the future position of the object is increased.
  • FIG. 12 is a flowchart illustrating the process executed in step S31 in the fourth embodiment.
  • the case where the second position and the fusion position are integrated in step S30 will be described as an example.
  • step S71 the reliability of the second position used for calculating the future position is determined.
  • the ECU 20 calculates the sum of the reliability of the second position stored in the second storage area on the RAM. For example, when the future position is calculated from the two second positions and the one merged position, the reliability of the two second positions is summed.
  • step S72 the number of second positions used for calculating the future position is changed according to the sum of the reliability calculated in step S71.
  • the ECU 20 holds a map that defines the relationship between the sum of reliability and the number N of second positions shown in FIG. 13A, and calculates the future position based on this map.
  • the number of the second positions used for is changed to a number N corresponding to the total reliability.
  • Each value is defined in the map such that the lower the total reliability of the second position calculated in step S71, the greater the number N of second positions used for calculating the future position.
  • N0 is an initial value of the second position used for calculating the future position, and in this embodiment is two points.
  • step S73 If the number of second positions corresponding to the total sum of reliability is not stored in the buffer, the process proceeds to step S73 without changing the current number of second positions used for calculating the future position. It may be.
  • step S73 the future position of the fusion target is calculated based on the plurality of second positions and the fusion position.
  • FIG. 13B illustrates the number of second positions that change according to the reliability, taking as an example a case where the initial value of the second position used for calculating the future position is two points.
  • the reliability sum is high, the number of second positions used for calculating the future position is not changed from two points, and the future of the fusion target is based on the two second positions and the fusion position.
  • the position is calculated. Therefore, the fusion position calculated at time t15 and the two second positions acquired at time t13 and t14 are used to calculate the future position.
  • the number of the second positions used for calculating the future position is increased to 3, and the future position of the fusion target is determined based on the three second positions and the fusion position. Calculated. Therefore, the fusion position calculated at time t15 and the three second positions acquired at times t12 to t14 are used to calculate the future position.
  • the fourth embodiment described above has the following effects. -If the reliability of the object which detected the 1st position or the 2nd position is low, we are anxious also about the prediction precision of a future position falling.
  • the ECU 20 calculates the reliability of the first position or the second position used for calculating the future position, and the lower the reliability, the first position or the first position used to calculate the future position of the fusion target.
  • step S24 of FIG. 5 instead of comparing the calculation number of the fusion position with the threshold value, when the fusion target determination on the object is the first time, either the first position or the second position and the fusion position
  • the future position of the object may be calculated based on the above.
  • the type of the object for calculating the future position may be a bicycle instead of a pedestrian.
  • the ECU 20 recognizes the bicycle from the captured image by using a bicycle dictionary instead of the pedestrian dictionary, and detects the second position based on the recognized bicycle.
  • step S42 of FIG. 6 instead of determining whether the pedestrian or the bicycle is moving in the horizontal direction using the captured image, the pedestrian or the bicycle is determined based on the detection result by the electromagnetic wave sensor 31. You may determine whether it is moving to the horizontal direction.
  • the method for determining the integration permission may be changed depending on whether the fusion target is a pedestrian or a preceding vehicle. In this case, when the fusion target is a pedestrian, the integration permission determination shown in the first embodiment is performed, and when the fusion target is a preceding vehicle, the integration permission determination shown in the third embodiment is performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

ＥＣＵ（２０）は、電磁波センサ（３１）により物体を検出した第１位置と、画像センサ（３２）により撮像した撮像画像から検出した物体の第２位置とに基づいて、物体を同一物体と判定する。ＥＣＵ（２０）は、物体が同一物体であると判定した時点で、それ以前に物体の第１位置及び第２位置のいずれかを取得している場合に、すでに取得している第１位置及び第２位置のいずれかと融合位置とに基づいて、物体の将来位置を算出する。

Description

移動検出装置、移動検出方法 関連出願の相互参照
　本出願は、２０１６年１０月１３日に出願された日本出願番号２０１６－２０２０８０号に基づくもので、ここにその記載内容を援用する。
　本開示は、物体の移動を検出する移動検出装置、及び移動検出方法に関する。
　従来、画像センサで取得した撮像画像や電磁波センサにより自車前方の物体の位置を検出し、この検出位置の時系列での変化により物体の将来位置を算出する移動検出装置が知られている。ここで、将来位置は物体が所定期間後に到達すると予測される位置である。例えば、移動検出装置は、時系列の異なる複数の検出位置から、物体の移動方向を予測し、予測した移動方向により、物体の将来位置を算出している。
　また、撮像画像による検出位置は、電磁波センサによる検出位置と比べて車両から物体までの相対距離の精度が低く、また、電磁波センサによる検出位置は撮像画像による検出位置と比べて車両を基準とする方位の検出精度が低いという特性がある。特許文献１には、このような検出精度の特性を考慮した技術が開示されている。具体的には、電磁波センサにより検出された物体と撮像画像により検出された物体とが同一物体である場合に、撮像画像により検出された物体の方位と電磁波センサにより検出された物体の相対距離とを組み合わせた新たな融合位置を算出する。そして、新たに算出した融合位置を物体の検出位置として用いる。融合位置は、撮像画像及び電磁波センサのそれぞれの検出結果と比べて物体の検出精度が高くなる。そのため、移動検出装置が、この融合位置を用いて物体の将来位置を算出することで、将来位置の精度を高めることができる。
特開２０１６－６６１８０号公報
　撮像画像により物体の位置を検出できる条件と、電磁波センサにより物体の位置を検出できる条件とは異なるため、電磁波センサにより物体が検出されるタイミングと撮像画像により物体が検出されるタイミングとに時間差が生じる場合がある。例えば、撮像画像により物体の位置が検出されてから遅れて、電磁波センサにより物体の位置が検出される場合、移動検出装置が融合位置を算出できるタイミングは、電磁波センサにより物体の位置が検出された時点から以後となる。また、融合位置の算出の遅れは、将来位置の算出開始を遅くする要因となる。例えば、将来位置により車両に対して物体との衝突を回避する制御を実施する場合、将来位置の算出に時間を要することで、衝突を回避するための制御の実施に遅延を生じさせる場合がある。
　本開示は上記課題に鑑みたものであり、撮像画像及び電磁波センサによる物体の検出結果を併用して物体の将来位置を算出する場合に、将来位置の算出開始のタイミングを早めることができる移動検出装置、および移動検出方法を提供することを目的とする。
　上記課題を解決するために本開示では、電磁波センサにより自車前方の物体を検出した第１位置と、画像センサにより前記自車前方を撮像した撮像画像から検出した前記物体の第２位置とに基づいて、前記物体を同一物体と判定する物体判定部と、前記同一物体として判定された物体における、前記第１位置と前記第２位置とに基づいて、前記物体の位置として融合位置を算出する融合位置算出部と、時系列の異なる複数の前記融合位置に基づいて、前記物体の将来位置を算出する将来位置算出部と、を備え、前記将来位置算出部は、前記物体が同一物体であると判定された時点で、それ以前に前記物体の前記第１位置及び前記第２位置のいずれかが取得されている場合に、取得されている前記第１位置及び前記第２位置のいずれかと前記融合位置とに基づいて、前記物体の将来位置を算出する。
　第１位置と第２位置とを融合した融合位置に基づいて物体の将来位置を算出する場合、第１位置又は第２位置の取得が遅れると、将来位置を算出するのに必要な数だけ融合位置を設定するに時間を要する場合がある。この点、上記構成では、物体が同一物体であると判定された時点で、それ以前に物体の第１位置又は第２位置のいずれかが取得されている場合に、取得されている第１位置及び第２位置のいずれかと融合位置とに基づいて、物体の将来位置を算出することとした。この場合、融合位置のみで物体の将来位置を算出する場合と異なり、融合位置が設定された時点において物体の将来位置の算出が開始されるため、将来位置を算出するタイミングを早めることができる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、車両制御装置を示す構成図であり、 図２は、物体の検出を説明する図であり、 図３は、ＥＣＵにより実施される物体の将来位置の算出を説明する図であり、 図４は、ＥＣＵが第１位置と第２位置とを格納する処理を説明するフローチャートであり、 図５は、第１位置と第２位置とを用いた物体の将来位置の予測を説明するフローチャートであり、 図６は、図５のステップＳ２６による統合許可判定を説明するフローチャートであり、 図７は、物体の飛び出し判定を説明する図であり、 図８は、図５のステップＳ２９での統合許可判定を説明するフローチャートであり、 図９は、第２実施形態において、ステップＳ２６での統合許可判定を説明する図であり、 図１０は、第３実施形態において、ステップＳ２６での統合許可判定を説明するフローチャートであり、 図１１は、第３実施形態において、ステップS２６での統合許可判定を説明する図であり、 図１２は、第４実施形態において、ステップＳ３１において実行される処理を説明するフローチャートであり、 図１３は、信頼度に基づいて、変更される検出点の参照数を説明する図である。
　以下、移動検出装置及び移動検出方法の実施の形態を、図面を使用して説明する。以下では、移動検出装置は、自車両と自車前方の物体との衝突の回避又は軽減を行う車両制御装置の一部として適用される。なお、以下の実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。
　（第１実施形態）
　図１に示すように、車両制御装置１００は、車両に搭載されており、車両前方に位置する物体の移動を検出する。そして、物体と車両とが衝突するおそれがある場合、自車両と物体との衝突の回避動作、又は衝突の緩和動作を実施する。図１に示すように、車両制御装置１００は、各種センサ３０と、移動検出装置として機能するＥＣＵ（Electronic Control Unit）２０と、運転支援装置４０と、を備えている。
　各種センサ３０は、ＥＣＵ２０に接続されており、物体に対する検出結果をこのＥＣＵ２０に出力する。図１では、各種センサ３０は、電磁波センサ３１と、撮像画像を取得する画像センサ３２と、自車周囲の明るさを検出する照度センサ３３と、を備えている。物体の内、電磁波センサ３１により検出されるものと撮像画像により検出されるものとを区別する場合、電磁波センサ３１により検出される物体を電磁波物標と記載し、撮像画像により検出される物体を画像物標と記載する。
　電磁波センサ３１は、ミリ波やレーダ等の指向性のある送信波を送信し、この送信波に応じて電磁波物標から反射される反射波により物体の位置や、自車両を基準とする相対速度を検出する。図２（ａ）に示すように、電磁波センサ３１による物体の検出位置である第１位置Ｐｒは、車両横方向をＸ方向、車両の進行方向をＹ方向とするＸＹ平面上の位置として検出される。この第１位置Ｐｒは、自車両から物体までの相対距離ｒ１と、自車両を中心とする方位θｒとを含んでいる。なお、図２（ａ）のＸＹ平面では、自車両ＣＳの先端位置（電磁波センサ３１が設けられた位置）が基準点Ｐｏとして設定されている。
　画像センサ３２は、自車両ＣＳの前側に配置されており、自車前方を撮像した撮像画像を取得し、この撮像画像を所定周期でＥＣＵ２０に出力する。画像センサ３２は、ＣＣＤ（Charge coupled device）等の撮像素子を解像度に応じた数だけ縦横に配置することで構成されている。この画像センサ３２により取得される撮像画像は、画像センサ３２の解像度に応じた画素により形成されている。この実施形態では、画像センサ３２は、単眼カメラとして説明を行うが、ステレオカメラを用いるものであってもよい。
　照度センサ３３は、自車両ＣＳの周囲の明るさを検知する。照度センサ３３は、明るさを検知するフォトダイオード等の検知部を備えており、この検知部の検知結果に応じた信号をＥＣＵ２０に出力する。
　ＥＣＵ２０は、ＣＰＵ，ＲＯＭ，ＲＡＭ等を備えた周知のコンピュータとして構成されている。そして、ＣＰＵが、ＲＯＭに格納されたプログラムを実行することで、自車前方の物体の将来位置の算出や、この将来位置に基づく物体との衝突可能性の判定を行うための各機能を実現する。
　物体判定部２１は、電磁波センサ３１により自車前方の物体を検出した第１位置と、画像センサ３２により自車前方を撮像した撮像画像から検出した物体の第２位置とに基づいて、物体が同一物体であるか否かを判定する。図１では、物体判定部２１は、第１位置に基づく電磁波探索領域を設定する電磁波領域設定部２２と、第２位置に基づく画像探索領域を設定する画像領域設定部２３と、を備えている。
　図２（ａ）に示すように、電磁波探索領域Ｒｒは、第１位置Ｐｒを基準として、距離方向及び方位方向のそれぞれについて、電磁波センサ３１の特性に基づき予め設定されている想定誤差分の幅を持たせた領域である。例えば、電磁波探索領域Ｒｒは、第１位置Ｐｒ（ｒ１，θｒ）を基準として、距離方向の想定誤差、及び方位方向の角度の想定誤差分だけ広がる領域として設定される。
　画像領域設定部２３は、撮像画像に含まれる画像物標の認識結果に基づいて、第２位置を検出する。例えば、予め登録されている辞書を用いたマッチング処理により撮像画像から画像物標を認識する。辞書は、画像物標の種類ごとに用意されており、これにより画像物標の種別も特定される。画像物標の種別としては、歩行者、自転車、自動車、ガードレール等が挙げられる。例えば、画像物標として認識された撮像画像の画素の内、中心点が第２位置として検出される。図２（ａ）では、第２位置Ｐｉは、自車両からＸ方向での相対距離ｒ２と、自車両を基準とする方位方向の方位θｉとを含み、第１位置Ｐｒと同様にＸＹ平面上の位置として検出される。
　画像探索領域Ｒｉは、第２位置Ｐｉを基準として、距離方向及び方位方向のそれぞれについて、画像センサ３２の特性に基づき予め設定されている想定誤差分の幅を持たせた領域である。例えば、図２（ａ）では、第２位置Ｐｉ（ｒ２，θｉ）を基準として、距離方向の想定誤差、及び方位方向の角度の想定誤差分だけ広げた領域として設定される。
　本実施形態では、物体判定部２１は、電磁波探索領域と画像探索領域とで重なる領域が存在することを条件に、電磁波物標と画像物標とが同一物体であるとの判定を行う。図２（ａ）では、電磁波探索領域Ｒｒと画像探索領域Ｒｉとの間に重なる領域ＯＬが存在しているため、物体判定部２１は、電磁波物標と画像物標とを同一の物体として判定する。
　融合位置算出部２４は、物体判定部２１により同一物体として判定された物体における、第１位置と第２位置とに基づいて、この物体の位置として融合位置を算出する。融合位置算出部２４は、同一物体と判定された物体における、第１位置Ｐｒと第２位置Ｐｉとのそれぞれの精度の高い情報を融合させることで融合位置を算出する。図２（ｂ）では、第１位置Ｐｒ（ｒ１，θｒ）の相対距離ｒ１と、第２位置Ｐｉ（ｒ２，θｉ）の方位θｉとを用いて、融合位置Ｐｆ（ｒ１，θｉ）を算出している。以下では、物体判定部２１により同一物体と判定されることで、融合位置が算出された物体をフュージョン物標と記載する。
　将来位置算出部２５は、時系列の異なる複数の融合位置に基づいて、フュージョン物標と判定された物体の将来位置を算出する。将来位置算出部２５による将来位置の算出を、図３を用いて説明する。図３では、自車前方に位置する歩行者が自車両ＣＳに対して横方向に移動する場合の、歩行者の時刻ｔ１～ｔ６における自車両を基準とした相対位置の変化を示している。また、時刻ｔ１～ｔ３では、歩行者に対して第２位置のみが検出され、第１位置が検出されていないものとする。そして、時刻ｔ４の時点で歩行者に対して第１位置及び第２位置が検出され、時刻ｔ４以後は、歩行者がフュージョン物標として判定されているものとする。
　将来位置算出部２５は、時系列の異なる複数の融合位置に基づいて、物体の将来位置を算出する。具体的には、将来位置算出部２５は、所定数の融合位置に基づいて、物体の移動軌跡を算出し、この移動軌跡を自車両側に向けて延長することで物体の将来位置を算出する。図３（ａ）は、時刻ｔ４～ｔ６で算出された３つの融合位置による移動軌跡の算出を例示している。また、算出された移動軌跡を自車両に向けて延長することで将来位置Ｆｐを算出している。
　衝突判定部２６は、将来位置算出部２５により算出された将来位置に基づいて、物体が自車両と衝突するか否かを判定する。衝突判定部２６は、将来位置が自車両に設定された衝突横位置ＣＳＰ内である場合、この物体と自車両との衝突余裕時間ＴＴＣ（Time to Collision）を算出することで、物体が自車両と衝突するか否かを判定する。衝突横位置ＣＳＰは、自車両の前部において自車中心から横方向（Ｘ方向）に延びた範囲である。また、衝突余裕時間ＴＴＣは、このままの自車速度で走行した場合に、何秒後に物体に衝突するかを示す評価値であり、ＴＴＣが小さいほど、衝突の危険性は高くなり、ＴＴＣが大きいほど衝突の危険性は低くなる。衝突余裕時間ＴＴＣは、物体と自車両との進行方向の距離を、自車両を基準とする物体の相対速度で除算する等の方法で算出できる。なお、相対速度は、電磁波センサ３１により取得される。
　運転支援装置４０は、ドライバに対して警報音を発する警報装置や、自車両の車速を減速させるブレーキ装置であり、衝突余裕時間ＴＴＣに基づいて、物体との衝突回避動作や衝突軽減動作を行う。運転支援装置４０がブレーキ装置であれば、衝突余裕時間ＴＴＣに応じて自動ブレーキを実施する。運転支援装置４０が警報装置であれば、衝突余裕時間ＴＴＣに応じて警報音を発する。
　上述したＥＣＵ２０による衝突判定において、融合位置を用いて物体の将来位置を算出することで、将来位置の精度を高めることができる。しかし、撮像画像により物体の位置を検出できる条件と、電磁波センサ３１により物体の位置を検出できる条件とは異なるため、同一の物体に対して、撮像画像により物体を検出できても、電磁波センサ３１により物体を検出できる条件となるまで、電磁波センサ３１により物体を検出できない場合がある。
　図３（ａ）の例では、第２位置は時刻ｔ１において検出されているが、第１位置は時刻ｔ１より後の時刻ｔ４において検出されており、時刻ｔ４になって融合位置の算出が開始されている。また、将来位置の算出には複数の融合位置が必要となるため、時刻ｔ４での融合位置の算出後、時刻ｔ６において、最初の将来位の算出が開始されることとなる。そのため、将来位置の算出に時間を要することで、フュージョン物標として判定された物体との衝突を回避するための運転支援装置４０の制御の実施に遅延を生じさせる場合がある。
　そこで、将来位置算出部２５は、物体がフュージョン物標として判定された時点で、それ以前に当該物体の第１位置及び第２位置のいずれかが取得されている場合に、取得されている第１位置及び第２位置のいずれかと融合位置とに基づいて、物体の将来位置を算出することとした。図３（ｂ）の例では、時刻ｔ４で融合位置が算出された時点で、この融合位置の算出時点において取得されている時刻ｔ２，ｔ３で取得された第２位置により、物体の移動軌跡の算出を開始する。そのため、時刻ｔ４の時点において、将来位置の予測を開始している。
　次に、ＥＣＵ２０より実施される物体の将来位置の算出方法を説明する。まずは、図４を用いて、ＥＣＵ２０が第１位置と第２位置とを格納（取得）する処理を説明する。図４に示す処理は、ＥＣＵ２０により所定周期で実施される。
　まず、ステップＳ１１では、電磁波センサ３１による電磁波物標の検出結果である第１位置を検出したか否かを判定する。第１位置を検出した場合（ステップＳ１１：ＹＥＳ）、ステップＳ１２では、第１位置の確からしさを示す信頼度を算出する。例えば、ＥＣＵ２０は、電磁波物標から反射される反射波の強度や、同じ電磁波物標を継続して検出している回数に応じて第１位置の信頼度を算出する。具体的には、反射波の強度が強い程、第１位置の信頼度を高い値とする。また、同じ電磁波物標を継続して検出している回数が多い程、第１位置の信頼度を高い値とする。
　ステップＳ１３では、撮像画像による画像物標の検出結果である第２位置を検出したか否かを判定する。第２位置を検出した場合（ステップＳ１３：ＹＥＳ）、ステップＳ１４では、第２位置の確からしさを示す信頼度を算出する。例えば、ＥＣＵ２０は、撮像画像から画像物標を識別するのに用いたパターンマッチングのスコアに応じて、信頼度を算出する。具体的には、パターンマッチングのスコアが高い程、第２位置の信頼度を高い値とする。
　ステップＳ１５では、第１位置と第２位置とをそれぞれをＲＡＭ上のバッファに関連づけて格納する。このとき、ＥＣＵ２０は、ステップＳ１２,Ｓ１４において算出している信頼度も各位置に関連づけて格納する。以下では、ＲＡＭ上において第１位置が格納される領域を第１格納領域と記載し、ＲＡＭ上において第２位置が格納される領域を第２格納領域と記載する。
　一方、ステップＳ１３において、第２位置を検出していない場合（ステップＳ１３：ＮＯ）、ステップＳ１６では、第１位置のみをＲＡＭ上のバッファに記録する。そのため、第１位置は、ＲＡＭ上の第１格納領域に格納される。
　また、ステップＳ１１において、第１位置を検出していない場合（ステップＳ１１：ＮＯ）、ステップＳ１７では、第２位置を検出しているか否かを判定する。第２位置を検出している場合（ステップＳ１７：ＹＥＳ）、ステップＳ１８では、第２位置の信頼度を算出する。ステップＳ１８で算出される信頼度はステップＳ１４同様、例えば、パターンマッチングのスコアに応じてその値が算出される。そのため、ステップＳ１２，Ｓ１４，Ｓ１８が信頼度算出部として機能する。
　ステップＳ１９では、第２位置のみをＲＡＭ上のバッファに記録する。そのため、第２位置はＲＡＭ上の第２格納領域に格納される。一方、第２位置を検出していない場合（ステップＳ１７：ＮＯ）、図４に示す処理を終了する。この場合、自車前方において物体の位置（第１位置，第２位置）が検出されないこととなる。
　次に、第１位置と第２位置とを用いた物体の将来位置の算出を、図５を用いて説明する。図５に示す処理は、ＥＣＵ２０により所定周期で実施される処理である。また、図５に示す将来位置の算出では、歩行者の将来位置を算出する場合を例示している。
　ステップＳ２１では、第１位置を検出した電磁波物標と第２位置を検出した画像物標とが同一物体であるか否かを判定する。ＥＣＵ２０は、第１位置に基づいて設定された電磁波探索領域と、第２位置に基づいて設定された画像探索領域とに重複する領域が存在することを条件として、画像物標と電磁波物標とが同一物体であると判定する。電磁波探索領域と画像探索領域とに重複する領域を検出しない場合や、第１位置又は第２位置のいずれかを検出していない場合、同一物体の判定を行わない（ステップＳ２１：ＮＯ）。そして、ＥＣＵ２０は、図５に示す処理を、一旦、終了する。ステップＳ２１が物体判定工程として機能する。
　一方、電磁波物標と画像物標とが同一物体であると判定した場合（ステップＳ２１：ＹＥＳ）、ステップＳ２２では、ＲＡＭのバッファに格納している第１位置と第２位置とに基づいて融合位置を算出する。ステップＳ２２が融合位置算出工程として機能する。
　ステップＳ２３では、ステップＳ２２で算出した融合位置により示される位置をＲＡＭ上のバッファに格納する。なお、ステップＳ２２において格納されるバッファは、ＲＡＭ上において第１位置が格納される第１格納領域及び第２位置が格納される第２格納領域とは異なる領域であり、以下では、第３格納領域と記載する。
　ステップＳ２４では、同一物体に対する融合位置の算出回数が閾値Ｔｈ１以下であるか否かを判定する。閾値Ｔｈ１は、例えば、ＥＣＵ２０が将来位置を算出するのに必要とする融合位置の参照数に基づいて定められ、２以上の整数である。
　融合位置の算出回数が閾値Ｔｈ１以下である場合（ステップＳ２４：ＹＥＳ）、同一物体であると判定された時点で、それ以前に物体の第１位置又は第２位置が取得されているか否かを判定する。まず、ステップＳ２５において、ＲＡＭ上の第２格納領域にフュージョン物標として判定された物体の第２位置が所定数だけ格納されていれば（ステップＳ２５：ＹＥＳ）、ステップＳ２６では、フュージョン物標と判定された物体における融合位置と、複数の第２位置との統合を許可するか否かを判定する。ここで、統合とは、第１位置及び第２位置のいずれかと融合位置とを、物体の将来位置を算出する検出点として用いるために、各位置をバッファ上の所定領域に格納することを意味している。
　ステップＳ２６による統合許可判定を、図６を用いて説明する。ステップＳ２６における統合許可判定では、まず、ステップＳ４１～Ｓ４３において、フュージョン物標として判定された物体が、自車前方において自車線上に飛び出す可能性の高い歩行者又は自転車であるか否かを判定する。そのため、ステップＳ４１～Ｓ４３が飛び出し判定部として機能する。
　ステップＳ４１では、撮像画像内に、電磁波センサ３１による歩行者の検出に際して当該検出の障害となり得る障害物が存在しているか否かを判定する。例えば、ＥＣＵ２０は、撮像画像内に自車両から歩行者を検出する場合に死角となる遮蔽物を認識した場合に、この遮蔽物を歩行者の検出の障害となり得る障害物として判定する。以下では、障害物の一例として道路上に位置する駐車車両を例に説明を行う。なお、障害物の存在を判定しない場合（ステップＳ４１：ＮＯ）、ステップＳ４７に進む。
　遮蔽物となる駐車車両が存在していると判定した場合（ステップＳ４１：ＹＥＳ）、ステップＳ４２では、フュージョン物標と判定された歩行者がステップＳ４１で判定された駐車車両から横方向に飛び出す歩行者であるか否かを判定する。例えば、ＥＣＵ２０は、まず、駐車車両の周囲に第２位置が検出された歩行者が位置しているか否かを判定する。そして、歩行者が駐車車両の周囲に位置している場合に、この歩行者に対応する特徴点の時系列の変化に基づいて周知のオプティカルフローを算出する。そして、算出したオプティカルフローにより、歩行者の移動方向が自車前方において、駐車車両から横方向に移動している場合、歩行者が自車線上に飛び出す方向に移動していると判定する。なお、特徴点は、撮像画像内において歩行者を認識するのに用いられる画素であり、例えば、歩行者のエッジ点が用いられる。
　フュージョン物標として判定している歩行者が駐車車両から横方向に飛び出す歩行者と判定した場合（ステップＳ４２：ＹＥＳ）、ステップＳ４３では、電磁波センサ３１の検出点を用いて、ステップＳ４１で判定した駐車車両が適正であるか否かを判定する。具体的には、駐車車両は立体物であるため、ＥＣＵ２０は、電磁波センサ３１によりこの駐車車両を検出することで、この駐車車両の自車進行方向に沿った長さを検出できるはずである。そのため、ＥＣＵ２０は、図７（ａ）に示すように、自車前方の駐車車両を電磁波センサ３１により検出した検出点ＤＰを取得し、この検出点ＤＰを用いて駐車車両の自車進行方向での長さＬ１を算出する。そして、算出した長さＬ１を閾値Ｔｈ２と比較し、この長さＬ１が閾値Ｔｈ２以上であれば、ステップＳ４４に進む。一方、算出した長さが閾値Ｔｈ２未満であれば（ステップＳ４３：ＮＯ）、ステップＳ４７に進む。
　なお、閾値Ｔｈ２は、車両の長さに基づいて設定される値であり、例えば、３メートル以上、６メートル以下の値である。
　ステップＳ４４では、将来位置を算出するために用いる第２位置の信頼度を判定する。例えば、ＥＣＵ２０は、図４のステップＳ１４又はＳ１８で取得している信頼度を閾値Ｔｈ３と比較することで、第２位置の信頼度を判定する。信頼度が閾値Ｔｈ３未満であれば（ステップＳ４４：ＮＯ）、ステップＳ４７に進む。なお、閾値Ｔｈ３は、画像センサ３２の撮像精度や、ＥＣＵ２０の物体検出アルゴリズムの検出精度等に基づいて、実験的に定められる値である。
　信頼度が閾値Ｔｈ３以上である場合（ステップＳ４４：ＹＥＳ）、ステップＳ４５では、歩行者と駐車車両とが近接しているか否かを判定する。融合位置と第２位置とを用いて算出される物体の将来位置は、融合位置のみで算出される物体の将来位置と比べてその精度が若干低いため、限定的に用いられることが望ましい。ここで、図７（ａ）に示すように、駐車車両と歩行者とが近接している場合、両者は横方向においてその位置が重っており、電磁波センサ３１により第１位置を検出し難く、フュージョン物標が判定された時点から過去において第１位置が検出されていない可能性が高くなる。そのため、ＥＣＵ２０は、歩行者と駐車車両とが近接していることを、統合許可条件の一つとしている。
　歩行者と駐車車両とが近接しているか否かを判定する手法の一例として、図７（ｂ）では、ＥＣＵ２０は、撮像画像内において、自車両ＣＳと歩行者Ｇｂ１とを結ぶ線分と、自車両ＣＳと駐車車両Ｇｂ２とを結ぶ線分とのなす角θｄを算出し、この角度θｄにより歩行者Ｇｂ１と駐車車両Ｇｂ２との横方向での距離を判定する。例えば、図７（ｂ）では、駐車車両Ｇｂ２における自車両ＣＳ側の側面において、自車進行方向において自車両ＣＳから遠い方の端部を示すエッジ点を取得し、基準点Ｐｏとこのエッジ点とを結ぶ線分を、自車両ＣＳと駐車車両Ｇｂ２とを結ぶ線分としている。また、角度θが閾値Ｔｈ４以下である場合、歩行者と遮蔽物とが近接していると判定する。なお、閾値Ｔｈ４は、電磁波センサ３１により、歩行者と駐車車両とを区別することができる、距離に基づいて設定される値である。ステップＳ４５が近接判定部として機能する。なお、閾値Ｔｈ４は、例えば、０度以上、２０度以下の値を用いることができる。
　歩行者と駐車車両とが近接している場合（ステップＳ４５：ＹＥＳ）、ステップＳ４６では、融合位置と第２位置との統合を許可するための許可フラグをオンにし、統合を許可する。一方、歩行者と駐車車両とが近傍していない場合（ステップＳ４５：ＮＯ）、ステップＳ４７では、融合位置と第２位置との統合を許可する許可フラグをオフにし、統合を不許可とする。
　図５に戻り、統合を許可しない場合（ステップＳ２６：ＮＯ）、図５に示す処理を一旦終了する。一方、統合を許可する場合（ステップＳ２６：ＹＥＳ）、ステップＳ２７では、同一物体における融合位置と、複数の第２位置とを、フュージョン物標の将来位置を算出するための参照点として統合する。具体的には、ＥＣＵ２０は、現時点で算出されている融合位置が格納されている第３格納領域と、第２位置が格納されている第２格納領域とをＲＡＭ上で統合し、移動軌跡を算出するための各位置が格納された新たな領域を設定する。
　ステップＳ２５に戻り、バッファに所定数以上の第２位置が格納されていない場合（ステップＳ２５：ＮＯ）、ステップＳ２８では、バッファに所定数以上の第１位置が格納されているか否かを判定する。
　所定数以上の第１位置が格納されている場合（ステップＳ２８：ＹＥＳ）、ステップＳ２９では、同一物体における融合位置と、複数の第１位置との統合を許可するか否かを判定する。
　図８は、ステップＳ２９での統合許可判定を説明するフローチャートである。ステップＳ２９における統合許可判定では、まず、ステップＳ５１，Ｓ５２で、照度センサ３３で検出した自車周囲の検出明度が撮像画像により画像物標を検出できる明るさとして予め定められた明るさ範囲に属するか否かを判定する。明るさ範囲は、撮像画像から画像物標を検出することができる明るさの下限値に応じて定められた閾値Ｔｈ１１と、撮像画像から画像物標を検出することができる明るさの上限値に応じて定められた閾値Ｔｈ１２との間の範囲である。
　ステップＳ５１において、明るさを示す検出明度が閾値Ｔｈ１１以下であれば、自車周囲が暗いため、ステップＳ５３に進む。また、検出明度が閾値Ｔｈ１１を超える場合でも（ステップＳ５１：ＮＯ）、検出明度が閾値Ｔｈ１２以上であれば（ステップＳ５２：ＹＥＳ）、自車周囲が明るすぎるため、ステップＳ５３に進む。なお、検出明度が閾値Ｔｈ１２未満であれば（ステップＳ５２：ＮＯ）、ステップＳ５６において第１位置と融合位置との統合を不許可とする。
　ステップＳ５３では、第１位置が電磁波センサ３１の検出範囲内であるか否かを判定する。第１位置が、電磁波センサ３１の検出範囲から外れている場合、ノイズ等を電磁波物標として誤検出している可能性が高いためである。そのため、第１位置が検出範囲内であれば（ステップＳ５３：ＹＥＳ）、ステップＳ５４に進む。一方、第１位置が検出範囲外であれば（ステップＳ５３：ＮＯ）、ステップＳ５６に進み、統合を不許可する。
　ステップＳ５４では、融合位置を算出するために用いる第１位置の信頼度を判定する。ＥＣＵ２０は、図４のステップＳ１２で取得した信頼度を閾値Ｔｈ１３と比較する。信頼度が閾値Ｔｈ１３以上であれば、電磁波物標の信頼度が高いとしてステップＳ５５に進む。一方、信頼度が閾値Ｔｈ１３未満でれば、電磁波物標の信頼度が低いとして、ステップＳ５６に進む。なお、閾値Ｔｈ１３は、電磁波センサ３１による物体の検出精度に基づいて実験的に定められた値である。信頼度を反射強度に基づいて算出する場合、その下限値は、電磁波センサ３１により物体の第１位置を検出できる反射強度より強い値となる。
　ステップＳ５５では、第１位置と融合位置との統合を許可する。一方、ステップＳ５６では、第１位置と融合位置との統合を許可しない。
　図５に戻り、融合位置と第１位置との統合を許可する場合（ステップＳ２９：ＹＥＳ）、ステップＳ３０では、融合位置と、複数の第１位置とを、フュージョン物標の将来位置を算出するための参照点として統合する。具体的には、ＥＣＵ２０は、現時点で算出した融合位置が格納されている第３格納領域と、第１位置が格納されている第１格納領域とをＲＡＭ上で統合することで、各位置が統合された領域を設定する。なお、統合を許可しない場合（ステップＳ２９：ＮＯ）、図５に示す処理を一旦終了する。
　ステップＳ３１では、ステップＳ２７又はステップＳ３０で統合された各位置に基づいて、フュージョン物標の将来位置を算出する。例えば、ＥＣＵ２０は、第２位置と融合位置との統合を許可する場合、融合位置と、この融合位置よりも過去において取得されている第２位置とを用いて歩行者の移動軌跡を算出し、この移動軌跡を自車両に向けて延長することで、歩行者の将来位置を算出する。また、ＥＣＵ２０は、第１位置と融合位置との統合を許可する場合、融合位置と、この融合位置よりも過去において取得されている第１位置とを用いて歩行者の移動軌跡を算出し、この移動軌跡を自車両に向けて延長することで、歩行者の将来位置を算出する。そのため、ステップＳ３１が将来位置算出工程として機能する。
　なお、ステップＳ２４において、融合位置の算出回数が閾値Ｔｈ１以下の場合、ステップＳ３２では、融合位置を用いた物体の移動予測を行う。この場合、融合位置の算出回数が移動軌跡を算出できる回数に達しているため、融合位置のみでフュージョン物標の移動軌跡を算出することとなる。例えば、ＥＣＵ２０は、時系列の異なる融合位置を用いて歩行者の移動軌跡を算出し、この移動軌跡を自車両に向けて延長することで、歩行者の将来位置を算出する。
　以上説明したように、第１実施形態では、ＥＣＵ２０は、物体をフュージョン物標として判定した時点で、それ以前に物体の第１位置又は第２位置のいずれかを取得している場合に、すでに取得している第１位置及び第２位置のいずれかと融合位置とに基づいて、物体の将来位置を算出することとした。この場合、融合位置のみで物体の将来位置を算出する場合と異なり、融合位置が設定された時点において物体の将来位置の算出が開始されるため、将来位置の算出を行うタイミングを早めることができる。
　・自車前方において自車線上に飛び出す可能性が高い歩行者は、自車両と衝突する可能性が高く、できるだけ早く将来位置の予測を開始することで、自車両との衝突を回避する可能性が高まる。この点、ＥＣＵ２０は、物体が自車前方において自車線上に飛び出す可能性が高い歩行者であると判定したことを条件に、物体の将来位置を算出することとした。この場合、自車両と衝突する可能性の高い歩行者の将来位置の予測の開始タイミングを早めることができ、自車両の安全性を高めることができる。
　・融合位置と第２位置とを用いた物体の将来位置は、融合位置のみで物体の将来位置を算出する場合と比べて算出精度が若干低いため、適用される場面が制限されることが望ましい。ここで、検出対象となる歩行者の近傍に静止物が存在している状態では、電磁波センサ３１により第１位置を検出し難く、フュージョン物標が判定された時点から過去において第１位置が検出されていない可能性が高くなる。この点、ＥＣＵ２０は、歩行者と道路上の静止物とが近接していることを条件に、すでに取得している第２位置と融合位置とに基づいて、物体の将来位置を算出することとした。この場合、フュージョン物標の判定時より過去において第１位置が検出されていない可能性が高い状況を判定することで、不必要に第２位置と融合位置とを用いて物体の将来位置を算出するのを防止することができる。
　・自車周囲の明るさが画像物標を検出することがでない明るさとなった場合、フュージョン物標が判定された時点から過去においても、第２位置を検出できない期間が継続していること予想される。この点、ＥＣＵ２０は、自車周囲の明るさが所定範囲に属さないと判定したことを条件に、すでに取得している第１位置と融合位置とに基づいて物体の将来位置を算出することとした。この場合、第２位置が検出されない可能性が高い状況を判定することで、不必要に第１位置と融合位置とを用いた将来位置の算出が行われるのを防止することができる。
　・第１位置又は第２位置の信頼度が低いと、この第１位置又は第２位置が適正な位置でない可能性が高くなり、この位置と融合位置とを用いたフュージョン物標の将来位置の予測精度が低下する場合がある。この点、ＥＣＵ２０は、第１位置又は第２位置の信頼度が所定値以上であるか否かを判定し、検出精度が所定値以上であることを条件に、融合位置と、第１位置又は第２位置とに基づいて、フュージョン物標の将来位置を算出することとした。この場合、信頼度が低い場合は、第１位置又は第２位置と融合位置とを用いた物体の将来位置が予測されないため、将来位置の予測開始のタイミングを早めることを優先して、予測精度が大きく低下するのを抑制することができる。
　（第２実施形態）
　この第２実施形態では、図５のステップＳ２６での統合許可の判定において、画像物標である歩行者が自車線に沿って延びるガードレールから自車線上に飛び出す物体である場合に、第２位置と融合位置との統合を許可する。ここで、ガードレールは、電磁波センサ３１による歩行者の検出に際して当該検出の障害となり得る障害物の一例であり、歩行者と比較して、電磁波センサ３１が受信する反射波の反射強度が強くなる。そのため、歩行者がこのガードレールの近傍に位置していると、ガードレールからの反射波の強度が歩行者からの反射波の強度を上回り、電磁波センサ３１が歩行者の第１位置を検出することが難しくなる。そのため、この第２実施形態では、歩行者の近傍にガードレール等の静止物が存在していることを条件に、第２位置と融合位置とに基づいて物体の将来位置を算出することとした。
　この場合、図６のステップＳ４１では、撮像画像内に、ガードレールが存在しているか否かを判定する。そして、ステップＳ４３では、電磁波センサ３１の検出点を用いて、ガードレールの自車進行方向（Ｙ方向）での長さを算出する。
　ステップＳ４５では、図９に示すように、撮像画像内における歩行者Ｇｂ１１とガードレールＧｂ１２とが近接しているか否かを判定する。ＥＣＵ２０は、撮像画像に基づいて、歩行者Ｇｂ１１と、ガードレールＧｂ１２との自車横方向での距離を示す角度θｄを算出する。図９では、歩行者Ｇｂ１１を検出した第２位置から横方向（X方向）に延びた線分とガードレールＧｂ１２とが交わる点Ｐａを算出する。そして、基準点Ｐｏから交点Ｐａを結ぶ線分と、自車両ＣＳと歩行者Ｇｂ１１とを結ぶ線分との角度θｄを算出する。そして、この角度θが閾値Ｔｈ４以下である場合、歩行者とガードレールとが近接していると判定する。
　歩行者がガードレールに近接していると判定した場合（ステップＳ４５：ＹＥＳ）、ステップＳ４６では、融合位置と第２位置との統合を許可するための許可フラグをオンにする。一方、歩行者とガードレールとが近接していないと判定する場合、（ステップＳ４５：ＮＯ）、ステップＳ４７では、融合位置と第２位置との統合を許可する許可フラグをオフにする。
　以上説明したようにこの第２実施形態では、ガードレールの近傍に位置する歩行者が自車線上に飛び出す場合においても、この歩行者の将来位置の算出開始タイミングを早めることができる。その結果、自車両を安全に走行させることができる。
　（第３実施形態）
　この第３実施形態では、ＥＣＵ２０は、物体の将来位置として自車線の前方を走行する先行車両の将来位置を算出する。そして、ＥＣＵ２０は、この先行車両をフュージョン物標として判定した時点において、この先行車両の第１位置及び第２位置のいずれかと融合位置とに基づいて、物体の将来位置を算出する。
　図１０は、第３実施形態において、図５のステップＳ２６での統合許可判定を説明するフローチャートである。まず、ステップＳ６１～Ｓ６３では、先行車両と並走する並走車両が存在しているか否かを判定する。なお、図１１において、並走車両は、自車線と隣接する隣接車線を走行している車両である。そのため、ステップＳ６１～Ｓ６３が並走判定部として機能する。
　ステップＳ６１では、撮像画像に基づいて、自車前方において先行車両と、この先行車両以外の他車両が走行しているか否かを検出する。図１１では、ＥＣＵ２０は、撮像画像内において、フュージョン物標として判定された先行車両Ｇｂ３１の周囲に他車両Ｇｂ３２を検出している。なお、先行車両の周囲に他車両を検出できない場合（ステップＳ６１：ＮＯ）、ステップＳ６６に進み、融合位置と第２位置との統合を不許可とする。
　先行車両と他車両とを検出した場合（ステップＳ６１：ＹＥＳ）、ステップＳ６２では、先行車両と他車両との自車進行方向での車間距離差を算出する。図１１に示すように、ＥＣＵ２０は、撮像画像に基づいて、自車両から先行車両までの車間距離Ｄ１と、自車両から他車両までの車間距離との差Ｄ２を算出する。この車間距離の差が閾値Ｔｈ２１を超える場合（ステップＳ６２：ＮＯ）、先行車両と他車両とは自車進行方向において離れた位置であるとして、ステップＳ６６に進み、融合位置と第２位置との統合を不許可とする。
　一方、先行車両と他車両との車間距離の差が閾値Ｔｈ２１以下でる場合（ステップＳ６２：ＹＥＳ）、ステップＳ６３では、先行車両と他車両との横方向での距離を判定する。図１１では、ＥＣＵ２０は、自車両と先行車とを結ぶ線分と、自車両と先行車両とを結ぶ線分のなす角θｄを算出し、この角度θｄにより横方向での距離を判定する。この角度θｄが閾値Ｔｈ２２を超える場合（ステップＳ６３：ＮＯ）、先行車両と他車両とが横方向で近接していないと判定し、ステップＳ６６に進む。
　そのため、自車進行方向での車間距離の差が閾値Ｔｈ２１以下であり（ステップＳ６２：ＹＥＳ）、かつ横方向での距離を示す角度θｄが閾値Ｔｈ２２以下であれば（ステップＳ６３：ＹＥＳ）、ＥＣＵ２０は、他車両が先行車両と並走していると判定したことになり、ステップＳ６４に進む。なお、閾値Ｔｈ２１，Ｔｈ２２は、例えば、電磁波センサ３１により２つの車両をそれぞれ認識することができる、自車進行方向での距離と、横方向での距離に基づいて算出される値である。
　ステップＳ６４では、将来位置を算出するのに用いる第２位置の信頼度を判定する。例えば、ＥＣＵ２０は、図４のステップＳ１４又はＳ１８で取得されている先行車両における信頼度を閾値Ｔｈ２３と比較することで、第２位置の信頼度を判定する。
　第２位置の信頼度が閾値Ｔｈ２３以上であれば（ステップＳ６４：ＹＥＳ）、ステップＳ６５では、第２位置と融合位置との統合を許可する。第２位置の信頼度が閾値Ｔｈ２３未満であれば（ステップＳ６４：ＮＯ）、ステップＳ６６では、第２位置と融合位置との統合を不許可とする。
　以上説明した第３実施形態では、以下の効果を奏する。
　・融合位置と第２位置とを用いた物体の将来位置は、融合位置のみで物体の将来位置を算出する場合と比べて算出精度が若干低いため、適用される場面が制限されることが望ましい。ここで、先行車両の将来位置を算出する場合、先行車両と並走する並走車両が存在することで、電磁波センサ３１が先行車両の第１位置を検出し難くなる。この点、ＥＣＵ２０は、先行車両と並走する並走車両が存在することを条件に、取得されている第２位置と融合位置とに基づいて、フュージョン物標の将来位置を算出することとした。この場合、フュージョン物標の判定時より過去において第１位置が検出されていない可能性が高い状況を判定することで、不必要に第２位置と融合位置とを用いて物体の将来位置を算出するのを防止することができる。
　（第４実施形態）
　この第４実施形態では、ＥＣＵ２０は、第１位置及び第２位置のいずれかと融合位置とに基づいてフュージョン物標の将来位置を算出する場合に、将来位置を算出するのに用いる第１位置又は第２位置の信頼度が低い程、物体の将来位置を算出するのに用いる第１位置又は第２位置の数を増加させる。
　図１２は、第４実施形態において、ステップＳ３１において実行される処理を説明するフローチャートである。なお、図１２では、ステップＳ３０において第２位置と融合位置とが統合された場合を例に説明を行う。
　ステップＳ７１では、将来位置を算出するために用いる第２位置の信頼度を判定する。例えば、ＥＣＵ２０は、ＲＡＭ上の第２格納領域に格納された第２位置の信頼度の総和を算出する。例えば、２点の第２位置と１点の融合位置により将来位置を算出する場合、２点の第２位置の信頼度を総和する。
　ステップＳ７２では、ステップＳ７１で算出された信頼度の総和に応じて、将来位置を算出するために用いる第２位置の数を変更する。例えば、ＥＣＵ２０は、図１３（ａ）に示す、信頼度の総和と第２位置の数Ｎとの関係性を規定したマップを保持しており、このマップに基づいて、将来位置を算出するために用いる第２位置の数を、信頼度の総和に応じた数Ｎに変更する。マップには、ステップＳ７１で算出された第２位置の信頼度の総和が低い程、将来位置を算出するのに用いる第２位置の数Ｎを増加させるよう各値が規定されている。なお、図１３（ａ）において、Ｎ０は、将来位置を算出するために用いられる第２位置の初期値であり、この実施形態では、２点である。
　なお、信頼度の総和に応じた数分の第２位置がバッファに格納されていない場合に、将来位置を算出するために用いる第２位置の現在の数を変更することなくステップＳ７３に進むものであってもよい。
　ステップＳ７３では、複数の第２位置と、融合位置とに基づいて、フュージョン物標の将来位置を算出する。図１３（ｂ）では、将来位置を算出するために用いる第２位置の初期値が２点である場合を例に、信頼度に応じて変化する第２位置の数を説明している。まず、信頼度の総和が高い場合、将来位置を算出するために用いる第２位置の数は２点から変更されず、２点の第２位置と融合位置とに基づいて、フュージョン物標の将来位置が算出される。そのため、時刻ｔ１５で算出された融合位置と、時刻ｔ１３，ｔ１４のそれぞれで取得された２点の第２位置とが、将来位置を算出するために用いられる。一方、信頼度の総和が低い場合、将来位置を算出するために用いる第２位置の数が３点に増加され、３つの第２位置と融合位置とに基づいて、フュージョン物標の将来位置が算出される。そのため、時刻ｔ１５で算出された融合位置と、時刻ｔ１２～ｔ１４のそれぞれで取得された３点の第２位置とが、将来位置を算出するために用いられる。
　以上説明した第４実施形態では、以下の効果を奏する。
・第１位置又は第２位置を検出した物体の信頼度が低いと、将来位置の予測精度が低下することも懸念される。この点、ＥＣＵ２０は、将来位置の算出に用いる第１位置又は第２位置の信頼度を算出し、この信頼度が低い程、フュージョン物標の将来位置を算出するのに用いる第１位置又は第２位置の数を増加させることとした。この場合、第１位置又は第２位置の信頼度が低い程、将来位置を算出するのに用いる第１位置又は第２位置の数を増加させることで、将来位置の予測精度の低下を抑制することができる。
　（その他の実施形態）
　・図５のステップＳ２４において、融合位置の算出回数を閾値と比較する場合に代えて、物体におけるフュージョン物標の判定が初回である場合に、第１位置及び第２位置のいずれかと融合位置とに基づいて物体の将来位置を算出するものであってもよい。
　・第１及び第２実施形態において、将来位置を算出する物体の種別を歩行者に代えて自転車とするものであってもよい。この場合、ＥＣＵ２０は、歩行者用の辞書に代えて、自転車用の辞書を用いることで、撮像画像から自転車を認識し、認識した自転車に基づいて第２位置を検出する。
　・図６のステップＳ４２において、撮像画像を用いて歩行者又は自転車が横方向に移動しているか否かを判定することに代えて、電磁波センサ３１による検出結果に基づいて、歩行者又は自転車が横方向に移動しているか否かを判定するものであってもよい。
　・図５のステップＳ２６での統合許可判定において、フュージョン物標が歩行者である場合と先行車両である場合とで、統合許可判定の手法を変更するものであってもよい。この場合、フュージョン物標が歩行者である場合は、第１実施形態に示す統合許可判定を行い、フュージョン物標が先行車である場合は、第３実施形態に示す統合許可判定を実施する。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (8)

  1. 　電磁波センサ（３１）により自車前方の物体を検出した第１位置と、画像センサ（３２）により前記自車前方を撮像した撮像画像から検出した前記物体の第２位置とに基づいて、前記物体を同一物体と判定する物体判定部と、
    　前記同一物体として判定された物体における、前記第１位置と前記第２位置とに基づいて、前記物体の位置として融合位置を算出する融合位置算出部と、
    　時系列の異なる複数の前記融合位置に基づいて、前記物体の将来位置を算出する将来位置算出部と、を備え、
    　前記将来位置算出部は、前記物体が同一物体であると判定された時点で、それ以前に前記物体の前記第１位置及び前記第２位置のいずれかが取得されている場合に、取得されている前記第１位置及び前記第２位置のいずれかと前記融合位置とに基づいて、前記物体の将来位置を算出する、移動検出装置。
  2. 　前記将来位置算出部は、前記物体の将来位置として歩行者又は自転車の将来位置を算出するものであり、
    　前記同一物体と判定された前記物体が、自車前方において自車線上に飛び出す可能性の高い歩行者又は自転車であるか否かを判定する飛び出し判定部を備え、
    　前記将来位置算出部は、前記飛び出し判定部により、前記物体が前記自車前方において前記自車線上に飛び出す可能性の高い歩行者又は自転車であると判定されたことを条件に、取得されている前記第１位置及び前記第２位置のいずれかと前記融合位置とに基づいて、前記物体の将来位置を算出する、請求項１に記載の移動検出装置。
  3. 　前記歩行者又は前記自転車と、前記電磁波センサによる前記歩行者又は前記自転車の検出に際して当該検出の障害となり得る障害物とが近接しているか否かを判定する近接判定部を備え、
    　前記将来位置算出部は、前記物体が同一物体であると判定された時点で、それ以前に前記物体の前記第２位置が取得されている場合に、前記歩行者又は前記自転車と前記障害物とが近接していることを条件に、前記第２位置と前記融合位置とに基づいて、前記物体の将来位置を算出する、請求項２に記載の移動検出装置。
  4. 　前記将来位置算出部は、前記物体の将来位置として自車線上に位置する先行車両の将来位置を算出するものであり、
    　前記先行車両が、他車両と並走しているか否かを判定する並走判定部を備え、
    　前記将来位置算出部は、前記物体が同一物体であると判定された時点で、それ以前に前記物体の前記第２位置が取得されている場合に、前記先行車両と前記他車両とが並走していることを条件に、前記第２位置と前記融合位置とに基づいて、前記物体の将来位置を算出する、請求項１から請求項３のいずれか一項に記載の移動検出装置。
  5. 　自車周囲の明るさが、前記撮像画像により前記物体を適正に検出することができる所定範囲に属するか否かを判定する明るさ判定部を備え、
    　前記将来位置算出部は、前記物体が同一物体であると判定された時点で、それ以前に前記物体の前記第１位置が取得されている場合に、前記自車周囲の明るさが前記所定範囲外であることを条件に、前記第１位置と前記融合位置とに基づいて、前記物体の将来位置を算出する、請求項１から請求項３のいずれか一項に記載の移動検出装置。
  6. 　前記第１位置又は前記第２位置の信頼度を算出する信頼度算出部を備え、
    　前記将来位置算出部は、前記物体の将来位置を算出するために用いる前記第１位置及び前記第２位置のいずれかの前記信頼度が所定値以上であることを条件に、前記第１位置及び前記第２位置のいずれかと前記融合位置とに基づいて、前記物体の将来位置を算出する、請求項１から請求項５のいずれか一項に記載の移動検出装置。
  7. 　前記第１位置又は前記第２位置の信頼度を算出する信頼度算出部を備え、
    　前記将来位置算出部は、前記物体の将来位置を算出するために用いる前記第１位置及び前記第２位置のいずれかの前記信頼度が低い程、前記物体の将来位置を算出するのに用いる前記第１位置及び前記第２位置のいずれかの数を増加させる、請求項１から請求項６のいずれか一項に記載の移動検出装置。
  8. 　電磁波センサにより自車前方の物体を検出した第１位置と、画像センサにより前記自車前方を撮像した撮像画像から検出した前記物体の第２位置とに基づいて、前記物体を同一物体と判定する物体判定工程と、
    　前記同一物体として判定された物体における、前記第１位置と前記第２位置とに基づいて、前記物体の位置として融合位置を算出する融合位置算出工程と、
    　時系列の異なる複数の前記融合位置に基づいて、前記物体の将来位置を算出する将来位置算出工程と、を備え、
    　前記将来位置算出工程では、前記物体が同一物体であると判定された時点で、それ以前に前記物体の前記第１位置及び前記第２位置のいずれかが取得されている場合に、取得されている前記第１位置及び前記第２位置のいずれかと前記融合位置とに基づいて、前記物体の将来位置を算出する、移動検出方法。
PCT/JP2017/036263 2016-10-13 2017-10-05 移動検出装置、移動検出方法 WO2018070335A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016202080A JP6601362B2 (ja) 2016-10-13 2016-10-13 移動検出装置
JP2016-202080 2016-10-13

Publications (1)

Publication Number Publication Date
WO2018070335A1 true WO2018070335A1 (ja) 2018-04-19

Family

ID=61905634

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036263 WO2018070335A1 (ja) 2016-10-13 2017-10-05 移動検出装置、移動検出方法

Country Status (2)

Country Link
JP (1) JP6601362B2 (ja)
WO (1) WO2018070335A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018087817A1 (ja) * 2016-11-08 2019-03-07 三菱電機株式会社 物体検知装置および物体検知方法
US20210279487A1 (en) * 2020-03-06 2021-09-09 Subaru Corporation Vehicle exterior environment recognition apparatus

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6820958B2 (ja) * 2019-01-22 2021-01-27 三菱電機株式会社 車両の制御装置および制御方法
JP7195219B2 (ja) * 2019-05-31 2022-12-23 本田技研工業株式会社 衝突予測判定装置、及び交通弱者保護システム
JP2021092996A (ja) * 2019-12-11 2021-06-17 国立大学法人 東京大学 計測システム、車両、計測方法、計測装置及び計測プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004301567A (ja) * 2003-03-28 2004-10-28 Fujitsu Ltd 衝突予測装置
JP2016068754A (ja) * 2014-09-30 2016-05-09 株式会社デンソー 運転支援装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004301567A (ja) * 2003-03-28 2004-10-28 Fujitsu Ltd 衝突予測装置
JP2016068754A (ja) * 2014-09-30 2016-05-09 株式会社デンソー 運転支援装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018087817A1 (ja) * 2016-11-08 2019-03-07 三菱電機株式会社 物体検知装置および物体検知方法
US20210279487A1 (en) * 2020-03-06 2021-09-09 Subaru Corporation Vehicle exterior environment recognition apparatus
US11842552B2 (en) * 2020-03-06 2023-12-12 Subaru Corporation Vehicle exterior environment recognition apparatus

Also Published As

Publication number Publication date
JP2018063606A (ja) 2018-04-19
JP6601362B2 (ja) 2019-11-06

Similar Documents

Publication Publication Date Title
CN107408345B (zh) 物标存在判定方法以及装置
WO2018070335A1 (ja) 移動検出装置、移動検出方法
US9797734B2 (en) Object recognition apparatus
JP6673178B2 (ja) 車両制御装置、車両制御方法
JP6592266B2 (ja) 物体検知装置、及び物体検知方法
US11014566B2 (en) Object detection apparatus
JP6539228B2 (ja) 車両制御装置、及び車両制御方法
JP4558758B2 (ja) 車両用障害物認識装置
JP6787157B2 (ja) 車両制御装置
CN109204311B (zh) 一种汽车速度控制方法和装置
US10535264B2 (en) Object detection apparatus and object detection method
JP6855776B2 (ja) 物体検出装置、及び物体検出方法
US20170066445A1 (en) Vehicle control apparatus
WO2018074287A1 (ja) 車両制御装置
US10752223B2 (en) Autonomous emergency braking system and method for vehicle at crossroad
JP6614108B2 (ja) 車両制御装置、車両制御方法
JP2016192166A (ja) 車両制御装置、及び車両制御方法
JP6669090B2 (ja) 車両制御装置
WO2016158634A1 (ja) 車両制御装置及び車両制御方法
WO2017138329A1 (ja) 衝突予測装置
KR20150096924A (ko) 전방 충돌 차량 선정 방법 및 시스템
JP2019046143A (ja) 走行支援装置
US11420624B2 (en) Vehicle control apparatus and vehicle control method
US11407390B2 (en) Vehicle control apparatus and vehicle control method
JP6733616B2 (ja) 車両制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17861162

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17861162

Country of ref document: EP

Kind code of ref document: A1