WO2016194851A1 - 物体検出装置および物体検出方法 - Google Patents
物体検出装置および物体検出方法 Download PDFInfo
- Publication number
- WO2016194851A1 WO2016194851A1 PCT/JP2016/065825 JP2016065825W WO2016194851A1 WO 2016194851 A1 WO2016194851 A1 WO 2016194851A1 JP 2016065825 W JP2016065825 W JP 2016065825W WO 2016194851 A1 WO2016194851 A1 WO 2016194851A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- region
- detection
- regions
- radar
- reliability
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/411—Identification of targets based on measurements of radar reflectivity
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/415—Identification of targets based on measurements of movement associated with the target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/93185—Controlling the brakes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9319—Controlling the accelerator
Definitions
- This disclosure relates to a technique for detecting an object using a radar and a camera.
- Patent Document 1 In a vehicle collision mitigation system, it is required to accurately detect objects such as other vehicles and pedestrians other than vehicles. Therefore, a technique for detecting an object using a radar and a camera has been proposed (see, for example, Patent Document 1).
- an area including a detection point in consideration of a detection error is detected for each of an object detection point detected by a radar and an object detection point detected by a captured image of a camera. It is set. Then, if there is an overlapping portion in the area including the detection point of the object detected by the radar and the area including the detection point of the object detected by the captured image of the camera, the objects detected by the radar and the camera are respectively It is determined that they are the same object.
- a plurality of detection points including a plurality of detection points of the plurality of objects detected by the captured image of the camera May have an overlapping part with one area of the object detected by the radar.
- a plurality of areas including detection points of the plurality of objects detected by the radar are detected from the captured image of the camera. There may be an overlap with one region.
- Patent Document 1 when a plurality of areas including the detection points of the object detected by the other of the radar or the camera have an overlapping portion with respect to one area including the detection points of the object detected by the radar or the camera, The technique described in Patent Document 1 does not consider which object is determined to be the same.
- An object is to provide a technique for determining which objects are the same.
- An object detection device is an object detection device mounted on a vehicle, and includes a first specification unit, a second specification unit, a determination unit, and a region selection unit. .
- the first specifying means specifies a first region including a first detection point representing a position of the first object for the first object detected based on detection information by the radar.
- the second specifying means specifies a second region including a second detection point representing the position of the second object for the second object detected based on the image captured by the camera.
- the determination means determines that the first object and the second object are the same object on condition that there is an overlapping portion where the areas overlap in one first area and one second area.
- the region selection means is configured such that when a plurality of second regions have overlapping portions with respect to one first region, or when a plurality of first regions have overlapping portions with respect to one second region, At least one of the ground speed of the first object detected by the specifying means based on the detection information, the intensity of the reflected wave of the first object detected by the first specifying means based on the detection information, and the second specifying means Based on the correspondence relationship with the type of the second object detected based on the captured image, the determination unit and the one first region where there is an overlapping portion that is a condition for determining that the same object is the same Two second regions are selected.
- the ground speed of the first object and the intensity of the reflected wave of the first object change according to the type of the first object, so the ground speed of the first object and the first object
- the type of the first object can be detected based on at least one of the reflected wave intensity. Also, based on the image captured by the camera, the type of the second object can be detected by, for example, pattern matching.
- the types of objects are, for example, four-wheeled vehicles, two-wheeled vehicles, bicycles, pedestrians, and the like.
- the types of objects may be divided into two categories, for example, four-wheeled vehicles and other than four-wheeled vehicles. If the first object and the second object are the same object, the first object is detected based on at least one of the ground speed of the first object and the intensity of the reflected wave of the first object.
- the type of the object and the type of the second object detected based on the captured image should be in a correspondence relationship.
- the determination unit determines that they are the same object. It is possible to select one first region and one second region where there is an overlapping portion, which is a condition for this. Further, according to the object detection method of the first aspect of the present disclosure, the same effects as those already described in the object detection device of the first aspect of the present disclosure can be obtained for the same reason as described above.
- FIG. 1 is a block diagram illustrating a collision mitigation system according to a first embodiment.
- FIG. 2 is a flowchart showing a collision mitigation process according to the first embodiment.
- FIG. 3 is a flowchart showing object detection processing according to the first embodiment.
- FIG. 4 is an explanatory diagram showing detection results of the radar and the camera for the object according to the first embodiment.
- FIG. 5 is an explanatory diagram showing detection results of the radar and the camera for the object according to the second embodiment.
- FIG. 6 is a flowchart showing object detection processing according to the second embodiment.
- FIG. 7 is a flowchart showing another object detection process according to the second embodiment.
- FIG. 8 is an explanatory diagram showing detection results of a radar and a camera for an object according to another embodiment.
- a collision mitigation system 2 shown in FIG. 1 is mounted on a vehicle such as a passenger car, and includes a collision mitigation ECU (Electronic Control Unit) 10, a millimeter wave radar 20, a monocular camera 22, a brake ECU 30, an engine ECU 32, And a notification device 34.
- a collision mitigation ECU Electronic Control Unit
- a millimeter wave radar 20 a radar
- a monocular camera 22 a camera
- a brake ECU 30 an engine ECU 32
- a notification device 34 a notification device
- the collision mitigation ECU 10 that functions as an object detection device is communicably connected to each of the millimeter wave radar 20, the monocular camera 22, the brake ECU 30, the engine ECU 32, and the notification device 34.
- the configuration for realizing communication is not particularly limited.
- the collision mitigation ECU 10 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, and the like, and controls the collision mitigation system 2 in an integrated manner.
- the collision mitigation ECU 10 takes in the radar signal from the millimeter wave radar 20 and the image signal from the monocular camera 22 at regular intervals based on the master clock of the CPU 11.
- the millimeter wave radar 20 is a radar for detecting an object such as another vehicle or a pedestrian other than the other vehicle using the millimeter wave.
- the millimeter wave radar 20 is a front-side free-wheel equipped with the collision mitigation system 2. At the center of the front grill.
- the millimeter wave radar 20 transmits the millimeter wave forward while scanning the millimeter wave in a horizontal plane, and transmits the transmission / reception data obtained by receiving the reflected millimeter wave to the collision reduction ECU 10 as detection information.
- the monocular camera 22 includes a single CCD (Charge Coupled Device) camera, and is attached, for example, near the center of the window shield mirror in the vehicle interior of the host vehicle.
- the monocular camera 22 transmits the captured image data captured by the CCD camera as an image signal to the collision reduction ECU 10.
- CCD Charge Coupled Device
- the brake ECU 30 includes a CPU 30a, a ROM 30b, a RAM 30c, and the like, and controls braking of the host vehicle. Specifically, the brake ECU 30 detects a brake ACT (Actuator) that is an actuator that opens and closes a pressure increase control valve and a pressure reduction control valve provided in the brake hydraulic pressure circuit, and a detection value of a sensor that detects the depression amount of the brake pedal. Control according to. In addition, the brake ECU 30 controls the brake ACT so as to increase the braking force of the host vehicle in accordance with the instruction from the collision reduction ECU 10.
- ACT Actuator
- the brake ECU 30 controls the brake ACT so as to increase the braking force of the host vehicle in accordance with the instruction from the collision reduction ECU 10.
- the engine ECU 32 includes a CPU 32a, a ROM 32b, a RAM 32c, and the like, and controls engine start, stop, fuel injection amount, ignition timing, and the like. Specifically, the engine ECU 32 controls a throttle ACT, which is an actuator that opens and closes a throttle provided in the intake pipe, according to a detection value of a sensor that detects the depression amount of an accelerator pedal. Further, the engine ECU 32 controls the throttle ACT so as to reduce the driving force of the internal combustion engine in accordance with an instruction from the collision reduction ECU 10.
- a throttle ACT which is an actuator that opens and closes a throttle provided in the intake pipe, according to a detection value of a sensor that detects the depression amount of an accelerator pedal.
- the alarm device 34 When the alarm device 34 receives an alarm signal from the collision mitigation ECU 10, the alarm device 34 notifies the vehicle driver with sound or light.
- the collision reduction ECU 10 uses the millimeter wave radio wave transmitted from the millimeter wave radar 20 and the reflected wave reflected from the detection target object as detection information, and the detection target object is based on the detection information. To detect. Specifically, the collision mitigation ECU 10 based on the detection information, the horizontal direction represented by the linear distance from the host vehicle to the object and the angular position ( ⁇ ) of the target object with reference to the forward direction of the host vehicle. The position is calculated and specified.
- the position coordinates of the object on the XY plane are calculated and specified as the detection point Pr of the object on the XY plane.
- the detection point Pr detected by the millimeter wave radar 20 corresponds to a first detection point described in the claims.
- the XY plane is defined by an X axis having the vehicle width direction of the host vehicle 100 as a lateral direction and a Y axis having a vehicle length direction of the host vehicle 100 as a forward direction.
- the tip position of the host vehicle on which the millimeter wave radar 20 is provided is set as the reference point Po, and the position of the object detection point Pr is represented by a relative position with respect to the reference point Po.
- FIG. 4 is an example of an object located in front of the host vehicle and on the right side.
- the ground speed of the object is calculated from the relative speed with the object and the speed of the host vehicle in addition to the object detection point Pr.
- the object detected based on the detection information from the millimeter wave radar 20 in S400 is referred to as a “radar object”.
- the collision mitigation ECU 10 specifies the detection region 200 centered on the detection point Pr of the radar object detected in S400.
- the detection area 200 corresponds to a first area described in the claims.
- the collision mitigation ECU 10 is set in advance based on the characteristics of the millimeter wave radar 20 for each of the Y coordinate and the horizontal azimuth position with reference to the Y coordinate and the horizontal azimuth position of the detection point Pr of the radar object.
- a region having a width corresponding to the assumed error is specified as the detection region 200.
- the detection area 200 has a Y coordinate range of Yr ⁇ EYr ⁇
- the range of Y ⁇ Yr + EYr and the horizontal azimuth position ( ⁇ ) is represented by ⁇ r ⁇ E ⁇ r ⁇ ⁇ ⁇ ⁇ r + E ⁇ r.
- the horizontal azimuth range of the detection area 200 is set in the azimuth range of 2E ⁇ r including the horizontal azimuth position ⁇ r with respect to the reference point Po.
- the range of the detection area 200 in the Y-axis direction is set as a Y coordinate range of 2EYr in the Y-axis direction including Yr that is the Y coordinate of the detection point Pr of the radar object on the XY plane.
- the collision reduction ECU 10 detects an object based on a captured image captured by the monocular camera 22. Specifically, the collision reduction ECU 10 analyzes the captured image and identifies the object. This identification is performed, for example, by executing a pattern matching process using a dictionary of object models stored in advance.
- the type of the object is specified by the pattern matching process. Then, the collision reduction ECU 10 specifies the Y coordinate in the XY plane described above based on the vertical position of the object in the captured image, and determines the forward direction of the host vehicle based on the horizontal position of the object in the captured image. The horizontal azimuth position represented by the angular position of the target object when used as a reference is specified.
- the Y coordinate of the position of the object in the forward direction of the host vehicle is larger, that is, the object is farther, the lower end position of the object in the captured image tends to be located on the upper end side of the captured image. For this reason, if the lower end position of the object in the captured image is known, the Y coordinate can be specified. However, such a specifying method has a characteristic that the detection accuracy of the Y coordinate is lowered when the lower end position of the object is not accurately detected.
- the Y coordinate and horizontal azimuth position of the object on the XY plane are specified as the position of the detection point Pi of the object on the XY plane.
- the position of the detection point Pi of the object is represented by a relative position with respect to the reference point Po.
- two detection points Pi1 and Pi2 detected by the monocular camera 22 are shown.
- the detection points Pi1 and Pi2 detected by the monocular camera 22 correspond to the second detection points described in the claims.
- the object detected based on the image captured by the monocular camera 22 in S404 is referred to as “image object”.
- detection areas 210 and 212 centering on detection points Pi1 and Pi2 of the image object detected in S404 of FIG. 2, and in the second embodiment described later, are set (S406).
- the collision mitigation ECU 10 uses the Y coordinate and the horizontal azimuth position of the detection points Pi1 and Pi2 as a reference, and the assumed error set in advance based on the characteristics of the monocular camera 22 for each of the Y coordinate and the horizontal azimuth position. Areas having a width of minutes are set as detection areas 210 and 212. The detection areas 210 and 212 correspond to the second area described in the claims.
- the setting of the detection areas 210 and 212 around the detection points Pi1 and Pi2 by the monocular camera 22 is performed in the same manner as the setting of the detection area 200 by the millimeter wave radar 20 described above.
- the detection area 210 of the detection point Pi1 shown in FIG. 4 as an example, if the detection point Pi1 is (Yi1, ⁇ i1), the assumed error of the Y coordinate is ⁇ EYi1, and the assumed error of the horizontal azimuth position ⁇ is ⁇ E ⁇ i1, the detection area In 210, the Y coordinate range is represented by Yi1 ⁇ EYi1 ⁇ Y ⁇ Yi1 + EYi1, and the horizontal azimuth position ( ⁇ ) range is represented by ⁇ i1 ⁇ E ⁇ i1 ⁇ ⁇ ⁇ ⁇ i1 + E ⁇ i1.
- the collision mitigation ECU 10 executes an object detection process based on the radar object detected by the millimeter wave radar 20 and the image object detected by the monocular camera 22.
- the object detection process in S408 will be described later.
- the collision reduction ECU 10 performs collision reduction control according to the position of the detected object and the reliability of the detection result of the object in S410. For example, when there is a possibility of collision with an object, the collision mitigation ECU 10 transmits a warning signal to the notification device 34 to notify the driver. Further, when there is a high possibility of collision with an object, the collision mitigation ECU 10 instructs the engine ECU 32 to decrease the driving force of the internal combustion engine, and also instructs the brake ECU 30 to increase the braking force of the host vehicle.
- the collision reduction ECU 10 varies the control mode according to the reliability. For example, when the reliability is high, the control timing is advanced compared to when the reliability is low.
- the reliability of the object detection result is the reliability with respect to the determination result that the radar object detected by the millimeter wave radar 20 and the image object detected by the monocular camera 22 are the same object. The reliability with respect to the determination result will be described in the object detection process described later.
- the collision reduction ECU 10 determines whether or not the detection areas of a plurality of image objects have an overlapping part with respect to the detection area of one radar object (S422).
- the collision reduction ECU 10 determines that the radar object and the image object are the same object. Judgment is made, and the process proceeds to S434.
- the collision reduction ECU 10 When the detection areas of a plurality of image objects have overlapping portions with respect to the detection area of one radar object (S422: Yes), the collision reduction ECU 10 has the same types of the plurality of image objects specified by pattern matching. It is determined whether or not (S424).
- the type of the image object is specified in the process in S404 of FIG.
- the detection areas 210 and 212 including the detection points Pi1 and Pi2 of the two image objects respectively have overlapping portions 220 and 222 with respect to the detection area 200 including the detection point Pr of one radar object.
- Three or more image object detection areas may have overlapping portions with respect to one radar object detection area.
- the collision mitigation ECU 10 indicates that the intensity of the reflected wave from the radar object that is the current detection target for the transmitted millimeter wave is that the radar object is a four-wheeled vehicle. It is determined whether or not the intensity threshold is greater than or equal to (S426).
- the intensity of the reflected wave from the radar object is stronger as the reflection surface of the radar object is wider and stronger as the reflection surface of the radar object is smoother and harder. Therefore, if the intensity threshold is appropriately set, the radar object can be classified into two types, that is, a four-wheel vehicle and a vehicle other than the four-wheel vehicle.
- the collision reduction ECU 10 selects a detection area whose type is a four-wheeled vehicle from among a plurality of image objects (S428), and the process proceeds to S422.
- a plurality of four-wheeled vehicle detection areas may be selected in S428.
- the collision reduction ECU 10 selects a detection area other than the four-wheeled vehicle from among the plurality of image objects (S430), and the process proceeds to S422. There may be a plurality of detection regions other than the four-wheeled vehicle selected in S430.
- the detection area of the same type of image object as the radar object corresponding to the intensity of the reflected wave from the radar object is selected.
- the collision reduction ECU 10 can select an image object that is the same object as the radar object by selecting a detection area of the image object that is the shortest distance from the radar object.
- the distance between the radar object and the image object is calculated as distances L1 and L2 between the detection point Pr by the millimeter wave radar 20 and the detection points Pi1 and Pi2 by the monocular camera 22, as shown in FIG. Then, the detection region of the shorter image object out of the distances L1 and L2 is selected. When there are three or more image objects, the detection area of the image object with the shortest distance from the radar object is selected.
- the collision reduction ECU 10 combines one radar object and one image object having an overlapping portion in the detection area. That is, it is determined that one radar object and one image object having overlapping portions in the detection area are the same object.
- the collision mitigation ECU 10 calculates the reliability indicating the certainty of the current determination result in which it is determined in S434 that the radar object and the image object are the same object.
- the reliability of the determination result is calculated based on any of the following criteria (1) to (3). (1) The shorter the distance between the detection points of the combined radar object and the image object, the higher the reliability. (2) The reliability is higher as the area of the overlapping portion of the detection area of the combined radar object and image object is larger. (3) In a predetermined detection cycle, the higher the number of times that the radar object and the image object are determined to be the same object, the higher the reliability.
- the collision reduction ECU 10 determines whether or not the reliability of the determination result calculated this time is equal to or higher than the previously set reliability. When the reliability of the determination result calculated this time is equal to or higher than the previously set reliability (S438: Yes), the collision reduction ECU 10 sets the current determination result as the current determination result, and the reliability of the determination result calculated this time. Is set as the reliability of this time (S440).
- the collision mitigation ECU 10 sets the previous determination result as the current determination result, and sets the reliability set last time. The reliability is set as this time (S442).
- the radar A detection area of a type of image object corresponding to the intensity of the reflected wave from the object is selected.
- the detection area of the image object with the shortest distance from the radar object is selected.
- an appropriate one image object detection area corresponding to the type of radar object can be selected.
- one radar object and one selected image object are determined to be the same object even if the detection areas of multiple image objects have overlapping portions with respect to the detection area of one radar object. it can.
- a plurality of radar objects detected by the millimeter wave radar 20 are detected with respect to a detection region 230 including a detection point Pi of one image object detected by the monocular camera 22.
- the object detection process is executed when the detection regions 240 and 242 including the points Pr1 and Pr2 have overlapping portions 250 and 252.
- the detection areas of the image object and the radar object are set in the same manner as in the first embodiment.
- Image object is not a four-wheeled vehicle
- object detection processing of the second embodiment executed in S408 of FIG. An example executed in the case of “image non-vehicle”) will be described.
- the detection region 230 including the detection point Pi is displayed.
- detection areas 240 and 242 each including detection points Pr1 and Pr2 of two radar objects have overlapping portions 250 and 252, respectively.
- Three or more radar object detection areas may have overlapping portions with respect to one image object detection area.
- the collision reduction ECU 10 determines whether or not there is an overlapping portion in the detection area between the non-image vehicle and the radar object. When there is no overlapping portion (S450: No), the collision reduction ECU 10 determines that the image non-vehicle and the radar object are not the same object but different objects, and ends this process. In this case, separate collision mitigation control is executed for the non-image vehicle and the radar object in S410 of FIG.
- the collision reduction ECU 10 determines whether or not a plurality of radar object detection regions have overlapping portions with respect to one image non-vehicle detection region (S452).
- the detection area of one radar object instead of a plurality has an overlapping portion with respect to the detection area of one image non-vehicle (S452: No)
- the collision reduction ECU 10 determines that the image non-vehicle and the radar object are the same object. It is determined that there is, and the process proceeds to S464.
- the collision reduction ECU 10 When the detection areas of a plurality of radar objects have an overlapping portion with respect to the detection area of one image non-vehicle (S452: Yes), the collision reduction ECU 10 has the same ground speed of the plurality of radar objects in a range that considers an error. It is determined whether or not (S454).
- the ground speed of the radar object is calculated in the process in S400 of FIG.
- the collision mitigation ECU 10 When there are different ground speeds of a plurality of radar objects (S454: No), the collision mitigation ECU 10 has a ground speed less than a speed threshold indicating that the object is other than a four-wheeled vehicle corresponding to the non-image vehicle. Is selected (S456), and the process proceeds to S452. There may be a plurality of radar objects other than the four wheels selected in S456.
- the ground speed of the radar object is assumed to be faster for a four-wheeled vehicle than for a four-wheeled vehicle. Therefore, if the speed threshold value is appropriately set, the radar object can be identified into two types, that is, a four-wheel vehicle and a vehicle other than the four-wheel vehicle.
- the collision mitigation ECU 10 determines whether or not the reflected wave intensities of the plurality of radar objects are the same in a range that takes into account the error (S458). If the reflected wave intensities of the plurality of radar objects are the same (S458: Yes), the collision mitigation ECU 10 moves the process to S462.
- the collision mitigation ECU 10 determines that the intensity of the reflected waves is less than an intensity threshold indicating that the object is other than a four-wheeled vehicle.
- An object is selected (S460), and the process proceeds to S452. There may be a plurality of radar objects other than the four-wheeled vehicle selected in S460.
- the detection area of the radar object having the ground speed or reflected wave intensity corresponding to the image non-vehicle is obtained. Selected.
- the process proceeds to S464 because the determination in S452 becomes “No” when the process proceeds from S456 or S460 to S452. If there are a plurality of selected radar object detection areas, the determinations in S452, S454, and S458 are “Yes”, and the process proceeds to S462.
- the collision mitigation ECU 10 can select a radar object that is the same object as the non-image vehicle by selecting a detection area of the radar object that has the shortest distance from the non-image vehicle.
- the distance between the image non-vehicle and the radar object is calculated as distances L1 and L2 between the detection points Pr1 and Pr2 detected by the millimeter wave radar 20 and the detection point Pi detected by the monocular camera 22, as shown in FIG. Then, the shorter radar object detection area of the distances L1 and L2 is selected. When there are three or more radar objects, the detection area of the radar object with the shortest distance from the image non-vehicle is selected.
- the collision reduction ECU 10 combines one radar object and one image object having an overlapping portion in the detection area. That is, it is determined that one radar object having an overlapping portion in the detection region and one image non-vehicle are the same object.
- the collision reduction ECU 10 calculates the reliability indicating the certainty of the current determination result in which it is determined in S464 that the radar object and the non-image vehicle are the same object.
- the reliability of the determination result is the same as the criteria (1) to (3) described in the first embodiment.
- the collision reduction ECU 10 determines whether or not there is an overlapping portion in the detection area between the image vehicle and the radar object. When there is no overlapping portion (S480: No), the collision reduction ECU 10 determines that the image vehicle and the radar object are not the same object but different objects, and ends this process. In this case, separate collision mitigation control is executed for the image vehicle and the radar object in S410 of FIG.
- the collision reduction ECU 10 determines whether or not the detection regions of a plurality of radar objects have an overlapping portion with respect to the detection region of one image vehicle (S482). When the detection area of one radar object has an overlapping part with respect to the detection area of one image vehicle (S482: No), the collision reduction ECU 10 determines that the image vehicle and the radar object are the same object. Determination is made, and the process proceeds to S494.
- the collision mitigation ECU 10 When the detection areas of a plurality of radar objects have overlapping portions with respect to the detection area of one image vehicle (S482: Yes), the collision mitigation ECU 10 has the same ground speed of the plurality of radar objects within a range that considers an error. It is determined whether or not there is (S484).
- the ground speed of the radar object is calculated in the process in S400 of FIG.
- the collision reduction ECU 10 When there are different ground speeds of a plurality of radar objects (S484: No), the collision reduction ECU 10 has a ground speed equal to or higher than a speed threshold indicating that the object is a four-wheeled vehicle corresponding to the image vehicle.
- a radar object is selected (S486), and the process proceeds to S482. If the speed threshold value is appropriately set, the radar object can be identified into two types, a four-wheeled vehicle and a non-four-wheeled vehicle. There may be a plurality of radar objects of the four-wheeled vehicle selected in S486.
- the collision mitigation ECU 10 determines whether or not the reflected wave intensities of the plurality of radar objects are the same in a range that takes into account the error (S488). When the intensity of the reflected waves of the plurality of radar objects is the same (S488: Yes), the collision mitigation ECU 10 moves the process to S492.
- the collision mitigation ECU 10 determines that the intensity of the reflected waves is equal to or greater than an intensity threshold indicating that the object is a four-wheeled vehicle. Is selected (S490), and the process proceeds to S482. There may be a plurality of radar objects of the four-wheeled vehicle selected in S490.
- the processing of S486 is executed, and the processing of S490 is executed based on the determination result of S488, so that the detection area of the radar object having the ground speed or reflected wave intensity corresponding to the image vehicle is selected. Is done.
- the determination in S482 becomes “No”, and the process proceeds to S494. If there are a plurality of detection areas of the selected radar object, the determinations in S482, S484, and S488 are “Yes”, and the process proceeds to S492.
- the radar object having the shortest distance from the image vehicle is the same as the image vehicle. It is a trap of the object.
- the collision reduction ECU 10 can select a radar object that is the same object as the image vehicle by selecting a detection area of the radar object that is the shortest distance from the image vehicle.
- the distance between the image vehicle and the radar object is calculated in the same manner as the distance between the image non-vehicle and the radar object.
- the collision reduction ECU 10 combines one radar object having an overlapping portion in the detection region and one image vehicle. That is, it is determined that one radar object having an overlapping portion in the detection region and one image vehicle are the same object.
- the collision mitigation ECU 10 calculates the reliability indicating the certainty of the current determination result determined in S494 that the radar object and the image vehicle are the same object.
- the reliability of the determination result is the same as the criteria (1) to (3) described in the first embodiment.
- the detection is performed based on at least one of the ground speed of the radar object and the intensity of the reflected wave of the radar object. It is noted that there is a correspondence between the type of radar object to be detected and the type of image object detected based on the captured image.
- a radar object having a ground speed or reflected wave intensity corresponding to the type is selected.
- the detection area of the radar object having the shortest distance from the image object is selected.
- the detection areas of a plurality of image objects have overlapping portions with respect to the detection area of one radar object, or the detection areas of a plurality of radar objects with respect to the detection area of one image object If there is an overlap portion, one radar object detection area and one image object detection area are selected based on the corresponding types of the radar object and the image object, and are determined to be the same object.
- This technique is not limited to the field of reducing the collision with other objects, and may be applied to any field.
- the radio wave of any wavelength is not limited to the millimeter wave.
- a captured image for detecting the target object is captured, not only a monocular camera but also a stereo camera may be used.
- the detection areas 210 and 212 of two image objects have overlapping portions 220 and 222, and the detection area of one image object If the detection areas 200 and 202 of the two radar objects have overlapping portions 222 and 224 when focusing on 212, the following object detection process may be executed.
- the radar object in the detection area 200 and the image object in the detection area 212 are the same object. Since the determination results match, it is determined that the radar object in the detection area 200 and the image object in the detection area 212 are the same object.
- the radar object in the detection area 200 and the image object in the detection area 212 are the same for the detection area 200 and the detection areas 210 and 212, and the detection area for the detection area 212 and the detection areas 200 and 202 is detected. If it is determined that the radar object 202 and the image object in the detection area 212 are the same object, the determination results do not match. Therefore, the radar object and the image object in any detection area are determined to be different objects.
- the types of the radar object and the image object are classified into two types, that is, a four-wheel vehicle and a vehicle other than the four-wheel vehicle.
- the types of the radar object and the image object may be classified into three or more types according to the identification accuracy of the object by the radar and the camera.
- the types of radar objects and image objects may be classified into four-wheeled vehicles, two-wheeled vehicles, bicycles, and pedestrians.
- a system including the object detection device as a constituent element, an object detection program for causing a computer to function as the object detection device, and the object detection program are recorded.
- the present invention can also be realized in various forms such as a recording medium and an object detection method.
- the collision reduction ECU 10 of each of the above embodiments corresponds to the object detection device, the first specifying unit, the second specifying unit, the determining unit, the region selecting unit, the reliability obtaining unit, and the result selecting unit described in the claims. More specifically, in FIG. 2, the process of S402 constitutes the first specifying means described in the claims as a function. The process of S406 constitutes the second specifying means described in the claims as a function.
- FIG. 6, and FIG. 7, the processing of S434, S464, and S494 constitutes the determination means described in the claims as a function.
- FIG. 3, FIG. 6, and FIG. 7, the processing of S422 to S432, S452 to S462, and S482 to S492 constitutes the region selection means described in the claims as a function.
- FIG. 3, FIG. 6, and FIG. 7, the processing of S436, S466, and S496 constitutes the reliability acquisition means described in the claims as a function.
- the processing of S438 to S442, S468 to S472, and S498 to S502 constitutes the result selection means described in the claims as a function.
- the detection areas 200, 240, and 242 correspond to the first area described in the claims.
- the detection areas 210, 212, and 230 correspond to the second area described in the claims.
- the detection points Pr, Pr1, and Pr2 correspond to the first detection points recited in the claims.
- the detection points Pi, Pi1, and Pi2 correspond to the second detection point in the claims.
- Collision mitigation system 10: Collision mitigation ECU (object detection device, first identification unit, second identification unit, determination unit, region selection unit, reliability acquisition unit, result selection unit), 200, 240, 242: detection Region (first region), 210, 212, 230: detection region (second region), 220, 222, 250, 252: overlapping portion, Pr, Pr1, Pr2: detection point (first detection point), Pi, Pi1, Pi2: detection points (second detection points)
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
物体検出装置(10)は、レーダ(20)により検出された第1の物体の位置を表す第1の検出点(Pr、Pr1、Pr2)を含む第1の領域(200、240、242)を特定し、カメラ(22)により検出された第2の物体の位置を表す第2の検出点(Pi、Pi1、Pi2)を含む第2の領域(230、210、212)を特定する。判定手段(S434)は、一つの第1の領域と一つの第2の領域とに重複部が存在することを条件として、第1の物体と第2の物体とが同一の物体であると判定する。領域選択手段(S422~S432)は、一つの第1の領域に対し複数の第2の領域が重複部を有する場合、第1の物体の反射波の強度と第2の物体の種類との対応関係に基づいて、重複部が存在する一つの第1の領域と一つの第2の領域とを選択する。
Description
本出願は、2015年5月29日に出願された日本出願番号2015-109943号に基づくもので、ここにその記載内容を援用する。
本開示は、レーダおよびカメラを用いて物体を検出する技術に関する。
車両の衝突軽減システムでは、他の車両や車両以外の歩行者等の物体を精度よく検出することが求められる。そこで、レーダおよびカメラを用いて物体を検出する技術が提案されている(例えば、特許文献1参照)。
特許文献1に記載の技術では、レーダにより検出された物体の検出点と、カメラの撮像画像により検出された物体の検出点とのそれぞれに対し、検出誤差を考慮して検出点を含む領域を設定している。そして、レーダにより検出された物体の検出点を含む領域と、カメラの撮像画像により検出された物体の検出点を含む領域とに重複部が存在すると、レーダとカメラとによりそれぞれ検出された物体は同一の物体であると判定している。
レーダにより検出された物体の検出点を含む一つの領域に着目すると、例えば、その物体の周囲に他の物体が存在する場合、カメラの撮像画像により検出された複数の物体の検出点を含む複数の領域がレーダにより検出された物体の一つの領域と重複部を有することがある。
同様に、カメラの撮像画像により検出された物体の検出点を含む一つの領域に着目すると、レーダにより検出された複数の物体の検出点を含む複数の領域がカメラの撮像画像により検出された物体の一つの領域と重複部を有することがある。
このように、レーダまたはカメラの一方により検出された物体の検出点を含む一つの領域に対し、レーダまたはカメラの他方により検出された物体の検出点を含む複数の領域が重複部を有する場合、どの物体が同一であると判定するかについて、特許文献1に記載の技術では考慮されていない。
本開示は、レーダまたはカメラの一方により検出された物体の検出点を含む一つの領域に対し、レーダまたはカメラの他方により検出された物体の検出点を含む複数の領域が重複部を有する場合、どの物体が同一であるかを判定する技術を提供することを目的とする。
本開示の第一の態様の物体検出装置は、車両に搭載される物体検出装置であって、第1特定手段と、第2特定手段と、判定手段と、領域選択手段と、を備えている。
第1特定手段は、レーダによる検出情報に基づいて検出された第1の物体について、第1の物体の位置を表す第1の検出点を含む第1の領域を特定する。第2特定手段は、カメラによる撮像画像に基づいて検出された第2の物体について、第2の物体の位置を表す第2の検出点を含む第2の領域を特定する。
第1特定手段は、レーダによる検出情報に基づいて検出された第1の物体について、第1の物体の位置を表す第1の検出点を含む第1の領域を特定する。第2特定手段は、カメラによる撮像画像に基づいて検出された第2の物体について、第2の物体の位置を表す第2の検出点を含む第2の領域を特定する。
判定手段は、一つの第1の領域と一つの第2の領域とに領域の重なる重複部が存在することを条件として、第1の物体と第2の物体とは同一の物体であると判定する。
領域選択手段は、一つの第1の領域に対し複数の第2の領域が重複部を有するか、あるいは一つの第2の領域に対し複数の第1の領域が重複部を有する場合、第1特定手段が検出情報に基づいて検出する第1の物体の対地速度、ならびに第1特定手段が検出情報に基づいて検出する第1の物体の反射波の強度の少なくとも一方と、第2特定手段が撮像画像に基づいて検出する第2の物体の種類との対応関係に基づいて、判定手段が同一の物体であると判定するための条件である重複部が存在する一つの第1の領域と一つの第2の領域とを選択する。
領域選択手段は、一つの第1の領域に対し複数の第2の領域が重複部を有するか、あるいは一つの第2の領域に対し複数の第1の領域が重複部を有する場合、第1特定手段が検出情報に基づいて検出する第1の物体の対地速度、ならびに第1特定手段が検出情報に基づいて検出する第1の物体の反射波の強度の少なくとも一方と、第2特定手段が撮像画像に基づいて検出する第2の物体の種類との対応関係に基づいて、判定手段が同一の物体であると判定するための条件である重複部が存在する一つの第1の領域と一つの第2の領域とを選択する。
この構成において、第1の物体の対地速度と第1の物体の反射波の強度とは、第1の物体の種類に応じて変化するので、第1の物体の対地速度と第1の物体の反射波の強度との少なくとも一方に基づいて、第1の物体の種類を検出できる。また、カメラによる撮像画像に基づいて、例えばパターンマッチ等により第2の物体の種類を検出できる。
物体の種類とは、例えば四輪自動車、二輪自動車、自転車、歩行者等のことである。物体の種類として、例えば四輪自動車と四輪自動車以外とのように二分類に分けてもよい。
そして、第1の物体と第2の物体とが同一の物体であるなら、第1の物体の対地速度と第1の物体の反射波の強度との少なくとも一方に基づいて検出される第1の物体の種類と、撮像画像に基づいて検出される第2の物体の種類とは対応関係にある筈である。
そして、第1の物体と第2の物体とが同一の物体であるなら、第1の物体の対地速度と第1の物体の反射波の強度との少なくとも一方に基づいて検出される第1の物体の種類と、撮像画像に基づいて検出される第2の物体の種類とは対応関係にある筈である。
したがって、第1の物体の対地速度と第1の物体の反射波の強度との少なくとも一方と、第2の物体の種類との対応関係に基づいて、判定手段が同一の物体であると判定するための条件である重複部が存在する一つの第1の領域と一つの第2の領域とを選択できる。
また、本開示の第一の態様の物体検出方法によれば、上記同様の理由により、本開示の第一の態様の物体検出装置において既に述べた効果と同様の効果を得ることができる。
また、本開示の第一の態様の物体検出方法によれば、上記同様の理由により、本開示の第一の態様の物体検出装置において既に述べた効果と同様の効果を得ることができる。
尚、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図1は、第1実施形態による衝突軽減システムを示すブロック図であり、
図2は、第1実施形態による衝突軽減処理を示すフローチャートであり、
図3は、第1実施形態による物体検出処理を示すフローチャートであり。
図4は、第1実施形態による物体に対するレーダとカメラとのそれぞれの検出結果を示す説明図であり、
図5は、第2実施形態による物体に対するレーダとカメラとのそれぞれの検出結果を示す説明図であり、
図6は、第2実施形態による物体検出処理を示すフローチャートであり、
図7は、第2実施形態による他の物体検出処理を示すフローチャートであり、
図8は、他の実施形態による物体に対するレーダとカメラとのそれぞれの検出結果を示す説明図である。
以下、本発明が適用された実施形態を図に基づいて説明する。
[1.第1実施形態]
[1-1.構成]
図1に示す衝突軽減システム2は、乗用車等の車両に搭載されており、衝突軽減ECU(Electronic Control Unit)10と、ミリ波レーダ20と、単眼カメラ22と、ブレーキECU30と、エンジンECU32と、報知装置34とを備えている。
[1.第1実施形態]
[1-1.構成]
図1に示す衝突軽減システム2は、乗用車等の車両に搭載されており、衝突軽減ECU(Electronic Control Unit)10と、ミリ波レーダ20と、単眼カメラ22と、ブレーキECU30と、エンジンECU32と、報知装置34とを備えている。
物体検出装置として機能する衝突軽減ECU10は、ミリ波レーダ20と、単眼カメラ22と、ブレーキECU30と、エンジンECU32と、報知装置34とのそれぞれと通信可能に接続されている。尚、通信を実現するための構成は特に限定されない。
衝突軽減ECU10は、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13などを備えており、衝突軽減システム2を統括制御する。衝突軽減ECU10は、CPU11のマスタクロックに基づく一定時間ごとに、ミリ波レーダ20からのレーダ信号および単眼カメラ22からの画像信号を取り入れる。
ミリ波レーダ20は、ミリ波を利用して他車両や他車両以外の歩行者等の物体を検出するためのレーダであって、例えば、衝突軽減システム2が搭載された自車両の前側のフリロントグリルの中央に取り付けられている。ミリ波レーダ20は、ミリ波を水平面内でスキャンしながら自車両から前方に向けて送信し、反射してきたミリ波を受信することによって得られる送受信データを検出情報として衝突軽減ECU10に送信する。
単眼カメラ22は、1台のCCD(Charge Coupled Device)カメラを備え、例えば、自車両の車室内のウィンドウシールドのミラーの中央付近に取り付けられている。単眼カメラ22は、CCDカメラで撮像した撮像画像のデータを、画像信号として衝突軽減ECU10送信する。
ブレーキECU30は、CPU30a、ROM30b、RAM30cなどを備えており、自車両の制動を制御する。具体的には、ブレーキECU30は、ブレーキ液圧回路に設けられた増圧制御弁および減圧制御弁を開閉するアクチュエータであるブレーキACT(Actuator)を、ブレーキペダルの踏込量を検出するセンサの検出値に応じて制御する。また、ブレーキECU30は、衝突軽減ECU10からの指示に従い、自車両の制動力を増加させるようにブレーキACTを制御する。
エンジンECU32は、CPU32a、ROM32b、RAM32cなどを備えており、エンジンの始動、停止、燃料噴射量、点火時期等を制御する。具体的には、エンジンECU32は、吸気管に設けられたスロットルを開閉するアクチュエータであるスロットルACTを、アクセルペダルの踏込量を検出するセンサの検出値に応じて制御する。また、エンジンECU32は、衝突軽減ECU10からの指示に従い、内燃機関の駆動力を減少させるようにスロットルACTを制御する。
報知装置34は、衝突軽減ECU10から警報信号を受信すると、音や光などで車両の運転者に対する報知を行う。
[1-2.処理]
(1)衝突軽減処理
次に、衝突軽減ECU10による衝突軽減処理について説明する。衝突軽減ECU10のROM12、RAM13には、物体との衝突を軽減するためのプログラムである衝突軽減プログラムが記憶されている。以下、衝突軽減プログラムに従い衝突軽減ECU10のCPU11が実行する衝突軽減処理について、図2のフローチャートを用いて説明する。尚、図2に示す処理は、所定サイクルで繰り返し実行される。
(1)衝突軽減処理
次に、衝突軽減ECU10による衝突軽減処理について説明する。衝突軽減ECU10のROM12、RAM13には、物体との衝突を軽減するためのプログラムである衝突軽減プログラムが記憶されている。以下、衝突軽減プログラムに従い衝突軽減ECU10のCPU11が実行する衝突軽減処理について、図2のフローチャートを用いて説明する。尚、図2に示す処理は、所定サイクルで繰り返し実行される。
図2のS400において、衝突軽減ECU10は、ミリ波レーダ20から送信されるミリ波の電波と、検出対象の物体から反射される反射波とを検出情報として、検出対象の物体を検出情報に基づいて検出する。具体的には、衝突軽減ECU10は、検出情報に基づいて、自車両から物体までの直線距離と、自車両の前方方向を基準とした場合の対象物体の角度位置(θ)により表わされる水平方位位置とを算出して特定する。
そして、これらの算出値に基づき、図4に示すように、XY平面における物体の位置座標を、XY平面における物体の検出点Prとして算出して特定する。ミリ波レーダ20により検出された検出点Prは、特許請求の範囲に記載された第1の検出点に相当する。XY平面は、自車両100の車幅方向を横方向としたX軸と自車両100の車長方向を前方方向としたY軸とにより規定される。
また、このXY平面では、ミリ波レーダ20が設けられた自車両の先端位置が基準点Poとして設定され、物体の検出点Prの位置は基準点Poに対する相対位置により表される。尚、図4は、自車両の前方かつ右寄りに位置する物体の例である。
さらに、S400において、物体の検出点Prに加え、物体との相対速度と自車両の速度とから物体の対地速度を算出する。以下の説明では、S400でミリ波レーダ20による検出情報に基づいて検出した物体を「レーダ物体」という。
図2のS402において、衝突軽減ECU10は、S400で検出したレーダ物体の検出点Prを中心とする検出領域200を特定する。検出領域200は、特許請求の範囲に記載された第1の領域に相当する。
具体的には、衝突軽減ECU10は、レーダ物体の検出点PrのY座標と水平方位位置とを基準として、Y座標と水平方位位置とのそれぞれについて、ミリ波レーダ20の特性に基づきあらかじめ設定されている想定誤差分の幅を持たせた領域を検出領域200として特定する。
例えば、検出点Prを(Yr、θr)、Y座標の想定誤差を±EYr、水平方位位置(θ)の想定誤差を±Eθrとすると、検出領域200は、Y座標の範囲がYr-EYr≦Y≦Yr+EYr、水平方位位置(θ)の範囲がθr-Eθr≦θ≦θr+Eθrで表わされる。
つまり、検出領域200の水平方位の範囲は、基準点Poに対する水平方位位置θrを含む2Eθrの方位範囲において設定される。また、検出領域200のY軸方向の範囲は、XY平面におけるレーダ物体の検出点PrのY座標であるYrを含むY軸方向における2EYrのY座標範囲として設定される。
S404において、衝突軽減ECU10は、単眼カメラ22が撮像した撮像画像に基づいて物体を検出する。具体的には、衝突軽減ECU10は、撮像画像を解析して物体を識別する。この識別は、例えば、予め記憶されている物体モデルの辞書を用いたパターンマッチング処理を実行することにより行われる。
物体モデルは、車両、歩行者等の物体の種類ごとに用意されているため、パターンマッチング処理により物体の種類が特定される。そして、衝突軽減ECU10は、撮像画像における物体の上下方向の位置に基づいて、前述したXY平面におけるY座標を特定し、撮像画像における物体の左右方向の位置に基づいて、自車両の前方方向を基準とした場合の対象物体の角度位置により表わされる水平方位位置を特定する。
すなわち、自車両の前方方向における物体の位置のY座標が大きい、つまり物体が遠いほど、撮像画像における物体の下端位置は、撮像画像の上端側に位置する傾向がある。このため、撮像画像における物体の下端位置が分れば、Y座標を特定することができる。ただし、このような特定方法は、物体の下端位置が正確に検出されない場合に、Y座標の検出精度が下がるという特性がある。
また、X=0の直線で表わされる自車両の前方方向を基準とする物体の角度方向のずれ、つまり傾きが大きいほど、単眼カメラ22の無限遠点(FOE:Focus of Expansion)を基準とするその物体の左右方向へのずれが大きくなる傾向にある。このため、X=0の直線を基準としたときのPoおよび物体を通る直線の角度、ならびに物体の中心を通る鉛直線までの距離に基づいて、物体の水平方位位置を特定することができる。
つまり、S404においては、図4に示すように、XY平面における物体のY座標および水平方位位置を、XY平面における物体の検出点Piの位置として特定する。物体の検出点Piの位置は基準点Poに対する相対位置により表される。図4では、単眼カメラ22により検出された2個の検出点Pi1、Pi2を示している。単眼カメラ22により検出された検出点Pi1、Pi2は、特許請求の範囲に記載された第2の検出点に相当する。
以下の説明では、S404において単眼カメラ22による撮像画像に基づいて検出した物体を「画像物体」という。
次に、図2のS404で検出した画像物体の検出点Pi1、Pi2、後述する第2実施形態では検出点Pi、を中心とする検出領域210、212を設定する(S406)。
次に、図2のS404で検出した画像物体の検出点Pi1、Pi2、後述する第2実施形態では検出点Pi、を中心とする検出領域210、212を設定する(S406)。
具体的には、衝突軽減ECU10は、検出点Pi1、Pi2のY座標および水平方位位置を基準として、Y座標および水平方位位置のそれぞれについて、単眼カメラ22の特性に基づきあらかじめ設定されている想定誤差分の幅を持たせた領域を、検出領域210、212として設定する。検出領域210、212は、特許請求の範囲に記載された第2の領域に相当する。
単眼カメラ22による検出点Pi1、Pi2を中心とする検出領域210、212の設定は、前述したミリ波レーダ20による検出領域200の設定と同様に行われる。
図4に示す検出点Pi1の検出領域210を例にすると、検出点Pi1を(Yi1、θi1)、Y座標の想定誤差を±EYi1、水平方位位置θの想定誤差を±Eθi1とすると、検出領域210は、Y座標の範囲がYi1-EYi1≦Y≦Yi1+EYi1、水平方位位置(θ)の範囲がθi1-Eθi1≦θ≦θi1+Eθi1で表わされる。
次に、図2のS408において、衝突軽減ECU10は、ミリ波レーダ20により検出されたレーダ物体と、単眼カメラ22により検出された画像物体とに基づいて、物体の検出処理を実行する。S408の物体検出処理については後述する。
S408の物体検出処理が実行されると、衝突軽減ECU10は、S410において、検出した物体の位置および物体の検出結果の信頼度に応じた衝突軽減制御を行う。例えば、衝突軽減ECU10は、物体と衝突する可能性がある場合、報知装置34に警報信号を送信して運転者に対する報知を行わせる。また、衝突軽減ECU10は、物体と衝突する可能性が高い場合には、エンジンECU32に内燃機関の駆動力を減少させる指示を行い、また、ブレーキECU30に自車両の制動力を増加させる指示行う。
そして、衝突軽減ECU10は、信頼度に応じて制御態様を異ならせる。例えば、信頼度が高い場合には、信頼度が低い場合と比較して、制御のタイミングを早くする。ここで、物体の検出結果の信頼度は、ミリ波レーダ20により検出されたレーダ物体と、単眼カメラ22により検出された画像物体とを同一の物体であるとする判定結果に対する信頼度である。判定結果に対する信頼度については、後述する物体検出処理で説明する。
(2)物体検出処理
図2のS408において実行される物体検出処理について説明する。
図3のS420において、衝突軽減ECU10は、レーダ物体と画像物体との検出領域に重複部が存在するか否かを判定する。重複部が存在しない場合(S420:No)、衝突軽減ECU10は、レーダ物体と画像物体との距離が離れすぎているので同一の物体ではなく異なる物体であると判断し、本処理を終了する。この場合、図2のS410において、レーダ物体と画像物体とに対し、別々の衝突軽減制御が実行される。
図2のS408において実行される物体検出処理について説明する。
図3のS420において、衝突軽減ECU10は、レーダ物体と画像物体との検出領域に重複部が存在するか否かを判定する。重複部が存在しない場合(S420:No)、衝突軽減ECU10は、レーダ物体と画像物体との距離が離れすぎているので同一の物体ではなく異なる物体であると判断し、本処理を終了する。この場合、図2のS410において、レーダ物体と画像物体とに対し、別々の衝突軽減制御が実行される。
重複部が存在する場合(S420:Yes)、衝突軽減ECU10は、一つのレーダ物体の検出領域に対し、複数の画像物体の検出領域が重複部を有するか否かを判定する(S422)。一つのレーダ物体の検出領域に対し、複数ではなく一つの画像物体の検出領域が重複部を有する場合(S422:No)、衝突軽減ECU10は、レーダ物体と画像物体とは同一の物体であると判断し、S434に処理を移行する。
一つのレーダ物体の検出領域に対し、複数の画像物体の検出領域が重複部を有する場合(S422:Yes)、衝突軽減ECU10は、パターンマッチングにより特定された複数の画像物体の種類が同じであるか否かを判定する(S424)。画像物体の種類は、図2のS404に処理において特定される。
図4に示す例では、一つのレーダ物体の検出点Prを含む検出領域200に対し、二つの画像物体の検出点Pi1、Pi2をそれぞれ含む検出領域210、212が重複部220、222を有している。一つのレーダ物体の検出領域に対し、三つ以上の画像物体の検出領域が重複部を有してもよい。
複数の画像物体に異なる種類が存在する場合(S424:No)、衝突軽減ECU10は、送信したミリ波に対し今回の検出対象であるレーダ物体からの反射波の強度が、レーダ物体が4輪自動車であることを示す強度閾値以上であるか否かを判定する(S426)。
レーダ物体からの反射波の強度は、レーダ物体の反射面が広いほど強く、レーダ物体の反射面が滑らかで硬いほど強い。したがって、強度閾値を適切に設定すれば、レーダ物体を4輪自動車と4輪自動車以外との2種類に分類できる。
反射波の強度が強度閾値以上の場合(S426:Yes)、衝突軽減ECU10は、複数の画像物体のうち種類が4輪自動車である検出領域を選択し(S428)、S422に処理を移行する。S428で選択される4輪自動車の検出領域は複数でもよい。
反射波の強度が強度閾値未満の場合(S426:No)、衝突軽減ECU10は、複数の画像物体のうち種類が4輪自動車以外の検出領域を選択し(S430)、S422に処理を移行する。S430で選択される4輪自動車以外の検出領域は複数でもよい。
S426の判定結果に基づいてS428またはS430の処理を実行することにより、レーダ物体からの反射波の強度に対応したレーダ物体と同じ種類の画像物体の検出領域が選択される。
そして、S428またはS430で選択された画像物体の検出領域が一つであれば、S428またはS430からS422に処理を移行するとS422の判定が「No」になるので、S434に処理が移行される。また、選択された画像物体の検出領域が複数であれば、S422およびS424の判定は「Yes」になるので、S432に処理が移行される。
ここで、一つのレーダ物体の検出領域と、このレーダ物体と同じ種類の複数の画像物体の検出領域とが重複部を有する場合、レーダ物体との距離が最短の画像物体がレーダ物体と同一の物体の筈である。そこで、S432において、衝突軽減ECU10は、レーダ物体との距離が最短の画像物体の検出領域を選択することにより、レーダ物体と同一の物体である画像物体を選択できる。
レーダ物体と画像物体との距離は、図4に示すように、ミリ波レーダ20による検出点Prと、単眼カメラ22による検出点Pi1、Pi2との距離L1、L2として算出される。そして、距離L1、L2のうち短い方の画像物体の検出領域が選択される。画像物体が三つ以上の場合には、レーダ物体との距離が最短の画像物体の検出領域が選択される。
S434において、衝突軽減ECU10は、検出領域に重複部を有する一つのレーダ物体と一つの画像物体とを結合する。つまり、検出領域に重複部を有する一つのレーダ物体と一つの画像物体とを同一の物体であると判定する。
S436において、衝突軽減ECU10は、S434においてレーダ物体と画像物体とが同一の物体であると判定した今回の判定結果の確からしさを示す信頼度を算出する。判定結果の信頼度は、以下の(1)~(3)のいずれかの基準に基づいて算出される。
(1)結合したレーダ物体と画像物体との検出点の距離が短いほど信頼度は高い。
(2)結合したレーダ物体と画像物体との検出領域の重複部の面積が大きいほど信頼度は高い。
(3)所定の検出サイクルにおいて、レーダ物体と画像物体とが同一の物体であると判定された回数が多いほど信頼度は高い。
(1)結合したレーダ物体と画像物体との検出点の距離が短いほど信頼度は高い。
(2)結合したレーダ物体と画像物体との検出領域の重複部の面積が大きいほど信頼度は高い。
(3)所定の検出サイクルにおいて、レーダ物体と画像物体とが同一の物体であると判定された回数が多いほど信頼度は高い。
S438において、衝突軽減ECU10は、今回算出した判定結果の信頼度が前回設定された信頼度以上であるか否かを判定する。
今回算出した判定結果の信頼度が前回設定された信頼度以上の場合(S438:Yes)、衝突軽減ECU10は、今回の判定結果を今回の判定結果として設定し、今回算出した判定結果の信頼度を今回の信頼度として設定する(S440)。
今回算出した判定結果の信頼度が前回設定された信頼度以上の場合(S438:Yes)、衝突軽減ECU10は、今回の判定結果を今回の判定結果として設定し、今回算出した判定結果の信頼度を今回の信頼度として設定する(S440)。
今回算出した判定結果の信頼度が前回設定された信頼度よりも低い場合(S438:No)、衝突軽減ECU10は、前回の判定結果を今回の判定結果として設定し、前回設定された信頼度を今回の信頼度として設定する(S442)。
[1-3.効果]
第1実施形態では、レーダ物体と画像物体とが同一の物体であるなら、レーダ物体の対地速度とレーダ物体の反射波の強度との少なくとも一方に基づいて検出されるレーダ物体の種類と、撮像画像に基づいて検出される画像物体の種類とは対応関係にあることに着目している。
第1実施形態では、レーダ物体と画像物体とが同一の物体であるなら、レーダ物体の対地速度とレーダ物体の反射波の強度との少なくとも一方に基づいて検出されるレーダ物体の種類と、撮像画像に基づいて検出される画像物体の種類とは対応関係にあることに着目している。
そこで、一つのレーダ物体の検出領域200に対し、複数の画像物体の検出領域、例えば第1実施形態では、二つの画像物体の検出領域210、212、が重複部を有している場合、レーダ物体からの反射波の強度に対応する種類の画像物体の検出領域を選択する。選択された画像物体がさらに複数ある場合には、レーダ物体との距離が最短の画像物体の検出領域が選択される。
これにより、一つのレーダ物体の検出領域に対し、複数の画像物体の検出領域が重複部を有していても、レーダ物体の種類に対応した適切な一つの画像物体の検出領域を選択できる。その結果、一つのレーダ物体の検出領域に対し複数の画像物体の検出領域が重複部を有していても、一つのレーダ物体と選択された一つの画像物体とを同一の物体であると判定できる。
[2.第2実施形態]
[2-1.処理]
第2実施形態の衝突軽減システムの構成は第1実施形態の衝突軽減システム2と実質的に同一であるので、説明を省略する。第2実施形態では、図2のS408において実行される物体検出処理が第1実施形態と異なっている。
[2-1.処理]
第2実施形態の衝突軽減システムの構成は第1実施形態の衝突軽減システム2と実質的に同一であるので、説明を省略する。第2実施形態では、図2のS408において実行される物体検出処理が第1実施形態と異なっている。
第2実施形態では、図5に示すように、単眼カメラ22により検出される一つの画像物体の検出点Piを含む検出領域230に対し、ミリ波レーダ20により検出される複数のレーダ物体の検出点Pr1、Pr2を含む検出領域240、242が重複部250、252を有している場合の物体検出処理を実行する。画像物体およびレーダ物体の検出領域は、第1実施形態と同様に設定される。
[2-2.物体検出処理]
(1)画像物体が4輪自動車以外
まず、図2のS408において実行される第2実施形態の物体検出処理を、画像物体が4輪自動車以外(以下、画像物体が4輪自動車以外の物体を「画像非車両」とも言う。)の場合に実行する例について説明する。
(1)画像物体が4輪自動車以外
まず、図2のS408において実行される第2実施形態の物体検出処理を、画像物体が4輪自動車以外(以下、画像物体が4輪自動車以外の物体を「画像非車両」とも言う。)の場合に実行する例について説明する。
図5に示す例では、画像物体が4輪自動車(以下、画像物体が4輪自動車の物体を「画像車両」とも言う。)または画像非車両の場合に、検出点Piを含む検出領域230に対し、二つのレーダ物体の検出点Pr1、Pr2をそれぞれ含む検出領域240、242が重複部250、252を有している。一つの画像物体の検出領域に対し、三つ以上のレーダ物体の検出領域が重複部を有してもよい。
図6のS450において、衝突軽減ECU10は、画像非車両とレーダ物体との検出領域に重複部が存在するか否かを判定する。重複部が存在しない場合(S450:No)、衝突軽減ECU10は、画像非車両とレーダ物体とは同一の物体ではなく異なる物体であると判断し、本処理を終了する。この場合、図2のS410において、画像非車両とレーダ物体とに対し、別々の衝突軽減制御が実行される。
重複部が存在する場合(S450:Yes)、衝突軽減ECU10は、一つの画像非車両の検出領域に対し、複数のレーダ物体の検出領域が重複部を有するか否かを判定する(S452)。一つの画像非車両の検出領域に対し、複数ではなく一つのレーダ物体の検出領域が重複部を有する場合(S452:No)、衝突軽減ECU10は、画像非車両とレーダ物体とは同一の物体であると判断し、S464に処理を移行する。
一つの画像非車両の検出領域に対し、複数のレーダ物体の検出領域が重複部を有する場合(S452:Yes)、衝突軽減ECU10は、複数のレーダ物体の対地速度が誤差を考慮した範囲で同じであるか否かを判定する(S454)。レーダ物体の対地速度は、図2のS400に処理において算出される。
複数のレーダ物体の対地速度に異なるものが存在する場合(S454:No)、衝突軽減ECU10は、対地速度が、画像非車両に対応して物体が4輪自動車以外であることを示す速度閾値未満であるレーダ物体を選択し(S456)、S452に処理を移行する。S456で選択される4輪以外のレーダ物体は複数でもよい。
レーダ物体の対地速度は、本実施形態では、4輪自動車であれば4輪自動車以外よりも速いものとする。したがって、速度閾値を適切に設定すれば、レーダ物体を4輪自動車と4輪自動車以外との2種類に識別できる。
複数のレーダ物体の対地速度が同じ場合(S454:Yes)、衝突軽減ECU10は、複数のレーダ物体の反射波の強度が誤差を考慮した範囲で同じであるか否かを判定する(S458)。複数のレーダ物体の反射波の強度が同じ場合(S458:Yes)、衝突軽減ECU10はS462に処理を移行する。
複数のレーダ物体の反射波の強度に異なるものが存在する場合(S458:No)、衝突軽減ECU10は、反射波の強度が、物体が4輪自動車以外であることを示す強度閾値未満であるレーダ物体を選択し(S460)、S452に処理を移行する。S460で選択される4輪自動車以外のレーダ物体は複数でもよい。
S454の判定結果に基づいてS456の処理を実行し、S458の判定結果に基づいてS460の処理を実行することにより、画像非車両に対応した対地速度または反射波の強度のレーダ物体の検出領域が選択される。
そして、S456またはS460で選択されたレーダ物体の検出領域が一つであれば、S456またはS460からS452に処理を移行するとS452の判定が「No」になるので、S464に処理が移行される。また、選択されたレーダ物体の検出領域が複数であれば、S452、S454およびS458の判定は「Yes」になるので、S462に処理が移行される。
ここで、一つの画像非車両の検出領域と、この画像非車両と同じ種類の複数のレーダ物体の検出領域とが重複部を有する場合、画像非車両との距離が最短のレーダ物体が画像非車両と同一の物体の筈である。そこで、S462において、衝突軽減ECU10が画像非車両との距離が最短のレーダ物体の検出領域を選択することにより、画像非車両と同一の物体であるレーダ物体を選択できる。
画像非車両とレーダ物体との距離は、図5に示すように、ミリ波レーダ20による検出点Pr1、Pr2と、単眼カメラ22による検出点Piとの距離L1、L2として算出される。そして、距離L1、L2のうち短い方のレーダ物体の検出領域が選択される。レーダ物体が三つ以上の場合には、画像非車両との距離が最短のレーダ物体の検出領域が選択される。
S464において、衝突軽減ECU10は、検出領域に重複部を有する一つのレーダ物体と一つの画像物体とを結合する。つまり、検出領域に重複部を有する一つのレーダ物体と一つの画像非車両とを同一の物体であると判定する。
S466において、衝突軽減ECU10は、S464においてレーダ物体と画像非車両とが同一の物体であると判定した今回の判定結果の確からしさを示す信頼度を算出する。判定結果の信頼度は、第1実施形態で説明した基準(1)~(3)と同じである。
S468~S472の処理は、前述した第1実施形態の図3のS438~S442の処理と実質的に同一であるから説明を省略する。
(2)画像物体が4輪自動車
次に、図2のS408において実行される第2実施形態の物体検出処理を、画像物体が4輪自動車である画像車両の場合に実行する例について説明する。
次に、図2のS408において実行される第2実施形態の物体検出処理を、画像物体が4輪自動車である画像車両の場合に実行する例について説明する。
図7のS480において、衝突軽減ECU10は、画像車両とレーダ物体との検出領域に重複部が存在するか否かを判定する。重複部が存在しない場合(S480:No)、衝突軽減ECU10は、画像車両とレーダ物体とは同一の物体ではなく異なる物体であると判断し、本処理を終了する。この場合、図2のS410において、画像車両とレーダ物体とに対し、別々の衝突軽減制御が実行される。
重複部が存在する場合(S480:Yes)、衝突軽減ECU10は、一つの画像車両の検出領域に対し、複数のレーダ物体の検出領域が重複部を有するか否かを判定する(S482)。一つの画像車両の検出領域に対し、複数ではなく一つのレーダ物体の検出領域が重複部を有する場合(S482:No)、衝突軽減ECU10は、画像車両とレーダ物体とは同一の物体であると判断し、S494に処理を移行する。
一つの画像車両の検出領域に対し、複数のレーダ物体の検出領域が重複部を有する場合(S482:Yes)、衝突軽減ECU10は、複数のレーダ物体の対地速度が誤差を考慮した範囲で同じであるか否かを判定する(S484)。レーダ物体の対地速度は、図2のS400に処理において算出される。
複数のレーダ物体の対地速度に異なるものが存在する場合(S484:No)、衝突軽減ECU10は、対地速度が、画像車両に対応して物体が4輪自動車であることを示す速度閾値以上であるレーダ物体を選択し(S486)、S482に処理を移行する。速度閾値を適切に設定すれば、レーダ物体を4輪自動車と4輪自動車以外との2種類に識別できる。S486で選択される4輪自動車のレーダ物体は複数でもよい。
複数のレーダ物体の対地速度が同じ場合(S484:Yes)、衝突軽減ECU10は、複数のレーダ物体の反射波の強度が誤差を考慮した範囲で同じであるか否かを判定する(S488)。複数のレーダ物体の反射波の強度が同じ場合(S488:Yes)、衝突軽減ECU10はS492に処理を移行する。
複数のレーダ物体の反射波の強度に異なるものが存在する場合(S488:No)、衝突軽減ECU10は、反射波の強度が、物体が4輪自動車であることを示す強度閾値以上であるレーダ物体を選択し(S490)、S482に処理を移行する。S490で選択される4輪自動車のレーダ物体は複数でもよい。
S484の判定結果に基づいてS486の処理を実行し、S488の判定結果に基づいてS490の処理を実行することにより、画像車両に対応した対地速度または反射波の強度のレーダ物体の検出領域が選択される。
そして、S486またはS490で選択されたレーダ物体の検出領域が一つであれば、S486またはS490からS482に処理を移行するとS482の判定が「No」になるので、S494に処理が移行される。また、選択されたレーダ物体の検出領域が複数であれば、S482、S484およびS488の判定は「Yes」になるので、S492に処理が移行される。
ここで、一つの画像車両の検出領域と、この画像車両と同じ種類の複数のレーダ物体の検出領域とが重複部を有する場合、画像車両との距離が最短のレーダ物体が画像車両と同一の物体の筈である。
そこで、S492において、衝突軽減ECU10が画像車両との距離が最短のレーダ物体の検出領域を選択することにより、画像車両と同一の物体であるレーダ物体を選択できる。画像車両とレーダ物体との距離は、前述した画像非車両とレーダ物体との距離と同様に算出される。
S494において、衝突軽減ECU10は、検出領域に重複部を有する一つのレーダ物体と一つの画像車両とを結合する。つまり、検出領域に重複部を有する一つのレーダ物体と一つの画像車両とを同一の物体であると判定する。
S496において、衝突軽減ECU10は、S494においてレーダ物体と画像車両とが同一の物体であると判定した今回の判定結果の確からしさを示す信頼度を算出する。判定結果の信頼度は、第1実施形態で説明した基準(1)~(3)と同じである。
S498~S502の処理は、前述した第1実施形態の図3のS468~S472の処理と実質的に同一であるから説明を省略する。
[2-2.効果]
以上説明した第2実施形態によると、以下の効果を得ることができる。
以上説明した第2実施形態によると、以下の効果を得ることができる。
第2実施形態でも、第1実施形態と同様に、レーダ物体と画像物体とが同一の物体であるなら、レーダ物体の対地速度とレーダ物体の反射波の強度との少なくとも一方に基づいて検出されるレーダ物体の種類と、撮像画像に基づいて検出される画像物体の種類とは対応関係にあることに着目している。
そこで、一つの画像物体の検出領域230に対し、複数のレーダ物体の検出領域、例えば第2実施形態では二つのレーダ物体の検出領域240、242が重複部を有している場合、画像物体の種類に対応する対地速度または反射波の強度を有するレーダ物体を選択する。選択されたレーダ物体がさらに複数ある場合には、画像物体との距離が最短のレーダ物体の検出領域が選択される。
これにより、一つの画像物体の検出領域に対し、複数のレーダ物体の検出領域が重複部を有していても、画像物体の種類に対応した適切な一つのレーダ物体の検出領域を選択できる。その結果、一つの画像物体の検出領域に対し複数のレーダ物体の検出領域が重複部を有していても、一つの画像物体と選択された一つのレーダ物体とを同一の物体であると判定できる。
[3.他の実施形態]
(1)上記実施形態の技術は、一つのレーダ物体の検出領域に対し複数の画像物体の検出領域が重複部を有するか、あるいは一つの画像物体の検出領域に対し複数のレーダ物体の検出領域が重複部を有する場合、レーダ物体と画像物体との対応する種類に基づいて、一つのレーダ物体の検出領域と一つの画像物体の検出領域とを選択して同一の物体であると判定する。この技術は、他の物体との衝突を軽減する分野に限らず、どのような分野に適用してもよい。
(1)上記実施形態の技術は、一つのレーダ物体の検出領域に対し複数の画像物体の検出領域が重複部を有するか、あるいは一つの画像物体の検出領域に対し複数のレーダ物体の検出領域が重複部を有する場合、レーダ物体と画像物体との対応する種類に基づいて、一つのレーダ物体の検出領域と一つの画像物体の検出領域とを選択して同一の物体であると判定する。この技術は、他の物体との衝突を軽減する分野に限らず、どのような分野に適用してもよい。
(2)図3のS426において、レーダ物体の反射波の強度が強度閾値以上であるか否かの判定に代えて、レーダ物体の対地速度が速度閾値以上であるか否かの判定を採用し、レーダ物体の種類に対応する画像物体の種類を選択してもよい。
(3)図7のS484とS486、あるいはS488とS490の処理のうち一方を省略してもよい。
(4)図3のS438~S442、図6のS468~S472、および図7のS498~S502の処理に代えて、常に今回の判定結果を採用してもよい。
(5)電波を送信して対象物体からの反射波を検出情報として対象物体を検出できるのであれば、ミリ波に限らずどのような波長の電波を使用してもよい。
(6)対象物体を検出する撮像画像を撮像するのであれば、単眼カメラに限らずステレオカメラを使用してもよい。
(7)図8に示すように、一つのレーダ物体の検出領域200に着目した場合に二つの画像物体の検出領域210、212が重複部220、222を有し、一つの画像物体の検出領域212に着目した場合に二つのレーダ物体の検出領域200、202が重複部222、224を有している場合、以下の物体検出処理を実行してもよい。
検出領域200と検出領域210、212、ならびに検出領域212と検出領域200、202について、両方ともに検出領域200のレーダ物体と検出領域212の画像物体とが同一の物体であると判定される場合は、判定結果が一致しているので、検出領域200のレーダ物体と検出領域212の画像物体とは同一の物体であると判定される。
これに対し、検出領域200と検出領域210、212について検出領域200のレーダ物体と検出領域212の画像物体とが同一の物体であると判定され、検出領域212と検出領域200、202について検出領域202のレーダ物体と検出領域212の画像物体とが同一の物体であると判定される場合は、判定結果が一致しない。そのため、いずれの検出領域のレーダ物体と画像物体も異なる物体であると判定される。
(8)上記実施形態では、レーダ物体と画像物体との種類を、4輪自動車と4輪自動車以外との2種類に分類した。これ以外にも、レーダとカメラによる物体の識別精度に応じて、レーダ物体と画像物体との種類を3種類以上に分類してもよい。例えば、レーダ物体と画像物体との種類を、4輪自動車と2輪自動車と自転車と歩行者とに分類してもよい。
(9)上記実施形態における一つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を一つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。尚、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
(10)上述した衝突軽減ECU10が実現する物体検出装置の他、当該物体検出装置を構成要素とするシステム、当該物体検出装置としてコンピュータを機能させるための物体検出プログラム、この物体検出プログラムを記録した記録媒体、物体検出方法など、種々の形態で本発明を実現することもできる。
なお、上記各実施形態の衝突軽減ECU10は、請求項記載の物体検出装置、第1特定手段、第2特定手段、判定手段、領域選択手段、信頼度取得手段、および結果選択手段に対応する。より具体的には、図2において、S402の処理は、機能として請求項記載の第1特定手段を構成する。S406の処理は、機能として請求項記載の第2特定手段を構成する。
図3、図6、および図7において、S434、S464、S494の処理は、機能として請求項記載の判定手段を構成する。図3、図6、および図7において、S422~S432、S452~S462、S482~S492の処理は、機能として請求項記載の領域選択手段を構成する。図3、図6、および図7において、S436、S466、S496の処理は、機能として請求項記載の信頼度取得手段を構成する。図3、図6、および図7において、S438~S442、S468~S472、S498~S502の処理は、機能として請求項記載の結果選択手段を構成する。
また、検出領域200,240,242は、請求項記載の第1の領域に対応する。検出領域210,212,230は、請求項記載の第2の領域に対応する。検出点Pr,Pr1,Pr2は、請求項記載の第1の検出点に対応する。検出点Pi、Pi1、Pi2は、請求項記載の第2の検出点に対応する。
本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらの一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
2:衝突軽減システム、10:衝突軽減ECU(物体検出装置、第1特定手段、第2特定手段、判定手段、領域選択手段、信頼度取得手段、結果選択手段)、200、240、242:検出領域(第1の領域)、210、212、230:検出領域(第2の領域)、220、222、250、252:重複部、Pr、Pr1、Pr2:検出点(第1の検出点)、Pi、Pi1、Pi2:検出点(第2の検出点)
Claims (12)
- 車両に搭載される物体検出装置(10)であって、
レーダ(20)による検出情報に基づいて検出された第1の物体について、前記第1の物体の位置を表す第1の検出点(Pr、Pr1、Pr2)を含む第1の領域(200、240、242)を特定する第1特定手段(S402)と、
カメラ(22)による撮像画像に基づいて検出された第2の物体について、前記第2の物体の位置を表す第2の検出点(Pi、Pi1、Pi2)を含む第2の領域(210、212、230)を特定する第2特定手段(S406)と、
一つの前記第1の領域と一つの前記第2の領域とに領域の重なる重複部が存在することを条件として、前記第1の物体と前記第2の物体とが同一の物体であると判定する判定手段(S434、S464、S494)と、
一つの前記第1の領域に対し複数の前記第2の領域が前記重複部(220、222)を有するか、あるいは一つの前記第2の領域に対し複数の前記第1の領域が前記重複部(250、252)を有する場合、前記第1特定手段が前記検出情報に基づいて検出する前記第1の物体の対地速度、ならびに前記第1特定手段が前記検出情報に基づいて検出する前記第1の物体の反射波の強度の少なくとも一方と、前記第2特定手段が前記撮像画像に基づいて検出する前記第2の物体の種類との対応関係に基づいて、前記判定手段が前記同一の物体であると判定するための前記条件である前記重複部が存在する一つの前記第1の領域と一つの前記第2の領域とを選択する領域選択手段(S422~S432、S452~S462、S482~S492)と、
を備える物体検出装置。 - 請求項1に記載の物体検出装置において、
前記領域選択手段(S422、S424、S432)は、一つの前記第1の領域に対し複数の前記第2の領域が前記重複部を有し、複数の前記第2の領域において前記第2の物体の種類が同じ場合、複数の前記第2の検出点のうち前記第1の検出点との距離が最短の前記第2の検出点を含む一つの前記第2の領域を、一つの前記第1の領域と前記重複部を有する領域として選択する、物体検出装置。 - 請求項1または2に記載の物体検出装置において、
前記領域選択手段(S422~S432)は、前記反射波の強度と前記対地速度との少なくとも一方に基づいて前記第1の物体の種類を検出し、一つの前記第1の領域に対し複数の前記第2の領域が前記重複部を有し、複数の前記第2の領域において前記第2の物体の種類に異なるものが存在する場合、前記第1の物体の種類と対応する一つ以上の前記第2の物体の前記第2の領域を一つの前記第1の領域と前記重複部を有する領域として選択し、選択した前記第2の領域が複数の場合、選択した複数の前記第2の領域に含まれる複数の前記第2の検出点のうち前記第1の検出点との距離が最短の前記第2の検出点を含む一つの前記第2の領域を選択する、物体検出装置。 - 請求項1から3のいずれか一項に記載の物体検出装置において、
前記領域選択手段(S452、S454、S458、S462、S482、S484、S488、S492)は、前記反射波の強度と前記対地速度との少なくとも一方に基づいて前記第1の物体の種類を検出し、一つの前記第2の領域に対し複数の前記第1の領域が前記重複部を有し、複数の前記第1の領域において前記第1の物体の種類が同じ場合、複数の前記第1の検出点のうち前記第2の検出点との距離が最短の前記第1の検出点を含む一つの前記第1の領域を、一つの前記第2の領域と前記重複部を有する領域として選択する、物体検出装置。 - 請求項1から4のいずれか一項に記載の物体検出装置において、
前記領域選択手段(S452~S462、S482~S492)は、前記反射波の強度と前記対地速度との少なくとも一方に基づいて前記第1の物体の種類を検出し、一つの前記第2の領域に対し複数の前記第1の領域が前記重複部を有し、複数の前記第1の領域において前記第1の物体の種類に異なるものが存在する場合、前記第2の物体の種類と対応する一つ以上の前記第1の物体の前記第1の領域を一つの前記第2の領域と前記重複部を有する領域として選択し、選択した前記第1の領域が複数の場合、選択した複数の前記第1の領域に含まれる複数の前記第1の検出点のうち前記第2の検出点との距離が最短の前記第1の検出点を含む一つの前記第2の領域を選択する、物体検出装置。 - 請求項1から5のいずれか一項に記載の物体検出装置において、
前記判定手段が判定する前記第1の物体と前記第2の物体とが前記同一の物体であると前記判定手段が判定する判定結果の確からしさを示す信頼度を取得する信頼度取得手段(S436、S466、S496)と、
今回の前記判定結果と今回の前記信頼度として、前記信頼度取得手段が取得する今回の前記判定手段による前記判定結果の前記信頼度が前回の前記信頼度以上の場合、今回の前記判定結果と今回の前記信頼度とを採用し、前記信頼度取得手段が取得する今回の前記判定手段による前記判定結果の前記信頼度が前回の前記信頼度よりも低い場合、前回の前記判定結果と前記信頼度とを採用する結果選択手段(S438~S442、S468~S472、S498~S502)と、
を備える物体検出装置。 - 車両に搭載された物体検出装置(10)を用いて物体を検出する物体検出方法であって、
レーダ(20)による検出情報に基づいて検出された第1の物体について、前記第1の物体の位置を表す第1の検出点(Pr、Pr1、Pr2)を含む第1の領域(200、240、242)を特定する第1特定工程(S402)と、
カメラ(22)による撮像画像に基づいて検出された第2の物体について、前記第2の物体の位置を表す第2の検出点(Pi、Pi1、Pi2)を含む第2の領域(230、210、212)を特定する第2特定工程(S406)と、
一つの前記第1の領域と一つの前記第2の領域とに領域の重なる重複部が存在することを条件として、前記第1の物体と前記第2の物体とが同一の物体であると判定する判定工程(S434、S464、S494)と、
一つの前記第1の領域に対し複数の前記第2の領域が前記重複部(220、222)を有するか、あるいは一つの前記第2の領域に対し複数の前記第1の領域が前記重複部(250、252)を有する場合、前記第1特定工程が前記検出情報に基づいて検出する前記第1の物体の対地速度、ならびに前記第1特定工程が前記検出情報に基づいて検出する前記第1の物体の反射波の強度の少なくとも一方と、前記第2特定工程が前記撮像画像に基づいて検出する前記第2の物体の種類との対応関係に基づいて、前記判定工程が前記同一の物体であると判定するための前記条件である前記重複部が存在する一つの前記第1の領域と一つの前記第2の領域とを選択する領域選択工程(S422~S432、S452~S462、S482~S492)と、
を有する物体検出方法。 - 請求項7に記載の物体検出方法において、
前記領域選択工程(S422、S424、S432)は、一つの前記第1の領域に対し複数の前記第2の領域が前記重複部を有し、複数の前記第2の領域において前記第2の物体の種類が同じ場合、複数の前記第2の検出点のうち前記第1の検出点との距離が最短の前記第2の検出点を含む一つの前記第2の領域を、一つの前記第1の領域と前記重複部を有する領域として選択する、
物体検出方法。 - 請求項7または8に記載の物体検出方法において、
前記領域選択工程(S422~S432)は、前記反射波の強度と前記対地速度との少なくとも一方に基づいて前記第1の物体の種類を検出し、一つの前記第1の領域に対し複数の前記第2の領域が前記重複部を有し、複数の前記第2の領域において前記第2の物体の種類に異なるものが存在する場合、前記第1の物体の種類と対応する一つ以上の前記第2の物体の前記第2の領域を一つの前記第1の領域と前記重複部を有する領域として選択し、選択した前記第2の領域が複数の場合、選択した複数の前記第2の領域に含まれる複数の前記第2の検出点のうち前記第1の検出点との距離が最短の前記第2の検出点を含む一つの前記第2の領域を選択する、
物体検出方法。 - 請求項7から9のいずれか一項に記載の物体検出方法において、
前記領域選択工程(S452、S454、S458、S462、S482、S484、S488、S492)は、前記反射波の強度と前記対地速度との少なくとも一方に基づいて前記第1の物体の種類を検出し、一つの前記第2の領域に対し複数の前記第1の領域が前記重複部を有し、複数の前記第1の領域において前記第1の物体の種類が同じ場合、複数の前記第1の検出点のうち前記第2の検出点との距離が最短の前記第1の検出点を含む一つの前記第1の領域を、一つの前記第2の領域と前記重複部を有する領域として選択する、
物体検出方法。 - 請求項7から10のいずれか一項に記載の物体検出方法において、
前記領域選択工程(S452~S462、S482~S492)は、前記反射波の強度と前記対地速度との少なくとも一方に基づいて前記第1の物体の種類を検出し、一つの前記第2の領域に対し複数の前記第1の領域が前記重複部を有し、複数の前記第1の領域において前記第1の物体の種類に異なるものが存在する場合、前記第2の物体の種類と対応する一つ以上の前記第1の物体の前記第1の領域を一つの前記第2の領域と前記重複部を有する領域として選択し、選択した前記第1の領域が複数の場合、選択した複数の前記第1の領域に含まれる複数の前記第1の検出点のうち前記第2の検出点との距離が最短の前記第1の検出点を含む一つの前記第2の領域を選択する、
物体検出方法。 - 請求項6から10のいずれか一項に記載の物体検出方法において、
前記判定工程が判定する前記第1の物体と前記第2の物体とが前記同一の物体であると前記判定手段が判定する判定結果の確からしさを示す信頼度を取得する信頼度取得工程(S436、S466、S496)と、
今回の前記判定結果と今回の前記信頼度として、前記信頼度取得工程で取得する今回の前記判定工程による前記判定結果の前記信頼度が前回の前記信頼度以上の場合、今回の前記判定結果と今回の前記信頼度とを採用し、前記信頼度取得工程で取得する今回の前記判定工程による前記判定結果の前記信頼度が前回の前記信頼度よりも低い場合、前回の前記判定結果と前記信頼度とを採用する結果選択工程(S438~S442、S468~S472、S498~S502)と、
を有する物体検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/577,189 US20180156913A1 (en) | 2015-05-29 | 2016-05-27 | Object detection apparatus and object detection method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-109943 | 2015-05-29 | ||
JP2015109943A JP6252549B2 (ja) | 2015-05-29 | 2015-05-29 | 物体検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016194851A1 true WO2016194851A1 (ja) | 2016-12-08 |
Family
ID=57442365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/065825 WO2016194851A1 (ja) | 2015-05-29 | 2016-05-27 | 物体検出装置および物体検出方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180156913A1 (ja) |
JP (1) | JP6252549B2 (ja) |
WO (1) | WO2016194851A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018106511A (ja) * | 2016-12-27 | 2018-07-05 | 株式会社デンソー | 物体検出装置、物体検出方法 |
JPWO2020105166A1 (ja) * | 2018-11-22 | 2021-02-15 | 三菱電機株式会社 | 障害物検知装置 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6300181B2 (ja) * | 2015-08-25 | 2018-03-28 | マツダ株式会社 | 車両の制御装置 |
US10852418B2 (en) * | 2016-08-24 | 2020-12-01 | Magna Electronics Inc. | Vehicle sensor with integrated radar and image sensors |
JP6988200B2 (ja) * | 2017-06-29 | 2022-01-05 | 株式会社デンソー | 車両制御装置 |
JP6861375B2 (ja) * | 2017-06-30 | 2021-04-21 | パナソニックIpマネジメント株式会社 | 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 |
JP6996353B2 (ja) * | 2018-03-06 | 2022-01-17 | トヨタ自動車株式会社 | 物体認識装置及び車両走行制御システム |
US11699207B2 (en) | 2018-08-20 | 2023-07-11 | Waymo Llc | Camera assessment techniques for autonomous vehicles |
US11227409B1 (en) | 2018-08-20 | 2022-01-18 | Waymo Llc | Camera assessment techniques for autonomous vehicles |
KR20200040391A (ko) * | 2018-10-10 | 2020-04-20 | 주식회사 만도 | 차량용 레이더의 보완 장치 및 방법 |
US10928819B2 (en) * | 2018-10-29 | 2021-02-23 | Here Global B.V. | Method and apparatus for comparing relevant information between sensor measurements |
JP7135908B2 (ja) * | 2019-02-04 | 2022-09-13 | トヨタ自動車株式会社 | 衝突前制御装置 |
US11703562B2 (en) * | 2019-07-05 | 2023-07-18 | Uatc, Llc | Semantic segmentation of radar data |
CN112654879B (zh) * | 2020-12-11 | 2022-04-15 | 华为技术有限公司 | 基于车载毫米波雷达的防干扰方法、装置、***及车辆 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08329393A (ja) * | 1995-05-29 | 1996-12-13 | Daihatsu Motor Co Ltd | 先行車検出装置 |
JP2005084035A (ja) * | 2003-09-11 | 2005-03-31 | Toyota Motor Corp | 物体検出装置 |
JP2006182086A (ja) * | 2004-12-27 | 2006-07-13 | Hitachi Ltd | 車両検知装置 |
JP2007132748A (ja) * | 2005-11-09 | 2007-05-31 | Toyota Motor Corp | 物体検出装置 |
JP2007315814A (ja) * | 2006-05-23 | 2007-12-06 | Nissan Motor Co Ltd | 物体検出方法および物体検出装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8812226B2 (en) * | 2009-01-26 | 2014-08-19 | GM Global Technology Operations LLC | Multiobject fusion module for collision preparation system |
-
2015
- 2015-05-29 JP JP2015109943A patent/JP6252549B2/ja active Active
-
2016
- 2016-05-27 WO PCT/JP2016/065825 patent/WO2016194851A1/ja active Application Filing
- 2016-05-27 US US15/577,189 patent/US20180156913A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08329393A (ja) * | 1995-05-29 | 1996-12-13 | Daihatsu Motor Co Ltd | 先行車検出装置 |
JP2005084035A (ja) * | 2003-09-11 | 2005-03-31 | Toyota Motor Corp | 物体検出装置 |
JP2006182086A (ja) * | 2004-12-27 | 2006-07-13 | Hitachi Ltd | 車両検知装置 |
JP2007132748A (ja) * | 2005-11-09 | 2007-05-31 | Toyota Motor Corp | 物体検出装置 |
JP2007315814A (ja) * | 2006-05-23 | 2007-12-06 | Nissan Motor Co Ltd | 物体検出方法および物体検出装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018106511A (ja) * | 2016-12-27 | 2018-07-05 | 株式会社デンソー | 物体検出装置、物体検出方法 |
JPWO2020105166A1 (ja) * | 2018-11-22 | 2021-02-15 | 三菱電機株式会社 | 障害物検知装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6252549B2 (ja) | 2017-12-27 |
JP2016223889A (ja) | 2016-12-28 |
US20180156913A1 (en) | 2018-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016194851A1 (ja) | 物体検出装置および物体検出方法 | |
US10457278B2 (en) | Lane changing support apparatus | |
JP6462630B2 (ja) | 物標検出装置 | |
JP6885721B2 (ja) | 物体検出装置、物体検出方法 | |
US10864901B2 (en) | Vehicle travel control system | |
US8199046B2 (en) | Radar system to determine whether an object is subject of detection based on intensity of a radio wave emission of the object | |
CN109891262B (zh) | 物体探测装置 | |
JP6303956B2 (ja) | 軸ずれ量推定装置 | |
WO2016129646A1 (ja) | 走行軌跡選定装置、および走行軌跡選定方法 | |
US10754017B2 (en) | Target object information acquisition apparatus | |
EP3007149B1 (en) | Driving assistance device for vehicles and onboard computer | |
JP6394227B2 (ja) | 物体検出装置 | |
JP6747389B2 (ja) | 衝突推定装置および衝突推定方法 | |
JP6424467B2 (ja) | 物標検出装置 | |
JP7111454B2 (ja) | 制御対象車両設定装置、制御対象車両設定システムおよび制御対象車両設定方法 | |
JP6690604B2 (ja) | 衝突推定装置および衝突推定方法 | |
JP2018086958A (ja) | 車両制御システム | |
KR20220106875A (ko) | 운전자 보조 시스템 및 그의 방법 | |
JP2019002690A (ja) | 物標検出装置 | |
US12012100B2 (en) | Driving support device, driving support method, and storage medium | |
JP5790627B2 (ja) | 物標検出装置 | |
JP7351321B2 (ja) | センサ異常推定装置 | |
WO2020170666A1 (ja) | 情報処理装置および情報処理方法 | |
CN110065492B (zh) | 车辆控制*** | |
JP2018165945A (ja) | 障害物検知装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16803286 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15577189 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16803286 Country of ref document: EP Kind code of ref document: A1 |