WO2019150552A1 - 落下物検知装置、車載システム、車両および落下物検知プログラム - Google Patents

落下物検知装置、車載システム、車両および落下物検知プログラム Download PDF

Info

Publication number
WO2019150552A1
WO2019150552A1 PCT/JP2018/003598 JP2018003598W WO2019150552A1 WO 2019150552 A1 WO2019150552 A1 WO 2019150552A1 JP 2018003598 W JP2018003598 W JP 2018003598W WO 2019150552 A1 WO2019150552 A1 WO 2019150552A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
distance
unit
object detection
falling object
Prior art date
Application number
PCT/JP2018/003598
Other languages
English (en)
French (fr)
Inventor
長谷川　雄史
村山　修
雅浩 虻川
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to CN201880087797.XA priority Critical patent/CN111656396B/zh
Priority to US16/965,446 priority patent/US11256932B2/en
Priority to PCT/JP2018/003598 priority patent/WO2019150552A1/ja
Priority to DE112018006738.6T priority patent/DE112018006738B4/de
Priority to JP2019568519A priority patent/JP6685481B2/ja
Publication of WO2019150552A1 publication Critical patent/WO2019150552A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to a falling object detection device, an in-vehicle system, a vehicle, and a falling object detection program.
  • Patent Document 1 discloses an ACC function when a vehicle with an ACC function including a millimeter wave sensor and a camera detects a stationary object such as a load between the vehicle and a preceding vehicle serving as an ACC target by the camera. A technique for stopping or suppressing the follow-up running according to is disclosed. “ACC” is an abbreviation for Adaptive Cruise Control.
  • the conventional technology can only detect the package after dropping. That is, it is impossible to immediately detect the fall of the load. Therefore, if the inter-vehicle distance to the preceding vehicle is short, the avoidance travel is not in time, and there is a high possibility that the vehicle with the ACC function collides with the luggage.
  • the object of the present invention is to immediately detect the fall of the load from the vehicle ahead.
  • a fallen object detection device includes: Used on the first vehicle, An acquisition unit for acquiring a depth image of the second vehicle that is traveling in front of the first vehicle with a load and the periphery of the second vehicle; Using the depth image acquired by the acquisition unit, a determination unit for determining whether the luggage is not moving differently from the second vehicle; And a detection unit that detects the fall of the luggage based on the result of the determination by the determination unit.
  • the fall of the load is detected based on the result of determining whether the load on the front vehicle is not moving differently from that on the front vehicle using the front vehicle and the depth images around the front vehicle. Therefore, it is possible to immediately detect the fall of the load from the vehicle ahead.
  • FIG. 1 is a block diagram illustrating a configuration of an in-vehicle system that includes a falling object detection device according to a first embodiment.
  • 5 is a flowchart showing the operation of the falling object detection device according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of a depth image according to the first embodiment. The figure which shows the distance measurement result of the depth sensor which concerns on Embodiment 1, and a distance sensor.
  • the block diagram which shows the structure of a vehicle-mounted system provided with the falling object detection apparatus which concerns on the modification of Embodiment 1.
  • FIG. The block diagram which shows the structure of a vehicle-mounted system provided with the falling object detection apparatus which concerns on Embodiment 2.
  • FIG. 9 is a flowchart showing the operation of the falling object detection device according to the second embodiment.
  • FIG. 10 shows an example of an image area of a depth image according to the second embodiment.
  • the block diagram which shows the structure of a vehicle-mounted system provided with the falling object detection apparatus which concerns on the modification of Embodiment 2.
  • FIG. FIG. 6 is a block diagram showing a configuration of an in-vehicle system that includes a falling object detection device according to a third embodiment.
  • 10 is a flowchart showing the operation of the falling object detection device according to the third embodiment.
  • FIG. 10 is a diagram illustrating an example of a camera image and a movement vector according to Embodiment 3.
  • FIG. 10 is a diagram illustrating an example of a camera image and a movement vector according to Embodiment 3.
  • FIG. 10 is a diagram illustrating an example of a camera image and a movement vector according to Embodiment 3.
  • FIG. 10 is a diagram illustrating an example of a camera image and a movement vector according to Embodiment 3.
  • FIG. 10 is a block diagram illustrating a configuration of an in-vehicle system including a falling object detection device according to a modification of the third embodiment.
  • Embodiment 1 FIG. This embodiment will be described with reference to FIGS.
  • the in-vehicle system 10 includes a falling object detection device 11, a sensor device 21, and a vehicle control unit 31.
  • the falling object detection device 11 is a computer.
  • the falling object detection device 11 is a general computer in the present embodiment, but may be an embedded device or an ECU.
  • ECU is an abbreviation for Electronic Control Unit.
  • the falling object detection device 11 includes a processor 13 and other hardware such as a sensor IO 12, a memory 14, and a ROM 15.
  • IO is an abbreviation for Input / Output.
  • the processor 13 is connected to other hardware via a signal line, and controls these other hardware.
  • the falling object detection device 11 includes an acquisition unit 41, a determination unit 42, a detection unit 43, and a measurement unit 44 as functional elements.
  • the functions of the acquisition unit 41, the determination unit 42, the detection unit 43, and the measurement unit 44 are realized by software.
  • the processor 13 is a device that executes a falling object detection program.
  • the falling object detection program is a program that realizes the functions of the acquisition unit 41, the determination unit 42, the detection unit 43, and the measurement unit 44.
  • the processor 13 is a CPU in the present embodiment, but may be a GPU or a combination of a CPU and a GPU.
  • CPU is an abbreviation for Central Processing Unit.
  • GPU is an abbreviation for Graphics Processing Unit.
  • the memory 14 and the ROM 15 are devices that store a falling object detection program.
  • ROM is an abbreviation for Read Only Memory.
  • the memory 14 is, for example, a RAM, a flash memory, or a combination thereof.
  • RAM is an abbreviation for Random Access Memory.
  • the falling object detection device 11 may further include a communication device, an input device, and a display as hardware.
  • the communication device includes a receiver that receives data input to the falling object detection program and a transmitter that transmits data output from the falling object detection program.
  • the communication device is, for example, a communication chip or a NIC. “NIC” is an abbreviation for Network Interface Card.
  • the input device is a device operated by the user to input data to the falling object detection program.
  • the input device is, for example, a touch panel.
  • the display is a device that displays data output from the falling object detection program on the screen.
  • the display is, for example, an LCD.
  • LCD is an abbreviation for Liquid Crystal Display.
  • the falling object detection program is loaded from the ROM 15 into the memory 14, read from the memory 14 into the processor 13, and executed by the processor 13.
  • the falling object detection device 11 may include a plurality of processors that replace the processor 13.
  • the plurality of processors share the execution of the falling object detection program.
  • Each processor is, for example, a CPU, GPU, DSP, or some or all of these.
  • Data, information, signal values, and variable values used, processed, or output by the falling object detection program are stored in the memory 14 or a register or cache memory in the processor 13.
  • the falling object detection program is a program that causes the computer to execute the processes performed by the acquisition unit 41, the determination unit 42, the detection unit 43, and the measurement unit 44 as an acquisition process, a determination process, a detection process, and a measurement process, respectively.
  • the falling object detection program may be provided by being recorded on a computer-readable medium, may be provided by being stored in a recording medium, or may be provided as a program product.
  • the falling object detection device 11 may be composed of one computer or may be composed of a plurality of computers.
  • the functions of the acquisition unit 41, the determination unit 42, the detection unit 43, and the measurement unit 44 may be distributed and realized in each computer.
  • the depth sensor 22 is, for example, a stereo camera or a combination of a monocular camera and a LiDAR sensor. “LiDAR” is an abbreviation for Light Detection and Ranging.
  • the distance sensor 23 is a millimeter wave sensor in the present embodiment, but may be another type of radar sensor. As the sensor device 21, other vehicle-mounted devices such as a camera and a sonar may be further provided.
  • the vehicle control unit 31 includes a vehicle control bus interface 32, a sensor ECU 33, and a vehicle ECU 34.
  • the vehicle control bus interface 32 is an interface for communication between the falling object detection device 11 and the sensor ECU 33 and the vehicle ECU 34.
  • the sensor ECU 33 is an ECU that processes data obtained from the sensor device 21.
  • the vehicle ECU 34 is an ECU that controls the vehicle.
  • the falling object detection device 11 is mounted on the first vehicle 51 and used.
  • the first vehicle 51 is an autonomous driving vehicle.
  • the in-vehicle system 10 including the falling object detection device 11 is a system mounted on the first vehicle 51.
  • the vehicle control unit 31 of the in-vehicle system 10 controls the operation of the first vehicle 51.
  • the falling object detection device 11 is connected to a sensor device 21 that is an in-vehicle sensor via the sensor IO12. Thereby, sensing data in front of the first vehicle 51 measured by the sensor device 21 is input to the falling object detection device 11.
  • the falling object detection device 11 calculates the depth image 61 from the sensing data of the depth sensor 22 of the first vehicle 51, compares the depth image 61 with other sensor information, and separates the second vehicle 52 and the luggage 53. Thus, the luggage 53 dropped from the second vehicle 52 is immediately detected.
  • the second vehicle 52 is a vehicle that travels in front of the first vehicle 51 with the luggage 53 placed thereon, that is, a front vehicle.
  • the falling object detection device 11 is connected to the vehicle control unit 31 via the vehicle control bus interface 32. Thereby, the position information and movement information of the falling object detected by the falling object detection device 11 are output to the vehicle control unit 31.
  • the falling object detection device 11 determines the separation between the second vehicle 52 and the luggage 53 with reference to the change in the depth image 61 and the distance information of the distance sensor 23 that is a millimeter wave sensor. As a result, even when the luggage 53 falls from the second vehicle 52, the luggage 53 that is falling or may fall can be detected immediately so that the first vehicle 51 avoids the fallen object. is there.
  • the vehicle control unit 31 performs brake control of the first vehicle 51 when it is detected by the falling object detection device 11 that the luggage 53 has fallen from the second vehicle 52 traveling in front of the first vehicle 51. The collision with the dropped luggage 53 is avoided.
  • the vehicle control unit 31 may avoid a collision with the luggage 53 by changing the lane as well as the brake control of the first vehicle 51.
  • the acquisition unit 41 acquires the second vehicle 52 and the depth image 61 around the second vehicle 52.
  • step S102 to step S106 the determination unit 42 determines whether the luggage 53 is not moving differently from the second vehicle 52 using the depth image 61 acquired by the acquisition unit 41. Specifically, in step S102 and step S103, the determination unit 42 refers to the depth image 61 and calculates the distance to the nearest object except for the road. In step S ⁇ b> 104, the measurement unit 44 measures the distance to the second vehicle 52 using the distance sensor 23. In the present embodiment, the measurement unit 44 measures the distance to the second vehicle 52 using a millimeter wave sensor as the distance sensor 23. In step S105 and step S106, the determination unit 42 compares the calculated distance with the distance measured by the measurement unit 44. If the difference in distance exceeds the threshold value, the luggage 53 is “second vehicle 52”. It is determined that the movement separated from the second vehicle 52 is made as “different movement”.
  • step S107 and step S108 the detection unit 43 detects the fall of the luggage 53 based on the determination result by the determination unit 42.
  • the operation of the falling object detection device 11 will be described more specifically.
  • step S ⁇ b> 101 the acquisition unit 41 calculates the depth image 61 in front of the first vehicle 51 using the depth sensor 22 in the sensor device 21.
  • the acquisition unit 41 compares the captured image of one camera with the captured image of the other camera and has the same characteristics in the captured image. By searching for the points and referring to the positional deviation between the feature points, the distance information of the feature points, that is, the depth value is calculated.
  • the acquisition unit 41 generates a depth image 61 by calculating a depth value for each pixel of the captured image.
  • the acquisition unit 41 uses the 3D point cloud information measured by the LiDAR sensor as a reference to fuse the monocular camera and the LiDAR sensor. A depth image 61 is calculated from the result. Since the measurement resolution of the 3D point group information of the LiDAR sensor is low, the acquisition unit 41 interpolates the 3D point group information with reference to the boundary area information of the object shown in the captured image of the monocular camera, that is, the edge information. The acquisition unit 41 calculates a depth image 61 from 3D point group information whose measurement resolution is improved by interpolation. As a specific method, the method described in Non-Patent Document 1 can be used.
  • the depth sensor 22 may be a flash LiDAR having a high measurement resolution.
  • step S102 the determination unit 42 refers to the depth image 61 calculated in step S101, and detects the three-dimensional object by separating the image area of the three-dimensional object from the image area of the road surface.
  • step S103 the determination unit 42 measures the distance to the three-dimensional object closest to the first vehicle 51 among the three-dimensional objects detected in step S102.
  • FIG. 3 shows an example of the depth image 61.
  • the color of each pixel of the depth image 61 is changed and displayed according to the distance. The colors are indicated by hatching for convenience.
  • the color of the pixel is a color representing the short distance.
  • the pixels in the image area representing the second vehicle 52 have the same distance because the distances are substantially equal. Note that pixels whose distance could not be measured are displayed in black.
  • FIG. 3 shows a depth image 61 before the second vehicle 52 and the luggage 53 are separated. Before separation, since the distance between the second vehicle 52 and the luggage 53 is substantially equal, the colors of the pixels are also substantially equal.
  • the lower diagram of FIG. 3 shows a depth image 61 after the second vehicle 52 and the luggage 53 are separated. After separation, since the distance between the second vehicle 52 and the luggage 53 is different, the color of the pixel corresponding to the imaging region of the luggage 53 is different from the color of the pixel of the second vehicle 52.
  • a three-dimensional object is detected from the depth image 61, the image area of the three-dimensional object and the road surface is separated, and the image area of the three-dimensional object is the image area of the second vehicle 52. To be judged. If the image area size of the three-dimensional object is small and different from the vehicle size, it may be determined that the vehicle is not the second vehicle 52.
  • the distance of the pixel closest to the first vehicle 51 in the image area determined to be a three-dimensional object is treated as the distance of the depth image 61.
  • the baggage 53 is closest to the first vehicle 51, so that the distance of the depth image 61 represents the distance to the baggage 53.
  • the method described in Non-Patent Document 2 can be used.
  • step S ⁇ b> 104 the measurement unit 44 uses the millimeter wave sensor in the sensor device 21 to calculate the distance to the second vehicle 52 in front of the first vehicle 51.
  • the millimeter wave sensor outputs a millimeter wave, which is an electromagnetic wave having a short wavelength, and receives an electromagnetic wave reflected by an object such as the second vehicle 52, thereby measuring the distance to the object.
  • Millimeter waves are strongly reflected by objects containing metal. Therefore, the millimeter wave sensor detects the second vehicle 52, but does not detect an object that does not contain metal such as a cardboard box. Even if the luggage 53 suddenly falls from the second vehicle 52, if the luggage 53 is an object that does not contain metal, such as a cardboard box, the millimeter wave sensor does not detect the luggage 53 and the second vehicle ahead of it. The distance to 52 is measured.
  • step S105 the determination unit 42 starts separation determination processing between the second vehicle 52 and the luggage 53, and calculates the distance of the depth image 61 measured in step S103 and the distance of the millimeter wave sensor measured in step S104. Compare.
  • the distance of the depth image 61 is the distance from the first vehicle 51 to the closest object, while the distance of the millimeter wave sensor is the distance to the second vehicle 52 containing metal.
  • the second vehicle 52 is detected before the luggage 53 is dropped, the previous detection result is referred to even after the luggage 53 is dropped. There is a high possibility that the vehicle 52 will continue to be detected.
  • the distance of the depth image 61 and the distance of the millimeter wave sensor are equal. Is separated, there is a difference between the distance of the depth image 61 and the distance of the millimeter wave sensor.
  • step S106 if the difference between the two distances compared in step S105 is equal to or greater than an arbitrary threshold value ⁇ Z, the determination unit 42 determines that the second vehicle 52 and the luggage 53 are separated and proceeds to step S107. If the distance difference is smaller than the threshold value, the determination unit 42 determines that the second vehicle 52 and the luggage 53 are not separated and returns to step S101.
  • Threshold value ⁇ Z may be an arbitrary value, but is preferably set from the distance measurement accuracy of the sensor, and can be set to about 0.5 m as an example.
  • step S107 the detection unit 43 receives the separation determination result in step S106, and calculates the position and speed of the load 53 that becomes a fallen object.
  • the position of the luggage 53 is calculated from the depth image 61 acquired in step S101 and the distance to the three-dimensional object measured in step S103.
  • the position in the Z-axis direction can be calculated from the distance in step S103, and the position in the X-axis direction and the Y-axis direction can be calculated from the depth image 61 and the distance information in step S101.
  • the X-axis direction corresponds to the vehicle lateral direction
  • the Y-axis direction corresponds to the vehicle height direction
  • the Z-axis direction corresponds to the vehicle traveling direction.
  • the speed of the luggage 53 is calculated from the time series information of the position of the luggage 53 and the speed of the first vehicle 51.
  • step S108 the detection unit 43 transmits to the vehicle ECU 34 information on the position and speed of the luggage 53 that is a fallen object calculated in step S107.
  • the vehicle ECU 34 refers to the information on the position and speed of the falling object transmitted in step S108, and reduces the speed of the first vehicle 51 or changes the lane in order to avoid a collision with the falling object. , Change the direction of travel by steering.
  • the function of the vehicle ECU 34 may be realized by a falling object detection program as a function of the control unit. That is, the falling object detection device 11 may further include a control unit that controls the movement of the first vehicle 51 in accordance with the position and speed of the luggage 53 calculated by the detection unit 43.
  • step S107 and step S108 the detection unit 43 calculates not only the position and speed of the luggage 53 but also the size and moving direction of the luggage 53 from the depth image 61, and the position, size, moving speed, and movement of the luggage 53. Information on the direction may be transmitted to the vehicle ECU 34.
  • the detection unit 43 may determine the accuracy of the information when transmitting the information to the vehicle ECU 34, and may transmit the accuracy determination result together with the information.
  • the fall of the load 53 is determined based on the result of determining whether the forward vehicle and the depth image 61 around the forward vehicle are moving differently from the forward vehicle using the depth image 61 of the forward vehicle and the surrounding area of the forward vehicle. Detected. Therefore, it is possible to immediately detect the fall of the luggage 53 from the preceding vehicle.
  • the distance between the first vehicle 51 and the second vehicle 52 is short. Even if it exists, the driving
  • the distance between the second vehicle 52 and the second vehicle 52 may be increased due to a decrease in the vehicle speed of the first vehicle 51.
  • the determination unit 42 determines the separation between the second vehicle 52 and the luggage 53 using the characteristic of the reflection intensity of the millimeter wave sensor. Since the millimeter wave sensor reacts strongly with metals, even if a non-metallic load 53 such as cardboard falls from the second vehicle 52, the millimeter wave sensor detects the second vehicle 52 without reacting with the load 53. Therefore, the measurement unit 44 outputs the distance to the second vehicle 52. On the other hand, the depth sensor 22 such as a stereo camera outputs a distance to the luggage 53 in order to detect the luggage 53 dropped from the second vehicle 52. By comparing the distances of the two types of sensors, it is possible to determine whether the second vehicle 52 and the luggage 53 are separated.
  • the detection unit 43 can determine the fall of the baggage 53 by referring to the separation determination result of the determination unit 42 even when the baggage 53 is moving due to the impact after dropping. is there.
  • An autonomous driving vehicle capable of avoiding the collision can be provided.
  • the functions of the acquisition unit 41, the determination unit 42, the detection unit 43, and the measurement unit 44 are realized by software. However, as a modification, the acquisition unit 41, the determination unit 42, the detection unit 43, and the measurement unit 44 are used. These functions may be realized by hardware. About this modification, the difference with this Embodiment is mainly demonstrated.
  • the falling object detection device 11 includes hardware such as an electronic circuit 16 and a sensor IO12.
  • the electronic circuit 16 is dedicated hardware for realizing the functions of the acquisition unit 41, the determination unit 42, the detection unit 43, and the measurement unit 44.
  • the electronic circuit 16 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA, an FPGA, an ASIC, or some or all of these.
  • IC is an abbreviation for Integrated Circuit.
  • GA is an abbreviation for Gate Array.
  • FPGA is an abbreviation for Field-Programmable Gate Array.
  • ASIC is an abbreviation for Application Specific Integrated Circuit.
  • the falling object detection device 11 may include a plurality of electronic circuits that replace the electronic circuit 16.
  • the plurality of electronic circuits as a whole realize the functions of the acquisition unit 41, the determination unit 42, the detection unit 43, and the measurement unit 44.
  • Each electronic circuit is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA, an FPGA, an ASIC, or some or all of these combinations .
  • the functions of the acquisition unit 41, the determination unit 42, the detection unit 43, and the measurement unit 44 may be realized by a combination of software and hardware. That is, some of the functions of the acquisition unit 41, the determination unit 42, the detection unit 43, and the measurement unit 44 may be realized by dedicated hardware, and the rest may be realized by software.
  • Both the processor 13 and the electronic circuit 16 are processing circuits. That is, regardless of the configuration of the falling object detection device 11 shown in FIGS. 1 and 5, the operations of the acquisition unit 41, the determination unit 42, the detection unit 43, and the measurement unit 44 are performed by the processing circuit. .
  • Embodiment 2 FIG. In the present embodiment, differences from the first embodiment will be mainly described with reference to FIGS.
  • the falling object detection device 11 includes an acquisition unit 41, a determination unit 42, and a detection unit 43 as functional elements.
  • the determination unit 42 includes a calculation unit 45.
  • the functions of the acquisition unit 41, the determination unit 42, and the detection unit 43 are realized by software.
  • the falling object detection program is a program that causes the computer to execute the processes performed by the acquisition unit 41, the determination unit 42, and the detection unit 43 as an acquisition process, a determination process, and a detection process, respectively. That is, the falling object detection program is a program that realizes the functions of the acquisition unit 41, the determination unit 42, and the detection unit 43. As in the first embodiment, the falling object detection program is loaded from the ROM 15 into the memory 14, read from the memory 14 into the processor 13, and executed by the processor 13.
  • At least a depth sensor 22 is provided as the sensor device 21.
  • the falling object detection device 11 determines the separation of the second vehicle 52 and the luggage 53 with reference to the size of the changed image area of the depth image 61.
  • the luggage 53 falls from the second vehicle 52, there is a possibility that the first vehicle 51 is falling or falling so as to avoid the fallen object.
  • the package 53 can be detected immediately.
  • the acquisition unit 41 acquires the second vehicle 52 and the depth image 61 around the second vehicle 52.
  • step S202 to step S206 the determination unit 42 determines whether the luggage 53 is not moving differently from the second vehicle 52 using the depth image 61 acquired by the acquisition unit 41. Specifically, in step S202 to step S204, the determination unit 42 calculates an image region in which the depth value changes between the depth images 61 acquired at a plurality of points in time acquired by the acquisition unit 41. In step S205 and step S206, when the size of the calculated image area is different from the size corresponding to the second vehicle 52, the determination unit 42 determines that the luggage 53 is “a movement different from the second vehicle 52” as the second. It is determined that the vehicle 52 has moved away.
  • step S207 and step S208 the detection unit 43 detects the fall of the luggage 53 based on the determination result by the determination unit 42.
  • step S202 to S204 the determination unit 42 in the depth image 61 of the plurality of points in time acquired by the acquisition unit 41, The amount of change in the depth value between the image regions of the second vehicle 52 may be compared with the amount of change in the depth value between the image regions of the luggage 53.
  • step S205 and step S206 the determination unit 42 determines that the load 53 has moved away from the second vehicle 52 as “a movement different from the second vehicle 52” when the difference in the amount of change exceeds the threshold. May be.
  • the determination unit 42 may determine that the luggage 53 is not fixed by the difference in the change amount even when the difference in the change amount is below the threshold value.
  • the detection unit 43 may perform control to increase the distance between the first vehicle 51 and the second vehicle 52 when the determination unit 42 determines that the luggage 53 is not fixed. Good.
  • the operation of the falling object detection device 11 will be described more specifically.
  • step S201 Since the process in step S201 is the same as the process in step S101 in the first embodiment, a detailed description thereof will be omitted.
  • step S202 Since the process of step S202 is the same as the process of step S102 in the first embodiment, a detailed description thereof will be omitted.
  • step S203 the determination unit 42 cuts out the image area of the three-dimensional object detected in step S202 from the depth image 61.
  • step S204 the calculation unit 45 included in the determination unit 42 calculates an image region whose depth value has changed in time series with respect to the image region cut out in step S203.
  • step S205 the determination unit 42 starts separation determination processing between the second vehicle 52 and the luggage 53, and refers to the image area in which the depth value has been calculated and the distance information of the depth value calculated in step S204.
  • the size of the actual object that appears in the image area is calculated.
  • the position in the Z-axis direction is calculated from the distance information
  • the position in the X-axis direction and the Y-axis direction is calculated from the depth image 61 and the distance information
  • the position corresponds to the image region.
  • the actual object size is required.
  • the X-axis direction corresponds to the vehicle lateral direction
  • the Y-axis direction corresponds to the vehicle height direction
  • the Z-axis direction corresponds to the vehicle traveling direction.
  • step S206 if the size calculated in step S205 is equal to or smaller than the threshold corresponding to the vehicle size, the determination unit 42 estimates that the depth value has changed due to the fall of the luggage 53, and the second vehicle 52 And the package 53 are separated, the process proceeds to step S207. If the size calculated in step S205 is larger than the threshold corresponding to the vehicle size, the determination unit 42 changes the depth value simply because the inter-vehicle distance between the first vehicle 51 and the second vehicle 52 has changed. Therefore, it is determined that the second vehicle 52 and the luggage 53 are not separated, and the process returns to step S201.
  • FIG. 8 shows an example of the image area of the depth image 61.
  • the color of each pixel of the depth image 61 is changed and displayed according to the distance.
  • the colors are indicated by hatching for convenience.
  • the upper diagram in FIG. 8 shows the depth image 61.
  • the lower diagram in FIG. 8 shows an image area of a three-dimensional object cut out from the depth image 61 in the upper diagram. If the inter-vehicle distance between the first vehicle 51 and the second vehicle 52 changes, the depth value of the image area of the second vehicle 52 changes. If the distance between the first vehicle 51 and the luggage 53 changes, the depth value of the image area of the luggage 53 changes. Therefore, the separation between the second vehicle 52 and the luggage 53 can be determined with reference to the size of the image area in which the depth value has changed.
  • the determination unit 42 refers to the change in the depth value after cutting out the image area of the three-dimensional object, and instead of determining whether the second vehicle 52 and the luggage 53 are separated, the depth is determined without cutting out the image area of the three-dimensional object.
  • the second vehicle 52 and the luggage 53 may be separated from each other with reference to the change of the depth value with respect to the entire image 61.
  • step S207 Since the process in step S207 is the same as the process in step S107 in the first embodiment, a detailed description thereof will be omitted.
  • step S208 Since the process of step S208 is the same as the process of step S108 in the first embodiment, a detailed description thereof will be omitted.
  • the determination unit 42 determines the image area between the second vehicle 52 and the luggage 53 in advance in order to determine the separation between the second vehicle 52 and the luggage 53 only from the size of the image area where the depth value changes. There is no need to separate them.
  • the determination unit 42 may separate the image areas of the second vehicle 52 and the luggage 53 in advance with reference to the depth image 61. The determination unit 42 determines that the second vehicle 52 and the luggage 53 are not separated if the amount of change in the depth value of the image area of the second vehicle 52 and the image area of the luggage 53 is equal, and the depth value is determined. If the amount of change differs by an arbitrary threshold or more, it may be determined that the second vehicle 52 and the luggage 53 are separated.
  • the determination unit 42 estimates that the baggage 53 is not fixed to the second vehicle 52 if the state in which the change amount of the depth value is different continues even if the difference in the change amount of the depth value is smaller than an arbitrary threshold value.
  • the baggage 53 may be determined to have a high possibility of falling.
  • the detection unit 43 may control the first vehicle 51 via the vehicle ECU 34 so as to increase the inter-vehicle distance from the second vehicle 52.
  • the result of determining whether the forward vehicle and the luggage 53 of the forward vehicle are not moving differently from the forward vehicle is also obtained using the depth image 61 of the forward vehicle and the vicinity of the forward vehicle. At the same time, the fall of the luggage 53 is detected. Therefore, it is possible to immediately detect the fall of the luggage 53 from the preceding vehicle.
  • a distance sensor such as a millimeter wave sensor is unnecessary.
  • the functions of the acquisition unit 41, the determination unit 42, and the detection unit 43 are realized by software.
  • the functions of the acquisition unit 41, the determination unit 42, and the detection unit 43 are realized by hardware. May be. About this modification, the difference with this Embodiment is mainly demonstrated.
  • the falling object detection device 11 includes hardware such as an electronic circuit 16 and a sensor IO12.
  • the electronic circuit 16 is dedicated hardware for realizing the functions of the acquisition unit 41, the determination unit 42, and the detection unit 43.
  • the electronic circuit 16 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA, an FPGA, an ASIC, or some or all of these.
  • the functions of the acquisition unit 41, the determination unit 42, and the detection unit 43 may be realized by a combination of software and hardware. That is, some of the functions of the acquisition unit 41, the determination unit 42, and the detection unit 43 may be realized by dedicated hardware, and the rest may be realized by software.
  • Both the processor 13 and the electronic circuit 16 are processing circuits. That is, regardless of the configuration of the falling object detection device 11 shown in FIGS. 6 and 9, the operations of the acquisition unit 41, the determination unit 42, and the detection unit 43 are performed by the processing circuit.
  • Embodiment 3 FIG. In this embodiment, differences from the first embodiment will be mainly described with reference to FIGS.
  • the falling object detection device 11 includes an acquisition unit 41, a determination unit 42, a detection unit 43, and a calculation unit 46 as functional elements.
  • the functions of the acquisition unit 41, the determination unit 42, the detection unit 43, and the calculation unit 46 are realized by software.
  • the falling object detection program causes the computer to execute the processes performed by the acquisition unit 41, the determination unit 42, the detection unit 43, and the calculation unit 46 as an acquisition process, a determination process, a detection process, and a calculation process, respectively.
  • the falling object detection program is a program that realizes the functions of the acquisition unit 41, the determination unit 42, the detection unit 43, and the calculation unit 46.
  • the falling object detection program is loaded from the ROM 15 into the memory 14, read from the memory 14 into the processor 13, and executed by the processor 13.
  • At least a depth sensor 22 and a camera 24 are provided as the sensor device 21.
  • the falling object detection device 11 determines separation of the second vehicle 52 and the luggage 53 with reference to the change in the depth image 61 and the optical flow.
  • the first vehicle 51 is falling or falling so as to avoid the fallen object.
  • the package 53 can be detected immediately.
  • the acquisition unit 41 acquires the second vehicle 52 and the depth image 61 around the second vehicle 52.
  • the determination unit 42 determines whether or not the luggage 53 is moving differently from the second vehicle 52 using the depth image 61 acquired by the acquisition unit 41. Specifically, in step S ⁇ b> 304, the calculation unit 46 calculates a movement vector that represents the movement of an object between a plurality of time-point camera images obtained by photographing the second vehicle 52 and the vicinity of the second vehicle 52. . In step S302, step S303, step S305, and step S306, the determination unit 42 determines whether the distance to the second vehicle 52 is longer with reference to the multiple depth images 61 acquired by the acquisition unit 41. . When the distance is long and the movement vector calculated by the calculation unit 46 is a downward vector, the determination unit 42 separates the luggage 53 from the second vehicle 52 as “a movement different from the second vehicle 52”. It is determined that a movement has been made.
  • step S307 and step S308 the detection unit 43 detects the fall of the luggage 53 based on the determination result by the determination unit 42.
  • step S306 the determination unit 42 determines that the movement vector calculated by the calculation unit 46 is a downward vector even when the distance to the second vehicle 52 is short, and the magnitude of the vector sets the threshold value. If it exceeds, it may be determined that the luggage 53 has moved away from the second vehicle 52 as “a movement different from the second vehicle 52”.
  • step S306 even when the distance to the second vehicle 52 is short, the determination unit 42 determines that the baggage 53 is “second” if the movement vector calculated by the calculation unit 46 is an upward vector. It may be determined that the movement separated from the second vehicle 52 is made as “different movement from the vehicle 52”.
  • the operation of the falling object detection device 11 will be described more specifically.
  • step S301 Since the process in step S301 is the same as the process in step S101 in the first embodiment, a detailed description thereof will be omitted.
  • step S302 Since the process in step S302 is the same as the process in step S102 in the first embodiment, a detailed description thereof will be omitted.
  • step S303 the determination unit 42 cuts out the image area of the three-dimensional object detected in step S302 from the depth image 61.
  • step S304 the calculation unit 46 uses the camera 24 of the sensor device 21 to capture a two-dimensional image in front of the first vehicle 51, and calculates a movement vector from time series data of the obtained camera image. . That is, the calculation unit 46 calculates a movement vector that represents a time-series change of the image from the image captured by the camera 24.
  • the movement vector is also called an optical flow.
  • a method for calculating a sparse optical flow may be used, or a method for calculating a dense optical flow may be used.
  • feature points are detected from a camera image, and a movement direction and a movement amount in which the feature points move in a time-series camera image are calculated.
  • a feature point is a point where there is a change in luminance in the surrounding image area.
  • the feature points are detected using a technique such as corner detection.
  • An example of a method for calculating a sparse optical flow is the KLT method. “KLT” is an abbreviation for Kanade-Lucas-Tomasi.
  • the movement vector of all the pixels of the camera image is calculated.
  • An example of a method for calculating a dense optical flow is the method described in Non-Patent Document 3.
  • step S305 the determination unit 42 starts separation determination processing between the second vehicle 52 and the luggage 53, and determines whether or not a downward movement vector is generated with reference to the movement vector calculated in step S304. To do. When the downward movement vector has occurred, the determination unit 42 determines whether or not the inter-vehicle distance is short with reference to the depth image 61 calculated in step S301.
  • step S306 if the determination unit 42 determines in step S305 that a downward movement vector has been generated but the inter-vehicle distance is not shortened, the downward movement vector due to the fall of the load 53. It is estimated that the second vehicle 52 and the luggage 53 are separated, and the process proceeds to step S307. If the determination unit 42 determines in step S305 that a downward movement vector has not been generated, or if it has been determined that a downward movement vector has been generated and the inter-vehicle distance is short, the second vehicle 52 is determined. And baggage 53 are determined not to be separated, and the process returns to step S301.
  • the determination unit 42 refers to the time-series change of the depth image 61 calculated by the acquisition unit 41 and the movement vector calculated by the calculation unit 46 to separate the second vehicle 52 and the luggage 53. Is determined.
  • the movement vector is generated if there is a moving object in the time-series camera image.
  • the movement vector is also generated when the luggage 53 is dropped from the second vehicle 52 and moved, but the movement vector is also generated when the distance between the first vehicle 51 and the second vehicle 52 is changed. Therefore, it is necessary to determine whether the movement vector is due to the drop of the luggage 53 or due to a change in the inter-vehicle distance.
  • the determination unit 42 refers to the depth image 61 and determines that the inter-vehicle distance is short, if a downward movement vector is generated, the downward movement vector is caused by a change in the inter-vehicle distance. And it is determined that the second vehicle 52 and the luggage 53 are not separated.
  • the determination unit 42 calculates the amount of change in the downward movement vector from the change in the inter-vehicle distance, and when the downward movement vector sufficiently larger than the amount of change is detected, the second vehicle 52 and the luggage 53 are separated. May be determined.
  • FIGS. 12 to 15 The examples of FIGS. 12 to 15 will be described in detail.
  • FIG. 12 shows a movement vector that normally occurs when the inter-vehicle distance is shortened.
  • the upper left diagram in FIG. 12 shows a camera image 71 at time T1.
  • the upper right diagram in FIG. 12 shows the camera image 72 at time T1 + 1.
  • the lower diagram of FIG. 12 shows a movement vector calculated from the camera image 71 at time T1 and the camera image 72 at time T1 + 1.
  • FIG. 13 shows a movement vector that normally occurs when the inter-vehicle distance increases.
  • the upper left diagram in FIG. 13 shows a camera image 73 at time T2.
  • the upper right diagram in FIG. 13 shows the camera image 74 at time T2 + 1.
  • the lower diagram of FIG. 13 shows a movement vector calculated from the camera image 73 at time T2 and the camera image 74 at time T2 + 1.
  • FIG. 14 shows a movement vector associated with the drop of the luggage 53.
  • the upper left diagram in FIG. 14 shows a camera image 75 at time T3.
  • the upper right diagram in FIG. 14 shows the camera image 76 at time T3 + 1.
  • the lower diagram of FIG. 14 shows a movement vector calculated from the camera image 75 at time T3 and the camera image 76 at time T3 + 1.
  • the inter-vehicle distance between the first vehicle 51 and the second vehicle 52 is not changed.
  • the image area of the luggage 53 moves downward in the captured image, so that a downward movement vector is generated.
  • the determination unit 42 can calculate the inter-vehicle distance from the depth image 61, the second vehicle 52 is detected when the inter-vehicle distance is increased or a downward movement vector is detected when there is no change. It is determined that the luggage 53 has dropped.
  • the luggage 53 dropped from the second vehicle 52 may collide with the road surface and jump up.
  • FIG. 15 shows a movement vector associated with the jumping of the luggage 53.
  • the upper left diagram in FIG. 15 shows a camera image 77 at time T4.
  • the upper right diagram in FIG. 15 shows a camera image 78 at time T4 + 1.
  • the lower diagram of FIG. 15 shows a movement vector calculated from the camera image 77 at time T4 and the camera image 78 at time T4 + 1.
  • the inter-vehicle distance between the first vehicle 51 and the second vehicle 52 is not changed.
  • the determination unit 42 can calculate the inter-vehicle distance from the depth image 61, the second vehicle 52 is detected when the inter-vehicle distance is shortened or when an upward movement vector is detected when there is no change. It may be determined that the baggage 53 has dropped and then jumped up. That is, the determination unit 42 determines that the luggage 53 has been separated from the second vehicle 52 when a movement vector in a direction different from the movement vector due to the change in the inter-vehicle distance is detected from within the image area of the second vehicle 52. May be.
  • step S307 Since the process of step S307 is the same as the process of step S107 in the first embodiment, a detailed description thereof will be omitted.
  • step S308 Since the process of step S308 is the same as the process of step S108 in the first embodiment, a detailed description thereof will be omitted.
  • the result of determining whether the forward vehicle and the luggage 53 of the forward vehicle are not moving differently from the forward vehicle is also obtained using the depth image 61 of the forward vehicle and the vicinity of the forward vehicle. At the same time, the fall of the luggage 53 is detected. Therefore, it is possible to immediately detect the fall of the luggage 53 from the preceding vehicle.
  • the camera 24 is required, a distance sensor such as a millimeter wave sensor is unnecessary. Instead of providing the camera 24 separately from the depth sensor 22, the camera 24 may be provided so as to also serve as a component of the depth sensor 22.
  • the functions of the acquisition unit 41, the determination unit 42, the detection unit 43, and the calculation unit 46 are realized by software. However, as a modification, the acquisition unit 41, the determination unit 42, the detection unit 43, and the calculation unit 46 are implemented. These functions may be realized by hardware. About this modification, the difference with this Embodiment is mainly demonstrated.
  • the falling object detection device 11 includes hardware such as an electronic circuit 16 and a sensor IO12.
  • the electronic circuit 16 is dedicated hardware for realizing the functions of the acquisition unit 41, the determination unit 42, the detection unit 43, and the calculation unit 46.
  • the electronic circuit 16 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA, an FPGA, an ASIC, or some or all of these.
  • the functions of the acquisition unit 41, the determination unit 42, the detection unit 43, and the calculation unit 46 may be realized by a combination of software and hardware. That is, some of the functions of the acquisition unit 41, the determination unit 42, the detection unit 43, and the calculation unit 46 may be realized by dedicated hardware, and the rest may be realized by software.
  • Both the processor 13 and the electronic circuit 16 are processing circuits. That is, regardless of the configuration of the falling object detection device 11 shown in FIGS. 10 and 16, the operations of the acquisition unit 41, the determination unit 42, the detection unit 43, and the calculation unit 46 are performed by the processing circuit. .
  • Embodiment 1 When implementing combining 2 or more embodiments among Embodiment 1 to Embodiment 3, you may use an embodiment according to the distance between vehicles.
  • the operation of the first embodiment is applied when the inter-vehicle distance is long, and the operation of the second embodiment is applied when the inter-vehicle distance is short.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

第１車両に搭載して使用される落下物検知装置（１１）の取得部（４１）は、荷物を載せて第１車両の前方を走行している第２車両および第２車両の周辺のデプス画像を取得する。落下物検知装置（１１）の判定部（４２）は、取得部（４１）により取得されたデプス画像を用いて、荷物が第２車両と異なる動きをしていないか判定する。落下物検知装置（１１）の検知部（４３）は、判定部（４２）による判定の結果をもとに、荷物の落下を検知する。

Description

落下物検知装置、車載システム、車両および落下物検知プログラム
　本発明は、落下物検知装置、車載システム、車両および落下物検知プログラムに関するものである。
　特許文献１には、ミリ波センサとカメラとを備えるＡＣＣ機能付き車両が、その車両と、ＡＣＣターゲットとなる前方車両との間にある荷物等の静止物をカメラで検知した場合に、ＡＣＣ機能による追従走行を停止または抑制する技術が開示されている。「ＡＣＣ」は、Ａｄａｐｔｉｖｅ　Ｃｒｕｉｓｅ　Ｃｏｎｔｒｏｌの略語である。
特開２０１６－０１１０６１号公報
Ｃａｓｔｏｒｅｎａ，　Ｊ．；　Ｋａｍｉｌｏｖ，　Ｕ．；　Ｂｏｕｆｏｕｎｏｓ，　Ｐ．Ｔ．，　"Ａｕｔｏｃａｌｉｂｒａｔｉｏｎ　ｏｆ　ＬＩＤＡＲ　ａｎｄ　Ｏｐｔｉｃａｌ　Ｃａｍｅｒａｓ　ｖｉａ　Ｅｄｇｅ　Ａｌｉｇｎｍｅｎｔ"，　Ｍｉｔｓｕｂｉｓｈｉ　Ｅｌｅｃｔｒｉｃ　Ｒｅｓｅａｒｃｈ　Ｌａｂｏｒａｔｏｒｉｅｓ，　ＴＲ２０１６－００９，　Ｍａｒｃｈ　２０１６ 実吉敬二、「ステレオカメラによる自動車運転支援システム」、情報処理学会研究報告、Ｖｏｌ．２０１３－ＣＶＩＭ－１８５　Ｎｏ．２０、２０１３年１月２３日 Ｇｕｎｎａｒ　Ｆａｒｎｅｂａｃｋ，　"Ｔｗｏ－Ｆｒａｍｅ　Ｍｏｔｉｏｎ　Ｅｓｔｉｍａｔｉｏｎ　Ｂａｓｅｄ　ｏｎ　Ｐｏｌｙｎｏｍｉａｌ　Ｅｘｐａｎｓｉｏｎ"，　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　Ｌａｂｏｒａｔｏｒｙ，　Ｌｉｎｋｏｐｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，　２００３
　従来技術では、落下後の荷物しか検知できない。すなわち、荷物の落下を即時に検知することができない。そのため、前方車両までの車間距離が短いと、回避走行が間に合わず、ＡＣＣ機能付き車両が荷物と衝突する可能性が高い。
　本発明は、前方車両からの荷物の落下を即時に検知することを目的とする。
　本発明の一態様に係る落下物検知装置は、
　第１車両に搭載して使用され、
　荷物を載せて前記第１車両の前方を走行している第２車両および前記第２車両の周辺のデプス画像を取得する取得部と、
　前記取得部により取得されたデプス画像を用いて、前記荷物が前記第２車両と異なる動きをしていないか判定する判定部と、
　前記判定部による判定の結果をもとに、前記荷物の落下を検知する検知部と
を備える。
　本発明では、前方車両および前方車両の周辺のデプス画像を用いて、前方車両の荷物が前方車両と異なる動きをしていないか判定した結果をもとに、荷物の落下が検知される。そのため、前方車両からの荷物の落下を即時に検知することができる。
実施の形態１に係る落下物検知装置を備える車載システムの構成を示すブロック図。 実施の形態１に係る落下物検知装置の動作を示すフローチャート。 実施の形態１に係るデプス画像の例を示す図。 実施の形態１に係るデプスセンサと距離センサとの距離計測結果を示す図。 実施の形態１の変形例に係る落下物検知装置を備える車載システムの構成を示すブロック図。 実施の形態２に係る落下物検知装置を備える車載システムの構成を示すブロック図。 実施の形態２に係る落下物検知装置の動作を示すフローチャート。 実施の形態２に係るデプス画像の画像領域の例を示す図。 実施の形態２の変形例に係る落下物検知装置を備える車載システムの構成を示すブロック図。 実施の形態３に係る落下物検知装置を備える車載システムの構成を示すブロック図。 実施の形態３に係る落下物検知装置の動作を示すフローチャート。 実施の形態３に係るカメラ画像および移動ベクトルの例を示す図。 実施の形態３に係るカメラ画像および移動ベクトルの例を示す図。 実施の形態３に係るカメラ画像および移動ベクトルの例を示す図。 実施の形態３に係るカメラ画像および移動ベクトルの例を示す図。 実施の形態３の変形例に係る落下物検知装置を備える車載システムの構成を示すブロック図。
　以下、本発明の実施の形態について、図を用いて説明する。各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。なお、本発明は、以下に説明する実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。例えば、以下に説明する実施の形態のうち、２つ以上の実施の形態が組み合わせられて実施されても構わない。あるいは、以下に説明する実施の形態のうち、１つの実施の形態または２つ以上の実施の形態の組み合わせが部分的に実施されても構わない。
　実施の形態１．
　本実施の形態について、図１から図４を用いて説明する。
　＊＊＊構成の説明＊＊＊
　図１を参照して、本実施の形態に係る落下物検知装置１１を備える車載システム１０の構成を説明する。
　車載システム１０は、落下物検知装置１１と、センサデバイス２１と、車両制御ユニット３１とを備える。
　落下物検知装置１１は、コンピュータである。落下物検知装置１１は、本実施の形態では、一般的なコンピュータであるが、組込機器でもよいし、ＥＣＵでもよい。「ＥＣＵ」は、Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔの略語である。
　落下物検知装置１１は、プロセッサ１３を備えるとともに、センサＩＯ１２、メモリ１４およびＲＯＭ１５といった他のハードウェアを備える。「ＩＯ」は、Ｉｎｐｕｔ／Ｏｕｔｐｕｔの略語である。プロセッサ１３は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
　落下物検知装置１１は、機能要素として、取得部４１と、判定部４２と、検知部４３と、計測部４４とを備える。取得部４１、判定部４２、検知部４３および計測部４４の機能は、ソフトウェアにより実現される。
　プロセッサ１３は、落下物検知プログラムを実行する装置である。落下物検知プログラムは、取得部４１、判定部４２、検知部４３および計測部４４の機能を実現するプログラムである。プロセッサ１３は、本実施の形態では、ＣＰＵであるが、ＧＰＵでもよいし、ＣＰＵとＧＰＵとの組み合わせでもよい。「ＣＰＵ」は、Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔの略語である。「ＧＰＵ」は、Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔの略語である。
　メモリ１４およびＲＯＭ１５は、落下物検知プログラムを記憶する装置である。「ＲＯＭ」は、Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙの略語である。メモリ１４は、例えば、ＲＡＭ、フラッシュメモリまたはこれらの組み合わせである。「ＲＡＭ」は、Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙの略語である。
　落下物検知装置１１は、ハードウェアとして、通信デバイス、入力機器およびディスプレイをさらに備えてもよい。
　通信デバイスは、落下物検知プログラムに入力されるデータを受信するレシーバと、落下物検知プログラムから出力されるデータを送信するトランスミッタとを含む。通信デバイスは、例えば、通信チップまたはＮＩＣである。「ＮＩＣ」は、Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄの略語である。
　入力機器は、落下物検知プログラムへのデータの入力のためにユーザにより操作される機器である。入力機器は、例えば、タッチパネルである。
　ディスプレイは、落下物検知プログラムから出力されるデータを画面に表示する機器である。ディスプレイは、例えば、ＬＣＤである。「ＬＣＤ」は、Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙの略語である。
　落下物検知プログラムは、ＲＯＭ１５からメモリ１４にロードされ、メモリ１４からプロセッサ１３に読み込まれ、プロセッサ１３によって実行される。
　落下物検知装置１１は、プロセッサ１３を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、落下物検知プログラムの実行を分担する。それぞれのプロセッサは、例えば、ＣＰＵ、ＧＰＵ、ＤＳＰ、または、これらのうちいくつか、もしくは、すべての組み合わせである。
　落下物検知プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ１４、または、プロセッサ１３内のレジスタまたはキャッシュメモリに記憶される。
　落下物検知プログラムは、取得部４１、判定部４２、検知部４３および計測部４４により行われる処理をそれぞれ取得処理、判定処理、検知処理および計測処理としてコンピュータに実行させるプログラムである。落下物検知プログラムは、コンピュータ読取可能な媒体に記録されて提供されてもよいし、記録媒体に格納されて提供されてもよいし、プログラムプロダクトとして提供されてもよい。
　落下物検知装置１１は、１台のコンピュータで構成されていてもよいし、複数台のコンピュータで構成されていてもよい。落下物検知装置１１が複数台のコンピュータで構成されている場合は、取得部４１、判定部４２、検知部４３および計測部４４の機能が、各コンピュータに分散されて実現されてもよい。
　センサデバイス２１としては、少なくともデプスセンサ２２および距離センサ２３が備えられる。デプスセンサ２２は、例えば、ステレオカメラ、または、単眼カメラとＬｉＤＡＲセンサとの組み合わせである。「ＬｉＤＡＲ」は、Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇの略語である。距離センサ２３は、本実施の形態では、ミリ波センサであるが、他の種類のレーダセンサでもよい。センサデバイス２１として、カメラおよびソナーといった他の車載デバイスがさらに備えられてもよい。
　車両制御ユニット３１は、車両制御バスインタフェース３２と、センサＥＣＵ３３と、車両ＥＣＵ３４とを備える。
　車両制御バスインタフェース３２は、落下物検知装置１１と、センサＥＣＵ３３および車両ＥＣＵ３４との間の通信のためのインタフェースである。
　センサＥＣＵ３３は、センサデバイス２１から得られるデータを処理するＥＣＵである。
　車両ＥＣＵ３４は、車両を制御するＥＣＵである。
　＊＊＊動作の説明＊＊＊
　図１のほかに、図２から図４を参照して、本実施の形態に係る落下物検知装置１１の動作を説明する。落下物検知装置１１の動作は、本実施の形態に係る落下物検知方法に相当する。
　落下物検知装置１１は、第１車両５１に搭載して使用される。第１車両５１は、自動運転車両である。落下物検知装置１１を備える車載システム１０は、第１車両５１に搭載されたシステムである。車載システム１０の車両制御ユニット３１は、第１車両５１の運転を制御する。
　落下物検知装置１１は、センサＩＯ１２を介して、車載センサであるセンサデバイス２１と接続する。これにより、センサデバイス２１で計測された第１車両５１の前方のセンシングデータが落下物検知装置１１に入力される。
　落下物検知装置１１は、第１車両５１のデプスセンサ２２のセンシングデータからデプス画像６１を算出し、デプス画像６１と他センサ情報とを比較して、第２車両５２と荷物５３とを分離することで、第２車両５２から落下した荷物５３を即時に検知する。第２車両５２は、荷物５３を載せて第１車両５１の前方を走行している車両、すなわち、前方車両である。
　落下物検知装置１１は、車両制御バスインタフェース３２を介して、車両制御ユニット３１と接続する。これにより、落下物検知装置１１で検知された落下物の位置情報および移動情報が車両制御ユニット３１へ出力される。
　本実施の形態では、落下物検知装置１１は、デプス画像６１の変化とミリ波センサである距離センサ２３の距離情報とを参照して第２車両５２と荷物５３との分離を判別する。これにより、第２車両５２から荷物５３が落下した場合であっても、第１車両５１がこの落下物を回避するように、落下中または落下の可能性がある荷物５３を即時に検知可能である。
　車両制御ユニット３１は、落下物検知装置１１で第１車両５１の前方を走行中の第２車両５２から荷物５３が落下したことが検出された場合には、第１車両５１のブレーキ制御を行い、落下した荷物５３との衝突を回避する。車両制御ユニット３１は、第１車両５１のブレーキ制御だけでなく、車線変更することで、荷物５３との衝突を回避してもよい。
　落下物検知装置１１の動作の詳細を説明する。
　図２のステップＳ１０１において、取得部４１は、第２車両５２および第２車両５２の周辺のデプス画像６１を取得する。
　図２のステップＳ１０２からステップＳ１０６において、判定部４２は、取得部４１により取得されたデプス画像６１を用いて、荷物５３が第２車両５２と異なる動きをしていないか判定する。具体的には、ステップＳ１０２およびステップＳ１０３において、判定部４２は、デプス画像６１を参照して、道路を除き最も近い物体までの距離を算出する。ステップＳ１０４において、計測部４４は、距離センサ２３を用いて、第２車両５２までの距離を計測する。本実施の形態では、計測部４４は、距離センサ２３としてミリ波センサを用いて、第２車両５２までの距離を計測する。ステップＳ１０５およびステップＳ１０６において、判定部４２は、算出した距離と、計測部４４により計測された距離とを比較し、距離の差が閾値を超えている場合に、荷物５３が「第２車両５２と異なる動き」として第２車両５２から分離する動きをしたと判定する。
　図２のステップＳ１０７およびステップＳ１０８において、検知部４３は、判定部４２による判定の結果をもとに、荷物５３の落下を検知する。
　落下物検知装置１１の動作をより具体的に説明する。
　ステップＳ１０１において、取得部４１は、センサデバイス２１のうちデプスセンサ２２を使用して、第１車両５１の前方のデプス画像６１を算出する。
　デプス画像６１の算出に使用されるデプスセンサ２２がステレオカメラの場合、取得部４１は、片方のカメラの撮影画像ともう片方のカメラの撮影画像とを比較して、撮影画像内の同一特徴がある点を探索し、特徴点同士の位置ズレを参照することで、特徴点の距離情報、すなわち、デプス値を算出する。取得部４１は、撮影画像の各画素に対してデプス値を算出することで、デプス画像６１を生成する。
　デプス画像６１の算出に使用されるデプスセンサ２２が単眼カメラとＬｉＤＡＲセンサとの組み合わせの場合、取得部４１は、ＬｉＤＡＲセンサで計測した３Ｄ点群情報を基準にして、単眼カメラとＬｉＤＡＲセンサとのフュージョン結果からデプス画像６１を算出する。ＬｉＤＡＲセンサの３Ｄ点群情報は計測解像度が低いため、取得部４１は、単眼カメラの撮影画像内に写る物体の境界領域情報、すなわち、エッジ情報を参照して３Ｄ点群情報を補間する。取得部４１は、補間により計測解像度が向上した３Ｄ点群情報からデプス画像６１を算出する。具体的な手法としては、非特許文献１に記載の手法を用いることができる。
　デプスセンサ２２は、計測解像度の高いＦｌａｓｈ　ＬｉＤＡＲであってもよい。
　ステップＳ１０２において、判定部４２は、ステップＳ１０１で算出されたデプス画像６１を参照して、立体物の画像領域と路面の画像領域とを分離して立体物を検出する。
　ステップＳ１０３において、判定部４２は、ステップＳ１０２で検出した立体物のうち、第１車両５１に最も近距離にある立体物までの距離を計測する。
　図３にデプス画像６１の例を示す。この例では、距離に応じて、デプス画像６１の各画素の色を変化させて表示する。色は、便宜上、ハッチングで示している。デプス画像６１の下部では、第１車両５１から近距離にある路面までの距離が計測されるため、画素の色は近距離を表す色となる。画像上部へ移動するのに伴い、第１車両５１から路面までの距離は遠くなるため、画素の色も上部へ移動するに伴って遠距離を表す色に変化する。デプス画像６１において、第２車両５２を表す画像領域内の各画素は、距離がほぼ等しくなるため、色も同じになる。なお、距離が計測できなかった画素は黒色で表示する。
　図３の上図は、第２車両５２と荷物５３との分離前のデプス画像６１を示す。分離前は、第２車両５２と荷物５３との距離がほぼ等しいため、画素の色もほぼ等しくなる。図３の下図は、第２車両５２と荷物５３との分離後のデプス画像６１を示す。分離後は、第２車両５２と荷物５３との距離が異なるため、荷物５３の撮影領域に対応する画素の色は第２車両５２の画素の色と異なる。
　第２車両５２を表す画像領域の検出処理では、デプス画像６１から立体物が検知されて、立体物と路面との画像領域が分離され、立体物の画像領域が第２車両５２の画像領域と判断される。なお、立体物の画像領域サイズが小さく、車両サイズと異なれば、第２車両５２ではないと判定されてもよい。
　本実施の形態では、立体物と判定された画像領域の中で第１車両５１に最も近い画素の距離がデプス画像６１の距離として扱われる。第２車両５２と荷物５３とが分離すると荷物５３が第１車両５１に最も近くなるため、デプス画像６１の距離は荷物５３までの距離を表すようになる。デプス画像６１からの立体物検知方法としては、非特許文献２に記載の方法を用いることができる。
　ステップＳ１０４において、計測部４４は、センサデバイス２１のうちミリ波センサを使用して、第１車両５１の前方にある第２車両５２までの距離を算出する。
　ミリ波センサは、波長の短い電磁波であるミリ波を出力し、第２車両５２等の物体に当たって反射した電磁波を受信することで、物体までの距離を計測する。ミリ波は、金属を含む物体に強く反射する。そのため、ミリ波センサは、第２車両５２を検知するが、段ボール箱等の金属を含まない物体は検知しない。第２車両５２から荷物５３が突然落下してきても、荷物５３が段ボール箱等の金属を含まない物体であれば、ミリ波センサは、荷物５３を検知せずに、その先にある第２車両５２までの距離を計測する。
　ステップＳ１０５において、判定部４２は、第２車両５２と荷物５３との分離判別処理を開始し、ステップＳ１０３で計測したデプス画像６１の距離と、ステップＳ１０４で計測されたミリ波センサの距離とを比較する。
　デプス画像６１の距離は、第１車両５１から最も近い物体までの距離であるのに対して、ミリ波センサの距離は、金属を含む第２車両５２までの距離である。実際には、ミリ波センサのトラッキング処理の影響もあり、荷物５３が落下する前に第２車両５２が検知されていると、荷物５３の落下後も前の検知結果が参照されて、第２車両５２が検知され続ける可能性が高い。これにより、図４に示すように、第２車両５２と荷物５３とが分離していないときはデプス画像６１の距離とミリ波センサの距離とが等しくなるが、第２車両５２と荷物５３とが分離したときは、デプス画像６１の距離とミリ波センサの距離とに差が生じる。
　ステップＳ１０６において、判定部４２は、ステップＳ１０５で比較した２つの距離の差が任意の閾値ΔＺ以上であれば、第２車両５２と荷物５３とが分離したと判定してステップＳ１０７へ進む。判定部４２は、距離差が閾値よりも小さければ、第２車両５２と荷物５３とが分離していないと判定してステップＳ１０１へ戻る。
　閾値ΔＺは、任意の値でよいが、センサの距離計測精度から設定されることが望ましく、一例としては０．５ｍ程度に設定することができる。
　ステップＳ１０７において、検知部４３は、ステップＳ１０６の分離判別結果を受けて、落下物となる荷物５３の位置および速度を算出する。荷物５３の位置は、ステップＳ１０１で取得されたデプス画像６１とステップＳ１０３で計測された立体物までの距離とから算出される。ステップＳ１０３の距離よりＺ軸方向の位置が、ステップＳ１０１のデプス画像６１と距離情報とからＸ軸方向およびＹ軸方向の位置が算出できる。Ｘ軸方向は車両横方向、Ｙ軸方向は車両高さ方向、Ｚ軸方向は車両進行方向に相当する。荷物５３の速度は、荷物５３の位置の時系列情報と第１車両５１の速度とから算出される。
　ステップＳ１０８において、検知部４３は、ステップＳ１０７で算出した落下物となる荷物５３の位置および速度の情報を車両ＥＣＵ３４に送信する。
　車両ＥＣＵ３４は、ステップＳ１０８で送信された落下物の位置および速度の情報を参照し、その落下物との衝突を回避するために、第１車両５１の速度を減速するか、または、車線変更等、操舵による進行方向の変更をする。なお、この車両ＥＣＵ３４の機能は、制御部の機能として落下物検知プログラムにより実現されてもよい。すなわち、落下物検知装置１１は、検知部４３により算出された荷物５３の位置および速度に応じて、第１車両５１の移動を制御する制御部をさらに備えてもよい。
　以上の動作により、第２車両５２から荷物５３が落下した場合であっても、落下中の荷物５３を即時に検知可能となり、落下物との衝突を回避できる。
　なお、ステップＳ１０７およびステップＳ１０８において、検知部４３は、荷物５３の位置および速度だけでなく、荷物５３のサイズおよび移動方向もデプス画像６１から算出し、荷物５３の位置、サイズ、移動速度および移動方向の情報を車両ＥＣＵ３４に送信してもよい。
　検知部４３は、情報を車両ＥＣＵ３４に送信する際に、情報の確度を判定し、情報とあわせて確度判定の結果を送信してもよい。
　＊＊＊実施の形態の効果の説明＊＊＊
　本実施の形態では、前方車両および前方車両の周辺のデプス画像６１を用いて、前方車両の荷物５３が前方車両と異なる動きをしていないか判定した結果をもとに、荷物５３の落下が検知される。そのため、前方車両からの荷物５３の落下を即時に検知することができる。
　本実施の形態では、落下中または落下の可能性のある荷物５３を検知して、荷物の落下を即時に検知することにより、第１車両５１と第２車両５２との車間距離が短い場合であっても、第２車両５２から落下する荷物５３を回避した走行が可能となる。なお、落下の可能性の高い荷物５３を検知した場合には、第１車両５１の車速低下により、第２車両５２との車間距離を遠くにしてもよい。
　本実施の形態では、判定部４２が、ミリ波センサの反射強度の特徴を用いて、第２車両５２と荷物５３との分離を判別する。ミリ波センサは、金属類に強く反応するため、第２車両５２から段ボール等の非金属の荷物５３が落下しても荷物５３には反応せずに第２車両５２を検知する。そのため、計測部４４は、第２車両５２までの距離を出力する。一方で、ステレオカメラ等のデプスセンサ２２は、第２車両５２から落下した荷物５３を検知するため、荷物５３までの距離を出力する。２種類のセンサの距離を比較することで、第２車両５２と荷物５３との分離判別をすることができる。
　本実施の形態では、検知部４３が、判定部４２の分離判別結果を参照することで、荷物５３が落下後の衝撃で移動している状態であっても、荷物５３の落下を判定可能である。
　本実施の形態によれば、前方車両から落下中の荷物５３、または、落下の可能性が高い荷物５３を即時に検知することで、前方車両から荷物５３が突然落下しても、荷物５３との衝突を回避可能な自動運転車両が提供できる。
　＊＊＊他の構成＊＊＊
　本実施の形態では、取得部４１、判定部４２、検知部４３および計測部４４の機能がソフトウェアにより実現されるが、変形例として、取得部４１、判定部４２、検知部４３および計測部４４の機能がハードウェアにより実現されてもよい。この変形例について、主に本実施の形態との差異を説明する。
　図５を参照して、本実施の形態の変形例に係る落下物検知装置１１を備える車載システム１０の構成を説明する。
　この例では、落下物検知装置１１は、電子回路１６およびセンサＩＯ１２といったハードウェアを備える。
　電子回路１６は、取得部４１、判定部４２、検知部４３および計測部４４の機能を実現する専用のハードウェアである。電子回路１６は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＦＰＧＡ、ＡＳＩＣ、または、これらのうちいくつか、もしくは、すべての組み合わせである。「ＩＣ」は、Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔの略語である。「ＧＡ」は、Ｇａｔｅ　Ａｒｒａｙの略語である。「ＦＰＧＡ」は、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙの略語である。「ＡＳＩＣ」は、Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔの略語である。
　落下物検知装置１１は、電子回路１６を代替する複数の電子回路を備えていてもよい。これら複数の電子回路は、全体として取得部４１、判定部４２、検知部４３および計測部４４の機能を実現する。それぞれの電子回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＦＰＧＡ、ＡＳＩＣ、または、これらのうちいくつか、もしくは、すべての組み合わせである。
　別の変形例として、取得部４１、判定部４２、検知部４３および計測部４４の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。すなわち、取得部４１、判定部４２、検知部４３および計測部４４の機能の一部が専用のハードウェアにより実現され、残りがソフトウェアにより実現されてもよい。
　プロセッサ１３および電子回路１６は、いずれも処理回路である。すなわち、落下物検知装置１１の構成が図１および図５のいずれに示した構成であっても、取得部４１、判定部４２、検知部４３および計測部４４の動作は、処理回路により行われる。
　実施の形態２．
　本実施の形態について、主に実施の形態１との差異を、図６から図８を用いて説明する。
　＊＊＊構成の説明＊＊＊
　図６を参照して、本実施の形態に係る落下物検知装置１１を備える車載システム１０の構成を説明する。
　本実施の形態では、落下物検知装置１１は、機能要素として、取得部４１と、判定部４２と、検知部４３とを備える。判定部４２は、算出部４５を備える。取得部４１、判定部４２および検知部４３の機能は、ソフトウェアにより実現される。
　本実施の形態では、落下物検知プログラムは、取得部４１、判定部４２および検知部４３により行われる処理をそれぞれ取得処理、判定処理および検知処理としてコンピュータに実行させるプログラムである。すなわち、落下物検知プログラムは、取得部４１、判定部４２および検知部４３の機能を実現するプログラムである。落下物検知プログラムは、実施の形態１と同じように、ＲＯＭ１５からメモリ１４にロードされ、メモリ１４からプロセッサ１３に読み込まれ、プロセッサ１３によって実行される。
　本実施の形態では、センサデバイス２１として、少なくともデプスセンサ２２が備えられる。
　＊＊＊動作の説明＊＊＊
　図６のほかに、図７および図８を参照して、本実施の形態に係る落下物検知装置１１の動作を説明する。落下物検知装置１１の動作は、本実施の形態に係る落下物検知方法に相当する。
　本実施の形態では、落下物検知装置１１は、デプス画像６１の変化した画像領域の大きさを参照して第２車両５２と荷物５３との分離を判別する。これにより、実施の形態１と同様に、第２車両５２から荷物５３が落下した場合であっても、第１車両５１がこの落下物を回避するように、落下中または落下の可能性がある荷物５３を即時に検知可能である。
　落下物検知装置１１の動作の詳細を説明する。
　図７のステップＳ２０１において、取得部４１は、第２車両５２および第２車両５２の周辺のデプス画像６１を取得する。
　図７のステップＳ２０２からステップＳ２０６において、判定部４２は、取得部４１により取得されたデプス画像６１を用いて、荷物５３が第２車両５２と異なる動きをしていないか判定する。具体的には、ステップＳ２０２からステップＳ２０４において、判定部４２は、取得部４１により取得された複数時点のデプス画像６１間でデプス値が変化している画像領域を算出する。ステップＳ２０５およびステップＳ２０６において、判定部４２は、算出した画像領域の大きさが第２車両５２に相当する大きさと異なっている場合に、荷物５３が「第２車両５２と異なる動き」として第２車両５２から分離する動きをしたと判定する。
　図７のステップＳ２０７およびステップＳ２０８において、検知部４３は、判定部４２による判定の結果をもとに、荷物５３の落下を検知する。
　なお、第２車両５２の画像領域と荷物５３の画像領域とが判別可能であれば、ステップＳ２０２からステップＳ２０４において、判定部４２は、取得部４１により取得された複数時点のデプス画像６１における、第２車両５２の画像領域間でのデプス値の変化量と、荷物５３の画像領域間でのデプス値の変化量とを比較してもよい。ステップＳ２０５およびステップＳ２０６において、判定部４２は、変化量の差が閾値を超えている場合に、荷物５３が「第２車両５２と異なる動き」として第２車両５２から分離する動きをしたと判定してもよい。
　さらに、判定部４２は、変化量の差が閾値を下回っている場合でも、変化量の差によって、荷物５３が固定されていないと判定してもよい。ステップ２０７およびステップＳ２０８において、検知部４３は、荷物５３が固定されていないと判定部４２により判定された場合、第１車両５１と第２車両５２との間の距離を空ける制御を行ってもよい。
　落下物検知装置１１の動作をより具体的に説明する。
　ステップＳ２０１の処理については、実施の形態１におけるステップＳ１０１の処理と同じであるため、具体的な説明を省略する。
　ステップＳ２０２の処理については、実施の形態１におけるステップＳ１０２の処理と同じであるため、具体的な説明を省略する。
　ステップＳ２０３において、判定部４２は、ステップＳ２０２で検出した立体物の画像領域をデプス画像６１から切り出す。
　ステップＳ２０４において、判定部４２が備える算出部４５は、ステップＳ２０３で切り出された画像領域に対して、時系列にデプス値が変化した画像領域を算出する。
　ステップＳ２０５において、判定部４２は、第２車両５２と荷物５３との分離判別処理を開始し、ステップＳ２０４で算出した、デプス値が変化した画像領域とデプス値の距離情報とを参照して、画像領域に写る実際の物体のサイズを算出する。実際の物体のサイズ算出では、距離情報からＺ軸方向の位置が算出され、デプス画像６１と距離情報とからＸ軸方向およびＹ軸方向の位置が算出され、それらの位置から画像領域に対応する実際の物体のサイズが求められる。前述したように、Ｘ軸方向は車両横方向、Ｙ軸方向は車両高さ方向、Ｚ軸方向は車両進行方向に相当する。
　ステップＳ２０６において、判定部４２は、ステップＳ２０５で算出したサイズが車両サイズに相当する閾値以下であれば、荷物５３が落下したことに起因してデプス値が変化したと推測し、第２車両５２と荷物５３とが分離したと判定してステップＳ２０７へ進む。判定部４２は、ステップＳ２０５で算出したサイズが車両サイズに相当する閾値よりも大きければ、単に第１車両５１と第２車両５２との車間距離が変化したことに起因してデプス値が変化したとみなし、第２車両５２と荷物５３とが分離していないと判定してステップＳ２０１へ戻る。
　図８にデプス画像６１の画像領域の例を示す。この例では、図３と同様に、距離に応じて、デプス画像６１の各画素の色を変化させて表示する。色は、便宜上、ハッチングで示している。
　図８の上図は、デプス画像６１を示す。図８の下図は、上図のデプス画像６１から切り出された立体物の画像領域を示す。第１車両５１と第２車両５２との車間距離が変化すれば、第２車両５２の画像領域のデプス値が変化する。第１車両５１と荷物５３との距離が変化すれば、荷物５３の画像領域のデプス値が変化する。よって、デプス値が変化した画像領域のサイズを参照して、第２車両５２と荷物５３との分離を判定することができる。
　なお、判定部４２は、立体物の画像領域を切り出してからデプス値の変化を参照して第２車両５２と荷物５３との分離判別をする代わりに、立体物の画像領域を切り出さずにデプス画像６１の全体に対するデプス値の変化を参照して第２車両５２と荷物５３との分離判別をしてもよい。
　ステップＳ２０７の処理については、実施の形態１におけるステップＳ１０７の処理と同じであるため、具体的な説明を省略する。
　ステップＳ２０８の処理については、実施の形態１におけるステップＳ１０８の処理と同じであるため、具体的な説明を省略する。
　以上の動作により、第２車両５２から荷物５３が落下した場合であっても、落下中の荷物５３を即時に検知可能となり、落下物との衝突を回避できる。
　本実施の形態では、判定部４２は、デプス値が変化する画像領域のサイズのみから第２車両５２と荷物５３との分離を判定するため、第２車両５２と荷物５３との画像領域をあらかじめ分別しておく必要がない。
　なお、判定部４２は、デプス画像６１を参照して第２車両５２と荷物５３との画像領域をあらかじめ分別しておいてもよい。判定部４２は、第２車両５２の画像領域と荷物５３の画像領域とのデプス値の変化量が同等であれば、第２車両５２と荷物５３とが分離していないと判定し、デプス値の変化量が任意の閾値以上異なれば、第２車両５２と荷物５３とが分離したと判定してもよい。
　判定部４２は、デプス値の変化量の差が任意の閾値よりも小さくても、デプス値の変化量が異なる状態が継続すれば、第２車両５２に荷物５３が固定されていないと推測し、荷物５３が落下する可能性が高いと判定してもよい。落下の可能性が高い場合、検知部４３は、車両ＥＣＵ３４を介して、第２車両５２との車間距離を空けるように第１車両５１を制御してもよい。
　＊＊＊実施の形態の効果の説明＊＊＊
　本実施の形態では、実施の形態１と同様に、前方車両および前方車両の周辺のデプス画像６１を用いて、前方車両の荷物５３が前方車両と異なる動きをしていないか判定した結果をもとに、荷物５３の落下が検知される。そのため、前方車両からの荷物５３の落下を即時に検知することができる。
　本実施の形態では、実施の形態１と異なり、ミリ波センサ等の距離センサが不要である。
　＊＊＊他の構成＊＊＊
　本実施の形態では、取得部４１、判定部４２および検知部４３の機能がソフトウェアにより実現されるが、変形例として、取得部４１、判定部４２および検知部４３の機能がハードウェアにより実現されてもよい。この変形例について、主に本実施の形態との差異を説明する。
　図９を参照して、本実施の形態の変形例に係る落下物検知装置１１を備える車載システム１０の構成を説明する。
　この例では、落下物検知装置１１は、電子回路１６およびセンサＩＯ１２といったハードウェアを備える。
　電子回路１６は、取得部４１、判定部４２および検知部４３の機能を実現する専用のハードウェアである。電子回路１６は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＦＰＧＡ、ＡＳＩＣ、または、これらのうちいくつか、もしくは、すべての組み合わせである。
　別の変形例として、取得部４１、判定部４２および検知部４３の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。すなわち、取得部４１、判定部４２および検知部４３の機能の一部が専用のハードウェアにより実現され、残りがソフトウェアにより実現されてもよい。
　プロセッサ１３および電子回路１６は、いずれも処理回路である。すなわち、落下物検知装置１１の構成が図６および図９のいずれに示した構成であっても、取得部４１、判定部４２および検知部４３の動作は、処理回路により行われる。
　実施の形態３．
　本実施の形態について、主に実施の形態１との差異を、図１０から図１５を用いて説明する。
　＊＊＊構成の説明＊＊＊
　図１０を参照して、本実施の形態に係る落下物検知装置１１を備える車載システム１０の構成を説明する。
　本実施の形態では、落下物検知装置１１は、機能要素として、取得部４１と、判定部４２と、検知部４３と、算出部４６とを備える。取得部４１、判定部４２、検知部４３および算出部４６の機能は、ソフトウェアにより実現される。
　本実施の形態では、落下物検知プログラムは、取得部４１、判定部４２、検知部４３および算出部４６により行われる処理をそれぞれ取得処理、判定処理、検知処理および算出処理としてコンピュータに実行させるプログラムである。すなわち、落下物検知プログラムは、取得部４１、判定部４２、検知部４３および算出部４６の機能を実現するプログラムである。落下物検知プログラムは、実施の形態１と同じように、ＲＯＭ１５からメモリ１４にロードされ、メモリ１４からプロセッサ１３に読み込まれ、プロセッサ１３によって実行される。
　本実施の形態では、センサデバイス２１として、少なくともデプスセンサ２２およびカメラ２４が備えられる。
　＊＊＊動作の説明＊＊＊
　図１０のほかに、図１１から図１５を参照して、本実施の形態に係る落下物検知装置１１の動作を説明する。落下物検知装置１１の動作は、本実施の形態に係る落下物検知方法に相当する。
　本実施の形態では、落下物検知装置１１は、デプス画像６１の変化とオプティカルフローとを参照して第２車両５２と荷物５３との分離を判別する。これにより、実施の形態１と同様に、第２車両５２から荷物５３が落下した場合であっても、第１車両５１がこの落下物を回避するように、落下中または落下の可能性がある荷物５３を即時に検知可能である。
　落下物検知装置１１の動作の詳細を説明する。
　図１１のステップＳ３０１において、取得部４１は、第２車両５２および第２車両５２の周辺のデプス画像６１を取得する。
　図１１のステップＳ３０２からステップＳ３０６において、判定部４２は、取得部４１により取得されたデプス画像６１を用いて、荷物５３が第２車両５２と異なる動きをしていないか判定する。具体的には、ステップＳ３０４において、算出部４６は、第２車両５２および第２車両５２の周辺を撮影して得られた複数時点のカメラ画像間での物体の動きを表す移動ベクトルを算出する。ステップＳ３０２、ステップＳ３０３、ステップＳ３０５およびステップＳ３０６において、判定部４２は、取得部４１により取得された複数時点のデプス画像６１を参照して、第２車両５２までの距離が長くなっているか判定する。判定部４２は、距離が長くなっている場合に、算出部４６により算出された移動ベクトルが下向きのベクトルであれば、荷物５３が「第２車両５２と異なる動き」として第２車両５２から分離する動きをしたと判定する。
　図１１のステップＳ３０７およびステップＳ３０８において、検知部４３は、判定部４２による判定の結果をもとに、荷物５３の落下を検知する。
　なお、ステップＳ３０６において、判定部４２は、第２車両５２までの距離が短くなっている場合にも、算出部４６により算出された移動ベクトルが下向きのベクトルであり、ベクトルの大きさが閾値を超えていれば、荷物５３が「第２車両５２と異なる動き」として第２車両５２から分離する動きをしたと判定してよい。
　また、ステップＳ３０６において、判定部４２は、第２車両５２までの距離が短くなっている場合にも、算出部４６により算出された移動ベクトルが上向きのベクトルであれば、荷物５３が「第２車両５２と異なる動き」として第２車両５２から分離する動きをしたと判定してよい。
　落下物検知装置１１の動作をより具体的に説明する。
　ステップＳ３０１の処理については、実施の形態１におけるステップＳ１０１の処理と同じであるため、具体的な説明を省略する。
　ステップＳ３０２の処理については、実施の形態１におけるステップＳ１０２の処理と同じであるため、具体的な説明を省略する。
　ステップＳ３０３において、判定部４２は、ステップＳ３０２で検出した立体物の画像領域をデプス画像６１から切り出す。
　ステップＳ３０４において、算出部４６は、センサデバイス２１のうちカメラ２４を使用して、第１車両５１の前方の２次元画像を撮影し、得られたカメラ画像の時系列データから移動ベクトルを算出する。すなわち、算出部４６は、カメラ２４で撮影された画像から画像の時系列変化を表す移動ベクトルを算出する。移動ベクトルは、オプティカルフローとも呼ばれる。
　移動ベクトルの算出方法としては、疎のオプティカルフローを算出する方法を用いてもよいし、密なオプティカルフローを算出する方法を用いてもよい。疎のオプティカルフローを算出する方法では、カメラ画像から特徴点が検出され、時系列のカメラ画像内で特徴点が移動する移動方向と移動量とが算出される。特徴点とは、周囲の画像領域に輝度変化がある点のことである。特徴点は、コーナー検出等の手法を用いて検出される。疎のオプティカルフローを算出する方法の一例としては、ＫＬＴ法が挙げられる。「ＫＬＴ」は、Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉの略語である。密なオプティカルフローを算出する方法では、カメラ画像の全画素の移動ベクトルが算出される。密なオプティカルフローを算出する方法の一例としては、非特許文献３に記載の方法が挙げられる。
　ステップＳ３０５において、判定部４２は、第２車両５２と荷物５３との分離判別処理を開始し、ステップＳ３０４で算出された移動ベクトルを参照して下向きの移動ベクトルが発生しているか否かを判定する。下向きの移動ベクトルが発生している場合には、判定部４２は、ステップＳ３０１で算出されたデプス画像６１を参照して車間距離が短くなっているか否かを判定する。
　ステップＳ３０６において、判定部４２は、ステップＳ３０５で下向きの移動ベクトルが発生しているが車間距離は短くなっていないと判定していれば、荷物５３が落下したことに起因して下向きの移動ベクトルが発生したと推定し、第２車両５２と荷物５３とが分離したと判定してステップＳ３０７へ進む。判定部４２は、ステップＳ３０５で下向きの移動ベクトルが発生していないと判定したか、下向きの移動ベクトルが発生しており、車間距離が短くなっていると判定していれば、第２車両５２と荷物５３とが分離していないと判定してステップＳ３０１へ戻る。
　このように、判定部４２は、取得部４１で算出されたデプス画像６１の時系列変化と、算出部４６で算出された移動ベクトルとを参照して、第２車両５２と荷物５３との分離を判別する。移動ベクトルは、時系列のカメラ画像内に移動する物体があれば発生する。第２車両５２から荷物５３が落下して移動した場合にも移動ベクトルは発生するが、第１車両５１と第２車両５２との車間距離が変化した場合にも移動ベクトルは発生する。よって、移動ベクトルが荷物５３の落下によるものか、車間距離の変化によるものかを判定する必要がある。
　図１２から図１５に時系列のカメラ画像およびカメラ画像から算出された移動ベクトルの例を示す。
　第１車両５１と第２車両５２との車間距離が短くなると、通常は、図１２の例のように、第２車両５２の画像領域内に下向きの移動ベクトルが発生する。車間距離が長くなると、通常は、図１３の例のように、第２車両５２の画像領域内に上向きの移動ベクトルが発生する。車間距離の変化は、デプス画像６１からも算出可能である。よって、判定部４２は、デプス画像６１を参照して車間距離が短くなっていないと判定したのに、図１４の例のように、下向きの移動ベクトルが発生している場合は、第２車両５２と荷物５３とが分離したと判定する。判定部４２は、デプス画像６１を参照して車間距離が短くなっていると判定したときに、下向きの移動ベクトルが発生している場合は、下向きの移動ベクトルを車間距離の変化に起因するものと推定し、第２車両５２と荷物５３とが分離していないと判定する。
　判定部４２は、車間距離の変化から下向きの移動ベクトルの変化量を算出し、その変化量よりも十分大きな下向きの移動ベクトルを検出した場合には、第２車両５２と荷物５３とが分離したと判定してもよい。
　図１２から図１５の例を詳しく説明する。
　図１２は、車間距離が短くなる際に通常発生する移動ベクトルを示す。図１２の左上図は、時刻Ｔ１のカメラ画像７１を示す。図１２の右上図は、時刻Ｔ１＋１のカメラ画像７２を示す。図１２の下図は、時刻Ｔ１のカメラ画像７１と時刻Ｔ１＋１のカメラ画像７２とから算出された移動ベクトルを示す。第１車両５１と第２車両５２との車間距離が短くなると、第２車両５２の画像領域が撮影画像内を下向きに移動するので、下向きの移動ベクトルが発生する。
　図１３は、車間距離が長くなる際に通常発生する移動ベクトルを示す。図１３の左上図は、時刻Ｔ２のカメラ画像７３を示す。図１３の右上図は、時刻Ｔ２＋１のカメラ画像７４を示す。図１３の下図は、時刻Ｔ２のカメラ画像７３と時刻Ｔ２＋１のカメラ画像７４とから算出された移動ベクトルを示す。第１車両５１と第２車両５２との車間距離が長くなると、第２車両５２の画像領域が撮影画像内を上向きに移動するので、上向きの移動ベクトルが発生する。
　図１４は、荷物５３の落下に伴う移動ベクトルを示す。図１４の左上図は、時刻Ｔ３のカメラ画像７５を示す。図１４の右上図は、時刻Ｔ３＋１のカメラ画像７６を示す。図１４の下図は、時刻Ｔ３のカメラ画像７５と時刻Ｔ３＋１のカメラ画像７６とから算出された移動ベクトルを示す。第１車両５１と第２車両５２との車間距離は変化なしとする。第２車両５２から荷物５３が落下すると、荷物５３の画像領域が撮影画像内を下向きに移動するので、下向きの移動ベクトルが発生する。
　このように、判定部４２は、車間距離をデプス画像６１から算出可能であるので、車間距離が長くなったか、または、変化がないときに下向きの移動ベクトルを検知した場合は、第２車両５２から荷物５３が落下したと判定する。
　第２車両５２から落下した荷物５３は、路面と衝突して跳ね上がることがある。
　図１５は、荷物５３の跳ね上がりに伴う移動ベクトルを示す。図１５の左上図は、時刻Ｔ４のカメラ画像７７を示す。図１５の右上図は、時刻Ｔ４＋１のカメラ画像７８を示す。図１５の下図は、時刻Ｔ４のカメラ画像７７と時刻Ｔ４＋１のカメラ画像７８とから算出された移動ベクトルを示す。第１車両５１と第２車両５２との車間距離は変化なしとする。荷物５３が跳ね上がると、荷物５３の画像領域が撮影画像内を上向きに移動するので、上向きの移動ベクトルが発生する。
　このように、判定部４２は、車間距離をデプス画像６１から算出可能であるので、車間距離が短くなったか、または、変化がないときに上向きの移動ベクトルを検知した場合は、第２車両５２から荷物５３が落下し、その後に跳ね上がったと判定してもよい。すなわち、判定部４２は、車間距離の変化による移動ベクトルとは異なる方向の移動ベクトルを、第２車両５２の画像領域内から検出した場合には、第２車両５２から荷物５３が分離したと判定してもよい。
　ステップＳ３０７の処理については、実施の形態１におけるステップＳ１０７の処理と同じであるため、具体的な説明を省略する。
　ステップＳ３０８の処理については、実施の形態１におけるステップＳ１０８の処理と同じであるため、具体的な説明を省略する。
　以上の動作により、第２車両５２から荷物５３が落下した場合であっても、落下中の荷物５３を即時に検知可能となり、落下物との衝突を回避できる。
　＊＊＊実施の形態の効果の説明＊＊＊
　本実施の形態では、実施の形態１と同様に、前方車両および前方車両の周辺のデプス画像６１を用いて、前方車両の荷物５３が前方車両と異なる動きをしていないか判定した結果をもとに、荷物５３の落下が検知される。そのため、前方車両からの荷物５３の落下を即時に検知することができる。
　本実施の形態では、実施の形態１と異なり、カメラ２４が必要であるものの、ミリ波センサ等の距離センサが不要である。なお、デプスセンサ２２とは別にカメラ２４が備えられる代わりに、デプスセンサ２２の構成要素を兼ねるようにカメラ２４が備えられてもよい。
　＊＊＊他の構成＊＊＊
　本実施の形態では、取得部４１、判定部４２、検知部４３および算出部４６の機能がソフトウェアにより実現されるが、変形例として、取得部４１、判定部４２、検知部４３および算出部４６の機能がハードウェアにより実現されてもよい。この変形例について、主に本実施の形態との差異を説明する。
　図１６を参照して、本実施の形態の変形例に係る落下物検知装置１１を備える車載システム１０の構成を説明する。
　この例では、落下物検知装置１１は、電子回路１６およびセンサＩＯ１２といったハードウェアを備える。
　電子回路１６は、取得部４１、判定部４２、検知部４３および算出部４６の機能を実現する専用のハードウェアである。電子回路１６は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＦＰＧＡ、ＡＳＩＣ、または、これらのうちいくつか、もしくは、すべての組み合わせである。
　別の変形例として、取得部４１、判定部４２、検知部４３および算出部４６の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。すなわち、取得部４１、判定部４２、検知部４３および算出部４６の機能の一部が専用のハードウェアにより実現され、残りがソフトウェアにより実現されてもよい。
　プロセッサ１３および電子回路１６は、いずれも処理回路である。すなわち、落下物検知装置１１の構成が図１０および図１６のいずれに示した構成であっても、取得部４１、判定部４２、検知部４３および算出部４６の動作は、処理回路により行われる。
　実施の形態１から実施の形態３のうち２つ以上の実施の形態を組み合わせて実施する場合、車間距離に応じて実施の形態を使い分けてもよい。一例として、車間距離が遠い場合には実施の形態１の動作を適用し、車間距離が短い場合には実施の形態２の動作を適用することで誤判定の発生を抑制しやすくなる。
　１０　車載システム、１１　落下物検知装置、１２　センサＩＯ、１３　プロセッサ、１４　メモリ、１５　ＲＯＭ、１６　電子回路、２１　センサデバイス、２２　デプスセンサ、２３　距離センサ、２４　カメラ、３１　車両制御ユニット、３２　車両制御バスインタフェース、３３　センサＥＣＵ、３４　車両ＥＣＵ、４１　取得部、４２　判定部、４３　検知部、４４　計測部、４５　算出部、４６　算出部、５１　第１車両、５２　第２車両、５３　荷物、６１　デプス画像、７１　カメラ画像、７２　カメラ画像、７３　カメラ画像、７４　カメラ画像、７５　カメラ画像、７６　カメラ画像、７７　カメラ画像、７８　カメラ画像。

Claims (12)

  1. 　第１車両に搭載して使用される落下物検知装置であって、
    　荷物を載せて前記第１車両の前方を走行している第２車両および前記第２車両の周辺のデプス画像を取得する取得部と、
    　前記取得部により取得されたデプス画像を用いて、前記荷物が前記第２車両と異なる動きをしていないか判定する判定部と、
    　前記判定部による判定の結果をもとに、前記荷物の落下を検知する検知部と
    を備える落下物検知装置。
  2. 　距離センサを用いて、前記第２車両までの距離を計測する計測部をさらに備え、
    　前記判定部は、前記デプス画像を参照して、道路を除き最も近い物体までの距離を算出し、算出した距離と、前記計測部により計測された距離とを比較し、距離の差が閾値を超えている場合に、前記荷物が前記第２車両と異なる動きとして前記第２車両から分離する動きをしたと判定する請求項１に記載の落下物検知装置。
  3. 　前記計測部は、前記距離センサとしてミリ波センサを用いる請求項２に記載の落下物検知装置。
  4. 　前記判定部は、前記取得部により取得された複数時点のデプス画像間でデプス値が変化している画像領域を算出し、算出した画像領域の大きさが前記第２車両に相当する大きさと異なっている場合に、前記荷物が前記第２車両と異なる動きとして前記第２車両から分離する動きをしたと判定する請求項１に記載の落下物検知装置。
  5. 　前記判定部は、前記取得部により取得された複数時点のデプス画像における、前記第２車両の画像領域間でのデプス値の変化量と、前記荷物の画像領域間でのデプス値の変化量とを比較し、変化量の差が閾値を超えている場合に、前記荷物が前記第２車両と異なる動きとして前記第２車両から分離する動きをしたと判定する請求項１に記載の落下物検知装置。
  6. 　前記判定部は、前記変化量の差が前記閾値を下回っている場合でも、前記変化量の差によって、前記荷物が固定されていないと判定し、
    　前記検知部は、前記荷物が固定されていないと前記判定部により判定された場合、前記第１車両と前記第２車両との間の距離を空ける制御を行う請求項５に記載の落下物検知装置。
  7. 　前記第２車両および前記第２車両の周辺を撮影して得られた複数時点のカメラ画像間での物体の動きを表す移動ベクトルを算出する算出部をさらに備え、
    　前記判定部は、前記取得部により取得された前記複数時点のデプス画像を参照して、前記第２車両までの距離が長くなっているか判定し、距離が長くなっている場合に、前記算出部により算出された移動ベクトルが下向きのベクトルであれば、前記荷物が前記第２車両と異なる動きとして前記第２車両から分離する動きをしたと判定する請求項１に記載の落下物検知装置。
  8. 　前記第２車両および前記第２車両の周辺を撮影して得られた複数時点のカメラ画像間での物体の動きを表す移動ベクトルを算出する算出部をさらに備え、
    　前記判定部は、前記取得部により取得された前記複数時点のデプス画像を参照して、前記第２車両までの距離が長くなっているか判定し、前記距離が短くなっている場合に、前記算出部により算出された移動ベクトルが下向きのベクトルであり、ベクトルの大きさが閾値を超えていれば、前記荷物が前記第２車両と異なる動きとして前記第２車両から分離する動きをしたと判定する請求項１に記載の落下物検知装置。
  9. 　前記第２車両および前記第２車両の周辺を撮影して得られた複数時点のカメラ画像間での物体の動きを表す移動ベクトルを算出する算出部をさらに備え、
    　前記判定部は、前記取得部により取得された前記複数時点のデプス画像を参照して、前記第２車両までの距離が長くなっているか判定し、距離が短くなっている場合に、前記算出部により算出された移動ベクトルが上向きのベクトルであれば、前記荷物が前記第２車両と異なる動きとして前記第２車両から分離する動きをしたと判定する請求項１に記載の落下物検知装置。
  10. 　請求項１から９のいずれか１項に記載の落下物検知装置と、
    　前記第１車両の運転を制御する車両制御ユニットと
    を備える車載システム。
  11. 　請求項１から９のいずれか１項に記載の落下物検知装置が搭載された車両。
  12. 　第１車両に搭載して使用されるコンピュータに、
    　荷物を載せて前記第１車両の前方を走行している第２車両および前記第２車両の周辺のデプス画像を取得する取得処理と、
    　前記取得処理により取得されたデプス画像を用いて、前記荷物が前記第２車両と異なる動きをしていないか判定する判定処理と、
    　前記判定処理による判定の結果をもとに、前記荷物の落下を検知する検知処理と
    を実行させる落下物検知プログラム。
PCT/JP2018/003598 2018-02-02 2018-02-02 落下物検知装置、車載システム、車両および落下物検知プログラム WO2019150552A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201880087797.XA CN111656396B (zh) 2018-02-02 2018-02-02 落下物检测装置、车载***、车辆及计算机可读取的记录介质
US16/965,446 US11256932B2 (en) 2018-02-02 2018-02-02 Falling object detection apparatus, in-vehicle system, vehicle, and computer readable medium
PCT/JP2018/003598 WO2019150552A1 (ja) 2018-02-02 2018-02-02 落下物検知装置、車載システム、車両および落下物検知プログラム
DE112018006738.6T DE112018006738B4 (de) 2018-02-02 2018-02-02 Vorrichtung zur detektion fallender objekte, fahrzeuginternes system, fahrzeug und programm zur detektion fallender objekte
JP2019568519A JP6685481B2 (ja) 2018-02-02 2018-02-02 落下物検知装置、車載システム、車両および落下物検知プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/003598 WO2019150552A1 (ja) 2018-02-02 2018-02-02 落下物検知装置、車載システム、車両および落下物検知プログラム

Publications (1)

Publication Number Publication Date
WO2019150552A1 true WO2019150552A1 (ja) 2019-08-08

Family

ID=67479235

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/003598 WO2019150552A1 (ja) 2018-02-02 2018-02-02 落下物検知装置、車載システム、車両および落下物検知プログラム

Country Status (5)

Country Link
US (1) US11256932B2 (ja)
JP (1) JP6685481B2 (ja)
CN (1) CN111656396B (ja)
DE (1) DE112018006738B4 (ja)
WO (1) WO2019150552A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114269243A (zh) * 2020-03-19 2022-04-01 株式会社日立制作所 跌倒风险评价***
US11223928B1 (en) * 2020-10-15 2022-01-11 Toyota Motor Engineering & Manufacturing North America, Inc. Unsecured object detection and alert
US11447149B2 (en) * 2021-02-01 2022-09-20 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for detecting and alerting load separation from a moving vehicle
US11948303B2 (en) * 2021-02-26 2024-04-02 Capsovision Inc. Method and apparatus for objective assessment of gastrointestinal conditions based on images captured in the GI tract
JP2023046109A (ja) * 2021-09-22 2023-04-03 株式会社Subaru 車両の運転支援装置
CN115239706A (zh) * 2022-09-20 2022-10-25 图达通智能科技(武汉)有限公司 基于激光雷达的坠物识别方法、装置和可读存储介质
DE102023004810A1 (de) 2022-12-02 2024-06-13 Mercedes-Benz Group AG Verbesserung der Wahrscheinlichkeit der Erkennung eines Objekts in der Fahrspur eines Fahrzeugs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09293141A (ja) * 1996-04-24 1997-11-11 Hitachi Ltd 移動物体検出装置
JP2006258507A (ja) * 2005-03-15 2006-09-28 Omron Corp 前方物体認識装置
JP2010108371A (ja) * 2008-10-31 2010-05-13 Toyota Motor Corp 車両用落下物検出装置
JP2012047609A (ja) * 2010-08-27 2012-03-08 Honda Motor Co Ltd 物体検知装置
JP2012103921A (ja) * 2010-11-10 2012-05-31 Saxa Inc 通行車両監視システム及び車両用監視カメラ

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10315843A (ja) 1997-05-14 1998-12-02 Yazaki Corp 荷崩れ監視装置
JP4615139B2 (ja) * 2001-03-30 2011-01-19 本田技研工業株式会社 車両の周辺監視装置
JP2004009993A (ja) 2002-06-11 2004-01-15 Toshiba Eng Co Ltd 列車事故回避システム
JP2005018472A (ja) 2003-06-26 2005-01-20 Nec Mobiling Ltd 運送車両の荷崩れ監視システムおよびその方法
CN1914060B (zh) 2004-01-28 2013-05-29 丰田自动车株式会社 车辆行驶支持***
JP4193765B2 (ja) * 2004-01-28 2008-12-10 トヨタ自動車株式会社 車両用走行支援装置
FI116755B (fi) * 2004-03-08 2006-02-15 Perlos Oyj Elektroninen laite ja latausliitinjärjestely
JP4561266B2 (ja) 2004-09-14 2010-10-13 富士通株式会社 落下物検知装置
JP4453775B2 (ja) * 2008-06-27 2010-04-21 トヨタ自動車株式会社 物体検出装置
US20100007500A1 (en) * 2008-07-09 2010-01-14 International Business Machines Corporation Detector system for detecting cargo items falling during transport and method for retrieval thereof
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US9852632B2 (en) * 2012-02-10 2017-12-26 Mitsubishi Electric Corporation Driving assistance device and driving assistance method
WO2014033954A1 (ja) * 2012-09-03 2014-03-06 トヨタ自動車株式会社 衝突判定装置及び衝突判定方法
JP5910434B2 (ja) 2012-09-25 2016-04-27 トヨタ自動車株式会社 衝突予測装置
CN103116757B (zh) * 2013-01-30 2016-12-28 北京科技大学 一种三维信息复原提取的道路遗洒物识别方法
US9122933B2 (en) * 2013-03-13 2015-09-01 Mighty Carma, Inc. After market driving assistance system
JP2014232508A (ja) 2013-05-30 2014-12-11 トヨタ自動車株式会社 回避軌道予測装置
JP2014238731A (ja) * 2013-06-07 2014-12-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理システム、および画像処理方法
DE102014210259A1 (de) * 2014-05-28 2015-12-03 Bayerische Motoren Werke Aktiengesellschaft Assistent zur Detektion von herabfallenden Objekten
JP6151670B2 (ja) 2014-06-30 2017-06-21 本田技研工業株式会社 移動支援装置
KR102366402B1 (ko) * 2015-05-21 2022-02-22 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
CN105718888B (zh) * 2016-01-22 2019-09-13 北京中科慧眼科技有限公司 障碍物预警方法和障碍物预警装置
JP6587000B2 (ja) * 2016-01-28 2019-10-09 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
WO2017195405A1 (ja) * 2016-05-11 2017-11-16 ソニー株式会社 画像処理装置及び画像処理方法、並びに移動体
US10628960B2 (en) * 2016-11-24 2020-04-21 Ricoh Company, Ltd. Information processing apparatus, imaging apparatus, device control system, moving object, information processing method, and recording medium
JP6834522B2 (ja) * 2017-01-23 2021-02-24 スズキ株式会社 運転支援装置
JP6791099B2 (ja) * 2017-11-01 2020-11-25 株式会社デンソー 車両制御装置
JP2020175804A (ja) * 2019-04-19 2020-10-29 マツダ株式会社 車両制御装置
JP2020175795A (ja) * 2019-04-19 2020-10-29 マツダ株式会社 車両制御装置
EP4096978A4 (en) * 2020-02-21 2024-03-06 Bluespace AI, Inc. METHOD FOR OBJECT AVOIDANCE DURING AUTONOMOUS NAVIGATION

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09293141A (ja) * 1996-04-24 1997-11-11 Hitachi Ltd 移動物体検出装置
JP2006258507A (ja) * 2005-03-15 2006-09-28 Omron Corp 前方物体認識装置
JP2010108371A (ja) * 2008-10-31 2010-05-13 Toyota Motor Corp 車両用落下物検出装置
JP2012047609A (ja) * 2010-08-27 2012-03-08 Honda Motor Co Ltd 物体検知装置
JP2012103921A (ja) * 2010-11-10 2012-05-31 Saxa Inc 通行車両監視システム及び車両用監視カメラ

Also Published As

Publication number Publication date
US20210056322A1 (en) 2021-02-25
CN111656396B (zh) 2024-01-09
JPWO2019150552A1 (ja) 2020-07-02
DE112018006738B4 (de) 2022-03-10
DE112018006738T5 (de) 2020-09-10
US11256932B2 (en) 2022-02-22
CN111656396A (zh) 2020-09-11
JP6685481B2 (ja) 2020-04-22

Similar Documents

Publication Publication Date Title
JP6685481B2 (ja) 落下物検知装置、車載システム、車両および落下物検知プログラム
US9196163B2 (en) Driving support apparatus and driving support method
JP6407626B2 (ja) 物体認識装置及び車両制御システム
US10922561B2 (en) Object recognition device and vehicle travel control system
US10836388B2 (en) Vehicle control method and apparatus
JP5910046B2 (ja) 障害物検出装置
US9470790B2 (en) Collision determination device and collision determination method
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
WO2017111135A1 (ja) 走行支援装置及び走行支援方法
CN110194162B (zh) 用于基于可用空间信号来检测靠近切入车辆的***和方法
WO2013080745A1 (ja) 物体検知装置
JP4510554B2 (ja) 立体物監視装置
CN111052201B (zh) 碰撞预测装置、碰撞预测方法以及存储介质
KR20190074025A (ko) 주변차량 의도 판단 장치 및 방법
JP6325927B2 (ja) 物体検知装置及びそれを用いた車両制御システム
CN104321665A (zh) 基于多表面模型的跟踪
US11630202B2 (en) Sensing device, moving body system, and sensing method
KR20230045381A (ko) 차량 및 그 제어 방법
JP6936557B2 (ja) 探索処理装置、及びステレオカメラ装置
JP7471927B2 (ja) 障害物検出装置、車両、障害物検出システム、及び障害物検出方法
WO2024111324A1 (ja) 表示制御装置
WO2023013110A1 (ja) 外界認識装置
JP7401273B2 (ja) 移動体の制御装置及び方法
JP2022133850A (ja) 表示制御装置、表示制御方法及びプログラム
JP2021117848A (ja) 物体検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18904143

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2019568519

Country of ref document: JP

122 Ep: pct application non-entry in european phase

Ref document number: 18904143

Country of ref document: EP

Kind code of ref document: A1