WO2021060018A1 - 信号処理装置、信号処理方法、プログラム、及び、移動装置 - Google Patents

信号処理装置、信号処理方法、プログラム、及び、移動装置 Download PDF

Info

Publication number
WO2021060018A1
WO2021060018A1 PCT/JP2020/034437 JP2020034437W WO2021060018A1 WO 2021060018 A1 WO2021060018 A1 WO 2021060018A1 JP 2020034437 W JP2020034437 W JP 2020034437W WO 2021060018 A1 WO2021060018 A1 WO 2021060018A1
Authority
WO
WIPO (PCT)
Prior art keywords
grid
occupied
attributes
vehicle
signal processing
Prior art date
Application number
PCT/JP2020/034437
Other languages
English (en)
French (fr)
Inventor
石川 達也
超 王
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202080065561.3A priority Critical patent/CN114424265A/zh
Priority to US17/753,828 priority patent/US20220383749A1/en
Priority to JP2021548799A priority patent/JPWO2021060018A1/ja
Priority to DE112020004545.5T priority patent/DE112020004545T5/de
Publication of WO2021060018A1 publication Critical patent/WO2021060018A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/133Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops
    • G08G1/137Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops the indicator being in the form of a map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/20Static objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects

Definitions

  • the present technology relates to a signal processing device, a signal processing method, a program, and a mobile device, and in particular, a signal processing device, a signal processing method, a program, which enables an occupied grid map in which an appropriate route can be set, can be obtained. And related to mobile devices.
  • Patent Document 1 a technique for setting a route to avoid obstacles has been developed using an occupied grid map created using LiDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing) (for example, Patent Document 1). reference).
  • LiDAR Light Detection and Ringing, Laser Imaging Detection and Ringing
  • Patent Document 1 only the case where the grid is included in the blind spot region when the obstacle is a stationary object is examined. Therefore, for example, when an obstacle is erroneously detected or a detection omission occurs due to noise or the like, it is difficult to set an appropriate route based on the occupied grid map.
  • This technology was made in view of such a situation, and makes it possible to obtain an occupied grid map on which an appropriate route can be set.
  • the signal processing device on the first side surface of the present technology is an occupied grid that indicates the presence or absence of the object in grid units based on the first sensor data from the first sensor used for detecting the object around the moving device.
  • a map creation unit that creates a map, an attribute setting unit that sets the attributes of the grid of the occupied grid map based on the attributes of the object, and a correction of the occupied grid map based on the attributes of the grid. It is provided with a correction unit.
  • the signal processing method of the first aspect of the present technology creates an occupied grid map showing the presence or absence of the object in grid units based on the sensor data from the sensor used for detecting the object around the moving device.
  • the attributes of the grid of the occupied grid map are set based on the attributes of the object, and the occupied grid map is corrected based on the attributes of the grid.
  • the program of the first aspect of the present technology creates an occupied grid map showing the presence or absence of the object in grid units based on the sensor data from the sensor used for detecting the object around the moving device, and creates an occupied grid map of the object. Based on the attributes, the attributes of the grid of the occupied grid map are set, and the computer is made to execute the process of correcting the occupied grid map based on the attributes of the grid.
  • the moving device on the second side of the present technology includes a map creation unit that creates an occupied grid map that indicates the presence or absence of the object in grid units based on sensor data from a sensor used for detecting surrounding objects, and the above.
  • An attribute setting unit that sets the attributes of the grid of the occupied grid map based on the attributes of the object
  • a correction unit that corrects the occupied grid map based on the attributes of the grid
  • It has an action planning department that sets routes based on the map.
  • an occupied grid map showing the presence or absence of the object in grid units is created based on the sensor data from the sensor used for detecting the object around the moving device, and the attributes of the object are created.
  • the attributes of the grid of the occupied grid map are set based on the above, and the occupied grid map is corrected based on the attributes of the grid.
  • an occupied grid map showing the presence or absence of the object in grid units is created based on the sensor data from the sensor used for detecting the surrounding object, and based on the attributes of the object.
  • the attributes of the grid of the occupied grid map are set, the occupied grid map is corrected based on the attributes of the grid, and the route is set based on the corrected occupied grid map.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle control system 11 which is an example of a mobile device control system to which the present technology is applied.
  • the vehicle control system 11 is provided in the vehicle 1 and performs processing related to driving support and automatic driving of the vehicle 1.
  • the vehicle control system 11 includes a processor 21, a communication unit 22, a map information storage unit 23, a GNSS (Global Navigation Satellite System) receiving unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a recording unit 28, and driving support. It includes an automatic driving control unit 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control unit 32.
  • a processor 21 includes a processor 21, a communication unit 22, a map information storage unit 23, a GNSS (Global Navigation Satellite System) receiving unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a recording unit 28, and driving support. It includes an automatic driving control unit 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control unit 32.
  • DMS Driver Monitoring System
  • HMI Human Machine Interface
  • the communication network 41 is an in-vehicle communication network that conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), and Ethernet (registered trademark). It is composed of buses and buses.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Ethernet registered trademark
  • the description of the communication network 41 shall be omitted.
  • the processor 21 and the communication unit 22 communicate with each other via the communication network 41, it is described that the processor 21 and the communication unit 22 simply communicate with each other.
  • the processor 21 is composed of various processors such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), and an ECU (Electronic Control Unit), for example.
  • the processor 21 controls the entire vehicle control system 11.
  • the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data.
  • the communication unit 22 receives from the outside a program for updating the software for controlling the operation of the vehicle control system 11, map information, traffic information, information around the vehicle 1, and the like. ..
  • the communication unit 22 transmits information about the vehicle 1 (for example, data indicating the state of the vehicle 1, recognition result by the recognition unit 73, etc.), information around the vehicle 1, and the like to the outside.
  • the communication unit 22 performs communication corresponding to a vehicle emergency call system such as eCall.
  • the communication method of the communication unit 22 is not particularly limited. Moreover, a plurality of communication methods may be used.
  • the communication unit 22 wirelessly communicates with the equipment inside the vehicle by a communication method such as wireless LAN, Bluetooth, NFC, WUSB (Wireless USB).
  • a communication method such as wireless LAN, Bluetooth, NFC, WUSB (Wireless USB).
  • the communication unit 22 uses USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface, registered trademark), or MHL (Mobile High-) via a connection terminal (and a cable if necessary) (not shown).
  • Wired communication is performed with the equipment in the vehicle by a communication method such as definitionLink).
  • the device in the vehicle is, for example, a device that is not connected to the communication network 41 in the vehicle.
  • mobile devices and wearable devices possessed by passengers such as drivers, information devices brought into a vehicle and temporarily installed, and the like are assumed.
  • the communication unit 22 is a base station using a wireless communication system such as 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), LTE (Long Term Evolution), DSRC (Dedicated Short Range Communications), etc.
  • a wireless communication system such as 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), LTE (Long Term Evolution), DSRC (Dedicated Short Range Communications), etc.
  • it communicates with a server or the like existing on an external network (for example, the Internet, a cloud network, or a network peculiar to a business operator) via an access point.
  • an external network for example, the Internet, a cloud network, or a network peculiar to a business operator
  • the communication unit 22 uses P2P (Peer To Peer) technology to communicate with a terminal (for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal) existing in the vicinity of the own vehicle. ..
  • a terminal for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal
  • the communication unit 22 performs V2X communication.
  • V2X communication is, for example, vehicle-to-vehicle (Vehicle to Vehicle) communication with other vehicles, road-to-vehicle (Vehicle to Infrastructure) communication with roadside equipment, and home (Vehicle to Home) communication.
  • And pedestrian-to-vehicle (Vehicle to Pedestrian) communication with terminals owned by pedestrians.
  • the communication unit 22 receives electromagnetic waves transmitted by a vehicle information and communication system (VICS (Vehicle Information and Communication System), a registered trademark) such as a radio wave beacon, an optical beacon, and FM multiplex broadcasting.
  • VICS Vehicle Information and Communication System
  • a radio wave beacon such as a radio wave beacon, an optical beacon, and FM multiplex broadcasting.
  • the map information storage unit 23 stores the map acquired from the outside and the map created by the vehicle 1.
  • the map information storage unit 23 stores a three-dimensional high-precision map, a global map that is less accurate than the high-precision map and covers a wide area, and the like.
  • High-precision maps include, for example, dynamic maps, point cloud maps, vector maps (also referred to as ADAS (Advanced Driver Assistance System) maps), and the like.
  • the dynamic map is, for example, a map composed of four layers of dynamic information, quasi-dynamic information, quasi-static information, and static information, and is provided from an external server or the like.
  • the point cloud map is a map composed of point clouds (point cloud data).
  • a vector map is a map in which information such as lanes and signal positions is associated with a point cloud map.
  • the point cloud map and the vector map may be provided from, for example, an external server or the like, and the vehicle 1 is used as a map for matching with a local map described later based on the sensing result by the radar 52, LiDAR 53, or the like.
  • map information storage unit 23 It may be created and stored in the map information storage unit 23. Further, when a high-precision map is provided from an external server or the like, in order to reduce the communication capacity, map data of, for example, several hundred meters square, relating to the planned route on which the vehicle 1 will travel from now on is acquired from the server or the like.
  • the GNSS receiving unit 24 receives the GNSS signal from the GNSS satellite and supplies it to the traveling support / automatic driving control unit 29.
  • the external recognition sensor 25 includes various sensors used for recognizing the external situation of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the external recognition sensor 25 are arbitrary.
  • the external recognition sensor 25 includes a camera 51, a radar 52, a LiDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing) 53, and an ultrasonic sensor 54.
  • the number of the camera 51, the radar 52, the LiDAR 53, and the ultrasonic sensor 54 is arbitrary, and an example of the sensing region of each sensor will be described later.
  • the camera 51 for example, a camera of an arbitrary shooting method such as a ToF (TimeOfFlight) camera, a stereo camera, a monocular camera, an infrared camera, etc. is used as needed.
  • ToF TimeOfFlight
  • stereo camera stereo camera
  • monocular camera stereo camera
  • infrared camera etc.
  • the external recognition sensor 25 includes an environmental sensor for detecting weather, weather, brightness, and the like.
  • the environmental sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, an illuminance sensor, and the like.
  • the external recognition sensor 25 includes a microphone used for detecting the position of the sound and the sound source around the vehicle 1.
  • the in-vehicle sensor 26 includes various sensors for detecting information in the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the in-vehicle sensor 26 are arbitrary.
  • the in-vehicle sensor 26 includes a camera, a radar, a seating sensor, a steering wheel sensor, a microphone, a biological sensor, and the like.
  • the camera for example, a camera of any shooting method such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera can be used.
  • the biosensor is provided on, for example, a seat, a stelling wheel, or the like, and detects various biometric information of a passenger such as a driver.
  • the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the vehicle sensor 27 are arbitrary.
  • the vehicle sensor 27 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)).
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the operation amount of the accelerator pedal, and a brake sensor that detects the operation amount of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the rotation speed of an engine or a motor, an air pressure sensor that detects tire pressure, a slip ratio sensor that detects tire slip ratio, and a wheel speed that detects wheel rotation speed. Equipped with a sensor.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining amount and temperature of the battery, and an impact sensor that detects an external impact.
  • the recording unit 28 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, and the like. ..
  • the recording unit 28 records various programs, data, and the like used by each unit of the vehicle control system 11.
  • the recording unit 28 records a rosbag file including messages sent and received by the ROS (Robot Operating System) in which an application program related to automatic driving operates.
  • the recording unit 28 includes an EDR (EventDataRecorder) and a DSSAD (DataStorageSystem for Automated Driving), and records information on the vehicle 1 before and after an event such as an accident.
  • EDR EventDataRecorder
  • DSSAD DataStorageSystem for Automated Driving
  • the driving support / automatic driving control unit 29 controls the driving support and automatic driving of the vehicle 1.
  • the driving support / automatic driving control unit 29 includes an analysis unit 61, an action planning unit 62, and an operation control unit 63.
  • the analysis unit 61 analyzes the vehicle 1 and the surrounding conditions.
  • the analysis unit 61 includes a self-position estimation unit 71, a sensor fusion unit 72, and a recognition unit 73.
  • the self-position estimation unit 71 estimates the self-position of the vehicle 1 based on the sensor data from the external recognition sensor 25 and the high-precision map stored in the map information storage unit 23. For example, the self-position estimation unit 71 estimates the self-position of the vehicle 1 by generating a local map based on the sensor data from the external recognition sensor 25 and matching the local map with the high-precision map. The position of the vehicle 1 is based on, for example, the center of the rear wheel-to-axle.
  • the local map is, for example, a three-dimensional high-precision map created by using a technique such as SLAM (Simultaneous Localization and Mapping), an occupied grid map (Occupancy Grid Map), or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupied grid map is a map that divides a three-dimensional or two-dimensional space around the vehicle 1 into grids (grids) of a predetermined size and shows the occupied state of an object in grid units.
  • the occupied state of an object is indicated by, for example, the presence or absence of the object and the existence probability.
  • the local map is also used, for example, in the detection process and the recognition process of the external situation of the vehicle 1 by the recognition unit 73.
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 1 based on the GNSS signal and the sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 performs a sensor fusion process for obtaining new information by combining a plurality of different types of sensor data (for example, image data supplied from the camera 51 and sensor data supplied from the radar 52). .. Methods for combining different types of sensor data include integration, fusion, and association.
  • the recognition unit 73 performs detection processing and recognition processing of the external situation of the vehicle 1.
  • the recognition unit 73 performs detection processing and recognition processing of the external situation of the vehicle 1 based on the information from the external recognition sensor 25, the information from the self-position estimation unit 71, the information from the sensor fusion unit 72, and the like. ..
  • the recognition unit 73 performs detection processing, recognition processing, and the like of objects around the vehicle 1.
  • the object detection process is, for example, a process of detecting the presence / absence, size, shape, position, movement, etc. of an object.
  • the object recognition process is, for example, a process of recognizing an attribute such as an object type or identifying a specific object.
  • the detection process and the recognition process are not always clearly separated and may overlap.
  • the recognition unit 73 detects an object around the vehicle 1 by performing clustering that classifies the point cloud based on sensor data such as LiDAR or radar for each point cloud block. As a result, the presence / absence, size, shape, and position of an object around the vehicle 1 are detected.
  • the recognition unit 73 detects the movement of an object around the vehicle 1 by performing tracking that follows the movement of a mass of point clouds classified by clustering. As a result, the speed and the traveling direction (movement vector) of the object around the vehicle 1 are detected.
  • the recognition unit 73 recognizes the type of an object around the vehicle 1 by performing an object recognition process such as semantic segmentation on the image data supplied from the camera 51.
  • the object to be detected or recognized is assumed to be, for example, a vehicle, a person, a bicycle, an obstacle, a structure, a road, a traffic light, a traffic sign, a road marking, or the like.
  • the recognition unit 73 recognizes the traffic rules around the vehicle 1 based on the map stored in the map information storage unit 23, the self-position estimation result, and the recognition result of the objects around the vehicle 1. I do.
  • this processing for example, the position and state of a signal, the contents of traffic signs and road markings, the contents of traffic regulations, the lanes in which the vehicle can travel, and the like are recognized.
  • the recognition unit 73 performs recognition processing of the environment around the vehicle 1.
  • the surrounding environment to be recognized for example, weather, temperature, humidity, brightness, road surface condition, and the like are assumed.
  • the action planning unit 62 creates an action plan for the vehicle 1. For example, the action planning unit 62 creates an action plan by performing route planning and route tracking processing.
  • route planning is a process of planning a rough route from the start to the goal.
  • This route plan is called a track plan, and in the route planned by the route plan, a track generation (Local) capable of safely and smoothly traveling in the vicinity of the vehicle 1 in consideration of the motion characteristics of the vehicle 1 is taken into consideration. path planning) processing is also included.
  • Route tracking is a process of planning an operation for safely and accurately traveling on a route planned by route planning within a planned time. For example, the target speed and the target angular velocity of the vehicle 1 are calculated.
  • the motion control unit 63 controls the motion of the vehicle 1 in order to realize the action plan created by the action plan unit 62.
  • the motion control unit 63 controls the steering control unit 81, the brake control unit 82, and the drive control unit 83 so that the vehicle 1 travels on the track calculated by the track plan in acceleration / deceleration control and direction. Take control.
  • the motion control unit 63 performs coordinated control for the purpose of realizing ADAS functions such as collision avoidance or impact mitigation, follow-up travel, vehicle speed maintenance travel, collision warning of own vehicle, and lane deviation warning of own vehicle.
  • the motion control unit 63 performs coordinated control for the purpose of automatic driving or the like in which the vehicle autonomously travels without being operated by the driver.
  • the DMS 30 performs driver authentication processing, driver status recognition processing, and the like based on the sensor data from the in-vehicle sensor 26 and the input data input to the HMI 31.
  • As the state of the driver to be recognized for example, physical condition, alertness, concentration, fatigue, line-of-sight direction, drunkenness, driving operation, posture, and the like are assumed.
  • the DMS 30 may perform authentication processing for passengers other than the driver and recognition processing for the state of the passenger. Further, for example, the DMS 30 may perform the recognition processing of the situation inside the vehicle based on the sensor data from the sensor 26 in the vehicle. As the situation inside the vehicle to be recognized, for example, temperature, humidity, brightness, odor, etc. are assumed.
  • the HMI 31 is used for inputting various data and instructions, generates an input signal based on the input data and instructions, and supplies the input signal to each part of the vehicle control system 11.
  • the HMI 31 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device that can be input by a method other than manual operation by voice or gesture.
  • the HMI 31 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device that supports the operation of the vehicle control system 11.
  • the HMI 31 performs output control that controls the generation and output of visual information, auditory information, and tactile information for the passenger or the outside of the vehicle, as well as the output content, output timing, output method, and the like.
  • the visual information is, for example, information indicated by an image such as an operation screen, a state display of the vehicle 1, a warning display, a monitor image showing the surrounding situation of the vehicle 1, or light.
  • Auditory information is, for example, information indicated by voice such as guidance, warning sounds, and warning messages.
  • the tactile information is information given to the passenger's tactile sensation by, for example, force, vibration, movement, or the like.
  • a display device As a device that outputs visual information, for example, a display device, a projector, a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, or the like is assumed.
  • the display device is a device that displays visual information in the field of view of a passenger, such as a head-up display, a transmissive display, and a wearable device having an AR (Augmented Reality) function, in addition to a device having a normal display. You may.
  • an audio speaker for example, an audio speaker, headphones, earphones, etc. are assumed.
  • a haptics element using haptics technology or the like As a device that outputs tactile information, for example, a haptics element using haptics technology or the like is assumed.
  • the haptic element is provided on, for example, a steering wheel, a seat, or the like.
  • the vehicle control unit 32 controls each part of the vehicle 1.
  • the vehicle control unit 32 includes a steering control unit 81, a brake control unit 82, a drive control unit 83, a body system control unit 84, a light control unit 85, and a horn control unit 86.
  • the steering control unit 81 detects and controls the state of the steering system of the vehicle 1.
  • the steering system includes, for example, a steering mechanism including a steering wheel and the like, electric power steering and the like.
  • the steering control unit 81 includes, for example, a control unit such as an ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 detects and controls the state of the brake system of the vehicle 1.
  • the brake system includes, for example, a brake mechanism including a brake pedal and the like, ABS (Antilock Brake System) and the like.
  • the brake control unit 82 includes, for example, a control unit such as an ECU that controls the brake system, an actuator that drives the brake system, and the like.
  • the drive control unit 83 detects and controls the state of the drive system of the vehicle 1.
  • the drive system includes, for example, a drive force generator for generating a drive force of an accelerator pedal, an internal combustion engine, a drive motor, or the like, a drive force transmission mechanism for transmitting the drive force to the wheels, and the like.
  • the drive control unit 83 includes, for example, a control unit such as an ECU that controls the drive system, an actuator that drives the drive system, and the like.
  • the body system control unit 84 detects and controls the state of the body system of the vehicle 1.
  • the body system includes, for example, a keyless entry system, a smart key system, a power window device, a power seat, an air conditioner, an airbag, a seat belt, a shift lever, and the like.
  • the body system control unit 84 includes, for example, a control unit such as an ECU that controls the body system, an actuator that drives the body system, and the like.
  • the light control unit 85 detects and controls the states of various lights of the vehicle 1. As the lights to be controlled, for example, headlights, backlights, fog lights, turn signals, brake lights, projections, bumper displays and the like are assumed.
  • the light control unit 85 includes a control unit such as an ECU that controls the light, an actuator that drives the light, and the like.
  • the horn control unit 86 detects and controls the state of the car horn of the vehicle 1.
  • the horn control unit 86 includes, for example, a control unit such as an ECU that controls the car horn, an actuator that drives the car horn, and the like.
  • FIG. 2 is a diagram showing an example of a sensing region by the camera 51, the radar 52, the LiDAR 53, and the ultrasonic sensor 54 of the external recognition sensor 25 of FIG.
  • the sensing area 101F and the sensing area 101B show an example of the sensing area of the ultrasonic sensor 54.
  • the sensing area 101F covers the vicinity of the front end of the vehicle 1.
  • the sensing region 101B covers the periphery of the rear end of the vehicle 1.
  • the sensing results in the sensing area 101F and the sensing area 101B are used, for example, for parking support of the vehicle 1.
  • the sensing area 102F to the sensing area 102B show an example of the sensing area of the radar 52 for a short distance or a medium distance.
  • the sensing area 102F covers a position farther than the sensing area 101F in front of the vehicle 1.
  • the sensing region 102B covers the rear of the vehicle 1 to a position farther than the sensing region 101B.
  • the sensing area 102L covers the rear periphery of the left side surface of the vehicle 1.
  • the sensing region 102R covers the rear periphery of the right side surface of the vehicle 1.
  • the sensing result in the sensing area 102F is used, for example, for detecting a vehicle, a pedestrian, or the like existing in front of the vehicle 1.
  • the sensing result in the sensing region 102B is used, for example, for a collision prevention function behind the vehicle 1.
  • the sensing results in the sensing area 102L and the sensing area 102R are used, for example, for detecting an object in a blind spot on the side of the vehicle 1.
  • the sensing area 103F to the sensing area 103B show an example of the sensing area by the camera 51.
  • the sensing area 103F covers a position farther than the sensing area 102F in front of the vehicle 1.
  • the sensing region 103B covers the rear of the vehicle 1 to a position farther than the sensing region 102B.
  • the sensing area 103L covers the periphery of the left side surface of the vehicle 1.
  • the sensing region 103R covers the periphery of the right side surface of the vehicle 1.
  • the sensing result in the sensing area 103F is used, for example, for recognition of traffic lights and traffic signs, lane departure prevention support system, and the like.
  • the sensing result in the sensing area 103B is used, for example, for parking assistance, a surround view system, and the like.
  • the sensing results in the sensing area 103L and the sensing area 103R are used, for example, in a surround view system or the like.
  • the sensing area 104 shows an example of the sensing area of LiDAR53.
  • the sensing area 104 covers a position farther than the sensing area 103F in front of the vehicle 1.
  • the sensing area 104 has a narrower range in the left-right direction than the sensing area 103F.
  • the sensing result in the sensing area 104 is used, for example, for emergency braking, collision avoidance, pedestrian detection, and the like.
  • the sensing area 105 shows an example of the sensing area of the radar 52 for a long distance.
  • the sensing region 105 covers a position farther than the sensing region 104 in front of the vehicle 1.
  • the sensing area 105 has a narrower range in the left-right direction than the sensing area 104.
  • the sensing result in the sensing region 105 is used for, for example, ACC (Adaptive Cruise Control) or the like.
  • each sensor may have various configurations other than those shown in FIG. Specifically, the ultrasonic sensor 54 may also sense the side of the vehicle 1, or the LiDAR 53 may sense the rear of the vehicle 1.
  • the occupancy grid map is a map showing the occupancy state of an object in the space around the vehicle 1 in grit units.
  • the occupancy state of each grid is represented by the existence probability of an object.
  • the existence probability is expressed in the range from 0 (the object does not exist) to 1 (the object exists), for example, the higher the probability that the object exists, the closer to 1, and the lower the probability that the object exists, the 0. Approaching.
  • the occupied state of each grid is represented by the presence or absence of an object.
  • the occupied state of each grid is represented by three types of values: yes (there is an object), no (there is no object), and unknown (unknown).
  • the occupancy state is set to "yes” when the existence probability is equal to or more than a predetermined threshold value, and the occupancy state is set to "none" when the existence probability is less than the predetermined threshold value.
  • the action planning unit 62 of the vehicle 1 sets the latest route so as to pass through the area where no object exists on the occupied grid map.
  • expansion processing is usually performed on the occupied grid map.
  • the expansion process is a process of expanding the boundary of the area occupied (existing) by each object (hereinafter referred to as an occupied area) to the adjacent grid in the occupied grid map.
  • an occupied area the occupied area of each object in the occupied grid map becomes larger than the area of the actual object, and even if the vehicle 1 sets a route near the boundary of the occupied area, the risk of collision or contact with the object is reduced.
  • a certain expansion process is applied to all the objects. That is, a constant expansion amount is applied to all objects, and the boundary of the occupied area of each object is widened by the same number of grids.
  • the margin for each object is increased, and a route that can be safely avoided even if a moving object such as a vehicle or a person moves is set.
  • the passable range of the vehicle 1 becomes narrow, which may make it difficult to set the route or cause the vehicle 1 to make a detour.
  • the passable range of the vehicle 1 becomes wider.
  • the margin for each object is small, the risk of collision with a moving object is high.
  • FIG. 3 shows an example in which the vehicle 1 is about to pass between the stationary object 201 and the stationary object 202.
  • a in FIG. 3 shows an example in which the amount of expansion is reduced.
  • the occupied area 211A for the stationary object 201 and the occupied area 212A for the stationary object 202 become smaller.
  • a passable space is secured between the occupied area 211A and the occupied area 212A, and the vehicle 1 can proceed in the direction of the arrow A1.
  • B in FIG. 3 shows an example in which the amount of expansion is increased.
  • the occupied area 211B for the stationary object 201 and the occupied area 212B for the stationary object 202 become large. Then, the passable space is not secured between the occupied area 211B and the occupied area 212B, and the vehicle 1 needs to make a detour without advancing in the direction of the arrow A2.
  • FIG. 4 shows an example in which the vehicle 1 is about to pass by the person 221.
  • a in FIG. 4 shows an example in which the amount of expansion is reduced.
  • the occupied area 231A with respect to the person 221 becomes smaller, and the margin becomes smaller. Therefore, the vehicle 1 will travel in the immediate vicinity of the person 221 and there is a high risk of collision or contact with the person 221.
  • B in FIG. 4 shows an example in which the amount of expansion is increased.
  • the occupied area 231B with respect to the person 221 becomes large, and the margin becomes large. Therefore, the vehicle 1 travels at a position away from the person 221 and the risk of collision or contact with the person 221 is reduced.
  • the occupancy grid map is usually subjected to a gradual decrease process and a gradual increase process of the existence probability.
  • the gradual reduction process of the existence probability is a process of gradually reducing the existence probability of the grid to 0 over time without immediately changing the existence probability of the grid to 0 even if the object is no longer detected in the grid.
  • the gradual increase process of the existence probability is a process of gradually increasing the existence probability of the grid to 1 over time without immediately changing the existence probability of the grid to 1 even if an object is detected in the grid.
  • the gradual decrease time and the gradual increase time are set to be constant.
  • the gradual decrease time is the time required for the existence probability to change from 1 to 0.
  • the gradual increase time is the time required for the existence probability to change from 0 to 1.
  • the occupied state of each grid is likely to change due to noise or the like, and the risk of erroneous setting of the occupied state increases. For example, there is a high risk that the occupied state of the area where the stationary object actually exists is set to "None".
  • the occupied state of each grid is less likely to change due to noise or the like.
  • the movement of the object is not quickly reflected in the occupied grid map.
  • the occupied state of the area where the object has already moved and does not exist is set to "Yes", and there is a high possibility that the vehicle 1 cannot pass. ..
  • FIG. 5 shows an example in which the vehicle 1 passes between the stationary object 241 and the stationary object 241 and aims at the goal 243 on the right side of the stationary object 242.
  • a in FIG. 5 shows an example in which the tapering time is shortened.
  • the occupied area 251 to the occupied area 253 is set for the stationary object 241
  • the occupied area 254 to the occupied area 256 is set for the stationary object 242.
  • the occupied area is not set between the occupied area 251 and the occupied area 252, and between the occupied area 252 and the occupied area 253 due to factors such as low reflectance of the stationary object 241.
  • the occupied area is not set between the occupied area 254 and the occupied area 255, and between the occupied area 255 and the occupied area 256 due to factors such as low reflectance of the stationary object 242.
  • the vehicle 1 determines that the object does not exist in the circled area B21, proceeds in the direction of the arrow A21, and has a high risk of colliding with the stationary object 242.
  • the occupied area 261 and the occupied area 262 are set between the occupied area 251 and the occupied area 252, and also between the occupied area 252 and the occupied area 253. Further, the occupied area 263 and the occupied area 264 are also set between the occupied area 254 and the occupied area 255, and between the occupied area 255 and the occupied area 256.
  • the vehicle 1 can avoid the stationary object 242 and proceed in the direction of the arrow A22, and reach the goal 243 without colliding with the stationary object 242.
  • FIG. 6 shows an example in which the vehicle 1 is passing by the person 271 walking in the direction of the arrow A32.
  • a in FIG. 6 shows an example in which the tapering time is shortened.
  • the time until the occupancy state of the grid changes to "none" after the person 271 walks is shortened. Therefore, the occupied area 281A with respect to the person 271 becomes narrower, and the vehicle 1 can quickly pass through the area after the person 271 has disappeared in the direction of the arrow A31.
  • FIG. 6 shows an example in which the tapering time is lengthened.
  • This technology is intended to solve these problems.
  • Embodiment >> Next, an embodiment of the present technology will be described with reference to FIGS. 7 to 15.
  • FIG. 7 shows a configuration example of the information processing unit 301 to which the present technology is applied.
  • the information processing unit 301 is included in the recognition unit 73 of the vehicle control system 11 of FIG. 1, for example, and creates an occupied grid map.
  • the information processing unit 301 includes an attribute detection unit 311, a map creation unit 312, an attribute setting unit 313, and a correction unit 314.
  • the camera 51 photographs the surroundings of the vehicle 1 and supplies image data including information indicating the attributes of objects around the vehicle 1 to the information processing unit 301.
  • the LiDAR 53 detects the position of an object around the vehicle 1 by sensing the surroundings of the vehicle 1, and generates a three-dimensional point cloud showing the distribution of reflection points of each object, and causes the information processing unit 301 to generate a three-dimensional point cloud. Supply.
  • the attribute detection unit 311 detects the attributes of the objects around the vehicle 1 based on the image data and the point cloud.
  • the attribute detection unit 311 includes a classification unit 321, an object detection unit 322, and a motion estimation unit 323.
  • the classification unit 321 recognizes the type of the object, which is one of the attributes of the objects around the vehicle 1, based on the image data.
  • the classification unit 321 supplies the recognition result of the object type to the object detection unit 322.
  • the object detection unit 322 detects an object in the three-dimensional space around the vehicle 1 based on the point cloud. Further, the object detection unit 322 associates the type of the object recognized by the classification unit 321 with the detected object. The object detection unit 322 supplies the object detection result to the motion estimation unit 323 and the attribute setting unit 313.
  • the motion estimation unit 323 estimates the motion of an object, which is one of the attributes of the objects around the vehicle 1, by tracking the object detected by the object detection unit 322.
  • the motion estimation unit 323 supplies the motion estimation result of the object to the attribute setting unit 313.
  • the map creation unit 312 creates an occupied grid map around the vehicle 1 based on the point cloud.
  • the map creation unit 312 supplies the occupied grid map to the attribute setting unit 313.
  • the attribute setting unit 313 sets the attributes of each grid of the occupied grid map based on the object detection result and the motion estimation result.
  • the attribute setting unit 313 supplies the occupied grid map with the attribute to the correction unit 314.
  • the correction unit 314 corrects the occupied grid map based on the attributes of each grid.
  • the correction unit 314 supplies the corrected occupied grid map to the subsequent stage (for example, the action planning unit 62 or the like).
  • This process starts, for example, when the power of the vehicle 1 is turned on, and ends when the power of the vehicle 1 is turned off.
  • step S1 the information processing unit 301 acquires sensing data.
  • the camera 51 takes a picture of the surroundings of the vehicle 1 and supplies the obtained image data to the information processing unit 301.
  • the classification unit 321 acquires the image data supplied from the camera 51.
  • the image data may be either color or monochrome.
  • the LiDAR 52 senses the surroundings of the vehicle 1, creates a three-dimensional point cloud, and supplies the point cloud to the information processing unit 301.
  • the map creation unit 312 and the object detection unit 322 acquire the point cloud supplied from the LiDAR 52.
  • step S2 the object detection unit 322 detects the object. Specifically, the object detection unit 322 detects the position, size, and shape of the object in the point cloud by appropriately removing noise from the point cloud and then performing clustering.
  • the classification unit 321 recognizes the type of the object. Specifically, the classification unit 321 recognizes the type of the object to which each pixel belongs for each pixel of the image data by using instance segmentation. The types of objects are classified into, for example, vehicles, pedestrians, bicycles, road surfaces, guardrails, buildings, and the like. The classification unit 321 supplies the recognition result of the object type to the object detection unit 322.
  • the object detection unit 322 gives an attribute to each point by associating each point of the point cloud with the image coordinate system.
  • the object detection unit 322 supplies information indicating the position, size, shape, and type of the object in the three-dimensional coordinate system to the attribute setting unit 313 and the motion estimation unit 323.
  • step S4 the map creation unit 312 creates an occupied grid map. Specifically, the map creation unit 312 divides the three-dimensional space into grids of a predetermined size after appropriately removing noise from the point cloud, and sets an occupied state indicating the presence or absence of an object for each grid. To do.
  • the occupied state of the grid corresponding to the region where the reflectance is equal to or higher than a predetermined threshold value is set to "Yes” indicating the existence of an object.
  • the occupied state of the grid corresponding to the area through which the reflected light has passed is set to "none", which indicates that no object exists.
  • the map creation unit 312 supplies the created occupied grid map to the attribute setting unit 313.
  • steps S2 and S3 and the processing of step S4 are performed in parallel, for example.
  • step S5 the motion estimation unit 323 tracks the object. Specifically, the motion estimation unit 323 recognizes the motion of each object (a mass of point clouds) detected in the point cloud by using a Kalman filter, a particle filter, or the like. At this time, the motion estimation unit 323 applies a Kalman filter or a particle filter according to, for example, the characteristics of each object (for example, the difference between a moving object or a stationary object, the assumed speed, etc.).
  • step S6 the motion estimation unit 323 estimates the movement vector of the object. Specifically, the motion estimation unit 323 estimates the movement vector of each object, that is, the velocity and the traveling direction (moving direction) of each object based on the result of tracking each object. The motion estimation unit 323 supplies information indicating the estimation result of the movement vector of each object to the attribute setting unit 313.
  • the attribute setting unit 313 sets the attributes of each grid of the occupied grid map based on the detection result of the attribute of each object and the estimation result of the movement vector of each object. Specifically, the attribute setting unit 313 determines whether the object in the grid is a stationary object or a moving object, the type of the object, the speed, and the object with respect to the grid in which the occupied state of the occupied grid map is "Yes". , Set the direction of travel as an attribute. When the moving object is stationary, the attribute of the grid including the moving object is set to the moving object. The attribute setting unit 313 supplies the occupied grid map with the attribute to the correction unit 314.
  • step S8 the correction unit 314 corrects the occupied grid map based on the attributes of each grid.
  • the correction unit 314 executes the expansion process based on the attributes of each grid. For example, the correction unit 314 sets the expansion amount and the expansion direction based on the attributes of the grid at the boundary (end) of the occupied area of each object on the occupied grid map.
  • the amount of expansion is larger than when it is a stationary object. That is, the occupied area of the moving object is expanded more than the occupied area of the stationary object.
  • the amount of expansion increases in the direction closer to the traveling direction. That is, the occupied area of the moving object is expanded more in the traveling direction.
  • the expansion amount increases as the speed increases. That is, the faster the occupied area of the moving object, the larger the expansion.
  • the expansion amount is reduced as the distance from the traveling direction increases. That is, in the occupied area of a moving object whose direction is difficult to change, the amount of expansion decreases as the distance from the traveling direction increases.
  • FIG. 9 shows an example of the amount of expansion and the direction of expansion for each type of moving object.
  • an example is shown in which the tracking of the object is performed and the traveling direction of the object is detected, and the case where the tracking of the object is not performed and the traveling direction of the object is not detected.
  • the amount of expansion in the traveling direction is made larger than usual for all the objects.
  • the amount of expansion in the left-right direction perpendicular to the traveling direction is not changed as usual for pedestrians, office robots, and drones that can easily change direction.
  • the amount of expansion in the left-right direction perpendicular to the traveling direction is smaller than usual.
  • the normal expansion amount is, for example, the expansion amount at rest.
  • the correction unit 314 expands the occupied area of each object on the occupied grid map based on the set expansion amount and expansion direction. As a result, the boundary of the occupied area of each object is extended to the neighboring grid based on the set expansion amount and expansion direction.
  • the correction unit 314 sets the attribute of the expanded grid, that is, the grid whose occupied state is corrected to "presence" by the expansion process, to the same value as the attribute of the grid at the boundary of the occupied area before expansion.
  • the correction unit 314 adjusts the attribute of the grid of the overlapped portion to the attribute of the stationary object.
  • the correction unit 314 sets the change coefficient of each grid of the occupied grid map after the expansion process.
  • the change coefficient is a coefficient indicating the magnitude and direction of changing the existence probability of each grid.
  • the existence probability gradually increases at the rate of increase according to the change coefficient. Further, as the change coefficient increases, the rate of increase in the existence probability increases, the rate at which the existence probability increases (hereinafter referred to as the gradual increase rate) increases, and the gradual increase time of the existence probability decreases.
  • the existence probability gradually decreases at a decrease rate according to the change coefficient.
  • the smaller the change coefficient the larger the absolute value of the change coefficient
  • the larger the decrease rate of the existence probability the faster the rate of decrease of the existence probability (hereinafter referred to as the gradual decrease rate), and the gradual decrease time of the existence probability. Becomes shorter.
  • the change factor is set to a negative value. That is, the change coefficient is set in the direction of reducing the existence probability.
  • the value of the change coefficient is adjusted based on the occupancy state and attributes of the grid one cycle before. For example, when the occupied state of the grid one cycle before is "Yes", when the attribute of the grid one cycle before is a moving object, the change coefficient is compared with the case where the attribute of the grid one cycle before is a stationary object. The absolute value is increased. As a result, as the moving object moves, the occupied state of the grid in the area where the moving object no longer exists can be reflected more quickly. Further, it is possible to prevent the occupancy state of the grid in the area where the stationary object exists from being erroneously detected as "none" due to noise or the like.
  • the value of the change coefficient is adjusted based on the reliability (of object recognition) of LiDAR53, which is a sensing device used for creating the occupied grid map.
  • the reliability of LiDAR53 the higher the reliability of LiDAR53, the larger the absolute value of the change coefficient, and the lower the reliability of LiDAR53, the smaller the absolute value of the change coefficient. This prevents, for example, the omission of detection of an object from being reflected in the occupied grid map when the reliability of LiDAR53 is low.
  • the change coefficient is set to a positive value. That is, the change coefficient is set in the direction of increasing the existence probability. Further, the absolute value of the change coefficient is increased as compared with the case where the occupied state of the grid is "none". As a result, in each grid, the occupied state is reflected more quickly when the object appears than when the object disappears.
  • the value of the change coefficient is adjusted based on the attributes of the grid. For example, when the attribute of the grid is a moving object, the value of the change coefficient is increased as compared with the case of a stationary object. As a result, as the moving object moves, the occupied state of the grid in the area where the moving object has come to exist is reflected more quickly.
  • the value of the change coefficient is adjusted based on the reliability of LiDAR53 as in the case where the occupied state of the grid is "none". For example, the higher the reliability of LiDAR53, the larger the value of the change coefficient, and the lower the reliability of LiDAR53, the smaller the value of the change coefficient. This prevents erroneously detected objects from being reflected in the occupied grid map, for example, when the reliability of LiDAR53 is low.
  • the change factor is set to a negative value. That is, the change coefficient is set in the direction of reducing the existence probability.
  • the value of the change coefficient is adjusted based on the occupancy state and attributes of the grid one cycle before. For example, when the occupied state of the grid one cycle before is "Yes", when the attribute of the grid one cycle before is a moving object, the change coefficient is compared with the case where the attribute of the grid one cycle before is a stationary object. The absolute value is increased. In addition, the absolute value of the change coefficient is reduced as compared with the case where the current grid occupancy state is "none". That is, when the occupied state is "unknown", it is not clear whether or not the object actually exists, so that the decrease in the existence probability is suppressed.
  • the value of the change coefficient may or may not be adjusted based on the reliability of LiDAR53, as in the case where the grid occupancy state is "none".
  • the value of the change coefficient is not changed. That is, the change coefficient one cycle before is used as it is.
  • the correction unit 314 calculates the existence probability of each grid based on the set change coefficient.
  • the change coefficient is positive, the existence probability increases, and the larger the change coefficient, the larger the increase amount of the existence probability. However, if the existence probability exceeds 1, the existence probability is corrected to 1.
  • the change coefficient is negative, the existence probability decreases, and the larger the absolute value of the change coefficient, the larger the decrease amount of the existence probability. However, if the existence probability is less than 0, the existence probability is corrected to 0.
  • 10 and 11 are graphs showing an example of the transition of the existence probability of a grid with an occupied grid map.
  • the horizontal axis of the graph shows the time, and the vertical axis shows the probability of existence.
  • FIG. 10 shows an example when the reliability of LiDAR53 is high.
  • the existence probability does not immediately change from 0 to 1 and gradually increases. Then, at time t2, the existence probability has reached 1.
  • time from time t3 to time t4 is longer than the time from time t1 to time t2. That is, in the grid of the occupied lattice map, the disappearance of the object is reflected later than the appearance of the object.
  • the existence probability does not immediately change from 0 to 1 and gradually increases.
  • the rate of increase in the probability of existence is substantially equal to the rate of increase in the period from time t1 to time t2. Then, at time t6, the existence probability has reached 1.
  • the existence probability gradually decreases as the occupancy state changes from "presence” to "unknown".
  • the decrease rate of the existence probability is smaller than the decrease rate of the period from the time t3 to the time t4. That is, since it is unclear whether or not the object exists, the reflection of the disappearance of the object on the grid of the occupied lattice map is delayed.
  • FIG. 11 shows an example when the reliability of LiDAR53 is low.
  • the occupancy state changes from "yes" to "no" at time t12. Therefore, in the period from the time t11 to the time t12, depending on the value of the threshold value, the occupied state may not be finally determined to be “present” and may remain “absent”.
  • the existence probability gradually decreases and reaches 0 at time t13.
  • the reduction rate of the existence probability is smaller than the period from time t3 to time t4 in FIG. 10, and the period from time t12 to time t13 is from time t3 to time. It will be longer than the period up to t4.
  • the existence probability does not immediately change from 0 to 1 and gradually increases.
  • the rate of increase in the probability of existence is substantially equal to the rate of increase in the period from time t11 to time t12. Then, at time t15, the existence probability has reached 1.
  • the existence probability gradually decreases as the occupancy state changes from "presence” to "unknown".
  • the reduction rate of the existence probability is substantially equal to the period after the time t7 in FIG.
  • the correction unit 314 corrects the occupancy state of each grid based on the existence probability of each grid. For example, the correction unit 314 corrects the occupied state of the grid whose existence probability is less than a predetermined threshold value to "absent" among the grids whose occupied state is "present”. For example, the correction unit 314 corrects the occupied state of the grid whose existence probability is equal to or higher than a predetermined threshold value to “yes” among the grids whose occupied state is “none”. The occupied state of the grid whose occupied state is "unknown" is left as it is.
  • FIG. 12 schematically shows an example of an occupied grid map.
  • the vehicle 1 is traveling behind the person 401 and the vehicle 402 between the wall 403 and the wall 404.
  • Person 401 is traveling diagonally forward to the left, as indicated by arrow A101.
  • Vehicle 402 is moving forward, as indicated by arrow A102.
  • the occupied area 411 with respect to the person 401 expands in the traveling direction of the person 401. Further, the occupied area 411 gradually disappears in the direction opposite to the traveling direction of the person 401 without expanding. Further, the occupied area 411 is narrower in the left-right direction perpendicular to the traveling direction than in the front-rear direction.
  • the vehicle 1 is prevented from advancing in the area where the person 401 travels, and the safety of the person 401 is ensured.
  • the vehicle 1 can travel in the area after the person 401 has passed, and the choice of the route of the vehicle 1 increases.
  • the occupied area 412 with respect to the vehicle 402 expands in the traveling direction of the vehicle 402. Further, the occupied area 412 gradually disappears in the direction opposite to the traveling direction of the vehicle 402 without expanding. Further, the occupied area 412 is narrower in the left-right direction perpendicular to the traveling direction than in the front-rear direction.
  • the vehicle 1 is prevented from traveling in the area where the vehicle 402 travels, and the safety of the vehicle 402 is ensured. Further, the vehicle 1 can travel in the area after the vehicle 402 has passed, and the choice of the route of the vehicle 1 is increased.
  • the wall 403 is surrounded by the occupied area 413 to the occupied area 417, and the vehicle 1 is prevented from colliding with the wall 403.
  • the wall 404 is surrounded by an occupied area 418 to an occupied area 422 to prevent the vehicle 1 from colliding with the wall 404.
  • the wall 403 is a stationary object
  • the occupied area 413 to the occupied area 417 is not expanded so much and has substantially the same size as the wall 403. Therefore, it is possible to prevent the occupied area 413 to the occupied area 417 from obstructing the route of the vehicle 1.
  • the wall 404 is a stationary object
  • the occupied area 418 to the occupied area 422 are not so expanded and have substantially the same size as the wall 404. Therefore, it is possible to prevent the occupied area 418 to the occupied area 422 from obstructing the route of the vehicle 1.
  • the absolute value of the change coefficient of each grid is set small. Therefore, for example, even if a region having a low reflectance exists on the wall 403 or noise is generated in the point cloud, the occupied region 413 to the occupied region 417 are prevented from disappearing. Therefore, the vehicle 1 is prevented from colliding with the wall 403. Similarly, since the occupied area 418 to the occupied area 422 is an occupied area with respect to the wall 404 which is a stationary object, the absolute value of the change coefficient of each grid is set small.
  • the occupied region 418 to the occupied region 422 is prevented from disappearing. Therefore, the vehicle 1 is prevented from colliding with the wall 404.
  • the correction unit 314 supplies the corrected occupied grid map to, for example, the action planning unit 62 or the like.
  • the action planning unit 62 plans a route so as to pass through an area where no object exists in the occupied grid map by using an arbitrary route planning method such as A *.
  • the motion control unit 63 controls the vehicle 1 so as to follow the route planned by the action planning unit 62.
  • the expansion process and the existence probability setting process are performed based on the attributes of each grid of the occupied grid map, the occupied area is appropriately set for each object.
  • the route of the vehicle 1 is appropriately set. That is, collisions or contact with obstacles are avoided, safety is ensured, unnecessary detours are avoided, and shorter routes are set.
  • FIG. 15 shows a modified example of the information processing unit.
  • the parts corresponding to the information processing unit 301 in FIG. 7 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the information processing unit 501 in FIG. 15 is consistent with the information processing unit 301 in that it includes a map creation unit 312. Further, as compared with the information processing unit 301, the information processing unit 501 replaces the attribute detection unit 311, the attribute setting unit 313, and the correction unit 314 with the attribute detection unit 511, the attribute setting unit 512, and the correction unit. The difference is that it includes 513.
  • the attribute detection unit 511 includes only the classification unit 321.
  • the classification unit 321 recognizes the type of the object for each pixel of the image data, and supplies the recognition result of the type of the object to the attribute setting unit 512.
  • the attribute setting unit 512 converts the point cloud or depth points in the three-dimensional coordinates into image coordinates and sets the attributes. Then, the attribute setting unit 512 sets whether the object to which the grid belongs is a stationary object or a moving object and the type of the object as the attribute of the grid whose occupied state of the occupied grid map is "Yes". The attribute setting unit 512 supplies the occupied grid map with attributes to the correction unit 513.
  • the correction unit 513 performs expansion processing and existence probability setting processing of the occupied grid map based on the attributes of each grid. That is, the correction unit 513 performs the expansion processing of the occupied grid map and the setting processing of the existence probability without using the movement vector (traveling direction and velocity) of the object.
  • the occupied area of each object can be set more appropriately as compared with the case where the expansion process and the existence probability setting process are performed on all the objects in the same manner.
  • the expansion amount is similarly set for the entire circumference of the pedestrian and the drone whose direction can be easily changed.
  • the amount of expansion with respect to the front where the object is likely to travel is increased.
  • the expansion amount is set in the same manner for the entire circumference.
  • the type of the object may be classified only into a moving object or a stationary object, and only whether it is a moving object or a stationary object may be set in the attribute of each grid.
  • the occupied area of each object can be set more appropriately as compared with the case where the expansion process and the existence probability setting process are performed on all the objects in the same manner.
  • the expansion direction and the expansion amount may be set based only on the traveling direction without using the velocity of the moving object.
  • an expansion process and an existence probability setting process are performed using the same expansion amount and coefficient of variation as the stationary object, or the expansion amount and coefficient of variation close to that of the stationary object. You may do so.
  • the speed threshold used for determining whether or not the object is stationary may be set to a different value for each type of object.
  • the vehicle and the pedestrian may determine whether or not they are stationary based on different speed thresholds.
  • the door may open. Therefore, for example, when the speed of the vehicle is less than a predetermined threshold value, the amount of expansion of the occupied area with respect to the vehicle in the left-right direction may be increased.
  • the expansion amount of the occupied area 552 in the left-right direction may be increased.
  • the vehicle 1 will set a route that can avoid a collision or contact with the vehicle 551 even if the door of the vehicle 551 is opened.
  • the gradual increase speed and the gradual decrease speed of the existence probability of the grid in which the moving object whose safety is guaranteed even if it collides may be set to the maximum. As a result, the appearance and disappearance of the moving object in each grid can be quickly reflected.
  • the coefficient of variation for a moving object may be adjusted based on the speed of the vehicle 1. For example, when the vehicle 1 is traveling on a highway or the like at a high speed of a predetermined speed or higher, the gradual increase speed and the gradual decrease speed of the existence probability of the grid on which the moving object exists may be set to the maximum. As a result, the appearance and disappearance of moving objects in each grid can be quickly reflected.
  • the existence probability of the grid whose occupancy state has changed from “presence” to “absence” is immediately set to 0, and only the existence probability of the grid whose occupancy state has changed from “presence” to “unknown” is gradually reduced. It may be.
  • ⁇ Modification example of correction method of occupied grid map> For example, a method other than the above-mentioned instance segmentation may be used for the recognition process of the type of the object. For example, methods such as semantic segmentation, YOLO (You Only Look Once), and SSD (Single Shot MultiBox Detector) can be used.
  • a point cloud may be created using a sensor other than LiDAR.
  • a point cloud may be created by a radar, a depth camera (for example, a stereo camera or a ToF camera) or the like. Further, the point cloud may be created based on a plurality of image data taken by a monocular camera in different postures.
  • an occupied grid map may be created based on a three-dimensional model other than the point cloud.
  • the motion of the object may be estimated based on the image data.
  • this technology can also be applied to a two-dimensional occupied grid map.
  • the recognition result of an object in the image data is projected into a two-dimensional bird's-eye view and associated with each object.
  • an upper limit value of the moving speed of the object may be set based on the type of the object. This makes it possible to prevent erroneous detection of the moving speed.
  • a sensor such as a camera 51 may perform an object type recognition process and supply the object type recognition result to the information processing unit 301 or the information processing unit 501.
  • the present technology can also be applied to the case of creating an occupied grid map in a mobile device other than a vehicle, for example, a drone, a robot, or the like.
  • FIG. 17 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the recording unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads and executes the program recorded in the recording unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, as described above. A series of processing is performed.
  • the program executed by the computer 1000 can be recorded and provided on the removable media 1011 as a package media or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be installed in the recording unit 1008 via the input / output interface 1005 by mounting the removable media 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 and installed in the recording unit 1008 via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM 1002 or the recording unit 1008.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • a map creation unit that creates an occupied grid map that indicates the presence or absence of the object in grid units based on the first sensor data from the first sensor used for detecting objects around the moving device.
  • An attribute setting unit that sets the attributes of the grid of the occupied grid map based on the attributes of the object
  • a signal processing device including a correction unit that corrects the occupied grid map based on the attributes of the grid.
  • the correction unit sets the expansion amount of the occupied area of the object in the occupied grid map based on the attribute of the grid, and performs the expansion processing of the occupied area based on the expansion amount.
  • Signal processing device (3)
  • the attributes of the grid include the type of object in the grid.
  • the signal processing device wherein the correction unit sets the expansion amount based on the type of the object.
  • the types of objects include moving and stationary objects.
  • the signal processing device according to (3) above, wherein the correction unit makes the amount of expansion for a moving object larger than the amount of expansion for a stationary object.
  • the attributes of the grid include the direction of travel of the object in the grid.
  • the signal processing device according to any one of (2) to (4) above, wherein the correction unit sets the expansion amount and the expansion direction of the occupied area based on the traveling direction of the object.
  • the attributes of the grid further include the velocity of the object in the grid.
  • the signal processing device according to (5), wherein the correction unit further sets the expansion amount based on the speed of the object.
  • the attributes of the grid include the orientation of the object in the grid.
  • the correction unit sets the existence probability of the object in the grid based on the occupied state indicating the presence or absence of the object in the grid and the attributes of the grid.
  • the signal processing device described. The attributes of the grid include the type of object in the grid.
  • the types of objects include moving and stationary objects.
  • the correction unit compares with the case where the object in the grid is a moving object and the case where the object in the grid is a stationary object.
  • the signal processing device which increases the speed of reducing the existence probability of the grid.
  • the correction unit slows down the rate of reducing the existence probability of the grid when the occupied state of the grid changes from present to unknown, as compared with the case where the occupied state changes from present to non-existent.
  • the signal processing apparatus according to any one of (8) to (10).
  • the signal processing device according to any one of (8) to (12), wherein the correction unit corrects the occupied state based on the existence probability of the grid.
  • the signal processing device according to any one of (1) to (13) above, further comprising an attribute detection unit that detects an attribute of the object based on the second sensor data from the second sensor.
  • the attribute detection unit detects the type of the object as an attribute of the object based on the second sensor data.
  • the attribute detection unit detects the traveling direction and speed of the object as attributes of the object based on the first sensor data and the second sensor data. Processing equipment.
  • a program for causing a computer to perform a process of correcting the occupied grid map based on the attributes of the grid (20) A map creation unit that creates an occupied grid map that shows the presence or absence of the object in grid units based on sensor data from sensors used to detect surrounding objects. An attribute setting unit that sets the attributes of the grid of the occupied grid map based on the attributes of the object, and A correction unit that corrects the occupied grid map based on the attributes of the grid, A mobile device including an action planning unit that sets a route based on the corrected occupied grid map.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技術は、適切な経路を設定可能な占有格子地図を得ることができるようにする信号処理装置、信号処理方法、プログラム、及び、移動装置に関する。 信号処理装置は、移動装置の周囲の物体の検出に用いられる第1のセンサからの第1のセンサデータに基づいて、前記物体の有無をグリッド単位で示す占有格子地図を作成する地図作成部と、前記物体の属性に基づいて、前記占有格子地図の前記グリッドの属性を設定する属性設定部と、前記グリッドの属性に基づいて、前記占有格子地図の補正を行う補正部とを備える。本技術は、例えば、自動運転の制御を行うシステムに適用することができる。

Description

信号処理装置、信号処理方法、プログラム、及び、移動装置
 本技術は、信号処理装置、信号処理方法、プログラム、及び、移動装置に関し、特に、適切な経路を設定可能な占有格子地図を得ることができるようにした信号処理装置、信号処理方法、プログラム、及び、移動装置に関する。
 近年、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)を用いて作成した占有格子地図を用いて、障害物を回避するルートを設定する技術の開発が行われている(例えば、特許文献1参照)。
 特許文献1に記載の発明では、占有格子地図のグリッドが死角領域に含まれる場合、当該グリッドの障害物信頼度が最高値であるとき、障害物の存在が不明であることを示す中間値まで障害物信頼度が徐々に減衰される。また、当該グリッドにおける障害物が静止物体であるとき、障害物信頼度を減衰させる割合が小さくされる。
特開2012-238151号公報
 しかしながら、特許文献1に記載の発明では、障害物が静止物体の場合にグリッドが死角領域に含まれるケースしか検討されていない。従って、例えば、ノイズ等により障害物の誤検出や検出漏れ等が発生した場合に、占有格子地図に基づいて適切な経路を設定することが難しい。
 本技術は、このような状況に鑑みてなされたものであり、適切な経路を設定可能な占有格子地図を得ることができるようにするものである。
 本技術の第1の側面の信号処理装置は、移動装置の周囲の物体の検出に用いられる第1のセンサからの第1のセンサデータに基づいて、前記物体の有無をグリッド単位で示す占有格子地図を作成する地図作成部と、前記物体の属性に基づいて、前記占有格子地図の前記グリッドの属性を設定する属性設定部と、前記グリッドの属性に基づいて、前記占有格子地図の補正を行う補正部とを備える。
 本技術の第1の側面の信号処理方法は、移動装置の周囲の物体の検出に用いられるセンサからのセンサデータに基づいて、前記物体の有無をグリッド単位で示す占有格子地図を作成し、前記物体の属性に基づいて、前記占有格子地図の前記グリッドの属性を設定し、前記グリッドの属性に基づいて、前記占有格子地図の補正を行う。
 本技術の第1の側面のプログラムは、移動装置の周囲の物体の検出に用いられるセンサからのセンサデータに基づいて、前記物体の有無をグリッド単位で示す占有格子地図を作成し、前記物体の属性に基づいて、前記占有格子地図の前記グリッドの属性を設定し、前記グリッドの属性に基づいて、前記占有格子地図の補正を行う処理をコンピュータに実行させる。
 本技術の第2の側面の移動装置は、周囲の物体の検出に用いられるセンサからのセンサデータに基づいて、前記物体の有無をグリッド単位で示す占有格子地図を作成する地図作成部と、前記物体の属性に基づいて、前記占有格子地図の前記グリッドの属性を設定する属性設定部と、前記グリッドの属性に基づいて、前記占有格子地図の補正を行う補正部と、補正された前記占有格子地図に基づいて、経路を設定する行動計画部とを備える。
 本技術の第1の側面においては、移動装置の周囲の物体の検出に用いられるセンサからのセンサデータに基づいて、前記物体の有無をグリッド単位で示す占有格子地図が作成され、前記物体の属性に基づいて、前記占有格子地図の前記グリッドの属性が設定され、前記グリッドの属性に基づいて、前記占有格子地図の補正が行われる。
 本技術の第2の側面においては、周囲の物体の検出に用いられるセンサからのセンサデータに基づいて、前記物体の有無をグリッド単位で示す占有格子地図が作成され、前記物体の属性に基づいて、前記占有格子地図の前記グリッドの属性が設定され、前記グリッドの属性に基づいて、前記占有格子地図の補正が行われ、補正された前記占有格子地図に基づいて、経路が設定される。
車両制御システムの構成例を示すブロック図である。 センシング領域の例を示す図である。 占有格子地図の膨張処理の問題点を説明するための図である。 占有格子地図の膨張処理の問題点を説明するための図である。 占有格子地図の存在確率の漸減処理の問題点を説明するための図である。 占有格子地図の存在確率の漸減処理の問題点を説明するための図である。 本技術を適用した情報処理部の構成例を示すブロック図である。 地図作成処理を説明するためのフローチャートである。 移動物体の種類毎の膨張量を示す表である。 LiDARの信頼度が高い場合の存在確率の推移の例を示すグラフである。 LiDARの信頼度が低い場合の存在確率の推移の例を示すグラフである。 占有格子地図の例を模式的に示す図である。 歩行者の占有領域の例を示す図である。 車両の占有領域の例を示す図である。 本技術を適用した情報処理部の変形例を示すブロック図である。 車両の占有領域の変形例を示す図である。 コンピュータの構成例を示すブロック図である。
 以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
 1.車両制御システムの構成例
 2.占有格子地図の問題点
 3.実施の形態
 4.変形例
 5.その他
 <<1.車両制御システムの構成例>>
 図1は、本技術が適用される移動装置制御システムの一例である車両制御システム11の構成例を示すブロック図である。
 車両制御システム11は、車両1に設けられ、車両1の走行支援及び自動運転に関わる処理を行う。
 車両制御システム11は、プロセッサ21、通信部22、地図情報蓄積部23、GNSS(Global Navigation Satellite System)受信部24、外部認識センサ25、車内センサ26、車両センサ27、記録部28、走行支援・自動運転制御部29、DMS(Driver Monitoring System)30、HMI(Human Machine Interface)31、及び、車両制御部32を備える。
 プロセッサ21、通信部22、地図情報蓄積部23、GNSS受信部24、外部認識センサ25、車内センサ26、車両センサ27、記録部28、走行支援・自動運転制御部29、ドライバモニタリングシステム(DMS)30、ヒューマンマシーンインタフェース(HMI)31、及び、車両制御部32は、通信ネットワーク41を介して相互に接続されている。通信ネットワーク41は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、FlexRay(登録商標)、イーサネット(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等により構成される。なお、車両制御システム11の各部は、通信ネットワーク41を介さずに、例えば、近距離無線通信(NFC(Near Field Communication))やBluetooth(登録商標)等により直接接続される場合もある。
 なお、以下、車両制御システム11の各部が、通信ネットワーク41を介して通信を行う場合、通信ネットワーク41の記載を省略するものとする。例えば、プロセッサ21と通信部22が通信ネットワーク41を介して通信を行う場合、単にプロセッサ21と通信部22とが通信を行うと記載する。
 プロセッサ21は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ECU(Electronic Control Unit )等の各種のプロセッサにより構成される。プロセッサ21は、車両制御システム11全体の制御を行う。
 通信部22は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。車外との通信としては、例えば、通信部22は、車両制御システム11の動作を制御するソフトウエアを更新するためのプログラム、地図情報、交通情報、車両1の周囲の情報等を外部から受信する。例えば、通信部22は、車両1に関する情報(例えば、車両1の状態を示すデータ、認識部73による認識結果等)、車両1の周囲の情報等を外部に送信する。例えば、通信部22は、eコール等の車両緊急通報システムに対応した通信を行う。
 なお、通信部22の通信方式は特に限定されない。また、複数の通信方式が用いられてもよい。
 車内との通信としては、例えば、通信部22は、無線LAN、Bluetooth、NFC、WUSB(Wireless USB)等の通信方式により、車内の機器と無線通信を行う。例えば、通信部22は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface、登録商標)、又は、MHL(Mobile High-definition Link)等の通信方式により、車内の機器と有線通信を行う。
 ここで、車内の機器とは、例えば、車内において通信ネットワーク41に接続されていない機器である。例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
 例えば、通信部22は、4G(第4世代移動通信システム)、5G(第5世代移動通信システム)、LTE(Long Term Evolution)、DSRC(Dedicated Short Range Communications)等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク)上に存在するサーバ等と通信を行う。
 例えば、通信部22は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)と通信を行う。例えば、通信部22は、V2X通信を行う。V2X通信とは、例えば、他の車両との間の車車間(Vehicle to Vehicle)通信、路側器等との間の路車間(Vehicle to Infrastructure)通信、家との間(Vehicle to Home)の通信、及び、歩行者が所持する端末等との間の歩車間(Vehicle to Pedestrian)通信等である。
 例えば、通信部22は、電波ビーコン、光ビーコン、FM多重放送等の道路交通情報通信システム(VICS(Vehicle Information and Communication System)、登録商標)により送信される電磁波を受信する。
 地図情報蓄積部23は、外部から取得した地図及び車両1で作成した地図を蓄積する。例えば、地図情報蓄積部23は、3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
 高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ(ADAS(Advanced Driver Assistance System)マップともいう)等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の4層からなる地図であり、外部のサーバ等から提供される。ポイントクラウドマップは、ポイントクラウド(点群データ)により構成される地図である。ベクターマップは、車線や信号の位置等の情報をポイントクラウドマップに対応付けた地図である。ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、レーダ52、LiDAR53等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両1で作成され、地図情報蓄積部23に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両1がこれから走行する計画経路に関する、例えば数百メートル四方の地図データがサーバ等から取得される。
 GNSS受信部24は、GNSS衛星からGNSS信号を受信し、走行支援・自動運転制御部29に供給する。
 外部認識センサ25は、車両1の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。外部認識センサ25が備えるセンサの種類や数は任意である。
 例えば、外部認識センサ25は、カメラ51、レーダ52、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)53、及び、超音波センサ54を備える。カメラ51、レーダ52、LiDAR53、及び、超音波センサ54の数は任意であり、各センサのセンシング領域の例は後述する。
 なお、カメラ51には、例えば、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ等の任意の撮影方式のカメラが、必要に応じて用いられる。
 また、例えば、外部認識センサ25は、天候、気象、明るさ等を検出するための環境センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等を備える。
 さらに、例えば、外部認識センサ25は、車両1の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
 車内センサ26は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。車内センサ26が備えるセンサの種類や数は任意である。
 例えば、車内センサ26は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサ等を備える。カメラには、例えば、ToFカメラ、ステレオカメラ、単眼カメラ、赤外線カメラ等の任意の撮影方式のカメラを用いることができる。生体センサは、例えば、シートやステリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
 車両センサ27は、車両1の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。車両センサ27が備えるセンサの種類や数は任意である。
 例えば、車両センサ27は、速度センサ、加速度センサ、角速度センサ(ジャイロセンサ)、及び、慣性計測装置(IMU(Inertial Measurement Unit))を備える。例えば、車両センサ27は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ27は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ27は、バッテリの残量及び温度を検出するバッテリセンサ、及び、外部からの衝撃を検出する衝撃センサを備える。
 記録部28は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記録部28は、車両制御システム11の各部が用いる各種プログラムやデータ等を記録する。例えば、記録部28は、自動運転に関わるアプリケーションプログラムが動作するROS(Robot Operating System)で送受信されるメッセージを含むrosbagファイルを記録する。例えば、記録部28は、EDR(Event Data Recorder)やDSSAD(Data Storage System for Automated Driving)を備え、事故等のイベントの前後の車両1の情報を記録する。
 走行支援・自動運転制御部29は、車両1の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部29は、分析部61、行動計画部62、及び、動作制御部63を備える。
 分析部61は、車両1及び周囲の状況の分析処理を行う。分析部61は、自己位置推定部71、センサフュージョン部72、及び、認識部73を備える。
 自己位置推定部71は、外部認識センサ25からのセンサデータ、及び、地図情報蓄積部23に蓄積されている高精度地図に基づいて、車両1の自己位置を推定する。例えば、自己位置推定部71は、外部認識センサ25からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両1の自己位置を推定する。車両1の位置は、例えば、後輪対車軸の中心が基準とされる。
 ローカルマップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いて作成される3次元の高精度地図、占有格子地図(Occupancy Grid Map)等である。3次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両1の周囲の3次元又は2次元の空間を所定の大きさのグリッド(格子)に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部73による車両1の外部の状況の検出処理及び認識処理にも用いられる。
 なお、自己位置推定部71は、GNSS信号、及び、車両センサ27からのセンサデータに基づいて、車両1の自己位置を推定してもよい。
 センサフュージョン部72は、複数の異なる種類のセンサデータ(例えば、カメラ51から供給される画像データ、及び、レーダ52から供給されるセンサデータ)を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
 認識部73は、車両1の外部の状況の検出処理及び認識処理を行う。
 例えば、認識部73は、外部認識センサ25からの情報、自己位置推定部71からの情報、センサフュージョン部72からの情報等に基づいて、車両1の外部の状況の検出処理及び認識処理を行う。
 具体的には、例えば、認識部73は、車両1の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
 例えば、認識部73は、LiDAR又はレーダ等のセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両1の周囲の物体を検出する。これにより、車両1の周囲の物体の有無、大きさ、形状、位置が検出される。
 例えば、認識部73は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両1の周囲の物体の動きを検出する。これにより、車両1の周囲の物体の速度及び進行方向(移動ベクトル)が検出される。
 例えば、認識部73は、カメラ51から供給される画像データに対してセマンティックセグメンテーション等の物体認識処理を行うことにより、車両1の周囲の物体の種類を認識する。
 なお、検出又は認識対象となる物体としては、例えば、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等が想定される。
 例えば、認識部73は、地図情報蓄積部23に蓄積されている地図、自己位置の推定結果、及び、車両1の周囲の物体の認識結果に基づいて、車両1の周囲の交通ルールの認識処理を行う。この処理により、例えば、信号の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等が認識される。
 例えば、認識部73は、車両1の周囲の環境の認識処理を行う。認識対象となる周囲の環境としては、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
 行動計画部62は、車両1の行動計画を作成する。例えば、行動計画部62は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
 なお、経路計画(Global path planning)とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、経路計画で計画された経路において、車両1の運動特性を考慮して、車両1の近傍で安全かつ滑らかに進行することが可能な軌道生成(Local path planning)の処理も含まれる。
 経路追従とは、経路計画により計画した経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。例えば、車両1の目標速度と目標角速度が計算される。
 動作制御部63は、行動計画部62により作成された行動計画を実現するために、車両1の動作を制御する。
 例えば、動作制御部63は、ステアリング制御部81、ブレーキ制御部82、及び、駆動制御部83を制御して、軌道計画により計算された軌道を車両1が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部63は、衝突回避あるいは衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のADASの機能実現を目的とした協調制御を行う。例えば、動作制御部63は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
 DMS30は、車内センサ26からのセンサデータ、及び、HMI31に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
 なお、DMS30が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、DMS30が、車内センサ26からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
 HMI31は、各種のデータや指示等の入力に用いられ、入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム11の各部に供給する。例えば、HMI31は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。なお、HMI31は、例えば、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム11の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。
 また、HMI31は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成及び出力、並びに、出力内容、出力タイミング、出力方法等を制御する出力制御を行う。視覚情報は、例えば、操作画面、車両1の状態表示、警告表示、車両1の周囲の状況を示すモニタ画像等の画像や光により示される情報である。聴覚情報は、例えば、ガイダンス、警告音、警告メッセージ等の音声により示される情報である。触覚情報は、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報である。
 視覚情報を出力するデバイスとしては、例えば、表示装置、プロジェクタ、ナビゲーション装置、インストルメントパネル、CMS(Camera Monitoring System)、電子ミラー、ランプ等が想定される。表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)機能を備えるウエアラブルデバイス等の搭乗者の視界内に視覚情報を表示する装置であってもよい。
 聴覚情報を出力するデバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホン等が想定される。
 触覚情報を出力するデバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子等が想定される。ハプティクス素子は、例えば、ステアリングホイール、シート等に設けられる。
 車両制御部32は、車両1の各部の制御を行う。車両制御部32は、ステアリング制御部81、ブレーキ制御部82、駆動制御部83、ボディ系制御部84、ライト制御部85、及び、ホーン制御部86を備える。
 ステアリング制御部81は、車両1のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部81は、例えば、ステアリングシステムの制御を行うECU等の制御ユニット、ステアリングシステムの駆動を行うアクチュエータ等を備える。
 ブレーキ制御部82は、車両1のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ABS(Antilock Brake System)等を備える。ブレーキ制御部82は、例えば、ブレーキシステムの制御を行うECU等の制御ユニット、ブレーキシステムの駆動を行うアクチュエータ等を備える。
 駆動制御部83は、車両1の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部83は、例えば、駆動システムの制御を行うECU等の制御ユニット、駆動システムの駆動を行うアクチュエータ等を備える。
 ボディ系制御部84は、車両1のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部84は、例えば、ボディ系システムの制御を行うECU等の制御ユニット、ボディ系システムの駆動を行うアクチュエータ等を備える。
 ライト制御部85は、車両1の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部85は、ライトの制御を行うECU等の制御ユニット、ライトの駆動を行うアクチュエータ等を備える。
 ホーン制御部86は、車両1のカーホーンの状態の検出及び制御等を行う。ホーン制御部86は、例えば、カーホーンの制御を行うECU等の制御ユニット、カーホーンの駆動を行うアクチュエータ等を備える。
 図2は、図1の外部認識センサ25のカメラ51、レーダ52、LiDAR53、及び、超音波センサ54によるセンシング領域の例を示す図である。
 センシング領域101F及びセンシング領域101Bは、超音波センサ54のセンシング領域の例を示している。センシング領域101Fは、車両1の前端周辺をカバーしている。センシング領域101Bは、車両1の後端周辺をカバーしている。
 センシング領域101F及びセンシング領域101Bにおけるセンシング結果は、例えば、車両1の駐車支援等に用いられる。
 センシング領域102F乃至センシング領域102Bは、短距離又は中距離用のレーダ52のセンシング領域の例を示している。センシング領域102Fは、車両1の前方において、センシング領域101Fより遠い位置までカバーしている。センシング領域102Bは、車両1の後方において、センシング領域101Bより遠い位置までカバーしている。センシング領域102Lは、車両1の左側面の後方の周辺をカバーしている。センシング領域102Rは、車両1の右側面の後方の周辺をカバーしている。
 センシング領域102Fにおけるセンシング結果は、例えば、車両1の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域102Bにおけるセンシング結果は、例えば、車両1の後方の衝突防止機能等に用いられる。センシング領域102L及びセンシング領域102Rにおけるセンシング結果は、例えば、車両1の側方の死角における物体の検出等に用いられる。
 センシング領域103F乃至センシング領域103Bは、カメラ51によるセンシング領域の例を示している。センシング領域103Fは、車両1の前方において、センシング領域102Fより遠い位置までカバーしている。センシング領域103Bは、車両1の後方において、センシング領域102Bより遠い位置までカバーしている。センシング領域103Lは、車両1の左側面の周辺をカバーしている。センシング領域103Rは、車両1の右側面の周辺をカバーしている。
 センシング領域103Fにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム等に用いられる。センシング領域103Bにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステム等に用いられる。センシング領域103L及びセンシング領域103Rにおけるセンシング結果は、例えば、サラウンドビューシステム等に用いられる。
 センシング領域104は、LiDAR53のセンシング領域の例を示している。センシング領域104は、車両1の前方において、センシング領域103Fより遠い位置までカバーしている。一方、センシング領域104は、センシング領域103Fより左右方向の範囲が狭くなっている。
 センシング領域104におけるセンシング結果は、例えば、緊急ブレーキ、衝突回避、歩行者検出等に用いられる。
 センシング領域105は、長距離用のレーダ52のセンシング領域の例を示している。センシング領域105は、車両1の前方において、センシング領域104より遠い位置までカバーしている。一方、センシング領域105は、センシング領域104より左右方向の範囲が狭くなっている。
 センシング領域105におけるセンシング結果は、例えば、ACC(Adaptive Cruise Control)等に用いられる。
 なお、各センサのセンシング領域は、図2以外に各種の構成をとってもよい。具体的には、超音波センサ54が車両1の側方もセンシングするようにしてもよいし、LiDAR53が車両1の後方をセンシングするようにしてもよい。
 <<2.占有格子地図の問題点>>
 次に、図3乃至図6を参照して、占有格子地図の問題点について説明する。
 占有格子地図は、上述したように、車両1の周囲の空間の物体の占有状態をグリット単位で表す地図である。
 例えば、各グリッドの占有状態は、物体の存在確率により表される。存在確率は、例えば、0(物体が存在しない)から1(物体が存在する)までの範囲内で表され、物体が存在する確率が高くなるほど1に近づき、物体が存在する確率が低くなるほど0に近づく。
 また、例えば、各グリッドの占有状態は、物体の有無により表される。例えば、各グリッドの占有状態は、有り(物体が存在する)、無し(物体が存在しない)、未知(unknown)の3種類の値により表される。例えば、占有状態が「未知」以外のグリッドにおいて、存在確率が所定の閾値以上の場合、占有状態は「有り」に設定され、存在確率が所定の閾値未満の場合、占有状態は「無し」に設定される。
 例えば、車両1の行動計画部62は、占有格子地図において物体が存在しない領域を通行するように直近の経路を設定する。
 また、通常、占有格子地図では膨張処理が行われる。膨張処理とは、占有格子地図において各物体が占有(存在)する領域(以下、占有領域と称する)の境界を隣接するグリッドまで広げる処理のことである。これにより、占有格子地図において各物体の占有領域が実際の物体の領域より大きくなり、車両1が占有領域の境界付近に経路を設定しても、物体に衝突又は接触する危険性が低下する。
 また、従来の占有格子地図では、全ての物体に対して一定の膨張処理が施される。すなわち、全ての物体に対して一定の膨張量が適用され、各物体の占有領域の境界が同じグリッド数だけ広げられる。
 ここで、例えば、膨張量を大きくすると、各物体に対するマージンが大きくなり、車両や人等の移動物体が動いても安全に避けることが可能な経路が設定されるようになる。一方、各物体の占有領域が大きくなるため、車両1が通行可能な範囲が狭くなり、経路の設定が困難になったり、車両1が遠回りしたりする可能性が生じる。
 逆に、膨張量を小さくすると、車両1が通行可能な範囲が広くなる。一方、各物体に対するマージンが小さくなるため、移動物体に衝突する危険性が高くなる。
 例えば、図3は、静止物体201と静止物体202との間を車両1が通り抜けようとしている例を示している。
 図3のAは、膨張量を小さくした例を示している。この場合、静止物体201に対する占有領域211A、及び、静止物体202に対する占有領域212Aが小さくなる。そして、占有領域211Aと占有領域212Aの間に通行可能なスペースが確保され、車両1は、矢印A1の方向に進むことができる。
 一方、図3のBは、膨張量を大きくした例を示している。この場合、静止物体201に対する占有領域211B、及び、静止物体202に対する占有領域212Bが大きくなる。そして、占有領域211Bと占有領域212Bの間に通行可能なスペースが確保されなくなり、車両1は、矢印A2の方向に進めずに、迂回する必要が生じる。
 図4は、車両1が人221の傍を通り抜けしようとしている例を示している。
 図4のAは、膨張量を小さくした例を示している。この場合、人221に対する占有領域231Aが小さくなり、マージンが小さくなる。従って、車両1が、人221のすぐ傍を走行するようになり、人221に衝突又は接触する危険性が高くなる。
 一方、図4のBは、膨張量を大きくした例を示している。この場合、人221に対する占有領域231Bが大きくなり、マージンが大きくなる。従って、車両1が、人221から離れた位置を走行するようになり、人221に衝突又は接触する危険性が低くなる。
 以上のように、従来の膨張処理では、例えば、物体間の狭い領域を、物体を回避しながら安全に通行することが難しい。
 また、通常、占有格子地図では存在確率の漸減処理及び漸増処理が行われる。存在確率の漸減処理とは、あるグリッドにおいて物体が検出されなくなっても、そのグリッドの存在確率をすぐに0に変更せずに、時間をかけて徐々に0まで減少させる処理である。存在確率の漸増処理とは、あるグリッドにおいて物体が検出されても、そのグリッドの存在確率をすぐに1に変更せずに、時間をかけて徐々に1まで増大させる処理である。存在確率の漸減処理及び漸増処理により、各グリッドの占有状態が、ノイズ等により誤って設定されることが防止される。
 また、従来の存在確率の漸減処理及び漸増処理では、漸減時間及び漸増時間が一定に設定されている。ここで、漸減時間とは、存在確率が1から0までに変化するのに要する時間である。漸増時間とは、存在確率が0から1までに変化するのに要する時間である。
 例えば、漸減時間及び漸増時間を短くすると、物体の移動等が占有格子地図に迅速に反映されるようになる。一方、ノイズ等により各グリッドの占有状態が変化しやすくなり、占有状態が誤設定される危険性が高くなる。例えば、実際には静止物体が存在する領域の占有状態が「無し」に設定される危険性が高くなる。
 逆に、漸減時間及び漸増時間を長くすると、ノイズ等により各グリッドの占有状態が変化しにくくなる。一方、物体の移動等が占有格子地図に迅速に反映されなくなり、例えば、すでに物体が移動して存在しない領域の占有状態が「有り」に設定され、車両1が通行できなくなる可能性が高くなる。
 例えば、図5は、車両1が、静止物体241と静止物体241との間を通り、静止物体242の右側のゴール243を目指している例を示している。
 図5のAは、漸減時間を短くした例を示している。この例では、静止物体241に対して占有領域251乃至占有領域253が設定され、静止物体242に対して占有領域254乃至占有領域256が設定されている。一方、占有領域251と占有領域252の間、及び、占有領域252と占有領域253の間において、静止物体241の反射率が低い等の要因により、占有領域が設定されていない。また、占有領域254と占有領域255の間、及び、占有領域255と占有領域256の間において、静止物体242の反射率が低い等の要因により、占有領域が設定されていない。
 従って、車両1が、丸で囲まれた領域B21に物体が存在しないと判定し、矢印A21の方向に進み、静止物体242に衝突する危険性が高くなる。
 図5のBは、漸減時間を長くした例を示している。この例では、占有領域251と占有領域252の間、及び、占有領域252と占有領域253の間においても、占有領域261及び占有領域262が設定されている。また、占有領域254と占有領域255の間、及び、占有領域255と占有領域256の間においても、占有領域263及び占有領域264が設定されている。
 従って、車両1は、静止物体242を避けて矢印A22の方向に進み、静止物体242に衝突せずにゴール243に到着することができる。
 図6は、車両1が、矢印A32の方向に歩いている人271の傍を通り抜けようしている例を示している。
 図6のAは、漸減時間を短くした例を示している。この例では、人271が歩いた後のグリッドの占有状態が「無し」に変化するまでの時間が短くなる。従って、人271に対する占有領域281Aが狭くなり、車両1が、人271がいなくなった後の領域を、矢印A31の方向に迅速に通行できるようになる。
 図6のBは、漸減時間を長くした例を示している。この例では、人271が歩いた後のグリッドの占有状態が「無し」に変化するまでの時間が長くなる。従って、人271に対する占有領域281Bが人271の前後方向に長くなり、人271がいないにも関わらず、車両1が矢印A33の方向に進めなくなる。
 以上のように、従来の漸減処理では、例えば、物体間の狭い領域を、物体を回避しながら安全に通行することが難しい。
 本技術は、これらの問題点を解決するようにするものである。
 <<3.実施の形態>>
 次に、図7乃至図15を参照して、本技術の実施の形態について説明する。
  <情報処理部301の構成例>
 図7は、本技術を適用した情報処理部301の構成例を示している。
 情報処理部301は、例えば、図1の車両制御システム11の認識部73に含まれ、占有格子地図の作成を行う。情報処理部301は、属性検出部311、地図作成部312、属性設定部313、及び、補正部314を備える。
 カメラ51は、車両1の周囲を撮影し、車両1の周囲の物体の属性を示す情報を含む画像データを情報処理部301に供給する。
 LiDAR53は、車両1の周囲のセンシングを行うことにより、車両1の周囲の物体の位置を検出するともに、各物体の反射点の分布を示す3次元のポイントクラウドを生成し、情報処理部301に供給する。
 属性検出部311は、画像データ及びポイントクラウドに基づいて、車両1の周囲の物体の属性を検出する。属性検出部311は、分類部321、物体検出部322、及び、動き推定部323を備える。
 分類部321は、画像データに基づいて、車両1の周囲の物体の属性の1つである物体の種類を認識する。分類部321は、物体の種類の認識結果を物体検出部322に供給する。
 物体検出部322は、ポイントクラウドに基づいて、車両1の周囲の3次元空間内の物体を検出する。また、物体検出部322は、分類部321による認識された物体の種類を、検出した物体に対応付ける。物体検出部322は、物体の検出結果を動き推定部323及び属性設定部313に供給する。
 動き推定部323は、物体検出部322により検出された物体のトラッキングを行うことにより、車両1の周囲の物体の属性の1つである物体の動きを推定する。動き推定部323は、物体の動きの推定結果を属性設定部313に供給する。
 地図作成部312は、ポイントクラウドに基づいて、車両1の周囲の占有格子地図を作成する。地図作成部312は、占有格子地図を属性設定部313に供給する。
 属性設定部313は、物体の検出結果及び動き推定の結果に基づいて、占有格子地図の各グリッドの属性を設定する。属性設定部313は、属性付きの占有格子地図を補正部314に供給する。
 補正部314は、各グリッドの属性に基づいて、占有格子地図の補正を行う。補正部314は、補正後の占有格子地図を後段(例えば、行動計画部62等)に供給する。
  <地図作成処理>
 次に、図8のフローチャートを参照して、情報処理部301により実行される地図作成処理について説明する。
 この処理は、例えば、車両1の電源がオンされたとき開始され、オフされたとき終了する。
 ステップS1において、情報処理部301は、センシングデータを取得する。
 具体的には、カメラ51は、車両1の周囲の撮影を行い、得られた画像データを情報処理部301に供給する。分類部321は、カメラ51から供給された画像データを取得する。なお、画像データは、カラー又はモノクロのいずれでもよい。
 LiDAR52は、車両1の周囲のセンシングを行い、3次元のポイントクラウドを作成し、ポイントクラウドを情報処理部301に供給する。地図作成部312及び物体検出部322は、LiDAR52から供給されたポイントクラウドを取得する。
 ステップS2において、物体検出部322は、物体の検出を行う。具体的には、物体検出部322は、ポイントクラウドのノイズ除去等を適切に行った後、クラスタリングを行うことにより、ポイントクラウド内の物体の位置、大きさ、及び、形を検出する。
 ステップS3において、分類部321は、物体の種類を認識する。具体的には、分類部321は、インスタンスセグメンテーションを用いて、画像データの画素毎に、各画素が属する物体の種類を認識する。物体の種類は、例えば、車両、歩行者、自転車、路面、ガードレール、建物等に分類される。分類部321は、物体の種類の認識結果を物体検出部322に供給する。
 物体検出部322は、ポイントクラウドの各点を画像座標系に対応付けることにより、各点に属性を与える。物体検出部322は、3次元座標系における物体の位置、大きさ、形、及び、種類を示す情報を属性設定部313及び動き推定部323に供給する。
 ステップS4において、地図作成部312は、占有格子地図を作成する。具体的には、地図作成部312は、ポイントクラウドのノイズ除去等を適切に行った後、3次元空間を所定の大きさのグリッドに分割し、グリッド毎に物体の有無を示す占有状態を設定する。
 例えば、ポイントクラウドにおいて、反射率が所定の閾値以上の領域に対応するグリッドの占有状態は、物体が存在することを示す「有り」に設定される。反射光が通過した領域に対応するグリッドの占有状態は、物体が存在しないことを示す「無し」に設定される。反射光が戻って来なかった領域に対応するグリッドの占有状態は、レーザの発射位置からレーザが通るであろう放射方向のすべての領域において物体の有無が不明であることを示す「未知」に設定される。地図作成部312は、作成した占有格子地図を属性設定部313に供給する。
 なお、ステップS2及びステップS3の処理と、ステップS4の処理とは、例えば並行して行われる。
 ステップS5において、動き推定部323は、物体のトラッキングを行う。具体的には、動き推定部323は、カルマンフィルタ又はパーティクルフィルタ等を用いて、ポイントクラウドにおいて検出された各物体(点群の塊)の動きを認識する。このとき、動き推定部323は、例えば、各物体の特性(例えば、移動物体又は静止物体の違い、想定される速度等)に応じて、カルマンフィルタ又はパーティクルフィルタを適用する。
 ステップS6において、動き推定部323は、物体の移動ベクトルを推定する。具体的には、動き推定部323は、各物体をトラッキングした結果に基づいて、各物体の移動ベクトル、すなわち、各物体の速度及び進行方向(移動方向)を推定する。動き推定部323は、各物体の移動ベクトルの推定結果を示す情報を属性設定部313に供給する。
 ステップS7において、属性設定部313は、各物体の属性の検出結果、及び、各物体の移動ベクトルの推定結果に基づいて、占有格子地図の各グリッドの属性を設定する。具体的には、属性設定部313は、占有格子地図の占有状態が「有り」のグリッドに対して、当該グリッドにおける物体が静止物体又は移動物体のいずれであるか、物体の種類、速度、及び、進行方向を属性として設定する。なお、移動物体が静止している場合、当該移動物体を含むグリッドの属性は、移動物体に設定される。属性設定部313は、属性付きの占有格子地図を補正部314に供給する。
 ステップS8において、補正部314は、各グリッドの属性に基づいて、占有格子地図を補正する。
 具体的には、補正部314は、各グリッドの属性に基づいて、膨張処理を実行する。例えば、補正部314は、占有格子地図の各物体の占有領域の境界(端部)のグリッドの属性に基づいて、膨張量及び膨張方向を設定する。
 例えば、占有領域の境界のグリッドの属性が移動物体である場合、静止物体である場合と比較して、膨張量が大きくされる。すなわち、移動物体の占有領域の方が、静止物体の占有領域より大きく膨張される。
 また、例えば、占有領域の境界のグリッドの属性が移動物体である場合、進行方向に近い方向ほど膨張量が大きくされる。すなわち、移動物体の占有領域は、進行方向に対して、より大きく膨張される。
 さらに、例えば、占有領域の境界のグリッドの属性が移動物体である場合、速度が速くなるほど膨張量が大きくされる。すなわち、速度が速い移動物体の占有領域ほど、より大きく膨張される。
 また、例えば、占有領域の境界のグリッドの属性が移動物体である場合、移動物体の方向転換が困難な移動物体のとき、進行方向から遠い方向ほど膨張量が小さくされる。すなわち、方向転換が困難な移動物体の占有領域は、進行方向から遠ざかるほど膨張量が小さくなる。
 図9は、移動物体の種類毎の膨張量及び膨張方向の例を示している。ここでは、物体のトラッキングが行われ、物体の進行方向が検出されている場合と、物体のトラッキングが行われず、物体の進行方向が検出されていない場合の例が示されている。
 例えば、物体の進行方向が検出されている場合、全ての物体について、進行方向の膨張量は、通常より大きくされる。一方、進行方向に対して垂直な左右方向の膨張量は、方向転換が容易な歩行者、オフィスロボット、ドローンについては、通常のまま変更されない。方向転換が困難な自転車、バイク、自動車、工場搬送ロボットについては、進行方向に対して垂直な左右方向の膨張量は、通常より小さくされる。ここで、通常の膨張量は、例えば、静止時の膨張量とされる。
 なお、物体の進行方向が検出されていない場合については後述する。
 そして、補正部314は、設定した膨張量及び膨張方向に基づいて、占有格子地図の各物体の占有領域を膨張する。これにより、各物体の占有領域の境界が、設定した膨張量及び膨張方向に基づいて、近傍のグリッドまで広げられる。
 また、補正部314は、膨張したグリッド、すなわち、膨張処理により占有状態が「有り」に補正されたグリッドの属性を、膨張する前の占有領域の境界のグリッドの属性と同じ値に設定する。
 さらに、補正部314は、膨張処理により、移動物体と静止物体とが重なった場合、重なった部分のグリッドの属性を、静止物体の属性に合わせる。
 次に、補正部314は、膨張処理後の占有格子地図の各グリッドの変更係数を設定する。変更係数とは、各グリッドの存在確率を変更する大きさ及び方向を示す係数である。
 変更係数が正の値の場合、変更係数に応じた増大率で存在確率が漸増する。また、変更係数が大きくなるほど、存在確率の増大率が大きくなり、存在確率が増大する速度(以下、漸増速度と称する)が速くなり、存在確率の漸増時間が短くなる。
 一方、変更係数が負の値の場合、変更係数に応じた減少率で存在確率が漸減する。また、変更係数が小さくなるほど(変更係数の絶対値が大きくなるほど)、存在確率の減少率が大きくなり、存在確率が減少する速度(以下、漸減速度と称する)が速くなり、存在確率の漸減時間が短くなる。
 まず、占有状態が「無し」のグリッドに対する変更係数の設定方法の例について説明する。
 グリッドの占有状態が「無し」の場合、変更係数は負の値に設定される。すなわち、存在確率を減少させる方向に変更係数が設定される。
 また、例えば、1サイクル前のグリッドの占有状態及び属性に基づいて、変更係数の値が調整される。例えば、1サイクル前のグリッドの占有状態が「有り」の場合、1サイクル前のグリッドの属性が移動物体のとき、1サイクル前のグリッドの属性が静止物体のときと比較して、変更係数の絶対値が大きくされる。これにより、移動物体が移動することにより、移動物体が存在しなくなった領域のグリッドの占有状態が、より迅速に反映されるようになる。また、静止物体が存在する領域のグリッドの占有状態が、ノイズ等により「無し」と誤検出されることが防止される。
 また、例えば、占有格子地図の作成に用いたセンシングデバイスであるLiDAR53の(物体認識の)信頼度に基づいて、変更係数の値が調整される。例えば、LiDAR53の信頼度が高いほど、変更係数の絶対値が大きくされ、LiDAR53の信頼度が低いほど、変更係数の絶対値が小さくされる。これにより、例えば、LiDAR53の信頼度が低い場合に、物体の検出漏れが占有格子地図に反映されることが防止される。
 一方、例えば、1サイクル前のグリッドの占有状態が「無し」又は「未知」の場合、変更係数の値は変更されない。すなわち、1サイクル前の変更係数がそのまま用いられる。
 次に、占有状態が「有り」のグリッドに対する変更係数の設定方法の例について説明する。
 グリッドの占有状態が「有り」の場合、変更係数は正の値に設定される。すなわち、存在確率を増大させる方向に変更係数が設定される。また、変更係数の絶対値は、グリッドの占有状態が「無し」の場合と比較して、大きくされる。これにより、各グリッドにおいて、物体が出現した場合の方が、物体が消滅した場合より、より迅速に占有状態が反映されるようになる。
 さらに、例えば、グリッドの属性に基づいて、変更係数の値が調整される。例えば、グリッドの属性が移動物体の場合、静止物体の場合と比較して、変更係数の値が大きくされる。これにより、移動物体が移動することにより、移動物体が存在するようになった領域のグリッドの占有状態が、より迅速に反映されるようになる。
 また、例えば、グリッドの占有状態が「無し」の場合と同様に、LiDAR53の信頼度に基づいて、変更係数の値が調整される。例えば、LiDAR53の信頼度が高いほど、変更係数の値が大きくされ、LiDAR53の信頼度が低いほど、変更係数の値が小さくされる。これにより、例えば、LiDAR53の信頼度が低い場合に、誤検出された物体が占有格子地図に反映されることが防止される。
 次に、占有状態が「未知」のグリッドに対する変更係数の設定方法の例について説明する。
 グリッドの占有状態が「未知」である場合、変更係数は負の値に設定される。すなわち、存在確率を減少させる方向に変更係数が設定される。
 また、1サイクル前のグリッドの占有状態及び属性に基づいて、変更係数の値が調整される。例えば、1サイクル前のグリッドの占有状態が「有り」の場合、1サイクル前のグリッドの属性が移動物体のとき、1サイクル前のグリッドの属性が静止物体のときと比較して、変更係数の絶対値が大きくされる。また、現在のグリッドの占有状態が「無し」の場合と比較して、変更係数の絶対値が小さくされる。すなわち、占有状態が「未知」の場合、実際に物体が存在するか否かが定かではないため、存在確率の減少が抑制される。
 なお、グリッドの占有状態が「無し」の場合と同様に、LiDAR53の信頼度に基づいて、変更係数の値が調整されてもよいし、調整されなくてもよい。
 また、例えば、1サイクル前のグリッドの占有状態が「無し」又は「未知」の場合、変更係数の値は変更されない。すなわち、1サイクル前の変更係数がそのまま用いられる。
 次に、補正部314は、設定した変更係数に基づいて、各グリッドの存在確率を計算する。変更係数が正の場合、存在確率は増大し、変更係数が大きくなるほど、存在確率の増大量が大きくなる。ただし、存在確率が1を超える場合、存在確率は1に補正される。一方、変更係数が負の場合、存在確率は減少し、変更係数の絶対値が大きくなるほど、存在確率の減少量が大きくなる。ただし、存在確率が0を下回る場合、存在確率は0に補正される。
 図10及び図11は、占有格子地図のあるグリッドの存在確率の推移の例を示すグラフである。グラフの横軸は時刻を示し、縦軸は存在確率を示している。
 図10は、LiDAR53の信頼度が高い場合の例を示している。
 時刻t1において、占有状態が「無し」から「有り」に変化するのに伴い、存在確率は、すぐに0から1に変化せずに漸増する。そして、時刻t2において、存在確率が1に達している。
 時刻t3において、占有状態が「有り」から「無し」に変化するのに伴い、存在確率は、すぐに1から0に変化せずに漸減する。そして、時刻t4において、存在確率が0に達している。
 ここで、時刻t3から時刻t4までの時間は、時刻t1から時刻t2までの時間より長くなっている。すなわち、占有格子地図のグリッドにおいて、物体の出現よりも物体の消滅の方が遅く反映される。
 時刻t5において、占有状態が「無し」から「有り」に変化するのに伴い、存在確率は、すぐに0から1に変化せずに漸増する。ここで、存在確率の増大率は、時刻t1から時刻t2までの期間の増大率と略等しくなる。そして、時刻t6において、存在確率が1に達している。
 時刻t7において、占有状態が「有り」から「未知」に変化するのに伴い、存在確率は、漸減する。ここで、存在確率の減少率は、時刻t3から時刻t4までの期間の減少率より小さくなる。すなわち、物体が存在するか否かが不明確であるため、占有格子地図のグリッドにおける物体の消滅の反映が遅くなる。
 一方、図11は、LiDAR53の信頼度が低い場合の例を示している。
 時刻t11において、占有状態が「無し」から「有り」に変化するのに伴い、存在確率は、すぐに0から1に変化せずに漸増する。ここで、LiDAR53の信頼度が低いため、図10の時刻t1から時刻t2までの期間と比較して、存在確率の増大率は小さくなる。
 そして、存在確率が1に達する前に、時刻t12において、占有状態が「有り」から「無し」に変化している。従って、時刻t11から時刻t12までの期間において、閾値の値によっては、占有状態が最終的に「有り」と判定されずに、「無し」のままのとなる場合がある。
 その後、存在確率は漸減し、時刻t13において0に達している。
 ここで、LiDAR53の信頼度が低いため、図10の時刻t3から時刻t4までの期間と比較して、存在確率の減少率が小さくなり、時刻t12から時刻t13までの期間は、時刻t3から時刻t4までの期間より長くなる。
 時刻t14において、占有状態が「無し」から「有り」に変化するのに伴い、存在確率は、すぐに0から1に変化せずに漸増する。ここで、存在確率の増大率は、時刻t11から時刻t12までの期間の増大率と略等しくなる。そして、時刻t15において、存在確率が1に達している。
 時刻t16において、占有状態が「有り」から「未知」に変化するのに伴い、存在確率は、漸減する。ここで、存在確率の減少率は、図10の時刻t7以降の期間と略等しくなる。
 そして、補正部314は、各グリッドの存在確率に基づいて、各グリッドの占有状態を補正する。例えば、補正部314は、占有状態が「有り」のグリッドのうち、存在確率が所定の閾値未満のグリッドの占有状態を「無し」に補正する。例えば、補正部314は、占有状態が「無し」のグリッドのうち、存在確率が所定の閾値以上のグリッドの占有状態を「有り」に補正する。占有状態が「未知」のグリッドの占有状態は、そのままとされる。
 図12は、占有格子地図の例を模式的に示している。
 この例では、車両1が、壁403と壁404の間において、人401及び車両402の後方を走行している。人401は、矢印A101で示されるように、左斜め前方向に進行している。車両402は、矢印A102で示されるように、前方に進行している。
 この場合、図13に示されるように、人401に対する占有領域411は、人401の進行方向に膨張する。また、占有領域411は、人401の進行方向と逆方向において、膨張せずに、徐々に消えている。さらに、占有領域411は、進行方向に対して垂直な左右方向において、前後方向より狭くなっている。
 これにより、人401が進行する領域に、車両1が進行することが防止され、人401の安全が確保される。また、人401が通過した後の領域を車両1が進行することが可能になり、車両1の経路の選択肢が増える。
 また、図14に示されるように、車両402に対する占有領域412は、車両402の進行方向に膨張する。また、占有領域412は、車両402の進行方向と逆方向において、膨張せずに、徐々に消えている。さらに、占有領域412は、進行方向に対して垂直な左右方向において、前後方向より狭くなっている。
 これにより、車両402が進行する領域に、車両1が進行することが防止され、車両402の安全が確保される。また、車両402が通過した後の領域を車両1が進行することが可能になり、車両1の経路の選択肢が増える。
 さらに、壁403が占有領域413乃至占有領域417により囲まれており、車両1が壁403に衝突することが防止される。同様に、壁404が占有領域418乃至占有領域422により囲まれており、車両1が壁404に衝突することが防止される。
 また、壁403は静止物体なので、占有領域413乃至占有領域417は、あまり膨張されず、壁403と略同じ大きさとなる。従って、占有領域413乃至占有領域417が、車両1の経路の妨げになることが防止される。同様に、壁404は静止物体なので、占有領域418乃至占有領域422は、あまり膨張されず、壁404と略同じ大きさとなる。従って、占有領域418乃至占有領域422が、車両1の経路の妨げになることが防止される。
 さらに、占有領域413乃至占有領域417は、静止物体である壁403に対する占有領域なので、各グリッドの変更係数の絶対値が小さく設定される。従って、例えば、壁403に反射率が小さい領域が存在したり、ポイントクラウドにノイズが発生したりしても、占有領域413乃至占有領域417が消滅することが防止される。従って、車両1が壁403に衝突することが防止される。同様に、占有領域418乃至占有領域422は、静止物体である壁404に対する占有領域なので、各グリッドの変更係数の絶対値が小さく設定される。従って、例えば、壁404に反射率が小さい領域が存在したり、ポイントクラウドにノイズが発生したりしても、占有領域418乃至占有領域422が消滅することが防止される。従って、車両1が壁404に衝突することが防止される。
 補正部314は、補正後の占有格子地図を、例えば、行動計画部62等に供給する。
 行動計画部62は、A*等の任意の経路計画手法を用いて、占有格子地図において物体の存在しない領域を通るように、経路計画を行う。
 動作制御部63は、行動計画部62により計画された経路を通るように、車両1を制御する。
 その後、処理はステップS1に戻り、ステップS1乃至ステップS8の処理が繰り返し実行される。
 以上のようにして、占有格子地図の各グリッドの属性に基づいて、膨張処理及び存在確率の設定処理が行われるため、各物体に対して占有領域が適切に設定される。その結果、車両1の経路が適切に設定される。すなわち、障害物への衝突又は接触を回避し、安全性を確保しつつ、無駄な迂回を回避し、より短い経路が設定されるようになる。
 <<4.変形例>>
 以下、上述した本技術の実施の形態の変形例について説明する。
  <占有格子地図の補正方法に関する変形例>
 図15は、情報処理部の変形例を示している。なお、図7の情報処理部301と対応する部分には同じ符号を付しており、その説明は適宜省略する。
 図15の情報処理部501は、情報処理部301と比較して、地図作成部312を備える点で一致する。また、情報処理部501は、情報処理部301と比較して、属性検出部311、属性設定部313、及び、補正部314の代わりに、属性検出部511、属性設定部512、及び、補正部513を備える点が異なる。属性検出部511は、分類部321のみを備えている。
 分類部321は、上述したように、画像データの画素毎に物体の種類を認識し、物体の種類の認識結果を属性設定部512に供給する。
 属性設定部512は、3次元座標におけるポイントクラウドやデプスの点を画像座標に変換して、属性を設定する。そして、属性設定部512は、占有格子地図の占有状態が「有り」のグリッドの属性として、グリッドが属する物体が静止物体又は移動物体のいずれであるか、及び、物体の種類を設定する。属性設定部512は、属性付きの占有格子地図を補正部513に供給する。
 そして、補正部513は、各グリッドの属性に基づいて、占有格子地図の膨張処理及び存在確率の設定処理を行う。すなわち、補正部513は、物体の移動ベクトル(進行方向及び速度)を用いずに、占有格子地図の膨張処理及び存在確率の設定処理を行う。
 この場合も、全ての物体に対して膨張処理及び存在確率の設定処理を同様に行う場合と比較して、より適切に各物体の占有領域が設定されるようになる。
 例えば、上述した図9に示されるように、物体の進行方向が検出されていない場合、方向転換が容易な歩行者、ドローンについては、全周囲について同様に膨張量が設定される。また、方向転換が困難な自転車、バイク、自動車、工場搬送ロボットについては、例えば、物体の向きが検出できる場合、物体が進行する可能性が高い前方に対する膨張量が大きくされる。一方、物体の向きが検出できない場合、全周囲について同様に膨張量が設定される。
 なお、方向転換が容易なオフィスロボットについては、急に方向転換する可能性が低いため、方向転換が困難な自転車、バイク、自動車、工場搬送ロボットと同様に膨張量が設定される。
 なお、さらに、物体の種類を移動物体又は静止物体のみに分類して、移動物体又は静止物体のいずれであるかのみを各グリッドの属性に設定するようにしてもよい。この場合も、全ての物体に対して膨張処理及び存在確率の設定処理を同様に行う場合と比較して、より適切に各物体の占有領域が設定されるようになる。
 また、例えば、移動物体の速度を用いずに、進行方向のみに基づいて、膨張方向及び膨張量を設定するようにしてもよい。
 さらに、例えば、静止している移動物体に対して、静止物体と同様の膨張量及び変化係数、又は、静止物体に近い膨張量及び変化係数を用いて、膨張処理及び存在確率の設定処理を行うようにしてもよい。
 この場合、例えば、静止しているか否かの判定に用いる速度の閾値を物体の種類毎に異なる値に設定するようにしてもよい。例えば、車両と歩行者とで、異なる速度の閾値に基づいて、静止しているか否かを判定するようにしてもよい。
 また、例えば、物体の状態に基づいて、静止しているか否かを判定するようにしてもよい。例えば、人が乗っていない自転車を静止物体と判定し、静止しているが人の乗っている自転車は、移動する可能性があるので、移動物体、又は、静止物体に近い物体(以下、準静止物体)と判定するようにしてもよい。例えば、運転者が乗っていない車両を静止物体と判定し、運転者が乗っている車両を移動物体又は準静止物体と判定するようにしてもよい。
 また、車両が静止又は徐行している場合、ドアが開く可能性がある。従って、例えば、車両の速度が所定の閾値未満の場合、車両に対する占有領域の左右方向の膨張量を大きくするようにしてもよい。
 例えば、図16に示されるように、車両551の矢印A103の方向(前進方向)の速度が所定の閾値未満の場合、占有領域552の左右方向の膨張量を大きくするようにしてもよい。これにより、例えば、車両1は、車両551のドアが開いても、車両551への衝突又は接触を回避できる経路を設定するようになる。
 また、例えば、衝突しても安全性が担保されている移動物体が存在するグリッドの存在確率の漸増速度及び漸減速度を最大に設定するようにしてもよい。これにより、各グリッドにおける当該移動物体の出現及び消滅が迅速に反映されるようになる。
 さらに、例えば、車両1の速度に基づいて、移動物体に対する変化係数を調整するようにしてもよい。例えば、車両1が高速道路等を所定の速度以上で高速走行している場合、移動物体が存在するグリッドの存在確率の漸増速度及び漸減速度を最大に設定するようにしてもよい。これにより、各グリッドにおける移動物体の出現及び消滅が迅速に反映されるようになる。
 また、例えば、占有状態が「有り」から「無し」に変化したグリッドの存在確率をすぐに0に設定し、占有状態が「有り」から「未知」に変化したグリッドの存在確率のみ漸減させるようにしてもよい。
 さらに、以上の説明では、物体が水平方向に動く場合の例を示したが、水平方向以外(例えば、垂直方向)に動く場合も、上述した例と同様に、物体の進行方向に基づいて膨張処理が行われる。
  <占有格子地図の補正方法に関する変形例>
 例えば、物体の種類の認識処理に、上述したインスタンスセグメンテーション以外の手法を用いてもよい。例えば、セマティックセグメンテーション、YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)等の手法を用いることが可能である。
 なお、例えば、オプティカルフローを用いて、移動物体を検出することも可能であるが、この場合、静止している移動物体を検出することができない。
 また、LiDAR以外のセンサを用いてポイントクラウドを作成するようにしてもよい。例えば、レーダ、デプスカメラ(例えば、ステレオカメラ又はToFカメラ)等によりポイントクラウドを作成するようにしてもよい。また、単眼カメラにより異なる姿勢で撮影した複数の画像データに基づいて、ポイントクラウドを作成するようにしてもよい。
 さらに、例えば、ポイントクラウド以外の3次元モデルに基づいて、占有格子地図を作成するようにしてもよい。
 また、例えば、画像データに基づいて、物体の動き推定を行うようにしてもよい。
 さらに、本技術は、2次元の占有格子地図にも適用することができる。この場合、例えば、画像データの物体の認識結果が、2次元の鳥瞰図に射影変換され、各物体と対応付けられる。
 また、例えば、物体の種類に基づいて、物体の移動速度の上限値を設けるようにしてもよい。これにより、移動速度の誤検出を防止することができる。
 さらに、例えば、カメラ51等のセンサが、物体の種類の認識処理を行い、物体の種類の認識結果を情報処理部301又は情報処理部501に供給するようにしてもよい。
 また、本技術は、車両以外の移動装置、例えば、ドローン、ロボット等において占有格子地図を作成する場合にも適用することができる。
 <<5.その他>>
  <コンピュータの構成例>
 上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
 図17は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
 コンピュータ1000において、CPU(Central Processing Unit)1001,ROM(Read Only Memory)1002,RAM(Random Access Memory)1003は、バス1004により相互に接続されている。
 バス1004には、さらに、入出力インタフェース1005が接続されている。入出力インタフェース1005には、入力部1006、出力部1007、記録部1008、通信部1009、及びドライブ1010が接続されている。
 入力部1006は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部1007は、ディスプレイ、スピーカなどよりなる。記録部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインタフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア1011を駆動する。
 以上のように構成されるコンピュータ1000では、CPU1001が、例えば、記録部1008に記録されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
 コンピュータ1000(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
 コンピュータ1000では、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記録部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記録部1008にインストールすることができる。その他、プログラムは、ROM1002や記録部1008に、あらかじめインストールしておくことができる。
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
 また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
 さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
  <構成の組み合わせ例>
 本技術は、以下のような構成をとることもできる。
(1)
 移動装置の周囲の物体の検出に用いられる第1のセンサからの第1のセンサデータに基づいて、前記物体の有無をグリッド単位で示す占有格子地図を作成する地図作成部と、
 前記物体の属性に基づいて、前記占有格子地図の前記グリッドの属性を設定する属性設定部と、
 前記グリッドの属性に基づいて、前記占有格子地図の補正を行う補正部と
 備える信号処理装置。
(2)
 前記補正部は、前記グリッドの属性に基づいて、前記占有格子地図における前記物体の占有領域の膨張量を設定し、前記膨張量に基づいて前記占有領域の膨張処理を行う
 前記(1)に記載の信号処理装置。
(3)
 前記グリッドの属性は、前記グリッドにおける前記物体の種類を含み、
 前記補正部は、前記物体の種類に基づいて、前記膨張量を設定する
 前記(2)に記載の信号処理装置。
(4)
 前記物体の種類は、移動物体及び静止物体を含み、
 前記補正部は、移動物体に対する膨張量を静止物体に対する膨張量より大きくする
 前記(3)に記載の信号処理装置。
(5)
 前記グリッドの属性は、前記グリッドにおける前記物体の進行方向を含み、
 前記補正部は、前記物体の進行方向に基づいて、前記占有領域の前記膨張量及び膨張方向を設定する
 前記(2)乃至(4)のいずれかに記載の信号処理装置。
(6)
 前記グリッドの属性は、前記グリッドにおける前記物体の速度をさらに含み、
 前記補正部は、さらに前記物体の速度に基づいて、前記膨張量を設定する
 前記(5)に記載の信号処理装置。
(7)
 前記グリッドの属性は、前記グリッドにおける前記物体の向きを含み、
 前記補正部は、前記物体の向きに基づいて、前記占有領域の前記膨張量及び膨張方向を設定する
 前記(2)に記載の信号処理装置。
(8)
 前記補正部は、前記グリッドにおける前記物体の有無を示す占有状態、及び、前記グリッドの属性に基づいて、前記グリッドにおける前記物体の存在確率を設定する
 前記(1)乃至(7)のいずれかに記載の信号処理装置。
(9)
 前記グリッドの属性は、前記グリッドにおける前記物体の種類を含み、
 前記補正部は、前記グリッドにおける前記物体の種類に基づいて、前記グリッドの前記存在確率を増大又は減少させる速度を設定する
 前記(8)に記載の信号処理装置。
(10)
 前記物体の種類は、移動物体及び静止物体を含み、
 前記補正部は、前記グリッドの前記占有状態が有りから無しに変化した場合、前記グリッドにおける前記物体が移動物体であったとき、前記グリッドにおける前記物体が静止物体であったときと比較して、前記グリッドの前記存在確率を減少させる速度を速くする
 前記(9)に記載の信号処理装置。
(11)
 前記補正部は、前記グリッドの前記占有状態が有りから未知に変化した場合、前記占有状態が有りから無しに変化した場合と比較して、前記グリッドの前記存在確率を減少させる速度を遅くする
 前記(8)乃至(10)のいずれかに記載の信号処理装置。
(12)
 前記補正部は、前記第1のセンサの信頼度に基づいて、前記グリッドの前記存在確率を増大又は減少させる速度を設定する
 前記(8)乃至(11)のいずれかに記載の信号処理装置。
(13)
 前記補正部は、前記グリッドの前記存在確率に基づいて前記占有状態を補正する
 前記(8)乃至(12)のいずれかに記載の信号処理装置。
(14)
 第2のセンサからの第2のセンサデータに基づいて、前記物体の属性を検出する属性検出部を
 さらに備える前記(1)乃至(13)のいずれかに記載の信号処理装置。
(15)
 前記属性検出部は、前記第2のセンサデータに基づいて、前記物体の種類を前記物体の属性として検出する
 前記(14)に記載の信号処理装置。
(16)
 前記属性検出部は、前記第1のセンサデータ及び前記第2のセンサデータに基づいて、前記物体の進行方向及び速度を前記物体の属性として検出する
 前記(14)又は(15)に記載の信号処理装置。
(17)
 前記第2のセンサは、前記物体の属性を示す情報の取得に用いられるセンサである
 前記(14)乃至(16)のいずれかに記載の信号処理装置。
(18)
 移動装置の周囲の物体の検出に用いられるセンサからのセンサデータに基づいて、前記物体の有無をグリッド単位で示す占有格子地図を作成し、
 前記物体の属性に基づいて、前記占有格子地図の前記グリッドの属性を設定し、
 前記グリッドの属性に基づいて、前記占有格子地図の補正を行う
 信号処理方法。
(19)
 移動装置の周囲の物体の検出に用いられるセンサからのセンサデータに基づいて、前記物体の有無をグリッド単位で示す占有格子地図を作成し、
 前記物体の属性に基づいて、前記占有格子地図の前記グリッドの属性を設定し、
 前記グリッドの属性に基づいて、前記占有格子地図の補正を行う
 処理をコンピュータに実行させるためのプログラム。
(20)
 周囲の物体の検出に用いられるセンサからのセンサデータに基づいて、前記物体の有無をグリッド単位で示す占有格子地図を作成する地図作成部と、
 前記物体の属性に基づいて、前記占有格子地図の前記グリッドの属性を設定する属性設定部と、
 前記グリッドの属性に基づいて、前記占有格子地図の補正を行う補正部と、
 補正された前記占有格子地図に基づいて、経路を設定する行動計画部と
 を備える移動装置。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
 1 車両, 11 車両制御システム, 51 カメラ, 53 LiDAR, 73 認識部, 62 行動計画部, 301 情報処理部, 311 属性設定部, 312 地図作成部, 313 属性設定部, 314 補正部, 321 分類部, 322 物体検出部, 323 動き推定部, 501 情報処理部, 511 属性検出部, 512 属性設定部, 513 補正部

Claims (20)

  1.  移動装置の周囲の物体の検出に用いられる第1のセンサからの第1のセンサデータに基づいて、前記物体の有無をグリッド単位で示す占有格子地図を作成する地図作成部と、
     前記物体の属性に基づいて、前記占有格子地図の前記グリッドの属性を設定する属性設定部と、
     前記グリッドの属性に基づいて、前記占有格子地図の補正を行う補正部と
     備える信号処理装置。
  2.  前記補正部は、前記グリッドの属性に基づいて、前記占有格子地図における前記物体の占有領域の膨張量を設定し、前記膨張量に基づいて前記占有領域の膨張処理を行う
     請求項1に記載の信号処理装置。
  3.  前記グリッドの属性は、前記グリッドにおける前記物体の種類を含み、
     前記補正部は、前記物体の種類に基づいて、前記膨張量を設定する
     請求項2に記載の信号処理装置。
  4.  前記物体の種類は、移動物体及び静止物体を含み、
     前記補正部は、移動物体に対する膨張量を静止物体に対する膨張量より大きくする
     請求項3に記載の信号処理装置。
  5.  前記グリッドの属性は、前記グリッドにおける前記物体の進行方向を含み、
     前記補正部は、前記物体の進行方向に基づいて、前記占有領域の前記膨張量及び膨張方向を設定する
     請求項2に記載の信号処理装置。
  6.  前記グリッドの属性は、前記グリッドにおける前記物体の速度をさらに含み、
     前記補正部は、さらに前記物体の速度に基づいて、前記膨張量を設定する
     請求項5に記載の信号処理装置。
  7.  前記グリッドの属性は、前記グリッドにおける前記物体の向きを含み、
     前記補正部は、前記物体の向きに基づいて、前記占有領域の前記膨張量及び膨張方向を設定する
     請求項2に記載の信号処理装置。
  8.  前記補正部は、前記グリッドにおける前記物体の有無を示す占有状態、及び、前記グリッドの属性に基づいて、前記グリッドにおける前記物体の存在確率を設定する
     請求項1に記載の信号処理装置。
  9.  前記グリッドの属性は、前記グリッドにおける前記物体の種類を含み、
     前記補正部は、前記グリッドにおける前記物体の種類に基づいて、前記グリッドの前記存在確率を増大又は減少させる速度を設定する
     請求項8に記載の信号処理装置。
  10.  前記物体の種類は、移動物体及び静止物体を含み、
     前記補正部は、前記グリッドの前記占有状態が有りから無しに変化した場合、前記グリッドにおける前記物体が移動物体であったとき、前記グリッドにおける前記物体が静止物体であったときと比較して、前記グリッドの前記存在確率を減少させる速度を速くする
     請求項9に記載の信号処理装置。
  11.  前記補正部は、前記グリッドの前記占有状態が有りから未知に変化した場合、前記占有状態が有りから無しに変化した場合と比較して、前記グリッドの前記存在確率を減少させる速度を遅くする
     請求項8に記載の信号処理装置。
  12.  前記補正部は、前記第1のセンサの信頼度に基づいて、前記グリッドの前記存在確率を増大又は減少させる速度を設定する
     請求項8に記載の信号処理装置。
  13.  前記補正部は、前記グリッドの前記存在確率に基づいて前記占有状態を補正する
     請求項8に記載の信号処理装置。
  14.  第2のセンサからの第2のセンサデータに基づいて、前記物体の属性を検出する属性検出部を
     さらに備える請求項1に記載の信号処理装置。
  15.  前記属性検出部は、前記第2のセンサデータに基づいて、前記物体の種類を前記物体の属性として検出する
     請求項14に記載の信号処理装置。
  16.  前記属性検出部は、前記第1のセンサデータ及び前記第2のセンサデータに基づいて、前記物体の速度及び進行方向を前記物体の属性として検出する
     請求項14に記載の信号処理装置。
  17.  前記第2のセンサは、前記物体の属性を示す情報の取得に用いられるセンサである
     請求項14に記載の信号処理装置。
  18.  移動装置の周囲の物体の検出に用いられるセンサからのセンサデータに基づいて、前記物体の有無をグリッド単位で示す占有格子地図を作成し、
     前記物体の属性に基づいて、前記占有格子地図の前記グリッドの属性を設定し、
     前記グリッドの属性に基づいて、前記占有格子地図の補正を行う
     信号処理方法。
  19.  移動装置の周囲の物体の検出に用いられるセンサからのセンサデータに基づいて、前記物体の有無をグリッド単位で示す占有格子地図を作成し、
     前記物体の属性に基づいて、前記占有格子地図の前記グリッドの属性を設定し、
     前記グリッドの属性に基づいて、前記占有格子地図の補正を行う
     処理をコンピュータに実行させるためのプログラム。
  20.  周囲の物体の検出に用いられるセンサからのセンサデータに基づいて、前記物体の有無をグリッド単位で示す占有格子地図を作成する地図作成部と、
     前記物体の属性に基づいて、前記占有格子地図の前記グリッドの属性を設定する属性設定部と、
     前記グリッドの属性に基づいて、前記占有格子地図の補正を行う補正部と、
     補正された前記占有格子地図に基づいて、経路を設定する行動計画部と
     を備える移動装置。
PCT/JP2020/034437 2019-09-25 2020-09-11 信号処理装置、信号処理方法、プログラム、及び、移動装置 WO2021060018A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080065561.3A CN114424265A (zh) 2019-09-25 2020-09-11 信号处理设备、信号处理方法、程序和移动设备
US17/753,828 US20220383749A1 (en) 2019-09-25 2020-09-11 Signal processing device, signal processing method, program, and mobile device
JP2021548799A JPWO2021060018A1 (ja) 2019-09-25 2020-09-11
DE112020004545.5T DE112020004545T5 (de) 2019-09-25 2020-09-11 Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren, programm und mobile vorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-174077 2019-09-25
JP2019174077 2019-09-25

Publications (1)

Publication Number Publication Date
WO2021060018A1 true WO2021060018A1 (ja) 2021-04-01

Family

ID=75166657

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/034437 WO2021060018A1 (ja) 2019-09-25 2020-09-11 信号処理装置、信号処理方法、プログラム、及び、移動装置

Country Status (5)

Country Link
US (1) US20220383749A1 (ja)
JP (1) JPWO2021060018A1 (ja)
CN (1) CN114424265A (ja)
DE (1) DE112020004545T5 (ja)
WO (1) WO2021060018A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220092738A (ko) * 2020-12-24 2022-07-04 현대자동차주식회사 회피 조향 제어가 개선된 주차 지원 시스템 및 방법
AU2022217799A1 (en) * 2021-02-03 2023-08-10 Autonomous Solutions, Inc. Localization system for autonomous vehicles using sparse radar data
DE102021203809B4 (de) * 2021-03-16 2023-05-04 Continental Autonomous Mobility Germany GmbH Fahrverlaufsschätzung in einem Umfeldmodel
KR102524105B1 (ko) * 2022-11-30 2023-04-21 (주)토탈소프트뱅크 항만의 객체 점유 공간 인식 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480638A (zh) * 2017-08-16 2017-12-15 北京京东尚科信息技术有限公司 车辆避障方法、控制器、装置和车辆
JP2019046147A (ja) * 2017-09-01 2019-03-22 株式会社デンソー 走行環境認識装置、走行環境認識方法、プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009047390A1 (de) * 2009-12-02 2011-06-09 Robert Bosch Gmbh Verfahren und Steuergerät zur Bestimmung einer Bewegungsrichtung eine sich auf ein Fahrzeug zu bewegenden Objektes
JP5678793B2 (ja) 2011-05-11 2015-03-04 トヨタ自動車株式会社 周辺監視装置および周辺監視方法並びに運転支援装置
CN105511485B (zh) * 2014-09-25 2018-07-06 科沃斯机器人股份有限公司 用于自移动机器人栅格地图的创建方法
JP6160634B2 (ja) * 2015-02-09 2017-07-12 トヨタ自動車株式会社 走行路面検出装置及び走行路面検出方法
DE102016122296A1 (de) * 2016-11-21 2018-05-24 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen und zur Klassifizierung eines Objekts mittels zumindest einer Sensorvorrichtung auf Basis einer Belegungskarte, Fahrerassistenzsystem sowie Kraftfahrzeug
JP6969738B2 (ja) * 2017-07-10 2021-11-24 株式会社Zmp 物体検出装置及び方法
US20210403015A1 (en) * 2017-08-03 2021-12-30 Koito Manufacturing Co., Ltd Vehicle lighting system, vehicle system, and vehicle
CN108775902A (zh) * 2018-07-25 2018-11-09 齐鲁工业大学 基于障碍物虚拟膨胀的伴随机器人路径规划方法及***
EP3894789A4 (en) * 2018-12-12 2022-07-20 INTEL Corporation TIMELY OCCUPANCY GRID MAPPING FOR ROBOTS IN DYNAMIC ENVIRONMENTS

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480638A (zh) * 2017-08-16 2017-12-15 北京京东尚科信息技术有限公司 车辆避障方法、控制器、装置和车辆
JP2019046147A (ja) * 2017-09-01 2019-03-22 株式会社デンソー 走行環境認識装置、走行環境認識方法、プログラム

Also Published As

Publication number Publication date
US20220383749A1 (en) 2022-12-01
JPWO2021060018A1 (ja) 2021-04-01
CN114424265A (zh) 2022-04-29
DE112020004545T5 (de) 2022-08-18

Similar Documents

Publication Publication Date Title
US20200409387A1 (en) Image processing apparatus, image processing method, and program
WO2021060018A1 (ja) 信号処理装置、信号処理方法、プログラム、及び、移動装置
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020241303A1 (ja) 自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20240054793A1 (en) Information processing device, information processing method, and program
WO2022158185A1 (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
WO2023153083A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び移動装置
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
WO2022004423A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20230206596A1 (en) Information processing device, information processing method, and program
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023054090A1 (ja) 認識処理装置、認識処理方法、および認識処理システム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2022019117A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2023074419A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
US20230377108A1 (en) Information processing apparatus, information processing method, and program
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2022145286A1 (ja) 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム
WO2023007785A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2022259621A1 (ja) 情報処理装置、情報処理方法、コンピュータプログラム
WO2022024569A1 (ja) 情報処理装置と情報処理方法およびプログラム
WO2024062976A1 (ja) 情報処理装置及び情報処理方法
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2023090001A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20870401

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021548799

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20870401

Country of ref document: EP

Kind code of ref document: A1