WO2021241189A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2021241189A1
WO2021241189A1 PCT/JP2021/017800 JP2021017800W WO2021241189A1 WO 2021241189 A1 WO2021241189 A1 WO 2021241189A1 JP 2021017800 W JP2021017800 W JP 2021017800W WO 2021241189 A1 WO2021241189 A1 WO 2021241189A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
information processing
sensor
sensor data
point cloud
Prior art date
Application number
PCT/JP2021/017800
Other languages
English (en)
French (fr)
Inventor
崇史 正根寺
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/996,402 priority Critical patent/US20230230368A1/en
Priority to DE112021002953.3T priority patent/DE112021002953T5/de
Priority to JP2022527641A priority patent/JPWO2021241189A1/ja
Priority to CN202180029831.XA priority patent/CN115485723A/zh
Publication of WO2021241189A1 publication Critical patent/WO2021241189A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and more particularly to an information processing device, an information processing method, and a program capable of obtaining a distance to an object more accurately.
  • Patent Document 1 discloses a technique for generating distance measurement information of an object based on a distance measurement point in a distance measurement point arrangement area set in the object region in distance measurement using a stereo image. ..
  • This technology was made in view of such a situation, and makes it possible to obtain the distance to an object more accurately.
  • the information processing apparatus of the present technology is based on the object recognized in the captured image obtained by the camera, and among the sensor data obtained by the ranging sensor, the sensor data corresponding to the object region including the object in the captured image. It is an information processing apparatus provided with an extraction unit for extracting data.
  • the information processing apparatus applies to an object region including the object in the captured image among the sensor data obtained by the ranging sensor based on the object recognized in the captured image obtained by the camera. It is an information processing method for extracting the corresponding sensor data.
  • the sensor corresponding to the object region including the object in the captured image among the sensor data obtained by the ranging sensor based on the object recognized in the captured image obtained by the camera by the computer is a program for executing the process of extracting data.
  • the sensor data corresponding to the object region including the object in the captured image is extracted from the sensor data obtained by the ranging sensor based on the object recognized in the captured image obtained by the camera. NS.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle control system 11 which is an example of a mobile device control system to which the present technology is applied.
  • the vehicle control system 11 is provided in the vehicle 1 and performs processing related to driving support and automatic driving of the vehicle 1.
  • the vehicle control system 11 includes a processor 21, a communication unit 22, a map information storage unit 23, a GNSS (Global Navigation Satellite System) receiving unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a recording unit 28, and a driving support system. It includes an automatic driving control unit 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control unit 32.
  • a processor 21 includes a processor 21, a communication unit 22, a map information storage unit 23, a GNSS (Global Navigation Satellite System) receiving unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a recording unit 28, and a driving support system. It includes an automatic driving control unit 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control unit 32.
  • DMS Driver Monitoring System
  • HMI Human Machine Interface
  • the communication network 41 is an in-vehicle communication network compliant with any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), and Ethernet (registered trademark). It is composed of buses and buses.
  • each part of the vehicle control system 11 may be directly connected by, for example, short-range wireless communication (NFC (Near Field Communication)), Bluetooth (registered trademark), or the like without going through the communication network 41.
  • NFC Near Field Communication
  • Bluetooth registered trademark
  • the description of the communication network 41 shall be omitted.
  • the processor 21 and the communication unit 22 communicate with each other via the communication network 41, it is described that the processor 21 and the communication unit 22 simply communicate with each other.
  • the processor 21 is composed of various processors such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), and an ECU (Electronic Control Unit), for example.
  • the processor 21 controls the entire vehicle control system 11.
  • the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data.
  • the communication unit 22 receives from the outside a program for updating the software for controlling the operation of the vehicle control system 11, map information, traffic information, information around the vehicle 1, and the like. ..
  • the communication unit 22 transmits information about the vehicle 1 (for example, data indicating the state of the vehicle 1, recognition result by the recognition unit 73, etc.), information around the vehicle 1, and the like to the outside.
  • the communication unit 22 performs communication corresponding to a vehicle emergency call system such as eCall.
  • the communication method of the communication unit 22 is not particularly limited. Moreover, a plurality of communication methods may be used.
  • the communication unit 22 wirelessly communicates with the equipment in the vehicle by a communication method such as wireless LAN, Bluetooth, NFC, WUSB (WirelessUSB).
  • a communication method such as wireless LAN, Bluetooth, NFC, WUSB (WirelessUSB).
  • the communication unit 22 may use USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface, registered trademark), or MHL (Mobile High-) via a connection terminal (and a cable if necessary) (not shown).
  • Wired communication is performed with the equipment in the car by a communication method such as definitionLink).
  • the device in the vehicle is, for example, a device that is not connected to the communication network 41 in the vehicle.
  • mobile devices and wearable devices possessed by passengers such as drivers, information devices brought into a vehicle and temporarily installed, and the like are assumed.
  • the communication unit 22 is a base station using a wireless communication system such as 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), LTE (LongTermEvolution), DSRC (DedicatedShortRangeCommunications), etc.
  • a wireless communication system such as 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), LTE (LongTermEvolution), DSRC (DedicatedShortRangeCommunications), etc.
  • a server or the like existing on an external network for example, the Internet, a cloud network, or a network peculiar to a business operator
  • the communication unit 22 uses P2P (Peer To Peer) technology to communicate with a terminal existing in the vicinity of the vehicle (for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal). ..
  • the communication unit 22 performs V2X communication.
  • V2X communication is, for example, vehicle-to-vehicle (Vehicle to Vehicle) communication with other vehicles, road-to-vehicle (Vehicle to Infrastructure) communication with roadside devices, and home (Vehicle to Home) communication.
  • And pedestrian-to-vehicle (Vehicle to Pedestrian) communication with terminals owned by pedestrians.
  • the communication unit 22 receives electromagnetic waves transmitted by a vehicle information and communication system (VICS (Vehicle Information and Communication System), registered trademark) such as a radio wave beacon, an optical beacon, and FM multiplex broadcasting.
  • VICS Vehicle Information and Communication System
  • the map information storage unit 23 stores a map acquired from the outside and a map created by the vehicle 1.
  • the map information storage unit 23 stores a three-dimensional high-precision map, a global map that is less accurate than the high-precision map and covers a wide area, and the like.
  • the high-precision map is, for example, a dynamic map, a point cloud map, a vector map (also referred to as an ADAS (Advanced Driver Assistance System) map), or the like.
  • the dynamic map is, for example, a map composed of four layers of dynamic information, quasi-dynamic information, quasi-static information, and static information, and is provided from an external server or the like.
  • the point cloud map is a map composed of point clouds (point cloud data).
  • a vector map is a map in which information such as lanes and signal positions is associated with a point cloud map.
  • the point cloud map and the vector map may be provided from, for example, an external server or the like, and the vehicle 1 is used as a map for matching with a local map described later based on the sensing result by the radar 52, LiDAR 53, or the like. It may be created and stored in the map information storage unit 23. Further, when a high-precision map is provided from an external server or the like, in order to reduce the communication capacity, map data of, for example, several hundred meters square, relating to the planned route on which the vehicle 1 is about to travel is acquired from the server or the like.
  • the GNSS receiving unit 24 receives the GNSS signal from the GNSS satellite and supplies it to the traveling support / automatic driving control unit 29.
  • the external recognition sensor 25 includes various sensors used for recognizing the external situation of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the external recognition sensor 25 are arbitrary.
  • the external recognition sensor 25 includes a camera 51, a radar 52, a LiDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing) 53, and an ultrasonic sensor 54.
  • the number of cameras 51, radar 52, LiDAR 53, and ultrasonic sensors 54 is arbitrary, and examples of sensing areas of each sensor will be described later.
  • the camera 51 for example, a camera of any shooting method such as a ToF (TimeOfFlight) camera, a stereo camera, a monocular camera, an infrared camera, etc. is used as needed.
  • ToF TimeOfFlight
  • stereo camera stereo camera
  • monocular camera stereo camera
  • infrared camera etc.
  • the external recognition sensor 25 includes an environment sensor for detecting weather, weather, brightness, and the like.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, an illuminance sensor, and the like.
  • the external recognition sensor 25 includes a microphone used for detecting the sound around the vehicle 1 and the position of the sound source.
  • the in-vehicle sensor 26 includes various sensors for detecting information in the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the in-vehicle sensor 26 are arbitrary.
  • the in-vehicle sensor 26 includes a camera, a radar, a seating sensor, a steering wheel sensor, a microphone, a biological sensor, and the like.
  • the camera for example, a camera of any shooting method such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera can be used.
  • the biosensor is provided on, for example, a seat, a stelling wheel, or the like, and detects various biometric information of a occupant such as a driver.
  • the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the vehicle sensor 27 are arbitrary.
  • the vehicle sensor 27 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)).
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the operation amount of the accelerator pedal, and a brake sensor that detects the operation amount of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the rotation speed of an engine or a motor, an air pressure sensor that detects tire air pressure, a slip ratio sensor that detects tire slip ratio, and a wheel speed that detects wheel rotation speed. Equipped with a sensor.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining amount and temperature of the battery, and an impact sensor that detects an impact from the outside.
  • the recording unit 28 includes, for example, a magnetic storage device such as a ROM (ReadOnlyMemory), a RAM (RandomAccessMemory), an HDD (Hard DiscDrive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, and the like. ..
  • the recording unit 28 records various programs, data, and the like used by each unit of the vehicle control system 11.
  • the recording unit 28 records a rosbag file including messages sent and received by the ROS (Robot Operating System) in which an application program related to automatic driving operates.
  • the recording unit 28 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and records information on the vehicle 1 before and after an event such as an accident.
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support / automatic driving control unit 29 controls the driving support and automatic driving of the vehicle 1.
  • the driving support / automatic driving control unit 29 includes an analysis unit 61, an action planning unit 62, and an motion control unit 63.
  • the analysis unit 61 analyzes the vehicle 1 and the surrounding conditions.
  • the analysis unit 61 includes a self-position estimation unit 71, a sensor fusion unit 72, and a recognition unit 73.
  • the self-position estimation unit 71 estimates the self-position of the vehicle 1 based on the sensor data from the external recognition sensor 25 and the high-precision map stored in the map information storage unit 23. For example, the self-position estimation unit 71 generates a local map based on the sensor data from the external recognition sensor 25, and estimates the self-position of the vehicle 1 by matching the local map with the high-precision map.
  • the position of the vehicle 1 is based on, for example, the center of the rear wheel-to-axle.
  • the local map is, for example, a three-dimensional high-precision map created by using a technology such as SLAM (Simultaneous Localization and Mapping), an occupied grid map (OccupancyGridMap), or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupied grid map is a map that divides a three-dimensional or two-dimensional space around the vehicle 1 into a grid (grid) of a predetermined size and shows the occupied state of an object in grid units.
  • the occupied state of an object is indicated by, for example, the presence or absence of an object and the probability of existence.
  • the local map is also used, for example, in the detection process and the recognition process of the external situation of the vehicle 1 by the recognition unit 73.
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 1 based on the GNSS signal and the sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 performs a sensor fusion process for obtaining new information by combining a plurality of different types of sensor data (for example, image data supplied from the camera 51 and sensor data supplied from the radar 52). .. Methods for combining different types of sensor data include integration, fusion, and association.
  • the recognition unit 73 performs detection processing and recognition processing of the external situation of the vehicle 1.
  • the recognition unit 73 performs detection processing and recognition processing of the external situation of the vehicle 1 based on the information from the external recognition sensor 25, the information from the self-position estimation unit 71, the information from the sensor fusion unit 72, and the like. ..
  • the recognition unit 73 performs detection processing, recognition processing, and the like of objects around the vehicle 1.
  • the object detection process is, for example, a process of detecting the presence / absence, size, shape, position, movement, etc. of an object.
  • the object recognition process is, for example, a process of recognizing an attribute such as an object type or identifying a specific object.
  • the detection process and the recognition process are not always clearly separated and may overlap.
  • the recognition unit 73 detects an object around the vehicle 1 by performing clustering that classifies the point cloud based on sensor data such as LiDAR or radar into a point cloud. As a result, the presence / absence, size, shape, and position of an object around the vehicle 1 are detected.
  • the recognition unit 73 detects the movement of an object around the vehicle 1 by performing tracking that follows the movement of a mass of point clouds classified by clustering. As a result, the velocity and the traveling direction (movement vector) of the object around the vehicle 1 are detected.
  • the recognition unit 73 recognizes the type of an object around the vehicle 1 by performing an object recognition process such as semantic segmentation on the image data supplied from the camera 51.
  • the object to be detected or recognized is assumed to be, for example, a vehicle, a person, a bicycle, an obstacle, a structure, a road, a traffic light, a traffic sign, a road sign, or the like.
  • the recognition unit 73 recognizes the traffic rules around the vehicle 1 based on the map stored in the map information storage unit 23, the estimation result of the self-position, and the recognition result of the object around the vehicle 1. I do.
  • this processing for example, the position and state of a signal, the contents of traffic signs and road markings, the contents of traffic regulations, the lanes in which the vehicle can travel, and the like are recognized.
  • the recognition unit 73 performs recognition processing of the environment around the vehicle 1.
  • the surrounding environment to be recognized for example, weather, temperature, humidity, brightness, road surface condition, and the like are assumed.
  • the action planning unit 62 creates an action plan for the vehicle 1. For example, the action planning unit 62 creates an action plan by performing route planning and route tracking processing.
  • route planning is a process of planning a rough route from the start to the goal.
  • This route plan is called a track plan, and in the route planned by the route plan, the track generation (Local) capable of safely and smoothly traveling in the vicinity of the vehicle 1 in consideration of the motion characteristics of the vehicle 1 is taken into consideration.
  • the processing of path planning is also included.
  • Route tracking is a process of planning an operation for safely and accurately traveling on a route planned by route planning within a planned time. For example, the target speed and the target angular velocity of the vehicle 1 are calculated.
  • the motion control unit 63 controls the motion of the vehicle 1 in order to realize the action plan created by the action plan unit 62.
  • the motion control unit 63 controls the steering control unit 81, the brake control unit 82, and the drive control unit 83 so that the vehicle 1 travels on the track calculated by the track plan. Take control.
  • the motion control unit 63 performs coordinated control for the purpose of realizing ADAS functions such as collision avoidance or impact mitigation, follow-up running, vehicle speed maintenance running, collision warning of own vehicle, and lane deviation warning of own vehicle.
  • the motion control unit 63 performs coordinated control for the purpose of automatic driving or the like in which the vehicle autonomously travels without being operated by the driver.
  • the DMS 30 performs driver authentication processing, driver status recognition processing, and the like based on sensor data from the in-vehicle sensor 26 and input data input to the HMI 31.
  • As the state of the driver to be recognized for example, physical condition, alertness, concentration, fatigue, line-of-sight direction, drunkenness, driving operation, posture, and the like are assumed.
  • the DMS 30 may perform authentication processing for passengers other than the driver and recognition processing for the status of the passenger. Further, for example, the DMS 30 may perform the recognition processing of the situation inside the vehicle based on the sensor data from the sensor 26 in the vehicle. As the situation inside the vehicle to be recognized, for example, temperature, humidity, brightness, odor, etc. are assumed.
  • the HMI 31 is used for inputting various data and instructions, generates an input signal based on the input data and instructions, and supplies the input signal to each part of the vehicle control system 11.
  • the HMI 31 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device that can be input by a method other than manual operation by voice or gesture.
  • the HMI 31 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device compatible with the operation of the vehicle control system 11.
  • the HMI 31 performs output control for generating and outputting visual information, auditory information, and tactile information for the passenger or the outside of the vehicle, and for controlling output contents, output timing, output method, and the like.
  • the visual information is, for example, information shown by an image such as an operation screen, a state display of the vehicle 1, a warning display, a monitor image showing a situation around the vehicle 1, or light.
  • the auditory information is, for example, information indicated by voice such as a guidance, a warning sound, and a warning message.
  • the tactile information is information given to the passenger's tactile sensation by, for example, force, vibration, movement, or the like.
  • a display device As a device that outputs visual information, for example, a display device, a projector, a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc. are assumed.
  • the display device is a device that displays visual information in the occupant's field of view, such as a head-up display, a transmissive display, and a wearable device having an AR (Augmented Reality) function, in addition to a device having a normal display. You may.
  • an audio speaker for example, an audio speaker, headphones, earphones, etc. are assumed.
  • a haptics element using haptics technology or the like As a device that outputs tactile information, for example, a haptics element using haptics technology or the like is assumed.
  • the haptic element is provided on, for example, a steering wheel, a seat, or the like.
  • the vehicle control unit 32 controls each part of the vehicle 1.
  • the vehicle control unit 32 includes a steering control unit 81, a brake control unit 82, a drive control unit 83, a body system control unit 84, a light control unit 85, and a horn control unit 86.
  • the steering control unit 81 detects and controls the state of the steering system of the vehicle 1.
  • the steering system includes, for example, a steering mechanism including a steering wheel, electric power steering, and the like.
  • the steering control unit 81 includes, for example, a control unit such as an ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 detects and controls the state of the brake system of the vehicle 1.
  • the brake system includes, for example, a brake mechanism including a brake pedal and the like, ABS (Antilock Brake System) and the like.
  • the brake control unit 82 includes, for example, a control unit such as an ECU that controls the brake system, an actuator that drives the brake system, and the like.
  • the drive control unit 83 detects and controls the state of the drive system of the vehicle 1.
  • the drive system includes, for example, a drive force generator for generating a drive force of an accelerator pedal, an internal combustion engine, a drive motor, or the like, a drive force transmission mechanism for transmitting the drive force to the wheels, and the like.
  • the drive control unit 83 includes, for example, a control unit such as an ECU that controls the drive system, an actuator that drives the drive system, and the like.
  • the body system control unit 84 detects and controls the state of the body system of the vehicle 1.
  • the body system includes, for example, a keyless entry system, a smart key system, a power window device, a power seat, an air conditioner, an airbag, a seat belt, a shift lever, and the like.
  • the body system control unit 84 includes, for example, a control unit such as an ECU that controls the body system, an actuator that drives the body system, and the like.
  • the light control unit 85 detects and controls various light states of the vehicle 1. As the light to be controlled, for example, a headlight, a backlight, a fog light, a turn signal, a brake light, a projection, a bumper display, or the like is assumed.
  • the light control unit 85 includes a control unit such as an ECU that controls the light, an actuator that drives the light, and the like.
  • the horn control unit 86 detects and controls the state of the car horn of the vehicle 1.
  • the horn control unit 86 includes, for example, a control unit such as an ECU that controls the car horn, an actuator that drives the car horn, and the like.
  • FIG. 2 is a diagram showing an example of a sensing region by a camera 51, a radar 52, a LiDAR 53, and an ultrasonic sensor 54 of the external recognition sensor 25 of FIG.
  • the sensing area 101F and the sensing area 101B show an example of the sensing area of the ultrasonic sensor 54.
  • the sensing region 101F covers the periphery of the front end of the vehicle 1.
  • the sensing region 101B covers the periphery of the rear end of the vehicle 1.
  • the sensing results in the sensing area 101F and the sensing area 101B are used, for example, for parking support of the vehicle 1.
  • the sensing area 102F to the sensing area 102B show an example of the sensing area of the radar 52 for a short distance or a medium distance.
  • the sensing area 102F covers a position farther than the sensing area 101F in front of the vehicle 1.
  • the sensing region 102B covers the rear of the vehicle 1 to a position farther than the sensing region 101B.
  • the sensing area 102L covers the rear periphery of the left side surface of the vehicle 1.
  • the sensing region 102R covers the rear periphery of the right side surface of the vehicle 1.
  • the sensing result in the sensing area 102F is used, for example, for detecting a vehicle, a pedestrian, or the like existing in front of the vehicle 1.
  • the sensing result in the sensing region 102B is used, for example, for a collision prevention function behind the vehicle 1.
  • the sensing results in the sensing area 102L and the sensing area 102R are used, for example, for detecting an object in a blind spot on the side of the vehicle 1.
  • the sensing area 103F to the sensing area 103B show an example of the sensing area by the camera 51.
  • the sensing area 103F covers a position farther than the sensing area 102F in front of the vehicle 1.
  • the sensing region 103B covers the rear of the vehicle 1 to a position farther than the sensing region 102B.
  • the sensing area 103L covers the periphery of the left side surface of the vehicle 1.
  • the sensing region 103R covers the periphery of the right side surface of the vehicle 1.
  • the sensing result in the sensing area 103F is used, for example, for recognition of traffic lights and traffic signs, lane departure prevention support system, and the like.
  • the sensing result in the sensing area 103B is used, for example, for parking assistance, a surround view system, and the like.
  • the sensing results in the sensing area 103L and the sensing area 103R are used, for example, in a surround view system or the like.
  • the sensing area 104 shows an example of the sensing area of LiDAR53.
  • the sensing region 104 covers a position far from the sensing region 103F in front of the vehicle 1.
  • the sensing area 104 has a narrower range in the left-right direction than the sensing area 103F.
  • the sensing result in the sensing area 104 is used for, for example, emergency braking, collision avoidance, pedestrian detection, and the like.
  • the sensing area 105 shows an example of the sensing area of the radar 52 for a long distance.
  • the sensing region 105 covers a position farther than the sensing region 104 in front of the vehicle 1.
  • the sensing area 105 has a narrower range in the left-right direction than the sensing area 104.
  • the sensing result in the sensing region 105 is used, for example, for ACC (Adaptive Cruise Control) or the like.
  • each sensor may have various configurations other than those shown in FIG. Specifically, the ultrasonic sensor 54 may be made to sense the side of the vehicle 1, or the LiDAR 53 may be made to sense the rear of the vehicle 1.
  • Evaluation of distance information of recognition system> For example, as shown in FIG. 3, as a method for evaluating the distance information output by the recognition system 210 that recognizes an object around the vehicle 1 by performing the sensor fusion process described above, the point group data of the LiDAR 220 is correctly answered. It is conceivable to compare and evaluate as a value. However, when the user U visually compares the distance information of the recognition system 210 with the point cloud data of the LiDAR frame by frame, it takes an enormous amount of time.
  • FIG. 4 is a block diagram showing a configuration of an evaluation device that evaluates the distance information of the recognition system as described above.
  • FIG. 4 shows the recognition system 320 and the evaluation device 340.
  • the recognition system 320 recognizes an object around the vehicle 1 based on the captured image obtained by the camera 311 and the millimeter wave data obtained by the millimeter wave radar 312.
  • the camera 311 and the millimeter wave radar 312 correspond to the camera 51 and the radar 52 of FIG. 1, respectively.
  • the recognition system 320 includes a sensor fusion unit 321 and a recognition unit 322.
  • the sensor fusion unit 321 corresponds to the sensor fusion unit 72 in FIG. 1 and performs sensor fusion processing using the captured image from the camera 311 and the millimeter wave data from the millimeter wave radar 312.
  • the recognition unit 322 corresponds to the recognition unit 73 in FIG. 1 and performs recognition processing (detection processing) for objects around the vehicle 1 based on the processing result of the sensor fusion processing by the sensor fusion unit 321.
  • the sensor fusion process by the sensor fusion unit 321 and the recognition process by the recognition unit 322 output the recognition result of the object around the vehicle 1.
  • the recognition result of the object obtained while the vehicle 1 is running is recorded as a data log and input to the evaluation device 340.
  • the object recognition result includes distance information indicating the distance from the object around the vehicle 1, object information indicating the type and attribute of the object, velocity information indicating the speed of the object, and the like.
  • point cloud data can be obtained by LiDAR331 as a distance measuring sensor in the present embodiment, and various vehicle information related to the vehicle 1 can be obtained via CAN332.
  • the LiDAR 331 and CAN 332 correspond to the LiDAR 53 and the communication network 41 in FIG. 1, respectively.
  • the point cloud data and vehicle information obtained while the vehicle 1 is running are also recorded as a data log and input to the evaluation device 340.
  • the evaluation device 340 includes a conversion unit 341, an extraction unit 342, and a comparison unit 343.
  • the conversion unit 341 converts the point cloud data, which is the data of the xyz three-dimensional coordinate system obtained by LiDAR331, into the camera coordinate system of the camera 311 and supplies the converted point cloud data to the extraction unit 342.
  • the extraction unit 342 selects the object in the captured image from the point cloud data based on the object recognized in the captured image.
  • the point cloud data corresponding to the contained object area is extracted.
  • the extraction unit 342 clusters the point cloud data corresponding to the recognized object among the point cloud data.
  • the extraction unit 342 associates the captured image including the rectangular frame indicating the object area of the recognized object supplied from the recognition system 320 as the recognition result with the point group data from the conversion unit 341.
  • the point group data existing in the rectangular frame is extracted.
  • the extraction unit 342 sets the extraction condition of the point cloud data based on the recognized object, and extracts the point cloud data existing in the rectangular frame based on the extraction condition.
  • the extracted point cloud data is supplied to the comparison unit 343 as point cloud data corresponding to the object to be evaluated for the distance information.
  • the comparison unit 343 uses the point cloud data from the extraction unit 342 as the correct answer value, and compares the point cloud data with the distance information included in the recognition result from the recognition system 320. Specifically, it is determined whether or not the difference between the distance information from the recognition system 320 and the correct answer value (point cloud data) is within a predetermined reference value. The comparison result is output as an evaluation result of the distance information from the recognition system 320. By using the mode value of the point cloud data existing in the rectangular frame as the point cloud data to be the correct answer value, the accuracy of the correct answer value can be further improved.
  • the evaluation device 340 As shown in the lower part of FIG. 5, among the point cloud data 371 obtained by LiDAR, the point corresponding to the rectangular frame 361F indicating the vehicle recognized in the captured image 360. Group data 371 is extracted. As a result, the point cloud data corresponding to the evaluation target can be narrowed down, and the distance information of the recognition system and the point cloud data of LiDAR can be compared accurately and with a low load.
  • the extraction unit 342 can set the extraction condition (clustering condition) of the point cloud data based on the recognized object, for example, according to the state of the recognized object.
  • Example 1 As shown on the upper left side of FIG. 6, when another vehicle 412 is present in front of the vehicle 411 to be evaluated in the photographed image 410, the rectangular frame 411F for the vehicle 411 and the rectangular frame for the other vehicle 412 are used. 412F overlaps. In this state, when the point cloud data existing in the rectangular frame 411F is extracted, the point cloud data not corresponding to the evaluation target is extracted as shown in the bird's-eye view on the upper right side of FIG. In the bird's-eye view as shown on the upper right side of FIG. 6, the point cloud data on the three-dimensional coordinates obtained by LiDAR331 is shown together with the corresponding object.
  • the extraction unit 342 masks the area corresponding to the rectangular frame 412F for the other vehicle 412, thereby corresponding to the area overlapping the rectangular frame 412F in the rectangular frame 411F. Exclude the group data from the extraction target. As a result, as shown in the bird's-eye view on the lower right side of FIG. 6, the point cloud data corresponding to the evaluation target can be extracted.
  • the rectangular frame is defined by, for example, the width and height of the rectangular frame with the coordinates of the upper left vertex of the rectangular frame as the reference point, and whether or not the rectangular frames overlap each other is determined by the reference point of each rectangular frame. , Width, and height.
  • Example 2 As shown on the upper left side of FIG. 7, when an obstacle 422 such as a telegraph column is present behind the vehicle 421 to be evaluated in the captured image 420a, the point cloud data existing in the rectangular frame 421F for the vehicle 421. When the data is extracted, the point cloud data that does not correspond to the evaluation target is extracted as shown in the bird's-eye view on the upper right side of FIG. 7.
  • the extraction unit 342 excludes point group data whose distance from the object to be evaluated (recognized object) is larger than a predetermined distance threshold from the extraction target. By doing so, the point group data whose distance to the evaluation target is within a predetermined range is extracted. The distance to the evaluation target is acquired from the distance information included in the recognition result output by the recognition system 320.
  • the extraction unit 342 sets the distance threshold value according to the object to be evaluated (the type of the object). For example, the distance threshold value is set to a larger value as the moving speed of the object to be evaluated is higher.
  • the type of the object to be evaluated is also acquired from the object information included in the recognition result output by the recognition system 320.
  • the evaluation target when the evaluation target is a vehicle, by setting the distance threshold value to 1.5 m, point cloud data whose distance to the vehicle is larger than 1.5 m is excluded from the extraction target. Further, when the evaluation target is a motorcycle, by setting the distance threshold value to 1 m, the point cloud data whose distance to the motorcycle is larger than 1 m is excluded from the extraction target. Further, when the evaluation target is a bicycle or a pedestrian, by setting the distance threshold to 50 cm, the point cloud data whose distance to the bicycle or pedestrian is larger than 50 cm is excluded from the extraction target.
  • the extraction unit 342 may change the set distance threshold value according to the moving speed (vehicle speed) of the vehicle 1 on which the camera 311 and the millimeter wave radar 312 are mounted.
  • vehicle speed moving speed
  • the distance threshold value is changed to a larger value. For example, when the vehicle 1 is traveling at 40 km / h or more and the evaluation target is a vehicle, the distance threshold value is changed from 1.5 m to 3 m. Further, when the vehicle 1 is traveling at 40 km / h or more and the evaluation target is a motorcycle, the distance threshold value is changed from 1 m to 2 m.
  • the vehicle speed of the vehicle 1 is acquired from the vehicle information obtained via the CAN 332.
  • the extraction unit 342 determines a difference between the speed of the object to be evaluated (recognized object) and the speed calculated based on the time-series change of the point group data.
  • the point group data By excluding the point group data larger than the speed threshold of the above from the extraction target, the point group data whose speed difference from the evaluation target is within a predetermined range is extracted.
  • the velocity of the point cloud data is calculated by changing the position of the point cloud data in time series.
  • the speed to be evaluated is acquired from the speed information included in the recognition result output by the recognition system 320.
  • the point group data at 0 km / h existing behind the object to be evaluated and the point group data at 0 km / h existing in front of the object to be evaluated are extracted from the extraction target.
  • the extraction unit 342 can also change the extraction area of the point cloud data according to the distance to the object to be evaluated, in other words, the size of the object area in the captured image.
  • the rectangular frame 441F for the vehicle 441 located at a long distance is small, and the rectangular frame 442F for the vehicle 442 located at a short distance is large.
  • the number of point cloud data corresponding to the vehicle 441 is small.
  • the rectangular frame 442F although the number of point cloud data corresponding to the vehicle 442 is large, a large amount of point cloud data corresponding to the background and the road surface is also included.
  • the extraction unit 342 targets only the point cloud data corresponding to the vicinity of the center of the rectangular frame, and when the rectangular frame is smaller than the predetermined area, corresponds to the entire rectangular frame.
  • Point cloud data is the target of extraction.
  • the point cloud data corresponding to the entire rectangular frame 441F is extracted.
  • the rectangular frame 442F having a large area only the point cloud data corresponding to the region C442F near the center of the rectangular frame 442F is extracted. As a result, the point cloud data corresponding to the background and the road surface can be excluded from the extraction target.
  • the rectangular frame for them contains a lot of point cloud data corresponding to the background and the road surface. Therefore, when the type of the object acquired from the object information included in the recognition result output by the recognition system 320 is a bicycle, a pedestrian, a motorcycle, etc., only the point group data corresponding to the vicinity of the center of the rectangular frame is obtained. May be the extraction target.
  • point cloud data extraction conditions clustering conditions
  • step S1 the extraction unit 342 acquires the recognition result of the object recognized in the captured image from the recognition system 320.
  • step S2 the conversion unit 341 performs coordinate conversion of the point cloud data obtained by LiDAR331.
  • step S3 the extraction unit 342 sets the extraction condition of the point cloud data corresponding to the object region of the object recognized in the captured image by the recognition system 320 among the point cloud data converted into the camera coordinate system. Set based on.
  • step S4 the extraction unit 342 extracts the point cloud data corresponding to the object area of the recognized object based on the set extraction conditions.
  • step S6 the comparison unit 343 uses the point cloud data extracted by the extraction unit 342 as a correct answer value, and compares the point cloud data with the distance information included in the recognition result from the recognition system 320.
  • the comparison result is output as an evaluation result of the distance information from the recognition system 320.
  • the point cloud data corresponding to the evaluation target can be narrowed down, and the comparison between the distance information of the recognition system and the point cloud data of LiDAR can be accurately and low. It is possible to do it with a load.
  • step S11 the extraction unit 342 determines whether or not the object area of the recognized object (object to be evaluated) overlaps with another object area of another object.
  • step S12 the extraction unit 342 is a point cloud corresponding to the area overlapping with the other object area as described with reference to FIG. Exclude data from extraction. After that, the process proceeds to step S13.
  • step S12 is skipped and the process proceeds to step S13.
  • step S13 the extraction unit 342 determines whether or not the object area is larger than the predetermined area.
  • step S14 the extraction unit 342 extracts the point cloud data near the center of the object area as described with reference to FIGS. 9 and 10. And. After that, the process proceeds to step S15.
  • step S14 is skipped and the process proceeds to step S15.
  • step S15 the extraction unit 342 determines whether or not the velocity difference from the recognized object is larger than the velocity threshold value for each point cloud data corresponding to the object region.
  • step S16 If it is determined that the speed difference from the recognized object is larger than the speed threshold value, the process proceeds to step S16, and the extraction unit 342 excludes the corresponding point group data from the extraction target as described with reference to FIG. do. After that, the process proceeds to step S17 in FIG.
  • step S16 is skipped and the process proceeds to step S17.
  • step S17 the extraction unit 342 sets the distance threshold value according to the recognized object (type of the object) acquired from the object information included in the recognition result.
  • step S18 the extraction unit 342 changes the set distance threshold value according to the vehicle speed of the vehicle 1 acquired from the vehicle information.
  • step S19 the extraction unit 342 determines whether or not the distance to the recognized object is larger than the distance threshold value for each point cloud data corresponding to the object region.
  • step S20 If it is determined that the distance to the recognized object is larger than the distance threshold value, the process proceeds to step S20, and the extraction unit 342 excludes the corresponding point group data from the extraction target as described with reference to FIG. ..
  • the point cloud data extraction condition setting process ends.
  • step S20 is skipped and the point group data extraction condition setting process is performed. Is finished.
  • the point cloud data extraction condition (clustering condition) is set according to the state of the object to be evaluated, so that the point cloud data corresponding to the object to be evaluated can be more reliably obtained. Can be extracted. As a result, the distance information can be evaluated more accurately, and by extension, the distance to the object can be obtained more accurately.
  • Modification 1 Normally, when a vehicle moves forward at a certain speed, the appearance of objects around the vehicle that are moving at a speed different from that of the vehicle changes. In this case, the point cloud data corresponding to the object changes according to the change in the appearance of the object around the vehicle.
  • the vehicle 511 traveling in the lane adjacent to the lane in which the own vehicle travels is recognized. do.
  • the vehicle 511 travels in the vicinity of the own vehicle in the adjacent lane, and in the captured image 510b, the vehicle 511 travels in a position away from the own vehicle in the adjacent lane.
  • the point cloud data corresponding to the rectangular region 511Fa of the vehicle 511 includes the point cloud data on the rear surface of the vehicle 511 and the side surface of the vehicle 511. A lot of point cloud data is also extracted.
  • the extracted point cloud data includes the point cloud data on the side surface of the vehicle 511 as in the captured image 510a, the accurate distance from the vehicle 511 may not be obtained.
  • the process shown in the flowchart of FIG. 15 is executed.
  • step S31 the extraction unit 342 determines whether or not the point cloud data has a predetermined positional relationship.
  • step S32 the extraction unit 342 targets only the point cloud data corresponding to a part of the object region.
  • an area of an adjacent lane near the own vehicle is set, and in the area of the adjacent lane, the point group data corresponding to the object area is, for example, an object having a size of 5 m in the depth direction and 3 m in the horizontal direction.
  • the vehicle is traveling in the vicinity of the own vehicle, and only the point group data corresponding to the horizontal direction (point group data on the rear surface of the vehicle) is extracted.
  • step S32 is skipped and the point cloud data corresponding to the entire object area is targeted for extraction.
  • the point cloud data of LiDAR becomes denser as it is closer to the road surface and becomes sparser as it is farther from the road surface in the captured image 520, for example, as shown in FIG.
  • the distance information of the traffic sign 521 existing at a position away from the road surface is generated based on the point cloud data corresponding to the rectangular frame 521F.
  • the point cloud data corresponding to an object such as a traffic sign 521 or a signal (not shown) existing at a position far from the road surface is less than that of other objects existing near the road surface, and the reliability of the point cloud data is low. May be low.
  • the number of point cloud data corresponding to the object is increased by using the point cloud data of a plurality of frames.
  • the process shown in the flowchart of FIG. 17 is executed.
  • step S51 the extraction unit 342 determines whether or not the object region of the recognized object is above a predetermined height in the captured image.
  • the height here means the distance from the lower end to the upper end of the captured image.
  • step S52 the extraction unit 342 sets the point cloud data of a plurality of frames corresponding to the object area as the extraction target.
  • the captured image 520 (t) at the current time t, the point group data 531 (t) obtained at the time t, and the time t-1 one frame before the time t are obtained.
  • the obtained point group data 531 (t-1) and the point group data 531 (t-2) obtained at time t-2 two frames before time t are superimposed.
  • the point cloud data corresponding to the object region of the captured image 520 (t) is set as the extraction target.
  • the distance information of the point cloud data corresponding to the object region is different from the point cloud data 531 (t). Therefore, the distance information of the point cloud data 531 (t-1) and 531 (t-2) is corrected based on the distance traveled by the own vehicle in the time of the elapsed frame.
  • step S52 is skipped, and the point cloud data of one frame at the current time corresponding to the object area is targeted for extraction.
  • the point cloud data of multiple frames As described above, for an object that exists at a position away from the road surface, by using the point cloud data of multiple frames, the number of point cloud data corresponding to the object is increased, and the reliability of the point cloud data is lowered. Can be avoided.
  • Modification 3 For example, as shown in FIG. 19, when the guide sign 542 is located above the vehicle 541 traveling in front of the own vehicle in the captured image 540, the guide sign 542 is included in the rectangular frame 541F for the vehicle 541. There is. In this case, as the point cloud data corresponding to the rectangular frame 541F, in addition to the point cloud data corresponding to the vehicle 541, the point cloud data corresponding to the guide sign 542 is also extracted.
  • the point cloud data for the non-moving object is excluded from the extraction target.
  • the process shown in the flowchart of FIG. 20 is executed.
  • step S71 the extraction unit 342 determines whether or not the velocity difference calculated based on the time-series change of the point cloud data is larger than a predetermined threshold value between the upper part and the lower part of the object area for the object recognized in the captured image. Is determined.
  • the velocity calculated based on the point cloud data at the upper part of the object region is approximately 0, and further, the velocity calculated based on the point cloud data at the upper part of the object region and the object. The difference from the velocity calculated based on the point cloud data at the bottom of the region is obtained.
  • step S72 the extraction unit 342 excludes the point cloud data corresponding to the upper part of the object area from the extraction target.
  • step S72 is skipped and the point cloud data corresponding to the entire object area is targeted for extraction.
  • point cloud data for non-moving objects such as guide signs and signboards above the vehicle can be excluded from the extraction target.
  • the point cloud data extracted corresponding to the object area is increased, and the reliability of the point cloud data is avoided to decrease.
  • the process shown in the flowchart of FIG. 21 is executed.
  • step S91 the extraction unit 342 determines whether or not the weather is rainy.
  • the extraction unit 342 determines whether or not it is rainy weather based on the detection information from the raindrop sensor that detects raindrops in the detection area of the front window glass as the vehicle information obtained via the CAN332. Further, the extraction unit 342 may determine whether or not it is rainy weather based on the operating state of the wiper. The wiper may be operated based on the detection information from the raindrop sensor, or may be operated according to the operation of the driver.
  • step S92 the extraction unit 342 sets the point cloud data of a plurality of frames corresponding to the object region as the extraction target, as described with reference to FIG.
  • step S92 is skipped and the point cloud data of one frame at the current time corresponding to the object area is targeted for extraction.
  • this technology can also be applied to configurations that perform object recognition in real time (onboard) in a moving vehicle.
  • FIG. 22 is a block diagram showing a configuration of an information processing apparatus 600 that performs object recognition on board.
  • FIG. 22 shows a first information processing unit 620 and a second information processing unit 640 that constitute the information processing device 600.
  • the information processing apparatus 600 is configured as a part of the analysis unit 61 of FIG. 1, and recognizes an object around the vehicle 1 by performing a sensor fusion process.
  • the first information processing unit 620 recognizes an object around the vehicle 1 based on the captured image obtained by the camera 311 and the millimeter wave data obtained by the millimeter wave radar 312.
  • the first information processing unit 620 includes a sensor fusion unit 621 and a recognition unit 622.
  • the sensor fusion unit 621 and the recognition unit 622 have the same functions as the sensor fusion unit 321 and the recognition unit 322 in FIG.
  • the second information processing unit 640 includes a conversion unit 641, an extraction unit 642, and a correction unit 643.
  • the conversion unit 641 and the extraction unit 642 have the same functions as the conversion unit 341 and the extraction unit 342 in FIG.
  • the correction unit 643 corrects the distance information included in the recognition result from the first information processing unit 620 based on the point cloud data from the extraction unit 642.
  • the corrected distance information is output as a distance measurement result of the object to be recognized.
  • step S101 the extraction unit 642 acquires the recognition result of the object recognized in the captured image from the first information processing unit 620.
  • step S102 the conversion unit 641 performs coordinate conversion of the point cloud data obtained by LiDAR331.
  • step S103 the extraction unit 642 extracts the point cloud data corresponding to the object area of the object recognized in the captured image by the first information processing unit 20 among the point cloud data converted into the camera coordinate system. Is set based on the object.
  • step S104 the extraction unit 642 extracts the point cloud data corresponding to the object area of the recognized object based on the set extraction conditions.
  • step S105 the correction unit 643 corrects the distance information from the first information processing unit 620 based on the point cloud data extracted by the extraction unit 642.
  • the corrected distance information is output as a distance measurement result of the object to be recognized.
  • the point cloud data corresponding to the recognition target can be narrowed down, and the distance information correction can be performed accurately and with a low load.
  • the point cloud data extraction condition clustering condition
  • the point cloud data corresponding to the object to be recognized can be extracted more reliably. ..
  • the distance information can be corrected more accurately, and the distance to the object can be obtained more accurately, and the false recognition (false detection) of the object can be suppressed and the object to be detected can be detected. It is also possible to prevent omission of detection.
  • the sensor used for the sensor fusion process is not limited to the millimeter wave radar, but may be a LiDAR or an ultrasonic sensor. Further, as the sensor data obtained by the distance measuring sensor, not only the point cloud data obtained by LiDAR but also the distance information indicating the distance to the object obtained by the millimeter wave radar may be used.
  • This technology can also be applied when recognizing multiple types of objects.
  • this technology can also be applied when recognizing objects around moving objects other than vehicles.
  • moving objects such as motorcycles, bicycles, personal mobility, airplanes, ships, construction machinery, and agricultural machinery (tractors) are assumed.
  • the mobile body to which the present technology can be applied includes, for example, a mobile body such as a drone or a robot that is remotely operated (operated) without being boarded by a user.
  • this technology can also be applied to the case of performing object recognition processing in a fixed place such as a monitoring system.
  • FIG. 24 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the evaluation device 340 and the information processing device 600 described above are realized by the computer 1000 having the configuration shown in FIG. 24.
  • the CPU 1001, ROM 1002, and RAM 1003 are connected to each other by a bus 1004.
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006 including a keyboard, a mouse, and the like, and an output unit 1007 including a display, a speaker, and the like are connected to the input / output interface 1005.
  • the input / output interface 1005 is connected to a storage unit 1008 including a hard disk and a non-volatile memory, a communication unit 1009 including a network interface, and a drive 1010 for driving the removable media 1011.
  • the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the above-mentioned series. Processing is done.
  • the program executed by the CPU 1001 is recorded on the removable media 1011 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and is installed in the storage unit 1008.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting
  • the program executed by the computer 1000 may be a program in which processing is performed in chronological order according to the order described in the present specification, or at a necessary timing such as in parallel or when a call is made. It may be a program that is processed by.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the present technology can have the following configurations.
  • Information including an extraction unit that extracts the sensor data corresponding to the object region including the object in the captured image from the sensor data obtained by the ranging sensor based on the object recognized in the captured image obtained by the camera. Processing device.
  • the information processing apparatus according to (1) wherein the extraction unit sets extraction conditions for the sensor data based on the recognized object.
  • the extraction unit excludes the sensor data corresponding to a region of the object region that overlaps with another object region of another object from the extraction target.
  • the extraction unit excludes the sensor data from which the difference between the recognized speed of the object and the speed calculated based on the time-series change of the sensor data is larger than a predetermined speed threshold (2).
  • the extraction unit corresponds to the upper part of the object area.
  • the information processing apparatus according to any one of (2) to (11).
  • Any of (1) to (13) further including a comparison unit for comparing the sensor data extracted by the extraction unit with the distance information obtained by the sensor fusion processing based on the captured image and other sensor data.
  • a sensor fusion unit that performs sensor fusion processing based on the captured image and other sensor data
  • the information processing apparatus according to any one of (1) to (13), further comprising a correction unit that corrects distance information obtained by the sensor fusion process based on the sensor data extracted by the extraction unit.
  • the ranging sensor includes LiDAR.
  • the information processing device according to any one of (1) to (15), wherein the sensor data is point cloud data.
  • the ranging sensor includes a millimeter wave radar.
  • the information processing device according to any one of (1) to (15), wherein the sensor data is distance information indicating a distance to the object.
  • Information processing equipment An information processing method for extracting the sensor data corresponding to an object region including the object in the captured image from the sensor data obtained by the ranging sensor based on the object recognized in the captured image obtained by the camera. (19) On the computer In order to execute a process of extracting the sensor data corresponding to the object region including the object in the captured image from the sensor data obtained by the ranging sensor based on the object recognized in the captured image obtained by the camera. Program.
  • 61 analysis unit 311 camera, 312 millimeter wave radar, 320 recognition system, 321 sensor fusion unit, 322 recognition unit, 331 LiDAR, 332 CAN, 340 evaluation device, 341 conversion unit, 342 extraction unit, 343 comparison unit, 600 information processing device, 620 first information processing unit, 621 sensor fusion unit, 622 recognition unit, 640 second information processing unit, 641 conversion unit, 642 extraction unit, 643 correction unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技術は、より正確に物体との距離を求めることができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 抽出部は、カメラにより得られる撮影画像において認識された物体に基づいて、測距センサにより得られるセンサデータのうち、撮影画像における物体を含む物体領域に対応するセンサデータを抽出する。本技術は、例えば、距離情報の評価装置に適用することができる。

Description

情報処理装置、情報処理方法、およびプログラム
　本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、より正確に物体との距離を求めることができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
　特許文献１には、ステレオ画像を用いた距離計測において、物体領域内に設定された測距点配置領域内の測距点に基づいて、物体の測距情報を生成する技術が開示されている。
国際公開第２０２０／０１７１７２号
　しかしながら、単に、物体領域内に設定された測距点を用いるだけでは、画像内で認識された物体の状態によっては、その物体との正確な距離を求められない可能性があった。
　本技術は、このような状況に鑑みてなされたものであり、より正確に物体との距離を求めることができるようにするものである。
　本技術の情報処理装置は、カメラにより得られる撮影画像において認識された物体に基づいて、測距センサにより得られるセンサデータのうち、前記撮影画像における前記物体を含む物体領域に対応する前記センサデータを抽出する抽出部を備える情報処理装置である。
　本技術の情報処理方法は、情報処理装置が、カメラにより得られる撮影画像において認識された物体に基づいて、測距センサにより得られるセンサデータのうち、前記撮影画像における前記物体を含む物体領域に対応する前記センサデータを抽出する情報処理方法である。
　本技術のプログラムは、コンピュータに、カメラにより得られる撮影画像において認識された物体に基づいて、測距センサにより得られるセンサデータのうち、前記撮影画像における前記物体を含む物体領域に対応する前記センサデータを抽出する処理を実行させるためのプログラムである。
　本技術においては、カメラにより得られる撮影画像において認識された物体に基づいて、測距センサにより得られるセンサデータのうち、前記撮影画像における前記物体を含む物体領域に対応する前記センサデータが抽出される。
車両制御システムの構成例を示すブロック図である。 センシング領域の例を示す図である。 認識システムの距離情報の評価について説明する図である。 評価装置の構成を示すブロック図である。 点群データ抽出の例について説明する図である。 点群データ抽出の例について説明する図である。 点群データ抽出の例について説明する図である。 点群データ抽出の例について説明する図である。 点群データ抽出の例について説明する図である。 点群データ抽出の例について説明する図である。 距離情報の評価処理について説明するフローチャートである。 点群データの抽出条件設定処理について説明するフローチャートである。 点群データの抽出条件設定処理について説明するフローチャートである。 点群データ抽出の変形例について説明する図である。 点群データ抽出の変形例について説明する図である。 点群データ抽出の変形例について説明する図である。 点群データ抽出の変形例について説明する図である。 点群データ抽出の変形例について説明する図である。 点群データ抽出の変形例について説明する図である。 点群データ抽出の変形例について説明する図である。 点群データ抽出の変形例について説明する図である。 情報処理装置の構成を示すブロック図である。 物体の測距処理について説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．車両制御システムの構成例
　２．認識システムの距離情報の評価
　３．評価装置の構成と動作
　４．点群データ抽出の変形例
　５．情報処理装置の構成と動作
　６．コンピュータの構成例
＜１．車両制御システムの構成例＞
　図１は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。
　車両制御システム１１は、車両１に設けられ、車両１の走行支援及び自動運転に関わる処理を行う。
　車両制御システム１１は、プロセッサ２１、通信部２２、地図情報蓄積部２３、ＧＮＳＳ（Global Navigation Satellite System）受信部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記録部２８、走行支援・自動運転制御部２９、ＤＭＳ（Driver Monitoring System）３０、ＨＭＩ（Human Machine Interface）３１、及び、車両制御部３２を備える。
　プロセッサ２１、通信部２２、地図情報蓄積部２３、ＧＮＳＳ受信部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記録部２８、走行支援・自動運転制御部２９、ドライバモニタリングシステム（ＤＭＳ）３０、ヒューマンマシーンインタフェース（ＨＭＩ）３１、及び、車両制御部３２は、通信ネットワーク４１を介して相互に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等により構成される。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば、近距離無線通信（ＮＦＣ（Near Field Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）等により直接接続される場合もある。
　なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、プロセッサ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単にプロセッサ２１と通信部２２とが通信を行うと記載する。
　プロセッサ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＥＣＵ（Electronic Control Unit）等の各種のプロセッサにより構成される。プロセッサ２１は、車両制御システム１１全体の制御を行う。
　通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。車外との通信としては、例えば、通信部２２は、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラム、地図情報、交通情報、車両１の周囲の情報等を外部から受信する。例えば、通信部２２は、車両１に関する情報（例えば、車両１の状態を示すデータ、認識部７３による認識結果等）、車両１の周囲の情報等を外部に送信する。例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
　なお、通信部２２の通信方式は特に限定されない。また、複数の通信方式が用いられてもよい。
　車内との通信としては、例えば、通信部２２は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Wireless USB）等の通信方式により、車内の機器と無線通信を行う。例えば、通信部２２は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface、登録商標）、又は、ＭＨＬ（Mobile High-definition Link）等の通信方式により、車内の機器と有線通信を行う。
　ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器である。例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
　例えば、通信部２２は、４Ｇ（第４世代移動通信システム）、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated Short Range Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク）上に存在するサーバ等と通信を行う。
　例えば、通信部２２は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）と通信を行う。例えば、通信部２２は、Ｖ２Ｘ通信を行う。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Vehicle to Vehicle）通信、路側器等との間の路車間（Vehicle to Infrastructure）通信、家との間（Vehicle to Home）の通信、及び、歩行者が所持する端末等との間の歩車間（Vehicle to Pedestrian）通信等である。
　例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Vehicle Information and Communication System）、登録商標）により送信される電磁波を受信する。
　地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
　高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ（ＡＤＡＳ（Advanced Driver Assistance System）マップともいう）等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、車線や信号の位置等の情報をポイントクラウドマップに対応付けた地図である。ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データがサーバ等から取得される。
　ＧＮＳＳ受信部２４は、ＧＮＳＳ衛星からＧＮＳＳ信号を受信し、走行支援・自動運転制御部２９に供給する。
　外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
　例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）５３、及び、超音波センサ５４を備える。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の数は任意であり、各センサのセンシング領域の例は後述する。
　なお、カメラ５１には、例えば、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ等の任意の撮影方式のカメラが、必要に応じて用いられる。
　また、例えば、外部認識センサ２５は、天候、気象、明るさ等を検出するための環境センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等を備える。
　さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
　車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備えるセンサの種類や数は任意である。
　例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサ等を備える。カメラには、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラ等の任意の撮影方式のカメラを用いることができる。生体センサは、例えば、シートやステリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
　車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備えるセンサの種類や数は任意である。
　例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、慣性計測装置（ＩＭＵ（Inertial Measurement Unit））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、及び、外部からの衝撃を検出する衝撃センサを備える。
　記録部２８は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記録部２８は、車両制御システム１１の各部が用いる各種プログラムやデータ等を記録する。例えば、記録部２８は、自動運転に関わるアプリケーションプログラムが動作するＲＯＳ（Robot Operating System）で送受信されるメッセージを含むrosbagファイルを記録する。例えば、記録部２８は、ＥＤＲ（Event Data Recorder）やＤＳＳＡＤ（Data Storage System for Automated Driving）を備え、事故等のイベントの前後の車両１の情報を記録する。
　走行支援・自動運転制御部２９は、車両１の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部２９は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。
　分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。
　自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。
　ローカルマップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy Grid Map）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。
　なお、自己位置推定部７１は、ＧＮＳＳ信号、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
　センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
　認識部７３は、車両１の外部の状況の検出処理及び認識処理を行う。
　例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。
　具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
　例えば、認識部７３は、ＬｉＤＡＲ又はレーダ等のセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。
　例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。
　例えば、認識部７３は、カメラ５１から供給される画像データに対してセマンティックセグメンテーション等の物体認識処理を行うことにより、車両１の周囲の物体の種類を認識する。
　なお、検出又は認識対象となる物体としては、例えば、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等が想定される。
　例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置の推定結果、及び、車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行う。この処理により、例えば、信号の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等が認識される。
　例えば、認識部７３は、車両１の周囲の環境の認識処理を行う。認識対象となる周囲の環境としては、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
　行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
　なお、経路計画（Global path planning）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、経路計画で計画された経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成（Local path planning）の処理も含まれる。
　経路追従とは、経路計画により計画した経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。例えば、車両１の目標速度と目標角速度が計算される。
　動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
　例えば、動作制御部６３は、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部６３は、衝突回避あるいは衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
　ＤＭＳ３０は、車内センサ２６からのセンサデータ、及び、ＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
　なお、ＤＭＳ３０が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
　ＨＭＩ３１は、各種のデータや指示等の入力に用いられ、入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。例えば、ＨＭＩ３１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。なお、ＨＭＩ３１は、例えば、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１１の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。
　また、ＨＭＩ３１は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成及び出力、並びに、出力内容、出力タイミング、出力方法等を制御する出力制御を行う。視覚情報は、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報である。聴覚情報は、例えば、ガイダンス、警告音、警告メッセージ等の音声により示される情報である。触覚情報は、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報である。
　視覚情報を出力するデバイスとしては、例えば、表示装置、プロジェクタ、ナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera Monitoring System）、電子ミラー、ランプ等が想定される。表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）機能を備えるウエアラブルデバイス等の搭乗者の視界内に視覚情報を表示する装置であってもよい。
　聴覚情報を出力するデバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホン等が想定される。
　触覚情報を出力するデバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子等が想定される。ハプティクス素子は、例えば、ステアリングホイール、シート等に設けられる。
　車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。
　ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うＥＣＵ等の制御ユニット、ステアリングシステムの駆動を行うアクチュエータ等を備える。
　ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Antilock Brake System）等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うＥＣＵ等の制御ユニット、ブレーキシステムの駆動を行うアクチュエータ等を備える。
　駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行うＥＣＵ等の制御ユニット、駆動システムの駆動を行うアクチュエータ等を備える。
　ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うＥＣＵ等の制御ユニット、ボディ系システムの駆動を行うアクチュエータ等を備える。
　ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うＥＣＵ等の制御ユニット、ライトの駆動を行うアクチュエータ等を備える。
　ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うＥＣＵ等の制御ユニット、カーホーンの駆動を行うアクチュエータ等を備える。
　図２は、図１の外部認識センサ２５のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４によるセンシング領域の例を示す図である。
　センシング領域１０１Ｆ及びセンシング領域１０１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１０１Ｆは、車両１の前端周辺をカバーしている。センシング領域１０１Ｂは、車両１の後端周辺をカバーしている。
　センシング領域１０１Ｆ及びセンシング領域１０１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられる。
　センシング領域１０２Ｆ乃至センシング領域１０２Ｂは、短距離又は中距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０２Ｆは、車両１の前方において、センシング領域１０１Ｆより遠い位置までカバーしている。センシング領域１０２Ｂは、車両１の後方において、センシング領域１０１Ｂより遠い位置までカバーしている。センシング領域１０２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域１０２Ｒは、車両１の右側面の後方の周辺をカバーしている。
　センシング領域１０２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域１０２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられる。センシング領域１０２Ｌ及びセンシング領域１０２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出等に用いられる。
　センシング領域１０３Ｆ乃至センシング領域１０３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域１０３Ｆは、車両１の前方において、センシング領域１０２Ｆより遠い位置までカバーしている。センシング領域１０３Ｂは、車両１の後方において、センシング領域１０２Ｂより遠い位置までカバーしている。センシング領域１０３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域１０３Ｒは、車両１の右側面の周辺をカバーしている。
　センシング領域１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム等に用いられる。センシング領域１０３Ｂにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステム等に用いられる。センシング領域１０３Ｌ及びセンシング領域１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステム等に用いられる。
　センシング領域１０４は、ＬｉＤＡＲ５３のセンシング領域の例を示している。センシング領域１０４は、車両１の前方において、センシング領域１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０４は、センシング領域１０３Ｆより左右方向の範囲が狭くなっている。
　センシング領域１０４におけるセンシング結果は、例えば、緊急ブレーキ、衝突回避、歩行者検出等に用いられる。
　センシング領域１０５は、長距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。
　センシング領域１０５におけるセンシング結果は、例えば、ＡＣＣ（Adaptive Cruise Control）等に用いられる。
　なお、各センサのセンシング領域は、図２以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５３が車両１の後方をセンシングするようにしてもよい。
＜２．認識システムの距離情報の評価＞
　例えば、図３に示されるように、上述したセンサフュージョン処理を行うことにより、車両１の周囲の物体を認識する認識システム２１０が出力する距離情報を評価する手法として、ＬｉＤＡＲ２２０の点群データを正解値として比較・評価することが考えられる。しかしながら、ユーザＵが目視により、１フレームずつ認識システム２１０の距離情報とＬｉＤＡＲの点群データを比較した場合、膨大な時間がかかってしまう。
　そこで、以下においては、認識システムの距離情報とＬｉＤＡＲの点群データの比較を自動的に行う構成について説明する。
＜３．評価装置の構成と動作＞
（評価装置の構成）
　図４は、上述したような認識システムの距離情報を評価する評価装置の構成を示すブロック図である。
　図４には、認識システム３２０と評価装置３４０が示されている。
　認識システム３２０は、カメラ３１１により得られた撮影画像と、ミリ波レーダ３１２により得られたミリ波データに基づいて、車両１の周囲の物体を認識する。カメラ３１１とミリ波レーダ３１２は、それぞれ図１のカメラ５１とレーダ５２に対応する。
　認識システム３２０は、センサフュージョン部３２１と認識部３２２を備えている。
　センサフュージョン部３２１は、図１のセンサフュージョン部７２に対応し、カメラ３１１からの撮影画像とミリ波レーダ３１２からのミリ波データを用いて、センサフュージョン処理を行う。
　認識部３２２は、図１の認識部７３に対応し、センサフュージョン部３２１によるセンサフュージョン処理の処理結果に基づいて、車両１の周囲の物体の認識処理（検出処理）を行う。
　センサフュージョン部３２１によるセンサフュージョン処理と、認識部３２２による認識処理により、車両１の周囲の物体の認識結果を出力する。
　車両１の走行中に得られた物体の認識結果は、データログとして記録され、評価装置３４０に入力される。なお、物体の認識結果には、車両１の周囲の物体との距離を示す距離情報をはじめ、物体の種類や属性を示す物体情報や、物体の速度を示す速度情報なども含まれる。
　同様に、車両１の走行中には、本実施の形態における測距センサとしてのＬｉＤＡＲ３３１により点群データが得られ、さらに、ＣＡＮ３３２を介して車両１に関する各種の車両情報が得られる。ＬｉＤＡＲ３３１とＣＡＮ３３２は、それぞれ図１のＬｉＤＡＲ５３と通信ネットワーク４１に対応する。車両１の走行中に得られた点群データと車両情報もまた、データログとして記録され、評価装置３４０に入力される。
　評価装置３４０は、変換部３４１、抽出部３４２、および比較部３４３を備えている。
　変換部３４１は、ＬｉＤＡＲ３３１により得られた、ｘｙｚ３次元座標系のデータである点群データを、カメラ３１１のカメラ座標系に変換し、変換された点群データを抽出部３４２に供給する。
　抽出部３４２は、認識システム３２０からの認識結果と、変換部３４１からの点群データを用いることで、撮影画像において認識された物体に基づいて、点群データのうち、撮影画像におけるその物体を含む物体領域に対応する点群データを抽出する。言い換えると、抽出部３４２は、点群データのうち、認識された物体に対応する点群データをクラスタリングする。
　具体的には、抽出部３４２は、認識結果として認識システム３２０から供給される、認識された物体の物体領域を示す矩形枠を含む撮影画像と、変換部３４１からの点群データを対応させ、その矩形枠内に存在する点群データを抽出する。このとき、抽出部３４２は、認識された物体に基づいてその点群データの抽出条件を設定し、その抽出条件に基づいて、矩形枠内に存在する点群データを抽出する。抽出された点群データは、距離情報の評価対象となる物体に対応する点群データとして、比較部３４３に供給される。
　比較部３４３は、抽出部３４２からの点群データを正解値として、その点群データと、認識システム３２０からの認識結果に含まれる距離情報を比較する。具体的には、認識システム３２０からの距離情報と、正解値（点群データ）との差が、所定の基準値以内に収まるか否かが判定される。比較結果は、認識システム３２０からの距離情報の評価結果として出力される。なお、正解値とする点群データとして、矩形枠内に存在する点群データのうちの最頻値を用いることで、正解値の精度をより高めることができる。
　従来、例えば、図５上段に示されるように、撮影画像３６０において認識された車両を示す矩形枠３６１Ｆに、ＬｉＤＡＲにより得られた点群データ３７１のうちのどの点群データ３７１が対応するかが、目視で確認されていた。
　これに対して、評価装置３４０によれば、図５下段に示されるように、ＬｉＤＡＲにより得られた点群データ３７１のうち、撮影画像３６０において認識された車両を示す矩形枠３６１Ｆに対応する点群データ３７１が抽出される。これにより、評価対象に対応する点群データを絞り込むことができ、認識システムの距離情報とＬｉＤＡＲの点群データの比較を正確にかつ低負荷で行うことが可能となる。
（点群データの抽出の例）
　上述したように、抽出部３４２は、認識された物体に基づいて、例えば、認識された物体の状態に応じて、点群データの抽出条件（クラスタリング条件）を設定することができる。
（例１）
　図６上段左側に示されるように、撮影画像４１０において、評価対象とする車両４１１より手前に他の車両４１２が存在する場合、車両４１１についての矩形枠４１１Ｆに、他の車両４１２についての矩形枠４１２Ｆが重なってしまう。この状態で、矩形枠４１１Ｆ内に存在する点群データを抽出した場合、図６上段右側の鳥瞰図に示されるように、評価対象に対応しない点群データが抽出されてしまう。図６上段右側のような鳥瞰図には、ＬｉＤＡＲ３３１により得られた３次元座標上の点群データが、対応する物体とともに示されている。
　そこで、抽出部３４２は、図６下段左側に示されるように、他の車両４１２についての矩形枠４１２Ｆに対応する領域をマスクすることで、矩形枠４１１Ｆにおいて矩形枠４１２Ｆと重なる領域に対応する点群データを、抽出対象から除外する。これにより、図６下段右側の鳥瞰図に示されるように、評価対象に対応する点群データのがみ抽出されるようにできる。
　なお、矩形枠は、例えばその矩形枠の左上の頂点の座標を基準点とした矩形枠の幅および高さで規定され、矩形枠同士が重なっているか否かは、それぞれの矩形枠の基準点、幅、および高さに基づいて判定される。
（例２）
　図７上段左側に示されるように、撮影画像４２０ａにおいて、評価対象とする車両４２１より奥に電信柱などの障害物４２２が存在する場合、車両４２１についての矩形枠４２１Ｆ内に存在する点群データを抽出したとき、図７上段右側の鳥瞰図にされるように、評価対象に対応しない点群データが抽出されてしまう。
　同様に、図７下段左側に示されるように、撮影画像４２０ｂにおいて、評価対象とする車両４２１より手前に電信柱などの障害物４２３が存在する場合、車両４２１についての矩形枠４２１Ｆ内に存在する点群データを抽出したとき、図７下段右側の鳥瞰図にされるように、評価対象に対応しない点群データが抽出されてしまう。
　これに対して、抽出部３４２は、図８左側に示されるように、評価対象とする物体（認識された物体）との距離が所定の距離閾値より大きい点群データを、抽出対象から除外することで、評価対象との距離が所定範囲内の点群データを抽出する。なお、評価対象との距離は、認識システム３２０により出力される認識結果に含まれる距離情報より取得される。
　このとき、抽出部３４２は、評価対象とする物体（その物体の種類）に応じて、距離閾値を設定する。距離閾値は、例えば、評価対象とする物体の移動速度が高いほど、大きな値に設定されるようにする。なお、評価対象とする物体の種類もまた、認識システム３２０により出力される認識結果に含まれる物体情報より取得される。
　例えば、評価対象を車両とする場合、距離閾値を１．５ｍとすることで、車両との距離が１．５ｍより大きい点群データが抽出対象から除外される。また、評価対象をバイクとする場合、距離閾値を１ｍとすることで、バイクとの距離が１ｍより大きい点群データが抽出対象から除外される。さらに、評価対象を自転車や歩行者とする場合、距離閾値を５０ｃｍとすることで、自転車や歩行者との距離が５０ｃｍより大きい点群データが抽出対象から除外される。
　なお、抽出部３４２は、カメラ３１１とミリ波レーダ３１２が搭載される車両１の移動速度（車速）に応じて、設定された距離閾値を変更してもよい。一般的に、高速走行時には、車両同士の車間距離は大きくなり、低速走行時には、車間距離は小さくなる。そこで、車両１が高速で走行している場合には、距離閾値をより大きい値に変更する。例えば、車両１が４０ｋｍ／ｈ以上で走行している場合、評価対象を車両とするときには、距離閾値を１．５ｍから３ｍに変更する。また、車両１が４０ｋｍ／ｈ以上で走行している場合、評価対象をバイクとするときには、距離閾値を１ｍから２ｍに変更する。なお、車両１の車速は、ＣＡＮ３３２を介して得られる車両情報より取得される。
（例３）
　さらに、抽出部３４２は、図８右側に示されるように、評価対象とする物体（認識された物体）の速度と、点群データの時系列変化に基づいて算出される速度との差が所定の速度閾値より大きい点群データを、抽出対象から除外することで、評価対象との速度の差が所定範囲内の点群データを抽出する。点群データの速度は、その点群データの時系列での位置の変化により算出される。評価対象の速度は、認識システム３２０により出力される認識結果に含まれる速度情報より取得される。
　図８右側の例では、評価対象とする物体より奥に存在する時速０ｋｍ／ｈの点群データと、評価対象とする物体より手前に存在する時速０ｋｍ／ｈの点群データが、抽出対象から除外され、評価対象とする物体の近傍に存在する時速１５ｋｍ／ｈの点群データが抽出されている。
（例４）
　抽出部３４２は、評価対象とする物体との距離、言い換えると、撮影画像における物体領域の大きさに応じて、点群データの抽出領域を変更することもできる。
　例えば、図９に示されるように、撮影画像４４０において、遠距離に位置する車両４４１についての矩形枠４４１Ｆは小さく、近距離に位置する車両４４２についての矩形枠４４２Ｆは大きくなる。この場合、矩形枠４４１Ｆにおいては、車両４４１に対応する点群データの数は少ない。一方、矩形枠４４２Ｆにおいては、車両４４２に対応する点群データの数は多いものの、背景や路面に対応する点群データも多く含まれる。
　そこで、抽出部３４２は、矩形枠が所定の面積より大きい場合、矩形枠の中心付近に対応する点群データのみを抽出対象とし、矩形枠が所定の面積より小さい場合、矩形枠全体に対応する点群データを抽出対象とする。
　すなわち、図１０に示されるように、面積の小さい矩形枠４４１Ｆにおいては、矩形枠４４１Ｆ全体に対応する点群データが抽出されるようにする。一方、面積の大きい矩形枠４４２Ｆにおいては、矩形枠４４２Ｆの中心付近の領域Ｃ４４２Ｆに対応する点群データのみが抽出されるようにする。これにより、背景や路面に対応する点群データを、抽出対象から除外することができる。
　また、評価対象を自転車や歩行者、バイクなどとする場合にも、それらについての矩形枠においては、背景や路面に対応する点群データが多く含まれる。そこで、認識システム３２０により出力される認識結果に含まれる物体情報より取得された物体の種類が、自転車や歩行者、バイクなどである場合には、矩形枠の中心付近に対応する点群データのみを抽出対象としてもよい。
　以上のように、評価対象とする物体に基づいて、点群データの抽出条件（クラスタリング条件）を設定することで、より確実に、評価対象とする物体に対応する点群データを抽出することができる。
（距離情報の評価処理）
　ここで、図１１のフローチャートを参照して、評価装置３４０による距離情報の評価処理について説明する。
　ステップＳ１において、抽出部３４２は、認識システム３２０から、撮影画像において認識された物体の認識結果を取得する。
　ステップＳ２において、変換部３４１は、ＬｉＤＡＲ３３１により得られた点群データの座標変換を行う。
　ステップＳ３において、抽出部３４２は、カメラ座標系に変換された点群データのうち、認識システム３２０により撮影画像において認識された物体についての物体領域に対応する点群データの抽出条件を、その物体に基づいて設定する。
　ステップＳ４において、抽出部３４２は、設定した抽出条件に基づいて、認識された物体についての物体領域に対応する点群データを抽出する。
　ステップＳ６において、比較部３４３は、抽出部３４２により抽出された点群データを正解値として、その点群データと、認識システム３２０からの認識結果に含まれる距離情報を比較する。比較結果は、認識システム３２０からの距離情報の評価結果として出力される。
　以上の処理によれば、認識システム３２０からの距離情報の評価において、評価対象に対応する点群データを絞り込むことができ、認識システムの距離情報とＬｉＤＡＲの点群データの比較を正確にかつ低負荷で行うことが可能となる。
（点群データの抽出条件設定処理）
　次に、図１２および図１３を参照して、上述した距離情報の評価処理のステップＳ３において実行される点群データの抽出条件設定処理について説明する。この処理は、点群データのうち、認識された物体（評価対象とする物体）の物体領域に対応する点群データが特定された状態で開始される。
　ステップＳ１１において、抽出部３４２は、認識された物体（評価対象とする物体）の物体領域が、他の物体についての他の物体領域と重なっているか否かを判定する。
　物体領域が他の物体領域と重なっていると判定された場合、ステップＳ１２に進み、抽出部３４２は、図６を参照して説明したように、他の物体領域と重なる領域に対応する点群データを抽出対象から除外する。その後、ステップＳ１３に進む。
　一方、物体領域が他の物体領域と重なっていないと判定された場合、ステップＳ１２はスキップされ、ステップＳ１３に進む。
　ステップＳ１３において、抽出部３４２は、物体領域が所定の面積より大きいか否かを判定する。
　物体領域が所定の面積より大きいと判定された場合、ステップＳ１４に進み、抽出部３４２は、図９および図１０を参照して説明したように、物体領域の中心付近の点群データを抽出対象とする。その後、ステップＳ１５に進む。
　一方、物体領域が所定の面積より大きくないと判定された場合、すなわち、物体領域が所定の面積より小さい場合、ステップＳ１４はスキップされ、ステップＳ１５に進む。
　ステップＳ１５において、抽出部３４２は、物体領域に対応する点群データそれぞれについて、認識された物体との速度差が速度閾値より大きいか否かを判定する。
　認識された物体との速度差が速度閾値より大きいと判定された場合、ステップＳ１６に進み、抽出部３４２は、図８を参照して説明したように、該当する点群データを抽出対象から除外する。その後、図１３のステップＳ１７に進む。
　一方、認識された物体との速度差が速度閾値より大きいと判定された場合、すなわち、認識された物体との速度差が速度閾値より小さい場合、ステップＳ１６はスキップされ、ステップＳ１７に進む。
　ステップＳ１７において、抽出部３４２は、認識結果に含まれる物体情報より取得される、認識された物体（その物体の種類）に応じて、距離閾値を設定する。
　次いで、ステップＳ１８において、抽出部３４２は、車両情報より取得される車両１の車速に応じて、設定した距離閾値を変更する。
　そして、ステップＳ１９において、抽出部３４２は、物体領域に対応する点群データそれぞれについて、認識された物体との距離が距離閾値より大きいか否かを判定する。
　認識された物体との距離が距離閾値より大きいと判定された場合、ステップＳ２０に進み、抽出部３４２は、図８を参照して説明したように、該当する点群データを抽出対象から除外する。点群データの抽出条件設定処理は終了する。
　一方、認識された物体との距離が距離閾値より大きいと判定された場合、すなわち、認識された物体との距離が距離閾値より小さい場合、ステップＳ２０はスキップされ、点群データの抽出条件設定処理は終了する。
　以上の処理によれば、評価対象とする物体の状態に応じて、点群データの抽出条件（クラスタリング条件）が設定されるので、より確実に、評価対象とする物体に対応する点群データを抽出することができる。その結果、より正確に距離情報の評価を行うことができ、ひいては、より正確に物体との距離を求めることが可能となる。
＜４．点群データ抽出の変形例＞
　以下においては、点群データ抽出の変形例について説明する。
（変形例１）
　通常、車両がある速度で前方に進んだ場合、車両の周囲の物体のうち、その車両と異なる速度で移動している物体の見え方は変化する。この場合、車両の周囲の物体の見え方の変化に応じて、その物体に対応する点群データも変化する。
　例えば、図１４に示されるように、片側２車線の道路を走行中に撮影された撮影画像５１０ａ，５１０ｂにおいて、自車が走行する車線に隣接する車線を走行する車両５１１が認識されているとする。撮影画像５１０ａにおいては、車両５１１は、隣接する車線で自車近傍を走行し、撮影画像５１０ｂにおいては、車両５１１は、隣接する車線で自車から前方に離れた位置を走行している。
　撮影画像５１０ａのように、車両５１１が自車近傍を走行している場合、車両５１１についての矩形領域５１１Ｆａに対応する点群データとしては、車両５１１後面の点群データに加え、車両５１１側面の点群データも多く抽出される。
　一方、撮影画像５１０ｂのように、車両５１１が自車から離れて走行している場合、車両５１１についての矩形領域５１１Ｆｂに対応する点群データとしては、車両５１１後面の点群データのみが抽出される。
　撮影画像５１０ａのように、抽出される点群データに、車両５１１側面の点群データが含まれた場合、車両５１１との正確な距離が求められない可能性がある。
　そこで、車両５１１が自車近傍を走行している場合には、車両５１１後面の点群データのみを抽出対象とし、車両５１１側面の点群データを抽出対象から除外するようにする。
　例えば、点群データの抽出条件設定処理において、図１５のフローチャートに示される処理が実行されるようにする。
　ステップＳ３１において、抽出部３４２は、点群データが所定の位置関係にあるか否かを判定する。
　点群データが所定の位置関係にあると判定された場合、ステップＳ３２に進み、抽出部３４２は、物体領域の一部に対応する点群データのみを抽出対象とする。
　具体的には、自車近傍の隣接車線の領域を設定し、その隣接車線の領域において、物体領域に対応する点群データが、例えば奥行き方向に５ｍ、水平方向に３ｍの大きさの物体を示すように並んでいる場合、車両が自車近傍を走行しているとみなし、水平方向に対応する点群データ（車両後面の点群データ）のみが抽出されるようにする。
　一方、点群データが所定の位置関係にないと判定された場合、ステップＳ３２はスキップされ、物体領域全てに対応する点群データが抽出対象とされる。
　以上のようにして、車両が自車近傍を走行している場合には、車両後面の点群データのみが抽出対象とされるようにすることができる。
　なお、これ以外にも、物体領域に対応する点群データの一般的なクラスタリング処理を実行し、奥行き方向と水平方向とにＬ字型に連続する点群データが抽出されるような場合には、車両が自車近傍を走行しているとみなし、車両後面の点群データのみが抽出されるようにしてもよい。また、物体領域に対応する点群データで示される距離の分散が所定の閾値より大きい場合には、車両が自車近傍を走行しているとみなし、車両後面の点群データのみが抽出されるようにしてもよい。
（変形例２）
　通常、ＬｉＤＡＲの点群データは、例えば、図１６に示されるように、撮影画像５２０において、路面に近いほど密になり、路面から離れるほど疎になる。図１６の例では、路面から離れた位置に存在する交通標識５２１の距離情報は、その矩形枠５２１Ｆに対応する点群データに基づいて生成される。しかしながら、路面から離れた位置に存在する交通標識５２１や図示せぬ信号機などの物体に対応する点群データは、路面に近い位置に存在する他の物体と比べて少なく、点群データの信頼度が低くなる可能性がある。
　そこで、路面から離れた位置に存在する物体については、複数フレームの点群データを用いることで、その物体に対応する点群データの数を増やすようにする。
　例えば、点群データの抽出条件設定処理において、図１７のフローチャートに示される処理が実行されるようにする。
　ステップＳ５１において、抽出部３４２は、撮影画像において、認識された物体の物体領域が所定の高さより上方にあるか否かを判定する。ここでいう高さは、撮影画像の下端から上端方向への距離をいう。
　撮影画像において物体領域が所定の高さより上方にあると判定された場合、ステップＳ５２に進み、抽出部３４２は、物体領域に対応する複数フレームの点群データを抽出対象とする。
　例えば、図１８に示されるように、現在時刻ｔにおける撮影画像５２０（ｔ）に、時刻ｔにおいて得られた点群データ５３１（ｔ）、時刻ｔの１フレーム分前の時刻ｔ－１において得られた点群データ５３１（ｔ－１）、時刻ｔの２フレーム分前の時刻ｔ－２において得られた点群データ５３１（ｔ－２）が重畳される。そして、点群データ５３１（ｔ），５３１（ｔ－１），５３１（ｔ－２）のうち、撮影画像５２０（ｔ）の物体領域に対応する点群データが抽出対象とされる。なお、自車が高速で走行している場合、認識された物体との距離は、経過したフレームの時間分ずつ近くなる。そのため、点群データ５３１（ｔ－１），５３１（ｔ－２）においては、物体領域に対応する点群データの距離情報が、点群データ５３１（ｔ）とは異なる。そこで、経過したフレームの時間に自車が移動した距離に基づいて、点群データ５３１（ｔ－１），５３１（ｔ－２）の距離情報が補正されるようにする。
　一方、撮影画像において物体領域が所定の高さより上方にないと判定された場合、ステップＳ５２はスキップされ、物体領域に対応する現在時刻の１フレームの点群データが抽出対象とされる。
　以上のようにして、路面から離れた位置に存在する物体については、複数フレームの点群データを用いることで、その物体に対応する点群データの数を増やし、点群データの信頼度の低下を避けることができる。
（変形例３）
　例えば、図１９に示されるように、撮影画像５４０において、自車の前方を走行する車両５４１の上方に案内標識５４２が位置する場合、車両５４１についての矩形枠５４１Ｆに案内標識５４２が含まれることがある。この場合、矩形枠５４１Ｆに対応する点群データとして、車両５４１に対応する点群データに加え、案内標識５４２に対応する点群データも抽出されてしまう。
　この場合、車両５４１は所定の速度で移動する一方、案内標識５４２は移動しないことから、移動しない物体についての点群データを抽出対象から除外するようにする。
　例えば、点群データの抽出条件設定処理において、図２０のフローチャートに示される処理が実行されるようにする。
　ステップＳ７１において、抽出部３４２は、撮影画像において認識された物体についての物体領域の上部と下部とで、点群データの時系列変化に基づいて算出される速度差が所定の閾値より大きいか否かを判定する。
　ここでは、物体領域の上部の点群データに基づいて算出された速度が略０であるか否かが判定され、さらに、物体領域の上部の点群データに基づいて算出された速度と、物体領域の下部の点群データに基づいて算出された速度との差が求められる。
　物体領域の上部と下部とで速度差が所定の閾値より大きいと判定された場合、ステップＳ７２に進み、抽出部３４２は、物体領域の上部に対応する点群データを抽出対象から除外する。
　一方、物体領域の上部と下部とで速度差が所定の閾値より大きくないと判定された場合、ステップＳ７２はスキップされ、物体領域全てに対応する点群データが抽出対象とされる。
　以上のようにして、車両の上方にある案内標識や看板などの移動しない物体についての点群データを抽出対象から除外することができる。
（変形例４）
　一般的に、ＬｉＤＡＲは雨や霧、埃に弱いため、雨天時には、ＬｉＤＡＲの測距性能が悪化し、物体領域に対応して抽出される点群データの信頼度も低下する。
　そこで、天候に応じて、複数フレームの点群データを用いることで、物体領域に対応して抽出される点群データを増やし、点群データの信頼度の低下を避けるようにする。
　例えば、点群データの抽出条件設定処理において、図２１のフローチャートに示される処理が実行されるようにする。
　ステップＳ９１において、抽出部３４２は、天候が雨天であるか否かを判定する。
　例えば、抽出部３４２は、ＣＡＮ３３２を介して得られる車両情報として、前面ウインドガラスの検知エリア内に雨滴を検知する雨滴センサからの検知情報に基づいて、雨天であるか否かを判定する。また、抽出部３４２は、ワイパーの動作状態に基づいて、雨天であるか否かを判定してもよい。ワイパーは、雨滴センサからの検知情報に基づいて動作してもよいし、運転者の操作に応じて動作してもよい。
　天候が雨天であると判定された場合、ステップＳ９２に進み、抽出部３４２は、図１８を参照して説明したように、物体領域に対応する複数フレームの点群データを抽出対象とする。
　一方、天候が雨天でないと判定された場合、ステップＳ９２はスキップされ、物体領域に対応する現在時刻の１フレームの点群データが抽出対象とされる。
　以上のようにして、雨天時には、複数フレームの点群データを用いることで、物体領域に対応して抽出される点群データを増やし、点群データの信頼度の低下を避けることができる。
＜５．情報処理装置の構成と動作＞
　以上においては、本技術を、認識システムの距離情報とＬｉＤＡＲの点群データの比較を、いわゆるオフボードで行う評価装置に適用した例について説明した。
　これに限らず、本技術を、走行中の車両においてリアルタイムで（オンボードで）物体認識を行う構成に適用することもできる。
（情報処理装置の構成）
　図２２は、オンボードで物体認識を行う情報処理装置６００の構成を示すブロック図である。
　図２２には、情報処理装置６００を構成する第１の情報処理部６２０と第２の情報処理部６４０が示されている。例えば、情報処理装置６００は、図１の分析部６１の一部として構成され、センサフュージョン処理を行うことにより、車両１の周囲の物体を認識する。
　第１の情報処理部６２０は、カメラ３１１により得られた撮影画像と、ミリ波レーダ３１２により得られたミリ波データに基づいて、車両１の周囲の物体を認識する。
　第１の情報処理部６２０は、センサフュージョン部６２１と認識部６２２を備えている。センサフュージョン部６２１および認識部６２２は、図４のセンサフュージョン部３２１および認識部３２２と同様の機能を有する。
　第２の情報処理部６４０は、変換部６４１、抽出部６４２、および補正部６４３を備えている。変換部６４１および抽出部６４２は、図４の変換部３４１および抽出部３４２と同様の機能を有する。
　補正部６４３は、抽出部６４２からの点群データに基づいて、第１の情報処理部６２０からの認識結果に含まれる距離情報を補正する。補正された距離情報は、認識対象となる物体の測距結果として出力される。なお、補正に用いる点群データとして、矩形枠内に存在する点群データのうちの最頻値を用いることで、補正された距離情報の精度をより高めることができる。
（物体の測距処理）
　次に、図２３のフローチャートを参照して、情報処理装置６００による物体の測距処理について説明する。図２３の処理は、走行中の車両においてオンボードで実行される。
　ステップＳ１０１において、抽出部６４２は、第１の情報処理部６２０から、撮影画像において認識された物体の認識結果を取得する。
　ステップＳ１０２において、変換部６４１は、ＬｉＤＡＲ３３１により得られたる点群データの座標変換を行う。
　ステップＳ１０３において、抽出部６４２は、カメラ座標系に変換された点群データのうち、第１の情報処理部２０により撮影画像において認識された物体についての物体領域に対応する点群データの抽出条件を、その物体に基づいて設定する。
　具体的には、図１２および図１３のフローチャートを参照して説明した点群データの抽出条件設定処理が実行される。
　ステップＳ１０４において、抽出部６４２は、設定した抽出条件に基づいて、認識された物体についての物体領域に対応する点群データを抽出する。
　ステップＳ１０５において、補正部６４３は、抽出部６４２により抽出された点群データに基づいて、第１の情報処理部６２０からの距離情報を補正する。補正された距離情報は、認識対象となる物体の測距結果として出力される。
　以上の処理によれば、認識対象に対応する点群データを絞り込むことができ、距離情報補正を正確にかつ低負荷で行うことが可能となる。また、認識対象とする物体の状態に応じて、点群データの抽出条件（クラスタリング条件）が設定されるので、より確実に、認識対象とする物体に対応する点群データを抽出することができる。その結果、より正確に距離情報の補正を行うことができ、ひいては、より正確に物体との距離を求めることが可能となるとともに、物体の誤認識（誤検出）の抑制や、検出すべき物体の検出漏れを防ぐことも可能となる。
　上述した実施の形態において、センサフュージョン処理に用いられるセンサは、ミリ波レーダに限らず、ＬｉＤＡＲや超音波センサであってもよい。また、測距センサにより得られるセンサデータとして、ＬｉＤＡＲにより得られる点群データに限らず、ミリ波レーダにより得られる、物体との距離を示す距離情報が用いられてもよい。
　以上においては、車両を認識対象とする例を中心に説明したが、車両以外の任意の物体を認識対象とすることができる。
　また、本技術は、複数の種類の対象物を認識する場合にも適用することが可能である。
　また、上述した説明では、車両１の前方の対象物を認識する例を示したが、本技術は、車両１の周囲の他の方向の対象物を認識する場合にも適用することができる。
　さらに、本技術は、車両以外の移動体の周囲の対象物を認識する場合にも適用することが可能である。例えば、自動二輪車、自転車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）等の移動体が想定される。また、本技術が適用可能な移動体には、例えば、ドローン、ロボット等のユーザが搭乗せずにリモートで運転（操作）する移動体も含まれる。
　また、本技術は、例えば、監視システム等、固定された場所で対象物の認識処理を行う場合にも適用することができる。
＜６．コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　上述した評価装置３４０や情報処理装置６００は、図２４に示す構成を有するコンピュータ１０００により実現される。
　ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
　以上のように構成されるコンピュータ１０００では、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５およびバス１００４を介してＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
　ＣＰＵ１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
　なお、コンピュータ１０００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）など）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本技術は以下のような構成をとることができる。
（１）
　カメラにより得られる撮影画像において認識された物体に基づいて、測距センサにより得られるセンサデータのうち、前記撮影画像における前記物体を含む物体領域に対応する前記センサデータを抽出する抽出部
　を備える情報処理装置。
（２）
　前記抽出部は、認識された前記物体に基づいて、前記センサデータの抽出条件を設定する
　（１）に記載の情報処理装置。
（３）
　前記抽出部は、前記物体領域において、他の物体についての他の物体領域と重なる領域に対応する前記センサデータを、抽出対象から除外する
　（２）に記載の情報処理装置。
（４）
　前記抽出部は、認識された前記物体の速度と、前記センサデータの時系列変化に基づいて算出される速度との差が所定の速度閾値より大きい前記センサデータを、抽出対象から除外する
　（２）または（３）に記載の情報処理装置。
（５）
　前記抽出部は、認識された前記物体との距離が所定の距離閾値より大きい前記センサデータを、抽出対象から除外する
　（２）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記抽出部は、認識された前記物体に応じて、前記距離閾値を設定する
　（５）に記載の情報処理装置。
（７）
　前記カメラと前記測距センサは、移動体に搭載され、
　前記抽出部は、前記移動体の移動速度に応じて、前記距離閾値を変更する
　（６）に記載の情報処理装置。
（８）
　前記抽出部は、前記物体領域が所定の面積より大きい場合、前記物体領域の中心付近に対応するセンサデータのみを抽出対象とする
　（２）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記抽出部は、前記物体領域が所定の面積より小さい場合、前記物体領域全体に対応するセンサデータを抽出対象とする
　（８）に記載の情報処理装置。
（１０）
　前記抽出部は、前記物体領域に対応する前記センサデータが所定の位置関係にある場合、前記物体領域の一部に対応する前記センサデータのみを抽出対象とする
　（２）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記抽出部は、前記撮影画像において前記物体領域が所定の高さより上方に存在する場合、前記物体領域に対応する複数フレームのセンサデータを抽出対象とする
　（２）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記抽出部は、前記物体領域の上部と下部とで、前記センサデータの時系列変化に基づいて算出される速度の差が所定の閾値より大きい場合、前記物体領域の上部に対応する前記センサデータを抽出対象から除外する
　（２）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記抽出部は、天候に応じて、前記物体領域に対応する複数フレームのセンサデータを抽出対象とする
　（２）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記抽出部により抽出された前記センサデータと、前記撮影画像と他のセンサデータに基づいたセンサフュージョン処理により得られた距離情報とを比較する比較部をさらに備える
　（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記撮影画像と他のセンサデータに基づいたセンサフュージョン処理を行うセンサフュージョン部と、
　前記抽出部により抽出された前記センサデータに基づいて、前記センサフュージョン処理により得られた距離情報を補正する補正部とをさらに備える
　（１）乃至（１３）のいずれかに記載の情報処理装置。
（１６）
　前記測距センサは、ＬｉＤＡＲを含み、
　前記センサデータは、点群データである
　（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記測距センサは、ミリ波レーダを含み、
　前記センサデータは、前記物体との距離を示す距離情報である
　（１）乃至（１５）のいずれかに記載の情報処理装置。
（１８）
　情報処理装置が、
　カメラにより得られる撮影画像において認識された物体に基づいて、測距センサにより得られるセンサデータのうち、前記撮影画像における前記物体を含む物体領域に対応する前記センサデータを抽出する
　情報処理方法。
（１９）
　コンピュータに、
　カメラにより得られる撮影画像において認識された物体に基づいて、測距センサにより得られるセンサデータのうち、前記撮影画像における前記物体を含む物体領域に対応する前記センサデータを抽出する
　処理を実行させるためのプログラム。
　１　車両，　６１　分析部，　３１１　カメラ，　３１２　ミリ波レーダ，　３２０　認識システム，　３２１　センサフュージョン部，　３２２　認識部，　３３１　ＬｉＤＡＲ，　３３２　ＣＡＮ，　３４０　評価装置，　３４１　変換部，　３４２　抽出部，　３４３　比較部，　６００　情報処理装置，　６２０　第１の情報処理部，　６２１　センサフュージョン部，　６２２　認識部，　６４０　第２の情報処理部，　６４１　変換部，　６４２　抽出部，　６４３　補正部

Claims (19)

  1. 　カメラにより得られる撮影画像において認識された物体に基づいて、測距センサにより得られるセンサデータのうち、前記撮影画像における前記物体を含む物体領域に対応する前記センサデータを抽出する抽出部
    　を備える情報処理装置。
  2. 　前記抽出部は、認識された前記物体に基づいて、前記センサデータの抽出条件を設定する
    　請求項１に記載の情報処理装置。
  3. 　前記抽出部は、前記物体領域において、他の物体についての他の物体領域と重なる領域に対応する前記センサデータを、抽出対象から除外する
    　請求項２に記載の情報処理装置。
  4. 　前記抽出部は、認識された前記物体の速度と、前記センサデータの時系列変化に基づいて算出される速度との差が所定の速度閾値より大きい前記センサデータを、抽出対象から除外する
    　請求項２に記載の情報処理装置。
  5. 　前記抽出部は、認識された前記物体との距離が所定の距離閾値より大きい前記センサデータを、抽出対象から除外する
    　請求項２に記載の情報処理装置。
  6. 　前記抽出部は、認識された前記物体に応じて、前記距離閾値を設定する
    　請求項５に記載の情報処理装置。
  7. 　前記カメラと前記測距センサは、移動体に搭載され、
    　前記抽出部は、前記移動体の移動速度に応じて、前記距離閾値を変更する
    　請求項６に記載の情報処理装置。
  8. 　前記抽出部は、前記物体領域が所定の面積より大きい場合、前記物体領域の中心付近に対応するセンサデータのみを抽出対象とする
    　請求項２に記載の情報処理装置。
  9. 　前記抽出部は、前記物体領域が所定の面積より小さい場合、前記物体領域全体に対応するセンサデータを抽出対象とする
    　請求項８に記載の情報処理装置。
  10. 　前記抽出部は、前記物体領域に対応する前記センサデータが所定の位置関係にある場合、前記物体領域の一部に対応する前記センサデータのみを抽出対象とする
    　請求項２に記載の情報処理装置。
  11. 　前記抽出部は、前記撮影画像において前記物体領域が所定の高さより上方に存在する場合、前記物体領域に対応する複数フレームのセンサデータを抽出対象とする
    　請求項２に記載の情報処理装置。
  12. 　前記抽出部は、前記物体領域の上部と下部とで、前記センサデータの時系列変化に基づいて算出される速度の差が所定の閾値より大きい場合、前記物体領域の上部に対応する前記センサデータを抽出対象から除外する
    　請求項２に記載の情報処理装置。
  13. 　前記抽出部は、天候に応じて、前記物体領域に対応する複数フレームのセンサデータを抽出対象とする
    　請求項２に記載の情報処理装置。
  14. 　前記抽出部により抽出された前記センサデータと、前記撮影画像と他のセンサデータに基づいたセンサフュージョン処理により得られた距離情報とを比較する比較部をさらに備える
    　請求項１に記載の情報処理装置。
  15. 　前記撮影画像と他のセンサデータに基づいたセンサフュージョン処理を行うセンサフュージョン部と、
    　前記抽出部により抽出された前記センサデータに基づいて、前記センサフュージョン処理により得られた距離情報を補正する補正部とをさらに備える
    　請求項１に記載の情報処理装置。
  16. 　前記測距センサは、ＬｉＤＡＲを含み、
    　前記センサデータは、点群データである
    　請求項１に記載の情報処理装置。
  17. 　前記測距センサは、ミリ波レーダを含み、
    　前記センサデータは、前記物体との距離を示す距離情報である
    　請求項１に記載の情報処理装置。
  18. 　情報処理装置が、
    　カメラにより得られる撮影画像において認識された物体に基づいて、測距センサにより得られるセンサデータのうち、前記撮影画像における前記物体を含む物体領域に対応する前記センサデータを抽出する
    　情報処理方法。
  19. 　コンピュータに、
    　カメラにより得られる撮影画像において認識された物体に基づいて、測距センサにより得られるセンサデータのうち、前記撮影画像における前記物体を含む物体領域に対応する前記センサデータを抽出する
    　処理を実行させるためのプログラム。
PCT/JP2021/017800 2020-05-25 2021-05-11 情報処理装置、情報処理方法、およびプログラム WO2021241189A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/996,402 US20230230368A1 (en) 2020-05-25 2021-05-11 Information processing apparatus, information processing method, and program
DE112021002953.3T DE112021002953T5 (de) 2020-05-25 2021-05-11 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
JP2022527641A JPWO2021241189A1 (ja) 2020-05-25 2021-05-11
CN202180029831.XA CN115485723A (zh) 2020-05-25 2021-05-11 信息处理装置、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020090538 2020-05-25
JP2020-090538 2020-05-25

Publications (1)

Publication Number Publication Date
WO2021241189A1 true WO2021241189A1 (ja) 2021-12-02

Family

ID=78723398

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017800 WO2021241189A1 (ja) 2020-05-25 2021-05-11 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US20230230368A1 (ja)
JP (1) JPWO2021241189A1 (ja)
CN (1) CN115485723A (ja)
DE (1) DE112021002953T5 (ja)
WO (1) WO2021241189A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195097A1 (ja) * 2022-04-06 2023-10-12 日本電気株式会社 画像処理装置、そのプログラムが記録された非一時的なコンピュータ可読媒体及び方法
WO2023219101A1 (ja) * 2022-05-12 2023-11-16 株式会社計数技研 移動体、及びプログラム
WO2024070751A1 (ja) * 2022-09-30 2024-04-04 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084064A (ja) * 2001-09-12 2003-03-19 Daihatsu Motor Co Ltd 前方車両の認識装置及び認識方法
JP2014056494A (ja) * 2012-09-13 2014-03-27 Omron Corp 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084064A (ja) * 2001-09-12 2003-03-19 Daihatsu Motor Co Ltd 前方車両の認識装置及び認識方法
JP2014056494A (ja) * 2012-09-13 2014-03-27 Omron Corp 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195097A1 (ja) * 2022-04-06 2023-10-12 日本電気株式会社 画像処理装置、そのプログラムが記録された非一時的なコンピュータ可読媒体及び方法
WO2023219101A1 (ja) * 2022-05-12 2023-11-16 株式会社計数技研 移動体、及びプログラム
JP7481029B2 (ja) 2022-05-12 2024-05-10 株式会社計数技研 移動体、及びプログラム
WO2024070751A1 (ja) * 2022-09-30 2024-04-04 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20230230368A1 (en) 2023-07-20
JPWO2021241189A1 (ja) 2021-12-02
DE112021002953T5 (de) 2023-03-30
CN115485723A (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2021060018A1 (ja) 信号処理装置、信号処理方法、プログラム、及び、移動装置
US20240054793A1 (en) Information processing device, information processing method, and program
WO2022158185A1 (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
WO2023153083A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び移動装置
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
WO2022004423A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2022098397A (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2022014327A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023090001A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023053498A1 (ja) 情報処理装置、情報処理方法、記録媒体、および車載システム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
US20230410486A1 (en) Information processing apparatus, information processing method, and program
WO2023054090A1 (ja) 認識処理装置、認識処理方法、および認識処理システム
WO2021145227A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2023145460A1 (ja) 振動検出システムおよび振動検出方法
WO2023068116A1 (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム
US20230377108A1 (en) Information processing apparatus, information processing method, and program
WO2022019117A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
WO2024062976A1 (ja) 情報処理装置及び情報処理方法
WO2022259621A1 (ja) 情報処理装置、情報処理方法、コンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21813217

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022527641

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21813217

Country of ref document: EP

Kind code of ref document: A1