CN109383519B - 信息处理方法、信息处理***和记录介质 - Google Patents

信息处理方法、信息处理***和记录介质 Download PDF

Info

Publication number
CN109383519B
CN109383519B CN201810868567.9A CN201810868567A CN109383519B CN 109383519 B CN109383519 B CN 109383519B CN 201810868567 A CN201810868567 A CN 201810868567A CN 109383519 B CN109383519 B CN 109383519B
Authority
CN
China
Prior art keywords
information
vehicle
recognition result
image
specific object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810868567.9A
Other languages
English (en)
Other versions
CN109383519A (zh
Inventor
东岛胜义
久原俊介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018068258A external-priority patent/JP7030000B2/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN109383519A publication Critical patent/CN109383519A/zh
Application granted granted Critical
Publication of CN109383519B publication Critical patent/CN109383519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/02—Registering or indicating driving, working, idle, or waiting time only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/162—Visual feedback on control action
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2637—Vehicle, car, auto, wheelchair
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)

Abstract

本公开提供能够供人掌握是否适当进行了与车辆驾驶相关的识别处理的信息处理方法、信息处理***和程序。信息处理方法包括：使用处理器，取得用于检测关于车辆的预定事件的事件关联信息，判定是否使用事件关联信息检测出预定事件，在判定为检测出预定事件的情况下，取得表示第1方向的方向信息，取得位于车辆外部的物体的通过车辆的识别处理而得的第1识别结果信息，判定第1识别结果信息中是否包含第1方向的物体识别结果，使用第1识别结果信息，判定在第1方向上是否存在特定物体，在判定为在第1方向上不存在特定物体且判定为第1识别结果信息中包含第1方向的物体识别结果的情况下，生成并输出表示车辆对第1方向完成识别处理的处理完毕信息。

Description

信息处理方法、信息处理***和记录介质
技术领域
本公开涉及与进行自动驾驶的车辆等移动体进行通信的信息处理方法、信息处理***和记录介质。
背景技术
近年来，与进行自动驾驶的车辆等移动体(以下，称作自动驾驶车辆)相关的技术在不断发展。另外，存在向搭乘该自动驾驶车辆的搭乘者通知与自动驾驶车辆的驾驶控制相关的信息的技术(例如参照专利文献1和专利文献2)。
专利文献1公开了如下技术：基于自动驾驶车辆的搭乘者的指示，将与预先对自动驾驶车辆设定的行驶控制相关的设定信息和该自动驾驶车辆的行驶控制的内容等关联起来提示给该搭乘者。
另外，专利文献2公开了如下技术：向自动驾驶车辆的搭乘者提示该自动驾驶车辆能够执行的行驶控制的内容等。
现有技术文献
专利文献1：日本特开2017-144110号公报
专利文献2：日本特开2016-216029号公报
发明内容
发明要解决的问题
但是，在以往技术中，人能够掌握行驶控制的内容，但难以掌握在达到该行驶控制之前的由车辆进行的识别处理的内容。例如存在这样的问题：评价自动驾驶车辆的自动驾驶的评价者不能掌握自动驾驶车辆是否实际确认了预先设定的应该确认的项目。
因此，本公开提供能够供人掌握是否适当地进行了与车辆的驾驶相关的识别处理的信息处理方法。
用于解决问题的手段
本公开的一个方式的信息处理方法，包括：取得用于检测关于车辆的预定事件的事件关联信息，判定是否使用所述事件关联信息检测出所述预定事件，在判定为检测出所述预定事件的情况下，取得表示与所述预定事件关联的第1方向的方向信息，取得位于所述车辆的外部的物体的、通过由所述车辆进行的识别处理而得到的第1识别结果信息，判定所述第1识别结果信息中是否包含所述第1方向的物体识别结果，使用所述第1识别结果信息，判定在所述第1方向上是否存在有可能对所述车辆的行驶产生影响的特定物体，在判定为在所述第1方向上不存在所述特定物体、且判定为所述第1识别结果信息中包含所述第1方向的物体识别结果的情况下，生成表示所述车辆对所述第1方向完成识别处理的处理完毕信息，输出所生成的所述处理完毕信息。
此外，这些总括性或具体的方式可以由***、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质实现，也可以由***、方法、集成电路、计算机程序和记录介质的任意组合实现。
发明效果
本公开的一个方式的信息处理方法能够供人掌握是否适当地进行了与车辆的驾驶相关的识别处理。
附图说明
图1是用于说明包含实施方式的信息处理***的***的结构的图。
图2是示出实施方式的信息处理***的功能结构的框图。
图3是示出与实施方式的信息处理***进行通信的自动驾驶车辆的功能结构的框图。
图4是示出实施方式的信息处理***所执行的处理步骤的流程图。
图5是示出与实施方式的信息处理***进行通信的自动驾驶车辆所执行的处理步骤的流程图。
图6A是示出包含与实施方式的信息处理***进行通信的自动驾驶车辆的图像的一例的图。
图6B是用于说明与实施方式的信息处理***进行通信的自动驾驶车辆和从该自动驾驶车辆到物体的距离的一例的图。
图7是示出事件关联信息的一例的图。
图8A是示出地图信息和路径信息的一例的图。
图8B用于说明图8A所示的地图信息的各地点的图。
图9A是示出实施方式的信息处理***中显示的图像的第1示例的图。
图9B是示出实施方式的信息处理***中显示的图像的第2示例的图。
图10是示出实施方式的信息处理***中显示的图像的第3示例的图。
图11A是示出将实施方式的信息处理***中显示的障碍物进行强调的显示的第1示例的图。
图11B是示出将实施方式的信息处理***中显示的障碍物进行强调的显示的第2示例的图。
图12是示出实施方式的信息处理***中显示的图像的第4示例的图。
图13是示出实施方式的信息处理***中显示的图像的第5示例的图。
标号说明
1 终端
11、21 通信部
12 显示部
13、23 位置测定部
14、26 控制部
141、261 通信控制部
142 显示信息生成部
143 显示控制部
144 车辆处理信息取得部
145 车辆识别判定部
146 事件判定部
147 方向信息取得部
15、27 存储部
151 自动驾驶评价程序
152 事件关联信息
153、271 地图信息
154 特定物体信息
2 自动驾驶车辆
22 拍摄部
24 其它传感器
25 驱动部
262 行驶控制部
263 物体识别部
264 拍摄信息取得部
265 识别物体信息取得部
272 自动驾驶程序
273 路径信息
274 物体识别程序
3、30、300、4、40图像
31、311、312拍摄图像
32物体
33、331、333安全确认图像
332 行驶控制图像
34 复选框
35、351、352确认区
36、361 强调信息
37 行进方向信息
U 用户
具体实施方式
(成为本公开基础的见解)
如上所述，本公开者针对现有技术，发现其产生了以下问题。
近年来，在车辆等移动体中，存在与自动驾驶相关的技术。以下，将进行自动驾驶的移动体称作自动驾驶车辆。
自动驾驶车辆在进行起步、停止、左转、右转等行驶控制时，与驾驶不进行自动驾驶的车辆的驾驶者等所执行的安全确认同样地，使用摄像头等传感器取得自动驾驶车辆的周围环境，并使用所取得的信息来进行行驶控制。
此处，在自动驾驶车辆行驶于公共道路之前，需要评价自动驾驶车辆是否能够安全地在公共道路上行驶。例如，预先由评价者评价自动驾驶车辆是否能够适当地进行自动驾驶。
因此，为了评价自动驾驶车辆是否能够安全地行驶，研究了如下情况：在汽车培训所等的试验路线(Course)上进行自动驾驶，由评价者评价自动驾驶车辆的自动驾驶。
此处，在由评价者评价自动驾驶车辆的自动驾驶的情况下，希望能够与评价手动驾驶的行驶的情况同样地进行评价。
此时，即使自动驾驶车辆能够适当地进行自动驾驶，也不能判定是否全部确认了该自动驾驶车辆的周围环境等预先设定的应该确认的项目。因此，存在有可能未全部确认自动驾驶车辆的周围环境等预先设定的应该确认的项目而进行自动驾驶的问题。
因此，考虑如下情况：评价者使显示器等显示自动驾驶车辆识别位于该自动驾驶车辆周围的物体而得到的结果。但是，在全部显示了位于自动驾驶车辆周围的物体的识别结果的情况下，例如甚至会显示位于远离场所的物体、护栏(Guardrail)等无需安全确认的静态物体等。于是存在这样的问题：评价者难以评价自动驾驶车辆是否适当地进行了安全确认、即是否适当地全部确认了预先设定的应该确认的项目。
为了解决这样的问题，本公开的一个方式的信息处理方法，包括：取得用于检测关于车辆的预定事件的事件关联信息，判定是否使用所述事件关联信息检测出所述预定事件，在判定为检测出所述预定事件的情况下，取得表示与所述预定事件关联的第1方向的方向信息，取得位于所述车辆的外部的物体的、通过由所述车辆进行的识别处理而得到的第1识别结果信息，判定所述第1识别结果信息中是否包含所述第1方向的物体识别结果，使用所述第1识别结果信息，判定在所述第1方向上是否存在有可能对所述车辆的行驶产生影响的特定物体，在判定为在所述第1方向上不存在所述特定物体、且判定为所述第1识别结果信息中包含所述第1方向的物体识别结果的情况下，生成表示所述车辆对所述第1方向完成识别处理的处理完毕信息，输出所生成的所述处理完毕信息。
另外，为了解决这样的问题，本公开的一个方式的程序使计算机执行上述信息处理方法。
根据这样的方法，能够供人掌握是否适当地进行了与车辆的驾驶相关的识别处理。例如，对是否适当地进行了自动驾驶车辆的自动驾驶进行评价的评价者，能够判定并输出是否适当地进行了与自动驾驶车辆的驾驶相关的识别处理。由此，评价者能够针对每一预定事件，在进行通常的自动驾驶的行驶控制的基础上，还在需要安全确认的地点，检查自动驾驶车辆是否适当地进行了安全确认。
另外，根据这样的方法，由于预先对每一预定事件设定了安全确认的方向，故而，针对特别需要安全确认的方向，能够适当地评价是否由自动驾驶车辆进行了安全确认。
另外，即使在自动驾驶车辆未识别出包含成为自动驾驶障碍的障碍物等的特定物体的情况下，由于显示了表示该情况的信息，因此评价者也能够掌握是否由自动驾驶车辆适当地进行了安全确认。即，评价者能够简便地掌握是否由自动驾驶车辆适当地进行了用于自动驾驶的识别处理。
另外，根据这样的方法，在自动驾驶车辆进行自动驾驶的行驶控制时，由于仅输出用于判定预定事件的信息，故而能够削减用于输出处理的处理量。因此，能够高效地使该输出处理高速化。
例如，也可以是，本公开的一个方式的信息处理方法，还包括：在判定为在所述第1方向上存在所述特定物体的情况下，生成包含第1信息的所述处理完毕信息，所述第1信息表示在所述第1方向上识别出所述特定物体之意，在判定为在所述第1方向上不存在所述特定物体的情况下，生成包含第2信息的所述处理完毕信息，所述第2信息表示未在所述第1方向上识别出所述特定物体之意。
根据这样的方法，能够更适当地评价是否由自动驾驶车辆适当地进行了用于自动驾驶的识别处理。
另外，例如也可以是，所述第1识别结果信息是通过对图像进行所述识别处理而取得的信息，所述图像是从所述车辆拍摄包含所述第1方向的预定范围而得到的。
即，这样的方法例如不应用于从设置于公共道路等的摄像头等取得信息的自动驾驶***，可应用于使用搭载于自动驾驶车辆的摄像头来进行行驶控制的自动驾驶车辆。因此，这样的方法对不使用配置在公共道路等的装置而使用自动驾驶车辆所具有的摄像头等装置来进行控制的自动驾驶车辆特别有效。
另外，例如也可以是，本公开的一个方式的信息处理方法，还包括：取得包含所述车辆的转向角和车速中的至少一方的所述车辆的行驶信息，所述预定范围根据所述车辆的所述行驶信息来决定。
根据这样的方法，能够使评价者更简便地根据自动驾驶车辆的行驶状态，掌握是否由自动驾驶车辆适当地进行了用于自动驾驶的识别处理。
另外，例如也可以是，本公开的一个方式的信息处理方法，还包括：将所取得的所述车辆的所述行驶信息与所述处理完毕信息一起输出。
根据这样的方法，能够使评价者以更容易理解的方式掌握是否由自动驾驶车辆适当地进行了用于自动驾驶的识别处理。
另外，例如也可以是，在检测出所述预定事件的情况下，反复输出所述处理完毕信息，直到所检测出的该预定事件不再被检测出或经过预定时间为止。
根据这样的方法，评价者在自动驾驶车辆变更行驶控制之后持续维持变更后的行驶控制的状态的期间，能够一直使评价者简便地掌握自动驾驶车辆是否进行了用于自动驾驶的识别处理。
另外，例如也可以是，本公开的一个方式的信息处理方法，还包括：在判定为在所述第1方向上存在所述特定物体的情况下，判定所述车辆是否因为所述特定物体而决定或变更了行驶控制，生成包含所述车辆是否决定或变更了行驶控制的判定结果的所述第1信息。
根据这样的方法，能够使评价者以更容易理解的方式掌握是否由自动驾驶车辆适当地进行了用于自动驾驶的识别处理。
另外，例如也可以是，本公开的一个方式的信息处理方法，还包括：使用所述第1识别结果信息，判定在与所述第1方向不同的第2方向上是否存在所述特定物体，在判定为在所述第2方向上存在所述特定物体的情况下，生成包含表示所述第2方向的信息的所述处理完毕信息。
关于自动驾驶的行驶控制，例如根据距自动驾驶车辆最近的特定物体等需要立刻停止行驶这样的紧急性高的信息来进行处理。另外，关于远离自动驾驶车辆的物体等不需要立刻停止行驶这样的紧急性低的信息，也执行会对行驶控制产生影响的信息的处理。因此，处理器判定在紧急性高的方向以外的其它方向上是否存在会对自动驾驶车辆的行驶产生影响的障碍物等特定物体，并输出需要变更行驶控制内容的信息。由此，评价者能够更适当地掌握是否由自动驾驶车辆适当地进行了自动驾驶的识别处理。
另外，例如也可以是，本公开的一个方式的信息处理方法，还包括：取得通过由搭载于所述车辆的拍摄装置拍摄所述第1方向而生成的图像，将所取得的所述图像与所述处理完毕信息一起，以与检测出的所述预定事件对应的方式输出。
根据这样的方法，能够更适当地使评价者掌握由自动驾驶车辆处理的信息。
另外，例如也可以是，本公开的一个方式的信息处理方法，还包括：在判定为所述第1识别结果信息中不包含所述第1方向的物体识别结果的情况下，生成表示所述车辆未能对所述第1方向进行识别处理的未处理信息，输出所生成的所述未处理信息。
根据这样的方法，能够适当地使评价者掌握自动驾驶车辆未适当地进行自动驾驶这一情况。
另外，本公开的一个方式的信息处理***具有：事件判定部，其取得用于检测关于车辆的预定事件的事件关联信息，判定是否使用所述事件关联信息检测出所述预定事件；方向信息取得部，其在由所述事件判定部判定为检测出所述预定事件的情况下，取得表示与所述预定事件关联的第1方向的方向信息；车辆处理信息取得部，其取得位于所述车辆的外部的物体的、通过由所述车辆进行的识别处理而得到的第1识别结果信息；车辆识别判定部，其判定所述第1识别结果信息中是否包含所述第1方向的物体识别结果，使用所述第1识别结果信息，判定在所述第1方向上是否存在有可能对所述车辆的行驶产生影响的特定物体；显示信息生成部，其在由所述车辆识别判定部判定为不存在所述特定物体、且判定为所述第1识别结果中包含所述第1方向的物体识别结果的情况下，生成表示所述车辆对所述第1方向完成识别处理的处理完毕信息；以及显示控制部，其使显示装置显示由所述显示信息生成部生成的所述处理完毕信息。
根据这样的结构，能够供人掌握是否适当地进行了与车辆的驾驶相关的识别处理。例如，能够对是否适当地进行了自动驾驶车辆的自动驾驶进行评价的评价者，判定并输出是否适当地进行了与自动驾驶车辆的驾驶相关的识别处理。由此，评价者能够针对每一预定事件，在通常的自动驾驶的行驶控制的基础上，还在需要安全确认的地点，检查自动驾驶车辆是否适当地进行了识别处理。
另外，根据这样的结构，由于预先对每一预定事件设定了安全确认的方向(即，确认方向)，故而针对特别需要安全确认的方向，能够适当地评价是否由自动驾驶车辆进行了识别处理。
另外，即使在未由自动驾驶车辆识别出包含成为自动驾驶障碍的障碍物等的特定物体的情况下，由于显示了表示该情况的信息，因此评价者能够掌握是否由自动驾驶车辆适当地进行了识别处理。即，评价者能够简便地掌握是否由自动驾驶车辆适当地进行了用于自动驾驶的识别处理。
另外，根据这样的结构，在自动驾驶车辆进行自动驾驶的行驶控制时，由于仅输出用于判定预定事件的信息，故而能够削减用于输出处理的处理量。因此，能够高效地使该输出处理高速化。
此外，这些总括性或具体的方式可以由***、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质实现，也可以由***、方法、集成电路、计算机程序或记录介质的任意组合实现。
以下，参照附图，对本公开的实施方式进行具体说明。
此外，以下说明的实施方式均表示本公开的总括性或具体的示例。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置和连接方式、步骤、步骤顺序等是一例，并非不限定本公开之意。另外，关于以下实施方式中的构成要素中的、表示最上位概念的独立权利要求中未记载的构成要素，作为任意构成要素来说明。
(实施方式)
[概要]
首先，对本公开的实施方式的信息处理***的概要进行说明。
图1是用于说明包含实施方式的信息处理***的***的结构的图。
图1中示出了自动驾驶车辆2、与自动驾驶车辆2进行无线通信的终端1以及操作终端1的用户U。
终端1是本公开的实施方式的信息处理***的一例，是与自动驾驶车辆2进行通信并从自动驾驶车辆2接收与自动驾驶车辆的行驶控制相关的信息等的通信装置。
自动驾驶车辆2是基于预先任意设定的控制程序来自主地进行驾驶即进行自动驾驶的移动体。在图1中，对于自动驾驶车辆2，作为一例，例示了汽车(即车辆)。此外，自动驾驶车辆2只要是自动驾驶的移动体即可，对自行车、三轮汽车等没有特别限定。
用户U是使用终端1来评价自动驾驶车辆2是否能够适当地进行自动驾驶的评价者。例如，用户U搭乘自动驾驶车辆2，评价自动驾驶车辆2的动作。
此外，在图1中，自动驾驶车辆2与终端1作为分体而示出，但也可以是，在用户U搭乘自动驾驶车辆2来评价自动驾驶车辆2的动作的情况下，自动驾驶车辆2和终端1形成为一体。例如，终端1可以如有线通信那样，通过通信线路与自动驾驶车辆2连接，并配置在自动驾驶车辆2内。另外，用户U也可以不搭乘自动驾驶车辆2。
此外，在以下的说明中，将本公开的实施方式的信息处理***作为终端1来说明。另外，在以下的说明中，对用户U持有终端1来在自动驾驶车辆2内使用的情况进行说明。
[结构]
接下来，对本公开的实施方式的终端1的结构进行说明。
图2是示出终端1的功能结构的框图，终端1是实施方式的信息处理***的一例。
终端1是用于评价自动驾驶车辆2是否能够适当地进行自动驾驶的通信装置。终端1例如是智能手机、平板终端等能够与自动驾驶车辆2进行通信的通信装置。此外，终端1也可以是用于实现本公开的实施方式的信息处理***的专用计算机或服务器装置。在该情况下，终端1的显示部12和位置测定部13设置在用户U所具有的终端中，终端1和用户U所具有的终端彼此经由通信来收发数据。
终端1具有通信部11、显示部12、位置测定部13、控制部14和存储部15。
通信部11是与自动驾驶车辆2进行通信的通信适配器等通信接口。
显示部12显示从自动驾驶车辆2接收到的信息、控制部14生成的图像等。显示部12例如是显示器，在本实施方式中为触摸屏显示器。
位置测定部13测定终端1的位置。位置测定部13例如由GPS(Grobal PositioningSystem：全球定位***)接收机等实现，取得终端1的位置信息。
控制部14基于从自动驾驶车辆2接收到的信息，生成用于使用户U评价自动驾驶车辆2是否能够适当地进行自动驾驶的信息，并向显示部12输出。控制部14例如由CPU(Central Processing Unit：中央处理单元)实现。控制部14在功能上具有通信控制部141、显示信息生成部142、显示控制部143、车辆处理信息取得部144、车辆识别判定部145、事件判定部146和方向信息取得部147。
通信控制部141通过控制通信部11来控制终端1与自动驾驶车辆2的通信。
事件判定部146取得用于检测关于自动驾驶车辆2的预定事件的事件关联信息152，并判定是否使用所取得的事件关联信息152而检测出预定事件。具体而言，事件判定部146使用事件关联信息152，判定自动驾驶车辆2是否发生了预定事件。事件判定部146例如根据位置测定部13测定出的位置、事件关联信息152、地图信息153或路径信息，来判定自动驾驶车辆2是否发生了预定事件。此处，预定事件是与自动驾驶车辆2的动作或自动驾驶车辆2的位置相关的事件。具体而言，预定事件是指后述的图7所示那样的、自动驾驶车辆2变更行驶控制或自动驾驶车辆2向预定场所移动的情况。例如，自动驾驶车辆2变更行驶控制的情况包含起步、停止、右转、左转等，自动驾驶车辆2向预定场所移动的情况包含进入交叉路口等。
在事件判定部146判定为自动驾驶车辆2发生了预定事件的情况下、即检测出预定事件的情况下，方向信息取得部147使用事件关联信息152，取得表示与检测出的预定事件关联的确认方向的方向信息。此外，确认方向是第1方向的一例。
车辆处理信息取得部144取得通信部11从自动驾驶车辆2接收到的信息。具体而言，车辆处理信息取得部144取得位于自动驾驶车辆2的外部的物体的、通过自动驾驶车辆2的识别处理而得到的识别结果信息(第1识别结果信息)。识别结果信息是能够判定是否进行了物体识别处理的信息。具体而言，识别结果信息是有无执行物体识别处理、物体识别处理是否成功或有无识别出的物体的信息等。作为识别出的物体的信息，存在物体的类别、物体的形状或围绕物体的矩形、从拍摄部22(参照图3)或自动驾驶车辆2到物体的方向或距离等。识别结果信息例如是自动驾驶车辆2对从自动驾驶车辆2拍摄包含确认方向的预定范围而得到的拍摄信息(即，图像)进行识别处理而取得的信息。根据这样的结构，例如不是应用于从设置于公共道路等的摄像头等来取得信息的自动驾驶的***，而可应用于使用搭载于自动驾驶车辆的摄像头来进行行驶控制的自动驾驶车辆。
例如，关于预定范围，可以取得包含自动驾驶车辆2的转向角和车速中的至少一方的自动驾驶车辆2的行驶信息，并根据所取得的行驶信息来决定。根据这样的方法，能够更简便地使用户U根据自动驾驶车辆2的行驶状态，掌握是否由自动驾驶车辆2适当地进行了用于自动驾驶的识别处理。
例如，事件判定部146在检测出预定事件的情况下，经由通信部11向自动驾驶车辆2发送请求包含车速的行驶信息的信号。另外，事件判定部146基于从自动驾驶车辆2接收到的行驶信息中包含的车速来决定预定范围，并向自动驾驶车辆2发送请求拍摄信息的信号，该拍摄信息包含所决定的预定范围的确认方向。
车辆识别判定部145使用由车辆处理信息取得部144取得的识别结果信息，判定由自动驾驶车辆2对确认方向进行的识别处理。具体而言，车辆识别判定部145判定车辆处理信息取得部144取得的识别结果信息中是否包含确认方向的物体识别结果。例如，车辆识别判定部145判定在确认方向上是否执行了物体识别处理、在确认方向上是否正常执行了物体识别处理或识别出的物体的信息是否存在于与确认方向对应的识别处理范围内。例如，车辆识别判定部145在识别处理是图像识别处理的情况下，可以根据物体识别处理的工作日志，判定有无执行关于与确认方向对应的图像上的范围的处理。另外，车辆识别判定部145也可以判定在与确认方向对应的图像上的范围内是否存在识别失败的区域。另外，车辆识别判定部145也可以判定是否存在位于与确认方向对应的图像上的范围内的、围绕所识别出的物体的矩形。
另外，车辆识别判定部145使用识别结果信息，判定在确认方向上是否存在可能会对自动驾驶车辆2的行驶产生影响的特定物体。具体而言，车辆识别判定部145使用对特定物体的识别进行了学习的机器学习模型，来判定在确认方向上是否存在特定物体。例如，机器学习模型可以是使用了深度学习等神经网络的学习模型，也可以是使用了词典等规则信息的学习模型。另外，车辆识别判定部145也可以使用对包含特定物体以外的物体的通常物体的识别进行了学习的机器学习模型，来判定在确认方向上是否存在物体，并使用后述的特定物体信息154，来判定被判定为存在的物体是否是特定物体。以下，说明使用该方式来进行车辆识别判定部145的处理的示例。此处，特定物体可以任意决定，例如可以是步行者、相向车辆等有可能会成为驾驶障碍的障碍物，也可以是信号灯等为了安全行驶而应该确认的对象。
显示信息生成部142生成使显示部12显示的信息。显示信息生成部142例如在由车辆识别判定部145判定为在确认方向上不存在特定物体且判定为识别结果信息中包含确认方向的物体识别结果的情况下，生成表示自动驾驶车辆2对确认方向完成识别处理的处理完毕信息。
显示控制部143向显示部12输出显示信息生成部142生成的处理完毕信息(具体而言，图像)，使显示部12显示该信息。显示控制部143例如向显示部12输出由显示信息生成部142生成的处理完毕信息。用户U通过确认显示部12中显示的处理完毕信息，来评价自动驾驶车辆2是否适当地进行了用于自动驾驶的识别处理。
另外，例如也可以是，在事件判定部146取得了自动驾驶车辆2的行驶信息的情况下，向显示部12输出行驶信息，并使显示部12显示。根据这样的方法，能够使用户U以更容易理解的方式掌握是否由自动驾驶车辆2适当地进行了用于自动驾驶的识别处理。
另外，例如，也可以是，在由事件判定部146检测出预定事件的情况下，显示控制部143反复持续向显示部12输出处理完毕信息，直到所检测出的该预定事件不再被检测出为止，使显示部12持续显示该处理完毕信息。例如，在自动驾驶车辆2左转的情况下，从开始左转起即从事件判定部146检测到预定事件起到左转结束为止即到事件判定部146不再检测到该预定事件为止，显示控制部143向显示部12持续输出处理完毕信息。例如，事件判定部146也可以基于位置测定部13测定出的位置信息，来判定预定事件已结束这一情况，也可以根据从自动驾驶车辆2开始行驶起的行驶距离或行驶时间是否满足预定阈值来进行判定。由此，用户U在自动驾驶车辆2变更行驶控制之后持续维持变更后的行驶控制的状态的期间，能够一直使用户U简便地掌握自动驾驶车辆2是否进行了用于自动驾驶的识别处理。
此外，显示信息生成部142进一步在由车辆识别判定部145判定为在确认方向上存在特定物体的情况下，也可以生成包含第1信息的处理完毕信息，所述第1信息表示在确认方向上识别出特定物体之意。另一方面，显示信息生成部142在判定为在确认方向上不存在特定物体的情况下，也可以生成包含第2信息的处理完毕信息，所述第2信息表示在确认方向上未识别出特定物体之意。这样，显示信息生成部142根据有无特定物体而生成不同的信息，并使用显示控制部143使显示部12显示所生成的信息。由此，能够更适当地评价是否由自动驾驶车辆2适当地进行了用于自动驾驶的识别处理。
另外，在由车辆识别判定部145判定为在确认方向上存在特定物体的情况下，事件判定部146也可以判定自动驾驶车辆2是否因特定物体而决定或变更了行驶控制。例如，事件判定部146在检测出预定事件的情况下，经由通信部11向自动驾驶车辆2发送请求行驶信息的信号。另外，事件判定部146基于从自动驾驶车辆2接收到的行驶信息和事件关联信息152，判定自动驾驶车辆2是否执行了基于事件关联信息152的行驶。在该情况下，显示信息生成部142生成包含判定结果的信息，并使显示部12显示，该判定结果是自动驾驶车辆2是否根据基于事件关联信息152的行驶控制内容而对行驶的控制进行了变更的判定结果。由此，能够使用户U以更容易理解的方式掌握是否由自动驾驶车辆2适当地进行了用于自动驾驶的识别处理。
此外，自动驾驶车辆2不仅拍摄基于事件关联信息152的确认方向，有时还拍摄自动驾驶车辆2周围的多个方向。另外，针对拍摄多个方向的各个方向而生成的图像，有时也执行物体的识别处理。在该情况下，终端1也可以接收拍摄与确认方向不同的方向而得到的图像。在该情况下，例如，车辆处理信息取得部144也可以进一步取得与确认方向不同的方向(第2方向)上的、位于自动驾驶车辆的外部的、通过自动驾驶车辆2的物体识别处理而得到的识别结果信息(第2识别结果信息)。另外，车辆识别判定部145也可以使用第2识别结果信息，来判定由自动驾驶车辆2对第2方向进行的识别处理。另外，显示信息生成部142在由车辆识别判定部145判定为在第2方向上存在障碍物的情况下，也可以生成包含表示该障碍物所在的第2方向的信息的处理完毕信息。显示控制部143可以使显示部12显示由显示信息生成部142生成的处理完毕信息。此外，在一个图像上，可以包含上述的多个方向。例如，确认方向和第2方向可以是同一图像上的不同方向。另外，成为识别处理的输入的图像也可以是通过全指向摄像头(Omnidirectional camera)等拍摄视野较广的摄像头的拍摄而得到的全景(Panorama)图像。
关于自动驾驶车辆2的自动驾驶的行驶控制，例如根据距自动驾驶车辆2最近的特定物体等需要立刻停止行驶这样的紧急性高的信息来进行处理。另外，对于远离自动驾驶车辆2的物体等不需要立刻停止行驶这样的紧急性低的信息，也执行会对行驶控制产生影响的信息的处理。因此，判定在紧急性高的方向以外的其它方向上是否存在会对自动驾驶车辆2的行驶产生影响的障碍物等特定物体，并输出需要变更行驶控制内容的信息。由此，用户U能够更适当地掌握是否由自动驾驶车辆2适当地进行了自动驾驶的识别处理。
另外，自动驾驶车辆2有时从不同的位置拍摄同一方向(例如确认方向)。例如，有时在自动驾驶车辆2上，在自动驾驶车辆2的行进方向侧和与该行进方向相反侧的后方侧分别安装有摄像头。在这样的情况下，自动驾驶车辆2例如在拍摄自动驾驶车辆2的左方向的情况下，有时利用分别安装在行进方向侧和后方侧的摄像头来拍摄左方向。在这样的情况下，显示信息生成部142也可以基于识别结果信息，将从多个摄像头得到的图像中选择出的至少一个图像与处理完毕信息一起提供给显示控制部143。即，车辆处理信息取得部144可以取得由自动驾驶车辆2从多个位置拍摄确认方向而生成的多个图像。在该情况下，显示信息生成部142也可以使显示控制部143基于识别结果信息，将从由车辆处理信息取得部144取得的多个图像中选择出的至少一个图像与所生成的处理完毕信息一起输出到显示部12。显示信息生成部142例如可以基于识别结果信息，将多个图像中的包含识别出的物体的图像与处理完毕信息一起输出到显示控制部143。显示控制部143可以使显示部12显示由显示信息生成部142生成的处理完毕信息和图像。
另外，显示控制部143也可以使显示部12以与预定事件对应的方式显示从显示信息生成部142得到的处理完毕信息和图像。例如，在检测出左转的情况下，显示控制部143可以使显示部12以俯瞰自动驾驶车辆2的方式来显示图像和处理完毕信息。另外，显示控制部143在检测出进入交叉路口的情况下，也可以使显示部12以从自动驾驶车辆2中进行观察的方式来显示图像和处理完毕信息。由此，能够更适当地使用户U掌握由自动驾驶车辆2处理的信息。
存储部15是存储控制部14所执行的控制程序、从自动驾驶车辆2接收到的信息等的存储介质。存储部15例如是由HDD(Hard Disk Drive：硬盘存储器)、闪速存储器等实现的ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)等存储介质。
存储部15中存储有自动驾驶评价程序151、事件关联信息152、地图信息153和特定物体信息154。
自动驾驶评价程序151是由控制部14执行的、用于判定自动驾驶车辆2是否能够适当地进行自动驾驶的控制程序。
事件关联信息152是自动驾驶车辆2将预定事件的类别与针对该预定事件的确认方向关联起来的信息。此外，关于事件关联信息152的详细情况，将在后面记述。
地图信息153是表示地图的信息，所述地图包含自动驾驶车辆2行驶的道路、信号灯、标识等的信息。
特定物体信息154是表示作为特定物体的物体的信息。特定物体信息154例如包含步行者、自行车等。此外，特定物体信息154也可以包含表示不是特定物体的物体的信息。例如，特定物体信息154可以包含护栏(Guardrail)等来作为不是特定物体的物体。
此外，特定物体信息154中也可以附加物体的样态。例如，即使是“步行者”，例如在朝自动驾驶车辆2步行的情况下和停止的情况下，对于是否判断为特定物体，也可以不同。在该情况下，特定物体信息154可以是“正在移动”+“步行者”、“面部的朝向是正面”+“步行者”或“正在移动”+“面部的朝向是正面”+“步行者”等。另外，即使是相同的物体，基于自动驾驶车辆2与物体的距离，对于是否是特定物体的判定，也可以不同。例如可以是，对于物体，在比任意设定的基准距离近的情况下，判定为是特定物体，在比该基准距离远的情况下，判定为不是特定物体。在该情况下，特定物体信息154可以是“比基准距离近”+“步行者”等。这样，特定物体信息154可以任意设定。
图3是示出与作为实施方式的信息处理***的一例的终端1进行通信的自动驾驶车辆2的功能结构的框图。
自动驾驶车辆2是基于控制程序来自主地进行驾驶(即，行驶控制)的移动体。自动驾驶车辆2例如是车辆。另外，自动驾驶车辆2进行的自动驾驶可以是人不进行驾驶的完全自动驾驶，也可以是人进行一部分驾驶的自动驾驶。
自动驾驶车辆2具有通信部21、拍摄部22、位置测定部23、其它传感器24、驱动部25、控制部26和存储部27。
通信部21是与终端1进行通信的通信适配器等通信接口。
拍摄部22是用于拍摄自动驾驶车辆2的外部的摄像头。拍摄部22可以是能够拍摄自动驾驶车辆2的外部的全部方向的可动的一个摄像头，也可以是分别拍摄自动驾驶车辆2的前后左右的一个方向的多个摄像头。
位置测定部23测定自动驾驶车辆2的位置。位置测定部23例如由GPS和LIDAR(Light Detection and Ranging：激光探测与测距、Laser Imaging Detection andRanging：激光成像探测与测距)或毫米波雷达等测距传感器等实现，取得自动驾驶车辆2和位于距自动驾驶车辆2的距离为预定范围内的物体的位置信息。此外，位置测定部23也可以测定自动驾驶车辆2与位于自动驾驶车辆2周围的物体的距离。
其它传感器24是测定自动驾驶车辆2的转向角、车速等行驶状态的各种传感器。其它传感器24例如由转向角传感器、速度传感器等实现。
驱动部25是与自动驾驶车辆2的驱动相关的发动机、电池、传动***(drivetrain)等各种装置。
控制部26是如下控制装置：基于拍摄部22通过拍摄而取得的信息、位置测定部23取得的信息、存储部27中存储的地图信息271和路径信息273来控制驱动部25，由此控制自动驾驶车辆2的行驶。控制部26例如由CPU实现。控制部26在功能上具有通信控制部261、行驶控制部262、物体识别部263、拍摄信息取得部264和识别物体信息取得部265。
通信控制部261通过控制通信部21来控制终端1与自动驾驶车辆2的通信。
行驶控制部262基于地图信息271、路径信息273和从物体识别部263得到的识别结果信息来控制驱动部25，由此控制自动驾驶车辆2的行驶。
拍摄信息取得部264通过控制拍摄部22，取得自动驾驶车辆2的外部的图像作为拍摄信息。
物体识别部263基于物体识别程序274对作为拍摄信息取得部264所取得的拍摄信息的图像进行解析，由此识别该图像中包含的物体。物体识别部263生成所识别出的物体的信息等识别结果信息。所生成的识别结果信息存储于存储部27。
识别物体信息取得部265经由通信部21向终端1发送由物体识别部263生成的识别结果信息。例如，识别物体信息取得部265在从终端1接收到识别结果信息的请求时，从存储部27取得识别结果信息并提供给通信控制部261。识别结果信息经由通信控制部261和通信部21发送到终端1。
存储部27是存储控制部26所执行的控制程序、从终端1接收到的信息等的存储介质。存储部27例如是由HDD、闪速存储器等实现的ROM、RAM等存储介质。
存储部27中存储有地图信息271、自动驾驶程序272、路径信息273和物体识别程序274。
地图信息271是在自动驾驶车辆2的行驶控制中使用的地图信息。地图信息271例如可以包含与图2所示的地图信息153同样的信息。
自动驾驶程序272是行驶控制部262所执行的程序，是用于控制自动驾驶车辆2的自动驾驶的控制程序。
路径信息273是表示自动驾驶车辆2所行驶的行驶路径的信息。
物体识别程序274是物体识别部263所执行的程序，是用于识别物体的控制程序。
[处理步骤]
接下来，对本公开的实施方式的终端1和自动驾驶车辆2的处理步骤进行说明。
此外，以下对本公开的实施方式的终端1的处理步骤进行说明。
图4是示出本公开的实施方式中的终端1所执行的处理步骤的流程图。
首先，用户U携带终端1而搭乘自动驾驶车辆2。自动驾驶车辆2开始自动驾驶。
此处，终端1例如基于位置测定部13取得的终端1的位置信息、地图信息153或路径信息、以及事件关联信息152，来检测预定事件(步骤S1)。具体而言，在步骤S1中，终端1从地图信息153中取得位置测定部13取得的终端1的位置信息所标示的位置的类别，判定所取得的位置的类别是否与事件关联信息152所示的位置的类别相符。另外，终端1根据路径信息所示的路径中的位置测定部13取得的终端1的位置信息所标示的位置以后的路径，来判定自动驾驶车辆2的行驶控制的变更，并判定所判定出的变更后的行驶控制是否与事件关联信息152所示的行驶控制相符。
此外，在自动驾驶车辆2行驶的路径是预先决定的固定路线的情况下，能够根据行驶距离来判定预定事件的时机，故而终端1例如也可以基于位置测定部13取得的终端1的位置信息，计算自动驾驶车辆2的行驶距离，并根据计算出的行驶距离，判定是否发生了预定事件。
接下来，终端1根据事件关联信息152，取得与步骤S1中检测出的预定事件关联的确认方向(步骤S2)。
接下来，终端1向自动驾驶车辆2发送请求包含确认方向的拍摄信息和识别结果信息的信号(步骤S3)。此外，如果能够取得包含确认方向的拍摄信息，则向自动驾驶车辆2的请求也可以不是将拍摄信息指定为包含确认方向的拍摄信息的请求，而只是单纯的拍摄信息的请求。
接下来，终端1从自动驾驶车辆2接收拍摄信息和识别结果信息，判定接收到的识别结果信息中是否包含确认方向的物体识别结果(步骤S4)。
终端1在判定为从自动驾驶车辆2接收到的识别结果信息中包含确认方向的物体识别结果的情况下(步骤S4：是)，使用接收到的识别结果信息，判定在确认方向上是否存在特定物体(步骤S5)。
终端1在判定为存在特定物体的情况下(步骤S5：是)，在拍摄信息中附加强调特定物体的强调信息(步骤S6)。
接下来，终端1生成显示信息，该显示信息包含附加有强调信息的拍摄信息和作为表示在确认方向上存在特定物体之意的信息(第1信息)的处理完毕信息(步骤S7)。
另一方面，终端1在判定为从自动驾驶车辆2接收到的信息中不包含确认方向的识别结果信息的情况下(步骤S4：否)，生成包含拍摄信息和未处理信息的显示信息，该未处理信息表示在自动驾驶车辆2中未能对确认方向进行识别处理(步骤S8)。根据这样的方法，能够适当地使用户U掌握未由自动驾驶车辆2适当地进行自动驾驶这一情况。
另外，终端1在判定为不存在特定物体的情况下(步骤S5：否)，生成显示信息，该显示信息包含拍摄信息和作为表示在确认方向上没有障碍物之意的信息(第2信息)的处理完毕信息(步骤S9)。
终端1在步骤S7、步骤S8或步骤S9之后，对显示信息赋予复选框，该复选框用于供用户U输入自动驾驶车辆2是否适当地进行了识别处理的评价结果(步骤S10)。
接下来，终端1输出步骤S10中生成的显示信息(步骤S11)。
根据以上那样的方法，能够向评价是否适当地进行了用于自动驾驶车辆2的自动驾驶的识别处理的用户U，输出是否适当地进行了用于自动驾驶车辆2的自动驾驶的识别处理。因此，根据以上那样的方法，用户能够掌握是否适当地进行了与自动驾驶车辆2的驾驶相关的识别处理。
图5是示出与作为实施方式的信息处理***的一例的终端1进行通信的自动驾驶车辆2所执行的处理步骤的流程图。
首先，用户U携带终端1而搭乘自动驾驶车辆2。自动驾驶车辆2开始自动驾驶。
自动驾驶车辆2从终端1接收到表示确认方向的拍摄信息和识别结果信息的请求的信号(步骤S21)。即，步骤S21是图4所示的步骤S3之后进行的步骤。
接下来，自动驾驶车辆2取得确认方向的拍摄信息(步骤S22)。具体而言，自动驾驶车辆2使拍摄确认方向的拍摄部22工作，取得图像作为拍摄信息。
接下来，自动驾驶车辆2使用在步骤S22中取得的拍摄信息(具体而言，通过使用拍摄信息进行识别处理)，取得作为表示拍摄信息中包含的物体的信息的识别结果信息(步骤S23)。
接下来，自动驾驶车辆2将在步骤S22中取得的拍摄信息和在步骤S23中取得的识别结果信息发送给终端1(步骤S24)。此外，拍摄信息和识别结果信息也可以与有无请求无关地，在自动驾驶车辆2的自动驾驶中进行取得，从而可以根据请求来发送已经取得完毕的拍摄信息和识别结果信息。
在步骤S24之后，终端1执行图4所示的步骤S4。
图6A是示出作为包含与作为实施方式的信息处理***的一例的终端1进行通信的自动驾驶车辆2的拍摄信息图像的一例的图。图6B是用于说明与作为实施方式的信息处理***的一例的终端1进行通信的自动驾驶车辆2和从自动驾驶车辆2到物体的距离的一例的图。即，图6A是示出拍摄信息的一例的图，图6B是示出识别结果信息的一例的图。
自动驾驶车辆2例如将作为拍摄自动驾驶车辆2的周围而得到的拍摄信息的一例的拍摄图像31作为拍摄信息发送给终端1。
另外，自动驾驶车辆2通过识别处理，识别自动驾驶车辆2与物体的距离以及物体的类别，将识别出的距离和类别作为识别结果信息发送给终端1。图6B示出了以如图6A所示那样从上方观察自动驾驶车辆2的情况下的自动驾驶车辆2的中心为原点、以通过原点的自动驾驶车辆2的行进方向为Y轴方向、以与Y轴方向正交且通过原点的方向为X轴方向的情况下的、物体的位置(即，座标)。
图7是示出事件关联信息152的一例的图。
终端1的存储部15中存储有图7所示的事件关联信息152。
事件关联信息152中包含左转、右转等自动驾驶车辆2所产生的预定事件的事件类别和与该预定事件对应的确认方向。终端1在使用图7所示的事件关联信息152检测出预定事件时，取得表示与检测出的预定事件的类别对应的确认方向的方向信息。
图8A是示出地图信息271和路径信息273的一例的图。图8B是用于说明图8A所示的地图信息271的各地点的图。
自动驾驶车辆2基于图8A所示的地图信息271和路径信息273来控制行驶。另外，自动驾驶车辆2例如在到达图8A所示的A地点的情况下进入该交叉路口时，作为发生了图8B所示的事件类别中的“进入交叉路口”的预定事件，如图7所示，至少拍摄自动驾驶车辆2的左方向和右方向，基于使用了通过拍摄而得到的图像的识别处理的结果来进行自动驾驶。此时，生成拍摄信息和识别结果信息。
终端1基于事件关联信息152从自动驾驶车辆2取得拍摄信息和识别结果信息，判定自动驾驶车辆2是否无问题地执行了在检测出的预定事件中应该执行的识别处理，并根据判定结果显示图像，其中，该拍摄信息是拍摄包含与预定事件(图7所示的事件类别)关联的确认方向的方向而取得的信息，该识别结果信息是通过使用了拍摄信息的识别处理而取得的信息。用户U通过确认该图像，来评价自动驾驶车辆2的自动驾驶是否存在问题。
[显示信息]
接下来，对本公开的实施方式的终端1输出的显示信息进行说明。此外，以下，作为终端1输出的显示信息(即，图4的步骤S11中终端1输出的显示信息)的具体例，对作为终端1的显示部12中显示的图像的GUI(Graphical User Interface：图形用户界面)进行说明。
＜第1例＞
图9A是示出实施方式中的终端1中显示的图像的第1示例的图。图像3是显示信息的一例。
图像3中包含自动驾驶车辆2拍摄到的拍摄图像31、安全确认图像33和复选框34。安全确认图像33是表示第1信息的图像的一例，第1信息表示自动驾驶车辆2在确认方向上识别出特定物体之意。
拍摄图像31是包含终端1从自动驾驶车辆2取得的拍摄信息的图像。具体而言，拍摄图像31是由多个拍摄部22拍摄到的各个图像的合成图像，该合成图像上重叠有自动驾驶车辆2的俯瞰图像。图9A例示了拍摄图像31中包含自动驾驶车辆2和物体32的情况。
安全确认图像33是包含判定结果的图像，所述判定结果是在终端1从自动驾驶车辆2取得的识别结果信息中是否包含确认方向的识别结果信息、以及使用了识别结果信息的是否存在特定物体的判定结果。图9A示出了如下示例：将表示是否包含确认方向和该确认方向的识别结果信息以及是否识别出物体的信息如“左后方OK：存在移动体”这样，作为安全确认图像33来显示。
用户U通过确认安全确认图像33，掌握自动驾驶车辆2是否适当地进行了用于自动驾驶的识别处理，并通过操作复选框34，来评价自动驾驶车辆2是否正确地进行了物体32的识别处理。
例如，终端1在从自动驾驶车辆2取得的识别结果信息中包含确认方向的识别结果信息的情况下，作为安全确认图像33，如图9A所示那样显示“左后方OK：存在移动体”，在不包含确认方向的识别结果信息的情况下，作为安全确认图像33，显示“NG”那样的表示未处理信息的图像。由此，用户U通过确认安全确认图像33，能够掌握自动驾驶车辆2是否适当地进行了识别处理。即，用户U能够简便地掌握自动驾驶车辆2是否适当地进行了自动驾驶。
复选框34中例如包含好(Good)、坏(Bad)等显示。用户U确认显示有物体32、且安全确认图像33中的“左后方OK：存在移动体”等的显示，来评价针对预定事件自动驾驶车辆2是否正确地执行了应该确认的确认方向的识别处理，例如，如果评价为正确，则选择复选框34的“Good”，如果评价为不正确则选择“Bad”。
通过对各预定事件反复进行这样的操作，用户U能够简便地掌握自动驾驶车辆2是否能够适当地进行用于自动驾驶的识别处理。
＜第2例＞
图9B是示出实施方式中的终端1中显示的图像的第2示例的图。图像30是显示信息的一例。
图像30中包含自动驾驶车辆2拍摄到的拍摄图像31、安全确认图像331和复选框34。安全确认图像331是表示第2信息的图像的一例，第2信息表示自动驾驶车辆2在确认方向上未识别出特定物体之意。
与图9A所示的图像3不同，拍摄图像31中不包含物体32。在该情况下，终端1在从自动驾驶车辆2取得识别结果信息时且使用识别结果信息而判定为不存在特定物体时，在图像30中显示表示第2信息的安全确认图像331，第2信息表示不包含特定物体的情况。例如，安全确认图像331中显示为“左后方OK：无移动体”。
用户U在拍摄图像31中未显示有物体32的情况下，通过确认如“左后方OK：无移动体”等那样显示的安全确认图像331，能够掌握自动驾驶车辆2适当地进行了用于自动驾驶的识别处理这一情况。
＜第3例＞
图10是示出实施方式中的终端1中显示的图像的第3示例的图。图像300是显示信息的一例。
在图10所示的图像300中，除了包含图9A所示的图像3，还包含确认区35、强调信息36、行进方向信息37和行驶控制图像332。行驶控制图像332是表示自动驾驶车辆2根据预先设定的控制内容来变更行驶控制之意的图像的一例。
确认区35是表示与确认方向对应的拍摄图像31上的范围的图像，其重叠在拍摄图像31上。由此，用户U能够简便地掌握自动驾驶车辆2对哪个方向和范围执行了物体的识别处理。
强调信息36是为了容易理解拍摄图像31中的物体32的位置而重叠在拍摄图像31上的图像。图10中，作为强调信息36，示出了拍摄图像31中的围绕物体32周围的图像。由此，对用户U而言，容易确认拍摄图像31中是否包含物体32。
图11A是示出实施方式中的终端1中显示的物体32的强调信息36的第1示例的图。图11B是示出实施方式中的终端1中显示的物体32的强调信息361的第2示例的图。
强调信息根据是否会对自动驾驶车辆2的行驶控制产生影响而以不同的方式显示。例如，图11A所示的强调信息36的第1例是物体32正在移动的情况下的显示的一例，图11B所示的强调信息361的第2例是物体32不移动的情况下的显示的一例。
在自动驾驶中，例如，在物体32向自动驾驶车辆2移动的情况下和物体32停止的情况下，对于是否变更行驶控制的内容，有时是不同的。因此，在自动驾驶车辆2变更行驶控制即物体32是特定物体的情况下(例如图11A)和不变更行驶控制即物体32不是特定物体的情况下(例如图11B)，通过如强调信息36或强调信息361那样变更显示方法，用户U能够一目了然地掌握物体32是否是特定物体。
此外，图11A中以实线示出强调信息36，图11B中以虚线示出强调信息361，用户U只要能够识别强调信息36与强调信息361的不同即可，例如，强调信息36和强调信息361的颜色可以是不同的。
另外，终端1例如在物体32如图10所示的行进方向信息37所示那样移动的情况下，也可以将物体32移动的方向例如显示为箭头。
另外，终端1也可以如图10所示的行驶控制图像332那样，显示表示自动驾驶车辆2的行驶控制的内容的行驶信息。例如，根据预定事件，自动驾驶车辆2所执行的行驶例如左转等是预先设定的。此处，存在如下情况：自动驾驶车辆2在将物体32判定为特定物体的情况下进行停止等，自动驾驶车辆2变更行驶控制的内容。因此，终端1也可以取得表示自动驾驶车辆2的行驶控制的内容的行驶信息，判定取得的行驶信息是否与在预定事件中执行的行驶控制的内容一致，并如行驶控制图像332那样显示判定结果。
通过这些显示，用户U能够更简便地掌握自动驾驶车辆2的行驶控制的内容和行驶控制的变化。
＜第4例＞
图12是示出实施方式中的终端1中显示的图像的第4示例的图。图像4是显示信息的一例。此外，图12中，例如也可以与图9A所示的安全确认图像33同样地显示识别结果信息，但省略了图示。
图12所示的图像4中包含拍摄图像311，拍摄图像311是对图像3进一步拍摄与确认方向(第1方向)不同的方向(第2方向)而得到的。
拍摄图像311例如是拍摄包含确认方向(第1方向)的拍摄图像31中不包含的方向(第2方向)而得到的图像。这样，终端1不仅从自动驾驶车辆2取得拍摄确认方向而得到的图像，还取得通过拍摄与确认方向相比优先级较低的第2方向而得到的图像。即，自动驾驶车辆2将包含拍摄确认方向而得到的图像和拍摄第2方向而得到的图像的拍摄信息和识别结果信息发送给终端1。终端1使用从自动驾驶车辆2取得的识别结果信息，判定在第2方向上自动驾驶车辆2是否识别出特定物体。在判定为在第2方向上识别出特定物体的情况下，终端1判定自动驾驶车辆2的行驶控制是否发生了变化。在判定为行驶控制发生了变化的情况下，终端1将包含第2方向的拍摄信息和表示在第2方向上识别出特定物体之意的信息包含在显示信息中，例如如图12所示的图像4那样进行显示。此外，关于行驶控制的变化，可以使用表示从自动驾驶车辆2取得的行驶控制的内容的信息来判定，也可以根据从自动驾驶车辆2取得的拍摄信息或位置信息等来判定。
这样，在行驶控制因在与确认方向不同的方向上检测出的特定物体而发生了变化的情况下，终端1也可以显示该不同的方向的图像。例如，在预定事件为左转的情况下，终端1显示自动驾驶车辆2的左方向的图像。此外，终端1例如取得自动驾驶车辆2识别自动驾驶车辆2的右方向的特定物体而得到的识别结果信息，在判定为自动驾驶车辆2的行驶控制发生变化的情况下，也显示自动驾驶车辆2的右方向的图像。由此，用户U针对确认方向以外的方向，也能够更适当地掌握是否由自动驾驶车辆2适当地进行了自动驾驶的识别处理。另外，用户U能够知晓进行与按照预定事件的行驶控制不同的行驶控制的原因。
此外，也可以与确认区35同样地，确认区351是在拍摄图像311上也表示与第2方向对应的拍摄图像311上的范围的图像，其重叠在拍摄图像311上。另外，也可以与行驶控制有无变化无关地，显示识别出特定物体的第2方向的图像。
＜第5例＞
图13是示出实施方式中的终端1中显示的图像的第5示例的图。图像40是显示信息的一例。
图9A～图12示出了终端1显示基于由多个拍摄部22拍摄的图像而生成的、自动驾驶车辆2四周的拍摄图像的示例，但终端1也可以如拍摄图像312那样，仅显示表示确认方向的图像。终端1例如从自动驾驶车辆2接收到自动驾驶车辆2的四周的拍摄图像的情况下，可以基于识别结果信息，选择包含确认方向的图像的范围来显示。具体而言，终端1以与预定事件对应的方式显示从自动驾驶车辆2取得的图像。例如，终端1在所发生的事件的事件类别为左转的情况下，显示自动驾驶车辆2的四周的拍摄图像，在所发生的事件的事件类别是进入交叉路口的情况下，显示自动驾驶车辆2的前方的拍摄图像。
由此，用户U能够更简便地掌握是否由自动驾驶车辆2适当地执行了确认方向的识别处理。
另外，例如也可以与图10所示的确认区35同样地，确认区352是在拍摄图像312上也表示与确认方向对应的拍摄图像312上的范围的图像，其重叠在拍摄图像312上。
此处，在终端1显示了拍摄图像312那样的图像的情况下，用户U难以根据确认图像312来掌握进深。即，用户U通过确认拍摄图像312，虽然能够掌握是否存在物体32，但对于物体32与自动驾驶车辆2的距离，由于会根据物体32的大小进行推定故而难以掌握。因此，终端1也可以根据物体32与自动驾驶车辆2的距离，变更确认区352的显示方式。例如，如果物体32与自动驾驶车辆2的距离为预先任意设定的预定距离以上，则终端1以黑色显示确认区352，如果小于预定距离，则以红色显示确认区352。另外，例如，如果物体32与自动驾驶车辆2的距离小于预先任意设定的预定距离，则终端1也可以使拍摄图像312中的物体32闪烁地显示等来变更物体32的显示方式。
根据这样的结构，用户U容易掌握物体32的位置距离自动驾驶车辆2何种程度。因此，用户U能够掌握是否适当地进行了自动驾驶车辆2的行驶控制。
另外，例如，与图9A所示的安全确认图像33同样地，终端1如安全确认图像333所示的“前方OK：存在移动体”那样来显示图像，该图像包含使用了从自动驾驶车辆2取得的识别结果信息的、是否存在特定物体的判定结果。
(其它实施方式)
以上，基于实施方式，对本公开的一个或多个方式的信息处理方法或信息处理***进行了说明，但本公开不限于该实施方式。在不脱离本公开主旨的范围内，对本实施方式实施本领域技术人员想到的各种变形或组合不同的实施方式中的构成要素而构筑的方式也可以包含在本公开的一个或多个方式的范围内。
例如，在上述实施方式中，说明了用户U对自动驾驶车辆2的识别结果和基于该识别结果的行驶控制进行评价的示例，但也可以由终端1进行该评价。例如，终端1在判定为从自动驾驶车辆2取得的识别结果信息中包含确认方向的物体识别结果的情况下，可以加分，并合计行驶结束后的分数，计算出得分作为评价。另外，在判定为从自动驾驶车辆2取得的识别结果信息中不包含确认方向的物体识别结果的情况下，可以减分。由此，能够自动地评价自动驾驶车辆2的行驶。
另外，例如，在上述实施方式中，可以由专用硬件构成终端1等的构成要素的全部或一部分，或者也可以通过执行适合于各构成要素的软件程序来实现。各构成要素可以通过CPU或处理器等程序执行部读出HDD或半导体存储器等记录介质中记录的软件程序并执行来实现。此处，实现上述实施方式的信息处理***等的软件是如下这样的程序。
即，该程序使计算机执行如下处理：取得用于检测关于自动驾驶车辆2的预定事件的事件关联信息152，使用事件关联信息152判定是否检测出预定事件，在判定为检测出预定事件的情况下，取得表示与预定事件关联的第1方向的方向信息，取得位于自动驾驶车辆2的外部的物体的、通过由自动驾驶车辆2的识别处理而得到的第1识别结果信息，判定第1识别结果信息中是否包含第1方向的物体识别结果，使用第1识别结果信息，判定在第1方向上是否存在有可能会对自动驾驶车辆2的行驶产生影响的特定物体，在判定为在第1方向上不存在特定物体且判定为第1识别结果信息中包含第1方向的物体识别结果的情况下，生成表示自动驾驶车辆2对第1方向完成识别处理的处理完毕信息，并输出所生成的处理完毕信息。
另外，终端1等的构成要素可以由一个或多个电子电路构成。一个或多个电子电路分别可以是通用的电路，也可以是专用的电路。
一个或多个电子电路例如也可以包含半导体装置、IC(Integrated Circuit，集成电路)或LSI(Large Scale Integration：大规模集成电路)等。IC或LSI可以集成于一个芯片，也可以集成到多个芯片。此处称作IC或LSI，但根据集成的程度，叫法有变化，或许也称作***LSI、VLSI(Very Large Scale Integration)或ULSI(Ultra Large ScaleIntegration)。另外，也可以出于相同目的而使用在LSI制造后进行编程的FPGA(FieldProgrammable Gate Array：现场可编程门阵列)。
另外，本公开的概括性或具体的方式也可以由***、装置、方法、集成电路或计算机程序实现。或者，也可以由存储有该计算机程序的光盘、HDD或半导体存储器等计算机可读取的非瞬时性记录介质实现。另外，也可以由***、装置、方法、集成电路、计算机程序和记录介质的任意组合实现。
此外，对各实施方式实施本领域技术人员想到的各种变形而得到的方式和在不脱离本发明主旨的范围内任意组合各实施方式中的构成要素和功能而实现的方式也包含在本公开中。
产业上的可利用性
本公开的实施方式的信息处理方法和信息处理***可以应用于适当地向用户报告是否适当地进行了车辆的自动驾驶的装置或***。

Claims (11)

1.一种信息处理方法，包括：
取得用于检测关于车辆的预定事件的事件关联信息，
判定是否使用所述事件关联信息检测出所述预定事件，
在判定为检测出所述预定事件的情况下，取得表示与所述预定事件关联的第1方向的方向信息，
取得通过拍摄所述第1方向而得到的第1图像以及通过拍摄与所述第1方向相比优先级较低的第2方向而得到的第2图像，
基于所述第1图像和所述第2图像，取得位于所述车辆的外部的物体的、通过由所述车辆进行的识别处理而得到的第1识别结果信息，
判定所述第1识别结果信息中是否包含所述第1方向的物体识别结果，
使用所述第1识别结果信息，判定在所述第1方向上是否存在有可能对所述车辆的行驶产生影响的特定物体，
在判定为在所述第1方向上不存在所述特定物体、且判定为所述第1识别结果信息中包含所述第1方向的物体识别结果的情况下，生成表示所述车辆对所述第1方向完成识别处理的处理完毕信息，
使用所述第1识别结果信息，判定在与所述第1方向不同的所述第2方向上是否存在所述特定物体，在判定为在所述第2方向上存在所述特定物体的情况下，生成包含表示所述第2方向的信息的所述处理完毕信息，
输出所生成的所述处理完毕信息。
2.根据权利要求1所述的信息处理方法，还包括：
在判定为在所述第1方向上存在所述特定物体的情况下，生成包含第1信息的所述处理完毕信息，所述第1信息表示在所述第1方向上识别出所述特定物体之意，
在判定为在所述第1方向上不存在所述特定物体的情况下，生成包含第2信息的所述处理完毕信息，所述第2信息表示未在所述第1方向上识别出所述特定物体之意。
3.根据权利要求1或2所述的信息处理方法，
所述第1识别结果信息是通过对图像进行所述识别处理而取得的信息，所述图像是从所述车辆拍摄包含所述第1方向的预定范围而得到的。
4.根据权利要求3所述的信息处理方法，还包括：
取得包含所述车辆的转向角和车速中的至少一方的所述车辆的行驶信息，
所述预定范围根据所述车辆的所述行驶信息来决定。
5.根据权利要求4所述的信息处理方法，还包括：
将所取得的所述车辆的所述行驶信息与所述处理完毕信息一起输出。
6.根据权利要求1或2所述的信息处理方法，
在检测出所述预定事件的情况下，反复输出所述处理完毕信息，直到所检测出的该预定事件不再被检测出或经过预定时间为止。
7.根据权利要求2所述的信息处理方法，还包括：
在判定为在所述第1方向上存在所述特定物体的情况下，判定所述车辆是否因为所述特定物体而决定或变更了行驶控制，
生成包含所述车辆是否决定或变更了行驶控制的判定结果的所述第1信息。
8.根据权利要求1或2所述的信息处理方法，还包括：
取得通过由搭载于所述车辆的拍摄装置拍摄所述第1方向而生成的图像，
将所取得的所述图像与所述处理完毕信息一起，以与检测出的所述预定事件对应的方式输出。
9.根据权利要求1或2所述的信息处理方法，还包括：
在判定为所述第1识别结果信息中不包含所述第1方向的物体识别结果的情况下，生成表示所述车辆未能对所述第1方向进行识别处理的未处理信息，
输出所生成的所述未处理信息。
10.一种计算机可读的记录介质，记录有程序，该程序用于使计算机执行权利要求1或2所述的信息处理方法。
11.一种信息处理***，具有：
事件判定部，其取得用于检测关于车辆的预定事件的事件关联信息，判定是否使用所述事件关联信息检测出所述预定事件；
方向信息取得部，其在由所述事件判定部判定为检测出所述预定事件的情况下，取得表示与所述预定事件关联的第1方向的方向信息；
拍摄信息取得部，其取得通过拍摄所述第1方向而得到的第1图像以及通过拍摄与所述第1方向相比优先级较低的第2方向而得到的第2图像；
车辆处理信息取得部，其基于所述第1图像和所述第2图像，取得位于所述车辆的外部的物体的、通过由所述车辆进行的识别处理而得到的第1识别结果信息；
车辆识别判定部，其判定所述第1识别结果信息中是否包含所述第1方向的物体识别结果，使用所述第1识别结果信息，判定在所述第1方向上是否存在有可能对所述车辆的行驶产生影响的特定物体；
显示信息生成部，其在由所述车辆识别判定部判定为不存在所述特定物体、且判定为所述第1识别结果中包含所述第1方向的物体识别结果的情况下，生成表示所述车辆对所述第1方向完成识别处理的处理完毕信息，使用所述第1识别结果信息，判定在与所述第1方向不同的所述第2方向上是否存在所述特定物体，在判定为在所述第2方向上存在所述特定物体的情况下，生成包含表示所述第2方向的信息的所述处理完毕信息；以及
显示控制部，其使显示装置显示由所述显示信息生成部生成的所述处理完毕信息。
CN201810868567.9A 2017-08-08 2018-08-02 信息处理方法、信息处理***和记录介质 Active CN109383519B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762542527P 2017-08-08 2017-08-08
US62/542527 2017-08-08
JP2018-068258 2018-03-30
JP2018068258A JP7030000B2 (ja) 2017-08-08 2018-03-30 情報処理方法、情報処理システム、および、プログラム

Publications (2)

Publication Number Publication Date
CN109383519A CN109383519A (zh) 2019-02-26
CN109383519B true CN109383519B (zh) 2023-11-10

Family

ID=63209154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810868567.9A Active CN109383519B (zh) 2017-08-08 2018-08-02 信息处理方法、信息处理***和记录介质

Country Status (3)

Country Link
US (1) US11100729B2 (zh)
EP (1) EP3441839B1 (zh)
CN (1) CN109383519B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6307383B2 (ja) * 2014-08-07 2018-04-04 日立オートモティブシステムズ株式会社 行動計画装置
US20190025433A1 (en) * 2017-07-19 2019-01-24 Aptiv Technologies Limited Automated vehicle lidar tracking system for occluded objects
US10877479B2 (en) * 2018-12-12 2020-12-29 Waymo Llc Multiple destination trips for autonomous vehicles
CN112660145A (zh) * 2020-12-24 2021-04-16 李敏 一种无人驾驶车辆的控制***及其控制方法
WO2023028274A1 (en) * 2021-08-25 2023-03-02 Cyngn, Inc. System and method of large-scale autonomous driving validation

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008038855A1 (de) * 2008-08-13 2010-02-18 Bayerische Motoren Werke Aktiengesellschaft System zur Erkennung einer Gefahrensituation
JP2014078056A (ja) * 2012-10-09 2014-05-01 Honda Elesys Co Ltd 車両用領域識別装置、そのプログラム及びその方法
CN103782330A (zh) * 2011-09-14 2014-05-07 丰田自动车株式会社 驾驶辅助装置以及驾驶辅助方法
JP2015109003A (ja) * 2013-12-05 2015-06-11 ダイムラー・アクチェンゲゼルシャフトＤａｉｍｌｅｒ ＡＧ 歩行者情報提供システム
CN105163972A (zh) * 2013-09-13 2015-12-16 日立麦克赛尔株式会社 信息显示***以及信息显示装置
JP2016037098A (ja) * 2014-08-06 2016-03-22 オムロンオートモーティブエレクトロニクス株式会社 車両用撮像装置
WO2016080452A1 (ja) * 2014-11-19 2016-05-26 エイディシーテクノロジー株式会社 自動運転制御装置
CN106169061A (zh) * 2015-05-21 2016-11-30 富士通天株式会社 图像处理设备和图像处理方法
CN106323309A (zh) * 2015-06-30 2017-01-11 Lg电子株式会社 车辆驾驶辅助装置、车辆用显示装置以及车辆
CN106740872A (zh) * 2017-01-13 2017-05-31 驭势科技（北京）有限公司 智能汽车传感器自检***和方法、辅助***和智能汽车
CN107010043A (zh) * 2016-01-08 2017-08-04 株式会社斯巴鲁 车辆的行驶控制装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
US6753766B2 (en) * 2001-01-15 2004-06-22 1138037 Ontario Ltd. (“Alirt”) Detecting device and method of using same
JP4023228B2 (ja) 2002-06-19 2007-12-19 日産自動車株式会社 車載用障害物検知装置
US7881868B2 (en) * 2007-06-12 2011-02-01 Palo Alto Research Center Incorporated Dual assessment for early collision warning
JP5099451B2 (ja) * 2008-12-01 2012-12-19 アイシン精機株式会社 車両周辺確認装置
RU2514924C2 (ru) * 2009-12-18 2014-05-10 Хонда Мотор Ко., Лтд. Прогнозирующий человеко-машинный интерфейс с использованием технологии обнаружения взгляда, индикаторов "мертвых" зон и водительского опыта
US9052714B2 (en) * 2013-07-12 2015-06-09 Jaybridge Robotics, Inc. Computer-implemented method and system for controlling operation of an autonomous driverless vehicle in response to obstacle detection
CN106164798B (zh) 2014-03-26 2019-01-25 洋马株式会社 自主行驶作业车辆
JP6315584B2 (ja) * 2014-09-05 2018-04-25 オムロンオートモーティブエレクトロニクス株式会社 物体検出システム
JP6558733B2 (ja) 2015-04-21 2019-08-14 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
KR102043060B1 (ko) * 2015-05-08 2019-11-11 엘지전자 주식회사 자율 주행 장치 및 이를 구비한 차량
KR20170000569A (ko) * 2015-06-24 2017-01-03 현대자동차주식회사 차량의 충돌 감지 방법
RU2695008C1 (ru) * 2015-07-28 2019-07-18 Ниссан Мотор Ко., Лтд. Способ управления движением и устройство управления движением
US10366611B2 (en) * 2015-10-22 2019-07-30 Nissan Motor Co., Ltd. Parking support information display method and parking support device
US9958864B2 (en) * 2015-11-04 2018-05-01 Zoox, Inc. Coordination of dispatching and maintaining fleet of autonomous vehicles
JP2017144110A (ja) 2016-02-18 2017-08-24 テルモ株式会社 処置方法、および医療装置
DE102016207791A1 (de) * 2016-05-04 2017-11-09 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung für Verkehrsteilnehmer-Interaktion
US10286913B2 (en) * 2016-06-23 2019-05-14 Honda Motor Co., Ltd. System and method for merge assist using vehicular communication
KR101990547B1 (ko) * 2016-08-12 2019-06-18 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
KR20180037414A (ko) * 2016-10-04 2018-04-12 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
US10267911B2 (en) * 2017-03-31 2019-04-23 Ford Global Technologies, Llc Steering wheel actuation
US10386856B2 (en) * 2017-06-29 2019-08-20 Uber Technologies, Inc. Autonomous vehicle collision mitigation systems and methods
US10761542B1 (en) * 2017-07-11 2020-09-01 Waymo Llc Methods and systems for keeping remote assistance operators alert
KR102046468B1 (ko) * 2017-07-26 2019-11-18 엘지전자 주식회사 차량용 사이드 미러

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008038855A1 (de) * 2008-08-13 2010-02-18 Bayerische Motoren Werke Aktiengesellschaft System zur Erkennung einer Gefahrensituation
CN103782330A (zh) * 2011-09-14 2014-05-07 丰田自动车株式会社 驾驶辅助装置以及驾驶辅助方法
JP2014078056A (ja) * 2012-10-09 2014-05-01 Honda Elesys Co Ltd 車両用領域識別装置、そのプログラム及びその方法
CN105163972A (zh) * 2013-09-13 2015-12-16 日立麦克赛尔株式会社 信息显示***以及信息显示装置
JP2015109003A (ja) * 2013-12-05 2015-06-11 ダイムラー・アクチェンゲゼルシャフトＤａｉｍｌｅｒ ＡＧ 歩行者情報提供システム
JP2016037098A (ja) * 2014-08-06 2016-03-22 オムロンオートモーティブエレクトロニクス株式会社 車両用撮像装置
WO2016080452A1 (ja) * 2014-11-19 2016-05-26 エイディシーテクノロジー株式会社 自動運転制御装置
CN106169061A (zh) * 2015-05-21 2016-11-30 富士通天株式会社 图像处理设备和图像处理方法
CN106323309A (zh) * 2015-06-30 2017-01-11 Lg电子株式会社 车辆驾驶辅助装置、车辆用显示装置以及车辆
CN107010043A (zh) * 2016-01-08 2017-08-04 株式会社斯巴鲁 车辆的行驶控制装置
CN106740872A (zh) * 2017-01-13 2017-05-31 驭势科技（北京）有限公司 智能汽车传感器自检***和方法、辅助***和智能汽车

Also Published As

Publication number Publication date
EP3441839A3 (en) 2019-03-13
EP3441839A2 (en) 2019-02-13
EP3441839B1 (en) 2024-05-08
US20190051064A1 (en) 2019-02-14
US11100729B2 (en) 2021-08-24
CN109383519A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
CN109383519B (zh) 信息处理方法、信息处理***和记录介质
CN107176161B (zh) 识别结果提示装置、识别结果提示方法以及自主移动体
US10864906B2 (en) Method of switching vehicle drive mode from automatic drive mode to manual drive mode depending on accuracy of detecting object
US11461595B2 (en) Image processing apparatus and external environment recognition apparatus
CN106952303B (zh) 车距检测方法、装置和***
US10817751B2 (en) Learning data creation method, learning method, risk prediction method, learning data creation device, learning device, risk prediction device, and recording medium
EP3109117A1 (en) Device and method for opening trunk of car, and recording medium for recording program for executing method
CN111047870A (zh) 交通违规车辆识别***、服务器及存储有车辆控制程序的非易失性存储介质
US11861754B2 (en) Vehicle terminal device, service server, method, computer program, computer readable recording medium for providing driving related guidance service
US20170039434A1 (en) External-Environment-Recognizing Apparatus
US10395387B2 (en) Method and apparatus for detecting a utilization of an electronic device by a driver, for a vehicle
US20170139414A1 (en) Automated driving apparatus
US20150220796A1 (en) Sign recognition apparatus and method for determining left- or right-hand traffic division and distance unit
CN110431562B (zh) 图像识别装置
CN109664889B (zh) 一种车辆控制方法、装置和***以及存储介质
CN111325088B (zh) 信息处理***、记录介质以及信息处理方法
CN113516099A (zh) 一种交通行为识别方法及装置、电子设备和存储介质
JP7035204B2 (ja) 車両制御装置、自動運転車開発システム、車両制御方法、およびプログラム
CN114103954A (zh) 行驶车道计划装置、存储介质以及行驶车道计划方法
JP7030000B2 (ja) 情報処理方法、情報処理システム、および、プログラム
US20220406189A1 (en) Control apparatus, movable object, control method, and computer readable storage medium
EP4060643B1 (en) Traffic signal recognition method and traffic signal recognition device
KR20140059677A (ko) 운송 차량의 사고 인식 시스템
US20220237926A1 (en) Travel management device, travel management method, and recording medium
US20220281446A1 (en) Control device, mobile object, control method, and computer-readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant