CN107531244B - 信息处理***、信息处理方法、以及记录介质 - Google Patents

信息处理***、信息处理方法、以及记录介质 Download PDF

Info

Publication number
CN107531244B
CN107531244B CN201680022379.3A CN201680022379A CN107531244B CN 107531244 B CN107531244 B CN 107531244B CN 201680022379 A CN201680022379 A CN 201680022379A CN 107531244 B CN107531244 B CN 107531244B
Authority
CN
China
Prior art keywords
behavior
vehicle
unit
driver
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680022379.3A
Other languages
English (en)
Other versions
CN107531244A (zh
Inventor
本村秀人
***·萨希姆·科尔科斯
泽田好秀
森俊也
辻胜长
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Automotive Systems Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN107531244A publication Critical patent/CN107531244A/zh
Application granted granted Critical
Publication of CN107531244B publication Critical patent/CN107531244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/082Selecting or switching between different modes of propelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/085Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0129Traffic data processing for creating historical data or processing based on historical data
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/10Accelerator pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/12Brake pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/20Direction indicator values
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/30Driving style
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/10Number of lanes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/804Relative longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Atmospheric Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Combustion & Propulsion (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

对驾驶行动进行确切地估计的信息处理***(1000)具备:检测部(1001),对车辆环境状况进行检测,该车辆环境状况是车辆的周围状况或该车辆的行驶状态之中的至少一个;行为学习部(1002),使神经网络学习由检测部(1001)检测出的该车辆环境状况与在该车辆环境状况之后执行的该车辆的行为的关系;以及行为估计部(1003),通过将由检测部(1001)检测的当前的该车辆环境状况输入到进行了学习的神经网络,从而对该车辆的行为进行估计。

Description

信息处理***、信息处理方法、以及记录介质
技术领域
本发明涉及对与车辆有关的信息进行处理的信息处理***、信息处理方法、以及程序。
背景技术
近些年,关于按照车辆的周围状况或所述车辆的行驶状态(例如,自身车辆的速度或掌舵、油门、制动器、转向指示器控制杆、传动机构的控制信息等),驾驶人自己进行驾驶操作的手动驾驶与一部分或全部的驾驶操作被自动进行的自动驾驶来行驶的车辆,以及能够完全自动驾驶的车辆,提出了各种技术,并且被逐步地实用化。
例如,专利文献1中公开了一种行驶控制装置,在自身车辆成为自动掌舵控制或自动加减速度控制的情况下,能够使驾驶人员在视觉上识别到自动掌舵控制或自动加减速度控制的操作状态。
(现有技术文献)
(专利文献)
专利文献1日本特开2005-67483号公报
然而在上述的专利文献1的行驶控制装置(即,信息处理***)中存在的问题是,不能确切地估计车辆的驾驶操作。在此,驾驶操作也指驾驶行动或行为。
发明内容
因此,本发明提供一种能够确切地估计车辆的驾驶行动的信息处理***等。
本发明的一个形态所涉及的信息处理***包括:检测部,检测车辆环境状况,该车辆环境状况是车辆的周围状况或所述车辆的行驶状态之中的至少一个;行为学习部,使神经网络学习所述检测部所检测的所述车辆环境状况与在所述车辆环境状况之后执行的所述车辆的行为的关系;以及行为估计部,通过将所述检测部所检测的当前的所述车辆环境状况,输入到进行了学习的所述神经网络,从而对所述车辆的行为进行估计。
据此,由于采用神经网络来对车辆的行为进行估计,因此能够确切地估计该车辆的行为(即驾驶行动)。
并且,也可以是,所述行为学习部具备:通用行为学习部,针对多个驾驶人的每一个,使神经网络学习所述检测部所检测的所述车辆环境状况与在所述车辆环境状况之后执行的所述车辆的行为的关系;以及专用行为学习部,利用针对特定的驾驶人由所述检测部检测的所述车辆环境状况、以及在所述车辆环境状况之后执行的所述车辆的行为,使进行了学习的所述神经网络再次学习,通过这种转移学习,来构筑针对所述特定的驾驶人的专用的神经网络,所述行为估计部利用所述专用的神经网络,对针对所述特定的驾驶人的所述车辆的行为进行估计。具体而言,也可以是,所述行为估计部具备:通用行为估计部,将针对所述特定的驾驶人由所述检测部检测的所述车辆环境状况,输入到通过所述通用行为学习部而进行了学习的所述神经网络,从而针对所述特定的驾驶人,进行所述车辆的假定的行为估计;以及专用行为估计部,利用所述专用的神经网络,针对所述特定的驾驶人,进行所述车辆的行为估计,所述信息处理***还具备直方图生成部,该直方图生成部生成由所述通用行为估计部进行的假定的行为的估计结果的直方图,所述专用行为学习部,通过参照了被生成的所述直方图的所述转移学习,来构筑所述专用的神经网络。
据此,即使示出针对特定的驾驶人检测出的车辆的周围状况或行驶状态、以及在此之后的行为的履历较少、且仅通过该履历不能充分地进行学习的情况下,由于在学习中采用了多个驾驶人的履历,因此能够针对特定的驾驶人确切地估计车辆的行为。并且,通过这种多个驾驶人的履历而学习的通用的神经网络,利用特定的驾驶人的履历,被微调为专用的神经网络。因此,能够提高该行为的估计的精确度。
并且,也可以是,所述信息处理***还具备评价部,该评价部对由所述行为估计部估计的行为是否有效进行判断,在判断为有效的情况下,输出估计的所述行为。
据此,能够防止通知不确切的行为。
并且,也可以是,所述信息处理***还具备:输入部,接受由特定的驾驶人输入的所述车辆的行为;以及评价部,根据由所述输入部接受的所述车辆的行为,对由所述行为估计部估计的所述车辆的行为进行评价,所述评价部,在评价为由所述行为估计部估计的所述车辆的行为中有错误的情况下,使所述行为学习部执行所述神经网络的再次学习,所述神经网络的再次学习是利用由所述输入部接受的所述车辆的行为、以及在所述车辆的行为的估计时由所述检测部检测的所述车辆的周围状况来实现的。
据此,即使在由检测部检测出的周边的状况或行驶状态中包括误差,也能够提高驾驶行动的预测精确度,即能够提高车辆的行为的估计精确度。
并且,也可以是,所述专用行为学习部,按照所述车辆行驶的各个场景,构筑针对与该场景对应的所述特定的驾驶人的所述专用的神经网络,与此同时,从多个所述专用的神经网络中,选择与所述车辆行驶的当前的场景对应的所述专用的神经网络,所述专用行为估计部,利用选择的所述专用的神经网络,针对所述特定的驾驶人,进行所述车辆的行为估计。
据此,能够按照场景来选择恰当的神经网络,从而能够提高各场景中的车辆的行为的估计精确度,即能够提高驾驶行动的预测精确度。
并且,也可以是,所述信息处理***还具备通知部,该通知部将由所述行为估计部估计的行为,在所述行为被执行之前,通知给驾驶人。
据此,由于通知了被估计的行为,因此能够使驾驶人事先掌握将要执行怎样的行为,这样,能够解除该驾驶人的不安。
另外,这些概括性的或具体的方式可以由***、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现,也可以通过对***、方法、集成电路、计算机程序以及记录介质进行任意地组合来实现。
但是,在自动驾驶(包括完全自动驾驶以及一部分自动驾驶这双方)中,由于依靠车辆来进行驾驶,因此,车辆与驾驶人之间的信赖关系则非常重要,并且需要在车辆与驾驶人(乘坐人)之间传递确切的信息。在专利文献1中,向驾驶人仅通知当前的操作状态。
第一个课题是,在自动驾驶中,仅是通知车辆的当前的行为(操作状态),而对于今后将要执行的行为(例如,尤其是在合流前、进入交叉路口前、或有紧急车辆接近的情况、周围的其他的车辆进行了某些行动或将要进行某些行动时,车辆将要执行的变更车道、加速、减速等行为)不做任何通知的情况下,驾驶人会感到非常的不安。
并且,第二个课题是,若在完全自动驾驶中,驾驶人进行驾驶监视以外的其他的行动的可能性比较高,即使仅立即显示当前的操作状态,也难于掌握当前的车辆的周围状况或车辆的行驶状态,而且,即使驾驶人想要以自己的想法来指示驾驶,也不能马上对应,从而不能顺利地向车辆发出指示。
并且,第三个课题是,仅通过向驾驶人通知当前的操作状态,驾驶人即使想要对车辆直接进行手动驾驶,也难于立即进行切换。
并且,第四个课题是,即使驾驶人或乘坐人想要对车辆执行相同的动作,但是由于动作的时机或操作量会因人而异,因此与实际上驾驶人进行手动驾驶时的感觉不同,产生差异的可能性也会增高,最坏的情况是,在自动驾驶中导致因驾驶人进行的不必要的操作干涉。
因此,本发明提供一种信息通知装置、信息通知方法、信息通知程序以及信息处理***,在完全自动驾驶或一部分自动驾驶中,至少能够解决上述的课题中的至少一个。
即,本发明的一个形态所涉及的信息通知装置是被搭载在具备检测部以及车辆控制部的车辆的信息通知装置,所述检测部对车辆的周围状况以及车辆的行驶状态进行检测,所述车辆控制部根据由检测部检测出的车辆的周围状况以及车辆的行驶状态,来决定车辆的行为,所述信息通知装置具备信息获得部以及通知部,在判断为自动驾驶中的车辆的行为有可能被更新的情况下,由信息获得部获得执行的行为的信息,在所述车辆的行为被更新之前,由通知部对执行的行为进行通知。
本发明的一个形态所涉及的信息通知方法是在对车辆的周围状况以及车辆的行驶状态进行检测,并根据检测出的车辆的周围状况以及车辆的行驶状态来决定车辆的行为的车辆中执行的信息通知方法,包括:信息获得步骤,在判断为自动驾驶中的车辆的行为有可能被更新的情况下,获得执行的行为的信息;以及通知步骤,在所述车辆的行为被更新之前,对执行的行为进行通知。
本发明的一个形态所涉及的信息通知程序,使计算机在对车辆的周围状况以及车辆的行驶状态进行检测,并根据检测出的车辆的周围状况以及车辆的行驶状态来决定车辆的行为的车辆中执行信息通知程序,使计算机作为信息获得单元以及通知单元来起作用,在判断为自动驾驶中的车辆的行为有可能被更新的情况下,由信息获得单元获得执行的行为的信息,在所述车辆的行为被更新之前,由通知单元对执行的行为进行通知。
通过这种信息通知装置、信息通知方法或信息通知程序,能够在完全自动驾驶或一部分自动驾驶中确切地传递信息,以便在车辆与驾驶人的操作之间不易产生对立,而能够实现舒适地自动驾驶。
通过本发明,能够确切地估计车辆的驾驶行动。
附图说明
图1是示出包括本发明的实施方式1所涉及的信息通知装置的车辆的主要部分的构成的方框图。
图2是对行驶环境的第一个例子、以及针对该例子的通知部的显示、以及操作部的操作进行说明的图。
图3示出了由通知部所显示的其他的例子。
图4是示出本实施方式中的信息通知处理的处理顺序的流程图。
图5示出了行驶环境的第一个例子、以及针对该例子的显示控制。
图6示出了行驶环境的第一个例子、以及针对该例子的其他的显示控制。
图7示出了行驶环境的第二个例子、以及针对该例子的显示控制。
图8示出了行驶环境的第三个例子、以及针对该例子的显示控制。
图9示出了行驶环境的第四个例子、以及针对该例子的显示控制。
图10示出了行驶环境的第五个例子、以及针对该例子的显示控制。
图11示出了针对图5所示的行驶环境的第一个例子的其他的显示控制。
图12示出了针对图7所示的行驶环境的第二个例子的其他的显示控制。
图13示出了包括本发明的实施方式2所涉及的信息通知装置的车辆的主要部分的构成的方框图。
图14是对实施方式2中的触摸屏的显示进行说明的图。
图15是对本发明的实施方式3中的通知部的显示进行说明的图。
图16是示出与实施方式4中的车辆控制部的行为的估计有关的功能构成的一个例子的方框图。
图17是用于说明实施方式4中的行为学习部的学习的图。
图18A是示出实施方式4中的神经网络的学习的图。
图18B是示出采用了实施方式4中的行为估计NN的行为的估计的图。
图19是示出与实施方式4中的车辆控制部的行为的估计有关的功能构成的其他的例子的方框图。
图20是用于对实施方式4中的通用行为学习部的学习进行说明的图。
图21A是示出实施方式4中的通用行为学习部中的神经网络的学习的图。
图21B是示出采用了实施方式4中的通用行为估计NN的行为的估计的图。
图22示出了实施方式4中的专用行为估计NN的构筑方法。
图23是示出采用了实施方式4中的专用行为估计NN的行为的估计的图。
图24是示出与实施方式4的变形例1中的车辆控制部的行为的估计有关的功能构成的一个例子的方框图。
图25是用于说明实施方式4的变形例1中的行为学习部的学习的图。
图26A是用于说明实施方式4的变形例1中的神经网络的学习的图。
图26B是示出采用了实施方式4的变形例1中的行为估计NN的行为的估计的图。
图27是示出与实施方式4的变形例1中的车辆控制部的行为的估计有关的功能构成的其他的例子的方框图。
图28是用于说明实施方式4的变形例1中的通用行为学习部的学习的图。
图29A是示出实施方式4的变形例1中的通用行为学习部中的神经网络的学习的图。
图29B是示出采用了实施方式4的变形例1中的通用行为估计NN的行为的估计的图。
图30示出了实施方式4的变形例1中的专用行为估计NN的构筑方法。
图31是示出采用了实施方式4的变形例1中的专用行为估计NN的行为的估计的图。
图32是示出与实施方式4的变形例2中的车辆控制部的行为的估计有关的功能构成的一个例子的方框图。
图33是示出与实施方式4的变形例2中的车辆控制部的行为的估计有关的功能构成的其他的例子的方框图。
图34示出了实施方式5中的信息处理***的设计思路。
图35是用于说明实施方式5中的学习用数据以及学习引擎的估计结果中的误差的图。
图36示出了实施方式5中的车辆内的***构成。
图37是示出实施方式5中的自动驾驶控制***的功能构成的方框图。
图38示出了通过实施方式5中的触摸屏而被显示以及输入的行为的一个例子。
图39是用于说明实施方式5中的微调的图。
图40示出了实施方式5中的车辆内的详细的***构成。
图41示出了实施方式5中的专用行为估计NN的构筑方法。
图42示出了基于实施方式5中的专用行为估计NN的输入行为的再次学习。
图43示出了实施方式6中的多个知识(NN)。
图44示出了实施方式6中的车辆内的***构成。
图45是示出实施方式6中的自动驾驶控制***的功能构成的方框图。
图46是用于说明由实施方式6中的专用行为学习部进行学习的图。
图47是用于说明由实施方式6中的专用行为学习部进行的专用行为估计NN的选择的图。
图48A示出了本发明的一个形态所涉及的信息处理***的构成。
图48B是本发明的一个形态所涉及的信息处理方法的流程图。
图49示出了行驶履历的一个例子。
图50示出了分群型的驾驶人员模范的构筑方法。
图51示出了被构筑的分群型的驾驶人员模范的一个例子。
图52示出了被构筑的分群型的驾驶人员模范的另外的一个例子。
图53示出了个别适应型的驾驶人员模范的构筑方法。
图54示出了被构筑的个别适应型的驾驶人员模范的一个例子。
图55示出了驾驶特性模型的一个例子。
图56是对本发明的实施方式7中的通知部的显示进行说明的图。
图57是对本发明的实施方式7中的通知部的显示进行说明的图。
图58是对本发明的实施方式7中的通知部的显示进行说明的图。
图59是对本发明的实施方式7中的通知部的显示进行说明的图。
图60示出了行驶履历的一个例子。
图61示出了本变形例中的驾驶人员模范的使用方法。
图62是示出本变形例中的高速缓冲存储器的配置的一个例子的方框图。
图63示出了本变形例中的高速缓冲存储器的作成方法的一个例子。
图64示出了本变形例中的高速缓冲存储器的作成方法的一个例子。
具体实施方式
以下参照附图对本发明的实施方式进行说明。在实施方式1~3中,对为了使车辆与驾驶人的操作不易成为对立,而能够进行舒适的自动驾驶,从而确切地传递信息的信息通知装置、信息通知方法或信息通知程序进行说明。在实施方式4~6中,对能够确切地估计车辆的驾驶行动的本发明的一个形态所涉及的信息处理***、信息处理方法以及程序进行说明。并且,在实施方式7中,对以与实施方式4~6不同的形态来估计驾驶行动的信息处理***等进行说明。
另外,以下将要说明的各个实施方式均为一个例子,本发明并非受这些实施方式所限。即,以下将要说明的实施方式均为概括性的或具体的例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等均为一个例子,主旨并非是对本发明进行限定。并且,对于以下的实施方式的构成要素之中示出最上位概念的技术方案中所没有记载的构成要素作为任意的构成要素来说明。
并且,各个图为模式图,并非严谨的图示。并且,在各个图中,对于相同的构成部件赋予相同符号。
(实施方式1)
图1是示出包括本发明的实施方式1所涉及的信息通知装置的车辆1的主要部分的构成的方框图。车辆1是不需要驾驶人的操作,而能够自动地进行驾驶控制的全部或一部分的车辆。
车辆1具备:制动踏板2、油门踏板3、转向指示器控制杆4、方向盘5、检测部6、车辆控制部7、存储部8、以及信息通知装置9。
制动踏板2接受来自驾驶人的制动操作,使车辆1减速。并且,制动踏板2也可以接受由车辆控制部7进行的控制结果,按照车辆1的减速程度来进行量的变化。油门踏板3接受来自驾驶人的油门操作,使车辆1加速。并且,油门踏板3也可以接受由车辆控制部7进行的控制结果,按照车辆1的加速程度来进行量的变化。转向指示器控制杆4接受来自驾驶人的操作,使车辆1中没有进行图示的转向指示器点灯。并且,转向指示器控制杆4接受车辆控制部7进行的控制结果,使转向指示器控制杆4发生变化,以成为与车辆1的指示方向对应的状态,也可以使车辆1的未图示的转向指示器点灯。
方向盘5接受驾驶人进行的转向操作,使车辆1的行驶方向变更。并且也可以是,方向盘5接受由车辆控制部7进行的控制结果,使与车辆1的行驶方向的变更相对应的量发生变化。方向盘5具有操作部51。
操作部51被设置在方向盘5的正面(与驾驶人相对的面),接受来自驾驶人的输入操作。操作部51例如是按键、触摸屏、把手传感器等装置。操作部51将从驾驶人接受的输入操作的信息输出给车辆控制部7。
检测部6对车辆1的行驶状态、以及车辆1的周围的状况进行检测。并且,检测部6将检测出的行驶状态、以及周围的状况的信息输出给车辆控制部7。
该检测部6具备:位置信息获得部61、传感器62、速度信息获得部63、以及地图信息获得部64。
位置信息获得部61通过GPS(Global Positioning System)测位等,将车辆1的位置信息作为行驶状态的信息来获得。
传感器62根据存在于车辆1的周围的其他车辆的位置以及车道位置信息,来检测车辆1的周围的状况,车辆1的周围的状况包括其他车辆的位置以及是否为前方行驶车辆等类别、其他车辆的速度与自身车辆的速度的冲突预测时间(TTC:Time To Collision)、存在于车辆1的周围的障碍物等。
速度信息获得部63从没有图示的速度传感器等获得车辆1的速度或行驶方向等信息,以作为行驶状态的信息。
地图信息获得部64获得车辆1行驶的道路、与道路中其他车辆的合流点、现在行驶中的车道、交叉路口的位置等车辆1的周边的地图信息,以作为车辆1的周围的状况的信息。
并且,传感器62由毫米波雷达、激光雷达或摄像机等构成,或者由他们的组合构成。
存储部8是ROM(Read Only Memory)、RAM(Random Access Memory)、硬盘装置或SSD(Solid State Drive)等存储装置,对当前的行驶环境、与在此之后(第一个规定时间经过后)有可能出现的行为的候补之间的对应关系进行存储。
当前的行驶环境是指,通过车辆1的位置、车辆1正在行驶的道路、存在于车辆1的周围的其他车辆的位置以及速度等来判断的环境。而且,不仅是瞬间的数据,还根据该时刻的前后的数据来进行判断,例如根据其他车辆的位置或速度,来判断加速过程中、减速过程中、其他车辆挤进来一秒以后发生冲突的可能性。据此,能够预测其他车辆的行动,从而能够更加详细且准确地掌握行驶环境。行为的候补是指,针对当前的行驶环境,车辆1在此之后(第一个规定时间经过后)有可能出现的行为的候补。
例如,存储部8预先存储以下三种行为的候补,这三种行为的候补是指,与在车辆1行驶的车道的前方有合流道路,存在从车道的左方进行合流的车辆,并且车辆1能够向行驶的车道的右方进行车道变更的行驶环境相对应,车辆1的加速、车辆1的减速、以及向车辆1的右方进行车道变更。
并且,存储部8预先存储以下三种行为的候补,这三种行为的候补是指,与在同一车道上行驶在车辆1的前方的车辆(以下记作“前方车辆”)以比车辆1慢的速度行驶、且能够向相邻的车道进行车道变更的行驶环境相对应,超过前方车辆行驶、变更到旁边的车道行驶、使车辆1减速而跟随前方车辆行驶。
而且,存储部8也可以存储针对每个行为的候补的优先顺序。例如也可以是,存储部8存储在过去的相同的行驶环境下实际采取的行为的次数,将采取的次数越多的行为,设定为高的优先顺序。
车辆控制部7例如能够作为LSI电路、或对车辆进行控制的电子控制单元(Electronic Control Unit:ECU)的一部分来实现。车辆控制部7根据从检测部6获得的行驶状态以及周围的状况的信息,对车辆进行控制,并与车辆控制结果相对应,对制动踏板2、油门踏板3、转向指示器控制杆4、信息通知装置9进行控制。另外,车辆控制部7进行控制的对象并非受此所限。
首先,车辆控制部7根据行驶状态以及周围的状况的信息,对当前的行驶环境进行判断。在该判断中能够利用以往提出的各种方法。
例如,车辆控制部7根据行驶状态以及周围的状况的信息,判断当前的行驶环境为“在车辆1行驶的车道的前方有合流,从车道的左方有合流车辆,并且车辆1能够向行驶的车道的右方进行车道变更的行驶环境”。
并且,例如,车辆控制部7根据行驶状态以及周围的状况的信息,判断行驶环境的时间序列为“在同一车道上行驶于车辆1的前方的车辆以比车辆1慢的速度行驶,并且能够向旁边的车道进行车道变更的行驶环境”。
车辆控制部7使信息通知装置9的通知部92,通知与示出行驶状态以及周围的状况的行驶环境有关的信息。并且,车辆控制部7针对判断的行驶环境,从存储部8读出车辆1在此之后(第一个规定时间经过后)有可能出现的行为的候补。
车辆控制部7根据读出的行为的候补,判断哪个行为是最适合于当前的行驶环境的行为,将最适合当前的行驶环境的行为设定为第一行为。另外,第一行为是与车辆现在执行的行为相同的行为,即可以继续现在执行的行为。并且,车辆控制部7将当前的行驶环境中除第一行为以外的驾驶人能够执行的行为的候补设定为第二行为(即,与执行的行为不同的行为)。
例如,车辆控制部7根据行驶状态以及周围的状况的信息,利用对最适合的行为进行判断的以往的技术,将最适合的行为设定为第一行为。
或者,车辆控制部7可以将多个行为的候补之中的预先设定的行为作为最适合的行为来设定,也可以将上次选择的行为的信息存储到存储部8,并将该行为判断为最适合的行为,也可以将过去的各个行为被选择的次数存储到存储部8,将次数最多的行为判断为最适合的行为。
并且,车辆控制部7使信息通知装置9的通知部92通知第一行为和第二行为的信息。另外,车辆控制部7在判断为没有第二行为的情况下,使通知部92仅通知第一行为。
并且,车辆控制部7也可以使通知部92同时通知第一行为与第二行为的信息、以及行驶状态和周围的状况的信息。
并且,车辆控制部7获得操作部51从驾驶人接受的操作的信息。车辆控制部7在第一行为和第二行为被通知后,判断在第二个规定时间内,操作部51是否接受了操作。该操作例如是从第二行为所包括的行为中选择一个行为的操作。
车辆控制部7在第二个规定时间内,操作部51接受了操作的情况下,对车辆进行控制,以便执行第一行为,与车辆控制结果相对应,对制动踏板2、油门踏板3、转向指示器控制杆4进行控制。
车辆控制部7在第二个规定时间内,操作部51接受了操作的情况下,进行与接受的操作对应的控制。
信息通知装置9从车辆控制部7获得与车辆1的行驶有关的各种信息,并对获得的信息进行通知。信息通知装置9具备:信息获得部91和通知部92。
信息获得部91从车辆控制部7获得与车辆1的行驶有关的各种信息。例如,信息获得部91在车辆控制部7判断为有对车辆1的行为进行更新的可能性的情况下,从车辆控制部7获得第一行为的信息和第二行为的信息。
并且,信息获得部91将获得的信息暂时存储到没有图示的存储部,并按照需要,从存储部读出存储的信息,输出给通知部92。
通知部92将与车辆1的行驶有关的信息通知给驾驶人。通知部92例如可以是被设置在车内的导航***、平视显示器、中控台显示装置、显示被设置在方向盘5或立柱的LED等发光体等信息的显示部,也可以是将信息转换为声音并通知给驾驶人的扬声器,或者可以是被设置在驾驶人能够感知到的位置(例如,驾驶人的座位、方向盘5等)的振动体。并且,通知部92也可以是他们的组合。
在以下的说明中,将通知部92视为显示装置。
在这种情况下,通知部92例如是平视显示器(Head Up Display:HUD)、LCD(LiquidCrystal Display:液晶显示器)、HMD(Head-Mounted Display或Helmet-Mounted Display:头戴显示器)、眼镜型显示器(Smart Glasses)、其他的专用的显示器等。HUD例如可以是车辆1的挡风玻璃,也可以是另外设置的玻璃面、塑料面(例如,组合部件)等。并且,挡风玻璃例如可以是前车窗,也可以是车辆1的侧车窗或后车窗。
而且,HUD也可以是具备在挡风玻璃的表面或内侧的透过型显示器。在此,透过型显示器例如是透过型的有机EL显示器、或者是采用了在照射特定的波长的光时进行发光的玻璃的透明的显示器。驾驶人在能够确认到背景的同时,能够确认到透过型显示器上的显示。这样,通知部92可以是使光透过的显示介质。不论是哪种情况,图像均被显示在通知部92。
通知部92将从车辆控制部7经由信息获得部91获得的与行驶有关的信息通知给驾驶人。例如,通知部92将从车辆控制部7获得的第一行为以及第二行为的信息通知给驾驶人。
在此,对具体的显示内容、以及针对操作部51的操作进行说明。
图2是对行驶环境的第一个例子、以及针对该例子的通知部92的显示、以及操作部51的操作进行说明的图。
图2的(a)是示出车辆1的行驶环境的俯视图。具体而言,图2的(a)示出的行驶环境是,在车辆1行驶的车道的前方有合流道路,从车道的左方有合流车辆,并且车辆1能够将行驶车道变更为右方的车道。
车辆控制部7根据行驶状态以及周围的状况的信息,判断行驶环境为图2的(a)所示的行驶环境。并且,车辆控制部7生成图2的(a)所示的俯视图,除了第一行为以及第二行为的信息以外,还将生成的俯视图通知给通知部92。
图2的(b)示出了针对图2的(a)所示的行驶环境的通知部92的显示的一个例子。通知部92的显示范围中,右侧显示与车辆1的行为有关的选项,左侧相是用于切换为手动驾驶的信息。
第一行为是显示区域29a~29c、29g之中、被强调的显示区域29b所示出的“变更车道”。第二行为是显示区域29a、29c所分别示出的“加速”、“减速”。并且,显示区域29g显示了表示切换为手动驾驶的“自动驾驶结束”。
图2的(c)示出了被设置在方向盘5的操作部51的一个例子。操作部51具备:被设置在方向盘5的右侧的操作键51a~51d、以及被设置在方向盘5的左侧的操作键51e~51h。并且,被设置在方向盘5的操作部51的数量或形状等并非受此所限。
在本实施方式中,图2的(b)所示的显示区域29a~29c与操作键51a~51c分别对应,显示区域29g与操作键51g对应。
在此构成中,驾驶人在选择被显示在各个显示区域的内容的某一个时,按下与各个显示区域对应的操作键。例如,在驾驶人选择被显示在显示区域29a的“加速”这一行为的情况下,驾驶人按下操作键51a。
另外,图2的(b)虽然在各个显示区域仅显示了文字的信息,但是如以下说明所示,也可以显示与车辆的驱动有关的符号或图符。据此,驾驶人能够一目了然地掌握显示内容。
图3示出了通知部92中的显示的其他的例子。如图3所示,在显示区域39a~39c、39g中显示了文字的信息和表示该信息的符号。另外,也可以仅显示符号。
接着,以具体的行驶环境为例,对显示控制的流程进行说明。
图4是示出本实施方式中的信息通知处理的处理顺序的流程图。图5示出了行驶环境的第一个例子、以及针对该例子的显示控制。
如图4所示,检测部6检测车辆的行驶状态(步骤S11)。接着,检测部6检测车辆的周围状况(步骤S12)。被检测出的车辆的行驶状态、以及车辆的周围状况的信息由检测部6,输出到车辆控制部7。
接着,车辆控制部7根据行驶状态以及周围的状况的信息,判断当前的行驶环境(步骤S13)。图5的(a)的例子所示的情况为,车辆控制部7判断当前的行驶环境为“在车辆1行驶的车道的前方有合流道路,从车道的左方有进行合流的车辆,并且车辆1能够向行驶的车道的右方变更车道的行驶环境”。
在此之后,车辆控制部7使信息通知装置9的通知部92,通知判断的行驶环境的信息(步骤S14)。在图5的(b)的例子的情况下,车辆控制部7使判断的行驶环境的信息输出给信息获得部91。通知部92从信息获得部91获得行驶环境的信息,作为文字信息59来显示。另外,车辆控制部7也可以取代使通知部92显示行驶环境的信息,而是通过扬声器等,将行驶环境的信息作为声音通知给驾驶人。据此,即使驾驶人没有看到显示器或监视器、或者在没有注意到的情况下,也能够确实地将信息传递到驾驶人。
接着,车辆控制部7对判断的行驶环境是否有行为更新的可能性进行判断,在判断为有更新的可能性的情况下,进一步对第一行为以及第二行为进行判断(步骤S15)。关于行驶环境是否有行为更新的可能性的判断,是通过行驶环境是否有变化来判断的。更新后执行的行为例如可以列举出,在有与其他的车辆等发生冲突的可能性的情况下进行减速、在ACC(Adaptive Cruise Control:自适应巡航控制)中前方车辆消失的情况下变更速度、在旁边的车道空出的情况下变更车道等。在进行是否更新的判断时利用以往的技术。
在这种情况下,车辆控制部7从存储部8中读出,针对判断的行驶环境,车辆1在此之后(第一个规定时间经过后)将会采取的行为的候补。并且,车辆控制部7从行为的候补中判断最适合当前的行驶环境的行为是哪个,将最适合当前的行驶环境的行为设定为第一行为。并且,车辆控制部7将除去第一行为的行为的候补设定为第二行为。
在图5的(b)的例子的情况下,车辆控制部7从存储部8读出3种行为的候补,即:车辆1的加速、车辆1的减速、以及车辆1向右方变更车道。并且,车辆控制部7根据从左方合流的车辆的速度、以及车辆1的右方的车道的状况,判断为车辆1向右方变更车道是最适合的行为,将该行为设定为第一行为。并且,车辆控制部7将除第一行为以外的行为的候补设定为第二行为。
接着,车辆控制部7使信息通知装置9的通知部92通知第一行为以及第二行为(步骤S16)。在图5的(b)的例子的情况下,通知部92将作为第一行为的信息的“变更车道”这一文字信息强调地显示到显示区域59b,使作为第二行为的信息的“加速”、“减速”分别显示到显示区域59a、59c。
接着,车辆控制部7判断在第二个规定时间内,操作部51是否从驾驶人接受到操作(步骤S17)。
例如,车辆控制部7在判断为当前的行驶环境是图5的(a)所示的行驶环境之后,将到达合流点的时间设定为第一个规定时间。并且,车辆控制部7将比第一个规定时间短的第二个规定时间,设定为针对到合流点将要被执行的下一个行为,能够接受操作的时间。
车辆控制部7在第二个规定时间内操作部51从驾驶人接受到操作的情况下(步骤S17的“是”),判断接受的操作是自动驾驶结束的操作、还是行为的选择操作(所谓的更新)(步骤S18)。
如图2的说明所示,通知部92的各显示区域与操作部51的各操作键对应。驾驶人在选择图5的(b)中的自动驾驶结束的情况下,按下图2的(c)所示的操作键51g。并且,驾驶人在进行行为的选择的情况下,按下图2的(c)所示的操作键51a~51c的某一个。
车辆控制部7在操作部51接受的操作为自动驾驶结束的操作的情况下(即,检测到操作键51g被按下的情况下),使自动驾驶结束(步骤S19)。车辆控制部7在操作部51所接受的操作为行为的选择操作的情况下(即,操作键51a~51c的任一个被按下的情况下),对车辆1进行控制,以便执行与被按下的操作键对应的行为(步骤S20)。
车辆控制部7在第二个规定时间内操作部51没有从驾驶人接受到操作的情况下(步骤S17的否),对车辆1进行控制,以便执行第一行为(步骤S21)。
图6示出了行驶环境的第一个例子、以及针对该例子的其他的显示控制。图6的(a)与图5的(a)同样,图6的(b)的显示控制与图5的(b)的显示控制不同。
与利用图5的(b)进行说明的情况相同,车辆控制部7从存储部8读出针对图6的(a)所示的行驶环境的3种行为的候补,这3种行为的候补是指,车辆1的加速、车辆1的减速、以及向车辆1的右方的车道变更。此时,向车辆1的右方变更车道作为最优先的行为被存储到存储部8。
在这种情况下,车辆控制部7使通知部92通知行驶环境的信息以及第一行为的信息。在图6的(b)的情况下,车辆控制部7生成行驶环境的信息、以及示出第一行为的信息的文字信息69,并使通知部92显示文字信息69。
并且,车辆控制部7使催促驾驶人是否进行第一行为的显示,显示到显示区域69a、69c。并且,车辆控制部7将示出能够切换为手动驾驶的“自动驾驶结束”这一显示,显示到显示区域69g。
在此,车辆控制部7对与采用第一行为相对应的“是”进行强调显示。关于对“是”、“否”的哪个进行强调显示,可以预先决定,也可以对上次选择的选项进行强调显示,也可以将过去选择的次数存储到存储部8,从而使通知部92对次数多的一方进行强调显示。
这样,通过学习过去选择的行为,车辆控制部7能够向驾驶人通知确切地信息。并且,与图5的(b)的情况相比,能够减少使通知部92进行通知的显示,并能够降低驾驶人的繁琐。
图7示出了行驶环境的第二个例子以及针对该例子的显示控制。图7的(a)是示出行驶环境的俯视图。图7的(a)所示的行驶环境,在前方有合流道路之处与图5的(a)、图6的(a)相同,在车辆1的右侧存在行驶车辆之处,与图5的(a)、图6的(a)不同。在这种情况下,车辆控制部7判断为不变更车道。
并且,车辆控制部7在判断为车辆1的行驶环境为图7的(a)的情况下,如图7的(b)所示,将判断的行驶环境的信息作为文字信息79,使通知部92进行显示。
并且,车辆控制部7针对从存储部8读出的车辆1的加速、车辆1的减速、以及向车辆1的右方变更车道这3种行为的候补,由于不能向车辆1的右方变更车道,因此仅选择车辆1的加速以及车辆1的减速。
并且,车辆控制部7预测到如果以目前的速度来行驶则会过于接近合流车辆,因此判断为车辆1的减速是最适合的行为,即判断为第一行为。
在此,关于3种行为的候补中最适合的行为是哪个,根据行驶状态以及周围的状况的信息,采用对最适合的行为进行判断的以往技术来进行判断。并且,关于最适合的行为是哪个,可以是预先决定的,也可以是将上次选择的行为的信息存储到存储部8,并将该行为判断为最适合的行为,也可以是将过去的各行为被选择的次数存储到存储部8,将次数最多的行为判断为最适合的行为。
之后,车辆控制部7将“减速”作为第一行为,显示到显示区域79c,将“加速”作为第二行为显示到显示区域79a。并且,车辆控制部7将示出切换到手动驾驶的“自动驾驶结束”这一显示,显示到显示区域79g。
通过这种显示控制,车辆控制部7能够按照行驶环境,将最适合该行驶环境的行为作为第一行为通知给驾驶人。
可以将第一行为的信息配置在上方,将第二行为的信息配置在下方,并分别将选择功能分配到操作键51a、51c,也可以是,将加速行为的信息配置在上方,减速行为的信息配置在下方,右变更车道的行为的信息配置在右方,左变更车道的行为的信息配置在左方,并分别将选择功能分配到操作键51a、51c、51b、51d,也可以使他们之间能够切换,另外显示行动优先配置或操作优先配置。并且,也可以使第一行为的信息的显示大小增大,使第二行为的信息的显示大小减小。另外,也可以与车的前后、左右的行为相对应地配置行为信息的显示,这样能够使驾驶人得到直观的认识及操作。
接着,对前方有合流道路这种行驶环境以外的行驶环境的例子进行说明。
图8示出了行驶环境的第三个例子以及针对该例子的显示控制。图8的(a)是示出车辆1的行驶环境的俯视图。具体而言,图8的(a)示出的行驶环境是,前方车辆以比车辆1慢的速度行驶,且能够向相邻的车道进行车道变更。
车辆控制部7根据行驶状态以及周围的状况的信息,判断行驶环境为图8的(a)所示的行驶环境。在这种情况下,车辆控制部7将判断的行驶环境的信息作为文字信息89,使通知部92进行显示。
并且,作为与判断的行驶环境对应的行为的候补,车辆控制部7从存储部8读出3种行为的候补,这3种行为是指,超越前方车辆行驶、变更到相邻的车道行驶、使车辆1减速而追随前方车辆行驶。
于是,例如,前方车辆减速后的速度比规定值高且在容许范围的情况下,车辆控制部7将使车辆1减速,追随前方车辆行驶判断为最适合的行为,即判断为第一行为。
在此,关于3种行为的候补之中最适合的行为是哪个,可以根据行驶状态以及周围的状况的信息,采用对最适合的行为进行判断的以往技术来进行判断。并且,关于最适合的行为是哪个,可以预先决定,也可以将上次选择的行为的信息存储到存储部8,并将该行为判断为最适合的行为,也可以将过去的各行为被选择的次数存储到存储部8,将次数最多的行为判断为最适合的行为。
而且,车辆控制部7如图8的(b)所示,将示出第一行为的“追随”这一文字信息强调显示到显示区域89c,将示出第二行为的“超越”、“变更车道”这一文字信息分别显示到显示区域89a、89b。并且,车辆控制部7将示出切换为手动驾驶的“自动驾驶结束”这一显示,显示到显示区域89g。
可以将第一行为的信息配置在上方,将第二行为的信息配置在下方,并分别将选择功能分配到操作键51a、51c,也可以将超越行为的信息配置在上方,将追随行为的信息配置在下方,将右变更车道的行为的信息配置在右方,将左变更车道的行为的信息配置在左方,并分别将选择功能分配到操作键51a、51c、51b、51d,并且,也可以使他们能够切换,而另外显示是行动优先配置还是操作优先配置。而且,可以将第一行为的信息的显示大小增大,将第二行为的信息的显示大小减小。
图9示出了行驶环境的第四个例子以及针对该例子的显示控制。图9的(a)是示出车辆1的行驶环境的俯视图。具体而言,图9的(a)示出的行驶环境是,在与车辆1相同的车道的前方,车道减少的行驶环境。
车辆控制部7根据行驶状态以及周围的状况的信息,判断为行驶环境是图9的(a)所示的行驶环境。在这种情况下,车辆控制部7将判断的行驶环境的信息作为文字信息99,使通知部92进行显示。
并且,作为与判断的行驶环境对应的行为的候补,车辆控制部7从存储部8中读出两种行为的候补,这两种行为是指,变更到相邻的车道行驶、以及维持当前的车道行驶。
并且,车辆控制部7例如由于到车道减少位置的TTC比规定值短,因此判断变更到相邻的车道行驶为最适合的行为,即判断为第一行为。
在此,关于两种行为的候补之中最适合的行为是哪个,根据行驶状态以及周围的状况的信息,采用对最适合的行为进行判断的以往的技术来进行判断。并且,关于最适合的行为是哪个,可以是预先决定,也可以将上次选择的行为的信息存储到存储部8,并将该行为判断为最适合的行为,也可以将过去各行为被选择的次数存储到存储部8,并将次数最多的行为判断为最适合的行为。
而且,车辆控制部7如图9的(b)所示,将示出第一行为的“变更车道”这一文字信息强调显示到显示区域99b,将示出第二行为的“维持现状”这一文字信息显示到显示区域99c。并且,车辆控制部7将示出切换到手动驾驶的“自动驾驶结束”这一显示,显示到显示区域99g。
可以将第一行为的信息配置在上方,将第二行为的信息配置在下方,并分别将选择功能分配到操作键51a、51c,也可以将什么也不做的行为的信息配置在下方,将右变更车道的行为的信息配置到右方,左变更车道的行为的信息配置到左方,并分别将选择功能分配到操作键51c、51b、51d,并且也可以使他们能够切换,从而另外显示是行动优先配置还是操作优先配置。而且,可以使第一行为的信息的显示大小增大,使第二行为的信息的显示大小减小。并且,如图7、图8、图9所示,由于不同的行驶环境,因此在显示区域被分配了不同的功能,这样能够以较少的区域进行信息通知或操作。
在上述的说明中,对车辆控制部7按照行驶环境以及周围的状况的信息,使通知部92对行为进行通知的情况做了说明,不过,本发明并非受此所限。例如,可以在由驾驶人进行了规定的操作时,使通知部92进行行为的通知。
图10示出了行驶环境的第五个例子以及针对该例子的显示控制。图10的(a)是示出车辆1的行驶环境的俯视图。具体而言,在图10的(a)示出的行驶环境是,车辆1能够向左方和右方分别进行车道变更的行驶环境。
图10的(a)所示的行驶环境与图5的(a)~图9的(a)的情况不同,在此是不需要车道的变更或车辆的加速、减速的能够进行通常行驶的行驶环境。在这种情况下,车辆控制部7如图10的(b)的显示109所示,可以不必将行驶环境的信息作为文字信息来使通知部92显示。
这样,在通知部92没有进行文字信息显示的状况下,在驾驶人按下操作部51的任意的操作键的情况下,车辆控制部7从存储部8读出通常行驶中的行为的候补。
具体而言,在存储部8中,与图10的(a)所示的通常行驶的行驶环境相对应,存储有4种行为的候补,这4种行为是指,车辆1的加速、车辆1的减速、车辆1向右方的车道变更、车辆1向左方的车道变更。车辆控制部7将他们读出,并分别显示到通知部92的显示区域109a~109d。
并且,车辆控制部7在使示出切换为手动驾驶的“自动驾驶结束”这一显示,显示到显示区域99g的同时,使示出取消行为的更新的“取消”这一显示,强调显示到显示区域109e。
通过以上说明的本实施方式,能够有效地将在此之后将要执行的行为的候补通知给驾驶人,因此能够使驾驶人选择更好的行为。
另外,也可以取代选择驾驶人想要执行的行为,而直接进行方向盘等的手动操作。据此,驾驶人能够按照自己的想法,而尽快地切换为手动驾驶操作。
[变形例]
在以上说明的本实施方式中,通知部92中的显示虽然是文字信息,不过本发明并非受此所限。例如,也可以利用示出行为的符号,从视觉上显示给驾驶人。以下将要说明的例子是,将采用了在视觉上显示给驾驶人的符号的显示,作为针对图5以及图7的显示的例子。
图11示出了针对图5所示的行驶环境的第一个例子的其他的显示控制。在该例子中,上述的第一行为是变更到车辆1的右方的车道,第二行为是车辆1的加速、以及车辆1的减速。
在这种情况下,示出作为第一行为的“变更车道”的符号111被较大地显示在中央,示出作为第二行为的“车辆1的加速”的符号112、以及示出“车辆1的减速”的符号113被较小地显示在右方。并且,示出自动驾驶结束的符号114被较小地显示在左方。
并且,若在此状态下驾驶者没有接受到车辆1的行为的变更指示,则执行车道变更。
图12示出了针对图7所示的行驶环境的第二个例子的其他的显示控制。在该例子中,与上述的第一个例子不同,由于在车辆1的右方有其他的车辆行驶,因此不能变更车道。为此,例如“车辆1的减速”被设定为第一行为,“车辆1的加速”被设定为第二行为。
因此,在这种情况下,如图12的(a)所示,示出作为第一行为的“车辆1的减速”的符号121被较大地显示在中央,示出作为第二行为的“车辆1的加速”的符号122被较小地显示在右方。并且,示出自动驾驶结束的符号123被较小地显示在左方。
在此视为操作部51接受了来自驾驶者的“车辆1的加速”的选择操作。在这种情况下,如图12的(b)所示,示出作为第一行为的“车辆1的加速”的符号122’被较大地显示在中央,示出作为第二行为的“车辆1的减速”的符号121’被较大地显示在右方。
通过以上说明的本实施方式,能够有效将在此之后将要执行的行为的候补通知给驾驶人,从而能够使驾驶人选择更好的行为。另外,驾驶人能够掌握车辆执行的行为、或其他的能够选择的行为,从而能够放心地继续自动驾驶。或者,驾驶人能够顺利地向车辆发出指示。
并且,通过本实施方式,能够按照行驶环境,使通知部发出通知的选项变更,即可以使第二行为变更。
(实施方式2)
在实施方式1中说明的构成是,通过被设置在方向盘5的操作部51,来进行与通知部92的显示相对应的操作。在本实施方式中将要说明的构成是,取代被设置在方向盘5的操作部51,而设置触摸屏。
图13是示出包括本发明的实施方式2所涉及的信息通知装置的车辆1的主要部分的构成的方框图。另外,对于图13中与图1共同的构成赋予相同的符号,并省略详细说明。在图13所示的车辆1取代方向盘5的操作部51,而设置触摸屏10。
触摸屏10是由能够接受信息的显示与输入的液晶面板等构成的装置,与车辆控制部7连接。触摸屏10具备:显示部101,根据车辆控制部7的控制对信息进行显示;以及输入部102,接受来自驾驶人等的操作,并将接受的操作输出到车辆控制部7。
接着,对触摸屏10的显示控制进行说明。在此,对车辆1正行驶在三车道的中央,且能够向右方的车道及左方的车道的任一个进行车道变更的情况下的显示控制进行说明。
图14是对实施方式2中的触摸屏10的显示进行说明的图。图14的(a)是触摸屏10的显示部101的初始显示。车辆控制部7在判断为车辆1能够向右方的车道及左方的车道的任一个进行车道变更的情况下,使触摸屏10的显示部101执行如图14的(a)所示的显示。在此,显示区域121中的“Touch”这一显示表示,触摸屏10能够接受由驾驶人进行的触摸操作的模式。
驾驶人在图14的(a)所示的显示中,在进行触摸显示区域121的触摸操作的情况下,输入部102接受该操作,将示出该操作已经被执行的信息输出到车辆控制部7。车辆控制部7在接受该信息时,使显示部101显示图14的(b)所示的显示,并且,使通知部92显示图14的(c)所示的显示。
图14的(b)示出了显示区域121a,在该显示区域121a中显示了“Move”,其表示向车辆1指示移动的操作。并且,在图14的(b)示出了显示区域121b~121d,这些显示区域分别表示车辆1能够在三车道上行驶。另外,显示区域121b~121d分别与图14的(c)的箭头X、Y、Z所示的车道上的行驶相对应。
并且,使图14的(b)的各显示区域与图14的(c)的各箭头的形态(例如,颜色或配置等)保持一致。据此,能够成为易于驾驶人理解的显示。
并且,也可以是,改变箭头X、Y、Z所示的车道的宽度等,以能够对由车辆控制而判断的车辆执行的行为与驾驶人能够选择的行为进行区分的方式来进行显示。
驾驶人通过触摸显示区域121b~121d之中的、与想要行驶的车道对应的显示区域,从而对车辆1的行为进行选择。在这种情况下,输入部102接受驾驶人的行为的选择操作,并将被选择的行为的信息输出到车辆控制部7。并且,车辆控制部7对车辆1进行控制,以便执行被选择的行为。据此,成为车辆1行驶在驾驶人想要行驶的车道。
另外也可以是,驾驶人针对触摸屏10不是进行触摸操作,而是进行滑动操作。例如,在图14所示的例子中,在驾驶人想要变更到图14的(c)的箭头X所示的车道的情况下,驾驶人在触摸屏10进行向右方的滑动操作。
在这种情况下,输入部102接受滑动操作,将示出滑动操作的内容的信息输出到车辆控制部7。并且,车辆控制部7以选择了的行为被执行的方式来控制车辆1,选择了的行为是指,向箭头X所示的车道进行车道变更。
而且也可以是,在显示了示出指示车辆1移动的操作的“Move”的显示区域121a被示出时,以声音来提示“行为选择”等。据此,可以不必看手中的触摸屏,而仅以HUD的显示来进行操作。
并且,在进行触摸操作或滑动操作时,也可以使与选择的触摸屏的显示区域对应的车道的显示样态变更,以便在进行选择前能够确认哪个车道将被选择。例如可以是,在触摸显示区域b的瞬间,车道X的宽度增大,若立即使手移开,则车道X不被选择,车道X的宽度恢复到原来的状态,在将触摸移动到显示区域121c的瞬间,车道Y的宽度增大,若对该状态保持一定时间,则车道Y被选择,通过车道Y闪烁来传达已决定为车道Y。据此,可以不必目视手中,就能够进行选择或决定的操作。
另外,与实施方式1同样,可以按照行驶环境,将加速、减速、超越、以及维持现状等车辆控制功能分配到显示区域。
通过以上说明的本实施方式,可以取代操作部而设置触摸屏,从而使驾驶人进行直感的操作。并且,关于触摸屏,由于能够对接受操作的显示区域的数量、形状、颜色等自由地进行变更,从而能够提高用于界面的自由度。
(实施方式3)
在实施方式1中,对第一行为和第二行为同时被显示的情况进行了说明。在本实施方式中将要说明的构成是,首先,使通知部92显示第一行为,在接受到驾驶人的操作的情况下,使第二行为显示。
本实施方式所涉及的构成为,在实施方式1所说明的图1的构成基础上,在操作部51还包括对驾驶人是否握着方向盘5进行检测的把手传感器。
图15是对本发明的实施方式3中的通知部92的显示进行说明的图。在图15中示出的显示例子与图8的(a)所示的情况相同,在同一车道上行驶于车辆1的前方的车辆的行驶速度比车辆1慢、且能够向相邻的车道进行车道变更的行驶环境。
车辆控制部7在判断为行驶环境是图8的(a)所示的行驶环境的情况下,首先,使通知部92执行图15的(a)所示的显示。
在图15的(a)中,第一个规定时间经过之后执行的行为的候补之中、示出作为第一行为的“超越”的符号131以第一样态(例如,第一个颜色)示出。
车辆控制部7在图15的(a)所示的显示由通知部92执行后且经过了第二个规定时间的情况下,以与第一样态不同的第二样态(例如,与第一个颜色不同的第二个颜色)使通知部92显示符号131。在此,第二个规定时间与实施方式1所说明的第二个规定时间相同。
即,在符号131以第一样态被示出时,驾驶人能够进行第二行为的选择,但是,在符号131被变更为第二样态的情况下,驾驶人则不能进行第二行为的选择。
并且,在图15的(a)中示出方向盘形状的符号132,其表示能够选择第二行为。在符号132被显示的情况下,通过驾驶人握住方向盘5,从而第二行为被显示。符号132是示出能够选择第二行为的显示,通过符号131以第一样态来显示,从而可以向驾驶人示出能够进行第二行为的选择。在这种情况下,符号132也可以不被显示。
并且,在图15的(a)中示出符号133,表示目前处于自动驾驶状态。符号133是向驾驶人示出正在以自动驾驶来行驶的辅助显示,因此符号133也可以不被显示。
在针对图15的(a)的显示,驾驶人握住方向盘5的情况下,这一操作由把手传感器检测出,且该检测结果的信息被输出到车辆控制部7。在这种情况下,车辆控制部7使通知部92执行图15的(b)所示的显示。
在图15的(b)中与图15的(a)同样,以第一样态(例如,第一个颜色)示出符号131,该符号131示出作为第一行为的“超越”。并且,示出作为第二行为的“变更车道”的符号134、与示出作为第二行为的“减速”的符号135被示出。
驾驶人通过对方向盘5的操作部51进行操作,从而,从第一行为变更为第二行为。例如,驾驶人通过按下操作部51的操作键51a或操作键51c(参照图2的(c)),从而进行向“变更车道”(符号134)、或“减速”(符号135)的行为的更新。
并且,在图15的(b)中示出了符号136,该符号136示出车辆控制部7正在学习车辆1的行为。在符号136被显示的情况下,车辆控制部7学习驾驶人所选择的行为。符号136也可以不被显示。并且,学习也可以时常被执行。
即,车辆控制部7在驾驶人所选择的行为被存储到存储部8,接下来成为同样的行驶环境的情况下,将存储的行为作为第一行为,使通知部92进行显示。或者,车辆控制部7也可以事先将过去的各行为被选择的次数存储到存储部8,将次数最多的行为作为第一行为,来使通知部92显示。
并且,图15的(b)示出了符号137,该符号137示出不是自动驾驶状态。在符号137被显示的情况下,直到第一个规定时间经过后将要进行的行为由驾驶人选择为止,车辆控制部7待机。
针对图15的(b)所示的显示,在驾驶人按下操作部51的操作键51a并选择了“变更车道”的情况下,车辆控制部7接受该选择操作的信息,并使通知部92执行图15的(c)所示的显示。
在图15的(c)以第一样态示出符号134’,其表示“变更车道”。车辆控制部7在接受到对“变更车道”进行选择的选择操作的信息的情况下,将该被选择的行为判断为接下来将要进行的行为,使通知部92以第一样态显示示出“变更车道”的符号134’。
并且,图15的(c)的符号131’是,在图15的(b)中,作为第一行为而被显示的符号131被切换为符号134而被显示的。
并且,针对图15的(c)所示的显示,在驾驶人两次连续地按下操作键的任一个的情况下,可以取消驾驶人在此之前进行的选择操作。在这种情况下,车辆控制部7在接受到操作键的任一个被连续两次按下的操作的信息时,使通知部92执行从图15的(c)所示的显示向图15的(b)所示的显示的变更。
车辆控制部7在图15的(a)所示的显示由通知部92执行后,直到经过第二个规定时间之间,根据驾驶人的操作,使通知部92的显示变化为图15的(b)、图15的(c)。在此之后,车辆控制部7在图15的(a)所示的显示由通知部92执行且经过了第二个规定时间之后,使通知部92显示图15的(d)所示的显示。
另外,车辆控制部7在从把手传感器获得了示出驾驶人的手从方向盘5离开的信息的情况下,也可以在第二个规定时间经过之前,使通知部92显示图15的(d)所示的显示。
在此,在图15的(d)示出了接下来的行为,即示出驾驶人所选择的“变更车道”的符号134’以第二样态而被显示、并且示出正在以自动驾驶来行驶的符号133再次被显示的状态。
通过以上说明的本实施方式,车辆控制部7只有在驾驶人想要进行接下来将要执行的行为的情况下,对通知部92的显示进行变更,以便能够对其他的行为的候补进行确认。通过此构成,能够减少驾驶人进行目视的显示,从而能够减少给驾驶人带来的繁琐。
(实施方式4)
在本实施方式中将要说明的情况是,作为车辆1能够执行的多个行为的候补之中对最适合的行为是哪个进行判断的方法,采用通过预先学习而被构筑的神经网络(NN)。另外,将对上述的行为进行的判断,在此之后称为对行为进行估计。
图16是示出与本实施方式中的车辆控制部7的行为的估计有关的功能构成的一个例子的方框图。
车辆控制部7具备:行为学习部401、行为估计部402、以及行为估计结果接受部403。
行为学习部401根据特定的驾驶人(例如,驾驶人x)的驾驶履历,构筑驾驶人x的神经网络。并且,行为学习部401将该被构筑的神经网络作为行为估计NN,输出到行为估计部402。
驾驶履历按照过去由车辆1执行的行为,示出与该行为对应的多个特征量(以下称为特征量组)。与行为对应的多个特征量例如分别是,示出从车辆1执行其行为的时刻开始到上述的第一个规定时间前的时刻中的车辆1的行驶状态的量。例如,特征量是同乘人数、车辆1的速度、方向盘的动作、制动器的程度、或油门的程度等。并且,该驾驶履历可以是实施方式7的图55所示的驾驶特性模型。即,特征量例如是与速度有关的特征量、与转向有关的特征量、与操作时机有关的特征量、与车外检测有关的特征量、或与车内检测有关的特征量等。并且,这些特征量是由上述的检测部6检测出的车辆1的行驶状态。
行为估计部402通过将目前得到的特征量组作为测试数据,输入到由行为学习部401构筑的行为估计NN,从而将与该特征量组对应的行为作为行为估计结果来输出。即,行为估计部402例如对上述的第一个规定时间后的行为进行估计。
行为估计结果接受部403接受从行为估计部402输出的行为估计结果。行为估计结果接受部403将这样接受的行为估计结果输出到上述的信息获得部91。据此,行为估计结果由信息获得部91获得。
图17是用于说明行为学习部401的学习的图。
行为学习部401将特定的驾驶人(例如,驾驶人x)的驾驶履历中包含的特征量组,作为输入参数来获得。而且,行为学习部401将驾驶履历中包含的与特征量组对应的行为作为指导数据来获得。并且,行为学习部401根据该输入参数与指导数据,来调整神经网络。即,行为学习部401通过将输入参数输入到神经网络,从而以指导数据能够作为输出来获得的方式,对神经网络的权重等进行调整。通过这样的调整,行为学习部401使神经网络对输入参数与指导数据的关系进行学习,来构筑行为估计NN。
图18A示出了神经网络的学习。
行为学习部401将驾驶人x的驾驶履历中包含的、分别包括同乘人数以及速度等的多个输入参数,输入到神经网络。并且,行为学习部401对神经网络的权重进行最佳化,以使来自神经网络的输出、与该输入参数所对应的指导数据一致。据此,来构筑行为估计NN。
图18B示出了采用了行为估计NN的行为的估计。
行为估计部402将驾驶人x的当前的特征量组作为测试数据来获得,并将该测试数据输入到行为估计NN。并且,该测试数据中包含的各特征量是同乘人数以及速度等,与作为输入参数来应用的各特征量对应。据此,行为估计部402例如获得示出变更车道等行为估计结果,以作为行为估计NN的输出。
在该本实施方式中,由上述的实施方式1~3的任一个的信息通知装置9、行为学习部401、以及行为估计部402构成了信息处理***。即,本实施方式中的信息处理***具备:上述的实施方式1~3的任一个的信息通知装置9、行为学习部401、以及行为估计部402。行为学习部401利用驾驶履历,使神经网络对检测部6所检测出的车辆1的行驶状态与该车辆1的行驶状态之后被执行的车辆1的行为的关系进行学习。行为估计部402通过将检测部6所检测出的当前的车辆1的行驶状态输入到学习了的神经网络,从而对车辆1的行为进行估计。
据此,可以不必利用分群或类似度等,就能够对车辆1的行为进行确切地估计。另外,虽然本实施方式中的信息处理***具备信息通知装置9,但是也可以不具备该信息通知装置9,来确切地估计车辆1的行为。
在此,在上述的例子中,仅从特定的驾驶人的驾驶履历中来构筑神经网络,不过也可以利用其他的驾驶人的驾驶履历,即可以从多个驾驶人的驾驶履历中构筑神经网络。
图19是示出与本实施方式中的车辆控制部7的行为的估计有关的功能构成的其他的例子的方框图。
车辆控制部7利用多个驾驶人的驾驶履历,来构筑神经网络。该车辆控制部7具备:通用行为学习部411、通用行为估计部412、直方图生成部413、专用行为学习部414、专用行为估计部415、以及行为估计结果接受部416。在这样的车辆控制部7,首先利用多个驾驶人的驾驶履历,将通用的神经网络作为通用行为估计NN来构筑。并且,车辆控制部7通过转移学习,来构筑专用行为估计NN,所述转移学习是指,利用特定的驾驶人(例如,驾驶人x)的驾驶履历,使该通用行为估计NN进行再次学习。车辆控制部7利用该专用行为估计NN,对车辆1的行为进行估计。
通用行为学习部411根据多个驾驶人的驾驶履历,将通用的神经网络作为通用行为估计NN来构筑。并且,通用行为学习部411将该被构筑的通用行为估计NN输出到通用行为估计部412。
通用行为估计部412将特定的驾驶人(例如,驾驶人x)的驾驶履历中包含的行为作为指导数据来获得。而且,通用行为估计部412将驾驶履历中包含的与该行为对应的特征量组作为输入参数来获得。通用行为估计部412将输入参数输入到通用行为估计NN,将来自该通用行为估计NN的输出作为假定行为估计结果,输出到直方图生成部413。并且,通用行为估计部412也将该指导数据输出到直方图生成部413。
直方图生成部413获得指导数据的行为以及与该行为对应的假定行为估计结果,生成示出针对该指导数据的行为的假定行为估计结果的累积值的假定行为直方图。
专用行为学习部414根据该假定行为直方图,以使通用行为估计NN的输出与指导数据的一致度增高的方式,对通用行为估计NN的权重进行再次学习,来构筑专用行为估计NN。
专用行为估计部415将特定的驾驶人(例如,驾驶人x)在当前获得的特征量组作为测试数据,输入到通过专用行为学习部414而被构筑的专用行为估计NN。其结果是,专用行为估计部415获得从专用行为估计NN输出的针对该特征量组的行为,并将该行为作为行为估计结果来输出。即,专用行为估计部415例如对上述的第一个规定时间后的行为进行估计。
行为估计结果接受部416接受从专用行为估计部415输出的行为估计结果。行为估计结果接受部416将这样接受的行为估计结果输出到上述的信息获得部91。据此,行为估计结果由信息获得部91获得。
图20是用于说明通用行为学习部411的学习的图。
通用行为学习部411将多个驾驶人的驾驶履历中包含的特征量组作为输入参数来获得。而且,通用行为学习部411将驾驶履历中包含的与该特征量组相对应的行为作为指导数据来获得。并且,通用行为学习部411根据该输入参数和指导数据,对神经网络进行调整。即,通用行为学习部411通过将输入参数输入到神经网络,以指导数据能够作为输出来得到的方式,对神经网络的权重等进行调整。通过这样的调整,通用行为学习部411能够使神经网络对输入参数与指导数据的关系进行学习。
图21A示出了通用行为学习部411中的神经网络的学习。
通用行为学习部411将任意的驾驶人的驾驶履历中包含的、分别含有同乘人数以及速度等的多个输入参数,输入到神经网络。并且,通用行为学习部411对神经网络的权重进行最佳化,以使从神经网络的输出与该输入参数所对应的指导数据一致。这种最佳化不仅基于一个驾驶人的驾驶履历,而且基于多个驾驶人的驾驶履历而被执行。据此,通用行为估计NN被构筑。
图21B示出了采用了通用行为估计NN的行为的估计。
通用行为估计部412利用由通用行为学习部411构筑的通用行为估计NN,对假定的行为进行估计。即,通用行为估计部412将特定的驾驶人(例如,驾驶人x)的驾驶履历中包含的特定的行为(例如变更车道)作为指导数据来获得,将与该行为对应的特征量组作为输入参数来获得。在驾驶履历中,与该特定的行为建立了对应的特征量组若为多个,则通用行为估计部412将这些多个特征量组分别作为输入参数来获得。
并且,通用行为估计部412将这些输入参数依次输入到通用行为估计NN。据此,通用行为估计部412针对作为特定的行为的指导数据(例如变更车道),不仅是变更车道,例如将也包括超越的彼此不同的估计结果作为假定行为估计结果来获得。
直方图生成部413生成针对作为特定的行为的指导数据(例如变更车道)的假定行为估计结果的直方图(假定行为直方图)。该假定行为直方图示出,作为通用行为估计NN的输出而得到的假定行为估计结果的累积值。
图22示出了专用行为估计NN的构筑方法。
专用行为学习部414在图22的(a)所示的假定行为直方图被生成时,再次学习通用行为估计NN的权重,以便提高通用行为估计NN的输出与指导数据(在该例子中为变更车道)的一致度。据此,专用行为学习部414如图22的(b)所示,构筑只是指导数据的行为(例如变更车道)作为估计结果而被输出的专用行为估计NN。这种再次学习不仅针对一个指导数据,而且也针对其他的多个指导数据的每一个执行。即,专用行为学习部414通过转移学习,来构筑针对特定的驾驶人的专用的神经网络。
图23示出了采用了专用行为估计NN的行为的估计。
专用行为估计部415将驾驶人x当前的特征量组作为测试数据来获得,并将该测试数据输入到专用行为估计NN。另外,该测试数据中包含的各特征量为同乘人数以及速度等,与作为输入参数而被利用的各特征量相对应。据此,专用行为估计部415获得例如示出变更车道等行为估计结果,以作为专用行为估计NN的输出。
这样,本实施方式中的信息处理***具备:通用行为学习部411、专用行为学习部414、通用行为估计部412、专用行为估计部415、以及直方图生成部413。通用行为学习部411针对多个驾驶人的每一个,使神经网络学习由检测部6所检测出的车辆1的行驶状态与在该车辆1的行驶状态之后执行的车辆1的行为的关系。通用行为估计部412将针对特定的驾驶人而由检测部6检测出的车辆1的行驶状态,输入到由通用行为学习部411学习的神经网络,据此,对针对该特定的驾驶人的车辆1的假定的行为进行估计。直方图生成部413生成由通用行为估计部412进行假定的行为的估计结果的直方图。专用行为学习部414利用针对特定的驾驶人而由检测部6检测出的车辆1的行驶状态、与该车辆1的行驶状态之后被执行的车辆1的行为,使进行了学习的神经网络再次学习,通过这种转移学习,来构筑针对特定的驾驶人的专用的神经网络。此时,专用行为学习部414通过参照了被生成的直方图的转移学习,来构筑专用的神经网络。专用行为估计部415利用该专用的神经网络,对针对特定的驾驶人的车辆1的行为进行估计。
据此,即使在特定的驾驶人的驾驶履历中所包含的行为和特征量组少的情况下,由于采用了多个驾驶人的驾驶履历,因此能够确切地估计针对特定的驾驶人的车辆1的行为。
[变形例1]
在此,在上述的例子中,利用驾驶履历构筑了神经网络。在本变形例中,利用实施方式7的图60或图61所示的行驶履历,构筑神经网络。
图24是示出与本变形例中的车辆控制部7的行为的估计有关的功能构成的一个例子的方框图。
车辆控制部7具备:行为学习部421、行为估计部422、以及行为估计结果接受部423。
行为学习部421根据特定的驾驶人(例如,驾驶人x)的行驶履历,来构筑驾驶人x的神经网络。于是,行为学习部421将该被构筑的神经网络作为行为估计NN而输出到行为估计部422。
行驶履历是针对过去由车辆1执行的行为,而示出与每个行为对应的多个环境参数(以下称为环境参数集)。与行为对应的多个环境参数例如分别是,示出从该行为由车辆1执行的时刻开始,到上述的第一个规定时间前的时刻中车辆1的环境(周围的状况)的参数。例如,环境参数是自身车辆的速度Va、相对于自身车辆的前方车辆的相对速度Vba、以及前方车辆与自身车辆之间的车间距离DRba等。并且,这些环境参数是由上述的检测部6检测出的车辆1的周围的状况。
行为估计部422将当前得到的环境参数集作为测试数据,输入到由行为学习部421构筑的行为估计NN,据此,将该环境参数集所对应的行为,作为行为估计结果来输出。即,行为估计部422例如对上述的第一个规定时间后的行为进行估计。
行为估计结果接受部423接受从行为估计部422输出的行为估计结果。行为估计结果接受部423将这样接受的行为估计结果输出到上述的信息获得部91。据此,行为估计结果由信息获得部91获得。
图25是用于说明行为学习部421的学习的图。
行为学习部421将特定的驾驶人(例如,驾驶人x)的行驶履历中包含的环境参数集,作为输入参数来获得。而且,行为学习部421将行驶履历中包含的与该环境参数集对应的行为,作为指导数据来获得。并且,行为学习部421根据该输入参数与指导数据,对神经网络进行调整。即,行为学习部421通过将输入参数输入到神经网络,对神经网络的权重等进行调整,以便将指导数据作为输出来获得。通过进行这样的调整,行为学习部421使神经网络学习输入参数与指导数据的关系,从而构筑行为估计NN。
图26A示出了神经网络的学习。
行为学习部421将驾驶人x的行驶履历中包含的多个输入参数输入到神经网络,所述多个输入参数分别包括自身车辆的速度Va以及前方车辆的相对速度Vba等。于是,行为学习部421对神经网络的权重进行最佳化,以使来自神经网络的输出与该输入参数所对应的指导数据一致。据此,构筑了行为估计NN。
图26B示出了采用了行为估计NN的行为的估计。
行为估计部422将驾驶人x的当前的环境参数集作为测试数据来获得,并将该测试数据输入到行为估计NN。另外,该测试数据中包含的各环境参数是自身车辆的速度Va以及前方车辆的相对速度Vba等,与作为输入参数而被采用的各环境参数对应。据此,行为估计部422获得例如示出减速等行为估计结果,以作为行为估计NN的输出。
在这种本变形例中,由上述的实施方式1~3的任一个的信息通知装置9、行为学习部421、以及行为估计部422构成了信息处理***。即,本实施方式中的信息处理***具备:上述的实施方式1~3的任一个的信息通知装置9、行为学习部421、以及行为估计部422。行为学习部421利用行驶履历,使神经网络学习由检测部6检测出的车辆1的周围的状况与该车辆1的周围的状况之后执行的车辆1的行为的关系。行为估计部422通过将检测部6所检测的当前的车辆1的行驶状态输入到学习的神经网络,从而对车辆1的行为进行估计。
据此,可以不必利用分群或类似度等,就能够确切地估计车辆1的行为。另外,本变形例中的信息处理***虽然具备信息通知装置9,不过即使不具备该信息通知装置9,也能够确切地对车辆1的行为进行估计。
在此,在上述的例子中,虽然是仅从特定的驾驶人的行驶履历中来构筑神经网络的,不过也可以利用其他的驾驶人的行驶履历,即可以利用多个驾驶人的行驶履历来构筑神经网络。
图27是示出与本实施方式中的车辆控制部7的行为的估计有关的功能构成的其他的例子的方框图。
车辆控制部7利用多个驾驶人的行驶履历,构筑神经网络。该车辆控制部7具备:通用行为学习部431、通用行为估计部432、直方图生成部433、专用行为学习部434、专用行为估计部435、以及行为估计结果接受部436。在这种车辆控制部7,首先利用多个驾驶人的行驶履历,将通用的神经网络作为通用行为估计NN来构筑。并且,车辆控制部7通过转移学习,来构筑专用行为估计NN,该转移学习是指,利用特定的驾驶人(例如,驾驶人x)的行驶履历,使该通用行为估计NN进行再次学习。车辆控制部7利用该专用行为估计NN,对车辆1的行为进行估计。
通用行为学习部431根据多个驾驶人的行驶履历,将通用的神经网络作为通用行为估计NN来构筑。于是,通用行为学习部431将该被构筑的通用行为估计NN输出到通用行为估计部432。
通用行为估计部432将特定的驾驶人(例如,驾驶人x)的行驶履历中包含的行为作为指导数据来获得。并且,通用行为估计部432将行驶履历中包含的与该行为对应的环境参数集作为输入参数来获得。通用行为估计部432将输入参数输入到通用行为估计NN,并将该通用行为估计NN的输出作为假定行为估计结果输出到直方图生成部433。并且,通用行为估计部432也将该指导数据输出到直方图生成部433。
直方图生成部433获得指导数据的行为、以及与该行为对应的假定行为估计结果,生成示出针对该指导数据的行为的假定行为估计结果的累积值的假定行为直方图。
专用行为学习部434根据该假定行为直方图,以使通用行为估计NN的输出与指导数据的一致度增高的方式,对通用行为估计NN的权重进行再次学习,并构筑专用行为估计NN。
专用行为估计部435将特定的驾驶人(例如,驾驶人x)的当前得到的环境参数集作为测试数据,输入到由专用行为学习部434构筑的专用行为估计NN。其结果是,专用行为估计部435获得从专用行为估计NN输出的、针对该环境参数集的行为,并将该行为作为行为估计结果来输出。即,专用行为估计部435例如对上述的第一个规定时间后的行为进行估计。
行为估计结果接受部436接受从专用行为估计部435输出的行为估计结果。行为估计结果接受部436将这样接受的行为估计结果输出到上述的信息获得部91。据此,行为估计结果由信息获得部91获得。
图28是对通用行为学习部431的学习进行说明的图。
通用行为学习部431将多个驾驶人的行驶履历中包含的环境参数集作为输入参数来获得。并且,通用行为学习部431将行驶履历中包含的与该环境参数集对应的行为,作为指导数据来获得。并且,通用行为学习部431根据该输入参数和指导数据,对神经网络进行调整。即,通用行为学习部431通过将输入参数输入到神经网络,从而以指导数据能够作为输出来获得的方式,对神经网络的权重等进行调整。通过这样的调整,通用行为学习部431使神经网络学习输入参数与指导数据的关系。
图29A示出了通用行为学习部431中的神经网络的学习。
通用行为学习部431将任意的驾驶人的行驶履历中包含的多个输入参数输入到神经网络,所述多个输入参数分别包括自身车辆的速度Va以及前方车辆的相对速度Vba等。并且,通用行为学习部431对神经网络的权重进行最佳化,以使来自神经网络的输出与该输入参数所对应的指导数据一致。这种最佳化不仅基于一个驾驶人的行驶履历,而且也基于多个驾驶人的行驶履历。据此,构筑了通用行为估计NN。
图29B示出采用了通用行为估计NN的行为的估计。
通用行为估计部432利用由通用行为学习部431构筑的通用行为估计NN,对假定的行为进行估计。即,通用行为估计部432将特定的驾驶人(例如,驾驶人x)的行驶履历中包含的特定的行为(例如减速)作为指导数据来获得,将与该行为对应的环境参数集作为输入参数来获得。在行驶履历中,若与该特定的行为对应的环境参数集为多个,则通用行为估计部412将这些多个环境参数集的每一个作为输入参数来获得。
并且,通用行为估计部432将这些输入参数依次输入到通用行为估计NN。据此,通用行为估计部432针对作为特定的行为的指导数据(例如减速),不仅是减速,例如将也包括变更车道的彼此不同的估计结果作为假定行为估计结果来获得。
直方图生成部433生成针对作为特定的行为的指导数据(例如减速)的假定行为估计结果的直方图(假定行为直方图)。该假定行为直方图示出,作为通用行为估计NN的输出而得到的假定行为估计结果的累积值。
图30示出专用行为估计NN的构筑方法。
专用行为学习部434在图30的(a)所示的假定行为直方图被生成时,对通用行为估计NN的权重进行再次学习,以使通用行为估计NN的输出与指导数据(在该例子中为减速)一致度增高。据此,专用行为学习部434如图30的(b)所示,构筑仅以指导数据的行为(例如减速)作为估计结果而被输出的专用行为估计NN。这种再次学习不仅针对一个指导数据,而且也针对其他的多个指导数据的每一个执行。即,专用行为学习部434通过转移学习,来构筑针对特定的驾驶人的专用的神经网络。
图31示出利用了专用行为估计NN的行为的估计。
专用行为估计部435将驾驶人x的当前的环境参数集作为测试数据来获得,将该测试数据输入到专用行为估计NN。并且,该测试数据中包含的各环境参数是自身车辆的速度Va以及前方车辆的相对速度Vba等,与作为输入参数而被利用的各环境参数相对应。据此,专用行为估计部435例如获得示出减速等的行为估计结果,以作为专用行为估计NN的输出。
据此,本实施方式中的信息处理***具备:通用行为学习部431、专用行为学习部434、通用行为估计部432、专用行为估计部435、以及直方图生成部433。通用行为学习部431针对多个驾驶人的每一个,使神经网络学习由检测部6检测出的车辆1的周围的状况与该车辆1的周围的状况之后被执行的车辆1的行为的关系。通用行为估计部432通过将针对特定的驾驶人而由检测部6检测出的车辆1的周围的状况,输入到由通用行为学习部431学习的神经网络,从而对针对该特定的驾驶人的车辆1的假定的行为进行估计。直方图生成部433生成由通用行为估计部432进行的假定的行为的估计结果的直方图。专用行为学习部434利用针对特定的驾驶人而由检测部6检测出的车辆1的周围的状况、以及在该车辆1的周围的状况之后被执行的车辆1的行为,通过使学习的神经网络进行再次学习,即通过这种转移学习,来构筑针对特定的驾驶人的专用的神经网络。在此,专用行为学习部434通过参照了被生成的直方图的转移学习,来构筑专用的神经网络。专用行为估计部435利用该专用的神经网络,对针对特定的驾驶人的车辆1的行为进行估计。
据此,即使在特定的驾驶人的行驶履历中包含的行为和特征量组少的情况下,由于采用了多个驾驶人的行驶履历,从而也能够确切地估计针对特定的驾驶人的车辆1的行为。
[变形例2]
在本变形例中,对被估计的行为进行评价,在对评价结果进行再次学习的同时,根据评价结果,对是否将该被估计的行为输出到上述的信息获得部91进行切换。
图32是示出与本变形例中的车辆控制部7的行为的估计有关的功能构成的一个例子的方框图。
车辆控制部7具备:行为学习部401、行为估计部402、评价部441、以及开关442。另外,在图32中虽然没有进行图示,车辆控制部7与实施方式4同样,具备行为估计结果接受部403。
行为估计部402如上述的实施方式4所示,输出车辆1的行为估计结果。
评价部441算出车辆1的当前的行为、与从该行为估计部402输出的行为估计结果的变化量。并且,评价部441对该变化量与阈值进行比较,在变化量超过阈值的情况下,即在车辆1的行为发生急剧变化的情况下,使该行为估计结果无效。相反,评价部441在变化量为阈值以下的情况下,即在车辆1的行为进行缓慢的变化的情况下,使该行为估计结果有效。并且,评价部441将示出行为估计结果是否有效的控制信号输出到开关442以及行为学习部401。
开关442在控制信号示出有效的情况下,将从行为估计部402输出的行为估计结果输出到行为估计结果接受部403。相反,开关442在控制信号示出无效的情况下,禁止该行为估计结果向行为估计结果接受部403的输出。
行为学习部401在控制信号示出无效的情况下,使行为估计NN进行再次学习,以使该行为估计结果不从与该行为估计结果对应的测试数据中输出。
图33是示出与本变形例中的车辆控制部7的行为的估计有关的功能构成的其他的例子的方框图。
车辆控制部7具备:驾驶人员模范行为估计部443、行为估计部402、评价部441、开关442a、以及开关442b。另外,虽然在图33没有进行图示,车辆控制部7与实施方式4同样,具备:行为学习部401以及行为估计结果接受部403。
开关442a获得示出行驶环境、驾驶人的驾驶特性的特征量、或环境参数等用于行为的估计的数据,并将该数据分配到驾驶人员模范行为估计部443或行为估计部402进行输出。
驾驶人员模范行为估计部443经由开关442a接受行驶环境等数据,利用该数据、以及实施方式7中的分群型或个别适应型的驾驶人员模范,对车辆1的行为进行估计。该行为的估计方法如实施方式7所示。
行为估计部402经由开关442a接受特征量等数据,利用该数据以及行为估计NN,对车辆1的行为进行估计。该行为的估计方法如实施方式4所示。
评价部441如以上所述,判断为从行为估计部402输出的行为估计结果是否有效,将示出该判断结果的控制信号输出到开关442a、442b。
开关442b按照来自评价部441的控制信号,将被输出到行为估计结果接受部403的行为估计结果,切换为由驾驶人员模范行为估计部443进行的行为估计结果、以及由行为估计部402进行的行为估计结果。即,在该控制信号示出行为估计部402的行为估计结果为有效的情况下,开关442b将行为估计部402的行为估计结果输出到行为估计结果接受部403。并且,在该控制信号示出行为估计部402的行为估计结果为无效的情况下,开关442b将驾驶人员模范行为估计部443的行为估计结果输出到行为估计结果接受部403。
这样,本变形例所涉及的信息处理***进一步具备评价部441,对由行为估计部402估计的行为是否有效进行判断,在判断为有效的情况下,使信息获得部91获得该被估计的行为。即,评价部441在判断为有效的情况下,输出该被估计的行为。
据此,能够防止不恰当的行为由通知部92通知。
另外,虽然评价部441根据车辆1的当前的行为、与从该行为估计部402输出的行为估计结果的变化量,对行为估计部402的行为估计结果的有效性进行了判断,不过也可以根据其他的基准来进行该有效性的判断。例如,在不能变更车道的状况下而估计到变更车道的情况下,评价部441使该变更车道的行为估计结果无效。
并且,在上述的例子中,评价部441虽然对行为估计部402的行为估计结果进行了评价,不过,也可以对行为估计部422、专用行为估计部415、或专用行为估计部435的行为估计结果进行评价。或者,评价部441可以对驾驶人员模范行为估计部443的行为估计结果进行评价。或者,评价部441可以对驾驶人员模范行为估计部443的行为估计结果以及行为估计部402的行为估计结果分别进行评价。在这种情况下,评价部441将示出被评价为有效的行为估计结果的控制信号输出到开关442b。据此,被评价为有效的行为估计结果经由开关442b以及行为估计结果接受部403,被输出到信息获得部91。
并且,开关442b在接受到控制信号的情况下,也可以按照该控制信号,对被输入到驾驶人员模范行为估计部443以及行为估计部402的数据进行分配。在这种情况下,开关442b以使数据不会被输入到输出了由该控制信号示出无效的行为估计结果的行为估计部的方式,对该数据进行分配。
(实施方式5)
本实施方式中的车辆与实施方式4同样,虽然是利用神经网络(NN)来对该车辆的行为进行估计的,不过具有特征之处是,根据驾驶人的输入来对该被估计的行为进行评价,使再次学习中反映该评价结果。
图34示出了本实施方式中的信息处理***的设计思路。
在机械学习中,对学习用数据没有误运算,以100%的正确状态来获得,这在现实中是非常困难的。并且,将100%正确的数据以几万或几十万的量来大量汇集也是非常困难的。
因此,学习用数据中含有噪声,该噪声会造成学习引擎发生误差。即,构筑100%完美的机械学习是不现实的。
因此,本实施方式中的自动驾驶控制***设置与应用的目的(即自动驾驶)相对应的评价函数,以使该评价函数最大化的方式,对学习数据或学习引擎的方式进行修正。
并且,本实施方式中的自动驾驶控制***是包括实施方式4中的行为学习部401以及行为估计部402等各构成要素的***,即是包括进行行为的学习,并根据该学习结果,对行为进行估计的各构成要素的***。并且,本实施方式中的信息处理***包括这样的自动驾驶控制***、以及图13所示的信息通知装置9和触摸屏10。
图35是用于说明上述的学习用数据以及学习引擎的估计结果中的误差的图。另外,在图35中为了对该误差进行说明,将图24以及图25等所示的环境参数或环境参数集作为学习用数据的一个例子来示出。并且,该环境参数是由上述的检测部6检测出的车辆1的周围的状况。
例如图35所示,在行为学习部对过于大量的数据进行处理的情况下,对该数据的妥当性进行一个一个地验证是非常困难的。即,由检测部6生成的数据中有可能包含误差。具体而言,即使检测部6将前方车辆与自身车辆之间的车间距离DRba检测为“5”,但是该车间距离DRba会是错误的,正确的有可能是“4”。并且,在作为行为学习部的学习引擎的学习方式出现问题,也有降低行为的估计精确度的情况。
本实施方式中的自动驾驶控制***即使在由这样的检测部6生成的数据中出现错误或误差,或者在学习方式中出现问题,也能够抑制行为的估计精确度的降低。以下,针对这种自动驾驶控制***的构成以及处理工作进行详细说明。
图36示出了本实施方式中的车辆内的***构成。
车辆1A与实施方式2的图13所示的车辆1相同,具备:制动踏板2、油门踏板3、转向指示器控制杆4、方向盘5、检测部6、车辆控制部7、存储部8、信息通知装置9、以及触摸屏10。而且,车辆1A具备:学习部501、驾驶行动预测部502以及自动驾驶评价部503。本实施方式中的自动驾驶控制***由学习部501、驾驶行动预测部502以及自动驾驶评价部503构成,也可以具备车辆1A所包括的其他的构成要素。并且,在本实施方式中,对于与其他的实施方式共同之处省略或简化说明,对不同之处进行详细说明。
车辆控制部7根据车辆1A的行驶状态以及周边的状况,对行驶环境进行判断。具体而言,车辆控制部7从制动踏板2、油门踏板3、转向指示器控制杆4、以及方向盘5获得行驶状态。并且,车辆控制部7从检测部6获得周边的状况(环境参数等)。并且,车辆控制部7将获得的行驶状态以及周边的状况作为行驶履历存放到存储部8。
学习部501对车辆1A的行为进行学习。驾驶行动预测部502利用该学习结果,对与周围的状况相对应的车辆1A的行为进行估计。车辆控制部7将该被估计的行为作为估计行为,显示到触摸屏10的显示部101。此时,车辆控制部7将与该估计行为不同的至少一个行为作为行为候补,显示到显示部101。
触摸屏10的输入部102接受由驾驶人输入的车辆1A的行为。即,由显示部101显示的至少一个行为候补中的任一个由驾驶人选择时,输入部102将由驾驶人选择的行为候补作为输入行为来接受。
在此,由触摸屏10的输入部102接受的输入行为是,针对由显示部101显示的估计行为(驾驶行动)的驾驶人的评价结果。在估计行为由车辆1A执行的状况由驾驶人接受的情况下,输入部102不接受输入行为。并且,在不是估计行为,而是与该估计行为不同的行为由车辆1A执行的状况被驾驶人期望的情况下,输入部102将其行为(行为候补)作为输入行为来接受。该输入行为接受意味着,由驾驶行动预测部502进行的行为的估计结果(预测结果)是错误的。
因此,本实施方式中的自动驾驶评价部503对针对该行为的估计中所利用的环境参数的行为的标记进行订正,并使学习部501再次进行学习。或者,自动驾驶评价部503使驾驶行动预测部502的预测方式变更。
图37是示出本实施方式中的自动驾驶控制***的功能构成的方框图。并且,在图37省略了自动驾驶评价部503。
在本实施方式中的自动驾驶控制***中与实施方式4同样,具备:通用行为学习部431、通用行为估计部432、直方图生成部433、专用行为学习部434、专用行为估计部435以及行为估计结果接受部436。并且,图36所示的学习部501包括:通用行为学习部431、直方图生成部433以及专用行为学习部434,驾驶行动预测部502包括:通用行为估计部432以及专用行为估计部435。
在此,例如,专用行为学习部434对“维持速度”进行估计,以作为行为估计结果(估计行为)。
图38示出了由触摸屏10进行的显示以及输入的行为的一个例子。
如图37所示,在维持速度作为行为估计结果而被估计时,触摸屏10的显示部101将维持速度作为估计行为(行为估计结果)进行显示的同时,对与估计行为不同的至少一个行为候补进行显示。在此,例如,驾驶人不希望被显示的估计行为由车辆1A执行,通过对输入部102进行操作,从而能够将与估计行为一同被显示的至少一个行为候补之中的一个行为候补“减速”,作为输入行为来选择。据此,输入部102将“减速”作为输入行为来接受。
这样,输入行为“减速”不同于估计行为“维持速度”。即,该输入行为“减速”的接受意味着,由驾驶行动预测部502进行的行为的估计结果“维持速度”是错误的。
在本实施方式中的自动驾驶控制***,在驾驶人作为输入行为而指示了与估计行为不同的“减速”的情况下,将该输入行为“减速”作为由专用行为学习部434进行的专用行为估计NN的微调的拘束条件。
图39是用于说明本实施方式中的微调的图。
在微调中,输入行为“减速”作为针对环境参数的正确标记而被建立对应,所述环境参数是上述的估计行为“维持速度”的估计中利用的测试数据。即,专用行为学习部434将估计行为“维持速度”的估计中所利用的环境参数作为输入参数来使用,将输入行为“减速”作为与该输入参数相对应的指导数据来使用,对通用行为估计NN的权重进行再次学习。通过该再次学习,来构筑专用行为估计NN,与此同时,专用行为估计NN被微调。另外,即使在该再次学习中也与实施方式4同样,根据假定行为直方图,以使通用行为估计NN的输出与指导数据的一致度增高的方式,使通用行为估计NN的权重再次学习。
这样,输入行为“减速”作为正确标记,而被适用于由专用行为学习部434进行的微调。
图40示出了本实施方式中的车辆1A内的详细的***构成。
自动驾驶评价部503具备比较部503a。比较部503a对由驾驶行动预测部502中的专用行为估计部435估计的行为(即,上述的估计行为)、与由输入部102接受的输入行为进行比较。例如,比较部503a对估计行为“维持速度”与输入行为“减速”进行比较。并且,输入行为从输入部102经由车辆控制部7,被通知到自动驾驶评价部503的比较部503a。
比较部503a在将该比较的结果判断为估计行为与输入行为不同时,将输入行为(例如“减速”)作为正确标记,输入到学习部501的专用行为学习部434。通过该输入,从而由专用行为学习部434进行的专用行为估计NN的微调被执行。
图41示出了专用行为估计NN的构筑方法。
专用行为学习部434与实施方式4同样,使通用行为估计NN的权重进行再次学习,以便在图41的(a)所示的假定行为直方图被生成时,使通用行为估计NN的输出与指导数据(在该例子中为,维持速度)的一致度增高。据此,专用行为学习部434如图41的(b)所示,对仅以指导数据的行为(例如维持速度)为估计结果而被输出的专用行为估计NN进行构筑。这种再次学习不仅是针对一个指导数据,也针对其他的多个指导数据的每一个执行。即,专用行为学习部434通过转移学习,对针对特定的驾驶人的专用的神经网络进行构筑。
图42示出了基于专用行为估计NN的输入行为的再次学习。
专用行为学习部434如图42的(a)所示,通过转移学习,对专用行为估计NN进行构筑,该专用行为估计NN是针对特定的驾驶人的专用的神经网络。利用了这样被构筑的专用行为估计NN的估计结果与估计行为“维持速度”不同,即与输入部102接受的输入行为“减速”不同。即,估计行为“维持速度”是错误的。
因此,专用行为学习部434将由比较部503a输入的正确标记“减速”、与在估计行为“维持速度”的估计中所使用的作为测试数据的环境参数集建立对应,并添加到行驶履历。并且,专用行为学习部434在进行了该添加的行驶履历中,利用作为正确标记的行为“减速”所对应的多个环境参数集,使通用行为估计NN的权重进行再次学习。即,专用行为学习部434使通用行为估计NN的权重进行再次学习,以使正确标记的频度(累积值)超过其他的标记(行为)的频度(累积值)。其结果是,专用行为估计NN被更新,从而构筑估计精确度提高了的专用行为估计NN。
这样,在本实施方式中的信息处理***中具备:输入部102,接受由特定的驾驶人输入的车辆1A的行为;以及自动驾驶评价部503,根据由输入部102接受的车辆1A的行为,来评价由驾驶行动预测部502估计的车辆1A的行为。自动驾驶评价部503在评价由驾驶行动预测部502估计的车辆1A的行为中有错误的情况下,使作为行为学习部的学习部501执行再次学习,该再次学习是采用了由输入部102接受的车辆1A的行为、与车辆1A的行为的估计时由检测部6检测出的车辆1A的周围的状况即环境参数的神经网络的再次学习。
据此,即使在由检测部6检测出的周边的状况中含有误差,也能够提高驾驶行动的预测精确度,即能够提高车辆1A的行为的估计精确度。
(实施方式6)
本实施方式中的车辆与实施方式4同样,利用专用行为估计NN来对该车辆的行为进行估计,但是在与车辆进行行驶的场景相对应地切换专用行为估计NN之处具有特征。
在本实施方式中,在学习用数据只能收集少量的情况下,利用转移学习,将大量的转移源的知识导出到转移目的地。因此,按照每个转移目的地的被提供的少量的学习用数据群,生成多个转移目的地的知识。例如,能够生成市区(涩谷交叉路口等存在大量的步行者的场所)中的知识、与地方的闲散地(几乎没有步行者的场所)中的知识。或者,能够生成晴天时的知识、以及雨天时的知识。或者,能够生成交通堵塞时的知识、以及没有发生堵塞通常时的知识。另外,该知识相当于上述的专用行为估计NN。
但是,在生成的转移目的地的知识为多个的情况下,需要从这些知识中选择在行为的估计中使用的知识。
因此,在本实施方式中的自动驾驶控制***中,将车辆行驶的场景,即环境、天气、堵塞状况等作为知识选择的开关来利用。另外,在本实施方式中,对于与其他的实施方式共同之处的说明进行省略或简化,对不同之处进行详细说明。
图43示出了本实施方式中的多个知识(NN)。
在本实施方式中的自动驾驶控制***,通过采用了车辆在市区行驶时的行驶履历(数据群)的转移学习,从转移源知识(通用行为估计NN)中来构筑用于市区的转移目的地知识(专用行为估计NN)。同样,自动驾驶控制***通过采用了车辆在地方的闲散地行驶时的行驶履历(数据群)的转移学习,来构筑用于地方的闲散地的转移目的地知识(专用行为估计NN)。并且,自动驾驶控制***通过采用了车辆的周围发生堵塞时的行驶履历(数据群)的转移学习,来构筑用于堵塞的转移目的地知识(专用行为估计NN)。
图44示出了本实施方式中的车辆内的***构成。
车辆1B与实施方式5的图36所示的车辆1A同样,具备:制动踏板2、油门踏板3、转向指示器控制杆4、方向盘5、检测部6、车辆控制部7、存储部8、信息通知装置9、触摸屏10、以及自动驾驶评价部503。并且,车辆1B不仅具备外部环境信息获得部504,而且取代学习部501以及驾驶行动预测部502,还具备学习部501a以及驾驶行动预测部502a。本实施方式中的自动驾驶控制***由学习部501a、驾驶行动预测部502a以及自动驾驶评价部503构成,也可以具备车辆1B所包括的其他的构成要素。并且,本实施方式中的信息处理***包括这样的自动驾驶控制***和信息通知装置9。
外部环境信息获得部504例如通过VICS(注册商标)(Vehicle Information andCommunication System)来获得堵塞信息,而且例如经由互联网,通过通信来获得天气信息。另外,将堵塞信息以及天气信息以下统称为外部环境信息。
学习部501a具备与实施方式4的学习部501相同的功能,并且将车辆1B行驶时的场景所对应的专用行为估计NN作为专用知识来确定。具体而言,学习部501a根据由位置信息获得部61获得的位置信息、由地图信息获得部64获得的地图信息、以及由外部环境信息获得部504获得的堵塞信息,来确定场景。并且,学习部501a从多个专用知识中选择与该被确定的场景相对应的专用知识,即选择专用行为估计NN,并将该被选择的专用行为估计NN输出到驾驶行动预测部502a。
这样,本实施方式中的学习部501a从位置信息获得部61、地图信息获得部64以及外部环境信息获得部504,获得位置信息、地图信息以及外部环境信息,以作为用于对专用知识进行切换的控制信号。
驾驶行动预测部502a具备与实施方式4的驾驶行动预测部502相同的功能,并且获得从学习部501a输出的专用行为估计NN。并且,驾驶行动预测部502a利用上述获得的专用行为估计NN,来进行行为的估计(即,驾驶行动的预测)。
图45是示出本实施方式中的自动驾驶控制***的功能构成的方框图。并且,在图45中省略了自动驾驶评价部503。
本实施方式中的自动驾驶控制***与实施方式5相同,具备:通用行为学习部431、通用行为估计部432、直方图生成部433、以及行为估计结果接受部436。并且,本实施方式中的自动驾驶控制***取代实施方式5的专用行为学习部434以及专用行为估计部435,而具备专用行为学习部434a以及专用行为估计部435a。另外,图45所示的学习部501a包括:通用行为学习部431、直方图生成部433以及专用行为学习部434a,驾驶行动预测部502a包括:通用行为估计部432、以及专用行为估计部435a。
专用行为学习部434a在进行学习时,从特定的驾驶人的行驶履历中,按照各个场景而利用在该场景中获得的环境参数集以及行为,来构筑与该场景对应的专用行为估计NN。并且,在进行行为的估计时,专用行为学习部434a在接收到上述的控制信号时,对与该控制信号对应的场景进行确定,并选择与该场景对应的专用行为估计NN。专用行为学习部434a将选择的专用行为估计NN输出到专用行为估计部435a。
专用行为估计部435a在从专用行为学习部434a获得被选择的专用行为估计NN时,利用被选择的专用行为估计NN,对与测试数据对应的车辆1B的行为进行估计。
图46是用于说明由本实施方式中的专用行为学习部434a进行的学习的图。
在机械学习中由于采用了大量的数据,通常在NN(神经网络)的更新中需要相当多的时间。并且,机械学习中还需要计算机的计算能力。
因此,典型的是,通用行为学习部431将行驶时被蓄积到存储部8的行驶履历,在行驶结束后(例如,回家后)传送到服务器,获得从服务器发送的其他的驾驶人的行驶履历,对通用行为估计NN进行更新。并且,专用行为学习部434a获得被更新的通用行为估计NN,从该通用行为估计NN中构筑专用行为估计NN。通过该构筑,已经被构筑的专用行为估计NN被更新,或者新建的专用行为估计NN被添加。
并且,在该构筑中,专用行为学习部434a按照各个场景,来更新或生成与该场景对应的专用行为估计NN。在此,场景由过去获得的外部环境信息、地图信息以及位置信息示出。例如,场景是1月1日获得的上述的各信息所示出的“晴天、白天、堵塞、4车道以及市区01”。即,在该场景中,在车辆1B行驶的位置,天气为晴天,时间段为白天,交通状况为堵塞,道路的车道数为4,并且地区类别为市区01。专用行为学习部434a针对这种场景,更新或生成专用行为估计NN“NN0001”。即,专用行为学习部434a通过仅利用与该场景对应的行驶履历,来更新或生成与该场景对应的专用行为估计NN“NN0001”。而且,专用行为学习部434a对于其他的场景也是同样,构筑或生成与该场景对应的专用行为估计NN(例如“NN0002”)。
图47是用于说明由本实施方式中的专用行为学习部434a进行的专用行为估计NN的选择的图。
专用行为学习部434a具备专用行为估计NN选择部505。该专用行为估计NN选择部505在车辆1B正在行驶时,从位置信息获得部61、地图信息获得部64以及外部环境信息获得部504分别接收位置信息、地图信息以及外部环境信息,以作为控制信号。并且,专用行为估计NN选择部505对由接收的控制信号示出的场景进行确定。专用行为估计NN选择部505选择与该被确定的场景对应的专用行为估计NN。例如,该被确定的场景若为“晴天、夜间、通常、2车道、市区23”,专用行为估计NN选择部505从多个专用行为估计NN的中,选择与该场景对应的专用行为估计NN“NN0002”。并且,专用行为学习部434a将被选择的专用行为估计NN“NN0002”输出到专用行为估计部435a。据此,专用行为估计部435a利用该专用行为估计NN“NN0002”,对车辆1B的行为进行估计,即对驾驶行动进行预测。
在这样的本实施方式中,专用行为学习部434a按照车辆1B行驶的场景,构筑与该场景对应的针对特定的驾驶人的专用的神经网络。并且,专用行为学习部434a从多个专用的神经网络中,选择与车辆1B行驶的当前的场景对应的专用的神经网络,利用被选择的专用的神经网络,对针对特定的驾驶人的车辆1B的行为进行估计。
据此,能够按照场景来选择恰当的神经网络,能够提高各场景中的车辆1B的行为的估计精确度,即能够提高驾驶行动的预测精确度。
[实施方式4~6的总结]
图48A示出本发明的一个形态所涉及的信息处理***的构成。
该信息处理***1000具备:检测部1001、行为学习部1002、以及行为估计部1003。
检测部1001例如是实施方式1~3中的检测部6,对车辆1的周围的状况或车辆1的行驶状态之中的至少一个进行检测,即对车辆环境状况进行检测。行为学习部1002是实施方式4~6中的行为学习部401或421。该行为学习部1002使神经网络学习,由检测部1001检测出的车辆环境状况与在该车辆环境状况之后执行的车辆1的行为的关系。
行为估计部1003是实施方式4~6中的行为估计部402或422。该行为估计部1003通过将由检测部1001检测出的当前的车辆环境状况输入到进行了学习的神经网络,从而对车辆1的行为进行估计。
并且,信息处理***1000还可以具备通知部,该通知部将由行为估计部1003估计的行为,在该行为被执行之前通知给驾驶人。该通知部例如是实施方式1~3中的通知部92。
据此,由于估计的行为被通知,因此能够容易地事先使驾驶人掌握是哪个行为被执行,从而能够解消驾驶人的不安。
并且,检测部1001、行为学习部1002以及行为估计部1003的全部或一部分具备在车辆中,也可以在该车辆的外部。在信息处理***1000中包括的这些构成要素之中的一部分的构成要素具备在车辆中,剩余的一部分构成要素在车辆的外部的情况下,车辆的内外的构成要素例如通过经由网络进行通信,从而能够执行上述的各处理。
图48B是本发明的一个形态所涉及的信息处理方法的流程图。
该信息处理方法包括步骤S1001、S1002以及S1003。
在步骤S1001,对车辆1的周围的状况或车辆1的行驶状态中的至少一个即车辆环境状况进行检测。在步骤S1002,使神经网络学习检测出的车辆环境状况、与在该车辆环境状况之后执行的车辆1的行为的关系。在步骤S1003,通过将检测出的当前的车辆环境状况输入到学习的神经网络,从而对车辆1的行为进行估计。
据此,由于利用神经网络对车辆1的行为进行估计,因此能够确切地估计该车辆1的行为(即驾驶行动)。
(实施方式7)
在上述的实施方式1~3,对车辆1能够执行的多个行为的候补之中最适合的行为是哪个的若干个判断方法进行了说明。并且,在实施方式4~6,作为对最适合的行为进行判断的方法,对采用神经网络的情况进行了说明。在本实施方式中,作为对最适合的行为进行判断的方法,对采用通过预先学习而被构筑的驾驶人员模范的情况进行说明。
在此,对驾驶人员模范的构筑方法进行说明。驾驶人员模范是将按照行驶环境的驾驶人进行操作的倾向,基于各操作的频度的信息等进行了模型化后的示范。驾驶人员模范是通过对多个驾驶人的行驶履历进行汇集,而由汇集了的行驶履历构筑的。
驾驶人的行驶履历例如是与各行驶环境对应的行为的候补之中、驾驶人实际选择的行为的频度按照每个行为的候补而汇集的履历。
图49示出了行驶履历的一个例子。图49示出了,驾驶人x在“接近合流道路”这种行驶环境下,将“减速”、“加速”、“变更车道”这种行为的候补分别选择了3次、1次、5次。并且,图49示出了,驾驶人X在“前方有慢速车”这种行驶环境下,将“追随”、“超越”、“变更车道”这种行为的候补分别选择2次、2次、1次。驾驶人y也是同样。
驾驶人的行驶履历可以对自动驾驶中选择的行为进行汇集,也可以对驾驶人在手动驾驶中实际采取的行为进行汇集。据此,能够收集按照了自动驾驶或手动驾驶这种驾驶状态的行驶履历。
驾驶人员模范中具有分群型和个别适应型,所述分群型是指,对多个驾驶人员的行驶履历进行分群来构筑,个别适应型是指,从与特定的驾驶人(例如,驾驶人x)的行驶履历类似的多个行驶履历中,对驾驶人x的驾驶人员模范进行构筑。
首先,对分群型进行说明。在分群型的驾驶人员模范的构筑方法中,对图49所示的多个驾驶人的行驶履历预先进行汇集。并且,对彼此的行驶履历的类似度高的多个驾驶人、即对具有类似的驾驶操作倾向的多个驾驶人进行分组后,构筑驾驶人员模范。
图50示出了分群型的驾驶人员模范的构筑方法。在图50中,驾驶人a~f的行驶履历以表的形式示出。并且示出了,从驾驶人a~f的行驶履历中,模型A由驾驶人a~c的行驶履历构筑,模型B由驾驶人d~f的行驶履历构筑。
行驶履历的类似度例如可以是,将驾驶人a与驾驶人b的行驶履历中的各频度(各数值)作为频度分布来处理,算出彼此的频度分布的相关值,并将算出的相关值作为类似度。在这种情况下,例如在从驾驶人a与驾驶人b的行驶履历中算出的相关值比规定值高的情况下,将驾驶人a与驾驶人b的行驶履历分成一个组。
另外,针对类似度的算出并非受此所限。例如也可以是,在驾驶人a与驾驶人b的各行驶履历中,根据频度最高的行为一致的数量,算出类似度。
并且,分群型的驾驶人员模范例如在各组内的驾驶人的行驶履历中,通过算出各自的频度的平均来构筑。
图51示出了被构筑的分群型的驾驶人员模范的一个例子。在图50所示的各组内的驾驶人的行驶履历中,通过算出各自的频度的平均,从而导出各组的行驶履历的平均频度。这样,分群型的驾驶人员模范由针对各个行驶环境而决定的行为的平均频度来构筑。
并且,驾驶人员模范也可以从算出的平均频度中,以频度最高的来构筑。图52示出了被构筑的分群型的驾驶人员模范的另外的一个例子。如图52所示,按每个行驶环境选择出频度最高的行为,从被选择的行为中构筑驾驶人员模范。
在此举例对构筑的分群型的驾驶人员模范的使用方法进行说明。
图51所示的驾驶人员模范被预先存储到车辆1的存储部8。并且,车辆控制部7将驾驶人y过去驾驶时的行驶履历存储到存储部8。另外,驾驶人y的检测是通过被设置在车内的摄像机等(未图示)来执行的。
并且,车辆控制部7算出驾驶人y的行驶履历与驾驶人员模范的各模型的行驶履历的类似度,判断哪个模型最适合驾驶人y。例如,在图49所示的驾驶人y的行驶履历和图51所示的驾驶人员模范的情况下,车辆控制部7判断模型B最适合驾驶人y。
车辆控制部7在实际进行自动行驶时,在模型B的各行驶环境中,判断频度最高的行为是最适合驾驶人y的行为、即判断为第一行为。
这样,通过预先从多个驾驶人的行驶履历构筑驾驶人员模范,从而能够向驾驶人通知合适的行为。
例如图49所示,针对驾驶人y的行驶履历中的“前方有慢速车”这一行驶环境的行为的频度为0,即,驾驶人在“前方有慢速车”这一行驶环境中,即使没有选择“追随”、“超越”、“变更车道”这种行为的情况下,车辆控制部7也能够基于图51所示的模型B,在“前方有慢速车”这一行驶环境中,将“追随”判断为第一行为。
接着,对个别适应型进行说明。个别适应型的驾驶人员模范的构筑方法与分群型的情况相同,预先汇集图49所示的多个驾驶人的行驶履历。在此,与分群型的情况的不同之处是,按照每个驾驶人来构筑驾驶人员模范。以下以针对驾驶人y来构筑驾驶人员模范的例子进行说明。
首先,从汇集的多个驾驶人的行驶履历中提取与驾驶人y的行驶履历的类似度高的多个驾驶人的行驶履历。并且,从提取的多个驾驶人的行驶履历构筑驾驶人y的驾驶人员模范。
图53示出了个别适应型的驾驶人员模范的构筑方法。在图53中与图50同样,驾驶人a~f的行驶履历以表的形式来示出。并且,图53中示出了从图49所示的驾驶人y的行驶履历与类似度高的驾驶人c~e的行驶履历中,构筑驾驶人y的驾驶人员模范。
个别适应型的驾驶人员模范在提取的各驾驶人的行驶履历中,通过算出各自的频度的平均来进行构筑。
图54示出了被构筑的个别适应型的驾驶人员模范的一个例子。在图49所示的驾驶人y的行驶履历、以及图53所示的驾驶人c~e的行驶履历中,按照行驶环境,来导出各行为的平均频度。这样,针对驾驶人y的个别适应型的驾驶人员模范,以与各行驶环境对应的行为的平均频度来构筑。
在此,以构筑的个别适应型的驾驶人员模范的使用方法为例进行说明。
图54所示的驾驶人y的驾驶人员模范被预先存储在车辆1的存储部8。并且,车辆控制部7将驾驶人y过去驾驶时的行驶履历存储到存储部8。另外,关于驾驶人y的检测,可以由被设置在车内的摄像机等(未图示)来执行。
并且,车辆控制部7在实际自动行驶时,在驾驶人y的驾驶人员模范的各行驶环境中,判断频度最高的行为是最适合驾驶人y的行为,即判断为第一行为。
这样,通过预先从多个驾驶人的行驶履历中构筑驾驶人个人的驾驶人员模范,从而能够将更加适合于驾驶人的行为通知给驾驶人。
例如图49所示,即使针对驾驶人y的行驶履历中“前方有慢速车”这一行驶环境的行为的频度为0,即驾驶人在“前方有慢速车”这一行驶环境,没有选择“追随”、“超越”、“变更车道”这样的行为的情况下,车辆控制部7也能够根据图54所示的驾驶人员模范,在“前方有慢速车”这种行驶环境中,将“变更车道”判断为第一行为。
接着将要说明的情况是,获得驾驶人的驾驶特性(驾驶的习惯),并进行依照了驾驶人的嗜好的自动驾驶的情况。一般而言,针对一个行为(例如,变更车道)的实际工作(例如,加速、减速的大小、或方向盘的操作量)会因驾驶人而不同。为此,通过进行依照了驾驶人的嗜好的自动驾驶,从而能够实现针对于驾驶人而言的舒适快捷的行驶。
并且,在以下的说明中,虽然对在手动驾驶中获得驾驶人的驾驶特性,并将获得的驾驶特性反映到自动驾驶时的情况进行说明,但是本发明并非受此所限。
车辆控制部7从驾驶人的车辆1的各部的操作内容中,提取示出驾驶人的驾驶特性的特征量,并存储到存储部8。在此,特征量例如是与速度有关的特征量、与转向有关的特征量、与操作时机有关的特征量、与车外检测有关的特征量、与车内检测有关的特征量等。
与速度有关的特征量例如有车辆的速度、加速、减速等,这些特征量从车辆所具有的速度传感器等来获得。
与转向有关的特征量例如有转向的角度、角速度、各加速度等,这些特征量从方向盘5中获得。
与操作时机有关的特征量例如有制动器、油门、转向指示器控制杆、方向盘的操作时机等,这些特征量分别从制动踏板2、油门踏板3、转向指示器控制杆4、方向盘5中获得。
与车外检测有关的特征量例如有与存在于前方、侧方、后方的车辆的车间距离等,这些特征量从传感器62中获得。
与车内检测有关的特征量例如是个人识别信息,其示出驾驶人是谁、以及同乗者是谁,这些特征量从被设置在车内的摄像机等中获得。
例如,在驾驶人以手动来变更车道的情况下,车辆控制部7对驾驶人以手动变更了车道之状况进行检测。在检测方法中,通过预先将变更车道的操作时间序列模式进行规则化,从而对从CAN信息等获得的操作时间序列数据进行分析,以进行检测。此时,车辆控制部7获得上述的特征量。车辆控制部7按照驾驶人将特征量存储到存储部8,构筑驾驶特性模型。
另外也可以是,车辆控制部7根据每个驾驶人的特征量,构筑上述的驾驶人员模范。即,车辆控制部7提取与速度有关的特征量、与转向有关的特征量、与操作时机有关的特征量、与车外检测有关的特征量、与车内检测有关的特征量,并存储到存储部8。并且,根据被存储在存储部8的特征量,构筑对按照行驶环境的驾驶人进行操作的倾向与各操作的频度的信息建立了对应的驾驶人员模范。
图55示出了驾驶特性模型的一个例子。在图55中,以表的形式示出了按照每个驾驶人的特征量。并且,在图55示出了按照每个驾驶人的过去选择了各行为的次数。关于特征量虽然仅记载了一部分,也可以是上述列举的任一个或全部。
对图55中记载的特征量进行详细说明。速度的数值是按照实际的速度分阶段表示的数值。方向盘、制动器、油门的数值是将操作量分阶段进行表示的数值。这些数值例如是通过算出过去的规定期间内的速度、方向盘、制动器、油门的操作量的平均值,并将该平均值分阶段来表示而得到的。
例如,在图55中,驾驶人x在没有同乗者的状态下进行车道变更的情况下,速度的级别为8,方向盘、制动器、油门的操作量的级别分别为4、6、8。
在自动驾驶时,车辆控制部7按照驾驶人是谁、执行了哪样的行为、以及同乗者是谁,从图55所示的驾驶特性模型的中选择与驾驶人、行为、以及同乗者对应的驾驶特性模型。
并且,车辆控制部7以与选择了的驾驶特性模型对应的速度使车辆1行驶,或者,以方向盘、制动器、油门的操作量以及时机的组合,来控制车辆1。据此,能够进行依照了驾驶人的嗜好的自动驾驶。并且,图55所示的驾驶特性模型的信息能够使通知部92来通知。
图56是对本发明的实施方式7中的通知部92的显示进行说明的图。图56是针对图5所示的行驶环境的第一个例子的显示。
图56的(a)是不需要车道的变更或车辆的加速、减速的进行通常行驶的状态下的通知部92的显示。在图56的(a)中示出了符号231和符号232,符号231表示驾驶人的驾驶特性是“减速较多”的驾驶特性,符号232表示现在为自动驾驶中。
车辆控制部7根据例如图55示出的驾驶特性模型中包含的各行为过去被选择的次数,来判断驾驶人的驾驶特性。在这种情况下,车辆控制部7例如针对驾驶特性中“减速”多的(即,选择了“减速”这一行为的次数多的)驾驶人,使通知部92进行包括图56所示的符号231的显示。
并且,车辆控制部7在判断行驶环境为图5所示的第一个例子的行驶环境的情况下,车辆控制部7根据驾驶人的驾驶特性为“减速较多”的驾驶特性,将第一行为判断为“减速”,使通知部92执行图56的(b)的显示。
在图56的(b)以第一样态(例如,第一个颜色)示出了符号233,符号233示出了作为第一行为的“减速”。并且示出表示作为第二行为的“加速”的符号234、以及表示作为第二行为的“变更车道”的符号235。
在驾驶人通过实施方式1所说明的操作,进行了“加速”的行为变更的情况下,车辆控制部7使通知部92执行图56的(c)的显示。
在图56的(c)以第一样态示出了符号234’,符号234’表示被选择的行为是“加速”。并且,符号233’是对图56的(b)中的作为第一行为而被显示的符号233与符号234进行了替换的显示。
之后,车辆控制部7在使通知部92执行图56的(a)所示的显示,经过了第二个规定时间之后,使通知部92进行图56的(d)所示的显示。在此,在图55的(d)以第二样态显示了符号234’,符号234’示出驾驶人所选择的“加速”,以作为下一个行为。
车辆控制部7在接下来的行为被决定为“加速”的情况下,读出驾驶特性模型中包含的与“加速”的行为对应的特征量,对车辆1进行控制,以便执行反映了这些特征量的“加速”。
图57是对本发明的实施方式7中的通知部92的显示进行说明的图。图57是针对图7所示的行驶环境的第二个例子的显示。并且,在图57中,对于与图56共同的构成赋予相同的符号,并省略详细说明。图57与图56的不同之处是,删除了示出“变更车道”的符号235。
如以上所述,在第二个例子(图7)中,与第一个例(图5)不同,由于在车辆1的右方有其他的车辆行驶,因此不能进行车道变更。为此,在图57的(b)、(c)没有示出“变更车道”。并且,在图57的(c)的例子中,与图56的(c)的情况相同,由于选择了“加速”,因此车辆控制部7与图56所示同样,读出驾驶特性模型中包含的与“加速”的行为相对应的特征量,对车辆1进行控制,以便执行反映了这些特征量的“加速”。
图58是对本发明的实施方式7中的通知部92的显示进行说明的图。图58是针对图8所示的行驶环境的第三个例子的显示。
图58的(a)与图56的(a)相同。车辆控制部7在判断为是图8所示的第三个例子的行驶环境的情况下,车辆控制部7根据驾驶人的驾驶特性为“减速较多”的驾驶特性,将第一行为判断为“减速”,使通知部92执行图58的(b)的显示。
在图58的(b)以第一样态(例如,第一个颜色)示出了符号251,该符号251示出了作为第一行为的“减速”。并且示出了符号252和符号253,符号252示出了作为第二行为的“超越”,符号253示出了作为第二行为的“变更车道”。
驾驶人在通过实施方式1所说明的操作进行了变更为“超越”的行为的情况下,车辆控制部7使通知部92执行图58的(c)的显示。
在图58的(c)以第一样态示出了符号252’,该符号252’示出作为被选择的行为的“超越”。并且,符号251’是对图58的(b)的作为第一行为而被显示的符号251替换为符号252的显示。
之后,车辆控制部7在使通知部92执行图58的(a)所示的显示且经过了第二个规定时间之后,使通知部92进行图58的(d)所示的显示。在此,在图55的(d)以第二样态显示作为下一个行为的符号252’,该符号252’示出驾驶人所选择的“超越”。
车辆控制部7在决定为接下来的行为是“超越”的情况下,读出驾驶特性模型中包含的“超越”的行为所对应的特征量,对车辆1进行控制,以执行反映了这些特征量的“加速”。
接着,对驾驶人的驾驶特性不是“减速多”的驾驶特性的情况下的显示例子进行说明。
图59是对本发明的实施方式7中的通知部92的显示进行说明的图。图59是针对图5所示的行驶环境的第一个例子的显示。另外,图59的(a)示出的例子是驾驶人的驾驶特性为“加速多”的驾驶特性的情况,图59的(b)示出的例子是驾驶人的驾驶特性为“车道变更多”的驾驶特性的情况。
图59的(a)示出了符号261,该符号261示出驾驶人的驾驶特性为“加速多”的驾驶特性。并且,以第一样态(例如,第一个颜色)示出了符号262,该符号262示出作为第一行为的“加速”。并且,示出了符号263和符号264,符号263示出作为第二行为的“变更车道”,符号264示出作为第二行为的“减速”。
车辆控制部7例如针对驾驶特性中过去“加速”多的(即过去选择“加速”这一行为的次数多的)驾驶人,使通知部92执行包括图59的(a)所示的符号261的显示。并且,车辆控制部7根据驾驶人的驾驶特性为“加速多”的驾驶特性,判断第一行为为“加速”,使通知部92执行图59的(a)的显示。
图59的(b)示出了符号265,该符号265示出驾驶人的驾驶特性为“车道变更多”的驾驶特性。并且,以第一样态(例如,第一个颜色)示出符号266,该符号266示出作为第一行为的“变更车道”。并且,示出符号267和符号268,符号267示出作为第二行为的“变更车道”,符号268示出作为第二行为的“减速”。
车辆控制部7例如针对驾驶特性中过去“变更车道”多的(即过去选择“变更车道”这一行为的次数多的)驾驶人,使通知部92执行包括图59的(b)所示的符号265的显示。车辆控制部7根据驾驶人的驾驶特性为“车道变更多”的驾驶特性,将第一行为判断为“变更车道”,使通知部92执行图59的(b)的显示。
上述的说明中仅使用了驾驶特性模型,也可以考虑驾驶人员模范,并且可以在图56、图58、图59中,符号231示出从驾驶人的操作履历中选择的驾驶人员模范的种类。例如,在图5所示的行驶环境的第一个例子中,针对适用于经常选择“减速”的驾驶人员的驾驶人员模范,使通知部92执行包括图56所示的符号231的显示,将第一行为判断为“减速”。针对适用于经常选择“加速”的驾驶人员的驾驶人员模范,使通知部92执行包括图59的(a)所示的符号261的显示,将第一行为判断为“加速”。针对适用于经常选择“变更车道”的驾驶人员的驾驶人员模范,使通知部92执行包括图59的(a)所示的符号261的显示,将第一行为判断为“变更车道”。
通过以上说明的本实施方式,在决定车辆将来的行为时,能够学习驾驶人的过去的行驶履历,并将其结果反映到将来的行为决定中。并且,在车辆控制部对车辆进行控制时,能够学习驾驶人的驾驶特性(驾驶嗜好),并反映到车辆的控制中。
据此,车辆能够以驾驶人或乘坐人嗜好的时机或操作量对自动驾驶进行控制,这样不会失去驾驶人实际上进行手动驾驶的情况下的感觉,并且能够抑制自动驾驶中的因驾驶人进行的不必要的操作干涉。
另外,在本发明中也可以使云服务器等服务器装置执行与车辆控制部7执行的功能同样的功能。并且,存储部8也可以不在车辆1中,而可以在云服务器等服务器装置中。或者,存储部8存储已经被构筑的驾驶人员模范,车辆控制部7参照被存储在存储部8的驾驶人员模范,来判断行为。
这样,在实施方式7中,车辆控制部7获得示出驾驶人的驾驶特性的特征量的信息,存储部8存储该特征量的信息,车辆控制部7根据被存储在存储部8的特征量的信息,按照车辆的行驶环境来构筑将驾驶人所选择的车辆的行为的倾向以被选择的各行为的频度来表示的驾驶人员模范。
并且,车辆控制部7从多个驾驶人中决定选择了类似的行为的驾驶人的组,并按组、按车辆的行驶环境来构筑驾驶人员模范。
并且,车辆控制部7按照进行类似的操作的驾驶人的组,算出各驾驶人所选择的行为的频度的平均值,按照车辆的行驶环境来构筑将驾驶人所选择的车辆的行为的倾向以算出的平均值来表示的驾驶人员模范。
并且,车辆控制部7根据具有与特定的驾驶人所选择的车辆的行为的倾向类似的倾向的其他的驾驶人所选择的车辆的行为,按照车辆的行驶环境来构筑将上述的特定的驾驶人所选择的车辆的行为的倾向以被选择的各行为的频度来表示的驾驶人员模范。
通过以上所述,车辆控制部7能够构筑更加适合驾驶人的驾驶倾向的驾驶人员模范,并能够根据构筑的驾驶人员模范,进行更适合于驾驶人的自动驾驶。
(驾驶人员模范的变形例)
并且,上述说明的驾驶人员模范虽然是将按照行驶环境的由驾驶人进行的操作(行为)的倾向,根据各操作的频度的信息等进行了模型化,但是本发明并非受此所限。
例如,驾驶人员模范可以根据对示出过去行驶的行驶环境(即,局面)的环境参数、与在该行驶环境中驾驶人实际选择的操作(行为)建立了对应的行驶履历来构筑。通过将环境参数编入到驾驶人员模范,从而能够不必特别地进行行驶环境的检测与分类,也不必进行将该分类结果输入到驾驶人员模范(存储)的手续,就能够决定选项。具体而言,通过将图56、图57所示的行驶环境的不同,作为环境参数来获得,并直接输入(存储)到驾驶人员模范,从而在图56中,“加速”、“减速”、“变更车道”成为选项,在图57中,“加速”、“减速”成为选项。以下对构筑这种驾驶人员模范的情况进行说明。另外,以下将要说明的驾驶人员模范也可以称为局面数据库。
在此,对用于构筑本变形例中的驾驶人员模范的行驶履历进行说明。图60示出了行驶履历的一个例子。在图60中示出了行驶履历,该行驶履历使示出驾驶人x所驾驶的车辆过去行驶的行驶环境的环境参数、与在该行驶环境中驾驶人实际所选择的操作(行为)建立了对应。
图60所示的行驶履历的(a)~(c)的环境参数分别示出了,例如图8的(b)、图5的(b)、图7的(b)中所示的向驾驶人提示车辆的行为时的行驶环境。该行驶履历的环境参数可以从检测信息以及基础设施信息中得到。
检测信息是车辆所具有的传感器或雷达等检测到的信息。基础设施信息是GPS的信息、地图信息、由道路与车辆间通信获得的信息等。
例如,图60所示的行驶履历的环境参数包括:自身车辆的信息、前方车辆的信息、侧方车道的信息、合流车道的信息、以及位置信息,“前方车辆的信息”示出在自身车辆a所行驶的车道的前方行驶的车辆的信息,“侧方车道的信息”示出自身车辆所行驶的车道的侧方车道的信息,“合流车道的信息”在自身车辆所行驶的位置有合流车道的情况下,示出该合流车道的信息,“位置信息”示出自身车辆的位置及其周围的信息。并且,也可以包括后方车辆的信息。在这种情况下,也可以利用后方车辆与自身车辆的相对速度、车头间距离、车头间距离的变化率等。并且,也可以包括车辆的存在的信息。
例如,“自身车辆的信息”包括自身车辆的速度Va的信息。“前方车辆的信息”包括:相对于自身车辆的前方车辆b的相对速度Vba、前方车辆与自身车辆的车间距离DRba、前方车辆的大小的变化率RSb的信息。
在此,自身车辆的速度Va由自身车辆所具有的速度传感器检测。相对速度Vba、车间距离DRba由传感器或雷达等来检测。大小的变化率RSb由RSb=-Vba/DRba这一关系式算出。
“侧方车道的信息”包括:在侧方车道,行驶在自身车辆的后方的侧后方车辆c的信息;在侧方车道,行驶在自身车辆的前方的侧前方车辆d的信息;以及针对自身车辆的残存侧方车道长DRda的信息。
侧后方车辆的信息包括:相对于自身车辆的侧后方车辆的相对速度Vca、侧后方车辆与自身车辆的车头间距离Dca、车头间距离的变化率Rca的信息。侧后方车辆与自身车辆的车头间距离Dca是指,在沿着自身车辆(以及侧后方车辆)的行驶方向的方向上,测量的自身车辆的前端部(车头)与侧后方车辆的前端部(车头)之间的距离。另外,车头间距离也可以从车间距离以及车辆长度来算出。并且,车头间距离也可以由车间距离替代。
在此,相对速度Vca、车头间距离Dca由传感器或雷达等来检测。车头间距离的变化率Rca由Rca=Vca/Dca这一关系式算出。
并且,侧前方车辆的信息包括:相对于自身车辆的侧前方车辆的相对速度Vda、侧前方车辆与自身车辆的车头间距离Dda、以及车头间距离的变化率Rda的信息。侧前方车辆与自身车辆的车头间距离Dda是沿着自身车辆(以及侧前方车辆)的行进方向而测量的自身车辆的前端部(车头)与侧前方车辆的前端部(车头)之间的距离。
相对速度Vda、车头间距离Dda由传感器或雷达等来检测。并且,车头间距离的变化率Rda由Rda=Vda/Dda这一关系式算出。
自身车辆的残存侧方车道长DRda是示出向侧方车道进行车道变更的可能性的高低的参数。具体而言,针对自身车辆的残存侧方车道长DRda是指,在沿着自身车辆(以及侧前方车辆)行进方向的方向上测量的自身车辆的前端部(车头)与侧前方车辆的后端部之间的距离,比前方车辆与自身车辆的车间距离DRba长的情况下,则为自身车辆的前端部(车头)与侧前方车辆的后端部之间的距离,在自身车辆的前端部(车头)与侧前方车辆的后端部之间的距离比DRba短的情况下,则为DRba。自身车辆的残存侧方车道长DRda由传感器或雷达等来检测。
“合流车道的信息”包括:相对于自身车辆的合流车辆的相对速度Vma、合流车辆与自身车辆的车头间距离Dma、车头间距离的变化率Rma的信息。在此,合流车辆与自身车辆的车头间距离Dma是在沿着自身车辆(以及合流车辆)的行进方向的方向上,测量的自身车辆的前端部(车头)与合流车辆的前端部(车头)之间的距离。
相对速度Vma、车头间距离Dma由传感器或雷达等来检测。车头间距离的变化率Rma由Rma=Vma/Dma这一关系式算出。
在图60所示的行驶履历的例子中,上述说明的速度、距离、以及变化率的数值被分为多个级别,示出被分类的级别的数值被存储。另外,速度、距离、以及变化率的数值不被分类为级别,而直接被存储。
位置信息包括:“自身车辆的位置信息”、“行驶车道数”、“自身车辆的行驶车道”、“到合流区间的开始/结束地点的距离”、“到分支区间的开始/结束地点的距离”、“到施工区间的开始/结束地点的距离”、“到车道减少区间的开始/结束地点的距离”、以及“到交通事故发生地点的距离”等信息。在图60作为位置信息的例子,示出了“自身车辆的行驶车道”(图60的行驶车道)、以及“合流区间的开始到结束地点的距离”的信息。
例如,在“自身车辆的位置信息”的栏中存储示出由GPS获得的纬度和经度的数值信息。在“行驶车道数”的栏中存储正在行驶的道路的车道的数量。在“自身车辆的行驶车道”的栏中,存储示出正在行驶的车道的位置的数值信息。在“到合流区间的开始/结束地点的距离”的栏中,在规定的距离内存在合流区间的开始和结束地点的情况下,将到合流区间的开始/结束地点的距离分类为预先决定的多个级别,并存储被分类的级别的数值。另外,在规定的距离内不存在到合流区间的开始/结束地点的情况下,在“合流区间的开始到结束地点的距离”的栏中存储“0”。
在“到分支区间的开始/结束地点的距离”的栏中,在规定的距离内存在分支区间的开始/结束地点的情况下,将到分支区间的开始/结束地点的距离分类为预先决定的多个级别,并存储被分类的级别的数值。并且,在规定的距离内不存在分支区间的开始/结束地点的情况下,在“到分支区间的开始/结束地点的距离”的栏中存储“0”。在“到施工区间开始/结束地点的距离”的栏中,在规定的距离内存在施工区间开始与结束地点的情况下,将到施工区间开始/结束地点的距离分类为预先决定的多个级别,并存储被分类的级别的数值。另外,在规定的距离内不存在施工区间开始/结束地点的情况下,在“到施工区间开始/结束地点的距离”的栏中存储“0”。
在“到车道减少区间开始/结束地点的距离”的栏中,在规定的距离内存在车道减少区间开始/结束地点的情况下,将到车道减少区间开始/结束地点的距离分类为预先决定的多个级别,并存储被分类的级别的数值。另外,在规定的距离内不存在车道减少区间开始/结束地点的情况下,在“到车道减少区间开始/结束地点的距离”的栏中存储“0”。
在“到交通事故发生地点的距离”的栏中,在规定的距离内存在交通事故发生地点的情况下,将到交通事故发生地点的距离分类为预先决定的多个级别,并存储被分类的级别的数值。并且,在规定的距离内不存在交通事故发生地点的情况下,在“到交通事故发生地点的距离”的栏中存储“0”。
而且,位置信息也可以包括自身车辆正在行驶的道路的所有车道中哪个车道为合流车道、分支车道、施工车道、减少车道、事故发生车道的信息。
另外,图60所示的行驶履历仅为一个例子,本发明并非受此所限。例如,在上述的侧方车道的信息为右侧方车道的信息的情况下,行驶履历中也可以包括相反一侧的“左侧方车道的信息”。
“左侧方车道的信息”包括:在左侧方车道,行驶在自身车辆的后方的左侧后方车辆的信息;在左侧方车道,行驶在自身车辆的前方的左侧前方车辆的信息;以及自身车辆的残存左侧方车道长DRda的信息。
左侧后方车辆的信息包括:相对于自身车辆的左侧后方车辆的相对速度Vfa、左侧后方车辆与自身车辆的车头间距离Dfa、车头间距离的变化率Rfa的信息。左侧后方车辆与自身车辆的车头间距离Dfa是指,在沿着自身车辆(以及左侧后方车辆)的行进方向的方向上测量的自身车辆的前端部(车头)与左侧后方车辆的前端部(车头)之间的距离。
在此,相对速度Vfa、车头间距离Dfa由传感器或雷达等来检测。并且,车头间距离的变化率Rfa由Rfa=Vfa/Dfa这一关系式算出。
并且,左侧前方车辆的信息包括:相对于自身车辆的左侧前方车辆的相对速度Vga、左侧前方车辆与自身车辆的车头间距离Dga、车头间距离的变化率Rga的信息。左侧前方车辆与自身车辆的车头间距离Dga是沿着自身车辆(以及左侧前方车辆)的行进方向而测量的自身车辆的前端部(车头)与左侧前方车辆的前端部(车头)之间的距离。
在此,相对速度Vga、车头间距离Dga由传感器或雷达等来检测。并且,车头间距离的变化率Rga由Rga=Vga/Dga这一关系式算出。
另外,在此虽然对车辆的通行为左侧通行的情况进行了说明,不过也可以是左右相反,即使是右侧通行的情况也能够进行相同的处理。
并且,图60所示的行驶履历也可以包括“后方车辆的信息”,该“后方车辆信息”示出在行驶车道中,行驶于自身车辆的后方的后方车辆的信息。
后方车辆的信息包括:相对于自身车辆的后方车辆的相对速度Vea、后方车辆与自身车辆的车头间距离Dea、车头间距离的变化率Rea的信息。后方车辆与自身车辆的车头间距离Dea是指,在沿着自身车辆(以及后方车辆)的行进方向的方向上被测量的自身车辆的前端部(车头)与后方车辆的前端部(车头)之间的距离。
在此,相对速度Vea、车头间距离Dea由传感器或雷达等来检测。车头间距离的变化率Rea由Rea=Vea/Dea这一关系式算出。
另外,在被移动体遮挡而车头间距离不能测量的情况下等,可以替代车头间距离,而可以使用测量的车间距离、或者使用在车间距离中加上规定的车辆长度后的近似值,也可以在车间距离中加上按照识别的车种的车辆长度来算出。并且,也可以不必拘束于是否能够测量车头间距离,可以取代车头间距离来使用能够测量的车间距离、或使用在车间距离中加上规定的车辆长度后的近似值,还可以在车间距离中加上按照识别的车种的车辆长度来算出。
行驶履历中也可以包括与车辆的行驶环境有关的其他的各种信息。例如,行驶履历中可以包括前方车辆或侧方车辆、合流车辆的大小、种类、以及与自身车辆的相对位置的信息。例如,由摄像机传感器来识别从后方接近的车辆的类别,在车辆为紧急车辆的情况下,可以包括示出车辆为救护车的信息。据此,能够对用于紧急车辆的对应的信息进行通知。或者,如图55的说明所示,行驶履历中也可以包括将方向盘、制动器、油门操作量进行分阶段表示的数值、或同乗者的信息等。
并且,作为驾驶人的行驶履历,可以汇集在自动驾驶中选择的行为,也可以汇集驾驶人在手动驾驶中实际采取的行为。据此,能够收集与自动驾驶以及手动驾驶等驾驶状态相对应的行驶履历。
并且,在图60的例子中,行驶履历中所包含的环境参数虽然示出的是在向驾驶人提示车辆的行为时的行驶环境,不过也可以示出驾驶人在进行行为的选择时的行驶环境。或者,可以使示出在向驾驶人提示车辆的行为时的行驶环境的环境参数、与示出驾驶人进行行为的选择时的行驶环境的环境参数这双方均包含在行驶履历中。
而且,车辆控制部7也可以在生成图2的(a)、图5的(a)、图6的(a)、图7的(a)、图8的(a)、图9的(a)、图10的(a)所示的俯视图、或图14的(c)所示的显示的同时,将成为第一行为以及第二行为被选择的要因的、贡献度高的环境参数的信息以及与该环境参数有关的信息(例如,图符等)的至少一个作为通知信息来生成,将生成的通知信息在俯视图上进行示出等,使通知部92对通知信息进行通知。
在这种情况下,例如,车辆控制部7在前方车辆与自身车辆的车间距离DRba或前方车辆的大小的变化率RSb的贡献度高的情况下,在俯视图中的前方车辆与自身车辆之间显示进行了亮度增加或改变了颜色的区域,使通知部92对通知信息进行通知。
并且,也可以是,车辆控制部7在前方车辆与自身车辆之间的区域,将示出车间距离DRba或变化率RSb的贡献度高的图符,作为通知信息来显示。而且,也可以是,车辆控制部7使通知部92将俯视图上的连结前方车辆与自身车辆的线段作为通知信息来描画,或者将连结所有的周边车辆与自身车辆的线段作为通知信息来描画,或者在俯视图上对连结前方车辆与自身车辆的线段进行强调。
并且,也可以不是俯视图,而是在从驾驶人来看的视点图像中,来实现AR(Augmented Reality)显示,具体而言,使通知部92将在前方车辆与自身车辆之间比周围的区域提高了亮度、或者与周围的区域的颜色不同的区域作为通知信息来显示。并且,车辆控制部7在视点图像中,也可以将在前方车辆与自身车辆之间的区域示出贡献度高的环境参数的图符,作为通知信息,使通知部92进行AR显示。
而且,车辆控制部7在视点图像中,可以将连结前方车辆与自身车辆的线段作为通知信息来进行AR显示,也可以在视点图像中,将连结所有的周边车辆与自身车辆的线段作为通知信息来进行AR显示,还可以对连结前方车辆与自身车辆的线段进行强调。
另外,作为对贡献度高的环境参数或与该环境参数相关的信息进行通知的方法并非受上述所限。例如,车辆控制部7可以将对成为贡献度高的环境参数的对象的前方车辆进行了强调显示的图像,作为通知信息来生成,并使通知部92进行显示。
并且,车辆控制部7在俯视图或AR显示中,也可以将示出成为贡献度高的环境参数的对象的前方车辆等的方向的信息作为通知信息来生成,并将该信息显示到自身车辆或自身车辆的周边。
并且,例如,车辆控制部7也可以取代对贡献度高的环境参数的信息或与该环境参数相关的信息进行通知,而可以将成为贡献度低的环境参数的对象的前方车辆等的显示亮度降低、或者变得不醒目,将相对醒目的贡献度高的环境参数的信息或与该环境参数有关的信息作为通知信息来生成,使通知部92进行显示。
接着,对基于驾驶人的行驶履历的驾驶人员模范的构筑进行说明。驾驶人员模范中包括:对多个驾驶人员的行驶履历进行分群来构筑的分群型;以及从与特定的驾驶人(例如,驾驶人x)的行驶履历类似的多个行驶履历中,构筑驾驶人x的驾驶人员模范的个别适应型。
首先,对分群型进行说明。在分群型的驾驶人员模范的构筑方法中,将图60所示的驾驶人的行驶履历,按照每个驾驶人进行预先汇集。接着,对彼此的行驶履历的类似度高的多个驾驶人、即具有类似的驾驶操作倾向的多个驾驶人进行分组,来构筑驾驶人员模范。
行驶履历的类似度例如在将驾驶人a与驾驶人b的行驶履历中的行为,按照规定的规则进行数值化的情况下,能够从将环境参数的数值和行为的数值作为要素的矢量的相关值中决定。在这种情况下,例如在从驾驶人a与驾驶人b的行驶履历中算出的相关值比规定值高的情况下,将驾驶人a与驾驶人b的行驶履历分在一个组内。另外,关于类似度的算出并非受此所限。
接着,对个别适应型进行说明。个别适应型的驾驶人员模范的构筑方法与分群型的情况相同,对图60所示的多个驾驶人的行驶履历进行预先汇集。在此,与分群型的情况的不同之处是,按照每个驾驶人来构筑驾驶人员模范。例如,在针对驾驶人y来构筑驾驶人员模范的情况下,对驾驶人y的行驶履历与其他的多个驾驶人的行驶履历进行比较,并提取类似度高的多个驾驶人的行驶履历。并且,从提取的多个驾驶人的行驶履历中,构筑驾驶人y的个别适应型的驾驶人员模范。
另外,基于图60所示的行驶履历的驾驶人员模范(局面数据库)并非受分群型或个别适应型所限,例如也可以被构成为包括所有的驾驶人的行驶履历。
在此,对构筑的驾驶人员模范的使用方法进行举例说明。在以下的例子中,对针对驾驶人x采用了汇集四个的驾驶人a~d的行驶履历的驾驶人员模范的情况进行说明。另外,驾驶人员模范由车辆控制部7构筑。
图61示出了本变形例中的驾驶人员模范的使用方法。图61的(a)是示出驾驶人x正在驾驶的车辆的当前的行驶环境的环境参数。图61的(b)是针对驾驶人x的驾驶人员模范的一个例子。
如图61的(a)所示,针对示出当前的行驶环境的环境参数的行为(操作)为空字符。车辆控制部7以规定的间隔来获得环境参数,将环境参数的某一个作为触发,从图61的(b)所示的驾驶人员模范中判断下一个行为。
作为触发,例如在到合流区间的开始地点的距离为规定的距离以下的情况下,或者与前方车辆的相对速度为规定值以下的情况下等,可以将示出需要进行车辆的操作的变更的环境参数作为触发。
车辆控制部7对图61的(a)所示的环境参数与图61的(b)所示的驾驶人员模范的各自的行驶履历的环境参数进行比较,将与最类似的环境参数对应的行为判断为第一行为。并且,对于除此之外的与类似的环境参数对应的若干个行为,判断为第二行为。
关于环境参数是否类似,能够从将环境参数的数值作为要素的矢量的相关值来决定。例如,从将图61的(a)所示的环境参数的数值作为要素的矢量、与将图61的(b)所示的环境参数的数值作为要素的矢量算出相关值,在该算出的相关值比规定值高的情况下,将这些环境参数判断为类似。并且,关于环境参数是否类似的判断方法并非受此所限。
例如,在此虽然是根据环境参数的类似度来决定行为的,不过也可以是首先制作环境参数的类似度高的组,并对该组中的环境参数进行统计,从该统计数据中来决定行为。
这样,通过预先从多个驾驶人的行驶履历中构筑驾驶人个人的驾驶人员模范,从而能够向驾驶人通知更适合的行为。并且也可以是,由于将更加安全的行驶履历注册到数据库,可以将示出安全行驶的标准的信息事先存储到存储部8,由车辆控制部7判断行驶履历是否满足该标准,进一步,车辆控制部7将满足该标准的行驶履历注册到数据库,对于不满足该标准的行驶履历,不注册到数据库。
并且,通过对示出行驶环境的参数与行为建立对应,从而车辆控制部7可以不必进行具体的行驶环境的判断,即可以不必对行驶环境进行标注,就能够高精确度地对下一个行为进行判断。
并且,也可以是,驾驶人员模范(局面数据库)也可以从对在自动驾驶中驾驶人所选择的行为与示出在提示该行为时的行驶环境的环境参数建立了对应的行驶履历中来构筑。或者,驾驶人员模范(局面数据库)可以从对在自动驾驶中驾驶人所选择的行为与示出在车辆执行该行为时的行驶环境的环境参数建立了对应的行驶履历中来构筑。
在环境参数为示出车辆执行由驾驶人选择的行为时的行驶环境的参数的情况下,从示出当前的行驶环境的环境参数中预测示出将来的行驶环境的环境参数,从示出车辆执行由驾驶人选择的行为时的行驶环境的环境参数中,将与被预测的环境参数最类似的环境参数所对应的行为判断为第一行为,将与除此之外的类似的环境参数所对应的若干个行为判断为第二行为。
上述的预测例如可以从示出当前以及比当前早的时刻的行驶环境的环境参数,通过外插将来的时刻的环境参数来执行。
或者可以是,驾驶人员模范(局面数据库)从如下的两个行驶履历中来构筑,这两个行驶履历是,对自动驾驶中由驾驶人所选择的行为与示出在提示该行为时的行驶环境的环境参数建立了对应的行驶履历、以及对自动驾驶中由驾驶人所选择的行为与示出车辆在执行该行为时的行驶环境的环境参数建立了对应的行驶履历。
在这种情况下,例如,两者的行驶履历以图61的(b)所示的形式来存储,车辆控制部7据此来判断下一个行为。在此,车辆控制部7设置两者间的优先级,例如可以从对自动驾驶中由驾驶人所选择的行为与示出车辆在执行该行为时的行驶环境的环境参数建立了对应的行驶履历中,对下一个行为优先进行判断。
另外,也可以是,在本发明中可以由具有与车辆控制部7执行的功能相同的功能的云服务器等服务器装置来执行。尤其是由于存储部8随着行驶履历的蓄积而数据量会变得庞大,因此可以不是在车辆1而是在云服务器等服务器装置。或者,存储部8可以存储已经被构筑的驾驶人员模范,车辆控制部7可以参照被存储在存储部8中的驾驶人员模范,来对行为进行判断。
另外,在将存储部8设置到云服务器的构成中,为了防备因通信速度的降低或通信中断等而导致不能访问存储部8的情况,而希望设置高速缓冲存储器。
图62是示出高速缓冲存储器的配置的一个例子的方框图。车辆控制部7通过通信部291,使存储部8保存行驶履历,通过通信部291,使被存储在存储部8的驾驶人员模范(局面数据库)的一部分保持到高速缓冲存储器292。
车辆控制部7访问高速缓冲存储器292的驾驶人员模范。关于此时的高速缓冲存储器的作成方法,可以考虑到由环境参数的有无来限定的方法、采用位置信息的方法、以及对数据进行加工的方法等。以下进行分别说明。
首先,对以环境参数的有无来进行限定的方法进行说明。关于通过周围的状况的比较,来提取相似的状况,只要相同的环境参数存在的行驶环境(局面)充分就能够进行。因此,车辆控制部7从被存储在存储部8的行驶环境中,提取仅持有相同的环境参数的行驶环境,对他们进行分类后保持到高速缓冲存储器292。
在此,车辆控制部7以从检测出的状况得到的环境参数被变更的时机,进行一次高速缓冲存储器的更新。据此,车辆控制部7即使在发生了通信速度的低下的情况下,也能够提取周围的状况。另外,对变更的有无进行判断的环境参数可以是在此之前列举的所有的环境参数,也可以是其中一部分的环境参数。
而且,由于该环境参数在不断地发生变化,因此可以在高速缓冲存储器292内准备一次高速缓冲存储器以及二次高速缓冲存储器。例如,车辆控制部7将具有相同环境参数的行驶环境保持到一次高速缓冲存储器。而且,车辆控制部7将如下的行驶环境中的至少一方保持到二次高速缓冲存储器,这些行驶环境是指,在高速缓冲存储器所保持的行驶环境中添加了一个环境参数的状态下的行驶环境、以及从一次高速缓冲存储器所保持的行驶环境中删除了一个环境参数的状态下的行驶环境。
这样,车辆控制部7即使在发生临时通信中断的情况下,也能够仅以高速缓冲存储器292的数据来提取类似的状况。
利用图63进一步对这种情况进行具体说明。在通过传感器62检测到示出在自身车辆301的周围仅存在侧前方车辆302的周围状况303时,车辆控制部7将仅存在侧前方车辆302的行驶环境(仅存在相同环境参数的行驶环境),从存储了所有的行驶环境(局面)的存储部8中提取,并存放到一次高速缓冲存储器304。
而且,车辆控制部7从存储部8提取,除侧前方车辆302以外被添加了一部车辆的行驶环境(在相同的环境参数中添加了一个环境参数的状态下的行驶环境)、或没有侧前方车辆302的行驶环境(从相同的环境参数中删除了一个环境参数的状态下的行驶环境),并存放到二次高速缓冲存储器305。
于是,在由传感器62检测出的周围状况303发生了变化时,车辆控制部7将与变化后的周围状况303对应的行驶环境从二次高速缓冲存储器305复制到一次高速缓冲存储器304,针对变化后的周围状况303的行驶环境,从存储部8提取环境参数被添加了一个的行驶环境、以及环境参数被删除了一个的行驶环境,并存放到二次高速缓冲存储器305,从而对二次高速缓冲存储器305进行更新。据此,车辆控制部7通过顺利地对周围状况进行比较,从而能够顺利地提取周围状况。
接着,对采用位置信息的方法进行说明。在环境参数中包括位置信息的情况下,车辆控制部7从存储部8提取由该位置信息示出的位置包括在以自身车辆位置为中心的一定范围内的行驶环境(局面),并能够存放到高速缓冲存储器292。
在这种情况下,车辆控制部7在与行驶环境对应的位置信息所示的位置从上述的一定范围离开时,对高速缓冲存储器292进行更新。这样,车辆控制部7即使在发生了长期间的通信中断的情况下,只要位置在一定范围内,就能够提取类似的周围状况。
进一步,对加工数据的方法进行说明。在存储部8中蓄积包括环境参数的操作履历。车辆控制部7将各个环境参数按照一定范围来进行划分,在多维空间上制作网格。并且,车辆控制部7制作将各个网格中包括的行为按照其类别来计数的表。
例如,将使用的环境参数限定为两个来说明。车辆控制部7将操作履历中包括的环境参数映射为图64的左侧所示的平面状,并通过针对各个轴以一定范围进行划分,从而将平面分为多个块。将此称作网格。
车辆控制部7将各个网格中包括的行为的个数按照其类别(例如,加速、减速、变更车道、超越等类别)进行计数。图64的右侧示出了将各网格中包括的行为的个数按照其类别来进行计数的表。
车辆控制部7将此内容保持到高速缓冲存储器292。并且,车辆控制部7在通过周围状况的比较而进行类似的周围状况的提取时,判别被检测出的环境参数位于哪个网格,从被判别的网格内所包括的行为中选择个数为最大的行为,并将被选择的行为决定为将要通知的行为。
例如,车辆控制部7在判别被检测出的环境参数位于网格的3号时,将3号网格内包括的行为之中示出最大个数的行为(在此为“加速”)的操作,决定为进行通知的行为。只要是这种方法,高速缓冲存储器292的更新时机可以是随意的,并且能够将高速缓冲存储器292的容量保持为一定。
通过将这些的的一个或多个进行组合,从而制作高速缓冲存储器。不过,以上列举的方法为一个例子,高速缓冲存储器的制作方法并非受此所限。
这样,在实施方式7的驾驶人员模范扩展的例子中,车辆控制部7获得示出包括过去的行驶环境的信息的驾驶人的驾驶特性的特征量的信息,存储部8将该特征量的信息进行存储,在判断为需要变更车辆的行为的情况下,车辆控制部7从被存储在存储部8的特征量的信息中,决定与示出包括新获得的行驶环境的信息的驾驶人的驾驶特性的特征量类似的信息,并对与决定的信息对应的行为进行通知。
并且,在实施方式7的驾驶人员模范扩展的例子中,示出包括过去的行驶环境的信息的驾驶人的驾驶特性的特征量的信息为,在向驾驶人提示车辆的行为时的特征量的信息以及驾驶人进行行为的选择时的特征量的信息中的至少一个。
并且,在实施方式7的驾驶人员模范扩展的例子中,在示出包括过去的行驶环境的信息的驾驶人的驾驶特性的特征量的信息为,向驾驶人提示车辆的行为时的特征量的信息以及驾驶人进行行为的选择时的特征量的信息这双方的情况下,从这双方的特征量的信息中,决定与示出包括新获得的行驶环境的信息的驾驶人的驾驶特性的特征量类似的信息,将与决定的信息对应的行为进行通知。
并且,在实施方式7的驾驶人员模范扩展的例子中,在示出包括过去的行驶环境的信息的驾驶人的驾驶特性的特征量的信息为,向驾驶人提示车辆的行为时的特征量的信息以及驾驶人进行行为的选择时的特征量的信息这双方的情况下,从驾驶人进行行为的选择时的特征量的信息中,优先地决定与示出包括新获得的行驶环境的信息的驾驶人的驾驶特性的特征量类似的信息,将与决定的信息对应的行为进行通知。
并且,在实施方式7的驾驶人员模范扩展的例子中,在示出包括过去的行驶环境的信息的驾驶人的驾驶特性的特征量的信息为,示出车辆的自动驾驶时、以及/或手动驾驶时的驾驶人的驾驶特性的特征量的信息。
通过以上所述,车辆控制部7能够构筑更适于驾驶人的驾驶倾向的驾驶人员模范,并根据构筑的驾驶人员模范,能够进行更适合于驾驶人的自动驾驶。通过使示出行驶环境的参数与行为建立对应,因此无需进行具体的行驶环境的判断,即无需对行驶环境进行标注就能够高精确度地判断下一个行为。
以上参照附图对本发明所涉及的实施方式进行了详细说明,上述的装置以及各处理部的功能能够通过计算机程序来实现。
通过程序来实现上述的功能的计算机例如是键盘、鼠标、触摸盘等输入装置、显示器或扬声器等输出装置、处理器或CPU(Central Processing Unit)、ROM(Read OnlyMemory)、RAM(Random Access Memory)、硬盘装置或SSD(Solid State Drive)等存储装置、DVD-ROM(Digital Versatile Disk Read Only Memory)或USB(Universal Serial Bus)存储器等能够从记录介质读取信息的读取装置,且具备通过网络来进行通信的网卡,各个部由总线连接。
并且,读取装置从记录了上述的程序的记录介质中读取其程序,并存储到存储装置。或者,网卡与被连接在网络上的服务器装置进行通信,将用于实现从服务器装置下载的上述的各装置的功能的程序存储到存储装置。
并且,处理器或CPU将存储在存储装置的程序复制到RAM,通过从RAM依次读出该程序中包括的命令,从而实现上述的各装置的功能。
本发明所涉及的信息处理***、信息处理方法以及程序能够适用于对有关车辆的驾驶的信息进行处理的装置或***。
符号说明
1 车辆
2 制动踏板
3 油门踏板
4 转向指示器控制杆
5 方向盘
6、1001 检测部
7 车辆控制部
8 存储部
9 信息通知装置
10 触摸屏
29a~29c、29g、39a~39c、39g、59a~59c、59g、69a、69c、69g、79a、79c、79g、89a~89c、89g、99b、99c、99g、109a~109d、109e、109g、121、121a~121d 显示区域
51 操作部
51a~51h 操作键
59、69、79、89、99 文字信息
91 信息获得部
92 通知部
101 显示部
102 输入部
109 显示
111、112、113、114、121、121’、122、122’、123、131、131’、132、133、134、134’、135~137、231、232、233、233’、234、234’、235、251、251’、252、252’、253、261、262、263、264、265、266、267、268 符号
291 通信部
292 高速缓冲存储器
301 自身车辆
302 侧前方车辆
303 被检测出的周围状况
304 一次高速缓冲存储器
305 二次高速缓冲存储器
401、421、1002 行为学习部
402、422、1003 行为估计部
403、416、423、436 行为估计结果接受部
411、431 通用行为学习部
412、432 通用行为估计部
413、433 直方图生成部
414、434 专用行为学习部
415、435 专用行为估计部
441 评价部
442、442a、442b 开关
443 驾驶人员模范行为估计部
1000 信息处理***

Claims (6)

1.一种信息处理***,
该信息处理***包括:
检测部,检测车辆环境状况,该车辆环境状况是车辆的周围状况或所述车辆的行驶状态之中的至少一个;
行为学习部,使神经网络学习所述检测部所检测的所述车辆环境状况与在所述车辆环境状况之后执行的所述车辆的行为的关系;
行为估计部,通过将所述检测部所检测的当前的所述车辆环境状况,输入到进行了学习的所述神经网络,从而对所述车辆的行为进行估计;以及
评价部,对由所述行为估计部估计的行为是否有效进行判断,在判断为有效的情况下,输出估计的所述行为,
所述行为学习部具备:
通用行为学习部,针对多个驾驶人的每一个,使所述神经网络学习所述检测部所检测的所述车辆环境状况与在所述车辆环境状况之后执行的所述车辆的行为的关系,从而构筑通用的神经网络;以及
专用行为学习部,利用针对特定的驾驶人由所述检测部检测的所述车辆环境状况、以及在所述车辆环境状况之后执行的所述车辆的行为,使所述通用的神经网络再次学习,通过这种转移学习,来构筑针对所述特定的驾驶人的专用的神经网络,
所述行为估计部具备:
通用行为估计部,将针对所述特定的驾驶人由所述检测部检测的所述车辆环境状况,输入到所述通用的神经网络,从而针对所述特定的驾驶人,进行所述车辆的假定的行为估计;以及
专用行为估计部,利用所述专用的神经网络,针对所述特定的驾驶人,进行所述车辆的行为估计,
所述信息处理***还具备直方图生成部,该直方图生成部生成由所述通用行为估计部进行的假定的行为的估计结果的直方图,
所述专用行为学习部,通过参照了被生成的所述直方图的所述转移学习,来构筑所述专用的神经网络。
2.如权利要求1所述的信息处理***,
所述信息处理***还具备输入部,该输入部接受由特定的驾驶人输入的所述车辆的行为,
所述评价部,
根据由所述输入部接受的所述车辆的行为,对由所述行为估计部估计的所述车辆的行为进行评价,
在评价为由所述行为估计部估计的所述车辆的行为中有错误的情况下,
使所述行为学习部执行所述神经网络的再次学习,所述神经网络的再次学习是利用由所述输入部接受的所述车辆的行为、以及在所述车辆的行为的估计时由所述检测部检测的所述车辆的周围状况来实现的。
3.如权利要求1所述的信息处理***,
所述专用行为学习部,
按照所述车辆行驶的各个场景,构筑针对与该场景对应的所述特定的驾驶人的所述专用的神经网络,与此同时,从多个所述专用的神经网络中,选择与所述车辆行驶的当前的场景对应的所述专用的神经网络,
所述专用行为估计部,利用选择的所述专用的神经网络,针对所述特定的驾驶人,进行所述车辆的行为估计。
4.如权利要求1至3的任一项所述的信息处理***,
所述信息处理***还具备通知部,
该通知部将由所述行为估计部估计的行为,在所述行为被执行之前,通知给驾驶人。
5.一种信息处理方法,
对车辆环境状况进行检测,该车辆环境状况是车辆的周围状况或所述车辆的行驶状态之中的任一个,
使神经网络学习被检测出的所述车辆环境状况与在所述车辆环境状况之后被执行的所述车辆的行为的关系,
通过将检测的当前的所述车辆环境状况,输入到进行了学习的所述神经网络,从而对所述车辆的行为进行估计,
对被估计的行为是否有效进行判断,在判断为有效的情况下,输出所述被估计的行为,
在所述神经网络的学习中,
针对多个驾驶人的每一个,使所述神经网络学习被检测出的所述车辆环境状况与在所述车辆环境状况之后执行的所述车辆的行为的关系,从而构筑通用的神经网络,
利用针对特定的驾驶人而被检测出的所述车辆环境状况、以及在所述车辆环境状况之后执行的所述车辆的行为,使所述通用的神经网络再次学习,通过这种转移学习,来构筑针对所述特定的驾驶人的专用的神经网络,
在所述车辆的行为的估计中,
将针对所述特定的驾驶人而被检测出的所述车辆环境状况,输入到所述通用的神经网络,从而针对所述特定的驾驶人,进行所述车辆的假定的行为估计,
利用所述专用的神经网络,针对所述特定的驾驶人,进行所述车辆的行为估计,
在所述信息处理方法中,进一步,
生成所述假定的行为的估计结果的直方图,
在所述专用的神经网络的构筑中,
通过参照了被生成的所述直方图的所述转移学习,来构筑所述专用的神经网络。
6.一种记录有程序的记录介质,
所述程序使计算机执行如下的工作,
对车辆环境状况进行检测,所述车辆环境状况是车辆的周围状况或所述车辆的行驶状态之中的至少一个,
使神经网络学习检测出的所述车辆环境状况与在所述车辆环境状况之后执行的所述车辆的行为的关系,
通过将检测的当前的所述车辆环境状况,输入到进行了学习的所述神经网络,从而对所述车辆的行为进行估计,
对被估计的行为是否有效进行判断,在判断为有效的情况下,输出所述被估计的行为,
在所述神经网络的学习中,
针对多个驾驶人的每一个,使所述神经网络学习被检测出的所述车辆环境状况与在所述车辆环境状况之后执行的所述车辆的行为的关系,从而构筑通用的神经网络,
利用针对特定的驾驶人而被检测出的所述车辆环境状况、以及在所述车辆环境状况之后执行的所述车辆的行为,使所述通用的神经网络再次学习,通过这种转移学习,来构筑针对所述特定的驾驶人的专用的神经网络,
在所述车辆的行为的估计中,
将针对所述特定的驾驶人而被检测出的所述车辆环境状况,输入到所述通用的神经网络,从而针对所述特定的驾驶人,进行所述车辆的假定的行为估计,
利用所述专用的神经网络,针对所述特定的驾驶人,进行所述车辆的行为估计,
所述程序进一步使计算机执行,所述假定的行为的估计结果的直方图的生成,
在所述专用的神经网络的构筑中,
通过参照了被生成的所述直方图的所述转移学习,来构筑所述专用的神经网络。
CN201680022379.3A 2015-04-21 2016-04-21 信息处理***、信息处理方法、以及记录介质 Active CN107531244B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JP2015-087069 2015-04-21
JP2015087069 2015-04-21
JP2015099474 2015-05-14
JP2015-099474 2015-05-14
JP2015119139 2015-06-12
JP2015-119139 2015-06-12
JP2015215049 2015-10-30
JP2015-215049 2015-10-30
JP2016038476 2016-02-29
JP2016-038476 2016-02-29
PCT/JP2016/002125 WO2016170786A1 (ja) 2015-04-21 2016-04-21 情報処理システム、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN107531244A CN107531244A (zh) 2018-01-02
CN107531244B true CN107531244B (zh) 2020-04-21

Family

ID=57143793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680022379.3A Active CN107531244B (zh) 2015-04-21 2016-04-21 信息处理***、信息处理方法、以及记录介质

Country Status (5)

Country Link
US (1) US10759446B2 (zh)
EP (1) EP3272611B1 (zh)
JP (2) JP6074553B1 (zh)
CN (1) CN107531244B (zh)
WO (1) WO2016170786A1 (zh)

Families Citing this family (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6558733B2 (ja) 2015-04-21 2019-08-14 パナソニックIpマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
CN107848532B (zh) * 2015-07-24 2019-02-19 三菱电机株式会社 车辆定速行驶控制装置、方法和计算机能读取的记录介质
CN108137052B (zh) * 2015-09-30 2021-09-07 索尼公司 驾驶控制装置、驾驶控制方法和计算机可读介质
CN108137050B (zh) 2015-09-30 2021-08-10 索尼公司 驾驶控制装置、驾驶控制方法
JP6294905B2 (ja) * 2016-03-31 2018-03-14 株式会社Subaru 表示装置
JP6712906B2 (ja) * 2016-05-31 2020-06-24 株式会社小松製作所 作業機械の管理装置、作業機械、及び作業機械の管理システム
CN105946854A (zh) * 2016-06-17 2016-09-21 京东方科技集团股份有限公司 车载动力自动控制***及其控制方法、汽车
US10322721B2 (en) * 2016-06-28 2019-06-18 Faraday & Future Inc. Adaptive cruise control system having center-console access
US11120353B2 (en) * 2016-08-16 2021-09-14 Toyota Jidosha Kabushiki Kaisha Efficient driver action prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network
US10452068B2 (en) * 2016-10-17 2019-10-22 Uber Technologies, Inc. Neural network system for autonomous vehicle control
JP6731619B2 (ja) * 2016-10-26 2020-07-29 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP6750485B2 (ja) * 2016-12-01 2020-09-02 住友電気工業株式会社 検知装置、検知方法および検知プログラム
JP2018090223A (ja) * 2016-12-07 2018-06-14 トヨタ自動車株式会社 車両用表示装置
JP6895634B2 (ja) * 2016-12-16 2021-06-30 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
CN108269325A (zh) * 2016-12-30 2018-07-10 ***通信有限公司研究院 一种驾驶行为油耗经济性的分析方法及装置
JP6544594B2 (ja) * 2017-01-26 2019-07-17 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、プログラムおよび車両
JP6846624B2 (ja) 2017-02-23 2021-03-24 パナソニックIpマネジメント株式会社 画像表示システム、画像表示方法及びプログラム
JP6620775B2 (ja) * 2017-03-10 2019-12-18 オムロン株式会社 表示装置および表示方法
WO2018173933A1 (ja) * 2017-03-23 2018-09-27 日本電気株式会社 情報処理装置、走行データ処理方法、車両およびプログラム記録媒体
JP6575934B2 (ja) * 2017-03-29 2019-09-18 マツダ株式会社 車両運転支援システム及び車両運転支援方法
WO2018217469A1 (en) * 2017-05-25 2018-11-29 Galactic Smarties, Llc Emergency alert
JP6638699B2 (ja) 2017-05-30 2020-01-29 トヨタ自動車株式会社 誤操作判定装置
EP3410414A1 (en) * 2017-05-31 2018-12-05 Panasonic Intellectual Property Corporation of America Information processing method, information processing apparatus, system, and storage medium
JP6838241B2 (ja) * 2017-06-01 2021-03-03 日立Astemo株式会社 移動体挙動予測装置
US10358129B2 (en) * 2017-06-06 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for dynamic vehicle control according to traffic
US10683002B2 (en) * 2017-06-27 2020-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Efficient acceleration from surrounding vehicles
CN109213134B (zh) * 2017-07-03 2020-04-28 百度在线网络技术(北京)有限公司 生成自动驾驶策略的方法和装置
DE102017006434A1 (de) * 2017-07-07 2019-01-10 Wabco Gmbh Verfahren zum vorausschauenden Bewerten einer aktuellen Fahrsituation sowie Bewertungsmodul
US11127297B2 (en) 2017-07-17 2021-09-21 Veoneer Us, Inc. Traffic environment adaptive thresholds
JP6974465B2 (ja) * 2017-07-18 2021-12-01 パイオニア株式会社 制御装置、制御方法、およびプログラム
US10217028B1 (en) * 2017-08-22 2019-02-26 Northrop Grumman Systems Corporation System and method for distributive training and weight distribution in a neural network
CN107628029B (zh) * 2017-08-22 2019-06-18 清华大学 一种网联汽车队列的节能型稳定性运动控制方法
WO2019038987A1 (ja) * 2017-08-25 2019-02-28 住友電気工業株式会社 コンピュータプログラム、走行車線特定装置および走行車線特定システム
US10589664B2 (en) * 2017-09-11 2020-03-17 Stanislav D. Kashchenko System and method for automatically activating turn indicators in a vehicle
JP6905433B2 (ja) * 2017-09-13 2021-07-21 株式会社デンソーアイティーラボラトリ 車両行動予測装置、車両行動予測方法および車両行動予測用のニューラルネットワークの学習方法
US20200278685A1 (en) * 2017-09-20 2020-09-03 Nissan Motor Co., Ltd. Travel Assistance Method and Travel Assistance Device
JP6881197B2 (ja) * 2017-09-29 2021-06-02 日産自動車株式会社 油圧伝達装置のライン圧制御方法及びライン圧制御装置
JP6881196B2 (ja) * 2017-09-29 2021-06-02 日産自動車株式会社 油圧伝達装置のライン圧制御方法及びライン圧制御装置
US10368333B2 (en) * 2017-11-20 2019-07-30 Google Llc Dynamically adapting provision of notification output to reduce user distraction and/or mitigate usage of computational resources
JP7108395B2 (ja) * 2017-11-27 2022-07-28 ホーチキ株式会社 行動監視システム
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
JP6888538B2 (ja) 2017-12-18 2021-06-16 トヨタ自動車株式会社 車両制御装置
US11130497B2 (en) 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US11273836B2 (en) * 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
EP3502976A1 (en) * 2017-12-19 2019-06-26 Veoneer Sweden AB A state estimator
EP3502977A1 (en) * 2017-12-19 2019-06-26 Veoneer Sweden AB A state estimator
CN111527013B (zh) * 2017-12-27 2024-02-23 宝马股份公司 车辆变道预测
JP7020156B2 (ja) * 2018-02-06 2022-02-16 オムロン株式会社 評価装置、動作制御装置、評価方法、及び評価プログラム
JP6978962B2 (ja) * 2018-02-22 2021-12-08 株式会社日立製作所 移動体の制御システムおよび制御方法
US11119483B2 (en) * 2018-02-22 2021-09-14 Alan M. Kadin System and method for conscious machines
KR102468387B1 (ko) * 2018-02-27 2022-11-21 현대자동차주식회사 차량의 주행 조건 예측방법 및 예측시스템
US11727794B2 (en) * 2018-03-14 2023-08-15 Micron Technology, Inc. Systems and methods for evaluating and sharing human driving style information with proximate vehicles
JP7010087B2 (ja) * 2018-03-16 2022-01-26 トヨタ自動車株式会社 プログラム更新管理装置、プログラム更新管理方法、およびプログラム
JP7000952B2 (ja) * 2018-03-28 2022-01-19 株式会社豊田中央研究所 車両の走行を制御する制御装置、制御方法、及び、制御プログラム
JP6971187B2 (ja) * 2018-03-28 2021-11-24 京セラ株式会社 画像処理装置、撮像装置、および移動体
US10997429B2 (en) 2018-04-11 2021-05-04 Micron Technology, Inc. Determining autonomous vehicle status based on mapping of crowdsourced object data
JP2019185527A (ja) * 2018-04-13 2019-10-24 株式会社デンソーテン マイコン装置およびマイコン装置の制御方法
CN108764034A (zh) * 2018-04-18 2018-11-06 浙江零跑科技有限公司 一种基于驾驶室近红外相机的分神驾驶行为预警方法
US10990096B2 (en) * 2018-04-27 2021-04-27 Honda Motor Co., Ltd. Reinforcement learning on autonomous vehicles
US20190332109A1 (en) * 2018-04-27 2019-10-31 GM Global Technology Operations LLC Systems and methods for autonomous driving using neural network-based driver learning on tokenized sensor inputs
DE102018206619A1 (de) 2018-04-27 2019-10-31 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Fahrmanöverassistenz eines Fahrzeuges, Vorrichtung, Computerprogramm und Computerprogrammprodukt
US11042156B2 (en) * 2018-05-14 2021-06-22 Honda Motor Co., Ltd. System and method for learning and executing naturalistic driving behavior
JP7110729B2 (ja) * 2018-05-25 2022-08-02 トヨタ自動車株式会社 自動運転システム及び自動運転システムの制御方法
US11161518B2 (en) 2018-06-15 2021-11-02 Micron Technology, Inc. Detecting road conditions based on braking event data received from vehicles
WO2020018394A1 (en) * 2018-07-14 2020-01-23 Moove.Ai Vehicle-data analytics
CN109242251B (zh) 2018-08-03 2020-03-06 百度在线网络技术(北京)有限公司 行车行为安全性检测方法、装置、设备及存储介质
CN109177978A (zh) * 2018-08-21 2019-01-11 武汉理工大学 一种驾驶人驾驶习惯学习装置
JP6978992B2 (ja) 2018-08-27 2021-12-08 日立Astemo株式会社 更新システム、電子制御装置
CN110901638B (zh) * 2018-08-28 2021-05-28 大陆泰密克汽车***(上海)有限公司 驾驶辅助方法及***
JP2020032970A (ja) * 2018-08-31 2020-03-05 トヨタ自動車株式会社 車両制御装置
WO2020049685A1 (ja) * 2018-09-06 2020-03-12 本田技研工業株式会社 車両制御装置、自動運転車開発システム、車両制御方法、およびプログラム
KR102521657B1 (ko) * 2018-10-15 2023-04-14 삼성전자주식회사 차량을 제어하는 방법 및 장치
US10814881B2 (en) * 2018-10-16 2020-10-27 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle velocity predictor using neural networks based on V2X data augmentation to enable predictive optimal control of connected and automated vehicles
JP7203563B2 (ja) * 2018-10-29 2023-01-13 日立Astemo株式会社 移動体挙動予測装置
US11577750B2 (en) 2018-11-08 2023-02-14 Bayerische Motoren Werke Aktiengesellschaft Method and apparatus for determining a vehicle comfort metric for a prediction of a driving maneuver of a target vehicle
CN109747659B (zh) * 2018-11-26 2021-07-02 北京汽车集团有限公司 车辆驾驶的控制方法和装置
US10997729B2 (en) * 2018-11-30 2021-05-04 Baidu Usa Llc Real time object behavior prediction
KR102569134B1 (ko) * 2018-12-18 2023-08-22 모셔널 에이디 엘엘씨 머신 러닝을 이용한 모션 계획을 사용한 차량의 동작
US20200202167A1 (en) * 2018-12-20 2020-06-25 Here Global B.V. Dynamically loaded neural network models
US10962372B1 (en) * 2018-12-31 2021-03-30 Accelerate Labs, Llc Navigational routes for autonomous vehicles
US20200241542A1 (en) * 2019-01-25 2020-07-30 Bayerische Motoren Werke Aktiengesellschaft Vehicle Equipped with Accelerated Actor-Critic Reinforcement Learning and Method for Accelerating Actor-Critic Reinforcement Learning
US10832140B2 (en) * 2019-01-30 2020-11-10 StradVision, Inc. Method and device for providing information for evaluating driving habits of driver by detecting driving scenarios occurring during driving
US10919543B2 (en) * 2019-01-30 2021-02-16 StradVision, Inc. Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
US10796571B2 (en) * 2019-01-31 2020-10-06 StradVision, Inc. Method and device for detecting emergency vehicles in real time and planning driving routes to cope with situations to be expected to be occurred by the emergency vehicles
CN110069064B (zh) 2019-03-19 2021-01-29 驭势科技(北京)有限公司 一种自动驾驶***升级的方法、自动驾驶***及车载设备
CN110058588B (zh) * 2019-03-19 2021-07-02 驭势科技(北京)有限公司 一种自动驾驶***升级的方法、自动驾驶***及车载设备
CN113614809B (zh) * 2019-03-27 2023-03-14 三菱电机株式会社 车辆控制用运算装置、车辆控制装置及车辆控制用运算方法
JP6651189B1 (ja) 2019-03-29 2020-02-19 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
WO2020202316A1 (ja) * 2019-03-29 2020-10-08 三菱電機株式会社 モデル予測制御装置、モデル予測制御プログラム、モデル予測制御システムおよびモデル予測制御方法
EP3726497A1 (en) * 2019-04-15 2020-10-21 Zenuity AB Autonomous decisions in traffic situations with planning control
EP3734569A1 (en) * 2019-04-30 2020-11-04 Argo AI GmbH Method, system, backend server and observation-unit for supporting at least one self-driving vehicle in coping with a characteristic behavior of local traffic in a respective specific area and corresponding self-driving vehicle operable according to the driving strategy
CN110497914B (zh) * 2019-08-26 2020-10-30 格物汽车科技(苏州)有限公司 自动驾驶的驾驶员行为模型开发方法、设备和存储介质
TWI709090B (zh) * 2019-08-30 2020-11-01 阿證科技股份有限公司 類神經人工智慧決策網路核心系統及其資訊處理方法
KR20210032617A (ko) * 2019-09-16 2021-03-25 현대자동차주식회사 자율주행차량의 거동 제어 장치 및 그 방법
US10889237B1 (en) * 2019-10-23 2021-01-12 Tusimple, Inc. Lighting control for autonomous vehicles
FR3103437A1 (fr) * 2019-11-21 2021-05-28 Psa Automobiles Sa Procédé et dispositif de détermination de consigne pour véhicule
CN112863244B (zh) * 2019-11-28 2023-03-14 大众汽车股份公司 用于促进车辆的安全行驶的方法和装置
WO2021147071A1 (en) * 2020-01-23 2021-07-29 Baidu.Com Times Technology (Beijing) Co., Ltd. Cross-platform control profiling for autonomous vehicle control
JP6846765B1 (ja) * 2020-03-26 2021-03-24 株式会社 情報システムエンジニアリング 情報処理プログラム
CN111369709A (zh) 2020-04-03 2020-07-03 中信戴卡股份有限公司 行车场景确定方法、装置、计算机、存储介质及***
KR102424867B1 (ko) * 2020-06-09 2022-07-26 주식회사 인포카 개인화된 안전운전 보조 방법 및 시스템
US11919423B2 (en) 2020-06-19 2024-03-05 Toyota Motor North America, Inc. Weight and pressure related validation
EP4177732A4 (en) * 2020-07-03 2023-11-15 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING SYSTEM AND PROGRAM
CN112528110A (zh) 2020-07-24 2021-03-19 支付宝(杭州)信息技术有限公司 确定实体业务属性的方法及装置
CN112109727B (zh) * 2020-09-08 2021-09-03 北京踏歌智行科技有限公司 一种面向露天矿区无人驾驶车辆的制动力标定方法
JP2022061873A (ja) * 2020-10-07 2022-04-19 トヨタ自動車株式会社 車両用エージェント装置、車両用エージェントシステム、及び車両用エージェントプログラム
KR102498328B1 (ko) * 2020-10-12 2023-02-09 충북대학교 산학협력단 차량 상태 기반 모델을 기초로 차량의 상태전이를 학습시키는 방법 및 장치
JP2022113220A (ja) * 2021-01-25 2022-08-04 トヨタ自動車株式会社 自動車
CN112721952B (zh) * 2021-01-29 2022-07-05 重庆长安汽车股份有限公司 一种l3级自动驾驶汽车的复杂路段行驶控制方法、装置、汽车及计算机存储介质
US20220245385A1 (en) * 2021-01-29 2022-08-04 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for determining operating criteria for performing vehicular tasks
DE102021203057A1 (de) * 2021-03-26 2022-09-29 Volkswagen Aktiengesellschaft Segmentbasierte Fahreranalyse und individualisierte Fahrerassistenz
US11872985B2 (en) * 2021-03-30 2024-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Determining a setting for a cruise control
KR102457914B1 (ko) * 2021-04-21 2022-10-24 숭실대학교산학협력단 심층강화학습기반 자율주행차량을 이용한 정체 현상 해결 방법, 이를 수행하기 위한 기록 매체 및 장치
CN112859883B (zh) * 2021-04-25 2021-09-07 北京三快在线科技有限公司 一种无人驾驶设备的控制方法及控制装置
CN113085873B (zh) * 2021-04-30 2022-11-29 东风小康汽车有限公司重庆分公司 驾驶策略的获取方法、装置、计算机设备和存储介质
CN113525400A (zh) * 2021-06-21 2021-10-22 上汽通用五菱汽车股份有限公司 变道提醒方法、装置、车辆及可读存储介质
US11886199B2 (en) 2021-10-13 2024-01-30 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-scale driving environment prediction with hierarchical spatial temporal attention
US20230311928A1 (en) * 2022-03-29 2023-10-05 Nissan North America, Inc. Traffic State Determination
US11491987B1 (en) * 2022-06-22 2022-11-08 Embark Trucks Inc. Merge handling based on merge intentions over time
WO2024024448A1 (ja) * 2022-07-25 2024-02-01 株式会社村田製作所 プログラム、装置、学習モデル、及び方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006243856A (ja) * 2005-03-01 2006-09-14 Hitachi Ltd 運転診断方法およびその装置
JP2009110184A (ja) * 2007-10-29 2009-05-21 Toyota Motor Corp 走行支援装置
JP2009245149A (ja) * 2008-03-31 2009-10-22 Equos Research Co Ltd 運転支援装置及び運転支援方法
CN101633359A (zh) * 2008-07-24 2010-01-27 通用汽车环球科技运作公司 具有驾驶风格识别的自适应车辆控制***
EP2316705B1 (en) * 2009-10-28 2012-06-20 Honda Research Institute Europe GmbH Behavior-based learning of visual characteristics from real-world traffic scenes for driver assistance systems

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3357159B2 (ja) * 1993-08-10 2002-12-16 三菱自動車工業株式会社 車両運転操作状態の推定方法および車両運転特性制御方法
JP3583873B2 (ja) 1996-09-12 2004-11-04 株式会社日立製作所 自動車の走行制御装置
JP2002140786A (ja) 2000-11-01 2002-05-17 Nec Corp 危険度評価装置
US6879969B2 (en) * 2001-01-21 2005-04-12 Volvo Technological Development Corporation System and method for real-time recognition of driving patterns
JP3794353B2 (ja) 2002-07-08 2006-07-05 日産自動車株式会社 追従制御対象表示装置
JP2005067483A (ja) 2003-08-26 2005-03-17 Fuji Heavy Ind Ltd 車両の走行制御装置
EP1997705B1 (en) 2005-12-28 2012-06-13 National University Corporation Nagoya University Drive behavior estimating device, drive supporting device, vehicle evaluating system, driver model making device, and drive behavior judging device
JP4650283B2 (ja) 2006-01-25 2011-03-16 株式会社デンソー 運転者適応型運転行動推定装置
US9697556B2 (en) * 2007-09-06 2017-07-04 Mohammad A. Mazed System and method of machine learning based user applications
US7889065B2 (en) * 2008-01-04 2011-02-15 Smith Alexander E Method and apparatus to determine vehicle intent
US20090174572A1 (en) 2008-01-04 2009-07-09 Smith Alexander E Method and apparatus for an adaptive target vehicle notification system
US8031062B2 (en) 2008-01-04 2011-10-04 Smith Alexander E Method and apparatus to improve vehicle situational awareness at intersections
JP2009205646A (ja) 2008-02-29 2009-09-10 Equos Research Co Ltd 運転支援装置
JP2009234442A (ja) 2008-03-27 2009-10-15 Equos Research Co Ltd 運転操作支援装置
JP5577609B2 (ja) 2009-03-09 2014-08-27 日産自動車株式会社 運転支援装置
JP5375805B2 (ja) 2010-11-26 2013-12-25 トヨタ自動車株式会社 運転支援システム及び運転支援管理センター
US20120268260A1 (en) * 2011-04-21 2012-10-25 Ford Global Technologies, Llc Method and apparatus for dynamically providing space management alerts for a vehicle
GB2495265A (en) * 2011-07-07 2013-04-10 Toyota Motor Europe Nv Sa Artificial memory system for predicting behaviours in order to assist in the control of a system, e.g. stability control in a vehicle
JP2013117809A (ja) 2011-12-02 2013-06-13 Mazda Motor Corp 安全運転支援情報配信システムおよび情報収集用車両
DE102011121948A1 (de) 2011-12-22 2013-06-27 Gm Global Technology Operations, Llc Vorausschau auf Aktionen eines autonomen Fahrsystems
EP2669109B1 (de) 2012-05-30 2015-03-04 Technische Universität Darmstadt Manöverassistenzsystem
JP2015022499A (ja) 2013-07-18 2015-02-02 株式会社オートネットワーク技術研究所 運転特徴判定システム
DE102013110852A1 (de) 2013-10-01 2015-04-16 Volkswagen Aktiengesellschaft Verfahren für ein Fahrerassistenzsystem eines Fahrzeugs
JP2014081947A (ja) 2013-12-04 2014-05-08 Denso Corp 情報配信装置
US20190185010A1 (en) * 2017-12-18 2019-06-20 PlusAI Corp Method and system for self capability aware route planning in autonomous driving vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006243856A (ja) * 2005-03-01 2006-09-14 Hitachi Ltd 運転診断方法およびその装置
JP2009110184A (ja) * 2007-10-29 2009-05-21 Toyota Motor Corp 走行支援装置
JP2009245149A (ja) * 2008-03-31 2009-10-22 Equos Research Co Ltd 運転支援装置及び運転支援方法
CN101633359A (zh) * 2008-07-24 2010-01-27 通用汽车环球科技运作公司 具有驾驶风格识别的自适应车辆控制***
EP2316705B1 (en) * 2009-10-28 2012-06-20 Honda Research Institute Europe GmbH Behavior-based learning of visual characteristics from real-world traffic scenes for driver assistance systems

Also Published As

Publication number Publication date
CN107531244A (zh) 2018-01-02
JP2017154725A (ja) 2017-09-07
JPWO2016170786A1 (ja) 2017-04-27
US10759446B2 (en) 2020-09-01
JP6074553B1 (ja) 2017-02-01
EP3272611B1 (en) 2019-07-24
WO2016170786A1 (ja) 2016-10-27
EP3272611A4 (en) 2018-06-20
US20180105186A1 (en) 2018-04-19
EP3272611A1 (en) 2018-01-24

Similar Documents

Publication Publication Date Title
CN107531244B (zh) 信息处理***、信息处理方法、以及记录介质
CN107531245B (zh) 信息处理***、信息处理方法、以及程序
CN110114810B (zh) 信息处理***、信息处理方法以及存储介质
EP3269609B1 (en) Driving assistance method, driving assistance device using same, automatic driving control device, vehicle, and driving assistance program
US10625673B2 (en) Information processing system, information processing method, and readable medium
WO2016170763A1 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援プログラム
JP2018135068A (ja) 情報処理システム、情報処理方法及びプログラム
WO2016170773A1 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240401

Address after: Kanagawa Prefecture, Japan

Patentee after: Panasonic Automotive Electronic Systems Co.,Ltd.

Country or region after: Japan

Address before: Osaka, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Country or region before: Japan

TR01 Transfer of patent right