CN112682197B - 车辆用控制数据的生成方法、车辆用控制装置和控制*** - Google Patents

车辆用控制数据的生成方法、车辆用控制装置和控制*** Download PDF

Info

Publication number
CN112682197B
CN112682197B CN202011094751.6A CN202011094751A CN112682197B CN 112682197 B CN112682197 B CN 112682197B CN 202011094751 A CN202011094751 A CN 202011094751A CN 112682197 B CN112682197 B CN 112682197B
Authority
CN
China
Prior art keywords
vehicle
data
state
variable
case
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011094751.6A
Other languages
English (en)
Other versions
CN112682197A (zh
Inventor
桥本洋介
片山章弘
大城裕太
杉江和纪
冈尚哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN112682197A publication Critical patent/CN112682197A/zh
Application granted granted Critical
Publication of CN112682197B publication Critical patent/CN112682197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D11/00—Arrangements for, or adaptations to, non-automatic engine control initiation means, e.g. operator initiated
    • F02D11/06—Arrangements for, or adaptations to, non-automatic engine control initiation means, e.g. operator initiated characterised by non-mechanical control linkages, e.g. fluid control linkages or by control linkages with power drive or assistance
    • F02D11/10—Arrangements for, or adaptations to, non-automatic engine control initiation means, e.g. operator initiated characterised by non-mechanical control linkages, e.g. fluid control linkages or by control linkages with power drive or assistance of the electric type
    • F02D11/105—Arrangements for, or adaptations to, non-automatic engine control initiation means, e.g. operator initiated characterised by non-mechanical control linkages, e.g. fluid control linkages or by control linkages with power drive or assistance of the electric type characterised by the function converting demand to actuation, e.g. a map indicating relations between an accelerator pedal position and throttle valve opening or target engine torque
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D37/00—Non-electrical conjoint control of two or more functions of engines, not otherwise provided for
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/0002—Controlling intake air
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/14—Introducing closed-loop corrections
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/14—Introducing closed-loop corrections
    • F02D41/1401—Introducing closed-loop corrections characterised by the control or regulation method
    • F02D41/1406—Introducing closed-loop corrections characterised by the control or regulation method with use of a optimisation method, e.g. iteration
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
    • F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
    • F02D41/2409—Addressing techniques specially adapted therefor
    • F02D41/2422—Selective use of one or more tables
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
    • F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
    • F02D41/2425—Particular ways of programming the data
    • F02D41/2429—Methods of calibrating or learning
    • F02D41/2432—Methods of calibration
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
    • F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
    • F02D41/2425—Particular ways of programming the data
    • F02D41/2429—Methods of calibrating or learning
    • F02D41/2438—Active learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/06—Combustion engines, Gas turbines
    • B60W2510/0604—Throttle position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2200/00—Input parameters for engine control
    • F02D2200/02—Input parameters for engine control the parameters being related to the engine
    • F02D2200/04—Engine intake system parameters
    • F02D2200/0404—Throttle position
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2200/00—Input parameters for engine control
    • F02D2200/50—Input parameters for engine control said parameters being related to the vehicle or its components
    • F02D2200/501—Vehicle speed
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2200/00—Input parameters for engine control
    • F02D2200/60—Input parameters for engine control said parameters being related to the driver demands or status
    • F02D2200/602—Pedal position
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Feedback Control In General (AREA)

Abstract

本公开涉及车辆用控制数据的生成方法、车辆用控制装置和车辆用控制***。车辆用控制数据的生成方法是应用于构成为选择多个行驶控制模式中的一个行驶控制模式的车辆的方法，在存储装置中存储有关系规定数据的状态下，由执行装置执行该方法，所述关系规定数据是规定所述车辆的状态与行动变量的关系的数据，所述行动变量是与所述车辆内的电子设备的操作有关的变量。所述方法包括：操作所述电子设备的操作处理；取得检测所述车辆的状态的传感器的检测值的取得处理；给予奖励的奖励计算处理；以及更新所述关系规定数据的更新处理。

Description

车辆用控制数据的生成方法、车辆用控制装置和控制***
技术领域
本发明涉及车辆用控制数据的生成方法、车辆用控制装置和车辆用控制***。
背景技术
例如日本特开2016-6327中记载了一种控制装置，该控制装置基于将加速踏板的操作量用过滤器进行处理得到的值，操作作为搭载于车辆的内燃机的操作部的节气门。
发明内容
可是，因为上述过滤器需要根据加速踏板的操作量将搭载于车辆的内燃机的节气门的操作量设定为适当的操作量，所以其适配需要熟练者花费许多工时。如此，以往在与车辆的状态相应的车辆内的电子设备的操作量等的适配中，熟练者花费了许多工时。
本发明的第一技术方案涉及的车辆用控制数据的生成方法应用于能够选择多个行驶控制模式中的一个行驶控制模式的车辆，在存储装置中存储有关系规定数据的状态下，由执行装置执行该方法，所述关系规定数据是规定所述车辆的状态与行动变量的关系的数据，所述行动变量是与所述车辆内的电子设备的操作有关的变量。所述方法包括：操作处理，该操作处理操作所述电子设备；取得处理，该取得处理取得构成为检测所述车辆的状态的传感器的检测值；奖励(奖赏)计算处理，该奖励计算处理基于通过所述取得处理所取得的所述检测值，在与所述行驶控制模式有关联的所述车辆的特性满足基准的情况下，与所述车辆的特性不满足所述基准的情况相比，给予较大的奖励；以及更新处理，该更新处理将基于通过所述取得处理所取得的所述检测值的所述车辆的状态、所述电子设备的操作中所使用了的行动变量的值、和与所述操作对应的所述奖励作为向预先确定的更新映射的输入，更新所述关系规定数据。所述执行装置基于所述更新映射，输出以使按照所述关系规定数据来操作所述电子设备的情况下的关于所述奖励的期待收益(回报)增加的方式进行了更新的所述关系规定数据，所述奖励计算处理包括如下处理：在所述选择的行驶控制模式为互不相同的第1行驶控制模式和第2行驶控制模式下，即使在所述车辆的特性满足同一基准的情况下，也给予不同的奖励。
在上述方法中，通过计算伴随电子设备的操作的奖励，能够掌握通过该操作而获得怎样的奖励。而且，通过基于奖励，根据按照强化学习的更新映射，将关系规定数据更新，从而能够设定车辆的状态与行动变量的关系。因此，能够削减在设定车辆的状态与行动变量的关系时要求熟练者花费的工时。
另外，在构成为选择多个行驶控制模式中的一个行驶控制模式的车辆中，按各行驶控制模式，对于车辆的状态而言适当的行动变量的值可能不同。于是，在上述方法中，在第1行驶控制模式和第2行驶控制模式下，即使在车辆的特性满足同一基准的情况下也给予不同的奖励，由此，能够按各行驶控制模式，通过强化学习，学习对于车辆的状态而言适当的行动变量的值。
在所述技术方案中，所述车辆的状态也可以包括加速器操作量的变化，所述奖励计算处理也可以包括如下处理：在伴随所述加速器操作量的变化的所述车辆的前后方向的加速度满足基准的情况下，与所述加速度不满足所述基准的情况相比，给予较大的奖励，并且，在所述多个行驶控制模式中的第1行驶控制模式和第2行驶控制模式下，即使在所述加速度满足同一基准的情况下，也给予互不相同的奖励。
因为根据加速器操作量的变化所产生的车辆的前后方向的加速度的大小与车辆的行驶控制模式有很大关系，所以如上述方法那样，根据行驶控制模式，即使在加速度满足同一基准的情况下，也给予互不相同的奖励，由此，能够按各行驶控制模式，通过强化学习，学习对于加速器操作而言适当的行动变量的值。
在所述技术方案中，所述车辆也可以具备内燃机作为该车辆的推力生成装置，所述电子设备也可以包括所述内燃机的节气门，所述行动变量也可以包括与所述节气门的开度有关的变量。
例如在根据吸入空气量调整喷射量的内燃机等中，内燃机的转矩(torque)和/或输出根据节气门的开度而大幅变化。因此，通过使用与节气门的开度有关的变量作为相对于加速器操作量的行动变量，能够适当地调整车辆的推进力。
在所述技术方案中，所述电子设备也可以包括所述内燃机的点火装置，所述行动变量也可以包括与点火正时有关的变量。
在具备点火装置的内燃机中，能够根据由点火装置操作的点火正时，调整内燃机的转矩。因此，在上述方法中，通过使行动变量包括与点火正时有关的变量，能够根据加速器操作量的变化来适当地调整车辆的推进力。
在所述技术方案中，所述关系规定数据也可以是规定所述加速器操作量的时间序列数据与所述行动变量的关系的数据。
在上述方法中，通过规定加速器操作量的时间序列数据与行动变量的关系，例如与规定表示加速器操作量的变化量的一维数据与行动变量的关系的情况相比，能够针对加速器操作量的各种变化细致地调整行动变量的值。
在所述技术方案中，所述执行装置也可以构成为执行如下处理：基于通过所述更新处理更新了的所述关系规定数据，通过将所述车辆的状态与使所述期待收益最大化的所述行动变量的值一对一地进行关联，生成控制用映射数据，所述控制用映射数据也可以包括作为输入的所述车辆的状态和作为输出的使所述期待收益最大化的所述行动变量的值。
在上述方法中，基于通过强化学习而学习了的关系规定数据，生成控制用映射数据。因此，通过将该控制用映射数据安装于控制装置，能够简易地基于车辆的状态来设定使期待收益最大化的行动变量的值。
本发明的第二技术方案涉及的车辆用控制装置应用于构成为选择多个行驶控制模式中的一个行驶控制模式的车辆，所述车辆用控制装置具备存储装置以及搭载于所述车辆的执行装置。所述执行装置构成为执行：操作处理，该操作处理操作电子设备；取得处理，该取得处理取得构成为检测所述车辆的状态的传感器的检测值；奖励计算处理，该奖励计算处理基于通过所述取得处理所取得的所述检测值，在与所述行驶控制模式有关联的所述车辆的特性满足基准的情况下，与所述车辆的特性不满足所述基准的情况相比，给予较大的奖励；以及更新处理，该更新处理将基于通过所述取得处理所取得的所述检测值的所述车辆的状态、所述电子设备的操作中所使用了的行动变量的值、和与所述操作对应的所述奖励作为向预先确定的更新映射的输入，更新关系规定数据。所述执行装置基于所述更新映射，输出以使按照所述关系规定数据来操作所述电子设备的情况下的关于所述奖励的期待收益增加的方式进行了更新的所述关系规定数据，所述奖励计算处理包括如下处理：在所述选择的行驶控制模式为互不相同的第1行驶控制模式和第2行驶控制模式下，即使在所述车辆的特性满足同一基准的情况下，也给予不同的奖励。
在所述技术方案中，所述操作处理也可以包括如下处理：基于所述关系规定数据，按照与所述车辆的状态相应的行动变量的值，操作所述电子设备，所述取得处理也可以包括如下处理：取得用户选择了所述多个行驶控制模式中的哪个模式的选择结果。
在上述构成中，基于通过强化学习而学习了的关系规定数据来设定行动变量的值，并基于该行动变量的值操作电子设备，由此，能够以使期待收益增大的方式操作电子设备。而且，通过取得由用户对行驶控制模式的选择结果，能够随着车辆的行驶而按各行驶控制模式来更新关系规定数据。
本发明的第三技术方案涉及的车辆用控制***应用于构成为选择多个行驶控制模式中的一个行驶控制模式的车辆，所述车辆用控制***具备存储装置以及搭载于所述车辆的执行装置。所述执行装置构成为执行：操作处理，该操作处理操作电子设备；取得处理，该取得处理取得构成为检测所述车辆的状态的传感器的检测值；奖励计算处理，该奖励计算处理基于通过所述取得处理所取得的所述检测值，在与所述行驶控制模式有关联的所述车辆的特性满足基准的情况下，与所述车辆的特性不满足所述基准的情况相比，给予较大的奖励；以及更新处理，该更新处理将基于通过所述取得处理所取得的所述检测值的所述车辆的状态、所述电子设备的操作中所使用了的行动变量的值、和与所述操作对应的所述奖励作为向预先确定的更新映射的输入，更新关系规定数据。所述执行装置基于所述更新映射，输出以使按照所述关系规定数据来操作所述电子设备的情况下的关于所述奖励的期待收益增加的方式进行了更新的所述关系规定数据，所述奖励计算处理包括如下处理：在所述选择的所述行驶控制模式为互不相同的第1行驶控制模式和第2行驶控制模式下，即使在所述车辆的特性满足同一基准的情况下，也给予不同的奖励。
在所述技术方案中，也可以为，所述执行装置包括搭载于所述车辆的第1执行装置和有别于车载装置的第2执行装置，所述第1执行装置也可以构成为至少执行所述取得处理和所述操作处理，所述第2执行装置也可以构成为至少执行所述更新处理。
在上述构成中，通过由第2执行装置执行更新处理，与第1执行装置执行更新处理的情况相比，能够减轻第1执行装置的运算负荷。此外，第2执行装置是有别于车载装置的装置意味着第2执行装置不是车载装置。
附图说明
以下，参照附图对本发明的示例性实施方式的特征、优点以及技术和产业意义进行说明，在附图中相同的附图标记表示相同的要素，并且其中：
图1是表示第1实施方式涉及的控制装置以及驱动***的图。
图2是表示该实施方式涉及的控制装置执行的处理的步骤的流程图。
图3是表示该实施方式涉及的生成映射数据的***的图。
图4是表示该实施方式涉及的学习处理的步骤的流程图。
图5是表示该实施方式涉及的学习处理的一部分的详情的流程图。
图6是表示该实施方式涉及的映射数据的生成处理的步骤的流程图。
图7是表示第2实施方式涉及的控制装置以及驱动***的图。
图8是表示该实施方式涉及的控制装置执行的处理的步骤的流程图。
图9是表示第3实施方式涉及的***的构成的图。
图10中的(a)部分和(b)部分是表示该实施方式涉及的***执行的处理的步骤的流程图。
具体实施方式
以下，参照附图，对车辆用控制数据的生成方法、车辆用控制装置、车辆用控制***以及车辆用学习装置所涉及的实施方式进行说明。
＜第1实施方式＞
图1表示本实施方式涉及的车辆VC1的驱动***以及控制装置的构成。
如图1所示，在内燃机10的进气通路12，从上游侧起依次设置有节气门14和燃料喷射阀16，被吸入到进气通路12的空气和从燃料喷射阀16喷射出的燃料随着进气门18的开阀而向由汽缸20和活塞22划分的燃烧室24流入。在燃烧室24内，燃料与空气的混合气伴随着点火装置26的火花放电而用于燃烧，通过燃烧产生的能量经由活塞22被转换为曲轴28的旋转能。用于了燃烧的混合气随着排气门30的开阀而作为排气(废气)向排气通路32排出。在排气通路32设置有作为净化排气的后处理装置的催化剂34。
变速装置50的输入轴52能够经由具备锁止离合器42的变矩器40以机械方式连结于曲轴28。变速装置50是使作为输入轴52的转速与输出轴54的转速之比的变速比(传动比、齿轮速比)可变的装置。在输出轴54上以机械方式连结有驱动轮60。
控制装置70将内燃机10作为控制对象，为了控制作为其控制量的转矩和/或排气成分比率等而操作节气门14、燃料喷射阀16以及点火装置26等内燃机10的操作部。另外，控制装置70将变矩器40作为控制对象，为了控制锁止离合器42的接合状态而操作锁止离合器42。另外，控制装置70将变速装置50作为控制对象，为了控制作为其控制量的变速比而操作变速装置50。此外，在图1中记载了节气门14、燃料喷射阀16、点火装置26、锁止离合器42以及变速装置50各自的操作信号MS1～MS5。
控制装置70为了进行控制量的控制，参照由空气流量计80检测的吸入空气量Ga和/或由节气门传感器82检测的节气门14的开度(节气门开度TA)、曲轴角传感器84的输出信号Scr。另外，控制装置70参照由加速器传感器88检测的加速踏板86的踏入量(加速器操作量PA)和/或由加速度传感器90检测的车辆VC1的前后方向的加速度Gx、通过模式选择开关(switch)92的操作所确定的模式变量MV的值。在此，模式选择开关92是用于供车辆VC1的用户选择与车辆VC1的行驶控制模式有关的三个选项中的一个的人机接口(界面)。在此，三个行驶控制模式为运动模式(sports mode)、普通模式(normal mode)以及舒适模式(comfort mode)，是相对于用户驾驶操作的车辆VC1的响应性能互不相同的模式。即，运动模式的响应性能最高，舒适模式的响应性能最低。舒适模式是在车辆VC1的驾驶期间抑制同车人身体感觉的加速度的模式。
控制装置70具备CPU72、ROM74、可电改写的非易失性存储器(存储装置76)以及***电路78，它们能够经由局域网79进行通信。在此，***电路78包括生成规定内部动作的时钟信号的电路、电源电路、复位(reset)电路等。
在ROM74中存储有控制程序74a。另一方面，在存储装置76中存储有映射数据DM，映射数据DM是包括以加速器操作量PA为输入变量并以节气门开度TA的指令值(节气门开度指令值TA*)为输出变量的数据、和以加速器操作量PA为输入变量并以点火装置26的延迟量aop为输出变量的数据的数据。在此，延迟量aop是相对于预先确定的基准点火正时的延迟量，基准点火正时是MBT点火正时和爆震临界点中的延迟侧的正时。MBT点火正时是获得最大转矩的点火正时(最大转矩点火正时)。另外，爆震临界点是在使用爆震临界高的高辛烷值燃料时能够在设想的最佳的条件下将爆震控制在能容许的等级以内的点火正时的提前界限值。
此外，映射数据指的是输入变量的离散的值和与输入变量的值各自对应的输出变量的值的成组数据。在本实施方式中，作为映射数据DM，具有普通模式用映射数据DM1、运动模式用映射数据DM2和舒适模式用映射数据DM3。
图2表示本实施方式涉及的控制装置70执行的处理的步骤。图2所示的处理通过由CPU72例如按预定周期反复执行存储于ROM74的控制程序74a来实现。此外，以下利用开头附加有“S”的数字来表示各处理的步骤编号。
在图2所示的一系列处理中，首先，CPU72取得包括加速器操作量PA的6个采样值“PA(1)、PA(2)、……PA(6)”的时间序列数据(S10)。在此，构成时间序列数据的各采样值是在互不相同的定时(timing)采样得到的值。在本实施方式中，由按一定的采样周期采样的情况下的彼此在时间序列上相邻的6个采样值构成时间序列数据。
接着，CPU72取得模式变量MV(S12)。然后，CPU72判定所取得的模式变量MV的值是否表示普通模式(S14)。CPU72在判定为是普通模式的情况下(S14：是)，选择普通模式用映射数据DM1作为在节气门14和/或点火装置26的操作中使用的映射数据DM(S16)。相对于此，CPU72在判定为不是普通模式的情况下(S14：否)，判定模式变量MV的值是否表示运动模式(S18)。而且，CPU72在判定为是运动模式的情况下(S18：是)，选择运动模式用映射数据DM2作为在节气门14和/或点火装置26的操作中使用的映射数据DM(S20)。相对于此，CPU72在判定为不是运动模式的情况下(S18：否)，选择舒适模式用映射数据DM3作为在节气门14和/或点火装置26的操作中使用的映射数据DM(S22)。
CPU72在S16、S20、S22的处理完成的情况下，使用映射数据DM中的选择出的数据，将节气门开度指令值TA*以及延迟量aop进行映射运算(S24)。在此，映射运算例如设为以下处理即可：在输入变量的值与映射数据的输入变量的值中的某一个一致的情况下，将对应的映射数据的输出变量的值作为运算结果，相对于此，在输入变量的值与映射数据的输入变量的值中的每一个都不一致的情况下，将通过映射数据所包含的多个输出变量的值的内插所获得的值作为运算结果。
然后，CPU72向节气门14输出操作信号MS1来操作节气门开度TA，并且向点火装置26输出操作信号MS3来操作点火正时(S26)。在此，在本实施方式中，例示了将节气门开度TA反馈控制为节气门开度指令值TA*，所以即使节气门开度指令值TA*为同一值，操作信号MS1也可能成为互不相同的信号。另外，例如在被进行周知的爆震控制(KCS)等的情况下，点火正时成为通过KCS对使基准点火正时延迟了延迟量aop后的值进行反馈校正而得到的值。在此，基准点火正时由CPU72根据曲轴28的转速NE以及填充(充气)效率η可变地设定。此外，转速NE由CPU72基于曲轴角传感器84的输出信号Scr算出。另外，填充效率η由CPU72基于转速NE以及吸入空气量Ga算出。
此外，CPU72在S26的处理完成的情况下，暂时结束图2所示的一系列处理。图3表示生成上述映射数据DM的***。
如图3所示，在本实施方式中，将测力计(dynamometer)100经由变矩器40以及变速装置50以机械方式连结于内燃机10的曲轴28。而且，由传感器组102检测在使内燃机10运转时的各种状态变量，并将检测结果输入到生成装置110，生成装置110是生成映射数据DM的计算机。此外，传感器组102中包括图1所示的车辆VC1搭载的传感器等。
生成装置110具备CPU112、ROM114、可电改写的非易失性存储器(存储装置116)以及***电路118，它们能够通过局域网119进行通信。在此，在存储装置116中存储有关系规定数据DR，关系规定数据DR是规定加速器操作量PA与节气门开度指令值TA*以及延迟量aop的关系的数据。在此，关系规定数据DR具有普通模式用规定数据DR1、运动模式用规定数据DR2以及舒适模式用规定数据DR3。另外，在ROM114中存储有通过强化学习来学习关系规定数据DR的学习程序114a。
图4表示生成装置110执行的处理的步骤。图4所示的处理通过由CPU112执行存储于ROM114的学习程序114a来实现。
在图4所示的一系列处理中，首先，CPU112设定模式变量MV的值(S30)。接着，CPU112在使内燃机10运转的状态下取得加速器操作量PA的时间序列数据作为状态s(S32)。此处的时间序列数据是与S10的处理中的数据同样的数据。但是，在图4所示的处理中，不存在加速踏板86。因此，将加速器操作量PA设为生成装置110通过模拟车辆VC1的状态而以伪方式生成的值，并将以伪方式生成的加速器操作量PA视为车辆的状态的检测值。
接着，CPU112按照由关系规定数据DR中的与通过S30的处理所设定的模式变量MV的值对应的数据确定的策略π，设定与通过S32的处理取得的状态s相应的包括节气门开度指令值TA*及延迟量aop的行动a(S34)。
在本实施方式中，关系规定数据DR是确定行动价值函数Q及策略π的数据。在本实施方式中，行动价值函数Q是表示与状态s及行动a的8维自变量相应的期待收益的值的表(table)形式的函数。另外，策略π确定以下规则：在被给出了状态s时，优先选择自变量成为被给出的状态s的行动价值函数Q中的期待收益的值成为最大的行动a(贪婪行动(greedyaction))，并且也以预定的概率选择除此以外的行动a。
详细而言，本实施方式涉及的行动价值函数Q的自变量可取的值的数量是根据人的见解等而削减了状态s及行动a的可取的值的全部组合中的一部分后的数量。即，例如像加速器操作量PA的时间序列数据中的相邻的两个采样值中的一个成为加速器操作量PA的最小值、且另一个成为最大值这样的情况，不会是由人对加速踏板86的操作产生的，从而没有定义行动价值函数Q。在本实施方式中，通过基于人的见解等的降维，将定义行动价值函数Q的状态s的可取的值限制在小于等于10的4次方个，更优选为限制在小于等于10的3次方个。
接着，CPU112基于所设定的节气门开度指令值TA*以及延迟量aop，与S26的处理同样地，输出操作信号MS1、MS3(S36)。接着，CPU112取得内燃机10的转矩Trq、对于内燃机10的转矩指令值Trq*、以及加速度Gx(S38)。在此，CPU112基于测力计100生成的负载转矩和变速装置50的变速比，计算转矩Trq。另外，根据加速器操作量PA来设定转矩指令值Trq*。另外，CPU112基于测力计100的负载转矩等，算出假设在车辆搭载有内燃机10等的情况下车辆上产生的值作为加速度Gx。即，在本实施方式中，关于加速度Gx，也是虚拟的，但是关于该加速度Gx，也视为是车辆的状态的检测值。
接着，CPU112判定过渡标志F是否为“1”(S40)。过渡标志F在为“1”的情况下表示处于过渡运行时，在为“0”的情况下表示不处于过渡运行时。CPU112在判定为过渡标志F是“0”的情况下(S40：否)，判定加速器操作量PA的每单位时间的变化量ΔPA的绝对值是否在预定量ΔPAth以上(S42)。在此，变化量ΔPA例如作为在S42的处理的执行定时的最新的加速器操作量PA与相对于该定时的单位时间前的加速器操作量PA之差即可。
CPU112在判定为变化量ΔPA的绝对值在预定量ΔPAth以上的情况下(S42：是)，对过渡标志F代入“1”(S44)，另一方面，在判定为变化量ΔPA的绝对值小于预定量ΔPAth的情况下(S42：否)，回到S32的处理。
相对于此，CPU112在判定为过渡标志F是“1”的情况下(S40：是)，判定在进行了S44的处理后是否经过了预定期间(S46)。在此，预定期间作为到加速器操作量PA的每单位时间的变化量ΔPA的绝对值变为比预定量ΔPAth小的规定量以下的状态持续预定时间为止的期间。CPU112在判定为经过了预定期间的情况下(S46：是)，对过渡标志F代入“0”(S48)，另一方面，在判定为没有经过预定期间的情况下(S46：否)，回到S32的处理。
CPU112在S44、S48的处理完成的情况下，作为一个情节(episode)结束，通过强化学习来更新行动价值函数Q(S50)。图5表示S50的处理的详情。
在图5所示的一系列处理中，CPU112取得包括最近刚结束的情节中的转矩指令值Trq*、转矩Trq以及加速度Gx的3个采样值的组的时间序列数据、和状态s及行动a的时间序列数据(S60)。在此，关于最近的情节，在继S48的处理之后进行S60的处理的情况下，是过渡标志F持续成为“1”的期间，在继S44的处理之后进行S60的处理的情况下，是过渡标志F持续成为“0”的期间。
在图5中，括号中的数字不同的变量表示是在不同的采样定时的变量的值。例如，转矩指令值Trq*(1)和转矩指令值Trq*(2)是采样定时互不相同的值。另外，将属于最近的情节的行动a的时间序列数据定义为行动集合Aj，将属于该情节的状态s的时间序列数据定义为状态集合Sj。
接着，CPU112判定属于最近的情节的任意转矩Trq与转矩指令值Trq*之差的绝对值在规定量ΔTrq以下这一意思的条件(A)、和加速度Gx在下限值GxL以上且在上限值GxH以下这一意思的条件(B)的逻辑与(AND)是否为真(S62)。
在此，CPU112根据情节开始时的加速器操作量PA的每单位时间的变化量ΔPA以及模式变量MV的值，可变地设定规定量ΔTrq。即，CPU112在基于情节开始时的加速器操作量PA的每单位时间的变化量ΔPA判定为是关于过渡时的情节的情况下，与判定为稳态时的情况相比，将规定量ΔTrq设定为较大的值。另外，CPU112在运动模式的情况下使规定量ΔTrq最小，在舒适模式的情况下使规定量ΔTrq最大。
另外，CPU112根据情节开始时的加速器操作量PA的每单位时间的变化量ΔPA以及模式变量MV的值，可变地设定下限值GxL。即，CPU112在是关于过渡时的情节且变化量ΔPA为正的情况下，与关于稳态时的情节的情况相比，将下限值GxL设定为较大的值。另外，CPU112在是关于过渡时的情节且变化量ΔPA为负的情况下，与关于稳态时的情节的情况相比，将下限值GxL设定为较小的值。另外，如果变化量ΔPA为正，那么在运动模式的情况下，CPU112使下限值GxL最大，在舒适模式的情况下，CPU112使下限值GxL最小。另外，如果变化量ΔPA为负，那么在运动模式的情况下，CPU112使下限值GxL最小，在舒适模式的情况下，CPU112使下限值GxL最大。
另外，CPU112根据情节开始时的加速器操作量PA的每单位时间的变化量ΔPA以及模式变量MV的值，可变地设定上限值GxH。即，CPU112在是关于过渡时的情节且变化量ΔPA为正的情况下，与关于稳态时的情节的情况相比，将上限值GxH设定为较大的值。另外，CPU112在是关于过渡时的情节且变化量ΔPA为负的情况下，与关于稳态时的情节的情况相比，将上限值GxH设定为较小的值。另外，如果变化量ΔPA为正，那么在运动模式的情况下，CPU112使上限值GxH最大，在舒适模式的情况下，CPU112使上限值GxH最小。另外，如果变化量ΔPA为负，那么在运动模式的情况下，CPU112使上限值GxH最小，在舒适模式的情况下，CPU112使上限值GxH最大。
CPU112在判定为逻辑与是真的情况下(S62：是)，对奖励r代入“10”(S64)，另一方面，在判定为逻辑与是假的情况下(S62：否)，对奖励r代入“-10”(S66)。CPU112在S64、S66的处理完成的情况下，将图3所示的存储于存储装置116的关系规定数据DR中的、与在S30的处理中设定的模式变量MV的值对应的数据更新。在本实施方式中，使用ε软同策略型蒙特卡洛方法(ε-soft on-policy type Monte Carlo method)。
即，CPU112对由通过上述S60的处理读取到的各状态和对应的行动的组所确定的收益R(Sj，Aj)分别加上奖励r(S68)。在此，“R(Sj，Aj)”是对将状态集合Sj的元素之一作为状态、将行动集合Aj的元素之一作为行动的收益R进行了总括的记载。接着，将由通过上述S60的处理读取到的各状态和对应的行动的组所确定的收益R(Sj，Aj)的每一个进行平均化并代入到对应的行动价值函数Q(Sj，Aj)(S70)。在此，平均化作为如下处理即可：将通过S68的处理计算出的收益R除以进行了S68的处理的次数。此外，收益R的初始值设为零即可。
接着，CPU112对于通过上述S60的处理读取到的状态，分别将对应的行动价值函数Q(Sj，A)中的、期待收益成为最大值时的作为节气门开度指令值TA*以及延迟量aop的组的行动代入到行动Aj*(S72)。在此，“A”表示可取的任意的行动。此外，行动Aj*是根据通过上述S60的处理读取到的状态的种类而成为不同的值的行动，但在此对记载进行简化，用同一标号进行记载。
接着，CPU112对于通过上述S60的处理读取到的状态的每一个，将对应的策略π(Aj|Sj)更新(S74)。即，若将行动的总数设为“|A|”，则将通过S72选择出的行动Aj*的选择概率设为“1-ε+ε/|A|”。另外，将行动Aj*以外的“|A|-1”个行动的选择概率分别设为“ε/|A|”。S74的处理是基于通过S70的处理而更新了的行动价值函数Q的处理，所以，由此，规定状态s与行动a的关系的关系规定数据DR将会以使收益R增加的方式被更新。
此外，CPU112在S74的处理完成的情况下，暂时结束图5所示的一系列处理。回到图4，CPU112在S50的处理完成时，判定行动价值函数Q是否已收敛(S52)。在此，在通过S50的处理对行动价值函数Q的更新量成为预定值以下的连续次数达到预定次数的情况下判定为收敛即可。CPU112在判定为行动价值函数Q未收敛的情况下(S52：否)，回到S32的处理。相对于此，CPU112在判定为行动价值函数Q收敛了的情况下(S52：是)，判定是否已通过S52的处理对模式变量MV的所有值作出了肯定判定(S54)。而且，CPU112在判定为存在行动价值函数Q尚未收敛的模式变量MV的值的情况下(S54：否)，为了进行与该模式变量MV的值对应的行动价值函数Q的学习而回到S30的处理。
此外，CPU112在S54的处理中作出肯定判定的情况下，暂时结束图4所示的一系列处理。图6表示生成装置110执行的处理中的特别是基于通过图4的处理学习了的行动价值函数Q来生成映射数据DM的处理的步骤。图6所示的处理通过由CPU112执行存储于ROM114的学习程序114a来实现。
在图6所示的一系列处理中，首先，CPU112设定模式变量MV的一个值(S80)。接着，CPU112选择成为映射数据DM的输入变量的值的多个状态s中的一个状态s(S82)。接着，CPU112选择与状态s对应、并且与通过S80的处理设定的模式有关的行动价值函数Q(s，A)中的、使行动价值函数Q的值最大的行动a(S84)。即，在此利用贪婪策略选择行动a。接着，CPU112将状态s和行动a的组与通过S80的处理设定的模式变量MV的值相关联而存储于存储装置116(S86)。
接着，CPU112判定是否通过S80的处理选择了成为映射数据DM的输入变量的值的全部的状态s(S88)。而且，CPU112在判定为存在未被选择的状态s的情况下(S88：否)，回到S82的处理。相对于此，CPU112在判定为全部状态s都被选择了的情况下(S88：是)，判定对于模式变量MV可取的所有值，是否在S88的处理中都作出了肯定判定(S90)。而且，CPU112在判定为存在尚未在S88的处理中作出肯定判定的模式变量MV的值的情况下(S90：否)，回到S80的处理，设定该模式变量MV的值。相对于此，CPU112在判定为对于所有的模式变量MV都在S88的处理中作出了肯定判定的情况下(S90：是)，基于通过S86的处理存储的数据，生成映射数据DM(S92)。在此，将与映射数据DM的输入变量的值为状态s对应的输出变量的值设为对应的行动a。
此外，CPU112在S92的处理完成的情况下，暂时结束图6所示的一系列处理。在此，对本实施方式的作用以及效果进行说明。
在图3所示的***中，CPU112通过强化学习，学习行动价值函数Q。而且，在行动价值函数Q的值收敛的情况下，设为在满足行驶控制模式方面学习到了适当的行动。然后，CPU112对于成为映射数据DM的输入变量的状态的每一个，选择使行动价值函数Q最大化的行动，并将状态和行动的组存储于存储装置116。接着，CPU112基于存储于存储装置116的状态和行动的组，生成映射数据DM。由此，无需使熟练者花费的工时过大就能够设定与加速器操作量PA相应的适当的节气门开度指令值TA*以及延迟量aop。
特别是，在本实施方式中，按模式变量MV的每个值，改变了给予奖励r的方式。具体而言，CPU112例如当在运动模式下即使转矩Trq与转矩指令值Trq*之差的绝对值在普通模式用的规定量ΔTrq以下但是该绝对值大于运动模式用的规定量ΔTrq的情况下，则给予负的奖励。由此，在运动模式下，与普通模式相比，能够使能使实际的转矩Trq更早期地跟随与加速器操作量PA相应的转矩指令值Trq*的行动a获得较大的奖励，使与能够使车辆的响应性能提高的行动a对应的行动价值函数Q的值更新为大的值。
因此，能够根据模式来学习适当的关系规定数据DR1～DR3。根据以上说明的本实施方式，还能获得以下所述的作用效果。
(1)在控制装置70具备的存储装置76中存储了映射数据DM，而并非行动价值函数Q等。由此，CPU72基于使用映射数据DM的映射运算，设定节气门开度指令值TA*和/或延迟量aop，所以，与执行选择行动价值函数Q中的成为最大值的函数的处理的情况相比，能够减轻运算负荷。
(2)使行动价值函数Q的自变量包含了加速器操作量PA的时间序列数据。由此，与关于加速器操作量PA仅将单一的采样值作为自变量的情况相比，能够针对加速器操作量PA的各种变化细致地调整行动a的值。
(3)使行动价值函数Q的自变量包含了节气门开度指令值TA*本身。由此，例如与将对节气门开度指令值TA*的行为进行建模得到的模型式的参数等作为与节气门开度有关的自变量的情况相比，容易提高基于强化学习的搜索的自由度。
＜第2实施方式＞
以下，参照附图，以与第1实施方式的不同之处为中心，对第2实施方式进行说明。
图7表示本实施方式涉及的车辆VC1的驱动***以及控制装置。此外，在图7中，为方便起见，对与图1所示的部件对应的部件标记同一标号。
如图7所示，在本实施方式中，除了控制程序74a之外，在ROM74中还存储有学习程序74b。另外，存储装置76中没有存储映射数据DM，取而代之地存储有关系规定数据DR，另外还存储有转矩输出映射数据DT。在此，关系规定数据DR是通过图4的处理学习了的已学习过的数据。另外，由转矩输出映射数据DT规定的转矩输出映射是与以转速NE、填充效率η和点火正时为输入并以转矩Trq为输出的神经网络等已学习过的模型有关的数据。此外，上述转矩输出映射数据DT例如设为将在执行图4的处理时通过S38的处理取得的转矩Trq作为监督(教师)数据而学习了的数据即可。
图8表示本实施方式涉及的控制装置70执行的处理的步骤。图8所示的处理通过由CPU72例如按预定周期反复执行存储于ROM74的控制程序74a以及学习程序74b来实现。此外，在图8中，为方便起见，对与图4所示的处理对应的处理附加同一步骤编号。
在图8所示的一系列处理中，首先，CPU72取得与模式选择开关92的操作相应的模式变量MV的值(S30a)。然后，CPU72执行与图4的S32～S50的处理同样的处理。此外，CPU72在S42、S46的处理中作出否定判定的情况下或在完成S50的处理的情况下，暂时结束图8所示的一系列处理。顺便说一下，S30a、S32～S48的处理通过由CPU72执行控制程序74a来实现，S50的处理通过由CPU72执行学习程序74b来实现。
如此，根据本实施方式，通过对控制装置70安装关系规定数据DR以及学习程序74b，相比于第1实施方式的情况，能够提高学习频度。
＜第3实施方式＞
以下，参照附图，以与第2实施方式的不同之处为中心，对第3实施方式进行说明。
在本实施方式中，在车辆VC1之外执行关系规定数据DR的更新。图9表示在本实施方式中执行强化学习的控制***的构成。此外，在图9中，为方便起见，对与图1所示的部件对应的部件标记同一标号。
图9所示的车辆VC1内的控制装置70中的ROM74虽然存储有控制程序74a，但没有存储学习程序74b。另外，控制装置70具备通信机77。通信机77是用于经由车辆VC1外部的网络120与数据解析中心130进行通信的设备。
数据解析中心130解析从多个车辆VC1、VC2、……发送的数据。数据解析中心130具备CPU132、ROM134、可电改写的非易失性存储器(存储装置136)、***电路138以及通信机137，它们能够通过局域网139进行通信。在ROM134中存储有学习程序74b，在存储装置136中存储有关系规定数据DR。
图10表示本实施方式涉及的强化学习的处理步骤。图10中的(a)部分所示的处理通过图9所示的CPU72执行存储于ROM74的控制程序74a来实现。另外，图10中的(b)部分所示的处理通过由CPU132执行存储于ROM134的学习程序74b来实现。此外，在图10中，为方便起见，对与图8所示的处理对应的处理标记同一步骤编号。以下，按照强化学习的时间序列，说明图10所示的处理。
在图10中的(a)部分所示的一系列处理中，CPU72在执行S32～S48的处理后，通过操作通信机77，发送进行关系规定数据DR的更新处理所需的数据(S100)。在此，成为发送对象的数据包括在即将执行S44、S48的处理之前结束的情节中的模式变量MV的值、转矩指令值Trq*、转矩Trq及加速度Gx的时间序列数据、状态集合Sj以及行动集合Aj。
对此，如图10中的(b)部分所示的那样，CPU132接收被发送的数据(S110)，并基于接收到的数据更新关系规定数据DR(S50)。然后，CPU132判定关系规定数据DR的更新次数是否在预定次数以上(S112)，在判定为更新次数在预定次数以上的情况下(S112：是)，操作通信机137，向发送了通过S110的处理接收到的数据的车辆VC1发送关系规定数据DR(S114)。此外，CPU132在完成S114的处理的情况下或在S112的处理中作出否定判定的情况下，暂时结束图10中的(b)部分所示的一系列处理。
对此，如图10中的(a)部分所示的那样，CPU72判定是否有更新数据(S102)，并在判定为有更新数据的情况下(S102：是)，接收被更新了的关系规定数据DR(S104)。然后，CPU72将在S34的处理中利用的关系规定数据DR改写成接收到的关系规定数据DR(S106)。此外，CPU72在完成S106的处理的情况下或在S102的处理中作出否定判定的情况下，暂时结束图10中的(a)部分所示的一系列处理。
如此，根据本实施方式，在车辆VC1的外部进行关系规定数据DR的更新处理，所以能够减轻控制装置70的运算负荷。
＜对应关系＞
上述实施方式中的事项与本发明的对应关系如下。
本发明中的执行装置和存储装置在图1以及图7中分别对应于CPU72以及ROM74和存储装置76，在图3中分别对应于CPU112以及ROM114和存储装置116，在图9中对应于CPU72、132以及ROM74、134和存储装置76、136。操作处理对应于S36的处理，取得处理对应于S32、S38的处理。奖励计算处理对应于S62～S66的处理。更新处理对应于S68～S74的处理。行驶控制模式的差异由模式变量MV确定。本发明中的与开度有关的变量对应于节气门开度指令值TA*。本发明中的时间序列数据对应于加速器操作量PA(1)、PA(2)、……PA(6)。本发明中的控制用映射数据对应于映射数据DM。执行装置对应于CPU112以及ROM114。本发明中的执行装置和存储装置分别对应于图7中的CPU72以及ROM74和存储装置76。取得处理对应于S30a、S32、S38的处理。本发明中的第1执行装置对应于CPU72以及ROM74，第2执行装置对应于CPU132以及ROM134。
＜其他实施方式＞
此外，本实施方式可以如下进行变更来实施。本实施方式和以下的变更例可以在技术上不矛盾的范围内相互组合来实施。
[关于行驶控制模式]
在上述实施方式中，例示了能够选择按相对于加速器操作的车辆的响应性从高到低的顺序分别为运动模式、普通模式和舒适模式的3个行驶控制模式中的一个的车辆，但不限于此。例如关于响应性，也可以取代3种性能，而可以从2种性能中选择，或可以从4种以上的性能中选择。
另外，作为车辆的行驶控制模式，不限于从响应性的观点来看的性能。例如也可以设为从燃料消耗率和/或能量消耗率的观点来看的性能。
[关于行动变量]
在上述实施方式中，作为作为行动变量的与节气门的开度有关的变量，例示了节气门开度指令值TA*，但不限于此。例如，也可以用浪费时间(停滞时间)以及二阶滞后滤波器来表现相对于加速器操作量PA的节气门开度指令值TA*的响应性，并将浪费时间和规定二阶滞后滤波器的两个变量的共计3个变量作为与节气门的开度有关的变量。但是，在该情况下，状态变量优选设为加速器操作量PA的每单位时间的变化量以取代加速器操作量PA的时间序列数据。
在上述实施方式中，作为作为行动变量的与点火正时有关的变量，例示了延迟量aop，但不限于此。例如，也可以是被作为KCS的校正对象的点火正时本身。
在上述实施方式中，作为行动变量，例示了与节气门的开度有关的变量以及与点火正时有关的变量，但不限于此。例如，也可以除了与节气门的开度有关的变量以及与点火正时有关的变量之外还使用燃料喷射量。另外，关于上述3个变量，也可以仅采用与节气门的开度有关的变量以及燃料喷射量、或仅采用与点火正时有关的变量以及燃料喷射量作为行动变量。再者，关于上述3个变量，也可以仅采用它们中的一个作为行动变量。
另外，在如“关于内燃机”一栏中记载的那样，是压缩着火式的内燃机的情况下，使用与喷射量有关的变量代替与节气门的开度有关的变量、使用与喷射正时有关的变量代替与点火正时有关的变量即可。此外，优选除了与喷射正时有关的变量之外，还加入与1个燃烧循环(cycle)中的喷射次数有关的变量和/或与1个燃烧循环内的用于一个汽缸的在时间序列上相邻的两个燃料喷射中的一方的结束定时与另一方的开始定时之间的时间间隔有关的变量。
另外，例如在变速装置50为有级变速装置的情况下，也可以将用于通过油压对离合器的接合状态进行调整的电磁阀的电流值等作为行动变量。另外，例如在如下述“关于车辆”一栏中记载的那样，采用混合动力车、电动汽车、燃料电池车作为车辆的情况下，也可以将旋转电机的转矩和/或输出作为行动变量。另外，例如在具备具有利用内燃机的曲轴的旋转动力进行旋转的压缩机的车载空调装置的情况下，也可以将压缩机的负载转矩包含于行动变量。另外，在具备电动式的车载空调装置的情况下，也可以将空调装置的功耗包含于行动变量。
[关于状态]
在上述实施方式中，将加速器操作量PA的时间序列数据设为了包括按等间隔采样得到的6个值的数据，但不限于此。只要是包括在互不相同的采样定时的2个以上的采样值的数据即可，此时，更优选为包括3个以上的采样值的数据、采样间隔为等间隔的数据。
作为与加速器操作量有关的状态变量，不限于加速器操作量PA的时间序列数据，例如如“关于行动变量”一栏中记载的那样，也可以是加速器操作量PA的每单位时间的变化量等。
另外，例如在如“关于行动变量”一栏中记载的那样，将电磁阀的电流值作为行动变量的情况下，在状态中包含变速装置的输入轴52的转速、输出轴54的转速、由电磁阀调整的油压即可。另外，例如在如“关于行动变量”一栏中记载的那样，将旋转电机的转矩和/或输出作为行动变量的情况下，在状态中包含电池的充电率、温度即可。另外，例如在如“关于行动变量”一栏中记载的那样，将压缩机的负载转矩、空调装置的功耗包含于行动的情况下，在状态中包含车室内的温度即可。
[关于表形式的数据的降维]
作为表形式的数据的降维方法，不限于在上述实施方式中例示的方法。例如因为很少有加速器操作量PA成为最大值的情况，所以也可以，对于加速器操作量PA成为规定量以上的状态，不定义行动价值函数Q，对加速器操作量PA成为规定量以上的情况下的节气门开度指令值TA*等另行进行适配。另外，例如也可以从行动的可取的值去除节气门开度指令值TA*成为规定值以上的值等来进行降维。
直到在图4的S52的处理中作出肯定判定为止，也可以在S34的处理中将行动价值函数Q的自变量的值限制在少数，并在S52的处理中作出肯定判定的情况下，将行动价值函数Q的值增大的行动a的附近的值加到行动价值函数Q的自变量可取的值中，反复进行S32～S52的处理。
不过，并非必须要进行降维。例如在第3实施方式中基于来自多个车辆的数据进行强化学习并且CPU72的运算能力和存储装置76的存储容量足够的话，那么也可以在车辆出厂前仅对降维了的一部分学习行动价值函数，但在出厂后能够通过搜索来执行全部行动。由此，鉴于在出厂后能够确保比出厂前充足的学习用的数据，故能够增加作为搜索而可取的行动的数量，能够发现更适当的行动。
[关于关系规定数据]
在上述实施方式中，将行动价值函数Q设为了表形式的函数，但不限于此。例如也可以使用函数逼近器。
例如，也可以取代使用行动价值函数Q，而用以状态s及行动a为自变量并以取行动a的概率为因变量的函数逼近器来表现策略π，根据奖励r，将确定函数逼近器的参数更新。
[关于操作处理]
例如在如“关于关系规定数据”一栏中记载的那样将行动价值函数设为函数逼近器的情况下，通过将成为上述实施方式中的表形式的函数的自变量的关于行动的离散的值的全部组与状态s一起输入到行动价值函数Q，选择使行动价值函数Q最大化的行动a即可。
另外，例如在如“关于关系规定数据”一栏中记载的那样，将策略π设为以状态s及行动a为自变量并以取行动a的概率为因变量的函数逼近器的情况下，基于由策略π表示的概率选择行动a即可。
[关于更新映射]
在S68～S74的处理中，例示了利用ε软同策略型蒙特卡洛方法的处理，但不限于此。例如也可以是利用异策略型(off-policy type)蒙特卡洛方法的处理。不过，也不限于蒙特卡洛方法，例如也可以使用异策略型TD(Temporal-difference，时序分差)法，另外例如也可以使用如SARSA(state-action-reward-state'-action')法的同策略型TD法，另外例如作为同策略型的学习，也可以使用资格迹方法(eligibility trace method)。
另外，例如在如“关于关系规定数据”一栏中记载的那样，使用函数逼近器表现策略π并基于奖励r直接更新策略π的情况下，使用策略梯度法等构成更新映射即可。
另外，不限于仅将行动价值函数Q和策略π中的某一方作为基于奖励r的直接的更新对象。例如，也可以如Actor Critic(演员评判家)法那样对行动价值函数Q和策略π分别进行更新。另外，在Actor Critic法中，不限于此，例如也可以代替行动价值函数Q而将价值函数V作为更新对象。
此外，关于确定策略π的“ε”，不限于固定值，也可以按照根据学习的进行程度预先确定的规则进行变更。
[关于奖励计算处理]
在图5的处理中，根据条件(A)和条件(B)的逻辑与是否为真而给予了奖励，但不限于此。例如，也可以执行根据是否满足条件(A)来给予奖励的处理、和根据是否满足条件(B)来给予奖励的处理。另外，例如关于根据是否满足条件(A)来给予奖励的处理、和根据是否满足条件(B)来给予奖励的处理这两个处理，也可以仅执行它们中的任一个处理。
另外，例如也可以取代在满足条件(A)的情况下一律给予相同的奖励，而设为在转矩Trq与转矩指令值Trq*之差的绝对值小的情况下比该绝对值大的情况下给予较大的奖励的处理。另外，例如也可以取代在不满足条件(A)的情况下一律给予相同的奖励，而设为在转矩Trq与转矩指令值Trq*之差的绝对值大的情况下比该绝对值小的情况下给予较小的奖励的处理。而且，在这些情况下，也可以根据模式变量MV的值，变更所给予的奖励的大小。
另外，例如也可以取代在满足条件(B)的情况下一律给予相同的奖励，而设为根据加速度Gx的大小来使奖励的大小可变的处理。另外，例如也可以取代在不满足条件(B)的情况下一律给予相同的奖励，而设为根据加速度Gx的大小来使奖励的大小可变的处理。而且，在这些情况下，也可以根据模式变量MV的值，变更所给予的奖励的大小。
另外，例如在如“关于行动变量”一栏中记载的那样，将变速装置50的电磁阀的电流值作为行动变量的情况下，例如在奖励计算处理中包括以下的(a)～(c)这三个处理中的至少一个处理即可。
(a)是以下处理：在变速装置的变速比的切换所需的时间为预定时间以内的情况下比该所需的时间超过预定时间的情况下给予较大的奖励。
(b)是以下处理：在变速装置的输入轴52的转速的变化速度的绝对值为输入侧预定值以下的情况下比该绝对值超过输入侧预定值的情况下给予较大的奖励。
(c)是以下处理：在变速装置的输出轴54的转速的变化速度的绝对值为输出侧预定值以下的情况下比该绝对值超过输出侧预定值的情况下给予较大的奖励。在这样的情况下，例如在选择如运动模式那样的重视响应性的行驶控制模式的情况下，将上述预定时间设定得更短，另一方面，将输入侧预定值和/或输出侧预定值设定为更大的值即可。
另外，例如在如“关于行驶控制模式”一栏中记载的那样，从燃料消耗率和/或能量消耗率的观点定义了行驶控制模式的情况下，设为在燃料消耗率和/或能量消耗率低的情况下比燃料消耗率和/或能量消耗率高的情况下给予较大的奖励的处理即可。另外，此时，在如“关于行动变量”一栏中记载的那样，具备车载空调装置的情况下，也可以将其负载转矩和/或功耗包含于行动变量。
另外，例如在如“关于行动变量”一栏中记载的那样，将旋转电机的转矩和/或输出作为行动变量的情况下，也可以包括以下处理：在电池的充电率在预定范围内的情况下比充电率不在预定范围内的情况下给予较大的奖励的处理；在电池的温度在预定范围内的情况下比温度不在预定范围内的情况下给予较大的奖励的处理。另外，例如在如“关于行动变量”一栏中记载的那样，将压缩机的负载转矩和/或空调装置的功耗包含于行动变量的情况下，也可以加上在车室内的温度在预定范围内的情况下比温度不在预定范围内的情况下给予较大的奖励的处理。
[关于车辆用控制数据的生成方法]
在图4的S34的处理中，基于行动价值函数Q决定了行动，但不限于此，也可以按等概率选择可取的所有的行动。
[关于控制用映射数据]
作为通过将车辆的状态与使期待收益最大化的行动变量的值一对一地关联而以车辆的状态为输入变量并以使期待收益最大化的行动变量的值为输出变量的控制用映射数据，不限于映射数据。例如也可以是函数逼近器。这例如能够通过如下来实现：在如上述“关于更新映射”一栏中记载的那样使用策略梯度法等的情况下，用表示可取行动变量的值的概率的高斯分布来表现策略π，用函数逼近器表现其平均值，将表现平均值的函数逼近器的参数更新，并将学***均值作为控制用映射数据。
[关于取得处理]
在上述实施方式中，通过取得基于模式选择开关92的输出信号的模式变量MV，取得了由用户对行驶控制模式的选择结果，但不限于此。例如也可以具备感测语音指示的装置以代替模式选择开关92，并取得其感测结果作为模式变量MV。
[关于车辆用控制***]
在图10所示的例子中，在车辆侧执行了决定基于策略π的行动的处理(S34的处理)，但不限于此。例如也可以设为从车辆VC1发送通过S32的处理所取得的数据，在数据解析中心130使用发送来的数据决定行动a，并将所决定的行动发送给车辆VC1。
作为车辆用控制***，不限于由控制装置70以及数据解析中心130构成的***。例如也可以使用用户的便携终端代替数据解析中心130。另外，也可以由控制装置70以及数据解析中心130和便携终端构成车辆用控制***。这例如能够通过由便携终端执行S34的处理来实现。
[关于执行装置]
作为执行装置，不限于具备CPU72(112、132)和ROM74(114、134)并执行软件处理的装置。例如，也可以具备对在上述实施方式中被进行软件处理的内容的至少一部分进行硬件处理的例如ASIC等专用的硬件电路。即，执行装置是以下的(a)～(c)中的某个构成即可。(a)具备按照程序执行上述处理的全部的处理装置、和存储程序的ROM等程序存储装置。(b)具备按照程序执行上述处理的一部分的处理装置以及程序存储装置、和执行其余处理的专用硬件电路。(c)具备执行上述处理的全部的专用硬件电路。在此，具备处理装置以及程序存储装置的软件执行装置、和专用硬件电路也可以为多个。
[关于存储装置]
在上述实施方式中，将存储关系规定数据DR的存储装置与存储学习程序74b、114a和控制程序74a的存储装置(ROM74、114、134)设为有别的存储装置，但不限于此。
[关于内燃机]
作为内燃机，不限于具备向进气通路12喷射燃料的进气口喷射阀作为燃料喷射阀的内燃机，也可以是具备直接向燃烧室24喷射燃料的缸内喷射阀的内燃机，另外，例如也可以是具备进气口喷射阀和缸内喷射阀双方的内燃机。
作为内燃机，不限于火花点火式内燃机，例如也可以是使用轻油等作为燃料的压缩着火式内燃机等。
[关于车辆]
作为车辆，不限于推力生成装置仅为内燃机的车辆，例如也可以是具备内燃机和旋转电机的所谓的混合动力车辆。另外，例如也可以是不具备内燃机而具备旋转电机作为推力生成装置的所谓的电动汽车和燃料电池车。

Claims (8)

1.一种车辆用控制数据的生成方法，是应用于构成为选择多个行驶控制模式中的一个行驶控制模式的车辆的方法，在存储装置中存储有关系规定数据的状态下，由执行装置执行该方法，所述关系规定数据是规定所述车辆的状态与行动变量的关系的数据，所述行动变量是与所述车辆内的电子设备的操作有关的变量，所述方法的特征在于，包括：
操作处理，该操作处理操作所述电子设备；
取得处理，该取得处理取得构成为检测所述车辆的状态的传感器的检测值；
奖励计算处理，该奖励计算处理基于通过所述取得处理所取得的所述检测值，在与所述行驶控制模式有关联的所述车辆的特性满足基准的情况下，与所述车辆的特性不满足所述基准的情况相比，给予较大的奖励；以及
更新处理，该更新处理将基于通过所述取得处理所取得的所述检测值的所述车辆的状态、所述电子设备的操作中所使用了的行动变量的值、和对所述操作给予的所述奖励作为向预先确定的更新映射的输入，更新所述关系规定数据，
所述执行装置基于所述更新映射，输出以使按照所述关系规定数据来操作所述电子设备的情况下的关于所述奖励的期待收益增加的方式进行了更新的所述关系规定数据，
所述奖励计算处理包括如下处理：在所述选择的行驶控制模式为互不相同的第1行驶控制模式和第2行驶控制模式下，即使在所述车辆的特性满足同一基准的情况下，也给予不同的奖励，
所述车辆的状态包括加速器操作量的变化，
所述奖励计算处理包括如下处理：在伴随所述加速器操作量的变化的所述车辆的前后方向的加速度满足基准的情况下，与所述加速度不满足所述基准的情况相比，给予较大的奖励，并且，在所述多个行驶控制模式中的第1行驶控制模式和第2行驶控制模式下，即使在所述加速度满足同一基准的情况下，也给予互不相同的奖励，
所述车辆具备内燃机作为该车辆的推力生成装置，
所述电子设备包括所述内燃机的节气门，
所述行动变量包括与所述节气门的开度有关的变量。
2.根据权利要求1所述的车辆用控制数据的生成方法，其特征在于，
所述电子设备包括所述内燃机的点火装置，
所述行动变量包括与点火正时有关的变量。
3.根据权利要求1所述的车辆用控制数据的生成方法，其特征在于，
所述关系规定数据是规定所述加速器操作量的时间序列数据与所述行动变量的关系的数据。
4.根据权利要求2所述的车辆用控制数据的生成方法，其特征在于，
所述关系规定数据是规定所述加速器操作量的时间序列数据与所述行动变量的关系的数据。
5.根据权利要求1至4中任一项所述的车辆用控制数据的生成方法，其特征在于，
所述执行装置构成为执行如下处理：基于通过所述更新处理更新了的所述关系规定数据，通过将所述车辆的状态与使所述期待收益最大化的所述行动变量的值一对一地进行关联，生成控制用映射数据，
所述控制用映射数据包括作为输入的所述车辆的状态和作为输出的使所述期待收益最大化的所述行动变量的值。
6.一种车辆用控制装置，其应用于构成为选择多个行驶控制模式中的一个行驶控制模式的车辆，所述车辆用控制装置的特征在于，
具备存储装置以及搭载于所述车辆的执行装置，
所述执行装置构成为执行：
操作处理，该操作处理操作电子设备；
取得处理，该取得处理取得构成为检测所述车辆的状态的传感器的检测值；
奖励计算处理，该奖励计算处理基于通过所述取得处理所取得的所述检测值，在与所述行驶控制模式有关联的所述车辆的特性满足基准的情况下，与所述车辆的特性不满足所述基准的情况相比，给予较大的奖励；以及
更新处理，该更新处理将基于通过所述取得处理所取得的所述检测值的所述车辆的状态、所述电子设备的操作中所使用了的行动变量的值、和对所述操作给予的所述奖励作为向预先确定的更新映射的输入，更新关系规定数据，所述关系规定数据是规定所述车辆的状态与所述行动变量的关系的数据，
所述执行装置基于所述更新映射，输出以使按照所述关系规定数据来操作所述电子设备的情况下的关于所述奖励的期待收益增加的方式进行了更新的所述关系规定数据，
所述奖励计算处理包括如下处理：在所述选择的行驶控制模式为互不相同的第1行驶控制模式和第2行驶控制模式下，即使在所述车辆的特性满足同一基准的情况下，也给予不同的奖励，
所述车辆的状态包括加速器操作量的变化，
所述奖励计算处理包括如下处理：在伴随所述加速器操作量的变化的所述车辆的前后方向的加速度满足基准的情况下，与所述加速度不满足所述基准的情况相比，给予较大的奖励，并且，在所述多个行驶控制模式中的第1行驶控制模式和第2行驶控制模式下，即使在所述加速度满足同一基准的情况下，也给予互不相同的奖励，
所述车辆具备内燃机作为该车辆的推力生成装置，
所述电子设备包括所述内燃机的节气门，
所述行动变量包括与所述节气门的开度有关的变量。
7.根据权利要求6所述的车辆用控制装置，其特征在于，
所述操作处理包括如下处理：基于所述关系规定数据，按照与所述车辆的状态相应的行动变量的值，操作所述电子设备，
所述取得处理包括如下处理：取得用户选择了所述多个行驶控制模式中的哪个模式的选择结果。
8.一种车辆用控制***，其应用于构成为选择多个行驶控制模式中的一个行驶控制模式的车辆，所述车辆用控制***的特征在于，
具备存储装置以及搭载于所述车辆的执行装置，
所述执行装置构成为执行：
操作处理，该操作处理操作电子设备；
取得处理，该取得处理取得构成为检测所述车辆的状态的传感器的检测值；
奖励计算处理，该奖励计算处理基于通过所述取得处理所取得的所述检测值，在与所述行驶控制模式有关联的所述车辆的特性满足基准的情况下，与所述车辆的特性不满足所述基准的情况相比，给予较大的奖励；以及
更新处理，该更新处理将基于通过所述取得处理所取得的所述检测值的所述车辆的状态、所述电子设备的操作中所使用了的行动变量的值、和对所述操作给予的所述奖励作为向预先确定的更新映射的输入，更新关系规定数据，所述关系规定数据是规定所述车辆的状态与所述行动变量的关系的数据，
所述执行装置基于所述更新映射，输出以使按照所述关系规定数据来操作所述电子设备的情况下的关于所述奖励的期待收益增加的方式进行了更新的所述关系规定数据，
所述奖励计算处理包括如下处理：在所述选择的所述行驶控制模式为互不相同的第1行驶控制模式和第2行驶控制模式下，即使在所述车辆的特性满足同一基准的情况下，也给予不同的奖励，
所述车辆的状态包括加速器操作量的变化，
所述奖励计算处理包括如下处理：在伴随所述加速器操作量的变化的所述车辆的前后方向的加速度满足基准的情况下，与所述加速度不满足所述基准的情况相比，给予较大的奖励，并且，在所述多个行驶控制模式中的第1行驶控制模式和第2行驶控制模式下，即使在所述加速度满足同一基准的情况下，也给予互不相同的奖励，
所述车辆具备内燃机作为该车辆的推力生成装置，
所述电子设备包括所述内燃机的节气门，
所述行动变量包括与所述节气门的开度有关的变量，
所述执行装置包括搭载于所述车辆的第1执行装置和有别于车载装置的第2执行装置，
所述第1执行装置构成为至少执行所述取得处理和所述操作处理，
所述第2执行装置构成为至少执行所述更新处理。
CN202011094751.6A 2019-10-18 2020-10-14 车辆用控制数据的生成方法、车辆用控制装置和控制*** Active CN112682197B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019191093A JP6744597B1 (ja) 2019-10-18 2019-10-18 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP2019-191093 2019-10-18

Publications (2)

Publication Number Publication Date
CN112682197A CN112682197A (zh) 2021-04-20
CN112682197B true CN112682197B (zh) 2023-04-28

Family

ID=72047883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011094751.6A Active CN112682197B (zh) 2019-10-18 2020-10-14 车辆用控制数据的生成方法、车辆用控制装置和控制***

Country Status (3)

Country Link
US (1) US11654915B2 (zh)
JP (1) JP6744597B1 (zh)
CN (1) CN112682197B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210012081A (ko) * 2019-07-23 2021-02-03 현대자동차주식회사 어드밴스 2단 vvl 작동학습제어 방법 및 전동식 2단 vvl 시스템
JP6705544B1 (ja) * 2019-10-18 2020-06-03 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、および車両用学習装置
JP6809587B1 (ja) * 2019-10-18 2021-01-06 トヨタ自動車株式会社 車両用制御装置
JP6705545B1 (ja) 2019-10-18 2020-06-03 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP6744597B1 (ja) * 2019-10-18 2020-08-19 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP7287287B2 (ja) 2020-01-09 2023-06-06 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP7243642B2 (ja) 2020-01-09 2023-03-22 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP7331789B2 (ja) * 2020-06-25 2023-08-23 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、車両用学習装置、および車両用学習方法
CN112116156B (zh) * 2020-09-18 2023-02-03 中南大学 基于深度强化学习的混动列车的能量管理方法及***

Family Cites Families (166)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2974440B2 (ja) 1991-03-22 1999-11-10 株式会社日立製作所 自動車総合制御装置
JP3071333B2 (ja) 1993-02-26 2000-07-31 トヨタ自動車株式会社 車両の駆動力制御装置
US5532929A (en) 1992-12-16 1996-07-02 Toyota Jidosha Kabushiki Kaisha Apparatus for controlling vehicle driving power
DE19527323A1 (de) * 1995-07-26 1997-01-30 Siemens Ag Schaltungsanordnung zum Steuern einer Einrichtung in einem Kraftfahrzeug
JPH10254505A (ja) * 1997-03-14 1998-09-25 Toyota Motor Corp 自動制御装置
JP2000250604A (ja) * 1999-03-02 2000-09-14 Yamaha Motor Co Ltd 特性最適化方法における最適化の協調方法
US6549815B1 (en) 1999-03-02 2003-04-15 Yamaha Hatsudoki Kabushiki Kaisha Method and apparatus for optimizing overall characteristics of device, using heuristic method
US6837217B1 (en) 1999-07-28 2005-01-04 Hitachi, Ltd. Method and apparatus for motor-driven throttle valve, automobile, method of measuring temperature of motor for driving automotive throttle valve, and method of measuring motor temperature
JP2002322934A (ja) 2001-04-26 2002-11-08 Toyota Motor Corp 内燃機関の吸気制御装置
US6654677B2 (en) 2001-09-18 2003-11-25 Visteon Global Technologies, Inc. Method and system for providing vehicle control to a driver
JP4005483B2 (ja) 2002-11-20 2007-11-07 日産自動車株式会社 車線逸脱防止装置
JP4348965B2 (ja) 2003-02-25 2009-10-21 マツダ株式会社 自動変速機の変速制御装置
JP4282572B2 (ja) * 2004-08-30 2009-06-24 本田技研工業株式会社 プラントを制御する制御装置
ES2286958B1 (es) 2005-07-11 2008-09-01 Honda Motor Co., Ltd Sistema de control de vehiculo, sistema de control de transmision continuamente variable y metodo.
JP4475251B2 (ja) * 2006-04-25 2010-06-09 トヨタ自動車株式会社 車両環境サービスシステム
JP2009019523A (ja) 2007-07-10 2009-01-29 Honda Motor Co Ltd 内燃機関の制御装置
US8897975B2 (en) * 2007-11-04 2014-11-25 GM Global Technology Operations LLC Method for controlling a powertrain system based on penalty costs
JP4930389B2 (ja) 2008-01-18 2012-05-16 三菱自動車工業株式会社 空燃比制御装置及び空燃比制御方法
US8352152B2 (en) 2009-02-10 2013-01-08 Honeywell International Inc. System, method, apparatus and computer program product for providing improved engine control
JP4975158B2 (ja) 2010-11-08 2012-07-11 本田技研工業株式会社 プラントの制御装置
CN103875012A (zh) * 2011-10-20 2014-06-18 丰田自动车株式会社 广告呈现***、广告呈现装置以及广告提供装置
US9215598B2 (en) * 2011-11-10 2015-12-15 Toyota Jidosha Kabushiki Kaisha Optimizing dynamic spectrum access
US20140005848A1 (en) * 2012-06-28 2014-01-02 Toyota Infotechnology Center Co., Ltd. Event Control Schedule Management
US20140006137A1 (en) * 2012-06-28 2014-01-02 Toyota Infotechnology Center Co., Ltd. Event Control Schedule Management
US10445758B1 (en) * 2013-03-15 2019-10-15 Allstate Insurance Company Providing rewards based on driving behaviors detected by a mobile computing device
WO2014157401A1 (ja) * 2013-03-28 2014-10-02 本田技研工業株式会社 運転評価システム、電子装置、運転評価方法およびプログラム
JP6176122B2 (ja) * 2014-01-14 2017-08-09 トヨタ自動車株式会社 車両制御装置
JP6312618B2 (ja) 2015-03-13 2018-04-18 日立オートモティブシステムズ株式会社 内燃機関の制御装置及び異常燃焼検出方法
JP6026612B2 (ja) 2015-09-22 2016-11-16 本田技研工業株式会社 車両用内燃機関の制御装置
JP6513557B2 (ja) * 2015-11-11 2019-05-15 日本電信電話株式会社 内部基準推定装置、方法、及びプログラム
JP6477551B2 (ja) * 2016-03-11 2019-03-06 トヨタ自動車株式会社 情報提供装置及び情報提供プログラム
JP6253000B1 (ja) 2016-09-14 2017-12-27 マツダ株式会社 車両の制御装置
JP6253001B1 (ja) 2016-09-29 2017-12-27 マツダ株式会社 車両の制御装置
US9989964B2 (en) 2016-11-03 2018-06-05 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling vehicle using neural network
CN108154283A (zh) * 2016-12-06 2018-06-12 北京嘀嘀无限科技发展有限公司 司机驾驶行为分析方法及装置
JP6551376B2 (ja) * 2016-12-07 2019-07-31 トヨタ自動車株式会社 負担感推定装置及び負担感推定プログラム
JP6695266B2 (ja) 2016-12-09 2020-05-20 日立オートモティブシステムズ株式会社 内燃機関の異常燃焼検出装置
WO2018179154A1 (ja) * 2017-03-29 2018-10-04 本田技研工業株式会社 情報管理装置、情報処理装置、システムおよび情報管理方法
JP6528798B2 (ja) * 2017-03-30 2019-06-12 トヨタ自動車株式会社 車載ミリ波通信装置および通信方法
CN110663073B (zh) * 2017-06-02 2022-02-11 本田技研工业株式会社 策略生成装置及车辆
JP6928870B2 (ja) * 2017-10-20 2021-09-01 トヨタ自動車株式会社 車両および演算システム
JP7053253B2 (ja) * 2017-12-27 2022-04-12 トヨタ自動車株式会社 蓄電池モジュール貸与システム、貸与方法および貸与プログラム
JP7205057B2 (ja) * 2017-12-28 2023-01-17 トヨタ自動車株式会社 情報システム、情報処理装置、情報処理方法およびプログラム
JP7024419B2 (ja) * 2018-01-12 2022-02-24 トヨタ自動車株式会社 情報処理システムおよび情報処理方法
JP7353747B2 (ja) * 2018-01-12 2023-10-02 キヤノン株式会社 情報処理装置、システム、方法、およびプログラム
CN108256766A (zh) * 2018-01-17 2018-07-06 合肥工业大学 一种基于危险驾驶行为的车辆保险核算方法
JP6970920B2 (ja) * 2018-01-26 2021-11-24 トヨタ自動車株式会社 カーシェアリング管理装置及びカーシェアリング管理方法
JP6919997B2 (ja) 2018-02-06 2021-08-18 株式会社日立製作所 制御装置、制御方法、および制御プログラム
JP2019144748A (ja) * 2018-02-19 2019-08-29 株式会社デンソー 情報処理システム、車載制御装置、及び情報処理装置
US20190360421A1 (en) 2018-05-24 2019-11-28 GM Global Technology Operations LLC Method to evaluate the instantaneous fuel to torque ice efficiency status
JP7073947B2 (ja) * 2018-07-05 2022-05-24 トヨタ自動車株式会社 情報処理装置、情報処理方法、及びプログラム
CN108995654B (zh) * 2018-07-06 2020-04-10 北京理工大学 一种驾驶员状态识别方法及***
CN108995655B (zh) * 2018-07-06 2020-04-10 北京理工大学 一种驾驶员驾驶意图识别方法及***
JP7014070B2 (ja) * 2018-07-12 2022-02-01 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び、情報処理システム
JP7059845B2 (ja) * 2018-07-18 2022-04-26 トヨタ自動車株式会社 車載装置
US20200033869A1 (en) * 2018-07-27 2020-01-30 GM Global Technology Operations LLC Systems, methods and controllers that implement autonomous driver agents and a policy server for serving policies to autonomous driver agents for controlling an autonomous vehicle
US10845815B2 (en) * 2018-07-27 2020-11-24 GM Global Technology Operations LLC Systems, methods and controllers for an autonomous vehicle that implement autonomous driver agents and driving policy learners for generating and improving policies based on collective driving experiences of the autonomous driver agents
US20200097808A1 (en) * 2018-09-21 2020-03-26 International Business Machines Corporation Pattern Identification in Reinforcement Learning
JP7031546B2 (ja) * 2018-09-25 2022-03-08 トヨタ自動車株式会社 情報処理装置および情報処理方法
CN110949397B (zh) * 2018-09-25 2021-03-23 北京嘀嘀无限科技发展有限公司 一种驾驶行为检测方法、装置及电子设备
JP6848949B2 (ja) * 2018-10-25 2021-03-24 トヨタ自動車株式会社 制御支援装置、車両、および制御支援システム
JP7010194B2 (ja) * 2018-11-01 2022-01-26 トヨタ自動車株式会社 車両派遣システム、サーバおよび情報処理方法
JP2020095403A (ja) * 2018-12-11 2020-06-18 トヨタ自動車株式会社 ポイント管理装置
JP2020098401A (ja) * 2018-12-17 2020-06-25 トヨタ自動車株式会社 車両情報管理装置及び車両情報管理方法
JP6590097B1 (ja) 2019-02-20 2019-10-16 トヨタ自動車株式会社 Ｐｍ量推定装置、ｐｍ量推定システム、データ解析装置、内燃機関の制御装置、および受信装置
JP6547991B1 (ja) 2019-02-20 2019-07-24 トヨタ自動車株式会社 触媒温度推定装置、触媒温度推定システム、データ解析装置、および内燃機関の制御装置
JP7211164B2 (ja) * 2019-02-28 2023-01-24 トヨタ自動車株式会社 情報処理システム及び情報処理方法
CN109624986B (zh) * 2019-03-01 2021-01-15 吉林大学 一种基于模式切换的驾驶风格的学习巡航控制***及方法
JP2020148593A (ja) * 2019-03-13 2020-09-17 株式会社明電舎 自動操縦ロボットを制御する操作推論学習モデルの学習システム及び学習方法
CN109823345B (zh) * 2019-04-03 2023-04-18 吉林大学 一种基于生理信息的安全驾驶***
JP6547992B1 (ja) 2019-04-18 2019-07-24 トヨタ自動車株式会社 酸素吸蔵量推定装置、酸素吸蔵量推定システム、内燃機関の制御装置、データ解析装置、および酸素吸蔵量推定方法
JP7147685B2 (ja) * 2019-05-23 2022-10-05 トヨタ自動車株式会社 情報処理システムおよび情報処理方法
JP2020194280A (ja) * 2019-05-27 2020-12-03 トヨタ自動車株式会社 情報処理装置、情報処理方法、プロブラム
JP7156183B2 (ja) * 2019-06-21 2022-10-19 トヨタ自動車株式会社 情報提供システム
CN112124310B (zh) * 2019-06-24 2021-12-24 魔门塔(苏州)科技有限公司 一种车辆的路径变换方法和装置
JP6665961B1 (ja) 2019-08-01 2020-03-13 トヨタ自動車株式会社 内燃機関の状態検出システム、データ解析装置、及び車両
JP7136045B2 (ja) * 2019-08-13 2022-09-13 トヨタ自動車株式会社 情報処理装置、車両、情報処理システム、情報処理方法、及びプログラム
JP7167879B2 (ja) * 2019-08-19 2022-11-09 トヨタ自動車株式会社 サーバ、配車方法、及び配車プログラム
JP2021032114A (ja) 2019-08-22 2021-03-01 トヨタ自動車株式会社 車両用学習制御システム、車両用制御装置、および車両用学習装置
JP7088144B2 (ja) * 2019-08-23 2022-06-21 トヨタ自動車株式会社 Ｃｏ２回収装置を搭載した車両の制御装置
JP7167886B2 (ja) * 2019-09-02 2022-11-09 トヨタ自動車株式会社 情報処理装置、車両、情報処理システム、及びプログラム
US20210073674A1 (en) * 2019-09-11 2021-03-11 International Business Machines Corporation Automated explainer of reinforcement learning actions using occupation measures
JP6997149B2 (ja) 2019-09-13 2022-01-17 ダイハツ工業株式会社 自動車車体の塗装方法
CN110667565B (zh) * 2019-09-25 2021-01-19 重庆大学 一种智能网联插电式混合动力汽车协同优化能量管理方法
WO2021061212A1 (en) 2019-09-26 2021-04-01 Hrl Laboratories, Llc System and method for safety and efficacy override of an autonomous system
JP7243556B2 (ja) * 2019-09-26 2023-03-22 トヨタ自動車株式会社 情報処理装置、車両、情報処理システム、及びプログラム
JP7247854B2 (ja) * 2019-10-17 2023-03-29 トヨタ自動車株式会社 情報処理装置、情報処理プログラム、及び情報処理方法
JP6809587B1 (ja) * 2019-10-18 2021-01-06 トヨタ自動車株式会社 車両用制御装置
JP6970156B2 (ja) * 2019-10-18 2021-11-24 トヨタ自動車株式会社 車両の制御に用いるデータの生成方法、車両用制御装置、車両用制御システム、車載装置および車両用学習装置
JP6705547B1 (ja) * 2019-10-18 2020-06-03 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、および車両用学習装置
JP7205456B2 (ja) * 2019-12-23 2023-01-17 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、および車両用学習装置
JP7207289B2 (ja) * 2019-12-23 2023-01-18 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、車両用学習装置、および車両用学習方法
JP6809588B1 (ja) * 2019-10-18 2021-01-06 トヨタ自動車株式会社 車両用制御システム、車両用制御装置、および車両用学習装置
JP6705544B1 (ja) * 2019-10-18 2020-06-03 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、および車両用学習装置
JP6744598B1 (ja) * 2019-10-18 2020-08-19 トヨタ自動車株式会社 車両用制御システム、車両用制御装置、および車両用学習装置
JP6705546B1 (ja) * 2019-10-18 2020-06-03 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、および車両用学習装置
JP6744597B1 (ja) * 2019-10-18 2020-08-19 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP6705545B1 (ja) * 2019-10-18 2020-06-03 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
US11603111B2 (en) * 2019-10-18 2023-03-14 Toyota Jidosha Kabushiki Kaisha Vehicle controller, vehicle control system, and learning device for vehicle
US11377084B2 (en) * 2019-10-18 2022-07-05 Toyota Jidosha Kabushiki Kaisha Vehicle controller, vehicle control system, vehicle learning device, vehicle learning method, and memory medium
JP7264011B2 (ja) * 2019-10-28 2023-04-25 トヨタ自動車株式会社 情報処理装置、情報処理システム、及び、情報処理方法
JP7272238B2 (ja) * 2019-11-07 2023-05-12 トヨタ自動車株式会社 情報処理装置、情報処理システム、およびプログラム
CN110920631B (zh) * 2019-11-27 2021-02-12 北京三快在线科技有限公司 控制车辆的方法、装置、电子设备及可读存储介质
DE102019219534A1 (de) * 2019-12-13 2021-06-17 Robert Bosch Gmbh Verfahren zum Bestimmen von Regelparametern für ein Regelsystem
US20210188276A1 (en) * 2019-12-20 2021-06-24 Toyota Jidosha Kabushiki Kaisha Vehicle control data generating method, vehicle controller, vehicle control system, and vehicle learning device
JP7205460B2 (ja) * 2019-12-26 2023-01-17 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP7136073B2 (ja) * 2019-12-20 2022-09-13 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP7302466B2 (ja) * 2019-12-23 2023-07-04 トヨタ自動車株式会社 車両用内燃機関の劣化判定装置
JP7239894B2 (ja) * 2019-12-23 2023-03-15 トヨタ自動車株式会社 車両用効率評価システム、および車載装置
JP7207290B2 (ja) * 2019-12-23 2023-01-18 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、車両用学習装置、および車両用学習方法
JP7287287B2 (ja) * 2020-01-09 2023-06-06 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP7211375B2 (ja) * 2020-01-09 2023-01-24 トヨタ自動車株式会社 車両用制御装置
JP7243642B2 (ja) * 2020-01-09 2023-03-22 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP7331704B2 (ja) * 2020-01-09 2023-08-23 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、および車両用制御システム
CN111222630B (zh) * 2020-01-17 2023-07-25 北京工业大学 一种基于深度强化学习的自主驾驶规则学习方法
JP7205503B2 (ja) * 2020-01-22 2023-01-17 トヨタ自動車株式会社 内燃機関の制御装置
JP7222366B2 (ja) * 2020-01-27 2023-02-15 トヨタ自動車株式会社 内燃機関の制御装置
JP7314813B2 (ja) * 2020-01-29 2023-07-26 トヨタ自動車株式会社 車両制御方法、車両用制御装置及びサーバ
JP2021116781A (ja) * 2020-01-29 2021-08-10 トヨタ自動車株式会社 車両制御方法、車両用制御装置及びサーバ
JP2021116783A (ja) * 2020-01-29 2021-08-10 トヨタ自動車株式会社 車両用制御装置および車両用制御システム
JP7314819B2 (ja) * 2020-02-04 2023-07-26 トヨタ自動車株式会社 車両制御方法、車両用制御装置及びサーバ
JP7359011B2 (ja) * 2020-02-05 2023-10-11 トヨタ自動車株式会社 内燃機関の制御装置
JP6908144B1 (ja) * 2020-02-06 2021-07-21 株式会社明電舎 自動操縦ロボットの制御装置及び制御方法
JP7327198B2 (ja) * 2020-02-17 2023-08-16 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP7314831B2 (ja) * 2020-02-17 2023-07-26 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
CN111340234B (zh) * 2020-02-27 2024-01-30 南京星火技术有限公司 视频数据处理方法、装置、电子设备和计算机可读介质
JP2021066417A (ja) * 2020-03-26 2021-04-30 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、および車両用学習装置
JP2021067255A (ja) * 2020-03-27 2021-04-30 トヨタ自動車株式会社 車両用制御システム、車両用制御装置、および車両用学習装置
JP2021067257A (ja) * 2020-03-30 2021-04-30 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、および車両用学習装置
JP2021067256A (ja) * 2020-03-30 2021-04-30 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP2021067258A (ja) * 2020-03-31 2021-04-30 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、および車両用学習装置
JP2021067259A (ja) * 2020-03-31 2021-04-30 トヨタ自動車株式会社 車両用制御システム、車両用制御装置、および車両用学習装置
JP2021067260A (ja) * 2020-04-02 2021-04-30 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP2021066418A (ja) * 2020-04-02 2021-04-30 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP2021067261A (ja) * 2020-04-03 2021-04-30 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、および車両用学習装置
JP2021067262A (ja) * 2020-04-03 2021-04-30 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP7230879B2 (ja) * 2020-04-22 2023-03-01 トヨタ自動車株式会社 ウォレットサーバ、ウォレットプログラム、ウォレットシステムおよび報奨提供方法
JP7287340B2 (ja) * 2020-04-30 2023-06-06 トヨタ自動車株式会社 情報処理装置、制御装置、車両、及び散水方法
JP2021179808A (ja) * 2020-05-13 2021-11-18 トヨタ自動車株式会社 ウォレットサーバ、ウォレットシステム、およびプログラム
JP7463867B2 (ja) * 2020-06-09 2024-04-09 トヨタ自動車株式会社 ウォレットシステム
JP7331789B2 (ja) * 2020-06-25 2023-08-23 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、車両用学習装置、および車両用学習方法
JP2022007027A (ja) * 2020-06-25 2022-01-13 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、および車両用学習装置
JP7251529B2 (ja) * 2020-07-17 2023-04-04 トヨタ自動車株式会社 自動変速機の油圧の学習方法、自動変速機の制御装置、自動変速機の制御システム、車両用制御装置および車両用学習装置
JP7439680B2 (ja) * 2020-07-28 2024-02-28 トヨタ自動車株式会社 変速制御データの生成方法、変速制御装置、変速制御システム、および車両用学習装置
JP6988969B1 (ja) * 2020-09-15 2022-01-05 株式会社明電舎 自動操縦ロボットを制御する操作推論学習モデルの学習システム及び学習方法
CN112201069B (zh) * 2020-09-25 2021-10-29 厦门大学 基于深度强化学习的驾驶员纵向跟车行为模型构建方法
JP2022054982A (ja) * 2020-09-28 2022-04-07 株式会社Subaru 運転支援装置
JP2022055236A (ja) * 2020-09-28 2022-04-07 トヨタ自動車株式会社 制御装置及び方法
JP2022056245A (ja) * 2020-09-29 2022-04-08 トヨタ自動車株式会社 情報処理装置、情報処理システム及び情報処理方法
JP7409290B2 (ja) * 2020-11-09 2024-01-09 トヨタ自動車株式会社 配送管理装置、配送システム及び配送管理方法
JP2022091622A (ja) * 2020-12-09 2022-06-21 トヨタ自動車株式会社 情報処理システム、サーバ、およびプログラム
JP2022094839A (ja) * 2020-12-15 2022-06-27 トヨタ自動車株式会社 情報処理装置、情報処理システム、およびプログラム
JP7405734B2 (ja) * 2020-12-21 2023-12-26 トヨタ自動車株式会社 表示システム及びサーバ
JP2022106573A (ja) * 2021-01-07 2022-07-20 トヨタ自動車株式会社 情報処理装置、情報処理システム、情報処理方法、及び端末装置
JP2022109049A (ja) * 2021-01-14 2022-07-27 トヨタ自動車株式会社 情報処理装置、情報処理システム、およびプログラム
CN112896170B (zh) * 2021-01-30 2022-09-20 同济大学 一种车路协同环境下的自动驾驶横向控制方法
CN112918477A (zh) * 2021-03-29 2021-06-08 昆山宝创新能源科技有限公司 超车控制方法及存储介质
CN113269963B (zh) * 2021-05-20 2021-12-10 东南大学 一种基于强化学习的网联车辆信号灯控路口经济通行方法
CN113268879A (zh) * 2021-05-31 2021-08-17 深圳市大数据研究院 列车操纵优化方法、装置、设备及存储介质
CN113253739B (zh) * 2021-06-24 2021-11-02 深圳慧拓无限科技有限公司 一种用于高速公路的驾驶行为决策方法
CN114067557B (zh) * 2021-08-21 2022-12-02 山东科技大学 一种驾驶信用测定方法、***、信息数据处理终端
CN113753026B (zh) * 2021-10-21 2022-08-02 东南大学 一种考虑路面附着条件的大型营运车辆防侧翻决策方法
CN113954837B (zh) * 2021-11-06 2023-03-14 交通运输部公路科学研究所 一种基于深度学习的大型营运车辆车道变换决策方法
CN114187567B (zh) * 2021-12-14 2024-05-31 山东大学 一种自动驾驶策略生成方法及***
CN114117944B (zh) * 2022-01-26 2022-04-22 苏州浪潮智能科技有限公司 一种模型更新方法、装置、设备及可读存储介质
CN114407931B (zh) * 2022-02-21 2024-05-03 东南大学 一种高度类人的自动驾驶营运车辆安全驾驶决策方法

Also Published As

Publication number Publication date
JP2021067192A (ja) 2021-04-30
US20210114596A1 (en) 2021-04-22
JP6744597B1 (ja) 2020-08-19
US11654915B2 (en) 2023-05-23
CN112682197A (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
CN112682197B (zh) 车辆用控制数据的生成方法、车辆用控制装置和控制***
CN112682184B (zh) 车辆用控制装置、车辆用控制***以及车辆控制方法
CN112682203B (zh) 车辆用控制装置、***、方法、学习装置、以及存储介质
CN113103972B (zh) 车辆用控制数据的生成方法及装置、车辆用控制装置及***和存储介质
CN112682181B (zh) 车辆用控制装置、车辆用控制***以及车辆控制方法
CN112682182B (zh) 车辆用控制装置、车辆用控制***以及车辆控制方法
JP6744598B1 (ja) 車両用制御システム、車両用制御装置、および車両用学習装置
CN113006951B (zh) 车辆用控制数据的生成方法、车辆用控制装置、车辆用控制***以及车辆用学习装置
CN113266479B (zh) 车辆用控制数据的生成方法、车辆用控制装置、车辆用控制***以及车辆用学习装置
CN113103971B (zh) 车辆用控制数据的生成方法、车辆用控制装置、车辆用控制***以及车辆用学习装置
CN113264034B (zh) 车辆用控制数据的生成方法、控制装置、***及学习装置
CN113090400B (zh) 车辆用控制装置及控制***、车辆用学习装置及学习方法、车辆用控制方法以及存储介质
CN113266481A (zh) 车辆控制方法、车辆用控制装置以及服务器
CN113217204B (zh) 车辆控制方法、车辆用控制装置以及服务器
JP2021067258A (ja) 車両用制御装置、車両用制御システム、および車両用学習装置
CN112682204B (zh) 车辆用控制装置、控制***、学习装置和方法及存储介质
AU2020286176B2 (en) Method for controlling vehicle, controller of vehicle, and server
CN112682202B (zh) 车辆用控制***、装置、控制方法以及存储介质
JP2021067262A (ja) 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant