JP7314813B2 - 車両制御方法、車両用制御装置及びサーバ - Google Patents
車両制御方法、車両用制御装置及びサーバ Download PDFInfo
- Publication number
- JP7314813B2 JP7314813B2 JP2020012547A JP2020012547A JP7314813B2 JP 7314813 B2 JP7314813 B2 JP 7314813B2 JP 2020012547 A JP2020012547 A JP 2020012547A JP 2020012547 A JP2020012547 A JP 2020012547A JP 7314813 B2 JP7314813 B2 JP 7314813B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- vehicle
- storage device
- value
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 129
- 230000008569 process Effects 0.000 claims description 99
- 230000009471 action Effects 0.000 claims description 79
- 230000004044 response Effects 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 38
- 230000008859 change Effects 0.000 claims description 35
- 238000013507 mapping Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 40
- 238000002485 combustion reaction Methods 0.000 description 34
- 230000001133 acceleration Effects 0.000 description 32
- 230000002787 reinforcement Effects 0.000 description 23
- 230000005540 biological transmission Effects 0.000 description 17
- 239000000446 fuel Substances 0.000 description 16
- 238000002347 injection Methods 0.000 description 16
- 239000007924 injection Substances 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 14
- 238000005070 sampling Methods 0.000 description 13
- 230000006399 behavior Effects 0.000 description 8
- 230000003542 behavioural effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000001052 transient effect Effects 0.000 description 5
- 238000000342 Monte Carlo simulation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 235000019640 taste Nutrition 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003054 catalyst Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/0002—Controlling intake air
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K26/00—Arrangements or mounting of propulsion unit control devices in vehicles
- B60K26/02—Arrangements or mounting of propulsion unit control devices in vehicles of initiating means or elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
- F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
- F02D41/2425—Particular ways of programming the data
- F02D41/2429—Methods of calibrating or learning
- F02D41/2451—Methods of calibrating or learning characterised by what is learned or calibrated
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/10—Accelerator pedal position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/0002—Controlling intake air
- F02D2041/0022—Controlling intake air for diesel engines by throttle control
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Combined Controls Of Internal Combustion Engines (AREA)
- Control Of Vehicle Engines Or Engines For Specific Uses (AREA)
Description
1.車両の電子機器を操作する際に利用するデータである操作用データが第1記憶装置に記憶されると共に、複数の前記操作用データが第2記憶装置に記憶された状態で実行装置に実行させる車両制御方法であって、前記操作用データは、前記車両の状態と前記電子機器の操作に関する変数である行動変数との関係を規定する関係規定データ、又は、前記関係規定データを基に作成される制御用写像データであり、前記関係規定データとは、前記車両の状態と前記関係規定データとによって定まる前記行動変数の値に基づいて前記電子機器が操作された際における前記車両の状態を基に、前記車両の特性が所定の基準を満たす場合には前記車両の特性が前記所定の基準を満たさない場合よりも大きい報酬を与える処理と、前記電子機器が操作された際における前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、及び当該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する処理と、の実行を通じて得られるデータであり、前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、前記第2記憶装置には、前記所定の基準を異ならせて更新された複数の前記関係規定データ、又は、複数の前記関係規定データの各々を基に作成された複数の前記制御用写像データが、前記操作用データとして記憶されており、前記実行装置に、前記第1記憶装置に記憶されている前記操作用データを用いて前記電子機器を操作する操作処理と、前記車両に設けられているセンサの検出値に基づく前記車両の状態を取得する取得処理と、前記取得処理で取得された前記車両の状態を基に、前記第2記憶装置に記憶されている前記各操作用データの中から1つを選択し、選択した前記操作用データを前記第1記憶装置に記憶させるデータ変更処理と、を実行させる車両制御方法である。
2.前記第2記憶装置に記憶される前記各操作用データのうち、第1操作用データは、アクセルレスポンスに関するパラメータが閾値以上であることを前記所定の基準として更新されるデータであり、第2操作用データは、前記車両のエネルギ利用効率に関するパラメータが閾値以上であることを前記所定の基準として更新されるデータである上記1に記載の車両制御方法である。
ユーザがアクセルペダルを操作するに際し、アクセル操作量の変化速度には、当該ユーザの癖や嗜好が反映されやすい。そこで、上記構成によれば、アクセル操作量の変化速度を車両の状態として取得し、当該車両の状態を基に、第2記憶装置に記憶される各操作用データの中から1つのデータを選択して第1記憶装置に記憶させることができる。これにより、ユーザの癖や嗜好を反映した車両制御を当該ユーザに提供できる。
例えば、ユーザがアクセルペダルを操作する場合、アクセル操作量の変化速度が高いほど車両の加速度が大きくなりやすい。すなわち、ユーザがアクセルペダルを操作して車両を加速させる場合、車両の加速度には当該ユーザの癖や嗜好が反映されやすい。そこで、上記構成によれば、車両の加速度を車両の状態として取得し、当該車両の状態を基に、第2記憶装置に記憶される各操作用データの中から1つのデータを選択して第1記憶装置に記憶させることができる。これにより、ユーザの癖や嗜好を反映した車両制御を当該ユーザに提供できる。
7.前記第2記憶装置に記憶されている複数の前記操作用データの中から選択されて前記第1記憶装置に記憶される前記操作用データは、前記関係規定データであり、前記第1実行装置は、前記車両の状態と前記関係規定データとによって定まる前記行動変数の値に基づいて前記電子機器が操作された際における前記車両の状態を基に、前記車両の特性が前記所定の基準を満たす場合には前記車両の特性が前記所定の基準を満たさない場合よりも大きい報酬を与える報酬算出処理と、前記電子機器が操作された際における前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、及び当該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、を実行することにより、前記第1記憶装置に記憶されている前記関係規定データを更新し、前記操作処理において、前記取得処理で取得された前記車両の状態と、前記第1記憶装置に記憶されている前記関係規定データとによって定まる前記行動変数の値に基づき前記電子機器を操作し、前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものである上記6に記載の車両用制御装置である。
以下、車両制御方法、車両用制御装置及びサーバの第1実施形態について、図面を参照しつつ説明する。
図1に示すように、車両VC1は、車両VC1の推力生成装置として内燃機関10を備えている。内燃機関10の吸気通路12には、上流側から順にスロットルバルブ14及び燃料噴射弁16が設けられており、吸気通路12に吸入された空気及び燃料噴射弁16から噴射された燃料は、吸気バルブ18の開弁に伴って、シリンダ20及びピストン22によって区画される燃焼室24に流入する。燃焼室24内において、燃料と空気との混合気は、点火装置26の火花放電に伴って燃焼に供され、燃焼によって生じたエネルギは、ピストン22を介してクランク軸28の回転エネルギに変換される。燃焼に供された混合気は、排気バルブ30の開弁に伴って、排気として排気通路32に排出される。排気通路32には、排気を浄化する後処理装置としての触媒34が設けられている。
サーバ130は、複数の車両VC1,VC2,…から送信されるデータを解析する。サーバ130は、CPU132、ROM134、電気的に書き換え可能な不揮発性メモリである記憶装置136、周辺回路138及び通信機137を備えており、それらがローカルネットワーク139によって通信可能とされるものである。ROM134には、制御プログラム134aが記憶されており、記憶装置136には、マップデータDMが記憶されている。本実施形態では、記憶装置136には、マップデータDMとして、レスポンス優先マップデータDM1及びエネルギ効率優先マップデータDM2が記憶されている。
図3に示すシステムでは、内燃機関10のクランク軸28にトルクコンバータ40及び変速装置50を介してダイナモメータ100が機械的に連結される。そして、内燃機関10を稼働させた際の様々な状態変数がセンサ群102によって検出され、検出結果が、マップデータDMを生成するコンピュータである生成装置110に入力される。なお、センサ群102には、図1に示した車両VC1に搭載されるセンサなどが含まれる。
図5に示す一連の処理において、CPU112は、所定期間内における回転速度NE、トルク指令値Trq*、トルクTrq及び加速度Gxの4つのサンプリング値の組からなる時系列データと、状態s及び行動aの時系列データとを取得する(S30)。図5には、カッコの中の数字が異なるものが、異なるサンプリングタイミングにおける変数の値であることを示す。例えば、トルク指令値Trq*(1)とトルク指令値Trq*(2)とは、サンプリングタイミングが互いに異なるものである。また、所定期間内の行動aの時系列データを、行動集合Ajとし、所定期間内の状態sの時系列データを、状態集合Sjと定義する。
すなわち、CPU112は、上記S30の処理によって読み出した各状態と対応する行動との組によって定まる収益R(Sj,Aj)に、それぞれ、報酬rを加算する(S46)。ここで、「R(Sj,Aj)」は、状態集合Sjの要素の1つを状態とし行動集合Ajの要素の1つを行動とする収益Rを総括した記載である。次にCPU112は、上記S30の処理によって読み出した各状態と対応する行動との組によって定まる収益R(Sj,Aj)のそれぞれについて、平均化して対応する行動価値関数Q(Sj,Aj)に代入する(S48)。ここで、平均化は、S48の処理がなされた回数によって、S48の処理によって算出された収益Rを除算する処理とすればよい。なお、収益Rの初期値は、ゼロとすればよい。
図4に戻り、CPU112は、S22の処理が完了すると、行動価値関数Qが収束したか否かを判定する(S24)。ここでは、S22の処理による行動価値関数Qの更新量が所定値以下となる連続回数が所定回数に達する場合に収束したと判定すればよい。CPU112は、収束していないと判定する場合(S24:NO)や、S20の処理において否定判定する場合には、S12の処理に戻る。これに対し、CPU112は、収束したと判定する場合(S24:YES)、終了条件が成立したか否かを判定する(S26)。本実施形態では、終了条件は、レスポンス優先規定データDR1を更新するに際してS24の処理において肯定判定すること、及び、エネルギ効率優先規定データDR2を更新するに際してS24の処理において肯定判定することの双方を含んでいる。
スロットルバルブ14や変速装置50などの車両VC1の電子機器が操作されることによって車両VC1が加速しているときに、アクセル操作量PAの時系列データが取得される。そして、取得したアクセル操作量PAの時系列データを基に、そのときに車両VC1を運転しているユーザの癖や嗜好が推定される。こうした推定結果がサーバ130に送信されると、サーバ130では、自身の記憶装置136で記憶している複数のマップデータDM(DM1,DM2)の中から、当該推定結果に見合ったマップデータDMが選択されて車両VC1に送信される。
(1)複数のマップデータDMは、サーバ130の記憶装置136に記憶されているため、車両VC1の制御装置70の記憶装置76に、複数のマップデータDMを記憶させておく必要がない。そのため、車両VC1の記憶装置76の記憶容量の増大を抑制できる。
以下、第2実施形態について、第1実施形態との相違点を中心に図面を参照しつつ説明する。
本実施形態では、図10に示す一連の処理の実行によって車両VC1が走行する際に、図7のS78,S80の処理と同様に、その時点の車両VC1を運転するユーザの癖や嗜好が推定され、その推定結果がサーバ130に送信される。推定結果をサーバ130が受信すると、サーバ130では、図8のS92と同様に、車両VC1に送信するデータの選択が行われるが、本実施形態ではサーバ130の記憶装置136に記憶されている各関係規定データDRの中から、ユーザの癖や嗜好に見合った関係規定データDRが選択される。このように関係規定データDRが選択されると、図8のS94の処理と同様に、選択したデータが車両VC1に送信されるが、本実施形態では関係規定データDRが車両VC1に送信される。そして、車両VC1では、図7のS84の処理と同様に、サーバ130から受信したデータが記憶装置76に記憶されるが、本実施形態ではサーバ130から受信した関係規定データDRが、記憶装置76に記憶される。
以下、第3実施形態について、第1実施形態との相違点を中心に図面を参照しつつ説明する。
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。[1]実行装置は、図2及び図9においてはCPU72及びROM74と、CPU132及びROM134とによって構成され、図11においてはCPU72及びROM74によって構成される。第1記憶装置とは、図2、図9及び図11において記憶装置76に対応する。第2記憶装置とは、図2及び図9において記憶装置136に対応し、図11において記憶装置76Aに対応する。第1記憶装置に記憶される操作用データとは、図2及び図11において記憶装置76に記憶されるマップデータDMに対応し、図9において記憶装置76に記憶される関係規定データDRに対応する。第2記憶装置に記憶される複数の操作用データとは、図2において記憶装置136に記憶されるマップデータDM1,DM2に対応し、図9において記憶装置136に記憶される関係規定データDR1,DR2に対応し、図11において記憶装置76Aに記憶されるマップデータDM1,DM2に対応する。更新写像は、学習プログラム114a,74bのうち図5のS46~S52の処理を実行する指令によって規定された写像に対応する。制御用写像データはマップデータDM,DM1,DM2に対応し、関係規定データは関係規定データDR,DR1,DR2に対応する。操作処理は図6のS64や図10のS104に対応し、取得処理は、図6のS60、図7のS72、及び、図10のS100,S106に対応する。データ変更処理は、図7のS78~S84、及び、図8のS90~S94に対応する。[2]第1操作用データとは、図2及び図11においてレスポンス優先マップデータDM1に対応し、図9においてレスポンス優先規定データDR1に対応する。第2操作用データとは、図2及び図11においてエネルギ効率優先マップデータDM2に対応し、図9においてエネルギ効率優先規定データDR2に対応する。[5]第1実行装置は図2及び図9においてCPU72及びROM74に対応し、第2実行装置は図2及び図9においてCPU132及びROM134に対応する。[6]車両用制御装置は、図2及び図9において制御装置70に対応する。[7]報酬算出処理は図5のS36~S40の処理に対応し、更新処理は図5のS46~S52の処理に対応する。更新写像は、学習プログラム74bのうち図5のS46~S52の処理を実行する指令によって規定された写像に対応する。[8]サーバは、図2及び図9においてサーバ130に対応する。
上記各実施形態は、以下のように変更して実施することができる。上記各実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記各実施形態では、第2記憶装置に、2つの操作用データを記憶させる場合について例示した。しかし、アクセルレスポンスの優先度合いやエネルギ利用効率の優先度合いが互いに異なる複数の操作用データを第2記憶装置に記憶させるのであれば、第2記憶装置に記憶する操作用データの数は、「3」以上の任意数であってもよい。
・テーブル形式のデータの次元削減手法としては、上記各実施形態において例示したものに限らない。例えばアクセル操作量PAが最大値となることはまれであることから、アクセル操作量PAが規定量以上となる状態については行動価値関数Qを定義せず、アクセル操作量PAが規定量以上となる場合のスロットル開口度指令値TA*などは、別途適合してもよい。また例えば、行動のとりうる値からスロットル開口度指令値TA*が規定値以上となるものを除くなどして、次元削減をしてもよい。
・上記各実施形態では、行動価値関数Qを、テーブル形式の関数としたが、これに限らない。例えば、関数近似器を用いてもよい。
・例えば「関係規定データについて」の欄に記載したように、行動価値関数を関数近似器とする場合、上記各実施形態におけるテーブル型式の関数の独立変数となる行動についての離散的な値の組の全てについて、状態sとともに行動価値関数Qに入力することによって、行動価値関数Qを最大化する行動aを特定すればよい。その場合、例えば、主として特定された行動aを操作に採用しつつも、所定の確率でそれ以外の行動を選択すればよい。
・S46~S52の処理においては、εソフト方策オン型モンテカルロ法によるものを例示したが、これに限らない。例えば、方策オフ型モンテカルロ法によるものであってもよい。もっとも、モンテカルロ法にも限らず、例えば、方策オフ型TD法を用いたり、また例えばSARSA法のように方策オン型TD法を用いたり、また例えば、方策オン型の学習として適格度トレース法を用いたりしてもよい。
・上記各実施形態では、行動変数としてのスロットルバルブの開口度に関する変数として、スロットル開口度指令値TA*を例示したが、これに限らない。例えば、アクセル操作量PAに対するスロットル開口度指令値TA*の応答性を、無駄時間及び2次遅れフィルタにて表現し、無駄時間と、2次遅れフィルタを規定する2つの変数との合計3つの変数を、スロットルバルブの開口度に関する変数としてもよい。ただし、その場合、状態変数は、アクセル操作量PAの時系列データに代えて、アクセル操作量PAの単位時間当たりの変化量とすることが望ましい。
・下記「電子機器について」の欄に記載したように、行動変数に応じた操作の対象に回転電機が含まれる場合、行動変数に回転電機のトルクや電流を含めればよい。すなわち、推力生成装置の負荷に関する変数である負荷変数としては、スロットルバルブの開口度に関する変数や噴射量に限らず、回転電機のトルクや電流であってもよい。
・上記第1実施形態及び第2実施形態において、ユーザの癖や嗜好を推定する処理を、サーバ130で実行させてもよい。この場合、ユーザの癖や嗜好の推定に必要なデータ、すなわち例えば図7のS72で取得されるアクセル操作量PAの時系列データを、サーバ130に送信することになる。
・図4のS14の処理では、行動価値関数Qに基づき行動を決定したが、これに限らず、とりうるすべての行動を等確率で選択してもよい。
・車両の状態と期待収益を最大化する行動変数の値とを1対1に対応付けることによって車両の状態を入力とし期待収益を最大化する行動変数の値を出力する制御用写像データとしては、マップデータに限らない。例えば、関数近似器であってもよい。これは、例えば、上記「更新写像について」の欄に記載したように、方策勾配法などを用いる場合において、方策πを行動変数の値をとりうる確率を示すガウス分布にて表現し、その平均値を関数近似器にて表現しておき、平均値を表現する関数近似器のパラメータを更新することとし、学習後の平均値を制御用写像データとすることによって実現できる。すなわち、ここでは、関数近似器が出力する平均値を、期待収益を最大化する行動変数の値とみなす。この際、優先係数VAの値毎に各別の関数近似器を設けてもよいが、単一の関数近似器の独立変数のうちの状態sに、優先係数VAを含めてもよい。
・上記各実施形態では、アクセル操作量PAの時系列データを、等間隔でサンプリングされた6個の値からなるデータとしたが、これに限らない。互いに異なるサンプリングタイミングにおける2個以上のサンプリング値からなるデータであればよく、この際、3個以上のサンプリング値からなるデータや、サンプリング間隔が等間隔であるデータであることがより望ましい。
・行動変数に応じた操作の対象となる内燃機関10の操作部としては、スロットルバルブ14に限らない。例えば、点火装置26や燃料噴射弁16であってもよい。
・実行装置としては、CPUとROMとを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記各実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理する例えばASICなどの専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の(a)~(c)のいずれかの構成であればよい。(a)上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するROMなどのプログラム格納装置とを備える。(b)上記処理の一部をプログラムに従って実行する処理装置及びプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。(c)上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置及びプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。
・内燃機関としては、燃料噴射弁として吸気通路12に燃料を噴射するポート噴射弁を備えるものに限らず、燃焼室24に燃料を直接噴射する筒内噴射弁を備えるものであってもよく、また例えば、ポート噴射弁及び筒内噴射弁の双方を備えるものであってもよい。
「車両について」
・車両は、車両の推力生成装置として内燃機関のみを備えたものではなく、例えば内燃機関及び回転電気の双方を備えるハイブリッド車両であってもよい。また例えば、車両は、電気自動車や燃料電池車のように、推力生成装置が回転電機のみの車両であってもよい。
14…スロットルバルブ
16…燃料噴射弁
18…吸気バルブ
26…点火装置
50…変速装置
70…制御装置
72…CPU
74…ROM
76,76A…記憶装置
88…アクセルセンサ
90…加速度センサ
94…シフトポジションセンサ
96…車速センサ
130…サーバ
132…CPU
134…ROM
136…記憶装置
VC1,VC2…車両
Claims (5)
- 車両の電子機器を操作する際に利用するデータである操作用データが第1記憶装置に記憶されると共に、複数の前記操作用データが第2記憶装置に記憶された状態で実行装置に実行させる車両制御方法であって、
前記操作用データは、アクセル操作量の変化速度と前記電子機器の操作に関する変数である行動変数との関係を規定する関係規定データ、又は、前記関係規定データを基に作成される制御用写像データであり、
前記関係規定データとは、
前記アクセル操作量の変化速度と前記関係規定データとによって定まる前記行動変数の値に基づいて前記電子機器が操作された際における前記アクセル操作量の変化速度を基に、前記車両の特性が所定の基準を満たす場合には前記車両の特性が前記所定の基準を満たさない場合よりも大きい報酬を与える処理と、
前記電子機器が操作された際における前記アクセル操作量の変化速度、前記電子機器の操作に用いられた前記行動変数の値、及び当該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する処理と、の実行を通じて得られるデータであり、
前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、
前記第2記憶装置には、アクセルレスポンスに関するパラメータが閾値以上であることを前記所定の基準として更新される第1操作用データ、及び前記車両のエネルギ利用効率に関するパラメータが閾値以上であることを前記所定の基準として更新される第2操作用データが、前記操作用データとして記憶されており、
前記実行装置に、
前記第1記憶装置に記憶されている前記操作用データを用いて前記電子機器を操作する操作処理と、
前記車両に設けられているセンサの検出値に基づく前記アクセル操作量の変化速度を取得する取得処理と、
前記取得処理で取得された前記アクセル操作量の変化速度を基に、前記第2記憶装置に記憶されている前記第1操作用データ及び前記第2操作用データの中から1つを選択し、選択した前記操作用データを前記第1記憶装置に記憶させるデータ変更処理と、を実行させる
車両制御方法。 - 前記実行装置は、前記車両に設けられている第1実行装置と、車外に設けられている第2実行装置と、を有し、
前記第1記憶装置は前記車両に設けられ、前記第2記憶装置は車外に設けられており、
前記操作処理及び前記取得処理を、前記第1実行装置に実行させ、
前記データ変更処理のうち、
前記第2記憶装置に記憶されている前記各操作用データの中から1つのデータを選択する処理と、選択した前記操作用データを前記車両に送信する処理と、を前記第2実行装置に実行させ、
前記第2実行装置から送信された前記操作用データを前記車両に受信させる処理と、受信した前記操作用データを前記第1記憶装置に記憶させる処理と、を前記第1実行装置に実行させる
請求項1に記載の車両制御方法。 - 請求項2に記載の前記第1実行装置及び前記第1記憶装置を備える
車両用制御装置。 - 前記第2記憶装置に記憶されている複数の前記操作用データの中から選択されて前記第1記憶装置に記憶される前記操作用データは、前記関係規定データであり、
前記第1実行装置は、
前記アクセル操作量の変化速度と前記関係規定データとによって定まる前記行動変数の値に基づいて前記電子機器が操作された際における前記アクセル操作量の変化速度を基に、前記車両の特性が前記所定の基準を満たす場合には前記車両の特性が前記所定の基準を満たさない場合よりも大きい報酬を与える報酬算出処理と、
前記電子機器が操作された際における前記アクセル操作量の変化速度、前記電子機器の操作に用いられた前記行動変数の値、及び当該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、を実行することにより、前記第1記憶装置に記憶されている前記関係規定データを更新し、
前記操作処理において、前記取得処理で取得された前記アクセル操作量の変化速度と、前記第1記憶装置に記憶されている前記関係規定データとによって定まる前記行動変数の値に基づき前記電子機器を操作する
前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものである
請求項3に記載の車両用制御装置。 - 請求項2に記載の前記第2実行装置及び前記第2記憶装置を備える
サーバ。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020012547A JP7314813B2 (ja) | 2020-01-29 | 2020-01-29 | 車両制御方法、車両用制御装置及びサーバ |
TW109142324A TW202128467A (zh) | 2020-01-29 | 2020-12-02 | 控制車輛的方法、車輛控制器、和伺服器 |
AU2020286176A AU2020286176B2 (en) | 2020-01-29 | 2020-12-07 | Method for controlling vehicle, controller of vehicle, and server |
SG10202012180WA SG10202012180WA (en) | 2020-01-29 | 2020-12-07 | Method for controlling vehicle, controller of vehicle, and server |
CA3102408A CA3102408A1 (en) | 2020-01-29 | 2020-12-11 | Method for controlling vehicle, controller of vehicle, and server |
US17/151,739 US20210229689A1 (en) | 2020-01-29 | 2021-01-19 | Method for controlling vehicle, controller of vehicle, and server |
MX2021000952A MX2021000952A (es) | 2020-01-29 | 2021-01-22 | Metodo para controlar vehiculo, controlador de vehiculo y servidor. |
CN202110095625.0A CN113187613A (zh) | 2020-01-29 | 2021-01-25 | 控制车辆的方法、用于车辆的控制装置、以及服务器 |
PH12021050035A PH12021050035A1 (en) | 2020-01-29 | 2021-01-26 | Method for controlling vehicle, controller of vehicle, and server |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020012547A JP7314813B2 (ja) | 2020-01-29 | 2020-01-29 | 車両制御方法、車両用制御装置及びサーバ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021116782A JP2021116782A (ja) | 2021-08-10 |
JP7314813B2 true JP7314813B2 (ja) | 2023-07-26 |
Family
ID=76970987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020012547A Active JP7314813B2 (ja) | 2020-01-29 | 2020-01-29 | 車両制御方法、車両用制御装置及びサーバ |
Country Status (9)
Country | Link |
---|---|
US (1) | US20210229689A1 (ja) |
JP (1) | JP7314813B2 (ja) |
CN (1) | CN113187613A (ja) |
AU (1) | AU2020286176B2 (ja) |
CA (1) | CA3102408A1 (ja) |
MX (1) | MX2021000952A (ja) |
PH (1) | PH12021050035A1 (ja) |
SG (1) | SG10202012180WA (ja) |
TW (1) | TW202128467A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6744597B1 (ja) * | 2019-10-18 | 2020-08-19 | トヨタ自動車株式会社 | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000250604A (ja) | 1999-03-02 | 2000-09-14 | Yamaha Motor Co Ltd | 特性最適化方法における最適化の協調方法 |
JP2002251599A (ja) | 2001-02-23 | 2002-09-06 | Yamaha Motor Co Ltd | 進化的手法による最適解探索装置、進化的手法による制御対象の制御装置及び進化的手法による最適解探索プログラム |
JP2019144748A (ja) | 2018-02-19 | 2019-08-29 | 株式会社デンソー | 情報処理システム、車載制御装置、及び情報処理装置 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2978353B2 (ja) * | 1993-02-26 | 1999-11-15 | トヨタ自動車株式会社 | 車両の駆動力制御装置 |
JPH10254505A (ja) * | 1997-03-14 | 1998-09-25 | Toyota Motor Corp | 自動制御装置 |
US9175649B2 (en) * | 2010-01-29 | 2015-11-03 | Jerry McGuffin | Remote, bidirectional communication with an engine control unit |
US8825339B2 (en) * | 2010-09-03 | 2014-09-02 | Toyota Jidosha Kabushiki Kaisha | Vehicular drive control apparatus |
US9296299B2 (en) * | 2011-11-16 | 2016-03-29 | Autoconnect Holdings Llc | Behavioral tracking and vehicle applications |
JP5869896B2 (ja) * | 2012-01-27 | 2016-02-24 | 本田技研工業株式会社 | 運転支援装置 |
US20130231841A1 (en) * | 2012-02-09 | 2013-09-05 | Ariel Inventions Llc | System and method for reporting energy efficiency recommendations for a vehicle to a requesting user |
US20130325202A1 (en) * | 2012-06-01 | 2013-12-05 | GM Global Technology Operations LLC | Neuro-cognitive driver state processing |
US9135759B2 (en) * | 2012-07-28 | 2015-09-15 | LinkeDrive, Inc. | Driver measurement and incentive system for improving fuel-efficiency |
KR101886443B1 (ko) * | 2012-09-21 | 2018-08-07 | 현대자동차주식회사 | 감속 주행시 타력 주행 제어 방법 및 이의 저장 매체 |
US11836802B2 (en) * | 2014-04-15 | 2023-12-05 | Speedgauge, Inc. | Vehicle operation analytics, feedback, and enhancement |
US9766625B2 (en) * | 2014-07-25 | 2017-09-19 | Here Global B.V. | Personalized driving of autonomously driven vehicles |
CN104260725B (zh) * | 2014-09-23 | 2016-09-14 | 北京理工大学 | 一种含有驾驶员模型的智能驾驶*** |
EP3106369B1 (en) * | 2015-06-16 | 2018-12-12 | Volvo Car Corporation | Method and system for safe steering assistance in a vehicle |
US10929931B1 (en) * | 2017-05-02 | 2021-02-23 | State Farm Mutual Automobile Insurance Company | Distributed ledger system for carrier discovery |
WO2018220829A1 (ja) * | 2017-06-02 | 2018-12-06 | 本田技研工業株式会社 | ポリシー生成装置及び車両 |
JP6733707B2 (ja) * | 2017-10-30 | 2020-08-05 | 株式会社デンソー | 路面状態判別装置およびそれを備えたタイヤシステム |
US20200031371A1 (en) * | 2018-07-25 | 2020-01-30 | Continental Powertrain USA, LLC | Driver Behavior Learning and Driving Coach Strategy Using Artificial Intelligence |
US11978074B2 (en) * | 2018-09-05 | 2024-05-07 | Mastercard International Incorporated | Driver monitoring system and method |
US11864072B2 (en) * | 2018-09-14 | 2024-01-02 | Hewlett Packard Enterprise Development Lp | Rewards for custom data transmissions |
US10875538B2 (en) * | 2018-09-18 | 2020-12-29 | Allstate Insurance Company | Exhaustive driving analytical systems and modelers |
US20200192393A1 (en) * | 2018-12-12 | 2020-06-18 | Allstate Insurance Company | Self-Modification of an Autonomous Driving System |
US11940790B2 (en) * | 2018-12-12 | 2024-03-26 | Allstate Insurance Company | Safe hand-off between human driver and autonomous driving system |
US11507906B2 (en) * | 2019-08-22 | 2022-11-22 | Toyota Motor North America, Inc. | Ride-sharing safety system |
-
2020
- 2020-01-29 JP JP2020012547A patent/JP7314813B2/ja active Active
- 2020-12-02 TW TW109142324A patent/TW202128467A/zh unknown
- 2020-12-07 AU AU2020286176A patent/AU2020286176B2/en not_active Expired - Fee Related
- 2020-12-07 SG SG10202012180WA patent/SG10202012180WA/en unknown
- 2020-12-11 CA CA3102408A patent/CA3102408A1/en active Pending
-
2021
- 2021-01-19 US US17/151,739 patent/US20210229689A1/en not_active Abandoned
- 2021-01-22 MX MX2021000952A patent/MX2021000952A/es unknown
- 2021-01-25 CN CN202110095625.0A patent/CN113187613A/zh active Pending
- 2021-01-26 PH PH12021050035A patent/PH12021050035A1/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000250604A (ja) | 1999-03-02 | 2000-09-14 | Yamaha Motor Co Ltd | 特性最適化方法における最適化の協調方法 |
JP2002251599A (ja) | 2001-02-23 | 2002-09-06 | Yamaha Motor Co Ltd | 進化的手法による最適解探索装置、進化的手法による制御対象の制御装置及び進化的手法による最適解探索プログラム |
JP2019144748A (ja) | 2018-02-19 | 2019-08-29 | 株式会社デンソー | 情報処理システム、車載制御装置、及び情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
PH12021050035A1 (en) | 2021-09-01 |
AU2020286176A1 (en) | 2021-08-12 |
AU2020286176B2 (en) | 2022-05-19 |
TW202128467A (zh) | 2021-08-01 |
MX2021000952A (es) | 2021-07-30 |
CN113187613A (zh) | 2021-07-30 |
CA3102408A1 (en) | 2021-07-29 |
SG10202012180WA (en) | 2021-08-30 |
US20210229689A1 (en) | 2021-07-29 |
JP2021116782A (ja) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112682184B (zh) | 车辆用控制装置、车辆用控制***以及车辆控制方法 | |
CN112682197B (zh) | 车辆用控制数据的生成方法、车辆用控制装置和控制*** | |
JP7331704B2 (ja) | 車両用制御データの生成方法、車両用制御装置、および車両用制御システム | |
JP7287287B2 (ja) | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP6705547B1 (ja) | 車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP7314831B2 (ja) | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP6744598B1 (ja) | 車両用制御システム、車両用制御装置、および車両用学習装置 | |
CN113006951B (zh) | 车辆用控制数据的生成方法、车辆用控制装置、车辆用控制***以及车辆用学习装置 | |
JP7243642B2 (ja) | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP7327198B2 (ja) | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 | |
CN113217204B (zh) | 车辆控制方法、车辆用控制装置以及服务器 | |
JP7314813B2 (ja) | 車両制御方法、車両用制御装置及びサーバ | |
CN113266481A (zh) | 车辆控制方法、车辆用控制装置以及服务器 | |
JP2021067258A (ja) | 車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP7205460B2 (ja) | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 | |
US11235781B2 (en) | Vehicle control system, vehicle controller, vehicle learning device, vehicle control method, and memory medium | |
JP2021067262A (ja) | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP2021067259A (ja) | 車両用制御システム、車両用制御装置、および車両用学習装置 | |
JP2021099059A (ja) | 車両用制御装置、車両用制御システム、車両用学習装置、および車両用学習方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230626 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7314813 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |