JP7314819B2 - 車両制御方法、車両用制御装置及びサーバ - Google Patents

Description

本発明は、車両制御方法、車両用制御装置及びサーバに関する。

特許文献１には、アクセルペダルの操作量をフィルタ処理した値に基づき、車両に搭載される内燃機関の操作部としてのスロットルバルブを操作する制御装置の一例が記載されている。

特開２０１６－６３２７号公報

ところで、上記フィルタは、アクセルペダルの操作量に応じて車両に搭載される内燃機関のスロットルバルブの操作量を適切な操作量に設定するものである必要があることから、その適合には熟練者が多くの工数をかける必要が生じる。このように、従来では、車両の状態に応じた車両内の電子機器の操作量などの適合には、熟練者が多くの工数をかけていた。

以下、上記課題を解決するための手段及びその作用効果について記載する。
１．車両の電子機器を操作する際に用いられる操作用データが記憶装置に記憶されている状態で、前記車両に設けられているセンサの検出値に基づいて前記車両の状態を取得する取得処理と、前記取得処理で取得された前記車両の状態と、前記操作用データと、に基づいて前記電子機器を操作する操作処理と、前記操作処理の実行によって前記電子機器が操作されている場合における前記車両の環境性能が判定用性能よりも低いか否かを判定する性能判定処理と、前記性能判定処理で前記車両の環境性能が前記判定用性能よりも低いと判定された場合、前記車両の環境性能が高くなるように前記操作用データを更新するデータ更新処理と、を実行装置に実行させる車両制御方法である。

電子機器を操作する際に用いられる操作用データが、そのときの電子機器の特性に応じたものであるときには、そうではないときよりも車両の環境性能を高くできる。そして、そのときの電子機器の特性に対して最適化された操作用データを、最適データとした場合、環境性能が判定用性能よりも低いと判定されたときには、操作用データが最適データと乖離していると推測できる。

上記構成では、操作用データを用いて電子機器が操作されている場合の車両の環境性能が判定用性能よりも低いと判定されたときには、車両の環境性能が高くなるように操作用データが更新される。このように車両の使用中に操作用データを更新することにより、操作用データを上記最適データに近づけることができる。そのため、このように更新された操作用データを用いて電子機器を操作することにより、車両の環境性能の向上に貢献できるようになる。

２．前記操作用データとは、前記車両の状態と前記電子機器の操作に関する変数である行動変数との関係を規定する関係規定データであり、前記操作処理は、前記取得処理で取得された前記車両の状態と前記関係規定データとによって定まる前記行動変数の値に基づいて前記電子機器を操作する処理であり、前記実行装置に、前記電子機器が操作された際における前記車両の状態を基に、前記車両の特性が所定の基準を満たす場合には前記車両の特性が前記所定の基準を満たさない場合よりも大きい報酬を与える報酬算出処理と、前記電子機器が操作された際における前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、及び当該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、を実行させ、前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものである上記１に記載の車両制御方法である。

上記構成では、電子機器の操作に伴う報酬を算出することにより、当該操作によってどのような報酬が得られるかを把握できる。そして、得られた報酬に基づき、強化学習に従った更新写像によって関係規定データを更新することにより、車両の状態と行動変数との関係を車両の走行において適切な関係に設定できる。そのため、車両の状態と行動変数との関係を車両の走行において適正化することが可能となる。すなわち、関係規定データを更新させることにより、関係規定データを最適な状態に近づけることができる。そして、こうした関係規定データを用いて電子機器を操作することにより、車両の環境性能を向上できる。

３．前記データ更新処理は、前記性能判定処理で前記車両の環境性能が前記判定用性能よりも低いと判定された場合、前記車両の特性が前記所定の基準を満たすときに与えられる報酬を、前記車両の環境性能が前記判定用性能よりも低いと判定されない場合よりも大きくすることにより、前記車両の環境性能が高くなるように前記操作用データを更新する処理である上記２に記載の車両制御方法である。

車両の環境性能が判定用性能よりも低いと判定された場合、車両の状態と行動変数との関係の適正化があまり進んでいない可能性がある。そこで、上記構成では、車両の環境性能が判定用性能よりも低いと判定された場合には、車両の特性が所定の基準を満たすときに与える報酬をより大きくするようにしている。これにより、車両の環境性能が判定用性能よりも低いと判定された以降においては、それ以前よりも当該関係の適正化を早めることができる。すなわち、関係規定データの更新速度を高くすることにより、車両の環境性能が高くなるように関係規定データが更新されるようになる。そのため、車両の環境性能が判定用性能よりも低いと判定された要因が、当該関係の適正化の遅れであった場合では、このように報酬の与え方を変えることによって車両の環境性能を向上させることができる。

４．前記データ更新処理は、前記記憶装置に記憶されている前記関係規定データを、前記環境性能が前記判定用性能よりも高い他の車両の前記関係規定データに置き換えることにより、前記車両の環境性能が高くなるように前記操作用データを更新する処理である上記２に記載の車両制御方法である。

車両の環境性能が判定用性能よりも低いと判定された場合、車両の状態と行動変数との関係の適正化があまり進んでいない可能性がある。そこで、上記構成では、車両の環境性能が判定用性能よりも低いと判定された場合には、当該車両の記憶装置に記憶されている関係規定データを、環境性能が判定用性能よりも高い他の車両で用いられている関係規定データに置き換えるようにしている。これにより、環境性能が高くなるように関係規定データが更新されることになる。そのため、車両の環境性能が判定用性能よりも低いと判定された要因が、車両の状態と行動変数との関係の適正化の遅れであった場合では、このように関係規定データを置換することによって車両の環境性能を向上させることができる。

５．前記実行装置に、前記取得処理で取得された前記車両の状態と、前記車両の走行環境と、に基づいて前記車両の走行条件を推定する条件推定処理と、前記条件推定処理で推定された前記車両の走行条件と同じと判断できる走行条件下で走行する複数の車両の環境性能を基に、前記判定用性能を設定する判定用性能設定処理と、を実行させる上記１～４のうち何れか一項に記載の車両制御方法である。

上記構成によれば、同じような走行条件の下で走行する複数の車両の環境性能に基づいて判定用性能が設定される。すなわち、判定能性能の値を、車種毎に予め一定の値に設定するのではなく、車両の実際の走行に基づいた値とすることができる。これにより、車両の環境性能に関する実力を適切に把握できるようになる。

６．前記判定用性能設定処理は、複数の前記車両の環境性能が示す値の平均を基に前記判定用性能を設定する処理である上記５に記載の車両制御方法である。
７．前記車両の環境性能は、前記車両のエネルギ利用効率である上記１～６のうち何れか一項に記載の車両制御方法である。

８．前記実行装置は、前記車両に設けられている第１実行装置と、前記第１実行装置と通信する第２実行装置と、を有し、前記記憶装置は前記車両に設けられており、前記取得処理、及び、前記操作処理を前記第１実行装置に実行させ、前記性能判定処理を、前記第１実行装置又は前記第２実行装置に実行させ、前記データ更新処理を、前記第１実行装置と前記第２実行装置との協働によって実行させる上記４に記載の車両制御方法である。

９．上記１～３のうち何れか一項に記載の前記実行装置及び前記記憶装置を備える車両用制御装置である。
１０．上記８に記載の前記第１実行装置及び前記記憶装置を備える車両用制御装置である。

上記構成によれば、実行装置が、第１実行装置と第２実行装置とを有しているため、１つの実行装置で全ての処理を実行させる場合と比較し、実行装置の制御負荷を低減できる。

１１．複数の前記車両と通信可能なサーバであって、上記８に記載の前記第２実行装置を備えるサーバである。

第１実施形態にかかる制御装置及び駆動系を示す図。 同制御装置の構成と、車両と通信するサーバの構成とを模式的に示すブロック図。 同制御装置が実行する処理の手順を示す流れ図。 第１実施形態にかかる学習処理の詳細を示す流れ図。 サーバと情報の送受信を行う際に同制御装置が実行する処理の手順を示す流れ図。 サーバが実行する処理の手順を示す流れ図。 第２実施形態にかかる制御装置が、サーバと情報の送受信を行う際に実行する処理の手順を示す流れ図。 サーバが実行する処理の手順を示す流れ図。

（第１実施形態）
以下、車両制御方法、車両用制御装置及びサーバの第１実施形態について、図面を参照しつつ説明する。

図１には、車両用制御装置である制御装置７０と、制御装置７０を備える車両ＶＣ１の駆動系の構成が図示されている。
図１に示すように、車両ＶＣ１は、車両ＶＣ１の推力生成装置として内燃機関１０を備えている。内燃機関１０の吸気通路１２には、上流側から順にスロットルバルブ１４及び燃料噴射弁１６が設けられており、吸気通路１２に吸入された空気及び燃料噴射弁１６から噴射された燃料は、吸気バルブ１８の開弁に伴って、シリンダ２０及びピストン２２によって区画される燃焼室２４に流入する。燃焼室２４内において、燃料と空気との混合気は、点火装置２６の火花放電に伴って燃焼に供され、燃焼によって生じたエネルギは、ピストン２２を介してクランク軸２８の回転エネルギに変換される。燃焼に供された混合気は、排気バルブ３０の開弁に伴って、排気として排気通路３２に排出される。排気通路３２には、排気を浄化する後処理装置としての触媒３４が設けられている。

クランク軸２８には、ロックアップクラッチ４２を備えたトルクコンバータ４０を介して、変速装置５０の入力軸５２が機械的に連結可能とされている。変速装置５０は、入力軸５２の回転速度と出力軸５４の回転速度との比である変速比を可変とする装置である。出力軸５４には、駆動輪６０が機械的に連結されている。

制御装置７０は、内燃機関１０を制御対象とし、その制御量であるトルクや排気成分比率などを制御すべく、スロットルバルブ１４、燃料噴射弁１６及び点火装置２６などの内燃機関１０の操作部を操作する。また、制御装置７０は、トルクコンバータ４０を制御対象とし、ロックアップクラッチ４２の係合状態を制御すべくロックアップクラッチ４２を操作する。また、制御装置７０は、変速装置５０を制御対象とし、その制御量としての変速比を制御すべく変速装置５０を操作する。なお、図１には、スロットルバルブ１４、燃料噴射弁１６、点火装置２６、ロックアップクラッチ４２、及び変速装置５０のそれぞれの操作信号ＭＳ１～ＭＳ５を記載している。このように制御装置７０からの操作信号ＭＳ１～ＭＳ５が入力される操作部の各々が、「電子機器」の一例である。

制御装置７０は、制御量の制御のために、エアフローメータ８０によって検出される吸入空気量Ｇａ、スロットルセンサ８２によって検出されるスロットルバルブ１４の開口度であるスロットル開口度ＴＡ、及び、クランク角センサ８４の出力信号Ｓｃｒを参照する。また、制御装置７０は、アクセルセンサ８８によって検出されるアクセルペダル８６の踏み込み量であるアクセル操作量ＰＡ、及び、加速度センサ９０によって検出される車両ＶＣ１の前後方向の加速度Ｇｘ、を参照する。

制御装置７０は、ＣＰＵ７２、ＲＯＭ７４、電気的に書き換え可能な不揮発性メモリである記憶装置７６、通信機７７及び周辺回路７８を備え、それらがローカルネットワーク７９を介して通信可能とされている。ここで、周辺回路７８は、内部の動作を規定するクロック信号を生成する回路、電源回路及びリセット回路などを含む。

ＲＯＭ７４には、制御プログラム７４ａ及び学習プログラム７４ｂが記憶されている。一方、記憶装置７６には、関係規定データＤＲが記憶されている。関係規定データＤＲとは、スロットルバルブ１４や点火装置２６などの車両ＶＣ１の電子機器を操作する際に用いられるデータである。本実施形態では、関係規定データＤＲは、アクセル操作量ＰＡと、スロットル開口度ＴＡの指令値であるスロットル開口度指令値ＴＡ＊及び点火装置２６の遅角量ａｏｐとの関係を規定するものである。スロットル開口度指令値ＴＡ＊及び遅角量ａｏｐが、行動変数の一例である。ここで、遅角量ａｏｐは、予め定められた基準点火時期に対する遅角量であり、基準点火時期は、ＭＢＴ点火時期とノック限界点とのうちの遅角側の時期である。ＭＢＴ点火時期は、最大トルクの得られる点火時期（最大トルク点火時期）である。また、ノック限界点は、ノック限界の高い高オクタン価燃料の使用時に、想定される最良の条件下で、ノッキングを許容できるレベル以内に収めることのできる点火時期の進角限界値である。また、記憶装置７６には、トルク出力写像データＤＴが記憶されている。トルク出力写像データＤＴによって規定されるトルク出力写像は、クランク軸２８の回転速度ＮＥ、充填効率η、及び点火時期ａｉｇを入力とし、トルクＴｒｑを出力する写像である。

図２に示すように、通信機７７は、車両ＶＣ１の外部のネットワーク１２０を介し、車外に設けられているサーバ１３０と通信するための機器である。
サーバ１３０は、複数の車両ＶＣ１，ＶＣ２，…から送信されるデータを解析する。サーバ１３０は、ＣＰＵ１３２、ＲＯＭ１３４、周辺回路１３８及び通信機１３７を備えており、それらがローカルネットワーク１３９によって通信可能とされるものである。ＲＯＭ１３４には、制御プログラム１３４ａが記憶されている。

図３に、制御装置７０が実行する処理の手順を示す。図３に示す一連の処理は、ＲＯＭ７４に記憶された制御プログラム７４ａ及び学習プログラム７４ｂをＣＰＵ７２が例えば所定周期で繰り返し実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって各処理のステップ番号を示す。

図３に示す一連の処理において、ＣＰＵ７２は、状態ｓとして、アクセル操作量ＰＡの６個のサンプリング値「ＰＡ（１），ＰＡ（２），…ＰＡ（６）」からなる時系列データを取得する（Ｓ１０）。ここで、時系列データを構成する各サンプリング値は、互いに異なるタイミングにおいてサンプリングされたものである。本実施形態では、一定のサンプリング周期でサンプリングされる場合の、互いに時系列的に隣り合う６個のサンプリング値によって時系列データを構成する。

次にＣＰＵ７２は、関係規定データＤＲが定める方策πに従い、Ｓ１０の処理によって取得した状態ｓに応じたスロットル開口度指令値ＴＡ＊及び遅角量ａｏｐからなる行動ａを設定する（Ｓ１２）。

本実施形態において、関係規定データＤＲは、行動価値関数Ｑ及び方策πを定めるデータである。本実施形態において、行動価値関数Ｑは、状態ｓ及び行動ａの８次元の独立変数に応じた期待収益の値を示すテーブル型式の関数である。また、方策πは、状態ｓが与えられたときに、独立変数が与えられた状態ｓとなる行動価値関数Ｑのうち最大となる行動ａ（グリーディ行動）を優先的に選択しつつも、所定の確率で、それ以外の行動ａを選択する規則を定める。

詳しくは、本実施形態にかかる行動価値関数Ｑの独立変数がとりうる値の数は、状態ｓ及び行動ａのとりうる値の全組み合わせのうちの一部が、人の知見などによって削減されたものである。すなわち、例えばアクセル操作量ＰＡの時系列データのうち隣接する２つのサンプリング値の１つがアクセル操作量ＰＡの最小値となりもう１つが最大値となるようなことは、人によるアクセルペダル８６の操作からは生じえないとして、行動価値関数Ｑが定義されていない。本実施形態では、人の知見などに基づく次元削減によって、行動価値関数Ｑを定義する状態ｓの取りうる値を、１０の４乗個以下、より望ましくは１０の３乗個以下に制限する。

次にＣＰＵ７２は、設定されたスロットル開口度指令値ＴＡ＊及び遅角量ａｏｐに基づき、スロットルバルブ１４に操作信号ＭＳ１を出力してスロットル開口度ＴＡを操作するとともに、点火装置２６に操作信号ＭＳ３を出力して点火時期を操作する（Ｓ１４）。ここで、本実施形態では、スロットル開口度ＴＡをスロットル開口度指令値ＴＡ＊にフィードバック制御することを例示することから、スロットル開口度指令値ＴＡ＊が同一の値であっても、操作信号ＭＳ１が互いに異なる信号となりうるものである。また、例えば周知のノッキングコントロール（ＫＣＳ）などがなされる場合、点火時期は、基準点火時期を遅角量ａｏｐにて遅角させた値がＫＣＳにてフィードバック補正された値とされる。ここで、基準点火時期は、ＣＰＵ７２により、クランク軸２８の回転速度ＮＥ及び充填効率ηに応じて可変設定される。なお、回転速度ＮＥは、クランク角センサ８４の出力信号Ｓｃｒに基づきＣＰＵ７２によって算出される。また、充填効率ηは、回転速度ＮＥ及び吸入空気量Ｇａに基づきＣＰＵ７２によって算出される。

次にＣＰＵ７２は、内燃機関１０のトルクＴｒｑ、内燃機関１０に対するトルク指令値Ｔｒｑ＊、及び加速度Ｇｘを取得する（Ｓ１６）。ここで、ＣＰＵ７２は、トルクＴｒｑを、回転速度ＮＥ、充填効率η及び点火時期をトルク出力写像に入力することによって算出する。また、ＣＰＵ７２は、トルク指令値Ｔｒｑ＊を、アクセル操作量ＰＡに応じて設定する。

次にＣＰＵ７２は、過渡フラグＦが「１」であるか否かを判定する（Ｓ１８）。過渡フラグＦは、「１」である場合に過渡運転時であることを示し、「０」である場合に過渡運転時ではないことを示す。ＣＰＵ７２は、過渡フラグＦが「０」であると判定する場合（Ｓ１８：ＮＯ）、アクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡの絶対値が所定量ΔＰＡｔｈ以上であるか否かを判定する（Ｓ２０）。ここで、変化量ΔＰＡは、例えば、Ｓ２０の処理の実行タイミングにおける最新のアクセル操作量ＰＡと、同タイミングに対して単位時間だけ前におけるアクセル操作量ＰＡとの差とすればよい。

ＣＰＵ７２は、変化量ΔＰＡの絶対値が所定量ΔＰＡｔｈ以上であると判定する場合（Ｓ２０：ＹＥＳ）、過渡フラグＦに「１」を代入する（Ｓ２２）。
これに対し、ＣＰＵ７２は、過渡フラグＦが「１」であると判定する場合（Ｓ１８：ＹＥＳ）、Ｓ２２の処理の実行から所定期間が経過したか否かを判定する（Ｓ２４）。ここで、所定期間は、アクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡの絶対値が所定量ΔＰＡｔｈよりも小さい規定量以下となる状態が所定時間継続するまでの期間とする。ＣＰＵ７２は、所定期間が経過したと判定する場合（Ｓ２４：ＹＥＳ）、過渡フラグＦに「０」を代入する（Ｓ２６）。

ＣＰＵ７２は、Ｓ２２，Ｓ２６の処理が完了する場合、１つのエピソードが終了したとして、強化学習によって行動価値関数Ｑを更新する（Ｓ２８）。
図４に、Ｓ２８の処理の詳細を示す。

図４に示す一連の処理において、ＣＰＵ７２は、直近に終了されたエピソード中のトルク指令値Ｔｒｑ＊、トルクＴｒｑ及び加速度Ｇｘの３つのサンプリング値の組からなる時系列データと、状態ｓ及び行動ａの時系列データとを取得する（Ｓ３０）。ここで、直近のエピソードは、Ｓ２２の処理に続いてＳ３０の処理がなされる場合には、過渡フラグＦが継続して「０」となっていた期間であり、Ｓ２６の処理に続いてＳ３０の処理がなされる場合には、過渡フラグＦが継続して「１」となっていた期間である。

図４には、カッコの中の数字が異なるものが、異なるサンプリングタイミングにおける変数の値であることを示す。例えば、トルク指令値Ｔｒｑ＊（１）とトルク指令値Ｔｒｑ＊（２）とは、サンプリングタイミングが互いに異なるものである。また、直近のエピソードに属する行動ａの時系列データを、行動集合Ａｊとし、同エピソードに属する状態ｓの時系列データを、状態集合Ｓｊと定義する。

次にＣＰＵ７２は、直近のエピソードに属する任意のトルクＴｒｑとトルク指令値Ｔｒｑ＊との差の絶対値が規定量ΔＴｒｑ以下である旨の条件（ア）と、加速度Ｇｘが下限値ＧｘＬ以上であって上限値ＧｘＨ以下である旨の条件（イ）との論理積が真であるか否かを判定する（Ｓ３２）。

ここで、ＣＰＵ７２は、規定量ΔＴｒｑを、エピソードの開始時におけるアクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡによって可変設定する。すなわち、ＣＰＵ７２は、エピソードの開始時におけるアクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡに基づき過渡時に関するエピソードであると判定する場合、定常時の場合と比較して、規定量ΔＴｒｑを大きい値に設定する。

また、ＣＰＵ７２は、下限値ＧｘＬを、エピソードの開始時におけるアクセル操作量ＰＡの変化量ΔＰＡによって可変設定する。すなわち、ＣＰＵ７２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが正である場合には、定常時に関するエピソードの場合と比較して、下限値ＧｘＬを大きい値に設定する。また、ＣＰＵ７２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが負である場合には、定常時に関するエピソードの場合と比較して、下限値ＧｘＬを小さい値に設定する。

また、ＣＰＵ７２は、上限値ＧｘＨを、エピソードの開始時におけるアクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡによって可変設定する。すなわち、ＣＰＵ７２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが正である場合には、定常時に関するエピソードの場合と比較して、上限値ＧｘＨを大きい値に設定する。また、ＣＰＵ７２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが負である場合には、定常時に関するエピソードの場合と比較して、上限値ＧｘＨを小さい値に設定する。

ここで、本実施形態では、車両ＶＣ１のエネルギ利用効率の向上を目的の１つとして強化学習が行われる。例えば内燃機関１０の燃費を高めることによって車両ＶＣ１のエネルギ利用効率を向上させる場合、内燃機関１０のトルクＴｒｑの急激な変化を抑えることが望ましい。そこで、本実施形態では、例えば、エネルギ利用効率の向上よりもアクセルレスポンスの向上を優先して強化学習を行う場合と比較して、規定量ΔＴｒｑとして大きい値が設定される。また、本実施形態では、例えば、エネルギ利用効率の向上よりもアクセルレスポンスの向上を優先して強化学習を行う場合と比較して、上限値ＧｘＨと下限値ＧｘＬとの差分が小さくなるように、上限値ＧｘＨ及び下限値ＧｘＬがそれぞれ設定される。

ちなみに、アクセルレスポンスの向上を優先した強化学習とは、アクセル操作量ＰＡが増加された場合において、トルクＴｒｑとトルク指令値Ｔｒｑ＊との差の絶対値が小さい状態を維持すること、及び、車両ＶＣ１の加速度Ｇｘが大きくなることの双方を満たす場合に、そうでない場合と比較して大きな報酬を与える強化学習である。

ＣＰＵ７２は、論理積が真であると判定する場合（Ｓ３２：ＹＥＳ）、報酬ｒに正の値αを代入する一方（Ｓ３４）、偽であると判定する場合（Ｓ３２：ＮＯ）、報酬ｒに負の値βを代入する（Ｓ３６）。例えば、負の値βは、正の値αと「－１」との積である。ＣＰＵ７２は、Ｓ３４，Ｓ３６の処理が完了する場合、図１に示した記憶装置７６に記憶されている関係規定データＤＲを更新する。本実施形態では、εソフト方策オン型モンテカルロ法を用いる。

すなわち、ＣＰＵ７２は、上記Ｓ３０の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）に、それぞれ、報酬ｒを加算する（Ｓ３８）。ここで、「Ｒ（Ｓｊ，Ａｊ）」は、状態集合Ｓｊの要素の１つを状態とし行動集合Ａｊの要素の１つを行動とする収益Ｒを総括した記載である。次にＣＰＵ７２は、上記Ｓ３０の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）のそれぞれについて、平均化して対応する行動価値関数Ｑ（Ｓｊ，Ａｊ）に代入する（Ｓ４０）。ここで、平均化は、Ｓ３８の処理がなされた回数に所定数を加算した値によって、Ｓ３８の処理によって算出された収益Ｒを除算する処理とすればよい。なお、収益Ｒの初期値は、対応する行動価値関数Ｑの初期値とすればよい。

次にＣＰＵ７２は、上記Ｓ３０の処理によって読み出した状態について、それぞれ、対応する行動価値関数Ｑ（Ｓｊ，Ａ）のうち、最大値となるときのスロットル開口度指令値ＴＡ＊及び遅角量ａｏｐの組である行動を、行動Ａｊ＊に代入する（Ｓ４２）。ここで、「Ａ」は、とりうる任意の行動を示す。なお、行動Ａｊ＊は、上記Ｓ３０の処理によって読み出した状態の種類に応じて各別の値となるものであるが、ここでは、表記を簡素化して、同一の記号にて記載している。

次にＣＰＵ７２は、上記Ｓ３０の処理によって読み出した状態のそれぞれについて、対応する方策π（Ａｊ｜Ｓｊ）を更新する（Ｓ４４）。すなわち、行動の総数を、「｜Ａ｜」とすると、Ｓ４２によって選択された行動Ａｊ＊の選択確率を、「１－ε＋ε／｜Ａ｜」とする。また、行動Ａｊ＊以外の「｜Ａ｜－１」個の行動の選択確率を、それぞれ「ε／｜Ａ｜」とする。Ｓ４４の処理は、Ｓ４０の処理によって更新された行動価値関数Ｑに基づく処理であることから、これにより、状態ｓと行動ａとの関係を規定する関係規定データＤＲが、収益Ｒを増加させるように更新されることとなる。

なお、ＣＰＵ７２は、Ｓ４４の処理が完了する場合、図４に示す一連の処理を一旦終了する。
図３に戻り、ＣＰＵ７２は、Ｓ２８の処理が完了する場合や、Ｓ２０，Ｓ２４の処理において否定判定する場合には、図３に示す一連の処理を一旦終了する。なお、Ｓ１０～Ｓ２６の処理は、ＣＰＵ７２が制御プログラム７４ａを実行することにより実現され、Ｓ２８の処理は、ＣＰＵ７２が学習プログラム７４ｂを実行することにより実現される。また、車両ＶＣ１の出荷時における関係規定データＤＲは、テストベンチで車両の走行を模擬するなどしつつ図３に示した一連の処理と同様の処理を実行することによって予め学習がなされたデータとする。

本実施形態では、車両ＶＣ１のエネルギ利用効率を、車両ＶＣ１の環境性能として取得し、車両ＶＣ１のエネルギ利用効率が判定用効率よりも低いか否かの判定が行われる。そして、車両ＶＣ１のエネルギ利用効率が判定用効率よりも低いと判定されたときには、報酬ｒの与え方を変えることによって関係規定データＤＲの更新速度を高め、エネルギ利用効率の向上を図るようにしている。図５に、こうした処理を制御装置７０に実行させるための一連の処理の流れを示す。図５に示す一連の処理は、ＲＯＭ７４に記憶された制御プログラム７４ａをＣＰＵ７２が実行することにより実現される。

本実施形態では、図５に示す一連の処理の開始条件を、例えば、車両ＶＣ１の走行距離ＲＬが規定距離ＲＬｔｈ増えることとする。
図５に示す一連の処理において、ＣＰＵ７２は、車両ＶＣ１のエネルギ利用効率を示す値として車両ＶＣ１の燃費ＧＭを取得する（Ｓ５０）。ＣＰＵ７２は、内燃機関１０における燃料消費量を車両ＶＣ１の走行距離で割ることによって、燃費ＧＭを導出できる。

ここで、図５に示す一連の処理の開始条件が、車両ＶＣ１の走行距離ＲＬが規定距離ＲＬｔｈ増えることを含む場合を考える。この場合、ＣＰＵ７２は、規定距離ＲＬｔｈを車両ＶＣ１が走行するのに要した燃料消費量を取得し、当該燃料消費量を規定距離ＲＬｔｈで割った値を燃費ＧＭとして導出すればよい。

次にＣＰＵ７２は、図３のＳ１０の処理によって取得した状態ｓと、車両ＶＣ１の走行環境とを基に、車両ＶＣ１の走行条件を推定する（Ｓ５１）。走行環境とは、車両ＶＣ１の走行する地域の天候、車両ＶＣ１の積載量ＬＣなどである。ＣＰＵ７２は、こうした走行環境を取得する。また、ＣＰＵ７２は、取得した状態ｓを基に、車両ＶＣ１を運転しているユーザの車両操作に関する嗜好を推定する。ＣＰＵ７２は、例えば、アクセルペダル８６やブレーキペダルなどのような車両ＶＣ１の加減速度を決める車載操作部材の操作速度を基に、ユーザの嗜好を推定する。

例えば、ＣＰＵ７２は、車両ＶＣ１の現在値の天候に関する情報を車外のサーバから受信することにより、車両ＶＣ１の走行する地域の天候を取得できる。また例えば、ＣＰＵ７２は、車体に設けられている着座センサの検出結果を基に、車両ＶＣ１の搭乗人数を把握し、当該人数を基に積載量ＬＣを取得できる。

次にＣＰＵ７２は、取得した燃費ＧＭをサーバ１３０に送信する（Ｓ５２）。本実施形態では、ＣＰＵ７２は、推定した車両ＶＣ１の走行条件も燃費ＧＭと合わせてサーバ１３０に送信する。

そして、ＣＰＵ７２は、サーバ１３０から基準燃費ＧＭｔｈを受信したか否かを判定する（Ｓ５３）。詳しくは後述するが、基準燃費ＧＭｔｈはサーバ１３０で設定されるものである。基準燃費ＧＭｔｈの受信が完了していない場合（Ｓ５３：ＮＯ）、ＣＰＵ７２は、受信が完了するまでＳ５３の処理を繰り返す。一方、受信が完了した場合（Ｓ５３：ＹＥＳ）、ＣＰＵ７２は、Ｓ５０で取得した燃費ＧＭが基準燃費ＧＭｔｈよりも低いか否かを判定する（Ｓ５４）。燃費ＧＭが基準燃費ＧＭｔｈよりも低い場合は、車両ＶＣ１のエネルギ利用効率が基準よりも低いと判定される。一方、燃費ＧＭが基準燃費ＧＭｔｈ以上である場合は、車両ＶＣ１のエネルギ利用効率が基準よりも低いと判定されない。

燃費ＧＭが基準燃費ＧＭｔｈ以上である場合（Ｓ５４：ＮＯ）、ＣＰＵ７２は、上記の正の値αとして値α１を設定し、上記の負の値βとして値β１を設定する（Ｓ５６）。一方、燃費ＧＭが基準燃費ＧＭｔｈよりも低い場合（Ｓ５４：ＹＥＳ）、ＣＰＵ７２は、上記の正の値αとして値α２を設定し、上記の負の値βとして値β２を設定する（Ｓ５８）。各値α１，α２は正の値であり、値α２は値α１よりも大きい。各値β１，β２は負の値であり、値β２の絶対値は値β１の絶対値よりも大きい。このように正の値α及び負の値βを設定すると、ＣＰＵ７２は、図５に示す一連の処理を終了する。

図６に、基準燃費ＧＭｔｈを導出する際にサーバ１３０が実行するための一連の処理の流れを示す。図６に示す一連の処理は、ＲＯＭ１３４に記憶された制御プログラム１３４ａをＣＰＵ１３２が実行することにより実現される。なお、図６に示す一連の処理は、サーバ１３０と通信可能な複数の車両の何れかから燃費ＧＭに関する情報を受信したことを契機に実行される。

図６に示す一連の処理において、ＣＰＵ１３２は、車両の平均燃費ＧＭａｖを導出する（Ｓ６０）。すなわち、ＣＰＵ１３２は、サーバ１３０と通信可能な複数の車両ＶＣ１，ＶＣ２，…の中で、車両ＶＣ１の走行条件と同じ走行条件で走行したと判断できる車両を全て選択する。そして、ＣＰＵ１３２は、選択した各車両の燃費ＧＭを基に、平均燃費ＧＭａｖを算出する。例えば、ＣＰＵ１３２は、選択した各車両の燃費ＧＭの平均値を平均燃費ＧＭａｖとして算出する。

次にＣＰＵ１３２は、導出した平均燃費ＧＭａｖを基に、基準燃費ＧＭｔｈを導出する（Ｓ６２）。例えば、平均燃費ＧＭａｖが基準燃費ＧＭｔｈとして設定される。また例えば、平均燃費ＧＭａｖと所定の補正係数との積を、基準燃費ＧＭｔｈとして設定してもよい。補正係数は、予め設定された値で固定化してもよいし、季節やエリアなどのように車両の走行する環境に応じて可変させてもよい。

そして、ＣＰＵ１３２は、導出した基準燃費ＧＭｔｈを、燃費ＧＭを送信してきた車両ＶＣ１に送信する（Ｓ６４）。基準燃費ＧＭｔｈの送信が完了すると、ＣＰＵ１３２は、図６に示す一連の処理を終了する。

本実施形態の作用及び効果について説明する。
車両ＶＣ１の燃費ＧＭが導出されると、燃費ＧＭに関する情報がサーバ１３０に送信される。すると、サーバ１３０では、基準燃費ＧＭｔｈが導出され、基準燃費ＧＭｔｈが車両ＶＣ１に送信される。

車両ＶＣ１では、サーバ１３０から受信した基準燃費ＧＭｔｈと、制御装置７０で導出した燃費ＧＭとを基に、車両ＶＣ１のエネルギ利用効率が基準よりも低いか否かの判定が行われる。そして、車両ＶＣ１のエネルギ利用効率が基準よりも低いと判定されると、車両ＶＣ１の電子機器を操作する際に用いられる関係規定データＤＲの更新速度が高くされる。このように関係規定データＤＲが更新されると、車両ＶＣ１の状態ｓと行動変数との関係を、最適な関係に近づけることができる。

ここで、車両ＶＣ１のエネルギ利用効率が基準よりも低い要因として、関係規定データＤＲの更新の遅れが考えられる。そのときの車両ＶＣ１の電子機器の特性に応じた関係規定データＤＲを最適データとした場合、関係規定データＤＲの更新が遅れているということは、関係規定データＤＲが最適データから乖離している可能性がある。

本実施形態では、車両ＶＣ１のエネルギ利用効率が基準よりも低いと判定されると、関係規定データＤＲの更新速度が高くされる。これにより、関係規定データＤＲと最適データとの乖離を早期に小さくできる。そのため、関係規定データＤＲの更新の遅れに起因してエネルギ利用効率が低かった場合、関係規定データＤＲの更新速度を高くすることによって、エネルギ利用効率を向上させることができる。

本実施形態では、以下に示す効果をさらに得ることができる。
（１）本実施形態では、車両ＶＣ１の電子機器の操作に伴う報酬ｒを算出することにより、当該操作によってどのような報酬が得られるかを把握できる。そして、得られた報酬に基づき、強化学習に従った更新写像によって関係規定データＤＲを更新することにより、車両ＶＣ１の状態と行動変数との関係を車両ＶＣ１の走行において適切な関係に設定できる。そのため、車両ＶＣ１の状態と行動変数との関係を車両ＶＣ１の走行において適正化することが可能となる。

ここで、同じ車種であっても、搭載される電子機器の特性には個体差がある。本実施形態では、車両ＶＣ１内で強化学習を行うことによって、関係規定データＤＲを更新している。すなわち、車両ＶＣ１の使用中に、当該車両ＶＣ１に搭載される電子機器の特性に対応するように関係規定データＤＲが更新される。そのため、車両の出荷前に車両一台毎に適合によって操作用データを作成するようなことをしなくても、車両ＶＣ１において車両制御の適正化が可能となる。

また、電子機器の特性の経年変化した場合であっても、特性の経時変化に合わせて強化学習によって関係規定データＤＲが更新される。そのため、電子機器の特性が経年変化しても、そのときの電子機器の特性に応じた車両制御を車両ＶＣ１で行わせることができる。

（２）車両ＶＣ１のエネルギ利用効率が基準よりも低いと判定された場合、車両ＶＣ１の状態と行動変数との関係の適正化があまり進んでいない可能性がある。そこで、本実施形態では、車両のエネルギ利用効率が基準よりも低いと判定された場合には、車両ＶＣ１の特性が所定の基準を満たすときに与える報酬ｒをより大きくするようにしている。これにより、エネルギ利用効率が判定用性能よりも低いと判定された以降においては、それ以前よりも当該関係の適正化を早めることができる。そのため、当該関係の適正化の遅れに起因してエネルギ利用効率が基準よりも低いと判定された場合にあっては、このように報酬ｒの与え方を変えることによってエネルギ利用効率を向上させることができる。

（３）本実施形態では、同じような走行条件の下で走行する複数の車両の燃費ＧＭに基づいて基準燃費ＧＭｔｈが設定される。すなわち、基準燃費ＧＭｔｈを、車種毎に予め一定の値に設定するのではなく、車両の実際の走行に基づいた値とすることができる。これにより、車両ＶＣ１のエネルギ利用効率に関する実力を適切に把握できる。

（第２実施形態）
以下、第２実施形態について、第１実施形態との相違点を中心に図面を参照しつつ説明する。

本実施形態では、車両ＶＣ１のエネルギ利用効率を、車両ＶＣ１の環境性能として取得し、車両ＶＣ１のエネルギ利用効率が判定用効率よりも低いか否かの判定が行われる。そして、車両ＶＣ１のエネルギ利用効率が判定用効率よりも低いと判定されたときには、判定用効率よりも高いエネルギ利用効率の他の車両ＶＣ２の関係規定データＤＲを受信し、記憶装置７６に記憶される関係規定データＤＲを置換することによって、エネルギ利用効率の向上を図るようにしている。図７に、こうした処理を制御装置７０に実行させるための一連の処理の流れを示す。図７に示す一連の処理は、ＲＯＭ７４に記憶された制御プログラム７４ａをＣＰＵ７２が実行することにより実現される。

図７に示す一連の処理において、ＣＰＵ７２は、図５のＳ５０～Ｓ５３と同様に、車両ＶＣ１の燃費ＧＭを取得し（Ｓ７０）、車両ＶＣ１の走行条件を取得し（Ｓ７１）、燃費ＧＭ及び走行条件をサーバ１３０に送信し（Ｓ７２）、サーバ１３０から基準燃費ＧＭｔｈを受信する（Ｓ７３：ＹＥＳ）。そして、ＣＰＵ７２は、Ｓ７０で取得した燃費ＧＭが基準燃費ＧＭｔｈよりも低いか否かを判定する（Ｓ７４）。燃費ＧＭが基準燃費ＧＭｔｈ以上である場合（Ｓ７４：ＮＯ）、ＣＰＵ７２は、図７に示す一連の処理を終了する。すなわち、記憶装置７６に記憶する関係規定データＤＲの置換は行われない。

一方、燃費ＧＭが基準燃費ＧＭｔｈよりも低い場合（Ｓ７４：ＹＥＳ）、ＣＰＵ７２は、車両ＶＣ１のエネルギ利用効率が低い旨をサーバ１３０に送信する（Ｓ７６）。次にＣＰＵ７２は、送信に対する回答として、他の車両の関係規定データＤＲを受信したか否かを判定する（Ｓ７８）。受信が完了していない場合（Ｓ７８：ＮＯ）、ＣＰＵ７２は、受信が完了するまでＳ７８の処理を繰り返す。一方、受信が完了した場合（Ｓ７８：ＹＥＳ）、ＣＰＵ７２は、受信した他の車両の関係規定データＤＲを、記憶装置７６に記憶させる（Ｓ８０）。すなわち、ＣＰＵ７２は、記憶装置７６の関係規定データＤＲを、他の車両の関係規定データＤＲに置換する。こうした関係規定データＤＲの置換が完了すると、ＣＰＵ７２は、図７に示す一連の処理を終了する。

図８に、車両ＶＣ１のエネルギ利用効率が低い旨を車両ＶＣ１からサーバ１３０が受信したことを契機にサーバ１３０で実行される一連の処理の流れを示す。図８に示す一連の処理は、ＲＯＭ１３４に記憶された制御プログラム１３４ａをＣＰＵ１３２が実行することにより実現される。

図８に示す一連の処理において、ＣＰＵ１３２は、基準燃費ＧＭｔｈの導出に用いられた複数の車両の中から、基準燃費ＧＭｔｈよりも燃費ＧＭの高い車両を探索する（Ｓ９０）。基準燃費ＧＭｔｈよりも燃費ＧＭの高いという条件を満たす車両が複数存在する場合、ＣＰＵ１３２は、最も燃費ＧＭの高い車両を選ぶ。次にＣＰＵ１３２は、選んだ車両を選択車両とした場合、選択車両に対し、選択車両で用いられている関係規定データＤＲの送信を要求する（Ｓ９２）。そして、ＣＰＵ１３２は、選択車両の関係規定データＤＲを選択車両から受信したか否かを判定する（Ｓ９４）。受信が完了していない場合（Ｓ９４：ＮＯ）、ＣＰＵ１３２は、受信が完了するまでＳ９４の処理を繰り返す。一方、受信が完了した場合（Ｓ９４：ＹＥＳ）、ＣＰＵ１３２は、選択車両の関係規定データＤＲを、エネルギ利用効率が低い旨を送信してきた車両ＶＣ１に送信する（Ｓ９６）。

本実施形態では、上記（１）及び（３）と同等の効果に加え、以下に示す効果をさらに得ることができる。
（４）車両ＶＣ１では、サーバ１３０から受信した基準燃費ＧＭｔｈと、制御装置７０で導出した燃費ＧＭとを基に、車両ＶＣ１のエネルギ利用効率が基準よりも低いか否かの判定が行われる。そして、車両ＶＣ１のエネルギ利用効率が基準よりも低いと判定されると、その旨がサーバ１３０に送信される。すると、基準燃費ＧＭｔｈよりも燃費ＧＭの高い他の車両の関係規定データＤＲが、サーバ１３０から送信される。そして、記憶装置７６に記憶される関係規定データＤＲが、他の車両の関係規定データＤＲに置換される。すなわち、車両ＶＣ１の電子機器を操作する際に用いられる関係規定データＤＲが、エネルギ利用効率が高くなるように更新される。

ここで、車両ＶＣ１のエネルギ利用効率が基準よりも低い要因として、関係規定データＤＲの更新の遅れが考えられる。言い換えると、エネルギ利用効率が基準よりも高い車両では、関係規定データＤＲの更新が進んでいるといえる。

本実施形態では、車両ＶＣ１のエネルギ利用効率が基準よりも低いと判定されると、記憶装置７６に記憶される関係規定データＤＲが、基準燃費ＧＭｔｈよりも燃費ＧＭの高い他の車両の関係規定データＤＲに置換される。すなわち、記憶装置７６に記憶される関係規定データＤＲが、更新の進んでいる関係規定データＤＲに置換される。これにより、関係規定データＤＲの更新の遅れに起因してエネルギ利用効率が低かった場合、置換後の関係規定データＤＲを用いて電子機器を操作することにより、車両ＶＣ１のエネルギ利用効率を向上させることができる。

（対応関係）
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１］実行装置は、図２においてはＣＰＵ７２及びＲＯＭ７４と、ＣＰＵ１３２及びＲＯＭ１３４とによって構成される。記憶装置とは、図２において記憶装置７６が対応する。操作用データとは、図２において記憶装置７６に記憶される関係規定データＤＲに対応する。取得処理は、図３のＳ１０、及び、図４のＳ３０に対応する。操作処理は、図３のＳ１４に対応する。性能判定処理は、図５のＳ５４、及び、図７のＳ７４に対応する。データ更新処理は、図３のＳ２８、及び、図３のＳ５４～Ｓ５８によって構成される。また、データ更新処理は、図７のＳ７６～Ｓ８０、及び、図８のＳ９０～Ｓ９６によって構成される。［２］報酬算出処理は、図４のＳ３２～Ｓ３６の処理に対応し、更新処理は、図４のＳ３８～Ｓ４４の処理に対応する。関係規定データは、図２において記憶装置７６に記憶されている関係規定データＤＲに対応する。更新写像は、学習プログラム７４ｂのうち図５のＳ３８～Ｓ４４の処理を実行する指令によって規定された写像に対応する。［３］データ更新処理は、図３のＳ２８、及び、図５のＳ５４～Ｓ５８に対応する。［４］データ更新処理は、図７のＳ７６～Ｓ８０、及び、図８のＳ９０～Ｓ９６によって構成される。［５］条件推定処理は、図５のＳ５１の処理、及び、図７のＳ７１の処理に対応する。［５］及び［６］判定用性能設定処理は、図６のＳ６２の処理に対応する。［６］車両の環境性能を示す指標値は、燃費ＧＭに対応する。［８］第１実行装置は、図２においてＣＰＵ７２及びＲＯＭ７４に対応し、第２実行装置は、図２においてＣＰＵ１３２及びＲＯＭ１３４に対応する。［９］及び［１０］車両用制御装置は、図２において制御装置７０に対応する。［１１］サーバは、図２においてサーバ１３０に対応する。

（変更例）
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

「車両の環境性能について」
・下記「車両について」の欄に記載したように、推力生成装置として回転電機を備える場合、車両の電力消費効率をエネルギ利用効率として導出してもよい。例えば、電力消費効率は、規定距離を走行するのに要した電力消費量を規定距離で除することによって導出できる。そして、電力消費効率が、判定効率よりも低いときに、車両ＶＣ１のエネルギ利用効率が基準よりも低いと判断されることになる。

・上記各実施形態のように推力生成装置として内燃機関１０を車両が備えている場合、車両の排気性状を、環境性能として導出してもよい。排気性状としては、例えば、車両から排出される排気ガスに含まれる排出微粒子の数を挙げることができる。この場合、強化学習は、排気性状が向上するように、すなわち排出微粒子の数が少なくなるように行われることになる。そして、データ更新処理では、車両の排気性状が向上するように関係規定データＤＲが更新されることになる。

「性能判定処理について」
・上記各実施形態では、車両の環境性能が判定用性能よりも低いか否かの判定を制御装置７０が実行しているが、サーバ１３０で実行してもよい。この場合、例えば上記第１実施形態では、基準燃費ＧＭｔｈがサーバ１３０で設定されると、サーバ１３０のＣＰＵ１３２が、車両ＶＣ１の燃費ＧＭが基準燃費ＧＭｔｈよりも低いか否かを判定し、その判定結果を車両ＶＣ１の制御装置７０に送信することになる。そして、制御装置７０では、受信した判定結果に基づいて正の値α及び負の値βが設定される。

また、例えば上記第２実施形態では、基準燃費ＧＭｔｈがサーバ１３０で設定されると、サーバ１３０のＣＰＵ１３２が、車両ＶＣ１の燃費ＧＭが基準燃費ＧＭｔｈよりも低いか否かを判定する。そして、車両ＶＣ１の燃費ＧＭが基準燃費ＧＭｔｈよりも低いと判定した場合、ＣＰＵ１３２が、図８に示した一連の処理を実行することによって、選択車両で用いられている関係規定データＤＲを車両ＶＣ１に送信する。

「燃費ＧＭの取得について」
・上記各実施形態において、車両ＶＣ１の１トリップ間での走行距離及び燃料消費量を取得し、当該燃料消費量を当該走行距離で割った値を燃費ＧＭとして導出してもよい。この場合、車両ＶＣ１の１トリップ間での走行距離は、上記各実施形態で用いられた規定距離よりも長くなることがある。また、１トリップ間での走行距離が長くなる場合、車両ＶＣ１の走行途中で車両ＶＣ１の走行地域の天候が変わることがある。そのため、このような場合では、走行条件として、車両ＶＣ１の積載量ＬＣ、すなわち車両ＶＣ１の搭乗人数を取得すれば、天候などの他の情報を取得しなくてもよい。

・上記各実施形態において、規定距離として相対的に短い距離が設定されている場合、走行条件としては、積載量ＬＣ、すなわち搭乗人数、及び、天候以外の情報も取得するようにしてもよい。例えば、他の情報としては、車両ＶＣ１の走行する路面に関する情報、すなわち路面の勾配やμ値を挙げることができる。

「条件推定処理について」
・上記各実施形態では、ユーザの嗜好の一例であるアクセルペダル８６などの車載操作部材の操作速度から推定できるユーザの嗜好と、車両の走行環境との双方に基づいて走行条件を推定している。しかし、車両ＶＣ１の運転に関するユーザの嗜好、及び、走行環境の何れか一方のみを基に、走行条件を推定するようにしてもよい。

・天候、路面情報（路面μ値、路面勾配）、及び車両の積載量ＬＣのうちの一部のみを車両の走行環境として取得するようにしてもよい。
・基準燃費ＧＭｔｈの設定に際し、車両の走行条件を加味しなくてもよい。

「判定用性能について」
・上記各実施形態では、車両ＶＣ１の走行条件と同じ走行条件で走行したと判断できる全ての車両の燃費ＧＭの平均値、又は、平均値に応じた値を基準燃費ＧＭｔｈとして設定しているが、これに限らない。例えば、当該全ての車両のうち、燃費ＧＭの最も良い車両の燃費ＧＭ、又は、燃費ＧＭの最も良い車両の燃費ＧＭに応じた値を、基準燃費ＧＭｔｈとして設定してもよい。

・車両ＶＣ１の諸元などから定めた値を基準燃費ＧＭｔｈとして設定してもよい。
・車両の環境性能として燃費ＧＭ以外のパラメータを導出する場合、当該パラメータに応じたデータを判定用性能として導出すればよい。例えば、上記「環境性能について」の欄に記載したように、電力消費効率を環境性能として導出する場合、電力消費効率が低いか否かを判断できる値を、判定用性能として設定すればよい。また例えば、「環境性能について」の欄に記載したように、車両の排気性状を環境性能として導出する場合、排気性状が悪いか否かを判断できる値を、判定用性能として設定すればよい。

「データ更新処理について」
・上記第２実施形態では、車両ＶＣ１のエネルギ利用効率が基準よりも低いと判定された場合、記憶装置７６に記憶されている関係規定データＤＲを、燃費ＧＭが基準燃費ＧＭｔｈよりも高い他の車両の関係規定データＤＲに置換している。この場合、燃費ＧＭが基準燃費ＧＭｔｈよりも高い車両が複数存在する場合、燃費ＧＭが基準燃費ＧＭｔｈよりも高い複数の車両のうち、燃費ＧＭが最も高い車両以外の車両を選択し、当該車両の関係規定データＤＲを、車両ＶＣ１の記憶装置７６に記憶させるようにしてもよい。

・上記第１実施形態では、車両ＶＣ１のエネルギ利用効率が基準よりも低いと判定された場合、正の値αを値α１から値α２に変更するとともに、負の値βを値β１から値β２に変更している。しかし、正の値αを値α１から値α２に変更するのであれば、負の値βを値β１で保持してもよい。反対に、負の値βを値β１から値β２に変更するのであれば、正の値αを値α１で保持してもよい。

「テーブル形式のデータの次元削減について」
・テーブル形式のデータの次元削減手法としては、上記各実施形態において例示したものに限らない。例えばアクセル操作量ＰＡが最大値となることはまれであることから、アクセル操作量ＰＡが規定量以上となる状態については行動価値関数Ｑを定義せず、アクセル操作量ＰＡが規定量以上となる場合のスロットル開口度指令値ＴＡ＊などは、別途適合してもよい。また例えば、行動のとりうる値からスロットル開口度指令値ＴＡ＊が規定値以上となるものを除くなどして、次元削減をしてもよい。

「関係規定データについて」
・上記各実施形態では、行動価値関数Ｑを、テーブル形式の関数としたが、これに限らない。例えば、関数近似器を用いてもよい。

・例えば、行動価値関数Ｑを用いる代わりに、方策πを、状態ｓ及び行動ａを独立変数とし、行動ａをとる確率を従属変数とする関数近似器にて表現し、関数近似器を定めるパラメータを、報酬ｒに応じて更新してもよい。

「操作用データについて」
・操作用データは、車両ＶＣ１の電子機器の操作指令値を導出する際に用いられるデータであれば、関係規定データＤＲとは異なるデータであってもよい。例えば、強化学習とは異なる学習処理を通じて更新されるデータを、操作用データとしてもよい。

「操作処理について」
・例えば「関係規定データについて」の欄に記載したように、行動価値関数を関数近似器とする場合、上記各実施形態におけるテーブル型式の関数の独立変数となる行動についての離散的な値の組の全てについて、状態ｓとともに行動価値関数Ｑに入力することによって、行動価値関数Ｑを最大化する行動ａを特定すればよい。その場合、例えば、主として特定された行動ａを操作に採用しつつも、所定の確率でそれ以外の行動を選択すればよい。

・例えば「関係規定データについて」の欄に記載したように、方策πを、状態ｓ及び行動ａを独立変数とし、行動ａをとる確率を従属変数とする関数近似器とする場合、方策πによって示される確率に基づき行動ａを選択すればよい。

「更新写像について」
・Ｓ３８～Ｓ４４の処理においては、εソフト方策オン型モンテカルロ法によるものを例示したが、これに限らない。例えば、方策オフ型モンテカルロ法によるものであってもよい。もっとも、モンテカルロ法にも限らず、例えば、方策オフ型ＴＤ法を用いたり、また例えばＳＡＲＳＡ法のように方策オン型ＴＤ法を用いたり、また例えば、方策オン型の学習として適格度トレース法を用いたりしてもよい。

・例えば「関係規定データについて」の欄に記載したように、方策πを関数近似器を用いて表現し、これを報酬ｒに基づき直接更新する場合には、方策勾配法などを用いて更新写像を構成すればよい。

・行動価値関数Ｑと方策πとのうちのいずれか一方のみを、報酬ｒによる直接の更新対象とするものに限らない。例えば、アクター・クリティック法のように、行動価値関数Ｑ及び方策πをそれぞれ更新してもよい。また、アクター・クリティック法においては、これに限らず、例えば行動価値関数Ｑに代えて価値関数を更新対象としてもよい。

「行動変数について」
・上記各実施形態では、行動変数としてのスロットルバルブの開口度に関する変数として、スロットル開口度指令値ＴＡ＊を例示したが、これに限らない。例えば、アクセル操作量ＰＡに対するスロットル開口度指令値ＴＡ＊の応答性を、無駄時間及び２次遅れフィルタにて表現し、無駄時間と、２次遅れフィルタを規定する２つの変数との合計３つの変数を、スロットルバルブの開口度に関する変数としてもよい。ただし、その場合、状態変数は、アクセル操作量ＰＡの時系列データに代えて、アクセル操作量ＰＡの単位時間当たりの変化量とすることが望ましい。

・上記各実施形態では、行動変数として、スロットルバルブの開口度に関する変数及び変速比に関する変数を例示したが、これに限らない。例えば、スロットルバルブの開口度に関する変数及び変速比に関する変数に加えて、点火時期に関する変数や空燃比制御に関する変数を用いてもよい。

・下記「内燃機関について」の欄に記載したように、圧縮着火式の内燃機関の場合、スロットルバルブの開口度に関する変数に代えて噴射量に関する変数を用いればよい。またこれに加えて、例えば、噴射時期に関する変数や、１燃焼サイクルにおける噴射回数に関する変数、１燃焼サイクルにおける１つの気筒のための時系列的に隣接した２つの燃料噴射のうちの一方の終了タイミングと他方の開始タイミングとの間の時間間隔に関する変数を用いてもよい。

・例えば変速装置５０が有段変速装置の場合、クラッチの係合状態を油圧によって調整するためのソレノイドバルブの電流値などを行動変数としてもよい。
・下記「電子機器について」の欄に記載したように、行動変数に応じた操作の対象に回転電機が含まれる場合、行動変数に回転電機のトルクや電流を含めればよい。すなわち、推力生成装置の負荷に関する変数である負荷変数としては、スロットルバルブの開口度に関する変数や噴射量に限らず、回転電機のトルクや電流であってもよい。

・下記「電子機器について」の欄に記載したように、行動変数に応じた操作の対象に、ロックアップクラッチ４２を含める場合、行動変数にロックアップクラッチ４２の係合状態を示す変数を含めればよい。ここで、ロックアップクラッチ４２の係合状態を行動変数に含める場合、エネルギ利用効率を高くする旨の要求事項の優先度の大小によって、行動変数の値を変えることが特に有効となる。

「状態について」
・上記各実施形態では、アクセル操作量ＰＡの時系列データを、等間隔でサンプリングされた６個の値からなるデータとしたが、これに限らない。互いに異なるサンプリングタイミングにおける２個以上のサンプリング値からなるデータであればよく、この際、３個以上のサンプリング値からなるデータや、サンプリング間隔が等間隔であるデータであることがより望ましい。

・アクセル操作量に関する状態変数としては、アクセル操作量ＰＡの時系列データに限らず、例えば「行動変数について」の欄に記載したように、アクセル操作量ＰＡの単位時間当たりの変化量などであってもよい。

・例えば「行動変数について」の欄に記載したように、ソレノイドバルブの電流値を行動変数とする場合、状態に、変速装置の入力軸５２の回転速度や出力軸５４の回転速度、ソレノイドバルブによって調整される油圧を含めればよい。また例えば「行動変数について」の欄に記載したように、回転電機のトルクや出力を行動変数とする場合、状態に、バッテリの充電率や温度を含めればよい。また例えば「行動変数について」の欄に記載したように、コンプレッサの負荷トルクや空調装置の消費電力を行動に含める場合、状態に、車室内の温度を含めればよい。

「電子機器について」
・行動変数に応じた操作の対象となる内燃機関の電子機器としては、スロットルバルブ１４に限らない。例えば、点火装置２６や燃料噴射弁１６であってもよい。

・行動変数に応じた操作の対象となる電子機器のうち、推力生成装置と駆動輪との間の駆動系装置としては、変速装置５０に限らず、例えばロックアップクラッチ４２であってもよい。

・下記「車両について」の欄に記載したように、推力生成装置として回転電機を備える場合、行動変数に応じた操作の対象となる電子機器を、回転電機に接続されるインバータなどの電力変換回路としてもよい。もっとも、車載駆動系の電子機器に限らず、例えば車載空調装置などであってもよい。この場合であっても、例えば車載空調装置が推力生成装置の回転動力によって駆動される場合、推力生成装置の動力のうち駆動輪６０に供給される動力が車載空調装置の負荷トルクに依存することから、車載空調装置の負荷トルクを行動変数に含めることなどが有効である。また例えば車載空調装置が推力生成装置の回転動力を利用しないものであったとしても、エネルギ利用効率に影響することから、行動変数に車載空調装置の消費電力を加えることは有効である。

「実行装置について」
・実行装置としては、ＣＰＵとＲＯＭとを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記各実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理する例えばＡＳＩＣなどの専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するＲＯＭなどのプログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置及びプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置及びプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。

「内燃機関について」
・内燃機関としては、燃料噴射弁として吸気通路１２に燃料を噴射するポート噴射弁を備えるものに限らず、燃焼室２４に燃料を直接噴射する筒内噴射弁を備えるものであってもよく、また例えば、ポート噴射弁及び筒内噴射弁の双方を備えるものであってもよい。

・内燃機関としては、火花点火式内燃機関に限らず、例えば燃料として軽油などを用いる圧縮着火式内燃機関などであってもよい。
「車両について」
・車両は、車両の推力生成装置として内燃機関のみを備えたものではなく、例えば内燃機関及び回転電気の双方を備えるハイブリッド車両であってもよい。また例えば、車両は、電気自動車や燃料電池車のように、推力生成装置が回転電機のみの車両であってもよい。

１０…内燃機関
１４…スロットルバルブ
１６…燃料噴射弁
１８…吸気バルブ
２６…点火装置
５０…変速装置
７０…制御装置
７２…ＣＰＵ
７４…ＲＯＭ
７６…記憶装置
８８…アクセルセンサ
９０…加速度センサ
１３０…サーバ
１３２…ＣＰＵ
１３４…ＲＯＭ
ＶＣ１，ＶＣ２…車両

Claims (10)

1. 車両の電子機器を操作する際に用いられる操作用データが記憶装置に記憶されている状態で、
   前記車両に設けられているセンサの検出値に基づいて前記車両の状態を取得する取得処理と、
   前記取得処理で取得された前記車両の状態と、前記操作用データと、に基づいて前記電子機器を操作する操作処理と、
   前記操作処理の実行によって前記電子機器が操作されている場合における前記車両の環境性能が判定用性能よりも低いか否かを判定する性能判定処理と、
   前記性能判定処理で前記車両の環境性能が前記判定用性能よりも低いと判定された場合、前記車両の環境性能が高くなるように前記操作用データを更新するデータ更新処理と、を実行装置に実行させ、
   前記操作用データとは、前記車両の状態と前記電子機器の操作に関する変数である行動変数との関係を規定する関係規定データであり、
   前記操作処理は、前記取得処理で取得された前記車両の状態と前記関係規定データとによって定まる前記行動変数の値に基づいて前記電子機器を操作する処理であり、
   前記実行装置に、
   前記電子機器が操作された際における前記車両の状態を基に、前記車両の特性が所定の基準を満たす場合には前記車両の特性が前記所定の基準を満たさない場合よりも大きい報酬を与える報酬算出処理と、
   前記電子機器が操作された際における前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、及び当該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、を実行させ、
   前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものである
   車両制御方法。
2. 前記データ更新処理は、前記性能判定処理で前記車両の環境性能が前記判定用性能よりも低いと判定された場合、前記車両の特性が前記所定の基準を満たすときに与えられる報酬を、前記車両の環境性能が前記判定用性能よりも低いと判定されない場合よりも大きくすることにより、前記車両の環境性能が高くなるように前記関係規定データを更新する処理である
   請求項１に記載の車両制御方法。
3. 前記データ更新処理は、前記記憶装置に記憶されている前記関係規定データを、前記環境性能が前記判定用性能よりも高い他の車両の前記関係規定データに置き換えることにより、前記車両の環境性能が高くなるように前記関係規定データを更新する処理である
   請求項１に記載の車両制御方法。
4. 車両の電子機器を操作する際に用いられる操作用データが記憶装置に記憶されている状態で、
   前記車両に設けられているセンサの検出値に基づいて前記車両の状態を取得する取得処理と、
   前記取得処理で取得された前記車両の状態と、前記操作用データと、に基づいて前記電子機器を操作する操作処理と、
   前記操作処理の実行によって前記電子機器が操作されている場合における前記車両の環境性能が判定用性能よりも低いか否かを判定する性能判定処理と、
   前記性能判定処理で前記車両の環境性能が前記判定用性能よりも低いと判定された場合、前記車両の環境性能が高くなるように前記操作用データを更新するデータ更新処理と、
   前記取得処理で取得された前記車両の状態と、前記車両の走行環境と、に基づいて前記車両の走行条件を推定する条件推定処理と、
   前記条件推定処理で推定された前記車両の走行条件と同じと判断できる走行条件下で走行する複数の車両の環境性能を基に、前記判定用性能を設定する判定用性能設定処理と、を実行装置に実行させる
   車両制御方法。
5. 前記判定用性能設定処理は、複数の前記車両の環境性能を示す指標値の平均を基に前記判定用性能を設定する処理である
   請求項４に記載の車両制御方法。
6. 前記車両の環境性能は、前記車両のエネルギ利用効率である
   請求項１～請求項５のうち何れか一項に記載の車両制御方法。
7. 前記実行装置は、前記車両に設けられている第１実行装置と、前記第１実行装置と通信する第２実行装置と、を有し、
   前記記憶装置は前記車両に設けられており、
   前記取得処理、及び、前記操作処理を前記第１実行装置に実行させ、
   前記性能判定処理を、前記第１実行装置又は前記第２実行装置に実行させ、
   前記データ更新処理を、前記第１実行装置と前記第２実行装置との協働によって実行させる
   請求項３に記載の車両制御方法。
8. 請求項１又は２に記載の前記実行装置及び前記記憶装置を備える
   車両用制御装置。
9. 請求項７に記載の前記第１実行装置及び前記記憶装置を備える
   車両用制御装置。
10. 複数の前記車両と通信可能なサーバであって、
    請求項７に記載の前記第２実行装置を備える
    サーバ。