JP7136073B2 - 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 - Google Patents

Description

本発明は、車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置に関する。

たとえば下記特許文献１には、アクセル操作量と車速とに応じて、変速装置の変速比を定めるシフトスケジュールとして、第１スケジュールと第２スケジュールとを有し、加速度の絶対値の積分値に応じて、それら２つのスケジュールのいずれを採用するかを選択する制御装置が記載されている。

特開２００４－２５７４６４号公報

上記のようにシフトスケジュールを積分値に応じて切り替えることにより、アクセル操作量と車速とによって一義的に定まるスケジュールを採用する場合と比較すると、変速比の切り替えをより適切に行うことが可能となる。このように、変速比の切り替え制御の入力を増加させることにより、変速比をより適切に切り替えることが可能となるものの、より適切な切替を可能とするうえでは、シフトスケジュールの適合工数が大きくなる。

以下、上記課題を解決するための手段およびその作用効果について記載する。
１．車両が走行する道路の基準道路からのずれ量を示す変数であるずれ量変数および前記車両の状態と前記車両に搭載された変速装置の変速比に関する変数である変速比変数との関係を規定する関係規定データが記憶装置に記憶された状態で、前記変速装置の変速比を操作する操作処理と、センサの検出値に基づく前記車両の状態および前記ずれ量変数を取得する取得処理と、前記取得処理によって取得された前記車両の状態に基づき、前記車両の特性が所定の基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、前記取得処理によって取得された前記車両の状態および前記ずれ量変数、および前記操作処理の操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、を実行装置に実行させ、前記更新写像は、前記関係規定データに従って前記変速比が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものである車両用制御データの生成方法である。

上記関係規定データは、車両の状態に加えてずれ量変数に応じて変速比変数を定めるものであることから、車両の状態と変速比変数との関係のみを定めるものと比較すると、道路の状態に応じてより適切な変速比を指示することが可能となる。ここで、上記方法では、変速装置の操作に伴う報酬を算出することによって、当該操作によってどのような報酬が得られるかを把握することができる。そして、報酬に基づき、強化学習に従った更新写像によって関係規定データを更新することにより、ずれ量変数および車両の状態と変速比との関係を設定することができる。したがって、ずれ量変数および車両の状態と変速比との関係の設定に際して、適合工数を削減できる。

２．前記基準道路は、勾配が勾配基準値である旨の基準を満たす道路であり、前記取得処理により取得される前記ずれ量変数には、道路の勾配に関する変数が含まれる上記１記載の車両用制御データの生成方法である。

道路の勾配が大きい場合には小さい場合と比較して、駆動輪に要求されるトルクがより大きくなることから、道路の勾配に応じて適切なシフトスケジュールが異なりうる。そこで上記方法では、ずれ量変数に、道路の勾配に関する変数を含めることにより、道路の勾配と変速比との適切な関係を定める関係規定データを強化学習によって学習できる。

３．前記基準道路は、曲率が曲率基準値である旨の基準を満たす道路であり、前記取得処理により取得される前記ずれ量変数には、道路の曲率に関する変数が含まれる上記１または２記載の車両用制御データの生成方法である。

カーブ走行時には直進走行時よりも、ユーザのアクセル操作とブレーキ操作とのいずれか一方から他方への切り替えがなされる可能性が高いことなどから、道路の曲率に応じて適切なシフトスケジュールが異なりうる。そこで上記方法では、ずれ量変数に、道路の曲率に関する変数を含めることにより、道路の曲率と変速比との適切な関係を定める関係規定データを強化学習によって学習できる。

４．前記車両の状態は、前記変速装置を介して駆動輪に動力を供給する推力生成装置の負荷を示す変数である負荷変数および車速を含む上記１～３のいずれか１つに記載の車両用制御データの生成方法である。

上記方法では、関係規定データによって負荷変数および車速と変速比との関係を定めることから、負荷変数および車速にとって適切な変速比を強化学習によって学習できる。
５．前記所定の基準は、所定期間における前記変速比の切替回数が所定回数以下である旨の条件を含み、前記報酬算出処理は、前記切替回数が前記所定回数以下の場合に所定回数を上回る場合よりも大きい報酬を与える処理を含む上記１～４のいずれか１つに記載の車両用制御データの生成方法である。

変速比の切替回数が過度に多い場合には、シフトスケジュールが適切ではないおそれがある。これに対し、上記方法では、切替回数が所定回数以下の場合に所定回数を上回る場合よりも大きい報酬を与えることにより、変速比の頻繁な切替を抑制できるシフトスケジュールを定める関係規定データを強化学習によって学習できる。

６．前記所定の基準は、前記変速装置を介して駆動輪に動力を供給する推力生成装置の回転速度が下限速度以上である旨の条件を含み、前記報酬算出処理は、前記推力生成装置の回転速度が前記下限速度以上の場合に前記下限速度を下回る場合よりも大きい報酬を与える処理を含む上記１～５のいずれか１つに記載の車両用制御データの生成方法である。

推力生成装置の回転速度が過度に低い場合には、車両の駆動力を大きくすることが困難となる。これに対し、上記方法では、回転速度が下限速度以上の場合に下限速度を下回る場合よりも大きい報酬を与えることにより、車両の駆動力を要求通りとする上で適切な変速比を定める関係規定データを強化学習によって学習できる。

７．前記車両は、パドルスイッチを備え、前記取得処理は、前記パドルスイッチの操作状態を取得する処理を含み、前記報酬算出処理は、前記パドルスイッチの操作によって前記変速比が変更される場合に前記パドルスイッチの操作がなされない場合よりも小さい報酬を与える処理を含む上記１～６のいずれか１つに記載の車両用制御データの生成方法である。

パドルスイッチが操作される場合、変速比の制御をユーザが不適切と感じている可能性がある。そこで上記方法では、パドルスイッチの操作によって変速比が変更される場合にパドルスイッチの操作がなされない場合よりも小さい報酬を与えることにより、ユーザの運転性向に沿った変速比を定める関係規定データを強化学習によって学習できる。

８．前記取得処理は、アクセル操作量を取得する処理を含み、前記報酬算出処理は、アクセル操作に伴ってダウンシフトが生じた場合に生じなかった場合よりも小さい報酬を与える処理を含む上記１～７のいずれか１つに記載の車両用制御データの生成方法である。

上記方法では、キックダウンが生じた場合に生じない場合よりも小さい報酬を与えることにより、ユーザがトルク不足を感じることを抑制できる変速比を定める関係規定データを強化学習によって学習できる。

９．前記更新処理によって更新された前記関係規定データに基づき、前記車両の状態および前記ずれ量変数と前記期待収益を最大化する前記変速比変数の値とを対応付けることによって前記車両の状態および前記ずれ量変数を入力とし前記期待収益を最大化する前記変速比変数の値を出力する制御用写像データを生成する処理を前記実行装置に実行させる上記１～８のいずれか１つに記載の車両用制御データの生成方法である。

上記方法では、強化学習によって学習された関係規定データに基づき、制御用写像データを生成する。そのため、その制御用写像データを制御装置に実装することにより、車両の状態およびずれ量変数に基づき、期待収益を最大化する変速比変数の値を簡易に設定することが可能となる。

１０．上記～８のいずれか１つに記載の前記記憶装置および前記実行装置を備え、前記操作処理は、前記関係規定データに基づき前記車両の状態および前記ずれ量変数に応じた前記変速比変数の値に従って前記変速装置を操作する処理を含む車両用制御装置である。

上記構成では、強化学習によって学習された関係規定データに基づき変速比変数の値が設定され、それに基づき変速装置が操作されることにより、期待収益を大きくするように変速装置を操作することができる。

１１．上記１０記載の前記実行装置および前記記憶装置を備え、前記実行装置は、前記車両に搭載される第１実行装置と、車載装置とは別の第２実行装置と、を含み、前記第１実行装置は、少なくとも前記取得処理および前記操作処理を実行し、前記第２実行装置は、少なくとも前記更新処理を実行する車両用制御システムである。

上記構成では、更新処理を第２実行装置によって実行することにより、更新処理を第１実行装置が実行する場合と比較して、第１実行装置の演算負荷を軽減できる。
なお、第２実行装置が車載装置とは別の装置であることは、第２実行装置が車載装置ではないことを意味する。

１２．上記１１記載の第１実行装置を備える車両用制御装置である。
１３．上記１１記載の第２実行装置を備える車両用学習装置である。

本実施形態にかかる制御装置および駆動系を示す図。 同実施形態にかかる制御装置が実行する処理の手順を示す流れ図。 同実施形態にかかるマップデータを生成するシステムを示す図。 同実施形態にかかるシステムが実行する処理の手順を示す流れ図。 同実施形態にかかる学習処理の詳細を示す流れ図。 同実施形態にかかるマップデータの生成処理の手順を示す流れ図。 第２の実施形態にかかる制御装置および駆動系を示す図。 同実施形態にかかる制御装置が実行する処理の手順を示す流れ図。 同実施形態にかかる学習処理の詳細を示す流れ図。 第３の実施形態にかかるシステムの構成を示す図。 （ａ）および（ｂ）は、同実施形態にかかるシステムが実行する処理の手順を示す流れ図。

以下、車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置にかかる実施形態について図面を参照しつつ説明する。
＜第１の実施形態＞
図１に、本実施形態にかかる車両ＶＣ１の駆動系および制御装置の構成を示す。

図１に示すように、内燃機関１０の吸気通路１２には、上流側から順にスロットルバルブ１４および燃料噴射弁１６が設けられており、吸気通路１２に吸入された空気や燃料噴射弁１６から噴射された燃料は、吸気バルブ１８の開弁に伴って、シリンダ２０およびピストン２２によって区画される燃焼室２４に流入する。燃焼室２４内において、燃料と空気との混合気は、点火装置２６の火花放電に伴って燃焼に供され、燃焼によって生じたエネルギは、ピストン２２を介してクランク軸２８の回転エネルギに変換される。燃焼に供された混合気は、排気バルブ３０の開弁に伴って、排気として排気通路３２に排出される。排気通路３２には、排気を浄化する後処理装置としての触媒３４が設けられている。

クランク軸２８には、ロックアップクラッチ４２を備えたトルクコンバータ４０を介して、変速装置５０の入力軸５２が機械的に連結可能とされている。変速装置５０は、入力軸５２の回転速度と出力軸５４の回転速度との比である変速比を可変とする装置である。出力軸５４には、駆動輪６０が機械的に連結されている。

制御装置７０は、内燃機関１０を制御対象とし、その制御量であるトルクや排気成分比率等を制御すべく、スロットルバルブ１４、燃料噴射弁１６および点火装置２６等の内燃機関１０の操作部を操作する。また、制御装置７０は、トルクコンバータ４０を制御対象とし、ロックアップクラッチ４２の係合状態を制御すべくロックアップクラッチ４２を操作する。また、制御装置７０は、変速装置５０を制御対象とし、その制御量としての変速比を制御すべく変速装置５０を操作する。なお、図１には、スロットルバルブ１４、燃料噴射弁１６、点火装置２６、ロックアップクラッチ４２、および変速装置５０のそれぞれの操作信号ＭＳ１～ＭＳ５を記載している。

制御装置７０は、制御量の制御のために、クランク角センサ８０の出力信号Ｓｃｒや、アクセルセンサ８２によって検出されるアクセルペダル８４の踏み込み量（アクセル操作量ＰＡ）、車速センサ８６によって検出される車速Ｖを参照する。また、制御装置７０は、全地球測位システム（ＧＰＳ９０）による位置データＰｇｐｓや、パドルスイッチ９２の操作によって定まるパドル操作変数Ｖｐｓの値を参照する。ここで、パドルスイッチ９２は、車両ＶＣ１のユーザが、変速装置５０の変速比の切り替えを指示するためのヒューマンマシンインターフェースである。

制御装置７０は、ＣＰＵ７２、ＲＯＭ７４、電気的に書き換え可能な不揮発性メモリ（記憶装置７６）、および周辺回路７８を備え、それらがローカルネットワーク７９を介して通信可能とされている。ここで、周辺回路７８は、内部の動作を規定するクロック信号を生成する回路や、電源回路、リセット回路等を含む。

ＲＯＭ７４には、制御プログラム７４ａが記憶されている。一方、記憶装置７６には、変速装置５０の現在の変速比ＧＲ、アクセル操作量ＰＡ、車速Ｖ、道路の勾配ＳＬ、および道路の曲率ＣＵを入力変数とし、変速装置５０の変速比ＧＲを出力変数とするマップデータＤＭと、地図データＤＧとが記憶されている。なお、マップデータとは、入力変数の離散的な値と、入力変数の値のそれぞれに対応する出力変数の値と、の組データである。

図２に、制御装置７０による変速装置５０の変速比の制御に関する処理の手順を示す。図２に示す処理は、ＲＯＭ７４に記憶されたプログラムをＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって、各処理のステップ番号を表現する。

図２に示す一連の処理において、ＣＰＵ７２は、まず、アクセル操作量ＰＡ、車速Ｖ、およびパドル操作変数Ｖｐｓを取得する（Ｓ１０）。次にＣＰＵ７２は、パドル操作変数Ｖｐｓに基づき、パドルスイッチ９２の操作がなされたか否かを判定する（Ｓ１２）。ＣＰＵ７２は、パドルスイッチ９２の操作がなされていないと判定する場合（Ｓ１２：ＮＯ）、位置データＰｇｐｓを取得し（Ｓ１４）、位置データＰｇｐｓと地図データＤＧとに基づき、車両ＶＣ１が走行している道路の勾配ＳＬと曲率ＣＵとを算出する（Ｓ１６）。すなわち、ＣＰＵ７２は、位置データＰｇｐｓによって、地図データＤＧが示す地図上の位置を特定し、特定された位置近傍の道路の勾配ＳＬと曲率ＣＵとを特定する。次にＣＰＵ７２は、現在の変速比ＧＲを取得する（Ｓ１８）。そして、ＣＰＵ７２は、現在の変速比ＧＲ、アクセル操作量ＰＡ、車速Ｖ、道路の勾配ＳＬ、および道路の曲率ＣＵを入力とし、マップデータＤＭに基づき変速比ＧＲをマップ演算する（Ｓ２０）。ここで、マップ演算は、たとえば、入力変数の値がマップデータの入力変数の値のいずれかに一致する場合、対応するマップデータの出力変数の値を演算結果とするのに対し、一致しない場合、マップデータに含まれる複数の出力変数の値の補間によって得られる値を演算結果とする処理とすればよい。

ＣＰＵ７２は、Ｓ２０の処理が完了する場合、変速装置５０の変速比を、Ｓ２０の処理によって算出された変速比ＧＲとすべく、変速装置５０に操作信号ＭＳ５を出力する（Ｓ２２）。これに対し、ＣＰＵ７２は、Ｓ１２の処理において肯定判定する場合、変速装置５０の変速比を、パドルスイッチ９２の操作に応じた変速比とすべく、変速装置５０に操作信号ＭＳ５を出力する（Ｓ２２）。

なお、ＣＰＵ７２は、Ｓ２２の処理を完了する場合、図２に示す一連の処理を一旦終了する。
図３に、上記マップデータＤＭを生成するシステムを示す。

図３に示すように、本実施形態では、内燃機関１０のクランク軸２８にトルクコンバータ４０および変速装置５０を介してダイナモメータ１００を機械的に連結する。そして内燃機関１０を稼働させた際の様々な状態変数がセンサ群１０２によって検出され、検出結果が、マップデータＤＭを生成するコンピュータである生成装置１１０に入力される。なお、センサ群１０２には、図１に示した車両ＶＣ１に搭載されるセンサ等が含まれる。

生成装置１１０は、ＣＰＵ１１２、ＲＯＭ１１４、電気的に書き換え可能な不揮発性メモリ（記憶装置１１６）、および周辺回路１１８を備えており、それらがローカルネットワーク１１９によって通信可能とされたものである。ここで、記憶装置１１６には、状態変数としての、現在の変速比ＧＲ、アクセル操作量ＰＡ、車速Ｖ、道路の勾配ＳＬ、および道路の曲率ＣＵと、行動変数としての変速比ＧＲとの関係を規定するデータである関係規定データＤＲが記憶されている。また、ＲＯＭ１１４には、強化学習によって、関係規定データＤＲを学習する学習プログラム１１４ａが記憶されている。

図４に、生成装置１１０が実行する処理の手順を示す。図４に示す処理は、ＲＯＭ１１４に記憶された学習プログラム１１４ａを、ＣＰＵ１１２が実行することにより実現される。

図４に示す一連の処理において、ＣＰＵ１１２は、まず、状態ｓとしての、アクセル操作量ＰＡ、車速Ｖ、道路の勾配ＳＬ、道路の曲率ＣＵ、および現在の変速比ＧＲを設定する（Ｓ３０）。ここで、図３に示したシステムにおいては、アクセルペダル８４は存在しない。そのため、アクセル操作量ＰＡを、生成装置１１０が車両ＶＣ１の状態を模擬することによって疑似的に生成されたものとし、疑似的に生成されたアクセル操作量ＰＡを、車両の状態の検出値とみなす。同様に、図３に示したシステムにおいては、車両も道路も存在しない。そのため、生成装置１１０は、車両が走行する道路を設定し、設定された道路を車両が走行するときに変速装置５０の出力軸５４に加わるトルクを、ダイナモメータ１００によって生成する。そして生成装置１１０は、出力軸５４に加わるトルクに応じて車速Ｖを逐次算出する。本実施形態では、車速Ｖについても、車両の状態の検出値とみなし、また、勾配ＳＬおよび曲率ＣＵを、車両が走行する道路の基準道路からのずれ量を示す変数とみなす。本実施形態において基準道路は、勾配ＳＬおよび曲率ＣＵがゼロの道路である。さらに、本実施形態では、基準道路として、路面の凹凸が所定値以下の平らな道路であって且つ、摩擦係数が所定値であることを想定している。なお、ここでの所定値は、晴天時における標準的な道路の摩擦係数に設定されていることから、雨天の道路等の摩擦係数よりも大きい値に設定されている。

次にＣＰＵ１１２は、関係規定データＤＲが定める方策πに従い、Ｓ３０の処理によって取得した状態ｓに応じた行動ａとしての変速比ＧＲを設定する（Ｓ３２）。
本実施形態において、関係規定データＤＲは、行動価値関数Ｑおよび方策πを定めるデータである。本実施形態において、行動価値関数Ｑは、状態ｓおよび行動ａの６次元の独立変数に応じた期待収益の値を示すテーブル型式の関数である。また、方策πは、状態ｓが与えられたときに、独立変数が与えられた状態ｓとなる行動価値関数Ｑのうち最大となる行動ａ（グリーディ行動）を優先的に選択しつつも、所定の確率で、それ以外の行動ａを選択する規則を定める。

詳しくは、本実施形態にかかる行動価値関数Ｑの独立変数がとりうる値の数は、状態ｓおよび行動ａのとりうる値の全組み合わせの一部が、人の知見等によって削減されたものである。すなわち、たとえば、状態ｓのうちの変速比ＧＲが１速である場合、行動ａの変速比ＧＲとして、１速または２速のみが許容される。本実施形態では、人の知見等に基づく次元削減によって、行動価値関数Ｑの独立変数の取りうる値の数を、１０の４乗個以下、より望ましくは１０の３乗個以下に制限する。

次にＣＰＵ１１２は、Ｓ３２の処理によって設定した変速比ＧＲに基づき、Ｓ２２の処理と同様にして操作信号ＭＳ５を出力する（Ｓ３４）。次にＣＰＵ１１２は、内燃機関１０の回転速度ＮＥを取得する（Ｓ３６）。ここで、ＣＰＵ１１２は、回転速度ＮＥを、センサ群１０２のうちのクランク角センサ８０の出力信号Ｓｃｒに基づき算出する。そしてＣＰＵ１１２は、図４の一連の処理がはじめてなされた時点または後述のＳ４０の処理が実行された時点のうち遅い方から所定期間が経過したか否かを判定する（Ｓ３８）。そして、ＣＰＵ１１２は、所定期間が経過したと判定する場合（Ｓ３８：ＹＥＳ）、強化学習によって行動価値関数Ｑを更新する（Ｓ４０）。

図５に、Ｓ４０の処理の詳細を示す。
図５に示す一連の処理において、ＣＰＵ１１２は、上述の所定期間内における状態ｓおよび行動ａの時系列データを取得する（Ｓ５０）。図５には、カッコの中の数字が異なるものが、異なるサンプリングタイミングにおける変数の値であることを示す。たとえば、アクセル操作量ＰＡ（１）とアクセル操作量ＰＡ（２）とは、サンプリングタイミングが互いに異なるものである。また、所定期間内における行動ａの時系列データを、行動集合Ａｊとし、同所定期間内における状態ｓの時系列データを、状態集合Ｓｊと定義する。

次に、ＣＰＵ１１２は、状態集合Ｓｊのうちの変速比ＧＲの時系列データに基づき、変速比が切り替えられた回数である切替回数ＮＳＧＲを算出する（Ｓ５２）。そしてＣＰＵ１１２は、切替回数ＮＳＧＲが所定回数Ｎｔｈ以下である旨の条件（ア）と、所定期間内における回転速度ＮＥのサンプリング値が全て下限速度ＮＥｔｈＬ以上であって上限速度ＮＥｔｈＨ以下である旨の条件（イ）との論理積が真であるか否かを判定する（Ｓ５４）。ここで、論理積が真となることは、本実施形態においてドライバビリティに関して要求された基準を満たすことに相当する。

ここで、ＣＰＵ１１２は、下限速度ＮＥｔｈＬを、勾配ＳＬおよび曲率ＣＵによって可変設定する。詳しくは、ＣＰＵ１１２は、勾配ＳＬが大きい場合に小さい場合よりも下限速度ＮＥｔｈＬを大きい値に設定する。また、ＣＰＵ１１２は、曲率ＣＵが大きい場合に小さい場合よりも下限速度ＮＥｔｈＬを大きい値に設定する。

ＣＰＵ１１２は、論理積が真であると判定する場合（Ｓ５４：ＹＥＳ）、報酬ｒに「１０」を代入する一方（Ｓ５６）、偽であると判定する場合（Ｓ５４：ＮＯ）、報酬ｒに「－１０」を代入する（Ｓ５８）。ＣＰＵ１１２は、Ｓ５６，Ｓ５８の処理が完了する場合、図３に示した記憶装置１１６に記憶されている関係規定データＤＲを更新する。本実施形態では、εソフト方策オン型モンテカルロ法を用いる。

すなわち、ＣＰＵ１１２は、上記Ｓ５０の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）に、それぞれ、報酬ｒを加算する（Ｓ６０）。ここで、「Ｒ（Ｓｊ，Ａｊ）」は、状態集合Ｓｊの要素の１つを状態とし行動集合Ａｊの要素の１つを行動とする収益Ｒを総括した記載である。次に、上記Ｓ５０の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）のそれぞれについて、平均化して対応する行動価値関数Ｑ（Ｓｊ，Ａｊ）に代入する（Ｓ６２）。ここで、平均化は、Ｓ６０の処理がなされた回数によって、Ｓ６０の処理によって算出された収益Ｒを除算する処理とすればよい。なお、収益Ｒの初期値はゼロとすればよい。

次にＣＰＵ１１２は、上記Ｓ５０の処理によって読み出した状態について、それぞれ、対応する行動価値関数Ｑ（Ｓｊ，Ａ）のうち、最大値となるときの行動ａを、行動Ａｊ＊に代入する（Ｓ６４）。ここで、「Ａ」は、とりうる任意の行動を示す。なお、行動Ａｊ＊は、上記Ｓ５０の処理によって読み出した状態の種類に応じて各別の値となるものであるが、ここでは、表記を簡素化して、同一の記号にて記載している。

次に、ＣＰＵ１１２は、上記Ｓ５０の処理によって読み出した状態のそれぞれについて、対応する方策π（Ａｊ｜Ｓｊ）を更新する（Ｓ６６）。すなわち、行動の総数を、「｜Ａ｜」とすると、Ｓ６４によって選択された行動Ａｊ＊の選択確率を、「（１－ε）＋ε／｜Ａ｜」とする。また、行動Ａｊ＊以外の「｜Ａ｜－１」個の行動の選択確率を、それぞれ「ε／｜Ａ｜」とする。Ｓ６６の処理は、Ｓ６２の処理によって更新された行動価値関数Ｑに基づく処理であることから、これにより、状態ｓと行動ａとの関係を規定する関係規定データＤＲが、収益Ｒを増加させるように更新されることとなる。

なお、ＣＰＵ１１２は、Ｓ６６の処理が完了する場合、図５に示す一連の処理を一旦終了する。
図４に戻り、ＣＰＵ１１２は、Ｓ４０の処理が完了すると、行動価値関数Ｑが収束したか否かを判定する（Ｓ４２）。ここでは、Ｓ４０の処理による行動価値関数Ｑの更新量が所定値以下となる連続回数が所定回数に達する場合に収束したと判定すればよい。ＣＰＵ１１２は、収束していないと判定する場合（Ｓ４２：ＮＯ）や、Ｓ３８の処理において否定判定する場合には、Ｓ３０の処理に戻る。これに対し、ＣＰＵ１１２は、収束したと判定する場合（Ｓ５２：ＹＥＳ）、図４に示す一連の処理を一旦終了する。

図６に、生成装置１１０が実行する処理のうち、特に図４の処理によって学習された行動価値関数Ｑに基づき、マップデータＤＭを生成する処理の手順を示す。図６に示す処理は、ＲＯＭ１１４に記憶された学習プログラム１１４ａを、ＣＰＵ１１２が実行することにより実現される。

図６に示す一連の処理において、ＣＰＵ１１２は、まず、マップデータＤＭの入力変数の値となる複数の状態ｓの中の１つを選択する（Ｓ７０）。次に、ＣＰＵ１１２は、状態ｓに対応する行動価値関数Ｑ（ｓ，Ａ）のうち、行動価値関数Ｑの値を最大とする行動ａを選択する（Ｓ７２）。すなわち、ここでは、グリーディ方策によって行動ａを選択する。次に、ＣＰＵ１１２は、状態ｓと行動ａとの組を記憶装置１１６に記憶させる（Ｓ７４）。

次にＣＰＵ１１２は、マップデータＤＭの入力変数の値とするもの全てがＳ７０の処理によって選択されたか否かを判定する（Ｓ７６）。そして、ＣＰＵ１１２は、選択されていないものがあると判定する場合（Ｓ７６：ＮＯ）、Ｓ７０の処理に戻る。これに対し、ＣＰＵ１１２は、全てが選択されたと判定する場合（Ｓ７６：ＹＥＳ）、Ｓ７４の処理によって記憶されたデータに基づき、マップデータＤＭを生成する（Ｓ７８）。ここでは、マップデータＤＭの入力変数の値が状態ｓであるものに対応する出力変数の値を、対応する行動ａとする。

なお、ＣＰＵ１１２は、Ｓ７８の処理が完了する場合、図６に示す一連の処理を一旦終了する。
ここで、本実施形態の作用および効果について説明する。

図３に示すシステムにおいて、ＣＰＵ１１２は、強化学習によって、行動価値関数Ｑを学習する。そして、行動価値関数Ｑの値が収束する場合、ドライバビリティに関して要求された基準を満たすうえで適切な行動が学習されたとする。そして、ＣＰＵ１１２は、マップデータＤＭの入力変数となる状態のそれぞれについて、行動価値関数Ｑを最大化する行動を選択し、状態と行動との組を記憶装置１１６に記憶する。次に、ＣＰＵ１１２は、記憶装置１１６に記憶された状態と行動との組に基づき、マップデータＤＭを生成する。これにより、アクセル操作量ＰＡ、車速Ｖ、道路の勾配ＳＬ、および道路の曲率ＣＵに応じた適切な変速比ＧＲを、熟練者による工数を過度に大きくすることなく設定することができる。

特に、本実施形態では、アクセル操作量ＰＡおよび車速Ｖのみならず、勾配ＳＬおよび曲率ＣＵに基づき変速比ＧＲを定めた。勾配ＳＬが大きい場合には小さい場合よりも駆動輪６０に要求されるトルクが大きくなる傾向があり、カーブ走行時にはユーザによるアクセル操作およびブレーキ操作の一方から他方への切り替えがなされる頻度が高くなる傾向があることから、勾配ＳＬや曲率ＣＵに応じて適切な変速比が異なりうる。したがって、勾配ＳＬや曲率ＣＵに応じて変速比ＧＲを設定することにより、変速比ＧＲをより適切に設定することができる。ただし、勾配ＳＬや曲率ＣＵに基づき変速比ＧＲを設定する場合、アクセル操作量ＰＡおよび車速Ｖのみから変速比ＧＲを設定する場合と比較して、マップデータＤＭの次元数が大きくなることなどから、適合工数が大きくなる。したがって、本実施形態のように強化学習を用いることのメリットが特に大きい。

以上説明した本実施形態によれば、さらに以下に記載する作用および効果が得られる。
（１）制御装置７０が備える記憶装置７６に、行動価値関数Ｑ等ではなく、マップデータＤＭを記憶した。これにより、ＣＰＵ７２は、マップデータＤＭを用いたマップ演算に基づき、変速比ＧＲを設定することから、行動価値関数Ｑのうち最大値となるものを選択する処理を実行する場合と比較して、演算負荷を軽減できる。

＜第２の実施形態＞
以下、第２の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。

図７に、本実施形態にかかる車両ＶＣ１の駆動系および制御装置を示す。なお、図７において、図１に示した部材に対応する部材については、便宜上、同一の符号を付している。

図７に示すように、本実施形態では、ＲＯＭ７４に、制御プログラム７４ａに加えて、学習プログラム７４ｂが記憶されている。また、記憶装置７６に、マップデータＤＭが記憶されておらず、代わりに、関係規定データＤＲが記憶されている。ここで、関係規定データＤＲは、図４の処理によって学習された学習済みのデータである。

図８に、本実施形態にかかる制御装置７０が実行する処理の手順を示す。図８に示す処理は、ＲＯＭ７４に記憶された制御プログラム７４ａおよび学習プログラム７４ｂを、ＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。なお、図８において、図４に示した処理に対応する処理については、便宜上同一のステップ番号を付与する。

図８に示す一連の処理において、ＣＰＵ７２は、まず、位置データＰｇｐｓ、アクセル操作量ＰＡ、車速Ｖ、変速比ＧＲ、およびパドル操作変数Ｖｐｓを取得する（Ｓ１０ａ）。次にＣＰＵ７２は、図２のＳ１２，Ｓ１６の処理を実行した後、図４のＳ３０，Ｓ３２の処理を実行する。そしてＣＰＵ７２は、Ｓ３２の処理が完了する場合や、Ｓ１２の処理において肯定判定する場合には、Ｓ３４～Ｓ３８の処理を実行する。ただし、Ｓ１２の処理において肯定判定される場合のＳ３４の処理は、パドル操作変数Ｖｐｓに応じて変速装置５０を操作するために操作信号ＭＳ５を出力する処理となる。そしてＣＰＵ７２は、所定期間が経過したと判定する場合（Ｓ３８：ＹＥＳ）、Ｓ４０の処理に準じた処理を実行する（Ｓ４０ａ）。

図９に、Ｓ４０ａの処理の詳細を示す。なお、図９において、図５に示した処理に対応する処理については、便宜上同一のステップ番号を付している。
図９に示す一連の処理において、ＣＰＵ７２は、Ｓ５０，Ｓ５２の処理を実行すると、上記条件（ア）、上記条件（イ）、パドルスイッチ９２の操作履歴がない旨の条件（ウ）、およびアクセルペダル８４の操作によるダウンシフトがない旨の条件（エ）の論理積が真であるか否かを判定する（Ｓ５４ａ）。本実施形態においては、この論理積が真であることが、ドライバビリティに関して設定された基準を満たすことに相当する。

ＣＰＵ７２は、論理積が真であると判定する場合（Ｓ５４ａ：ＹＥＳ）、Ｓ５６の処理に移行する一方、偽であると判定する場合（Ｓ５４ａ：ＮＯ）、Ｓ５８の処理に移行する。

そして、ＣＰＵ７２は、Ｓ５６，Ｓ５８の処理が完了する場合、Ｓ６０～Ｓ６６の処理を実行し、図８のＳ４０ａの処理を一旦終了する。
図８に戻り、ＣＰＵ７２は、Ｓ４０ａの処理が完了する場合や、Ｓ３８の処理において否定判定する場合には、図８に示す一連の処理を一旦終了する。ちなみに、Ｓ１０ａ，Ｓ１２，Ｓ１６，Ｓ３０～３８の処理は、ＣＰＵ７２が制御プログラム７４ａを実行することにより実現され、Ｓ４０ａの処理は、ＣＰＵ７２が学習プログラム７４ｂを実行することにより実現される。

このように、本実施形態によれば、制御装置７０に関係規定データＤＲおよび学習プログラム７４ｂを実装することにより、第１の実施形態の場合と比較して、学習頻度を向上させることができる。

以上説明した本実施形態によれば、さらに以下に記載する作用および効果が得られる。
（２）所定期間内にパドルスイッチ９２の操作履歴がない場合に、ある場合と比較して大きい報酬を与えることにより、ユーザの嗜好を反映したシフトスケジュールを強化学習によって学習できる。

（３）所定期間内にキックダウンが生じた場合に生じなかった場合と比較して大きい報酬を与えることにより、ユーザの嗜好を反映したシフトスケジュールを強化学習によって学習できる。

＜第３の実施形態＞
以下、第３の実施形態について、第２の実施形態との相違点を中心に図面を参照しつつ説明する。

本実施形態では、関係規定データＤＲの更新を、車両ＶＣ１の外で実行する。
図１０に、本実施形態において、強化学習を実行する制御システムの構成を示す。なお、図１０において、図１に示した部材に対応する部材については、便宜上、同一の符号を付している。

図１０に示す車両ＶＣ１内の制御装置７０におけるＲＯＭ７４は、制御プログラム７４ａを記憶しているものの、学習プログラム７４ｂを記憶していない。また、制御装置７０は、通信機７７を備えている。通信機７７は車両ＶＣ１の外部のネットワーク１２０を介してデータ解析センター１３０と通信するための機器である。

データ解析センター１３０は、複数の車両ＶＣ１，ＶＣ２，…から送信されるデータを解析する。データ解析センター１３０は、ＣＰＵ１３２、ＲＯＭ１３４、電気的に書き換え可能な不揮発性メモリ（記憶装置１３６）、周辺回路１３８および通信機１３７を備えており、それらがローカルネットワーク１３９によって通信可能とされるものである。ＲＯＭ１３４には、学習プログラム７４ｂが記憶されており、記憶装置１３６には、関係規定データＤＲが記憶されている。

図１１に、本実施形態にかかる強化学習の処理手順を示す。図１１（ａ）に示す処理は、図１０に示すＲＯＭ７４に記憶されている制御プログラム７４ａをＣＰＵ７２が実行することにより実現される。また、図１１（ｂ）に示す処理は、ＲＯＭ１３４に記憶されている学習プログラム７４ｂをＣＰＵ１３２が実行することにより実現される。なお、図１１において図８に示した処理に対応する処理については、便宜上同一のステップ番号を付している。以下では、強化学習の時系列に沿って、図１１に示す処理を説明する。

図１１（ａ）に示す一連の処理において、ＣＰＵ７２は、Ｓ１０ａ，Ｓ１２，Ｓ１６，Ｓ３０～Ｓ３８の処理を実行し、Ｓ３８の処理において肯定判定する場合、通信機７７を操作することによって、関係規定データＤＲの更新処理に必要なデータを送信する（Ｓ８０）。ここで、送信対象とされるデータは、所定期間内におけるＳ３０の処理において設定された状態ｓ、所定期間内におけるＳ３２の処理において設定された行動ａ、および所定期間内におけるＳ３６の処理において取得された回転速度ＮＥを含む。

これに対し、図１１（ｂ）に示すように、ＣＰＵ１３２は、送信されたデータを受信し（Ｓ９０）、受信したデータに基づき関係規定データＤＲを更新する（Ｓ４０ａ）。そしてＣＰＵ１３２は、関係規定データＤＲの更新回数が所定回数以上であるか否かを判定し（Ｓ９２）、所定回数以上であると判定する場合（Ｓ９２：ＹＥＳ）、通信機１３７を操作して、Ｓ９０の処理によって受信したデータを送信した車両ＶＣ１に関係規定データＤＲを送信する（Ｓ９４）。なお、ＣＰＵ１３２は、Ｓ９４の処理を完了する場合や、Ｓ９２の処理において否定判定する場合には、図１１（ｂ）に示す一連の処理を一旦終了する。

これに対し、図１１（ａ）に示すように、ＣＰＵ７２は、更新データがあるか否かを判定し（Ｓ８２）、あると判定する場合（Ｓ８２：ＹＥＳ）、更新された関係規定データＤＲを受信する（Ｓ８４）。そしてＣＰＵは、Ｓ３２の処理において利用する関係規定データＤＲを、受信した関係規定データＤＲに書き換える（Ｓ８６）。なお、ＣＰＵ７２は、Ｓ８６の処理を完了する場合や、Ｓ３８，Ｓ８２の処理において否定判定する場合には、図１１（ａ）に示す一連の処理を一旦終了する。

このように、本実施形態によれば、関係規定データＤＲの更新処理を車両ＶＣ１の外部で行うことから、制御装置７０の演算負荷を軽減できる。さらに、たとえばＳ９０の処理において、複数の車両ＶＣ１，ＶＣ２からのデータを受信してＳ４０ａの処理を行うなら、学習に用いるデータ数を容易に大きくすることができる。

＜対応関係＞
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１］実行装置と記憶装置とは、図１および図７においては、それぞれ、ＣＰＵ７２およびＲＯＭ７４と記憶装置７６とに対応し、図３においては、それぞれＣＰＵ１１２およびＲＯＭ１１４と記憶装置１１６とに対応し、図１０においては、ＣＰＵ７２，１３２およびＲＯＭ７４，１３４と記憶装置７６，１３６とに対応する。ずれ量変数は、勾配ＳＬおよび曲率ＣＵに対応する。車両の状態は、アクセル操作量ＰＡおよび車速Ｖに対応する。操作処理は、Ｓ３４の処理に対応し、取得処理は、Ｓ３０，Ｓ３６の処理に対応する。報酬算出処理は、Ｓ５４～Ｓ５８の処理や、Ｓ５４ａ，Ｓ５６，Ｓ５８の処理に対応する。更新処理は、Ｓ６０～Ｓ６６の処理に対応する。［２］勾配基準値は、ゼロ度に対応する。［３］曲率基準値は、ゼロに対応する。［４］負荷変数は、アクセル操作量ＰＡに対応する。［５］Ｓ５４の処理やＳ５４ａの処理のうち特に条件（ア）に関する処理に対応する。［６］推力生成装置は、内燃機関１０に対応する。［７］Ｓ５４ａの処理のうち特に条件（ウ）に関する処理に対応する。［８］Ｓ５４ａの処理のうち特に条件（エ）に関する処理に対応する。［９］制御用写像データは、マップデータＤＭに対応する。［１０］実行装置と記憶装置とは、それぞれ、図７におけるＣＰＵ７２およびＲＯＭ７４と記憶装置７６とに対応する。［１１～１３］第１実行装置は、ＣＰＵ７２およびＲＯＭ７４に対応し、第２実行装置は、ＣＰＵ１３２およびＲＯＭ１３４に対応する。

＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

「基準道路およびずれ量変数について」
・上記実施形態では、基準道路を、勾配ＳＬがゼロであって且つ曲率ＣＵがゼロの道路とし、ずれ量変数を、勾配ＳＬおよび曲率ＣＵとしたが、これに限らない。たとえば、勾配ＳＬおよび曲率ＣＵの２つについては、そのうちの１つのみを用いてずれ量変数を定義してもよい。

・基準道路としては、道路の形状が予め定められた形状を有するものに限らない。たとえば、路面の状態が予め定められた状態である道路であってもよい。これは、たとえば、基準道路を、凹凸が所定量以下であって且つ摩擦係数が所定値である道路とすることで実現できる。ここで、所定値として、晴天時の通常の道路の値を設定する場合、雪道等では、ずれ量変数が基準道路からずれていることを示す値をとる。ここで、ずれ量変数は、必ずしも摩擦係数に応じた連続的な量としなくてもよい。たとえば、ずれ量変数を、基準道路と同一であることを示す値と、雨天の道路である旨の値と、雪道である旨の値との３つの値を有するものとしてもよい。ちなみに、雨天の道路であるか否かは、たとえば、車両ＶＣ１のワイパーの動作の有無によって判定してもよく、また、たとえば、車両ＶＣ１の外部から天気情報を取得することによって判定してもよい。また、雪道であるか否かは、たとえば路面を感知するカメラの画像を取得することによって判定すればよい。

・基準道路としては、道路の形状が予め定められた形状を有するものであることと、路面の状態が予め定められた状態であることとの２つの要件のうちのいずれか１つの要件によって定められるものに限らず、それら双方の要件によって定められるものであってもよい。

「関係規定データＤＲを定める車両の状態について」
・上記実施形態では、現在の変速比ＧＲ、アクセル操作量ＰＡおよび車速Ｖ等に応じて変速比を定めたが、変速比を定める車両の状態変数としては、これに限らない。たとえば、アクセル操作量ＰＡに代えて、スロットルバルブ１４の開口度に関する変数を用いてもよい。もっとも、推力生成装置の負荷を示す変数である負荷変数としては、アクセル操作量ＰＡやスロットルバルブ１４の開口度に関する変数に限らない。たとえば、内燃機関１０のトルクであってもよい。またたとえば、下記「内燃機関について」の欄に記載したように、推力生成装置が圧縮着火式の内燃機関である場合、噴射量であってもよい。さらに、「車両について」の欄に記載したように、推力生成装置が回転電機のみの車両の場合、回転電機のトルクや電流であってもよい。

・上記実施形態では、変速比を定める車両の状態変数に、現在の変速比ＧＲのみを含めたが、これに限らない。たとえば変速比ＧＲの時系列データを含めてもよい。
・変速比を定める車両の状態変数に、現在の変速比を含めることは必須ではない。たとえば、変速比ＧＲを一切含めることなく、代わりに、変速比の頻繁な切り替わりを抑制するためのヒステリシスを制御によって設けてもよい。これは、たとえば、関係規定データＤＲによって指示される変速比が現在の変速比と異なっていたとしても、前回の切り替えタイミングから所定時間内においては、変速比の切り替えを禁止することによって実現できる。

「関係規定データについて」
・上記実施形態では、行動価値関数Ｑを、テーブル形式の関数としたが、これに限らない。たとえば、関数近似器を用いてもよい。

・たとえば、行動価値関数Ｑを用いる代わりに、方策πを、状態ｓおよび行動ａを独立変数とし、行動ａをとる確率を従属変数とする関数近似器にて表現し、関数近似器を定めるパラメータを、報酬ｒに応じて更新してもよい。なお、この際、勾配ＳＬや曲率ＣＵ等のずれ量変数を状態ｓに含めてもよいが、代わりに、ずれ量変数に応じて各別の関数近似器を設けてもよい。その場合であっても、関係規定データＤＲは、複数の関数近似器のうちのいずれを用いるかを、勾配ＳＬや曲率ＣＵによって指定するデータであることから、ずれ量変数と変速比変数との関係を規定するデータとなっている。

「操作処理について」
・たとえば「関係規定データについて」の欄に記載したように、行動価値関数を関数近似器とする場合、上記実施形態におけるテーブル型式の関数の独立変数となる行動についての離散的な値の組の全てについて、それぞれ状態ｓとともに行動価値関数Ｑに入力することによって、行動価値関数Ｑを最大化する行動ａを特定すればよい。すなわちたとえば、主として特定された行動ａを操作に採用しつつも、所定の確率でそれ以外の行動を選択すればよい。

・また、たとえば「関係規定データについて」の欄に記載したように、方策πを、状態ｓおよび行動ａを独立変数とし、行動ａをとる確率を従属変数とする関数近似器とする場合、方策πによって示される確率に基づき行動ａを選択すればよい。

「更新写像について」
・Ｓ６０～Ｓ６６の処理においては、εソフト方策オン型モンテカルロ法によるものを例示したが、これに限らない。たとえば、方策オフ型モンテカルロ法によるものであってもよい。もっとも、モンテカルロ法にも限らず、たとえば、方策オフ型ＴＤ法を用いたり、またたとえばＳＡＲＳＡ法のように方策オン型ＴＤ法を用いたり、またたとえば、方策オン型の学習として適格度トレース法を用いたりしてもよい。

・たとえば「関係規定データについて」の欄に記載したように、方策πを関数近似器を用いて表現し、これを報酬ｒに基づき直接更新する場合には、方策勾配法等を用いて更新写像を構成すればよい。

・行動価値関数Ｑと方策πとのうちのいずれか一方のみを、報酬ｒによる直接の更新対象とするものに限らない。たとえば、アクター・クリティック法のように、行動価値関数Ｑおよび方策πをそれぞれ更新してもよい。また、アクター・クリティック法においては、これに限らず、たとえば行動価値関数Ｑに代えて価値関数Ｖを更新対象としてもよい。

・方策πを定める「ε」については、固定値に限らず、学習の進行度合いに応じて予め定められた規則に応じて変更してもよい。
「報酬算出処理について」
・図５の処理では、条件（ア）および条件（イ）の論理積が真であるか否かに応じて報酬を与えたが、これに限らない。たとえば、条件（ア）を満たすか否かに応じて報酬を与える処理と、条件（イ）を満たすか否かに応じて報酬を与える処理とを実行してもよい。また、たとえば、条件（ア）を満たすか否かに応じて報酬を与える処理と、条件（イ）を満たすか否かに応じて報酬を与える処理との２つの処理に関しては、それらのうちのいずれか１つの処理のみを実行してもよい。

・図９の処理では、条件（ア）～条件（エ）の論理積が真であるか否かに応じて報酬を与えたが、これに限らない。たとえば、条件（ア）を満たすか否かに応じて報酬を与える処理と、条件（イ）を満たすか否かに応じて報酬を与える処理と、条件（ウ）を満たすか否かに応じて報酬を与える処理と、条件（エ）を満たすか否かに応じて報酬を与える処理とを実行してもよい。また、たとえば、条件（ア）を満たすか否かに応じて報酬を与える処理と、条件（イ）を満たすか否かに応じて報酬を与える処理と、条件（ウ）を満たすか否かに応じて報酬を与える処理と、条件（エ）を満たすか否かに応じて報酬を与える処理との４つの処理に関しては、それらのうちのいずれか１つのみを実行してもよい。また、たとえば上記４つの処理のうちいずれか２つのみを実行してもよい。またたとえば上記（ア）～（ウ）のみ等、いずれか３つのみを実行したりしてもよい。

・条件（ア）を満たす場合に一律同じ報酬を与える代わりに、変速比の切替回数ＮＳＧＲが小さい場合に大きい場合よりもより大きい報酬を与える処理としてもよい。またたとえば、条件（ア）を満たさない場合に一律同じ報酬を与える代わりに、変速比の切替回数ＮＳＧＲが大きい場合に小さい場合よりもより小さい報酬を与える処理としてもよい。

・条件（イ）を満たす場合に一律同じ報酬を与える代わりに、回転速度ＮＥの大きさに応じて報酬の大きさを可変とする処理としてもよい。またたとえば、条件（イ）を満たさない場合に一律同じ報酬を与える代わりに、回転速度ＮＥの大きさに応じて報酬の大きさを可変とする処理としてもよい。

・上記実施形態では、下限速度ＮＥｔｈＬを、勾配ＳＬおよび曲率ＣＵに応じて可変としたが、これに限らない。たとえば「基準道路およびずれ量変数について」の欄に記載したように、勾配ＳＬおよび曲率ＣＵの２つのうちのいずれか１つのみが関係規定データＤＲに用いられている場合、そのいずれか１つのみに応じて下限速度ＮＥｔｈＬを可変としてもよい。また、たとえば「基準道路およびずれ量変数について」の欄に記載したように、ずれ量変数が路面の状態を示す変数を含む場合、路面の状態を示す変数に応じて下限値Ｎ速度ｔｈＬを可変としてもよい。もっとも、下限速度ＮＥｔｈＬを可変とするための変数としては、関係規定データＤＲに用いられる変数に限らない。

・たとえば車輪がスリップする場合にスリップしない場合よりも小さい報酬を与えてもよい。ここでは、スリップ量に応じて報酬の大きさを可変としてもよい。またたとえば、ＡＢＳ（Ａｎｔｉ－ｌｏｃｋ Ｂｒａｋｉｎｇ Ｓｙｓｔｅｍ）が作動した場合に作動しない場合に対して小さい報酬を与えることとしてもよい。

・上記実施形態では、所定期間ごとに報酬算出処理を実行したが、これに限らない。たとえば、Ｓ１２の処理において肯定判定する場合にもエピソードの終了として、報酬算出処理を実行してもよい。またたとえば、Ｓ１２の処理において肯定判定されることと、ブレーキ操作量の変化量の絶対値が所定値以上となることとの論理和が真となる場合に、エピソードが終了したとして報酬算出処理を実行してもよい。またたとえば、車速がゼロとなる場合にエピソードが終了したとして報酬算出処理を実行してもよい。

「車両用制御データの生成方法について」
・図４のＳ３２の処理では、行動価値関数Ｑに基づき行動を決定したが、これに限らず、とりうるすべての行動を等確率で選択してもよい。

「制御用写像データについて」
・車両の状態と期待収益を最大化する行動変数の値とを１対１に対応付けることによって車両の状態を入力とし期待収益を最大化する行動変数の値を出力する制御用写像データとしては、マップデータに限らない。たとえば、関数近似器であってもよい。これは、たとえば、上記「更新写像について」の欄に記載したように、方策勾配法等を用いる場合において、方策πを行動変数の値をとりうる確率を示すガウス分布にて表現し、その平均値を関数近似器にて表現しておき、平均値を表現する関数近似器のパラメータを更新することとし、学習後の平均値を制御用写像データとすることによって実現できる。すなわち、ここでは、関数近似器が出力する平均値を期待収益を最大化する行動変数の値とみなす。

「車両用制御システムについて」
・図１１に示した例では、Ｓ４０ａの処理の全てをデータ解析センター１３０にて実行したが、これに限らない。たとえば、データ解析センター１３０においては、Ｓ６０～Ｓ６６の処理を実行するものの、報酬の算出処理であるＳ５４ａ，Ｓ５６，Ｓ５８の処理については実行せず、Ｓ８０の処理において、Ｓ５６，Ｓ５８の処理の結果を送信することとしてもよい。

・図１１に示した例では、方策πに基づく行動を決定する処理（Ｓ３２の処理）を、車両側で実行したが、これに限らない。たとえば、車両ＶＣ１からＳ３０の処理によって取得したデータを送信することとし、データ解析センター１３０にて送信されてデータを用いて行動ａを決定し、決定した行動を車両ＶＣ１に送信してもよい。

・車両用制御システムとしては、制御装置７０およびデータ解析センター１３０によって構成されるものに限らない。たとえば、データ解析センター１３０に代えて、ユーザの携帯端末を用いてもよい。また、制御装置７０およびデータ解析センター１３０と携帯端末とによって車両用制御システムを構成してもよい。これは、たとえばＳ３２の処理を携帯端末によって実行することにより実現できる。

「実行装置について」
・実行装置としては、ＣＰＵ７２（１１２，１３２）とＲＯＭ７４（１１４，１３４）とを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するＲＯＭ等のプログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。

「記憶装置について」
・上記実施形態では、関係規定データＤＲが記憶される記憶装置と、学習プログラム７４ｂ，１１４ａや制御プログラム７４ａが記憶される記憶装置（ＲＯＭ７４，１１４，１３４）とを別の記憶装置としたが、これに限らない。

「内燃機関について」
・内燃機関としては、燃料噴射弁として吸気通路１２に燃料を噴射するポート噴射弁を備えるものに限らず、燃焼室２４に燃料を直接噴射する筒内噴射弁を備えるものであってもよく、またたとえば、ポート噴射弁および筒内噴射弁の双方を備えるものであってもよい。

・内燃機関としては、火花点火式内燃機関に限らず、たとえば燃料として軽油などを用いる圧縮着火式内燃機関等であってもよい。
「車両について」
・車両としては、推力生成装置が内燃機関のみである車両に限らず、たとえば内燃機関と回転電機とを備えるいわゆるハイブリッド車両であってもよい。またたとえば、推力生成装置として、内燃機関を備えることなく、回転電機を備えるいわゆる電気自動車や燃料電池車であってもよい。

１０…内燃機関
２８…クランク軸
４０…トルクコンバータ
４２…ロックアップクラッチ
５０…変速装置
５２…入力軸
５４…出力軸
６０…駆動輪
７０…制御装置
１００…ダイナモメータ
１１０…生成装置
１３０…データ解析センター

Claims (13)

1. 車両が走行する道路の基準道路からのずれ量を示す変数であるずれ量変数および前記車両の状態と前記車両に搭載された変速装置の変速比に関する変数である変速比変数との関係を規定する関係規定データが記憶装置に記憶された状態で、
   前記変速装置の変速比を操作する操作処理と、
   センサの検出値に基づく前記車両の状態および前記ずれ量変数を取得する取得処理と、
   前記取得処理によって取得された前記車両の状態に基づき、前記車両の特性が所定の基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、
   前記取得処理によって取得された前記車両の状態および前記ずれ量変数、および前記操作処理の操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、
   を実行装置に実行させ、
   前記更新写像は、前記関係規定データに従って前記変速比が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものである車両用制御データの生成方法。
2. 前記基準道路は、勾配が勾配基準値である旨の基準を満たす道路であり、
   前記取得処理により取得される前記ずれ量変数には、道路の勾配に関する変数が含まれる請求項１記載の車両用制御データの生成方法。
3. 前記基準道路は、曲率が曲率基準値である旨の基準を満たす道路であり、
   前記取得処理により取得される前記ずれ量変数には、道路の曲率に関する変数が含まれる請求項１または２記載の車両用制御データの生成方法。
4. 前記車両の状態は、前記変速装置を介して駆動輪に動力を供給する推力生成装置の負荷を示す変数である負荷変数および車速を含む請求項１～３のいずれか１項に記載の車両用制御データの生成方法。
5. 前記所定の基準は、所定期間における前記変速比の切替回数が所定回数以下である旨の条件を含み、
   前記報酬算出処理は、前記切替回数が前記所定回数以下の場合に所定回数を上回る場合よりも大きい報酬を与える処理を含む請求項１～４のいずれか１項に記載の車両用制御データの生成方法。
6. 前記所定の基準は、前記変速装置を介して駆動輪に動力を供給する推力生成装置の回転速度が下限速度以上である旨の条件を含み、
   前記報酬算出処理は、前記推力生成装置の回転速度が前記下限速度以上の場合に前記下限速度を下回る場合よりも大きい報酬を与える処理を含む請求項１～５のいずれか１項に記載の車両用制御データの生成方法。
7. 前記車両は、パドルスイッチを備え、
   前記取得処理は、前記パドルスイッチの操作状態を取得する処理を含み、
   前記報酬算出処理は、前記パドルスイッチの操作によって前記変速比が変更される場合に前記パドルスイッチの操作がなされない場合よりも小さい報酬を与える処理を含む請求項１～６のいずれか１項に記載の車両用制御データの生成方法。
8. 前記取得処理は、アクセル操作量を取得する処理を含み、
   前記報酬算出処理は、アクセル操作に伴ってダウンシフトが生じた場合に生じなかった場合よりも小さい報酬を与える処理を含む請求項１～７のいずれか１項に記載の車両用制御データの生成方法。
9. 前記更新処理によって更新された前記関係規定データに基づき、前記車両の状態および前記ずれ量変数と前記期待収益を最大化する前記変速比変数の値とを対応付けることによって前記車両の状態および前記ずれ量変数を入力とし前記期待収益を最大化する前記変速比変数の値を出力する制御用写像データを生成する処理を前記実行装置に実行させる請求項１～８のいずれか１項に記載の車両用制御データの生成方法。
10. 請求項１～８のいずれか１項に記載の前記記憶装置および前記実行装置を備え、
    前記操作処理は、前記関係規定データに基づき前記車両の状態および前記ずれ量変数に応じた前記変速比変数の値に従って前記変速装置を操作する処理を含む車両用制御装置。
11. 請求項１０記載の前記実行装置および前記記憶装置を備え、
    前記実行装置は、前記車両に搭載される第１実行装置と、車載装置とは別の第２実行装置と、を含み、
    前記第１実行装置は、少なくとも前記取得処理および前記操作処理を実行し、
    前記第２実行装置は、少なくとも前記更新処理を実行する車両用制御システム。
12. 請求項１１記載の第１実行装置を備える車両用制御装置。
13. 請求項１１記載の第２実行装置を備える車両用学習装置。

Images