JP2020123259A

JP2020123259A - 自動運転プログラム評価システム、及び自動運転プログラム評価方法

Info

Publication number: JP2020123259A
Application number: JP2019016071A
Authority: JP
Inventors: 賢一市村; Kenichi Ichimura; 伊藤　秀和; Hidekazu Ito; 秀和伊藤
Original assignee: Hitachi Solutions Ltd
Current assignee: Hitachi Solutions Ltd
Priority date: 2019-01-31
Filing date: 2019-01-31
Publication date: 2020-08-13
Anticipated expiration: 2039-01-31
Also published as: JP7213704B2

Abstract

【課題】仮想的に実行された自動運転を客観的に評価する自動運転プログラム評価システム、及び自動運転プログラム評価方法を提供する。【解決手段】自動運転プログラム評価システム２０は、所定の条件における自動車の運転の内容を数値で評価するための評価基準の情報である評価基準情報２１０を記憶する。自動運転プログラム評価システムは、また、所定の条件における自動車の運転の内容を決定する自動運転プログラム１７０の実行結果として出力された、自動車の運転の履歴を含む情報である実行ログ３００を受信する。自動運転プログラム評価システムは、受信した実行ログ及び評価基準情報に基づき、所定の条件における自動車の運転の評価を数値で示す評価結果情報２３０を生成する。【選択図】図１

Description

本発明は、自動運転プログラム評価システム、及び自動運転プログラム評価方法に関する。

自動運転車（自律走行自動車）の開発において、自動運転技術の中核となる自動運転プログラムの改良が進んでいる。自動運転プログラムの性能は自動運転の安全性に直結するため、その性能の向上を図ることは自動運転車の普及の点からも非常に重要である。そのため、自動運転プログラムの性能を検証する試験が広く行われている。しかしながら、実際に自動車を路上等を走行させて自動運転プログラムの試験をする場合、膨大な走行画像や空間データを取得しなければならない。また、このような試験方法では、天候等の不確定要素による影響を考慮するのが困難である。

そこで、非特許文献１に示すように、自動車の自動運転プログラムと自動車の周囲の様々な環境の振る舞いをモデル化した仮想環境（いわゆるシミュレータ）が提供されている。

https://ipg-automotive.com/products-services/simulation-software/carmaker/（２０１９年１月２１日閲覧）

しかし、このような仮想環境で自動運転を実行することは可能となっている一方、そのような仮想的な自動運転が適切であったか否かを客観的に評価する手法はほとんど開発されていない。そのため、仮想環境の利点が充分に活かされていないといえる。

本発明はこのような現状に鑑みてなされたものであり、その目的は、仮想的に実行された自動運転を客観的かつ定量的に評価することが可能な、自動運転プログラム評価システム、及び自動運転プログラム評価方法を提供することにある。

以上の課題を解決するための本発明の一つは、自動運転プログラム評価システムであって、プロセッサ及びメモリを備え、所定の条件における所定の自動車の運転の内容を所定の数値で評価するための評価基準の情報である評価基準情報を記憶する評価基準情報記憶部と、前記所定の条件における前記所定の自動車の運転の内容を決定する所定のプログラムの実行結果として出力された、当該自動車の運転の履歴を含む情報である実行ログを、所定の情報処理システムから受信する実行ログ受信部と、受信した実行ログ及び前記評価基準情報に基づき、前記所定の条件における前記所定の自動車の運転の評価を所定の数値で示す評価結果情報を生成する評価結果情報生成部と、を備える。

本発明によれば、仮想的に実行された自動運転を客観的かつ定量的に評価することができる。

図１は、第１実施形態における自動運転プログラム開発システムの構成の一例を示す図である。図２は、実行ログ３００のデータ構成の一例を示す図である。図３は、実行ログ３００のデータ構成の他の一例を示す図である。図４は、評価基準情報２１０の一例を示す図である。図５は、自動運転プログラム開発システム１を構成する各情報処理装置が備えるハードウェアの一例を説明する図である。図６は、プログラム開発支援処理における各処理の典型的な流れを示すフロー図である。図７は、シナリオ情報生成処理の一例を説明するフロー図である。図８は、パラメータ情報２１３を情報処理言語（ＸＭＬ）の処理部に変換した例を示す図である。図９は、評価結果詳細情報２５０の一例を示す図である。図１０は、評価結果詳細情報２５０の他の一例を示す図である。図１１は、評価結果情報生成処理により生成される評価結果概要情報２７０のデータ項目の一例を示す図である。図１２は、シナリオ情報１５０に係るシナリオの評価結果情報２１０の比較を行った画面１０００の一例を説明する図である。図１３は、シナリオ情報１５０に係るシナリオの評価結果情報２１０の比較を行った画面１０００の一例を説明する図である。図１４は、同一の自動運転プログラム１７０に基づく各評価結果情報２１０の比較を行った画面の一例を説明する図である。図１５は、異なる種類の自動運転プログラム１７０に基づく各評価結果情報２１０の比較を行った画面の一例である。図１６は、第２実施形態に係るプログラム開発支援処理の一例を示すフロー図である。図１７は、付帯画像１９５の表示の一例を示す図である。

以下、各実施形態の自動運転プログラム評価システムについて図面を参照しつつ説明する。
［［第１実施形態］］

＜＜自動運転プログラム開発システムの構成＞＞
図１は、第１実施形態における自動運転プログラム開発システムの構成の一例を示す図である。自動運転プログラム開発システム１は、自動車の自動運転プログラムを用いた仮想的な自動運転システム（自動運転シミュレータ）である自動運転プログラム実行システム１０と、自動運転プログラム実行システム１０による自動運転の内容を評価する自動運転プログラム評価システム２０とを含んで構成されている。

自動運転プログラム実行システム１０は、１又は複数の情報処理装置により構成されている。自動運転プログラム実行システム１０は、指定された自動運転プログラムを、仮想的な所定の条件（例えば、仮想的な道路、標識、歩行者、天候等に関する条件）の下で実行させることで自動車の仮想的な自動運転を当該情報処理装置上で実行する。

自動運転プログラム評価システム２０は、１又は複数の情報処理装置により構成されている。自動運転プログラム評価システム２０は、自動運転プログラム実行システム１０が実行した自動運転を、予め記憶された所定の評価基準に従って評価し、その結果を、自動運転プログラム及び自動車の開発者等のユーザ（以下、単にユーザという）に対して提示する。

自動運転プログラム実行システム１０と自動運転プログラム評価システム２０の間は、通信ネットワーク５によって通信可能に接続されている。通信ネットワーク５は、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、専
用線等の有線又は無線の通信ネットワークであってもよいし、両システムにおける装置間を直接に接続する所定の通信線であってもよい。また、自動運転プログラム実行システム１０及び自動運転プログラム評価システム２０内における各情報処理装置の間も、同様の通信ネットワークで接続される。

次に、自動運転プログラム実行システム１０の構成について説明する。
＜自動運転プログラム実行システム＞
自動運転プログラム実行システム１０は、図１に示すように、地図情報１１０、外界認識情報１３０、シナリオ情報１５０、及び、１又は複数の自動運転プログラム１７０を記憶している。

地図情報１１０は、道路、施設、交通信号機、道路標識、又は地形等の、静的な物体の形状や位置を特定する情報である。

外界認識情報１３０は、自動運転を行う自動車（具体的には、自動運転プログラム１７０）が認識しうる対象物の情報である。すなわち、外界認識情報１３０は、自動運転を行う自動車に搭載される各種センサやカメラが取得するデータ又は画像の情報に対応している。外界認識情報１３０は、例えば、地図情報１１０に記憶されている静的な物体の画像の他、人、動物、走行物、道路上の物体、といった動きのある物体の画像又は動画の情報を含む。外界認識情報１３０は、自動車の各種センサやカメラが実際に取得したデータ又は画像を使用してもよいし、ユーザが任意に作成したデータ又は画像であってもよい。

シナリオ情報１５０は、自動車の運転条件を規定する情報である。シナリオ情報１５０は、例えば、人、動物、又は走行物（自動車、自転車等）の動きの情報、道路上の物体の存在、交通信号機の存在及びその動作、道路標識の存在及びその内容といった、自動車の運転の条件を規定する、様々な物体の情報を含む。

また、シナリオ情報１５０は、例えば、天候（天気、気温、湿度、風向、風速等）、時間帯（朝、昼、薄暮、薄明、夜等）、道路の路面状態（湿度、乾燥、湿潤、水たまり、舗装、非舗装等）、走行経路（道路の傾斜、道路の方向（直進／カーブ／連続カーブ等））、道路の種類（一般道、高速道路、海上橋等）といった、自動車の運転の条件を規定する、外的環境（コンディション）の情報を含む。

また、シナリオ情報１５０は、自動車が、自身の制御対象装置（例えば、アクセル、ブレーキ、ウィンカー、ライト等）に対してどのようなタイミングでどのような制御を行ってどのような経路を走行するかといった、自動車の運転の条件を規定する、自動車の動作の情報を含む。

なお、後述するように本実施形態では、シナリオ情報１５０は、自動運転プログラム評価システム２０が生成するものとする。シナリオ情報１５０は、所定の情報処理言語によって記述される。本実施形態では、シナリオ情報１５０は、ＸＭＬ（eXtensible Markup Language）により記述されるものとするが、それ以外の記述方法であってもよい。

自動運転プログラム１７０は、シナリオ情報１５０が規定する条件にしたがって自動車を走行させる。具体的には、自動運転プログラム１７０は、当該自動車がシナリオ情報１５０が規定する経路を走行するように、当該自動車の各制御対象装置に対する制御信号を
生成し、当該自動車の制御対象装置を仮想的に動作させる。この場合、自動運転プログラム１７０は、シナリオ情報１５０に対応した外界認識情報１３０に基づき、自身の自動車、他の自動車、及び歩行者等の動きを、機械学習等により構築された人工知能（AI: Artificial Intelligence）により予測し、その予測結果に基づき制御信号を生成し、生成し
た制御信号により制御対象装置を制御する。このように、自動運転プログラム１７０は、制御対象装置に対する制御信号を生成することで、自動車の自動運転を実現する。

なお、本実施形態では、自動運転プログラム１７０として、自動車の各個体に応じて作成された異なる複数のプログラムが予め記憶されているものとする。また、自動運転プログラム１７０として、開発者（メーカ等）ごとに異なる複数のプログラムが予め記憶されているものとする。

次に、自動運転プログラム実行システム１０は、自動運転プログラム実行部１０１、実行ログ生成部１０３、及び運転状況表示部１０５の各機能を備える。

自動運転プログラム実行部１０１は、ユーザにより選択された自動運転プログラム１７０を実行する。

実行ログ生成部１０３は、自動運転プログラム実行部１０１が実行した運転の内容を示すデータを、実行ログ３００に出力する。実行ログ３００は、運転における各時点（又は時刻）と、その時点における自動車の運転の内容とを対応付けて記録したデータである。

ここで、実行ログ３００の具体例を説明する。
＜実行ログ＞
図２は、実行ログ３００のデータ構成の一例を示す図である。この実行ログ３００（以下、実行ログＡという）は、地図情報１１０に停止禁止区域を設定し、シナリオ情報１５０に、自動車がこの停止禁止区域を含む所定の経路を走行又は停止するシナリオを設定した場合のログデータである。この実行ログ３００は、自動車が走行を開始してからの経過時間３０１と、経過時間３０１が示すタイミングにおいて自動車が停止禁止区域に停止していた場合の、その停止位置３０３とをそれぞれデータ項目として備えている。

図３は、実行ログ３００の他の一例を示す図である。この実行ログ３００（以下、実行ログＢという）は、地図情報１１０にカーブを有する所定の道路を設定し、シナリオ情報１３０に、自動車がこの道路を高速で走行するシナリオを設定した場合のログデータである。この実行ログ３００は、自動車が走行を開始してからの経過時間３２１と、経過時間３２１が示すタイミングにおける自動車の横方向（進行方向に対する側方方向）の加速度３２３とをそれぞれデータ項目として備えている。

図１に戻り、運転状況表示部１０５は、自動運転プログラム１７０による自動運転を視覚的に再現する。すなわち、運転状況表示部１０５は、前記所定のプログラム（自動運転プログラム１７０）の実行プロセスを、前記所定の条件における前記所定の自動車の運転の状況を示した画像（以下、運転シミュレーション画像１９０という）により表示する。

具体的には、運転状況表示部１０５は、自動運転プログラム実行部１０１が算出したデータに基づき、地図情報１１０、外界認識情報１３０、及びシナリオ情報１５０が示す自動車の運転状況を示す画像又は動画の情報を生成して表示する。

また、運転状況表示部１０５は、第２実施形態で説明するように、付帯画像１９５を表示する。付帯画像１９５は、運転シミュレーション画像１９０に重ねて表示される画像である。なお、付帯画像１９５は、自動運転プログラム評価システム２０が生成する。

＜自動運転プログラム評価システム＞
次に、自動運転プログラム評価システム２０の構成について説明する。

まず、自動運転プログラム評価システム２０は、所定の条件における所定の自動車の運転の内容を所定の数値で評価するための評価基準の情報である評価基準情報２１０を記憶する。この評価基準は、複数の項目に対する基準を含んでいる。自動運転プログラム実行システム１０が生成した実行ログ３００が示す運転の内容は、この評価基準情報２１０における評価基準の項目のいずれかと対応する。

ここで、評価基準情報２１０の具体例を説明する。
＜評価基準情報＞
図４は、評価基準情報２１０の一例を示す図である。評価基準情報２１０は、自動車の運転の内容を評価する基準を規定した所定の法規の内容を記録した法規情報２１１と、法規情報２１１をパラメータ化した情報であるパラメータ情報２１３とを含んで構成されている。

本実施形態では、この法規情報２１１は、道路交通法等に基づき規定されている、運転免許技能試験に係る採点基準（「運転免許技能試験実施基準」）とする。運転免許技能試験実施基準は、運転の技能に関する複数の項目（減点細目）のそれぞれに対して、所定の減点数を規定している。減点細目に違反した運転を行った場合には、対応する減点数分の点数が減点される。なお、法規情報２１１は、どのような法令等に基づく情報であってもよく、また、所定の業界によるガイドラインに基づくものであってもよい。すなわち、法規情報２１１は、客観的な評価基準を定めたものであればその形式は問わない。

法規情報２１１は、運転の評価の対象（減点細目）である項目２１５と、その項目２１５の規定内容２１７と、その規定内容２１７に違反した運転を行った場合の減点数２１９とを規定している。他方、パラメータ情報２１３は、法規情報２１１の項目２１５に対応して設定されたパラメータ値である識別子２２１と、法規情報２１１の規定内容２１７を数値、数式、又は条件式等により数的に表現したデータであるパラメータ群２２３と、法規情報２１１の減点数２１９に対応して設定された減点パラメータ２２５とを含んで構成されている。本実施形態では、減点数２１９（減点パラメータ２２５）は、「−５」、「−１０」、「−２０」の３種類のいずれかであり、客観的かつ定量的な自動運転プログラムの評価が行えるようになっている。

図４の例では、法規情報２１１において、「速度速すぎ（大）」という減点細目に関し、「カーブでおおむね0.4G以上の横加速度を生じた場合に違反とする」と規定され、これに違反した場合には「２０点」減点すると規定されている。これに対応して、パラメータ情報２１３には、識別子「１」において、「自動車のカーブ進入時の初速が20km/h〜120km/h（Step 10km/h）であり、カーブ半径が15m〜1000m（Step10m）」を満たさない場合に
「−２０」する、と設定されている。

図１に戻り、自動運転プログラム評価システム２０は、シナリオ情報生成部２０１、シナリオ情報送信部２０３、実行ログ受信部２０５、評価結果情報生成部２０７、付帯画像情報送信部２０８、及び評価結果情報表示部２０９の各機能を備える。

シナリオ情報生成部２０１は、評価基準情報２１０から抽出された、自動車の運転の内容を規定した部分に基づき、自動車の運転の条件を示す情報であるシナリオ情報１５０を生成する。

シナリオ情報送信部２０３は、生成したシナリオ情報１５０を自動運転プログラム実行システム１０に送信する。

実行ログ受信部２０５は、自動運転プログラム実行システム１０から、実行ログ３００を受信する。すなわち、実行ログ受信部２０５は、所定の条件における所定の自動車の運転の内容を決定する所定のプログラム（自動運転プログラム１７０）の実行結果として出力された、当該自動車の運転の履歴を含む情報である実行ログ３００を、所定の情報処理システム（自動運転プログラム実行システム１０）から受信する。

例えば、実行ログ受信部２０５は、所定のプログラム（自動運転プログラム１７０）の実行結果として出力された、所定の条件における第１の実行ログ３００と、当該所定の条件における所定のプログラム（自動運転プログラム１７０）に対して所定の修正が施されたプログラム（バージョンアップした自動運転プログラム１７０）の実行結果として出力された第２の実行ログ３００とを受信する。

また、例えば、実行ログ受信部２０５は、第１の所定のプログラム（第１の自動運転プログラム１７０）の実行結果として出力された、所定の条件における第１の実行ログ３００と、当該所定の条件における第１のプログラムと異なる第２の所定のプログラム（第２の自動運転プログラム１７０）の実行結果として出力された第２の実行ログ３００とを受信する。

また、例えば、実行ログ受信部２０５は、シナリオ情報生成部２０１が生成したシナリオ情報１５０に基づき実行された所定のプログラム（自動運転プログラム１７０）の実行結果として出力された実行ログ３００を、所定の情報処理システム（自動運転プログラム実行システム１０）から受信する。

評価結果情報生成部２０７は、実行ログ受信部２０５が受信した実行ログ３００及び評価基準情報２１０に基づき、所定の条件における所定の自動車の運転の評価を所定の数値で示す評価結果情報２３０を生成する。

例えば、評価結果情報生成部２０７は、第１の実行ログ３００に基づく第１の評価結果情報２３０及び第２の実行ログ３００に基づく第２の評価結果情報２３０を生成する。

また、評価結果情報生成部２０７は、シナリオ情報生成部２０１が生成したシナリオ情報１５０、実行ログ受信部２０５が受信した実行ログ３００、及び評価基準情報２１０に基づき、評価結果情報２３０を生成する。

なお、評価結果情報２３０は、評価基準の項目ごとの評価結果に関する情報である評価結果詳細情報２５０と、評価基準の全項目の評価結果を総括した情報である評価結果概要情報２７０とを含む。これらの詳細は後述する。

付帯画像情報送信部２０８は、情報処理システム（自動運転プログラム実行システム１０）が表示した画像（運転シミュレーション画像１９０）に付帯して表示される、評価結果情報２３０の内容を示す画像情報（付帯画像１９５）を、その情報処理システム（自動運転プログラム実行システム１０）に送信する。

評価結果情報表示部２０９は、評価結果情報生成部２０７が生成した評価結果情報２５０を表示する。

例えば、評価結果情報表示部２０９は、第１の評価結果情報２３０及び第２の評価結果
情報２３０を、評価基準の所定の数値により比較して表示する。

ここで、図５は、自動運転プログラム開発システム１を構成する各情報処理装置が備えるハードウェアの一例を説明する図である。各情報処理装置は、ＣＰＵ（Central Processing Unit）などのプロセッサ５１と、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の主記憶装置５２と、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の補助記憶装置５３と、キーボード、マウス、タッチパネルなどからなる入
力装置５４と、モニタ（ディスプレイ）等からなる、画面表示を行う出力装置５５と、各装置と通信を行う通信装置５６とを備える。

自動運転プログラム実行システム１０及び自動運転プログラム評価システム２０の各機能は、各情報処理装置のハードウェアにより、もしくは、それぞれプロセッサ５１が、主記憶装置５２や補助記憶装置５３に記憶されている各プログラムを読み出して実行することにより実現される。

また、これらのプログラムは、例えば、二次記憶デバイスや不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤなどの記憶デバイス、又は、ＩＣカード、ＳＤカード、ＤＶＤなどの、情報処理装置で読み取り可能な非一時的データ記憶媒体に格納される。

＜＜自動運転プログラム開発システムによる処理＞＞
次に、自動運転プログラム開発システム１が行う処理（プログラム開発支援処理）について説明する。

＜プログラム開発支援処理＞
図６は、プログラム開発支援処理における各処理の典型的な流れを示すフロー図である。まず、自動運転プログラム評価システム２０は、シナリオ情報１５０を生成するシナリオ情報生成処理を実行し（ｓ５１）、生成したシナリオ情報１５０を記憶すると共に、生成したシナリオ情報１５０を自動運転プログラム実行システム１０に送信する（ｓ５２）。

自動運転プログラム実行システム１０は、受信したシナリオ情報１５０を記憶する（ｓ１１）。そして、自動運転プログラム実行システム１０は、このシナリオ情報１５０、及び自動運転プログラム１７０等に基づき、仮想的な自動運転を実行する自動運転実行処理を実行する（ｓ１３−ｓ１７）。

すなわち、まず、自動運転プログラム実行システム１０は、処理を実行する自動運転プログラム１７０を選択する（ｓ１３）。具体的には、例えば、自動運転プログラム実行システム１０は、ユーザから、複数の自動運転プログラム１７０のうち一つの選択を受け付ける。

自動運転プログラム実行システム１０は、地図情報１１０、外界認識情報１３０、及びシナリオ情報１５０を読み込む（ｓ１５）。なお、シナリオ情報１５０が複数ある場合には、例えば、自動運転プログラム実行システム１０は、ユーザから、複数のシナリオ情報１５０のうち一つの選択を受け付ける。

自動運転プログラム実行システム１０は、シナリオ情報１５０に規定する自動車の仮想的な運転を、地図情報１１０及び外界認識情報１３０を入力した自動運転プログラム１７０による処理により、当該シナリオ情報１５０に係るシナリオが終了するまで実行する（ｓ１７）。具体的には、自動運転プログラム実行システム１０は、シナリオ情報１５０に規定する自動車の運転を実行する際は、ｓ１３で選択した自動運転プログラム１７０に従
って、自動車の制御（各構成装置の制御）を行う。

なお、この際、自動運転プログラム実行システム１０は、運転シミュレーション画像１９０を表示する。また、自動運転プログラム実行システム１０は、実行ログ３００を蓄積する。

自動運転プログラム実行システム１０は、自動運転実行処理を終了すると、その実行結果である実行ログ３００を自動運転プログラム評価システム２０に送信する（ｓ１９）。

自動運転プログラム評価システム２０は、実行ログ３００を受信すると、受信した実行ログ３００、及び評価基準情報２１０等に基づき、評価結果情報２３０を生成する評価結果情報生成処理を実行する（ｓ５３）。

具体的には、例えば、自動運転プログラム評価システム２０は、実行ログ３００から、各時点における運転の内容（例えば、実行ログＡの停止位置３０３、実行ログＢの加速度３２３）を取得し、取得した運転の内容に対応する、評価基準情報２１０の項目２１５を特定する。そして、自動運転プログラム評価システム２０は、その項目２１５に対応する、パラメータ情報２１３のパラメータ群２２３を取得し、取得したパラメータ群２２３が規定する条件を、前記の運転内容が満たしているか否か（ＯＫ／ＮＧ）を判定する。当該運転内容がパラメータ群２２３が規定する条件を満たしていない場合、自動運転プログラム評価システム２０は、前記で特定した項目２１５に対応する減点数２１９の分だけ、その項目２１５に係る評価点数を減算する。自動運転プログラム評価システム２０は、このような判定を実行ログ３００における全ての時点について行い、その結果（例えば、評価基準の各項目に係る評価点数）を、評価結果情報２３０として生成する。

自動運転プログラム評価システム２０は、生成した評価結果情報２３０に基づき、自動運転プログラム１７０の評価を示す画面を表示する評価結果画面表示処理を実行する（ｓ５５）。なお、自動運転プログラム実行システム１０が、自動運転プログラム１７０の評価を示す画面を表示してもよい。以上でプログラム開発支援処理は終了する。

ここで、プログラム開発支援処理における各処理の詳細を説明する。
＜シナリオ情報生成処理＞
まず、図７は、シナリオ情報生成処理の一例を説明するフロー図である。まず、自動運転プログラム評価システム２０は、シナリオ情報１５０の生成に必要な、評価基準の項目を選択する（ｓ１０１）。具体的には、例えば、自動運転プログラム評価システム２０は、ユーザから、評価基準情報２１０における法規情報２１１の項目２１５の入力を受け付ける。

そして、自動運転プログラム評価システム２０は、ｓ１０１で選択した項目２１５に対応するパラメータ情報２１３のパラメータ群２２３を読み込む（ｓ１０３）。そして、自動運転プログラム評価システム２０は、読み込んだパラメータ情報２１３を、情報処理言語の処理部に変換する（ｓ１０５）。

ここで、図８は、パラメータ情報２１３を情報処理言語（ＸＭＬ）の処理部に変換した例を示す図である。この例では、カーブに進入する際の評価基準を満たしている初速１５１を設定した自動車の走行シナリオの処理部１５３と、評価基準を満たすようなカーブ半径１５５を有するカーブを自動車が走行する走行シナリオの処理部１５７とがＸＭＬによって生成されている。

図７に戻り、自動運転プログラム評価システム２０は、シナリオ情報１５０の生成に必
要な評価基準の項目２１５が他にあるか否かを判定する（ｓ１０７）。具体的には、例えば、自動運転プログラム評価システム２０は、ユーザから、評価基準の他の項目２１５の入力を受け付ける。

シナリオ情報１５０の生成に必要な評価基準の項目２１５が他にある場合は（ｓ１０７：ＹＥＳ）、自動運転プログラム評価システム２０は、ｓ１０１以降の処理を繰り返し、シナリオ情報１５０の生成に必要な評価基準の項目２１５が他にない場合は（ｓ１０７：ＮＯ）、自動運転プログラム評価システム２０は、これまでに生成した各処理部を結合することにより、シナリオ情報１５０の生成を完了する（ｓ１０９）。

次に、評価結果情報生成処理の詳細を説明する。
＜評価結果情報生成処理＞
評価結果情報生成処理は、前記のように、評価結果情報２３０として、評価結果詳細情報２５０及び評価結果概要情報２７０を表示する。

図９は、評価結果詳細情報２５０の一例を示す図である。この評価結果詳細情報２５０は、実行ログＡに対応して生成された情報であり、実行ログＡと同様の経過時間２５１及び停止位置２５３と、停止位置２５３が示す位置に自動車が停止していることが判断基準を満たしているか否かを示す情報が設定される判定結果２５５とをそれぞれ項目として備えている。

図１０は、評価結果詳細情報２５０の他の一例を示す図である。この評価結果詳細情報２５０は、実行ログＢに対応して生成された情報であり、実行ログＢと同様の経過時間２５１及び加速度２５７と、加速度２５７でカーブを走行することが第１の危険度を超えているか否か（小さな危険が生じているか否か）についての判定結果が設定される第１判定結果２５８と、加速度２５７でカーブを走行することが第２の危険度を超えているか否か（大きな危険が生じているか否か）についての判定結果が設定される第２判定結果２５９とをそれぞれ項目として備えている。

続いて、図１１は、評価結果情報生成処理により生成される評価結果概要情報２７０のデータ項目の一例を示す図である。この評価結果概要情報２７０は、シナリオ情報１５０に係るシナリオ２７１ごとに生成され、そのシナリオ２７１の運転における右左折、進行方向、車線、他物体との衝突、ランプ又はライトの使用、停止時間、速度制限の超過といった項目についての評価（数値で表される）の情報２７２を含んでいる。

次に、評価結果画面表示処理の詳細を説明する。
＜評価結果画面表示処理＞
評価結果画面表示処理は、複数回実行された自動運転実行処理の結果に基づき、生成された各評価結果情報２３０の内容を比較して表示する。例えば、評価結果画面表示処理は、各シナリオ情報１５０に係るシナリオの評価結果情報２３０の表示、同一の自動運転プログラム１７０に基づく各評価結果情報２３０の比較（同一のプログラムのバージョン毎の比較）の表示、異なる種類の自動運転プログラム１７０に基づく各評価結果情報２３０の比較（プログラムの開発メーカーによる比較）の表示を行った画面を表示する。以下、これらの画面について説明する。

（シナリオ間の比較画面）
図１２、１３は、シナリオ情報１５０に係るシナリオの評価結果情報２３０の比較を行った画面１０００の一例を説明する図である。この画面１０００は、自動運転プログラム１７０の実行に際して使用されたシナリオ情報１５０を表示するシナリオ表示欄１００１、シナリオ表示欄１００１に係るシナリオにおいて自動車が違反をした（基準を満たさな
かった）評価基準の項目とその内容を表示する違反項目表示欄１００３、違反項目表示欄１００３に係る項目における減点数の合計を表示する減点表示欄１００５、違反項目表示欄１００３に係る違反があった回数を表示する回数表示欄１００７、及び、違反項目表示欄１００３に係る違反があった場所を表示する発生箇所表示欄１００９の各表示欄を有する。また、この画面１０００は、全項目の減点数の合計（評価点数）を表示する評価点数表示欄１０１１を備える。

具体的には、図１２は、「交差道路における車両等の通行の妨害となる場所で停車しないこと」という、減点数２０点の評価基準に対して、１１回の違反があったことを示している。

また、図１３は、「0.3G以上0.4G未満の横加速度が生じないこと」という、減点数２０点の評価基準に対して７回の違反があり、「0.4G以上の横加速度が生じないこと」という、減点数２０点の評価基準に対しては違反がなかったことを示している。

（バージョンアップによる性能の確認画面）
図１４は、同一の自動運転プログラム１７０に基づく各評価結果情報２３０の比較を行った画面の一例を説明する図である。この画面１２００は、自動運転プログラム１７０のバージョンを表示するバージョン表示欄１２０１と、バージョン表示欄１２０１に係るバージョンで自動運転実行処理を行った場合の、全評価基準における減点数の平均値を表示する全項目平均点数表示欄１２０３とを備える。すなわち、この画面１２００は、所定の自動運転プログラム１７０に対して所定の修正を施した、すなわちバージョンアップした新たな自動運転プログラム１７０の性能の向上を確認するための画面である。

（プログラムの開発メーカーによる比較画面）
図１５は、異なる種類の自動運転プログラム１７０に基づく各評価結果情報２３０の比較を行った画面の一例である。この画面１３００は、自動運転プログラム１７０の種類を表示するプログラム種類表示欄１３０１と、プログラム種類表示欄１３０１に係る自動運転プログラム１７０で自動運転実行処理を行った場合の、全評価基準における減点数の平均値を表示する全項目平均点数表示欄１３０３とを備える。すなわち、この画面１３００は、メーカー毎に異なる各自動運転プログラム１７０の性能を比較するための画面である。

以上のように、本実施形態の自動運転プログラム評価システム２０は、所定の条件における所定の自動車の運転の内容を決定する自動運転プログラム１７０の実行結果として出力された、当該自動車の運転の履歴を含む情報である実行ログ３００を、自動運転プログラム実行システム１０から受信し、受信した実行ログ３００及び、所定の条件における所定の自動車の運転の内容を所定の数値で評価するための評価基準の情報である評価基準情報２１０に基づき、所定の条件における所定の自動車の運転の評価を所定の数値で示す評価結果情報２３０を生成するので、自動運転プログラム１７０の性能を、数値による評価基準である評価基準情報２１０により判定することができる。
このように、本実施形態の自動運転プログラム評価システム２０によれば、仮想的に実行された自動運転を客観的かつ定量的に評価することができる。

［第２実施形態］
第１実施形態では、プログラム開発支援処理において、自動運転プログラム実行システム１０が、シナリオ情報１５０に規定する自動運転プログラム１７０による自動車の運転処理を、当該シナリオ情報１５０に係るシナリオが終了するまで実行し、その実行後に実行ログ３００を自動運転プログラム評価システム２０に送信していた。

これに対して、第２実施形態では、自動運転プログラム実行システム１０が、シナリオ情報１５０に規定する自動車の運転処理を行っている最中に、随時、実行ログ３００を自動運転プログラム評価システム２０に送信する。以下、本実施形態におけるプログラム開発支援処理について説明する。

＜プログラム開発支援処理＞
図１６は、第２実施形態に係るプログラム開発支援処理の一例を示すフロー図である。まず、自動運転プログラム評価システム２０が行うシナリオ情報生成処理（ｓ５１）、自動運転プログラム実行システム１０が行うシナリオ情報１５０の記憶、自動運転プログラム１７０の選択、及び地図情報１１０等の読み込み（ｓ１１−ｓ１５）は第１実施形態と同様である。

その後、自動運転プログラム実行システム１は、地図情報１１０及び外界認識情報１３０に基づき、自動運転プログラム１７０による自動車の運転を、所定の条件が満たされるまで実行する（ｓ２１）。具体的には、例えば、自動運転プログラム実行システム１０は、予め設定された時間の長さだけ自動運転プログラム１７０を実行する。また、例えば、自動運転プログラム実行システム１０は、自動車が予め設定された所定の箇所に到着するまで自動運転プログラム１７０を実行する。そして、自動運転プログラム実行システム１０は、この際、第１実施形態と同様に、実行ログ３００を蓄積する。また、この際、自動運転プログラム実行システム１０は、運転シミュレーション画像１９０（例えば、自動車の走行の様子、及び地図情報１１０）を動画により表示している。

そして、自動運転プログラム実行システム１０は、ｓ２１で蓄積した実行ログ３００を自動運転プログラム評価システム２０に送信する（ｓ２３）。

自動運転プログラム評価システム２０は、実行ログ３００を受信すると、第１実施例と同様に、受信した実行ログ３００の時間長さに対応した評価結果情報２３０を生成する評価結果情報生成処理を実行する（ｓ６１）。

自動運転プログラム評価システム２０は、生成した評価結果情報２３０に基づき付帯画像１９５を生成し、生成した付帯画像を送信する（ｓ５５）。

自動運転プログラム実行システム１０は、受信した付帯画像１９５を、現在表示している運転シミュレーション画像１９０の上に重ねて表示する（ｓ２５）。

自動運転プログラム実行システム１０は、自動運転プログラム１７０による自動車の運転が終了したか否か（シナリオ情報１５０に係るシナリオが終了したか否か）を判定する（ｓ２７）。運転が終了した場合には（ｓ２７：ＹＥＳ）、プログラム開発支援処理は終了し（ｓ２９）、運転が終了していない場合には（ｓ２７：ＮＯ）、自動運転プログラム実行システム１０は、ｓ２１以降の処理を再び実行する。

ここで、付帯画像１９５の具体例を説明する。
＜付帯画像＞
図１７は、付帯画像１９５の表示の一例を示す図である。自動運転プログラム実行システム１０がリアルタイム表示している運転シミュレーション画像１９０の上に、付帯画像１９５が表示されている。付帯画像１９５は、いわゆるポップアップ形式の画像であり、違反した評価基準の項目２１５（減点細目）の表示である減点細目表示部１９５１、項目２１５に対応する減点数２１９の表示である減点数表示部１９５２、及び、項目２１５に違反した箇所の表示である違反箇所表示部１９５３を有する。

以上に説明したように、本実施形態の自動運転プログラム実行システム１０は、自動運転プログラム１７０の実行プロセスを、所定の条件における所定の自動車の運転の状況を示した運転シミュレーション画像１９０により表示し、自動運転プログラム評価システム２０は、自動運転プログラム実行システム１０が画像に付帯して表示される、評価結果情報２３０の内容を示す付帯画像１９５を、自動運転プログラム実行システム１０に送信するので、ユーザは、運転シミュレーション画像１９０を表示する自動運転プログラム１７０の実行中に（例えば、リアルタイムに）、自動運転プログラム１７０の評価結果の情報を容易に確認することができる。これにより、ユーザは、自動運転プログラム１７０の評価結果を適切なタイミングで知ることができる。

以上の各実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。

例えば、各実施形態では、自動運転プログラム評価システム２０は予めシナリオ情報１５０を生成してこれを自動運転プログラム実行システム１０に送信するものとしたが、自動運転プログラム実行システム１０が予めシナリオ情報１５０を生成してこれを自動運転プログラム評価システム２０に送信するようにしてもよい。

また、自動運転プログラム実行システム１０の機能の一部を自動運転プログラム評価システム２０に設けてもよいし、逆に、自動運転プログラム評価システム２０の機能の一部を自動運転プログラム実行システム１０に設けてもよい

また、第１実施形態のプログラム開発支援処理と第２実施形態のプログラム開発支援処理を組み合わせてもよく、また、各実施形態のプログラム開発支援処理のうち一部の処理を省略してもよい。

以上の本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、各実施形態の自動運転プログラム評価システムにおいては、前記生成した評価結果情報を表示する評価結果情報表示部を備える、としてもよい。

このように、生成した評価結果情報２３０を表示することで、ユーザは、自動運転プログラム１７０を客観的に容易に評価することができる。

また、各実施形態の自動運転プログラム評価システムにおいては、前記実行ログ受信部は、前記所定のプログラムの実行結果として出力された、前記所定の条件における第１の実行ログと、当該所定の条件における前記所定のプログラムに対して所定の修正が施されたプログラムの実行結果として出力された第２の実行ログとを受信し、前記評価結果情報生成部は、前記第１の実行ログに基づく第１の評価結果情報及び前記第２の実行ログに基づく第２の評価結果情報を生成し、前記評価結果情報表示部は、前記第１の評価結果情報及び前記第２の評価結果情報を、前記評価基準の所定の数値により比較して表示する、としてもよい。

このように、所定のプログラムの実行結果である第１の実行ログ３００及び、所定の修正が施されたプログラムの実行結果である第２の実行ログ３００のそれぞれに対する、各評価結果情報２３０を所定の数値により比較して表示することで、ユーザは、所定の自動運転プログラム１７０をバージョンアップした場合に、そのプログラムの性能が向上したか否か等を、容易に確認することができる。

また、各実施形態の自動運転プログラム評価システムにおいては、前記実行ログ受信部
は、第１の前記所定のプログラムの実行結果として出力された、前記所定の条件における第１の実行ログと、当該所定の条件における前記第１のプログラムと異なる第２の前記所定のプログラムの実行結果として出力された第２の実行ログとを受信し、前記評価結果情報生成部は、前記第１の実行ログに基づく第１の評価結果情報及び前記第２の実行ログに基づく第２の評価結果情報を生成し、前記評価結果情報表示部は、前記第１の評価結果情報及び前記第２の評価結果情報を、前記評価基準の所定の数値により比較して表示する、としてもよい。

このように、同一の条件下における、異なる自動運転プログラム１７０の実行結果である各実行ログ３００に対して、各評価結果情報２３０を所定の数値により比較して表示することで、ユーザは、異なる種類の自動運転プログラム１７０（例えば、異なる開発元の自動運転プログラム１７０）を比較してその性能の優劣を容易に確認することができる。

また、各実施形態の自動運転プログラム評価システムにおいては、前記評価基準情報から抽出された、前記自動車の運転の内容を規定した部分に基づき、前記自動車の運転の条件を示す情報であるシナリオ情報を生成するシナリオ情報生成部を備え、前記実行ログ受信部は、前記生成したシナリオ情報に基づき実行された前記所定のプログラムの実行結果として出力された前記実行ログを、前記所定の情報処理システムから受信し、前記評価結果情報生成部は、前記生成したシナリオ情報、前記受信した実行ログ、及び前記評価基準情報に基づき、前記評価結果情報を生成する、としてもよい。

このように、評価基準情報２１０からシナリオ情報１５０を作成し、このシナリオ情報１５０に基づき実行された自動運転プログラム１７０の実行結果である実行ログ３００に基づき評価結果情報２３０を生成することで、評価基準情報２１０に即した運転シナリオを生成することができる。これにより、仮想的に実行された自動運転を客観的な基準に基づき適切に評価することができる。

１自動運転プログラム開発システム、１０自動運転プログラム実行システム、２０自動運転プログラム評価システム、１７０自動運転プログラム、３００実行ログ、２１０評価基準情報、２０５実行ログ受信部、２０７評価結果情報生成部、２３０評価結果情報

Claims

プロセッサ及びメモリを備え、
所定の条件における所定の自動車の運転の内容を所定の数値で評価するための評価基準の情報である評価基準情報を記憶する評価基準情報記憶部と、
前記所定の条件における前記所定の自動車の運転の内容を決定する所定のプログラムの実行結果として出力された、当該自動車の運転の履歴を含む情報である実行ログを、所定の情報処理システムから受信する実行ログ受信部と、
受信した実行ログ及び前記評価基準情報に基づき、前記所定の条件における前記所定の自動車の運転の評価を所定の数値で示す評価結果情報を生成する評価結果情報生成部と、
を備える、自動運転プログラム評価システム。
前記生成した評価結果情報を表示する評価結果情報表示部を備える、請求項１に記載の自動運転プログラム評価システム。
前記実行ログ受信部は、前記所定のプログラムの実行結果として出力された、前記所定の条件における第１の実行ログと、当該所定の条件における前記所定のプログラムに対して所定の修正が施されたプログラムの実行結果として出力された第２の実行ログとを受信し、
前記評価結果情報生成部は、前記第１の実行ログに基づく第１の評価結果情報及び前記第２の実行ログに基づく第２の評価結果情報を生成し、
前記評価結果情報表示部は、前記第１の評価結果情報及び前記第２の評価結果情報を、前記評価基準の所定の数値により比較して表示する、
請求項２に記載の自動運転プログラム評価システム。
前記実行ログ受信部は、第１の前記所定のプログラムの実行結果として出力された、前記所定の条件における第１の実行ログと、当該所定の条件における前記第１のプログラムと異なる第２の前記所定のプログラムの実行結果として出力された第２の実行ログとを受信し、
前記評価結果情報生成部は、前記第１の実行ログに基づく第１の評価結果情報及び前記第２の実行ログに基づく第２の評価結果情報を生成し、
前記評価結果情報表示部は、前記第１の評価結果情報及び前記第２の評価結果情報を、前記評価基準の所定の数値により比較して表示する、
請求項２に記載の自動運転プログラム評価システム。
前記情報処理システムは、前記所定のプログラムの実行プロセスを、前記所定の条件における前記所定の自動車の運転の状況を示した画像により表示する運転状況表示部を備え、
前記自動運転プログラム評価システムは、前記情報処理システムが表示した前記画像に付帯して表示される、前記評価結果情報の内容を示す画像情報を、前記情報処理システムに送信する付帯画像情報送信部を備える、
請求項１に記載の自動運転プログラム評価システム。
前記評価基準情報から抽出された、前記自動車の運転の内容を規定した部分に基づき、前記自動車の運転の条件を示す情報であるシナリオ情報を生成するシナリオ情報生成部を備え、
前記実行ログ受信部は、前記生成したシナリオ情報に基づき実行された前記所定のプログラムの実行結果として出力された前記実行ログを、前記所定の情報処理システムから受信し、
前記評価結果情報生成部は、前記生成したシナリオ情報、前記受信した実行ログ、及び
前記評価基準情報に基づき、前記評価結果情報を生成する、
請求項１に記載の自動運転プログラム評価システム。
プロセッサ及びメモリを備える自動運転プログラム評価システムが、
所定の条件における所定の自動車の運転の内容を所定の数値で評価するための評価基準の情報である評価基準情報を記憶する評価基準情報記憶処理と、
前記所定の条件における前記所定の自動車の運転の内容を決定する所定のプログラムの実行結果として出力された、当該自動車の運転の履歴を含む情報である実行ログを、所定の情報処理システムから受信する実行ログ受信処理と、
受信した実行ログ及び前記評価基準情報に基づき、前記所定の条件における前記所定の自動車の運転の評価を所定の数値で示す評価結果情報を生成する評価結果情報生成処理と、
を実行する、自動運転プログラム評価方法。