JP7024577B2 - 走行場面学習装置、走行場面推定装置、および走行場面推定システム - Google Patents
走行場面学習装置、走行場面推定装置、および走行場面推定システム Download PDFInfo
- Publication number
- JP7024577B2 JP7024577B2 JP2018083127A JP2018083127A JP7024577B2 JP 7024577 B2 JP7024577 B2 JP 7024577B2 JP 2018083127 A JP2018083127 A JP 2018083127A JP 2018083127 A JP2018083127 A JP 2018083127A JP 7024577 B2 JP7024577 B2 JP 7024577B2
- Authority
- JP
- Japan
- Prior art keywords
- peripheral object
- driving
- cluster
- behavior
- driving behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Description
走行場面学習装置、走行場面推定装置、および走行場面推定システムに関する。
特許文献１では、運転特徴量分布と環境特徴量分布との共起性を利用して、環境データと運転挙動データとの間の関連の強さを求めている。そして、共起性に基づいて、環境データの局所領域に関する報知を制御する。
特許文献１に開示されている技術では、たとえば、自車が急減速をしたときに、その急減速と関連が強い画像中の特定箇所が強調表示される。しかし、特許文献１に開示された技術では、車両の運転行動と、その車両の周辺に存在している移動物体である周辺物体の移動状況との関係を推定することはできない。
本開示は、この事情に基づいて成されたものであり、その目的とするところは、車両の運転行動と周辺物体の移動状況との関係を推定できる走行場面学習装置、走行場面推定装置、および走行場面推定システムを提供することにある。
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、開示した技術的範囲を限定するものではない。
上記目的を達成するための走行場面学習装置に関する１つの開示は、
車両の運転行動と車両の周辺に存在する移動物体である周辺物体の移動状況との関係を少なくとも表している走行場面を学習する走行場面学習装置であって、
車両の運転行動を表す運転行動データを取得し、運転行動データを離散化して表す運転行動離散化情報を生成する運転行動離散化部（１１１）と、
運転行動離散化情報に基づいて、運転行動データをクラスタリングした運転行動クラスタを決定する運転行動クラスタリング部（１１２）と、
周辺物体を検出する周辺物体検出部（１１３）と、
周辺物体検出部が検出した周辺物体の挙動履歴を生成する挙動履歴生成部（１１４、２１４）と、
挙動履歴生成部が生成した周辺物体の挙動履歴をクラスタリングして周辺物体クラスタを生成する周辺物体クラスタリング部（１１５、２１５）と、
運転行動クラスタと周辺物体クラスタとを対応付けることで走行場面クラスタを生成し、生成した走行場面クラスタを記憶部（１３２）に蓄積する走行場面クラスタリング部（１１６、２１６）と、を備える。
この走行場面学習装置は、周辺物体の挙動履歴をクラスタリングして周辺物体クラスタを生成する。周辺物体の挙動履歴は、周辺物体がどのような挙動をとったかの履歴であり、履歴はある程度の時間長さの情報であることから、周辺物体の挙動履歴は、周辺物体の移動状況がどのようであったかが定まる情報である。よって、周辺物体の挙動履歴をクラスタリングした周辺物体クラスタを生成することは、周辺物体の移動状況を分類していることになる。
また、車両の運転行動を離散化して表す運転行動離散化情報をクラスタリングすることで、車両の運転行動も分類することができる。
そして、周辺物体クラスタを運転行動クラスタに対応付けているので、車両の運転行動に対して、ある程度の時間長さの周辺物体の移動状況が対応付けられることになる。よって、このようにして生成された走行場面クラスタは、車両の運転行動と周辺物体の移動状況との関係を表すものとなる。
この走行場面学習装置が学習した走行場面クラスタを使うことで、次に説明する走行場面推定装置において、走行場面クラスタを推定することができるので、車両の運転行動と周辺物体の移動状況との関係を推定できる。
上記目的を達成するための走行場面推定装置に関する１つの開示は、
車両の運転行動と車両の周辺に存在する移動物体である周辺物体の移動状況との関係を少なくとも表している走行場面を推定する走行場面推定装置であって、
車両の運転行動を表す運転行動データを取得し、運転行動データを離散化して表す運転行動離散化情報を生成する運転行動離散化部（１２１）と、
運転行動離散化情報が蓄積されたデータベースであって、運転行動離散化情報がクラスタリングされた運転行動クラスタが定まる運転行動データベースを参照して、運転行動離散化部が生成した運転行動離散化情報が属する運転行動クラスタを決定する運転行動クラスタ決定部（１２２）と、
車両の周辺に存在する移動物体である周辺物体を検出する周辺物体検出部（１２３）と、
周辺物体検出部が検出した周辺物体の挙動履歴を生成する挙動履歴生成部（１２４、２２４）と、
周辺物体の挙動履歴が蓄積されたデータベースであって、周辺物体の挙動履歴がクラスタリングされた周辺物体クラスタが定まる周辺物体データベースを参照して、挙動履歴生成部が生成した周辺物体の挙動履歴が属する周辺物体クラスタを決定する周辺物体クラスタ決定部（１２５、２２５）と、
運転行動クラスタ決定部が決定した運転行動クラスタと、周辺物体クラスタ決定部が決定した周辺物体クラスタとから、走行場面を推定する走行場面推定部（１２６、２２６）と、を備える。
この走行場面推定装置は、運転行動データベースを参照して、取得した運転行動データを離散化して表す運転行動離散化情報が属する運転行動クラスタを決定するとともに、周辺物体データベースを参照して、周辺物体検出部が検出した周辺物体の挙動履歴が属する周辺物体クラスタを決定する。運転行動クラスタは車両の運転行動を分類したものであり、周辺物体クラスタは周辺物体の移動状況を分類したものであるので、運転行動クラスタと周辺物体クラスタとを決定することで、走行場面を推定することができる。
上記目的を達成するための走行場面推定システムは、上記走行場面学習装置と走行場面推定装置とを備えたシステムである。すなわち、走行場面推定システムは、
車両の運転行動と車両の周辺に存在する移動物体である周辺物体の移動状況との関係を少なくとも表している走行場面を推定する走行場面推定システムであって、
走行場面を学習する学習部（１１０、２１０）と、走行場面を推定する推定部（１２０、２２０）とを備え、
学習部は、
走行場面を学習するための情報を取得する車両である学習車両の運転行動を表す運転行動データを取得し、運転行動データを時間で区切り、区切った時間別に、運転行動データを離散化して表す運転行動離散化情報を生成する第１運転行動離散化部（１１１）と、
第１運転行動離散化部が生成した運転行動離散化情報に基づいて、運転行動データをクラスタリングした運転行動クラスタを決定する運転行動クラスタリング部（１１２）と、
学習車両の周辺に存在する周辺物体を検出する第１周辺物体検出部（１１３）と、
第１周辺物体検出部が検出した周辺物体の挙動履歴を生成する第１挙動履歴生成部（１１４、２１４）と、
第１挙動履歴生成部が生成した周辺物体の挙動履歴をクラスタリングして周辺物体クラスタを生成する周辺物体クラスタリング部（１１５、２１５）と、
運転行動クラスタと周辺物体クラスタとを対応付けた走行場面クラスタを生成して記憶部（１３２）に記憶する走行場面クラスタリング部（１１６、２１６）と、を備え、
推定部は、
走行場面を推定する車両である推定車両の運転行動を表す運転行動データを取得し、運転行動データを時間で区切り、区切った時間別に、運転行動データを離散化して表す運転行動離散化情報を生成する第２運転行動離散化部（１２１）と、
記憶部に記憶された運転行動クラスタを参照して、第２運転行動離散化部が生成した運転行動離散化情報が属する運転行動クラスタを決定する運転行動クラスタ決定部（１２２）と、
推定車両の周辺に存在する周辺物体を検出する第２周辺物体検出部（１２３）と、
第２周辺物体検出部が検出した周辺物体の挙動履歴を生成する第２挙動履歴生成部（１２４、２２４）と、
記憶部に記憶された周辺物体クラスタを参照して、第２挙動履歴生成部が生成した周辺物体の挙動履歴が属する周辺物体クラスタを決定する周辺物体クラスタ決定部（１２５、２２５）と、
運転行動クラスタ決定部が決定した運転行動クラスタと、周辺物体クラスタ決定部が決定した周辺物体クラスタとから、走行場面を推定する走行場面推定部（１２６、２２６）と、を備える。
車両の運転行動と車両の周辺に存在する移動物体である周辺物体の移動状況との関係を少なくとも表している走行場面を学習する走行場面学習装置であって、
車両の運転行動を表す運転行動データを取得し、運転行動データを離散化して表す運転行動離散化情報を生成する運転行動離散化部（１１１）と、
運転行動離散化情報に基づいて、運転行動データをクラスタリングした運転行動クラスタを決定する運転行動クラスタリング部（１１２）と、
周辺物体を検出する周辺物体検出部（１１３）と、
周辺物体検出部が検出した周辺物体の挙動履歴を生成する挙動履歴生成部（１１４、２１４）と、
挙動履歴生成部が生成した周辺物体の挙動履歴をクラスタリングして周辺物体クラスタを生成する周辺物体クラスタリング部（１１５、２１５）と、
運転行動クラスタと周辺物体クラスタとを対応付けることで走行場面クラスタを生成し、生成した走行場面クラスタを記憶部（１３２）に蓄積する走行場面クラスタリング部（１１６、２１６）と、を備える。
この走行場面学習装置は、周辺物体の挙動履歴をクラスタリングして周辺物体クラスタを生成する。周辺物体の挙動履歴は、周辺物体がどのような挙動をとったかの履歴であり、履歴はある程度の時間長さの情報であることから、周辺物体の挙動履歴は、周辺物体の移動状況がどのようであったかが定まる情報である。よって、周辺物体の挙動履歴をクラスタリングした周辺物体クラスタを生成することは、周辺物体の移動状況を分類していることになる。
また、車両の運転行動を離散化して表す運転行動離散化情報をクラスタリングすることで、車両の運転行動も分類することができる。
そして、周辺物体クラスタを運転行動クラスタに対応付けているので、車両の運転行動に対して、ある程度の時間長さの周辺物体の移動状況が対応付けられることになる。よって、このようにして生成された走行場面クラスタは、車両の運転行動と周辺物体の移動状況との関係を表すものとなる。
この走行場面学習装置が学習した走行場面クラスタを使うことで、次に説明する走行場面推定装置において、走行場面クラスタを推定することができるので、車両の運転行動と周辺物体の移動状況との関係を推定できる。
上記目的を達成するための走行場面推定装置に関する１つの開示は、
車両の運転行動と車両の周辺に存在する移動物体である周辺物体の移動状況との関係を少なくとも表している走行場面を推定する走行場面推定装置であって、
車両の運転行動を表す運転行動データを取得し、運転行動データを離散化して表す運転行動離散化情報を生成する運転行動離散化部（１２１）と、
運転行動離散化情報が蓄積されたデータベースであって、運転行動離散化情報がクラスタリングされた運転行動クラスタが定まる運転行動データベースを参照して、運転行動離散化部が生成した運転行動離散化情報が属する運転行動クラスタを決定する運転行動クラスタ決定部（１２２）と、
車両の周辺に存在する移動物体である周辺物体を検出する周辺物体検出部（１２３）と、
周辺物体検出部が検出した周辺物体の挙動履歴を生成する挙動履歴生成部（１２４、２２４）と、
周辺物体の挙動履歴が蓄積されたデータベースであって、周辺物体の挙動履歴がクラスタリングされた周辺物体クラスタが定まる周辺物体データベースを参照して、挙動履歴生成部が生成した周辺物体の挙動履歴が属する周辺物体クラスタを決定する周辺物体クラスタ決定部（１２５、２２５）と、
運転行動クラスタ決定部が決定した運転行動クラスタと、周辺物体クラスタ決定部が決定した周辺物体クラスタとから、走行場面を推定する走行場面推定部（１２６、２２６）と、を備える。
この走行場面推定装置は、運転行動データベースを参照して、取得した運転行動データを離散化して表す運転行動離散化情報が属する運転行動クラスタを決定するとともに、周辺物体データベースを参照して、周辺物体検出部が検出した周辺物体の挙動履歴が属する周辺物体クラスタを決定する。運転行動クラスタは車両の運転行動を分類したものであり、周辺物体クラスタは周辺物体の移動状況を分類したものであるので、運転行動クラスタと周辺物体クラスタとを決定することで、走行場面を推定することができる。
上記目的を達成するための走行場面推定システムは、上記走行場面学習装置と走行場面推定装置とを備えたシステムである。すなわち、走行場面推定システムは、
車両の運転行動と車両の周辺に存在する移動物体である周辺物体の移動状況との関係を少なくとも表している走行場面を推定する走行場面推定システムであって、
走行場面を学習する学習部（１１０、２１０）と、走行場面を推定する推定部（１２０、２２０）とを備え、
学習部は、
走行場面を学習するための情報を取得する車両である学習車両の運転行動を表す運転行動データを取得し、運転行動データを時間で区切り、区切った時間別に、運転行動データを離散化して表す運転行動離散化情報を生成する第１運転行動離散化部（１１１）と、
第１運転行動離散化部が生成した運転行動離散化情報に基づいて、運転行動データをクラスタリングした運転行動クラスタを決定する運転行動クラスタリング部（１１２）と、
学習車両の周辺に存在する周辺物体を検出する第１周辺物体検出部（１１３）と、
第１周辺物体検出部が検出した周辺物体の挙動履歴を生成する第１挙動履歴生成部（１１４、２１４）と、
第１挙動履歴生成部が生成した周辺物体の挙動履歴をクラスタリングして周辺物体クラスタを生成する周辺物体クラスタリング部（１１５、２１５）と、
運転行動クラスタと周辺物体クラスタとを対応付けた走行場面クラスタを生成して記憶部（１３２）に記憶する走行場面クラスタリング部（１１６、２１６）と、を備え、
推定部は、
走行場面を推定する車両である推定車両の運転行動を表す運転行動データを取得し、運転行動データを時間で区切り、区切った時間別に、運転行動データを離散化して表す運転行動離散化情報を生成する第２運転行動離散化部（１２１）と、
記憶部に記憶された運転行動クラスタを参照して、第２運転行動離散化部が生成した運転行動離散化情報が属する運転行動クラスタを決定する運転行動クラスタ決定部（１２２）と、
推定車両の周辺に存在する周辺物体を検出する第２周辺物体検出部（１２３）と、
第２周辺物体検出部が検出した周辺物体の挙動履歴を生成する第２挙動履歴生成部（１２４、２２４）と、
記憶部に記憶された周辺物体クラスタを参照して、第２挙動履歴生成部が生成した周辺物体の挙動履歴が属する周辺物体クラスタを決定する周辺物体クラスタ決定部（１２５、２２５）と、
運転行動クラスタ決定部が決定した運転行動クラスタと、周辺物体クラスタ決定部が決定した周辺物体クラスタとから、走行場面を推定する走行場面推定部（１２６、２２６）と、を備える。
＜第１実施形態＞
以下、実施形態を図面に基づいて説明する。図１は、走行場面推定システム１００の構成を示すブロック図である。この走行場面推定システム１００は、車両に搭載されてもよいし、車両と直接的あるいは間接的に通信可能に構成され車両の外部に設置されてもよい。車両の外部に設置される場合、走行場面推定システム１００は、たとえば、１台あるいは複数台のサーバを備えた構成である。
以下、実施形態を図面に基づいて説明する。図１は、走行場面推定システム１００の構成を示すブロック図である。この走行場面推定システム１００は、車両に搭載されてもよいし、車両と直接的あるいは間接的に通信可能に構成され車両の外部に設置されてもよい。車両の外部に設置される場合、走行場面推定システム１００は、たとえば、１台あるいは複数台のサーバを備えた構成である。
［走行場面推定システム１００の概要］
走行場面推定システム１００は、学習部１１０と、推定部１２０と、共通部１３０とを備えている。学習部１１０は、走行場面を学習する部分である。走行場面は、車両の運転行動と、その車両の周辺に存在する移動物体である周辺物体の移動状況との関係を少なくとも表している。
走行場面推定システム１００は、学習部１１０と、推定部１２０と、共通部１３０とを備えている。学習部１１０は、走行場面を学習する部分である。走行場面は、車両の運転行動と、その車両の周辺に存在する移動物体である周辺物体の移動状況との関係を少なくとも表している。
第１実施形態では、車両の運転行動を運転行動クラスタで表し、周辺物体の移動状況を周辺物体クラスタで表す。したがって、学習部１１０は、運転行動クラスタと周辺物体クラスタとの関係を学習する。学習部１１０は、運転行動クラスタと周辺物体クラスタとを相互に対応付けて、かつ、場所別に、共通部１３０が備える記憶部１３２に記憶する。記憶部１３２に記憶されている運転行動クラスタのデータベースを運転行動データベースとし、周辺物体クラスタのデータベースを周辺物体データベースとする。
推定部１２０は、ある時点での車両の走行場面を推定する。走行場面は、運転行動クラスタと周辺物体クラスタとにより定まるので、推定部１２０は、ある時点での車両の運転行動クラスタおよび周辺物体クラスタが何であるかを決めることで、その時点の車両の走行場面を推定する。運転行動クラスタは、記憶部１３２に記憶されている運転行動データベースと、走行場面を推定する対象としている時点での車両の運転行動とから決定する。周辺物体クラスタは、記憶部１３２に記憶されている周辺物体データベースと、走行場面を推定する対象としている時点での周辺物体の移動状況から決定する。
学習部１１０および推定部１２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ、およびこれらの構成を接続するバスラインなどを備えたコンピュータにより実現される。ＲＯＭには、汎用的なコンピュータを学習部１１０、推定部１２０として機能させるためのプログラムが格納されている。ＣＰＵが、ＲＡＭの一時記憶機能を利用しつつ、ＲＯＭに記憶されたプログラムを実行することで、コンピュータが学習部１１０、推定部１２０として機能する。これらの機能が実行されると、プログラムに対応する方法が実行される。
なお、ＣＰＵが実行するプログラムを記憶する記憶媒体はＲＯＭに限られず、非遷移的実体的記録媒体に記憶されていればよい。たとえば、フラッシュメモリに上記プログラムが記憶されていてもよい。また、学習部１１０、推定部１２０が備える機能の一部または全部を、一つあるいは複数のＩＣ等を用いて（換言すればハードウェアとして）実現してもよい。また、学習部１１０、推定部１２０が備える機能の一部又は全部を、ＣＰＵによるソフトウェアの実行とハードウェア部材の組み合わせによって実現してもよい。
共通部１３０は、位置検出部１３１と記憶部１３２とを備えている。位置検出部１３１は、走行場面を推定する車両の現在位置を検出する。位置検出部１３１には、たとえば、ＧＮＳＳ受信機を備えた構成を採用することができる。記憶部１３２は、書き込み可能であり、運転行動データベース、周辺物体データベースが記憶される。記憶部１３２には、たとえば、ハードディスク、フラッシュメモリなどを用いることができる。運転行動データベース、周辺物体データベースは場所別に記憶されている。そのため、共通部１３０は位置検出部１３１を備えている。推定部１２０は、運転行動データベース、周辺物体データベースから、走行場面を推定する対象としている位置についてのデータを抽出する。この抽出のために位置検出部１３１が検出した位置を利用する。
［学習部１１０の構成］
学習部１１０は、第１運転行動離散化部１１１、運転行動クラスタリング部１１２、第１周辺物体検出部１１３は、第１挙動履歴生成部１１４、周辺物体クラスタリング部１１５、走行場面クラスタリング部１１６を備えている。これらのうち、第１運転行動離散化部１１１、第１周辺物体検出部１１３、第１挙動履歴生成部１１４は、走行場面学習装置における運転行動離散化部、周辺物体検出部、挙動履歴生成部に相当する。
学習部１１０は、第１運転行動離散化部１１１、運転行動クラスタリング部１１２、第１周辺物体検出部１１３は、第１挙動履歴生成部１１４、周辺物体クラスタリング部１１５、走行場面クラスタリング部１１６を備えている。これらのうち、第１運転行動離散化部１１１、第１周辺物体検出部１１３、第１挙動履歴生成部１１４は、走行場面学習装置における運転行動離散化部、周辺物体検出部、挙動履歴生成部に相当する。
第１運転行動離散化部１１１は、走行場面を学習するための情報を取得する車両である学習車両の運転行動を表す運転行動データを取得し、この運転行動データから、運転トピック特徴量を生成する。学習車両は、走行場面推定システム１００が車両に搭載されていれば、その車両、すなわち、自車両である。第１運転行動離散化部１１１が実行する処理は、図２を用いて説明する。
図２に示す処理を実行するタイミングは適宜設定可能であり、たとえば、一定周期で実行する。ステップ（以下、ステップを省略）Ｓ１では、ある期間分の運転行動データを取得する。運転行動データを取得する期間は、数分、数十分など適宜設定可能である。運転行動データは、運転行動データを蓄積している所定の記憶部から取得する。
運転行動データは、学習車両の挙動を直接的に示すデータ（以下、車両挙動データ）、および、車両挙動に変化を生じさせるデータを含む概念である。具体的な運転行動データには、たとえば、車両の速度、加速度、操舵角、アクセル開度、ブレーキ踏力などがある。
Ｓ２では、Ｓ１で取得した運転行動データの時系列データから記号列を生成する。記号列の生成には、たとえば、特許文献１に記載されているように、二重分節解析器を利用する方法がある。
二重分節解析器を用いる場合、運転行動データの値域を表す多次元の空間で運転行動データから把握される各種の車両の状態を表すクラスタと、各クラスタ間の遷移確率とを予め定義しておく。そして、これらの情報を用いて、運転行動データがいずれのクラスタに属するかを統計的に処理することにより、運転行動データの時系列データを、区分単位となる車両の状態ごと（つまり、クラスタごと）に区分けする。各クラスタに予め識別用の記号を対応づけておくことにより、運転行動データの時系列データは、どのクラスタに属しているかを表す記号列に変換される。記号列の生成には、例えば、隠れ状態とその状態間の確率的遷移で表現されるモデルの一つである階層ディリクレ過程隠れマルコフモデル（ＨＤＰ－ＨＭＭ）を利用することができる。
Ｓ３では、記号列を１つの運転シーンを意味する部分系列に分節化する。分節化することで、記号列が運転シーンの切り替わり点で区切られることになる。分節化したものを運転離散記号列とする。図３に、運転行動データと運転離散記号列との関係を例示している。分節化には、たとえば、Nested Pitman-Yor Language Model（ＮＰＹＬＭ）を用いることができる。ＮＰＹＬＭは統計情報を利用した離散文字列の教師なしチャンク化手法の一つである。
Ｓ４では、Ｓ３で生成した運転離散記号列を構成する、それぞれの運転離散記号すなわち１つの運転シーンに対応する運転行動データをヒストグラム化する。図４に、１つの運転シーンの運転行動データをヒストグラム化した例を示す。
Ｓ４では、Ｓ３で生成した運転離散記号列を構成する、それぞれの運転離散記号すなわち１つの運転シーンに対応する運転行動データをヒストグラム化する。図４に、１つの運転シーンの運転行動データをヒストグラム化した例を示す。
Ｓ５では、Ｓ４で生成したヒストグラムを、予め用意した複数の運転トピックモデルで表現したときのそれぞれの運転トピックモデルの割合を算出する。予め用意した運転トピックモデルは、停止、巡航、加速など、典型的な運転シーンを表したヒストグラムのパターンである。
図５は、複数の運転トピックモデルを概念的に示した図である。Ｓ５では、図５に例示されている複数の運転トピックモデルで、図４に例示したヒストグラムを表現する場合の各運転トピックモデルの割合を決定することになる。運転トピックモデルの割合は、運転シーンの特徴を表していると言えることから、運転トピックモデルの割合を、運転トピック特徴量とする。運転トピック特徴量を算出することは、運転トピックモデルから運転行動データのヒストグラムを算出するためのパラメータを決定することを意味する。なお、運転離散記号列は、運転行動を離散化した情報すなわち運転行動離散化情報であり、運転離散記号列の特徴を表した運転トピックモデルも運転行動離散化情報である。
Ｓ６では、運転トピック特徴量を場所別に、記憶部１３２に記憶する。ここでの場所は、たとえば、一定の長さの区間ごとを１つの場所とする。あるいは、交差点、Ｔ字路、Ｕ字路、直進路など、道路形状を大まかに分類したものを１つの場所としてもよい。なお、交差点、Ｔ字路、Ｕ字路は、一部に直線路を含むことになる。道路のどの部分までを交差点、Ｔ字路、Ｕ字路とするかは、それらの中心点、あるいは、それらにおいて曲線部分と直線部分との境界点からの距離により定め、この距離は予め設定する。図６には、ある場所に対して、記憶部１３２に記憶された運転トピック特徴量を示している。
説明を図１に戻す。運転行動クラスタリング部１１２は、第１運転行動離散化部１１１が場所別に記憶した運転トピック特徴量をクラスタリングして、運転行動クラスタを生成する。クラスタリングには、ｋ－ｍｅａｎｓ法、ガウス混合モデルなど、分割数を指定する手法、および、ディリクレ過程混合モデルなどのノンパラメトリック手法のいずれを用いることもできる。ディリクレ過程混合モデルは具体的には中華料理店過程、棒折り過程などを用いることができる。
図７には、運転行動クラスタを例示している。図７は、運転トピック特徴空間のうちある二次元平面を切り出して示した図である。図７には、運転行動クラスタＡ１、Ａ２、Ａ３の３つの運転行動クラスタが示されている。
第１周辺物体検出部１１３は、周辺状況データを取得して、その周辺状況データを解析することで周辺物体を検出する。周辺状況データは、たとえば、カメラ画像、ミリ波センサの検出データ、レーザセンサの検出データなどである。前述したように、周辺物体は移動体である。第１周辺物体検出部１１３は、周辺物体を複数検出できる場合、複数の検出物体を検出する。
第１挙動履歴生成部１１４は、第１周辺物体検出部１１３が検出した周辺物体の挙動履歴を生成する。周辺物体の挙動履歴は、周辺物体の挙動に関して、時間経過に伴う変化を反映した情報であり、第１実施形態では、挙動履歴として周辺物体の軌跡俯瞰図を生成する。複数の周辺物体が検出されている場合、それら複数の周辺物体それぞれについて軌跡俯瞰図を生成する。
軌跡俯瞰図は、周辺物体の移動軌跡を、学習車両を中心座標とする俯瞰図で表現した図である。俯瞰図は、学習車両の前後方向および左右方向の２方向を座標として持つ二次元座標系の平面図である。
図８に幾つかの軌跡俯瞰図を例示している。図８において、上段は周辺物体の実際の移動状況であり、下段が上段に対応する軌跡俯瞰図である。状況ＳＣ１は、実際の移動状況が、学習車両Ｃｓが右折をしようと交差点に進入し停止している状況であり、周辺物体である周辺車両Ｃｎが学習車両Ｃｓと同じ道路の反対車線を直進して交差点に進入している状況である。この状況ＳＣ１での軌跡俯瞰図には、状況ＳＣ１の下図に示すように、直線に近い移動軌跡ｔｒが示される。移動軌跡ｔｒには周辺車両Ｃｎの移動方向も付与されている。移動軌跡ｔｒは、逐次検出する周辺物体の位置をつなぎ合わせて生成する。
状況ＳＣ２、ＳＣ３、ＳＣ４も学習車両Ｃｓの状況は状況ＳＣ１と同じである。状況ＳＣ２では、周辺物体である歩行者Ｐが、学習車両Ｃｓにとっての交差点退出路となる道路の交差点付近を横断している状況である。状況ＳＣ３は、周辺車両Ｃｎが、学習車両Ｃｓが走行する道路と交差する道路を走行して交差点において右折している状況である。状況ＳＣ４は、周辺車両Ｃｎが、学習車両Ｃｓが走行する道路と交差する道路を直進して交差点を通過する状況である。状況ＳＣ２、ＳＣ３、ＳＣ４での軌跡俯瞰図は、それぞれ、図８の下図に例示した図になり、いずれの図に含まれる移動軌跡ｔｒにも移動方向が付与されている。
軌跡俯瞰図は、運転離散記号と同じ場所区分を対象として作成する。ただし、軌跡俯瞰図は、後述するように、運転行動クラスタに対応づける。運転行動クラスタは、１つあるいは複数の運転離散記号を含んでいる。運転行動クラスタに対応づける際に、時間的に連続する複数の軌跡俯瞰図をまとめて１つとしたもの、または運転行動クラスタの時間の切れ目で分割したものを軌跡俯瞰図としてもよい。
周辺物体クラスタリング部１１５は、第１挙動履歴生成部１１４が生成した周辺物体の挙動履歴すなわち周辺物体の軌跡俯瞰図をクラスタリングして周辺物体クラスタを生成する。周辺物体クラスタリング部１１５が実行する処理は、図９を用いて説明する。
図９において、Ｓ１１では、第１挙動履歴生成部１１４が生成した軌跡俯瞰図を、場所別に、運転行動クラスタに対応付ける。図１０は、Ｓ１１で実行する処理を概念的に説明する図である。図１０には、運転行動クラスタＡ１、Ａ２、Ａ３も示している。すでに説明したように、運転行動クラスタは場所別に記憶されている。また、運転行動クラスタは、運転離散記号列をクラスタリングしたものであり、場所別に作成される。また、軌跡俯瞰図も作成された場所を特定することができる。そのため、軌跡俯瞰図を、場所別に運転行動クラスタに対応付けることができる。図１０には、運転行動クラスタＡ１に、軌跡俯瞰図を対応付けている状態を示している。
なお、同時刻に複数の周辺物体に対する軌跡俯瞰図が作成されることもある。たとえば、状況ＳＣ１と状況ＳＣ２を組み合わせた状況、すなわち、周辺車両Ｃｎが学習車両Ｃｓと同じ道路の反対車線を直進して交差点に進入しているときに、歩行者Ｐが学習車両Ｃｓにとっての交差点退出路となる道路の交差点付近を横断している状況を考える。この状況では、状況ＳＣ１に示す軌跡俯瞰図と状況ＳＣ２に示す軌跡俯瞰図とが作成される。このときは、それぞれの軌跡俯瞰図が、ともに同じ運転行動クラスタに対応付けられることになる。
Ｓ１２では、Ｓ１１において場所別に運転行動クラスタに対応付けた軌跡俯瞰図をもとに、オートエンコーダなどの低次元特徴圧縮器の学習を行い、低次元場面特徴量ｚを算出する。低次元場面特徴量ｚを算出する際、低次元場面特徴量ｚを得るためのオートエンコーダのパラメータも得られる。
図１１に、低次元場面特徴量ｚを示している。低次元場面特徴量ｚは、軌跡俯瞰図ごとに算出する。これにより、図１２に示すように、低次元場面特徴量ｚの空間が、場所別、かつ、運転行動クラスタごとに得られる。
Ｓ１３では、Ｓ１２で得た低次元場面特徴量ｚをクラスタリングする。クラスタリングの手法は、運転行動クラスタリング部１１２と同じでよい。クラスタリングして得られたクラスタを周辺物体クラスタとする。図１３には、ある場所かつその場所に属する一つの運転行動クラスタＸにおけるＢ１，Ｘ、Ｂ２，Ｘ、Ｂ３，Ｘの３つの周辺物体クラスタを示しており、一つのサンプル点が一つの低次元場面特徴量ｚかつ一つの軌跡俯瞰図に対応する。
説明を図１に戻す。走行場面クラスタリング部１１６は、運転行動クラスタと、周辺物体クラスタとを対応付けることで走行場面クラスタを生成する。第１実施形態では、Ｓ１１において、軌跡俯瞰図が運転行動クラスタに対応付けられていることから、各軌跡俯瞰図から得られた低次元場面特徴量ｚを、軌跡俯瞰図が対応付けられている運転行動クラスタに対応付ける。
そして、走行場面クラスタリング部１１６は、走行場面クラスタ、すなわち、相互に対応付けられた運転行動クラスタと周辺物体クラスタとを記憶部１３２に記憶する。図１４には、記憶部１３２に記憶された走行場面クラスタを示している。図１４に示すように、走行場面クラスタは場所に対応付けて記憶される。図１４において、運転行動クラスタＡ１、Ａ２、Ａ３・・・は、運転行動クラスタＡを他の運転行動クラスタＡと区別するための名称であり、運転行動クラスタＡの実体は、各運転行動クラスタＡに含まれている運転トピック特徴量である。同様に、周辺物体クラスタＢ１，Ａ１、Ｂ１，Ａ２、Ｂ１，Ａ３・・・も、周辺物体クラスタＢを他の周辺物体クラスタＢと区別するための名称であり、周辺物体クラスタＢの実体は低次元場面特徴量ｚである。また、走行場面クラスタＣ１、Ｃ２、Ｃ３・・・も、他の走行場面クラスタＣと区別するための名称である。
図１４に示す内容のうち、運転行動クラスタのデータの部分が運転行動データベースであり、周辺物体クラスのデータの部分が周辺物体データベースである。
［推定部１２０の構成］
次に推定部１２０を説明する。推定部１２０は、第２運転行動離散化部１２１、運転行動クラスタ決定部１２２、第２周辺物体検出部１２３、第２挙動履歴生成部１２４、周辺物体クラスタ決定部１２５、走行場面推定部１２６を備えている。これらのうち、第２運転行動離散化部１２１、第２周辺物体検出部１２３、第２挙動履歴生成部１２４は、走行場面推定装置における運転行動離散化部、周辺物体検出部、挙動履歴生成部に相当する。
次に推定部１２０を説明する。推定部１２０は、第２運転行動離散化部１２１、運転行動クラスタ決定部１２２、第２周辺物体検出部１２３、第２挙動履歴生成部１２４、周辺物体クラスタ決定部１２５、走行場面推定部１２６を備えている。これらのうち、第２運転行動離散化部１２１、第２周辺物体検出部１２３、第２挙動履歴生成部１２４は、走行場面推定装置における運転行動離散化部、周辺物体検出部、挙動履歴生成部に相当する。
第２運転行動離散化部１２１は、運転行動データを取得する車両が推定車両である点が、学習部１１０の第１運転行動離散化部１１１と異なるが、処理は、第１運転行動離散化部１１１と同じである。したがって、運転行動データを取得して、運転行動データから、運転シーンごとの運転トピック特徴量を生成する。推定車両は、走行場面を推定する車両である。道路を走行中の車両であって、推定部１２０へデータを提供可能な車両は、推定車両とすることができる。また、学習車両を推定車両とすることもできる。この場合、走行場面学習用のデータを提供しつつ、走行場面を推定することになる。
運転行動クラスタ決定部１２２は、記憶部１３２に記憶された運転行動クラスタを参照して、第２運転行動離散化部１２１が今回生成した運転トピック特徴量が属する運転行動クラスタを決定する。記憶部１３２に記憶された運転行動クラスタを参照する際、運転行動データベースから、運転行動データが得られたときの推定車両の場所についての運転行動クラスタのデータを抽出する。
今回生成した運転トピック特徴量が属する運転行動クラスタを決定する方法には、たとえば、ｋ近傍法を用いることができる。図１５は、運転行動クラスタ決定部１２２が運転行動クラスタを決定する処理を説明する図である。図１５において、三角形が、今回生成した運転トピック特徴量を表している。図１５に示す例では、今回生成した運転トピック特徴量が属する運転行動クラスタはＡ２になる。
第２周辺物体検出部１２３は、周辺状況データを取得する車両が推定車両である点が、学習部１１０の第１周辺物体検出部１１３と異なるが、処理は、第１周辺物体検出部１１３と同じである。したがって、周辺状況データを取得し、その周辺状況データを解析することで推定車両の周辺に存在する周辺物体を検出する。第２周辺物体検出部１２３は、周辺物体を複数検出できる場合、複数の検出物体を検出する。
第２挙動履歴生成部１２４は、第２周辺物体検出部１２３が検出した周辺物体の挙動履歴を生成する。第１実施形態では、挙動履歴として周辺物体の軌跡俯瞰図を生成する。軌跡俯瞰図を生成する処理は、第１挙動履歴生成部１１４と同じである。第２挙動履歴生成部１２４は、複数の周辺物体が検出されている場合、それら複数の周辺物体それぞれについて軌跡俯瞰図を生成する。
周辺物体クラスタ決定部１２５は、記憶部１３２に記憶された周辺物体クラスタを参照して、第２挙動履歴生成部１２４が生成した周辺物体の挙動履歴すなわち軌跡俯瞰図が属する周辺物体クラスタを決定する。記憶部１３２に記憶された周辺物体クラスタを参照する際、運転行動データベースから、運転行動クラスタ決定部１２２が決定した運転行動クラスタに対応する周辺物体データベースを検索し、検索された周辺物体データベースから、周辺状況データが得られたときの推定車両の場所についての周辺物体クラスタのデータを抽出する。
そして、周辺物体の軌跡俯瞰図から、周辺物体クラスタリング部１１５と同様の処理により、低次元場面特徴量ｚを算出する。算出した低次元場面特徴量ｚが記憶部１３２に記憶された周辺物体クラスタのどれに属するかを決める処理は、今回生成した運転トピック特徴量が属する運転行動クラスタを決める場合と同様、たとえば、ｋ近傍法を用いることができる。
軌跡俯瞰図が複数の周辺物体について生成されている場合、軌跡俯瞰図別すなわち周辺物体別に低次元場面特徴量ｚを算出し、周辺物体別に、属する周辺物体クラスタを決定する。
走行場面推定部１２６は、運転行動クラスタ決定部１２２が決定した運転行動クラスタと、周辺物体クラスタ決定部１２５が決定した周辺物体クラスタとの組み合わせを、推定車両の現在の走行場面として推定する。ただし、本実施形態では、運転行動クラスタ毎に軌跡俯瞰図を対応付け、運転行動クラスタ毎に低次元場面特徴量ｚをクラスタリングして周辺物体クラスタを生成している。そのため、周辺物体クラスタが決定されることにより、運転行動クラスタとの対応付けが可能であり、走行場面クラスタも定まる。
なお、周辺物体クラスタが複数決定されている場合には、それら複数の周辺物体クラスタを含むものを走行場面とする。走行場面推定部１２６は、推定した走行場面を、走行場面を用いた制御を行う制御部に出力する。制御部は、たとえば、走行場面に応じた運転支援を行う運転支援制御部である。
なお、周辺物体クラスタが複数決定されている場合には、それら複数の周辺物体クラスタを含むものを走行場面とする。走行場面推定部１２６は、推定した走行場面を、走行場面を用いた制御を行う制御部に出力する。制御部は、たとえば、走行場面に応じた運転支援を行う運転支援制御部である。
［第１実施形態のまとめ］
この走行場面推定システム１００は、学習部１１０において、運転行動クラスタと周辺物体クラスタとを対応付けた走行場面クラスタを生成している。これにより、学習車両の運転行動と、学習車両の周辺に存在している周辺物体の移動状況とが対応付けられることになる。
この走行場面推定システム１００は、学習部１１０において、運転行動クラスタと周辺物体クラスタとを対応付けた走行場面クラスタを生成している。これにより、学習車両の運転行動と、学習車両の周辺に存在している周辺物体の移動状況とが対応付けられることになる。
たとえば、走行場面として、学習車両が直進中、対向車が急な右折で学習車両の前を通過したため、学習車両が急停止したという場面を考える。この走行場面推定システム１００によれば、学習車両が直進中に急停止したという運転行動の運転行動クラスタと、周辺物体が急な右折をしたという周辺物体の移動状況を意味する周辺物体クラスタとが対応付けられた走行場面クラスタを生成することができる。
別の走行場面として、学習車両が交差点に進入した後、交差点退出路にある横断歩道を歩行者が横断中であるため、学習車両は交差点内で停止したという場面を考える。走行場面推定システム１００は、学習車両が交差点に進入した後、交差点内で停止したという運転行動クラスタと、歩行者が学習車両にとっての交差点退出路にある横断歩道を歩行しているという周辺物体クラスタとが対応付けられた走行場面クラスタを生成できる。
つまり、走行場面クラスタは、学習車両の運転行動と周辺物体の移動状況の一方が他方の挙動に影響を与える状況を表すことができる。
走行場面推定システム１００は、ある運転行動クラスタと周辺物体クラスタとを対応付けているが、運転行動クラスタがどのような運転行動を意味しているか、および、周辺物体クラスタが周辺物体のどのような移動状況を意味しているかは、解析していない。
しかしながら、運転行動クラスタと周辺物体クラスタの意味を解析していなくても、ある運転行動と、ある周辺物体の移動状況の一方が他方に影響を与える状況であることが分かるので、後に走行解析を行う際に有用である。
また、それぞれの運転行動クラスタに含まれている運転トピック特徴量や、運転離散記号列を解析して、それぞれの運転行動クラスタの意味を定義してもよい。運転行動クラスタの意味の定義は、自動で行ってもよいし、作業者が介在する処理で行ってもよい。
また、第１実施形態では、挙動履歴として軌跡俯瞰図を作成している。軌跡俯瞰図には、走行場面の分類に不要な背景などの情報が含まれていないので、走行場面の分類がロバストになる。
この軌跡俯瞰図は、周辺物体の移動方向も情報として持つことから、周辺物体が移動軌跡ｔｒの終点から移動軌跡ｔｒの始点に移動した場合を、移動軌跡ｔｒの始点から終点へ移動した実際の周辺物体の移動軌跡と区別して、走行場面を推定することができる。
また、周辺物体クラスタ決定部１２５は、周辺物体の軌跡俯瞰図が複数の周辺物体に対して生成されている場合、周辺物体別に周辺物体クラスタを決定している。そして、走行場面推定部１２６は、複数の周辺物体クラスタが決定されている場合、それら複数の周辺物体クラスタを全部含めて走行場面とする。
これにより、複雑な走行場面を推定することができる。図１６に一例を示す。図１６は、いわゆるサンキューヒヤリシーンを推定した例である。図１６では、自車両Ｃｍが交差点を右折途中で停止したという状況が運転行動クラスタＸとなったとする。この運転行動クラスタに、自車両Ｃｍとは反対車線を走行する周辺車両Ｃｎが交差点手前で停止した状況に対応する周辺物体クラスタＢ１，Ｘと、自車両Ｃｍにとっての交差点退出路付近を直進する自転車ＣＹに対応する周辺物体クラスタＢ４，Ｘが対応付けられる。これにより、周辺車両Ｃｎが停止してくれたので、交差点を右折しようとした自車両Ｃｍが自転車ＣＹに衝突しそうになったので停止した、という走行場面を推定することができる。
また、第１実施形態では、運転トピック特徴量をクラスタリングして運転行動クラスタとしているため、スパース性の高い運転行動クラスタが得られる。これにより、たとえば、「右にゆっくりハンドルを切る」と「右に切りながらわずかにブレーキを踏む」などの小さな差異により運転行動クラスタが分かれることを防止し、これらを一つの運転行動クラスタにまとめることができる。
また、第１実施形態では、運転トピック特徴量をクラスタリングして運転行動クラスタとしているため、スパース性の高い運転行動クラスタが得られる。これにより、たとえば、「右にゆっくりハンドルを切る」と「右に切りながらわずかにブレーキを踏む」などの小さな差異により運転行動クラスタが分かれることを防止し、これらを一つの運転行動クラスタにまとめることができる。
＜第２実施形態＞
次に、第２実施形態を説明する。この第２実施形態以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。
次に、第２実施形態を説明する。この第２実施形態以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。
図１７に第２実施形態の走行場面推定システム２００の構成を示す。走行場面推定システム２００は、学習部２１０と推定部２２０を備える。
［学習部２１０の構成］
学習部２１０は、第１実施形態の学習部１１０と同じ第１運転行動離散化部１１１、運転行動クラスタリング部１１２、第１周辺物体検出部１１３を備える。一方、第１実施形態の学習部１１０とは処理が異なる要素として、第１挙動履歴生成部２１４、周辺物体クラスタリング部２１５、走行場面クラスタリング部２１６を備える。
学習部２１０は、第１実施形態の学習部１１０と同じ第１運転行動離散化部１１１、運転行動クラスタリング部１１２、第１周辺物体検出部１１３を備える。一方、第１実施形態の学習部１１０とは処理が異なる要素として、第１挙動履歴生成部２１４、周辺物体クラスタリング部２１５、走行場面クラスタリング部２１６を備える。
第１実施形態の第１挙動履歴生成部１１４が生成する挙動履歴は軌跡俯瞰図であった。これに対して第２実施形態の第１挙動履歴生成部２１４は、挙動履歴として周辺物体トピック特徴量を生成する。周辺物体トピック特徴量は、トピック特徴量を算出するデータとして運転行動データに代えて、周辺状況データを用いたものである。したがって、周辺物体トピック特徴量は、周辺物体の挙動をある程度の時間長さで表したものであることから、周辺物体トピック特徴量は、周辺物体の挙動履歴と言えるのである。また、周辺物体トピック特徴量は、周辺物体離散化情報である。
第１挙動履歴生成部２１４が実行する処理を、図１８を用いて説明する。Ｓ２１では、第１周辺物体検出部１１３が検出した周辺物体についての行動データである周辺物体行動データを生成する。周辺物体行動データは、具体的には、周辺物体までの距離、周辺物体の速度、加速度などである。また、周辺物体までの距離に代えて、周辺物体の座標すなわち位置を用いることもできる。
以下では、周辺物体行動データが、学習車両から周辺物体までの距離であるとして説明する。第２実施形態では、学習車両の周囲を複数に分割して分割エリアを生成する。そして分割エリアごとに周辺物体までの最近距離を逐次算出する。
図１９に、複数に分割したエリアを示している。図１９の例では、学習車両Ｃｓの周囲を６つのエリアに分割している。図１９に示す各エリアの形状は矩形である。学習車両Ｃｓの周囲を複数のエリアに分割し、エリア毎に周辺物体までの最近距離を算出するようにすることで、各エリアに複数の周辺物体が存在しているとしても、処理が簡単になる。このような目的で学習車両Ｃｓの周囲を複数のエリアに分割するので、エリアの形状は任意である。
図２０に、図１９の例の場合に生成される周辺物体行動データを示している。図１９の例では、周辺車両Ｃｎ１は、時刻ｔ＝０においてエリア４の中央付近にいる。そこから学習車両Ｃｓに接近し、時刻ｔ＝Ｔのときはエリア４の前側に位置しており、時刻ｔ＝Ｔ以降も、周辺車両Ｃｎは学習車両Ｃｓとの距離を短くしつつ、しばらくエリア４内を走行する。図２０に示すエリア４の最近距離ｄ４は、周辺車両Ｃｎ１までの距離である。エリア４には、周辺車両Ｃｎ１以外に、周辺車両Ｃｎ２も存在する。しかし、エリア４内における最近距離は周辺車両Ｃｎ１までの距離であるので、周辺車両Ｃｎ２に対しては、周辺物体行動データを生成しないことになる。これにより、計算量を低減できる。
図１９には、周辺車両Ｃｎ３も示されている。周辺車両Ｃｎ３は、時刻ｔ＝０のとき、エリア１の後部に位置しており、そこから前進して時刻ｔ＝τでエリア２に入り、さらに前進している。図２０に示すエリア１の時刻ｔ＝０から時刻ｔ＝τまでの最近距離ｄ１と、エリア２の時刻ｔ＝τ以降の最近距離ｄ２は、周辺車両Ｃｎ３までの距離である。なお、エリアに車両が存在しないときには、例えばｄ∞＝∞としたり、適当な上限値を設定したりする。仮にｄ∞＝∞とした場合には、後述するＳ２２の処理前に、全ての最近距離に対して逆数を取るなど、計算ができるようにする。
Ｓ２２では、Ｓ２１で取得した周辺物体行動データの時系列データから記号列を生成する。記号列の生成方法は、運転行動データの時系列データから記号列を生成する方法と同じである。
Ｓ２３では、Ｓ２２で生成した記号列を１つの周辺物体の行動シーンを意味する部分系列に分節化する。分節化したものを周辺物体離散記号列とする。Ｓ２２で生成した記号列から周辺物体離散記号列を生成する方法は、Ｓ３で生成した記号列から運転離散記号列を生成する方法と同じである。図２０には、このようにして生成した周辺物体離散記号列ｅ１、ｅ２も示されている。
Ｓ２４では、Ｓ２３で生成した周辺物体離散記号列を構成する、それぞれの周辺物体離散記号に対応する周辺物体行動データをヒストグラム化する。Ｓ２５では、Ｓ２４で生成したヒストグラムを、予め用意した複数の周辺物体トピックモデルで表現したときのそれぞれの周辺物体トピックモデルの割合を算出する。予め用意した周辺物体トピックモデルは、基準モデルとなるものであり、停止、巡航、加速など、典型的なシーンを表したヒストグラムのパターンである。
Ｓ２６では、場所別に周辺物体トピック特徴量を記憶部１３２に記憶する。ここでの場所は、運転トピック特徴量と同じである。
周辺物体クラスタリング部２１５は、第１挙動履歴生成部２１４が生成した周辺物体トピック特徴量を、クラスタリングして周辺物体クラスタを生成する。クラスタリングの方法は、運転トピック特徴量のクラスタリングの方法と同じである。
走行場面クラスタリング部２１６は、運転行動クラスタと周辺物体クラスタとの直積で走行場面クラスタを定める。直積で得られた運転行動クラスタと周辺物体クラスタとの組み合わせを、走行場面クラスタとする。
ここでの直積の意味は、運転行動クラスタおよび周辺物体クラスタのいずれか一方でも記号の境界となる時刻であれば、走行場面クラスタにおける境界とするという意味である。図２１に、運転行動クラスタ、周辺物体クラスタ、走行場面クラスタの関係を図示する。第２実施形態において走行場面クラスタリング部２１６は、このようにして決定した走行場面クラスタＣを、図２２に概念的に示すように、運転行動クラスタＡ、運転トピック特徴量、周辺物体クラスタＢ、周辺物体トピック特徴量とともに場所別に記憶部１３２に記憶する。
［推定部２２０の処理］
推定部２２０は、第１実施形態の推定部２２０と同じ第２運転行動離散化部１２１、運転行動クラスタ決定部１２２、第２周辺物体検出部１２３を備える。一方、第１実施形態の推定部１２０とは処理が異なる要素として、第２挙動履歴生成部２２４、周辺物体クラスタ決定部２２５、走行場面推定部２２６を備える。
推定部２２０は、第１実施形態の推定部２２０と同じ第２運転行動離散化部１２１、運転行動クラスタ決定部１２２、第２周辺物体検出部１２３を備える。一方、第１実施形態の推定部１２０とは処理が異なる要素として、第２挙動履歴生成部２２４、周辺物体クラスタ決定部２２５、走行場面推定部２２６を備える。
第２挙動履歴生成部２２４は、第１挙動履歴生成部２１４と同様の処理により、挙動履歴として周辺物体トピック特徴量を生成する。したがって、第２挙動履歴生成部２２４は、推定車両の周辺を第１挙動履歴生成部２１４と同じ複数の領域に分割して、分割した領域別に周辺物体トピック特徴量を生成する。
周辺物体クラスタ決定部２２５は、記憶部１３２に記憶された周辺物体クラスタを参照して、第２挙動履歴生成部２２４が生成した周辺物体トピック特徴量が属する周辺物体クラスタを決定する。記憶部１３２に記憶された周辺物体クラスタを参照する際、周辺物体クラスタデータベースから、周辺状況データが得られたときの推定車両の場所についての周辺物体クラスタのデータを抽出する。周辺物体トピック特徴量が属する周辺物体クラスタを決める処理は、運転トピック特徴量から運転行動クラスタを決める処理と同じである。
走行場面推定部２２６は、運転行動クラスタ決定部１２２が決定した運転行動クラスタと、周辺物体クラスタ決定部２２５が決定した周辺物体クラスタとの組み合わせを、推定車両の現在の走行場面として推定する。第１実施形態の走行場面推定部１２６と同じく、周辺物体クラスタが複数決定されている場合には、それら複数の周辺物体クラスタを含むものを走行場面とする。
［第２実施形態のまとめ］
この第２実施形態に示したように、周辺状況データを運転行動データと同じように扱うことで、周辺物体クラスタを生成することができる。この周辺物体クラスタを利用して、走行場面を推定することができる。
この第２実施形態に示したように、周辺状況データを運転行動データと同じように扱うことで、周辺物体クラスタを生成することができる。この周辺物体クラスタを利用して、走行場面を推定することができる。
また、周辺物体トピック特徴量を挙動履歴とすることで、スパース性の高い周辺物体クラスタが得られる。
以上、実施形態を説明したが、開示した技術は上述の実施形態に限定されるものではなく、次の変形例も開示した範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。
＜変形例１＞
第１実施形態では、軌跡俯瞰図に含まれている移動軌跡ｔｒに周辺物体の移動方向の情報が含まれていた。しかし、移動軌跡ｔｒに周辺物体の移動方向の情報を含ませず、低次元場面特徴量ｚを抽出する際に、移動軌跡ｔｒとは別に方向の差分ベクトルを追加の入力として用いてもよい。
第１実施形態では、軌跡俯瞰図に含まれている移動軌跡ｔｒに周辺物体の移動方向の情報が含まれていた。しかし、移動軌跡ｔｒに周辺物体の移動方向の情報を含ませず、低次元場面特徴量ｚを抽出する際に、移動軌跡ｔｒとは別に方向の差分ベクトルを追加の入力として用いてもよい。
＜変形例２＞
記憶部１３２は、走行場面推定システム１００、２００が備える必要はなく、外部に設置されて、走行場面推定システム１００、２００と通信により接続されていてもよい。
記憶部１３２は、走行場面推定システム１００、２００が備える必要はなく、外部に設置されて、走行場面推定システム１００、２００と通信により接続されていてもよい。
＜変形例３＞
実施形態では、学習部１１０、２１０と推定部１２０、２２０を別々の装置としてもよい。この場合、学習部１１０、２１０が、走行場面学習装置となり、推定部１２０、２２０が走行場面推定装置になる。位置検出部１３１は、走行場面学習装置と走行場面推定装置がそれぞれ備える。記憶部１３２は、相互に利用できるように、たとえば、外部のサーバに配置する。
＜変形例４＞
実施形態では、運転離散記号列の特徴を表した運転トピック特徴量をクラスタリングして運転行動クラスタを決定していた。しかし、記号化することは、クラスタリングをしていることになる。したがって、運転離散記号列を運転行動クラスタとして、そのまま用いてもよい。
また、第２実施形態では、周辺物体離散記号列の特徴を表す周辺物体トピック特徴量をクラスタリングして周辺物体クラスタとしていた。しかし、周辺物体離散記号列を周辺物体クラスタとしてそのまま用いてもよい。
＜変形例５＞
第１実施形態では、各軌跡俯瞰図を運転行動クラスタに対応づけ、運転行動クラスタ別に、低次元場面特徴量ｚをクラスタリングして周辺物体クラスタを生成していた。しかし、運転行動クラスタ別にモデルを作成するのではなく、すべての軌跡俯瞰図を用いて１つのオートエンコーダを作成してもよい。この場合には、軌跡俯瞰図に加えて、運転行動クラスタの情報をベクトル表現したもの、あるいは、運転トピック特徴量自体を入力値として与える。
実施形態では、学習部１１０、２１０と推定部１２０、２２０を別々の装置としてもよい。この場合、学習部１１０、２１０が、走行場面学習装置となり、推定部１２０、２２０が走行場面推定装置になる。位置検出部１３１は、走行場面学習装置と走行場面推定装置がそれぞれ備える。記憶部１３２は、相互に利用できるように、たとえば、外部のサーバに配置する。
＜変形例４＞
実施形態では、運転離散記号列の特徴を表した運転トピック特徴量をクラスタリングして運転行動クラスタを決定していた。しかし、記号化することは、クラスタリングをしていることになる。したがって、運転離散記号列を運転行動クラスタとして、そのまま用いてもよい。
また、第２実施形態では、周辺物体離散記号列の特徴を表す周辺物体トピック特徴量をクラスタリングして周辺物体クラスタとしていた。しかし、周辺物体離散記号列を周辺物体クラスタとしてそのまま用いてもよい。
＜変形例５＞
第１実施形態では、各軌跡俯瞰図を運転行動クラスタに対応づけ、運転行動クラスタ別に、低次元場面特徴量ｚをクラスタリングして周辺物体クラスタを生成していた。しかし、運転行動クラスタ別にモデルを作成するのではなく、すべての軌跡俯瞰図を用いて１つのオートエンコーダを作成してもよい。この場合には、軌跡俯瞰図に加えて、運転行動クラスタの情報をベクトル表現したもの、あるいは、運転トピック特徴量自体を入力値として与える。
１００：走行場面推定システム １１０：学習部 １１１：第１運転行動離散化部 １１２：運転行動クラスタリング部 １１３：第１周辺物体検出部 １１４：第１挙動履歴生成部 １１５：周辺物体クラスタリング部 １１６：走行場面クラスタリング部 １２０：推定部 １２１：第２運転行動離散化部 １２２：運転行動クラスタ決定部 １２３：第２周辺物体検出部 １２４：第２挙動履歴生成部 １２５：周辺物体クラスタ決定部 １２６：走行場面推定部 １３０：共通部 １３１：位置検出部 １３２：記憶部 ２００：走行場面推定システム ２１０：学習部 ２１４：第１挙動履歴生成部 ２１５：周辺物体クラスタリング部 ２１６：走行場面クラスタリング部 ２２０：推定部 ２２４：第２挙動履歴生成部 ２２５：周辺物体クラスタ決定部 ２２６：走行場面推定部
Claims (11)
- 車両の運転行動と前記車両の周辺に存在する移動物体である周辺物体の移動状況との関係を少なくとも表している走行場面を学習する走行場面学習装置であって、
前記車両の運転行動を表す運転行動データを取得し、前記運転行動データを離散化して表す運転行動離散化情報を生成する運転行動離散化部（１１１）と、
前記運転行動離散化情報に基づいて、前記運転行動データをクラスタリングした運転行動クラスタを決定する運転行動クラスタリング部（１１２）と、
前記周辺物体を検出する周辺物体検出部（１１３）と、
前記周辺物体検出部が検出した前記周辺物体の挙動履歴を生成する挙動履歴生成部（１１４、２１４）と、
前記挙動履歴生成部が生成した前記周辺物体の挙動履歴をクラスタリングして周辺物体クラスタを生成する周辺物体クラスタリング部（１１５、２１５）と、
前記運転行動クラスタと前記周辺物体クラスタとを対応付けることで走行場面クラスタを生成し、生成した前記走行場面クラスタを記憶部（１３２）に蓄積する走行場面クラスタリング部（１１６、２１６）と、を備える走行場面学習装置。 - 車両の運転行動と前記車両の周辺に存在する移動物体である周辺物体の移動状況との関係を少なくとも表している走行場面を推定する走行場面推定装置であって、
前記車両の運転行動を表す運転行動データを取得し、前記運転行動データを離散化して表す運転行動離散化情報を生成する運転行動離散化部（１２１）と、
前記運転行動離散化情報が蓄積されたデータベースであって、前記運転行動離散化情報により運転行動クラスタが定まる運転行動データベースを参照して、前記運転行動離散化部が生成した前記運転行動離散化情報が属する前記運転行動クラスタを決定する運転行動クラスタ決定部（１２２）と、
前記車両の周辺に存在する移動物体である周辺物体を検出する周辺物体検出部（１２３）と、
前記周辺物体検出部が検出した前記周辺物体の挙動履歴を生成する挙動履歴生成部（１２４、２２４）と、
前記周辺物体の挙動履歴が蓄積されたデータベースであって、前記周辺物体の挙動履歴がクラスタリングされた周辺物体クラスタが定まる周辺物体データベースを参照して、前記挙動履歴生成部が生成した前記周辺物体の挙動履歴が属する前記周辺物体クラスタを決定する周辺物体クラスタ決定部（１２５、２２５）と、
前記運転行動クラスタ決定部が決定した前記運転行動クラスタと、前記周辺物体クラスタ決定部が決定した前記周辺物体クラスタとから、前記走行場面を推定する走行場面推定部（１２６、２２６）と、を備える走行場面推定装置。 - 車両の運転行動と前記車両の周辺に存在する移動物体である周辺物体の移動状況との関係を少なくとも表している走行場面を推定する走行場面推定システムであって、
前記走行場面を学習する学習部（１１０、２１０）と、前記走行場面を推定する推定部（１２０、２２０）とを備え、
前記学習部は、
前記走行場面を学習するための情報を取得する前記車両である学習車両の運転行動を表す運転行動データを取得し、前記運転行動データを時間で区切り、区切った時間別に、前記運転行動データを離散化して表す運転行動離散化情報を生成する第１運転行動離散化部（１１１）と、
前記第１運転行動離散化部が生成した前記運転行動離散化情報に基づいて、前記運転行動データをクラスタリングした運転行動クラスタを決定する運転行動クラスタリング部（１１２）と、
前記学習車両の周辺に存在する前記周辺物体を検出する第１周辺物体検出部（１１３）と、
前記第１周辺物体検出部が検出した前記周辺物体の挙動履歴を生成する第１挙動履歴生成部（１１４、２１４）と、
前記第１挙動履歴生成部が生成した前記周辺物体の挙動履歴をクラスタリングして周辺物体クラスタを生成する周辺物体クラスタリング部（１１５、２１５）と、
前記運転行動クラスタと前記周辺物体クラスタとを対応付けた走行場面クラスタを生成して記憶部（１３２）に記憶する走行場面クラスタリング部（１１６、２１６）と、を備え、
前記推定部は、
前記走行場面を推定する前記車両である推定車両の運転行動を表す運転行動データを取得し、前記運転行動データを時間で区切り、区切った時間別に、前記運転行動データを離散化して表す運転行動離散化情報を生成する第２運転行動離散化部（１２１）と、
前記記憶部に記憶された前記運転行動クラスタを参照して、前記第２運転行動離散化部が生成した前記運転行動離散化情報が属する前記運転行動クラスタを決定する運転行動クラスタ決定部（１２２）と、
前記推定車両の周辺に存在する前記周辺物体を検出する第２周辺物体検出部（１２３）と、
前記第２周辺物体検出部が検出した前記周辺物体の挙動履歴を生成する第２挙動履歴生成部（１２４、２２４）と、
前記記憶部に記憶された前記周辺物体クラスタを参照して、前記第２挙動履歴生成部が生成した前記周辺物体の挙動履歴が属する前記周辺物体クラスタを決定する周辺物体クラスタ決定部（１２５、２２５）と、
前記運転行動クラスタ決定部が決定した前記運転行動クラスタと、前記周辺物体クラスタ決定部が決定した前記周辺物体クラスタとから、前記走行場面を推定する走行場面推定部（１２６、２２６）と、を備える走行場面推定システム。 - 前記第１挙動履歴生成部（１１４）および前記第２挙動履歴生成部（１２４）は、前記周辺物体の挙動履歴として、前記周辺物体の移動軌跡を俯瞰図に表した軌跡俯瞰図を生成する、請求項３に記載の走行場面推定システム。
- 前記軌跡俯瞰図は、前記周辺物体の移動方向の情報を含んでいる請求項４に記載の走行場面推定システム。
- 前記周辺物体クラスタリング部（１１５）は、前記周辺物体の挙動履歴が複数の前記周辺物体に対して生成されている場合、周辺物体別に前記挙動履歴をクラスタリングし、
前記周辺物体クラスタ決定部（１２５）は、前記周辺物体の挙動履歴が複数の前記周辺物体に対して生成されている場合、周辺物体別に前記周辺物体クラスタを決定し、
前記走行場面推定部（１２６）は、複数の前記周辺物体クラスタが決定されている場合、複数の前記周辺物体クラスタをもとに、前記走行場面を推定する、請求項３～５のいずれか１項に記載の走行場面推定システム。 - 前記第１挙動履歴生成部（２１４）および前記第２挙動履歴生成部（２２４）は、前記周辺物体の挙動履歴を時間で区切り、区切った時間別に前記周辺物体の挙動履歴を離散化して表す周辺物体離散化情報を生成する請求項３に記載の走行場面推定システム。
- 前記第１挙動履歴生成部は、前記学習車両の周辺を複数の領域に分割して、分割した領域別に前記周辺物体離散化情報を生成し、
前記第２挙動履歴生成部は、前記推定車両の周辺を前記第１挙動履歴生成部と同じ複数の領域に分割して、分割した領域別に前記周辺物体離散化情報を生成する請求項７に記載の走行場面推定システム。 - 前記学習部が備える前記周辺物体クラスタリング部（２１５）は、前記第１挙動履歴生成部が生成した前記周辺物体離散化情報をクラスタリングして前記周辺物体クラスタを生成する請求項７または８に記載の走行場面推定システム。
- 前記学習部が備える前記運転行動クラスタリング部は、前記第１運転行動離散化部が生成した前記運転行動離散化情報をクラスタリングして前記運転行動クラスタを生成する請求項３～９のいずれか１項に記載の走行場面推定システム。
- 前記学習部は、場所別に、前記運転行動クラスタ、前記周辺物体クラスタ、および、前記走行場面クラスタを生成し、
前記運転行動クラスタ決定部は、前記記憶部に記憶されている前記運転行動クラスタから、前記運転行動クラスタを決定する前記運転行動離散化情報に対応する前記運転行動データが得られた場所についての前記運転行動クラスタを抽出し、抽出した前記運転行動クラスタを参照して、前記第２運転行動離散化部が生成した前記運転行動離散化情報が属する前記運転行動クラスタを決定し、
前記周辺物体クラスタ決定部は、前記記憶部に記憶されている前記周辺物体クラスタから、前記周辺物体クラスタを決定する前記周辺物体の挙動履歴が得られた場所についての前記周辺物体クラスタを抽出し、抽出した前記周辺物体クラスタを参照して、前記第２挙動履歴生成部が生成した前記周辺物体の挙動履歴が属する前記周辺物体クラスタを決定する請求項３～１０のいずれか１項に記載の走行場面推定システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018083127A JP7024577B2 (ja) | 2018-04-24 | 2018-04-24 | 走行場面学習装置、走行場面推定装置、および走行場面推定システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018083127A JP7024577B2 (ja) | 2018-04-24 | 2018-04-24 | 走行場面学習装置、走行場面推定装置、および走行場面推定システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019191869A JP2019191869A (ja) | 2019-10-31 |
| JP7024577B2 true JP7024577B2 (ja) | 2022-02-24 |
Family
ID=68390411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018083127A Active JP7024577B2 (ja) | 2018-04-24 | 2018-04-24 | 走行場面学習装置、走行場面推定装置、および走行場面推定システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7024577B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7350441B2 (ja) | 2019-10-21 | 2023-09-26 | 日本製鋼所Ｍ＆Ｅ株式会社 | 被冷却部材の冷却方法および冷却装置 |
| JP7348103B2 (ja) * | 2020-02-27 | 2023-09-20 | 株式会社日立製作所 | 運転状態分類システム、および、運転状態分類方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011123552A (ja) | 2009-12-08 | 2011-06-23 | Toyota Central R&D Labs Inc | 類似運転時画像検索装置及びプログラム |
| US20150206001A1 (en) | 2014-01-23 | 2015-07-23 | Robert Bosch Gmbh | Method and device for classifying a behavior of a pedestrian when crossing a roadway of a vehicle as well as passenger protection system of a vehicle |
| JP2015230694A (ja) | 2014-06-06 | 2015-12-21 | 株式会社デンソー | 運転コンテキスト情報生成装置 |
| JP2016118906A (ja) | 2014-12-19 | 2016-06-30 | 株式会社デンソー | 異常検出装置 |
| JP2017204145A (ja) | 2016-05-11 | 2017-11-16 | 株式会社豊田中央研究所 | 走行経路生成装置、モデル学習装置、及びプログラム |
| CN107784251A (zh) | 2016-08-25 | 2018-03-09 | 大连楼兰科技股份有限公司 | 基于图像识别技术对驾驶行为评价的方法 |
-
2018
- 2018-04-24 JP JP2018083127A patent/JP7024577B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011123552A (ja) | 2009-12-08 | 2011-06-23 | Toyota Central R&D Labs Inc | 類似運転時画像検索装置及びプログラム |
| US20150206001A1 (en) | 2014-01-23 | 2015-07-23 | Robert Bosch Gmbh | Method and device for classifying a behavior of a pedestrian when crossing a roadway of a vehicle as well as passenger protection system of a vehicle |
| JP2015230694A (ja) | 2014-06-06 | 2015-12-21 | 株式会社デンソー | 運転コンテキスト情報生成装置 |
| JP2016118906A (ja) | 2014-12-19 | 2016-06-30 | 株式会社デンソー | 異常検出装置 |
| JP2017204145A (ja) | 2016-05-11 | 2017-11-16 | 株式会社豊田中央研究所 | 走行経路生成装置、モデル学習装置、及びプログラム |
| CN107784251A (zh) | 2016-08-25 | 2018-03-09 | 大连楼兰科技股份有限公司 | 基于图像识别技术对驾驶行为评价的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019191869A (ja) | 2019-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6307356B2 (ja) | 運転コンテキスト情報生成装置 | |
| Chen et al. | Pointlanenet: Efficient end-to-end cnns for accurate real-time lane detection | |
| JP5867296B2 (ja) | 運転シーン認識装置 | |
| Chen et al. | Deepdriving: Learning affordance for direct perception in autonomous driving | |
| US20230025414A1 (en) | Method for identifying abnormal driving behavior | |
| Hou et al. | Driver intention recognition method using continuous hidden Markov model | |
| JP2016118906A (ja) | 異常検出装置 | |
| JP6511982B2 (ja) | 運転操作判別装置 | |
| JP2015056058A (ja) | 運転支援装置 | |
| US11912301B1 (en) | Top-down scenario exposure modeling | |
| CN115017742B (zh) | 自动驾驶测试场景生成方法、装置、设备及存储介质 | |
| US20220343637A1 (en) | Traffic flow machine-learning modeling system and method applied to vehicles | |
| JP7024577B2 (ja) | 走行場面学習装置、走行場面推定装置、および走行場面推定システム | |
| JP2017073021A (ja) | 運転支援装置 | |
| JP5895728B2 (ja) | 車群管理装置 | |
| Bando et al. | Automatic drive annotation via multimodal latent topic model | |
| Westny et al. | Vehicle behavior prediction and generalization using imbalanced learning techniques | |
| Villagra et al. | Motion prediction and risk assessment | |
| CN116245183A (zh) | 基于图神经网络的交通场景泛化理解方法及装置 | |
| Juyal et al. | Multiclass Objects Localization Using Deep Learning Technique in Autonomous Vehicle | |
| Englund | Action intention recognition of cars and bicycles in intersections | |
| JP6365035B2 (ja) | 交通オブジェクト検出装置 | |
| Madake et al. | Vision-based recognition of slow signal and stop signal for autonomous driving | |
| Milardo et al. | An unsupervised approach for driving behavior analysis of professional truck drivers | |
| JP7095391B2 (ja) | 異常検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210120 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220111 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220124 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7024577 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |