JP6206022B2 - 運転支援装置 - Google Patents

Description

本発明は、自車両の状況に応じた情報提供を行う運転支援装置に関する。

従来、周辺車両の速度や距離、衝突余裕時間など、自車両の状況に応じて安全に運転するための各種情報をドライバに提示することが行われている。
こういった情報を提示する技術の一つとして、自車両の後方を撮影したカメラ画像において、後方車両にモーションブラーを加えたり、各種センサでの検出結果等に基づいて設定される危険度に応じて道路に色を付けたりする等して、ドライバに提示したい情報を自然な形で可視化する技術が知られている（例えば、非特許文献１参照）。

C. Roessing et al., "Intuitive Visualization of Vehicle Distance, Velocity and Risk Potential in Rear-View Camera Applications," IEEE Intelligent Vehicles Symposium, 2013

従来技術は、センサ等での検出結果から把握される外部状況が、予め定義された運転シーン（例えば「信号待ち」「急停車」など）のいずれと類似しているかを判定し、その運転シーンに対して予め定義された部位に予め定義された態様で情報提示を行うものである。このため、設計者は、情報を提示したい全ての運転シーンについて、その運転シーンの判定基準を事前に明確に定義しておく必要がある。

しかし、実際の運転シーンは極めて多様であるため、運転開始から終了までのあらゆる運転シーンを想定することは困難であり、現実的には設計者が想定可能である限られた特定の運転シーンでしか情報を提示することができないという問題があった。

また、外部状況（例えば、車速や他車両との位置関係）が同じであっても、ドライバの運転意図（例えば、車線変更の意志の有無）によっては、ドライバの注意を喚起すべき部位は異なったものとなる。しかし、センサ等で検出される瞬時的な外部状況だけでは、このようなドライバの運転意図も含めた総合的な状況（以下「運転文脈」ともいう）の違いを識別することができない。つまり、従来技術は、運転意図を除外した特定の運転文脈しか扱うことができないという問題もあった。

更に、ある外部状況が検出された時に、その外部状況をとり得る複数の運転文脈のそれぞれで提示すべき情報を、全て提示することも考えられるが、その場合、情報過多になり、ドライバにどの情報が本当に必要な情報なのかを理解させることができないという問題があった。

本発明は、上記問題点を解決するために、運転支援装置において、ドライバの運転意図等も含めた総合的な状況に応じた情報提示を実現することを目的とする。

本発明の運転支援装置は、運転挙動データ収集手段と、環境データ収集手段と、シーン分割手段と、特徴量分布生成手段と、報知手段とを備える。
運転挙動データ収集手段は、車両の運転挙動に関わる運転挙動データを繰り返し収集し、環境データ収集手段は、車両周辺の環境を表す環境データを繰り返し収集する。シーン分割手段は、運転挙動データ収集手段にて収集された運転挙動データの系列を、各々が何等かの運転シーンを表す複数の部分系列に分割する。特徴量分布生成手段は、運転挙動データ収集手段によって収集された運転挙動データから得られる一種類以上の特徴量を運転特徴量、環境データ収集手段によって収集された環境データから得られる局所的な特徴量を環境特徴量として、部分系列毎かつ特徴量毎に、該特徴量の値域を複数に分割したビンのいずれに該特徴量が所属するかのインデックス毎の出現頻度を表す特徴量分布を生成する。そして、報知手段は、特徴量分布群における運転特徴量分布と環境特徴量分布の間の共起性を利用して環境データの局所領域に関する報知を制御する。

このように構成された本発明によれば、シーン分割手段によって得られたドライバの運転意図に基づいた運転シーンごとに、運転特徴量分布と環境特徴量分布の共起性に基づいて環境データと運転挙動データとの間の関連の強さを求めるため、報知手段は運転シーンごとに適切な環境データの局所領域を設定することができる。そのため本発明によって、ドライバの運転意図等も含めた総合的な状況に応じた情報提示を実現することができる。

なお、報知手段は、例えば、トピック記憶手段、割合演算手段、確率分布生成手段、報知制御手段によって構成することができる。この場合、部分系列毎に特徴量分布生成手段で生成される複数種類の特徴量分布を特徴量分布群として、トピック記憶手段には、特徴量分布群を表現する際の基底分布として使用される複数の運転トピックからなる運転トピック群が記憶されている。言い換えれば、運転トピックは運転特徴量と環境特徴量のそれぞれの基底分布のセットであり、部分系列毎に生成される特徴量分布群は複数の運転トピックの混合として表現される。この時、この運転トピックの混合比をトピック割合とよぶ。

割合演算手段は、特徴量分布群を運転トピック群によって表現した場合の混合比であるトピック割合を、部分系列毎に算出する。確率分布生成手段は、部分系列毎に、トピック割合および運転トピック群に基づいて、環境特徴量毎に、該環境特徴量を有した局所領域が、どの運転トピックに由来するかを確率的に示す割当用確率分布を生成する。報知制御手段は、環境特徴量および割当用確率分布に従って、局所領域毎に運転トピックを割り当てると共に、予め設定された提示条件を満たす運転トピックが割り当てられた局所領域に関する報知を制御する。

なお、運転トピック群を構成する個々の運転トピックは、運転時に繰り返し出現する特定の状況を表しており、それぞれの部分系列における特徴量分布群は、個々の運転トピックあるいは運転トピックの組合せによって表現される。今後、それぞれの部分系列が持っている運転に関する情報を運転文脈とよぶ。すなわち本発明では、運転トピックとトピック割合によって運転文脈を表現する。

本発明では、運転挙動データの系列を、それぞれが何等かの運転シーンを表す部分系列に分割し、部分系列毎に、運転挙動データや環境データに基づいて生成された特徴量分布から把握される運転トピックとトピック割合という形式で運転文脈を抽出し、その抽出された運転文脈に対応づけられる局所領域を推定し、その推定された局所領域に関する報知を行っている。

このように、本発明によれば、事前に定義された運転シーンのいずれに現在の状況が類似しているかを判定するのではなく、切り出された運転シーンがどのような運転トピックで構成されているかを解析することによって運転文脈を抽出している。このため、本発明では、従来装置とは異なり、事前に定義された限られた運転シーンに限らず、運転開始から運転終了までに出現するあらゆる運転シーンについて、運転文脈に応じた情報提供を実現することができる。

なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

また、本発明は、前述した運転支援装置の他、運転支援装置を構成要素とする各種システム、運転支援装置を構成する各手段としてコンピュータを機能させるためのプログラム、運転支援方法など、種々の形態で実現することができる。

運転支援装置の全体構成図である。 特徴量分布を例示するヒストグラムである。 潜在的ディリクレ配分法（ＬＤＡ：Latent Dirichlet Allocation ）で仮定されるグラフィカルモデルである。 運転トピックの生成過程、および運転トピックを利用したトピック割合の演算過程を示す説明図である。 運転挙動データに関する基底特徴分布を例示した説明図である。 （ａ）がトピック割合から割当用確率分布を生成する過程、（ｂ）が割当用確率分布に従って局所領域毎に運転トピックを割り当てる過程を示す説明図である。 基底特徴分布における出現頻度を尤度比に変換した特徴強調分布を例示した説明図である。 運転文脈に応じた強調表示を例示する図であり、強調表示の対象となる顕著トピックとして、（ａ）は「高ブレーキトピック」（ｂ）は「高速走行トピック」が指定されている場合を示す。 運転文脈に応じた強調表示を例示する図であり、（ａ）は距離画像データを使用した場合、（ｂ）は画像データを使用した場合を示す。

以下に本発明の実施形態を図面と共に説明する。
＜全体構成＞
運転支援装置１は、図１に示すように、運転挙動データ収集部２と、環境データ収集部９と、運転シーン離散化部３と、特徴量分布生成部４と、運転トピックデータベース５と、トピック割合演算部６と、割当用確率演算部７と、強調領域設定部８とを備えている。

運転支援装置１は、マイクロコンピュータ（マイコン）によって実現され、運転トピックデータベース５を除く各部は、マイコンが備える図示しないＣＰＵが所定のプログラムを実行することによって実現されるものである。つまり、ＣＰＵによって実現される各種機能を機能ブロック毎に分けて図示したものが図１である。但し、これら各部は必ずしもソフトウェアにて実現されている必要はなく、その全部または一部をロジック回路等のハードウェアにて実現してもよい。

＜運転挙動データ収集部＞
運転挙動データ収集部２は、運転者による運転操作に関する運転操作データや、その運転操作の結果として現れる車両の挙動に関する車両挙動データを、車両に搭載された各種センサを介して繰り返し収集すると共に、運転操作データや車両挙動データをそれぞれ微分した微分データ（ダイナミックフィーチャ）を生成し、これら、運転操作データ，車両挙動データ，微分データからなる多次元データを運転挙動データとして出力する。

なお、運転操作データとしては、例えば、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操作量（操舵角）、方向指示器の操作状態、トランスミッションのシフト位置などを用いることができる。また、車両挙動データとしては、例えば、車両の速度、ヨーレートなどを用いることができる。以下では、これら運転挙動データを構成する個々のデータを個別データともいう。

＜環境データ収集部＞
環境データ収集部９は、車両の前方、側方、後方などの車両周辺を撮影するように設置された車載カメラ１１から出力される画像データを繰り返し取得して、特徴量分布生成部４に出力する。

＜運転シーン離散化部＞
運転シーン離散化部３は、ドライバの環境認知から操作に至るモデルを利用して、運転挙動データ収集部２から得られる運転挙動データを統計解析し、ドライバ個人（もしくは一般のドライバ）が感じる運転シーンの切り替わり点を抽出することにより、運転挙動データの時系列を、それぞれが何等かの運転シーンを表す複数の部分系列に分節化（離散化）する。

具体的には、二重分節構造を利用した教師なし運転シーン分割法によって分節化を行う二重分節解析器（ＤＡＡ：Double Articulation Analyzer）を利用する。
ＤＡＡは、まず、運転挙動データの値域を表す多次元の空間で運転挙動データから把握される各種の車両の状態を表すクラスタと、各クラスタ間の遷移確率とを予め定義しておき、これらの情報を用いて、運転挙動データ収集部２から取得した運転挙動データがいずれのクラスタに属するかを統計的に処理することにより、運転挙動データの時系列を、区分単位となる車両の状態毎（つまり、クラスタ毎）に区分けする。但し、各クラスタには予め識別用の記号を対応づけておくことにより、運転挙動データの時系列は、どのクラスタに属しているかを表す記号列に変換される。この記号列の生成には、例えば、隠れ状態とその状態間の確率的遷移で表現されるモデルの一つである階層ディリクレ過程隠れマルコフモデル（ＨＤＰ−ＨＭＭ：Hierarchical Dirichlet Process Hidden Markov Model）を利用することができる。但し、ＨＤＰ−ＨＭＭにおいてはクラスタ、および各クラスタ間の遷移確率は、学習によってあらかじめ生成されたものを使用する。

次に、ＤＡＡは、生成された記号列を、統計情報を利用した離散文字列の教師なしチャンク化手法の１例であるNested Pitman-Yor Language Model（ＮＰＹＬＭ）を用いて、所定の運転シーンを意味する部分系列に分節化する。この際、部分系列の並びからなる記号列全体の生成確率が最大となるようにする。これにより、運転挙動データの運転シーンへの分節化を行うことが可能になる。但し、部分系列間の遷移確率、および部分系列の生成確率は、学習によって予め生成されたものを使用する。

なお、ＨＤＰ−ＨＭＭやＮＰＹＬＭを適用したＤＡＡについては、本願出願人が別途発表した非特許文献、T. Taniguchi et al, "Semiotic Prediction of Driving Behavior using Unsupervised Double Articulation Analyzer," IEEE Intelligent Vehicles Symposium, 2012、および、K. Takenaka et al, " Contextual Scene Segmentation of Driving Behavior based on Double Articulation Analyzer," IEEE/RSJ International Conference on Intelligent Robots and Systems, 2012、等に詳述されているため、ここでは説明を省略する。但し、記号の生成や記号の分節化に用いる手法は、ＨＤＰ−ＨＭＭやＮＹＬＭに限定されるものではなく他の手法を用いてもよい。

＜特徴量分布生成部＞
特徴量分布生成部４は、運転特徴算出部４１と、画像特徴算出部４２とを備えている。
運転特徴算出部４１は、運転挙動データ収集部２から出力される時系列の運転挙動データに基づき、運転シーン離散化部３で分節化された部分系列（すなわち、何等かの運転シーン）毎に、その部分系列中に現れる特徴量の分布を生成する。

本実施形態では、運転挙動データを構成する８種類の個別データ（アクセルペダルの操作量（accel）、ブレーキペダルの操作量（brake）、ステアリングの操作量（steering）、車速（velocity）、およびそれらの微分データΔaccel、Δbrake、Δsteering、Δvelocity）のそれぞれを特徴量として、特徴量分布を生成する。

特徴量分布は、図２に示すように、特徴量の値域を表す特徴空間を複数に分割（図では特徴量の最小値〜最大値を２０等分）したものをビンとして、そのビンのインデックス毎に、特徴量の出現頻度を表現したヒストグラムからなる。図において（ａ）は車速Ｖ、（ｂ）は車速の微分値（加速度）ΔＶの特徴量分布を例示したものである。

画像特徴算出部４２は、環境データ収集部９から供給される画像データを、運転シーン離散化部３で分節化された部分系列に従って分節化し、その画像データの部分系列中に現れる特徴量の分布を生成する。ここでは、入力画像を所定サイズ（例えば、３２０×２４０ピクセル）に圧縮し、その圧縮画像データを、一定間隔（例えば、５ピクセル）毎に所定サイズ（例えば、２４×２４ピクセル）を有する複数（ここでは３０７２点）の局所領域を設定し、その局所領域毎に求めたＳＩＦＴ（Scale-Invariant Feature Transform ）特徴量を、特徴量分布の生成対象としている。特徴量分布のインデックスは予め学習によって決定したものを利用する。例えば、ＳＩＦＴ特徴量の値域を表す特徴空間を、k-means 等のクラスタリング手法を用いてクラスタリングし、その結果として得られた各クラスタを特徴量分布のインデックスとして使用する。但し、画像データから分布を生成する特徴量はＳＩＦＴ特徴量に限定されるものではなく他の局所特徴量抽出手法を用いてもよい。

以下では、運転特徴算出部４１が生成する特徴量分布を運転特徴量分布、画像特徴算出部が生成する特徴量分布を画像特徴量分布とも呼ぶ。つまり、特徴量分布生成部４は、それぞれが運転シーンに対応する部分系列毎に、個別データ毎（ここでは８個）の運転特徴量分布と１個の画像特徴量分布からなる特徴量分布群を生成し、画像特徴量分布の生成に用いた画像特徴量（ＳＩＦＴ特徴量）と共にして後段に出力する。

＜運転トピックデータベース＞
運転トピックデータベース５には、特徴量分布生成部４で生成される特徴量分布群を、複数の分布の混合によって表現する場合に基底として使用される複数（例えば１００個）の運転トピックが予め格納されている。

ここで運転トピックの生成方法について説明する。
運転トピックの生成には、それぞれが運転シーンのいずれかに対応する各部分系列を「一つの文書」、観測された特徴（運転特徴量やＳＩＦＴ特徴量など）を「一つの単語」と見なすことで、自然言語処理分野で利用されているトピック推定手法を利用する。

特に、ここでは、運転挙動データ（運転特徴量分布）、画像データ（画像特徴量分布）からなる複数のモダリティに跨る運転トピックを推定するため、潜在的ディリクレ配分法（ＬＤＡ：Latent Dirichlet Allocation ）を拡張した手法であるマルチモーダルＬＤＡを利用する。

ＬＤＡでは、図３に示すようなグラフィカルモデルを仮定する。但し、Ｄがシーン総数、Ｍｄがｄ番目のシーンでのフレーム総数、Ｋがトピック総数、ｗ_ｄ，ｍ がｄ番目のシーンのｍフレームで観測された特徴（すなわち運転特徴量）、ｚ_ｄ，ｍ が特徴ｗ_ｄ，ｍに対して割り当てられるトピックを指示するトピック指示変数（１〜Ｋの自然数をとる）、θ_ｄがｄ番目のシーンに含まれるトピックの割合を示す多項分布パラメータ、φ_ｋはｋ番目のトピックから各特徴量が生成される割合を示す多項分布パラメータ、α，βはそれぞれθ、φのパラメータである。また、θ_ｄ，φ_ｋ、ｚ_ｄ，ｍ ｗ_ｄ，ｍ は、Ｄｉｒをディリクレ分布、Ｍｕｌｔを多項分布として、（１）〜（４）式で定義される。

このモデルを利用してθ、φを推定することになるが、これらの推定には変分ベイズ、ギブスサンプリングなどの近似手法を使用することができる。これらの手法の詳細については、例えば、D. Blei et al, "Latent Dirichlet Allocation," Journal of Machine Learning Research, 2003、や、T. Griffiths & M. Steyvers, "Finding Scientific Topics," Proceedings of the National Academy of Sciences,2004などに記載されているため、ここでは説明を省略する。またマルチモーダルＬＤＡへの拡張についても、T. Nakamura, et al, "Grounding of word meanings in multimodal concepts using LDA," IEEE/RSJ International Conference on Intelligent Robots and Systems, 2009などに記載されているため、ここでは説明を省略する。

但し、運転トピックの生成時に使用する学習用の特徴量分布（運転特徴量分布、画像特徴量分布）は、例えば、次のようにして生成されたものを使用する。
まず、実際に車両を走行させて、車載カメラ１１にて学習用画像の撮影を行うと共に、運転挙動データ収集部２、運転シーン離散化部３、特徴量分布生成部４を作動させることで、学習用画像に対応した学習用の特徴量分布を生成する。次に、生成された学習用の特徴量分布を用いてマルチモーダルＬＤＡにより、基底となる分布を推定した結果が運転トピックとなる。

なお、運転トピックは、図４に示すように、個々の個別データ（運転特徴量分布）にそれぞれ対応した複数の運転基底分布と、画像データ（画像特徴量分布）に対応した画像基底分布とによって構成されている。以下では、運転基定分布および画像基底分布を区別しない場合は、これらを総称して基底特徴分布ともいう。

図５は、生成された運転トピックのうち、５種類の運転トピックＴＰ１〜ＴＰ５について、運転基底分布を例示したものである。特徴量のインデックス毎の出現頻度をトーンで表しており、トーンが白いほど出現頻度が高いことを意味する。

このようにして生成された運転基底分布によって構成される各運転トピックは、それぞれが運転時に繰り返し出現する特定の状況を表している。例えば、運転トピックＴＰ１は、他の運転トピックと比較して、低速域でステアリング操作を頻繁に行う状況において出現するものである。そして、これら個々の運転トピックあるいは運転トピックの組合せによって、何等かの運転文脈が表現される。

＜トピック割合演算部＞
トピック割合演算部６では、特徴量分布生成部４から出力される特徴量分布が、運転トピックデータベース５に格納された運転トピック群を混合することで表現されるものとして、その混合比であるトピック割合（各運転トピックの含有割合）を算出する（図４参照）。なお、トピック割合は、具体的には、マルチモーダルＬＤＡの推定を実現するＥステップおよびＭステップの処理のうち、Ｅステップだけを実行することで求めることができる。

＜割当用確率演算部＞
割当用確率演算部７では、図６（ａ）に示すように、トピック割合演算部６で求められたトピック割合と、運転トピックデータベース５に格納された運転トピックの一部である画像基底分布とに基づき、割当用確率分布を求める。

具体的には、ＴＰ_ｋを識別子ｋで識別される運転トピック、ｗ_ｉを識別子ｉで識別される画像特徴量分布／画像基底分布のビンに所属する画像特徴量、φ_ｋｉを運転トピックＴＰ_ｋの画像基底分布を表す多項分布のｉ成分、Ｋをトピックの総数、θ_ｋをトピック割合における運転トピックＴＰ_ｋの比率として、画像特徴量ｗ_ｉを有した画像上の領域が、運転トピックＴＰ_ｋに由来する確率Ｐ_ｉｋを、（５）式に従って算出する。

これにより、画像特徴量分布／画像基底分布のインデックス毎に、インデックスＢＩＮ_ｉに属する画像特徴量を有する局所領域が、どの運転トピックに由来するかを表す割当用確率分布Ｐ_ｉ＝｛Ｐ_ｉ１，Ｐ_ｉ２，…Ｐ_ｉＫ｝が求められる。但し、図中の確率分布は、確率分布の合計が１となるように正規化する前の値（すなわち、（５）式の分子のみを演算した結果）を示したものである。

＜強調領域設定部＞
強調領域設定部８では、図６（ｂ）に示すように、画像特徴算出部４２で局所領域毎に算出された特徴量に基づき、その特徴量が属するインデックスの割当用確率分布（割当用確率演算部７での演算結果）に従って、その特徴量が算出された局所領域（画像上の領域）に、確率的に運転トピックを割り当てる。但し、割り当ての方法は確率的に割り当てなくてもよく、例えば割当用確率に従って最大の確率をもつ運転トピックを割り当ててもよい。

更に、運転トピックのうち、所定の提示条件を満たすものを顕著トピックとして、顕著トピックが割り当てられた画像上の領域を、その顕著トピックに予め対応づけられた態様（色，ハッチングパタン等）で強調表示するための強調表示データを生成する。ここでは、顕著トピックとして予め指定されていることを提示条件とする。また、強調表示の態様は、顕著トピック毎に予め定義されているものとする。

そして、強調領域設定部８は、生成した強調表示データを、車載カメラ１１から供給される画像データに基づく画像表示を行う表示装置１２に出力する。なお、表示装置１２は、強調表示データに従って、画像データに基づく画像を強調表示する。

ここで、顕著トピックに指定する運転トピックの抽出方法について説明する。
まず、各運転トピックを構成する運転基底分布（図５参照）を用いて、各運転トピックに特有な特徴を抽出する。その抽出には尤度比を利用する。具体的には、ｗ_ｊをｊで識別されるビンに所属する運転特徴量、ＴＰ_ｋを識別子ｋで識別される運転トピック、φ_ｋｊを運転トピックＴＰ_ｋの運転基底分布を表す多項分布のｊ成分として、（６）式に従って尤度比Ｌ_ｊｋを求める。ただし（６）式中の分母は多項分布の成分φ_ｋｊについてｋ以外の成分の和をとることを意味している。なお、尤度比Ｌ_ｊｋは、ある特徴が他の運転トピックには含まれずに特定の運転トピックに含まれている度合いを示すいわゆる逆文書頻度（ＩＤＦ：Inverse Document Frequency）と呼ばれる指標である。

図７は、各運転トピックにおいて、尤度比Ｌ_ｊｋが一定以上（ここでは５）のもののみ表示した特徴強調分布であり、ここでは、図面を見やすくするため、アクセル、ブレーキ、ステアリング、速度についてのみ示している。

この特徴強調分布に基づき、所定条件を満たす運転トピックを顕著トピックに指定する。具体的には、所定条件として、例えば、（１）アクセル開度のヒストグラムにおいて、アクセル開度の値が５０％以上となるビンの尤度比が５以上であること、（２）速度ヒストグラムにおいて、速度値が８０ｋｍ以上となるビンの尤度比が５以上であること等を用いることができる。（１）の場合、図７ではトピックＴＰ３が顕著トピックに指定される。この顕著トピックは、アクセルの踏み込み時等に出現する運転トピック（高加速トピック）であると解釈できる。（２）の場合、図７ではトピックＴＰ５が顕著トピックに指定される。この顕著トピックは、高速走行時等に出現する運転トピック（高速走行トピック）であると解釈できる。つまり、様々な運転文脈が、個々の顕著トピックや、顕著トピックの組合せによって表現されることになる。

顕著トピックは、これに限らず、例えば、ブレーキの踏み込み時等に出現する運転トピック（高ブレーキトピック）、低速走行時に出現する運転トピック（低速走行トピック）、車線変更時に出現する運転トピック（車線変更トピック）、車両が前方に割り込んできた時に出現する運転トピック（被割込トピック）等、特徴強調分布から意味のある解釈を導くことができる運転トピックであればよい。

図８は表示装置１２が表示する画像を例示したものであり、（ａ）は顕著トピックとして「高ブレーキトピック」が指定されている場合に、先行車に衝突しないようにドライバがブレーキを踏み込んだ時の状況、（ｂ）は顕著トピックとして「高速走行トピック」が指定されている場合に、高速道路を走行した時の状況を例示したものである。これらの図からは、それぞれの運転文脈（顕著トピック）において、ドライバの注意を喚起すべき領域が強調表示されていることがわかる。これは特定の運転特徴量とそれに関連する画像特徴量が繰り返し発生しており、これを顕著トピックとして抽出できているためである。

なお、図８では、図面を見やすくするため、顕著トピックが一つである場合について例示したが、顕著トピックが複数設定されている場合は、各顕著トピックに対応する領域がそれぞれ異なった態様（例えば色，ハッチングパタン）で強調表示されたものとなる。

＜効果＞
以上説明したように、運転支援装置１では、教師なしの分割法であるＤＤＡによって運転挙動データの時系列を、それぞれが何等かの運転シーンを表す部分系列に分割し、部分系列毎に運転挙動データや画像データに基づいて生成された特徴量分布から把握される運転文脈（運転トピック）を抽出し、その抽出された運転文脈に対応づけられる局所領域を強調表示している。

このように、運転支援装置１によれば、事前に定義された運転シーンのいずれに現状の状況が類似しているかを判定するのではなく、切り出された運転シーンがどのような運転トピックで構成されているかを解析することによって運転文脈を抽出しているため、運転開始から運転終了までに出現するあらゆる運転シーンについて、事前に定義された情報ではなく運転文脈に応じた情報提供を実現することができる。

しかも、運転シーンの分割にＤＡＡを利用することで、ドライバの直感に適合した単位で運転シーンが抽出されるため、抽出された運転シーンは、安定したドライバの意志を含んだ車両の状況、すなわち、特定の運転文脈が強く反映されたものとなり、運転文脈の抽出を精度よく行うことができる。

＜他の実施形態＞
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

（１）上記実施形態では、特徴量分布の生成対象として、運転挙動データおよび画像データを用いているが、これに限るものではない。例えば、全地球測位システム（ＧＰＳ：Global Positioning System）や慣性計測装置（ＩＭＵ：Inertial Measurement Unit）によって取得される自車両の位置に関する位置データの他、時間帯を表すデータ，天候を表すデータ等、ドライバの運転操作や車両の挙動に影響を及ぼす可能性のあるデータであればどのようなデータを車両挙動データや環境データとして用いてもよい。

（２）上記実施形態では、情報提示に用いるデータとして画像データを用いているが、これに限るものではなく、例えば、各種レーダによって検出される物体までの距離や方位を表すデータや周知の距離画像センサによって検出される距離画像データ等を用いてもよい。これらのデータを用いた場合でも、使用するセンサに応じた局所特徴量を求めることで、通常の画像データを用いた場合と同様に処理をすることができる。その一例として、図９には、高速道路を走行している状況で先行車両が強調表示の対象となっているものとして、（ａ）は距離画像データを使用した場合の情報提示イメージ、（ｂ）は比較のために通常の画像データを使用した場合の情報提示イメージを示す。なお、距離画像データを用いる場合、局所特徴として、ＳＰＩＮ特徴量やＳＨＯＴ特徴量など、３次元点群に対する局所特徴記述子を用いることができる。

（３）上記実施形態では、提示条件として、「顕著トピックとして予め指定されていること」を用いているが、これに限るものではない。例えば、何等かの状況に応じて顕著トピックが切り替わるような提示条件を用いてもよい。また、顕著トピックの指定は、ユーザが任意に設定できるように構成してもよい。

（４）上記実施形態では、顕著トピックが割り当てられた局所領域を画面上で強調表示することによって、視覚的に情報を提示しているが、これに限るものではない。例えば、顕著トピックが割り当てられた局所領域が存在する方向、すなわち、ドライバの注意を促したい方向に音像定位させた音源によって警報音を発生させる等して、聴覚的に情報を提示したり、シートやハンドルを振動させるなど触覚的に情報を提示したりする等してもよい。

（５）本発明の各構成要素は概念的なものであり、上記実施形態に限定されない。例えば、一つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を一つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。

１…運転支援装置 ２…運転挙動データ収集部 ３…運転シーン離散化部 ４…特徴量分布生成部 ５…運転トピックデータベース ６…トピック割合演算部 ７…割当用確率演算部 ８…強調領域設定部 ９…環境データ収集部 １１…車載カメラ １２…表示装置 ４１…運転特徴算出部 ４２…画像特徴算出部

Claims (7)

1. 車両の運転挙動に関わる運転挙動データを繰り返し収集する運転挙動データ収集手段（２）と、
   車両周辺の環境を表す環境データを繰り返し収集する環境データ収集手段（９）と、
   前記運転挙動データ収集手段にて収集された前記運転挙動データの系列を、各々が何等かの運転シーンを表す複数の部分系列に分割するシーン分割手段（３）と、
   前記運転挙動データ収集手段によって収集された前記運転挙動データから得られる一種類以上の特徴量を運転特徴量、前記環境データ収集手段によって収集された環境データから得られる局所的な特徴量を環境特徴量として、前記部分系列毎かつ前記特徴量毎に、該特徴量の出現頻度を表す特徴量分布を生成する特徴量分布生成手段（４）と、
   前記部分系列毎に前記特徴量分布生成手段で生成される複数の特徴量分布を特徴量分布群として、該特徴量分布群における運転特徴量分布と環境特徴量分布の間の共起性を利用して環境データの局所領域に関する報知を制御する報知手段（５，６，７，８）と、
   を備えることを特徴とする運転支援装置。
2. 前記報知手段は、
   前記特徴量分布群を表現する際の基底分布として使用される複数種類の運転トピックからなる運転トピック群を記憶するトピック記憶手段（５）と、
   前記特徴量分布群を、前記運転トピック群を用いて表現した場合の混合比であるトピック割合を、前記部分系列毎に算出する割合演算手段（６）と、
   前記部分系列毎に、前記トピック割合および前記運転トピック群に基づいて、前記環境特徴量毎に、該環境特徴量を有した局所領域が、どの運転トピックに由来するかを確率的に示す割当用確率分布を生成する確率分布生成手段（７）と、
   前記環境特徴量および前記確率分布に従って、前記局所領域毎に前記運転トピックを割り当てると共に、予め設定された提示条件を満たす前記運転トピックが割り当てられた局所領域に関する報知を制御する報知制御手段（８）と、
   を備えることを特徴とする請求項１に記載の運転支援装置。
3. 前記報知制御手段は、前記提示条件を満たす運転トピックが複数存在する場合、該運転トピック毎に異なる態様で前記報知を行うことを特徴とする請求項１または請求項２に記載の運転支援装置。
4. 前記報知制御手段は、前記環境データに基づく画像上で、報知対象となる前記局所領域を強調表示することを特徴とする請求項１ないし請求項３のいずれか１項に記載の運転支援装置。
5. 前記環境データ収集手段は、前記環境データとして画像データまたは距離画像データを収集することを特徴とする請求項１ないし請求項４のいずれか１項に記載の運転支援装置。
6. 前記シーン分割手段は、二重分節構造を利用した教師なし運転シーン分割法によって分節化を行う二重分節解析器（ＤＡＡ：Double Articulation Analyzer）からなることを特徴とする請求項１ないし請求項５のいずれか１項に記載の運転支援装置。
7. 前記割合演算手段は、潜在的ディリクレ配分法（ＬＤＡ：Latent Dirichlet Allocation ）またはマルチモーダルＬＤＡによって、前記トピック割合を求めることを特徴とする請求項１ないし請求項６のいずれか１項に記載の運転支援装置。