JP7100471B2 - 車載装置、走行状態推定方法、サーバ装置、情報処理方法、及び走行状態推定システム - Google Patents

Description

本発明は、車載装置、走行状態推定方法、サーバ装置、情報処理方法、及び走行状態推定システムに関する。

近年、自動車の運転者（以下、ドライバと称する）による危険運転が社会問題となっており、運転中のドライバに対する様々なサポート機能が提案されている。

例えば特許文献１には、ドライバの運転操作に関する情報からドライバの心理状態を推定し、推定した心理状態に応じてドライバに警告を発する技術が開示されている。

特開２０１０－１４３３６２号公報

一般にドライバの心理状態を判定するための情報としては、ドライバの動作、瞬きの頻度、心拍数等が知られているが、これらを検出するためにはカメラや生体センサ等の多種多様なセンサが必要となり、その設置コストや設置スペースの確保が問題となる。

また、特許文献１に記載されている方法では、ドライバの運転操作に関する情報を取得する必要があるので、今後普及が見込まれている自動運転のようにドライバが主体的に運転に関与していない場合には適用できない。現状では自動運転中であってもドライバの注意義務が完全に免除されることはないので、自動運転中であってもドライバの心理状態を推定できる技術の出現が望まれている。

本発明は、このような状況に鑑みてなされたものであり、多種多様なセンサを用いることなく、ドライバの発声に基づき、ドライバの心理状態が影響し得る車両の走行状態を推定できるようにすることを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明の一態様に係る車載装置は、ドライバが発した音声を収集する音声収集部と、車両の走行状態を表す走行状態情報を収集する走行状態収集部と、収集された前記音声に対応する音声情報に、収集された前記走行状態情報を対応付けてデータベースを生成するデータベース生成部と、生成された前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習する学習部と、前記推定モデルを用い、前記ドライバの発声に基づいて前記車両の前記走行状態を推定する推定部と、を備えることを特徴とする。

本発明によれば、多種多様なセンサを用いることなく、ドライバの発声に基づき、ドライバの心理状態が影響し得る車両の走行状態を推定することが可能となる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係る第１の実施の形態である車載装置の構成例を示すブロック図である。 音声-走行状態データベースのデータ構造の一例を示す図である。 教師あり学習を説明するための図である。 推定モデル生成処理の一例を説明するフローチャートである。 走行状態推定処理の一例を説明するフローチャートである。 本発明に係る第２の実施の形態である走行状態推定システムの構成例を示すブロック図である。 本発明に係る第３の実施の形態である走行状態推定システムの構成例を示すブロック図である。 本発明に係る第１の実施の形態である車載装置の第１の変形例を示すブロック図である。 本発明に係る第１の実施の形態である車載装置の第２の変形例を示すブロック図である。 本発明に係る第１の実施の形態である車載装置の第３の変形例を示すブロック図である。 走行状態の異常を判定する方法について説明するための図である。 コンピュータの構成例を示すブロック図である。

以下、本発明に係る複数の実施の形態を図面に基づいて説明する。なお、各実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

＜ドライバが発する音声と車両の走行状態の相関について＞
はじめに、ドライバが発する音声と車両の走行状態との相関について説明する。

一般的に、人はいらいらしているときには早口、大声になったり、眠いときには声量に抑揚がなくなって平坦になったりするように、人の心理状態と発声には相関が有る。そして、いらいらしているときには気が荒くなって急加速や急ハンドルが増えたりし、眠いときには注意力が散漫になって急ブレーキが増えたりするように、ドライバの心理状態は、ドライバの運転、すなわち、車両の走行状態に影響し得る。本発明は、ドライバの発声に基づき、ドライバの心理状態が影響し得る車両の走行状態を推定するものである。

＜本発明に係る第１の実施の形態である車載装置の構成例＞
図１は、本発明に係る第１の実施の形態である車載装置の構成例を示している。

該車載装置１０は、ドライバ（ユーザ）が発する音声（発声）を収集し、ドライバの音声に基づいてドライバの運転状態、換言すれば、車載装置１０が搭載されている車両の走行状態を推定するものである。車載装置１０は、例えばナビゲーションシステムや車載コンピュータシステム等を構成する一装置として、自動車等の車両に搭載される。推定された走行状態は、例えばドライバに対する注意喚起等のフィードバックに用いられる。

ここで、ドライバが発する音声とは、例えばナビゲーションシステムや車載コンピュータシステムに対してドライバが発声する音声コマンドを想定する。ただし、収集するドライバの音声は、音声コマンドに限るものではなく、例えば、同乗者等との会話や独り言を収集するようにしてもよい。

車載装置１０は、音声収集部１１、走行状態収集部１２、ＤＢ（データベース）生成部１３、学習部１４、推定モデル１５、及び推定部１６を備える。

音声収集部１１は、マイクロフォン、及びＡＤコンバータ（いずれも不図示）を用い、ドライバが発する音声を収集し、その結果得られる音声信号を特徴ベクトル（本発明の音声情報に相当する）に変換する。特徴ベクトルとしては、（ＦＣＣ（メル周波数ケプストラム係数）、ピッチ、パワー等を挙げることができる。ただし、音声信号を変換して得られる特徴ベクトルは、上述した例に限るものではなく、他の特徴ベクトルに変換するようにしてもよい。

また、音声収集部１１は、推定モデル生成処理（後述）において、音声の特徴ベクトルに該音声の収集時刻を付与してＤＢ生成部１３に出力する。また、音声収集部１１は、走行状態推定処理（後述）において、音声の特徴ベクトルを推定部１６に出力する。

なお、音声収集部１１が用いるマイクロフォン等は、車載装置１０用に設けてもよいし、車載されているナビゲーションシステム等が備えるものを流用してもよい。

走行状態収集部１２は、車両の走行状態を検出するための加速度センサ、ジャイロセンサ、及び燃費センサ（不図示）のうちの少なくとも１つを用い、該センサの出力値と所定の閾値との比較結果に基づき、ドライバによる運転の荒さや危険回避行動の指標となる走行状態情報（急加速、急ブレーキ、急ハンドルの回数、燃費データ等）を収集し、走行状態情報に収集時刻を付与してＤＢ生成部１３に出力する。なお、走行状態収集部１２が用いる加速度センサ等は、車載装置１０用に設けてもよいし、予め該車両に設けられているものを流用してもよい。

ＤＢ生成部１３は、音声収集部１１から入力される音声の特徴ベクトルに、該音声の収集時刻に前後する所定時間（例えば、前後５分間）に走行状態収集部１２にて収集される走行状態情報を対応付けて記録することにより音声・走行状態ＤＢ１３１を生成する。

図２は、音声・走行状態ＤＢ１３１のデータ構造の一例を示している。

音声・走行状態ＤＢ１３１に記録される各データには、音声情報フィールド１３１１及び走行状態情報フィールド１３１２が設けられている。

音声情報フィールド１３１１には、ＤＢ生成部１３から入力される音声の特徴ベクトルを格納する。これにより、音声情報フィールド１３１１に音声信号をそのまま格納する場合に比較して、格納するデータ量を減少させることができる。

走行状態情報フィールド１３１２には、走行状態情報として、急加速等の回数を表す数値を記録する。なお、数値を記録する代わりに、急加速等の回数と所定閾値を比較して決定する「多い」、「普通」、「少ない」、「良い」、「悪い」等の評価を記録してもよい。

図１に戻る。学習部１４は、音声・走行状態ＤＢ１３１に記録されている、音声の特徴ベクトルとそれに対応する走行状態情報の対を学習データとし、音声の特徴ベクトルを入力ベクトル、それに対応する走行状態情報を教師ラベルとする教師あり学習を実施することによって推定モデル１５を生成する。

学習部１４による教師あり学習について図３を参照して説明する。図３は、入力ベクトル空間１００に、走行状態情報の教師ラベルを付した音声信号の特徴ベクトルをプロットした模式図である。

図中における黒丸は、急加速「少」、急ブレーキ「少」、燃費「良」の走行状態の教師ラベルが付された音声の特徴ベクトルの分布を表す。白三角は、急加速「少」、急ブレーキ「多」、燃費「良」の走行状態の教師ラベルが付された音声の特徴ベクトルの分布を表す。黒四角は、急加速「多」、急ブレーキ「少」、燃費「悪」の走行状態の教師ラベルが付された音声の特徴ベクトルの分布を表す。

学習部１４による教師あり学習では、黒丸が分布する領域１０１と、白三角△が分布する領域１０２と、黒四角が分布する領域１０３との識別面１０４，１０５を定めた推定モデル１５を生成する。

よって、推定モデル１５は、入力ベクトル空間１００が識別面１０４等によって教師ラベルの数と同数の領域に分割されたものとなる。推定モデル１５によれば、入力ベクトル空間１００にて、音声の特徴ベクトルがどの領域に属しているのかを判断することによって、該音声が収集されたときの走行状態を推定することができる。

図１に戻る。推定部１６は、推定モデル１５を用いて走行状態を推定し、推定結果を表す走行状態情報を後段に出力する。

＜車載装置１０による推定モデル生成処理＞
次に、図４は、車載装置１０による推定モデル生成処理の一例を説明するフローチャートである。

該推定モデル生成処理は、例えば、車載装置１０が搭載されている車両が走行し始めたときに開始される。

はじめに、音声収集部１１が、ドライバが発する音声を収集し、該音声に対応する音声信号を特徴ベクトルに変換してＤＢ生成部１３に出力する動作を開始する（ステップＳ１）。一方、走行状態収集部１２が、車両の走行状態を表す走行状態情報を収集してＤＢ生成部１３に出力する動作を開始する（ステップＳ２）。なお、ステップＳ１，Ｓ２の処理は実際には同時に開始される。

次に、ＤＢ生成部１３が、音声収集部１１から入力された音声の特徴ベクトルに、該音声の収集時刻に前後する所定時間に走行状態収集部１２にて収集された走行状態情報を対応付けて記録することにより音声・走行状態ＤＢ１３１を生成する（ステップＳ３）。

次に、学習部１４が、音声・走行状態ＤＢ１３１に記録されている学習データ（音声の特徴ベクトルと走行状態情報との対）を用いて教師あり学習を実施することによって推定モデル１５を生成する（ステップＳ４）。なお、学習部１４による教師あり学習は、音声・走行状態ＤＢ１３１に学習データが所定数だけ溜まってから実行するようにする。

この後、車載装置１０は処理をステップＳ３に戻してそれ以降を繰り返すことになる。ステップＳ３，Ｓ４の処理を繰り返すことにより、学習部１４はより多くの学習データを用いて教師あり学習を行うことができるので、生成される推定モデル１５の精度を向上させることができる。

＜車載装置１０による走行状態推定処理＞
次に、図５は、車載装置１０による走行状態推定処理の一例を説明するフローチャートである。

該走行状態推定処理は、上述した推定モデル生成処理により推定モデル１５が生成されていることを前提とし、例えば、車載装置１０が搭載されている車両が走行し始めたときに開始される。

はじめに、音声収集部１１が、ドライバが発する音声を収集し、該音声に対応する音声信号を特徴ベクトルに変換して推定部１６に出力する処理を開始する（ステップＳ１１）。次に、推定部１６が、音声収集部１１からの入力を監視し、音声の特徴ベクトルが入力されたか否かを判定する（ステップＳ１２）。音声の特徴ベクトルが入力されていないと判定した場合（ステップＳ１２でＮＯ）、推定部１６は音声収集部１１からの入力の監視を継続する。

また、音声の特徴ベクトルが入力されたと判定した場合（ステップＳ１２でＹＥＳ）、推定部１６は、推定モデル１５を用い、音声収集部１１から入力された音声の特徴ベクトルが属する入力ベクトル空間１００の領域に基づいて車両の走行状態を推定し、推定結果を表す走行状態情報を後段に出力する。この後、車載装置１０は処理をステップＳ１２に戻して、それ以降を繰り返すことになる。

以上に説明した走行状態推定処理によれば、ドライバの動作、瞬きの頻度、心拍数等を検知するセンサを用いることなく、ドライバの発声に基づき、ドライバの心理状態が影響し得る車両の走行状態を推定することが可能となる。

なお、車載装置１０から出力される走行状態情報の用途については任意であるが、その例については、後述する変形例にて説明する。

＜本発明に係る第２の実施の形態である走行状態推定システムの構成例＞
次に、図６は、本発明に係る第２の実施の形態である走行状態推定システムの構成例を示している。

該走行状態推定システム２０は、通信ネットワーク４０を介して接続される複数の車載装置３０とサーバ装置５０とから構成される。通信ネットワーク４０は、例えば、携帯電話通信網やインターネット等から成る。

車載装置３０及びサーバ装置５０には、車載装置１０（図１）の構成要素が分散配置されており、車載装置３０及びサーバ装置５０それぞれの構成要素のうち、車載装置１０の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。

車載装置３０は、車載装置１０からＤＢ生成部１３及び学習部１４を省略して通信部３１を追加した構成を有する。なお、車載装置３０から省略されたＤＢ生成部１３及び学習部１４は、サーバ装置５０に設けられている。

すなわち、車載装置３０は、音声収集部１１、走行状態収集部１２、推定モデル１５、推定部１６、及び通信部３１を備える。

車載装置３０における音声収集部１１は、推定モデル生成処理において、音声の特徴ベクトルに該音声の収集時刻を付与して通信部３１に出力し、走行状態推定処理において、音声の特徴ベクトルを推定部１６に出力する。

車載装置３０における走行状態収集部１２は、収集した走行状態情報に収集時刻を付与して通信部３１に出力する。

通信部３１（本発明の第１通信部に相当する）は、推定モデル生成処理において、音声収集部１１から入力される音声の特徴ベクトルと、該音声の収集時刻を基準とする所定の時間範囲内に走行状態収集部１２にて収集された走行状態情報とを対応付けて、通信ネットワーク４０を介してサーバ装置５０に送信する。さらに、通信部３１は、サーバ装置５０にて生成された推定モデル１５を受信し、車載装置３０に既存の推定モデル１５を更新する。

サーバ装置５０は、ＤＢ生成部１３、学習部１４、推定モデル１５、及び通信部５１を備える。

サーバ装置５０におけるＤＢ生成部１３は、各車載装置３０から通信ネットワーク４０を介して入力される音声の特徴ベクトルに、該音声の収集時刻に前後する所定時間に、対応する各車載装置３０の走行状態収集部１２にて収集される走行状態情報を対応付けて記録することにより音声・走行状態ＤＢ１３１を生成する。

サーバ装置５０における学習部１４は音声・走行状態ＤＢ１３１を用い、教師あり学習を実施することによって推定モデル１５を生成し、生成した推定モデル１５を、通信ネットワーク４０を介して各車載装置３０に送信する。

通信部５１（本発明の第２通信部に相当する）は、各車載装置３０から通信ネットワーク４０を介して送信される音声の特徴ベクトルを受信してＤＢ生成部１３に出力する。また、通信部５１は、各車載装置３０から通信ネットワーク４０を介して送信される走行状態情報を受信してＤＢ生成部１３に出力する。さらに、通信部５１は、学習部１４にて生成された推定モデル１５を、通信ネットワーク４０を介して各車載装置３０に送信する。

走行状態推定システム２０では、推定モデル生成処理は主にサーバ装置５０にて実行され、走行状態推定処理は車載装置３０にて実行されることになる。推定モデル生成処理を主に実行するサーバ装置５０には、複数の車載装置３０が接続されているので、サーバ装置５０のＤＢ生成部１３で生成される音声・走行状態ＤＢ１３１には、第１の実施の形態よりも多くの学習データが記録され易くなる。よって、学習部１４で生成される推定モデル１５の精度は第１の実施の形態より高くなる。したがって、走行状態推定システム２０は、車載装置１０に比較して、ドライバの心理状態が影響し得る車両の走行状態の推定精度の向上が期待できる。

＜本発明に係る第３の実施の形態である走行状態推定システムの構成例＞
次に、図７は、本発明に係る第３の実施の形態である走行状態推定システムの構成例を示している。

該走行状態推定システム６０は、通信ネットワーク４０を介して接続される複数の車載装置７０とサーバ装置８０とから構成される。

車載装置７０及びサーバ装置８０には、車載装置１０の構成要素が分散配置されており、車載装置７０及びサーバ装置８０それぞれの構成要素のうち、車載装置１０の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。

車載装置７０は、車載装置１０からＤＢ生成部１３、学習部１４、推定モデル１５、及び推定部１６を省略して通信部７１を追加した構成を有する。なお、車載装置７０から省略されたＤＢ生成部１３、学習部１４、推定モデル１５、及び推定部１６は、サーバ装置８０に設けられている。

すなわち、車載装置７０は、音声収集部１１、走行状態収集部１２、及び通信部７１を備える。

車載装置７０における音声収集部１１は、推定モデル生成処理において、音声の特徴ベクトルに該音声の収集時刻を付与して通信部７１に出力し、走行状態推定処理において、音声の特徴ベクトルを通信部７１に出力する。

車載装置７０における走行状態収集部１２は、収集した収集時刻を付与して通信部７１に出力する。

通信部７１は、推定モデル生成処理において、音声収集部１１が出力する音声の特徴ベクトルと、走行状態収集部１２が出力する走行状態情報を、通信ネットワーク４０を介してサーバ装置８０に送信する。さらに、通信部７１は、走行状態推定処理において、音声収集部１１が出力する音声の特徴ベクトルを、通信ネットワーク４０を介してサーバ装置８０に送信し、サーバ装置８０から送信される、推定された走行状態情報を受信する。

サーバ装置８０は、ＤＢ生成部１３、学習部１４、推定モデル１５、推定部１６、及び通信部８１を備える。

通信部８１は、推定モデル生成処理時において、各車載装置７０から通信ネットワーク４０を介して送信される音声の特徴ベクトルを受信してＤＢ生成部１３に出力する。また、通信部８１は、推定モデル生成処理時において、各車載装置７０から通信ネットワーク４０を介して送信される走行状態情報を受信してＤＢ生成部１３に出力する。さらに、通信部８１は、推定モデル生成処理時において、各車載装置７０から通信ネットワーク４０を介して送信される音声の特徴ベクトルを推定部１６に出力し、該特徴ベクトルに基づく推定部１６による推定結果を表す走行状態情報を、通信ネットワーク４０を介して各車載装置７０に送信する。

走行状態推定システム６０では、推定モデル生成処理及び走行状態推定処理は主にサーバ装置８０にて実行されることになる。推定モデル生成処理を主に実行するサーバ装置８０には、複数の車載装置７０が接続されるので、サーバ装置８０のＤＢ生成部１３で生成される音声・走行状態ＤＢ１３１には、第１の実施の形態よりも多くの学習データが記録され易くなる。よって、学習部１４で生成される推定モデル１５の精度は、第１の実施の形態より高くなる。したがって、走行状態推定システム６０は、車載装置１０に比較して、ドライバの心理状態が影響し得る車両の走行状態の推定精度の向上が期待できる。また、推定モデル生成処理及び走行状態推定処理における車載装置７０の処理負荷を、車載装置１０に比較して減らすことができる。

＜本発明に係る第１の実施の形態である車載装置の第１の変形例＞
次に、図８は、本発明に係る第１の実施の形態である車載装置の第１の変形例を示している。

該車載装置１１０は、車載装置１０（図１）に応答生成部１１１及びＨＭＩ(Human Machine Interface)部１１２を追加したものである。車載装置１１０の構成要素のうち、車載装置１０の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。

応答生成部１１１（本発明のフィードバック生成部に相当する）は、推定部１６が出力する走行状態情報を入力とし、推定された走行状態に応じた応答（ドライバに対するフィードバック）を生成してＨＭＩ部１１２に出力する。ＨＭＩ部１１２は、例えばスピーカやディスプレイ（いずれも不図示）等を用い、応答生成部１１１によって生成された応答を、例えば、音声メッセージや画面表示としてドライバに提示する。なお、ＨＭＩ部１１２が用いるスピーカ等は、車載装置１１０用に設けてもよいし、車両に設けられているものを流用してもよい。

ドライバの心理状態が影響し得る所領の走行状態に応じた応答とは、例えば走行状態として「急ブレーキが多い」と推定された場合には、ドライバの心理状態として、覚醒状態が低かったり、注意力が散漫していたりする可能性が高いので、ドライバに対して「運転に集中してください」等の注意喚起を促すメッセージや「このあたりで休憩しましょう」等の休憩を提案するメッセージをスピーカから音声出力したり、ディスプレイにテキスト表示したりするようにする。

また例えば、走行状態として「急加速が多く、燃費が悪い」と推定された場合には、ドライバの心理状態として、慌てていたり、緊張していたりする可能性が高いので、ドライバに対して「リラックスしてください」等の注意喚起を促すメッセージを音声出力またはテキスト出力したり、クラッシック音楽やスローバラード等の気分を落ち着かせる楽曲を再生出力したりするようにする。

以上に説明した車載装置１１０によれば、各種センサを用いることなく、ドライバの発声に基づき、ドライバの心理状態が影響し得る走行状態を推定することが可能となることに加えて、推定した走行状態に応じたフィードバック（応答）によってドライバを適切にサポートすることが可能となる。

＜本発明に係る第１の実施の形態である車載装置の第２の変形例＞
次に、図９は、本発明に係る第１の実施の形態である車載装置の第２の変形例を示している。

該車載装置１２０は、車載装置１０（図１）に音声認識部１２１、応答生成部１２２、及びＨＭＩ部１２３を追加したものである。車載装置１２０の構成要素のうち、車載装置１０の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。

ただし、車載装置１２０の音声収集部１１は、走行状態推定処理において、収集した音声の特徴ベクトルを推定部１６に出力するとともに、収集した音声の音声信号を音声認識部１２１に出力するようにする。

音声認識部１２１は、音声収集部１１から入力されるドライバの音声信号に対して音声認識処理を行い、音声認識結果を応答生成部１２２に出力する。なお、音声認識部１２１にマイクロフォンを接続し、音声収集部１１を介することなくドライバの音声信号を入力するようにしてもよい。

応答生成部１２２は、推定部１６が出力する走行状態情報と、音声認識部１２１の音声認識結果（発声内容）とを入力としドライバの心理状態が影響し得る車両の走行状態と発声内容に応じた応答を生成してＨＭＩ部１２３に出力する。ＨＭＩ部１２３は、例えばスピーカやディスプレイ（いずれも不図示）等を用い、応答生成部１２２によって生成された応答を、例えば、音声メッセージや画面表示としてドライバに提示する。なお、ＨＭＩ部１２３が用いるスピーカ等は、車載装置１２０用に設けてもよいし、車両に設けられているものを流用してもよい。

走行状態と発声内容に応じた応答とは、例えば、ドライバの発声内容が「音楽をかけて」であって、走行状態として「急加速が多く、燃費が悪い」と推定された場合、ドライバの心理状態は、急いでいたり、緊張していたりする可能性が高いと推定できるので、ドライバの気分を落ち着かせるためにクラッシック音楽やスローバラード等の楽曲を選曲して再生出力するようにする。反対に、走行状態として「急ブレーキが多い」と推定された場合、ドライバの心理状態は覚醒状態が低い状態（眠気が有る状態）である可能性があると推定できるので、眠気を覚ますようなアップテンポの楽曲を選曲して再生出力するようにする。

また例えば、ドライバの発声内容が「レストランを探して」であって、走行状態として「急加速や急ブレーキがない（平常状態）」と推定された場合、ドライバの心理状態は安定し、時間的な余裕があると推定できるので、予め設定されているドライバの好みに合ったレストランを検索して、検索結果を出力するようにする。反対に、走行状態として「急加速が多く、燃費が悪い」と推定された場合、ドライバの心理状態は焦っていて時間的な余裕がないと推定できるので、ドライバの好みよりもなるべく早く到着できるレストランを優先して検索し、検索結果を出力するようにする。

以上に説明した車載装置１２０によれば、各種センサを用いることなく、ドライバの発声に基づき、ドライバの心理状態が影響し得る走行状態を推定することが可能となる。

また、車載装置１２０によれば、ドライバからの音声コマンドを判断して実行するに際し、音声認識結果だけでなく、推定した走行状態も用いるので、音声認識結果には現れてこない言外の心理状態を踏まえたフィードバック（応答）によってドライバを適切にサポートすることが可能となる。

＜本発明に係る第１の実施の形態である車載装置の第３の変形例＞
次に、図１０は、本発明に係る第１の実施の形態である車載装置の第３の変形例を示している。

該車載装置１４０は、車載装置１０（図１）に走行状態異常判定部１４１、発声促進部１４２、及びＨＭＩ部１４３を追加したものである。車載装置１４０の構成要素のうち、車載装置１０の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。

ただし、車載装置１４０の走行状態収集部１２は、収集した走行状態情報に収集時刻を付与してＤＢ生成部１３に出力するとともに、収集した走行状態情報を走行状態異常判定部１４１に出力するものとする。

走行状態異常判定部１４１は、走行状態収集部１２から入力される走行状態情報に基づき、通常の走行状態から逸脱した異常走行状態を検出する。

図１１は、走行状態異常判定部１４１による異常走行状態の検出判定に用いる、異常運転（急加速、急ブレーキ、急ハンドル等）の頻度の時系列変化を示しており、横軸が時間、縦軸が頻度を示している。

走行状態異常判定部１４１は、走行状態収集部１２から入力される走行状態情報に基づき、異常運転の頻度をカウントし、そのカウント値が所定の閾値を超えたとき（図１１のタイミングｔ１）、異常走行状態にあると判定し、その旨を発声促進部１４２に通知する。

発声促進部１４２は、走行状態異常判定部１４１からの、異常走行状態にある旨の通知に応じ、ドライバに対して発声を促す質問メッセージ、例えば「そろそろ休憩を取りませんか？」、「まもなくお昼です。レストランを検索しますので、食べたい料理を教えてください。」、「音楽を聴きましょう。どのアーティストのアルバムを再生しますか？」等の質問文を生成してＨＭＩ部１４３に出力する。なお、質問メッセージは、予め用意されているもののから走行状態や時刻等に応じて選択するようにしてもよい。

ＨＭＩ部１４３は、例えばスピーカやディスプレイ（いずれも不図示）等を用い、発声促進部１４２によって生成された質問文を、例えば、音声メッセージや画面表示としてドライバに提示する。なお、ＨＭＩ部１４３が用いるスピーカ等は、車載装置１４０用に設けてもよいし、車両に設けられているものを流用してもよい。

以上に説明した車載装置１４０によれば、異常走行状態であると判定したときにドライバに発声を促すので、ドライバの発声を能動的に収集でき、教師あり学習の学習データを効率的に収集できる。よって、生成される推定モデル１５の精度を高めて走行状態の推定精度を向上させることが可能となる。

なお、上述した第１～第３の変形例は適宜組み合わせることが可能である。すなわち、例えば、第１の変形例や第２の変形例に、第３の変形例における走行状態異常判定部１４１、及び発声促進部１４２を追加してもよい。

また、上述した本発明に係る第２及び第３の実施の形態は、上述した第１～第３の変形例と同様に変形することが可能である。

ところで、上述した車載装置１０，３０，７０，１１０，１２０，１３０，１４０及びサーバ装置５０，８０については、ハードウェアにより構成することもできるし、ソフトウェアにより実現することもできる。車載装置１０等をソフトウェアにより実現する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図１２は、車載装置１０等をプログラムにより実現するコンピュータのハードウェアの構成例を示すブロック図である。

このコンピュータ２００において、ＣＰＵ（Central Processing Unit）２０１，ＲＯＭ（Read Only Memory）２０２，ＲＡＭ（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。また、入出力インターフェース２０５には、マイクロフォン、ＡＤコンバータ、加速度センサ、ジャイロセンサ，燃費センサ等（いずれも不図示）が接続されていてもよい。

さらに、入出力インターフェース２０５には、ＧＰＳ受信機等の測位信号受信部、ＯＢＤポート等の自動車の車内ネットワークに接続するための接続部、ＦＭ多重放送受信部等が接続されていてもよい。

入力部２０６は、キーボード、マウス、マイクロフォン等より成る。出力部２０７は、ディスプレイやスピーカ等より成る。記憶部２０８は、ハードディスクやＳＳＤ(Solid State Drive)等より成る。通信部２０９は、通信電話モジュールやＷｉ－Ｆｉ通信モジュール等より成る。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータ２００では、ＣＰＵ２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インターフェース２０５およびバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、車載装置１０等が実現される。

コンピュータ２００（ＣＰＵ２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、通信ネットワーク、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ＲＯＭ２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

本発明は、上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現されてもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明は、車載装置、走行状態推定方法、サーバ装置、及び走行状態推定システムだけでなく、コンピュータ読み取り可能なプログラム等の様々な態様で提供することができる。

１０・・・車載装置、１１・・・音声収集部、１２・・・走行状態収集部、１３・・・ＤＢ生成部１３・・・生成部、１４・・・学習部、１５・・・推定モデル、１６・・・推定部、２０・・・走行状態推定システム、２１・・・通信部、３０・・・車載装置、３１・・・通信部、４０・・・通信ネットワーク、５０・・・サーバ装置、５１・・・通信部、６０・・・走行状態推定システム、７０・・・車載装置、７１・・・通信部、８０・・・サーバ装置、８１・・・通信部、１００・・・入力ベクトル空間、１０１・・・領域、１０２・・・領域、１０３・・・領域、１０４・・・識別面、１０５・・・識別面、１１０・・・車載装置、１１１・・・応答生成部、１１２・・・ＨＭＩ部、１２０・・・車載装置、１２１・・・音声認識部、１２２・・・応答生成部、１２３・・・ＨＭＩ部、１３０・・・車載装置、１４０・・・車載装置、１４１・・・走行状態異常判定部、１４２・・・発声促進部、１４３・・・ＨＭＩ部、２００・・・コンピュータ、２０１・・・ＣＰＵ、２０２・・・ＲＯＭ、２０３・・・ＲＡＭ、２０４・・・バス、２０５・・・入出力インターフェース、２０６・・・入力部、２０７・・・出力部、２０８・・・記憶部、２０９・・・通信部、２１０・・・ドライブ、２１１・・・リムーバブルメディア

Claims (16)

1. ドライバが発した音声を収集する音声収集部と、
   車両の走行状態を表す走行状態情報を収集する走行状態収集部と、
   収集された前記音声に対応する音声情報に、収集された前記走行状態情報を対応付けてデータベースを生成するデータベース生成部と、
   生成された前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習する学習部と、
   前記推定モデルを用い、前記ドライバの発声に基づいて、前記ドライバの心理状態が影響し得る前記車両の前記走行状態を推定する推定部と、
   を備えることを特徴とする車載装置。
2. 請求項１に記載の車載装置であって、
   前記学習部は、前記学習データの前記音声情報を入力ベクトル、前記学習データの前記走行状態情報を教師ラベルとして、教師あり学習により前記推定モデルを生成する
   ことを特徴とする車載装置。
3. 請求項１に記載の車載装置であって、
   前記データベース生成部は、収集された前記音声に対応する音声情報に、前記音声の収集時刻に前後して収集された前記走行状態情報を対応付けて前記データベースを生成する
   ことを特徴とする車載装置。
4. 請求項１に記載の車載装置であって、
   前記音声収集部は、ドライバが発した音声を特徴ベクトルに変換し、
   前記データベース生成部は、収集された前記音声に対応する前記音声情報としての前記特徴ベクトルと、収集された前記走行状態情報とを対応付けて前記データベースを生成する
   ことを特徴とする車載装置。
5. 請求項１に記載の車載装置であって、
   前記走行状態収集部は、加速度センサ、ジャイロセンサ、及び燃費センサのうちの少なくとも１つの出力値に基づき前記走行状態情報を収集する
   ことを特徴とする車載装置。
6. 請求項１に記載の車載装置であって、
   推定された前記走行状態に応じて前記ドライバに対するフィードバックを生成するフィードバック生成部を、
   備えることを特徴とする車載装置。
7. 請求項６に記載の車載装置であって、
   収集された前記ドライバの前記音声を認識する音声認識部を、
   備え、
   前記フィードバック生成部は、前記ドライバの前記音声の音声認識結果と、推定された前記走行状態とに応じて前記ドライバに対する前記フィードバックを生成する
   備えることを特徴とする車載装置。
8. 請求項１に記載の車載装置であって、
   前記ドライバに対して発声を促す発声促進部を、
   備えることを特徴とする車載装置。
9. 請求項８に記載の車載装置であって、
   異常走行状態であるか否かを判定する走行状態異常判定部を、
   備え、
   前記発声促進部は、異常走行状態であると判定された場合、前記ドライバに対して発声を促す
   ことを特徴とする車載装置。
10. 車載装置による走行状態推定方法であって、
    ドライバが発した音声を収集する音声収集ステップと、
    車両の走行状態を表す走行状態情報を収集する走行状態収集ステップと、
    収集された前記音声に対応する音声情報に、収集された前記走行状態情報を対応付けてデータベースを生成するデータベース生成ステップと、
    生成された前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習する学習ステップと、
    前記推定モデルを用い、前記ドライバの発声に基づいて、前記ドライバの心理状態が影響し得る前記車両の前記走行状態を推定する推定ステップと、
    を含むことを特徴とする走行状態推定方法。
11. 通信ネットワークを介して接続される車載装置とサーバ装置とを備える走行状態推定システムであって、
    前記車載装置は、
    ドライバが発した音声を収集する音声収集部と、
    車両の走行状態を表す走行状態情報を収集する走行状態収集部と、
    収集された前記音声に対応する音声情報、及び前記走行状態情報を前記サーバ装置に送信する第１通信部と、を備え、
    前記サーバ装置は、
    前記車載装置から送信された前記音声情報及び前記走行状態情報を受信する第２通信部と、
    受信された前記音声情報に前記走行状態情報を対応付けてデータベースを生成するデータベース生成部と、
    生成された前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習する学習部と、を備え、
    前記車載装置または前記サーバ装置は、
    前記推定モデルを用い、前記ドライバの発声に基づいて、前記ドライバの心理状態が影響し得る前記車両の前記走行状態を推定する推定部を、備える
    ことを特徴とする走行状態推定システム。
12. 通信ネットワークを介して接続される車載装置とサーバ装置とを備える走行状態推定システムの走行状態推定方法であって、
    前記車載装置による、ドライバが発した音声を収集するとともに、車両の走行状態を表す走行状態情報を収集する収集ステップと、
    前記車載装置による、収集された前記音声に対応する音声情報、及び前記走行状態情報を前記サーバ装置に送信する送信ステップと、
    前記サーバ装置による、前記車載装置から送信された前記音声情報及び前記走行状態情報を受信する受信ステップと、
    前記サーバ装置による、受信された前記音声情報に前記走行状態情報を対応付けてデータベースを生成するデータベース生成ステップと、
    前記サーバ装置による、生成された前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習する学習ステップと、
    前記車載装置または前記サーバ装置による、前記推定モデルを用い、前記車載装置で収集された前記ドライバの発声に基づいて、前記ドライバの心理状態が影響し得る前記車両の前記走行状態を推定する推定ステップと、
    を含むことを特徴とする走行状態推定方法。
13. 車載装置から送信されたドライバの音声に対応する音声情報、及び車両の走行状態情報を受信し、受信した前記音声情報に前記走行状態情報を対応付けて記録したデータベースを生成し、生成した前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習するサーバ装置とともに走行状態推定システムを成す車載装置であって、
    ドライバが発した音声を収集する音声収集部と、
    車両の走行状態を表す前記走行状態情報を収集する走行状態収集部と、
    収集された前記音声に対応する前記音声情報、及び前記走行状態情報を前記サーバ装置に送信する通信部と、
    前記サーバ装置で学習された前記推定モデルを用い、前記ドライバの発声に基づいて、前記ドライバの心理状態が影響し得る前記車両の前記走行状態を推定する推定部と、
    を備えることを特徴とする車載装置。
14. 車載装置から送信されたドライバの音声に対応する音声情報、及び車両の走行状態情報を受信し、受信した前記音声情報に前記走行状態情報を対応付けて記録したデータベースを生成し、生成した前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習するサーバ装置とともに走行状態推定システムを成す車載装置の走行状態推定方法であって、
    ドライバが発した音声を収集する音声収集ステップと、
    車両の走行状態を表す前記走行状態情報を収集する走行状態収集ステップと、
    収集された前記音声に対応する前記音声情報、及び前記走行状態情報を前記サーバ装置に送信する送信ステップと、
    前記サーバ装置で学習された前記推定モデルを用い、前記ドライバの発声に基づいて、前記ドライバの心理状態が影響し得る前記車両の前記走行状態を推定する推定ステップと、
    を含むことを特徴とする走行状態推定方法。
15. ドライバが発した音声を収集するとともに、車両の走行状態を表す走行状態情報を収集し、収集した前記音声に対応する音声情報、及び前記走行状態情報を送信する車載装置とともに走行状態推定システムを成すサーバ装置であって、
    前記車載装置から送信された前記音声情報及び前記走行状態情報を受信する通信部と、
    受信された前記音声情報に前記走行状態情報を対応付けてデータベースを生成するデータベース生成部と、
    生成された前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習する学習部と、
    前記推定モデルを用い、前記ドライバの発声に基づいて、前記ドライバの心理状態が影響し得る前記車両の前記走行状態を推定する推定部と、
    を備えることを特徴とするサーバ装置。
16. ドライバが発した音声を収集するとともに、車両の走行状態を表す走行状態情報を収集し、収集した前記音声に対応する音声情報、及び前記走行状態情報を送信する車載装置とともに走行状態推定システムを成すサーバ装置の情報処理方法であって、
    前記車載装置から送信された前記音声情報及び前記走行状態情報を受信する受信ステップと、
    受信された前記音声情報に前記走行状態情報を対応付けてデータベースを生成するデータベース生成ステップと、
    生成された前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習する学習ステップと、
    前記推定モデルを用い、前記ドライバの発声に基づいて、前記ドライバの心理状態が影響し得る前記車両の前記走行状態を推定する推定ステップと、
    を含むことを特徴とする情報処理方法。

Images