JP2014106037A - 車載情報提供装置 - Google Patents

Abstract

【課題】車両周辺画像から特定した被写体に関する情報を、車両の運転状況に対応した情報提供方法で車両内のユーザに提供することができる車載情報提供装置を提供する。
【解決手段】車両の運転状況に対応する情報提供方法を実現するアプリケーションを実行して、被写体特定部１２が特定した被写体の属性情報および外観情報を含むコンテンツを生成して車両内のユーザに提供する。
【選択図】図１

Description

この発明は、運転状況に応じて選別された情報を提供する車載情報提供装置に関する。

例えば、特許文献１に記載の車載情報提示システムでは、位置情報と紐付けられた画像データ、走行履歴情報、および走行時に再生した音楽などの情報を、いわゆる思い出情報として保存しておき、思い出情報を特定する条件に合致した地点に車両が近づくと、画像データの表示および音楽の再生を行う。

特開２００８−０３９５７３号公報

特許文献１に代表される従来の技術では、車両周辺を撮影した画像データと音楽データを、位置情報および日時とともに保存し、ナビゲーション機能と連携させて利用することを前提としている。このため、コンテンツとして提供される情報内容は、画像と音楽のみであり、この場所に何度も行けば毎回同じ情報が提供されることから不可避的に娯楽効果は低減するという課題があった。

車両周辺の状況および車両の運転状況は、一般的に時々刻々と変化するものであり、同じ場所で撮影しても、毎回同じ画像が得られるとは限らず、また、同じ運転状況になる場合も少ない。例えば、車両周辺の同一の位置で撮影した歩行者または車両が毎回同じである場合は希であり、また同一の被写体であっても時間帯または季節によっては全く異なる状況で撮影され得る。

このように、車両周辺の画像データは同じ画像を何度も得ることができない希少価値を有しており、車両周辺画像を用いれば、時々刻々と変化する車両周辺の様々な状況を示す情報を提供することが可能である。また、車両の運転状況も同様である。従って、これらの情報をゲームなどに加工することで、同乗者が自車周辺の状況を楽しく把握できるエンターテインメントを提供することができる。

この発明は、上記のような課題を解決するためになされたもので、車両周辺画像から特定した被写体に関する情報を、車両の運転状況に対応した情報提供方法で車両内のユーザに提供することができる車載情報提供装置を得ることを目的とする。

この発明に係る車載情報提供装置は、車両の走行に関する車両情報、車両内の運転者を撮影した画像データ、車両の走行履歴情報および車両のナビゲーション情報を取得する情報取得部と、情報取得部が取得した情報に基づいて、あらかじめ設定された運転状況の態様の中から当該車両の運転状況を判別する運転状況判別部と、車載カメラが撮影した車両周辺の画像データを入力し、当該画像データから主要被写体の画像を抽出する被写体抽出部と、被写体の種別ごとに当該被写体に関する属性情報を記憶するデータベースと、被写体抽出部が抽出した被写体の画像から当該被写体の種別を判別し、判別した種別に基づいてデータベースに記憶された属性情報の中から当該被写体の属性情報を特定するとともに、被写体の画像から当該被写体の撮影時の外観を示す外観情報を特定する被写体特定部と、運転状況判別部が判別した当該車両の運転状況に基づいて、あらかじめ設定された運転状況の態様のそれぞれに対応した情報提供方法の中から、当該車両の運転状況に対応する情報提供方法を判別する提供方法判別部と、運転状況の態様のそれぞれに対応した情報提供方法を実現するアプリケーションを有しており、要求に応じてアプリケーションを要求元に提供するアプリケーション提供部と、提供方法判別部が判別した当該車両の運転状況に対応する情報提供方法を実現するアプリケーションをアプリケーション提供部に要求して取得し、当該アプリケーションを実行することにより、被写体特定部が特定した被写体の属性情報および外観情報に基づいて、当該アプリケーションに対応した情報提供方法による被写体の属性および外観を含むコンテンツを生成するコンテンツ生成部と、前記コンテンツ生成部が生成したコンテンツを車両内のユーザに提供する情報出力部とを備える。

この発明によれば、車両周辺画像から特定した被写体に関する情報を、車両の運転状況に対応した情報提供方法で車両内のユーザに提供することができるという効果がある。

この発明の実施の形態１に係る車載情報提供装置の構成を示すブロック図である。 運転状況判別部の構成およびその処理アルゴリズムを示す図である。 提供方法判別部の構成を示すブロック図である。 車両周辺画像データを基に地物に関する情報を提供する処理を示すフローチャートである。 運転状況がエコ運転の場合の動作を示すフローチャートである。 運転状況が不覚醒運転の場合の動作を示すフローチャートである。 運転状況が案内経路の運転の場合の動作を示すフローチャートである。 運転状況が常用経路の運転の場合の動作を示すフローチャートである。 この発明の実施の形態２に係る車両情報提供システムの概要を示す図である。

実施の形態１．
図１は、この発明の実施の形態１に係る車載情報提供装置の構成を示すブロック図である。図１に示すように、車載情報提供装置１は、車両に搭載され、車両周辺画像から得られた情報を提供する車載情報提供装置であり、車載カメラ１０ａと接続する被写体抽出部１１、被写体特定部１２、記憶部１３、補助情報取得部１４、コンテンツ生成部１５、アプリケーション提供部１６、情報出力部１７、情報取得部１８、運転状況判別部１９および提供方法判別部２０を備えて構成される。

車載センサ１０Ａは、車載カメラ１０ａ，１０ｂを少なくとも備え、これらの撮像画像の他、運転時間および運転時刻を検出するセンサである。
車載カメラ１０ａは、車両周辺を視野範囲とする車載カメラであり、車両に標準的に搭載されたリアカメラ、フロントカメラ、サイドカメラを利用してもよい。
車載カメラ１０ｂは、車両内の運転者を撮影する車載カメラであり、例えば、運転者を撮影してその視線の動きを検出する。

被写体抽出部１１は、車両の走行中に車載カメラ１０ａが撮影した車両周辺の画像データを入力して、当該画像データから主要被写体の画像を抽出する。例えば、各種の被写体抽出アルゴリズムを実行して画像中の主要部（主要被写体）を抽出する。
なお、被写体抽出部１１が、車載センサ１０Ａから、車載カメラ１０ａによる撮影の間に自車が移動した時間および移動距離、操舵角などを算出するための車両走行情報も取得し、車載カメラ１０ａの撮影画像および車両走行情報に基づいて、自車と被写体との距離および被写体の大きさを解析してもよい。

被写体特定部１２は、被写体抽出部１１が抽出した被写体の画像から当該被写体の種別を判別する。例えば、パターン認識技術を用いて、あらかじめ設定された種別（車両、人物、動物、航空機、植物、標識、地物など）に対応するパターンのいずれに被写体がマッチングするかを解析して当該被写体の種別を判別する。また、被写体特定部１２は、判別した被写体の種別に基づいて内蔵データベース１２ａを参照し、内蔵データベース１２ａに記憶された属性情報の中から当該被写体の属性情報を特定する。さらに、被写体特定部１２は、被写体抽出部１１が抽出した被写体の画像から当該被写体の撮影時の外観を示す外観情報を特定する。

記憶部１３は、被写体特定部１２が特定した被写体の属性情報、外観情報および撮影日時情報を関連付けて、当該被写体の履歴情報としてデータ保存領域１３ａに記憶する記憶部である。記憶部１３としては、例えば、車載情報提供装置１に搭載されたハードディスクドライブ（ＨＤＤ）装置、ＵＳＢメモリ、記憶メディア再生装置で再生可能な記憶メディア（ＣＤ、ＤＶＤ、ＢＤ）に構築される。記憶部１３が記憶メディア再生装置である場合には、この装置で再生される記憶メディアにデータ保存領域１３ａが構築される。

補助情報取得部１４は、被写体の種別ごとに被写体に関する属性情報を記憶する外部データベースと通信を行って属性情報を取得する情報取得部である。例えば、属性情報を記憶する特定の外部データベースに通信接続して属性情報を取得する場合と、被写体の種別を含む検索キーを生成して、インターネット上の検索エンジンで属性を検索するよう構成してもよい。

コンテンツ生成部１５は、提供方法判別部２０が判別した当該車両の運転状況に対応する情報提供方法を実現するアプリケーションを、アプリケーション提供部１６に要求して取得し、当該アプリケーションを実行することにより、被写体特定部１２が特定した被写体の属性情報および外観情報に基づいて、当該アプリケーションに対応した情報提供方法による被写体の属性および外観を含むコンテンツを生成する。
例えば、被写体の種別が車両であった場合、自車とすれ違った車両を紹介するコンテンツを生成し、その車種や性能などの属性情報に加えて、その車両が撮影時にどのような外観であったかを紹介する。外観としては、その車両の色を示してもよいが、外装や、汚れの有無などであってもよい。これにより、ユーザは、特別な外装が施された車両とすれ違ったことを知ることができ、また、高級車の外観が汚れていたら残念な情報として認識することができる。このような情報は車載カメラ１０による撮影で得られる、いわゆる刹那的な情報であり、ユーザはその時点の車両周辺情報を楽しむことができる。

アプリケーション提供部１６は、様々な情報提供方法を実現するアプリケーションを有しており、コンテンツ生成部１５からの要求に応じてアプリケーションを提供する。アプリケーション提供部１６が提供するアプリケーションとしては、例えば、情報をリスト形式で表示して車両周辺の情報を紹介するような情報提供方法を実現するものであってもよく、またクイズ形式で提供して同乗者に回答させるような対話型の情報提供方法を実現するものであってもよい。

情報出力部１７は、コンテンツ生成部１５が生成したコンテンツを出力する。例えば、コンテンツを視覚的に提供する車載ディスプレイおよび聴覚的に提供する車内スピーカを備えて構成される。
なお、実施の形態２で後述するように、スマートフォンなどの携帯情報端末でコンテンツを生成し、車載のディスプレイ付きオーディオ機器が情報出力部１７として機能して当該コンテンツを提供するように構成してもよい。

情報取得部１８は、車載センサ１０Ａ、ナビゲーション装置１０Ｂおよび車両制御装置１０Ｃと接続して、車両の走行に関する車両情報、車両内の運転者を撮影した画像データおよび車両の走行履歴情報および車両のナビゲーション情報を取得する。情報取得部１８が取得した情報は、運転状況判別部１９に送られる。
なお、情報取得部１８は、車載センサ１０Ａの車載カメラ１０ａが撮影した車両前方の画像データ（車間距離の算出に使用）や、車載カメラ１０ｂが撮影した運転者の画像データを、運転状況の判別に用いる情報として取得する。
また、情報取得部１８は、ナビゲーション装置１０Ｂがナビゲーション処理を実行している場合、その目的地や経由地などの案内経路に関する情報をナビゲーション情報としてナビゲーション装置１０Ｂから取得する。
さらに、情報取得部１８は、車両制御装置１０Ｃから車両の走行に関する車両情報を、運転状況の判別に用いる情報として取得する。車両の走行に関する車両情報としては、例えば、アクセル／ブレーキの緩急度合い、巡航速度、不要なアクセルの空ぶかし、ハンドル操舵角などを示す情報がある。

運転状況判別部１９は、情報取得部１８が取得した情報に基づいて、あらかじめ設定された運転状況の態様の中から当該車両の運転状況を判別する。以降では、運転状況として、車両の駆動エネルギの消費を抑えるエコ運転、車両の運転者の覚醒状態に応じた運転、ナビゲーション装置１０Ｂが案内処理する案内経路における運転、常用経路における運転を判別する。
なお、エコ運転の度合いは、アクセルやブレーキやハンドル操作などから、エネルギの消費効率の向上にどれだけ寄与したかを特定することで判別可能である。
また、運転者の不覚醒の度合いは、運転者の視線の動きや車線に沿った運転や安定感のある車間距離や急ブレーキや急ハンドルの回数などから、運転者の意識レベルを特定することで判別可能である。
案内経路における運転は、ナビゲーション装置による目的地設定の情報や、走行履歴情報から推測される目的地が出向頻度の低い地点（観光地など）であるかによって判別することが可能である。また、常用経路における運転は、走行履歴情報を参照して出向頻度が高く、日常的によく行く目的地への運転であるかによって判別可能である。

提供方法判別部２０は、運転状況判別部１９が判別した車両の運転状況に基づいて、あらかじめ設定された運転状況の態様のそれぞれに対応した情報提供方法の中から、当該車両の運転状況に対応する情報提供方法を判別する。
エコ運転の度合いに応じた情報提供方法としては、例えば、運転者のエコ運転の度合いの向上を運転者に提示することが考えられる。例えば、被写体の種別が地物である場合、地物の画像をエコ運転の度合いの向上に応じてエコを表す緑色に着色する、または、地物の画像に緑色のプロットを重畳表示する。このようなコンテンツを提供することで、エコ運転のモチベーションを運転者と同乗者で共有することができる。
不覚醒度合いに応じた情報提供方法としては、例えば、被写体の種別が地物である場合に、運転者の覚醒を促すために、地物の画像をハイライト表示し、危険である旨の音声を出力することなどが考えられる。
案内経路に関する情報に応じた情報提供方法としては、例えば、被写体の種別が地物である場合、ドライブ中に撮影された地物の画像を逐一登録した思い出アルバムの形式で情報を提供することなどが考えられる。
常用経路に関する情報に応じた情報提供方法としては、例えば、被写体の種別が地物である場合、目的地に付帯した確認事項に関する情報を地物の画像に重畳表示することなどが考えられる。なお、目的地に付帯した確認事項に関する情報には、例えば、常用経路の目的地が学校である場合、その日の時間割や学校行事の告知などがある。このような情報を、走行中の車両周辺で撮影された地物画像に重畳表示することにより、同乗者と運転者との間で目的地に関する情報の共有を図ることが可能となる。

また、被写体抽出部１１、被写体特定部１２、補助情報取得部１４、コンテンツ生成部１５、アプリケーション提供部１６、情報出力部１７、情報取得部１８、運転状況判別部１９および提供方法判別部２０は、車載情報提供装置１に搭載されたＣＰＵが、これらの構成要素の各機能を記述したプログラムを実行することにより、ソフトウエアとハードウエアとが協働した処理手段として実現される。

図２は、運転状況判別部の構成およびその処理アルゴリズムを示す図であり、図１の運転状況判別部１９の内部機能構成とその運転状況判別アルゴリズムの概要を示している。図２に示すように、運転状況判別部１９は、エコ運転判別部１９０、不覚醒運転判別部１９１、ナビ運転判別部１９２および常用運転判別部１９３を備えて構成される。
エコ運転判別部１９０は、情報取得部１８が取得した各種情報に基づいて、車両の運転状況がエコ運転であるか否かを判別する。例えば、アクセル／ブレーキの緩急度合い、巡航速度、不要なアクセルの空ぶかし、赤信号の手前での不要な加速などの情報を、エコ運転として規定される条件と比較することにより、現在の運転状況がエコ運転に相当するか否かが判別される。なお、運転状況判別部１９の運転状況判別アルゴリズムでは、情報取得部１８が取得した情報を用いて、まず、エコ運転であるか否かが判別される。

現在の運転状況がエコ運転ではない場合、不覚醒運転判別部１９１が、情報取得部１８が取得した各種情報に基づいて、車両の運転状況が運転者が不覚醒の運転であるか否かを判別する。例えば、情報取得部１８が取得した運転者の視線、走行車線の保持範囲、ハンドル操作、前方車両との車間距離、アクセルやブレーキの操作、ドライブ時間、ドライブ時刻などの情報を、これらの情報に関して運転者が不覚醒になり得る値と比較することにより、現在の運転状況が不覚醒運転に相当するか否かが判別される。

現在の運転状況が不覚醒運転ではない場合、ナビ運転判別部１９２が、情報取得部１８が取得した各種情報に基づいて、車両の運転状況がナビゲーション装置１０Ｂによる案内経路の運転であるか否かを判別する。ナビゲーション装置１０Ｂが経路案内を実行しているかを問い合わせてもよいが、例えば、情報取得部１８が取得した走行履歴情報から常用経路を走行しておらず、走行頻度の低い経路上を走行している場合に簡易に案内経路の運転と判別してもよい。

現在の運転状況が案内経路の運転ではない場合、常用運転判別部１９３が、情報取得部１８が取得した各種情報に基づいて、車両の運転状況が常用経路の運転であるか否かを判別する。例えば、情報取得部１８が取得した走行履歴情報から、走行頻度が高く、出向いた頻度が多い目的地に向かっていると推測される場合に常用経路の運転と判別する。
なお、これらの運転状況以外も考えられるが、説明の簡単のため、以降では、運転状況が上記の例に全て分類されるものとする。

図３は、提供方法判別部の構成を示すブロック図であり、図１の提供方法判別部２０の内部機能構成を示している。図３に示す提供方法判別部２０は、エコ運転度合い解析部２０ａ、不覚醒度合い解析部２０ｂ、案内経路解析部２０ｃ、常用経路解析部２０ｄおよび記憶部２０ｅを備えて構成される。
エコ運転度合い解析部２０ａは、運転状況判別部１９により自車の運転状況がエコ運転であると判別された場合に、現在の運転状況におけるエコ運転の度合いを解析し、あらかじめ設定された運転状況の態様のそれぞれに対応した情報提供方法の中から、解析結果のエコ運転の度合いに対応する情報提供方法を判別する。

不覚醒度合い解析部２０ｂは、運転状況判別部１９により自車の運転状況が不覚醒運転であると判別された場合に、現在の運転状況における運転者の不覚醒度合いを解析し、あらかじめ設定された運転状況の態様のそれぞれに対応した情報提供方法の中から、解析結果の不覚醒の度合いに対応する情報提供方法を判別する。
例えば、運転者の視線、走行車線の保持範囲、ハンドル操作、前方車両との車間距離、アクセルやブレーキの操作、ドライブ時間およびドライブ時刻などの情報に対して不覚醒の段階に応じた閾値範囲を設け、現在の運転状況における上記情報と比較して、不覚醒の度合いを推測する。

案内経路解析部２０ｃは、運転状況判別部１９により自車の運転状況が案内経路の運転であると判別された場合に、当該案内経路に関する情報を解析し、あらかじめ設定された運転状況の態様のそれぞれに対応した情報提供方法の中から、解析結果の案内経路に関する情報に対応する情報提供方法を判別する。例えば、情報取得部１８がナビゲーション装置１０Ｂから取得した情報に基づいて、目的地情報、目的地への往きか復りか、立ち寄り地、沿道の観光地などの情報を求める。

常用経路解析部２０ｄは、運転状況判別部１９により自車の運転状況が常用経路の運転であると判別された場合に、当該常用経路に関する情報を解析し、あらかじめ設定された運転状況の態様のそれぞれに対応した情報提供方法の中から、解析結果の常用経路に関する情報に対応する情報提供方法を判別する。例えば、情報取得部１８が取得した走行履歴情報から常用経路の目的地を特定して、上述の目的地に付帯した確認事項に関する情報を求める。

記憶部２０ｅは、解析部２０ａ〜２０ｄの処理に利用される記憶部であり、データ保存領域２０ｅ−１と内蔵データベース２０ｅ−２を備える。
データ保存領域２０ｅ−１は、解析部２０ａ〜２０ｄによる運転状況の解析結果およびそれに応じた情報提供方法の判別結果を履歴情報として記憶する記憶領域である。
内蔵データベース２０ｅ−２は、様々な運転状況の態様とこれに対応する情報提供方法を示す情報とが登録されたデータベースである。

次に動作について説明する。
まず、車両周辺画像データから被写体に関する情報をコンテンツとして提供する処理について説明する。
図４は、車両周辺画像データを基に地物に関する情報を提供する処理を示すフローチャートであり、被写体が地物であった場合の処理を示している。
被写体特定部１２が、被写体抽出部１１が抽出した被写体の画像データを入力すると、あらかじめ設定された被写体の種別をそれぞれ特定する処理を実行する。ここでは、被写体特定部１２が、被写体の種別が地物であると判別する（ステップＳＴ１）。

次に、被写体特定部１２は、被写体の画像データが、地物の属性と外観の特定に必要な特徴点の抽出が可能なデータであるか否かを判定する（ステップＳＴ２）。
ここで、特徴点が抽出不可能な画像データである場合（ステップＳＴ２；ＮＯ）、地物の属性と外観の特定に必要な特徴点の抽出が可能な画像データが得られるまで、ステップＳＴ１からの処理を繰り返す。すなわち、車載カメラ１０ａが、車両周辺の状況を動画として撮影するか、同一被写体が得られるであろう短い撮影間隔で撮影を行うことで、被写体の特定が的確に行えるようにする。

地物の属性と外観の特定に必要な特徴点の抽出が可能である場合（ステップＳＴ２；ＹＥＳ）、被写体特定部１２は、被写体である地物の画像データから特徴点の抽出を行う（ステップＳＴ３）。これにより、被写体である地物の外観（例えば、二値化処理して地物の輪郭画像）を示す特徴情報が生成される。

続いて、被写体特定部１２は、ステップＳＴ３で生成した特徴情報と、内蔵データベース１２ａの各属性情報に対応するパターン画像とを比較して、これらが合致する属性情報があるか否かを判定する（ステップＳＴ４）。ここで、両者が合致する属性情報がない場合（ステップＳＴ４；ＮＯ）、被写体特定部１２は、補助情報取得部１４に指示して外部データベースを参照することにより、当該特徴情報に対応する地物の属性情報を取得する（ステップＳＴ５）。

ステップＳＴ３で生成した特徴情報と合致する属性情報が内蔵データベース１２ａにある場合（ステップＳＴ４；ＹＥＳ）、または、ステップＳＴ５で外部データベースから属性情報が取得されると、被写体特定部１２は、この属性情報を被写体の地物の属性情報として特定する。
属性情報を特定した後に、被写体特定部１２は、被写体である地物の画像データをより詳細に解析して当該地物の撮影時の外観情報を特定する。ここまでの処理がステップＳＴ６の処理となる。
なお、地物の属性情報としては、例えば、地物が建物の場合、建物の種類、名称、建設年月日およびその他の当該地物に関する情報がある。また、地物が山や川などの地形である場合、その名称、高さや深さ、長さなどがある。
さらに、地物の外観情報としては、例えば、地物が建物の場合、建物の外観、汚れ具合、手入れ具合などがある。また、地物が山や川などの地形である場合、その形状や雪の残り具合、雲に隠れている状態などの天候と絡めた外観情報がある。

次に、ステップＳＴ７において、被写体特定部１２は、特定した属性情報と外観情報を撮影日時情報と併せて記憶部１３のデータ保存領域１３ａに保存する。なお、自車の位置情報を得ることができる場合には、撮影場所の情報も併せて保存してもよい。
また、被写体特定部１２は、データ保存領域１３ａを参照して同一の属性の履歴情報を検索する。同一の属性の履歴情報があれば、被写体特定部１２は、これをデータ保存領域１３ａから読み出し、今回取得した属性情報および外観情報と併せてコンテンツ生成部１５に送信する（ステップＳＴ８）。

コンテンツ生成部１５は、被写体特定部１２から受信した地物の属性情報と外観情報に基づいて、当該地物の属性および外観を含むコンテンツを生成する。
例えば、撮影画像から特定された建物を逐一登録するマイアルバムを作成し、建物の種類ごとの属性に併せて登録する。このようにすることで、同乗者は、情報出力部１７（車載ディスプレイ）に表示されたアルバムを参照すれば、自車から視認できた建物に関する情報をドライブ中にリアルタイムに得ることができる。また、“ドライブを開始してから何軒のお寺を通過したか”といった内容のクイズを提供するコンテンツを生成することにより、ドライブした地域の様子を学習することが可能である。

上述の説明では、コンテンツ生成部１５が、あらかじめ設定された情報提供方法でコンテンツを作成する場合を示したが、この発明では、自車の運転状況に応じた情報提供方法による被写体の属性および外観を含むコンテンツを生成して提供することを特徴とする。
以下、自車の運転状況に応じた情報提供方法の判別とこの方法で情報を提供するコンテンツの生成について説明する。

図５は、運転状況がエコ運転の場合の動作を示すフローチャートである。
提供方法判別部２０が、運転状況判別部１９から自車の運転状況がエコ運転であるとの判別結果を取得する（ステップＳＴ１ａ）。また、提供方法判別部２０は、情報取得部１８が取得した情報を、運転状況判別部１９を介して入力する。

次に、提供方法判別部２０のエコ運転度合い解析部２０ａは、情報取得部１８が取得した情報に基づいて、現在の運転状況におけるエコ運転の度合いを解析する（ステップＳＴ２ａ）。例えば、エコ運転に関して、アクセル／ブレーキの緩急度合い、巡航速度、不要なアクセルの空ぶかし、赤信号の手前での不要な加速などの情報から自車の駆動エネルギの消費量を推測し、推測した消費量と、内蔵データベース２０ｅ−２に登録したエコ運転の度合いに紐付けた駆動エネルギの消費量の閾値範囲とを比較して、現在の運転状況のエコ運転の度合いを推測する。

ステップＳＴ３ａにおいて、エコ運転度合い解析部２０ａは、解析結果のエコ運転の度合いとそれに対応する情報提供方法とを履歴情報としてデータ保存領域２０ｅ−１に記憶する。さらに、エコ運転度合い解析部２０ａは、データ保存領域２０ｅ−１を参照して、データ保存領域２０ｅ−１に記憶される履歴情報の中から、今回解析したエコ運転の度合いに対応する履歴情報を読み出す。

続いて、エコ運転度合い解析部２０ａは、内蔵データベース２０ｅ−２に登録されている運転状況の態様のそれぞれに対応した情報提供方法の中から、解析結果のエコ運転の度合いに対応する情報提供方法を判別する。なお、今回解析したエコ運転の度合いに対応する履歴情報がある場合は、内蔵データベース２０ｅ−２に登録されている情報提供方法の中から、履歴情報を利用する情報提供方法を判別する。
例えば、被写体の種別が地物であり、履歴情報からエコ運転の度合いの向上が確認される場合には、このエコ運転の度合いの向上に応じて、エコを表す緑色に地物の画像を着色する、または、地物の画像に緑色のプロットを重畳表示する方法が挙げられる。

エコ運転度合い解析部２０ａが判別した情報提供方法は、コンテンツ生成部１５に通知される。コンテンツ生成部１５は、エコ運転度合い解析部２０ａが判別した情報提供方法を実現するためのアプリケーションをアプリケーション提供部１６に要求する。
この後、コンテンツ生成部１５は、要求に応じてアプリケーション提供部１６から提供されたアプリケーションを実行することにより、被写体特定部１２が特定した被写体の属性情報および外観情報に基づいて、当該アプリケーションに対応した情報提供方法による被写体の属性および外観を含むコンテンツを生成する（ステップＳＴ４ａ）。
情報出力部１７が、コンテンツ生成部１５が生成したコンテンツを視覚的および聴覚的に出力することにより、ユーザが当該コンテンツを視聴することができる。

図６は、運転状況が不覚醒運転の場合の動作を示すフローチャートである。
提供方法判別部２０が、運転状況判別部１９から自車の運転状況が不覚醒運転であるとの判別結果を取得する（ステップＳＴ１ｂ）。また、提供方法判別部２０は、情報取得部１８が取得した情報を、運転状況判別部１９を介して入力する。

次に、提供方法判別部２０の不覚醒度合い解析部２０ｂは、情報取得部１８が取得した情報に基づいて、現在の運転者の不覚醒の度合いを解析する（ステップＳＴ２ｂ）。例えば、運転者の視線、走行車線の保持範囲、ハンドル操作、前方車両との車間距離、アクセルやブレーキの操作、ドライブ時間およびドライブ時刻などの情報に対して不覚醒の段階に応じた閾値範囲を設け、現在の運転状況における上記情報と比較して、不覚醒の度合いを推測する。

ステップＳＴ３ｂにおいて、不覚醒度合い解析部２０ｂは、解析結果の不覚醒の度合いとそれに対応する情報提供方法とを履歴情報としてデータ保存領域２０ｅ−１に記憶する。さらに、不覚醒度合い解析部２０ｂは、データ保存領域２０ｅ−１を参照して、データ保存領域２０ｅ−１に記憶される履歴情報の中から、今回解析した不覚醒の度合いに対応する履歴情報を読み出す。

続いて、不覚醒度合い解析部２０ｂは、内蔵データベース２０ｅ−２に登録されている運転状況の態様のそれぞれに対応した情報提供方法の中から、解析結果の不覚醒の度合いに対応する情報提供方法を判別する。なお、今回解析した不覚醒の度合いに対応する履歴情報がある場合は、内蔵データベース２０ｅ−２に登録されている情報提供方法の中から履歴情報を利用する情報提供方法を判別する。例えば、不覚醒度合いが高い運転が多い運転者である場合、地物の画像に対して、交通事故マップを重畳表示することなどが挙げられる。また、運転者の覚醒を促すために、地物の画像をハイライト表示し、危険である旨の音声を出力してもよい。

不覚醒度合い解析部２０ｂが判別した情報提供方法は、コンテンツ生成部１５に通知される。コンテンツ生成部１５は、不覚醒度合い解析部２０ｂが判別した情報提供方法を実現するためのアプリケーションをアプリケーション提供部１６に要求する。
この後、コンテンツ生成部１５は、要求に応じてアプリケーション提供部１６から提供されたアプリケーションを実行することにより、被写体特定部１２が特定した被写体の属性情報および外観情報に基づいて、当該アプリケーションに対応した情報提供方法による被写体の属性および外観を含むコンテンツを生成する（ステップＳＴ４ｂ）。
情報出力部１７が、コンテンツ生成部１５が生成したコンテンツを視覚的および聴覚的に出力することにより、ユーザが当該コンテンツを視聴することができる。

なお、不覚醒運転の場合、ナビゲーション装置１０Ｂと連携して、コンテンツ生成部１５が、同乗者向けに、進行方向の最寄りのパーキング、サービスエリア、コンビニエンスストア、レストランなどの休憩に適した立ち寄り地の案内を表示するコンテンツを生成してもよい。これにより、同乗者から運転者へ休憩するよう促すことが可能である。
また、同乗者向けのコンテンツとして、立ち寄り地のトイレ情報などの詳細情報を表示してもよい。
さらに、運転者の不覚醒度が高く、危険度の高い状況である場合には、コンテンツ生成部１５が、警告コンテンツを生成して情報出力部１７に出力してもよい。例えば、走行道路の交通規制や警告情報を表示する。

図７は、運転状況が案内経路の運転の場合の動作を示すフローチャートである。
提供方法判別部２０が、運転状況判別部１９から運転状況が案内経路の運転であるとの判別結果を取得する（ステップＳＴ１ｃ）。また、提供方法判別部２０は、情報取得部１８が取得した情報を、運転状況判別部１９を介して入力する。

次に、提供方法判別部２０の案内経路解析部２０ｃは、情報取得部１８が取得した情報に基づいて、案内経路に関する情報を解析する（ステップＳＴ２ｃ）。例えば、普段行かない観光地までのドライブか、目的地はどこか、ドライブの往きか復りか、立ち寄り地はどこか、沿道の観光地はどこかなどを求める。

ステップＳＴ３ｃにおいて、案内経路解析部２０ｃは、解析結果の案内経路に関する情報とそれに対応する情報提供方法とを履歴情報としてデータ保存領域２０ｅ−１に記憶する。さらに、案内経路解析部２０ｃは、データ保存領域２０ｅ−１を参照して、データ保存領域２０ｅ−１に記憶される履歴情報の中から、今回解析した案内経路に関する情報に対応する履歴情報を読み出す。

続いて、案内経路解析部２０ｃは、内蔵データベース２０ｅ−２に登録されている運転状況の態様のそれぞれに対応した情報提供方法の中から、解析結果の案内経路に関する情報に対応する情報提供方法を判別する。なお、今回解析した案内経路に関する情報に対応する履歴情報がある場合は、内蔵データベース２０ｅ−２に登録されている情報提供方法の中から履歴情報を利用する情報提供方法を判別する。例えば、被写体の種別が地物である場合、ドライブ中に撮影された地物の画像を逐一登録した思い出アルバムの形式で情報を提供することなどが考えられる。

案内経路解析部２０ｃが判別した情報提供方法は、コンテンツ生成部１５に通知される。コンテンツ生成部１５は、案内経路解析部２０ｃが判別した情報提供方法を実現するためのアプリケーションをアプリケーション提供部１６に要求する。
この後、コンテンツ生成部１５は、要求に応じてアプリケーション提供部１６から提供されたアプリケーションを実行することにより、被写体特定部１２が特定した被写体の属性情報および外観情報に基づいて、当該アプリケーションに対応した情報提供方法による被写体の属性および外観を含むコンテンツを生成する（ステップＳＴ４ｃ）。
情報出力部１７が、コンテンツ生成部１５が生成したコンテンツを視覚的および聴覚的に出力することにより、ユーザが当該コンテンツを視聴することができる。

図８は、運転状況が常用経路の運転の場合の動作を示すフローチャートである。
提供方法判別部２０が、運転状況判別部１９から運転状況が常用経路の運転であるとの判別結果を取得する（ステップＳＴ１ｄ）。また、提供方法判別部２０は、情報取得部１８が取得した情報を、運転状況判別部１９を介して入力する。

次に、提供方法判別部２０の常用経路解析部２０ｄは、情報取得部１８が取得した情報に基づいて、常用経路に関する情報を解析する（ステップＳＴ２ｄ）。例えば、走行履歴情報から自車が一定の時刻に一定の方向に向かって走行している場合に目的地を推定し、この目的地に付帯した確認事項に関する情報を取得する。
ステップＳＴ３ｄにおいて、常用経路解析部２０ｄは、解析結果の常用経路に関する情報とそれに対応する情報提供方法とを履歴情報としてデータ保存領域２０ｅ−１に記憶する。さらに、常用経路解析部２０ｄは、データ保存領域２０ｅ−１を参照して、データ保存領域２０ｅ−１に記憶される履歴情報の中から、今回解析した常用経路に関する情報に対応する履歴情報を読み出す。

続いて、常用経路解析部２０ｄは、内蔵データベース２０ｅ−２に登録されている運転状況の態様のそれぞれに対応した情報提供方法の中から、解析結果の常用経路に関する情報に対応する情報提供方法を判別する。なお、今回解析した常用経路に関する情報に対応する履歴情報がある場合は、内蔵データベース２０ｅ−２に登録されている情報提供方法の中から履歴情報を利用する情報提供方法を判別する。
例えば、毎日家族を鉄道の駅に送迎している場合、電車の時刻表や鉄道の運行／遅延情報を表示する方法がある。また、学校に向かっている場合は、今日の時間割やまもなく開催される学園祭の告知などの表示を行う。

常用経路解析部２０ｄが判別した情報提供方法は、コンテンツ生成部１５に通知される。コンテンツ生成部１５は、常用経路解析部２０ｄが判別した情報提供方法を実現するためのアプリケーションをアプリケーション提供部１６に要求する。
この後、コンテンツ生成部１５は、要求に応じてアプリケーション提供部１６から提供されたアプリケーションを実行することにより、被写体特定部１２が特定した被写体の属性情報および外観情報に基づいて、当該アプリケーションに対応した情報提供方法による被写体の属性および外観を含むコンテンツを生成する（ステップＳＴ４ｄ）。
情報出力部１７が、コンテンツ生成部１５が生成したコンテンツを視覚的および聴覚的に出力することにより、ユーザが当該コンテンツを視聴することができる。

以上のように、この実施の形態１によれば、車両の走行に関する車両情報、車両内の運転者を撮影した映像データ、車両の走行履歴情報および車両のナビゲーション情報を取得する情報取得部１８と、情報取得部１８が取得した情報に基づいて、あらかじめ設定された運転状況の態様の中から当該車両の運転状況を判別する運転状況判別部１９と、車載カメラ１０ａが撮影した車両周辺の画像データを入力し、当該映像データから主要被写体の画像を抽出する被写体抽出部１１と、被写体の種別ごとに当該被写体に関する属性情報を記憶する内蔵データベース１２ａと、被写体抽出部１１が抽出した被写体の画像から当該被写体の種別を判別し、判別した種別に基づいて内蔵データベース１２ａに記憶された属性情報の中から当該被写体の属性情報を特定するとともに、被写体の画像から当該被写体の撮影時の外観を示す外観情報を特定する被写体特定部１２と、運転状況判別部１９が判別した当該車両の運転状況に基づいて、あらかじめ設定された運転状況の態様のそれぞれに対応した情報提供方法の中から、当該車両の運転状況に対応する情報提供方法を判別する提供方法判別部２０と、様々な運転状況の態様のそれぞれに対応した情報提供方法を実現するアプリケーションを有しており、要求に応じてアプリケーションを要求元に提供するアプリケーション提供部１６と、提供方法判別部２０が判別した当該車両の運転状況に対応する情報提供方法を実現するアプリケーションをアプリケーション提供部１６に要求して取得し、当該アプリケーションを実行することにより、被写体特定部１２が特定した被写体の属性情報および外観情報に基づいて、当該アプリケーションに対応した情報提供方法による被写体の属性および外観を含むコンテンツを生成するコンテンツ生成部１５と、コンテンツ生成部１５が生成したコンテンツを車両内のユーザに提供する情報出力部１７とを備える。このように構成することで、車両周辺画像から特定した被写体に関する情報を、車両の運転状況に対応した情報提供方法で車両内のユーザに提供することができる。これにより、娯楽性の高いエンターテインメントコンテンツを提供することが可能となる。

また、この実施の形態１によれば、運転状況判別部１９が、運転状況の態様として、車両の駆動エネルギの消費を抑えるエコ運転、車両の運転者の不覚醒状態に応じた運転、ナビゲーションの案内経路における運転および常用経路における運転のうちの少なくとも一つを判別する。これにより、これらの運転状況に応じたコンテンツが選別されてコンテンツの娯楽効果を向上させることができる。

さらに、この実施の形態１によれば、提供方法判別部２０が、運転状況判別部１９が判別した当該車両の運転状況がエコ運転である場合、駆動エネルギの消費量で特定されるエコ運転の度合いに応じて情報を提供する情報提供方法を判別し、コンテンツ生成部１５が、被写体の属性および外観を、エコ運転の度合いに応じて提供するコンテンツを生成する。このようにすることで、エコ運転の度合いに応じたコンテンツを提供することができる。

さらに、この実施の形態１によれば、提供方法判別部２０が、運転状況判別部１９が判別した当該車両の運転状況が車両の運転者の不覚醒状態に応じた運転である場合、車両の運転者の不覚醒の度合いに応じて情報を提供する情報提供方法を判別し、コンテンツ生成部１５が、被写体の属性および外観を、車両の運転者の不覚醒の度合いに応じて提供するコンテンツを生成する。このようにすることで、運転者の不覚醒の度合いに応じたコンテンツを提供することができる。

さらに、この実施の形態１によれば、提供方法判別部２０が、運転状況判別部１９が判別した当該車両の運転状況がナビゲーションの案内経路における運転である場合、案内経路の目的地に関する情報、経由地に関する情報、および経路周辺施設に関する情報のうちの少なくとも一つを含めて情報を提供する情報提供方法を判別し、コンテンツ生成部１５が、被写体の属性および外観を、上記情報とともに提供するコンテンツを生成する。このようにすることで、案内経路の運転に応じたコンテンツを提供することができる。

さらに、この実施の形態１によれば、提供方法判別部２０が、運転状況判別部１９が判別した当該車両の運転状況が常用経路における運転である場合、常用経路の目的地に関する情報を含めて情報を提供する情報提供方法を判別し、コンテンツ生成部１５が、被写体の属性および外観を、上記情報とともに提供するコンテンツを生成する。このようにすることで、常用経路の運転に応じたコンテンツを提供することができる。

なお、上記実施の形態１では、被写体の属性情報と外観情報を含むコンテンツを生成する場合を示したが、提供方法判別部２０が判別した情報提供方法によるコンテンツであれば、属性情報または外観情報を含むコンテンツであってもよい。

実施の形態２．
図９は、この発明の実施の形態２に係る車載情報提供システムの概要を示す図である。図９に示す車両情報提供システムは、車載装置１００が、スマートフォンなどの携帯情報端末１０１およびサーバ装置１０２の少なくとも一方と連携して情報提供処理を行う。以下、当該車載情報提供システムの構成態様について説明する。

まず、サーバ装置１０２と連携して、車載装置１００が車載情報提供装置として機能する場合について説明する。
この構成においては、車載装置１００がサーバ装置１０２と直接通信するか、または、車載装置１００が携帯情報端末１０１を経由してサーバ装置１０２と通信する場合が考えられる。サーバ装置１０２は、上記実施の形態１で説明した被写体抽出部１１、被写体特定部１２、記憶部１３、アプリケーション提供部１６および提供方法判別部２０を備えている。また、車載装置１００は、サーバ装置１０２の被写体特定部１２が特定した被写体の属性情報と外観情報を用いてコンテンツ生成を行うコンテンツ生成部１５、コンテンツ生成部１５が生成したコンテンツをユーザに提供するための情報出力部１７、情報取得部１８および運転状況判別部１９を少なくとも備える。

また、車載装置１００が基本的に通信機能のみを有し、サーバ装置１０２によるコンテンツ生成結果を受信してユーザに提供する場合がある。
この構成においても、車載装置１００がサーバ装置１０２と直接通信するか、または、車載装置１００が携帯情報端末１０１を経由してサーバ装置１０２と通信する。
ただし、上記構成と異なり、車載装置１００は、情報出力部１７を備えるが、コンテンツ生成部１５は備えていない。
つまり、サーバ装置１０２が、被写体抽出部１１、被写体特定部１２、記憶部１３、補助情報取得部１４、コンテンツ生成部１５、アプリケーション提供部１６、情報出力部１７、情報取得部１８、運転状況判別部１９および提供方法判別部２０を備える。

この他、携帯情報端末１０１が、サーバ装置１０２と連携してコンテンツ生成処理を行い、その結果を車載装置１００がユーザに提供する場合について説明する。
例えば、携帯情報端末１０１が、被写体抽出部１１、被写体特定部１２、コンテンツ生成部１５、アプリケーション提供部１６、運転状況判別部１９および提供方法判別部２０を備え、サーバ装置１０２が、情報取得部１８を備える。また、車載装置１００は、通信機能に加え、情報出力部１７を備える。
上述のように構成しても、上記実施の形態１と同様な効果を得ることができる。

なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 車載情報提供装置、１０Ａ 車載センサ、１０ａ，１０ｂ 車載カメラ、１０Ｂ ナビゲーション装置、１０Ｃ 車両制御装置、１１ 被写体抽出部、１２ 被写体特定部、１２ａ，２０ｅ−２ 内蔵データベース、１３，２０ｅ 記憶部、１３ａ，２０ｅ−１ データ保存領域、１４ 補助情報取得部、１５ コンテンツ生成部、１６ アプリケーション提供部、１７ 情報出力部、１８ 情報取得部、１９ 運転状況判別部、２０ 提供方法判別部、２０ａ エコ運転度合い解析部、２０ｂ 不覚醒度合い解析部、２０ｃ 案内経路解析部、２０ｄ 常用経路解析部、１００ 車載装置、１０１ 携帯情報端末、１０２ サーバ装置、１９０ エコ運転判別部、１９１ 不覚醒運転判別部、１９２ ナビ運転判別部、１９３ 常用運転判別部。

Claims (6)

1. 車両の走行に関する車両情報、車両内の運転者を撮影した画像データ、前記車両の走行履歴情報および前記車両のナビゲーション情報を取得する情報取得部と、
   前記情報取得部が取得した前記情報に基づいて、あらかじめ設定された運転状況の態様の中から当該車両の運転状況を判別する運転状況判別部と、
   車載カメラが撮影した車両周辺の画像データを入力し、当該画像データから主要被写体の画像を抽出する被写体抽出部と、
   被写体の種別ごとに当該被写体に関する属性情報を記憶するデータベースと、
   前記被写体抽出部が抽出した前記被写体の画像から当該被写体の種別を判別し、判別した種別に基づいて前記データベースに記憶された属性情報の中から当該被写体の属性情報を特定するとともに、前記被写体の画像から当該被写体の撮影時の外観を示す外観情報を特定する被写体特定部と、
   前記運転状況判別部が判別した当該車両の運転状況に基づいて、あらかじめ設定された前記運転状況の態様のそれぞれに対応した情報提供方法の中から、当該車両の運転状況に対応する情報提供方法を判別する提供方法判別部と、
   前記運転状況の態様のそれぞれに対応した情報提供方法を実現するアプリケーションを有しており、要求に応じて前記アプリケーションを要求元に提供するアプリケーション提供部と、
   前記提供方法判別部が判別した当該車両の運転状況に対応する情報提供方法を実現するアプリケーションを前記アプリケーション提供部に要求して取得し、当該アプリケーションを実行することにより、前記被写体特定部が特定した前記被写体の属性情報および外観情報に基づいて、当該アプリケーションに対応した情報提供方法による前記被写体の属性および外観を含むコンテンツを生成するコンテンツ生成部と、
   前記コンテンツ生成部が生成したコンテンツを車両内のユーザに提供する情報出力部とを備える車載情報提供装置。
2. 前記運転状況判別部は、前記運転状況の態様として、前記車両の駆動エネルギの消費を抑えるエコ運転、前記車両の運転者の不覚醒状態に応じた運転、ナビゲーションの案内経路における運転、および常用経路における運転のうちの少なくとも一つを判別することを特徴とする請求項１記載の車載情報提供装置。
3. 前記提供方法判別部は、前記運転状況判別部が判別した当該車両の運転状況がエコ運転である場合、前記駆動エネルギの消費量で特定されるエコ運転の度合いに応じて情報を提供する情報提供方法を判別し、
   前記コンテンツ生成部は、前記被写体の属性および外観を、エコ運転の度合いに応じて提供するコンテンツを生成することを特徴とする請求項２記載の車載情報提供装置。
4. 前記提供方法判別部は、前記運転状況判別部が判別した当該車両の運転状況が前記車両の運転者の不覚醒状態に応じた運転である場合、前記車両の運転者の不覚醒の度合いに応じて情報を提供する情報提供方法を判別し、
   前記コンテンツ生成部は、前記被写体の属性および外観を、前記車両の運転者の不覚醒の度合いに応じて提供するコンテンツを生成することを特徴とする請求項２記載の車載情報提供装置。
5. 前記提供方法判別部は、前記運転状況判別部が判別した当該車両の運転状況が前記ナビゲーションの案内経路における運転である場合、前記案内経路の目的地に関する情報、経由地に関する情報、および経路周辺施設に関する情報のうちの少なくとも一つを含めて情報を提供する情報提供方法を判別し、
   前記コンテンツ生成部は、前記被写体の属性および外観を、前記情報とともに提供するコンテンツを生成することを特徴とする請求項２記載の車載情報提供装置。
6. 前記提供方法判別部は、前記運転状況判別部が判別した当該車両の運転状況が前記常用経路における運転である場合、前記常用経路の目的地に関する情報を含めて情報を提供する情報提供方法を判別し、
   前記コンテンツ生成部は、前記被写体の属性および外観を、前記情報とともに提供するコンテンツを生成することを特徴とする請求項２記載の車載情報提供装置。

Images