JP6443213B2

JP6443213B2 - 覚醒維持システムおよび車載機

Info

Publication number: JP6443213B2
Application number: JP2015098406A
Authority: JP
Inventors: 山本　真之; 真之山本; 浅見　克志; 克志浅見; 大介梶; 佑哉服部
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2015-05-13
Filing date: 2015-05-13
Publication date: 2018-12-26
Anticipated expiration: 2035-05-13
Also published as: JP2016213791A

Description

本発明は、覚醒維持システムおよび車載機に関するものである。

特許文献１には、車両のドライバの覚醒を維持するため、ドライバの覚醒度が低いときにドライバの嗜好に合わせた音声、例えばドライバの好みの音楽を選択して再生する車載装置が開示されている。

また、ハンズフリー装置を利用して、車両のドライバと車外の人との会話を実現する技術が周知である。

特開２０１０−１４９７５７号公報

特許文献１のような技術では、ドライバが単に音声を聞くだけなので、覚醒維持の効果が必ずしも高くない。そこで本願の発明者は、ドライバと車外の人との会話を利用してドライバの覚醒をより効果的に維持することを着想し、鋭意検討を加えた。

そして検討の結果、ドライバが車外の人と会話を行ったとしても、意識の脇見が発生してしまう可能性があることを見出した。意識の脇見とは、ドライバが会話に集中してしまい、ドライバの視線が前方の道路を見ていても注意力は散漫になっている状態をいう。ドライバが会話をすることで覚醒が維持されること自体は良いことであるが、その状態において更に意識の脇見が発生した場合でも、車両の走行の安全性を高めるために何らかの対処を行うことが望ましい。

本発明は上記点に鑑み、ドライバの覚醒を維持するためのシステムにおいて、ドライバと車外の人との会話を実現させると共に、意識の脇見に対応して車両の走行の安全性を高める技術を提供することを目的とする。

上記目的を達成するための請求項１に記載の発明は、車両に搭載される車載機（３９）と、前記車両の外部において前記車載機と通信する１つ以上の車外端末（４、１２ａ、１２ｂ、１２ｃ）とを備え、前記車載機と前記１つ以上の車外端末のうち１つの車外端末は、互いに通信することで、前記車両のドライバと前記１つの車外端末の操作者の間の音声通話を媒介し、前記車載機は、前記音声通話が行われているとき、前記車両の前方の映像を表す前方画像データを前記１つの車外端末に送信し、前記１つの車外端末は、前記音声通話を媒介しているとき、前記車載機が送信した前記前方画像データに基づく前方画像（Ｄ４）を前記操作者に表示し、前記１つの車外端末は、前記音声通話を媒介しているとき、前記前方画像のうち前記ドライバの視線に応じた部分を示す表示（Ｄ５）を行うことを特徴とする覚醒維持システムである。
また、請求項３に記載の発明は、車両に搭載される車載機（３９）と、前記車両の外部において前記車載機と通信する１つ以上の車外端末（４、１２ａ、１２ｂ、１２ｃ）とを備え、前記車載機と前記１つ以上の車外端末のうち１つの車外端末は、互いに通信することで、前記車両のドライバと前記１つの車外端末の操作者の間の音声通話を媒介し、前記車載機は、前記音声通話が行われているとき、前記車両の前方の映像を表す前方画像データを前記１つの車外端末に送信し、前記１つの車外端末は、前記音声通話を媒介しているとき、前記車載機が送信した前記前方画像データに基づく前方画像（Ｄ４）を前記操作者に表示し、前記１つの車外端末は、前記音声通話を媒介しているとき、前記前方画像に基づいて、前記車両の運転において前記ドライバが注意すべき状況を検出し、検出した状況を示す注意喚起情報（Ｄ６）を前記操作者に表示することを特徴とする覚醒維持システムである。

また、請求項１１に記載の発明は、車両に搭載され、前記車両の外部における１つ以上の車外端末（４、１２ａ、１２ｂ、１２ｃ）と通信する車載機であって、前記１つ以上の車外端末のうち１つの車外端末と通信することで、前記車両のドライバと前記１つの車外端末の操作者の間の音声通話を媒介する通話手段（１６２）と、前記通話手段により音声通話が行われているとき、前記車両の前方の映像を表す前方画像データおよび前記ドライバの視線方向に相当する前記前方画像上の一部分を示す視線方向データを、前記１つの車外端末に送信することで、前記前方画像データに基づく前方画像（Ｄ４）および前記前方画像のうち前記ドライバの視線に応じた部分を示す表示（Ｄ５）を前記操作者に表示させるデータ送信手段（１７２）と、を備えた車載機である。

このように、車載機と当該１つの車外端末を媒介として車両のドライバと当該１つの車外端末の操作者の間で音声通話が実現するので、人と人との会話による高い覚醒維持効果を得ることができる。また、音声通話が行われているとき、車両の前方の映像を表す前方画像データが車載機から当該１つの車外端末に送信され、当該１つの車外端末が当該前方画像データを操作者に表示するので、もし会話によって意識の脇見が発生したとしても、当該１つの車外端末の操作者が前方画像を見て注意すべき対象をドライバに言葉で告げることができるため、車両の走行の安全性が高まる。

なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。

覚醒維持システムの全体構成を示す図である。車載システム３ａ、３ｂの構成図である。覚醒維持システムの作動例を示すシーケンス図である。選択・中継機が実行する処理のフローチャートである。車外端末が実行する処理のフローチャートである。車外端末に表示される画像の一例を示す図である。第２実施形態における覚醒維持システムの作動例を示すシーケンス図である。

（第１実施形態）
以下、第１実施形態について説明する。本実施形態の覚醒維持システムは、図１に示すように、会話提供システム１、複数の車両２ａ、２ｂ、車両２ａ、２ｂにそれぞれ搭載される車載システム３ａ、３ｂ、携帯端末４、インターネット等の通信ネットワーク５を備えている。

会話提供システム１は、車両２ａ、２ｂの外部のビル内等に設置され、覚醒維持システムにおけるサービス提供業者側が所有および管理するシステムである。この会話提供システム１は、通信ネットワーク５を介して車載システム３と通信することで車両２ａ、２ｂのドライバと会話相手との通話を実現するようになっている。

この会話提供システム１は、構内ＬＡＮ回線１０、選択・中継機１１、複数個のスタッフ端末１２ａ、１２ｂ、１２ｃ、データサーバ１３を有している。構内ＬＡＮ回線１０は、会話提供システム１を構成する装置間の通信を媒介するネットワークである。

選択・中継機１１は、ドライバの会話相手となる車外端末を選択し、ドライバと車外端末の間の通信を中継する。ここで、車外端末という用語は、スタッフ端末１２ａ、１２ｂ、１２ｃおよび携帯端末４を総称する用語である。この選択・中継機１１は、構内ＬＡＮ回線１０に接続すると共に、通信ネットワーク５にも接続する。なお、図１では携帯端末４を１つのみ備えているが、覚醒維持システムは携帯端末を１つのみ備えていてもよいし、複数個備えていてもよい。

また、選択・中継機１１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部通信インターフェース、構内通信インターフェース（いずれも図示せず）を有する。そして、ＣＰＵがＲＯＭに記録されたプログラムを実行することで、選択・中継機１１が後述する種々の処理を実現する。そして選択・中継機１１は、当該処理において、必要に応じて、外部通信インターフェース、構内通信インターフェースを使用して、車載システム３、およびスタッフ端末１２ａ、１２ｂ、１２ｃ、データサーバ１３と通信する。

スタッフ端末１２ａ、１２ｂ、１２ｃの各々は、上記業者において車両２ａ、２ｂのドライバの会話相手を担当する複数人の業務スタッフが使用する車外端末であり、構内ＬＡＮ回線１０に接続されている。

このスタッフ端末１２ａ、１２ｂ、１２ｃの各々は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ、構内通信インターフェース、画像表示装置、操作部、音声入力装置、音声出力装置を有する。そして、ＣＰＵがＲＯＭに記録されたプログラムを実行することで、スタッフ端末１２ａ、１２ｂ、１２ｃの種々の処理が実現する。当該処理においてスタッフ端末１２ａ、１２ｂ、１２ｃは、構内通信インターフェースを使用して、選択・中継機１１と通信する。また、スタッフ端末１２ａ、１２ｂ、１２ｃは、音声入力装置、音声出力装置を用いて、選択・中継機１１を介して車載システム３と音声通話およびデータ通信を行う。

データサーバ１３は、各種データを保存する装置であり、構内ＬＡＮ回線１０に接続されている。このデータサーバ１３は、その他特性：ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ（不揮発性記憶媒体の一例に相当する）、構内通信インターフェースを有する。そして、ＣＰＵがＲＯＭに記録されたプログラムを実行することでデータサーバ１３の後述する種々の処理が実現する。当該処理においてデータサーバ１３は、構内通信インターフェースを使用して、選択・中継機１１、スタッフ端末１２ａ、１２ｂ、１２ｃと通信し、選択・中継機１１、スタッフ端末１２ａ、１２ｂ、１２ｃから要求されたデータを送信する。

また、このデータサーバ１３のＨＤＤには、基本個人情報ＤＢ１３１、嗜好ＤＢ１３２、希望相手ＤＢ１３３、地図ＤＢ１３４が記録されている。

基本個人情報ＤＢ１３１には、ドライバのドライバＩＤ毎に、当該ドライバＩＤに対応するドライバの基本個人情報（氏名、性別、既婚・未婚の別、年齢、家族構成、勤務先）があらかじめ登録されている。

嗜好ＤＢ１３２には、ドライバのドライバＩＤ毎に、当該ドライバＩＤに対応するドライバの嗜好（具体的には、興味の対象）を表す嗜好情報があらかじめ登録されている。興味の対象としては、例えば、ドライブ、野球、応援する野球チーム、読書、特定の作家名等がある。

希望相手ＤＢ１３３には、ドライバのドライバＩＤ毎に、当該ドライバＩＤに対応するドライバが選んだ会話相手が複数含まれる希望相手リストがあらかじめ登録されている。希望相手リストには、例えば、複数の会話相手（例えば、配偶者、不特定の業務スタッフ、同僚Ａ、同僚Ｂ）が順位付けされて登録されており、また、不特定の業務スタッフ以外の会話相手の各々に関連付けて、当該会話相手の宛先（例えば、携帯端末４の電話番号、端末ＩＤ等）が登録されている。なお、不特定の業務スタッフとは、ドライバによって個人が指定されていない業務スタッフをいう。

地図ＤＢ１３４には、ノード（交差点）およびリンク（道路）の位置、形状、接続関係等の地図情報が登録されている。

車載システム３ａ、３ｂは、それぞれ、車両２ａ、２ｂに搭載され、会話提供システム１と通信することで搭載先の車両２ａ、２ｂのドライバと会話相手との通話を実現する。車載システム３ａ、３ｂは、同じ構成となっている。具体的には、車載システム３ａ、３ｂの個々は、図２に示すように、前方カメラ３１、ドライバカメラ３２、生体現象センサ３３、車両挙動検出器３４、通信装置３５、操作部３６、音声入力装置３７、音声出力装置３８、車載機３９を有している。

前方カメラ３１は、搭載先の車両の前端部および当該車両の前方の道路等の映像を表す前方画像データを繰り返し車載機３９に出力する装置である。

ドライバカメラ３２は、搭載先の車両のダッシュボード、天井のウインドシールド側端部等に配置され、ドライバの顔を含む映像を表すドライバ画像データを車載機３９に繰り返し出力する装置である。

生体現象センサ３３は、ドライバの心拍、発汗量等の生体現象を示す生体信号を車載機３９に出力するセンサ群を有する。

車両挙動検出器３４は、車両の挙動（現在位置、車速、加速度、操舵角等）を示す検出信号を車載機３９に出力する装置であり、ＧＰＳ受信機、車速センサ、加速度センサ、操舵角センサ等のセンサを含む。

通信装置３５は、無線によって通信ネットワーク５と接続し、通信ネットワーク５を介して会話提供システム１と通信するための無線インターフェースである。操作部３６は、運転席付近（例えばダッシュボード、ステアリングハンドル）に配置され、ドライバの操作を受け付け、操作内容に応じた信号を車載機３９に出力する装置である。

音声入力装置３７は、ドライバの発した音声を信号に変換して車載機３９に入力する装置である。音声出力装置３８は、ドライバが聞こえるように車室内に音声を出力する装置である。車載機３９は、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリを有し、ＣＰＵがＲＯＭに記録されたプログラムを実行することで車載機３９の後述する種々の処理が実現する。

携帯端末４は、会話提供システム１を所有、管理する業者ではない個人（例えば、ドライバーの配偶者、同僚等）が携帯する。この携帯端末４は、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、無線通信インターフェース、画像表示装置、操作部、音声入力装置、音声出力装置を有する。そして、ＣＰＵがＲＯＭに記録されたプログラムを実行することで、携帯端末４が後述する種々の処理を実現する。

なお、本実施形態の携帯端末４のフラッシュメモリには、あらかじめ、車載システム３ａ、３ｂと通信することでドライバとの通信を媒介するための覚醒維持アプリケーションがインストールされている。そして、携帯端末４では、この覚醒維持アプリケーションは携帯端末４において、他のアプリケーションと同時並行で、常時実行される。

以下、上記のような構成の覚醒維持システムの作動について、図３〜図６を用いて説明する。以下では、車両２ａおよび車載システム３ａについて説明するが、車両２ａ、車載システム３ａを車両２ｂ、車載システム３ｂに置き換えても同様の作動が成り立つ。また、以下の説明において、スタッフ端末１２ａ、１２ｂ、１２ｃと車載システム３ａとの通信は、すべて選択・中継機１１によって中継される。

まず、図３に示すように、車両２ａのドライバが、車載システム３ａの操作部３６に対し、所定の会話要求操作を行う。この際、ドライバは、操作部３６に対して会話の希望相手を指定する操作を行ってもよいし、行わなくてもよい。

すると車載機３９は、操作部３６に対して会話要求操作が行われたことに基づいて、ステップ１１０で、通信装置３５を用いて、会話要求を会話提供システム１の選択・中継機１１に送信する。

この会話要求には、ドライバのユーザＩＤが含まれている。このドライバのユーザＩＤは、例えば、当該ドライバが車両２ａに搭乗する際に操作部３６を用いて車載機３９に登録することで、車載機３９内の記憶媒体（例えば、ＲＡＭ、フラッシュメモリ）に記録されている。また、ドライバが操作部３６に対して会話要求操作と共に会話の希望相手を指定する操作を行った場合、この会話要求には、当該希望相手を示す情報（希望相手が携帯する携帯端末４の宛先）も含まれている。

選択・中継機１１は、上記のように車載システム３ａから送信された会話要求を通信ネットワーク５を介して受信し、受信したことに基づいて、ステップ１２０で、会話相手の車外端末を選択するため、図４に示す処理を実行する。

具体的には、まずステップ２１０では、受信した会話要求に含まれるユーザＩＤをキーとしてデータサーバ１３に希望相手ＤＢ１３３の問い合わせを行う。具体的には、当該ユーザＩＤと希望相手ＤＢ１３３の指定を含む問い合わせをデータサーバ１３に送信する。

するとデータサーバ１３は、この問い合わせを受信し、受信した問い合わせで指定された希望相手ＤＢ１３３から、受信した問い合わせに含まれるユーザＩＤに対応する希望相手リストを読み出して選択・中継機１１に送信する。これにより、選択・中継機１１は当該ユーザＩＤに対応する希望相手リストを取得する。

例えば、この希望相手リストでは、１位が当該ドライバの配偶者であり、２位が個人を特定しない業務スタッフであり、３位が当該ドライバの特定の同僚Ａであったとする。

続いてステップ２１５では、受信した会話要求に希望相手が含まれている場合、会話要求に含まれる希望相手が最優先になるよう、取得した希望相手リストをＲＡＭ中で変更する。

具体的には、会話要求に含まれる希望相手を、希望相手リストの１位にし、希望相手リスト中の他の会話相手の順位を１つずつ繰り下げる。例えば、会話要求に含まれる希望相手が当該ドライバの特定の同僚Ｂであった場合、１位が当該同僚Ｂであり、２位が当該ドライバの配偶者であり、３位が個人を特定しない業務スタッフであり、４位が当該ドライバの特定の同僚Ａであるように希望相手リストを変更する。

なおステップ２１５では、受信した会話要求に希望相手が含まれていない場合、希望相手リストを変更しない。

続いてステップ２２０では、希望相手リストの最上位の会話相手がドライバと通話可能か確認する。最上位の会話相手が業務スタッフなら、スタッフ端末１２ａ、１２ｂ、１２ｃのうち、業務スタッフが現在使用可能であり、かつ、他のドライバとの通話に使用されていないスタッフ端末、すなわち、スタンバイ状態のスタッフ端末が１つ以上あるか否か判定する。

業務スタッフは、自分が使用するスタッフ端末がスタンバイ状態になる場合は、スタッフ端末の操作部に対して所定のスタンバイ開始操作を行う。そして、操作部に対してスタンバイ開始操作が行われたスタッフ端末は、自機がスタンバイ状態になることを通知するスタンバイ開始通知を選択・中継機１１に送信する。

また、業務スタッフは、自分がスタッフ端末から一時的に離れる場合等の理由で当該スタッフ端末が一時使用されなくなる場合は、使用されなくなる直前に、スタッフ端末の操作部に対して所定のスタンバイ解除操作を行う。そして、操作部に対してスタンバイ解除操作が行われたスタッフ端末は、自機がスタンバイ状態でなくなることを通知するスタンバイ解除通知を選択・中継機１１に送信する。

また、スタッフ端末１２ａ、１２ｂ、１２ｃの各々は、ドライバと業務スタッフの通話を媒介し始めるとき、すなわち、後述する図３の通話・モニタ処理を開始するときも、自機がスタンバイ状態でなくなることを通知するスタンバイ解除通知を選択・中継機１１に送信する。

また、スタッフ端末１２ａ、１２ｂ、１２ｃの各々は、ドライバと業務スタッフの通話を媒介し始めるとき、すなわち、後述する図３の通話・モニタ処理を開始するときも、自機がスタンバイ状態でなくなることを通知するスタンバイ解除通知を選択・中継機１１に送信する。なお、スタッフ端末１２ａ、１２ｂ、１２ｃがドライバと業務スタッフの通話を媒介を終了した後は、当該スタッフ端末を使用する業務スタッフが上記スタンバイ開始操作を行うことで、当該スタッフ端末から選択・中継機１１にスタンバイ開始通知を送信する。

また、選択・中継機１１は、スタッフ端末１２ａ、１２ｂ、１２ｃの各々から受信したスタンバイ開始通知、スタンバイ解除通知に基づいて、各スタッフ端末がスタンバイ状態にあるか否かを示すスタンバイデータをＲＡＭ中に保持する。選択・中継機１１は、ステップ２３０では、最上位の会話相手が業務スタッフなら、スタンバイ状態のスタッフ端末が１つ以上あるか否かを、このスタンバイデータに基づいて判定する。

またステップ２３０では、最上位の会話相手が業務スタッフなら、スタンバイ状態のスタッフ端末が１つ以上あるか否かを、このスタンバイデータに基づいて判定する。スタンバイ状態のスタッフ端末が１つ以上あれば、希望相手リストの最上位の会話相手がドライバと通話可能であると判定し、スタンバイ状態のスタッフ端末が１つもなければ、希望相手リストの最上位の会話相手がドライバと通話可能でないと判定する。

またステップ２３０では、最上位の会話相手が業務スタッフ以外の個人なら、希望相手リスト中で当該会話相手に関連付けられた宛先（例えば、携帯端末４の電話番号、端末ＩＤ等）に対し、所定のリクエスト信号を送信する。これにより、選択・中継機１１から通信ネットワーク５を介して、当該会話相手の携帯端末４に対し、当該リクエスト信号が送られる。

携帯端末４は、上述の覚醒維持アプリケーションの実行において、当該リクエスト信号を受信したことに基づき、所定の問い合わせメッセージを画像表示装置に表示する。表示する問い合わせメッセージとしては、例えば、「ドライバの覚醒維持のために通話できますか？」という文字列であってもよい。

携帯端末４を携帯する上記会話相手は、通話可能であれば、操作部に対して通話可能である旨を示す操作を行うが、通話可能でなければ、この問い合わせメッセージを無視する。

携帯端末４は、上記問い合わせメッセージを表示した後、所定時間以内（例えば１分以内）に通話可能である旨を示す操作が行われた場合、許可信号を選択・中継機１１に送信する。また携帯端末４は、上記問い合わせメッセージを表示した後、通話可能である旨を示す操作が行われないまま上記所定時間が経過した場合、拒否信号を選択・中継機１１に送信する。

選択・中継機１１は、ステップ２３０では、最上位の会話相手が業務スタッフ以外の個人なら、上記のようにリクエスト信号を送信した後、許可信号を受信した場合は、希望相手リストの最上位の会話相手がドライバと通話可能であると判定する。しかし、拒否信号を受信した場合は、希望相手リストの最上位の会話相手がドライバと通話可能でないと判定する。

ステップ２３０で、希望相手リストの最上位の会話相手がドライバと通話可能でないと判定した場合はステップ２４５に進み、通話可能であると判定した場合はステップ２５０に進む。

ステップ２４５では、希望相手リストから最上位の会話相手を削除してステップ２２０に戻る。したがって、ステップ２２０、２３０、２４５では、希望相手リストの上位から順にドライバと会話可能な相手を探し、見つかった時点でステップ２５０に進む。なお、ステップ２４５で最上位の会話相手を削除した後に希望相手リストが空になった場合は、その時点で、不特定の業務スタッフを希望相手リストに追加する。このようにすることで、スタッフ端末１２ａ、１２ｂ、１２ｃのうちいずれかがスタンバイ状態に戻るのを待つことが可能となる。

ステップ２５０では、現時点における希望相手リスト中の最上位の相手を会話相手として選択することを決定し、その後、図４の処理を終了する。

図４の処理を終了した後、選択・中継機１１は、ステップ１３０（図３参照）で、直前のステップ１２０で選択した会話相手に対応する車外端末に対して、通話指示を送信する。ここで、選択した会話相手に対応する車外端末としては、選択した会話相手が不特定の業務スタッフの場合は、スタンバイ状態のスタッフ端末のうちから選んだ１台とする。また、選択した会話相手に対応する車外端末としては、選択した会話相手が個人なら、希望相手リストに含まれる当該個人の携帯端末４とする。

この通話指示には、車載システム３ａから送信された会話要求に含まれるユーザＩＤを含める。なお、通話指示を送信する車外端末は、スタッフ端末の場合もあれば携帯端末４の場合もある。

当該車外端末は、この通話指示を受信したことに基づいて、この通話指示に含まれるユーザＩＤに対応する車載システム３ａに対して、通話開始通知を送信する。この通話開始通知には、当該車外端末の宛先のデータが含まれている。なお、当該車外端末は、ユーザＩＤと、当該ユーザＩＤに対応する車載システム３ａの宛先（電話番号、アドレス等）の対応関係を示す情報に基づいて、当該車載システム３ａの宛先を取得する。そして、この対応関係を示す情報は、当該車外端末のＨＤＤにあらかじめ記録されていてもよい。あるいは、この対応関係を示す情報がデータサーバ１３に記録されている場合は、当該情報をデータサーバ１３に問い合わせてデータサーバ１３から取得してもよい。

また当該車外端末は、上記通話開始通知を送信した後、ステップ１５０で、通話・モニタ処理を開始する。なお、車外端末が携帯端末４である場合は、この通話・モニタ処理は、覚醒維持アプリケーションの一部を構成するサブルーチンである。

車載システム３ａの車載機３９は、通信ネットワーク５および通信装置３５を介して上記通話開始通知を受信する。そして車載機３９は、この通話開始通知を受信したことに基づいて、ステップ１６０で、通話・データ送信処理を開始する（ステップ１６０）。なお、車載機３９は、通信相手の車外端末の宛先としては、受信した通話開始通知に含まれる宛先を用いる。

通話・モニタ処理および通話・データ送信処理が開始した後、当該車外端末と車載機３９との間で、車載機３９の通話処理１６２と当該車外端末の通話処理１６４により、通話音声１７０の送受信が繰り返し行われることで、ドライバと会話相手の通話が実現する。具体的には、車載機３９は、通話処理１６２において、音声入力装置３７から入力されたドライバの発話内容の音声信号を、通信装置３５を用いて当該車外端末に送信する。そして当該車外端末は、通話処理１６４において、車載機３９から受信した当該音声信号を用いて、ドライバの発話内容の音声を自機の音声出力装置から出力させる。

また当該車外端末は、通話処理１６４において、自機の音声入力装置から入力された会話相手の発話内容の音声信号を車載システム３ａに送信する。そして車載システム３ａは、通話処理１６２において、当該車外端末から受信した当該音声信号を用いて、会話相手の発話内容の音声を自機の音声出力装置から出力させる。

このように、車載機と車外端末を媒介として車両のドライバと車外端末の操作者（業務スタッフまたは携帯端末４の所有者）の間で音声通話が実現する。したがって、人と人との会話による高い覚醒維持効果を得ることができる。例えば、会話相手（すなわち操作者）はドライバの覚醒効果が高くなるような話題を提供する等の工夫をすることにより、ドライバの覚醒度を高く保つことができる。

また、車載機３９は、通話・データ送信処理の一部であるデータ送信処理１７２において、通信装置３５を用いて、当該車外端末に車両情報１８０を定期的に（例えば１秒周期で）繰り返し送信する。この車両情報には、生体信号に基づく生体データ、前方画像データ、ドライバ画像データ、視線方向データ、車両挙動データが含まれる。

生体信号に基づく生体データは、生体現象センサ３３から取得した最新の生体信号を含むデータである。前方画像データは、前方カメラ３１から取得した最新の前方画像データである。ドライバ画像データは、ドライバカメラ３２から取得した最新のドライバ画像データである。車両挙動情報は、車両挙動検出器３４から取得した最新の検出信号に基づく車両の最新の挙動を示すデータである。

視線方向データは、ドライバの視線方向に相当する前方画像上の一部分を示すデータである。ドライバの視線方向に相当する前方画像上の一部分は、一点でもよいし面領域でもよい。面領域である場合、当該面領域は、前方画像の面積の１００分の１程度の円盤形状の領域であってもよいし、あるいは、前方画像を上下左右に４分割した領域の１つとしてもよい。

車載機３９は、この視線方向データを、あらかじめフラッシュメモリに記録されている顔視線対応データに基づいて特定する。顔視線対応データは、前方画像上の各位置と当該位置をドライバが見ているときの顔画像モデルとを対応付けた顔視線対応データである。車載機３９は、ドライバカメラ３２から入力された最新のドライバ画像データからドライバの顔の画像を抽出し、抽出した顔の画像と最も一致度が高い顔画像モデルを特定し、特定した顔画像モデルに対応する前方画像上の位置を抽出する。そして、この抽出された位置を、視線方向データとする。

また当該車外端末は、通話・モニタ処理の一部である表示処理１７４において、上記車両情報を繰り返し受信して当該車両情報に基づく表示を繰り返し行う。表示処理１７４では、具体的には、図５に示す処理を行う。図５の処理では、まずステップ３０５で、車両情報を受信する。

続いてステップ３１０〜ステップ３４５では、図６に示すような表示を行う。具体的には、ステップ３１０では、受信した車両情報に含まれる生体データ、ドライバ画像等に基づいて、ドライバの漫然度を表す漫然モニタＤ１を、車外端末の操作者に見えるよう、画像表示装置に表示する。

漫然度は、ドライバの運転に対する集中力が低下する程高くなる指標である。当該車外端末は、例えば、生体データに含まれる心拍の情報に基づいて、ドライバの心拍間隔の変動に対して周波数スペクトル分析を行い、その分析結果における特定周波数帯域内のピーク値に基づいて、漫然度を決定する。あるいは、ドライバ画像データ中のドライバの顔画像に基づいて、ドライバがサイドミラー、バックミラー等の車外確認用ミラーを見る頻度に基づいて、漫然度を決定してもよい。

漫然モニタＤ１は、横に延びるバーと、当該バーの長さ方向に並んで配置された目盛りが表された画像であり、漫然度が高くなるほどバーの長さが増大する。

続いてステップ３１５では、受信した車両情報に含まれる生体データ、車両挙動データ等に基づいて、ドライバの運転負荷の高さを表す負荷モニタＤ２を、車外端末の操作者に見えるよう、画像表示装置に表示する。

ドライバの運転負荷は、車両の現在の状況がドライバにとって運転が困難である度合いを示す指標である。当該車外端末は、車両挙動データに含まれる車両２ａの現在位置の情報をデータサーバ１３に送信する。するとデータサーバ１３は、当該現在位置およびその近傍の領域における地図データを基本個人情報ＤＢ１３１から読み出して当該車外端末に送信する。そして当該車外端末は、受信した地図データに基づいて、現在車両２ａが走行している位置が交差点であれば、交差点ではない場合に比べて運転負荷を高い値にする。また当該車外端末は、受信した地図データに基づいて、現在車両２ａが走行している道路の幅員が小さいほど運転負荷を高い値にする。また当該車外端末は、受信した生体データに含まれる発汗量が多いほど運転負荷を高い値にする。また当該車外端末は、受信した車両挙動データに含まれる操舵角のデータに基づいて、現在の操舵角と直進時の操舵角との差の絶対値が大きいほど運転負荷を高い値にする。

負荷モニタＤ２は、横に延びるバーと、当該バーの長さ方向に並んで配置された目盛りが表された画像であり、運転負荷が高くなるほどバーの長さが増大する。

続いてステップ３２０では、受信した視線方向データに基づいて、ドライバの脇見度の高さを示す脇見モニタＤ３を、車外端末の操作者に見えるよう、画像表示装置に表示する。当該車外端末は、受信した前方画像データに対して画像認識処理を施すことで、当該前方画像が示す前方画像中における道路の位置範囲を特定する。そして、受信した視線方向データに基づいて、過去所定時間（例えば過去３０秒）における、ドライバの視線が道路の位置範囲を外れている時間を特定する。そして、特定した時間が長いほど、脇見度を高い値にする。脇見モニタＤ３は、横に延びるバーと、当該バーの長さ方向に並んで配置された目盛りが表された画像であり、脇見度が高くなるほどバーの長さが増大する。

続いてステップ３２５は、受信した前方画像データが示す前方画像Ｄ４を、車外端末の操作者に見えるよう、画像表示装置に表示する。

続いてステップ３３０では、受信した視線方向データに基づいて、ドライバの視線方向に相当する前方画像Ｄ４上の一部分に、視点画像Ｄ５を重畳表示する。

続いてステップ３３５では、受信した前方画像データに対して画像認識処理を行うことで、車両の運転においてドライバが注意すべき状況を検出し、検出した状況に応じた注意喚起情報Ｄ６を、車外端末の操作者に見えるよう、画像表示装置に表示する。

例えば、前方画像Ｄ４中の先行車両から車両２ａまでの距離を画像認識処理で特定し、特定した距離が短くなるほど低くなる閾値速度を決定する。そして、受信した車両挙動データ中の車速のデータに基づいて、車両２ａの走行速度を特定する。そして、車両２ａの走行速度が閾値速度よりも高いことに基づいて、車間距離に注意すべき旨を示す注意喚起情報Ｄ６を、前方画像Ｄ４に重畳表示する。

また例えば、前方画像Ｄ４中の信号機の指示内容を画像認識処理で特定し、特定した指示内容が停止を示していることに基づいて、信号機の表示内容に注意すべき旨を示す注意喚起情報Ｄ６を、前方画像Ｄ４に重畳表示してもよい。

なお、注意喚起情報Ｄ６は、検出した状況を説明する文字を表示すると共に、検出した状況に関連する対象を指し示している。検出した状況に関連する対象は、上記の２例では、先行車両および信号機である。

続いてステップ３４０では、車両２ａのドライバの個人情報を取得し、取得した個人情報Ｄ７を、車外端末の操作者に見えるよう、画像表示装置に表示する。

具体的には、受信した会話要求に含まれるユーザＩＤをキーとしてデータサーバ１３に基本個人情報ＤＢ１３１、嗜好ＤＢ１３２の問い合わせを行う。具体的には、当該ユーザＩＤと基本個人情報ＤＢ１３１、嗜好ＤＢ１３２の指定を含む問い合わせをデータサーバ１３に送信する。

するとデータサーバ１３は、この問い合わせを受信し、受信した問い合わせで指定された基本個人情報ＤＢ１３１および嗜好ＤＢ１３２から、受信した問い合わせに含まれるユーザＩＤに対応する基本個人情報および嗜好情報を読み出して選択・中継機１１に送信する。これにより、選択・中継機１１は当該ユーザＩＤに対応する基本個人情報および嗜好情報を取得する。そして、取得した基本個人情報および嗜好情報を、個人情報Ｄ７として画像表示装置に表示する。

続いてステップ３４５では、ステップ３４０で取得したドライバの嗜好情報に基づいて、ドライバの嗜好に合った話題提供情報Ｄ８を、車外端末の操作者に見えるよう、画像表示装置に表示する。具体的には、受得した嗜好情報中で興味の対象を表す語句（例えば、ドライブ、野球、応援する野球チーム、読書、特定の作家名）を複数個抽出し、抽出した個々の語句について、例えば通信ネットワーク５上の検索サイトに入力することで、それら語句に関連する時事情報（例えばニュース情報）を取得する。そして、取得した時事情報の一部を抽出して話題提供情報Ｄ８とし、画像表示装置に表示する。

続いてステップ３５０では、会話が終了したか否かを判定する。例えば、車両２ａのドライバが車載システム３ａの操作部３６に対して通話終了の操作を行った場合、車載機３９は通信装置３５を用いて通話終了通知を当該車外端末に送信し、その後通話・データ送信処理を終了する。そして当該車外端末は、この通話終了通知を受信した直後のステップ３５０で、会話が終了したと判定し、通話終了通知を受信していない場合は会話か終了していないと判定する。

会話が終了していないと判定した場合は、ステップ３０５に戻る。したがって、会話が終了しない間は、ステップ３０５〜３４５の処理が繰り返される。なお、ステップ３０５〜３４５の一巡の処理は、例えば、２５０ミリ秒毎に実行される。

会話が終了したと判定した場合は、図５の処理を終了する。これにより、当該車外端末において通話・モニタ処理が終了する。

以上説明した通り、本実施形態の覚醒維持システムは、複数の車両２ａ、２ｂに搭載される複数の車載機３９と、車両２ａ、２ｂの外部において車載機３９と通信する複数の車外端末４、１２ａ、１２ｂ、１２ｃとを備えている。そして、複数の車載機３９のうち１つの車載機３９と複数の車外端末４、１２ａ、１２ｂ、１２ｃのうち１つの車外端末は、互いに通信することで、車両２ａ、２ｂのうち１つの車両のドライバと当該１つの車外端末の操作者の間の音声通話を媒介する。そして、当該１つの車載機３９は、音声通話が行われているとき、当該１つの車両の前方の映像を表す前方画像データを当該１つの車外端末に送信する。そして、当該１つの車外端末は、音声通話を媒介しているとき、当該１つの車載機が送信した前方画像データに基づく前方画像Ｄ４を操作者に表示する。

また、当該１つの車載機３９は、音声通話が行われているとき、ドライバの生体信号に基づく生体データを当該１つの車外端末に送信する。そして、当該１つの車外端末は、音声通話を媒介しているとき、当該１つの車載機３９が送信した生体データに基づく情報Ｄ１、Ｄ２を操作者に表示する。

このようになっていることで、操作者は、ドライバの生体信号に基づく生体データを参考にして、会話の内容を選択することができるので、ドライバの覚醒の維持効果が高まり、かつ、車両の走行の安全性が高まる。

また、当該１つの車外端末は、音声通話を媒介しているとき、ドライバの個人情報Ｄ７を取得して操作者に表示する。このようになっていることで、操作者は、ドライバの個人情報を参考にして、会話の内容を選択することができるので、ドライバの覚醒の維持効果が高まり、かつ、車両の走行の安全性が高まる。

また、当該１つの車外端末は、音声通話を媒介しているとき、ドライバの嗜好を表す嗜好情報Ｄ７を取得して操作者に表示する。このようになっていることで、操作者は、ドライバの嗜好情報を参考にして、会話の内容を選択することができるので、ドライバの覚醒の維持効果が高まり、かつ、車両の走行の安全性が高まる。また、どの業務スタッフでもでもドライバが興味のある内容を話すことが可能となる。

また、当該１つの車外端末は、音声通話を媒介しているとき、前方画像Ｄ４のうちドライバの視線に応じた部分を示す視点画像Ｄ５を表示する。このようになっていることで、操作者は、前方画像のうちドライバの視線に応じた部分を示す表示を参考にして、ドライバに適切な運転アドバイスをすることができるので、車両の走行の安全性が高まる。

また、当該１つの車外端末は、ドライバの嗜好を表す嗜好情報に関連する時事情報を取得し、音声通話を媒介しているとき、当該時事情報に基づく話題提供情報Ｄ８を操作者に表示する。

このようになっていることで、操作者は、表示された話題提供情報を参考に、ドライバの興味を引くような時事情報の話題を提供することができる。したがって、ドライバの覚醒の維持効果が高まる。また、どの業務スタッフでもでもドライバが興味のある内容を話すことが可能となる。

また、当該１つの車外端末は、音声通話を媒介しているとき、前方画像Ｄ４に基づいて、車両の運転においてドライバが注意すべき状況を検出し、検出した状況を示す注意喚起情報Ｄ６を操作者に表示する。

このようにすることで、操作者は、前方画像中で注意すべき状況を自分で見つけ出させなかった場合でも、注意喚起情報を参考にドライバに注意を促すことができる。したがって、車両の走行の安全性が高まる。

また、選択・中継機１１は、複数の車外端末のうち１つを、当該１つの車外端末として選択し、選択した当該１つの車外端末に対して通話指示を送信し、当該１つの車外端末が通話指示を受信したことに基づいて、当該１つの車載機および１つの車外端末が音声通話の媒介を開始する。

このように、複数の車外端末を用意し、選択・中継機１１がそれら複数の車外端末から１つを選択し、選択された１つの車外端末が音声通話を媒介するようになっていることで、車外端末側の冗長性を高めることができる。したがって、音声通話ができない状況が発生する可能性が少なくなる。

また、複数の車外端末は、ドライバによってあらかじめ特定された個人が携帯する１つまたは複数の携帯端末４と、ドライバによって個人が指定されない業務スタッフによって操作されるスタッフ端末１２ａ、１２ｂ、１２ｃとを含む。

このようになっていれば、携帯端末４を携帯する操作者とドライバが通話する場合は、当該操作者はドライバによってあらかじめ指定された個人なので、会話の内容がよりドライバに合ったものとなる可能性が高い。また、不特定のスタッフとドライバが通話する場合は、スタッフを多くすれば、ドライバが通話可能な時間帯が拡大する。

なお、本実施形態では、車載機３９が、通話処理１６２を実行することで、通話手段の一例として機能し、データ送信処理１７２を実行することでデータ送信手段の一例として機能する。

（第２実施形態）
次に第２実施形態について説明する。本実施形態の覚醒維持システムは、第１実施形態の覚醒維持システムに対して、車載機３９の作動を一部変更するものである。

具体的には、第１実施形態の車載機３９は、図３に示すように、操作部３６に対して会話要求操作が行われたことに基づいて、ステップ１１０で、通信装置３５を用いて、会話要求を会話提供システム１の選択・中継機１１に送信するようになっている。

これに対し、本実施形態の車載機３９は、図７に示すように、ドライバの覚醒度低下を検出したことに基づいて、ドライバが音声通話を開始する操作を操作部３６に対して行わなくても、ステップ１１０で会話要求を選択・中継機１１に送信する。

なお、覚醒度は、ドライバの眠気が強くなるほど低下する指標である。当該車外端末は、例えば、ドライバカメラ３２から取得したドライバ画像に基づいて、ドライバの瞬きの頻度および１回の瞬きにかかる時間すなわち瞬き時間を特定する。そして、特定した瞬きの頻度が高くなるほど覚醒度の値が高くなるよう、かつ、特定した瞬き時間が長くなるほど覚醒度の値が高くなるよう、覚醒度を特定する。

このようになっていることで、ドライバが音声通話を開始する操作を行わなくても、必要時に自動的に音声通話が開始されるので、ドライバが意識していないけれども覚醒維持が必要な場面においても、音声通話を開始することができる。

（他の実施形態）
なお、本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。また、上記各実施形態は、互いに無関係なものではなく、組み合わせが明らかに不可な場合を除き、適宜組み合わせが可能である。また、上記各実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではない。また、上記各実施形態において、実施形態の構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるもおよび原理的に明らかに不可能な場合を除き、それら複数個の値の間の値を採用することも可能である。また、上記各実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に特定の形状、位置関係等に限定される場合等を除き、その形状、位置関係等に限定されるものではない。また、本発明は、上記各実施形態に対する以下のような変形例も許容される。なお、以下の変形例は、それぞれ独立に、上記実施形態に適用および不適用を選択できる。すなわち、以下の変形例のうち任意の組み合わせを、上記実施形態に適用することができる。

（変形例１）
上記実施形態では、車外端末としてスタッフ端末１２ａ、１２ｂ、１２ｃおよび携帯端末４が例示されていたが、覚醒維持システムにおいて車外端末は１個のみ存在するようになっていてもよい。その場合、車載機３９と通信して音声通話を媒介するのは、当該１個の車外端末のみとなる。

またこの場合、選択・中継機１１は車外端末を選択する必要がないので、選択・中継機１１を廃してもよい。その場合、車外端末が選択・中継機１１のうち車外端末を選択する機能以外の機能を実現するようになっていてもよい。

（変形例２）
上記実施形態では、視線方向データは、車載機３９が作成して車外端末に送信していたが、車外端末がドライバ画像データに基づいて作成してもよい。

（変形例３）
上記実施形態では、スタッフ端末１２ａ、１２ｂ、１２ｃと車載システム３ａ、３ｂとの通信は、すべて選択・中継機１１によって中継されている。しかし、スタッフ端末１２ａ、１２ｂ、１２ｃと車載システム３ａ、３ｂとの通信は、選択・中継機１１によって中継されずに実現されていてもよい。

（変形例４）
図４の会話相手を選択する処理において、希望相手ＤＢ中の希望相手リストおよび会話要求中の希望相手に基づいた順位で、最上位から順番に通話可能な相手を探すようになっている。しかし、必ずしもこのようになっておらずともよい。例えば、ステップ２１５の後、常に、不特定の業務スタッフが最優先になるよう、取得した希望相手リストをＲＡＭ中で変更するようになっていてもよい。

この場合は、まずスタンバイ状態のスタッフ端末があれば、当該スタッフ端末に最優先で通話指示が送信され、タンバイ状態のスタッフ端末がないときに初めて、スタッフの配偶者、家族、会社同僚等の個人から通話可能な相手を選ぶ。

４携帯端末（車外端末の一例に相当する）
１１選択・中継機（選択機の一例に相当する）
１２ａ、１２ｂ、１２ｃスタッフ端末（車外端末の一例に相当する）
３９車載機

Claims

車両に搭載される車載機（３９）と、
前記車両の外部において前記車載機と通信する１つ以上の車外端末（４、１２ａ、１２ｂ、１２ｃ）とを備え、
前記車載機と前記１つ以上の車外端末のうち１つの車外端末は、互いに通信することで、前記車両のドライバと前記１つの車外端末の操作者の間の音声通話を媒介し、
前記車載機は、前記音声通話が行われているとき、前記車両の前方の映像を表す前方画像データを前記１つの車外端末に送信し、
前記１つの車外端末は、前記音声通話を媒介しているとき、前記車載機が送信した前記前方画像データに基づく前方画像（Ｄ４）を前記操作者に表示し、
前記１つの車外端末は、前記音声通話を媒介しているとき、前記前方画像のうち前記ドライバの視線に応じた部分を示す表示（Ｄ５）を行うことを特徴とする覚醒維持システム。
前記１つの車外端末は、前記音声通話を媒介しているとき、前記前方画像に基づいて、前記車両の運転において前記ドライバが注意すべき状況を検出し、検出した状況を示す注意喚起情報（Ｄ６）を前記操作者に表示することを特徴とする請求項１に記載の覚醒維持システム。
車両に搭載される車載機（３９）と、
前記車両の外部において前記車載機と通信する１つ以上の車外端末（４、１２ａ、１２ｂ、１２ｃ）とを備え、
前記車載機と前記１つ以上の車外端末のうち１つの車外端末は、互いに通信することで、前記車両のドライバと前記１つの車外端末の操作者の間の音声通話を媒介し、
前記車載機は、前記音声通話が行われているとき、前記車両の前方の映像を表す前方画像データを前記１つの車外端末に送信し、
前記１つの車外端末は、前記音声通話を媒介しているとき、前記車載機が送信した前記前方画像データに基づく前方画像（Ｄ４）を前記操作者に表示し、
前記１つの車外端末は、前記音声通話を媒介しているとき、前記前方画像に基づいて、前記車両の運転において前記ドライバが注意すべき状況を検出し、検出した状況を示す注意喚起情報（Ｄ６）を前記操作者に表示することを特徴とする覚醒維持システム。
前記車載機は、前記音声通話が行われているとき、前記ドライバの生体信号に基づく生体データを前記１つの車外端末に送信し、
前記１つの車外端末は、前記音声通話を媒介しているとき、前記車載機が送信した前記生体データに基づく情報（Ｄ１、Ｄ２）を前記操作者に表示することを特徴とする請求項１ないし３のいずれか１つに記載の覚醒維持システム。
前記１つの車外端末は、前記音声通話を媒介しているとき、前記ドライバの個人情報（Ｄ７）を取得して前記操作者に表示することを特徴とする請求項１ないし４のいずれか１つに記載の覚醒維持システム。
前記１つの車外端末は、前記音声通話を媒介しているとき、前記ドライバの嗜好を表す嗜好情報（Ｄ７）を取得して前記操作者に表示することを特徴とする請求項１ないし５のいずれか１つに記載の覚醒維持システム。
前記車載機および前記１つの車外端末は、前記ドライバの覚醒度が低下したことに基づいて、前記ドライバが前記音声通話を開始する操作を行わなくても、前記音声通話の媒介を開始することを特徴とする請求項１ないし６のいずれか１つに記載の覚醒維持システム。
前記１つの車外端末は、前記ドライバの嗜好を表す嗜好情報（Ｄ７）に関連する時事情報を取得し、前記音声通話を媒介しているとき、前記時事情報に基づく話題提供情報（Ｄ８）を前記操作者に表示することを特徴とする請求項１ないし７のいずれか１つに記載の覚醒維持システム。
前記車両の外部にある選択機（１１）を備え、
前記１つ以上の車外端末は、複数の車外端末を含み、
前記選択機は、前記複数の車外端末のうち１つを、前記１つの車外端末として選択し、選択した前記１つの車外端末に対して通話指示を送信し、
前記１つの車外端末が前記通話指示を受信したことに基づいて、前記車載機および前記１つの車外端末が前記音声通話の媒介を開始することを特徴とする請求項１ないし８のいずれか１つに記載の覚醒維持システム。
前記複数の車外端末は、前記ドライバによってあらかじめ特定された個人が携帯する携帯端末（４）と、前記ドライバによって個人が指定されないスタッフによって操作されるスタッフ端末（１２ａ、１２ｂ、１２ｃ）とを含むことを特徴とする請求項９に記載の覚醒維持システム。
車両に搭載され、前記車両の外部における１つ以上の車外端末（４、１２ａ、１２ｂ、１２ｃ）と通信する車載機であって、
前記１つ以上の車外端末のうち１つの車外端末と通信することで、前記車両のドライバと前記１つの車外端末の操作者の間の音声通話を媒介する通話手段（１６２）と、
前記通話手段により音声通話が行われているとき、前記車両の前方の映像を表す前方画像データおよび前記ドライバの視線方向に相当する前記前方画像上の一部分を示す視線方向データを、前記１つの車外端末に送信することで、前記前方画像データに基づく前方画像（Ｄ４）および前記前方画像のうち前記ドライバの視線に応じた部分を示す表示（Ｄ５）を前記操作者に表示させるデータ送信手段（１７２）と、を備えた車載機。