JP2007141223A - 情報処理装置および方法、記録媒体、並びに、プログラム - Google Patents

Abstract

【課題】ドライバの安全性または利便性をより向上させる。
【解決手段】動作制御部１８は、走行中である場合、顔方向検出部１３により検出されたドライバ２の顔の向き、走行状態検出部１４により検出された自動車の走行状態、または、運転状態検出部１５により検出されたドライバ２の運転状態に基づいて、運転を支援するための情報をドライバ２に提示し、停車中である場合、ドライバ２の顔が向いた方向にある支援対象装置の操作を支援する情報をドライバ２に提示するように、音声出力制御部２０または表示制御部２２を制御する。本発明は、ドライバの運転を支援する支援システムに適用できる。
【選択図】図１

Description

本発明は、情報処理装置および方法、記録媒体、並びに、プログラムに関し、特に、ドライバの安全性または利便性をより向上させることができるようにした情報処理装置および方法、記録媒体、並びに、プログラムに関する。

近年、より快適な運転環境をドライバに提供するために、安全性を向上させるように運転を支援したり、自動車に搭載されている各種の車載装置の操作を支援したりする技術が注目されている。その中で、従来、自動車が直進中である場合に限り、運転者が脇見をしていると判断したとき、警報を出力し、自動車がその他の状態（例えば、カーブを走行中、後進中、停車中）である場合には、警報を出力しないようにする脇見判定装置が提案されている（例えば、特許文献１参照）。

特開平０６−２４３３６７号公報

しかしながら、特許文献１に記載の発明は、自動車が直進中である状態以外の状態においては、ドライバの安全性または利便性を向上させるための支援を行うことができない。

本発明は、このような状況に鑑みてなされたものであり、ドライバの安全性または利便性をより向上させることができるようにするものである。

本発明の一側面の情報処理装置は、ドライバの顔または視線の向きを検出する方向検出手段と、自動車の走行状態を検出する走行状態検出手段と、自動車が走行中である場合、自動車の走行状態およびドライバの顔または視線の向きに基づいて、運転を支援するための情報をドライバに提示し、自動車が停車中である場合、ドライバの顔または視線の向きに基づいて、自動車に搭載されている装置の操作を支援するための情報をドライバに提示するように情報の提示を制御する提示制御手段とを備える。

本発明の一側面の情報処理装置においては、ドライバの顔または視線の向きが検出され、自動車の走行状態が検出され、自動車が走行中である場合、自動車の走行状態およびドライバの顔または視線の向きに基づいて、運転を支援するための情報をドライバに提示し、自動車が停車中である場合、ドライバの顔または視線の向きに基づいて、自動車に搭載されている装置の操作を支援するための情報をドライバに提示するように情報の提示が制御される。

したがって、自動車の走行状態およびドライバの顔または視線の向きに応じた情報を提示することができる。また、ドライバの安全性または利便性をより向上させることができる。

この方向検出手段、走行状態検出手段、および、提示制御手段は、例えば、CPU（Central Processing Unit）により構成される。

この提示制御手段には、前記自動車が走行中である場合、前記自動車の走行状態および前記ドライバの顔または視線の向きに基づいて、前記ドライバの注意を喚起する情報を前記ドライバに提示するように情報の提示を制御させることができる。

これにより、ドライバの安全性をより向上させることができる。

この情報処理装置は、ドライバの顔または視線が所定の装置の方向を向いている状態を検出する対象装置検出手段をさらに備え、この提示制御手段には、自動車が停車中である場合、ドライバの顔または視線の方向にある装置の操作を支援する情報をドライバに提示するように情報の提示を制御させることができる。

これにより、ドライバの利便性をより向上させることができる。

本発明の一側面の情報処理方法、プログラム、または、記録媒体に記録されているプログラムは、ドライバの顔または視線の向きを検出する方向検出ステップと、自動車の走行状態を検出する走行状態検出ステップと、自動車が走行中である場合、自動車の走行状態およびドライバの顔または視線の向きに基づいて、運転を支援するための情報をドライバに提示し、自動車が停車中である場合、ドライバの顔または視線の向きに基づいて、自動車に搭載されている装置の操作を支援するための情報をドライバに提示するように情報の提示を制御する提示制御ステップとを含む。

本発明の一側面の情報処理方法、プログラム、または、記録媒体に記録されているプログラムにおいては、ドライバの顔または視線の向きが検出され、自動車の走行状態が検出され、自動車が走行中である場合、自動車の走行状態およびドライバの顔または視線の向きに基づいて、運転を支援するための情報をドライバに提示し、自動車が停車中である場合、ドライバの顔または視線の向きに基づいて、自動車に搭載されている装置の操作を支援するための情報をドライバに提示するように情報の提示が制御される。

したがって、自動車の走行状態およびドライバの顔または視線の向きに応じた情報を提示することができる。また、ドライバの安全性または利便性をより向上させることができる。

この方向検出ステップは、例えば、ドライバの顔または視線の向きをCPUにより検出するステップにより構成され、この走行状態検出ステップは、例えば、自動車の走行状態をCPUにより検出するステップにより構成され、この提示制御ステップは、例えば、自動車が走行中である場合、自動車の走行状態およびドライバの顔または視線の向きに基づいて、運転を支援するための情報をドライバに提示し、自動車が停車中である場合、ドライバの顔または視線の向きに基づいて、自動車に搭載されている装置の操作を支援するための情報をドライバに提示するようにCPUにより情報の提示を制御するステップにより構成される。

以上のように、本発明の一側面によれば、自動車の走行状態およびドライバの顔または視線の向きに応じた情報を提示することができる。また、本発明の一側面によれば、ドライバの安全性または利便性をより向上させることができる。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した支援システムの一実施の形態を示すブロック図である。本発明を適用した支援システム１は、自動車に搭載され、運転の支援または車載装置などの操作の支援を行うことにより、ドライバの安全性または利便性を向上させるシステムである。

支援システム１は、カメラ１１，１２、顔方向検出部１３、走行状態検出部１４、運転状態検出部１５、支援対象装置検出部１６、通信部１７、動作制御部１８、動作データ記憶部１９、音声出力制御部２０、音声出力部２１、表示制御部２２、および、表示部２３を含むように構成される。

カメラ１１は、例えば、CCD（Charge Coupled Device）撮像素子、CMOS（Complementary Metal Oxide Semiconductor）撮像素子、または、対数変換型撮像素子（例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））（登録商標））などを用いたカメラとされ、ドライバ２の顔の向きを検出するために必要な性能（例えば、解像度が横６４０画素×縦４８０画素、階調数が２５６階調、フレームレートが毎秒３０フレーム）を有する。カメラ１１は、ドライバ２の顔を撮影できる位置に設置され、撮影することにより得られたドライバ２の顔を含む画像データを顔方向検出部１３および動作制御部１８に供給する。

カメラ１２は、例えば、CCD（Charge Coupled Device）撮像素子、CMOS（Complementary Metal Oxide Semiconductor）撮像素子、または、対数変換型撮像素子（例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））（登録商標））などを用いたカメラとされる。カメラ１２は、車両の前方を撮影できる位置に設置され、撮影することにより得られた画像データを表示制御部２２に供給する。

顔方向検出部１３は、カメラ１１から供給された画像データに基づいて、ドライバ２の顔の向きを検出する。顔方向検出部１３が顔の向きを検出する手法は、特定の手法に限定されるものではなく、顔の向きをより迅速かつ正確に検出できる手法が望ましい。顔方向検出部１３は、検出したドライバ２の顔の向きを示す顔方向情報を運転状態検出部１５、支援対象装置検出部１６、および、動作制御部１８に供給する。

走行状態検出部１４は、自動車に設けられている車速センサ３１から、車速を示す車速データを取得し、自動車に設置されている蛇角検出部３２から、自動車のステアリングホイール（ハンドル）の舵角を示す舵角データを取得する。走行状態検出部１４は、車速データおよび舵角データに基づいて、自動車の走行状態（例えば、発進、停止、車速、進行方向など）を検出する。走行状態検出部１４は、検出した走行状態を示す走行状態情報を運転状態検出部１５および動作制御部１８に供給する。

運転状態検出部１５は、顔方向情報および走行状態情報に基づいて、ドライバ２の運転状態を検出する。運転状態検出部１５は、検出したドライバ２の運転状態を示す運転状態情報を動作制御部１８に供給する。

支援対象装置検出部１６は、顔方向情報に基づいて、ドライバ２の顔が、動作データ記憶部１９に記憶されている動作データに設定されている支援対象装置の方向を向いている状態を検出する。支援対象装置とは、後述するように、支援システム１により操作の支援が行われる対象となる装置であり、例えば、カーナビゲーション装置、カーオーディオ装置、エアコンディショナーなどの自動車に搭載されている車載装置、携帯電話機、PDA（Personal Digital Assistant）など乗車中に自動車の所定の位置に置かれる装置などである。支援対象装置検出部１６は、ドライバ２の顔が支援対象装置の方向を所定の時間以上継続して向いている状態を検出した場合、その支援対象装置を示す支援対象装置情報を動作制御部１８に供給する。

通信部１７は、支援対象装置と有線または無線による通信を行い、支援対象装置が処理する情報やデータを支援対象装置から受信したり、支援システム１が処理する情報やデータを支援対象装置に送信する。通信部１７は、支援対象装置から受信した情報やデータを、必要に応じて、動作制御部１８または表示制御部２２に供給する。

動作制御部１８は、自動車が走行中である場合、支援システム１の動作モードを走行中モードに設定し、自動車が停車中である場合、支援システム１の動作モードを停車中モードに設定する。

なお、図１において、ドライバ２は支援システム１が設けられた自動車を運転する人であり、支援システム１を構成する要素には含まれない。

図２を参照して後述するように、動作制御部１８は、動作モードが走行中モードである場合、顔方向情報、走行状態情報、または、運転状態情報に基づいて、運転を支援するための情報を提示するように情報の提示を制御する。また、動作制御部１８は、動作モードが停車中モードである場合、顔方向情報、または、支援対象装置から取得した情報やデータに基づいて、支援対象装置情報に示される支援対象装置の操作を支援するための情報の提示を制御する。なお、動作制御部１８は、音声によりドライバ２に提示する情報に関する音声情報、または、画像またはテキストなどの表示によりドライバ２に提示する情報に関する表示情報を生成し、音声情報を音声出力制御部２０に供給し、表示情報を表示制御部２２に供給することにより、情報の提示を制御する。また、動作制御部１８は、ドライバ２の顔の向きの検出結果を示すウインドウの表示位置を示す情報を表示制御部２２に供給する。

動作データ記憶部１９は、支援システム１が行う動作を示す動作データを記憶する。動作データは、例えば、運転状態検出部１５により検出されたドライバ２の運転状態に対応する動作内容、走行中にドライバ２の顔が向いた場合に警告を行う対象となる方向（以下、警告対象方向と称する）、ドライバ２の顔が警告対象方向を向いた状態が検出された場合に行う動作内容、ドライバ２を基準とする各支援対象装置の方向、各支援対象装置の方向をドライバ２の顔が向いた場合に行う動作内容などを示すデータを含む。なお、警告対象方向は、例えば、走行中に操作したり、見たりすると安全運転の妨げとなる装置（例えば、カーナビゲーション装置、カーオーディオ装置、携帯電話機など）が置かれている方向とされる。

音声出力制御部２０は、動作制御部１８から供給される音声情報に基づく音声データを生成し、生成した音声データを音声出力部２１に供給する。

音声出力部２１は、例えば、スピーカ、ブザー、サイレンなどからなり、音声出力制御部２０から供給される音声データに基づく音声を出力する。

表示制御部２２は、動作制御部１８から供給される表示情報に基づく画像データを生成し、生成した画像データを表示部２３に供給する。また、表示制御部２２は、必要に応じて、カメラ１２により撮影された自動車の前景の画像データを、生成した画像データに重畳し、重畳した画像データを表示部２３に供給する。

表示部２３は、例えば、自動車のフロントガラスに無限遠の点に結像する画像を投影するヘッドアップディスプレイシステムとされ、表示制御部２２から供給される画像データに基づく画像を表示する。表示部２３をヘッドアップディスプレイシステムにより構成することにより、ドライバ２は、自動車の前景を見たままの状態で、すなわち、運転中の視線方向を保ったまま、表示部２３に表示される画像を見ることができる。

次に、図２のフローチャートを参照して、図１の支援システム１により実行されるドライバ支援処理を説明する。なお、この処理は、例えば、自動車のエンジンがオンされたとき開始される。

なお、図３は、ドライバ２の座席のやや後方から自動車の前方を見た、カメラ１１および表示部２３のディスプレイ５１の設置位置の例、および、支援対象装置の例を模式的に示す図である。以下、図３に示される例を適宜用いてドライバ支援処理を説明する。

なお、図３に示される例において、カメラ１１は、ドライバ２の顔を撮影できるように、ディスプレイ５１とステアリングホイール（ハンドル）５２との間に設置されている。ディスプレイ５１は、例えば、自動車のフロントガラスの表面の一部に高反射率のコーディングを施すことにより構成される、ヘッドアップディスプレイシステムのディスプレイとされる。

また、図３に示される例において、動作データに設定されている支援対象装置として、カーナビゲーション装置５３、カーオーディオ装置５４、および携帯電話機５５の３つが示されている。カーナビゲーション装置５３は、図示せぬ自動車のダッシュボードの上面、かつ、ドライバ２から見てディスプレイ５１の左側に設置されている。また、カーオーディオ装置５４は、図示せぬ自動車のダッシュボードの下であって、カーナビゲーション装置５３のほぼ真下に設置されている。携帯電話機５５は、ドライバ２から見てハンドル５２の右側にある図示せぬ携帯電話用のホルダーに置かれている。

ステップＳ１において、カメラ１１は、ドライバ２の顔の撮影を開始する。また、カメラ１１は、撮影したドライバ２の顔を含む画像データの顔方向検出部１３への供給を開始する。

ステップＳ２において、顔方向検出部１３は、カメラ１１から供給される画像データに基づいて、ドライバ２の顔の向きの検出を開始する。顔方向検出部１３は、検出したドライバ２の顔の向きを示す顔方向情報の運転状態検出部１５、支援対象装置検出部１６、および、動作制御部１８への供給を開始する。

ステップＳ３において、運転状態検出部１５は、運転状態の検出を開始する。具体的には、走行状態検出部１４は、車速センサ３１から供給される車速データ、および、舵角検出部３２から供給される舵角データに基づいて、車速および進行方向など自動車の走行状態の検出を開始する。運転状態検出部１５は、検出した走行状態を示す走行状態情報の運転状態検出部１５および動作制御部１８への供給を開始する。

運転状態検出部１５は、顔方向情報および走行状態情報に基づいて、ドライバ２の運転状態の検出を開始する。運転状態検出部１５は、自動車が所定の速度以上で、前進している（ステアリングホイール５２の舵角が所定の角度未満である）場合に、ドライバ２の顔が自動車の前方を所定の時間以上向いていない状態を検出したとき、ドライバ２が脇見をしていると判定し、ドライバ２が脇見をしていることを示す運転状態情報を動作制御部１８に供給する。また、運転状態検出部１５は、自動車の速度が所定の速度以上である場合に、ドライバ２の顔が動作データに設定されている警告対象方向を所定の時間以上継続して向いている状態を検出したとき、ドライバ２の顔が警告対象方向を向いていることを示す運転状態情報を動作制御部１８に供給する。

ステップＳ４において、支援対象装置検出部１６は、顔方向情報に基づいて、ドライバ２の顔が支援対象装置の方向を向いている状態の検出を開始する。支援対象装置検出部１６は、ドライバ２の顔が支援対象装置の方向を所定の時間以上継続して向いている状態を検出した場合、その支援対象装置を示す支援対象装置情報を動作制御部１８に供給する。

ステップＳ５において、表示部２３は、ドライバ２の顔の向きの検出結果の表示を開始する。具体的には、動作制御部１８は、検出されたドライバ２の顔の向きに応じて、図４に示されるドライバ２の顔の向きを示すウインドウ６１を表示する位置を示す情報を表示制御部２２に供給する。表示制御部２２は、ウインドウ６１、および、ドライバ２の顔の向きを継続して検出（追跡）していることを通知するウインドウ６２を含む画像データを生成し、生成した画像データを表示部２３に供給する。表示部２３は、画像データに基づいて、例えば、図４に示されるように、ドライバ２の顔の向きに応じた位置にウインドウ６１を表示し、ディスプレイ５１の上部にウインドウ６２を表示する。

なお、ウインドウ６１および６２は半透明とされ、ウインドウ６１および６２の背後には、フロントガラス越しに見える自動車の前景が透けて見えるようになっている。従って、ドライバ２は、自動車の前景を見たままの状態で、ウインドウ６１または６２の表示内容を確認することができる。

また、ウインドウ６１は、ドライバ２の顔の向きに合わせて、ディスプレイ５１を縦方向にほぼ３等分し、横方向にほぼ３等分することにより得られる合計９つの領域のうちいずれかに表示され、ドライバ２の顔の動きに合わせて移動する。図４においては、ドライバ２の顔が、矢印Ａ１により示される自動車の前方かつ路面に対してほぼ水平方向を向いている場合の例を示しており、ウインドウ６１は、ドライバ２の顔の向きに応じて、９つの領域のうちディスプレイ５１の中央の領域に表示されている。なお、ドライバ２の顔の向きが、所定の角度以上右もしくは左を向くか、または、所定の角度以上上または下を向いた場合、ウインドウ６１は表示されなくなる。

また、「あなたの顔の向きを追跡しています。」や「ドライバモニタリングを開始します。」などのメッセージをウインドウ６２に表示し、顔の向きを監視していることをドライバ２に通知することにより、運転を開始したドライバ２に対して、運転中に見なければならない方向に顔や視線を向けるように動機づけることができる。

なお、ドライバ２の顔の向きの検出結果の表示は、上記の例に限定されるものではなく、例えば、ディスプレイ５１の表示領域をより細かく分割して、より詳細にドライバ２の顔の向きを示すようにしてもよい。また、ドライバ２の顔の向きの検出結果を表示しないようにしてもよい。

ステップＳ６において、動作制御部１８は、自動車の走行状態が変化したか否かを判定する。具体的には、動作制御部１８は、走行状態情報に自動車の発進または停止を検出したことが示されている場合、自動車の走行状態が変化したと判定し、処理はステップＳ７に進む。

ステップＳ７において、動作制御部１８は、動作モードを変更する。具体的には、動作制御部１８は、自動車の発進が検出された場合、支援システム１の動作モードを走行中モードに設定する。一方、動作制御部１８は、自動車の停止が検出された場合、支援システム１の動作モードを停車中モードに設定する。

ステップＳ６において、自動車の走行状態が変化していないと判定された場合、すなわち、自動車が走行中または停車中である場合、ステップＳ７の処理はスキップされ、処理はステップＳ８に進む。

ステップＳ８において、動作制御部１８は、走行中モードであるか否かを判定する。走行中モードであると判定された場合、処理はステップＳ９に進む。

ステップＳ９において、動作制御部１８は、走行状態情報に基づいて、自動車が直進しているか否かを判定する。自動車が直進していると判定された場合、処理はステップＳ１０に進む。

ステップＳ１０において、動作制御部１８は、ドライバ２が脇見をしているか否かを判定する。動作制御部１８は、ドライバ２が脇見をしていることを示す運転状態情報が運転状態検出部１５から供給されていない場合、ドライバ２は脇見をしていないと判定し、処理はステップＳ１１に進む。

ステップＳ９において、自動車が直進していないと判定された場合、例えば、自動車が後進したり、カーブを曲がっている場合、ステップＳ１０の処理はスキップされ、処理はステップＳ１１に進む。

ステップＳ１１において、動作制御部１８は、ドライバ２の顔が警告対象方向を向いているか否かを判定する。動作制御部１８は、ドライバ２の顔が警告対象方向を向いていることを示す運転状態情報が運転状態検出部１５から供給された場合、ドライバ２の顔が警告対象方向を向いていると判定し、処理はステップＳ１２に進む。

ステップＳ１０において、動作制御部１８は、ドライバ２が脇見をしていることを示す情報が運転状態検出部１５から供給された場合、ドライバ２が脇見をしたと判定し、ステップＳ１１の処理はスキップされ、処理はステップＳ１２に進む。

ステップＳ１２において、支援システム１は、ドライバ２への警告を行う。具体的には、ドライバ２が脇見をしていることが検出された場合、動作制御部１８は、動作データに基づいて、ドライバ２による脇見が検出された場合に提示する音声情報および表示情報を生成する。動作制御部１８は、音声情報を音声出力制御部２０に供給し、表示情報を表示制御部２２に供給する。

音声出力制御部２０は、音声情報に基づいて、音声データを生成し、生成した音声データを音声出力部２１に供給する。音声出力部２１は、音声データに基づく音声を出力する。表示制御部２２は、表示情報に基づいて、画像データを生成し、生成した画像データを表示部２３に供給する。表示部２３は、画像データに基づく画像を表示する。例えば、図５に示されるように、ドライバ２の顔が自動車の進行方向とは異なる矢印Ａ２に示される方向を向いている状態が所定の時間以上継続した場合、脇見に対する注意を喚起するメッセージを通知するウインドウ６３がディスプレイ５１の上部に表示されるとともに、脇見に対する注意を喚起する音声メッセージまたは警告音が出力される。

これにより、迅速かつ確実にドライバ２に脇見運転に対する注意を喚起することができ、ドライバ２が安全運転を行うように支援することができる。すなわち、ドライバ２の運転の安全性が向上する。

また、ドライバ２が警告対象方向を向いている状態が検出された場合、動作制御部１８は、動作データに基づいて、ドライバ２の顔がその警告対象方向を向いている状態が検出された場合に提示する音声情報および表示情報を生成する。動作制御部１８は、音声情報を音声出力制御部２０に供給し、表示情報を表示制御部２２に供給する。

音声出力制御部２０は、音声情報に基づいて、音声データを生成し、生成した音声データを音声出力部２１に供給する。音声出力部２１は、音声データに基づく音声を出力する。表示制御部２２は、表示情報に基づいて、画像データを生成し、生成した画像データを表示部２３に供給する。表示部２３は、画像データに基づく画像を表示する。

例えば、動作データに、図６の矢印A３により示される携帯電話機５５の方向が警告対象方向として設定されていて、携帯電話機５５の着信音の鳴動に伴い、ドライバ２の顔が携帯電話機５５の方向を向いた状態が検出された場合、図６に示されるように、走行中の携帯電話機による通話が危険であることを通知するウインドウ６４がディスプレイ５１の上部に表示されるとともに、走行中の携帯電話機による通話が危険であることを通知する音声メッセージまたは警告音が出力される。

これにより、迅速かつ確実にドライバ２に、警告対象方向を向いていることに対する注意を喚起することができ、ドライバ２が安全運転を行うように支援することができる。すなわち、ドライバ２の運転の安全性が向上する。

なお、ウインドウ６３および６４は半透明のウインドウであり、ウインドウ６３および６４の背後には、フロントガラス越しに見える自動車の前景が透けて見えるようになっている。従って、ドライバ２は、自動車の前景を見たままの状態で、ウインドウ６３または６４の表示内容を確認することができる。

その後、処理はステップＳ１５に進む。

ステップＳ１１において、ドライバ２の顔が、警告対象方向を向いていないと判定された場合、ステップＳ１２の処理はスキップされ、処理はステップＳ１５に進む。

ステップＳ８において、停車中モードであると判定された場合、処理はステップＳ１３に進む。

ステップＳ１３において、動作制御部１８は、ドライバ２の顔が、支援対象装置の方向を向いているか否かを判定する。動作制御部１８は、支援対象装置検出部１６から支援対象装置情報が供給された場合、ドライバ２の顔が、支援対象装置の方向を向いていると判定し、処理はステップＳ１４に進む。

ステップＳ１４において、支援システム１は、操作の支援を行う。具体的には、動作制御部１８は、必要に応じて、支援対象装置情報に示される支援対象装置の操作の支援を行うために必要な情報を、通信部１７を介して、支援対象装置から取得する。動作制御部１８は、動作データ、または、支援対象装置から取得した情報に基づいて、ドライバ２の顔が、その支援対象装置の方向を向いている状態が検出された場合に提示する音声情報および表示情報を生成する。動作制御部１８は、音声情報を音声出力制御部２０に供給し、表示情報を表示制御部２２に供給する。

音声出力制御部２０は、音声情報に基づいて、音声データを生成し、生成した音声データを音声出力部２１に供給する。音声出力部２１は、音声データに基づく音声を出力する。表示制御部２２は、必要に応じて、支援対象装置の操作の支援を行うために必要な画像データを、通信部１７を介して、支援対象装置から取得する。表示制御部２２は、表示情報、または、支援対象装置から取得した画像データに基づいて、支援対象装置の操作を支援するための画像データを生成し、生成した画像データを表示部２３に供給する。表示部２３は、画像データに基づく画像を表示する。

例えば、図７に示されるように、ドライバ２の顔が、支援対象装置であるカーナビゲーション装置５３の方向（図内の矢印Ａ４により示される方向）を向いている状態が検出された場合、ディスプレイ５１のほぼ中央のウインドウ６５内に、カーナビゲーション装置５３に表示されている地図が拡大されて表示される。なお、図７に示される例と異なり、ウインドウ６５は実際には半透明とされ、ウインドウ６５の背後には、フロントガラス越しに見える自動車の前景が透けて見えるようになっている。これにより、ドライバ２は、カーナビゲーション装置５３を操作することなく、自動車の前景を見たままの状態で、地図を確認することができる。

また、例えば、図８に示されるように、ドライバ２の顔が、支援対象装置であるカーオーディオ装置５４の方向（図内の矢印Ａ５により示される方向）を向いている状態が検出された場合、ディスプレイ５１のほぼ中央のウインドウ６６内に現在再生中の曲に関する情報（例えば、タイトル、演奏時間など）や歌詞などが表示される。なお、ウインドウ６６は半透明とされ、ウインドウ６６の背後には、フロントガラス越しに見える自動車の前景が透けて見えるようになっている。これにより、ドライバ２は、カーオーディオ装置５４を操作することなく、自動車の前景を見たままの状態で、再生中の曲に関する情報を確認することができる。

さらに、例えば、図９に示されるように、ドライバ２の顔が、支援対象装置である携帯電話機５５の方向（図内の矢印Ａ６により示される方向）を向いている状態が検出された場合、ディスプレイ５１のほぼ中央のウインドウ６７内に携帯電話機５５に着信している電子メールの受信履歴が表示されるともに、音声出力部２１から着信音が出力される。なお、ウインドウ６７は半透明とされ、ウインドウ６７の背後には、フロントガラス越しに見える自動車の前景が透けて見えるようになっている。これにより、ドライバ２は、携帯電話機５５を操作することなく、自動車の前景を見たままの状態で、電子メールの受信履歴を確認することができる。なお、携帯電話機５５がテレビ電話機能を有する場合、例えば、テレビ電話の画面をディスプレイ５１に表示するようにしてもよい。

また、図示はしないが、例えば、ドライバ２の顔が、支援対象装置であるPDAの方向を向いている状態が検出された場合、PDAに設定されているスケジュールなどをディスプレイ５１に表示するようにしてもよい。さらに、例えば、ドライバ２の顔が、支援対象装置である自動車の各種メータの方向を向いている状態が検出された場合、そのメータの表示をディスプレイ５１に表示するようにしてもよい。

なお、ステップＳ１４の処理は停車中モード時のみに行われ、走行中モード時には行われないため、すなわち、自動車の走行中にドライバ２が支援対象装置の方向を向いても操作の支援は行われないため、不要な操作支援が行われることによりドライバ２の注意をそらすことが防止される。

その後、処理はステップＳ１５に進む。

ステップＳ１３において、ドライバ２が、支援対象装置の方向を向いていないと判定された場合、ステップＳ１４の処理はスキップされ、処理はステップＳ１５に進む。

すなわち、ドライバ２が支援対象装置の方向を向いていないと判定された場合、支援対象装置の操作の支援は行われない。これにより、例えば、信号などで一旦停止した場合などにおいても、ドライバ２が支援対象装置の方向を向かない限り操作の支援が行われないため、不要な操作支援が行われることにより、ドライバ２が煩わしく感じたり、注意をそらされたりすることが防止される。

ステップＳ１５において、動作制御部１８は、自動車のエンジンがオフされたか否かを判定する。自動車のエンジンがオフされていないと判定された場合、処理はステップＳ６に戻り、ステップＳ１５において、自動車のエンジンがオフされたと判定されるまで、ステップＳ６乃至Ｓ１５の処理が繰返し実行される。すなわち、ドライバ２の顔の向き、および、自動車の走行状態に応じて、ドライバ２への警告、または、支援対象装置の操作の支援が行われる。

ステップＳ１５において、自動車のエンジンがオフされたと判定された場合、ドライバ支援処理は終了する。

このように、自動車の走行中には、ドライバの顔の向き、および、自動車の走行状態に基づいて、ドライバの運転を支援する情報が提示されるので、ドライバの安全性が向上する。また、自動車の停車中には、ドライバの顔の向きに基づいて、支援対象装置の操作を支援する情報が提示されるので、ドライバの利便性が向上する。さらに、自動車の走行中には、支援対象装置の操作を支援する情報が提示されないので、ドライバの注意力を低下させることが防止される。

また、上述したように、ドライバが特別な操作を行わなくても、自動車の走行状態に応じて自動的に動作モードが変更され、各動作モードに対応した処理が行われることにより、ドライバに提示される情報が自動的に切り替えられる。従って、自動車の走行状態、および、ドライバの運転状態に応じて、常に的確な情報を迅速にドライバに提示することができる。

例えば、走行中モードへの遷移に伴い、すなわち、運転に集中し、車両の周囲の状況に注意を注ぐべき状態への遷移に伴い、自動的に運転状態の監視が開始され、ドライバの運転状態に応じて、脇見運転に対する警告、または、警告対象方向を向かないようにするための警告が行われ、ドライバが運転中に見るべき方向から視線をそらさないように動機付けが行われる。また、運転に支障を来さないように、運転に関係のない情報の提示が停止される。

また、例えば、停車中に支援対象装置を操作したり、支援対象装置に視線を向けたままの状態で発進した場合（例えば、赤信号で一時停止中に、カーオーディオ装置５４の操作をしている最中に、青信号に変わり、操作を継続したまま慌てて発進した場合など）、自動的に走行中モードに遷移し、脇見運転に対する警告が行われるので、走行開始後に支援対象装置の利用を行わないようにドライバに動機付けすることができる。

さらに、例えば、停車中モードへの遷移に伴い、すなわち、車両の周囲の状況にあまり注意を注ぐ必要がない状態への遷移に伴い、自動的に運転状態の監視が停止され、支援対象装置に対する操作支援が開始される。これにより、運転中でないにも関わらず不必要にドライバの運転状態に対する警告が行われることが防止され、ドライバに煩わしさを感じさせないようにすることができる。また、走行中には運転に支障を来すため提示されなかった、運転とは関係のない情報の提示が開始される。

例えば、赤信号や渋滞などで一時停止した場合、自動的に停車中モードに遷移するので、短時間の停車であっても、ドライバは、視線を向けた支援対象装置に対する操作支援を迅速かつ効率的に受けることができる。例えば、ドライバは、一時停止中にカーナビゲーション装置５３に視線を向けるだけで、カーナビゲーション装置５３の画面がディスプレイ５１に表示されるので、走行中のルートにおける事故の発生情報、車線規制などの交通規制情報、渋滞情報など、その時点における運転操作とは直接関係ないが、その後の運転に影響を与える情報を、短時間の間により多く取得することができる。また、一時停止中に情報を取得するために機器の操作を行う必要がないため、運転操作に集中したまま安全に情報を取得することができる。

また、ステップＳ１１において警告対象方向を向いていると判定された場合に、ドライバへの警告を行うようにすることにより、自動車が直進しておらず、車両の前方を見ていなくてもよいと判定される状態においても、ドライバが運転中に見るべきでない方向（例えば、車内にあるカーナビゲーション装置５３や携帯電話機５５などの方向）を見ている場合にドライバへの警告を行うことができる。従って、従来の脇見を警告する装置では、カーブなどにおいて左右を確認した場合に警告が行われ、ドライバに煩わしさを感じさせてしまうことを防ぐために、直進中のみに脇見を検出するようにしていたが、それと比較して、より広い範囲で的確にドライバへの警告を行うことができる。

さらに、顔や視線の左右方向の動きのみに基づいて脇見を判定するようにした場合、例えば、自動車が直進しているときに、左右方向においてドライバのほぼ正面にあり、上下方向においてドライバの顔の下方向にある車載装置の方向を向いたときに、ドライバの脇見を検出できないことが想定されるが、警告対象方向を向いている場合にドライバへの警告を行うようにすることにより、ドライバのほぼ正面にある車載装置を見た場合にも、確実に脇見に対する警告を行うことができる。

また、図７乃至図８を参照して上述したように、停車中モード時にディスプレイ５１に表示される情報を半透明とすることで、前方の状況を見ながら提示された情報を確認することができる。

なお、以上においては、動作モードが走行中モードである場合、運転を支援する情報を提示し、動作モードが停車中モードである場合、支援対象装置の操作を支援する情報を提示する例を示したが、本発明の実施の形態では、ドライバが運転に専念する必要がある状態（例えば、走行中）においては、運転を支援するための情報のみを提示し、運転に専念する必要がない状態（例えば、停車中）においては、運転の支援とは別の目的を持つ情報を含む情報を提示するようにすることが望ましい。また、例えば、運転に専念する必要がある場合には、電話や電子メールの着信などの運転とは関係のない情報を確認に時間を要する提示方法で提示しないようにし、運転操作や前方の監視を行う必要がない場合には、運転と無関係な情報を提示したり、運転と無関係な装置を操作できるようにすることが考えられる。このように、運転に専念する必要性の度合いに応じて、情報の提示方法を切り替えたり、各種の装置の操作の支援を行うことにより、ドライバの利便性を向上させつつ、運転に専念する必要がある状態において、携帯電話の操作など運転とは関係ない装置の操作を行うことにより危険な状態に陥ることを、効果的に防止することができる。

また、上述した図２のステップＳ６において、例えば、自動車の速度が所定の時間以上継続して０である状態を検出した場合に、自動車が停止したと判定することにより、自動車の停止を容易に検出することができるが、例えば、必要に応じて、以下に挙げる状態を検出した場合に自動車が停止したと判定するようにすることも考えられる。

（１）自動車の速度が０、かつ、エンジンが停止中である状態、または、自動車の速度が０になった後、動作していたエンジンが停止した状態を検出した場合。

（２）走行を可能にする操作が行われるまで走行できない状態が検出された場合。例えば、エンジンが動作中であるか否かに関わらず、自動車の速度が０である場合に、補助ブレーキが作動している状態、ＡＴ（自動変速装置）セレクタがパーキングに設定されている状態、または、自動車のシフトレバーがニュートラルになっている状態のいずれかの状態が検出された場合。

（３）パーキングライトが点灯された、ドアが開いた、または、トランクが開いたなど、停車中に行う操作、または、停車中であることを示す操作が行われたことが検出された場合。

（４）車両の走行状態を示すセンサの検出結果に基づいて、走行中でない状態が検出された場合。例えば、４０秒以上、前後、左右、上下方向の加速度がほぼ０となっている状態が検出された場合。

（５）シートベルトを外すなど、車を降りて駐車するための準備動作がドライバにより行われたことが検出された場合。

（６）速度が０、かつ、（例えば、休息を取るために）シートが後ろに倒された状態が検出された場合。

（７）運転操作が所定の時間以上継続して行われない状態が検出された場合。例えば、ステアリングホイールから両手を離した状態が30秒以継続して検出された場合、または、自動車が自動運転を行っていない場合に、アクセルペダルおよびブレーキペダルから完全に足を離した状態が30秒以上継続して検出されたとき。

（８）駐車場の車止めを自動的に作動させる装置など、外部の検出手段により自動車が停止した状態が検出された場合。

（９）交通情報に基づいて、例えば、渋滞に巻き込まれるなどにより、自動車が動けない状態になっていることが検出された場合。

（１０）故障、盗難などの異常の発生により、車が走行できない状態、または、走行を禁止する状態になったことが検出された場合。

（１１）その他、走行中には検出されない状態が検出された場合。

また、逆に、自動車の速度以外の情報により、停車した状態から走行に移行する判断できる状態を検出した場合に、自動車が発進したと判定するようにしてもよい。

なお、走行中モードおよび停車中モードの判定が的確であるほど、よりドライバに的確な情報を提示できるようになり、ドライバに対する利便性および安全性が向上する。

さらに、以上においては、ドライバの顔の向きを検出するようにしたが、顔の向きの代わりに、視線の向きを検出して、視線の向きを用いて、ドライバ支援処理を行うようにしてもよい。また、ドライバの顔の向きおよび視線の向きの両方を用いるようにしてもよい。なお、視線の向きを検出する手法は、特定の手法に限定されるものではなく、視線の向きをより迅速かつ正確に検出できる手法が望ましい。

また、警告対象方向または支援対象装置の方向を向いている状態を検出する方法としては、顔の上下左右方向の向きを用いて検出する方法、視線の上下左右方向の向きを用いて検出する方法、視線と顔の上下左右方向の向きを組み合わせて検出する方法などが考えられる。例えば、ドライバの視線が、各支援対象装置を含む所定の範囲内の角度を向いていることを検出することにより、支援対象装置の方向を向いていると判定することが考えられる。

また、以上においては、ディスプレイ５１をヘッドアップディスプレイとする例を示したが、その他のディスプレイ、例えば、カーナビゲーション装置のディスプレイを用いるようにしてもよい。例えば、カーナビゲーション装置のディスプレイを用いる場合、図４乃至図９に示されるウインドウ６１乃至６７が、カメラ１２により撮影された自動車の前景に重畳されて表示される。なお、ディスプレイ５１をヘッドアップディスプレイとする場合、ドライバはディスプレイ５１を見ながら自動車の前景を見ることが可能であるため、自動車の前方を撮影するカメラ１２を設けないようにすることも可能である。

さらに、動作モードを、例えば、必要に応じて、運転中であるか否かに基づいて分類したり、主動力すなわちエンジンが動作中であるか否かに基づいて分類するようにしてもよい。

また、動作モードをより細かく分類するようにしてもよい。例えば、走行中モードを、低速走行中モード、高速走行中モードなどのように車速に基づいて分類したり、自動車専用道路走行中モード、市街地走行中モード、生活道路走行中モードなどのように走行している場所に基づいて分類するようにしてもよい。

また、例えば、停車中モードを、赤信号による一時停車中モード、渋滞による一時停車中モード、パーキングライトを点灯して停車中モード、ハザードランプを点灯して停車中モード、事故通報後の停車中モード、故障が検出された状態での停車中モードなどのように、停車した原因または停車中の状態などに基づいて分類するようにしてもよい。さらに、サイドブレーキをかけているか否か、自動変速装置（ＡＴ）の状態（例えば、ドライブ、リバース、パーキングなど）、エンジンが動作中か否かなどに基づいて、停車中モードを詳細に分類するようにしてもよい。

動作モードを細かく分類し、各動作モードに応じた動作を行うようにすることにより、よりきめ細かくドライバの支援を行うことができる。具体的には、例えば、ステップＳ９における脇見判定の要否の判定方法、ステップＳ１０における脇見判定方法、ステップＳ１１における警告対象の種類や判定方法、ステップＳ１２におけるドライバへの警告方法、ステップＳ１３における支援対象装置の種類や判定方法、ステップＳ１４における操作支援の内容や方法などを、詳細な動作モードに応じて変更することにより、よりきめ細かくドライバの支援を行うことができる。

例えば、乗車中モード、走行前モード、高速走行中モード、低速走行中モード、渋滞により停止中モード、一旦停止中モード、駐車中モード（エンジン停止でアイドリングストップを除く）、降車準備中モード、異常発生モード（例えば、故障、事故など）などに動作モードを分類して、各動作モードに応じて、きめ細かくドライバの支援を行うことが考えられる。

例えば、詳細に分類した動作モードに応じて、運転を支援するための情報の内容、種類、提示方法、表示条件など（例えば、警告対象方向の数、警告を行うための判定条件など）を変更するようにしてもよい。例えば、一旦停止中モードまたは渋滞により停止中モードなど、一時的に警告対象方向に向いても支障がない状態を示すモードに設定されている場合には、ドライバへの警告の開始を所定の時間だけ遅らせるようにし、高速走行中モードに設定されている場合には、ドライバへの警告の開始を早めるようにしたり、より厳しい表現や方法で警告を行うようにすることにより、より的確にドライバへの警告を行うことができる。また、停車中であっても、詳細に分類した動作モードに応じて、ドライバへの警告を行うようにしてもよい。

さらに、例えば、詳細に分類した動作モードに応じて、支援対象装置の操作を支援するための情報の内容、種類、提示方法、表示条件、または、支援方法などを変更するようにしてもよい。例えば、速度が０以上の走行中モードに設定されている場合、携帯電話機を操作することは望ましくないので、着信があれば応答を拒否するように携帯電話機を制御して、一旦停止中モードに遷移した場合、ディスプレイ５１に発信者の情報を表示し、ドライバが携帯電話機の方向を見たときに応答するように携帯電話機を制御することにより、運転状態およびドライバの意思に基づいて着信動作が行われることになり、ドライバの安全性および利便性が向上する。

また、走行中モード時にドライバが所定の支援対象装置（例えば、ルームミラー、ドアミラー、バックモニタなどの後方確認を支援する装置、サンバイザなど）を見た場合、走行状態に応じた情報を、それらの装置により提示するようにしてもよい。

さらに、走行中モード時には、運転に支障を与えないように、各種の情報をヘッドアップディスプレイ、後方監視カメラの撮影した画像を表示するバックモニタなどの運転支援表示装置により提示し、停車中モード時には、各種の情報を支援対象装置により提示するようにしてもよい。

また、以上の説明では、走行中モード時には、支援対象装置の操作の支援を行わない例を示したが、走行中モード時においても、必要に応じて、支援対象装置の操作の支援を行うようにしてもよい。例えば、ステップＳ１１において、警告対象方向を向いていないと判定された場合に、ステップＳ１５の処理の前に、ステップＳ１３およびＳ１４と同様の処理を行うようにして、警告対象方向にない支援対象装置の方向を向いた場合に、支援対象装置の操作の支援を行うようにしてもよい。

例えば、警告対象方向にない支援対象装置として、ルームミラー、ドアミラー、バックモニタを設定しておき、それらの装置の方向を向いた場合、それらの装置に映っている情報を、ディスプレイ５１に表示するようにしてもよい。

また、警告対象方向にない支援対象装置であって、運転を支援するための情報を提示するための支援対象装置として、車速メータや燃料計などの計器を設定しておき、例えば、それらの計器の情報がディスプレイ５１に表示されている場合に、それらの計器の方向を向くことにより、表示の有無、表示内容や表示サイズの変更などを行うことにより、ドライバの運転に対する支援を制御するようにしてもよい。例えば、走行中に自動車の燃料が少なくなり、ディスプレイ５１に警告画面が表示されている場合に、燃料計の方向を見たとき、警告画面を消したり、表示サイズを小さくしたりすることにより、情報を確認したにも関わらず、ドライバに対して強い警告が継続して行われることがなくなり、ドライバに煩わしさを感じさせることが防止される。

さらに、例えば、走行中モード時に、警告対象方向にある支援対象装置の方向を向いた場合でも、ドライバへの警告を行うとともに、必要に応じて、その支援対象装置の操作の支援を行うようにしてもよい。例えば、走行中モード時に、操作対象モードであるカーナビゲーション装置５３、カーオーディオ装置５４、エアコンなどの方向を向いた場合、ドライバへの警告を行うとともに、それらの装置に関する情報（例えば、車両の現在位置、再生中の音楽のタイトル、エアコンの設定温度など）をディスプレイ５１に表示するようにすることにより、走行中に支援対象装置の方向を向かないようにドライバに動機付けできるとともに、支援対象装置に関する情報を容易に取得することができる。

また、以上の説明では、ステップＳ１５において、自動車のエンジンがオフされた場合に、ドライバ支援処理を終了する例を示したが、ドライバ支援処理を終了させる条件は、この例に限定されるものではなく、自動車の利用が停止されたと判定された場合に、ドライバ支援処理を終了するようにすればよい。例えば、アクセサリ電源がオフされた場合、キーを回してハンドルロックの状態にされた場合、キーシリンダからキーが抜かれた場合、ドアの開閉が行われた場合、センサなどにより車内に人がいなくなったことが検出された場合、車外からドアがロックされた場合、センサなどにより駐車中の車への不審行為が検出され、車両のセキュリティ装置が警戒状態に設定された場合など、自動車の利用を停止する場合に行う行為やそれらの行為によって引き起こされる事象がセンサや自動車の制御システムなどにより検出された場合に、ドライバ支援処理を終了するようにしてもよい。これにより、自動車の利用が停止された後には、ドライバへの警告、および、支援対象装置の操作の支援が行われなくなり、不要な警告や支援により、ドライバに煩わしさを感じさせることが防止され、また、支援対象装置が無駄な動作を行うことが防止される。

さらに、例えば、エンジン停止以外の判定条件を適用することにより、信号などで所定の時間以上停車した場合にエンジンを停止するアイドリングストップの機能を備えた自動車において、ドライバが所望しないときにドライバ支援処理が終了することが防止される。

また、ドライバの顔または視線の方向に加えて、他の条件を組み合わせることにより、
ドライバに対する警告を行うか否かを判定するようにしてもよい。例えば、カメラ１２が撮影した画像に基づいて、前方の車両との車間距離を検出するようにして、ドライバが警告対象方向にあるルームミラーの方向を向いている場合、前方の車両への接近が検出されているとき、ドライバへの警告を行い、前方の車両への接近が検出されていないとき、ドライバへの警告を行わないようにしてもよい。これにより、より的確にドライバへの警告が行われ、ドライバが警告に対して感じる煩わしさを軽減することができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１０は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）９０１は、ROM（Read Only Memory）９０２、または記録部９０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）９０３には、CPU９０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU９０１、ROM９０２、およびRAM９０３は、バス９０４により相互に接続されている。

CPU９０１にはまた、バス９０４を介して入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。CPU９０１は、入力部９０６から入力される指令に対応して各種の処理を実行する。そして、CPU９０１は、処理の結果を出力部９０７に出力する。

入出力インタフェース９０５に接続されている記録部９０８は、例えばハードディスクからなり、CPU９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部９０９を介してプログラムを取得し、記録部９０８に記憶してもよい。

入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部９０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１０に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９１１、または、プログラムが一時的もしくは永続的に格納されるROM９０２や、記録部９０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部９０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した支援システムの一実施の形態を示すブロック図である。 図１の支援システムのドライバ支援処理を説明するためのフローチャートである。 図１の支援システムの設置例および支援対象装置の例を示す図である。 顔の向きの検出結果の表示例を示す図である。 ドライバに対する警告動作の例を説明するための図である。 ドライバに対する警告動作の他の例を説明するための図である。 ドライバに対する操作支援動作の例を説明するための図である。 ドライバに対する操作支援動作の他の例を説明するための図である。 ドライバに対する操作支援動作のさらに他の例を説明するための図である。 パーソナルコンピュータの構成の例を示すブロック図である。

符号の説明

１ 支援システム
２ ドライバ
１１ カメラ
１２ カメラ
１３ 顔方向検出部
１４ 走行状態検出部
１５ 運転状態検出部
１６ 支援対象装置検出部
１７ 通信部
１８ 動作制御部
１９ 動作データ記憶部
２０ 音声出力制御部
２１ 音声出力部
２２ 表示制御部
２３ 表示部
３１ 車速センサ
３２ 舵角検出部
５１ ディスプレイ
６１乃至６７ ウインドウ
９０１ CPU
９０２ ROM
９０３ RAM
９０８ 記録部
９１０ ドライブ
９１１ リムーバブルメディア

Claims (6)

1. ドライバの顔または視線の向きを検出する方向検出手段と、
   自動車の走行状態を検出する走行状態検出手段と、
   前記自動車が走行中である場合、前記自動車の走行状態および前記ドライバの顔または視線の向きに基づいて、運転を支援するための情報を前記ドライバに提示し、前記自動車が停車中である場合、前記ドライバの顔または視線の向きに基づいて、前記自動車に搭載されている装置の操作を支援するための情報を前記ドライバに提示するように情報の提示を制御する提示制御手段と
   を含む情報処理装置。
2. 前記提示制御手段は、前記自動車が走行中である場合、前記自動車の走行状態および前記ドライバの顔または視線の向きに基づいて、前記ドライバの注意を喚起する情報を前記ドライバに提示するように情報の提示を制御する
   請求項１に記載の情報処理装置。
3. 前記ドライバの顔または視線が所定の装置の方向を向いている状態を検出する対象装置検出手段を
   さらに含み、
   前記提示制御手段は、前記自動車が停車中である場合、前記ドライバの顔または視線の方向にある前記装置の操作を支援する情報を前記ドライバに提示するように情報の提示を制御する
   請求項１に記載の情報処理装置。
4. ドライバの顔または視線の向きを検出する方向検出ステップと、
   自動車の走行状態を検出する走行状態検出ステップと、
   前記自動車が走行中である場合、前記自動車の走行状態および前記ドライバの顔または視線の向きに基づいて、運転を支援するための情報を前記ドライバに提示し、前記自動車が停車中である場合、前記ドライバの顔または視線の向きに基づいて、前記自動車に搭載されている装置の操作を支援するための情報を前記ドライバに提示するように情報の提示を制御する提示制御ステップと
   を含む情報処理方法。
5. ドライバの顔または視線の向きを検出する方向検出ステップと、
   自動車の走行状態を検出する走行状態検出ステップと、
   前記自動車が走行中である場合、前記自動車の走行状態および前記ドライバの顔または視線の向きに基づいて、運転を支援するための情報を前記ドライバに提示し、前記自動車が停車中である場合、前記ドライバの顔または視線の向きに基づいて、前記自動車に搭載されている装置の操作を支援するための情報を前記ドライバに提示するように情報の提示を制御する提示制御ステップと
   をコンピュータに実行させるプログラム。
6. 請求項５に記載のプログラムが記録されている記録媒体。

Images