JP2019137110A - 乗員支援装置 - Google Patents

Abstract

【課題】自動運転モードで走行する車両において、乗員が時間を有効活用できるように支援する。【解決手段】車両１０には、乗員支援装置１２が設けられており、乗員支援装置１２は、車両１０が目的地に向けて自動運転モードで走行する際に、運転者Ｄが実行すべき行動項目及び行動項目の実行順序が設定して、設定した行動項目を順に報知する。また、乗員支援装置１２は、運転者Ｄが行動項目を実行する際に、トレイ２６又はテーブル２８を支援位置に配置するか、カメラ３６の撮影画像に基づいてロボットアーム３４を動作させる。これにより、車室１６内の限られた空間において、運転者Ｄが行動項目を容易に実行できて、運転者Ｄが車室内１６内での時間を有効に活用できる。【選択図】図１

Description

本発明は、車室内における乗員の行動を支援する乗員支援装置に関する。

特許文献１に開示された技術では、ユーザが携帯する携帯端末又はユーザが使用する自動車に搭載された車載端末などの移動端末の位置情報を用いてユーザの行動パターン情報又は動作パターン情報を取得し、取得した行動パターン情報又は動作パターン情報に対応するサービス情報を提供する行動支援システムを提案している。

特許文献１の行動支援システムでは、目的地ごとに標準行動パターン情報が設定されており、自動車の行動パターン情報を取得すると、取得した行動パターン情報が該当する標準行動パターン情報の目的地に関するサービス情報を、車両の移動端末に表示する。

また、特許文献１の行動支援システムでは、ユーザの動作パターン情報及び時刻を取得し、取得した動作パターン情報及び時刻に該当する標準行動パターン情報に対応するサービス情報をユーザの携帯端末に表示することで、ユーザの行動を支援する。

特開２０１２−１２３５３４号公報

ところで、自動運転モードは、目的地が設定されることで、車両の操舵制御、速度制御及び制動制御が行われて、車両が設定された目的地へ向けて走行する。自動運転モードで走行する車両では、車室内の乗員が車両の運転操作から解放される。このような自動運転モードで走行する車両を用いた自動車通勤などにおいて、乗員は、車両の運転操作から解放されることで、車室内で無為に過ごしてしまうことになりかねない。このため、自動運転モードで走行する車両では、乗員が車室内で過ごす時間を有効に活用できるように支援することが望まれている。

本発明は上記事実に鑑みてなされたものであり、自動運転モードで走行する車両において、乗員が車室内で過ごす時間を有効に活用することが可能な乗員支援装置を提供することを目的とする。

請求項１に記載の本発明の乗員支援装置は、車両が目的地に到着するまでに乗員が実行すべき行動項目及び該行動項目の実行順序を設定し、設定した実行順序に基づいて前記実行すべき行動項目を乗員に報知する報知手段と、前記行動項目を実行する乗員の動作を把握する動作把握手段と、前記行動項目及び前記動作把握手段によって把握された乗員の動作に基づいて、前記行動項目を実行する乗員の動作を支援する動作支援手段と、を備える。

請求項１に記載の乗員支援装置では、車両が目的地に到着するまでに乗員が実行すべき行動項目及び該行動項目の実行順序が設定され、報知手段は、実行すべき行動項目を設定された実行順序で乗員に報知する。また、動作把握手段は、行動項目を実行する乗員の動作を把握し、動作支援手段は、乗員が実行する行動項目及び行動項目を実行する乗員の動作に基づいて、行動項目を実行する乗員の動作を支援する。

これにより、動作支援手段が乗員の動作を支援することで、車室内の限られた空間で、乗員は、行動項目の動作を実行できると共に、自動運転モードで目的地に向けて走行する車両において、時間を有効に活用することができる。

請求項２に記載の乗員支援装置は、請求項１の乗員支援装置において、前記報知手段は、報知した前記行動項目の実行が終了するごとに、次に実行すべき行動項目を報知する。

請求項２に記載の乗員支援装置では、行動項目の実行が終了するごとに、報知手段が、次に実行すべき行動項目を報知する。このため、乗員は、設定された行動項目の行動を順序よく効率的に実行できて、時間をより有効に活用することができる。

請求項３に記載の乗員支援装置は、請求項１又は請求項２の乗員支援装置において、前記報知手段は、前記行動項目を、表示媒体への表示及び音声出力手段からの音声出力によって報知する。

請求項３に記載の乗員支援装置では、報知手段が、表示媒体への表示及び音声出力手段からの音声出力によって実行すべき行動項目を報知する。このため、乗員は、時間を有効に活用するために実行すべき行動（行動項目）を適正に把握できる。

請求項４に記載の乗員支援装置は、請求項１から請求項３の何れかの乗員支援装置において、前記報知手段は、乗員から前記実行すべき行動項目の追加、削除及び実行順序の各情報を受け付ける受付手段と、前記受付手段によって受け付けた前記情報に基づいて前記実行すべき行動項目及び該行動項目の実行順序を設定する行動設定手段と、を更に含む。

請求項４に記載の乗員支援装置では、受付手段が、乗員から実行すべき行動項目の追加、削除及び実行順序の各情報を受け付け、行動設定手段が、受付手段によって受け付けた情報に基づいて実行すべき行動項目及び該行動項目の実行順序を設定する。これにより、乗員の好みに応じて実行すべき行動項目及び実行順序の設定を容易にできる。

請求項５に記載の乗員支援装置は、請求項４の乗員支援装置において、前記目的地に車両が到着するまでの所要時間を取得する取得手段を備え、前記行動設定手段は、車両が前記目的地に到着するまでに前記行動項目が終了するように、前記実行すべき行動項目を設定する。

請求項５に記載の乗員支援装置では、取得手段が、目的地に車両が到着するまでの所要時間を取得し、行動設定手段が、車両が目的地に到着するまでに終了するように実行すべき行動項目を設定する。これにより、乗員が、車両が目的地に到着するまでの時間をより有効に活用して、行動項目を実行できる。

請求項６に記載の乗員支援装置は、請求項４又は請求項５の乗員支援装置において、前記受付手段は、対話形式で実行すべき行動項目の追加、削除及び実行順序の設定を受け付ける。

請求項６に記載の乗員支援装置では、受付手段が対話形式で実行すべき行動項目の追加、削除及び実行順序の設定を受け付ける。これにより、乗員が、実行すべき行動項目の追加、削除及び実行順序の設定を容易にできる。

請求項７に記載の乗員支援装置は、請求項１から請求項６の何れかの乗員支援装置において、前記動作支援手段は、前記行動項目を実行する乗員の動作を介助するロボットアームを含む。

請求項７に記載の乗員支援装置では、ロボットアームが、行動項目を実行する乗員の動作を介助する。このため、乗員は、車室内の限られた空間であっても行動項目を容易に実行できる。

請求項８に記載の乗員支援装置は、請求項７の乗員支援装置において、前記ロボットアームは、前記行動項目及び前記動作把握手段によって把握された乗員の動作に合せて駆動される。

請求項８に記載の乗員支援装置では、ロボットアームが、動作把握手段によって把握された乗員の動作に合せて駆動される。このため、人が介助するように乗員の動作を介助できて、乗員が行動項目を効率的に実行できて、時間をより一層有効に活用できる。

以上説明したように本発明によれば、自動運転モードで走行している車両の乗員が、限られたスペースの車室内であっても、時間を有効に活用できる、という効果がある。

本実施の形態に係る車両の概略構成図である。 本実施の形態に係る乗員支援装置の概略構成図である。 行動項目の設定処理の概略を示す流れ図である。 運転者の要求に応じて変更されたリストの流れを示す概略図である。 運転者の行動に対する支援処理の概略を示す流れ図である。 （Ａ）〜（Ｃ）の各々は、運転者に対する行動支援状態を示す車両の概略図である。

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
図１には、本実施の形態に係る乗員支援車両としての車両１０の主要部が車幅方向外側から見た概略図にて示されており、図２には、車両１０に設けられた乗員支援装置１２の概略構成がブロック図にて示されている。なお、図１では、車両前方が矢印ＦＲにて示され、上方が矢印ＵＰにて示されている。

図１に示すように、本実施の形態に係る車両１０には、運転支援装置１４が設けられており、車両１０は、乗員としての運転者Ｄが運転操作を行う手動運転モード、及び運転支援装置１４が走行制御を行う自動運転モードでの走行が可能となっている。また、本実施の形態に係る乗員支援装置１２は、自動運転モードでの走行中の車室１６内において、運転者Ｄの行動を支援する。

運転支援装置１４は、車外監視装置（図示省略）を備えると共に、経路設定部及び取得部としてのナビゲーション装置１８を備えている。運転支援装置１４の車外監視装置は、自車両の進行方向（車両前方）を含む自車両の周囲を撮像するカメラなどの複数の撮像手段、及び自車両の周囲の対象物（他の車両、物、人など）との距離を計測するミリ波レーダ（又は超音波ソナー）などの計測手段等を備えている（何れも図示省略）。車外監視装置は、撮像手段によって撮影された映像及び計測手段の計測結果から、道路上の車線等を示す白線、道路上での自車両の走行位置、自車両の周囲の対象物、対象物の方向、対象物の相対移動方向、対象物との距離、及び対象物との相対速度等を解析して、自動運転モードで走行する際の走行環境情報を生成する。

ナビゲーション装置１８は、ＧＰＳ（Global Positioning System）情報を取得すると共に、自車両の速度、加速度及び走行距離等の走行情報を取得し、ＧＰＳ情報及び走行情報に基づいて自車両の位置及び進行方向等を特定する。また、ナビゲーション装置１８は、目的地が指定されることで、目的地までの走行経路を設定すると共に、車両１０の現在地から目的地までの所要時間を算出する。

運転支援装置１４は、自動運転モードで車両１０を走行させる際、車外監視装置によって解析される走行環境情報に基づいて車両１０の操舵制御、速度制御及び制動制御を行って、車両１０を走行経路に沿って走行させる。なお、運転支援装置１４は、運転者Ｄからの要求等に基づいて自動運転モードから手動運転モードに切り替え可能となっており、車両１０は、手動運転モードに切り替えられることで、乗員のステアリング（図示省略）操作等の運転操作によって走行する。

車両１０の車室１６には、運転者Ｄが着座する座席２０が設けられており、座席２０は、図示しないアクチュエータが作動することで上下方向周りに回転される回転式とされている。これにより、座席２０が車両前方に向けられた運転位置では、座席２０に着座した運転者Ｄによる車両１０の運転操作が可能となっている。また、座席２０は、回転されて車両後方に向けられた回転位置が支援位置とされており、座席２０が支援位置とされることで、座席２０に着座した運転者Ｄの前に比較的広いスペースが確保される。車両１０では、自動運転モードで走行することで、座席２０が支援位置（車両後方）に向くように回転可能となる。

乗員支援装置１２は、動作支援手段を構成する給水タンク２２、排水タンク２４、底浅容器状のトレイ（洗面用トレイ）２６、及び略平板状のテーブル２８等を備えており、給水タンク２２、排水タンク２４、トレイ２６、及びテーブル２８が車両１０に配置されている。トレイ２６及びテーブル２８の各々は、車室１６内に配置された支援位置と、車室１６内から退避された格納位置（図示省略）との間を移動可能とされている。トレイ２６及びテーブル２８の支援位置は、座席２０の支援位置において座席２０に着座した運転者Ｄの前側となっている。

テーブル２８は、支援位置に配置されることで、運転者Ｄの筆記等に使用可能となる。また、トレイ２６には、給水タンク２２及び排水タンク２４が接続されており、トレイ２６が支援位置に配置されて図示しない蛇口が開かれることで、給水タンク２２の水が蛇口からトレイ２６内に流れ落ちる。また、蛇口から流れ落ちた水は、トレイ２６に回収されて、排水タンク２４に収容される。これにより、車両１０では、トレイ２６が支援位置に移動されることで、運転者Ｄの洗面等が可能となっている。

また、乗員支援装置１２は、報知手段を構成する音声出力手段としてのスピーカ３０、スピーカ３０と共に報知手段を構成する表示手段としてのモニタ３２、動作支援手段としてのロボットアーム３４、及び動作把握手段を構成する撮像手段としてのドーム型のカメラ３６を備えている。

スピーカ３０は、例えば、車室１６の天井面に取り付けられている。スピーカ３０は、マイク（図示省略）を備えており、スピーカ３０は、電気信号に応じた音声等の音を発すると共に、運転者Ｄが発する音声等をマイクによって受信して電気信号に変換する。

モニタ３２には、有機ＥＬパネル又は液晶パネルが用いられており、例えば、車室１６の天井に配置されて、車室１６内に突出された支援位置と車室１６から退避された格納位置（図示省略）とに移動可能とされている。モニタ３２は、支援位置において、支援位置とされた座席２０に着座した運転者Ｄに表示画像が視認可能となっている。

ロボットアーム３４は、左右一対のアーム３８（腕）を備えている。ロボットアーム３４（アーム３８）は、車室１６の天井面に取り付けられており、ロボットアーム３４は、天井面を前後方向及び車幅方向（車両前方及び上方の各々と交差する方向）に移動可能となっている。また、ロボットアーム３４は、上下方向周りに回動可能となっている。ロボットアーム３４は、アーム３８の各々に複数のアクチュエータが設けられており、アクチュエータが駆動されることで、アーム３８が人の腕と同様の動作が可能となっている。また、アーム３８の先端部には、マジックハンド（図示省略）が設けられており、マジックハンドは、アクチュエータが駆動されることで、人の手（及び指）と同様の動作が可能となっている。なお、ロボットアーム３４は、動作が停止される際、車室１６内から退避された格納位置に収容される（図示省略）。

カメラ３６は、車室１６の天井面に設けられて、天井面側から車室１６内を上下方向周りに略全周（３６０°）を撮像可能となっている。これにより、カメラ３６は、車室１６内の乗員の動作及びロボットアーム３４の動作を撮像可能となっている。

また、車両１０には、運転者Ｄの衣類が収容される衣装ケース４０、及び食品を保温しながら保存する保温庫４２が設けられている。衣装ケース４０内の衣類及び保温庫４２内の食品は、運転者Ｄによって収容されて、ロボットアーム３４によって取り出し可能にされている。

一方、図２に示すように、乗員支援装置１２には、制御部としての支援ＥＣＵ４４が設けられている。支援ＥＣＵ４４は、運転支援装置１４の制御部（図示省略）に電気的に接続されて、ナビゲーション装置１８に電気的に接続されている。なお、本実施の形態における電気的な接続は、電力の供給等のための電源線の接続、有線による電圧信号や電流信号の伝送のための接続、及び有線や無線通信手段を介したネットワーク接続を含む。

支援ＥＣＵ４４には、座席２０（アクチュエータ）、スピーカ３０、モニタ３２、ロボットアーム３４（ロボットアーム３４の制御部）、カメラ３６及び移動部４６が電気的に接続されている。支援ＥＣＵ４４は、移動部４６を動作させることで、トレイ２６、テーブル２８及びモニタ３２を個別に支援位置と格納位置との間で移動させる。また、支援ＥＣＵ４４は、ロボットアーム３４の天井面での移動及びアーム３８の動作（アクチュエータの駆動）を制御する。

また、車両１０には、通信部４８が設けられており、通信部４８が支援ＥＣＵ４４に電気的に接続されている。図１に示すように、通信部４８は、無線通信手段によってクラウド５０に電気的に接続して、クラウド５０において各種のデータの取得や各種のアプリケーションによる処理が可能となっている。

支援ＥＣＵ４４は、ＡＩ（Artificial Intelligence：人工知能）技術が用いられており、支援ＥＣＵ４４とスピーカ３０（マイクを含む）とによってＡＩスピーカが構成されている。支援ＥＣＵ４４は、スピーカ３０から音声（言葉）を発すると共に、運転者Ｄが発した音声（言葉）をマイクによって検出する。この際、支援ＥＣＵ４４は、クラウド５０を用いて、運転者Ｄが発する音声内容の認識、及び所定内容の音声信号を生成し、生成した音声信号の音声をスピーカ３０から発する。これにより、支援ＥＣＵ４４は、運転者Ｄと会話可能となっており、支援ＥＣＵ４４は、運転者Ｄとの対話形式で各種の情報の報知、及び運転者Ｄに対する支援の設定等を行う。

支援ＥＣＵ４４は、運転者Ｄとの対話に用いる情報画像などの各種の情報がモニタ３２に表示されるように制御する。また、支援ＥＣＵ４４は、カメラ３６の撮影画像に対して運転者Ｄ及びロボットアーム３４等を対象物として、画像解析を行うことで対象物及び対象物の動きを抽出する。支援ＥＣＵ４４は、ＡＩ技術が用いられていることで、カメラ３６の撮影画像から運転者Ｄ及びロボットアーム３４の動作（アーム３８の動き）を認識し、運転者Ｄの動作を介助するようにロボットアーム３４の作動を制御する。

一方、乗員支援装置１２には、記憶部５２が設けられており、記憶部５２には、ＨＤＤ（ハードディスクドライブ）又は半導体メモリなどの不揮発性の記憶媒体が用いられている。記憶部５２は、支援ＥＣＵ４４に電気的に接続されており、記憶部５２には、支援ＥＣＵ４４が取得した情報が記憶される。

また、記憶部５２には、車室１６内における運転者Ｄの行動項目及び行動項目に関する情報が記憶されており、行動項目は、車両１０が目的地に到着するまでの間に、運転者Ｄが車室１６内で実行する可能性のある行動であり、行動項目は、目的地ごとに記憶されている。

記憶部５２には、目的地ごとに実行された行動項目が履歴として記憶されており、履歴には、行動項目に関する情報が含まれている。行動項目に関する情報には、行動項目について、運転者Ｄが行動を開始（実行）してから終了するまでに要する時間としての行動時間、行動項目の優先順位、及び複数の行動項目の間での実行順序が含まれている。優先順位は、履歴から実行される頻度に基づいたレベルとされており、優先順位のレベルは、実行された頻度が高い行動項目のレベルが高くなっている。また、複数の行動項目の間での実行順序は、複数の行動項目の間で、先に実行するか後に実行するかの実行順序に関する情報としている。

ここで、支援ＥＣＵ４４は、車両１０が目的地に到着するまでの間で、運転者Ｄが実行すべき行動項目として、一つ又は複数の行動項目を設定する。設定する行動項目には、記憶部５２に記憶された行動項目（過去に実行された行動項目）、及び運転者Ｄが指定した行動項目が適用される。ナビゲーション装置１８は、車両１０が目的地に到着するまでの所要時間を算出しており、支援ＥＣＵ４４は、記憶部５２に記憶された目的地ごとの行動項目、及び行動項目に関する情報から、優先順位の高い順に選択すると共に、所要時間内に行動の実行が終了するように選択して設定する。また、支援ＥＣＵ４４は、実行すべき行動項目について、実行順序を含めて設定する（スケジューリングを行う）。

支援ＥＣＵ４４は、実行すべき行動項目について、目的地ごとの履歴から得られる行動項目及び行動項目の実行順序を初期リストとして設定し、初期リストに対して運転者Ｄから行動項目の追加、削除及び実行順序の変更を受け付ける。支援ＥＣＵ４４は、運転者Ｄから行動項目の追加、削除及び実行順序の変更の受け付けを、スピーカ３０及びスピーカ３０に設けたマイクを用いた対話形式によって行う。支援ＥＣＵ４４は、運転者Ｄから受け付けた行動項目の追加、削除及び実行順序の変更に基づいて、実行すべき行動項目及び行動項目の実行順序の変更設定を行い、実行すべき行動項目及び実行順序を設定する。

支援ＥＣＵ４４は、自動運転モードで車両１０が目的地に向けて走行を開始すると、設定した行動項目を順に運転者Ｄに報知して、運転者Ｄに行動項目の実行を促す。また、支援ＥＣＵ４４は、カメラ３６の撮影画像から行動項目を実行する運転者Ｄの動作を検出し、検出した動作に合せてロボットアーム３４等を動作させることで、ロボットアーム３４等によって運転者Ｄの行動を介助する。

また、支援ＥＣＵ４４は、カメラ３６の撮影画像から行動項目を実行する際の運転者Ｄの動きを解析して、解析結果を記憶部５２に格納し、次に運転者Ｄが同様の行動項目を実行する際の、運転者Ｄの動作の予測及びロボットアーム３４の動作制御に反映させる。なお、解析結果などの情報の記憶には、クラウド５０上のストレージを含めてもよい。また、車両１０には、図示しない小物入れが設けられており、小物入れには、記憶部５２に記憶された行動項目を実行する際に運転者Ｄが使用する小物などが収容されている。

以下に、図３〜図６を参照しながら、乗員支援装置１２による運転者Ｄの行動支援を説明する。なお、以下の説明では、目的地として運転者Ｄの勤務先（会社）を適用し、所謂自動車通勤における運転者Ｄの行動支援を説明する。

車両１０では、乗車した運転者Ｄが目的地を指定することで、ナビゲーション装置１８が、走行経路を設定すると共に、目的地に到着するまでの所要時間を算出する。車両１０は、走行開始が指示されることで、自動運転モードで目的地に向けた走行を開始する。なお、ナビゲーション装置１８は、目的地を指定する際、到着期限とする時刻が指定されることで、指定された時刻まで（指定された時刻より前）に目的地に到着するように走行経路を設定する。

支援ＥＣＵ４４は、自動運転モードでの車両走行が開始されると、座席２０を支援位置に回転させる。この後、図３のフローチャートが実行して、運転者Ｄが実行すべき行動項目及び行動項目の実行順序の設定（スケジューリング）を行う。なお、行動項目の設定は、例えば、ナビゲーション装置１８に目的地を設定するのと同様に、座席２０を運転位置とした状態（運転者Ｄが車両前側を向いた状態）で行われてもよい。

図３のフローチャートでは、ステップ１００において、目的地ごとに記憶部５２に記憶された標準的な行動項目のリストを初期リストとして報知する。初期リストは、各行動項目における動作時間、及び優先順位等に基づいて、所要時間に収まるように設定される。この初期リストの報知は、スピーカ３０から発する音声によって行ってもよいが、本実施の形態では、モニタ３２に初期リストを表示して行う。これにより、図４に示すように、目的地を会社とする通勤については、記憶部５２に記憶されている標準的な行動項目の初期リストとしてのリスト６０Ａがモニタ３２に表示される。

図３のフローチャートにおいて、次のステップ１０２では、スピーカ３０から発する音声（言葉）によって運転者Ｄに設定の確認を促し、運転者Ｄからの音声による返答を検出する。ステップ１０４では、変更があるか否かを判定する。これにより、運転者Ｄが変更を要求したことを確認すると、ステップ１０４において肯定判定されて、ステップ１０６に移行する。運転者Ｄが音声で変更内容を指示すると、ステップ１０６では、運転者Ｄの発する音声を受け付けて、変更内容を受け付け、ステップ１０８では、受け付けた変更内容に基づいて行動項目の設定を変更する。また、ステップ１１０では、変更された行動項目のリストをモニタ３２に表示することで、運転者Ｄに報知する。

モニタ３２に表示された一つ又は複数の設定項目について、運転者Ｄが削除する（今回は実行しない）旨を音声によって表明する（伝える）と、支援ＥＣＵ４４は、運転者Ｄの発した音声を検出し、検出した音声の内容を認識することで、運転者Ｄの指定した行動項目を削除する。例えば、朝食が済んでおり、髭剃りも不要である場合、運転者Ｄは、「食事（朝食）」と「髭剃り」とが不要である旨を音声によって表明することで、モニタ３２に表示されるリストから「食事（朝食）」と「髭剃り」とが削除される。これにより、図４のリスト６０Ａがリスト６０Ｂに変更されてモニタ３２に表示される。

また、運転者Ｄは、実行したい項目（行動項目）があれば、その行動項目を音声によって表明する。これにより、支援ＥＣＵ４４は、運転者Ｄが発した音声を検出して、内容を認識することで、運転者Ｄが表明した行動項目をモニタ３２に表示するリストに追加する。例えば、運転者Ｄが「資料確認」を追加するように要求した場合、モニタ３２に表示される行動項目のリストに「資料確認」が追加される。これにより、図４のリスト６０Ｂがリスト６０Ｃに変更されてモニタ３２に表示される。

なお、図３において図示は省略するが、支援ＥＣＵ４４は、行動項目を追加する場合、行動時間として確保すべき時間の指定を要求し、運転者Ｄが、支援ＥＣＵ４４に確保すべき時間を伝えると、支援ＥＣＵ４４は、目的地までの所要時間に終了するか否かを確認する。

この際、所要時間内にリスト上の行動項目の全てを終了するのが難しいと判断すると、時間調整が難しい旨を運転者Ｄに報知し、省略できる行動項目があるか否かの確認を要求する。このとき、例えば、運転者Ｄが「ニュースチェック」を省略してもよいことを音声によって伝えることで、支援ＥＣＵ４４は、「ニュースチェック」を削除する。これにより、図４のリスト６０Ｃがリスト６０Ｄに変更されてモニタ３２に表示される。

このようにして、所要時間内での行動項目が定められてステップ１０４において否定判定されると、ステップ１１２では、運転者Ｄに実行順序の確認要求を行う。このとき、運転者Ｄが実行順序を変更したければ、その実行順序を変更したいことを音声によって伝えることで、ステップ１１４において肯定判定されて、ステップ１１６に移行する。

ステップ１１６では、運転者Ｄから変更内容を受け付け、ステップ１１８では、受け付けた変更内容に基づいて行動項目の順序を変更する（入れ替える）。ステップ１２０では、順序を変更したリストをモニタ３２に表示することで運転者Ｄに報知する。

例えば、運転者Ｄは、行動項目として追加した「資料確認」を最初に行いたい場合、その旨を音声で表明する。支援ＥＣＵ４４は、音声を認識することで「資料確認」を最初に実行するように、行動項目の順序を入れ替える。これにより、図４のリスト６０Ｄがリスト６０Ｅに変更されてモニタ３２に表示される。

このようにして、実行すべき行動項目について順序を設定し、設定した順序について運転者Ｄの同意が得られる（変更なし）と、図３のステップ１１４において否定判定されて、行動項目の設定処理を終了する。

図５には、行動支援処理が示されており、このフローチャートでは、ステップ１３０において、実行すべき行動項目として設定された最初の行動項目を運転者Ｄに報知する。行動項目の報知は、スピーカ３０から音声を発して運転者Ｄに行動項目の実行を促すようにしてもよく、これと共に、実行する行動項目をモニタ３２に表示してもよい。

次のステップ１３２では、運転者Ｄの動作に合わせた行動支援処理を実行する。行動支援処理は、カメラ３６よって運転者Ｄの動作を検出し、検出した運転者Ｄの動作から運転者Ｄの意図や次の動作を予測して行う。また、行動支援処理においては、運転者Ｄが助けてほしい動作を音声（言葉）で要求してもよい。支援ＥＣＵ４４は、運転者Ｄの発した音声がマイクによって検出されると、クラウド５０を用いて運転者Ｄの要求した内容を認識して助けが必要な動作を設定し、設定した動作を実行することで、運転者Ｄの要求に応じた介助を行う。

例えば、行動項目が「資料確認」の場合、図６（Ａ）に示すように、支援ＥＣＵ４４は、テーブル２８を支援位置に配置する。これにより、運転者Ｄは、資料等をテーブル２８に載せて見ることができる。テーブル２８を支援位置に配置することで、運転者Ｄは、テーブル２８を用いてメモなどの書き込みができる。さらに、支援ＥＣＵ４４は、カメラ３６によって撮影した運転者Ｄの動作から、照明が必要と判断すると、図示しない照明を点灯させ、運転者Ｄの手元又はテーブル２８を照明する。

行動項目が「歯磨き」や「洗面」の場合、図６（Ｂ）に示すように、支援ＥＣＵ４４は、トレイ２６を支援位置に配置する。これにより、運転者Ｄは、「歯磨き」や「洗面」に水を用いることができる。また、支援ＥＣＵ４４は、ロボットアーム３４を用いて、小物入れからミラー５８を取り出して運転者Ｄの前に配置する。これにより、運転者Ｄは、「歯磨き」及び「洗面」にミラー５８を用いることができる。

なお、行動項目が「食事」の場合、テーブル２８を支援位置に配置すると共に、ロボットアーム３４を用いて保温庫４２から食品（図示省略）を取り出してテーブル２８に載せるなどの支援を行う。また、保温庫４２に飲み物がある場合、支援ＥＣＵ４４は、ロボットアーム３４を動作させて保温庫４２から飲み物を取り出し、テーブル２８に載せる。

また、「ニュースチェック」の場合、支援ＥＣＵ４４は、通信部４８を介してクラウド５０に接続して、運転者Ｄが必要としているニュースや運転者Ｄの嗜好にあったニュースを取得し、取得したニュースをモニタ３２に表示する。この際、支援ＥＣＵ４４が、予め取得したいニュースのジャンル、キーワード等を運転者Ｄから取得することで、運転者Ｄが必要としているニュースや運転者Ｄの嗜好にあったニュースを運転者Ｄに提示できる。

一方、図６（Ｃ）に示すように、行動項目が上着６２を羽織る「着替え」の場合、支援ＥＣＵ４４は、ロボットアーム３４を動作させて衣装ケース４０から上着６２を取り出す。また、支援ＥＣＵ４４は、上着６２を運転者Ｄの背中側から掛けるようにロボットアーム３４を動作させる。この際、支援ＥＣＵ４４は、カメラ３６の撮影画像から運転者Ｄの動作とロボットアーム３４の動作を検出し、運転者Ｄの動作に合せてロボットアーム３４を動作させる。これにより、運転者Ｄの腕を上着６２の袖に通し易くすることで、運転者Ｄは、上着６２を容易に羽織ることができる。

一方、図５のフローチャートのステップ１３４では、実行中の行動項目（報知した行動項目）が終了したか否かを確認する。行動項目が終了したか否かは、カメラ３６の撮影画像から検出される運転者Ｄの動作から確認できる。

実行中の行動項目が終了すると、ステップ１３４で肯定判定してステップ１３６に移行する。ステップ１３６では、実行すべきとして設定した行動項目の全てが終了したか否かを確認し、残っている行動項目がある場合、ステップ１３６で否定判定して、ステップ１３８に移行し、次に実行すべき行動項目を報知して、報知した行動項目の実行を促す。また、全ての行動項目が終了すると、ステップ１３４において肯定判定されて、運転者Ｄの行動支援処理を終了する。

このように、支援ＥＣＵ４４は、車両１０が目的地に到着するまでに運転者Ｄが実行すべき行動項目及び行動項目の実行順序を設定し、設定した行動項目を設定した実行順序で運転者Ｄに報知する。これにより、運転者Ｄは、実行すべき行動項目を適正に把握できて、順序よく行動することができる。

また、支援ＥＣＵ４４は、カメラ３６の撮影画像から行動項目を実行する運転者Ｄの動作を把握し、行動項目及び運転者Ｄに動作に合せて、トレイ２６又はテーブル２８を支援位置に配置する。また、支援ＥＣＵ４４は、運転者Ｄが実行する行動項目及び運転者Ｄの動作に合せてロボットアーム３４を動作させる。これにより、限られたスペースの車室１６内において、運転者Ｄは、行動項目に応じた動作を円滑に実行できて、自動運転モードで走行する車両１０において過ごす時間を有効に活用できる。

また、支援ＥＣＵ４４は、運転者Ｄが行動項目の実行を終了するごとに、次に実行すべき行動項目をスピーカ３０及びモニタ３２を用いて報知する。これにより、運転者Ｄは、次に実行すべき行動項目を遅滞なく開始できるので、自動運転モードで走行する車両１０において過ごす時間をより有効に活用できる。

また、支援ＥＣＵ４４は、スピーカ３０から発する音声及びモニタ３２の表示によって実行すべき行動項目を運転者Ｄに報知している。これにより、運転者Ｄは、時間を活用するために実行すべき行動項目を適正に把握できて、行動項目を的確に実行できる。

さらに、支援ＥＣＵ４４は、運転者Ｄから実行すべき行動項目の追加、削除及び実行順序を受け付けて、受け付けた追加及び削除に合せて実行すべき行動項目を設定すると共に、行動項目の実行順序を設定する。これにより、運転者Ｄは、必要な行動項目を必要な順序で設定できて、設定した行動項目を自動運転モードで走行する車両１０において実行することができる。しかも、支援ＥＣＵ４４は、スピーカ３０及びスピーカ３０に設けているマイクを用いて、運転者Ｄとの対話形式で実行すべき行動項目の追加、削除及び実行順序を受け付ける。これにより、運転者Ｄは、実行すべき行動項目の追加、削除及び実行順序の設定を容易に行うことができる。

また、支援ＥＣＵ４４は、ナビゲーション装置１８によって算出した所要時間内で実行できるように実行すべき行動項目を設定する。これにより、運転者Ｄは、実行すべき行動項目を、車両１０が目的地に到着するまでに実行できる。

さらに、支援ＥＣＵ４４は、人の腕や手と同等の動作をするロボットアーム３４を用いて運転者Ｄの動作を介助している。これにより、運転者Ｄは、人によって手助けされているように感じるので、行動項目を容易にかつ効率的に実行できて、時間をより一層有効に活用できる。

以上説明した本実施の形態では、車両１０が目的地に到着するまでに、設定した行動項目が終了するように説明した。しかしながら、運転者Ｄが、行動項目を実行するのに予定した行動時間よりも時間が掛かってしまうと、車両１０が目的地に到着するまでに設定して行動項目の全てを終了できない可能性が生じる。

ここから、支援ＥＣＵ４４では、走行する車両１０の現在地から目的地までの所要時間を算出し、算出した所要時間と残っている行動項目の実行を終了するまでの時間とを比較する。これにより、車両１０が予定した行動項目の実行を終了する前に目的地に到着すると予測される場合には、運転者Ｄに報知し、行動項目の実行を早めるように運転者Ｄに促す。また、目的地への到着期限として指定した時刻まで遅らせることで、残っている行動項目の実行が終了できると予測される場合、ナビゲーション装置１８が迂回路を検索し、走行経路を検索された迂回路に変更して、運転支援装置１４が、変更した走行経路を車両１０が走行するように制御してもよい。これにより、運転者Ｄは、目的地に到着するまでに実行すべき行動項目を終了できる。

また、本実施の形態では、マイク付きのスピーカ３０とモニタ３２とを用いて、支援ＥＣＵ４４が音声を用いた対話形式で、実行すべき行動項目の追加、削除及び実行順序の変更等の情報を受け付けたが、本発明は、これに限るものではない。例えば、モニタ３２に替えてタッチ式のモニタを用い、支援ＥＣＵ４４は、タッチ式のモニタに表示するＵ／Ｉ（ユーザインターフェイス）に応じた画面操作によって入力される情報を受け付けてもよい。

また、本実施の形態では、記憶部５２に記憶された履歴から実行すべき行動項目の初期リストを作成し、作成した初期リストを、運転者Ｄからの要求によって変更等の修正を行うことで、運転者Ｄが実行すべき行動項目及び実行順序を設定した。しかしながら、本発明は、これに限るものではない。例えば、ＡＩスピーカ技術を用いて、運転者Ｄから実行すべき行動項目及び実行順序を受け付けて、運転者Ｄが実行すべき行動項目及び実行順序を指定するようにしてもよい。この際、支援ＥＣＵ４４は、運転者Ｄから受け付けた実行すべき行動項目について、所要時間内に実行が終了しうるか否かを判定し、所要時間内に終了し得ないと予測された場合に、運転者Ｄと対話形式で、実行すべき行動項目についての変更を行うようにすることが好ましい。

さらに、本実施の形態では、ロボットアーム３４を車室１６の天井面に移動可能に設けたが、本発明は、これに限るものではない。ロボットアームは、例えば、運転者Ｄが着座する座席２０のシートバックの左右両側にアームを配置して構成してもよい。これにより、運転者Ｄの後側から運転者Ｄの動作を支援することができ、運転者Ｄの腕（手）の代りとしての動作制御が容易となる。この際、アームは、伸縮可能であることがより好ましく、これにより、運転者Ｄが着座した状態では、手の届かない位置の物を、運転者Ｄの替わりに取ることができる。

さらに、本実施の形態では、トレイ２６、テーブル２８、及びロボットアーム３４を用いて運転者Ｄの動作を支援したが、本発明の動作支援手段は、これらに限るものではない。本発明の動作支援手段は、運転者Ｄが行動項目に応じた行動を実行する際に、運転者Ｄが必要とする支援を行うものであればよい。

その他、本発明は、その要旨を逸脱しない範囲で種々変更して実施できる。また、本発明の権利範囲が上記実施の形態に限定されないことは勿論である。

１０ 車両
１２ 乗員支援装置
１４ 運転支援装置
１８ ナビゲーション装置（取得手段）
２６ トレイ（動作支援手段）
２８ テーブル（動作支援手段）
３０ スピーカ（報知手段、音声出力手段、受付手段）
３２ モニタ（報知手段、表示媒体、受付手段）
３４ ロボットアーム（動作支援手段、動作介助手段）
３６ カメラ（動作把握手段）
４４ 支援ＥＣＵ
４８ 通信部
５０ クラウド
５２ 記憶部

Claims (8)

1. 車両が目的地に到着するまでに乗員が実行すべき行動項目及び該行動項目の実行順序を設定し、設定した実行順序に基づいて前記実行すべき行動項目を乗員に報知する報知手段と、
   前記行動項目を実行する乗員の動作を把握する動作把握手段と、
   前記行動項目及び前記動作把握手段によって把握された乗員の動作に基づいて、前記行動項目を実行する乗員の動作を支援する動作支援手段と、
   を備えた乗員支援装置。
2. 前記報知手段は、報知した前記行動項目の実行が終了するごとに、次に実行すべき行動項目を報知する請求項１に記載の乗員支援装置。
3. 前記報知手段は、前記行動項目を、表示媒体への表示及び音声出力手段からの音声出力によって報知する請求項１又は請求項２に記載の乗員支援装置。
4. 前記報知手段は、乗員から前記実行すべき行動項目の追加、削除及び実行順序の各情報を受け付ける受付手段と、
   前記受付手段によって受け付けた前記情報に基づいて前記実行すべき行動項目及び該行動項目の実行順序を設定する行動設定手段と、
   を更に含む請求項１から請求項３の何れか１項に記載の乗員支援装置。
5. 前記目的地に車両が到着するまでの所要時間を取得する取得手段を備え、
   前記行動設定手段は、車両が前記目的地に到着するまでに前記行動項目が終了するように、前記実行すべき行動項目を設定する請求項４に記載の乗員支援装置。
6. 前記受付手段は、対話形式で実行すべき行動項目の追加、削除及び実行順序の設定を受け付ける請求項４又は請求項５に記載の乗員支援装置。
7. 前記動作支援手段は、前記行動項目を実行する乗員の動作を介助するロボットアームを含む請求項１から請求項６の何れか１項に記載の乗員支援装置。
8. 前記ロボットアームは、前記行動項目及び前記動作把握手段によって把握された乗員の動作に合せて駆動される請求項７に記載の乗員支援装置。