JP7148296B2 - 車載用ロボット - Google Patents

Description

本発明は、車載用ロボットに関する。

カーナビゲーション装置は目的地への経路誘導を行うだけでなく、車両に関する様々な情報を扱い、ユーザの利便性を向上している。特許文献１には、ナビゲーション装置と人形を連携させてユーザへ情報提供する技術が開示されている。

特開２００２－７１３７２号公報

特許文献１に開示された発明では、ナビゲーション装置から入力された情報に基づく情報提供しか実現できず改善の余地がある。

本発明の第１の態様による車載用ロボットは、車載装置が搭載される車両に搭載されるロボットであって、前記車載装置から前記車両に関する情報である車両情報を取得する通信部と、前記車両の外部または前記車両の内部を撮影するカメラと、前記車両情報および前記カメラによる撮影結果を用いて当該車載用ロボットの動作を決定する制御部とを備える。

本発明によれば、車載用ロボットが車載装置から取得する情報と車載用ロボットが備えるカメラによる撮影結果を用いて動作できる。

ロボットシステムＳのハードウエア構成図 ロボットシステムＳの車両５における配置を示す図 ロボット１の正面図 ロボ表示部１２に表示される画像の例を示す図 ロボット１およびナビゲーション装置２の機能構成図 車両５の始動時におけるロボットシステムＳの動作を示すシーケンス図 車両５の始動後におけるロボットシステムＳの動作を示すシーケンス図 車両５の始動後におけるロボットシステムＳの動作を示すシーケンス図 車両５の走行時におけるロボットシステムＳの動作を示すシーケンス図 車両５の一時停止時におけるロボットシステムＳの動作を示すシーケンス図 車両５が狭隘路を通行する際のロボットシステムＳの動作を示すシーケンス図 車両５が長時間走行している場合のロボットシステムＳの動作を示すシーケンス図 車両５が目的地の周辺に到着した場合のロボットシステムＳの動作を示すシーケンス図

―実施の形態―
以下、図１～図１３を参照して、本発明に係るロボットシステムの実施の形態を説明する。車両５の乗員のうち、運転席に座っている者を運転者と呼ぶ。車両５の乗員であって、運転者に限らない全員をユーザと呼ぶ。

（ハードウエア構成）
図１はロボットシステムＳのハードウエア構成図である。ロボットシステムＳは車両５に搭載される。ロボットシステムＳは、ロボット１と、ナビゲーション装置２と、間接照明３１と、スピーカー３２と、周辺カメラ３３と、ＧＰＳ受信機３４と、マイク３５とを備える。

ロボット１は、ロボカメラ１１と、ロボ表示部１２と、ロボライト１３と、モータ１４と、ロボ演算部１５と、ロボ記憶部１６と、ロボ通信部１７とを備える。ロボカメラ１１はロボ表示部１２と一体に構成されるカメラユニットであり、撮影して得られる画像はロボ演算部１５がアクセス可能である。ロボカメラ１１は高精細でゆがみが少ないことが望ましい。ロボ表示部１２はたとえば液晶ディスプレイである。ロボ表示部１２は、ロボ演算部１５の動作指令に基づき、ユーザへ、特に運転者へ提供する情報を表示する。

ロボライト１３はロボ表示部１２と一体に構成されるライトであり、ロボ演算部１５からの動作指令により点灯、消灯、点滅、点灯色の変更などが可能である。さらにロボライト１３は、ロボ演算部１５の動作指令にしたがって、色を次々に変化させて虹色に光らせることもできる。モータ１４は３軸モータであり、ロボ演算部１５の動作指令によりロボット１をＸＹＺの３軸周りに自在に回転できる。ロボ演算部１５は、ロボット１の動作指令に関する演算を行う装置である。ロボ演算部１５により実現される機能は後述する。

ロボ演算部１５は、中央演算装置であるＣＰＵ、再構成可能な論理回路、およびハードウエア回路の少なくとも１つを含んで構成される。ロボ演算部１５にＣＰＵを含む場合は、ロボ記憶部１６または不図示のＲＯＭなどに格納されたプログラムを不図示のＲＡＭに展開して実行する。ロボ記憶部１６は、読み書き可能な不揮発性の記憶装置、たとえばフラッシュメモリである。ロボ通信部１７は、ナビゲーション装置２やロボットシステムＳを構成する他の装置との通信を行うための通信インタフェースである。ロボ通信部１７はたとえばＣＡＮ（登録商標）やＩＥＥＥ８０２．３に対応する。

ナビゲーション装置２は、車両５を目的地に誘導するためのナビゲーション情報を運転者に提供する装置である。ナビゲーション装置２は、ナビ表示部２２と、ナビ演算部２５と、ナビ記憶部２６と、ナビ通信部２７とを備える。ナビ表示部２２はたとえば液晶ディスプレイである。ナビ表示部２２は、ナビ演算部２５の動作指令に基づき、ユーザへ、特に運転者へ提供する情報を表示する。ナビ演算部２５は、中央演算装置であるＣＰＵ、再構成可能な論理回路、およびハードウエア回路の少なくとも１つを含んで構成される。ナビ演算部２５にＣＰＵを含む場合は、ナビ記憶部２６または不図示のＲＯＭなどに格納されたプログラムを不図示のＲＡＭに展開して実行する。ナビ演算部２５により実現される機能は後述する。

ナビ記憶部２６は、書き込み可能な不揮発性の記憶装置、たとえばフラッシュメモリである。ただしナビ記憶部２６に読み出し専用の記憶領域が含まれてもよい。ナビ通信部２７は、ロボットシステムＳを構成する他の装置、および車両５の外部のサーバとの通信を行うための通信インタフェースである。ナビ通信部２７はたとえば、車両５の内部の機器と通信するためのＣＡＮまたはＩＥＥＥ８０２．３の通信モジュールと、車両５の外部のサーバと通信するための無線通信モジュールとを含む。ナビ通信部２７は車両５に搭載された様々な機器と通信可能であり、たとえばイグニッションスイッチの動作状態や、車両５の速度、ステアリングホイールの角度などの情報が得られる。

間接照明３１は、車両５の内部の４か所に配される多色の光源である。間接照明３１が配される４か所とは、運転席の前方下部、運転席のドア側の側面下部、助手席の前方下部、および助手席のドア側の側面下部である。間接照明３１は様々な色を発光可能であり、ロボット１の動作指令により点灯、消灯、および点灯色の変更を行う。

スピーカー３２は、ナビゲーション装置２から出力される信号に基づき音声を出力する。周辺カメラ３３は、車両５の４隅に配されるカメラであり、車両５の周辺を撮影する。周辺カメラ３３が撮影して得られた映像は、ナビゲーション装置２に出力される。周辺カメラ３３は平時は動作しておらず、ロボット１の動作指令により動作を開始する。ＧＰＳ受信機３４は、衛星航法システムを構成する複数の衛星から電波を受信し、その電波に含まれる信号を解析することで自車両の位置、すなわち緯度と経度を算出する。ＧＰＳ受信機３４は算出した緯度と経度をナビゲーション装置２に出力する。マイク３５は運転者の発話が入力可能なマイクロフォンであり、運転席の付近に設けられる。マイク３５は得られた音声信号をナビゲーション装置２に出力する。

（車内の配置）
図２はロボットシステムＳの車両５における配置を示す図である。ただし図２ではロボットシステムＳに含まれる一部の装置の記載を省略している。

ロボット１は車両５のダッシュボードの上であって、車両５の幅方向で略中央に設置される。ロボット１の通常の姿勢、たとえば電源オフ時や特段の処理を行わない場合の姿勢は、車室内の後方正面を向いている。ロボット１の通常の姿勢におけるロボット１のロボ表示部１２の正面の向きを図２では矢印で示している。間接照明３１は、前述のとおり、運転席の前方下部、運転席のドア側の側面下部、助手席の前方下部、および助手席のドア側の側面下部に配される。周辺カメラ３３は車両５の四隅に配置され、４つの周辺カメラ３３により車両５の全周が撮影可能である。

ロボット１のモータ１４の回転方向を明確にするために、便宜的にＸＹＺ軸を定義する。Ｘ軸は車両５の前後方向に平行、Ｙ軸は車両５の幅方向に平行、Ｚ軸は車両５の天地方向に平行である。ロボット１をＺ軸を中心に回転させることで、ロボット１のロボ表示部１２を運転席に向かせることができる。以下ではＺ軸を中心とする回転をヨー方向の回転とも呼ぶ。ロボット１をＹ軸を中心に回転させることで、ロボット１のロボ表示部１２を天井や床に向けさせることができる。以下ではＹ軸を中心とする回転をピッチ方向の回転とも呼ぶ。ロボット１をＸ軸を中心に回転させることで、ロボット１のロボ表示部１２が平面内で回転し、いわばロボット１が首をかしげるような動作をさせることができる。以下ではＸ軸を中心とする回転をロール方向の回転とも呼ぶ。

（ロボット１の正面図）
図３はロボット１の正面図である。図２に示したロボット１の位置に当てはめると、図３の下部は車両５のダッシュボードであり、図３の左右方向は車両５の幅方向である。ロボット１は円形のロボ表示部１２を備え、その周囲を縁取るようにロボライト１３が配される。そしてロボカメラ１１は、ロボ表示部１２やロボライト１３と一体に構成されている。なお図３ではロボカメラ１１はロボライト１３の上部に位置しているが、ロボカメラ１１がロボ表示部１２の領域に埋め込まれてもよい。

（ロボ表示部１２の表示例）
図４はロボ表示部１２に表示される画像の例を示す図である。ロボ表示部１２は液晶ディスプレイなので様々な画像や文字を表示可能である。ロボ表示部１２には、たとえば図４（ａ）に示すように上部に２つの丸を表示して、ロボ表示部１２をロボット１の顔に見立てた表示を行うことができる。また図４（ｂ）では、ロボカメラ１１による撮影を行っていることを示すためのカメラのアイコンを両目とともに表示している。図４（ｃ）では運転者への挨拶メッセージを表示している。図４（ｄ）では車両５の乗員構成を画像で表示している。図４（ｅ）ではマイクのアイコンを表示し、音声認識を受け付けていることを示している。

（機能構成）
図５はロボット１およびナビゲーション装置２の機能構成図である。これらは、ロボ演算部１５およびナビ演算部２５により実現される機能である。また図５ではロボ記憶部１６に格納される情報とナビ記憶部２６に格納される情報も併せて示している。ロボ記憶部１６にはロボ用ユーザＤＢ１６１が格納される。ロボ用ユーザＤＢ１６１には、運転者の顔写真とユーザＩＤとが関連付けられて格納される。

ナビ記憶部２６には、ナビ用ユーザＤＢ２６１と、ナビ地図２６２と、ＰＯＩＤＢ２６３と、定型文２６４とが格納される。ナビ用ユーザＤＢ２６１には、ユーザＩＤとユーザの氏名とユーザの予定表を閲覧するための情報が関連付けられて格納される。ただしユーザの氏名はニックネームでもよい。ユーザの予定表を閲覧するための情報とは、たとえばスケジュール管理用のオンラインサービスのＵＲＬ、そのサービスのＩＤ、およびパスワードである。

ナビ地図２６２は、ナビゲーションに必要な地図情報である。ナビ地図２６２には道路の道幅や道路区画線の有無などの情報が含まれる。ＰＯＩＤＢ２６３は、ＰＯＩ（Ｐｏｉｎｔ Ｏｆ Ｉｎｔｅｒｅｓｔ）を検索するためのデータベースである。ＰＯＩには駐車場も含まれる。定型文２６４は、状況ごとの様々な定型文である。

ロボット１はその機能として、ロボ主制御部１５１と、顔認識部１５２と、属性推定部１５３と、感情推定部１５４と、色算出部１５５と、視線検知部１５６と、物体認識部１５７とを備える。

ロボ主制御部１５１は、ナビゲーション装置２から受ける様々な動作指令に応じてロボット１を制御する。ロボ主制御部１５１は必要に応じて顔認識部１５２と、属性推定部１５３と、感情推定部１５４と、色算出部１５５と、視線検知部１５６とに動作指令を出力する。

顔認識部１５２は、ロボカメラ１１が撮影して得られた顔（以下、「撮影された顔」と呼ぶ）と、ロボ用ユーザＤＢ１６１に含まれる顔の一致を判断する。顔の一致の判断は、たとえば既知のアルゴリズムである特徴量の算出および特徴量の類似度の評価により実現できる。顔認識部１５２は、撮影された顔がロボ用ユーザＤＢ１６１に格納されたいずれかの顔と一致すると、その顔に関連付けられたユーザＩＤを返す。

属性推定部１５３は、撮影された顔の属性を推定する。属性とは、性別およびおおよその年齢である。また犬や猫も属性に含まれる。すなわち属性推定部１５３による推定結果は、子供の男の子、成人女性、犬などである。属性推定部１５３はたとえば、撮影された顔のパーツごと、および顔全体の特徴量を算出し、ロボ記憶部１６に格納された属性別の特徴量の統計情報を用いて判断を行う。

感情推定部１５４は、撮影された顔の感情を推定する。属性推定部１５３はたとえば、撮影された顔のパーツごと、および顔全体の特徴量を算出し、ロボ記憶部１６に格納された感情別の特徴量の統計情報を用いて、最も特徴量が類似する感情を選択することで感情を推定する。

色算出部１５５は、感情推定部１５４が推定した感情が入力され、感情色と誘導色を算出する。感情色とは、感情推定部１５４が推定した感情に対応する色であり、誘導色とは車両の運転の観点から誘導することが好ましい感情に対応する色である。感情色はたとえばシャイエの色彩心理学など色彩心理の研究に基づいて決定することができる。たとえば「喜」の感情には「黄」、「怒」の感情には「赤」、「哀」の感情には「青」が対応する。感情と感情色の関係は、あらかじめ関連付けられてロボ記憶部１６に格納される。誘導色はたとえば感情色の補色を用いることができる。

視線検知部１５６は、運転者がロボット１を注視しているか否かを判断する。視線検知部１５６は、ロボカメラ１１が撮影して得られた画像から運転者の目の領域を抽出し、目の領域における黒目の位置を特定する。そして前述の黒目の位置から運転者が注視している方向を算出し、ロボット１と運転者の位置・姿勢関係と合致すると判断すると、運転者がロボット１を注視していると判断する。

上記手法はあくまで一例である。たとえば顔の向きを検知する処理をさらに加えてもよい。運転者の顔がロボット１の方向を向いているか否かを検知したうえで、上述した目の領域を特定する処理に進むようにしてもよい。このようにすることで、運転者がロボット１を注視しているか否かを判断しやすくなる。

物体認識部１５７は、ロボカメラ１１で撮影して得られた映像に含まれる、車両５の進行の妨げとなる物体を認識する。認識すべき物体とは、車両、人間、自転車、およびバイクなどである。物体認識部１５７は既知の手法により物体を認識し、たとえばパターンマッチングにより物体を識別する。

ナビ主制御部２５１は、車両５から収集する様々な情報に基づきロボット１に動作指令を出力する。たとえばナビ主制御部２５１は、車両５から収集する情報に基づき後述するいずれのシーンに該当するかを判断し、該当するシーンごとにあらかじめ定められた処理を行う。ナビ主制御部２５１は必要に応じて読み上げ部２５２、および音声認識部２５３に動作指令を出力する。またナビ主制御部２５１は、設定された目的地までの走行ルートをナビ地図２６２を参照して検索する機能、および入力された条件に合致するＰＯＩをＰＯＩＤＢ２６３を用いて検索する機能を有する。

読み上げ部２５２は、ナビ主制御部２５１から入力されたテキスト文章をスピーカー３２から出力可能な音声信号に変換する。読み上げ部２５２は、既知の技術を用いた音声合成機能を有し、男女いずれの声も出力可能である。音声認識部２５３は、マイク３５に入力されたユーザの発話を認識して文字列としてナビ主制御部２５１に出力する。音声認識部２５３は既知の技術を用いており、たとえば周波数解析や隠れマルコフモデルにより実現される。

（動作例）
以下、図６～図１３を参照してシーンごとのロボットシステムＳの動作例を説明する。以下で特に説明しない場合は、ロボット１を動作させるのはロボ主制御部１５１であり、ナビゲーション装置２を動作させるのはナビ主制御部２５１である。なお以下に説明する動作例では、ナビゲーション装置２にはあらかじめユーザにより目的地が設定されていることとする。

（始動時）
図６は車両５の始動時におけるロボットシステムＳの動作を示すシーケンス図である。

ユーザが車両５のイグニッションスイッチをオンにすると（Ｓ３０１）、ロボット１およびナビゲーション装置２が起動する。ナビゲーション装置２のナビ主制御部２５１は、起動するとロボット１に起動時処理指令を出力する（Ｓ３０２）。ロボット１のロボ主制御部１５１は、起動時処理指令を受信すると、ロボ表示部１２を運転席に向かせ、さらに挨拶の一種であるお辞儀をさせる（Ｓ３０３）。すなわちＳ３０３ではロボット１は、まずロボ表示部１２をヨー方向に回転させて運転席を向かせ、次にロボ表示部１２をピッチ方向下方向に回転させる。

このＳ３０３は、ユーザにロボット１の存在を知らせるだけでなく、次のステップの撮影において運転者の顔を撮影しやすくする利点がある。一般に、ロボット１が動作するとユーザはロボット１に注目し、ロボット１に顔を向けるためである。なおナビゲーション装置２は、ロボット１がお辞儀する前後において、「こんにちは」などの挨拶の音声を出力してもよい。

そしてロボット１は、運転者をロボカメラ１１で撮影して顔認識部１５２により認識する（Ｓ３０４）。ロボット１は、運転者を撮影する際にロボ表示部１２にカメラのマークを表示して撮影を行うことをユーザに通知する。ロボ表示部１２にカメラのマークを表示する例は、たとえば図４（ｂ）に示すものである。次にロボット１は、運転者が登録済みであるか否か、換言すると運転者の写真がロボ用ユーザＤＢ１６１に含まれており、過去にこの車両５を運転したか否かを判断する。ロボット１は登録済であったと判断すると、ナビゲーション装置２に運転者のユーザＩＤを通知する（Ｓ３０６）。なおＳ３０４を否定判断する場合の動作は後に説明する。

ロボット１からユーザＩＤを受信したナビゲーション装置２は、ナビ用ユーザＤＢ２６１を検索してそのユーザＩＤが示すユーザ名を取得し（Ｓ３１０）、そのユーザ名をロボット１に通知する（Ｓ３１１）。ユーザ名の通知を受けたロボット１は、ユーザ名をロボ表示部１２に表示する（Ｓ３１２）。ロボ表示部１２にユーザ名を表示する例は、たとえば図４（ｃ）に示すものである。表示部にユーザ名を表示することで、運転者に認識が行われたことを明示できる。

上述したＳ３１１の次にナビゲーション装置２は、ロボット１から受信したユーザＩＤが示すユーザの予定を検索し（Ｓ３１３）、検索された予定を読み上げる（Ｓ３１４）。予定の読み上げには、読み上げ部２５２が利用される。なお以下では特に説明しないが、全ての音声出力には読み上げ部２５２が利用される。ナビゲーション装置２による予定の検索は、ナビ用ユーザＤＢ２６１を参照してＵＲＬ、ＩＤ、およびパスワードを特定し、ナビ通信部２７を利用してアクセスすることで得られる。ナビゲーション装置２はたとえば、Ｓ３１３においてユーザがこれから「ＸＸ展示会」に行くことが分かった場合に「今日のＸＸ展示会は楽しみですね」という音声を出力する。

ロボット１はＳ３０５において否定判断をすると、Ｓ３２０に進んで属性推定部１５３を用いて撮影した運転者の性別判定を行う。そしてロボット１は判定した性別の情報をナビゲーション装置２に伝達する（Ｓ３２１）。ナビゲーション装置２はロボット１から性別の情報を受信すると、運転者が初回の乗車であると判断して初回乗車用の音声を出力する（Ｓ３２２）。この音声は、挨拶、ロボット１の自己紹介、および運転者の名前を尋ねるものである。またこの時の音声は、運転者の性別に応じたものとする。たとえば運転者を男性と推定した場合には男性の声で合成した音声を出力し、運転者を女性と推定した場合には女性の声で合成した音声を出力する。Ｓ３２２において出力される音声はたとえば、「はじめまして、私はミロです。あなたのお名前を教えてください。」である。

運転者が自身の名前を発話すると、ナビゲーション装置２は音声認識部２５３を用いてユーザの発話を音声認識して文字に変換し、ユーザ名としてナビ用ユーザＤＢ２６１に登録する（Ｓ３２４）。このときナビ用ユーザＤＢ２６１には、新たに発行するユーザＩＤとともにこのユーザ名が登録される。そしてナビゲーション装置２は、ロボット１にユーザＩＤを通知する。ロボット１は、通知されたユーザＩＤとＳ３０４において撮影した画像とを関連付けてロボ用ユーザＤＢ１６１に登録する。なおロボット１は、Ｓ３０５を肯定判断する場合はＳ３１２の実行後に、またはＳ３０５において否定判断をする場合は任意のタイミングで、顔の向きを正面、すなわち図２に示す方向に向きなおす。

（始動後）
図７は車両５の始動後におけるロボットシステムＳの動作を示すシーケンス図である。図７に示すシーケンス図は、始動時の動作を示す図６の直後に開始されてもよいし、図６に示す処理からしばらく、たとえば１分間の時間をあけて実行されてもよい。

まずナビゲーション装置２は、ロボット１に起動後処理指令を出力する（Ｓ３２９）。ロボット１はこの起動後処理指令を受信すると、車室内の正面、すなわち図２の矢印の方向を向いて撮影を行う（Ｓ３３０）。ただしＳ３３０は車両５の乗員全員を撮影することが目的なので、ロボカメラ１１の視野角が狭い場合には、ヨー方向に首を振りながら複数枚の画像を撮影してもよい。次にロボット１は属性推定部１５３を用いて、Ｓ３３０において撮影した画像から車両５の乗員構成、すなわち車両５に乗車している人数およびその属性を認識する。なお人間以外の生き物、たとえば犬や猫も併せて認識し、乗員構成に含めてもよい。そしてロボット１は、Ｓ３３１における認識の結果をナビゲーション装置２に通知する（Ｓ３３２）。

ナビゲーション装置２は、ロボット１から通知された乗員構成に対応する音声を出力する（Ｓ３３３）。なおここで受信した乗員構成は後の処理でも利用するので、目的地に到着するまでは一時的に保存する。乗員構成に対応する音声とはたとえば、人数が多い場合に「大勢でのお出かけいいですね」であり、子供が含まれる場合に「お子さんと一緒でいいですね」である。ロボット１は、Ｓ３３１における認識結果に基づき、人数や属性をロボ表示部１２に表示する（Ｓ３３４）。ロボ表示部１２に人数や属性を表示する例は、たとえば図４（ｄ）に示すものである。図４（ｄ）では、運転席と助手席に大人が座っており、後部座席に子供が座っていることを示している。

（呼びかけ）
図８は車両５の始動後におけるロボットシステムＳの動作を示すシーケンス図である。図７に示すシーケンス図は、始動後の動作を示す図７の直後に開始されてもよいし、図６および図７に示す処理の最中に実行されてもよい。

まずナビゲーション装置２は、ロボット１に眼鏡処理指令を出力する（Ｓ３３９）。ロボット１はこの眼鏡処理指令を受信すると、図６のＳ３０４において撮影した画像をロボ主制御部１５１が認識し（Ｓ３４０）、眼鏡をかけているか否かを判断する（Ｓ３４１）。ロボ主制御部１５１はたとえば、均一な色が広がっている領域の形状が眼鏡の形状に類似する度合いを評価することで、眼鏡をかけているか否かを判断する。

ロボット１は、運転者が眼鏡をかけていないと判断する場合はそのまま処理を終了し、眼鏡をかけていると判断する場合はその旨をナビゲーション装置２に通知する（Ｓ３４２）。ナビゲーション装置２は、運転者が眼鏡をかけている旨の通知を受信すると、あらかじめ定められた、眼鏡に関する音声を出力する（Ｓ３４３）。眼鏡に関する音声とはたとえば、「メガネがとってもにあっているね。ミロも真似してみたよ」、である。

ロボット１は、ロボ表示部１２に眼鏡の画像を表示する（Ｓ３４４）。ロボ表示部１２に眼鏡を表示する例はたとえば次のものである。すなわちロボ表示部１２の上部に眼鏡を表示し、ロボ表示部１２の全体をロボット１の顔に見立てると、ロボット１が眼鏡をかけているように表示される。

（走行時）
図９は車両５の走行時におけるロボットシステムＳの動作を示すシーケンス図である。図９に示すシーケンス図は、走行時に常時実行されてもよいし、所定の時間間隔、たとえば３０分ごとに実行されてもよいし、走行開始後に１回のみ実行されてもよい。

ナビゲーション装置２は、車両５が走行したことを検出すると、ロボット１に走行時処理指令を出力する（Ｓ３５０）。走行時処理指令を受信したロボット１は、運転者を撮影し（Ｓ３５１）、撮影して得られた画像を処理対象とし、感情推定部１５４を用いて運転者の感情を推定する（Ｓ３５２）。次にロボット１は、推定した感情に対応する色である感情色を色算出部１５５を用いて算出し、間接照明３１を感情色に点灯させる（Ｓ３５３）。

次にロボット１は、誘導することが好ましい感情の色である誘導色を色算出部１５５を用いて算出し、間接照明３１を誘導色に点灯させる（Ｓ３５４）。ただしＳ３５３からＳ３５４への遷移には所定の時間間隔をあけて、瞬時に間接照明３１の色が変化することがないようにする。そしてロボット１は、ナビゲーション装置２に間接照明３１の点灯が完了した旨の完了通知を出力する（Ｓ３５５）。

ロボット１から完了通知を受信したナビゲーション装置２は、ナビ通信部２７を用いて車両５がこれから走行する道路の道路状況を検索する。道路状況とは、混雑の程度や通行の可否などである。ナビゲーション装置２は、道路状況を音声出力してユーザに伝達する（Ｓ３５７）。この音声出力はたとえば、「これから向かう道路は空いています」である。次にナビゲーション装置２は、ロボット１にも道路状況を伝達する（Ｓ３５８）。ただしロボット１への道路状況の伝達は、たとえば０～１０の数字で行い、混雑の程度が軽いほど小さい数字とし、混雑の程度が重いほど大きな数字とする。また通行が不可の場合には最も大きい１０とする。

ロボット１は、ナビゲーション装置２から道路状況が伝達されると伝達された道路状況に応じた表情をロボ表示部１２に表示する（Ｓ３５９）。道路状況に応じた表情とは、混雑の程度が軽いほど喜んだ顔であり、混雑の程度が重くなるにつれて悲しげな表情となり、通行不可の場合には怒りの表情となる。次にロボット１は、ロボ表示部１２に時刻を表示して（Ｓ３６０）走行時処理を終了する。ただしＳ３５９からＳ３６０への遷移には所定の時間間隔をあける。

（一時停止時）
図１０は信号待ちなどの車両５の一時停止時におけるロボットシステムＳの動作を示すシーケンス図である。図１０に示すシーケンス図は、車両５が一時停止するたびに実行されてもよいし、前回の実行から所定の時間間隔以上が経過していることを条件として実行してもよいし、走行開始後に１回のみ実行されてもよい。

ナビゲーション装置２は、ＧＰＳ受信機３４から位置情報を取得し、車両５が目的地以外で停止したことを検出すると、ロボット１に停止時処理指令を出力する（Ｓ３７０）。ロボット１は、ナビゲーション装置２から停止時処理指令を受信すると視線検知部１５６による運転者の視線検知を開始する（Ｓ３７１）。ロボット１は、運転者の視線を検知したか否かを判断し（Ｓ３７２）、視線を検知するまでＳ３７２に留まる。ロボット１は、運転者の視線を検知したと判断すると、ナビゲーション装置２に視線を検知した旨を通知し（Ｓ３７４）、ロボ表示部１２を運転者の方に向ける（Ｓ３７５）。そしてロボット１は、ロボ表示部１２に音声認識を開始した旨の表示を行うとともに音声認識を開始する。音声認識を開始した旨の表示とは、たとえば図４（ｅ）に示すようにマイクのアイコンの表示である。

ロボット１から視線を検知した旨の通知を受けたナビゲーション装置２は、運転者に音声認識を開始する旨の音声出力を行う。音声認識を開始する旨の音声出力とはたとえば、「見つめられてドキッとしました。どうしたの？」である。その後、運転者が指示や質問を発話すると、音声認識部２５３がその発話を認識してナビ主制御部２５１に出力し、ナビ主制御部２５１が発話内容に対応する処理を行う。たとえば発話内容が「音楽が聴きたい」の場合には音楽の再生を開始し、発話内容が「目的地をＹＹＹに変更」であればナビゲーションの目的地をＹＹＹに変更して走行経路を再計算する。

なお、ここではロボット１からの音声出力に応じた運転者の応答があった際に、その応答内容に応じた処理をナビゲーション装置２が実行する例を説明したが、ロボット１の処理はこれに限られない。たとえば車両５が一時停止をしたタイミングで、その都度ロボット１はロボカメラ１１を用いて運転者の顔を撮影し、既知のパターンマッチングなどの技術を用いて運転者の疲れを推定してもよい。そしてロボット１は運転者が疲れていると判断すると休憩の提案を行う。この場合にロボット１は、現在の時間帯やナビ通信部２７などで受信した天気の情報を加味して、時間帯や天気に適した休憩施設を検索してもよい。

（狭隘路への接近）
図１１は、車両５が狭隘路を通行する際のロボットシステムＳの動作を示すシーケンス図である。図１１に示すシーケンス図は、車両５が狭隘路を通行するたびに実行される。

ナビゲーション装置２は、地図情報および車両５の進行方向から車両５が狭隘路に接近していると判断すると、ロボット１に狭隘路接近時処理指令を出力する（Ｓ３８０）。本実施の形態における狭隘路とは、道路区画線がない道路、または１車線分しか道路区画線がなく、車両同士のすれ違いが容易ではない道路である。ナビゲーション装置２から狭隘路接近時処理指令を受信したロボット１は、複数回の首振りおよびロボライト１３の発光を行う（Ｓ３８１）。Ｓ３８１における首振りとは、１軸または複数の軸を回転軸とする所定角度の往復運動である。この首振り動作により、ロボット１がこれから動き始めることをユーザに知らせることができる。

ナビゲーション装置２は、狭隘路接近時処理指令を出力すると、ユーザに対して注意喚起の音声出力を行う（Ｓ３８２）。注意喚起の音声出力とはたとえば、「狭い道に入りますね。気を付けて運転してね。僕も気を付けて周辺をチェックするよ」である。次にナビゲーション装置２は、車両５が狭隘路に進入したか否かを判断し（Ｓ３８３）、狭隘路へ進入したと判断するまでＳ３８３に留まる。ナビゲーション装置２は車両５が狭隘路に進入したと判断すると、ロボット１に狭隘路進入時処理指令を出力する（Ｓ３８４）。

ナビゲーション装置２から狭隘路進入時処理指令を受信したロボット１は、ロボ表示部１２をヨー方向に１８０度回転させて車両５の進行方向を向く。そしてロボット１は、ロボカメラ１１による撮影と、物体認識部１５７による障害物の認識とを開始する（Ｓ３８５）。前述のとおりロボット１のロボ表示部１２にはロボカメラ１１が搭載されているので、Ｓ３８５の処理によりロボカメラ１１は車両５の前方の様子を撮影可能となる。次にロボット１は、物体認識部１５７が障害物を検出したか否かを判断し（Ｓ３８６）、障害物を検出するまでＳ３８６に留まる。ロボット１は障害物を検出したと判断すると、ナビゲーション装置２に検知した旨を通知する（Ｓ３８７）。

ロボット１から検知の通知を受信したナビゲーション装置２は、周辺カメラ３３を起動し（Ｓ３８８）、ユーザに検出とカメラ起動を知らせる音声出力を行う（Ｓ３８９）。検出とカメラ起動を知らせる音声出力とはたとえば、「狭い道で対向車が近づいています。カメラを起動します」である。そしてナビゲーション装置２は、周辺カメラ３３が撮影して得られた映像をナビ表示部２２に表示する（Ｓ３９０）。ユーザはナビ表示部２２に映し出される周辺カメラ３３の映像も参照して、狭隘路を安全に走行できる。また狭隘路に進入しても、車両や人間が検出されない場合には車載カメラは起動されないため、不必要にナビ表示部２２に注視することを避けられる。

ナビゲーション装置２は、周辺カメラ３３の映像を表示しているか否かにかかわらず、狭隘路に進入した後は車両５が狭隘路を出たか否かを判断する（Ｓ３９１）。車両５が狭隘路を出たか否かは、地図情報と車両５の現在位置により判断可能である。ナビゲーション装置２は車両５が狭隘路を出ていないと判断する場合はＳ３９１に留まり、車両５が狭隘路を出たと判断するとロボット１に狭隘路退出時処理指令を出力する（Ｓ３９２）。ナビゲーション装置２から狭隘路退出時処理指令を受信したロボット１は、Ｓ３８５とは逆にロボ表示部１２を回転させて車室内を向かせてロボカメラ１１による撮影を停止する（Ｓ３９３）。またナビゲーション装置２は、Ｓ３８８を実行していた場合には周辺カメラ３３を停止させる。なおナビ表示部２２の表示は、周辺カメラ３３の映像からたとえばもともと表示していた地図画面に遷移させるようにしてもよい。

ナビゲーション装置２は、ロボカメラ１１による撮影を終了する旨の音声出力を行う（Ｓ３９４）。ロボカメラ１１による撮影を終了する旨の音声出力とはたとえば、「広い道に出たのでカメラを終了します」である。なおＳ３８７の後に、ロボット１はＳ３９３を実行してもよい。

（長時間運転時）
図１２は、車両５が長時間走行している場合のロボットシステムＳの動作を示すシーケンス図である。ここでいう長時間の走行とは、たとえば２時間以上走行していることである。

ナビゲーション装置２は、車両５が長時間走行していると判断すると、ロボット１に休憩誘導指令を出力する（Ｓ４０１）。休憩誘導指令を受信したロボット１は、ロボ表示部１２を運転者に向けてロボライト１３を発光させる。次にナビゲーション装置２は、従前に受信した（図７のＳ３３２）車両５の乗員構成の情報を参照する（Ｓ４０３）。そしてナビゲーション装置２は、乗員構成に応じた呼びかけ文を生成し（Ｓ４０４）、出力する（Ｓ４０５）。呼びかけ文は、乗員構成のパターンごとにあらかじめ作成されている。ナビゲーション装置２は、現在の乗員構成があらかじめ定めたいずれのパターンに該当するかを判断することで、呼びかけ文を生成する。ここでいう呼びかけ文とは、たとえばユーザに対する立ち寄り施設の提案などである。

たとえば乗員構成に犬が含まれる場合の呼びかけ文は「ワンちゃんが入れるカフェを見つけたよ。休憩にどうですか？」である。たとえば乗員構成に子供が含まれる場合の呼びかけ文は、「子供が入れるレストランを見つけたよ。休憩にどうですか？」である。たとえば乗員構成に犬および子供が含まれる場合の呼びかけ文は「ワンちゃんと子供が入れるカフェを見つけたよ。休憩にどうですか？」である。

次にナビゲーション装置２は、乗員構成に応じたキーワードを用いてＰＯＩ検索を行う（Ｓ４０６）。検索用のキーワードは、乗員構成のパターンごとにあらかじめ作成されている。ナビゲーション装置２は、現在の乗員構成があらかじめ定めたいずれのパターンに該当するかを判断することで、キーワードを決定する。

たとえば乗員構成に子供や犬が含まれない場合は、検索キーワードを「カフェ」とする。たとえば乗員構成に犬が含まれる場合は、検索キーワードを「カフェ、ペット可」とする。なお検索キーワードに含まれる句点はアンド条件であることを表している。たとえば乗員構成に子供が含まれる場合は、検索キーワードを「レストラン、子供向き」とする。たとえば乗員構成に犬と子供が含まれる場合は、検索キーワードを「カフェ、ペット可」とする。次にナビゲーション装置２は、Ｓ４０７における検索結果をナビ表示部２２に表示する。その後、ユーザがナビ表示部２２に示されたいずれかのＰＯＩを選択すると、ナビゲーション装置２は選択されたＰＯＩを目的地としてナビゲーションを開始する。

（目的地周辺）
図１３は、車両５が目的地の周辺に到着した場合のロボットシステムＳの動作を示すシーケンス図である。ナビゲーション装置２は、ユーザにより設定された目的地と車両５の現在地の距離が、あらかじめ定められた距離以下、たとえば２００メートル以下になると目的地周辺に到着したと判断する。

ナビゲーション装置２は、まず現在地周辺の駐車場を検索する（Ｓ４１１）。次にナビゲーション装置２は、ロボット１にドライバ注視指令を出力する（Ｓ４１２）。ドライバ注視指令を受けたロボット１は、ロボ表示部１２を運転者に向けてロボライト１３を発光させる（Ｓ４１３）。次にナビゲーション装置２は、ユーザに目的地周辺に到着した旨の音声出力を行う（Ｓ４１４）。目的地周辺に到着した旨の音声出力とはたとえば、「そろそろ目的地なので近くの駐車場を探しました」である。次にナビゲーション装置２は、Ｓ４１１により検索して得られた駐車場の情報をナビ表示部２２に表示する。

その後に車両５が所定の距離を走行すると、または所定の時間が経過すると、音声出力を行い（Ｓ４１６）、再びロボット１にドライバ注視指令を出力する（Ｓ４１７）。Ｓ４１６における音声出力はたとえば「運転お疲れさまでした」である。なおナビゲーション装置２がユーザの予定を把握している場合には、Ｓ４１６においてユーザの予定を併せて通知してもよい。再びドライバ注視指令を受けたロボット１は、ロボ表示部１２を運転者に向けてロボライト１３を発光させる（Ｓ４１８）。以上が目的地の周辺に到着した場合の処理である。

上述した実施の形態によれば、次の作用効果が得られる。
（１）ロボット１は、ナビゲーション装置２が搭載される車両５に搭載される。ナビゲーション装置２から車両５に関する情報を取得するロボ通信部１７と、車両５の外部または車両５の内部を撮影するロボカメラ１１と、ナビゲーション装置２から取得した情報を用いてロボット１の動作を決定するロボ主制御部１５１とを備える。そのためロボット１はナビゲーション装置２と連携し、ナビゲーション装置２が有する車両５に関する情報とロボカメラ１１による撮影結果を用いて動作できる。

（２）ロボ主制御部１５１は、ナビゲーション装置２から車両５のイグニッションスイッチがオンにされたことを認識すると、お辞儀などの挨拶を行う（図６のＳ３０３）。そのためユーザにロボット１の存在を気づかせ、楽しませることができる。またユーザをロボット１に注目させることができる。

（３）ロボ主制御部１５１は、挨拶の後にロボカメラ１１を用いて運転席の方向を撮影する。ロボット１が挨拶をすることにより運転者がロボット１の方を向いていることが期待できるので、そのタイミングで撮影することにより、運転者を正面から撮影できる。運転者を正面から撮影することで、画像認識精度を向上することができる。

（４）ロボ主制御部１５１は、挨拶を行う前に、当該ロボットの正面を運転席に向かせる。ロボット１に動きがあることでユーザはロボット１により注目しやすくなり、運転者を正面から撮影できる可能性が高まる。またロボカメラ１１の正面で運転者を撮影できるので、ひずみの少ないレンズの中心領域で運転者を撮影できる。運転者を正面から撮影することで、画像認識精度を向上することができる。

（５）ロボ主制御部１５１は、撮影により得られた情報に基づきユーザを特定し、ユーザの予定を取得して出力する。そのためユーザの利便性を向上できる。

（６）ロボ主制御部１５１は、車両５のイグニッションスイッチがオンにされたことを認識すると、ロボカメラ１１を用いて車両５の車室内を撮影し、撮影して得られた情報から車両５に乗車している人員の構成を推定する。そのためロボット１は、車両５に乗車している人員の構成に応じた動作ができる。

（７）車両５には発光色を変更可能な間接照明３１が備えられる。ロボ主制御部１５１は、車両５が走行していることを認識すると、感情推定部１５４により車両５の運転者の感情を推定し、推定した感情に基づいた色を色算出部１５５が決定し、間接照明３１の発光色をその色に制御する。そのためロボット１は、間接照明３１を制御して運転者の気分を運転に適したものに誘導することができる。

（８）ロボット１は、車両５の運転者による当該ロボットへの視線を検知する視線検知部１５６を備える。ロボ主制御部１５１は、車両５が停止していることを認識した場合は、視線検知部１５６が視線を検出すると運転者への問いかけを行い、車両５が走行していることを認識した場合は運転者への問いかけを行わない。そのためロボット１は、運転者に対して問いかけをしても安全な場合のみ、視線検知に基づく問いかけを行うことができる。

（９）ロボット１はロボカメラ１１と、ロボカメラ１１の撮影方向を車両５の車室側と車両５の外部に切り替え可能なモータ１４を備える。ロボ主制御部１５１は、車両５が狭隘路に接近していることを認識すると、アクチュエータに往復運動をさせる（図１１のＳ３８１）。そのためロボット１は、ユーザにロボット１がこれから動作することを緩やかに知らせることができる。ロボット１が急に動作すると不安感を与える恐れがあるが、準備動作のように小さな動きをあらかじめ行うことでこのような不安を避けることができる。

（１０）車両５は車両５の周辺を撮影する周辺カメラ３３を備える。ロボ主制御部１５１は、車両５が狭隘路に進入したことを認識すると、モータ１４を用いてロボカメラ１１を車両５の外部に向けてロボカメラ１１による撮影を開始し、ロボカメラ１１が撮影して得られた情報に車両５の障害物が含まれると、ナビゲーション装置２に通知を行い、ナビゲーション装置２が周辺カメラ３３を起動する（図１１のＳ３８７、Ｓ３８８）。そのため必要な場合のみ周辺カメラ３３を起動させることができる。

（１１）ロボ主制御部１５１は、車両５が長時間走行していることを認識すると、車両５の乗員構成に応じた呼びかけを行う。

（変形例１）
顔認識部１５２、属性推定部１５３、感情推定部１５４、および物体認識部１５７の少なくとも１つは、あらかじめなされた学習により作成された推論モデルを利用した推論により実行されてもよい。換言すると、顔認識部１５２、属性推定部１５３、感情推定部１５４、および物体認識部１５７には、いわゆる人工知能を利用することができる。またこれらの処理はナビゲーション装置２が行ってもよいし、車両５の外部に存在するサーバ内で行ってもよい。

（変形例２）
ロボ主制御部１５１は、周辺カメラ３３を起動する条件、厳密には周辺カメラ３３を起動するための検知通知（Ｓ３８７）を行う条件に、運転者がサイドミラーを見ていることを加えてもよい。その場合は図１１を参照して説明した処理が次のように変更される。ロボ主制御部１５１は、図１１のＳ３８６において肯定判断すると、ロボカメラ１１の撮影方向を車室内に戻して運転者を撮影し、運転者がサイドミラーを見ているか否かを判断する。運転者がサイドミラーを見ていると判断するとＳ３８７の処理を実行し、運転者がサイドミラーを見ていないと判断するとＳ３８６を否定判断する場合と同様にＳ３８６に留まる。

（変形例３）
ロボカメラ１１は、ロボット１と分離して設けられてもよい。この場合は、ロボカメラ１１の姿勢を変化させるためのモータがさらに備えられる。

（変形例４）
読み上げ部２５２はロボット１に備えられてもよい。この場合は、定型文２６４もロボット１に備えられる。

（変形例５）
音声認識部２５３はロボット１に備えられてもよい。この場合は、マイク３５の出力が直接、またはナビゲーション装置２を介してロボット１に入力される。

（変形例６）
ロボ用ユーザＤＢ１６１にはユーザの顔写真の代わりに顔の特徴量が格納されてもよい。

上述した実施の形態および変形例において、ロボット１のプログラムがロボ記憶部１６に格納される場合に、ロボット１が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースとロボット１が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、たとえば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やＦＰＧＡにより実現されてもよい。

上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１…ロボット
２…ナビゲーション装置
５…車両
７…ロボ通信部
１１…ロボカメラ
１２…ロボ表示部
１３…ロボライト
１４…モータ
１５…ロボ演算部
１６…ロボ記憶部
１７…ロボ通信部
２２…ナビ表示部
２５…ナビ演算部
２６…ナビ記憶部
２７…ナビ通信部
３１…間接照明
３３…周辺カメラ
１５１…ロボ主制御部
１５２…顔認識部
１５３…属性推定部
１５４…感情推定部
１５５…色算出部
１５６…視線検知部
１５７…物体認識部
２５１…ナビ主制御部
２５２…読み上げ部
２５３…音声認識部

Claims (3)

1. 車載装置が搭載される車両に搭載される車載用ロボットであって、
   前記車載装置から前記車両に関する情報である車両情報を取得する通信部と、
   前記車両の外部または前記車両の内部を撮影するカメラと、
   前記車両情報および前記カメラによる撮影結果を用いて当該車載用ロボットの動作を決定する制御部と、
   前記カメラの撮影方向を前記車両の車室側と前記車両の外部に切り替え可能なアクチュエータとを備え、
   前記制御部は、前記車両情報から前記車両が狭隘路に接近していることを認識すると、前記アクチュエータに往復運動をさせる車載用ロボット。
2. 請求項１に記載の車載用ロボットであって、
   前記車両は前記車両の周辺を撮影する周辺カメラをさらに備え、
   前記制御部は、前記車両情報から前記車両が狭隘路に進入したことを認識すると、前記アクチュエータを用いて前記カメラを前記車両の外部に向けて前記カメラによる撮影を開始し、前記カメラが撮影して得られた情報に前記車両の障害物が含まれると、前記周辺カメラを起動する車載用ロボット。
3. 車載装置が搭載される車両に搭載される車載用ロボットであって、
   前記車載装置から前記車両に関する情報である車両情報を取得する通信部と、
   前記車両の外部または前記車両の内部を撮影するカメラと、
   前記車両情報および前記カメラによる撮影結果を用いて当該車載用ロボットの動作を決定する制御部とを備え、
   前記制御部は、前記車両情報から前記車両が長時間走行していることを認識すると、前記車両の乗員構成に応じた呼びかけを行う車載用ロボット。

Images