JP2023028107A - 遠隔運転機能付き多機能車両及び遠隔運転方法 - Google Patents

Abstract

【課題】一般車両の典型的な構成を活用した遠隔運転サービスを実現する。【解決手段】多機能車両は、走行用入力装置と、情報処理装置と、ウェアラブルグラスと、通信装置とを備える。走行用入力装置は、多機能車両のドライバにより操作される。情報処理装置は、走行用入力装置の操作情報を処理する。ウェアラブルグラスは、他車両と直接又は情報処理装置を介して通信する。通信装置は、他車両と通信する。情報処理装置は、多機能車両を運転する通常運転モードと、他車両を運転する遠隔運転モードとを切り替えて実行する。通常運転モードでは、操作情報に基づいて生成された制御情報を用いて多機能車両の車両制御が実行される。遠隔運転モードでは、制御情報が通信装置を介して他車両に送信される。ウェアラブルグラスは、情報処理装置による遠隔運転モードの実行中、他車両の周囲画像を表示する。【選択図】図４

Description

本発明は、自走機能と他車両を遠隔運転する機能を有する多機能車両、及びこれを用いた遠隔運転方法に関する。

特開２００４－２９５３６０号公報は、車両を遠隔運転する装置を開示する。この従来の装置は、車両と通信を行う制御センタに設けられている。この従来の装置は、また、制御装置、ディスプレイ、運転席、各種センサ等を備えている。ディスプレイには、車両のカメラからの画像が出力される。運転席は、実際の車の運転席の構成と同様の構成を備えている。運転席に座った遠隔オペレータは、ディスプレイに出力されたカメラ画像を見ながらステアリング、アクセルペダル、ブレーキペダル等の入力装置を操作する。各種センサは、遠隔オペレータによる入力装置の操作量を検出する。制御装置は、この操作量に基づいて、車両の操舵装置、駆動装置、制動装置等の走行装置の制御量を計算する。

特開２００４－２９５３６０号公報

一般的な車両には通常、ドライバがこれを運転するための各種構成が設けられている。そこで、一般的な車両（例えば、個人所有車ＰＯＶ）の典型的な構成を用いた他車両の遠隔運転を考える。この場合、一般的な車両のドライバは、遠隔地の車両を運転するために車両が有する入力装置を操作する遠隔オペレータとなる。具体的なケースでは、遠隔地に存在するタクシー、ハイヤー等の車両に乗車した旅客の輸送のために、ドライバは自らの車両の入力装置を操作して遠隔オペレータとして振る舞う。

但し、このような一般車両の典型的な構成を活用した遠隔運転サービスを実現するためには、遠隔運転側の車両の入力装置の操作環境を充実させる必要がある。特に、遠隔運転される側の車両の安全性を確保するためには、遠隔運転側の車両に乗車したドライバの視覚を十分に確保することが求められる。また、遠隔運転サービスの実施中に遠隔運転側の車両が自走しないことだけでなく、この車両の周囲の歩行者等にとって不必要な情報が伝達されることのないよう改良することが求められる。

本発明の１つの目的は、一般車両の典型的な構成を活用した遠隔運転サービスを実現することのできる技術を提供することにある。

第１の発明は、自走機能と他車両を遠隔運転する機能を有する多機能車両であり、次の特徴を有する。
前記多機能車両は、走行用入力装置と、情報処理装置と、ウェアラブルグラスと、通信装置とを備える。前記走行用入力装置は、前記多機能車両のドライバにより操作される。前記情報処理装置は、前記ドライバによる前記走行用入力装置の操作情報を処理する。前記ウェアラブルグラスは、前記ドライバにより装着される。前記ウェアラブルグラスは、前記他車両との直接通信及び前記情報処理装置を介した間接通信の少なくとも一方により前記他車両と通信する。前記通信装置は、前記他車両と通信する。
前記情報処理装置は、前記多機能車両を運転する通常運転モードと、前記他車両を運転する遠隔運転モードとを切り替えて実行する。前記通常運転モードでは、前記操作情報に基づいて生成された制御情報を用いて前記多機能車両の車両制御が実行される。前記遠隔運転モードでは、前記制御情報が前記通信装置を介して前記他車両に送信される。
前記ウェアラブルグラスは、前記情報処理装置による前記遠隔運転モードの実行中、前記他車両との直接通信及び間接通信の少なくとも一方により取得した前記他車両の周囲画像を表示する。

第２の発明は、第１の発明において更に次の特徴を有する。
前記多機能車両は、更に、駆動装置、ブレーキ装置及びステアリング装置を備える。
前記走行用入力装置は、アクセルペダル、ブレーキペダル、ステアリングホイール及びシフトレバーを含む。
前記駆動装置及び前記アクセルペダルは、ドライブバイワイヤを構成する。前記ブレーキ装置及び前記ブレーキペダルは、ブレーキバイワイヤを構成する。前記ステアリング装置及び前記ステアリングホイールは、ステアバイワイヤを構成する。前記シフトレバーは、シフトレバーバイワイヤを構成する。

第３の発明は、第１又は２の発明において更に次の特徴を有する。
前記多機能車両は、走行補助装置と、スイッチを更に備える。前記走行補助装置は、前記多機能車両の走行を補助する。前記スイッチは、前記多機能車両のドライバにより操作される。前記スイッチは、前記走行補助装置を作動する。
前記通常運転モードでは、前記スイッチからの作動指示情報が前記走行補助装置に出力される。前記遠隔運転モードでは、前記作動指示情報が前記通信装置を介して前記他車両に送信される。

第４の発明は、第１～３の発明の何れか１つにおいて更に次の特徴を有する。
前記周囲画像は、前記他車両の前方画像、左前方画像及び右前方画像を含む。
前記ウェアラブルグラスは、前記遠隔運転モードの実行中、前記ドライバの頭部の動きに対応させて前記ウェアラブルグラスに表示する画像を前記周囲画像に基づいて生成するヘッドトラッキング制御を行う。

第５の発明は、自走機能と他車両を遠隔運転する機能を有する多機能車両を用いて前記他車両を遠隔運転する方法であり、次の特徴を有する。
前記方法は、
前記多機能車両の運転モードを、前記他車両を運転する遠隔運転モードに設定するステップと、
前記運転モードが前記遠隔運転モードに設定されている間、前記他車両との直接通信及び間接通信の少なくとも一方により取得した前記他車両の周囲画像を、前記多機能車両のドライバが装着するウェアラブルグラスに表示するステップと、
前記運転モードが前記遠隔運転モードに設定されている間、前記ドライバにより操作される走行用入力装置の操作情報に基づいて生成された制御情報を、前記他車両に送信するステップと、
を備える。

第１又は５の発明によれば、自走機能を実現する典型的な構成にウェアラブルグラスが追加された多機能車両において、運転モードの切り替えに基づいた他車両の遠隔運転が行われる。従って、一般車両の典型的な構成を活用した他車両の遠隔運転が可能となる。

第２の発明によれば、多機能車両の走行用入力装置がバイワイヤ型の入力装置から構成されるので、遠隔運転モードの実行中に多機能車両が自走するのを禁止することが可能となる。従って、遠隔運転モードの実行中の多機能車両の安全性、及び遠隔オペレータとしての多機能車両ドライバの安全性を確保することが可能となる。

第３の発明によれば、遠隔運転モードの実行中に受信した作動指示情報が他車両に送信される。従って、遠隔運転モードの実行中に多機能車両の走行補助装置が作動して、この車両の周囲の歩行者等に不必要な情報が伝達されるのを防止することが可能となる。

第４の発明によれば、遠隔運転モードの実行中にウェアラブルグラスによるヘッドトラッキング制御が行われる。従って、遠隔オペレータとしての多機能車両のドライバによる他車両の周囲状況の把握を助けることが可能となる。従って、ウェアラブルグラスを用いた遠隔運転において、遠隔運転される他車両の走行安全性を高めることが可能となる。

遠隔運転サービスの第１の例を説明する図である。 遠隔運転サービスの第２の例を説明する図である。 遠隔運転サービスを受ける側の車両の構成例を示すブロック図である。 遠隔運転サービスを提供する側の車両の第１の構成例を示すブロック図である。 ヘッドトラッキング制御における画像データの生成例を説明する図である。 遠隔運転サービスを提供する側の車両の第２の構成例を示すブロック図である。 遠隔運転サービスを提供する側の車両の情報処理装置により実行される処理例を示すフローチャートである。 遠隔運転サービスを提供する側の車両の情報処理装置により実行される処理例を示すフローチャートである。

以下、図面を参照しながら、本発明の実施形態に係る多機能車両及びこれを用いた遠隔運転方法について説明する。尚、実施形態に係る遠隔運転方法は、実施形態に係る多機能車両におけるコンピュータ処理により実現される。また、各図において、同一又は相当する部分には同一符号を付してその説明を簡略化し又は省略する。

１．遠隔運転サービス
実施形態に係る多機能車両は、遠隔運転サービスを提供するシステムの一部を構成する。図１は、遠隔運転サービスの第１の例を説明する図である。図１には、複数の車両１（１Ａ～１Ｄ）が描かれている。車両１の各車両は、遠隔運転サービスを提供する側の車両である。図１には、また、複数の車両２（２Ａ～２Ｄ）が描かれている。車両２の各車両は、遠隔運転サービスを受ける側の車両である。車両１と車両２とは、ネットワーク３を介して通信する。図１に示す例においては、車両１の各車両とネットワーク３が遠隔運転サービスを提供するシステムを構成する。

車両１の各車両は、本願の「多機能車両」に相当する。車両１の各車両は、例えば個人所有車ＰＯＶである。車両１の各車両は、遠隔運転サービスを提供する事業者が所有する車両でもよい。車両１の各車両は、それに乗車したドライバ４（４ａ～４ｄ）の手動操作により走行する。つまり、車両１の各車両は自走機能を有している。自走中の車両１の運転モードは「通常運転モード」に設定されている。車両１の各車両は、ドライバ４の手動操作を支援する機能又は自動運転機能を有していてもよい。この場合、車両１の走行は、車載の運転支援又は自動運転システムにより行われる。

ドライバ４の各人は、自らの意思に基づいて車両２の遠隔運転を行う。この場合、ドライバ４の各人は、車両２の遠隔オペレータとして振る舞う。具体的なケースとしては、車両２は、遠隔地に存在するタクシー、ハイヤー等の車両が考えらえる。この場合、ドライバ４の各人は、乗車中の車両１の典型的な構成を活用して車両２の遠隔運転（手動操作）を行う。このように、車両１の各車両は、自走機能に加えて遠隔運転機能を有している。

車両２の各車両は、本願の「他車両」に相当する。車両２の各車両は、例えば個人所有車ＰＯＶである。車両２の各車両は、遠隔運転サービスを提供する事業者が所有する車両でもよい。車両２の各車両は、それに乗車したドライバ（不図示）による手動操作により走行する。車両２の各車両は、ドライバの手動操作を支援する機能又は自動運転機能を有していてもよい。この場合、車両２の走行は、車載の運転支援又は自動運転システムにより行われる。車両２の各車両は、遠隔オペレータによる手動操作を受けるための構成を有している。遠隔オペレータが手動操作を行う場合、車両２の各車両は、この手動操作により走行する。

図１に示す例において、ある１台の車両２が遠隔運転サービスの利用を希望する場合を考える。この場合、車両２は、通信情報ＣＯＭ２１を車両１の各車両に送信する。通信情報ＣＯＭ２１は、例えば、利用希望情報ＩＵＳと、車両情報ＩＶＨとを含んでいる。利用希望情報ＩＵＳは、遠隔運転（遠隔オペレータによる手動操作）を依頼するための情報である。利用希望情報ＩＵＳは、例えば、車両２のＩＤ情報（又はＩＰアドレス情報）と、車両２の仕様情報（例えば、通信機器の仕様情報、パワートレイン、シャシーといった主要装備の仕様情報、ウインカー、ワイパー、ランプといった走行補助装置の仕様情報）とを含んでいる。車両情報ＩＶＨの例については後述される。

図１に示す例においては、更に、ある１人のドライバ４が遠隔運転サービスの提供を希望する場合を考える。この場合、車両１の運転モードは「遠隔運転モード」に設定される。つまり、遠隔運転サービスの提供を行う場合、車両１の運転モードは「通常運転モード」から「遠隔運転モード」に切り替えられる。遠隔運転モードにおいて、車両１は、自動的に又はドライバ４からの指示に基づいてネットワーク３にアクセスし、通信情報ＣＯＭ２１を取得する。車両２の仕様情報が車両１のそれと一致する場合、車両１は、車両２に通信情報ＣＯＭ１２を送信する。この通信情報ＣＯＭ１２は、例えば、提供希望情報ＩＳＰと、運転指示情報ＩＩＳとを含んでいる。

提供希望情報ＩＳＰは、遠隔運転を受任するための情報である。提供希望情報ＩＳＰは、例えば、車両１のＩＤ情報（又はＩＰアドレス情報）と、車両１の仕様情報（例えば、通信機器の仕様情報、ウインカー、ワイパー、ランプといった走行補助装置の仕様情報）とを含んでいる。運転指示情報ＩＩＳは、例えば、車両２の制御情報と、走行補助装置の作動状態を切り替えるスイッチの操作情報とを含んでいる。制御情報は、車両２の遠隔運転を実行するための情報である。制御情報は、遠隔オペレータとしてのドライバ４による車両１の操作情報に基づいて生成される。

車両１から車両２に通信情報ＣＯＭ１２が送信されると、車両２はその遠隔運転を担当する装置（図１に示す例では、車両１）を認識する。その後、車両２と車両１はネットワーク３を介して通信情報ＣＯＭ１２及びＣＯＭ２１のやり取りを行う。これにより、車両１のドライバ４による車両２の遠隔運転が行われる。

図２は、遠隔運転サービスの第２の例を説明する図である。図２には、１台の車両１と、遠隔施設５とが描かれている。図２に示す例においては、１台の車両１と、ネットワーク３と、遠隔施設５とが遠隔運転サービスを提供するシステムを構成する。遠隔施設５は、管理サーバ５１と、複数の遠隔運転装置５２（５２Ａ～５２Ｃ）とを備えている。遠隔施設５は、例えば、遠隔運転サービスを提供する事業所である。管理サーバ５１は、遠隔運転サービスを管理する。遠隔運転装置５２の各装置は、複数の遠隔オペレータ６（６ａ～６ｃ）に割り当てられている。

図２に示す例において、ある１台の車両２が遠隔運転サービスの利用を希望する場合を考える。この場合、車両２は、通信情報ＣＯＭ２５を管理サーバ５１に送信する。通信情報ＣＯＭ２５は、例えば、利用希望情報ＩＵＳと、車両情報ＩＶＨとを含んでいる。つまり、通信情報ＣＯＭ２５に含まれる情報は、図１に示した通信情報ＣＯＭ２１に含まれるそれと同じである。

図２に示す例においては、更に、ドライバ４が遠隔運転サービスの提供を希望する場合を考える。この場合、車両１は、ドライバ４からの指示に基づいて管理サーバ５１に通信情報ＣＯＭ１５ａを送信する。この通信情報ＣＯＭ１５ａは、例えば、提供希望情報ＩＳＰを含んでいる。提供希望情報ＩＳＰについては図１で説明した通りである。

管理サーバ５１は、車両２から利用希望情報ＩＵＳを受信した場合、遠隔運転を待機している車両１及び遠隔運転装置５２のうちから、この車両２の遠隔運転の担当を決定する。例えば、車両２の仕様情報（具体的には、通信装置及び走行補助装置の仕様情報）が車両１のそれと一致する場合、管理サーバ５１は、車両１を車両２の遠隔運転の担当に決定する。そして、管理サーバ５１は、車両１に通信情報ＣＯＭ５１を送信し、車両２に通信情報ＣＯＭ５２を送信する。通信情報ＣＯＭ５１は、通信情報ＣＯＭ２５に含まれていた情報（即ち、利用希望情報ＩＵＳ及び車両情報ＩＶＨ）を含んでいる。通信情報ＣＯＭ５２は、通信情報ＣＯＭ１５ａに含まれていた情報（即ち、提供希望情報ＩＳＰ）を含んでいる。

管理サーバ５１から車両１に通信情報ＣＯＭ５１が送信されると、車両１は遠隔運転を行う車両２を認識する。一方、管理サーバ５１から車両２に通信情報ＣＯＭ５２が送信されると、車両２はその遠隔運転を担当する装置（図２に示す例では、車両１）を認識する。その後、車両２と車両１は管理サーバ５１を介して通信情報ＣＯＭ２５及びＣＯＭ１５ｂのやり取りを行う。通信情報ＣＯＭ１５ｂは、例えば、運転指示情報ＩＩＳを含んでいる。運転指示情報ＩＩＳについては図１で説明した通りである。車両２と車両１は、お互いを認識した後は、管理サーバ５１を介さずに通信情報を直接やり取りしてもよい。

車両２の仕様情報が車両１のそれと一致しない場合、管理サーバ５１は、１台の遠隔運転装置５２を車両２の遠隔運転の担当に決定する。この場合、通信情報ＣＯＭ２５に含まれていた情報は、車両２の遠隔運転を担当する遠隔運転装置５２に送信される。

２．車両の構成例
２－１．遠隔運転サービスを受ける側の車両（他車両）の構成例
図３は、図１に示した車両２の各車両に共通する構成例を示すブロック図である。図３に示される構成例は、カメラ２０、マイクロホン２１、センサ群２２、地図データベース（ＤＢ）２３、通信装置２４、走行装置２５、走行補助装置２６及び情報処理装置２７を含んでいる。

カメラ２０は、車両２の室内及び室外に複数台設けられる。カメラ２０は、車両２の周囲の画像を撮影する。周囲画像としては、前方中央画像、右前方画像、左前方画像、右側方画像、左側方画像及び後方画像が例示される。周囲画像データは、典型的には動画データから構成される。但し、周囲画像データは静止画像データでもよい。カメラ２０は、周囲画像データを周囲画像情報ＩＭＧとして情報処理装置２７に送信する。

マイクロホン２１は、車両２の外部側面に複数台設けられる。マイクロホン２１のそれぞれは指向性を有しており、車両２の周囲音を収録する。周囲音としては、右前方音、左前方音、右後方音及び左後方音が例示される。マイクロホン２１のそれぞれは、周囲音データを周囲音情報ＳＵＤとして情報処理装置２７に送信する。

センサ群２２は、車両２の状態を検出する状態センサを含んでいる。状態センサとしては、速度センサ、加速度センサ、ヨーレートセンサ及び舵角センサが例示される。センサ群２２は、また、車両２の位置及び進行方向を取得する位置センサを含んでいる。位置センサとしては、ＧＮＳＳ（Global Navigation Satellite System）センサが例示される。センサ群２２は、車両２の状態データを状態情報ＳＴＳとして情報処理装置２７に送信する。センサ群２２は、また、位置データ及び進行方向データを位置情報ＬＣＴとして情報処理装置２７に送信する。

センサ群２２は、カメラ２０以外の認識センサを含んでいてもよい。認識センサは、電波又は光を利用して車両２の周囲の物標を認識（検出）する。認識センサとしては、ミリ波レーダ及びＬＩＤＡＲ（Laser Imaging Detection and Ranging）が例示される。

地図ＤＢ２３には地図情報が格納されている。地図情報としては、道路の位置の情報、道路形状の情報（例えば、カーブ、直線の種別）、交差点及び構造物の位置の情報が例示される。地図ＤＢ２３は、車載の記憶装置（例えば、ハードディスク、フラッシュメモリ等の不揮発性の記録媒体）内に形成されている。地図ＤＢ２３は、車両２と通信可能なコンピュータ（例えば、管理サーバ５１などの外部サーバ）内に形成されていてもよい。

通信装置２４は、ネットワーク３の基地局（不図示）との間で無線通信を行う。この無線通信の通信規格としては、４Ｇ、ＬＴＥ、または５Ｇ等の移動体通信の規格が例示される。通信装置２４の接続先には、車両１が少なくとも含まれる。図２に説明した例では、通信装置２４の接続先には遠隔施設５（管理サーバ５１）が含まれる。車両１との通信において、通信装置２４は、情報処理装置２７から受け取った通信情報ＣＯＭ２１（又は、通信情報ＣＯＭ２５）を車両１（又は遠隔施設５）に送信する。

走行装置２５は、車両２の加速、減速及び操舵を行う。走行装置２５は、例えば、駆動装置と、ステアリング装置と、ブレーキ装置とを含んでいる。駆動装置は、車両２のタイヤを駆動する。ステアリング装置は、車両２のタイヤを転舵する。ブレーキ装置は、車両２に制動力を付与する。車両２の加速は、駆動装置の制御によって行われる。車両２の減速は、ブレーキ装置の制御によって行われる。駆動装置がモータの場合、モータの制御による回生ブレーキを利用して、車両２の制動が行われてもよい。車両２の操舵は、ステアリング装置の制御によって行われる。

走行補助装置２６は、車両２の走行を補助する装置である。走行補助装置２６としては、ウインカー、ライト（例えば、前照灯、フォグランプ）、ブレーキランプ、ワイパー等が例示される。走行補助装置２６は、車両２のドライバにより手動操作される。ドライバの手動操作を支援する機能又は自動運転機能を車両２が有する場合、走行補助装置２６は、車載の運転支援又は自動運転システムにより操作される。

情報処理装置２７は、車両２が取得した各種情報を処理するためのコンピュータである。情報処理装置２７は、少なくとも１つのプロセッサ２７ａと、少なくとも１つのメモリ２７ｂとを備える。プロセッサ２７ａは、ＣＰＵ（Central Processing Unit）を含んでいる。メモリ２７ｂは、ＤＤＲメモリなどの揮発性のメモリであり、プロセッサ２７ａが使用する各種プログラムの展開及び各種情報の一時保存を行う。車両２が取得した各種情報は、メモリ２７ｂに格納される。この各種情報には、周囲画像情報ＩＭＧ、周囲音情報ＳＵＤ、状態情報ＳＴＳ及び位置情報ＬＣＴが含まれる。車両２が遠隔運転される場合、この各種情報には通信情報ＣＯＭ１２（又はＣＯＭ２５）も含まれる。

プロセッサ２７ａは、メモリ２７ｂに格納されたプログラムを実行することにより車両２の走行に関する各種制御を行う。プロセッサ２７ａは、また、メモリ２７ｂに格納されたプログラムを実行することにより遠隔運転が必要であるか否かを判定する。遠隔運転が必要であると判定した場合、プロセッサ２７ａは、メモリ２７ｂに格納された各種情報に基づいて車両情報ＩＶＨを生成する。車両情報ＩＶＨは、例えば、周囲画像情報ＩＭＧ、周囲音情報ＳＵＤ及び位置情報ＬＣＴから構成される。車両情報ＩＶＨに状態情報ＳＴＳが追加されてもよい。

遠隔運転が必要であると判定した場合、プロセッサ２７ａは、利用希望情報ＩＵＳ及び車両情報ＩＶＨをエンコードして、通信装置２４に出力する。エンコード処理に際し、これらの情報は圧縮されてもよい。エンコードされた情報は、通信情報ＣＯＭ２１（又はＣＯＭ２５）に含まれる。

２－２．遠隔運転サービスを提供する側の車両（多機能車両）の構成例
図４は、図１に示した車両１の各車両に共通する第１の構成例を示すブロック図である。図４に示される構成例は、ＸＢＷセンサ１０、センサ群１１、スイッチ群１２、地図データベース（ＤＢ）１３、通信装置１４、ＸＢＷアクチュエータ１５、スピーカ１６、走行補助装置１７、情報処理装置１８及びウェアラブルグラス（ＷＢ）１９を含んでいる。

ＸＢＷセンサ１０は、ドライバ４によるＸＢＷ型走行装置の入力装置の操作情報ＩＢＷを取得するセンサである。ＸＢＷ型走行装置としては、ドライブバイワイヤ（ＤＢＷ）、ブレーキバイワイヤ（ＢＢＷ）、ステアバイワイヤ（ＳＢＷ）及びシフトレバーバイワイヤ（ＳｈＢＷ）が例示される。ＸＢＷ型走行装置の入力装置は、本願の「走行用入力装置」に相当する。

ドライブバイワイヤにおける入力装置はアクセルペダルである。この場合のＸＢＷセンサ１０は、アクセルペダルの踏み込み量を検出するセンサである。ブレーキバイワイヤにおける入力装置はブレーキペダルである。この場合のＸＢＷセンサ１０は、ブレーキペダルの踏み込み量を検出するセンサである。ステアバイワイヤにおける入力装置はステアリングホイールである。この場合のＸＢＷセンサ１０は、ステアリングホイールの操舵角を検出するセンサである。シフトレバーバイワイヤにおける入力装置はシフトレバーである。この場合のＸＢＷセンサ１０は、シフトポジションを検出するセンサである。ＸＢＷセンサ１０は、操作情報ＩＢＷを情報処理装置２７に送信する。

センサ群１１は、ＸＢＷセンサ１０以外のセンサである。センサ群１１の例としては、図３で説明したセンサ群２２の例と同じものが挙げられる。

スイッチ群１２は、ドライバ４により手動操作される各種スイッチを含んでいる。各種スイッチとしては、ＥＰＢ（Electric Parking Brake）スイッチ、ウインカースイッチ、ドアロックスイッチ、エアコンスイッチ、ライトスイッチ、ブレーキランプスイッチ、パワーウィンドウスイッチ、ワイパースイッチ及びイグニッションスイッチが例示される。各種スイッチには、運転モードを切り替える運転モードスイッチが含まれる。

ＥＰＢスイッチは、ＥＰＢの作動状態（ＯＮ／ＯＦＦ）を切り替える。ウインカースイッチは、方向指示灯の作動状態（ＯＮ／ＯＦＦ）を切り替える。ドアロックスイッチは、車両１のドアの施錠状態（施錠／開錠）を切り替える。エアコンスイッチは、エアコンの稼働状態（稼働／停止）を切り替える。ライトスイッチは、ライト（例えば、前照灯、フォグランプ）の作動状態（ＯＮ／ＯＦＦ）を切り替える。パワーウィンドウスイッチは、ドアに設けられている窓の作動状態（開／閉）を切り替える。ブレーキランプスイッチは、ブレーキペダルの操作に連動してブレーキランプの作動状態（ＯＮ／ＯＦＦ）を切り替える。ワイパースイッチは、ワイパーの作動状態（ＯＮ／ＯＦＦ）を切り替える。イグニッションスイッチは、車両の電源回路の作動状態（ＯＮ／ＯＦＦ）を切り替える。運転モードスイッチは、車両１の運転モードを通常運転モードと遠隔運転モードの間で切り替える。

スイッチ群１２のそれぞれは、ドライバ４による操作情報を情報処理装置２７に送信する。ここで、スイッチ群１２は、走行補助装置１７の作動状態を切り替えるスイッチを含んでいる。このようなスイッチとしては、ウインカースイッチ、ライトスイッチ、ブレーキランプスイッチ及びワイパースイッチが例示される。走行補助装置１７の作動状態を切り替えるスイッチの操作情報は、以下、「作動指示情報ＩＳＷ」とも称される。

地図ＤＢ１３には地図情報が格納されている。地図情報の例としては、図３で説明した地図ＤＢ２３に格納された地図情報の例と同じものが挙げられる。

通信装置１４は、ネットワーク３の基地局（不図示）との間で無線通信を行う。この無線通信の通信規格としては、４Ｇ、ＬＴＥ、または５Ｇ等の移動体通信の規格が例示される。通信装置１４の接続先には、車両２が少なくとも含まれる。図２に説明した例では、通信装置１４の接続先に遠隔施設５（管理サーバ５１）が含まれる。車両２との通信において、通信装置１４は、情報処理装置１８から受け取った通信情報ＣＯＭ１２（又は、通信情報ＣＯＭ１５ａ及び１５ｂ）を車両２（又は遠隔施設５）に送信する。

ＸＢＷアクチュエータ１５は、操作情報ＩＢＷに基づいて計算された作動量に基づいて作動するＸＢＷ方式のアクチュエータである。ドライブバイワイヤにおけるアクチュエータは、例えば車両駆動用モータである。ブレーキバイワイヤにおけるアクチュエータは、例えばブレーキモータである。ステアバイワイヤにおけるアクチュエータは、操舵側に設置されるモータと、ステアリングホイール側に設置される反力モータとを含んでいる。シフトレバーバイワイヤにおけるアクチュエータは、例えば操作情報ＩＢＷに基づいて作動する電動油圧アクチュエータである。

スピーカ１６は、周囲音情報ＳＵＤに含まれる周囲音データを再生する。周囲音データは、マイクロホン２１の各指向方向における収録音データである。周囲音データは、波面合成等の処理が行われた後のデータでもよい。周囲音データは、データ解析により認識された車両音及び環境音以外の音がカットされたデータでもよい。認識対象の車両音は、操舵、加速又は減速に伴い発生する音である。操舵に伴い発生する音としては、タイヤの据え切り音、タイヤと路面の摩擦音が例示される。加速に伴い発生する音としては、駆動用モータの回転音が例示される。減速に伴い発生する音としては、駆動用モータの回転音、タイヤと路面の摩擦音などが例示される。認識対象の環境音としては、踏切や信号機が発する警報音、緊急車両が発する警報音、車両２の周囲の車両が発する警告音などが例示される。周囲音データは、データ解析により認識された車両音及び環境音の疑似データでもよい。

走行補助装置１７は、車両１の走行を補助する装置である。走行補助装置１７としては、ウインカー、ライト（例えば、前照灯、フォグランプ）、ブレーキランプ、ワイパー等が例示される。走行補助装置１７は、ドライバ４により手動操作される。ドライバ４の手動操作を支援する機能又は自動運転機能を車両１が有する場合、走行補助装置１７は、車載の運転支援又は自動運転システムにより操作される。

情報処理装置１８は、車両１の車両制御に関連する各種情報を処理するコンピュータである。情報処理装置１８は、車両２の遠隔運転に関する各種情報を処理するコンピュータでもある。情報処理装置１８は、少なくとも１つのプロセッサ１８ａと、少なくとも１つのメモリ１８ｂと、を備える。情報処理装置１８の基本的な構成は、図３で説明した情報処理装置２７のそれと同じである。メモリ１８ｂには、プロセッサ１８ａが使用する各種プログラム及び各種情報が格納されている。この各種情報には、操作情報ＩＢＷ及び作動指示情報ＩＳＷが含まれる。車両２の遠隔運転を行う場合、利用希望情報ＩＵＳ及び車両情報ＩＶＨ（但し、周囲画像情報ＩＭＧを除く。）がメモリ１８ｂに格納される。

プロセッサ１８ａは、利用希望情報ＩＵＳ及び車両情報ＩＶＨをデコードして、車両情報ＩＶＨに含まれる周囲画像情報ＩＭＧをＷＧ１９に転送する処理（転送処理）を行う。プロセッサ１８ａは、また、車両情報ＩＶＨに含まれる周囲音情報ＳＵＤをスピーカ１６で再生する処理（再生処理）を行う。利用希望情報ＩＵＳ及び車両情報ＩＶＨが圧縮されている場合、デコード処理においてこれらの情報が伸長される。プロセッサ１８ａは、更に、運転指示情報ＩＩＳを車両２に送信する処理（送信処理）を行う。

ＷＧ１９は、ドライバ４により装着される眼鏡型又はゴーグル型の端末である。図４に示す例では、ＷＧ１９がコントローラ１９ａと、ディスプレイ１９ｂとを備えている。コントローラ１９ａは、情報処理装置１８と近距離通信を行い、車両情報ＩＶＨに含まれる周囲画像情報ＩＭＧを取得する。そして、コントローラ１９ａは、この周囲画像情報ＩＭＧに含まれる周囲画像データをディスプレイ１９ｂに出力する。

周囲画像データの出力に際し、コントローラ１９ａは、ディスプレイ１９ｂに出力する画像データをヘッドトラッキング制御により生成する。ヘッドトラッキング制御では、例えば、加速度センサによりドライバ４の頭部ＨＤの動きが検出される。そして、この頭部ＨＤの動きに対応してディスプレイ１９ｂに出力する画像データが生成される。

図５は、ヘッドトラッキング制御における画像データの生成例を説明する図である。図５に示す例では、周囲画像として、前方中央画像ＩＭ＿ＣＦＲ、右前方画像ＩＭ＿ＲＦ、左前方画像ＩＭ＿ＬＦ、右側方画像ＩＭ＿ＲＳ及び左側方画像ＩＭ＿ＬＳが描かれている。ディスプレイ１９ｂに出力される画像データは、隣り合う２種類の画像の重複部分を重ねた合成画像データＳＩＭである。

ヘッドトラッキング制御では、左右方向における頭部ＨＤの動きが検出されると、基準方向に対する頭部ＨＤの傾き角θが特定される。そして、ディスプレイ１９ｂに出力される画像データの左右方向における基準位置（例えば、中央位置）が傾き角θに相当する距離だけシフトするように、合成画像データＳＩＭが生成される。ヘッドトラッキング制御では、左右方向だけでなく、上下方向における頭部ＨＤの動きを検出して合成画像データＳＩＭが生成されてもよい。

図６は、図１に示した車両１の各車両に共通する第２の構成例を示すブロック図である。図６に示される構成例は、図４に示した構成例と共通する要素を有している。そのため、共通要素の説明については省略される。図６に示される構成例では、ＷＧ１９がコントローラ１９ａと、ディスプレイ１９ｂと、スピーカ１９ｃと、通信装置１９ｄとを備えている。

スピーカ１９ｃの機能構成は、スピーカ１６のそれと基本的に同じである。通信装置１９ｄの機能構成は、通信装置１４のそれと基本的に同じである。つまり、図６に示される構成例は、スピーカを内蔵する遠距離通信型のＷＧ１９を備えている。このような構成例によれば、車両２からの通信情報ＣＯＭ２１（又はＣＯＭ５１）が、情報処理装置１８及びコントローラ１９ａに提供される。そのため、図４に示した構成例と異なり、周囲画像情報ＩＭＧが情報処理装置１８を介さずに直接、コントローラ１９ａに提供される。また、周囲音情報ＳＵＤもコントローラ１９ａに直接提供され、周囲音情報ＳＵＤに含まれる周囲音データがスピーカ１９ｃで再生される。

尚、図６に示される構成例において、ＷＧ１９は、情報処理装置１８と近距離通信を行うための構成を有していてもよい。この場合、ＷＧ１９は、周囲画像情報ＩＭＧ及び周囲音情報ＳＵＤを、情報処理装置１８を介して間接的に取得してもよい。一方、情報処理装置１８は、利用希望情報ＩＵＳ及び車両情報ＩＶＨ（但し、周囲画像情報ＩＭＧ及び周囲音情報ＳＵＤを除く。）を、ＷＧ１９を介して間接的に取得してもよい。情報処理装置１８は、また、提供希望情報ＩＳＰ及び運転指示情報ＩＩＳを、ＷＧ１９を介して車両２に提供してもよい。

３．遠隔運転サービスを提供する側の車両（多機能車両）の情報処理例
図７及び８は、情報処理装置１８（プロセッサ１８ａ）により実行される処理例を示すフローチャートである。図７に示されるルーチンは、所定の周期ごとに繰り返し実行される。図８に示されるルーチンは、車両１の運転モードが「遠隔運転モード」に設定されている間、所定の周期ごとに繰り返し実行される。

図７に示されるルーチンでは、まず、イグニッションスイッチ（ＩＧ）が作動状態（ＯＮ）に設定されているか否かが判定される（ステップＳ１１）。ステップＳ１１の判定結果が否定的な場合、今回の処理は終了される。ステップＳ１１の判定結果が肯定的な場合、車両１の運転モードが通常運転モードに設定される（ステップＳ１２）。

ステップＳ１２の処理に続いて、イグニッションスイッチが非作動状態（ＯＦＦ）に設定されているか否かが判定される（ステップＳ１３）。ステップＳ１３の判定結果が肯定的な場合、今回の処理は終了される。ステップＳ１３の判定結果が否定的な場合、モード切り替え信号を受信したか否かが判定される（ステップＳ１４）。モード切り替え信号は、ドライバ４により運転モードスイッチが手動操作された場合に出力される。

ステップＳ１４の判定結果が肯定的な場合、運転モードの切り替えが行われる（ステップＳ１５）。ステップＳ１５の処理では、現在設定されている運転モード（例えば、通常運転モード）から、現在設定されていない運転モード（例えば、遠隔運転モード）への切換が行われる。ステップＳ１４の判定結果が否定的な場合、ステップＳ１３の処理が行われる。

図８に示されるルーチンでは、まず、利用希望情報ＩＵＳを受信したか否かが判定される（ステップＳ２１）。ステップＳ２１の判定結果が否定的な場合、今回の処理は終了される。ステップＳ２１の判定結果が肯定的な場合、仕様条件が満たされるか否かが判定される（ステップＳ２２）。ステップＳ２２の処理では、車両１の仕様情報（具体的には、通信装置及び走行補助装置の仕様情報）と、利用希望情報ＩＵＳに含まれる車両２のそれとが比較される。両情報が一致する場合、仕様条件が満たされると判定される。

ステップＳ２２の判定結果が肯定的な場合、提供希望情報ＩＳＰが送信される（ステップＳ２３）。提供希望情報ＩＳＰの送信先は、利用希望情報ＩＵＳを発信した車両２である。利用希望情報ＩＵＳを発信した車両２は、車両２のＩＤ情報（又はＩＰアドレス情報）により特定される。

ステップＳ２３の処理に続いて、車両情報ＩＶＨを受信したか否かが判定される（ステップＳ２４）。ステップＳ２４の処理は、肯定的な判定結果が得られるまで繰り返し実行される。

ステップＳ２４の判定結果が肯定的な場合、遠隔運転処理が実行される（ステップＳ２５）。遠隔運転処理は、周囲画像情報ＩＭＧの転送処理と、周囲音情報ＳＵＤの再生処理と、運転指示情報ＩＩＳの送信処理とを含んでいる。遠隔運転処理では、転送、再生及び送信処理が並列実行される。

転送処理では、ステップＳ２４の処理で取得された車両情報ＩＶＨに含まれる周囲画像情報ＩＭＧが、ＷＧ１９に送信される。

再生処理では、ステップＳ２４の処理で取得された車両情報ＩＶＨに含まれる周囲音情報ＳＵＤに基づいて、スピーカ１６で再生する周囲音データが生成される。再生処理では、周囲音情報ＳＵＤに含まれる周囲音データがそのまま再生されてもよいし、波面合成等の処理が行われた後のデータが再生されてもよい。再生処理では、周囲音情報ＳＵＤに含まれる周囲音データの解析が行われてもよい。この場合は、解析の結果認識された車両音及び環境音の疑似データが、周囲音データの代わりに再生されてもよい。

送信処理では、例えば、操作情報ＩＢＷ又は作動指示情報ＩＳＷを受信したか否かが判定される。操作情報ＩＢＷを受信したと判定された場合は、この操作情報ＩＢＷに基づいて制御情報を生成する。この制御情報は、運転指示情報ＩＩＳとして送信される。作動指示情報ＩＳＷを受信したと判定された場合は、この作動指示情報が運転指示情報ＩＩＳとして送信される。

ステップＳ２５の処理に続いて、運転終了情報ＩＥＮを受信したか否かが判定される（ステップＳ２６）。運転終了情報ＩＥＮは、例えば、遠隔運転サービスを受けている車両２が、その利用の終了を希望する場合に車両２から車両１に送信される。別の例では、運転終了情報ＩＥＮが、車両２の目的地に到着した場合に車両２から車両１に送信される。また別の例では、ドライバ４が遠隔運転サービスの提供の終了を希望し、運転モードスイッチを操作した場合に生成される。

ステップＳ２６の判定結果が肯定的な場合、今回の処理は終了される。そうでない場合、ステップＳ２４の処理が行われる。つまり、ステップＳ２６の処理において肯定的な判定結果が得られるまでステップＳ２４～Ｓ２６の処理が繰り返し行われる。

尚、図８に示したルーチンは、図１に示した遠隔運転サービスを実施する場合の処理例に相当する。図２に示した遠隔運転サービスを実施する場合の処理例については、図８に示すルーチンから、ステップＳ２２及びＳ２３の処理を削除し、ステップＳ２５の処理の周囲音情報ＳＵＤの「再生処理」を「転送処理」（転送先はＷＧ１９）に置き換えたものが挙げられる。従って、この処理例の説明については省略される。

４．効果
以上説明した実施形態によれば、自走機能を実現する典型的な構成にＷＧ１９が追加された車両１において、運転モードの切り替えに基づいた車両２の遠隔運転が行われる。従って、一般車両の典型的な構成を活用した遠隔運転サービスの提供が可能となる。

加えて、実施形態によれば、車両１の走行装置がＸＢＷ型走行装置から構成されるので、遠隔運転モードの実行中に車両１が自走するのを禁止することが可能となる。従って、遠隔運転モードの実行中の車両１及び遠隔オペレータとしてのドライバ４の安全性を確保することが可能となる。更に、実施形態によれば、遠隔運転モードの実行中に受信した作動指示情報ＩＳＷが車両２に送信される。従って、遠隔運転モードの実行中に走行補助装置１７が作動して、車両１の周囲の歩行者等に不必要な情報が伝達されるのを防止することが可能となる。また更に、実施形態によれば、コントローラ１９ａによるヘッドトラッキング制御が行われる。従って、遠隔オペレータとしてのドライバ４による車両２の周囲状況の把握を助けることが可能となる。従って、ＷＧ１９を用いた遠隔運転において、遠隔運転される車両２の走行安全性を高めることが可能となる。

１，２ 車両
３ ネットワーク
４ａ～４ｄ ドライバ
５ 遠隔施設
５１ 管理サーバ
５２ 遠隔運転装置
６ａ～６ｃ 遠隔オペレータ
１０ ＸＢＷセンサ
１４，１９ｄ 通信装置
１５ ＸＢＷアクチュエータ
１６，１９ｃ スピーカ
１７，２６ 走行補助装置
１８，２７ 情報処理装置
１８ａ，２７ａ プロセッサ
１８ｂ，２７ｂ メモリ
１９ ウェアラブルグラス
１９ａ コントローラ
１９ｂ ディスプレイ
ＨＤ 頭部
ＣＯＭ１２，ＣＯＭ１５ａ，ＣＯＭ１５ｂ，ＣＯＭ２１，ＣＯＭ２５，ＣＯＭ５１，ＣＯＭ５２ 通信情報
ＩＩＳ 運転指示情報
ＩＢＷ 操作情報
ＩＥＮ 運転終了情報
ＩＭＧ 周囲画像情報
ＩＳＰ 提供希望情報
ＩＳＷ 作動指示情報
ＩＵＳ 利用希望情報
ＩＶＨ 車両情報
ＬＣＴ 位置情報
ＳＴＳ 状態情報
ＳＵＤ 周囲音情報

Claims (5)

1. 自走機能と他車両を遠隔運転する機能を有する多機能車両であって、
   前記多機能車両のドライバにより操作される走行用入力装置と、
   前記ドライバによる前記走行用入力装置の操作情報を処理する情報処理装置と、
   前記ドライバにより装着され、前記他車両との直接通信及び前記情報処理装置を介した間接通信の少なくとも一方により前記他車両と通信するウェアラブルグラスと、
   前記他車両と通信する通信装置と、
   を備え、
   前記情報処理装置は、前記多機能車両を運転する通常運転モードと、前記他車両を運転する遠隔運転モードとを切り替えて実行し、
   前記通常運転モードでは、前記操作情報に基づいて生成された制御情報を用いて前記多機能車両の車両制御が実行され、
   前記遠隔運転モードでは、前記制御情報が前記通信装置を介して前記他車両に送信され、
   前記ウェアラブルグラスは、前記情報処理装置による前記遠隔運転モードの実行中、前記他車両との直接通信及び間接通信の少なくとも一方により取得した前記他車両の周囲画像を表示する
   ことを特徴とする遠隔運転機能付き多機能車両。
2. 請求項１に記載の多機能車両であって、
   駆動装置、ブレーキ装置及びステアリング装置を更に備え、
   前記走行用入力装置は、アクセルペダル、ブレーキペダル、ステアリングホイール及びシフトレバーを含み、
   前記駆動装置及び前記アクセルペダルがドライブバイワイヤを構成し、前記ブレーキ装置及び前記ブレーキペダルがブレーキバイワイヤを構成し、前記ステアリング装置及び前記ステアリングホイールがステアバイワイヤを構成し、前記シフトレバーがシフトレバーバイワイヤを構成する
   ことを特徴とする遠隔運転機能付き多機能車両。
3. 請求項１又は２に記載の多機能車両であって、
   前記多機能車両の走行を補助する走行補助装置と、
   前記多機能車両のドライバにより操作され、前記走行補助装置を作動するスイッチと、
   を更に備え、
   前記通常運転モードでは、前記スイッチからの作動指示情報が前記走行補助装置に出力され、
   前記遠隔運転モードでは、前記作動指示情報が前記通信装置を介して前記他車両に送信される
   ことを特徴とする遠隔運転機能付き多機能車両。
4. 請求項１～３の何れか１項に記載の多機能車両であって、
   前記周囲画像は、前記他車両の前方画像、左前方画像及び右前方画像を含み、
   前記ウェアラブルグラスは、前記遠隔運転モードの実行中、前記ドライバの頭部の動きに対応させて前記ウェアラブルグラスに表示する画像を前記周囲画像に基づいて生成するヘッドトラッキング制御を行う
   ことを特徴とする遠隔運転機能付き多機能車両。
5. 自走機能と他車両を遠隔運転する機能を有する多機能車両を用いて前記他車両を遠隔運転する方法であって、
   前記多機能車両の運転モードを、前記他車両を運転する遠隔運転モードに設定するステップと、
   前記運転モードが前記遠隔運転モードに設定されている間、前記他車両との直接通信及び間接通信の少なくとも一方により取得した前記他車両の周囲画像を、前記多機能車両のドライバが装着するウェアラブルグラスに表示するステップと、
   前記運転モードが前記遠隔運転モードに設定されている間、前記ドライバにより操作される走行用入力装置の操作情報に基づいて生成された制御情報を、前記他車両に送信するステップと、
   を備えることを特徴とする遠隔運転方法。

Images