JP2018142921A - Automatic drive control device, automatic drive control method, automatic drive control program, automatic driving vehicle, remote control device, remote control method, and remote control program - Google Patents
Automatic drive control device, automatic drive control method, automatic drive control program, automatic driving vehicle, remote control device, remote control method, and remote control program Download PDFInfo
- Publication number
- JP2018142921A JP2018142921A JP2017037436A JP2017037436A JP2018142921A JP 2018142921 A JP2018142921 A JP 2018142921A JP 2017037436 A JP2017037436 A JP 2017037436A JP 2017037436 A JP2017037436 A JP 2017037436A JP 2018142921 A JP2018142921 A JP 2018142921A
- Authority
- JP
- Japan
- Prior art keywords
- driving vehicle
- autonomous driving
- control device
- remote control
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000001514 detection method Methods 0.000 claims abstract description 66
- 238000004891 communication Methods 0.000 claims abstract description 30
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 230000005540 biological transmission Effects 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 abstract 1
- 238000012546 transfer Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Selective Calling Equipment (AREA)
Abstract
Description
本発明は、車両を自動走行させるための自動運転制御装置、自動運転制御方法、及び自動運転制御プログラム、自動運転車両、並びに自動運転車両を遠隔制御するための遠隔制御装置、遠隔制御方法、及び遠隔制御プログラムに関する。 The present invention relates to an automatic operation control device, an automatic operation control method, and an automatic operation control program for automatically driving a vehicle, an automatic operation vehicle, a remote control device for remotely controlling an automatic operation vehicle, a remote control method, and It relates to a remote control program.
近年、自動運転車両の開発が加速している。運転手を必要としない無人運転車両の開発も進められている。無人運転車両は、タクシー、バス、運送トラック等の業務車両への使用が期待されている。しかしながら、ＮＨＴＳＡ（Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）がレベル４に規定する完全自動運転の実現は、長い年月を要すると予想されている。また２０１７年現在、遠隔監視センタからの遠隔操作が可能な状態を担保することを条件に無人自動運転を認める方向で法整備の検討が国際的に進められている。 In recent years, the development of autonomous vehicles has accelerated. Development of unmanned driving vehicles that do not require a driver is also underway. Unmanned driving vehicles are expected to be used for commercial vehicles such as taxis, buses and transport trucks. However, it is expected that it will take a long time to realize fully automatic operation specified by NHTSA (National Highway Traffic Safety Administration) at level 4. Also, as of 2017, the study of legislation has been promoted internationally in the direction of allowing unmanned automatic driving on the condition that the remote operation from the remote monitoring center is ensured.
無人運転車両を遠隔操作する方式として、車載カメラで撮影された映像やＬＩＤＡＲ（Light Detection and Ranging）で検知された情報を無線通信ネットワークを介して遠隔制御装置に送信し、当該遠隔制御装置の操作者がモニタの映像を見ながら遠隔操作する方式が考えられる。また自動運転車両から遠隔制御装置に、ＬＩＤＡＲの情報をもとに生成された３次元マップデータを差分情報で送信する方式も考えられる（例えば、特許文献１参照）。 As a method of remotely operating an unmanned driving vehicle, images taken with an in-vehicle camera and information detected by LIDAR (Light Detection and Ranging) are transmitted to a remote control device via a wireless communication network, and the operation of the remote control device is performed. A method can be considered in which a person remotely controls while watching the image on the monitor. Also, a method of transmitting the three-dimensional map data generated based on the LIDAR information as difference information from the autonomous driving vehicle to the remote control device is conceivable (see, for example, Patent Document 1).
しかしながら上記いずれの方式であっても、多数の自動運転車両が無線通信ネットワークを介して映像データ又は３次元マップデータを送信し続けた場合、たとえ差分情報であっても、無線通信ネットワークの帯域が逼迫し、通信遅延の要因となる。また通信費も巨額になる。 However, in any of the systems described above, when a large number of autonomous driving vehicles continue to transmit video data or three-dimensional map data via a wireless communication network, the bandwidth of the wireless communication network is limited even if it is difference information. Tight and cause delays in communication. In addition, communication costs are huge.
本発明はこうした状況に鑑みなされたものであり、その目的は、自動運転車両から遠隔制御装置に送信されるデータ量を、安全性を担保しつつ削減する技術を提供することにある。 The present invention has been made in view of such circumstances, and an object thereof is to provide a technique for reducing the amount of data transmitted from an autonomous driving vehicle to a remote control device while ensuring safety.
上記課題を解決するために、本発明のある態様の自動運転制御装置は、自動運転車両の周辺状況を示す検知データを、前記自動運転車両に設置されている検知装置から取得する検知データ入力部と、前記検知データ入力部により取得された検知データをもとに特定されたオブジェクトの種別情報と位置情報を含むメタ情報を、ネットワークを介して前記自動運転車両を監視している遠隔制御装置に送信する通信部と、を備える。 In order to solve the above-described problem, an automatic driving control device according to an aspect of the present invention includes a detection data input unit that acquires detection data indicating a surrounding situation of an automatic driving vehicle from a detection device installed in the automatic driving vehicle. And meta information including the type information and position information of the object specified based on the detection data acquired by the detection data input unit to the remote control device that monitors the autonomous driving vehicle via a network. A communication unit for transmission.
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a representation of the present invention converted between a method, an apparatus, a system, a computer program, etc. are also effective as an aspect of the present invention.
本発明によれば、自動運転車両から遠隔制御装置に送信されるデータ量を、安全性を担保しつつ削減することができる。 According to the present invention, the amount of data transmitted from an autonomous driving vehicle to a remote control device can be reduced while ensuring safety.
図１は、本発明の実施の形態に係る遠隔型自動運転システムの全体構成を示す図である。遠隔型自動運転システムは、複数の自動運転車両１、複数の遠隔制御装置３０、及び運行管理装置４０を備える。複数の自動運転車両１は単一の事業者に属する自動運転車両であってもよいし、複数の事業者に属する自動運転車両であってもよい。前者の場合、複数の遠隔制御装置３０は当該事業者の遠隔監視センタに設置される。後者の場合、複数の遠隔制御装置３０はそれぞれ、各事業者の遠隔監視センタに設置されてもよいし、複数の事業者の自動運転車両１を一括して監視・制御する第三者の遠隔監視センタに設置されてもよい。
FIG. 1 is a diagram showing an overall configuration of a remote automatic driving system according to an embodiment of the present invention. The remote automatic driving system includes a plurality of
自動運転車両１はそれぞれ自動運転制御装置１０（図２参照）を備える。自動運転制御装置１０は、遠隔制御装置３０又は運行管理装置４０とネットワーク２を介して通信する。ネットワーク２はインターネットであってもよいし、専用回線であってもよい。自動運転制御装置１０は例えば、携帯電話網（セルラー網）を使用した通信方式（例えば、ＬＴＥ、５Ｇ）を利用して、遠隔制御装置３０又は運行管理装置４０と双方向通信を行う。
Each of the
携帯電話網の基地局装置（不図示）は、自動運転制御装置１０から受信した信号を、交換局（不図示）、ゲートウェイ装置（不図示）、ネットワーク２及びルータ装置（不図示）を介して遠隔制御装置３０又は運行管理装置４０に送信する。また基地局装置は、遠隔制御装置３０又は運行管理装置４０から送信された信号を、ルータ装置（不図示）、ネットワーク２、ゲートウェイ装置（不図示）及び交換局（不図示）を介して受信し、自動運転制御装置１０に送信する。なお、携帯電話網の代わりに無線ＬＡＮを利用してもよい。公衆無線ＬＡＮを利用できれば通信コストを抑えることができる。
A base station device (not shown) of the mobile phone network receives a signal received from the automatic
図２は、本発明の実施の形態に係る自動運転車両１の構成を示す図である。自動運転車両１は自動運転制御装置１０、センサ１４及びアクチュエータ１５を備える。アクセルペダル、ブレーキペダル、ステアリングホイール等の運転手による操縦に必要な部材は自動運転車両１に設置されてもよいし、省略されてもよい。
FIG. 2 is a diagram showing a configuration of the autonomous
アクチュエータ１５は、エンジン、モータ、ステアリング、ブレーキ、ランプ等の車両走行に係る負荷を駆動するものである。センサ１４は可視光カメラ１４１、ＬＩＤＡＲ１４２、ミリ波レーダ１４３、車速センサ１４４、及びＧＰＳセンサ１４５を含む。
The
可視光カメラ１４１は車両の前方、後方、左右の少なくとも４箇所に設置され、車両の前方、後方、左右の映像を撮影する。ＬＩＤＡＲ１４２は、車両の周囲に光線（例えば、赤外線レーザ）を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在するオブジェクトとの距離、オブジェクトの大きさ、オブジェクトの組成を測定する。ミリ波レーダ１４３は、車両の周囲に電波（ミリ波）を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在するオブジェクトまでの距離を測定する。ミリ波レーダ１４３は、ＬＩＤＡＲ１４２で検出困難な、より遠方のオブジェクトも検出可能である。
The visible light cameras 141 are installed in at least four locations on the front, rear, and left and right sides of the vehicle, and take images of the front, rear, and left and right sides of the vehicle. The LIDAR 142 emits a light beam (for example, an infrared laser) around the vehicle, receives the reflected signal, and based on the received reflected signal, the distance to the object existing in the surrounding area, the size of the object, Measure the composition. The
車速センサ１４４は自動運転車両１の速度を検出する。ＧＰＳセンサ１４５は自動運転車両１の位置情報を検出する。具体的には複数のＧＰＳ衛星からそれぞれ発信時刻を受信し、受信した複数の発信時刻をもとに受信地点の緯度経度を算出する。
The
入出力部１３は、ネットワーク入出力部１３１、検知データ入力部１３２、及び制御信号出力部１３３を含む。ネットワーク入出力部１３１は、遠隔制御装置３０又は運行管理装置４との通信方式に準拠した通信インタフェースを有する。検知データ入力部１３２は、センサ１４から各種の検知データを取得し、制御部１１に出力する。制御信号出力部１３３は、制御部１１で生成された各種のアクチュエータ１５を駆動するための制御信号を各種のアクチュエータ１５に出力する。
The input /
自動運転制御装置１０は制御部１１、記憶部１２、及び入出力部１３を備える。制御部１１は自律走行制御部１１１、オブジェクト検出部１１２、メタ情報生成部１１３、送信データ決定部１１４、及び優先順位決定部１１５を含む。制御部１１の機能はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。プロセッサとしてＣＰＵ、ＧＰＵ、ＤＳＰ等を利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。
The automatic
記憶部１２は例えばＨＤＤ、ＳＳＤで構成され、地図データ保持部１２１及びオブジェクトコード保持部１２２を含む。地図データ保持部１２１は、地形、道路形状、３次元構造などの静的情報を含む高精度な３次元マップデータを保持する。当該３次元マップデータは、遠隔制御装置３０の地図データ保持部３２１に保持される３次元マップデータ、及び運行管理装置４０の地図データ保持部４２１に保持される３次元マップデータと同期がとれている。
The
オブジェクトコード保持部１２２は、検出対象となる予め登録された複数のオブジェクトと、当該複数のオブジェクトに紐付けられた複数のオブジェクトコードを含むオブジェクトコード管理テーブルを保持する。
The object
図３は、オブジェクトコード保持部１２２に保持されるオブジェクトコード管理テーブル１２２ｔの一例を示す図である。オブジェクトコード管理テーブル１２２ｔでは、検出対象となるオブジェクトごとに、一意のオブジェクトコードが割り当てられている。
FIG. 3 is a diagram illustrating an example of the object code management table 122 t held in the object
図２の自律走行制御部１１１は所定の自動運転アルゴリズムに基づき、自動運転車両１を自律走行させる。具体的には自律走行制御部１１１は、センサ１４により検知された各種検知データ、及び無線により外部から収集した各種の情報に基づき、自車および自車周辺の状況を認識する。具体的には、地図データ保持部１２１に保持される静的な３次元マップデータに、収集した動的なオブジェクト情報を重畳してダイナミックマップを生成する。自律走行制御部１１１は、認識した状況を示す各種パラメータを自動運転アルゴリズムに適用して自動運転車両１の行動を決定する。自律走行制御部１１１は決定した行動をもとに、各種のアクチュエータ１５を駆動するための制御信号を生成し、アクチュエータ１５に出力する。
2 makes the
自動運転アルゴリズムは、例えばディープラーニングをもとにした人工知能（ＡＩ:Artificial Intelligence）により生成される。自動運転アルゴリズムの各種パラメータは、事前にハイスペックなコンピュータにより学習された値に初期設定されるとともに、クラウド上のデータセンタからアップデートされた値が適宜、ダウンロードされる。 The automatic driving algorithm is generated, for example, by artificial intelligence (AI) based on deep learning. Various parameters of the automatic driving algorithm are initially set to values learned in advance by a high-spec computer, and updated values are appropriately downloaded from a data center on the cloud.
オブジェクト検出部１１２は、センサ１４により検知された車両周辺の検知データをもとに所定のオブジェクトを検出する。例えば、ＬＩＤＡＲ１４２で検知された車両周辺の検知データと、自車位置の３次元マップデータに登録されている静的な地物情報を比較し、３次元マップデータ内の地物情報と対応しない検知データ内のオブジェクトを、所定のオブジェクトとして検出する。自車位置はＧＰＳセンサ１４５により検知された位置情報により特定できる。
The
またオブジェクト検出部１１２は、可視光カメラ１４１により撮影された画像内から画像認識により所定のオブジェクトを検出してもよい。具体的には、歩行者、自転車などの辞書データをもとに画像内を探索して所定のオブジェクトを検出する。なお、レーダによるオブジェクト検出と、画像認識によるオブジェクト検出を併用してもよい。
Further, the
メタ情報生成部１１３は、オブジェクト検出部１１２により検出されたオブジェクトを、オブジェクトコード管理テーブル１２２ｔを参照してオブジェクトコードに変換する。またメタ情報生成部１１３は、検出されたオブジェクトの大きさ及び位置を特定する。オブジェクトの位置情報は例えば、自律走行制御部１１１により生成されるダイナミックマップ内の当該オブジェクトの位置情報を流用する。位置情報は、絶対的な経度緯度情報で規定されてもよいし、自車位置との差分ベクトルで規定されてもよい。メタ情報生成部１１３は、検出されたオブジェクトの種別を示すオブジェクトコード、当該オブジェクトのサイズ情報、及び当該オブジェクトの位置情報を含むメタ情報を生成する。
The meta
送信データ決定部１１４は、自動運転制御装置１０から遠隔制御装置３０又は運行管理装置４０に送信するデータの種別を決定する。ネットワーク入出力部１３１は、送信データ決定部１１４により選定されたデータを、ネットワーク２を介して遠隔制御装置３０又は運行管理装置４０に送信する。
The transmission
送信データ決定部１１４は原則的に、遠隔制御装置３０に送信するデータとして、自動運転車両１の位置情報、速度情報、送信時刻情報、及びオブジェクトのメタ情報を選定する。送信データ決定部１１４は所定の条件下では、遠隔制御装置３０に送信するデータとして、自動運転車両１の位置情報、速度情報、送信時刻情報、及び可視光カメラ１４１で撮影された映像データを選定する。なお、映像データに加えて、ＬＩＤＡＲ１４２及び／又はミリ波レーダ１４３により検知された検知データも送信するデータに含めてもよい。自動運転車両１の位置情報、速度情報、及び送信時刻情報は、ヘッダ情報として遠隔制御装置３０に常に送信される。
In principle, the transmission
上記所定の条件下とは、遠隔制御装置３０から映像データの送信要求があったとき、又は自動運転車両１の危険度が閾値を超えたときである。危険度は、ＬＤＷ（Lane Departure Warning）、ＦＣＷ（Forward collision warning）、急ハンドル、急ブレーキ、時間帯、場所、天候などの各種パラメータをもとに算出される。また、ディープラーニングをもとにした人工知能により生成された危険予知アルゴリズムに基づき算出されてもよい。
The predetermined condition is when there is a video data transmission request from the
送信データ決定部１１４は、運行管理装置４０に送信するデータとして、自動運転車両１の位置情報、速度情報、及び送信時刻情報を選定する。なお、オブジェクトのメタ情報も運行管理装置４０に送信するデータに含めてもよい。
The transmission
優先順位決定部１１５は、車両周辺に複数のオブジェクトが検出された場合において、当該複数のオブジェクトのメタ情報を送信する順番を決定する。具体的には、複数のオブジェクトの内、重要度が高いオブジェクトから順番にメタ情報を送信する。重要度は基本的に自車からの距離により決定される。自車に近いオブジェクトほど重要度が高くなる。また重要度はオブジェクトの種別によって決定されてもよい。例えば、人→災害→動物→その他、の順に重要度が設定されてもよい。
When a plurality of objects are detected around the vehicle, the
図４は、本発明の実施の形態に係る遠隔制御装置３０の構成を示す図である。遠隔制御装置３０は、少なくとも１台のサーバ又はＰＣにより構築される。遠隔制御装置３０は制御部３１、記憶部３２、入出力部３３、表示部３４、及び操作部３５を備える。表示部３４は液晶ディスプレイ又は有機ＥＬディスプレイを有し、制御部３１により生成された画像を表示する。操作部３５はキーボード、マウス、タッチパネル等の入力装置を有し、ユーザの操作に起因して生成される操作信号を制御部３１に出力する。なお操作部３５には、遠隔運転用のステアリングホイール、アクセルペダル、ブレーキペダル等の模擬的な操縦装置が設けられてもよいが、本実施の形態では必須でない。
FIG. 4 is a diagram showing a configuration of the
入出力部３３は、ネットワーク入出力部３３１、画像信号出力部３３２、及び操作信号入力部３３３を含む。ネットワーク入出力部３３１は、自動運転車両１の自動運転制御装置１０又は運行管理装置４０との通信方式に準拠した通信インタフェースを有する。画像信号出力部３３２は、制御部３１により生成された画像信号を表示部３４に出力する。操作信号入力部３３３は、操作部３５から受け付けた操作信号を制御部３１に入力する。
The input /
制御部３１は、メタ情報変換部３１１、地図画像生成部３１２、映像要求部３１３、及び情報転送部３１４を含む。制御部３１の機能はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。プロセッサとしてＣＰＵ、ＧＰＵ、ＤＳＰ等を利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。
The
記憶部３２は例えばＨＤＤ、ＳＳＤで構成され、地図データ保持部３２１及びピクトグラム保持部３２２を含む。地図データ保持部３２１は、自動運転制御装置１０の地図データ保持部１２１に保持される３次元マップデータ、及び運行管理装置４０の地図データ保持部４２１に保持される３次元マップデータと同期がとれている３次元マップデータを保持する。
The
ピクトグラム保持部３２２は、表示部３４に地図画像に重畳させて表示させるオブジェクトのピクトグラムを保持する。ピクトグラムは、オブジェクトのメタ情報に紐付けられて保持される。なお、ピクトグラムの代わりにアイコンを用いてもよい。
The
図５は、ピクトグラム保持部３２２に保持されるオブジェクト／ピクトグラム対応テーブル３２２ｔの一例を示す。オブジェクト／ピクトグラム対応テーブル３２２ｔは項目として、オブジェクトコード、自車との位置関係、及びピクトグラムを管理する。オブジェクトコード、及び自車との位置関係は、自動運転制御装置１０から送信されるオブジェクトのメタ情報により特定される。
FIG. 5 shows an example of the object / pictogram correspondence table 322 t held in the
図５に示す例では歩行者が４パターンに分類され、自車との距離が近いほど、より大きく、より色が濃いピクトグラムが割り当てられている。自転車は３パターンに分類され、同様に自車との距離が近いほど、より大きく、より色が濃いピクトグラムが割り当てられている。なお１つのオブジェクトを自車との距離に応じて、複数のパターンに分類することは必須ではなく、１つのオブジェクトに対して１つのピクトグラムを固定的に割り当ててもよい。 In the example shown in FIG. 5, pedestrians are classified into four patterns, and a pictogram having a larger and darker color is assigned as the distance from the own vehicle is shorter. Bicycles are classified into three patterns. Similarly, the closer the distance to the vehicle, the larger and darker the pictograms are assigned. Note that it is not essential to classify one object into a plurality of patterns according to the distance from the host vehicle, and one pictogram may be fixedly assigned to one object.
図４のメタ情報変換部３１１は、自動運転制御装置１０からネットワーク２を介して受信したオブジェクトのメタ情報を、オブジェクト／ピクトグラム対応テーブル３２２ｔを参照して、該当するピクトグラムに変換する。地図画像生成部３１２は、自動運転制御装置１０から受信した自動運転車両１の位置情報により特定される地点の地図データを、地図データ保持部３２１から読み出して地図画像を生成する。地図画像生成部３１２は当該地図画像上に当該ピクトグラムを、当該オブジェクトのメタ情報に含まれる位置情報により特定される位置に重畳する。地図画像生成部３１２は、ピクトグラムが重畳された地図画像を表示部３４に表示させる。
The meta
映像要求部３１３は、表示部３４に表示された地図画像を見ている監視者により操作部３５に対して映像要求操作がなされたとき、映像要求信号を生成する。当該映像要求信号はネットワーク２を介して、遠隔監視中の自動運転車両１の自動運転制御装置１０に送信される。
The
図６（ａ）、（ｂ）は、自動運転車両１の可視光カメラ１４１で撮影された映像１４１ａと、遠隔制御装置３０の表示部３４に表示される地図画像３４ａの一例を示す図である。図６（ａ）は、可視光カメラ１４１で撮影された実写映像１４１ａを示しており、実写映像１４１ａ内において、道路を横断している歩行者のオブジェクトＯ１、前方の自転車のオブジェクトＯ２が検出された状態を示している。歩行者のオブジェクトＯ１のメタ情報、及び自転車のオブジェクトＯ２のメタ情報が遠隔制御装置３０に送信される。なお、歩行者のオブジェクトＯ１の方が自車に近いため、歩行者のオブジェクトＯ１のメタ情報の方が先に送信される。
FIGS. 6A and 6B are diagrams illustrating an example of a
図６（ｂ）は、図６（ａ）の実写映像１４１ａに対応する、遠隔制御装置３０の表示部３４に表示される地図画像３４ａを示している。地図画像３４ａ内に、歩行者のピクトグラムＰ１と自転車のピクトグラムＰ２が、それぞれ対応する位置に表示される。
FIG. 6B shows a
図７は、本発明の実施の形態に係る遠隔型自動運転システムの動作例１を示すフローチャートである。自動運転制御装置１０は、センサ１４により検知された検知データを取得する（Ｓ１０）。自動運転制御装置１０は、ＧＰＳセンサ１４５により検知された自車の位置情報をネットワーク２を介して遠隔制御装置３０に送信する（Ｓ１１）。遠隔制御装置３０は、ネットワーク２を介して自動運転車両１の位置情報を受信する（Ｓ３０）。遠隔制御装置３０は、自動運転車両１が現在位置する地点の地図画像を表示部３４に表示させる（Ｓ３１）。
FIG. 7 is a flowchart showing an operation example 1 of the remote automatic driving system according to the embodiment of the present invention. The automatic
自動運転制御装置１０は、センサ１４により検知された検知データをもとに自車周辺のオブジェクトを検出する（Ｓ１２）。自動運転制御装置１０は、検出したオブジェクトのメタ情報を遠隔制御装置３０に送信する（Ｓ１３）。遠隔制御装置３０は、自動運転制御装置１０からオブジェクトのメタ情報を受信し（Ｓ３２）、受信したオブジェクトのメタ情報をもとに当該オブジェクトのピクトグラムを地図画像に重畳して表示する（Ｓ３３）。
The automatic
表示部３４に表示されている地図画像を見ている監視者が行った映像要求操作を受け付けると（Ｓ３４のＹ）、遠隔制御装置３０は映像要求信号を自動運転制御装置１０に送信する（Ｓ３５）。自動運転制御装置１０は当該映像要求信号を受信すると（Ｓ１４）、可視光カメラ１４１により生成された映像データを遠隔制御装置３０に送信する（Ｓ１５）。遠隔制御装置３０は、自動運転制御装置１０から映像データを受信し（Ｓ３６）、表示部３４の表示されている画像を、地図画像から実写映像に切り替える（Ｓ３７）。
When receiving a video request operation performed by a monitor watching the map image displayed on the display unit 34 (Y in S34), the
図８は、本発明の実施の形態に係る運行管理装置４０の構成を示す図である。運行管理装置４０は少なくとも１台のサーバ又はＰＣで構築される。運行管理装置４０は制御部４１、記憶部４２、及びネットワーク入出力部４３を備える。ネットワーク入出力部４３は、自動運転制御装置１０又は遠隔制御装置３０との通信方式に準拠した通信インタフェースを有する。
FIG. 8 is a diagram showing a configuration of the
制御部４１は車両／遠隔制御装置関連付部４１１、車両位置管理部４１２、転送指示部４１３、及び整合性確認部４１４を含む。制御部４１の機能は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。プロセッサとしてＣＰＵ、ＧＰＵ、ＤＳＰ等を利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。
The
記憶部４２は例えばＨＤＤ、ＳＳＤで構成され、地図データ保持部４２１、自動運転車両情報保持部４２２、及び遠隔制御装置情報保持部４２３を含む。地図データ保持部４２１は、自動運転制御装置１０の地図データ保持部１２１に保持される３次元マップデータ、及び遠隔制御装置３０の地図データ保持部３２１に保持される３次元マップデータと同期がとれている３次元マップデータを保持する。
The
自動運転車両情報保持部４２２は、本遠隔型自動運転システムに登録されている自動運転車両１の識別情報、搭載されている自動運転制御装置１０の接続先情報を含む車両情報を保持する。遠隔制御装置情報保持部４２３は、本遠隔型自動運転システムに登録されている遠隔制御装置３０の識別情報、接続先情報を含む端末情報を保持する。
The automatic driving vehicle
車両／遠隔制御装置関連付部４１１は、遠隔制御装置３０と、当該遠隔制御装置３０により遠隔制御される自動運転車両１との関連付けを管理する。具体的には、遠隔制御装置３０から遠隔制御開始時に遠隔制御装置３０の識別情報と、遠隔制御対象の自動運転車両１の識別情報を受信し、当該識別情報の組を管理テーブルに登録する。遠隔制御終了時に遠隔制御装置３０から終了通知を受けると、当該管理テーブルから当該遠隔制御装置３０の識別情報と、対応する自動運転車両１の識別情報の組を削除する。
The vehicle / remote control
車両位置管理部４１２は、各自動運転車両１の自動運転制御装置１０から送信された各自動運転車両１の位置情報を取得し、車両位置管理テーブルに登録する。転送指示部４１３は、ある自動運転車両１の遠隔制御装置３０に対して、当該自動運転車両１から受信したオブジェクトのメタ情報を、当該自動運転車両１の近傍に位置する別の自動運転車両１の遠隔制御装置３０に転送するよう指示する。この指示には、転送先の遠隔制御装置３０の接続先情報（例えば、ＩＰアドレス）が含まれる。
The vehicle
メタ情報が転送される対象候補となる自動運転車両１は、転送元の自動運転車両１から所定の距離の範囲内に位置する自動運転車両１である。転送指示部４１３は、転送元の自動運転車両１から所定の距離の範囲内に位置する自動運転車両１の内、転送元の自動運転車両１の後続に位置する自動運転車両１の遠隔制御装置３０に対してのみ、メタ情報を転送するよう指示してもよい。
The
メタ情報の転送指示を受けた遠隔制御装置３０の情報転送部３１４は、オブジェクトのメタ情報を、運行管理装置４０から指定された遠隔制御装置３０に転送する。転送先の遠隔制御装置３０のメタ情報変換部３１１は、転送元の遠隔制御装置３０から受信したオブジェクトのメタ情報をピクトグラムに変換し、地図画像生成部３１２は当該ピクトグラムを地図画像上に重畳する。なお、地図画像上の略同じ位置に同じオブジェクトのピクトグラムが既に存在する場合は、新たに重畳する必要はない。
Upon receiving the meta information transfer instruction, the
図９は、本発明の実施の形態に係る遠隔型自動運転システムの動作例２を示すフローチャートである。自動運転制御装置１０は、センサ１４により検知された検知データを取得する（Ｓ１０）。自動運転制御装置１０は、ＧＰＳセンサ１４５により検知された自車の位置情報をネットワーク２を介して遠隔制御装置３０及び運行管理装置４０に送信する（Ｓ１１）。遠隔制御装置３０は、ネットワーク２を介して自動運転車両１の位置情報を受信する（Ｓ３０）。遠隔制御装置３０は、自動運転車両１が現在位置する地点の地図画像を表示部３４に表示させる（Ｓ３１）。
FIG. 9 is a flowchart showing an operation example 2 of the remote automatic driving system according to the embodiment of the present invention. The automatic
自動運転制御装置１０は、センサ１４により検知された検知データをもとに自車周辺のオブジェクトを検出する（Ｓ１２）。自動運転制御装置１０は、検出したオブジェクトのメタ情報を遠隔制御装置３０に送信する（Ｓ１３）。遠隔制御装置３０は、自動運転制御装置１０からオブジェクトのメタ情報を受信し（Ｓ３２）、受信したオブジェクトのメタ情報をもとに当該オブジェクトのピクトグラムを地図画像に重畳して表示する（Ｓ３３）。
The automatic
運行管理装置４０は、ネットワーク２を介して自動運転車両１の位置情報を受信する（Ｓ４０）。運行管理装置４０は、当該自動運転車両１から所定の距離の範囲内において後続に位置する自動運転車両１を、車両位置管理テーブルを参照して特定する（Ｓ４１）。運行管理装置４０は、特定した後続車両の遠隔制御装置３０に、オブジェクトのメタ情報を転送するよう指示する指示信号を、対象となる自動運転車両１の遠隔制御装置３０に送信する（Ｓ４２）。遠隔制御装置３０は、当該転送指示信号を受信すると（Ｓ３８）、オブジェクトのメタ情報を後続車両の遠隔制御装置３０に送信する（Ｓ３９）。
The
図９に示す動作例２において、運行管理装置４０が対象となる自動運転車両１から位置情報に加えて、オブジェクトのメタ情報も受信し、特定した後続車両の遠隔制御装置３０に、受信したオブジェクトのメタ情報を転送してもよい。また、運行管理装置４０は自動運転制御装置１０に、特定した後続車両の遠隔制御装置３０に、オブジェクトのメタ情報を同報送信するよう指示してもよい。
In the operation example 2 shown in FIG. 9, the
以上説明したように本実施の形態によれば、自動運転車両１から遠隔制御装置３０に送信する必要がある情報をメタ情報で送信することにより、通信量を大幅に削減することができる。遠隔制御装置３０の表示部３４にはオブジェクトがピクトグラムで表示されるため、監視者はオブジェクトの存在を直感的に瞬時に把握することができ、安全性を確保することができる。
As described above, according to the present embodiment, the amount of communication can be greatly reduced by transmitting information that needs to be transmitted from the
また必要に応じて映像データに切り替えることにより、安全性をさらに担保することができる。また他の自動運転車両１（例えば、先行する自動運転車両１）で検知されたオブジェクトのメタ情報が転送されてきた場合、監視対象の自動運転車両１の現在位置から検知できないオブジェクトの情報も取得することができる。例えば、縦列する車両群の先頭の状況も予め把握することができる。
Further, safety can be further ensured by switching to video data as necessary. In addition, when meta information of an object detected by another autonomous driving vehicle 1 (for example, the preceding autonomous driving vehicle 1) is transferred, information on an object that cannot be detected from the current position of the monitored
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on the embodiments. The embodiments are exemplifications, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are within the scope of the present invention. .
運行管理装置４０の整合性確認部４１４は、近接する複数の自動運転車両１のオブジェクトのメタ情報間の整合性を確認することができる。例えば、近接する複数の自動運転車両１間において、歩道や路肩に位置するオブジェクトは、略同じ位置に検出されるはずである。近接する複数の自動運転車両１間において、ある自動運転車両１で検出されているオブジェクトが、別の自動運転車両１で検出されていない場合、別の自動運転車両１のセンサ１４に不具合が発生している可能性がある。
The
整合性確認部４１４は、当該別の自動運転車両１の自動運転制御装置１０及び／又は遠隔制御装置３０に、センサの異常を知らせるアラート信号を通知する。自動運転制御装置１０は当該アラート信号を受信すると、センサ１４の状態を点検する。レーダの出射口に虫が止まっていた、一時的に強い逆光を受けていた、等の一時的な要因の場合、その要因が解消した時点でセンサ１４は正常状態に復帰している。センサ１４自体に異常が発生している場合、路肩に停止させてサービスカーの到着を待つ。
The
上述の実施の形態では、他の自動運転車両１の遠隔制御装置３０からオブジェクトのメタ情報の転送を受ける例を説明した。この点、信号機などの路側機にセンサと通信機能が搭載されている場合、近隣の路側機からオブジェクトのメタ情報を受信することができる。運行管理装置４０は当該路側機に、転送先の遠隔制御装置３０の接続先情報を含むメタ情報の送信指示信号を送信し、当該路側機が指定された遠隔制御装置３０に、オブジェクトのメタ情報を送信する。
In the above-described embodiment, the example in which the meta information of the object is received from the
なお、実施の形態は、以下の項目によって特定されてもよい。 The embodiment may be specified by the following items.
［項目１］
自動運転車両（１）の周辺状況を示す検知データを、前記自動運転車両（１）に設置されている検知装置（１４）から取得する検知データ入力部（１３２）と、
前記検知データ入力部（１３２）により取得された検知データをもとに特定されたオブジェクトの種別情報と位置情報を含むメタ情報を、ネットワーク（２）を介して前記自動運転車両（１）を監視している遠隔制御装置（３０）に送信する通信部（１３１）と、
を備えることを特徴とする自動運転制御装置（１０）。
これによれば、遠隔制御装置（３０）に送信するデータ量を削減することができる。
［項目２］
前記検知装置（１４）には撮像装置（１４１）が含まれ、
前記通信部（１３１）は、前記自動運転車両（１）の危険度が閾値を超えるとき、又は前記遠隔制御装置（３０）から要求があったとき、前記撮像装置（１４１）から取得された画像データを前記遠隔制御装置（３０）に送信することを特徴とする項目１に記載の自動運転制御装置（１０）。
これによれば、必要に応じて送信するデータを、メタ情報から映像データに切り替えることにより、安全性を担保することができる。
［項目３］
前記通信部（１３１）は、前記自動運転車両（１）の周辺に複数のオブジェクトが検知された場合、危険度の高いオブジェクトのメタ情報を優先的に送信することを特徴とする項目１または２に記載の自動運転制御装置（１０）。
これによれば、危険度が高いオブジェクトほど、遠隔制御装置（３０）に先に通知することができ、安全性が向上する。
［項目４］
自動運転車両（１）の周辺状況を示す検知データを、前記自動運転車両（１）に設置されている検知装置（１４）から取得するステップと、
取得された検知データをもとに特定されたオブジェクトの種別情報と位置情報を含むメタ情報を、ネットワーク（２）を介して前記自動運転車両（１）を監視している遠隔制御装置（３０）に送信するステップと、
を有することを特徴とする自動運転制御方法。
これによれば、遠隔制御装置（３０）に送信するデータ量を削減することができる。
［項目５］
自動運転車両（１）の周辺状況を示す検知データを、前記自動運転車両（１）に設置されている検知装置（１４）から取得する処理と、
取得された検知データをもとに特定されたオブジェクトの種別情報と位置情報を含むメタ情報を、ネットワーク（２）を介して前記自動運転車両（１）を監視している遠隔制御装置（３０）に送信する処理と、
をコンピュータに実行させることを特徴とする自動運転制御プログラム。
これによれば、遠隔制御装置（３０）に送信するデータ量を削減することができる。
［項目６］
自動運転車両（１）の周辺状況を示す検知データを、前記自動運転車両（１）に設置されている検知装置（１４）から取得する検知データ入力部（１３２）と、
前記検知データ入力部（１３２）により取得された検知データをもとに特定されたオブジェクトの種別情報と位置情報を含むメタ情報を、ネットワーク（２）を介して前記自動運転車両（１）を監視している遠隔制御装置（３０）に送信する通信部（１３１）と、
を備えることを特徴とする自動運転車両（１）。
これによれば、遠隔制御装置（３０）に送信するデータ量を削減することができる。
［項目７］
自動運転車両（１）からネットワーク（２）を介して、当該自動運転車両（１）の周辺で検知されたオブジェクトのメタ情報を受信する通信部（３３１）と、
受信されたオブジェクトのメタ情報、及び前記自動運転車両（１）が位置する周辺の地図情報をもとに生成された、前記オブジェクトを含む前記自動運転車両（１）の周辺の地図画像を表示する表示部（３４）と、
を備えることを特徴とする遠隔制御装置（３０）。
これによれば、少ないデータ量で、十分な監視画面を生成することができる。
［項目８］
前記表示部（３４）は、前記オブジェクトのメタ情報に含まれる位置情報により特定される前記地図画像内の位置に、前記オブジェクトのメタ情報に関連付けられているピクトグラム又はアイコンを表示させることを特徴とする項目７に記載の遠隔制御装置（３０）。
これによれば、監視者がオブジェクトを直感的に瞬時に把握することができる。
［項目９］
前記表示部（３４）は、前記自動運転車両（１）の周辺の別の自動運転車両（１）の検知装置（１４）により検知されたオブジェクトのメタ情報をもとに生成されたオブジェクトを、前記地図画像に含めて表示することを特徴とする項目７または８に記載の遠隔制御装置（３０）。
これによれば、より離れた位置のオブジェクトも監視画面に表示させることができ、安全性が向上する。
［項目１０］
前記表示部（３４）に表示された前記自動運転車両（１）を監視している監視者の操作に基づく操作信号を受け付ける操作信号入力部をさらに備え、
前記操作信号入力部（３３３）において、前記自動運転車両（１）の撮像装置（１４１）で撮影されている映像データの送信要求操作を受け付けたとき、前記通信部（３３１）は、前記ネットワーク（２）を介して前記自動運転車両（１）に、映像データの送信を要求する信号を送信することを特徴とする項目７から９のいずれかに記載の遠隔制御装置（３０）。
これによれば、必要に応じて実写映像に切り替えることができ、安全性が向上する。
［項目１１］
自動運転車両（１）からネットワーク（２）を介して、当該自動運転車両（１）の周辺で検知されたオブジェクトのメタ情報を受信するステップと、
受信されたオブジェクトのメタ情報、及び前記自動運転車両（１）が位置する周辺の地図情報をもとに生成された、前記オブジェクトを含む前記自動運転車両（１）の周辺の地図画像を表示するステップと、
を有することを特徴とする遠隔制御方法。
［項目１２］
自動運転車両（１）からネットワーク（２）を介して、当該自動運転車両（１）の周辺で検知されたオブジェクトのメタ情報を受信する処理と、
受信されたオブジェクトのメタ情報、及び前記自動運転車両（１）が位置する周辺の地図情報をもとに生成された、前記オブジェクトを含む前記自動運転車両（１）の周辺の地図画像を表示する処理と、
をコンピュータに実行させることを特徴とする遠隔制御プログラム。
これによれば、少ないデータ量で、十分な監視画面を生成することができる。
[Item 1]
A detection data input unit (132) for acquiring detection data indicating a surrounding situation of the automatic driving vehicle (1) from a detection device (14) installed in the automatic driving vehicle (1);
The automatic driving vehicle (1) is monitored via the network (2) for the meta information including the type information and position information of the object specified based on the detection data acquired by the detection data input unit (132). A communication unit (131) for transmitting to the remote control device (30)
An automatic operation control device (10) comprising:
According to this, the amount of data transmitted to the remote control device (30) can be reduced.
[Item 2]
The detection device (14) includes an imaging device (141),
The communication unit (131) acquires an image acquired from the imaging device (141) when the risk level of the autonomous driving vehicle (1) exceeds a threshold value or when a request is made from the remote control device (30). The automatic operation control device (10) according to
According to this, safety can be ensured by switching data to be transmitted from meta information to video data as necessary.
[Item 3]
According to this, an object with a higher risk can be notified to the remote control device (30) first, and safety is improved.
[Item 4]
Obtaining detection data indicating a surrounding situation of the autonomous driving vehicle (1) from the detection device (14) installed in the autonomous driving vehicle (1);
A remote control device (30) for monitoring the autonomous driving vehicle (1) via the network (2) for meta information including the type information and position information of the object specified based on the acquired detection data Sending to
An automatic operation control method characterized by comprising:
According to this, the amount of data transmitted to the remote control device (30) can be reduced.
[Item 5]
A process of acquiring detection data indicating a surrounding situation of the automatic driving vehicle (1) from the detection device (14) installed in the automatic driving vehicle (1);
A remote control device (30) for monitoring the autonomous driving vehicle (1) via the network (2) for meta information including the type information and position information of the object specified based on the acquired detection data Processing to send to
An automatic operation control program for causing a computer to execute.
According to this, the amount of data transmitted to the remote control device (30) can be reduced.
[Item 6]
A detection data input unit (132) for acquiring detection data indicating a surrounding situation of the automatic driving vehicle (1) from a detection device (14) installed in the automatic driving vehicle (1);
The automatic driving vehicle (1) is monitored via the network (2) for the meta information including the type information and position information of the object specified based on the detection data acquired by the detection data input unit (132). A communication unit (131) for transmitting to the remote control device (30)
An autonomous driving vehicle (1) comprising:
According to this, the amount of data transmitted to the remote control device (30) can be reduced.
[Item 7]
A communication unit (331) for receiving meta information of an object detected around the autonomous driving vehicle (1) from the autonomous driving vehicle (1) via the network (2);
A map image around the autonomous driving vehicle (1) including the object is generated based on the received meta information of the object and map information around the location where the autonomous driving vehicle (1) is located. A display (34);
A remote control device (30) comprising:
According to this, it is possible to generate a sufficient monitoring screen with a small amount of data.
[Item 8]
The display unit (34) displays a pictogram or an icon associated with the meta information of the object at a position in the map image specified by the position information included in the meta information of the object. The remote control device (30) according to item 7, wherein:
According to this, the monitor can grasp the object intuitively and instantaneously.
[Item 9]
The display unit (34) displays an object generated based on the meta information of the object detected by the detection device (14) of another autonomous driving vehicle (1) around the autonomous driving vehicle (1). The remote control device (30) according to item 7 or 8, wherein the remote control device (30) is displayed by being included in the map image.
According to this, an object at a more distant position can be displayed on the monitoring screen, and safety is improved.
[Item 10]
An operation signal input unit for receiving an operation signal based on an operation of a supervisor who is monitoring the autonomous driving vehicle (1) displayed on the display unit (34);
When the operation signal input unit (333) receives a transmission request operation for video data captured by the imaging device (141) of the autonomous driving vehicle (1), the communication unit (331) 10. The remote control device (30) according to any one of items 7 to 9, wherein a signal requesting transmission of video data is transmitted to the autonomous driving vehicle (1) via 2).
According to this, it is possible to switch to a live-action image as necessary, and safety is improved.
[Item 11]
Receiving meta information of objects detected around the autonomous driving vehicle (1) from the autonomous driving vehicle (1) via the network (2);
A map image around the autonomous driving vehicle (1) including the object is generated based on the received meta information of the object and map information around the location where the autonomous driving vehicle (1) is located. Steps,
A remote control method comprising:
[Item 12]
A process of receiving meta information of objects detected around the autonomous driving vehicle (1) from the autonomous driving vehicle (1) via the network (2);
A map image around the autonomous driving vehicle (1) including the object is generated based on the received meta information of the object and map information around the location where the autonomous driving vehicle (1) is located. Processing,
A remote control program for causing a computer to execute.
According to this, it is possible to generate a sufficient monitoring screen with a small amount of data.
１ 自動運転車両、 ２ ネットワーク、 １０ 自動運転制御装置、 １１ 制御部、 １２ 記憶部、 １３ 入出力部、 １４ センサ、 １５ アクチュエータ、 ３０ 遠隔制御装置、 ３１ 制御部、 ３２ 記憶部、 ３３ 入出力部、 ３４ 表示部、 ３５ 操作部、 ４０ 運行管理装置、 ４１ 制御部、 ４２ 記憶部、 ４３ ネットワーク入出力部、 １１１ 自律走行制御部、 １１２ オブジェクト検出部、 １１３ メタ情報生成部、 １１４ 送信データ決定部、 １１５ 優先順位決定部、 １２１ 地図データ保持部、 １２２ オブジェクトコード保持部、 １３１ ネットワーク入出力部、 １３２ 検知データ入力部、 １３３ 制御信号出力部、 １４１ 可視光カメラ、 １４２ ＬＩＤＡＲ、 １４３ ミリ波レーダ、 １４４ 車速センサ、 １４５ ＧＰＳセンサ、 ３１１ メタ情報変換部、 ３１２ 地図画像生成部、 ３１３ 映像要求部、 ３１４ 情報転送部、 ３２１ 地図データ保持部、 ３２２ ピクトグラム保持部、 ３３１ ネットワーク入出力部、 ３３２ 画像信号出力部、 ３３３ 操作信号入力部、 ４１１ 車両／遠隔制御装置関連付部、 ４１２ 車両位置管理部、 ４１３ 転送指示部、 ４１４ 整合性確認部、 ４２１ 地図データ保持部、 ４２２ 自動運転車両情報保持部、 ４２３ 遠隔制御装置情報保持部。 DESCRIPTION OF SYMBOLS 1 Auto-driving vehicle, 2 Network, 10 Automatic driving control apparatus, 11 Control part, 12 Storage part, 13 Input / output part, 14 Sensor, 15 Actuator, 30 Remote control device, 31 Control part, 32 Storage part, 33 Input / output part , 34 display unit, 35 operation unit, 40 operation management device, 41 control unit, 42 storage unit, 43 network input / output unit, 111 autonomous travel control unit, 112 object detection unit, 113 meta information generation unit, 114 transmission data determination unit 115 priority determination unit, 121 map data holding unit, 122 object code holding unit, 131 network input / output unit, 132 detection data input unit, 133 control signal output unit, 141 visible light camera, 142 LIDAR, 143 millimeter wave radar, 144 Speed sensor, 145 GPS sensor, 311 meta information conversion unit, 312 map image generation unit, 313 video request unit, 314 information transfer unit, 321 map data holding unit, 322 pictogram holding unit, 331 network input / output unit, 332 image signal output , 333 operation signal input unit, 411 vehicle / remote control device association unit, 412 vehicle position management unit, 413 transfer instruction unit, 414 consistency check unit, 421 map data holding unit, 422 autonomous driving vehicle information holding unit, 423 Remote control device information holding unit.
Claims (12)
前記検知データ入力部により取得された検知データをもとに特定されたオブジェクトの種別情報と位置情報を含むメタ情報を、ネットワークを介して前記自動運転車両を監視している遠隔制御装置に送信する通信部と、
を備えることを特徴とする自動運転制御装置。 A detection data input unit for acquiring detection data indicating a surrounding situation of the autonomous driving vehicle from a detection device installed in the autonomous driving vehicle;
The meta information including the type information and the position information of the object specified based on the detection data acquired by the detection data input unit is transmitted to the remote control device monitoring the autonomous driving vehicle via the network. A communication department;
An automatic operation control device comprising:
前記通信部は、前記自動運転車両の危険度が閾値を超えるとき、又は前記遠隔制御装置から要求があったとき、前記撮像装置から取得された画像データを前記遠隔制御装置に送信することを特徴とする請求項１に記載の自動運転制御装置。 The detection device includes an imaging device,
The communication unit transmits image data acquired from the imaging device to the remote control device when a risk level of the autonomous driving vehicle exceeds a threshold value or when a request is made from the remote control device. The automatic operation control device according to claim 1.
取得された検知データをもとに特定されたオブジェクトの種別情報と位置情報を含むメタ情報を、ネットワークを介して前記自動運転車両を監視している遠隔制御装置に送信するステップと、
を有することを特徴とする自動運転制御方法。 Obtaining detection data indicating a surrounding situation of the autonomous driving vehicle from a detection device installed in the autonomous driving vehicle;
Transmitting meta information including type information and position information of an object identified based on the acquired detection data to a remote control device that monitors the autonomous driving vehicle via a network;
An automatic operation control method characterized by comprising:
取得された検知データをもとに特定されたオブジェクトの種別情報と位置情報を含むメタ情報を、ネットワークを介して前記自動運転車両を監視している遠隔制御装置に送信する処理と、
をコンピュータに実行させることを特徴とする自動運転制御プログラム。 Processing for obtaining detection data indicating the surrounding situation of the autonomous driving vehicle from a detection device installed in the autonomous driving vehicle;
Processing for transmitting meta information including type information and position information of an object identified based on the acquired detection data to a remote control device that monitors the autonomous driving vehicle via a network;
An automatic operation control program for causing a computer to execute.
前記検知データ入力部により取得された検知データをもとに特定されたオブジェクトの種別情報と位置情報を含むメタ情報を、ネットワークを介して前記自動運転車両を監視している遠隔制御装置に送信する通信部と、
を備えることを特徴とする自動運転車両。 A detection data input unit for acquiring detection data indicating a surrounding situation of the autonomous driving vehicle from a detection device installed in the autonomous driving vehicle;
The meta information including the type information and the position information of the object specified based on the detection data acquired by the detection data input unit is transmitted to the remote control device monitoring the autonomous driving vehicle via the network. A communication department;
An automatic driving vehicle comprising:
受信されたオブジェクトのメタ情報、及び前記自動運転車両が位置する周辺の地図情報をもとに生成された、前記オブジェクトを含む前記自動運転車両の周辺の地図画像を表示する表示部と、
を備えることを特徴とする遠隔制御装置。 A communication unit that receives meta information of an object detected around the autonomous driving vehicle from the autonomous driving vehicle via a network;
A display unit for displaying a map image of the periphery of the autonomous driving vehicle including the object, generated based on the received meta information of the object and the map information of the surrounding area where the autonomous driving vehicle is located;
A remote control device comprising:
前記操作信号入力部において、前記自動運転車両の撮像装置で撮影されている映像データの送信要求操作を受け付けたとき、前記通信部は、前記ネットワークを介して前記自動運転車両に、映像データの送信を要求する信号を送信することを特徴とする請求項７から９のいずれかに記載の遠隔制御装置。 An operation signal input unit that receives an operation signal based on an operation of a supervisor who is monitoring the autonomous driving vehicle displayed on the display unit;
When the operation signal input unit receives an operation for requesting transmission of video data captured by the imaging device of the autonomous driving vehicle, the communication unit transmits video data to the autonomous driving vehicle via the network. 10. The remote control device according to claim 7, wherein a signal for requesting the transmission is transmitted.
受信されたオブジェクトのメタ情報、及び前記自動運転車両が位置する周辺の地図情報をもとに生成された、前記オブジェクトを含む前記自動運転車両の周辺の地図画像を表示するステップと、
を有することを特徴とする遠隔制御方法。 Receiving meta information of objects detected around the autonomous driving vehicle from the autonomous driving vehicle via a network;
Displaying a map image of the periphery of the autonomous driving vehicle including the object, generated based on the received meta information of the object and map information of the surrounding area where the autonomous driving vehicle is located;
A remote control method comprising:
受信されたオブジェクトのメタ情報、及び前記自動運転車両が位置する周辺の地図情報をもとに生成された、前記オブジェクトを含む前記自動運転車両の周辺の地図画像を表示する処理と、
をコンピュータに実行させることを特徴とする遠隔制御プログラム。 A process of receiving meta information of objects detected around the autonomous driving vehicle from the autonomous driving vehicle via a network;
Processing for displaying a map image around the autonomous driving vehicle including the object, generated based on the received meta information of the object and map information around the autonomous driving vehicle;
A remote control program for causing a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017037436A JP2018142921A (en) | 2017-02-28 | 2017-02-28 | Automatic drive control device, automatic drive control method, automatic drive control program, automatic driving vehicle, remote control device, remote control method, and remote control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017037436A JP2018142921A (en) | 2017-02-28 | 2017-02-28 | Automatic drive control device, automatic drive control method, automatic drive control program, automatic driving vehicle, remote control device, remote control method, and remote control program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018142921A true JP2018142921A (en) | 2018-09-13 |
Family
ID=63528395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017037436A Pending JP2018142921A (en) | 2017-02-28 | 2017-02-28 | Automatic drive control device, automatic drive control method, automatic drive control program, automatic driving vehicle, remote control device, remote control method, and remote control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018142921A (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019164812A (en) * | 2019-04-26 | 2019-09-26 | 本田技研工業株式会社 | Vehicle control system and method, and travel support server |
| CN111508274A (en) * | 2020-03-17 | 2020-08-07 | 东软集团股份有限公司 | Collision early warning method, device and equipment |
| JP2020167551A (en) * | 2019-03-29 | 2020-10-08 | 本田技研工業株式会社 | Control device, control method, and program |
| JPWO2020225697A1 (en) * | 2019-05-06 | 2020-11-12 | ||
| CN112037553A (en) * | 2020-08-31 | 2020-12-04 | 腾讯科技（深圳）有限公司 | Remote driving method, device, system, equipment and medium |
| US10921814B2 (en) | 2017-06-02 | 2021-02-16 | Honda Motor Co., Ltd. | Vehicle control system and method, and travel assist server |
| JPWO2021070214A1 (en) * | 2019-10-07 | 2021-04-15 | ||
| JP2021064118A (en) * | 2019-10-11 | 2021-04-22 | トヨタ自動車株式会社 | Remote autonomous vehicle and vehicle remote command system |
| CN112937521A (en) * | 2021-04-13 | 2021-06-11 | 广州小马慧行科技有限公司 | Remote control method for autonomous vehicle and control method for autonomous vehicle |
| CN113467324A (en) * | 2021-07-22 | 2021-10-01 | 东风悦享科技有限公司 | Adaptive 5G network cell switching parallel driving system and method |
| JP2022552690A (en) * | 2019-10-18 | 2022-12-19 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | A method for providing object messages regarding objects detected in the vicinity of a road user in a communication network for communicating with other road users |
| DE102022123136A1 (en) | 2021-09-23 | 2023-03-23 | Subaru Corporation | VEHICLE RIDE CONTROL SYSTEM |
-
2017
- 2017-02-28 JP JP2017037436A patent/JP2018142921A/en active Pending
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10921814B2 (en) | 2017-06-02 | 2021-02-16 | Honda Motor Co., Ltd. | Vehicle control system and method, and travel assist server |
| JP7256668B2 (en) | 2019-03-29 | 2023-04-12 | 本田技研工業株式会社 | Control device, control method and program |
| JP2020167551A (en) * | 2019-03-29 | 2020-10-08 | 本田技研工業株式会社 | Control device, control method, and program |
| CN111752267A (en) * | 2019-03-29 | 2020-10-09 | 本田技研工业株式会社 | Control device, control method, and storage medium |
| US11733694B2 (en) | 2019-03-29 | 2023-08-22 | Honda Motor Co., Ltd. | Control apparatus, control method, and storage medium |
| JP2019164812A (en) * | 2019-04-26 | 2019-09-26 | 本田技研工業株式会社 | Vehicle control system and method, and travel support server |
| JP7419359B2 (en) | 2019-05-06 | 2024-01-22 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | Abnormality diagnosis device |
| JPWO2020225697A1 (en) * | 2019-05-06 | 2020-11-12 | ||
| JPWO2021070214A1 (en) * | 2019-10-07 | 2021-04-15 | ||
| WO2021070214A1 (en) * | 2019-10-07 | 2021-04-15 | 日本電気株式会社 | Transmission method, transmission system, and system control device |
| JP7505500B2 (en) | 2019-10-07 | 2024-06-25 | 日本電気株式会社 | TRANSMISSION METHOD, TRANSMISSION SYSTEM, AND SYSTEM CONTROL DEVICE |
| JP2021064118A (en) * | 2019-10-11 | 2021-04-22 | トヨタ自動車株式会社 | Remote autonomous vehicle and vehicle remote command system |
| JP7310524B2 (en) | 2019-10-11 | 2023-07-19 | トヨタ自動車株式会社 | Remote self-driving vehicle and vehicle remote command system |
| JP7446419B2 (en) | 2019-10-18 | 2024-03-08 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | Method for providing object messages regarding objects detected in the vicinity of a road user in a communication network for communicating with other road users |
| JP2022552690A (en) * | 2019-10-18 | 2022-12-19 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | A method for providing object messages regarding objects detected in the vicinity of a road user in a communication network for communicating with other road users |
| CN111508274A (en) * | 2020-03-17 | 2020-08-07 | 东软集团股份有限公司 | Collision early warning method, device and equipment |
| CN112037553A (en) * | 2020-08-31 | 2020-12-04 | 腾讯科技（深圳）有限公司 | Remote driving method, device, system, equipment and medium |
| CN112037553B (en) * | 2020-08-31 | 2023-09-08 | 腾讯科技（深圳）有限公司 | Remote driving method, device, system, equipment and medium |
| WO2022042098A1 (en) * | 2020-08-31 | 2022-03-03 | 腾讯科技（深圳）有限公司 | Remote driving method, apparatus, and system, device, and medium |
| CN112937521A (en) * | 2021-04-13 | 2021-06-11 | 广州小马慧行科技有限公司 | Remote control method for autonomous vehicle and control method for autonomous vehicle |
| CN113467324B (en) * | 2021-07-22 | 2023-12-05 | 东风悦享科技有限公司 | Adaptive 5G network cell switching parallel driving system and method |
| CN113467324A (en) * | 2021-07-22 | 2021-10-01 | 东风悦享科技有限公司 | Adaptive 5G network cell switching parallel driving system and method |
| DE102022123136A1 (en) | 2021-09-23 | 2023-03-23 | Subaru Corporation | VEHICLE RIDE CONTROL SYSTEM |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2018142921A (en) | Automatic drive control device, automatic drive control method, automatic drive control program, automatic driving vehicle, remote control device, remote control method, and remote control program | |
| US10203699B1 (en) | Selective remote control of ADAS functionality of vehicle | |
| US20190339692A1 (en) | Management device and management method | |
| WO2018155159A1 (en) | Remote video output system and remote video output device | |
| JP6706845B2 (en) | Remote control device, remote control method | |
| JP7355877B2 (en) | Control methods, devices, electronic devices, and vehicles for road-cooperative autonomous driving | |
| US20190137622A1 (en) | Method and System for Gauging External Object Movement and Conditions for Connected and Autonomous Vehicle Safety | |
| CN112154492A (en) | Early warning and collision avoidance | |
| US20180281815A1 (en) | Predictive teleassistance system for autonomous vehicles | |
| US20180224850A1 (en) | Autonomous vehicle control system implementing teleassistance | |
| CN114586082A (en) | Enhanced on-board equipment | |
| US20190270408A1 (en) | Remote assist feedback system for autonomous vehicles | |
| EP3585029B1 (en) | Providing inter-vehicle data communications for multimedia content | |
| JP2019114196A (en) | Information collection system and information collection device | |
| JP2023107847A (en) | Control unit | |
| US11636715B2 (en) | Using dynamic triggers in dangerous situations to view sensor data for autonomous vehicle passengers | |
| US20230040713A1 (en) | Simulation method for autonomous vehicle and method for controlling autonomous vehicle | |
| US11600181B2 (en) | Saddle-riding type vehicle | |
| US11378948B2 (en) | Remote control system and self-driving system | |
| CN113306568A (en) | Autonomous vehicle and method of operating an autonomous vehicle | |
| US7928836B2 (en) | Mobile unit communication apparatus and computer-readable recording medium | |
| EP3557555A1 (en) | System and method for providing road condition information | |
| US11887476B2 (en) | Emergency service vehicle notification and acknowledgement | |
| US11787441B2 (en) | Stationary vehicle impact analysis and decision making | |
| WO2022091167A1 (en) | Information provision server, information provision method, and program recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180417 |