JP7215386B2 - 監視センタ、及び支援方法 - Google Patents
監視センタ、及び支援方法 Download PDFInfo
- Publication number
- JP7215386B2 JP7215386B2 JP2019178511A JP2019178511A JP7215386B2 JP 7215386 B2 JP7215386 B2 JP 7215386B2 JP 2019178511 A JP2019178511 A JP 2019178511A JP 2019178511 A JP2019178511 A JP 2019178511A JP 7215386 B2 JP7215386 B2 JP 7215386B2
- Authority
- JP
- Japan
- Prior art keywords
- monitoring center
- object information
- vehicle
- operator
- past
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 30
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 16
- 230000005856 abnormality Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Telephonic Communication Services (AREA)
Description
本開示は、自動運転車両の監視センタ及び支援方法に関する。
従来、自律走行車両の自動走行時の安全を確保するための遠隔監視技術が知られている。特許文献1では、自律走行車両は、カメラを含む自律センサから得られる情報に基づいて、障害物を検知し自動停止すると、自律走行車両は、カメラで撮影した車両の周辺のカメラ映像を遠隔監視センタに送信する。遠隔監視センタは、自律走行車両が自動停止した場合、受信したカメラ映像に基づいて自律走行車両の走行を再開させてよいかどうか判断する。この構成により、遠隔監視センタの監視員(オペレータ)が、自律走行車両のセンサの検知性能を補って、自律走行時の安全を確保する。
走行継続困難な状況に陥った車両(ある時間以上停車を継続した車両、等)から、支援センタに対して支援要求が送信され、遠隔で支援を行うオペレータに判断が任された状況において、リアルタイム映像のみでは、適切に支援することが困難なケースが存在する。
このようなケースでは、自動運転車両が過去に撮影した映像があると便利であるが、支援要求を送信する際に過去の映像を送信すると、通信トラフィックが増加してしまう。
そこで、本開示では、通信トラフィックを抑制しつつ、適切に支援を行うことができる監視センタおよび支援方法を提供することを目的とする。
本開示に係る監視センタは、ネットワークを介して自動運転車両(30)と通信を行い、前記自動運転車両を監視する監視センタ(10)であって、前記自動運転車両から送信される支援要求を受信する支援要求受信部(12)と、前記支援要求をオペレータに通知する前に、前記自動運転車両の周辺にあるオブジェクトに関するオブジェクト情報を要求し、前記自動運転車両から送信されるオブジェクト情報を受信するオブジェクト情報受信部(14)と、前記オブジェクト情報に基づいて、前記自動運転車両にて撮影した過去映像が必要か否かを判定する判定部と、前記判定部にて過去映像が必要であると判定されたときに、前記自動運転車両に過去映像を要求し、前記自動運転車両から送信される過去映像を受信する過去映像受信部(16)と、オペレータに支援を要求するオペレータ連携部(17)であって、過去映像を受信したときには、過去映像をオペレータに送信するオペレータ連携部とを備える。
本開示によれば、オペレータに支援を要求する前に過去の映像が必要か否かを判定し、必要なときに過去の映像を送信するので、通信トラフィックを抑制しつつ適切な支援を行える。
以下、本開示の実施の形態の監視センタについて、図面を参照しながら説明する。
(第1の実施の形態)
図1は、第1の実施の形態の監視センタ10を含む監視システム1の構成を示す図である。監視システム1は、自動運転車両30を監視する監視センタ10と、監視センタ10とネットワークを介して通信可能な複数の自動運転車両30とを備えている。自動運転車両30は、監視センタ10によって監視される。
(第1の実施の形態)
図1は、第1の実施の形態の監視センタ10を含む監視システム1の構成を示す図である。監視システム1は、自動運転車両30を監視する監視センタ10と、監視センタ10とネットワークを介して通信可能な複数の自動運転車両30とを備えている。自動運転車両30は、監視センタ10によって監視される。
[監視センタ]
監視センタ10は、オペレータが操作するオペレータ端末40と接続している。監視センタ10は、自動運転車両30の支援が必要なときにその自動運転車両30に関するデータをオペレータ端末40に送信することで、オペレータと連携する。監視センタ10は、自動運転車両30から支援要求を受信すると、支援に対応可能なオペレータを割り当て、オペレータとの連携を図る。
監視センタ10は、オペレータが操作するオペレータ端末40と接続している。監視センタ10は、自動運転車両30の支援が必要なときにその自動運転車両30に関するデータをオペレータ端末40に送信することで、オペレータと連携する。監視センタ10は、自動運転車両30から支援要求を受信すると、支援に対応可能なオペレータを割り当て、オペレータとの連携を図る。
監視センタ10は、通信部11と、支援要求受信部12と、オペレータ割当部13と、オブジェクト情報受信部14と、判定部15と、過去映像受信部16と、オペレータ連携部17とを有している。
通信部11は、自動運転車両30と通信を行う機能を有し、監視センタ10と自動運転車両30との間で様々なデータのやり取りを実現する。支援要求受信部12は、自動運転車両30が走行継続困難な状況に陥ったときに(所定時間以上、停車を継続したとき等)自動運転車両30から送信されてくる支援要求を受信する。
オペレータ割当部13は、複数のオペレータの中から支援要求に対応するオペレータを割り当てる機能を有する。オペレータ割当部13は、支援要求を受けた順に、オペレータを割り当ててもよいし、支援要求が優先度のデータを有する場合には、優先度の高い支援要求から順にオペレータを割り当ててもよい。なお、オペレータの割当ては、支援要求を処理させるオペレータを割り当てることであり、対応できるオペレータがいない場合には、割り当てが行われず、待ちが発生する。
本実施の形態の監視センタ10は、割り当てられたオペレータのオペレータ端末40に支援要求の通知を送信する前に(オペレータ連携を行う前に)、オペレータが状況を判断するのに必要な情報を予め収集する。
オペレータ割当部13にて、オペレータの割当てが行われると、オブジェクト情報受信部14は、自動運転車両30からオブジェクト情報を受信する。なお、オペレータが割り当てられた段階では、オペレータ端末40には支援要求は送信されていない。オペレータ端末40に支援要求を送信する前に、オブジェクト情報を受信する。
オブジェクト情報とは、自動運転車両30の周辺にある物体の位置、物体を認識した時刻、ステータス(走行/停止)、速度、進行方向、幅、高さおよび種別(例えば、人、車両、二輪車)等である。オブジェクト情報受信部14は、支援要求の送信元の自動運転車両30に対し、オブジェクト情報の送信要求を送信し、自動運転車両30にオブジェクト情報を求める。これを受けて、自動運転車両30から送信されるオブジェクト情報をオブジェクト情報受信部14は受信する。
判定部15は、自動運転車両30から送信されたオブジェクト情報に基づいて、自動運転車両30にて撮影した過去の映像(本書において、「過去映像」ともいう)が必要か否かを判定する。過去の映像が必要な場合とは、例えば、周囲に動いているオブジェクトがない場合や、交通参加者のオブジェクトが存在しない場合である。
図2及び図3は、オブジェクト情報に基づいて、リアルタイム画像だけからは状況を把握できない例を説明する図である。図2及び図3において、「支援車両」と記載したのが、支援要求を送信した車両である。まず、図2(a)について説明する。時刻1に、支援車両の前に先行車両が走行している。先行車両の前に駐車車両があるため、時刻2に先行車両は駐車車両を追い越した。時刻3に、支援車両は駐車車両があるため、停車した。
次に、図2(b)について説明する。時刻1に、支援車両の前に先行車両が走行しており、その前にも先行車両が走行している。つまり、3台の車両が縦に並んで走行している。時刻2に、先頭の車両が停車し、続いて2台目の車両(支援車両の前の車両)も停車した。これを受けて、時刻3に支援車両も停車した。
図2(a)と図2(b)を比較すると、図2(a)のケースでは、駐車車両が原因で停車しているのに対し、図2(b)のケースでは先頭車両の停車が原因で停車しているという違いがあるにもかかわらず、時刻3のリアルタイム映像からは、いずれの場合も支援車両の前に停車している車両がいるという状況が分かるだけである。支援車両の前に停車している車両が、例えば、信号待ちや渋滞で停車しているのか、路上駐車をしているのかを判断することはできないので、オペレータは適切な支援を行うことができない。
次に、図3について説明する。時刻1~時刻3は、図2(a)で示した例と同じであり、時刻4に、前方の駐車車両がある状態で、支援車両が停車している。時刻5に前方の駐車車両が走行を開始し、時刻6では、前方に車両がいない状態になった。時刻6のリアルタイム画像からは、前方に車両がいないので、オペレータは支援車両がなぜ停車しているのかを把握することができない。監視センタ10に支援要求が送信されてきた以上、オペレータは、その原因を見つけ出し、安全を確認すべきなので、前方に車両がないから発進してよいという支援を行うことは適切ではない。また、図3では、前方の車両が走り去った例を説明したが、停止要因が歩行者であった場合、歩行者が立ち去ったのか、あるいは自動運転車両30の死角に入ったのか(リスクが残っているのか)を切り分ける必要があるので、過去の映像が必要となる。以上、オブジェクト情報に基づいて、過去の映像が必要となると判断する具体例について説明した。
判定部15は、過去の映像が必要な場合に、必要な過去映像の長さを求める。本実施の形態では、必要な過去映像の長さはオブジェクト情報に基づいて求める。図2に示す例では、前方にある車両を認識した時刻から現在までの映像を要求する。ただし、図3に示す例のように、停車要因となった物体が存在しない場合には、一定(例えば、2分間等)の映像を求めることとしてもよい。判定部15にて、過去の映像が必要と判定された場合には、過去映像受信部16は、自動運転車両30が撮影した過去の映像を受信する。過去映像受信部16は、支援要求の送信元の自動運転車両30に対し、過去映像の送信要求を送信し、自動運転車両30に過去映像を求める。これを受けて、過去映像受信部16は自動運転車両30から送信される過去映像を受信する。
オペレータ連携部17は、自動運転車両30から送信された支援要求がオペレータ割当部13によってオペレータに割り当てられると、支援要求をオペレータ端末40に送信し、オペレータとの連携を図る。この際、判定部15にて過去映像が必要であると判定されて自動運転車両30から過去映像を受信している場合には、オペレータ端末40に、支援要求と共に過去映像を送信する。
[自動運転車両]
自動運転車両30は、走行制御部31と、車内監視部32と、周辺監視部33と、通信部34と、映像記憶部35と、オブジェクト情報記憶部36と、支援要否判定部37を備えている。走行制御部31は、自動運転車両30の走行を制御する機能を有する。走行制御部31は、スロットル、ブレーキ、ステアリング等の制御を行う。車内監視部32は、ドライバや乗員の様子を監視する機能を有する。車内監視部32は、例えば、車内を撮影するカメラや着座センサである。周辺監視部33は、車両の周辺の様子を監視する機能を有する。周辺監視部33を構成する機器は、例えば、カメラ、LIDAR、ミリ波レーダ、超音波センサ等である。通信部34は、監視センタ10と通信を行う機能を有する。通信部34は、通信機やアンテナで構成される。なお、通信部34は、インフラや他の車両と通信する機能を有していてもよい。
自動運転車両30は、走行制御部31と、車内監視部32と、周辺監視部33と、通信部34と、映像記憶部35と、オブジェクト情報記憶部36と、支援要否判定部37を備えている。走行制御部31は、自動運転車両30の走行を制御する機能を有する。走行制御部31は、スロットル、ブレーキ、ステアリング等の制御を行う。車内監視部32は、ドライバや乗員の様子を監視する機能を有する。車内監視部32は、例えば、車内を撮影するカメラや着座センサである。周辺監視部33は、車両の周辺の様子を監視する機能を有する。周辺監視部33を構成する機器は、例えば、カメラ、LIDAR、ミリ波レーダ、超音波センサ等である。通信部34は、監視センタ10と通信を行う機能を有する。通信部34は、通信機やアンテナで構成される。なお、通信部34は、インフラや他の車両と通信する機能を有していてもよい。
映像記憶部35は、周辺監視部33の一つであるカメラにて撮影された映像を一定期間(例えば、30分程度)、記憶する機能を有する。オブジェクト情報記憶部36は、車両の周辺にあるオブジェクト情報を記憶する機能を有する。オブジェクト情報は、周辺監視部33にて検知された物体の位置、物体を認識した時刻、ステータス(走行/停止)、速度、進行方向、幅、高さおよび種別(例えば、人、車両、二輪車)等である。車両の周辺にあるオブジェクトの検出は、カメラにて撮影した映像の画像認識を行うことによって行うことができる。また、自動運転車両30が、V2X通信により、インフラ、他車両、ネットワーク等から、周辺のデータを取得している場合にはそれらのデータを合わせて用いて、オブジェクト情報を求めてもよい。
支援要否判定部37は、オペレータによる支援が必要か否かを判定する機能を有する。支援が必要な状態とは、自動運転車両30が走行継続困難な状況に陥った状態であり、本実施の形態では、支援要否判定部37は、停車時間が所定の閾値以上となった場合に支援が必要であると判定する。ただし、目的地へ到着したときや信号待ち、乗降待ちのように、停車することが予定されている状況での停車時間は、支援要否の判定には用いない。
[監視センタの動作]
図4は、監視センタ10の動作を示すフローチャートである。自動運転車両30が支援を要すると判定したときに、監視センタ10に支援要求を送信し(S10)、監視センタ10は自動運転車両30から送信された支援要求を受信する(S11)。監視センタ10は、受信した支援要求を支援要求のキューに記憶する。オペレータ割当部13は、キューから支援要求を取り出して、手が空いているオペレータへの割り当てを行う(S12)。なお、キューから支援要求を取り出す順番は、キューに記憶した順でもよいし(FIFO)、支援要求の優先度に応じて定めた順でもよい。
図4は、監視センタ10の動作を示すフローチャートである。自動運転車両30が支援を要すると判定したときに、監視センタ10に支援要求を送信し(S10)、監視センタ10は自動運転車両30から送信された支援要求を受信する(S11)。監視センタ10は、受信した支援要求を支援要求のキューに記憶する。オペレータ割当部13は、キューから支援要求を取り出して、手が空いているオペレータへの割り当てを行う(S12)。なお、キューから支援要求を取り出す順番は、キューに記憶した順でもよいし(FIFO)、支援要求の優先度に応じて定めた順でもよい。
割り当てが行われて、支援要求に対応するオペレータが決まると、監視センタ10は、自動運転車両30に対してオブジェクト情報の要求を送信する(S13)。自動運転車両30は、オブジェクト情報の要求を受信すると(S14)、この要求を受信した時点でのオブジェクト情報を監視センタ10に送信する(S15)。
監視センタ10はオブジェクト情報を受信すると(S16)、受信したオブジェクト情報に基づいて過去の映像が必要か否かを判定する(S17)。過去の映像が必要なケースは、上述したとおり、例えば、周囲に動いているオブジェクトがいない場合や、周囲に交通参加者のオブジェクトがない場合である。
過去の映像が必要ないと判定された場合(S17でNO)、監視センタ10は、割り当てられたオペレータのオペレータ端末40に支援要求を送信する(S23)。オペレータ端末40にて監視センタ10から送信される支援要求を受信すると(S24)、オペレータは自動運転車両30の支援を行う(S25)。自動運転車両30の支援を行うにあたっては、オペレータ端末40は、自動運転車両30からリアルタイム映像を受信して表示し、オペレータはリアルタイム映像を見ながら、自動運転車両30がおかれた状況を把握して、自動運転車両30に対して指示を与える。
過去の映像が必要であると判定された場合(S17でYES)、監視センタ10は、必要な過去の映像の長さを決定する(S18)。本実施の形態では、過去映像の長さをオブジェクト情報に基づいて求める。監視センタ10は、自動運転車両30に対して、過去映像の要求を送信する(S19)。自動運転車両30は、監視センタ10から過去映像の要求を受信すると(S20)、指定された長さの過去映像を監視センタ10に送信する(S21)。
監視センタ10は過去映像を受信すると、オペレータに支援要求を送信する(S23)。この際に、自動運転車両30から受信した過去映像をオペレータ端末40に送信する(S24)。オペレータ端末40にて監視センタ10から送信される支援要求を受信すると(S24)、オペレータは自動運転車両30の支援を行う(S25)。この際、オペレータ端末40には、自動運転車両30から送信されたリアルタイム映像と過去映像を表示し、オペレータはリアルタイム映像と過去映像を見ながら、自動運転車両30がおかれた状況を把握して、自動運転車両30に対して指示を与える。
図4では、1台の自動運転車両30との通信をトリガとして開始する動作を説明しているが、監視センタ10は、複数の自動運転車両30を監視しており、図4に示す処理を複数の自動運転車両30について同時に実行している。
以上、本実施の形態の監視センタ10の構成について説明したが、上記した監視センタ10のハードウェアの例は、CPU、RAM、ROM、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをRAMまたはROMに格納しておき、CPUによって当該プログラムを実行することによって、上記した監視センタ10が実現される。このようなプログラムも本開示の範囲に含まれる。
第1の実施の形態の監視センタ10は、自動運転車両30の支援に過去の映像が必要か否かを判定し、必要なときだけ過去の映像を要求するので、通信トラフィックを抑制できるとともに、必要なときには、過去の映像を参照して適切に状況を把握できる。
また、第1の実施の形態の監視センタ10では、オペレータ端末40に支援要求を送信する前に過去映像が必要か否かを判定し、必要なときには自動運転車両30から過去映像を受信しておくので、オペレータに支援要求を通知した後にオペレータが過去映像を取得する手間が省け、オペレータによる支援をスムーズに行える。
(第2の実施の形態)
次に、第2の実施の形態の監視センタについて説明する。第2の実施の形態の監視センタを含む監視システムの基本的な構成は、第1の実施の形態と同じであるが(図1参照)、第2の実施の形態の監視センタでは、過去映像が必要か否かの判定に、過去のオブジェクト情報も用いる点が異なる。ここで、「過去のオブジェクト情報」とは、オペレータ割当て時に、自動運転車両に要求して取得するオブジェクト情報よりも以前のオブジェクト情報である。具体的には、自動運転車両が支援要求を監視センタに送信した時点のオブジェクト情報である。
次に、第2の実施の形態の監視センタについて説明する。第2の実施の形態の監視センタを含む監視システムの基本的な構成は、第1の実施の形態と同じであるが(図1参照)、第2の実施の形態の監視センタでは、過去映像が必要か否かの判定に、過去のオブジェクト情報も用いる点が異なる。ここで、「過去のオブジェクト情報」とは、オペレータ割当て時に、自動運転車両に要求して取得するオブジェクト情報よりも以前のオブジェクト情報である。具体的には、自動運転車両が支援要求を監視センタに送信した時点のオブジェクト情報である。
図5は、第2の実施の形態の監視システムの動作を示すフローチャートである。第2の実施の形態においては、自動運転車両30が監視センタ10に支援要求を送信する際に、オブジェクト情報を合わせて送信し(S10-2)、監視センタ10は、支援要求と共にオブジェクト情報を受信する(S11-2)。
次に、監視センタ10は、支援要求をオペレータに割り当てる(S12)。割り当てが行われて、支援要求に対応するオペレータが決まると、監視センタ10は、自動運転車両30に対してオブジェクト情報の要求を送信する(S13)。自動運転車両30は、オブジェクト情報の要求を受信すると(S14)、この要求を受信した時点でのオブジェクト情報を監視センタ10に送信する(S15)。
監視センタ10はオブジェクト情報を受信する(S16)。これにより、監視センタ10は、自動運転車両30が支援要求をしたときのオブジェクト情報(S11-2)と、オペレータ割り当てが行われた後に自動運転車両30から送信されたオブジェクト情報とを有する(S16)。監視センタ10は、これらのオブジェクト情報に基づいて過去の映像が必要か否かを判定する(S17)。監視センタ10は、現在と過去のオブジェクト情報を有しているので、取得した時点の異なるオブジェクト情報を比較して、過去の映像が必要か否かを判定することができる。例えば、現在と過去のオブジェクト情報が変わっている場合には、過去の映像が必要であると判定することができる。
また、判定部15は、現在と過去のオブジェクト情報に基づいて、必要な過去の映像の長さを決定することができる。これにより、例えば、図3に示した例のように、オペレータ割当てが行われた時点では停車要因の物体が存在しない場合にも、判定部15は、支援要求をした時点でのオブジェクト情報(支援要求を送信する際には、停車要因となる物体があったと考えられる)に基づいて、停車要因となった車両を認識した時点から現在までの映像を要求することができる。また、別の例として、判定部15は、支援要求時のオブジェクト情報に基づいて、車両の速度が一定以下になってから現在までの映像を求めてもよい。
過去の映像が必要か否かの判定(S17)を行った後の監視システムの動作は、第1の実施の形態の場合と同じである。
第2の実施の形態の監視センタ10は、第1の実施の形態の監視センタ10と同様に、通信トラフィックを抑制できるとともに、必要なときには、オペレータは過去の映像を参照して適切に状況を把握できる。また、第2の実施の形態の監視センタ10は、支援要求を行ったときのオブジェクト情報とオペレータ割り当てが行われた後のオブジェクト情報とに基づいて、過去の映像が必要か否かを適切に判定できるとともに、必要な映像の長さを求めることができる。
以上、本開示に係る監視センタの構成および動作について実施の形態を挙げて説明したが、本開示に係る監視センタは上記した実施の形態に限定されるものではない。上記した実施の形態では、判定部は、オブジェクト情報に基づいて、必要な過去映像の長さを求める例を挙げたが、判定部は、必要な過去映像の方向を求めることとしてもよい。例えば、検知した物体が左に走り去った場合には、前方から左方向の映像が必要であると判定し、自動運転車両に前方から左方向の映像を要求してもよい。自動運転車両が複数のカメラを有しているときには、どの方向を撮影した映像が必要かを指定することで、監視センタに送信すべき映像のデータ量を削減できる。
本開示に係る監視センタは、車両故障や事故の発生に起因して、自動運転車両より支援要求が送信されてきた場合にも適用することができる。事故に起因して支援要求が送信された場合には、例えば、衝撃を検知したタイミングからの映像を要求することとしてもよい。
また、本開示に係る監視システムは、車内監視に関する支援要求にも適用することができる。例えば、車両内に忘れ物があった場合や、乗客が倒れている等の異常を検知した場合に、自動運転車両から監視センタに支援要求が送信されたときにも適用できる。車両内に忘れ物があったときには、監視センタは、乗車時および降車時の映像を要求する。これにより、忘れ物をした乗客を特定することができる。この監視システムを無人タクシーに利用する場合には、タクシーの予約に用いられたユーザ端末に、忘れ物をしたことを報知することも可能である。
また、本開示に係る監視システムは、乗客からの呼び出しによる支援要求にも適用することができる。例えば、乗客の体調不良や乗客からの問い合わせ、あるいは車両異常の通報などの支援要求があったときにも適用できる。乗客の転倒に起因して支援要求がなされたときには、監視センタは、転倒の要因(例えば急ブレーキ)が発生したときの映像を要求する。あるいは、乗客からの問い合わせが支援要求として送信されてきた場合には、監視センタは、乗客の会話に基づいて過去の映像が必要な時間を推定し、推定された時間の過去の映像を要求してもよい。
上記した実施の形態では、自動運転車両は、要求された時間における過去の映像を監視センタに送信する例を挙げたが、自動運転車両は、過去の映像によって追加で得られる情報がない場合には、過去の映像を監視センタに送信することを拒否してもよい。
例えば、リアルタイム映像において前方を見通せないために、過去の映像を要求したとき、自動運転車両が起伏のない直線道路を走行してきた場合には、過去の映像を見ても前方を見通すことができないのは同じであるから、過去の映像の送信を拒否するという構成を採用してもよい。また、過去の映像に車両の停止要因が映っていない場合には、過去の映像の送信を拒否するという構成としてもよい。
本開示に係る監視システムは、自動運転車両を監視するシステムとして有用である。
1・・・監視システム、10・・・監視センタ、11・・・通信部、
12・・・支援要求受信部、13・・・オペレータ割当部、
14・・・オブジェクト情報受信部、15・・・判定部、16・・・過去映像受信部、
17・・・オペレータ連携部、30・・・自動運転車両、31・・・走行制御部、
32・・・車内監視部、33・・・周辺監視部、34・・・通信部、
35・・・映像記憶部、36・・・オブジェクト情報記憶部、
37・・・支援要否判定部、40・・・オペレータ端末。
12・・・支援要求受信部、13・・・オペレータ割当部、
14・・・オブジェクト情報受信部、15・・・判定部、16・・・過去映像受信部、
17・・・オペレータ連携部、30・・・自動運転車両、31・・・走行制御部、
32・・・車内監視部、33・・・周辺監視部、34・・・通信部、
35・・・映像記憶部、36・・・オブジェクト情報記憶部、
37・・・支援要否判定部、40・・・オペレータ端末。
Claims (10)
- ネットワークを介して自動運転車両(30)と通信を行い、前記自動運転車両を監視する監視センタ(10)であって、
前記自動運転車両から送信される支援要求を受信する支援要求受信部(12)と、
前記支援要求をオペレータに通知する前に、前記自動運転車両の周辺にあるオブジェクトに関するオブジェクト情報を要求し、前記自動運転車両から送信されるオブジェクト情報を受信するオブジェクト情報受信部(14)と、
前記オブジェクト情報に基づいて、前記自動運転車両にて撮影した過去映像が必要か否かを判定する判定部(15)と、
前記判定部にて過去映像が必要であると判定されたときに、前記自動運転車両に過去映像を要求し、前記自動運転車両から送信される過去映像を受信する過去映像受信部(16)と、
オペレータに支援を要求するオペレータ連携部であって、過去映像を受信したときには、過去映像をオペレータに送信するオペレータ連携部(17)と、
を備える監視センタ。 - 前記判定部は、前記オブジェクト情報に基づいて、必要な過去映像の長さを求める請求項1に記載の監視センタ。
- 前記判定部は、前記オブジェクト情報に基づいて、過去映像を取得する方向を求める請求項1に記載の監視センタ。
- 前記支援要求受信部が受信する前記支援要求には、支援要求を行ったときのオブジェクト情報が含まれており、
前記判定部は、前記支援要求に含まれるオブジェクト情報と、前記オブジェクト情報受信部にて受信したオブジェクト情報とに基づいて、過去映像が必要か否かを判定する請求項1~3のいずれか1項に記載の監視センタ。 - 前記支援要求を処理するオペレータを割り当てるオペレータ割当部(13)を備え、
前記オブジェクト情報受信部は、前記オペレータ割当部にてオペレータを割り当てた後に、自動運転車両に対して前記オブジェクト情報を要求する請求項1~4のいずれか1項に記載の監視センタ。 - 自動運転車両と、前記自動運転車両とネットワークを介して接続され、前記自動運転車両を監視する監視センタとを備える監視システムによって、オペレータに支援を要求する方法であって、
前記自動運転車両が前記監視センタに支援要求を送信するステップと、
前記監視センタからの要求に応じて、前記自動運転車両が前記自動運転車両の周辺にあるオブジェクトに関するオブジェクト情報を前記監視センタに送信するステップと、
前記監視センタが、前記オブジェクト情報に基づいて、前記自動運転車両にて撮影した過去映像が必要か否かを判定するステップと、
前記過去映像が必要であると判定されたときに、前記自動運転車両が前記監視センタに過去映像を送信するステップと、
前記監視センタがオペレータ端末に支援要求を通知するステップと、
を備え、
前記自動運転車両から過去映像を受信しているときは、前記監視センタは前記オペレータ端末に過去映像を送信する支援方法。 - 前記監視センタは、前記オブジェクト情報に基づいて、必要な過去映像の長さを求める請求項6に記載の支援方法。
- 前記監視センタは、前記オブジェクト情報に基づいて、過去映像を取得する方向を求める請求項6に記載の支援方法。
- 前記自動運転車両から前記監視センタに送信する支援要求には、前記オブジェクト情報が含まれており、
前記判定するステップでは、前記支援要求に含まれるオブジェクト情報と、前記監視センタからの要求に応じて送信された前記オブジェクト情報とに基づいて、過去映像が必要か否かを判定する請求項6~8のいずれか1項に記載の支援方法。 - 前記支援要求を処理するオペレータを割り当てるステップを備え、
前記監視センタは、オペレータを割り当てた後に、前記自動運転車両に対してオブジェクト情報の送信を要求する、請求項6~9のいずれか1項に記載の支援方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019178511A JP7215386B2 (ja) | 2019-09-30 | 2019-09-30 | 監視センタ、及び支援方法 |
CN202011031620.3A CN112583886A (zh) | 2019-09-30 | 2020-09-27 | 用于自主车辆的远程监测设备和协助方法 |
US17/034,363 US20210094567A1 (en) | 2019-09-30 | 2020-09-28 | Remote monitoring apparatus and assistance method for autonomous vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019178511A JP7215386B2 (ja) | 2019-09-30 | 2019-09-30 | 監視センタ、及び支援方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021057724A JP2021057724A (ja) | 2021-04-08 |
JP7215386B2 true JP7215386B2 (ja) | 2023-01-31 |
Family
ID=75119612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019178511A Active JP7215386B2 (ja) | 2019-09-30 | 2019-09-30 | 監視センタ、及び支援方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210094567A1 (ja) |
JP (1) | JP7215386B2 (ja) |
CN (1) | CN112583886A (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112003955A (zh) * | 2020-10-27 | 2020-11-27 | 深圳裹动智驾科技有限公司 | 云端人机混合决策的方法 |
JP6936380B1 (ja) * | 2020-12-28 | 2021-09-15 | 本田技研工業株式会社 | 車両制御システム、および車両制御方法 |
DE102021003918A1 (de) * | 2021-07-30 | 2023-02-02 | Mercedes-Benz Group AG | Verfahren zur Bestimmung einer Aktionsstrategie eines im automatisierten Fahrbetrieb fahrenden Fahrzeuges |
CN113771874A (zh) * | 2021-08-02 | 2021-12-10 | 北京百度网讯科技有限公司 | 自动驾驶车辆的控制方法、装置、电子设备及可读存储介质 |
JP7487727B2 (ja) | 2021-12-03 | 2024-05-21 | トヨタ自動車株式会社 | 管理装置、管理方法、及び管理プログラム |
WO2024048517A1 (ja) * | 2022-09-02 | 2024-03-07 | パナソニックIpマネジメント株式会社 | 情報処理方法、及び、情報処理装置 |
US12017692B2 (en) | 2022-09-26 | 2024-06-25 | Parallel Systems, Inc. | Rail authority system and/or method |
US11981363B1 (en) | 2022-11-18 | 2024-05-14 | Parallel Systems, Inc. | System and/or method for remote operation of a rail vehicle |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016126605A (ja) | 2015-01-06 | 2016-07-11 | 株式会社日立製作所 | 走行環境認識システム |
WO2018155159A1 (ja) | 2017-02-24 | 2018-08-30 | パナソニックIpマネジメント株式会社 | 遠隔映像出力システム、及び遠隔映像出力装置 |
JP2019087015A (ja) | 2017-11-07 | 2019-06-06 | トヨタ自動車株式会社 | 遠隔監視システム及び自律走行車両並びに遠隔監視方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7385624B2 (en) * | 2003-01-17 | 2008-06-10 | Nippon Telegraph And Telephone Corporation | Remote image display method, image capturing device, and method and program therefor |
IL213506A (en) * | 2011-06-13 | 2016-04-21 | Israel Aerospace Ind Ltd | Pursuing a goal |
US10162360B2 (en) * | 2016-12-01 | 2018-12-25 | GM Global Technology Operations LLC | Vehicle environment imaging systems and methods |
US10322696B2 (en) * | 2017-01-18 | 2019-06-18 | Gm Global Technology Operations Llc. | Vehicle environment imaging systems and methods |
US10922903B2 (en) * | 2017-07-11 | 2021-02-16 | Waymo Llc | Methods and systems for providing remote assistance to a stopped vehicle |
CN107505944B (zh) * | 2017-09-27 | 2021-04-16 | 驭势科技(北京)有限公司 | 一种用于对车辆进行远程协助的方法与设备 |
-
2019
- 2019-09-30 JP JP2019178511A patent/JP7215386B2/ja active Active
-
2020
- 2020-09-27 CN CN202011031620.3A patent/CN112583886A/zh active Pending
- 2020-09-28 US US17/034,363 patent/US20210094567A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016126605A (ja) | 2015-01-06 | 2016-07-11 | 株式会社日立製作所 | 走行環境認識システム |
WO2018155159A1 (ja) | 2017-02-24 | 2018-08-30 | パナソニックIpマネジメント株式会社 | 遠隔映像出力システム、及び遠隔映像出力装置 |
JP2019087015A (ja) | 2017-11-07 | 2019-06-06 | トヨタ自動車株式会社 | 遠隔監視システム及び自律走行車両並びに遠隔監視方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112583886A (zh) | 2021-03-30 |
US20210094567A1 (en) | 2021-04-01 |
JP2021057724A (ja) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7215386B2 (ja) | 監視センタ、及び支援方法 | |
JP6697686B2 (ja) | 管理装置と、管理装置の制御方法 | |
JP7180576B2 (ja) | 監視センタ、監視システム及び方法 | |
US10551831B2 (en) | Method and device for operating a vehicle, and method for operating a parking area | |
US20180286249A1 (en) | Method and apparatus for operating a vehicle | |
KR20110060320A (ko) | 인프라 센서 기반 차량 제어 장치 및 방법 | |
US11513513B2 (en) | Method for invoking a teleoperated driving session, apparatus for performing the steps of the method, vehicle and computer program | |
CN113257025A (zh) | 交叉交通辅助和控制 | |
KR20200112630A (ko) | 자율주행 차량을 이용한 운송 서비스 제공 방법 | |
US11902471B2 (en) | Vehicle remote assistance system, remote assistance apparatus, remote assistance method, and remote assistance program | |
KR102574666B1 (ko) | 자동 차량 및 그 조작 방법 | |
CN114326727A (zh) | 一种驾驶方法和*** | |
US20230166771A1 (en) | Teleoperable Vehicle and System | |
CN117075501A (zh) | 对于移动体选择性提供远程监视与远程驾驶的***、方法 | |
WO2022014174A1 (ja) | 情報処理方法及び情報処理システム | |
JP2022172948A (ja) | 遠隔支援管理システム、遠隔支援管理方法、及び遠隔支援管理プログラム | |
JP2022188661A (ja) | 遠隔操作依頼装置、遠隔操作依頼システム、遠隔操作依頼方法、及び遠隔操作依頼プログラム | |
US10319231B2 (en) | System and method for providing driver with preliminary notification | |
US20230376867A1 (en) | Method and apparatus for assigning remote operation on vehicle to remote operator, and non-transitory computerreadable storage medium | |
JP7512966B2 (ja) | 遠隔運転タクシーシステム、遠隔運転タクシー制御方法、及び遠隔運転タクシー管理装置 | |
CN116866401B (zh) | 一种车辆远程驾驶*** | |
JP2023016401A (ja) | 遠隔運転タクシーシステム、モビリティサービス管理方法、及び遠隔運転タクシー管理装置 | |
KR20240049187A (ko) | 원격 서비스의 관리 방법 및 관리 장치 | |
JP2023071199A (ja) | 乗客輸送システム | |
JP2022114333A (ja) | 自動運転車両の遠隔支援システム及び遠隔支援方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230102 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7215386 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |