JP2023169715A - 遠隔操作システム及び遠隔オペレータ端末 - Google Patents

遠隔操作システム及び遠隔オペレータ端末 Download PDF

Info

Publication number
JP2023169715A
JP2023169715A JP2022081003A JP2022081003A JP2023169715A JP 2023169715 A JP2023169715 A JP 2023169715A JP 2022081003 A JP2022081003 A JP 2022081003A JP 2022081003 A JP2022081003 A JP 2022081003A JP 2023169715 A JP2023169715 A JP 2023169715A
Authority
JP
Japan
Prior art keywords
information
object information
remote
simulation
remote operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022081003A
Other languages
English (en)
Inventor
敏暢 渡辺
Toshinobu Watanabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Woven by Toyota Inc
Original Assignee
Woven by Toyota Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Woven by Toyota Inc filed Critical Woven by Toyota Inc
Priority to JP2022081003A priority Critical patent/JP2023169715A/ja
Priority to US18/185,545 priority patent/US20230376032A1/en
Publication of JP2023169715A publication Critical patent/JP2023169715A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244—Optic
    • G05D1/2245—Optic providing the operator with a purely computer-generated representation of the environment of the vehicle, e.g. virtual reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244—Optic
    • G05D1/2247—Optic providing the operator with simple or augmented images from one or more cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/10—Outdoor regulated spaces
    • G05D2107/13—Spaces reserved for vehicle traffic, e.g. roads, regulated airspace or regulated waters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】遠隔オペレータによる移動体の遠隔操作において、通信遅延や通信中の情報欠落の影響を抑制すること。【解決手段】遠隔操作システムは、遠隔オペレータによる遠隔操作の対象である移動体と、遠隔オペレータ側の遠隔オペレータ端末とを備える。遠隔オペレータ端末は、所定空間における移動体を含む物体群のシミュレーションをリアルタイムに行うシミュレータを備え、シミュレーションの結果を表示するように構成されている。シミュレーションの実行と平行して、遠隔オペレータ端末は、物体群の位置を少なくとも示す物体情報を受信し、受信した物体情報の遅延を補償することによって補正物体情報を取得する。更に、遠隔オペレータ端末は、シミュレーション内での物体情報であるシミュレーション物体情報を補正物体情報に基づいて補正する。【選択図】図３

Description

本開示は、遠隔オペレータによる移動体の遠隔操作を支援する技術に関する。
特許文献１は、操作対象物を遠隔から操作するための制御装置を開示している。制御装置は、情報提供手段と通信を行い、操作対象物の周囲に存在するオブジェクトの種類及び位置の情報を取得する。更に、制御装置は、取得したオブジェクトの種類及び位置の情報に基づいて、オブジェクトを表すための仮想オブジェクトを決定する。そして、制御装置は、オブジェクトの地理的位置に対応する表示位置に仮想オブジェクトを表示する。このとき、制御装置は、通信遅延を考慮してオブジェクトの将来の位置を推定し、仮想オブジェクトの表示位置を補正する。
特許文献２は、不慣れな操作者でも移動体を容易に遠隔操作できる遠隔操作システムを開示している。
また、計測の分野において、カルマンフィルター（Kalman filter）が一般的に知られている。カルマンフィルターは、計測データからシステムの状態を推定する。但し、データ計測タイミングとカルマンフィルターの作動タイミングとの間にはズレが存在し、そのズレが大きくなると推定精度が低下する。
非特許文献１及び非特許文献２は、遅延を含む計測データに対しても適用可能な「ディレイドカルマンフィルター（Delayed Kalman Filter）」を開示している。ディレイドカルマンフィルターは、OOSM (Out-of-Sequence Measurement)とも呼ばれる。
特開２０２０－１６７５５１号公報 特開２０１０－１２８９３５号公報
Yaakov Bar-Shalom, "Update with Out-of-Sequence Measurements in Tracking: Exact Solution," IEEE Transactions on Aerospace and Electronic Systems, VOL. 38, No.3, pp.769-778, July 2002. Keshu Zhang et al., "Optimal Update with Out-of-Sequence Measurements," IEEE Transactions on Signal Processing, Vol. 53, No.6, pp.1992-2004, June 2005.
遠隔オペレータによる移動体（例：車両、ロボット）の遠隔操作について考える。遠隔操作の最中、移動体と遠隔オペレータ側の遠隔オペレータ端末とは互いに通信を行うが、その通信には通信遅延が伴う。通信遅延は、遠隔オペレータの判断遅れ、ぎこちない遠隔操作、等の原因となる。場合によっては、移動体が蛇行してしまう。よって、遠隔操作において通信遅延の影響を抑制することは重要である。
また、移動体から遠隔オペレータ端末に送信される情報が通信経路上で欠落する可能性もある。通信中の情報欠落も、遠隔オペレータの判断遅れ、ぎこちない遠隔操作、等の原因となる。よって、遠隔操作において情報欠落の影響を抑制することも重要である。
本開示の１つの目的は、遠隔オペレータによる移動体の遠隔操作において、通信遅延や通信中の情報欠落の影響を抑制することができる技術を提供することにある。
第１の観点は、遠隔操作システムに関連する。
遠隔操作システムは、
遠隔オペレータによる遠隔操作の対象である移動体と、
遠隔オペレータ側の遠隔オペレータ端末と
を備える。
遠隔オペレータ端末は、所定空間における移動体を含む物体群のシミュレーションをリアルタイムに行うシミュレータを備え、シミュレーションの結果を表示するように構成されている。
シミュレーションの実行と平行して、遠隔オペレータ端末は、更に、次のような処理を行う。
遠隔オペレータ端末は、少なくとも移動体と通信を行い、物体群の位置を少なくとも示す物体情報を受信する。遠隔オペレータ端末は、受信した物体情報の遅延を補償することによって補正物体情報を取得する遅延補償処理を実行する。更に、遠隔オペレータ端末は、シミュレーション内での物体情報であるシミュレーション物体情報を補正物体情報に基づいて補正する同期処理を実行する。
第２の観点は、移動体の遠隔操作を行う遠隔オペレータによって使用される遠隔オペレータ端末に関連する。
遠隔オペレータ端末は、１又は複数のプロセッサを備える。
１又は複数のプロセッサは、所定空間における移動体を含む物体群のシミュレーションをリアルタイムに実行し、シミュレーションの結果を表示するように構成されている。
シミュレーションの実行と平行して、１又は複数のプロセッサは、更に、次のような処理を行う。
１又は複数のプロセッサは、少なくとも移動体と通信を行い、物体群の位置を少なくとも示す物体情報を受信する。１又は複数のプロセッサは、受信した物体情報の遅延を補償することによって補正物体情報を取得する遅延補償処理を実行する。更に、１又は複数のプロセッサは、シミュレーション内での物体情報であるシミュレーション物体情報を補正物体情報に基づいて補正する同期処理を実行する。
本開示によれば、遠隔オペレータ端末は、遠隔操作の対象である移動体を含む物体群のシミュレーションをリアルタイムに行う。遠隔オペレータ端末は、そのシミュレーション結果を表示する。遠隔オペレータは、表示されたシミュレーション結果を参照して、移動体の遠隔操作を行うことができる。
遠隔オペレータ端末内で行われるシミュレーションは、移動体と遠隔オペレータ端末との間の通信状態には依存しない。よって、遠隔オペレータは、通信遅延や情報欠落の影響を受けることなく、移動体の遠隔操作を行うことが可能となる。その結果、遠隔オペレータの判断遅れ、ぎこちない遠隔操作、等が抑制される。すなわち、遠隔オペレータは、移動体の遠隔操作をより滑らかに、より安全に行うことが可能となる。
更に、遠隔オペレータ端末は、シミュレーションの実行と平行して、シミュレーション対象である物体群に関する物体情報を受信する。物体情報は、物体群の位置を少なくとも示す。遠隔オペレータ端末は、受信した物体情報の遅延を補償することによって補正物体情報を取得する。更に、遠隔オペレータ端末は、補正物体情報に基づいてシミュレーション物体情報を補正する。これにより、シミュレーション精度が確保され、遠隔操作の精度も確保される。
本開示の実施の形態に係る遠隔操作システムの構成例を示す概略図である。 本開示の実施の形態に係る遠隔操作システムの第１モードを説明するためのブロック図である。 本開示の実施の形態に係る遠隔操作システムの第２モードを説明するためのブロック図である。 本開示の実施の形態における表示装置に表示されるシミュレーション結果画面の例を示す概略図である。 本開示の実施の形態に係る車両の構成例を示すブロック図である。 本開示の実施の形態に係る遠隔オペレータ端末の構成例を示すブロック図である。 本開示の実施の形態に係るシミュレータを説明するためのブロック図である。 本開示の実施の形態に係る第２モードにおける遠隔オペレータ端末の機能構成例を示すブロック図である。 遠隔操作システムにおける遅延を説明するための概念図である。 遅延補償処理を説明するための概念図である。 遅延補償処理及びアップサンプリング処理を説明するための概念図である。 本開示の実施の形態に係る遠隔オペレータ端末における遅延補償部の第１の例を示すブロック図である。 本開示の実施の形態に係る遠隔オペレータ端末における遅延補償部の第２の例を示すブロック図である。 本開示の実施の形態に係る遠隔オペレータ端末における切替処理を説明するためのブロック図である。 本開示の実施の形態に係る車両における遅延補償処理に関連する機能構成例を示すブロック図である。 本開示の実施の形態に係る車両における遅延補償部の構成例を示すブロック図である。
添付図面を参照して、本開示の実施の形態を説明する。
１．遠隔操作システムの概要
移動体の遠隔操作（遠隔運転）について考える。遠隔操作の対象である移動体としては、車両、ロボット、飛翔体、等が例示される。車両は、自動運転車両であってもよいし、ドライバが運転する車両であってもよい。ロボットとしては、物流ロボット、作業ロボット、等が例示される。飛翔体としては、飛行機、ドローン、等が例示される。
一例として、以下の説明においては、遠隔操作の対象である移動体が車両である場合について考える。一般化する場合には、以下の説明における「車両」を「移動体」で読み替えるものとする。
図１は、本実施の形態に係る遠隔操作システム１の構成例を示す概略図である。遠隔操作システム１は、車両１００、遠隔オペレータ端末２００、及び管理装置３００を含んでいる。車両１００は、遠隔操作の対象である。遠隔オペレータ端末２００は、遠隔オペレータＯが車両１００を遠隔操作する際に使用する端末装置である。遠隔オペレータ端末２００を遠隔操作ＨＭＩ（Human Machine Interface）と言うこともできる。管理装置３００は、遠隔操作システム１の管理を行う。典型的には、管理装置３００は、クラウド上の管理サーバである。管理サーバは、分散処理を行う複数のサーバにより構成されていてもよい。
車両１００、遠隔オペレータ端末２００、及び管理装置３００は、通信ネットワークを介して互いに通信可能である。車両１００と遠隔オペレータ端末２００は、管理装置３００を介して互いに通信可能である。また、車両１００と遠隔オペレータ端末２００は、管理装置３００を介さずに直接通信を行ってもよい。
車両１００には、カメラを含む各種センサが搭載されている。カメラは、車両１００の周囲の状況を示す画像情報を取得する。センサ検出情報ＳＥＮは、各種センサにより得られる情報を含む。センサ検出情報ＳＥＮは、少なくとも、カメラにより得られる画像情報を含む。センサ検出情報ＳＥＮは、車両１００の位置及び状態（例：速度、舵角、等）を含んでいてもよい。車両１００は、センサ検出情報ＳＥＮを遠隔オペレータ端末２００に送信する。
遠隔オペレータ端末２００は、車両１００から送信されたセンサ検出情報ＳＥＮを受け取る。遠隔オペレータ端末２００は、センサ検出情報ＳＥＮを遠隔オペレータＯに提示する。具体的には、遠隔オペレータ端末２００は、表示装置を備えており、画像情報等を表示装置に表示する。遠隔オペレータＯは、表示された情報をみて、車両１００の周囲の状況を認識し、車両１００の遠隔操作を行う。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる遠隔操作に関する情報である。例えば、遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を含む。遠隔オペレータ端末２００は、遠隔操作情報ＯＰＥを車両１００に送信する。
車両１００は、遠隔オペレータ端末２００から送信された遠隔操作情報ＯＰＥを受け取る。車両１００は、受け取った遠隔操作情報ＯＰＥに従って車両走行制御を行う。このようにして、車両１００の遠隔操作が実現される。
２．遠隔操作システムの複数のモード
遠隔操作システム１（特に遠隔オペレータ端末２００）の動作モードとして、以下の「第１モード」と「第２モード」の２種類を考える。
２－１．第１モード
図２は、第１モードを説明するためのブロック図である。第１モードは、一般的なモードである。
車両１００は、センサにより得られるセンサ検出情報ＳＥＮを遠隔オペレータ端末２００に送信する。センサ検出情報ＳＥＮは、車両１００に搭載されたカメラにより得られる画像情報ＩＭＧを含んでいる。遠隔オペレータ端末２００は、車両１００から送信されるセンサ検出情報ＳＥＮを受け取り、画像情報ＩＭＧ等を表示装置２０２に表示する。遠隔オペレータＯは、表示された情報を見ながら、遠隔操作部材２０３を操作して車両１００の遠隔操作を行う。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる遠隔操作部材２０３の操作量を反映した情報を含んでいる。遠隔オペレータ端末２００は、遠隔操作情報ＯＰＥを車両１００に送信する。車両１００は、遠隔オペレータ端末２００から受け取る遠隔操作情報ＯＰＥに従って車両走行制御を行う。
このように、第１モードでは、車両１００と遠隔オペレータ端末２００との間の通信を含む「第１ループＬＯＯＰ－１」が形成される。
但し、車両１００と遠隔オペレータ端末２００との間の通信には通信遅延が伴う。通信遅延は、遠隔オペレータＯの判断遅れ、ぎこちない遠隔操作、等の原因となる。場合によっては、車両１００が蛇行してしまう。よって、遠隔操作において通信遅延の影響を抑制することは重要である。
また、車両１００から遠隔オペレータ端末２００に送信される情報が通信経路上で欠落する可能性もある。通信中の情報欠落も、遠隔オペレータＯの判断遅れ、ぎこちない遠隔操作、等の原因となる。よって、遠隔操作において情報欠落の影響を抑制することも重要である。
２－２．第２モード
図３は、第２モードを説明するためのブロック図である。第２モードは、通信遅延や通信中の情報欠落の影響を抑制することができるモードである。
より詳細には、第２モードでは、遠隔オペレータ端末２００に搭載された「シミュレータ２４０」が利用される。シミュレータ２４０は、所定空間における車両１００を含む物体群のシミュレーションをリアルタイムに行う。典型的には、所定空間は、一定エリアの空間である。例えば、所定空間は、スマートシティ等の“１つの街”である。シミュレーション対象の物体群は、車両１００に加えて、車両１００の周囲の障害物５００を含んでいてもよい。特に、物体群は、移動する障害物５００を含んでいてもよい。障害物５００としては、他車両（先行車両、並走車両、後続車両、等）、二輪車、自転車、歩行者、等が例示される。このようなシミュレータ２４０は、例えば、デジタルツイン（Digital Twin）技術によって実現される。
センサ検出情報ＳＥＮは、シミュレーション対象である物体群に関する「物体情報ＯＢＪ」を含んでいる。物体情報ＯＢＪは、物体群に含まれる各物体の位置（所定空間内の実位置）を少なくとも示す。物体情報ＯＢＪは、物体群に含まれる各物体の状態（例：速度、舵角、等）を示していてもよい。
より詳細には、物体情報ＯＢＪは、車両１００に関する「車両情報ＶＣＬ」を含んでいる。車両情報ＶＣＬは、所定空間内の車両１００の位置を少なくとも示す。車両情報ＶＣＬは、車両１００の状態（例：速度、舵角、等）を示していてもよい。このような車両情報ＶＣＬは、車両１００に搭載されたセンサによって得られ、車両１００から遠隔オペレータ端末２００に提供される。
物体情報ＯＢＪは、車両１００の周囲の障害物５００の各々に関する「障害物情報ＯＢＳ」を含んでいてもよい。障害物情報ＯＢＳは、所定空間内の障害物５００の位置を少なくとも示す。障害物情報ＯＢＳは、障害物５００の状態（例：速度、舵角、等）を示していてもよい。このような障害物情報ＯＢＳは、例えば、車両１００に搭載されたセンサによって観測され、車両１００から遠隔オペレータ端末２００に提供される。他の例として、障害物情報ＯＢＳは、所定空間に配置されたインフラセンサ４００（例：インフラカメラ）によって観測され、インフラセンサ４００から遠隔オペレータ端末２００に提供されてもよい。
車両１００の遠隔操作の最中、遠隔オペレータ端末２００は、シミュレータ２４０によって、所定空間における物体群のシミュレーションを行う。より詳細には、シミュレーションにおける各物体の初期値は、上記のセンサ検出情報ＳＥＮに含まれる物体情報ＯＢＪに基づいて設定される。初期設定の後、遠隔オペレータ端末２００は、所定空間における物体群のシミュレーションをリアルタイムに行い、物体情報ＯＢＪを推定（予測）する。そして、遠隔オペレータ端末２００は、シミュレーション結果を表示装置２０２にリアルタイムに表示する。
図４は、表示装置２０２に表示されるシミュレーション結果画面の例を示している。シミュレーション結果画面は、所定空間における物体群（車両１００や障害物５００）を視覚的に表す。例えば、シミュレーション結果画面は、所定空間における物体群及び背景を３次元的に表す。シミュレーション結果画面は、車両１００から見た景色を再現して表してもよい。シミュレーション周期毎にシミュレーション結果画面は更新される。
遠隔オペレータＯは、表示装置２０２にリアルタイムに表示されるシミュレーション結果画面を見ながら、遠隔操作部材２０３を操作して車両１００の遠隔操作を行う。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を反映した情報を含んでいる。遠隔操作情報ＯＰＥは、車両１００に送信され、車両走行制御に反映される。それに加え、遠隔操作情報ＯＰＥは、シミュレータ２４０にもフィードバックされる。シミュレータ２４０は、遠隔オペレータＯによる操作量をシミュレーションに反映する。すなわち、シミュレータ２４０は、遠隔オペレータＯによる操作量をシミュレーション内の物体情報ＯＢＪ（特に車両情報ＶＣＬ）に反映させながら、シミュレーションを行う。
以上に説明されたように、第２モードでは、遠隔操作の対象である車両１００を含む物体群のシミュレーションが遠隔オペレータ端末２００の内部で行われる。そのシミュレーション結果は表示装置２０２に表示され、遠隔オペレータＯによる操作量はシミュレーションにフィードバックされる。つまり、遠隔オペレータ端末２００内のシミュレータ２４０と遠隔オペレータＯとの間で「第２ループＬＯＯＰ－２」が形成される（図３参照）。この第２ループＬＯＯＰ－２には、車両１００と遠隔オペレータ端末２００との間の通信は含まれていない。よって、第２ループＬＯＯＰ－２に基づく遠隔操作は、通信状態に依存せず、通信遅延や情報欠落の影響を受けない。
但し、シミュレータ２４０によるシミュレーションにはシミュレーション誤差が伴う。そのシミュレーション誤差を補正するために、上述の第１ループＬＯＯＰ－１、すなわち、センサ検出情報ＳＥＮが用いられる。より詳細には、センサ検出情報ＳＥＮは、シミュレーション対象である物体群に関する物体情報ＯＢＪを含んでいる。物体情報ＯＢＪは、物体群に含まれる各物体の位置（所定空間内の実位置）を少なくとも示す。物体情報ＯＢＪは、物体群に含まれる各物体の状態（例：速度、舵角、等）を示していてもよい。そのような物体情報ＯＢＪにシミュレーション結果を同期させることによって、シミュレーション誤差を解消することができる。つまり、遠隔オペレータ端末２００は、シミュレーションの実行と平行して、通信を介して受信する物体情報ＯＢＪに基づいてシミュレーション結果を補正する。これにより、シミュレーション精度が確保され、遠隔操作の精度も確保される。
尚、センサ検出情報ＳＥＮの通信周期は、遠隔オペレータ端末２００におけるシミュレータ２４０のシミュレーション周期よりも長い。言い換えれば、遠隔オペレータ端末２００におけるシミュレータ２４０のシミュレーション周波数は、センサ検出情報ＳＥＮの通信周波数よりも高い。従って、遠隔オペレータ端末２００は、基本的には、センサ検出情報ＳＥＮを用いることなく第２ループに基づいてシミュレーションを繰り返し実行する。そして、通信を介してセンサ検出情報ＳＥＮを受信すると、遠隔オペレータ端末２００は、受信したセンサ検出情報ＳＥＮ（物体情報ＯＢＪ）に基づいてシミュレーション結果を適宜補正する。
２－３．効果
本実施の形態によれば、上述の第２モードが優先的に使用される。これにより、次のような効果が得られる。
遠隔オペレータ端末２００は、遠隔操作の対象である車両１００を含む物体群のシミュレーションをリアルタイムに行うシミュレータ２４０を備えている。遠隔オペレータ端末２００は、そのシミュレーション結果を表示装置２０２に表示する。遠隔オペレータＯは、表示されたシミュレーション結果を参照して、車両１００の遠隔操作を行うことができる。
遠隔オペレータ端末２００内で行われるシミュレーション（第２ループＬＯＯＰ－２）は、車両１００と遠隔オペレータ端末２００との間の通信状態には依存しない。よって、遠隔オペレータＯは、通信遅延や情報欠落の影響を受けることなく、車両１００の遠隔操作を行うことが可能となる。その結果、遠隔オペレータＯの判断遅れ、ぎこちない遠隔操作、等が抑制される。すなわち、遠隔オペレータＯは、車両１００の遠隔操作をより滑らかに、より安全に行うことが可能となる。
更に、本実施の形態によれば、遠隔オペレータ端末２００は、シミュレーションの実行と平行して、シミュレーション対象である物体群に関する物体情報ＯＢＪを受信する。物体情報ＯＢＪは、物体群の位置を少なくとも示す。遠隔オペレータ端末２００は、そのような物体情報ＯＢＪに基づいてシミュレーション結果を補正する。これにより、シミュレーション精度が確保され、遠隔操作の精度も確保される。
３．車両の例
３－１．構成例
図５は、車両１００の構成例を示すブロック図である。車両１００は、通信装置１０１、センサ群１０２、走行装置１０３、及び制御装置１０５を備えている。
通信装置１０１は、車両１００の外部と通信を行う。例えば、通信装置１０１は、遠隔オペレータ端末２００や管理装置３００と通信を行う。
センサ群１０２は、認識センサ、車両状態センサ、位置センサ、等を含んでいる。認識センサは、車両１００の周辺の状況を認識（検出）する。認識センサとしては、カメラ、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、レーダ、等が例示される。車両状態センサは、車両１００の状態を検出する。車両状態センサは、速度センサ、加速度センサ、ヨーレートセンサ、舵角センサ、等を含んでいる。位置センサは、車両１００の位置及び方位を検出する。例えば、位置センサは、ＧＮＳＳ（Global Navigation Satellite System）を含んでいる。
走行装置１０３は、操舵装置、駆動装置、及び制動装置を含んでいる。操舵装置は、車輪を転舵する。例えば、操舵装置は、パワーステアリング（EPS: Electric Power Steering）装置を含んでいる。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、エンジン、電動機、インホイールモータ、等が例示される。制動装置は、制動力を発生させる。
制御装置１０５は、車両１００を制御するコンピュータである。制御装置１０５は、１又は複数のプロセッサ１０６（以下、単にプロセッサ１０６と呼ぶ）と１又は複数の記憶装置１０７（以下、単に記憶装置１０７と呼ぶ）を含んでいる。プロセッサ１０６は、各種処理を実行する。例えば、プロセッサ１０６は、ＣＰＵ（Central Processing Unit）を含んでいる。記憶装置１０７は、プロセッサ１０６による処理に必要な各種情報を格納する。記憶装置１０７としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等が例示される。制御装置１０５は、１又は複数のＥＣＵ（Electronic Control Unit）を含んでいてもよい。
車両制御プログラムＰＲＯＧ１は、プロセッサ１０６によって実行されるコンピュータプログラムである。プロセッサ１０６が車両制御プログラムＰＲＯＧ１を実行することにより、制御装置１０５の機能が実現される。車両制御プログラムＰＲＯＧ１は、記憶装置１０７に格納される。あるいは、車両制御プログラムＰＲＯＧ１は、コンピュータ読み取り可能な記録媒体に記録されてもよい。
３－２．運転環境情報
制御装置１０５は、センサ群１０２を用いてセンサ検出情報ＳＥＮを取得する。センサ検出情報ＳＥＮは、記憶装置１０７に格納される。
センサ検出情報ＳＥＮは、認識センサによる認識結果を示す周辺状況情報を含む。例えば、周辺状況情報は、カメラによって撮像される画像情報ＩＭＧを含む。周辺状況情報は、車両１００の周辺の物体に関する情報を含んでいてもよい。車両１００の周辺の物体としては、障害物５００、白線、信号、標識、路側構造物、等が例示される。障害物５００としては、他車両（先行車両、並走車両、後続車両、等）、二輪車、自転車、歩行者、等が例示される。車両１００の周辺の物体に関する情報は、車両１００に対する物体の相対位置及び相対速度を示す。
また、センサ検出情報ＳＥＮは、車両状態センサによって検出される車両状態を示す車両状態情報を含む。
更に、センサ検出情報ＳＥＮは、車両１００の位置及び方位を示す車両位置情報を含む。車両位置情報は、位置センサにより得られる。地図情報と周辺状況情報（物体情報）を用いた自己位置推定処理（Localization）により、高精度な車両位置情報が取得されてもよい。
３－３．車両走行制御
制御装置１０５は、車両１００の走行を制御する車両走行制御を実行する。車両走行制御は、操舵制御、駆動制御、及び制動制御を含む。制御装置１０５は、走行装置１０３（操舵装置、駆動装置、及び制動装置）を制御することによって車両走行制御を実行する。
制御装置１０５は、センサ検出情報ＳＥＮに基づいて自動運転制御を行ってもよい。より詳細には、制御装置１０５は、センサ検出情報ＳＥＮに基づいて、車両１００の走行プランを生成する。更に、制御装置１０５は、センサ検出情報ＳＥＮに基づいて、車両１００が走行プランに従って走行するために必要な目標トラジェクトリを生成する。目標トラジェクトリは、目標位置及び目標速度を含んでいる。そして、制御装置１０５は、車両１００が目標トラジェクトリに追従するように車両走行制御を行う。
３－４．遠隔操作に関連する処理
車両１００の遠隔操作が行われる場合、制御装置１０５は、通信装置１０１を介して遠隔オペレータ端末２００と通信を行う。
制御装置１０５は、センサ検出情報ＳＥＮの少なくとも一部を遠隔オペレータ端末２００に送信する。特に、遠隔オペレータ端末２００に送信されるセンサ検出情報ＳＥＮは、シミュレーション対象である物体群に関する物体情報ＯＢＪを含んでいる。
より詳細には、物体情報ＯＢＪは、車両１００に関する車両情報ＶＣＬを含んでいる。車両情報ＶＣＬは、車両位置情報を少なくとも含んでいる。車両情報ＶＣＬは、車両状態情報（例：速度、舵角、等）を含んでいてもよい。
物体情報ＯＢＪは、車両１００の周囲の障害物５００の各々に関する障害物情報ＯＢＳを含んでいてもよい。障害物情報ＯＢＳは、障害物５００の位置を少なくとも示す。障害物５００の位置は、車両１００の位置と車両１００に対する障害物５００の相対位置に基づいて算出可能である。障害物情報ＯＢＳは、障害物５００の状態（例：速度、舵角、等）を示していてもよい。例えば、障害物５００の速度は、障害物５００の位置の履歴に基づいて算出可能である。障害物５００の舵角は、障害物５００の位置の履歴に基づいて推定可能である。障害物５００（他車両）の位置及び状態は、車車間通信により取得されてもよい。
遠隔オペレータ端末２００に送信されるセンサ検出情報ＳＥＮは、カメラにより得られた画像情報ＩＭＧを含んでいてもよい。
また、制御装置１０５は、遠隔操作情報ＯＰＥを遠隔オペレータ端末２００から受信する。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる遠隔操作に関する情報である。例えば、遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を含む。制御装置１０５は、受信した遠隔操作情報ＯＰＥに従って車両走行制御を行う。
４．遠隔オペレータ端末の例
４－１．構成例
図６は、遠隔オペレータ端末２００の構成例を示すブロック図である。遠隔オペレータ端末２００は、通信装置２０１、表示装置２０２、遠隔操作部材２０３、及び制御装置２０５を含んでいる。
通信装置２０１は、車両１００及び管理装置３００と通信を行う。また、通信装置２０１は、インフラセンサ４００（図３参照）と通信を行う。
表示装置２０２は、各種情報を表示することにより、各種情報を遠隔オペレータＯに提示する。
遠隔操作部材２０３は、遠隔オペレータＯが車両１００を遠隔操作する際に操作する部材である。遠隔操作部材は、ハンドル、アクセルペダル、ブレーキペダル、方向指示器、等を含んでいる。
制御装置２０５は、遠隔オペレータ端末２００を制御する。制御装置２０５は、１又は複数のプロセッサ２０６（以下、単にプロセッサ２０６と呼ぶ）と１又は複数の記憶装置２０７（以下、単に記憶装置２０７と呼ぶ）を含んでいる。プロセッサ２０６は、各種処理を実行する。例えば、プロセッサ２０６は、ＣＰＵを含んでいる。記憶装置２０７は、プロセッサ２０６による処理に必要な各種情報を格納する。記憶装置２０７としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤ、等が例示される。
遠隔操作制御プログラムＰＲＯＧ２は、プロセッサ２０６によって実行されるコンピュータプログラムである。プロセッサ２０６が遠隔操作制御プログラムＰＲＯＧ２を実行することにより、制御装置２０５の機能が実現される。遠隔操作制御プログラムＰＲＯＧ２は、記憶装置２０７に格納される。あるいは、遠隔操作制御プログラムＰＲＯＧ２は、コンピュータ読み取り可能な記録媒体に記録されてもよい。遠隔操作制御プログラムＰＲＯＧ２は、ネットワーク経由で提供されてもよい。
制御装置２０５は、通信装置２０１を介して、車両１００と通信を行う。制御装置２０５は、車両１００から送信されるセンサ検出情報ＳＥＮを受信する。
また、制御装置２０５は、通信装置２０１を介して、インフラセンサ４００（図３参照）と通信を行ってもよい。インフラセンサ４００（例：インフラカメラ）は、車両１００の周囲の障害物５００に関する障害物情報ＯＢＳを取得する。制御装置２０５は、インフラセンサ４００から送信される障害物情報ＯＢＳを受信する。
遠隔オペレータＯは、遠隔操作部材２０３の遠隔操作部材を操作する。遠隔操作部材の操作量は、遠隔操作部材に設置されたセンサにより検出される。制御装置２０５は、遠隔オペレータＯによる遠隔操作部材の操作量を反映した遠隔操作情報ＯＰＥを生成する。そして、制御装置２０５は、その遠隔操作情報ＯＰＥを通信装置２０１を介して車両１００に送信する。
４－２．シミュレータ
本実施の形態に係る遠隔オペレータ端末２００は、シミュレータ２４０を備えている。シミュレータ２４０は、遠隔操作プログラムＰＲＯＧ２を実行するプロセッサ２０６と記憶装置２０７との協働により実現される。
図７は、シミュレータ２４０を説明するためのブロック図である。シミュレータ２４０は、シミュレータコア２４１を含んでいる。シミュレータコア２４１は、所定空間における車両１００を含む物体群のシミュレーションをリアルタイムに行う。典型的には、所定空間は、一定エリアの空間である。例えば、所定空間は、スマートシティ等の“１つの街”である。シミュレーション対象の物体群は、車両１００に加えて、車両１００の周囲の障害物５００を含んでいてもよい。
空間構成情報ＣＯＮＦは、所定空間の３次元構成を示す。特に、空間構成情報ＣＯＮＦは、所定空間における障害物５００以外の背景の３次元構成を示す。背景は、道路、白線、信号機、標識、路側構造物、建物、等を含む。
シミュレーション物体情報ＯＢＪ－Ｓは、シミュレーション内での物体情報ＯＢＪである。シミュレーション物体情報ＯＢＪ－Ｓは、シミュレーション内での車両情報ＶＣＬである「シミュレーション車両情報ＶＣＬ－Ｓ」を含んでいる。シミュレーション物体情報ＯＢＪ－Ｓは、更に、シミュレーション内での障害物情報ＯＢＳである「シミュレーション障害物情報ＯＢＳ－Ｓ」を含んでいてもよい。
シミュレータ２４０（シミュレータコア２４１）は、空間構成情報ＣＯＮＦとシミュレーション物体情報ＯＢＪ－Ｓに基づいてシミュレーションを行い、次のサイクルのシミュレーション物体情報ＯＢＪ－Ｓを推定する。このようなシミュレータ２４０は、例えば、デジタルツイン（Digital Twin）技術によって実現される。
制御装置２０５は、シミュレータ２４０によるシミュレーション結果を表示装置２０２に表示する（図４参照）。
５．第２モードにおける遠隔オペレータ端末の処理
５－１．機能構成例
図８は、第２モードにおける遠隔オペレータ端末２００の機能構成例を示すブロック図である。遠隔オペレータ端末２００は、機能ブロックとして、受信部２１０、遅延補償部２２０、同期処理部２３０、シミュレータ２４０、及び表示部２５０を含んでいる。これら機能ブロックは、通信装置２０１、表示装置２０２、及び制御装置２０５により実現される。
受信部２１０は、車両１００の遠隔操作の最中、外部との通信を介して物体情報ＯＢＪを受信する。物体情報ＯＢＪは、車両１００から遠隔オペレータ端末２００に送信される。物体情報ＯＢＪは、インフラセンサ４００から遠隔オペレータ端末２００に送信されてもよい。受信部２１０は、物体情報ＯＢＪの受信結果に基づいて、車両１００と遠隔オペレータ端末２００との間の通信状態を把握する。通信状態としては、遅延量ＤＬ、通信速度、電波受信強度、等が例示される。
遅延補償部２２０は、「遅延補償処理」を行う。具体的には、遅延補償部２２０は、受信部２１０から、物体情報ＯＢＪと遅延量ＤＬの情報を取得する。遅延量ＤＬは、一定ではなく、通信状態に応じて変動する。遅延補償部２２０は、遅延量ＤＬに基づいて、受信した物体情報ＯＢＪの遅延を補償する。遅延が補償された物体情報ＯＢＪを、以下、「補正物体情報ＯＢＪ－Ｃ」と呼ぶ。遅延補償部２２０は、遅延量ＤＬに基づいて物体情報ＯＢＪの遅延を補償することによって補正物体情報ＯＢＪ－Ｃを算出すると言える。補正物体情報ＯＢＪ－Ｃは、遅延が補償された車両情報ＶＣＬである「補正車両情報ＶＣＬ－Ｃ」を含んでいる。補正物体情報ＯＢＪ－Ｃは、遅延が補償された障害物情報ＯＢＳである「補正障害物情報ＯＢＳ－Ｃ」を含んでいてもよい。遅延補償処理の具体例は、次のセクション５－２において説明する。
シミュレータ２４０は、上述の通り、所定空間における物体群のシミュレーションをリアルタイムに行う。シミュレーションにおける各物体の初期値は、最初の補正物体情報ＯＢＪ－Ｃに基づいて設定される。シミュレーション物体情報ＯＢＪ－Ｓは、シミュレーション内での物体情報ＯＢＪである。シミュレーション物体情報ＯＢＪ－Ｓは、シミュレーション内での車両情報ＶＣＬであるシミュレーション車両情報ＶＣＬ－Ｓを含んでいる。シミュレーション物体情報ＯＢＪ－Ｓは、更に、シミュレーション内での障害物情報ＯＢＳであるシミュレーション障害物情報ＯＢＳ－Ｓを含んでいてもよい。
同期処理部２３０は、「同期処理」を行う。具体的には、同期処理部２３０は、シミュレーション物体情報ＯＢＪ－Ｓを補正物体情報ＯＢＪ－Ｃに基づいて補正する。典型的には、同期処理部２３０は、補正物体情報ＯＢＪ－Ｃに一致（同期）するようにシミュレーション物体情報ＯＢＪ－Ｓを補正する。例えば、同期処理部２３０は、補正車両情報ＶＣＬ－Ｃに一致（同期）するようにシミュレーション車両情報ＶＣＬ－Ｓを補正する。同期処理部２３０は、補正障害物情報ＯＢＳ－Ｃに一致（同期）するようにシミュレーション障害物情報ＯＢＳ－Ｓを補正してもよい。
シミュレーション物体情報ＯＢＪ－Ｓの補正の結果、シミュレーション物体情報ＯＢＪ－Ｓが急変する可能性がある。例えば、シミュレーション内における車両１００の位置が不連続的にジャンプする可能性がある。他の例として、シミュレーション内における車両１００が急加速する可能性がある。このようなシミュレーション物体情報ＯＢＪ－Ｓの急変化を抑制するために、フィルタ処理が行われてもよい。具体的には、同期処理部２３０は、シミュレーション物体情報ＯＢＪ－Ｓの急変化を抑えるためのフィルタを含んでいる。フィルタとしては、ローパスフィルタ等の１次遅れフィルタが例示される。同期処理部２３０は、シミュレーション物体情報ＯＢＪ－Ｓにフィルタを適用することによって、補正物体情報ＯＢＪ－Ｃに一致するようにシミュレーション物体情報ＯＢＪ－Ｓを徐々に変化させる。
尚、物体情報ＯＢＪの通信周期は、シミュレータ２４０のシミュレーション周期よりも長い。言い換えれば、シミュレータ２４０のシミュレーション周波数は、物体情報ＯＢＪの通信周波数よりも高い。従って、基本的には、シミュレーション物体情報ＯＢＪ－Ｓはシミュレーションだけによって更新される。但し、遠隔オペレータ端末２００が物体情報ＯＢＪを受信すると、補正物体情報ＯＢＪ－Ｃが更新され、最新の補正物体情報ＯＢＪ－Ｃに基づいてシミュレーション物体情報ＯＢＪ－Ｓが補正される。
表示部２５０は、シミュレータ２４０によるシミュレーションの結果を表示装置２０２に表示する（図４参照）。表示装置２０２に表示されるシミュレーション結果画面は、所定空間における物体群（車両１００や障害物５００）を視覚的に表している。例えば、シミュレーション結果画面は、所定空間における物体群及び背景を３次元的に表す。シミュレーション結果画面は、車両１００から見た景色を再現して表してもよい。シミュレーション周期毎にシミュレーション結果画面は更新される。
遠隔オペレータＯは、表示装置２０２に表示されるシミュレーション結果画面を見ながら、遠隔操作部材２０３を操作して車両１００の遠隔操作を行う。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を反映した情報を含んでいる。遠隔操作情報ＯＰＥは、車両１００に送信され、車両走行制御に反映される。それに加え、遠隔操作情報ＯＰＥは、シミュレータ２４０にもフィードバックされる。シミュレータ２４０は、遠隔オペレータＯによる操作量をシミュレーションに反映する。すなわち、シミュレータ２４０は、遠隔オペレータＯによる操作量が反映されるようにシミュレーション物体情報ＯＢＪ－Ｓ（特にシミュレーション車両情報ＶＣＬ－Ｓ）を算出する。言い換えれば、シミュレータ２４０は、遠隔オペレータＯによる操作量をシミュレーション車両情報ＶＣＬ－Ｓに反映しながら、シミュレーションを行う。
５－２．遅延補償処理
図９は、遠隔操作システム１における遅延を説明するための概念図である。横軸は時間を表し、縦軸は車両１００と遠隔オペレータ端末２００との間で通信される「情報Ｘ」を表している。図９中の上段は、送信側の情報Ｘの時間変化を示している。上段中の丸印は、送信側から送信される情報Ｘとその送信タイミングを示している。一方、下段は、受信側において用いられる情報Ｘの時間変化を示している。下段中の丸印は、受信側が受信する情報Ｘとその受信タイミングを示している。
車両１００と遠隔オペレータ端末２００との間の通信には通信遅延が伴う。その遅延量ＤＬは、一定ではなく、通信状態に応じて変動する。図９に示されるように、受信側の情報Ｘは、遅延量ＤＬの分だけ、送信側の情報Ｘから遅延する。
また、一般的には、図９に示されるように、情報Ｘの通信周期は、受信側の制御周期よりも長い。言い換えれば、制御周波数は、情報Ｘの通信周波数よりも高い。そのため、受信側において制御に用いられる情報Ｘは、送信側における実際の情報Ｘから乖離する。通信周期と制御周期との差が大きくなるほど、情報Ｘの乖離は大きくなる。また、通信の遅延量ＤＬが大きくなるほど、情報Ｘの乖離は大きくなる。
図１０は、「遅延補償処理」を説明するための概念図である。受信側は、送信側から受信する情報Ｘの遅延を補償する。この処理が、遅延補償処理である。より詳細には、受信側は、送信側からの情報Ｘの受信結果に基づいて、通信の遅延量ＤＬの情報を取得する。そして、受信側は、その遅延量ＤＬに基づいて、情報Ｘの遅延を補償する。
図１１は、「アップサンプリング処理」を説明するための概念図である。受信側は、サンプリングの無い期間における情報Ｘを推定（予測）することによって、情報Ｘのサンプリング周波数（サンプリングレート）を増加させてもよい。この処理が、アップサンプリング処理である。特に、受信側は、情報Ｘのサンプリング周期（サンプリング周波数）と制御周期（制御周波数）との間の差が、通信周期（通信周波数）と制御周期（制御周波数）との間の差よりも小さくなるように、アップサンプリング処理を行う。例えば、受信側は、情報Ｘのサンプリング周期（サンプリング周波数）と制御周期（制御周波数）が一致するように、アップサンプリング処理を行う。
遠隔オペレータ端末２００における遅延補償処理の場合、情報Ｘは、物体情報ＯＢＪである。遠隔オペレータ端末２００の遅延補償部２２０は、遅延量ＤＬに基づいて物体情報ＯＢＪの遅延を補償し、補正物体情報ＯＢＪ－Ｃを算出する。以下、遠隔オペレータ端末２００の遅延補償部２２０の例を説明する。
５－２－１．第１の例
図１２は、遅延補償部２２０の第１の例を示すブロック図である。第１の例における遅延補償部２２０は、アップサンプリング処理を行いつつ遅延補償処理を行うように構成されている。より詳細には、遅延補償部２２０は、補正部２２１及び推定部２２２を含んでいる。
補正部２２１は、受信部２１０から物体情報ＯＢＪ（実際値）と遅延量ＤＬの情報を取得する。補正部２２１は、補正物体情報ＯＢＪ－Ｃを出力する。
補正物体情報ＯＢＪ－Ｃは、推定部２２２にフィードバックされる。推定部２２２は、補正物体情報ＯＢＪ－Ｃに基づいて、サンプリングの無い期間における補正物体情報ＯＢＪ－Ｃを推定（予測）する。つまり、推定部２２２は、アップサンプリング処理を行う。例えば、推定部２２２は、物体の運動を表す運動方程式を保持している。推定部２２２は、運動方程式と補正物体情報ＯＢＪ－Ｃの前回値に基づいて、次のタイミングの補正物体情報ＯＢＪ－Ｃを推定（予測）する。
推定部２２２によって推定される補正物体情報ＯＢＪ－Ｃを、便宜上、「補正物体情報ＯＢＪ－Ｃ’」と呼ぶ。推定部２２２によって推定された補正物体情報ＯＢＪ－Ｃ’は、補正部２２１に入力される。補正部２２１は、基本的に、補正物体情報ＯＢＪ－Ｃ’を補正物体情報ＯＢＪ－Ｃとして出力する。その補正物体情報ＯＢＪ－Ｃがまた推定部２２２にフィードバックされる。
但し、推定部２２２により推定される補正物体情報ＯＢＪ－Ｃ’は推定誤差を含む。そこで、補正部２２１は、その補正物体情報ＯＢＪ－Ｃ’の推定誤差を適宜補正する。より詳細には、補正部２２１は、受信部２１０から物体情報ＯＢＪ（実際値）と遅延量ＤＬの情報を取得する。補正部２２１は、物体情報ＯＢＪ（実際値）と遅延量ＤＬに基づいて、遅延を補償しながら補正物体情報ＯＢＪ－Ｃ’の推定誤差を補正する。これにより、遅延が補償され、また、推定誤差が補正された補正物体情報ＯＢＪ－Ｃが得られる。その補正物体情報ＯＢＪ－Ｃがまた推定部２２２にフィードバックされる。
尚、物体情報ＯＢＪの通信周期は遅延補償部２２０の制御周期よりも長いため、物体情報ＯＢＪは、補正物体情報ＯＢＪ－Ｃ’よりも低い頻度で補正部２２１に入力される。従って、補正部２２１は、基本的には、補正物体情報ＯＢＪ－Ｃ’を補正物体情報ＯＢＪ－Ｃとして出力する。そして、物体情報ＯＢＪが更新されると、補正部２２１は、最新の物体情報ＯＢＪと遅延量ＤＬに基づいて、補正物体情報ＯＢＪ－Ｃ’の推定誤差を補正し、補正物体情報ＯＢＪ－Ｃを取得する。
このように、図１２に示される遅延補償部２２０は、アップサンプリング処理を行いつつ遅延補償処理を行う。アップサンプリング処理と遅延補償処理を行う遅延補償部２２０は、例えば、ディレイドカルマンフィルター（Delayed Kalman Filter）を利用することにより実現可能である。ディレイドカルマンフィルターは、OOSM (Out-of-Sequence Measurement)とも呼ばれる。ディレイドカルマンフィルターの詳細については、非特許文献１、非特許文献２を参照されたい。ディレイドカルマンフィルターは、遅延量ＤＬが変動する物体情報ＯＢＪに対しても適用可能である。遅延補償部２２０は、遅延量ＤＬが変動する物体情報ＯＢＪにディレイドカルマンフィルターを適用することによって、アップサンプリング処理及び遅延補償処理を実行する。
５－２－２．第２の例
図１３は、遅延補償部２２０の第２の例を示すブロック図である。遅延補償部２２０は、位置予測部２２３を含んでいる。位置予測部２２３は、受信部２１０から物体情報ＯＢＪと遅延量ＤＬの情報を取得する。物体情報ＯＢＪは、物体の位置、速度、及び舵角を含んでいる。位置予測部２２３は、その物体情報ＯＢＪに基づいて、物体の将来の軌道を予測する。そして、位置予測部２２３は、物体の将来の軌道と遅延量ＤＬに基づいて、遅延量ＤＬの分だけ物体の位置を先読みする。すなわち、位置予測部２２３は、物体情報ＯＢＪで示される物体の位置の遅延を補償して、補正物体情報ＯＢＪ－Ｃを取得する。
５－３．効果
以上に説明されたように、遠隔オペレータ端末２００は、遠隔操作の対象である車両１００を含む物体群のシミュレーションをリアルタイムに行うシミュレータ２４０を備えている。遠隔オペレータ端末２００は、そのシミュレーション結果を表示装置２０２に表示する。遠隔オペレータＯは、表示されたシミュレーション結果を参照して、車両１００の遠隔操作を行うことができる。
遠隔オペレータ端末２００内で行われるシミュレーション（第２ループＬＯＯＰ－２）は、車両１００と遠隔オペレータ端末２００との間の通信状態には依存しない。よって、遠隔オペレータＯは、通信遅延や情報欠落の影響を受けることなく、車両１００の遠隔操作を行うことが可能となる。その結果、遠隔オペレータＯの判断遅れ、ぎこちない遠隔操作、等が抑制される。すなわち、遠隔オペレータＯは、車両１００の遠隔操作をより滑らかに、より安全に行うことが可能となる。
更に、本実施の形態によれば、遠隔オペレータ端末２００は、シミュレーションの実行と平行して、シミュレーション対象である物体群に関する物体情報ＯＢＪを受信する。物体情報ＯＢＪは、物体群の位置を少なくとも示す。遠隔オペレータ端末２００は、受信した物体情報ＯＢＪの遅延を補償することによって補正物体情報ＯＢＪ－Ｃを取得する「遅延補償処理」を実行する。更に、遠隔オペレータ端末２００は、補正物体情報ＯＢＪ－Ｃに基づいてシミュレーション物体情報ＯＢＪ－Ｓを補正する「同期処理」を実行する。これにより、シミュレーション精度が確保され、遠隔操作の精度も確保される。
同期処理は、補正物体情報ＯＢＪ－Ｃに一致するようにシミュレーション物体情報ＯＢＪ－Ｓを徐々に変化させるフィルタ処理を含んでいてもよい。これにより、シミュレーション物体情報ＯＢＪ－Ｓの急変が抑制される。例えば、シミュレーション内における車両１００の位置が不連続的にジャンプすることが抑制される。
６．切替処理
車両１００の挙動が複雑に変わるようなシーンにおいて、車両１００の挙動の予測精度が低くなる可能性がある。予測精度が低い場合、第２モードを一時的に停止してもよい。この場合、遠隔操作システム１（遠隔オペレータ端末２００）の動作モードは、「一時モード」に切り替えられる。この処理を、以下、「切替処理」と呼ぶ。
図１４は、切替処理を説明するためのブロック図である。遠隔オペレータ端末２００は、図８で示された構成に加えて、更に、切り替え部２６０を含んでいる。
切り替え部２６０は、遅延補償部２２０から補正物体情報ＯＢＪ－Ｃを受け取り、シミュレータ２４０からシミュレーション物体情報ＯＢＪ－Ｓを受け取る。切り替え部２６０は、補正物体情報ＯＢＪ－Ｃとシミュレーション物体情報ＯＢＪ－Ｓとの間の乖離度を算出する。例えば、切り替え部２６０は、シミュレーション対象の物体毎に、補正物体情報ＯＢＪ－Ｃとシミュレーション物体情報ＯＢＪ－Ｓとの間のパラメータ毎の差分の絶対値を算出する。そして、切り替え部２６０は、物体毎及びパラメータ毎の差分の絶対値の総和を乖離度として算出する。
更に、切り替え部２６０は、算出した乖離度が閾値を超える状態が一定時間以上継続するか判定する。乖離度が閾値を超える状態が一定時間以上継続した場合、切り替え部２６０は、物体情報ＯＢＪをシミュレータ２４０に提供する。シミュレータ２４０は、補正物体情報ＯＢＪ－Ｃではなく物体情報ＯＢＪをシミュレーション物体情報ＯＢＪ－Ｓとして設定する。
切替処理を行った場合、遠隔オペレータ端末２００は、車両１００に対して減速を指示してもよい。車両１００は、遠隔オペレータ端末２００からの指示に従って減速する。これにより、車両１００の挙動の予測精度が向上することが期待される。
乖離度が閾値以下となる状態が一定時間以上継続した場合、切り替え部２６０は、物体情報ＯＢＪをシミュレータ２４０に提供することを停止する。遠隔操作システム１（遠隔オペレータ端末２００）の動作モードは、第２モードに復帰する。
７．車両側の遅延補償処理
遠隔オペレータ端末２００は、遠隔オペレータＯによる操作量を含む遠隔操作情報ＯＰＥを車両１００に送信する。車両１００の制御装置１０５は、遠隔オペレータ端末２００から送信される遠隔操作情報ＯＰＥを受信する。この遠隔操作情報ＯＰＥの遅延も補償することによって、遠隔オペレータＯは、車両１００の遠隔操作を更に滑らかに行うことが可能となる。
図１５は、車両１００における遅延補償処理に関連する機能構成例を示すブロック図である。車両１００は、機能ブロックとして、受信部１１０、遅延補償部１２０、及び制御部１３０を含んでいる。これら機能ブロックは、通信装置１０１及び制御装置１０５により実現される。
受信部１１０は、車両１００の遠隔操作の最中、遠隔オペレータ端末２００から送信される遠隔操作情報ＯＰＥを受信する。受信部１１０は、遠隔操作情報ＯＰＥの受信結果に基づいて、遠隔オペレータ端末２００との通信状態を把握する。通信状態としては、遅延量ＤＬ、通信速度、電波受信強度、等が例示される。
遅延補償部１２０は、遅延補償処理を行う。具体的には、遅延補償部１２０は、受信部１１０から、遠隔操作情報ＯＰＥと遅延量ＤＬの情報を取得する。遅延量ＤＬは、一定ではなく、通信状態に応じて変動する。遅延補償部１２０は、遅延量ＤＬに基づいて遠隔操作情報ＯＰＥの遅延を補償する。遅延が補償された遠隔操作情報ＯＰＥを、以下、「補正遠隔操作情報ＯＰＥ－Ｃ」と呼ぶ。遅延補償部１２０は、遅延量ＤＬに基づいて遠隔操作情報ＯＰＥの遅延を補償することによって補正遠隔操作情報ＯＰＥ－Ｃを算出すると言える。
制御部１３０は、遅延補償処理後の補正遠隔操作情報ＯＰＥ－Ｃを受け取る。制御部１３０は、その補正遠隔操作情報ＯＰＥ－Ｃに従って車両走行制御を行う。
図１６は、遅延補償部１２０の例を示すブロック図である。図１６に示される遅延補償部１２０は、アップサンプリング処理を行いつつ遅延補償処理を行うように構成されている（図１０、図１１参照）。より詳細には、遅延補償部１２０は、補正部１２１及び推定部１２２を含んでいる。
補正部１２１は、受信部２１０から遠隔操作情報ＯＰＥ（実際値）と遅延量ＤＬの情報を取得する。補正部１２１は、補正遠隔操作情報ＯＰＥ－Ｃを出力する。
補正遠隔操作情報ＯＰＥ－Ｃは、推定部１２２にフィードバックされる。推定部１２２は、補正遠隔操作情報ＯＰＥ－Ｃに基づいて、サンプリングの無い期間における補正遠隔操作情報ＯＰＥ－Ｃを推定（予測）する。つまり、推定部１２２は、アップサンプリング処理を行う。例えば、推定部１２２は、車両１００の運動を表す運動方程式を保持している。推定部１２２は、運動方程式と補正遠隔操作情報ＯＰＥ－Ｃの前回値に基づいて、次のタイミングの補正遠隔操作情報ＯＰＥ－Ｃを推定（予測）する。
推定部１２２によって推定される補正遠隔操作情報ＯＰＥ－Ｃを、便宜上、「補正遠隔操作情報ＯＰＥ－Ｃ’」と呼ぶ。推定部１２２によって推定された補正遠隔操作情報ＯＰＥ－Ｃ’は、補正部１２１に入力される。補正部１２１は、基本的に、補正遠隔操作情報ＯＰＥ－Ｃ’を補正遠隔操作情報ＯＰＥ－Ｃとして出力する。その補正遠隔操作情報ＯＰＥ－Ｃがまた推定部１２２にフィードバックされる。
但し、推定部１２２により推定される補正遠隔操作情報ＯＰＥ－Ｃ’は推定誤差を含む。そこで、補正部１２１は、その補正遠隔操作情報ＯＰＥ－Ｃ’の推定誤差を適宜補正する。より詳細には、補正部１２１は、受信部２１０から遠隔操作情報ＯＰＥ（実際値）と遅延量ＤＬの情報を取得する。補正部１２１は、遠隔操作情報ＯＰＥ（実際値）と遅延量ＤＬに基づいて、遅延を補償しながら補正遠隔操作情報ＯＰＥ－Ｃ’の推定誤差を補正する。これにより、遅延が補償され、また、推定誤差が補正された補正遠隔操作情報ＯＰＥ－Ｃが得られる。その補正遠隔操作情報ＯＰＥ－Ｃがまた推定部１２２にフィードバックされる。
尚、遠隔操作情報ＯＰＥの通信周期は遅延補償部１２０の制御周期よりも長いため、遠隔操作情報ＯＰＥは、補正遠隔操作情報ＯＰＥ－Ｃ’よりも低い頻度で補正部１２１に入力される。従って、補正部１２１は、基本的には、補正遠隔操作情報ＯＰＥ－Ｃ’を補正遠隔操作情報ＯＰＥ－Ｃとして出力する。そして、遠隔操作情報ＯＰＥが更新されると、補正部１２１は、最新の遠隔操作情報ＯＰＥと遅延量ＤＬに基づいて、補正遠隔操作情報ＯＰＥ－Ｃ’の推定誤差を補正し、補正遠隔操作情報ＯＰＥ－Ｃを取得する。
このように、図１６に示される遅延補償部１２０は、アップサンプリング処理を行いつつ遅延補償処理を行う。アップサンプリング処理と遅延補償処理を行う遅延補償部１２０は、例えば、ディレイドカルマンフィルター（Delayed Kalman Filter）を利用することにより実現可能である（非特許文献１、非特許文献２参照）。ディレイドカルマンフィルターは、遅延量ＤＬが変動する遠隔操作情報ＯＰＥに対しても適用可能である。遅延補償部１２０は、遅延量ＤＬが変動する遠隔操作情報ＯＰＥにディレイドカルマンフィルターを適用することによって、アップサンプリング処理及び遅延補償処理を実行する。
推定部１２２による補正遠隔操作情報ＯＰＥ－Ｃ’の推定精度を向上させるために、補足情報ＳＵＰが用いられてもよい。例えば、補足情報ＳＵＰは、車両１００が移動する道路の形状を含む。例えば、車両１００がカーブ路を走行する場合、そのようなカーブ路の形状の情報が、将来の操作量の推定に利用される。道路形状は、例えば周辺状況情報から得られる。あるいは、道路形状は、車両位置情報と地図情報から取得されてもよい。補足情報ＳＵＰは、車両１００の走行装置１０３（アクチュエータ）の制御量である車両走行制御量を含んでいてもよい。車両走行制御量も、推定部１２２による推定処理に有用である。このような補足情報ＳＵＰは、制御部１３０から遅延補償部１２０に提供される。推定部１２２は、補足情報ＳＵＰも考量して補正遠隔操作情報ＯＰＥ－Ｃ’を推定（予測）する。これにより、補正遠隔操作情報ＯＰＥ－Ｃ’の推定精度が更に向上する。
１ 遠隔操作システム
１００ 車両
２００ 遠隔オペレータ端末
２０１ 通信装置
２０２ 表示装置
２０３ 遠隔操作部材
２０５ 制御装置
２０６ プロセッサ
２０７ 記憶装置
２１０ 受信部
２２０ 遅延補償部
２３０ 同期処理部
２４０ シミュレータ
２５０ 表示部
２６０ 切り替え部
３００ 管理装置
４００ インフラセンサ
５００ 障害物
ＤＬ 遅延量
ＬＯＯＰ－１ 第１ループ
ＬＯＯＰ－２ 第２ループ
ＯＢＪ 物体情報
ＯＢＪ－Ｃ 補正物体情報
ＯＢＪ－Ｓ シミュレーション物体情報
ＯＰＥ 遠隔操作情報
ＯＰＥ－Ｃ 補正遠隔操作情報
ＳＥＮ センサ検出情報

Claims (11)

  1. 遠隔オペレータによる遠隔操作の対象である移動体と、
    前記遠隔オペレータ側の遠隔オペレータ端末と
    を備え、
    前記遠隔オペレータ端末は、所定空間における前記移動体を含む物体群のシミュレーションをリアルタイムに行うシミュレータを備え、前記シミュレーションの結果を表示するように構成され、
    前記シミュレーションの実行と平行して、前記遠隔オペレータ端末は、更に、
    少なくとも前記移動体と通信を行い、前記物体群の位置を少なくとも示す物体情報を受信し、
    受信した前記物体情報の遅延を補償することによって補正物体情報を取得する遅延補償処理を実行し、
    前記シミュレーション内での前記物体情報であるシミュレーション物体情報を前記補正物体情報に基づいて補正する同期処理を実行する
    ように構成された
    遠隔操作システム。
  2. 請求項１に記載の遠隔操作システムであって、
    前記シミュレータは、前記遠隔オペレータによる操作量が反映されるように前記シミュレーション物体情報を算出する
    遠隔操作システム。
  3. 請求項１に記載の遠隔操作システムであって、
    前記同期処理は、前記補正物体情報に一致するように前記シミュレーション物体情報を補正することを含む
    遠隔操作システム。
  4. 請求項３に記載の遠隔操作システムであって、
    前記同期処理は、前記補正物体情報に一致するように前記シミュレーション物体情報を徐々に変化させるフィルタ処理を含む
    遠隔操作システム。
  5. 請求項１に記載の遠隔操作システムであって、
    前記遅延補償処理は、
    前記補正物体情報を推定することと、
    受信した前記物体情報と前記移動体から前記遠隔オペレータ端末への通信の遅延量に基づいて、前記遅延を補償しながら前記補正物体情報の推定誤差を補正することによって前記補正物体情報を取得することと
    を含む
    遠隔操作システム。
  6. 請求項５に記載の遠隔操作システムであって、
    前記遠隔オペレータ端末は、前記物体情報にディレイドカルマンフィルターを適用することによって前記遅延補償処理を実行する
    遠隔操作システム。
  7. 請求項１に記載の遠隔操作システムであって、
    前記物体群は、前記移動体に加えて、前記移動体の周囲の障害物を含む
    遠隔操作システム。
  8. 請求項１に記載の遠隔操作システムであって、
    前記遠隔オペレータ端末は、更に、
    前記シミュレーション物体情報と前記補正物体情報との間の乖離度が閾値を超える状態が一定時間以上継続する場合、通信を介して得られる前記物体情報を前記シミュレーション物体情報として設定する
    ように構成された
    遠隔操作システム。
  9. 請求項８に記載の遠隔操作システムであって、
    前記遠隔オペレータ端末は、更に、
    前記シミュレーション物体情報と前記補正物体情報との間の前記乖離度が前記閾値を超える場合、前記移動体に減速を指示する
    ように構成された
    遠隔操作システム。
  10. 請求項１乃至９のいずれか一項に記載の遠隔操作システムであって、
    前記移動体は、
    前記遠隔オペレータ端末から前記遠隔オペレータによる操作量を含む遠隔操作情報を受信し、
    受信した前記遠隔操作情報の遅延を補償することによって補正遠隔操作情報を取得し、
    前記補正遠隔操作情報に従って前記移動体を制御する
    ように構成された
    遠隔操作システム。
  11. 移動体の遠隔操作を行う遠隔オペレータによって使用される遠隔オペレータ端末であって、
    所定空間における前記移動体を含む物体群のシミュレーションをリアルタイムに実行し、前記シミュレーションの結果を表示するように構成された１又は複数のプロセッサを備え、
    前記シミュレーションの実行と平行して、前記１又は複数のプロセッサは、更に、
    少なくとも前記移動体と通信を行い、前記物体群の位置を少なくとも示す物体情報を受信し、
    受信した前記物体情報の遅延を補償することによって補正物体情報を取得する遅延補償処理を実行し、
    前記シミュレーション内での前記物体情報であるシミュレーション物体情報を前記補正物体情報に基づいて補正する同期処理を実行する
    ように構成された
    遠隔オペレータ端末。
JP2022081003A 2022-05-17 2022-05-17 遠隔操作システム及び遠隔オペレータ端末 Pending JP2023169715A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022081003A JP2023169715A (ja) 2022-05-17 2022-05-17 遠隔操作システム及び遠隔オペレータ端末
US18/185,545 US20230376032A1 (en) 2022-05-17 2023-03-17 Remote operation system and remote operator terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022081003A JP2023169715A (ja) 2022-05-17 2022-05-17 遠隔操作システム及び遠隔オペレータ端末

Publications (1)

Publication Number Publication Date
JP2023169715A true JP2023169715A (ja) 2023-11-30

Family

ID=88791419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022081003A Pending JP2023169715A (ja) 2022-05-17 2022-05-17 遠隔操作システム及び遠隔オペレータ端末

Country Status (2)

Country Link
US (1) US20230376032A1 (ja)
JP (1) JP2023169715A (ja)

Also Published As

Publication number Publication date
US20230376032A1 (en) 2023-11-23

Similar Documents

Publication Publication Date Title
US10031526B1 (en) Vision-based driving scenario generator for autonomous driving simulation
US10800427B2 (en) Systems and methods for a vehicle controller robust to time delays
US10891747B1 (en) Sensor calibration system for autonomous driving vehicles
US20190283766A1 (en) Drivetrain compensation for autonomous vehicles
US10452065B2 (en) Human-machine interface (HMI) architecture
US11726212B2 (en) Detector for point cloud fusion
US11453409B2 (en) Extended model reference adaptive control algorithm for the vehicle actuation time-latency
US11703577B2 (en) Recalibration determination system for autonomous driving vehicles with multiple LiDAR sensors
US11703599B2 (en) Partial point cloud-based pedestrians' velocity estimation method
US20220018932A1 (en) Calibration apparatus, calibration method, program, and calibration system and calibration target
US11592581B2 (en) Dual inertial measurement units for inertial navigation system
US11713057B2 (en) Feedback based real time steering calibration system
US11429115B2 (en) Vehicle-platoons implementation under autonomous driving system designed for single vehicle
CN110654380A (zh) 用于控制车辆的方法和装置
JP2023169715A (ja) 遠隔操作システム及び遠隔オペレータ端末
CN113533876B (zh) 用于执行自主驾驶车辆的电磁兼容性测试的方法和***
US11662745B2 (en) Time determination of an inertial navigation system in autonomous driving systems
US11527076B2 (en) Point cloud-based low-height obstacle detection system
WO2021174485A1 (en) Latency compensation in inertial navigation system
US20230259124A1 (en) Control device, control method, and non-transitory computer-readable recording medium
US20240045027A1 (en) Adaptive lidar data processing for driverless vehicle
US11679757B2 (en) Control assistant system to align driving and riding experience between gasoline and electric vehicles
JP7476263B2 (ja) 車両制御装置、車両制御方法及び車両制御プログラム
US20220317685A1 (en) Remote driving system, remote driving device, and traveling video display method
US20240070056A1 (en) Manufacture test system for computation hardware used in driverless vehicle