JP7468423B2 - 遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム - Google Patents

遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム Download PDF

Info

Publication number
JP7468423B2
JP7468423B2 JP2021049877A JP2021049877A JP7468423B2 JP 7468423 B2 JP7468423 B2 JP 7468423B2 JP 2021049877 A JP2021049877 A JP 2021049877A JP 2021049877 A JP2021049877 A JP 2021049877A JP 7468423 B2 JP7468423 B2 JP 7468423B2
Authority
JP
Japan
Prior art keywords
unit
imaging direction
remote
information
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021049877A
Other languages
English (en)
Other versions
JP2022148262A (ja
Inventor
正浩 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021049877A priority Critical patent/JP7468423B2/ja
Priority to US17/699,771 priority patent/US11856332B2/en
Priority to CN202210290252.7A priority patent/CN115134519B/zh
Publication of JP2022148262A publication Critical patent/JP2022148262A/ja
Application granted granted Critical
Publication of JP7468423B2 publication Critical patent/JP7468423B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Selective Calling Equipment (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Description

本発明は、遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラムに関する。
特許文献1は、操作端末を用いて遠隔操作可能なロボットを開示している。具体的には、ロボットは、ロボットに接近した人間の顔を撮影するカメラを備える。操作端末の表示装置にはカメラの撮像画像が表示される。これにより、操作端末のオペレータは、ロボットと対話している人間をリアルタイムで見ることができる。
特許第5070441号公報
ところで、互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作ロボットをそれぞれ遠隔操作するに際し、複数のユーザ間で意思疎通を図りたい場合がある。
しかし、各ユーザは、他のユーザが現在、遠隔操作端末及び遠隔操作ロボットを介して何を見ているのか把握することができず、円滑な意思疎通を図ることができない。
本発明の目的は、互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作するに際し、複数のユーザ間で円滑な意思疎通を図るための技術を提供することにある。
本願発明の第1の観点によれば、互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、前記複数の遠隔操作移動体と、前記複数の遠隔操作端末と、を備え、各遠隔操作移動体は、対応する遠隔操作端末から制御指令を受信する制御指令受信部と、前記制御指令に基づいて自機の動作を制御する動作制御部と、撮像部と、前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、前記撮像部の撮像方向を検出する撮像方向検出部と、前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、前記撮像部の撮像方向が、前記撮像方向情報受信部が受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように前記撮像方向情報受信部が受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、を備え、各遠隔操作端末は、前記制御指令の入力操作を受け入れる制御指令入力部と、対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、前記撮像画像情報を表示する撮像画像情報表示部と、を備えた、遠隔操作システムが提供される。以上の構成によれば、前記複数の遠隔操作移動体の前記撮像部の撮像方向が互いに同期するので、前記複数の遠隔操作端末の前記撮像画像情報表示部は似たような前記撮像画像情報を表示することになり、もって、複数のユーザ間で円滑な意思疎通を図ることができる。
好ましくは、前記撮像方向情報は、前記撮像部の撮像方向の方位角及び仰俯角を示す情報を含む。以上の構成によれば、前記撮像方向制御部が同期処理を円滑に実行できる。
好ましくは、各遠隔操作移動体は、自機の機体識別情報を記憶する自機識別情報記憶部と、現在地情報を取得する現在地情報取得部と、前記機体識別情報及び前記現在地情報を含む識別位置情報を他の遠隔操作移動体に送信する識別位置情報送信部と、自機に対応するユーザと関係性のあるユーザの遠隔操作移動体の機体識別情報を記憶する他機識別情報記憶部と、他の遠隔操作移動体から前記識別位置情報を受信する識別位置情報受信部と、前記他機識別情報記憶部に記憶されている前記機体識別情報と前記識別位置情報受信部が受信した前記識別位置情報に基づいて、自機に対応するユーザと関係性のあるユーザの遠隔操作移動体が自機の近くにいることを示す関連移動体存在情報を生成する関連移動体存在情報生成部と、前記関連移動体存在情報を対応する遠隔操作端末に送信する関連移動体存在情報送信部と、を更に備え、各遠隔操作端末は、対応する遠隔操作移動体から前記関連移動体存在情報を受信する関連移動体存在情報受信部と、前記関連移動体存在情報を表示する関連移動体存在情報表示部と、を備える。以上の構成によれば、自分と関係性のあるユーザの遠隔操作移動体が、自分の遠隔操作移動体の近くにいることを容易に知ることができる。
好ましくは、各遠隔操作端末は、他の遠隔操作端末に同期要求を送信する同期要求送信部と、他の遠隔操作端末から前記同期要求を受信する同期要求受信部と、他の遠隔操作端末から受信した前記同期要求の承認操作を受け入れる同期要求承認部と、を更に備え、各遠隔操作移動体の前記撮像方向制御部は、前記同期要求が承認されたら同期処理を開始する。以上の構成によれば、同期処理のセキュリティを確保することができる。
好ましくは、各遠隔操作移動体の前記撮像方向制御部は、自機に対応する遠隔操作端末の前記同期要求承認部が前記同期要求の承認操作を受け入れたら同期処理を開始する。以上の構成によれば、同期要求を送信した送信元が他機の撮像方向を決定する権限を有する。
好ましくは、各遠隔操作端末は、前記撮像画像情報表示部が表示する前記撮像画像情報に映る少なくとも1つ以上の遠隔操作移動体から少なくとも1つ以上の遠隔操作移動体を選択する選択操作を受け入れる同期先選択部を更に備え、前記同期要求送信部は、選択された少なくとも1つ以上の遠隔操作移動体に対応する遠隔操作端末に前記同期要求を送信する。以上の構成によれば、同期要求を送信する他機を直感的に選択することができる。
好ましくは、前記動作制御部は、前記撮像方向制御部が前記同期処理を実行している間、前記同期要求を送信した送信元の遠隔操作移動体に追従して自機が移動するように自機の動作を制御する。以上の構成によれば、同期処理を実行している間、自機が同期先の遠隔操作移動体に追従して移動するようになる。
好ましくは、前記撮像方向制御部は、前記制御指令受信部が前記撮像部の撮像方向を変更する制御指令を受信したら同期処理を終了する。以上の構成によれば、同期処理を実行している間でもいつでも好きな方向へ撮像方向を変更できる。
好ましくは、前記撮像方向制御部は、同期処理を終了したとき、前記撮像部の撮像方向を基準撮像方向に戻す。以上の構成によれば、同期終了時点における自機の向きと撮像部の撮像方向とのギャップを解消できるので、同期終了時点の自機の移動操作が簡単になる。
本願発明の第2の観点によれば、撮像部と、他の遠隔操作移動体から当該他の遠隔操作移動体の撮像部の撮像方向を示す撮像方向情報を受信する撮像方向情報受信部と、前記撮像部の撮像方向が前記撮像方向情報の送信元の前記撮像部の撮像方向と同期するように前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、を備えた、遠隔操作移動体が提供される。以上の構成によれば、自機の撮像部の撮像方向と他機の撮像部の撮像方向が同期するので、複数のユーザ間で円滑な意思疎通を図ることができる。
本願発明の第3の観点によれば、互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作方法であって、各遠隔操作移動体が、対応する遠隔操作端末から制御指令を受信し、各遠隔操作移動体が、前記制御指令に基づいて自機の動作を制御し、各遠隔操作移動体が、自機の撮像部から撮像画像情報を取得し、各遠隔操作移動体が、前記撮像画像情報を対応する前記遠隔操作端末に送信し、各遠隔操作移動体が、前記撮像部の撮像方向を検出し、各遠隔操作移動体が、検出した撮像方向を示す撮像方向情報を生成し、各遠隔操作移動体が、前記撮像方向情報を他の遠隔操作移動体に送信し、各遠隔操作移動体が、前記撮像方向情報を他の遠隔操作移動体から受信し、各遠隔操作移動体が、前記撮像部の撮像方向が、受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように、受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御し、各遠隔操作端末が、前記制御指令の入力操作を受け入れ、各遠隔操作端末が、対応する遠隔操作移動体に前記制御指令を送信し、各遠隔操作端末が、対応する遠隔操作移動体から前記撮像画像情報を受信し、各遠隔操作端末が、前記撮像画像情報を表示する、遠隔操作方法が提供される。以上の方法によれば、前記複数の遠隔操作移動体の前記撮像部の撮像方向が互いに同期するので、前記複数の遠隔操作端末は似たような前記撮像画像情報を表示することになり、もって、複数のユーザ間で円滑な意思疎通を図ることができる。
コンピュータに、上記の遠隔操作方法を実行させるプログラムが提供される。
本願発明の第4の観点によれば、互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、前記複数の遠隔操作移動体と、前記複数の遠隔操作端末と、を備え、各遠隔操作移動体は、対応する遠隔操作端末から制御指令を受信する制御指令受信部と、前記制御指令に基づいて自機の動作を制御する動作制御部と、撮像部と、前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、前記撮像部の撮像方向を検出する撮像方向検出部と、前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、前記撮像方向情報生成部が生成した前記撮像方向情報と、前記撮像方向情報受信部が受信した前記撮像方向情報と、の差分を示す差分情報を生成する差分情報生成部と、前記差分情報を対応する遠隔操作端末に送信する差分情報送信部と、を備え、各遠隔操作端末は、前記制御指令の入力操作を受け入れる制御指令入力部と、対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、前記撮像画像情報を表示する撮像画像情報表示部と、対応する遠隔操作移動体から前記差分情報を受信する差分情報受信部と、前記差分情報を表示する差分情報表示部と、を備えた、遠隔操作システムが提供される。以上の構成によれば、前記差分情報が示す差分を解消するように前記ユーザが前記制御指令を入力することにより、前記複数の遠隔操作移動体の前記撮像部の撮像方向が互いに近づくので、前記複数の遠隔操作端末の前記撮像画像情報表示部は似たような前記撮像画像情報を表示することになり、もって、複数のユーザ間で円滑な意思疎通を図ることができる。
本発明によれば、互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作するに際し、複数のユーザ間で円滑な意思疎通を図ることができる。
遠隔観光システムの概略図を示す図である。(第1実施形態) 遠隔操作ロボットの機能ブロック図である。(第1実施形態) 他機識別情報記憶部の記憶内容を例示する図である。(第1実施形態) 識別位置情報受信部が受信する識別位置情報を例示する図である。(第1実施形態) 遠隔操作端末の機能ブロック図である。(第1実施形態) 遠隔操作端末のディスプレイの表示例を示す図である。(第1実施形態) 遠隔観光システムのシーケンス図である。(第1実施形態) 遠隔操作端末のディスプレイの表示例を示す図である。(第1実施形態) 遠隔操作端末のディスプレイの表示例を示す図である。(第1実施形態) 遠隔操作端末のディスプレイの表示例を示す図である。(第1実施形態) 遠隔操作端末のディスプレイの表示例を示す図である。(第1実施形態) 遠隔操作ロボットの機能ブロック図である。(第2実施形態) 遠隔操作端末の機能ブロック図である。(第2実施形態)
昨今のコロナ禍で様々な遠隔サービスが生まれつつある。その中でも、特に遠隔サービスと観光を結びつけた遠隔観光ツアーが注目を浴びている。遠隔観光ツアーは、例えば、互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作ロボットをそれぞれ遠隔操作することで実現される。
しかしながら、各ユーザは、他のユーザが現在、遠隔操作端末及び遠隔操作ロボットを介して何を見ているのか把握することが難しい。なぜなら、遠隔操作ロボットに搭載されたカメラの画角が有限だからである。それ故、複数のユーザが同じ風景を同時に楽しみながら会話したり散策したりする観光の醍醐味を得られず、遠隔観光ツアーには観光としての魅力がないという意見が大勢を占めている。
上記の課題を解決すべく、何れかの遠隔操作ロボットのカメラが撮像した撮像画像を複数の遠隔操作端末に配信することも考えられる。しかし、この場合、映像画像の提供を受けるユーザにとって、自分が現地で実際に観光している没入感を得難い。
そこで、本願発明は、上記の課題に鑑みて発明されたものであり、互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作するに際し、複数のユーザ間で円滑な意思疎通を図る技術を提供するものである。
(第1実施形態)
以下、図1から図11を参照して、第1実施形態を説明する。
図1には、遠隔観光システム1を示している。遠隔観光システム1は、遠隔操作システムの一具体例である。
遠隔観光システム1は、複数の遠隔操作ロボット2と、複数の遠隔操作端末3と、を含む。
本実施形態において、複数の遠隔操作ロボット2は、遠隔操作ロボット2A及び遠隔操作ロボット2Bを含む。複数の遠隔操作ロボット2は、3つ以上の遠隔操作ロボット2を含んでもよい。
遠隔操作ロボット2A及び遠隔操作ロボット2Bは、同じ場所に位置している。即ち、遠隔操作ロボット2A及び遠隔操作ロボット2Bは、同じ観光地に位置している。典型的には、遠隔操作ロボット2A及び遠隔操作ロボット2Bは、互いを目視で確認し合える程度に近づいている。
本実施形態において、複数の遠隔操作端末3は、遠隔操作端末3A及び遠隔操作端末3Bを含む。複数の遠隔操作端末3は、3つ以上の遠隔操作端末3を含んでもよい。
遠隔操作端末3Aは、ユーザAが所持する端末であって、典型的にはユーザAが所有するスマートフォン又はラップトップコンピュータである。遠隔操作端末3Bは、ユーザBが所持する端末であって、典型的にはユーザBが所有するスマートフォン又はラップトップコンピュータである。
ユーザA及びユーザBは、典型的には同じ遠隔観光ツアーに参加している。ユーザA及びユーザBは、互いに離れた場所に位置している。典型的には、ユーザA及びユーザBは、少なくとも互いを目視で確認し合えない程度に離れている。従って、ユーザAは、ユーザB及びユーザBが所持する遠隔操作端末3Bを見ることはできず、ユーザBは、ユーザA及びユーザAが所持する遠隔操作端末3Aを見ることができない。
遠隔操作端末3A、遠隔操作端末3B、遠隔操作ロボット2A、遠隔操作ロボット2Bは、例えばインターネットなどのWAN(Wide Area Network)を介して双方向通信可能に構成されている。しかし、遠隔操作端末3A、遠隔操作端末3B、遠隔操作ロボット2A、遠隔操作ロボット2Bは、WANに接続された図示しない遠隔観光サーバを介して双方向通信可能に構成されてもよい。
ユーザAは、遠隔操作端末3Aを操作することにより、遠隔操作ロボット2Aを遠隔操作する。同様に、ユーザBは、遠隔操作端末3Bを操作することにより、遠隔操作ロボット2Bを遠隔操作する。また、ユーザAとユーザBは、遠隔操作端末3Aと遠隔操作端末3B、遠隔操作ロボット2A、遠隔操作ロボット2Bを介して会話することができる。これにより、ユーザA及びユーザBは、擬似的に、同じ観光地を一緒に観光することができるようになっている。
(遠隔操作ロボット2)
遠隔操作ロボット2は、遠隔操作移動体の一具体例である。図1に示すように、遠隔操作ロボット2は、ロボット本体4と複数の車輪5とカメラ6を備えている。複数の車輪5は、駆動輪と従動輪を含む。しかし、複数の車輪5のすべてが駆動輪としてもよい。カメラ6は、撮像部の一具体例である。本実施形態において、カメラ6は、測距機能を有するステレオカメラとしている。しかし、カメラ6は、測距機能を有さなくてもよい。カメラ6は、ロボット本体4に対してロール軸及びヨー軸まわりに揺動可能に構成されている。従って、遠隔操作ロボット2が移動することなく、カメラ6の撮像方向を変更することができる。具体的には、遠隔操作ロボット2が移動することなく、カメラ6の撮像方向の方位角及び仰俯角を変更することができる。遠隔操作ロボット2は、カメラ6の撮像方向を変更するための図示しない駆動部を備えている。
図2には、遠隔操作ロボット2の機能ブロック図を示している。図2に示すように、遠隔操作ロボット2は、中央演算処理器としてのCPU2a(Central Processing Unit)と、読み書き自由のRAM2b(Random Access Memory)、読み出し専用のROM2c(Read Only Memory)を備えている。遠隔操作ロボット2は、更に、前述したカメラ6と、マイク7と、スピーカ8と、GPSモジュール9(Global Positioning System)と、通信インターフェース10を備えている。
そして、CPU2aがROM2cに記憶されている制御プログラムを読み出して実行することで、制御プログラムは、CPU2aなどのハードウェアを各種機能部として機能させる。
各種機能部は、制御指令受信部20、動作制御部21、撮像画像情報取得部22、撮像画像情報送信部23、撮像方向検出部30、撮像方向情報生成部31、撮像方向情報送信部32、撮像方向情報受信部33、撮像方向制御部34、自機識別情報記憶部40、現在地情報取得部41、識別位置情報送信部42、他機識別情報記憶部43、識別位置情報受信部44、関連ロボット存在情報生成部45、関連ロボット存在情報送信部46、現在地情報送信部47、現在地情報受信部48を含む。
制御指令受信部20は、対応する遠隔操作端末3から制御指令を受信する。
動作制御部21は、制御指令に基づいて自機の動作を制御する。自機の動作とは、複数の車輪5を駆動することにより自機を移動させる動作、カメラ6の撮像方向を変更する動作を含む。従って、制御指令は、自機を移動させる移動指令と、カメラ6の撮像方向を変更する撮像方向変更指令と、の何れか一方を含み得る。
撮像画像情報取得部22は、カメラ6から撮像画像情報を取得する。
撮像画像情報送信部23は、撮像画像情報を対応する遠隔操作端末3に送信する。
撮像方向検出部30は、カメラ6の撮像方向を検出する。具体的には、撮像方向検出部30は、カメラ6の撮像方向の方位角及び仰俯角を検出する。
撮像方向情報生成部31は、カメラ6の撮像方向を示す撮像方向情報を生成する。撮像方向情報は、カメラ6の撮像方向の方位角及び仰俯角を示す情報である。
撮像方向情報送信部32は、撮像方向情報を他の遠隔操作ロボット2に送信する。
撮像方向情報受信部33は、撮像方向情報を他の遠隔操作ロボット2から受信する。
撮像方向制御部34は、自機のカメラ6の撮像方向が、撮像方向情報受信部33が受信した撮像方向情報の送信元のカメラ6の撮像方向と同期するように撮像方向情報受信部33が受信した撮像方向情報に基づいて自機のカメラ6の撮像方向を制御する。撮像方向制御部34による上記の制御を以下、単に同期制御又は同期処理とも言う。「自機のカメラ6の撮像方向が、撮像方向情報受信部33が受信した撮像方向情報の送信元のカメラ6の撮像方向と同期するように」とは、「自機のカメラ6の撮像方向の方位角及び仰俯角が、撮像方向情報受信部33が受信した撮像方向情報の送信元のカメラ6の撮像方向の方位角及び仰俯角と同期するように」を意味する。「同期する」とは、通信遅延や処理遅延に起因する若干のタイムラグを含んでもよい。
自機識別情報記憶部40は、自機の機体識別情報を記憶する。自機の機体識別情報とは、自機を他機から識別するための情報である。
現在地情報取得部41は、GPSモジュール9を用いて、自機の現在地を示す現在地情報を取得する。GPSモジュール9は、GNSSモジュール(Global Navigation Satellite System)の一具体例である。GNSSモジュールの他の具体例としては、Galileoモジュール、BeiDouモジュール、QZSSモジュール(Quasi-Zenith Satellite System)が挙げられる。
識別位置情報送信部42は、機体識別情報及び現在地情報を含む識別位置情報を他の遠隔操作ロボット2に送信する。識別位置情報送信部42は、WANを経由して識別位置情報を他の遠隔操作ロボット2に送信してもよく、遠隔観光サーバを介して識別位置情報を他の遠隔操作ロボット2に送信してもよく、あるいは、例えばBluetooth(登録商標)やWi-Fi(登録商標)などの近距離無線通信(NFC:Near field communication)を介して識別位置情報を他の遠隔操作ロボット2に送信してもよい。本実施形態の識別位置情報送信部42は、一例として、近距離無線通信を介して識別位置情報を他の遠隔操作ロボット2に送信する。
他機識別情報記憶部43は、自機に対応するユーザと関係性のあるユーザの遠隔操作ロボット2の機体識別情報を記憶する。図3には、遠隔操作ロボット2Aの他機識別情報記憶部43の記憶内容を例示している。図3に示すように、ユーザAは、ユーザB、ユーザD、ユーザR、ユーザZとの間で「知り合い」又は「友人」などの関係性を有する。従って、本実施形態において、他機識別情報記憶部43は、自機に対応するユーザと関係性のあるユーザのユーザ名と当該ユーザが遠隔操作する遠隔操作ロボット2の機体識別情報とを関連付けて記憶する。他機識別情報記憶部43は、自機に対応するユーザと関係性のあるユーザのユーザ識別情報と当該ユーザが遠隔操作する遠隔操作ロボット2の機体識別情報とを関連付けて記憶してもよい。
識別位置情報受信部44は、他の遠隔操作ロボット2の識別位置情報送信部42から識別位置情報を受信し、RAM2bに記憶する。図4には、識別位置情報受信部44が受信した識別位置情報を例示している。図4に示すように、識別位置情報受信部44は、一例として、ユーザBが遠隔操作する遠隔操作ロボット2(機体ID:8231)及び遠隔操作ロボット2(機体ID:2341)から識別位置情報を受信する。
関連ロボット存在情報生成部45は、他機識別情報記憶部43に記憶されている機体識別情報(図3参照)と識別位置情報受信部44が受信した識別位置情報(図4)に基づいて、自機に対応するユーザと関係性のあるユーザの遠隔操作ロボット2が自機の近くにいることを示す関連ロボット存在情報を生成する。具体的には、関連ロボット存在情報生成部45は、識別位置情報受信部44が受信したすべての識別位置情報の現在地情報と、現在地情報取得部41が取得した自機の現在地情報と、を対比し、他機と自機との間の距離を算出する。関連ロボット存在情報生成部45は、典型的には、算出された距離が所定の距離以内であるとき、対応する遠隔操作ロボット2が自機の近くにいると判定する。本実施形態では、遠隔操作ロボット2(機体ID:8231)及び遠隔操作ロボット2(機体ID:2341)が何れも自機の近くにいるものとする。関連ロボット存在情報生成部45は、図3に示す他機識別情報記憶部43に記憶されている機体識別情報を参照することにより、自機に対応するユーザと関係性のあるユーザ(ユーザB)の遠隔操作ロボット2が自機の近くにいると判定する。従って、関連ロボット存在情報生成部45は、自機に対応するユーザと関係性のあるユーザ(ユーザB)の遠隔操作ロボット2が自機の近くにいることを示す関連ロボット存在情報を生成する。関連ロボット存在情報は、典型的には、該当するユーザのユーザ名、該当するユーザの遠隔操作ロボット2の機体識別情報、該当するユーザの遠隔操作ロボット2の現在地情報を含む。
関連ロボット存在情報送信部46は、関連ロボット存在情報生成部45が生成した関連ロボット存在情報を対応する遠隔操作端末3に送信する。
(遠隔操作端末3)
続けて、図5を参照して、遠隔操作端末3を説明する。図5に示すように、遠隔操作端末3は、中央演算処理器としてのCPU3a(Central Processing Unit)と、読み書き自由のRAM3b(Random Access Memory)、読み出し専用のROM3c(Read Only Memory)を備えている。遠隔操作端末3は、更に、マイク50、スピーカ51、ディスプレイ52、タッチパネル53、通信インターフェース54を備えている。ディスプレイ52及びタッチパネル53は、互いに重なり合うように設けられている。そして、CPU3aがROM3cに記憶されている制御プログラムを読み出して実行することで、制御プログラムは、CPU3aなどのハードウェアを各種機能部として機能させる。
各種機能部は、制御指令入力部60、制御指令送信部61、撮像画像情報受信部62、撮像画像情報表示部63、関連ロボット存在情報受信部64、関連ロボット存在情報表示部65、同期先選択部70、同期要求送信部71、同期要求受信部72、同期要求承認部73を含む。
制御指令入力部60は、ユーザによる制御指令の入力操作を受け入れる。ここで、図6は、遠隔操作端末3のディスプレイ52の表示例を示している。図6に示すように、ディスプレイ52の表示画面は、情報表示領域52aと入力領域52bを含む。制御指令入力部60は、入力領域52bに、ユーザが制御指令を入力するための各種ボタンを表示する。各種ボタンは、ユーザが移動指令を入力するための移動用4方向ボタン60aと、ユーザが撮像方向変更指令を入力するための撮像用4方向ボタン60bと、を含む。制御指令入力部60は、移動用4方向ボタン60a及び撮像用4方向ボタン60bがタップされたことを検出することで、ユーザによる制御指令の入力操作を受け入れる。
遠隔操作端末3は、入力領域52bに更に、同期要求ボタン81、同期承認ボタン82、同期解除ボタン83を表示する。
制御指令送信部61は、ユーザによって入力された制御指令を対応する遠隔操作ロボット2に送信する。
撮像画像情報受信部62は、対応する遠隔操作ロボット2から撮像画像情報を受信する。
撮像画像情報表示部63は、図6に示すように、撮像画像情報受信部62が受信した撮像画像情報をディスプレイ52の情報表示領域52aに表示する。
関連ロボット存在情報受信部64は、対応する遠隔操作ロボット2から関連ロボット存在情報を受信する。
関連ロボット存在情報表示部65は、関連ロボット存在情報受信部64が受信した関連ロボット存在情報をディスプレイ52に表示する。
同期先選択部70は、撮像画像情報表示部63がディスプレイ52の情報表示領域52aに表示している撮像画像情報に映る少なくとも1つ以上の遠隔操作ロボット2から少なくとも1つ以上の遠隔操作ロボット2をユーザが選択する選択操作を受け入れる。具体的には、同期先選択部70は、ユーザによるタッチパネル53のタップ位置座標に基づいて、ユーザがどの遠隔操作ロボット2を選択したかを検出する。
同期要求送信部71は、他の遠隔操作端末3に同期要求を送信する。具体的には、同期要求送信部71は、ユーザが選択した遠隔操作ロボット2に対応する遠隔操作端末3に同期要求を送信する。
同期要求受信部72は、他の遠隔操作端末3から同期要求を受信する。
同期要求承認部73は、ユーザによる、他の遠隔操作端末3から受信した同期要求の承認操作を受け入れる。具体的には、図6に示すように、同期要求承認部73は、同期承認ボタン82がタップされたか判定し、同期承認ボタン82がタップされたと判定した場合、他の遠隔操作端末3から受信した同期要求をユーザが承認したと判定する。
なお、図2に示すように、各遠隔操作ロボット2はマイク7及びスピーカ8を備える。また、図5に示すように、各遠隔操作端末3はマイク50及びスピーカ51を備える。従って、各ユーザが手元の遠隔操作端末3のマイク50に向かって話しかけると、マイク50が生成する音声信号が対応する遠隔操作ロボット2に送信されてスピーカ8から出力される。スピーカ8から出力された音声信号は、空気を伝達して他機のマイク7によって拾われて音声信号に変換される。音声信号は他機に対応する遠隔操作端末3に送信され、対応する遠隔操作端末3のスピーカ51から出力される。このようにして、ユーザAとユーザBは、遠隔操作端末3Aと遠隔操作端末3B、遠隔操作ロボット2A、遠隔操作ロボット2Bを介して会話することができるようになっている。
次に、図7を参照して、遠隔観光システム1の動作フローを説明する。図7には、遠隔観光システム1のシーケンス図を示している。以下、説明の便宜上、遠隔操作ロボット2A及び遠隔操作ロボット2Bが同じ観光地で互いに近い距離に位置しているものとする。また、ユーザA及びユーザBが知り合いであるものとする。そして、ユーザA自身が見ている風景をユーザBが共有するようにユーザAがユーザBに要求する場面を想定している。
S100:
まず、遠隔操作ロボット2Bの現在地情報取得部41は、自機の現在地情報を取得する。
S110:
次に、遠隔操作ロボット2Bの識別位置情報送信部42は、自機の機体識別情報及び現在地情報を含む識別位置情報を生成し、生成した識別位置情報を他の遠隔操作ロボット2に送信する。
次に、遠隔操作ロボット2Aの識別位置情報受信部44は、遠隔操作ロボット2Bから識別位置情報を受信し、受信した識別位置情報をRAM2bに記憶する。
遠隔操作ロボット2Aの識別位置情報受信部44は、遠隔操作ロボット2B以外の遠隔操作ロボット2からも同様に識別位置情報を受信し、受信した識別位置情報をRAM2bに記憶する。
この結果、図4に示すように、遠隔操作ロボット2AのRAM2bには、2つの遠隔操作ロボット2からそれぞれ受信した2つの識別位置情報が記憶されている。
S120:
次に、遠隔操作ロボット2Aの現在地情報取得部41は、自機の現在地情報を取得する。
S130:
次に、遠隔操作ロボット2Aの関連ロボット存在情報生成部45は、他機識別情報記憶部43に記憶されている機体識別情報(図3参照)と識別位置情報受信部44が受信した識別位置情報(図4)に基づいて、自機に対応するユーザと関係性のあるユーザの遠隔操作ロボット2が自機の近くにいることを示す関連ロボット存在情報を生成する。具体的には、関連ロボット存在情報生成部45は、他機識別情報記憶部43に記憶されている機体識別情報(図3参照)と識別位置情報受信部44が受信した識別位置情報(図4)を対比させ、機体識別情報が重複する識別位置情報を識別位置情報受信部44が受信した識別位置情報(図4)から抽出する。即ち、関連ロボット存在情報生成部45は、図4に示す2つの識別位置情報のうちユーザBに対応する識別位置情報を抽出する。そして、関連ロボット存在情報生成部45は、関連ロボット存在情報生成部45が抽出したユーザBに対応する識別位置情報に含まれる現在地情報と、自機の現在地情報と、を対比させ、遠隔操作ロボット2Bが自機から所定距離以内に存在するか判定する。遠隔操作ロボット2Bが自機から所定距離以内に存在すると判定した場合、関連ロボット存在情報生成部45は、ユーザBに対応する識別位置情報を含む関連ロボット存在情報を生成する。
S140:
次に、遠隔操作ロボット2Aの関連ロボット存在情報送信部46は、関連ロボット存在情報を遠隔操作端末3Aに送信する。
遠隔操作端末3Aの関連ロボット存在情報受信部64は、遠隔操作ロボット2Aから関連ロボット存在情報を受信する。
S150:
次に、遠隔操作端末3Aの関連ロボット存在情報表示部65は、関連ロボット存在情報受信部64が受信した関連ロボット存在情報をディスプレイ52に表示する。図8には、関連ロボット存在情報表示部65が関連ロボット存在情報をディスプレイ52の情報表示領域52aに表示している様子を示している。図8に示すように、関連ロボット存在情報表示部65は、他機識別情報記憶部43を参照して、関連ロボット存在情報に含まれる機体識別情報に対応するユーザ名を取得し、例えば「友達のユーザBが近くにいます。」というテキストメッセージを生成し、当該テキストメッセージをディスプレイ52の情報表示領域52aに表示する。また、ユーザBに対応する遠隔操作ロボット2Bがディスプレイ52に表示されている場合は、ディスプレイ52において遠隔操作ロボット2Bを特定できるようなアイコン52cをディスプレイ52に表示されている撮像画像情報に重畳させてもよい。
なお、ディスプレイ52に表示されている遠隔操作ロボット2が遠隔操作ロボット2Bに該当することは、例えば以下のように判定することができる。まず、ディスプレイ52に表示されている遠隔操作ロボット2を例えばFaster R-CNN、YOLO、SSDなどの公知の物体検出技術により検出する。物体検出により生成されるバウンディングボックスの位置及び大きさ、自機の現在地情報、自機のカメラ6の撮像方向を含む撮像条件に基づいて、検出した遠隔操作ロボット2の現在地情報を生成する。この現在地情報を遠隔操作ロボット2Bから受信した現在地情報と対比させ、両者の差分が所定値以下である場合、ディスプレイ52に表示されている遠隔操作ロボット2が遠隔操作ロボット2Bに該当すると判定できる。これ以外にも、各遠隔操作ロボット2のロボット本体4に例えばQRコード(登録商標)などを設け、QRコードを読み取ることで、ディスプレイ52に表示されている遠隔操作ロボット2が遠隔操作ロボット2Bに該当するか否かを判定してもよい。
S160:
次に、図9に示すように、ユーザAがディスプレイ52に表示されている遠隔操作ロボット2Bをタップする。すると、遠隔操作端末3Aの同期先選択部70は、ユーザAのタップ操作のタップ座標に基づいて、ディスプレイ52に表示されている複数の遠隔操作ロボット2のうち遠隔操作ロボット2Bが選択されたと判定する。
S170:
ユーザAは続けて同期要求ボタン81をタップする。すると、遠隔操作端末3Aの同期要求送信部71は、遠隔操作端末3Bに同期要求を送信する。また、遠隔操作端末3Bの同期要求受信部72は、遠隔操作端末3Aから同期要求を受信する。
S180:
次に、遠隔操作端末3Bの同期要求承認部73は、図10に示すように、遠隔操作端末3Aから同期要求を受信したことをディスプレイ52の情報表示領域52aに表示する。次に、ユーザBが同期承認ボタン82をタップする。すると、同期要求承認部73は、ユーザBが同期要求を承認したと判定する。そして、同期要求承認部73は、ユーザAからユーザBへの同期要求が承認されたことを示す承認情報を遠隔操作ロボット2B及び遠隔操作ロボット2A、遠隔操作端末3Aに送信する(S185)。
S190:
次に、遠隔操作ロボット2Aの撮像方向検出部30は、自機のカメラ6の撮像方向を検出する。
S200:
次に、遠隔操作ロボット2Aの撮像方向情報生成部31は、自機のカメラ6の撮像方向を示す撮像方向情報を生成する。
S210:
次に、遠隔操作ロボット2Aの撮像方向情報送信部32は、撮像方向情報を遠隔操作ロボット2Bに送信する。遠隔操作ロボット2Bの撮像方向情報受信部33は、遠隔操作ロボット2Aから撮像方向情報を受信する。
S220:
次に、遠隔操作ロボット2Bの撮像方向制御部34は、自機のカメラ6の撮像方向が、撮像方向情報受信部33が受信した撮像方向情報の送信元、即ち遠隔操作ロボット2Aのカメラ6の撮像方向と同期するように撮像方向情報受信部33が受信した撮像方向情報に基づいて自機のカメラ6の撮像方向を制御する。すると、遠隔操作ロボット2Bのカメラ6の撮像方向が遠隔操作ロボット2Aのカメラ6の撮像方向と一致することにより、図11に示すように、遠隔操作端末3Bのディスプレイ52の情報表示領域52aには、ユーザAが遠隔操作端末3Aを介して見ている風景と同じ風景が表示されるようになる。
以降、遠隔操作ロボット2Bの撮像方向制御部34による同期処理が終了するまで、ステップS190からステップS220の処理が繰り返される。
S230:
また、遠隔操作ロボット2Aの現在地情報取得部41は、自機の現在地情報を取得する。
S240:
次に、遠隔操作ロボット2Aの現在地情報送信部47は、現在地情報を遠隔操作ロボット2Bに送信する。遠隔操作ロボット2Bの現在地情報受信部48は、遠隔操作ロボット2Aから現在地情報を受信する。
S250:
そして、遠隔操作ロボット2Bの動作制御部21は、撮像方向制御部34が同期処理を実行している間、同期要求を送信した送信元の遠隔操作ロボット2Aに追従して自機が移動するように自機の動作を制御する。
S260-S270:
ユーザBが遠隔操作端末3Bの撮像用4方向ボタン60bを操作したら(S260)、遠隔操作端末3Bは、撮像方向変更指令を遠隔操作ロボット2Bに送信する(S270)。遠隔操作ロボット2Bの制御指令受信部20は、遠隔操作端末3Bから撮像方向変更指令を受信する(S270)。
S280:
遠隔操作ロボット2Bの撮像方向制御部34及び動作制御部21は、上記の撮像方向変更指令を受信したら、同期制御(S220)及び追従制御(S250)を終了する。なお、ユーザBが遠隔操作端末3Bの同期解除ボタン83をタップすることにより遠隔操作端末3Bが遠隔操作ロボット2Bに同期解除指令を送信した場合も、撮像方向制御部34及び動作制御部21は、同期制御(S220)及び追従制御(S250)を終了する。
S290:
そして、遠隔操作ロボット2Bの撮像方向制御部34は、同期処理を終了したとき、カメラ6の撮像方向を基準撮像方向に戻す。ここで、基準撮像方向とは、典型的には、図1に示す複数の車輪5の配置に基づいて定められた方向である。例えば、複数の車輪5の車軸に対して平面視で直交する方向を基準撮像方向としてもよい。
以上に、第1実施形態を説明したが、上記実施形態は以下の特徴を有する。
遠隔観光システム1は、互いに離れた場所にいる複数のユーザが各人の遠隔操作端末3を操作することにより同じ場所にいる複数の遠隔操作ロボット2(遠隔操作移動体)をそれぞれ遠隔操作するシステムである。遠隔観光システム1は、複数の遠隔操作ロボット2と、複数の遠隔操作端末3と、を備える。各遠隔操作ロボット2は、対応する遠隔操作端末3から制御指令を受信する制御指令受信部20と、制御指令に基づいて自機の動作を制御する動作制御部21と、カメラ6(撮像部)と、カメラ6から撮像画像情報を取得する撮像画像情報取得部22と、撮像画像情報を対応する遠隔操作端末3に送信する撮像画像情報送信部23と、カメラ6の撮像方向を検出する撮像方向検出部30と、撮像方向検出部30が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部31と、撮像方向情報を他の遠隔操作ロボット2に送信する撮像方向情報送信部32と、撮像方向情報を他の遠隔操作ロボット2から受信する撮像方向情報受信部33と、自機のカメラ6の撮像方向が、撮像方向情報受信部33が受信した撮像方向情報の送信元のカメラ6の撮像方向と同期するように撮像方向情報受信部33が受信した撮像方向情報に基づいてカメラ6の撮像方向を制御する撮像方向制御部34と、を備える。各遠隔操作端末3は、制御指令の入力操作を受け入れる制御指令入力部60と、対応する遠隔操作ロボット2に制御指令を送信する制御指令送信部61と、対応する遠隔操作ロボット2から撮像画像情報を受信する撮像画像情報受信部62と、撮像画像情報を表示する撮像画像情報表示部63と、を備える。以上の構成によれば、複数の遠隔操作ロボット2のカメラ6の撮像方向が互いに同期するので、複数の遠隔操作端末3の撮像画像情報表示部63は似たような撮像画像情報をディスプレイ52に表示することになり、もって、複数のユーザ間で円滑な意思疎通を図ることができる。
撮像方向情報は、カメラ6の撮像方向の方位角及び仰俯角を示す情報を含む。以上の構成によれば、撮像方向制御部34が同期処理を円滑に実行できる。
各遠隔操作ロボット2は、自機の機体識別情報を記憶する自機識別情報記憶部40と、現在地情報を取得する現在地情報取得部41と、機体識別情報及び現在地情報を含む識別位置情報を他の遠隔操作ロボット2に送信する識別位置情報送信部42と、自機に対応するユーザと関係性のあるユーザの遠隔操作ロボット2の機体識別情報を記憶する他機識別情報記憶部43と、他の遠隔操作ロボット2から識別位置情報を受信する識別位置情報受信部44と、他機識別情報記憶部43に記憶されている機体識別情報と識別位置情報受信部44が受信した識別位置情報に基づいて、自機に対応するユーザと関係性のあるユーザの遠隔操作ロボット2が自機の近くにいることを示す関連ロボット存在情報(関連移動体存在情報)を生成する関連ロボット存在情報生成部45(関連移動体存在情報生成部)と、関連ロボット存在情報を対応する遠隔操作端末3に送信する関連ロボット存在情報送信部46(関連移動体存在情報送信部)と、を更に備える。各遠隔操作端末3は、対応する遠隔操作ロボット2から関連ロボット存在情報を受信する関連ロボット存在情報受信部64(関連移動体存在情報受信部)と、関連ロボット存在情報を表示する関連ロボット存在情報表示部65(関連移動体存在情報表示部)と、を備える。以上の構成によれば、自分と関係性のあるユーザの遠隔操作ロボット2が、自分の遠隔操作ロボット2の近くにいることを容易に知ることができる。
各遠隔操作端末3は、他の遠隔操作端末3に同期要求を送信する同期要求送信部71と、他の遠隔操作端末3から同期要求を受信する同期要求受信部72と、他の遠隔操作端末3から受信した同期要求の承認操作を受け入れる同期要求承認部73と、を更に備える。各遠隔操作ロボット2の撮像方向制御部34は、同期要求が承認されたら同期処理を開始する。以上の構成によれば、同期処理のセキュリティを確保することができる。
各遠隔操作ロボット2の撮像方向制御部34は、自機に対応する遠隔操作端末3の同期要求承認部73が同期要求の承認操作を受け入れたら同期処理を開始する。以上の構成によれば、同期要求を送信した送信元が他機の撮像方向を決定する権限を有する。
しかし、これに代えて、同期要求を受信した受信側が他機の撮像方向を決定する権限を有するようにしてもよく、送受信の双方が他機の撮像方向を決定する権限を有するようにしてもよい。
各遠隔操作端末3は、撮像画像情報表示部63が表示する撮像画像情報に映る少なくとも1つ以上の遠隔操作ロボット2から少なくとも1つ以上の遠隔操作ロボット2を選択する選択操作を受け入れる同期先選択部70を更に備える。同期要求送信部71は、選択された少なくとも1つ以上の遠隔操作ロボット2に対応する遠隔操作端末3に同期要求を送信する。以上の構成によれば、同期要求を送信する他機を直感的に選択することができる。
撮像方向制御部34は、制御指令受信部20がカメラ6の撮像方向を変更する制御指令(撮像方向変更指令)を受信したら同期処理を終了する。以上の構成によれば、同期処理を実行している間でもいつでも好きな方向へ撮像方向を変更できる。更に言えば、見たくもない風景から直感的に目を背けることができるようになる。
動作制御部21は、撮像方向制御部34が同期処理を実行している間、同期要求を送信した送信元の遠隔操作ロボット2に追従して自機が移動するように自機の動作を制御する。以上の構成によれば、同期処理を実行している間、自機が同期先の遠隔操作ロボット2に追従して移動するようになるので、複数のユーザ間で一体感を味わうことができる。
しかし、これに代えて、同期処理に関連している複数の遠隔操作ロボット2のうち任意の遠隔操作ロボット2に、他の遠隔操作ロボット2が追従するようにしてもよい。
撮像方向制御部34は、同期処理を終了したとき、カメラ6の撮像方向を基準撮像方向に戻す。以上の構成によれば、同期終了時点における自機の向きとカメラ6の撮像方向とのギャップを解消できるので、同期終了時点の自機の移動操作が簡単になる。
しかし、これに代えて、撮像方向制御部34は、同期処理を終了してから一定時間経過した後に、カメラ6の撮像方向を基準撮像方向に戻すようにしてもよい。また、撮像方向制御部34は、同期処理を終了し、ユーザ間の会話が終了した時点で、カメラ6の撮像方向を基準撮像方向に戻すようにしてもよい。
また、撮像方向制御部34が同期処理をしている間、撮像用4方向ボタン60bを非表示にしてもよく、撮像用4方向ボタン60bの操作を無視するような制御も考えられる。
また、遠隔操作ロボット2は、カメラ6と、他の遠隔操作ロボット2から当該他の遠隔操作ロボット2のカメラ6の撮像方向を示す撮像方向情報を受信する撮像方向情報受信部33と、自機のカメラ6の撮像方向が撮像方向情報の送信元の遠隔操作ロボット2のカメラ6の撮像方向と同期するように撮像方向情報に基づいて自機のカメラ6の撮像方向を制御する撮像方向制御部34と、を備える。以上の構成によれば、自機のカメラ6の撮像方向と他機のカメラ6の撮像方向が同期するので、複数のユーザ間で円滑な意思疎通を図ることができる。
(第2実施形態)
以下、図12及び図13を参照して、第2実施形態を説明する。以下、本実施形態が上記第1実施形態と相違する点を中心に説明し、重複する説明は省略する。
図12に示すように、遠隔操作ロボット2は、更に、差分情報生成部90と差分情報送信部91を備えている。
差分情報生成部90は、撮像方向情報生成部31が生成した撮像方向情報と、撮像方向情報受信部33が受信した撮像方向情報と、の差分を示す差分情報を生成する。差分情報は、典型的には、カメラ6の撮像方向の方位角の差分及び仰俯角の差分を示す情報である。
差分情報送信部91は、差分情報生成部90が生成した差分情報を対応する遠隔操作端末3に送信する。
図13に示すように、遠隔操作端末3は、更に、差分情報受信部92と差分情報表示部93を備える。
差分情報受信部92は、対応する遠隔操作ロボット2から差分情報を受信する。
差分情報表示部93は、差分情報受信部92が受信した差分情報をディスプレイ52に表示する。差分情報表示部93は、差分情報をテキストメッセージ形式でディスプレイ52に表示してもよく、差分を解消するために撮像方向を変更すべき方向をアイコン形式でディスプレイ52に表示してもよい。
以上の構成によれば、差分情報が示す差分を解消するようにユーザが制御指令を入力することにより、複数の遠隔操作ロボット2のカメラ6の撮像方向が互いに近づくので、複数の遠隔操作端末3の撮像画像情報表示部63は似たような撮像画像情報を表示することになり、もって、複数のユーザ間で円滑な意思疎通を図ることができる。
以上に、本願発明の好適な実施形態を説明した。
本願発明は、遠隔操縦でタスクを遂行するロボットが複数台同一の環境下で存在し、会話をするようなシチュエーション全般に適用可能である。従って、本願発明は、ホームロボットやメディケアロボット、物流ロボットにも適用可能である。
ホームロボットとは、例えば、子供世帯の孫の誕生日に、両家のおじいちゃん・おばあちゃんが参加するときに使用するテレプレロボットである。
メディケアロボットとは、遠隔操縦ロボットで介護を行っている家族がいる独り暮らしの高齢者の家に訪問診療を行う医療関係者が使用する遠隔操縦ロボットである。
物流ロボットとは、遠隔操縦のロボットであって、商品の受け渡しをするものである。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)を含む。非一時的なコンピュータ可読媒体の例は、更に、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROMを含む。非一時的なコンピュータ可読媒体の例は、更に、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
(付記1)
互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、
前記複数の遠隔操作移動体と、
前記複数の遠隔操作端末と、
を備え、
各遠隔操作移動体は、
対応する遠隔操作端末から制御指令を受信する制御指令受信部と、
前記制御指令に基づいて自機の動作を制御する動作制御部と、
撮像部と、
前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、
前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、
前記撮像部の撮像方向を検出する撮像方向検出部と、
前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、
前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、
前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、
前記撮像部の撮像方向が、前記撮像方向情報受信部が受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように前記撮像方向情報受信部が受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、
を備え、
各遠隔操作端末は、
前記制御指令の入力操作を受け入れる制御指令入力部と、
対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、
対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、
前記撮像画像情報を表示する撮像画像情報表示部と、
を備えた、
遠隔操作システム。
(付記2)
前記撮像方向情報は、前記撮像部の撮像方向の方位角及び仰俯角を示す情報を含む、
付記1に記載の遠隔操作システム。
(付記3)
各遠隔操作移動体は、
自機の機体識別情報を記憶する自機識別情報記憶部と、
現在地情報を取得する現在地情報取得部と、
前記機体識別情報及び前記現在地情報を含む識別位置情報を他の遠隔操作移動体に送信する識別位置情報送信部と、
自機に対応するユーザと関係性のあるユーザの遠隔操作移動体の機体識別情報を記憶する他機識別情報記憶部と、
他の遠隔操作移動体から前記識別位置情報を受信する識別位置情報受信部と、
前記他機識別情報記憶部に記憶されている前記機体識別情報と前記識別位置情報受信部が受信した前記識別位置情報に基づいて、自機に対応するユーザと関係性のあるユーザの遠隔操作移動体が自機の近くにいることを示す関連移動体存在情報を生成する関連移動体存在情報生成部と、
前記関連移動体存在情報を対応する遠隔操作端末に送信する関連移動体存在情報送信部と、
を更に備え、
各遠隔操作端末は、
対応する遠隔操作移動体から前記関連移動体存在情報を受信する関連移動体存在情報受信部と、
前記関連移動体存在情報を表示する関連移動体存在情報表示部と、
を備えた、
付記1又は2に記載の遠隔操作システム。
(付記4)
各遠隔操作端末は、
他の遠隔操作端末に同期要求を送信する同期要求送信部と、
他の遠隔操作端末から前記同期要求を受信する同期要求受信部と、
他の遠隔操作端末から受信した前記同期要求の承認操作を受け入れる同期要求承認部と、
を更に備え、
各遠隔操作移動体の前記撮像方向制御部は、前記同期要求が承認されたら同期処理を開始する、
付記1から3までの何れか一項に記載の遠隔操作システム。
(付記5)
各遠隔操作移動体の前記撮像方向制御部は、自機に対応する遠隔操作端末の前記同期要求承認部が前記同期要求の承認操作を受け入れたら同期処理を開始する、
付記4に記載の遠隔操作システム。
(付記6)
各遠隔操作端末は、
前記撮像画像情報表示部が表示する前記撮像画像情報に映る少なくとも1つ以上の遠隔操作移動体から少なくとも1つ以上の遠隔操作移動体を選択する選択操作を受け入れる同期先選択部を更に備え、
前記同期要求送信部は、選択された少なくとも1つ以上の遠隔操作移動体に対応する遠隔操作端末に前記同期要求を送信する、
付記4又は5に記載の遠隔操作システム。
(付記7)
前記動作制御部は、前記撮像方向制御部が前記同期処理を実行している間、前記同期要求を送信した送信元の遠隔操作移動体に追従して自機が移動するように自機の動作を制御する、
付記4から6までの何れか一項に記載の遠隔操作システム。
(付記8)
前記撮像方向制御部は、前記制御指令受信部が前記撮像部の撮像方向を変更する制御指令を受信したら同期処理を終了する、
付記1から7までの何れか一項に記載の遠隔操作システム。
(付記9)
前記撮像方向制御部は、同期処理を終了したとき、前記撮像部の撮像方向を基準撮像方向に戻す、
付記1から8までの何れか一項に記載の遠隔操作システム。
(付記10)
撮像部と、
他の遠隔操作移動体から当該他の遠隔操作移動体の撮像部の撮像方向を示す撮像方向情報を受信する撮像方向情報受信部と、
前記撮像部の撮像方向が前記撮像方向情報の送信元の前記撮像部の撮像方向と同期するように前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、
を備えた、
遠隔操作移動体。
(付記11)
互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作方法であって、
各遠隔操作移動体が、対応する遠隔操作端末から制御指令を受信し、
各遠隔操作移動体が、前記制御指令に基づいて自機の動作を制御し、
各遠隔操作移動体が、自機の撮像部から撮像画像情報を取得し、
各遠隔操作移動体が、前記撮像画像情報を対応する前記遠隔操作端末に送信し、
各遠隔操作移動体が、前記撮像部の撮像方向を検出し、
各遠隔操作移動体が、検出した撮像方向を示す撮像方向情報を生成し、
各遠隔操作移動体が、前記撮像方向情報を他の遠隔操作移動体に送信し、
各遠隔操作移動体が、前記撮像方向情報を他の遠隔操作移動体から受信し、
各遠隔操作移動体が、前記撮像部の撮像方向が、受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように、受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御し、
各遠隔操作端末が、前記制御指令の入力操作を受け入れ、
各遠隔操作端末が、対応する遠隔操作移動体に前記制御指令を送信し、
各遠隔操作端末が、対応する遠隔操作移動体から前記撮像画像情報を受信し、
各遠隔操作端末が、前記撮像画像情報を表示する、
遠隔操作方法。
(付記12)
コンピュータに、付記11に記載の遠隔操作方法を実行させるプログラム。
(付記13)
互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、
前記複数の遠隔操作移動体と、
前記複数の遠隔操作端末と、
を備え、
各遠隔操作移動体は、
対応する遠隔操作端末から制御指令を受信する制御指令受信部と、
前記制御指令に基づいて自機の動作を制御する動作制御部と、
撮像部と、
前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、
前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、
前記撮像部の撮像方向を検出する撮像方向検出部と、
前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、
前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、
前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、
前記撮像方向情報生成部が生成した前記撮像方向情報と、前記撮像方向情報受信部が受信した前記撮像方向情報と、の差分を示す差分情報を生成する差分情報生成部と、
前記差分情報を対応する遠隔操作端末に送信する差分情報送信部と、
を備え、
各遠隔操作端末は、
前記制御指令の入力操作を受け入れる制御指令入力部と、
対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、
対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、
前記撮像画像情報を表示する撮像画像情報表示部と、
対応する遠隔操作移動体から前記差分情報を受信する差分情報受信部と、
前記差分情報を表示する差分情報表示部と、
を備えた、
遠隔操作システム。
(付記14)
前記撮像方向情報は、前記撮像部の撮像方向の方位角及び仰俯角を示す情報を含む、
付記11に記載の遠隔操作方法。
(付記15)
各遠隔操作移動体が、自機の機体識別情報を記憶し、
各遠隔操作移動体が、現在地情報を取得し、
各遠隔操作移動体が、前記機体識別情報及び前記現在地情報を含む識別位置情報を他の遠隔操作移動体に送信し、
各遠隔操作移動体が、自機に対応するユーザと関係性のあるユーザの遠隔操作移動体の機体識別情報を記憶し、
各遠隔操作移動体が、他の遠隔操作移動体から前記識別位置情報を受信し、
各遠隔操作移動体が、記憶した前記機体識別情報と受信した前記識別位置情報に基づいて、自機に対応するユーザと関係性のあるユーザの遠隔操作移動体が自機の近くにいることを示す関連移動体存在情報を生成し、
各遠隔操作移動体が、前記関連移動体存在情報を対応する遠隔操作端末に送信し、
各遠隔操作端末が、対応する遠隔操作移動体から前記関連移動体存在情報を受信し、
各遠隔操作端末が、前記関連移動体存在情報を表示する、
付記11又は14に記載の遠隔操作方法。
(付記16)
各遠隔操作端末が、他の遠隔操作端末に同期要求を送信し、
各遠隔操作端末が、他の遠隔操作端末から前記同期要求を受信し、
各遠隔操作端末が、他の遠隔操作端末から受信した前記同期要求の承認操作を受け入れ、
各遠隔操作移動体が、前記同期要求が承認されたら同期処理を開始する、
付記11、14、15の何れか一項に記載の遠隔操作方法。
(付記17)
各遠隔操作移動体が、自機に対応する遠隔操作端末が前記同期要求の承認操作を受け入れたら同期処理を開始する、
付記16に記載の遠隔操作方法。
(付記18)
各遠隔操作端末が、表示する前記撮像画像情報に映る少なくとも1つ以上の遠隔操作移動体から少なくとも1つ以上の遠隔操作移動体を選択する選択操作を受け入れ、
各遠隔操作端末が、選択された少なくとも1つ以上の遠隔操作移動体に対応する遠隔操作端末に前記同期要求を送信する、
付記16又は17に記載の遠隔操作方法。
(付記19)
各遠隔操作移動体が、前記撮像部の撮像方向を変更する制御指令を受信したら同期処理を終了する、
付記11、14から18までの何れか一項に記載の遠隔操作方法。
(付記20)
各遠隔操作移動体が、前記同期処理を実行している間、前記同期要求を送信した送信元の遠隔操作移動体に追従して自機が移動するように自機の動作を制御する、
付記11、14から19までの何れか一項に記載の遠隔操作方法。
(付記21)
各遠隔操作移動体が、前記同期処理を終了したとき、前記撮像部の撮像方向を基準撮像方向に戻す、
付記11、14から20までの何れか一項に記載の遠隔操作方法。
(付記22)
互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作方法であって、
各遠隔操作移動体が、対応する遠隔操作端末から制御指令を受信し、
各遠隔操作移動体が、前記制御指令に基づいて自機の動作を制御し、
各遠隔操作移動体が、自機の撮像部から撮像画像情報を取得し、
各遠隔操作移動体が、前記撮像画像情報を対応する前記遠隔操作端末に送信し、
各遠隔操作移動体が、前記撮像部の撮像方向を検出し、
各遠隔操作移動体が、検出した撮像方向を示す撮像方向情報を生成し、
各遠隔操作移動体が、前記撮像方向情報を他の遠隔操作移動体に送信し、
各遠隔操作移動体が、前記撮像方向情報を他の遠隔操作移動体から受信し、
各遠隔操作移動体が、生成した前記撮像方向情報と、受信した前記撮像方向情報と、の差分を示す差分情報を生成し、
各遠隔操作移動体が、前記差分情報を対応する遠隔操作端末に送信し、
各遠隔操作端末が、前記制御指令の入力操作を受け入れ、
各遠隔操作端末が、対応する遠隔操作移動体に前記制御指令を送信し、
各遠隔操作端末が、対応する遠隔操作移動体から前記撮像画像情報を受信し、
各遠隔操作端末が、前記撮像画像情報を表示し、
各遠隔操作端末が、対応する遠隔操作移動体から前記差分情報を受信し、
各遠隔操作端末が、前記差分情報を表示する、
遠隔操作方法。
1 遠隔観光システム
2 遠隔操作ロボット
2A 遠隔操作ロボット
2B 遠隔操作ロボット
3 遠隔操作端末
3A 遠隔操作端末
3B 遠隔操作端末
4 ロボット本体
5 車輪
6 カメラ
7 マイク
8 スピーカ
9 GPSモジュール
10 通信インターフェース
20 制御指令受信部
21 動作制御部
22 撮像画像情報取得部
23 撮像画像情報送信部
30 撮像方向検出部
31 撮像方向情報生成部
32 撮像方向情報送信部
33 撮像方向情報受信部
34 撮像方向制御部
40 自機識別情報記憶部
41 現在地情報取得部
42 識別位置情報送信部
43 他機識別情報記憶部
44 識別位置情報受信部
45 関連ロボット存在情報生成部
46 関連ロボット存在情報送信部
47 現在地情報送信部
48 現在地情報受信部
50 マイク
51 スピーカ
52 ディスプレイ
52a 情報表示領域
52b 入力領域
52c アイコン
53 タッチパネル
54 通信インターフェース
60 制御指令入力部
60a 移動用4方向ボタン
60b 撮像用4方向ボタン
61 制御指令送信部
62 撮像画像情報受信部
63 撮像画像情報表示部
64 関連ロボット存在情報受信部
65 関連ロボット存在情報表示部
70 同期先選択部
71 同期要求送信部
72 同期要求受信部
73 同期要求承認部
81 同期要求ボタン
82 同期承認ボタン
83 同期解除ボタン
90 差分情報生成部
91 差分情報送信部
92 差分情報受信部
93 差分情報表示部

Claims (12)

  1. 互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、
    前記複数の遠隔操作移動体と、
    前記複数の遠隔操作端末と、
    を備え、
    各遠隔操作移動体は、
    対応する遠隔操作端末から制御指令を受信する制御指令受信部と、
    前記制御指令に基づいて自機の動作を制御する動作制御部と、
    撮像部と、
    前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、
    前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、
    前記撮像部の撮像方向を検出する撮像方向検出部と、
    前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、
    前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、
    前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、
    前記撮像部の撮像方向が、前記撮像方向情報受信部が受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように前記撮像方向情報受信部が受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、
    を備え、
    各遠隔操作端末は、
    前記制御指令の入力操作を受け入れる制御指令入力部と、
    対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、
    対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、
    前記撮像画像情報を表示する撮像画像情報表示部と、
    を備え、
    前記撮像方向情報は、前記撮像部の撮像方向の方位角及び仰俯角を示す情報を含む、
    遠隔操作システム。
  2. 互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、
    前記複数の遠隔操作移動体と、
    前記複数の遠隔操作端末と、
    を備え、
    各遠隔操作移動体は、
    対応する遠隔操作端末から制御指令を受信する制御指令受信部と、
    前記制御指令に基づいて自機の動作を制御する動作制御部と、
    撮像部と、
    前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、
    前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、
    前記撮像部の撮像方向を検出する撮像方向検出部と、
    前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、
    前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、
    前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、
    前記撮像部の撮像方向が、前記撮像方向情報受信部が受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように前記撮像方向情報受信部が受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、
    を備え、
    各遠隔操作端末は、
    前記制御指令の入力操作を受け入れる制御指令入力部と、
    対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、
    対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、
    前記撮像画像情報を表示する撮像画像情報表示部と、
    を備え、
    各遠隔操作移動体は、
    自機の機体識別情報を記憶する自機識別情報記憶部と、
    現在地情報を取得する現在地情報取得部と、
    前記機体識別情報及び前記現在地情報を含む識別位置情報を他の遠隔操作移動体に送信する識別位置情報送信部と、
    自機に対応するユーザと関係性のあるユーザの遠隔操作移動体の機体識別情報を記憶する他機識別情報記憶部と、
    他の遠隔操作移動体から前記識別位置情報を受信する識別位置情報受信部と、
    前記他機識別情報記憶部に記憶されている前記機体識別情報と前記識別位置情報受信部が受信した前記識別位置情報に基づいて、自機に対応するユーザと関係性のあるユーザの遠隔操作移動体が自機の近くにいることを示す関連移動体存在情報を生成する関連移動体存在情報生成部と、
    前記関連移動体存在情報を対応する遠隔操作端末に送信する関連移動体存在情報送信部と、
    を更に備え、
    各遠隔操作端末は、
    対応する遠隔操作移動体から前記関連移動体存在情報を受信する関連移動体存在情報受信部と、
    前記関連移動体存在情報を表示する関連移動体存在情報表示部と、
    を備えた、
    隔操作システム。
  3. 互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、
    前記複数の遠隔操作移動体と、
    前記複数の遠隔操作端末と、
    を備え、
    各遠隔操作移動体は、
    対応する遠隔操作端末から制御指令を受信する制御指令受信部と、
    前記制御指令に基づいて自機の動作を制御する動作制御部と、
    撮像部と、
    前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、
    前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、
    前記撮像部の撮像方向を検出する撮像方向検出部と、
    前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、
    前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、
    前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、
    前記撮像部の撮像方向が、前記撮像方向情報受信部が受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように前記撮像方向情報受信部が受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、
    を備え、
    各遠隔操作端末は、
    前記制御指令の入力操作を受け入れる制御指令入力部と、
    対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、
    対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、
    前記撮像画像情報を表示する撮像画像情報表示部と、
    を備え、
    各遠隔操作端末は、
    他の遠隔操作端末に同期要求を送信する同期要求送信部と、
    他の遠隔操作端末から前記同期要求を受信する同期要求受信部と、
    他の遠隔操作端末から受信した前記同期要求の承認操作を受け入れる同期要求承認部と、
    を更に備え、
    各遠隔操作移動体の前記撮像方向制御部は、前記同期要求が承認されたら同期処理を開始する、
    隔操作システム。
  4. 各遠隔操作移動体の前記撮像方向制御部は、自機に対応する遠隔操作端末の前記同期要求承認部が前記同期要求の承認操作を受け入れたら同期処理を開始する、
    請求項3に記載の遠隔操作システム。
  5. 各遠隔操作端末は、
    前記撮像画像情報表示部が表示する前記撮像画像情報に映る少なくとも1つ以上の遠隔操作移動体から少なくとも1つ以上の遠隔操作移動体を選択する選択操作を受け入れる同期先選択部を更に備え、
    前記同期要求送信部は、選択された少なくとも1つ以上の遠隔操作移動体に対応する遠隔操作端末に前記同期要求を送信する、
    請求項3又は4に記載の遠隔操作システム。
  6. 前記動作制御部は、前記撮像方向制御部が同期処理を実行している間、前記同期要求を送信した送信元の遠隔操作移動体に追従して自機が移動するように自機の動作を制御する、
    請求項3から5までの何れか一項に記載の遠隔操作システム。
  7. 互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、
    前記複数の遠隔操作移動体と、
    前記複数の遠隔操作端末と、
    を備え、
    各遠隔操作移動体は、
    対応する遠隔操作端末から制御指令を受信する制御指令受信部と、
    前記制御指令に基づいて自機の動作を制御する動作制御部と、
    撮像部と、
    前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、
    前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、
    前記撮像部の撮像方向を検出する撮像方向検出部と、
    前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、
    前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、
    前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、
    前記撮像部の撮像方向が、前記撮像方向情報受信部が受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように前記撮像方向情報受信部が受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、
    を備え、
    各遠隔操作端末は、
    前記制御指令の入力操作を受け入れる制御指令入力部と、
    対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、
    対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、
    前記撮像画像情報を表示する撮像画像情報表示部と、
    を備え、
    前記撮像方向制御部は、前記制御指令受信部が前記撮像部の撮像方向を変更する制御指令を受信したら同期処理を終了する、
    隔操作システム。
  8. 互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、
    前記複数の遠隔操作移動体と、
    前記複数の遠隔操作端末と、
    を備え、
    各遠隔操作移動体は、
    対応する遠隔操作端末から制御指令を受信する制御指令受信部と、
    前記制御指令に基づいて自機の動作を制御する動作制御部と、
    撮像部と、
    前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、
    前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、
    前記撮像部の撮像方向を検出する撮像方向検出部と、
    前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、
    前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、
    前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、
    前記撮像部の撮像方向が、前記撮像方向情報受信部が受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように前記撮像方向情報受信部が受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、
    を備え、
    各遠隔操作端末は、
    前記制御指令の入力操作を受け入れる制御指令入力部と、
    対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、
    対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、
    前記撮像画像情報を表示する撮像画像情報表示部と、
    を備え、
    前記撮像方向制御部は、同期処理を終了したとき、前記撮像部の撮像方向を基準撮像方向に戻す、
    隔操作システム。
  9. 撮像部と、
    他の遠隔操作移動体から当該他の遠隔操作移動体の撮像部の撮像方向を示す撮像方向情報を受信する撮像方向情報受信部と、
    前記撮像部の撮像方向が前記撮像方向情報の送信元の前記撮像部の撮像方向と同期するように前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、
    を備え、
    前記撮像方向情報は、前記撮像部の撮像方向の方位角及び仰俯角を示す情報を含む、
    遠隔操作移動体。
  10. 互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作方法であって、
    各遠隔操作移動体が、対応する遠隔操作端末から制御指令を受信し、
    各遠隔操作移動体が、前記制御指令に基づいて自機の動作を制御し、
    各遠隔操作移動体が、自機の撮像部から撮像画像情報を取得し、
    各遠隔操作移動体が、前記撮像画像情報を対応する前記遠隔操作端末に送信し、
    各遠隔操作移動体が、前記撮像部の撮像方向を検出し、
    各遠隔操作移動体が、検出した撮像方向を示す撮像方向情報を生成し、
    各遠隔操作移動体が、前記撮像方向情報を他の遠隔操作移動体に送信し、
    各遠隔操作移動体が、前記撮像方向情報を他の遠隔操作移動体から受信し、
    各遠隔操作移動体が、前記撮像部の撮像方向が、受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように、受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御し、
    各遠隔操作端末が、前記制御指令の入力操作を受け入れ、
    各遠隔操作端末が、対応する遠隔操作移動体に前記制御指令を送信し、
    各遠隔操作端末が、対応する遠隔操作移動体から前記撮像画像情報を受信し、
    各遠隔操作端末が、前記撮像画像情報を表示し、
    前記撮像方向情報は、前記撮像部の撮像方向の方位角及び仰俯角を示す情報を含む、
    遠隔操作方法。
  11. コンピュータに、請求項10に記載の遠隔操作方法を実行させるプログラム。
  12. 互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、
    前記複数の遠隔操作移動体と、
    前記複数の遠隔操作端末と、
    を備え、
    各遠隔操作移動体は、
    対応する遠隔操作端末から制御指令を受信する制御指令受信部と、
    前記制御指令に基づいて自機の動作を制御する動作制御部と、
    撮像部と、
    前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、
    前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、
    前記撮像部の撮像方向を検出する撮像方向検出部と、
    前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、
    前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、
    前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、
    前記撮像方向情報生成部が生成した前記撮像方向情報と、前記撮像方向情報受信部が受信した前記撮像方向情報と、の差分を示す差分情報を生成する差分情報生成部と、
    前記差分情報を対応する遠隔操作端末に送信する差分情報送信部と、
    を備え、
    各遠隔操作端末は、
    前記制御指令の入力操作を受け入れる制御指令入力部と、
    対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、
    対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、
    前記撮像画像情報を表示する撮像画像情報表示部と、
    対応する遠隔操作移動体から前記差分情報を受信する差分情報受信部と、
    前記差分情報を表示する差分情報表示部と、
    を備え、
    前記撮像方向情報は、前記撮像部の撮像方向の方位角及び仰俯角を示す情報を含む、
    遠隔操作システム。
JP2021049877A 2021-03-24 2021-03-24 遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム Active JP7468423B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021049877A JP7468423B2 (ja) 2021-03-24 2021-03-24 遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム
US17/699,771 US11856332B2 (en) 2021-03-24 2022-03-21 Remote operation system, remote operation mobile body, remote operation method, and program
CN202210290252.7A CN115134519B (zh) 2021-03-24 2022-03-23 远程操作***、远程操作移动体、远程操作方法以及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021049877A JP7468423B2 (ja) 2021-03-24 2021-03-24 遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2022148262A JP2022148262A (ja) 2022-10-06
JP7468423B2 true JP7468423B2 (ja) 2024-04-16

Family

ID=83363839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021049877A Active JP7468423B2 (ja) 2021-03-24 2021-03-24 遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム

Country Status (3)

Country Link
US (1) US11856332B2 (ja)
JP (1) JP7468423B2 (ja)
CN (1) CN115134519B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10690466B2 (en) 2017-04-19 2020-06-23 Global Tel*Link Corporation Mobile correctional facility robots
US10949940B2 (en) * 2017-04-19 2021-03-16 Global Tel*Link Corporation Mobile correctional facility robots

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135641A (ja) 2000-10-27 2002-05-10 Nippon Telegr & Teleph Corp <Ntt> 視点・視線自由移動カメラシステム
JP2019005819A (ja) 2017-06-21 2019-01-17 富士ゼロックス株式会社 遠隔操作型移動ロボットおよびロボット制御システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1034570A (ja) * 1996-07-19 1998-02-10 Fujitsu Ltd ロボット遠隔制御システム
JP2003158664A (ja) 2001-11-21 2003-05-30 Matsushita Electric Ind Co Ltd カメラ制御装置
JP4587166B2 (ja) * 2004-09-14 2010-11-24 キヤノン株式会社 移動体追跡システム、撮影装置及び撮影方法
US8279283B2 (en) * 2005-11-18 2012-10-02 Utc Fire & Security Americas Corporation, Inc. Methods and systems for operating a video surveillance system
JP5070441B2 (ja) 2007-10-10 2012-11-14 株式会社国際電気通信基礎技術研究所 ロボット遠隔操作システム
US8692666B2 (en) * 2010-08-09 2014-04-08 Olympus Imaging Corp. Communication system and communication terminal
JP2013162345A (ja) * 2012-02-06 2013-08-19 Sony Corp 撮像制御装置、撮像制御方法、プログラム、遠隔操作装置、遠隔操作方法、撮像システム
KR101407451B1 (ko) * 2013-01-15 2014-06-13 주식회사 스카이라이프티브이 3차원 영상 카메라의 무빙 장치와 그 제어방법
JP2015099581A (ja) * 2013-10-18 2015-05-28 株式会社ニコン 複数のカメラとサーバとを含む情報提示システム
US11601583B2 (en) * 2016-03-22 2023-03-07 Johnson Controls Tyco IP Holdings LLP System and method for controlling surveillance cameras
JP7067414B2 (ja) * 2018-10-24 2022-05-16 トヨタ自動車株式会社 コミュニケーションロボットおよびコミュニケーションロボットの制御プログラム
US20210001487A1 (en) * 2019-07-03 2021-01-07 Ricoh Company, Ltd. Information processing apparatus, information processing method, and storage medium
US11228737B2 (en) * 2019-07-31 2022-01-18 Ricoh Company, Ltd. Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
US11589010B2 (en) * 2020-06-03 2023-02-21 Apple Inc. Camera and visitor user interfaces
US11619935B2 (en) * 2020-07-17 2023-04-04 Blue Ocean Robotics Aps Methods of controlling a mobile robot device from one or more remote user devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135641A (ja) 2000-10-27 2002-05-10 Nippon Telegr & Teleph Corp <Ntt> 視点・視線自由移動カメラシステム
JP2019005819A (ja) 2017-06-21 2019-01-17 富士ゼロックス株式会社 遠隔操作型移動ロボットおよびロボット制御システム

Also Published As

Publication number Publication date
CN115134519A (zh) 2022-09-30
US11856332B2 (en) 2023-12-26
US20220311975A1 (en) 2022-09-29
JP2022148262A (ja) 2022-10-06
CN115134519B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
US10896543B2 (en) Methods and systems for augmented reality to display virtual representations of robotic device actions
CN105659170B (zh) 用于向远程用户传送视频的方法及视频通信装置
JP7468423B2 (ja) 遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム
US11284042B2 (en) Mobile robot, system and method for capturing and transmitting image data to remote terminal
JP7468421B2 (ja) 遠隔操作システム、遠隔操作方法、及び、プログラム
JP2022141639A (ja) 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム
JP2023164525A (ja) 通信端末、プログラム、表示方法、記録媒体
JP2020022152A (ja) 通信端末、プログラム、表示方法、記録媒体
US11822314B2 (en) Conveyance control system, conveyance control program, and conveyance control method
JP7415940B2 (ja) 情報処理装置および方法、並びに、プログラム
JP7115097B2 (ja) 通信端末、プログラム、表示方法、記録媒体
JP7267499B2 (ja) 合流支援システムおよび合流支援方法
JP7338755B2 (ja) 通信端末、通信システム、通信方法及びプログラム
US20240053746A1 (en) Display system, communications system, display control method, and program
US20230308705A1 (en) Communication terminal, communication management system, remote operation method, processing method, and communication management method
JP2023140160A (ja) 通信端末、通信管理システム、遠隔操作移動装置、通信システム、遠隔操作方法、通信管理方法、制御方法、通信方法、及びプログラム
JP2023140159A (ja) 通信端末、通信管理システム、通信システム、処理方法、通信管理方法、通信方法、及びプログラム
JP2023140161A (ja) 通信端末、通信管理システム、通信システム、処理方法、通信管理方法、通信方法、及びプログラム
JP2022146885A (ja) 表示装置、通信システム、表示制御方法およびプログラム
CN105393561B (zh) 用于装置耦合的方法和装置
WO2019187581A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JP2022146886A (ja) 表示装置、通信システム、表示制御方法およびプログラム
JP2024052524A (ja) 通信管理サーバ、通信システム、通信管理方法、及びプログラム
KR20160023368A (ko) 사물인터넷 단말과 사용자 단말간의 양방향 통신방법, 이를 위한 사물인터넷 단말 및 사용자 단말
CN114840077A (zh) 数据交互方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240318

R150 Certificate of patent or registration of utility model

Ref document number: 7468423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150