JP7468423B2 - 遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム - Google Patents
遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム Download PDFInfo
- Publication number
- JP7468423B2 JP7468423B2 JP2021049877A JP2021049877A JP7468423B2 JP 7468423 B2 JP7468423 B2 JP 7468423B2 JP 2021049877 A JP2021049877 A JP 2021049877A JP 2021049877 A JP2021049877 A JP 2021049877A JP 7468423 B2 JP7468423 B2 JP 7468423B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- imaging direction
- remote
- information
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 59
- 238000003384 imaging method Methods 0.000 claims description 528
- 230000005540 biological transmission Effects 0.000 claims description 44
- 230000001360 synchronised effect Effects 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Selective Calling Equipment (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Description
好ましくは、前記撮像方向情報は、前記撮像部の撮像方向の方位角及び仰俯角を示す情報を含む。以上の構成によれば、前記撮像方向制御部が同期処理を円滑に実行できる。
好ましくは、各遠隔操作移動体は、自機の機体識別情報を記憶する自機識別情報記憶部と、現在地情報を取得する現在地情報取得部と、前記機体識別情報及び前記現在地情報を含む識別位置情報を他の遠隔操作移動体に送信する識別位置情報送信部と、自機に対応するユーザと関係性のあるユーザの遠隔操作移動体の機体識別情報を記憶する他機識別情報記憶部と、他の遠隔操作移動体から前記識別位置情報を受信する識別位置情報受信部と、前記他機識別情報記憶部に記憶されている前記機体識別情報と前記識別位置情報受信部が受信した前記識別位置情報に基づいて、自機に対応するユーザと関係性のあるユーザの遠隔操作移動体が自機の近くにいることを示す関連移動体存在情報を生成する関連移動体存在情報生成部と、前記関連移動体存在情報を対応する遠隔操作端末に送信する関連移動体存在情報送信部と、を更に備え、各遠隔操作端末は、対応する遠隔操作移動体から前記関連移動体存在情報を受信する関連移動体存在情報受信部と、前記関連移動体存在情報を表示する関連移動体存在情報表示部と、を備える。以上の構成によれば、自分と関係性のあるユーザの遠隔操作移動体が、自分の遠隔操作移動体の近くにいることを容易に知ることができる。
好ましくは、各遠隔操作端末は、他の遠隔操作端末に同期要求を送信する同期要求送信部と、他の遠隔操作端末から前記同期要求を受信する同期要求受信部と、他の遠隔操作端末から受信した前記同期要求の承認操作を受け入れる同期要求承認部と、を更に備え、各遠隔操作移動体の前記撮像方向制御部は、前記同期要求が承認されたら同期処理を開始する。以上の構成によれば、同期処理のセキュリティを確保することができる。
好ましくは、各遠隔操作移動体の前記撮像方向制御部は、自機に対応する遠隔操作端末の前記同期要求承認部が前記同期要求の承認操作を受け入れたら同期処理を開始する。以上の構成によれば、同期要求を送信した送信元が他機の撮像方向を決定する権限を有する。
好ましくは、各遠隔操作端末は、前記撮像画像情報表示部が表示する前記撮像画像情報に映る少なくとも1つ以上の遠隔操作移動体から少なくとも1つ以上の遠隔操作移動体を選択する選択操作を受け入れる同期先選択部を更に備え、前記同期要求送信部は、選択された少なくとも1つ以上の遠隔操作移動体に対応する遠隔操作端末に前記同期要求を送信する。以上の構成によれば、同期要求を送信する他機を直感的に選択することができる。
好ましくは、前記動作制御部は、前記撮像方向制御部が前記同期処理を実行している間、前記同期要求を送信した送信元の遠隔操作移動体に追従して自機が移動するように自機の動作を制御する。以上の構成によれば、同期処理を実行している間、自機が同期先の遠隔操作移動体に追従して移動するようになる。
好ましくは、前記撮像方向制御部は、前記制御指令受信部が前記撮像部の撮像方向を変更する制御指令を受信したら同期処理を終了する。以上の構成によれば、同期処理を実行している間でもいつでも好きな方向へ撮像方向を変更できる。
好ましくは、前記撮像方向制御部は、同期処理を終了したとき、前記撮像部の撮像方向を基準撮像方向に戻す。以上の構成によれば、同期終了時点における自機の向きと撮像部の撮像方向とのギャップを解消できるので、同期終了時点の自機の移動操作が簡単になる。
本願発明の第2の観点によれば、撮像部と、他の遠隔操作移動体から当該他の遠隔操作移動体の撮像部の撮像方向を示す撮像方向情報を受信する撮像方向情報受信部と、前記撮像部の撮像方向が前記撮像方向情報の送信元の前記撮像部の撮像方向と同期するように前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、を備えた、遠隔操作移動体が提供される。以上の構成によれば、自機の撮像部の撮像方向と他機の撮像部の撮像方向が同期するので、複数のユーザ間で円滑な意思疎通を図ることができる。
本願発明の第3の観点によれば、互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作方法であって、各遠隔操作移動体が、対応する遠隔操作端末から制御指令を受信し、各遠隔操作移動体が、前記制御指令に基づいて自機の動作を制御し、各遠隔操作移動体が、自機の撮像部から撮像画像情報を取得し、各遠隔操作移動体が、前記撮像画像情報を対応する前記遠隔操作端末に送信し、各遠隔操作移動体が、前記撮像部の撮像方向を検出し、各遠隔操作移動体が、検出した撮像方向を示す撮像方向情報を生成し、各遠隔操作移動体が、前記撮像方向情報を他の遠隔操作移動体に送信し、各遠隔操作移動体が、前記撮像方向情報を他の遠隔操作移動体から受信し、各遠隔操作移動体が、前記撮像部の撮像方向が、受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように、受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御し、各遠隔操作端末が、前記制御指令の入力操作を受け入れ、各遠隔操作端末が、対応する遠隔操作移動体に前記制御指令を送信し、各遠隔操作端末が、対応する遠隔操作移動体から前記撮像画像情報を受信し、各遠隔操作端末が、前記撮像画像情報を表示する、遠隔操作方法が提供される。以上の方法によれば、前記複数の遠隔操作移動体の前記撮像部の撮像方向が互いに同期するので、前記複数の遠隔操作端末は似たような前記撮像画像情報を表示することになり、もって、複数のユーザ間で円滑な意思疎通を図ることができる。
コンピュータに、上記の遠隔操作方法を実行させるプログラムが提供される。
本願発明の第4の観点によれば、互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、前記複数の遠隔操作移動体と、前記複数の遠隔操作端末と、を備え、各遠隔操作移動体は、対応する遠隔操作端末から制御指令を受信する制御指令受信部と、前記制御指令に基づいて自機の動作を制御する動作制御部と、撮像部と、前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、前記撮像部の撮像方向を検出する撮像方向検出部と、前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、前記撮像方向情報生成部が生成した前記撮像方向情報と、前記撮像方向情報受信部が受信した前記撮像方向情報と、の差分を示す差分情報を生成する差分情報生成部と、前記差分情報を対応する遠隔操作端末に送信する差分情報送信部と、を備え、各遠隔操作端末は、前記制御指令の入力操作を受け入れる制御指令入力部と、対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、前記撮像画像情報を表示する撮像画像情報表示部と、対応する遠隔操作移動体から前記差分情報を受信する差分情報受信部と、前記差分情報を表示する差分情報表示部と、を備えた、遠隔操作システムが提供される。以上の構成によれば、前記差分情報が示す差分を解消するように前記ユーザが前記制御指令を入力することにより、前記複数の遠隔操作移動体の前記撮像部の撮像方向が互いに近づくので、前記複数の遠隔操作端末の前記撮像画像情報表示部は似たような前記撮像画像情報を表示することになり、もって、複数のユーザ間で円滑な意思疎通を図ることができる。
以下、図1から図11を参照して、第1実施形態を説明する。
遠隔操作ロボット2は、遠隔操作移動体の一具体例である。図1に示すように、遠隔操作ロボット2は、ロボット本体4と複数の車輪5とカメラ6を備えている。複数の車輪5は、駆動輪と従動輪を含む。しかし、複数の車輪5のすべてが駆動輪としてもよい。カメラ6は、撮像部の一具体例である。本実施形態において、カメラ6は、測距機能を有するステレオカメラとしている。しかし、カメラ6は、測距機能を有さなくてもよい。カメラ6は、ロボット本体4に対してロール軸及びヨー軸まわりに揺動可能に構成されている。従って、遠隔操作ロボット2が移動することなく、カメラ6の撮像方向を変更することができる。具体的には、遠隔操作ロボット2が移動することなく、カメラ6の撮像方向の方位角及び仰俯角を変更することができる。遠隔操作ロボット2は、カメラ6の撮像方向を変更するための図示しない駆動部を備えている。
続けて、図5を参照して、遠隔操作端末3を説明する。図5に示すように、遠隔操作端末3は、中央演算処理器としてのCPU3a(Central Processing Unit)と、読み書き自由のRAM3b(Random Access Memory)、読み出し専用のROM3c(Read Only Memory)を備えている。遠隔操作端末3は、更に、マイク50、スピーカ51、ディスプレイ52、タッチパネル53、通信インターフェース54を備えている。ディスプレイ52及びタッチパネル53は、互いに重なり合うように設けられている。そして、CPU3aがROM3cに記憶されている制御プログラムを読み出して実行することで、制御プログラムは、CPU3aなどのハードウェアを各種機能部として機能させる。
まず、遠隔操作ロボット2Bの現在地情報取得部41は、自機の現在地情報を取得する。
次に、遠隔操作ロボット2Bの識別位置情報送信部42は、自機の機体識別情報及び現在地情報を含む識別位置情報を生成し、生成した識別位置情報を他の遠隔操作ロボット2に送信する。
次に、遠隔操作ロボット2Aの現在地情報取得部41は、自機の現在地情報を取得する。
次に、遠隔操作ロボット2Aの関連ロボット存在情報生成部45は、他機識別情報記憶部43に記憶されている機体識別情報(図3参照)と識別位置情報受信部44が受信した識別位置情報(図4)に基づいて、自機に対応するユーザと関係性のあるユーザの遠隔操作ロボット2が自機の近くにいることを示す関連ロボット存在情報を生成する。具体的には、関連ロボット存在情報生成部45は、他機識別情報記憶部43に記憶されている機体識別情報(図3参照)と識別位置情報受信部44が受信した識別位置情報(図4)を対比させ、機体識別情報が重複する識別位置情報を識別位置情報受信部44が受信した識別位置情報(図4)から抽出する。即ち、関連ロボット存在情報生成部45は、図4に示す2つの識別位置情報のうちユーザBに対応する識別位置情報を抽出する。そして、関連ロボット存在情報生成部45は、関連ロボット存在情報生成部45が抽出したユーザBに対応する識別位置情報に含まれる現在地情報と、自機の現在地情報と、を対比させ、遠隔操作ロボット2Bが自機から所定距離以内に存在するか判定する。遠隔操作ロボット2Bが自機から所定距離以内に存在すると判定した場合、関連ロボット存在情報生成部45は、ユーザBに対応する識別位置情報を含む関連ロボット存在情報を生成する。
次に、遠隔操作ロボット2Aの関連ロボット存在情報送信部46は、関連ロボット存在情報を遠隔操作端末3Aに送信する。
次に、遠隔操作端末3Aの関連ロボット存在情報表示部65は、関連ロボット存在情報受信部64が受信した関連ロボット存在情報をディスプレイ52に表示する。図8には、関連ロボット存在情報表示部65が関連ロボット存在情報をディスプレイ52の情報表示領域52aに表示している様子を示している。図8に示すように、関連ロボット存在情報表示部65は、他機識別情報記憶部43を参照して、関連ロボット存在情報に含まれる機体識別情報に対応するユーザ名を取得し、例えば「友達のユーザBが近くにいます。」というテキストメッセージを生成し、当該テキストメッセージをディスプレイ52の情報表示領域52aに表示する。また、ユーザBに対応する遠隔操作ロボット2Bがディスプレイ52に表示されている場合は、ディスプレイ52において遠隔操作ロボット2Bを特定できるようなアイコン52cをディスプレイ52に表示されている撮像画像情報に重畳させてもよい。
次に、図9に示すように、ユーザAがディスプレイ52に表示されている遠隔操作ロボット2Bをタップする。すると、遠隔操作端末3Aの同期先選択部70は、ユーザAのタップ操作のタップ座標に基づいて、ディスプレイ52に表示されている複数の遠隔操作ロボット2のうち遠隔操作ロボット2Bが選択されたと判定する。
ユーザAは続けて同期要求ボタン81をタップする。すると、遠隔操作端末3Aの同期要求送信部71は、遠隔操作端末3Bに同期要求を送信する。また、遠隔操作端末3Bの同期要求受信部72は、遠隔操作端末3Aから同期要求を受信する。
次に、遠隔操作端末3Bの同期要求承認部73は、図10に示すように、遠隔操作端末3Aから同期要求を受信したことをディスプレイ52の情報表示領域52aに表示する。次に、ユーザBが同期承認ボタン82をタップする。すると、同期要求承認部73は、ユーザBが同期要求を承認したと判定する。そして、同期要求承認部73は、ユーザAからユーザBへの同期要求が承認されたことを示す承認情報を遠隔操作ロボット2B及び遠隔操作ロボット2A、遠隔操作端末3Aに送信する(S185)。
次に、遠隔操作ロボット2Aの撮像方向検出部30は、自機のカメラ6の撮像方向を検出する。
次に、遠隔操作ロボット2Aの撮像方向情報生成部31は、自機のカメラ6の撮像方向を示す撮像方向情報を生成する。
次に、遠隔操作ロボット2Aの撮像方向情報送信部32は、撮像方向情報を遠隔操作ロボット2Bに送信する。遠隔操作ロボット2Bの撮像方向情報受信部33は、遠隔操作ロボット2Aから撮像方向情報を受信する。
次に、遠隔操作ロボット2Bの撮像方向制御部34は、自機のカメラ6の撮像方向が、撮像方向情報受信部33が受信した撮像方向情報の送信元、即ち遠隔操作ロボット2Aのカメラ6の撮像方向と同期するように撮像方向情報受信部33が受信した撮像方向情報に基づいて自機のカメラ6の撮像方向を制御する。すると、遠隔操作ロボット2Bのカメラ6の撮像方向が遠隔操作ロボット2Aのカメラ6の撮像方向と一致することにより、図11に示すように、遠隔操作端末3Bのディスプレイ52の情報表示領域52aには、ユーザAが遠隔操作端末3Aを介して見ている風景と同じ風景が表示されるようになる。
また、遠隔操作ロボット2Aの現在地情報取得部41は、自機の現在地情報を取得する。
次に、遠隔操作ロボット2Aの現在地情報送信部47は、現在地情報を遠隔操作ロボット2Bに送信する。遠隔操作ロボット2Bの現在地情報受信部48は、遠隔操作ロボット2Aから現在地情報を受信する。
そして、遠隔操作ロボット2Bの動作制御部21は、撮像方向制御部34が同期処理を実行している間、同期要求を送信した送信元の遠隔操作ロボット2Aに追従して自機が移動するように自機の動作を制御する。
ユーザBが遠隔操作端末3Bの撮像用4方向ボタン60bを操作したら(S260)、遠隔操作端末3Bは、撮像方向変更指令を遠隔操作ロボット2Bに送信する(S270)。遠隔操作ロボット2Bの制御指令受信部20は、遠隔操作端末3Bから撮像方向変更指令を受信する(S270)。
遠隔操作ロボット2Bの撮像方向制御部34及び動作制御部21は、上記の撮像方向変更指令を受信したら、同期制御(S220)及び追従制御(S250)を終了する。なお、ユーザBが遠隔操作端末3Bの同期解除ボタン83をタップすることにより遠隔操作端末3Bが遠隔操作ロボット2Bに同期解除指令を送信した場合も、撮像方向制御部34及び動作制御部21は、同期制御(S220)及び追従制御(S250)を終了する。
そして、遠隔操作ロボット2Bの撮像方向制御部34は、同期処理を終了したとき、カメラ6の撮像方向を基準撮像方向に戻す。ここで、基準撮像方向とは、典型的には、図1に示す複数の車輪5の配置に基づいて定められた方向である。例えば、複数の車輪5の車軸に対して平面視で直交する方向を基準撮像方向としてもよい。
以下、図12及び図13を参照して、第2実施形態を説明する。以下、本実施形態が上記第1実施形態と相違する点を中心に説明し、重複する説明は省略する。
互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、
前記複数の遠隔操作移動体と、
前記複数の遠隔操作端末と、
を備え、
各遠隔操作移動体は、
対応する遠隔操作端末から制御指令を受信する制御指令受信部と、
前記制御指令に基づいて自機の動作を制御する動作制御部と、
撮像部と、
前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、
前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、
前記撮像部の撮像方向を検出する撮像方向検出部と、
前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、
前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、
前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、
前記撮像部の撮像方向が、前記撮像方向情報受信部が受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように前記撮像方向情報受信部が受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、
を備え、
各遠隔操作端末は、
前記制御指令の入力操作を受け入れる制御指令入力部と、
対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、
対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、
前記撮像画像情報を表示する撮像画像情報表示部と、
を備えた、
遠隔操作システム。
(付記2)
前記撮像方向情報は、前記撮像部の撮像方向の方位角及び仰俯角を示す情報を含む、
付記1に記載の遠隔操作システム。
(付記3)
各遠隔操作移動体は、
自機の機体識別情報を記憶する自機識別情報記憶部と、
現在地情報を取得する現在地情報取得部と、
前記機体識別情報及び前記現在地情報を含む識別位置情報を他の遠隔操作移動体に送信する識別位置情報送信部と、
自機に対応するユーザと関係性のあるユーザの遠隔操作移動体の機体識別情報を記憶する他機識別情報記憶部と、
他の遠隔操作移動体から前記識別位置情報を受信する識別位置情報受信部と、
前記他機識別情報記憶部に記憶されている前記機体識別情報と前記識別位置情報受信部が受信した前記識別位置情報に基づいて、自機に対応するユーザと関係性のあるユーザの遠隔操作移動体が自機の近くにいることを示す関連移動体存在情報を生成する関連移動体存在情報生成部と、
前記関連移動体存在情報を対応する遠隔操作端末に送信する関連移動体存在情報送信部と、
を更に備え、
各遠隔操作端末は、
対応する遠隔操作移動体から前記関連移動体存在情報を受信する関連移動体存在情報受信部と、
前記関連移動体存在情報を表示する関連移動体存在情報表示部と、
を備えた、
付記1又は2に記載の遠隔操作システム。
(付記4)
各遠隔操作端末は、
他の遠隔操作端末に同期要求を送信する同期要求送信部と、
他の遠隔操作端末から前記同期要求を受信する同期要求受信部と、
他の遠隔操作端末から受信した前記同期要求の承認操作を受け入れる同期要求承認部と、
を更に備え、
各遠隔操作移動体の前記撮像方向制御部は、前記同期要求が承認されたら同期処理を開始する、
付記1から3までの何れか一項に記載の遠隔操作システム。
(付記5)
各遠隔操作移動体の前記撮像方向制御部は、自機に対応する遠隔操作端末の前記同期要求承認部が前記同期要求の承認操作を受け入れたら同期処理を開始する、
付記4に記載の遠隔操作システム。
(付記6)
各遠隔操作端末は、
前記撮像画像情報表示部が表示する前記撮像画像情報に映る少なくとも1つ以上の遠隔操作移動体から少なくとも1つ以上の遠隔操作移動体を選択する選択操作を受け入れる同期先選択部を更に備え、
前記同期要求送信部は、選択された少なくとも1つ以上の遠隔操作移動体に対応する遠隔操作端末に前記同期要求を送信する、
付記4又は5に記載の遠隔操作システム。
(付記7)
前記動作制御部は、前記撮像方向制御部が前記同期処理を実行している間、前記同期要求を送信した送信元の遠隔操作移動体に追従して自機が移動するように自機の動作を制御する、
付記4から6までの何れか一項に記載の遠隔操作システム。
(付記8)
前記撮像方向制御部は、前記制御指令受信部が前記撮像部の撮像方向を変更する制御指令を受信したら同期処理を終了する、
付記1から7までの何れか一項に記載の遠隔操作システム。
(付記9)
前記撮像方向制御部は、同期処理を終了したとき、前記撮像部の撮像方向を基準撮像方向に戻す、
付記1から8までの何れか一項に記載の遠隔操作システム。
(付記10)
撮像部と、
他の遠隔操作移動体から当該他の遠隔操作移動体の撮像部の撮像方向を示す撮像方向情報を受信する撮像方向情報受信部と、
前記撮像部の撮像方向が前記撮像方向情報の送信元の前記撮像部の撮像方向と同期するように前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、
を備えた、
遠隔操作移動体。
(付記11)
互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作方法であって、
各遠隔操作移動体が、対応する遠隔操作端末から制御指令を受信し、
各遠隔操作移動体が、前記制御指令に基づいて自機の動作を制御し、
各遠隔操作移動体が、自機の撮像部から撮像画像情報を取得し、
各遠隔操作移動体が、前記撮像画像情報を対応する前記遠隔操作端末に送信し、
各遠隔操作移動体が、前記撮像部の撮像方向を検出し、
各遠隔操作移動体が、検出した撮像方向を示す撮像方向情報を生成し、
各遠隔操作移動体が、前記撮像方向情報を他の遠隔操作移動体に送信し、
各遠隔操作移動体が、前記撮像方向情報を他の遠隔操作移動体から受信し、
各遠隔操作移動体が、前記撮像部の撮像方向が、受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように、受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御し、
各遠隔操作端末が、前記制御指令の入力操作を受け入れ、
各遠隔操作端末が、対応する遠隔操作移動体に前記制御指令を送信し、
各遠隔操作端末が、対応する遠隔操作移動体から前記撮像画像情報を受信し、
各遠隔操作端末が、前記撮像画像情報を表示する、
遠隔操作方法。
(付記12)
コンピュータに、付記11に記載の遠隔操作方法を実行させるプログラム。
(付記13)
互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、
前記複数の遠隔操作移動体と、
前記複数の遠隔操作端末と、
を備え、
各遠隔操作移動体は、
対応する遠隔操作端末から制御指令を受信する制御指令受信部と、
前記制御指令に基づいて自機の動作を制御する動作制御部と、
撮像部と、
前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、
前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、
前記撮像部の撮像方向を検出する撮像方向検出部と、
前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、
前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、
前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、
前記撮像方向情報生成部が生成した前記撮像方向情報と、前記撮像方向情報受信部が受信した前記撮像方向情報と、の差分を示す差分情報を生成する差分情報生成部と、
前記差分情報を対応する遠隔操作端末に送信する差分情報送信部と、
を備え、
各遠隔操作端末は、
前記制御指令の入力操作を受け入れる制御指令入力部と、
対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、
対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、
前記撮像画像情報を表示する撮像画像情報表示部と、
対応する遠隔操作移動体から前記差分情報を受信する差分情報受信部と、
前記差分情報を表示する差分情報表示部と、
を備えた、
遠隔操作システム。
(付記14)
前記撮像方向情報は、前記撮像部の撮像方向の方位角及び仰俯角を示す情報を含む、
付記11に記載の遠隔操作方法。
(付記15)
各遠隔操作移動体が、自機の機体識別情報を記憶し、
各遠隔操作移動体が、現在地情報を取得し、
各遠隔操作移動体が、前記機体識別情報及び前記現在地情報を含む識別位置情報を他の遠隔操作移動体に送信し、
各遠隔操作移動体が、自機に対応するユーザと関係性のあるユーザの遠隔操作移動体の機体識別情報を記憶し、
各遠隔操作移動体が、他の遠隔操作移動体から前記識別位置情報を受信し、
各遠隔操作移動体が、記憶した前記機体識別情報と受信した前記識別位置情報に基づいて、自機に対応するユーザと関係性のあるユーザの遠隔操作移動体が自機の近くにいることを示す関連移動体存在情報を生成し、
各遠隔操作移動体が、前記関連移動体存在情報を対応する遠隔操作端末に送信し、
各遠隔操作端末が、対応する遠隔操作移動体から前記関連移動体存在情報を受信し、
各遠隔操作端末が、前記関連移動体存在情報を表示する、
付記11又は14に記載の遠隔操作方法。
(付記16)
各遠隔操作端末が、他の遠隔操作端末に同期要求を送信し、
各遠隔操作端末が、他の遠隔操作端末から前記同期要求を受信し、
各遠隔操作端末が、他の遠隔操作端末から受信した前記同期要求の承認操作を受け入れ、
各遠隔操作移動体が、前記同期要求が承認されたら同期処理を開始する、
付記11、14、15の何れか一項に記載の遠隔操作方法。
(付記17)
各遠隔操作移動体が、自機に対応する遠隔操作端末が前記同期要求の承認操作を受け入れたら同期処理を開始する、
付記16に記載の遠隔操作方法。
(付記18)
各遠隔操作端末が、表示する前記撮像画像情報に映る少なくとも1つ以上の遠隔操作移動体から少なくとも1つ以上の遠隔操作移動体を選択する選択操作を受け入れ、
各遠隔操作端末が、選択された少なくとも1つ以上の遠隔操作移動体に対応する遠隔操作端末に前記同期要求を送信する、
付記16又は17に記載の遠隔操作方法。
(付記19)
各遠隔操作移動体が、前記撮像部の撮像方向を変更する制御指令を受信したら同期処理を終了する、
付記11、14から18までの何れか一項に記載の遠隔操作方法。
(付記20)
各遠隔操作移動体が、前記同期処理を実行している間、前記同期要求を送信した送信元の遠隔操作移動体に追従して自機が移動するように自機の動作を制御する、
付記11、14から19までの何れか一項に記載の遠隔操作方法。
(付記21)
各遠隔操作移動体が、前記同期処理を終了したとき、前記撮像部の撮像方向を基準撮像方向に戻す、
付記11、14から20までの何れか一項に記載の遠隔操作方法。
(付記22)
互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作方法であって、
各遠隔操作移動体が、対応する遠隔操作端末から制御指令を受信し、
各遠隔操作移動体が、前記制御指令に基づいて自機の動作を制御し、
各遠隔操作移動体が、自機の撮像部から撮像画像情報を取得し、
各遠隔操作移動体が、前記撮像画像情報を対応する前記遠隔操作端末に送信し、
各遠隔操作移動体が、前記撮像部の撮像方向を検出し、
各遠隔操作移動体が、検出した撮像方向を示す撮像方向情報を生成し、
各遠隔操作移動体が、前記撮像方向情報を他の遠隔操作移動体に送信し、
各遠隔操作移動体が、前記撮像方向情報を他の遠隔操作移動体から受信し、
各遠隔操作移動体が、生成した前記撮像方向情報と、受信した前記撮像方向情報と、の差分を示す差分情報を生成し、
各遠隔操作移動体が、前記差分情報を対応する遠隔操作端末に送信し、
各遠隔操作端末が、前記制御指令の入力操作を受け入れ、
各遠隔操作端末が、対応する遠隔操作移動体に前記制御指令を送信し、
各遠隔操作端末が、対応する遠隔操作移動体から前記撮像画像情報を受信し、
各遠隔操作端末が、前記撮像画像情報を表示し、
各遠隔操作端末が、対応する遠隔操作移動体から前記差分情報を受信し、
各遠隔操作端末が、前記差分情報を表示する、
遠隔操作方法。
2 遠隔操作ロボット
2A 遠隔操作ロボット
2B 遠隔操作ロボット
3 遠隔操作端末
3A 遠隔操作端末
3B 遠隔操作端末
4 ロボット本体
5 車輪
6 カメラ
7 マイク
8 スピーカ
9 GPSモジュール
10 通信インターフェース
20 制御指令受信部
21 動作制御部
22 撮像画像情報取得部
23 撮像画像情報送信部
30 撮像方向検出部
31 撮像方向情報生成部
32 撮像方向情報送信部
33 撮像方向情報受信部
34 撮像方向制御部
40 自機識別情報記憶部
41 現在地情報取得部
42 識別位置情報送信部
43 他機識別情報記憶部
44 識別位置情報受信部
45 関連ロボット存在情報生成部
46 関連ロボット存在情報送信部
47 現在地情報送信部
48 現在地情報受信部
50 マイク
51 スピーカ
52 ディスプレイ
52a 情報表示領域
52b 入力領域
52c アイコン
53 タッチパネル
54 通信インターフェース
60 制御指令入力部
60a 移動用4方向ボタン
60b 撮像用4方向ボタン
61 制御指令送信部
62 撮像画像情報受信部
63 撮像画像情報表示部
64 関連ロボット存在情報受信部
65 関連ロボット存在情報表示部
70 同期先選択部
71 同期要求送信部
72 同期要求受信部
73 同期要求承認部
81 同期要求ボタン
82 同期承認ボタン
83 同期解除ボタン
90 差分情報生成部
91 差分情報送信部
92 差分情報受信部
93 差分情報表示部
Claims (12)
- 互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、
前記複数の遠隔操作移動体と、
前記複数の遠隔操作端末と、
を備え、
各遠隔操作移動体は、
対応する遠隔操作端末から制御指令を受信する制御指令受信部と、
前記制御指令に基づいて自機の動作を制御する動作制御部と、
撮像部と、
前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、
前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、
前記撮像部の撮像方向を検出する撮像方向検出部と、
前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、
前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、
前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、
前記撮像部の撮像方向が、前記撮像方向情報受信部が受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように前記撮像方向情報受信部が受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、
を備え、
各遠隔操作端末は、
前記制御指令の入力操作を受け入れる制御指令入力部と、
対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、
対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、
前記撮像画像情報を表示する撮像画像情報表示部と、
を備え、
前記撮像方向情報は、前記撮像部の撮像方向の方位角及び仰俯角を示す情報を含む、
遠隔操作システム。 - 互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、
前記複数の遠隔操作移動体と、
前記複数の遠隔操作端末と、
を備え、
各遠隔操作移動体は、
対応する遠隔操作端末から制御指令を受信する制御指令受信部と、
前記制御指令に基づいて自機の動作を制御する動作制御部と、
撮像部と、
前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、
前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、
前記撮像部の撮像方向を検出する撮像方向検出部と、
前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、
前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、
前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、
前記撮像部の撮像方向が、前記撮像方向情報受信部が受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように前記撮像方向情報受信部が受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、
を備え、
各遠隔操作端末は、
前記制御指令の入力操作を受け入れる制御指令入力部と、
対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、
対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、
前記撮像画像情報を表示する撮像画像情報表示部と、
を備え、
各遠隔操作移動体は、
自機の機体識別情報を記憶する自機識別情報記憶部と、
現在地情報を取得する現在地情報取得部と、
前記機体識別情報及び前記現在地情報を含む識別位置情報を他の遠隔操作移動体に送信する識別位置情報送信部と、
自機に対応するユーザと関係性のあるユーザの遠隔操作移動体の機体識別情報を記憶する他機識別情報記憶部と、
他の遠隔操作移動体から前記識別位置情報を受信する識別位置情報受信部と、
前記他機識別情報記憶部に記憶されている前記機体識別情報と前記識別位置情報受信部が受信した前記識別位置情報に基づいて、自機に対応するユーザと関係性のあるユーザの遠隔操作移動体が自機の近くにいることを示す関連移動体存在情報を生成する関連移動体存在情報生成部と、
前記関連移動体存在情報を対応する遠隔操作端末に送信する関連移動体存在情報送信部と、
を更に備え、
各遠隔操作端末は、
対応する遠隔操作移動体から前記関連移動体存在情報を受信する関連移動体存在情報受信部と、
前記関連移動体存在情報を表示する関連移動体存在情報表示部と、
を備えた、
遠隔操作システム。 - 互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、
前記複数の遠隔操作移動体と、
前記複数の遠隔操作端末と、
を備え、
各遠隔操作移動体は、
対応する遠隔操作端末から制御指令を受信する制御指令受信部と、
前記制御指令に基づいて自機の動作を制御する動作制御部と、
撮像部と、
前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、
前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、
前記撮像部の撮像方向を検出する撮像方向検出部と、
前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、
前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、
前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、
前記撮像部の撮像方向が、前記撮像方向情報受信部が受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように前記撮像方向情報受信部が受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、
を備え、
各遠隔操作端末は、
前記制御指令の入力操作を受け入れる制御指令入力部と、
対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、
対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、
前記撮像画像情報を表示する撮像画像情報表示部と、
を備え、
各遠隔操作端末は、
他の遠隔操作端末に同期要求を送信する同期要求送信部と、
他の遠隔操作端末から前記同期要求を受信する同期要求受信部と、
他の遠隔操作端末から受信した前記同期要求の承認操作を受け入れる同期要求承認部と、
を更に備え、
各遠隔操作移動体の前記撮像方向制御部は、前記同期要求が承認されたら同期処理を開始する、
遠隔操作システム。 - 各遠隔操作移動体の前記撮像方向制御部は、自機に対応する遠隔操作端末の前記同期要求承認部が前記同期要求の承認操作を受け入れたら同期処理を開始する、
請求項3に記載の遠隔操作システム。 - 各遠隔操作端末は、
前記撮像画像情報表示部が表示する前記撮像画像情報に映る少なくとも1つ以上の遠隔操作移動体から少なくとも1つ以上の遠隔操作移動体を選択する選択操作を受け入れる同期先選択部を更に備え、
前記同期要求送信部は、選択された少なくとも1つ以上の遠隔操作移動体に対応する遠隔操作端末に前記同期要求を送信する、
請求項3又は4に記載の遠隔操作システム。 - 前記動作制御部は、前記撮像方向制御部が同期処理を実行している間、前記同期要求を送信した送信元の遠隔操作移動体に追従して自機が移動するように自機の動作を制御する、
請求項3から5までの何れか一項に記載の遠隔操作システム。 - 互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、
前記複数の遠隔操作移動体と、
前記複数の遠隔操作端末と、
を備え、
各遠隔操作移動体は、
対応する遠隔操作端末から制御指令を受信する制御指令受信部と、
前記制御指令に基づいて自機の動作を制御する動作制御部と、
撮像部と、
前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、
前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、
前記撮像部の撮像方向を検出する撮像方向検出部と、
前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、
前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、
前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、
前記撮像部の撮像方向が、前記撮像方向情報受信部が受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように前記撮像方向情報受信部が受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、
を備え、
各遠隔操作端末は、
前記制御指令の入力操作を受け入れる制御指令入力部と、
対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、
対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、
前記撮像画像情報を表示する撮像画像情報表示部と、
を備え、
前記撮像方向制御部は、前記制御指令受信部が前記撮像部の撮像方向を変更する制御指令を受信したら同期処理を終了する、
遠隔操作システム。 - 互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、
前記複数の遠隔操作移動体と、
前記複数の遠隔操作端末と、
を備え、
各遠隔操作移動体は、
対応する遠隔操作端末から制御指令を受信する制御指令受信部と、
前記制御指令に基づいて自機の動作を制御する動作制御部と、
撮像部と、
前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、
前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、
前記撮像部の撮像方向を検出する撮像方向検出部と、
前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、
前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、
前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、
前記撮像部の撮像方向が、前記撮像方向情報受信部が受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように前記撮像方向情報受信部が受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、
を備え、
各遠隔操作端末は、
前記制御指令の入力操作を受け入れる制御指令入力部と、
対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、
対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、
前記撮像画像情報を表示する撮像画像情報表示部と、
を備え、
前記撮像方向制御部は、同期処理を終了したとき、前記撮像部の撮像方向を基準撮像方向に戻す、
遠隔操作システム。 - 撮像部と、
他の遠隔操作移動体から当該他の遠隔操作移動体の撮像部の撮像方向を示す撮像方向情報を受信する撮像方向情報受信部と、
前記撮像部の撮像方向が前記撮像方向情報の送信元の前記撮像部の撮像方向と同期するように前記撮像方向情報に基づいて前記撮像部の撮像方向を制御する撮像方向制御部と、
を備え、
前記撮像方向情報は、前記撮像部の撮像方向の方位角及び仰俯角を示す情報を含む、
遠隔操作移動体。 - 互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作方法であって、
各遠隔操作移動体が、対応する遠隔操作端末から制御指令を受信し、
各遠隔操作移動体が、前記制御指令に基づいて自機の動作を制御し、
各遠隔操作移動体が、自機の撮像部から撮像画像情報を取得し、
各遠隔操作移動体が、前記撮像画像情報を対応する前記遠隔操作端末に送信し、
各遠隔操作移動体が、前記撮像部の撮像方向を検出し、
各遠隔操作移動体が、検出した撮像方向を示す撮像方向情報を生成し、
各遠隔操作移動体が、前記撮像方向情報を他の遠隔操作移動体に送信し、
各遠隔操作移動体が、前記撮像方向情報を他の遠隔操作移動体から受信し、
各遠隔操作移動体が、前記撮像部の撮像方向が、受信した前記撮像方向情報の送信元の前記撮像部の前記撮像方向と同期するように、受信した前記撮像方向情報に基づいて前記撮像部の撮像方向を制御し、
各遠隔操作端末が、前記制御指令の入力操作を受け入れ、
各遠隔操作端末が、対応する遠隔操作移動体に前記制御指令を送信し、
各遠隔操作端末が、対応する遠隔操作移動体から前記撮像画像情報を受信し、
各遠隔操作端末が、前記撮像画像情報を表示し、
前記撮像方向情報は、前記撮像部の撮像方向の方位角及び仰俯角を示す情報を含む、
遠隔操作方法。 - コンピュータに、請求項10に記載の遠隔操作方法を実行させるプログラム。
- 互いに離れた場所にいる複数のユーザが各人の遠隔操作端末を操作することにより同じ場所にいる複数の遠隔操作移動体をそれぞれ遠隔操作する、遠隔操作システムであって、
前記複数の遠隔操作移動体と、
前記複数の遠隔操作端末と、
を備え、
各遠隔操作移動体は、
対応する遠隔操作端末から制御指令を受信する制御指令受信部と、
前記制御指令に基づいて自機の動作を制御する動作制御部と、
撮像部と、
前記撮像部から撮像画像情報を取得する撮像画像情報取得部と、
前記撮像画像情報を対応する前記遠隔操作端末に送信する撮像画像情報送信部と、
前記撮像部の撮像方向を検出する撮像方向検出部と、
前記撮像方向検出部が検出した撮像方向を示す撮像方向情報を生成する撮像方向情報生成部と、
前記撮像方向情報を他の遠隔操作移動体に送信する撮像方向情報送信部と、
前記撮像方向情報を他の遠隔操作移動体から受信する撮像方向情報受信部と、
前記撮像方向情報生成部が生成した前記撮像方向情報と、前記撮像方向情報受信部が受信した前記撮像方向情報と、の差分を示す差分情報を生成する差分情報生成部と、
前記差分情報を対応する遠隔操作端末に送信する差分情報送信部と、
を備え、
各遠隔操作端末は、
前記制御指令の入力操作を受け入れる制御指令入力部と、
対応する遠隔操作移動体に前記制御指令を送信する制御指令送信部と、
対応する遠隔操作移動体から前記撮像画像情報を受信する撮像画像情報受信部と、
前記撮像画像情報を表示する撮像画像情報表示部と、
対応する遠隔操作移動体から前記差分情報を受信する差分情報受信部と、
前記差分情報を表示する差分情報表示部と、
を備え、
前記撮像方向情報は、前記撮像部の撮像方向の方位角及び仰俯角を示す情報を含む、
遠隔操作システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021049877A JP7468423B2 (ja) | 2021-03-24 | 2021-03-24 | 遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム |
US17/699,771 US11856332B2 (en) | 2021-03-24 | 2022-03-21 | Remote operation system, remote operation mobile body, remote operation method, and program |
CN202210290252.7A CN115134519B (zh) | 2021-03-24 | 2022-03-23 | 远程操作***、远程操作移动体、远程操作方法以及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021049877A JP7468423B2 (ja) | 2021-03-24 | 2021-03-24 | 遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022148262A JP2022148262A (ja) | 2022-10-06 |
JP7468423B2 true JP7468423B2 (ja) | 2024-04-16 |
Family
ID=83363839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021049877A Active JP7468423B2 (ja) | 2021-03-24 | 2021-03-24 | 遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11856332B2 (ja) |
JP (1) | JP7468423B2 (ja) |
CN (1) | CN115134519B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10690466B2 (en) | 2017-04-19 | 2020-06-23 | Global Tel*Link Corporation | Mobile correctional facility robots |
US10949940B2 (en) * | 2017-04-19 | 2021-03-16 | Global Tel*Link Corporation | Mobile correctional facility robots |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002135641A (ja) | 2000-10-27 | 2002-05-10 | Nippon Telegr & Teleph Corp <Ntt> | 視点・視線自由移動カメラシステム |
JP2019005819A (ja) | 2017-06-21 | 2019-01-17 | 富士ゼロックス株式会社 | 遠隔操作型移動ロボットおよびロボット制御システム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1034570A (ja) * | 1996-07-19 | 1998-02-10 | Fujitsu Ltd | ロボット遠隔制御システム |
JP2003158664A (ja) | 2001-11-21 | 2003-05-30 | Matsushita Electric Ind Co Ltd | カメラ制御装置 |
JP4587166B2 (ja) * | 2004-09-14 | 2010-11-24 | キヤノン株式会社 | 移動体追跡システム、撮影装置及び撮影方法 |
US8279283B2 (en) * | 2005-11-18 | 2012-10-02 | Utc Fire & Security Americas Corporation, Inc. | Methods and systems for operating a video surveillance system |
JP5070441B2 (ja) | 2007-10-10 | 2012-11-14 | 株式会社国際電気通信基礎技術研究所 | ロボット遠隔操作システム |
US8692666B2 (en) * | 2010-08-09 | 2014-04-08 | Olympus Imaging Corp. | Communication system and communication terminal |
JP2013162345A (ja) * | 2012-02-06 | 2013-08-19 | Sony Corp | 撮像制御装置、撮像制御方法、プログラム、遠隔操作装置、遠隔操作方法、撮像システム |
KR101407451B1 (ko) * | 2013-01-15 | 2014-06-13 | 주식회사 스카이라이프티브이 | 3차원 영상 카메라의 무빙 장치와 그 제어방법 |
JP2015099581A (ja) * | 2013-10-18 | 2015-05-28 | 株式会社ニコン | 複数のカメラとサーバとを含む情報提示システム |
US11601583B2 (en) * | 2016-03-22 | 2023-03-07 | Johnson Controls Tyco IP Holdings LLP | System and method for controlling surveillance cameras |
JP7067414B2 (ja) * | 2018-10-24 | 2022-05-16 | トヨタ自動車株式会社 | コミュニケーションロボットおよびコミュニケーションロボットの制御プログラム |
US20210001487A1 (en) * | 2019-07-03 | 2021-01-07 | Ricoh Company, Ltd. | Information processing apparatus, information processing method, and storage medium |
US11228737B2 (en) * | 2019-07-31 | 2022-01-18 | Ricoh Company, Ltd. | Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium |
US11589010B2 (en) * | 2020-06-03 | 2023-02-21 | Apple Inc. | Camera and visitor user interfaces |
US11619935B2 (en) * | 2020-07-17 | 2023-04-04 | Blue Ocean Robotics Aps | Methods of controlling a mobile robot device from one or more remote user devices |
-
2021
- 2021-03-24 JP JP2021049877A patent/JP7468423B2/ja active Active
-
2022
- 2022-03-21 US US17/699,771 patent/US11856332B2/en active Active
- 2022-03-23 CN CN202210290252.7A patent/CN115134519B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002135641A (ja) | 2000-10-27 | 2002-05-10 | Nippon Telegr & Teleph Corp <Ntt> | 視点・視線自由移動カメラシステム |
JP2019005819A (ja) | 2017-06-21 | 2019-01-17 | 富士ゼロックス株式会社 | 遠隔操作型移動ロボットおよびロボット制御システム |
Also Published As
Publication number | Publication date |
---|---|
CN115134519A (zh) | 2022-09-30 |
US11856332B2 (en) | 2023-12-26 |
US20220311975A1 (en) | 2022-09-29 |
JP2022148262A (ja) | 2022-10-06 |
CN115134519B (zh) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10896543B2 (en) | Methods and systems for augmented reality to display virtual representations of robotic device actions | |
CN105659170B (zh) | 用于向远程用户传送视频的方法及视频通信装置 | |
JP7468423B2 (ja) | 遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム | |
US11284042B2 (en) | Mobile robot, system and method for capturing and transmitting image data to remote terminal | |
JP7468421B2 (ja) | 遠隔操作システム、遠隔操作方法、及び、プログラム | |
JP2022141639A (ja) | 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム | |
JP2023164525A (ja) | 通信端末、プログラム、表示方法、記録媒体 | |
JP2020022152A (ja) | 通信端末、プログラム、表示方法、記録媒体 | |
US11822314B2 (en) | Conveyance control system, conveyance control program, and conveyance control method | |
JP7415940B2 (ja) | 情報処理装置および方法、並びに、プログラム | |
JP7115097B2 (ja) | 通信端末、プログラム、表示方法、記録媒体 | |
JP7267499B2 (ja) | 合流支援システムおよび合流支援方法 | |
JP7338755B2 (ja) | 通信端末、通信システム、通信方法及びプログラム | |
US20240053746A1 (en) | Display system, communications system, display control method, and program | |
US20230308705A1 (en) | Communication terminal, communication management system, remote operation method, processing method, and communication management method | |
JP2023140160A (ja) | 通信端末、通信管理システム、遠隔操作移動装置、通信システム、遠隔操作方法、通信管理方法、制御方法、通信方法、及びプログラム | |
JP2023140159A (ja) | 通信端末、通信管理システム、通信システム、処理方法、通信管理方法、通信方法、及びプログラム | |
JP2023140161A (ja) | 通信端末、通信管理システム、通信システム、処理方法、通信管理方法、通信方法、及びプログラム | |
JP2022146885A (ja) | 表示装置、通信システム、表示制御方法およびプログラム | |
CN105393561B (zh) | 用于装置耦合的方法和装置 | |
WO2019187581A1 (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム | |
JP2022146886A (ja) | 表示装置、通信システム、表示制御方法およびプログラム | |
JP2024052524A (ja) | 通信管理サーバ、通信システム、通信管理方法、及びプログラム | |
KR20160023368A (ko) | 사물인터넷 단말과 사용자 단말간의 양방향 통신방법, 이를 위한 사물인터넷 단말 및 사용자 단말 | |
CN114840077A (zh) | 数据交互方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240318 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7468423 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |