JP7013689B2 - 遠隔操作型移動ロボットおよびロボット制御システム - Google Patents

遠隔操作型移動ロボットおよびロボット制御システム Download PDF

Info

Publication number
JP7013689B2
JP7013689B2 JP2017121135A JP2017121135A JP7013689B2 JP 7013689 B2 JP7013689 B2 JP 7013689B2 JP 2017121135 A JP2017121135 A JP 2017121135A JP 2017121135 A JP2017121135 A JP 2017121135A JP 7013689 B2 JP7013689 B2 JP 7013689B2
Authority
JP
Japan
Prior art keywords
terminal device
remote
request
mobile robot
controlled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017121135A
Other languages
English (en)
Other versions
JP2019005819A (ja
Inventor
浩和 坪田
訓稔 山本
努 石井
英登 野見山
英基 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2017121135A priority Critical patent/JP7013689B2/ja
Priority to US15/786,146 priority patent/US10732623B2/en
Publication of JP2019005819A publication Critical patent/JP2019005819A/ja
Application granted granted Critical
Publication of JP7013689B2 publication Critical patent/JP7013689B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/005—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0077—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements using redundant signals or controls
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Manipulator (AREA)
  • Telephonic Communication Services (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)

Description

本発明は、遠隔操作型移動ロボットおよびロボット制御システムに関する。
特許文献１には、テレプレゼンスロボットであって、テレプレゼンスロボットを駆動命令に従って移動させるように構成された駆動システム、駆動システムと通信し、前記駆動システムに前記テレプレゼンスロボットを移動させるための駆動命令を生成するように構成された制御システム、制御システムと通信する撮像システムを有し、制御システムは、ロボット航行可能エリアを表すマップと空間座標とテレプレゼンスロボット動作変更子を含むタグ情報を含むマップデータソースから提供される情報に基づいて動作するテレプレゼンスロボットが開示されている。
特許文献２には、人間の行動を認識し、ロボットが現在まで行ってきたコミュニケーション行動の履歴に基づいて、次に実行する音声および身振りの少なくとも一方を含むコミュニケーション行動を選択し、実行するコミュニケーションロボットが開示されている。
特許文献３には、自動走行車両を管制する管制装置から通信により制御情報を取得し、この制御情報に基づいて自動走行車両を自動走行させ、管制装置と自動走行車両との通信が途絶えると、候補位置取得手段が取得する停止候補位置まで自動走行車両を自動走行させる自動走行制御装置が開示されている。
特許第５９０５０３１号公報 特許第４０５９７４２号公報 特開２０１６－１８１１４０号公報
本発明は、遠隔操作型移動ロボットを端末装置により遠隔操作している場合に、予め定められた状況下において当該端末装置以外による操作を可能とすることを目的とする。
請求項１に係る本発明は、
通信回線を介して接続された端末装置によって遠隔操作され、自装置の移動を制御する移動制御手段と、
予め定められた条件が満たされた場合に、前記条件が満たされる直前に対話相手であった利用者の所持する端末装置または他の遠隔操作型移動ロボットを遠隔操作する端末装置に対して、自装置の操作の依頼を通知する通知手段と、
自装置の操作の依頼を通知した端末装置から操作要求が行われた場合に、操作要求を行ってきた端末装置による前記移動制御手段の操作を可能な状態に切り替える切替手段と、を備える遠隔操作型移動ロボットである。
また、請求項２に係る本発明は、
通信回線を介して接続された端末装置によって遠隔操作され、自装置の移動を制御する移動制御手段と、
予め定められた条件として自装置と自装置を遠隔操作する前記端末装置との間の通信回線が通信不能となった場合に、自装置に接続されていた端末装置以外の端末装置に対して、自装置の操作の依頼を通知する通知手段と、
自装置の操作の依頼を通知した端末装置から操作要求が行われた場合に、操作要求を行ってきた端末装置による前記移動制御手段の操作を可能な状態に切り替える切替手段と、を備える遠隔操作型移動ロボットである。
請求項３に係る本発明は、自装置と自装置を遠隔操作する前記端末装置との間の通信回線が通信不能となった場合に、自装置を遠隔操作していた端末装置以外の複数の端末装置を探索する探索手段を、備え、前記通知手段は、前記探索手段によって探索された前記複数の端末装置に対して自装置の操作の依頼を通知する、請求項２記載の遠隔操作型移動ロボットである。
請求項４に係る本発明は、前記通知手段が、自装置の周囲に存在する利用者が所持する端末装置に対して自装置の操作の依頼を通知し、前記移動制御手段が、操作の依頼を通知した端末装置から操作要求が行われた場合に、当該端末装置によって制御される請求項２又は３記載の遠隔操作型移動ロボットである。
請求項５に係る本発明は、前記通知手段が、自装置と自装置を遠隔操作する前記端末装置との間の通信回線が通信不能となる直前に対話相手であった利用者の所持する端末装置または他の遠隔操作型移動ロボットを遠隔操作する端末装置に対して自装置の操作の依頼を通知する請求項２から４のいずれか１項に記載の遠隔操作型移動ロボットである。
請求項６に係る本発明は、前記通知手段が、自装置と自装置を遠隔操作する前記端末装置との間の通信回線が通信不能となった時点において物理的に最も近い場所に存在する利用者の所持する端末装置または他の遠隔操作型移動ロボットを遠隔操作する端末装置に対して自装置の操作の依頼を通知する請求項２から４のいずれか１項に記載の遠隔操作型移動ロボットである。
請求項７に係る本発明は、前記通知手段が、自装置以外の他の遠隔操作型移動ロボットを遠隔操作している端末装置に対して自装置の操作の依頼を通知し、前記移動制御手段が、操作の依頼を通知した端末装置から操作要求が行われた場合に、当該端末装置によって制御される請求項１から６のいずれか１項に記載の遠隔操作型移動ロボットである。
請求項８に係る本発明は、前記移動制御手段が、他の遠隔操作型移動ロボットに追随して移動するように制御される請求項７記載の遠隔操作型移動ロボットである。
請求項９に係る本発明は、前記通知手段が、予め設定された優先順位に基づいて、自装置に接続されていた端末装置以外の端末装置に対して、自装置の操作の依頼を順次通知する請求項１から８のいずれか１項に記載の遠隔操作型移動ロボットである。
請求項１０に係る本発明は、
通信回線を介して接続された端末装置によって遠隔操作され、自装置の移動を制御する移動制御手段と、
予め定められた条件が満たされた場合に、自装置に接続されていた端末装置以外の端末装置に対して、自装置の操作の依頼を通知する通知手段と、
周囲の画像を撮像するカメラと、
前記カメラにより撮像された画像において利用者による予め定められた身振りが検出された場合に、前記端末装置以外による前記移動制御手段の操作を可能な状態に切り替える切換手段と、を備え、
前記切換手段は、自装置の操作の依頼を通知した端末装置から操作要求が行われた場合に、操作要求を行ってきた端末装置による前記移動制御手段の操作を可能な状態とする、遠隔操作型移動ロボットである。
請求項１１に係る本発明は、前記移動制御手段が、利用者による予め定められた身振りに応じて操作される請求項１０記載の遠隔操作型移動ロボットである。
請求項１２に係る本発明は、前記予め定められた条件が満たされた場合が、自装置と自装置を遠隔操作する前記端末装置との間の通信回線が通信不能となった場合である請求項１から１１のいずれか１項に記載の遠隔操作型移動ロボットである。
請求項１３に係る本発明は、予め定められた条件が満たされたときに自装置の移動を制限する制限装置をさらに有し、前記移動制御手段が、操作要求が行われた端末装置による操作に基づいて、前記制限装置による制限を解除する請求項１から１２のいずれか１項に記載の遠隔操作型移動ロボットである。
請求項１４に係る本発明は、
通信回線を介して接続された端末装置によって遠隔操作され、自装置の移動を制御する移動制御手段と、予め定められた条件が満たされた場合に、前記条件が満たされる直前に対話相手であった利用者の所持する端末装置または他の遠隔操作型移動ロボットを遠隔操作する端末装置に対して、自装置の操作の依頼を通知する通知手段と、自装置の操作の依頼を通知した端末装置から操作要求が行われた場合に、操作要求を行ってきた端末装置による前記移動制御手段の操作を可能な状態に切り替える切替手段と、を備える遠隔操作型移動ロボットと、
前記遠隔操作型移動ロボットを、通信回線を介して遠隔操作する端末装置と、
を有するロボット制御システムである。
請求項１に係る本発明によれば、遠隔操作型移動ロボットを端末装置により遠隔操作している場合に、予め定められた状況下において当該端末装置以外の、自装置の近くに存在すると推定される利用者の端末装置或いは他の遠隔操作型移動ロボットを遠隔操作する端末装置による操作を可能とする遠隔操作型移動ロボットを提供できる。
請求項２に係る本発明によれば、自装置と自装置を遠隔操作していた端末装置との間で通信不能状態が生じた場合でも遠隔操作型移動ロボットを他の端末装置によって緊急操作できるようになる。
請求項３に係る本発明によれば、自装置と自装置を遠隔操作していた端末装置との間で通信不能状態が生じた場合でも自装置を遠隔操作していた端末装置以外の複数の端末装置を探索できる。
請求項４に係る本発明によれば、請求項２又は３記載の発明の効果に加えて、自装置と自装置を遠隔操作していた端末装置との間で通信不能状態が生じた場合でも、自装置を遠隔操作していた端末装置以外の端末装置によってこの遠隔操作型移動ロボットを制御できるようになる。
請求項５に係る本発明によれば、請求項２から４いずれかに記載の発明の効果に加えて、自装置の近くに存在すると推定される利用者の端末装置或いは他の遠隔操作型移動ロボットを遠隔操作する端末装置に対して代替操作依頼ができるようになる。
請求項６に係る本発明によれば、請求項２から４いずれかに記載の発明の効果に加えて、自装置の代替操作を、それ以外の場所に存在する利用者や遠隔操作型移動ロボットを操作する操作端末に比べて、より早く対応可能な場所に存在する者に依頼することができる。
請求項７に係る本発明によれば、請求項１から６いずれかに記載の発明の効果に加えて、予め定めた状況下において、自装置以外の遠隔操作型移動ロボットを遠隔操作していた端末装置によって自装置の代替遠隔操作ができるようになる。
請求項８に係る本発明によれば、請求項７記載の発明の効果に加えて、予め定めた状況下において、自装置以外の遠隔操作型移動ロボットを制御することにより、間接的に自装置の移動制御を行うことができる。
請求項９に係る本発明によれば、請求項１から８いずれかに記載の発明の効果に加えて、自装置の代替操作が確実に行われるようにすることができる。
請求項１０に係る本発明によれば、遠隔操作型移動ロボットを端末装置により遠隔操作している場合に、予め定められた状況下において、端末装置がない利用者であっても自装置の代替操作を可能な状態にすることができるようになる。
請求項１１に係る本発明によれば、請求項１０記載の発明の効果に加えて、端末装置がない利用者であっても自装置の代替操作が可能となる。
請求項１２に係る本発明によれば、請求項１から１１いずれかに記載の発明の効果に加えて、自装置と自装置を遠隔操作していた端末装置との間で通信不能状態が生じた場合でも遠隔操作型移動ロボットを他の端末装置によって緊急操作できるようになる。
請求項１３に係る本発明によれば、請求項１から１２いずれかに記載の発明の効果に加えて、予め定められた条件下においては自装置が意図せず移動することを防止でき、ログインを行った代替操作端末によってロック装置のロック解除ができるようになる。
請求項１４に係る本発明によれば、遠隔操作型移動ロボットを端末装置により遠隔操作している場合に、予め定められた状況下において、自装置の近くに存在すると推定される利用者の端末装置或いは他の遠隔操作型移動ロボットを遠隔操作する端末装置に対して代替操作依頼ができ、それらの端末装置による操作を可能とするロボット制御システムを提供できる。
本発明の一実施形態である、テレプレゼンス技術を利用して複数の者が遠隔対話を行う、ロボット制御システム１０の一例を示す概略説明図である。 本発明の一実施形態におけるテレプレゼンスロボット２０のハードウェア構成図である。 本発明の一実施形態におけるテレプレゼンスロボット２０の機能ブロック図である。 本発明の一実施形態における遠隔操作端末装置４０のハードウェア構成を示す図である。 本発明の一実施形態における遠隔操作端末装置４０の機能ブロック図である。 本発明の一実施形態における、テレプレゼンスロボット２０の通常時の動作の流れを示すフローチャートを示す図である。 本発明の一実施形態における、テレプレゼンスロボット２０の緊急時処理Ｓ７００の動作の流れを示すフローチャートである。 図６における緊急時処理７００におけるテレプレゼンスロボット２０の別の動作の一例を示すフローチャートである。 図９（Ａ）は、緊急状態が生じたときのテレプレゼンスロボット２０の表示装置の状態を示している。図９（Ｂ）は、テレプレゼンスロボット４０において緊急状態が生じた場合の、他のテレプレゼンスロボット４１を遠隔操作している遠隔操作端末装置４１の表示装置の状態を示す図である。 図１０（Ａ）は、緊急状態にあるテレプレゼンスロボット２０から他のテレプレゼンスロボット２１を遠隔操作している遠隔操作端末装置４１に対してログイン要請が行われた際の、遠隔操作端末装置４１の表示装置の状態を示す図である。図１０（Ｂ）は、緊急状態にあるテレプレゼンスロボット２０の表示装置２０５の、ログイン処理中の状態を示す図である。 緊急状態にあるテレプレゼンスロボット２０を遠隔操作端末装置４１によって代替操作をしている際の、テレプレゼンスロボット２０の表示装置２０５の状態を示す図である。 緊急状態にあるテレプレゼンスロボット２０が緊急状態にないテレプレゼンスロボット２１に追随して移動する様子を示す図である。
本発明の実施の形態について、図面を参照して詳細に説明する。図１は、本発明の一実施形態における、テレプレゼンス技術を利用して複数の者が遠隔対話を行う、ロボット制御システム１０の一例を示す概略説明図である。図１に示すように、テレプレゼンス技術を利用して遠隔対話を行う場合、少なくとも一台のテレプレゼンスロボット（図１の例では２台のテレプレゼンスロボット）２０、２１を遠隔対話が行われる現地（以下、「現地」という）に配置し、このテレプレゼンスロボット２０、２１は現地から離れた遠隔地にある遠隔操作端末装置４０、４１にネットワーク３０を介して接続され、この遠隔操作端末装置４０によって移動制御を遠隔制御される。なお、テレプレゼンスロボット２０、２１は現地に配置されるアクセスポイント５０を介してネットワーク３０に接続されている。さらに、テレプレゼンスロボット２０、２１と現地で対話を行う現地参加者６５がおり、現地参加者６５はアクセスポイント５０に無線で接続された簡易端末装置６０を所持している。なお、図１の例では、テレプレゼンスロボット２０は遠隔操作端末装置４０を操作する遠隔操作者４５、テレプレゼンスロボット２１は遠隔操作端末装置４１を操作する遠隔操作者４６によりそれぞれ遠隔操作される。
図２は、本発明の一実施形態におけるテレプレゼンスロボット２０のハードウェア構成図である。なお、テレプレゼンスロボット２０、２１は同一のハードウェア構成、同一の機能構成であるので、以下の説明では、テレプレゼンスロボット２０について説明し、テレプレゼンスロボット２１についての説明は省略する。テレプレゼンスロボット２０は、図２に示すように、制御用マイクロプロセッサ２０１、メモリ２０２、記憶装置２０３、移動装置２０４、表示装置２０５、カメラ２０６、マイクロフォン２０７、スピーカ２０８、通信インタフェース２０９を備えて構成され、それぞれ制御バス２１０に接続される。
制御用マイクロプロセッサ２０１は、記憶装置２０３に記憶された制御プログラムに基づいてテレプレゼンスロボット２０の各部の動作を制御統括する。
メモリ２０２には、テレプレゼンスロボット２０が受信した移動制御情報、対話制御情報、操作依頼候補リスト、カメラ２０６によって撮影した画像、マイク２０７によって検出した音声信号等が一時的に記憶される。
記憶装置２０３は、ハードディスク（ＨＤＤ）やソリッド・ステート・ドライブ（ＳＳＤ）によって構成され、テレプレゼンスロボット２０の各部を制御するための制御プログラムが記憶される。
移動装置２０４は、タイヤ、モータ、変速機構、ブレーキ、方向制御装置、現在位置検出装置、緊急時等に移動装置が意図せずに動作することを防止するためのロック装置（それぞれ図示せず）を含み、後述する移動制御部により移動制御される。
表示装置２０５は、テレプレゼンスロボット２０の上部に設置された液晶ディスプレイにより構成される表示画面を含み、これには、後述する対話制御部によって提供される、遠隔操作端末装置から送信されてきた画像を表示したり、同じく後述する通知部によって提供される緊急通知情報を表示したりする。また表示装置２０５には、表示画面とは別に高輝度のＬＥＤランプで構成された状態表示灯が含まれ、緊急時に点灯したり点滅したりすることにより、緊急状態を通知する。
カメラ２０６は、現地にいる現地参加者６５の画像、現地周囲の状況を撮影し、メモリ２０２に記憶する。マイクロフォン２０７は、現地参加者６５の音声、現地周囲の音声を検出し、メモリ２０２に記憶する。スピーカ２０８は、テレプレゼンスロボット２０の後述する対話制御部が提供する、遠隔操作者４５の音声を出力したり、同じく後述する通知部が提供する緊急状態を示す音声を出力したりする。通信インタフェース２０９は、テレプレゼンスロボット２０がアクセスポイント５０を介して遠隔操作端末装置や現地参加者６５の所持する簡易端末装置６０と通信を行うための通信制御を行う。
図３は、本発明の一実施形態におけるテレプレゼンスロボット２０の機能ブロック図である。テレプレゼンスロボット２０は、記憶装置２０３に記憶されている制御プログラムを制御用マイクロプロセッサ２０１において実行することにより、図３に示されるように、移動制御部２２１、対話制御部２２２、操作依頼候補リスト作成部２２３、状態監視部２２４、緊急通知部２２５、切替部２２６、認証部２２７として機能する。
移動制御部２２１は、遠隔操作端末装置４０からの遠隔操作情報に基づいて移動装置２０４を制御し、テレプレゼンスロボット２０を前進、後退、停止、方向転換させる。また、緊急時にロック装置のロックを作動させたり、遠隔操作端末装置４１や簡易端末装置６０からの指示に応じてロック装置のロックを解除したりする。さらに、緊急時において、移動制御部２２１は、後述する緊急通知部２２５によるテレプレゼンスロボット２０の操作の依頼を通知した他の遠隔操作端末装置４１や簡易端末装置６０からログインが行われた場合に、当該ログインを行った遠隔操作端末装置４１或いは簡易端末装置６０によって遠隔制御される。また、移動制御部２２１は、緊急時において、他の遠隔操作端末装置４１によって操作される緊急状態にないテレプレゼンスロボット２１の移動に追随して移動するように移動装置２０４を制御してもよい。
対話制御部２２２は、遠隔操作端末装置４０から受信した映像や音声を表示装置２０５に表示したりスピーカ２０８により再生したり、現地参加者６５が所持する簡易端末装置６０に対して遠隔操作端末装置４０から受信した音声データを無線により送信する制御を行う。さらに、対話制御部２２２は、マイクロフォン２０７によって検出した現地参加者６５の音声やテレプレゼンスロボット２０周囲の音声、カメラ２０６によって撮影した、現地参加者６５の画像やテレプレゼンスロボット２０周囲の映像を遠隔操作端末装置４０へ送信制御する。
操作依頼候補リスト作成部２２３は、このテレプレゼンスロボット２０を用いた遠隔対話に参加している現地参加者６５、および他のテレプレゼンスロボット（例えば、テレプレゼンスロボット２１（以下、「テレプレゼンスロボット２１」として説明する））を用いてこの遠隔対話に参加している遠隔操作者４６を探索し、操作依頼候補リストとしてリスト化し、メモリ２０２或いは記憶装置２０３に記憶する。これは、操作依頼候補リスト作成部２２３が、周辺に存在するテレプレゼンスロボット２１や簡易端末装置６０に対して現在位置の問い合わせを行い、それに対する応答に含まれる現在位置情報から、テレプレゼンスロボット２０から近い位置に存在する他のテレプレゼンスロボット２１や簡易端末装置６０を、距離の近い順に操作依頼候補リストとしてリスト化する。或いは、操作依頼候補リスト作成部２２３は、このテレプレゼンスロボット２０と対話を行った他のテレプレゼンスロボット２１や簡易端末装置６０を所持する現地参加者６５との対話履歴に基づいて対話履歴の新しい順に操作依頼候補リストとしてリスト化する。なお、操作依頼候補リストには、テレプレゼンスロボット２０を用いて遠隔対話を行う際の現地サポート運営者、遠隔地にいるサポート専門スタッフが所持する端末装置（図示せず）が含まれるようにしてもよい。
状態監視部２２４は、テレプレゼンスロボット２０の状態を監視し、緊急状態か否かを判断する。例えば、状態監視部２２４は、予め定められた条件が満たされた場合に、緊急状態であると判断する。具体的には、状態監視部２２４は、テレプレゼンスロボット２０とテレプレゼンスロボット２０を遠隔操作している遠隔操作端末装置４０との間の通信状況を監視し、通信不能となった場合、通信障害が生じた場合、或いは、通信不良が生じて所定時間が経過した場合に、緊急状態であると判断する。或いは、予め定められた条件は、例えば誤操作によって障害物、例えば地面においてあった傘に乗り上げてしまった場合である。
緊急通知部２２５は、状態監視部２２４によってこのテレプレゼンスロボット２０が緊急状態にあると判断された場合に、このテレプレゼンスロボット２０が緊急状態であることを、表示装置２０５の表示画面や状態表示灯、スピーカ２０８を介して通知する。具体的には、表示装置２０５の表示画面に緊急状態であることを示す緊急通知情報を表示したり、状態表示灯を点灯したり点滅させたりすること、或いはスピーカ２０８を介して緊急状態であることを示すアナウンスを行うことにより行われる。表示装置２０５の表示画面には、画面表示の色を変えること（例えば、赤色の画面表示に変化させる）によって緊急事態であることを周囲から容易に認識できるようにしてもよい。
さらに、緊急通知部２２５は、自装置に接続されていた遠隔操作端末装置４０以外の端末装置に対して、緊急通知情報、緊急操作依頼を通知する。具体的には、このテレプレゼンスロボット２０以外の他のテレプレゼンスロボット２１を遠隔操作している遠隔操作端末装置４１に対して緊急通知情報、緊急操作依頼を通知したり、このテレプレゼンスロボット２０の周囲に存在する現地参加者６５が所持する簡易端末装置６０に対して緊急通知情報、緊急操作依頼を通知したりする。なお、緊急通知情報の通知や緊急操作依頼を行う対象となる遠隔操作端末装置４１や簡易端末装置６０は、操作依頼候補リスト作成部２２３によってリスト化された優先順位で順番に選択されるようにしてもよい。
切替部２２６は、上述の緊急通知部２２５が緊急操作依頼を通知した遠隔操作端末装置４１或いは簡易端末装置６０からログインが行われ、後述する認証部２２７によりログインが正当であると判断された場合に、当該ログインを行った遠隔操作端末装置４１或いは簡易端末装置６０による、緊急状態にあるテレプレゼンスロボット２０の移動制御部２２１の遠隔操作を可能な状態に切り替える。
認証部２２７は、このテレプレゼンスロボット２０を遠隔操作するため遠隔操作端末装置４０がログインを行った際に、そのログイン情報を照合し、正当なログインであるか否かを判断する。また、緊急時における遠隔操作端末装置４１や簡易端末装置６０からのログインを認証し、ログインが正当なものか否かを判断する。
次に、図４、５を参照して、テレプレゼンスロボット２０を遠隔操作する遠隔操作端末装置４０について説明する。なお、他のテレプレゼンスロボット２１を遠隔操作する遠隔操作端末装置４１は、遠隔操作端末装置４０と同一のハードウェア構成、同一の機能構成であるので、説明を省略する。
図４は、本発明の一実施形態における遠隔操作端末装置４０のハードウェア構成を示す図である。遠隔操作端末装置４０は、図４に示すように、ＣＰＵ４０１、メモリ４０２、記憶装置４０３、ユーザインタフェース４０４、通信インタフェース４０５、カメラ４０６、マイクロフォン４０７、スピーカ４０８を備えて構成され、それぞれ制御バス４０９に接続される。
ＣＰＵ４０１は、記憶装置４０３に記憶された制御プログラムに基づいて遠隔操作端末装置４０の各部の動作を制御統括する。
メモリ４０２には、遠隔操作端末装置４０が受信した、テレプレゼンスロボット２０からの映像、音声、後述するカメラ４０６によって撮影した映像、マイクロフォン４０７によって検出した音声信号等が一時的に記憶される。さらに、メモリ４０２には、後述する遠隔制御部によって生成された遠隔制御情報が一時的に記憶される。
記憶装置４０３は、ハードディスク（ＨＤＤ）やソリッド・ステート・ドライブ（ＳＳＤ）によって構成される記憶デバイスであり、遠隔操作端末装置４０の各部を制御するための制御プログラム、テレプレゼンスロボット２０を遠隔操作するためのアプリケーションプログラムが記憶される。
ユーザインタフェース４０４は、液晶モニタ等の表示装置やキーボード、マウス、ジョイスティック、タッチパッド等の入力装置を含む。表示装置には、テレプレゼンスロボット２０によって撮影された現地参加者６５や周囲の画像、或いは他のテレプレゼンスロボット２１を遠隔操作している他の遠隔操作端末装置４１が撮影した遠隔操作者４６やその周囲の画像、および他のテレプレゼンスロボット緊急時にあるときにそのテレプレゼンスロボット（例えば、テレプレゼンスロボット２１）から送信されて来た緊急通知情報が表示される。入力装置は、この遠隔操作端末装置４０によって遠隔操作するテレプレゼンスロボット２０にログインする際のログイン情報を入力したり、テレプレゼンスロボット２０の移動を制御するための遠隔操作を行ったりするためのものである。
通信インタフェース４０５は、この遠隔操作端末装置４０とテレプレゼンスロボット２０とをネットワーク３０経由で接続して通信を行うための通信制御を行う。カメラ４０６は、例えば、遠隔操作端末装置４０がノートパソコンやタブレット端末である場合には、フロントカメラであり、遠隔操作端末装置４０を操作する遠隔操作者４５の画像およびその周囲の状態を撮影したりする。マイクロフォン４０７は、遠隔操作端末装置４０を操作する遠隔操作者４５の音声を検出する。スピーカ４０８は、テレプレゼンスロボット２０から送信されてきた対話相手の音声を再生する。また、この遠隔操作端末装置４０が遠隔操作しているものとは別のテレプレゼンスロボット２１から送信されてきた緊急通知情報を音声により通知する。
図５は、本発明の一実施形態における遠隔操作端末装置４０の機能ブロック図を示す。図５に示すように、遠隔操作端末装置４０は、記憶装置４０３に記憶されたアプリケーションプログラムを実行することにより、ログイン部４２１、遠隔制御部４２２、対話制御部４２３として機能する。
ログイン部４２１は、ログイン画面をユーザインタフェース４０４の表示装置に表示し、ログイン情報を入力するように遠隔操作者４５に求めるとともに、ユーザインタフェース４０４の入力装置によってログイン情報が入力された場合に、そのログイン情報をテレプレゼンスロボット２０に対して送信する。また、この遠隔操作端末装置が通常遠隔操作をしているテレプレゼンスロボット２０とは別のテレプレゼンスロボット（例えばテレプレゼンスロボット２１）が緊急状態にあるときに、当該テレプレゼンスロボットから送信されてきた緊急操作依頼画面を、表示装置に表示する。
遠隔制御部４２２は、ユーザインタフェース４０４の入力装置を用いてテレプレゼンスロボット２０の移動を制御するものであり、遠隔操作者４５による入力装置の操作に応じて、前進、後退、停止、方向転換といった遠隔制御情報を生成し、ネットワーク３０を介してテレプレゼンスロボット２０に送信する。
対話制御部４２３は、カメラ４０６によって撮影した遠隔操作者４５の映像、マイクロフォン４０７によって検出した遠隔操作者４５の音声をテレプレゼンスロボット２０へ送信するとともに、テレプレゼンスロボット２０から受信した対話相手の映像を表示装置に表示したり、対話相手の音声をスピーカ４０８から再生したりする。
現地参加者６５が所持する簡易端末装置６０は、ハードウェア構成および機能構成が遠隔操作端末装置４０のものとほぼ同一であるので、詳細な説明を省略する。遠隔操作端末装置４０が、通常時においてテレプレゼンスロボット２０を遠隔操作するものであるのに対し、簡易端末装置６０は、通常時においては、テレプレゼンスロボット２０と対話を行うためのものである点で相違している。しかしながら、テレプレゼンスロボット２０の緊急時においては、簡易端末装置６０は、遠隔操作端末装置４０と同様に、テレプレゼンスロボット２０の操作を行うための機能を有している。また、遠隔操作端末装置４０は、遠隔地に配置されたノートパソコンであるのに対し、簡易端末装置６０は、現地参加者６５が保持するタブレット端末装置やスマートフォン端末装置であってもよい。
次に、本実施形態におけるロボット制御システム１０の動作の流れを、図６～８を参照して説明する。図６は、テレプレゼンスロボット２０の通常時における動作の流れを示すフローチャートである。ステップＳ６０１において、テレプレゼンスロボット２０の認証部２２７は、遠隔操作端末装置４０からログイン情報を受信したか否かを判断する。ログイン情報を受信しない場合は、そのままログイン情報の受信を待機する。認証部２２７は、遠隔操作端末装置４０からログイン情報を受信したと判断した場合、ステップＳ６０２に進み、受信したログイン情報を、記憶装置２０３に記憶されている認証情報と比較する。
ステップＳ６０３において、受信したログイン情報が記憶装置２０３に記憶されている認証情報と一致しない場合、つまり認証に失敗した場合は、ステップＳ６０４に進み、ログインに失敗した旨を、ログイン情報を送信してきた遠隔操作端末装置４０に送信し、ステップＳ６０１に戻る。ステップＳ６０３において、受信したログイン情報が記憶装置２０３に記憶されている認証情報と一致した場合、つまり認証に成功した場合は、ステップＳ６０５に進み、ログインに成功した旨を、ログイン情報を送信してきた遠隔操作端末装置４０に送信し、切替部２２６は、移動制御部２２１、対話制御部２２２を当該遠隔操作端末装置４０からの遠隔操作情報、対話制御情報によって操作可能な状態とする。
次いで、ステップＳ６０６において、移動制御部２２１は、遠隔操作端末装置４０から遠隔操作情報を受信した場合に、その遠隔操作情報に応じて移動装置２０４の移動制御を行い、テレプレゼンスロボット２０を前進、後退、停止、方向転換させる。また、ステップＳ６０７において、対話制御部２２２は、遠隔操作端末装置４０から映像や音声を含む対話制御情報を受信した場合に、それらの映像を表示装置２０５に表示したり、音声をスピーカ２０８により再生したり、現地参加者６５が所持する簡易端末装置６０に対して遠隔操作端末装置４０から受信した音声データを無線により送信する制御を行う。さらに、対話制御部２２２は、テレプレゼンスロボット２０のマイクロフォン２０７によって検出した現地参加者６５の音声やテレプレゼンスロボット２０周囲の音声データ、現地参加者６５の所持する簡易端末装置６０から無線で送信されてきた音声データ、およびカメラ２０６によって撮影した現地参加者６５の画像やテレプレゼンスロボット２０周囲の映像を遠隔操作端末装置４０へ送信する。
ステップＳ６０８において、操作依頼候補リスト作成部２２３は、このテレプレゼンスロボット２０を用いて遠隔対話を行っている現地周辺の参加者を探索し、操作依頼候補リストに記憶する。具体的には、操作依頼候補リスト作成部２２３は、周辺に存在するテレプレゼンスロボット（例えばテレプレゼンスロボット２１）や簡易端末装置６０に対して現在位置の問い合わせを行い、それに対する応答に含まれる現在位置情報に基づいて、このテレプレゼンスロボット２０から近い位置に順に、周辺のテレプレゼンスロボット２１や簡易端末装置６０を操作依頼候補として操作依頼候補リストに記憶する。或いは、操作依頼候補リスト作成部２２３は、このテレプレゼンスロボット２０と対話を行った他のテレプレゼンスロボット（例えばテレプレゼンスロボット２１）や簡易端末装置６０を所持する現地参加者６５との対話履歴に基づいて、対話履歴順に操作依頼候補を操作依頼候補リストに記憶する。なお、操作依頼候補リストには、テレプレゼンスロボット２０を用いて遠隔対話を行う際の現地サポート運営者、遠隔地にいるサポート専門スタッフが所持する端末装置（図示せず）が含まれていてもよい。
ステップＳ６０９において、状態監視部２２４は、緊急状態が生じたか否かを判断する。緊急状態には、例えば、このテレプレゼンスロボット２０と、このテレプレゼンスロボット２０を遠隔操作している遠隔操作端末装置４０との間の通信不能、通信不良等の通信障害が含まれる。通信障害が生じたその度に緊急状態と判断するようにしてもよいし、通信障害が所定時間継続して生じた場合に緊急状態と判断するようにしてもよい。状態監視部２２４が、テレプレゼンスロボット２０が緊急状態にあると判断した場合には、後述する緊急時処理７００を実行する。
ステップＳ６０９において、状態監視部２２４が、テレプレゼンスロボット２０が緊急状態にはないと判断した場合には、ステップＳ６１０に進み、認証部２２７は、遠隔操作端末装置４０からログアウト要請を受信したか否かを判断する。ログアウト要請を受信していなければステップＳ６０６に戻り、遠隔操作端末装置４０による遠隔操作を継続して行う。状態監視部２２４が、ログアウト要請を受信したと判断した場合には、ステップＳ６１１に進み、認証部２２７は、正常にログアウトした旨を遠隔操作端末装置４０に送信するとともに、切替部２２６は、移動制御部２２１、対話制御部２２２を当該遠隔操作端末装置４０からの遠隔操作情報、対話制御情報によって操作不可能な状態に変更する。
図７は、図６における緊急時処理Ｓ７００におけるテレプレゼンスロボット２０の動作の流れの一例を示すフローチャートである。ステップＳ７０１において、テレプレゼンスロボット２０の移動制御部２２１は、移動装置２０４に含まれるロック装置をロックし、テレプレゼンスロボット２０の移動をロックする。また、テレプレゼンスロボット２０の緊急通知部２２５は、自装置が緊急状態であることを表示装置２０５に表示する。具体的には、表示装置２０５の表示画面に緊急事態であることを示す緊急通知情報を表示したり、状態表示灯を点灯させたり点滅させたりする。また、スピーカ２０８を介して自装置が緊急状態であることを示すアナウンスを行う。
例えば、図９（Ａ）は、緊急状態が生じたときのテレプレゼンスロボット２０の表示装置２０５を示している。表示装置２０５には、「緊急状態が発生しました」という通知メッセージと緊急状態であることが容易に視認できるようなマークが表示されている。また、このときに図９（Ａ）では表現されていないが、表示画面２０５を点滅させたり、背景の色を赤色等の通常時とは異なる背景色で表示するようにしたりしてもよい。
さらに、図７のステップＳ７０１において、緊急通知部２２５は、操作依頼候補リスト作成部２２３によって作成された操作依頼候補リストに含まれる、この遠隔対話に参加している他のテレプレゼンスロボット（以下、「テレプレゼンスロボット２１」として説明する）を遠隔操作している遠隔操作端末装置（以下、「遠隔操作端末装置４１」として説明する）や現地参加者６５が所持する簡易端末装置６０に対して前述のテレプレゼンスロボット２０が緊急状態にあることを通知し、それぞれの端末装置４１、６０のユーザインタフェース４０４を介してそれらの端末装置４１、６０を操作している遠隔操作者４６や現地参加者６５に緊急状態を知らせる。
このときの、テレプレゼンスロボット２１を遠隔操作している遠隔操作端末装置４１のユーザインタフェース４０４の表示装置に表示されている画像の一例を図９（Ｂ）に示す。表示装置には、テレプレゼンスロボット２１が撮影した現地参加者６５の画像、テレプレゼンスロボット２０を遠隔操作している遠隔操作端末装置４０のカメラ４０６が撮影した画像（遠隔操作者４５）、そして自装置（遠隔操作端末装置４１）のカメラ４０６が撮影した画像（遠隔操作者４６）が表示される。テレプレゼンスロボット４０において緊急事態が生じた場合、図９（Ｂ）のように、テレプレゼンスロボット４０を遠隔操作している遠隔操作者４５の画像を表示する代わりに、「緊急状態」であることを示すメッセージやマークを表示し、さらに「通信異常が発生しました」といった異常の内容を説明する説明文を表示する。
ステップＳ７０２において、緊急状態にあるテレプレゼンスロボット２０の緊急通知部２２５は、操作依頼候補リスト作成部２２３が作成した操作依頼候補リストに含まれる操作依頼候補の中から一つを選択する。次いでステップＳ７０３において、選択された操作依頼候補のテレプレゼンスロボット２１を遠隔操作する遠隔操作端末装置４１または現地参加者６５の所持する簡易端末装置６０に対してログイン要請を行う。
例えば、緊急通知部２２５は、緊急状態が生じる直前にテレプレゼンスロボット２０の対話相手であった現地参加者６５の所持する簡易端末装置６０または緊急状態が生じる直前にこのテレプレゼンスロボット２０の対話相手であった他のテレプレゼンスロボット２１を遠隔操作する遠隔操作端末装置４１に対してログイン要請を行う。或いは、緊急通知部２２５は、緊急状態が生じた時点においてこのテレプレゼンスロボット２０から物理的に最も近い場所に存在する現地参加者６５の所持する簡易端末装置６０または緊急状態が生じた時点においてこのテレプレゼンスロボット２０から物理的に最も近い場所に存在する他のテレプレゼンスロボット２１を遠隔操作する遠隔操作端末装置４１に対してログイン要請を行う。
例えば図１０（Ａ）は、テレプレゼンスロボット２０からもう一台のテレプレゼンスロボット２１を遠隔操作している遠隔操作端末装置４１に対してログイン要請を行っているときの遠隔操作端末装置４１のユーザインタフェース４０４の表示装置の様子を示している。図１０（Ａ）では、図９（Ｂ）の、当該緊急状態を示すメッセージやマークの下に、「ログイン」アイコンが表示され、さらにログインを促すメッセージが表示され、遠隔操作者４６によるテレプレゼンスロボット２０へのログインを待機している。
図７のステップＳ７０４において、当該ログイン要請を行った遠隔操作端末装置４１或いは簡易端末装置６０からログイン情報を受信した場合、緊急状態にあるテレプレゼンスロボット２０の認証部２２７は、受信したログイン情報を認証し、ログインが成功した場合にはステップＳ７０５に進む。ログイン情報が正しくない場合や所定時間内にログイン情報を受信できなかった場合にはステップＳ７０２に戻り、操作依頼候補リストに含まれる操作依頼候補の中から別の遠隔操作端末装置４１や簡易端末装置６０を、予め設定された優先順位に基づいて選択し、ログイン要請を順次通知する。
なお、ログイン要請を行う順番は、操作依頼候補リストに載せられている優先順位で行う。具体的には、緊急状態にあるテレプレゼンスロボット２０から物理的に最も近い距離にあるテレプレゼンスロボット２１を遠隔操作している遠隔操作端末装置４１または現地参加者６５の所持する簡易端末装置６０を優先して選択するようにしてもよいし、緊急状態にあるテレプレゼンスロボット２０の対話履歴に基づいて、最近に対話を行ったテレプレゼンスロボット２１を遠隔操作する遠隔操作端末装置４１や現地参加者６５の簡易端末装置６０を優先して選択するようにしてもよい。なお、ログイン要請を、操作依頼候補リストに含まれるすべての遠隔操作端末装置４１や簡易端末装置６０に送信し、ログイン情報を受信した順に認証を行うようにしてもよい。或いは、ログイン要請を、操作依頼候補リストに含まれるすべての遠隔操作端末装置４１や簡易端末装置６０に送信する際に、操作依頼候補リストの優先順位を付加して通知し、それぞれの遠隔操作端末装置４１や簡易端末装置６０のユーザインタフェース４０４に個別の優先順位が表示されるようにしてもよい。
なお、テレプレゼンスロボット２０のログイン処理中には、認証部２２７により、ロボットがログイン処理中の状態にあることを、表示装置２０５に表示してもよい。図１０（Ｂ）には、テレプレゼンスロボット２０の表示装置２０５に、自装置がログイン処理中であることを示すメッセージとマークが表示されている。
図７のステップＳ７０５において、切替部２２６は、ログインが成功した遠隔操作端末装置４１または簡易端末装置６０によりテレプレゼンスロボット２０の移動制御部２２１を代替遠隔操作できるようにする。また、切替部２２６は、テレプレゼンスロボット２０の表示装置２０５の表示画面には他の遠隔操作端末装置４１、或いはログインが成功した簡易端末装置６０（以下、総称して「代替端末装置４１、６０」という）による代替操作中であることを表示する。図１１は、遠隔操作端末装置４１による代替操作中であることをテレプレゼンスロボット２０の表示装置２０５に表示している状態を示している。図１１において、表示装置２０５には、遠隔操作端末装置４１のカメラ４０６によって撮影された遠隔操作者４６の画像と、代替操作中であることを示すメッセージが表示されている。
ログインが成功した遠隔操作端末装置４１、或いはログインが成功した簡易端末装置６０（以下、総称して「代替端末装置４１、６０」という）の操作者は、代替端末装置４１、６０のユーザインタフェース４０４を操作する。緊急状態にあるプレゼンスロボット２０の移動制御部２２１は、ログインが成功した代替端末装置４１、６０による操作に基づいて、移動装置２０４のロック装置のロックを解除する。さらに、操作者は、代替端末装置４１、６０のユーザインタフェース４０４を操作することにより、緊急状態のテレプレゼンスロボット２０を前進、後退、停止、方向転換させて安全な場所まで移動させる操作入力を行い、代替端末装置４１、６０の遠隔制御部４２２はそれに応じた遠隔制御情報を生成し、緊急状態にあるテレプレゼンスロボット２０に送信する。なお、操作者は、簡易端末装置６０を操作する場合にはマイクロフォン４０７に音声による指示を発話することにより遠隔制御部４２２が遠隔制御情報を生成できるようにしてもよい。
緊急状態にあるテレプレゼンスロボット２０は、遠隔制御情報を受信すると、受信した遠隔制御情報に応じて移動制御部２２１がテレプレゼンスロボット２０の移動装置２０４を制御し、緊急状態にあるテレプレゼンスロボット２０を、例えば安全な場所まで移動させる。なお、緊急状態にあるテレプレゼンスロボット２０に対してログインを行ったのが遠隔操作端末装置４１である場合には、この緊急状態のテレプレゼンスロボット２０を代替操作する前に、緊急状態が生じる直前まで遠隔操作を行っていた別のテレプレゼンスロボット２１を安全な待機場所へ移動させ、その後、緊急状態にあるテレプレゼンスロボット２０を代替操作するようにしてもよい。
図７のステップＳ７０６において、状態監視部２２４は、緊急状態にあるテレプレゼンスロボット２０の、代替端末装置４１、６０による代替遠隔操作が終了したか否かを判定する。例えば、緊急状態にあるテレプレゼンスロボット２０が安全な場所まで移動した場合に、代替遠隔操作が終了したと判断してもよいし、代替端末装置４１、６０において操作終了である旨の制御情報が生成され、それをテレプレゼンスロボット２０が受信した場合に、代替端末装置４１、６０による代替遠隔操作が終了したと判断するようにしてもよい。
ステップＳ７０７において、認証部２２７はログアウト処理を行い、代替遠隔操作をおこなっている代替端末装置４１、６０によるテレプレゼンスロボット２０の移動制御部２２１の代替遠隔操作ができないようにし、処理を終了する。
次いで、図８を参照し、緊急状態におけるテレプレゼンスロボット２０の動作の別の一例について説明する。図８は、図６における緊急時処理Ｓ７００におけるテレプレゼンスロボット２０の別の動作の一例を示すフローチャートである。ステップＳ８０１～ステップＳ８０４までの処理は、図７のステップＳ７０１～Ｓ７０４までの処理と同一であるので説明を省略する。なお、図８の例は、緊急状態にあるテレプレゼンスロボット２０とは別のテレプレゼンスロボット２１を遠隔操作している遠隔操作端末装置４１からログインが行われた場合に適用される。
ステップＳ８０５において、切替部２２６は、ログインが成功した遠隔操作端末装置４１が操作する、緊急状態にないテレプレゼンスロボット２１に追随して移動するように移動制御部２２１の動作モードを変更する。ステップＳ８０６において、ログインが成功した遠隔操作端末装置４１の遠隔操作者４６は、遠隔操作端末装置４１のユーザインタフェース４０４を用いて、緊急状態が生じる前まで自端末装置により遠隔操作していた、緊急状態にないテレプレゼンスロボット２１を前進、後退、停止、方向転換といった遠隔操作させることによって安全な場所まで移動させる操作を行う。緊急状態にあるテレプレゼンスロボット２０は、安全な場所へ移動していくテレプレゼンスロボット２１をカメラ２０６により撮影することでその移動を検出する。また、緊急状態にあるテレプレゼンスロボット２０の移動制御部２２１は、緊急状態にないテレプレゼンスロボット２１の移動に追随して自装置の移動装置２０４を制御し、テレプレゼンスロボット２０を、安全な場所まで移動させる。或いは、緊急状態にあるテレプレゼンスロボット２０は、緊急状態にないテレプレゼンスロボット２１からロボット間通信により制御情報を取得し、緊急状態にないテレプレゼンスロボット２１の移動に追随して自装置の移動装置２０４を制御するようにしてもよい。
図１２には、緊急状態にあるテレプレゼンスロボット２０が緊急状態にないテレプレゼンスロボット２１に追随して移動している様子が示されている。図１２では、テレプレゼンスロボット２０とそれを遠隔操作している遠隔操作端末装置４０との間で通信障害が生じたために遠隔操作できない状態にある。それで、緊急状態にないテレプレゼンスロボット２１を遠隔操作する遠隔操作端末装置４１がテレプレゼンスロボット２１を遠隔操作し、それに追随して緊急状態にあるテレプレゼンスロボット２０が移動している。
ステップＳ８０７において、緊急状態にあるテレプレゼンスロボット２０の状態監視部２２４は、緊急状態にあるテレプレゼンスロボット２０の退避操作が終了したか否かを判定する。例えば、緊急状態にあるテレプレゼンスロボット２０が安全な場所まで移動した場合に、退避操作が終了したと判断してもよいし、緊急状態にないテレプレゼンスロボット２１を遠隔操作している遠隔操作端末装置４１において操作終了である旨の制御情報が生成され、それを緊急状態にあるテレプレゼンスロボット２０に送信し、テレプレゼンスロボット２０が操作終了についての制御情報を受信した場合に、退避操作が終了したと判断するようにしてもよい。退避処理が終了していないと判断された場合には、ステップＳ８０６の処理を継続して行う。
ステップＳ８０８において、緊急状態にあるテレプレゼンスロボット２０の切替部２２６は、緊急状態にないテレプレゼンスロボット２１に追随して移動するモードを終了するとともに、テレプレゼンスロボット２０の認証部２２７は他のテレプレゼンスロボット２１を遠隔操作していた遠隔操作端末装置４１のログアウト処理を行い、処理を終了する。
なお、上記の例では、テレプレゼンスロボット２０が緊急状態にあるときに、代替端末装置４１、６０によってテレプレゼンスロボット２０の移動制御部２２１を操作した。しかしながら、代替端末装置４１、６０による操作が困難な場合や、現地にいる参加者が緊急状態にあるテレプレゼンスロボット２０を操作した方がよい場合がある。そこで、テレプレゼンスロボット２０において緊急状態が生じた場合に、テレプレゼンスロボット２０の移動制御部２２１によって、移動装置２０４のロック装置をロックするとともに、緊急通知部２２５により、表示装置２０５の表示画面に緊急事態であることを示す緊急通知情報を表示したり、状態表示灯を点灯させたり点滅させたり、スピーカ２０８を介して自装置が緊急状態であることを示すアナウンスを行う。同時に、カメラ２０６によって付近にいる現地参加者６５の動作を撮影する。現地参加者６５がテレプレゼンスロボット２０のカメラ２０６の前に立ち、予め定められた身振り、例えば、（１）「右手を挙げる」、（２）「左手を挙げる」、（３）「右手を挙げる」、（４）「左手を挙げる」、（５）「両手を挙げる」、（６）「両手を下げる」等、上記（１）～（６）の身振りを順に行うと、切替部２２６は身振りを行った現地参加者６５によって移動制御部２２１の身振りによる操作を可能な状態に切り替える。
さらに、テレプレゼンスロボット２０の移動制御部２２１は、当該現地参加者６５による予め定められた身振りに応じて操作される。具体的には、現地参加者６５が右手を挙げた場合は「右へ方向転換」、左手を挙げた場合は「左へ方向転換」、両手を挙げた場合は「前進」、両手を下げた場合は「停止」等である。
さらに、テレプレゼンスロボット２０の筐体には二次元コードを表示し、この二次元コードを簡易端末装置６０によってスキャンすることにより、テレプレゼンスロボット２０からのログイン要請がない場合であっても、二次元コードをスキャンした簡易端末装置６０がテレプレゼンスロボット２０にログインし、認証部２２７によりログインが認められれば、簡易端末装置６０のユーザインタフェース４０４を操作することによりテレプレゼンスロボット２０の移動制御部２２１を代替操作できるようにしてもよい。
１０ ロボット制御システム
２０、２１ テレプレゼンスロボット
３０ ネットワーク
４０、４１ 遠隔操作端末装置
４５、４６ 遠隔操作者
５０ アクセスポイント
６０ 簡易端末装置
６５ 現地参加者
２０１ 制御用マイクロプロセッサ
２０２ メモリ
２０３ 記憶装置
２０４ 移動装置
２０５ 表示装置
２０６ カメラ
２０７ マイクロフォン
２０８ スピーカ
２０９ 通信インタフェース
２１０ 制御バス
２２１ 移動制御部
２２２ 対話制御部
２２３ 操作依頼候補リスト作成部
２２４ 状態監視部
２２５ 緊急通知部
２２６ 切替部
２２７ 認証部
４０１ ＣＰＵ
４０２ メモリ
４０３ 記憶装置
４０４ ユーザインタフェース
４０５ 通信インタフェース
４０６ カメラ
４０７ マイクロフォン
４０８ スピーカ
４０９ 制御バス
４２１ ログイン部
４２２ 遠隔制御部
４２３ 対話制御部

Claims (14)

  1. 通信回線を介して接続された端末装置によって遠隔操作され、自装置の移動を制御する移動制御手段と、
    予め定められた条件が満たされた場合に、前記条件が満たされる直前に対話相手であった利用者の所持する端末装置または他の遠隔操作型移動ロボットを遠隔操作する端末装置に対して、自装置の操作の依頼を通知する通知手段と、
    自装置の操作の依頼を通知した端末装置から操作要求が行われた場合に、操作要求を行ってきた端末装置による前記移動制御手段の操作を可能な状態に切り替える切替手段と、を備える遠隔操作型移動ロボット。
  2. 通信回線を介して接続された端末装置によって遠隔操作され、自装置の移動を制御する移動制御手段と、
    予め定められた条件として自装置と自装置を遠隔操作する前記端末装置との間の通信回線が通信不能となった場合に、自装置に接続されていた端末装置以外の端末装置に対して、自装置の操作の依頼を通知する通知手段と、
    自装置の操作の依頼を通知した端末装置から操作要求が行われた場合に、操作要求を行ってきた端末装置による前記移動制御手段の操作を可能な状態に切り替える切替手段と、を備える遠隔操作型移動ロボット。
  3. 自装置と自装置を遠隔操作する前記端末装置との間の通信回線が通信不能となった場合に、自装置を遠隔操作していた端末装置以外の複数の端末装置を探索する探索手段を、備え、
    前記通知手段は、前記探索手段によって探索された前記複数の端末装置に対して自装置の操作の依頼を通知する、請求項２記載の遠隔操作型移動ロボット。
  4. 前記通知手段は、自装置の周囲に存在する利用者が所持する端末装置に対して自装置の操作の依頼を通知し、
    前記移動制御手段は、操作の依頼を通知した端末装置から操作要求が行われた場合に、当該端末装置によって制御される請求項２又は３記載の遠隔操作型移動ロボット。
  5. 前記通知手段は、自装置と自装置を遠隔操作する前記端末装置との間の通信回線が通信不能となる直前に対話相手であった利用者の所持する端末装置または他の遠隔操作型移動ロボットを遠隔操作する端末装置に対して自装置の操作の依頼を通知する請求項２から４のいずれか１項に記載の遠隔操作型移動ロボット。
  6. 前記通知手段は、自装置と自装置を遠隔操作する前記端末装置との間の通信回線が通信不能となった時点において物理的に最も近い場所に存在する利用者の所持する端末装置または他の遠隔操作型移動ロボットを遠隔操作する端末装置に対して自装置の操作の依頼を通知する請求項２から４のいずれか１項に記載の遠隔操作型移動ロボット。
  7. 前記通知手段は、自装置以外の他の遠隔操作型移動ロボットを遠隔操作している端末装置に対して自装置の操作の依頼を通知し、前記移動制御手段は、操作の依頼を通知した端末装置から操作要求が行われた場合に、当該端末装置によって制御される請求項１から６のいずれか１項記載の遠隔操作型移動ロボット。
  8. 前記移動制御手段は、他の遠隔操作型移動ロボットに追随して移動するように制御される請求項７記載の遠隔操作型移動ロボット。
  9. 前記通知手段は、予め設定された優先順位に基づいて、自装置に接続されていた端末装置以外の端末装置に対して、自装置の操作の依頼を順次通知する請求項１から８のいずれか１項に記載の遠隔操作型移動ロボット。
  10. 通信回線を介して接続された端末装置によって遠隔操作され、自装置の移動を制御する移動制御手段と、
    予め定められた条件が満たされた場合に、自装置に接続されていた端末装置以外の端末装置に対して、自装置の操作の依頼を通知する通知手段と、
    周囲の画像を撮像するカメラと、
    前記カメラにより撮像された画像において利用者による予め定められた身振りが検出された場合に、前記端末装置以外による前記移動制御手段の操作を可能な状態に切り替える切換手段と、を備え、
    前記切換手段は、自装置の操作の依頼を通知した端末装置から操作要求が行われた場合に、操作要求を行ってきた端末装置による前記移動制御手段の操作を可能な状態とする、遠隔操作型移動ロボット。
  11. 前記移動制御手段は、利用者による予め定められた身振りに応じて操作される請求項１０記載の遠隔操作型移動ロボット。
  12. 前記予め定められた条件が満たされた場合が、自装置と自装置を遠隔操作する前記端末装置との間の通信回線が通信不能となった場合である請求項１から１１のいずれか１項に記載の遠隔操作型移動ロボット。
  13. 予め定められた条件が満たされたときに自装置の移動を制限する制限装置をさらに有し、
    前記移動制御手段は、操作要求が行われた端末装置による操作に基づいて、前記制限装置による制限を解除する請求項１から１２のいずれか１項に記載の遠隔操作型移動ロボット。
  14. 通信回線を介して接続された端末装置によって遠隔操作され、自装置の移動を制御する移動制御手段と、予め定められた条件が満たされた場合に、前記条件が満たされる直前に対話相手であった利用者の所持する端末装置または他の遠隔操作型移動ロボットを遠隔操作する端末装置に対して、自装置の操作の依頼を通知する通知手段と、自装置の操作の依頼を通知した端末装置から操作要求が行われた場合に、操作要求を行ってきた端末装置による前記移動制御手段の操作を可能な状態に切り替える切替手段と、を備える遠隔操作型移動ロボットと、
    前記遠隔操作型移動ロボットを、通信回線を介して遠隔操作する端末装置と、
    を有するロボット制御システム。
JP2017121135A 2017-06-21 2017-06-21 遠隔操作型移動ロボットおよびロボット制御システム Active JP7013689B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017121135A JP7013689B2 (ja) 2017-06-21 2017-06-21 遠隔操作型移動ロボットおよびロボット制御システム
US15/786,146 US10732623B2 (en) 2017-06-21 2017-10-17 Remotely operated mobile robot and robot control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017121135A JP7013689B2 (ja) 2017-06-21 2017-06-21 遠隔操作型移動ロボットおよびロボット制御システム

Publications (2)

Publication Number Publication Date
JP2019005819A JP2019005819A (ja) 2019-01-17
JP7013689B2 true JP7013689B2 (ja) 2022-02-01

Family

ID=64693132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017121135A Active JP7013689B2 (ja) 2017-06-21 2017-06-21 遠隔操作型移動ロボットおよびロボット制御システム

Country Status (2)

Country Link
US (1) US10732623B2 (ja)
JP (1) JP7013689B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108326875B (zh) * 2017-01-20 2023-03-24 松下知识产权经营株式会社 通信控制方法与装置、远程呈现机器人以及存储介质
US10901430B2 (en) * 2017-11-30 2021-01-26 International Business Machines Corporation Autonomous robotic avatars
KR20190141303A (ko) * 2018-06-14 2019-12-24 엘지전자 주식회사 이동 로봇의 동작 방법
JP7274831B2 (ja) * 2018-07-31 2023-05-17 株式会社小松製作所 作業機械
US10994865B2 (en) 2018-10-22 2021-05-04 Goodrich Corporation Autonomous system for air cargo end-to-end operations
JP2020110520A (ja) * 2019-01-17 2020-07-27 株式会社大一商会 遊技機
JP2020140444A (ja) * 2019-02-28 2020-09-03 セイコーエプソン株式会社 保守支援システム及びそれに用いられる端末
JP7140037B2 (ja) * 2019-04-15 2022-09-21 トヨタ自動車株式会社 車両遠隔指示システム
US20210001487A1 (en) * 2019-07-03 2021-01-07 Ricoh Company, Ltd. Information processing apparatus, information processing method, and storage medium
JP7408991B2 (ja) * 2019-10-11 2024-01-09 沖電気工業株式会社 移動物システム、移動物、制御プログラム、及び制御方法
US11619935B2 (en) * 2020-07-17 2023-04-04 Blue Ocean Robotics Aps Methods of controlling a mobile robot device from one or more remote user devices
JP2022067781A (ja) * 2020-10-21 2022-05-09 ａｖａｔａｒｉｎ株式会社 情報処理装置、情報処理方法、及び記憶媒体
JP2022078741A (ja) * 2020-11-13 2022-05-25 本田技研工業株式会社 ロボット
JP7468421B2 (ja) 2021-03-23 2024-04-16 トヨタ自動車株式会社 遠隔操作システム、遠隔操作方法、及び、プログラム
JP7468423B2 (ja) * 2021-03-24 2024-04-16 トヨタ自動車株式会社 遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム
US20230131217A1 (en) * 2021-10-21 2023-04-27 Blue Ocean Robotics Aps Methods of adjusting a position of images, video, and/or text on a display screen of a mobile robot
CN115022656B (zh) * 2022-05-24 2024-02-06 山东新一代信息产业技术研究院有限公司 一种基于机器人操作***的远程支援方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060149418A1 (en) 2004-07-23 2006-07-06 Mehran Anvari Multi-purpose robotic operating system and method
JP2006301963A (ja) 2005-04-20 2006-11-02 Toyota Motor Corp 遠隔操作システム
JP2009090420A (ja) 2007-10-10 2009-04-30 Advanced Telecommunication Research Institute International ロボット遠隔操作システム
JP2014008105A (ja) 2012-06-28 2014-01-20 Canon Inc 遠隔操作型ロボットシステム
JP2017034530A (ja) 2015-08-04 2017-02-09 株式会社リコー 通信管理システム、通信システム、通信管理方法、及びプログラム
JP2017047519A (ja) 2015-09-04 2017-03-09 Ｒａｐｙｕｔａ Ｒｏｂｏｔｉｃｓ株式会社 クラウドロボティクスシステム、情報処理装置、プログラム、並びに、クラウドロボティクスシステムにおけるロボットの制御または支援方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521817A (en) * 1994-08-08 1996-05-28 Honeywell Inc. Airborne drone formation control system
JP4059742B2 (ja) 2002-09-26 2008-03-12 株式会社国際電気通信基礎技術研究所 コミュニケーションロボット
US8718837B2 (en) 2011-01-28 2014-05-06 Intouch Technologies Interfacing with a mobile telepresence robot
JP6435948B2 (ja) 2015-03-24 2018-12-12 株式会社デンソー 自動走行制御装置、管制装置、自動走行制御システム
US11209815B2 (en) * 2016-04-01 2021-12-28 Intel Corporation Drone control registration
US10168704B2 (en) * 2017-06-05 2019-01-01 Hanzhou Zero Zero Technology Co., Ltd. System and method for providing easy-to-use release and auto-positioning for drone applications

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060149418A1 (en) 2004-07-23 2006-07-06 Mehran Anvari Multi-purpose robotic operating system and method
JP2006301963A (ja) 2005-04-20 2006-11-02 Toyota Motor Corp 遠隔操作システム
JP2009090420A (ja) 2007-10-10 2009-04-30 Advanced Telecommunication Research Institute International ロボット遠隔操作システム
JP2014008105A (ja) 2012-06-28 2014-01-20 Canon Inc 遠隔操作型ロボットシステム
JP2017034530A (ja) 2015-08-04 2017-02-09 株式会社リコー 通信管理システム、通信システム、通信管理方法、及びプログラム
US20170041399A1 (en) 2015-08-04 2017-02-09 Atsushi Kokubo Communications management system, communications system, non-transitory recording medium, and communications management method
JP2017047519A (ja) 2015-09-04 2017-03-09 Ｒａｐｙｕｔａ Ｒｏｂｏｔｉｃｓ株式会社 クラウドロボティクスシステム、情報処理装置、プログラム、並びに、クラウドロボティクスシステムにおけるロボットの制御または支援方法

Also Published As

Publication number Publication date
US20180373239A1 (en) 2018-12-27
JP2019005819A (ja) 2019-01-17
US10732623B2 (en) 2020-08-04

Similar Documents

Publication Publication Date Title
JP7013689B2 (ja) 遠隔操作型移動ロボットおよびロボット制御システム
KR101844744B1 (ko) 이동로봇을 원격으로 제어하는 원격 제어 장치 및 시스템과 그의 수행방법
US10152040B2 (en) Methods and systems for remotely operating a machine tool by means of a mobile communication device
US10259119B2 (en) Multi-camera mobile teleconferencing platform
US9827666B2 (en) Server connectivity control for a tele-presence robot
US20210346557A1 (en) Robotic social interaction
JP4639343B2 (ja) ロボット遠隔操作システム
JP6153728B2 (ja) 奥行きセンサーの使用による装置のタッチフリー操作
JP2018536950A5 (ja)
JP4386367B2 (ja) コミュニケーションロボット改良システム
US20200401209A1 (en) Identifying electrical power ports utilizing iot information and augmented reality
CN103207671A (zh) 利用深度传感器进行无接触操作的烧蚀工作站
JP2009540759A (ja) 移動ロボットによって提供される画像を投影する移動電子会議システム
EP3216196B1 (en) Method for dynamic and automatic creation of user interfaces
US20180373852A1 (en) Robot control system
CN103999020A (zh) 用于姿势控制的方法，姿势服务器设备与传感器输入设备
JP5776544B2 (ja) ロボットの制御方法、ロボットの制御装置、及びロボット
JP2018507469A (ja) 機械制御のためのジェスチャベースのスイッチに関する方法及びシステム
JP2018097710A (ja) ロボット制御システム
JP7052260B2 (ja) カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム
JP2015093353A (ja) 多機能情報端末遠隔操作型ロボット
JP2021013159A (ja) 情報処理装置、テレプレゼンスロボット、拠点制御システム、遠隔制御システム、情報処理方法およびプログラム
JP2023162263A (ja) 警備システム、携帯端末及びプログラム
JP6911595B2 (ja) 通信端末、通信システム、出力方法、及びプログラム
JP6850629B2 (ja) 警備システム、携帯端末、警備方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200521

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220103