以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
●概略●
●システム構成
図1は、実施形態に係る遠隔制御システムのシステム構成の一例を示す図である。図1に示す遠隔制御システムは、各拠点に位置するロボット10と遠隔地の管理者が使用する管理者端末との間で遠隔通信を行うことによって、拠点内の装置の管理もしくは保守作業等、または拠点内に位置する人の位置もしくは動線の確認等を行うことができるシステムである。
遠隔制御システム1aは、複数の拠点(拠点A、拠点B、拠点C)のそれぞれに位置するテレプレゼンスロボット10(10A,10B,10C、以下、ロボット10A,10B,10Cと称する。また、区別する必要のないときは、ロボット10と称する。)、管理者端末50、情報処理サーバ70および通信管理サーバ90によって構成される。ロボット10、管理者端末50、情報処理サーバ70および通信管理サーバ90は、通信ネットワーク9を介して通信可能に接続されている。通信ネットワーク9は、例えば、LAN(Local Area Network)、専用線、インターネットおよび移動体通信網等によって構築される。なお、通信ネットワーク9は、有線だけでなく、3G(3rd Generation)、4G(4th Generation)、5G(5th Generation)、LTE(Long Term Evolution)、Wi−Fi(Wireless Fidelity(登録商標))、またはWiMAX(Worldwide Interoperability for Microwave Access)等の無線による通信が行われる箇所があってもよい。また、通信ネットワーク9には、ブロックチェーンによって構築されたネットワークが含まれていてもよい。
ロボット10は、各拠点(拠点A、拠点B、拠点C)に設置され、各拠点内を自律走行する移動体である。ロボット10は、撮影装置12によってロボット10の周囲の被写体を撮像しながら拠点内を移動し、撮影装置12によって取得された撮影画像を管理者端末50へ送信することで、管理者端末50を使用する管理者に、拠点内の情報(画像)を提供する。また、後述する図2に示されているように、各拠点には、複数のロボット10と拠点内に位置する利用者が遠隔地に位置する管理者を呼び出すための通知ボタン20が設置されている。各拠点に設置されたロボット10および通知ボタン20は、拠点システム2(2A,2B,2C、以下、区別する必要のないときは、拠点システム2と称する。)を構成する。なお、ロボット10は、拠点内を自律走行またはライントレース等の技術を用いて移動可能な移動体であればよい。
管理者端末50は、各拠点(拠点A、拠点B、拠点C)に設置されたロボット10を用いて、各拠点の遠隔管理を行うPC(Personal Computer)等の端末装置である。管理者端末50は、ロボット10から送信されてきた撮影画像を表示する。管理者は、管理者端末50に表示された画像を見ながら、ロボット10が設置された拠点内の利用者と遠隔でコミュニケーションをとることができる。また、管理者は、管理者端末50に表示された画像を見ながら、ロボット10の遠隔操作を行うことができる。
なお、管理者端末50は、ロボット10から送信されてきた画像を表示する表示手段を備えたものであればよく、例えば、タブレット端末、携帯電話、スマートフォン、ヘッドマウントディスプレイ(HMD)等のウェアラブル端末、広角スクリーン(円筒、全天球、半天球スクリーン等)を備えた通信端末、PDA(Personal Digital Assistant)等であってもよい。
情報処理サーバ70は、各拠点に位置するロボット10の動作を制御するためのサーバコンピュータである。通信管理サーバ90は、各拠点に位置するロボット10と管理者端末50との間の通信を管理するためのサーバコンピュータである。情報処理サーバ70および通信管理サーバ90は、通信ネットワーク9を介してロボット10および管理者端末50と接続される。なお、情報処理サーバ70は、単一のコンピュータによって構築されてもよいし、各部(機能、手段または記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。通信管理サーバ90についても同様である。情報処理サーバ70は、情報処理装置の一例である。
ここで、情報処理サーバ70と通信管理サーバ90は、サーバシステム7を構成する。このサーバシステム7は、情報処理サーバ70および通信管理サーバ90の各部(機能または手段)を備える単一のコンピュータによって構成されてもよい。また、拠点システム2とサーバシステム7は、拠点制御システム3を構成する。
ロボット10が設置される拠点は、例えば、オフィス、学校、倉庫、工場、建設現場等である。管理者端末50を各拠点の遠隔管理を行う管理者は、ロボット10から送信された拠点内の画像を確認することによって、拠点内の人の位置や動線の確認、拠点内に設置された装置の管理や保守等を行うことができる。また、ロボット10と管理者端末50は、双方によって撮影された画像を送受信することで双方向のコミュニケーション(遠隔会議)を行うこともできる。
なお、管理者端末50は、複数の拠点に配置されたロボット10のそれぞれと通信する構成であってもよいし、一つの拠点に配置されたロボット10のみと通信する構成であってもよい。
ここで、図2を用いて、本実施形態に係る遠隔制御システム1aの利用シーンを概略的に説明する。図2は、実施形態に係る遠隔制御システムの概略の一例を説明するための図である。図2は、拠点A内に設置されたテレプレゼンスロボット(ロボット10A)と、遠隔地に位置する管理者が使用する管理者端末50との間で遠隔通信を行う場合の例を示す。
図2に示されている拠点Aは、例えば、複数の作業者(作業者A,B,C,D)によって所定の作業が行われている工場または倉庫等である。図2に示されているように、各作業者A,B,C,Dは、作業台に対して作業を行う。また、拠点Aには、拠点A内を自律走行する複数のロボット10A(ロボット10A−1,10A−2)が設置されている。また、遠隔地にいる管理者は、管理者端末50を用いて、拠点Aに設置されたロボット10Aと遠隔通信を行うことで、拠点Aの保守管理等を行う。
また、拠点A内には、複数の通知ボタン20A(20A−1〜20A−5)が設置されている。このうち、通知ボタン20A−1〜20A−3は、作業台の上に設置されており、通知ボタン20A−4,20A−5は、それぞれロボット10A−1,10A−2に搭載されている。通知ボタン20Aは、拠点Aにいる作業者から遠隔地にいる管理者を呼び出すための操作手段である。なお、操作手段の構成は、通知ボタン20に限られず、管理者を呼び出すための機能を備えた装置であればよい。作業者は、例えば、作業中に何らかの異常が発生し、管理者とコミュニケーションを取りたい場合、近くに設置されている通知ボタン20Aを押下することで、遠隔地にいる管理者を呼び出すことができる。
また、遠隔地にいる管理者は、通知ボタン20Aが選択されたことをトリガーとして、利用者からの呼び出しを示す通知を受け取る。そして、管理者は、管理者端末50と拠点A内に設置されたロボット10Aとの遠隔通信を開始することで、作業者とのコミュニケーションをとることができる。
さらに、管理者端末50と遠隔通信を行うロボット10A−1,10A−2は、作業者によって押下された通知ボタン20Aの設置位置に応じて設定される移動先へ移動するとともに、管理者端末50との遠隔通信を行う。そのため、通知ボタン20Aを押下した作業者は、ロボット10Aを用いて、管理者とコミュニケーションを取りたい場所での遠隔通信を行うことができる。
図2に示されている拠点Aのような現場でのテレプレゼンスロボットの活用を考えた場合、従来は遠隔地の管理者から一方的に遠隔通信を開始できるだけであり、現場の作業者が管理者とコミュニケーションを取りたい場合に管理者を呼び出す手段がなく、現場から不満や不平の声が上がるという問題があった。そこで、遠隔制御システム1aは、ロボット10が設置された拠点側に管理者を呼び出すための操作手段を設け、拠点間での遠隔通信を現場からの呼び出しをトリガーとして開始させることができる。これによって、遠隔制御システム1aは、テレプレゼンスロボットを用いた遠隔通信の利便性を向上させることができる。
●ロボットの構成
続いて、図3を用いて、ロボット10の具体的な構成を説明する。図3は、実施形態に係るロボットの構成の概略の一例を示す図である。図3は、ロボット10が、ロボット10のバッテリの充電を行うための充電ステーション150に位置する状態である。充電ステーション150は、各拠点内に設置されており、ロボット10のバッテリの充電を行ったり、ロボット10の稼働状態を計測したりするためのものである。ロボット10は、拠点内に設置された充電ステーション150の位置を予め記憶しており、拠点内の利用者の指示、管理者からの遠隔操作、またはバッテリ残量の状態等を自ら判断することによって、定期的に充電ステーション150へ移動する。そして、ロボット10は、管理者端末50との遠隔通信が行われていない期間に、充電ステーション150においてバッテリの充電等を行う。
図3に示されているロボット10は、ロボット10の処理または動作を制御する制御装置30を備えた筐体11、撮影装置12、支持部材13、ディスプレイ14、ロボット10を移動させるための移動機構15(15a,15b)、ロボット10に所定の作業(動作)を行わせるための可動アーム16、ロボット10の通信状態を通知するランプ17および通知パネル18、並びに通知ボタン20を備える。
このうち、通知ボタン20は、拠点内に位置する利用者が遠隔地の管理者を呼び出すためのもの操作手段である。拠点内の利用者が拠点内に設置された通知ボタン20を押下することで、通知ボタン20は、情報処理サーバ70に対して、管理者を呼び出すための通知情報を送信する。なお、ロボット10に備えられている通知ボタン20の位置は、これに限られず、利用者が通知ボタン20を押下しやすい位置に搭載されることが好ましい。また、通知ボタン20は、ロボット10に着脱可能に搭載されていてもよい。この場合、作業者は、通知ボタン20を持ち運んだりすることによって、任意の場所に通知ボタン20を設置することができる。図2に示されているようなロボット10に搭載されていない通知ボタン20(例えば、通知ボタン20A−1,20A−2,20A−3)についても同様の構成を有する。
筐体11は、ロボット10の胴体部分に位置し、ロボット10の全体に必要な電源を供給する電源供給ユニットおよびロボット10の処理もしくは動作を制御する制御装置30等が内蔵されている。
撮影装置12は、ロボット10が設置された拠点に位置する人物、物体、風景等の被写体を撮影して撮影画像を取得する。撮影装置12は、デジタル一眼レフカメラ、コンパクトデジタルカメラ等の平面画像(詳細画像)を取得可能なデジタルカメラ(一般撮影装置)である。撮影装置12によって取得された撮影画像に係る撮影画像データは、後述する通信管理サーバ90によって確立される通信セッションを経由して、管理者端末50へ送信される。なお、撮影装置12によって取得される撮影画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、撮影装置12によって取得される撮影画像は、画像データとともに音声データを含んでもよい。
ディスプレイ14は、各種画面を表示させるための表示手段である。ディスプレイ14には、例えば、通知ボタン20が押下されることによって呼び出された遠隔地にいる管理者の拠点の画像を表示される。
支持部材13は、ロボット10(筐体11)に撮影装置12を設置(固定)するための部材である。支持部材13は、筐体11に固定されたポール等であってもよいし、筐体11に固定された台座であってもよい。また、支持部材13には、撮影装置12の撮影方向(向き)や位置(高さ)を調整可能な可動式の部材であってもよい。
移動機構15は、ロボット10を移動させるユニットであり、車輪、走行モータ、走行エンコーダ、ステアリングモータ、ステアリングエンコーダ等で構成される。ロボット10の移動制御については、既存の技術であるため、詳細な説明は省略するが、ロボット10は、例えば、情報処理サーバ70からの動作開始要求、または操作者である管理者(管理者端末50)からの走行指示を受信し、移動機構15は、受信した動作開始要求または走行指示に基づいてロボット10を移動させる。なお、移動機構15は、二足歩行の足型や単輪のものであってもよい。また、ロボット10の形状は、図3に示されているような車両型に限られず、例えば、二足歩行の人型、生物を模写した形態、特定のキャラクターを模写した形態等であってもよい。
可動アーム16は、ロボット10の移動以外の付加的動作を可能とする動作手段を有している。図3に示されているように、可動アーム16には、例えば、可動アーム16の先端に部品等の物体を掴むためのハンドが動作手段として備えられている。ロボット10は、可動アーム16を回転または変形させることによって、所定の作業(動作)を行うことができる。
ランプ17および通知パネル18は、管理者との遠隔通信の状態に応じて、ランプの点灯のパターンやパネル表示を変化させることで、拠点内の利用者に対して、ロボット10の通信状態を通知する。ランプ17および通知パネル18は、通信状態通知手段の一例である。
なお、撮影装置12は、全天球(360°)パノラマ画像を取得可能な広角撮影装置であってもよい。広角撮影装置は、例えば、被写体を撮影して全天球(パノラマ)画像の元になる2つの半球画像を得るための全天球撮影装置である。また、広角撮影装置は、例えば、所定値以上の画角を有する広角画像を取得可能な広角カメラまたはステレオカメラ等であってもよい。すなわち、広角撮影装置は、所定値より焦点距離の短いレンズを用いて撮影された画像(全天球画像、広角画像)を取得可能な撮影手段である。
また、ロボット10は、複数の撮影装置12を備える構成であってもよい。この場合、ロボット10は、撮影装置12として、広角撮影装置と、広角撮影装置によって撮影された被写体の一部を撮影して詳細画像(平面画像)を取得可能な一般撮影装置の両方を備える構成であってもよい。
さらに、ロボット10は、上記構成のほかに、ロボット10の周囲の情報を検知可能な各種センサを有していてもよい。各種センサは、例えば、気圧計、温度計、光度計、人感センサ、または照度計等のセンサデバイスである。
●ハードウエア構成●
次に、図4乃至図6を用いて、遠隔制御システム1aを構成する各装置または端末のハードウエア構成を説明する。なお、図4乃至図6に示すハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。
●ロボットのハードウエア構成
図4は、実施形態に係るロボットのハードウエア構成の一例を示す図である。ロボット10は、ロボット10の処理または動作を制御する制御装置30を備える。制御装置30は、上述のように、ロボット10の筐体11の内部に備えられている。なお、制御装置30は、ロボット10の筐体11の外部に設けられてもよく、またはロボット10とは別の装置として設けられていてもよい。
制御装置30は、CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303、HDD(Hard Disk Drive)304、メディアインターフェース(I/F)305、入出力I/F306、音入出力I/F307、ネットワークI/F308、近距離通信回路309、近距離通信回路309のアンテナ309a、および外部機器接続I/F311およびバスライン310を備える。
CPU301は、ロボット10全体の制御を行う。CPU301は、ROM302またはHD(Hard Disk)304a等に格納された、プログラムもしくはデータをRAM303上に読み出し、処理を実行することで、ロボット10の各機能を実現する演算装置である。
ROM302は、電源を切ってもプログラムまたはデータを保持することができる不揮発性のメモリである。RAM303は、CPU301のワークエリア等として用いられる揮発性のメモリである。HDD304は、CPU301の制御にしたがってHD304aに対する各種データの読み出し、または書き込みを制御する。HD304aは、プログラム等の各種データを記憶する。メディアI/F305は、USB(Universal Serial Bus)メモリ、メモリカード、光学ディスクまたはフラッシュメモリ等の記録メディア305aに対するデータの読み出しまたは書き込み(記憶)を制御する。
入出力I/F306は、文字、数値、各種指示等を各種外部機器等との間で入出力するためのインターフェースである。入出力I/F306は、LCD(Liquid Crystal Display)等のディスプレイ14に対するカーソル、メニュー、ウィンドウ、文字または画像等の各種情報の表示を制御する。なお、ディスプレイ14は、入力手段を備えたタッチパネルディスプレイであってもよい。また、入出力I/F306は、ディスプレイ14のほかに、例えば、マウス、キーボード等の入力手段が接続されていてもよい。音入出力I/F307は、CPU301の制御に従ってマイク307aおよびスピーカ307bとの間で音信号の入出力を処理する回路である。マイク307aは、CPU301の制御に従って音信号を入力する内蔵型の集音手段の一種である。スピーカ307bは、CPU301の制御に従って音信号を出力する再生手段の一種である。
ネットワークI/F308は、通信ネットワーク9を経由して、他の機器または装置との通信(接続)を行う通信インターフェースである。ネットワークI/F308は、例えば、有線または無線LAN等の通信インターフェースである。なお、ネットワークI/F308は、3G(3rd Generation)、LTE(Long Term Evolution)、4G(4th Generation)、5G(5th Generation)、Wi−Fi、WiMAX(Worldwide Interoperability for Microwave Access)、Zigbee(登録商標)、またはミリ波無線通信等の通信インターフェースを備えてもよい。近距離通信回路309は、NFC(Near Field communication)またはBluetooth(登録商標)等の通信回路である。外部機器接続I/F311は、制御装置30に他の装置を接続するためのインターフェースである。
バスライン310は、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等であり、アドレス信号、データ信号、および各種制御信号等を伝送する。CPU301、ROM302、RAM303、HDD304、メディアI/F305、入出力I/F306、音入出力I/F307、ネットワークI/F308、近距離通信回路309および外部機器接続I/F311は、バスライン310を介して相互に接続されている。
さらに、制御装置30には、外部機器接続I/F311を介して、駆動モータ101、アクチュエータ102、加速度・方位センサ103、GPS(Global Positioning System)受信部104、撮影装置12、電源供給ユニット105、通知ボタン20、ランプ17および通知パネル18が接続されている。
駆動モータ101は、CPU301からの命令に基づき、移動機構15を回転駆動させてロボット10を地面に沿って移動させる。アクチュエータ102は、CPU301からの命令に基づき、可動アーム16を変形させる。加速度・方位センサ103は、地磁気を検知する電子磁気コンパス、ジャイロコンパスおよび加速度センサ等のセンサである。GPS受信部104は、GPS衛星からGPS信号を受信する。電源供給ユニット105は、ロボット10の全体に必要な電源を供給するユニットである。
●管理者端末のハードウエア構成
図5は、実施形態に係る管理者端末のハードウエア構成の一例を示す図である。管理者端末50は、CPU501、ROM502、RAM503、EEPROM(Electrically Erasable Programmable Read-Only Memory)504、撮像素子I/F505、CMOS(Complementary Metal Oxide Semiconductor)センサ505a、およびメディアI/F506を備えている。
CPU501は、管理者端末50全体の動作を制御する。CPU501は、ROM502等に格納されたプログラムまたはデータをRAM503上に読み出し、処理を実行することで、管理者端末50の各機能を実現する演算装置である。
ROM502は、IPL(Initial Program Loader)等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。EEPROM504は、CPU501の制御にしたがって、管理者端末用プログラム等の各種データの読み出しまたは書き込みを行う。
CMOSセンサ505aは、CPU501の制御に従って被写体(主に自画像)を撮像し画像データを得る。撮像素子I/F505は、CMOSセンサ505aの駆動を制御する回路である。メディアI/F506は、フラッシュメモリ等の記録メディア506aに対するデータの読み出しまたは書き込み(記憶)を制御する。
また、管理者端末50は、ネットワークI/F507、音入出力I/F508、マイク508a、スピーカ508b、ディスプレイ511、キーボード512、マウス513、外部機器接続I/F514、近距離通信回路515、および近距離通信回路515のアンテナ515aを備えている。
ネットワークI/F507は、通信ネットワーク9を経由して、他の機器または装置との通信(接続)を行う通信インターフェースである。ネットワークI/F507は、例えば、有線または無線LAN等の通信インターフェースである。なお、ネットワークI/F507は、3G、LTE、4G、5G、Wi−Fi、WiMAX、Zigbee、またはミリ波無線通信等の通信インターフェースを備えてもよい。音入出力I/F508は、CPU501の制御に従ってマイク508aおよびスピーカ508bとの間で音信号の入出力を処理する回路である。マイク508aは、CPU501の制御に従って音信号を入力する内蔵型の集音手段の一種である。スピーカ508bは、CPU501の制御に従って音信号を出力する再生手段の一種である。
ディスプレイ511は、被写体の画像や各種アイコン等を表示する液晶や有機EL等の表示手段の一種である。なお、ディスプレイ511は、入力手段を備えたタッチパネルディスプレイであってもよい。キーボード512は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス513は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。外部機器接続I/F514は、各種の外部機器を接続するためのインターフェースである。近距離通信回路515は、NFCまたはBluetooth等の通信回路である。
また、管理者端末50は、バスライン509を備えている。バスライン509は、図5に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
●サーバのハードウエア構成
図6は、実施形態に係る情報処理サーバのハードウエア構成の一例を示す図である。情報処理サーバ70は、一般的なコンピュータによって構築されている。情報処理サーバ70は、CPU701、ROM702、RAM703、HD704、HDD705、メディアI/F707、ネットワークI/F708、ディスプレイ711、キーボード712、マウス713、DVD−RW(Digital Versatile Disk Rewritable)ドライブ715、タイマ716およびバスライン710を備えている。
CPU701は、情報処理サーバ70全体の動作を制御する。ROM702は、CPU701の駆動に用いられるプログラムを記憶する。RAM703は、CPU701のワークエリアとして使用される。HDD705は、CPU701の制御にしたがってHD704に対する各種データの読み出し、または書き込みを制御する。HD704は、プログラム等の各種データを記憶する。メディアI/F707は、フラッシュメモリ等の記録メディア706に対するデータの読み出し、または書き込み(記憶)を制御する。
ネットワークI/F708は、通信ネットワーク9を利用してデータ通信をするためのインターフェースである。ディスプレイ711は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。キーボード712は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス713は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。DVD−RWドライブ715は、着脱可能な記録媒体の一例としてのDVD−RW714に対する各種データの読み出し等を制御する。なお、DVD−RW714は、DVD−R等であってもよい。また、DVD−RWドライブ715は、BD−RE(Blu-ray(登録商標) Disc Rewritable)に対する各種データの読み出しまたは書き込み(記憶)を制御するブルーレイドライブ、またはCD−RW(Compact Disc-ReWritable)に対する各種データの読み出しまたは書き込みを制御するCD−RWドライブ等であってもよい。タイマ716は、時間計測機能を有する計測装置である。タイマ716は、コンピュータによるソフトタイマでもよい。
さらに、情報処理サーバ70は、バスライン710を備えている。バスライン710は、図6に示されているCPU701等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
また、通信管理サーバ90は、一般的なコンピュータによって構築されており、図6に示されているように、CPU901、ROM902、RAM903、HD904、HDD905、メディアI/F907、ネットワークI/F908、ディスプレイ911、キーボード912、マウス913、DVD−RWドライブ915、およびバスライン910を備えている。これらは、それぞれ情報処理サーバ70におけるCPU701、ROM702、RAM703、HDD705、メディアI/F707、ネットワークI/F708、ディスプレイ711、キーボード712、マウス713、DVD−RWドライブ715、およびバスライン710と同様の構成であるため、説明を省略する。
なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD−R(Compact Disc Recordable)、DVD、ブルーレイディスク、SDカード等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、情報処理サーバ70は、本発明に係るプログラムが実行されることで本発明に係る情報処理方法を実現する。
●機能構成●
続いて、図7乃至図13を用いて、本実施形態に係る遠隔制御システム1aの機能構成について説明する。図7および図9は、実施形態に係る遠隔制御システムの機能構成の一例を示す図である。なお、図7および図9では、図1に示されている各端末、装置およびサーバのうち、後述の処理または動作に関連しているものが示されている。
●制御装置の機能構成
まず、図7を用いて、ロボット10の処理または動作を制御する制御装置30の機能構成について説明する。制御装置30は、送受信部31、受付部32、表示制御部33、判断部34、通信制御部35、状態情報取得部36、位置情報取得部37、撮影指示部38、撮影画像取得部41、利用者特定部42、移動先設定部43、移動制御部44、アーム操作制御部45、通信状態通知制御部49および記憶・読出部39を有している。これら各部は、図4に示されている各構成要素のいずれかが、RAM303上に展開されたプログラムに従ったCPU301からの命令によって動作することで実現される機能、または機能する手段である。また、制御装置30は、図4に示されているROM302、HD304aまたは記録メディア305aによって構築される記憶部3000を有している。記憶部3000は、記憶手段の一例である。
送受信部31は、図4に示されているCPU301からの命令、およびネットワークI/F308によって実現され、通信ネットワーク9を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部31は、例えば、通信ネットワーク9を介して、ロボット10に対する動作開始を要求する動作開始要求情報を、情報処理サーバ70から受信する。また、送受信部31は、撮影画像取得部41によって取得された撮影画像データを、管理者端末50へ送信する。送受信部31は、取得手段の一例である。
受付部32は、図4に示されているCPU301からの命令、および入出力I/F306によって実現され、ディスプレイ14等の入力手段に対する操作入力を受け付ける機能である。表示制御部33は、図4に示されているCPU301からの命令、および入出力I/F306によって実現され、ディスプレイ14に各種画面を表示させる機能である。判断部34は、図4に示されているCPU301からの命令によって実現され、各種判断を行う機能である。
通信制御部35は、図4に示されているCPU301からの命令によって実現され、管理者端末50との遠隔通信を制御する機能である。通信制御部35は、通信制御手段の一例である。状態情報取得部36は、図4に示されているCPU301からの命令、および外部機器接続I/F311によって実現され、ロボット10の状態を示す状態情報を取得する機能である。状態情報取得部36は、例えば、ロボット10への外部機器の接続状態、電源供給ユニット105から取得されるロボット10のバッテリ残量、移動制御部44から取得される移動機構15の駆動状態等を、ロボット10の状態情報として生成して取得する。位置情報取得部37は、図4に示されているCPU301からの命令、および外部機器接続I/F311によって実現され、加速度・方位センサ103またはGPS受信部104によって検出される各方位(方位角、磁北)の方向等の検出結果を取得する機能である。各方位の方向等の検出結果は、ロボット10の所定時点における位置および向きを示す位置情報である。
撮影指示部38は、図4に示されているCPU301からの命令、および外部機器接続I/F311によって実現され、撮影装置12に対する撮影処理を指示する機能である。撮影指示部38は、例えば、撮影装置12による撮影を指示するための指示情報を、撮影装置12へ送信する。
撮影画像取得部41は、図4に示されているCPU301からの命令、および外部機器接続I/F311によって実現され、撮影装置12によって取得された撮影画像を取得する機能である。撮影画像取得部41は、例えば、撮影装置12が被写体を撮影して取得した撮影画像である撮影画像データを、撮影装置12から取得する。
利用者特定部42は、図4に示されているCPU301からの命令によって実現され、拠点内に設置された通知ボタン20を押下した利用者を特定するための機能である。利用者特定部42は、例えば、撮影画像取得部41によって取得された撮影画像に示されている顔画像を認識することにより、通知ボタン20を押下した利用者を特定する。
移動先設定部43は、図4に示されているCPU301からの命令によって実現され、ロボット10の移動先を設定する機能である。移動先設定部43は、例えば、情報処理サーバ70から送信されてきた動作開始要求情報に基づいて、ロボット10の移動先を設定する。移動先設定部43は、設定手段の一例である。
移動制御部44は、図4に示されているCPU301からの命令、および外部機器接続I/F311によって実現され、移動機構15を駆動させることによって、ロボット10の移動を制御する機能である。移動制御部44は、例えば、情報処理サーバ70から送信されてきた動作開始要求情報に応じて移動機構15の駆動を制御することで、ロボット10を移動させる。移動制御部44は、移動制御手段の一例である。
アーム操作制御部45は、図4に示されているCPU301からの命令、および外部機器接続I/F311によって実現され、可動アーム16の操作を制御する機能である。アーム操作制御部45は、例えば、管理者端末50から送信されてきた動作要求に基づいて、可動アーム16を変形させることで可動アーム16の向きまたは位置を変更する。可動アーム16の向きまたは位置を変更する。
通信状態通知制御部49は、図4に示されているCPU301からの命令、および外部機器接続I/F311によって実現され、ランプ17および通知パネル18による通信状態の通知を制御する機能である。
記憶・読出部39は、図4に示されているCPU301からの命令によって実行され、記憶部3000に各種データを記憶させ、または記憶部3000から各種データを読み出す機能である。記憶部3000には、管理者端末50との通信を行う際に受信される画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ14に画像が表示され、上書きされる前の音データによってスピーカ307bから音声が出力される。また、記憶部3000は、撮影画像取得部41によって取得された撮影画像データを記憶している。なお、記憶部3000に記憶されている撮影画像データは、撮影画像取得部41によって取得されてから所定の時間経過した場合に削除される構成であってもよいし、管理者端末50へ送信されたデータが削除される構成であってもよい。
○利用者情報管理テーブル
図8(A)は、実施形態に係る利用者情報管理テーブルの一例を示す概念図である。記憶部3000には、図8(A)に示されているような利用者情報管理テーブルによって構成されている利用者情報管理DB3001が構築されている。この利用者情報管理テーブルには、ロボット10が設置された拠点に位置する利用者を識別するための利用者IDおよび利用者名、並びに特徴量が関連づけられて管理されている。このうち、特徴量は、撮影画像取得部41によって取得された撮影画像データに含まれる人物の顔を識別するための特徴量である。利用者情報管理テーブルは、利用者特定部42における画像処理として、処理対象となる撮影画像データに含まれる人物の顔を照合する処理(顔照合処理)が実行される場合に用いられる。
○通知パターン管理テーブル
図8(B)は、実施形態に係る通知パターン管理テーブルの一例を示す概念図である。記憶部3000には、図8(B)に示されているような通知パターン管理テーブルによって構成されている通知パターン管理DB3009が構築されている。この通知パターン管理テーブルには、管理者端末50との通信状態を示す情報および通信状態に対応する通知パターンが関連づけられて管理されている。このうち、通信状態には、他の利用者または管理者との通信が行われていることを示す「通信中」、他の利用者または管理者との通信の予約状態であることを示す「通信待ち」、および他の利用者または管理者との通信を開始するための処理が開始されていない空き状態であることを示す「待機中」等の状態が含まれている。また、通知パターンは、利用者がロボット10の通信状態を視覚的に認識できるような通知方法が示されている。通知パターンは、例えば、通信状態に応じた異なるランプ17の点灯方法が示されている。ランプ17は、例えば、点灯させる色または点滅の規則性等によって、通知パターンごとに区別可能に点灯する。
●管理者端末の機能構成
続いて、図7を用いて、管理者端末50の機能構成について説明する。管理者端末50は、送受信部51、受付部52、表示制御部53、判断部54および記憶・読出部59を有している。これら各部は、図5に示されている各構成要素のいずれかが、RAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能、または機能する手段である。また、管理者端末50は、図5に示されているROM502または記録メディア506aによって構築される記憶部5000を有している。記憶部5000は、記憶手段の一例である。さらに、管理者端末50は、ロボット10を遠隔操作するための専用のアプリケーションプログラムをインストールしている。管理者端末50は、例えば、インストールされたアプリケーションプログラムをCPU501が実行することによって各機能を実現する。
送受信部51は、図5に示されているCPU501からの命令、およびネットワークI/F507によって実現され、通信ネットワーク9を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部51は、例えば、通信ネットワーク9を介して、ロボット10(制御装置30)から送信された撮影画像データを受信する。また、送受信部51は、例えば、通信ネットワーク9を介して、ロボット10の状態を示す状態情報を、ロボット10(制御装置30)から受信する。送受信部51は、通信要求受信手段の一例である。また、送受信部51は、通信手段の一例である。
受付部52は、図5に示されているCPU501からの命令、並びにキーボード512もしくはマウス513等の入力手段によって実現され、管理者端末50への各種選択または操作入力を受け付ける機能である。表示制御部53は、図5に示されているCPU501からの命令によって実現され、管理者端末50のディスプレイ511に各種画面を表示させる機能である。判断部54は、図5に示されているCPU501からの命令によって実現され、各種判断を行う機能である。
記憶・読出部59は、図5に示されているCPU501からの命令によって実行され、記憶部5000に各種データを記憶させ、または記憶部5000から各種データを読み出す機能である。記憶部5000には、ロボット10(制御装置30)との通信を行う際に受信される画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ511に画像が表示され、上書きされる前の音データによってスピーカ508bから音声が出力される。
●情報処理サーバの機能構成
次に、図9を用いて、情報処理サーバ70の機能構成について説明する。情報処理サーバ70は、送受信部71、判断部72、検索部73、生成部74、計測部75および記憶・読出部79を有している。これら各部は、図6に示されている各構成要素のいずれかが、RAM703上に展開されたプログラムに従ったCPU701からの命令によって動作することで実現される機能、または機能する手段である。また、情報処理サーバ70は、図6に示されているROM702、HD704または記録メディア706によって構築される記憶部7000を有している。記憶部7000は、記憶手段の一例である。
送受信部71は、図6に示されているCPU701からの命令、およびネットワークI/F708によって実現され、通信ネットワーク9を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部71は、例えば、通信ネットワーク9を介して、通知ボタン20の選択が受け付けられた場合に送信される通知情報を、通知ボタン20から受信する。また、送受信部71は、例えば、通信ネットワーク9を介して、ロボット10を特定の移動先へ移動させるための動作の開始を要求する動作開始要求情報を、ロボット10へ送信する。さらに、送受信部71は、ロボット10と遠隔通信を行うための通信要求を、管理者端末50へ送信する。送受信部71は、通知情報受信手段の一例である。また、送受信部71は、出力手段の一例である。さらに、送受信部71は、通信要求送信手段の一例である。
判断部72は、図6に示されているCPU701からの命令によって実現され、各種判断を行う機能である。検索部73は、図6に示されているCPU701からの命令によって実現され、通知ボタン20から送信されてきた通知情報に基づいて、動作を要求するロボット10を検索する機能である。検索部73は、決定手段の一例である。生成部74は、図6に示されているCPU701からの命令によって実現され、各種データまたは情報を生成する機能である。生成部74は、例えば、ロボット10と管理者端末50の通信履歴を示す通信履歴情報を生成する。計測部75は、図6に示されているCPU701からの命令、およびタイマ716によって実現され、ロボット10と管理者端末50との間の通信セッションが確立されるまでの処理時間を計測する機能である。
記憶・読出部79は、図6に示されているCPU701からの命令によって実行され、記憶部7000に各種データを記憶させ、または記憶部7000から各種データを読み出す機能である。
○拠点情報管理テーブル
図10(A)は、実施形態に係る拠点情報管理テーブルの一例を示す概念図である。記憶部7000には、図10(A)に示されているような拠点情報管理テーブルによって構成されている拠点情報管理DB7001が構築されている。この拠点情報管理テーブルには、情報処理サーバ70の制御対象となるロボット10が設置された拠点を識別するための拠点IDおよび拠点名、並びにその拠点に設置された通知ボタン20を識別するためのボタンIDが関連づけられて管理されている。情報処理サーバ70は、拠点内の利用者によって通知ボタン20が押下された場合、通知情報を送信した通知ボタン20のボタンIDに基づいて、制御対象となるロボット10が設置された拠点を特定する。
○位置情報管理テーブル
図10(B)は、実施形態に係る位置情報管理テーブルの一例を示す概念図である。記憶部7000には、図10(B)に示されているような位置情報管理テーブルによって構成されている位置情報管理DB7002が構築されている。この位置情報管理テーブルには、拠点IDごとに、ロボット10を識別するための端末IDおよび端末名、並びにロボット10の位置を示す位置情報が関連づけられて管理されている。このうち、位置情報は、緯度および経度の情報が含まれ、ロボット10から情報処理サーバ70へ随時送信される。なお、位置情報の形式は、緯度および経度の情報に限られず、拠点内におけるロボット10の位置が判別できる情報であればよい。
○条件情報管理テーブル
図10(C)は、実施形態に係る条件情報管理テーブルの一例を示す概念図である。記憶部7000には、図10(C)に示されているような条件情報管理テーブルによって構成されている条件情報管理DB7003が構築されている。この条件情報管理テーブルには、拠点IDごとに、通知ボタン20を識別するためのボタンID、およびロボット10への制御要求を送信するための条件を示す条件情報が関連づけられて管理されている。このうち、条件情報には、ロボット10の性能または稼働状態等の項目に関する条件が含まれている。条件情報に含まれている項目は、例えば、ロボット10のバッテリ残量、撮影装置12(カメラ)の性能、または可動アーム16の性能等である。なお、条件情報に含まれている項目は、これに限られず、例えば、情報処理サーバ70からロボット10へ動作開始要求を行った回数、頻度等の使用履歴の項目等が含まれていてもよい。また、条件情報に含まれている項目は、後述する状態情報管理DB7004に記憶されている状態情報に含まれている項目と同様である。
条件情報のうち、バッテリ残量の項目には、制御要求を要求先のロボット10のバッテリ残量の閾値が示されている。例えば、ボタンID「btA01」によって識別される通知ボタン20Aの選択をトリガーとする制御要求の場合のバッテリ残量の条件は、90%以上(≧90%)である。
また、条件情報のうち、カメラの項目には、ロボット10が備えている撮影装置12の性能の閾値が示されている。図11(A)に示されている例では、撮影装置12の性能の閾値として、撮影装置12の種類に基づく撮影可能範囲を条件としている。この場合、撮影装置12の性能が高い順は、広角カメラ、可動カメラ、通常カメラとなる。可動カメラとは、回転機構を有し、撮影方向(向き)を変更させながら撮影可能なカメラであり、通常カメラとは、平面画像(詳細画像)を取得可能な一般的なデジタルカメラである。例えば、ボタンID「btA02」によって識別される通知ボタン20Aの選択をトリガーとする制御要求の場合のカメラの条件は、ロボット10が通常カメラ以上の性能を備えていることである。また、例えば、ボタンID「btA03」によって識別される通知ボタン20Aの選択をトリガーとする制御要求の場合のカメラの条件は、ロボット10が可動カメラ以上の性能を備えていることである。なお、撮影装置12の性能の閾値は、解像度や撮影範囲を数値で表した条件であってもよい。
さらに、条件情報のうち、アームの項目には、ロボット10に備えられている可動アーム16の性能の閾値が示されている。例えば、ボタンID「btA01」によって識別される通知ボタン20Aの選択をトリガーとする制御要求の場合のアームの条件は、ロボット10がロボットハンドを備えていることである。
このように、条件情報管理テーブルには、拠点ごとおよび通知ボタン20ごとに異なる条件情報を設定することができるので、拠点の種別または通知ボタン20の設置位置によって、ロボット10への制御要求を行う条件を設定することができる。なお、情報処理サーバ70は、条件情報管理テーブルに示されている条件情報の内容を適宜追加・修正することができる構成であってもよい。
○状態情報管理テーブル
図11(A)は、実施形態に係る状態情報管理テーブルの一例を示す概念図である。記憶部7000には、図11(A)に示されているような状態情報管理テーブルによって構成されている状態情報管理DB7004が構築されている。この状態情報管理テーブルには、拠点IDごとに、ロボット10を識別するための端末IDおよび端末名、並びにロボット10の状態を示す状態情報が関連づけられて管理されている。このうち、状態情報には、ロボット10の性能や現在の稼働状態等に関する項目のデータが含まれている。状態情報に含まれている項目は、図10(C)の条件情報管理テーブルに示されている条件情報に含まれている項目と同様である。ロボット10の状態情報は、各拠点に設置されたロボット10のそれぞれから随時または定期的に情報処理サーバ70へ送信される。情報処理サーバ70は、状態情報管理テーブルに示されている状態情報と、条件情報管理テーブルに示されている条件情報とに基づいて、そのロボット10への制御要求を行うかどうかを判断する。
○管理者情報管理テーブル
図11(B)は、実施形態に係る管理者情報管理テーブルの一例を示す概念図である。記憶部7000には、図11(B)に示されているような管理者情報管理テーブルによって構成されている管理者情報管理DB7005が構築されている。この管理者情報管理テーブルには、遠隔地に位置する拠点を管理する管理者を識別するための管理者IDおよび管理者名、管理者の宛先を示す管理者宛先情報、並びに通知ボタン20を識別するためのボタンIDが関連づけられて管理されている。このうち、管理者宛先情報は、例えば、管理者のメールアドレス、または管理者ごとに割り振られたアプリケーションのID等である。なお、例えば、管理者が専有の管理者端末50を使用している場合、管理者宛先情報は、管理者端末50の宛先を示すIPアドレス等であってもよい。また、管理者情報管理テーブルには、管理者ごとに管理対象となる通知ボタン20が割り振られており、情報処理サーバ70は、利用者によって選択された通知ボタン20に応じて、割り振られた管理者に対して、拠点内のロボット10との通信要求を通知する。
○通知履歴管理テーブル
図11(C)は、実施形態に係る通知履歴管理テーブルの一例を示す概念図である。記憶部7000には、図11(C)に示されているような通知履歴管理テーブルによって構成されている通知履歴管理DB7006が構築されている。この通知履歴管理テーブルには、拠点ID、利用者によって選択された通知ボタン20を識別するためのボタンID、管理者端末50を用いてロボット10との遠隔通信を行った管理者を識別するための管理者ID、通知ボタン20を選択した利用者を識別するための利用者ID、通知ボタン20の選択に応じて管理者端末50とロボット10との遠隔通信が行われた時間を示す通信時間、および管理者端末50とロボット10との遠隔通信に関する履歴を示す通知履歴情報の保存先のリンクが関連づけられて管理されている。情報処理サーバ70は、管理者端末50とロボット10の遠隔通信が終了した場合、通知履歴情報を生成し、通知履歴管理テーブルに示されている保存先へ生成した通知履歴情報を記憶させる。なお、拠点ID、ボタンID、管理者ID、利用者IDおよび通信時間は、通知履歴データの一例であり、通知履歴データとして一部の項目が含まれない構成であってもよい。
●通信管理サーバの機能構成
次に、図9を用いて、通信管理サーバ90の機能構成について説明する。通信管理サーバ90は、送受信部91、認証部92、判断部93、作成部94および記憶・読出部99を有している。これら各部は、図6に示されている各構成要素のいずれかが、RAM903上に展開されたプログラムに従ったCPU901からの命令によって動作することで実現される機能、または機能する手段である。また、通信管理サーバ90は、図6に示されているROM902、HD904または記録メディア906によって構築される記憶部9000を有している。
送受信部91は、図6に示されているCPU901からの命令、およびネットワークI/F908によって実現され、通信ネットワーク9を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。
認証部92は、図6に示されているCPU901からの命令によって実現され、送受信部91によって受信されたログイン要求情報に基づいて、ログイン要求元の認証を行う機能である。認証部92は、例えば、送受信部91によって受信されたログイン要求に含まれている端末IDおよびパスワードを検索キーとし、記憶部9000の認証管理DB9001を検索する。そして、認証部92は、認証管理DB9001に同一の組の端末IDおよびパスワードが管理されているかを判断することによって端末認証を行う。
判断部93は、図6に示されているCPU901からの命令によって実現され、後述するセッション管理テーブルに、管理者端末50の端末IDが管理されているかを判断する機能である。作成部94は、図6に示されているCPU901からの命令によって実現され、通信に使用されるセッションIDを作成する機能である。
記憶・読出部99は、図6に示されているCPU901からの命令によって実行され、記憶部9000に各種データを記憶させ、または記憶部9000から各種データを読み出す機能である。また、記憶部9000には、後述する宛先リスト画面900(図18参照)における宛先リスト枠データ(図18に示されているアイコン、「rA01」、「ロボット10A−1」等の宛先リスト内容情報は含まれない)が記憶されている。
○認証管理テーブル
図12(A)は、実施形態に係る認証管理テーブルの一例を示す概念図である。記憶部9000には、図12(A)に示されているような認証管理テーブルによって構成されている認証管理DB9001が構築されている。この認証管理テーブルには、通信管理サーバ90によって管理される全ての管理者端末50の各端末IDに対して、各パスワードが関連づけられて管理されている。例えば、図12(A)に示されている認証管理テーブルでは、管理者端末50Aの端末IDは「o01」で、パスワードは「aaaa」であることが表されている。
○端末管理テーブル
図12(B)は、実施形態に係る端末管理テーブルの一例を示す概念図である。記憶部9000には、図12(B)に示されているような端末管理テーブルによって構成されている端末管理DB9002が構築されている。この端末管理テーブルには、各端末(ロボット10および管理者端末50)の端末IDごとに、各端末の端末名、端末のIPアドレス、各端末の現在の稼動状態を示す稼動状態情報、および端末がロボット10である場合のロボット10が位置する拠点を示す拠点名が関連づけられて管理されている。例えば、図12(B)に示されている端末管理テーブルにおいて、端末IDが「o01」の管理者端末50は、端末名が「管理者端末50A」で、この管理者端末50のIPアドレスが「1.2.1.3」で、稼動状態が「オンライン(通話可能)」であることが示されている。また、端末IDが「rA01」のロボット10は、端末名が「ロボット10A−1」で、このロボット10のIPアドレスが「1.3.2.3」で、稼動状態が「オンライン(通話可能)」で、拠点名が「拠点A」であることが示されている。
○宛先リスト管理テーブル
図13(A)は、実施形態に係る宛先リスト管理テーブルの一例を示す概念図である。記憶部9000には、図13(A)に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB9003が構築されている。この宛先リスト管理テーブルには、ロボット10との通信の開始を要求する開始端末としての管理者端末50の端末IDごとに、宛先となるロボット10の候補として登録されている宛先候補のロボット10の端末IDが関連づけられて管理されている。例えば、図13(A)に示されている宛先リスト管理テーブルにおいて、端末IDが「o01a」である開始端末(管理者端末50A)から通信の開始を要求することができる宛先候補は、端末IDが「rA01」のロボット10A−1、端末IDが「rA02」のロボット10A−2、端末IDが「rC01」のロボット10C−1等であることが示されている。なお、宛先候補のロボット10の端末IDは、任意の開始端末(管理者端末50)から通信管理サーバ90に対する追加または削除の要請により、追加または削除されることで更新される。
○セッション管理テーブル
図13(B)は、実施形態に係るセッション管理テーブルの一例を示す概念図である。記憶部9000には、図13(B)に示されているようなセッション管理テーブルによって構成されているセッション管理DB9004が構築されている。このセッション管理テーブルには、ロボット10と管理者端末50との間で通信する際に利用されるセッションを識別するためのセッションIDごとに、このセッションIDによって特定されるセッションを使用中のロボット10および管理者端末50の端末IDが関連づけられて管理されている。例えば、図13(B)に示されているセッション管理テーブルにおいて、セッションID「se1」を用いて実行されたセッションを使用中の端末は、端末IDが「o01」の管理者端末50A、端末IDが「rA02」のロボット10A−2、および端末IDが「rC01」のロボット10C−1であることが示されている。
●実施形態の処理または動作●
続いて、図14乃至図28を用いて、実施形態に係る遠隔制御システム1aの処理または動作について説明する。なお、以降の説明において、ロボット10が備える制御装置30によって実行される処理は、ロボット10によって実行される処理として説明する。
●拠点システムからの呼出処理
まず、図14乃至図25を用いて、拠点内に位置する利用者(作業者)から、遠隔地の管理者を呼び出す処理について説明する。図14は、実施形態に係る遠隔制御システムにおける拠点システムからの呼出処理の一例を示すシーケンス図である。なお、図14は、拠点A内に設置された通知ボタン20Aのいずれかが、利用者によって押下された場合の処理を説明するが、その他の拠点(例えば、拠点Bや拠点C)の利用者による管理者の呼び出し処理も同様の構成である。また、図14は、図2に示されているようなロボット10A−1と管理者端末50Aとの間で遠隔通信が行われる場合の例を説明するが、他のロボット10と管理者端末50との間で遠隔通信が行われる場合も同様の処理が行われる。
拠点Aに設置されたロボット10A−1は、情報処理サーバ70からの制御要求を受信するまで、待機状態となる(ステップS11)。具体的には、ロボット10A−1は、例えば、情報処理サーバ70からの制御要求を受信するまでの期間において、図3に示されているような充電ステーション150に移動し、電源供給ユニット105を介してバッテリの充電を行う。また、ロボット10A−1は、情報処理サーバ70からの制御要求を受信するまでの期間において、拠点A内を自律走行したり、予め記憶された所定の位置で停止していたりする。すなわち、ロボット10A−1は、制御要求を受信した場合に、要求される動作を開始できるような状態で待機する。
次に、拠点A内の利用者(作業者)は、例えば、作業中に何らかの異常の発生等により、遠隔地にいる管理者を呼び出したい場合、拠点A内に設置された通知ボタン20Aを押下する。この場合、利用者が通知ボタン20Aを押下すると、通知ボタン20Aの受付部22は、ボタンの選択を受け付ける(ステップS12)。位置情報取得部23は、ステップS12によってボタンの選択が受け付けられると、通知ボタン20Aの現在の位置情報を取得する(ステップS13)。なお、位置情報取得部23による位置情報の取得は、受付部22によってボタンの選択が受け付けられたタイミングで行う構成に限定されず、予め定められたタイミングで定期的に行われてもよい。そして、送受信部21は、情報処理サーバ70に対して、遠隔地にいる管理者を呼び出すための通知情報を送信する(ステップS14)。ここで、通知情報には、通知ボタン20AのボタンID、およびステップS13によって取得された位置情報が含まれている。これにより、情報処理サーバ70の送受信部71は、通知ボタン20Aから送信された通知情報を受信する。
次に、情報処理サーバ70は、ステップS14によって受信された通知情報に基づいて、制御対象とする拠点Aに位置するロボット10の検索処理を実行する(ステップS15)。ここで、図15を用いて、ロボット10の検索処理の詳細な構成を説明する。図15は、実施形態に係る情報処理サーバにおけるロボット検索処理の一例を示すフローチャートである。
まず、記憶・読出部79は、送受信部71によって受信された通知情報に含まれている位置情報を検索キーとして拠点情報管理DB7001(図10(A)参照)を検索することにより、対応する拠点IDを読み出す(ステップS151)。この場合、記憶・読出部79によって読み出される拠点IDは、拠点Aの拠点IDである「locatinA」である。また、記憶・読出部79は、ステップS151によって読み出された拠点IDを検索キーとして条件情報管理DB7003(図10(C)参照)を検索することにより、対応する条件情報を読み出す(ステップS152)。
次に、検索部73は、送受信部71によって受信された通知情報に含まれている位置情報を検索キーとして、位置情報管理DB7002(図10(B)参照)を検索することにより、選択された通知ボタン20Aと最も位置の近いロボット10を特定する(ステップS153)。具体的には、検索部73は、ステップS151によって読み出された拠点ID(この場合、拠点ID「locatinA」)に対応する位置情報管理テーブルに管理されているロボット10のうち、通知情報に含まれる位置情報と最も近い位置を示す位置情報に関連づけられた端末IDを抽出する。そして、検索部73は、抽出した端末IDによって識別されるロボット10を、選択された通知ボタン20Aと最も位置の近いロボット10を特定する。以下の説明において、検索部73は、端末ID「rA01」によって識別されるロボット10A−1を、選択された通知ボタン20Aと最も位置の近いロボット10を特定するものとして説明する。なお、検索部73は、通知ボタン20Aと最も位置の近いロボット10を特定するものとして説明するが、ロボット10から送信される撮影画像または予め記憶された拠点の情報等を用いて、通知ボタン20Aとの距離だけでなく、拠点内の障害物や移動ルート(例えば、直進ルートの方が好ましい)等の移動のしやすさを考慮して、ロボット10を特定してもよい。
次に、記憶・読出部79は、ステップS153によって特定されたロボット10A−1の端末IDを検索キーとして状態情報管理DB7004(図11(A)参照)を検索することにより、ロボット10A−1の状態情報を読み出す(ステップS154)。そして、判断部72は、ステップS154によって読み出されたロボット10A−1の状態情報が、ステップS152によって読み出された条件情報に示されている条件を満たすか否かを判断する(ステップS155)。ここで、図11(A)に示されているように、状態情報には、ロボット10の性能や現在の稼働状態等を示す情報が含まれている。ロボット10A−1は、例えば、バッテリ残量が80%、搭載された撮影装置12の種類が可動カメラであり、搭載されたアームの種類がロボットハンドである。ここで、状態情報は、各ロボット10から情報処理サーバ70に対して定期的に送信されることで、状態情報管理DB7004は、ロボット10のそれぞれの状態情報を管理している。なお、状態情報は、情報処理サーバ70からの取得要求に応じて、ロボット10から情報処理サーバ70へ送信される構成であってもよい。
ここで、判断部72は、ロボット10A−1の状態情報が、ステップS152によって読み出された条件情報に示されている条件を満たす場合(ステップS155のYES)、処理をステップS156へ移行させる。一方で、判断部72は、ロボット10A−1の状態情報が、ステップS152によって読み出された条件情報に示されている条件を満たさない場合(ステップS155のNO)、ステップS153からの処理を繰り返す。この場合、ステップS153において、検索部73は、ロボット10A−1以外のロボット10Aの中から、位置情報管理DB7002(図10(B)参照)を検索することにより、選択された通知ボタン20Aと最も位置の近いロボット10を特定する。
次に、判断部72は、ステップS153によって特定されたロボット10A−1が、送受信部71によって受信された通知情報を送信した通知ボタン20Aから所定の範囲内に存在するか否かを判断する(ステップS156)。具体的には、判断部72は、送受信部71によって受信された通知情報に含まれている位置情報と、ステップS153によって特定されたロボット10A−1の位置情報とが所定の範囲内であるかを判断する。ここで、所定の範囲とは、通知情報に含まれる位置情報とロボット10A−1の位置情報が略同一であるとみなされる範囲である。すなわち、ここでの判断基準となる所定の範囲は、通知ボタン20Aがロボット10A−1に搭載されているかを判断するためのものであり、位置情報を示すデータの種別や精度に応じて定められる。
判断部72は、ロボット10A−1が通知ボタン20Aから所定の範囲内に存在すると判断した場合(ステップS156のYES)、処理をステップS157へ移行させる。そして、生成部74は、ステップS153によって特定されたロボット10A−1に、通知情報を送信した通知ボタン20Aが搭載されていることを示すボタン搭載フラグを生成する(ステップS157)。一方で、判断部72は、ロボット10A−1が通知ボタン20Aから所定の範囲内に存在しないと判断した場合(ステップS156のNO)、処理を終了する。なお、生成部74は、ボタン搭載フラグとして通知ボタン20Aが搭載されているか否かを示す情報を生成してもよい、この場合、判断部72によってロボット10A−1が通知ボタン20Aから所定の範囲内に存在しないと判断された場合、生成部74は、通知ボタン20Aが搭載されていないことを示すボタン搭載フラグを生成する。
これにより、情報処理サーバ70は、拠点Aの利用者が管理者を呼び出すために選択した通知ボタン20Aの位置に基づいて、拠点Aに設置された複数のロボット10Aのうち、管理者が使用する管理者端末50との遠隔通信に用いるロボット10A−1を特定することができる。
図14に戻り、拠点Aの利用者からの管理者への呼出処理に説明を続ける。情報処理サーバ70の送受信部71は、制御対象のロボット10の動作開始を要求する制御要求を示す動作開始要求情報を、検索部73によって特定されたロボット10A−1へ送信する(ステップS16)。ここで、動作開始要求情報には、生成部74によって生成されたボタン搭載フラグ、およびステップS14によって受信された通知ボタン20Aの位置情報が含まれている。なお、動作開始要求情報は、情報処理サーバ70によってステップS157の処理が行われていない場合、ボタン搭載フラグを含まない構成であってもよいし、ボタン搭載フラグとして、通知ボタン20Aがロボット10A−1に搭載されていないことを示す情報を含んでいてもよい。これにより、ロボット10A−1の送受信部31は、情報処理サーバ70から送信された動作開始要求情報を受信する。
次に、ロボット10A−1の通信制御部35は、ステップS16によって動作開始要求情報が受信された場合、ロボット10A−1を通信待機状態にする(ステップS17)。ここで、通信待機状態とは、例えば、他の利用者または管理者からの制御要求を受け付けず、ステップS16によって受信された動作開始要求情報に対応する管理者との遠隔通信の予約状態になることを意味する。そして、ロボット10A−1は、ステップS16によって受信された動作開始要求情報に基づいて、ロボット10A−1の動作開始処理を実行する(ステップS18)。
ここで、図16を用いて、ロボット10A−1の動作開始処理の内容について説明する。図16は、実施形態に係るロボットにおける動作開始処理の一例を示すフローチャートである。まず、判断部34は、送受信部31によってボタン搭載フラグが受信されたか否かを判断する(ステップS181)。判断部34は、ボタン搭載フラグが受信された、すなわち動作開始要求情報にボタン搭載フラグが含まれていると判断した場合(ステップS181のYES)、処理をステップS182へ移行させる。この場合、ステップS12によって利用者により選択された通知ボタン20Aは、ロボット10A−1に搭載された通知ボタン20A(例えば、図2に示されている通知ボタン20−4)である。
次に、撮影画像取得部41は、ロボット10A−1の周囲の被写体が撮影された撮影画像を取得する(ステップS182)。具体的には、撮影指示部38は、撮影装置12に対する撮影指示を、撮影装置12に対して送信する。そして、撮影画像取得部41は、撮影指示部38からの撮影指示に基づいて、撮影装置12を用いて被写体が撮影された撮影画像を取得する。
次に、利用者特定部42は、撮影画像取得部41によって取得された撮影画像に含まれる利用者を特定する(ステップS183)。具体的には、利用者特定部42は、撮影画像に含まれる人物の顔の画像に対して、利用者情報管理DB3001(図8参照)に記憶されている各利用者の特徴量を用いた顔照合処理(顔認証処理)を行う。そして、利用者特定部42は、顔照合処理によって照合された特徴量を有する利用者を、撮影画像に含まれる利用者として特定する。なお、利用者特定部42による顔照合処理は、汎用的な技術を用いるため、詳細な説明は省略する。
次に、移動先設定部43は、利用者特定部42によって特定された利用者の位置を、ロボット10A−1の移動先として設定する(ステップS184)。そして、移動制御部44は、移動機構15を用いて、移動先設定部43によって設定された特定の移動先への移動を開始する(ステップS185)。この場合、ロボット10A−1は、利用者特定部42によって特定された利用者に追従して移動することになる。また、利用者特定部42によって特定される利用者は、ロボット10A−1に搭載された通知ボタン20A(図2に示されている通知ボタン20A−4)を押下した利用者である。
ロボット10A−1は、撮影装置12によって利用者を撮影しながら移動を開始し、撮影された利用者を上記顔照合処理と同様に認識することで、移動しながら移動先となる利用者の位置の特定を行う。そのため、ロボット10A−1は、利用者が管理者と遠隔通信を行いたい場所へ移動したとしても、通知ボタン20Aを押下した利用者の位置を移動先として、利用者に追従して移動することができる。また、通知ボタン20Aを押下した利用者は、ロボット10A−1を、管理者と遠隔通信を行いたい場所まで誘導することができる。
一方で、ステップS181において、判断部34は、ボタン搭載フラグが受信されていない、すなわち動作開始要求情報にボタン搭載フラグが含まれていないと判断した場合(ステップS181のNO)、処理をステップS186へ移行させる。この場合、ステップS12によって利用者により選択された通知ボタン20Aは、ロボット10A−1に搭載されておらず、ロボット10A−1とは離れた位置に設置された通知ボタン20A(例えば、図2に示されている通知ボタン20A−1,20A−2,20A−3)である。
撮影指示部38は、撮影装置12の撮影方向(向き)を、送受信部31によって受信された動作開始要求情報に含まれる通知ボタン20Aの位置情報に示される方向に設定する(ステップS186)。例えば、撮影装置12が可動カメラである場合、撮影指示部38は、通知ボタン20Aの位置情報に示される方向が可動カメラの撮影方向となるように、可動カメラを回転させる。また、図3に示されているような支持部材13が可動式である場合、撮影指示部38は、通知ボタン20Aの位置情報に示される方向が撮影装置12の撮影方向となるように、支持部材13を回転(回動)させる。以下の処理は、ステップS182以降と同様である。
この場合も、ロボット10A−1は、利用者特定部42によって特定された利用者に追従して移動することになる。利用者特定部42によって特定される利用者は、ロボット10A−1とは離れた位置に設置された通知ボタン20A(図2に示されている通知ボタン20A−4)を押下した利用者である。ロボット10A−1は、選択された通知ボタン20Aの位置(方向)を撮影することにより、利用者特定部42によって通知ボタン20Aを押下した利用者を特定する。そのため、ロボット10A−1は、ロボット10A−1から離れた位置に設置された通知ボタン20Aの近くにいる利用者の位置まで移動することができる。また、ロボット10A−1と離れた位置にいる利用者は、ロボット10A−1を、自らが位置する場所まで誘導することができる。
これにより、ロボット10A−1は、通知ボタン20Aを押下した利用者の位置を移動先として、移動を開始することができる。また、ロボット10A−1は、選択された通知ボタン20Aの設置位置に依らずに、ロボット10A−1の移動先として設定される、通知ボタン20Aを押下した利用者の位置を特定することができる。
なお、移動先設定部43によって設定される利用者の位置は、利用者の位置そのものではなく、ロボット10A−1が移動する際に拠点Aの人物や物体等の障害物に衝突しないよう、利用者を含む人物や物体等の障害物から所定の距離離れた位置である。また、ロボット10A−1は、ステップS182によって取得された撮影画像に障害物等が含まれている場合、動作(移動)を開始できないできないことを示す通知を、情報処理サーバ70へ送信してもよい。この場合、情報処理サーバ70は、ロボット10A−1以外のロボット10の中から、図15に示されているようなロボット検索処理を再度実行する。
図14に戻り、拠点Aの利用者からの管理者への呼出処理に説明を続ける。情報処理サーバ70の記憶・読出部79は、ステップS14によって受信された通知情報に含まれているボタンIDを検索キーとして管理者情報管理DB7005(図11(B)参照)を検索することにより、対応する管理者情報を読み出す(ステップS19)。ここで、管理者情報には、管理者ID、管理者名および管理者宛先情報が含まれている。次に、情報処理サーバ70の送受信部71は、ステップS19によって読み出された管理者宛先情報に対して、ステップS15によって決定されたロボット10A−1に対する通信要求を示す通信要求情報を送信する(ステップS20)。ここで、通信要求情報には、ステップS15によって決定されたロボット10A−1の端末ID、およびステップS14によって受信された通知ボタン20AのボタンIDが含まれている。これにより、ステップS19によって読み出された管理者宛先情報に示される宛先の管理者が使用する管理者端末50Aの送受信部51は、情報処理サーバ70から送信された通信要求情報を受信する。また、情報処理サーバ70の送受信部71は、ロボット10A−1に対して、ステップS19で読み出された管理者情報を送信する(ステップS21)。この管理者情報には、少なくとも管理者名の情報が含まれている。これにより、ロボット10A−1の送受信部31は、情報処理サーバ70から送信された管理者情報を受信する。
なお、ステップS16乃至ステップS18の処理と、ステップS19乃至ステップS21の処理の順序は前後してもよく、または並行して行われていてもよい。
そして、ロボット10Aと管理者端末50Aは、ステップS20によって送信された通信要求情報を取得した管理者がトリガーとなり、通信セッションの確立処理を実行する(ステップS22)。
ここで、図17乃至図19を用いて、ロボット10A−1と管理者端末50Aとの間における通信セッションの確立処理について説明する。図17は、実施形態に係るロボットと管理者端末との間でデータの送受信を開始する準備段階の処理の一例を示すシーケンス図である。ここでは、開始端末としての管理者端末50Aと、宛先端末としてのロボット10A−1との間で、データの送受信を開始する前の準備段階における各管理情報の送受信処理について説明する。
まず、管理者端末50Aの送受信部51は、通信ネットワーク9を介して、通信管理サーバ90へログイン要求情報を送信する(ステップS101)。具体的には、管理者端末50Aのユーザは、管理者端末50Aにおける電源スイッチをONにすると、電源がONになる。そして、管理者端末50Aの送受信部51は、上記電源ONを契機とし、送受信部51から通信ネットワーク9を介して、通信管理サーバ90へ、ログイン要求情報を送信する。これにより、通信管理サーバ90の送受信部91は、管理者端末50Aから送信されたログイン要求情報を受信する。
このログイン要求情報には、管理者端末50Aとしての開始端末を識別するための端末ID、およびパスワードが含まれている。これら端末IDおよびパスワードは、記憶・読出部59によって記憶部5000から読み出されて、送受信部51に送られたデータである。なお、これら端末IDおよびパスワードは、これに限るものではなく、ユーザがキーボード511等の入力手段によって入力した端末IDやパスワードが送信されてもよい。また、管理者端末50Aに接続されたSIM(Subscriber Identity Module Card)カードやSDカード等の記録媒体から読み出された端末IDやパスワードが送信されてもよい。
また、管理者端末50Aから通信管理サーバ90へログイン要求情報が送信される際は、受信側である通信管理サーバ90は、送信側である管理者端末50AのIPアドレスを取得することができる。なお、ログイン要求の開始は、必ずしも電源スイッチをONにすることを契機とする必要はなく、ユーザによるディスプレイ511等の入力手段への入力に応じて送信してもよい。
次に、通信管理サーバ90の認証部92は、送受信部91によって受信されたログイン要求情報に含まれている端末IDおよびパスワードを検索キーとして、記憶部9000の認証管理テーブル(図12(A)参照)を検索し、認証管理DB9001に同一の端末IDおよび同一のパスワードが管理されているかを判断することによって認証を行う(ステップS102)。以下、管理者端末50Aが認証部92によって正当な利用権限を有する端末であると判断された場合について説明する。
次に、記憶・読出部99は、認証部92によって同一の端末IDおよび同一のパスワードが管理されていることにより、正当な利用権限を有する開始端末からのログイン要求であると判断された場合、記憶部9000から宛先リスト枠データを読み出す(ステップS103)。
送受信部91は、認証部92によって得られた認証結果が示された認証結果情報を、通信ネットワーク9を介して、上記ログイン要求してきた管理者端末50Aへ送信する(ステップS104)。この認証結果情報には、ステップS103によって読み出された宛先リスト枠データが含まれている。これにより、管理者端末50Aの送受信部51は、認証結果情報を受信する。そして、管理者端末50Aの記憶・読出部59は、ステップS104によって受信された宛先リスト枠データを、記憶部5000に記憶させる(ステップS105)。
次に、送受信部51は、正当な利用権限を有する端末であると判断された認証結果が示された認証結果情報を受信した場合、通信ネットワーク9を介して通信管理サーバ90へ、宛先リストの内容を要求する宛先リスト内容要求情報を送信する(ステップS106)。この宛先リスト内容要求情報には、管理者端末50Aの端末IDが含まれている。これにより、通信管理サーバ90の送受信部91は、宛先リスト内容要求情報を受信する。
次に、通信管理サーバ90の記憶・読出部99は、ステップS106によって受信された管理者端末50の端末ID「o01」を検索キーとして宛先リスト管理DB9003(図13(A))を検索することにより、対応する全ての宛先候補の端末IDを読み出す(ステップS107)。さらに、記憶・読出部99は、ステップS107によって読み出された各端末IDを検索キーとして端末管理DB9002(図12(B)参照)を検索することにより、対応する宛先候補の端末名、稼動状態情報および拠点名を読み出す(ステップS108)。
次に、送受信部91は、通信ネットワーク9を介して管理者端末50Aへ、宛先リスト内容情報を送信する(ステップS109)。この宛先リスト内容情報には、ステップS107およびS108によって読み出された、宛先候補の端末ID、宛先候補の端末名、稼動状態情報および拠点名が含まれている。これにより、管理者端末50Aの送受信部51は、宛先リスト内容情報を受信する。
次に、管理者端末50Aの表示制御部53は、ステップS105によって記憶部5000に記憶された宛先リスト枠データ、およびステップS109によって受信された宛先リスト内容情報を用いて作成された宛先リスト画面900を、ディスプレイ511に表示させる(ステップS110)。図18は、実施形態に係る管理者端末に表示される宛先リスト画面の一例を示す図である。図18に示されている宛先リスト画面900には、宛先候補ごとに、宛先候補の端末(ロボット10)の稼動状態を示したアイコン、宛先候補の端末の端末ID、宛先候補の宛先名、および宛先候補の端末が位置する拠点名が表されている。なお、ステップS109によって受信された「端末名」は、図18に示されている宛先リスト画面900では、「宛先名」として表示される。
続いて、図19を用いて、管理者端末50における宛先候補の選択から画像データの送受信を開始するまでの処理を説明する。図19は、実施形態に係る宛先候補の選択から画像データの送受信を開始するまでの処理の一例を示すシーケンス図である。
まず、管理者端末50Aの受付部52は、ユーザから図18に示されている宛先リスト画面900の宛先候補(ここでは、ロボット10A−1)の選択を受け付ける(ステップS111)。そして、送受信部51は、通信管理サーバ90に対して、画像データ等の送受信を開始したい旨を示す開始要求情報を送信する(ステップS112)。この開始要求情報には、管理者端末50Aの端末ID、および宛先候補の端末の端末IDが含まれている。これにより、通信管理サーバ90の送受信部91は、開始要求情報を受信する。
次に、通信管理サーバ90の判断部93は、ステップS112によって受信された管理者端末50Aの端末IDがセッション管理テーブル(図13(B)参照)で管理されているか否かを判断する。ここでは、宛先候補の端末(ロボット10A−1)の端末IDが管理されていない場合について、以下説明を続ける。
作成部94は、宛先候補の端末の端末IDが管理されていない場合、新たにセッションIDを作成する(ステップS114)。そして、記憶・読出部99は、セッション管理テーブル(図13(B)参照)に、ステップS114によって作成されたセッションID、並びにステップS112によって受信された管理者端末50Aの端末IDおよび宛先候補の端末の端末IDを関連づけた新たなレコードを追加記憶する(ステップS115)。ここでは、図13(B)に示されているように、新たなレコードが追加されることで、セッションID「se3」、および端末ID「o01」,「rA01」が関連づけて管理される。
次に、送受信部91は、管理者端末50Aに対して、セッションの開始を要求するセッション開始要求情報を送信する(ステップS116)。このセッション開始要求情報には、ステップS114によって作成されたセッションIDが含まれている。これにより、管理者端末50Aの送受信部51は、セッション開始要求情報を受信する。
また、通信管理サーバ90の記憶・読出部99は、ステップS112によって受信された宛先候補の端末(ロボット10A−1)の端末IDを検索キーとして端末管理DB9002(図12(B)参照)を検索することにより、対応するIPアドレスを読み出す(ステップS117)。そして、送受信部91は、ステップS117によって読み出されたIPアドレスが示す宛先候補の端末(ロボット10A−1)に対して、セッションの開始を要求するセッション開始要求情報を送信する(ステップS118)。このセッション開始要求情報には、ステップS114によって作成されたセッションIDが含まれている。これにより、宛先端末(ロボット10A−1)の送受信部31は、セッション開始指示を受信する。
以上により、開始端末(管理者端末50A)および宛先端末(ロボット10A−1)は、それぞれ通信管理サーバ90と通信セッションを確立する(ステップS119−1,S119−2)。
そして、図14に示されているように、通信管理サーバ90の送受信部91は、情報処理サーバ70に対して、ロボット10A−1と管理者端末50Aの間の通信セッションが確立された旨を示すセッション確立通知を送信する(ステップS23)。これにより、情報処理サーバ70の送受信部71は、通信管理サーバ90から送信されたセッション確立通知を受信する。ロボット10A−1と管理者端末50Aは、図17乃至図19に示されている処理によって確立された通信セッションを用いて、通信管理サーバ90を介した遠隔通信を行う(ステップS24−1,S24−2)。これにより、遠隔制御システム1aは、拠点Aに設置されたロボット10A−1と、遠隔地に位置する管理者端末50との遠隔通信を開始することができる。そして、拠点Aの通知ボタン20Aを押下した利用者は、ロボット10A−1を用いて、通知ボタン20Aの押下をトリガーとして呼び出した遠隔地にいる管理者とのコミュニケーションをとることができる。
ここで、ロボット10A−1は、ステップS17およびステップS18の処理と、ステップS22およびステップS24−1の処理を並行して行ってもよい。ロボット10A−1は、ステップS17によって通信待機状態に移行後、通信管理サーバ90から送信されたセッション開始要求(図19のステップS118)が受信された場合、いつでも遠隔通信が開始できる状態にある。すなわち、ロボット10A−1は、例えば、移動先設定部43によって設定された移動先への移動中に、管理者端末50Aとの遠隔通信を開始することができる。この場合、通知ボタン20Aを押下した利用者は、遠隔の管理者に見せたい場所へ移動しながらも、管理者とのコミュニケーションをとることができる。
○ロボットの動作開始処理の別の例
ここで、図16に示されているロボット10A−1の動作開始処理の別の例について説明する。図20は、実施形態に係るロボットにおける動作開始処理の別の例を示すフローチャートである。図20に示されている処理は、判断部34によってボタン搭載フラグが受信されていないと判断(ステップS181のNO)された後の処理が、図16に示されている処理と異なる。すなわち、図20は、利用者によって押下された通知ボタン20Aがロボット10A−1に搭載されておらず、ロボット10A−1と離れた位置に設置されている場合の処理が、図16に示されている処理と異なる。以下、図16に示されている処理と異なる点のみを説明する。ステップS181において、判断部34は、送受信部31によってボタン搭載フラグが受信されていない、すなわち動作開始要求情報にボタン搭載フラグが含まれていないと判断した場合(ステップS181のNO)、処理をステップS186aへ移行させる。
ロボット10A−1の移動先設定部43は、送受信部31によって受信された動作開始要求情報に含まれる位置情報に示されている位置を、ロボット10A−1の移動先として設定する(ステップS186a)。そして、ロボット10A−1の移動制御部44は、移動機構15を用いて、移動先設定部43によって設定された特定の移動先への移動を開始する(ステップS185)。この場合、ロボット10A−1は、選択された通知ボタン20Aの位置に移動することになる。そのため、ロボット10A−1は、選択された通知ボタン20Aがロボット10A−1とは離れた位置に設置されている場合には、その選択された通知ボタン20Aの位置まで移動することができる。また、ロボット10A−1と離れた位置にいる利用者は、ロボット10A−1を、自らが押下した通知ボタン20Aの位置まで誘導することができる。
なお、移動先設定部43によって設定される位置は、通知ボタン20Aの位置そのものではなく、ロボット10A−1が移動する際に拠点Aの人物や物体等の障害物に衝突しないよう、人物や物体等の障害物から所定の距離離れた位置である。
これにより、ロボット10A−1は、選択された通知ボタン20Aの設置位置に応じて、ロボット10A−1の移動先を、通知ボタン20Aを押下した利用者の位置のみならず、選択された通知ボタン20Aの位置に設定することができる。なお、図16または図20に示されている通知ボタン20Aがロボット10A−1に搭載されていない場合の移動先の設定方法は、予めどちらの方法を実行するかが設定されている構成であってもよいし、例えば、図16に示されている処理によって利用者が特定できなかった場合に、図20に示されている処理を実行するような構成であってもよい。
○通信状態の通知
次に、図21乃至図23を用いて、ロボット10の通信状態を拠点内の利用者に通知する処理について説明する。図21は、実施形態に係るロボットにおける通信状態の通知処理の一例を示すフローチャートである。図21の処理は、図22(A)に示されているようなロボット10が待機中である状態から開始される。待機状態のロボット10は、図22(A)に示されているように、ランプ17が点灯しておらず、通知パネル18に「待機中」の表示がなされている。このようなランプ17および通知パネル18による通知は、通知パターン管理DB3009(図8(B)参照)に記憶されている「通知パターンC」に対応する。
ロボット10A−1は、ステップS17によって通信待機状態へ移行された場合(ステップS201のYES)、処理をステップS202へ移行させる。一方で、ロボット10A−1は、ステップS17で通信待機状態へ移行されるまでステップS201の処理を繰り返す(ステップS201のNO)。
次に、記憶・読出部39は、通知パターン管理DB3009(図8(B)参照)を検索することにより、通信状態が「通信待ち」に対応する通知パターン(この場合、通知パターンB)を読み出す(ステップS202)。そして、通信状態通知制御部49は、ステップS202で読み出された通知パターンに応じて、通信状態の通知を切り替える(ステップS203)。具体的には、図22(B)に示されているように、通信状態通知制御部49は、待機中の通知パターン(通知パターンC)とは異なる通知パターン(通知パターンB)に基づいて、ランプ17を点灯させる。また、通信状態通知制御部49は、通知パネル18に対して、「通信待ち」の情報を表示させる。通信状態通知制御部49は、通知パターンに応じたランプ17の点灯させる色または点滅の規則性、並びに通知パネル18に表示された情報等によって、利用者が通信状態を視覚的に把握できるように制御する。
次に、ロボット10A−1は、ステップS21で管理者情報が受信された場合(ステップS204のYES)、処理をステップS205へ移行させる。一方で、ロボット10A−1は、ステップS21で管理者情報が受信されるまでステップS204の処理を繰り返す(ステップS204のNO)。そして、通信状態通知制御部49は、図22(B)に示されているように、通知パネル18に対して、ステップS21で受信された管理者情報に含まれている管理者名を表示させる(ステップS205)。
次に、ロボット10A−1は、ステップS23で管理者端末50Aとの通信セッションが確立された場合(ステップS206のYES)、処理をステップS207へ移行させる。一方で、ロボット10A−1は、ステップS23で管理者端末50Aとの通信セッションが確立されるまでステップS206の処理を繰り返す(ステップS206のNO)。そして、通信状態通知制御部49は、通知パターン管理DB3009(図8(B)参照)を検索することにより読み出された、通信状態が「通信中」に対応する通知パターン(この場合、通知パターンA)に応じて、通信状態の通知を切り替える(ステップS207)。具体的には、図23に示されているように、通信状態通知制御部49は、ランプ17を、通信状態が「通信中」に対応する通知パターンに基づいて、ランプ17の点灯を切り替える。また、通信状態通知制御部49は、通知パネル18の表示を、「通信待ち」から「通信中」に切り替える。
このように、ロボット10A−1は、通信状態に応じて、ランプ17の色もしくは点滅の規則性(タイミング)、または通知パネル18に表示される情報を変更することで、拠点内の利用者にロボット10A−1の通信状態、または通信相手の情報を把握させることができる。拠点内の利用者は、例えば、通知された情報によって、ロボット10A−1が待機中であるのか、または通信待ちであるのかを把握することができるので、利用者自身が意図しない遠隔通信が突然始まることによる不快感または利便性の悪さを低減することができる。
なお、通信情報制御手段としてのランプ17および通知パネル18による通知は、少なくともいずれかで通知される構成であればよい。また、通知パネル18に表示される情報は、複数の通知パネルに分割させて表示させたり、その一部または全てをディスプレイ14に表示させたりする構成であってもよい。さらに、通信状態通知手段としては、ランプ17および通知パネル18に限られず、スピーカから発せられる音等によってロボット10の通信状態を通知する構成であってもよい。
○通信要求の取消
続いて、ロボット10と管理者端末50との間の遠隔通信を開始するための通信要求を取り消す処理について説明する。まず、図24を用いて、通信待ちの状態で所定の時間経過しても遠隔通信が開始されない場合、通信要求を取り消す処理について説明する。図24は、実施形態に係る情報処理サーバにおける通信要求の取消処理の一例を示すフローチャートである。
情報処理サーバ70の計測部75は、ステップS20で管理者端末50Aに対して通信要求情報を送信すると、タイマ716を用いて処理時間の計測を開始する(ステップS401)。この場合、処理時間の計測を開始するタイミングは、ステップS16における動作開始要求情報を送信したときであってもよいし、ステップS22におけるセッション確立処理が開始されたときであってもよい。
次に、計測部75は、ステップS401における計測開始から予め定められた所定時間経過した場合(ステップS402のYES)、処理をステップS403へ移行させる。そして、送受信部71は、ロボット10A−1および管理者端末50Aに対して、通信要求の取り消す旨を示す取消情報を送信する(ステップS403)。
一方で、計測部75は、ステップS401における計測開始から予め定められた所定時間経過していない場合(ステップS402のNO)、処理をステップS404へ移行させる。情報処理サーバ70は、ステップS23でセッション確立通知が受信された場合(ステップS404のYES)、所定時間内に通信セッションが確立されたため、処理を終了し、ロボット10A−1と管理者端末50Aの遠隔通信が開始される。一方で、情報処理サーバ70は、ステップS23でセッション確立通知が受信されない場合(ステップS404のNO)、ステップS402からの処理を繰り返す。
また、図25を用いて、拠点内の利用者からの要求に応じて通信要求を取り消す処理について説明する。図25は、実施形態に係る遠隔制御システムにおける通信要求の取消処理の一例を示すシーケンス図である。なお、図25の処理において、ロボット10A−1は、ステップS17で移行された通信待機状態であるものとして説明する。
まず、拠点A内の利用者が拠点A内に設置された通知ボタン20Aを押下すると、通知ボタン20Aの受付部22は、ボタンの選択を受け付ける(ステップS451)。この場合の通知ボタン20Aは、ステップS12で選択されたボタンと同じものであってもよいし、通信要求の取り消しを行うための専用のボタンであってもよい。位置情報取得部23は、ステップS451でボタンの選択が受け付けられると、通知ボタン20Aの現在の位置情報を取得する(ステップS452)。なお、位置情報取得部23による位置情報の取得は、受付部22によってボタンの選択が受け付けられたタイミングで行う構成に限定されず、予め定められたタイミングで定期的に行われてもよい。そして、送受信部21は、情報処理サーバ70に対して、遠隔通信の取り消しを要求する旨を示す取消要求情報を送信する(ステップS453)。ここで、取消要求情報には、通知ボタン20AのボタンID、およびステップS452によって取得された位置情報が含まれている。これにより、情報処理サーバ70の送受信部71は、通知ボタン20Aから送信された取消要求情報を受信する。
次に、情報処理サーバ70の記憶・読出部79は、ステップS453で受信された取消要求情報に含まれているボタンIDを検索キーとして管理者情報管理DB7005(図11(B)参照)を検索することにより、対応する管理者情報を読み出す(ステップS454)。ここで、管理者情報には、管理者ID、管理者名および管理者宛先情報が含まれている。次に、情報処理サーバ70の送受信部71は、ステップS454で読み出された管理者宛先情報に対して、ステップS15で決定されたロボット10A−1に対する通信要求を取り消す旨を示す取消情報を送信する(ステップS455)。この取消情報には、ステップS15で決定されたロボット10A−1の端末ID、およびステップS454で受信された通知ボタン20AのボタンIDが含まれている。これにより、ステップS454によって読み出された管理者宛先情報に示される宛先の管理者が使用する管理者端末50Aの送受信部51は、情報処理サーバ70から送信された取消情報を受信し、ロボット10A−1との遠隔通信を開始する処理を中止する。
このように、遠隔制御システム1aは、所定時間経過してもロボット10A−1と管理者端末50Aとの遠隔通信が開始されない場合や拠点内の利用者からの要求に応じて、一度開始された遠隔通信を開始する処理を取り消すことができる。これにより、拠点内の利用者は、管理者の呼び出しを行ったにもかかわらずに管理者からの応答がない場合や管理者の呼出を行った後に呼出が不要になった場合に、簡便な方法で処理を取り消すことができるので、利便性を向上させることができる。
●遠隔通信の終了処理
続いて、図26および図27を用いて、管理者端末50とロボット10との間の遠隔通信を終了する際の処理について説明する。図26は、実施形態に係るロボットと管理者端末との遠隔通信を終了する際の処理の一例を示すシーケンス図である。なお、図26に示されている処理は、図17乃至図19に示されている処理によって確立された通信セッションを用いて、管理者端末50Aとロボット10A−1が遠隔通信を行っていた場合の処理である。
まず、ロボット10A−1の送受信部31は、情報処理サーバ70に対して、管理者端末50Aとの遠隔通信を終了したことを示す通信終了情報を送信する(ステップS31)。ここで、ロボット10A−1から送信される通信終了情報には、撮影画像取得部41によって取得された撮影画像に係る撮影画像データ、およびステップS12によって通知ボタン20を選択した利用者を識別するための利用者IDが含まれている。
また、管理者端末50Aの送受信部51は、情報処理サーバ70に対して、ロボット10A−1との遠隔通信が終了したことを示す通信終了情報を送信する(ステップS32)。ここで、管理者端末50Aから送信される通信終了情報には、管理者端末50Aを使用して遠隔通信を行った管理者を識別するための管理者IDが含まれている。これにより、情報処理サーバ70の送受信部71は、管理者端末50Aから送信された通信終了情報を受信する。なお、ステップS31とステップS32の処理の順序は前後してもよい、または並行して行われてもよい。
そして、情報処理サーバ70の生成部74は、ステップS31およびステップS32によって受信された通信終了情報を用いて、拠点Aの利用者から遠隔地の管理者への通知履歴を示す通知履歴情報を生成する(ステップS33)。そして、記憶・読出部79は、ステップS33によって生成された通知履歴情報を、通知履歴管理DB7006(図11(C)参照)に記憶させる(ステップS34)。具体的には、記憶・読出部79は、生成部74によって生成された通知履歴情報を、通知履歴管理テーブルに示される保存先のリンクへ記憶させる。
ここで、通知履歴管理DB7006に記憶されて管理されている通知履歴情報の一例を説明する。図27は、実施形態に係る通知履歴情報の一例を示す図である。図27には、通知履歴管理DB7006に記憶されている通知履歴情報が、ロボット10のディスプレイ14または管理者端末50のディスプレイ511に表示された通知履歴表示画面600の一例が示されている。図27に示されている通知履歴表示画面600には、通知履歴データを表示させるための通知履歴データ表示領域611、ロボット10A−1の撮影装置12によって拠点A内が撮影された拠点画像613、ロボット10A−1と管理者端末50Aとの間で行われた遠隔通信に関する情報を示すテキスト表示領域615が含まれている。
このうち、通知履歴データ表示領域611には、通知履歴管理DB7006に記憶された通知履歴データによって特定される作業者名(利用者名)、拠点名、ボタン名(選択された通知ボタン20Aの名称)、管理者名、および通信時間の情報が示されている。また、テキスト表示領域615には、遠隔通信における対話の内容や、管理者端末50またはロボット10A−1が備える入力手段を用いて入力されたメモ等がテキスト形式で示されている。なお、通知履歴表示画面600には、管理者端末50のCMOSセンサ505aによって管理者が撮影された撮影画像が含まれていてもよい。
これにより、遠隔制御システム1aは、情報処理サーバ70に通知履歴情報を管理することで、実行された遠隔通信が、誰から誰への呼び出しであり、どのような内容であったのかと記憶しておくことができる。そのため、拠点の利用者または管理者は、通知履歴情報に示されている内容を、その後に拠点内で発生した事象または発生する可能性のため事象に対する改善材料にすることができる。なお、通知履歴情報が情報処理サーバ70に記憶されて管理されている例を説明したが、通知履歴情報は、ロボット10または管理者端末50に記憶されている構成であってもよい。
○遠隔通信の終了時の処理
続いて、図28を用いて、遠隔通信の終了時のロボット10の移動処理について説明する。図28は、実施形態に係るロボットにおける遠隔通信の終了時の処理の一例を示すフローチャートである。
まず、ロボット10A−1は、上述の管理者端末50Aとの遠隔通信が終了した場合、(ステップS301のYES)、処理をステップS302へ移行させる。一方で、ロボット10A−1は、管理者端末50Aとの遠隔通信中の場合(ステップS301のNO)、ステップS301の処理を繰り返し、管理者端末50Aとの遠隔通信を継続する。
次に、移動先設定部43は、予め設定された基準位置をロボット10A−1の移動先として設定する(ステップS302)。ここで、基準位置は、図3に示されているような受電ステーションの設置位置、またはステップS185における移動開始前のロボット10A−1の位置等である。そして、移動制御部44は、移動機構15を用いて、移動先設定部43によって設定された移動先への移動を開始する(ステップS303)。
このように、ロボット10は、遠隔通信が終了した場合、予め設定された基準位置への移動を開始し、自動的に利用者から離れていくことで、遠隔通信が終わった後もロボット10が近くにいることによる利用者の不快感を低減させることができる。
以上説明したように、実施形態に係る遠隔制御システム1aは、拠点内の利用者が通知ボタン20を押下したことをトリガーとして、拠点内の利用者から遠隔地にいる管理者を呼び出して遠隔通信を行うことができる。また、遠隔制御システム1aは、拠点内に設置されたロボット10A−1を、選択された通知ボタン20Aの位置情報に基づいて設定される特定の移動先へ移動させることで、拠点内の利用者が遠隔通信を行いたい位置で管理者とのコミュニケーションをとることができる。
●実施形態の変形例●
次に、図29および図30を用いて、実施形態の変形例に係る遠隔制御システムついて説明する。なお、上記実施形態と同一構成および同一機能は、同一の符号を付して、その説明を省略する。実施形態の変形例に係る遠隔制御システム1bは、拠点内に設置された複数のロボットのうち、上記実施形態で示されているような情報処理サーバ70の機能を有するロボット10(以下、サーバ機能を有するロボットと称する)を備えたシステムである。以下の説明において、サーバ機能を有するロボット10をロボット10a(制御装置30a)とし、サーバ機能を有さないその他のロボット10をロボット10b(制御装置30b)として説明する。ロボット10b(制御装置30b)は、上記実施形態で説明したロボット10(制御装置30)と同様の構成である。制御装置30aは、情報処理装置の一例である。
●機能構成
図29は、実施形態の変形例に係る遠隔制御システムの機能構成の一例を示す図である。なお、サーバ機能を有するロボット10a(制御装置30a)以外の装置または端末の機能は、図7に示されているような機能と同様であるため、説明を省略する。
ロボット10aの処理または動作を制御する制御装置30aは、送受信部31a、受付部32a、表示制御部33a、判断部34a、通信制御部35a、状態情報取得部36a、位置情報取得部37a、撮影指示部38a、撮影画像取得部41a、利用者特定部42a、移動先設定部43a、移動制御部44a、アーム操作制御部45a、通信状態通知制御部49aおよび記憶・読出部39を有している。これらは、それぞれロボット10(ロボット10b)における送受信部31、受付部32、表示制御部33、判断部34、通信制御部35、状態情報取得部36、位置情報取得部37、撮影指示部38、撮影画像取得部41、利用者特定部42、移動先設定部43、移動制御部44、アーム操作制御部45、通信状態通知制御部49および記憶・読出部39と同様の構成である。さらに、制御装置30aは、上記構成に加えて、検索部46a、生成部47aおよび計測部48aを有している、検索部46a、生成部47aおよび計測部48aは、それぞれ情報処理サーバ70における検索部73、生成部74および計測部75と同様の構成である。ここで、送受信部31aは、通知情報受信手段の一例である。また、送受信部31aは、出力手段の一例である。さらに、送受信部31aは、通信要求送信手段の一例である。また、検索部46aは、決定手段の一例である。
また、記憶部3000aには、ロボット10(ロボット10b)の記憶部3000の構成に加えて、拠点情報管理DB3002、位置情報管理DB3003、条件情報管理DB3004、状態情報管理DB3005、管理者情報管理DB3006および通知履歴管理DB3007が構築されている。これらは、それぞれ情報処理サーバ70における拠点情報管理DB7001、位置情報管理DB3003、条件情報管理DB7003、状態情報管理DB7004、管理者情報管理DB7005および通知履歴管理DB7006と同様の構成である。記憶部3000aは、記憶手段の一例である。
●実施形態の変形例の処理または動作
続いて、図30を用いて、実施形態の変形例に係る遠隔制御システム1bの動作または処理について説明する。図30は、実施形態の変形例に係る遠隔制御システムにおける拠点システムからの呼出処理の一例を示すシーケンス図である。なお、図30において、ロボット10aA−5が備える制御装置30aA−5によって実行される処理は、ロボット10aA−5によって実行される処理として説明する。また、ロボット10bA−1が備える制御装置30bA−1によって実行される処理は、ロボット10bA−1によって実行される処理として説明する。
拠点Aに設置されたロボット10bA−1およびロボット10aA−5は、情報処理サーバ70からの制御要求を受信するまで、待機状態となる(ステップS51−1,S51−2)。この処理は、図14に示されているステップS11の処理と同様である。
次に、拠点A内に位置する利用者(作業者)は、例えば、作業中に何らかの異常の発生等により、遠隔地にいる管理者を呼び出したい場合、拠点A内に設置された通知ボタン20Aを押下する。この場合、利用者が通知ボタン20Aを押下すると、通知ボタン20Aの受付部22は、ボタンの選択を受け付ける(ステップS52)。位置情報取得部23は、ステップS52によってボタンの選択が受け付けられると、通知ボタン20Aの現在の位置情報を取得する(ステップS53)。そして、送受信部21は、サーバ機能を有するロボット10aA−5に対して、遠隔地にいる管理者を呼び出すための通知情報を送信する(ステップS54)。ここで、通知情報には、通知ボタン20AのボタンID、およびステップS53によって取得された位置情報が含まれている。これにより、ロボット10aA−5の送受信部31aは、通知ボタン20Aから送信された通知情報を受信する。
次に、ロボット10aA−5は、ステップS54によって受信された通知情報に基づいて、制御対象とする拠点Aに位置するロボット10の検索処理を実行する(ステップS55)。ロボット10aA−5におけるロボット10の検索処理は、図15に示されているような情報処理サーバ70における処理と同様であるため、説明を省略する。この場合、ロボット10aA−5は、ロボット10bA−1を制御対象として特定したものとして説明する。
次に、ロボット10aA−5の送受信部31aは、制御対象のロボット10の動作開始を要求する制御要求を示す動作開始要求情報を、検索部46によって特定されたロボット10bA−1へ送信する(ステップS56)。ここで、動作開始要求情報には、生成部47によって生成されたボタン搭載フラグ、およびステップS54によって受信された通知ボタン20Aの位置情報が含まれている。なお、ロボット10aA−5によってステップS157の処理が行われていない場合、動作開始要求情報は、ボタン搭載フラグを含まない。これにより、ロボット10bA−1の送受信部31は、ロボット10aA−5から送信された動作開始要求情報を受信する。
次に、ロボット10bA−1の通信制御部35は、ステップS56によって動作開始要求情報が受信された場合、ロボット10bA−1を通信待機状態にする(ステップS57)。ここで、通信待機状態とは、例えば、他の利用者または管理者からの制御要求を受け付けず、ステップS56によって受信された動作開始要求情報に対応する管理者との遠隔通信の予約状態になることを意味する。そして、ロボット10bA−1は、ステップS56によって受信された動作開始要求情報に基づいて、ロボット10bA−1の動作開始処理を実行する(ステップS58)。ロボット10bA−1における動作開始処理は、図16または図20に示されているような処理と同様であるため、説明を省略する。ロボット10bA−1は、図16または図20に示されているような処理を実行することによって、移動先設定部43aによって特定された移動先への移動を開始する。
さらに、ロボット10aA−5の記憶・読出部39aは、ステップS54によって受信された通知情報に含まれているボタンIDを検索キーとして管理者情報管理DB3006を検索することにより、対応する管理者情報を読み出す(ステップS59)。ここで、管理者情報には、管理者ID、管理者名および管理者宛先情報が含まれている。次に、ロボット10aA−5の送受信部31aは、ステップS59によって読み出された管理者宛先情報に対して、ステップS55によって決定されたロボット10bA−1に対する通信要求を示す通信要求情報を送信する(ステップS60)。ここで、通信要求情報には、ステップS55によって決定されたロボット10bA−1の端末ID、およびステップS54によって受信された通知ボタン20AのボタンIDが含まれている。これにより、ステップS59によって読み出された管理者宛先情報に示される宛先の管理者が使用する管理者端末50Aの送受信部51は、ロボット10aA−5から送信された通信要求情報を受信する。また、ロボット10aA−5の送受信部31aは、ロボット10bA−1に対して、ステップS59で読み出された管理者情報を送信する(ステップS61)。この管理者情報には、少なくとも管理者名の情報が含まれている。これにより、ロボット10bA−1の送受信部31は、ロボット10aA−5から送信された管理者情報を受信する。なお、ステップS56乃至ステップS58の処理と、ステップS59乃至ステップS61の処理の順序は前後してもよく、または並行して行われていてもよい。
そして、ロボット10bA−1と管理者端末50Aは、ステップS60によって送信された通信要求情報を取得した管理者がトリガーとなり、図17乃至図19に示されているような通信セッションの確立処理を実行する(ステップS62)。通信管理サーバ90の送受信部91は、ロボット10aA−5に対して、ロボット10bA−1と管理者端末50Aの間の通信セッションが確立された旨を示すセッション確立通知を送信する(ステップS63)。これにより、ロボット10aA−5の送受信部31aは、通信管理サーバ90から送信されたセッション確立通知を受信する。そして、ロボット10bA−1と管理者端末50Aは、ステップS62の処理によって確立された通信セッションを用いて、通信管理サーバ90を介した遠隔通信を行う(ステップS64−1,S64−2)。これにより、遠隔制御システム1bは、上記実施形態で説明した遠隔制御システム1aの場合と同様に、拠点Aに設置されたロボット10bA−1と、遠隔地に位置する管理者端末50Aとの遠隔通信を開始することができる。
このように、実施形態の変形例に係る遠隔制御システム1bは、拠点システム2にサーバ機能を備えるロボット10aを備える構成の場合であっても、拠点内の利用者が通知ボタン20を押下したことをトリガーとして、拠点内の利用者から遠隔地にいる管理者を呼び出して遠隔通信を行うことができる。なお、上述の実施形態で説明した情報処理サーバ70のその他の処理は、ロボット10aが同様の処理を行うことで実行される。すなわち、実施形態の変形例に係る遠隔制御システム1bにおいても、図21乃至図28に示されている処理を行うことができる。
●まとめ●
以上説明したように、本発明の一実施形態に係る情報処理装置は、所定の拠点内(例えば、拠点A内)に設置されたテレプレゼンスロボット(例えば、ロボット10A)の動作を制御する情報処理装置(例えば、情報処理サーバ70または制御装置30a)である。情報処理装置は、拠点内に設置された利用者からの操作を受け付ける通知ボタン20(操作手段の一例)から、通知ボタン20の位置情報を含む通知情報を受信し、受信された通知情報に含まれる位置情報と、テレプレゼンスロボットの位置情報とに基づいて決定された特定のテレプレゼンスロボット(例えば、ロボット10A−1)に対して、特定の移動先への動作開始要求を出力し、特定のテレプレゼンスロボットに対する通信要求を、テレプレゼンスロボットと遠隔通信を行う管理者端末50(例えば、管理者端末50A)へ送信する。そして、情報処理装置は、特定の移動先への特定のテレプレゼンスロボットの移動を開始させるとともに、管理者端末50と特定のテレプレゼンスロボットとの遠隔通信を開始させる。これにより、情報処理装置は、通知ボタン20Aの位置に応じて決定される特定のテレプレゼンスロボットと管理者端末50との遠隔通信を開始させることができる。また、情報処理装置は、特定のテレプレゼンスロボットを特定の移動先へ移動を開始させることで、利用者が遠隔通信を行いたい場所へテレプレゼンスロボットを移動させるができる。そのため、情報処理装置は、テレプレゼンスロボットを用いた遠隔通信の利便性を向上させることができる。
また、本発明の一実施形態に係る情報処理装置(例えば、情報処理サーバ70または制御装置30a)は、受信された通知情報に含まれる位置情報と、複数のテレプレゼンスロボット(例えば、ロボット10A)の位置情報とに基づいて、通知ボタン20A(操作手段の一例)に最も近い特定のテレプレゼンスロボット(例えば、ロボット10A−1)を決定し、決定された特定のテレプレゼンスロボットのバッテリ残量が所定値以上の場合、当該特定のテレプレゼンスロボットに対して、特定の移動先への動作開始要求を出力する。これにより、情報処理装置は、拠点内に設置されたテレプレゼンスロボットのうち、選択された通知ボタン20Aの位置やテレプレゼンスロボットの状態に応じて、適切なテレプレゼンスロボットに対して動作開始を要求することができる。
さらに、本発明の一実施形態に係るテレプレゼンスロボットは、情報処理装置(例えば、情報処理サーバ70または制御装置30a)からの要求に応じて動作を開始するテレプレゼンスロボット(例えば、ロボット10,10b)である。テレプレゼンスロボットは、特定の移動先への動作開始要求を、情報処理装置から取得し、取得された動作開始要求に示される特定の移動先への移動を開始し、移動が開始された場合、管理者端末50からの要求に応じて、当該管理者端末50との遠隔通信を開始する。これにより、テレプレゼンスロボットは、拠点にいる利用者からの呼び出しをトリガーとして送信される動作開始要求に基づいて、移動を開始するとともに、管理者端末50との遠隔通信を開始することができる。そのため、テレプレゼンスロボットは、遠隔地にいる管理者との遠隔通信の利便性を向上させることができる。
また、本発明の一実施形態に係るテレプレゼンスロボット(例えば、ロボット10,10b)は、特定の移動先への動作開始要求が取得された場合、通知ボタン20(操作手段の一例)に対する操作を行った利用者を撮影し、通知ボタン20がテレプレゼンスロボットに搭載されている場合、撮影された利用者の位置を特定の移動先として設定する。そして、テレプレゼンスロボットは、設定された特定の移動先への移動を開始する。これにより、テレプレゼンスロボットは、利用者が管理者と遠隔通信を行いたい場所へ移動したとしても、通知ボタン20を押下した利用者の位置を移動先として、利用者に追従して移動することができる。また、通知ボタン20を押下した利用者は、テレプレゼンスロボットを、管理者と遠隔通信を行いたい場所まで誘導することができる。
さらに、本発明の一実施形態に係るテレプレゼンスロボット(例えば、ロボット10,10b)は、特定の移動先への動作開始要求が取得され、通知ボタン20(操作手段の一例)がテレプレゼンスロボットに搭載されていない場合、通知ボタン20の位置を、特定の移動先として設定する。そして、テレプレゼンスロボットは、設定された特定の移動先への移動を開始する。これにより、テレプレゼンスロボットは、通知ボタン20が離れた位置に設置されている場合に、通知ボタン20の位置まで移動することができる。また、テレプレゼンスロボットと離れた位置にいる利用者は、テレプレゼンスロボットを、自らが押下した通知ボタン20の位置まで誘導することができる。
また、本発明の一実施形態に係るテレプレゼンスロボット(例えば、ロボット10,10b)において、取得された動作開始要求は、通知ボタン20(操作手段の一例)がテレプレゼンスロボットに搭載されているか否かを示すボタン搭載フラグ(搭載可否情報の一例)を含む。そして、テレプレゼンスロボットは、取得されたボタン搭載フラグが、通知ボタン20がテレプレゼンスロボットに搭載されていることを示す場合、撮影された利用者の位置を特定の移動先として設定し、取得されたボタン搭載フラグが、通知ボタン20がテレプレゼンスロボットに搭載されていないことを示す場合、通知ボタン20の位置を特定の移動先として設定する。これにより、テレプレゼンスロボットは、情報処理装置(例えば、情報処理サーバ70または制御装置30a)から出力されるボタン搭載フラグに応じて移動先を設定することができるので、選択された通知ボタン20の設置位置に応じて、異なる移動先への移動を開始することができる。
さらに、本発明の一実施形態に係る遠隔制御システムは、情報処理装置(例えば、情報処理サーバ70または制御装置30a)、および情報処理装置からの要求に応じて動作を開始するテレプレゼンスロボット(例えば、ロボット10,10b)を備える拠点制御システム3と、管理者端末50とを備える遠隔制御システム1a,1bである。管理者端末50は、情報処理装置から通信要求を受信し、受信された通信要求に応じて、特定のテレプレゼンスロボット(例えば、ロボット10A−1)との遠隔通信を開始する。これにより、遠隔制御システム1a,1bは、拠点内に設置された通知ボタン20Aの選択をトリガーとして、テレプレゼンスロボットと遠隔地に位置する管理者端末50との遠隔通信を開始することができる。
また、本発明の一実施形態に係る遠隔制御システム1a,1bは、通知ボタン20(操作手段の一例)に対する操作を行った利用者と管理者端末50を使用する管理者の情報を含む、特定のテレプレゼンスロボット(例えば、ロボット10A−1)と管理者端末50(例えば、管理者端末50A)との通信履歴を示す通信履歴情報を記憶する記憶手段(例えば、記憶部7000)を備える。これにより、遠隔制御システム1a,1bは、実行された遠隔通信が、誰から誰への呼び出しであり、どのような内容であったのかと記憶しておくことができる。そのため、拠点の利用者または管理者は、通知履歴情報に示されている内容を、その後に拠点内で発生した事象または発生する可能性のため事象に対する改善材料にすることができる。
●補足●
これまで本発明の一実施形態に係る情報処理装置、テレプレゼンスロボット、拠点制御システム、遠隔制御システム、情報処理方法およびプログラムについて説明してきたが、本発明は上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
また、上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU(Graphics Processing Unit)および従来の回路モジュール等のデバイスを含むものとする
さらに、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり,コンピュータが,データ識別等の判断に必要なアルゴリズムを,事前に取り込まれる学習データから自律的に生成し,新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。