JP2021022331A - 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム - Google Patents

情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2021022331A
JP2021022331A JP2019140163A JP2019140163A JP2021022331A JP 2021022331 A JP2021022331 A JP 2021022331A JP 2019140163 A JP2019140163 A JP 2019140163A JP 2019140163 A JP2019140163 A JP 2019140163A JP 2021022331 A JP2021022331 A JP 2021022331A
Authority
JP
Japan
Prior art keywords
robot
information
unit
weight
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019140163A
Other languages
English (en)
Inventor
大塚 愛子
Aiko Otsuka
愛子 大塚
谷内田 益義
Masuyoshi Yanaida
益義 谷内田
余平 哲也
Tetsuya Yohira
哲也 余平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019140163A priority Critical patent/JP2021022331A/ja
Publication of JP2021022331A publication Critical patent/JP2021022331A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】拠点内を移動するロボットの状態変化を迅速に利用者に通知することを目的とする。【解決手段】所定の拠点内を移動するロボット10(移動体の一例)を制御する情報処理装置(例えば、制御装置30または情報処理サーバ70)であって、ロボット10の重量を示す状態情報を取得し、取得された状態情報に示される重量が変化した場合、ロボット10の移動経路を示す経路情報(例えば、経路図)と、重量の変化に起因する対象物の情報とを含む通知情報800を生成し、生成された通知情報800を出力する。【選択図】図21

Description

本発明は、情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラムに関する。
工場や倉庫等の拠点に設置され、拠点内を自律的に移動可能なロボットが知られている(例えば、特許文献1)。このようなロボットは、例えば、サービスロボットや産業ロボットとして用いられ、作業者の代わりに拠点内での作業を行うことができる。
また、このようなロボットは、遠隔地にいる管理者によって管理されている。管理者は、ロボットの稼働状態を遠隔で管理したり、ロボットから送られてくる拠点内の画像を見ながらロボットの遠隔操作を行ったりする。
しかしながら、従来の方法では、拠点内を移動するロボットや周囲の環境に不具合が発生した場合、不具合の発生や発生した不具合の原因となる情報を、利用者に迅速に通知することができないという課題があった。
上述した課題を解決すべく、請求項1に係る発明は、所定の拠点内を移動する移動体を制御する情報処理装置であって、前記移動体の重量を示す状態情報を取得する状態情報取得手段と、取得された前記状態情報に示される重量が変化した場合、前記移動体の移動経路を示す経路情報と、前記重量の変化に起因する対象物の情報とを含む通知情報を生成する生成手段と、生成された前記通知情報を出力する出力手段と、を備える情報処理装置である。
本発明によれば、拠点内を移動するロボットの状態変化を迅速に利用者に通知することができるという効果を奏する。
実施形態に係る遠隔制御システムのシステム構成の一例を示す図である。 実施形態に係る遠隔制御システムの概略の一例を説明するための図である。 実施形態に係るロボットの構成の概略の一例を示す図である。 実施形態に係るロボットのハードウエア構成の一例を示す図である。 実施形態に係る管理者端末のハードウエア構成の一例を示す図である。 実施形態に係る通信管理サーバのハードウエア構成の一例を示す図である。 実施形態に係る遠隔制御システムの機能構成の一例を示す図である。 (A)は実施形態に係る初期状態管理テーブルの一例を示す概念図、(B)は実施形態に係る移動履歴管理テーブルの一例を示す概念図である。 (A)は実施形態に係る対象物管理テーブルの一例を示す概念図、(B)は実施形態に係る管理者情報管理テーブルの一例を示す概念図である。 (A)は実施形態に係る認証管理テーブルの一例を示す概念図、(B)は実施形態に係る端末管理テーブルの一例を示す概念図である。 (A)は実施形態に係る宛先リスト管理テーブルの一例を示す概念図、(B)は実施形態に係るセッション管理テーブルの一例を示す概念図である。 実施形態に係る遠隔制御システムにおけるロボットと管理者端末との間でデータの送受信を開始する準備段階の処理の一例を示すシーケンス図である。 実施形態に係る管理者端末に表示される宛先リスト画面の一例を示す図である。 実施形態に係る遠隔制御システムにおける宛先候補の選択からデータの送受信を開始するまでの処理の一例を示すシーケンス図である。 実施形態に係る遠隔制御システムにおけるロボットの遠隔制御処理の一例を示すシーケンス図である。 実施形態に係る管理者端末に表示される表示画面の一例を示す図である。 実施形態に係るロボットにおける移動時の処理の一例を示すフローチャートである。 実施形態に係る遠隔制御システムにおけるロボットの状態の通知処理の一例を示すシーケンス図である。 実施形態に係るロボットにおける重量測定処理の一例を示すフローチャートである。 実施形態に係るロボットにおける状態分析処理の一例を示すフローチャートである。 実施形態に係る通知情報の一例を示す図である。 実施形態の変形例に係る遠隔制御システムのシステム構成の一例を示す図である。 実施形態の変形例に係る遠隔制御システムの機能構成の一例を示す図である。 実施形態の変形例に係る管理者情報管理テーブルの一例を示す概念図である。 実施形態の変形例に係る遠隔制御システムにおけるロボットの状態の通知処理の一例を示すシーケンス図である。 実施形態の変形例に係る情報処理サーバにおけるロボットの状態分析処理の一例を示すフローチャートである。
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
●システム構成●
図1は、実施形態に係る遠隔制御システムのシステム構成の一例を示す図である。図1に示す遠隔制御システム1aは、各拠点に位置するロボット10と遠隔地の管理者が使用する管理者端末50との間で遠隔通信を行うことによって、拠点内の装置の管理もしくは保守作業等、または拠点内に位置する人の位置もしくは動線の確認等を行うことができるシステムである。
遠隔制御システム1aは、複数の拠点(拠点A、拠点B、拠点C)のそれぞれに位置するロボット10(10A,10B,10C、以下区別する必要のないときは、ロボット10と称する。)、管理者端末50および通信管理サーバ90によって構成される。ロボット10、管理者端末50および通信管理サーバ90は、通信ネットワーク9を介して通信可能に接続されている。通信ネットワーク9は、例えば、LAN(Local Area Network)、専用線およびインターネット等によって構築される。なお、通信ネットワーク9は、有線だけでなく、Wi−Fi(登録商標)等の無線による通信が行われる箇所があってもよい。
ロボット10は、各拠点(拠点A、拠点B、拠点C)に設置され、各拠点内を自律走行する移動体である。ロボット10は、撮影装置12によってロボット10の周囲の被写体を撮像しながら拠点内を移動し、撮影装置12によって取得された撮影画像を管理者端末50へ送信することで、管理者端末50を使用する管理者に、拠点内の情報(画像)を提供する。また、後述する図2および図3に示されているように、各拠点には、ロボット10の充電を行ったり、ロボット10の重量を測定したりする充電ステーション150が設置されている。
管理者端末50は、各拠点(拠点A、拠点B、拠点C)に設置されたロボット10を用いて、各拠点の遠隔管理を行うPC(Personal Computer)等の端末装置である。管理者端末50は、ロボット10から送信されてきた撮影画像を表示する。管理者は、管理者端末50に表示された画像を見ながら、ロボット10が設置された拠点内の利用者と遠隔でコミュニケーションをとることができる。また、管理者は、管理者端末50に表示された画像を見ながら、ロボット10の遠隔操作を行うことができる。
なお、管理者端末50は、ロボット10から送信されてきた画像を表示する表示手段を備えたものであればよく、例えば、タブレット端末、携帯電話、スマートフォン、ヘッドマウントディスプレイ(HMD)等のウェアラブル端末、広角スクリーン(円筒、全天球、半天球スクリーン等)を備えた通信端末、PDA(Personal Digital Assistant)等であってもよい。
通信管理サーバ90は、各拠点に位置するロボット10と管理者端末50との間の通信を管理するためのサーバコンピュータである。通信管理サーバ90は、通信ネットワーク9を介してロボット10および管理者端末50と接続される。なお、通信管理サーバ90は、単一のコンピュータによって構築されてもよいし、各部(機能、手段または記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
ロボット10が設置される拠点は、例えば、オフィス、学校、倉庫、工場、建設現場等である。このうち、工場は、例えば、半導体もしくは薬品等の製造工場または食品の加工工場等の少数の作業者または無人で作業が行われているような拠点である。このような拠点では、拠点内の管理がより重要であり、拠点内の状態の管理を外部からでも行える必要がある。管理者端末50を各拠点の遠隔管理を行う管理者は、ロボット10から送信された拠点内の画像を確認することによって、拠点内の人の位置や動線の確認、拠点内に設置された装置の管理や保守等を行うことができる。また、ロボット10と管理者端末50は、双方によって撮影された画像を送受信することで双方向のコミュニケーション(遠隔会議)を行うこともできる。
なお、管理者端末50は、複数の拠点に配置されたロボット10のそれぞれと通信する構成であってもよいし、一つの拠点に配置されたロボット10のみと通信する構成であってもよい。
●概略●
ここで、図2を用いて、本実施形態に係る遠隔制御システム1aの利用シーンを概略的に説明する。図2は、実施形態に係る遠隔制御システムの概略の一例を説明するための図である。図2は、拠点A内に設置されたテレプレゼンスロボット(ロボット10A)と、遠隔地に位置する管理者が使用する管理者端末50との間で遠隔通信を行う場合の例を示す。なお、拠点内に設置されるロボット10は、テレプレゼンスロボットに限られず、拠点内を自律走行またはライントレース等の技術を用いて移動可能な移動体であればよい。
図2に示されている拠点Aは、例えば、複数の作業者(作業者A,B,C,D)によって所定の作業が行われている工場または倉庫等である。図2に示されているように、各作業者A,B,C,Dは、作業台に対して作業を行う。また、拠点Aには、拠点A内を移動する複数のロボット10A(ロボット10A−1,10A−2)が設置されている。また、遠隔地にいる管理者は、管理者端末50を用いて、拠点Aに設置されたロボット10Aと遠隔通信を行うことで、拠点Aの保守管理等を行う。
また、拠点A内には、ロボット10のバッテリの充電を行うための充電ステーション150が設置されている。充電ステーション150は、各拠点に設置されており、ロボット10のバッテリの充電を行ったり、ロボット10の稼働状態を測定したりするものである。ロボット10は、拠点内に設置された充電ステーション150の位置を予め記憶しており、拠点内の作業者の操作、管理者からの遠隔操作、またはバッテリ残量の状態等を自ら判断することによって、定期的に充電ステーション150へ移動する。そして、ロボット10は、例えば、管理者端末50との遠隔通信が行われていない期間に、充電ステーション150においてバッテリの充電および重量の測定等を行う。なお、充電ステーション150は、一つの拠点に複数台が設置されていてもよい。充電ステーション150は、測定装置の一例である。
図2に示されている拠点Aのような現場でのロボットの活用を考えた場合、ロボットは、頻繁に故障等の不具合を発生させる可能性があり、不具合が起こった際に迅速に対処できなければ、特に精密部品や食品等を取り扱う現場では活用しづらかった。また、ロボット10の管理者は、拠点から離れた遠隔地にいるため、遠隔拠点で発生した不具合を把握するのに時間が掛かる問題があった。
そこで、遠隔制御システム1aは、拠点内を移動するロボット10の移動前後の重量変化を測定し、ロボット10の重量が変化した場合、ロボット10が移動した移動経路と、重量の変化に起因する対象物の情報を、ロボット10の管理者が使用する管理者端末50へ送信する。これによって、遠隔制御システム1aは、ロボット10の異常発生等による状態変化を、迅速に利用者へ通知することができる。
●ロボットの構成●
続いて、図3を用いて、ロボット10の具体的な構成を説明する。図3は、実施形態に係るロボットの構成の概略の一例を示す図である。図3は、ロボット10が、図2に示されているような充電ステーション150に位置する状態である。
充電ステーション150は、ロボット10の状態変化を通知するためのランプ155、およびロボット10を撮影するための撮影装置157を備える。ランプ155は、例えば、重量変化等のロボット10の状態が変化した場合に点灯することよって、ロボット10の異常発生等のおそれのある状態変化を拠点内にいる作業者に通知する通知手段である。例えば、ランプ155は、充電ステーション150によって測定されたロボット10の重量が変化した場合に点灯することによって、重量の変化を通知する。なお、通知手段としては、ランプ155のみならず、スピーカから発せられる警告音等によってロボット10の異常を通知する構成であってもよい。また、ランプ155等の通知手段は、ロボット10に備えられていてもよい。撮影装置157は、充電ステーション150に近づいたロボット10または充電ステーション150に接続されたロボット10を撮影してロボット10の撮影画像を取得する。撮影装置157は、デジタル一眼レフカメラ、コンパクトデジタルカメラ等の平面画像(詳細画像)を取得可能なデジタルカメラ(一般撮影装置)である。
図3に示されているロボット10は、ロボット10の処理または動作を制御する制御装置30を備えた筐体11、撮影装置12、支持部材13、ディスプレイ14、ロボット10を移動させるための移動機構15(15a,15b)、およびロボット10に所定の作業(動作)を行わせるための可動アーム16を備える。
このうち、筐体11は、ロボット10の胴体部分に位置し、ロボット10の全体に必要な電源を供給する電源供給ユニットおよびロボット10の処理もしくは動作を制御する制御装置30等が内蔵されている。
撮影装置12は、ロボット10が設置された拠点に位置する人物、物体、風景等の被写体を撮影して撮影画像を取得する。撮影装置12は、デジタル一眼レフカメラ、コンパクトデジタルカメラ等の平面画像(詳細画像)を取得可能なデジタルカメラ(一般撮影装置)である。撮影装置12によって取得された撮影画像に係る撮影画像データは、後述する通信管理サーバ90によって確立される通信セッションを経由して、管理者端末50へ送信される。なお、撮影装置12または撮影装置157によって取得される撮影画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、撮影装置12によって取得される撮影画像は、画像データとともに音声データを含んでもよい。
また、撮影装置12または撮影装置157は、全天球(360°)パノラマ画像を取得可能な広角撮影装置であってもよい。広角撮影装置は、例えば、被写体を撮影して全天球(パノラマ)画像の元になる2つの半球画像を得るための全天球撮影装置である。さらに、広角撮影装置は、例えば、所定値以上の画角を有する広角画像を取得可能な広角カメラまたはステレオカメラ等であってもよい。すなわち、広角撮影装置は、所定値より焦点距離の短いレンズを用いて撮影された画像(全天球画像、広角画像)を取得可能な撮影手段である。また、ロボット10は、複数の撮影装置12を備える構成であってもよい。この場合、ロボット10は、撮影装置12として、広角撮影装置と、広角撮影装置によって撮影された被写体の一部を撮影して詳細画像(平面画像)を取得可能な一般撮影装置の両方を備える構成であってもよい。
ディスプレイ14は、各種画面を表示させるための表示部である。ディスプレイ14には、例えば、遠隔地にいる管理者の拠点の画像を表示される。支持部材13は、ロボット10(筐体11)に撮影装置12を設置(固定)するための部材である。支持部材13は、筐体11に固定されたポール等であってもよいし、筐体11に固定された台座であってもよい。また、支持部材13には、撮影装置12の撮影方向(向き)や位置(高さ)を調整可能な可動式の部材であってもよい。
移動機構15は、ロボット10を移動させるユニットであり、車輪、走行モータ、走行エンコーダ、ステアリングモータ、およびステアリングエンコーダ等で構成される。ロボット10の移動制御については、既存の技術であるため、詳細な説明は省略するが、ロボット10は、例えば、操作者である管理者(管理者端末50)からの走行指示を受信し、移動機構15は、受信した走行指示に基づいてロボット10を移動させる。なお、移動機構15は、二足歩行の足型や単輪のものであってもよい。また、ロボット10の形状は、図3に示されているような車両型に限られず、例えば、二足歩行の人型、生物を模写した形態、特定のキャラクターを模写した形態等であってもよい。
可動アーム16は、ロボット10の移動以外の付加的動作を可能とする動作手段を有している。図3に示されているように、可動アーム16には、例えば、可動アーム16の先端に部品等の物体を掴むためのハンドが動作手段として備えられている。ロボット10は、可動アーム16を回転または変形させることによって、所定の作業(動作)を行うことができる。
なお、ロボット10は、上記構成のほかに、ロボット10の周囲の情報を検知可能な各種センサを有していてもよい。各種センサは、例えば、気圧計、温度計、光度計、人感センサ、または照度計等のセンサデバイスである。
●ハードウエア構成●
次に、図4乃至図6を用いて、遠隔制御システム1aを構成する各装置または端末のハードウエア構成を説明する。なお、図4乃至図6に示すハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。
●ロボットのハードウエア構成
図4は、実施形態に係るロボットのハードウエア構成の一例を示す図である。ロボット10は、ロボット10の処理または動作を制御する制御装置30を備える。制御装置30は、上述のように、ロボット10の筐体11の内部に備えられている。なお、制御装置30は、ロボット10の筐体11の外部に設けられてもよく、またはロボット10とは別の装置として設けられていてもよい。
制御装置30は、CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303、HDD(Hard Disk Drive)304、メディアインターフェース(I/F)305、入出力I/F306、音入出力I/F307、ネットワークI/F308、近距離通信回路309、近距離通信回路309のアンテナ309a、および外部機器接続I/F311およびバスライン310を備える。
CPU301は、ロボット10全体の制御を行う。CPU301は、ROM302またはHD(Hard Disk)304a等に格納された、プログラムもしくはデータをRAM303上に読み出し、処理を実行することで、ロボット10の各機能を実現する演算装置である。
ROM302は、電源を切ってもプログラムまたはデータを保持することができる不揮発性のメモリである。RAM303は、CPU301のワークエリア等として用いられる揮発性のメモリである。HDD304は、CPU301の制御にしたがってHD304aに対する各種データの読み出し、または書き込みを制御する。HD304aは、プログラム等の各種データを記憶する。メディアI/F305は、USB(Universal Serial Bus)メモリ、メモリカード、光学ディスクまたはフラッシュメモリ等の記録メディア305aに対するデータの読み出しまたは書き込み(記憶)を制御する。
入出力I/F306は、文字、数値、各種指示等を各種外部機器等との間で入出力するためのインターフェースである。入出力I/F306は、LCD(Liquid Crystal Display)等のディスプレイ14に対するカーソル、メニュー、ウィンドウ、文字または画像等の各種情報の表示を制御する。なお、ディスプレイ14は、入力手段を備えたタッチパネルディスプレイであってもよい。また、入出力I/F306は、ディスプレイ14のほかに、例えば、マウス、キーボード等の入力手段が接続されていてもよい。音入出力I/F307は、CPU301の制御に従ってマイク307aおよびスピーカ307bとの間で音信号の入出力を処理する回路である。マイク307aは、CPU301の制御に従って音信号を入力する内蔵型の集音手段の一種である。スピーカ307bは、CPU301の制御に従って音信号を出力する再生手段の一種である。
ネットワークI/F308は、通信ネットワーク9を経由して、他の機器または装置との通信(接続)を行う通信インターフェースである。ネットワークI/F308は、例えば、有線または無線LAN等の通信インターフェースである。なお、ネットワークI/F308は、3G(3rd Generation)、LTE(Long Term Evolution)、4G(4th Generation)、5G(5th Generation)、Wi−Fi、WiMAX(Worldwide Interoperability for Microwave Access)、Zigbee(登録商標)、またはミリ波無線通信等の通信インターフェースを備えてもよい。。近距離通信回路309は、NFC(Near Field communication)またはBluetooth(登録商標)等の通信回路である。外部機器接続I/F311は、制御装置30に他の装置を接続するためのインターフェースである。
バスライン310は、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等であり、アドレス信号、データ信号、および各種制御信号等を伝送する。CPU301、ROM302、RAM303、HDD304、メディアI/F305、入出力I/F306、音入出力I/F307、ネットワークI/F308、近距離通信回路309および外部機器接続I/F311は、バスライン310を介して相互に接続されている。
さらに、制御装置30には、外部機器接続I/F311を介して、駆動モータ101、アクチュエータ102、加速度・方位センサ103、GPS(Global Positioning System)受信部104、撮影装置12、電源供給ユニット105および振動センサ106が接続されている。
駆動モータ101は、CPU301からの命令に基づき、移動機構15を回転駆動させてロボット10を地面に沿って移動させる。アクチュエータ102は、CPU301からの命令に基づき、可動アーム16を変形させる。加速度・方位センサ103は、地磁気を検知する電子磁気コンパス、ジャイロコンパスおよび加速度センサ等のセンサである。GPS受信部104は、GPS衛星からGPS信号を受信する。電源供給ユニット105は、バッテリ等を内蔵し、ロボット10の全体に必要な電源を供給するユニットである。振動センサ106は、ロボット10の移動中に発生する振動を検知する振動検知素子を有するセンサユニットである。振動センサ106には、例えば、シリコン加速度センサ、圧電素子を使用したバイモルフ型の振動センサ、圧電素子と重錘を組合せた振動センサ、または片持ちはり構造の振動センサ等を使用することができる。また、振動センサ106には、渦電流型変位センサ、または導電型の振動速度センサ等を使用できる。
●管理者端末のハードウエア構成
図5は、実施形態に係る管理者端末のハードウエア構成の一例を示す図である。管理者端末50は、CPU501、ROM502、RAM503、EEPROM(Electrically Erasable Programmable Read-Only Memory)504、撮像素子I/F505、CMOS(Complementary Metal Oxide Semiconductor)センサ505a、およびメディアI/F506を備えている。
CPU501は、管理者端末50全体の動作を制御する。CPU501は、ROM502等に格納されたプログラムまたはデータをRAM503上に読み出し、処理を実行することで、管理者端末50の各機能を実現する演算装置である。
ROM502は、IPL(Initial Program Loader)等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。EEPROM504は、CPU501の制御にしたがって、管理者端末用プログラム等の各種データの読み出しまたは書き込みを行う。
CMOSセンサ505aは、CPU501の制御に従って被写体(主に自画像)を撮像し画像データを得る。撮像素子I/F505は、CMOSセンサ505aの駆動を制御する回路である。メディアI/F506は、フラッシュメモリ等の記録メディア506aに対するデータの読み出しまたは書き込み(記憶)を制御する。
また、管理者端末50は、ネットワークI/F507、音入出力I/F508、マイク508a、スピーカ508b、ディスプレイ511、キーボード512、マウス513、外部機器接続I/F514、近距離通信回路515、および近距離通信回路515のアンテナ515aを備えている。
ネットワークI/F507は、通信ネットワーク9を経由して、他の機器または装置との通信(接続)を行う通信インターフェースである。ネットワークI/F507は、例えば、有線または無線LAN等の通信インターフェースである。なお、ネットワークI/F507は、3G、LTE、4G、5G、Wi−Fi、WiMAX、Zigbee、またはミリ波無線通信等の通信インターフェースを備えてもよい。音入出力I/F508は、CPU501の制御に従ってマイク508aおよびスピーカ508bとの間で音信号の入出力を処理する回路である。マイク508aは、CPU501の制御に従って音信号を入力する内蔵型の集音手段の一種である。スピーカ508bは、CPU501の制御に従って音信号を出力する再生手段の一種である。
ディスプレイ511は、被写体の画像や各種アイコン等を表示する液晶や有機EL等の表示手段の一種である。なお、ディスプレイ511は、入力手段を備えたタッチパネルディスプレイであってもよい。キーボード512は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス513は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。外部機器接続I/F514は、各種の外部機器を接続するためのインターフェースである。近距離通信回路515は、NFCまたはBluetooth等の通信回路である。
また、管理者端末50は、バスライン509を備えている。バスライン509は、図5に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
●通信管理サーバのハードウエア構成
図6は、実施形態に係る通信管理サーバのハードウエア構成の一例を示す図である。通信管理サーバ90は、一般的なコンピュータによって構築されている。通信管理サーバ90は、CPU901、ROM902、RAM903、HD904、HDD905、メディアI/F907、ネットワークI/F908、ディスプレイ911、キーボード912、マウス913、DVD−RW(Digital Versatile Disk Rewritable)ドライブ915、およびバスライン910を備えている。
CPU901は、通信管理サーバ90全体の動作を制御する。ROM902は、CPU901の駆動に用いられるプログラムを記憶する。RAM903は、CPU901のワークエリアとして使用される。HDD905は、CPU901の制御にしたがってHD904に対する各種データの読み出し、または書き込みを制御する。HD904は、プログラム等の各種データを記憶する。メディアI/F907は、フラッシュメモリ等の記録メディア906に対するデータの読み出し、または書き込み(記憶)を制御する。
ネットワークI/F908は、通信ネットワーク9を利用してデータ通信をするためのインターフェースである。ディスプレイ911は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。キーボード912は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス913は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。DVD−RWドライブ915は、着脱可能な記録媒体の一例としてのDVD−RW914に対する各種データの読み出し等を制御する。なお、DVD−RW914は、DVD−R等であってもよい。また、DVD−RWドライブ915は、BD−RE(Blu-ray(登録商標) Disc Rewritable)またはCD−RW(Compact Disc-ReWritable)等のディスクに対するデータの読み出しまたは書き込み(記憶)を制御するブルーレイドライブまたはCD−RWドライブ等であってもよい。
さらに、通信管理サーバ90は、バスライン910を備えている。バスライン910は、図6に示されているCPU901等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD−R(Compact Disc Recordable)、DVD、ブルーレイディスク、SDカード等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、制御装置30は、本発明に係るプログラムが実行されることで本発明に係る情報処理方法を実現する。
●機能構成●
続いて、図7乃至図11を用いて、本実施形態に係る遠隔制御システム1aの機能構成について説明する。図7は、実施形態に係る遠隔制御システムの機能構成の一例を示す図である。なお、図7では、図1に示されている各端末、装置およびサーバのうち、後述の処理または動作に関連しているものが示されている。
●制御装置の機能構成
まず、図7を用いて、ロボット10の処理または動作を制御する制御装置30の機能構成について説明する。制御装置30は、送受信部31、受付部32、表示制御部33、判断部34、移動制御部35、位置情報取得部36、振動変化検出部37、アーム操作制御部38、撮影指示部39、撮影画像取得部41、充電制御部42、状態情報取得部43、移動経路特定部44、対象物特定部45、通知情報生成部46および記憶・読出部49を有している。これら各部は、図4に示されている各構成要素のいずれかが、RAM303上に展開されたプログラムに従ったCPU301からの命令によって動作することで実現される機能、または機能する手段である。また、制御装置30は、図4に示されているROM302、HD304aまたは記録メディア305aによって構築される記憶部3000を有している。制御装置30は、情報処理装置の一例である。
送受信部31は、図4に示されているCPU301からの命令、およびネットワークI/F308によって実現され、通信ネットワーク9を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部31は、例えば、後述する通知情報生成部46によって生成された通知情報を出力する。送受信部31は、出力手段の一例である。
受付部32は、図4に示されているCPU301からの命令、および入出力I/F306によって実現され、ディスプレイ14等の入力手段に対する操作入力を受け付ける機能である。表示制御部33は、図4に示されているCPU301からの命令、および入出力I/F306によって実現され、ディスプレイ14に各種画面を表示させる機能である。表示制御部33は、出力手段の一例である。判断部34は、図4に示されているCPU301からの命令によって実現され、各種判断を行う機能である。判断部34は、判断手段の一例である。
移動制御部35は、図4に示されているCPU301からの命令、および外部機器接続I/F311によって実現され、移動機構15を駆動させることによって、ロボット10の移動を制御する機能である。移動制御部35は、例えば、管理者端末50から送信されてきた所定のコマンドに応じて移動機構15の駆動を制御することで、ロボット10を移動させる。位置情報取得部36は、図4に示されているCPU301からの命令、および外部機器接続I/F311によって実現され、加速度・方位センサ103またはGPS受信部104によって検出される各方位(方位角、磁北)の方向等の検出結果を取得する機能である。各方位の方向等の検出結果は、ロボット10の所定時点における位置および向きを示す位置情報である。
振動変化検出部37は、図4に示されているCPU301からの命令、および外部機器接続I/F311によって実現され、振動センサ106を用いて、移動中のロボット10の振動変化を検出する機能である。振動変化検出部37は、例えば、振動センサ106によって取得された検知信号に基づいて、ロボット10の移動中の振動変化を検出する。そして、振動変化検出部37は、振動変化の検出結果を示す検出情報を生成して取得する。この検出情報には、ロボット10の移動中に振動変化が検出された位置を示す検出位置情報が含まれている。振動変化検出部37は、検出情報取得手段の一例である。
アーム操作制御部38は、図4に示されているCPU301からの命令、および外部機器接続I/F311によって実現され、可動アーム16の操作を制御する機能である。アーム操作制御部38は、例えば、管理者端末50から送信されてきた所定のコマンドに応じて可動アーム16を変形させることで、可動アーム16の向きまたは位置を変更する。
撮影指示部39は、図4に示されているCPU301からの命令、および外部機器接続I/F311によって実現され、撮影装置12に対する撮影処理を指示する機能である。撮影指示部39は、例えば、撮影装置12による撮影を指示するための指示情報を、撮影装置12へ送信する。撮影画像取得部41は、図4に示されているCPU301からの命令、および外部機器接続I/F311によって実現され、撮影装置12によって取得された撮影画像を取得する機能である。撮影画像取得部41は、例えば、撮影装置12が被写体を撮影して取得した撮影画像である撮影画像データを、撮影装置12から取得する。
充電制御部42は、図4に示されているCPU301からの命令、および外部機器接続I/F311によって実現され、電源供給ユニット105を介して、ロボット10のバッテリ等の電源に対する充電を制御する機能である。充電制御部42は、例えば、図3に示されているような充電ステーション150にロボット10が接続することで、電源供給ユニット105が有する電源に対する充電を行う。
状態情報取得部43は、図4に示されているCPU301からの命令、および外部機器接続I/F311によって実現され、ロボット10の状態を示す状態情報を取得する機能である。状態情報取得部43によって取得される状態情報には、例えば、、電源供給ユニット105から取得されるロボット10のバッテリ残量、およびロボット10の重量等が含まれている。状態情報取得部43は、状態情報取得手段の一例である。
移動経路特定部44は、図4に示されているCPU301からの命令によって実現され、ロボット10の移動経路を特定する機能である。移動経路特定部44は、例えば、後述する移動履歴管理DB3003(図8(B)参照)に記憶されている経路情報に基づいて、ロボット10の移動経路を特定する。そして、移動経路特定部44は、特定した移動経路を用いて、ロボット10の移動経路を示す経路図を生成する。
対象物特定部45は、図4に示されているCPU301からの命令によって実現され、状態情報取得部43によって取得された状態情報に基づいて、ロボット10の状態変化に起因する対象物を特定する機能である。対象物特定部45は、例えば、状態情報取得部43によって取得された状態情報および後述する対象物管理DB3005(図9(A)参照)に記憶されている対象物候補情報に基づいて、ロボット10の状態変化に起因する対象物または対象物の候補を特定する。ロボット10の状態変化に起因する対象物とは、例えば、ロボット10を構成する部品、ロボット10が拠点内を移動する際に運搬する運搬物、または拠点内の環境に存在する工具等である。対象物特定部45は、特定手段の一例である。
通知情報生成部46は、図4に示されているCPU301からの命令によって実現され、ロボット10の状態を示す通知情報を生成する機能である。通知情報生成部46は、例えば、移動経路特定部44によって特定された移動経路と、ロボット10の状態変化に起因する対象物の情報または対象物の候補を示す候補情報とを含む通知情報を生成する。通知情報生成部46は、生成手段の一例である。
記憶・読出部49は、図4に示されているCPU301からの命令によって実行され、記憶部3000に各種データを記憶させ、または記憶部3000から各種データを読み出す機能である。記憶部3000には、管理者端末50との通信を行う際に受信される画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ14に画像が表示され、上書きされる前の音データによってスピーカ307bから音声が出力される。また、記憶部3000は、撮影画像取得部41によって取得された撮影画像データを記憶している。なお、記憶部3000に記憶されている撮影画像データは、撮影画像取得部41によって取得されてから所定の時間経過した場合に削除される構成であってもよいし、管理者端末50へ送信されたデータが削除される構成であってもよい。
○初期状態管理テーブル
図8(A)は、実施形態に係る初期状態管理テーブルを示す概念図である。記憶部3000には、図8(A)に示されているような初期状態管理テーブルによって構成されている初期状態管理DB3001が構築されている。この初期状態管理テーブルには、ロボット10の初期状態における重量、充電ステーション150の位置を示す画像、およびロボット10の初期状態の画像が含まれている。ここで、初期状態とは、ロボット10が拠点に設置される際に測定または取得される情報である。このうち、ロボット10の重量または画像は、ロボット10の初期状態の情報に限られず、前回充電ステーション150に位置した際に測定または取得された情報であってもよい。
○移動履歴管理テーブル
図8(B)は、実施形態に係る移動履歴管理テーブルを示す概念図である。記憶部3000には、図8(B)に示されているような移動履歴管理テーブルによって構成されている移動履歴管理DB3003が構築されている。この移動履歴管理テーブルには、ロボット10の移動経路を示す経路情報および移動中に振動変化が検出されたかを示す振動変化の有無の情報が関連づけられた移動履歴情報が記憶されて管理されている。位置情報取得部36は、ロボット10の移動中に取得した位置情報を、図8(B)に示されている移動履歴管理テーブルに随時記憶する。なお、ロボット10は、移動経路が予め設定されている場合には、設定されている移動経路に対応する経路情報を、移動履歴管理テーブルに記憶する構成であってもよい。また、移動履歴管理テーブルは、振動変化の有無を示す情報を、各経路情報に対応する位置に関連づけて記憶している。振動変化検出部37は、ロボット10の移動中に振動変化を検出した場合、検出された位置に対応する位置情報に関連づけて振動変化「有」の情報を記憶する。
○対象物管理テーブル
図9(A)は、実施形態に係る対象物管理テーブルを示す概念図である。記憶部3000には、図9(A)に示されているような対象物管理テーブルによって構成されている対象物管理DB3005が構築されている。対象物管理DB3005は、記憶手段の一例である。この対象物管理テーブルには、対象物特定部45によって特定される対象物の候補を示す対象物候補情報が記憶されて管理されている。この対象物候補情報には、候補となる対象物の項目と候補となる対象物の重量が示されている。このうち、候補となる対象物の項目には、ロボット10の状態変化に起因する可能性のある対象物の情報が含まれている。ロボット10の状態変化に起因する可能性のある対象物とは、例えば、ロボット10を構成する部品、ロボット10が拠点内を移動する際に運搬する運搬物、または拠点内の環境に存在する工具等である。
○管理者情報管理テーブル
図9(B)は、実施形態に係る管理者情報管理テーブルを示す概念図である。記憶部3000には、図9(B)に示されているような管理者情報管理テーブルによって構成されている管理者情報管理DB3007が構築されている。この管理者情報管理テーブルには、遠隔地に位置する拠点を管理する管理者を識別するための管理者IDおよび管理者名、並びに管理者の宛先を示す管理者宛先情報が関連づけられて管理されている。このうち、管理者宛先情報は、例えば、管理者のメールアドレス、または管理者ごとに割り振られたアプリケーションのID等である。なお、例えば、管理者が専有の管理者端末50を使用している場合、管理者宛先情報は、管理者端末50の宛先を示すIPアドレス等であってもよい。
●管理者端末の機能構成
続いて、図7を用いて、管理者端末50の機能構成について説明する。管理者端末50は、送受信部51、受付部52、表示画面生成部53、表示制御部54、判断部55および記憶・読出部59を有している。これら各部は、図5に示されている各構成要素のいずれかが、RAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能、または機能する手段である。また、管理者端末50は、図5に示されているROM502または記録メディア506aによって構築される記憶部5000を有している。さらに、管理者端末50は、ロボット10を遠隔操作するための専用のアプリケーションプログラムをインストールしている。管理者端末50は、例えば、インストールされたアプリケーションプログラムをCPU501が実行することによって各機能を実現する。
送受信部51は、図5に示されているCPU501からの命令、およびネットワークI/F507によって実現され、通信ネットワーク9を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部51は、例えば、通信ネットワーク9を介して、ロボット10(制御装置30)から送信された通知情報を受信する。また、送受信部51は、例えば、通信ネットワーク9を介して、ロボット10(制御装置30)から送信された撮影画像データを受信する。送受信部51は、受信手段の一例である。
受付部52は、図5に示されているCPU501からの命令、並びにキーボード512もしくはマウス513等の入力手段によって実現され、管理者端末50への各種選択または操作入力を受け付ける機能である。表示画面生成部53は、図5に示されているCPU501からの命令によって実現され、ディスプレイ511に表示させる各種表示画面を生成する機能である。表示画面生成部53は、例えば、ロボット10から送信された撮影画像データを用いて、ディスプレイ511に表示される表示画面600(後述する図16参照)を生成する。表示制御部54は、図5に示されているCPU501からの命令によって実現され、管理者端末50のディスプレイ511に各種画面を表示させる機能である。表示制御部54は、例えば、表示画面生成部53によって生成された表示画面を、ディスプレイ511に表示させる。表示制御部54は、表示制御手段の一例である。判断部55は、図5に示されているCPU501からの命令によって実現され、各種判断を行う機能である。
記憶・読出部59は、図5に示されているCPU501からの命令によって実行され、記憶部5000に各種データを記憶させ、または記憶部5000から各種データを読み出す機能である。記憶部5000には、ロボット10(制御装置30)との通信を行う際に受信される画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ511に画像が表示され、上書きされる前の音データによってスピーカ508bから音声が出力される。
●通信管理サーバの機能構成
次に、図7を用いて、通信管理サーバ90の機能構成について説明する。通信管理サーバ90は、送受信部91、認証部92、判断部93、作成部94および記憶・読出部99を有している。これら各部は、図6に示されている各構成要素のいずれかが、RAM903上に展開されたプログラムに従ったCPU901からの命令によって動作することで実現される機能、または機能する手段である。また、通信管理サーバ90は、図6に示されているROM902、HD904または記録メディア906によって構築される記憶部9000を有している。
送受信部91は、図6に示されているCPU901からの命令、およびネットワークI/F908によって実現され、通信ネットワーク9を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。
認証部92は、図6に示されているCPU901からの命令によって実現され、送受信部91によって受信されたログイン要求情報に基づいて、ログイン要求元の認証を行う機能である。認証部92は、例えば、送受信部91によって受信されたログイン要求情報に含まれている端末IDおよびパスワードを検索キーとし、記憶部9000の認証管理DB9001を検索する。そして、認証部92は、認証管理DB9001に同一の組の端末IDおよびパスワードが管理されているかを判断することによって端末認証を行う。
判断部93は、図6に示されているCPU901からの命令によって実現され、後述するセッション管理テーブルに、管理者端末50の端末IDが管理されているかを判断する機能である。作成部94は、図6に示されているCPU901からの命令によって実現され、通信に使用されるセッションIDを作成する機能である。
記憶・読出部99は、図6に示されているCPU901からの命令によって実行され、記憶部9000に各種データを記憶させ、または記憶部9000から各種データを読み出す機能である。また、記憶部9000には、後述する宛先リスト画面900(図18参照)における宛先リスト枠データ(図13に示されているアイコン、「rA01」、「ロボット10A−1」等の宛先リスト内容情報は含まれない)が記憶されている。
○認証管理テーブル
図10(A)は、実施形態に係る認証管理テーブルを示す概念図である。記憶部9000には、図10(A)に示されているような認証管理テーブルによって構成されている認証管理DB9001が構築されている。この認証管理テーブルには、通信管理サーバ90によって管理される全ての管理者端末50の各端末IDに対して、各パスワードが関連づけられて管理されている。例えば、図10(A)に示されている認証管理テーブルでは、管理者端末50Aの端末IDは「o01」で、パスワードは「aaaa」であることが表されている。
○端末管理テーブル
図10(B)は、実施形態に係る端末管理テーブルを示す概念図である。記憶部9000には、図10(B)に示されているような端末管理テーブルによって構成されている端末管理DB9002が構築されている。この端末管理テーブルには、各端末(ロボット10および管理者端末50)の端末IDごとに、各端末の端末名、端末のIPアドレス、各端末の現在の稼動状態を示す稼動状態情報、および端末がロボット10である場合のロボット10が位置する拠点を示す拠点名が関連づけられて管理されている。例えば、図10(B)に示されている端末管理テーブルにおいて、端末IDが「o01」の管理者端末50は、端末名が「管理者端末50A」で、この管理者端末50のIPアドレスが「1.2.1.3」で、稼動状態が「オンライン(通話可能)」であることが示されている。また、端末IDが「rA01」のロボット10は、端末名が「ロボット10A−1」で、このロボット10のIPアドレスが「1.3.2.3」で、稼動状態が「オンライン(通話可能)」で、拠点名が「拠点A」であることが示されている。
○宛先リスト管理テーブル
図11(A)は、実施形態に係る宛先リスト管理テーブルを示す概念図である。記憶部9000には、図11(A)に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB9003が構築されている。この宛先リスト管理テーブルには、ロボット10との通信の開始を要求する開始端末としての管理者端末50の端末IDごとに、宛先となるロボット10の候補として登録されている宛先候補のロボット10の端末IDが関連づけられて管理されている。例えば、図11(A)に示されている宛先リスト管理テーブルにおいて、端末IDが「o01a」である開始端末(管理者端末50A)から通信の開始を要求することができる宛先候補は、端末IDが「rA01」のロボット10A−1、端末IDが「rA02」のロボット10A−2、端末IDが「rC01」のロボット10C−1等であることが示されている。なお、宛先候補のロボット10の端末IDは、任意の開始端末(管理者端末50)から通信管理サーバ90に対する追加または削除の要請により、追加または削除されることで更新される。
○セッション管理テーブル
図11(B)は、実施形態に係るセッション管理テーブルを示す概念図である。記憶部9000には、図11(B)に示されているようなセッション管理テーブルによって構成されているセッション管理DB9004が構築されている。このセッション管理テーブルには、ロボット10と管理者端末50との間で通信する際に利用されるセッションを識別するためのセッションIDごとに、このセッションIDによって特定されるセッションを使用中のロボット10および管理者端末50の端末IDが関連づけられて管理されている。例えば、図11(B)に示されているセッション管理テーブルにおいて、セッションID「se1」を用いて実行されたセッションを使用中の端末は、端末IDが「o01」の管理者端末50A、端末IDが「rA02」のロボット10A−2、および端末IDが「rC01」のロボット10C−1であることが示されている。
●実施形態の処理または動作●
続いて、図12乃至図21を用いて、実施形態に係る遠隔制御システム1aの動作または処理について説明する。なお、以降の説明において、ロボット10が備える制御装置30によって実行される処理は、ロボット10によって実行される処理として説明する。
●通信セッションの確立処理
まず、図12乃至図14を用いて、ロボット10と管理者端末50との間における通信セッションの確立処理について説明する。図12は、実施形態に係る遠隔制御システムにおけるロボットと管理者端末との間でデータの送受信を開始する準備段階の処理の一例を示すシーケンス図である。ここでは、開始端末としての管理者端末50Aと、宛先端末としてのロボット10A−1との間で、データの送受信を開始する前の準備段階における各管理情報の送受信処理について説明する。
まず、管理者端末50Aの送受信部51は、通信ネットワーク9を介して、通信管理サーバ90へログイン認証の要求を示すログイン要求情報を送信する(ステップS101)。具体的には、管理者端末50Aの利用者は、管理者端末50Aにおける電源スイッチをONにすると、電源がONになる。そして、管理者端末50Aの送受信部51は、上記電源ONを契機とし、送受信部51から通信ネットワーク9を介して、通信管理サーバ90へ、ログイン要求情報を送信する。これにより、通信管理サーバ90の送受信部91は、管理者端末50Aから送信されたログイン要求情報を受信する。
このログイン要求情報には、管理者端末50Aとしての開始端末を識別するための端末ID、およびパスワードが含まれている。これら端末IDおよびパスワードは、記憶・読出部59によって記憶部5000から読み出されて、送受信部51に送られたデータである。なお、これら端末IDおよびパスワードは、これに限るものではなく、利用者がキーボード511等の入力手段によって入力した端末IDやパスワードが送信されてもよい。また、管理者端末50Aに接続されたSIM(Subscriber Identity Module Card)カードやSDカード等の記録媒体から読み出された端末IDやパスワードが送信されてもよい。
また、管理者端末50Aから通信管理サーバ90へログイン要求情報が送信される際は、受信側である通信管理サーバ90は、送信側である管理者端末50AのIPアドレスを取得することができる。なお、ログイン要求の開始は、必ずしも電源スイッチをONにすることを契機とする必要はなく、利用者によるディスプレイ511等の入力手段への入力に応じて送信してもよい。
次に、通信管理サーバ90の認証部92は、送受信部91によって受信されたログイン要求情報に含まれている端末IDおよびパスワードを検索キーとして、記憶部9000の認証管理テーブル(図10(A)参照)を検索し、認証管理DB9001に同一の端末IDおよび同一のパスワードが管理されているかを判断することによって認証を行う(ステップS102)。以下、管理者端末50Aが認証部92によって正当な利用権限を有する端末であると判断された場合について説明する。
次に、記憶・読出部99は、認証部92によって同一の端末IDおよび同一のパスワードが管理されていることにより、正当な利用権限を有する開始端末からのログイン要求であると判断された場合、記憶部9000から宛先リスト枠データを読み出す(ステップS103)。
送受信部91は、認証部92によって得られた認証結果が示された認証結果情報を、通信ネットワーク9を介して、上記ログイン要求してきた管理者端末50Aへ送信する(ステップS104)。この認証結果情報には、ステップS103によって読み出された宛先リスト枠データが含まれている。これにより、管理者端末50Aの送受信部51は、認証結果情報を受信する。そして、管理者端末50Aの記憶・読出部59は、ステップS104によって受信された宛先リスト枠データを、記憶部5000に記憶させる(ステップS105)。
次に、送受信部51は、正当な利用権限を有する端末であると判断された認証結果が示された認証結果情報を受信した場合、通信ネットワーク9を介して通信管理サーバ90へ、宛先リストの内容を要求する宛先リスト内容要求情報を送信する(ステップS106)。この宛先リスト内容要求情報には、管理者端末50Aの端末IDが含まれている。これにより、通信管理サーバ90の送受信部91は、宛先リスト内容要求情報を受信する。
次に、通信管理サーバ90の記憶・読出部99は、ステップS106によって受信された管理者端末50の端末ID「o01」を検索キーとして宛先リスト管理DB9003(図11(A))を検索することにより、対応する全ての宛先候補の端末IDを読み出す(ステップS107)。さらに、記憶・読出部99は、ステップS107によって読み出された各端末IDを検索キーとして端末管理DB9002(図10(B)参照)を検索することにより、対応する宛先候補の端末名、稼動状態情報および拠点名を読み出す(ステップS108)。
次に、送受信部91は、通信ネットワーク9を介して管理者端末50Aへ、宛先リスト内容情報を送信する(ステップS109)。この宛先リスト内容情報には、ステップS107およびS108によって読み出された、宛先候補の端末ID、宛先候補の端末名、稼動状態情報および拠点名が含まれている。これにより、管理者端末50Aの送受信部51は、宛先リスト内容情報を受信する。
次に、管理者端末50Aの表示制御部54は、ステップS105によって記憶部5000に記憶された宛先リスト枠データ、およびステップS109によって受信された宛先リスト内容情報を用いて作成された宛先リスト画面900を、ディスプレイ511に表示させる(ステップS110)。図13は、実施形態に係る管理者端末に表示される宛先リスト画面の一例を示す図である。図18に示されている宛先リスト画面900には、宛先候補ごとに、宛先候補の端末(ロボット10)の稼動状態を示したアイコン、宛先候補の端末の端末ID、宛先候補の宛先名、および宛先候補の端末が位置する拠点名が表されている。なお、ステップS109によって受信された「端末名」は、図13に示されている宛先リスト画面900では、「宛先名」として表示される。
続いて、図14を用いて、管理者端末50における宛先候補の選択から画像データの送受信を開始するまでの処理を説明する。図14は、実施形態に係る遠隔制御システムにおける宛先候補の選択から画像データの送受信を開始するまでの処理の一例を示すシーケンス図である。
まず、管理者端末50Aの受付部52は、利用者から図13に示されている宛先リスト画面900の宛先候補(ここでは、ロボット10A−1)の選択を受け付ける(ステップS111)。そして、送受信部51は、通信管理サーバ90に対して、画像データ等の送受信を開始したい旨を示す開始要求情報を送信する(ステップS112)。この開始要求情報には、管理者端末50Aの端末ID、および宛先候補の端末の端末IDが含まれている。これにより、通信管理サーバ90の送受信部91は、開始要求情報を受信する。
次に、通信管理サーバ90の判断部93は、ステップS112によって受信された管理者端末50Aの端末IDがセッション管理テーブル(図11(B)参照)で管理されているか否かを判断する。ここでは、宛先候補の端末(ロボット10A−1)の端末IDが管理されていない場合について、以下説明を続ける。
作成部94は、宛先候補の端末の端末IDが管理されていない場合、新たにセッションIDを作成する(ステップS114)。そして、記憶・読出部99は、セッション管理テーブル(図11(B)参照)に、ステップS114によって作成されたセッションID、並びにステップS112によって受信された管理者端末50Aの端末IDおよび宛先候補の端末の端末IDを関連づけた新たなレコードを追加記憶する(ステップS115)。ここでは、図11(B)に示されているように、新たなレコードが追加されることで、セッションID「se3」、および端末ID「o01」,「rA01」が関連づけて管理される。
次に、送受信部91は、管理者端末50Aに対して、セッションの開始を要求するセッション開始要求情報を送信する(ステップS116)。このセッション開始要求情報には、ステップS114によって作成されたセッションIDが含まれている。これにより、管理者端末50Aの送受信部51は、セッション開始要求情報を受信する。
また、通信管理サーバ90の記憶・読出部99は、ステップS112によって受信された宛先候補の端末(ロボット10A−1)の端末IDを検索キーとして端末管理DB9002(図10(B)参照)を検索することにより、対応するIPアドレスを読み出す(ステップS117)。そして、送受信部91は、ステップS117によって読み出されたIPアドレスが示す宛先候補の端末(ロボット10A−1)に対して、セッションの開始を要求するセッション開始要求情報を送信する(ステップS118)。このセッション開始要求情報には、ステップS114によって作成されたセッションIDが含まれている。これにより、宛先端末(ロボット10A−1)の送受信部31は、セッション開始指示を受信する。
以上により、開始端末(管理者端末50A)および宛先端末(ロボット10A−1)は、それぞれ通信管理サーバ90と通信セッションを確立する(ステップS119−1,S119−2)。これにより、遠隔制御システム1aは、拠点Aに設置されたロボット10A−1と、遠隔地に位置する管理者端末50との遠隔通信を開始することができる。
●ロボットの遠隔制御
続いて、図15および図16を用いて、通信管理サーバ90との間で確立された通信セッションを用いて、管理者端末50によってロボット10の処理または動作を遠隔制御する処理について説明する。図15は、実施形態に係る遠隔制御システムにおけるロボットの遠隔制御処理の一例を示すシーケンス図である。なお、図15に示されている処理は、図12乃至図14に示されている処理によって確立された通信セッションを用いて、管理者端末50Aとロボット10A−1が遠隔通信を行う場合の処理である。
まず、ロボット10A−1の送受信部51は、確立された通信管理サーバ90との通信セッションを用いて、撮影装置12によって取得された撮影画像データを、管理者端末50へ送信する(ステップS121−1,ステップS121−2)。これにより、管理者端末50Aの送受信部51は、ロボット10A−1から送信された撮影画像データを受信する。
ここで、ロボット10A−1は、撮影指示部39から撮影装置12への撮影指示をトリガーとして、撮影装置12による撮影を開始する。ロボット10A−1の撮影画像取得部41は、撮影装置12によって取得された撮影画像である撮影画像データを、撮影装置12から取得する。そして、ロボット10A−1の送受信部31は、管理者端末50に対して、撮影画像取得部41によって取得された撮影画像データを送信する。
次に、管理者端末50Aの表示画面生成部53は、送受信部51によって受信された撮影画像データを用いて、ディスプレイ511に表示させる表示画面600を生成する(ステップS122)。そして、表示制御部54は、表示画面生成部53によって生成された表示画面600を、ディスプレイ511に表示させる(ステップS123)。ここで、図16を用いて、ステップS123によって管理者端末50Aに表示される表示画面600について説明する。図16に示されている表示画面600には、ロボット10A−1から送信されてきた撮影画像データに係る撮影画像を表示させるための表示領域650、ロボット10A−1の水平方向(前進、後退、右回転、左回転)の移動を要求する場合に押下される移動指示キー655が含まれている。管理者端末50の利用者であるロボット10A−1の管理者は、移動指示キー655に示されている各方向を示す指示キーへの入力を行うことで、ロボット10を所望の方向へ移動させる遠隔操作を行うことができる。
次に、管理者端末50Aを用いる管理者が移動指示キー655を押下することで、受付部52は、ロボット10A−1を動作させるための制御コマンドの入力を受け付ける(ステップS124)。そして、管理者端末50Aの送受信部51は、確立された通信管理サーバ90との通信セッションを用いて、受付部52によって入力が受け付けられた制御コマンドを、ロボット10A−1へ送信する(ステップS125−1,ステップS125−2)。これにより、ロボット10A−1の送受信部31は、管理者端末50Aから送信された制御コマンドを受信する。
そして、ロボット10A−1は、送受信部31によって受信された制御コマンドに応じて、拠点A内の移動を開始する(ステップS126)。このように、遠隔制御システム1aは、管理者端末50Aの利用者の操作に応じて、遠隔拠点に設置されたロボット10A−1を遠隔操作することができる。なお、上述のように、ロボット10A−1は、管理者からの遠隔操作に限られず、自律走行またはライントレース等の技術を用いて拠点A内の移動を開始する構成であってもよい。
●ロボットにおける処理
○移動時の処理
続いて、図17乃至図21を用いて、拠点内を移動するロボット10における各種処理について説明する。まず、図17を用いて、ロボット10の移動時の処理について説明する。図17は、実施形態に係るロボットにおける移動時の処理の一例を示すフローチャートである。
まず、ロボット10は、図15に示されているような管理者からの遠隔制御、または予め設定されたタイミングにおける自律走行によって、拠点内の移動を開始する(ステップS11)。次に、ロボット10の振動変化検出部37は、振動センサ106を用いて、移動中の振動変化を検出する(ステップS12)。ここで、ロボット10の移動中に振動センサ106によって取得される検知信号(振動信号)が所定値以上変化した場合、振動変化検出部37は、移動しているロボット10の振動変化を検出する。また、拠点内の各位置における振動量が予め記憶されている場合、振動変化検出部37は、記憶されている振動量と移動中に検知された振動信号との差分が所定値以上である場合に、移動しているロボット10の振動変化を検出する構成であってもよい。振動変化検出部37は、移動中に振動変化が検出された場合(ステップS12のYES)、処理をステップS13へ移行させる。記憶・読出部49は、振動変化検出部37によって振動変化が検出された位置を、移動履歴管理DB3003(図8(B)参照)に記憶させる(ステップS13)。
一方で、振動変化検出部37は、移動中に振動変化が検出されない場合(ステップS12のNO)、処理をステップS14へ移行させる。そして、ロボット10の記憶・読出部49は、移動中に位置情報取得部36によって取得された位置情報を、ロボット10の移動経路を示す経路情報として移動履歴管理DB3003に記憶させる(ステップS14)。
そして、ロボット10は、移動が終了した場合(ステップS15のYES)、処理を終了し、移動が完了していない場合(ステップS15のNO)、ステップS12からの処理を繰り返す。なお、移動が終了したか否かは、ロボット10が充電ステーション150に到達したか否かで判断する。これにより、ロボット10は、拠点内を移動中に位置情報取得部36によって取得された位置情報によって、実際に移動した移動経路を示す経路情報を記憶させることができる。また、ロボット10は、移動中に振動変化検出部37によって検出されて取得された検出情報を用いて、移動中に異常が発生した可能性のある振動変化が検出された位置を記憶させることできる。
○状態の通知処理
次に、図18乃至図21を用いて、拠点内を移動したロボット10が、自らの状態を利用者へ通知するための処理について説明する。図18は、実施形態に係る遠隔制御システムにおけるロボットの状態の通知処理の一例を示すシーケンス図である。
まず、ロボット10は、遠隔地にいる管理者からの指示または自ら判断することによって、充電ステーション150への移動を開始する(ステップS31)。具体的には、ロボット10の移動制御部35は、初期状態管理DB3001(図8(A)参照)に記憶されている充電ステーション150が撮影された画像を用いて、充電ステーション150の位置を特定し、特定した充電ステーション150の位置までロボット10を移動させる。
次に、ロボット10は、充電ステーション150に到達した場合、ロボット10の重量測定処理を実行する(ステップS32)。ここで、図19を用いて、ロボット10の重量測定処理の詳細を説明する。図19は、実施形態に係るロボットにおける重量測定処理の一例を示すフローチャートである。
まず、ロボット10の撮影画像取得部41は、ロボット10が撮影された撮影画像を取得する(ステップS32−1)。ここで、撮影指示部39から充電ステーション150に備えられている撮影装置157への撮影指示をトリガーとして、撮影装置157は、ロボット10の撮影を行う。撮影指示部39から撮影装置157への撮影指示は、例えば、近距離通信回路309を用いた近距離通信によって行われる。そして、撮影画像取得部41は、撮影装置157によって取得された撮影画像である撮影画像データを、撮影装置157から取得する。撮影指示部39からの撮影指示または撮影画像取得部41による撮影画像データの取得は、例えば、近距離通信回路309を用いた近距離通信によって行われる。なお、ロボット10の撮影は、ロボット10に備えられている撮影装置12によって行われてもよい。
続いて、判断部34は、ロボット10が正しい状態であるかを判断する(ステップS32−2)。具体的には、判断部34は、初期状態管理DB3001(図8(A)参照)に記憶されているロボット10の初期状態の画像と、ステップS32−1によって取得された撮影画像データとに基づいて、ロボット10の姿勢が初期状態と同様であるかを判断する。この場合、判断部34は、例えば、可動アーム16の位置やロボット10の向き等を基準として、ロボット10の姿勢を判断する。また、判断部34は、バッテリの残量が予め定められた所定値以上であるかを判断する。この場合、判断部34は、例えば、バッテリの残量が90%以上である場合、ロボット10が正しい状態であると判断する。判断部34は、ロボット10の姿勢やバッテリの残量等に基づいて、ロボット10が正しい状態でないと判断した場合(ステップS32−2のNO)、処理をステップS32−3へ移行させる。
次に、ロボット10は、ロボット10の状態の調整を行う(ステップS32−3)。具体的には、移動制御部35またはアーム操作制御部38は、例えば、初期状態管理DB3001(図8(A)参照)に記憶されているロボット10の初期状態の画像、およびステップS32−1によって取得された撮影画像データに基づいて、ロボット10が初期状態の姿勢になるように、可動アーム16の位置またはロボット10の向きを調整する。また、充電制御部42は、充電ステーション150に接続して、電源供給ユニット105が有するバッテリ等の電源の充電を行う。
一方で、判断部34は、ロボット10の姿勢やバッテリの残量等に基づいて、ロボット10が正しい状態である判断した場合(ステップS32−3のYES)、処理をステップS32−4へ移行させる。そして、ロボット10は、充電ステーション150を用いて、ロボット10の重量を測定する(ステップS32−4)。具体的には、充電ステーション150は、充電ステーション150に所定の位置に乗ったロボット10の重量を測定する。そして、ロボット10の状態情報取得部43は、充電ステーション150によって測定された重量データを、ロボット10の重量の状態を示す状態情報として取得する。これにより、ロボット10は、拠点内を移動した後に、充電ステーション150を用いてバッテリ等の電源の充電を行うとともに、充電後に測定された自らの重量を示す状態情報を取得することができる。
図18に戻り、ロボット10は、ステップS32の処理によって重量が測定された場合、ロボット10の状態の分析処理を実行する(ステップS33)。ここで、図20を用いて、ロボット10の状態分析処理の詳細を説明する。図20は、実施形態に係るロボットにおける状態分析処理の一例を示すフローチャートである。
まず、ロボット10の判断部34は、ロボット10の重量が初期状態と差異があるかを判断する(ステップS33−1)。具体的には、判断部34は、ステップS32−4によって測定されたロボット10の重量が、初期状態管理DB3001(図8(A)参照)に記憶されているロボット10の初期状態の重量と所定値以上の差異があるかを判断する。この場合、判断部34は、例えば、初期状態との重量の差が0.5g以上ある場合、初期状態との差異があると判断する。判断部34は、ロボット10の重量が初期状態と差異がないと判断した場合(ステップS33−1のNO)、処理をステップS33−2へ移行させる。一方で、判断部34は、ロボット10の重量が初期状態と差異があると判断した場合(ステップS33−1のYES)、処理をステップS33−3へ移行させる。
次に、判断部34は、ロボット10の移動中に振動変化を検出したかを判断する(ステップS33−2)。具体的には、判断部34は、移動履歴管理DB3003(図8(B)参照)に振動変化「有」の情報が含まれている場合、ロボット10の移動中に振動変化を検出したと判断する。判断部34は、ロボット10の移動中に振動変化を検知したと判断した場合(ステップS33−2のYES)、処理をステップS33−3へ移行させる。一方で、判断部34は、ロボット10の移動中に振動変化を検出していないと判断した場合(ステップS33−2のNO)、処理を終了する。
次に、記憶・読出部49は、移動履歴管理DB3003(図8(B)参照)に記憶された移動履歴情報を読み出す(ステップS33−3)。移動経路特定部44は、ステップS33−3によって読み出された移動履歴情報に示されている位置情報を用いて、ロボット10の移動経路を特定する。そして、移動経路特定部44は、特定した移動経路に基づいて、ロボット10の移動経路を示す経路図を生成する(ステップS33−4)。
次に、対象物特定部45は、ステップS33−1によって判断された初期状態との差分値を検索キーとして対象物管理DB3005(図9(A)参照)を検索することにより、対応する対象物を特定する(ステップS33−5)。具体的には、対象物特定部45は、ステップS32−4によって測定されたロボット10の重量の初期状態からの変化量に近い重量の対象物を特定する。この場合、対象物特定部45は、変化量(差分値)と同じ重量の対象物のみでなく、変化量(差分値)から所定値離れた重量の対象物を特定する構成であってもよい。ここで、対象物特定部45によって特定される対象物の数は、一つに限られず、複数の対象物の候補であってもよい。
そして、通知情報生成部46は、ステップS33−3によって読み出された移動履歴情報、および対象物特定部45によって特定された対象物の情報を用いて、ロボットの状態を示す通知情報を生成する(ステップS33−6)。具体的には、通知情報生成部46は、ロボット10の移動経路を示す経路情報と、ロボット10の重量の変化に起因する対象物の情報または対象物の候補を示す候補情報とを含む通知情報を生成する。さらに、通知情報生成部46は、ステップS33−4によって生成された経路図上に、振動変化検出部37によって取得された検出情報に示されている振動変化が検出された位置を示す検出位置情報が関連づけられた通知情報を生成する。
このように、ロボット10は、部品の紛失等が発生した可能性のある場合、ロボット10の重量変化に基づいて、紛失した可能性のある部品の情報を含む通知情報を生成することができる。また、ロボット10は、ロボット10の移動中の振動変化に基づいて、ロボット10が移動した移動経路のうち、部品を紛失した可能性のある位置の情報を含む通知情報を生成することができる。
図18に戻り、ロボット10の記憶・読出部49は、管理者情報管理DB3007(図9(B)参照)に記憶された管理者情報を読み出す(ステップS34)。ここで、管理者情報には、管理者ID、管理者名および管理者宛先情報が含まれている。そして、ロボット10の送受信部31は、ステップS34によって読み出された管理者宛先情報に対して、ステップS33−6によって生成された通知情報を送信(出力)する(ステップS35)。これにより、ステップS34によって読み出された管理者宛先情報に示される宛先の管理者が使用する管理者端末50の送受信部51は、ロボット10から送信された通知情報を受信する。
ここで、図21を用いて、ロボット10から送信される通知情報について説明する。図21は、実施形態に係る通知情報の一例を示す図である。図21に示されている通知情報800は、例えば、ロボット10A−1から管理者である「理光太郎」の宛先に対して送信される電子メールの文面である。通知情報800には、経路図を表示させるための経路図表示領域810、ロボット10の画像を表示させるためのロボット画像表示領域830、ロボット10の状態変化に関する情報を示すテキスト表示領域850が含まれている。
このうち、経路図表示領域810には、移動経路特定部44によって特定されたロボット10の移動経路を示す経路図上に、振動変化検出部37によって取得された検出情報に示されている振動変化が検出された位置を示す検出位置情報815が示されている。なお、検出位置情報815の表示方法は、これに限られず、例えば、対象物特定部45によって特定された対象物の候補の種類によって表示形式(画像等)を異ならせてもよい。また、テキスト表示領域850には、ロボット10の移動前後の重量変化を示す情報、および対象物特定部45によって特定された対象物の情報または対象物の候補(部品候補)を示す候補情報等がテキスト形式で示されている。
これにより、ロボット10は、部品の紛失等が発生した可能性のある場合、ロボット10の重量変化に基づいて、紛失した可能性のある部品の情報を候補情報として、ロボット10の管理者に通知することができる。また、ロボット10は、移動中の振動変化に基づいて、移動した移動経路のうち、部品を紛失した可能性のある位置を示す情報を検出位置情報として、管理者に通知することができる。さらに、ロボット10は、ロボット10の画像を管理者に通知することで、ロボット10の現在の状態を目視で把握させることができる。
なお、ロボット10の表示制御部33は、通知情報生成部46によって生成された通知情報を、ディスプレイ14に表示(出力)させる構成であってもよい。この場合、ロボット10は、拠点内にいる作業者に対してもロボット10の状態を知らせることができる。
なお、図20の処理において、ロボット10の重量が変化した場合または移動中に振動変化を検出した場合に通知情報を生成する例を説明したが、ロボット10は、上記条件を満たさない場合であっても通知情報を生成して、管理者端末50を用いる管理者または拠点内にいる作業者である利用者へ、ロボット10の状態を通知する構成であってもよい。この場合の通知情報には、ロボット10の移動経路を示す経路情報およびロボット10の重量に関する情報が含まれる。これにより、通知情報を取得した利用者は、ロボット10に異常がないことを把握することができる。
以上説明したように、遠隔制御システム1aは、、拠点内を移動するロボット10の移動前後の重量変化を測定し、ロボット10の重量が変化した場合、ロボット10が移動した移動経路と、重量の変化に起因する対象物の情報または対象物の候補を示す候補情報とを、利用者に通知可能に出力する。これによって、遠隔制御システム1aは、ロボット10の異常発生等による状態変化を、迅速に利用者へ通知することができる。
●実施形態の変形例●
次に、実施形態の変形例に係る遠隔制御システムついて説明する。なお、上記実施形態と同一構成および同一機能は、同一の符号を付して、その説明を省略する。実施形態の変形例に係る遠隔制御システム1bは、情報処理サーバ70がロボット10の状態の分析処理を、ロボット10と通信可能な情報処理サーバ70が実行するシステムである。
●システム構成
図22は、実施形態の変形例に係る遠隔制御システムのシステム構成の一例を示す図である。図22に示されているように、実施形態の変形例に係る遠隔制御システム1bには、図1に示されている構成に加えて、情報処理サーバ70が備えられている。情報処理サーバ70は、各拠点に位置するロボット10の動作を制御するためのサーバコンピュータである。情報処理サーバ70は、通信ネットワーク9を介してロボット10および管理者端末50と接続される。なお、情報処理サーバ70は、単一のコンピュータによって構築されてもよいし、各部(機能、手段または記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。通信管理サーバ90についても同様である。情報処理サーバ70は、情報処理装置の一例である。
ここで、情報処理サーバ70と通信管理サーバ90は、サーバシステム7を構成する。このサーバシステム7は、情報処理サーバ70と通信管理サーバ90の各部(機能または手段)を備える単一のコンピュータによって構成されてもよい。また、ロボット10とサーバシステム7は、ロボット制御システム3を構成する。さらに、管理者端末50とサーバシステム7は、管理システム5を構成する。
なお、情報処理サーバ70のハードウエア構成は、図6に示されている通信管理サーバ90のハードウエア構成と同様であるため、説明を省略する。以下、情報処理サーバ70は、図6に示されているようなハードウエア構成を有しているものとして説明する。
●機能構成
図23は、実施形態の変形例に係る遠隔制御システムの機能構成の一例を示す図である。なお、情報処理サーバ70以外の装置または端末の機能は、図7に示されている機能と同様であるため、説明を省略する。
情報処理サーバ70は、送受信部71、判断部72、移動経路特定部73、対象物特定部74、通知情報生成部75、管理者特定部76および記憶・読出部79を有している。これら各部は、図6に示されている各構成要素のいずれかが、RAM903上に展開されたプログラムに従ったCPU701からの命令によって動作することで実現される機能、または機能する手段である。また、情報処理サーバ70は、図6に示されているROM902、HD904または記録メディア906によって構築される記憶部7000を有している。
送受信部71は、図6に示されているCPU901からの命令、およびネットワークI/F908によって実現され、通信ネットワーク9を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部71は、例えば、ロボット10から送信された状態情報を受信する。また、送受信部71は、例えば、ロボット10から送信された検出情報を受信する。さらに、送受信部71は、後述する通知情報生成部75によって生成された通知情報を、管理者端末50へ送信する。ここで、送受信部71は、状態情報取得手段の一例である。また、送受信部71は、出力手段の一例である。さらに、送受信部71は、検出情報取得手段の一例である。
判断部72は、図6に示されているCPU901からの命令によって実現され、各種判断を行う機能である。移動経路特定部73は、図6に示されているCPU901からの命令によって実現され、ロボット10の移動経路を特定する機能である。移動経路特定部73は、例えば、ロボット10から送信された経路情報に基づいて、ロボット10の移動経路を特定する。そして、移動経路特定部73は、特定した移動経路を用いて、ロボット10の移動経路を示す経路図を生成する。
対象物特定部74は、図6に示されているCPU901からの命令によって実現され、ロボット10から送信された状態情報に基づいて、ロボット10の重量変化に起因する対象物を特定する機能である。対象物特定部74は、例えば、ロボット10から送信された状態情報および後述する対象物管理DB7003に記憶されている対象物候補情報に基づいて、ロボット10の重量変化に起因する対象物または対象物の候補を特定する。対象物特定部74は、特定手段の一例である。
通知情報生成部75は、図6に示されているCPU901からの命令によって実現され、ロボット10の状態を示す通知情報を生成する機能である。通知情報生成部75は、例えば、移動経路特定部73によって特定された移動経路と、ロボット10の重量変化に起因する対象物の情報または対象物の候補を示す候補情報とを含む通知情報を生成する。通知情報生成部75は、生成手段の一例である。
管理者特定部76は、図6に示されているCPU901からの命令によって実現され、通知情報生成部75によって生成された通知情報の送信先となる管理者を特定する機能である。
記憶・読出部79は、図6に示されているCPU901からの命令によって実行され、記憶部7000に各種データを記憶させ、または記憶部7000から各種データを読み出す機能である。また、記憶部7000には、初期状態管理DB7001、対象物管理DB7003および管理者情報管理DB7005が構築されている。このうち、初期状態管理DB7001および対象物管理DB7003は、それぞれ初期状態管理DB3001および対象物管理DB3005と同様の構成であるため、説明を省略する。対象物管理DB7003は、記憶手段の一例である。
○管理者情報管理テーブル
図24は、実施形態の変形例に係る管理者情報管理テーブルの一例を示す概念図である。記憶部7000には、図24に示されているような管理者情報管理テーブルによって構成されている管理者情報管理DB7005が構築されている。図24に示されている管理者情報管理テーブルは、図9(B)に示されている管理者情報管理テーブルに含まれてる情報に加え、ロボット10を識別するための端末IDが関連づけられて管理されている。この管理者情報管理テーブルには、管理者ごとに管理対象となるロボット10が割り振られており、情報処理サーバ70は、ロボット10に応じて割り振られた管理者に対して、ロボット10の状態を示す通知情報を送信する。
●実施形態の変形例の処理または動作
続いて、図25および図26を用いて、実施形態の変形例に係る遠隔制御システム1bの動作または処理について説明する。図25は、実施形態の変形例に係る遠隔制御システムにおけるロボットの状態の通知処理の一例を示すシーケンス図である。なお、図25および図26において、ロボット10が備える制御装置30によって実行される処理は、ロボット10によって実行される処理として説明する。
まず、ロボット10は、遠隔地にいる管理者からの指示または自ら判断することによって、充電ステーション150への移動を開始する(ステップS51)。具体的には、ロボット10の移動制御部35は、初期状態管理DB3001(図8(A)参照)に記憶されている充電ステーション150が撮影された画像を用いて、充電ステーション150の位置を特定し、特定した充電ステーション150の位置までロボット10を移動させる。
ロボット10は、充電ステーション150に到達した場合、ロボット10の重量測定処理を実行する(ステップS52)。ロボット10における重量測定処理は、図19に示されているような処理と同様であるため、説明を省略する。
ロボット10の送受信部31は、情報処理サーバ70に対して、ロボット10に関する各種情報を送信する(ステップS53)。ステップS53によって送信される情報には、状態情報取得部43によって取得されたロボット10の重量を示す状態情報、移動履歴管理DB3003(図8(B)参照)に記憶されている経路情報、振動変化検出部37によって取得された検出情報、および撮影画像取得部41によって取得されたロボット10の撮影画像が含まれている。これにより、情報処理サーバ70の送受信部71は、ロボット10から送信された各種情報を受信(取得)する。
次に、情報処理サーバ70は、ロボット10の状態の分析処理を実行する(ステップS54)。ここで、図26を用いて、情報処理サーバ70におけるロボット10の状態分析処理の詳細を説明する。図26は、実施形態の変形例に係る情報処理サーバにおけるロボットの状態分析処理の一例を示すフローチャートである。
まず、情報処理サーバ70の判断部72は、ロボット10の重量が初期状態と差異があるかを判断する(ステップS54−1)。具体的には、判断部72は、ステップS53によって受信された状態情報に示されている重量が、初期状態管理DB7001(図8(A)参照)に記憶されているロボット10の初期状態の重量と所定値以上の差異があるかを判断する。この場合、判断部72は、例えば、初期状態との重量の差が0.5g以上ある場合、初期状態との差異があると判断する。判断部72は、ロボット10の重量が初期状態と差異がないと判断した場合(ステップS54−1のNO)、処理をステップS54−2へ移行させる。一方で、判断部72は、ロボット10の重量が初期状態と差異があると判断した場合(ステップS54−1のYES)、処理をステップS54−3へ移行させる。
次に、判断部72は、送受信部71によって検出情報が受信されたかを判断する(ステップS54−2)。判断部72は、検出情報を受信したと判断した場合(ステップS54−2のYES)、処理をステップS54−3へ移行させる。一方で、判断部72は、検出情報を受信していないと判断した場合(ステップS54−2のNO)、処理を終了する。
移動経路特定部73は、送受信部71によって受信された経路情報に示されている位置情報を用いて、ロボット10の移動経路を特定する。そして、移動経路特定部73は、特定した移動経路に基づいて、ロボット10の移動経路を示す経路図を生成する(ステップS54−3)。
次に、対象物特定部74は、ステップS54−1によって判断された初期状態の重量との差分値を検索キーとして対象物管理DB7003(図9(A)参照)を検索することにより、対応する対象物の候補を特定する(ステップS54−4)。具体的には、対象物特定部74は、送受信部71によって受信された状態情報に示されている重量の初期状態からの変化量に近い重量の対象物を特定する。この場合、対象物特定部74は、変化量(差分値)と同じ重量の対象物のみでなく、変化量(差分値)から所定値離れた重量の対象物を特定する構成であってもよい。ここで、対象物特定部74によって特定される対象物の数は、一つに限られず、複数の対象物の候補であってもよい。
そして、通知情報生成部75は、ステップS53によって受信された経路情報、および対象物特定部74によって特定された対象物の情報を用いて、ロボットの状態を示す通知情報を生成する(ステップS54−5)。具体的には、通知情報生成部75は、ロボット10の移動経路を示す経路情報と、ロボット10の重量の変化に起因する対象物の情報または対象物の候補を示す候補情報とを含む通知情報を生成する。さらに、通知情報生成部75は、ステップS54−3によって生成された経路図上に、ステップ53によって受信された検出情報に示されている振動変化が検出された位置を示す検出位置情報が関連づけられた通知情報を生成する。このように、情報処理サーバ70は、ロボット10から送信された情報を用いて、ロボット10の管理者へ通知する通知情報を生成することができる。なお、以下の説明において、ステップS54−5によって通知情報が生成された場合の処理を説明する。
図25に戻り、情報処理サーバ70の管理者特定部76は、送受信部71によって受信された状態情報の送信元であるロボット10の端末IDを検索キーとして管理者情報管理DB7005(図24参照)を検索することにより、対応する管理者情報を読み出す(ステップS55)。ここで、管理者情報には、管理者ID、管理者名および管理者宛先情報が含まれている。そして、情報処理サーバ70の送受信部71は、ステップS55によって読み出された管理者宛先情報に対して、ステップS54−5によって生成された通知情報を送信(出力)する(ステップS56)。これにより、ステップS55によって読み出された管理者宛先情報に示される宛先の管理者が使用する管理者端末50の送受信部51は、情報処理サーバ70から送信された通知情報を受信する。
このように、実施形態の変形例に係る遠隔制御システム1bは、情報処理サーバ70を用いてロボット10の状態を分析する場合であっても、ロボット10の状態の変化を迅速に利用者に通知することができる。
●まとめ●
以上説明したように、本発明の一実施形態に係る情報処理装置は、所定の拠点内を移動するロボット10(移動体の一例)を制御する情報処理装置(例えば、制御装置30または情報処理サーバ70)である。情報処理装置は、ロボット10の重量を示す状態情報を取得し、取得された状態情報に示される重量が変化した場合、ロボット10の移動経路を示す経路情報(例えば、経路図)と、重量の変化に起因する対象物の情報とを含む通知情報800を生成し、生成された通知情報800を出力する。これにより、情報処理装置は、拠点内を移動するロボットの状態変化を迅速に利用者に通知することができる。
また、本発明の一実施形態に係る情報処理装置(例えば、制御装置30または情報処理サーバ70)は、ロボット10(移動体の一例)の重量の変化に起因する対象物の重量を記憶し、記憶された対象物の重量と、ロボット10の重量の変化量とに基づいて、対象物の候補を特定し、特定された対象物の候補を示す候補情報を含む通知情報800を生成する。これにより、情報処理装置は、ロボット10を構成する部品の紛失等が発生した可能性のある場合、ロボット10の重量変化に基づいて、紛失した可能性のある部品の情報を利用者に通知することができる。
さらに、本発明の一実施形態に係る情報処理装置(例えば、制御装置30または情報処理サーバ70)は、ロボット10(移動体の一例)の移動中にロボット10の振動変化が検出された位置を示す検出情報を取得し、取得された検出情報に示されている位置とロボット10の移動経路を示す経路情報(例えば、経路図)が関連づけられた通知情報800を生成する。これにより、情報処理装置は、ロボット10を構成する部品の紛失等が発生した可能性のある場合、ロボット10の移動中の振動変化に基づいて、部品を紛失した可能性のある位置の情報を利用者に通知することができる。
また、本発明の一実施形態に係る情報処理装置(例えば、制御装置30または情報処理サーバ70)は、生成された通知情報800を、ロボット10(移動体の一例)を管理する管理者端末50へ送信する。また、情報処理装置は、生成された通知情報800を、ディスプレイ14(表示部の一例)に表示させる。これにより、情報処理装置は、ロボット10の管理者または拠点内にいる作業者に、ロボット10の不具合の発生や拠点内の環境変化を迅速に把握させることができる。
さらに、本発明の一実施形態に係る遠隔制御システムは、情報処理装置(例えば、制御装置30または情報処理サーバ70)と、ロボット10(移動体の一例)を管理する管理者端末50とを備える遠隔制御システム1a,1bである。管理者端末50は、情報処理装置から送信された通知情報800を受信する送受信部51(受信手段の一例)と、受信された通知情報800を表示するディスプレイ511(表示手段の一例)を備える。これにより、遠隔制御システム1a,1bは、ロボット10の管理者に、ロボット10の不具合の発生や拠点内の環境変化を迅速に把握させることができる。
●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり,コンピュータが,データ識別等の判断に必要なアルゴリズムを,事前に取り込まれる学習データから自律的に生成し,新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。
これまで本発明の一実施形態に係る情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラムについて説明してきたが、本発明は上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
1a,1b 遠隔制御システム
7 サーバシステム
10 ロボット(移動体の一例)
14 ディスプレイ(表示部の一例)
15 移動機構
30 制御装置(情報処理装置の一例)
31 送受信部(出力手段の一例)
33 表示制御部(出力手段の一例)
34 判断部(判断手段の一例)
37 振動変化検出部(検出情報取得手段の一例)
43 状態情報取得部(状態情報取得手段の一例)
45 対象物特定部(特定手段の一例)
46 通知情報生成部(生成手段の一例)
50 管理者端末
51 送受信部(受信手段の一例)
70 情報処理サーバ
71 送受信部(状態情報取得手段の一例、出力手段の一例、検出情報取得手段の一例)
74 対象物特定部(特定手段の一例)
75 通知情報生成部(生成手段の一例)
150 充電ステーション(測定装置の一例)
155 ランプ(通知手段の一例)
511 ディスプレイ(表示手段の一例)
3005,7003 対象物管理DB(記憶手段の一例)
特開2017−134794号公報

Claims (12)

  1. 所定の拠点内を移動する移動体を制御する情報処理装置であって、
    前記移動体の重量を示す状態情報を取得する状態情報取得手段と、
    取得された前記状態情報に示される重量が変化した場合、前記移動体の移動経路を示す経路情報と、前記重量の変化に起因する対象物の情報とを含む通知情報を生成する生成手段と、
    生成された前記通知情報を出力する出力手段と、
    を備える情報処理装置。
  2. 請求項1に記載の情報処理装置であって、更に、
    取得された前記状態情報に示される重量が、所定値以上変化したかどうかを判断する判断手段を備え、
    前記生成手段は、前記移動体の重量が所定値以上変化したと判断された場合、前記通知情報を生成する情報処理装置。
  3. 請求項2に記載の情報処理装置であって、更に、
    前記対象物の重量を記憶する記憶手段と、
    前記記憶された対象物の重量と、前記移動体の重量の変化量とに基づいて、前記対象物の候補を特定する特定手段と、を備え、
    前記生成手段は、特定された前記対象物の候補を示す前記候補情報を含む前記通知情報を生成する情報処理装置。
  4. 請求項1乃至3のいずれか一項に記載の情報処理装置であって、更に、
    前記移動体の移動中に当該移動体の振動変化が検出された位置を示す検出情報を取得する検出情報取得手段を備え、
    前記生成手段は、取得された検出情報に示されている位置と前記経路情報が関連づけられた前記通知情報を生成する情報処理装置。
  5. 前記出力手段は、生成された前記通知情報を、前記移動体を管理する管理者端末へ送信する請求項1乃至4のいずれか一項に記載の情報処理装置。
  6. 前記出力手段は、生成された前記通知情報を表示部に表示させる請求項1乃至5のいずれか一項に記載の情報処理装置。
  7. 請求項1乃至6のいずれか一項に記載の情報処理装置と、
    前記移動体を移動させる移動機構と、
    を備える移動体。
  8. 請求項1乃至7のいずれか一項に記載の情報処理装置と、前記移動体を管理する管理者端末と、を備える遠隔制御システムであって、
    前記管理者端末は、
    前記情報処理装置から送信された前記通知情報を受信する受信手段と、
    受信された前記通知情報を表示する表示手段と、
    を備える遠隔制御システム。
  9. 請求項8に記載の遠隔制御システムであって、更に、
    前記移動体の重量を測定する測定装置を備え、
    前記状態情報取得手段は、前記測定装置によって測定された重量を示す前記状態情報を取得する遠隔制御システム。
  10. 請求項9に記載の遠隔制御システムであって、
    前記測定装置は、
    測定した重量が変化した場合、当該重量の変化を通知する通知手段を備える遠隔制御システム。
  11. 所定の拠点内を移動する移動体を制御する情報処理装置が実行する情報処理方法であって、
    前記移動体の重量を示す状態情報を取得する取得ステップと、、
    取得された前記状態情報に示される重量が変化した場合、前記移動体の移動経路を示す経路情報と、前記重量の変化に起因する対象物の情報とを含む通知情報を生成する生成ステップと、
    生成された前記通知情報を出力する出力ステップと、
    を実行する情報処理方法。
  12. コンピュータに、請求項11に記載の方法を実行させるプログラム。
JP2019140163A 2019-07-30 2019-07-30 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム Pending JP2021022331A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019140163A JP2021022331A (ja) 2019-07-30 2019-07-30 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019140163A JP2021022331A (ja) 2019-07-30 2019-07-30 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2021022331A true JP2021022331A (ja) 2021-02-18

Family

ID=74574838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019140163A Pending JP2021022331A (ja) 2019-07-30 2019-07-30 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2021022331A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122333A (ja) * 2005-10-27 2007-05-17 Fujitsu Support & Service Kk 産業廃棄物の輸送管理方法および輸送管理システム
JP2007257514A (ja) * 2006-03-24 2007-10-04 Fuji Heavy Ind Ltd 塵芥収集車、塵芥収集車の運行管理システム、センタ装置、及び塵芥収集車の運行管理方法
JP2019044538A (ja) * 2017-09-06 2019-03-22 日立建機株式会社 路面状況演算装置及び鉱山の路面管理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122333A (ja) * 2005-10-27 2007-05-17 Fujitsu Support & Service Kk 産業廃棄物の輸送管理方法および輸送管理システム
JP2007257514A (ja) * 2006-03-24 2007-10-04 Fuji Heavy Ind Ltd 塵芥収集車、塵芥収集車の運行管理システム、センタ装置、及び塵芥収集車の運行管理方法
JP2019044538A (ja) * 2017-09-06 2019-03-22 日立建機株式会社 路面状況演算装置及び鉱山の路面管理システム

Similar Documents

Publication Publication Date Title
US20210001487A1 (en) Information processing apparatus, information processing method, and storage medium
EP3772217A1 (en) Output control apparatus, display terminal, remote control system, control method, and carrier medium
JP2018032134A (ja) 建設機械管理システム
JP6384443B2 (ja) 点検作業支援装置、システム、及び方法
JP6830032B2 (ja) サービス提供システム
JP2021013159A (ja) 情報処理装置、テレプレゼンスロボット、拠点制御システム、遠隔制御システム、情報処理方法およびプログラム
KR102018556B1 (ko) 하자 보수 관리를 위한 관리 시스템 및 방법
WO2018154633A1 (ja) 制御装置、制御方法およびプログラム記録媒体
JP2020013242A (ja) ロボット制御システム、ロボット装置およびプログラム
JP2022058146A (ja) スケジューリングシステム、スケジューリング方法およびプログラム
JP2021022331A (ja) 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム
US20240118703A1 (en) Display apparatus, communication system, display control method, and recording medium
US20220166835A1 (en) Management apparatus, recording medium, and management method
JP2014222410A (ja) 携帯表示装置及び表示プログラム並びに操作案内システム
JP2018149670A (ja) 学習対象装置及び動作方法
JP6918044B2 (ja) ロボット制御装置及びロボット制御方法
JP6412971B2 (ja) 位置情報算出装置、位置情報算出方法及び位置情報算出プログラム
WO2022070767A1 (ja) 情報処理装置、移動体、撮影システム、撮影制御方法およびプログラム
JP7099597B2 (ja) 情報処理装置、移動体、撮影システム、撮影制御方法およびプログラム
JP2024063106A (ja) 表示システム、通信システム、表示制御方法およびプログラム
US20230205198A1 (en) Information processing apparatus, route generation system, route generating method, and non-transitory recording medium
US20240053746A1 (en) Display system, communications system, display control method, and program
WO2023089943A1 (ja) 管理システム、管理方法及びプログラム
JP2022146885A (ja) 表示装置、通信システム、表示制御方法およびプログラム
JP7398184B1 (ja) 映像提供システム、映像提供方法および映像提供プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20231013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231019

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231226