JP6950192B2 - 情報処理装置、情報処理システム及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。

特許文献１には、遠隔操作するロボットの位置および方向をディスプレイ上に表示し、必要に応じて表示位置および方向を修正できる技術が記載されている。

特開２００９−１２３０６１号公報

ＩｏＴ（Internet of Things）社会の進展に伴い、物の位置等を容易に把握できる仕組みが必要になる。

本発明は、移動体に紐付けられた画像の表示寸法が遠近を表さない場合に比して、位置関係の把握を容易にすることを目的とする。

請求項１に記載の発明は、移動体に紐付けられた第１の画像を表示する表示制御部を有する情報処理装置であり、前記移動体は、自機を移動させる移動部と、撮像部と、連結された部材の可動により物を掴む動作が可能な可動機構と、各部の状態を検知するセンサと、各部から取得した情報を前記情報処理装置に送信する通信部とを有し、前記移動体との通信により取得した前記情報を通じ、当該移動体が物を掴んでいる状態を検知した場合、前記表示制御部は、前記第１の画像を、前記可動機構が物を掴む動作を伴う稼働状態を表現する表示に変化させ、前記移動体との通信により取得した前記情報を通じ、当該移動体が実空間で物を落とした状態を検知した場合、前記表示制御部は、物を掴んでいない外観の前記第１の画像と、当該移動体から落ちた状態の物を示す第２の画像を表示する、情報処理装置である。
請求項２に記載の発明は、前記移動体との通信により取得した前記情報を通じ、当該移動体が実空間で物を落とした状態を検知した場合、前記表示制御部は、落とした物の回収をユーザに要請する表記を行うこと、を特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記物は印刷物である、請求項１又は２に記載の情報処理装置である。
請求項４に記載の発明は、自機を移動させる移動部と、撮像部と、連結された部材の可動により物を掴む動作が可能な可動機構と、各部の状態を検知するセンサと、各部から取得した情報を送信する通信部とを有する、１つ又は複数の移動体と、前記移動体に紐付けられた第１の画像を表示する情報処理装置とを有し、前記移動体との通信により取得した前記情報を通じ、当該移動体が物を掴んでいる状態を検知した場合、前記情報処理装置は、前記第１の画像を、前記可動機構が物を掴む動作を伴う稼働状態を表現する表示に変化させ、前記移動体との通信により取得した前記情報を通じ、当該移動体が実空間で物を落とした状態を検知した場合、前記情報処理装置は、物を掴んでいない外観の前記第１の画像と、当該移動体から落ちた状態の物を示す第２の画像を表示する、情報処理システムである。
請求項５に記載の発明は、自機を移動させる移動部と、撮像部と、連結された部材の可動により物を掴む動作が可能な可動機構と、各部の状態を検知するセンサと、各部から取得した情報を送信する通信部とを有する移動体と通信するコンピュータに、表示画面上に移動体に紐付けられた第１の画像を表示させる機能と、前記移動体との通信により取得した前記情報を通じ、当該移動体が物を掴んでいる状態を検知した場合、前記第１の画像を、前記可動機構が物を掴む動作を伴う稼働状態を表現する表示に変化させる機能と、前記移動体との通信により取得した前記情報を通じ、当該移動体が実空間で物を落とした状態を検知した場合、物を掴んでいない外観の前記第１の画像と、当該移動体から落ちた状態の物を示す第２の画像を表示させる機能と、を実現させるためのプログラムである。

請求項１記載の発明によれば、画像の表示形態の変化を通じて稼働状態を把握できる。
請求項２記載の発明によれば、操作画面上に救援を要求する表記が行われるので、移動体の稼働状態を把握できる。
請求項３記載の発明によれば、操作画面上に救援を要求する表記が行われるので、移動体の稼働状態を把握できる。
請求項４記載の発明によれば、画像の表示形態の変化を通じて稼働状態を把握できる。
請求項５記載の発明によれば、画像の表示形態の変化を通じて稼働状態を把握できる。

実施形態の一例である情報処理システムの概念構成を示す図である。 ユーザを含むように管理区域を定める例を示す図である。 基準点から一定の距離又は一定の範囲を管理区域に定める例を示す図である。 実施形態の他の例である情報処理システムの概念構成を示す図である。 本実施の形態で使用するロボットの外観構成を説明する図である。 本実施の形態におけるロボットのハードウェア構成を説明する図である。 ビーコンを用いる測位方式を説明する図である。 ロボットから送信される通信用の電波からロボットの位置を測位する方式を説明する図である。 本実施の形態における情報端末のハードウェア構成を説明する図である。 本実施の形態に係る情報端末のソフトウェア構成を説明する図である。 ユーザとロボットとの距離を説明する図である。 管理区域の中心位置とロボットとの距離を説明する図である。 子供やペット等の基準点とロボットとの距離を説明する図である。 実空間における管理区域が楕円形状であるのに対し、表示部の表示画面が概略矩形である場合の変形処理を説明する図であり、（ａ）は実空間における管理区域の形状を示し、（ｂ）は表示上の仮想管理区域に加えられる部分領域別の変形の方向と大きさを示す。 ユーザが位置する管理区域の端部が画面左端に位置するように仮想管理区域を変形する例を説明する図であり、（ａ）は実空間における管理区域の形状を示し、（ｂ）は仮想管理区域に加えられる部分領域別の変形の方向と大きさを示す。 実空間における管理区域が一方向に長い長方形状（例えば細長い通路）であるのに対し、表示部の表示画面が概略矩形である場合の変形処理を説明する図であり、（ａ）は実空間における管理区域の形状を示し、（ｂ）は仮想管理区域に加えられる部分領域別の変形の方向と大きさを示す。 変形後の仮想管理区域の形状が表示画面の形状に一致しない例を説明する図であり、（ａ）は実空間における管理区域の形状を示し、（ｂ）は仮想管理区域に加えられる部分領域別の変形の方向と大きさを示す。 表示画面上に他の作業画面が表示される場合に、他の作業画面と重ならないように仮想管理区域を変形させる例を説明する図であり、（ａ）は実空間における管理区域の形状を示し、（ｂ）は仮想管理区域に加えられる部分領域別の変形の方向と大きさを示す。 表示画面におけるロボットの位置表示に実画像を用いる例を説明する図であり、（ａ）はカメラの配置例を示し、（ｂ）は仮想管理区域における表示例を示す。 表示画面上に他の作業画面が表示される場合に、仮想管理区域を表示画面内で移動する例を説明する図であり、（ａ）は他の作業画面が表示される前の仮想管理区域の表示位置を示し、（ｂ）は他の作業画面が表示された後の仮想管理区域の表示位置を示す。 表示画面上に他の作業画面が表示される場合に、仮想管理区域を表示画面と仮想管理画面を跨ぐ位置に移動する例を説明する図であり、（ａ）は他の作業画面が表示される前の仮想管理区域の表示位置を示し、（ｂ）は他の作業画面が表示された後の仮想管理区域の表示位置を示す。 表示画面上に他の作業画面が表示される場合に、仮想管理区域を仮想管理画面に移動する例を説明する図であり、（ａ）は他の作業画面が表示される前の仮想管理区域の表示位置を示し、（ｂ）は他の作業画面が表示された後の仮想管理区域の表示位置を示す。 距離に応じてロボットに紐付けられた画像の表示寸法を変化させる例を説明する図であり、（ａ）は実空間上におけるユーザとロボットの距離の関係を示し、（ｂ）は表示寸法の変化が連続的である場合を示し、（ｃ）は表示寸法の変化がステップ的である場合を示す。 仮想管理区域の各部に表示縮尺（スケールバー）を表示する例を示す図である。 表示寸法が表す距離情報を画面上に表示する例を説明する図であり、（ａ）は表示寸法と距離の対応見本を示し、（ｂ）は画像の近傍に距離の目安が表示される例を示す。 ロボットの位置を特定するエリア名で表示する例を説明する図であり、（ａ）は管理区域で規定されているエリア名を示し、（ｂ）は仮想管理区域上にロボットが存在するエリア名を表示する表示例を示す。 ロボットまでの距離を画面上に表示する例を説明する図であり、（ａ）は管理区域内にあるロボットの位置を示し、（ｂ）は仮想管理区域にロボットまでの距離を数値で表示する表示例を示す。 ロボットが管理区域を超えることを予告する画面の例を説明する図であり、（ａ）は管理区域とロボットの位置関係を示し、（ｂ）は表示画面に表示される予告画面の例を示し、（ｃ）は予告表示後の表示を示す。 ロボットが管理区域を超えることを予告する画面の他の例を説明する図であり、（ａ）は管理区域とロボットの位置関係を示し、（ｂ）は表示画面に表示される予告画面の例を示し、（ｃ）は予告表示後の表示を示す。 ロボットが管理区域に復帰することを予告する画面の例を説明する図であり、（ａ）は管理区域とロボットの位置関係を示し、（ｂ）は表示画面に表示される予告画面の例を示し、（ｃ）は予告表示後の表示を示す。 ロボットが管理区域に復帰することを予告する画面の例を説明する図であり、（ａ）は管理区域とロボットの位置関係を示し、（ｂ）は表示画面に表示される予告画面の例を示し、（ｃ）は予告表示後の表示を示す。 管理区域の中央でロボットとの通信が途切れる場合の表示例を説明する図であり、（ａ）は管理区域とロボットの位置関係を示し、（ｂ）は通信不良を予告する画面の例を示し、（ｃ）は予告表示後の表示を示す。 管理区域の中央でロボットとの通信が再開される場合の表示例を説明する図であり、（ａ）は管理区域とロボットの位置関係を示し、（ｂ）は通信再開前の画面の例を示し、（ｃ）は通信の再開を示す画面の例を示す。 稼働情報取得部から稼働情報を取得した表示画像生成部による表示例を説明する図であり、（ａ）は実空間上でのロボットの稼働状態を示し、（ｂ）は表示画面上の表示態様を示す。 稼働情報取得部から稼働情報を取得した表示画像生成部による表示の他の例を説明する図であり、（ａ）は実空間上でのロボットの稼働状態を示し、（ｂ）は表示画面上の表示態様を示す。 ユーザとロボットが近くに位置する場合の表示例を示す図であり、（ａ）は管理区域におけるユーザとロボットの位置を示し、（ｂ）は仮想管理区域における位置関係の表示例を示す。 ユーザとロボットが離れて位置する場合の表示例を示す図であり、（ａ）は管理区域におけるユーザとロボットの位置を示し、（ｂ）は仮想管理区域における位置関係の表示例を示す。 ユーザが管理区域の中央付近に位置する場合の表示例を示す図であり、（ａ）は管理区域におけるユーザとロボットの位置を示し、（ｂ）は仮想管理区域における位置関係の表示例を示す。 ユーザとロボットが近くに位置する場合の他の表示例を示す図であり、（ａ）は管理区域におけるユーザとロボットの位置を示し、（ｂ）は仮想管理区域における位置関係の表示例を示す。 ユーザとロボットが近くに位置する場合の他の表示例を示す図であり、（ａ）は管理区域におけるユーザとロボットの位置を示し、（ｂ）は仮想管理区域における位置関係の表示例を示す。 管理区域内に複数のロボットが位置する場合の表示例を示す図であり、（ａ）は管理区域におけるユーザと２台のロボットの位置関係を示し、（ｂ）は仮想管理区域における位置関係の表示例を示す。 管理区域内における複数のロボットの位置関係が変化した場合の表示例を示す図であり、（ａ）は管理区域におけるユーザと２台のロボットの位置関係を示し、（ｂ）は仮想管理区域における位置関係の表示例を示す。 表示画面内に他の作業画面が表示された場合の表示例を示す図であり、（ａ）は管理区域におけるユーザと２台のロボットの位置関係を示し、（ｂ）は仮想管理区域における位置関係の表示例を示す。 他の作業画面の表示寸法が変化する場合の仮想管理区域の形状変化を説明する図であり、（ａ）は他の作業画面が表示される前の表示例を示し、（ｂ）は他の作業画面が表示された直後の表示例を示し、（ｃ）は他の作業画面の表示面積が変更された後の表示例を示す。 ロボットが管理区域内でユーザから遠ざかる場合の表示例を説明する図であり、（ａ）は管理区域におけるユーザとロボットの位置関係を示し、（ｂ）はロボットが遠ざかる様子を表現する表示例を示し、（ｃ）はロボットが遠ざかる様子を表現する他の表示例を示す。 ロボットが管理区域内でユーザに近づく場合の表示例を説明する図であり、（ａ）は管理区域におけるユーザとロボットの位置関係を示し、（ｂ）はロボットが近づく様子を表現する表示例を示し、（ｃ）はロボットが近づく様子を表現する他の表示例を示す。 複数の管理区域に位置している複数のロボットを１つの表示画面で管理する場合の表示例を説明する図であり、（ａ）は２つの管理区域におけるロボットの位置を示し、（ｂ）は表示画面の表示例を示す。 表示画面を用いてロボットに指示を出す場合の表示例を説明する図であり、（ａ）はロボットからの指示要求画面例を示し、（ｂ）はユーザによる指示の入力例を示し、（ｃ）はロボットからの応答画面例を示す。 ロボットに実行させたい機能を表す画像を、ロボットに紐付けられた画像に重ね合わせることで機能の実行を指示する場合の表示例を説明する図であり、（ａ）はロボットに対する機能の実行指示操作を示し、（ｂ）はロボットからの応答画面例を示し、（ｃ）はロボットの稼働動作を示す。 ロボットに紐付けられた画像の位置を表示画面上で移動させる移動動作があると、管理区域上でロボットが実際に移動される様子を説明する図であり、（ａ）は表示画面の表示例を示し、（ｂ）は実空間である管理区域におけるロボットの移動を示す。 実空間上でのロボットの移動量に対応する仮想管理区域での画像の変化量が仮想管理区域の形状に応じて変化する様子を説明する図であり、（ａ）は実空間上でのロボットの移動量を示し、（ｂ）は仮想管理区域の表示面積が大きい場合の画像の変化量を示し、（ｃ）は仮想管理区域の表示面積が小さい場合の画像の変化量を示す。 仮想管理区域の表示寸法に応じて画像の変化範囲が制約を受けることを説明する図であり、（ａ）は仮想管理区域の表示寸法が大きい場合の画像の変化範囲を示し、（ｂ）は仮想管理区域の表示寸法が小さい場合の画像の変化範囲を示す。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜システム構成例＞
図１は、実施形態の一例である情報処理システム１の概念構成を示す図である。
情報処理システム１は、ユーザ３によって操作される情報端末１００と、ユーザ３の管理下にあるロボット２００とによって構成されている。
情報端末１００は情報処理装置の一例であり、ロボット２００は移動体の一例である。

図１では、情報端末１００としてノート型のコンピュータを例示しているが、情報端末１００は、搭載する表示デバイス又は外部の表示デバイスとの連携により、ロボット２００の位置情報を表示できる機能を備える機器であれば種類を問わない。
例えば情報端末１００は、（１）据え置き型のコンピュータ、タブレット型のコンピュータ、スマートウォッチ、スマートフォン、デジタルカメラ、ビデオカメラ、モニタ等の画像表示装置、画像記録装置、画像再生装置、ゲーム機等の電子機器、（２）冷蔵庫、調理器、洗濯機等の家庭用電気製品、（３）家電モニタ等の住宅設備、（４）自動車等の車両、（５）工作機械等でもよい。

本実施の形態において、「移動体」は、実空間において位置が固定されていない物であればよく、例えばぬいぐるみ等の人形や玩具、装飾品、ノート型のコンピュータ、タブレット型のコンピュータ、スマートウォッチ、スマートフォン、デジタルカメラ、ビデオカメラ、ボイスレコーダ、医療器具等の可搬型の物品の他、自動車、電車、船、飛行機、ドローン等の自走機構によって実空間内を移動する有人又は無人の輸送用機器も含まれる。また、移動体には、自転車やベビーカーのように人力で移動する車両も含まれる。
移動体の移動は、面内に限らず線上を含み、水平方向に限らず上下方向を含み、屋内に限らず屋外を含み、地上に限らず、水中、空中、地中、体内を含む。

図１の場合、ユーザ３は、情報端末１００において実行される処理機能を通じ、管理区域３００内にあるロボット２００の所在や稼働状態を把握する。
管理区域３００は、管理対象とする移動体の所在や状態の管理のために現実の空間で定められる区域であり、物理的に定まる場合（例えば建物、オフィスや店舗のフロア、壁やパーテーションで仕切られた部屋や区画など）だけでなく、基準点との関係で物理的に定まる場合、ユーザの指定により定まる場合を含む。
基準点には、構造物、物品、人、動物、植物などの物理的に特定可能な対象が用いられる。
基準点との関係には、基準点を含む区画、基準点を含む部屋、基準点を含むフロア、基準点を含む建物、基準点を含む地域の他、基準点からの距離なども含まれる。

図２及び図３は、移動体が移動可能な最大範囲を与える実空間４００の一部分を管理区域３００に設定した例を表している。
図２は、ユーザ３を含むように管理区域３００を定める例を示す図である。
図３は、基準点５から一定の距離又は一定の範囲を管理区域３００に定める例を示す図である。
図３においては、管理区域３００として、保護対象としての子供やペット、防犯対象として貴金属などが基準点５として指定された例を表している。
基準点５は必ずしも不動点に限らず、移動点であってもよい。基準点５が移動点の場合、管理区域３００の範囲は基準点５の移動に伴って移動する。

図４は、実施形態の他の例である情報処理システム１０の概念構成を示す図である。図４には図１との対応部分に同一符号を付して表している。
情報処理システム１０では、情報端末１００がネットワーク５００を通じてサーバ６００に接続されている。この点が、情報処理システム１０と情報処理システム１（図１参照）との違いである。
情報処理システム１０の場合、ロボット２００の所在や稼働状態はサーバ６００で実行される処理機能を通じて情報端末１００に提供される。従って、図４における情報端末１００はいわゆる入出力装置として使用され、後述する処理機能はサーバ６００側で実行される。その意味で、サーバ６００は情報処理装置の一例である。

＜ロボットの構成＞
・外観構成
図５は、本実施の形態で使用するロボット２００の外観構成を説明する図である。ロボット２００は、人形や玩具の一形態である。
ロボット２００の外観構成は、図５に示すヒト型に限らず、犬やネコなどの動物、花や木などの植物、車（電車を含む）や飛行機等の乗り物を題材として表現したものでよい。本実施の形態における乗り物には有人機だけでなく無人機も含まれる。

図５に例示したヒト型のロボット２００は、胴部２０１、頭部２０２、腕２０３、２０５、手２０４、２０６、足２０７、２０８を有している。
本実施の形態における胴部２０１には、信号処理のための電子部品が格納されている。胴部２０１には、表示デバイスや音響機器が搭載されてもよい。
もっとも、ロボット２００が単なる人形である場合、胴部２０１には詰め物が充填される。

本実施の形態における頭部２０２は、首の部分に設けられたジョイント機構を介して胴部２０１に連結されている。
本実施の形態の場合、ジョイント機構は、３軸まわりに回転可能である。３軸まわりの回転とは、ヨー（ｚ軸まわりの回転）、ロール（ｘ軸まわりの回転）、ピッチ（ｙ軸まわりの回転）の３つである。
３軸の全てに対して回転可能である必要はなく、１軸のみ又は２軸について回転可能でよい。これらの回転は手動で行われてもよいし、不図示のモーターによる回転駆動により実現してもよい。もっとも、頭部２０２が胴部２０１に対して固定される場合を妨げない。
頭部２０２には目２０２Ａ、２０２Ｂが設けられている。目２０２Ａ及び２０２Ｂは、装飾的に配置されていてもよいし、撮像装置、投影機、照明等を内蔵してもよい。頭部２０２には可動式の耳が配置されていてもよい。

本実施の形態における腕２０３及び２０５は、胴部２０１とジョイント機構を介して連結されている。腕２０３及び２０５の上腕と前腕は、ジョイント機構を介して連結されている。
本実施の形態の場合、ジョイント機構は、頭部２０２と同様に多軸でも単軸でもよい。また、軸周りの回転は手動で実現されてもよいし、不図示のモーターによる回転駆動により実現してもよい。
もっとも、腕２０３及び２０５は、胴部２０１に固定されていてもよい。
なお、腕２０３及び２０５を予め定めた角度に折り曲げれば、物の運搬に用いることができる。

手２０４及び２０６は、手首の部分に設けられたジョイント機構を介して腕２０３及び２０５に連結されている。手２０４及び２０６の手の平と指は、いずれもジョイント機構を介して連結されている。
本実施の形態におけるジョイント機構は、頭部２０２と同様に多軸でも単軸でもよい。また、軸周りの回転は手動で実現されてもよいし、不図示のモーターによる回転駆動によって実現してもよい。
本実施の形態の場合、手２０４及び２０６は、指の開閉により物を掴むことができる。
手２０４及び２０６は、腕２０３及び２０５に対して固定でもよい。

足２０７及び２０８は、ジョイント機構を介して胴部２０１に連結されてもよいし、車輪やキャタピラー等の自走機構として胴部２０１に取り付けられてもよい。
足２０７及び２０８がジョイント機構を介して胴部２０１に連結される場合、ジョイント機構は、頭部２０２と同じく多軸でも単軸でもよい。
また、軸周りの回転は手動で実現されてもよいし、不図示のモーターによる回転駆動によって実現してもよい。なお、足２０７及び２０８は、胴部２０１に対して固定でもよい。

・ハードウェア構成
図６は、本実施の形態におけるロボット２００のハードウェア構成を説明する図である。
ロボット２００は、装置全体の動きを制御する制御部２１０と、静止画像又は動画像を撮像するカメラ２１１と、会話用の音声、楽曲、効果音を再生するスピーカ２１２と、音の入力又は取得に用いられるマイク２１３と、ジョイント機構などの可動機構２１４と、外部装置との通信に用いられる通信部２１５と、画像を表示する表示部２１６と、装置全体を移動させる移動機構２１７と、各部に電力を供給する電源２１８と、各部の状態や周辺情報の収集に使用されるセンサ２１９と、位置情報の取得に用いられる位置検知部２２０とを有している。これらの各部は、例えばバス２２１により互いに接続されている。

言うまでもなく、図６に示すハードウェア構成は一例である。従って、ロボット２００は、前述した全ての部材を搭載する必要はない。
また、ロボット２００は、不図示の部材を更に搭載してもよい。例えばロボット２００は、電源ボタン、記憶装置（ハードディスク装置、半導体メモリ等）、熱源（冷却源を含む。）等を搭載してもよい。

制御部２１０は、いわゆるコンピュータであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有している。
ＲＯＭには、ＣＰＵにより実行されるプログラムが記憶されている。ＣＰＵは、ＲＯＭに記憶されているプログラムを読み出し、ＲＡＭを作業エリアに使用してプログラムを実行する。プログラムの実行を通じ、ＣＰＵはロボット２００を構成する各部の動作を制御する。

制御部２１０は、例えばカメラ２１１、マイク２１３、センサ２１９を通じて取得される情報をプログラムに従って処理する機能を有している。
ここでの情報には、例えば視覚、聴覚、触覚、味覚、嗅覚、平衡感覚、温度が含まれる。
視覚は、カメラ２１１で撮像された画像の認識処理を通じて実現される。
聴覚は、マイク２１３で取得された音の認識処理を通じて実現される。
触覚には、例えば表在感覚（触覚、痛覚、温度覚）、深部覚（圧覚、位置覚、振動覚など）、皮質性感覚（二点識別覚、立体識別能力など）が含まれる。制御部２１０は、触覚の違いを分別できる。
触覚、味覚、臭覚、平衡感覚、温度は、各種のセンサ２１９による情報の検知を通じて実現される。なお、温度には、周辺温度、内部温度、ヒトや動物の体温なども含まれる。
更に、制御部２１０が取得する情報には、ヒトや動物の脳波も含み得る。この場合、脳波は、ヒト等に装着された脳波検知デバイスから発信される情報を通信部２１５で受信すればよい。

制御部２１０には、取得した情報を認識し、処理するための機能が備えられている。これらの機能は、内蔵されたプログラムや通信部２１５を通じて接続された外部のコンピュータで実行されるプログラムを通じて実現される。
認識処理では、人工知能に基づく機械学習を採用してもよく、当該技術を採用すればヒトに近い判断結果が得られる。最近では、ニューラルネットワーク型のディープラーニングが発達している。また部分的に学習分野を強化する強化学習などによる認識精度の向上も進んでいる。
さらに、制御部２１０には、不明な事態が発生した場合に、インターネット検索や外部のコンピュータとの通信を通じて情報を収集し、検索事象との類似度によって解決策を発見する機能を搭載してもよい。

制御部２１０は、認識結果や処理結果に基づいて、各種の動作を実行する。例えばスピーカ２１２を通じて音声を出力したり、通信部２１５を通じてメッセージを送信したり、表示部２１６を通じて画像を出力してもよい。
これら情報の入出力や可動機構２１４の動きを通じ、制御部２１０は、ユーザとの間でコミュニケーションを成立させることができる。コミュニケーションの応用例には、例えば接客や会議の進行なども含まれる。
また、制御部２１０は、コミュニケーションの記録機能や議事録の作成機能を有してもよい。

通信を確立できない外部機器が存在する場合、制御部２１０は、外部機器の遠隔操作のために用意されたコントローラを画像認識（例えば形状やリモコンに記載されている文字による認識）により特定し、特定されたコントローラに対する操作を通じて外部機器に対して指示を送信できるようにしてもよい。

本実施の形態の場合、カメラ２１１は、目２０２Ａ及び２０２Ｂ（図５参照）の位置に配置される。
また、表示部２１６として投影機が用いられる場合、投影機は、例えば目２０２Ａ及び２０２Ｂ（図５参照）のいずれか一方又は両方に配置することができる。なお、投影機は胴部２０１や頭部２０２に配置してもよい。

可動機構２１４は、物の搬送の他、感情を表現する目的でも使用される。
物の搬送に使用される場合、可動機構２１４は、腕２０３、２０５や手２０４、２０６の変形を通じて、例えば物を掴む、抱える、支える等の動作を実現する。
感情の表現に使用される場合、可動機構２１４は、例えば頭部２０２、腕２０３、２０５等（図５参照）の駆動を通じて、頭を傾げる、見上げる、周囲を見回す（キョロキョロする）、万歳する、指さし等の動作を実行する。

本実施の形態における通信部２１５は、無線方式によって外部と通信する。
ロボット２００には、通信先として想定する外部装置で用いられる通信方式の数だけ通信部２１５が搭載される。
通信方式には、例えば赤外線通信、可視光通信、近接無線通信、ＷｉＦｉ（登録商標）、ブルートゥース（登録商標）、ＲＦＩＤ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＩＥＥＥ８０２．１１ａ（登録商標）、ＭｕｌｔｅＦｉｒｅ、ＬＰＷＡ（Low Power Wide Area）等がある。
無線通信に使用する帯域には、短波長帯（例えば８００ＭＨｚ〜９２０ＭＨｚ）、長波長帯（例えば2．4ＧＨｚ、5ＧＨｚ）等がある。
なお、通信部２１５と外部装置との接続には通信ケーブルを使用してもよい。

これらの通信機能の応用例として、ロボット２００は、仮想通貨による決済機能を有してもよい。
決済機能には、事前に預託された金額の範囲での決済が可能なプリペイド式、後払い型のクレジット決済、指定口座から代金を決済するデビットカード決済等を用いてもよい。
通貨は、ビットコイン（登録商標）のような仮想通貨でもよい。
なお、ロボット２００の胴部２０１に現金を収容する空間を設け、必要に応じて決済に必要な金額を排出する機能、収容されている現金を取り出せるように扉を開閉する機能などを設けてもよい。
スピーカ２１２と連動して、ヒトに現金を借りる機能を設けてもよい。

表示部２１６は、ユーザとの間で視覚的なコミュニケーションを実現するために用いられる。
本実施の形態の場合、表示部２１６には、文字や図形が表示される。
表示部２１６が頭部２０２に配置される場合、表示部２１６に表情を表示してもよい。

本実施の形態の場合、移動機構２１７には車輪やキャタピラーを用いるが、プロペラや圧縮空気の吹き出し機構を用い、空気の力でロボット２００を移動させてもよい。
本実施の形態における電源２１８には二次電池を使用するが、電力を発生できれば一次電池、燃料電池、太陽電池のいずれを用いてもよい。
また、電源２１８の代わりに、電源ケーブルを通じて外部から電力の供給を受ける構成を採用してもよい。

本実施の形態の場合、ロボット２００には、位置検知部２２０が搭載されている。
位置検知部２２０には、例えばＧＰＳ（Global Positioning System）信号から地点情報を読み取る方式、ＧＰＳと同等の信号を用いて屋内の位置を測位するＩＭＥＳ（Indoor Messaging System）方式、ＷｉＦｉの複数のアクセスポイントから送信された電波の強度や到達時間等から位置を測位するＷｉＦｉ測位方式、基地局から定期的に発生される信号に対する応答の方角と遅延時間から位置を測位する基地局測位方式、不可聴域の超音波を受信して位置を測位する音波測位方式、ブルートゥースを使ったビーコンからの電波を受信して位置を測位するブルートゥース測位方式、ＬＥＤ（Light Emitting Diode）等の照明光の点滅によって伝達される位置情報を用いて位置を測位する可視光測位方式、加速度センサやジャイロセンサ等を用いて現在位置を測位する自律航法方式等を利用する。

図７は、ビーコンを用いる測位方式を説明する図である。図７の場合、発振器７００Ａが壁に配置され、発振器７００Ｂが床に配置され、発振器７００Ｃが天井に配置され、発振器７００Ｄが画像形成装置７００の内部に配置されている。各発信器からは、固有の位置情報によって変調されたビーコンが発せられる。
位置検出技術には、屋内用の技術に限らず、屋外用の技術を用いてもよい。ロボット２００が屋内と屋外の両方で使用される場合、屋内用と屋外用の２種類の位置検知部２２０を搭載してもよい。
検出又は推定された位置情報は、通信部２１５を通じて情報端末１００やサーバ６００に通知される。

本実施の形態の場合、ロボット２００に位置検知部２２０が搭載されているが、位置検知部２２０が搭載されていない場合には、外部設備を通じてロボット２００の位置情報を取得又は推定してもよい。
図８は、ロボット２００から送信される通信用の電波からロボット２００の位置を測位する方式を説明する図である。
ロボット２００から送信された電波２２５は、位置が既知のアクセスポイント８００Ａ、８００Ｂ、８００Ｃで受信される。位置測位部９００は、アクセスポイント８００Ａ、８００Ｂ、８００Ｃで受信された電波２２５の強度や遅延時間等からロボット２００の位置を測位する。測位された位置情報は、位置測位部９００から情報端末１００やサーバ６００に通知される。
もっとも、位置測位部９００としての機能を情報端末１００やサーバ６００が実行してもよい。

この他、ロボット２００との間で近接無線通信が確立した読取装置（いわゆるリーダ）の位置情報をロボット２００の位置として用いてもよい。
また、屋内や屋外に配置された監視カメラなどによって撮像された画像にロボット２００の画像が含まれる場合、ロボット２００を撮像した監視カメラの位置などをロボット２００の位置として用いてもよい。ロボット２００の検出には画像認識技術を使用する。
ここでの監視カメラを使用する方法は、ロボット２００が電子部品を搭載しない人形の場合にも適用できる。

＜情報端末及びサーバの構成＞
続いて、情報端末１００及びサーバ６００の構成について説明する。以下では、情報端末１００の構成について説明する。

・ハードウェア構成
図９は、本実施の形態における情報端末１００のハードウェア構成を説明する図である。
情報端末１００は、装置全体の動きを制御する制御部１１０と、ユーザによる操作入力を受け付ける操作部１１１と、外部装置との通信に用いられる通信部１１２と、各種のデータの記憶に用いられる記憶部１１３と、各種のアプリケーションに対応する作業画面を表示する表示部１１４と、音声や楽曲、効果音などを出力するスピーカ１１５とを有している。これらの各部は、例えばバス１１６により互いに接続されている。

言うまでもなく、図９に示すハードウェア構成は一例である。従って、情報端末１００は、前述した全ての部材を搭載する必要はない。また、情報端末１００は、不図示の部材を更に搭載してもよい。
なお、サーバ６００の場合は、制御部１１０、通信部１１２、記憶部１１３が搭載されていればよい。

制御部１１０は、いわゆるコンピュータであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有している。
ＲＯＭには、ＣＰＵにより実行されるプログラムが記憶されている。ＣＰＵは、ＲＯＭに記憶されているプログラムを読み出し、ＲＡＭを作業エリアに使用してプログラムを実行する。プログラムの実行を通じ、ＣＰＵは情報端末１００を構成する各部の動作を制御する。
本実施の形態における制御部１１０は表示制御部の一例である。表示制御部としての機能については後述する。

操作部１１１には、マウス、キーボード、タッチパネル等が用いられる。タッチパネルは、表示部１１４の前面側に配置される。
通信部１１２は、有線方式により又は無線方式により外部装置と通信するための装置である。本実施の形態における通信部１１２は、無線方式により外部装置と通信する。外部装置の一例がロボット２００である。
記憶部１１３は、ハードディスク装置その他の大容量の記憶装置である。ＣＰＵで実行されるプログラムは記憶部１１３に記憶されていてもよい。

表示部１１４には、液晶ディスプレイパネル、有機ＥＬ（electroluminescence）ディスプレイパネル等が用いられる。なお、表示部１１４は、情報端末１００に対して外付けされるモニタでもよい。

・ソフトウェア構成
図１０は、本実施の形態に係る情報端末１００のソフトウェア構成を説明する図である。図１０に示すソフトウェア構成は、制御部１１０によるプログラムの実行を通じて実現される。

制御部１１０は、実空間４００（図２、図３参照）上におけるロボット２００の位置情報を取得する位置情報取得部１１０１と、ロボット２００の位置管理に用いる基準位置を取得する基準位置取得部１１０２と、基準位置からロボット２００の距離を計算する距離計算部１１０３として機能する。

位置情報取得部１１０１は、通信部１１２（図９参照）を通じてロボット２００の位置情報を取得してもよいし、無線基地局における受信強度や遅延時間等に基づいてロボット２００の位置情報を計算してもよい。
基準位置取得部１１０２は、基準位置として情報端末１００を操作するユーザの位置、管理区域３００の中心位置、ユーザによって指定された基準点５（図３参照）等のいずれを使用するかを取得する。
基準位置の情報は、指示受付部１１０７から与えられる。

距離計算部１１０３は、基準位置とロボット２００との距離Ｌを計算する。
距離Ｌの例を図１１〜図１３に示す。
図１１は、ユーザ３とロボット２００との距離Ｌを説明する図である。この場合、ユーザ３とロボット２００は管理区域３００内に位置する。
図１２は、管理区域３００の中心位置Ｐｃとロボット２００との距離Ｌを説明する図である。この場合、ユーザ３は管理区域３００の内側に位置してもよいし、ユーザ３Ａのように管理区域３００の外側に位置してもよい。
図１３は、子供やペット等の基準点５とロボット２００との距離Ｌを説明する図である。この場合も、ユーザ３は管理区域３００の内側に位置してもよいし、ユーザ３Ａのように管理区域３００の外側に位置してもよい。

図１０の説明に戻る。制御部１１０は、ロボット２００の管理範囲を規定する管理区域３００（図１〜図４参照）の位置情報を取得する管理区域情報取得部１１０４と、表示部１１４（図９参照）の画面上で管理区域３００の表示に使用される表示領域の情報を取得する表示領域情報取得部１１０５と、取得された表示領域の形状に応じて画面上に配置する管理区域３００の形状を変形する管理区域形状変形部１１０６として機能する。

管理区域情報取得部１１０４は、ユーザによって指定された管理区域３００のレイアウト情報等を不図示のデータベース等から取得する。
データベースは記憶部１１３（図９参照）に保存されていてもよいし、通信部１１２（図９参照）を通じて接続された外部の記憶装置に格納されていてもよい。
本実施の形態における管理区域情報取得部１１０４は、管理区域３００の情報として、レイアウト情報、実空間内に配置又は存在する備品の情報、位置の把握に必要なランドマーク等の情報も取得する。

本実施の形態における管理区域情報取得部１１０４は、取得された管理区域３００の情報のうち少なくともレイアウト情報を管理区域形状変形部１１０６に出力する。
もっとも、管理区域情報取得部１１０４は、前述したレイアウト以外の情報も含めて管理区域形状変形部１１０６に出力してもよい。
なお、レイアウト情報は、設計図や地図レベルの精密かつ正確な情報に限らず、おおよその形状を表現した簡略的な情報でもよい。

レイアウト情報には、管理区域３００内の領域の把握に有用な情報、例えば部署やチームの名称、店舗の名称等を含めてもよい。
備品やランドマークは、概念的なイメージを表す記号やマークによって表示画面１１４Ａに表現されてもよい。
ただし、位置関係の把握の実現には、表示される情報量が増えすぎないことが好ましい。
また、位置関係の把握には、おおよそのレイアウトとレイアウト内の位置関係が分かればよい。このため、備品やランドマーク等に関する情報のうち実際に表示される情報は、表示画像生成部１１１０において選択してもよい。
管理区域３００の設定又は選択に関する情報は、指示受付部１１０７から与えられる。

表示領域情報取得部１１０５は、管理区域３００の表示に使用できる表示領域の情報を取得する。
表示領域情報取得部１１０５は、表示画面１１４Ａの物理的な情報（例えば７インチディスプレイ、解像度等）を取得する他、指示受付部１１０７を通じて受け付けた他の作業画面の寸法や配置位置に関する情報も取得する。
表示画面１１４Ａ上に他の作業画面が表示されていない場合、表示上の管理区域（以下「仮想管理区域」という。）の表示には、表示部１１４の画面全体（表示画面１１４Ａ）を使用できる。もっとも、仮想管理区域の表示に使用できる最大範囲は、ユーザが設定し又は調整してもよい。
表示画面１１４Ａ上に他の作業画面が表示される場合、仮想管理区域３００Ａの表示には、表示画面１１４Ａから他の作業画面を除いた部分が用いられる。

管理区域形状変形部１１０６は、管理区域３００のレイアウト情報を例えば図１４〜図１７に示すように変形する。
図１４は、実空間における管理区域３００が楕円形状であるのに対し、表示部１１４の表示画面１１４Ａが概略矩形である場合の変形処理を説明する図であり、（ａ）は実空間における管理区域３００の形状を示し、（ｂ）は仮想管理区域３００Ａに加えられる部分領域別の変形の方向と大きさを示す。矢印の向きと長さは変形の方向と変形量を表している。

図１４の場合、管理区域形状変形部１１０６は、変形後の仮想管理区域３００Ａが表示画面１１４Ａの形状（例えば５インチディスプレイ）と一致するように、管理区域情報取得部１１０４から与えられた仮想管理区域３００Ａの全体を非線形に変形している。変形後の仮想管理区域３００Ａは、ロボット２００に紐付けられた画像（図１９等で後述する画像２００Ａ）の位置表示に使用される表示領域の一例である。
非線形に変形されるので、変形前のレイアウトと変形後のレイアウトは相似にはならない。

図１４の例では、仮想管理区域３００Ａのうち、表示画面１１４Ａから領域の一部がはみ出す水平方向には圧縮変換が適用され、表示画面１１４Ａの四隅の領域では伸長変換が適用される。
このように、図１４に示す変形処理は、領域によって圧縮変換と伸長変換が適用される不均一な変形であり、変形後の仮想管理区域３００Ａには、圧縮される領域と伸長される領域が混在する。すなわち、図１４に示す仮想管理区域３００Ａには、縮尺が異なる領域が混在している。
なお、管理区域形状変形部１１０６による仮想管理区域３００Ａの変形は、基準点に対するロボット２００の遠近と基準点に対するロボット２００のおおよその方向を把握できる程度に情報が保存される変形であればよい。

このような変形を実現する手法は１つではなく、様々な手法が考えられる。
例えば個々の領域における変形量が表示画面１１４Ａの中心から遠いほど大きく、表示画面１１４Ａの中心に近いほど小さくなるようにしてもよい。
また、方向や領域別に圧縮すべき量や伸長すべき量を特定し、その大きさに応じて各方向や領域に対する変形量を定めてもよい。

なお、管理区域情報取得部１１０４から与えられた仮想管理区域３００Ａの形状と表示画面１１４Ａの形状が相似である場合には、管理区域形状変形部１１０６が、仮想管理区域３００Ａを相似変換してもよい。
もっとも、管理区域情報取得部１１０４から与えられた仮想管理区域３００Ａの形状と表示画面１１４Ａの形状が相似でも、仮想管理区域３００Ａの一部領域を非線形に変形することは可能である。

図１５は、ユーザ３が位置する管理区域３００の端部が画面左端に位置するように仮想管理区域３００Ａを変形する例を説明する図であり、（ａ）は実空間における管理区域３００の形状を示し、（ｂ）は表示上の仮想管理区域３００Ａに加えられる部分領域別の変形の方向と大きさを示す。矢印の向きと長さは変形の方向と変形量を表している。

図１５の例では、仮想管理区域３００Ａのうち、表示画面１１４Ａから領域の一部がはみ出す水平方向には左端に向けて全体的に圧縮変形する処理が適用され、表示画面１１４Ａの左上隅と左下隅の領域では伸長変換が適用される。
この変形手法でも、仮想管理区域３００Ａが表示画面１１４Ａと同じ概略矩形に変形されるが、実空間上における地点と表示画面上の地点の対応関係の分布は図１４の例とは異なるものになる。

図１６は、実空間における管理区域３００が一方向に長い長方形状（例えば細長い通路）であるのに対し、表示部１１４の表示画面１１４Ａが概略矩形である場合の変形処理を説明する図であり、（ａ）は実空間における管理区域３００の形状を示し、（ｂ）は仮想管理区域３００Ａに加えられる部分領域別の変形の方向と大きさを示す。矢印の向きと長さは変形の方向と変形量を表している。

図１６の例では、仮想管理区域３００Ａのうち、表示画面１１４Ａから領域の一部がはみ出す水平方向には圧縮変換が適用され、表示画面１１４Ａの上下方向には伸長変換が適用される。
図１６に示すように一方向の長い長方形状の場合にも、図１５に例示したように、ユーザ３が位置する管理区域３００の端部が画面左端に位置するように仮想管理区域３００Ａを変形してもよい。

ところで、図１４〜図１６に示す変形の例では、変形後の仮想管理区域３００Ａの形状を表示画面１１４Ａの形状に一致させているが、変形後の仮想管理区域３００Ａの形状が表示画面１１４Ａの形状に一致しなくてもよい。
このような例を図１７に示す。図１７は、変形後の仮想管理区域３００Ａの形状が表示画面１１４Ａの形状に一致しない例を説明する図であり、（ａ）は実空間における管理区域３００の形状を示し、（ｂ）は仮想管理区域３００Ａに加えられる部分領域別の変形の方向と大きさを示す。
図１７は、実空間における管理区域３００が一方向に長い長方形状（例えば細長い通路）であるのに対し、表示画面１１４Ａが概略矩形である場合を表している。

図１７の例では、表示画面１１４Ａからはみ出す領域がある水平方向についてのみ圧縮しているので、表示画面１１４Ａには仮想管理区域３００Ａの上下位置に余白が生じている。
しかし、左右方向については、表示画面１１４Ａに収まるように変形しているので、図１７に示す変形も、特許請求の範囲における「表示領域の形状に応じて変形する」の一例である。

続いて、表示画面１１４Ａ上に他の作業画面が表示されている又は新たに表示される場合における仮想管理区域３００Ａの変形例について説明する。
図１８は、表示画面１１４Ａ上に他の作業画面１１４Ｂが表示される場合に、他の作業画面と重ならないように仮想管理区域３００Ａを変形させる例を説明する図であり、（ａ）は実空間における管理区域３００の形状を示し、（ｂ）は仮想管理区域３００Ａに加えられる部分領域別の変形の方向と大きさを示す。
ここでの他の作業画面１１４Ｂは、特許請求の範囲における「他の作業領域」の一例である。

図１８の場合、変形前は楕円形状であった仮想管理区域３００ＡがＬ字形状に変形されている。
なお、仮想管理区域３００Ａの形状は、他の作業画面１１４Ｂの形状が変化すると又は閉じられると、他の作業画面１１４Ｂの形状変化に連動して変化する。

図１０の説明に戻る。制御部１１０は、ユーザ３からの指示を受け付ける指示受付部１１０７としての機能を有している。
ここでの指示には、前述した基準位置の指定、管理区域３００の指定などが含まれる。

また、制御部１１０は、指示受付部１１０７で受け付けた指示のうち外部装置（例えばロボット２００）に対する指示内容を通信部１１２により送信する指示送信部１１０８として機能する。
例えば表示画面１１４Ａ上で、ロボット２００に実行させたい機能を表す画像がロボット２００に紐付けられた画像２００Ａ（図１９参照）に重ね合わせるように移動された場合、指示送信部１１０８は、該当する機能の実行を指示するコマンドをロボット２００に送信する。ここでの「ロボット２００に実行させたい機能を表す画像」は、特許請求の範囲における「他の画像」の一例である。

また、制御部１１０は、位置情報取得部１１０１から与えられるロボット２００やユーザ３（又は３Ａ）の位置情報を表示画面１１４Ａに表示される仮想管理区域３００Ａ上にマッピングするマッピング部１１０９として機能する。
マッピング部１１０９は、ロボット２００やユーザ３（又は３Ａ）が管理区域３００内に位置するか否かを判断する機能も有している。

本実施の形態におけるマッピング部１１０９は、管理区域形状変形部１１０６で実行された変形処理の情報を取得し、又は、管理区域３００と仮想管理区域３００Ａの間の座標の対応関係に関する情報を取得し、仮想管理区域３００Ａ上にロボット２００やユーザ３の位置をマッピングする（対応付ける）処理を実行する。
マッピング処理の際には、表示部１１４の解像度も考慮される。従って、ディスプレイの寸法が同じでも解像度が異なればロボット２００やユーザ３のマッピング位置は異なる可能性がある。

さらに、制御部１１０は、ロボット２００の位置情報がマッピングされた後の仮想管理区域３００Ａに基づいて、仮想管理区域３００Ａの画像を生成する表示画像生成部１１１０としても機能する。
ここで、表示画像生成部１１１０は、ロボット２００の位置をアイコンや画像等によって仮想管理区域３００Ａ上に表示する。

管理区域３００に配置されたカメラが撮像したロボット２００の画像が画像取得部１１１１から与えられる場合、表示画像生成部１１１０は、アイコンに代えてロボット２００の実画像を表示することもできる。
図１９は、表示画面１１４Ａにおけるロボット２００の位置表示に実画像を用いる例を説明する図であり、（ａ）はカメラ９１０の配置例を示し、（ｂ）は仮想管理区域３００Ａにおける表示例を示す。
実画像（画像２００Ａ）を用いることで、仮想管理区域３００Ａ上で管理される物品が複数の場合にも、ユーザ３による位置の把握が容易になる。

また、表示画像生成部１１１０は、距離計算部１１０３から距離情報を入力してもよい。この場合、表示画像生成部１１１０は、表示画面１１４Ａ上に距離を表す数値を表示することができる。表示例については後述する。
また、表示画像生成部１１１０は、距離に応じて画像２００Ａの表示寸法を変更することもできる。表示例については後述する。

また、表示画像生成部１１１０は、仮想管理区域３００Ａ以外の作業画面（他の作業画面１１４Ｂ）が画面上に表示された場合に、仮想管理区域３００Ａの表示寸法はそのままに他の作業画面１１４Ｂを避けるように表示位置を移動させる機能を有してもよい。図２０〜図２３に表示位置の移動例を示す。

図２０は、表示画面１１４Ａ上に他の作業画面１１４Ｂが表示される場合に、仮想管理区域３００Ａを表示画面１１４Ａ内で移動する例を説明する図であり、（ａ）は他の作業画面１１４Ｂが表示される前の仮想管理区域３００Ａの表示位置を示し、（ｂ）は他の作業画面１１４Ｂが表示された後の仮想管理区域３００Ａの表示位置を示す。

図２１は、表示画面１１４Ａ上に他の作業画面１１４Ｂが表示される場合に、仮想管理区域３００Ａを表示画面１１４Ａと仮想管理画面１１４Ｃを跨ぐ位置に移動する例を説明する図であり、（ａ）は他の作業画面１１４Ｂが表示される前の仮想管理区域３００Ａの表示位置を示し、（ｂ）は他の作業画面１１４Ｂが表示された後の仮想管理区域３００Ａの表示位置を示す。
ここで、仮想管理画面１１４Ｃは、物理的な表示画面１１４Ａの外側に位置する非表示のページである。非表示のページは仮想空間の一例である。図２１では、非表示のページが１つの例を表しているが、非表示のページ数は複数でもよい。

図２１の例では、仮想管理区域３００Ａの形状を変化させずに表示位置を移動させているが、新たに表示された他の作業画面１１４Ｂに応じて仮想管理区域３００Ａの形状を変化させた後に表示位置を移動させてもよい。
例えば他の作業画面１１４Ｂに応じて単純に変形したのでは仮想管理区域３００Ａの表示面積が小さくなりすぎて、ロボット２００の位置の理解そのものが困難になる可能性がある。
そこで、仮想管理区域３００Ａの表示面積が予め定めた面積より小さくならないように変形し、その後、仮想管理区域３００Ａの表示位置を移動させてもよい。

図２２は、表示画面１１４Ａ上に他の作業画面１１４Ｂが表示される場合に、仮想管理区域３００Ａを仮想管理画面１１４Ｃに移動する例を説明する図であり、（ａ）は他の作業画面１１４Ｂが表示される前の仮想管理区域３００Ａの表示位置を示し、（ｂ）は他の作業画面１１４Ｂが表示された後の仮想管理区域３００Ａの表示位置を示す。
この場合も、仮想管理区域３００Ａの形状を変形した後に表示位置を移動させてもよい。

また、表示画像生成部１１１０には、ロボット２００に紐付けられた画像２００Ａの表示寸法を基準位置からの距離に応じて変化させる機能を搭載してもよい。
図２３は、距離Ｌに応じてロボット２００に紐付けられた画像２００Ａの表示寸法を変化させる例を説明する図であり、（ａ）は実空間上におけるユーザ３とロボット２００の距離Ｌの関係を示し、（ｂ）は表示寸法の変化が連続的である場合を示し、（ｃ）は表示寸法の変化がステップ的である場合を示す。

図２３に示すように、表示画像生成部１１１０は、距離Ｌが近くなるほど大きな表示寸法で画像２００Ａを表示し、距離Ｌが遠くなるほど小さい表示寸法で画像２００Ａを表示する。このように表示寸法を変化させることで、ユーザ３によるロボット２００の位置の把握が容易になる。
なお、ステップ的な表示寸法の変化は、距離Ｌと閾値との比較により実現される。例えば距離Ｌが閾値を超えるタイミングで（大きい方に超える場合と小さい方に超える場合の２種類がある）、表示画像生成部１１１０は画像２００Ａの表示寸法を変化させる。
本実施の形態では、画像２００Ａの表示寸法を変化させる機能を、仮想管理区域３００Ａを表示画面１１４Ａの形状に応じて変形させる機能と組み合わせて用いるが、表示領域の形状の変形とは無関係に画像２００Ａの表示寸法を変化させてもよい。

なお、表示画面１１４Ａでの表示寸法の変化によってロボット２００が近いか遠いかを把握することはできても実際の距離までは分からない。
距離の理解には、仮想管理区域３００Ａ上における各位置の表示縮尺や距離情報の表示が必要である。
図２４は仮想管理区域３００Ａの各部に表示縮尺（スケールバー）を表示する例を示す図である。図２４の例では表示画面１１４Ａの４隅部分に比して画面中央側の十字領域の圧縮比率が高いことを表している。
表示縮尺は、縮尺情報の一例であり、表示画面１１４Ａにマッピングされた画像２００Ａに対応するロボット２００の実空間４００上における位置を補足する情報として用いられる。

図２５は表示寸法が表す距離情報を画面上に表示する例を説明する図であり、（ａ）は表示寸法と距離の対応見本を示し、（ｂ）は画像２００Ａの近傍に距離の目安が表示される例を示す。
図２６はロボット２００の位置を特定するエリア名で表示する例を説明する図であり、（ａ）は管理区域３００で規定されているエリア名を示し、（ｂ）は仮想管理区域３００Ａ上にロボット２００が存在するエリア名を表示する表示例を示す。図２６では、セクションＡに行くことが文字で表示されている。

図２７はロボット２００までの距離を画面上に表示する例を説明する図であり、（ａ）は管理区域３００内にあるロボット２００の位置を示し、（ｂ）は仮想管理区域３００Ａにロボット２００までの距離Ｌを数値で表示する表示例を示す。
これらの表示機能の組み合わせにより、ユーザ３は、ロボット２００の位置を容易に把握できるのに加え、より正確な位置を理解できる。

また、表示画像生成部１１１０にはロボット２００が管理区域３００を超えることを表示画面上で予告する機能を設けてもよい。
図２８はロボット２００が管理区域３００を超えることを予告する画面の例を説明する図であり、（ａ）は管理区域３００とロボット２００の位置関係を示し、（ｂ）は表示画面１１４Ａに表示される予告画面の例を示し、（ｃ）は予告表示後の表示を示す。
本実施の形態の場合、「予告」とは、画像２００Ａが表示画面１１４Ａから消滅することの報知又は示唆することを意味する。
図２８の例では、ロボット２００が管理区域３００から出ることが「さようなら」との文字で表示され、その後、画像２００Ａが画面上から消えている。これによりユーザ３はロボット２００が管理区域３００から外れることを表示画面１１４Ａ上で理解できる。

図２９はロボット２００が管理区域３００を超えることを予告する画面の他の例を説明する図であり、（ａ）は管理区域３００とロボット２００の位置関係を示し、（ｂ）は表示画面１１４Ａに表示される予告画面の例を示し、（ｃ）は予告表示後の表示を示す。
図２９の例では、ロボット２００が管理区域３００から出ることが手を振る動作で表示され、その後、画像２００Ａが画面上から消えている。これによりユーザ３はロボット２００が管理区域３００から外れることを表示画面１１４Ａ上で理解できる。

また、表示画像生成部１１１０には、ロボット２００が管理区域３００に復帰することを表示画面上で予告する機能を設けてもよい。
図３０はロボット２００が管理区域３００に復帰することを予告する画面の例を説明する図であり、（ａ）は管理区域３００とロボット２００の位置関係を示し、（ｂ）は表示画面１１４Ａに表示される予告画面の例を示し、（ｃ）は予告表示後の表示を示す。
図３０の例では、ロボット２００が管理区域３００に戻ることが「ただいま」との文字とともに画像２００Ａが画面上に出現されている。すなわち、画像２００Ａが再表示されている。これによりユーザ３はロボット２００が管理区域３００に復帰したことを表示画面１１４Ａ上で理解できる。

図３１はロボット２００が管理区域３００に復帰することを予告する画面の例を説明する図であり、（ａ）は管理区域３００とロボット２００の位置関係を示し、（ｂ）は表示画面１１４Ａに表示される予告画面の例を示し、（ｃ）は予告表示後の表示を示す。
図３１の例では、ロボット２００が管理区域３００に復帰することが、お辞儀をする画像２００Ａを画面上に出現させることで示されている。すなわち、画像２００Ａが再表示されている。これによりユーザ３はロボット２００が管理区域３００に復帰したことを表示画面１１４Ａ上で理解できる。

また、表示画像生成部１１１０には、ロボット２００が管理区域３００の中にあっても通信不良となることを表示する機能を設けてもよい。
図３２は、管理区域３００の中央でロボット２００との通信が途切れる場合の表示例を説明する図であり、（ａ）は管理区域３００とロボット２００の位置関係を示し、（ｂ）は通信不良を予告する画面の例を示し、（ｃ）は予告表示後の表示を示す。
図３２の例では、ロボット２００と通信できなくなったことが手を振る動作で表示され、その後、画像２００Ａが画面上から消えている。
仮想管理区域３００Ａの中央に位置するにもかかわらず、このような動作の後にロボット２００に紐付けられた画像２００Ａが消えることでロボット２００との通信が途切れたことを、ユーザ３は表示画面１１４Ａ上で理解できる。
なお、通信不良となったことを文字によって画面上に表示してもよい。

図３３は、管理区域３００の中央でロボット２００との通信が再開される場合の表示例を説明する図であり、（ａ）は管理区域３００とロボット２００の位置関係を示し、（ｂ）は通信再開前の画面の例を示し、（ｃ）は通信の再開を示す画面の例を示す。
図３３の例では、ロボット２００との通信が復帰したことが、お辞儀した画像２００Ａの出現で表示されている。
仮想管理区域３００Ａの中央に位置するにもかかわらず、お辞儀した画像２００Ａが出現することで、ロボット２００との通信が再開したことを、ユーザ３は表示画面１１４Ａ上で理解できる。
なお、通信が再開したことを文字によって画面上に表示してもよい。因みに画像２００Ａの表示が消える際の表示寸法と表示が回復する際の表示寸法は同じになる。

図１０の説明に戻る。制御部１１０は、ロボット２００から稼働情報を取得する稼働情報取得部１１１２としての機能も有している。
ロボット２００の稼働状態を取得できれば、表示画面１１４Ａにロボット２００の稼働状態を表示することができる。

図３４は、稼働情報取得部１１１２から稼働情報を取得した表示画像生成部１１１０による表示例を説明する図であり、（ａ）は実空間上でのロボット２００の稼働状態を示し、（ｂ）は表示画面上の表示態様を示す。
図３４では、ロボット２００が荷物２３０を運んでいる状態を表している。このため、表示画面１１４Ａには荷物２３０Ａを運ぶ画像２００Ａが表示されている。この表示よりユーザ３は、ロボット２００が荷物２３０を運んでいることを確認できる。

図３５は、稼働情報取得部１１１２から稼働情報を取得した表示画像生成部１１１０による表示の他の例を説明する図であり、（ａ）は実空間上でのロボット２００の稼働状態を示し、（ｂ）は表示画面上の表示態様を示す。
図３５では、ロボット２００が荷物２３０を落とした状態を表している。この例では、表示画面１１４Ａでも、荷物２３０Ａを持っていない画像２００Ａが表示されるとともに「ＨＥＬＰ」、「荷物落とした」、「荷物拾いに来て」等の救援を要請する表記（文字）が表示されている。この表示よりユーザ３は、ロボット２００を視認できなくてもトラブルの発生を知り、対応動作をとることが可能になる。

＜操作画面例＞
以下では、実施の形態に係る情報端末１００による操作画面例について説明する。
・画面例１
図３６は、ユーザ３とロボット２００が近くに位置する場合の表示例を示す図であり、（ａ）は管理区域３００におけるユーザ３とロボット２００の位置を示し、（ｂ）は仮想管理区域３００Ａにおける位置関係の表示例を示す。
図３６ではユーザ３の近くにロボット２００が位置する場合の表示例であるので、ユーザ３を表す画像３Ｂの近くに比較的大きな表示寸法でロボット２００に紐付けられた画像２００Ａが表示されている。図３６からは、ロボット２００が管理区域３００の中央付近に位置することもわかる。

図３７は、ユーザ３とロボット２００が離れて位置する場合の表示例を示す図であり、（ａ）は管理区域３００におけるユーザ３とロボット２００の位置を示し、（ｂ）は仮想管理区域３００Ａにおける位置関係の表示例を示す。
図３７ではユーザ３の遠くにロボット２００が位置する場合の表示例であるので、ユーザ３を表す画像３Ｂから遠く離れた位置に小さい表示寸法でロボット２００に紐付けられた画像２００Ａが表示されている。図３７からは、ロボット２００が管理区域３００の隅付近に位置することも分かる。

なお、図３６と図３７ではロボット２００に紐付けられた画像２００Ａの表示寸法をユーザ３との距離に応じて変化させているが、表示寸法は画面上の位置によらず同じとしてもよい。

・画面例２
図３８は、ユーザ３が管理区域３００の中央付近に位置する場合の表示例を示す図であり、（ａ）は管理区域３００におけるユーザ３とロボット２００の位置を示し、（ｂ）は仮想管理区域３００Ａにおける位置関係の表示例を示す。
図３８は、ロボット２００が管理区域３００の隅に位置する点で図３７の例と同じであるが、ユーザ３とロボット２００との距離が近いため、ロボット２００に紐付けられた画像２００Ａの表示寸法はあまり小さくなっていない。

・画像例３
図３９は、ユーザ３とロボット２００が近くに位置する場合の他の表示例を示す図であり、（ａ）は管理区域３００におけるユーザ３とロボット２００の位置を示し、（ｂ）は仮想管理区域３００Ａにおける位置関係の表示例を示す。
ユーザ３とロボット２００の位置関係は図３６と同じである。ただし、図３９の場合には、表示領域に対応する距離の目安が表示されている。例えば図３９の例では、ロボット２００が１００ｍほど離れたところに位置することが分かる。
ロボット２００に紐付けられた画像２００Ａの表示寸法と画面上の距離の目安から、ユーザ３はロボット２００の位置関係を容易に把握できる。

・画面例４
図４０は、ユーザ３とロボット２００が近くに位置する場合の他の表示例を示す図であり、（ａ）は管理区域３００におけるユーザ３とロボット２００の位置を示し、（ｂ）は仮想管理区域３００Ａにおける位置関係の表示例を示す。
ユーザ３とロボット２００の位置関係は図３９と同じである。ただし、図４０の場合には、表示領域に対応する縮尺情報が表示されている。具体的には、同じ長さでも画面の左側は５ｍ、中央付近は１０ｍ、右側は１００ｍであることが分かる。
ロボット２００に紐付けられた画像２００Ａの表示寸法と画面上の縮尺情報から、ユーザ３はロボット２００の位置関係を容易に把握できる。

・画面例５
図４１は、管理区域３００内に複数のロボット２００が位置する場合の表示例を示す図であり、（ａ）は管理区域３００におけるユーザ３と２台のロボット２００（１）、２００（２）の位置関係を示し、（ｂ）は仮想管理区域３００Ａにおける位置関係の表示例を示す。
図４１に示す表示例では、近くに位置するロボット２００（１）と２００（２）を表す画像２００Ａ（１）と２００Ａ（２）が同じ表示寸法で表示されている。
ただし、画像２００Ａ（１）と２００Ａ（２）の表示形態が同じでは２台のロボット２００（１）と２００（２）を区別できない。
そこで、図４１では、２つの画像２００Ａ（１）と２００Ａ（２）の表示形態を変えて２台のロボット２００（１）と２００（２）の位置関係を区別できるようにしている。なお、図４１では、画像２００Ａ（１）と画像２００Ａ（２）の色を変えている。

図４２は、管理区域３００内における複数のロボット２００の位置関係が変化した場合の表示例を示す図であり、（ａ）は管理区域３００におけるユーザ３と２台のロボット２００（１）、２００（２）の位置関係を示し、（ｂ）は仮想管理区域３００Ａにおける位置関係の表示例を示す。
図４２に示す表示例では、ロボット２００（１）がユーザ３に近づいた一方で、ロボット２００（２）はユーザ３から遠ざかっている。加えて図４２では、画像２００Ａ（１）の表示寸法が大きく変化し、画像２００Ａ（２）の表示寸法が小さく変化している。
この表示の変化により、ユーザ３は２台のロボット２００（１）と２００（２）の位置関係を容易に把握できる。

・画面例６
図４３は、表示画面１１４Ａ内に他の作業画面１１４Ｂが表示された場合の表示例を示す図であり、（ａ）は管理区域３００におけるユーザ３と２台のロボット２００（１）、２００（２）の位置関係を示し、（ｂ）は仮想管理区域３００Ａにおける位置関係の表示例を示す。
図４３では仮想管理区域３００Ａの形状が他の作業画面１１４Ｂを避けるように変形されており、その結果として、ロボット２００（２）を表す画像２００Ａ（２）が表示画面１１４Ａの真ん中付近に移動されている。
ただし、この表示位置は管理区域３００の端に対応するため、ロボット２００（２）を表す画像２００Ａ（２）の表示寸法は他方のロボット２００（１）を表す画像２００Ａ（１）の表示寸法に対して格段に小さくなっている。
これによりユーザ３はロボット２００（１）が近くに位置し、ロボット２００（２）が遠くに位置することを容易に把握できる。

・画面例７
図４４は、他の作業画面１１４Ｂの表示寸法が変化する場合の仮想管理区域３００Ａの形状変化を説明する図であり、（ａ）は他の作業画面１１４Ｂが表示される前の表示例を示し、（ｂ）は他の作業画面１１４Ｂが表示された直後の表示例を示し、（ｃ）は他の作業画面１１４Ｂの表示面積が変更された後の表示例を示す。
図４４では、仮想管理区域３００Ａの形状が変化しているが、ロボット２００に紐付けられた画像２００Ａの表示寸法は変化していない。このように仮想管理区域３００Ａの変化によらず、ユーザ３はロボット２００の位置を容易に把握できる。

・画面例８
図４５は、ロボット２００が管理区域３００内でユーザ３から遠ざかる場合の表示例を説明する図であり、（ａ）は管理区域３００におけるユーザ３とロボット２００の位置関係を示し、（ｂ）はロボット２００が遠ざかる様子を表現する表示例を示し、（ｃ）はロボット２００が遠ざかる様子を表現する他の表示例を示す。
（ｂ）では、ユーザ３に対応する画像３Ｂに対してロボット２００に紐付けられた画像２００Ａが背を向けている。（ｃ）では、表示画面１１４Ａを見ているユーザ３に対してロボット２００に紐付けられた画像２００Ａが背を向けている。

図４６は、ロボット２００が管理区域３００内でユーザ３に近づく場合の表示例を説明する図であり、（ａ）は管理区域３００におけるユーザ３とロボット２００の位置関係を示し、（ｂ）はロボット２００が近づく様子を表現する表示例を示し、（ｃ）はロボット２００が近づく様子を表現する他の表示例を示す。
（ｂ）では、ユーザ３に対応する画像３Ｂに対してロボット２００に紐付けられた画像２００Ａが正面を向けている。（ｃ）では、表示画面１１４Ａを見ているユーザ３に対してロボット２００に紐付けられた画像２００Ａが正面を向けている。

・画面例９
図４７は、複数の管理区域３００に位置している複数のロボット２００（１）と２００（２）を１つの表示画面１１４Ａで管理する場合の表示例を説明する図であり、（ａ）は２つの管理区域３００（１）と３００（２）におけるロボット２００の位置を示し、（ｂ）は表示画面１１４Ａの表示例を示す。
表示画面１１４Ａには、２つの管理区域３００（１）と３００（２）に対応する２つの仮想管理区域３００Ａ（１）と３００Ａ（２）が並んで表示されている。
仮想管理区域３００Ａ（１）では、ロボット２００（１）に対応する画像２００Ａ（１）の表示寸法が大きく表示され、仮想管理区域３００Ａ（２）では、ロボット２００（２）に対応する画像２００Ａ（２）の表示寸法が小さく表示されている。

・画面例１０
図４８は、表示画面１１４Ａを用いてロボット２００に指示を出す場合の表示例を説明する図であり、（ａ）はロボット２００からの指示要求画面例を示し、（ｂ）はユーザによる指示の入力例を示し、（ｃ）はロボット２００からの応答画面例を示す。
例えばロボット２００に紐付けられた画像２００Ａの上にカーソルを合わせて右クリックすると、指示要求画面が表示される。
図４８の例では、ユーザ３がロボット２００に印刷物の配送を要求する場合の例を示している。

・画面例１１
図４９は、ロボット２００に実行させたい機能を表す画像２５０をロボット２００に紐付けられた画像２００Ａに重ね合わせることで機能の実行を指示する場合の表示例を説明する図であり、（ａ）はロボット２００に対する機能の実行指示操作を示し、（ｂ）はロボット２００からの応答画面例を示し、（ｃ）はロボット２００の動作状態を示す。
図４９の例では、ユーザ３がロボット２００に印刷物の配送を要求する場合の例を示している。（ｃ）では、ロボット２００に紐付けられた画像２００Ａが印刷物２３０Ｂを抱えており、配送中であることが分かる。

・画面例１２
図５０は、ロボット２００に紐付けられた画像２００Ａの位置を表示画面１１４Ａ上で移動させる移動操作があると、管理区域３００上でロボット２００が実際に移動される様子を説明する図であり、（ａ）は表示画面１１４Ａの表示例を示し、（ｂ）は実空間である管理区域３００におけるロボット２００の移動を示す。
図５０の例では、カーソル２４０をロボット２００に紐付けられた画像２００Ａの上に合わせてドラッグアンドドロップすることで、実空間上のロボット２００に対して移動の指示が送信される。
なお、図５０の例では、ドラッグの過程で画像２００Ａの位置がユーザ３から遠ざかるため、表示画面１１４Ａ上における画像２００Ａの表示寸法が小さくなっている。

・画面例１３
図５１は、実空間４００上でのロボット２００の移動量に対応する仮想管理区域３００Ａでの画像２００Ａの変化量が仮想管理区域３００Ａの形状に応じて変化する様子を説明する図であり、（ａ）は実空間４００上でのロボット２００の移動量を示し、（ｂ）は仮想管理区域３００Ａの表示面積が大きい場合の画像２００Ａの変化量を示し、（ｃ）は仮想管理区域３００Ａの表示面積が小さい場合の画像２００Ａの変化量を示す。
図中の各矢印は実空間４００又は仮想管理区域３００Ａ内での変化量を表している。
図５１の場合、ロボット２００に紐付けられた画像２００Ａの表示寸法は仮想管理区域３００Ａの違いによらず同じであり、画像２００Ａの変化量だけが変化している。

図５１では、実空間４００内に管理区域３００が設定されていないので、図５１における仮想管理区域３００Ａはロボット２００の周辺領域に対応する。ここでの仮想管理区域３００Ａは、ロボット２００の位置表示に使用される表示領域の一例である。
管理区域３００を設定しない場合、管理区域情報取得部１１０４（図１０参照）は、ロボット２００が実在する地点周辺の地図情報やレイアウト情報をデータベースなどから取得してもよい。
この場合でも、表示画面１１４Ａ内の仮想管理区域３００Ａの形状に応じてロボット２００の位置表示が変化されることで、ユーザによる移動体の位置の把握が容易になる。

・画面例１４
図５２は、仮想管理区域３００Ａの表示寸法に応じて画像２００Ａの変化範囲が制約を受けることを説明する図であり、（ａ）は仮想管理区域３００Ａの表示寸法が大きい場合の画像２００Ａの変化範囲を示し、（ｂ）は仮想管理区域３００Ａの表示寸法が小さい場合の画像２００Ａの変化範囲を示す。
図５２の場合、表示画面１１４Ａ上で画像２００Ａが左右方向に移動できる範囲は（ａ）の方が（ｂ）よりも長くなっている。
このように、画像２００Ａを表示画面１１４Ａ上で移動できる範囲は仮想管理区域３００Ａの表示寸法の制約を受ける。
なお、画像２００Ａの表示寸法の変化範囲が仮想管理区域３００Ａの表示寸法の制約を受ける表示としてもよい。

＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…情報処理システム、３、３Ａ…ユーザ、５…基準点、１００…情報端末、１１０…制御部、１１４Ａ…表示画面、１１４Ｂ…他の作業画面、２００…ロボット、２００Ａ…ロボットを表す画像、２２１…電波、３００…管理区域、３００Ａ…仮想管理区域、４００…実空間、６００…サーバ、７００…画像形成装置、７００Ａ、７００Ｂ、７００Ｃ、７００Ｄ…発信器、８００Ａ、８００Ｂ、８００Ｃ…アクセスポイント、９００…位置測定部、９１０…カメラ、１１０１…位置情報取得部、１１０２…基準位置取得部、１１０３…距離計算部、１１０４…管理区域情報取得部、１１０５…表示領域情報取得部、１１０６…管理区域形状変形部、１１０７…指示受付部、１１０８…指示送信部、１１０９…マッピング部、１１１０…表示画像生成部、１１１１…画像取得部、１１１２…稼働情報取得部

Claims (5)

1. 移動体に紐付けられた第１の画像を表示する表示制御部を有する情報処理装置であり、
   前記移動体は、自機を移動させる移動部と、撮像部と、連結された部材の可動により物を掴む動作が可能な可動機構と、各部の状態を検知するセンサと、各部から取得した情報を前記情報処理装置に送信する通信部とを有し、
   前記移動体との通信により取得した前記情報を通じ、当該移動体が物を掴んでいる状態を検知した場合、前記表示制御部は、前記第１の画像を、前記可動機構が物を掴む動作を伴う稼働状態を表現する表示に変化させ、
   前記移動体との通信により取得した前記情報を通じ、当該移動体が実空間で物を落とした状態を検知した場合、前記表示制御部は、物を掴んでいない外観の前記第１の画像と、当該移動体から落ちた状態の物を示す第２の画像を表示する、
   情報処理装置。
2. 前記移動体との通信により取得した前記情報を通じ、当該移動体が実空間で物を落とした状態を検知した場合、前記表示制御部は、落とした物の回収をユーザに要請する表記を行うこと、
   を特徴とする請求項１に記載の情報処理装置。
3. 前記物は印刷物である、
   請求項１又は２に記載の情報処理装置。
4. 自機を移動させる移動部と、撮像部と、連結された部材の可動により物を掴む動作が可能な可動機構と、各部の状態を検知するセンサと、各部から取得した情報を送信する通信部とを有する、１つ又は複数の移動体と、
   前記移動体に紐付けられた第１の画像を表示する情報処理装置と
   を有し、
   前記移動体との通信により取得した前記情報を通じ、当該移動体が物を掴んでいる状態を検知した場合、前記情報処理装置は、前記第１の画像を、前記可動機構が物を掴む動作を伴う稼働状態を表現する表示に変化させ、
   前記移動体との通信により取得した前記情報を通じ、当該移動体が実空間で物を落とした状態を検知した場合、前記情報処理装置は、物を掴んでいない外観の前記第１の画像と、当該移動体から落ちた状態の物を示す第２の画像を表示する、情報処理システム。
5. 自機を移動させる移動部と、撮像部と、連結された部材の可動により物を掴む動作が可能な可動機構と、各部の状態を検知するセンサと、各部から取得した情報を送信する通信部とを有する移動体と通信するコンピュータに、
   表示画面上に移動体に紐付けられた第１の画像を表示させる機能と、
   前記移動体との通信により取得した前記情報を通じ、当該移動体が物を掴んでいる状態を検知した場合、前記第１の画像を、前記可動機構が物を掴む動作を伴う稼働状態を表現する表示に変化させる機能と、
   前記移動体との通信により取得した前記情報を通じ、当該移動体が実空間で物を落とした状態を検知した場合、物を掴んでいない外観の前記第１の画像と、当該移動体から落ちた状態の物を示す第２の画像を表示させる機能と、
   を実現させるためのプログラム。

Images