JP2019077033A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】状況に応じて問題を解決することができるようにする。【解決手段】周囲の状況が検知され、情報処理装置の機能だけでは当該状況の問題を解決することができない場合、当該状況に関する情報をユーザに報告するための制御が行われる。当該状況に関する情報ではユーザが当該状況を理解することができない旨を示す情報が受け付けられた場合、ユーザが追加情報を入力するための画面の表示が制御される。【選択図】図２５

Description

本発明は、情報処理装置及びプログラムに関する。

特許文献１−３には、他の機器と連携して処理を実行するロボット装置が開示されている。

特開２０１４−１８８５９７号公報 特開平５−６５７６６号公報 特開２００５−１１１６３７号公報

一般的に、発生した問題を情報処理装置が解決する手段は、予め定められている。それ故、情報処理装置が置かれている状況に応じて臨機応変に手段を変えて問題を解決できない場合がある。

本発明の目的は、状況に応じて問題を解決することができるようにすることにある。

請求項１に記載の発明は、周囲の状況を検知する検知手段と、自装置の機能だけでは前記状況の問題を解決することができない場合、前記状況に関する情報をユーザに報告するための制御を行う制御手段と、を有し、前記制御手段は、前記状況に関する情報ではユーザが前記状況を理解することができない旨を示す情報を受けた場合、ユーザが追加情報を入力するための画面の表示を制御する、情報処理装置である。

請求項２に記載の発明は、前記追加情報は、ユーザの要求に関する情報である、ことを特徴とする請求項１に記載の情報処理装置である。

請求項３に記載の発明は、前記制御手段は、前記要求に応じた情報を収集し、その情報の表示を制御する、ことを特徴とする請求項２に記載の情報処理装置である。

請求項４に記載の発明は、周囲の状況を検知する検知手段と、自装置の機能だけでは前記状況の問題を解決する解決手段が実行できない場合、前記自装置以外の要素を利用する前記解決手段を実行するための制御を行う制御手段と、を有し、前記要素は、前記自装置以外の機器及び人の中の少なくとも１つを含み、前記制御手段は、人が検知されない場合、人を用いない前記解決手段が実行されるための制御を優先的に実行する、情報処理装置である。

請求項５に記載の発明は、周囲の状況を検知する検知手段と、自装置の機能だけでは前記状況の問題を解決する解決手段が実行できない場合、前記自装置以外の要素を利用する前記解決手段を実行するための制御を行う制御手段と、を有し、前記検知手段は、前記状況として、前記自装置の周辺に存在する人に関する情報、又は、人以外の情報を検知し、人以外の情報の値が閾値以上となる場合、前記問題が発生したと判断し、前記閾値は、検知された人に関する情報に応じて変更される、情報処理装置である。

請求項６に記載の発明は、周囲の状況を検知する検知手段と、自装置の機能だけでは前記状況の問題を解決する解決手段が実行できない場合、前記自装置以外の要素を利用する前記解決手段を実行するための制御を行う制御手段と、を有し、前記制御手段は、人に関する情報に基づく第１の検知結果と、人以外の情報に基づく第２の検知結果と、に基づく前記状況の問題が異なる場合、前記制御手段は、予め定めた前記第１の検知結果又は前記第２の検知結果の優先順位に基づき、前記状況の問題を解決する前記解決手段を選択する、情報処理装置である。

請求項７に記載の発明は、前記第１の検知結果と前記第２の検知結果とに基づく前記状況の問題が異なる場合、前記制御手段は、前記第１の検知結果に基づき、前記状況の問題を解決する前記解決手段を選択する、ことを特徴とする請求項６に記載の情報処理装置である。

請求項８に記載の発明は、周囲の状況を検知する検知手段と、自装置の機能だけでは前記状況の問題を解決する解決手段が実行できない場合、前記自装置以外の要素を利用する前記解決手段を実行するための制御を行う制御手段と、を有し、前記自装置のみで前記解決手段を決定できない場合、前記制御手段は、ユーザに問い合わせるモードの実行を制御し、ユーザに問い合わせるモードでは、前記制御手段は、ユーザからの要求に応じて、前記状況に関する情報の更なる収集を制御する、情報処理装置である。

請求項９に記載の発明は、前記状況に関する情報は、検知された問題に関わる周囲の状況を表す画像である、ことを特徴とする請求項８に記載の情報処理装置である。

請求項１０に記載の発明は、周囲の状況を検知する検知手段と、自装置の機能だけでは前記状況の問題を解決する解決手段が実行できない場合、前記自装置以外の要素を利用する前記解決手段を実行するための制御を行う制御手段と、を有し、前記検知手段が、前記解決手段を実現するために前記要素によって実行されると想定される動作を検知した場合、前記制御手段は、前記要素が問題を解決していると判断する、情報処理装置である。

請求項１１に記載の発明は、周囲の状況を検知する検知手段と、自装置の機能だけでは前記状況の問題を解決する解決手段が実行できない場合、前記自装置以外の要素を利用する前記解決手段を実行するための制御を行う制御手段と、を有し、前記要素が人である場合、前記制御手段は、前記自装置を前記人のいる場所まで移動させる、情報処理装置である。

請求項１２に記載の発明は、コンピュータを、周囲の状況を検知する検知手段、情報処理装置の機能だけでは前記状況の問題を解決することができない場合、前記状況に関する情報をユーザに報告するための制御を行う制御手段、として機能させ、前記制御手段は、前記状況に関する情報ではユーザが前記状況を理解することができない旨を示す情報を受けた場合、ユーザが追加情報を入力するための画面の表示を制御する、プログラムである。

請求項１−１２に記載の発明によれば、状況に応じて問題を解決することが可能となる。

本実施形態に係る機器システムを示すブロック図である。 本実施形態に係るロボット装置の外観を示す図である。 本実施形態に係るロボット装置を示すブロック図である。 端末装置を示すブロック図である。 無線通信技術の特性を示す図である。 無線通信技術の特性を示す図である。 所有機能管理テーブルを示す図である。 非所有機能管理テーブルを示す図である。 解決手段管理テーブルを示す図である。 デバイス機能管理テーブルを示す図である。 連携機能管理テーブルを示す図である。 状況確認処理の概略を示すフローチャートである。 状況確認処理の詳細を示すフローチャートである。 ユーザ判断モードにおける処理を示すフローチャートである。 自律判断モードにおける処理を示すフローチャートである。 解決手段の実行制御を示すフローチャートである。 ロボット装置の適用場面１を説明するための図である。 ロボット装置の適用場面２を説明するための図である。 ロボット装置の適用場面３を説明するための図である。 ロボット装置の適用場面４を説明するための図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 機器の外観を模式的に示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 接続処理を示すフローチャートである。 連携機能管理テーブルを示す図である。 画面を示す図である。 画面を示す図である。 デバイス機能管理テーブルを示す図である。 画面を示す図である。 デバイス機能管理テーブルを示す図である。 連携機能管理テーブルを示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。

図１を参照して、本発明の実施形態に係る情報処理システムとしての機器システムについて説明する。図１には、本実施形態に係る機器システムの一例が示されている。

本実施形態に係る機器システムは、例えば、ロボット装置１０と、１又は複数の機器１２と、端末装置１４と、を含む。ロボット装置１０、機器１２及び端末装置１４は、例えば、ネットワーク等の通信経路Ｎを介して他の装置と通信してもよいし、それぞれ異なる通信経路を介して他の装置と通信してもよい。もちろん、図１に示されている構成は一例に過ぎず、ロボット装置１０、機器１２及び端末装置１４は、他の装置と通信しなくてもよい。

図１に示す例では、１つの機器１２が機器システムに含まれているが、複数の機器１２が機器システムに含まれていてもよい。この場合、同一の機能を有する複数の機器１２が機器システムに含まれていてもよいし、互いに異なる機能を有する複数の機器１２が機器システムに含まれていてもよい。また、１つの端末装置１４が機器システムに含まれているが、複数の端末装置１４が機器システムに含まれていてもよい。サーバ等の他の装置が機器システムに含まれていてもよい。

ロボット装置１０は、ロボット装置１０の周囲の状況を検知し、発生した問題を検知する機能を有する装置である。ロボット装置１０は、移動しながら周囲の状況を検知してもよいし、停止した状態で周囲の状況を検知してもよい。問題が検知された場合、ロボット装置１０は、ロボット装置１０自身によって問題を解決できるか否かを判断し、その判断結果に応じた処理を行う。ロボット装置１０によって問題を解決できる場合、ロボット装置１０は問題を解決するための解決手段を実行することで、その問題を解決する。ロボット装置１０によって問題を解決できない場合、ロボット装置１０は、ロボット装置１０以外の要素を利用する解決手段を実行するための制御を行う。要素は、例えば、人、ロボット装置１０以外の機器、ロボット装置１０以外のロボット装置、等である。もちろん、要素に、ロボット装置１０自身が含まれてもよい。例えば、ロボット装置１０は、他の機器に問題を解決させてもよいし、人に協力を依頼してもよいし、他の機器と人に問題を解決させてもよいし、他の機器や人と共同して問題を解決してもよい。

ロボット装置１０によって検知された問題は、例えば、ロボット装置１０のみによって解決できる問題、ロボット装置１０以外の他の機器のみによって解決できる問題、人のみによって解決できる問題、他の機器と人との共同作業によって解決できる問題、ロボット装置１０と人との共同作業によって解決できる問題、他の機器とロボット装置１０との共同作業によって解決できる問題、他の機器と他のロボット装置とロボット装置１０との共同作業によって解決できる問題、他の機器と人とロボット装置１０との共同作業によって解決できる問題、等である。つまり、解決手段は、例えば、ロボット装置１０のみによって実現される手段、他の機器のみによって実現される手段、人のみによって実現される手段、他の機器と人との共同作業によって実現される手段、ロボット装置１０と人との共同作業によって実現される手段、他の機器とロボット装置１０との共同作業によって実現される手段、他の機器と他のロボット装置とロボット装置１０との共同作業によって実現される手段、他の機器と人とロボット装置１０との共同作業によって実現される手段、等である。

機器１２は、特定の機能を有する装置であり、例えば、画像形成機能を備えた画像形成装置、パーソナルコンピュータ（ＰＣ）、液晶ディスプレイやプロジェクタ等の表示装置、香りを発生するアロマ器、電話機、時計、カメラ、監視カメラ、自動販売機、空調機（エアコン、クーラー等）、扇風機、加湿器、等の装置である。もちろん、これら以外の機器が機器システムに含まれていてもよい。なお、機器が有する機能によっては、機器もロボット装置の範疇に含まれ得る。

端末装置１４は、例えば、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、スマートフォン、携帯電話、等の装置である。端末装置１４は、例えば、問題を解決するための解決手段の実行時等にユーザによって利用される。

本実施形態では、ロボット装置１０によって周囲の状況が検知され、その状況の問題に応じて、その問題を解決するための解決手段を実行するための制御が行われる。

以下、本実施形態に係る機器システムに含まれる各装置について詳しく説明する。

図２には、ロボット装置１０の外観が示されている。ロボット装置１０は、例えば、人型のロボットである。もちろん、ロボット装置１０は、人型以外のタイプのロボットであってもよい。図２に示す例では、ロボット装置１０は、胴体部１６と、胴体部１６上に設けられた頭部１８と、胴体部１６の下部に設けられた脚部２０と、胴体部１６の両側部にそれぞれ設けられた腕部２２と、各腕部２２の先端に設けられた指部２４と、を含む。

ロボット装置１０は、例えば、視覚センサー、聴覚センサー、触覚センサー、味覚センサー及び嗅覚センサー等の各種センサーを有し、人の五感に相当する視覚、聴覚、触覚、味覚及び嗅覚に関する能力を有する。ロボット装置１０は、例えば、触覚に関して、表在感覚（触覚、痛角、温度覚等）、深部覚（圧覚、位置覚、振動覚等）、皮質性感覚（二点識別覚、立体識別能力等）を分別して理解する能力を有する。また、ロボット装置１０は、平衡感覚を有している。例えば、頭部１８にカメラ２６等のセンサーが設けられており、視覚は、カメラ２６等によって得られた画像を用いた画像認識によって実現される。また、ロボット装置１０にマイク等の集音手段が設けられており、聴覚は、マイク等によって得られた音を用いた音声認識によって実現される。

ロボット装置１０は、人の脳波を検知する手段（例えば、人に脳波検知デバイスが設けられており、脳波検知デバイスから発信される情報を受信する手段）を備えていてもよい。

脚部２０は移動手段の一例に相当し、例えば、モータ等の駆動源からの駆動力によって駆動するようになっている。ロボット装置１０は、脚部２０によって移動できる。脚部２０は、人の足のような形状を有していてもよいし、ローラやタイヤ等であってもよいし、別の形状を有していてもよい。脚部２０は移動手段の一例に過ぎず、ロボット装置１０は、脚部２０以外の移動手段として、例えば、飛行するための構成（例えばプロペラ、羽、飛行用のエンジン等）を備えていてもよいし、水中を移動するための構成（例えば水中移動用のエンジン等）を備えていてもよい。つまり、ロボット装置１０は、移動手段として、陸上を移動するための手段、飛行するための手段、及び、水中を移動するための手段の中の少なくとも１つの手段を備えていればよい。もちろん、ロボット装置１０は、移動手段を備えていなくてもよい。

ロボット装置１０は、腕部２２や指部２４によって、物体を掴んだり操作したりする能力を備えていてもよい。ロボット装置１０は、物体を掴んだり抱えたりしながら移動する能力を備えていてもよい。

ロボット装置１０は、音声を発する機能を備えていてもよい。ロボット装置１０は、通信機能を備えて、他の装置との間でデータを送受信してもよい。ロボット装置１０は、音を出したり、通信メッセージを送ることで、人や他の装置や他のロボット装置とコミュニケーションを取る能力を備えていてもよい。

ロボット装置１０は、例えば、人工知能（ＡＩ）による機械学習によって、人に近い判断を行う能力を備えていてもよい。また、ニューラルネットワーク型のディープラーニングが利用されてもよいし、部分的に学習分野を強化する強化学習等が利用されてもよい。

ロボット装置１０は、例えばインターネット等を利用して情報（例えば問題を解決するための解決手段等）を検索する機能を備えていてもよい。

ロボット装置１０は、通信機能によって他の機器と通信し、他の機器の動作を制御してもよいし、リモコン等を利用して他の機器を操作してもよいし、リモコン等を利用せずに他の機器を直接操作してもよい。直接操作においては、例えば、他の機器に設けられている操作部（例えばボタンやパネル等）がロボット装置１０によって操作される。例えば、通信によって他の機器の動作を制御できない場合、ロボット装置１０は、リモコン等を利用して他の機器を操作してもよいし、他の機器を直接操作してもよい。例えば、ロボット装置１０は、視覚センサーによって得られた画像を解析することで、他の機器の操作部やリモコン等を識別して、他の機器やリモコンを操作する。

また、ロボット装置１０は、表示部２８を備えていてもよい。表示部２８には、発生した問題に関する情報、解決手段に関する情報、各種のメッセージ、等が表示される。

以下、図３を参照して、ロボット装置１０の構成について詳しく説明する。図３は、ロボット装置１０の構成を示すブロック図である。

通信部３０は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を備えている。通信部３０は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。通信部３０は、例えば、１又は複数の種類の通信方式に対応しており、通信相手に適した通信方式（つまり、通信相手が対応している通信方式）に従って通信相手と通信する。通信方式は、例えば、赤外線通信、可視光通信、Ｗｉ−Ｆｉ（登録商標）通信、近距離無線通信（例えばBluetooth（ブルートゥース）（登録商標）、ＲＦＩＤ（Radio Frequency Identifier）等）、等である。通信部３０は、例えば、通信相手に応じて通信方式を切り替えたり、周囲の環境（例えば、ロボット装置１０と通信相手との間の距離や、ロボット装置１０と通信相手との間の障害物の有無等）に応じて通信方式を切り替えたりする。また、通信の周波数帯として、例えば、８００ＭＨｚ〜９２０ＭＨｚ（ＬＰＷＡ（Low Power Wide Area）等）といった短波長帯、２．４ＧＨｚ、５ＧＨｚ（MuLTEfire）といった長波長、等が利用されてもよい。通信部３０は、例えば、通信相手に応じて周波数帯を切り替えたり、周囲の環境に応じて通信方式を切り替えたりする。

記憶部３２はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部３２には、例えば、所有機能管理情報３４、非所有機能管理情報３６、解決手段管理情報３８、デバイス機能管理情報４０、連携機能管理情報４２、その他、各種のデータ、各種のプログラム、等が記憶されている。また、他の機器のアドレスを示すデバイスアドレス情報が記憶部３２に記憶されていてもよい。上記の情報は、それぞれ別々の記憶装置に記憶されてもよいし、同じ記憶装置に記憶されてもよい。

所有機能管理情報３４は、ロボット装置１０が有する機能を示す情報である。所有機能管理情報３４においては、例えば、ロボット装置１０が有する機能を示す情報と、その機能によって実行可能なこと（動作、処理、操作等）を示す情報と、が対応付けられている。所有機能管理情報３４を参照することで、ロボット装置１０によって実行可能なことが特定（識別）される。所有機能管理情報３４に示されていない機能は、ロボット装置１０が有していない機能であるため、所有機能管理情報３４を参照することで、ロボット装置１０によって実行不可能なことが特定（識別）されてもよい。

非所有機能管理情報３６は、ロボット装置１０が有していない機能を示す情報である。非所有機能管理情報３６においては、例えば、ロボット装置１０が有していない機能を示す情報と、ロボット装置１０がその機能を有していないことで実行不可能なことを示す情報と、が対応付けられている。非所有機能管理情報３６を参照することで、ロボット装置１０によって実行不可能なことが特定（識別）される。非所有機能管理情報３６に示されていない機能は、ロボット装置１０が有している機能である場合があるため、非所有機能管理情報３６を参照することで、ロボット装置１０によって実行可能なことが特定（識別）されてもよい。

記憶部３２には、所有機能管理情報３４と非所有機能管理情報３６の両方の情報が記憶されて、これらの情報に基づいて、ロボット装置１０によって実行可能又は実行不可能なことが特定されてもよいし、いずれか一方の情報が記憶されて、その情報に基づいて、ロボット装置１０によって実行可能又は実行不可能なことが特定されてもよい。

解決手段管理情報３８は、発生した問題を解決するための解決手段（解決方法、解決行動）を示す情報である。解決手段管理情報３８においては、例えば、発生すると想定される問題を示す情報と、その問題の解決手段を示す情報と、が対応付けられている。

デバイス機能管理情報４０は、ロボット装置１０以外の機器が有する機能を管理するための情報であり、例えば、機器を識別するためのデバイス識別情報（機器識別情報）と、当該機器が有する機能を示す機能情報と、の対応付けを示す情報である。デバイス識別情報は、例えば、機器ＩＤ、機器名称、機器の種類を示す情報、機器の型番号、機器が設置されている位置を示す情報（機器の位置情報）、機器の外観を表わす外観画像、等である。機能情報は、例えば、機能ＩＤや機能名称等である。例えば、機器としての画像形成装置が、スキャン機能、コピー機能及びスキャン転送機能を有する場合、当該画像形成装置のデバイス識別情報には、スキャン機能を示す機能情報、コピー機能を示す機能情報、及び、スキャン転送機能を示す機能情報が対応付けられている。デバイス機能管理情報４０を参照することにより、各機器が有する機能が特定（識別）される。

デバイス機能管理情報４０によって管理されている機器は、例えば機器システムに含まれる機器（例えば機器１２）である。もちろん、機器システムに含まれない機器がデバイス機能管理情報４０によって管理されてもよい。例えば、ロボット装置１０は、機器システムに含まれていない新たな機器に関する情報（デバイス識別情報と機能情報とを含む情報）を取得し、デバイス機能管理情報４０に新たに登録してもよい。機器に関する情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。また、ロボット装置１０は、任意のタイミング、定期的、又は、管理者等によって指定されたタイミング等で、デバイス機能管理情報４０を更新してもよい。これにより、更新前には機器が有していなかったが更新後には機器が有することになった機能を示す機能情報が、デバイス機能管理情報４０に登録される場合がある。同様に、更新前には機器が有していたが更新後には機器が有していない機能を示す機能情報が、デバイス機能管理情報４０から削除され、又は、使用不可な情報として登録される場合がある。更新用の情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。

連携機能管理情報４２は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。複数の機能を連携させることによって、１又は複数の連携機能が実行される。連携機能は、例えば、１つの機器が有する複数の機能を連携させることによって実行されてもよいし、複数の機器が有する複数の機能を連携させることによって実行されてもよい。また、操作指示を出している装置（例えば端末装置１４）も識別対象の機器に含め、端末装置が有する機能を連携機能の一部として利用してもよいし、ロボット装置１０が有する機能を連携機能の一部として利用してもよい。

連携機能は、ハードウェアとしての機器を利用せずに実行される機能であってもよい。例えば、連携機能は、複数のソフトウェアを連携させることによって実行される機能であってもよい。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実行される機能であってもよい。

連携機能管理情報４２は、例えば、連携機能に利用される各機能を示す機能情報の組み合わせと、当該連携機能を示す連携機能情報と、の対応付けを示す情報である。連携機能情報は、例えば、連携機能ＩＤや連携機能名称等である。単独の機能が更新された場合、その更新に伴って連携機能管理情報４２も更新される。これにより、更新前には互いに連携不可能であった複数の機能による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。更新後に利用可能になった連携機能を示す連携機能情報が、連携機能管理情報４２に登録され、更新後に利用不可能になった連携機能を示す連携機能情報が、連携機能管理情報４２から削除され、又は、使用不可な情報として登録される。

複数の機器を連携させる場合、連携機能管理情報４２は、複数の機器が有する複数の機能を利用する連携機能を管理するための情報であり、連携機能に利用される各機器を識別するためのデバイス識別情報の組み合わせと、連携機能情報と、の対応付けを示す情報である。上記のように、デバイス機能管理情報４０が更新された場合、その更新に伴って、連携機能管理情報４２も更新される。これにより、更新前には互いに連携不可能であった複数の機器による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。

連携機能は、互いに異なる複数の機能を連携させることによって実行される機能であってもよいし、同一の機能を連携させることによって実行される機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、連携対象の機器が有する機能のうち、同じ機能を利用することによって利用できる機能であってもよいし、互いに異なる機能を組み合わせることによって利用できる機能であってもよい。例えば、プリント機能を有する機器（プリンタ）とスキャン機能を有する機器（スキャナ）を連携させることにより、連携機能としてのコピー機能が実現される。すなわち、プリント機能とスキャン機能を連携させることにより、コピー機能が実現される。この場合、連携機能としてのコピー機能と、プリント機能及びスキャン機能の組み合わせと、が対応付けられている。連携機能管理情報４２においては、例えば、連携機能としてのコピー機能を示す連携機能情報と、プリント機能を有する機器を識別するためのデバイス識別情報及びスキャン機能を有する機器を識別するためのデバイス識別情報の組み合わせと、が対応付けられる。

なお、記憶部３２には、利用可能機能管理情報が記憶されていてもよい。利用可能機能管理情報は、各ユーザが利用可能な機能を管理するための情報であり、例えば、ユーザを識別するためのユーザ識別情報と、当該ユーザが利用可能な機能を示す機能情報（連携機能情報を含んでいてもよい）と、の対応付けを示す情報である。ユーザが利用可能な機能は、例えば、ユーザに無償で提供された機能や、ユーザが購入した機能、等であり、単体の機能であってもよいし、連携機能であってもよい。ユーザ識別情報は、例えば、ユーザＩＤや氏名等のユーザアカウント情報である。利用可能機能管理情報を参照することにより、各ユーザが利用可能な機能が識別（特定）される。利用可能機能管理情報は、例えば、ユーザに機能が提供される度に（例えば、ユーザに無償又は有償で機能が提供される度に）更新される。

所有機能管理情報３４、非所有機能管理情報３６、解決手段管理情報３８、デバイス機能管理情報４０、連携機能管理情報４２及び利用可能機能管理情報の中の少なくとも１つの情報は、ロボット装置１０以外の装置（例えば、図示しないサーバ、機器１２、端末装置１４等）に記憶されていてもよい。この場合、その少なくとも１つの情報は、ロボット装置１０の記憶部３２に記憶されていなくてもよい。

状況収集部４４は、各種センサーによって、ロボット装置１０の周囲の状況に関する情報（以下、「状況情報」と称することとする）を収集する機能を備えている。センサーとして、上述した、視覚センサー、聴覚センサー、触覚センサー、味覚センサー、嗅覚センサー、等が用いられる。視覚センサーによって、ロボット装置１０の周囲の画像（例えば動画像や静止画像）が取得され、画像認識が行われる。聴覚センサーによって、ロボット装置１０の周囲の音（例えば人の会話や物音等）が収集され、音声認識が行われる。その他、ロボット装置１０の周囲の温度、湿度、匂い、等が検知される。もちろん、これら以外のセンサーが用いられて、ロボット装置１０の周囲の状況に関する情報が収集されてもよい。状況収集部４４は、ロボット装置１０以外の装置やセンサー等から状況情報を取得してもよい。

移動部４６は、陸上を移動するための手段、飛行するための手段、及び、水中を移動するための手段の中の少なくとも１つの手段によって、ロボット装置１０を移動させる機能を備えている。移動部４６は、例えば、図２に示されている脚部２０によって構成される。

作業部４８は、ロボット装置１０以外の機器を操作したり、物体を持ち上げたり移動させたりする機能を備えている。作業部４８は、例えば、図２に示されている脚部２０、腕部２２及び指部２４によって構成される。

ＵＩ部５０はユーザインターフェース部であり、表示部（例えば図１に示されている表示部２８）と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース（例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む）であってもよい。なお、ロボット装置１０は、ＵＩ部５０を備えていなくてもよいし、表示部を備えずに、ハードウェアキー（例えば、各種のボタン）を備えていてもよい。ハードウェアキーとしてのボタンは、例えば、数字入力に特化したボタン（例えばテンキー）、方向の指示に特化したボタン（例えば方向指示キー）、等である。

スピーカ５２は、音を出力する機能を備えている。例えば、解決手段に関する音声（例えば、人に協力を依頼するためのメッセージ）等が、スピーカ５２から発せられる。

制御部５４は、ロボット装置１０の各部の動作を制御する。また、制御部５４は、検知部５６、解決手段特定部５８、判断部６０、検索部６２及び識別部６４を含む。

検知部５６は、状況収集部４４によって収集された状況情報（例えば各種センサーの値）に基づいて、ロボット装置１０の周囲の状況を検知し、ロボット装置１０の周囲にて問題が発生しているか否かを判断し、発生した問題を検知する機能を備えている。検知部５６は、例えば、ロボット装置１０の周囲に存在する人に関する情報や、人以外の情報を、状況として検知する。人に関する情報は、例えば、視覚センサーによって得られた人の画像（例えば、人の顔の画像、全身の画像、その他、人の動作を表す画像等）や、聴覚センサーによって収集された人の音声等である。人以外の情報は、例えば、温度センサーによって得られた温度情報や湿度センサーによって得られた湿度情報等である。具体的には、検知部５６は、視覚センサーによって得られた画像、聴覚センサーによって収集された音、触覚センサーによって得られた触覚に関する情報、味覚センサーによって得られた味覚に関する情報、嗅覚センサーによって得られた匂いに関する情報、等を組み合わせて、周囲の状況を検知し、発生した問題を検知する。なお、検知部５６は、ロボット装置１０が備えていないセンサーによって収集された情報を利用してもよい。例えば、検知部５６は、外部に設置されたセンサー（例えば、部屋に設置されたセンサーや他の装置が備えるセンサー等）から、そのセンサーによって収集された情報を取得し、その情報を用いて問題を検知してもよい。

検知部５６は、例えば、センサーによって得られた値（例えば温度センサーによって検知された温度）が閾値以上となる場合、問題が発生したと判断してもよい。その閾値は、ロボット装置１０が備える各種センサーによって検知された人の年齢や性別に応じて変更されてもよい。人の年齢や性別に応じて閾値を変えることで、人の個性に応じて問題を検知することができる。つまり、年齢や性別によって、問題の感じ方が異なる場合があるため、年齢や性別に応じて閾値を変えることで、年齢や性別に応じた問題を検知することができる。

解決手段特定部５８は、解決手段管理情報３８を参照して、検知部５６によって検知された問題を解決するための解決手段を特定（識別）する機能を備えている。

人に関する情報（例えば人の画像や音声等）に基づく検知結果（第１の検知結果に相当する）と、人以外の情報に基づく検知結果（第２の検知結果に相当する）と、に基づく状況の問題が異なる場合、解決手段特定部５８は、予め定めた第１の検知結果又は第２の検知結果の優先順位に基づき、発生した問題を解決するための解決手段を選択してもよい。この場合において、例えば、第１の検知結果に基づき解決手段を選択することで、実際に人に発生していると想定される問題を解決するための解決手段が選択される。

判断部６０は、ロボット装置１０によって、検知部５６によって検知された問題を解決することが可能か否かを判断する機能を備えている。ロボット装置１０によって解決できない問題は、例えば、ロボット装置１０の機能だけでは解決できない問題、ロボット装置１０の機能だけでは解決に要する時間が予め設定された時間以上となる場合、ロボット装置１０の機能による作業の結果の質が予め設定された質以下となる問題、等である。解決手段特定部５８によって特定された解決手段が、ロボット装置１０が有する機能群内に含まれている場合、判断部６０は、ロボット装置１０のみによって問題を解決することが可能であると判断する。つまり、ロボット装置１０が、解決手段の実行に必要なすべての機能を備えている場合、判断部６０は、ロボット装置１０のみによって問題を解決することが可能であると判断する。一方、解決手段特定部５８によって特定された解決手段が、ロボット装置１０が有する機能群内に含まれていない場合、判断部６０は、ロボット装置１０のみによって、問題を解決することが不可能であると判断する。つまり、ロボット装置１０が、解決手段の実行に必要な全機能又は一部の機能を有していない場合、判断部６０は、ロボット装置１０のみによって問題を解決することが不可能であると判断する。判断部６０は、例えば、所有機能管理情報３４を参照することで、ロボット装置１０が有している機能を特定（又は、ロボット装置１０が有していない機能）を特定してもよいし、非所有機能管理情報３６を参照することで、ロボット装置１０が有していない機能（又は、ロボット装置１０が有している機能）を特定してもよい。

判断部６０が、ロボット装置１０によって問題を解決することが可能であると判断した場合、ロボット装置１０は、制御部５４の制御の下、解決手段特定部５８によって特定された解決手段を実行する。一方、判断部６０が、ロボット装置１０によって問題を解決することが不可能であると判断した場合、制御部５４は、ロボット装置１０以外の要素（他の機器や人）を利用する解決手段を実行するための制御を行う。例えば、制御部５４は、ロボット装置１０以外の機器に解決手段を実行させてもよいし、人に協力を依頼してもよい。もちろん、ロボット装置１０と他の要素（例えば人や他の機器）とが共同して解決手段を実行してもよい。

検索部６２は、検知部５６によって検知された問題を解決するための解決手段であって、解決手段管理情報３８に登録されていない解決手段を検索する機能を備えている。検索部６２は、例えば、インターネット等を利用することで、その解決手段を検索する。

識別部６４は、ロボット装置１０以外の機器を識別し、その機器が有する機能を識別（特定）する機能を備えている。識別部６４は、例えば、視覚センサーによって機器を撮影することで得られた画像（例えば機器の外観を表わす画像）に基づいて機器を識別してもよいし、視覚センサーによって機器を撮影することで、機器に設けられたデバイス識別情報を取得して機器を識別してもよいし、機器が設置されている位置を示す位置情報を取得して機器を識別してもよい。識別部６４は、更に、機器が有する機能を識別する。例えば、識別部６４は、記憶部３２に記憶されているデバイス機能管理情報４０において、識別した機器のデバイス識別情報に対応付けられている機能を示す機能情報を特定する。これにより、当該機器が有する機能が識別（特定）される。

また、識別部６４は、連携対象の複数の機器を識別し、記憶部３２に記憶されている連携機能管理情報４２において、当該複数の機器のデバイス識別情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定してもよい。これにより、連携対象の各機器が有する機能を連携させることによって実行される連携機能が識別（特定）される。

なお、ユーザが利用可能な機能が管理されている場合、識別部６４は、ユーザを識別するためのユーザ識別情報を受け、記憶部３２に記憶されている利用可能機能管理情報において当該ユーザ識別情報に対応付けられている各機能を示す機能情報を特定してもよい。これにより、当該ユーザが利用可能な機能群が識別（特定）される。例えば、端末装置１４からロボット装置１０にユーザ識別情報が送信され、識別部６４によって、当該ユーザ識別情報に対応付けられている各機能を示す機能情報が特定される。例えば、識別部６４は、デバイス識別情報とユーザ識別情報を受け、デバイス機能管理情報４０において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定し、また、利用可能機能管理情報において当該ユーザ識別情報に対応付けられている機能を示す機能情報を特定する。これにより、当該デバイス識別情報によって特定される機器が有する機能であって、当該ユーザ識別情報によって特定されるユーザが利用可能な機能が特定される。

制御部５４は、機能の購入処理を実行し、その購入の履歴を管理してもよい。例えば、有料の機能がユーザによって購入された場合、制御部５４は、当該ユーザに対して課金処理を適用してもよい。

制御部５４は、知能部としての人工知能（ＡＩ）を有しており、制御部５４の各部の機能は、その人工知能によって実現される。

なお、検知部５６、解決手段特定部５８、判断部６０、検索部６２及び識別部６４の中の少なくとも１つは、ロボット装置１０以外の装置（例えば、図示しないサーバ、機器１２、端末装置１４等）に設けられていてもよい。この場合。その少なくとも１つの部は、ロボット装置１０の制御部５４に含まれていなくてもよい。

以下、図４を参照して、端末装置１４の構成について詳しく説明する。図４には、端末装置１４の構成が示されている。

通信部６６は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部６６は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。

撮影手段としてのカメラ６８は、撮影対象を撮影することにより画像データ（例えば静止画像データや動画像データ）を生成する。また、端末装置１４のカメラを利用するだけではなく、ネットワーク等の通信経路に繋がった外部のカメラで撮影された画像データを通信部６６で受け取り、ＵＩ部７２で画像データを表示し、ユーザが画像データを操作できるようにしてもよい。なお、端末装置１４は、カメラ６８を備えていなくてもよい。

記憶部７０はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置であり、各種のプログラム、各種のデータ、等を記憶する。記憶部７０には、ロボット装置１０のアドレス情報、各機器（例えば機器１２）のアドレス情報、識別された機器に関する情報、識別された連携対象の機器に関する情報、識別された機器が有する機能に関する情報、連携機能に関する情報、等が記憶されてもよい。これらの情報は、それぞれ別々の記憶装置に記憶されてもよいし、同じ記憶装置に記憶されてもよい。

ＵＩ部７２はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えば、タッチパネル、キーボード、マウス、等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース（例えばタッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示するものを含む）であってもよい。

制御部７４は、端末装置１４の各部の動作を制御する。制御部７４は、例えば表示制御手段（制御手段）として機能し、各種の情報をＵＩ部７２の表示部に表示させる。

ＵＩ部７２の表示部には、例えば、ロボット装置１０による撮影によって得られた画像、カメラ６８によって撮影された画像、利用対象の機器（例えば、単独で利用される機器や連携対象の機器）として識別された機器に紐付く画像、機能に紐付く画像、等が表示される。機器に紐付く画像は、例えば、ロボット装置１０によって撮影された当該機器を表わす画像（例えば静止画像や動画像）であってもよいし、当該機器を模式的に表す画像（例えばアイコン）であってもよいし、カメラ６８によって撮影された当該機器を表わす画像（例えば静止画像や動画像）であってもよい。模式的に表す画像データは、例えば、ロボット装置１０に記憶されてロボット装置１０から端末装置１４に提供されてもよいし、端末装置１４に予め記憶されていてもよいし、別の装置に記憶されて当該別の装置から端末装置１４に提供されてもよい。機能に紐付く画像は、例えば、その機能を表わすアイコン等の画像である。

以下、図５，６を参照して、各無線通信技術について説明する。図５には、各無線通信技術の特性（メリット、デメリット）として周波数毎の特性が示されており、図６には、通信方式毎の特性が示されている。

図５に示すように、周波数が９００ＭＨｚの無線通信技術の主要な規格は、例えばＲＦＩＤである。そのメリットとして、障害物に強い、干渉周波数帯が少ない、といったことが挙げられ、デメリットとして、アンテナが大きい、通信可能な距離が短い、といったことが挙げられる。

周波数が２．４ＧＨｚの無線通信技術の主要な規格は、例えばZigBee（登録商標）やBluetooth等である。そのメリットとして、省電力、通信速度が速い、アンテナが小さい、といったことが挙げられ、デメリットとして、干渉することが多い、ことが挙げられる。

周波数が５ＧＨｚの無線通信技術の主要な規格は、例えばIEEE802.11aやMuLTEfire等である。そのメリットとして、干渉周波数帯が少ない、通信速度が速い、といったことが挙げられ、デメリットとして、障害物に弱い、ことが挙げられる。

図６に示すように、赤外線通信のメリットとして、低消費電力、小型化が容易、といったことが挙げられ、デメリットとして、赤外線が目に見えない、ことが挙げられる。

可視光通信のメリットとして、可視光を目で見て通信経路が分かる、ことが挙げられ、デメリットとして、指向性が強い、ことが挙げられる。

近接無線通信（ＮＦＣ）のメリットとして、複数の機器の間におけるペアリングが容易、といったことが挙げられ、デメリットとして、近距離でないと使えない、ことが挙げられる。

無線通信技術によって通信相手と通信する場合、ロボット装置１０の通信部３０は、周囲の環境や通信相手に適した特性を有する無線通信技術によって、通信相手と通信を行う。より詳しく説明すると、通信部３０は、例えば、通信相手との間の距離、ロボット装置１０と通信相手との間の障害物の有無、通信相手が対応している通信方式、等に応じて無線通信技術を変えて通信相手と通信を行う。

以下、図７，８を参照して、ロボット装置１０が有する機能について詳しく説明する。図７には、所有機能管理情報３４としての所有機能管理テーブルの一例が示されており、図８には、非所有機能管理情報３６としての非所有機能管理テーブルの一例が示されている。

所有機能管理テーブルにおいては、一例として、管理番号と、ロボット装置１０が有する機能を示す情報と、その機能によってロボット装置１０が実行可能なこと（動作、処理、操作等）を示す情報と、が互いに対応付けられている。例えば、ロボット装置１０は、腕部２２で物体を持ち上げる機能を備えており、その機能によって、例えば、重さが３０ｋｇまでの物体を持ち上げて移動できる。また、ロボット装置１０は、移動する機能を備えており、その機能によって、時速１０ｋｍ以内で速度を可変させて移動できる。所有機能管理テーブルを参照することで、ロボット装置１０が有する機能と、その機能によってロボット装置１０が実行可能なことが特定（識別）される。また、所有機能管理テーブルに登録されていない機能や実行可能なことは、ロボット装置１０が有していない機能や実行不可能なことであるため、所有機能管理テーブルを参照することで、ロボット装置１０が有していない機能や実行不可能なことが特定（識別）される。

非所有機能管理テーブルにおいては、一例として、管理番号と、ロボット装置１０が有していない機能を示す情報と、ロボット装置１０がその機能を有していないことで実行不可能なこと（動作、処理、操作等）を示す情報と、が互いに対応付けられている。例えば、ロボット装置１０は、外部の冷却機能（例えばロボット装置１０の周囲を冷却する機能）を備えておらず、そのため、ロボット装置１０は、部屋の中を冷やすことができない。また、ロボット装置１０は、印刷機能（プリント機能）を備えておらず、そのため、ロボット装置１０が聞き取った音声や見た書類を印刷できない。非所有機能管理テーブルを参照することで、ロボット装置１０が有していない機能と、ロボット装置１０が実行不可能なことが特定（識別）される。また、非所有機能管理テーブルに登録されていない機能や実行不可能なことは、ロボット装置１０が有している機能や実行可能なことである場合があるため、非所有機能管理テーブルを参照することで、ロボット装置１０が有している機能や実行可能なことが特定（識別）されてもよい。

記憶部３２には、所有機能管理テーブルと非所有機能管理テーブルの両方のデータが記憶されて、これらのデータに基づいて、ロボット装置１０によって実行可能又は実行不可能なことが特定されてもよいし、いずれか一方のデータが記憶されて、そのデータに基づいて、ロボット装置１０によって実行可能又は実行不可能なことが特定されてもよい。

以下、図９を参照して、解決手段管理情報３８の具体例について説明する。図９には、解決手段管理情報３８としての解決手段管理テーブルの一例が示されている。解決手段管理テーブルにおいては、一例として、管理番号と、状況（問題）を示す情報と、その状況（問題）に対する解決手段（その問題を解決するための手段）を示す情報と、が互いに対応付けられている。状況（問題）は、検知部５６によって検知される。解決手段特定部５８は、解決手段管理テーブルにおいて、検知部５６によって検知された問題に対応する解決手段を特定する。

例えば、状況（１）「部屋の温度が温度閾値以上（例えば３０℃以上）」が検知された場合、その状況を解決するための手段は、部屋の温度を下げる手段であり、具体的には、「（１）クーラーで冷やす。」、「（２）窓を開ける。」である。部屋の温度は、例えば、ロボット装置１０が備えている各種センサー（例えば温度センサー）によって検知される。温度閾値は、ロボット装置１０の周囲にいる人の年齢や性別によって変更されてもよい。例えば、ロボット装置１０の検知部５６は、各種センサー（例えば視覚センサーや聴覚センサー等）によって得られた情報（例えば画像や音声情報等）に基づいて周囲の人を検知するとともに、検知された人の年齢や性別等を推定する。例えば、年齢の高い人（年齢が年齢閾値以上となる人）が検知された場合と、年齢の低い人（年齢が年齢閾値未満となる人）が検知された場合と、で異なる温度閾値が用いられてもよい。例えば、年齢の高い人が検知された場合、年齢の低い人が検知された場合と比べて、より小さい温度閾値が用いられてもよい。これにより、年齢に適した解決手段が実行される。もちろん、性別毎に閾値を変えてもよい。これにより、性別に適した解決手段が実行される。

別の例として、状況（３）「部屋にいる人が寒そうな動作をしている」が検知された場合、その状況を解決するための手段は、部屋の温度を上げる手段であり、具体的には、「（１）ストーブをつける。」、「（２）扉を閉める。」である。ロボット装置１０の検知部５６は、各種センサーによって周囲の人の動作を検知することで、状況（３）を検知する。具体的には、検知部５６は、人の顔や身体の動作等を表す画像に基づいて、人の表情、汗の有無、腕や足の動き等を検知したり、人の音声を検知することで、状況（３）を検知する。

互いに矛盾する複数の状況が検知された場合、検知部５６は、複数の状況の中から１つの状況を優先的な状況として選択し、解決手段特定部５８は、その優先的な状況を解決するための解決手段を特定してもよい。例えば、状況（１）「部屋の温度が３０℃以上」が検知され、更に、状況（３）「部屋にいる人が寒そうな動作をしている」が検知された場合、状況（３）が状況（１）に優先して選択され、状況（３）を解決するための解決手段が選択される。この優先順位は予め設定されている。例えば、人に関する情報に基づいて検知された状況が、人以外の情報に基づいて検知された状況よりも優先して選択される。状況（３）は、人に関する情報に基づいて検知された状況（例えば、人の画像や音声を解析することで検知された状況）であり、状況（１）は、人以外の情報に基づいて検知された状況である。状況（３）を状況（１）よりも優先して選択することで、周囲の人に実際に発生していると想定される問題の解決手段が優先して選択されることになり、より確実に問題を解決することができる。

以下、図１０を参照して、デバイス機能管理情報４０について詳しく説明する。図１０には、デバイス機能管理情報４０としてのデバイス機能管理テーブルの一例が示されている。デバイス機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器が有する機能を示す情報（機能情報）と、画像ＩＤと、が互いに対応付けられている。機器ＩＤと機器名はデバイス識別情報の一例に相当する。画像ＩＤは、機器を表わす画像（例えば、機器の外観を表わす画像や、機器を模式的に表す画像（例えばアイコン）等）を識別するための画像識別情報の一例である。なお、デバイス機能管理テーブルには、画像ＩＤは含まれていなくてもよい。例えば、機器ＩＤが「Ｂ」の機器は、複合機（複数の画像形成機能を有する画像形成装置）であり、プリント機能やスキャン機能等の機能を有している。その機器には、その機器を表わす画像を識別するための画像ＩＤが対応付けられている。機器を表わす画像のデータは、例えば、ロボット装置１０の記憶部３２や他の装置に記憶されている。

例えば、ロボット装置１０が有する各種センサーによって、ロボット装置１０の周囲に存在する機器を識別するための機器ＩＤが取得され、ロボット装置１０の識別部６４は、デバイス機能管理テーブルを参照することにより、その機器ＩＤに対応付けられている機器名、機能及び画像ＩＤを特定する。これにより、ロボット装置１０の周囲に存在する機器が識別される。例えば、機器名を示す情報、及び、機器を表わす画像のデータが、ロボット装置１０から端末装置１４に送信され、それらが端末装置１４に表示されてもよい。機器を表わす画像は、当該機器に紐付く画像として表示される。機器に紐付く画像は、カメラ等によって撮影することで生成された画像であってもよいし、機器を模式的に表す画像（例えばアイコン等）であってもよい。また、端末装置１４において、機器に紐付く画像がユーザによって指定されると、その機器が有する機能に関する情報（例えば、機能情報や機能の説明情報等）が、ロボット装置１０から端末装置１４に送信されて端末装置１４に表示されてもよい。

以下、図１１を参照して、連携機能管理情報４２について詳しく説明する。図１１には、連携機能管理情報４２としての連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、機器ＩＤの組み合わせと、連携対象の機器名（例えば各機器の種類）を示す情報と、連携機能を示す情報（連携機能情報）と、が互いに対応付けられている。例えば、機器ＩＤが「Ａ」の機器はＰＣ（パーソナルコンピュータ）であり、機器ＩＤが「Ｂ」の機器は複合機である。ＰＣ（Ａ）と複合機（Ｂ）を連携させることにより、連携機能として、例えば「スキャン転送機能」や「プリント機能」が実現される。「スキャン転送機能」は、複合機（Ｂ）によるスキャンによって生成された画像データをＰＣ（Ａ）に転送する機能である。「プリント機能」は、ＰＣ（Ａ）に保存されているデータ（例えば画像データや文書データ）を複合機（Ｂ）に送信して複合機（Ｂ）にて印刷する機能である。

以下、図１２を参照して、状況確認処理の概略について説明する。図１２は、その処理を示すフローチャートである。

まず、状況収集部４４は、各種センサーによって、ロボット装置１０の周囲の状況に関する状況情報（各種センサーの値）を収集し、検知部５６は、その状況情報に基づいて、ロボット装置１０の周囲の状況を検知し、ロボット装置１０の周囲にて問題が発生しているか否かを判断し、発生した問題を検知する（Ｓ０１）。

判断部６０は、ロボット装置１０によって、検知部５６によって検知された問題を解決することが可能か否かを判断する（Ｓ０２）。上述したように、ロボット装置１０によって解決できない問題は、例えば、ロボット装置１０の機能だけでは解決できない問題、ロボット装置１０の機能だけでは解決に要する時間が予め定められた時間以上となる問題、ロボット装置１０の機能による作業の結果の質が予め定められた質以下となる問題、等である。

検知部５６によって検知された問題が、ロボット装置１０によって解決できない問題に該当しない場合（Ｓ０２，Ｎｏ）、ロボット装置１０は、その問題を解決するための解決手段を実行する（Ｓ０３）。その解決手段は、解決手段特定部５８によって特定される。この場合、ロボット装置１０は、ロボット装置１０以外の機器を利用せずに、また、人から援助を受けずに、自身の有する機能によって解決手段を実行する。ロボット装置１０は、例えば、問題を示す情報や解決手段を示す情報をロボット装置１０のＵＩ部５０や端末装置１４のＵＩ部７２に表示させ、解決手段の実行指示がユーザによって与えられた場合、解決手段を実行してもよい。

一方、検知部５６によって検知された問題が、ロボット装置１０によって解決できない問題に該当する場合（Ｓ０２，Ｙｅｓ）、解決手段の探索処理が実行される。ロボット装置１０のみによって解決手段を探す場合（Ｓ０４，Ｙｅｓ）、ロボット装置１０は、自律判断モードを実行する（Ｓ０５）。一方、ロボット装置１０のみによって解決手段を探さない場合（Ｓ０４，Ｎｏ）、ロボット装置１０は、ユーザ判断モードを実行する（Ｓ０６）。自律判断モード又はユーザ判断モードの何れかを実行するのかは、予め設定されている。つまり、ロボット装置１０は、検知部５６によって検知された問題が、ロボット装置１０によって解決できない問題に該当する場合、自律判断モード及びユーザ判断モードの中で予め設定されたモードを実行する。実行されるモードは、ユーザによって指定されてもよい。

以下、図１３を参照して、状況確認処理について詳しく説明する。図１３は、その処理を示すフローチャートである。

まず、状況収集部４４は、各種センサーによって、ロボット装置１０の周囲の状況に関する状況情報（各種センサーの値）を収集し（Ｓ１０）、検知部５６は、各種センサーの値を組み合わせることで、生じる問題を想定する（Ｓ１１）。検知部５６は、例えば、周囲を撮影することで得られた画像を解析することで得られた情報と、画像以外のセンサーの値と、を組み合わせることで、生じる問題を想定する。もちろん、人の音声を収集し、その音声の解析結果も組み合わせて問題を検知してもよい。例えば、検知された温度が温度閾値以上（例えば３０℃以上）であって、周囲を表わす画像に汗をかいている人が表されている場合、検知部５６は、クーラーや扇風機等を利用することで周囲の温度を下げる必要があることを検知する。１つのセンサーのみを使用して状況を判断する場合、その判断は誤る可能性があるが、周囲を表わす画像等と組み合わせることで、より複雑な状況をより精度高く検知できる。例えば、周囲を表わす画像とセンサーの値とを組み合わせることで、一様な判断だけでなく、個別的な判断まで可能になる。もちろん、センサーを用いることで、人の目や嗅覚等によって検知できない状況までも検知することが可能となる利点がある。

次に、解決手段特定部５８は、各種センサーの値を正常値に戻すための解決手段を想定する（Ｓ１２）。例えば、解決手段特定部５８は、図９に示されている解決手段管理テーブルにおいて、検知部５６によって検知された問題に対応する解決手段を特定する。ここで特定された解決手段に関する情報は、後述するユーザ問い合わせ時に提示されたり、ロボット装置１０以外の機器や人を利用して問題を解決するときに、指示（コントロール）依頼として提示されたりしてもよい。

次に、判断部６０は、ロボット装置１０によって、検知部５６によって検知された問題を解決することが可能か否かを判断する。そのために、判断部６０は、ロボット装置１０が有する機能と、解決手段特定部５８によって特定された解決手段と、を比較する（Ｓ１３）。

ロボット装置１０が有する機能内に、解決手段特定部５８によって特定された解決手段が含まれている場合、つまり、ロボット装置１０が、その解決手段を実行するための機能を備えている場合（Ｓ１４，Ｙｅｓ）、処理は、図１２に示されているステップＳ０３に移行する。この場合、ロボット装置１０は、ロボット装置１０以外の機器を利用せずに、また、人から援助を受けずに、自身の有する機能によって解決手段を実行する。ロボット装置１０は、ユーザによって実行指示が与えられた場合に、解決手段を実行してもよい。

ロボット装置１０が有する機能内に、解決手段特定部５８によって特定された解決手段が含まれていない場合、つまり、ロボット装置１０が、その解決手段を実行するための機能を備えていない場合（Ｓ１４，Ｎｏ）、ロボット装置１０は、自律判断モード又はユーザ判断モードを実行する（Ｓ１５）。

以下、図１４を参照して、ユーザ判断モードにおける処理について詳しく説明する。図１４は、その処理を示すフローチャートである。

まず、ロボット装置１０の通信部３０は、制御部５４の制御の下、状況収集部４４によって収集された状況情報（各種センサーの値）を、端末装置１４に送信する（Ｓ２０）。このとき、通信部３０は、障害物の有無や、ロボット装置１０と端末装置１４との間の距離等に応じて通信方式を切り替えてもよい。通信部３０は、例えば、送信先として予め登録された端末装置１４に状況情報を送信してもよいし、ロボット装置１０によって識別された端末装置１４に状況情報を送信してもよいし、ロボット装置１０に対して通信を要求してきた端末装置１４に状況情報を送信してもよい。例えば、ロボット装置１０の識別部６４は、視覚センサーによって端末装置１４を撮影することで得られた画像から端末装置１４のデバイス識別情報を取得し、そのデバイス識別情報に基づいて端末装置１４を識別してもよい。別の例として、通信部３０は、ロボット装置１０の位置を基準にして予め設定された範囲内に存在する端末装置１４（例えば、近距離無線通信によって通信が可能な範囲に存在する端末装置１４）に対して、状況情報を送信してもよい。更に別の例として、ロボット装置１０の識別部６４は、問題が発生していると想定されるユーザを識別し、そのユーザが所持する端末装置１４に状況情報を送信してもよい。

ロボット装置１０は、端末装置１４のユーザの要求に応じて、状況情報を更に収集して端末装置１４に送信してもよい（Ｓ２１）。例えば、ロボット装置１０は、移動しながらカメラ等の視覚センサーによって周囲を追加で撮影し、その撮影で得られた画像（動画像や静止画像）を、端末装置１４に送信したり、ユーザが指示した事項（例えば温度）のデータを収集し直して端末装置１４に再送信する。

次に、ロボット装置１０は、検知部５６によって検知された問題を解決するための１又は複数の解決手段（解決手段特定部５８によって特定された１又は複数の解決手段）をユーザに提示する（Ｓ２２）。例えば、ロボット装置１０の通信部３０は、制御部５４の制御の下、解決手段を示す情報を端末装置１４に送信する。この場合、解決手段を示す情報は、端末装置１４のＵＩ部７２に表示される。別の例として、ロボット装置１０の制御部５４は、解決手段を示す情報を、ロボット装置１０自身のＵＩ部５０に表示させてもよい。

ユーザに対して提示された１又は複数の解決手段の中からユーザによって実行対象の解決手段が選択された場合、ロボット装置１０の制御部５４は、ユーザによって選択された解決手段が、ロボット装置１０以外の機器（例えば機器１２）を利用する解決手段か否かを判断する（Ｓ２３）。例えば、ユーザが端末装置１４を使用して解決手段を選択した場合、その解決手段を示す情報が、端末装置１４からロボット装置１０に送信され、ロボット装置１０の制御部５４は、その情報に基づき、ユーザによって選択された解決手段が、ロボット装置１０以外の機器を利用する解決手段か否かを判断する。解決手段を示す情報がロボット装置１０のＵＩ部５０に表示され、ユーザがＵＩ部５０を利用して解決手段を選択した場合、制御部５４は、その選択に従って判断する。

ユーザによって選択された解決手段が、ロボット装置１０以外の機器を利用する解決手段に該当する場合（Ｓ２３，Ｙｅｓ）、ロボット装置１０の通信部３０は、制御部５４の制御の下、その解決手段を実現可能な機器に関する情報を、端末装置１４に送信する（Ｓ２４）。例えば、制御部５４は、デバイス機能管理テーブルや連携機能管理テーブルを参照することで、ユーザによって選択された解決手段を実現可能な機能を有する１又は複数の機器を特定する。例えば、解決手段として「プリント」が選択された場合、プリント機能を有する複合機が、解決手段を実現する機器として特定される。機器に関する情報には、例えば、機器の外観を表わす外観画像、機器に接続するための機器のアドレス情報、機器のスペックを示す情報、等が含まれてもよい。別の例として、ロボット装置１０の制御部５４は、その機器に関する情報を、ロボット装置１０のＵＩ部５０に表示させてもよい。この場合、端末装置１４に機器に関する情報が送信されなくてもよい。

次に、ユーザの操作によって解決手段が実行される（Ｓ２５）。つまり、その解決手段を実現するための機器が有する機能が実行される。解決手段を実現するための機能として、単体の機器が有する機能が実行されてもよいし、複数の機器が有する機能を利用する連携機能が実行されてもよい。もちろん、解決手段を実現するための機能として、ロボット装置１０が有する機能が利用されてもよい。機器に対する機能の実行指示は、ロボット装置１０から与えられてもよいし、端末装置１４から与えられてもよい。機能を実行するための操作等については、後で詳しく説明する。

一方、ユーザによって選択された解決手段が、ロボット装置１０以外の機器を利用する解決手段に該当しない場合（Ｓ２３，Ｎｏ）、ロボット装置１０は、解決手段を実行するために、周囲の人に協力を依頼する（Ｓ２４）。このとき、ロボット装置１０は、解決手段を実行するための手順（ユーザが行うべき作業の手順）をユーザに伝える（Ｓ２５）。例えば、ロボット装置１０の制御部５４は、その手順を音声としてスピーカに発生させたり、ロボット装置１０のＵＩ部５０に手順を表示させたり、人のいる場所まで移動して人に触ったりする。手順が人に伝わり難い場合、音声を大きくしてもよい。ロボット装置１０の通信部３０は、その手順を示す情報を端末装置１４に送信してもよい。この場合、端末装置１４のＵＩ部７２に、その手順を示す情報が表示される。

なお、機器と人の両方によって実現される解決手段がユーザによって選択された場合、上記のステップＳ２４からステップＳ２７が実行される。この場合においても、ロボット装置１０の機能が解決手段の一部として利用されてもよい。

以下、図１５を参照して、自律判断モードにおける処理について詳しく説明する。図１５は、その処理を示すフローチャートである。

まず、ロボット装置１０の制御部５４は、必要に応じて、解決手段特定部５８によって特定された解決手段を実現するために必要な追加機能や応援依頼（ユーザの応援の依頼）を特定する（Ｓ３０）。

ロボット装置１０の制御部５４は、解決手段特定部５８によって特定された解決手段が、ロボット装置１０以外の機器（例えば機器１２）を利用する解決手段か否かを判断する（Ｓ３１）。

解決手段特定部５８によって特定された解決手段が、ロボット装置１０以外の機器を利用する解決手段に該当する場合（Ｓ３１，Ｙｅｓ）、ロボット装置１０の制御部５４は、周囲において、その解決手段を実行可能な機器を探索する（Ｓ３２）。制御部５４は、例えば、視覚センサーによって得られた画像、各機器の位置情報、無線通信状況等に基づいて、機器を探索する。例えば、制御部５４は、デバイス機能管理テーブルや連携機能管理テーブルを参照することで、解決手段を実現可能な機能を有する１又は複数の機器を特定する。例えば、解決手段が「プリント」の場合、ロボット装置１０の制御部５４は、プリント機能を有する複合機を探索する。

解決手段を実行可能な機器が周囲に存在する場合（Ｓ３３，Ｙｅｓ）、ロボット装置１０の通信部３０は、制御部５４の制御の下、解決手段の実行指示（解決手段を実現するための機能の実行指示）を示す情報を、当該機器に送信する（Ｓ３４）。実行指示を示す情報を受けた機器は、その指示に従って解決手段を実行する。

ロボット装置１０の制御部５４は、解決手段を実行可能な機器のコントロール権を取得できるか否かを確認してもよい。すなわち、制御部５４は、当該機器のアドレス情報やコントロール可能なドライバがロボット装置１０に記憶されているか否かを確認する。ネットワーク等を利用してドライバ等を取得できる場合、制御部５４は、ドライバ等のダウンロードを実行する。なお、ロボット装置１０は、機器の操作パネルを直接操作することで当該機器に実行指示を与えてもよいし、当該機器のリモコンを操作することで、当該機器に実行指示を与えてもよい。

解決手段が無事終了したか否かは、機器による機能の実行後に、問題が解決したか否かによって判断される。検知部５６によって問題が検知されない場合、制御部５４は、その問題が解決されたと判断する。問題が解決していない場合、ロボット装置１０の制御部５４は、解決手段の実行指示を機器に再度与えたり、別の解決手段を探索する。

解決手段を実行可能な機器が周囲に存在しない場合（Ｓ３３，Ｎｏ）、ロボット装置１０の制御部５４は、別の解決手段を探索する（Ｓ３５）。このとき、制御部５４は、モードをユーザ判断モードに切り替えてもよい。

解決手段特定部５８によって特定された解決手段が、ロボット装置１０以外の機器を利用する解決手段に該当しない場合（Ｓ３１，Ｎｏ）、ロボット装置１０は、解決手段を実行するために、周囲の人に協力を依頼する（Ｓ３６）。このとき、ロボット装置１０は、協力依頼内容（例えば解決手段を実行するための手順等）をユーザに伝える（Ｓ３７）。例えば、ロボット装置１０の制御部５４は、協力依頼内容を音声としてスピーカに発生させたり、ロボット装置１０のＵＩ部５０に協力依頼内容を表示させたり、人のいる場所まで移動して人に触ったりする。ロボット装置１０の通信部３０は、協力依頼内容を示す情報を端末装置１４に送信してもよい。この場合、端末装置１４のＵＩ部７２に、その協力依頼内容を示す情報が表示される。

協力に応じてもらえる場合（Ｓ３８，Ｙｅｓ）、処理は終了する。この場合、ユーザが解決手段を実行する。協力に応じてもらえない場合（Ｓ３８，Ｎｏ）、ロボット装置１０の制御部５４は、別の解決手段を探索する（Ｓ３５）。制御部５４は、モードをユーザ判断モードに切り替えてもよい。制御部５４は、例えば、音声認識によって、ユーザの返事を認識することで、協力に応じてもらえたか否かを判断してもよい。例えば、協力に応じる旨の返事が音声認識された場合、制御部５４は、協力に応じてもられたと判断する。別の例として、解決手段を実現するためにユーザによって行われると想定される動作が、予め設定された時間内に実行されて、各種センサー（例えば視覚センサー）によってその動作が検知された場合、制御部５４は、協力に応じてもらえたと判断してもよい。

なお、時間が経過するにつれて、周囲の状況も変化するため、発生する問題も変化する場合がある。この場合、ロボット装置１０は、刻々と変化する状況（問題）を検知し、その検知結果に応じた解決手段を特定する。

また、ロボット装置１０が解決できる問題は、ロボット装置１０が有する機能の更新に応じて変更される。その機能の更新は、例えば、ロボット装置１０が有するハードウェア及びソフトウェアの中の少なくとも１つを変更することで行われる。

なお、解決手段特定部５８は、人によって実行される解決手段よりも、人によって実行されずに機器を利用して実行される解決手段（人の協力が不要な解決手段）を優先的に特定してもよい。人によって実行される解決手段は、必ずしも人によって実行されるとは限らない。それ故、人の協力が不要な解決手段を優先的に特定することで、より確実に実行され得る解決手段が特定される。また、人が検知されない場合、解決手段特定部５８は、人の協力が必要な解決手段を探索せずに、人の協力が不要な解決手段を特定してもよい。これにより、解決手段の探索に要する負荷が軽減される。

以下、図１６を参照して、解決手段の実行制御について詳しく説明する。図１６は、その制御を示すフローチャートである。以下では、ロボット装置１０によって問題を解決できないものとする。

まず、ロボット装置１０の制御部５４は、上記のユーザ判断モードにおいてユーザによって選択された解決手段、又は、上記の自律判断モードにおいてロボット装置１０によって特定された解決手段に、機器の制御が含まれているか否かを判断する（Ｓ４０）。つまり、制御部５４は、上記の解決手段が、機器を利用する解決手段に該当するか否かを判断する。更に換言すると、制御部５４は、上記の解決手段が、機器を利用せずに人のみによって実現される解決手段か否かを判断する。

上記の解決手段に機器の制御が含まれていない場合（Ｓ４０，Ｎｏ）、つまり、解決手段が機器を利用せずに人のみによって実現される解決手段に該当する場合、ロボット装置１０は、解決手段を実行するために、周囲の人に協力を依頼する（Ｓ４１）。例えば、ロボット装置１０の通信部３０は、協力依頼内容（例えば解決手段を実行するための手順等）を示す情報を端末装置１４に送信する。この場合、端末装置１４のＵＩ部７２に、その協力依頼内容を示す情報が表示される。このとき、ロボット装置１０の通信部３０は、周囲の環境に応じた通信方式を利用して、協力依頼内容を示す情報を端末装置１４に送信する（Ｓ４２）。周囲の環境は、例えば、ロボット装置１０と端末装置１４との間の距離や、ロボット装置１０と端末装置１４との間の障害物の有無等である。ロボット装置１０の制御部５４は、協力依頼内容を音声としてスピーカに発生させたり、ロボット装置１０のＵＩ部５０に協力依頼内容を表示させたり、人のいる場所まで移動して人に触ったりしてもよい。ロボット装置１０の制御部５４は、解決手段を実現するためにユーザによって行われると想定される動作が、予め設定された時間内に実行されるか否かを観察する（Ｓ４３）。制御部５４は、その観察に基づいて、問題が解消したか否かを判断する（Ｓ４４）。その想定される動作が予め設定された時間内に実行されて、各種センサー（例えば視覚センサー）によってその動作が検知された場合、ロボット装置１０の制御部５４は、問題が解消したと判断する（Ｓ４４，Ｙｅｓ）。この場合、処理は終了する。一方、想定される動作が予め設定された時間内に実行されず、各種センサーによってその動作が検知されない場合、ロボット装置１０の制御部５４は、問題が解消していないと判断する（Ｓ４４，Ｎｏ）。この場合、ロボット装置１０は、別の解決手段を探索してもよいし、同じ協力依頼内容をユーザに通知してもよい（Ｓ４５）。

上記の解決手段に機器の制御が含まれている場合（Ｓ４０，Ｙｅｓ）、つまり、解決手段が機器を利用する解決手段に該当する場合、ロボット装置１０の制御部５４は、解決手段に利用される機器が無料で利用可能な機器に該当するか否かを判断する（Ｓ４６）。具体的には、ロボット装置１０の制御部５４は、周囲において、その解決手段を実行可能な機器を探索（識別）し、その機器が無料で利用可能な機器に該当する否かを判断する。無料又は有料を示す情報は、機器毎に管理されている。例えば、デバイス機能管理テーブルにおいて、各機器が無料又は有料で使用可能なことが管理されていてもよい。別の例として、制御部５４は、識別した機器から、当該危機が無料又は有料で使用可能な機器かを示す情報を取得してもよい。

解決手段に利用される機器が無料で利用可能な機器に該当しない場合（Ｓ４６，Ｎｏ）、つまり、その機器が有料で使用可能な機器に該当する場合、ロボット装置１０の制御部５４は、当該ロボット装置１０が、当該機器に対応する支払手段を有しているか否かを判断する（Ｓ４７）。支払手段は、例えば、電子マネー（電子通貨）、仮想通貨、現金、クレジットカード等である。もちろん、これら以外の手段によって支払いが行われてもよい。ロボット装置１０が、支払手段を有していない場合（Ｓ４７，Ｎｏ）、ロボット装置１０の制御部５４は、別の解決手段を探索する（Ｓ４８）。ロボット装置１０が、支払手段を有している場合（Ｓ４７，Ｙｅｓ）、処理はステップＳ４９に移行する。この場合、ロボット装置１０の制御部５４は、有料で利用可能な機器を使用するための支払い動作を制御する。つまり、ロボット装置１０は、機器の利用の際に、支払手段によって支払する。なお、ロボット装置１０が支払手段を有していない場合、ロボット装置１０は、ロボット装置１０以外の機器及び人の中の少なくとも１つから支払い援助を受けて（例えば、人や機器から金銭を借りたり譲り受けたりして）支払い動作を行ってもよい。

次に、ロボット装置１０の制御部５４は、解決手段に利用される機器が通信機能を介して制御可能な機器に該当するか否かを判断する（Ｓ４９）。通信機能を介して制御可能か否かを示す情報は、機器毎に管理されている。例えば、デバイス機能管理テーブルにおいて、各機器が通信機能を介して制御可能か否かが管理されていてもよい。

解決手段に利用される機器が通信機能を介して制御可能な機器に該当する場合（Ｓ４９，Ｙｅｓ）、ロボット装置１０の制御部５４は、その機器との間で通信可能な通信方式（その機器が対応している通信方式）を選択する（Ｓ５０）。各機器が対応している通信方式は、機器毎に管理されている。例えば、デバイス機能管理テーブルにおいて、各機器が対応している通信方式が管理されていてもよい。なお、機器が対応している通信方式に従って当該機器と通信を行っても通信エラーが生じる場合、ステップＳ５７以降の処理が実行されてもよい。また、当該機器が複数の通信方式に対応している場合、ロボット装置１０は、当該複数の通信方式のそれぞれを用いて当該機器との間で通信を試みてもよい。この場合、ロボット装置１０は、複数の通信方式の中で最適な通信方式（例えば、通信速度が最も速い通信方式や、ノイズが最も少ない通信方式等）を用いて機器と通信してもよい。

また、ロボット装置１０の制御部５４は、解決手段に利用される機器のアドレス情報やアクセスパスワード等を取得する（Ｓ５１）。ロボット装置１０の制御部５４は、例えば、アドレス情報等を記憶するサーバ等の装置からアドレス情報等を取得してもよいし、インターネット経由等でアドレス情報等を取得してもよい。別の例として、アドレス情報等はロボット装置１０に記憶されていてもよい。また、ロボット装置１０の制御部５４は、解決手段に利用される機器を制御するために当該機器のドライバが必要な場合、そのドライバを取得してロボット装置１０にインストールする（Ｓ５２）。ロボット装置１０の制御部５４は、例えば、ドライバを記憶するサーバ等の装置からドライバを取得してもよいし、インターネット経由等でドライバを取得してもよい。

次に、ロボット装置１０の通信部３０は、解決手段の実行指示（解決手段を実行するための機能の実行指示）を示す情報を、解決手段に利用される機器に送信する（Ｓ５３）。実行指示を示す情報を受けた機器は、その指示に従って解決手段を実行する。

ロボット装置１０の制御部５４は、機器が問題を解決しているか否かを観察し（Ｓ５４）、その観察に基づいて、問題が解消したか否かを判断する（Ｓ５５）。例えば、解決手段を実現するために機器によって行われると想定される動作が、予め設定された時間内に当該機器によって実行されて、各種センサー（例えば視覚センサー）によってその動作が検知された場合、ロボット装置１０の制御部５４は、機器が問題を解決していると判断する（Ｓ５５，Ｙｅｓ）。この場合、処理は終了する。一方、想定される動作が予め設定された時間内に実行されず、各種センサーによってその動作が検知されない場合、ロボット装置１０の制御部５４は、問題が解消していないと判断する（Ｓ５５，Ｎｏ）。この場合、ロボット装置１０は、別の解決手段を探索してもよいし、同じ実行指示を機器に送信してもよい（Ｓ５６）。なお、ロボット装置１０の制御部５４は、別の新たな解決手段の実行が可能か否かを判断してもよい。例えば、部屋の温度が高い場合において、クーラー以外の機器として扇風機が部屋内に新たに設置された場合、制御部５４は、その扇風機を用いた新たな解決手段を探索してもよい。また、検索部６２は、インターネット等を利用することで、新たな解決手段を検索してもよい。

解決手段に利用される機器が通信機能を介して制御可能な機器に該当しない場合（Ｓ４９，Ｎｏ）、ロボット装置１０は、当該機器を操作するためのリモコンを探索する（Ｓ５７）。ロボット装置１０は、例えば、視覚センサーによって得られた画像を解析することでリモコンを識別する。

リモコンが見つからない場合（Ｓ５８，Ｎｏ）、ロボット装置１０は、別の解決手段を探す（Ｓ５９）。

リモコンが見つかった場合（Ｓ５８，Ｙｅｓ）、ロボット装置１０は、リモコンを操作することで、解決手段の実行するための指示を入力する（Ｓ５９）。その指示を受けた機器は、その指示に従って解決手段を実行する。

ロボット装置１０の制御部５４は、機器が問題を解決しているか否かを観察し、その観察に基づいて、問題が解消したか否かを判断する（Ｓ６１）。例えば、解決手段を実現するために機器によって行われると想定される動作が、予め設定された時間内に当該機器によって実行されて、各種センサー（例えば視覚センサー）によってその動作が検知された場合、ロボット装置１０の制御部５４は、機器が問題を解決していると判断する（Ｓ６１，Ｙｅｓ）。この場合、処理は終了する。一方、想定される動作が予め設定された時間内に実行されず、各種センサーによってその動作が検知されない場合、ロボット装置１０の制御部５４は、問題が解消していないと判断する（Ｓ６１，Ｎｏ）。この場合、ロボット装置１０は、別の解決手段を探索してもよいし、リモコンを用いて同じ実行指示を機器に送信してもよい（Ｓ６２）。

以下、本実施形態に係るロボット装置１０の適用場面について詳しく説明する。

（適用場面１）
図１７を参照して、適用場面１について説明する。図１７には、人やロボット装置１０等が示されている。例えば、人７６（３人）によって会議が行われており、その場にロボット装置１０が同席しているものとする。

ロボット装置１０の状況収集部４４は、各種センサーによって周囲の状況情報を収集する。状況収集部４４は、例えば、周囲の人７６の会話を示す音声や、人７６を表わす画像（例えば人７６の顔を表わす画像や全身を表わす画像等）、温度、湿度、等を状況情報として収集する。ロボット装置１０の検知部５６は、その状況情報（例えば、人７６の様子（会話、表情、態度等）や温度等）に基づいて、周囲の状況を検知する。例えば、人７６が「今の発言をメモにして紙でほしい」と発言した場合、ロボット装置１０の状況収集部４４は、その会話の音声情報を状況情報として収集し、ロボット装置１０の検知部５６は、その会話に基づいて、問題が発生しているか否かを判断する。上記の発言では、「発言の内容を紙に印刷してほしい」という問題が検知される。

解決手段特定部５８は、解決手段管理情報３８を参照して、その問題を解決するための解決手段を特定する。この問題は、例えば、「発言を音声情報として収集し、その発言内容を文字列に変換する機能」と、「プリント機能」と、を組み合わせることによって、解決できる問題である。すなわち、この問題に対する解決手段は、「発言を音声情報として収集し、その発言内容を文字列に変換する機能」と「プリント機能」との組み合わせによって構成される。

ここで、ロボット装置１０が、「発言を音声情報として収集し、その発言内容を文字列に変換する機能」を備えており、「プリント機能」を備えていないものとする。この場合、ロボット装置１０のみによっては、上記の問題を解決することができない。これに対処するために、ロボット装置１０は、プリント機能を有する機器を探索する。例えば、ロボット装置１０は、視覚センサー（例えばカメラ）によって周囲の機器を撮影し、ロボット装置１０の識別部６４は、その撮影で得られた画像を解析することで、撮影された機器を識別する。例えば、複合機７８がロボット装置１０の周囲に設置されており、プリント機能を備えているものとする。ロボット装置１０の識別部６４は、複合機７８を識別し、その複合機７８が有する機能（例えばプリント機能）を識別する。この場合、ロボット装置１０と複合機７８とによって、解決手段が実行される。この解決手段は、ロボット装置１０と複合機７８とを利用する連携機能によって実現される解決手段、つまり、ロボット装置１０と複合機７８とが連携することで実現される解決手段である。例えば、ロボット装置１０は、自動的に解決手段を実行してもよいし、ユーザからの実行指示を受けて解決手段を実行してもよい。解決手段を実行する場合、ロボット装置１０は、複合機７８と通信し、人７６の発言内容を示す情報を複合機７８に送信するとともに、その情報の印刷指示を複合機７８に与える。これにより、人７６の発言内容が用紙に印刷される。

ロボット装置１０は、複合機７８まで移動し、発言内容が印刷された用紙を取得してユーザに渡してもよい。また、ロボット装置１０は、音声等によって、解決手段が実行されたことをユーザに報知してもよい。

図１７に示す例では、ロボット装置１０が解決手段に利用されているが、ロボット装置１０が利用されずに、ロボット装置１０以外の機器を利用する解決手段が実行されてもよい。この場合、ロボット装置１０は、ロボット装置１０以外の機器に、解決手段の実行指示を与える。

ロボット装置１０は、複合機７８を直接操作してもよい。例えば、「用紙をコピーしてほしい」といった問題がロボット装置１０の検知部５６によって検知された場合、ロボット装置１０の解決手段特定部５８は、「コピー機能」を解決手段として特定する。この場合、ロボット装置１０は、コピー機能を有する機器（例えば複合機７８）を探索し、複合機７８に用紙のコピーを実行させる。例えば、ロボット装置１０は、ユーザから用紙を受け取って複合機７８にセットし、複合機７８の操作パネルを直接操作することで、複合機７８にコピー指示を与える。ロボット装置１０は、例えば視覚センサーによって取得された画像を解析することで、操作パネル等を識別して、コピー指示を与える。

以上のように、ロボット装置１０のみによって解決できない問題が検知された場合であても、他の機器を利用してその問題を解決することが可能となる。これにより、ロボット装置１０が状況に応じて連携して解決できる問題の範囲を広げることが可能となる。

（適用場面２）
図１８を参照して、適用場面２について説明する。図１８には、ユーザやロボット装置１０等が示されている。例えば、人８０が倒れているものとする。ロボット装置１０の状況収集部４４は、倒れている人８０の画像を状況情報として収集し、ロボット装置１０の検知部５６は、その画像に基づいて、問題が発生しているか否かを判断する。図１８に示す例では、「人が倒れている」という問題が検知される。

解決手段特定部５８は、解決手段管理情報３８を参照して、その問題を解決するための解決手段を特定する。この問題は、例えば、「倒れている人を救護するために人に助けを求める」ことで解決できる問題である。すなわち、この問題に対する解決手段には、「人に助けを求めること」が含まれている。この場合、ロボット装置１０は、倒れている人８０以外の人８２に助けを求める。そのために、ロボット装置１０は、音声を発生してもよいし、人８２まで移動して人８２に接触してもよい。このとき、ロボット装置１０の制御部５４は、救護するための手順を示す情報を、ロボット装置１０のＵＩ部５０に表示させてもよいし、人８２が所持する端末装置１４に表示させてもよい。例えば、ロボット装置１０は、各種センサーによって人８２が所持する端末装置１４を識別し、識別した端末装置１４に、救助するための手順を示す情報を送信してもよい。

なお、解決手段特定部５８によって、「倒れている人を安全な場所まで運ぶ」という解決手段が特定された場合において、ロボット装置１０が、物体を運ぶ機能を備えている場合、ロボット装置１０は、ロボット装置１０のみによって人８０を運んでもよいし、他の人と共同で人８０を運んでもよいし、他の機器と共同で人８０を運んでもよいし、他の人と他の機器と共同して人８０を運んでもよい。他の機器は、ロボット装置１０によって識別された機器である。ロボット装置１０が、物体を運ぶ機能を備えていない場合、ロボット装置１０は、倒れている人８０を安全な場所まで運ぶよう、人８２に指示を与えてもよい。その指示を示す情報は、ロボット装置１０のＵＩ部５０に表示されてもよいし、人８２が有する端末装置に送信されて端末装置に表示されてもよい。

以上のように、ロボット装置１０のみによって解決できない問題が検知された場合であって、人に協力を依頼してその問題を解決することが可能となる。

（適用場面３）
図１９を参照して、適用場面３について説明する。図１９には、ユーザやロボット装置１０等が示されている。例えば、人８４が「喉が渇いた」と発言した場合、ロボット装置１０の状況収集部４４は、その発言の音声情報を状況情報として収集し、ロボット装置１０の検知部５６は、その発言に基づいて、問題が発生しているか否かを判断する。上記の発言では、「喉が渇いた」という問題が検知される。

解決手段特定部５８は、解決手段管理情報３８を参照して、その問題を解決するための解決手段を特定する。この問題は、例えば、「飲み物を購入する」ことによって解決できる問題である。すなわち、この問題に対する解決手段は、「飲み物を提供する機能」によって構成される。

ここで、ロボット装置１０は、「飲み物を提供する機能」を備えていないものとする。この場合、ロボット装置１０にのみによっては、上記の問題を解決することができない。これに対処するために、ロボット装置１０は、飲み物を提供する機器を探索する。例えば、ロボット装置１０は、視覚センサーによって周囲の機器を撮影し、ロボット装置１０の識別部６４は、その撮影で得られた画像を解析することで、撮影された機器を識別する。例えば、飲料水の自動販売機８６（機器の一例）がロボット装置１０の周囲に設置されているものとする。ロボット装置１０の識別部６４は、自動販売機８６を識別し、その自動販売機８６が有する機能（例えば有料で飲み物を提供する機能）を識別する。ロボット装置１０の識別部６４は、視覚センサーによって得られた画像に基づいて、自動販売機８６が対応している支払方法（例えば電子マネーや貨幣）を識別してもよいし、自動販売機８６と通信して、自動販売機８６が対応している支払方法を識別してもよい。ロボット装置１０の制御部５４は、自動販売機８６が対応している支払方法を準備する。

ロボット装置１０が、自動販売機８６に対応している支払手段（例えば、電子マネー、貨幣、クレジットカード等）を有している場合、ロボット装置１０の制御部５４は、支払い動作を制御する。これにより、ロボット装置１０は、自動販売機８６において、その支払手段によって支払を行うことで、飲み物を購入する。例えば、ロボット装置１０は、自動販売機８６まで移動して自動販売機８６を直接操作することで、飲み物を購入する。ロボット装置１０は、例えば視覚センサーによって取得された画像を解析することで、自動販売機８６の購入ボタン等を識別して、飲み物を購入する。ロボット装置１０は、その飲み物を人８４に届けてもよい。なお、ロボット装置１０は、ユーザの指示に応じて、飲み物を購入してもよいし、ユーザの指示を受けずに、飲み物を購入してもよい。ユーザの指示に応じて購入処理を行う場合、ロボット装置１０の制御部５４は、解決手段を示す情報（例えば、飲み物を購入することを示す情報）をロボット装置１０のＵＩ部５０に表示させる。ユーザがＵＩ部５０を用いて購入指示を与えた場合、ロボット装置１０は、支払手段によって支払を行って飲み物を購入する。解決手段を示す情報は、ユーザの端末装置１４に送信されて端末装置１４に表示されてもよい。ユーザが端末装置１４を用いて購入指示を与えると、その購入指示を示す情報が端末装置１４からロボット装置１０に送信され、ロボット装置１０は、その購入指示に従って、飲み物を購入する。

ロボット装置１０が、自動販売機８６に対応している支払手段を有していない場合、人８４及び他の機器の中の少なくとも１つから支払いの援助を受けて、支払い動作を行ってもよい。例えば、ロボット装置１０は、問題を解決するための行動に関与し得る人から支払用の金銭を受け取り、その金銭によって飲み物を購入してもよいし、支払手段を有する他の機器からその支払手段を借りて支払い動作を行ってもよい。問題を解決するための行動に関与し得る人は、例えば、「喉が渇いた」と発言した人８４であり、この人８４は、ロボット装置１０の各種センサーによって識別される。

（ユーザ判断モード１）
以下、ユーザ判断モードの一例（ユーザ判断モード１）について詳しく説明する。図２０には、人やロボット装置１０等が示されている。例えば、人８７（３人）が会話をしており、ロボット装置１０の周囲には、複数の機器（例えば、複合機７８、プロジェクタ８８、カメラ９０、ディスプレイ９２、アロマ器９４）が設置されている。

ロボット装置１０の状況収集部４４は、各種センサーによって周囲の状況情報を収集し、検知部５６は、その状況情報に基づいて周囲の状況を検知する。また、識別部６４は、周囲に存在する機器を識別する。例えば、検知部５６によって、「３人が会議しており、何やら揉めている」という状況（問題）が検知されたものとする。また、図２０に示す例では、識別部６４によって、複合機７８、プロジェクタ８８、カメラ９０、ディスプレイ９２及びアロマ器９４が識別される。識別部６４は、人（例えば問題が生じている人８７）が所持している端末装置１４を識別してもよい。

ロボット装置１０の判断部６０が、検知部５６によって検知された問題をロボット装置１０によって解決できないと判断した場合、ロボット装置１０の通信部３０は、制御部５４の制御の下、ロボット装置１０に予め登録された端末装置１４や、識別部６４によって識別された端末装置１４（例えば問題が生じている人８７が所持している端末装置１４）に、状況情報を送信する。その状況情報には、検知部５６によって検知された状況（問題）を示す情報、識別部６４によって識別された機器を示す情報、等が含まれる。

端末装置１４のＵＩ部７２には、状況を説明する画面が表示される。図２１には、その画面の一例が示されている。端末装置１４のＵＩ部７２には、状況説明画面９６が表示される。状況説明画面９６には、検知部５６によって検知された状況（問題）を示す情報、識別部６４によって識別された機器を示す情報、等が表示される。図２１に示す例では、状況（問題）として「３人が会議して、何か揉めている」ことを示す文字列が表示され、「周囲に、複合機、プロジェクタ、カメラ、ディスプレイ及びアロマ器が存在する」ことを示す文字列が表示される。

また、ユーザが端末装置１４を使用して追加情報を要求した場合、その要求を示す情報が、端末装置１４からロボット装置１０に送信される。ロボット装置１０の通信部３０は、その要求に応じて、追加情報を端末装置１４に送信する。例えば、追加情報として、周囲の状況を表わす画像がユーザによって要求された場合、ロボット装置１０の通信部３０は、周囲の状況を表わす画像データを端末装置１４に送信する。

ロボット装置１０の通信部３０は、例えば、問題が生じていると想定される人８７に紐付く画像データ、識別部６４によって識別された機器に紐付く画像データ、等を、周囲の状況を表わす画像データとして、端末装置１４に送信する。人８７に紐付く画像データは、視覚センサーによる撮影によって生成された画像データであってもよいし、人を模式的に表す画像データであってもよい。機器に紐付く画像データは、識別部６４が機器を識別するときに視覚センサー（カメラ）による撮影で得られた画像データであってもよいし、識別された機器を模式的に表す画像データ（例えばアイコン）であってもよい。模式的に表す画像データは、例えば、ロボット装置１０に予め記憶されていてもよいし、サーバ等の装置に予め記憶されて、ロボット装置１０に送信されてもよい。

ロボット装置１０の通信部３０は、追加情報としての画像データ（例えば人８７に紐付く画像データと機器に紐付く画像データ）を端末装置１４に送信する。端末装置１４のＵＩ部７２には、その画像が表示される。図２２には、その画像の一例が示されている。端末装置１４のＵＩ部７２には、状況説明画面９８が表示される。状況説明画面９６には、追加情報としての画像群が表示される。例えば、人８７に紐付く画像１００、複合機７８に紐付く機器画像１０２、プロジェクタ８８に紐付く機器画像１０４、カメラ９０に紐付く機器画像１０６、ディスプレイ９２に紐付く機器画像１０８、及び、アロマ器９４に紐付く機器画像１１０が表示される。

ユーザが状況説明画面９８上において、機器画像を指定し、その機器画像に紐付く機器を利用する解決手段の実行指示を与えると、その実行指示を示す情報が、その機器に送信される。その機器は、実行指示に従って、検知部５６によって検知された問題を解決するための解決手段を実行する。実行指示を示す情報は、端末装置１４から機器に送信されてもよいし、ロボット装置１０から機器に送信されてもよい。

例えば、ユーザによって機器画像１０８，１１０が指定されたものとする。この場合、解決手段特定部５８は、解決手段管理情報３８を参照することで、検知部５６によって検知された問題「３人が会議して、何か揉めている」を解決するための解決手段であって、機器画像１０８に紐付くディスプレイ９２と機器画像１１０に紐付くアロマ器９４とを利用する解決手段を特定する。つまり、解決手段特定部５８は、解決手段管理情報３８を参照することで、検知部５６によって検知された問題「３人が会議して、何か揉めている」を解決するための解決手段を特定し、デバイス機能管理情報４０と連携機能管理情報４２を参照することで、特定された各解決手段に用いられる機器群（各解決手段を実行するために利用される機能を有する機器群）を特定する。ユーザによってディスプレイ９２とアロマ器９４が指定されると、解決手段特定部５８は、それらを利用する解決手段を選択する。

ユーザによってディスプレイ９２とアロマ器９４が指定されると、例えば図２３に示すように、端末装置１４のＵＩ部７２に、実行指示画面１１２が表示される。その実行指示画面１１２には、ユーザによって指定された機器画像（例えば機器画像１０８，１１０）が表示され、ユーザによって指定された機器を利用して実行可能な機能（解決手段）を示す情報が表示される。例えば、ディスプレイ９２とアロマ器９４を利用することで実行可能な解決手段は、「癒し画像をディスプレイ９２に表示し、癒しの香りをアロマ器９４から発声させる」ことである。この解決手段は、ディスプレイ９２とアロマ器９４とを連携させることで実行可能な連携機能であり、この連携機能は、連携機能管理情報４２に登録されている。ユーザが端末装置１４を使用して解決手段の実行指示を与えると、その実行指示を示す情報が、端末装置１４からディスプレイ９２とアロマ器９４に送信される。もちろん、実行指示を示す情報は、ロボット装置１０を介してディスプレイ９２とアロマ器９４に送信されてもよい。実行指示を示す情報を受けたディスプレイ９２は、癒し画像を表示し、実行指示を示す情報を受けたアロマ器９４は、癒しの香りを発声させる。なお、癒し画像のデータは、ロボット装置１０に予め記憶されており、ロボット装置１０からディスプレイ９２に送信されてもよいし、サーバ等の装置に記憶されて、サーバ等の装置からディスプレイ９２に送信されてもよい。

なお、図２１から図２３に示されている画面は、ロボット装置１０のＵＩ部５０に表示されてもよい。この場合、各画面は、端末装置１４のＵＩ部７２に表示されなくてもよい。また、画面に表示される情報は、音声情報として出力されてもよい。

なお、解決手段を実行する機器の選択操作について後で詳しく説明する。

（ユーザ判断モード２）
以下、ユーザ判断モードの別の例（ユーザ判断モード２）について詳しく説明する。

ロボット装置１０の判断部６０が、検知部５６によって検知された問題をロボット装置１０によって解決できないと判断した場合、ロボット装置１０の通信部３０は、制御部５４の制御の下、端末装置１４に状況情報を送信する。

例えば図２４に示すように、端末装置１４のＵＩ部７２には通知画面１１４が表示される。通知画面１１４には、ロボット装置１０によっては解決できない問題（事態）が発生した旨のメッセージが表示される。

通知画面１１４においてユーザが「はい」ボタンを押すと、画面は次の画面に遷移する。例えば図２５に示すように、端末装置１４のＵＩ部７２には状況説明画面１１６が表示される。状況説明画面１１６には、ロボット装置１０によって検知された状況（問題）の説明文が表示される。

状況説明画面１１６には、ユーザに状況を理解できたか否かを問うメッセージが表示される。ユーザが「いいえ」ボタンを押すと、ロボット装置１０に対して問い合わせを行うこと、つまり、追加情報を要求することが可能となる。この場合、図２６に示されているように、端末装置１４のＵＩ部７２には、問い合わせ画面１１８が表示される。問い合わせ画面１１８においては、ユーザは端末装置１４を使用して、問い合わせ内容（例えば、ユーザが追加で知りたい事項等）を入力することが可能となっている。図２６に示す例では、「○○のデータが欲しい。」、「△△の映像が見たい。」等といった問い合わせ内容がユーザによって入力されている。この問い合わせ内容を示す情報は、端末装置１４からロボット装置１０に送信される。ロボット装置１０の状況収集部４４は、その問い合わせに応じた情報（例えば画像や音声データ等）を収集し、ロボット装置１０の通信部３０は、状況収集部４４によって収集された情報を端末装置１４に送信する。端末装置１４のＵＩ部７２の状況説明画面１１６には、追加で取得された情報が表示される。

状況説明画面１１６において、ユーザが「はい」ボタンを押すと、図２７に示されているように、端末装置１４のＵＩ部７２には、解決手段表示画面１２０が表示される。解決手段表示画面１２０には、ロボット装置１０の解決手段特定部５８によって特定された解決手段を示す情報（解決手段の説明文や名称等）が表示される。例えば、上述したように、「３人が会議して、何やら揉めている」という問題が検知された場合、解決手段特定部５８は、解決手段管理情報３８を参照することで、その問題を解決するための解決手段を特定する。特定された解決手段を示す情報は、ロボット装置１０から端末装置１４に送信され、端末装置１４のＵＩ部７２に表示される。図２７に示す例では、（１）から（４）までの４つの解決手段案が、上記の問題を解決するための推奨解決手段として特定されて、それらを示す情報が表示されている。各解決手段案は、ランダムの順番で表示されてもよいし、問題を解決する上でより高い効果が得られると想定される順番で表示されてもよいし、実行容易性で決定される順番で表示されてもよい。例えば、端末装置１４又はロボット装置１０からより近い位置に存在する機器を利用する解決手段ほど、実行容易性が高く、その解決手段はより上位に表示される。ロボット装置１０、端末装置１４及び各機器の位置情報は、例えばＧＰＳ（Global Positioning System）を利用することで得られる。ロボット装置１０の制御部５４は、ＧＰＳを利用することで得られた位置情報を用いて、端末装置１４又はロボット装置１０と各機器との間の距離を演算する。その演算結果に基づいて、上記の順位が決定される。

解決手段表示画面１２０が端末装置１４のＵＩ部７２に表示されている状態で、ユーザが画面遷移を指示した場合や、予め設定された時間が経過した場合、図２８に示されているように、端末装置１４のＵＩ部７２に画面１２２が表示される。その画面１２２には、「解決手段の選択してください。」といったメッセージ（例えば、解決手段の選択を促すメッセージ）が表示される。また、提示された解決手段案（図２７参照）の中に適切な解決手段（例えば、ユーザが実行を希望する解決手段）が含まれていない場合、ユーザは、別の指示を与えることができるようになっている。

例えば、提示された解決手段案（図２７参照）の中に適切な解決手段が含まれており、ユーザが端末装置１４を使用してその適切な解決手段を選択した場合、図２９に示されているように、端末装置１４のＵＩ部７２に確認画面１２４が表示される。その確認画面１２４には、ユーザによって選択された解決手段を示す情報等が表示される。図２９に示す例では、解決手段（２）「ディスプレイで癒し画像を表示する。」と（３）「アロマ器で柑橘系の香りを出す。」がユーザによって選択されている。確認画面１２４においてユーザが「はい」ボタンを押すと、解決手段（２），（３）の実行指示を示す情報が、端末装置１４又はロボット装置１０から、解決手段（２），（３）の実行に用いられる機器（例えばディスプレイ９２とアロマ器９４）に送信される。これにより、ディスプレイ９２によって解決手段（２）が実行され、アロマ器９４によって解決手段（３）が実行される。

確認画面１２４においてユーザが「いいえ」ボタンを押すと、画面は前の画面１２２（図２８参照）に戻る。

提示された解決手段案（図２７参照）の中に適切な解決手段が含まれていない場合、ユーザは、提示された解決手段案以外の解決手段を指定してもよい。ユーザが端末装置１４を使用して、解決手段を指定するための入力画面の表示指示を与えると、例えば図３０に示されているように、端末装置１４のＵＩ部７２にユーザ入力画面１２６が表示される。そのユーザ入力画面１２６において、ユーザは、解決手段に用いられる機器と、その機器を用いた解決手段を指示する。図３０に示す例では、解決手段に用いられる機器として複合機が指定されており、その複合機を用いた解決手段として「ＸＸ」処理が指定されている。なお、ユーザは、機器の名称を文字で入力することで、解決手段に用いられる機器を指定してもよいし、機器に紐付く機器画像を指定することで、解決手段に用いられる機器を指定してもよい。例えば、端末装置１４のＵＩ部７２には、ロボット装置１０によって識別された１又は複数の機器に紐付く１又は複数の機器画像が表示され、ユーザは、１又は複数の機器画像の中から、解決手段に用いられる機器に紐付く機器画像を選択する。このように機器画像によって機器を指定することで、機器の詳細な名称等が分からなくても、解決手段に用いられる機器を指定することができる。また、解決手段に用いられる機器がユーザによって指定されると、その機器が有する機能の一覧が端末装置１４のＵＩ部７２に表示される。機器が有する機能は、例えば、デバイス機能管理情報４０を参照することで特定される。ユーザは、機能の一覧の中から、解決手段に用いられる機能を選択する。そして、ユーザが端末装置１４を使用して解決手段の実行指示を与えると、その実行指示を示す情報が、ユーザによって指定された機器に送信され、当該機器は解決手段を実行する。

なお、図２４から図３０に示されている画面は、ロボット装置１０のＵＩ部５０に表示されてもよい。この場合、各画面は、端末装置１４のＵＩ部７２に表示されなくてもよい。また、画面に表示される情報は、音声情報として出力されてもよい。

上記のユーザ判断モード１，２において、端末装置１４のＵＩ部７２に表示される情報は、例えば、ロボット装置１０から端末装置１４に送信される。もちろん、その情報は、ロボット装置１０の制御の下、サーバ等の装置から端末装置１４に送信されてもよい。

（機器の識別処理）
以下、機器の識別処理について説明する。一例として、ＡＲ（Augmented Reality）技術（拡張現実技術）を適用することにより、デバイス識別情報が取得されて機器が識別される。例えば、ＡＲ技術を適用することにより、単独で使用される機器のデバイス識別情報が取得されて当該機器が識別され、また、連携対象の機器のデバイス識別情報が取得されて連携対象の機器が識別される。ＡＲ技術として公知のＡＲ技術が用いられる。例えば、２次元バーコード等のマーカを用いるマーカ型ＡＲ技術、画像認識技術を用いるマーカレス型ＡＲ技術、位置情報を用いる位置情報ＡＲ技術、等が用いられる。もちろん、ＡＲ技術を適用せずにデバイス識別情報が取得されて機器が識別されてもよい。例えば、ネットワークに繋がっている機器であれば、ＩＰアドレスに基づいて機器を識別してもよいし、機器ＩＤを読み出して機器を識別してもよい。更に、赤外線通信、可視光通信、Ｗｉ−Ｆｉ、ブルートゥースといった各種無線通信機能を備えた機器、端末装置であれば、それら無線通信機能を利用して連携する機器の機器ＩＤを取得することで機器を識別し、連携機能を実行してもよい。

以下、図３１を参照して、デバイス識別情報の取得処理について詳しく説明する。一例として、ロボット装置１０の周囲に複合機７８が設置されており、ロボット装置１０が複合機７８のデバイス識別情報を取得する場合について説明する。図３１には、複合機７８の外観が模式的に示されている。ここでは、マーカ型ＡＲ技術を適用してデバイス識別情報を取得するための処理について説明する。複合機７８の筐体には、２次元バーコード等のマーカ１２８が設けられている。マーカ１２８は、複合機７８のデバイス識別情報がコード化された情報である。ロボット装置１０は、視覚センサーによってマーカ１２８を撮影する。これにより、マーカ１２８を表す画像データが生成される。ロボット装置１０においては、制御部５４が、当該画像データに表されたマーカ画像に対してデコード処理を適用することにより、デバイス識別情報を抽出する。これにより、複合機７８が識別される。ロボット装置１０の識別部６４は、デバイス機能管理情報４０において、抽出されたデバイス識別情報に対応付けられている機能を示す機能情報を特定する。これにより、複合機７８が有する機能が特定（識別）される。

マーカ１２８は、複合機７８が有する機能を示す機能情報がコード化されて含まれていてもよい。この場合、マーカ１２８を表す画像データにデコード処理を適用することにより、当該複合機７８のデバイス識別情報が抽出されるとともに、当該複合機７８が有する機能を示す機能情報も抽出される。これにより、複合機７８が特定（識別）されるとともに、当該複合機７８が有する機能が特定（識別）される。

マーカレス型ＡＲ技術を適用してデバイス識別情報を取得する場合、例えば、ロボット装置１０は、視覚センサーによって機器（例えば複合機７８）の外観の全部又は一部を撮影する。もちろん、機器の名称（例えば商品名）や型番号といった機器を特定するための情報を外観から撮影して得ることは役に立つ。撮影により、機器の外観の全部又は一部を表す外観画像データが生成される。ロボット装置１０においては、制御部５４が、当該外観画像データに基づいて利用対象の機器を識別する。例えば、ロボット装置１０の記憶部３２には、機器毎に、機器の外観の全部又は一部を表す外観画像データと、当該機器のデバイス識別情報と、の対応付けを示す外観画像対応付け情報が記憶されている。制御部５４は、例えば、撮影で得られた外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器のデバイス識別情報を特定する。例えば、制御部５４は、撮影で得られた外観画像データから機器の外観の特徴を抽出し、外観画像対応付け情報に含まれる外観画像データ群において、その外観の特徴と同一又は類似の特徴を表す外観画像データを特定し、その外観画像データに対応付けられているデバイス識別情報を特定する。これにより、機器（例えば複合機７８）が識別される。別の例として、機器の名称（例えば商品名）や型番号が撮影され、名称や型番号を表す外観画像データが生成されている場合、その外観画像データに表された名称や型番号に基づいて、機器を識別してもよい。ロボット装置１０の識別部６４は、デバイス機能管理情報４０において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、機器（例えば複合機７８）が有する機能が特定される。

位置情報ＡＲ技術を適用してデバイス識別情報を取得する場合、例えば、ＧＰＳ機能を利用することにより、機器（例えば複合機７８）が設置されている位置を示す位置情報が取得される。例えば、各機器がＧＰＳ機能を備えており、機器自身の位置を示すデバイス位置情報を取得する。ロボット装置１０は、機器に対してデバイス位置情報の取得要求を示す情報を出力し、その取得要求に対する応答として、当該機器から当該機器のデバイス位置情報を受信する。ロボット装置１０においては、制御部５４が、当該デバイス位置情報に基づいて機器を識別する。例えば、ロボット装置１０の記憶部３２には、機器毎に、機器が設置されている位置を示すデバイス位置情報と、当該機器のデバイス識別情報と、の対応付けを示す位置対応付け情報が記憶されている。制御部５４は、その位置対応付け情報において、デバイス位置情報に対応付けられているデバイス識別情報を特定する。これにより、機器が特定（識別）される。ロボット装置１０の識別部６４は、デバイス機能管理情報４０において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、機器（例えば複合機７８）が有する機能が特定（識別）される。

例えば、複合機７８がロボット装置１０によって識別された場合、上記のユーザ判断モード１においては、その複合機７８に紐づく機器画像が、状況情報として端末装置１４に表示される。例えば図３２に示すように、端末装置１４のＵＩ部７２に、複合機７８に紐づく機器画像１０２が表示される。機器画像１０２は、例えば、ロボット装置１０の視覚センサーによる撮影によって生成された画像であってもよいし、複合機７８を模式的に表す画像であってもよい。

また、機器が識別されると、その機器の名称を示す情報がロボット装置１０から端末装置１４に送信され、端末装置１４のＵＩ部７２に機器の名称が表示されてもよい。図３２に示す例では、名称「複合機（Ｂ）」が表示されている。

例えば、ユーザが端末装置１４を使用して機器画像１０２を指定すると、例えば図３３に示すように、端末装置１４のＵＩ部７２には、機器画像１０２に紐づく複合機７８を利用する解決手段を示す情報（例えば、解決手段の実行を指示するためのボタン画像）が表示される。複合機（Ｂ）は、例えば、プリント機能、スキャン機能、コピー機能、及び、ファクシミリ機能を備えており、これらの機能が解決手段として利用される場合、これらの機能を実行するためのボタン画像が端末装置１４のＵＩ部７２に表示される。例えば、ユーザが端末装置１４を使用してプリント機能を表わすボタン画像を指定し、プリント機能の実行を指示すると、プリント機能の実行指示を示す実行指示情報が、端末装置１４又はロボット装置１０から複合機７８に送信される。その実行指示情報には、プリント機能を実行するための制御データや、プリント機能が適用される画像データ等のデータ、等が含まれる。複合機７８は実行指示情報を受けると、その実行指示情報に従ってプリントを実行する。

複数の機器（例えば複合機７８とプロジェクタ８８）がロボット装置１０によって識別された場合、上記のユーザ判断モード１においては、複合機７８に紐づく機器画像とプロジェクタ８８に紐づく機器画像が、状況情報として端末装置１４に表示される。例えば図３４に示すように、端末装置１４のＵＩ部７２に、複合機７８に紐づく機器画像１０２とプロジェクタ８８に紐づく機器画像１０４が表示される。機器画像１０２，１０４は、例えば、ロボット装置１０の視覚センサーによる撮影によって生成された画像であってもよいし、複合機７８、プロジェクタ８８を模式的に表す画像であってもよい。

また、機器が識別されると、その機器の名称を示す情報がロボット装置１０から端末装置１４に送信され、端末装置１４のＵＩ部７２に表示されてもよい。図３４に示す例では、複合機７８の名称「複合機（Ｂ）」と、プロジェクタ８８の名称「プロジェクタ（Ｃ）」が表示されている。

例えば、ユーザが端末装置１４を使用して機器画像１０２，１０４を指定すると、例えば図３５に示すように、端末装置１４のＵＩ部７２には、機器画像１０２に紐づく複合機７８と機器画像１０４に紐づくプロジェクタ８８を利用する解決手段を示す情報（例えば、解決手段の実行を指示するためのボタン画像）が表示される。その解決手段は、複合機７８とプロジェクタ８８を利用する連携機能によって実現される手段である。複合機７８とプロジェクタ８８を連携させることで、例えば、複合機７８によるスキャンによって生成された画像をプロジェクタ８８によって投影する連携機能や、プロジェクタ８８によって投影されている画像を複合機７８によってプリントする連携機能が実行可能となる。これらの連携機能の実行を指示するためのボタン画像が端末装置１４のＵＩ部７２に表示される。例えば、ユーザが端末装置１４を使用してボタン画像を指定し、解決手段（連携機能）の実行を指示すると、その解決手段の実行指示を示す実行指示情報が、端末装置１４又はロボット装置１０から複合機７８とプロジェクタ８８に送信される。複合機７８とプロジェクタ８８は、実行指示情報を受けると、ユーザによって指定された連携機能を実行する。

ユーザが機器画像１０２をタッチして機器画像１０４までの間を指等で操作する（例えば指等でなぞる）ことにより、機器画像１０２，１０４が指定され、複合機７８とプロジェクタ８８が連携対象の機器として指定されてもよい。機器画像１０２，１０４を触れる順番やなぞる方向は、上記の例と逆であってもよい。もちろん、画面をなぞるためのペンといった指以外の画面接触手段が用いられてもよい。ユーザが機器画像１０２と機器画像１０４を繋げることにより、機器画像１０２、１０４が指定され、複合機７８とプロジェクタ８８が連携対象の機器として指定されてもよい。ユーザが機器画像１０２と機器画像１０４を重ねることにより、機器画像１０２，１０４が指定され、複合機７８とプロジェクタ８８が連携対象の機器として指定されてもよい。丸を付けるような描画操作によって連携対象の機器を指定してもよいし、連携したい機器に紐付く機器画像を予め設定された時間内に指定することで、連携対象の機器を指定してもよい。連携を解除する場合、ユーザが画面上で解除対象の機器を指定してもよいし、連携解除ボタンを押してもよい。バツ印等を付けるような予め設定された操作によって、解除対象の機器を指定してもよい。

別の例として、連携対象の機器が基本連携機器として予め設定されていてもよい。例えば、複合機７８が基本連携機器として予め設定されているものとする。基本連携機器のデバイス識別情報は、ロボット装置１０やサーバ等の装置に予め記憶されていてもよい。ユーザが端末装置１４を利用して基本連携機器を指定してもよい。基本連携機器が設定されている場合、ユーザは、基本連携機器以外の機器に紐づく機器画像を指定することで、その基本連携機器と連携する機器を指定する。

なお、上記の例では、単体の機能及び連携機能は、ハードウェアとしての機器を利用する機能であるが、単体の機能及び連携機能は、ソフトウェア（アプリケーション）によって実現される機能であってもよい。例えば、機器画像の替わりに、ソフトウェアによって実現される機能に紐付く機能画像（例えばアイコン等の画像）が端末装置１４のＵＩ部７２に表示され、１又は複数の機能画像がユーザによって指定されることで、機能画像に紐づく機能や、複数の機能画像に紐付く複数の機能を利用する連携機能が指定されてもよい。もちろん、ハードウェアとしての機器に紐付く機器画像と、ソフトウェアによって実現される機能に紐付く機能画像と、が端末装置１４のＵＩ部７２に表示され、機器画像と機能画像がユーザによって指定された場合、その機器画像に紐付く機器とその機能画像に紐付く機能とを利用する連携機能が指定されてもよい。

以下、機器が有する機能を実行するときの処理について説明する。一例として、連携機能を実行するときの処理について説明する。この場合、端末装置１４から連携対象の機器に対して接続要求が送信され、端末装置１４と連携対象の機器とが接続される。もちろん、ロボット装置１０から連携対象の機器に対して接続要求が送信され、ロボット装置１０と連携対象の機器とが接続されてもよい。以下、図３６を参照して、この接続処理について説明する。図３６は、その処理を示すシーケンス図である。

端末装置１４において、ユーザによって実行対象の連携機能が指定されると（Ｓ７０）、端末装置１４は、その連携機能を実行する連携対象の機器（例えば複合機７８とプロジェクタ８８）に接続要求を示す情報を送信する（Ｓ７１）。例えば、連携対象の機器のアドレスを示すアドレス情報が、ロボット装置１０に記憶されている場合、端末装置１４は、連携対象の機器のアドレス情報をロボット装置１０から取得する。別の例として、端末装置１４に、連携対象の機器のアドレス情報が記憶されていてもよい。もちろん、端末装置１４は、別の手法によって連携対象の機器のアドレス情報を取得してもよい。端末装置１４は、連携対象の機器（例えば複合機７８とプロジェクタ８８）のアドレス情報を用いて、連携対象の機器（例えば複合機７８とプロジェクタ８８）に接続要求を示す情報を送信する。

接続要求を示す情報を受けた複合機７８とプロジェクタ８８は、端末装置１４との接続を許可する、又は、許可しない（Ｓ７２）。例えば、複合機７８とプロジェクタ８８が、接続が許可されていない機器に該当する場合や、接続を要求している装置の数が上限を超えている機器に該当する場合、接続は許可されない。なお、端末装置１４からの接続が許可された場合、複合機７８とプロジェクタ８８の固有の設定情報が端末装置１４から変更されないように、その変更操作を禁止してもよい。例えば、複合機７８の色彩のパラメータや、節電に移行する際の設定時間等の変更が禁止されてもよい。これにより、連携対象の機器に対するセキュリティが向上する。別の例として、機器を連携させる場合、当該機器を連携させずに単独で利用する場合と比べて、設定情報の変更が制限されてもよい。例えば、機器を単独で利用する場合と比べて、より少ない設定項目の変更が許可されてもよい。また、稼働履歴のような他のユーザの個人情報の閲覧を禁止してもよい。これにより、ユーザの個人情報に対するセキュリティが向上する。

接続の許可又は不許可を示す結果情報が、複合機７８とプロジェクタ８８から端末装置１４に送信される（Ｓ７３）。複合機７８とプロジェクタ８８への接続が許可された場合、端末装置１４と、複合機７８及びプロジェクタ８８と、の間で通信が確立される。

次に、ユーザは端末装置１４を利用して連携機能の実行を指示する（Ｓ７４）。この指示に応じて、連携機能の実行指示を示す実行指示情報が、端末装置１４から複合機７８とプロジェクタ８８に送信される（Ｓ７５）。複合機７８に送信される実行指示情報には、複合機７８にて実行される処理を示す情報（例えばジョブ情報）が含まれ、プロジェクタ８８に送信される実行指示情報には、プロジェクタ８８にて実行される処理を示す情報（例えばジョブ情報）が含まれる。

実行指示情報を受けた複合機７８とプロジェクタ８８は、実行指示情報に従って機能を実行する（Ｓ７６）。例えば、複合機７８（複合機（Ｂ））からプロジェクタ８８（ＰＣ（Ａ））へスキャンデータを転送してプロジェクタ８８によってデータを投影する機能のように、連携機能に、複合機７８とプロジェクタ８８との間でデータの送受信が行われる処理が含まれている場合、複合機７８とプロジェクタ８８との間で通信が確立される。この場合、例えば、複合機７８に送信される実行指示情報にはプロジェクタ８８のアドレス情報が含まれ、プロジェクタ８８に送信される実行指示情報には複合機７８のアドレス情報が含まれ、それらのアドレス情報を用いて複合機７８とプロジェクタ８８との間で通信が確立される。

連携機能の実行が終了すると、連携機能の実行完了を示す情報が、複合機７８とプロジェクタ８８から端末装置１４に送信される（Ｓ７７）。端末装置１４のＵＩ部７２には、連携機能の実行が完了したことを示す情報が表示される（Ｓ７８）。なお、実行指示を与えた時点から予め設定された時間が経過しても実行完了を示す情報が表示されない場合、端末装置１４は、エラーを示す情報をＵＩ部７２に表示させ、再度、実行指示情報、又は、接続要求を示す情報を、複合機７８とプロジェクタ８８に送信してもよい。

次に、ユーザは、複合機７８とプロジェクタ８８の連携状態を解除するか否かを確認し（Ｓ７９）、解除の有無に応じた処理が実行される（Ｓ８０）。連携状態を解除する場合、ユーザは、端末装置１４を利用して解除の指示を与える。これにより、端末装置１４と、複合機７８及びプロジェクタ８８と、の間の通信が解除される。同様に、複合機７８とプロジェクタ８８との間の通信も解除される。連携状態を解除しない場合、継続して実行指示を与えてもよい。

なお、単独機能が実行される場合、その単独機能の実行指示を示す情報が、端末装置１４から単独機能を実行する機器に送信される。当該機器は、その実行指示に従って単独機能を実行する。

上記の実行指示情報は、ロボット装置１０から各機器に送信されてもよい。

以下、解決手段に用いられる機器の指定操作に関する処理について説明する。

（連携機能に関する情報の表示の切り替え処理）
本実施形態において、機器に紐付く機器画像同士を繋げる順番に応じて、連携機能に関する情報の表示が切り替えられてもよい。以下、図３７から図３９を参照して、この処理について詳しく説明する。

図３７には、連携機能管理情報４２の別の例としての連携機能管理テーブルが示されている。この連携機能管理テーブルにおいては、一例として、機器ＩＤの組み合わせを示す情報と、連携対象の機器名（例えば各機器の種類）を示す情報と、連携機能を示す情報（連携機能情報）と、接続順番を示す情報と、優先順位を示す情報と、が対応付けられている。接続順番は、機器に紐付く機器画像を繋ぐ順番に対応している。優先順位は、連携機能に関する情報の表示の優先順位である。例えば、機器ＩＤが「Ａ」の機器はＰＣ（パーソナルコンピュータ）であり、機器ＩＤが「Ｂ」の機器は複合機である。ＰＣ（Ａ）と複合機（Ｂ）を連携させることにより、連携機能として、例えば「スキャン転送機能」と「印刷機能」が実現される。「スキャン転送機能」は、複合機（Ｂ）によるスキャンによって生成された画像データをＰＣ（Ａ）に転送する機能である。「印刷機能」は、ＰＣ（Ａ）に保存されているデータ（例えば画像データや文書データ）を複合機（Ｂ）に送信して複合機（Ｂ）にて印刷する機能である。例えば、複合機（Ｂ）からＰＣ（Ａ）に機器が接続された場合、つまり、複合機（Ｂ）に紐付く機器画像からＰＣ（Ａ）に紐付く機器画像へ機器画像が繋がれた場合、「スキャン転送機能」の優先順位が「１位」となり、「印刷機能」の優先順位は「２位」となる。この場合、「スキャン転送機能」に関する情報が「印刷機能」に関する情報よりも優先的に表示される。これとは逆に、ＰＣ（Ａ）から複合機（Ｂ）に機器が接続された場合、つまり、ＰＣ（Ａ）に紐付く機器画像から複合機（Ｂ）に紐付く機器画像へ画像が繋がれた場合、「印刷機能」の優先順位が「１位」となり、「スキャン転送機能」の優先順位が「２位」となる。この場合、「印刷機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に表示される。

図３８及び図３９には、端末装置１４のＵＩ部７２に表示される画面の一例が示されている。例えば、複合機（Ｂ）とＰＣ（Ａ）が識別されているものとする。上記のユーザ判断モード１においては、図３８（ａ）に示すように、端末装置１４のＵＩ部７２には、複合機（Ｂ）に紐付く機器画像１０２とＰＣ（Ａ）に紐付く機器画像１３０が、状況情報として表示される。この状態で、ユーザは指示子（例えばユーザの指、ペン、スタイラス等）を用いて連携対象の機器を表わす機器画像同士を繋ぐ。端末装置１４の制御部７４は、画面への指示子の接触を検知し、画面上での指示子の移動を検知する。例えば、矢印１３２で示すように、ユーザが操作子を用いて画面上で機器画像１０２をタッチして機器画像１３０まで操作する（例えば、画面上で操作子をなぞる）ことにより、機器画像１０２と機器画像１３０を繋ぐ。これにより、機器画像１０２に紐付く複合機（Ｂ）と機器画像１３０に紐付くＰＣ（Ａ）が、連携対象の機器として指定されるとともに、接続の順番が指定される。機器画像を繋ぐ順番が接続の順番に相当する。なお、複合機（Ｂ）が第１機器に該当し、ＰＣ（Ａ）が第２機器に該当する。図３８（ａ）に示す例では、機器画像１０２から機器画像１３０へ画像を繋げているため、複合機（Ｂ）からＰＣ（Ａ）へ機器が接続されている。機器の接続順番を示す情報は、端末装置１４からロボット装置１０に送信される。なお、端末装置１４の制御部７４は、ユーザがなぞった軌跡を表わす画像を画面に表示させてもよいし、機器同士が接続された後は、その軌跡を予め設定された直線等に置き換えて画面に表示させてもよい。

上記のように、連携対象の機器（例えば複合機（Ｂ）とＰＣ（Ａ））が指定されると、ロボット装置１０の識別部６４は、図３７に示されている連携機能管理テーブルにおいて、ＰＣ（Ａ）と複合機（Ｂ）の組み合わせに対応付けられている連携機能を特定する。これにより、ＰＣ（Ａ）と複合機（Ｂ）を連携させることによって実行される連携機能が特定される。また、ユーザによって機器の接続順番が指定されると、識別部６４は、連携機能管理テーブルにおいて、その接続順番に対応付けられている優先順位を特定する。図３７を参照して具体例を挙げて説明すると、ＰＣ（Ａ）と複合機（Ｂ）が連携対象の機器として指定されているため、それらによって実行される連携機能は「スキャン転送機能」と「印刷機能」である。また、複合機（Ｂ）からＰＣ（Ａ）へ機器が接続されているため（Ｂ→Ａ）、「スキャン転送機能」の優先順位は「１位」であり、「印刷機能」の優先順位は「２位」である。

上記のようにして特定された連携機能に関する情報と優先順位を示す情報は、ロボット装置１０から端末装置１４に送信される。端末装置１４の制御部７４は、その優先順位に従って、連携機能に関する情報をＵＩ部７２に表示させる。

例えば図３８（ｂ）に示すように、端末装置１４の制御部７４は、ＵＩ部７２に連携機能候補に関する情報を表示させる。「スキャン転送機能」の優先順位が「１位」であり、「印刷機能」の優先順位が「２位」であるため、「スキャン転送機能」に関する情報が「印刷機能」に関する情報よりも優先的に（例えば上位に）表示されている。例えば、「スキャン転送機能」に関する情報として、「複合機（Ｂ）でスキャンしたデータをＰＣ（Ａ）に転送する。」という「スキャン転送機能」の説明文が表示される。また、「印刷機能」に関する情報として、「ＰＣ（Ａ）にあるデータを印刷する。」という「印刷機能」の説明文が表示される。

連携機能がユーザによって指定されて実行指示が与えられると、指定された連携機能が実行される。例えば、「ＹＥＳ」ボタンがユーザによって押されると、その「ＹＥＳ」ボタンに紐付く連携機能が実行される。

なお、連携機能の特定処理及び優先順位の特定処理は、端末装置１４にて行われてもよい。

機器画像の間を操作子でなぞる以外の操作として、丸印を付けるような描画操作によって連携対象の機器を指定するとともに、接続順番を指定してもよい。例えば、描画操作の順番が接続順番に相当する。別の例として、ユーザの音声指示に従って連携対象の機器や接続順番が指定されてもよい。

図３９には別の操作の例が示されている。例えば図３９（ａ）に示すように、ユーザが操作子を用いて、機器画像１３０をタッチし、矢印１３４で示す方向に機器画像１０２まで操作することにより、機器画像１３０と機器画像１０２を繋ぐ。これにより、機器画像１３０に紐付くＰＣ（Ａ）と機器画像１０２に紐付く複合機（Ｂ）が、連携対象の機器として指定されるとともに、接続の順番が指定される。この例では、機器画像１３０から機器画像１０２へ画像を繋げているため、ＰＣ（Ａ）から複合機（Ｂ）へ機器が接続されている。図３７に示されている連携機能管理テーブルを参照すると、「印刷機能」の優先順位が「１位」であり、「スキャン転送機能」の優先順位は「２位」である。この場合、図３９（ｂ）に示すように、端末装置１４のＵＩ部７２には、「印刷機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に（例えば上位に）表示される。

以上のように、機器に紐付く機器画像同士を繋ぐことにより、機器が有する機能を利用する連携機能が特定される。また、画像を繋ぐ順番、つまり、機器を接続する順番に応じて、連携機能に関する情報の表示順位が変更される。機器の接続順番は、各機器で利用される機能の順番や、連携する機器間を移動するデータの移動順番を兼ねており、機器を接続する操作（つまり画像を繋ぐ操作）は、機能の順番やデータの移動順番を指定する操作を兼ねることになる。それ故、接続順番に応じて連携機能に関する情報の表示順位を変えることにより、ユーザが利用するであろうと予測される連携機能に関する情報が優先的に表示される。つまり、ユーザが利用する可能性の高い連携機能に関する情報が優先的に表示される。例えば、複合機（Ｂ）からＰＣ（Ａ）へ画像が繋がれた場合、「ＰＣ（Ａ）よりも先に複合機（Ｂ）の機能を利用し、複合機（Ｂ）からＰＣ（Ａ）へデータを転送する」という連携機能がユーザによって利用されると予測される。また、ＰＣ（Ａ）から複合機（Ｂ）へ画像が繋がれた場合、「複合機（Ｂ）よりも先にＰＣ（Ａ）の機能を利用し、ＰＣ（Ａ）から複合機（Ｂ）へデータを転送する」という連携機能がユーザによって利用されると予測される。それ故、画像を繋ぐ順番に応じて連携機能に関する情報の表示順位を変えることにより、ユーザが利用する可能性の高い連携機能に関する情報が優先的に表示される。また、機器画像同士を繋ぐ操作以外の操作を行わずに、利用する機能の順番やデータの移動順番が指定され、ユーザが利用するであろうと予測される連携機能に関する情報が表示される。

上記の表示切替処理は、機能に紐付く機能画像が用いられる場合に適用されてもよい。例えば、第１機能に紐付く機器画像と第２機能に紐付く機器画像の指定の順番に応じて、連携機能に関する情報の表示が切り替えられる。

（部分画像を用いた連携処理）
機器に紐付く機器画像内の位置に応じて、連携機能に割り当てられる機器が有する機能が異なっていてもよい。機器画像内において特定の位置がユーザによって指定されると、その特定の位置に対応する機能を利用する連携機能に関する情報が優先的に表示される。以下、この処理について詳しく説明する。

図４０には、デバイス機能管理テーブルの一例が示されている。このデバイス機能管理テーブルのデータは、デバイス機能管理情報４０としてロボット装置１０に記憶されている。このデバイス機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器画像内位置を示す情報と、その機器画像内位置に対応する機能を示す情報（機能情報）と、画像ＩＤと、が対応付けられている。機器画像内位置は、機器に紐付く機器画像内の特定の位置（特定の部位）であり、例えば、機器を模式的に表す機器画像内の特定の位置や、カメラによって撮影された機器画像内の特定の位置である。機器画像内の特定の位置毎に、異なる機能が対応付けられている。

図４１には、端末装置１４のＵＩ部７２に表示される画面の一例が示されている。例えば、複合機（Ｂ）とＰＣ（Ａ）が識別されているものとする。上記のユーザ判断モード１においては、図４１（ａ）に示すように、端末装置１４のＵＩ部７２には機器画像１０２，１３０が、状況情報として表示される。例えば、機器画像１０２において複合機（Ｂ）の本体部分に対応する特定の位置（部分画像１０２ａ）には、「プリント機能」が割り当てられている。機器画像１０２において複合機（Ｂ）の原稿カバーや原稿ガラスや自動原稿給紙装置に対応する特定の位置（部分画像１０２ｂ）には、「スキャン機能」が割り当てられている。機器画像１０２において後処理装置に対応する特定の位置（部分画像１０２ｃ）には、「ステープラ止め機能」が割り当てられている。「ステープラ止め機能」は、出力された用紙をステープラによって止める機能である。また、機器画像１３０においてＰＣ（Ａ）の本体部分に対応する特定の位置（部分画像１３０ａ）には、「データ保存機能」が割り当てられている。機器画像１３０においてＰＣ（Ａ）の表示部に対応する特定の位置（部分画像１３０ｂ）には、「画面表示機能」が割り当てられている。「データ保存機能」は、他の装置から送られてきたデータをＰＣ（Ａ）にて保存する機能である。「画面表示機能」は、他の装置から送られてきたデータをＰＣ（Ａ）にて表示する機能である。

なお、端末装置１４の制御部７４は、機器画像内の特定の位置に割り当てられている機能の名称（例えば印刷やスキャン等）をＵＩ部７２に表示させてもよい。これにより、特定の位置にどのような機能が対応しているのかが分かり易い情報がユーザに提供される。もちろん、機能の名称は表示されなくてもよい。

機器画像において機能が割り当てられている位置がユーザによって指定されると、その指定された位置に割り当てられている機能が連携対象の機能として指定される。ユーザは指示子を用いて、連携対象の機器を表わす機器画像において機能が割り当てられている特定の位置（部分画像）を繋ぐ。例えば、矢印１３６で示すように、ユーザが操作子を用いて、部分画像１０２ｂをタッチして部分画像１３０ｂまで操作することにより、部分画像１０２ｂと部分画像１３０ｂを繋ぐ。これにより、部分画像１０２ｂを含む機器画像１０２に紐付く複合機（Ｂ）と部分画像１３０ｂを含む機器画像１３０に紐付くＰＣ（Ａ）が、連携対象の機器として指定されるとともに、部分画像１０２ｂに割り当てられている「スキャン機能」と部分画像１３０ｂに割り当てられている「画面表示機能」が指定される。また、この繋ぐ操作によって、接続の順番が指定されてもよい。この場合、部分画像を繋ぐ順番が接続の順番に相当する。図４１（ａ）に示す例では、部分画像１０２ｂから部分画像１３０ｂへ画像を繋げているため、複合機（Ｂ）からＰＣ（Ａ）へ機器が接続されている。また、連携機能に利用する機能として「スキャン機能」と「画面表示機能」が指定されている。機器の接続順番を示す情報と、機器画像内においてユーザによって指定された特定の位置を示す情報が、端末装置１４からロボット装置１０に送信される。

連携対象の機器（例えばＰＣ（Ａ）と複合機（Ｂ））が識別されると、ロボット装置１０の識別部６４は、例えば図１１に示されている連携機能管理テーブルにおいて、ＰＣ（Ａ）と複合機（Ｂ）を連携させることによって実現される連携機能を特定する。また、識別部６４は、図４０に示されているデバイス機能管理テーブルを参照することにより、機器画像内においてユーザによって指定された特定に位置に割り当てられている機能を特定する。そして、識別部６４は、ＰＣ（Ａ）と複合機（Ｂ）とを連携させることによって実現される連携機能群の中で、ユーザによって指定された位置に割り当てられている機能を利用する連携機能の優先順位を上げて、その機能を利用しない連携機能の優先順位を下げる。

上記のようにして特定された連携機能に関する情報と優先順位を示す情報は、ロボット装置１０から端末装置１４に送信される。端末装置１４の制御部７４は、その優先順位に従って、連携機能に関する情報を連携機能候補に関する情報としてＵＩ部７２に表示させる。

例えば図４１（ｂ）に示すように、端末装置１４の制御部７４は、ＵＩ部７２に連携機能候補に関する情報を表示させる。「スキャン機能」と「画面表示機能」がその順番でユーザによって指定されているため、「スキャン機能」と「画像表示機能」を連携させることによって実行される連携機能「スキャン転送表示機能」に関する情報が、他の連携機能に関する情報よりも優先的に（例えば上位に）表示される。例えば、「スキャン機能」と「データ保存機能」を連携させることによって実行される連携機能「スキャン転送保存機能」に関する情報よりも、「スキャン転送表示機能」に関する情報が優先的に表示される。なお、スキャン転送表示機能は、複合機（Ｂ）によるスキャンによって生成されたデータをＰＣ（Ａ）に転送してＰＣ（Ａ）の画面に表示する機能である。スキャン転送保存機能は、複合機（Ｂ）によるスキャンによって生成されたデータをＰＣ（Ａ）に転送してＰＣ（Ａ）に保存する機能である。図４１（ｂ）に示す例では、各連携機能に関する情報として、各連携機能の説明文が表示されている。

部分画像を用いた連携処理によると、連携対象の機器が複数の機能を有している場合に、機能が個別的に指定され、その指定された機能を利用する連携機能に関する情報が優先的に表示される。これにより、ユーザが利用するであろうと予測される連携機能が優先的に表示される。

なお、連携機能は、機器の部分同士の組み合わせを利用する機能であってもよいし、機器の全体と機器の部分との組み合わせを利用する機能であってもよいし、機器の全体同士の組み合わせを利用する機能であってもよい。

部分画像を用いた連携処理は、機能に紐付く機能画像が用いられる場合に適用されてもよい。例えば、機能画像内の位置に応じて異なる機能が割り当てられており、ユーザによって指定された位置に割り当てられている機能を利用する連携機能が特定される。

（部分画像を用いた連携処理の別の例）
以下、図４２及び図４３を参照して、部分画像を用いた連携処理の別の例について説明する。

図４２には、デバイス機能管理テーブルの一例が示されている。このデバイス機能管理テーブルのデータは、デバイス機能管理情報４０としてロボット装置１０に記憶されている。デバイス機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器の部分の名称（例えば部分の種類）を示す情報と、その部分を識別するための部分識別情報としての部分ＩＤと、その部分に割り当てられている機能（その部分が有する機能）を示す情報と、その部分に紐付く部分画像を識別するための部分画像ＩＤと、が互いに対応付けられている。部分画像は、カメラによる撮影によって得られた機器の部分の外観を表わす画像である。もちろん、機器の部分を模式的に表す部分画像が、当該部分に対応付けられていてもよい。例えば、機器の部分毎に異なる機能が割り当てられている。

具体例を挙げて説明すると、ＰＣ（Ａ）の表示部には画面表示機能が割り当てられており、その表示部に紐付く部分画像の部分画像ＩＤには、画面表示機能を示す情報が対応付けられている。画面表示機能は、情報をＰＣ（Ａ）にて表示する機能である。ＰＣ（Ａ）の本体部にはデータ保存機能が割り当てられており、その本体部に紐付く部分画像の部分画像ＩＤには、データ保存機能を示す情報が対応付けられている。データ保存機能は、データをＰＣ（Ａ）に保存する機能である。

また、複合機（Ｂ）の本体部にはプリント機能が割り当てられており、その本体部に紐付く部分画像の部分画像ＩＤには、プリント機能を示す情報が対応付けられている。複合機（Ｂ）の読取部（例えば、複合機（Ｂ）の原稿カバーや原稿ガラスや自動原稿給紙装置に対応する部分）にはスキャン機能が割り当てられており、その読取部に紐付く部分画像の部分画像ＩＤには、スキャン機能を示す情報が対応付けられている。複合機（Ｂ）の後処理装置にはステープル止め機能が割り当てられており、その後処理装置に紐付く部分画像の部分画像ＩＤには、ステープル止め機能を示す情報が対応付けられている。ステープル止め機能は、出力された用紙をステープルによって綴じる機能である。

機器の部分に割り当てられている機能は、例えば、マーカレス型ＡＲ技術を用いることによって特定（識別）される。例えば、機器の部分がカメラ（例えばロボット装置１０の視覚センサー）によって撮影された場合、ロボット装置１０の識別部６４は、デバイス機能管理テーブルにおいて、その外観画像データに対応付けられている機能を特定（識別）する。これにより、撮影された部分に割り当てられている機能が特定（識別）される。例えば、複合機（Ｂ）の本体部が視覚センサーによって撮影された場合、ロボット装置１０の識別部６４は、デバイス機能管理テーブルにおいて、その外観画像データに対応付けられているプリント機能を特定する。これにより、複合機（Ｂ）の本体部に割り当てられている機能がプリント機能であることが特定される。

もちろん、機器の部分に割り当てられている機能は、マーカ型ＡＲ技術を用いることによって特定（識別）されてもよい。例えば、機器の各部分に、部分を識別するための部分識別情報（例えば部分ＩＤ）がコード化された２次元バーコード等のマーカが設けられている。部分に設けられているマーカが視覚センサーによって撮影されてマーカ型ＡＲ技術が適用されると、その部分の部分識別情報（例えば部分ＩＤ）が取得される。このように部分識別情報が取得されると、ロボット装置１０の識別部６４は、デバイス機能管理テーブルにおいて、その部分識別情報（例えば部分ＩＤ）に対応付けられている機能を特定（識別）する。

図４３には、連携機能管理テーブルの一例が示されている。この連携機能管理テーブルのデータは、連携機能管理情報４２としてロボット装置１０に記憶されている。この連携機能管理テーブルは、複数の部分が有する機能を利用する連携機能を示す情報であり、その連携機能管理テーブルにおいては、一例として、機器の部分の組み合わせを示す情報と、部分ＩＤの組み合わせを示す情報と、その組み合わせに含まれる複数の部分が有する機能を利用する連携機能を示す情報と、が互いに対応付けられている。もちろん、連携機能管理テーブルにおいては、機器の部分と機器の全体との組み合わせを示す情報と、その機器の部分が有する機能と機器の全体が有する機能とを利用する連携機能を示す情報と、が対応付けられていてもよい。

具体例を挙げて説明すると、ＰＣ（Ａ）の表示部と複合機（Ｂ）の本体部との組み合わせには、連携機能としてのプリント機能が割り当てられており、ＰＣ（Ａ）の表示部の部分ＩＤと複合機（Ｂ）の本体部の部分ＩＤとの組み合わせを示す情報には、連携機能としてのプリント機能を示す情報が対応付けられている。連携機能としてのプリント機能は、例えば、ＰＣ（Ａ）に保存されているデータを複合機（Ｂ）に送信して、そのデータを複合機（Ｂ）によって印刷する機能である。

また、複合機（Ｂ）の本体部とプロジェクタ（Ｃ）の本体部との組み合わせには、連携機能としてのプリント機能が割り当てられており、複合機（Ｂ）の本体部の部分ＩＤとプロジェクタ（Ｃ）の本体部の部分ＩＤとの組み合わせを示す情報には、連携機能としてのプリント機能を示す情報が対応付けられている。連携機能としてのプリント機能は、例えば、プロジェクタ（Ｃ）によって投影されているデータを複合機（Ｂ）に送信して、そのデータを複合機（Ｂ）によって印刷する機能である。

また、複合機（Ｂ）の読取部とプロジェクタ（Ｃ）の本体部との組み合わせには、連携機能としてのスキャン投影機能が割り当てられており、複合機（Ｂ）の読取部の部分ＩＤとプロジェクタ（Ｃ）の本体部の部分ＩＤとの組み合わせを示す情報には、連携機能としてのスキャン投影機能を示す情報が対応付けられている。連携機能としてのスキャン投影機能は、例えば、複合機（Ｂ）によるスキャンによって生成されたデータをプロジェクタ（Ｃ）に送信して、そのデータをプロジェクタ（Ｃ）によって投影する機能である。

なお、連携機能は、同一の機器に含まれる複数の部分が有する機能を利用する機能であってもよいし、互いに異なる複数の機器の部分が有する機能を利用する機能であってもよい。また、連携機能は、３つ以上の部分が有する機能を利用する機能であってもよい。

例えば、マーカ型ＡＲ技術又はマーカレス型ＡＲ技術を利用して、機器の複数の部分（例えば、互いに異なる複数の機器の複数の部分や、同一機器の複数の部分）が特定（識別）されると、ロボット装置１０の識別部６４は、連携機能管理テーブルにおいて、識別された複数の部分の組み合わせに対応付けられている連携機能を特定（識別）する。これにより、識別（例えば撮影）された複数の部分が有する機能を利用する連携機能が特定（識別）される。例えば、複合機（Ｂ）の本体部とプロジェクタ（Ｃ）の本体部が識別された場合、ロボット装置１０は、連携機能管理テーブルにおいて、複合機（Ｂ）の本体部とプロジェクタ（Ｃ）の本体部の組み合わせに対応付けられている連携機能としてのプリント機能等を特定する。

（機器画像の重ね合わせによる連携対象の機器の指定）
複数の機器画像を重ね合わせることによって、連携対象の機器群が指定されてもよい。以下、図４４及び図４５を参照して、この処理について説明する。図４４及び図４５には、端末装置１４のＵＩ部７２に表示される画面の一例が示されている。

例えば、複合機（Ｂ）とＰＣ（Ａ）が識別されているものとする。上記のユーザ判断モード１においては、図４４（ａ）に示すように、端末装置１４のＵＩ部７２には、識別された機器に紐付く機器画像１０２，１３０が、状況情報として表示される。この状態で、ユーザが指示子（例えばユーザの指、ペン、スタイラス等）を用いて第１機器に紐付く機器画像を、連携先の機器（第２機器）に紐付く機器画像に重ね合わせる。例えば、図４４（ｂ）に示すように、ユーザが操作子を用いて機器画像１０２を指定し、矢印１３８で示すように、その機器画像１０２を機器画像１３０に重ね合わせる。例えば、ドラッグ＆ドロップ操作によって機器画像同士を重ね合わせる。つまり、ユーザは機器画像１０２をドラッグ操作し、機器画像１３０に重なる位置で機器画像１０２をドロップ操作する。このドラッグ＆ドロップ操作自体は、例えば公知の技術である。なお、ユーザの音声指示に従って、重ね合わせる機器画像が指定されてもよい。例えば、ユーザの音声指示に従って、機器画像１０２，１３０が重ね合わせ対象の機器画像として指定され、それらが重ねられてもよい。

機器画像１０２，１３０を互いに重ね合わせることにより、機器画像１０２に紐付く複合機（Ｂ）と機器画像１３０に紐付くＰＣ（Ａ）が、連携対象の機器として指定される。

なお、端末装置１４の制御部７４は、ドラッグ操作中の機器画像を識別可能な表示態様でＵＩ部７２に表示させてもよい。例えば、ドラッグ操作中の機器画像を半透明に表示したり、特定の色で表示したりしてもよい。

機器画像１０２が機器画像１３０に重ねられた場合において、ＰＣ（Ａ）が複合機（Ｂ）と共に連携機能を実行することが可能な場合、図４４（ｃ）に示すように、端末装置１４のＵＩ部７２に確認画面１４０が表示される。確認画面１４０は、連携対象の機器として指定された機器群を連携させるか否かを確認するための画面である。確認画面１４０において、連携指示がユーザによって与えられると（例えば「ＹＥＳ」ボタンがユーザによって押されると）、連携機能に関する情報が端末装置１４のＵＩ部７２に表示される。

例えば図４５（ａ）に示すように、端末装置１４の制御部７４は、ＵＩ部７２に連携機能候補に関する情報を表示させる。ＰＣ（Ａ）と複合機（Ｂ）を連携させることにより、例えば、「スキャン転送機能」と「印刷機能」が実現されるため、ＵＩ部７２には、「スキャン転送機能」に関する情報と「印刷機能」に関する情報が表示される。

連携機能がユーザによって指定されて実行指示が与えられると、端末装置１４から連携対象の機器に対して接続要求が行われる。図４５（ｂ）に示すように、その接続要求の間、端末装置１４のＵＩ部７２には待機画面が表示される。端末装置１４と連携対象の機器との接続が成功すると、指定された連携機能が実行される。

以上のように、機器に紐付いた機器画像同士を重ね合わせることにより、機器が有する機能を利用する連携機能が特定される。それ故、画像操作以外の操作を行わずに、機能を連携させることが可能となり、簡易な操作で機能が連携される。

部分画像を機器画像又は部分画像に重ね合わせることで、連携機能が特定されてもよい。図４６を参照して、この処理について説明する。図４６には、端末装置１４のＵＩ部７２に表示される画面の一例が示されている。

上述した部分画像を用いた連携処理と同様に、機器に紐付く機器画像内の位置に応じて、機器が有する機能が異なっている。機器画像内の部分画像を、同一又は異なる機器画像内の部分画像に重ね合わせることにより、両部分画像に紐付く機能を利用する連携機能が特定される。以下、この処理について詳しく説明する。

例えば、複合機（Ｂ）とＰＣ（Ａ）が識別されているものとする。上記のユーザ判断モード１においては、図４６（ａ）に示すように、端末装置１４のＵＩ部７２には、機器画像１０２，１３０が、状況情報として表示される。例えば、部分画像１０２ａ，１０２ｂ，１０２ｃ，１３０ａ，１３０ｂは他の部分画像から分離して個別的に移動可能な画像として表示されている。

部分画像がユーザによって指定されて、その部分画像が他の部分画像に重ねられると、それら両部分画像に紐付く機能を利用する連携機能が特定され、その連携機能に関する情報が端末装置１４のＵＩ部７２に表示される。

例えば、図４６（ｂ）中の矢印１４２で示すように、ユーザが操作子を用いて、部分画像１０２ｂをドラッグ操作して部分画像１３０ｂに重ねてドロップ操作を行った場合、部分画像１０２ｂを含む機器画像１０２に紐付く複合機（Ｂ）と部分画像１３０ｂを含む機器画像１３０に紐付くＰＣ（Ａ）が、連携対象の機器として指定されるとともに、部分画像１０２ｂに割り当てられている「スキャン機能」と部分画像１３０ｂに割り当てられている「画面表示機能」が連携対象の機能として指定される。

ロボット装置１０においては、部分画像に割り当てられている機能が管理されている。例えば、部分画像を識別するための識別情報と、部分画像に対応付けられている機能を示す機能情報と、機能を連携させることによって実行される連携機能を示す連携機能情報と、が対応付けられてロボット装置１０に記憶されている。部分画像が選択されて他の部分画像に重ねられると、それらの部分画像を示す識別情報が、端末装置１４からロボット装置１０に送信される。図４６（ｂ）に示す例では、部分画像１０２ｂ，１３０ｂをそれぞれ示す識別情報が端末装置１４からロボット装置１０に送信される。ロボット装置１０の識別部６４は、その識別情報に基づいて、重ねられた部分画像１０２ｂ，１３０ｂのそれぞれに割り当てられている機能を特定し、その機能を利用する連携機能を特定する。その連携機能に関する情報は、ロボット装置１０から端末装置１４に送信されて表示される。

以上の処理によると、連携対象の機器が複数の機能を有している場合に、機能が個別的に指定され、この指定された機能を利用する連携機能に関する情報が優先的に表示される。これにより、ユーザが利用するであろうと予測される連携機能が優先的に表示される。

また、部分画像を重ね合わせる順番に応じて、連携機能の表示の優先順位が変更されてもよい。この場合、重ねられた部分画像に紐付く機能を利用する連携機能に関する情報が優先的に表示される。

上記のロボット装置１０及び端末装置１４のそれぞれは、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、ロボット装置１０及び端末装置１４のそれぞれは、図示しないＣＰＵ等の１又は複数のプロセッサを備えている。当該１又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、ロボット装置１０及び端末装置１４の各部の機能が実現される。上記プログラムは、ＣＤやＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、ロボット装置１０及び端末装置１４のそれぞれの各部は、例えばプロセッサや電子回路やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、ロボット装置１０及び端末装置１４のそれぞれの各部は、ＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。

１０ ロボット装置、１２ 機器、１４ 端末装置、３４ 所有機能管理情報、３６ 非所有機能管理情報、３８ 解決手段管理情報、４０ デバイス機能管理情報、４２ 連携機能管理情報、４４ 状況収集部、４６ 移動部、４８ 作業部、５４ 制御部、５６ 検知部、５８ 解決手段特定部、６０ 判断部、６２ 検索部、６４ 識別部。

Claims (12)

1. 周囲の状況を検知する検知手段と、
   自装置の機能だけでは前記状況の問題を解決することができない場合、前記状況に関する情報をユーザに報告するための制御を行う制御手段と、
   を有し、
   前記制御手段は、前記状況に関する情報ではユーザが前記状況を理解することができない旨を示す情報を受けた場合、ユーザが追加情報を入力するための画面の表示を制御する、
   情報処理装置。
2. 前記追加情報は、ユーザの要求に関する情報である、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、前記要求に応じた情報を収集し、その情報の表示を制御する、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 周囲の状況を検知する検知手段と、
   自装置の機能だけでは前記状況の問題を解決する解決手段が実行できない場合、前記自装置以外の要素を利用する前記解決手段を実行するための制御を行う制御手段と、
   を有し、
   前記要素は、前記自装置以外の機器及び人の中の少なくとも１つを含み、
   前記制御手段は、人が検知されない場合、人を用いない前記解決手段が実行されるための制御を優先的に実行する、
   情報処理装置。
5. 周囲の状況を検知する検知手段と、
   自装置の機能だけでは前記状況の問題を解決する解決手段が実行できない場合、前記自装置以外の要素を利用する前記解決手段を実行するための制御を行う制御手段と、
   を有し、
   前記検知手段は、前記状況として、前記自装置の周辺に存在する人に関する情報、又は、人以外の情報を検知し、人以外の情報の値が閾値以上となる場合、前記問題が発生したと判断し、
   前記閾値は、検知された人に関する情報に応じて変更される、
   情報処理装置。
6. 周囲の状況を検知する検知手段と、
   自装置の機能だけでは前記状況の問題を解決する解決手段が実行できない場合、前記自装置以外の要素を利用する前記解決手段を実行するための制御を行う制御手段と、
   を有し、
   前記制御手段は、人に関する情報に基づく第１の検知結果と、人以外の情報に基づく第２の検知結果と、に基づく前記状況の問題が異なる場合、前記制御手段は、予め定めた前記第１の検知結果又は前記第２の検知結果の優先順位に基づき、前記状況の問題を解決する前記解決手段を選択する、
   情報処理装置。
7. 前記第１の検知結果と前記第２の検知結果とに基づく前記状況の問題が異なる場合、前記制御手段は、前記第１の検知結果に基づき、前記状況の問題を解決する前記解決手段を選択する、
   ことを特徴とする請求項６に記載の情報処理装置。
8. 周囲の状況を検知する検知手段と、
   自装置の機能だけでは前記状況の問題を解決する解決手段が実行できない場合、前記自装置以外の要素を利用する前記解決手段を実行するための制御を行う制御手段と、
   を有し、
   前記自装置のみで前記解決手段を決定できない場合、前記制御手段は、ユーザに問い合わせるモードの実行を制御し、
   ユーザに問い合わせるモードでは、前記制御手段は、ユーザからの要求に応じて、前記状況に関する情報の更なる収集を制御する、
   情報処理装置。
9. 前記状況に関する情報は、検知された問題に関わる周囲の状況を表す画像である、
   ことを特徴とする請求項８に記載の情報処理装置。
10. 周囲の状況を検知する検知手段と、
    自装置の機能だけでは前記状況の問題を解決する解決手段が実行できない場合、前記自装置以外の要素を利用する前記解決手段を実行するための制御を行う制御手段と、
    を有し、
    前記検知手段が、前記解決手段を実現するために前記要素によって実行されると想定される動作を検知した場合、前記制御手段は、前記要素が問題を解決していると判断する、
    情報処理装置。
11. 周囲の状況を検知する検知手段と、
    自装置の機能だけでは前記状況の問題を解決する解決手段が実行できない場合、前記自装置以外の要素を利用する前記解決手段を実行するための制御を行う制御手段と、
    を有し、
    前記要素が人である場合、前記制御手段は、前記自装置を前記人のいる場所まで移動させる、
    情報処理装置。
12. コンピュータを、
    周囲の状況を検知する検知手段、
    情報処理装置の機能だけでは前記状況の問題を解決することができない場合、前記状況に関する情報をユーザに報告するための制御を行う制御手段、
    として機能させ、
    前記制御手段は、前記状況に関する情報ではユーザが前記状況を理解することができない旨を示す情報を受けた場合、ユーザが追加情報を入力するための画面の表示を制御する、
    プログラム。