JPWO2020116002A1 - 情報処理装置及び情報処理方法 - Google Patents

Abstract

センサ部からのセンサ情報に基づいて生成される、第１のユーザの周囲の状態に関する一次情報である周囲情報を、前記第１のユーザのユーザ特性に基づいて、前記ユーザ特性に応じた二次情報である相対情報に変換する変換部を備える、情報処理装置が提供される。

Description

本開示は、情報処理装置及び情報処理方法に関する。

従来、指示者による音声などの指示行為によって指定された指示対象物体と、当該指示者と、の間の距離を推定する技術が知られている。例えば、特許文献１には、指示者の音声などによる入力内容に含まれる「これ」又は「それ」等の指示詞に着目し、当該指示者から指示対象物までの距離情報に変換する技術が記載されている。

特開２００９−２６１５８号公報

一方、当該指示者の周囲に、当該指示者とは異なるユーザが存在する場合には、指示者から指示対象物までの距離に関する情報である距離情報は、当該ユーザにとって有益な情報となり得る。このため、上記の距離情報のような当該ユーザの周囲の状態に関する情報である周囲情報を、ユーザに認識させることが可能な技術が求められている。しかし、特許文献１に記載の技術は、指示詞が内包している一般的な距離感を距離情報に置き換える技術であるため、指示者とは異なるユーザに、上記の距離情報をわかりやすいかたちで認識させることについては、改良の余地がある。

そこで、本開示は、上記問題に鑑みてなされたものであり、本開示の目的とするところは、ユーザに、当該ユーザの周囲の状態に関する周囲情報を、ユーザにとってより理解しやすいかたちで提示することを可能とする、情報処理装置及び情報処理方法を提供することにある。

本開示によれば、センサ部からのセンサ情報に基づいて生成される、第１のユーザの周囲の状態に関する一次情報である周囲情報を、前記第１のユーザのユーザ特性に基づいて、前記ユーザ特性に応じた二次情報である相対情報に変換する変換部を備える、情報処理装置が提供される。

また、本開示によれば、センサ部からのセンサ情報に基づいて生成される、第１のユーザの周囲の状態に関する一次情報である周囲情報を、前記第１のユーザのユーザ特性に基づいて、前記ユーザ特性に応じた二次情報である相対情報に変換することを含む、情報処理方法が提供される。

本開示の第１の実施形態に係る情報処理システム１の構成を示す図である。 本開示の第１の実施形態に係る情報処理装置１０及びサーバ２０の構成を示すブロック図である。 ユーザ特性データベースＤＢ１を示す図である。 本開示の第１の実施形態に係る認識部２１０の構成を示すブロック図である。 本開示の第１の実施形態に係るシチュエーションを示す図である。 本開示の第１の実施形態に係る情報処理システム１の処理例を示すフローチャート図である。 相対情報の生成処理を示すフローチャート図である。 相対情報の通知処理を示すフローチャート図である。 統合部２１６が生成した第２カップ４０５に関する対象物情報を説明するための図である。 第２カップ４０５の対象物情報と、変換部１３１が生成した相対情報とを示す図である。 出力部１４０が相対情報を出力する様子を示す図である。 本開示の第２の実施形態に係るシチュエーションを説明するための図である。 本開示の第２の実施形態に係る情報処理システム２の構成を示すブロック図である。 本開示の第２の実施形態に係る認識部２３０の構成を示すブロック図である。 本開示の第２の実施形態に係る情報処理システム２の処理を示すフローチャート図である。 指示語発話の判定処理を示すフローチャート図である。 本開示の第２の実施形態に係る情報処理装置１１が相対情報を通知する様子を示す図である。 第１の応用例に係るシチュエーションを示す図である。 第２の応用例に係る持ち方ルールデータベースＤＢ２を示す図である。 第２の応用例に係るシチュエーションを示す図である。 第３の応用例に係る情報処理システム３の構成を示す図である。 本開示の一実施形態に係る情報処理システム１を構成する情報処理装置１０のハードウェア構成の一例を示す機能ブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．情報処理システムの全体構成
１．２．情報処理装置及びサーバの構成
１．３．処理例
１．４．効果
２．第２の実施形態
２．１．情報処理装置及びサーバの構成
２．２．処理例
２．３．効果
３．応用例
３．１．第１の応用例
３．２．第２の応用例
３．３．第３の応用例
４．ハードウェア構成
５．補足

＜１．第１の実施形態＞
＜＜１．１．情報処理システムの全体構成＞＞
まず、図１を参照して、本開示の第１の実施形態に係る情報処理システム１の構成について説明する。図１は、本開示の第１の実施形態に係る情報処理システム１の構成を示す図である。情報処理システム１は、情報処理装置１０とサーバ２０とを備える。情報処理装置１０とサーバ２０とは、例えばネットワーク３０により接続されている。本実施形態に係る情報処理装置１０は、例えばユーザＵ１の首にかけられることにより、ユーザＵ１に装着される。なお、情報処理装置１０とサーバ２０とは、無線で接続されていてもよいし、有線で接続されていてもよい。

＜＜１．２．情報処理装置及びサーバの構成＞＞
次に、図２を参照して、情報処理装置１０及びサーバ２０の構成について、より詳細に説明する。図２は、本開示の第１の実施形態に係る情報処理システム１が備える情報処理装置１０及びサーバ２０の構成を示すブロック図である。

（情報処理装置）
情報処理装置１０は、センサ部１１０からのセンサ情報に基づいて生成される、ユーザＵ１の周囲の状態に関する一次情報である周囲情報を、ユーザＵ１のユーザ特性に基づいて、当該ユーザ特性に応じた二次情報である相対情報に変換する機能を有する。当該機能は、情報処理装置１０が備えるセンサ部１１０、記憶部１２０、処理部１３０、出力部１４０、及び通信部１５０が協働することにより実現される。以下、情報処理装置１０が備える各機能部について説明する。

センサ部１１０は、ユーザＵ１の周囲の状態を様々な観点から検知する機能を有する。センサ部１１０は、例えば、周囲の状態を画像として取得する画像取得装置を備える。画像取得装置は、カメラ等の各種の公知の撮像装置であってもよい。また、センサ装置は、例えば、距離センサ（例えばＴｉｍｅ Ｏｆ Ｆｌｉｇｈｔ方式のセンサなど）、温度センサ、又は加速度センサ等の各種の公知のセンサのうちの少なくともいずれかを含む装置である。また、センサ部１１０は、さらに、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）やＧＬＯＮＡＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）などの測位衛星から測位信号を受信する受信機を備えてもよい。

センサ部１１０が検知した結果は、センサ情報として、通信部１５０に伝達され、ネットワーク３０を介してサーバ２０に送信される。サーバ２０は、受信したセンサ情報を認識し、認識した結果をユーザの周囲の状態に関する一次情報である周囲情報として、ネットワーク３０を介して、情報処理装置１０に送信する。情報処理装置１０に送信された周囲情報は、通信部１５０を介して、処理部１３０に伝達される。

記憶部１２０は、各種の情報を記憶する機能を有する。記憶部１２０が備える機能は、情報処理装置１０に設けられたＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の各種の公知の記録装置により実現される。

記憶部１２０は、例えば、ユーザのユーザ特性を表すユーザ特性情報を記憶している。より具体的には、ユーザ特性情報は、ユーザ自身の状態又はユーザが所有する持ち物などに関する情報を含む。記憶部１２０が記憶しているユーザ特性情報は、必要に応じて、処理部１３０により参照される。ユーザ特性情報は、処理部１３０が周囲情報を相対情報に変換する際に用いられる。

なお、記憶部１２０は、情報処理装置１０とは異なる、例えば、クラウド上の各種のサーバに設けられてもよい。この場合、記憶部１２０に記憶された情報は、ネットワーク３０を介して通信部１５０に送信され、処理部１３０に伝達される。また、記憶部１２０は、一人分のユーザ特性を記憶してもよいし、複数人分のユーザ特性を記憶してもよい。記憶部１２０が複数人分のユーザ特性を記憶している場合には、情報処理装置１０を使用するユーザに対応するユーザ特性が、必要に応じて処理部１３０により参照される。

ここで、ユーザ特性情報についてより詳細に説明する。ユーザ特性情報は、ユーザの特性に関する各種の情報である。ユーザ特性情報は、ユーザ自身の状態に関する状態情報を含む。状態情報は、ユーザの身体的特徴に関する情報である身体情報を含んでもよいし、ユーザの精神的な状態に関する情報を含んでもよい。身体情報は、例えば、ユーザの身長、体重、手長（手首のしわから中指の先までの長さ）、体温、歩幅、座高、又は年齢等の情報を含んでもよい。さらに、身体情報は、ユーザが有する特有の事情（例えば、色覚に関する障害又は視野狭窄障害等の各種の障害の有無）に関する情報を含んでもよい。

また、ユーザ特性情報は、ユーザが所有する持ち物に関する持ち物情報を含んでもよい。持ち物情報は、ユーザが、例えば自宅等に所有している各種の物品に関する情報である。例えば、持ち物情報は、ユーザが自宅等に所有している食器の大きさ、種類、色、材質、又は質感等に関する情報であってもよい。

第１の実施形態では、これらのユーザ特性に関する情報は、ユーザ特性データベースＤＢ１として、記憶部１２０に記憶されている。図３を参照して、ユーザ特性データベースＤＢ１について説明する。図３は、ユーザ特性データベースＤＢ１のデータ構成の一例を示す図である。ユーザ特性データベースＤＢ１には、例えば、ユーザＵ１ＡとユーザＵ１Ｂとの２人分のユーザ特性が格納されている。ここでは、例えば、ユーザＵ１Ａは大人であり、ユーザＵ１Ｂは子供である。なお、ユーザ特性データベースＤＢ１には、幼児又は高齢者のユーザに関するユーザ特性が記録されていてもよい。また、図３では、２人分のユーザ特性が格納されている場合について図示しているが、ユーザ特性データベースＤＢ１は、１人分のユーザ特性のみが格納されていてもよいし、３人以上のユーザ特性が格納されていてもよい。また、ユーザ特性は、図３に示すように表の形式で記憶されてもよいし、その他のいかなる形式で記憶されてもよい。

図３に示すように、ユーザ特性データベースＤＢ１には、ユーザＵ１ＡとユーザＵ１Ｂとについて、身体情報として、身長、体重、手長、体温、歩幅、座高、及び障害の有無が記録されている。さらに、ユーザ特性データベースＤＢ１には、ユーザＵ１ＡとユーザＵ１Ｂとについて、持ち物情報として、各々が自宅等に所持している持ち物を表す情報が記録されている。なお、各持ち物の下に記載されたかっこ書きは、当該持ち物の材質を示している。後述する情報処理システム１の処理例で示すように、処理部１３０が、周囲情報を、これらのユーザ特性に基づいて、当該ユーザ特性に応じた相対情報に変換する。このため、ユーザＵ１は、ユーザ自身にとって、より理解しやすいかたちで、周囲情報を容易に認識することができる。

処理部１３０は、周囲情報を、ユーザ特性に基づいて、当該ユーザ特性に応じた相対情報に変換する機能を有する。また、処理部１３０は、センサ部１１０により検知された複数の検知対象物から、ユーザに通知される対象となる通知対象物を選択し、当該通知対象物に関する当該相対情報を出力部１４０に出力させる機能をさらに有することが好ましい。これらの機能は、処理部１３０が備える変換部１３１、選択部１３２、及び出力制御部１３３が協働することにより実現される。

変換部１３１は、周囲情報を、ユーザ特性に基づいて、当該ユーザ特性に応じた二次情報である相対情報に変換する。当該相対情報は、選択部１３２に伝達される。

周囲情報は、センサ部１１０により検知された物体から想起される状況（例えば、危険が迫っている等の状況）に関する情報を含んでもよい。また、周囲情報は、センサ部１１０により検知された検知対象物に関する情報である対象物情報を含んでもよい。検知対象物は、例えば、ユーザの周囲に存在し、センサ部１１０により検知される、家具、食器、又は人等のいかなる物体であってもよい。

変換部１３１は、対象物情報を、ユーザ特性に応じた相対情報に変換してもよい。例えば、対象物情報が、「プラスチックのティーカップがある。」という情報であるとする。このとき、ユーザ特性情報に、「自宅にプラスチックのティーカップがある。」という持ち物情報が含まれる場合には、変換部１３１は、当該対象物情報を、「自宅にあるティーカップと同質の質感のティーカップがある。」という相対情報に変換する。当該相対情報は、出力部１４０により出力されることにより、ユーザＵ１に通知される。これにより、ユーザＵ１は、対象物情報をユーザＵ１にとってより一層イメージしやすいかたちで把握することが可能となり、当該検知対象物に関する情報をより容易に認識できるようになる。

変換部１３１は、周囲情報を、ユーザＵ１の身体的特徴に関する身体情報に応じた相対情報に変換してもよい。例えば、身体情報に、「歩幅：７８ｃｍ」という情報が含まれるとする。このとき、周囲情報に含まれる位置情報が、「４ｍ先にカップが存在する。」という情報であるとする。この場合、４ｍ÷７８ｃｍ＝約５（歩）であることから、変換部１３１は、当該位置情報を、「歩いて５歩先にカップが存在する。」という相対情報に変換する。このように、当該相対情報は、ユーザの身体情報に応じた情報となる。このため、当該相対情報が出力部１４０により出力されると、ユーザＵ１は、カップの位置をより理解しやすいかたちで認識することができる。

図２に戻って、情報処理装置１０の構成について説明する。センサ部１１０により複数の検知対象物が検知されている場合には、選択部１３２は、検知された複数の検知対象物から、ユーザＵ１に通知される対象となる通知対象物を選択する。選択された検知対象物に関する相対情報は、出力制御部１３３に伝達される。

選択部１３２は、例えば、複数の検知対象物のうち、最も高い危険度を有する検知対象物を、通知対象物として選択してもよい。検知対象物の危険度は、例えば、サーバ２０により推定されている場合がある。例えば、サーバ２０は、複数の検知対象物のうち、最も温度が高い検知対象物を、最も高い危険度を有する検知対象物として推定してもよい。選択部１３２により選択された検知対象物に関する相対情報は、出力制御部１３３を介して、出力部１４０に出力される。このため、ユーザＵ１は、最も高い危険度を有する検知対象物に関する対象物情報を、より理解し易いかたちで認識することができる。

出力制御部１３３は、選択部１３２から伝達された相対情報を、出力部１４０に出力させる機能を有する。例えば、出力部１４０は、音声又は画像により、相対情報を出力する。出力部１４０が、音声により相対情報を出力する場合には、出力制御部１３３は、出力制御部１３３が有する公知の各種の音声合成機能により、例えば文字列のデータで表された相対情報を音声情報に変換し、当該音声情報を出力部１４０に伝達する。これにより、出力部１４０は、音声により相対情報を出力することができる。また、出力制御部１３３は、相対情報を文字列のデータで出力部１４０に伝達し、出力部１４０が文字を出力してもよい。

出力部１４０は、相対情報などの各種の情報を出力する機能を有する。出力部１４０は、スピーカー等の各種の公知の音声を出力する音声出力装置であってもよいし、モニターなどの各種の公知の画像を出力する画像出力装置であってもよい。出力部１４０が相対情報を出力することにより、ユーザＵ１は、相対情報を認識することができる。

通信部１５０は、各種の情報を送受信する機能を有する。より具体的には、通信部１５０は、ネットワーク３０を介して、サーバ２０と情報を送受信する。例えば、通信部１５０は、センサ部１１０からのセンサ情報をサーバ２０に送信する。また、通信部１５０は、周囲情報をサーバ２０から受信し、当該周囲情報を処理部１３０に伝達する。

（サーバ）
サーバ２０は、センサ部１１０からのセンサ情報を受信し、受信したセンサ情報に基づいて、ユーザＵ１の周囲の状態に関する一次情報である周囲情報を生成する機能を有する。サーバ２０が有する機能は、サーバ２０が備える認識部２１０及び通信部２２０が協働することにより実現される。

認識部２１０は、センサ部１１０からのセンサ情報に基づいて、周囲情報を生成する機能を有する。図４を参照して、認識部２１０について、より詳細に説明する。図４は、本開示の第１の実施形態に係る認識部２１０の構成を示すブロック図である。図４に示すように、認識部２１０は、例えば、一般物体認識部２１１、温度認識部２１２、位置認識部２１３、危険度推定部２１４、行為推定部２１５、及び統合部２１６を備える。

一般物体認識部２１１は、センサ情報に含まれる、センサ部１１０が取得した画像情報に含まれる物体を、各種の公知の一般物体認識技術により認識する機能を有する。例えば、一般物体認識部２１１は、例えば、画像情報に含まれる、家具又は食器などの各々の物体についての、大きさ、形、質感、模様、又は当該物体の名前等を認識する。一般物体認識部２１１が認識した物体の各々は、検知対象物として認識されてもよい。一般物体認識部２１１が認識した結果は、統合部２１６に伝達される。また、一般物体認識部２１１が認識した結果は、認識部２１０が備える他の機能部に伝達されてもよい。

温度認識部２１２は、センサ部１１０が備える温度センサによる検知結果に基づいて、温度を認識する機能を有する。例えば、温度認識部２１２は、画像情報に含まれる検知対象物の各々の温度を認識することができる。温度認識部２１２が認識した結果は、危険度推定部２１４及び統合部２１６に伝達される。

位置認識部２１３は、センサ部１１０が備える測距センサ等の距離を検知するセンサによる検知結果に基づいて、ユーザＵ１の位置を基準とした、検知対象物の位置情報を認識する機能を有する。例えば、位置認識部２１３は、ユーザＵ１の位置を基準とした、ユーザＵ１と画像情報に含まれる物体の各々との位置関係を、位置情報として認識することができる。位置認識部２１３が認識した結果は、統合部２１６に伝達される。

危険度推定部２１４は、検知対象物の各々について、危険度を推定する機能を有する。危険度推定部２１４は、例えば、温度認識部２１２により認識された結果に基づいて、検知対象物が有する温度が高いほど、当該検知対象物の危険度が高いことを推定してもよい。また、危険度推定部２１４は、検知対象物の形状に応じて、危険度を推定してもよい。危険度推定部２１４は、ナイフのように、先の尖った形状を有する物体を、危険度が高い検知対象物として推定してもよい。また、危険度推定部２１４は、消費期限などから腐っていることが推測される食べ物、又は画像情報等から喧嘩して機嫌が悪くなっていることが推測されるペットを、危険度が高い検知対象物として推定してもよい。危険度推定部２１４が推定した結果は、統合部２１６に伝達される。

行為推定部２１５は、情報処理装置１０を身に着けているユーザＵ１の行為を推定する機能を有する。例えば、行為推定部２１５は、センサ部１１０が備える加速度センサ等のユーザＵ１の行為を検知し得るセンサからのセンサ情報に基づいて、ユーザＵ１の行為を推定する。行為推定部２１５は、例えば、加速度センサからのセンサ情報に基づいて、ユーザＵ１による歩く行為又は止まる行為等の各種の行為を推定してもよい。また、行為推定部２１５は、センサ部１１０が備える画像取得装置からの画像情報に基づいて、ユーザＵ１のジェスチャ又は目線の動きなどのふるまいを推定してもよい。行為推定部２１５が推定した結果は、通信部２２０に伝達される。

統合部２１６は、認識部２１０が備える各機能部が認識又は推定した結果を統合し、当該統合した結果を周囲情報として生成する機能を有する。例えば、統合部２１６は、一般物体認識部２１１により認識された検知対象物について、温度認識部２１２により認識された温度、ユーザＵ１と当該検知対象物との位置関係、及び当該検知対象物の危険度に関する情報を統合することにより対象物情報を生成してもよい。統合部２１６は、複数の検知対象物に係る対象物情報をまとめた情報を、周囲情報として生成してもよい。統合部２１６により生成された周囲情報は、通信部２２０に伝達される。

以上、認識部２１０が備える各機能部について説明した。図２に戻って、サーバ２０が備える通信部２２０について説明する。通信部２２０は、各種の情報を送受信する機能を有する。例えば、通信部２２０は、ネットワーク３０を介して、情報処理装置１０と各種の情報を送受信する。より具体的には、通信部２２０は、認識部２１０により生成された周囲情報を、ネットワーク３０を介して、情報処理装置１０が備える通信部１５０に送信する。また、通信部２２０は、センサ部１１０からのセンサ情報を受信する。

＜＜１．３．処理例＞＞
次に、第１の実施形態に係る情報処理システム１の処理例について、具体的に説明する。

まず、図５を参照して、第１の実施形態に係るシチュエーションについて説明する。図５は、第１の実施形態に係るシチュエーションを示す図である。図５に示すシチュエーションでは、以下のような状況が想定されている。すなわち、ユーザＵ１が、左奥の方向を向いており、首に情報処理装置１０をかけている。また、ユーザＵ１の前方には、略長方形の台を有する第１テーブル４０１と、略円形の台を有する第２テーブル４０２とがある。また、第１テーブル４０１の上には、直方体状の第１置物４０３と、斜線が付された円柱状の第１カップ４０４とが置かれている。さらに、第２テーブル４０２の上には、円柱状の第２カップ４０５が置かれている。これらの第１テーブル４０１、第２テーブル４０２、第１置物４０３、第１カップ４０４、及び第２カップ４０５は、センサ部１１０により検知され、認識部２１０により検知対象物として認識される。以下、第１テーブル４０１、第２テーブル４０２、第１置物４０３、第１カップ４０４、及び第２カップ４０５をまとめて周囲物体とも称する。

以下、図６〜図８のフローチャート図を参照して、本開示の第１の実施形態に係る情報処理システム１の処理例について説明する。図６は、本開示の第１の実施形態に係る情報処理システム１の処理例を示すフローチャート図である。以下、図６のフローチャートに沿って、処理例を説明する。

まず、相対情報の生成処理が実施される（ステップＳ１１０）。より具体的には、ステップＳ１１０では、図７のフローチャートで示される相対情報の生成処理が実施される。図７は、相対情報の生成処理を示すフローチャート図である。以下、図７に示すフローチャートに沿って、相対情報の生成処理について説明する。

まず、センサ部１１０が、ユーザＵ１の周りの状態を検知する（ステップＳ１１１）。より具体的には、センサ部１１０が備える画像取得装置、温度センサ、又は測距センサ等の装置がユーザＵ１の周りの状態を検知する。例えば、画像取得装置は、ユーザＵ１の周りに存在する周囲物体を表す画像を撮像し、当該周囲物体が撮像された画像情報を取得する。また、温度センサは、周囲物体の各々及び当該周囲物体の地面又は壁等の温度を表す温度情報を取得する。さらに、測距センサは、ユーザＵ１と周囲物体の各々との間の距離を表す距離情報を取得する。これらのセンサ部１１０が備える装置が取得したセンサ情報は、通信部１５０に伝達され、ネットワーク３０を介してサーバ２０に送信され、通信部２２０を介して、認識部２１０に伝達される。このようにして、認識部２１０は、センサ部１１０からのセンサ情報を取得する。

次に、認識部２１０は、認識処理を実施する（ステップＳ１１２）。例えば、一般物体認識部２１１は、画像情報に基づいて、ユーザＵ１の周りに存在する周囲物体の大きさ、形状、質感又は物体名等を認識する。また、一般物体認識部２１１は、画像情報に含まれる、周囲物体の各々を検知対象物として認識する。

また、温度認識部２１２は、温度情報に基づいて、ユーザＵ１の周囲の温度を認識する。例えば、温度認識部２１２は、周囲物体の各々の温度を認識する。さらに、位置認識部２１３は、距離情報に基づいて、ユーザＵ１の周りに存在する周囲物体とユーザＵ１との間の位置関係について認識する。例えば、位置認識部２１３は、ユーザＵ１の位置を基準とした、周囲物体の各々の位置を認識する。

危険度推定部２１４は、周囲物体の各々についての危険度を推定する。危険度推定部２１４は、周囲物体の各々の温度に基づいて、当該周囲物体の各々の危険度を推定してもよい。第１の実施形態では、第２カップ４０５には熱い飲み物が入っているものとする。この場合、第２カップ４０５は、ユーザＵ１にとって、やけどをする危険性を有している。また、温度認識部２１２は、第２カップ４０５が高温になっていることを認識している。このため、危険度推定部２１４は、第２カップ４０５の危険度が高いことを推定してもよい。また、温度認識部２１２が、第２カップ４０５以外の周囲物体の温度が、室温程度であることを認識している場合には、危険度推定部２１４は、第２カップ４０５を除く周囲物体の危険度が低いことを推定してもよい。ここでは、危険度推定部２１４は、第２カップ４０５の危険度が高く、それ以外の周囲物体の危険度が低いことを推定する。

これらの、一般物体認識部２１１、温度認識部２１２、位置認識部２１３、及び危険度推定部２１４が認識又は推定した結果は、統合部２１６に伝達される。

次に、統合部２１６は、周囲情報を生成する（ステップＳ１１３）。より具体的には、統合部２１６は、一般物体認識部２１１、温度認識部２１２、位置認識部２１３、及び危険度推定部２１４が認識した結果を統合し、統合した結果を周囲情報として生成する。

ここで、第２カップ４０５に関する対象物情報について、図９を参照して説明する。図９は、統合部２１６が生成した第２カップ４０５に関する対象物情報を説明するための図である。図９には、ユーザＵ１と、第２テーブル４０２の上に置かれた第２カップ４０５とが示されている。第２カップ４０５に関する対象物情報は、図９に示す情報が含まれる。具体的には、第２カップ４０５に関する情報には、高さ１２ｃｍ、温度８５℃の第２カップ４０５が、ユーザＵ１の位置を基準として、ユーザＵ１の正面の方向から右に３０°傾いた方向の４ｍ先、高さ１００ｃｍの位置に存在していることを表す情報が含まれる。統合部２１６は、周囲物体の各々について、このような対象物情報を生成し、これらの対象物情報をまとめることにより、周囲情報を生成する。

統合部２１６により生成された周囲情報は、通信部２２０に伝達される。通信部２２０に伝達された周囲情報は、ネットワーク３０を介して、情報処理装置１０が備える通信部１５０に送信され、処理部１３０が備える変換部１３１に伝達される。

次に、変換部１３１が、周囲情報を、ユーザＵ１のユーザ特性に基づいて、当該ユーザ特性に応じた相対情報に変換する（ステップＳ１１４）。ユーザＵ１のユーザ特性は、記憶部１２０に記憶されている。変換部１３１は、記憶部１２０からユーザ特性を表すユーザ特性情報を取得する。ここでは、ユーザＵ１は、図３に示したユーザ特性データベースＤＢ１のユーザＵ１Ａが有するユーザ特性と同一のユーザ特性を有するものとする。従って、ユーザＵ１の身体的特徴に関する身体情報は、身長：１７５ｃｍ、体重：６７ｋｇ、手長：１７ｃｍ、体温：３６．２℃、歩幅：７８ｃｍ、及び座高：９６ｃｍという情報である。また、ユーザＵ１の持ち物に関する持ち物情報は、ユーザＵ１が自宅に、緑色で陶器のティーカップ及びピンクでプラスチックのコーヒーカップを持っていることを表す情報である。変換部１３１は、これらのユーザ特性情報に基づいて、周囲情報を相対情報に変換する。

ここで、図１０を参照して、変換部１３１が生成した相対情報について説明する。図１０は、第２カップ４０５の対象物情報と、変換部１３１が生成した相対情報とを示す図である。図１０には、第２カップ４０５の対象物情報と、ユーザＵ１Ａのユーザ特性に応じた相対情報と、ユーザＵ１Ｂのユーザ特性に応じた相対情報と、が示されている。ここで、変換部１３１が、第２カップ４０５についての対象物情報を、ユーザＵ１Ａのユーザ特性に応じた相対情報に変換する例について説明する。

変換部１３１は、第２カップ４０５についての対象物情報に含まれる、方向、距離、高さ、大きさ、温度、形状、及び質感の各々の項目に係る情報を、ユーザＵ１Ａのユーザ特性に基づいて、それぞれ「水平１時の方向」、「歩いて５歩先」、「腰くらいの高さ」、「手のひらほどの大きさ」、「持つと熱い危険な温度」、「家にあるコーヒーカップと形が似た」、「家にあるティーカップと同じような素材の質感」という情報に変換する。このように変換された情報に基づいて、変換部１３１は、例えば、第２カップ４０５についての対象物情報を、「１時方向に歩いて５歩先に、腰のあたりに第２カップ４０５が置かれています。」という相対情報に変換する。これにより、周囲情報に含まれる客観的な事象の集合が、ユーザ自身の身体的特徴やユーザ自身がイメージを想起しやすいもの等を基準とした、ユーザにとってイメージしやすい相対情報へと変換される。このため、ユーザＵ１は、周囲情報に含まれる客観的な事実を、より把握しやすくなる。なお、ここでは、方向、距離、及び高さに関する対象物情報を相対情報に変換したが、対象物情報に含まれる任意の項目の情報を相対情報に変換してもよい。また、変換部１３１は、対象物情報の全ての情報を相対情報に変換してもよいし、上記のように対象物情報の一部の情報を相対情報に変換してもよい。

また、変換部１３１は、周囲情報を、複数の相対情報に区分けして変換してもよい。例えば、変換部１３１は、第２カップ４０５に関する対象物情報を、位置相対情報、付属相対情報、及び危険相対情報の３つの相対情報に区分けして変換してもよい。ここで、位置相対情報は、ユーザＵ１と第２カップ４０５との間の位置関係に関する情報である。当該位置相対情報は、例えば、「第２カップ４０５が、１時の方向に歩いて５歩先に、腰のあたりに置かれている。」という情報であってもよい。また、付属相対情報は、第２カップ４０５の大きさ又は質感などの第２カップ４０５に付属する情報である。当該付属相対情報は、例えば、「第２カップ４０５が、掌ほどの大きさで、家にあるカップのような作りです。」という情報であってもよい。さらに、危険相対情報は、ユーザＵ１に危険を喚起する情報である。危険相対情報は、例えば、「第２カップ４０５は、持つと熱い温度になっているので注意ください。」又は「周囲にテーブルがあるので気つけてください。」等の意味を表す情報であってもよい。

変換部１３１は、周囲情報に含まれる第２カップ４０５以外の検知対象物の各々についての対象物情報も、相対情報に変換してもよい。変換部１３１により生成された、検知対象物の各々についての相対情報は、選択部１３２に伝達される。

以上のようにして、図７のフローチャートに示す相対情報の生成処理が終了する。つまり、図６に示すフローチャートにおけるステップＳ１１０の処理が終了する。

相対情報の生成処理が実施されると、次に、通知対象物の選択処理が実施される（ステップＳ１２０）。より具体的には、選択部１３２が、複数の検知対象物から、ユーザＵ１に通知される対象となる通知対象物を選択する。例えば、選択部１３２は、複数の検知対象物の各々の危険度に応じて、通知対象物を選択してもよい。第１の実施形態では、第２カップ４０５の温度が高温であるため、第２カップ４０５の危険度が高いと推定されている。一方、第２カップ４０５以外の検知対象物の温度は、室温程度であり、第２カップ以外の検知対象物の危険度は、第２カップ４０５の危険度に比べて低いと推定されている。この場合、選択部１３２は、危険度が高いと推定されている第２カップ４０５を通知対象物として選択してもよい。ここでは、選択部１３２が、第２カップ４０５を通知対象物として選択する。選択された第２カップ４０５に係る相対情報は、出力制御部１３３に伝達される。

次に、相対情報の通知処理が実施される（ステップＳ１３０）。より具体的には、図８に示す処理が実施される。上述のように、変換部１３１は、周囲情報を３つの相対情報に区分けして変換している。ステップＳ１３０における通知処理では、出力制御部１３３が、これらの３つの相対情報を段階的に出力部１４０が出力するように、出力部１４０を制御する。図８は、相対情報の通知処理を示すフローチャート図である。以下、図８に示すフローチャートに沿って、相対情報の通知処理について説明する。

まず、出力制御部１３３は、出力部１４０に位置相対情報を出力させる（ステップＳ１３１）。これにより、ユーザＵ１に、位置相対情報が通知される。より具体的には、出力制御部１３３は、位置相対情報を音声として出力部１４０に出力させる。

ここで、図１１を参照して、出力部１４０が位置相対情報を出力する様子を説明する。図１１は、出力部１４０が相対情報を出力する様子を示す図である。ユーザＵ１は、位置相対情報が通知される際に、破線で示されるユーザＵ１の場所に位置している。情報処理装置１０が備える出力部１４０は、通知対象物である第２カップ４０５についての位置相対情報を出力する。より具体的には、出力部１４０は、「第２カップ４０５が、１時の方向に歩いて５歩先の、腰のあたりに置かれています。」という音声５０１を出力する。これにより、ユーザＵ１は、第２カップ４０５の位置を容易に認識することができる。

また、このとき、出力制御部１３３は、出力部１４０に、第２カップ４０５以外の検知対象物に関する情報を出力させてもよい。例えば、出力制御部１３３は、出力部１４０に、「また、０時の方向に歩いて３歩先の、胸のあたりに第１カップ４０４が置かれています。」という音声、又は、「また、１１時の方向に歩いて１歩先の、胸のあたりに第１置物４０３が置かれています。」という音声を出力させてもよい。

次に、出力制御部１３３は、出力部１４０に付属相対情報を出力させる（ステップＳ１３２）。これにより、ユーザＵ１に付属相対情報が通知される。なお、第１の実施形態では、出力制御部１３３は、ユーザＵ１の行為に基づいて、これらの３つの相対情報を段階的に出力するように、出力部１４０を制御する。より具体的には、出力制御部１３３は、ユーザＵ１が所定の行為をした場合に、付属相対情報を出力部１４０に出力させる。ここでは、出力制御部１３３は、ユーザＵ１が第２カップ４０５の方向（およそ図１１に示す矢印の方向）に歩き始めた場合に、付属相対情報を出力部１４０に出力させる。なお、ユーザＵ１が歩き始めたことは、情報処理装置１０が備える加速度センサ等が検知した情報等のユーザＵ１の行為に関わるセンサ情報に基づいて、サーバ２０が備える行為推定部２１５により推定される。行為推定部２１５による推定結果が、通信部２２０、ネットワーク３０、及び通信部１５０を介して出力制御部１３３に伝達されると、出力制御部１３３は、付属相対情報を出力部１４０に出力させる。具体的には、出力部１４０は、ユーザＵ１が矢印の方向に歩いている途中で、「手のひらほどの大きさで、お持ちのカップのような作りです。」という音声５０２を出力する。これにより、ユーザＵ１は、第２カップ４０５の大きさや質感などの情報を容易にイメージすることができる。

次に、出力制御部１３３は、出力部１４０に危険相対情報を出力させる（ステップＳ１３３）。これにより、ユーザＵ１に、危険相対情報が通知される。より具体的には、出力部１４０は、「持つと熱い温度になっているのでご注意ください。周囲にテーブルがあるので、気を付けてください。」という音声５０３を出力する。これにより、ユーザＵ１は、第２カップ４０５が有する危険性を理解しやすいかたちで認識することができる。これにより、ユーザＵ１は、気を付けながら第２カップ４０５をそっと持つことができる。また、ユーザＵ１は、第２カップ４０５を不用意に触れることにより火傷等することが抑止される。

出力部１４０が、危険相対情報を出力すると、図８の処理は終了する。すると、図６に戻って、ステップＳ１３０の処理が終了し、図６に示す処理が終了する。以上、第１の実施形態に係る情報処理システム１の処理例について説明した。

ここでは、ユーザＵ１は、大人のユーザＵ１Ａである例について説明した。ユーザＵ１が子供のユーザＵ１Ｂである場合には、変換部１３１は、周囲情報を、当該ユーザＵ１Ｂに応じた相対情報に変換する。具体的には、変換部１３１は、第２カップ４０５に関する対象物情報を、図１０に示したユーザＵ１Ｂの相対情報に変換する。この場合にも、変換部１３１は、当該対象物情報を、位置相対情報、付属相対情報、及び危険相対情報の３つの相対情報に区分けして変換してもよい。例えば、変換部１３１は、第２カップ４０５の距離と高さに関する対象物情報を、「１時の方向に歩いて７歩先の、顔の前あたりに第２カップ４０５が置かれています。」という位置相対情報を生成してもよい。また、変換部１３１は、第２カップ４０５の大きさ又は形状に関する対象物情報を、「第２カップ４０５は、両手で持つほどの大きさで、家にあるジュース用のカップみたいな作りのカップです。」という付属相対情報を生成してもよい。さらに、変換部１３１は、第２カップ４０５の危険性に関する危険相対情報を、「持つと熱い温度になっているから気を付けてね！周囲に他のテーブルもあるよ！ゆっくり気を付けてね！」という危険相対情報に変換してもよい。このとき、変換部１３１は、ユーザＵ１Ｂが子供であるため、子供向けの語尾を有する危険相対情報に変換している。これらの位置相対情報、付属相対情報、及び危険相対情報は、図１１を参照して説明したように、出力部１４０により段階的に出力されてもよい。

＜＜１．４．効果＞＞
第１の実施形態では、変換部１３１は、センサ部１１０からのセンサ情報に基づいて生成される周囲情報を、ユーザＵ１のユーザ特性に基づいて、当該ユーザ特性に応じた相対情報に変換する。当該相対情報は、出力部１４０からユーザＵ１に出力される。ユーザＵ１には、ユーザＵ１にとって理解しやすいかたちに変換された相対情報が提示されるため、ユーザＵ１は、周囲情報をイメージし易くなる。このため、ユーザＵ１は、より容易に周囲情報を認識することができるようになる。

また、第１の実施形態では、出力制御部１３３は、出力部１４０による相対情報の出力の推移に応じて、相対情報を出力するように、出力部１４０を制御する。例えば、出力制御部１３３は、出力部１４０に、位置相対情報を出力させた後に、付属相対情報を出力させ、その後、危険相対情報を出力する。このため、ユーザＵ１は、これまでの出力の推移を踏まえた上で、相対情報を認識することができる。このため、ユーザＵ１は、より容易に周囲情報を認識することができるようになる。

また、変換部１３１は、周囲情報を、ユーザＵ１と第２カップ４０５との間の距離に関する位置相対情報と、第２カップ４０５の状態に関する付属相対情報及び危険相対情報とに変換する。さらに、出力制御部１３３は、出力部１４０に、当該位置相対情報を出力させ（ステップＳ１３１）た後に、当該付属相対情報及び当該危険相対情報を出力させ（ステップＳ１３２、Ｓ１３３）る。周囲情報の中では、検出対象物の位置情報の重要性が高い場合がある。なぜなら、ユーザＵ１は、検知対象物の位置情報を把握することにより、当該検知対象物に近づいたり避けたりすることにより、当該検知対象物に対する行動をとりやすくなるからである。このため、ユーザＵ１は、不用意に検知対象物にぶつかったり、触れたりすることが抑止される。ユーザＵ１は、より安全に周囲情報を認識することができる。

また、選択部１３２は、複数の検知対象物から、危険度が最も高い検知対象物である第２カップ４０５を通知対象物として選択する。出力制御部１３３は、出力部１４０に第２カップ４０５についての相対情報を出力させる。これにより、ユーザＵ１は、ユーザＵ１の周りに存在する危険度の高い検知対象物をより容易に認識することができるようになる。

また、変換部１３１は、周囲情報を、ユーザＵ１の周囲に存在する危険に関する情報である危険相対情報に変換する。具体的には、変換部１３１は、第２カップ４０５に関する対象物情報を、「第２カップ４０５が、持つと熱い温度になっているので注意ください。」又は「周囲にテーブルがあるので気つけてください。」等の意味を表す危険相対情報に変換する。当該危険相対情報が出力されることにより、ユーザＵ１は、検知対象物である第２カップ４０５の危険性をより分かりやすいかたちで認識することができる。

＜２．第２の実施形態＞
次に、本開示の第２の実施形態について説明する。ここでは、第１の実施形態と異なる点を中心に説明し、第１の実施形態と重複する点については省略する。まず、第１の実施形態に係るシチュエーションと第２の実施形態に係るシチュエーションとの違いについて、図１２を参照して説明する。図１２は、第２の実施形態に係るシチュエーションを説明するための図である。

図１２には、情報処理装置１１を身に着けているユーザＵ２と、第３テーブル４１１と、第４テーブル４１２と、が存在する。さらに、第３テーブル４１１の上には、第２置物４１３及び斜線が付された第３カップ４１４が置かれており、第４テーブル４１２の上には、第４カップ４１５が置かれている。第１の実施形態に係るシチュエーションと、第２の実施形態に係るシチュエーションとで異なる点は、第２の実施形態に係るシチュエーションでは、情報処理装置１１を身に着けているユーザＵ２と異なるユーザＵ３が存在している点である。ここでは、ユーザＵ３は、ユーザＵ２に向かって、「これ持っていって。」という音声５１１を発している。このとき、ユーザＵ２は、ユーザＵ３の方を見ていないと、音声５１１に含まれる指示語の「これ」が、第２置物４１３、第３カップ４１４、又は第４カップ４１５のいずれを指すかがわからない場合がある。このような場合であっても、本開示の第２の実施形態に係る情報処理システム２の処理により、ユーザＵ２は、ユーザＵ２にとって理解しやすいかたちで、「これ」がどれを指すのかを認識できるようになる。

＜＜２．１．情報処理装置及びサーバの構成＞＞
次に、図１３を参照して、本開示の第２の実施形態に係る情報処理システム２の構成について説明する。図１３は、本開示の第２の実施形態に係る情報処理システム２の構成を示すブロック図である。

第１の実施形態に係る情報処理装置１０と、第２の実施形態に係る情報処理装置１１とで異なる点は、情報処理装置１１が備えるセンサ部１１１及び処理部１３５と、サーバ２１が備える認識部２３０と、が有する機能である。以下、それぞれの機能部について説明する。なお、記憶部１２０は、第１の実施形態に係る記憶部１２０と同様に、図３に示したユーザ特性データベースＤＢ１に示されるユーザ特性と同一のユーザ特性を記憶している。

まず、センサ部１１１は、第１の実施形態に係るセンサ部１１０と同様に、画像取得装置と、温度センサ又は測距センサ等を含むセンサ装置を備える。センサ部１１１は、第１の実施形態に係るセンサ部１１０が備えるこれらの装置に加えて、音取得装置を備える。音取得装置は、各種の物体から発生する音や、人間が発する音声等といった、各種の音波を取得する装置であり、例えば、マイクロフォン等で構成される。音取得装置は、例えば、ユーザＵ３の音声５１１を取得する。音取得装置が取得した音に関する情報は、音情報として、通信部１５０に伝達される。通信部１５０に伝達された音情報は、ネットワーク３０を介して、サーバ２１の通信部２２０に送信され、認識部２３０に伝達される。

次に、図１４を参照して、サーバ２１が備える認識部２３０について説明する。図１４は、第２の実施形態に係る認識部２３０の構成を示すブロック図である。図１４に示すように、第２の実施形態に係る認識部２３０は、第１の実施形態に係る認識部２１０と同様に、一般物体認識部２３４、温度認識部２３８、位置認識部２３９、及び行為推定部２４１を備える。これらの機能部が有する機能は、実質的に第１の実施形態に係る認識部２１０が備えるこれらの機能部に対応する機能部が備える機能と同一であるため、ここでは説明を省略する。以下、認識部２３０が備える音声区間検出部２３１、音声認識部２３２、自然言語処理部２３３、顔認識部２３５、視線認識部２３６、ジェスチャ認識部２３７、及び統合部２４２について説明する。

音声区間検出部２３１は、各種の公知の音声区間検出（ＶＡＤ：Ｖｏｉｃｅ Ａｃｔｉｖｉｔｙ Ｄｅｔｅｃｔｉｏｎ）技術を用いて、センサ部１１１が取得した音情報において、音声が含まれる区間である音声区間を検出する。例えば、音声区間検出部２３１は、音情報に含まれるユーザＵ３による「これ持っていって。」という音声５１１が発話されている区間を音声区間として検出する。音声区間検出部２３１により音声区間が検出されると、当該音声区間に係る音情報が音声認識部２３２に伝達される。

音声認識部２３２は、各種の公知の音声認識（Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）技術を用いて、音声区間検出部２３１により音声であることが検出された音声区間に係る音情報について音声認識する。例えば、音声認識部２３２は、音声認識した結果を、文字列のデータで表された文字情報として出力する。例えば、音声認識部２３２は、ユーザＵ３による音声５１１の情報を「これ持っていって。」という文字情報に変換する。音声認識部２３２により生成された文字情報は、自然言語処理部２３３に伝達される。

自然言語処理部２３３は、各種の公知の自然言語処理技術を用いて、音声認識部２３２により生成された文字情報に含まれる自然言語を処理する。より具体的には、自然言語処理部２３３は、文字情報に対して、形態素解析、構文解析、文脈解析、又は意味解析等を行ってもよい。例えば、自然言語処理部２３３は、文字情報を形態素解析することにより、当該文字情報に「あれ」又は「これ」等の指示語が含まれているか否かを判定してもよい。例えば、ユーザＵ３の音声５１１に係る文字情報「これ持っていって。」には、「これ」という指示語が含まれる。このため、自然言語処理部２３３は、ユーザＵ３の音声５１１に係る文字情報に指示語が含まれていることを判定する。自然言語処理部２３３が処理した結果は、統合部２４２に伝達される。

顔認識部２３５は、各種の公知の顔認識技術に基づいて、センサ部１１１が備える画像取得装置が取得した画像情報に含まれる人の顔を認識する。例えば、顔認識部２３５は、画像情報に含まれるユーザＵ３の顔を認識する。顔認識部２３５が認識した結果は、視線認識部２３６及び統合部２４２に伝達される。

視線認識部２３６は、顔認識部２３５が認識した結果に基づいて、人の視線を認識する。例えば、視線認識部２３６は、顔認識部２３５により認識されたユーザＵ３の視線を認識する。これにより、ユーザＵ３が、何を見ているのかが認識される。第２の実施形態では、ユーザＵ３が、第２カップ４０５を見ていることが認識される。視線認識部２３６が認識した結果は、統合部２４２に伝達される。

ジェスチャ認識部２３７は、センサ部１１１が備える画像取得装置が取得した画像情報に含まれるジェスチャを認識する。図１２を参照して、具体例を説明する。図１２に示すユーザＵ３は、第４カップ４１５の方向に指をさしているものとする。ジェスチャ認識部２３７は、画像情報に基づいて、ユーザＵ３による指をさすジェスチャを認識する。ジェスチャ認識部２３７が認識した結果は、統合部２４２に伝達される。

統合部２４２は、自然言語処理部２３３、一般物体認識部２３４、顔認識部２３５、視線認識部２３６、ジェスチャ認識部２３７、温度認識部２３８、位置認識部２３９、及び危険度推定部２４０が認識又は推定した結果を統合する。ここでは、第１の実施形態におけるユーザＵ１と第２カップ４０５との位置関係と、第２の実施形態におけるユーザＵ２と第４カップ４１５との位置関係は同一である。また、第１の実施形態に係る第２カップ４０５と、第２の実施形態に係る第４カップ４１５と、は実質的に同一のカップである。このため、統合部２４２は、図９を用いて説明した第２カップ４０５の対象物情報と実質的に同一の、第４カップ４１５に関する第１の情報を生成する。第２の実施形態では、統合部２４２は、第１の情報に加えて、自然言語処理部２３３、顔認識部２３５、視線認識部２３６、及びジェスチャ認識部２３７が認識した結果を統合する。上述のように、ユーザＵ３の視線が第４カップ４１５の方向に向いていることと、ユーザＵ３が「これを持っていって。」という音声５１１を発していることと、が認識されている。このため、統合部２４２は、「これ」という指示語が、第４カップ４１５を指していることを表す第２の情報を生成する。統合部２４２は、第１の情報と第２の情報とを統合することにより、第４カップ４１５に関する対象物情報を生成する。当該対象物情報は、通信部２２０に伝達され、ネットワーク３０を介して、情報処理装置１１が備える通信部２２０に送信され、選択部１３７に伝達される。

図１３に戻って、第２の実施形態に係る情報処理装置１１が備える処理部１３５について説明する。第２の実施形態に係る処理部１３５では、選択部１３７が行う処理が、第１の実施形態に係る処理部１３０が備える選択部１３２が行う処理と異なる。具体的には、選択部１３７は、周囲情報に含まれる指示語に関する情報に基づいて、通知対象物を選択する。第２の実施形態では、周囲情報には、ユーザＵ３による音声５１１に含まれる「これ」という指示語が、第４カップ４１５を指すことを表す情報が含まれる。このため、選択部１３７は、第４カップ４１５を通知対象物として選択する。選択部１３７は、第４カップ４１５に関する相対情報を変換部１３６から取得しており、当該相対情報を出力制御部１３８に伝達する。当該相対情報は、出力部１４０に伝達され、出力部１４０により音声として出力される。例えば、出力部１４０は、「第４カップ４１５が、１時の方向に歩いて５歩先の、腰のあたりに置かれています。」という音声を出力する。これにより、ユーザＵ２は、ユーザＵ３が「これ持っていって。」と言っているときにユーザＵ３を見ていなかったとしても、「これ」が第４カップ４１５であることを理解し易いかたちで認識することができる。

また、第２の実施形態では、変換部１３６は、ユーザＵ３の行為をきっかけとして、周囲情報を相対情報に変換する。ユーザＵ３による行為は、ユーザＵ２に周囲情報を知らせる意図を有する場合がある。このため、変換部１３６が、ユーザＵ３の行為をきっかけとして、周囲情報を相対情報に変換することにより、ユーザＵ２は、ユーザＵ３がユーザＵ２に知らせようとする周囲情報について、より容易に認識し易くなる。より具体的には、以下の処理例の説明で示すように、変換部１３６は、ユーザＵ３の発話をきっかけとして、周囲情報を相対情報に変換する。

＜＜２．２．処理例＞＞
次に、図１５を参照して、第２の実施形態に係る情報処理システム２の処理例について、より詳細に説明する。図１５は、第２の実施形態に係る情報処理システム２の処理を示すフローチャート図である。以下、図１５のフローチャートに沿って、情報処理システム２の処理を説明する。

まず、指示語発話の判定処理が実施される（ステップＳ１００）。より具体的には、図１６に示す処理が実施される。図１６は、指示語発話の判定処理を示すフローチャート図である。以下、図１６に沿って、指示語発話の判定処理について説明する。

まず、音声区間検出部２３１が、ユーザＵ２の周りに生ずる音に音声区間があるか否かを判定する（ステップＳ１０１）。音声区間があると判定された場合（ステップＳ１０１：Ｙｅｓ）、ステップＳ１０２に進む。一方、音声区間が無いと判定された場合（ステップＳ１０１：Ｎｏ）、再度ステップＳ１０１の処理が実施される。ここでは、音声区間検出部２３１が、ユーザＵ３による「これ持っていって。」という音声５１１を音声区間として認識し、音声区間があることを判定する。

次に、音声認識部２３２が、ステップＳ１０１において認識された音声区間に含まれる音声５１１について、音声認識をする（ステップＳ１０２）。具体的には、音声認識部２３２は、音声５１１を、「これ持っていって。」という文字情報に変換し、当該文字情報を自然言語処理部２３３に伝達する。

次に、自然言語処理部２３３は、音声認識部２３２から伝達された音声認識の結果について、形態素解析する（ステップＳ１０３）。より具体的には、自然言語処理部２３３は、「これ持っていって。」という文字情報を、言語がもつ最小の単位に分割する。例えば、自然言語処理部２３３は、「これ持っていって。」という文字情報を、「これ・持っ・て・いっ・て。」という情報に変換する。

次に、自然言語処理部２３３は、ステップＳ１０３の解析結果に指示語が含まれるか否かを判定する（ステップＳ１０４）。指示語が含まれると判定された場合（ステップＳ１０４：Ｙｅｓ）、ステップＳ１０５に進む。一方、指示語が含まれないと判定された場合（ステップＳ１０４：Ｎｏ）、ステップＳ１０１に戻る。ここでは、ユーザＵ３の音声５１１に係る文字情報には、「これ」という指示語が含まれるため、自然言語処理部２３３は、ステップＳ１０３の解析結果に指示語が含まれることを判定する。

ステップＳ１０４において、ステップＳ１０３の解析結果に指示語が含まれると判定されると、自然言語処理部２３３は、指示語発話があったことを判定する（ステップＳ１０５）。判定された結果は、統合部２４２に伝達される。

次に、統合部２４２は、検知対象物と指示語とを対応付ける（ステップＳ１０６）。より具体的には、統合部２４２は、ユーザＵ３の目線やジェスチャ等の行為、又は指示語（例えば、「あれ」又は「これ」等）に基づいて、指示語がどの検知対象物を指しているのかを認識し、指示語が指す検知対象物と当該指示語とを対応付ける。ここでは、統合部２４２は、ユーザＵ３の目線に基づいて、ユーザＵ３の音声５１１に含まれる「これ」という指示語と、検知対象物である第４カップ４１５とを対応付ける。

ステップＳ１０６の処理が終了すると、図１６に示す処理が終了する。すると、図１５のフローチャートに戻って、ステップＳ１００の処理が終了する。

次に、相対情報の生成処理が実施される（ステップＳ１１５）。相対情報の生成処理について、図７に示すフローチャートを参照して説明する。ステップＳ１１１及びＳ１１２の処理は、第１の実施形態におけるステップＳ１１１及びＳ１１２の処理と実質的に同一であるため、ここでは説明を省略する。

ステップＳ１１２の処理が終了すると、統合部２４２は、周囲情報を生成する（ステップＳ１１３）。より具体的には、統合部２４２は、上述した第１の情報と第２の情報とを統合することにより、第４カップ４１５に関する対象物情報を生成する。また、統合部２４２は、第４カップ４１５に関する対象物情報に加えて、第３テーブル４１１、第４テーブル４１２、第２置物４１３、及び第３カップ４１４に関する対象物情報を生成する。統合部２４２は、これらの対象物情報を統合することにより、周囲情報を生成する。生成された周囲情報は、通信部２２０に伝達され、ネットワーク３０を介して情報処理装置１１が備える通信部１５０に送信される。送信された周囲情報は、処理部１３５が備える変換部１３６に伝達される。

次に、変換部１３６は、周囲情報を、ユーザ特性に応じた相対情報に変換する（ステップＳ１１４）。第２の実施形態に係るステップＳ１１４の処理は、第１の実施形態に係るステップＳ１１４の処理と実質的に同一であるため、ここでは説明を省略する。以上、第２の実施形態に係る相対情報の生成処理（ステップＳ１１０）について説明した。

ステップＳ１１０が終了すると図１５のフローチャートに戻って、選択部１３７は、通知対象物の選択処理を行う（ステップＳ１２１）。第２の実施形態では、選択部１３７は、複数の検知対象物のうち、指示語の対象となっている検知対象物を、通知対象物として選択する。ここでは、選択部１３７は、ユーザＵ３の音声５１１に含まれる「これ」が第４カップ４１５を指していることを表す情報を取得している。このため、選択部１３７は、第４カップ４１５を通知対象物として選択する。

次に、相対情報の通知処理が実施される（ステップＳ１３４）。より具体的には、第１の実施形態と同様に、図８のフローチャートに示す処理が実施される。ここで、図１７を参照しながら、第２の実施形態に係る情報処理装置１１による相対情報の通知処理を説明する。図１７は、第２の実施形態に係る情報処理装置１１が相対情報を通知する様子を示す図である。まず、出力部１４０は、「１時の方向に歩いて５歩先に、第２カップ４０５が、腰のあたりに置かれています。」という位置相対情報に相当する音声５１２を出力する（ステップＳ１３１）。さらに、ユーザＵ２が矢印の方向に歩き出すと、出力部１４０は、「第２カップ４０５の大きさは、手のひらほどの大きさで、お持ちのカップのような作りです。」という付属相対情報に相当する音声５１３を出力する（ステップＳ１３２）。さらに、出力部１４０は、「持つと熱い温度になっているのでご注意ください。周囲にテーブルがあるので気を付けてください。」という音声５１４を出力する（ステップＳ１３３）。これにより、ユーザＵ２は、ユーザＵ３による発話に含まれる「これ」が第４カップ４１５であることを、ユーザＵ２にとって理解しやすいかたちで認識することができる。

相対情報の通知処理が実施されると、図１５に示す処理が終了する。以上、第２の実施形態に係る情報処理システム２による処理について説明した。

なお、ここでは、ユーザＵ２が、大人であるユーザＵ１Ａのユーザ特性を有している場合について説明した。しかし、ユーザＵ２が、子供であるユーザＵ１Ｂのユーザ特性を有している場合には、第１の実施形態で説明したように、変換部１３６は、第２カップ４０５に関する対象物情報を、子供であるユーザＵ１Ｂのユーザ特性に応じた相対情報に変換する。

また、ユーザＵ２が、特有の事情（例えば、身体的な障害等）を有している場合がある。例えば、ユーザＵ２が、色覚の障害を有しており、すべての物が青っぽく見えてしまう場合がある。この場合、記憶部１２０には、ユーザ特性として、上記のような色覚の障害を有していることが記憶されていてもよい。例えば、図１２に示したシチュエーションで、第４カップ４１５の色が、青色であるとする。このとき、ユーザＵ３が、「この青いものを持っていって。」という音声５１１を発話したとする。この場合、ユーザＵ２には、すべての物が青っぽく見えるため、どれがユーザＵ３が言う「この青いもの」であるのかがわからない場合がある。

この場合にも、変換部１３６は、第２カップ４０５に関する対象物情報を、ユーザＵ２のユーザ特性に応じた相対情報に変換する。例えば、変換部１３６は、当該対象物情報を、位置相対情報として、「１時の方向に歩いて５歩先に、腰のあたりに青いものが置かれています。」と情報を生成する。当該情報を表す音声は、出力部１４０により出力される。当該音声には、「青いもの」という表現が含まれているため、色覚に障害のあるユーザＵ２であっても、ユーザＵ３の音声５１１に含まれる「青いもの」がどれであるのかを容易に認識することができる。

このように、第２の実施形態に係る情報処理システム２によれば、上述のように身体的な障害などの特有の事情を有するユーザであっても、当該ユーザにとって周囲情報をより理解しやすいかたちで認識することができる。上の例では、ユーザが、色覚の障害を有している場合について説明したが、これに限らず、ユーザが、視野の縁の方から、又は、不規則に欠けて狭くなる視野狭窄の障害を有している場合にも、第２の実施形態に係る情報処理システム２は、当該ユーザが、容易に周囲情報を理解し易いかたちで認識することができるように、相対情報を出力することができる。

＜＜２．３．効果＞＞

第２の実施形態では、ユーザＵ２の周りに生ずる音に音声区間があるか否かが判定される（ステップＳ１０１）。音声区間があることが判定された場合（ステップＳ１０１：Ｙｅｓ）に、その後のステップＳ１１５の処理において、変換部１３６は、周囲情報を相対情報に変換する。つまり、変換部１３６は、ユーザＵ３の発話をきっかけとして、周囲情報を相対情報に変換する。これにより、ユーザＵ２は、ユーザＵ３が発話によりユーザＵ２に知らせようとする周囲情報について、より容易に認識することができる。

また、第２の実施形態に係る情報処理装置１１によれば、発話をしたユーザＵ３にとっても利点がある。例えば、ユーザＵ３が発話したときに、ユーザＵ２が当該発話を聞いていたか否かを、ユーザＵ３が判断できない場合がある。また、ユーザＵ３がユーザＵ２に指示したい内容をユーザＵ２に正確に伝えることが手間である場合もある。これらのような場合であっても、ユーザＵ３は、例えば、視線を検知対象物に向けるだけで、指示語を含む発話を行っても、指示語の対象となる検知対象物を見ていない（又は見ることができない）ユーザＵ２に対して、指示することができる。一般的に、人は指示語を含む発話をすることが多いが、第２の実施形態に係る情報処理装置１１によれば、ユーザＵ３は、指示語を含む発話により容易に他のユーザに指示することができる。さらに、ユーザＵ２は、指示語の対象となる検知対象物を見ていなくても（又は見ることができなくても）、発話したユーザＵ３が指示した検知対象物を認識することができる。この結果、ユーザＵ２は、自分がとるべき行動について、より容易に認識することができるようになる。

また、第２の実施形態では、音声区間に係る音声に指示語が含まれるか否かが判定される（ステップＳ１０４）。指示語が含まれることが判定されると（ステップＳ１０４：Ｙｅｓ）、その後のステップＳ１１５の処理において、変換部１３６は、周囲情報を相対情報に変換する。つまり、変換部１３６は、指示語が含まれるユーザＵ３の発話をきっかけとして、周囲情報を相対情報に変換する。例えば、「あれ」又は「これ」等の指示語は、当該指示語の対象となる検知対象物とユーザＵ３との間の距離に応じて使い分けられるのが一般的である。より具体的には、「あれ」という指示語は、「これ」という指示語よりも遠い物体を指す場合に用いられる。このため、ユーザＵ３の発話に指示語が含まれる場合には、ユーザＵ３が指している検知対象物がより明確になるため、当該検知対象物がより正確に認識されるようになる。このため、ユーザＵ２は、当該検知対象物についての対象物情報をより正確に認識できるようになる。

＜３．応用例＞
以下、本開示の実施形態の応用例について説明する。

＜＜３．１．第１の応用例＞＞
図１８を参照して、第１の応用例について説明する。図１８は、第１の応用例に係るシチュエーションを示す図である。第１の応用例に係るシチュエーションでは、ユーザＵ４が、ユーザＵ５の方に向かって歩こうとしている。ユーザＵ４は、第２の実施形態に係る情報処理装置１１と実質的に同一の情報処理装置１１を身に着けている。また、図１８には図示しないが、情報処理装置１１には、第２の実施形態に係るサーバ２１と実質的に同等のサーバ２１がネットワークを介して接続され、情報処理装置１１とサーバ２１とで情報処理システム２を構成している。

ユーザＵ４は、破線で示す第１経路５２３を通って、ユーザＵ５が居る位置まで移動しようとしている。しかし、第１経路５２３の途中の右手には、棚４２１が置かれており、当該棚４２１の最上段の上には、積み重ねられた本４２２が不安定な状態で置かれている。このとき、ユーザＵ５が、ユーザＵ４に向かって「そこ危ないよ。」という音声５２１を発する。

このとき、認識部２３０は、音声５２１に含まれる「そこ」という指示語が、本４２２を指すことを認識する。また、変換部１３６は、本４２２に関する対象物情報を、相対情報に変換する。さらに、選択部１３７は、本４２２を通知対象物として選択する。この結果、出力部１４０は、本４２２に関する相対情報を出力する。

このとき、情報処理装置１１は、例えば、「２時の方向に歩いて５歩先の、頭の上あたりに物が置かれています。」という音声５２２を出力する。これにより、ユーザＵ４は、棚４２１の付近を通過する第１経路５２３を通ると、頭のあたりに物があるという情報を容易に認識することができる。これにより、ユーザＵ４は、第１経路５２３を通ると、頭に本がぶつかる可能性があることを、理解しやすいかたちで認識することができる。このため、ユーザＵ４は、頭に当該物がぶつかることを避けるために、棚４２１及び本４２２から少し離れた経路を通過する第２経路５２４を通ってユーザＵ５に向かうことができる。この結果、ユーザＵ４が本４２２にぶつかることが抑止される。このように、第１の応用例によれば、情報処理装置１１は、ユーザＵ５に危険を回避するための情報を通知することができる。特に、情報処理装置１１は、視覚情報に基づいて危険性を判断することが難しい場合のあるユーザ（例えば、視覚障害等の特有の事情を有するユーザ、幼児又は高齢のユーザ等）に対しても、危険を回避するための情報を通知することができる。つまり、情報処理装置１１は、かかるユーザに対しても、危険を回避するための行動を提示することが可能である。

ここでは、ユーザＵ５が危険を喚起する対象となる物体が、棚４２１に積み上げられた本４２２である例について説明した。これに限らず、例えば、危険を喚起する対象となる物体が、自動で床を移動しながら掃除する、ひざ下程度高さを有するお掃除ロボットであってもよい。この場合には、情報処理装置１１は、例えば、相対情報として、「２時の方向に５歩あるくと、足元あたりに動くものがあります。」という情報を、音声５２２として出力する。これにより、ユーザＵ４は、足元あたりの低い位置にものが存在することを理解しやすいかたちで認識することができる。この結果、ユーザＵ４は、お掃除ロボットにぶつからないように移動することができ、当該お掃除ロボットにぶつかる危険が抑止される。なお、ユーザＵ５による「そこ危ないよ。」という音声５２１が無い場合には、認識部２３０が、画像情報から当該お掃除ロボットが危険度の高い検知対象物であることを認識し、選択部１３７が、当該お掃除ロボットに関する相対情報を出力制御部１３８に伝達してもよい。この場合であっても、出力部１４０からお掃除ロボットに関する相対情報が出力されるため、ユーザは、当該お掃除ロボットにぶつからないように移動することができる。

＜＜３．２．第２の応用例＞＞
第２の応用例では、ユーザは、第１の実施形態に係る情報処理装置１０が備える構成と実質的に同一の構成を備える情報処理装置１０を装着している。また、当該情報処理装置１０は、ネットワーク３０により、サーバ２０に接続され、当該情報処理装置１０とサーバ２０とで情報処理システム１を構成している。第１の実施形態と第２の応用例とで異なる点は、第２の応用例では、情報処理装置１０が備える記憶部１２０が、ユーザ特性情報として、持ち方ルールデータベースＤＢ２を記憶している点である。持ち方ルールデータベースＤＢ２とは、物体の条件に応じて、当該物体の持ち方のルールを規定したデータベースである。図１９を参照して、持ち方ルールデータベースＤＢ２について説明する。

図１９は、第２の応用例に係る持ち方ルールデータベースＤＢ２を示す図である。図１９に示すように、持ち方ルールデータベースＤＢ２は、物体の条件と、当該物体の持ち方ルールとを対応付けるデータベースである。例えば、番号１に係る物体の条件は、「コップの素材が紙であるとき」である。素材が紙のコップに力を入れて持つと、当該コップがつぶれてしまう可能性がある。そこで、番号１に係る物体の条件では、当該物体の持ち方ルールは、「力を入れずにそっとコップを持つ」というルールである。出力部１４０が、当該ルールに応じた相対情報を出力することにより、ユーザは、コップの持ち方を理解し易いかたちで認識することができる。このため、ユーザは、コップに力を入れずにそっと持つようになり、コップを持ったときに当該コップがつぶれてしまうことが抑止される。

また、番号２に係る物体の条件は、「コップから湯気が出ているとき」である。コップから湯気が出ているときは、当該コップに高温の飲み物等が入っており、当該コップが熱くなっている場合がある。この場合、コップの真ん中を持つと、当該コップを持つユーザの手が火傷をしてしまう可能性がある。そこで、番号２に係る持ち方の条件では、持ち方ルールは、「コップの上側を持つ」というルールである。出力部１４０が、当該ルールに応じた相対情報を出力することにより、ユーザは、コップの上側を持つようになり、当該ユーザが火傷などをすることが抑止される。さらに、番号３に係る物体の条件は、「容器の形状がサラダボールの形状であるとき」である。容器にはサラダが入っており、片手で持ってしまうと、当該容器が傾き、当該サラダがこぼれてしまう可能性がある。そこで、番号３に係る物体の条件では、持ち方ルールは、「当該容器を片手では持たずに両手で持つ」というルールである。当該ルールに応じた相対情報が出力部１４０から出力されることにより、ユーザは容器を両手で持つようになり、当該容器からサラダがこぼれてしまうことが抑止される。このように、第２の応用例に係る情報処理装置１１は、持ち方ルールデータベースＤＢ２に規定された持ち方ルールに応じた相対情報を出力するため、ユーザは、物体をどのように持つべきかを認識することができる。

なお、持ち方ルールは、普段の家庭内の生活の中における、ユーザの所作を学習することにより生成されてもよい。また、当該ユーザの所作を学習することにより生成された持ち方に関する情報が、構築済みの持ち方のルールデータベースに追加されてもよい。例えば、ユーザが、サラダボールの形状を有する容器の下側を両手で持っていた場合には、番号３の「容器を片手では持たずに両手で持つ」というルールが持ち方ルールデータベースＤＢ２に追加されてもよい。

次に、図２０を参照して、第２の応用例に係る情報処理システム１が相対情報を出力する様子について説明する。図２０は、第２の応用例に係るシチュエーションを示す図である。ユーザＵ６は、情報処理装置１０を首に装着している。また、ユーザＵ６の前方には、第５テーブル４３１と第６テーブル４３２とが置かれている。また、第５テーブル４３１の上には、第３置物４３３と斜線が付された第５カップ４３４とが置かれている。また、第６テーブル４３２の上には、コップ４３５が置かれている。コップ４３５には、熱いお湯が入っており、コップ４３５から湯気４３６が出ているものとする。

ここで、図６のフローチャートを参照して、第２の応用例に係る情報処理システム１の処理について説明する。なお、第１の実施形態で説明した情報処理システム１と実質的に同一の処理については、ここでは省略する。

まず、相対情報の生成処理が実施される（ステップＳ１１０）。相対情報の生成処理について、図７のフローチャートを参照して説明する。まず、センサ部１１０が、ユーザＵ６の周囲の状態を検知する（ステップＳ１１１）。このとき、センサ部１１０は、コップ４３５と、コップ４３５から出ている湯気４３６とを画像情報として取得する。

次に、認識部２１０が、認識処理を実施する（ステップＳ１１２）。このとき、一般物体認識部２１１が、画像情報に含まれるコップ４３５が紙の材質でできていることと、当該コップ４３５から湯気４３６が出ていることとを認識する。また、温度認識部２１２が、当該コップ４３５が高温であることを認識する。また、位置認識部２１３が、ユーザＵ６を基準とした、コップ４３５の位置情報を認識する。さらに、危険度推定部２１４が、当該コップ４３５が高温であることと、当該コップ４３５から湯気４３６が出ていることとに基づいて、当該コップ４３５の危険度が高いことを認識する。

次に、統合部２１６が、周囲情報を生成する（ステップＳ１１３）。より具体的には、統合部２１６は、一般物体認識部２１１が認識したコップ４３５の材質及び当該コップ４３５から湯気４３６が出ている情報、温度認識部２１２が認識した当該コップ４３５の温度の情報、位置認識部２１３が認識した当該コップ４３５の位置情報、及び危険度推定部２１４が推定した当該コップ４３５の危険度の情報が統合されることにより、コップ４３５に関する対象物情報が生成される。また、統合部２１６は、コップ４３５以外の検知対象物に対する対象物情報を生成し、これらの対象物情報を統合することにより周囲情報を生成する。

次に、変換部１３１が、周囲情報を相対情報に変換する（ステップＳ１１４）。ここでは、コップ４３５に関する対象物情報が、持ち方ルールデータベースＤＢ２に基づいて、相対情報に変換される。例えば、変換部１３１は、コップ４３５に関する対象物情報を、「つぶれないように力を入れずにそっと上側を持ってください。」という、当該コップ４３５の持ち方を指示する持ち方相対情報に変換する。なお、変換部１３１は、第１の実施形態と同様に、コップ４３５に関する対象物情報を、当該持ち方相対情報に加えて、位置相対情報、付属相対情報、及び危険相対情報に変換してもよい。変換部１３１が、周囲情報を相対情報に変換すると、ステップＳ１１０の処理が終了する。

次に、選択部１３２が、通知対象物の選択処理を実施する（ステップＳ１２０）。ここでは、選択部１３２は、高温で湯気４３６が出ていることに基づいて危険度が高いことを推定されたコップ４３５を通知対象物として選択する。

次に、相対情報の通知処理が実施される（ステップＳ１３０）。このとき、情報処理装置１０が備える出力部１４０は、持ち方相対情報として、「つぶれないように力を入れずにそっと上側を持ってください。」という音声５３１を出力する。するとユーザＵ６は、手５３３でコップ４３５の上側をもつというイメージ５３２をすることができる。このため、ユーザＵ６は、コップ４３５の上側を持つことにより、例えばコップ４３５の中間をもって火傷をするような危険が防止される。なお、出力部１４０は、第１の実施形態と同様に図８のフローチャートで示したように、位置相対情報、付属相対情報、及び危険相対情報を、第１の実施形態と同様の順番で出力してもよい。この場合、出力部１４０が持ち方相対情報を出力するタイミングは特に限定されないが、例えば、出力部１４０は、危険度相対情報を出力した後に、持ち方相対情報を出力してもよい。以上、第２の応用例に係る情報処理システム１の処理について説明した。

なお、ここでは、第６テーブル４３２の上に熱いコップ４３５が置かれている例について説明したが、これに限らず、第６テーブル４３２には、例えばサラダが入った容器であるサラダボールが置かれていてもよい。この場合、変換部１３６は、記憶部１２０に記憶された持ち方データベースＤＢ２に規定された番号３の持ち方ルールに基づいて、持ち方相対情報を生成する。出力部１４０は、当該持ち方相対情報に相対する音声として、例えば、「片手で持たずに下側をもってください。」という音声を出力する。これにより、ユーザＵ６は、サラダボールの持ち方を理解しやすいかたちで認識することができる。この結果、ユーザＵ６は、サラダボールに入ったサラダをこぼさないように、サラダボールの下側を両手で持つことができる。

＜＜３．３．第３の応用例＞＞
第３の応用例では、第１及び第２の実施形態と異なり、センサ部１８０が情報処理装置１２から独立している。図２１を参照して、第３の応用例に係る情報処理システム３について説明する。図２１は、第３の応用例に係る情報処理システム３の構成を示す図である。情報処理システム３は、情報処理装置１２、入出力部１３、及びサーバ２１を備える。情報処理装置１２、入出力部１３、及びサーバ２１は、相互にネットワーク３０により接続されている。なお、第３の応用例に係るセンサ部１８０は、第１又は第２の実施形態に係るセンサ部が備える機能に加えて、各種の情報を送受信する機能も有している。また、第３の応用例に係る出力制御部１３３は、入出力部１３が備える出力部１４０を制御する信号を通信部１５０に伝達する。伝達された当該信号は、ネットワーク３０を介して、入出力部１３が備える出力部１４０に送信される。これにより、出力部１４０から相対情報が出力される。

第３の応用例では、ユーザは、センサ部１８０及び出力部１４０を含む入出力部１３のみを身に着ける。これにより、ユーザが身に着ける装置（入出力部１３）が処理する量が最小限に抑えられる。なお、情報処理装置１２が備える機能部と、サーバ２１とが備える機能部とは、１つの装置にまとめて設けられてもよい。

＜４．ハードウェア構成＞
続いて、図２２を参照しながら、本開示の一実施形態に係る情報処理システム１を構成する情報処理装置１０のハードウェア構成の一例について、詳細に説明する。図２２は、本開示の一実施形態に係る情報処理システム１を構成する情報処理装置１０のハードウェア構成の一例を示す機能ブロック図である。

本実施形態に係る情報処理システム１を構成する情報処理装置１０は、主に、ＣＰＵ７０１と、ＲＯＭ７０２と、ＲＡＭ７０３と、を備える。また、情報処理装置１０は、更に、ホストバス７０４と、ブリッジ７０５と、外部バス７０６と、インタフェース７０７と、入力装置７０８と、出力装置７０９と、ストレージ装置７１０と、ドライブ７１２と、接続ポート７１４と、通信装置７１６とを備える。

ＣＰＵ７０１は、演算処理装置及び制御装置として機能し、ＲＯＭ７０２、ＲＡＭ７０３、ストレージ装置７１０又はリムーバブル記録媒体７１３に記録された各種プログラムに従って、情報処理装置１０内の動作全般又はその一部を制御する。ＲＯＭ７０２は、ＣＰＵ７０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ７０３は、ＣＰＵ７０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス７０４により相互に接続されている。例えば、図２に示す変換部１３１、選択部１３２、及び出力制御部１３３は、ＣＰＵ７０１により構成され得る。

ホストバス７０４は、ブリッジ７０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス７０６に接続されている。また、外部バス７０６には、インタフェース７０７を介して、入力装置７０８、出力装置７０９、ストレージ装置７１０、ドライブ７１２、接続ポート７１４及び通信装置７１６が接続される。

入力装置７０８は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置７０８は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器７１５であってもよい。さらに、入力装置７０８は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ７０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、この入力装置７０８を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置７０９は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置７０９は、例えば、情報処理装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置１０が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。

ストレージ装置７１０は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置７１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置７１０は、ＣＰＵ７０１が実行するプログラムや各種データ等を格納する。例えば、図２に示す記憶部１２０は、ストレージ装置７１０により構成され得る。

ドライブ７１２は、記録媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ７１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体７１３に記録されている情報を読み出して、ＲＡＭ７０３に出力する。また、ドライブ７１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体７１３に記録を書き込むことも可能である。リムーバブル記録媒体７１３は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体７１３は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体７１３は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。

接続ポート７１４は、情報処理装置１０に直接接続するためのポートである。接続ポート７１４の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート７１４の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート７１４に外部接続機器７１５を接続することで、情報処理装置１０は、外部接続機器７１５から直接各種のデータを取得したり、外部接続機器７１５に各種のデータを提供したりする。

通信装置７１６は、例えば、通信網（ネットワーク）７１７に接続するための通信デバイス等で構成された通信インタフェースである。通信装置７１６は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置７１６は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置７１６は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置７１６に接続される通信網７１７は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

以上、本開示の実施形態に係る情報処理システム１を構成する情報処理装置１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図２２では図示しないが、情報処理システム１を構成する情報処理装置１０に対応する各種の構成を当然備える。

なお、上述のような本実施形態に係る情報処理システム１を構成する情報処理装置１０の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。

＜５．補足＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、図２に示した情報処理装置１０及びサーバ２０の構成例は、図２に示した例に限られない。情報処理装置１０が備えるセンサ部１１０又は出力部１４０以外の機能部の一部又は全部がサーバ２０に設けられてもよいし、サーバ２０が備える一部又は全部の機能部が情報処理装置１０に設けられてもよい。また、図１３に示した情報処理装置１１とサーバ２１の構成例、及び図２１に示した情報処理装置１２とサーバ２１の構成例についても、図２と同様に、これらの図に示した例に限られず、適宜、各機能部が情報処理装置又はサーバに配置される。

また、第２の実施形態では、変換部１３６は、ユーザＵ３の行為をきっかけに、周囲情報を相対情報に変換した。これに限らず、変換部１３６は、情報処理装置１１を身に着けているユーザＵ２の行為をきっかけに、周囲情報を相対情報に変換してもよい。例えば、ユーザＵ２が第４カップ４１５に近づく行為をきっかけに、周囲情報を相対情報に変換してもよい。この場合にも、出力部１４０は、位置相対情報、付属相対情報、及び危険相対情報を段階的に出力してもよい。これにより、ユーザＵ２が近づく検知対象物についての相対情報が出力されるため、ユーザＵ２は、ユーザＵ２により関係する周囲情報を認識することができる。

また、本開示の実施形態では、ユーザ特性のうち、ユーザ自身の状態に関する状態情報として、身体情報を用いられる例を主に説明した。これに限らず、状態情報として、ユーザの例えば精神的な状態等を表す情報を用いられてもよい。この場合、例えば危険度認識部がユーザの精神的な状態に応じて、検知対象物の危険度を推定する。例えば、ユーザの精神的な状態として、ユーザの欲しているもの（例えば、好みのもの等）に応じて、変換部は、周囲情報を相対情報に変換してもよい。また、選択部は、ユーザの精神的な状態に合致する検知対象物を通知対象物として選択してもよい。これにより、ユーザの精神的な状態に応じた（例えば、好みのものに関する）相対情報が出力されるため、ユーザにとってより理解しやすいかたちで、ユーザの精神的な状態に応じた（例えば、好みの物に関する）周囲情報が提示される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
センサ部からのセンサ情報に基づいて生成される、第１のユーザの周囲の状態に関する一次情報である周囲情報を、前記第１のユーザのユーザ特性に基づいて、前記ユーザ特性に応じた二次情報である相対情報に変換する変換部
を備える、情報処理装置。
（２）
前記周囲情報は、前記センサ部により検知された検知対象物に関する対象物情報を含み、
前記変換部は、前記対象物情報を、前記検知対象物に応じた前記相対情報に変換する、
前記（１）に記載の情報処理装置。
（３）
前記周囲情報は、前記第１のユーザの位置を基準とした、前記検知対象物の位置情報を含み、
前記変換部は、前記位置情報を、前記第１のユーザと前記検知対象物との間の位置関係に関する前記相対情報に変換する、
前記（２）に記載の情報処理装置。
（４）
前記ユーザ特性は、前記第１のユーザ自身の状態に関する状態情報を含み、
前記変換部は、前記周囲情報を、前記状態情報に応じた前記相対情報に変換する、
前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記ユーザ特性は、前記状態情報として、前記第１のユーザの身体的特徴に関する情報である身体情報を含み、
前記変換部は、前記周囲情報を、前記身体情報に応じた前記相対情報に変換する、
前記（４）に記載の情報処理装置。
（６）
前記変換部は、前記センサ部により検知される、前記第１のユーザと異なる第２のユーザの行為をきっかけとして、前記周囲情報を前記相対情報に変換する、
前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記変換部は、前記第２のユーザの発話をきっかけとして、前記周囲情報を前記相対情報に変換する、
前記（６）に記載の情報処理装置。
（８）
前記変換部は、指示語が含まれる前記第２のユーザの発話をきっかけとして、前記周囲情報を前記相対情報に変換する、
前記（７）に記載の情報処理装置。
（９）
前記変換部は、前記センサ部により検知される前記第１のユーザの行為をきっかけとして、前記周囲情報を前記相対情報に変換する、
前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記相対情報を出力する出力部を制御する出力制御部を、更に備え、
前記出力制御部は、前記出力の推移に応じて、前記相対情報を出力するように前記出力部を制御する、
前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記変換部は、前記周囲情報を複数の前記相対情報に区分けして変換し、
前記出力制御部は、複数の前記相対情報を段階的に出力する、
前記（１０）に記載の情報処理装置。
（１２）
前記出力制御部は、前記第１のユーザの行為に基づいて、複数の前記相対情報を段階的に出力するように前記出力部を制御する、
前記（１１）に記載の情報処理装置。
（１３）
前記変換部は、前記周囲情報を、前記第１のユーザと前記センサ部により検知される検知対象物との間の距離に関する第１の相対情報と、前記検知対象物の状態に関する第２の相対情報とに変換し、
前記出力制御部は、前記第１の相対情報を出力した後に、前記第２の相対情報を出力するように、前記出力部を制御する、
前記（１１）又は（１２）に記載の情報処理装置。
（１４）
前記出力制御部は、複数の検知対象物から、前記第１のユーザの周囲において、危険度が最も高い前記検知対象物についての相対情報を選択的に前記出力部に出力させる、
前記（１０）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記変換部は、前記周囲情報を、前記第１のユーザの周囲における危険性に関する情報を含む、前記相対情報に変換する、
前記（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）
センサ部からのセンサ情報に基づいて生成される、第１のユーザの周囲の状態に関する一次情報である周囲情報を、前記第１のユーザのユーザ特性に基づいて、前記ユーザ特性に応じた二次情報である相対情報に変換することを含む、
情報処理方法。

１０、１１ 情報処理装置
１１０、１１１、１８０ センサ部
１２０ 記憶部
１３０、１３５ 処理部
１３１、１３６ 変換部
１３２、１３７ 選択部
１３３、１３８ 出力制御部
１４０ 出力部
１３ 入出力部
２０、２１ サーバ
２１０、２３０ 認識部

Claims (16)

1. センサ部からのセンサ情報に基づいて生成される、第１のユーザの周囲の状態に関する一次情報である周囲情報を、前記第１のユーザのユーザ特性に基づいて、前記ユーザ特性に応じた二次情報である相対情報に変換する変換部
   を備える、情報処理装置。
2. 前記周囲情報は、前記センサ部により検知された検知対象物に関する対象物情報を含み、
   前記変換部は、前記対象物情報を、前記検知対象物に応じた前記相対情報に変換する、
   請求項１に記載の情報処理装置。
3. 前記周囲情報は、前記第１のユーザの位置を基準とした、前記検知対象物の位置情報を含み、
   前記変換部は、前記位置情報を、前記第１のユーザと前記検知対象物との間の位置関係に関する前記相対情報に変換する、
   請求項２に記載の情報処理装置。
4. 前記ユーザ特性は、前記第１のユーザ自身の状態に関する状態情報を含み、
   前記変換部は、前記周囲情報を、前記状態情報に応じた前記相対情報に変換する、
   請求項１に記載の情報処理装置。
5. 前記ユーザ特性は、前記状態情報として、前記第１のユーザの身体的特徴に関する情報である身体情報を含み、
   前記変換部は、前記周囲情報を、前記身体情報に応じた前記相対情報に変換する、
   請求項４に記載の情報処理装置。
6. 前記変換部は、前記センサ部により検知される、前記第１のユーザと異なる第２のユーザの行為をきっかけとして、前記周囲情報を前記相対情報に変換する、
   請求項１に記載の情報処理装置。
7. 前記変換部は、前記第２のユーザの発話をきっかけとして、前記周囲情報を前記相対情報に変換する、
   請求項６に記載の情報処理装置。
8. 前記変換部は、指示語が含まれる前記第２のユーザの発話をきっかけとして、前記周囲情報を前記相対情報に変換する、
   請求項７に記載の情報処理装置。
9. 前記変換部は、前記センサ部により検知される前記第１のユーザの行為をきっかけとして、前記周囲情報を前記相対情報に変換する、
   請求項１に記載の情報処理装置。
10. 前記相対情報を出力する出力部を制御する出力制御部を、更に備え、
    前記出力制御部は、前記出力の推移に応じて、前記相対情報を出力するように前記出力部を制御する、
    請求項１に記載の情報処理装置。
11. 前記変換部は、前記周囲情報を複数の前記相対情報に区分けして変換し、
    前記出力制御部は、複数の前記相対情報を段階的に出力する、
    請求項１０に記載の情報処理装置。
12. 前記出力制御部は、前記第１のユーザの行為に基づいて、複数の前記相対情報を段階的に出力するように前記出力部を制御する、
    請求項１１に記載の情報処理装置。
13. 前記変換部は、前記周囲情報を、前記第１のユーザと前記センサ部により検知される検知対象物との間の距離に関する第１の相対情報と、前記検知対象物の状態に関する第２の相対情報とに変換し、
    前記出力制御部は、前記第１の相対情報を出力した後に、前記第２の相対情報を出力するように、前記出力部を制御する、
    請求項１１に記載の情報処理装置。
14. 前記出力制御部は、複数の検知対象物から、前記第１のユーザの周囲において、危険度が最も高い前記検知対象物についての相対情報を選択的に前記出力部に出力させる、
    請求項１０に記載の情報処理装置。
15. 前記変換部は、前記周囲情報を、前記第１のユーザの周囲における危険性に関する情報を含む、前記相対情報に変換する、
    請求項１に記載の情報処理装置。
16. センサ部からのセンサ情報に基づいて生成される、第１のユーザの周囲の状態に関する一次情報である周囲情報を、前記第１のユーザのユーザ特性に基づいて、前記ユーザ特性に応じた二次情報である相対情報に変換することを含む、
    情報処理方法。

Images