JP2016110296A - ウェアラブルデバイス、情報処理方法及びプログラム - Google Patents

Abstract

【課題】ウェアラブルデバイスを利用した有益な機能を実現可能な技術を提供する。【解決手段】ウェアラブルデバイスは、ユーザの現在地と、オブジェクトの位置との間の相対位置関係を示す表示オブジェクトを表示し、ユーザの身体状態を検知し、検知された身体状態に応じて、表示オブジェクトの表示部への可視の度合を変更するように制御する。【選択図】図３

Description

本発明は、情報処理技術に関する。

近年、様々なウェアラブルデバイスが開発されている。ウェアラブルデバイスとは、ユーザが身体（例えば、腕や頭部）に装着して利用することが想定されたデバイスである。例えば、特許文献１には頭部に装着する眼鏡型のウェアラブルデバイスについて開示されている。

特開２０１４−０８６９０５号公報

ウェアラブルデバイスは、ユーザの身体に装着されるという点に特徴を有するデバイスであり、そのような特徴を利用した有益な機能を実現可能な技術が期待されている。

本発明は上記に鑑みてなされたものであり、その目的は、ウェアラブルデバイスを利用した有益な機能を実現可能な技術を提供することにある。

本発明に係るウェアラブルデバイスは、ユーザの現在地と、オブジェクトの位置との間の相対位置関係を示す表示オブジェクトを表示する表示手段と、前記ユーザの身体状態を検知する検知手段と、
前記検知された身体状態に応じて、前記表示手段により表示された前記表示オブジェクトの可視の度合を変更するように制御する表示制御手段とを備える。

本発明に係る情報処理方法は、ユーザの現在地と、オブジェクトの位置との間の相対位置関係を示す表示オブジェクトを表示する表示ステップと、前記ユーザの身体状態を検知する検知ステップと、前記検知された身体状態に応じて、前記表示ステップにより表示された前記表示オブジェクトの可視の度合を変更するように制御する表示制御ステップとを備える。

本発明に係るプログラムは、ユーザの現在地と、オブジェクトの位置との間の相対位置関係を示す表示オブジェクトを表示する表示ステップと、前記ユーザの身体状態を検知する検知ステップと、前記検知された身体状態に応じて、前記表示ステップにより表示された前記表示オブジェクトの可視の度合を変更するように制御する表示制御ステップとを実行させる。

また、本発明のプログラムは、ＣＤ−ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。

本発明によれば、ウェアラブルデバイスを利用した有益な機能を実現可能な技術を提供することができる。

一実施形態における情報処理システムのハードウェア構成を示す概念図である。 一実施形態における眼鏡型デバイスの外観構成を示す図である。 一実施形態における眼鏡型デバイスの機能構成を示す図である。 一実施形態における眼鏡型デバイスの表示部への表示例を示す図である。 一実施形態における眼鏡型デバイスの表示部への表示例を示す図である。 一実施形態における眼鏡型デバイスの表示部への表示例を示す図である。 一実施形態において眼鏡型デバイスにより実行される処理の例を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しつつ詳細に説明する。ただし、発明の範囲をこれらに限定するものではない。

［ハードウェア構成］
図１を参照して、一実施形態に係る情報処理システムのハードウェア構成の例について説明する。情報処理システム１は、ウェアラブルデバイスを用いた各種のサービスを提供するためのシステムである。情報処理システム１は、サーバ装置１０、眼鏡型デバイス２０及び携帯端末３０を主に含む。眼鏡型デバイス２０及び携帯端末３０は、ネットワークＮを介してサーバ装置１０と相互に通信することができる。また、眼鏡型デバイス２０は、携帯端末３０と（例えば、Bluetooth（登録商標）やＷｉ−Ｆｉ（登録商標）等により）相互に通信することができる。情報処理システム１は、例えば、ウェアラブルデバイスである眼鏡型デバイス２０を装着し、かつ、携帯端末３０を携帯するユーザに対して、地図情報に基づく各種の情報提供サービスを行うことができる。

ネットワークＮは、サーバ装置１０と、眼鏡型デバイス２０及び携帯端末３０との間で情報を送受信するための通信回線である。ネットワークＮは、例えば、インターネット、ＬＡＮ、専用線、パケット通信網、電話回線、企業内ネットワーク、その他の通信回線、又はこれらの少なくとも一部の組み合わせ等のいずれであってもよく、有線であるか無線であるか（もしくはこれらの組み合わせであるか）を問わない。

サーバ装置１０は、専用又は汎用のサーバコンピュータなどの情報処理装置により構成される。なお、サーバ装置１０は、単一の情報処理装置より構成されるものであっても、ネットワーク上に分散した複数の情報処理装置より構成されるものであってもよい。

また、サーバ装置１０は、制御部１１、通信部１２、及び記憶部１３を主に備える。制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１ａ及びメモリ１１ｂを主に備えて構成される。各構成の説明は後述する。サーバ装置１０は、例えば、ＣＰＵ１１ａがメモリ１１ｂ等に格納された所定のプログラムを実行することにより、各種の機能実現手段として機能する。なお、図１には、サーバ装置１０が備える主要な構成が示されているにすぎず、サーバ装置１０は、一般的な情報処理装置が備える他の構成も備える。

眼鏡型デバイス２０は、眼鏡型の形状のウェアラブルデバイスである。ウェアラブルデバイスとは、ユーザが身体（例えば、腕や頭部）に装着して利用することが想定されたデバイス（情報処理装置）である。すなわち、眼鏡型デバイス２０は眼鏡型の形状であるため、ユーザは、眼鏡をかけるように眼鏡型デバイス２０を頭部に装着して利用することができる。眼鏡型デバイス２０は、制御部２１、通信部２２、記憶部２３、操作部２４、表示部２５、カメラ２６、センサ２７、及びマイク２８を主に備えて構成される。制御部２１は、ＣＰＵ２１ａ及びメモリ２１ｂを主に備えて構成される。眼鏡型デバイス２０は、例えば、ＣＰＵ２１ａがメモリ２１ｂ等に格納された所定のプログラムを実行することにより、各種の機能実現手段として機能する。なお、ユーザは眼鏡型デバイス２０の装着時に眼鏡型デバイス２０に備えるこれらの構成のそれぞれも結果として装着することになるため、これらの構成のそれぞれも狭義のウェアラブルデバイスとみなすことができる。これらの各構成の説明は後述する。

図２は、眼鏡型デバイス２０の外観の例を示している。この例では、図２（Ａ）に示すように、眼鏡型デバイス２０は外観上、操作部２４、表示部２５及びカメラ２６を備えることが示されている。操作部２４は、眼鏡型デバイス２０の外側部に位置する。ユーザは操作部２４をスワイプ、タップ等をすることによって、眼鏡型デバイス２０に対して操作指示を行うことができる。

表示部２５は、眼鏡型デバイス２０を装着したユーザがプリズムなどにより表示内容を視認可能な位置に設置されるように構成される。この例では、図２（Ｂ）に示すように、表示部２５は、単眼式の表示装置であり、眼鏡型デバイス２０を装着したユーザが眼鏡型デバイス２０の右側レンズの右上を見たときに表示内容を確認できるような位置に設置されている。表示部２５における領域２５ａは、画像などの表示対象を表示可能な領域（表示可能領域）である。

カメラ２６は、眼鏡型デバイス２０を装着したユーザの視線方向に向けられ、当該ユーザが見ていると推定されるもの（推定注視点に存在するもの）を撮像／撮影可能な位置に設置されるように構成される。

なお、図２の例では、表示部２５は、単眼式の表示装置であったが、これに限定されない。表示部２５は、両眼式の表示装置であってもよく、眼鏡型デバイス２０を装着したユーザが両眼で表示内容を確認できるように構成されていてもよい。具体的には、表示部２５は、眼鏡型デバイス２０の両眼のレンズ部分に透過型ディスプレイを設置することによって構成されてもよい。

図１の説明にもどる。携帯端末３０は、例えば、携帯電話機（スマートフォンを含む）、タブレット端末、ＰＤＡ（Personal Digital Assistants）、ナビゲーション装置、パーソナルコンピュータなどの携帯可能な情報処理装置である。携帯端末３０は、制御部３１、通信部３２、記憶部３３、操作部３４、表示部３５及び測位部３６を主に備えて構成される。制御部３１は、ＣＰＵ３１ａ及びメモリ３１ｂを主に備えて構成される。各構成の説明は後述する。携帯端末３０は、例えば、ＣＰＵ３１ａがメモリ３１ｂ等に格納された所定のプログラムを実行することにより、各種の機能実現手段として機能する。

制御部１１，２１，３１は、これらを備える各情報処理装置の各種構成の動作を制御し、また、各種処理の実行を制御する。制御部１１，２１，３１において実行される処理の詳細は後述する。通信部１２，２２，３２は、他の情報処理装置と通信するための通信インタフェースである。記憶部１３，２３，３３は、ハードディスク等の記憶装置によって構成される。記憶部１３，２３，３３は、各情報処理装置における処理の実行に必要な各種プログラムや各種の情報を記憶する。操作部２４，３４は、ユーザからの操作指示を受け付けるためのユーザインタフェースである。表示部２５，３５は、各種の画像や、各情報処理装置による処理結果を表示するためのユーザインタフェースである。

カメラ２６は、静止画／動画を撮影／撮像可能な装置である。
センサ２７は、各種のセンサにより構成される。センサ２７は、例えば、ジャイロセンサ、加速度センサ、地磁気センサ、及び／又はイメージセンサ等を含むことができる。センサ２７により、例えば、眼鏡型デバイス２０を装着しているユーザの顔が向いている方向に基づいて当該ユーザの視線の方向の方位角（基準となる方位との間の水平方向の角度）の推定値を検知することや、当該ユーザの頭部の傾きに基づいて当該ユーザの視線の方向の仰俯角（水平を基準とした上下方向の角度）の推定値を検知することができる。なお、センサ２７は、ユーザの眼球の動きから当該ユーザの視線方向の方位角及び仰俯角の推定値を検知できるようにしてもよい。また、センサ２７は、眼鏡型デバイス２０を装着するユーザの瞼の動きに基づいて瞬きを検知することもできる。また、センサ２７により、ユーザが移動しているか、移動を停止しているかを検知することもできる。
マイク２８は、眼鏡型デバイス２０を装着するユーザが発する声／音を電気信号に変換する装置である。

測位部３６は、ＧＰＳ衛星や通信機器（例えば基地局やルーター）から受信した信号に基づいて、携帯端末３０の位置（例えば、緯度、経度）を特定し、当該位置を特定した日時を特定する（すなわち、測位情報を特定する）処理を行う。

以上のように本実施形態において、情報処理システム１は、サーバ装置１０、眼鏡型デバイス２０及び携帯端末３０を含むがこれに限定せず、任意の装置を含むことができる。また、サーバ装置１０、眼鏡型デバイス２０及び携帯端末３０が有する構成の一部又は全部を有する構成を情報処理システムとして把握することもできる。例えば、眼鏡型デバイス２０が有する構成の一部を情報処理システムとして把握することができるし、眼鏡型デバイス２０が有する構成の一部と、携帯端末３０が有する構成の一部とを組み合わせた構成を情報処理システムとして把握することができる。

［機能構成］
サーバ装置２０及び眼鏡型デバイスの機能構成を以下に説明する。
１．サーバ装置
まず、一実施形態に係るサーバ装置１０の機能構成の例を説明する。図示しないが、サーバ装置１０は、主な機能として、データベースと、オブジェクト検索機能とを備える。

データベースは、サーバ装置１０において実行される処理に必要な情報、及び当該処理により生成された情報など、各種情報を記憶する。データベース１２０は、例えば、地図情報及び施設情報を記憶している。地図情報は、道路情報、鉄道路線情報、建造物情報、地形情報、住所情報、及びその他の地理情報などを含む。施設情報は、例えば、コンビニエンスストア、カフェ、駅、ファーストフード、レストラン、建物（ビル）などの施設についての情報を含む。また、施設情報は、当該施設で扱っている商品及び／又はサービスについての情報を含む。なお、施設情報は、地図情報に含まれる情報としてもよい。

オブジェクト検索機能は、入力された検索条件に応じて、データベースを参照し、現実環境に存在するオブジェクト（例えば、コンビニエンスストア、カフェ、駅、ファーストフード、又はレストランなどに分類される施設）の検索を行う機能である。

２．眼鏡型デバイス
次に、図３を参照して、一実施形態に係る眼鏡型デバイス２０の機能構成の例を説明する。眼鏡型デバイス２０は、主な機能構成として、検索部２１１、身体状態検知部２１２、表示制御部２１３、アクション検知部２１４及び音声認識部２１５を備える。以下に各機能構成の詳細を説明する。

検索部２１１は、ユーザからの操作指示に応じて、現実環境に存在するオブジェクトの検索を行う。具体的には、検索部２１１は、眼鏡型デバイス２０のユーザからの操作指示に応じて、検索処理の実行の指示をサーバ装置１０に対して送信し、検索処理の実行結果（オブジェクトについての情報）を受信する。検索処理の実行の指示には、眼鏡型デバイス２０の現在地、検索対象の現在地からの距離、検索対象の種別（例えば、コンビニエンスストア、カフェ、駅、ファーストフード、又はレストランなど）、その他の検索条件が含まれる。なお、検索処理の実行の指示は、携帯端末３０を介して行い、眼鏡型デバイス２０は、検索結果を携帯端末３０から受信するようにしてもよい。

また、現在地の情報は、携帯端末３０から取得される。なお、携帯端末３０のユーザは、眼鏡型デバイス２０も携帯しているため、携帯端末３０の現在地情報は、眼鏡型デバイス２０の現在地情報とみなすこともできる。また、現在地情報は、携帯端末３０から取得することとしているが、これに限定されず、眼鏡型デバイス２０が測位処理部を備え、測位処理を行うことによって、現在地情報を特定してもよい。

身体状態検知部２１２は、センサ２７により、ユーザの身体状態を検知する。検知される身体状態としては、ユーザが向いている方向、ユーザが移動しているか否か、ユーザの頭部の傾きなどが含まれる。また、ユーザの頭部の傾きには、頭部の前後方向の傾き（すなわち、ユーザが下を見る方向や上を見る方向に頭部を傾けたときなど、ユーザの視線が仰俯角方向に移動したときの頭部の傾き）や、（垂直方向に対する）頭部の左右方向の傾きが含まれる。

表示制御部２１３は、検索部２１１による検索結果を表示部２５に表示するように制御する。また、表示制御部２１３は、検索結果を様々な方法で表示するように制御する。例えば、表示制御部２１３は、検索により得られた各オブジェクトについての情報をカード形状の領域（表示オブジェクト）に表示するように制御することができる。また、表示制御部２１３は、ユーザの現在地と、検索により得られたオブジェクトの位置との間の相対位置関係を示すマップ（表示オブジェクト）を表示するように制御することができる。さらに、表示制御部２１３は、身体状態検知部２１２により検知されたユーザの身体状態に応じて、表示オブジェクトの表示を変化させるように制御することができる。例えば、身体状態に応じて、表示オブジェクトの表示の可視の度合を変更するようにすることができる。

図４〜図６は、表示制御部２１３の制御により表示部２５の領域２５ａへ表示された画面の例を示している。

図４には、検索結果の各オブジェクトについての情報がカード形状の領域に表示されていることが示されている。同図において、例えば、カード形状の領域４２には、検索により得られた１つのオブジェクトについての情報として、施設の種別、施設の名称及び取扱い商品の情報が示されている。また、カード形状４１及び４３には、検索結果の他のオブジェクトについての情報が示されている。また、身体状態検知部２１２により検知されたユーザが向いている方向に応じて、表示内容を表示制御部２１３の制御によりスクロールさせることができる。例えば、図４に示された表示例の状態において、ユーザが右方向を向いたときに、カード形状４３が領域２５ａの中心に表示されるように表示内容をスクロールさせることができる。

図５には、カード形状の領域に示されたオブジェクトについての情報に加えて、ユーザの現在地と、検索により得られたオブジェクトの位置との間の相対位置関係を示すマップ５０（レーダー表示）が領域２５ａに示されている。

このマップ５０には、ユーザの現在地５１と、検索結果のオブジェクトの位置５２〜５６との間の相対位置関係が示されている。なお、カード形状の領域４１〜４３に情報が示されたオブジェクトと、マップ５０に位置が示されたオブジェクトとの対応関係が分かるように、カード形状の領域及びマップ上に位置を示すアイコンを色分けしたり、記号を付したり等することができる。このように、オブジェクトについての情報（カード形状の領域４１〜４３）に加えて、現在地とオブジェクトの位置との間の相対位置関係を示すマップ５０を表示することで、ユーザは、オブジェクトについての情報を確認しつつ、オブジェクトの位置を確認することができる。

図６は、身体状態検知部２１２により検知されたユーザの頭部の傾きに応じて、上記のレーダー表示のマップ５０の表示を変化させる例が示されている。この例では、マップ５０は、ユーザーの頭部の傾きが大きくなるにつれて、三次元空間内に画面と並行に仮想的に配置したマップ５０の上部が後ろに倒れ、下部が手前に来るように、その面の表示の角度（又は、その面の表示面積の大きさ）が変化していく。すなわち、この例では、身体状態検知部２１２により検知されたユーザの頭部の傾きが大きくなるほど、マップ５０（表示オブジェクト）の大きさが小さくなり、可視の度合が下がるように制御される。なお、可視の度合を下げるために、このように表示の角度（表示オブジェクトの大きさ）を変化させるのではなく、マップ５０の表示の透過度を上げていき、最終的に消えるように（非表示に）制御してもよい。なお、前述のように、ユーザの頭部の傾きには、頭部の前後方向の傾き（すなわち、ユーザが下を見る方向や上を見る方向に頭部を傾けたときなど、ユーザの視線が仰俯角方向に移動したときの頭部の傾き）や、（垂直方向に対する）頭部の左右方向の傾きが含まれる。

また、ユーザの頭部の傾きに応じて徐々に可視の度合を変更するのではなく、頭部の傾き角度が所定の閾値を超えたときにマップ５０を非表示にし、当該閾値以下のときに表示するという制御を行ってもよい。さらに、図６の例では、ユーザーの頭部の傾きが大きくなるにつれて、マップ５０の可視の度合を下げているが、他の例として、ユーザーの頭部の傾きが大きくなるにつれて、マップ５０の可視の度合を上げてもよい。また、ユーザーの頭部の傾きの変化に応じて、図４に示したオブジェクトについての情報の表示の可視の度合を変更してもよい。また、ユーザの頭部の傾きに応じて可視の度合を変更しているが、これに限定せず、ユーザの他の身体状態（例えば、ユーザが移動している又は停止しているなど）に応じて可視の度合を変更してもよい。

以上のように本実施形態によれば、ユーザの身体状態（例えば、頭部の傾き）に応じて表示部２５に表示されるものの可視の度合を変更することができる。その結果、ユーザは、操作部２４への操作入力を行わなくても眼鏡型デバイス２０を操作することができるという利便性の高い機能を実現できる。

アクション検知部２１４は、操作部２４への入力の他、眼鏡型デバイス２０のユーザの所定のアクションを検知する。所定のアクションには、例えば、ユーザの瞬きや、ユーザが眼鏡型デバイス２０の正面で所定の手の動きをすることなどが含まれる。これらの所定のアクションの検知の方法は、任意の方法を用いることができ、例えば、従来の検知技術を用いることができる。

音声認識部２１５は、眼鏡型デバイス２０のユーザが発した音声を認識し、ユーザからの操作指示を特定する。

［処理フロー］
次に、図７を参照して、眼鏡型デバイス２０において実行される処理のフローの例を説明する。なお、以下に説明する処理フローに含まれる各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。なお、各処理ステップの処理の詳細は、既に説明しているためここでは省略する。

まず、ステップＳ１１において、制御部２１は、ユーザからの操作指示に応じて、現実環境に存在するオブジェクトの検索を行う。

ステップＳ１２において、制御部２１は、ステップＳ１１における検索結果を表示部２５に表示するように制御する。例えば、ユーザの現在地と、検索結果のオブジェクトの位置との間の相対的位置関係を示す表示オブジェクトを表示部２５に表示する。

ステップＳ１３において、制御部２１は、センサ２７により、眼鏡型デバイス２０のユーザの所定の身体状態（例えば、頭部の傾き）を検知したか否かを判定する。検知したと判定された場合、処理はステップＳ１４へ進む。

ステップＳ１４において、制御部２１は、検知されたユーザの身体状態に応じて、ユーザの現在地と、オブジェクトの位置との間の相対的位置関係を示す画面の表示部２５への可視の度合を変更する。

ステップＳ１５において、制御部２１は、表示部２５への表示を終了するか否かを判定し、終了しない場合、処理はステップＳ１３へ進む。

以上のように本実施形態によれば、ユーザの身体状態（例えば、頭部の傾き）に応じて表示部２５に表示されるものの可視の度合を変更することができる。その結果、ユーザは、操作部２４への操作入力を行わなくても眼鏡型デバイス２０を操作することができるという利便性の高い機能を実現できる。

［その他の実施形態］
本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。

１０ サーバ装置、２０ 眼鏡型デバイス、３０ 携帯端末、１１，２１，３１ 制御部、１１ａ，２１ａ，３１ａ ＣＰＵ、１１ｂ，２１ｂ，３１ｂ メモリ、１２，２２，３２ 通信部、１３，２３，３３ 記憶部、２４，３４ 操作部、２５，３５ 表示部、２６ カメラ、２７ センサ、２８ マイク、３６ 測位部

Claims (8)

1. ユーザの現在地と、オブジェクトの位置との間の相対位置関係を示す表示オブジェクトを表示する表示手段と、
   前記ユーザの身体状態を検知する検知手段と、
   前記検知された身体状態に応じて、前記表示手段により表示された前記表示オブジェクトの可視の度合を変更するように制御する表示制御手段と
   を備えたウェアラブルデバイス。
2. 前記表示制御手段は、前記検知された身体状態に応じて、前記表示オブジェクトの大きさを変更するように制御する、請求項１に記載のウェアラブルデバイス。
3. 前記表示制御手段は、前記検知された身体状態に応じて、前記表示オブジェクトを非表示にするように制御する、請求項１又は２に記載のウェアラブルデバイス。
4. 前記表示制御手段は、前記検知手段により検知された前記ユーザの頭部の傾きに応じて前記制御を行う、請求項１から３のいずれか一項に記載のウェアラブルデバイス。
5. 前記表示制御手段は、検知された前記ユーザの頭部の傾きが大きいほど前記表示オブジェクトの可視の度合を上げるように制御する、請求項４に記載のウェアラブルデバイス。
6. 前記表示制御手段は、検知された前記ユーザの頭部の傾きが大きいほど前記表示オブジェクトの可視の度合を下げるように制御する、請求項４に記載のウェアラブルデバイス。
7. ユーザの現在地と、オブジェクトの位置との間の相対位置関係を示す表示オブジェクトを表示する表示ステップと、
   前記ユーザの身体状態を検知する検知ステップと、
   前記検知された身体状態に応じて、前記表示ステップにより表示された前記表示オブジェクトの可視の度合を変更するように制御する表示制御ステップと
   を備えた情報処理方法。
8. ユーザの現在地と、オブジェクトの位置との間の相対位置関係を示す表示オブジェクトを表示する表示ステップと、
   前記ユーザの身体状態を検知する検知ステップと、
   前記検知された身体状態に応じて、前記表示ステップにより表示された前記表示オブジェクトの可視の度合を変更するように制御する表示制御ステップと
   を実行させるためのプログラム。