JP6547741B2 - 情報処理システムおよび情報処理方法 - Google Patents

Description

本開示は、情報処理システムおよび情報処理方法に関する。

近年、ユーザが装着して使用するウェアラブル端末の開発が盛んに行われている。ウェアラブル端末の１つとして、ユーザが頭部に装着して使用する頭部装着型端末がある。頭部装着型端末は、これ装着したユーザの眼の前に表示部が位置するように構成されている。したがって、ユーザは、頭部装着型端末を装着することで、例えば表示端末を鞄やポケット等から取り出す動作をすることなく、情報の確認や操作を行うことが可能となる。

このような頭部装着端末は、例えば端末に設けられたタッチセンサへの入力や音声により操作することもできるが、表示部がユーザの眼の前に設けられることから、視線による操作も多く試みられている。例えば特許文献１には、頭部装着端末を装着したユーザの視線の動きを用い、アイコンをスクロールさせる技術が開示されている。また、例えば特許文献２には、視線でパスコード解除を行う技術が開示されている。

米国特許公開２０１３／０１０６６７４号 米国特許第８２３５５２９号明細書

しかし、視線による操作では、表示部に表示されたアイコンの選択決定において、視線を動かして画面の端付近のアイコンを選択、決定するのは眼の負担となる。このため、ユーザが視線を動かして操作できる範囲は限定される。また、個人差はあるが、ユーザの視線の動きに対して画像でのピクセル移動は小さく、視線の細かな動きで隣り合うアイコンを選択するのは不自由である。

そこで、本開示では、頭部装着端末での視線による操作性を高めることが可能な、新規かつ改良された情報処理システムおよび情報処理方法を提案する。

本開示によれば、ユーザの視線を検出する視線検出部と、ユーザが装着する装置の動きを検出する動き検出部と、表示領域に表示されている視線により選択可能なオブジェクトを前記装置の動きに応じて移動させる表示制御部と、を備える、情報処理システムが提供される。

また、本開示によれば、ユーザが装着する装置の動きを検出すること、表示領域に表示されている視線により選択可能なオブジェクトを前記装置の動きに応じて移動させること、を含む、情報処理方法が提供される。

本開示によれば、装置を装着したユーザの動きを動き検出部により検出し、視線により選択可能なオブジェクトの表示位置をユーザの動きに応じて変更する。これにより、ユーザが視線を動かし易い位置にオブジェクトを表示させ、視線によるオブジェクトの選択を行い易くする。

以上説明したように本開示によれば、頭部装着端末での視線による操作性を高めることが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

頭部装着型端末の一例を示す説明図である。 本開示の第１の実施形態に係る情報処理装置によるオブジェクトの表示位置変更処理の一例を示す説明図である。 同実施形態に係る情報処理装置の機能構成を示すブロック図である。 同実施形態に係るユーザの首の動きに応じた表示変更処理を示すフローチャートである。 表示部がオフ状態となる状況を説明する説明図である。 ユーザの首の動きによる表示変更を不可とするための操作入力の一例を示す説明図である。 ユーザの首の動きによる表示変更を不可とするための操作入力の他の一例を示す説明図である。 ユーザの首の動きに応じてオブジェクトの表示位置を変更し、オブジェクトを選択する操作の一例を示す説明図である。 選択されたオブジェクトをキャンセルする操作入力の一例を示す説明図である。 選択されたオブジェクトをキャンセルするキャンセルアイコンが表示された例を示す説明図である。 表示領域に表示されているオブジェクト数が多い場合のオブジェクトの表示位置変更処理を説明する説明図である。 表示領域に表示されているオブジェクト数が少ない場合のオブジェクトの表示位置変更処理を説明する説明図である。 本開示の第２の実施形態に係る表示変更処理の説明図であって、非表示のオブジェクトを表示領域に表示させる動作を示す。 同実施形態に係る表示変更処理の説明図であって、スクロール後に表示されたオブジェクトの表示状態を所定時間維持する状態を示す。 同実施形態に係る表示変更処理の説明図であって、オブジェクトの表示状態が所定時間経過後に通常状態に戻る状態を示す。 オブジェクトの間隔の広げ方の一例を示す説明図である。 オブジェクトの間隔の広げ方の他の一例を示す説明図である。 頭部装着型端末のハードウェア構成の一例を示すハードウェア構成図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態（首の動きに応じてオブジェクトの間隔を広げる）
１．１．概要
１．２．機能構成
１．３．ユーザの首の動きに応じた表示変更処理
２．第２の実施形態（首の動きに応じて非表示のオブジェクトを表示させる）
３．変形例
４．ハードウェア構成例

＜１．第１の実施形態＞
［１．１．概要］
まず、図１および図２を参照して、本開示の第１の実施形態に係る情報処理装置による処理の概要について説明する。なお、図１は、頭部装着型端末１０の一例を示す説明図である。図２は、本実施形態に係る情報処理装置によるオブジェクトの表示位置変更処理の一例を示す説明図である。

本実施形態において用いられる頭部装着型端末１０は、ユーザが頭部に装着して使用される装置である。頭部装着型端末１０としては、例えば、図１に示すようなメガネ型端末がある。図１に示す頭部装着型端末１０では、装着時にユーザの眼の前に位置する表示部１２を備えるフロント部と、フロント部の左右にそれぞれ設けられる支持部１４Ｒ、１４Ｌとからなる。支持部１４Ｒ、１４Ｌを頭部側部に位置させ、フロント部を鼻に固定することで、頭部装着型端末１０を装着することができる。

表示部１２は、右眼用表示部１２Ｒと、左眼用表示部１２Ｌとからなる。表示部１２には、映像を投影する表示ユニット（図示せず。）によって各種情報が表示される。本実施形態に係る表示部１２は、例えば光学透過型の表示パネルであって、外界の視界を遮らないため、ユーザは外界と表示部１２に表示される内容とを自然に見ることができる。

本実施形態に係る頭部装着型端末１０は、当該端末を装着したユーザの首の動きを検出するためのセンサとして、例えば角速度を検出するジャイロセンサ１６を備えている。ジャイロセンサ１６は、例えば支持部１４Ｌに設けてもよく、端末の他の場所に設けてもよい。頭部装着型端末１０を装着したユーザが首を回転させると、首の回転とともに回転する頭部装着型端末１０の角速度がジャイロセンサ１６により検出される。このジャイロセンサ１６により検出された角速度がユーザの首の回転の動きを表す値として利用される。

また、頭部装着型端末１０は、当該端末を装着したユーザの視線を検出する視線センサ（図３の符号１８）を備える。視線センサとしては、例えば、ユーザの眼を撮像する可視カメラや赤外線カメラ等を用いてもよい。視線センサにより取得された画像を解析することで、ユーザの視線を特定することができる。この機能により、本実施形態に係る頭部装着型端末１０では、ユーザは視線を動かすことで表示部１２の表示領域に表示された情報を操作することができる。

なお、頭部装着型端末１０の形態は、図１に示すものに限定されない。例えば頭部装着型端末１０の形状は、ゴーグル型端末等であってもよく、表示部は、図１に示すように両眼に設けられていてもよく、いずれか一方の眼に対応して設けられていてもよい。また、表示方式は、光学透過型に限定されず、外界の視界を遮る非透過型や、外界の様子を撮影して表示部に映し出すビデオ透過型等であってもよい。さらに、頭部装着型端末１０は、表示部１２、表示ユニット、ジャイロセンサ１６以外にも、例えばタッチセンサやマイク、スピーカ、ＧＰＳ等を備えていてもよい。

このような頭部装着型端末１０は、各種機能を制御するため情報処理装置（図３の符号１００）を備えている。情報処理装置は、例えば表示部１２に情報を表示させる表示ユニットを制御したり、ユーザの操作に基づきアプリケーションを機能させたりする処理を行う。

ここで、本実施形態に係る頭部装着型端末１０は、当該端末の操作を視線によって行うことができる。例えば図２左側に示すように、頭部装着型端末１０を装着しているユーザは、表示部１２の表示領域２００を見ているとする。表示領域２００には、例えば、メーラーを起動するメールアイコン２１２や、アプリケーションを機能するアプリアイコン２１４、マイクアイコン２１６等のオブジェクトが表示されている。ユーザは、視線を動かし、オブジェクトに視線を合わせることで、任意のオブジェクトを選択することができる。

このような視線による操作においては、表示領域２００のうちユーザが視線を動かすことの可能な範囲で操作を行うことができるが、例えばメールアイコン２１２のように表示領域２００の端付近にあるオブジェクトに視線を向けるのは眼の負担が大きくなる。一般に、人が顔を動かさずに自然に視線を動かすことのできる範囲は、水平方向約３０°である。このため、表示領域２００の画角が３０°を超えて広くなると、ユーザが自然に視線を向けることのできる範囲を超えてしまい、表示領域２００の両端にあるオブジェクトの選択が難しくなる。

また、人の視線の動きに対して表示領域２００での視線の移動量は小さく、ユーザが視線を動かしても思ったほどに表示領域２００では視線は移動しない。例えば、視線を水平方向に１０°動かしたとき、表示領域２００では３０〜４０ピクセルほどしか動かない。このため、視線の細かな動きで、例えばメールアイコン２１２とアプリアイコン２１４とのように隣接するオブジェクトを選択するのは不自由である。

そこで、本実施形態に係る頭部装着型端末１０では、ユーザの首の動きに応じて表示領域２００に表示されているオブジェクトの表示位置を変化させて、視線による操作が行い易くなるようにする。例えば、図２右側に示すように、ユーザが左を向くと、表示領域２００の左側に隣接して表示されていたメールアイコン２１２およびアプリアイコン２１４を、それぞれ右側に移動させ、これらの間隔Ｌが広くなるように表示位置を変化させる。これにより、ユーザが自然に視線を動かすことのできる範囲にオブジェクトが表示され、また、隣接するオブジェクトの間隔Ｌが広がることで、それぞれのオブジェクトを選択し易くなる。

このように、情報処理装置は、ユーザが操作したいオブジェクトの存在する方向に首を動かしたとき、その動きに応じて、視線で選択し易くなるようにオブジェクトを移動させる。以下、情報処理装置による首の動きに応じたオブジェクトの表示位置を変更する処理について、詳細に説明していく。

［１．２．機能構成］
図３に、本実施形態に係る頭部装着型端末１０の情報処理装置１００の機能構成を示す。なお、図３には、首の動きに応じたオブジェクトの表示位置を変更する処理に関係する機能部を示しているが、情報処理装置１００は、これ以外の他の機能部を備えていてもよい。本実施形態に係る情報処理装置１００と、ジャイロセンサ１６および視線センサ１８により、ユーザの首の動きに応じてオブジェクトの表示位置を変更させる情報処理システムが構成される。

本実施形態に係る情報処理装置１００は、図３に示すように、表示部状態確認部１１０と、入力情報処理部１２０と、表示制御部１３０と、表示処理部１４０と、実行処理部１５０とを備える。

表示部状態確認部１１０は、表示部１２のオンオフ状態を確認する機能部である。表示部状態確認部１１０は、表示部１２のオンオフ状態を入力情報処理部１２０へ出力する。

入力情報処理部１２０は、頭部装着型端末１０のジャイロセンサ１６や視線センサ１８の検出結果や、頭部装着型端末１０の各種入力部からの情報に基づいて、ユーザからの入力情報を取得する。例えば、入力情報処理部１２０は、ジャイロセンサ１６の検出結果よりユーザの首の動きを解析し、ユーザが行った入力を特定する。また、例えば、入力情報処理部１２０は、視線センサ１８の検出結果より、表示部１２の表示領域２００に表示されているオブジェクトのうち、ユーザが見ているオブジェクトを特定する。また、入力情報処理部１２０は、表示部状態確認部１１０から入力された表示部１２のオンオフ状態と、各種入力部を用いて行われたユーザの操作とに基づいて、表示部１２のオンオフ状態の切り換える入力情報を特定する。

このように、入力情報処理部１２０は、ジャイロセンサ１６や視線センサ１８の検出結果や、頭部装着型端末１０の各種入力部からの情報に基づいて、ユーザから入力された操作あるいは動作の内容を入力情報として取得する。入力情報は、表示制御部１３０や実行処理部１５０へ出力される。

表示制御部１３０は、入力情報処理部１２０により取得された入力情報に基づいて、表示部１２に表示されているオブジェクトの表示位置を変更する。表示制御部１３０は、入力情報に基づき、ユーザの首の動きに応じて表示部１２に表示されたオブジェクトの表示位置を、ユーザが操作し易いように変更する。また、表示制御部１３０は、視線の動きに応じて選択されたオブジェクトを視覚的にわかるような表示を行ってもよい。なお、この表示制御部１３０による処理の詳細については後述する。表示制御部１３０は、表示部１２の表示を変化させる表示制御情報を表示処理部１４０へ出力する。

表示処理部１４０は、表示制御情報に基づいて表示部１２に表示するための各種表示処理を行う。オブジェクト等の表示領域２００に表示される表示情報は、表示処理部１４０により表示処理された後、表示部１２に表示される。

実行処理部１５０は、入力情報処理部１２０により取得された入力情報に基づいて、各種処理を実行する。実行処理部１５０は、例えば、表示部１２に表示されたオブジェクトが選択され、決定されたとき、当該オブジェクトに関連付けられているアプリケーションを実行する。

なお、本実施形態では、情報処理システムを構成するジャイロセンサ１６、視線センサ１８および情報処理装置１００を頭部装着型端末１０にすべて備える構成を示したが、本開示はかかる例に限定されない。例えば、頭部装着型端末１０にはジャイロセンサ１６および視線センサ１８のみを設け、情報処理装置１００を別途の情報処理端末に設けてもよい。情報処理端末としては、例えばスマートフォンやサーバ等が考えられる。この場合、各センサの検出結果は情報処理端末に送信され、情報処理端末の情報処理装置１００により表示制御処理される。情報処理端末は、処理結果に応じて頭部装着型端末１０の表示部１２に表示させる表示情報を頭部装着型端末１０に送信する。

［１．３．ユーザの首の動きに応じた表示変更処理］
次に、図４〜図１０に基づいて、本実施形態に係るユーザの首の動きに応じた表示変更処理について説明する。なお、図４は、本実施形態に係るユーザの首の動きに応じた表示変更処理を示すフローチャートである。図５は、表示部１２がオフ状態となる状況を説明する説明図である。図６は、ユーザの首の動きによる表示変更を不可とするための操作入力の一例を示す説明図である。図７は、ユーザの首の動きによる表示変更を不可とするための操作入力の他の一例を示す説明図である。図８は、ユーザの首の動きに応じてオブジェクトの表示位置を変更し、オブジェクトを選択する操作の一例を示す説明図である。図９は、選択されたオブジェクトをキャンセルする操作入力の一例を示す説明図である。図１０は、選択されたオブジェクトをキャンセルするキャンセルアイコンが表示された例を示す説明図である。

上述したように、頭部装着型端末１０において、視線入力を用いて表示部１２に表示されたオブジェクトを選択するとき、表示領域２００の端部に表示されているオブジェクトの選択は眼の負担となる。そこで、本実施形態では、ユーザの首の動きに応じて表示部１２に表示されたオブジェクトの表示位置を変更することにより、視線入力を用いてオブジェクトを選択するときの負荷を軽減する。

まず、入力に関して、一般的に頭部装着型端末１０では、ユーザからの入力が所定時間以上ない場合、電力消費抑制のため、自動で表示部１２をオフ状態にすることがある。例えば、図５左側に示すように、表示領域２００に２つのオブジェクト４Ａ、４Ｂが表示されているとする。このとき、ユーザからの入力が所定時間以上ない場合、図５右側に示すように表示部１２はオフ状態となり、オブジェクト４Ａ、４Ｂは非表示となる。表示部１２がオフ状態のときには、ユーザが首を左右に回しても何も起こらない。これは、例えばユーザが人と話している際の首の動き等により誤って何かしらの処理を実行してしまわないようにするためである。

そこで、本実施形態に係る表示変更処理では、図４に示すように、まず、表示部１２がオン状態であるか否かが確認される（Ｓ１００）。表示部１２のオンオフ状態の確認は、表示部状態確認部１１０により行われ、確認結果は入力情報処理部１２０へ出力される。入力情報処理部１２０は、確認結果より表示部１２がオン状態であれば、ステップＳ１２０の処理へ進む。一方、表示部１２がオフ状態であれば、入力情報処理部１２０は、表示部１２をオン状態とするユーザの操作入力があったか否かを判定する（Ｓ１１０）。

表示部１２をオン状態とする操作入力としては、例えば、頭部装着型端末１０に設けられた入力部から所定の操作を行ったり、首を上下に動かしてうなずくジェスチャを行ったりする等が考えられる。入力情報処理部１２０は、ステップＳ１１０にて、表示部１２をオン状態とする操作入力の有無を判定し、当該操作入力が検出されるまでステップＳ１００からの処理を繰り返す。そして、入力情報処理部１２０は、表示部１２をオン状態とする操作入力を検出すると、次いで、ユーザの首の動きに応じてオブジェクトの表示位置を変更する首入力モードがオン状態であるかを確認する（Ｓ１２０）。

表示部１２はオン状態であるが、首の動きによってオブジェクトの表示位置を変更させたくない場合もある。このような場合、例えばユーザは、首入力モードをオフ状態にすることもできる。首入力モードをオフ状態にする操作入力としては、例えば、図６に示すように、ユーザが首を左右に軽く振るような簡易な首のジェスチャであってもよい。あるいは、例えば図７に示すように、表示領域２００に表示された首入力モードをオフ状態にするためのｈｏｌｄボタン２２０に視線を移動させて選択、決定する操作であってもよい。

ステップＳ１２０にて首入力モードがオフ状態であると判定した場合には、ステップＳ１００からの処理に戻り、処理を繰り返す。一方、首入力モードがオン状態である場合、ユーザの首の動きを検出するジャイロセンサ１６の検出結果に基づき、表示制御部１３０によってユーザの首の動きに応じて表示部１２の表示領域２００に表示されたオブジェクトの表示位置が変更される（Ｓ１３０）。

例えば、図８左上に示すように、通常状態として表示領域２００の端部付近に２つのオブジェクト４Ａ、４Ｂからなるオブジェクト群が表示されており、ユーザがオブジェクト４Ａを選択する場合を考える。通常状態において、ユーザは正面を向いており、この正面の向きを基準位置とする。このとき、ユーザが選択したいオブジェクトが表示されている向き（図８では左側）に首を回す。この首の動きにより、図８右上に示すように、首を回した向きに表示されているオブジェクト群のみ、オブジェクト４Ａ、４Ｂの間隔Ｌが通常状態よりも大きくなるようにオブジェクト４Ａ、４Ｂの表示位置が変更される。

オブジェクト４Ａ、４Ｂの間隔Ｌは、ユーザの視線により選択されるオブジェクトを誤認識しない程度に広げればよい。例えば、４０ピクセル程度に間隔Ｌを設定するようにしてもよい。なお、この間隔Ｌは、ユーザの個人差やシステムの構成によって変化するため、例えば、頭部装着型端末１０の起動時に眼球のサッケード運動の程度を検出し、ユーザの視線の動きに応じた間隔Ｌを設定することで、より確実に視線入力の誤検出を防止することができる。

このように、オブジェクト４Ａ、４Ｂの間隔Ｌを大きくすることで、各オブジェクト４Ａ、４Ｂに視線を向けやすくなり、視線入力を用いて、よりロバストにオブジェクトを選択することができるようになる。また、首を左右に回すことにより、表示領域２００のサイズに寄らず、ユーザが自然に視線を動かすことのできる範囲にオブジェクトを配置させることが可能となる。

また、ユーザの首の動きによってオブジェクト４Ａ、４Ｂの間隔Ｌを広げる際に、これらのオブジェクト群において首の回転の向きと反対側にあるオブジェクト４Ｂの表示位置のみを変更させてもよいが、オブジェクト４Ａも表示領域中央側へ移動させてもよい。これにより、ユーザが自然に視線を向けにくい範囲から自然に視線を動かすことのできる範囲にオブジェクトが表示されるので、オブジェクトの選択が容易になる。

ユーザは、首を左右に回して表示領域２００に表示されているオブジェクト４Ａ、４Ｂの表示位置を変更させたりしながら、所望のオブジェクトを視線により選択する。例えば図８右下に示すように、視線をオブジェクト４Ａに向けることで、当該オブジェクト４Ａが選択された状態となる。このとき、ユーザに選択されているオブジェクトがわかりやすくなるように、例えばオブジェクトが選択されている状態を示す選択オブジェクト２３０を表示させてもよい。

そして、入力情報処理部１２０は、オブジェクトが選択された状態で当該オブジェクトを決定する操作入力が行われたか否かを判定する（Ｓ１４０）。オブジェクトを決定する操作入力としては、例えば、選択されたオブジェクトを所定時間見続けたり、頭部装着型端末１０の入力部から所定の操作を行ったり、首を上下に動かしてうなずくジェスチャを行ったりする等が考えられる。

ステップＳ１４０にてオブジェクトを決定する操作入力が行われない間は、ステップＳ１３０に戻り、処理を繰り返す。すなわち、ユーザの首の動きに応じて、表示領域２００に表示されたオブジェクトの表示位置が変更される。このとき、首の動きやユーザの視線により、選択されたオブジェクトのキャンセルを行うようにしてもよい。例えば図９左側に示すように、ユーザが首を左に回し、オブジェクト４Ａを選択した状態から、図９右側に示すように正面を向くことで、表示領域２００のオブジェクト４Ａ、４Ｂの表示位置を通常状態に戻し、オブジェクト４Ａの選択をキャンセルしてもよい。

あるいは、図１０に示すように、ユーザが首を回した向きと反対側にオブジェクトの表示を通常状態に戻すためのキャンセルオブジェクト２４０を設けてもよい。キャンセルオブジェクト２４０がユーザの視線により選択、決定されることで、オブジェクトの表示は通常状態となる。表示部１２のオブジェクト表示が通常状態とされると、ユーザが正面を向いたことを検出した後、ステップＳ１３０の処理が行われる。

ステップＳ１４０にてオブジェクトを決定する操作入力が行われたことが検出されると、実行処理部１５０は、決定されたオブジェクトに関連付けられた処理を実行する（Ｓ１５０）。

以上、本実施形態に係るユーザの首の動きに応じたオブジェクトの表示位置変更処理について説明した。本実施形態のように、ユーザが首を回すと、オブジェクトの表示位置をオブジェクトの間隔が広くなるように変更する。これにより、ユーザが視線を動かし易い位置にオブジェクトが表示されるので、視線によるオブジェクトの選択が行い易くなる。

なお、上記説明では、例えば図８に示すように、オブジェクト４Ａ、４Ｂが表示領域２００の左端付近に表示されている場合について説明したが、通常状態におけるオブジェクトの表示位置は上述の例に限らない。例えば、図１１に示すように、表示領域２００の幅方向にわたって複数のオブジェクト４Ａ〜４Ｇが近接して配列されている場合もある。このような場合にも、上述と同様、ユーザが首を回転させた向きにあるオブジェクトについてオブジェクトの間隔を広げることで、オブジェクトを選択しやすくなる。

具体的には、表示領域２００に配列されているオブジェクト４Ａ〜４Ｇの数が多いときには、例えば、ユーザが首を回転させた向きのオブジェクトの間隔を広げるとともに、首の回転角度に応じて表示領域２００に表示するオブジェクトを変化させてもよい。例えば、ユーザが正面を向いているときの表示状態である図１１左上の通常状態から、ユーザが少し（例えば１５°程度）首を左へ回転させると、図１１右上に示すように、通常状態において中央から左側にあるオブジェクト４Ｂ〜４Ｄのみが表示される。このときオブジェクト４Ｂ〜４Ｄは、通常状態よりも広い間隔で、等間隔に表示される。

そして、さらにユーザが首を左へ回転させると、図１１右下に示すように、通常状態において左端付近に表示されていたオブジェクト４Ａ〜４Ｃが、通常状態よりも広い間隔で、等間隔に表示される。このように、ユーザの首の回転に応じてオブジェクトの間隔を広げて表示する際に、首の回転角度に応じて表示するオブジェクトを変化させることにより、ユーザが視線により選択しやすいオブジェクトの間隔を維持することができる。

一般に、人の首を自然に回転させることの可能な範囲は左右それぞれ７０°程度とされている。これより、例えば、首が右に７０°回転されたとき右端のオブジェクトが表示され、首が左に７０°回転されたとき左端のオブジェクトが表示されるようにし、首が所定角度回転する毎に表示領域２００に表示されるオブジェクトを変化させるようにしてもよい。これにより、ユーザは無理のない首の動きで、選択しやすい状態で所望のオブジェクトを表示させることが可能となる。

一方、図１２に示すように、表示領域２００に表示されているオブジェクト４Ａ〜４Ｃの数が少ない場合もある。図１２に示す例では、図１１とは異なり、隣接するオブジェクトの間隔は十分にある。このとき、よりユーザがオブジェクトを選択しやすいように、図１１の場合と同様、首の回転と反対側にオブジェクトを移動させて、ユーザが視線で操作しやすい中央付近に表示させるようにしてもよい。

さらに、ユーザが首を回転させた分だけ、すなわち首の回転角度が大きくなるほど、隣接するオブジェクトの間隔を広げるようにしてもよい。オブジェクトの間隔が大きくなることで、隣接するオブジェクトを誤って選択する可能性が低くなり、誤操作を防止することができる。かかる処理は、オブジェクトの数が少ない場合に特に有効である。

＜２．第２の実施形態＞
次に、図１３〜図１５に基づいて、本開示の第２の実施形態に係るユーザの首の動きに応じたオブジェクトの表示位置変更処理について説明する。本実施形態では、表示部１２に表示可能なオブジェクト４Ａ〜４Ｚのうち、一部のみが表示領域２００に配列されている場合の処理について説明する。本実施形態においても、ユーザの首の動きに応じて、オブジェクトの間隔が大きくなるようにオブジェクトの表示位置が変更されるが、選択したいオブジェクトが非表示の場合もある。そこで、ユーザの首の動きにより、所望のオブジェクトを表示領域２００に表示させた後、オブジェクトの間隔を広げる処理を行うようにしてもよい。

例えば、図１３上側に示すように、ユーザが正面を向いている通常状態において、表示領域２００内にオブジェクト４Ａ〜４Ｅが表示されており、オブジェクト４Ｆ〜４Ｚが非表示とされているとする。このとき、ユーザが首を所定の角速度以上で左に回転させると、表示領域２００に表示されているオブジェクト４Ａ〜４Ｅが右側へ移動する。そして、図１３下側に示すように、通常状態において表示領域２００の左端に表示されていたオブジェクトが表示領域２００の中央付近に表示されるとともに、非表示であったオブジェクト４Ｙ、４Ｚが表示され、オブジェクト４Ｄ、４Ｅが非表示となる。

このように、ユーザが首を所定の角速度以上で動かすことにより、オブジェクトをスクロールすることができ、非表示のオブジェクトを表示させることが可能となる。ユーザはかかる動作を行い、所望のオブジェクトを表示領域２００に表示させる。その後、ユーザは視線により所望のオブジェクトを選択するが、第１の実施形態にて説明したように、表示領域２００の端部付近に表示されているオブジェクトには視線を向けにくい。そこで、第１の実施形態に係る処理を適用し、ユーザの首の動きによってオブジェクトの間隔を広げることで、端部にあったオブジェクトも視線により容易に操作できるようになる。

ここで、オブジェクトの間隔を広げるための首の動作は、ユーザが正面を向いた状態から行うと行い易い。そこで、ユーザが首を所定の角速度以上で動かしてオブジェクトをスクロールさせた後、所定時間はユーザが所定の角速度より遅く首を回転させても、その表示を変化させないようにしてもよい。

例えば、図１４上側に示すように、ユーザが所定の角速度以上で左に首を回転させ、表示領域２００にオブジェクト４Ｙ〜４Ｃが表示されているとする。その後、所定時間内にユーザが所定の角速度より遅く首を回転させて正面を向いても、図１４下側に示すように、表示領域２００にはオブジェクト４Ｙ〜４Ｃが表示されている状態を維持する。これにより、ユーザは、オブジェクト４Ｙ〜４Ｃから所望のオブジェクトを選択する際に、オブジェクトの間隔を広げるための首の動作を行い易くなる。

なお、ユーザが首を所定の角速度以上で動かしてオブジェクトをスクロールさせた後、所定時間内に首を回転させて正面を向いた後、首を回転させる動作が所定時間以上行われなかった場合には、図１５に示すように、表示領域２００に表示されるオブジェクトをスクロール前の状態に戻すようにしてもよい。

以上、第２の実施形態に係るユーザの首の動きに応じたオブジェクトの表示位置変更処理について説明した。本実施形態によれば、表示領域２００に表示されないオブジェクトが存在する場合に、首を所定の角速度以上で回転させることでオブジェクトをスクロールすることが可能となる。そして、表示領域２００に所望のオブジェクトが表示された状態で、所定の角速度より遅く首を回転させることで、回転方向に表示されているオブジェクトの間隔を広げることができる。これにより、オブジェクトを選択しやすい状態で表示させることができる。

＜３．変形例＞
上記実施形態では、ユーザの首の動きに応じてオブジェクトの間隔を広げるとき、表示領域の幅方向（水平方向）の間隔が広くなるようにオブジェクトの表示位置を変更させたが、本技術はかかる例に限定されない。例えば、図１６に示すように、ユーザが正面を向いている通常状態において、表示領域２００の左端にオブジェクト４Ａ、４Ｂが隣接して表示されているとする。このとき、ユーザが左側に首を回転すると、オブジェクト４Ａ、４Ｂを水平方向および垂直方向に移動させることにより、これらの間隔を広げるようにしてもよい。

あるいは、図１７に示すように、ユーザが正面を向いている通常状態において、表示領域２００の左端にオブジェクト４Ａ〜４Ｃが積層して表示されているとする。このとき、ユーザが左側に首を回転すると、オブジェクト４Ａ〜４Ｃを水平方向および垂直方向にばらけるように移動させて、これらの間隔を広げるようにしてもよい。

このように、ユーザの首の動きに応じて変更されるオブジェクトの表示位置は、水平方向のみ変更するようにしてもよく、水平方向および垂直方向ともに変更するようにしてもよい。また、ユーザの首の動きは左右（すなわち、水平方向）の動き以外にも、上下の動きであってもよい。

＜４．ハードウェア構成例＞
本実施形態に係る頭部装着型端末１０は、例えば図１８に示すように構成することもできる。以下、図１８に基づいて、本実施形態に係る頭部装着型端末１０の一ハードウェア構成例について説明する。

本実施形態に係る頭部装着型端末１０は、上述したように、コンピュータ等の処理装置により実現することができる。頭部装着型端末１０は、図１８に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、頭部装着型端末１０は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って頭部装着型端末１０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。

ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。

ストレージ装置９０８は、頭部装着型端末１０の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

ドライブ９０９は、記憶媒体用リーダライタであり、頭部装着型端末１０に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網５に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、ユーザの首の動きを検出するためのセンサとして、ジャイロセンサ１６を用いたが、本技術はかかる例に限定されない。例えば、頭部装着型端末１０に外部を撮影するカメラを設け、当該カメラにより撮影された画像に含まれる特徴点の移動量を画像処理により取得することで、ユーザの首の動きや角速度を求めてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）ユーザの視線を検出する視線検出部と、
ユーザが装着する装置の動きを検出する動き検出部と、
表示領域に表示されている視線により選択可能なオブジェクトを前記装置の動きに応じて移動させる表示制御部と、
を備える、情報処理システム。
（２）前記表示制御部は、前記オブジェクトを前記装置の動いた方向と異なる方向に移動させる、前記（１）に記載の情報処理システム。
（３）前記表示制御部は、隣接する前記オブジェクトの間隔が広がるように移動させる、前記（１）または（２）に記載の情報処理システム。
（４）前記装置の動きに応じて前記オブジェクトが移動されたとき、前記表示制御部は、移動前の前記オブジェクトの表示状態に戻すためのキャンセルオブジェクトを、前記表示領域における前記装置の動いた方向と逆側の位置に表示させる、前記（１）〜（３）のいずれか１項に記載の情報処理システム。
（５）前記装置が前記オブジェクトを移動させる前の位置に戻ったとき、前記表示制御部は、前記オブジェクトを移動前の表示状態に戻す、前記（１）〜（４）のいずれか１項に記載の情報処理システム。
（６）前記動き検出部は、基準位置からの前記装置の回転角度を検出する、前記（１）〜（５）のいずれか１項に記載の情報処理システム。
（７）前記動き検出部は、前記装置の角速度を検出する、前記（１）〜（６）のいずれか１項に記載の情報処理システム。
（８）前記表示制御部は、前記装置の角速度が所定速度以上であるとき、前記オブジェクトを前記装置の動いた方向と異なる方向にスクロールさせる、前記（７）に記載の情報処理システム。
（９）前記表示制御部は、前記オブジェクトがスクロールされた後、所定時間が経過するまで、前記スクロール後のオブジェクトの表示状態を維持する、前記（８）に記載の情報処理システム。
（１０）前記装置は頭部装着型表示装置であり、
前記動き検出部は、前記頭部装着型表示装置を装着したユーザの首の動きによる装置の動きを検出する、前記（１）〜（９）のいずれか１項に記載の情報処理システム。
（１１）ユーザが装着する装置の動きを検出すること、
表示領域に表示されている視線により選択可能なオブジェクトを前記装置の動きに応じて移動させること、
を含む、情報処理方法。

１０ 頭部装着型端末
１２ 表示部
１６ ジャイロセンサ
１８ 視線センサ
１００ 情報処理装置
１１０ 表示部状態確認部
１２０ 入力情報処理部
１３０ 表示制御部
１４０ 表示処理部
１５０ 実行処理部
２００ 表示領域

Claims (10)

1. ユーザの視線を検出する視線検出部と、
   ユーザが装着する装置の動きを検出する動き検出部と、
   表示領域に表示されている視線により選択可能なオブジェクトを前記装置の動きに応じて移動させると共に、隣接する前記オブジェクトの間隔が広がるように移動させる表示制御部と、
   を備える、情報処理システム。
2. 前記表示制御部は、前記オブジェクトを前記装置の動いた方向と異なる方向に移動させる、請求項１に記載の情報処理システム。
3. 前記装置の動きに応じて前記オブジェクトが移動されたとき、前記表示制御部は、移動前の前記オブジェクトの表示状態に戻すためのキャンセルオブジェクトを、前記表示領域における前記装置の動いた方向と逆側の位置に表示させる、請求項１または２に記載の情報処理システム。
4. 前記装置が前記オブジェクトを移動させる前の位置に戻ったとき、前記表示制御部は、前記オブジェクトを移動前の表示状態に戻す、請求項１〜３のいずれか１項に記載の情報処理システム。
5. 前記動き検出部は、基準位置からの前記装置の回転角度を検出する、請求項１〜４のいずれか１項に記載の情報処理システム。
6. 前記動き検出部は、前記装置の角速度を検出する、請求項１〜５のいずれか１項に記載の情報処理システム。
7. 前記表示制御部は、前記装置の角速度が所定速度以上であるとき、前記オブジェクトを前記装置の動いた方向と異なる方向にスクロールさせる、請求項６に記載の情報処理システム。
8. 前記表示制御部は、前記オブジェクトがスクロールされた後、所定時間が経過するまで、前記スクロール後のオブジェクトの表示状態を維持する、請求項７に記載の情報処理システム。
9. 前記装置は頭部装着型表示装置であり、
   前記動き検出部は、前記頭部装着型表示装置を装着したユーザの首の動きによる装置の動きを検出する、請求項１〜８のいずれか１項に記載の情報処理システム。
10. ユーザが装着する装置の動きを検出すること、
    表示領域に表示されている視線により選択可能なオブジェクトを前記装置の動きに応じて移動させると共に、隣接する前記オブジェクトの間隔が広がるように移動させること、
    を含む、情報処理方法。

Images