JP2017111669A - 情報処理装置および操作受付方法 - Google Patents

Abstract

【課題】操作受付画面において操作性と仮想空間の世界観を両立させる。【解決手段】仮想空間において、ユーザ５１６が正面を向いたときの視線ベクトルを含む水平面にあり頭部を中心とする円周５１２と交差するように、アイコン５１４ａ、５１４ｂを配列させる。このとき中心位置が円周５１２より上にあるアイコン５１４ａと、下にあるアイコン５１４ｂとを交互に配置する。頭部の姿勢情報に基づき、ユーザの顔面の法線ベクトル５１７を視線として特定し、それを中心とする垂直面にスクリーン５１８を設定して仮想空間のオブジェクトを投影することによりメニュー画面を描画する。【選択図】図７

Description

この発明は、ユーザとのインタラクションにより情報処理を実施する情報処理装置およびそれが実施する操作受付方法に関する。

ユーザの体やマーカーをカメラで撮影し、その像の領域を別の画像で置換してディスプレイに表示するゲームが知られている。撮影画像のみならず、各種センサをユーザに装着させたり把持させたりしてその計測値を解析し、ゲームなどの情報処理に反映させる技術は、小型のゲーム機からレジャー施設まで、その規模によらず幅広い分野で利用されている。

その一例として、ヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

ユーザがヘッドマウントディスプレイなどのウェアラブルディスプレイを装着した状態では特に、コントローラやキーボードなどの入力デバイスを用いてシステムに対し操作入力を行うことは難しい。また表示装置の種類によらず、動画やゲームなどの電子コンテンツ表示時に、パノラマ画像や立体視により仮想空間への没入感を与えるような高度な画像表現を実現しても、当該電子コンテンツを選択するメニュー画面や設定画面で上記のような入力デバイスを必要としたり簡素な画面構成としたりすれば、ユーザの興味がそがれてしまう。したがってそのような操作受付画面の表示においても、仮想空間が表現する世界観を維持しつつ、操作性も損なわない技術が求められている。

本発明はこうした課題に鑑みてなされたものであり、その目的は、操作受付画面の表示において、仮想空間が表現する世界観と操作性とを両立できる技術を提供することにある。

上記課題を解決するために、本発明のある態様は情報処理装置に関する。この情報処理装置は、複数のアイコンを含むメニュー画面を生成しユーザからの選択操作を受け付ける情報処理装置であって、仮想空間に複数のアイコンを配列させるアイコン配置部と、ユーザの頭部の姿勢情報を取得し、それに基づき仮想空間に対する視野面を決定する視野制御部と、視野面に対する仮想空間の投影画像を描画したうえ、ユーザの視点を表すカーソルを重畳表示したメニュー画面を生成し表示装置に出力する画像生成部と、メニュー画面に描画されるアイコンおよびその他のオブジェクトの像と、カーソルとの位置関係に基づき、操作内容を特定する操作判定部と、を備え、アイコン配置部は、仮想空間の水平方向に、少なくとも１つのアイコンの中心が他のアイコンの中心と上下方向にずれ量を有するように複数のアイコンを配列させることを特徴とする。

本発明の別の態様は、操作受付方法に関する。この操作受付方法は、複数のアイコンを含むメニュー画面を生成しユーザからの選択操作を受け付ける、情報処理装置による操作受付方法であって、仮想空間に複数のアイコンを配列させるステップと、ユーザの頭部の姿勢情報を取得し、それに基づき仮想空間に対する視野面を決定するステップと、視野面に対する仮想空間の投影画像を描画したうえ、ユーザの視点を表すカーソルを重畳表示したメニュー画面を生成し表示装置に出力するステップと、メニュー画面に描画されるアイコンおよびその他のオブジェクトの像と、カーソルとの位置関係に基づき、操作内容を特定するステップと、を含み、アイコンを配列させるステップは、仮想空間の水平方向に、少なくとも１つのアイコンの中心が他のアイコンの中心と上下方向にずれ量を有するように複数のアイコンを配列させることを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、仮想空間が表現する世界観と操作性とを両立した操作受付画面を提供できる。

本実施の形態のヘッドマウントディスプレイの外観図である。 本実施の形態のヘッドマウントディスプレイの機能構成図である。 本実施の形態の情報処理システムの構成図である。 本実施の形態の情報処理装置の内部回路構成を示す図である。 本実施の形態における情報処理装置の機能ブロックを示す図である。 本実施の形態で表示されるメニュー画面を例示する図である。 本実施の形態においてメニュー画像を生成する際に構築される仮想空間の例を模式的に示す図である。 本実施の形態における、視線の動きに応じたメニュー画面の変遷を例示する図である。 本実施の形態のアイコン配列と視点の動きの関係を模式的に示す図である。 本実施の形態における、アイコン配列を変位させる操作を含むメニュー画面の変遷を例示する図である。 本実施の形態において情報処理装置がメニュー画面を生成し選択操作を受け付ける処理手順を示すフローチャートである。

本実施の形態では、メニュー画面など選択操作を受け付ける画面を、ユーザの視線の動きに応じて視野を変化させつつ表示する。その限りにおいて、画像を表示させる装置の種類は特に限定されず、ウェアラブルディスプレイ、平板型のディスプレイ、プロジェクタなどのいずれでもよいが、ここではウェアラブルディスプレイのうちヘッドマウントディスプレイを例に説明する。

ウェアラブルディスプレイの場合、ユーザの視線は内蔵するモーションセンサによりおよそ推定できる。その他の表示装置の場合、ユーザがモーションセンサを頭部に装着したり、注視点検出装置を用いて赤外線の反射を検出したりすることで視線を検出できる。あるいはユーザの頭部にマーカーを装着させ、その姿を撮影した画像を解析することにより視線を推定してもよいし、それらの技術のいずれかを組み合わせてもよい。

図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、本体部１１０、前頭部接触部１２０、および側頭部接触部１３０を含む。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。ヘッドマウントディスプレイ１００に内蔵または外付けされたモーションセンサにより、ヘッドマウントディスプレイ１００を装着したユーザの頭部の回転角や傾きといった姿勢情報を計測することができる。

ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ装置」の一例である。ウェアラブルディスプレイ装置には、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドホン、ヘッドセット（マイクつきヘッドホン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなど任意の装着可能なディスプレイ装置が含まれる。

図２は、ヘッドマウントディスプレイ１００の機能構成図である。制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイに表示させる。バックライト３２は、液晶ディスプレイにバックライトを供給する。

通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

モーションセンサ６４は、ヘッドマウントディスプレイ１００の本体部１１０の回転角や傾きなどの姿勢情報を検出する。モーションセンサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。

時計部８０は、制御部１０からの設定信号によって時間情報を設定し、時間データを制御部１０に供給する。制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイに表示させたり、通信制御部４０に供給して外部に送信させたりすることができる。

図３は、本実施の形態に係る情報処理システムの構成図である。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインタフェース３００で情報処理装置２００に接続される。情報処理装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを情報処理装置２００に提供してもよい。ヘッドマウントディスプレイ１００は、情報処理装置２００の代わりに、コンピュータや携帯端末に接続されてもよい。

ヘッドマウントディスプレイ１００に表示される画像は、あらかじめ撮影された３６０度のパノラマ静止画またはパノラマ動画の他、ゲーム空間のような人工的なパノラマ画像であってもよい。また、ネットワーク経由で配信される遠隔地のライブ映像であってもよい。ただし本実施の形態をパノラマ画像に限定する主旨ではなく、表示装置の種類によって、パノラマ画像とするか否かを適宜決定してよい。

図４は情報処理装置２００の内部回路構成を示している。情報処理装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インタフェース２２８が接続されている。

入出力インタフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インタフェースや、有線又は無線ＬＡＮのネットワークインタフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００などの表示装置へデータを出力する出力部２３６、ヘッドマウントディスプレイ１００からデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。

ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより情報処理装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図５は、本実施の形態における情報処理装置２００の機能ブロックを示している。本実施の形態における情報処理装置２００は、上述のとおり視線の動きにより視野が変化するとともに、当該視線によって複数の選択肢から１つを選択する入力を受け付けるための画面（以後、「メニュー画面」と呼ぶ）を生成する。そして当該画面に対する選択入力を受け付け、それに対応する処理を実行する。選択に応じてなされる処理は特に限定されないが、ここでは一例として、ゲームや動画などの電子コンテンツの処理を想定する。そして各電子コンテンツを表象するアイコンの配列をメニュー画面に表す。

なお図５で示した情報処理装置２００の機能のうち少なくとも一部を、ヘッドマウントディスプレイ１００の制御部１０に実装してもよい。あるいは、情報処理装置２００の少なくとも一部の機能を、ネットワークを介して情報処理装置２００に接続されたサーバに実装してもよい。またメニュー画面を生成し選択入力を受け付ける機能をメニュー画面制御装置として、電子コンテンツを処理する装置と別に設けてもよい。

同図は情報処理装置２００が有する機能のうち、主にメニュー画面の制御に係る機能に着目したブロック図を描いている。これらの機能ブロックは、ハードウェア的には、図４に示したＣＰＵ、ＧＰＵ、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

情報処理装置２００は、ヘッドマウントディスプレイ１００の位置や姿勢を取得する位置・姿勢取得部７１２、ユーザの視線に基づき表示画像の視野を制御する視野制御部７１４、表示対象のアイコンに係る情報を記憶するアイコン情報記憶部７２０、仮想空間におけるアイコン配列を決定するアイコン配置部７２２、視線の変化により操作がなされたことを判定する操作判定部７１８、選択された電子コンテンツを処理するコンテンツ処理部７２８、表示画像のデータを生成する画像生成部７１６、選択対象のコンテンツに係る情報を記憶するコンテンツ情報記憶部７２４、および、生成されたデータを出力する出力部７２６を備える。

位置・姿勢取得部７１２は、ヘッドマウントディスプレイ１００のモーションセンサ６４の検出値に基づいて、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢を所定のレートで取得する。位置・姿勢取得部７１２はさらに、情報処理装置２００に接続した図示しない撮像装置による撮影画像に基づき、頭部の位置や姿勢を取得したり、その結果をモーションセンサによる情報と統合したりしてもよい。

視野制御部７１４は、位置・姿勢取得部７１２により取得された頭部の位置や姿勢に基づいて、描画対象の３次元空間に対する視野面（スクリーン）を設定する。本実施の形態のメニュー画面では、表示対象の複数のアイコンを、仮想空間の中空に浮かんでいるように表現する。したがって視野制御部７１４は、当該アイコンを配置するための仮想的な３次元空間の情報を保持している。

アイコン以外で当該空間に表す物は特に限定されないが、例えば背景を表す面やオブジェクトなどを、一般的なコンピュータグラフィクスと同様のグローバル座標系に定義する。例えば空中に浮かぶアイコンとユーザの頭部を包含するような大きさの全天球状の背景オブジェクトを配置してもよい。これにより空間に奥行き感が生じ、アイコンが空中に浮いている状態をより印象づけられる。そして視野制御部７１４は、当該グローバル座標系に対するスクリーン座標を、ヘッドマウントディスプレイ１００の姿勢に基づいて所定のレートで設定する。

ヘッドマウントディスプレイ１００の姿勢、すなわちユーザ頭部のオイラー角によってユーザの顔面の向く方向が判明する。視野制御部７１４は少なくとも、当該顔面の向く方向に対応させてスクリーン座標を設定することにより、ユーザが向く方向に応じた視野で仮想空間がスクリーン平面に描画されるようにする。この場合、ユーザの顔面の法線ベクトルをおよそ視線の方向と推定していることになる。

なお赤外線の反射などにより注視点を検出する装置を用いればさらに詳細な視線情報を得ることができる。以後の説明では、導出手法によらず推定あるいは検出された、ユーザが見ている方向を総じて「視線」の方向と称する。視野制御部７１４は、ユーザ頭部の姿勢の変化が所定の値を超えるまでは検出された角度の変化を無視するようにして、意図せず画像がぶれるのを防いでもよい。また表示画像のズーム操作を受け付けるような場合は、ズーム倍率に基づいて頭部の角度検出の感度を調整してもよい。

アイコン配置部７２２は、各電子コンテンツを表象するアイコンの配列を決定する。上述のとおりアイコンは仮想空間に浮いているように表す。より具体的には、ユーザが正面（水平方向）を向いているときの視線と同一水平面上あるいはその近傍に、水平方向にアイコンを配列させる。これにより、首を横に振る動作を基本としてアイコンを選択できるようにする。アイコンは各電子コンテンツのサムネイル画像を表す球体などのオブジェクトとする。

アイコン情報記憶部７２０には、アイコンの形状や、アイコンを表示すべき電子コンテンツに係る情報が格納されている。アイコン配置部７２２は、アイコン情報記憶部７２０に格納された情報に基づき、表示すべきアイコンの数を特定し、それに応じて配置パターンや配列の及ぶ範囲を最適化する。具体例は後に述べるが、仮想空間においてアイコンを配列できる範囲と、表示すべきアイコンの数を考慮して、アイコンの中心位置を上下にずらすなどして最適化する。これにより、多くのアイコンであっても適切な間隔を保ちつつ効率的な選択ができるようにする。

アイコン配置部７２２はさらに、ユーザの操作に応じて、そのようなアイコン配列を、順列を保ったまま仮想空間内で変位させる。つまりグローバル座標系において配列自体を変位させる。これにより、多数のアイコンを含む配列であっても、ユーザの前方など容易に見ることのできる範囲に所望のアイコンを引き寄せることができる。アイコン配置部７２２は、コンテンツの識別情報と、当該コンテンツを表すアイコンの配置情報を対応づけて、画像生成部７１６に供給する。

操作判定部７１８は、ユーザの視線の動きにより、メニュー画面の視野変化以外の何らかの操作がなされたか否かを判定する。ここで判定される操作とは、アイコンの選択、選択されたアイコンに対応する電子コンテンツの再生、処理開始、ダウンロード、情報表示、対応するウェブサイトへの表示の移行、ヘルプ情報の表示などである。例えば、アイコン配列のうち１つのアイコンに視線が到達したとき、当該アイコンが選択されたと判定する。これに応じて、対応するコンテンツへの具体的な操作内容を選択するための操作ボタンを追加で表示させ、それに視線が移されたら当該操作がなされたと判定する。

操作判定部７１８は、そのような処理を実施するための判定基準とそれに応じてなすべき処理に係る設定情報を保持している。操作がなされたと判定され、それが操作ボタン等、追加のオブジェクトをメニュー画面に表示させるべきものである場合は、操作判定部７１８はその旨の要求を画像生成部７１６に通知する。メニュー画面用の仮想空間内で処理が完結するその他の場合、例えば選択状態のコンテンツに係る概説を表示する操作がなされた場合や、メニュー画面に対するヘルプ情報を表示する操作がなされた場合なども、操作判定部７１８はその旨の処理要求を画像生成部７１６に通知する。

電子コンテンツの再生・処理開始や、ウェブサイトへの表示の移行など、メニュー画面用の仮想空間から表示を切り替える操作がなされた場合、操作判定部７１８はその旨の要求をコンテンツ処理部７２８に通知する。操作判定部７１８はさらに、アイコン配列を変位させる操作がなされたか否かを判定し、なされた場合はその旨の要求をアイコン配置部７２２に通知する。

画像生成部７１６は、アイコン配置部７２２が決定したアイコン配列を含む仮想空間を、視野制御部７１４が決定したスクリーンに投影することにより、メニュー画面として表示させる画像を所定のレートで描画する。上述のとおり仮想空間には、背景オブジェクトなどアイコン配列以外の物が存在していてもよい。画像生成部７１６は、選択状態にある、すなわち視線が向いているアイコンのサムネイル画像が背景全体に表されるように、背景オブジェクトのテクスチャ画像を切り替えてもよい。

画像生成部７１６は、ヘッドマウントディスプレイ１００において立体視できるようにメニュー画面の画像を生成してもよい。すなわちヘッドマウントディスプレイ１００の画面を左右に分割してなる領域にそれぞれ表示するための、左眼用、右眼用の視差画像を生成してもよい。画像生成部７１６はさらに、操作判定部７１８からの要求に応じて画像に変化を与える。例えば、選択状態のアイコンを拡大表示させたり、そのようなアイコンの近傍に、具体的な操作を受け付けるための操作ボタンを表示させたりする。

あるいはコンテンツを概説する文字情報やメニュー画面に対するヘルプ情報などを表示する。各コンテンツについての文字情報や、アイコンや背景の描画に用いるサムネイル画像などのデータは、コンテンツの識別情報に対応づけてコンテンツ情報記憶部７２４に格納しておく。あるいはネットワークを介して接続されたサーバから直接取得してもよい。上述のように全天球の背景オブジェクトを配置する場合、コンテンツ情報記憶部７２４には、各電子コンテンツに対応して作成された、あるいはメニュー画面用に作成された、パノラマ画像のデータを格納しておく。

パノラマ画像は、定点を中心とする周囲の空間の画像の一例であり、全天球のパノラマ画像の場合、周囲の空間（パノラマ空間）は球で表される。なお背景の画像は、事前に作成された動画または静止画コンテンツであってもよく、レンダリングされたコンピュータグラフィックスであってもよい。

コンテンツ処理部７２８は、操作判定部７１８からの要求に応じて、選択されたアイコンに対応する電子コンテンツを処理する。すなわち動画や静止画を再生したり、ゲームを開始させたりする。そのためのデータやプログラムは、コンテンツの識別情報に対応づけてコンテンツ情報記憶部７２４に格納しておく。画像生成部７１６は、コンテンツ処理部７２８からの要求に従い、動画像やゲーム画面などコンテンツ表示のための画像も生成する。コンテンツの具体的な処理については一般的な技術を適用できるため、ここでは説明を省略する。

出力部７２６は、画像生成部７１６が生成した画像のデータを、ヘッドマウントディスプレイ１００に所定のレートで送出する。出力部７２６はさらに、メニュー画面用の音楽や各種コンテンツに含まれる音声などの音響データも出力してよい。

図６は、ヘッドマウントディスプレイ１００に表示されるメニュー画面を例示している。メニュー画面５００は、ユーザの周囲に構築された仮想空間のうち、ユーザの視線に対応する視野内にある物を表現している。したがって、アイコン配置部７２２が配列させた複数のアイコンのうち、当該視野内にある一部のアイコン５０２ａ〜５０２ｇが表示されている。各アイコン５０２ａ〜５０２ｇの上方には、アイコンが表すコンテンツのタイトル等を文字情報として表示する。ユーザは首を横方向に振ることにより、視線、ひいては視野を移動させ、そのほかのアイコンも閲覧することができる。

アイコン５０２ａ〜５０２ｇの背後には、背景を表すオブジェクトも描画される。上述のように全天空を表す背景オブジェクトとした場合、それに貼り付けられたテクスチャ画像が奥行き感を伴い表現される。これによりアイコン５０２ａ〜５０２ｇは、背景オブジェクトで包含された空間に浮いているように演出できる。図示する例では、アイコン５０２ａ〜５０２ｇは、各電子コンテンツのサムネイル画像をテクスチャマッピングした球形のオブジェクトである。ただしアイコンの形状をこれに限定する主旨ではない。

メニュー画面５００にはさらに、画像平面とユーザの視線が交差する点、すなわちメニュー画面におけるユーザの視点を表すカーソル５０４を表示する。上述のようにメニュー画面５００の視野は、視線の動きに応じて変化する。結果として視点を表すカーソル５０４は、視線の動きによらず、メニュー画面５００の略中央に据え置かれることになる。すなわちユーザの視線の方向が変化すると視野も同様に変化するため、画面上ではカーソル５０４は定位置にあり、相対的にアイコン配列および背景オブジェクトを含む仮想世界が逆方向に変位することになる。

カーソル５０４は、情報処理装置２００が視点と認識している位置をユーザ自身に知らしめ、ユーザがそれを手がかりに首の振り幅を直感的に調整することにより、所望のアイコンや操作ボタンを正確に操作できるようにするものである。その限りにおいては、カーソル５０４は厳密にユーザの視点と一致していなくてもよい。また視線の動きの速さなどによって、画面の中心から外れることがあってもよい。

なおメニュー画面５００にはさらに、図示しないその他のオブジェクトを表示させてもよい。例えばヘルプ情報を表示させるための操作ボタンを仮想空間における下方に配置し、視線を下に向けることにより画面に出現させてその操作を受け付けるようにしてもよい。

図７は、メニュー画像を生成する際に構築される仮想空間の例を模式的に示している。上述のとおり仮想空間には、ユーザ５１６の頭部を横切る水平面、例えばユーザ５１６が正面を向いたときの視線ベクトルを含む水平面を基準として水平方向にアイコンを配列させる。同図の例では、ユーザの頭部を中心とし、所定の半径Ｚを有する円周５１２と交差するように、アイコン（例えばアイコン５１４ａ、５１４ｂ）を規則的に配列させている。

さらにユーザ５１６の頭部の位置を中心とする球面５１０を設定し、背景オブジェクトとしている。そしてユーザの顔面の向く方向（顔面の法線ベクトル５１７）を視線として特定し、それを中心とする垂直面にスクリーン５１８を設定して仮想空間のオブジェクトを投影する。これにより、図６で示したようなメニュー画面５００が描画される。

アイコン配置部７２２は上述のとおり、状況に応じてアイコンの配列を最適化する。最も単純には、全てのアイコンの中心が円周５１２上に位置するように一列（一周）に並べることが考えられる。アイコンは全て等間隔で配列させてもよいし、ユーザの前方に対応する範囲に優先的に配置してもよい。

一方で、このように頭部の周囲にアイコンを配列させる態様では、配列可能な範囲が円周５１２の長さで決まるため、自ずと一度に表示できるアイコンの数が制限される。半径Ｚを大きくすると円周が長くなり、より多くのアイコンを配列させられるが、それに応じてアイコンの見かけ上のサイズや、文字情報の表示可能領域が小さくなり見づらくなってしまう。

そこで少なくとも１つのアイコンの中心が、他のアイコンの中心と上下方向に差を有するように配列させることにより、表示できるアイコン数の上限を増やす。図示する例では、×印で表記した中心が、円周５１２より上にあるアイコン５１４ａと、下にあるアイコン５１４ｂとを交互に配置している。つまり垂直方向の位置を交互に変化させている。このようにすることで、一列に並べる場合と比較して、半径Ｚを変化させず、またアイコン同士の間隔を同程度に保っても、表示できるアイコンの数の上限を５０％程度増やすことができる。

図８は、視線の動きに応じたメニュー画面の変遷を例示している。同図では、メニュー画面のうちアイコン配列の部分のみを左側に示すとともに、そのときのユーザの頭部を左側面から見た状態を右側に示している。まず上段の（ａ）の画面では、これまで述べたようにして表示されるアイコン５２０の配列と、ユーザの視点を表すカーソル５２２が表示されている。図７を参照して説明したように、仮想空間においてアイコン５２０は、ユーザが正面を向いたときの視線の高さで、頭部を取り囲むように配置されている。

結果として、同図右側に示すように正面を向いた状態において、アイコン配列の縦方向の中心は、視点を表すカーソル５２２と略同じ高さになる。（ａ）の状態では、カーソル５２２がアイコン５２０と重なっていないため、全てのアイコンが非選択状態であり同じ大きさとなっている。なおアイコン５２０は画面中央ほどユーザからの仮想的な距離が遠くなるため、厳密にはそのような距離に応じたサイズで表示されるがここでは無視している。以後の図でも同様である。

ここでユーザが首を微少量、右方に振ると、すなわち右方に視線を移動させると、それに応じて画面の視野が右方に移動する。結果として中段の（ｂ）に示すように、画面内でのカーソル５２２の位置は変化しないが、アイコン配列が相対的に左方へ移動する。当然、左方に視線を動かせば画面内でアイコン配列が右方へ移動する。このような動きにより、あるアイコン５２４にカーソル５２２が重なったら、当該アイコンが５２４を拡大表示することで選択状態であることを表す。

アイコンが選択状態となったら、当該アイコン５２４の下方に操作ボタンを追加で表示する。操作ボタンはアイコンが表すコンテンツの種類によって様々でよいが、同図では動画コンテンツを想定し、情報表示ボタン５２６ａ、再生開始ボタン５２６ｂ、対応ウェブサイト表示ボタン５２６ｃ（以後、「操作ボタン５２６」と総称する場合がある）の３つを表示している。この状態でユーザがうなずくようにして視線を下方に動かすと、それに応じて画面の視野が下方に移動する。

結果として下段の（ｃ）に示すように、画面内でのカーソル５２２の位置は変化しないが、アイコン配列が相対的に上方へ移動する。これによりカーソル５２２が操作ボタン５２６のいずれかと重なったら、当該操作ボタンに対応する操作を受け付ける。図示する例では再生開始ボタン５２６ｂと重なっているため、選択状態のアイコン５２４が表す動画コンテンツの再生開始操作を受け付け、再生処理を開始する。この場合、表示中のメニュー画面から動画へ表示が切り替わるため、その制御はコンテンツ処理部７２８が行う。

なおカーソル５２２が情報表示ボタン５２６ａと重なった場合は、メニュー画面と同じ仮想空間内で動画を概説する文字情報へ表示を切り替える。カーソル５２２が対応ウェブサイト表示ボタン５２６ｃと重なった場合は、当該ウェブサイトを提供するサーバへ接続することによりウェブサイトの表示へ切り替える。操作ボタンとしてはこのほか、選択状態のアイコンが表す電子コンテンツをダウンロードするボタンなどを表示させてもよい。

図示するように操作ボタン５２６を選択状態のアイコン５２４の下方近傍に出現させることにより、より少ない労力で、かつアイコン選択との連続性を保ちながら各種操作が可能になる。結果として操作ボタン５２６が、選択状態にない他のアイコンと重なる可能性が生じるが、操作ボタンを表示している期間は他のアイコンの選択を無効とすることにより、操作ボタンに対する操作を優先させる。

操作ボタンに対する操作を有効とし、それに対応する処理を開始するために、何らかの条件を設定してもよい。例えばカーソル５２２が操作ボタンに重なってから所定時間が経過したことを条件に、操作を有効と判定してもよい。この場合、カーソル５２２が操作ボタンに重なった時点で、操作が有効とされるまでの残り時間を表すインジケータを別途、表示してもよい。このようにすることで、首の微妙な動きで偶然、操作ボタンにカーソルがかかってしまい、意図しない処理が頻繁に開始されてしまうといった不具合を解消できる。また意図してカーソル５２２を操作ボタンに移動させたとしても、処理が開始されるまでにキャンセルの余地を与えることができる。

図８で示した構成とすることで、配列した多数のアイコンから左右の首振りにより１つを選択状態とし、さらにうなずく動きで、当該アイコンが表すコンテンツに対する各種操作が可能となる。一般的に、左右の首振りやうなずく動きは、体勢によらず、上方を仰ぎ見る動きより負担が少ない。したがって、より可変範囲が広い左右の首振りに合わせてアイコンを水平に配列させ、操作を意図したときのみ下方に操作ボタンを表示させることにより、より多くのアイコンを選択肢とできるとともに、無理のない直感的な操作が可能になる。

図９は、アイコン配列と視点の動きの関係を模式的に示している。同図において円形で示したアイコンは仮想空間における配列の一部を表しており、実際には図７に示すように、ユーザの頭部を取り巻くような円周上に配置してよい。さらに同図では、左右の首振りによる、アイコン配列に対するカーソルの軌跡を点線矢印で示している。まず上段の（ａ）は、アイコンを一列に並べた状態を示している。この場合、単純に顔を右方あるいは左方に向けていくのみで、全てのアイコンを順次選択状態にできる。

一方、中段の（ｂ）は、上述のようにアイコンの中心位置を上下にずらした場合であり、特に上段、下段のアイコンを交互に配置した場合を示している。このようにすることで、（ａ）の場合に比べ、同じ範囲により多くのアイコンを配置できる。さらに図示するように、全てのアイコンが同一水平面と交わるように、アイコンの半径ｒおよび上下のアイコンの縦方向のずれ量ΔＣを決定する。すなわち２ｒ＞ΔＣ＞０を満たすようにする。ただしアイコンを球形としない場合、半径ｒはアイコンの縦方向の長さの半分で置き換える。

このようにすることで、（ａ）の場合と同様、右方あるいは左方に顔を向けていくのみで全てのアイコンを順次選択状態にできる（軌跡Ｍ）。一方、首を微少量上向きとして右方または左方に顔を向けていけば、上段のアイコンのみを対象として順次選択状態にでき（軌跡Ｕ）、首を微少量下向きとして右方または左方に顔を向けていけば、下段のアイコンのみを対象として順次選択状態にできる（軌跡Ｌ）。当然、軌跡Ｕ、Ｍ、Ｌの途中で斜め方向に視線を移動させ、別の軌跡へ移行することもできる。つまり（ｂ）のような配列によれば、表示可能なアイコンの数を増やせるとともに、縦方向の首の僅かな動きで選択対象を絞り込め、効率的に所望のアイコンを選択状態にできる。

（ｂ）は上段、下段のアイコンを交互に配置したが、同図下段の（ｃ）のように、交互にせずとも効果は同様である。ただし一度に表示できるアイコンの数は（ｂ）が最も多くなる。アイコン配置部７２２は、表示すべきアイコンの数に基づき、アイコンの表示パターン、すなわち同図の（ａ）〜（ｃ）等とアイコン同士の間隔、およびアイコンの表示範囲との組み合わせでアイコン配列を最適化してもよい。例えば表示すべきアイコンの数が少ないうちは（ａ）のパターンで、ユーザの前方から順にアイコンを配列させていく。

アイコンが増加して表示範囲がユーザの周囲３６０°に到達し、なおアイコンが増える場合、（ｂ）のパターンでユーザの前方に詰めて表示させる。あるいは配置しきれなくなったアイコンのみを（ｃ）のパターンでずらして配置してもよい。ただし本実施の形態をこれに限る主旨ではなく、当初より（ｂ）のパターンとしてもよい。なおアイコンを上段とするか下段とするかを、アイコンが表すコンテンツの種類によって決定してもよい。また、場合によっては３段以上の配列としてもよい。

これまで述べたように本実施の形態においては、仮想空間におけるユーザの頭部の周囲にアイコンを配置することにより、より多くのコンテンツを一度に選択肢とできるため、複雑な情報体系を組むよりシンプルかつ直感的な操作が可能になる。一方、ユーザの背後にアイコンを配置させた場合、それを視認するには後ろを振り向く必要が生じる。ユーザが着座している場合などは、そのような体勢が負担になることも考えられる。そこで本実施の形態ではさらに、仮想空間におけるアイコン配列自体を変位させる操作を可能にする。

図１０は、アイコン配列を変位させる操作を含むメニュー画面の変遷を例示している。同図では、メニュー画面のうちアイコン配列の部分のみを左側に示すとともに、そのときのユーザの向きと仮想空間におけるアイコン配列を俯瞰した状態を右側に示している。まず上段の（ａ）の画面は、これまで述べたように、ユーザが顔を右方や左方に向けることにより画面上の視野が変化するとともに、カーソル５３０が重なったアイコンが拡大表示され、その下に操作ボタンが表示されている様子を示している。

このときの仮想空間を俯瞰すると、ユーザの頭部を中心とした円周上にアイコン５３４が配列し、そのうち視野に入ったアイコンが表示対象となっている。なお俯瞰図においては、表示対象のアイコンを太線丸印で、表示対象外のアイコンを点線丸印で示し、ユーザの視線を白抜き矢印で示している。ここで視野制御部７１４は仮想空間を構築する際、アイコンを配列させる円周上に、さらにアイコン配列を変位させるための変位ボタン５３６ａ、５３６ｂを配置しておく。変位ボタン５３６ａ、５３６ｂは例えば、アイコン配列の円周上、ユーザが容易に顔を向けることができる角度範囲θの両端に配置する。

この場合、当該角度範囲θは、ユーザの正面に対応する方向を中心とし、メニュー画面の視野角より広い範囲である。（ａ）の状態では、ユーザはほぼ正面を向いていることを想定しているため、変位ボタン５３６ａ、５３６ｂは視野外にあり表示されていない。例えばユーザが右方に首を振っていくと、やがて同図中段の（ｂ）に示すように、一方の変位ボタン５３６ａが視野に入ってくる。変位ボタン５３６ａをアイコン配列よりユーザ側に配置することにより、表示上はアイコン上に重なることになる。

（ｂ）の状態では、カーソル５３０は変位ボタン５３６ａに到達していないため、（ａ）の場合と同様、それより左側にあるアイコンの選択操作を可能とする。そしてさらに右方に首を振り、同図下段の（ｃ）に示すように、カーソル５３０が変位ボタン５３６ａに重なったとき、変位操作を有効とし、アイコンの配列自体を変位させる。より詳細にはアイコンの配列を、ユーザの頭部を中心として同一水平面上で回転させる。

カーソル５３０が変位ボタン５３６ａに重なっている期間、アイコン配列の回転を継続する。その結果、例えば俯瞰図において黒丸で示したように、（ｂ）の状態ではユーザの背後に位置するアイコン５３８を、（ｃ）の状態でユーザの前方に移動させることができる。同図は右方へ首を振る場合であるが、左方の場合も同様である。その結果、ユーザは体をひねったり立つ向きを変えたりすることなく、首の動きのみで周囲の３６０°に配置されたアイコンを選択することができる。

変位ボタン５３６ａ、５３６ｂを配置する角度範囲θとして、無理なく視線を変化させられる角度を実験等により求めておく。着座しているか否かなど、想定されるユーザの状態ごとに角度範囲θを異ならせてもよい。（ｃ）の画面のように、変位ボタン５３６ａ上にカーソル５３０が重なり、アイコン配列が変位している期間においては、変位ボタン５３６ａを通過したアイコンについては選択を可能とする。このとき変位ボタン５３６ａが重なっているアイコンおよびその後続にあるアイコンについては、半透明などとすることにより選択が無効であることを示す。

図１０では有効なアイコンより濃い網掛けで無効なアイコンを表している。そのようにアイコン配列を変位させた結果、所望のアイコンが視野に入り有効となった時点で、カーソル５３０を変位ボタン５３６ａから外すことで、（ｂ）の画面のように当該所望のアイコンを選択状態にできる。なおカーソル５３０を変位ボタン５３６ａから外す操作は、変位ボタン５３６ａにカーソル５３０を重ねたときと逆方向にカーソルを移動させることにより行う、すなわち図１０の例では左側に首を振ることで実現させる。

次に、以上の構成により実現できる、メニュー画像生成装置の動作について説明する。図１１は、情報処理装置２００がメニュー画面を生成し選択操作を受け付ける処理手順を示すフローチャートである。このフローチャートは、例えばユーザがヘッドマウントディスプレイ１００を装着し、情報処理装置２００の電源を投入したときなどに開始される。まず情報処理装置２００のアイコン配置部７２２は、アイコン情報記憶部７２０に格納されるアイコン情報に基づき、アイコンを表示すべきコンテンツの個数を特定し、それに応じて仮想空間におけるアイコン配列を決定する（Ｓ１０）。

一方、視野制御部７１４は、背景オブジェクトなどを含む仮想空間を定義したうえ、ユーザの頭部の位置や姿勢に基づき仮想空間に対する視野面（スクリーン）を決定する。画像生成部７１６は、当該スクリーンに、アイコン配列を含む仮想空間を投影することにより、メニュー画面を描画する（Ｓ１２）。描画処理自体には、一般的なコンピュータグラフィックス技術を適用できる。画像生成部７１６はさらに、ユーザの視点を表すカーソルをメニュー画面上に重畳表示する。

以後、視野制御部７１４が頭部の姿勢の変化に応じてスクリーンを変化させ、画像生成部７１６が当該スクリーンに対し画像を描画する処理を所定のレートで繰り返すことを基本とする。出力部７２６が、生成された画像のデータをヘッドマウントディスプレイ１００に順次出力することにより、メニュー画面が視線の動きに応じて動的に表現される。

このような状態において、カーソルがアイコンに重なったことを操作判定部７１８が判定したら（Ｓ１４のＹ）、画像生成部７１６は、当該アイコンを選択状態として拡大表示する（Ｓ１６）。そして拡大表示したアイコンの下方に所定の操作ボタンを表示する（Ｓ１８）。このとき同時に、背景オブジェクトの画像を、選択状態にあるアイコンに対応するものに更新してもよい。

その状態でユーザがうなずくことによりカーソルが操作ボタンに移動し（Ｓ２０のＹ）、そのまま所定時間が経過するなど当該操作を有効と判定したら（Ｓ２２のＹ）、操作判定部７１８は、操作対象のボタンの種類に応じて画像生成部７１６あるいはコンテンツ処理部７２８に処理を要求する。これにより対応する処理が実施される（Ｓ２４）。

操作ボタンが表示されてもカーソルがそこに移動しなかった場合や（Ｓ１８、Ｓ２０のＮ）、カーソルが操作ボタン上に移動したものの有効とされずに外れた場合は（Ｓ２０のＹ、Ｓ２２のＮ）、Ｓ１２の描画処理のみを継続する。なおカーソルが操作ボタンのみならず、Ｓ１４で重なっていたアイコンからも外れた場合は、Ｓ１６、Ｓ１８の処理を元に戻す（図示せず）。すなわち操作ボタンを非表示とし、アイコンのサイズを元に戻す。

カーソルがアイコンに重なる都度、当該アイコンに対しＳ１６、Ｓ１８の処理がセットでなされる。結果として、図９で示したようにアイコン配列を横切るように視線を動かすと、大きくなっては小さくなるアイコンの変化が配列順に連鎖するような変化が表される。ユーザの首の振り幅が大きくなり、カーソルが変位ボタンに到達したら（Ｓ１４のＮ、Ｓ３０のＹ）、操作判定部７１８がそれを判定することにより、アイコン配置部７２２が仮想空間においてアイコンの配列を変位させる（Ｓ３２）。

カーソルが変位ボタン上にある限り（Ｓ１４のＮ、Ｓ３０のＹ）、アイコン配置部７２２はアイコン配列を変位（回転）させ続け、画像生成部７１６はその模様を描画し続ける（Ｓ３２、Ｓ１２）。カーソルがアイコン、操作ボタン、変位ボタンのいずれにもない場合は、画像生成部７１６はアイコン配列を視野変化のみに応じて描画する（Ｓ１４のＮ、Ｓ３０のＮ、Ｓ１２）。

一方、Ｓ２４で操作ボタンに対応する処理を実施したあと、メニュー画面へ戻る操作がなされた場合は、画像生成部７１６はメニュー画面の描画処理を再開する（Ｓ２６のＹ、Ｓ１２）。メニュー画面へ戻る操作がなされなければ、画像生成部７１６あるいはコンテンツ処理部７２８がそれまでの処理を継続する（Ｓ２６のＮ、Ｓ２８のＮ、Ｓ２４）。ただしその過程で、ユーザ操作などにより処理を終了させる必要が生じた場合は、情報処理装置２００は全体の処理を終了する（Ｓ２８のＹ）。

以上述べた本実施の形態によれば、複数のアイコンからの選択入力を受け付けるメニュー画面を、ユーザの顔の向きや視線の変化に応じて視野が変化する仮想空間として表現する。このとき、仮想空間の水平面に平行にアイコンを配列させて、左右の首振りによる視線の動きでアイコンを選択できるようにするとともに、選択状態のアイコンに対する詳細な操作を受け付けるための操作ボタンを、当該アイコンより下方に表示する。これにより、多数のアイコンを一瞥して選択できるとともに、無理のない動きで操作が可能となる。

このとき、水平面と平行とする原則のもと、上下にずれのあるアイコン配列とすることにより、ユーザを取り囲むようにアイコンが浮かぶ独特の演出を可能にしつつ、より多くのアイコンを視認しやすい距離で並べることができる。また表示すべきアイコンの数に応じて、配列パターンや配列が及ぶ範囲を最適化することができる。さらに、上下にずらすパターンにおいて、上段のアイコンも下段のアイコンも同一水平面に交差するようにアイコンの半径とずらし幅を決定する。これにより一列に並べた場合と同様、左右に首を振っていくシンプルな動作で、順次アイコンが選択状態となるため、操作方法の理解が容易となる。また上下にずらした場合は、首の上下方向の僅かな角度調整により、上段のアイコンのみ、あるいは下段のアイコンのみを選択対象とすることもでき、選択の効率性も向上する。

さらに、ユーザを取り囲むようなアイコン配列とした場合、アイコン配列自体を回転させる操作を受け付ける。これにより、背後などユーザが向きづらい位置にあるアイコンを良好な範囲に移動させることができ、負担をより軽減できる。またそのような操作を行うための変位ボタンをも、アイコン配列と同様にオブジェクトとして配置することにより、別途、操作方法を習得する必要なく、アイコン選択の延長として容易な変位操作が可能となる。

以上のように、仮想空間に対する視線の動きで高度な選択操作が可能となるため、ヘッドマウンドディスプレイのように入力装置の操作がしづらい場合は特に有効である。また、そのようにして選択したコンテンツが没入感を伴うものである場合は、当該コンテンツの世界観に適合した表現で選択操作が可能となる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ 制御部、 ２０ 入力インタフェース、 ３０ 出力インタフェース、 ３２ バックライト、 ４０ 通信制御部、 ４２ ネットワークアダプタ、 ４４ アンテナ、 ５０ 記憶部、 ６４ モーションセンサ、 ７０ 外部入出力端子インタフェース、 ７２ 外部メモリ、 ８０ 時計部、 １００ ヘッドマウントディスプレイ、 ２００ 情報処理装置、 ２２２ ＣＰＵ、 ２２４ ＧＰＵ、 ２２６ メインメモリ、 ７１２ 位置・姿勢取得部、 ７１４ 視野制御部、 ７１６ 画像生成部、 ７１８ 操作判定部、 ７２０ アイコン情報記憶部、 ７２２ アイコン配置部、 ７２４ コンテンツ情報記憶部、 ７２６ 出力部、 ７２８ コンテンツ処理部。

Claims (10)

1. 複数のアイコンを含むメニュー画面を生成しユーザからの選択操作を受け付ける情報処理装置であって、
   仮想空間に複数のアイコンを配列させるアイコン配置部と、
   ユーザの頭部の姿勢情報を取得し、それに基づき前記仮想空間に対する視野面を決定する視野制御部と、
   前記視野面に対する仮想空間の投影画像を描画したうえ、ユーザの視点を表すカーソルを重畳表示したメニュー画面を生成し表示装置に出力する画像生成部と、
   前記メニュー画面に描画されるアイコンおよびその他のオブジェクトの像と、前記カーソルとの位置関係に基づき、操作内容を特定する操作判定部と、
   を備え、
   前記アイコン配置部は、仮想空間の水平方向に、少なくとも１つのアイコンの中心が他のアイコンの中心と上下方向にずれ量を有するように前記複数のアイコンを配列させることを特徴とする情報処理装置。
2. 前記アイコン配置部は、全てのアイコンが同一水平面と交わるように、前記ずれ量を決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記アイコン配置部は、仮想空間においてユーザの頭部を中心とした円周と交差するように前記複数のアイコンを配列させることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記アイコン配置部は、所定のずれ量を有するように上下に位置するアイコンを交互に配列させることを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 前記アイコン配置部は、アイコン配列に上下方向のずれ量を生じせしめるか否かをアイコンの数に応じて決定することを特徴とする請求項１から４のいずれかに記載の情報処理装置。
6. 前記視野制御部は、前記複数のアイコンが配列する水平方向における所定の位置に、当該配列を仮想空間内で変位させる操作を受け付けるための変位ボタンを配置し、
   前記操作判定部は、前記カーソルが前記変位ボタンに重なっているとき、前記変位させる操作がなされていると判定し、
   前記アイコン配置部は、前記変位させる操作がなされている期間において、前記配列を所定方向に変位させることを特徴とする請求項１から５のいずれかに記載の情報処理装置。
7. 前記視野制御部は、前記複数のアイコンが仮想空間においてユーザの頭部を中心とした円周と交差するように配列しているとき、当該円周上で、ユーザの正面に対応する方向を中心とする所定の角度範囲の両端に前記変位ボタンを配置し、
   前記アイコン配置部は、前記カーソルが重なっている前記変位ボタンより外側にあるアイコンが前記角度範囲に入るように、前記配列をユーザの頭部を中心に回転させることを特徴とする請求項６に記載の情報処理装置。
8. 前記操作判定部は、前記カーソルが前記複数のアイコンの１つに重なったとき、当該アイコンの選択操作がなされたと判定し、
   前記画像生成部は、選択されたアイコンの下方に、当該アイコンが表象するコンテンツに対する操作を受け付けるための操作ボタンを追加で表示することを特徴とする請求項１から７のいずれかに記載の情報処理装置。
9. 複数のアイコンを含むメニュー画面を生成しユーザからの選択操作を受け付ける、情報処理装置による操作受付方法であって、
   仮想空間に複数のアイコンを配列させるステップと、
   ユーザの頭部の姿勢情報を取得し、それに基づき前記仮想空間に対する視野面を決定するステップと、
   前記視野面に対する仮想空間の投影画像を描画したうえ、ユーザの視点を表すカーソルを重畳表示したメニュー画面を生成し表示装置に出力するステップと、
   前記メニュー画面に描画されるアイコンおよびその他のオブジェクトの像と、前記カーソルとの位置関係に基づき、操作内容を特定するステップと、を含み、
   前記アイコンを配列させるステップは、仮想空間の水平方向に、少なくとも１つのアイコンの中心が他のアイコンの中心と上下方向にずれ量を有するように前記複数のアイコンを配列させることを特徴とする操作受付方法。
10. 複数のアイコンを含むメニュー画面を生成しユーザからの選択操作を受け付けるコンピュータに、
    仮想空間に複数のアイコンを配列させる機能と、
    ユーザの頭部の姿勢情報を取得し、それに基づき前記仮想空間に対する視野面を決定する機能と、
    前記視野面に対する仮想空間の投影画像を描画したうえ、ユーザの視点を表すカーソルを重畳表示したメニュー画面を生成し表示装置に出力する機能と、
    前記メニュー画面に描画されるアイコンおよびその他のオブジェクトの像と、前記カーソルとの位置関係に基づき、操作内容を特定する機能と、を実現させ、
    前記アイコンを配列させる機能は、仮想空間の水平方向に、少なくとも１つのアイコンの中心が他のアイコンの中心と上下方向にずれ量を有するように前記複数のアイコンを配列させることを特徴とするコンピュータプログラム。

Images