JP6779715B2 - 情報処理システム - Google Patents

Description

本発明は、情報処理システムに関する。

従来より、ユーザの視覚内に仮想空間における画像を表示し、その仮想空間内で種々の事象を楽しむことができる情報処理システムが知られており、この情報処理システムは、ゲームシステムなどに適用されている。情報処理システムは、ユーザの頭部に装着するヘッドマウントディスプレイ（ＨＭＤ）と、ユーザが把持して操作するコントローラと、コントローラの操作の内容に従ってヘッドマウントディスプレイを制御するコンピュータと、で構成されている。

この類の情報処理システムにおいては、当該情報処理システムの利用に役立つ専用のコントローラが用意されていることが一般的である。

特開２００７−３００９７３号公報

しかしながら、専用のコントローラを利用する場合、以下に示す不都合がある。まず、専用のコントローラを初めて使うといったように、そのコントローラに慣れ親しんでいないユーザにとっては、操作に慣れるまでに一定の経験が必要となる。また、ユーザはヘッドマウントディスプレイを装着しているため、その手元を見ながら操作を行うことができず、専用のコントローラに不慣れなユーザにとってはより操作が難しいものとなってしまう。

加えて、コントローラは手指の操作を前提としており、その操作の範囲にはおのずと限界があり、多様な操作を実現することが困難であった。一方で、多様な操作を可能とするためにコントローラに新たな機能を追加することも考えられるが、コントローラのハードウェア構成が複雑となるばかりか、製造コストがかさんで高価な商品となってしまうという問題がある。

本発明はかかる事情に鑑みてなされたものであり、その目的は、操作性に優れる情報処理システムを提供する。

かかる課題を解決するために、本発明は、ユーザの視野内に、仮想空間における画像を表示するメインディスプレイと、情報を表示するとともにタッチ操作が可能な端末ディスプレイを備えており、ユーザが把持して操作するコントローラとして用いられる携帯端末と、メインディスプレイ及び携帯端末のそれぞれと通信可能に構成されるとともに、ユーザによる携帯端末の操作に応じてメインディスプレイを制御するコンピュータと、を有する情報処理システムを提供する。ここで、コンピュータは、仮想空間に携帯端末の仮想オブジェクト画像を表示するとともに、携帯端末の仮想オブジェクト画像に再現される端末ディスプレイに、ユーザが携帯端末に対して行う操作に関する情報を表示し、携帯端末の端末ディスプレイに対するタッチ操作の軌跡を、仮想空間に表示する。

ここで、本発明において、携帯端末は、実空間における携帯端末の傾きを含む姿勢状態を検出する姿勢状態検出部をさらに有し、コンピュータは、仮想空間における携帯端末の仮想オブジェクト画像に、携帯端末から取得した携帯端末の姿勢状態を反映させて表示することが好ましい。

また、本発明において、携帯端末は、ユーザによって発話される音声が入力される音声入力部をさらに有し、コンピュータは、仮想空間に、音声入力部に入力された音声内容を文字で再現した仮想オブジェクト画像を表示することが望ましい。

また、本発明において、携帯端末及びコンピュータは、仮想空間において携帯端末の仮想オブジェクト画像に再現される端末ディスプレイの表示内容と、携帯端末の端末ディスプレイに表示する表示内容とを相互に連動させることが好ましい。

また、本発明において、携帯端末は、コンピュータが実行するアプリケーション上で認識される複数のアプリケーション機能を、任意のアプリケーション機能毎に端末ディスプレイの１画面に割り当てて表示するとともに、１画面に割り当てられたアプリケーション機能を画面単位で切り替え可能に表示することが好ましい。

また、本発明において、コンピュータは、仮想空間に、ユーザが把持する携帯端末の端末ディスプレイに表示されているアプリケーション機能を表示することが好ましい。

また、本発明において、コンピュータは、仮想空間に表示されたアプリケーション機能を操作するための操作用の仮想オブジェクト画像を、仮想空間に表示することが好ましい。

また、本発明において、メインディスプレイは、ユーザの頭部の動き、又はユーザの視線の動きをユーザ状態として検出するユーザ状態検出部をさらに有し、コンピュータは、メインディスプレイから取得したユーザ状態に基づいて、仮想空間に表示されたアプリケーション機能に対する操作意思を判断することが好ましい。

また、本発明において、携帯端末は、端末ディスプレイへのタッチ操作として所定の操作がなされると、端末ディスプレイ上に割り当てられているアプリケーション機能を画面単位で切り替えることが好ましい。

また、本発明において、携帯端末は、端末ディスプレイに情報を通知する通知機能を有しており、コンピュータは、仮想空間に、携帯端末の端末ディスプレイ上に通知される情報を表示することが好ましい。

また、本発明において、携帯端末は、自身が振動することで、通知対象となる情報を振動パターンとして提示する振動部と、音響情報を発生するスピーカと、をさらに有し、コンピュータは、ユーザに携帯端末の存在位置を通知するために、振動部を動作させる動作信号又はスピーカから所定の音を出力する動作信号を携帯端末に出力することが好ましい。

また、本発明において、携帯端末は、携帯端末の周囲を撮像するカメラを有し、コンピュータは、仮想空間に、カメラにおいて撮像された撮像画像を表示することが好ましい。

また、本発明において、コンピュータは、ユーザが携帯端末を操作してカメラでユーザ自身を撮像した場合には、仮想空間においてユーザを含む景色が撮像された画像を生成することが好ましい。

また、本発明において、コンピュータは、携帯端末から取得した携帯端末の姿勢状態に合わせて、ユーザが仮想空間内を移動するようにメインディスプレイを制御することが好ましい。

本発明によれば、操作性に優れる情報処理システムを提供することができる。

本実施形態に係る情報処理システムの全体構成を模式的に示す説明図 ヘッドマウントディスプレイの構成を示す説明図 携帯端末の構成を示す説明図 コンピュータの構成を示す説明図 第１の機能を説明するための説明図 第１の機能を説明するための説明図 第２の機能を説明するための説明図 アプリケーション機能の切り替えを示す説明図 第４の機能を説明するための説明図 第６の機能を説明するための説明図 第１０の機能を説明するための説明図

図１は、本実施形態に係る情報処理システムの全体構成を模式的に示す説明図である。本実施形態に係る情報処理システムは、ヘッドマウントディスプレイ１０と、携帯端末３０と、コンピュータ５０とで構成されている。

図２は、ヘッドマウントディスプレイ１０の構成を示す説明図である。ヘッドマウントディスプレイ１０は、ユーザが頭部に装着することで、ユーザの視野内に画像を表示する表示装置（メインディスプレイ）である。ヘッドマウントディスプレイ１０が表示する画像は、仮想空間における画像（仮想オブジェクト画像）であり、アプリケーション進行中のユーザが装着することで、ユーザがあたかも仮想空間内に存在するような感覚を味わうことができる。

ヘッドマウントディスプレイ１０は、画像表示部１１と、モーションセンサ１２と、視線センサ１３と、通信部１４と、を主体に構成されている。

画像表示部１１は、ユーザの視野内に画像を表示するものであり、例えば液晶ディスプレイなどで構成されている。画像表示部１１は、ユーザがヘッドマウントディスプレイ１０を装着した状態で、ユーザの視線範囲と対応する大きさ及び位置に配置されている。

モーションセンサ１２は、ユーザの頭部の動きを検出するセンサである。モーションセンサ１２は、例えば９軸センサであり、加速度（３軸）、角速度（３軸）及び地磁気（３軸）を検出するセンサである。モーションセンサ１２の検出結果に基づいて、ユーザの頭部の動き、例えば頭部の傾きの大きさと傾きの向きを特定することできる。

視線センサ１３は、ユーザの視線の動きを検出するセンサである。視線センサ１３は、ユーザの右眼と左眼とをそれぞれ撮像する一対のカメラで構成されている。視線センサ１３の検出結果に基づいて、ユーザの視線の動き（視線方向）を特定することができる。なお、視線センサ１３は、一対のカメラで構成する以外にも、ユーザの片方の眼を撮像する単眼カメラで構成してもよい。

通信部１４は、ヘッドマウントディスプレイ１０をコンピュータ５０に通信可能に接続するインターフェースである。通信部１４は、例えばＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌ Ｂｕｓ）ケーブル等の有線通信に対応するものであるが、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）等の規格に代表される無線通信に対応するものであってもよい。

図３は、携帯端末３０の構成を示す説明図である。携帯端末３０は、ユーザが把持して操作するコントローラとして用いられものである。この携帯端末３０は、本情報処理システムでの利用以外に、主として他の用途に利用される汎用的な携帯端末であり、例えばユーザが所有するスマートフォンである。なお、携帯端末３０は、ユーザ自身が所有するスマートフォンに限らず、他人から貸与されたスマートフォンであってもよい。さらに、携帯端末３０は、スマートフォン以外の携帯端末、例えばタブレット型端末であってもよい。

携帯端末３０は、プロセッサ３１と、メモリ３２と、端末ディスプレイ３３と、加速度センサ３４と、方位センサ３５と、振動部３６と、スピーカ３７と、カメラ３８と、音声入力部３９と、第１通信部４０と、第２通信部４１とを主体に構成されている。

プロセッサ３１は、携帯端末３０の制御を司るものであり、例えばＣＰＵなどで構成されている。プロセッサ３１は、ＲＯＭ、ＲＡＭ及びメモリ３２に格納されたコンピュータプログラムや各種のデータに基づいて、所定の動作を実行する。

メモリ３２は、携帯端末３０の利用に供する各種データを格納するものであり、不揮発性メモリなどで構成されている。メモリ３２には、プロセッサ３１によって実行されるアプリケーション（アプリ）等が格納されている。

端末ディスプレイ３３は、携帯端末３０の正面側に設けられており、各種の情報を表示する。端末ディスプレイ３３に表示される情報は、プロセッサ３１により制御される。

この端末ディスプレイ３３はタッチパネルを備えている。端末ディスプレイ３３へタッチ操作（入力操作）を行うことで、ユーザのタッチ操作に応じた操作信号がプロセッサ３１に入力される。

加速度センサ３４は、携帯端末３０に作用する加速度の方向及び大きさを検出する。方位センサ３５は、例えば地磁気の向きを検出する。加速度センサ３４の検出結果及び方位センサ３５の検出結果から、携帯端末３０の姿勢状態、すなわち、携帯端末３０の向き及びその変化や、携帯端末３０の位置やその変化を特定することができる。加速度センサ３４及び方位センサ３５は、実空間における携帯端末３０の傾きを含む姿勢状態を検出する姿勢状態検出部として機能する。

振動部３６は、自身が振動することで、情報を振動パターンとして提示するものである。振動部３６は、例えばバイブレータ等で構成されている。

スピーカ３７は、音や音声を含む音響情報を出力するものである。

カメラ３８は、携帯端末３０の周囲の景色を撮像するものであり、光学系、ＣＣＤやＣＭＯＳセンサ等の撮像素子で構成される撮像装置である。カメラ３８は、携帯端末の背面側及び正面側にそれぞれ配置されている。

音声入力部３９は、ユーザによって発話される音声を入力するものであり、例えばマイクロフォン等で構成されている。

第１通信部４０は、例えば３Ｇ通信モジュールであり、３Ｇ回線用の基地局との間で無線通信を行う。携帯端末３０は、第１通信部４０を介して音声通信やデータ通信を行うことができる。

第２通信部４１は、携帯端末３０をコンピュータ５０に通信可能に接続するものである。第２通信部４１は、無線通信に対応するものであり、例えばＢｌｕｅｔｏｏｔｈ規格に準拠したものである。もっとも、第２通信部４１は、Ｗｉ−Ｆｉといった他の無線通信手法に対応するものであってもよく、また、例えばＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌ Ｂｕｓ）ケーブル等の有線通信に対応するものであってもよい。

図４は、コンピュータ５０の構成を示す説明図である。コンピュータ５０は、ヘッドマウントディスプレイ１０及び携帯端末３０とそれぞれ通信可能に構成されている。このコンピュータ５０は、情報処理システム全体の制御を行うものである。コンピュータ５０は、プロセッサ５１と、メモリ５２と、第１通信部５３と、第２通信部５４とを主体に構成されている。

プロセッサ５１は、コンピュータ５０の制御を司るものであり、例えばＣＰＵなどで構成されている。プロセッサ５１は、ＲＯＭ、ＲＡＭ及びメモリ５２に格納されたコンピュータプログラムや各種のデータに基づいて、所定の動作を実行する。

メモリ５２は、コンピュータ５０の利用に供する各種データを格納するものであり、ハードディスク装置などで構成されている。メモリ５２には、プロセッサ５１によって実行されるアプリケーション等が格納されている。

第１通信部５３は、コンピュータ５０をヘッドマウントディスプレイ１０に通信可能に接続するインターフェースである。第１通信部５３は、例えばＵＳＢケーブル等の有線通信に対応するものであるが、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ等の規格に代表される無線通信に対応するものであってもよい。

第２通信部５４は、コンピュータ５０を携帯端末３０に通信可能に接続するインターフェースである。第２通信部５４は、無線通信に対応するものであり、例えばＢｌｕｅｔｏｏｔｈ規格に準拠したものである。もっとも、第２通信部５４は、Ｗｉ−Ｆｉといった他の無線通信手法に対応するものであってもよく、また、例えばＵＳＢケーブル等の有線通信に対応するものであってもよい。

本実施形態との関係において、コンピュータ５０のプロセッサ５１は、所定のアプリケーションを実行しつつ、ヘッドマウントディスプレイ１０の画像表示部１１を制御する。また、プロセッサ５１は、ユーザによる携帯端末３０の操作に応じて、ヘッドマウントディスプレイ１０の画像表示部１１を制御する。このヘッドマウントディスプレイ１０の制御により、ヘッドマウントディスプレイ１０の画像表示部１１には、アプリケーション進行中の仮想オブジェクト画像や、ユーザによる携帯端末３０の操作を反映した仮想オブジェクト画像が表示される。

このような処理を行うために、プロセッサ５１は、携帯端末３０との通信を通じて、携帯端末３０の情報を取得している。プロセッサ５１は、この情報に基づいて、携帯端末３０の姿勢状態、端末ディスプレイ３３に対するタッチ操作の内容、端末ディスプレイ３３に表示されている画像を取得することができる。また、プロセッサ５１は、ヘッドマウントディスプレイ１０との通信を通じて、ヘッドマウントディスプレイ１０の情報を取得している。プロセッサ５１は、この情報に基づいて、モーションセンサ１２の検出結果、視線センサ１３の検出結果を取得することができる。

以下、本実施形態の特徴の一つである情報処理システムの動作について説明する。まず、ユーザは、コンピュータ５０にインストールされた所定のアプリケーションを実行する。

つぎに、ユーザは、携帯端末３０をコントローラとして機能させるために、携帯端末３０にインストールされた所定のアプリを実行する。このアプリの実行により、携帯端末３０の端末ディスプレイ３３には、携帯端末３０をコントローラとして機能させるためのアプリケーション機能（具体的には、当該アプリケーション機能を示すアイコンなど）が表示される。ここで、アプリケーション機能は、コンピュータ５０が実行するアプリケーション上で認識される機能のことであり、「アプリケーションの進行に必要な操作に関するもの」、「アプリケーションに関する各種の設定」、「アプリケーションの終了」などの様々なものがこれに該当する。端末ディスプレイ３３上で、アプリケーション機能が表示された位置をタッチ操作することで、その操作信号が携帯端末３０からコンピュータ５０へと出力され、アプリケーション上でその機能が実行される。

また、ユーザは、ヘッドマウントディスプレイ１０を頭部に装着する。コンピュータ５０によるアプリケーションの実行により、ヘッドマウントディスプレイ１０の画像表示部１１には、アプリケーションの進行に応じた仮想オブジェクト画像が表示される。ユーザは、画像表示部１１に表示される仮想オブジェクト画像を通じて、仮想空間上に現れるオブジェクトを視認することができる。

そして、この情報処理システムの利用にあたり、ユーザは机などに肘を着き、端末ディスプレイ３３を手前に向けた状態で携帯端末３０を把持する。この状態で、ヘッドマウントディスプレイ１０の画像表示部１１に表示された画像を見ながら、携帯端末３０を操作することで、後述する各種の機能を享受することができる。

以下、情報処理システムによって実行される種々の機能について説明する。なお、以下の説明において、図面に表される画像表示部１１の内容は、説明の便宜上、本実施形態に係る各機能を代表的に示しており、実際には、アプリケーション進行に関わる各種の仮想オブジェクト画像が表示されるものと理解されたい。

（第１の機能）
本機能は、携帯端末３０をコントローラとして利用するための基本的な機能である。図５及び図６は、第１の機能を説明するための説明図である。各図において、（ａ）はユーザが把持する携帯端末３０を模式的に示し、（ｂ）はヘッドマウントディスプレイ１０の画像表示部１１に表示される画像を模式的に示している。

具体的には、コンピュータ５０のプロセッサ５１は、ヘッドマウントディスプレイ１０の画像表示部１１を制御して、仮想空間に携帯端末３０の仮想オブジェクト画像Ｖｍを表示する。この際、プロセッサ５１は、携帯端末３０から取得した情報に基づいて、携帯端末３０の端末ディスプレイ３３に表示される表示内容を、携帯端末３０の仮想オブジェクト画像Ｖｍに再現される端末ディスプレイＶｍ１に表示させる。これにより、仮想空間の端末ディスプレイＶｍ１には、実空間の端末ディスプレイ３３に表示されるアプリケーション機能が表示される。このアプリケーション機能の表示を通じて、ユーザが携帯端末３０に対して行う操作に関する情報が端末ディスプレイＶｍ１に表示されることとなる。また、この場合において、携帯端末３０及びコンピュータ５０は、仮想オブジェクト画像Ｖｍに再現される端末ディスプレイＶｍ１の表示内容と、携帯端末３０の端末ディスプレイ３３の表示内容とを相互に連動させることができる。

図５（ａ）に示すように、ユーザが把持する携帯端末３０の端末ディスプレイ３３に、例えば２つのアプリケーション機能Ｆ１，Ｆ２が表示されている場合には、図５（ｂ）に示すように、仮想オブジェクト画像Ｖｍに再現される端末ディスプレイＶｍ１にも、端末ディスプレイ３３の表示内容（アプリケーション機能Ｆ１，Ｆ２）が表示される。

また、プロセッサ５１は、携帯端末３０の仮想オブジェクト画像Ｖｍを表示するにあたり、携帯端末３０から取得した携帯端末３０の姿勢状態を参照する。そして、プロセッサ５１は、実空間における携帯端末３０の姿勢状態を、仮想空間における携帯端末３０の仮想オブジェクト画像Ｖｍの姿勢状態に反映させて表示している。

このため、実空間でユーザが把持する携帯端末３０の姿勢状態が、仮想空間における携帯端末３０の仮想オブジェクト画像Ｖｍの姿勢状態にそのまま反映されることとなる。例えば、図６に示すように、実空間でユーザが携帯端末３０を右側に傾ければ、仮想空間における携帯端末３０の仮想オブジェクト画像Ｖｍも右側に傾いた状態で表示されるといった如くである。

プロセッサ５１は、携帯端末３０からその姿勢状態を周期的に取得し、その都度、仮想空間における携帯端末３０の仮想オブジェクト画像Ｖｍの姿勢状態に反映させている。これにより、ユーザが把持する携帯端末３０の姿勢状態が、仮想オブジェクト画像Ｖｍにリアルタイムで反映されることとなる。

そして、ユーザは、仮想空間における携帯端末３０の仮想オブジェクト画像Ｖｍを視認しながら、ユーザが把持する携帯端末３０の端末ディスプレイ３３上の所要の位置をタッチ操作する。この際、ユーザは、仮想オブジェクト画像Ｖｍに再現される端末ディスプレイＶｍ１の表示内容から、実空間上の携帯端末３０の端末ディスプレイ３１に表示されているアプリケーション機能Ｆ１，Ｆ２の大凡の表示位置を認識した上で、タッチ操作を行うことができる。このタッチ操作は、携帯端末３０のプロセッサ３１により認識され、プロセッサ３１は、タッチ操作の位置に表示されたアプリケーション機能Ｆ１，Ｆ２が操作された旨の操作信号をコンピュータ５０へと出力する。そして、コンピュータ５０のプロセッサ５１は、携帯端末３０からの取得した操作信号に基づいて所定のアプリケーション機能Ｆ１，Ｆ２を実行し、これにより、ユーザの操作意思がアプリケーション上で反映されることとなる。

このように、第１の機能において、プロセッサ５１は、（１）仮想空間上に携帯端末３０の仮想オブジェクト画像Ｖｍを表示し、（２）仮想オブジェクト画像Ｖｍに再現される端末ディスプレイＶｍ１に、ユーザが携帯端末３０に対して行う操作に関する情報を表示している。

この構成によれば、日常的に利用している携帯端末３０をコントローラとして利用することができるので、慣れ親しんだ感覚でコントローラ（携帯端末３０）を使用することができる。このため、専用のコントローラのように、その操作に慣れるまでに一定の経験が必要となるといった不都合を解消することができる。

また、仮想空間上の携帯端末３０の仮想オブジェクト画像Ｖｍに、ユーザが携帯端末３０に対して行う操作に関する情報が表示されている。このため、あたかも実際の携帯端末３０を見ている感覚で携帯ディスプレイ３３のタッチ操作を行うことができる。その結果、ヘッドマウントディスプレイ１０を装着することでその手元の状態が認識できないという不都合を解消することができる。

加えて、仮想空間における携帯端末３０の仮想オブジェクト画像Ｖｍには、携帯端末３０の姿勢状態が反映されている。このため、あたかも実際の携帯端末３０を見ている感覚で携帯ディスプレイ３３のタッチ操作を行うことができる。その結果、ヘッドマウントディスプレイ１０を装着することで、その手元の状態が認識できないという不都合を解消することができる。

また、上記の構成によれば、携帯端末３０が保有する様々な機能を、コントローラの機能として利用することができる。携帯端末３０に本来的に搭載されている様々な機能を利用すればよいので、専用のコントローラを製造する場合のように、構成が複雑化したり、製造コストがかさんだりするといった問題を解消することができる。

なお、上述した実施形態では、仮想空間における端末ディスプレイＶｍ１の表示内容と、実空間における端末ディスプレイ３３の表示内容とを相互に連動させている。しかしながら、ヘッドマウントディスプレイ１０を装着している間、ユーザは、実空間の携帯端末３０を視認することができない状態となっている。そこで、携帯端末３０は、仮想空間の端末ディスプレイＶｍ１の表示内容に従ったタッチ操作を入力可能とした状態において、端末ディスプレイ３３に対する表示を省略したり、或いは端末ディスプレイＶｍ１の表示内容とは異なる別の内容を表示したりすることも可能である。

（第２の機能）
第２の機能は、携帯端末３０の音声入力部３９を利用した音声入力機能である。図７は、第２の機能を説明するための説明図であり、ヘッドマウントディスプレイ１０の画像表示部１１に表示される画像を模式的に示している。具体的には、携帯端末３０のプロセッサ３１は、音声入力部３９を通じてユーザが発した音声が入力されると、音声認識を行う。そして、プロセッサ３１は、音声認識の結果を、コンピュータ５０に出力する。

コンピュータ５０のプロセッサ５１は、携帯端末３０から音声の認識結果を取得すると、図７に示すように、仮想空間上に、認識された音声内容を文字で再現した仮想オブジェクト画像Ｖｔを表示する。

この機能によれば、携帯端末３０の音声入力機能を通じて、ユーザが実空間で発した音声内容が仮想空間上に反映される。これにより、キーボードやテンキーなどを操作することなく、仮想空間上に簡単に文字情報を現すことができる。

（第３の機能）
第３の機能は、アプリケーション機能の切り替えに関するものである。ここで、図８は、アプリケーション機能の切り替えを示す説明図である。コンピュータ５０が実行するアプリケーションは、そのアプリケーション上で認識される複数のアプリケーション機能を備えている。

上述した通り、携帯端末３０のプロセッサ３１は、端末ディスプレイ３３にアプリケーション機能を表示するが、そのアプリケーション機能は、アプリケーションによって複数種類存在している。例えばアプリケーション機能が６つであるならば、プロセッサ３１は、６つのアプリケーション機能Ｆ１〜Ｆ６を、任意のアプリケーション機能毎に端末ディスプレイ３３の１画面に割り当てて表示している。例えば、図８（ａ）〜（ｄ）に示すように、アプリケーション機能Ｆ１，Ｆ２が１画面に割り当てられ、アプリケーション機能Ｆ３，Ｆ４が１画面に割り当てられ、アプリケーション機能Ｆ５，Ｆ４が１画面に割り当てられ、アプリケーション機能Ｆ６，Ｆ４が１画面に割り当てられるといった如くである。

１画面に割り当てられたアプリケーション機能Ｆ１〜Ｆ６は、画面単位で切り替え可能に構成されている。この切り替えは、携帯端末３０への所定の操作で行うことができる。すなわち、プロセッサ３１は、携帯端末３０への所定の操作、例えば端末ディスプレイ３３に対するフリック操作がなされたことを条件に、端末ディスプレイ３３に割り当てられているアプリケーション機能Ｆ１〜Ｆ６を画面単位で切り替える。例えば、図８（ａ）に示す画面状態でフリック操作がなされると、端末ディスプレイ３３は図８（ｂ）の状態に遷移する、といった如くである。

この機能によれば、端末ディスプレイ３３の操作により、アプリケーション機能Ｆ１〜Ｆ６を簡単に切り替えることができる。

（第４の機能）
図９は、第４の機能を説明するための説明図であり、ヘッドマウントディスプレイ１０の画像表示部１１に表示される画像を模式的に示している。上述の第３の機能に関連して、コンピュータ５０のプロセッサ５１は、仮想空間上に、端末ディスプレイ３３に表示されているアプリケーション機能の仮想オブジェクト画像を表示させることができる。図９（ａ）は、アプリケーション機能Ｆ３の仮想オブジェクト画像Ｖｏｆを表示させた例を示している。

この場合、プロセッサ５１は、図９（ｂ）に示すように、仮想空間上に、アプリケーション機能Ｆ３を操作するための仮想オブジェクト画像Ｖｏｓを表示することができる。そして、プロセッサ５１は、操作用の仮想オブジェクト画像Ｖｏｓを表示すると、携帯端末３０の姿勢状態及び端末ディスプレイ３３へのタッチ操作に基づいて、操作用の仮想オブジェクト画像Ｖｏｓを操作する。

具体的には、プロセッサ５１は、携帯端末３０から取得した姿勢状態に基づいて、操作用の仮想オブジェクト画像Ｖｏｓを移動させる。例えば、携帯端末３０が右側に倒されると、操作用の仮想オブジェクト画像Ｖｏｓを右側に移動して表示させるといった如くである。また、プロセッサ５１は、携帯端末３０に所定の操作（例えば、携帯端末３０を振る動作や、端末ディスプレイ３３へのタッチ操作など）がなされたことを判断すると、操作用の仮想オブジェクト画像Ｖｏｓが指し示しているアプリケーション機能Ｆ３を実行するといった如くである。

さらに、アプリケーション機能Ｆ３の実行は、操作用の仮想オブジェクト画像Ｖｏｓを利用する形態に限らず、ユーザの頭部の動き、又はユーザの視線の動きを利用することもできる。

具体的には、コンピュータ５０のプロセッサ５１は、ヘッドマウントディスプレイ１０に搭載されたモーションセンサ１２による検出結果を取得し、この取得した検出結果からユーザの頭部の傾きの大きさと傾きの向きを特定する。そして、プロセッサ５１は、ユーザの頭部の傾きの大きさと傾きの向きに基づいて、仮想空間上に表示されたアプリケーション機能Ｆ３に対する操作意思を判断する。例えば、アプリケーション機能Ｆ３が表示される方向に向かって、ユーザの頭部が傾いた場合には、そのアプリケーション機能Ｆ３に対する操作意思を判断するといった如くである。プロセッサ５１は、操作意思が判断された場合には、そのアプリケーション機能Ｆ３を実行する。

また、ユーザの頭部の動きのみならず、視線センサ１３から情報を取得して、ユーザの視線の動きを利用するものであってもよい。

これらの各手法によれば、日常的に利用されている携帯端末３０や、ユーザの頭部や視線の動きを通じて、アプリケーション機能を操作することができる。これにより、ユーザが簡単に操作を行うことができる。なお、ヘッドマウントディスプレイ１０は、モーションセンサ１２及び視線センサ１３の両方を備えている必要はなく、前述の機能を実現するために必要な構成として、モーションセンサ１２及び視線センサ１３の少なくとも一方を備えていればよい。また、このような機能を不要とする場合には、ヘッドマウントディスプレイ１０について、モーションセンサ１２及び視線センサ１３を備えない構成とすることも可能である。

（第５の機能）
第５の機能は、携帯端末３０の端末ディスプレイ３３をホワイトボードとして利用することである。具体的には、コンピュータ５０のプロセッサ５１は、携帯端末３０から取得した、端末ディスプレイ３３に対するタッチ操作の内容を参照する。そして、プロセッサ５１は、仮想空間上に、端末ディスプレイ３３に対するタッチ操作の内容、すなわち、タッチ操作の軌跡を再現した仮想オブジェクト画像を表示する。

この第５の機能によれば、携帯端末３０の端末ディスプレイ３３への操作を通じて、仮想空間をホワイトボードのように利用することができる。これにより、ユーザにとって興味あるシステムを提供することができる。

（第６の機能）
図１０は、第６の機能を説明するための説明図であり、ヘッドマウントディスプレイ１０の画像表示部１１に表示される画像を模式的に示している。携帯端末３０は、メッセージアプリといった各種アプリから通知される情報を、端末ディスプレイ３３上に表示する通知機能を有している。本実施形態において、携帯端末３０のプロセッサ３１は、通知を行う場合には、端末ディスプレイ３３上に表示するのみならず、その情報をコンピュータ５０にも通知する。

コンピュータ５０のプロセッサ５１は、携帯端末３０から情報を受け付けると、図１０に示すように、仮想空間に、その情報を再現した仮想オブジェクト画像Ｖｎを表示する。

これにより、携帯端末３０を実際に視認できない状況であっても、携帯端末３０からなされる通知を適切に認識することができる。これにより、携帯端末３０をコントローラとして利用しつつ、ユーザの利便性の向上を図ることができる。

（第７の機能）
ユーザが仮想空間を体験している最中に、携帯端末３０を手放して、机の上に置いたままにしてしまうことがある。一方で、ユーザは、ヘッドマウントディスプレイ１０を装着しているため、実空間に存在する携帯端末３０を視覚的に発見することができない。そこで、本機能は、携帯端末３０が備える振動部３６及びスピーカ３７を利用して、携帯端末３０の存在する位置を通知するものである。

具体的には、コンピュータ５０のプロセッサ５１は、ユーザに携帯端末３０の存在位置を通知するために、振動部３６を動作させる動作信号及びスピーカ３７から所定の音を出力する動作信号の一方又は双方を携帯端末３０に出力する。

この動作信号を携帯端末３０が取得すると、携帯端末３０のプロセッサ３１は、動作信号に従って振動部３６を動作させたり、スピーカ３７から所定の音を出力したりする。

このような一連の動作を通じて、携帯端末３０が振動したり、携帯端末３０から音が出力されたりすることで、ユーザは、触覚や聴覚を利用して携帯端末３０の存在位置を認識することができる。このため、ヘッドマウントディスプレイ１０により実空間の景色が遮断された状態であっても、携帯端末３０を探し当てることができるので、ユーザにとって魅力あるシステムを提供することができる。

なお、コンピュータ５０のプロセッサ５１が、携帯端末３０に対して動作信号を出力するタイミングとしては、所定時間にわたり携帯端末３０の姿勢状態に変化がないことや、所定時間にわたり端末ディスプレイ３３へのタッチ操作がないことを条件とすることができる。

（第８の機能）
第８の機能は、携帯端末３０のカメラ機能を通じて、携帯端末３０のカメラ３８により撮像された画像を仮想空間に表示するものである。

具体的には、携帯端末３０のプロセッサ３１は、端末ディスプレイ３３のタッチ操作を通じてカメラ３８の撮像操作を判断すると、カメラ３８を動作させて撮像を行う。プロセッサ３１は、カメラ３８から出力された撮像画像をコンピュータ５０へと出力する。

コンピュータ５０のプロセッサ５１は、携帯端末３０から撮像画像を取得すると、仮想空間上に撮像画像を表示させる。

これにより、携帯端末３０により撮像された撮像画像を、仮想空間上で認識することができる。これにより、コントローラである携帯端末３０がそもそも備える機能を利用して、システムに新たな付加価値を提供することができる。また、カメラを付加した専用のコントローラを用意する必要がないので、構成が複雑化したり、製造コストがかさんだりするといった問題を解消することができる。

（第９の機能）
第９の機能は、ユーザが携帯端末３０を操作してカメラ３８でユーザ自身を撮像する、いわゆる自撮り機能を活用したものである。

具体的には、携帯端末３０のプロセッサ３１は、端末ディスプレイ３３のタッチ操作を通じて自撮り操作がなされたことを判断すると、自撮り操作信号をコンピュータ５０へと出力する。

コンピュータ５０のプロセッサ５１は、携帯端末３０から自撮り操作信号を取得すると、ユーザに対応する仮想オブジェクト画像を含む仮想空間上の景色を再現した画像を生成する。生成した画像は、仮想空間上に表示させたり、携帯端末３０へと出力しメモリ３２へ保存させたりすることができる。

この構成によれば、携帯端末３０の自撮り操作により、仮想空間上でのユーザ自身を撮像した画像を得ることができる。このため、ユーザは、日常的な操作を行うだけでよいので、慣れ親しんだ簡単な操作でその機能を利用することができる。

（第１０の機能）
図１１は、第１０の機能を説明するための説明図であり、ヘッドマウントディスプレイ１０の画像表示部１１に表示される画像を模式的に示している。本機能は、携帯端末３０の姿勢状態に応じて、仮想空間内をユーザが移動するための機能である。

具体的には、コンピュータ５０のプロセッサ５１は、携帯端末３０から取得した携帯端末３０の姿勢状態を参照する。プロセッサ５１は、携帯端末３０から取得した携帯端末の姿勢状態に合わせて、ユーザが仮想空間内を移動するようにヘッドマウントディスプレイ１０を制御する。例えば、携帯端末３０が右側に倒されると、図１１に示すように、ユーザが仮想空間内を右側に移動するといった如くである。

この機能によれば、携帯端末３０の姿勢を変化させるだけの簡単かつ感覚的な操作で、仮想空間内の移動を行うことができる。

以上、本実施形態に係る情報処理システムについて説明したが、本発明は上述した実施形態に限定されることなく、その発明の範囲内において種々の変形が可能であることはいうまでもない。例えば、ヘッドマウントディスプレイに表示する内容は、仮想空間に関するもの以外にも、実空間における画像に仮想空間における画像を重畳して表示する拡張現実に関するものであってもよい。

また、コンピュータが実施する処理は、ネットワークを介して接続されるサーバーなどが代用してもよい。

１０ ヘッドマウントディスプレイ（メインディスプレイ）
１１ 画像表示部
１２ モーションセンサ
１３ 視線センサ
１４ 通信部
３０ 携帯端末
３１ プロセッサ
３２ メモリ
３３ 端末ディスプレイ
３４ 加速度センサ（姿勢状態検出部）
３５ 方位センサ（姿勢状態検出部）
３６ 振動部
３７ スピーカ
３８ カメラ
３９ 音声入力部
４０ 第１通信部
４１ 第２通信部
５０ コンピュータ
５１ プロセッサ
５２ メモリ
５３ 第１通信部
５４ 第２通信部

Claims (14)

1. ユーザの視野内に、仮想空間における画像を表示するメインディスプレイと、
   情報を表示するとともにタッチ操作が可能な端末ディスプレイを備えており、ユーザが把持して操作するコントローラとして用いられる携帯端末と、
   前記メインディスプレイ及び前記携帯端末のそれぞれと通信可能に構成されるとともに、ユーザによる前記携帯端末の操作に応じて前記メインディスプレイを制御するコンピュータと、を有し、
   前記コンピュータは、
   仮想空間に前記携帯端末の仮想オブジェクト画像を表示するとともに、
   前記携帯端末の仮想オブジェクト画像に再現される端末ディスプレイに、ユーザが前記携帯端末に対して行う操作に関する情報を表示し、前記携帯端末の端末ディスプレイに対するタッチ操作の軌跡を、仮想空間に表示することを特徴とする情報処理システム。
2. 前記携帯端末は、
   実空間における前記携帯端末の傾きを含む姿勢状態を検出する姿勢状態検出部をさらに有し、
   前記コンピュータは、
   仮想空間における前記携帯端末の仮想オブジェクト画像に、前記携帯端末から取得した前記携帯端末の姿勢状態を反映させて表示することを特徴とする請求項１に記載された情報処理システム。
3. 前記携帯端末は、
   ユーザによって発話される音声が入力される音声入力部をさらに有し、
   前記コンピュータは、
   仮想空間に、前記音声入力部に入力された音声内容を文字で再現した仮想オブジェクト画像を表示することを特徴とする請求項１又は２に記載された情報処理システム。
4. 前記携帯端末及び前記コンピュータは、
   仮想空間において前記携帯端末の仮想オブジェクト画像に再現される端末ディスプレイの表示内容と、前記携帯端末の端末ディスプレイに表示する表示内容とを相互に連動させることを特徴とする請求項１から３のいずれかに記載された情報処理システム。
5. 前記携帯端末は、
   前記コンピュータが実行するアプリケーション上で認識される複数のアプリケーション機能を、任意のアプリケーション機能毎に前記端末ディスプレイの１画面に割り当てて表示するとともに、１画面に割り当てられたアプリケーション機能を画面単位で切り替え可能に表示することを特徴とする請求項１から４のいずれかに記載された情報処理システム。
6. 前記コンピュータは、
   仮想空間に、ユーザが把持する前記携帯端末の端末ディスプレイに表示されているアプリケーション機能を表示することを特徴とする請求項５に記載された情報処理システム。
7. 前記コンピュータは、
   仮想空間に表示されたアプリケーション機能を操作するための操作用の仮想オブジェクト画像を、仮想空間に表示することを特徴とする請求項６に記載された情報処理システム。
8. 前記メインディスプレイは、
   ユーザの頭部の動き、又はユーザの視線の動きをユーザ状態として検出するユーザ状態検出部をさらに有し、
   前記コンピュータは、
   前記メインディスプレイから取得した前記ユーザ状態に基づいて、仮想空間に表示されたアプリケーション機能に対する操作意思を判断することを特徴とする請求項６に記載された情報処理システム。
9. 前記携帯端末は、
   前記端末ディスプレイへのタッチ操作として所定の操作がなされると、前記端末ディスプレイ上に割り当てられているアプリケーション機能を画面単位で切り替えることを特徴とする請求項５から７のいずれかに記載された情報処理システム。
10. 前記携帯端末は、
    前記端末ディスプレイに情報を通知する通知機能を有しており、
    前記コンピュータは、
    仮想空間に、前記携帯端末の端末ディスプレイ上に通知される情報を表示することを特徴とする請求項１から９のいずれかに記載された情報処理システム。
11. 前記携帯端末は、
    自身が振動することで、通知対象となる情報を振動パターンとして提示する振動部と、
    音響情報を発生するスピーカと、をさらに有し、
    前記コンピュータは、
    ユーザに前記携帯端末の存在位置を通知するために、前記振動部を動作させる動作信号又は前記スピーカから所定の音を出力する動作信号を前記携帯端末に出力することを特徴とする請求項１から１０のいずれかに記載された情報処理システム。
12. 前記携帯端末は、
    前記携帯端末の周囲を撮像するカメラを有し、
    前記コンピュータは、
    仮想空間に、前記カメラにおいて撮像された撮像画像を表示することを特徴とする請求項１から１１のいずれかに記載された情報処理システム。
13. 前記コンピュータは、
    ユーザが前記携帯端末を操作して前記カメラでユーザ自身を撮像した場合には、仮想空間においてユーザを含む景色が撮像された画像を生成することを特徴とする請求項１２に記載された情報処理システム。
14. 前記コンピュータは、
    前記携帯端末から取得した前記携帯端末の姿勢状態に合わせて、ユーザが仮想空間内を移動するように前記メインディスプレイを制御することを特徴とする請求項１から１３のいずれかに記載された情報処理システム。

Images