JP6615732B2 - Information processing apparatus and image generation method - Google Patents
Information processing apparatus and image generation method Download PDFInfo
- Publication number
- JP6615732B2 JP6615732B2 JP2016213117A JP2016213117A JP6615732B2 JP 6615732 B2 JP6615732 B2 JP 6615732B2 JP 2016213117 A JP2016213117 A JP 2016213117A JP 2016213117 A JP2016213117 A JP 2016213117A JP 6615732 B2 JP6615732 B2 JP 6615732B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- character
- image
- virtual space
- operation information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、ヘッドマウントディスプレイなどの表示装置にアプリケーションの画像データを出力する技術または表示装置に提供するための画像データを生成する技術に関する。 The present invention relates to a technique for outputting image data of an application to a display device such as a head-mounted display or a technique for generating image data to be provided to a display device.
特許文献１は、自分と他のユーザとが３次元仮想現実空間を共有するシステムを開示する。このシステムにおいて自分のクライアント端末は、仮想現実空間を構成する基本オブジェクトに関するデータを情報サーバ端末から提供され、また他人のアバタに関するデータを共有サーバ端末から提供されることで、自分のアバタの視点と位置から見える仮想現実空間を表示装置に表示する。特許文献１において基本オブジェクトは、仮想現実空間で複数のユーザが共通して利用するオブジェクト、たとえばビルディングや道路などの、その基本的な状態が変化しないオブジェクトである。 Patent Document 1 discloses a system in which a user and another user share a three-dimensional virtual reality space. In this system, the client terminal is provided with data on basic objects constituting the virtual reality space from the information server terminal, and is provided with data on the other person's avatar from the shared server terminal. The virtual reality space visible from the position is displayed on the display device. In Patent Document 1, a basic object is an object that is used in common by a plurality of users in a virtual reality space, for example, an object whose basic state does not change, such as a building or a road.
複数のユーザが仮想現実空間に参加可能なシステムを構築することで、サービス提供主体は、複数のユーザに様々な体験を提供できる。たとえば仮想現実空間として複数のユーザが参加するクラスルームを構築すれば、ユーザは自宅にいながらにして他のユーザと一緒に授業を受けられるようになる。また仮想現実空間として海外の名所や町並みを構築すると、複数のユーザが一緒に海外旅行を楽しむことができる。 By constructing a system in which a plurality of users can participate in the virtual reality space, the service providing entity can provide various experiences to the plurality of users. For example, if a classroom where a plurality of users participate is constructed as a virtual reality space, the user can take classes with other users while at home. In addition, if overseas landmarks and townscapes are constructed as a virtual reality space, multiple users can enjoy traveling abroad together.
仮想現実空間（以下「仮想空間」とも呼ぶ）で、各ユーザはそれぞれのキャラクタを自由に動かせる。そのためサービス提供主体が、仮想空間内に注目するべき対象物（オブジェクト）を設定しても、各キャラクタの位置や視線方向がばらばらであるために、複数のユーザを同時にまたは同じ時間帯に当該オブジェクトに注目させることが難しかった。 In a virtual reality space (hereinafter also referred to as “virtual space”), each user can freely move each character. For this reason, even if the service providing entity sets a target object (object) to be noted in the virtual space, the positions and line-of-sight directions of each character are different. It was difficult to get attention.
本発明はこうした課題に鑑みてなされたものであり、その目的は、仮想空間におけるユーザキャラクタの注目するべき方向を示唆するための技術を提供することにある。 This invention is made | formed in view of such a subject, The objective is to provide the technique for suggesting the direction which the user character should pay attention in virtual space.
上記課題を解決するために、本発明のある態様の情報処理装置は、アプリケーションの画像データを表示装置に出力する情報処理装置であって、仮想空間においてユーザのキャラクタを動かすための操作情報を取得する取得部と、当該ユーザとは別のユーザのキャラクタを含む画像データを表示装置に出力する画像提供部と、を備える。画像提供部は、別のユーザのキャラクタが見ている方向および／または見ていた方向を示す方向画像を含む画像データを、表示装置に出力する。 In order to solve the above problems, an information processing apparatus according to an aspect of the present invention is an information processing apparatus that outputs image data of an application to a display device, and acquires operation information for moving a user character in a virtual space And an image providing unit that outputs image data including a character of a user different from the user to the display device. The image providing unit outputs image data including a direction image indicating a direction in which another user's character is viewing and / or a direction in which the character is viewed to the display device.
本発明の別の態様は、画像生成方法である。この方法は、仮想空間においてユーザのキャラクタを動かすための操作情報を取得するステップと、仮想空間において当該ユーザとは別のユーザのキャラクタを動かすための操作情報を取得するステップと、当該ユーザのキャラクタの動作、および当該ユーザとは別のユーザのキャラクタの動作を、それぞれの操作情報にもとづいて制御するステップと、仮想空間における当該ユーザのキャラクタの位置にもとづいて、別のユーザのキャラクタと、当該別のユーザのキャラクタが見ている方向および／または見ていた方向を示す方向画像を含む画像データを生成するステップと、を有する。 Another aspect of the present invention is an image generation method. This method includes a step of obtaining operation information for moving a user character in a virtual space, a step of obtaining operation information for moving a user character different from the user in the virtual space, and the user character. And a step of controlling the movement of the user's character different from the user based on the respective operation information, and based on the position of the user's character in the virtual space, Generating image data including a direction image indicating a direction in which another user's character is viewing and / or a direction in which the character is viewed.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。 Note that any combination of the above components, the expression of the present invention converted between a method, an apparatus, a system, a computer program, a recording medium on which the computer program is recorded so as to be readable, a data structure, etc. are also included in the present invention It is effective as an embodiment of
本発明によれば、仮想空間におけるユーザキャラクタの注目するべき方向を示唆するための技術を提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the technique for suggesting the direction which the user character should pay attention in virtual space can be provided.
図１は、実施例における情報処理システム１を示す。情報処理システム１は、複数のユーザが３次元仮想空間を共有するサービスを提供する。情報処理システム１は複数のユーザシステム３ａ、３ｂ・・・３ｍ、３ｎ（以下、総称する場合には「ユーザシステム３」と呼ぶ）と、サーバシステム４を備える。サーバシステム４は、サービスの提供主体により運営・管理され、各ユーザシステム３は、それぞれのユーザにより使用される。サーバシステム４および複数のユーザシステム３はインターネットなどのネットワーク２に接続し、サーバシステム４と各ユーザシステム３とは、互いにデータを送受信できる。なお複数のユーザシステム３が、互いにデータを送受信できてもよい。
FIG. 1 shows an information processing system 1 in the embodiment. The information processing system 1 provides a service in which a plurality of users share a three-dimensional virtual space. The information processing system 1 includes a plurality of user systems 3a, 3b,... 3m, 3n (hereinafter, collectively referred to as “
サーバシステム４は管理サーバ５および記憶装置６を備える。記憶装置６は、３次元仮想空間を生成するための３次元画像データを保持するコンテンツＤＢ７と、３次元仮想空間におけるユーザの挙動情報を蓄積するためのユーザ挙動ＤＢ８とを有する。以下、コンテンツＤＢ７が保持する３次元画像データを「コンテンツデータ」と呼ぶ。
The server system 4 includes a
たとえばサーバシステム４はクラスルームの３次元仮想空間をユーザシステム３に提供し、サーバシステム４のオペレータが教師となり、複数のユーザシステム３のユーザが生徒となることで、複数のユーザが一緒に授業を受けられるサービスを提供できる。またサーバシステム４は都市や観光地の３次元仮想空間をユーザシステム３に提供し、オペレータがツアーガイドとなり、複数のユーザが旅行参加者となることで、複数のユーザがガイド付きで旅行を楽しむサービスを提供できる。またサーバシステム４は宝が隠された３次元仮想空間をユーザシステム３に提供し、オペレータが宝探しの案内人となり、複数のユーザがトレジャーハンターとなることで、複数のユーザが案内人からのヒントをもとに宝探しを競うサービスを提供できる。
For example, the server system 4 provides a three-dimensional virtual space of a classroom to the
このようにサーバシステム４は、３次元仮想空間を複数のユーザで共有するサービスを提供する。コンテンツＤＢ７に記憶されるコンテンツデータは、基本的に位置情報や姿勢情報などが更新されない静的なオブジェクトデータにより構成される。たとえば観光地の仮想空間を表現するコンテンツデータは、相対的な位置関係を定義された建物オブジェクト、道路オブジェクト、街灯オブジェクト、看板オブジェクトなどを含んで構成される。なお仮想空間内でユーザが動かすことのできるオブジェクトが存在してもよい。 As described above, the server system 4 provides a service for sharing a three-dimensional virtual space among a plurality of users. The content data stored in the content DB 7 is basically composed of static object data whose position information and posture information are not updated. For example, the content data representing the virtual space of a sightseeing spot includes a building object, a road object, a streetlight object, a signboard object, and the like whose relative positional relationships are defined. There may be an object that the user can move in the virtual space.
ユーザシステム３は、サービスの提供を受ける前に、コンテンツデータを再生するためのビューワアプリケーションをインストールする。ユーザシステム３がネットワーク２を介してサーバシステム４からコンテンツデータをダウンロードすると、ビューワアプリケーションは、コンテンツデータをもとに仮想空間を構築し、仮想空間内でユーザによる操作情報をもとにキャラクタを動かし、ユーザキャラクタの位置および姿勢（視線方向）に応じて仮想空間をレンダリングする。これによりユーザはユーザキャラクタを通じて、仮想空間内を自由に移動し、自由視点からの画像を見ることができる。
The
図２は、あるユーザキャラクタの視点から見た仮想空間の画像の一例を示す。ビューワアプリケーションは、ユーザキャラクタの位置および視線方向に応じて、ユーザキャラクタの視点からの画像を生成する。 FIG. 2 shows an example of a virtual space image viewed from the viewpoint of a certain user character. The viewer application generates an image from the viewpoint of the user character according to the position and line-of-sight direction of the user character.
それぞれのユーザシステム３がコンテンツデータをダウンロードすることで、複数のユーザによる仮想空間の共有が実現される。以下、１０人のユーザＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊが仮想空間を共有する例について説明する。管理サーバ５は、複数ユーザによる仮想空間の共有処理を担当する。各ユーザは、仮想空間内でそれぞれのユーザキャラクタを操作するが、その操作情報は、当該ユーザのユーザシステム３においてビューワアプリケーションによる処理に使用されるとともに、管理サーバ５に送信され、管理サーバ５は、他のユーザのユーザシステム３に転送する。つまりユーザＡが自身のキャラクタを操作した操作情報は、他の９人のユーザＢ〜Ｊのユーザシステム３にも提供されて、それぞれのユーザシステム３のビューワアプリケーションによる処理に使用される。このように各ユーザによるキャラクタの操作情報が全てのユーザに共有されることで、各ユーザシステム３において全ユーザＡ〜Ｊのユーザキャラクタは、通信遅延の影響を除けば基本的に同じ挙動を示すようになる。
Each
図３は、実施例におけるユーザシステム３の構成例を示す。ユーザシステム３は情報処理装置１０と、ヘッドマウントディスプレイ装置（ＨＭＤ）１００と、ユーザが手指で操作する入力装置１６と、ＨＭＤ１００を装着したユーザを撮影する撮像装置１４と、画像を表示する出力装置１５とを備える。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介してネットワーク２に接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。
FIG. 3 shows a configuration example of the
ＨＭＤ１００はユーザの頭部に装着されて仮想現実（ＶＲ）の世界をユーザに提供する。ＨＭＤ１００にヘッドトラッキング機能をもたせ、ユーザの頭部の動きに連動して表示画面を更新することで、映像世界への没入感を高められる。なお実施例では、レンダリングした画像をＨＭＤ１００の表示パネルに表示するが、レンダリングした画像は出力装置１５に表示されてもよい。
The
情報処理装置１０は、処理装置１１、出力制御装置１２および記憶装置１３を備える。処理装置１１は、ユーザにより入力装置１６に入力された操作情報を受け付けて、ビューワアプリケーションを実行する端末装置である。処理装置１１と入力装置１６とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。なお実施例の処理装置１１は、ＨＭＤ１００の姿勢情報をビューワアプリケーションに対するユーザの操作情報として受け付けて、ビューワアプリケーションを実行する機能ももつ。出力制御装置１２は、処理装置１１で生成された画像データをＨＭＤ１００に出力する処理ユニットである。出力制御装置１２とＨＭＤ１００とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。
The
撮像装置１４はステレオカメラであって、ＨＭＤ１００を装着したユーザを所定の周期で撮影し、撮影画像を処理装置１１に供給する。後述するがＨＭＤ１００にはユーザ頭部をトラッキングするためのマーカ（トラッキング用ＬＥＤ）が設けられ、処理装置１１は、撮影画像に含まれるマーカの位置にもとづいてＨＭＤ１００の動きを検出する。なおＨＭＤ１００には姿勢センサ（加速度センサおよびジャイロセンサ）が搭載され、処理装置１１は、姿勢センサで検出されたセンサデータをＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実施する。なおトラッキング処理については従来より様々な手法が提案されており、処理装置１１はＨＭＤ１００の動きを検出できるのであれば、どのようなトラッキング手法を採用してもよい。
The
実施例のユーザシステム３では、ＨＭＤ１００にユーザキャラクタの視点から見た画像を提供するビューワアプリケーションを実行する。実施例ではユーザがＨＭＤ１００で画像を見るため、ユーザシステム３において出力装置１５は必ずしも必要ではないが、変形例ではユーザがＨＭＤ１００を装着せず、出力制御装置１２または処理装置１１が、画像を出力装置１５から出力させてもよい。
In the
ＨＭＤ１００は、ユーザが頭に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。なおユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。この光学歪みの補正処理は、処理装置１１、出力制御装置１２のいずれが行ってもよい。
The
処理装置１１、記憶装置１３、出力装置１５、入力装置１６および撮像装置１４は、従来型のゲームシステムを構築してよい。この場合、処理装置１１はゲームを実行するゲーム装置であり、入力装置１６はゲームコントローラ、キーボード、マウス、ジョイスティックなど処理装置１１にユーザによる操作情報を供給する機器である。このゲームシステムの構成要素に、出力制御装置１２およびＨＭＤ１００を追加することで、ＶＲのビューワアプリケーションを実施するユーザシステム３が構築される。
The
なお出力制御装置１２による機能は、ビューワアプリケーションの一部の機能として処理装置１１に組み込まれてもよい。つまり情報処理装置１０の処理ユニットは、１台の処理装置１１から構成されても、また処理装置１１および出力制御装置１２から構成されてもよい。以下においては、ビューワアプリケーションの実施に必要な処理装置１１および出力制御装置１２の機能を、まとめて情報処理装置１０の機能として説明する。
Note that the function of the output control device 12 may be incorporated into the
ビューワアプリケーションを実施する前段階として、処理装置１１は、サーバシステム４の記憶装置６に記憶されているコンテンツデータを記憶装置１３にダウンロードする。またユーザは、ビューワアプリケーションを開始する際に自身のキャラクタを設定し、設定したユーザキャラクタデータは、記憶装置１３に記憶されるとともに、サーバシステム４に送信されて、サーバシステム４から他のユーザのユーザシステム３に送信される。
As a stage before executing the viewer application, the
ビューワアプリケーションは、入力装置１６から入力された操作情報にもとづいて仮想空間内でユーザキャラクタを動かし、ユーザの頭部に装着されたＨＭＤ１００の姿勢情報にもとづいてユーザキャラクタの視線方向を定める。実施例ではビューワアプリケーションが、ＨＭＤ１００の姿勢情報を、ユーザキャラクタの視線方向を操作するための操作情報として利用するが、入力装置１６における入力情報を、視線方向を操作するための操作情報として利用してもよい。またユーザキャラクタを移動させるための操作情報は、入力装置１６の入力情報を用いずに、ＨＭＤ１００の位置情報を利用してもよい。実施例において、ユーザキャラクタの操作情報は、入力装置１６およびＨＭＤ１００のいずれから取得されてもよく、また他のユーザインタフェースから取得されてもよい。
The viewer application moves the user character in the virtual space based on the operation information input from the
情報処理装置１０は、ユーザのヘッドトラッキング処理を行うことで、ユーザ頭部（実際にはＨＭＤ１００）の位置座標および姿勢を検出する。ここでＨＭＤ１００の位置座標とは、基準位置を原点とした３次元空間における位置座標であり、基準位置はＨＭＤ１００の電源がオンされたときの位置座標（緯度、経度）であってよい。またＨＭＤ１００の姿勢とは、３次元空間における基準姿勢に対する３軸方向の傾きである。なお基準姿勢は、ユーザの視線方向が水平方向となる姿勢であり、ＨＭＤ１００の電源がオンされたときに基準姿勢が設定されてよい。
The
情報処理装置１０は、ＨＭＤ１００の姿勢センサが検出したセンサデータのみから、ＨＭＤ１００の位置座標および姿勢を検出でき、さらに撮像装置１４で撮影したＨＭＤ１００のマーカ（トラッキング用ＬＥＤ）を画像解析することで、高精度にＨＭＤ１００の位置座標および姿勢を検出できる。上記したように情報処理装置１０は、ＨＭＤ１００の位置情報をもとにユーザキャラクタの仮想空間内の位置を算出し、ＨＭＤ１００の姿勢情報をもとにユーザキャラクタの視線方向を算出してもよいが、実施例では仮想空間内におけるユーザキャラクタの位置は、入力装置１６の操作情報をもとに算出する。
The
図４は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。
FIG. 4 shows an example of the external shape of the
出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。
The
筐体１０８の外面には、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置１４により撮影されて、情報処理装置１０がマーカ位置を画像解析できるものであればよい。発光マーカ１１０の数や配置は特に限定されないが、ＨＭＤ１００の姿勢を検出できるための数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザが撮像装置１４に対して背を向けたときにも撮影できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。
On the outer surface of the
ＨＭＤ１００は、情報処理装置１０にケーブルで接続されても、既知の無線通信プロトコルで接続されてもよい。ＨＭＤ１００は、姿勢センサが検出したセンサデータを情報処理装置１０に送信し、また情報処理装置１０で生成された画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示する。
The
図５は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。
FIG. 5 shows functional blocks of the
通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。
The
制御部１２０は、画像データや音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサデータや、マイク１２６からの音声データを、通信制御部１２８から情報処理装置１０に送信させる。
When the
図６は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、外部との入出力インタフェースとして、センサデータ受信部２０、撮影画像受信部２２、入力データ受信部２４、サーバデータ受信部２６、操作情報送信部３０、画像提供部３２および音声提供部３４を備える。サーバデータ受信部２６は、管理サーバ５から送信されるデータを受信する通信インタフェースである。
FIG. 6 shows functional blocks of the
情報処理装置１０は、さらに取得部４０、処理部５０および記憶装置１３を備える。取得部４０は、入出力インタフェースで受信したデータからビューワアプリケーションで使用する情報を取得する機能をもち、第１操作情報取得部４２、第２操作情報取得部４４およびオブジェクト情報取得部４６を有する。処理部５０は、取得部４０で取得した情報から画像データを生成する機能をもち、キャラクタ制御部５２、判定部５４および画像生成部５６を有する。記憶装置１３は、３次元仮想空間を構築するためのコンテンツデータや、情報処理装置１０の利用ユーザのキャラクタデータおよび他のユーザのキャラクタデータなどを記憶する。
The
図６において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。 In FIG. 6, each element described as a functional block for performing various processes can be configured by a circuit block, a memory, and other LSIs in terms of hardware, and loaded in the memory in terms of software. Realized by programs. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one.
以下、「ユーザＡ」が使用する情報処理装置１０の動作について説明する。第１操作情報取得部４２は、仮想空間においてユーザＡのキャラクタを動かすための操作情報を取得する。一方で、第２操作情報取得部４４は、仮想空間においてユーザＡとは別のユーザ、つまりユーザＢ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊのキャラクタを動かすための操作情報を取得する。
Hereinafter, the operation of the
なお「ユーザＢ」が使用する情報処理装置１０においては、第１操作情報取得部４２が、ユーザＢのキャラクタを動かすための操作情報を取得し、第２操作情報取得部４４が、ユーザＢとは別のユーザのキャラクタを動かすための操作情報を取得する。
In the
以下、ユーザＡによる操作情報について説明する。
センサデータ受信部２０は、ユーザＡが装着したＨＭＤ１００の姿勢センサ１２４から所定の周期でセンサデータを受信して、第１操作情報取得部４２に供給する。撮影画像受信部２２は、撮像装置１４から所定の周期でＨＭＤ１００を撮影した画像を受信して、第１操作情報取得部４２に供給する。たとえば撮像装置１４は（１／６０）秒ごとに前方の空間を撮影し、撮影画像受信部２２は、（１／６０）秒ごとに撮影画像を受信する。入力データ受信部２４は入力装置１６から、ユーザＡが入力したキーデータを受信して、第１操作情報取得部４２に供給する。
Hereinafter, the operation information by the user A will be described.
The sensor
第１操作情報取得部４２は、ユーザの頭部に装着されたＨＭＤ１００の動きにもとづいてＨＭＤ１００の姿勢の変化を検出し、仮想空間におけるユーザＡのキャラクタの視線方向の変化を示す操作情報を取得する。また第１操作情報取得部４２は、入力データ受信部２４で受信した入力装置１６のキーデータにもとづいて、仮想空間におけるユーザＡのキャラクタの移動量および移動方向を示す操作情報を取得する。
The first operation
第１操作情報取得部４２は、姿勢センサ１２４のセンサデータからＨＭＤ１００の姿勢の変化を検出する。第１操作情報取得部４２は３軸ジャイロセンサのセンサデータから、ＨＭＤ１００の姿勢変化を特定してよい。なお第１操作情報取得部４２は、トラッキング用の発光マーカ１１０の撮影結果をさらに利用して、姿勢変化の検出精度を高めることが好ましい。第１操作情報取得部４２は、検出したＨＭＤ１００の姿勢の変化から、ユーザＡの視線方向の変化を示す操作情報を取得する。
The first operation
また第１操作情報取得部４２は、入力装置１６に入力されたキーデータから、ユーザＡのキャラクタの移動量および移動方向を示す操作情報を取得する。入力装置１６の操作により仮想空間内のキャラクタを動作させる処理は、既知の技術を利用してよい。実施例ではユーザＡがＨＭＤ１００を装着するため、キャラクタの視線方向を、ＨＭＤ１００を装着したユーザＡの視線方向に合わせているが、変形例ではユーザＡがＨＭＤ１００を装着しない実施態様も想定され、この場合はユーザＡが、入力装置１６から、キャラクタの位置および視線方向を制御するためのキーデータを入力してもよい。
The first operation
このようにして第１操作情報取得部４２は、仮想空間においてユーザＡのキャラクタを動かすための操作情報を取得する。この操作情報は、位置および視線方向の変化量を指定する情報であってよいが、位置および視線方向を直接指定する情報であってもよい。第１操作情報取得部４２は、ユーザＡのキャラクタを動かすための操作情報をキャラクタ制御部５２に供給する。第１操作情報取得部４２がどのような操作情報を取得するかは、ビューワアプリケーションに依存し、いずれにしてもキャラクタ制御部５２が処理できる操作情報であればよい。第１操作情報取得部４２は、所定の周期で操作情報を生成してキャラクタ制御部５２に供給してよいが、状態変化が生じたとき、つまりＨＭＤ１００の姿勢が変化したとき又は入力装置１６でキー入力が生じたときに操作情報を生成してキャラクタ制御部５２に供給してもよい。
In this way, the first operation
キャラクタ制御部５２は、第１操作情報取得部４２から供給される操作情報にもとづいて、仮想空間内のユーザＡのキャラクタの動作、具体的にはキャラクタの位置および視線方向を制御する。
Based on the operation information supplied from the first operation
画像生成部５６は、仮想空間におけるユーザキャラクタの位置（３次元仮想空間座標値）にもとづいて、仮想空間の３次元レンダリングを行う。具体的に画像生成部５６は、ユーザキャラクタの位置に、ユーザキャラクタの視線方向を光軸とする仮想カメラを配置して、画像データを生成する。画像提供部３２は、生成された画像データをＨＭＤ１００に出力する。
The
実施例のビューワアプリケーションでは、ユーザＡが入力装置１６のキー入力によりキャラクタを移動させ、また首を傾けてＨＭＤ１００の向きを変更することで、キャラクタの視線方向を変えることができる。ＨＭＤ１００の表示パネル１３０には、キャラクタの位置および視線方向に応じた画像が表示される（図２参照）。
In the viewer application of the embodiment, the user A can change the line-of-sight direction of the character by moving the character by key input of the
以上はユーザＡのキャラクタの動作制御であるが、実施例の情報処理システム１は、３次元仮想空間を複数のユーザで共有するサービスを提供する。そのため第１操作情報取得部４２で取得されたユーザＡのキャラクタの操作情報は、操作情報送信部３０から管理サーバ５に送信され、管理サーバ５から別のユーザＢ〜Ｊの情報処理装置１０に転送される。
The above is the motion control of the character of the user A, but the information processing system 1 of the embodiment provides a service for sharing the three-dimensional virtual space among a plurality of users. Therefore, the operation information of the user A character acquired by the first operation
別のユーザＢ〜Ｊの情報処理装置１０においても、それぞれのユーザのキャラクタを動かすための操作情報が取得され、管理サーバ５に送信される。管理サーバ５は、ユーザＡの情報処理装置１０に、ユーザＢ〜Ｊの情報処理装置１０で取得されたキャラクタの操作情報を送信する。サーバデータ受信部２６は、管理サーバ５から送信される別のユーザのキャラクタ操作情報を受信する。
Also in the
管理サーバ５は、仮想空間共有サービスに参加するユーザの情報を管理する。ユーザ情報は、ユーザを識別するためのユーザアカウント、ユーザのキャラクタデータを少なくとも含み、管理サーバ５はサービス開始前に、各参加ユーザのユーザ情報を、すべての参加ユーザの情報処理装置１０に送信しておく。サービス開始後、管理サーバ５は、ユーザのキャラクタの操作情報をユーザアカウントに紐付けて各情報処理装置１０に送信し、したがって情報処理装置１０は、サーバデータ受信部２６で受信した操作情報がどのユーザのキャラクタの動作に反映させる情報であるかを特定できる。
The
第２操作情報取得部４４は、サーバデータ受信部２６から、別のユーザＢ〜Ｊのキャラクタを動かすための操作情報を取得し、キャラクタ制御部５２に供給する。キャラクタ制御部５２は、第２操作情報取得部４４から供給される操作情報にもとづいて、仮想空間内の別のユーザのキャラクタの動作、具体的にはキャラクタの位置および視線方向を制御する。なおキャラクタの視線方向の制御は、キャラクタの首の向きを制御することで実施される。
The second operation
上記したように画像生成部５６は、ユーザＡのキャラクタの位置から、キャラクタの視線方向に見える仮想空間の画像を生成する。そのためユーザＡのキャラクタの視野に、別のユーザのキャラクタが含まれていれば、画像生成部５６は、ユーザＡとは別のユーザのキャラクタを含む画像データを生成する。画像提供部３２は、生成された画像データを、表示装置であるＨＭＤ１００に出力する。
As described above, the
図７は、ユーザＡのキャラクタの視点から見た仮想空間の画像の一例を示す。ここでは、ユーザＡのキャラクタの視野に、５人のユーザのキャラクタが含まれている様子が示される。それぞれのユーザキャラクタは、左から順に、ユーザＢ、ユーザＤ、ユーザＦ、ユーザＧ、ユーザＨのキャラクタであるとする。なお、それ以外のユーザＣ、ユーザＥ、ユーザＩ、ユーザＪのキャラクタについては、ユーザＡのキャラクタの後ろにいたり、また建物の中に入っているなどの理由により、ユーザＡのキャラクタの視野角内に存在せず、画像データには含まれていない。ＨＭＤ１００において、通信制御部１２８が情報処理装置１０から画像データを受信し、制御部１２０が仮想空間画像を表示パネル１３０に表示する。
FIG. 7 shows an example of an image of the virtual space viewed from the viewpoint of the user A character. Here, a state where five user characters are included in the field of view of the user A character is shown. Each user character is assumed to be a character of user B, user D, user F, user G, and user H in order from the left. For the other users C, E, I, and J, the viewing angle of the user A's character is because it is behind the user A's character or in the building. It is not included in the image data. In the
実施例ではサーバシステム４が観光地の仮想空間を複数のユーザシステム３に提供し、サーバシステム４のオペレータがツアーガイドとなり、また複数のユーザが旅行参加者となることで、複数のユーザがガイド付きで一緒に旅行するサービスを提供する。オペレータは管理サーバ５を操作して、音声ガイドを各ユーザシステム３に配信し、ユーザが移動する方向や注目する対象（オブジェクト）を音声で指定する。各ユーザシステム３において、サーバデータ受信部２６が音声案内用の音声データを受信すると、音声提供部３４が音声データをＨＭＤ１００に送信する。ＨＭＤ１００において通信制御部１２８が音声データを受信し、制御部１２０が音声案内を音声出力部１３２からイヤホン（不図示）に出力する。
In the embodiment, the server system 4 provides a virtual space of a sightseeing spot to a plurality of
オペレータは、たとえば以下のような音声案内を行う。
「前方に続くアーケードをまっすぐ進んで下さい。」
「通路両脇にある建物は１７世紀後半に建築されました。」
「足元の石畳は、当時のままの状態で残っています。」
各ユーザは音声案内にしたがってキャラクタを操作し、キャラクタが仮想空間を移動する。各ユーザのＨＭＤ１００には、キャラクタの移動にともない、仮想空間画像が刻々と変化して表示される。
The operator performs the following voice guidance, for example.
“Go straight ahead in the arcade that follows.”
“The buildings on both sides of the passage were built in the late 17th century.”
“The cobblestones at the feet remain as they were at the time.”
Each user operates the character according to the voice guidance, and the character moves in the virtual space. On the
なおキャラクタの移動は各ユーザの操作によるため、各ユーザキャラクタの仮想空間内の位置は様々である。管理サーバ５は、全てのユーザによるキャラクタの操作情報を受信しており、オペレータは、各ユーザのキャラクタの位置を把握している。そのため規定の移動ルートから外れたり、遅れたり又は先に行きすぎているユーザに対して、オペレータは個別に音声案内を提供できる。
In addition, since movement of a character is based on operation of each user, the position in the virtual space of each user character is various. The
このような仮想空間において、注目するべきオブジェクトが存在する場合、ツアーガイドであるオペレータは、そのオブジェクトに注目させるように音声案内を行う。それは「通路脇にある看板に注目してください」というものであってよい。この音声案内により「説明イベント」が開始される。図７に示す画面例において、オブジェクト２００が注目するべきオブジェクトとして設定されており、オペレータは、全てのユーザがオブジェクト２００を見ていることを確認すると、オブジェクト２００の注目ポイント（たとえば看板の店の歴史など）を説明する。注目ポイントの説明が終了すると、説明イベントは終了となり、次の注目オブジェクトへの移動案内が行われる。なお説明イベントの開始および終了は、オペレータにより任意のタイミングで行われてよい。
When there is an object to be noted in such a virtual space, an operator who is a tour guide performs voice guidance so as to pay attention to the object. It may be "Please pay attention to the signboard beside the aisle". An “explanation event” is started by this voice guidance. In the screen example shown in FIG. 7, the
「通路脇にある看板に注目してください」とする音声案内が行われたときに、キャラクタがオブジェクト２００の近傍にいれば、ユーザはオブジェクト２００を比較的容易に見つけられるが、キャラクタがオブジェクト２００から離れた位置にいる場合、ユーザはただちにオブジェクト２００を見つけることが難しい。そこでビューワアプリケーションはユーザキャラクタの注目するべき方向を示唆するための画像を表示画像に含め、ユーザがオブジェクト２００の位置を容易に認識できるようにする。
When the voice guidance “Please pay attention to the signboard beside the passage” is performed, if the character is in the vicinity of the
管理サーバ５のオペレータは、「通路脇にある看板に注目してください」とする音声データを、複数のユーザの情報処理装置１０に送信するとき、オブジェクト２００の識別子（オブジェクトＩＤ）とともに、オブジェクト２００の仮想空間内での３次元座標もあわせて送信する。以下、オブジェクトＩＤおよびオブジェクト３次元座標を「オブジェクト情報」と呼ぶ。
When the operator of the
情報処理装置１０において、サーバデータ受信部２６が、音声データおよびオブジェクト情報を受信すると、音声提供部３４が音声データをＨＭＤ１００に送信し、オブジェクト情報取得部４６がオブジェクト情報を取得して判定部５４に供給する。ＨＭＤ１００に送信された音声データは、音声出力部１３２により出力される。
In the
判定部５４は、別のユーザのキャラクタの位置および視線方向にもとづいて、別のユーザがオブジェクト２００を現在見ているか否かを判定する。この判定処理は、別のユーザのキャラクタの位置に、当該キャラクタの視線方向を光軸とする仮想カメラを配置したときに、オブジェクト２００が仮想カメラにより撮影されるか否かを判断する処理となる。基本的に判定部５４は、キャラクタの視野角内にオブジェクト２００の３次元座標が含まれていれば、別のユーザがオブジェクト２００を見ていることを判定し、一方で視野角内にオブジェクト２００の３次元座標が含まれていなければ、別のユーザがオブジェクト２００を見ていないことを判定する。なお判定部５４は、キャラクタの視野角内にオブジェクト２００の３次元座標が含まれている場合であっても、キャラクタとオブジェクト２００との間の別のオブジェクト（障害物）によりオブジェクト２００が隠される場合には、別のユーザがオブジェクト２００を見ていないことを判定する。
The
以上の判定処理により、判定部５４は、ユーザＡとは別のユーザのキャラクタがオブジェクト２００を見ているか否かを特定できる。図７に示す画面例で、判定部５４は、ユーザＢ、ユーザＤ、ユーザＦ、ユーザＧのキャラクタがオブジェクト２００を見ていることを判定し、一方でユーザＨのキャラクタがオブジェクト２００を見ていないことを判定する。判定部５４は判定結果を画像生成部５６に提供する。
With the above determination processing, the
判定部５４による判定処理は、周期的に実施されてよく、判定周期は、キャラクタの動作制御周期と同じであってよい。つまりキャラクタ制御部５２は、ユーザＡのキャラクタおよび別のユーザのキャラクタの動作を周期的に制御するが、判定部５４は、その周期にあわせて判定処理を実施してよい。
The determination process by the
画像生成部５６は、判定部５４による判定結果をもとに、別のユーザのキャラクタが見ている方向を示す方向画像を含む画像データを生成する。ここで別のユーザのキャラクタがオブジェクト２００を見ている場合、方向画像は、別のユーザのキャラクタの視線方向を示すものであってもよいが、別のユーザのキャラクタからオブジェクト２００に向かう方向を示すものであってよい。なお別のユーザのキャラクタがオブジェクト２００を見ていない場合、方向画像は、キャラクタの視線方向を示す画像となる。
The
キャラクタの視線方向と、キャラクタからオブジェクト２００に向かう方向について説明する。実施例においてキャラクタの視線方向は、ユーザが装着しているＨＭＤ１００が向いている方向であって、且つキャラクタの両眼の中心から延びる方向である。ＨＭＤ１００に表示される画面に関して言えば、キャラクタの視線方向は、表示画面の中心を垂直につらぬく方向である。
The direction of the character's line of sight and the direction from the character toward the
一方、キャラクタからオブジェクト２００に向かう方向について説明すると、図７に示す表示画面は、ユーザＡのＨＭＤ１００に表示される画面であるが、オブジェクト２００は画面中心よりもやや左上に含まれている。この場合、キャラクタからオブジェクト２００に向かう方向は、視線方向に平行とはならない。なおオブジェクト２００が表示画面の中心に位置するようにユーザＡがＨＭＤ１００を動かす場合には、視線方向は、キャラクタからオブジェクト２００に向かう方向に一致する。
On the other hand, the direction from the character toward the
図８は、３次元仮想空間をレンダリングした画像に方向画像を含めた画面例を示す。画像生成部５６は、ユーザＢ、ユーザＤ、ユーザＦ、ユーザＧのそれぞれのキャラクタからオブジェクト２００に向かう方向を示す方向画像２０２ｂ、２０２ｄ、２０２ｆ、２０２ｇと、ユーザＨのキャラクタの視線方向を示す方向画像２０２ｈを含む画像データを生成する。ここでオブジェクト２００を見ているキャラクタに対して付加する方向画像２０２ｂ、２０２ｄ、２０２ｆ、２０２ｇと、オブジェクト２００を見ていないキャラクタに対して付加する方向画像２０２ｈは、異なる表示態様となるように生成される。
FIG. 8 shows an example of a screen in which a direction image is included in an image obtained by rendering a three-dimensional virtual space. The
図８に示す画面例で、方向画像２０２ｂ、２０２ｄ、２０２ｆ、２０２ｇは、実線の矢印画像であり、方向画像２０２ｈは、点線の矢印画像であるが、表示態様はこれに限るものではない。たとえば方向画像２０２ｂ、２０２ｄ、２０２ｆ、２０２ｇを赤色、方向画像２０２ｈを青色など、異なる色で表現してもよい。いずれにしても表示態様を異ならせることで、ユーザＡが、どのキャラクタがオブジェクト２００を見ているか、またどのキャラクタがオブジェクト２００を見ていないかを容易に認識できる。
In the screen example shown in FIG. 8, the
図８に示す画面例では、ユーザＡが見ている表示画面にオブジェクト２００は既に含まれているが、ユーザＡはオブジェクト２００に気付かないこともある。表示画面に方向画像２０２ｂ、２０２ｄ、２０２ｆ、２０２ｇを含ませることで、ユーザＡは、どのオブジェクトに注目するべきかを一目で分かる。なお方向画像２０２ｈはオブジェクト２００に向いていないため、画像生成部５６は、画像データに方向画像２０２ｈを含ませないようにしてもよい。
In the screen example shown in FIG. 8, the
図９は、３次元仮想空間をレンダリングした画像に方向画像を含めた別の画面例を示す。図８では、画面左上の看板が注目オブジェクトである場合について説明したが、図９では、その看板は実は注目オブジェクトではなく、別の看板が注目オブジェクトであった例について説明する。 FIG. 9 shows another screen example in which a direction image is included in an image obtained by rendering a three-dimensional virtual space. Although the case where the signboard at the upper left of the screen is an attention object has been described with reference to FIG. 8, an example in which the signboard is not actually the attention object and another signboard is the attention object will be described.
このとき、ユーザＢ、ユーザＤ、ユーザＦ、ユーザＧのキャラクタは、間違ったオブジェクトに注目している。そのため各キャラクタに付加される方向画像は、注目オブジェクトを見ていないことを示す点線矢印画像となっている。 At this time, the characters of the user B, the user D, the user F, and the user G are paying attention to the wrong object. Therefore, the direction image added to each character is a dotted arrow image indicating that the object of interest is not viewed.
ここでユーザＨのキャラクタに付加される方向画像は、実線矢印画像であり、正しく注目オブジェクトを見ていることを示している。これにより図９に示す画面を見たユーザＡは、ユーザＨの目線の先に注目オブジェクトが存在していることを認識する。 Here, the direction image added to the character of the user H is a solid line arrow image, which indicates that the object of interest is correctly viewed. As a result, the user A who sees the screen shown in FIG. 9 recognizes that the object of interest exists beyond the line of sight of the user H.
仮想空間において、あるオブジェクトに注目させたい場合、当該オブジェクトを目立たせるような（たとえば点滅させるような）エフェクトを施すことも有効である。しかしながら、そもそもオブジェクトが表示画面に含まれていない場合には、ユーザがエフェクトを認識できない。そこで図９に示すように、正しくオブジェクトに注目しているユーザのキャラクタに方向画像を付加することで、ユーザは、表示画面に含まれていないオブジェクトの場所を確認できるようになる。 When it is desired to pay attention to an object in the virtual space, it is also effective to apply an effect that makes the object stand out (for example, blinks). However, if the object is not included in the display screen, the user cannot recognize the effect. Therefore, as shown in FIG. 9, by adding a direction image to the user's character who is correctly paying attention to the object, the user can check the location of the object not included in the display screen.
現実世界でツアーに参加した場合であっても、ツアーガイドの説明をよく聞いていなかったために、なにに注目するべきか分からないことがある。そのような場合、人は、周りの人の動きから注目するべきものが何であるかを想像する。実施例では、別のユーザのキャラクタに方向画像を付加することで、ユーザＡが注目オブジェクトを認識しやすくしており、仮想空間のツアー参加者は、現実世界に似た感覚で注目オブジェクトを探し出せる。 Even if you take a tour in the real world, you may not know what to pay attention to because you didn't listen to the tour guide. In such a case, the person imagines what should be noted from the movements of those around him. In the embodiment, by adding a direction image to another user's character, the user A can easily recognize the object of interest, and the tour participant in the virtual space can find the object of interest with a sense similar to the real world. .
実施例では方向画像を矢印で表現したが、これに限定するものではない。たとえばキャラクタの視野角を表現するべく、キャラクタ位置を頂点として注目オブジェクトに延びる錐体の方向画像を使用してもよい。また方向画像は半透明の色を付されて、方向画像の背景となる空間画像の視認性を確保してもよい。 In the embodiment, the direction image is represented by an arrow, but the present invention is not limited to this. For example, in order to express the viewing angle of the character, a direction image of a cone extending to the object of interest with the character position as a vertex may be used. The direction image may be given a translucent color to ensure the visibility of the spatial image serving as the background of the direction image.
なおユーザは一度オブジェクトを認識すると、その後、オペレータからの説明が開始されるまでの間、常にオブジェクトを見続けるとは限らない。他のユーザのオブジェクト設置地点への到着が遅れており、オペレータの説明がまだ開始されないのであれば、周囲の光景を見渡すことも観光の醍醐味である。そのため、あるユーザが遅れてオブジェクト設置地点に到着したときには、他の全てのユーザがオブジェクトを見ていないことも想定される。 Note that once the user recognizes the object, the user does not always continue to see the object until the explanation from the operator is started. If the arrival of other users at the object installation point is delayed and the explanation of the operator has not started yet, it is also a pleasure of sightseeing to look around the surrounding scene. Therefore, when a certain user arrives at the object installation point with a delay, it is assumed that all other users do not see the object.
そこで画像生成部５６は、キャラクタが現時点で注目オブジェクトを見ていなくても、過去に注目オブジェクトを見ていたことがあれば、そのキャラクタに、注目オブジェクトに向かう方向を示す方向画像を付加してもよい。たとえば画像生成部５６は、当該キャラクタが、最後に注目オブジェクトを見た時刻から所定時間内に限って、注目オブジェクトに向かう方向を示す方向画像を付加してもよい。この方向画像は、注目オブジェクトの位置を示すヒントとなり、オブジェクト設置位置に遅れてくるユーザのオブジェクト探索をアシストする。しかしながら、あまりにも遅れてオブジェクト設置位置に到着するユーザは他のユーザに大きな迷惑をかけているため、注目オブジェクトに向かう方向を示す方向画像の表示時間を所定時間に限定することで、アシストに制限をかけてもよい。
Therefore, if the character has not seen the object of interest at the current time but has seen the object of interest in the past, the
なお画像生成部５６は、当該キャラクタが最後に注目オブジェクトを見た時刻における位置から所定距離内にいる場合に限って、注目オブジェクトに向かう方向を示す方向画像を付加してもよい。当該キャラクタが同じ位置にとどまっている場合には、その地点から方向画像を付加すればよいが、たとえば当該キャラクタが移動して、周囲を散策しているような場合は、もはや注目オブジェクトを見られない位置にいる可能性もある。そこで画像生成部５６は、当該キャラクタの現在位置にしたがって、過去に見た注目オブジェクトに向かう方向を示す方向画像を付加するか否かを決定してもよい。
Note that the
なお実施例では、複数のユーザが旅行参加者となるサービスについて説明したが、サーバシステム４におけるオペレータないしはそれに準ずる者が、ダミー参加者としてツアーに参加してもよい。ダミー参加者は、旅行の全容を把握しており、快適なツアーを陰からアシストする役割を担う。たとえば、どのユーザも注目オブジェクトを見つけられないような場合に、ダミー参加者が注目オブジェクトに視線を向けることで、他のユーザは、ダミー参加者のキャラクタから注目オブジェクトに向かう方向画像を見て、注目オブジェクトの場所を認識できるようになる。 In addition, although the Example demonstrated the service in which a some user becomes a travel participant, the operator in the server system 4 or the person according to it may participate in a tour as a dummy participant. The dummy participant knows the whole of the trip and plays the role of assisting with a comfortable tour behind the scenes. For example, when no user can find the target object, the dummy participant looks at the target object, so that other users see the direction image from the dummy participant character toward the target object, The location of the object of interest can be recognized.
なお実際にオペレータがダミー参加者としてツアーに参加するのではなく、管理サーバ５が所定のルールにより動作するキャラクタをツアーに参加させてもよい。このキャラクタはいわゆるノンプレイヤーキャラクタ（ＮＰＣ）であり、実施例では「非操作キャラクタ」と呼ぶ。このときサービス提供主体は、参加するキャラクタに非操作キャラクタが紛れ込んでいることを、ユーザに知らせないことが好ましい。
It should be noted that instead of the operator actually participating in the tour as a dummy participant, the
管理サーバ５は、非操作キャラクタを動かすための操作情報を、各ユーザの情報処理装置１０に送信する。情報処理装置１０において、サーバデータ受信部２６が、管理サーバ５から非操作キャラクタの操作情報を受信すると、第２操作情報取得部４４が、非操作キャラクタの操作情報を取得し、キャラクタ制御部５２に供給する。非操作キャラクタの操作情報は、別のユーザの操作情報と同様に扱われる。
The
管理サーバ５は、説明イベントの開始後、所定の条件が成立した場合に、非操作キャラクタが注目オブジェクトを見るように動かすための操作情報を、各情報処理装置１０に送信する。たとえば説明イベントの開始後から所定時間内に、どのユーザも注目オブジェクトを見つけられない場合に、非操作キャラクタが注目オブジェクトを見るように動作する。これにより非操作キャラクタから注目オブジェクトに向かう方向を示す方向画像が表示されることになり、ユーザは、注目オブジェクトの場所を認識できるようになる。非操作オブジェクトの利用は、管理サーバ５側で、ダミー参加者のキャラクタを操作しなくてよいため効率的である。なお管理サーバ５では、非操作キャラクタをダミー参加者による操作キャラクタに、またはダミー参加者による操作キャラクタを非操作キャラクタに自在に切り替えられることが好ましい。
When a predetermined condition is satisfied after the start of the explanation event, the
以上、本発明を実施例をもとに説明した。実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 In the above, this invention was demonstrated based on the Example. It is to be understood by those skilled in the art that the embodiments are exemplifications, and that various modifications can be made to combinations of the respective components and processing processes, and such modifications are within the scope of the present invention.
実施例では、ＨＭＤ１００の向いている方向をユーザの視線方向として利用したが、ユーザの目の動きを検出してユーザの真の視線方向を検出できる場合には、その視線方向を利用してよい。
In the embodiment, the direction in which the
また実施例で説明したサービスにおいて、ユーザが注目オブジェクトを探しやすくするために、入力装置１６を利用できるようにしてもよい。たとえば入力装置１６に姿勢センサを搭載し、入力装置１６の姿勢を変化させたときに、現実の３次元空間における入力装置１６の姿勢方向と、仮想の３次元空間におけるユーザキャラクタから注目オブジェクトに向かう方向とが一致ないしは近似すると、入力装置１６が振動したり、報知音が出力されることで、ユーザに注目オブジェクトの向きを知らせてもよい。入力装置１６をオブジェクト探索に利用するメリットは、ＨＭＤ１００を装着したユーザが、首を動かして注目オブジェクトを探さなくてもよい点にある。たとえばＨＭＤ１００の表示パネル１３０に、別のユーザキャラクタから注目オブジェクトに向かう方向を示す方向画像が表示されていない場合、入力装置１６を用いて注目オブジェクトを探索することで、いち早く注目オブジェクトを見つけられるようになる。たとえば宝探しのように、オブジェクトを見つけることを目的とするサービスでは、このような入力装置１６の機能が有用に利用されると考えられる。
In the service described in the embodiment, the
また実施例の情報処理システム１では、図６に示す処理機能を情報処理装置１０にもたせたが、管理サーバ５にもたせてもよい。この場合、管理サーバ５は、実施例の情報処理装置１０の機能を備えたクラウドサーバとなり、各ユーザシステム３に対して個別に生成した画像データを提供する。
Further, in the information processing system 1 of the embodiment, the processing function shown in FIG. In this case, the
１・・・情報処理システム、３・・・ユーザシステム、４・・・サーバシステム、５・・・管理サーバ、６・・・記憶装置、７・・・コンテンツＤＢ、８・・・ユーザ挙動ＤＢ、１０・・・情報処理装置、１５・・・出力装置、２０・・・センサデータ受信部、２２・・・撮影画像受信部、２４・・・入力データ受信部、２６・・・サーバデータ受信部、３０・・・操作情報送信部、３２・・・画像提供部、３４・・・音声提供部、４０・・・取得部、４２・・・第１操作情報取得部、４４・・・第２操作情報取得部、４６・・・オブジェクト情報取得部、５０・・・処理部、５２・・・キャラクタ制御部、５４・・・判定部、５６・・・画像生成部、１００・・・ＨＭＤ。
DESCRIPTION OF SYMBOLS 1 ... Information processing system, 3 ... User system, 4 ... Server system, 5 ... Management server, 6 ... Storage device, 7 ... Content DB, 8 ... User behavior DB DESCRIPTION OF
Claims (6)
仮想空間においてユーザのキャラクタを動かすための操作情報を取得する取得部と、
当該ユーザとは別のユーザのキャラクタを含む画像データを、表示装置に出力する画像提供部と、を備え、前記画像提供部は、別のユーザのキャラクタが見ている方向および／または見ていた方向を示す方向画像を含む画像データを、前記表示装置に出力するものであって、
仮想空間には、ユーザが注目するべきオブジェクトが設定されており、
別のユーザのキャラクタの視野角内に前記オブジェクトが含まれていれば、別のユーザのキャラクタから前記オブジェクトに向かう方向を示す方向画像が画像データに含まれ、別のユーザのキャラクタの視野角内に前記オブジェクトが含まれていなければ、別のユーザの視線方向を示す方向画像が画像データに含まれる、情報処理装置。 An information processing device that outputs image data of an application to a display device,
An acquisition unit for acquiring operation information for moving the user's character in the virtual space;
An image providing unit that outputs image data including a character of a user different from the user to a display device, and the image providing unit was viewing and / or viewing the character of another user the image data including the direction image indicating the direction, there is to be output to the display device,
In the virtual space, objects that the user should pay attention to are set,
If the object is included in the viewing angle of another user's character, the image data includes a direction image indicating the direction from the other user's character toward the object, and is within the viewing angle of the other user's character. If the object is not included in the image information, the image data includes a direction image indicating the direction of the line of sight of another user .
当該情報処理装置は、
仮想空間における当該ユーザのキャラクタの動作、および当該ユーザとは別のユーザのキャラクタの動作を、前記取得部が取得したそれぞれの操作情報にもとづいて制御する制御部と、
仮想空間における当該ユーザのキャラクタの位置にもとづいて、別のユーザのキャラクタを含む画像データを生成する画像生成部と、をさらに備える、
ことを特徴とする請求項１に記載の情報処理装置。 The acquisition unit acquires operation information for moving another user's character in the virtual space,
The information processing apparatus
A control unit that controls the movement of the user's character in the virtual space, and the movement of the user's character different from the user based on the respective operation information acquired by the acquisition unit;
An image generation unit that generates image data including another user's character based on the position of the user's character in the virtual space;
The information processing apparatus according to claim 1.
ことを特徴とする請求項１または２に記載の情報処理装置。 In the image data, a direction image added to a character watching and / or watching the object and a direction image added to a character not watching the object are displayed in different display modes. include,
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus.
前記取得部は、前記検出部により検出されたヘッドマウントディスプレイの姿勢情報を、ユーザのキャラクタを動かすための操作情報として取得する、
ことを特徴とする請求項１から３のいずれかに記載の情報処理装置。 A detection unit for detecting the posture of the head mounted display mounted on the user's head;
The acquisition unit acquires the posture information of the head mounted display detected by the detection unit as operation information for moving the user character.
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus.
仮想空間において当該ユーザとは別のユーザのキャラクタを動かすための操作情報を取得するステップと、
当該ユーザのキャラクタの動作、および当該ユーザとは別のユーザのキャラクタの動作を、それぞれの操作情報にもとづいて制御するステップと、
仮想空間における当該ユーザのキャラクタの位置にもとづいて、別のユーザのキャラクタと、当該別のユーザのキャラクタが見ている方向および／または見ていた方向を示す方向画像を含む画像データを生成するステップと、を有し、
画像データを生成するステップは、
別のユーザのキャラクタの視野角内に所定のオブジェクトが含まれていれば、別のユーザのキャラクタから前記オブジェクトに向かう方向を示す方向画像を画像データに含ませ、別のユーザのキャラクタの視野角内に前記オブジェクトが含まれていなければ、別のユーザの視線方向を示す方向画像を画像データに含ませる、画像生成方法。 Obtaining operation information for moving the user's character in the virtual space;
Obtaining operation information for moving a character of a user different from the user in the virtual space;
Controlling the movement of the user's character and the movement of a user's character different from the user based on each operation information;
Step of generating image data including another user's character and a direction image showing the direction of the other user's character and / or a direction of viewing based on the position of the user's character in the virtual space And having
The step of generating image data is as follows:
If a predetermined object is included within the viewing angle of another user character, the image data includes a direction image indicating the direction from the other user character toward the object, and the viewing angle of the other user character. If the object is not included in the image data, a direction image indicating the direction of the line of sight of another user is included in the image data .
仮想空間においてユーザのキャラクタを動かすための操作情報を取得する機能と、
仮想空間において当該ユーザとは別のユーザのキャラクタを動かすための操作情報を取得する機能と、
当該ユーザのキャラクタの動作、および当該ユーザとは別のユーザのキャラクタの動作を、それぞれの操作情報にもとづいて制御する機能と、
仮想空間における当該ユーザのキャラクタの位置にもとづいて、別のユーザのキャラクタと、当該別のユーザのキャラクタが見ている方向および／または見ていた方向を示す方向画像を含む画像データを生成する機能と、を実現させるためのプログラムであって、
画像データを生成する機能は、
別のユーザのキャラクタの視野角内に所定のオブジェクトが含まれていれば、別のユーザのキャラクタから前記オブジェクトに向かう方向を示す方向画像を画像データに含ませ、別のユーザのキャラクタの視野角内に前記オブジェクトが含まれていなければ、別のユーザの視線方向を示す方向画像を画像データに含ませる機能を含む、プログラム。 On the computer,
A function of acquiring operation information for moving the user's character in the virtual space;
A function of acquiring operation information for moving a character of a user different from the user in the virtual space;
A function for controlling the movement of the user's character and the movement of a user's character different from the user based on each operation information;
A function for generating image data including another user's character and a direction of the other user's character and / or a direction image indicating the direction of viewing based on the position of the user's character in the virtual space a program for causing the the realization,
The function to generate image data is
If a predetermined object is included within the viewing angle of another user character, the image data includes a direction image indicating the direction from the other user character toward the object, and the viewing angle of the other user character. If the object is not included in the program, the program includes a function of including, in the image data, a direction image indicating the direction of the line of sight of another user.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016213117A JP6615732B2 (en) | 2016-10-31 | 2016-10-31 | Information processing apparatus and image generation method |
| PCT/JP2017/038377 WO2018079557A1 (en) | 2016-10-31 | 2017-10-24 | Information processing device and image generation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016213117A JP6615732B2 (en) | 2016-10-31 | 2016-10-31 | Information processing apparatus and image generation method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018073172A JP2018073172A (en) | 2018-05-10 |
| JP2018073172A5 JP2018073172A5 (en) | 2019-01-17 |
| JP6615732B2 true JP6615732B2 (en) | 2019-12-04 |
Family
ID=62025056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016213117A Active JP6615732B2 (en) | 2016-10-31 | 2016-10-31 | Information processing apparatus and image generation method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6615732B2 (en) |
| WO (1) | WO2018079557A1 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020129176A (en) * | 2019-02-07 | 2020-08-27 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| JP7395172B2 (en) * | 2019-06-07 | 2023-12-11 | 株式会社アルファコード | Incentive grant system, incentive grant device, incentive grant method, and incentive management program in virtual reality space |
| JP2021121912A (en) * | 2020-01-31 | 2021-08-26 | ソニーグループ株式会社 | Information processing device and information processing method |
| JP2021121913A (en) * | 2020-01-31 | 2021-08-26 | ソニーグループ株式会社 | Information processing device and information processing method |
| JP7324469B2 (en) | 2021-06-28 | 2023-08-10 | グリー株式会社 | Information processing system, information processing method, information processing program |
| JPWO2023276156A1 (en) * | 2021-07-02 | 2023-01-05 | ||
| JPWO2023026628A1 (en) * | 2021-08-25 | 2023-03-02 | ||
| JP2023148674A (en) * | 2022-03-30 | 2023-10-13 | 株式会社バンダイナムコエンターテインメント | Computer system, virtual space control system and virtual space control method |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002113261A (en) * | 2000-07-06 | 2002-04-16 | Sony Computer Entertainment Inc | Game system, storage medium and entertainment device |
| JP4262011B2 (en) * | 2003-07-30 | 2009-05-13 | キヤノン株式会社 | Image presentation method and apparatus |
| JP2016158795A (en) * | 2015-02-27 | 2016-09-05 | 株式会社ソニー・インタラクティブエンタテインメント | Display control program, display control apparatus, and display control method |
| US10062208B2 (en) * | 2015-04-09 | 2018-08-28 | Cinemoi North America, LLC | Systems and methods to provide interactive virtual environments |
-
2016
- 2016-10-31 JP JP2016213117A patent/JP6615732B2/en active Active
-
2017
- 2017-10-24 WO PCT/JP2017/038377 patent/WO2018079557A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018079557A1 (en) | 2018-05-03 |
| JP2018073172A (en) | 2018-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6615732B2 (en) | Information processing apparatus and image generation method | |
| JP6058184B1 (en) | Method and program for controlling head mounted display system | |
| JP6845111B2 (en) | Information processing device and image display method | |
| JP6807455B2 (en) | Information processing device and image generation method | |
| US20160292924A1 (en) | System and method for augmented reality and virtual reality applications | |
| WO2017086263A1 (en) | Image processing device and image generation method | |
| JP6298561B1 (en) | Program executed by computer capable of communicating with head mounted device, information processing apparatus for executing the program, and method executed by computer capable of communicating with head mounted device | |
| JP6462059B1 (en) | Information processing method, information processing program, information processing system, and information processing apparatus | |
| JP6242473B1 (en) | Method for providing virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program | |
| JP6342024B1 (en) | Method for providing virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program | |
| JP2019087226A (en) | Information processing device, information processing system, and method of outputting facial expression images | |
| KR20200060361A (en) | Information processing apparatus, information processing method, and program | |
| WO2015048890A1 (en) | System and method for augmented reality and virtual reality applications | |
| JP2019046291A (en) | Information processing apparatus and image display method | |
| JP2019128721A (en) | Program for reflecting user motion on avatar, information processing device for executing the same and method for distributing image containing avatar | |
| JP6518645B2 (en) | INFORMATION PROCESSING APPARATUS AND IMAGE GENERATION METHOD | |
| JP2020145654A (en) | Moving image display system, information processing device, and moving image display method | |
| US20190089899A1 (en) | Image processing device | |
| JP6999538B2 (en) | Information processing methods, information processing programs, information processing systems, and information processing equipment | |
| US11310472B2 (en) | Information processing device and image generation method for projecting a subject image onto a virtual screen | |
| JP2022015647A (en) | Information processing apparatus and image display method | |
| JP6921204B2 (en) | Information processing device and image output method | |
| JP2017162443A (en) | Method and program for controlling head-mounted display system | |
| US20240205513A1 (en) | Video display system, information processing device, information processing method, and recording medium | |
| JP2018156675A (en) | Method for presenting virtual space, program for causing computer to execute the same method, and information processing device for executing the same program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181126 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191106 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6615732 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |