JP2017027477A - 3次元出力サーバ、3次元出力方法及び3次元出力サーバ用プログラム。 - Google Patents

3次元出力サーバ、3次元出力方法及び3次元出力サーバ用プログラム。 Download PDF

Info

Publication number
JP2017027477A
JP2017027477A JP2015147234A JP2015147234A JP2017027477A JP 2017027477 A JP2017027477 A JP 2017027477A JP 2015147234 A JP2015147234 A JP 2015147234A JP 2015147234 A JP2015147234 A JP 2015147234A JP 2017027477 A JP2017027477 A JP 2017027477A
Authority
JP
Japan
Prior art keywords
mounted display
data
head mounted
dimensional output
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015147234A
Other languages
English (en)
Inventor
俊二 菅谷
Shunji Sugaya
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Priority to JP2015147234A priority Critical patent/JP2017027477A/ja
Priority to US15/157,649 priority patent/US9858725B2/en
Publication of JP2017027477A publication Critical patent/JP2017027477A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】想現実空間において、ユーザが見ている方向を判断することが容易な3次元出力サーバ、3次元出力方法及び3次元出力サーバ用プログラムを提供する。【解決手段】仮想現実又は拡張現実として3次元空間データを、ユーザの見る方向によって全天周で出力するヘッドマウントディスプレイ100と通信可能に接続された3次元出力サーバ10は、出力表示する画面データを、逐次、ヘッドマウントディスプレイ100に送信し、ヘッドマウントディスプレイ100から、このヘッドマウントディスプレイ100のヨー方向及びピッチ方向の回転に関するデータを受信し、受信したヘッドマウントディスプレイ100のヨー方向及びピッチ方向の回転から、画面データを変更し、受信したヘッドマウントディスプレイ100のヨー方向及びピッチ方向の回転に基づいて、このヘッドマウントディスプレイ100に対応するユーザのアバターデータを変更する。【選択図】図1

Description

本発明は、仮想現実又は拡張現実として3次元空間データを、ユーザの見る方向によって全天周で出力するヘッドマウントディスプレイと通信可能に接続された3次元出力サーバに関する。
近年、3次元空間データ等の画面データを、ヘッドマウントディスプレイに送信し、このヘッドマウントディスプレイにおいて、ユーザの見る方向によって全天周で出力させる3次元出力サーバが知られている。
このような3次元出力サーバにおいて、画面データには、ユーザを仮想3次元空間内において仮想的に表示するアバターに関するデータであるアバターデータが含まれる。
このようなアバターの表示において、例えば、ヘッドマウントディスプレイを装着するユーザの眼球の位置情報に基づいて、アバターの位置決めを行う構成が開示されている(特許文献1参照)。
特開2014−86091号公報
特許文献1によれば、第1の眼球と第2の眼球との2つの眼球の位置情報に基づいて、人の頭部を位置決めし、アバターを移動させることが記載されている。
しかしながら、特許文献1の構成では、アバター全体を移動させるものに過ぎず、アバターの一部、例えば、アバターの頭部のみの向きを変更することは困難であった。
そこで、本発明では、アバターの頭部の向きを変更することにより、仮想現実空間において、ユーザが見ている方向を判断することが容易になることを可能となることに着目した。
本発明は、仮想現実空間において、ユーザが見ている方向を判断することが容易な3次元出力サーバ、3次元出力方法及び3次元出力サーバ用プログラムを提供することを目的とする。
本発明では、以下のような解決手段を提供する。
第1の特徴に係る発明は、仮想現実又は拡張現実として3次元空間データを、ユーザの見る方向によって全天周で出力するヘッドマウントディスプレイと通信可能に接続された3次元出力サーバであって、
出力表示する画面データを、逐次、前記ヘッドマウントディスプレイに送信する画面データ送信手段と、
前記ヘッドマウントディスプレイから、前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転に関するデータを受信する方向データ受信手段と、
受信した前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転から、前記画面データを変更する画面データ変更手段と、
受信した前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転に基づいて、当該ヘッドマウントディスプレイに対応するユーザのアバターデータを変更するアバターデータ変更手段と、
を備えることを特徴とする3次元出力サーバを提供する。
第1の特徴に係る発明によれば、仮想現実又は拡張現実として3次元空間データを、ユーザの見る方向によって全天周で出力するヘッドマウントディスプレイと通信可能に接続された3次元出力サーバは、出力表示する画面データを、逐次、前記ヘッドマウントディスプレイに送信し、前記ヘッドマウントディスプレイから、前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転に関するデータを受信し、受信した前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転から、前記画面データを変更し、受信した前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転に基づいて、当該ヘッドマウントディスプレイに対応するユーザのアバターデータを変更する。
ここで、第1の特徴に係る発明は、3次元出力サーバのカテゴリであるが、3次元出力方法及び3次元出力サーバ用プログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
第2の特徴に係る発明は、前記アバターデータ変更手段が、前記アバターデータの頭の方向を変更することを特徴とする第1の特徴に係る3次元出力サーバを提供する。
第2の特徴に係る発明によれば、第1の特徴に係る発明である3次元出力サーバは、前記アバターデータの頭の方向を変更する。
第3の特徴に係る発明は、仮想現実又は拡張現実として3次元空間データを、ユーザの見る方向によって全天周で出力するヘッドマウントディスプレイと通信可能に接続された3次元出力方法であって、
出力表示する画面データを、逐次、前記ヘッドマウントディスプレイに送信するステップと、
前記ヘッドマウントディスプレイから、前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転に関するデータを受信するステップと、
受信した前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転から、前記画面データを変更するステップと、
受信した前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転に基づいて、当該ヘッドマウントディスプレイに対応するユーザのアバターデータを変更するステップと、
を備えることを特徴とする3次元出力方法を提供する。
第4の特徴に係る発明は、仮想現実又は拡張現実として3次元空間データを、ユーザの見る方向によって全天周で出力するヘッドマウントディスプレイと通信可能に接続された3次元出力サーバが実行する3次元出力サーバ用プログラムであって、
出力表示する画面データを、逐次、前記ヘッドマウントディスプレイに送信するステップ、
前記ヘッドマウントディスプレイから、前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転に関するデータを受信するステップ、
受信した前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転から、前記画面データを変更するステップ、
受信した前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転に基づいて、当該ヘッドマウントディスプレイに対応するユーザのアバターデータを変更するステップ、
を備えることを特徴とする3次元出力サーバ用プログラムを提供する。
本発明によれば、仮想現実空間において、ユーザが見ている方向を判断することが容易な3次元出力サーバ、3次元出力方法及び3次元出力サーバ用プログラムを提供することが可能となる。
図1は、3次元出力システム1の概念図である。 図2は、3次元出力システム1の構成図である。 図3は、3次元出力サーバ10及びヘッドマウントディスプレイ100の機能ブロック図である。 図4は、3次元出力サーバ10及びヘッドマウントディスプレイ100が実行する3次元出力処理の手順を示すフローチャートである。 図5は、3次元出力サーバ10が記憶するキャラクターテーブルを示す図である。 図6は、3次元出力サーバ10が記憶する識別子テーブルを示す図である。 図7は、ヘッドマウントディスプレイ100が表示する仮想3次元空間を示す図である。 図8は、ヘッドマウントディスプレイ100が表示する仮想3次元空間を示す図である。 図9は、ヘッドマウントディスプレイ100が表示する仮想3次元空間を示す図である。
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも例であって、本発明の技術的範囲はこれに限られるものではない。
[3次元出力システム1の概要]
図1は、本発明の好適な実施形態である3次元出力システム1の概要を説明するための図である。3次元出力システム1は、3次元出力サーバ10、ヘッドマウントディスプレイ100a,b(以下、特に断りがない限りヘッドマウントディスプレイ100と称す)から構成される。
3次元出力サーバ10は、ヘッドマウントディスプレイ100と通信可能に接続される。3次元出力サーバ10は、ヘッドマウントディスプレイ100が出力表示する画面データを、ヘッドマウントディスプレイ100に送信する。また、3次元出力サーバ10は、ヘッドマウントディスプレイ100のヨー方向及びピッチ方向の回転に関するデータである方向データを受信する。また、3次元出力サーバ10は、受信した方向データに基づいて、ヘッドマウントディスプレイ100が出力表示する画面データを変更する。また、3次元出力サーバ10は、受信した回転データに基づいて、この回転データを送信したヘッドマウントディスプレイ100に対応するユーザのアバターデータを変更し、ヘッドマウントディスプレイ100に送信する。3次元出力サーバ10は、アバターデータの変更として、アバターデータの顔の方向を変更する。
ヘッドマウントディスプレイ100は、ユーザの目を覆って、仮想現実空間又は拡張現実として3次元空間データを出力表示する。また、ヘッドマウントディスプレイ100は、3次元出力サーバ10と通信可能に接続され、3次元出力サーバ10から画面データを受信するとともに、3次元出力サーバ10に方向データを送信する。また、ヘッドマウントディスプレイ100は、3次元空間データを、ユーザ見る方向によって全天周で出力する。また、ヘッドマウントディスプレイ100は、自身のヨー方向及びピッチ方向の回転を検知するセンサを有する。また、ヘッドマウントディスプレイ100は、検知したヨー方向及びピッチ方向の回転に関するデータである方向データを3次元出力サーバ10に送信する。
はじめに、3次元出力サーバ10は、3次元空間データである画面データを送信するヘッドマウントディスプレイ100を特定する(ステップS01)。ステップS01において、3次元出力サーバ10は、自身に通信可能に接続されたヘッドマウントディスプレイ100の各識別子である識別データを取得し、自身に接続されたヘッドマウントディスプレイ100の種類や数等の装置に関する各種データを特定する。
3次元出力サーバ10は、特定したヘッドマウントディスプレイ100の各々に画面データを、逐次、送信する(ステップS02)。ステップS02において、3次元出力サーバ10が送信する画面データには、ヘッドマウントディスプレイ100を装着するユーザのアバターに関するデータであるアバターデータと、仮想3次元空間内に配置する物品等に関するデータである物品データと、仮想3次元空間の空間に関するデータである空間データとが含まれる。
ヘッドマウントディスプレイ100は、3次元出力サーバ10から送信された画面データを受信し、この画面データに基づいて、仮想3次元空間を表示する(ステップS03)。ステップS03において、ヘッドマウントディスプレイ100は、この画面データに含まれるアバターデータ、物品データ及び空間データに基づいて、ユーザを示すアバター、仮想3次元空間内における配置される物品及び仮想3次元空間の空間を表示する。
ヘッドマウントディスプレイ100は、装着したユーザにおける顔の向きの変化を、自身のヨー方向及びピッチ方向の回転の変化に基づいて判断する(ステップS04)。
ヘッドマウントディスプレイ100は、自身のヨー方向及びピッチ方向の回転の変化を検知した場合、この検知したヨー方向及びピッチ方向の回転に関するデータである方向データを3次元出力サーバ10に送信する(ステップS05)。
3次元出力サーバ10は、ヘッドマウントディスプレイ100が送信した方向データを受信し、受信した方向データに基づいて、このヘッドマウントディスプレイ100を装着するユーザの画像データを変更する(ステップS06)。ステップS06において、3次元出力サーバ10が変更する画像データは、アバターデータ、物品データ及び空間データを変更する。また、3次元出力サーバ10は、アバターデータの変更として、元のアバターデータの顔に関するアバターデータを変更する。具体的には、受信した方向データに基づいて、アバターデータの顔の向きを変更する。
3次元出力サーバ10は、変更した画像データを、ヘッドマウントディスプレイ100に送信する(ステップS07)。
ヘッドマウントディスプレイ100は、3次元出力サーバ10が送信した画像データを受信し、この画像データに基づいて、仮想3次元空間を表示する(ステップS08)。
以上が、3次元出力システム1の概要である。
[3次元出力システム1の構成]
図2は、本発明の好適な実施形態である3次元出力システム1の構成図である。3次元出力システム1は、3次元出力サーバ10、ヘッドマウントディスプレイ100a,b(以下、特に断りがない限りヘッドマウントディスプレイ100と称す)及び公衆回線網3(インターネット網や第3世代通信網、第4世代通信網等)から構成される。
3次元出力サーバ10は、後述の機能を備え、ヘッドマウントディスプレイ100とデータ通信を実行するサーバ装置である。
3次元出力サーバ10は、ヘッドマウントディスプレイ100が出力表示する画面データを、逐次、ヘッドマウントディスプレイ100に送信する。3次元出力サーバ10は、ヘッドマウントディスプレイ100のヨー方向及びピッチ方向の回転に関する方向データを受信する。3次元出力サーバ10は、受信した方向データに基づいて、画面データを変更する。3次元出力サーバ10は、受信した方向データに基づいて、この方向データを送信したヘッドマウントディスプレイ100を識別し、このヘッドマウントディスプレイ100に対応するユーザのアバターデータを変更する。3次元出力サーバ10は、アバターデータの変更を、アバターデータの顔の方向を変更することにより実行する。
ヘッドマウントディスプレイ100は、後述の機能を備え、ユーザの目を覆って、仮想現実又は拡張現実として、3次元空間データを、ユーザの見る方向によって全天周で出力表示する装置である。
ヘッドマウントディスプレイ100は、3次元出力サーバ10とデータ通信を実行する。ヘッドマウントディスプレイ100は、3次元出力サーバ10が送信した3次元空間データに基づいて、仮想3次元空間を表示する。また、ヘッドマウントディスプレイ100は、自身のヨー方向及びピッチ方向の回転に関するデータである方向データを検知するセンサ等のデバイスを備える。ヘッドマウントディスプレイ100は、検知した方向データを3次元出力サーバ10に送信する。
[各機能の説明]
図3は、3次元出力サーバ10及びヘッドマウントディスプレイ100の機能ブロック図と各機能の関係を示す図である。
3次元出力サーバ10は、制御部11として、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部12として、例えば、IEEE802.11に準拠したWiFi(Wireless Fidelity)対応デバイス又は、第3世代移動通信システム等のIMT−2000規格に準拠した無線デバイス等を備える(有線によるLAN接続であってもよい)。
また、3次元出力サーバ10は、記憶部13として、例えば、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。記憶部13には、後述するキャラクターテーブル及び識別子テーブルが含まれる。
3次元出力サーバ10において、制御部11が所定のプログラムを読み込むことで、通信部12と協働して、装置特定モジュール20、画面データ送信モジュール21、方向データ受信モジュール22、アバター変更モジュール23を実現する。また、3次元出力サーバ10において、制御部11が所定のプログラムを読み込むことで、記憶部13と協働して、識別子記憶モジュール30を実現する。
ヘッドマウントディスプレイ100は、3次元出力サーバ10と同様に、制御部110として、CPU、RAM、ROM等を備え、通信部120として、例えば、IEEE802.11に準拠したWiFi対応デバイス又は、第3世代移動通信システム等のIMT−2000規格に準拠した無線デバイス等を備える(有線によるLAN接続であってもよい)。
また、ヘッドマウントディスプレイ100は、表示部130として、制御部110で制御したデータや画像を出力表示するデバイスを備える。また、ヘッドマウントディスプレイは、検知部140として、自身のヨー方向及びピッチ方向に関する回転を検知するセンサ等のデバイスを備える。
ヘッドマウントディスプレイ100において、制御部110が所定のプログラムを読み込むことで、通信部120と協働して、画面データ受信モジュール150、方向データ送信モジュール151を実現する。また、ヘッドマウントディスプレイ100において、制御部110が所定のプログラムを読み込むことで、表示部130と協働して、画面表示モジュール160を実現する。また、ヘッドマウントディスプレイ100において、制御部110が所定のプログラムを読み込むことで、検知部140と協働して、方向検知モジュール170を実現する。
[3次元出力処理]
図4は、3次元出力サーバ10及びヘッドマウントディスプレイ100が実行する3次元出力処理のフローチャートである。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
3次元出力サーバ10の識別子記憶モジュール30は、予め、3次元空間に表示するアバター画像と、このアバター画像を識別する識別子であるキャラクター名とを対応付けて図5に示すキャラクターテーブルとして記憶する(ステップS10)。
[キャラクターテーブル]
図5は、3次元出力サーバ10の識別子記憶モジュール30が記憶するキャラクターテーブルを示す図である。識別子記憶モジュール30は、アバター画像と、このアバター画像の識別子であるキャラクター名とを対応付けて記憶する。なお、識別子記憶モジュール30が記憶するアバター画像は、予めユーザが作成したアバター画像及びキャラクター名を取得し、記憶しても良いし、予め用意されたアバター画像及びキャラクター名であっても良い。
3次元出力サーバ10の装置特定モジュール20は、3次元空間データである画面データを送信するヘッドマウントディスプレイ100を特定する(ステップS11)。ステップS11において、装置特定モジュール20は、自身に接続されたヘッドマウントディスプレイ100の識別子である識別データと、このヘッドマウントディスプレイ100を装着するユーザの識別子であるユーザIDとを取得する。
3次元出力サーバ10の識別子記憶モジュール30は、ヘッドマウントディスプレイ100の識別データと、ユーザIDと、ユーザが自身の分身として表示するアバター画像の識別子であるキャラクター名とを対応付けて図6に示す識別子テーブルとして記憶する(ステップS12)。
[識別子テーブル]
図6は、3次元出力サーバ10の識別子記憶モジュール30が記憶する識別子テーブルを示す図である。識別子記憶モジュール30は、装置特定モジュール20が特定したヘッドマウントディスプレイ100の識別子である識別データを、装置識別子として記憶するまた、識別子記憶モジュール30は、装置特定モジュール20が特定したヘッドマウントディスプレイ100を装着するユーザの識別子であるユーザIDを、ユーザ名として記憶する。また、識別子記憶モジュール30は、このユーザ名に対応付けられたアバター画像のキャラクター名を、アバターデータとして記憶する。なお、識別子記憶モジュール30が記憶するアバターデータは、予めユーザが設定したアバターデータであっても良いし、3次元出力サーバ10が設定したアバターデータであっても良い。
3次元出力サーバ10の画面データ送信モジュール21は、特定した各ヘッドマウントディスプレイ100に3次元空間データを画面データとして、逐次、送信する(ステップS13)。ステップS13において、画面データ送信モジュール21が送信する画面データには、ヘッドマウントディスプレイ100を装着するユーザの分身であるアバターに関するデータであるアバターデータと、仮想3次元空間に関するデータである空間データと、この仮想3次元空間内に配置される物品等に関するデータである物品データとが含まれる。なお、画面データ送信モジュール21は、上述した各データ以外のデータを画面データとして送信しても良い。
ヘッドマウントディスプレイ100の画面データ受信モジュール150は、3次元出力サーバ10が送信した画面データを受信する。ヘッドマウントディスプレイ100の画面表示モジュール160は、受信した画面データに基づいて、仮想3次元空間、物品及びアバターを表示する(ステップS14)。ステップS14において、画面表示モジュール160は、図7に示す画面を、自身に表示する。
図7において、ヘッドマウントディスプレイ100の画面表示モジュール160は、仮想3次元空間内に、アバター200,210,220を表示するとともに、物品300,310,320を表示する。画面表示モジュール160は、ヘッドマウントディスプレイ100毎に、自身を中心として全天周の画面を表示するが、本実施形態では、便宜的にアバター220の後ろから見ているユーザがいるとして説明する。また、以下の説明において、ヘッドマウントディスプレイ100aを装着するユーザは、アバター200で示されるユーザであるとする。また、ヘッドマウントディスプレイ100aを装着するユーザは、アバター210の方向に顔の向きを移動させたものとして説明する。
ヘッドマウントディスプレイ100aの方向検知モジュール170は、自身を装着したユーザの顔の向きに変化があったか否かを判断する(ステップS15)。ステップS15において、方向検知モジュール170は、ユーザの顔の向きが変化したか否かを、自身のヨー方向及びピッチ方向の回転の有無を判断することにより実行する。なお、本実施形態において、ヨー方向とは、自身を中心として上下軸周りにおける回転を意味し、ピッチ方向とは、自身を中心として左右の軸周り回転を意味する。
ステップS15において、ヘッドマウントディスプレイ100の方向検知モジュール170は、ヨー方向及びピッチ方向の回転がないと判断した場合(ステップS15 NO)、回転を検知するまで本処理を繰り返す。
一方、ステップS15において、ヘッドマウントディスプレイ100aの方向検知モジュール170は、ヨー方向及びピッチ方向の回転があると判断した場合(ステップS15 YES)、このヨー方向及びピッチ方向の回転の角度を算出する。ヘッドマウントディスプレイ100aの方向データ送信モジュール151は、算出した角度を方向データとして3次元出力サーバ10に送信するとともにこのヘッドマウントディスプレイ100aの識別子を示す識別データとを送信する(ステップS16)。
3次元出力サーバ10の方向データ受信モジュール22は、ヘッドマウントディスプレイ100aが送信した方向データと識別データとを受信する。3次元出力サーバ10のアバター変更モジュール23は、受信した方向データと識別データとに基づいて、識別子テーブルとして記憶した識別データに対応付けられたアバターデータを特定し、画面データに含まれるアバターデータを変更する(ステップS17)。ステップS17において、アバター変更モジュール23は、受信した方向データからヘッドマウントディスプレイ100aのヨー方向及びピッチ方向の回転の角度を取得し、取得した角度だけ、アバターデータの頭の向きを変更し、変更したアバターデータを生成する。
また、3次元出力サーバ10の画面データ変更モジュール24は、受信した方向データに基づいて、画面データを変更する(ステップS18)。ステップS18において、画面データ変更モジュール24は、受信した方向データからヘッドマウントディスプレイ100aのヨー方向及びピッチ方向の回転の角度を取得し、取得した角度だけ、ヘッドマウントディスプレイ100aが表示する画面データを変更し、変更した画面データを生成する。
3次元出力サーバ10の画面データ送信モジュール21は、受信した識別データを有するヘッドマウントディスプレイ100aに変更した画面データを送信するとともに、他のヘッドマウントディスプレイ100bに、変更したアバターデータ含む画面データを送信する(ステップS19)。
ヘッドマウントディスプレイ100aの画面データ受信モジュール150は、3次元出力サーバ10が送信した画面データを受信する。ヘッドマウントディスプレイ100の画面表示モジュール160は、受信した画面データに基づいて、図8に示す仮想3次元空間を表示する(ステップS20)。
図8は、ヘッドマウントディスプレイ100aを装着するユーザが見る画面を示す図であり、ヘッドマウントディスプレイ100aの画面表示モジュール160が、ユーザがアバター210の方向を向いたことにより、表示する画面を変更したことを示す図である。図8において、画面表示モジュール160は、アバター210,220及び物品310,320を表示する。すなわち、画面表示モジュール160は、仮想3次元空間の画面をユーザの顔の向きに合わせて変更している。
また、ヘッドマウントディスプレイ100bの画面データ受信モジュール150は、3次元出力サーバ10が送信した画面データを受信する。ヘッドマウントディスプレイ100bの画面表示モジュール160は、受信した画面データに基づいて、図9に示す仮想3次元空間を表示する(ステップS21)。
図9は、ヘッドマウントディスプレイ100bを装着するユーザが見る画面を示す図である。図9において、ヘッドマウントディスプレイ100bの画面表示モジュール160は、アバター200の顔の向きがアバター210の方向に向いていることを示す。また、画面表示モジュール160は、仮想3次元空間において、アバター200,210,220及び物品300,310,320を表示する。
以上が、3次元出力処理である。
上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、CD(CD−ROMなど)、DVD(DVD−ROM、DVD−RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
10 3次元出力サーバ、100 ヘッドマウントディスプレイ

Claims (4)

  1. 仮想現実又は拡張現実として3次元空間データを、ユーザの見る方向によって全天周で出力するヘッドマウントディスプレイと通信可能に接続された3次元出力サーバであって、
    出力表示する画面データを、逐次、前記ヘッドマウントディスプレイに送信する画面データ送信手段と、
    前記ヘッドマウントディスプレイから、前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転に関するデータを受信する方向データ受信手段と、
    受信した前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転から、前記画面データを変更する画面データ変更手段と、
    受信した前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転に基づいて、当該ヘッドマウントディスプレイに対応するユーザのアバターデータを変更するアバターデータ変更手段と、
    を備えることを特徴とする3次元出力サーバ。
  2. 前記アバターデータ変更手段は、前記アバターデータの頭の方向を変更することを特徴とする請求項1に記載の3次元出力サーバ。
  3. 仮想現実又は拡張現実として3次元空間データを、ユーザの見る方向によって全天周で出力するヘッドマウントディスプレイと通信可能に接続された3次元出力方法であって、
    出力表示する画面データを、逐次、前記ヘッドマウントディスプレイに送信するステップと、
    前記ヘッドマウントディスプレイから、前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転に関するデータを受信するステップと、
    受信した前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転から、前記画面データを変更するステップと、
    受信した前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転に基づいて、当該ヘッドマウントディスプレイに対応するユーザのアバターデータを変更するステップと、
    を備えることを特徴とする3次元出力方法。
  4. 仮想現実又は拡張現実として3次元空間データを、ユーザの見る方向によって全天周で出力するヘッドマウントディスプレイと通信可能に接続された3次元出力サーバが実行する3次元出力サーバ用プログラムであって、
    出力表示する画面データを、逐次、前記ヘッドマウントディスプレイに送信するステップ、
    前記ヘッドマウントディスプレイから、前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転に関するデータを受信するステップ、
    受信した前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転から、前記画面データを変更するステップ、
    受信した前記ヘッドマウントディスプレイのヨー方向及びピッチ方向の回転に基づいて、当該ヘッドマウントディスプレイに対応するユーザのアバターデータを変更するステップ、
    を備えることを特徴とする3次元出力サーバ用プログラム。
JP2015147234A 2015-07-24 2015-07-24 3次元出力サーバ、3次元出力方法及び3次元出力サーバ用プログラム。 Pending JP2017027477A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015147234A JP2017027477A (ja) 2015-07-24 2015-07-24 3次元出力サーバ、3次元出力方法及び3次元出力サーバ用プログラム。
US15/157,649 US9858725B2 (en) 2015-07-24 2016-05-18 Server and method for three-dimensional output

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015147234A JP2017027477A (ja) 2015-07-24 2015-07-24 3次元出力サーバ、3次元出力方法及び3次元出力サーバ用プログラム。

Publications (1)

Publication Number Publication Date
JP2017027477A true JP2017027477A (ja) 2017-02-02

Family

ID=57837825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015147234A Pending JP2017027477A (ja) 2015-07-24 2015-07-24 3次元出力サーバ、3次元出力方法及び3次元出力サーバ用プログラム。

Country Status (2)

Country Link
US (1) US9858725B2 (ja)
JP (1) JP2017027477A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6321271B1 (ja) * 2017-06-21 2018-05-09 株式会社コロプラ コンテンツ提供方法、当該方法をコンピュータに実行させるプログラム、およびコンテンツ提供装置
WO2020246127A1 (ja) * 2019-06-07 2020-12-10 株式会社アルファコード 仮想現実空間におけるインセンティブ付与システム、インセンティブ付与装置、インセンティブ付与方法およびインセンティブ管理用プログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509773B2 (en) * 2004-06-10 2019-12-17 Oracle International Corporation DBFS with flashback archive
WO2018132622A1 (en) * 2017-01-11 2018-07-19 Taqtile Managing virtual reality objects
JPWO2018216355A1 (ja) * 2017-05-24 2020-05-21 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10102659B1 (en) 2017-09-18 2018-10-16 Nicholas T. Hariton Systems and methods for utilizing a device as a marker for augmented reality content
US10105601B1 (en) 2017-10-27 2018-10-23 Nicholas T. Hariton Systems and methods for rendering a virtual content object in an augmented reality environment
US10636188B2 (en) 2018-02-09 2020-04-28 Nicholas T. Hariton Systems and methods for utilizing a living entity as a marker for augmented reality content
US10198871B1 (en) * 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
CN109068125A (zh) * 2018-07-30 2018-12-21 上海闻泰电子科技有限公司 Ar***
US11294453B2 (en) * 2019-04-23 2022-04-05 Foretell Studios, LLC Simulated reality cross platform system
US10586396B1 (en) 2019-04-30 2020-03-10 Nicholas T. Hariton Systems, methods, and storage media for conveying virtual content in an augmented reality environment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08329282A (ja) * 1995-06-05 1996-12-13 Nippon Telegr & Teleph Corp <Ntt> 3次元映像表示システム
JP2000353248A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実感装置及び複合現実感提示方法
JP2006331065A (ja) * 2005-05-26 2006-12-07 Matsushita Electric Ind Co Ltd 顔情報送信装置、顔情報送信方法及びそのプログラムを記録した記録媒体
JP2011242458A (ja) * 2010-05-14 2011-12-01 Nippon Telegr & Teleph Corp <Ntt> 表示装置および表示方法
JP2014017776A (ja) * 2012-07-11 2014-01-30 Sony Computer Entertainment Inc 画像生成装置および画像生成方法
US20140347390A1 (en) * 2013-05-22 2014-11-27 Adam G. Poulos Body-locked placement of augmented reality objects

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9058053B2 (en) 2012-10-26 2015-06-16 The Boeing Company Virtual reality display system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08329282A (ja) * 1995-06-05 1996-12-13 Nippon Telegr & Teleph Corp <Ntt> 3次元映像表示システム
JP2000353248A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実感装置及び複合現実感提示方法
JP2006331065A (ja) * 2005-05-26 2006-12-07 Matsushita Electric Ind Co Ltd 顔情報送信装置、顔情報送信方法及びそのプログラムを記録した記録媒体
JP2011242458A (ja) * 2010-05-14 2011-12-01 Nippon Telegr & Teleph Corp <Ntt> 表示装置および表示方法
JP2014017776A (ja) * 2012-07-11 2014-01-30 Sony Computer Entertainment Inc 画像生成装置および画像生成方法
US20140347390A1 (en) * 2013-05-22 2014-11-27 Adam G. Poulos Body-locked placement of augmented reality objects

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6321271B1 (ja) * 2017-06-21 2018-05-09 株式会社コロプラ コンテンツ提供方法、当該方法をコンピュータに実行させるプログラム、およびコンテンツ提供装置
JP2019008392A (ja) * 2017-06-21 2019-01-17 株式会社コロプラ コンテンツ提供方法、当該方法をコンピュータに実行させるプログラム、およびコンテンツ提供装置
WO2020246127A1 (ja) * 2019-06-07 2020-12-10 株式会社アルファコード 仮想現実空間におけるインセンティブ付与システム、インセンティブ付与装置、インセンティブ付与方法およびインセンティブ管理用プログラム
JP2020201619A (ja) * 2019-06-07 2020-12-17 株式会社アルファコード 仮想現実空間におけるインセンティブ付与システム、インセンティブ付与装置、インセンティブ付与方法およびインセンティブ管理用プログラム
JP7395172B2 (ja) 2019-06-07 2023-12-11 株式会社アルファコード 仮想現実空間におけるインセンティブ付与システム、インセンティブ付与装置、インセンティブ付与方法およびインセンティブ管理用プログラム

Also Published As

Publication number Publication date
US20170024932A1 (en) 2017-01-26
US9858725B2 (en) 2018-01-02

Similar Documents

Publication Publication Date Title
JP2017027477A (ja) 3次元出力サーバ、3次元出力方法及び3次元出力サーバ用プログラム。
JP6813501B2 (ja) 拡張現実システムに結合されるプライバシーセンシティブ消費者カメラ
US11297224B2 (en) Automated eyewear device sharing system
JP6619871B2 (ja) 媒介現実コンテンツの共有
WO2016157485A1 (ja) ヘッドマウントディスプレイ
JP6228640B1 (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
KR20230035265A (ko) 확장 현실을 위한 가상 사설 공간
JP6223533B1 (ja) 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6275087B2 (ja) ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。
US20140293022A1 (en) Information processing apparatus, information processing method and recording medium
KR102190072B1 (ko) 콘텐츠 발견
WO2019150201A1 (en) Multiviewing virtual reality user interface
EP3402410B1 (en) Detection system
JP6207691B1 (ja) 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018107695A (ja) 推定システム、推定方法及び推定プログラム
JP6266823B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
US11240482B2 (en) Information processing device, information processing method, and computer program
JP6611143B1 (ja) 画像表示方法、画像表示システム、プログラム
US20240121569A1 (en) Altering audio and/or providing non-audio cues according to listener&#39;s audio depth perception
JP2018089351A (ja) 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018028682A (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
KR20240008892A (ko) 생체인식 신호로서의 굽힘 추정
WO2018061175A1 (ja) 画面共有システム、画面共有方法及びプログラム
JP2020145668A (ja) 画像表示方法、画像表示システム、プログラム
JP2018163642A (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171026

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180123