JP7247260B2 - データ処理プログラム、データ処理方法、および、データ処理装置 - Google Patents
データ処理プログラム、データ処理方法、および、データ処理装置 Download PDFInfo
- Publication number
- JP7247260B2 JP7247260B2 JP2021077850A JP2021077850A JP7247260B2 JP 7247260 B2 JP7247260 B2 JP 7247260B2 JP 2021077850 A JP2021077850 A JP 2021077850A JP 2021077850 A JP2021077850 A JP 2021077850A JP 7247260 B2 JP7247260 B2 JP 7247260B2
- Authority
- JP
- Japan
- Prior art keywords
- external information
- space image
- displayed
- information
- virtual space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、プレイヤが装着している表示装置に、多様な情報を表示可能としたデータ処理プログラム、データ処理方法、および、データ処理装置を提供することを目的とする。
画像を含む前記第2外部情報を、前記仮想空間画像とともに表示させる第2表示処理ステップのうちの少なくとも一方の表示処理ステップを実行するとともに、前記仮想空間画像を表示する場面に応じて、当該場面が前記第1外部情報又は前記第2外部情報を表示可能なタイミングであるか否かを判定する判定ステップ、を実行し、前記第1表示処理ステップでは、前記判定部により前記場面が前記第1外部情報を表示可能なタイミングであると判定された場合に前記第1外部情報を表示し、前記第2表示処理ステップでは、前記判定部により前記場面が前記第2外部情報を表示可能なタイミングであると判定された場合に前記第2外部情報を表示する。
[概要]
図1に示すように、本発明が適用されたゲーム処理システムは、ヘッドマウントディスプレイ(以下、HMD)10と、ゲーム処理装置20と、操作装置30と、撮像装置40とを備えている。HMD10とゲーム処理装置20とは、有線または無線による通信を行う。また、操作装置30とHMD10およびゲーム処理装置20との間も有線または無線による通信を行う。さらに、撮像装置40とゲーム処理装置20およびHMD10との間も有線または無線による通信を行う。ゲーム処理システムでは、バーチャルリアリティゲームを行うことができる。
図2に示すように、HMD10は、HMD制御部11、センサ12、ディスプレイ13、および、スピーカ14を備える。HMD10は、ゲーム処理装置20に各種の情報を出力するとともに、ゲーム処理装置20から各種の情報が入力される。
処理装置20に送信する。HMD制御部11のプレイヤPの頭部の位置を算出した場合には、頭部の位置をゲーム処理装置20に送信する。ゲーム処理装置20は、プレイヤPの頭部の向きなどから、仮想空間におけるプレイヤPの向き(仮想カメラの視線方向)とを算出する。
操作装置30は、当該操作装置30と対応付けられたHMD10と有線または無線により通信可能に構成され、プレイヤPが操作装置30を手に持つこと、あるいは、プレイヤPが操作装置30を手や腕に装着することによってプレイヤPに携帯される。操作装置30は、情報処理部31と、トラッキング情報検出部32と、操作部33とを備えている。
助装置36との協働により、HMD10の位置の算出のための情報を検出可能とする。位置検出用機器とトラッキング補助装置36とは、HMD10の位置に加えて向きの算出にも利用されてもよい。例えば、位置検出用機器とトラッキング補助装置36との一方は、赤外光もしくは可視光を射出するレーザー装置やLED等の発光装置であり、位置検出用機器とトラッキング補助装置36との他方は、上記発光装置に対応した光を受光するカメラ等の受光装置である。そして、所定の配置を有する複数の発光装置のうち、何れの発光装置からの光を受光装置が受光したか、所定の配置を有する複数の受光装置のうち、何れの受光装置が発光装置からの光を受光したか、発光装置からの光の射出方向、発光装置から射出された光が受光装置への到達までに要した時間等の情報が検出され、これらの情報に基づき、HMD10の位置や向きが算出される。トラッキング補助装置36が受光装置である場合や、トラッキング補助装置36が発光装置であって、その発光をゲーム処理装置20が制御する場合には、トラッキング補助装置36はゲーム処理装置20と直接に、もしくは、HMD10を介して、通信可能に構成されていればよい。
撮像装置40は、ゲーム処理装置20やHMD10と有線または無線により通信可能に構成されている。撮像装置40は、プレイヤPの周辺環境を撮像するものである。撮像装置40は、プレイヤPの近くのテーブル等に三脚などによって設置されていてもよい。この場合の撮像装置40の撮像方向は、プレイヤPの視線方向であってもよいし、プレイヤPの背面方向であってもよい。プレイヤPの視線方向を撮像方向としたときには、プレイヤPの前方に近づいた人物などを検出することができる。また、プレイヤPの背面方向を撮像方向としたときには、プレイヤPの背後に近づいた人物などを検出することができる。また、撮像装置40は、屋外を撮像するものであってもよい。屋外を撮像可能な撮像装置40は、例えばプレイヤPが居る建物の屋上などの屋外に設置されている。撮像装置40は、複数の撮像部を備えることによって、プレイヤPの周辺環境や屋外の様子などの複数箇所の現実空間画像を取得することができる。勿論、撮像部の数や設置する箇所は、これらの箇所に限定されるものではない。
1で周辺環境を撮像する。検出部42は、センサを用いて構成するのではなく、データ処理によって画像の変化を検出する検出部であってもよい。例えば、撮像している領域は、動体が存在しない静止空間であって、そこに人が現れたときには、それまでの現実空間画像に変化が生じる。検出部42は、この画像の変化を検出し、HMD10やゲーム処理装置20に対して出力するようにしてもよい。さらに、屋外の撮像部41の近くには、例えば、降雨センサや湿度センサや温度センサなどを配置しておいてもよく、これにより、種々の屋外環境を検出できるようになる。このような検出部42は、複数箇所に撮像部41が設置される場合において、各撮像部41に検出部42を設けてもよいし、室内の撮像部41だけに設けてもよいし、屋外の撮像部41だけに設けるようにしてもよい。また、撮像部41を設置する場所に応じて、異なる種類の検出部42を設けるようにしてもよい。
ゲーム処理装置20は、中央演算処理装置、メモリ、および、特定用途向けの集積回路などの各種のハードウェア要素から構成される。ゲーム処理装置20は、制御装置の一例である制御部21と記憶部22とを備える。なお、ゲーム処理装置20とHMD10とは、1台のゲーム処理装置20に1台のHMD10が接続される関係であってもよいし、1台のゲーム処理装置20に複数台のHMD10が接続される関係であってもよい。
ジェクトを含む。特定オブジェクトの中でも第1特定オブジェクトは、例えば、第1外部情報が配置されるオブジェクトである。また、特定オブジェクトの中でも第2特定オブジェクトは、第2外部情報が配置されるオブジェクトである。
示処理部21Dも、仮想空間画像の視差情報に対して第2外部情報や第2特定オブジェクトの視差情報を変えることによって、仮想空間画像に対して第2外部情報や第2特定オブジェクトが飛び出したり窪んだりするように表示することができる。これにより、仮想空間画像に対して、表示の大きさにさほど影響されることなく、第1外部情報、第2外部情報、第1特定オブジェクト、第2特定オブジェクトなどを仮想空間画像に対して目立たせることができる。
第1外部情報は、例えば電子メールの内容や着信を知らせる表示や現在プレイしているゲームの攻略情報や屋外の天気情報などの環境情報である。第1外部情報が電子メールである場合、取得部21Eは、プレイヤ宛の電子メールが届いているかメールサーバに定期的にアクセスする。又は、取得部21Eは、ゲーム処理装置20がメールアプリケーションを有しているか若しくはメールアプリケーションにアクセスしている場合、このメールアプリケーションに定期的にアクセスする。又は、メールサーバ又はメールアプリケーションに定期的にアクセスせずに、メールサーバ又はメールアプリケーションから送信された通知を取得するようにしてもよい。プレイヤP宛の電子メールがメールサーバ26やメールアプリケーションに届いているとき、当該電子メールをダウンロードし、電子メールの受信の旨や送信元やタイトルや本文の一部などを第1特定オブジェクトの情報表示領域に表示する。メールサーバ26のアドレスデータもテーブル21Fに登録されている。
が設置されている現在位置情報を取得している。また、プレイヤPによって現在位置情報が装置のメモリに保存されている。取得部21Eは、天気サイト28に対して現在位置情報の天気情報を取得する。
ものではない。例えば、取得先は、プレイヤPやその他のユーザが自分の好みに応じてテーブル21Fに自由に登録することができる。
現実空間画像を取得する。なお、取得部21Eは、プレイヤPの周辺環境を撮像している場合であれ屋外を撮像している場合であれ、常時現実空間画像を常に取得していてもよい。また、第2外部情報には、検出部42としての降雨センサや湿度センサや温度センサが検出した降雨情報、温度情報、湿度情報などを文字や図形で表現する現実空間画像に関連する関連情報が含まれていてもよい。
外部情報である天気情報(特に注意報や警報の情報)は、他の第1外部情報(ゲームの攻略情報や電子メールの表示)より優先して表示される。
図4に示すように、ステップS1において、取得部21Eは、ネットワークを介して第1外部情報や第2外部情報を取得する。ステップS2において、判別部21Gは、進行中のゲームの場面に応じて、その場面が第1外部情報や第2外部情報を表示可能なタイミングかどうかを判断する。判断する時点の場面が第1外部情報や第2外部情報を表示可能なタイミングであるか否かは、進行管理部21Bが管理しているゲーム進行を参照して判別部21Gが判別する。例えば、判別部21Gは、進行管理部21Bで管理しているゲームの進行に関連付いた第1外部情報および第2外部情報を表示可能であるか否かを示す識別情報を参照し、第1外部情報および第2外部情報を表示するか否かを判断する。
以下の出力例の説明では、プレイヤキャラクタが仮想キャラクタとコミュニケーションを取りながら進行させるゲームを例に説明する。
声などでプレイヤPに対して(A)デザートを注文するか、(B)踊って欲しいかを質問している画面である。そして、プレイヤPは、キャラクタオブジェクト101Cからの音声の質問に対して、例えば首を縦に振ったり(選択を示す操作信号を発生)横に振ったりする(非選択の操作信号を発生)ことで、選択信号を入力することができる。図5の画面では、第1外部情報として、掲示板のオブジェクトである第1特定オブジェクト101Sに攻略情報101Iが表示されている。攻略情報101Iは、取得部21Eが取得し、判別部21Gが第1外部情報と判別した情報である。
ォンが複数台表示されていたり、掲示板が複数台表示されていてもよい。このような例では、1つの第1特定オブジェクト101Sには第1外部情報となる検索結果を表示し、他の第1特定オブジェクト101Sには第1外部情報となる攻略情報提供サイトの攻略情報101Iを表示することができる。例えば、スマートフォンと掲示板が第1特定オブジェクト101Sとして表示されている場合、例えば、スマートフォンの画面には、「攻略情報提供サイトA」および「攻略情報提供サイトB」の何れかを選択可能に表示される。プレイヤPによる操作装置30の入力操作によって、「攻略情報提供サイトA」が選択されると、ゲーム処理装置20は、そのウェブサイトのURLにアクセスし、選択された「攻略情報提供サイトA」の攻略情報101Iを第1特定オブジェクト101Sである掲示板に表示する。プレイヤPは、「攻略情報提供サイトA」の攻略情報101Iを第1特定オブジェクト101Sである掲示板に表示しているときに、第1特定オブジェクト101Sであるスマートフォンの画面の「攻略情報提供サイトB」を選択することで、第1特定オブジェクト101Sである掲示板を「攻略情報提供サイトA」の攻略情報101Iから「攻略情報提供サイトB」の攻略情報101Iに切り替えることができる。このような例では、複数の攻略情報提供サイトを簡単な操作で容易に切り替えることができる。
重畳して表示している。すなわち、図8では、第1外部情報を表示していない。図8では、第2外部情報として、プレイヤPの周辺環境を撮像する撮像装置40で撮像した周辺環境の現実空間画像102Rを仮想空間画像101Vに対して重畳して表示している。ここでは、第2外部情報を第2特定オブジェクトに表示していない。図6および図8の画面は、ゲーム進行上、プレイヤPに対して選択を迫る画面であり、プレイヤPがゲームに集中し没入していることが多い。例えば、撮像装置40は、検出部42の出力に拘わらず、現実空間画像102Rを取得部21Eに出力している。そして、第2表示処理部21Dは、図6および図8の画面に遷移したとき、仮想空間画像101Vに対して現実空間画像102Rを重畳して表示し、周辺環境をプレイヤPが視認できるようにする。また、第2表示処理部21Dは、図8の画面に関係なくゲーム中のどの画面であっても、検出部42が周辺環境に人物を検出したとき、取得部21Eが第2外部情報として取得した現実空間画像102Rを仮想空間画像101Vに対して重畳して表示する。このため、プレイヤPは、ゲームに没入していても、重要な情報である第2外部情報を確認することができる。
図13を参照して、本実施形態のゲーム処理装置20のハードウェア構成について説明する。
処理装置20は、ノースブリッジ203、サウスブリッジ204および記憶装置205を有する。プロセッサ201、メモリ202、各ブリッジ203,204は各種バス206を用いて相互に接続されている。プロセッサ201は、ゲームの進行を司るとともに、ノースブリッジ203に接続されるHMD10等に画像を出力する。なお、ゲーム処理装置20は、複数のプロセッサを有していてもよく、複数のメモリを有していてもよい。
(1)ゲーム処理システムによれば、第1外部情報と第2外部情報の少なくとも1つの外部情報が表示処理部により表示される。したがって、プレイヤPは、HMD10を装着してゲームに没入しているときであっても、第1外部情報と第2外部情報の少なくとも1つの外部情報を視認することができる。第2外部情報は、現実空間画像を含んでいるので、プレイヤPは、ゲームに没入していても、周辺環境の現実空間画像から人が近づいてきたかなどを容易に視認することができ、また、屋外の現実空間画像などから屋外の様子を視認することができる。また、第1外部情報は、電子メールであったり、攻略情報であったり、天気情報であったりするので、プレイヤPは、自身に密接に関連する情報を容易に取得することができる。
るようにしている。したがって、現実空間画像102RをプレイヤPに対して目立たせることができるとともに、現実空間画像102Rが大きく表示されてしまうことで、仮想空間画像101Vが視認できなくなって、ゲームが中断されることも防ぐことができる。
・第2外部情報を取得する撮像装置40は、室内のプレイヤPの周辺に設置する室内カメラと屋外カメラの何れか一方だけでもよい。また、降雨センサや湿度センサや温度センサなどを屋外カメラが備えていたり、その近くに設置されている場合、その温度情報や湿度情報などを第2外部情報として現実空間画像とともに文字や図形で出力するようにしてもよい。
るものではない。その他、第1外部情報としては、テレビ放送の映像や録画したテレビ番組のビデオ映像であってもよい。また、記録媒体に格納されたアーティストなどのビデオ映像であってもよい。これらの情報は、電子メールの情報、ゲームの攻略情報、天気情報の中の少なくとも1つの代わりとして入力されることになる。また、天気情報などのように図形で表示可能な第1外部情報は、晴れマーク、雨マークなどの図形オブジェクトで表現するようにしてもよい。
与し、重要度の高い外部情報を優先的に表示するようにしてもよい。重要度は、予めゲーム処理装置20において定義されていてもよいし、プレイヤPやその他のユーザが設定するものであってもよい。
、相手のキャラクタが好きなプレゼントや性格に関する情報を第1外部情報としてプレイヤPが選択操作をする画面で表示することができる。
次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
〔1〕
プレイヤが頭部に装着する表示装置に仮想空間画像を表示させる制御装置を、
前記表示装置に前記仮想空間画像を表示させているときに、前記仮想空間画像に含まれる第1特定オブジェクトに対して、外部から入力された第1外部情報を表示させる第1表示処理部、
および、
前記表示装置に前記仮想空間画像を表示させているときに、外部から入力された第2外部情報であって、現実空間画像を含む前記第2外部情報を、前記仮想空間画像とともに表示させる第2表示処理部のうちの少なくとも一方を表示処理部として機能させるデータ処理プログラム。
〔2〕
前記第2表示処理部を備える場合において、
前記現実空間画像は、前記プレイヤの周辺環境を撮像した画像であって、
前記第2表示処理部は、前記第2外部情報に変化を検出したとき、前記仮想空間画像とともに前記第2外部情報として前記現実空間画像を表示させる〔1〕に記載のデータ処理
プログラム。
〔3〕
前記第2表示処理部を備える場合において、
前記第2表示処理部は、前記仮想空間画像に対して重ねて前記第2外部情報としての前記現実空間画像を表示させる〔1〕または〔2〕に記載のデータ処理プログラム。
〔4〕
前記第2表示処理部を備える場合において、
前記制御装置を、
前記仮想空間画像の中から第2特定オブジェクトを特定するオブジェクト特定部として機能させ、
前記第2表示処理部は、前記第2特定オブジェクトに対して前記第2外部情報としての前記現実空間画像を重ねて表示させる〔3〕に記載のデータ処理プログラム。
〔5〕
前記第2表示処理部を備える場合において、
前記第2表示処理部は、前記現実空間画像に対して前記仮想空間画像を重ねて表示させる〔1〕または〔2〕に記載のデータ処理プログラム。
〔6〕
前記制御装置を、
前記現実空間画像の中から第3特定オブジェクトを特定するオブジェクト特定部であって、前記第3特定オブジェクトに対して前記仮想空間画像を表示させるオブジェクト特定部として機能させる〔5〕に記載のデータ処理プログラム。
〔7〕
前記第2表示処理部を備える場合において、
前記第2表示処理部は、表示領域を分割して、一方の表示領域に前記仮想空間画像を表示させ、他方の表示領域に前記第2外部情報としての前記現実空間画像を表示させる〔1〕または〔2〕に記載のデータ処理プログラム。
〔8〕
前記第1表示処理部を備える場合において、
前記第1外部情報は、複数種類あり、種類に応じた取得先があり、
前記制御装置を、
事前に登録された前記第1外部情報の取得先の各々から前記第1外部情報を取得する取得部
として機能させる〔1〕ないし〔7〕のうち何れか1項に記載のデータ処理プログラム。
〔9〕
前記制御装置を、
複数種類の前記第1外部情報が入力されたとき、特定の前記第1外部情報を優先して表示する判別部として機能させる〔8〕に記載のデータ処理プログラム。
〔10〕
前記第1表示処理部および前記第2表示処理部を備える場合において、
前記制御装置を、
外部からの入力が前記第1外部情報であるか前記第2外部情報であるかを判別する判別部として機能させる〔1〕ないし〔9〕のうち何れか1項に記載のデータ処理プログラム。
〔11〕
前記第2表示処理部を備える場合において、
前記制御装置を、
複数種類の前記第2外部情報が入力されたとき、特定の前記第2外部情報を優先して表示する判別部として機能させる〔1〕ないし〔10〕のうち何れか1項に記載のデータ処理プログラム。
〔12〕
プレイヤが頭部に装着する表示装置に仮想空間画像を表示させるデータ処理方法において、
前記表示装置に前記仮想空間画像を表示させているときに、前記仮想空間画像に含まれる特定オブジェクトに対して、外部から入力された第1外部情報を表示させる表示処理ステップ、
および、
前記表示装置に前記仮想空間画像を表示させているときに、外部から入力された第2外部情報であって、現実空間画像を含む前記第2外部情報を、前記仮想空間画像とともに表示させる第2表示処理ステップのうちの少なくとも一方の表示処理ステップを実行するデータ処理方法。
〔13〕
プレイヤが頭部に装着する表示装置に仮想空間画像を表示させるデータ処理装置において、
前記表示装置に前記仮想空間画像を表示させているときに、前記仮想空間画像に含まれる特定オブジェクトに対して、外部から入力された第1外部情報を表示させる第1表示処理部、
および、
前記表示装置に前記仮想空間画像を表示させているときに、外部から入力された第2外部情報であって、現実空間画像を含む前記第2外部情報を、前記仮想空間画像とともに表示させる第2表示処理部のうちの少なくとも一方の表示処理部を備えるデータ処理装置。
Claims (15)
- プレイヤが頭部に装着する表示装置に仮想空間画像を表示させる制御装置を、
前記表示装置に前記仮想空間画像を表示させているときに、前記仮想空間画像に含まれる第1特定オブジェクトに対して、外部から入力された第1外部情報を表示させる第1表示処理部、
および、
前記表示装置に前記仮想空間画像を表示させているときに、外部から入力された第2外部情報であって、現実空間画像を含む前記第2外部情報を、前記仮想空間画像とともに表示させる第2表示処理部のうちの少なくとも一方を表示処理部として機能させるとともに、
表示中の前記仮想空間画像の場面に応じて、当該場面が前記第1外部情報又は前記第2外部情報を表示可能なタイミングであるか否かを判定する判定部と、
前記仮想空間画像の中から第2特定オブジェクトを特定するオブジェクト特定部として機能させ、
前記第1表示処理部は、前記判定部により前記場面が前記第1外部情報を表示可能なタイミングであると判定された場合に前記第1外部情報を表示させ、
前記第2表示処理部は、前記判定部により前記場面が前記第2外部情報を表示可能なタイミングであると判定された場合に、前記第2特定オブジェクトに対して前記第2外部情報としての前記現実空間画像を重ねて表示させる、データ処理プログラム。 - 前記第1外部情報は、前記プレイヤを送信先とする電子メールを受信したことに関する情報、及び天気情報に変化が生じたことに関する情報の少なくとも一方である
請求項1に記載のデータ処理プログラム。 - 前記第1表示処理部は、環境情報に変化が生じたことを契機として前記第1外部情報を取得した場合、前記仮想空間画像に含まれる複数のオブジェクトから前記第1特定オブジェクトを特定し、特定した前記第1特定オブジェクトに対して、前記第1外部情報を表示させる
請求項1又は2に記載のデータ処理プログラム。 - 前記現実空間画像は、前記プレイヤの周辺環境を撮像した画像であって、
前記第2表示処理部は、前記第2外部情報に変化が検出された場合、前記仮想空間画像とともに前記第2外部情報として前記現実空間画像を表示させる
請求項1~3のいずれか1項に記載のデータ処理プログラム。 - 前記第2表示処理部は、前記現実空間画像を前記表示装置の表示領域全体に表示した場合、当該現実空間画像に対して前記仮想空間画像を重ねて表示させる
請求項1~4のいずれか1項に記載のデータ処理プログラム。 - 前記オブジェクト特定部は、前記現実空間画像の中から第3特定オブジェクトを特定し、前記第3特定オブジェクトに対して前記仮想空間画像を表示させる、
請求項5に記載のデータ処理プログラム。 - 前記第2表示処理部は、表示領域を分割して、一方の表示領域に前記仮想空間画像を表示させ、他方の表示領域に前記第2外部情報としての前記現実空間画像を表示させる
請求項1~4のいずれか1項に記載のデータ処理プログラム。 - 前記第1外部情報は、複数種類あり、種類に応じた取得先があり、
前記制御装置を、
事前に登録された前記第1外部情報の取得先の各々から前記第1外部情報を取得する取得部として機能させる請求項1~7のいずれか1項に記載のデータ処理プログラム。 - 前記制御装置を、
複数種類の前記第1外部情報が入力されたとき、特定の前記第1外部情報を優先して表示する判別部として機能させる
請求項8に記載のデータ処理プログラム。 - 前記制御装置を、
外部からの入力が前記第1外部情報であるか前記第2外部情報であるかを判別する判別部として機能させる
請求項1~9のいずれか1項に記載のデータ処理プログラム。 - 前記制御装置を、
複数種類の前記第2外部情報が入力されたとき、特定の前記第2外部情報を優先して表示する判別部として機能させる
請求項1~10のいずれか1項に記載のデータ処理プログラム。 - 前記制御装置を、ゲームの進行を管理するとともに前記ゲームの前記仮想空間画像を前記表示装置に表示させる進行管理部としてさらに機能させ、
前記判定部は、前記進行管理部による前記ゲームの進行に基づいて表示される前記場面に応じて前記第1外部情報又は前記第2外部情報を表示可能なタイミングであるか否かを判定する、請求項1~11のいずれか1項に記載のデータ処理プログラム。 - 前記第1外部情報は、プレイ中の前記ゲームの攻略情報である、請求項12に記載のデータ処理プログラム。
- プレイヤが頭部に装着する表示装置に仮想空間画像を表示させるデータ処理方法において、
前記表示装置に前記仮想空間画像を表示させているときに、前記仮想空間画像に含まれる第1特定オブジェクトに対して、外部から入力された第1外部情報を表示させる第1表示処理ステップ、
および、
前記表示装置に前記仮想空間画像を表示させているときに、外部から入力された第2外部情報であって、現実空間画像を含む前記第2外部情報を、前記仮想空間画像とともに表示させる第2表示処理ステップのうちの少なくとも一方の表示処理ステップを実行するとともに、
表示中の前記仮想空間画像の場面に応じて、当該場面が前記第1外部情報又は前記第2外部情報を表示可能なタイミングであるか否かを判定する判定ステップと、
前記仮想空間画像の中から第2特定オブジェクトを特定するオブジェクト特定ステップと、を実行し、
前記第1表示処理ステップでは、前記場面が前記第1外部情報を表示可能なタイミングであると判定された場合に前記第1外部情報を表示させ、
前記第2表示処理ステップでは、前記場面が前記第2外部情報を表示可能なタイミングであると判定された場合に、前記第2特定オブジェクトに対して前記第2外部情報としての前記現実空間画像を重ねて表示させる、データ処理方法。 - プレイヤが頭部に装着する表示装置に仮想空間画像を表示させるデータ処理装置において、
前記表示装置に前記仮想空間画像を表示させているときに、前記仮想空間画像に含まれる第1特定オブジェクトに対して、外部から入力された第1外部情報を表示させる第1表示処理部、
および、
前記表示装置に前記仮想空間画像を表示させているときに、外部から入力された第2外部情報であって、現実空間画像を含む前記第2外部情報を、前記仮想空間画像とともに表示させる第2表示処理部のうちの少なくとも一方の表示処理部を備えるとともに、
表示中の前記仮想空間画像の場面に応じて、当該場面が前記第1外部情報又は前記第2外部情報を表示可能なタイミングであるか否かを判定する判定部と、
前記仮想空間画像の中から第2特定オブジェクトを特定するオブジェクト特定部とを備え、
前記第1表示処理部は、前記判定部により前記場面が前記第1外部情報を表示可能なタイミングであると判定された場合に前記第1外部情報を表示させ、
前記第2表示処理部は、前記判定部により前記場面が前記第2外部情報を表示可能なタイミングであると判定された場合に、前記第2特定オブジェクトに対して前記第2外部情報としての前記現実空間画像を重ねて表示させる、データ処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021077850A JP7247260B2 (ja) | 2018-05-17 | 2021-04-30 | データ処理プログラム、データ処理方法、および、データ処理装置 |
JP2022188990A JP2023027126A (ja) | 2018-05-17 | 2022-11-28 | データ処理プログラム、データ処理方法、および、データ処理装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018095165A JP6917340B2 (ja) | 2018-05-17 | 2018-05-17 | データ処理プログラム、データ処理方法、および、データ処理装置 |
JP2021077850A JP7247260B2 (ja) | 2018-05-17 | 2021-04-30 | データ処理プログラム、データ処理方法、および、データ処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018095165A Division JP6917340B2 (ja) | 2018-05-17 | 2018-05-17 | データ処理プログラム、データ処理方法、および、データ処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022188990A Division JP2023027126A (ja) | 2018-05-17 | 2022-11-28 | データ処理プログラム、データ処理方法、および、データ処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021121945A JP2021121945A (ja) | 2021-08-26 |
JP7247260B2 true JP7247260B2 (ja) | 2023-03-28 |
Family
ID=68533910
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018095165A Active JP6917340B2 (ja) | 2018-05-17 | 2018-05-17 | データ処理プログラム、データ処理方法、および、データ処理装置 |
JP2021077850A Active JP7247260B2 (ja) | 2018-05-17 | 2021-04-30 | データ処理プログラム、データ処理方法、および、データ処理装置 |
JP2022188990A Pending JP2023027126A (ja) | 2018-05-17 | 2022-11-28 | データ処理プログラム、データ処理方法、および、データ処理装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018095165A Active JP6917340B2 (ja) | 2018-05-17 | 2018-05-17 | データ処理プログラム、データ処理方法、および、データ処理装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022188990A Pending JP2023027126A (ja) | 2018-05-17 | 2022-11-28 | データ処理プログラム、データ処理方法、および、データ処理装置 |
Country Status (2)
Country | Link |
---|---|
US (3) | US11127224B2 (ja) |
JP (3) | JP6917340B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018156809A1 (en) * | 2017-02-24 | 2018-08-30 | Masimo Corporation | Augmented reality system for displaying patient data |
KR102567007B1 (ko) | 2017-02-24 | 2023-08-16 | 마시모 코오퍼레이션 | 의료 모니터링 데이터 표시 시스템 |
EP3622529A1 (en) | 2017-05-08 | 2020-03-18 | Masimo Corporation | System for pairing a medical system to a network controller by use of a dongle |
JP7403943B2 (ja) * | 2018-05-28 | 2023-12-25 | 株式会社コロプラ | ゲームプログラム、ゲーム方法、および情報処理端末 |
JP7254112B2 (ja) * | 2021-03-19 | 2023-04-07 | 本田技研工業株式会社 | 仮想体験提供装置、仮想体験提供方法、及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015118332A (ja) | 2013-12-19 | 2015-06-25 | ソニー株式会社 | 画像表示装置及び画像表示方法 |
JP2016198180A (ja) | 2015-04-08 | 2016-12-01 | 株式会社コロプラ | 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001154966A (ja) * | 1999-11-29 | 2001-06-08 | Sony Corp | コンピュータ・ネットワーク上で構築・提供される共有仮想空間上で複数ユーザが参加可能な仮想会話を支援する会話支援システム及び会話支援方法、並びに、プログラム記憶媒体 |
JP2002204288A (ja) * | 2000-11-01 | 2002-07-19 | Sony Computer Entertainment Inc | プログラム実行装置、着信通知方法、プログラム実行システム、着信通知プログラムが記録された記録媒体、着信通知プログラム |
JP2004021521A (ja) * | 2002-06-14 | 2004-01-22 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2004133733A (ja) * | 2002-10-11 | 2004-04-30 | Sony Corp | 表示装置および方法、並びにプログラム |
JP5827466B2 (ja) * | 2010-11-08 | 2015-12-02 | オリンパス株式会社 | 撮像装置、撮像方法、およびプログラム |
JP5865492B2 (ja) * | 2011-06-21 | 2016-02-17 | グリー株式会社 | 制御クロスプロモーションを有するオンラインゲームコミュニティ |
KR101268133B1 (ko) * | 2011-06-23 | 2013-05-27 | 엘지전자 주식회사 | 프로그램 정보 표시 방법 및 그를 이용한 영상 표시 기기 |
JP5935640B2 (ja) * | 2012-10-01 | 2016-06-15 | ソニー株式会社 | 情報処理装置、表示制御方法及びプログラム |
US8712632B2 (en) * | 2013-01-30 | 2014-04-29 | Navteq B.V. | Method and apparatus for complementing an instrument panel by utilizing augmented reality |
JP6224327B2 (ja) * | 2013-03-05 | 2017-11-01 | 任天堂株式会社 | 情報処理システム、情報処理装置、情報処理方法、および情報処理用プログラム |
US20160054565A1 (en) | 2013-03-29 | 2016-02-25 | Sony Corporation | Information processing device, presentation state control method, and program |
KR101549559B1 (ko) * | 2013-11-22 | 2015-09-03 | 엘지전자 주식회사 | 핸들에 부착되는 입력 장치 및 이를 구비한 차량 |
US20160163063A1 (en) * | 2014-12-04 | 2016-06-09 | Matthew Ashman | Mixed-reality visualization and method |
US20160330522A1 (en) * | 2015-05-06 | 2016-11-10 | Echostar Technologies L.L.C. | Apparatus, systems and methods for a content commentary community |
JP5944600B1 (ja) * | 2015-08-28 | 2016-07-05 | 株式会社タカラトミー | 頭部装着型ディスプレイを備えた情報処理装置 |
JP6876617B2 (ja) * | 2015-12-17 | 2021-05-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 表示方法および表示装置 |
US20170256096A1 (en) * | 2016-03-07 | 2017-09-07 | Google Inc. | Intelligent object sizing and placement in a augmented / virtual reality environment |
EP3236423A1 (en) * | 2016-04-22 | 2017-10-25 | Thomson Licensing | Method and device for compositing an image |
US10191541B2 (en) * | 2016-06-30 | 2019-01-29 | Sony Interactive Entertainment Inc. | Augmenting virtual reality content with real world content |
US10235809B2 (en) * | 2016-06-30 | 2019-03-19 | Microsoft Technology Licensing, Llc | Reality to virtual reality portal for dual presence of devices |
US10338768B1 (en) * | 2017-12-10 | 2019-07-02 | International Business Machines Corporation | Graphical user interface for finding and depicting individuals |
-
2018
- 2018-05-17 JP JP2018095165A patent/JP6917340B2/ja active Active
-
2019
- 2019-05-16 US US16/414,094 patent/US11127224B2/en active Active
-
2021
- 2021-04-30 JP JP2021077850A patent/JP7247260B2/ja active Active
- 2021-08-27 US US17/459,533 patent/US11854155B2/en active Active
-
2022
- 2022-11-28 JP JP2022188990A patent/JP2023027126A/ja active Pending
-
2023
- 2023-11-06 US US18/387,263 patent/US20240078776A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015118332A (ja) | 2013-12-19 | 2015-06-25 | ソニー株式会社 | 画像表示装置及び画像表示方法 |
JP2016198180A (ja) | 2015-04-08 | 2016-12-01 | 株式会社コロプラ | 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2019200627A (ja) | 2019-11-21 |
US20210390791A1 (en) | 2021-12-16 |
US11127224B2 (en) | 2021-09-21 |
US20240078776A1 (en) | 2024-03-07 |
JP2023027126A (ja) | 2023-03-01 |
JP2021121945A (ja) | 2021-08-26 |
US20190355182A1 (en) | 2019-11-21 |
US11854155B2 (en) | 2023-12-26 |
JP6917340B2 (ja) | 2021-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7247260B2 (ja) | データ処理プログラム、データ処理方法、および、データ処理装置 | |
JP7058842B2 (ja) | マークポイント位置表示方法、電子機器及びコンピュータ読取可能な記憶媒体 | |
JP6316387B2 (ja) | 広範囲同時遠隔ディジタル提示世界 | |
JP6373920B2 (ja) | シミュレーションシステム及びプログラム | |
JP6281495B2 (ja) | 情報処理装置、端末装置、情報処理方法及びプログラム | |
JP6281496B2 (ja) | 情報処理装置、端末装置、情報処理方法及びプログラム | |
JP7042644B2 (ja) | 情報処理装置、画像生成方法およびコンピュータプログラム | |
US20180288391A1 (en) | Method for capturing virtual space and electronic device using the same | |
WO2014091824A1 (ja) | 表示制御装置、表示制御方法およびプログラム | |
US20210375052A1 (en) | Information processor, information processing method, and program | |
WO2015047775A1 (en) | Camera based safety mechanisms for users of head mounted displays | |
JP2014149712A (ja) | 情報処理装置、端末装置、情報処理方法及びプログラム | |
JP7173024B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6298130B2 (ja) | シミュレーションシステム及びプログラム | |
JP6342024B1 (ja) | 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
CN113041613A (zh) | 对局回顾方法、装置、终端及存储介质 | |
JP2018136944A (ja) | シミュレーションシステム及びプログラム | |
CN113599810B (zh) | 基于虚拟对象的显示控制方法、装置、设备及介质 | |
CN113194329B (zh) | 直播互动方法、装置、终端及存储介质 | |
JP2018156675A (ja) | 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP2020110352A (ja) | ゲームプログラム、ゲーム方法、および情報処理装置 | |
JP7303846B2 (ja) | プログラム、情報処理方法、情報処理装置、及びシステム | |
CN117784915A (zh) | 虚拟环境中的观影画面调整方法、装置、存储介质及设备 | |
CN114307174A (zh) | 对局数据的分享方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210430 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220527 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221128 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221128 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221208 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230315 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7247260 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |