JP7504253B2 - 仮想オブジェクト表示装置 - Google Patents
仮想オブジェクト表示装置 Download PDFInfo
- Publication number
- JP7504253B2 JP7504253B2 JP2023043872A JP2023043872A JP7504253B2 JP 7504253 B2 JP7504253 B2 JP 7504253B2 JP 2023043872 A JP2023043872 A JP 2023043872A JP 2023043872 A JP2023043872 A JP 2023043872A JP 7504253 B2 JP7504253 B2 JP 7504253B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- virtual object
- display device
- display
- inertial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001133 acceleration Effects 0.000 claims description 33
- 238000009499 grossing Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 40
- 238000000034 method Methods 0.000 description 30
- 210000003128 head Anatomy 0.000 description 28
- 238000010586 diagram Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 12
- 238000005259 measurement Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 5
- 101000802640 Homo sapiens Lactosylceramide 4-alpha-galactosyltransferase Proteins 0.000 description 4
- 102100035838 Lactosylceramide 4-alpha-galactosyltransferase Human genes 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005358 geomagnetic field Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P13/00—Indicating or recording presence, absence, or direction, of movement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
- G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
q=cos(η/2)+nXsin(η/2)i+nYsin(η/2)j+nZsin(η/2)k ・・・(1)
[q]=q/(qq*)1/2 ・・・(2)
p=pXi+pYj+pZk ・・・(3)
P(n)p=p+nSc(np) ・・・(4)
p2=qp1q* ・・・(5)
R(n1、n2)=[1-n2n1] ・・・(6)
hL=P(i)gL ・・・(7)
qLW0=q1 *q2 * ・・・(8)
q1=R([hL]、[gL]) ・・・(9)
q2=R(q1kq1 *、-q1[hL]q1 *) ・・・(10)
ωL=ωXi+ωYj+ωZk ・・・(11)
ωW=qLWωLqLW * ・・・(12)
ΔqLW/Δt=(1/2)ωWqLW=(1/2)qLWωL ・・・(13)
aL=aXi+aYj+aZk ・・・(14)
aW=qLWaLqLW * ・・・(15)
ΔvW/Δt=aW-gW ・・・(16)
ΔOLW/Δt=vW ・・・(17)
pWL=qLW *(pW-OLW)qLW ・・・(18)
pIL=qLW *(qIWpIqIW *+OIW-OLW)qLW ・・・(19)
慣性座標系の方向qIWの変更方法の基本は、ユーザ指示による。一例としては、カメラ111によりユーザの手を認識し、空間をスワイプする動作で、スワイプ方向に慣性座標系を回転させる。その際、視線方向と直交する面内におけるスワイプ方向と直交し、慣性座標系原点を通る方向軸の回りで慣性座標系を回転させてもよい。スワイプ動作を回転角速度ベクトルωSWに変換し、次式で方向を更新する。
ΔqIW/Δt=(1/2)ωSWqIW ・・・(20)
まずユーザ側の基準方向を定める(ユーザ基準方向)。ユーザ基準方向は例えば、HMD100の正面方向が平均的に向いている方向とすることができる。そしてHMD100の正面方向とは、例えば局所座標原点からディスプレイの表示面119bの中心に向かう方向である。ユーザの正面方向を示す単位方向ベクトルを局所座標系における表現としてuLとする。そして、慣性座標系の正面方向の単位方向ベクトルを慣性座標系の表現としてfIとする。fIは、例えば仮想オブジェクトの配置中心方向の一つである。慣性座標系の原点は、局所座標系原点に一致させる。まずuLの世界座標系における方向を平滑化して平均方向<uLW>を定める。ここで、uLWは次式で与えられる。
uLW=qLWuLqLW * ・・・(21)
<uLW(t+Δt)>=[ξuLW(t)+(1-ξ)<uLW(t)>] ・・・(22)
qIW=q2q1 ・・・(23)
q1=R([P(k)fI]、[P(k)<uLW>]) ・・・(24)
q2=R(q1fIq1 *、<uLW>) ・・・(25)
uLW=[P(k)qLWsLqLW *] ・・・(26)
uLW=[P(k)vW] ・・・(27)
慣性座標系のZI軸は、世界座標系のZw軸、すなわち鉛直方向に合わせる、という制限を設けてもよい。この場合(1)のユーザによるスワイプ制御は、スワイプの水平方向の成分に対してのみ有効となる。
電源切断時には、慣性座標系の正面方向を座標系情報記憶部1282に記憶しておいてもよい。慣性座標系の方向をユーザの変更操作がないかぎり世界座標系に固定しているモードの場合は、電源切断時にHMD100の正面方向が向いている方向を慣性座標系の正面方向とする。
上記の制御方法では、慣性座標系原点は局所座標系原点に一致させていたが、頭の細かな動きには追従させず、局所座標系原点位置を平滑化処理して得られた平滑化位置に設定し、ある程度大きな動きのみに対して、随時追従して更新するようにしてもよい。平滑化処理としては例えば次式の指数移動平均を用いる。
<OIW(t+Δt)>=ξOLW(t)+(1-ξ)<OIW(t)> ・・・(28)
複数の慣性座標系を持ち、それぞれをページとして管理し、それぞれに仮想オブジェクトを配置してもよい。図11に、仮想オブジェクの種類を記憶した仮想オブジェクト情報例を示す。図11では、世界座標系現実オブジェクト、世界座標系仮想オブジェクト、局所座標系仮想オブジェクト、の他、複数の慣性座標系として、慣性座標系1、慣性座標系2、慣性座標系3の各慣性座標系で表示される慣性座標系仮想オブジェクトを規定している。図11の「右利き用アイコングループ」、及び「左利き用アイコングループ」は、複数のアイコンを一つのグループにまとめたものである。また「右利き用アイコングループ」はユーザが右利きの場合にのみ表示し、「左利き用アイコングループ」はユーザが左利きの場合にのみ表示するので排他的表示制御を行う。このように、慣性座標系仮想オブジェクトの表示のon/offや、方向の制御を行ってもよい。操作対象(アクティブ)となる慣性座標系に配置した仮想オブジェクトを、非操作対象(非アクティブ)な慣性座標系に配置された仮想オブジェクトよりも濃くする等、どの仮想オブジェクトが操作対象となっていることが分かる表示をしてもよい。さらに、慣性座標系毎にスワイプで方向を変更できるようにしてもよいし、方向制御方法のモードを変えてもよい。
過去に撮像した、全方位画像(実オブジェクト、仮想オブジェクト)を表示するために慣性座標系の表示空間を用いてもよい。慣性座標系を回転させれば全方位の映像を見ることができる。
慣性座標系の特定方向近傍に局所座標系に表示していた重要な仮想オブジェクトを表示することにして、局所座標系を設けなくてもよい。この場合、当該の重要な仮想オブジェクトにアクセスするためには、ユーザ基準方向に慣性座標系の前記特定方向を合わせる制御を行えば、すぐに重要な仮想オブジェクトにアクセスすることができる。
世界座標系仮想オブジェクトに対して加工等をする場合に、関連操作メニュー等をその時点での慣性座標系内であって、加工対象となる世界座標系仮想オブジェクトの近傍に表示するようにしてもよい。ユーザは、頭を回すか、慣性座標系を回すかして、その操作メニュー等にアクセスすることができる。
VRゴーグルやスマートフォンへ適用してもよい。VRゴーグルの場合、外界の映像は、ビデオシースルーとして、世界座標系に配置される。スマートフォンの場合は、ユーザの位置を計測して慣性座標系の原点とする。また、スマートフォンと慣性座標系に固定した仮想オブジェクトとの距離が変化するので、その距離の変化に対応させて、当該仮想オブジェクトの表示上の大きさを変化させてもよい(スマートフォンを仮想オブジェクトの配置位置に近づけるとズームアップ)。
100 :HMD
111 :カメラ
112 :インカメラ
113 :測距センサ
115 :加速度センサ
116 :ジャイロセンサ
117 :地磁気センサ
118 :GPS受信器
119 :ディスプレイ
119a :有効視野範囲
120 :ネットワーク通信器
123 :アンテナ
125 :CPU
126 :プログラム
127 :情報データ
128 :メモリ
129 :近距離無線通信器
130 :映像
131 :仮想オブジェクト
140 :バス
200 :サーバ
300 :外部ネットワーク
400 :入力コントローラ
410 :仮想オブジェクト
420 :仮想オブジェクト
510 :仮想オブジェクト
520 :仮想オブジェクト
1200 :表示制御装置
Claims (11)
- 仮想オブジェクト表示装置であって、
ディスプレイと、当該ディスプレイの表示制御を行う表示制御装置と、前記仮想オブジェクト表示装置を装着したユーザから前記表示制御装置に対する入力操作を受け付ける入力コントローラと、を備え、
前記表示制御装置は、
前記仮想オブジェクト表示装置の現実世界内での移動量と回転量を検出し、前記仮想オブジェクト表示装置の移動に対して座標原点が追従し、前記仮想オブジェクト表示装置の回転によって前記ディスプレイの有効視野範囲が座標系内で回転する慣性座標系を用いて、慣性座標系仮想オブジェクトの配置位置を定義する座標系計算部と、
前記ディスプレイの有効視野範囲に前記慣性座標系仮想オブジェクトが含まれると、当該有効視野範囲に前記慣性座標系仮想オブジェクトを表示する表示制御部と、を含み、
前記ユーザの体幹の正面方向に、前記慣性座標系の正面方向を設定し、
前記入力コントローラが、前記慣性座標系の正面方向の入力操作を受け付けると、前記座標系計算部は、前記慣性座標系の正面方向を前記入力操作に応じて再設定する、
ことを特徴とする仮想オブジェクト表示装置。 - 仮想オブジェクト表示装置であって、
ディスプレイと、当該ディスプレイの表示制御を行う表示制御装置と、前記仮想オブジェクト表示装置を装着したユーザから前記表示制御装置に対する入力操作を受け付ける入力コントローラと、を備え、
前記表示制御装置は、
前記仮想オブジェクト表示装置の現実世界内での移動量と回転量を検出し、前記仮想オブジェクト表示装置の移動に対して座標原点が追従し、前記仮想オブジェクト表示装置の回転によって前記ディスプレイの有効視野範囲が座標系内で回転する慣性座標系を用いて、慣性座標系仮想オブジェクトの配置位置を定義する座標系計算部と、
前記ディスプレイの有効視野範囲に前記慣性座標系仮想オブジェクトが含まれると、当該有効視野範囲に前記慣性座標系仮想オブジェクトを表示する表示制御部と、を含み、
前記ユーザの進行方向に、前記慣性座標系の正面方向を設定し、
前記入力コントローラが、前記慣性座標系の正面方向の入力操作を受け付けると、前記座標系計算部は、前記慣性座標系の正面方向を前記入力操作に応じて再設定する、
ことを特徴とする仮想オブジェクト表示装置。 - 仮想オブジェクト表示装置であって、
ディスプレイと、当該ディスプレイの表示制御を行う表示制御装置と、複数の慣性座標系仮想オブジェクトを含むグループを少なくとも1つ以上記憶する仮想オブジェクト記憶部と、を備え、
前記表示制御装置は、
前記仮想オブジェクト表示装置の現実世界内での移動量と回転量を検出し、前記仮想オブジェクト表示装置の移動に対して座標原点が追従し、前記仮想オブジェクト表示装置の回転によって前記ディスプレイの有効視野範囲が座標系内で回転する慣性座標系を用いて、慣性座標系仮想オブジェクトの配置位置を定義する座標系計算部と、
前記ディスプレイの有効視野範囲に前記慣性座標系仮想オブジェクトが含まれると、当該有効視野範囲に前記慣性座標系仮想オブジェクトを表示する表示制御部と、を含み、
前記仮想オブジェクト表示装置を装着するユーザの体幹の正面方向に、前記慣性座標系の正面方向を設定し、
前記仮想オブジェクト記憶部は、前記グループに含まれる複数の慣性座標系仮想オブジェクトの配置位置を定義するために用いる慣性座標系の配置中心方向情報と、右利き操作グループ情報及び左利き操作グループ情報と、を更に記憶する、
ことを特徴とする仮想オブジェクト表示装置。 - 仮想オブジェクト表示装置であって、
ディスプレイと、当該ディスプレイの表示制御を行う表示制御装置と、複数の慣性座標系仮想オブジェクトを含むグループを少なくとも1つ以上記憶する仮想オブジェクト記憶部と、を備え、
前記表示制御装置は、
前記仮想オブジェクト表示装置の現実世界内での移動量と回転量を検出し、前記仮想オブジェクト表示装置の移動に対して座標原点が追従し、前記仮想オブジェクト表示装置の回転によって前記ディスプレイの有効視野範囲が座標系内で回転する慣性座標系を用いて、慣性座標系仮想オブジェクトの配置位置を定義する座標系計算部と、
前記ディスプレイの有効視野範囲に前記慣性座標系仮想オブジェクトが含まれると、当該有効視野範囲に前記慣性座標系仮想オブジェクトを表示する表示制御部と、を含み、
前記仮想オブジェクト表示装置を装着するユーザの進行方向に、前記慣性座標系の正面方向を設定し、
前記仮想オブジェクト記憶部は、前記グループに含まれる複数の慣性座標系仮想オブジェクトの配置位置を定義するために用いる慣性座標系の配置中心方向情報と、右利き操作グループ情報及び左利き操作グループ情報と、を更に記憶する、
ことを特徴とする仮想オブジェクト表示装置。 - 請求項1~4のいずれか1項に記載の仮想オブジェクト表示装置であって、
前記座標系計算部は、前記慣性座標系を構成する一つの軸を、現実世界における鉛直方向に一致させて固定する、
ことを特徴とする仮想オブジェクト表示装置。 - 請求項1~4のいずれか1項に記載の仮想オブジェクト表示装置であって、
前記座標系計算部は、現実世界に固定された世界座標系を用いて世界座標系仮想オブジェクトの配置位置を定義することも更に行い、
前記表示制御部は、前記ディスプレイの有効視野範囲に前記世界座標系仮想オブジェクトが含まれると、当該有効視野範囲に前記世界座標系仮想オブジェクトを表示する、
ことを特徴とする仮想オブジェクト表示装置。 - 請求項1~4のいずれか1項に記載の仮想オブジェクト表示装置であって、
前記座標系計算部は、前記仮想オブジェクト表示装置に固定された座標原点を基準とし、前記仮想オブジェクト表示装置に固定された局所座標系を用いて局所座標系仮想オブジェクトの配置位置を定義することも更に行い、
前記表示制御部は、前記ディスプレイの有効視野範囲に前記局所座標系仮想オブジェクトが含まれると、当該有効視野範囲に前記局所座標系仮想オブジェクトを表示する、
ことを特徴とする仮想オブジェクト表示装置。 - 請求項1または2に記載の仮想オブジェクト表示装置であって、
複数の慣性座標系仮想オブジェクトを含むグループを少なくとも1つ以上記憶する仮想オブジェクト記憶部を更に備え、
前記仮想オブジェクト記憶部は、各グループに含まれる複数の慣性座標系仮想オブジェクトの配置位置を定義するために用いる慣性座標系の配置中心方向情報を更に記憶する、
ことを特徴とする仮想オブジェクト表示装置。 - 請求項8に記載の仮想オブジェクト表示装置であって、
前記仮想オブジェクト記憶部は、右利き操作グループ情報及び左利き操作グループ情報を記憶する、
ことを特徴とする仮想オブジェクト表示装置。 - 請求項3または4に記載の仮想オブジェクト表示装置であって、
前記表示制御装置は、前記慣性座標系の正面方向を記憶する座標系情報記憶部を更に含み、
前記座標系情報記憶部は、前記仮想オブジェクト表示装置において最後に正面方向として設定された方向を記憶し、
前記座標系計算部は、前記仮想オブジェクト表示装置の主電源が投入されると、前記座標系情報記憶部に記憶された正面方向を、前記慣性座標系の正面方向として再設定する、
ことを特徴とする仮想オブジェクト表示装置。 - 請求項3または4に記載の仮想オブジェクト表示装置であって、
前記表示制御装置に接続され、前記仮想オブジェクト表示装置の加速度を計測する加速度センサを備え、
前記座標系計算部は、前記加速度センサの信号に基づいて計算された前記仮想オブジェクト表示装置の位置を平滑化して得られた平滑化位置を算出し、前記平滑化位置に前記慣性座標系の原点を再設定する、
ことを特徴とする仮想オブジェクト表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023043872A JP7504253B2 (ja) | 2019-02-01 | 2023-03-20 | 仮想オブジェクト表示装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/003611 WO2020157955A1 (ja) | 2019-02-01 | 2019-02-01 | 仮想オブジェクト表示装置及び仮想オブジェクト表示方法 |
JP2020569309A JP7274510B2 (ja) | 2019-02-01 | 2019-02-01 | 仮想オブジェクト表示装置及び仮想オブジェクト表示方法 |
JP2023043872A JP7504253B2 (ja) | 2019-02-01 | 2023-03-20 | 仮想オブジェクト表示装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020569309A Division JP7274510B2 (ja) | 2019-02-01 | 2019-02-01 | 仮想オブジェクト表示装置及び仮想オブジェクト表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023085357A JP2023085357A (ja) | 2023-06-20 |
JP7504253B2 true JP7504253B2 (ja) | 2024-06-21 |
Family
ID=71841721
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020569309A Active JP7274510B2 (ja) | 2019-02-01 | 2019-02-01 | 仮想オブジェクト表示装置及び仮想オブジェクト表示方法 |
JP2023043872A Active JP7504253B2 (ja) | 2019-02-01 | 2023-03-20 | 仮想オブジェクト表示装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020569309A Active JP7274510B2 (ja) | 2019-02-01 | 2019-02-01 | 仮想オブジェクト表示装置及び仮想オブジェクト表示方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11960635B2 (ja) |
JP (2) | JP7274510B2 (ja) |
CN (1) | CN113348428A (ja) |
WO (1) | WO2020157955A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210192681A1 (en) * | 2019-12-18 | 2021-06-24 | Ati Technologies Ulc | Frame reprojection for virtual reality and augmented reality |
JP7492904B2 (ja) | 2020-04-24 | 2024-05-30 | 株式会社日立製作所 | 表示装置、表示システムおよび表示方法 |
US12028507B2 (en) * | 2021-03-11 | 2024-07-02 | Quintar, Inc. | Augmented reality system with remote presentation including 3D graphics extending beyond frame |
CN114385015B (zh) * | 2022-01-25 | 2024-03-08 | 京东方科技集团股份有限公司 | 虚拟对象的控制方法及电子设备 |
TWI821050B (zh) * | 2022-11-28 | 2023-11-01 | 中國鋼鐵股份有限公司 | 泛用型遠端專家擴增實境協作系統 |
CN115661942B (zh) * | 2022-12-15 | 2023-06-27 | 广州卓远虚拟现实科技有限公司 | 基于虚拟现实的动作数据处理方法、***及云平台 |
CN117934572B (zh) * | 2024-03-21 | 2024-05-28 | 南京起源跃动科技有限公司 | 一种3d骨骼坐标系与vr头显坐标系对齐的方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006252468A (ja) | 2005-03-14 | 2006-09-21 | Canon Inc | 画像処理方法、画像処理装置 |
JP2012239776A (ja) | 2011-05-24 | 2012-12-10 | Nintendo Co Ltd | ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法 |
JP2013061870A (ja) | 2011-09-14 | 2013-04-04 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び電子機器 |
WO2014129105A1 (ja) | 2013-02-22 | 2014-08-28 | ソニー株式会社 | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム |
WO2016002318A1 (ja) | 2014-06-30 | 2016-01-07 | ソニー株式会社 | 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム |
JP2016082411A (ja) | 2014-10-17 | 2016-05-16 | 国立大学法人電気通信大学 | ヘッドマウントディスプレイ、画像表示方法及びプログラム |
JP2017224003A (ja) | 2016-05-17 | 2017-12-21 | 株式会社コロプラ | 仮想空間を提供する方法、プログラム、および記録媒体 |
WO2018150711A1 (ja) | 2017-02-15 | 2018-08-23 | シャープ株式会社 | 表示制御装置、表示制御装置の制御方法、および制御プログラム |
JP2019128915A (ja) | 2018-01-26 | 2019-08-01 | 株式会社コロプラ | プログラム、情報処理装置、および方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9728010B2 (en) * | 2014-12-30 | 2017-08-08 | Microsoft Technology Licensing, Llc | Virtual representations of real-world objects |
US9685005B2 (en) * | 2015-01-02 | 2017-06-20 | Eon Reality, Inc. | Virtual lasers for interacting with augmented reality environments |
US10740971B2 (en) | 2015-01-20 | 2020-08-11 | Microsoft Technology Licensing, Llc | Augmented reality field of view object follower |
US9696795B2 (en) * | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
US9898869B2 (en) * | 2015-09-09 | 2018-02-20 | Microsoft Technology Licensing, Llc | Tactile interaction in virtual environments |
US9978180B2 (en) * | 2016-01-25 | 2018-05-22 | Microsoft Technology Licensing, Llc | Frame projection for augmented reality environments |
US10539797B2 (en) | 2016-05-06 | 2020-01-21 | Colopl, Inc. | Method of providing virtual space, program therefor, and recording medium |
JP6238381B1 (ja) * | 2016-06-30 | 2017-11-29 | 株式会社コナミデジタルエンタテインメント | 端末装置、及びプログラム |
-
2019
- 2019-02-01 CN CN201980090052.3A patent/CN113348428A/zh active Pending
- 2019-02-01 JP JP2020569309A patent/JP7274510B2/ja active Active
- 2019-02-01 US US17/425,254 patent/US11960635B2/en active Active
- 2019-02-01 WO PCT/JP2019/003611 patent/WO2020157955A1/ja active Application Filing
-
2023
- 2023-03-20 JP JP2023043872A patent/JP7504253B2/ja active Active
-
2024
- 2024-03-11 US US18/601,716 patent/US20240220004A1/en active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006252468A (ja) | 2005-03-14 | 2006-09-21 | Canon Inc | 画像処理方法、画像処理装置 |
JP2012239776A (ja) | 2011-05-24 | 2012-12-10 | Nintendo Co Ltd | ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法 |
JP2013061870A (ja) | 2011-09-14 | 2013-04-04 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び電子機器 |
WO2014129105A1 (ja) | 2013-02-22 | 2014-08-28 | ソニー株式会社 | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム |
WO2016002318A1 (ja) | 2014-06-30 | 2016-01-07 | ソニー株式会社 | 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム |
US20170083084A1 (en) | 2014-06-30 | 2017-03-23 | Sony Corporation | Information processing apparatus, information processing method, computer program, and image processing system |
JP2016082411A (ja) | 2014-10-17 | 2016-05-16 | 国立大学法人電気通信大学 | ヘッドマウントディスプレイ、画像表示方法及びプログラム |
JP2017224003A (ja) | 2016-05-17 | 2017-12-21 | 株式会社コロプラ | 仮想空間を提供する方法、プログラム、および記録媒体 |
WO2018150711A1 (ja) | 2017-02-15 | 2018-08-23 | シャープ株式会社 | 表示制御装置、表示制御装置の制御方法、および制御プログラム |
JP2019128915A (ja) | 2018-01-26 | 2019-08-01 | 株式会社コロプラ | プログラム、情報処理装置、および方法 |
Non-Patent Citations (1)
Title |
---|
浅井 紀久夫ほか,"没入型ディスプレイ内での視線追跡による仮想物体の指示",日本バーチャルリアリティ学会論文誌,2002年09月30日,第7巻, 第3号,pp.355-365 |
Also Published As
Publication number | Publication date |
---|---|
JP2023085357A (ja) | 2023-06-20 |
CN113348428A (zh) | 2021-09-03 |
US11960635B2 (en) | 2024-04-16 |
JPWO2020157955A1 (ja) | 2021-10-21 |
US20240220004A1 (en) | 2024-07-04 |
JP7274510B2 (ja) | 2023-05-16 |
WO2020157955A1 (ja) | 2020-08-06 |
US20220091663A1 (en) | 2022-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7504253B2 (ja) | 仮想オブジェクト表示装置 | |
US9959679B2 (en) | Floating graphical user interface | |
JP5869177B1 (ja) | 仮想現実空間映像表示方法、及び、プログラム | |
US10565725B2 (en) | Method and device for displaying virtual object | |
US10429925B2 (en) | Head-mounted display, information processing device, display control method, and program | |
US9086724B2 (en) | Display control system, display control method, computer-readable storage medium having stored thereon display control program, and display control apparatus | |
KR102612988B1 (ko) | 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법 | |
CN109074149A (zh) | 用于增强或虚拟现实环境的头戴式参考系中的对象跟踪 | |
JP2011075559A (ja) | 動き検出装置および方法 | |
JP6110893B2 (ja) | 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置 | |
JP7078234B2 (ja) | 拡張現実空間に配置される3dオブジェクトを生成する方法 | |
US20240143066A1 (en) | Head-mounted information processing apparatus and its controlling method | |
US11531392B2 (en) | Tracking upper arm movements using sensor modules attached to the hand and forearm | |
JP6099237B2 (ja) | 表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置 | |
JP2017059196A (ja) | 仮想現実空間映像表示方法、及び、プログラム | |
US20230367403A1 (en) | Terminal device, virtual object manipulation method, and virtual object manipulation program | |
JP6867104B2 (ja) | フローティング・グラフィカルユーザインターフェース | |
JP2024035544A (ja) | 情報処理装置、情報処理方法、プログラム | |
CN116149491A (zh) | 一种可穿戴显示设备的交互方法、装置、设备及介质 | |
JP2020046863A (ja) | 拡張現実空間に配置される3dオブジェクトを生成する方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230320 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240611 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7504253 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |