JP7157244B2 - ヘッドマウントディスプレイ - Google Patents
ヘッドマウントディスプレイ Download PDFInfo
- Publication number
- JP7157244B2 JP7157244B2 JP2021519969A JP2021519969A JP7157244B2 JP 7157244 B2 JP7157244 B2 JP 7157244B2 JP 2021519969 A JP2021519969 A JP 2021519969A JP 2021519969 A JP2021519969 A JP 2021519969A JP 7157244 B2 JP7157244 B2 JP 7157244B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- space
- mounted display
- head
- operation screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 33
- 230000003287 optical effect Effects 0.000 claims description 32
- 230000033001 locomotion Effects 0.000 claims description 16
- 238000005452 bending Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 28
- 238000003384 imaging method Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 101100347655 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) NAB3 gene Proteins 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0185—Displaying image at variable distance
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、現実空間と仮想空間(仮想物体とも記す)とを重畳して表示する複合現実(MR:Mixed Reality)システムに用いるヘッドマウントディスプレイ(HMD:Head Mount Display)に関する。
現実空間に映像や文字などの仮想物体(ARオブジェクト:Argument Realityオブジェクト)の映像を重ね合わせて表示させ、視認させることが、ゲームや保守作業等のコンテンツに用いられている。ゲームの一例として、公園、駅等の公共の場に配置したキャラクタ(ARオブジェクト)を捕まえて、捕まえたキャラクタの種類や得点を競うものがあり、保守の一例としては、エレベータの狭いピットの中で、作業指示映像(ARオブジェクト)に従って作業を行なうような場合がある。
ここで、ARオブジェクトを表示するために、ARトリガーあるいはマークと呼ばれる映像をカメラで背景と同時に撮影して、ARトリガーで紐付けするARオブジェクトを現実空間に配置する。あるいは、ユーザのいる現実空間を空間座標系に対応付け、任意の空間座標位置へARオブジェクトを配置することで重畳するなどの方法がある。
MRシステムでは、カメラと表示光学系、及びセンサとが一体化されたHMDをユーザが装着して、カメラで現実空間を撮影し、現実空間を、センサを用いて空間座標系で表す。表示光学系では、ARオブジェクトを空間座標系の任意の位置に配置し、現実空間にARオブジェクトの映像を重畳表示する。さらにMRシステムでは、現実空間内に置いたユーザの手などをカメラで撮影し、手の動き、即ちジェスチャでARオブジェクトを操作することも行われる。しかしながらジェスチャによる操作は、公共の場では、周りの人の迷惑になり、狭い場所では、ジェスチャのような大きな動きをすることが困難である。
本技術分野における従来技術として特許文献1がある。特許文献1では、手のひら、及び近傍に操作入力用の映像を投影し、手のひらの動きにより、操作入力を特定することを特徴とする情報入力装置が開示されている。
MRシステムでは、MR空間(現実空間にARオブジェクトが重畳された空間)の任意のARオブジェクトを選択して、MR空間の変化に反応して、ARオブジェクトを操作するという、直感的な操作が必要である。しかしながら、特許文献1で開示されている手のひらに投射される操作入力用の釦を選択する方法では、MR空間の中で直感的な操作を実現することは困難である。
本発明は上記の点を鑑みてなされたものであり、その目的は、公共の場、狭い場所等でも使用可能なMRシステムのHMDであって、MR空間の任意のARオブジェクトを選択して、MR空間の変化に反応して、直感的にARオブジェクトの操作が可能なHMDを提供することにある。
本発明は、上記課題を解決するために、その一例を挙げるならば、現実空間にARオブジェクトを表示してMR空間を形成するヘッドマウントディスプレイであって、現実空間を撮影し撮影映像を得るカメラと、現実空間内の現実物体の距離を測定する測距カメラと、制御装置を有し、制御装置は、撮影映像から現実物体を認識する撮影オブジェクト処理と、ARオブジェクトを得てARオブジェクトに現実空間内の距離を含む位置を与えるARオブジェクト処理と、現実物体とARオブジェクトの遠近を反映しMR空間の表示映像を生成する表示映像生成処理を備え、さらに撮影映像から操作画面表示物体を検知する処理と、操作画面表示物体の前面にMR空間の操作画面を表示する処理を有し、操作画面の映像は、MR空間内のARオブジェクトを含む。
本発明によれば、ユーザは、操作画面に映し出されているARオブジェクトを直接操作することができ、MR空間の中で直感的な操作が可能となる。
以下、図面を参照しながら、本発明の実施例について説明する。
図1は、本実施例におけるHMDの概略外観構成図である。図1において、1はHMD、10はカメラ、11は測距カメラ、12a、12bは表示光学系(映像投影部)、13はレンズやスクリーン等の透過型光学系、14はノーズパッド、15はコントローラ(制御装置)、16はスピーカ、17はマイク、18a、18b、18cはフレーム筐体である。
ユーザは、フレーム筐体18a、18bとノーズパッド14で、HMD1を自身の顔部に装着する。
カメラ10は、ユーザの視線前方を撮影するように取り付けられており、測距カメラ11は、カメラ10の撮影映像が捉える現実空間の現実物体(壁などの背景を含む)との距離を測定する。
測距カメラ11は、現実物体の輪郭等の特徴点に対してステレオカメラのような方式で距離を算出するものでも良いし、TOF(Time of Flight)方式のように2次元的に光線を照射して距離を計測するものでもよく、カメラ撮影映像に対応して、現実物体との距離を測定できるものであれば良い。
表示光学系12a、12bは、仮想物体(ARオブジェクト)を、左目で確認する映像(12a)と右目で確認する映像(12b)を透過型光学系13に投射して表示する。ユーザは前方の風景や現実物体を、透過型光学系13を通して見ることができ、表示光学系12a、12bから投射する仮想物体を透過型光学系13により、現実空間の所定の位置にあるように視認する。
コントローラ15は、カメラ10で撮影した現実空間の映像、測距カメラ11で取得した現実物体などの現実空間の位置データを取り込み、内部のメモリやCPUに供給する。また、ジャイロ、方位、位置、接触センサ等のセンサ群を内蔵する。さらに表示光学系12a、12bで投射する映像やスピーカ16に出力する音を作成する。コントローラ15、カメラ10、測距カメラ11、スピーカ16、マイク17は、フレーム筐体18a、18b、18cに配置される。なお、配置場所は図1の通りでなくてもよい。
さらにコントローラ15は、主にCPUで処理するユーザとのユーザインターフェース(UI)を含む。ユーザインターフェースとしては、後述する操作入力処理を含む。
図2は、本実施例におけるHMD1の構成ブロック図である。図2において、図1と同一のものには同一の番号を付している。51は特徴抽出処理部、52は距離算出処理部、53はセンサ群、54は通信部、55はCPU、56はRAM、57は映像RAM、58はプログラムFlash ROM(FROM)、59はデータFROMである。
表示光学系12は、図1の表示光学系12a、12bに対応する。表示光学系12は、12a、12bのように左目の映像と右目の映像を独立に透過型光学系13に投射させる。他に、ひとつのプロジェクタでインターリーブした左目の映像と右目の映像を投射し、シャッタ光学系で左目の映像と右目の映像をそれぞれの目に透過させるものであっても良い。さらには、ホログラフィックレンズを用いた光学系でも良い。
通信部54には、HMD1にネットワーク2を接続できる。ネットワーク2上の外部サーバ(図示略)で、HMD1の処理の一部を実行してもよい。
プログラムFROM58には、処理プログラムを構成する全体制御プロセス81、撮影オブジェクトプロセス82、ARオブジェクトプロセス83、表示映像生成プロセス84、操作認識プロセス85等が含まれる。これらの処理プログラムは、RAM56に展開して、CPU55で実行する。さらにデータFROM59には、これら処理プログラムを実行する過程及び結果で発生するデータを格納することができる。
なお、プログラムFROM58とデータFROM59は、図示したように別々のメモリ媒体で構成しても良いし、ひとつのメモリ媒体で構成しても良い。さらには2つ以上のメモリ媒体であっても良く、FROM以外の不揮発性のメモリ媒体であっても良い。またデータFROM59は、そのデータの一部をネットワーク2上にある外部サーバに置いても良い。表示映像生成プロセス84で生成する映像データは、映像RAM57に格納し、映像RAM57から読み出して表示光学系12で投射する。
図3は、本実施例におけるMR空間の表示映像の例である。図3において、100はMR空間、101から106はARオブジェクトであり、ARオブジェクト以外の映像は、現実空間としてユーザが透過型光学系13を通して視認している背景である。
図3において、ユーザが視認している背景は街角であり、ユーザは例えば経路案内アプリを使って、□□駅に向かおうとしている。ユーザのいるところから30m先を右折することをARオブジェクト103が案内しており、右折した方向に□□駅があることをARオブジェクト104が案内している。さらに背景の説明をARオブジェクトは示している。ARオブジェクト101は、背景の正面やや左にいる人物を認識して、ユーザの交流関係と照合して、友人Aであることを示し、また正面右のお店の看板「トゥルヌッソル」を認識して、お店の代表的なメニューの例をARオブジェクト102で表示している。
またユーザは、小動物(キャラクタ)を捕獲するゲームを楽しんでいる。ARオブジェクト105、106は、ゲームのキャラクタである。キャラクタは移動することもあり、キャラクタを捕獲するには、キャラクタの表示位置に合わせた操作が必要である。
図4は、本実施例におけるMR空間の操作方法を説明する図である。図4(a)において、1はHMD、3はユーザ、3aはユーザの手のひらである。ユーザ3は、MR空間で操作を開始する場合に、ユーザの手のひら3aをHMD1のカメラ撮影範囲内にかざす。
図4(b)は、ユーザの手のひら3aを検出して、ユーザの手のひら3aの上、もしくはその前面に操作画面107を表示した、MR空間の表示映像を示している。操作画面107は、HMD1のMR空間の表示映像から、ユーザの手のひら3aを除去した映像である。ユーザの手のひら3aの除去は、例えばユーザの手のひら3aをかざす前の映像を記憶しておき、ユーザの手のひら3aの領域を、記憶している映像に置き換えることにより得る。またユーザ3は、ユーザの手のひら3aによって操作しようとしているARオブジェクトが隠されてしまわないように、ユーザの手のひら3aの位置を、例えば左右に動かして調整する。
3bは、ユーザのかざしている手のひら3aとは異なる手の指であり、操作画面107内のARオブジェクトを指差して、ARオブジェクトを操作する指示物体である。操作できる内容はARオブジェクトにより異なり、例えば、図4(b)では、ARオブジェクト106を選択することで、ARオブジェクト106のキャラクタを捕獲する。他にも、ARオブジェクトを選択することで、操作できるメニュー表示を表示し、さらに指をスライドすることにより、メニュー内の操作を選択するようにしてもよい。
このように、ユーザは、ユーザの手のひらの上、もしくは前面に、操作用の子画面である操作画面を表示し、操作画面に映し出されているARオブジェクトを直接操作することができる。したがって、手のひらの上で操作することが出来、空間内で大きな動きを行なう必要がなく、MR空間の中で直感的な操作が可能となる。
図5は、本実施例におけるMR処理の全体制御プロセス81のフローである。図5において、S100でプロセスを開始する。S101で必要に応じてHMD1を使用するためにログインする。ログインサーバは、イントラネットワークのパソコンであっても良いし、外部ネットワーク2を介して繋がるサーバであっても良い。あるいは、HMD1内で処理してもよい。ログインすることにより、あらかじめ登録してあるユーザ固有の設定(ユーザ情報)をデータFROM59から呼び出す。ユーザ固有の設定とは、たとえば、そのユーザにとって見やすい輝度、コントラスト、配色、メニュー表示位置などの表示に関する設定が挙げられる。その他にユーザの名前やアバターなどのアイコンでもよい。
S102でカメラ10および測距カメラ11を用いて現実空間を撮影する。カメラ撮影は、MR処理全体を実行するタイミングで行っても良いし、例えば30fps(frame per second)の動画撮影を継続していて、MR処理全体を実行するタイミングで撮影映像をキャプチャするようにしても良い。
S103では撮影オブジェクトプロセス82を実行し、キャプチャしたカメラ撮影映像の特徴抽出を行い、特徴点を選び、特徴点の集合に対して現実物体の形状等を特定し撮影オブジェクトとして登録する。例えば、人物とか店舗の看板とか現実空間を特徴付けるものが、撮影オブジェクトとして挙げられる。現実物体はHMD1の中では、撮影オブジェクトデータとして取り扱われる。現実空間の中で、部屋の壁や遠方の風景等は背景を与える撮影オブジェクトとして取り扱う。
S104ではARオブジェクトプロセス83を実行し、現実空間に配置するARオブジェクトのデータを、HMD1内のデータFROM59などのメモリから、または外部ネットワーク2を介して繋がるサーバからのダウンロード等で得る。あるいは、コントローラ15の主にCPU55で生成する、あるいは他のアプリで生成するARオブジェクトをインポートしてもよい。
S105は表示映像生成プロセス84であり、ARオブジェクトの表示映像を生成する。また操作画面の映像を生成する。
S106は操作認識プロセス85であり、カメラ撮影映像から操作画面上の指示物体等の動きをトレースして操作情報を取得し、どのARオブジェクトを選択するのか、選択したARオブジェクトに何の変更を与えるのかを決定する。
なお、S104からS106に破線で示したループでは、操作認識プロセス85が実行され、ARオブジェクトのパラメータ等の変更が行われた時、あるいはユーザの手のひらが検出された時、それらのパラメータや状態の操作情報をARオブジェクトプロセス83、表示映像生成プロセス84に与え、表示映像生成プロセス84で表示映像に反映させる。
図6は、MR処理における撮影オブジェクトプロセス82のフローである。図6において、S150でプロセスを開始する。S151では、カメラ撮影映像を読み込む。S152では、映像の特徴解析を行い、例えばエッジを抽出し、エッジの頂点や変曲点を特徴点として抽出する。S153では、測距カメラ11やセンサ群53で得る距離等の位置データを特徴点に与える。
S154では、特徴点の前回との差を評価し、S155では、評価結果から差が有意な特徴点の集合から、オブジェクトの種別等を検索し特定する。S156は、この結果を撮影オブジェクトとして登録する。S157でフローを終了する。
図7は、MR処理におけるARオブジェクトプロセス83のフローである。図7において、S180で開始する。S181でひとつの撮影オブジェクトを選択し、S182でARオブジェクトを選択する。ARオブジェクトの選択候補は、例えばCPU55、通信部54を介して外部のサーバに蓄えられているデータを参照しても良い。S183では、撮影オブジェクトに対するARオブジェクトの紐付けを行なうために、撮影オブジェクトに対する相対位置などの従属するパラメータを選択し、ARオブジェクトの表示映像上の位置、大きさ、方向を与える。例えば、選択された撮影オブジェクトのある特徴点の位置に対するオフセットを与えることにより、位置決めができる。
なおS183のステップには、操作認識プロセス85から操作情報が与えられ、パラメータ等の変更が指示される。
S184では、ARオブジェクトを紐付ける撮影オブジェクトが残っているかどうかを判定し、残っている場合は(Yes)S181に戻り、Noの場合はS185で終了する。
なお、撮影オブジェクトと無関係なARオブジェクト、例えば時計のARオブジェクトを画面内に置いておく等の場合は、S181の撮影オブジェクトの選択は不要であり、S183での撮影オブジェクトに対するARオブジェクトの紐付けも不要である。
また、ARオブジェクトプロセス83は、上述したフローに限られるものではない。例えば、HMD1内の主にCPU55で描画等の処理によって生成させる場合もあるし、別のアプリケーションを実行させ、アプリケーションが生成するARオブジェクトをインポートする形態であってもよい。
図8は、MR処理における表示映像生成プロセス84のフローである。図8において、S200で開始する。S201で表示しようとするARオブジェクトを選択する。表示するARオブジェクトは、HMD1の表示範囲にある現実物体(HMD1内では撮影オブジェクトとして取り扱われる)に紐付けられたARオブジェクト全てであるが、ひとつ毎に処理を行っている。S202でARオブジェクトが表示設定になっていない場合(No)には、S203からS205をパスする。
表示設定がYesの場合、S203でHMD1の方向を考慮した回転処理、ARオブジェクトの距離を考慮した拡大縮小処理を行う。S204では、ARオブジェクトと表示上重なる現実物体との距離関係を評価し、S205でARオブジェクトの表示を行うが、現実物体がARオブジェクトの前にあり、隠れる部分がある場合には、ARオブジェクトのその部分を表示させないように処理する。これにより、現実物体とARオブジェクトの奥行き関係を考慮した、立体的な表示が行なえる。
S206で、未処理のARオブジェクトがある場合(Yes)には、S201に戻る。全てのARオブジェクトの処理を終えると表示映像が完成するが、操作認識プロセス85から操作情報に手のひら検出情報が含まれる場合には、S207で検出し、S208で操作画面を生成し、表示映像に加える。S209でフローを終了する。
図9は、MR処理における操作認識プロセス85のフローである。図9において、S220で開始する。S221ではカメラ撮影映像の中で、HMD1と近い領域に手のひらが有るかを認識し、有りの場合は操作情報として出力する。S222ではカメラ撮影映像の中で、操作画面上に指等の指示物体が有るかを検出するとともに、有りの場合、指示物体の位置、及び動き検出する。この結果は、S223で判定され、どのARオブジェクトに、何の操作が指示されているのかを特定し、操作情報として出力する。S224でフローを終了する。
以上説明したように、本実施例によれば、ユーザは、ユーザの手のひらの上、もしくは前面に操作画面を表示し、操作画面に映し出されているARオブジェクトを直接操作することができるので、大きな動きを行なうことなく、MR空間の中で直感的な操作が可能となる。
なお、本実施例では、ユーザの手のひらに操作画面を表示するとして説明したが、これに限らず、例えば、手の甲や腕等の体の一部や、予め定めた本などの手に持てる範囲の物体等を含めた、操作画面を指示する指示物体(指等)が物理的に接触できる物体、すなわち操作画面表示物体であればよい。
本実施例は、操作画面上でARオブジェクトを片手で操作可能とできる例について説明する。
図10は、本実施例における操作画面上のARオブジェクトを片手操作で選択する説明図である。図10において、図4(b)と同一の構成については同じ符号を付し、その説明は省略する。図10(a)に示すように、手を開いた状態から、いずれかの指を折り曲げて、折り曲げた指先に最も近いARオブジェクトを選択する。
図10(b)は、指を折り曲げただけでは、操作画面の下側にあるARオブジェクトに届かない場合を示している。図示するように、手のひらを傾けることにより、操作画面の縦方向を圧縮し、操作画面の下側にあるARオブジェクトに指先を近づけることができるようにして、ARオブジェクトを選択可能とする。手のひらの傾きは、例えば距離センサで検出する、もしくは、手のひらの画像から縦横比の変化を検出することで、操作画面の表示を縦方向に圧縮する。横方向も、縦方向と同様に、手のひらを左右に傾けることにより横方向を圧縮し折り曲げが容易な指でARオブジェクトを選択可能とすることができる。
図11は、本実施例における操作画面の拡大や縮小を片手操作で行なう説明図である。図11において、図10と同一の構成については同じ符号を付し、その説明は省略する。図11(a)では、図示している矢印の方向で指間を広げて、操作画面を拡大する。指間を広げた状態から元に戻す動作で操作画面の拡大縮小はせず、再び指間を広げた時、更に操作画面を拡大させる。これにより、ほぼ制約のない大きさまで操作画面を拡大させることができる。指間の動きは、例えば、手のひらの画像から指の先端を検出し、検出した各指間の距離の変化により検出できる。
図11(b)は、操作画面の縮小を行う操作である。図示している矢印の方向に指間を狭めて、操作画面を縮小する。拡大の場合と同様、連続した操作により、ほぼ制約のない縮小した操作画面を得ることができる。
以上説明したように、本実施例によれば、片手で、かつ小さな動きの動作で、ARオブジェクト等の操作が可能となる。
本実施例は、操作画面の映像を簡略化し、見やすくする例について説明する。
図12は、本実施例におけるMR空間の表示映像を示している。図12において、図4(b)と同一の構成については同じ符号を付し、その説明は省略する。図12(a)は、図4(b)に示したものと同じMR空間であるが、操作画面107の映像が異なる。図12(b)は、説明のために、図12(a)における操作画面107を拡大した図である。図12(b)に示すように、操作画面107の映像は、図4(b)の操作画面107の簡略化した映像を表示している。
図13は、本実施例における、図8の表示映像生成プロセス84の操作画面生成と表示のステップS208に相当する処理のフローである。図13において、S250で開始し、S251で、カメラ撮影映像と撮影オブジェクトのデータを受信する。
S252では、撮影オブジェクトに対してパターン映像を割り当て、S253ではパターン映像を描画する色を決定する。色は1色でなくてもよく、パターン映像の上部と下部で色を変えてもよく、パターン映像の枠と内側で異なる色としてもよい。同様にS254は、ARオブジェクトに対してパターン映像を割り当て、S255で描画する色を決定する。さらにS256は、背景形状をパターン映像化し、S257で描画する色を決定する。S258では、撮影オブジェクト、ARオブジェクトと背景のパターン映像を合成し、図12の107で示す操作画面を得て出力する。S259で終了する。
以上説明したように、本実施例によれば、操作画面の簡素化が図れ、操作画面の中でARオブジェクトを容易に選択しやすくなる。
本実施例では、操作画面の映像にはARオブジェクトのみを映す例について説明する。
図14は、本実施例における操作画面の映像にはARオブジェクトのみを映す説明図である。図14において、図4(b)と同一の構成については同じ符号を付し、その説明は省略する。
図14(a)は、ARオブジェクトを選択する図であり、ユーザはARオブジェクトを指差すことにより選択する。選択後、ユーザはARオブジェクトを指していた指を、図中の破線矢印の方向に動かす(ドラッグする)。
図14(b)は、図14(a)で選択したARオブジェクトを操作画面107として表示する。表示するため、指を十分下方に動かした後で、手のひら3aを開くと、手のひらの3aの前面に操作画面107を表示する。操作画面107の映像は、選択したARオブジェクトである。そして、ユーザは、操作画面107上のARオブジェクトを操作することが出来る。
なお、ARオブジェクトの選択は、指差し以外でもよい。例えば、HMD1は、ユーザ3の視線を検出する手段を備える構成とし、視線が捉えるARオブジェクトを選択するようにしてもよい。
以上説明したように、本実施例によれば、操作対象のARオブジェクトのみを操作画面に映し出しており、操作対象のARオブジェクトの細部まで手元で視認できる。また、操作対象のARオブジェクトを操作しやすい場所に移動して操作できるので、操作性が向上するという効果がある。
本実施例では、ユーザが手を持ち上げて、手のひらを前にかざした後、手や頭を下げて楽な体制での操作画面の操作方法の例について説明する。
図15は、本実施例における操作画面の楽な体制での操作方法の説明図である。図15において、図4と同一の構成については同じ符号を付し、その説明は省略する。
図15(a)の左図(a1)では、実施例1と同様に、ユーザ3は、手を上げた状態で視線を前方に向けている。HMD1はカメラの撮影範囲に、ユーザの手を捉え、操作画面を手のひら上に表示する。ユーザ3は、例えば、手を開いた状態から、握った状態にすることで、操作画面でコントロール可能なARオブジェクトを確定する。ユーザ3は、再度手をひらき、左図(a1)の姿勢から、右図(a2)のように、手および顔を下に向けた楽な姿勢で、先に確定した操作画面でARオブジェクトを操作する。
図15(b)は、図15(a)に対応させて、MR空間の映像の変化を示している。(a1)の姿勢のとき、MR空間の映像は100であり、前方の現実空間とARオブジェクトを映し出している。HMD1はこの映像を数秒程度の内部メモリに巡回的に、過去の映像を上書きするように保存する。
図15(a2)のようにユーザの姿勢が移動すると、MR空間の映像は100aへと変化し、100の下部を映し出す。ユーザ3の手のひら3aには先に確定した操作画面107が表示されている。操作画面107に映し出されている映像は、(a1)の姿勢のときの映像であり、ユーザ3は(a1)の姿勢の時のARオブジェクトを選択して操作する。確定された操作画面107を解除し、現在見えているMR空間の映像100aにするには、確定した時と同様に、開いた手のひらを握る、または、指3aをARオブジェクトのないところから、外にスライドさせる等のジェスチャを解除コマンドとして登録し、該当するジェスチャを実行することで、容易に操作が可能である。
以上説明したように、本実施例では、ユーザは楽な姿勢で、MR空間の操作が可能となる。
なお、本実施例では、操作画面内107で実画像の背景は固定にはなるが、動きのあるARオブジェクトの動作を止める必要はない。ARオブジェクトの処理範囲を、MR空間の映像100および100aにすることで、操作画面内107のARオブジェクトをMR空間の映像100に表示している画像と同様に動かしたままとすることができる。
また、操作画面の確定、解除は、上記ジェスチャに限ったことではなく、例えば、他のジェスチャや、音声、手のひらを数秒認識する等で操作画面の確定を行ってもよい。
本実施例では、ユーザが手を持ち上げて、手のひらを前にかざさなくてもよい操作方法の例について説明する。
図16は、本実施例におけるユーザが手を持ち上げて手のひらを前にかざさなくてもよい操作方法の説明図である。図16において、図15と同一の構成については同じ符号を付し、その説明は省略する。
図16(a)では、ユーザ3は、手を下げた状態で視線を前方に向けている。この姿勢では、HMD1はカメラの撮影範囲に、ユーザの手を捉えていない。この姿勢から、ユーザ3はMR空間で操作をするために、図16(b)のように、顔を下に向け、HMD1が手のひら3aをカメラの撮影範囲内となるようにする。この時ユーザは、手を動かす必要はない。
MR空間の映像の変化は、図15(b)と同様になる。図16(a)の姿勢のとき、MR空間の映像は100であり、前方の現実空間とARオブジェクトを映し出している。この時、HMD1はこの映像を数秒程度の内部メモリに巡回的に、過去の映像を上書きするように保存する。
図16(b)にユーザの姿勢が移動すると、MR空間の映像は100aへと変化し、100の下部を映し出すとともに、ユーザの手のひら3aを捉える。この動きはHMD1のセンサ群53で検知され、HMD1は映像を内部メモリに保存することを停止し、直前の図16(a)で保存した映像を読み出し、操作画面の映像とする。操作画面107に映し出されている映像は、図16(a)の姿勢のときの映像であり、ユーザ3は図16(a)の姿勢の時のARオブジェクトを選択して操作する。
図16(b)にユーザの姿勢が移動すると、MR空間の映像は100aへと変化し、100の下部を映し出すとともに、ユーザの手のひら3aを捉える。この動きはHMD1のセンサ群53で検知され、HMD1は映像を内部メモリに保存することを停止し、直前の図16(a)で保存した映像を読み出し、操作画面の映像とする。操作画面107に映し出されている映像は、図16(a)の姿勢のときの映像であり、ユーザ3は図16(a)の姿勢の時のARオブジェクトを選択して操作する。
以上説明したように、本実施例では、ユーザは僅かに頭を下に向けるという動きだけで、MR空間の操作が可能となる。
本実施例では、映像表示部の視野角が比較的狭い場合でも、広角のカメラを用い、実施例5あるいは実施例6と同等の効果を得る、かつ、操作画面の背景となる現実空間画像をリアルタイム動画にする例について説明する。
図17は、本実施例における広角カメラの撮影範囲とMR空間の表示映像と操作画面との関係を示す説明図である。図17において、図4(b)と同一の構成については同じ符号を付し、その説明は省略する。
図17において、108は、図15の(a1)の姿勢で、広角のカメラ10が光学的に撮影している範囲であり、広角のカメラ10は、108の範囲の中から、100と100bを合わせた範囲に相応した撮像素子により、広角撮影を行う。
図15(a1)の姿勢で、MR空間は、100(実線)の範囲である。100は、透過型光学系13を通して見える現実空間の背景であり、表示光学系12でARオブジェクトを投影した映像がMR空間である。広角のカメラ10は透過型光学系13を通して見える現実空間よりも、上部100bの範囲に広角な撮影範囲を有する。
この状態から、ユーザが図15(a2)の姿勢に移行すると、広角カメラの光学的な範囲は108aに移動する。この時、MR空間の映像は100aとなり、ユーザの手のひら3aを捉える。手のひら3aの前面に、操作画面を映し出すが、その映像は、広角な撮影範囲の上部の領域100の映像とすることにより、MR空間の操作範囲であるユーザが操作するMR空間は姿勢の移行の前後で変わることがない。この時、HMD1は、MR空間100とMR空間100aの範囲で、ARオブジェクトの生成、重畳処理を行う。
さらに、広角のカメラで操作範囲の映像を撮影し続けているので、リアルタイムの実空間画像が得られるとともに、撮影ARオブジェクトもリアルタイムに追従可能である。
以上説明したように、本実施例でも、ユーザは楽な姿勢の操作や、僅かに頭を下に向けるという動きだけで、MR空間の操作が可能となり、かつ、変化する実空間の映像に沿ったARオブジェクトを表示、操作可能になる。
実施例1では、透過型光学系を用いて、ARオブジェクトを透過型光学系に投射して表示するとともに、ユーザは、前方の風景や現実物体を透過型光学系を通して見る構成としていた。これに対して、本実施例では、ビデオスルー方式のHMDを用いる例について説明する。
ビデオスルー方式とは、前方の風景や現実物体をカメラで撮影したビデオ映像とARオブジェクトを合成して表示装置に表示する構成である。なお、本実施例におけるHMDの構成ブロック図は省略する。また、カメラを一対のカメラで構成し、左右視差のあるカメラ撮影映像を得るだけでなく、視差情報からカメラ撮影映像内の現実物体や背景の距離等の位置情報を得る3Dカメラとしてもよい。
透過型光学系を用いた場合、現実空間へのARオブジェクトの貼り付けにおいて、視差の影響等でずれが生じる可能性があるが、本実施例のようにビデオスルー方式とすることで、ビデオ映像とARオブジェクトとの合成時に視差の影響等を調整でき、ずれがない合成映像を生成できる。
以上、本発明の実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成と置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、ハードウェアとソフトウェアを併用しても良い。
1:ヘッドマウントディスプレイ(HMD)、3:ユーザ、3a:ユーザの手のひら、3b:ユーザの指、10:カメラ、11:測距カメラ、12、12a、12b:表示光学系(映像投影部)、13:透過型光学系、15:コントローラ、51:特徴抽出処理部、52:距離算出処理部、53:センサ群、54:通信部、55:CPU、56:RAM、57:映像RAM、58:プログラムFROM、59:データFROM、81:全体制御プロセス、82:撮影オブジェクトプロセス、83:ARオブジェクトプロセス、84:表示映像生成プロセス、85:操作認識プロセス。100、100a:MR空間、101、102、103、104、105、106:ARオブジェクト、107:操作画面。
Claims (11)
- 現実空間にARオブジェクトを表示してMR空間を形成するヘッドマウントディスプレイであって、
現実空間を撮影し撮影映像を得るカメラと、
現実空間内の現実物体の距離を測定する測距カメラと、
制御装置を有し、
前記制御装置は、前記撮影映像から現実物体を認識する撮影オブジェクト処理と、ARオブジェクトを得て該ARオブジェクトに現実空間内の距離を含む位置を与えるARオブジェクト処理と、現実物体とARオブジェクトの遠近を反映しMR空間の表示映像を生成する表示映像生成処理を備え、さらに前記撮影映像から操作画面表示物体を検知する処理と、該操作画面表示物体の前面に前記MR空間の操作画面を表示する処理を有し、該操作画面の映像は、前記MR空間内のARオブジェクトを含むことを特徴とするヘッドマウントディスプレイ。 - 請求項1に記載のヘッドマウントディスプレイであって、
前記操作画面の映像は、前記撮影映像とARオブジェクトとから成るMR空間の映像であることを特徴とするヘッドマウントディスプレイ。 - 請求項1に記載のヘッドマウントディスプレイであって、
前記制御装置は、前記操作画面上の指示物体の動きを認識する処理を備え、該指示物体の動きにより、前記MR空間のARオブジェクトが操作されることを特徴とするヘッドマウントディスプレイ。 - 請求項3に記載のヘッドマウントディスプレイであって、
前記指示物体は指であり、指の動きによりARオブジェクト、及び操作画面が操作されることを特徴とするヘッドマウントディスプレイ。 - 請求項4に記載のヘッドマウントディスプレイであって、
前記操作画面表示物体は手のひらであることを特徴とするヘッドマウントディスプレイ。 - 請求項5に記載のヘッドマウントディスプレイであって、
前記指示物体の動きを認識する処理は、操作画面を表示する前記手のひらの指であって、前記制御装置は、指の折り曲げ、指の開閉を認識する処理を含むことを特徴とするヘッドマウントディスプレイ。 - 請求項1に記載のヘッドマウントディスプレイであって、
前記制御装置は、現実空間の現実物体、背景、及びARオブジェクトをパターン化した映像に変換する処理を備え、該パターン化した映像を合成して、前記操作画面の映像とすることを特徴とするヘッドマウントディスプレイ。 - 請求項1に記載のヘッドマウントディスプレイであって、
前記制御装置は、前記MR空間のARオブジェクトをドラッグする操作により選択したARオブジェクトを前記操作画面の映像とすることを特徴とするヘッドマウントディスプレイ。 - 請求項1に記載のヘッドマウントディスプレイであって、
ヘッドマウントディスプレイの動きを検知するセンサを備え、
前記制御装置は、ヘッドマウントディスプレイが下向きに回転移動したことを検知し、さらに前記操作画面表示物体を検知した時、ヘッドマウントディスプレイが下向きに回転移動する前のMR空間の映像を前記操作画面の映像とすることを特徴とするヘッドマウントディスプレイ。 - 請求項1に記載のヘッドマウントディスプレイあって、
前記現実空間を撮影し撮影映像を得るカメラは、前記MR空間の表示範囲よりも広角の撮影映像を得るカメラであって、
さらに、ヘッドマウントディスプレイの動きを検知するセンサを備え、
前記制御装置は、ヘッドマウントディスプレイが下向きに回転移動したことを検知し、さらに前記操作画面表示物体を検知した時、前記広角の撮影映像の切り出し位置を上方にずらした映像を含むMR空間の映像を前記操作画面の映像とすることを特徴とするヘッドマウントディスプレイ。 - 請求項1に記載のヘッドマウントディスプレイであって、
透過型光学系とARオブジェクトを投影する表示光学系を備え、
前記制御装置は、透過型光学系を通して視認する現実空間に前記表示光学系で投影するARオブジェクトを重ね合わせて前記MR空間を得ることを特徴とするヘッドマウントディスプレイ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022161325A JP7499819B2 (ja) | 2019-05-22 | 2022-10-06 | ヘッドマウントディスプレイ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/020230 WO2020235035A1 (ja) | 2019-05-22 | 2019-05-22 | ヘッドマウントディスプレイ |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022161325A Division JP7499819B2 (ja) | 2019-05-22 | 2022-10-06 | ヘッドマウントディスプレイ |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020235035A1 JPWO2020235035A1 (ja) | 2020-11-26 |
JP7157244B2 true JP7157244B2 (ja) | 2022-10-19 |
Family
ID=73459316
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021519969A Active JP7157244B2 (ja) | 2019-05-22 | 2019-05-22 | ヘッドマウントディスプレイ |
JP2022161325A Active JP7499819B2 (ja) | 2019-05-22 | 2022-10-06 | ヘッドマウントディスプレイ |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022161325A Active JP7499819B2 (ja) | 2019-05-22 | 2022-10-06 | ヘッドマウントディスプレイ |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220244788A1 (ja) |
EP (1) | EP3974949A4 (ja) |
JP (2) | JP7157244B2 (ja) |
CN (1) | CN113853569A (ja) |
WO (1) | WO2020235035A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112911266A (zh) * | 2021-01-29 | 2021-06-04 | 深圳技术大学 | 基于增强现实技术的物联网实训***的实现方法及*** |
US11893166B1 (en) * | 2022-11-08 | 2024-02-06 | Snap Inc. | User avatar movement control using an augmented reality eyewear device |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6771294B1 (en) | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
JP2006506737A (ja) | 2002-11-19 | 2006-02-23 | モトローラ・インコーポレイテッド | 身体中心的な仮想対話型装置および方法 |
US20100199232A1 (en) | 2009-02-03 | 2010-08-05 | Massachusetts Institute Of Technology | Wearable Gestural Interface |
JP2011203824A (ja) | 2010-03-24 | 2011-10-13 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP2013174642A (ja) | 2012-02-23 | 2013-09-05 | Toshiba Corp | 映像表示装置 |
US20150269783A1 (en) | 2014-03-21 | 2015-09-24 | Samsung Electronics Co., Ltd. | Method and wearable device for providing a virtual input interface |
JP2016115329A (ja) | 2015-05-22 | 2016-06-23 | 株式会社コロプラ | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム |
JP2017027206A (ja) | 2015-07-17 | 2017-02-02 | キヤノン株式会社 | 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体 |
JP2017142294A (ja) | 2016-02-08 | 2017-08-17 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
JP2017157142A (ja) | 2016-03-04 | 2017-09-07 | 日本電気株式会社 | 情報処理システム、情報処理装置、制御方法、及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09152954A (ja) * | 1995-11-30 | 1997-06-10 | Toshiba Corp | 情報提示方法及び情報提示装置 |
JP2008040037A (ja) * | 2006-08-04 | 2008-02-21 | Hitachi Ltd | ヘッドマウントディスプレイ装置および情報端末 |
JP6116934B2 (ja) * | 2012-09-06 | 2017-04-19 | 東芝アルパイン・オートモティブテクノロジー株式会社 | アイコン操作装置 |
TWI649675B (zh) * | 2013-03-28 | 2019-02-01 | 新力股份有限公司 | Display device |
US10175483B2 (en) * | 2013-06-18 | 2019-01-08 | Microsoft Technology Licensing, Llc | Hybrid world/body locked HUD on an HMD |
JP5763730B2 (ja) * | 2013-11-01 | 2015-08-12 | 日立マクセル株式会社 | テレビジョン受像機の操作を行うための手元端末、制御装置、及びシステム |
JP6210466B1 (ja) | 2016-10-31 | 2017-10-11 | パナソニックIpマネジメント株式会社 | 情報入力装置 |
-
2019
- 2019-05-22 US US17/613,022 patent/US20220244788A1/en active Pending
- 2019-05-22 WO PCT/JP2019/020230 patent/WO2020235035A1/ja unknown
- 2019-05-22 EP EP19929455.4A patent/EP3974949A4/en active Pending
- 2019-05-22 CN CN201980096673.2A patent/CN113853569A/zh active Pending
- 2019-05-22 JP JP2021519969A patent/JP7157244B2/ja active Active
-
2022
- 2022-10-06 JP JP2022161325A patent/JP7499819B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6771294B1 (en) | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
JP2006506737A (ja) | 2002-11-19 | 2006-02-23 | モトローラ・インコーポレイテッド | 身体中心的な仮想対話型装置および方法 |
US20100199232A1 (en) | 2009-02-03 | 2010-08-05 | Massachusetts Institute Of Technology | Wearable Gestural Interface |
JP2011203824A (ja) | 2010-03-24 | 2011-10-13 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP2013174642A (ja) | 2012-02-23 | 2013-09-05 | Toshiba Corp | 映像表示装置 |
US20150269783A1 (en) | 2014-03-21 | 2015-09-24 | Samsung Electronics Co., Ltd. | Method and wearable device for providing a virtual input interface |
JP2016115329A (ja) | 2015-05-22 | 2016-06-23 | 株式会社コロプラ | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム |
JP2017027206A (ja) | 2015-07-17 | 2017-02-02 | キヤノン株式会社 | 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体 |
JP2017142294A (ja) | 2016-02-08 | 2017-08-17 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
JP2017157142A (ja) | 2016-03-04 | 2017-09-07 | 日本電気株式会社 | 情報処理システム、情報処理装置、制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN113853569A (zh) | 2021-12-28 |
EP3974949A4 (en) | 2022-12-28 |
JPWO2020235035A1 (ja) | 2020-11-26 |
WO2020235035A1 (ja) | 2020-11-26 |
EP3974949A1 (en) | 2022-03-30 |
US20220244788A1 (en) | 2022-08-04 |
JP7499819B2 (ja) | 2024-06-14 |
JP2022183213A (ja) | 2022-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10175492B2 (en) | Systems and methods for transition between augmented reality and virtual reality | |
JP6393367B2 (ja) | 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法 | |
JP5966510B2 (ja) | 情報処理システム | |
JP5800501B2 (ja) | 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法 | |
JP4878083B2 (ja) | 画像合成装置及び方法、プログラム | |
JP7499819B2 (ja) | ヘッドマウントディスプレイ | |
JP7244541B2 (ja) | 拡張現実表示装置及び拡張現実表示方法 | |
WO2014016987A1 (ja) | 3次元ユーザインタフェース装置及び3次元操作方法 | |
US20060050070A1 (en) | Information processing apparatus and method for presenting image combined with virtual image | |
JP2014238731A (ja) | 画像処理装置、画像処理システム、および画像処理方法 | |
US11625858B2 (en) | Video synthesis device, video synthesis method and recording medium | |
US20210233325A1 (en) | Video synthesis device, video synthesis method and recording medium | |
JP5602702B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 | |
WO2020080107A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2022058753A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2020087429A (ja) | 動画合成装置、動画合成方法及び動画合成プログラム | |
WO2020140905A1 (zh) | 虚拟内容交互***及方法 | |
JP7523615B2 (ja) | 拡張現実表示装置及び拡張現実表示方法 | |
JP7241628B2 (ja) | 動画合成装置、動画合成方法、および動画合成プログラム | |
JP2013003412A (ja) | 自動写真作成装置、自動写真作成方法およびプログラム | |
JP5520772B2 (ja) | 立体画像の表示システム及び表示方法 | |
TW201840200A (zh) | 立體影像物件互動方法、系統與立體互動影片後製方法 | |
JP2024017779A (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7157244 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |