JP2013054661A - 情報表示システム、情報表示方法、及び情報表示用プログラム - Google Patents
情報表示システム、情報表示方法、及び情報表示用プログラム Download PDFInfo
- Publication number
- JP2013054661A JP2013054661A JP2011193953A JP2011193953A JP2013054661A JP 2013054661 A JP2013054661 A JP 2013054661A JP 2011193953 A JP2011193953 A JP 2011193953A JP 2011193953 A JP2011193953 A JP 2011193953A JP 2013054661 A JP2013054661 A JP 2013054661A
- Authority
- JP
- Japan
- Prior art keywords
- information
- display
- video
- unit
- additional information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 13
- 238000004364 calculation method Methods 0.000 claims description 51
- 239000003550 marker Substances 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 12
- 230000003190 augmentative effect Effects 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 27
- 238000013507 mapping Methods 0.000 description 11
- 238000003825 pressing Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- 238000012559 user support system Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【解決手段】表示装置は、実空間の物体を含む映像を取得する。指示装置は、利用者の操作により実空間の物体を指し示した場合、指し示された物体を特定するための特徴を示す情報を出力する。制御装置は、表示装置により映像を解析して、映像中の物体を特定する。特定された物体に対し、映像中での位置情報を出力する。指示装置から出力された情報に基づいて、指し示された物体に対し、映像中での位置情報を出力する。実空間の物体の付加情報群の中から、対象となる物体の付加情報を抽出する。算出された位置情報に基づいて、付加情報の表示制御を行う。表示装置は、付加情報を表示する。
【選択図】図5
Description
図1を参照して、映像アノテーション付与装置の構成の一例について説明する。
図2を参照して、付加情報を表示させる動物体スイッチ装置の構成の一例について説明する。
図4を参照して、半透過スクリーンを備えたシースルー型ヘッドマウントディスプレイの構成を示す。
以下に、本発明の第1実施形態について添付図面を参照して説明する。
図5及び図6を参照して、本発明の第1実施形態に係る情報表示システムの基本構成について説明する。
ここで、表示装置10の構成の詳細について説明する。
ここで、指示装置20の構成の詳細について説明する。
ここで、制御装置30の構成の詳細について説明する。
対象物位置算出部32は、指示物体特定情報取得部22から取得した位置成分及び方向成分と、撮影物体特定情報取得部12から取得した位置成分及び方向成分と、映像入力部11のカメラの画角とを基に、映像入力部11による撮影範囲を認識する。対象物位置算出部32は、撮影範囲内において、指示物体特定情報取得部22から取得した位置成分及び方向成分と、撮影物体特定情報取得部12から取得した位置成分及び方向成分に基づく線分とが重なる部分を求める。対象物位置算出部32は、重なる部分がある場合、映像入力部11による撮影範囲により、指し示された物体の「映像中での位置情報」を算出する。その後、指し示された物体の「映像中での位置情報」と「マッピング情報」(各々の物体の映像中での位置)とを照合して、合致する位置の物体を、指し示された物体として特定する。この算出方法については、「位置センサ及び方向センサによる位置情報算出」として後述する。
対象物位置算出部32は、指示物体特定情報取得部22と、撮影物体特定情報取得部12との各々から映像を取得し、指示物体特定情報取得部22から取得した映像と、撮影物体特定情報取得部12から取得した映像の中心との視覚的特徴が類似する部分を求める。対象物位置算出部32は、視覚的特徴が類似する部分がある場合、指し示された物体に対して、「映像中での位置情報」を求める。その後、指し示された物体の「映像中での位置情報」と、「マッピング情報」(各々の物体の映像中での位置)とを照合して、合致する位置の物体を、指し示された物体として特定する。この算出方法については、「視覚的特徴に基づく照合による位置情報算出」として後述する。
対象物位置算出部32は、指示装置20により指し示された物体に限らず、指示装置20により指し示されたと推定された位置(座標値)の近傍にある物体に対して、「映像中での位置情報」を算出しても良い。これにより、付加情報出力制御部35は、指示装置20により指し示された座標の近傍にある物体のハイライト(highlight)表示等を行い、指示装置20によるユーザの指示を支援することも可能となる。
制御装置30は、プログラムに基づいて駆動し所定の処理を実行するプロセッサと、当該プログラムや各種データを記憶するためのメモリと、通信回線を介して通信を行うための通信用インターフェース(I/F:interface)によって実現される。
次に、図7のフローチャートを参照して、本実施形態の全体の動作について詳細に説明する。
映像入力部11は、表示装置10の半透過スクリーンの背面に透けて見える現実の物体を撮影し、撮影により得られた映像を入力する。
撮影物体特定情報取得部12は、表示装置10に備え付けられた映像入力部11の位置成分及び方向成分を取得する。例えば、撮影物体特定情報取得部12は、ヘッドマウントディスプレイに備え付けられたカメラに埋め込まれたセンサから、センサ情報を取得する。具体的には、撮影物体特定情報取得部12は、GPS等の位置センサと、電子コンパス等の方向センサの出力を取得することにより、センサ情報として、表示装置に備え付けられた映像入力部11の位置成分及び方向成分を取得する。或いは、撮影物体特定情報取得部12は、表示装置10に備え付けられた映像入力部11から、映像を取得する。
利用者が物体指示部21により物体(仮想物体を含む)を指し示した場合、指示物体特定情報取得部22は、指し示された物体を特定するための情報を取得する。例えば、指示物体特定情報取得部22は、物体指示部21に埋め込まれたセンサから、センサ情報を取得する。具体的には、指示物体特定情報取得部22は、GPS等の位置センサと、電子コンパス等の方向センサの出力を取得することにより、センサ情報として、物体指示部21の位置成分及び方向成分を取得する。或いは、指示物体特定情報取得部22は、物体指示部21に埋め込まれたカメラから、映像を取得する。
映像解析部31は、表示装置10の映像入力部11により入力された映像を解析し、入力された映像に含まれる各々の物体とそれらの物体の映像中での位置とを特定する。このとき、映像解析部31は、映像入力部11から直接、映像を取得しても良い。物体を特定する際には、入力された映像を用いて映像中の各種物体の視覚的特徴量を抽出し、予め作成しておいた物体毎の画像情報と照合することによって、物体の特定を行う。映像解析部31は、物体を特定するために、映像に限らず、利用者の位置や時刻情報等も合わせて取り込み、予め作成してあった物体の付随情報(当該物体が存在している場所や時間帯等に関する情報)を利用して、入力された映像に含まれる各々の物体の中から、対象となる物体を絞り込んでも良い。
対象物位置算出部32は、利用者が物体指示部21により物体を指し示した場合には、指示物体特定情報取得部22から取得した位置成分及び方向成分と、撮影物体特定情報取得部12から取得した位置成分及び方向成分と、映像入力部11のカメラの画角とを基に、指し示された物体に対しての映像中での位置情報を算出する。また、指し示された物体の映像中での位置情報と、映像解析部31から取得した各々の物体のいずれかの映像中での位置とが合致した場合、位置が合致した物体を、指し示された物体として特定する。なお、物体指示部21により指し示された物体の映像中での位置情報と、映像解析部31から取得した(表示装置10にのみ表示される)仮想物体の映像中での位置とが合致した場合、その仮想物体を、指し示された物体として特定する。
付加情報抽出部33は、利用者が物体指示部21により物体を指し示していない場合には、特定された物体に関する情報を基に、記憶部34から、特定された物体の付加情報を抽出する。また、付加情報抽出部33は、利用者が物体指示部21により物体を指し示した場合には、指し示された物体に関する情報を基に、記憶部34から、指し示された物体の付加情報を抽出しても良い。なお、「指し示された物体の付加情報」として、既に抽出している「特定された物体の付加情報」を利用する場合、記憶部34から「指し示された物体の付加情報」を抽出しなくても良い。
付加情報出力制御部35は、利用者が物体指示部21により物体を指し示していない場合には、「特定された物体の映像中での位置情報」に基づいて、付加情報抽出部33が抽出した「付加情報」の表示位置を決定する。一方、利用者が物体指示部21により物体を指し示した場合には、対象物位置算出部32が算出した「指し示された物体の映像中での位置情報」に基づいて、付加情報抽出部33が抽出した「付加情報」の表示位置を決定する。付加情報出力制御部35は、付加情報を、特定された物体/指し示された物体の位置を基準として、予め設定した位置(例えば100画素下方)を表示位置として決定しても良いし、映像中の複数の物体の位置関係から、物体の無い場所で、付加情報を表示するスペース(空間)のある場所を選択して、選択された場所を表示位置として決定しても良い。また、付加情報出力制御部35は、付加情報を表示する際、指し示された物体に対応した表示サイズ(表示範囲)、又は、予め定めた表示サイズで表示しても良いし、付加情報の量に応じて動的に表示サイズを変更して表示しても良い。
付加情報出力部13は、付加情報出力制御部35により決定された表示位置と表示サイズにしたがって、付加情報を表示する。なお、付加情報出力部13は、必要に応じて、映像入力部11により撮影された映像を表示するようにしても良い。
以下に、寺社「○○寺」、人物「鈴木□□」、石碑「△△碑」に関して付加情報を表示した上で、新たに、人物「山田▽▽」に関して付加情報を表示する場合の表示例について説明する。
図8は、付加情報の表示制御を行わない場合の表示例である。ここでは、「○○寺」、「鈴木□□」、「△△碑」、「山田▽▽」に関する付加情報が等しく表示されている。
図9は、指し示された物体のみ付加情報を表示する場合の表示例である。ここでは、「山田▽▽」に関する付加情報のみが表示されている。
図10は、指し示された物体の付加情報のみ相対的に大きく表示し、それ以外の物体の付加情報を相対的に小さく表示する場合の表示例である。ここでは、「山田▽▽」に関する付加情報のみが相対的に大きく表示され、「○○寺」、「鈴木□□」、「△△碑」に関する付加情報は相対的に小さく表示されている。なお、指し示された物体の付加情報を通常の表示サイズよりも大きく表示する場合、それ以外の物体の付加情報については、通常の表示サイズで表示していても良い。また、表示サイズの大小は一例に過ぎない。実際には、指し示された物体の付加情報のみ、それと分かるように何らかの方法で強調して表示していれば良い。例えば、指し示された物体の付加情報の文字や表示枠を、太線(太字)/色付き/点滅表示等に変更しても良い。
制御装置30は、利用者が指示装置20を操作して、指し示された物体を変更するにしたがって、表示装置10に表示する付加情報を動的に変化させる。例えば、対象物位置算出部32は、利用者が指示装置20をスライドした場合、移動に伴う指示装置20の位置成分及び方向成分の変化量を基に、前の映像中での位置情報から相対的に現在の映像中での位置情報を算出しても良い。また、付加情報出力制御部35は、利用者が指示装置20を操作して指し示した映像中の焦点位置に、ARマーカー(以下、マーカー)を表示しても良いし、映像中の焦点位置において、その位置にある物体の付加情報の表示/非表示のみを行い、マーカーを表示しなくても良い。ここでは、マーカーは、カーソルにより示される。
図11を参照して、上記の場合における情報表示システムの追加構成について説明する。
図12に、表示装置10の機器の一例を示す。
次に、対象物位置算出部32による「指し示された物体の映像中での位置算出方法」について具体的に例を述べる。
図13、図14では、撮影物体特定情報取得部12により映像入力部11の位置成分及び方向成分が取得され、指示物体特定情報取得部22により、物体指示部21の位置成分及び方向成分が取得された際の導出原理について説明している。
図15に示すように、物体指示部21の先端から伸びる線分は、以下の(1)−(3)の3つのパタンとなる。
(1)画角内で収束(画角と交わり、無限遠は画角内にある)
(2)画角を横切る(画角と交わり、無限遠は画角外にある)
(3)画角と交わらない
(1)近い方の物体を選択する
(2)予め優先するZ成分値を定めておき、Z値に基づいて選択する
(3)どちらも候補として、付加情報を表示する
(4)線の場所を定めた場合、仮定した物体までの距離が算出できるため、物体の実サイズ(予めDBに記録しておく)と画面上でのサイズを計測し、線分上にある物体として、大きさ情報が妥当であるもののみを選択する
次に、図16を参照して、画像特徴に基づいて物体の位置を求める方法について説明する。
本実施形態では、指示装置20(指示棒)が指示物体特定情報取得部22を有し、また、表示装置10(ディスプレイ)が映像入力部11及び撮影物体特定情報取得部12を有し、制御装置30(コンピュータ)が対象物位置算出部32を有する。利用者は、手元にある指示装置20(指示棒)により、対象となる物体を指し示すことによって、入力画像中で利用者が興味ある物体を指定できる。
以下に、本発明の第2実施形態について図面を参照して詳細に説明する。
図18に、利用者の手動による位置調整の例を示す。
第1の修正パタンとして、マーカーの位置を画面上の上下方向又は左右方向に移動させることが考えられる。
第2の修正パタンとして、表示画像上でのマーカーの位置(座標値)を固定させた上で、カメラ移動により調整することが考えられる。
第3の修正パタンとして、物体指示部21の光軸方向(線分方向)に沿ってマーカーを移動させることが考えられる。
本実施形態では、指示装置20(指示棒)が利用者指示入力部23を更に具備し、利用者指示入力部23が、算出された位置情報の微調整を行うことができる。
以下に、本発明の第3実施形態について図面を参照して説明する。
以下に、本発明の第4実施形態について図面を参照して説明する。
以下に、本発明の第5実施形態について図面を参照して説明する。
以下に、本発明の第6実施形態について図面を参照して説明する。
なお、上記の各実施形態は、組み合わせて実施することも可能である。
本発明によれば、半透過型ディスプレイにて、実物体のアノテーションの付与を行う、情報表示システムに適用できる。
以上のように、本発明の情報表示システムは、物体に関連付けられた付帯情報を表示する際に、付帯情報を表示すべき物体を直感的に選択・制御できる。
ヘッドマウントディスプレイを含む各種ディスプレイのスペース(空間)は限られており、そのままでは大量の情報を表示することが難しい。そのため、付加情報が付与された物体が複数あるときに付加情報を画面上に全て表示すると、非常に多くの情報が表示されることになり、「画面が煩雑になる」、「大事な情報が埋もれてしまう」、「透過型の実オブジェクトを見るのに妨げになる」、「簡潔な情報しか表示できない」といった問題が生じていた。
ヘッドマウントディスプレイを利用する場合、ヘッドマウントディスプレイは、利用者の目に近接して設置するようになっており、ディスプレイ上の物体の位置情報を手/指等で指定しようとした際に、直接触ることができない。ディスプレイに直接触るという行為は、利用者にとっても直感的ではなく、入力行為そのものが難しいという問題点もあった。そのため、第1の問題点に関連して、大量の情報を選択的に表示させようとした際に、入力を直感的に行うことができない。
ヘッドマウントディスプレイやディスプレイ型サングラス等のディスプレイのサイズは小さく、手/指等で正確に場所を指定することは難しい。また、生物や移動体等の対象物は3次元的(立体的)に動くため、マウス等の2次元入力デバイスでは対応をとることが難しく、生物や移動体等の対象物を追跡する際、利用者が動いている状態での追尾継続等は特に難しい。そのため、対象物が動いている、或いは利用者自身が姿勢を変える等、対象物と利用者の少なくとも一方が動いている場合に、高精度で入力することが難しい。
上記の実施形態の一部又は全部は、以下の付記のように記載することも可能である。但し、実際には、以下の記載例に限定されない。
実空間の映像を取得する映像入力部と、
実空間の物体に関連付けられた付加情報を記憶する記憶部と、
映像入力部により取得された映像から物体を抽出する映像解析部と、
抽出された物体に関連付けられた付加情報を記憶部から抽出する付加情報抽出部と、
抽出された付加情報を表示する付加情報出力部と、
指示棒の先端に設置され、利用者が実空間の物体を指し示すための物体指示部と、
物体指示部により指し示された物体を特定するための特徴(位置又は視覚的特徴)を示す情報を出力する指示物体特定情報取得部と、
指示物体特定情報取得部から出力された情報に基づいて、指し示された物体の取得された映像における位置情報を出力する対象物位置算出部と、
対象物位置算出部により算出された位置情報に基づいて、付加情報出力部に表示される付加情報の表示制御を行う付加情報出力制御部と
を備える
情報表示システム。
指示物体特定情報取得部は、指し示された方向の映像を出力し、
対象物位置算出部は、取得された映像と、指し示された方向の映像の中心の視覚的特徴とを照合し、指し示された物体の取得された映像における位置情報を算出する
付記1に記載の情報表示システム。
映像入力部の位置成分及び方向成分に関する情報を取得する撮影物体特定情報取得部
を更に備え、
対象物位置算出部は、映像入力部の位置成分及び方向成分に関する情報と、物体指示部の位置成分及び方向成分に関する情報と照合し、指し示された物体の取得された映像における位置情報を算出する
付記1に記載の情報表示システム。
付加情報出力制御部は、指し示された物体の付加情報のみを表示する
付記1−3に記載の情報表示システム。
付加情報の表示状態を記憶する付加状態記憶部と、
利用者の指示入力を行う利用者指示入力部
を更に備え、
付加情報出力制御部は、利用者指示入力部からの入力指示に基づいて、指し示された物体の付加情報の表示/非表示を制御する
付記1−4に記載の情報表示システム。
付加情報出力制御部は、対象物位置算出部により算出された位置に利用者確認用のマーカーを重畳表示する
付記1−5に記載の情報表示システム。
付加情報出力制御部は、物体指示部が指し示す擬似光線を重畳表示する
付記1−6に記載の情報表示システム。
物体指示部に相当する複数の物体指示部と、
指示物体特定情報取得部に相当する複数の指示物体特定情報取得部と
を更に備え、
付加情報出力制御部は、複数の指示物体特定情報取得部の各々の出力に基づいて、対応する物体の付加情報の表示を制御する
付記1−7に記載の情報表示システム。
映像入力部に相当する複数の映像入力部と、
付加情報出力部に相当する複数の付加情報出力部と
を更に備え、
付加情報出力制御部は、複数の映像入力部の各々により取得された映像における指示物体の位置を算出し、それぞれの付加情報出力部に付加情報を表示する
付記1−8に記載の情報表示システム。
算出された物体の位置を利用者入力によって調整する位置調整部
を更に備える
付記1−9に記載の情報表示システム。
位置調整部は、取得された位置情報を上下方向に調整を行う
付記10に記載の情報表示システム。
位置調整部は、映像中での位置を固定させ、映像入力部にて入力される映像を操作することにより、固定させた位置に対物を表示させて対象物を確定させる
付記10に記載の情報表示システム。
位置調整部は、カメラの位置成分及び方向成分に関する情報と、物体指示部の位置情報と、方向情報から、映像における、物体指示部の光軸線分を表示させた上で利用者入力により奥行き値を変化させる
付記10に記載の情報表示システム。
以上、本発明の実施形態を詳述してきたが、実際には、上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の変更があっても本発明に含まれる。
11… 映像入力部
12… 撮影物体特定情報取得部
13… 付加情報出力部
20… 指示装置
21… 物体指示部
22… 指示物体特定情報取得部
23… 利用者指示入力部
30… 制御装置
31… 映像解析部
32… 対象物位置算出部
33… 付加情報抽出部
34… 記憶部
35… 付加情報出力制御部
36… 位置調整部
Claims (17)
- 少なくとも1つの表示装置と、
少なくとも1つの指示装置と、
前記少なくとも1つの表示装置及び前記少なくとも1つの指示装置と通信する制御装置と
を含み、
前記制御装置は、前記少なくとも1つの表示装置を通して見える物体を、前記少なくとも1つの表示装置上ではなく、実空間上で指し示した前記少なくとも1つの指示装置からの情報に基づいて、前記物体を特定し、前記少なくとも1つの表示装置に対し、前記物体に関する付加情報の表示制御を行う
情報表示システム。 - 請求項1に記載の情報表示システムであって、
前記制御装置は、前記少なくとも1つの指示装置により指し示された物体のみ、付加情報の表示制御を行う
情報表示システム。 - 請求項1又は2に記載の情報表示システムであって、
前記制御装置は、前記少なくとも1つの表示装置からの映像の視覚的特徴と、前記少なくとも1つの指示装置からの映像の中心の視覚的特徴とを照合し、前記少なくとも1つの指示装置により指し示された物体に対し、前記少なくとも1つの表示装置からの映像中での位置情報を算出する
情報表示システム。 - 請求項1又は2に記載の情報表示システムであって、
前記制御装置は、前記少なくとも1つの表示装置の位置成分及び方向成分に関する情報と、前記少なくとも1つの指示装置の位置成分及び方向成分に関する情報とを照合し、前記少なくとも1つの指示装置により指し示された物体に対し、前記少なくとも1つの表示装置からの映像中での位置情報を算出する
情報表示システム。 - 請求項1乃至4のいずれか一項に記載の情報表示システムであって、
前記制御装置は、前記制御装置により算出された位置情報を基に、前記少なくとも1つの指示装置により指し示された物体を確認するためのマーカーの表示制御を行う
情報表示システム。 - 請求項1乃至5のいずれか一項に記載の情報表示システムであって、
前記制御装置は、前記少なくとも1つの指示装置の位置成分及び方向成分に関する情報を基に、前記少なくとも1つの指示装置により指し示された方向の線分を示す光軸の表示制御を行う
情報表示システム。 - 請求項6に記載の情報表示システムであって、
前記制御装置は、前記少なくとも1つの指示装置からの入力指示にしたがって、前記少なくとも1つの表示装置の位置成分及び方向成分に関する情報と、前記少なくとも1つの指示装置の位置成分及び方向成分に関する情報とを基に、前記少なくとも1つの指示装置により指し示された方向の線分を示す光軸の奥行き値を変化させる
情報表示システム。 - 請求項1乃至7のいずれか一項に記載の情報表示システムであって、
前記制御装置は、前記少なくとも1つの指示装置から、前記少なくとも1つの表示装置に表示されたマーカーの位置が調整された際、前記調整されたマーカーの位置と前記取得された映像中での位置とが重なる場合に、前記指し示された物体の付加情報の表示制御を行う
情報表示システム。 - 請求項8に記載の情報表示システムであって、
前記制御装置は、前記少なくとも1つの指示装置からの入力指示に基づいて、マーカーを上下左右方向に移動して、マーカーの位置が前記指し示された物体に重なるように調整する
情報表示システム。 - 請求項8に記載の情報表示システムであって、
前記制御装置は、マーカーの位置を固定して、前記指し示された物体が前記固定されたマーカーの位置に重なるように調整する
情報表示システム。 - 請求項8に記載の情報表示システムであって、
前記制御装置は、前記少なくとも1つの指示装置により指し示された方向の線分を示す光軸の線分方向に沿ってマーカーを移動して、マーカーの位置が前記指し示された物体に重なるように調整する
情報表示システム。 - 請求項1乃至11のいずれか一項に記載の情報表示システムであって、
前記制御装置は、仮想物体の画像及び付加情報を、仮想物体の表示位置情報に関連付けて記憶し、前記少なくとも1つの表示装置の位置成分及び方向成分が、仮想物体の表示位置情報の位置成分及び方向成分と合致することを検出し、前記少なくとも1つの表示装置に対し、仮想物体の表示位置情報に基づく位置又は近傍に、仮想物体の画像を表示するための表示制御を行う
情報表示システム。 - 請求項1乃至11のいずれか一項に記載の情報表示システムであって、
前記制御装置は、仮想物体の画像及び付加情報を、特定の物体又は特定のマークに関連付けて記憶し、前記少なくとも1つの表示装置からの映像中に、特定の物体又は特定のマークがあることを検出し、前記少なくとも1つの表示装置に対し、特定の物体又は特定のマークがある位置又は近傍に、仮想物体の画像を表示するための表示制御を行う
情報表示システム。 - 請求項12又は13に記載の情報表示システムであって、
前記制御装置は、前記少なくとも1つの表示装置に仮想物体を表示中、当該映像中での仮想物体の表示位置を認識しており、算出された映像中での位置情報が映像中での仮想物体の表示位置と合致した場合は、仮想物体の付加情報を、当該仮想物体の表示位置の近傍に表示するための表示制御を行う
情報表示システム。 - 請求項1乃至14のいずれか一項に記載の情報表示システムであって、
前記少なくとも1つの表示装置は、
実空間の物体を含む映像を取得する映像入力部と、
前記実空間の物体に関する付加情報を表示する付加情報出力部と
を具備し、
前記少なくとも1つの指示装置は、
利用者が前記実空間の物体を指し示すための物体指示部と、
前記物体指示部により指し示された物体を特定するための特徴を示す情報を出力する指示物体特定情報取得部と
を具備し、
前記制御装置は、
前記映像入力部により取得された映像を解析して、前記取得された映像中の物体を特定する映像解析部と、
前記特定された物体に対し、前記取得された映像中での位置情報を出力し、前記指示物体特定情報取得部から出力された情報に基づいて、前記指し示された物体に対し、前記取得された映像中での位置情報を出力する対象物位置算出部と、
前記実空間の物体に関連付けられた付加情報を記憶する記憶部と、
前記特定された物体に関連付けられた付加情報及び前記指し示された物体に関連付けられた付加情報のうち少なくとも1つを、前記記憶部から抽出する付加情報抽出部と、
前記対象物位置算出部により算出された位置情報に基づいて、前記付加情報抽出部により抽出された付加情報の表示制御を行う付加情報出力制御部と
を具備する
情報表示システム。 - 少なくとも1つの表示装置と、少なくとも1つの指示装置と、前記少なくとも1つの表示装置及び前記少なくとも1つの指示装置と通信する制御装置とを配置することと、
前記制御装置が、前記少なくとも1つの表示装置を通して見える物体を、前記少なくとも1つの表示装置上ではなく、実空間上で指し示した前記少なくとも1つの指示装置からの情報に基づいて、前記物体を特定し、前記少なくとも1つの表示装置に対し、前記物体に関する付加情報の表示制御を行うことと
を含む
情報表示方法。 - 請求項16に記載の情報表示方法を、制御装置に該当する計算機に実行させるための情報表示用プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011193953A JP5762892B2 (ja) | 2011-09-06 | 2011-09-06 | 情報表示システム、情報表示方法、及び情報表示用プログラム |
US14/241,812 US9459706B2 (en) | 2011-09-06 | 2012-09-05 | Information display system, information display method, and recording medium |
PCT/JP2012/072653 WO2013035758A1 (ja) | 2011-09-06 | 2012-09-05 | 情報表示システム、情報表示方法、及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011193953A JP5762892B2 (ja) | 2011-09-06 | 2011-09-06 | 情報表示システム、情報表示方法、及び情報表示用プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013054661A true JP2013054661A (ja) | 2013-03-21 |
JP5762892B2 JP5762892B2 (ja) | 2015-08-12 |
Family
ID=47832201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011193953A Active JP5762892B2 (ja) | 2011-09-06 | 2011-09-06 | 情報表示システム、情報表示方法、及び情報表示用プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9459706B2 (ja) |
JP (1) | JP5762892B2 (ja) |
WO (1) | WO2013035758A1 (ja) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014203153A (ja) * | 2013-04-02 | 2014-10-27 | パイオニア株式会社 | 表示制御装置 |
JP2015060579A (ja) * | 2013-09-20 | 2015-03-30 | ヤフー株式会社 | 情報処理システム、情報処理方法および情報処理プログラム |
JP2015146113A (ja) * | 2014-02-03 | 2015-08-13 | ブラザー工業株式会社 | 表示プログラムおよび表示装置 |
KR101544957B1 (ko) | 2013-11-28 | 2015-08-19 | 한국과학기술연구원 | 레이저 인도 방식을 이용한 증강현실용 헤드 마운트 디스플레이 장치 및 헤드 마운트 디스플레이 방법 |
JP2015201168A (ja) * | 2014-04-04 | 2015-11-12 | バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド | スマートグラスに基づくプロンプティングのための方法及び装置 |
KR101571815B1 (ko) | 2013-11-29 | 2015-11-26 | 주식회사 이랜텍 | 카메라 영상 정합 기능을 갖는 시스루 스마트 안경 |
KR20150135847A (ko) * | 2014-05-26 | 2015-12-04 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
JP2016004340A (ja) * | 2014-06-16 | 2016-01-12 | セイコーエプソン株式会社 | 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
WO2016158000A1 (ja) * | 2015-03-30 | 2016-10-06 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理システム |
JP2016218597A (ja) * | 2015-05-18 | 2016-12-22 | 富士通株式会社 | ウェアラブルデバイス、表示制御プログラム、及び表示制御方法 |
JP2017091433A (ja) * | 2015-11-17 | 2017-05-25 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム |
WO2017221721A1 (ja) * | 2016-06-22 | 2017-12-28 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP2018005243A (ja) * | 2017-08-09 | 2018-01-11 | パイオニア株式会社 | 表示制御装置 |
JP2018018291A (ja) * | 2016-07-28 | 2018-02-01 | カシオ計算機株式会社 | 表示制御装置、表示制御方法及びプログラム |
JP2018036808A (ja) * | 2016-08-31 | 2018-03-08 | 株式会社沖データ | 情報処理装置及び情報処理システム |
JP2018508909A (ja) * | 2015-03-20 | 2018-03-29 | 華為技術有限公司Huawei Technologies Co.,Ltd. | インテリジェントなインタラクション方法、装置、および、システム |
JP2018189802A (ja) * | 2017-05-02 | 2018-11-29 | 京セラドキュメントソリューションズ株式会社 | 表示装置 |
WO2021131023A1 (ja) * | 2019-12-27 | 2021-07-01 | マクセル株式会社 | ヘッドマウント型情報出力装置 |
JP2022121592A (ja) * | 2017-04-19 | 2022-08-19 | マジック リープ, インコーポレイテッド | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 |
US12051167B2 (en) | 2023-04-11 | 2024-07-30 | Magic Leap, Inc. | Interactions with 3D virtual objects using poses and multiple-DOF controllers |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9495748B2 (en) * | 2013-03-15 | 2016-11-15 | Daqri, Llc | Segmentation of content delivery |
JPWO2014188798A1 (ja) * | 2013-05-21 | 2017-02-23 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
US10217284B2 (en) | 2013-09-30 | 2019-02-26 | Qualcomm Incorporated | Augmented virtuality |
US9256072B2 (en) * | 2013-10-02 | 2016-02-09 | Philip Scott Lyren | Wearable electronic glasses that detect movement of a real object copies movement of a virtual object |
FR3011952B1 (fr) * | 2013-10-14 | 2017-01-27 | Suricog | Procede d'interaction par le regard et dispositif associe |
JP6851133B2 (ja) * | 2014-01-03 | 2021-03-31 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | ユーザに方向付けられた個人情報アシスタント |
US10056054B2 (en) | 2014-07-03 | 2018-08-21 | Federico Fraccaroli | Method, system, and apparatus for optimising the augmentation of radio emissions |
US10321126B2 (en) * | 2014-07-08 | 2019-06-11 | Zspace, Inc. | User input device camera |
JP2016024208A (ja) * | 2014-07-16 | 2016-02-08 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、および、プログラム |
JP6524661B2 (ja) * | 2014-12-19 | 2019-06-05 | 富士通株式会社 | 入力支援方法、入力支援プログラムおよび入力支援装置 |
JP2016142887A (ja) * | 2015-02-02 | 2016-08-08 | セイコーエプソン株式会社 | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム |
KR101927323B1 (ko) | 2015-04-03 | 2018-12-10 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
US20180210569A1 (en) * | 2017-01-26 | 2018-07-26 | Seagate Technology Llc | Storage and control external to a computer system |
US10880716B2 (en) | 2017-02-04 | 2020-12-29 | Federico Fraccaroli | Method, system, and apparatus for providing content, functionalities, and services in connection with the reception of an electromagnetic signal |
US10477602B2 (en) | 2017-02-04 | 2019-11-12 | Federico Fraccaroli | Method, system, and apparatus for providing content, functionalities and services in connection with the reception of an electromagnetic signal |
US11054894B2 (en) | 2017-05-05 | 2021-07-06 | Microsoft Technology Licensing, Llc | Integrated mixed-input system |
US11023109B2 (en) | 2017-06-30 | 2021-06-01 | Microsoft Techniogy Licensing, LLC | Annotation using a multi-device mixed interactivity system |
US10895966B2 (en) | 2017-06-30 | 2021-01-19 | Microsoft Technology Licensing, Llc | Selection using a multi-device mixed interactivity system |
JP6815290B2 (ja) * | 2017-07-13 | 2021-01-20 | ヤンマーパワーテクノロジー株式会社 | 物体識別システム |
JP7192792B2 (ja) | 2017-12-22 | 2022-12-20 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6453501B1 (ja) * | 2018-02-01 | 2019-01-16 | 株式会社Cygames | 複合現実システム、プログラム、方法、及び携帯端末装置 |
CN113498503A (zh) * | 2019-01-17 | 2021-10-12 | 苹果公司 | 用于感测生理状况的具有面部界面的头戴式显示器 |
US10783714B2 (en) * | 2019-01-29 | 2020-09-22 | Verizon Patent And Licensing Inc. | Methods and systems for automatically tailoring a form of an extended reality overlay object |
JP2021026260A (ja) * | 2019-07-31 | 2021-02-22 | セイコーエプソン株式会社 | 表示装置、表示方法、および、コンピュータープログラム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11142782A (ja) * | 1997-11-11 | 1999-05-28 | Seiko Epson Corp | 頭部装着型表示装置 |
JP2000102036A (ja) * | 1998-09-22 | 2000-04-07 | Mr System Kenkyusho:Kk | 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法 |
WO2004095374A1 (ja) * | 2003-04-21 | 2004-11-04 | Nec Corporation | 映像オブジェクト認識装置および認識方法、映像アノテーション付与装置および付与方法ならびにプログラム |
JP2005049996A (ja) * | 2003-07-30 | 2005-02-24 | Canon Inc | 画像表示方法及び装置 |
JP2006018444A (ja) * | 2004-06-30 | 2006-01-19 | Taisei Corp | 画像処理システム及び付加情報指示装置 |
JP2007293413A (ja) * | 2006-04-21 | 2007-11-08 | Canon Inc | 情報処理方法および装置 |
JP2008040556A (ja) * | 2006-08-01 | 2008-02-21 | Canon Inc | 複合現実感提示装置及びその制御方法、プログラム |
JP2010231459A (ja) * | 2009-03-26 | 2010-10-14 | Kyocera Corp | 画像合成装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2718387B2 (ja) | 1994-12-29 | 1998-02-25 | 日本電気株式会社 | 動物体スイッチ装置 |
JP3898816B2 (ja) * | 1997-11-04 | 2007-03-28 | 株式会社島津製作所 | 位置検出機能付きヘッドマウントディスプレイ |
US20060195858A1 (en) | 2004-04-15 | 2006-08-31 | Yusuke Takahashi | Video object recognition device and recognition method, video annotation giving device and giving method, and program |
WO2005116939A1 (en) * | 2004-05-27 | 2005-12-08 | Canon Kabushiki Kaisha | Information processing method, information processing apparatus, and image sensing apparatus |
JP4679661B1 (ja) * | 2009-12-15 | 2011-04-27 | 株式会社東芝 | 情報提示装置、情報提示方法及びプログラム |
US9213405B2 (en) * | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
US8872766B2 (en) * | 2011-05-10 | 2014-10-28 | Raytheon Company | System and method for operating a helmet mounted display |
-
2011
- 2011-09-06 JP JP2011193953A patent/JP5762892B2/ja active Active
-
2012
- 2012-09-05 WO PCT/JP2012/072653 patent/WO2013035758A1/ja active Application Filing
- 2012-09-05 US US14/241,812 patent/US9459706B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11142782A (ja) * | 1997-11-11 | 1999-05-28 | Seiko Epson Corp | 頭部装着型表示装置 |
JP2000102036A (ja) * | 1998-09-22 | 2000-04-07 | Mr System Kenkyusho:Kk | 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法 |
WO2004095374A1 (ja) * | 2003-04-21 | 2004-11-04 | Nec Corporation | 映像オブジェクト認識装置および認識方法、映像アノテーション付与装置および付与方法ならびにプログラム |
JP2005049996A (ja) * | 2003-07-30 | 2005-02-24 | Canon Inc | 画像表示方法及び装置 |
JP2006018444A (ja) * | 2004-06-30 | 2006-01-19 | Taisei Corp | 画像処理システム及び付加情報指示装置 |
JP2007293413A (ja) * | 2006-04-21 | 2007-11-08 | Canon Inc | 情報処理方法および装置 |
JP2008040556A (ja) * | 2006-08-01 | 2008-02-21 | Canon Inc | 複合現実感提示装置及びその制御方法、プログラム |
JP2010231459A (ja) * | 2009-03-26 | 2010-10-14 | Kyocera Corp | 画像合成装置 |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014203153A (ja) * | 2013-04-02 | 2014-10-27 | パイオニア株式会社 | 表示制御装置 |
JP2015060579A (ja) * | 2013-09-20 | 2015-03-30 | ヤフー株式会社 | 情報処理システム、情報処理方法および情報処理プログラム |
KR101544957B1 (ko) | 2013-11-28 | 2015-08-19 | 한국과학기술연구원 | 레이저 인도 방식을 이용한 증강현실용 헤드 마운트 디스플레이 장치 및 헤드 마운트 디스플레이 방법 |
KR101571815B1 (ko) | 2013-11-29 | 2015-11-26 | 주식회사 이랜텍 | 카메라 영상 정합 기능을 갖는 시스루 스마트 안경 |
JP2015146113A (ja) * | 2014-02-03 | 2015-08-13 | ブラザー工業株式会社 | 表示プログラムおよび表示装置 |
JP2015201168A (ja) * | 2014-04-04 | 2015-11-12 | バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド | スマートグラスに基づくプロンプティングのための方法及び装置 |
US9817235B2 (en) | 2014-04-04 | 2017-11-14 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for prompting based on smart glasses |
KR20150135847A (ko) * | 2014-05-26 | 2015-12-04 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
KR102212030B1 (ko) * | 2014-05-26 | 2021-02-04 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
JP2016004340A (ja) * | 2014-06-16 | 2016-01-12 | セイコーエプソン株式会社 | 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
US10073262B2 (en) | 2014-06-16 | 2018-09-11 | Seiko Epson Corporation | Information distribution system, head mounted display, method for controlling head mounted display, and computer program |
JP2018508909A (ja) * | 2015-03-20 | 2018-03-29 | 華為技術有限公司Huawei Technologies Co.,Ltd. | インテリジェントなインタラクション方法、装置、および、システム |
US10854168B2 (en) | 2015-03-30 | 2020-12-01 | Sony Corporation | Information processing apparatus, information processing method, and information processing system |
WO2016158000A1 (ja) * | 2015-03-30 | 2016-10-06 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理システム |
JP2016218597A (ja) * | 2015-05-18 | 2016-12-22 | 富士通株式会社 | ウェアラブルデバイス、表示制御プログラム、及び表示制御方法 |
JP2017091433A (ja) * | 2015-11-17 | 2017-05-25 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム |
US20190138261A1 (en) * | 2016-06-22 | 2019-05-09 | Sony Corporation | Information processing device, information processing method, and program |
US10922043B2 (en) | 2016-06-22 | 2021-02-16 | Sony Corporation | Information processing device and information processing method for acquiring information associated with a target |
WO2017221721A1 (ja) * | 2016-06-22 | 2017-12-28 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JPWO2017221721A1 (ja) * | 2016-06-22 | 2019-04-18 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP2018018291A (ja) * | 2016-07-28 | 2018-02-01 | カシオ計算機株式会社 | 表示制御装置、表示制御方法及びプログラム |
JP2018036808A (ja) * | 2016-08-31 | 2018-03-08 | 株式会社沖データ | 情報処理装置及び情報処理システム |
JP2022121592A (ja) * | 2017-04-19 | 2022-08-19 | マジック リープ, インコーポレイテッド | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 |
JP7336005B2 (ja) | 2017-04-19 | 2023-08-30 | マジック リープ, インコーポレイテッド | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 |
US11960636B2 (en) | 2017-04-19 | 2024-04-16 | Magic Leap, Inc. | Multimodal task execution and text editing for a wearable system |
JP2018189802A (ja) * | 2017-05-02 | 2018-11-29 | 京セラドキュメントソリューションズ株式会社 | 表示装置 |
JP2018005243A (ja) * | 2017-08-09 | 2018-01-11 | パイオニア株式会社 | 表示制御装置 |
WO2021131023A1 (ja) * | 2019-12-27 | 2021-07-01 | マクセル株式会社 | ヘッドマウント型情報出力装置 |
JPWO2021131023A1 (ja) * | 2019-12-27 | 2021-07-01 | ||
JP7376616B2 (ja) | 2019-12-27 | 2023-11-08 | マクセル株式会社 | ヘッドマウント型情報出力装置 |
US12051167B2 (en) | 2023-04-11 | 2024-07-30 | Magic Leap, Inc. | Interactions with 3D virtual objects using poses and multiple-DOF controllers |
Also Published As
Publication number | Publication date |
---|---|
WO2013035758A1 (ja) | 2013-03-14 |
US9459706B2 (en) | 2016-10-04 |
US20140292653A1 (en) | 2014-10-02 |
JP5762892B2 (ja) | 2015-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5762892B2 (ja) | 情報表示システム、情報表示方法、及び情報表示用プログラム | |
JP7283506B2 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
JP6598617B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US9778464B2 (en) | Shape recognition device, shape recognition program, and shape recognition method | |
CN105659295B (zh) | 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备 | |
US11277597B1 (en) | Marker-based guided AR experience | |
CN116348836A (zh) | 增强现实中用于交互式游戏控制的手势跟踪 | |
CN115917498A (zh) | 使用语音和文字字幕的增强现实体验 | |
EP2919093A1 (en) | Method, system, and computer for identifying object in augmented reality | |
US11302077B2 (en) | Augmented reality guidance that generates guidance markers | |
CN106020436A (zh) | 图像分析装置及图像分析方法 | |
JP2017505933A (ja) | 実在の物体上に固定された仮想画像を生成する方法及びシステム | |
JP2007064684A (ja) | マーカ配置補助方法及び装置 | |
EP4172708A1 (en) | Visual-inertial tracking using rolling shutter cameras | |
JP2016122392A (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
JP2004265222A (ja) | インタフェース方法、装置、およびプログラム | |
CN115735150A (zh) | 增强现实眼戴器与3d服装 | |
EP4165490A2 (en) | Augmented reality environment enhancement | |
US20230367118A1 (en) | Augmented reality gaming using virtual eyewear beams | |
CN107884930B (zh) | 头戴式装置及控制方法 | |
WO2022176450A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2019066196A (ja) | 傾き測定装置及び傾き測定方法 | |
JP2018037766A (ja) | 映像編集装置、映像編集方法及び映像編集用コンピュータプログラム | |
CN117372475A (zh) | 眼球追踪方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130911 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20140430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140902 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5762892 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |