JP2011159273A - ホログラムを利用したユーザインターフェース装置 - Google Patents

ホログラムを利用したユーザインターフェース装置 Download PDF

Info

Publication number
JP2011159273A
JP2011159273A JP2010173774A JP2010173774A JP2011159273A JP 2011159273 A JP2011159273 A JP 2011159273A JP 2010173774 A JP2010173774 A JP 2010173774A JP 2010173774 A JP2010173774 A JP 2010173774A JP 2011159273 A JP2011159273 A JP 2011159273A
Authority
JP
Japan
Prior art keywords
real object
virtual object
hologram
real
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010173774A
Other languages
English (en)
Inventor
Han Gweon Lee
瀚 權 李
Ki Jung Kim
起 正 金
Eung Bong Kim
應 奉 金
Soo Been Ahn
秀 彬 安
Gi Seop Won
奇 ▲変▼ 元
Hyun Keun Lim
▲玄▼ 瑾 林
Hyung Yeon Lim
亨 衍 林
燦 成 ▲鄭▼
Chan Sung Jung
Eui Seok Han
義 錫 韓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pantech Co Ltd
Original Assignee
Pantech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pantech Co Ltd filed Critical Pantech Co Ltd
Publication of JP2011159273A publication Critical patent/JP2011159273A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/29—Holographic features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G03H2001/2252—Location of the holobject
    • G03H2001/226—Virtual or real
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/62—Moving object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00—Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/02—Handheld portable device, e.g. holographic camera, mobile holographic display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】仮想オブジェクトを空間上に表示し、表示された仮想オブジェクトからユーザからの多様な入力を認識するユーザインターフェース装置を提供する。
【解決手段】ユーザインターフェース装置は、仮想オブジェクトの形状、機能、位置及び動作パターンに関する情報を格納するメモリ部と、空間上の任意の領域にホログラム表示領域を投影して仮想オブジェクトを表示するホログラム出力部と、ホログラム表示領域に存在するリアルオブジェクトを感知してその位置及び動作パターンに関する情報を生成するリアルオブジェクト感知部と、リアルオブジェクトの位置及び動作パターンに関する情報と格納された情報を利用して、ホログラム表示領域内での仮想オブジェクトとリアルオブジェクト間の接触発生の有無を認識する接触認識部と、そのオブジェクト間の接触発生が認識されると仮想オブジェクトの選択のための入力であるか否かを判断する制御部と、を含む。
【選択図】図１

Description

本発明は、ホログラムを利用したユーザインターフェース装置に係り、特に、ユーザ入力のための仮想オブジェクトを空間上にホログラムで表示し、表示された仮想オブジェクトによりユーザからの多様な入力を認識できるようにするホログラムを利用したユーザインターフェース装置に関する。
今日の携帯電話、ラップトップ（Ｌａｐ−ｔｏｐ）やデスクトップ（Ｄｅｓｋ−ｔｏｐ）などのような端末には、外部からの接触による入力を認識するタッチタイプのユーザインターフェース装置が搭載されている。この種の端末では、搭載されたタッチタイプのユーザインターフェース装置を介してユーザの接触入力を認識することにより多様な機能が実行される。
一般に、タッチタイプのユーザインターフェース装置は、画面を通じて２次元のタッチタイプのユーザインターフェースを提供するタッチパッドまたはタッチスクリーンなどが含まれる。このとき、画面には、ユーザ入力のためのアイコンなどの多様な仮想オブジェクトが表示される。
この種のタッチタイプのユーザインターフェース装置では、画面上においてユーザの接触が発生すると、接触が発生した画面位置に表示されている仮想オブジェクトがユーザによって選択されたことを認識し、且つユーザにより入力されて選択された仮想オブジェクトに対応する特定の機能を実行するための命令を認識する。したがって、ユーザインターフェース装置は、画面に表示された仮想オブジェクトのうちユーザの接触によって選択された仮想オブジェクトに対応する特定の機能を端末に実行させる。
一方、近年、上述したような２次元のタッチタイプのユーザインターフェースを拡張するものとして、ホログラムを利用して３次元のタッチタイプのユーザインターフェースを提供するユーザインターフェース装置が開発されている。
この種のホログラムを利用したユーザインターフェース装置では、空間上の任意の領域にホログラム表示領域を表示し、該ホログラム表示領域にユーザ入力のための多様な仮想オブジェクトを表示する。ユーザインターフェース装置は、表示された仮想オブジェクトのうちユーザにより選択された仮想オブジェクトを認識し、且つユーザにより入力されて選択された仮想オブジェクトに対応する特定の機能を実行するための命令を認識する。したがって、ユーザインターフェース装置は、ユーザの接触によって選択された仮想オブジェクトに対応する特定の機能を端末に実行させる。
しかし、この種の従来のホログラムを利用したユーザインターフェース装置では、表示された仮想オブジェクトが選択されると、そのユーザにより選択された仮想オブジェクトを認識し、そのユーザにより入力されて選択された仮想オブジェクトに対応する特定の機能を実行するための命令を認識する。このため、ユーザの身体の一部分などのようなリアルオブジェクトが単純に空間上に表示されたホログラム表示領域を、例えば、特定の仮想オブジェクトに接触しながら通り過ぎた場合、特定の仮想オブジェクトがユーザによって選択されたことと認識し、且つユーザにより入力されて選択された特定の仮想オブジェクトに対応する機能を実行するための命令を認識することで、ユーザの意図とは関係のない入力を認識し、これにより、端末機の誤動作を誘発するようになるという問題点がある。
本発明は、上述したような問題点を解決するためになされたものであって、その目的は、ユーザ入力のための仮想オブジェクトを空間上に表示し、表示された仮想オブジェクトによりユーザからの多様な入力を認識できるようにするホログラムを利用したユーザインターフェース装置を提供することである。
本発明の他の目的は、ユーザの入力に対し、それを認識したか否かを視覚または触覚的効果によってユーザにフィードバックすることができるユーザインターフェース装置を提供することである。
上述したような目的を達成するための本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置は、仮想オブジェクトの形状、機能、位置及び動作パターンに関する情報を格納するメモリ部と、空間上の任意の領域にホログラム表示領域を投影し、投影されたホログラム表示領域内に仮想オブジェクトを表示するホログラム出力部と、上記ホログラム表示領域に存在するリアルオブジェクトを感知してリアルオブジェクトの位置及び動作パターンに関する情報を生成するリアルオブジェクト感知部と、前記リアルオブジェクト感知部にて生成されたリアルオブジェクトの位置及び動作パターンに関する情報と前記メモリ部に格納された情報を利用して、前記ホログラム表示領域内におけるリアルオブジェクトと仮想オブジェクトのそれぞれの位置及び動作パターンを確認することで、前記ホログラム表示領域内での仮想オブジェクトとリアルオブジェクト間の接触発生の有無を認識する接触認識部と、前記接触認識部で仮想オブジェクトとリアルオブジェクト間の接触発生を認識すると、仮想オブジェクトとリアルオブジェクト間に発生した接触が仮想オブジェクトの選択のための入力であるか否かを判断し、その判断の結果、仮想オブジェクトの選択のための入力である判断すると、前記メモリ部に格納された情報を検索することによってリアルオブジェクトと接触した仮想オブジェクトの機能を把握し、その把握した機能の実行命令が入力されたことを認識する制御部と、を含む。
一方、本発明の他の実施形態に係るホログラムを利用したユーザインターフェース装置は、仮想オブジェクトの形状、機能、位置及び動作パターンに関する情報を格納するメモリ部と、空間上の任意の領域にホログラム表示領域を投影し、投影されたホログラム表示領域内に仮想オブジェクトを表示するホログラム出力部と、機能情報を含む無線信号を送出するリアルオブジェクトから無線信号を受信し、該受信した無線信号に含まれているリアルオブジェクトの機能情報を抽出し、受信された無線信号を利用してホログラム表示領域内におけるリアルオブジェクトの位置及び動作パターンに関する情報を生成するリアルオブジェクト感知部と、リアルオブジェクトからの無線信号を前記リアルオブジェクト感知部に転送する通信部と、前記リアルオブジェクト感知部にて生成されたリアルオブジェクトの位置及び動作パターンに関する情報と前記メモリ部に格納された情報を利用して、前記ホログラム表示領域内におけるリアルオブジェクトと仮想オブジェクトのそれぞれの位置及び動作パターンを確認することで、前記ホログラム表示領域内での仮想オブジェクトとリアルオブジェクト間の接触発生の有無を認識する接触認識部と、前記接触認識部で仮想オブジェクトとリアルオブジェクト間に接触が発生したことを認識すると、前記リアルオブジェクト感知部にて抽出されたリアルオブジェクトの機能情報を利用して仮想オブジェクトと接触が発生したリアルオブジェクトの機能を確認し、その確認されたリアルオブジェクトの機能によって、仮想オブジェクトとリアルオブジェクト間に発生した接触によるユーザの入力を認識する制御部と、を含む。
本発明に係るホログラムを利用したユーザインターフェース装置によれば、ユーザ入力のための仮想オブジェクトを空間上にホログラムとして表示し、表示された仮想オブジェクトによりユーザの入力をより正確に認識することでユーザ入力による端末機の誤動作を防止することができ、製品の品質を向上させることができる。
また、本発明に係るホログラムを利用したユーザインターフェース装置によれば、ユーザの入力に対し、それを認識したか否かを視覚または触覚的効果によってユーザにフィードバックすることでユーザが自身の入力に対する確信を持つことができ、信頼度を向上させることができる。
本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置の構成を概略的に示すブロック図である。 本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を示すフローチャートである。 本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を説明するための図である。 本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を説明するための図である。 本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を説明するための図である。 本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を説明するための図である。 本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を説明するための図である。 本発明の他の実施形態に係るホログラムを利用したユーザインターフェース装置の構成を概略的に示すブロック図である。 本発明の他の実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を示すフローチャートである。 本発明の他の実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を説明するための図である。
以下、添付の図面を参照して本発明の好適な実施形態に係るホログラムを利用したユーザインターフェース装置及びそのユーザインターフェース装置における入力認識方法について詳細に説明する。
本発明の一実施形態に係るホログラムを利用したタッチタイプユーザインターフェース装置１００は、図１に示すように、メモリ部１１０と、ホログラム出力部１２０と、実物オブジェクト感知部１３０と、触覚提供部１４０と、接触認識部１５０と、制御部１６０と、を含んでなる。
メモリ部１１０は、仮想オブジェクト別の形状、機能、初期位置及び初期動作パターンに関する情報を格納している。上記初期位置に関する情報は３次元位置座標などを含み、初期動作パターンに関する情報は３次元位置座標及びベクトル値（例えば、移動距離、方向及び速度）などを含む。
ホログラム出力部１２０は、制御部１６０の制御によって空間上の任意の領域にホログラム表示領域を投影し、投影されたホログラム表示領域内に仮想オブジェクトを表示する。
リアルオブジェクト感知部１３０は、ホログラム表示領域に存在するリアルオブジェクト１０を感知して、リアルオブジェクト１０の位置及び動作パターンに関する情報を生成する（図３参照）。このとき、リアルオブジェクト感知部１３０は、ホログラム表示領域に存在するリアルオブジェクト１０の３次元位置座標を獲得し、該獲得した３次元位置座標を利用してリアルオブジェクト１０の位置に関する情報を生成し、リアルオブジェクト１０の位置変化によるリアルオブジェクト１０の３次元位置座標変化を利用してリアルオブジェクト１０の位置変化によるベクトル値を算出し、該算出したベクトル値を利用してリアルオブジェクト１０の動作パターンに関する情報を生成する。上記リアルオブジェクト１０は、ユーザの指または無線信号送出機能を搭載した小型機器などが含まれる。上記小型機器は、ユーザの指先に着用可能な形態で形成されていてよい。
上記リアルオブジェクト感知部１３０は、静電容量タッチスクリーン（Ｃａｐａｃｉｔｉｖｅ Ｔｏｕｃｈ Ｓｃｒｅｅｎ）方式、ＩＲタッチスクリーン方式、ＥＭＲデジタイザー（ＥＭＲ Ｄｉｇｉｔｉｚｅｒ）方式または／及び映像認識方式などを含む方式のうちのいずれかを利用してホログラム表示領域に存在するリアルオブジェクト１０の３次元位置座標を獲得することができる。
また、リアルオブジェクト感知部１３０は、リアルオブジェクト１０から送出される無線信号を受信し、該受信した無線信号の受信強度を利用してリアルオブジェクト１０との距離を把握し、把握されたリアルオブジェクト１０との距離及び無線信号の受信方向を利用してホログラム表示領域内に無線信号を送出したリアルオブジェクト１０の３次元位置座標を獲得してもよい。このとき、リアルオブジェクト感知部１３０は、リアルオブジェクト１０との間で無線通信を行う通信手段を備えることが好ましい。
触覚提供部１４０は、制御部１６０の制御によって音響を放射してホログラム表示領域に音響放射圧（Ａｃｏｕｓｔｉｃ Ｒａｄｉａｔｉｏｎ Ｐｒｅｓｓｕｒｅ）を提供する。その結果、ホログラム表示領域に存在するリアルオブジェクト１０は、触覚提供部１４０から提供される音響放射圧の影響を受けるようになる。
一方、接触認識部１５０は、リアルオブジェクト感知部１３０にて生成されたリアルオブジェクト１０の位置及び動作パターンに関する情報とメモリ部１１０に格納された情報を利用して、ホログラム出力部１２０にて投影されたホログラム表示領域内においてリアルオブジェクト１０と仮想オブジェクトのそれぞれの位置及び動作パターンをリアルタイムに確認することで、ホログラム表示領域内での仮想オブジェクトとリアルオブジェクト１０間の接触発生の有無を判断する。接触認識部１５０は、ホログラム表示領域内において仮想オブジェクトとリアルオブジェクト１０間に接触が発生したことを認識すると、リアルオブジェクト１０が接触した仮想オブジェクトの接触部位を検出する。このとき、接触認識部１５０は、ホログラム表示領域内でのリアルオブジェクト１０と仮想オブジェクトのそれぞれの位置及び動作パターンをリアルタイムで確認して、仮想オブジェクトの形状を構成する３次元位置座標と実物オブジェクト１０の形状を構成する３次元位置座標のうち、ホログラム表示領域内において互いに重なる部分が発生すると、仮想オブジェクトとリアルオブジェクト１０間に接触が発生したことを認識する。また、接触認識部１５０は、仮想オブジェクトの形状を構成する３次元位置座標とリアルオブジェクト１０の形状を構成する３次元位置座標のうち、ホログラム表示領域内において互いに重なる部分に該当する３次元位置座標を、リアルオブジェクト１０が接触した仮想オブジェクト１０の接触部位の３次元位置座標として認識してもよい。
一方、制御部１６０は、ホログラム出力部１２０を制御して空間上にホログラム表示領域を投影させ、投影されたホログラム表示領域内に仮想オブジェクトを表示させる。上記制御部１６０は、メモリ部１１０に格納された情報を利用して多様な機能を提供する仮想オブジェクトをそれぞれ初期位置に表示させるか、初期動作パターンに従って動作させるように表示させるように制御する。
また、制御部１６０は、接触認識部１５０にてホログラム表示領域内において仮想オブジェクトとリアルオブジェクト１０間に接触が発生したことを認識すると、仮想オブジェクトとリアルオブジェクト１０間に発生した接触が仮想オブジェクトの選択のための入力であるか否かを判断する。その結果、制御部１６０は、仮想オブジェクトを選択するための入力であると判断すると、上記メモリ１１０部に格納された情報を検索してリアルオブジェクトと接触した仮想オブジェクトの機能を検出し、該検出した機能の実行命令が入力されたことを認識する。
また、制御部１６０は、接触認識部１５０にてホログラム表示領域内において仮想オブジェクトとリアルオブジェクト１０間に接触が発生したことを認識すると、仮想オブジェクトとリアルオブジェクト１０間に発生した接触が仮想オブジェクトの選択であると判断する。その結果、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０間に発生した接触が仮想オブジェクトを選択するための入力と判断するか、または選択を取り消すための入力であると判断すると、制御部１６０は、ホログラム出力部１２０を制御してリアルオブジェクト１０と接触した仮想オブジェクトの色または形状を変化させる。その結果、ユーザは、仮想オブジェクトが選択されたか否かを視覚的に確認することができる。また、上記制御部１６０は、触覚提供部１４０を制御してホログラム表示領域へ音響放射圧を提供する。その結果、ユーザは、リアルオブジェクト１０がユーザの身体の一部位に該当する場合、仮想オブジェクトが選択されたか否かを触覚的に確認することができる。
また、制御部１６０は、リアルオブジェクト１０が仮想オブジェクトに基準時間以上接触した場合、または仮想オブジェクトの形状部位のうちの指定された部位に存在する複数のマーカーにリアルオブジェクト１０が同時接触した場合、仮想オブジェクトとリアルオブジェクト１０間に発生した接触を、仮想オブジェクトを選択するための入力と判断してもよい。上記基準時間は、予め設定されていてもよいし、選択可能としてもよい。
また、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０間に発生した接触を、仮想オブジェクトを選択するための入力であると判断すると、リアルオブジェクト感知部１３０にて生成されるリアルオブジェクト１０の動作パターンに関する情報を利用してホログラム表示領域内におけるリアルオブジェクト１０の動きをリアルタイムで追跡する。制御部１６０は、仮想オブジェクトに接触しているリアルオブジェクト１０がリアルオブジェクト感知部１３０の感知範囲であるホログラム表示領域外であるか否かを確認する。その確認の結果、上記感知範囲外であるか、またはリアルオブジェクト１０が同時に接触していた複数のマーカーのうちの一つからリアルオブジェクト１０の接触が解除されていれば、制御部１６０は、仮想オブジェクトの選択のための入力が取り消されたことを判断し、ホログラム出力部１２０を制御してリアルオブジェクト１０と接触した仮想オブジェクトの色または形状を変化させる。また、制御部１６０は、触覚提供部１４０を制御してホログラム表示領域へ音響放射圧を提供する。
また、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０間に発生した接触を、仮想オブジェクトを選択するための入力であると判断すると、リアルオブジェクト感知部１３０にて生成されるリアルオブジェクト１０の動作パターンに関する情報を利用して、ホログラム表示領域内におけるリアルオブジェクト１０の動きをリアルタイムで追跡する。また、制御部１６０は、リアルオブジェクト１０に接触している仮想オブジェクトがリアルオブジェクト１０の動きに対応して動くようにホログラム出力部１２０を制御する。また、制御部１６０は、仮想オブジェクトの動きによって、ユーザから特定の機能の実行命令が入力されたことと認識するか、またはユーザから特定の機能の実行を取り消す命令が入力されたことを認識する。
すなわち、制御部１６０は、ホログラム出力部１２０を制御して仮想オブジェクトに接触しているリアルオブジェクト１０の回転動作に応じて仮想オブジェクトを回転させるか、または仮想オブジェクトに接触しているリアルオブジェクト１０の移動動作に応じてリアルオブジェクト１０の移動位置に仮想オブジェクトをドラッグする。また、制御部１６０は、仮想オブジェクトの回転やドラッグ位置に応じて、ユーザから特定の機能の実行命令が入力されたことと認識するか、またはユーザから特定の機能の実行を取り消す命令が入力されたことと認識する。例えば、制御部１６０は、仮想オブジェクトが任意の方向に任意の角度に回転する場合、またはホログラム表示領域内において実行機能または実行取り消し機能を提供するアイコンなどのような任意の仮想オブジェクトが表示されている位置に仮想オブジェクトがドラッグされる場合、または実行する仮想オブジェクトや実行を取り消す仮想オブジェクトが表示されている位置に実行機能または実行取り消し機能を提供するアイコンなどのような任意の仮想オブジェクトがドラッグされる場合、ユーザから特定の機能の実行命令が入力されたことを認識するか、またはユーザから特定の機能の実行を取り消す命令が入力されたことを認識する。
さらに、制御部１６０は、リアルオブジェクト感知部１３０にて生成されたリアルオブジェクト１０の動作パターンに関する情報を利用して、リアルオブジェクト１０の動作パターンが特定の動作パターンと一致すると、ユーザから特定の機能の実行命令が入力されたことを認識するか、またはユーザから特定の機能の実行を取り消す命令が入力されたことを認識してもよい。
また、制御部１６０は、ユーザから特定の機能の実行命令が入力されたことを認識するか、またはユーザから特定の機能の実行を取り消す命令が入力されたことを認識すると、ホログラム出力部１２０を制御してホログラム表示領域またはホログラム表示領域に表示されている仮想オブジェクトの色または形状を変化させる。また、制御部１６０は、触覚提供部１４０を制御してホログラム表示領域に音響放射圧を提供してもよい。
図２を参照して本発明の一実施形態に係るホログラムを利用したユーザインターフェース装置における入力認識方法を説明する。
先ず、ホログラムを利用したユーザインターフェース装置１００は、空間上にホログラム表示領域を投影させ、投影されたホログラム表示領域内に仮想オブジェクトを表示させる（ステップＳ２００）。
上記ステップＳ２００において表示された仮想オブジェクトの一つとリアルオブジェクト１０間に接触が発生すると（ステップＳ２１０）、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０間に発生した接触が仮想オブジェクトの選択のための入力であるか否かを判断する（ステップＳ２２０）。
上記ステップＳ２２０において仮想オブジェクトの選択のための入力であると判断すると、制御部１６０は、ホログラム出力部１２０を制御してリアルオブジェクト１０と接触した仮想オブジェクトの色または形状を変化させ、また、触覚提供部１４０を制御してホログラム表示領域に音響放射圧を提供する。
上記ステップＳ２２０では、リアルオブジェクト１０が仮想オブジェクトに予め設定された基準時間以上接触している場合または仮想オブジェクトの指定された部位に存在する複数のマーカーにリアルオブジェクト１０が同時接触した場合、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０間に発生した接触が仮想オブジェクトの選択のための入力であると判断する。例えば、図３に示すように、仮想オブジェクトとして、例えば、実行機能を有するアイコンに予め設定された基準時間以上リアルオブジェクト１０であるユーザの指先が接触した場合、または図４に示すように、仮想オブジェクトとして、例えば、複数の文字に予め設定された基準時間以上リアルオブジェクト１０であるユーザの指先がそれぞれ接触した場合、または図５及び図６に示すように、仮想オブジェクトとして、例えば、アイコンの指定された部位に存在する二つのマーカーにリアルオブジェクト１０であるユーザの指先が同時に接触した場合に、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０間に発生した接触を仮想オブジェクトの選択のための入力であると判断する。
上記ステップＳ２２０において仮想オブジェクトの選択のための入力であると判断すると、制御部１６０は、ホログラム表示領域内においてリアルオブジェクト１０の動きをリアルタイムに追跡して、リアルオブジェクト１０に接触している仮想オブジェクトがリアルオブジェクト１０の動きに対応して動くように制御する（ステップＳ２３０）。制御部１６０は、上記仮想オブジェクトの動きによってユーザから特定の機能の実行命令が入力されたことと認識するか、またはユーザから特定の機能の実行を取り消す命令が入力されたことと認識する（ステップＳ２４０）。
上記ステップＳ２４０では、例えば、図６に示すように、上記ステップＳ２３０において仮想オブジェクトであるアイコンが任意の方向に任意の角度にて回転する場合、または図５に示すように、ホログラム表示領域内に実行機能または実行を取り消す機能を提供するアイコンなどのような任意の仮想オブジェクトが表示されている位置へ仮想オブジェクトがドラッグされる場合、図３に示すように、実行する仮想オブジェクトや実行を取り消す仮想オブジェクトが表示されている位置へ実行機能または実行を取り消す機能を提供するアイコンなどのような任意の仮想オブジェクトがドラッグされる場合、または図７に示すように、リアルオブジェクト１０の動作パターンが任意の動作パターン、すなわち３次元座標軸のうちのいずれかと一致する場合に、制御部１６０は、ユーザからディスプレイオフ（ｄｉｓｐｌａｙ―ｏｆｆ）などのような任意の機能を実行する命令が入力されたことと認識するか、ユーザから特定の機能の実行を取り消す命令が入力されたことと認識する。
上記ステップＳ２４０において特定の機能を実行する命令が入力されたことと認識するか、ユーザから特定の機能の実行を取り消す命令が入力されたことと認識すると、制御部１６０は、ホログラム出力部１２０を制御してホログラム表示領域またはホログラム表示領域に表示されている仮想オブジェクトの色または形状を変化させ、また、触覚提供部１４０を制御してホログラム表示領域に音響放射圧を提供する。←ここまで
上記ステップＳ２２０において仮想オブジェクトの選択のための入力であると判断すると、制御部１６０は、ホログラム表示領域内におけるリアルオブジェクト１０の動きをリアルタイムで追跡して、仮想オブジェクトに接触しているリアルオブジェクト１０の動きを追跡するための領域がホログラム表示領域内かホログラム表示領域外かを確認する。上記確認の結果、リアルオブジェクト１０がホログラム表示領域外にある場合、またはリアルオブジェクト１０に接触した複数のマーカーの一つから接触が解除される場合、制御部１６０は、仮想オブジェクトの選択のための入力が取り消されたと判断し、ホログラム出力部１２０を制御してリアルオブジェクト１０と接触した仮想オブジェクトの色又は形状を変化させる。また、制御部１６０は、触覚提供部１４０を制御してホログラム表示領域に音響放射圧を提供してもよい。
本発明の一実施の形態に係るホログラムを利用したタッチタイプのユーザインターフェース装置１００における入力の認識方法を図３に示す。図３に示すように、ユーザは、リアルオブジェクト１０の機能の実行に関連付けられた仮想オブジェクト１２を選択する場合、例えば、指で機能を実行することを表す他の仮想オブジェクト１４に仮想オブジェクトをドラッグすればよい。このような場合、制御部１６０は、仮想オブジェクト１４に関連した機能を実行する。
本発明の一実施の形態に係るホログラムを利用したタッチタイプのユーザインターフェース装置１００における入力の認識方法を図４に示す。図４に示すように、ユーザは、複数のリアルオブジェクト１０に関連する複数のリアルオブジェクトＣ、ｃ、及びＡを選択する場合、例えば、ユーザの指に装着された小さなデバイスで選択することに応じて、制御部１６０は、その機能を実行する。
本発明の一実施の形態に係るホログラムを利用したタッチタイプのユーザインターフェース装置１００における入力の認識方法を図５に示す。図５に示すように、ユーザは、複数のリアルオブジェクト１０に関連する仮想オブジェクト１６の複数のマーカーに接触する場合、例えば、指で仮想オブジェクト１６を選択してもよいし、他の仮想オブジェクト（例えば、実行機能を表す仮想オブジェクト１８）に仮想オブジェクト１６をドラッグしてもよい。このような場合、制御部１６０は、仮想オブジェクト１６に関連した機能を実行する。
本発明の一実施の形態に係るホログラムを利用したタッチタイプのユーザインターフェース装置１００における入力の認識方法を図６に示す。図６に示すように、ユーザは、複数のリアルオブジェクト１０に関連する仮想オブジェクト２０の複数のマーカーに接触する場合、例えば、指で仮想オブジェクト２０を回転させる操作を繰り返し行って選択してもよい。
本発明の一実施の形態に係るホログラムを利用したタッチタイプのユーザインターフェース装置１００における入力の認識方法を図７に示す。図７に示すように、ユーザは、一つ又は複数のリアルオブジェクト１０に関連する、表示又は投影された仮想オブジェクト２２を通過する操作を、例えば、指で行うことに応じて、制御部１６０は、その機能を実行する。例えば、図７に示すように、制御部１６０は、仮想オブジェクト２２を通過する操作に応じて、ディスプレイオフ（ｄｉｓｐｌａｙ―ｏｆｆ）機能を実行する。
図８は、本発明の他の実施形態に係るホログラムを利用したタッチタイプの入力インターフェース装置２００の構成を示すブロック図である。本発明の一実施の形態に係るホログラムを利用したタッチタイプのユーザインターフェース装置２００における入力の認識方法を図１０に示す。図８に示すように、タッチタイプのユーザインターフェース装置２００は、メモリ部１１０と、ホログラム出力部１２０と、リアルオブジェクト感知部１３０と、触覚提供部１４０と、接触認識部１５０と、制御部１６０と、通信部１７０と、を含む。
メモリ部１１０は、各仮想オブジェクトの形状、機能、初期位置、及び初期動作パターンに関する情報を格納している。上記初期位置に対する情報は３次元位置座標などを含み、初期動作パターンに関する情報は、３次元位置座標及びベクトル値（動作距離、方向及び速度）などを含む。
ホログラム出力部１２０は、制御部１６０の制御によって空間上の任意の領域にホログラム表示領域を投影し、投影されたホログラム表示領域内に仮想オブジェクトを表示する。
リアルオブジェクト感知部１３０は、ホログラム表示領域に存在するリアルオブジェクト１０ａ及び／又は１０ｂから無線信号を受信すると、該受信した無線信号に含まれているリアルオブジェクト１０ａ及び／又は１０ｂの機能情報を抽出し、該受信した無線信号を利用してホログラム表示領域内におけるリアルオブジェクト１０ａ及び／又は１０ｂの位置及び動作パターンに関する情報を生成して制御部１６０に転送する。
上記リアルオブジェクト１０ａ及び１０ｂは異なる機能を含んでも良い。例えば、リアルオブジェクト１０ａは、選択入力機能、実行命令入力機能などを含み、リアルオブジェクト１０ｂは、選択取り消し入力機能、実行取り消し命令入力機能などを含んでもよい。リアルオブジェクト１０ａ及び１０ｂは、その機能に関する情報を含む無線信号送出機能を搭載した小型器機などであればよい。上記小型機器は、ユーザの指に装着可能な形態で形成されてもてよい。
通信部１７０は、リアルオブジェクト１０ａ及び／又は１０ｂに関連する無線通信を実行する。通信部１７０は、リアルオブジェクトから送出される無線信号を受信し、受信した無線信号をリアルオブジェクト感知部１３０に伝送する。例えば、通信部１７０は、指向性アンテナモジュール（図示せず）等を含んでもよい。
リアルオブジェクト感知部１３０は、ホログラム表示領域に存在するリアルオブジェクト１０ａ及び／又は１０ｂから送出される無線信号を通信部１７０から受信し、該受信した無線信号の受信強度を利用してリアルオブジェクト１０ａ及び／又は１０ｂの距離を判断する。また、リアルオブジェクト感知部１３０は、上リアルオブジェクト１０ａ及び／又は１０ｂから判断した距離及び無線信号の受信方向を利用して、ホログラム表示領域内における無線信号を送出したリアルオブジェクト１０ａ及び／又は１０ｂの３次元位置座標を取得し、該取得した３次元位置座標を利用してリアルオブジェクト１０ａ及び／又は１０ｂの位置に関する情報を生成する。また、リアルオブジェクト感知部１３０は、リアルオブジェクト１０ａ及び／又は１０ｂの位置の変化によるリアルオブジェクト１０ａ及び／又は１０ｂの３次元位置座標変化を利用してリアルオブジェクト１０ａ及び／又は１０ｂの位置変化によるベクトル値を算出し、該算出したベクトル値を利用してリアルオブジェクト１０ａ及び／又は１０ｂの動作パターンに関する情報を生成する。
触覚提供部１４０は、制御部１６０の制御によって音響を放射してホログラム表示領域に音響放射圧を提供する。その結果、ホログラム表示領域に存在するリアルオブジェクト１０ａ及び／又は１０ｂは、触覚提供部１４０にて提供される音波放射圧の影響を受けるようになる。
制御部１６０は、ホログラム出力部１２０を制御して空間上にホログラム表示領域を投影させ、投影されたホログラム表示領域内に仮想オブジェクトを表示させる。また、制御部１６０は、メモリ部１１０に格納された情報を利用して、多様な機能を提供する仮想オブジェクトをそれぞれ初期位置に表示させるか、または初期動作パターンに従って動くように表示させる。
接触認識部１５０は、リアルオブジェクト感知部１３０にて生成された実物オブジェクト１０ａ及び／又は１０ｂの位置及び動作パターンに関する情報とメモリ部１１０に格納された情報を利用して、ホログラム出力部１２０により投影されたホログラム表示領域内におけるリアルオブジェクト１０ａ及び／又は１０ｂと仮想オブジェクトのそれぞれの位置及び動作パターンをリアルタイムに確認して、ホログラム表示領域内において仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間で接触が発生したか否かを認識する。また、接触認識部１５０は、ホログラム表示領域内におけるリアルオブジェクト１０ａ及び／又は１０ｂと仮想オブジェクトのそれぞれの位置及び動作パターンをリアルタイムで確認して、仮想オブジェクトの形状を構成する３次元位置座標とリアルオブジェクト１０ａ及び／又は１０ｂの形状を構成する３次元位置座標のうち、ホログラム表示領域内において互いに重なる部分が発生すると、仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に接触が発生したことを認識する。
また、制御部１６０は、接触認識部１５０によりホログラム表示領域内において仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に接触が発生したことが認識されると、リアルオブジェクト感知部１３０により抽出されたリアルオブジェクト１０ａ及び／又は１０ｂの機能情報を利用して仮想オブジェクトとの接触が発生したリアルオブジェクト１０ａ及び／又は１０ｂの機能を確認し、その確認したリアルオブジェクト１０ａ及び／又は１０ｂの機能に応じて、仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に発生した接触によるユーザの入力を認識する。また、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に発生した接触が仮想オブジェクトの選択のための入力であるか否か、または選択を取り消すための入力であるか否かを判断し、または、任意の機能を行う命令が入力されたか否か、または任意の機能の実行を取り消す命令が入力されたか否かなどを判断する。
また、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に発生した接触が仮想オブジェクトの選択のための入力であるか、または選択を取り消すための入力であると判断すると、ホログラム出力部１２０を制御してリアルオブジェクト１０ａ及び／又は１０ｂと接触した仮想オブジェクトの色又は形状を変化させる。また、制御部１６０は、触覚提供部１４０を制御してホログラム表示領域に音響放射圧を提供してもよい。
また、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に発生した接触が仮想オブジェクトの選択のための入力であると判断すると、リアルオブジェクト感知部１３０により生成されるリアルオブジェクト１０ａ及び／又は１０ｂの動作パターンに関する情報を利用して、ホログラム表示領域内におけるリアルオブジェクト１０ａ及び／又は１０ｂの動きをリアルタイムに追跡して、リアルオブジェクト１０ａ及び／又は１０ｂに接触している仮想オブジェクトがリアルオブジェクト１０ａ及び／又は１０ｂの動きに対応して動くようにホログラム出力部１２０を制御する。
また、制御部１６０は、ユーザから任意の機能を実行する命令が入力されたことを認識するか、またはユーザから任意の機能の実行を取り消す命令が入力されたことと認識すると、ホログラム出力部１２０を制御してホログラム表示領域またはホログラム表示領域に表示されている仮想オブジェクトの色相又は形状を変化させる。また、制御部１６０は、触覚提供部１４０を制御してホログラム表示領域に音響放射圧を提供してもよい。
図９及び図１０を参照して本発明の他の実施形態に係るホログラムを利用したユーザインターフェース装置２００における入力認識方法を以下に説明する。図９は、本実施の形態に係るホログラムを利用したユーザインターフェース装置２００における入力認識方法を示すフローチャートである。
先ず、ホログラムを利用したユーザインターフェース装置２００は、空間上にホログラム表示領域を投影させ、投影されたホログラム表示領域内に仮想オブジェクトを表示させる（ステップＳ３００）。
上記ステップＳ３００において表示された仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に接触が発生したと判断すると（ステップＳ３１０）、制御部１６０は、仮想オブジェクトと接触したリアルオブジェクト１０ａ及び／又は１０ｂの機能を確認し（ステップＳ３２０）、その確認したリアルオブジェクト１０ａ及び／又は１０ｂの機能に応じて、仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に発生した接触によるユーザの入力を認識する（ステップＳ３３０）。
上記ステップＳ３３０において、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に発生した接触が、仮想オブジェクトの選択のための入力であるか否か、または選択の取り消しのための入力であるか否かを判断し、または、特定の機能の実行命令が入力されたか否か、または特定の機能の実行取り消し命令が入力されたか否かなどを判断することが好ましい。
上記ステップＳ３３０において仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に発生した接触が仮想オブジェクトの選択のための入力であると判断すると、制御部１６０は、ホログラム出力部１２０を制御して、リアルオブジェクト１０ａ及び／又は１０ｂの動きをリアルタイムで追跡してリアルオブジェクト１０ａ及び／又は１０ｂに接触している仮想オブジェクトがリアルオブジェクト１０ａ及び／又は１０ｂの動きに対応して動くように制御する。
上記ステップＳ３３０において仮想オブジェクトとリアルオブジェクト１０ａ及び／又は１０ｂ間に発生した接触が仮想オブジェクトの選択のための入力であると判断し、または選択の取り消しのための入力であると判断すると、制御部１６０は、ホログラム出力部１２０を制御して、リアルオブジェクト１０ａ及び／又は１０ｂと接触した仮想オブジェクトの色又は形状を変化させる。上記ステップＳ３３０において、例えば、図１０に示すように、選択入力機能を備えるリアルオブジェクト１０ａが仮想オブジェクトに接触した場合に、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０ａ間に発生した接触が仮想オブジェクトの選択のための入力であると判断し、選択取り消し入力機能を備えるリアルオブジェクト１０ｂが仮想オブジェクトに接触した場合には、仮想オブジェクトとリアルオブジェクト１０ｂ間に発生した接触が仮想オブジェクトの選択取り消しのための入力であると判断する。一方、上記ステップＳ３３０においてユーザから特定の機能の実行命令が入力されたことと認識し、またはユーザから特定の機能の実行取り消し命令が入力されたことと認識すると、制御部１６０は、ホログラム表示領域またはホログラム表示領域に表示されている仮想オブジェクトの色又は形状を変化させる。また、制御部１６０は、触覚提供部１４０を制御してホログラム表示領域に音響放射圧を提供する。
上記ステップＳ３３０では、例えば、図１０に示すように、実行命令入力機能を備えるリアルオブジェクト１０ａが仮想オブジェクトに接触した場合に、制御部１６０は、仮想オブジェクトとリアルオブジェクト１０ａ間に発生した接触によって特定の機能の実行命令が入力されたことを認識し、実行取り消し命令入力機能を備えるリアルオブジェクト１０ｂが仮想オブジェクトに接触した場合には、仮想オブジェクトとリアルオブジェクト１０ｂ間に発生した接触によって特定の機能の実行取り消し命令が入力されたことと認識する。このように、複数のリアルオブジェクト１０ａ及び／又は１０ｂは異なる機能を示すものであってもよく、ユーザは、ホログラムを利用したユーザインターフェース装置２００を操作するために異なる機能を有するリアルオブジェクト１０ａ及び／又は１０ｂに異なる指を配置してもよい。
本発明によるホログラムを利用したユーザインターフェース装置は、上述した実施形態に限定されるものではなく、本発明の技術思想が許容する範囲内で各種に変形して実施することが可能である。
ここで説明したホログラムを利用したユーザインターフェース装置によれば、ユーザが入力するための仮想オブジェクトはホログラムを利用して表示され、ユーザの入力は表示された仮想オブジェクトを介して認識される。
また、ホログラムを利用したユーザインターフェース装置によれば、認識されたユーザ入力、ユーザ入力の認識は、視覚的又は触覚的にユーザにフィードバックされる。
１０ リアルオブジェクト
１００ ユーザインターフェース装置
１１０ メモリ部
１２０ ホログラム出力部
１３０ リアルオブジェクト感知部
１４０ 触覚提供部
１５０ 接触認識部
１６０ 制御部

Claims (19)

  1. 仮想オブジェクトの形状、機能、位置及び動作パターンに関する情報を格納するメモリ部と、
    空間上の任意の領域にホログラム表示領域を投影し、投影されたホログラム表示領域内に仮想オブジェクトを表示するホログラム出力部と、
    前記ホログラム表示領域に存在するリアルオブジェクトを感知してリアルオブジェクトの位置及び動作パターンに関する情報を生成するリアルオブジェクト感知部と、
    前記リアルオブジェクト感知部により生成された前記リアルオブジェクトの位置及び動作パターンに関する情報と前記メモリ部に格納された情報を利用して、前記ホログラム表示領域内における前記リアルオブジェクトと前記仮想オブジェクトのそれぞれの位置及び動作パターンを確認して、前記ホログラム表示領域内での前記仮想オブジェクトと前記リアルオブジェクト間の接触発生の有無を認識する接触認識部と、
    前記接触認識部で前記仮想オブジェクトと前記リアルオブジェクト間の接触発生が認識されると、前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触が前記仮想オブジェクトの選択のための入力であるか否かを判断し、仮想オブジェクトの選択のための入力であると判断すると、前記メモリ部に格納された情報を検索して前記リアルオブジェクトと接触した仮想オブジェクトの機能を取得し、その取得した機能の実行命令が入力されたことを認識する制御部と、
    を含むことを特徴とするホログラムを利用したユーザインターフェース装置。
  2. 前記制御部は、前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触が仮想オブジェクトの選択のための入力であると判断し、または選択取り消しのための入力であると判断すると、前記ホログラム出力部を制御してリアルオブジェクトと接触した仮想オブジェクトの色相や形状を変化させることを特徴とする請求項１に記載のホログラムを利用したユーザインターフェース装置。
  3. 前記制御部は、前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触が仮想オブジェクトの選択のための入力であると判断すると、前記リアルオブジェクト感知部により生成されるリアルオブジェクトの動作パターンに関する情報を利用して前記ホログラム表示領域内におけるリアルオブジェクトの動きを追跡して、リアルオブジェクトに接触している仮想オブジェクトがリアルオブジェクトの動きに対応して動くように前記ホログラム出力部を制御することを特徴とする請求項１又は２に記載のホログラムを利用したユーザインターフェース装置。
  4. 前記制御部は、前記リアルオブジェクトが前記仮想オブジェクトに基準時間以上接触した場合、または複数のリアルオブジェクトが前記仮想オブジェクトの複数のマーカーに同時に接触した場合に、前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触を前記仮想オブジェクトの選択のための入力であると判断することを特徴とする請求項１乃至３の何れか一項に記載のホログラムを利用したユーザインターフェース装置。
  5. 前記制御部は、前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触が前記仮想オブジェクトの選択のための入力であると判断すると、前記リアルオブジェクト感知部にて生成されるリアルオブジェクトの動作パターンに関する情報を利用して前記ホログラム表示領域内におけるリアルオブジェクトの動きをリアルタイムで追跡して、仮想オブジェクトに接触しているリアルオブジェクトが前記リアルオブジェクト感知部の感知範囲外にある場合、またはリアルオブジェクトが同時接触した複数のマーカーの一つからリアルオブジェクトの接触が解除される場合に、仮想オブジェクトの選択のための入力が取り消されたこと判断することを特徴とする請求項１乃至４の何れか一項に記載のホログラムを利用したユーザインターフェース装置。
  6. 前記制御部は、前記ホログラム出力部を制御して、前記仮想オブジェクトに接触している前記リアルオブジェクトの回転動作に応じて前記仮想オブジェクトを回転させるか、または前記仮想オブジェクトに接触している前記リアルオブジェクトの移動動作に応じて前記リアルオブジェクトの移動位置に前記仮想オブジェクトをドラッグさせ、その仮想オブジェクトの回転やドラッグによってユーザから特定の機能の実行命令が入力されたか、またはユーザから特定の機能の実行取り消し命令が入力されたかを判断することを特徴とする請求項１乃至５の何れか一項に記載のホログラムを利用したユーザインターフェース装置。
  7. 前記制御部は、仮想オブジェクトが任意の方向に任意の角度に回転する場合、実行機能または実行取り消し機能を提供する特定の仮想オブジェクトが表示されている位置に仮想オブジェクトがドラッグされる場合、実行する仮想オブジェクトや実行を取り消す仮想オブジェクトが表示されている位置に実行機能または実行取り消し機能を提供する特定の仮想オブジェクトがドラッグされる場合、またはリアルオブジェクトの動作パターンが特定の動作パターンと整合する場合に、ユーザから特定の機能の実行命令が入力されたことを認識し、またはユーザから特定の機能の実行取り消し命令が入力されたことを認識することを特徴とする請求項請求項１乃至６の何れか一項に記載のホログラムを利用したユーザインターフェース装置。
  8. 前記制御部は、ユーザから特定の機能の実行命令が入力されたことと認識する場合、またはユーザから特定の機能の実行取り消し命令が入力されたことと認識する場合に、前記ホログラム出力部を制御して前記ホログラム表示領域または前記ホログラム表示領域に表示されている仮想オブジェクトの色や形状を変化させることを特徴とする請求項６に記載のホログラムを利用したユーザインターフェース装置。
  9. 前記制御部の制御によって音響を放射して前記ホログラム表示領域に音響放射圧を提供する触覚提供部を更に含むことを特徴とする請求項１に記載のホログラムを利用したユーザインターフェース装置。
  10. 前記リアルオブジェクト感知部は、前記ホログラム表示領域に存在するリアルオブジェクトの３次元位置座標を取得し、該取得した３次元位置座標を利用してリアルオブジェクトの位置に関する情報を生成し、前記リアルオブジェクトの位置の変化によるリアルオブジェクトの３次元位置座標の変化を利用して前記リアルオブジェクトの位置の変化によるベクトル値を算出し、該算出したベクトル値を利用して前記リアルオブジェクトの動作パターンに関する情報を生成することを特徴とする請求項１に記載のホログラムを利用したユーザインターフェース装置。
  11. 前記リアルオブジェクト感知部は、静電容量タッチスクリーン方式、ＩＲ（ｉｎｆｒａｒｅｄ）タッチスクリーン方式、ＥＭＲ（ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ）デジタイザー方式または／及び映像認識方式のうちのいずれかを利用してホログラム表示領域に存在するリアルオブジェクトの３次元位置座標を取得することを特徴とする請求項１０に記載のホログラムを利用したユーザインターフェース装置。
  12. 前記リアルオブジェクトは、無線信号送出機能を搭載することを特徴とする請求項１０に記載のホログラムを利用したユーザインターフェース装置。
  13. 前記リアルオブジェクト感知部は、前記リアルオブジェクトとの間で無線通信を行う通信手段を備え、該通信手段は前記リアルオブジェクトからの無線信号を受信し、該受信した無線信号の受信強度を利用して前記リアルオブジェクトとの距離を判断し、該判断した前記リアルオブジェクトとの距離及び前記無線信号の受信方向を利用して前記ホログラム表示領域内における無線信号を送出した前記リアルオブジェクトの３次元位置座標を取得することを特徴とする請求項１２に記載のホログラムを利用したユーザインターフェース装置。
  14. 仮想オブジェクトの形状、機能、位置及び動作パターンに関する情報を格納するメモリ部と、
    空間上の任意の領域にホログラム表示領域を投影し、投影されたホログラム表示領域内に仮想オブジェクトを表示するホログラム出力部と、
    機能情報を含む無線信号を送出するリアルオブジェクトから無線信号を受信し、該受信した無線信号に含まれている前記リアルオブジェクトの機能情報を抽出し、該受信した無線信号を利用して前記ホログラム表示領域内における前記リアルオブジェクトの位置及び動作パターンに関する情報を生成するリアルオブジェクト感知部と、
    前記オブジェクトからの無線信号を前記リアルオブジェクト感知部に転送する通信部と、
    前記リアルオブジェクト感知部にて生成された前記リアルオブジェクトの位置及び動作パターンに関する情報と前記メモリ部に格納された情報を利用して、前記ホログラム表示領域内における前記リアルオブジェクトと前記仮想オブジェクトのそれぞれの位置及び動作パターンを確認して、前記ホログラム表示領域内での前記仮想オブジェクトと前記リアルオブジェクト間の接触発生の有無を認識する接触認識部と、
    前記接触認識部により前記仮想オブジェクトと前記リアルオブジェクト間に接触が発生したことが認識されると、前記リアルオブジェクト感知部にて抽出された前記リアルオブジェクトの機能情報を利用して前記仮想オブジェクトと接触が発生した前記リアルオブジェクトの機能を確認し、その確認したリアルオブジェクトの機能によって、前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触によるユーザの入力を認識する制御部と、
    を含むことを特徴とするホログラムを利用したユーザインターフェース装置。
  15. 前記制御部は、前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触が前記仮想オブジェクトの選択のための入力であると判断する場合、または選択取り消しのための入力であると判断する場合に、前記ホログラム出力部を制御して前記リアルオブジェクトと接触した前記仮想オブジェクトの色や形状を変化させることを特徴とする請求項１４に記載のホログラムを利用したユーザインターフェース装置。
  16. 前記制御部は、前記接触認識部により前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触が前記仮想オブジェクトの選択のための入力であると認識すると、前記リアルオブジェクト感知部により生成される前記リアルオブジェクトの動作パターンに関する情報を利用して前記ホログラム表示領域内における前記リアルオブジェクトの動きを追跡して、前記リアルオブジェクトに接触している仮想オブジェクトがリアルオブジェクトの動きに対応して動くように前記ホログラム出力部を制御することを特徴とする請求項１４又は１５に記載のホログラムを利用したユーザインターフェース装置。
  17. 前記制御部は、前記仮想オブジェクトと前記リアルオブジェクト間に発生した接触によってユーザから特定の機能の実行命令が入力されたことと認識する場合、またはユーザから特定の機能の実行取り消し命令が入力されたことと認識する場合に、前記ホログラム出力部を制御して前記ホログラム表示領域または前記ホログラム表示領域に表示されている前記仮想オブジェクトの色や形状を変化させることを特徴とする請求項１４乃至１６の何れか一項に記載のホログラムを利用したユーザインターフェース装置。
  18. 前記制御部の制御によって音響を放射して前記ホログラム表示領域に音響放射圧を提供する触覚提供部を更に含むことを特徴とする請求項１４に記載のホログラムを利用したユーザインターフェース装置。
  19. 前記リアルオブジェクト感知部は、前記ホログラム表示領域に存在するリアルオブジェクトからの無線信号を受信し、該受信した無線信号の受信強度を利用して前記リアルオブジェクトとの距離を判断し、該判断したリアルオブジェクトとの距離及び無線信号の受信方向を利用して前記ホログラム表示領域内における無線信号を送出したリアルオブジェクトの３次元位置座標を取得し、該取得した３次元位置座標を利用して前記リアルオブジェクトの位置に対する情報を生成し、リアルオブジェクトの位置の変化による該リアルオブジェクトの３次元位置座標の変化を利用してリアルオブジェクトの位置の変化によるベクトル値を算出し、該算出したベクトル値を利用して前記リアルオブジェクトの動作パターンに関する情報を生成することを特徴とする請求項１４乃至１８の何れか一に記載のホログラムを利用したユーザインターフェース装置。
JP2010173774A 2010-01-29 2010-08-02 ホログラムを利用したユーザインターフェース装置 Pending JP2011159273A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100008733A KR101114750B1 (ko) 2010-01-29 2010-01-29 다차원 영상을 이용한 사용자 인터페이스 장치
KR10-2010-0008733 2010-01-29

Publications (1)

Publication Number Publication Date
JP2011159273A true JP2011159273A (ja) 2011-08-18

Family

ID=44168304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010173774A Pending JP2011159273A (ja) 2010-01-29 2010-08-02 ホログラムを利用したユーザインターフェース装置

Country Status (6)

Country Link
US (1) US20110191707A1 (ja)
EP (1) EP2381339B1 (ja)
JP (1) JP2011159273A (ja)
KR (1) KR101114750B1 (ja)
CN (1) CN102141877B (ja)
TW (1) TW201126378A (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013035553A1 (ja) * 2011-09-07 2013-03-14 日東電工株式会社 ユーザインタフェース表示装置
WO2014061310A1 (ja) * 2012-10-16 2014-04-24 日本電気株式会社 表示物制御システム、表示物制御方法及びプログラム
JP2015504320A (ja) * 2011-10-20 2015-02-12 コーニンクレッカ フィリップス エヌ ヴェ 医療処置のためのホログラフィユーザインターフェース
US9218104B2 (en) 2013-05-14 2015-12-22 Kabushiki Kaisha Toshiba Image processing device, image processing method, and computer program product
JP2016524262A (ja) * 2013-07-10 2016-08-12 リアル ビュー イメージング リミテッド ３次元ユーザインタフェース
JP2018190439A (ja) * 2018-07-17 2018-11-29 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
JP2019169180A (ja) * 2019-05-28 2019-10-03 株式会社ミツトヨ コマンド実行システムおよび位置計測装置
JP2020061187A (ja) * 2014-06-14 2020-04-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想および拡張現実を作成する方法およびシステム
WO2020075456A1 (ja) * 2018-10-11 2020-04-16 オムロン株式会社 入力装置
JP2020529682A (ja) * 2017-07-31 2020-10-08 ドリエーッセン エアロスペース グループ ナームロゼ フェンノートシャップ 仮想制御装置及びシステム
JP2022082641A (ja) * 2016-08-11 2022-06-02 マジック リープ， インコーポレイテッド ３次元空間内の仮想オブジェクトの自動配置
US11507193B2 (en) 2014-06-14 2022-11-22 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US12014464B2 (en) 2016-05-20 2024-06-18 Magic Leap, Inc. Contextual awareness of user interface menus

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150121287A1 (en) * 2006-07-03 2015-04-30 Yoram Ben-Meir System for generating and controlling a variably displayable mobile device keypad/virtual keyboard
US20120066624A1 (en) * 2010-09-13 2012-03-15 Ati Technologies Ulc Method and apparatus for controlling movement of graphical user interface objects
KR101758163B1 (ko) * 2010-12-31 2017-07-14 엘지전자 주식회사 이동 단말기 및 그의 홀로그램 제어방법
KR101330808B1 (ko) * 2011-01-27 2013-11-18 주식회사 팬택 증강 현실 편집 장치
TW201246046A (en) * 2011-05-11 2012-11-16 Chi Mei Comm Systems Inc Method and system for selecting objects
JP5670255B2 (ja) 2011-05-27 2015-02-18 京セラ株式会社 表示機器
TW201300839A (zh) * 2011-06-24 2013-01-01 Era Optoelectronics Inc 浮在空中的虛擬電漿顯示裝置
JP5864144B2 (ja) * 2011-06-28 2016-02-17 京セラ株式会社 表示機器
DE102011112618A1 (de) * 2011-09-08 2013-03-14 Eads Deutschland Gmbh Interaktion mit einem dreidimensionalen virtuellen Szenario
KR20140097226A (ko) 2011-11-21 2014-08-06 가부시키가이샤 니콘 표시장치, 표시 제어 프로그램
WO2013089494A1 (ko) * 2011-12-15 2013-06-20 한양대학교 산학협력단 가상 영상에 대한 촉감 제공 장치 및 방법
KR101318244B1 (ko) 2012-02-29 2013-10-15 한국과학기술연구원 3차원 사용자 인터페이스 구현 시스템 및 구현 방법
US9619036B2 (en) * 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
US9429912B2 (en) * 2012-08-17 2016-08-30 Microsoft Technology Licensing, Llc Mixed reality holographic object development
KR101950939B1 (ko) 2012-09-13 2019-02-22 삼성전자주식회사 홀로그래픽 객체 처리 장치 및 그 동작 방법
US9760180B2 (en) * 2012-10-05 2017-09-12 Nec Solution Innovators, Ltd. User interface device and user interface method
US10241638B2 (en) 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
KR101956073B1 (ko) 2012-12-20 2019-03-08 삼성전자주식회사 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법
KR101844303B1 (ko) 2013-02-25 2018-04-02 삼성전자주식회사 동적 자기장 제어를 이용하여 입출력 인터페이스를 제공하는 입체 영상 장치 및 그 장치를 이용한 방법
US20150065221A1 (en) * 2013-09-03 2015-03-05 Samsung Electronics Co., Ltd. Method and device for operating 3d virtual chessboard
CN103761085B (zh) * 2013-12-18 2018-01-19 微软技术许可有限责任公司 混合现实全息对象开发
CN105302281A (zh) * 2014-05-28 2016-02-03 席东民 一种全息虚拟触觉产生装置
JP6428020B2 (ja) * 2014-07-24 2018-11-28 セイコーエプソン株式会社 Ｇｕｉ装置
CN104123095B (zh) * 2014-07-24 2018-03-30 广东欧珀移动通信有限公司 一种基于矢量运算的悬浮触控方法及装置
KR20160085613A (ko) 2015-01-08 2016-07-18 엘지전자 주식회사 이동단말기 및 그 제어방법
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10007413B2 (en) 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
US20160314621A1 (en) 2015-04-27 2016-10-27 David M. Hill Mixed environment display of attached data
US11449146B2 (en) * 2015-06-10 2022-09-20 Wayne Patrick O'Brien Interactive holographic human-computer interface
DE102015213424A1 (de) * 2015-07-16 2017-01-19 Audi Ag Verfahren und Bediensystem zum Bedienen von mindestens einer Funktion in einem Fahrzeug
WO2017024142A1 (en) * 2015-08-04 2017-02-09 Google Inc. Input via context sensitive collisions of hands with objects in virtual reality
CN105204619A (zh) * 2015-08-19 2015-12-30 广州杰赛科技股份有限公司 一种全息投影装置、终端及智能手表
WO2017047832A1 (ko) * 2015-09-14 2017-03-23 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106371574B (zh) * 2015-12-04 2019-03-12 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互***
US10418008B2 (en) * 2016-07-20 2019-09-17 Beamz Ip, Llc Cyber reality device including gaming based on a plurality of musical programs
US10628013B2 (en) * 2016-09-02 2020-04-21 Accenture Global Solutions Limited Closed-loop display control for multi-dimensional user interface generation
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
US10691066B2 (en) 2017-04-03 2020-06-23 International Business Machines Corporation User-directed holographic object design
JP2018206149A (ja) * 2017-06-06 2018-12-27 オムロン株式会社 入力装置
JP6962026B2 (ja) * 2017-06-22 2021-11-05 オムロン株式会社 ジェスチャ入力装置
EP3542252B1 (en) 2017-08-10 2023-08-02 Google LLC Context-sensitive hand interaction
US10591730B2 (en) * 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
US20190187875A1 (en) * 2017-12-15 2019-06-20 International Business Machines Corporation Remote control incorporating holographic displays
JP7056423B2 (ja) * 2018-07-10 2022-04-19 オムロン株式会社 入力装置
KR102207067B1 (ko) 2018-12-28 2021-01-25 이진우 홀로그램 기반의 문자 인식 방법 및 그 장치
US10885715B2 (en) * 2019-01-14 2021-01-05 Microsoft Technology Licensing, Llc Interactive carry
US11227444B2 (en) 2020-03-09 2022-01-18 International Business Machines Corporation Virtual reality content adaptation
TWI817186B (zh) * 2020-09-29 2023-10-01 仁寶電腦工業股份有限公司 物件操作系統及物件操作方法
WO2022123771A1 (ja) * 2020-12-11 2022-06-16 日本電信電話株式会社 映像表示方法、映像表示装置およびプログラム
US20220313216A1 (en) * 2021-03-31 2022-10-06 Baker Hughes Holdings Llc Augmented reality in ultrasonic inspection

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62233823A (ja) * 1986-04-03 1987-10-14 Fuji Electric Co Ltd Ｃｒｔ装置の座標入力確認方法
JPH0830389A (ja) * 1994-07-12 1996-02-02 Saifuaa Shiya:Kk 三次元マウス装置および三次元画像データ・指令入力装置
US6031519A (en) * 1997-12-30 2000-02-29 O'brien; Wayne P. Holographic direct manipulation interface
JP2000075991A (ja) * 1998-08-28 2000-03-14 Aqueous Research:Kk 情報入力装置
JP2001356878A (ja) * 2000-06-14 2001-12-26 Hitachi Ltd アイコン制御方法
JP2003029898A (ja) * 2001-07-16 2003-01-31 Japan Science & Technology Corp 触覚装置
JP2008505379A (ja) * 2004-06-29 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３次元タッチ型インタラクションにおけるタッチダウン型フィードフォワード
WO2008115997A2 (en) * 2007-03-19 2008-09-25 Zebra Imaging, Inc. Systems and methods for updating dynamic three-dimensional display with user input
WO2009039260A2 (en) * 2007-09-18 2009-03-26 Gefemer Research Acquisitions, Llc. Method and apparatus for holographic user interface communication

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061177A (en) * 1996-12-19 2000-05-09 Fujimoto; Kenneth Noboru Integrated computer display and graphical input apparatus and method
US6507353B1 (en) * 1999-12-10 2003-01-14 Godot Huard Influencing virtual actors in an interactive environment
JP4526639B2 (ja) * 2000-03-02 2010-08-18 本田技研工業株式会社 顔認識装置およびその方法
JP2004523031A (ja) * 2001-01-08 2004-07-29 ヴィーケービー インコーポレイテッド データ入力装置
MX2007012240A (es) * 2005-03-30 2007-12-07 Lg Electronics Inc Refrigerador de avatar.
WO2007003195A1 (en) * 2005-07-04 2007-01-11 Bang & Olufsen A/S A unit, an assembly and a method for controlling in a dynamic egocentric interactive space
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US7895518B2 (en) * 2007-04-27 2011-02-22 Shapewriter Inc. System and method for preview and selection of words
JP2009093291A (ja) * 2007-10-04 2009-04-30 Toshiba Corp ジェスチャー判定装置及び方法
US8477098B2 (en) * 2007-10-31 2013-07-02 Gene S. Fein Method and apparatus for user interface of input devices
JP5439977B2 (ja) * 2009-06-24 2014-03-12 富士ゼロックス株式会社 動作判定システム、動作判定装置およびプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62233823A (ja) * 1986-04-03 1987-10-14 Fuji Electric Co Ltd Ｃｒｔ装置の座標入力確認方法
JPH0830389A (ja) * 1994-07-12 1996-02-02 Saifuaa Shiya:Kk 三次元マウス装置および三次元画像データ・指令入力装置
US6031519A (en) * 1997-12-30 2000-02-29 O'brien; Wayne P. Holographic direct manipulation interface
JP2000075991A (ja) * 1998-08-28 2000-03-14 Aqueous Research:Kk 情報入力装置
JP2001356878A (ja) * 2000-06-14 2001-12-26 Hitachi Ltd アイコン制御方法
JP2003029898A (ja) * 2001-07-16 2003-01-31 Japan Science & Technology Corp 触覚装置
JP2008505379A (ja) * 2004-06-29 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３次元タッチ型インタラクションにおけるタッチダウン型フィードフォワード
WO2008115997A2 (en) * 2007-03-19 2008-09-25 Zebra Imaging, Inc. Systems and methods for updating dynamic three-dimensional display with user input
WO2009039260A2 (en) * 2007-09-18 2009-03-26 Gefemer Research Acquisitions, Llc. Method and apparatus for holographic user interface communication

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013035553A1 (ja) * 2011-09-07 2013-03-14 日東電工株式会社 ユーザインタフェース表示装置
JP2013069272A (ja) * 2011-09-07 2013-04-18 Nitto Denko Corp ユーザインタフェース表示装置
JP2015504320A (ja) * 2011-10-20 2015-02-12 コーニンクレッカ フィリップス エヌ ヴェ 医療処置のためのホログラフィユーザインターフェース
WO2014061310A1 (ja) * 2012-10-16 2014-04-24 日本電気株式会社 表示物制御システム、表示物制御方法及びプログラム
US9218104B2 (en) 2013-05-14 2015-12-22 Kabushiki Kaisha Toshiba Image processing device, image processing method, and computer program product
JP2016524262A (ja) * 2013-07-10 2016-08-12 リアル ビュー イメージング リミテッド ３次元ユーザインタフェース
JP2020061187A (ja) * 2014-06-14 2020-04-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想および拡張現実を作成する方法およびシステム
US11507193B2 (en) 2014-06-14 2022-11-22 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US11995244B2 (en) 2014-06-14 2024-05-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US12014464B2 (en) 2016-05-20 2024-06-18 Magic Leap, Inc. Contextual awareness of user interface menus
JP2022082641A (ja) * 2016-08-11 2022-06-02 マジック リープ， インコーポレイテッド ３次元空間内の仮想オブジェクトの自動配置
US11808944B2 (en) 2016-08-11 2023-11-07 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
JP7407219B2 (ja) 2016-08-11 2023-12-28 マジック リープ， インコーポレイテッド ３次元空間内の仮想オブジェクトの自動配置
JP2020529682A (ja) * 2017-07-31 2020-10-08 ドリエーッセン エアロスペース グループ ナームロゼ フェンノートシャップ 仮想制御装置及びシステム
JP2018190439A (ja) * 2018-07-17 2018-11-29 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
WO2020075456A1 (ja) * 2018-10-11 2020-04-16 オムロン株式会社 入力装置
JP2019169180A (ja) * 2019-05-28 2019-10-03 株式会社ミツトヨ コマンド実行システムおよび位置計測装置

Also Published As

Publication number Publication date
KR20110088969A (ko) 2011-08-04
CN102141877A (zh) 2011-08-03
KR101114750B1 (ko) 2012-03-05
EP2381339B1 (en) 2013-11-27
TW201126378A (en) 2011-08-01
EP2381339A2 (en) 2011-10-26
EP2381339A3 (en) 2011-11-09
CN102141877B (zh) 2013-11-13
US20110191707A1 (en) 2011-08-04

Similar Documents

Publication Publication Date Title
JP2011159273A (ja) ホログラムを利用したユーザインターフェース装置
US10417827B2 (en) Syndication of direct and indirect interactions in a computer-mediated reality environment
JP4734435B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
US9448714B2 (en) Touch and non touch based interaction of a user with a device
US20100328209A1 (en) Input device for electronic apparatus
JP2019537084A (ja) タッチセンサ式キーボード
WO2018231457A1 (en) Displacement oriented interaction in computer-mediated reality
WO2012122007A2 (en) Keyboards and methods thereof
JP2011028524A (ja) 情報処理装置、プログラムおよびポインティング方法
US20140055385A1 (en) Scaling of gesture based input
KR101981158B1 (ko) 사용자 인터페이스를 위한 인터랙션 방법
TW201638728A (zh) 用以處理與移動相關的資料之計算裝置及方法
US20130088427A1 (en) Multiple input areas for pen-based computing
WO2013153551A1 (en) Stylus and digitizer for 3d manipulation of virtual objects
JP2018023792A (ja) ゲーム装置及びプログラム
JP5769841B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
KR101961786B1 (ko) 터치스크린을 포함하는 단말을 이용한 마우스 기능의 제공 방법 및 장치
JP6126639B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置及びゲームプログラム。
JP5523381B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
JP7012780B2 (ja) ゲーム装置及びプログラム
JP6204414B2 (ja) ゲーム装置及びプログラム
JP5769765B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
KR20140100668A (ko) 스마트기기 커버 및 이를 구비한 스마트기기
KR20090103384A (ko) 공간 투영 및 공간 터치 기능이 구비된 네트워크 단말 장치및 그 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130723

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140107