CN102141877A - 使用全息图的用户界面和用于该用户界面的方法 - Google Patents

使用全息图的用户界面和用于该用户界面的方法 Download PDF

Info

Publication number
CN102141877A
CN102141877A CN2010102551848A CN201010255184A CN102141877A CN 102141877 A CN102141877 A CN 102141877A CN 2010102551848 A CN2010102551848 A CN 2010102551848A CN 201010255184 A CN201010255184 A CN 201010255184A CN 102141877 A CN102141877 A CN 102141877A
Authority
CN
China
Prior art keywords
real object
virtual objects
user interface
hologram
control module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010102551848A
Other languages
English (en)
Other versions
CN102141877B (zh
Inventor
李瀚权
金起正
金应奉
安秀彬
元奇燮
林铉瑾
林亨衍
郑灿成
韩义锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pan Thai Co ltd
Original Assignee
Pantech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pantech Co Ltd filed Critical Pantech Co Ltd
Publication of CN102141877A publication Critical patent/CN102141877A/zh
Application granted granted Critical
Publication of CN102141877B publication Critical patent/CN102141877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/29—Holographic features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G03H2001/2252—Location of the holobject
    • G03H2001/226—Virtual or real
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/62—Moving object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00—Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/02—Handheld portable device, e.g. holographic camera, mobile holographic display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及使用全息图的用户界面和用于该用户界面的方法。该使用全息图的用户界面包括：存储单元，其存储关于虚拟对象的形状、功能、位置和运动摸式的信息；全息图输出单元，其投射出全息图显示区并且在所投射的全息图显示区中显示所述虚拟对象；真实对象感应单元，其感应所述全息图显示区中的真实对象并且生成关于所述真实对象的位置和运动摸式的信息；接触识别单元，其确定各个虚拟对象和所述真实对象的位置和运动摸式，以识别所述虚拟对象和所述真实对象之间的接触；以及控制单元，其确定所述虚拟对象和所述真实对象之间的所识别的接触是否对应于用于选择所述虚拟对象的输入。

Description

使用全息图的用户界面和用于该用户界面的方法
技术领域
本文公开的是使用全息图的用户界面和用于该用户界面的方法。
背景技术
本申请要求2010年1月29日提交的韩国专利申请No.10-2010-0008733的优先权和权益，此处以引证的方式并入其内容，就像在此进行了完整阐述一样。
当前，在诸如膝上型计算机、桌上型计算机或移动终端的终端中提供了触摸式用户界面，该触摸式用户界面识别经由外部接触的输入。在这样的终端中，通过识别经由触摸式用户界面输入的用户接触来执行各种功能。
一般而言，触摸式用户界面包括触摸板、触摸屏等，它们通过画面提供了二维触摸式用户界面。此时，在画面上显示诸如图标等用于用户输入的各种虚拟对象。
如果画面上出现用户接触，这样的触摸式用户界面识别出由用户选择了用户接触在画面上出现的位置所显示的虚拟对象，并识别出由用户输入了用于执行与所选择的虚拟对象相对应的指定功能的指令。因此，用户界面使终端能够执行与在画面上显示的虚拟对象中由用户接触选中的虚拟对象相对应的指定功能。
同时，作为该二维触摸式用户界面的扩展，最近开发了一种用户界面，该用户界面提供了使用全息图的三维触摸式用户界面。
在这样的使用全息图的用户界面中，在空间中的任意区域显示全息图显示区，并且在全息图显示区中显示用于用户输入的各种虚拟对象。用户界面识别出由用户选择了所显示的虚拟对象中的虚拟对象，并识别出由用户输入了用于执行与所选择的虚拟对象相对应的指定功能的指令。因此，用户界面使终端能够执行与由用户接触选择的虚拟对象相对应的指定功能。
然而，如果出现了与显示的虚拟对象的接触，则使用全息图的用户界面识别出由用户选择了该虚拟对象，并识别出由用户输入了用于执行与所选择的虚拟对象相对应的指定功能的指令。因此，当真实对象(诸如用户身体的一部分)仅仅经过空间中显示的全息图显示区时，即，当真实对象经过全息图显示区同时与指定的虚拟对象相接触时，用户界面识别出由用户选择了指定的虚拟对象，并识别出由用户输入了用于执行与所选择的虚拟对象相对应的指定功能的指令。因此，可能导致终端故障。
发明内容
本文公开了一种使用全息图的用户界面，该用户界面利用全息图在空间中显示用于用户输入的虚拟对象，并识别经由所显示的虚拟对象的各种用户输入。
并且，本文还公开了一种使用全息图的用户界面，该用户界面可以经由视觉或触觉效果向用户提供反馈。
本发明的附加特征将在下面的描述中描述且将从描述中部分地显现，或者可以通过本发明的实践来了解。
一种示例性实施方式提供了一种用户界面，该用户界面包括：存储单元，其存储关于虚拟对象的形状、功能、位置和运动摸式的信息；全息图输出单元，其投射出全息图显示区并且在所投射的全息图显示区中显示所述虚拟对象；真实对象感应单元，其感应所述全息图显示区中的真实对象并且生成关于所述真实对象的位置和运动摸式的信息；接触识别单元，其根据由所述真实对象感应单元生成的关于所述真实对象的位置和运动摸式的信息以及所述存储单元中存储的信息，来确定所述全息图显示区中的各个虚拟对象和所述真实对象的位置和运动摸式，以识别所述虚拟对象和所述真实对象之间的接触；以及控制单元，其确定所述虚拟对象和所述真实对象之间的所识别的接触是否对应于用于选择所述虚拟对象的输入。
一种示例性实施方式提供了一种用户界面，该用户界面包括：存储单元，其存储关于虚拟对象的形状、功能、位置和运动摸式的信息；全息图输出单元，其投射出全息图显示区并且在所投射的全息图显示区中显示虚拟对象；通信单元，其接收从发送无线信号的真实对象发送的所述无线信号，该无线信号包含信息；真实对象感应单元，其从所述通信单元接收所述无线信号，提取所述无线信号中包含的所述信息，并且根据所述无线信号生成关于所述全息图显示区中的所述真实对象的位置和运动摸式的信息；接触识别单元，其根据由所述真实对象感应单元生成的关于所述真实对象的位置和运动摸式的信息以及所述存储单元中存储的信息来确定所述全息图显示区中的各个虚拟对象和所述真实对象的位置和运动摸式，以识别所述虚拟对象和所述真实对象之间的接触；以及控制单元，其根据由所述真实对象感应单元提取的所述真实对象的信息来确定与所述虚拟对象接触的所述真实对象的功能。
一种示例性实施方式提供了一种用户界面，该用户界面包括：存储单元，其存储关于虚拟对象的信息；全息图输出单元，其在全息图显示区中投射出所述虚拟对象；真实对象感应单元，其感应所述全息图显示区中的真实对象；接触识别单元，其根据关于所述虚拟对象的信息以及关于所感应的真实对象的信息来确定所述真实对象和所述虚拟对象之间的接触；以及控制单元，其确定所识别的接触是否对应于用于选择所述虚拟对象的输入。
一种示例性实施方式提供了一种用于用户界面的方法，该方法包括以下步骤：在全息图显示区中显示虚拟对象；确定真实对象和所述虚拟对象之间是否发生接触；确定所述真实对象和所述虚拟对象之间的所述接触是否对应于用于选择所述虚拟对象的输入；根据所述真实对象的运动来使所选择的虚拟对象运动；以及根据所选择的虚拟对象的运动来执行与所选择的虚拟对象相对应的功能。
一种示例性实施方式提供了一种用于用户界面的方法，该方法包括以下步骤：在全息图显示区中显示虚拟对象；确定真实对象和所述虚拟对象之间是否发生接触；如果发生接触，则确定所述真实对象的功能；以及针对所述虚拟对象执行所述真实对象的功能。
应当理解，上述一般描述和下述详细描述是示例性和说明性的，且旨在提供所要求保护的本发明的进一步解释。根据下述详细描述、附图以及权利要求书，其它特征和方面将变得明显。
附图说明
附图被包括在本说明书中以提供对本发明的进一步理解，并结合到本说明书中且构成本说明书的一部分，附图示出了本发明的实施方式，且与说明书一起用于解释本发明的原理。
图1是示出根据示例性实施方式的使用全息图的用户界面的框图。
图2是示出根据示例性实施方式的使用全息图来识别用户界面中的输入的方法的流程图。
图3、图4、图5、图6和图7示出根据示例性实施方式的使用全息图来识别用户界面中的输入的方法。
图8是示出根据示例性实施方式的使用全息图的用户界面的构造的框图。
图9是示出根据示例性实施方式的使用全息图来识别用户界面中的输入的方法的流程图。
图10示出根据示例性实施方式的使用全息图来识别用户界面中的输入的方法。
具体实施方式
以下参考附图更全面地描述本发明，在附图中示出了示例性实施方式。然而，可以以各种不同的形式来实施本公开，而不应该将其理解为限于此处阐释的示例性实施方式。相反，提供这些示例性实施方式使得本公开详尽，并且向本领域技术人员全面传达本公开的范围。在描述中，为了避免不必要地使所示出的实施方式模糊不清，将省去公知的特征和技术的细节。
本文所使用的术语仅为了描述具体实施方式，而不是为了限制本公开。除非另行明确地说明，否则如本文中所使用的，单数形式的“一”、“该”及“所述”旨在同样包括复数形式。此外，使用术语“一”等不表示对数量的限制，而是表示至少一个所引用的项目的存在。使用术语“第一”、“第二”等不表示任何特定的顺序，而是将它们包括以标识各个要素。此外，使用术语“第一”、“第二”等不表示任何顺序或重要性，而是使用术语“第一”、“第二”以将要素彼此区分。进一步可以理解，当用在本说明书中时，术语“包括”或“包含”指的是存在所述的特征、区域、整体、步骤、操作、要素和/或组件，但不排除存在或添加一个或更多个其它的特征、区域、整体、步骤、操作、要素、组件和/或其组合。
除非另行定义，否则这里所用的所有术语(包括科技术语)具有与本领域的普通技术人员所通常理解的相同含义。进一步可以理解的是，诸如那些在通常使用的辞典中定义的术语应当被理解为具有与其在相关技术和本公开的上下文环境中的含义相一致的含义，并且，除非在此明确地定义，否则不应当以理想化或过于形式的方式来理解。
在附图中，相同的标号表示相同的元件。为清楚起见，可能会夸大地表示附图的形状、尺寸和区域等。
以下，将参考附图详细地描述根据示例性实施方式的使用全息图的用户界面以及识别用户界面的输入的方法。
图1是示出根据示例性实施方式的使用全息图的用户界面的框图。如图1所示，根据示例性实施方式的使用全息图的触摸式用户界面100包括存储单元110、全息图输出单元120、真实对象感应单元130、触觉提供单元140、接触识别单元150和控制单元160。尽管此处被描述为触摸式用户界面100，但是，就各方面而言，用户界面100并非必须是触摸式的。
存储单元110存储关于各个虚拟对象的形状、功能、初始位置和初始运动模式的信息。关于初始位置的信息包括三维位置坐标等。关于初始运动模式的信息包括三维位置坐标、向量值(即，运动距离、方向和速度)等。
全息图输出单元120在控制单元160的控制下在空间中的任意区域中投射全息图显示区，并在所投射的全息图显示区中显示虚拟对象。投射了全息图显示区的空间可以与触摸式用户界面100相邻和/或在其外部。
真实对象感应单元130感应全息图显示区中存在的真实对象，并生生关于真实对象10(图3所示)的位置和运动模式的信息。真实对象感应单元130获取全息图显示区中存在的真实对象10的三维位置坐标，并利用所获取的三维位置坐标生成关于真实对象10的位置的信息。然后，真实对象感应单元130利用真实对象10的三维位置坐标的变化来计算基于真实对象10的位置变化的向量值，并利用所计算出的向量值生成关于真实对象10的运动模式的信息。真实对象10包括用户手指、具有无线信号发送功能的小尺寸设备等。可以以可附接到用户手指的形状来形成所述小尺寸设备。
真实对象感应单元130利用电容性触摸屏方法、红外(IR)触摸屏方法、电磁共振(EMR：electromagnetic resonance)数字转换器方法和图像识别方法等中的一种方法来获取全息图显示区中存在的真实对象10的三维坐标。
真实对象感应单元130接收从真实对象10发送的无线信号，并利用所接收的无线信号的接收强度来确定与真实对象10的距离。然后，真实对象感应单元130利用所确定的与真实对象10的距离以及无线信号的接收方向来确定真实对象10的三维位置坐标。真实对象感应单元130具有通信单元(未示出)来执行与真实对象10的无线通信。
触觉提供单元140通过在控制单元160的控制下辐射声波来向全息图显示区提供声辐射压。结果，全息图显示区中存在的真实对象10受到由触觉提供单元140提供的声辐射压的影响。
接触识别单元150利用由真实对象感应单元130生成的关于真实对象10的位置和运动模式的信息以及存储单元110中存储的信息，来实时地识别由全息图输出单元120投射的全息图显示区中的各个真实对象10和虚拟对象的位置和运动模式。因此，接触识别单元150确定在全息图显示区中是否发生虚拟对象和真实对象10之间的接触。如果接触识别单元150确定了在全息图显示区中发生虚拟对象和真实对象10之间的接触，则接触识别单元150检测虚拟对象与真实对象10相接触的接触部分。如果通过实时地识别全息图显示区中的各个真实对象10和虚拟对象的位置和运动模式，在全息图显示区中出现了相互交叠的各个虚拟对象和真实对象10的三维位置坐标的一部分，则接触识别单元150识别出在虚拟对象和真实对象10之间发生了接触。接触识别单元150还将与在全息图显示区中出现的相互交叠的各个虚拟对象和真实对象10的三维位置坐标的一部分相对应的三维位置坐标识别为虚拟对象与真实对象10接触的接触部分的三维位置坐标。
同时，控制单元160控制全息图输出单元120以投射全息图显示区，并控制将要显示在所投射的全息图显示区中的虚拟对象。控制单元160利用存储单元110中存储的信息来控制虚拟对象以提供将分别在它们的初始位置处显示或者将分别以它们的初始模式运动的各种功能。
如果接触识别单元150识别出在全息图显示区中发生了虚拟对象和真实对象10之间的接触，则控制单元160确定虚拟对象和真实对象10之间的接触是否是用于虚拟对象选择的输入。结果，如果控制单元160确定了虚拟对象和真实对象10之间的接触是用于选择虚拟对象的输入，则控制单元160通过搜索存储单元110中存储的信息来检测与真实对象10接触的虚拟对象的功能，并识别出用于执行所检测到的功能的指令被输入。
如果接触识别单元150识别出在全息图显示区中发生了虚拟对象和真实对象10之间的接触，则控制单元160确定虚拟对象和真实对象10之间的接触是虚拟对象的选择。结果，如果控制单元160确定了虚拟对象和真实对象10之间的接触是用于选择虚拟对象的输入或者用于取消虚拟对象的输入，则控制单元160控制全息图输出单元120，由此改变与真实对象10接触的虚拟对象的颜色或形状。因此，用户可以可视地识别出是否选择了虚拟对象。控制单元160控制触觉提供单元140以向全息图显示区提供声辐射压。结果，当真实对象10对应于用户身体的一部分时，用户可以经由触觉来识别是否选择了虚拟对象。
当真实对象10与虚拟对象接触的时间比基准时间更长时或者当真实对象10同时与虚拟对象的部分处存在的多个标记相接触时，控制单元160可以确定虚拟对象和真实对象10之间的接触是用于选择虚拟对象的输入。可预先确定或者选择该基准时间。
如果确定了虚拟对象和真实对象10之间的接触是用于选择虚拟对象的输入，则控制单元160利用由真实对象感应单元130生成的关于真实对象10的运动模式的信息来实时地跟踪真实对象10在全息图显示区中的运动。控制单元160通过确定与虚拟对象接触的真实对象10是否处于全息图显示区之外，即，是否处于由真实对象感应单元130感应的范围之外。如果控制单元160确定了真实对象10处于所述范围之外或者退出所述范围，或者真实对象10与真实对象10所同时接触的多个标记中的一个脱离接触，则控制单元160确定了取消用于选择虚拟对象的输入，并控制全息图输出单元120改变与真实对象10接触的虚拟对象的颜色或形状。控制单元160还控制触觉提供单元140以向全息图显示区提供声辐射压。
如果确定了虚拟对象和真实对象10之间的接触是用于选择虚拟对象的输入，则控制单元160利用由真实对象感应单元130生成的关于真实对象10的运动模式的信息来实时地跟踪真实对象10在全息图显示区中的运动。控制单元160还控制全息图输出单元120，使得与真实对象10接触的虚拟对象能够与真实对象10的运动相对应地运动。基于所述虚拟对象的运动，控制单元160识别出由用户输入了用于执行指定功能的指令或者由所述用户输入了用于取消所述指定功能的执行的指令。
例如，控制单元160控制全息图输出单元120，以基于与虚拟对象接触的真实对象10的旋转运动来旋转虚拟对象，或者基于与虚拟对象接触的真实对象10的运动来将虚拟对象拖动到真实对象10的运动位置。基于虚拟对象的旋转或拖动位置，控制单元160识别出由用户输入了用于执行指定功能的指令，或者由所述用户输入了用于取消所述指定功能的执行的指令。例如，如果虚拟对象在任意方向以任意角度旋转；如果虚拟对象被拖动到诸如图标的任意虚拟对象所处的位置，以提供在全息图显示区中显示的执行或取消功能；或者如果用于提供执行或取消功能的诸如图标的任意虚拟对象被拖动到在全息图显示区中显示将要执行或取消的虚拟对象的位置，则控制单元160识别出由用户输入了用于执行指定功能的指令或者由所述用户输入了用于取消所述指定功能的指令。
如果利用由真实对象感应单元120生成的关于真实对象10的运动模式的信息来将真实对象10的运动模式与指定运动模式进行匹配，则控制单元160识别出由用户输入了用于执行指定功能的指令或者由所述用户输入了用于取消所述指定功能的指令。
如果控制单元160识别出由用户输入了用于执行指定功能的指令或者由所述用户输入了用于取消所述指定功能的指令，则控制单元160控制全息图输出单元120改变全息图显示区的颜色或形状或者全息图显示区中所显示的虚拟对象的颜色或形状。控制单元160控制触觉提供单元140向全息图显示区提供声辐射压。
以下，将参照图2描述根据示例性实施方式的使用全息图来识别用户界面中的输入的方法。图2是示出根据示例性实施方式的使用全息图来识别用户界面中的输入的方法的流程图。
首先，使用全息图的用户界面100在空间中投射全息图显示区，并在所投射的全息图显示区中显示虚拟对象(S200)。
如果真实对象10和操作S200中显示的虚拟对象中的一个之间发生了接触(S210)，则控制单元160确定虚拟对象和真实对象10之间的接触是否对应于用于选择虚拟对象的输入(S220)。
当在操作S220中确定了虚拟对象和真实对象10之间的接触对应于用于选择虚拟对象的输入时，控制单元160控制全息图输出单元120改变与真实对象10接触的虚拟对象的颜色或形状。然后，控制单元160控制触觉提供单元140向全息图显示区提供声辐射压。
在操作S220中，如果真实对象10与虚拟对象接触的时间比基准时间更长，或者如果真实对象10同时与虚拟对象的部分处存在的多个标记相接触，则控制单元160确定了虚拟对象和真实对象10之间的接触对应于用于选择虚拟对象的输入。例如，如果用户手指(即真实对象10)与具有执行功能的图标(即虚拟对象)接触的时间比基准时间更长，如图3所示；如果用户手指(即真实对象10)分别与多个字符(即虚拟对象)接触的时间比基准时间更长，如图4所示；或者如果用户手指(即真实对象10)与图标(即虚拟对象)的部分处存在的两个标记接触，如图5和图6所示，则控制单元160确定出虚拟对象和真实对象10之间的接触是用于选择虚拟对象的输入。
如果在操作S220中确定了虚拟对象和真实对象10之间的接触是用于选择所述虚拟对象的输入，则控制单元160实时地跟踪真实对象10在全息图显示区中的运动，并控制全息图输出单元120，使得与真实对象10接触的虚拟对象能够与真实对象10的运动相对应地运动(S230)。基于所述虚拟对象的运动，控制单元160识别出由用户输入了用于执行指定功能的指令或者由所述用户输入了用于取消所述指定功能的执行的指令(S240)。
在操作S240中，如果图标(即虚拟对象)在操作S230中在任意方向以任意角度旋转，如图6所示；如果虚拟对象被拖动到诸如图标的任意虚拟对象所处的位置，以提供在全息图显示区中显示的执行或取消功能，如图5所示；如果用于提供执行或取消功能的诸如图标的任意虚拟对象被拖动到在全息图显示区中显示将要执行或取消的虚拟对象的位置，如图3所示；或者，如果真实对象10的运动模式与任意运动模式相匹配，即，与如图7所示的三维坐标轴中任意一个相匹配，则控制单元160识别出由用户输入了用于执行任意功能(诸如显示关闭)的指令或者由所述用户输入了用于取消指定功能的执行的指令。
如果在操作S240中识别出由用户输入了用于执行指定功能的指令或者由所述用户输入了用于取消指定功能的执行的指令，则控制单元160控制全息图输出单元120改变全息图显示区的颜色或形状或者在全息图显示区中显示的虚拟对象的颜色或形状。然后，控制单元160控制触觉提供单元140向全息图显示区提供声辐射压。
当在操作S220中确定了虚拟对象和真实对象10之间的接触是用于选择虚拟对象的输入时，控制单元160跟踪真实对象10在全息图显示区中的运动，并确定与虚拟对象接触的真实对象10是否处于全息图显示区(即，用于跟踪真实对象10的运动的范围)之外或者退出全息图显示区。如果确定了真实对象10处于所述范围之外或者退出所述范围，或者真实对象10与真实对象10所同时接触的多个标记中的一个脱离接触，则控制单元160确定了取消用于选择虚拟对象的输入，并控制全息图输出单元120改变在全息图显示区中显示的虚拟对象的颜色或形状。然后，控制单元160控制触觉提供单元140向全息图显示区提供声辐射压。
图3示出根据示例性实施方式的使用全息图来识别用户界面中的输入的方法。如图3所示，用户利用真实对象10(例如，手指)来选择与执行功能相关联的虚拟对象12，并将虚拟对象拖动至代表将要执行的功能的另一个虚拟对象14。在这样的情况下，控制单元160执行与虚拟对象14相关联的功能。
图4示出根据示例性实施方式的使用全息图来识别用户界面中的输入的方法。如图4所示，用户利用多个真实对象10(例如，附接到用户手指上的小尺寸设备)来选择多个虚拟对象C、c和A，响应于该选择操作，控制单元160执行功能。
图5示出根据示例性实施方式的使用全息图来识别用户界面中的输入的方法。如图5所示，用户利用多个真实对象10(例如，手指)来接触虚拟对象16的多个标记以选择虚拟对象16，并可将虚拟对象16拖动至另一个虚拟对象，例如，拖动至代表执行功能的虚拟对象18。在这种情况下，控制单元160执行与虚拟对象16相关联的功能。
图6示出根据示例性实施方式的使用全息图来识别用户界面中的输入的方法。如图6所示，用户利用多个真实对象10(例如，手指)来接触虚拟对象20的多个标记以选择虚拟对象20，并操作该虚拟对象20。例如，用户可以旋转虚拟对象20。
图7示出根据示例性实施方式的使用全息图来识别用户界面中的输入的方法。如图7所示，用户利用一个或多个真实对象10(例如，手指)来执行穿过所显示的或所投射的虚拟对象22的挥击(swipe)，响应于该挥击，控制单元160可以执行功能。例如，在图7中，控制单元160响应于挥击来执行显示关闭功能。
图8是示出根据示例性实施方式的使用全息图的用户界面的构造的框图。图10示出根据示例性实施方式的使用全息图来识别用户界面中的输入的方法。如图8所示，使用全息图的触摸式用户界面200包括存储单元110、全息图输出单元120、真实对象感应单元130、触觉提供单元140、接触识别单元150、控制单元160和通信单元170。以下参照图8和图10来描述触摸式用户界面200。尽管此处被描述为触摸式用户界面200，但是，就各方面而言，用户界面200并非必须是触摸式的。
存储单元110存储关于各个虚拟对象的形状、功能、初始位置和初始运动模式的信息。关于初始位置的信息包括三维位置坐标等。关于初始运动模式的信息包括三维位置坐标、向量值(即，运动距离、方向和速度)等。
全息图输出单元120在控制单元160的控制下在空间中的任意区域中投射全息图显示区，并在所投射的全息图显示区中显示虚拟对象。
如果在通信单元170中接收来自全息图显示区中存在的真实对象10a和/或10b的无线信号，则真实对象感应单元130提取包含在所接收的无线信号中的真实对象10a和/或10b的功能信息，并利用所接收的无线信号来生成关于全息图显示区中的真实对象10a和/或10b的位置和运动模式的信息。然后，真实对象感应单元130向控制单元160提供所生成的信息。
真实对象10a和10b包括不同的功能。例如，真实对象10a包括或代表输入选择的功能、输入执行指令的功能等，而真实对象10b包括或代表输入取消选择的功能、输入取消指令的功能等。真实对象10a和10b可以是具有发送无线信号的功能的小尺寸设备，其中，所述无线信号包含关于所包含的功能的信息。可以以可附接到用户手指的形状来形成所述小尺寸设备。
通信单元170与真实对象10a和/或10b进行无线通信。通信单元170接收从真实对象发送的无线信号，并向真实对象感应单元130提供所接收的无线信号。例如，通信单元170包括定向天线模块(未示出)等。
真实对象感应单元130从通信单元170接收从全息图显示区中存在的真实对象10a和/或10b发送的无线信号，并且，真实对象感应单元130利用所接收的无线信号的接收强度来确定与真实对象10a和/或10b的距离。然后，真实对象感应单元130利用所确定的与真实对象10a和/或10b的距离以及无线信号的接收方向来获取在全息图显示区中发送无线信号的真实对象10a和/或10b的三维位置坐标，并且真实对象感应单元130利用所获得的三维位置坐标生成关于真实对象10a和/或10b的位置的信息。真实对象感应单元130利用基于真实对象10的位置变化的真实对象10a和/或10b的三维位置坐标的变化来计算基于真实对象10a和/或10b的位置变化的向量值，并且，真实对象感应单元130利用所计算出的向量值来生成关于真实对象10a和/或10b的运动模式的信息。
触觉提供单元140在控制单元160的控制下通过辐射声波来向全息图显示区提供声辐射压。结果，全息图显示区中存在的真实对象10a和/或10b受到由触觉提供单元140提供的声辐射压的影响。
控制单元160控制全息图输出单元120投射全息图显示区，并控制虚拟对象以使其显示在所投射的全息图显示区中。控制单元160利用存储单元110中存储的信息来控制虚拟对象，以提供将分别在它们的初始位置处显示或者将分别以它们的初始模式运动的各种功能。
接触识别单元150利用由真实对象感应单元130生成的关于真实对象10a和/或10b的位置和运动模式的信息以及存储单元110中存储的信息，来实时地识别由全息图输出单元120投射的全息图显示区中的各个真实对象10a和/或10b以及虚拟对象的位置和运动模式。因此，接触识别单元150确定在全息图显示区中是否发生虚拟对象与真实对象10a和/10b之间的接触。如果与各个虚拟对象及真实对象10a和/或10b的形状相对应的三维位置坐标的一部分在全息图显示区中交叠，则接触识别单元150识别出在虚拟对象和真实对象10a和/或10b之间发生接触。
如果接触识别单元150识别出在全息图显示区中发生了虚拟对象和真实对象10a和/或10b之间的接触，则控制单元160利用由真实对象感应单元130提取的真实对象10a和/或10b的功能信息来识别与虚拟对象接触的真实对象10a和/或10b的功能，并基于所识别的真实对象10a和/或10b的功能来识别出虚拟对象和真实对象10a和/或10b之间的接触是用户输入。控制器160可确定出虚拟对象和真实对象10a和/或10b之间的接触是否对应于用于选择所述虚拟对象的输入或者用于取消所述选择的输入，虚拟对象和真实对象10a和/或10b之间的接触是否对应于用于执行任意功能的指令或者用于取消所述任意功能的执行的指令等。
如果确定了虚拟对象和真实对象10a和/或10b之间的接触对应于用于选择所述虚拟对象的输入或者用于取消所述选择的输入，则控制单元160可以控制全息图输出单元120改变与真实对象10a和/或10b接触的虚拟对象的颜色或形状。控制单元160还可以控制触觉提供单元140以向全息图显示区提供声辐射压。
如果确定了虚拟对象和真实对象10a和/或10b之间的接触是用于选择虚拟对象的输入，则控制单元160利用由真实对象感应单元130生成的关于真实对象10a和/或10b的运动模式的信息来实时地跟踪真实对象10a和/或10b在全息图显示区中的运动。然后，控制单元160控制全息图输出单元120以使与真实对象10a和/或10b接触的虚拟对象能够与真实对象10a和/或10b的运动相对应地运动。
如果识别出由用户输入了用于执行任意功能的指令或者由用户输入了用于取消所述任意功能的指令，则控制单元160控制全息图输出单元120改变全息图显示区的颜色或形状或者在全息图显示区中显示的虚拟对象的颜色或形状。控制单元160可以控制触觉提供单元140以向全息图显示区提供声辐射压。
以下将参照图9和图10来描述根据示例性实施方式的使用全息图来识别用户界面中的输入的方法。图9是示出根据示例性实施方式的使用全息图来识别用户界面中的输入的方法的流程图。
首先，使用全息图的用户界面200在空间中投射全息图显示区，并在所投射的全息图显示区中显示虚拟对象(S300)。
如果确定了真实对象10a和/或10b与操作S300中显示的虚拟对象中的一个之间发生了接触(S310)，则控制单元160识别与虚拟对象接触的真实对象10a和/或10b的功能(S320)，并基于所识别的真实对象10a和/或10b的功能来识别出虚拟对象与真实对象10a和/或10b之间的接触是用户输入(S330)。
在操作S330中，控制单元160可以确定虚拟对象和真实对象10a和/或10b之间的接触是否对应于用于选择所述虚拟对象的输入或者用于取消所述选择的输入，或者，控制单元160可确定由用户输入了用于执行指定功能的指令，或者由所述用户输入了用于取消所述指定功能的执行的指令。
如果在操作S330中确定了虚拟对象和真实对象10a和/或10b之间的接触对应于用于选择所述虚拟对象的输入，则控制单元160实时地跟踪真实对象10a和/或10b的运动，并控制全息图输出单元120以使与真实对象10a和/或10b接触的虚拟对象能够与真实对象10a和/或10b的运动相对应地运动。
如果在操作S330中确定了虚拟对象和真实对象10a和/或10b之间的接触对应于用于选择所述虚拟对象的输入或者用于取消所述选择的输入，则控制单元160控制全息图输出单元120改变与真实对象10a和/或10b接触的虚拟对象的颜色或形状。例如，在操作S330中，如果具有输入选择的功能的真实对象10a与虚拟对象接触，如图10所示，则控制单元160确定了虚拟对象和真实对象10a之间的接触对应于用于选择所述虚拟对象的输入。如果具有输入取消选择的功能的真实对象10b与虚拟对象接触，则控制单元160确定了虚拟对象和真实对象10b之间的接触对应于用于取消所述虚拟对象的选择的输入。如果在操作S330中识别出由用户输入了用于执行指定功能的指令，或者由所述用户输入了用于取消指定功能的执行的指令，则控制单元160控制全息图输出单元120改变全息图显示区的颜色或形状或者与真实对象10a和/或10b接触的虚拟对象的颜色或形状。然后，控制单元160控制触觉提供单元140以向全息图显示区提供声辐射压。
例如，在操作S330中，如果具有输入执行指令的功能的真实对象10a与虚拟对象接触，如图10所示，则控制单元160识别出由于虚拟对象与具有输入所述执行指令的功能的真实对象10a之间的接触而输入了用于执行指定功能的指令。如果具有输入用于取消所述执行的指令的功能的真实对象10b与虚拟对象接触，则控制单元160识别出由于虚拟对象与具有输入用于取消所述执行的指令的功能的真实对象10b之间的接触而输入了用于取消指定功能的执行的指令。由于多个真实对象10a和/或10b具有各种不同的功能，所以用户可以在不同的手指上放置具有不同功能的真实对象10a和/或10b，以操作使用全息图的用户界面。
此处公开的使用全息图的用户界面不限于前述实施方式，但是可以在由此处公开的技术精神允许的范围内进行各种修改。
根据此处公开的使用全息图的用户界面，利用全息图在空间中显示用于用户输入的虚拟对象，并且通过所显示的虚拟对象来识别用户输入。
并且，根据此处公开的使用全息图的用户界面，由于用户输入被识别，所以可通过视觉或触觉效果将用户输入的识别反馈给用户。
对于本领域技术人员而言很明显，在不脱离本发明的精神或范围的情况下可在本发明中做出各种修改和变型。因此，本发明旨在涵盖落入所附权利要求及其等同物的范围内的本发明的修改和变型。

Claims (27)

1.一种用户界面，该用户界面包括：
存储单元，其存储关于虚拟对象的形状、功能、位置和运动摸式的信息；
全息图输出单元，其投射出全息图显示区并且在所投射的全息图显示区中显示所述虚拟对象；
真实对象感应单元，其感应所述全息图显示区中的真实对象并且生成关于所述真实对象的位置和运动摸式的信息；
接触识别单元，其根据由所述真实对象感应单元生成的关于所述真实对象的位置和运动摸式的信息以及所述存储单元中存储的信息，来确定所述全息图显示区中的各个虚拟对象和所述真实对象的位置和运动摸式，以识别所述虚拟对象和所述真实对象之间的接触；以及
控制单元，其确定所述虚拟对象和所述真实对象之间的所识别的接触是否对应于用于选择所述虚拟对象的输入。
2.根据权利要求1所述的用户界面，其中，如果确定了所述虚拟对象和所述真实对象之间的所述接触对应于用于选择所述虚拟对象的输入，则所述控制单元搜索所述存储单元中存储的信息以确定与所述真实对象接触的所述虚拟对象的功能，并确定出输入了用于执行所确定的功能的指令。
3.根据权利要求1所述的用户界面，其中，如果确定了所述虚拟对象和所述真实对象之间的所述接触对应于用于选择所述虚拟对象的输入，则控制单元控制所述全息图输出单元改变与所述真实对象接触的所述虚拟对象的颜色或形状。
4.根据权利要求1所述的用户界面，其中，如果所述控制单元确定了所述虚拟对象和所述真实对象之间的所述接触对应于用于取消所述选择的输入，则所述控制单元控制所述全息图输出单元改变与所述真实对象接触的所述虚拟对象的颜色或形状。
5.根据权利要求1所述的用户界面，其中，如果所述控制单元确定了所述虚拟对象和所述真实对象之间的所述接触对应于用于选择所述虚拟对象的输入，则所述控制单元根据由所述真实对象感应单元生成的关于所述真实对象的运动模式的信息来跟踪所述真实对象在所述全息图显示区中的运动，并且所述控制单元控制所述全息图输出单元以使与所述真实对象接触的所述虚拟对象与所述真实对象的运动相对应地运动。
6.根据权利要求1所述的用户界面，其中，如果所述真实对象与所述虚拟对象接触的时间比基准时间长，则所述控制单元确定出所述虚拟对象和所述真实对象之间的所述接触对应于用于选择所述虚拟对象的输入。
7.根据权利要求1所述的用户界面，其中，如果多个所述真实对象与所述虚拟对象的多个标记接触，则所述控制单元确定出所述虚拟对象和多个所述真实对象之间的所述接触对应于用于选择所述虚拟对象的输入。
8.根据权利要求1所述的用户界面，其中，如果所述控制单元确定了所述虚拟对象和所述真实对象之间的所述接触对应于用于选择所述虚拟对象的输入，则所述控制单元根据由所述真实对象感应单元生成的关于所述真实对象的运动模式的信息来跟踪所述真实对象在所述全息图显示区中的运动，并且，如果与所述虚拟对象接触的所述真实对象处于由所述真实对象感应单元感应的范围之外，则所述控制单元确定出取消了用于选择所述虚拟对象的输入。
9.根据权利要求1所述的用户界面，其中，如果所述控制单元确定了所述虚拟对象和所述真实对象之间的所述接触对应于用于选择所述虚拟对象的输入，则所述控制单元根据由所述真实对象感应单元生成的关于所述真实对象的运动模式的信息来跟踪所述真实对象在所述全息图显示区中的运动，并且，如果多个所述真实对象中的一个与所述多个真实对象所接触的所述多个标记中的一个脱离接触，则所述控制单元确定出取消了用于选择所述虚拟对象的输入。
10.根据权利要求1所述的用户界面，其中，所述控制单元对所述全息图输出单元进行控制，以响应于与所述虚拟对象接触的所述真实对象的旋转运动来旋转所述虚拟对象，或者基于与所述虚拟对象接触的所述真实对象的运动响应于所述真实对象的运动位置来拖动所述虚拟对象，并且，所述控制单元确定出输入了用于执行指定功能的指令，或者输入了用于取消所述指定功能的执行的指令。
11.根据权利要求1所述的用户界面，其中，如果所述虚拟对象沿一方向以一角度旋转，如果所述虚拟对象被拖动到用于提供执行功能或取消功能的虚拟对象被显示的位置，如果用于提供所述执行功能或所述取消功能的所述虚拟对象被拖动到要被执行或取消的虚拟对象被显示的位置，或者如果所述真实对象的所述运动模式对应于指定的运动模式，则所述控制单元识别出输入了用于执行指定功能的指令或者输入了用于取消所述指定功能的执行的指令。
12.根据权利要求11所述的用户界面，其中，如果确定出输入了用于执行所述指定功能的指令或者输入了用于取消所述指定功能的执行的指令，则所述控制单元控制所述全息图输出单元改变所述全息图显示区的颜色或形状或者改变所述全息图显示区中显示的所述虚拟对象的颜色或形状。
13.根据权利要求1所述的用户界面，该用户界面还包括触觉提供单元，该触觉提供单元辐射声波以向所述全息图显示区提供声辐射压。
14.根据权利要求1所述的用户界面，其中，所述真实对象感应单元确定所述真实对象在所述全息图显示区中的三维位置坐标，利用所确定的三维位置坐标来生成关于所述真实对象的位置的信息，根据所述真实对象的所述三维位置坐标的变化来计算根据所述真实对象的位置变化的向量值，并根据所计算出的向量值来生成关于所述真实对象的所述运动模式的信息。
15.根据权利要求14所述的用户界面，其中，所述真实对象感应单元根据电容性触摸屏方法、红外触摸屏方法、电磁共振数字转换器方法或者图像识别方法中的一种方法来确定所述真实对象在所述全息图显示区中的三维坐标。
16.根据权利要求14所述的用户界面，其中，所述真实对象发送无线信号。
17.根据权利要求16所述的用户界面，其中，所述真实对象感应单元包括与所述真实对象通信的通信单元，并且
其中，所述真实对象感应单元通过所述通信单元接收从所述真实对象发送的所述无线信号，根据所接收的无线信号的接收强度来确定与所述真实对象的距离，并根据所确定的与所述真实对象的距离以及所接收的无线信号的接收方向来确定所述真实对象的三维坐标。
18.一种用户界面，该用户界面包括：
存储单元，其存储关于虚拟对象的形状、功能、位置和运动摸式的信息；
全息图输出单元，其投射出全息图显示区并且在所投射的全息图显示区中显示虚拟对象；
通信单元，其接收从发送无线信号的真实对象发送的所述无线信号，该无线信号包含信息；
真实对象感应单元，其从所述通信单元接收所述无线信号，提取所述无线信号中包含的所述信息，并且根据所述无线信号生成关于所述全息图显示区中的所述真实对象的位置和运动摸式的信息；
接触识别单元，其根据由所述真实对象感应单元生成的关于所述真实对象的位置和运动摸式的信息以及所述存储单元中存储的信息来确定所述全息图显示区中的各个虚拟对象和所述真实对象的位置和运动摸式，以识别所述虚拟对象和所述真实对象之间的接触；以及
控制单元，其根据由所述真实对象感应单元提取的所述真实对象的信息来确定与所述虚拟对象接触的所述真实对象的功能。
19.根据权利要求18所述的用户界面，其中，如果所述控制单元确定了所述虚拟对象和所述真实对象之间的所述接触对应于用于选择所述虚拟对象的输入或者用于取消所述选择的输入，则所述控制单元控制所述全息图输出单元改变与所述真实对象接触的所述虚拟对象的颜色或形状。
20.根据权利要求18所述的用户界面，其中，如果所述控制单元确定了所述虚拟对象和所述真实对象之间的所述接触对应于用于选择所述虚拟对象的输入，则所述控制单元根据由所述真实对象感应单元生成的关于所述真实对象的运动模式的信息来跟踪所述真实对象在所述全息图显示区中的运动，并且所述控制单元控制所述全息图输出单元以使与所述真实对象接触的所述虚拟对象与所述真实对象的运动相对应地运动。
21.根据权利要求18所述的用户界面，其中，如果所述控制单元确定出通过所述虚拟对象和所述真实对象之间的接触而输入了用于执行指定功能的指令或者通过所述虚拟对象和所述真实对象之间的接触而输入了用于取消所述指定功能的执行的指令，则所述控制单元控制所述全息图输出单元改变所述全息图显示区的颜色或形状或者改变所述全息图显示区中所显示的所述虚拟对象的颜色或形状。
22.根据权利要求18所述的用户界面，该用户界面还包括触觉提供单元，该触觉提供单元辐射声波以向所述全息图显示区提供声辐射压。
23.根据权利要求18所述的用户界面，其中，所述真实对象感应单元从所述通信单元接收由所述真实对象发送的所述无线信号，所述真实对象感应单元根据所接收的无线信号的接收强度来确定与所述真实对象的距离，根据所确定的与所述真实对象的距离以及所述无线信号的接收方向来确定所述真实对象的所述三维位置坐标，根据所确定的三维位置坐标来生成关于所述真实对象的位置的信息，根据基于所述真实对象的位置变化的所述真实对象的所述三维位置坐标的变化来计算根据所述真实对象的位置变化的向量值，并且根据所计算出的向量值来生成关于所述真实对象的所述运动模式的信息。
24.一种用户界面，该用户界面包括：
存储单元，其存储关于虚拟对象的信息；
全息图输出单元，其在全息图显示区中投射出所述虚拟对象；
真实对象感应单元，其感应所述全息图显示区中的真实对象；
接触识别单元，其根据关于所述虚拟对象的信息以及关于所感应的真实对象的信息来确定所述真实对象和所述虚拟对象之间的接触；以及
控制单元，其确定所识别的接触是否对应于用于选择所述虚拟对象的输入。
25.一种用于用户界面的方法，该方法包括以下步骤：
在全息图显示区中显示虚拟对象；
确定真实对象和所述虚拟对象之间是否发生接触；
确定所述真实对象和所述虚拟对象之间的所述接触是否对应于用于选择所述虚拟对象的输入；
根据所述真实对象的运动来使所选择的虚拟对象运动；以及
根据所选择的虚拟对象的运动来执行与所选择的虚拟对象相对应的功能。
26.一种用于用户界面的方法，该方法包括以下步骤：
在全息图显示区中显示虚拟对象；
确定真实对象和所述虚拟对象之间是否发生接触；
如果发生接触，则确定所述真实对象的功能；以及
针对所述虚拟对象执行所述真实对象的功能。
27.根据权利要求26所述的方法，其中，确定所述真实对象的所述功能的步骤包括接收从所述真实对象发送的信号。
CN2010102551848A 2010-01-29 2010-08-13 使用全息图的用户界面和用于该用户界面的方法 Active CN102141877B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0008733 2010-01-29
KR1020100008733A KR101114750B1 (ko) 2010-01-29 2010-01-29 다차원 영상을 이용한 사용자 인터페이스 장치

Publications (2)

Publication Number Publication Date
CN102141877A true CN102141877A (zh) 2011-08-03
CN102141877B CN102141877B (zh) 2013-11-13

Family

ID=44168304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102551848A Active CN102141877B (zh) 2010-01-29 2010-08-13 使用全息图的用户界面和用于该用户界面的方法

Country Status (6)

Country Link
US (1) US20110191707A1 (zh)
EP (1) EP2381339B1 (zh)
JP (1) JP2011159273A (zh)
KR (1) KR101114750B1 (zh)
CN (1) CN102141877B (zh)
TW (1) TW201126378A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761085A (zh) * 2013-12-18 2014-04-30 微软公司 混合现实全息对象开发
CN103959179A (zh) * 2011-10-20 2014-07-30 皇家飞利浦有限公司 用于医疗程序的全息用户界面
CN104123095A (zh) * 2014-07-24 2014-10-29 广东欧珀移动通信有限公司 一种基于矢量运算的悬浮触控方法及装置
CN105204619A (zh) * 2015-08-19 2015-12-30 广州杰赛科技股份有限公司 一种全息投影装置、终端及智能手表
CN105302281A (zh) * 2014-05-28 2016-02-03 席东民 一种全息虚拟触觉产生装置
US9429912B2 (en) 2012-08-17 2016-08-30 Microsoft Technology Licensing, Llc Mixed reality holographic object development
CN109002231A (zh) * 2017-06-06 2018-12-14 欧姆龙株式会社 输入装置
CN109116976A (zh) * 2017-06-22 2019-01-01 欧姆龙株式会社 手势输入装置
CN112262451A (zh) * 2018-07-10 2021-01-22 欧姆龙株式会社 输入装置

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150121287A1 (en) * 2006-07-03 2015-04-30 Yoram Ben-Meir System for generating and controlling a variably displayable mobile device keypad/virtual keyboard
US20120066624A1 (en) * 2010-09-13 2012-03-15 Ati Technologies Ulc Method and apparatus for controlling movement of graphical user interface objects
KR101758163B1 (ko) * 2010-12-31 2017-07-14 엘지전자 주식회사 이동 단말기 및 그의 홀로그램 제어방법
KR101330808B1 (ko) * 2011-01-27 2013-11-18 주식회사 팬택 증강 현실 편집 장치
TW201246046A (en) * 2011-05-11 2012-11-16 Chi Mei Comm Systems Inc Method and system for selecting objects
JP5670255B2 (ja) 2011-05-27 2015-02-18 京セラ株式会社 表示機器
TW201300839A (zh) * 2011-06-24 2013-01-01 Era Optoelectronics Inc 浮在空中的虛擬電漿顯示裝置
JP5864144B2 (ja) * 2011-06-28 2016-02-17 京セラ株式会社 表示機器
KR20140068927A (ko) * 2011-09-07 2014-06-09 닛토덴코 가부시키가이샤 사용자 인터페이스 표시 장치
DE102011112618A1 (de) * 2011-09-08 2013-03-14 Eads Deutschland Gmbh Interaktion mit einem dreidimensionalen virtuellen Szenario
CN110275607A (zh) 2011-11-21 2019-09-24 株式会社尼康 显示装置及显示控制程序
KR101370090B1 (ko) * 2011-12-15 2014-03-06 한양대학교 산학협력단 가상 영상에 대한 촉감 제공 장치 및 방법
KR101318244B1 (ko) 2012-02-29 2013-10-15 한국과학기술연구원 3차원 사용자 인터페이스 구현 시스템 및 구현 방법
US9619036B2 (en) * 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
KR101950939B1 (ko) 2012-09-13 2019-02-22 삼성전자주식회사 홀로그래픽 객체 처리 장치 및 그 동작 방법
EP2905676A4 (en) * 2012-10-05 2016-06-15 Nec Solution Innovators Ltd USER INTERFACE DEVICE AND USER INTERFACE PROCEDURE
WO2014061310A1 (ja) * 2012-10-16 2014-04-24 日本電気株式会社 表示物制御システム、表示物制御方法及びプログラム
US10241638B2 (en) * 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
KR101956073B1 (ko) 2012-12-20 2019-03-08 삼성전자주식회사 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법
KR101844303B1 (ko) 2013-02-25 2018-04-02 삼성전자주식회사 동적 자기장 제어를 이용하여 입출력 인터페이스를 제공하는 입체 영상 장치 및 그 장치를 이용한 방법
JP6266229B2 (ja) 2013-05-14 2018-01-24 東芝メディカルシステムズ株式会社 画像処理装置、方法、及びプログラム
CA2917478A1 (en) * 2013-07-10 2015-01-15 Real View Imaging Ltd. Three dimensional user interface
US20150065221A1 (en) * 2013-09-03 2015-03-05 Samsung Electronics Co., Ltd. Method and device for operating 3d virtual chessboard
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN115359567A (zh) * 2014-06-14 2022-11-18 奇跃公司 用于产生虚拟和增强现实的方法和***
JP6428020B2 (ja) * 2014-07-24 2018-11-28 セイコーエプソン株式会社 Ｇｕｉ装置
KR20160085613A (ko) 2015-01-08 2016-07-18 엘지전자 주식회사 이동단말기 및 그 제어방법
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US9713871B2 (en) 2015-04-27 2017-07-25 Microsoft Technology Licensing, Llc Enhanced configuration and control of robots
US10007413B2 (en) 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
US11449146B2 (en) * 2015-06-10 2022-09-20 Wayne Patrick O'Brien Interactive holographic human-computer interface
DE102015213424A1 (de) * 2015-07-16 2017-01-19 Audi Ag Verfahren und Bediensystem zum Bedienen von mindestens einer Funktion in einem Fahrzeug
EP3332314B1 (en) * 2015-08-04 2024-04-10 Google LLC Input via context sensitive collisions of hands with objects in virtual reality
WO2017047832A1 (ko) * 2015-09-14 2017-03-23 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106371574B (zh) * 2015-12-04 2019-03-12 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互***
EP3459071B1 (en) 2016-05-20 2022-05-11 Magic Leap, Inc. Contextual awareness of user interface menus
US10418008B2 (en) * 2016-07-20 2019-09-17 Beamz Ip, Llc Cyber reality device including gaming based on a plurality of musical programs
IL303843B2 (en) 2016-08-11 2024-06-01 Magic Leap Inc Automatic positioning of a virtual object in three-dimensional space
US10628013B2 (en) * 2016-09-02 2020-04-21 Accenture Global Solutions Limited Closed-loop display control for multi-dimensional user interface generation
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
US10691066B2 (en) 2017-04-03 2020-06-23 International Business Machines Corporation User-directed holographic object design
US10534441B2 (en) * 2017-07-31 2020-01-14 Driessen Aerospace Group N.V. Virtual control device and system
EP3542252B1 (en) 2017-08-10 2023-08-02 Google LLC Context-sensitive hand interaction
US10591730B2 (en) * 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
US20190187875A1 (en) * 2017-12-15 2019-06-20 International Business Machines Corporation Remote control incorporating holographic displays
JP6703283B2 (ja) * 2018-07-17 2020-06-03 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
DE112019005069T5 (de) * 2018-10-11 2021-08-19 Omron Corporation Eingabevorrichtung
KR102207067B1 (ko) 2018-12-28 2021-01-25 이진우 홀로그램 기반의 문자 인식 방법 및 그 장치
US10885715B2 (en) * 2019-01-14 2021-01-05 Microsoft Technology Licensing, Llc Interactive carry
JP2019169180A (ja) * 2019-05-28 2019-10-03 株式会社ミツトヨ コマンド実行システムおよび位置計測装置
US11227444B2 (en) 2020-03-09 2022-01-18 International Business Machines Corporation Virtual reality content adaptation
TWI817186B (zh) * 2020-09-29 2023-10-01 仁寶電腦工業股份有限公司 物件操作系統及物件操作方法
US12010290B2 (en) * 2020-12-11 2024-06-11 Nippon Telegraph And Telephone Corporation Image display method, image display device, and program
US20220313216A1 (en) * 2021-03-31 2022-10-06 Baker Hughes Holdings Llc Augmented reality in ultrasonic inspection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031519A (en) * 1997-12-30 2000-02-29 O'brien; Wayne P. Holographic direct manipulation interface
WO2007003195A1 (en) * 2005-07-04 2007-01-11 Bang & Olufsen A/S A unit, an assembly and a method for controlling in a dynamic egocentric interactive space
WO2008001202A2 (en) * 2006-06-28 2008-01-03 Nokia Corporation Touchless gesture based input
CN101408814A (zh) * 2007-10-04 2009-04-15 株式会社东芝 姿态确定装置及方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62233823A (ja) * 1986-04-03 1987-10-14 Fuji Electric Co Ltd Ｃｒｔ装置の座標入力確認方法
JPH0830389A (ja) * 1994-07-12 1996-02-02 Saifuaa Shiya:Kk 三次元マウス装置および三次元画像データ・指令入力装置
US6061177A (en) * 1996-12-19 2000-05-09 Fujimoto; Kenneth Noboru Integrated computer display and graphical input apparatus and method
JP2000075991A (ja) * 1998-08-28 2000-03-14 Aqueous Research:Kk 情報入力装置
US6507353B1 (en) * 1999-12-10 2003-01-14 Godot Huard Influencing virtual actors in an interactive environment
JP4526639B2 (ja) * 2000-03-02 2010-08-18 本田技研工業株式会社 顔認識装置およびその方法
JP2001356878A (ja) * 2000-06-14 2001-12-26 Hitachi Ltd アイコン制御方法
CN100489881C (zh) * 2001-01-08 2009-05-20 Vkb有限公司 数据输入装置和数据输入方法
JP2003029898A (ja) * 2001-07-16 2003-01-31 Japan Science & Technology Corp 触覚装置
US20080288895A1 (en) * 2004-06-29 2008-11-20 Koninklijke Philips Electronics, N.V. Touch-Down Feed-Forward in 30D Touch Interaction
WO2006109944A1 (en) * 2005-03-30 2006-10-19 Lg Electronics Inc. Avatar refrigerator
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US20080231926A1 (en) * 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
US7895518B2 (en) * 2007-04-27 2011-02-22 Shapewriter Inc. System and method for preview and selection of words
US7881901B2 (en) * 2007-09-18 2011-02-01 Gefemer Research Acquisitions, Llc Method and apparatus for holographic user interface communication
US8477098B2 (en) * 2007-10-31 2013-07-02 Gene S. Fein Method and apparatus for user interface of input devices
JP5439977B2 (ja) * 2009-06-24 2014-03-12 富士ゼロックス株式会社 動作判定システム、動作判定装置およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031519A (en) * 1997-12-30 2000-02-29 O'brien; Wayne P. Holographic direct manipulation interface
WO2007003195A1 (en) * 2005-07-04 2007-01-11 Bang & Olufsen A/S A unit, an assembly and a method for controlling in a dynamic egocentric interactive space
WO2008001202A2 (en) * 2006-06-28 2008-01-03 Nokia Corporation Touchless gesture based input
CN101408814A (zh) * 2007-10-04 2009-04-15 株式会社东芝 姿态确定装置及方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959179A (zh) * 2011-10-20 2014-07-30 皇家飞利浦有限公司 用于医疗程序的全息用户界面
CN103959179B (zh) * 2011-10-20 2017-09-15 皇家飞利浦有限公司 用于医疗程序的全息用户界面
US9429912B2 (en) 2012-08-17 2016-08-30 Microsoft Technology Licensing, Llc Mixed reality holographic object development
CN103761085B (zh) * 2013-12-18 2018-01-19 微软技术许可有限责任公司 混合现实全息对象开发
CN103761085A (zh) * 2013-12-18 2014-04-30 微软公司 混合现实全息对象开发
CN105302281A (zh) * 2014-05-28 2016-02-03 席东民 一种全息虚拟触觉产生装置
CN104123095A (zh) * 2014-07-24 2014-10-29 广东欧珀移动通信有限公司 一种基于矢量运算的悬浮触控方法及装置
CN105204619A (zh) * 2015-08-19 2015-12-30 广州杰赛科技股份有限公司 一种全息投影装置、终端及智能手表
CN109002231A (zh) * 2017-06-06 2018-12-14 欧姆龙株式会社 输入装置
CN109116976A (zh) * 2017-06-22 2019-01-01 欧姆龙株式会社 手势输入装置
CN109116976B (zh) * 2017-06-22 2022-05-10 欧姆龙株式会社 手势输入装置
CN112262451A (zh) * 2018-07-10 2021-01-22 欧姆龙株式会社 输入装置
CN112262451B (zh) * 2018-07-10 2024-04-23 欧姆龙株式会社 输入装置

Also Published As

Publication number Publication date
EP2381339B1 (en) 2013-11-27
JP2011159273A (ja) 2011-08-18
US20110191707A1 (en) 2011-08-04
CN102141877B (zh) 2013-11-13
EP2381339A3 (en) 2011-11-09
KR101114750B1 (ko) 2012-03-05
TW201126378A (en) 2011-08-01
EP2381339A2 (en) 2011-10-26
KR20110088969A (ko) 2011-08-04

Similar Documents

Publication Publication Date Title
CN102141877B (zh) 使用全息图的用户界面和用于该用户界面的方法
TWI690842B (zh) 基於手勢辨認的互動顯示方法和裝置
JP6434052B2 (ja) ウェアラブルデバイスを通じたレーダ型ジェスチャ認識
JP6333568B2 (ja) センサを用いる近接動作認識装置及びその装置を用いた方法
EP2630563B1 (en) Apparatus and method for user input for controlling displayed information
US9477324B2 (en) Gesture processing
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
US9990062B2 (en) Apparatus and method for proximity based input
EP3619595A1 (en) Syndication of direct and indirect interactions in a computer-mediated reality environment
US20070222746A1 (en) Gestural input for navigation and manipulation in virtual space
WO2012032515A1 (en) Device and method for controlling the behavior of virtual objects on a display
KR20130061711A (ko) 통신 기기들 사이에서 정보 아이템들을 전달하기 위한 장치 및 방법
KR20190020174A (ko) 레이더-기반 제스처 감지 및 데이터 송신
WO2012062958A1 (en) Apparatus and method for user input for controlling displayed information
CN108159697A (zh) 虚拟对象传送方法及装置、存储介质、电子设备
US20140035848A1 (en) Electronic pen input recognition apparatus and method using c-type touch screen panel (tsp)
TW201638728A (zh) 用以處理與移動相關的資料之計算裝置及方法
CN105138136A (zh) 手势识别装置、手势识别方法及手势识别***
KR20230026352A (ko) 접촉 기반 입력 장치를 위한 비접촉식 개조 인터페이스
CN108170295A (zh) 虚拟摄像机状态控制方法、装置、电子设备及存储介质
JP2021077311A (ja) ヒューマン・コンピュータ・インタラクション・システム及びヒューマン・コンピュータ・インタラクションの方法
US9851801B1 (en) Dual touchpad system
KR101961786B1 (ko) 터치스크린을 포함하는 단말을 이용한 마우스 기능의 제공 방법 및 장치
KR102405476B1 (ko) 비접촉 입력에 기초한 엘리베이터 조작 방법 및 시스템
KR20090103384A (ko) 공간 투영 및 공간 터치 기능이 구비된 네트워크 단말 장치및 그 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB03 Change of inventor or designer information

Inventor after: Li Hanquan

Inventor before: Li Hanquan

Inventor before: Jin Qizheng

Inventor before: Jin Yingfeng

Inventor before: An Xiubin

Inventor before: Yuan Qixie

Inventor before: Lin Xuanjin

Inventor before: Lin Hengyan

Inventor before: Zheng Cancheng

Inventor before: Han Yixi

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: LI HANQUAN JIN QIZHENG JIN YINGFENG AN XIUBIN WON GI SEOP LIN XUANJIN LIN HENGYAN ZHENG CANCHENG HAN YIXI TO: LI HANQUAN

C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: Seoul, South Kerean

Patentee after: Pantech property management Co.

Address before: Seoul, South Kerean

Patentee before: PANTECH Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20161028

Address after: Seoul, South Kerean

Patentee after: PANTECH CO.,LTD.

Address before: Seoul, South Kerean

Patentee before: Pantech property management Co.

TR01 Transfer of patent right

Effective date of registration: 20200611

Address after: Seoul, South Kerean

Patentee after: Pan Thai Co.,Ltd.

Address before: Seoul, South Kerean

Patentee before: Pantech Co.,Ltd.

TR01 Transfer of patent right