CN103534665A - 平视显示器的键盘化身 - Google Patents

平视显示器的键盘化身 Download PDF

Info

Publication number
CN103534665A
CN103534665A CN201280021362.8A CN201280021362A CN103534665A CN 103534665 A CN103534665 A CN 103534665A CN 201280021362 A CN201280021362 A CN 201280021362A CN 103534665 A CN103534665 A CN 103534665A
Authority
CN
China
Prior art keywords
user
input equipment
display
expression
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280021362.8A
Other languages
English (en)
Inventor
G·J·安德森
P·J·科里维奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN103534665A publication Critical patent/CN103534665A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/02—Flexible displays

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在一些实施例中，本发明涉及使用平视显示器（HUD）或头戴式显示器（HMD）来观看用户手指与通信地连接到计算设备的输入设备的表示。将键盘/手指表示连同从计算设备接收的应用显示一起显示。在一个实施例中，输入设备具有加速计，用以检测输入设备中的倾斜运动，并将该信息发送给计算设备。一个实施例在HUD/HMD显示器中提供了按键或控件促动的可视反馈。还描述和要求保护了其它实施例。

Description

平视显示器的键盘化身
技术领域
概括地说，本发明的实施例涉及平视显示器（heads up display），具体地说，本发明的实施例涉及用于使用平视或者头戴式显示器来观看该显示器中的屏幕或监视器视图之外还观看键盘/输入设备和手指相对于该输入设备的位置的***和方法。
背景技术
存在允许用户在不必低头的情况下观看显示器的各种机制。平视显示器（HUD）和头戴式显示器（HMD）允许人们在不低头看计算机的情况下观看显示器。HUD/HMD变得更小和更加灵活，更像一付太阳眼镜，因此更加流行。在现有***中，HUD/HMD可以用作笔记本计算机的显示器。当在飞机上和平视有利的其它场所中工作时，这是非常有用的。旁边的人看不到用户的显示器，用户使用笔记本工作不需要太大的空间；在飞机上的经济舱中尝试使用笔记本计算机可能是非常不舒适的。
在现有技术的情况下，触摸打字员已经可以在飞机上使用了HUD/HMD与笔记本，并且可以在不必看笔记本键盘的情况下使用笔记本上的键盘和鼠标。但是，大多数人在他们打字时，仍需要相对于他们的手指能够看到键盘，并且看到指点设备和音量控制的位置也是有帮助的。而HUD/HMD并不允许这些。
附图说明
通过本发明的以下详细描述，本发明的特征和优点将变得显而易见，其中：
图1示出了根据本发明实施例使用具有集成的照相机的智能电话、键盘和HMD的键盘化身***的实施例；
图2A示出了根据本发明实施例来自与面向照相机相反的视点的键盘和手指的图像；
图2B示出了根据本发明在图2A中看到的键盘和手指的旋转图像；
图2C示出了根据本发明实施例图2A-B的图像转换到从用户角度所看到的视角；
图3A示出了根据本发明实施例用于观看HUD/HMD的综合显示，其组合了来自用户会话的期望的显示输出和手指/键盘的图像；
图3B示出了根据本发明实施例用于观看HUD/HMD的综合显示，其组合了来自用户会话的期望的显示输出和化身手指/键盘表示；
图4示出了一种键盘化身***的实施例，其中该键盘化身***使用安装在与输入板HMD相耦合的扩展坞（docking station）中的照相机；以及
图5示出了一种键盘化身***的实施例，其中该键盘化身***使用照相机和HMD，所述照相机安装在与输入板具有相对位置的平台上。
具体实施方式
本发明的实施例是与无线显示技术有关的***和方法，在实现变得更小的情况下，该***和方法可以应用于平视显示器和头戴式显示器（HUD/HMD），从而允许无线HUD/HMD。无线协议802.11在一些商业航班中是可用的，并且在不久的未来可能变得更加普遍，其使得能利用本申请所描述的实施例。随着这些协议在将来允许增加的带宽，可以使用蓝牙技术。用户可以把集成的笔记本照相机安放在适当位置，以低头观看键盘上的用户手指，并随后在HUD/HMD连同所期望的显示上看到他们的手指。但是，使用该方法，视频与用户所需要的正常键盘角度是“颠倒的”，并且对于清楚地观看手指和键盘来说，光线状况可能不足够好。使用单一键盘布局和触摸板限制了用户体验。在本发明的实施例中，用户可以容易地改变输入设备，同时继续戴着HUD/HMD。在实施例中，可以使用***装配的光源或者红外线光源，来获得输入设备上的手指位置的更清晰图片。
说明书中对于本发明的“一个实施例”或者“实施例”的提及是指结合该实施例所描述的具体特征、结构或者特性包括在本发明的至少一个实施例中。贯穿说明书在各个地方出现短语“在一个实施例中”未必都是指代同一实施例。
为了解释的目的，给出了特定的配置和细节，以便提供对本发明的透彻理解。但是，对于本领域普通技术人员来说显而易见的是，可以在不使用本申请所给出的这些特定细节的情况下实现本发明的实施例。此外，为了避免造成本发明的模糊，省略或者简化了公知的特征。贯穿本说明书可以给出各个示例。这些示例只是本发明的特定实施例的描述。本发明的范围并不限于所给出的示例。为了说明和简化的目的，在本申请的描述中，术语平视显示器（HUD）还可以用于指代头戴式显示器（HMD），反之亦然。
本发明的实施例包括：充分地利用现有技术，允许用户看到他们的手指相对于键盘和其它控制在HUD或HMD上的表示的***。这允许非触摸打字员在不必直接观看笔记本的情况下使用笔记本。
在一个实施例中，物理键盘不是必须的。具有激光平面或照相机的硬质表面（本申请中称为“输入板”）可以用于放置在用户的膝盖上，或者放置在盘式桌面上。输入板在大小上可以是紧凑的，或许具有标准纸张的大小（8.5x11英寸）。HUD/HMD可以为用户显示虚拟键盘，对于用户来说虚拟键盘好像是位于输入板之上。输入板不需要具有按键或者控件的标记，但可以仅印有网格或者角标。用户可以在该表面上打字，并也可以将该虚拟表示交换到各种其它虚拟输入设备上。
输入板可以与加速计和其它传感器相耦合，以便检测用户的倾斜和姿势。例如，用户可以在该板上布置虚拟销子，以形成定制的弹球游戏。随后，用户将使用轻弹姿势或者使整个输入板倾斜，来使虚拟球在该表面各处移动。该可视反馈（其包括用户的手的表示）将在HMD/HUD上进行显示。
图1示出了根据本发明实施例的用于HUD/HMD的键盘化身的高级组件。可以使用具有绕轴旋转的照相机111的笔记本（或者其它计算设备）101来捕捉在键盘上的用户（120）手部。在实施例中，照相机111可以与智能电话110集成在一起。图2A示出了根据一个实施例从照相机的角度看到的在键盘上的用户手部的示例图像。可以对这些视频帧进行拉伸以校正照相机角度，使得该视频图像呈现为来自用户的视角（与照相机视角相反）。可以在应用中采用简单的转置算法，来获取输入的视频并使其倒转（图2B）。可以使用另一种算法，来稍微地对图像进行改变，以便向用户呈现一种显示，所述显示模拟的视图和角度就好像是该照相机处于用户眼睛的附近位置（图2C）。这些转置算法是可配置的，所以用户可以选择更期望的透视图像。
现参见图3A，随后，应用可以显示300与在使用的主应用（例如，word处理器、电子表格程序或画图程序、游戏等等）301相邻的键盘和手指视频303。这种视频方法需要适当的光线和来自集成照相机111的特定照相机角度。
在另一个实施例中，并不是观看键盘和用户的手的实际摄影图像或视频，而是用户观看手在键盘上的虚拟表示或者化身，如图3B中所示。在该实施例中，用户手指在键盘上或者在键盘附近的位置可以通过红外线进行感测，或者通过其它移动传感器进行感测。随后，提供手指相对于键盘603的人工表示（化身）602以替代视频图形（303），并随后与当前应用601一起显示。该方法创建了虚拟现实***和真实物理控制之间的混合。在该方法中，常规的照相机输入是可选的，因此节省了能量，并具有在很大范围的光线状况下进行使用的能力，并且不用关注适当的照相机角度。可以在HUD/HMD上显示600手和键盘的化身602/603以及正在使用的应用601，如图3A中所示（但其使用化身而不是实际视频）。这种化身表示还可以包括游戏控制器和/或虚拟输入设备选择用户界面（U/I）605。
创建和显示手和键盘的表示，可以用多种方式来执行。一种方法是分析输入的标准视频或输入的红外馈送。随后，可以通过软件、固件或硬件逻辑来分析常规的视频或红外视频，以便创建用户的手和键盘的表示。对于较差的可见光线状况来说，可以使用用于增强视频清晰度的多种方法，例如，改变在视频转换中使用的波长、捕捉与使用中的照相机可获得的频谱相比更小的频谱、或者提供另外的光源（例如，照相机装配的LED）。
在另一个实施例中，在121（图1）处并不是使用实际键盘，可以使用输入板。该输入板可以由柔性材料制成以便能卷起，或者由具有折痕的更硬的板制成以便折叠，从而易于运输。输入板可以包括可见网格，或者可以使用销子或其它临时固定单元将输入板放置在相对于照相机或感测设备的已知位置，以便提供用户手指对于输入板按键、按钮或其它输入指示符的已知视角。使用输入板避免了当空间很小时将全尺寸的膝上型设备放置在用户面前的需要。与全尺寸输入设备相比，输入板还可以在更小的规模上对输入设备虚拟化。
再次参见图1，已知有多种形式的可以购买的HUD和HMD130，例如具有眼镜的形式。这些眼镜的显示不管怎样都是从计算设备发送的。与PC相耦合的视频照相机111已经用于跟踪手部来实现姿势识别。可以通过标准的图像拉伸算法来对照相机视角进行校正，以便呈现为用户视角。键盘121的水平和垂直线可以提供参考点，以便消除角度失真或者在用户的方向上使角度颠倒近似30度（或者与用户的视线相一致的其它视角）。可以使用激光平面技术来实现输入板，例如可从Celluon公司获得的投影键盘中使用的技术。当用户的指尖打断与所述表面平行的投影平面时，注册了输入。或者，可以使用诸如能从Hewlett Packard获得的Touchsmart***中的技术。该技术是跟踪用户的手指如何打断平面的LED和光传感器的阵列。也可以使用各种电阻式触摸板技术或电容式触摸板技术。
在另一个实施例中，输入板可以具有另外的传感器（例如，加速计）。随后，板的倾斜用信号通知存在输入，以用于该板上的虚拟样品的移动。用于驱动这种应用的物理软件已经在多种智能电话、PDA和游戏软件中使用。但是，现有的***并不提供关于手指相对于输入设备的位置的可视反馈。在一个实施例中，HUD显示器将向用户显示图像表示，具有倾斜方向的输入板的化身或者视频。另一个实施例只在显示器中显示游戏结果，期望用户能够使用他/她的手感觉到这种倾斜。
在一个实施例中，输入板不具有显式的控件或按键位置，或者这些控件是可配置的。用于用户输入的游戏或应用控件（605）可以被配置为相对于视频板上的网格或位置，或者被配置为与照相机相距一定的距离，等等。一旦进行了配置，与该板相关联的输入感测装置就将能够识别用户已经发起了哪个控件。在实现输入板的倾斜或移动的实施例中，可能期望将照相机安装在该输入板上，以简化移动的识别。此外，可以基于用户的期望或者应用，关闭或者打开该倾斜方向的可视反馈。
用于输入板的（RGB或红外）照相机可以用于相对于输入板来跟踪用户的手和手指。当没有使用具有照相机的膝上型计算机时，可以将照相机安装在输入板上。与单一照相机相比，两个照相机可以提供更佳的性能，以防止来自单一照相机的“阴影”。这些照相机可以安装在用于保护镜头的小旋钮上。已经提出了这种双照相机***，并被指定用于跟踪姿势。或者，诸如具有集成的Webcam111的智能电话110之类的计算设备，可以停靠（dock）在输入板上，其中用户面向的照相机处于某一位置以捕捉用户的手部位置。
在一个实施例中，可以使用用于接收视频或传感器输入并解释手指位置的逻辑。已提出和实现了用于识别手部姿势的***（参见，USPN6,002,808以及2009年8月18日第一版出现在IEEE Conference on Multimedia andExpo2009,ICME2009,June28-Jul.3,2009,pp.938-941中、Chai等人发表的“Robust Hand Gesture Analysis And Application In Gallery Browing”，其中该文献可在下面的URL地址处获得：ieeexplore*ieee*org/stamp/stamp.jsp?arnumber=05202650）；以及使用3D照相机识别面部特征的***（参见，Haker等人在IEEE Sym.on Signals Circuits&Systems(ISSCS),session on Alg.For3D ToF-cameras(2007),pp.109-112中发表的“Geometric Invariants for Facial Feature Tracking with3D TOFCameras”）。应当注意的是，在本文档中出现的URL中的句点已经用星号进行了替代，以避免无意的超链接。可以采用所使用的或提出的用于识别姿势和面部特征的方法来识别手部和手指在键盘或者输入设备附近的移动，如本申请所描述的。
已存在识别图像或视频中的手指以分析姿势输入的逻辑或软件。这些现有的算法可以识别人体部位，并解释它们的运动。在一个实施例中，手指或手部识别算法逻辑单元与用于将该视频或化身图像添加到向HUD/HMD发送的复合视频的逻辑单元相耦合。因此，用户所看到的图像或视频将包括键盘/输入设备、手部视频或化身、以及监测器输出。来自于键盘或其它输入控件的反馈环允许化身表示指示何时促动了真实的控件。例如，在图像中在手指的指尖上面可以出现快速状态指示符，以显示促动了下面的控件。
在使用手指和键盘的化身的实施例中，可以将手指的图像可视地表示为是部分透明的。因此，当直接在一个按键/控件上使得一个指示符变得显著以显示该按键/控件被压下时，用户可以在显示器上通过手指图像的透明性看到该指示符，即使用户的实际手指正在覆盖键盘或者输入板上的控件也是如此。
参见图4，该图示出了使用输入板而不是键盘的替代实施例。用户120具有无线连接到计算设备401的HUD/HMD430，用于接收与输入板415上的手指位置和应用显示（301）相对应的图像。在该替代性实施例中，用户在输入板415处打字或者提供输入。输入板415可以耦接到扩展坞413。照相机或者具有集成照相机的智能设备411可以停靠在该扩展坞413中，其中扩展坞413可以放置在相对于输入板415的已知位置。应当理解的是，可以使用多种方式用板的位置来校准照相机，如上所述。扩展坞413可以包括：用于向计算设备401发送输入板和手指位置的视频的发射机。扩展坞还可以装备有传感器，以识别按键按压、鼠标点击和输入板的移动（当装备有加速计时），并将输入选择发送给计算设备401。应当理解的是，如上所述的任何一个通信路径都可以是有线的或者无线的，并且这些通信路径可以使用已知的或者将要发明出的任何传输协议，只要通信协议具有用于实时视频的带宽即可。例如，在本申请提交时存在的蓝牙协议可能不具有用于视频的适当带宽，但是视频友好的蓝牙协议和收发机可能在不久的未来是可用的。
在图5中示出了另一种替代性实施例。该实施例类似于图4中所示的实施例。但是，在该实施例中，输入板415a没有直接耦接到扩展坞。相反，输入板可以通过其自己的发射机（没有示出）传输用户输入。照相机411可以耦接或者停靠在单独的平台423上，其中平台423被放置在或调校到与输入板415a的已知相对位置。该平台（其可以与照相机或智能设备完全地集成在一起）向计算设备401发送输入板和键盘位置的视频。计算设备401向用户HUD/HMD130发送显示和键盘/手指视频或化身。
在一个实施例中，计算设备401在将视频发送给HUD/HMD130之前，将其转换到适当的视角。应当理解的是，在不脱离本发明的示例性实施例的范围的情况下，照相机的功能、相对位置的校准、视频转换/转置、输入识别和应用等等可以分布在任意单处理器或多处理器、多核计算设备或多线程计算设备中的多于一个的处理器或处理器核心当中。
例如，在一个实施例中，照相机耦接到智能设备，其中该智能设备执行输入板/手指视频向化身表示的转换，之后将该化身图像发送给计算设备，以便与应用显示进行合并。如果与实际视频表示所需要的帧速率和/或像素相比，化身表示是以更低的帧速率和/或更少的像素来生成的，则该实施例可以减少从照相机到计算设备的通信中的带宽需求。
在另一个实施例中，可以将照相机集成到HUD/HMD中。在该情况下，将需要键盘/手指图像的最小转换，这是由于已经从用户的视角看到了该图像。一个实施例需要HUD/HMD或集成的照相机具有发射机以及接收机，以便向计算设备发送照相机图像，从而集成到显示中。在另一个实施例中，HUD可以包括图像集成器，用以将从计算设备接收的应用或游戏显示与手指和键盘的视频或化身图像集成。这消除了从照相机向计算设备发送图像随后再发送回HUD的需要。HUD/HMD安装的照相机的照相机运动可能需要另外的转换和稳定逻辑，以便图像看上去更稳定。可以在输入板/设备上布置可视标记，以作为用于帮助稳定图像的参考点。
本申请描述的技术并不限于任何特定的硬件或者软件配置；它们可以适用于任何计算、消费电子或者处理环境。这些技术可以用硬件、软件或二者的组合来实现。
对于仿真，程序代码可以表示使用硬件描述语言或者另一种功能描述语言的硬件，其中该功能描述语言本质上提供期望如何执行所设计的硬件的模型。程序代码可以是汇编语言或者机器语言，或者是可以进行编译和/或解释的数据。此外，在本领域通常以一种形式或者其它形式提及软件是采取某种动作或者产生某种结果。这些表达只是陈述处理***执行程序代码使得处理器执行某种动作或者产生某种结果的简略方式。
每个程序可以用高级过程编程语言或者面向对象编程语言来实现，以便与处理***进行通信。但是，如果期望的话，可以用汇编语言或者机器语言来实现程序。在任何情况下，语言都是可以对被编译或被解释的。
程序指令可以用于使通用或专用处理***执行本申请所描述的操作，其中使用这些指令对该处理***进行了编程。替代地，这些操作可以由包含用于执行这些操作的硬线逻辑的特定硬件组件来执行，或者可以由编程的计算机组件和定制硬件组件的任意组合来执行。本申请所描述的方法可以被提供成计算机程序产品，计算机程序产品可以包括机器可存取介质，其中所述机器可存取介质上存储有指令，这些指令可以用于对处理***或其它电子设备进行编程以执行这些方法。
程序代码或指令可以存储在例如易失性存储器和/或非易失性存储器中，例如，存储设备和/或相关联的机器可读介质或机器可存取介质（其包括：固态存储器、硬盘驱动器、软盘、光存储器件、带、闪存、存储棒、数字视频盘、数字多用途光碟（DVD）等等），以及诸如机器可存取生物状态保持存储器之类的更特殊的介质。机器可读介质可以包括用于以机器可读形式来存储、发送或接收信息的任何机制，并且所述介质可以包括：对程序代码进行编码的电、光、声或者其它形式的传播信号或者载波能够穿过的有形介质，例如，天线、光纤、通信接口等等。程序代码可以以分组、串行数据、并行数据、传播信号等等的形式进行发送，并且程序代码可以以压缩或加密格式进行使用。
程序代码可以用在诸如移动或静止计算机、个人数字助理、机顶盒、蜂窝电话和寻呼机、消费电子设备（其包括DVD播放器、个人视频记录仪、个人视频播放器、卫星接收机、立体声接收机、电缆TV接收机）和其它电子设备之类的可编程机器上执行的程序来实现，其中每一个都包括处理器、可由所述处理器读取的易失性存储器和/或非易失性存储器、至少一个输入设备和/或一个或多个输出设备。程序代码可以应用于使用输入设备所输入的数据，以便执行所描述的实施例和生成输出信息。该输出信息可以应用于一个或多个输出设备。本领域普通技术人员应当理解的是，所公开主题的实施例可以用各种计算机***配置来实现，其中这些计算机***配置包括多处理器或多核处理器***、微计算机、大型计算机、以及实际上可以嵌入到任何设备的普适或微型计算机或处理器。此外，所公开主题的实施例还可以在分布式计算环境中实现，在该环境中，任务或者其一部分可以由通过通信网络链接在一起的远程处理设备来执行。
虽然可以将操作描述成串行过程，但事实上，这些操作中的一些可以并行地、同时地和/或在分布式环境下执行，其中程序代码本地和/或远程地存储，以便由单一处理器或多处理器机器进行存取。此外，在一些实施例中，在不脱离所公开主题的精神的情况下，可以对操作的顺序进行重新排列。程序代码可以由嵌入式控制器使用，或者结合嵌入式控制器进行使用。
虽然已经参照示例性实施例对本发明进行了描述，但该描述并不是旨在以限制性含义进行解释。这些示例性实施例的各种修改，以及对于本领域普通技术人员来说显而易见的与本发明有关的、本发明的其它实施例，都认为落入本发明的精神和范围之内。

Claims (37)

1.一种***，包括：
计算设备，其与用于用户输入的输入设备通信地耦合；
照相机，其用于捕捉所述用户与所述输入设备的物理交互的视频图像；以及
平视显示器设备，其用于接收显示图像，所述显示图像包括应用显示和所述用户与所述输入设备的物理交互的表示。
2.如权利要求1所述的***，其中，所述计算设备从所述输入设备无线地接收输入事件。
3.如权利要求1所述的***，其中，所述照相机安装在通信地耦合到所述计算设备并与所述输入设备相分离的平台上。
4.如权利要求1所述的***，其中，所述照相机安装在耦合到所述输入设备的扩展坞上。
5.如权利要求4所述的***，其中，所述照相机与智能设备集成，并且其中，所述智能设备安装在所述扩展坞中。
6.如权利要求1所述的***，其中，所述输入设备包括键盘或者输入板中的一个。
7.如权利要求6所述的***，其中，所述输入设备包括输入板，并且其中，所述输入板被配置为能够实现所述用户与所述输入板的交互在所述平视显示器中的虚拟表示。
8.如权利要求7所述的***，其中，所述输入板的虚拟表示被配置为：响应于用户选择而表示多个输入设备中的一个。
9.如权利要求6所述的***，其中，所述输入设备包括能够进行卷起或折叠中的至少一个的柔性输入板。
10.如权利要求1所述的***，其中，所述计算设备被配置为：在向所述平视显示器发送从所述照相机接收的视频表示之前，将所述视频表示转换到用户视角方向。
11.如权利要求10所述的***，其中，所述计算设备被配置为：将用户视角的视频表示和应用显示进行组合，并且向所述平视显示器发送组合显示。
12.如权利要求10所述的***，其中，所述计算设备被配置为：向所述平视显示器发送所述应用显示，并且其中，所述平视显示器被配置为：将所接收的应用显示与所述用户视角的视频表示进行组合，以向所述用户显示。
13.如权利要求1所述的***，其中，所述用户与所述输入设备的物理交互的表示是视频图像、化身图像以及混合的视频和化身图像中的一种。
14.如权利要求13所述的***，其中，所述用户的物理交互的表示包括：响应于用户输入而显示虚拟控件的促动。
15.如权利要求1所述的***，其中，所述用户与所述输入设备的物理交互的表示还包括所述用户的手的部分透明表示，所述部分透明表示覆盖在所述输入设备的表示之上。
16.如权利要求1所述的***，其中，所述照相机安装到所述平视显示器上。
17.如权利要求16所述的***，其中，所述照相机被配置为：直接向所述平视显示器发送视频图像，并且其中，所述平视显示器被配置为：将从所述计算设备接收的所述应用显示与从所述照相机接收的视频图像进行融合，以向所述用户进行组合显示。
18.一种方法，包括：
由平视显示器接收应用显示的表示，以便向佩戴所述平视显示器的用户显示；
由所述平视显示器接收所述用户与输入设备的交互的表示；以及
在所述平视显示器上向所述用户显示所述应用显示和所述用户与所述输入设备的交互的组合显示。
19.如权利要求18所述的方法，其中，所述应用显示的表示和所述用户与所述输入设备的交互的表示是作为组合显示而被所述平视显示器接收的。
20.如权利要求18所述的方法，其中，所述应用显示的表示和所述用户与所述输入设备的交互的表示是以未组合状态接收的，并且所述方法还包括：所述平视显示器在向所述用户显示所述组合显示之前，对所接收的显示进行组合。
21.如权利要求18所述的方法，其中，所述用户与输入设备的交互的表示是响应于通信地耦合到计算设备的照相机所捕捉的图像而生成的，所述计算设备被配置为：执行所述应用以供显示，并且其中，所述照相机安装在下列部件中的一个上：（a）通信地耦合到所述输入设备的智能设备，（b）所述平视显示器，（c）在相对于所述输入设备的一位置处放置的平台，或者（d）所述计算设备的键盘输入。
22.如权利要求21所述的方法，其中，在所述平视显示器上进行显示之前，所述用户与所述输入设备的交互的照相机表示将被转换到表示所述用户交互的用户视点的方向。
23.如权利要求21所述的方法，其中，所述照相机耦合到智能设备，所述智能设备执行输入板/手指视频向化身表示的转换，之后将化身图像作为所述用户与所述输入设备的交互的表示进行发送。
24.一种方法，包括：
接收用户与输入设备的交互的表示，所述输入设备通信地耦合到在计算设备上运行的应用；
响应于所述输入设备上的用户输入，操作所述应用；
将与所述应用相对应的显示的表示和用户与所述输入设备的交互的表示进行组合；以及
向平视显示器单元发送所述显示的所组合的表示，以向所述用户显示。
25.如权利要求24所述的方法，还包括：
将所述用户与所述输入设备的交互的表示转换到与所述用户的视线相一致的方向。
26.如权利要求25所述的方法，其中，所述用户与输入设备的交互的表示是响应于通信地耦合到所述计算设备的照相机所捕捉的图像而生成的，并且其中，所述照相机安装在下列部件中的一个上：（a）通信地耦合到所述输入设备的智能设备，（b）所述平视显示器，（c）在相对于所述输入设备的一位置处放置的平台，或者（d）所述计算设备的键盘输入。
27.如权利要求26所述的方法，其中，所述照相机耦合到智能设备，所述智能设备执行输入板/手指视频向化身表示的转换，之后将化身图像作为所述用户与所述输入设备的交互的表示进行发送。
28.一种其上存储有指令的非暂时性计算机可读介质，当所述指令在机器上被执行时，使所述机器执行下列操作：
由平视显示器接收应用显示的表示，以便向佩戴所述平视显示器的用户显示；
由所述平视显示器接收所述用户与输入设备的交互的表示；以及
在所述平视显示器上向所述用户显示所述应用显示和所述用户与所述输入设备的交互的组合显示。
29.如权利要求28所述的介质，其中，所述应用显示的表示和所述用户与所述输入设备的交互的表示是作为组合显示而被所述平视显示器接收的。
30.如权利要求28所述的介质，其中，所述应用显示的表示和所述用户与所述输入设备的交互的表示是以未组合状态接收的，并且还包括：所述平视显示器在向所述用户显示所述组合显示之前，对所接收的显示进行组合。
31.如权利要求28所述的介质，其中，所述用户与输入设备的交互的表示是响应于通信地耦合到计算设备的照相机所捕捉的图像而生成的，所述计算设备被配置为：执行所述应用以供显示，并且其中，所述照相机安装在下列部件中的一个上：（a）通信地耦合到所述输入设备的智能设备，（b）所述平视显示器，（c）在相对于所述输入设备的一位置处放置的平台，或者（d）所述计算设备的键盘输入。
32.如权利要求31所述的介质，其中，所述照相机耦合到智能设备，所述智能设备执行输入板/手指视频向化身表示的转换，之后将化身图像作为所述用户与所述输入设备的交互的表示进行发送。
33.如权利要求31所述的介质，其中，在所述平视显示器上进行显示之前，所述用户与所述输入设备的交互的照相机表示将被转换到表示所述用户交互的用户视点的方向。
34.一种其上存储有指令的非暂时性计算机可读介质，当所述指令在机器上被执行时，使所述机器执行下列操作：
接收用户与输入设备的交互的表示，所述输入设备通信地耦合到在计算设备上运行的应用；
响应于所述输入设备上的用户输入，操作所述应用；
将与所述应用相对应的显示的表示和用户与所述输入设备的交互的表示进行组合；以及
向平视显示器单元发送所述显示的所组合的表示，以向所述用户显示。
35.如权利要求34所述的介质，还包括：
用于将所述用户与所述输入设备的交互的表示转换到与所述用户的视线相一致的方向的指令。
36.如权利要求35所述的介质，其中，所述用户与输入设备的交互的表示是响应于通信地耦合到所述计算设备的照相机所捕捉的图像而生成的，并且其中，所述照相机安装在下列部件中的一个上：（a）通信地耦合到所述输入设备的智能设备，（b）所述平视显示器，（c）在相对于所述输入设备的一位置处放置的平台，或者（d）所述计算设备的键盘输入。
37.如权利要求36所述的介质，其中，所述照相机耦合到智能设备，所述智能设备执行输入板/手指视频向化身表示的转换，之后将化身图像作为所述用户与所述输入设备的交互的表示进行发送。
CN201280021362.8A 2011-04-04 2012-04-03 平视显示器的键盘化身 Pending CN103534665A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/079,657 2011-04-04
US13/079,657 US20120249587A1 (en) 2011-04-04 2011-04-04 Keyboard avatar for heads up display (hud)
PCT/US2012/031949 WO2012138631A2 (en) 2011-04-04 2012-04-03 Keyboard avatar for heads up display (hud)

Publications (1)

Publication Number Publication Date
CN103534665A true CN103534665A (zh) 2014-01-22

Family

ID=46926615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280021362.8A Pending CN103534665A (zh) 2011-04-04 2012-04-03 平视显示器的键盘化身

Country Status (4)

Country Link
US (1) US20120249587A1 (zh)
EP (1) EP2695039A4 (zh)
CN (1) CN103534665A (zh)
WO (1) WO2012138631A2 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984101A (zh) * 2014-05-30 2014-08-13 华为技术有限公司 显示内容控制方法和装置
CN106817913A (zh) * 2014-10-22 2017-06-09 索尼互动娱乐股份有限公司 头戴式显示器、移动信息终端、图像处理装置、显示控制程序、显示控制方法和显示***
CN106873760A (zh) * 2015-12-14 2017-06-20 技嘉科技股份有限公司 可携式虚拟现实***
CN107402707A (zh) * 2016-04-29 2017-11-28 姚秉洋 键盘手势指令的产生方法与计算机程序产品
WO2017219288A1 (zh) * 2016-06-22 2017-12-28 华为技术有限公司 头戴式显示设备及其处理方法
CN107787588A (zh) * 2015-05-05 2018-03-09 雷蛇(亚太)私人有限公司 控制耳机装置的方法、耳机装置、计算机可读介质及红外线传感器
CN109559925A (zh) * 2017-09-27 2019-04-02 脸谱科技有限责任公司 键组件、虚拟现实接口***和方法
CN110275619A (zh) * 2015-08-31 2019-09-24 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
TWI695296B (zh) * 2016-04-29 2020-06-01 姚秉洋 內建感應器及光源模組之鍵盤裝置
TWI695307B (zh) * 2016-04-29 2020-06-01 姚秉洋 螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體
CN114527881A (zh) * 2015-04-07 2022-05-24 英特尔公司 化身键盘

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5927867B2 (ja) * 2011-11-28 2016-06-01 セイコーエプソン株式会社 表示システム、及び操作入力方法
JP6060512B2 (ja) 2012-04-02 2017-01-18 セイコーエプソン株式会社 頭部装着型表示装置
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
KR101991133B1 (ko) 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
US9304594B2 (en) * 2013-04-12 2016-04-05 Microsoft Technology Licensing, Llc Near-plane segmentation using pulsed light source
WO2014179890A1 (en) 2013-05-09 2014-11-13 Sunnybrook Research Institute Systems and methods for providing visual feedback of touch panel input during magnetic resonance imaging
WO2014188798A1 (ja) * 2013-05-21 2014-11-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US9398250B2 (en) * 2014-01-06 2016-07-19 Arun Sobti & Associates, Llc System and apparatus for smart devices based conferencing
US9575508B2 (en) 2014-04-21 2017-02-21 Apple Inc. Impact and contactless gesture inputs for docking stations
EP2996017B1 (en) * 2014-09-11 2022-05-11 Nokia Technologies Oy Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
KR102336879B1 (ko) 2015-05-20 2021-12-08 삼성전자주식회사 화면을 표시하는 전자 장치, 그 제어 방법
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US9836117B2 (en) 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
US9851561B2 (en) * 2015-12-23 2017-12-26 Intel Corporation Head-mounted device with rear-facing camera
KR102610120B1 (ko) 2016-01-20 2023-12-06 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
TWI698773B (zh) 2016-04-29 2020-07-11 姚秉洋 螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體
US10614628B2 (en) * 2016-06-09 2020-04-07 Screenovate Technologies Ltd. Method for supporting the usage of a computerized source device within virtual environment of a head mounted device
US20180005437A1 (en) * 2016-06-30 2018-01-04 Glen J. Anderson Virtual manipulator rendering
TWI609316B (zh) * 2016-09-13 2017-12-21 精元電腦股份有限公司 可疊加虛擬鍵盤的顯示裝置
US11487353B2 (en) * 2016-11-14 2022-11-01 Logitech Europe S.A. Systems and methods for configuring a hub-centric virtual/augmented reality environment
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
US11023109B2 (en) 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
US11460911B2 (en) * 2018-01-11 2022-10-04 Steelseries Aps Method and apparatus for virtualizing a computer accessory
KR101977332B1 (ko) * 2018-08-03 2019-05-10 주식회사 버넥트 증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템
CA3114040A1 (en) 2018-09-26 2020-04-02 Guardian Glass, LLC Augmented reality system and method for substrates, coated articles, insulating glass units, and/or the like
CN112042262A (zh) * 2018-10-18 2020-12-04 惠普发展公司，有限责任合伙企业 用于无线访问边缘计算资源的扩展坞
KR20230144042A (ko) * 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
JP2024509722A (ja) 2021-02-08 2024-03-05 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるユーザ相互作用
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
EP4325345A1 (en) * 2021-09-06 2024-02-21 Samsung Electronics Co., Ltd. Electronic device for acquiring user input through virtual keyboard and operating method thereof
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611253B1 (en) * 2000-09-19 2003-08-26 Harel Cohen Virtual input environment
CN101673161A (zh) * 2009-10-15 2010-03-17 复旦大学 一种可视可操作无实体的触摸屏***
US20100073404A1 (en) * 2008-09-24 2010-03-25 Douglas Stuart Brown Hand image feedback method and system
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
WO2010042880A2 (en) * 2008-10-10 2010-04-15 Neoflect, Inc. Mobile computing device with a virtual keyboard
US20100103103A1 (en) * 2008-08-22 2010-04-29 Palanker Daniel V Method And Device for Input Of Information Using Visible Touch Sensors
US20100182340A1 (en) * 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994009398A1 (en) * 1992-10-20 1994-04-28 Alec Robinson Eye screen means with mounted visual display and communication apparatus
KR19980016952A (ko) * 1996-08-30 1998-06-05 조원장 가상현실을 이용한 현장체험 어학 트레이닝 시스템
US20080144264A1 (en) * 2006-12-14 2008-06-19 Motorola, Inc. Three part housing wireless communications device
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
JP5293154B2 (ja) * 2008-12-19 2013-09-18 ブラザー工業株式会社 ヘッドマウントディスプレイ

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611253B1 (en) * 2000-09-19 2003-08-26 Harel Cohen Virtual input environment
US20100103103A1 (en) * 2008-08-22 2010-04-29 Palanker Daniel V Method And Device for Input Of Information Using Visible Touch Sensors
US20100073404A1 (en) * 2008-09-24 2010-03-25 Douglas Stuart Brown Hand image feedback method and system
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
WO2010042880A2 (en) * 2008-10-10 2010-04-15 Neoflect, Inc. Mobile computing device with a virtual keyboard
US20100182340A1 (en) * 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments
CN101673161A (zh) * 2009-10-15 2010-03-17 复旦大学 一种可视可操作无实体的触摸屏***

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984101A (zh) * 2014-05-30 2014-08-13 华为技术有限公司 显示内容控制方法和装置
US10620699B2 (en) 2014-10-22 2020-04-14 Sony Interactive Entertainment Inc. Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
CN106817913A (zh) * 2014-10-22 2017-06-09 索尼互动娱乐股份有限公司 头戴式显示器、移动信息终端、图像处理装置、显示控制程序、显示控制方法和显示***
CN106817913B (zh) * 2014-10-22 2020-10-09 索尼互动娱乐股份有限公司 头戴式显示器、移动信息终端、图像处理装置、显示控制程序、显示控制方法和显示***
CN114527881B (zh) * 2015-04-07 2023-09-26 英特尔公司 化身键盘
CN114527881A (zh) * 2015-04-07 2022-05-24 英特尔公司 化身键盘
CN107787588A (zh) * 2015-05-05 2018-03-09 雷蛇(亚太)私人有限公司 控制耳机装置的方法、耳机装置、计算机可读介质及红外线传感器
CN110275619A (zh) * 2015-08-31 2019-09-24 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
CN106873760A (zh) * 2015-12-14 2017-06-20 技嘉科技股份有限公司 可携式虚拟现实***
TWI695297B (zh) * 2016-04-29 2020-06-01 姚秉洋 鍵盤手勢指令之產生方法及其電腦程式產品與非暫態電腦可讀取媒體
TWI695296B (zh) * 2016-04-29 2020-06-01 姚秉洋 內建感應器及光源模組之鍵盤裝置
TWI695307B (zh) * 2016-04-29 2020-06-01 姚秉洋 螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體
CN107402707A (zh) * 2016-04-29 2017-11-28 姚秉洋 键盘手势指令的产生方法与计算机程序产品
US10672149B2 (en) 2016-06-22 2020-06-02 Huawei Technologies Co., Ltd. Head mounted display device and processing method of head mounted display device
CN107771310A (zh) * 2016-06-22 2018-03-06 华为技术有限公司 头戴式显示设备及其处理方法
WO2017219288A1 (zh) * 2016-06-22 2017-12-28 华为技术有限公司 头戴式显示设备及其处理方法
CN109559925A (zh) * 2017-09-27 2019-04-02 脸谱科技有限责任公司 键组件、虚拟现实接口***和方法

Also Published As

Publication number Publication date
US20120249587A1 (en) 2012-10-04
WO2012138631A2 (en) 2012-10-11
WO2012138631A3 (en) 2013-01-03
EP2695039A4 (en) 2014-10-08
EP2695039A2 (en) 2014-02-12

Similar Documents

Publication Publication Date Title
CN103534665A (zh) 平视显示器的键盘化身
CN109923462B (zh) 感测眼镜
US8179604B1 (en) Wearable marker for passive interaction
JP2023100884A (ja) 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
US20130241927A1 (en) Computer device in form of wearable glasses and user interface thereof
US9423827B2 (en) Head mounted display for viewing three dimensional images
US20100128112A1 (en) Immersive display system for interacting with three-dimensional content
US20130265300A1 (en) Computer device in form of wearable glasses and user interface thereof
KR20190058581A (ko) 혼합 현실 교정을 위한 안구주위 테스트
CN103180893A (zh) 用于提供三维用户界面的方法和***
CN107646098A (zh) 用于在虚拟现实中跟踪手持式设备的***
KR20190071839A (ko) 가상 현실 경험 공유
US20100199232A1 (en) Wearable Gestural Interface
KR20180102591A (ko) 표정 인식 시스템, 표정 인식 방법 및 표정 인식 프로그램
US10928923B2 (en) Apparatuses, systems, and methods for representing user interactions with real-world input devices in a virtual space
US20150153950A1 (en) System and method for receiving user input and program storage medium thereof
TWI453462B (zh) 智慧型電子裝置之虛擬望遠系統及其方法
KR20180080012A (ko) 소셜 네트워크 서비스를 이용한 실감형 음악연주 컨텐츠 생성·공유 장치 및 방법
KR20180000009A (ko) 증강현실 생성 펜 및 이를 이용한 증강현실 제공 시스템
KR20220062938A (ko) 가상현실 서비스를 제공하는 전자 장치 및 방법
KR20200144702A (ko) 증강 현실 미디어 콘텐츠의 적응적 스트리밍 시스템 및 적응적 스트리밍 방법
KR20230088100A (ko) 가상 입력 장치를 이용하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법
US20240087220A1 (en) Electronic device and method of providing content sharing based on object
KR20240035284A (ko) 오브젝트에 기초한 컨텐츠 공유를 제공하는 전자 장치 및 방법
WO2024053845A1 (ko) 오브젝트에 기초한 컨텐츠 공유를 제공하는 전자 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140122

RJ01 Rejection of invention patent application after publication