CN108885533B - 组合虚拟现实和增强现实 - Google Patents

组合虚拟现实和增强现实 Download PDF

Info

Publication number
CN108885533B
CN108885533B CN201780018872.2A CN201780018872A CN108885533B CN 108885533 B CN108885533 B CN 108885533B CN 201780018872 A CN201780018872 A CN 201780018872A CN 108885533 B CN108885533 B CN 108885533B
Authority
CN
China
Prior art keywords
sensor
electronic device
data
display
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780018872.2A
Other languages
English (en)
Other versions
CN108885533A (zh
Inventor
林柏杰
张汉裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sunfun Technology Co ltd
Original Assignee
Zyetric Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zyetric Technologies Ltd filed Critical Zyetric Technologies Ltd
Publication of CN108885533A publication Critical patent/CN108885533A/zh
Application granted granted Critical
Publication of CN108885533B publication Critical patent/CN108885533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在具有显示器、第一传感器和不同于所述第一传感器的第二传感器的电子设备处，在所述显示器上显示视图。所述视图包含在第一位置处的界面对象。基于来自所述第一传感器的第一数据检测第一姿势，其中所述第一姿势识别所述界面对象。基于来自所述第二传感器的第二数据检测第二姿势。基于所述第二姿势确定所述界面对象的第二位置。将所述界面对象的显示从所述视图中的所述第一位置更新到所述第二位置。

Description

组合虚拟现实和增强现实
相关申请的交叉引用
本申请要求2016年12月21日提交的“组合虚拟现实和增强现实(CombiningVirtual Reality andAugmented Reality)”的第62/437,539号美国临时专利申请的优先权。这些申请的内容出于所有目的以引用的方式并入本文中。
技术领域
本公开涉及增强和/或虚拟现实环境，并且更确切地，涉及与增强和/或虚拟现实环境交互。
背景技术
虚拟现实(VR)环境完全或大部分是计算机生成的环境。虽然它们可以合并来自现实世界的图像或数据，但是VR环境是基于为环境设置的参数和约束而由计算机生成的。相反，增强现实(AR)环境主要基于来自现实世界的数据(例如，图像数据)，其与计算机生成的对象和事件叠加或组合。这些技术的各方面已经使用专用硬件单独使用。
发明内容
下文描述允许在包含通用硬件设备的各种硬件平台上与VR和/或AR技术交互的发明的实施例。本文中描述的交互式虚拟/增强现实(IVAR)技术提出了使用这些技术的改进方法以及在新平台上使用这些技术的开放可能性。
在根据本技术的方法的示例性实施例中，在具有显示器、第一传感器和不同于所述第一传感器的第二传感器的电子设备处，在所述显示器上显示视图。所述视图包含在第一位置处的界面对象。基于来自所述第一传感器的第一数据检测第一姿势，其中所述第一姿势识别所述界面对象。基于来自所述第二传感器的第二数据检测第二姿势。基于所述第二姿势确定所述界面对象的第二位置。将所述界面对象的显示从所述视图中的所述第一位置更新到所述第二位置。
附图说明
通过参考结合附图进行的下文描述的附图能最佳地理解本发明，其中相同的部分可以用相同的附图标记表示。
图1A-1B描绘实现本技术的一些实施例的示例性电子设备。
图2A-2C描绘使用本技术的一些实施例的示例性用户界面。
图3A-3C描绘根据本技术的一些实施例在AR和/或VR环境中的位置之间移动对象的步骤。
图4A-4C描绘根据本技术的一些实施例在AR和/或VR环境中的位置之间移动对象的步骤。
图5A-5B描绘根据本技术的一些实施例生成AR和/或VR消息的步骤。
图6A-6C描绘在AR环境和/或VR环境中的远程用户之间导航的实例。
图7A-7C描绘根据本技术的一些实施例与AR和/或VR环境交互的实例。
图8描绘根据本技术的一些实施例的远程用户界面的实例。
图9A-9C描绘根据本技术的一些实施例与AR和/或VR环境交互的实例。
图10描绘根据本技术的一些实施例与AR和/或VR环境交互的实例。
图11A-11E描绘根据本技术的一些实施例在AR和/或VR环境中重新布置对象的实例。
图12A-12C描绘根据本技术的一些实施例在AR和/或VR环境中重新布置对象的实例。
图13是与AR和/或VR环境交互的过程的流程图。
图14是与AR和/或VR环境交互的过程的流程图。
图15是可以实现本技术的一些实施例的电子设备的框图。
具体实施方式
呈现以下描述以使得所属领域普通技术人员能够制造和使用各种实施例。特定设备、技术和应用的描述仅是作为实例提供。所属领域的一般技术人员将容易明白本文中描述的实例的各种修改，并且在不脱离本发明的精神和范围的情况下，本文中所界定的一般原理可以应用于其它实例和应用。因此，所公开的技术并非意图限于本文中描述和示出的实例，而是被赋予与所附权利要求书一致的范围。
在本技术的一些实施例中，VR和/或AR技术与运动/加速度计/触摸姿势组合以在游戏或现实生活应用中产生逼真的体验。以下定义使用如下：
本地对象-对用户而言“本地”且不从前置或后置摄像头“看到”的对象。换句话说，这些是计算机生成的对象，其显示在智能设备的屏幕上，但不是其它用户可访问的方式的AR和/或VR环境的一部分。
IVAR背景-在一些IVAR游戏(例如，纸牌游戏)或应用程序中从后置摄像头看到的实时“背景”视图。
IVAR对象-叠加到IVAR背景上的计算机化对象。与本地对象相比，这些对象在AR和/或VR环境的其它用户(当存在时)之间共享。
IVAR视图-组合的IVAR背景和IVAR对象和/或本地对象的显示。例如，显示器可以是从虚拟摄像头或虚拟门户生成到AR和/或VR环境中的视图。虚拟摄像头的定位任选地基于显示视图的智能设备的位置和/或定向。
虽然使用纸牌游戏作为实例来解释下面的本技术的实施例，但是本文公开的发明构思可以用于任何数量的应用，包含其它游戏、计算机辅助设计、通信和其它应用。
图1A-1B描绘任选地实现本发明的一些实施例的智能设备100。在一些实例中，智能设备100是智能手机或桌面计算设备，但是本技术也可以在其它类型的专用电子设备上实现，例如可穿戴设备或膝上型计算机。在一些实施例中，智能设备100类似于并包含下面在图15中描述的计算***1500的组件。智能设备100包含触敏显示器102和后置摄像头124。智能设备100还包含前置摄像头120和扬声器122。智能设备100任选地还包含其它传感器，例如麦克风、移动/定向传感器(例如，一个或多个加速度计、陀螺仪、数字罗盘等)、深度传感器(任选地是摄像头120和/或摄像头124的一部分)等。
在图2A中，触敏显示器102显示视图104，其包含上文所定义的一些组件。例如，视图104包含表示纸牌的虚拟手的本地对象106a-106g、作为IVAR背景的一部分的桌子108(例如，桌子108对应于物理世界中的真实桌子111，并且在视图104中基于用智能设备100的后置摄像头捕捉的图像数据描绘，所述图像数据例如是桌子的实时图像)，以及表示桌子108上的一堆纸牌的IVAR对象110a-110e。在图2A中，用户的手112以模仿在现实世界中握持一手牌的方式握住智能设备100。在一些情况下，当触敏显示器102检测到用户的手112的拇指位于纸牌上方时，纸牌106a-106g可以“保持”在适当位置。
在图2B中，视图104中的环境基于放置在后置摄像头的视场内的用户的手114来交互和更新。更新视图104以相对于IVAR对象110a-110e显示用户的手114。当用户的手114的位置相对于不同的真实或虚拟对象(例如，相对于智能设备100、相对于真实桌子111、或相对于IVAR对象110a-110e)改变时，以用户的手115(其是在智能设备100的屏幕上显示的用户的手114)和IVAR对象110a-110e的新的相对位置更新视图104。通过将用户的手115定位在特定IVAR对象上(例如，通过将用户的手114移动到表示虚拟纸牌的对象110b将在桌子111上的位置)并执行动作(例如，手指姿势，例如在IVAR对象上的夹捏手指、稳定地握住IVAR对象、旋转用户的手114的部分或全部以识别IVAR对象等)，智能设备100可以将动作识别为与IVAR对象交互的姿势。在这方面，IVAR对象是界面对象。在这个实例中，通过后置摄像头在图像数据中捕捉表示姿势的移动并且通过对捕捉的数据执行图像处理和辨识例程来检测表示姿势的移动。图2B示出了如何使用本技术的实施例来与公共智能设备上的虚拟对象交互的实例。实际上，显示器102正在显示AR/VR环境，并且后置摄像头允许用户通过在后置摄像头的视场内的智能设备后方执行姿势来“到达”环境中并与环境交互。
在图2C中，视图104中的环境基于用户的手114在触敏显示器102上执行姿势(例如，轻击、轻击并按住、拖动、夹捏、展开、滑动等)来交互和更新。例如，如果用户的手114执行姿势以选择本地对象之一(例如，虚拟纸牌)，则更新视图104以示出所述对象被选择(例如，纸牌可能移动以对应于用户的手114的移动或纸牌可能会突出显示)。与先前的实例类似，这个实例中的本地对象是界面对象。在这个实例中，触摸信息触敏显示器102捕捉姿势，所述姿势经过进一步处理以示出用户的手112以某种方式触摸了触敏显示器102。
如下所述，响应于检测到一个姿势或链接在一起的多个姿势，可以在IVAR环境中执行动作和功能。例如，关于图2B和2C中的实例，虚拟纸牌可以基于由后置摄像头捕捉的姿势和触摸显示姿势在桌子与用户的手之间移动。第一姿势选择纸牌(在用户的手中或在桌子上)并且第二姿势重新放置纸牌。(这种相同技术可以应用于任何数量的虚拟对象(例如，界面对象))。在丢弃纸牌的情况下，当用户的手触摸特定纸牌时由触敏显示器检测第一姿势，并且基于从后置摄像头捕捉的显示表示用户将纸牌丢入弃牌堆中的姿势的图像数据检测第二姿势。在抽取纸牌的情况下，基于从后置摄像头捕捉的显示用户的手执行选择特定虚拟纸牌的姿势的图像数据检测第一姿势，并且基于用户的手触摸触敏显示器而检测第二姿势。在这些情况中的每一种情况下，使用两个不同的传感器(例如，摄像头和触摸传感器)检测两个姿势，并且基于两个姿势的组合执行所得到的功能(例如，将虚拟纸牌从一个位置移动到另一个位置)。下面参考图3和4更详细地描述这些概念。
图3A-3C示出第一实施例的实例(例如纸牌游戏)。使用触摸屏姿势和由摄像头检测到的姿势的组合从IVAR视图获得/向IVAR视图发送一个或多个纸牌(模拟从桌子上获得纸牌/将纸牌发送到桌子的场景)。假设用户正在玩纸牌游戏，其中用户可以将纸牌发送到桌子或从桌子上获得纸牌(这里的“桌子”是使用我们术语的IVAR视图的一部分)。此外，用户还可以从通过因特网连接的游戏中的其它用户获得纸牌。在此实施例的实例中，触摸屏姿势将与摄像头姿势组合以向玩家提供获得和发送纸牌的真实体验。后置摄像头与玩家的触摸屏姿势一起可以确定以下场景之一：(1)玩家从桌子上获得一张纸牌；(2)玩家从其它玩家的手中获得一张纸牌；或(3)玩家正在向桌子发送一张纸牌。
当从桌子上获得一张纸牌时，玩家将其手从设备后面的一个点(由后置摄像头检测到)朝向设备边缘上的屏幕移动，然后使用触摸屏姿势将纸牌***设备触摸屏上的纸牌牌组中。这在图3A-3C中进行描述。
当玩家从另一个玩家获得纸牌时，他/她将使用下文关于图6A-6C描述的技术首先定位相应的玩家，然后使用本实施例中描述的技术(关于从桌子上获得纸牌)从所述玩家“获得”纸牌。例如，代替出现在现实世界桌子上的虚拟纸牌，虚拟纸牌可以出现在现实世界玩家或虚拟玩家的前面。
当发送纸牌到桌子时，玩家使用下文描述的技术从其屏幕上的牌组中选择一张或多张纸牌，并将其手指移出设备的上边缘，然后将其手移到设备后面(即，移到IVAR视图)。通过组合由不同传感器检测到的上述两个移动，设备确定玩家正在将一张或多张纸牌发送到IVAR视图。这在图4A-4C中描述。
在图3A中，视图104包含现实世界对象(用户的手114和桌子108)和虚拟对象(IVAR对象110f和本地对象106a-106g)。智能设备100的后置摄像头检测用户的手114(当在屏幕上显示时为用户的手115)选择IVAR对象110a(桌子108上的纸牌)的姿势。当选择IVAR对象110a时，任选地以各种方式更新视图104以指示选择。例如，任选地，纸牌消失、外观改变、接着用户的手114移动(例如，变得“附着”到用户的手114)、翻转或应用其它效果。在选择之后，用户的手114通过例如在智能设备100上移动而从智能设备100的背面移到正面。在一些实施例中，此移动任选地由智能设备100的传感器检测并且被记录为姿势。
在图3B中，在图3A中的选择之后，智能设备100检测来自用户的手114的另一姿势。具体地，在触敏显示器102上检测姿势(例如，双指触摸和向下拖动)。此姿势使得视图104被更新以显示本地对象106h(其对应于IVAR对象110a(图3A))被放置在本地对象106a-106g内。对象的放置通过用户的手114在触敏显示器102上的移动而改变。
在图3C中，本地对象106h的确切放置是基于当检测到姿势(或新姿势)的额外部分时用户的手114的放置。例如，当用户的手114断开与触敏显示器102的接触时(例如，或者通过去夹捏或扩展姿势)，任选地设置本地对象106h的位置。因此，响应于图3A-3C中描绘的动作，使界面对象(例如，来自桌子的纸牌)在视图内移动。
在图4A中，视图104包含现实世界对象(桌子108)和虚拟对象(本地对象106a-106g和106i)。触敏显示器102检测选择本地对象106d(用户的手中的纸牌)的用户的手114的姿势(例如，双指触摸并向上拖动)。当选择本地对象106d时，以各种任选的方式更新视图104以指示选择。例如，任选地，纸牌消失、外观改变、接着用户的手114移动(例如，变得“附着”到用户的手114，如图3B所示)、翻转或应用其它效果。在选择之后，用户的手114通过例如在智能设备100上移动而从智能设备100的正面移到背面。在一些实施例中，此移动任选地由智能设备100的传感器检测并且被记录为姿势。
在图4C中，视图104被更新以移除本地对象106d并显示IVAR对象110g(其与本地对象106d相关联)。通过后置摄像头检测用户的手114的姿势(例如，通过捕捉显示手移动的图像数据并将所述数据发送到处理器进行分析)。基于姿势的移动和定位，IVAR对象110g在视图104中移动。例如，响应于姿势的另一部分(或同时新姿势)设置IVAR对象110g的位置。例如，双指去夹捏或扩展姿势将对象110g释放到桌子108上。
虽然图1-4中的实例示出了依靠触摸姿势和由摄像头检测到的姿势的当前技术的实施例，但这不是必需的。可以通过任何数量的传感器和技术来检测姿势。另外，本技术的实施例可以依赖于不同传感器的任何组合，无论它们是否是相同类型的传感器。在某些情况下，姿势由用户的不同部分执行。例如，可以通过设备移动、手/手臂移动、头部移动、面部表情、全身移动等的任何组合来执行姿势。
例如，在另一个实施例中，使用来自前置和后置摄像头的姿势。下面，使用飞吻的构思作为示例性应用，但是许多其它应用可以使用相同或相似的概念。第一姿势基于面部表情，第二姿势基于手部定位。此实施例的一些实例可以被视为来自关于图1-4描述的实施例的扩展。换句话说，IVAR技术可以扩展到结合来自前置摄像头、后置摄像头、触摸屏、加速度计和/或其它传感器的姿势，从而为用户产生更多IVAR效果和/或选项供其体验。例如发送/接收信息等其它动作、除了重新定位对象之外的与界面对象的其它交互、选择/取消选择对象等等也是使用上文描述的技术可能实现的。
例如，IVAR姿势可以通过使用来自前置和后置摄像头(或传感器的其它组合)的一个或多个姿势来执行动作。在一种情况下，用户可以执行由前置摄像头捕捉的飞吻以及由后置摄像头捕捉的姿势(例如，伸展的手掌或挥动)，而世界另一端的男朋友将看到从他的手机(即从他的IVAR视图)“出来”一个吻。此实例在图5中示出。
图5A-5B示出如何组合前置和后置摄像头以产生IVAR操作的实例。在图5A中，设备500(其包含前置摄像头502和后置摄像头504)由用户506(即发送者)拿着。当设备500确定(1)前置摄像头502(和/或其它传感器，例如麦克风)检测到吹的姿势(例如，用户506的嘴唇褶皱和/或吹气声)并且(2)后置摄像头504检测到手部姿势(例如，手505的水平定位或手505的挥动)时，设备500向远程用户发送飞吻。远程用户接收从其屏幕出来的IVAR飞吻，例如，如图5所示，设备510示出了显示器512上的吻509，其任选地来自用户506的现实生活图像508(或计算机生成的图像)。与上文关于图1-4所描述的其中第一和第二姿势可以通过执行这两个姿势的用户同一只手的前后共同移动而链接在一起的实例相反，在飞吻实例中，姿势由用户身体的不同部分执行并且通过所述姿势同时发生的事实而链接在一起。确定两个姿势是否是同时的或者是否通过相同移动的继续来执行姿势是智能设备可以用来确定姿势是否被链接在一起的实例技术。这种确定可以是依赖于检测两个或更多个姿势的本技术的任何技艺的一部分。
在本技术的一些实施例的另一方面的实例中，应用(例如，纸牌游戏或视频会议)使用加速度计、陀螺仪或其它传感器用于识别不同的IVAR视图。例如，基于加速度计/陀螺仪数据(或其它传感器数据)和IVAR技术的组合，多玩家游戏或视频会议中的每个用户可以根据其设备指向的角度来定位其它连接的用户。例如，在4玩家纸牌游戏中，“第一”用户可以通过将其设备指向例如左边60度(或约60度)来定位第二用户(例如，见图6A)；可以通过例如将其设备笔直向前指向来定位第三用户(例如，见图6B)；或者可以通过例如将其设备指向右边60度(或约60度)来定位第四用户(例如，见图6C)。此外，当找到其中一个用户时，该用户的实时自拍视频(取自相应玩家的前置摄像头)将显示在第一玩家的屏幕上。虽然上面使用60度作为实例，但是可以使用任何旋转阈值或其它旋转标准(例如，改变阈值、旋转范围、保持旋转一段时间、任何这些的组合等)来切换聚焦(例如，改变视图)到不同的远程用户(例如，游戏的玩家)。
在图6A中，智能设备600通过加速度计、陀螺仪和/或数字罗盘数据检测到用户将智能设备600指向左边60度(或约60度)。作为响应，智能设备600在显示器602上显示与第二用户相关联的视频馈送604(例如，实况视频馈送或计算机生成的视频馈送)。可以为第二用户分配旋转范围(例如，约80到40度)。如果智能设备600检测到此范围内的旋转，则显示第二用户的视频馈送。另外，智能设备600可以基于定向对其操作进行其它调整。例如，如果智能设备600的用户正在玩纸牌游戏，则交互(例如，接收或发送纸牌)任选地自动与第二用户相关联。例如，智能设备600可以将数据发送到与第二用户相关联的特定地址，可以发送识别第二用户的数据以及其它数据(例如，正在发送的纸牌)，或者被设置为使得进行的任何通信都关于第二用户进行。
在图6B中，智能设备600通过加速度计、陀螺仪和/或数字罗盘数据检测用户正笔直向前指向智能设备600(例如，0度或约0度)。作为响应，智能设备600在显示器602上显示与第三用户相关联的视频馈送606(例如，实况视频馈送或计算机生成的视频馈送)。可以为第三用户分配旋转范围(例如，约20到-20度)。如果智能设备600检测到此范围内的旋转，则显示第三用户的视频馈送。另外，智能设备600可以基于定向对其操作进行其它调整。例如，如果智能设备600的用户正在玩纸牌游戏，则交互(例如，接收或发送纸牌)任选地自动与第三用户相关联。例如，智能设备600可以将数据发送到与第三用户相关联的特定地址，可以发送识别第三用户的数据以及其它数据(例如，正在发送的纸牌)，或者被设置为使得进行的任何通信都关于第三用户进行。
在图6C中，智能设备600通过加速度计、陀螺仪和/或数字罗盘数据检测到用户将智能设备600指向右边60度(或约60度)(即，-60度)。作为响应，智能设备600在显示器602上显示与第四用户相关联的视频馈送608(例如，实况视频馈送或计算机生成的视频馈送)。可以为第四用户分配旋转范围(例如，约-40到-80度)。如果智能设备600检测到此范围内的旋转，则显示第四用户的视频馈送。还可以使用其它旋转和/或定向标准。另外，智能设备600可以对其操作进行其它调整。例如，如果智能设备600的用户正在玩纸牌游戏，则交互(例如，接收或发送纸牌)任选地自动与第四用户相关联。例如，智能设备600可以将数据发送到与第四用户相关联的特定地址，可以发送识别第四用户的数据以及其它数据(例如，正在发送的纸牌)，或者被设置为使得进行的任何通信都关于第四用户进行。可以使用图6A-6C中描述的技术以例如在玩纸牌并使用上文关于图1-4所描述的技术时将纸牌带到或传递给其它远程用户。
在本技术的一些实施例的变型中，VR环境(或其它环境)与使用姿势交互。例如，如果在设备上显示VR视图，则可以通过设备检测用户的手或设备后面的其它对象来与VR视图交互。
图7A-7C描绘此概念的实例。在设备700上的站点访问应用程序(作为实例，其通常在房地产行业中使用)显示在显示器702上。设备700包括后置摄像头。在图7A中，用户正在使用所述应用程序查看房地产。用户正在看具有虚拟开关704的墙(其可以是真实开关的真实图像或计算机生成的开关)。在图7B中，使用由后置摄像头检测到的姿势，用户与虚拟开关704交互。例如，通过做出可由后置摄像头检测的按压姿势，例如使用深度信息(或其它传感器，例如，深度传感器)，用户可以打开或关闭开关，如7C所描绘。
图8-12描绘了可任选地应用于上述实施例的变型和其它特征。
在图8中，在使用IVAR视图技术的纸牌游戏中，所有玩家都可以看到实时纸牌状态(包含IVAR视图上纸牌的位置和排列)。换句话说，当一个玩家将纸牌发送到IVAR视图时(例如，通过从其手中取出纸牌并将纸牌放置在弃牌堆上，如关于图1-4所描述)，游戏中的所有玩家都将实时看到这张纸牌。例如，在图8中，如果用户要使用上述技术来与图1中的设备100的用户进行纸牌游戏，则通过用户的手812拿着设备800的用户将看到相同的一堆纸牌(由IVAR对象110a-110e表示)。具体地，在图1中，触敏显示器802显示视图804，其包含表示纸牌的虚拟手的本地对象806a-806g、作为IVAR背景的一部分的椅子808(例如，椅子808是物理世界中的真实椅子并且在视图804中基于用智能设备800的后置摄像头捕捉的图像数据来描绘)、以及表示椅子808上的一堆纸牌的IVAR对象110a-110e，其是在图1的视图104中表示为在桌子108上的相同的一堆纸牌。在图8中，用户的手812以模仿在现实世界中拿着一手牌的方式拿着智能设备800。在一些情况下，纸牌806a-806g可以由用户的手812的拇指“拿”在适当位置。
图9A-9C示出了使用手部姿势和/或运动和位置传感器数据放大或缩小IVAR对象的实例。在图9A中，具有显示器102的智能设备100正在显示具有IVAR对象902的视图900。智能设备100由用户的手112拿着。在图9B中，用户的手112使设备100朝向用户倾斜。响应于使用一个或多个传感器(例如，加速度计、陀螺仪、数字罗盘等)检测到倾斜，智能设备100扩展或放大了视图900的一部分，使得IVAR对象902现在更大。相反，在图9C，用户的手112使设备100远离用户倾斜。响应于使用一个或多个传感器(例如，加速度计、陀螺仪、数字罗盘等)检测到倾斜，智能设备100收缩或缩小视图900的一部分，使得IVAR对象902现在更小。此技术可以用于在例如上文描述的那些IVAR环境和应用中进行交互和操纵。
在图10中，描绘了可用于显示可能在用户的智能设备上显示的私人信息的姿势。具体地，在图10中，当智能设备100的传感器检测到智能设备100已经从垂直定向重定向到水平定向时，智能设备100可以响应地向一个或多个用户发送信息。例如，在以上图1-4中的玩纸牌的实例中，响应于智能设备100检测到定向的改变(例如但不限于图10中描绘的定向改变)，智能设备100可以将智能设备100的用户在其手上拿着的纸牌发送到远程用户的设备和/或使所述纸牌显示在远程用户的设备上。信息可以从广播给所有其它连接的用户变为仅广播给指定的用户(例如，使用关于图6描述的选择方法)。虽然图10描绘了从垂直定向到水平定向的改变，但还可以使用其它改变来触发此结果。例如，可以使用某个阈值的定向改变(例如，至少60度的改变)。作为另一实例，可以使用达到定向阈值(例如，20度或更小的定向(0度是水平定向))或定位范围(达到并保持在0-15度的范围内)或其它定向标准来触发这个效果。
图11A描绘了智能设备100在类似于上文针对图1-4的描述的环境中在触敏显示器102上显示一手纸牌1100。当使用例如图11B中描绘的双指触摸和拖动姿势选择纸牌时，即使当姿势结束时，纸牌1102也伸出并保持伸出，如图11C所描绘。在图11D和11E中也关于纸牌1104描绘了此技术。其它用户可以看到用户的手背并看到两张纸牌伸出。
图12A-12C示出了使用上述技术玩家在触摸屏上重新排列纸牌牌组的实例。图12A描绘了智能设备100在类似于上文针对图1-4的描述的环境中在触敏显示器102上显示一手纸牌1200。当使用例如图12B中描绘的双指触摸和拖动姿势选择纸牌时，选择纸牌1202。当用户的手114在显示器102上移动时，纸牌1202跟随手114，使得用户可以将纸牌1202定位在新位置(在这种情况下，在纸牌1204旁边)。然后通过将两个手指向下拖动到纸牌1200中的位置来继续姿势以将纸牌1202定位在所述位置，如图12C中所描绘。
图13描绘了用于基于捕捉的图像数据执行姿势的过程1300。在某一实例中，捕捉图像数据至少包含可见光、红外光和/或紫外光数据。另外，在一些实例中，捕捉的图像数据包含深度信息。在步骤1302，从一个或多个图像传感器捕捉图像数据。在步骤1304，确定图像数据是来自前置还是后置摄像头。如果图像数据来自后置摄像头，则在步骤1306中确定捕捉的图像数据是否对应于一个或多个姿势。如果图像数据来自前置摄像头，则在步骤1308中确定捕捉的图像数据是否对应于一个或多个姿势。如果捕捉的图像数据不对应于一个或多个姿势，则过程返回到捕捉图像数据。另一方面，如果捕捉图像数据对应于姿势，则在步骤1310中，执行相应的操作。相应的操作可以是任何数量的功能、动作等。例如，在步骤1310中，过程可以确定在当前姿势之前、之后或期间是否执行了另一姿势。采用例如关于图5A-5B描述的过程，在步骤1310中，可以验证吹的姿势和手部姿势均执行。作为响应，过程1300可以使得发送数据，从而使得吻在远程用户的设备上显示。
图14描绘了用于检测与IVAR环境交互的多个姿势的过程1400。在步骤1402，获得来自多个传感器的传感器数据。在针对摄像头和触摸屏或加速度计姿势的过程1400的情况下，在步骤1404确定传感器数据是摄像头数据还是触摸屏/加速度计数据。如果数据是摄像头数据，则在步骤1406确定数据是否与姿势匹配(例如，通过使用上述过程1300)。如果不是，则过程重新开始。如果存在匹配，则在步骤1408中从不同的传感器(例如，触摸屏、加速度计或其它传感器)捕捉额外的传感器数据。在步骤1410，分析额外传感器数据以确定其是否是匹配姿势。如果是，则在步骤1412中执行IVAR操作，例如通过移动对象或发送数据来与IVAR环境交互。如果没有接收到额外传感器数据或者不是姿势，则在步骤1414中取消当前过程并重新开始。在步骤1404，如果传感器数据是触摸屏或加速度计(或其它数据)，则在步骤1416、1418和1420中与如关于步骤1406、1408和1410所描述的类似地执行额外数据分析和捕捉，除了额外传感器数据是摄像头数据之外。
现在转向图15，描绘了被配置成执行任何上述过程和/或操作的示例性计算***1500的组件。例如，计算***1500可以用于实现上述实现上述实施例的任何组合的智能设备100。计算***1500可以包含例如处理器、存储器、存储装置和输入/输出***设备(例如，显示器、键盘、触控笔、绘图设备、磁盘驱动器、因特网连接、摄像头/扫描仪、麦克风、扬声器等)。然而，计算***1500可以包含用于执行过程的一些或所有方面的电路或其它专用硬件。
在计算***1500中，主***1502可以包含母板1504，例如其上安装有组件的印刷电路板，其具有连接输入/输出(I/O)部分1506、一个或多个微处理器1508以及存储器部分1510的总线，存储器部分1510可具有与其相关的闪存卡1512。存储器部分1510可以包含用于执行过程1300、1400或上述任何其它过程的计算机可执行指令和/或数据。I/O部分1506可以连接到显示器1512(例如，以显示视图)、触敏表面1514(以接收触摸输入并且在一些情况下可以与显示器组合)、麦克风1516(例如，以获得音频记录)、扬声器1518(例如，以重放音频记录)、磁盘存储单元1520以及介质驱动单元1522。介质驱动单元1522可以读/写非暂时性计算机可读存储介质1524，其可以包含程序1526和/或用于实现过程1300、1400或上述任何其它过程的数据。
另外，非暂时性计算机可读存储介质可以用于存储(例如，有形地体现)一个或多个计算机程序，用于通过计算机执行上述过程中的任何一个。计算机程序可以例如以通用编程语言(例如，Pascal、C、C++、Java等)或一些专用的应用程序专用语言来编写。
计算***1500可以包含各种传感器，例如前置摄像头1528和后置摄像头1530。这些摄像头可以被配置成捕捉各种类型的光，例如可见光、红外光和/或紫外光。另外，摄像头可以被配置成基于其接收的光捕捉或生成深度信息。在一些情况下，深度信息可以从与摄像头不同的传感器生成，但是仍然可以与来自摄像头的图像数据组合或集成。包含在计算***1500中的其它传感器包含数字罗盘1532、加速度计1534和/或陀螺仪1536。还可以包含其它传感器(例如点投影仪、IR传感器、光电二极管传感器、飞行时间传感器等)。
虽然计算***1500的各个组件在图15中被分开描绘，但各个组件可以组合在一起。例如，显示器1512和触敏表面1514可以组合在一起成为触敏显示器。
本文描述了各种示例性实施例。以非限制性的意义参考这些实施例。提供它们是为了说明所公开技术的更广泛适用的方面。在不脱离各种实施例的真实精神和范围的情况下，可以进行各种改变并且可以替换等同物。另外，可以进行许多修改以使特定情况、材料、物质组成、过程、过程动作或步骤适应各种实施例的目的、精神或范围。此外，如所属领域的技术人员将理解的，这里描述和示出的每个单独的变型具有离散的组件和特征，其可以容易地与任何其它几个实施例的特征分离或组合，而不脱离各种实施例的范围或精神。
以下方面中描述本技术的一些非限制性特征组合。
方面1.一种方法，其包括：
在具有显示器、第一传感器和不同于所述第一传感器的第二传感器的电子设备处：
在所述显示器上显示视图，其中所述视图包含在第一位置处的界面对象；
基于来自所述第一传感器的第一数据检测第一姿势，其中所述第一姿势识别所述界面对象；
基于来自所述第二传感器的第二数据检测第二姿势；
基于所述第二姿势确定所述界面对象的第二位置；以及
将所述界面对象的显示从所述视图中的所述第一位置更新到所述第二位置。
方面2.根据方面1所述的方法，其中所述电子设备进一步包含不同于所述第一传感器和所述第二传感器的第三传感器，其中检测所述第二姿势是进一步基于来自所述第三传感器的第三数据。
方面3.根据方面1或方面2所述的方法，其中所述第一传感器是在所述电子设备的第一侧上的第一图像传感器，并且所述第二传感器是在所述电子设备的不同于所述第一侧的第二侧上的第二图像传感器。
方面4.根据方面1-3中任一项所述的方法，其中所述第二传感器是集成在所述显示器上的触摸屏传感器。
方面5.根据方面1-4中任一项所述的方法，其中所述第一传感器是所述图像传感器。
方面6.根据方面5所述的方法，其中所述视图包含来自所述电子设备的所述图像传感器的图像数据以及由所述电子设备生成的叠加到所述图像数据上的图形元素。
方面7.根据方面1-4中任一项所述的方法，其中所述视图包含来自所述电子设备的图像传感器的图像数据以及由所述电子设备生成的叠加到所述图像数据上的图形元素。
方面8.根据方面1-7中任一项所述的方法，其中所述界面对象是由所述电子设备生成的图形元素。
方面9.根据方面1-8中任一项所述的方法，其中所述视图具有增强现实环境。
方面10.根据方面1-9中任一项所述的方法，其中所述第一数据和所述第二数据表示所述电子设备的用户的单手移动。
方面11.根据方面1-9中任一项所述的方法，其中所述第一数据表示所述电子设备的用户的单手移动并且所述第二数据表示所述电子设备的移动。
方面12.根据方面1-9中任一项所述的方法，其中所述第一数据表示所述电子设备的用户的单手移动并且所述第二数据表示所述设备的所述用户的其它移动。
方面13.一种非暂时性计算机可读存储介质，其编码有可由具有显示器、第一传感器和不同于所述第一传感器的第二传感器的电子设备执行的计算机程序，所述计算机程序包括针对以下内容的指令：
在所述显示器上显示视图，其中所述视图包含在第一位置处的界面对象；
基于来自所述第一传感器的第一数据检测第一姿势，其中所述第一姿势识别所述界面对象；
基于来自所述第二传感器的第二数据检测第二姿势；
基于所述第二姿势确定所述界面对象的第二位置；以及
将所述界面对象的显示从所述视图中的所述第一位置更新到所述第二位置。
方面14.根据方面13所述的非暂时性计算机可读存储介质，其中所述电子设备进一步包含不同于所述第一传感器和所述第二传感器的第三传感器，其中检测所述第二姿势是进一步基于来自所述第三传感器的第三数据。
方面15.根据方面13或方面14所述的非暂时性计算机可读存储介质，其中所述第一传感器是在所述电子设备的第一侧上的第一图像传感器，并且所述第二传感器是在所述电子设备的不同于所述第一侧的第二侧上的第二图像传感器。
方面16.根据方面13-15中任一项所述的非暂时性计算机可读存储介质，其中所述第二传感器是集成在所述显示器上的触摸屏传感器。
方面17.根据方面13-16中任一项所述的非暂时性计算机可读存储介质，其中所述第一传感器是所述图像传感器。
方面18.根据方面18所述的非暂时性计算机可读存储介质，其中所述视图包含来自所述电子设备的所述图像传感器的图像数据以及由所述电子设备生成的叠加到所述图像数据上的图形元素。
方面19.根据方面13-16中任一项所述的非暂时性计算机可读存储介质，其中所述视图包含来自所述电子设备的图像传感器的图像数据以及由所述电子设备生成的叠加到所述图像数据上的图形元素。
方面20.根据方面13-19中任一项所述的非暂时性计算机可读存储介质，其中所述界面对象是由所述电子设备生成的图形元素。
方面21.根据方面13-20中任一项所述的非暂时性计算机可读存储介质，其中所述视图具有增强现实环境。
方面22.根据方面13-21中任一项所述的非暂时性计算机可读存储介质，其中所述第一数据和所述第二数据表示所述电子设备的用户的单手移动。
方面23.根据方面13-21中任一项所述的非暂时性计算机可读存储介质，其中所述第一数据表示所述电子设备的用户的单手移动并且所述第二数据表示所述电子设备的移动。
方面24.根据方面13-21中任一项所述的非暂时性计算机可读存储介质，其中所述第一数据表示所述电子设备的用户的单手移动并且所述第二数据表示所述设备的所述用户的其它移动。
方面25.一种电子设备，其包括：
显示器
第一传感器
不同于所述第一传感器的第二传感器
处理器
编码有可由所述处理器执行的计算机程序的存储器，所述计算机程序具有针对以下内容的指令：
在所述显示器上显示视图，其中所述视图包含在第一位置处的界面对象；
基于来自所述第一传感器的第一数据检测第一姿势，其中所述第一姿势识别所述界面对象；
基于来自所述第二传感器的第二数据检测第二姿势；
基于所述第二姿势确定所述界面对象的第二位置；以及
将所述界面对象的显示从所述视图中的所述第一位置更新到所述第二位置。
方面26.一种方法，其包括：
在具有显示器、第一传感器和不同于所述第一传感器的第二传感器的电子设备处：
在所述显示器上显示视图；
基于来自所述第一传感器的第一数据检测第一姿势；
基于来自所述第二传感器的第二数据检测第二姿势；
基于所述第一姿势和所述第二姿势确定功能；
执行所确定的功能；以及
更新显示以展示所述功能的性能。
方面27.根据方面26所述的方法，其中所述第一传感器是图像传感器。
方面28.根据方面26所述的方法，其中所述第一传感器是加速度计或陀螺仪。
方面29.根据方面26所述的方法，其中所述第一传感器是触敏表面。
方面30.根据方面26-29中任一项所述的方法，其进一步包括：作为执行所述所确定的功能的部分将第一数据发送到远程用户，其中所述第一数据取决于所述第一姿势和所述第二姿势。
方面31.一种非暂时性计算机可读存储介质，其编码有可由具有显示器、第一传感器和不同于所述第一传感器的第二传感器的电子设备执行的计算机程序，所述计算机程序包括用于执行根据方面26-30中任一项所述的方法的指令。
方面32.一种方法，其包括：
在具有显示器和通信界面的第一电子设备处：
从不同于所述第一电子设备的第一远程电子设备接收第一图像数据；
从所述第一远程电子设备接收第一虚拟对象数据；
组合所述第一图像数据和第一虚拟对象数据生成第一视图；以及
显示生成的第一视图。
方面33.根据方面32所述的方法，其进一步包括：接收所述第一远程电子设备的定向数据，其中生成所述第一视图是进一步基于所述定向数据。
方面34.根据方面32或方面33所述的方法，其中所述第一电子设备包含定向传感器，所述方法进一步包括：
从不同于所述第一远程电子设备的第二远程电子设备接收第二图像数据；
从所述第二远程电子设备接收第二虚拟对象数据；
基于从所述定向传感器接收的数据检测所述第一电子设备的定向的改变；
组合所述第二图像数据和第二虚拟对象数据生成第二视图；以及
响应于检测到所述定向的改变，显示所述生成的第二视图。
方面35.一种非暂时性计算机可读存储介质，其编码有可由具有显示器和通信界面的第一电子设备执行的计算机程序，所述计算机程序包括用于执行根据方面31-35中任一项所述的方法的指令。
方面36.一种方法，其包括：
在具有显示器和定向传感器的电子设备处：
在所述显示器上显示视图；
基于来自所述定向传感器的定向数据检测所述电子设备的位置改变；
基于检测到的位置改变更新所述视图的所述显示。
方面37.根据方面36所述的方法，其进一步包括：
基于所述定向数据确定所述位置改变的幅度和定向；以及
基于所述幅度和所述定向，确定所述电子设备是否远离所述电子设备的用户移动，其中响应于确定所述电子设备远离所述用户移动而更新所述视图的所述显示。
方面38.一种非暂时性计算机可读存储介质，其编码有可由具有显示器和通信界面的第一电子设备执行的计算机程序，所述计算机程序包括用于执行根据方面36-37中任一项所述的方法的指令。

Claims (23)

1.一种组合虚拟现实和增强现实的方法，其包括：
在具有显示器、第一传感器和不同于所述第一传感器的第二传感器的第一电子设备处：
在所述显示器上显示视图，其中所述视图包含在第一位置处的界面对象；
基于来自所述第一传感器的第一数据检测第一姿势，其中所述第一姿势识别所述界面对象；
基于来自所述第二传感器的第二数据检测第二姿势；
基于所述第二姿势确定所述界面对象的第二位置；以及
将所述界面对象的显示从所述视图中的所述第一位置更新到所述第二位置；
基于由所述第一电子设备的移动所确定的定向数据，从不同于所述第一电子设备的第一远程电子设备接收第一图像数据，从所述第一远程电子设备接收第一虚拟对象数据；
组合所述第一图像数据和第一虚拟对象数据在所述第一电子设备的显示器显示生成第一视图。
2.根据权利要求1所述的组合虚拟现实和增强现实的方法，其中所述电子设备进一步包含不同于所述第一传感器和所述第二传感器的第三传感器，其中检测所述第二姿势是进一步基于来自所述第三传感器的第三数据。
3.根据权利要求1或2所述的组合虚拟现实和增强现实的方法，其中所述第一传感器是在所述电子设备的第一侧上的第一图像传感器，并且所述第二传感器是在所述电子设备的不同于所述第一侧的第二侧上的第二图像传感器。
4.根据权利要求1-2中任一项所述的组合虚拟现实和增强现实的方法，其中所述第二传感器是集成在所述显示器上的触摸屏传感器。
5.根据权利要求1-2中任一项所述的组合虚拟现实和增强现实的方法，其中所述第一传感器是所述图像传感器。
6.根据权利要求5所述的组合虚拟现实和增强现实的方法，其中所述视图包含来自所述电子设备的所述图像传感器的图像数据以及由所述电子设备生成的叠加到所述图像数据上的图形元素。
7.根据权利要求1-2中任一项所述的组合虚拟现实和增强现实的方法，其中所述视图包含来自所述电子设备的图像传感器的图像数据以及由所述电子设备生成的叠加到所述图像数据上的图形元素。
8.根据权利要求1-2中任一项所述的组合虚拟现实和增强现实的方法，其中所述界面对象是由所述电子设备生成的图形元素。
9.根据权利要求1-2中任一项所述的组合虚拟现实和增强现实的方法，其中所述视图具有增强现实环境。
10.根据权利要求1-2中任一项所述的方法，其中所述第一数据和所述第二数据表示所述电子设备的用户的单手移动。
11.根据权利要求1-2中任一项所述的方法，其中所述第一数据表示所述电子设备的用户的单手移动并且所述第二数据表示所述设备的所述用户的其它移动。
12.一种非暂时性计算机可读存储介质，其编码有可由具有显示器、第一传感器和不同于所述第一传感器的第二传感器的第一电子设备执行的计算机程序，所述计算机程序包括针对以下内容的指令：
在所述显示器上显示视图，其中所述视图包含在第一位置处的界面对象；
基于来自所述第一传感器的第一数据检测第一姿势，其中所述第一姿势识别所述界面对象；
基于来自所述第二传感器的第二数据检测第二姿势；
基于所述第二姿势确定所述界面对象的第二位置；以及
将所述界面对象的显示从所述视图中的所述第一位置更新到所述第二位置；
基于由所述第一电子设备的移动所确定的定向数据，从不同于所述第一电子设备的第一远程电子设备接收第一图像数据，从所述第一远程电子设备接收第一虚拟对象数据；
组合所述第一图像数据和第一虚拟对象数据在所述第一电子设备的显示器显示生成第一视图。
13.根据权利要求12所述的非暂时性计算机可读存储介质，其中所述电子设备进一步包含不同于所述第一传感器和所述第二传感器的第三传感器，其中检测所述第二姿势是进一步基于来自所述第三传感器的第三数据。
14.根据权利要求12或权利要求13所述的非暂时性计算机可读存储介质，其中所述第一传感器是在所述电子设备的第一侧上的第一图像传感器，并且所述第二传感器是在所述电子设备的不同于所述第一侧的第二侧上的第二图像传感器。
15.根据权利要求12-14中任一项所述的非暂时性计算机可读存储介质，其中所述第二传感器是集成在所述显示器上的触摸屏传感器。
16.根据权利要求12-14中任一项所述的非暂时性计算机可读存储介质，其中所述第一传感器是所述图像传感器。
17.根据权利要求12所述的非暂时性计算机可读存储介质，其中所述视图包含来自所述电子设备的所述图像传感器的图像数据以及由所述电子设备生成的叠加到所述图像数据上的图形元素。
18.根据权利要求12-14中任一项所述的非暂时性计算机可读存储介质，其中所述视图包含来自所述电子设备的图像传感器的图像数据以及由所述电子设备生成的叠加到所述图像数据上的图形元素。
19.根据权利要求12-14中任一项所述的非暂时性计算机可读存储介质，其中所述界面对象是由所述电子设备生成的图形元素。
20.根据权利要求12-14中任一项所述的非暂时性计算机可读存储介质，其中所述视图具有增强现实环境。
21.根据权利要求12-14中任一项所述的非暂时性计算机可读存储介质，其中所述第一数据和所述第二数据表示所述电子设备的用户的单手移动。
22.根据权利要求12-14中任一项所述的非暂时性计算机可读存储介质，其中所述第一数据表示所述电子设备的用户的单手移动并且所述第二数据表示所述设备的所述用户的其它移动。
23.一种电子设备，所述电子设备为第一电子设备，其包括：
显示器
第一传感器
不同于所述第一传感器的第二传感器
处理器
编码有可由所述处理器执行的计算机程序的存储器，所述计算机程序具有针对以下内容的指令：
在所述显示器上显示视图，其中所述视图包含在第一位置处的界面对象；
基于来自所述第一传感器的第一数据检测第一姿势，其中所述第一姿势识别所述界面对象；
基于来自所述第二传感器的第二数据检测第二姿势；
基于所述第二姿势确定所述界面对象的第二位置；以及
将所述界面对象的显示从所述视图中的所述第一位置更新到所述第二位置；
基于由所述第一电子设备的移动所确定的定向数据，从不同于所述第一电子设备的第一远程电子设备接收第一图像数据，从所述第一远程电子设备接收第一虚拟对象数据；
组合所述第一图像数据和第一虚拟对象数据在所述第一电子设备的显示器显示生成第一视图。
CN201780018872.2A 2016-12-21 2017-12-21 组合虚拟现实和增强现实 Active CN108885533B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662437539P 2016-12-21 2016-12-21
US62/437,539 2016-12-21
PCT/CN2017/117746 WO2018113740A1 (en) 2016-12-21 2017-12-21 Combining virtual reality and augmented reality

Publications (2)

Publication Number Publication Date
CN108885533A CN108885533A (zh) 2018-11-23
CN108885533B true CN108885533B (zh) 2021-05-07

Family

ID=62624730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780018872.2A Active CN108885533B (zh) 2016-12-21 2017-12-21 组合虚拟现实和增强现实

Country Status (3)

Country Link
US (1) US10488941B2 (zh)
CN (1) CN108885533B (zh)
WO (1) WO2018113740A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
WO2018113740A1 (en) 2016-12-21 2018-06-28 Zyetric Technologies Limited Combining virtual reality and augmented reality
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
CN110622219B (zh) * 2017-03-10 2024-01-19 杰创科增强现实有限公司 交互式增强现实
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
CN111448535A (zh) * 2017-11-07 2020-07-24 皇家飞利浦有限公司 对象的增强现实拖放
CN111448497B (zh) 2017-12-10 2023-08-04 奇跃公司 光波导上的抗反射涂层
KR101918262B1 (ko) * 2017-12-19 2018-11-13 (주) 알큐브 혼합 현실 서비스 제공 방법 및 시스템
US11187923B2 (en) 2017-12-20 2021-11-30 Magic Leap, Inc. Insert for augmented reality viewing device
JP7344896B2 (ja) 2018-03-15 2023-09-14 マジック リープ， インコーポレイテッド 視認デバイスのコンポーネントの変形に起因する画像補正
EP3803450A4 (en) 2018-05-31 2021-08-18 Magic Leap, Inc. POSITIONING A RADAR HEAD
WO2019236495A1 (en) 2018-06-05 2019-12-12 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
CN112740665A (zh) 2018-08-02 2021-04-30 奇跃公司 基于头部运动的瞳孔间距离补偿的观察***
EP3830631A4 (en) 2018-08-03 2021-10-27 Magic Leap, Inc. NON-FUSED POSE DRIFT CORRECTION OF A FUSED TOTEM IN A USER INTERACTION SYSTEM
US10909762B2 (en) 2018-08-24 2021-02-02 Microsoft Technology Licensing, Llc Gestures for facilitating interaction with pages in a mixed reality environment
WO2020102412A1 (en) 2018-11-16 2020-05-22 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
US11175728B2 (en) * 2019-02-06 2021-11-16 High Fidelity, Inc. Enabling negative reputation submissions in manners that reduce chances of retaliation
EP4369151A2 (en) 2019-02-06 2024-05-15 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ， インコーポレイテッド 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ
WO2020223636A1 (en) * 2019-05-01 2020-11-05 Magic Leap, Inc. Content provisioning system and method
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的***和方法
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
US11638147B2 (en) * 2019-11-22 2023-04-25 International Business Machines Corporation Privacy-preserving collaborative whiteboard using augmented reality
US11960651B2 (en) * 2020-03-30 2024-04-16 Snap Inc. Gesture-based shared AR session creation
US11743340B2 (en) * 2020-06-10 2023-08-29 Snap Inc. Deep linking to augmented reality components
US11233973B1 (en) * 2020-07-23 2022-01-25 International Business Machines Corporation Mixed-reality teleconferencing across multiple locations
CN112286420A (zh) * 2020-10-27 2021-01-29 北京力拓飞远科技有限公司 数据处理方法、装置及***
CN112230836B (zh) * 2020-11-02 2022-05-27 网易（杭州）网络有限公司 对象的移动方法、装置、存储介质和电子装置
CN116745743A (zh) * 2020-12-31 2023-09-12 斯纳普公司 具有触觉反馈响应的通信界面
EP4272063A1 (en) 2020-12-31 2023-11-08 Snap Inc. Media content items with haptic feedback augmentations
US11997422B2 (en) 2020-12-31 2024-05-28 Snap Inc. Real-time video communication interface with haptic feedback response
JP2024506630A (ja) 2021-02-08 2024-02-14 サイトフル コンピューターズ リミテッド 生産性のためのエクステンデッド・リアリティ
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
JP2024509722A (ja) 2021-02-08 2024-03-05 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるユーザ相互作用
JP2022123692A (ja) * 2021-02-12 2022-08-24 ソニーグループ株式会社 画像処理装置、画像処理方法、画像処理システム
US20220413433A1 (en) * 2021-06-28 2022-12-29 Meta Platforms Technologies, Llc Holographic Calling for Artificial Reality
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11934569B2 (en) * 2021-09-24 2024-03-19 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
KR20230147312A (ko) * 2022-04-14 2023-10-23 주식회사 피아몬드 가상 공간에서 프라이버시 제공을 위한 방법 및 시스템
US20240073372A1 (en) * 2022-08-31 2024-02-29 Snap Inc. In-person participant interaction for hybrid event

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103858073A (zh) * 2011-09-19 2014-06-11 视力移动技术有限公司 增强现实***的免触摸界面
CN105224211A (zh) * 2014-06-06 2016-01-06 联想移动通信科技有限公司 一种操作对象的操作控制方法、装置及移动终端
CN106125994A (zh) * 2016-06-17 2016-11-16 深圳迪乐普数码科技有限公司 坐标匹配方法及使用该坐标匹配方法的操控方法和终端

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9465461B2 (en) * 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
CN104063039A (zh) * 2013-03-18 2014-09-24 朱慧灵 一种穿戴式计算机智能终端的人机交互方法
US9978202B2 (en) * 2014-02-14 2018-05-22 Igt Canada Solutions Ulc Wagering gaming apparatus for detecting user interaction with game components in a three-dimensional display
CN105955456B (zh) * 2016-04-15 2018-09-04 深圳超多维科技有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
CN106200944A (zh) * 2016-06-30 2016-12-07 联想(北京)有限公司 一种对象的控制方法、控制装置和控制***
WO2018113740A1 (en) 2016-12-21 2018-06-28 Zyetric Technologies Limited Combining virtual reality and augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103858073A (zh) * 2011-09-19 2014-06-11 视力移动技术有限公司 增强现实***的免触摸界面
CN105224211A (zh) * 2014-06-06 2016-01-06 联想移动通信科技有限公司 一种操作对象的操作控制方法、装置及移动终端
CN106125994A (zh) * 2016-06-17 2016-11-16 深圳迪乐普数码科技有限公司 坐标匹配方法及使用该坐标匹配方法的操控方法和终端

Also Published As

Publication number Publication date
CN108885533A (zh) 2018-11-23
US20190087015A1 (en) 2019-03-21
WO2018113740A1 (en) 2018-06-28
US10488941B2 (en) 2019-11-26

Similar Documents

Publication Publication Date Title
CN108885533B (zh) 组合虚拟现实和增强现实
JP7277545B2 (ja) 検出された手入力に基づく仮想手ポーズのレンダリング
JP7137804B2 (ja) ジェスチャベースインタラクションのための方法およびシステム
US10948993B2 (en) Picture-taking within virtual reality
US10401967B2 (en) Touch free interface for augmented reality systems
US20140068526A1 (en) Method and apparatus for user interaction
CN110622219B (zh) 交互式增强现实
JP5832666B2 (ja) 複数のデバイスにまたがる拡張現実表現
JP2018522310A (ja) 仮想現実におけるオブジェクトとの手のコンテキスト依存衝突を介した入力
US11941764B2 (en) Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
CN111045511B (zh) 基于手势的操控方法及终端设备
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
CN104281260A (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
KR20140005141A (ko) 동작의 속성을 이용한 디스플레이 상의 3차원 사용자 인터페이스 효과
US10649616B2 (en) Volumetric multi-selection interface for selecting multiple objects in 3D space
US11430192B2 (en) Placement and manipulation of objects in augmented reality environment
US11768576B2 (en) Displaying representations of environments
US20220019288A1 (en) Information processing apparatus, information processing method, and program
US9898183B1 (en) Motions for object rendering and selection
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
WO2019111052A2 (en) Inserting virtual objects in between two real objects in an augmented reality environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 337, 3rd floor, Building 19W, Hong Kong Science Park, Sha Tin, New Territories, Hong Kong, China

Patentee after: Sunfun Technology Co.,Ltd.

Address before: Room 1112, 11 / F, Yongan Plaza, 62 Mody Road, Tsim Sha Tsui, Kowloon, Hongkong, China

Patentee before: ZYETRIC TECHNOLOGIES Ltd.