CN112154405A - 三维推送通知 - Google Patents
三维推送通知 Download PDFInfo
- Publication number
- CN112154405A CN112154405A CN201980034206.7A CN201980034206A CN112154405A CN 112154405 A CN112154405 A CN 112154405A CN 201980034206 A CN201980034206 A CN 201980034206A CN 112154405 A CN112154405 A CN 112154405A
- Authority
- CN
- China
- Prior art keywords
- virtual object
- mounted display
- push notification
- location
- dimensional push
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 38
- 230000003993 interaction Effects 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 20
- 230000002452 interceptive effect Effects 0.000 claims description 8
- 239000008186 active pharmaceutical agent Substances 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 21
- 230000003190 augmentative effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种头戴式显示***，该头戴式显示***包括被配置为在物理环境中显示一个或多个虚拟对象的头戴式显示器。头戴式显示***还可以包括处理器，处理器被配置为经由体积性操作***中包括的一个或多个应用程序接口(API)中的API在应用程序处接收三维推送通知。三维推送通知可以指示一个或多个虚拟对象中包括的应用程序虚拟对象在物理环境中的第一位置。应用程序虚拟对象可以与应用程序相关联。处理器还可以被配置为基于三维推送通知生成三维推送通知虚拟对象。处理器还可以被配置为输出三维推送通知虚拟对象，以用于在头戴式显示器上在物理环境中相对于第一位置的第二位置处显示。
Description
背景技术
在现代的服务器-客户端计算***中，大多数通信是使用请求和响应模型发送的，其中客户端程序向服务器程序发送请求，服务器程序做出响应。在这种模型中，服务器程序始终在运行，侦听来自客户端的请求，而客户端程序则可以根据用户的需求间歇地运行。在增强现实和虚拟现实***的特定上下文中，更新与在客户端设备上运行的增强现实和虚拟现实应用程序相关联的虚拟对象通常需要此类应用程序保持打开和运行。但是，将应用程序保持在打开状态可能会不必要地消耗计算资源。特别是对于使用电池供电的便携式客户端设备，这可能会导致电池消耗更快。由于此原因，用户可能更喜欢在不主动使用应用程序时关闭应用程序。当关闭这些应用程序后，这些应用程序将无法向可能包括要下载的更新信息的远程服务器进行请求。如果由于关闭了应用程序而未更新与应用程序关联的虚拟对象，则用户可能不能获知与那些应用程序有关的事件。
发明内容
根据本公开的一个方面，提供了一种头戴式显示***，头戴式显示***包括被配置为在物理环境中显示一个或多个虚拟对象的头戴式显示器。头戴式显示***还可以包括处理器，处理器被配置为经由体积性操作***(volumetric operating system)中包括的一个或多个应用程序接口(API)中的API在应用程序处接收三维推送通知。三维推送通知可以指示一个或多个虚拟对象中包括的应用程序虚拟对象在物理环境中的第一位置。应用程序虚拟对象可以与应用程序相关联。处理器还可以被配置为基于三维推送通知生成三维推送通知虚拟对象。处理器还可以被配置为输出三维推送通知虚拟对象，以用于在头戴式显示器上在物理环境中相对于第一位置的第二位置处显示。
提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中提到的任何或所有缺点的实现。
附图说明
图1示出了根据本公开的一个实施例的头戴式显示设备形式的示例头戴式显示***。
图2示出了根据图1的实施例的头戴式显示设备、外部(off-board)计算***和/或服务器计算***之间的通信。
图3示出了根据图1的实施例的位于物理环境中的头戴式显示设备。
图4A示出了根据图1的实施例的用户佩戴的头戴式显示***位于其中的示例物理环境。
图4B示出了其中显示了多个三维推送通知虚拟对象的图4A的示例物理环境。
图5A示出了根据图1的实施例的佩戴头戴式显示设备的用户的示例视场。
图5B示出了根据图1的实施例的佩戴头戴式显示设备的用户的另一示例视场。
图6示出了根据图1的实施例的至少部分基于物理环境中的头戴式显示设备的显示器位置而显示的三维推送通知。
图7示出了根据图1的实施例的其中发生交互输入的示例物理环境。
图8A示出了根据图1的实施例的用于与头戴式显示***一起使用的示例方法的流程图。
图8B至图8E示出了可以可选地作为图8A的方法的一部分执行的附加步骤。
图9示出了根据本公开的一个实施例的示例计算***的示意表示。
具体实施方式
为了解决上述问题，提供了一种头戴式显示***。图1示出了头戴式显示设备10形式的示例头戴式显示***。头戴式显示设备10可以包括内部(on-board)计算***，所述内部计算***包括处理器30、易失性存储设备32和/非易失性存储设备34。尽管图1仅示出了头戴式显示设备10，但是头戴式显示***还可以包括外部(off-board)计算***110，所述板外计算***110包括被配置为与头戴式显示设备10通信的一个或多个外部计算设备112，如图2所示。
图2示出了根据一个示例实施例的头戴式显示设备10、外部计算***110和/或服务器计算***120之间的通信。服务器计算***120可以包括被配置为经由网络124与头戴式显示设备10进行通信的一个或多个服务器计算设备122。服务器计算***120可以被配置为通过网络124向头戴式显示设备10发送三维推送通知50，如下参照图3所描述的。头戴式显示设备10还可以被配置为与包括一个或多个外部计算设备112的外部计算***110通信。在这样的实施例中，外部计算***110可以被配置为通过网络124与服务器计算***120进行通信。外部计算***110可以被配置为经由网络从服务器计算***120接收三维推送通知50。
返回图1，所示出的头戴式显示设备10采取可佩戴的眼镜或护目镜的形式，但是应当理解，其他形式也是可能的。头戴式显示设备10可以包括具有显示器16的输出设备套件14。在一些实施例中，头戴式显示设备10可以配置在增强现实中以呈现增强现实环境，并且因此显示器16可以是至少部分透视的立体显示器，所述部分透视的立体显示器被配置为在视觉上增强用户通过显示器16正在查看的物理环境的外观。在一些示例中，显示器16可以包括一个或多个透明(例如，光学透明)的区域，并且可以包括一个或多个不透明或半透明的区域。在其他示例中，显示器16可以在显示器16的整个可用显示器表面上是透明的(例如，光学透明的)。
备选地，头戴式显示设备10可以被配置在虚拟现实配置中以呈现完整的虚拟现实环境，因此显示器16可以是非透视立体显示器。头戴式显示设备10可以被配置为经由所述非透视立体显示器向用户显示虚拟三维环境。头戴式显示设备10可以被配置为显示用户面前的物理环境的虚拟表示，例如三维图形绘制，所述虚拟表示可以包括附加虚拟对象。显示物理环境的虚拟表示可以包括生成物理环境的三维模型在显示器16的表面上的二维投影。
头戴式显示设备10的输出设备套件14可以例如包括图像产生***，所述图像产生***被配置为利用显示器16向用户显示虚拟对象。在具有至少部分透视的显示器的增强现实配置中，虚拟对象在视觉上叠加在通过显示器16可见的物理环境上，以便在各种深度和位置被感知。在虚拟现实配置中，所述图像产生***可以被配置为利用非透视立体显示器向用户显示虚拟对象，使得虚拟对象被感知为处于相对于彼此的各种深度和位置。在一个实施例中，头戴式显示设备10可以使用立体视觉(stereoscopy)，通过向用户的两只眼睛均显示虚拟对象的单独图像，将虚拟对象视觉上放置在期望的深度。使用这种立体视觉技术，头戴式显示设备10可以控制虚拟对象的显示图像，使得用户将感知到虚拟对象存在于所查看的物理环境中的期望深度和位置处。
头戴式显示设备10的输出设备套件14还可以包括被配置为发出声音的一个或多个扬声器18。在一些实施例中，头戴式显示设备10可以至少包括左扬声器和右扬声器，左扬声器和右扬声器处于使得当佩戴上头戴式显示设备10时左扬声器可以在用户的左耳附近并且右扬声器可以在用户的右耳附近的位置处。因此，一个或多个扬声器18可以发出立体声音输出。输出设备套件14还可以包括被配置为提供触觉输出(例如，振动)的一个或多个触觉反馈设备19。
头戴式显示设备10可以包括输入设备套件12，输入设备套件12包括一个或多个输入设备。所述输入设备可以包括一个或多个光学传感器和一个或多个位置传感器，这将在下面进一步详细描述。附加地或备选地，所述输入设备可以包括用户输入设备，诸如一个或多个按钮、控制杆、麦克风、触敏输入设备或其他类型的输入设备。
头戴式显示设备10的输入设备套件12可以包括一个或多个成像传感器21。在一个示例中，输入设备套件12包括面向外的光学传感器22，光学传感器22可以被配置为在增强现实配置中，与用户通过显示器16观察那样，从类似的有利点(vantage point)(例如，视线)检测真实世界背景。输入设备套件12还可以包括面向内的光学传感器24，光学传感器24可以被配置为检测用户的眼睛的注视方向。应当理解，面向外的光学传感器22和/或面向内的光学传感器24可以包括一个或多个分量传感器，包括RGB相机和深度相机。RGB相机可以是高清相机，也可以具有其他分辨率。深度相机可以被配置为投射不可见光并捕获投射的光的反射，并基于其生成图像，所述图像包括针对图像中每个像素的测得的深度数据。如果需要的话，所述深度数据可以与来自RGB相机捕获的图像的颜色信息组合成包括颜色数据和深度数据的单个图像表示。
头戴式显示设备10的输入设备套件12还可以包括位置传感器***26，位置传感器***26可以包括一个或多个位置传感器，例如(多个)加速度计、(多个)陀螺仪、(多个)磁力计、(多个)全球定位***、(多个)多纬度***和/或其他传感器，它们输出可用作相关传感器的位置、方向和/或运动的位置传感器信息。
从一个或多个成像传感器21接收的光学传感器信息和/或从位置传感器接收的位置传感器信息可以用于评估头戴式显示设备10的有利点相对于其他环境物体的位置和方向。在一些实施例中，有利点的位置和定向可以用六个自由度(例如，世界空间X，Y，Z，俯仰，滚转，偏航)来表征。有利点可以被全局(globally)表征或独立于真实世界背景被表征。位置和/或定向可以由内部计算***和/或内部计算***110确定。
此外，头戴式显示***可以使用光学传感器信息和位置传感器信息来执行对真实世界背景的分析，例如深度分析、表面重建、环境颜色和照明分析或其他适当的操作。特别地，光学传感器信息和位置传感器信息可以用于创建真实背景的虚拟模型。在一些实施例中，有利点的位置和定向可以相对于所述虚拟空间来表征。此外，虚拟模型可以用于确定虚拟对象在虚拟空间中的位置，并在虚拟世界中的期望深度和位置处添加要显示给用户的附加虚拟对象。所述虚拟模型是三维模型，可以被称为“世界空间”，并且可以与在显示器16上可查看的世界空间的投影形成对比，所述投影被称为“屏幕空间”。另外，从一个或多个成像传感器21接收的光学传感器信息可以用于识别和跟踪一个或多个成像传感器21的视场中的物体。光学传感器还可以用于在所述物理环境中标识机器可识别的视觉特征，并使用这些特征在连续帧中的相对移动来计算虚拟模型的世界空间内头戴式显示设备10的帧与帧之间的相对姿势变化。
头戴式显示设备10还可以包括通信***35，通信***35包括一个或多个通信设备，所述通信设备可以包括一个或多个接收机36和/或一个或多个发射机38。在头戴式显示设备10与外部计算***110通信的实施例中，一个或多个接收机36可以被配置为从外部计算***110接收数据，并且一个或多个发射机38可以被配置为向外部计算***110发送数据。在一些实施例中，头戴式显示设备10可以经由网络124与外部计算***110通信，所述网络可以是无线局域网或广域网。附加地或备选地，头戴式显示设备10可以经由有线连接与外部计算***110通信。头戴式显示设备10还可以被配置为经由通信***35与服务器计算***120通信。
图3示意性地示出了位于物理环境40中的图1所示的头戴式显示设备10。头戴式显示设备10的显示器16可以被配置为在物理环境40中显示一个或多个虚拟对象70。在所述物理环境中被显示的一个或多个虚拟对象70可以包括与由头戴式显示设备10的处理器30执行的应用程序46相关联的应用程序虚拟对象72。可以在物理环境40中的第一位置64处显示应用程序虚拟对象72。在一些实施例中，应用程序虚拟对象72可以占据物理环境40中的第一体积66的空间，其可以包括第一位置64。
头戴式显示设备10的处理器30可以被配置为执行体积性操作***42，体积性操作***42可包括一个或多个应用程序接口(API)44。一个或多个应用程序接口可以被配置为从应用程序46接收数据和/或向应用程序46输出数据。一个或多个应用程序接口44还可以被配置为从输入设备套件12中包括的一个或多个输入设备接收数据和/或向输出设备套件14中包括的一个或多个输出设备输出数据。一个或多个应用程序接口可以附加地或备选地从通信***35接收数据或向通信***35输出数据。因此，一个或多个API 44可以允许应用程序46与头戴式显示设备10中包括的一个或多个输入设备、一个或多个输出设备和/或一个或多个通信设备进行交互。
处理器30还可以被配置为经由体积性操作***42中包括的一个或多个API 44中的API 44在应用程序46处接收三维推送通知50。处理器30通过其可以接收三维推送通知50的API 44可以是被配置为从通信***35接收三维推送通知50的推送服务API 86。三维推送通知50可以包括三维推送通知数据，所述三维推送通知数据可以包括颜色数据52、形状数据54、文本数据56、动画数据58、交互性数据60和定位数据62。其他三维推送通知数据可以附加地或备选地包括在三维推送通知50中。处理器30还可以被配置为基于三维推送通知50来生成三维推送通知虚拟对象82。
三维推送通知数据可以指定三维推送通知虚拟对象82的性质。形状数据54可以指定包括在三维推送通知虚拟对象82中的一个或多个形状。在一些实施例中，三维推送通知虚拟对象可以包括由形状数据54所指示的一个或多个多边形，例如限定可以被显示为诸如全息图之类的虚拟对象的三维网格。颜色数据52可以表示为对三维推送通知虚拟对象82进行着色的至少一种颜色。例如，当形状数据54指定在三维推送通知虚拟对象82中包括的一个或多个多边形时，颜色数据52可以指示每个多边形被着色的相应颜色。可以将相应的纹理和/或网格应用于所述一个或多个多边形。当然，将理解的是，所述形状数据可以包括由多边形的三维网格以外表示的对形状的定义。在三维推送通知虚拟对象82包括文本的实施例中，三维推送通知虚拟对象82中包括的文本可以由文本数据56指定。文本数据56还可以指定文本的性质，例如字体、大小和/或颜色。在对三维推送通知虚拟对象82进行动画化的实施例中，动画数据58可以指定一个或多个可以被显示以对三维推送通知虚拟对象82进行动画化的帧。所述动画例如可以是三维的，并且可以是诸如全息图的虚拟对象。
处理器30还可以被配置以输出三维推送通知虚拟对象82，以用于显示在头戴式显示器16上。三维推送通知虚拟对象82可以在物理环境40中相对于第一位置64的第二位置74处进行显示。三维推送通知虚拟对象82可以在物理环境40中占据第二体积76的空间，其可以包括第二位置74。第二位置74可以包括在物理环境40中的三维推送通知虚拟对象82的位置数据62中。位置数据62还可以包括应用程序虚拟对象72的第一位置64。在一些实施例中，位置数据62还可以包括物理环境40中头戴式显示设备10的显示器位置84。在这样的实施例中，可以至少基于显示器位置84来显示三维推送通知虚拟对象82，如下将参照图5至图6所描述的。
在头戴式显示设备10包括多个扬声器18的实施例中，处理器30还可以被配置为生成位于第一位置64的空间声音输出68。处理器30还可以被配置为将空间声音输出68输出到多个扬声器18。当三维推送通知虚拟对象82被输出到头戴式显示器16时，空间声音输出68可以被输出到多个扬声器18。因此，三维推送通知虚拟对象82和空间声音输出68均可将用户的注意力吸引到被显示在第一位置64的应用程序虚拟对象72。
附加地或备选地，在头戴式显示设备10包括触觉反馈设备19的实施例中，处理器30还可以被配置为生成指示朝向第一位置64的方向的触觉反馈输出78。例如，触觉反馈输出78可以是被定位在朝向第一位置64的用户头部一侧的振动。处理器30还可以被配置为将触觉反馈输出78输出到触觉反馈设备19。
图4A示出了佩戴图1的头戴式显示设备10的用户100位于其中的示例物理环境40。与智力游戏应用程序相关联的第一应用程序虚拟对象72A和与体育应用程序相关联的第二应用程序虚拟对象72B分别显示在智力游戏第一位置64A和体育第一位置64B上。物理环境40还包括咖啡机102。与咖啡机102相关联的第三应用程序虚拟对象72C被显示在咖啡机第一位置64C处。咖啡机第一位置64C是世界锁定(world-locked)到物理环境40中的物理对象的表面的锚定位置。在图4A至图4B的示例中，所述物理对象是咖啡机102。
图4B示出了当显示三维推送通知虚拟对象82A、82B和82C时图4A的示例物理环境40。三维推送通知虚拟对象82A、82B和82C分别显示在第二位置74A、74B和74C，并分别与智力游戏应用程序、体育应用程序和咖啡机应用程序相关联。如图4B所示，智力游戏三维推送通知虚拟对象82A被显示在智力游戏应用程序虚拟对象72A的表面上。相反，体育三维推送通知虚拟对象82B被配置为代替体育应用程序虚拟对象72B。在其处显示咖啡机三维推送通知虚拟对象82C的咖啡机第二位置74C是物理环境40中的世界锁定位置。而咖啡机第一位置64C被显示为世界锁定到图4A至图4B的物理对象的表面的锚定位置，在其他实施例中，第二位置74可以附加地或备选地被锁定到物理对象的表面。
图5A和图5B示出了头戴式显示设备10包括面向内的光学传感器24的示例实施例，其中光学传感器24被配置为检测用户100的注视方向130，如上参照图1所述。处理器30还可以被配置为基于注视方向130确定用户100的视场134。视场134可以另外基于由头戴式显示设备10的面向外的光学传感器22捕获的数据确定。如在图5A的示例中所示，应用程序虚拟对象72的第一位置64在检测到的视场134之外。然而，三维推送通知虚拟对象82的第二位置74在检测到的视场134之内。可以至少部分地基于视场134显示三维推送通知虚拟对象82。在一些实施例中，处理器30可以确定第一位置64在检测到的视场134之外，并且可以至少部分地基于该确定来确定三维推送通知虚拟对象82的第二位置74。附加地或备选地，可以至少部分地基于检测到的视场134来确定三维推送通知虚拟对象82的颜色数据52、形状数据54、文本数据56、动画数据58和/或交互性数据60。如图5A所示，三维推送通知虚拟对象82包括指向应用程序虚拟对象72的第一位置64的动画图标132。例如可以基于第一位置64位于检测到的视场134之外的确定来显示动画图标132。
如图5A所示的头戴式显示设备10还包括配置为输出位于第一位置64处的空间声音输出68的多个扬声器18。图5A中通过由右扬声器18B发出的相比左扬声器18A更大的音量指示了空间声音输出68位于第一位置64处的定位。因此，空间声音输出68似乎位于用户100的右侧，在应用程序虚拟对象72的第一位置64处。尽管图5A中所示的多个扬声器是内部扬声器，但是在一些实施例中，头戴式显示设备10可以通过通信***35将空间声音输出68传送到多个外部扬声器。
附加地或备选地，在头戴式显示设备10包括触觉反馈设备19的实施例中，触觉反馈输出78可以类似于空间声音输出68在朝向第一位置64的方向上定位。在图5A所示的例子中，当应用程序虚拟对象72位于用户100的右侧时，触觉反馈输出78由右触觉反馈设备19B而不是左触觉反馈设备19A输出。
在图5B中，三维推送通知虚拟对象82的第二位置74位于用户100的检测到的视场134之外。如图5B所示，第二位置74位于应用程序虚拟对象72的表面上。然而，动画图标132显示在检测到的视场134内。因此，动画图标132可以将用户的注视引向应用程序虚拟对象72和其余的三维推送通知虚拟对象82。
图6示出了至少部分地基于物理环境40中头戴式显示设备10的显示器位置84来显示三维推送通知虚拟对象82的示例实施例。在图6的实施例中，沿着从显示器位置84到第一位置64的方向136显示三维推送通知虚拟对象82。第二位置74可以沿着方向136定位。三维推送通知虚拟对象82可以响应于头戴式显示设备10在物理环境中的运动而旋转和/或平移。在一些实施例中，附加地或备选地，可以至少部分地基于显示器位置84确定三维推送通知虚拟对象82的颜色数据52、形状数据54、文本数据56、动画数据58和/或交互性数据60。
返回图3，在一些实施例中，体积性操作***42可以被配置为从头戴式显示设备10的输入设备套件12中包括的至少一个输入设备接收交互输入90。基于交互输入90，处理器30还可以被配置为生成至少一个附加虚拟对象92。至少一个附加虚拟对象92可以例如显示与应用程序46有关的附加信息，三维推送通知50与应用程序46相关联。可以至少部分地基于所述三维推送通知数据中包括的交互性数据60来生成至少一个附加虚拟对象92，交互性数据60可以指定处理器30如何响应与三维推送通知虚拟对象82交互的一种或多种类型的交互输入90。处理器30还可以被被配置为输出至少一个附加虚拟对象92以用于显示在头戴式显示器16上。附加虚拟对象92可以位于附加位置94处，并且可能会占用物理环境40中的附加体积96的空间。
参照图7，示出了其中处理器30接收交互输入90的示例实施例。如图7所示，应用程序虚拟对象72在物理环境40中占据第一体积66的空间，而三维推送通知虚拟对象82在物理环境40中占据第二体积76的空间。在图7的实施例中，交互输入90包括与第一体积66的空间内的应用程序虚拟对象72的交互，这里描述为触摸交互。在其他实施例中，交互输入90可以包括与第二体积76的空间内的三维推送通知虚拟对象82的交互。
附加地或备选地，至少一个附加虚拟对象92可以响应于其它类型的交互输入90来生成。例如，交互输入90可以是语音命令。交互输入90可以备选地是在除了第一体积66的空间或第二体积76的空间之外的位置处执行的手势。
图8A示出了用于使用头戴式显示***的示例方法200的流程图。头戴式显示***可以包括图1的头戴式显示设备10。在步骤202，方法200可以包括在体积性操作***中执行应用程序。执行所述应用程序可以包括，在步骤204，输出用于在头戴式显示器上在物理环境中的第一位置处显示的应用程序虚拟对象。例如，所述第一位置可以是所述物理环境中世界锁定的锚定位置。可以经由包括在体积性操作***中的一个或多个API中的API，由头戴式显示***的处理器来输出应用程序虚拟对象以用于在头戴式显示器上进行显示。在一些实施例中，应用程序虚拟对象可以占据第一体积的空间。
在步骤206，方法200还可以包括经由所述体积性操作***中包括的一个或多个API中的API，在应用程序处接收三维推送通知。三维推送通知可以包括三维推送通知数据，所述三维推送通知数据可以指定三维推送通知虚拟对象的一个或多个性质。三维推送通知数据可以选自包括三维推送通知虚拟对象的颜色数据、形状数据、文本数据、动画数据、交互性数据和位置数据的组。
在步骤208，方法200还可以包括基于所述三维推送通知来生成三维推送通知虚拟对象。可以基于所述三维推送通知数据来生成所述三维推送通知虚拟对象。在一些实施例中，可以至少部分基于所述物理环境中头戴式显示器的显示器位置来生成所述三维推送通知虚拟对象。在步骤210，方法200还可以包括输出所述三维推送通知虚拟对象，以用于在头戴式显示器上在物理环境中相对于第一位置的第二位置处进行显示。所述三维推送通知虚拟对象可以占据第二体积的空间。在一些实施例中，所述第二位置可以是物理环境中的世界锁定位置。
图8B至图8E示出了可以可选地作为图8A的方法200的一部分执行的附加步骤。在步骤212，如图8B所示，方法200还可以包括检测用户的注视方向。所述注视方向可以使用面向内的光学传感器来检测。在步骤214，方法200还可以包括基于所述注视方向确定用户的视场。所述视场可以另外基于由面向外的光学传感器捕获的数据来确定。在步骤216，方法200还可以包括至少部分地基于所述视场显示所述三维推送通知虚拟对象。例如，可以显示所述三维推送通知虚拟对象，使得所述三维推送通知虚拟对象至少部分位于用户的视场内。
如图8C所示，方法200还可以包括，在步骤218，经由至少一个输入设备接收交互输入。在一些实施例中，交互输入可以包括至少部分地在应用程序虚拟对象的第一体积和/或三维推送通知虚拟对象的第二体积内执行的手势。在步骤220，方法200还可以包括基于交互输入生成至少一个附加虚拟对象。方法200还可以包括，在步骤222，输出至少一个附加虚拟对象以用于在头戴式显示器上进行显示。至少一个附加虚拟对象可以在物理环境中占据附加体积的空间。在一些实施例中，生成并输出多个附加虚拟对象。
如图8D所示，方法200还可以包括，在步骤224，生成位于第一位置的空间声音输出。方法200还可以包括，在步骤226，将空间声音输出到多个扬声器。多个扬声器可以是包括在头戴式显示设备中的内部扬声器，或者可以是外部扬声器。
如图8E所示，方法200还可以包括，在步骤228，生成指示朝向第一位置的方向的触觉反馈输出。在步骤230，方法200还可以包括将向触觉反馈设备输出触觉反馈输出。
在一些实施例中，本文描述的方法和过程可以与具有一个或多个计算设备的计算***联系在一起。特别地，这样的方法和过程可以被实现为计算机应用程序或服务、应用程序编程接口(API)、库和/或其他计算机程序产品。
图9示意性地示出了可以实施上述方法和过程的一个或多个计算***300的非限制性实施例。以简化形式示出了计算***300。计算***300可以例如体现为图1的头戴式显示设备10，或者可以体现为其他一些计算***。计算***300可以采取一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他形式的计算设备，以及可穿戴计算设备，例如智能手表和头戴式增强/虚拟现实设备。
计算***300包括逻辑处理器302、易失性存储器304和非易失性存储设备306。计算***300可以可选地包括显示子***308、输入子***310、通信子***312和/或图9没有示出的其他组件。
逻辑处理器302包括被配置为执行指令的一个或多个物理设备。例如，逻辑处理器可以被配置为执行作为一个或多个应用、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分的指令。可以实现这样的指令以执行任务，实现数据类型，变换一个或多个组件的状态，达到技术效果或以其他方式达到期望的结果。
逻辑处理器302可以包括被配置成执行软件指令的一个或多个物理处理器(硬件)。附加地或备选地，逻辑处理器302可以包括一个或多个硬件逻辑电路或固件设备，其被配置为执行硬件实现的逻辑或固件指令。逻辑处理器302的处理器可以是单核或多核，并且在其上执行的指令可以被配置用于顺序、并行和/或分布式处理。逻辑处理器302的各个组件可选地可以分布在两个或更多个独立的设备之间，这些设备可以位于远程和/或被配置为用于协调处理。逻辑处理器的各方面可以由在云计算配置中所配置的可远程访问的联网计算设备进行虚拟化并执行。在这种情况下，这些虚拟化方面可以在各种不同机器的不同物理逻辑处理器上运行。
易失性存储器304可以包括具有随机存取存储器的物理设备。易失性存储器304通常被逻辑处理器302用来在软件指令的处理期间临时存储信息。应当理解，当切断易失性存储器304的电源时，易失性存储器304通常不继续存储指令。
非易失性存储设备306包括一个或多个物理设备，物理设备被配置为保存由逻辑处理器可执行以实现本文描述的方法和过程的指令。当实现这样的方法和过程时，非易失性存储设备306的状态可以被变换─例如以保存不同的数据。
非易失性存储设备306可以包括可移除和/或内置的物理设备。非易失性存储设备306可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)，半导体存储器(例如，ROM、EPROM、EEPROM、FLASH存储器等)，和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)或其他大容量存储设备技术。非易失性存储设备306可以包括非易失性、动态、静态、读/写、只读、顺序访问、位置可寻址、文件可寻址和/或内容可寻址的设备。应当理解，即使当非易失性存储设备306断电时，非易失性存储设备306也被配置为保存指令。
逻辑处理器302、易失性存储器304和非易失性存储设备306的各方面可以被集成在一起成为一个或多个硬件逻辑组件。这样的硬件逻辑组件可以包括现场可编程门阵列(FPGA)、程序专用和应用专用集成电路(PASIC/ASIC)、程序专用和应用专用标准产品(PSSP/ASSP)、***级芯片(SOC)和复杂的可编程逻辑器件(CPLD)。
术语“程序”可以用来描述实现为执行特定功能的计算***300的一个方面。在一些情况下，可以使用易失性存储器304的部分，通过逻辑处理器302执行由非易失性存储设备306保存的指令来实例化程序。应当理解，可以从相同的应用、服务、代码块、对象、库、例程、应用程序接口、功能等来实例化不同的程序。同样，可以由不同的应用程序、服务、代码块、对象、例程、应用程序接口、函数等实例化同一程序。术语“程序”涵盖单个或一组可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
当包括显示子***308时，显示子***308可以用于呈现由非易失性存储设备306保存的数据的视觉表示。本文的方法和过程改变了由非易失性存储设备306保存的数据，因此变换了非易失性存储设备306的状态，可以将显示子***308的状态同样地变换，以可视地表示基础数据的变化。显示子***308可以包括视觉上利用任何类型的技术的一个或多个显示设备。这样的显示设备可以与逻辑处理器302、易失性存储器304和/或非易失性存储设备306组合在共享的外壳(enclosure)中，或者这样的显示设备可以是***显示设备。
当包括输入子***310时，输入子***310可以包括一个或多个用户输入设备或与一个或多个用户输入设备进行交互，enclosure诸如键盘、鼠标、触摸屏或游戏控制器。在一些实施例中，输入子***310可以包括选择的自然用户输入(NUI)组件或与选择的自然用户输入(NUI)组件进行交互。这样的组件可以是集成的或***的，并且输入动作的转变和/或处理可以内部或外部进行。示例NUI组件可以包括用于话音(speech)和/或语音识别的麦克风；用于机器视觉和/或手势识别的红外相机、彩色相机、立体相机和/或深度相机；用于运动检测、注视检测和/或意图识别的头部***、眼睛***、加速度计和/或陀螺仪；以及用于评估大脑活动的电场感应组件；以及/或任何其他合适的传感器。
当包括通信子***312时，通信子***312可以被配置为将计算***300与一个或多个其他计算设备可通信地耦合。通信子***312可以包括与一种或多种不同的通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子***312可以被配置用于经由无线电话网络，或有线或无线局域网或广域网进行通信。在一些实施例中，通信子***312可以允许计算***300经由诸如因特网之类的网络向其他设备发送消息和/或从其他设备接收消息。
根据本公开的一方面，提供了一种头戴式显示***。头戴式显示***可以包括被配置为在物理环境中显示一个或多个虚拟对象的头戴式显示器。一个或多个虚拟对象可以包括与应用程序相关联并且在物理环境中的第一位置处显示的应用程序虚拟对象。头戴式显示***还可以包括处理器，处理器被配置为经由体积性操作***中包括的一个或多个应用程序接口中的应用程序接口在应用程序处接收三维推送通知。处理器还可以被配置为基于三维推送通知生成三维推送通知虚拟对象。处理器还可以被配置为输出三维推送通知虚拟对象，以用于在头戴式显示器上在物理环境中相对于第一位置的第二位置处显示。
根据该方面，第二位置可以是物理环境中的世界锁定位置。
根据该方面，第一位置和第二位置中的至少一项可以是被世界锁定到物理环境中的物理对象的表面的锚定位置。
根据该方面，头戴式显示***还可以包括至少一个输入设备。处理器还可以被配置为经由至少一个输入设备接收交互输入。处理器还可以被配置为基于交互输入生成至少一个附加虚拟对象，并且输出至少一个附加虚拟对象以用于在头戴式显示器上显示。
根据该方面，应用程序虚拟对象可以在物理环境中占据第一体积的空间。交互输入可以包括在第一体积的空间内与应用程序虚拟对象的交互。
根据该方面，三维推送通知虚拟对象可以在物理环境中占据第二体积的空间。交互输入可以包括在第二体积的空间内与三维推送通知虚拟对象的交互。
根据该方面，头戴式显示***还可以包括被配置为检测用户的注视方向的面向内的光学传感器。处理器还可以被配置为基于注视方向来确定用户的视场。
根据该方面，第一位置可以在所检测的视场之外，并且第二位置可以在所检测的视场之内。
根据该方面，头戴式显示***还可以包括多个扬声器。处理器还可以被配置为生成位于第一位置处的空间声音输出，并向多个扬声器输出空间声音输出。
根据该方面，三维推送通知可以包括三维推送通知数据，三维推送通知数据选自包括三维推送通知虚拟对象的颜色数据、形状数据、文本数据、动画数据、交互性数据和位置数据的组。
根据该方面，三维推送通知虚拟对象可以被配置为代替应用程序虚拟对象。
根据该方面，三维推送通知虚拟对象可以显示在应用程序虚拟对象的表面上。
根据该方面，可以至少部分基于物理环境中头戴式显示器的显示器位置来显示三维推送通知虚拟对象。
根据该方面，可以沿着从显示器位置到第一位置的方向显示三维推送通知虚拟对象。
根据本公开的另一方面，提供一种用于与头戴式显示***一起使用的方法。方法可以包括在体积性操作***中执行应用程序。执行应用程序可以包括输出应用程序虚拟对象以用于头戴式显示器上在物理环境中的第一位置处显示。方法还可以包括经由体积性操作***中包括的一个或多个应用程序接口(API)中的API在应用程序处接收三维推送通知。方法还可以包括基于三维推送通知来生成三维推送通知虚拟对象。方法还可以包括输出三维推送通知虚拟对象，以用于在头戴式显示器上在物理环境中相对于第一位置的第二位置处显示。
根据该方面，第二位置可以是物理环境中的世界锁定位置。
根据该方面，方法还可以包括经由至少一个输入设备接收交互输入。方法还可以包括基于交互输入生成至少一个附加虚拟对象。方法还可以包括输出至少一个附加虚拟对象以用于在头戴式显示器上显示。
根据该方面，三维推送通知可以包括三维推送通知数据，三维推送通知数据选自包括三维推送通知虚拟对象的颜色数据、形状数据、文本数据、动画数据、交互性数据和位置数据的组。
根据该方面，可以至少部分基于物理环境中头戴式显示器的显示器位置来生成三维推送通知虚拟对象。
根据本公开的另一方面，提供一种头戴式显示***，其包括被配置为在物理环境中显示一个或多个虚拟对象的头戴式显示器。头戴式显示***还可以包括处理器，处理器被配置为经由体积性操作***中包括的一个或多个应用程序接口(API)中的API在应用程序处接收三维推送通知。三维推送通知可以指示一个或多个虚拟对象中包括的应用程序虚拟对象在物理环境中的第一位置。应用程序虚拟对象可以与应用程序相关联。应用程序虚拟对象可以在物理环境中占据第一体积的空间。处理器还可以被配置为基于三维推送通知来生成三维推送通知虚拟对象。处理器还可以被配置为输出三维推送通知虚拟对象，以用于在头戴式显示器上在物理环境中相对于第一位置的第二位置处显示。三维推送通知虚拟对象可以在物理环境中占据第二体积的空间。
应当理解，本文描述的配置和/或方法本质上是示例的，并且这些具体实施例或示例不应被视为具有限制意义，因为许多变型是可能的。本文描述的特定例程或方法可以表示任何数目的处理策略中的一个或多个处理策略。因此，所图示和/或所描述的各种动作可以以所图示和/或所描述的顺序、以其他顺序、并行地来执行或被省略。同样，可以改变上述过程的次序。
本公开的主题包括各种过程、***和配置的所有新颖和非显而易见的组合和子组合、以及本文公开的其他特征、功能、动作和/或性质、以及任何及其所有等同物。
Claims (15)
1.一种头戴式显示***，包括：
头戴式显示器，被配置为在物理环境中显示一个或多个虚拟对象，所述一个或多个虚拟对象包括应用程序虚拟对象，所述应用程序虚拟对象与应用程序相关联并且被显示在所述物理环境中的第一位置处；以及
处理器，被配置为：
经由被包括在体积性操作***中的一个或多个应用程序接口(API)中的API，在所述应用程序处接收三维推送通知；
基于所述三维推送通知，生成三维推送通知虚拟对象；以及
输出所述三维推送通知虚拟对象，以用于在所述头戴式显示器上在所述物理环境中相对于所述第一位置的第二位置处显示。
2.根据权利要求1所述的头戴式显示***，其中所述第二位置是所述物理环境中的世界锁定位置。
3.根据权利要求2所述的头戴式显示***，其中所述第一位置和所述第二位置中的至少一项是锚定位置，所述锚定位置被世界锁定到所述物理环境中的物理对象的表面。
4.根据权利要求1所述的头戴式显示***，还包括至少一个输入设备，其中所述处理器还被配置为：
经由所述至少一个输入设备，接收交互输入；
基于所述交互输入，生成至少一个附加虚拟对象；以及
输出所述至少一个附加虚拟对象，以用于在所述头戴式显示器上显示。
5.根据权利要求4所述的头戴式显示***，其中：
所述应用程序虚拟对象占据所述物理环境中第一体积的空间；以及
所述交互输入包括与所述第一体积的空间内的所述应用程序虚拟对象的交互。
6.根据权利要求4所述的头戴式显示***，其中：
所述三维推送通知虚拟对象占据所述物理环境中第二体积的空间；以及
所述交互输入包括与所述第二体积的空间内的所述三维推送通知虚拟对象的交互。
7.根据权利要求1所述的头戴式显示***，还包括面向内的光学传感器，被配置为检测用户的注视方向，其中：
所述处理器还被配置为：基于所述注视方向来确定所述用户的视场。
8.根据权利要求7所述的头戴式显示***，其中：
所述第一位置在检测到的所述视场之外；并且
所述第二位置在检测到的所述视场之内。
9.根据权利要求1所述的头戴式显示***，还包括多个扬声器，其中所述处理器还被配置为：
生成被定位在所述第一位置处的空间声音输出；以及
向所述多个扬声器输出所述空间声音输出。
10.根据权利要求1所述的头戴式显示***，其中所述三维推送通知包括三维推送通知数据，所述三维推送通知数据选自由以下各项组成的组：所述三维推送通知虚拟对象的颜色数据、形状数据、文本数据、动画数据、交互性数据和位置数据。
11.根据权利要求1所述的头戴式显示***，其中所述三维推送通知虚拟对象被配置为代替所述应用程序虚拟对象。
12.根据权利要求1所述的头戴式显示***，其中所述三维推送通知虚拟对象被显示在所述应用程序虚拟对象的表面上。
13.根据权利要求1所述的头戴式显示***，其中所述三维推送通知虚拟对象至少部分地基于所述头戴式显示器在所述物理环境中的显示器位置而被显示。
14.根据权利要求13所述的头戴式显示***，其中所述三维推送通知虚拟对象沿着从所述显示器位置到所述第一位置的方向而被显示。
15.一种用于与头戴式显示***一起使用的方法，所述方法包括：
在体积性操作***中执行应用程序，其中执行所述应用程序包括：输出应用程序虚拟对象，以用于在头戴式显示器上在物理环境中的第一位置处显示；
经由被包括在所述体积性操作***中的一个或多个应用程序接口(API)中的API，在所述应用程序处接收三维推送通知；
基于所述三维推送通知，生成三维推送通知虚拟对象；以及
输出所述三维推送通知虚拟对象，以用于在所述头戴式显示器上在所述物理环境中相对于所述第一位置的第二位置处显示。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/985,612 US10768426B2 (en) | 2018-05-21 | 2018-05-21 | Head mounted display system receiving three-dimensional push notification |
| US15/985,612 | 2018-05-21 | ||
| PCT/US2019/030800 WO2019226304A1 (en) | 2018-05-21 | 2019-05-06 | Three-dimensional push notification |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112154405A true CN112154405A (zh) | 2020-12-29 |
| CN112154405B CN112154405B (zh) | 2024-03-19 |
Family
ID=66669066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980034206.7A Active CN112154405B (zh) | 2018-05-21 | 2019-05-06 | 三维推送通知 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10768426B2 (zh) |
| EP (1) | EP3782015B1 (zh) |
| CN (1) | CN112154405B (zh) |
| WO (1) | WO2019226304A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024061063A1 (zh) * | 2022-09-20 | 2024-03-28 | 北京字跳网络技术有限公司 | 通知消息的显示方法、装置、电子设备和存储介质 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190385372A1 (en) * | 2018-06-15 | 2019-12-19 | Microsoft Technology Licensing, Llc | Positioning a virtual reality passthrough region at a known distance |
| US11934579B2 (en) * | 2019-05-30 | 2024-03-19 | Hewlett-Packard Development Company, L.P. | Haptic device activation for virtual events that exceed view boundary |
| US11816757B1 (en) * | 2019-12-11 | 2023-11-14 | Meta Platforms Technologies, Llc | Device-side capture of data representative of an artificial reality environment |
| US11715270B2 (en) * | 2021-09-14 | 2023-08-01 | Verizon Patent And Licensing Inc. | Methods and systems for customizing augmentation of a presentation of primary content |
| US11721077B2 (en) * | 2021-12-07 | 2023-08-08 | Motorola Mobility Llc | Electronic device that presents location-tethered augmented reality notifications |
| US12001750B2 (en) * | 2022-04-20 | 2024-06-04 | Snap Inc. | Location-based shared augmented reality experience system |
| CN117130472B (zh) * | 2023-04-17 | 2024-07-23 | 荣耀终端有限公司 | 虚拟空间操作指引显示方法、移动设备及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105359076A (zh) * | 2013-06-18 | 2016-02-24 | 微软技术许可有限责任公司 | 多步骤虚拟对象选择 |
| US20170214782A1 (en) * | 2016-01-22 | 2017-07-27 | Htc Corporation | Method, virtual reality system, and computer-readable recording medium for real-world interaction in virtual reality environment |
| CN107636585A (zh) * | 2014-09-18 | 2018-01-26 | 谷歌有限责任公司 | 通过在虚拟现实环境内部绘图而进行的三维时尚对象的产生 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101048996A (zh) | 2004-10-22 | 2007-10-03 | 慧达企业有限公司 | 用于移动三维图形消息传送的***和方法 |
| KR101393942B1 (ko) | 2010-01-29 | 2014-06-30 | 주식회사 팬택 | 이동 단말기 및 이동 단말기를 이용한 정보 표시 방법 |
| US20120081356A1 (en) | 2010-10-01 | 2012-04-05 | Vasily Filippov | Methods and apparatus for rendering applications and widgets on a mobile device interface in a three-dimensional space |
| US8910081B2 (en) | 2011-04-11 | 2014-12-09 | Microsoft Corporation | Push notifications for updating multiple dynamic icon panels |
| KR20190133080A (ko) | 2011-09-19 | 2019-11-29 | 아이사이트 모빌 테크놀로지 엘티디 | 증강 현실 시스템용 터치프리 인터페이스 |
| US9292085B2 (en) | 2012-06-29 | 2016-03-22 | Microsoft Technology Licensing, Llc | Configuring an interaction zone within an augmented reality environment |
| US9507426B2 (en) * | 2013-03-27 | 2016-11-29 | Google Inc. | Using the Z-axis in user interfaces for head mountable displays |
| US9129430B2 (en) | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
| KR20150101915A (ko) | 2014-02-27 | 2015-09-04 | 삼성전자주식회사 | 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스 |
| WO2016017997A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Wearable glasses and method of providing content using the same |
| US10444930B2 (en) | 2014-08-05 | 2019-10-15 | Lg Electronics Inc. | Head-mounted display device and control method therefor |
| US9591120B2 (en) | 2014-08-15 | 2017-03-07 | Xiaomi Inc. | Method and device for adding application badge |
| KR20160026323A (ko) * | 2014-08-29 | 2016-03-09 | 삼성전자주식회사 | 움직임에 기반하여 알림 정보를 제어하는 방법 및 장치 |
| US9584915B2 (en) * | 2015-01-19 | 2017-02-28 | Microsoft Technology Licensing, Llc | Spatial audio with remote speakers |
| US9520002B1 (en) * | 2015-06-24 | 2016-12-13 | Microsoft Technology Licensing, Llc | Virtual place-located anchor |
| US10304247B2 (en) * | 2015-12-09 | 2019-05-28 | Microsoft Technology Licensing, Llc | Third party holographic portal |
| US9761056B1 (en) * | 2016-03-10 | 2017-09-12 | Immersv, Inc. | Transitioning from a virtual reality application to an application install |
| KR20170129509A (ko) * | 2016-05-17 | 2017-11-27 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 장치 및 그것의 제어방법 |
| DK201770423A1 (en) | 2016-06-11 | 2018-01-15 | Apple Inc | Activity and workout updates |
| US20180113669A1 (en) * | 2016-10-21 | 2018-04-26 | Nano Magnetics Ltd. | System for facilitating smartphone operation in a virtual reality environment |
| CA3046077A1 (en) * | 2016-12-05 | 2018-06-14 | Case Western Reserve University | Systems, methods, and media for displaying interactive augmented reality presentations |
| EP3367215B1 (en) * | 2017-02-27 | 2019-09-18 | LG Electronics Inc. | Electronic device for providing virtual reality content |
| US10853647B2 (en) * | 2018-07-12 | 2020-12-01 | Dell Products, L.P. | Environmental safety notifications in virtual, augmented, and mixed reality (xR) applications |
-
2018
- 2018-05-21 US US15/985,612 patent/US10768426B2/en active Active
-
2019
- 2019-05-06 CN CN201980034206.7A patent/CN112154405B/zh active Active
- 2019-05-06 EP EP19727179.4A patent/EP3782015B1/en active Active
- 2019-05-06 WO PCT/US2019/030800 patent/WO2019226304A1/en unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105359076A (zh) * | 2013-06-18 | 2016-02-24 | 微软技术许可有限责任公司 | 多步骤虚拟对象选择 |
| CN107636585A (zh) * | 2014-09-18 | 2018-01-26 | 谷歌有限责任公司 | 通过在虚拟现实环境内部绘图而进行的三维时尚对象的产生 |
| US20170214782A1 (en) * | 2016-01-22 | 2017-07-27 | Htc Corporation | Method, virtual reality system, and computer-readable recording medium for real-world interaction in virtual reality environment |
Non-Patent Citations (2)
| Title |
|---|
| 凌颖杰;: "沉浸式体验下VR影像的构想", 艺术品鉴, no. 02, 15 January 2018 (2018-01-15) * |
| 罗玉华;左军;李岩;: "虚拟现实技术及其应用", 科技信息, no. 01, 5 January 2010 (2010-01-05) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024061063A1 (zh) * | 2022-09-20 | 2024-03-28 | 北京字跳网络技术有限公司 | 通知消息的显示方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3782015B1 (en) | 2024-07-03 |
| US20190353904A1 (en) | 2019-11-21 |
| CN112154405B (zh) | 2024-03-19 |
| US10768426B2 (en) | 2020-09-08 |
| EP3782015A1 (en) | 2021-02-24 |
| WO2019226304A1 (en) | 2019-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112154405B (zh) | 三维推送通知 | |
| CN110603515B (zh) | 利用共享锚点显示的虚拟内容 | |
| CN108292444B (zh) | 更新混合现实缩略图 | |
| US10222981B2 (en) | Holographic keyboard display | |
| CN108475120B (zh) | 用混合现实***的远程设备进行对象运动跟踪的方法及混合现实*** | |
| EP3172643B1 (en) | Gaze-based object placement within a virtual reality environment | |
| CN107209386B (zh) | 增强现实视野对象跟随器 | |
| KR102322589B1 (ko) | 3차원 콘텐츠 내의 위치-기반 가상 요소 양식 | |
| KR102334271B1 (ko) | 제스처 파라미터 튜닝 | |
| KR102291777B1 (ko) | 바디 락 증강 현실과 월드 락 증강 현실 사이의 전환 기법 | |
| US10409443B2 (en) | Contextual cursor display based on hand tracking | |
| EP2948227B1 (en) | Mixed reality experience sharing | |
| US9977492B2 (en) | Mixed reality presentation | |
| JP7008730B2 (ja) | 画像に挿入される画像コンテンツについての影生成 | |
| CN106489171B (zh) | 立体图像显示器 | |
| US20140071163A1 (en) | Augmented reality information detail | |
| US9367203B1 (en) | User interface techniques for simulating three-dimensional depth | |
| CN107209565B (zh) | 用于显示固定大小的增强现实对象的方法和*** | |
| CN110569750A (zh) | 一种用于视线检测校准的方法和计算设备 | |
| US20180190019A1 (en) | Augmented reality user interface visibility | |
| KR20140081840A (ko) | 모션으로 제어되는 리스트 스크롤 방법 | |
| US10852814B1 (en) | Bounding virtual object | |
| EP2887639A1 (en) | Augmented reality information detail |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |