CN114527864B - 增强现实文字显示***、方法、设备及介质 - Google Patents

增强现实文字显示***、方法、设备及介质 Download PDF

Info

Publication number
CN114527864B
CN114527864B CN202011307663.XA CN202011307663A CN114527864B CN 114527864 B CN114527864 B CN 114527864B CN 202011307663 A CN202011307663 A CN 202011307663A CN 114527864 B CN114527864 B CN 114527864B
Authority
CN
China
Prior art keywords
head
processor
display device
display
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011307663.XA
Other languages
English (en)
Other versions
CN114527864A (zh
Inventor
范清文
苗京花
郝帅
郑超
张�浩
陈丽莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202011307663.XA priority Critical patent/CN114527864B/zh
Priority to US17/459,271 priority patent/US11703945B2/en
Publication of CN114527864A publication Critical patent/CN114527864A/zh
Application granted granted Critical
Publication of CN114527864B publication Critical patent/CN114527864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724094—Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种增强现实文字显示***、方法、设备及介质，该***包括头戴式显示设备和处理器，该头戴式显示设备与处理器之间建立有通信连接；该头戴式显示设备，用于采集佩戴者的头部姿态数据，发送头部姿态数据至处理器，以及接收处理器发送的显示控制指令；该处理器，用于从头戴式显示设备接收头部姿态数据，根据头部姿态数据生成显示控制指令，该显示控制指令用于控制文字内容在头戴式显示设备上的显示状态容。本申请实施例提供的技术方案，通过采集头戴式显示设备的头部姿态数据，根据头部姿态数据控制文字内容的显示状态，来解决头戴式显示设备中持续地显示提示词内容，导致用户视线被遮挡的问题。

Description

增强现实文字显示***、方法、设备及介质
技术领域
本申请一般涉及显示控制技术领域，尤其涉及一种增强现实文字显示***、方法、设备及介质。
背景技术
提词器通过显示器件显示文稿内容，显示器件通常在固定位置显示文稿内容，或者将显示的文稿内容反射到摄像机镜头前一块呈45度角的专用镀膜玻璃上，通过反射文稿内容，使得演讲者在观看文稿内容的同时，也能面对摄像机。演讲者、提词器、摄像机，三者需满足固定设置的需求，才能产生演讲者始终面向观众的亲切感。
但是，现有这些提词方式还是存在很多局限性，以致演讲者在演讲过程中无法很好地与听众进行互动。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种增强现实文字显示***、方法、设备及其存储介质，来解决提示词显示效率低的问题。
一方面，本申请实施例提供了一种增强现实文字显示***，该***包括头戴式显示设备和处理器，头戴式显示设备与处理器之间建立有通信连接；
头戴式显示设备，用于采集佩戴者的头部姿态数据，发送头部姿态数据至处理器，以及接收处理器发送的显示控制指令；
处理器，用于从头戴式显示设备接收头部姿态数据，根据头部姿态数据生成显示控制指令，该显示控制指令用于控制文字内容在头戴式显示设备上的显示状态。
一方面，本申请实施例提供了一种增强现实文字显示控制方法，该方法包括：
接收头戴式显示设备发送的头部姿态数据；
根据所述头部姿态数据向头戴式显示设备发送显示控制指令，该显示控制指令用于控制文字内容在头戴式显示设备上的显示状态。
一方面，本申请实施例提供了一种增强现实文字显示方法，该方法由头戴式显示设备执行，该头戴式显示设备与处理器之间建立有通信连接，该方法包括：
头戴式显示设备发送采集得到的头部姿态数据至处理器；
头戴式显示设备接收处理器发送的显示控制指令，该显示控制指令用于控制文字内容在头戴式显示设备上的显示状态；
头戴式显示设备根据显示控制指令显示文字内容。
一方面，本申请实施例提供了一种电子设备，该设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如本申请实施例描述的方法。
一方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序用于：
该计算机程序被处理器执行时实现如本申请实施例描述的方法。
本申请实施例提供的增强现实文字显示方法、***、设备及其存储介质，该增强现实文字显示***包括头戴式显示设备和处理器，该头戴式显示设备与处理器之间建立有通信连接；头戴式显示设备，用于采集佩戴者的头部姿态数据，发送头部姿态数据至处理器，以及接收处理器发送的显示控制指令；处理器，用于从头戴式显示设备接收头部姿态数据，根据头部姿态数据生成显示控制指令，该显示控制指令用于控制文字内容在头戴式显示设备上的显示状态。本申请实施例通过采集头戴式显示设备的佩戴者的头部姿态数据，利用头部姿态数据控制文字内容在头戴式显示设备中的显示状态，从而解决头戴式显示设备中持续地显示提示词内容，导致用户视线被遮挡的问题。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了本申请实施例提供的增强现实文字显示***的结构示意图；
图2示出了本申请实施例提供的移动终端与头戴式显示设备的功能结构示意图；
图3示出了本申请实施例提供的头部旋转角度的示意图；
图4示出了本申请实施例提供的在移动终端与头戴式显示设备上显示不同内容的示意图；
图5示出了本申请实施例提供的提示词操作界面的示意图；
图6示出了本申请实施例提供的又一增强现实文字显示***的结构示意图；
图7示出了本申请实施例提供的增强现实文字显示方法的流程示意图；
图8示出了本申请实施例提供的增强现实文字显示方法的交互示意图；
图9示出了适于用来实现本申请实施例的电子设备的***结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关公开，而非对该公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与公开相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
在相关技术中，用于显示提示词的显示器件通常固定设置在某些位置，演讲者需要注视固定位置的方向才能看到提示词内容，这样会导致演讲者在观看提示词同时，无法做到既观看提示词，同时又与观众及时互动。尤其是当演讲者佩戴着头戴式显示设备时，演讲者通过头戴式显示设备注视提示词时，会导致演讲者对提示词的观看极为不方便。
为了解决上述问题，本申请提出了一种便携式增强显示文字显示***，来提升增强现实显示设备的佩戴者获取提示词的效率。
请参考图1，图1示出了本申请实施例提供的增强现实文字显示***的结构示意图。如图1所示，增强现实文字显示***包括头戴式显示设备1和处理器21，头戴式显示设备1与处理器21之间建立有通信连接。例如，头戴式显示设备1和处理器21之间通过OTG数据线连接，或者通过其他的无线通信方式连接。
头戴式显示设备1，用于采集佩戴者的头部姿态数据，发送头部姿态数据至处理器21，以及接收处理器发送的显示控制指令。
处理器21，用于从头戴式显示设备1接收头部姿态数据，根据头部姿态数据生成显示控制指令，该显示控制指令用于控制文字内容在头戴式显示设备上的显示状态。
上述文字内容可以是提示词内容。提示词内容可以是在演讲时与演讲稿对应的批注内容，或是备注内容。例如演讲者采用在采用PPT幻灯放映时，不显示备注，在演讲者的头戴式显示设备上显示备注内容。
上述头戴式显示设备1，可以是增强现实显示设备。例如增强现实显示眼镜，即AR眼镜(Augmented Reality，简称AR)。
上述处理器可以是设置在头戴式显示设备内的功能模块，或者是其他终端，服务器，或者是其他终端内的功能模块，或者服务器内的功能模块。例如，头戴式显示设备将头部姿态数据上传至某个远程服务器或云端服务器，接收远程服务器或云端服务器返回的显示控制指令，该显示控制指令用于控制文字内容在头戴式显示设备上的显示状态。又例如，处理器被配置在移动终端内，这样便于用户携带，有效地提高了提词***的便携性，也提高了提词操作的效率。
在上述实施例基础上，请参考图2，图2示出了本申请实施例提供的移动终端和头戴式显示设备的功能结构示意图。其中处理器21被配置在移动终端1内。移动终端可以是各种电子设备，包括但不限于智能手机、平板电脑、笔记本电脑、个人数字终端等电子设备，但不局限于此。移动终端可以包括处理器和显示屏，其中处理器用于根据头部姿态数据生成显示控制指令，显示屏用于显示提词操作界面或者其他界面图像。显示屏可以是触摸显示屏等。
如图2所示，头戴式显示设备1，包括惯性测量单元101，该惯性测量单元与处理器之间建立有通信连接，该惯性测量单元用于采集佩戴者的头部姿态数据，发送头部姿态数据至处理器。惯性测量单元(英文全称，Inertial measurement unit，英文缩写IMU)，是测量物体三轴姿态角(或角速率)以及加速度的装置。
头戴式显示设备1还包括第一显示屏(图中未示出)，该第一显示屏用于显示从移动终端接收到的文字内容，以及其他的需要显示的内容。
本申请实施例，通过对头戴式显示设备的功能进行定制化设计，在头戴式显示设备中只需配置第一显示屏和IMU单元即可，有效地降低了头戴式显示设备的佩戴者的头部承重。
上述IMU单元，用于实时地采集佩戴者的头部姿态数据，IMU单元可以作为USB设备与移动终端连接。例如，使用Android USB Host与HID设备通信的方式来获取IMU单元采集的数据。即IMU单元与移动终端可以通过OTG数据线连接。
上述移动终端2可以包括处理器21，处理器用于根据头部姿态数据计算佩戴者的头部偏移角度值，确定头部偏移角度值是否等于预先设置的内容显示角度值；在确定头部偏移角度值等于预先设置的内容显示角度值时，产生第一显示控制指令，该第一显示控制指令用于控制文字内容在头戴式显示设备上的显示状态为正常显示。
该第一显示控制指令可以包括待显示的文字内容和文字内容对应的显示状态。
处理器21，用于获取IMU单元的加速度计采集得到的加速度读数；根据加速度读数计算IMU单元的滚动角roll和俯仰角pitch；
如图3所示，滚动角roll表示绕着z轴的旋转角度，俯仰角pitch表示绕着x轴的旋转角度，偏航角yaw表示绕着y轴的旋转角度。
处理器21，还用于根据IMU单元的滚动角roll和俯仰角pitch，计算IMU单元的偏航角yaw。偏航角也称为方位角。偏航角yaw即目标方向的欧拉角。欧拉角可以表示头部在空间的旋转，它按照既定的顺序，如依次绕z，y，x分别旋转一个固定角度。
处理器21，还用于基于目标方向的欧拉角确定头部偏移角度值。例如，处理器还用于根据当前计算得到的偏航角yaw与初始位姿数据对应的初始偏航角计算佩戴者的头部偏移角度值。该初始位姿数据是在头戴式显示设备初始配置时采集得到的。
预先设置的内容显示角度值，是指目标方向的欧拉角与初始位姿数据对应的初始偏航角之间的差值。上述预先设置的内容显示角度值可以通过移动终端提供的设置界面进行设定，或者根据用户的使用习惯设定。还可以获取用户佩戴头戴式显示设备所采集得到的用户操作习惯数据，对用户操作习惯数据进行分析得到用户习惯的头部旋转角度作为内容显示角度值。这里内容显示角度值还可以根据用户习惯增加偏移范围，例如，内容显示角度值对应的角度范围。以内容显示角度值为30°为例，该角度范围可以是±30°±0.5°。
例如，移动终端检测得到的头部偏移角度值等于内容显示角度值时，移动终端向头戴式显示设备发送第一显示控制指令，该第一显示控制指令用于允许在头戴式显示设备上显示文字内容，即指示文字内容为可见。其中内容显示角度值例如为±50°，+50°表示左侧头部偏移角度值，或者-50°表示右侧头部偏移角度值。
当用户直视前方与观众互动时，移动终端检测到得到的头部偏移角度值不等于内容显示角度值，则移动终端向头戴式显示设备发送第二显示控制指令，第二显示控制指令用于控制在头戴式显示设备上暂停显示文字内容，及指示文字内容为不可见。
通过上述方法可以使得头戴式显示设备的佩戴者，在演讲过程中更自然地与观众互动，有效地解决了提示词在头戴式显示设备上持续显示的问题，也提高了用户的满意度。
在根据头部姿态数据计算佩戴者的头部偏移角度值之前，处理器21还可以按照预设的时间间隔从头戴式显示设备中的IMU单元获取头部姿态数据。上述预设的时间间隔例如可以是2ms。即每个2ms获取一次数据。
为了避免头戴式显示设备因提示词内容长期显示，导致佩戴者的视线被遮挡的问题，本申请实施例提出采集头戴式显示设备的佩戴者的头部姿态数据，然后根据头部姿态数据与预先设置的内容显示角度值比对关系，来触发在头戴式显示设备中间断地显示文字内容，从而有效地解决佩戴者的视线配遮挡的问题。
另外，在头戴式显示设备中显示文字内容时，通常在移动终端上也会显示文字内容，这导致显示的文字内容不具备隐私性。为了更好地增强文字内容显示的安全性，本申请还提出了一种双屏异显方式来解决该问题。
如图4所示，头戴式显示设备1包括第一显示屏11，该第一显示屏用于显示文字内容；
上述处理器21位于移动终端2内(处理器在图3中未示出)，移动终端2还包括第二显示屏22，该第二显示屏用于在第一显示屏上显示文字内容的同时，显示不包含文字内容的其他界面图像。
在第一显示屏11上显示文字内容同时，在第二显示屏22上显示不包含文字内容的其他界面图像。该其他界面图像，例如可以倒计时界面图像、翻页界面图像、屏保界面图像等。倒计时界面图像可以辅助用户查看演讲时间。
例如，在图4中，头戴式显示设备的第一显示屏11显示文字内容为“AABBB”，在移动终端的第二显示屏22上显示的界面图像为时钟倒计时界面。
头戴式显示设备显示的文字内容需要从移动设备中获取，如果文字内容仍然在移动设备上显示，则可能导致显示的文字内容安全性较低。本申请实施例提出了上述双屏异显方式，可以有效地避免在移动终端和头戴式显示设备中同时显示提示词内容所导致的显示安全性问题。
在上述实施例基础上，用户需要对演讲稿进行翻页讲解时，可以通过移动终端提供的提示词操作界面对演讲稿内容进行操作。
如图5所示，移动终端2可以包括第二显示屏22和处理器，第二显示屏22与处理器(未在图3中示出)之间通过数据线连接，第二显示屏22用于显示提示词操作界面，并接收在提示词操作界面上输入的控制操作数据。处理器用于接收控制操作数据，根据控制操作数据控制文字内容在头戴式显示设备上的显示状态。上述第二显示屏是触控显示屏。
上述控制操作数据是指检测到的针对提示词操作界面所包含的触控组件的触控操作。例如，提示词操作界面包括翻页区域，在翻页区域中包括前进翻页触控组件、后退翻页触控组件或者预设时间自动翻页触控组件等。
在提示词显示过程中，为便于用户针对提示词内容的显示状态进行控制，本申请提出了针对移动终端的第二显示屏22上显示的提示词操作界面进行操作，来对提示词内容进行有效地控制。
例如，在第二显示屏上接收到用户针对提示词文件输入的第一操作，响应用户输入的第一操作，在第二显示屏上显示提示词操作界面。第一操作，例如可以是点击触控。
检测到针对提示词操作界面内的触控组件输入的第二操作，响应第二操作，控制提示词文件从当前显示位置调整至与第二操作对应的显示位置。例如是针对提示词操作界面内“前进翻页触控组件”的一次点击操作，则控制在头戴式显示设备中显示新的提示词内容，该新的提示词内容是从当前显示位置调整至当前显示位置之前的显示位置对应的内容。
为了实现对提示词内容的便捷操作，用户针对第二显示屏上显示的提示词操作界面，对提示词内容的显示位置进行调整。用户还可以通过长按自动翻页触控组件来修改设置自动翻页时间，从而提高用户对提示词显示状态的可操作性。
在头戴式显示设备显示提示词的场景中，头戴式显示设备的供电通常是由移动终端提供的。但是，用户在使用移动终端过程可能会很容易地触碰到电源键，这会导致头戴式显示设备中显示内容出现短暂停止，中断演讲者的演讲过程。为了解决该问题，本申请实施例还提供了一种增强现实文字显示***。
请参考图6，图6示出了本申请实施例提供的又一增强现实文字显示***的结构示意图。增强现实文字显示***包括头戴式显示设备1和移动终端2，头戴式显示设备1与移动终端2之间建立有通信连接。
该***还包括控制设备3，控制设备3与移动终端1无线连接。
控制设备3用于接收输入的控制操作数据，并发送控制操作数据至移动终端。
移动终端2用于接收控制操作数据，根据控制操作数据控制提示内容在头戴式显示设备上的显示状态。
上述控制设备3可以是蓝牙手柄、投影仪控制笔等。当控制设备3为蓝牙手柄时，用户通过对蓝牙手柄上的按键进行操作，向移动终端设备发送操作数据，移动终端接收到蓝牙手柄发送的操作数据后，根据操作数据控制提示内容在头戴式显示设备上的显示状态。
如图6所示，用户对蓝牙手柄上设置的向上翻页键连续操作3次(例如按压3次)，蓝牙手柄的触控检测模块用于检测到针对向上翻页键的按压操作次数。触控检测模块将按压操作次数与向上翻页键对应的指示符发送至蓝牙手柄的处理器，蓝牙手柄的处理器用于接收触控检测模块发送的按压操作次数与向上翻页键对应的指示符，并将按压操作次数与向上翻页键对应的指示符封装成信令数据，发送信令数据至移动终端，移动终端的处理器对接收到的信令数据进行解析得到控制数据；根据控制数据控制提示内容的显示状态。即将提示内容从当前显示页面向前翻3页。
当控制设备3为投影仪控制笔时，需要先对投影仪控制笔进行配置设置，例如先将投影仪控制笔与移动终端进行蓝牙配对操作，在完成蓝牙配对操作之后，获取投影仪控制笔的按键对应操作参数，在移动终端的触摸显示屏上显示对应的操作参数，根据用户的个性化设置需求，对投影仪控制笔的按键操作参数进行重新配置，或者接受投影仪触控笔的默认的按键操作参数。
本申请实施例通过控制设备来避免用户在使用移动终端过程中误触电源键导致的显示中断问题，有效地提升了提示词显示控制效率。
下面结合图7进一步地说明本申请提出的增强现实文字显示控制方法。请参考图7，图7示出了本申请实施例提供的增强现实文字显示控制方法的流程示意图。该方法由增强现实文字显示控制装置执行，该增强现实文字显示控制装置配置处理器，该方法包括：
步骤301，接收头戴式显示设备发送的头部姿态数据；
步骤302，根据头部姿态数据向头戴式显示设备发送显示控制指令，该显示控制指令用于控制文字内容在头戴式显示设备上的显示状态。
在上述步骤中，根据头部姿态数据向头戴式显示设备发送显示控制指令，包括：
根据头部姿态数据计算佩戴者的头部偏移角度值；
在确定头部偏移角度值等于预先设置的内容显示角度值时，产生第一显示控制指令，该第一显示控制指令用于控制文字内容在头戴式显示设备上的显示状态为正常显示。
在确定头部偏移角度值不等于预先设置的内容显示角度值时，产生第二显示控制指令，该第二显示控制指令用于控制文字内容在头戴式显示设备上的显示状态为暂停显示。
上述根据头部姿态数据计算佩戴者的头部偏移角度值包括：
接收检测得到当前头部姿态数据，该当前头部姿态数据是在头戴式显示设备完成初始配置之后，按照预设的间隔周期采集得到的；
根据当前头部姿态数据计算目标方向的欧拉角；
基于目标方向的欧拉角确定头部偏移角度值。
在从头戴式显示设备接收头部姿态数据之前，该方法包括：
从头戴式显示设备接收控制设备发送的初始操作数据；
接收头戴式显示设备发送的初始头部姿态数据；
根据初始操作数据和初始头部姿态数据，设置头戴式显示设备的初始位姿数据，该初始位姿数据用于计算头部偏移角度值。
在上述实施例中，该方法还可以包括：
接收输入的控制操作数据；
根据控制操作数据控制提示词内容在头戴式显示设备上的显示状态。
上述接收输入的控制操作数据还可以包括：
接收控制设备发送的控制操作数据；或者，
接收移动终端发送的通过移动终端的第二显示屏检测到的控制操作数据。
在上述实施例基础上，上述头戴式显示设备还可以包括第一显示屏，该第一显示屏用于显示文字内容；
处理器被配置在移动终端内，该移动终端还可以包括第二显示屏，第二显示屏用于在第一显示屏上显示文字内容的同时，显示不包含文字内容的其他界面图像。处理器与第二显示屏之间通过数据线连接。
本申请实施例，通过移动终端从头戴式显示设备接收头部姿态数据，根据头部姿态数据计算头部偏移角度值，再根据头部偏移角度值控制文字内容的显示状态，从而可以有效地避免在头戴式显示设备中持续显示提示词内容的问题。
下面结合图8进一步地说明本申请提出的增强现实文字显示控制方法。请参考图8，图8示出了本申请实施例提供的增强现实文字显示控制方法的交互示意图。该增强现实文字显示控制方法由头戴式显示设备、移动终端和控制设备交互实施，其中移动终端内配置有处理器，该方法包括：
步骤401，头戴式显示设备发送采集得到的头部姿态数据至移动终端；移动终端的处理器接收头戴式显示设备发送的佩戴者的头部姿态数据。
步骤402，移动终端的处理器根据头部姿态数据向头戴式显示设备发送显示控制指令，该显示控制指令用于控制文字内容在头戴式显示设备上的显示状态。
步骤403，头戴式显示设备接收显示控制指令，并根据显示控制指令显示文字内容。
上述头戴式显示设备可以包括第一显示屏和IMU单元。其中IMU单元用于发送采集得到的头部姿态数据至移动终端。第一显示屏用于接收移动终端发送的根据头部姿态数据确定发送的文字内容，并根据移动终端发送的显示控制指令显示文字内容。
步骤404，移动终端接收控制设备发送的控制操作数据；
步骤405，移动终端根据控制操作数据控制文字内容在头戴式显示设备上的显示状态。
以头戴式显示设备为AR眼镜，移动终端为手机，控制设备为蓝牙手柄为例，结合上述实施例描述的方法对本申请实施例进一步展开描述，佩戴AR眼镜的用户通过移动终端呈现的显示设置界面，对AR眼镜内呈现的提示词内容的呈现方式进行设置，例如，显示设置界面包含提示词内容路径旋转、提示词字体大小、行间距、背景颜色、字体颜色、旋转角度值及字体类型的设置。
移动终端的第二显示屏，例如手机的触摸显示屏，在触摸显示屏上展示的显示设置界面，呈现提示消息，该提示消息用于提示用户保持头部正视前方，并提示用户按压蓝牙手柄上设置的初始位姿设定按钮，在手机的处理器接收到AR眼镜检测到的初始头部姿态数据和蓝牙手柄返回的按键信息，根据初始头部姿态数据和按键信息对用户初始位姿状态进行设定，该初始位姿状态用于后续处理器计算佩戴者实时的头部偏移角度值。
处理器还可以提示是否需要进行初始位姿状态重置，如果是，则返回用户初始位姿状态的设定步骤，如果否，则继续获取AR眼镜的IMU数据。例如，使用Android USB Host机制实现与HID设备通信来获取IMU数据。
处理器获取IMU数据后，对IMU数据进行欧拉角计算，求解得到AR眼镜的佩戴者的头部在Yaw方向的旋转角度值，作为头部偏移角度值。
处理器判断当前AR眼镜的佩戴者的头部偏移角度值是否等于预先设置的头部偏移角度值，如果是则通过动态修改第一显示屏对应的显示模块中布局的Android UI控件的可见属性，控制文字内容在第一显示屏上进行显示，否则进一步地判断AR眼镜的佩戴者是否期望退出文字内容显示，如果是则退出，否则返回用户初始位姿状态的设定步骤；
上述IMU数据的获取可以使用Android USB Host机制实现与HID设备通信来获取。
处理器可以实时地监测用户是否对蓝牙手柄设置的按键进行按压操作。
当检测到用户针对蓝牙手柄上预先设置的按键KEYCODE_BUTTON_A、按键KEYCODE_BUTTON_Y、按键KEYCODE_BUTTON_X及按键KEYCODE_BUTTON_B的任意一个实施按压操作之后，处理器获取被按压的按键对应的键值信息。
当处理器接收到针对按键KEYCODE_BUTTON_A的按压信号时，控制文字内容进行向上翻页，即调整文字内容，例如从PPT文件的第二幻灯片的备注信息调整至第一幻灯片对应的备注信息，或者根据PPT的翻页控制键的操作，跟随显示与PPT的幻灯片位置对应的备注信息。
当处理器接收到针对按键KEYCODE_BUTTON_Y的按压信号时，控制文字内容进行向下翻页。例如从PPT文件的第二幻灯片的备注信息调整至第三幻灯片对应的备注信息。
当处理器接收到针对按键KEYCODE_BUTTON_X的按压信号时，重新设置用户初始姿态。
当处理器接收到针对按键KEYCODE_BUTTON_B的按压信号时，返回基本信息设置界面。
应当注意，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
应当理解，上述装置中记载的诸单元或模块与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于上述装置及其中包含的单元，在此不再赘述。上述装置可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。上述装置的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。
在上文详细描述中提及的若干模块或者单元，这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
下面参考图9，其示出了适于用来实现本申请实施例的移动终端的***结构示意图。
如图9所示，该***包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有***操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：输入部分506；输出部分507；存储部分508；以及通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。
特别地，根据本公开的实施例，上文参考流程图图7描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的***中限定的上述功能。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括姿态数据接收模块和提示词内容发送模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，姿态数据接收模块还可以被描述为“用于接收头戴式显示设备发送的头部姿态数据的模块”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的增强显示文字显示方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种增强现实文字显示***，其特征在于，所述***包括头戴式显示设备和处理器，所述头戴式显示设备与所述处理器之间建立有通信连接；
所述头戴式显示设备，用于采集佩戴者的头部姿态数据，发送所述头部姿态数据至所述处理器，以及接收所述处理器发送的显示控制指令；
所述处理器，用于从所述头戴式显示设备接收所述头部姿态数据，根据所述头部姿态数据生成显示控制指令，所述显示控制指令用于控制文字内容在所述头戴式显示设备上的显示状态；
所述处理器用于：
根据所述头部姿态数据计算所述佩戴者的头部偏移角度值；
在确定所述头部偏移角度值等于预先设置的内容显示角度值时，产生第一显示控制指令，所述第一显示控制指令用于控制所述文字内容在所述头戴式显示设备上的显示状态为正常显示；
所述处理器还用于：在确定所述头部偏移角度值不等于预先设置的内容显示角度值时，产生第二显示控制指令，所述第二显示控制指令用于控制所述文字内容在所述头戴式显示设备上的显示状态为暂停显示。
2.根据权利要求1所述的***，其特征在于，所述文字内容包括提示词内容。
3.根据权利要求1所述的***，其特征在于，所述头戴式显示设备包括第一显示屏，所述第一显示屏用于显示所述文字内容；
所述处理器被配置在移动终端内，所述移动终端还包括第二显示屏，所述第二显示屏用于在所述第一显示屏上显示所述文字内容的同时，显示不包含所述文字内容的其他界面图像。
4.根据权利要求3所述的***，其特征在于，所述第二显示屏用于显示提示词操作界面，接收在所述提示词操作界面上输入的控制操作数据，
所述处理器用于根据所述控制操作数据控制所述文字内容在所述头戴式显示设备上的显示状态。
5.根据权利要求1所述的***，其特征在于，该***还包括控制设备，所述控制设备与所述处理器之间通过无线连接；
所述控制设备，用于接收输入的控制操作数据，并发送所述控制操作数据至所述处理器；
所述处理器，用于接收所述控制操作数据，根据所述控制操作数据产生第三显示控制指令，所述第三显示控制指令用于控制所述文字内容在所述头戴式显示设备上的显示状态。
6.根据权利要求1所述的***，其特征在于，所述头戴式显示设备包括惯性测量单元，所述惯性测量单元与所述处理器之间建立有通信连接，所述惯性测量单元用于采集佩戴者的头部姿态数据，发送所述头部姿态数据至所述处理器。
7.一种增强现实文字显示方法，其特征在于，所述方法由权利要求1-6任一项所述的***执行，该方法包括：
接收头戴式显示设备发送的头部姿态数据；
根据所述头部姿态数据向所述头戴式显示设备发送显示控制指令，所述显示控制指令用于控制文字内容在所述头戴式显示设备上的显示状态。
8.一种增强现实文字显示方法，其特征在于，该方法由权利要求1-6任一项所述的头戴式显示设备执行，所述头戴式显示设备与处理器之间建立有通信连接，该方法包括：
所述头戴式显示设备发送采集得到的头部姿态数据至所述处理器；
所述头戴式显示设备接收所述处理器发送的显示控制指令，所述显示控制指令用于控制文字内容在所述头戴式显示设备上的显示状态；
所述头戴式显示设备根据所述显示控制指令显示所述文字内容。
9.一种电子设备，其特征在于，该设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器用于执行所述程序时实现如权利要求7或8所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于实现如权利要求7或8所述的方法。
CN202011307663.XA 2020-11-19 2020-11-19 增强现实文字显示***、方法、设备及介质 Active CN114527864B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011307663.XA CN114527864B (zh) 2020-11-19 2020-11-19 增强现实文字显示***、方法、设备及介质
US17/459,271 US11703945B2 (en) 2020-11-19 2021-08-27 Augmented reality information prompting system, display control method, equipment and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011307663.XA CN114527864B (zh) 2020-11-19 2020-11-19 增强现实文字显示***、方法、设备及介质

Publications (2)

Publication Number Publication Date
CN114527864A CN114527864A (zh) 2022-05-24
CN114527864B true CN114527864B (zh) 2024-03-15

Family

ID=81587520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011307663.XA Active CN114527864B (zh) 2020-11-19 2020-11-19 增强现实文字显示***、方法、设备及介质

Country Status (2)

Country Link
US (1) US11703945B2 (zh)
CN (1) CN114527864B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
EP4288856A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd Extended reality for productivity
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
WO2023049705A1 (en) * 2021-09-23 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for content applications
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11977672B2 (en) * 2022-06-03 2024-05-07 Qualcomm Incorporated Distributed pose prediction
CN115268749B (zh) * 2022-07-20 2024-04-09 广州视享科技有限公司 增强现实设备的控制方法、移动终端及防遮挡***
US11985378B1 (en) 2022-11-14 2024-05-14 Realwear, Inc. Wearable media streaming system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104407700A (zh) * 2014-11-27 2015-03-11 曦煌科技(北京)有限公司 一种移动头戴式虚拟现实和增强现实的设备
CN107290972A (zh) * 2017-07-05 2017-10-24 三星电子（中国）研发中心 设备控制方法和装置
CN107454947A (zh) * 2016-09-26 2017-12-08 深圳市大疆创新科技有限公司 无人机控制方法、头戴式显示眼镜及***
CN111190488A (zh) * 2019-12-30 2020-05-22 华为技术有限公司 设备控制方法、通信装置及存储介质
CN111427447A (zh) * 2020-03-04 2020-07-17 青岛小鸟看看科技有限公司 虚拟键盘的显示方法、头戴显示设备及***

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6184847B1 (en) * 1998-09-22 2001-02-06 Vega Vista, Inc. Intuitive control of portable data displays
US11428937B2 (en) * 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
EP2404443A4 (en) * 2009-03-03 2013-09-04 Digimarc Corp TARGETED DISSEMINATION FROM PUBLIC DISPLAYS AND ASSOCIATED ARRANGEMENTS
US9571625B2 (en) * 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
US20110250962A1 (en) * 2010-04-09 2011-10-13 Feiner Steven K System and method for a 3d computer game with true vector of gravity
US8780014B2 (en) * 2010-08-25 2014-07-15 Eastman Kodak Company Switchable head-mounted display
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US20120188148A1 (en) * 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
US8970452B2 (en) * 2011-11-02 2015-03-03 Google Inc. Imaging method
US8643951B1 (en) * 2012-03-15 2014-02-04 Google Inc. Graphical menu and interaction therewith through a viewing window
US9671566B2 (en) * 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9268136B1 (en) * 2012-09-28 2016-02-23 Google Inc. Use of comparative sensor data to determine orientation of head relative to body
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
WO2015006784A2 (en) * 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
KR102081934B1 (ko) * 2013-08-28 2020-02-26 엘지전자 주식회사 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
US9575563B1 (en) * 2013-12-30 2017-02-21 X Development Llc Tap to initiate a next action for user requests
KR102114618B1 (ko) * 2014-01-16 2020-05-25 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
KR102182161B1 (ko) * 2014-02-20 2020-11-24 엘지전자 주식회사 Hmd 및 그 제어 방법
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
US10181219B1 (en) * 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
US10018844B2 (en) * 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US10180734B2 (en) * 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US10102674B2 (en) * 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
KR20160139727A (ko) * 2015-05-28 2016-12-07 엘지전자 주식회사 글래스타입 단말기 및 이의 제어방법
US20160378204A1 (en) * 2015-06-24 2016-12-29 Google Inc. System for tracking a handheld device in an augmented and/or virtual reality environment
WO2017039308A1 (en) * 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
EP4254145A3 (en) * 2015-09-16 2023-11-01 Magic Leap, Inc. Head pose mixing of audio files
US9671615B1 (en) * 2015-12-01 2017-06-06 Microsoft Technology Licensing, Llc Extended field of view in near-eye display using wide-spectrum imager
US9978180B2 (en) * 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
US10275023B2 (en) * 2016-05-05 2019-04-30 Google Llc Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
US10345925B2 (en) * 2016-08-03 2019-07-09 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
US9928660B1 (en) * 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
WO2018058063A1 (en) * 2016-09-26 2018-03-29 Magic Leap, Inc. Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system
CN110546601B (zh) * 2017-04-03 2023-09-26 索尼公司 信息处理装置、信息处理方法和程序
GB2564866B (en) * 2017-07-24 2021-07-28 Advanced Risc Mach Ltd Method of and data processing system for providing an output surface
US10957069B2 (en) * 2017-09-29 2021-03-23 Tobii Ab Head pose estimation from local eye region
US10437065B2 (en) * 2017-10-03 2019-10-08 Microsoft Technology Licensing, Llc IPD correction and reprojection for accurate mixed reality object placement
US10422989B2 (en) * 2018-02-06 2019-09-24 Microsoft Technology Licensing, Llc Optical systems including a single actuator and multiple fluid-filled optical lenses for near-eye-display devices
WO2020028834A1 (en) * 2018-08-02 2020-02-06 Magic Leap, Inc. A viewing system with interpupillary distance compensation based on head motion
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104407700A (zh) * 2014-11-27 2015-03-11 曦煌科技(北京)有限公司 一种移动头戴式虚拟现实和增强现实的设备
CN107454947A (zh) * 2016-09-26 2017-12-08 深圳市大疆创新科技有限公司 无人机控制方法、头戴式显示眼镜及***
CN107290972A (zh) * 2017-07-05 2017-10-24 三星电子（中国）研发中心 设备控制方法和装置
CN111190488A (zh) * 2019-12-30 2020-05-22 华为技术有限公司 设备控制方法、通信装置及存储介质
CN111427447A (zh) * 2020-03-04 2020-07-17 青岛小鸟看看科技有限公司 虚拟键盘的显示方法、头戴显示设备及***

Also Published As

Publication number Publication date
CN114527864A (zh) 2022-05-24
US11703945B2 (en) 2023-07-18
US20220155853A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
CN114527864B (zh) 增强现实文字显示***、方法、设备及介质
EP3465620B1 (en) Shared experience with contextual augmentation
US10013976B2 (en) Context sensitive overlays in voice controlled headset computer displays
EP2845075B1 (en) Headset computer (hsc) as auxiliary display with asr and ht input
CN110097429B (zh) 电子订单生成方法、装置、终端及存储介质
CN110546601B (zh) 信息处理装置、信息处理方法和程序
EP4044606B1 (en) View adjustment method and apparatus for target device, electronic device, and medium
KR20180075989A (ko) 전자 장치, 웨어러블 장치 및 전자 장치의 표시 객체 제어 방법
CN111147743B (zh) 摄像头控制方法及电子设备
JP2018032440A (ja) 制御可能なヘッドセットコンピュータディスプレイ
CN111510757A (zh) 一种共享媒体数据流的方法、装置以及***
US20180286352A1 (en) Information display method and head-mounted display
US11808941B2 (en) Augmented image generation using virtual content from wearable heads up display
CN109302563B (zh) 防抖处理方法、装置、存储介质及移动终端
US20150370523A1 (en) Portable electronic apparatus, method for controlling the same, and program
US9990117B2 (en) Zooming and panning within a user interface
US20190279636A1 (en) Context Sensitive Overlays in Voice Controlled Headset Computer Displays
CN111429519B (zh) 三维场景显示方法、装置、可读存储介质及电子设备
CN111694535B (zh) 闹钟信息显示方法及装置
CN107924276B (zh) 电子设备及其文本输入方法
CN108156321B (zh) 一种分屏显示方法及终端
US20190156792A1 (en) Method and system for adjusting display content and head-mounted display
KR102629413B1 (ko) 전자 장치 및 전자 장치의 기능 실행 방법
US20240028130A1 (en) Object movement control method, apparatus, and device
TW201142466A (en) Interactive projection system and system control method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant