CN115877941A - 一种头戴式交互设备以及用于头戴式交互设备的交互方法 - Google Patents

一种头戴式交互设备以及用于头戴式交互设备的交互方法 Download PDF

Info

Publication number
CN115877941A
CN115877941A CN202111140787.8A CN202111140787A CN115877941A CN 115877941 A CN115877941 A CN 115877941A CN 202111140787 A CN202111140787 A CN 202111140787A CN 115877941 A CN115877941 A CN 115877941A
Authority
CN
China
Prior art keywords
user
head
interactive
occluded
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111140787.8A
Other languages
English (en)
Inventor
李江亮
苏爱民
方俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Guangshi Fusion Intelligent Technology Co ltd
Original Assignee
Shanghai Guangshi Fusion Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Guangshi Fusion Intelligent Technology Co ltd filed Critical Shanghai Guangshi Fusion Intelligent Technology Co ltd
Priority to CN202111140787.8A priority Critical patent/CN115877941A/zh
Publication of CN115877941A publication Critical patent/CN115877941A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种头戴式交互设备以及用于头戴式交互设备的交互方法,其中,所述头戴式交互设备上具有用于检测用户的眼睛是否被遮挡的遮挡检测装置,所述方法包括:获得所述头戴式交互设备上的遮挡检测装置的检测结果;基于所述遮挡检测装置的检测结果,确定用户的某个眼睛的前方是否被遮挡;以及,如果有遮挡,则启动所述头戴式交互设备的预定功能。

Description

一种头戴式交互设备以及用于头戴式交互设备的交互方法
技术领域
本发明涉及人机交互领域,尤其涉及一种头戴式交互设备以及用于头戴式交互设备的交互方法。
背景技术
随着科技的发展,头戴式交互设备(例如智能头盔、智能眼镜等)正在逐渐普及。对于头戴式交互设备而言,如何让用户与其进行便捷的交互是一个需要重点考虑的问题。
一种交互方法是进行手势输入,这种方式需要在头戴式交互设备上部署摄像头,并通过摄像头来持续地采集和分析用户的手势图像,因此对设备性能和算力要求很高,并且能耗也很高。
另一种交互方法是通过用户手持的输入设备来进行交互,具体地,通过感测输入设备的位置和姿态变化,来改变头戴式交互设备的显示媒介上的光标的位置,从而确定用户希望进行的交互操作,例如用户希望点击的图标。但是这种方式需要用户另外手持输入设备,比较繁琐,并且不能解放用户的双手。
本申请提供了一种头戴式交互设备以及用于头戴式交互设备的交互方法。
发明内容
本发明的一个方面涉及一种用于头戴式交互设备的交互方法,其中,所述头戴式交互设备上具有用于检测用户的眼睛是否被遮挡的遮挡检测装置,所述方法包括:获得所述头戴式交互设备上的遮挡检测装置的检测结果;基于所述遮挡检测装置的检测结果,确定用户的某个眼睛的前方是否被遮挡;以及,如果有遮挡,则启动所述头戴式交互设备的预定功能。
本发明的另一个方面涉及一种头戴式交互设备,其包括:一个或多个遮挡检测装置,用于检测用户的眼睛是否被遮挡;一个或多个显示媒介,用于呈现交互界面;以及处理器,用于实现本申请所描述的方法。
本发明的另一个方面涉及一种存储介质,其中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现本申请所描述的方法。
通过本发明的方案,不需要检测和分析用户的手势,因此可以降低对头戴式交互设备的算力和能耗需求,从而可以极大地降低其成本并延长其续航时间。另外,这种方式也不需要用户的双手对头戴式交互设备执行精细的触摸或者按键操作,从而可以在很多工业环境中使用。另外,在本申请的一些实施例中,在遮挡眼睛时启动头戴式交互设备的预定功能,在不再遮挡眼睛时可以关闭该预定功能和/或启动其他功能,因此非常高效便捷;在本申请的一些实施例中,可以使得用户遮挡眼睛的操作不仅用于启动交互界面,还用于之后仅通过一只眼睛(也即,未被遮挡的眼睛)将显示媒介上的光标准确地对准虚拟对象或实际物体,从而可以避免两眼之间的视差,使得用户能够更加准确高效地选择虚拟对象或实际物体,明显地提高了人机交互的效率和便利性。
附图说明
以下参照附图对本发明的实施例作进一步说明,其中:
图1示出了根据一个实施例的头戴式交互设备;
图2示出了根据一个实施例的用于头戴式交互设备的交互方法;
图3示出了根据一个实施例的用于头戴式交互设备的交互方法;
图4示出了根据一个实施例的在头戴式交互设备的显示媒介上呈现的交互界面;
图5示出了根据一个实施例的交互过程;
图6示出了根据一个实施例的用于头戴式交互设备的交互方法;
图7示出了根据一个实施例的交互过程。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图通过具体实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限制本发明。
图1示出了根据一个实施例的头戴式交互设备100,其例如可以是智能眼镜,在其上安装有两个遮挡检测装置101和102,遮挡检测装置101用于检测用户左眼的前方是否被遮挡,遮挡检测装置102用于检测用户右眼的前方是否被遮挡。头戴式交互设备100上还具有用于用户左眼的显示媒介103和用于用户右眼的显示媒介104。头戴式交互设备的显示媒介可以是任何能够用于提供信息显示功能的器件,例如显示屏幕、棱镜、透镜、反射镜、透明物体(例如玻璃)等。头戴式交互设备100还具有处理器(图中未示出),该处理器可以集成到头戴式交互设备的主体(例如,智能眼镜的框架),也可以作为分立器件通过有线或无线的方式耦接到头戴式交互设备的主体。
在一个实施例中,头戴式交互设备上可以仅具有一个遮挡检测装置或者可以具有多于两个遮挡检测装置。在一个实施例中,头戴式交互设备上的遮挡检测装置可以仅检测用户的某一只眼睛的前方是否被遮挡(也即,仅具有单眼检测能力),也可以检测用户的任一只眼睛的前方是否被遮挡(也即,具有双眼检测能力)。在一个实施例中,头戴式交互设备上可以仅具有一个遮挡检测装置,该遮挡检测装置可以同时检测用户左眼和右眼中的任一只眼睛是否被遮挡。
遮挡检测装置可以是各种能够用于检测遮挡的装置,例如红外检测装置、激光检测装置、摄像头、等等。在一个实施例中,遮挡检测装置的有效检测距离可以在50cm以内、30cm以内、20cm以内、15cm以内、10cm以内、5cm以内、等等。
在一个实施例中,遮挡检测装置中可以包括发射器和接收器,两者可以集成或组合在一起,也可以是物理空间上分离的两个器件。遮挡检测装置可以通过其中的发射器发射信号(例如红外信号),并通过接收器接收所发射信号的反射信号。
在一个实施例中,如果遮挡检测装置的前方未被遮挡,则其中的接收器通常不会接收到反射信号,或者只能接收到由环境中的其他物体(例如远处的墙壁等)反射的微弱信号;而如果遮挡检测装置的前方被遮挡(在几厘米到几十厘米的范围内存在遮挡物,例如用户的手、手臂等),则其中的接收器通常会接收到明显的反射信息。因此,根据遮挡检测装置中的接收器是否接收到反射信号和/或所接收到的反射信号的强弱,可以检测其是否被遮挡。
在本发明中,遮挡检测装置可以用于检测用户眼睛前方几十厘米的范围内是否存在遮挡物,例如50cm以内、30cm以内、20cm以内、15cm以内、10cm以内、5cm以内、等等。用户眼睛前方存在遮挡物可以是用户眼睛的一小部分视野被遮挡,也可以是用户眼睛的大部分视野被遮挡,也可以是全部视野被遮挡。
在一个实施例中,遮挡检测装置可以计算从信号的发射时刻到反射信号的接收时刻之间的飞行时间。如果飞行时间比预定阈值更长,或者根本未接收到反射信号,则可以认为遮挡检测装置未被遮挡。如果飞行时间比预定阈值更短,则可以认为遮挡检测装置被遮挡。
在一个实施例中,遮挡检测装置可以通过其中的发射器连续发射信号,并可以通过接收器连续采集反射信号。在一个实施例中,遮挡检测装置也可以通过其中的发射器以预定的时间间隔来发射信号。
为了避免环境中各种信号的干扰,遮挡检测装置的发射器所发射的信号可以具有独特特征,例如,所发射的信号可以是红外信号或远红外信号,或者所发射的信号可以具有特定频率,以与环境中的其他信号区分开。
用户佩戴的头戴式交互设备可以是智能眼镜、智能头盔等设备,智能眼镜例如可以是AR眼镜、VR眼镜等。在图1中示出了具有两个显示媒介103和104的头戴式交互设备100,但可以理解,这并非限制,头戴式交互设备可以仅具有一个显示媒介,以用于单目显示。
在一个实施例中,头戴式交互设备中还包括用于感测环境光的光敏器件,以使得能够根据所感测到的环境光特征来动态地调整发射器所发射的信号,例如调整其强度或幅值。
在一个实施例中,头戴式交互设备中还包括用于感测头戴式交互设备的位姿(位置和姿态)变化或者姿态变化的器件,例如惯性传感器(IMU)。
图2示出了根据一个实施例的用于头戴式交互设备的交互方法,其包括如下步骤:
步骤201:获得头戴式交互设备上的遮挡检测装置的检测结果。
如上文所提到的,头戴式交互设备上可以具有一个或多个遮挡检测装置,遮挡检测装置可以是各种能够用于检测遮挡的装置,例如红外检测装置、激光检测装置、摄像头、等等。
用户可以使用手、胳膊、肘部等来进行遮挡,也可以使用其他物体来进行遮挡。遮挡检测装置的检测结果例如可以包括反射信号的强弱、信号的飞行时间、等等。
步骤202:基于所述遮挡检测装置的检测结果,确定用户的某个眼睛的前方是否被遮挡。
在获得了遮挡检测装置的检测结果之后,可以对该结果分析,以确定用户的某个眼睛的前方是否被遮挡。如上文所描述的,可以根据遮挡检测装置中的接收器是否接收到反射信号和/或所接收到的反射信号的强弱,或者根据从信号的发射时刻到反射信号的接收时刻之间的飞行时间,来确定用户的某个眼睛的前方是否被遮挡。
步骤203:如果有遮挡,则在所述头戴式交互设备的显示媒介上呈现预定交互界面
需要说明的是,在本申请的一些实施例中,以在头戴式交互设备的显示媒介上呈现预定交互界面为例进行了说明,但本发明并不局限于此,而是可以在确定用户的某个眼睛被遮挡的情况下启动所述头戴式交互设备的任何预定功能,该预定功能例如还可以包括:屏幕画面滑动或移动功能;虚拟对象挪移功能;方向选择功能;等等。下文会对这些功能进行更详细的说明。
通过这种检测遮挡的方式,不需要检测和分析用户的手势,因此可以降低对头戴式交互设备的算力和能耗需求,从而可以极大地降低其成本并延长其续航时间。另外,这种方式不需要用户的双手对头戴式交互设备执行精细的触摸或者按键操作,从而可以在很多工业环境中使用。例如,维修工可能手上有油污,或者带着手套,从而无法对头戴式设备执行精细的触摸或者按键操作,而通过本发明的简单的遮挡操作,可以轻易、方便的进行人机交互。
在一个实施例中,在用户的某个眼睛被遮挡时,可以确定被遮挡的时长,之后,可以根据被遮挡的时长在头戴式交互设备的显示媒介上呈现相应的预定交互界面。例如,在用户的某个眼睛被遮挡时,可以立即在头戴式交互设备的显示媒介上呈现光标(也可称为准星)。如果此时眼睛不再被遮挡,光标消失;如果眼睛持续被遮挡例如2秒或以上,则可以在头戴式交互设备的显示媒介上呈现以光标为中心的四向、八向或多向菜单。
当用户的某个眼睛被遮挡时,可以在与该被遮挡的眼睛对应的显示媒介上呈现预定交互界面,也可以在与另一个眼睛对应的显示媒介上呈现预定交互界面,也可以在与两个眼睛分别对应的两个显示媒介上都呈现预定交互界面。
在一个实施例中,步骤203包括:如果有遮挡,则在所述头戴式交互设备的与用户的被遮挡的眼睛对应的显示媒介上呈现预定交互界面,所述预定交互界面中的一个或多个功能与现实场景无关。这种方式特别适用于在AR眼镜的显示媒介上呈现关于个人交互功能的界面,该个人交互功能与现实场景无关,例如可以是计时、录音、电话、时钟等。由于AR眼镜需要在现实场景上叠加信息(例如交互界面),因此现实场景可能会对所叠加的信息造成干扰,特别是当现实场景中光照比较强时,过亮的现实场景会严重干扰用户对所叠加信息的观察。而个人交互功能通常并不依赖于场景中的相关信息,因此在与被遮挡的眼睛对应的显示媒介上呈现预定交互界面可以避免或降低环境光造成的干扰。
在一个实施例中,步骤203包括:如果有遮挡,则在所述头戴式交互设备的与用户的另一个眼睛对应的显示媒介上呈现预定交互界面。
在一个实施例中,如果确定用户的左眼被遮挡,则可以在头戴式交互设备的与用户的右眼对应的显示媒介上呈现第一预定交互界面;和/或,如果确定用户的右眼被遮挡,则可以在头戴式交互设备的与用户的左眼对应的显示媒介上呈现第二预定交互界面。
所述第一预定交互界面和第二预定交互界面可以不同,但也可以相同。交互界面上可以具有各种虚拟对象,例如光标、按键、功能键、图标、操作按钮、文字、图像等。在一个实施例中,所述第一预定交互界面是关于个人交互功能的界面,该个人交互功能例如可以包括计时、录音、电话、时钟等,所述第二预定交互界面是关于场景交互功能的界面,例如用于与现实场景中的物体进行交互的界面;或者相反。现实场景中的物体例如可以是部署于场景中的任何能够被识别的标志,例如条形码、二维码、发光标志、光通信设备等。
需要说明的是,当在所述头戴式交互设备的与用户的另一个眼睛对应的显示媒介上呈现预定交互界面时,也可以在与用户的被遮挡的眼睛对应的显示媒介上呈现交互界面,其可以与所述预定交互界面相同,但也可以不同。
所述预定交互界面例如可以是功能选择界面、瞄准界面、标志识别界面、物体选择界面、场景设施操作界面、等等。功能选择界面可以用于选择不同的功能(例如,按键、按钮、图标、菜单等);瞄准界面可以用于将头戴式交互设备的显示媒介上的光标对准虚拟对象或实际物体;标志识别界面可以用于识别现实场景中的存在的标志;物体选择界面可以用于选择现实场景中存在的物体;场景设施操作界面可以用于对场景中的设施进行操作。
在一个实施例中,所述预定交互界面上具有用于选择虚拟对象或实际物体的光标(也可称为准星)。光标可以始终呈现于头戴式交互设备的显示媒介上的预定位置,例如显示媒介的中心位置。所述虚拟对象例如可以是在头戴式交互设备的显示媒介上呈现的按键、功能键、图标、操作按钮、文字、图像、视频等,所述实际物体例如可以是现实场景中的标志、电子设备等。
为了用光标选择交互界面上的虚拟对象,可以定义虚拟对象的空间位置。而光标可以始终呈现于头戴式交互设备的显示媒介上的预定位置,例如显示媒介的中心位置。如此,当用户转动头部时,可以改变光标与虚拟对象之间的相对位置关系,从而可以通过光标来选择交互界面上的相应虚拟对象。
在一个实施例中,可以定义虚拟对象在现实场景中的绝对空间位置信息,即虚拟对象在现实环境中的物理位置(例如在地球坐标系下的空间位置,或者在某个建筑物内的空间位置),并根据用户所佩戴的头戴式交互设备的实时位置和姿态信息(简称为位姿信息),确定光标是否对准某个虚拟对象。例如,根据头戴式交互设备的实时位姿信息以及虚拟对象的绝对空间位置信息,确定虚拟对象当前是否在头戴式交互设备的显示媒介上的呈现,若为是,进一步判断光标的呈现位置与虚拟对象在显示媒介上的呈现位置是否重合,从而判断光标是否选中了某个虚拟对象。头戴式交互设备的实时位姿信息可以根据现有的各种技术来确定。
在一个实施例中,可以定义虚拟对象与头戴式交互设备之间的相对位置信息,例如相对于头戴式交互设备、人体或者人体的某一部位的空间位置,其不同于上述绝对空间位置,从而,在头戴式交互设备的显示媒介上首次呈现虚拟对象时,总是可以根据该相对位置信息在头戴式交互设备的显示媒介上进行呈现。例如,在首次呈现虚拟对象时,虚拟对象的位置可以被定义为在头戴式交互设备的正前方3米处,之后,可以根据头戴式交互设备的位姿变化信息或者仅姿态变化信息,来使用光标选择虚拟对象。头戴式交互设备中可以包括用于感测头戴式交互设备的位姿变化或者姿态变化的器件,例如惯性传感器(IMU)。
所述具有相对空间位置的虚拟对象可以用于呈现个人交互功能的界面,以控制与头戴式交互设备相关的功能,例如:启动/关闭设备的时钟、启动/停止计时器、启动电话拨号、启动或者停止录像功能等;所述具有绝对空间位置的虚拟对象可以用于呈现场景交互功能的界面,以用于现场场景控制,例如:识别场景中部署的标志、控制场景内灯光的开启/关闭、场景内空调功能的选择、场景内电气设备的操作等。
在一个实施例中,在用户的一个眼睛被遮挡的情况下,确定与用户的另一个眼睛对应的显示媒介上的光标是否对准虚拟对象或实际物体。如此,可以在对准过程中仅使用一只眼睛,从而避免两眼之间的视差,提高对准过程的效率和准确度。通过这种方式,使得用户遮挡眼睛的操作不仅用于启动交互界面,还用于之后仅通过一只眼睛(也即,未被遮挡的眼睛)将显示媒介上的光标准确地对准虚拟对象或实际物体,从而可以使得用户能够更加准确高效地选择虚拟对象或实际物体,明显地提高了人机交互的效率和便利性。例如,如果用户的左眼被遮挡,则可以在与用户右眼对应的显示媒介上呈现交互界面,该交互界面上具有光标。之后,在保持左眼被遮挡的情况下,通过光标选择交互界面上的虚拟对象(例如图标)或者现实场景中的实际物体(例如光通信设备)。如果随后检测到用户左眼不再被遮挡,则可以在与用户右眼对应的显示媒介上停用或关闭所述交互界面,或者呈现另一交互界面,该另一交互界面可能与光标当前选择的虚拟对象或者实际物体有关。类似地,如果用户右眼被遮挡,则可以在与用户左眼对应的显示媒介上执行类似地操作。
在一个实施例中,当所述预定交互界面上的光标对准某个虚拟对象或实际物体时,可以呈现与该虚拟对象或实际物体关联的交互界面。在一个实施例中,当所述预定交互界面上的光标对准某个虚拟对象或实际物体时,可以进一步判断是否满足预定条件,并在满足该预定条件的情况下呈现与该虚拟对象或实际物体关联的交互界面。该预定条件例如可以是用户之前被遮挡的眼睛不再被遮挡,可以是用户眨眼,也可以是对准虚拟对象或实际物体达到预定的时间长度(例如1秒钟),等等。可以使用本领域已知的各种方式来判断用户是否眨眼,例如使用红外检测设备、激光检测设备、摄像头、眼部肌肉检测设备、等等。在一个实施例中,在需要判断对准虚拟对象或实际物体是否达到预定的时间长度的情况下,可以向用户提供提示信息,例如可以在交互界面上呈现进度条或其他视觉提示信息,可以向用户进行语音提示,等等。
图3示出了根据一个实施例的用于头戴式交互设备的交互方法,其包括如下步骤(其中的部分步骤与图2中的步骤类似,在此不再赘述):
步骤301:获得头戴式交互设备上的遮挡检测装置的检测结果。
步骤302:基于所述遮挡检测装置的检测结果,确定用户的某个眼睛的前方是否被遮挡。
步骤303:如果有遮挡,则在所述头戴式交互设备的与用户的另一个眼睛对应的显示媒介上呈现预定交互界面。
步骤304:持续获得所述遮挡检测装置的检测结果。
在这个阶段,用户可以以各种方式针对所述预定交互界面执行操作,例如,用户可以选择所述预定交互界面上呈现的操作按钮,用户可以改变目光的注视位置,等等。
步骤305:基于所述遮挡检测装置的检测结果,确定用户之前被遮挡的眼睛是否不再被遮挡。
步骤306:如果不再被遮挡,则在所述头戴式交互设备的与用户的另一个眼睛对应的显示媒介上停用或关闭所述预定交互界面,或者呈现另一交互界面,或者执行相应的功能。
在一个实施例中,所呈现的另一交互界面或者所执行的相应功能与用户之前所执行的操作相关,例如,与用户所选择的虚拟对象或实际物体相关、与用户目光所注视的位置相关。
图4示出了根据一个实施例的在头戴式交互设备的显示媒介上呈现的交互界面,其上列出了8个功能键,分别是拍照、录像、分享、记事、日程、电话、时钟、计时。在显示媒介上还呈现了一个类似于十字星形状的光标(也可成为准星),该光标用于选择上述功能键中的任意一个。可以理解,交互界面和光标可以具有不同的表现形式,并且交互界面上呈现的功能可以不同。
在一个实施例中,当佩戴头戴式交互设备的用户转动头部时,会改变光标与功能键之间的相对位置,从而可以通过转动头部来用光标选择交互界面中的功能键。
在一个实施例中,在头戴式交互设备的显示媒介上呈现功能键时,可以定义这些功能键相对于用户或头戴式交互设备的位置关系(即所述功能键的相对空间位置),例如,这些功能键位于用户正前方3米处。而光标可以始终呈现于头戴式交互设备的显示媒介上的预定位置,例如显示媒介的中心位置。如此,当用户转动头部时,可以改变光标与功能键之间的相对位置关系,从而可以通过光标来选择交互界面上的相应功能键。可以理解,可以以类似的方式选择除了功能键之外的其他虚拟对象。
图5示出了根据一个实施例的交互过程,其包括(A)、(B)、(C)、(D)四个交互阶段。
在交互阶段(A),用户遮挡一只眼睛,从而在头戴式交互设备的与用户的另一个眼睛对应的显示媒介上呈现交互界面。该显示媒介为矩形形状,该交互界面上有8个功能键以及一个类似于十字星形状的光标(也可成为准星),该光标用于选择功能键中的任意一个。
在交互阶段(B),用户通过转动头部来改变光标与功能键之间的相对位置关系。
在交互阶段(C),用户继续转动头部,以使用光标选择功能键“计时”,该功能键在选中后被高亮显示。
在交互阶段(D),用户不再遮挡眼睛,此时启动计时操作,并在头戴式交互设备的显示媒介上呈现计时信息。可以理解,并非必须在用户不再遮挡眼睛时立即启动计时操作,而是可以延迟一段时间(例如3秒),然后再启动计时操作。
图6示出了根据一个实施例的用于头戴式交互设备的交互方法,其包括如下步骤(其中的部分步骤与图2中的步骤类似,在此不再赘述):
步骤601:获得头戴式交互设备上的遮挡检测装置的检测结果。
步骤602:基于所述遮挡检测装置的检测结果,确定用户的某个眼睛的前方是否被遮挡。
步骤603:如果有遮挡,则在所述头戴式交互设备的与用户的另一个眼睛对应的显示媒介上呈现预定交互界面,所述预定交互界面上具有用于选择现实场景中的物体的光标。
现实场景中的物体例如可以是现实场景中的标志、电子设备等。
步骤604:确定所述光标是否对准现实场景中的某个物体。
在一个实施例中,可以使用图像识别技术来确定光标是否对准现实场景中的某个物体,例如现实场景中的标志。
在一个实施例中,可以预先标定或存储场景中相关物体的位置信息,并根据用户所佩戴的头戴式交互设备的实时位置和姿态信息(简称为位姿信息),来确定光标是否对准现实场景中的某个物体。例如,场景中可能存在多个可以被控制或操作的电子设备,在这种情况下,可以预先存储这些电子设备的位置信息,进一步地,根据用户所佩戴的头戴式交互设备的实时位姿信息以及光标在显示媒介上的呈现位置,可以在空间中确定一条从头戴式交互设备发出的射线,之后,根据该射线是否经过某个电子设备,可以确定光标当前是否对准该电子设备。
在一个实施例中,在用户的一个眼睛被遮挡的情况下,确定与用户的另一个眼睛对应的显示媒介上的光标是否对准现实场景中的某个物体。如此,可以在对准过程中仅使用一只眼睛,从而避免两眼之间的视差。通过这种方式,使得用户遮挡眼睛的操作不仅用于启动交互界面,还用于仅通过一只眼睛(也即,未被遮挡的眼睛)将显示媒介上的光标准确地对准现实场景中的物体,从而可以使得用户能够更加准确高效地选择现实场景中的物体,明显地提高了人机交互的效率和便利性。
步骤605:如果对准,则呈现与该物体关联的交互界面。
在一个实施例中,当确定光标对准现实场景中的某个物体时,可以在与用户的未被遮挡的眼睛对应的显示媒介上呈现与该物体关联的交互界面。
在一个实施例中,当确定光标对准现实场景中的某个物体时,可以进一步判断用户之前被遮挡的眼睛是否不再被遮挡,如果确定不再被遮挡,则呈现与该物体关联的交互界面。因此,步骤605可以包括:如果对准且确定用户之前被遮挡的眼睛不再被遮挡,则显示与该物体关联的交互界面。其中,所述确定用户之前被遮挡的眼睛不再被遮挡可以包括:持续获得所述遮挡检测装置的检测结果;基于所述遮挡检测装置的检测结果,确定用户之前被遮挡的眼睛是否不再被遮挡。
图7示出了根据一个实施例的交互过程,其包括(A)、(B)、(C)、(D)四个交互阶段。
在交互阶段(A),用户遮挡一只眼睛,从而在头戴式交互设备的与用户的另一个眼睛对应的显示媒介上呈现交互界面,该交互界面上具有用于瞄准的一个类似于十字星形状的光标,该光标可以用于选择现实场景中的物体。图7中示出的物体是位于现实场景中的两个正方形标志,例如光通信设备,用户可通过头戴式交互设备与该标志进行信息交互。
在交互阶段(B),用户通过转动头部来改变光标与标志之间的相对位置关系。
在交互阶段(C),用户继续转动头部,以使用光标选择某一个标志。
在交互阶段(D),显示与该标志关联的交互界面。该标志例如可以是安装于某个餐厅的标志,其交互界面具有多个功能键,包括:排号、点餐、预定、点评、积分、推荐、优惠、菜品。可以理解,该交互界面仅为示例,其可以具有不同的形式或功能。
之后,用户可以继续使用光标来选择交互界面中的功能键,其过程可以与图5类似,在此不再赘述。
在上文的一些实施例中,以在头戴式交互设备的显示媒介上呈现预定交互界面为例进行了说明,但本发明并不局限于此,而是可以在确定用户的某个眼睛被遮挡的情况下启动所述头戴式交互设备的任何预定功能,该预定功能例如还可以包括:屏幕画面滑动或移动功能;虚拟对象挪移功能;方向选择功能;等等。
对于屏幕画面滑动或移动功能,可以在用户的所述眼睛被遮挡的情况下,根据用户佩戴的头戴式交互设备的转动方向来确定屏幕画面滑动或移动的方向。例如,用户希望滚动屏幕画面时,可以遮挡某个眼睛以启动屏幕画面滑动或移动功能,之后在保持遮挡的情况下转动头部(也即转动头戴式交互设备)以进行屏幕画面的滑动或移动。进一步地,在用户的所述眼睛被遮挡的情况下,还可以根据头戴式交互设备的转动幅度或速度来确定屏幕画面滑动或移动的幅度或速度。用户可以使用各种方式来选择要滑动或移动的屏幕画面,例如,可以使用光标来选择要滑动或移动的屏幕画面。
对于虚拟对象挪移功能,可以在用户的所述眼睛被遮挡的情况下,根据用户佩戴的头戴式交互设备的转动方向(也即姿态变化信息)确定虚拟对象挪移的方向。在一个实施例中,也可以在用户的某个眼睛被遮挡的情况下,根据用户佩戴的头戴式交互设备的位姿变化信息,来改变虚拟对象的空间位置。在一个实施例中,在挪移虚拟对象时,相当于建立了在虚拟对象与头戴式交互设备之间的虚拟的“刚性连接”,从而,当头戴式交互设备的位置或姿态发生改变时,相应改变虚拟对象的空间位置。用户可以使用各种方式来选择要挪移的虚拟对象,例如,可以使用光标来选择要挪移的虚拟对象,之后遮挡某个眼睛以启动虚拟对象挪移功能,随后,在保持遮挡的情况下用户可以转动头部(也即转动头戴式交互设备)或者改变头戴式交互设备的位姿,来在空间中挪移虚拟对象。在挪移虚拟对象的过程中,可以根据头戴式交互设备的转动幅度或速度来确定虚拟对象移动的幅度或速度。
对于方向选择功能,可以在用户的所述眼睛被遮挡的情况下,根据所述头戴式交互设备的转动方向确定所选择的方向,该方向例如可以用于控制虚拟对象(例如虚拟人物)或者实际物体的移动。同样地,在用户的所述眼睛被遮挡的情况下,也可以根据头戴式交互设备的转动幅度或速度来确定虚拟对象或者实际物体移动的幅度或速度。在一个实施例中,可以将头戴式交互设备作为控制摇杆来使用,其零点可以通过多种方式来确定。例如,可以由启动摇杆功能时头戴式交互设备的初始位姿来确定零点,可以将屏幕上的某个位置作为零点,可以由用户来选择零点,或者也可以在操作过程中动态地重新确定零点(例如,将在屏幕上移动的虚拟人物的实时位置作为零点,或者,在光标每次移动后,将其停止或基本停止时的位置作为新的零点)。在控制过程中,基于与零点之间的实时差异,可以得到一个具有大小和方向的矢量,该矢量的方向可以用于确定虚拟对象的移动方向,该矢量的大小可以用于确定虚拟对象的移动速度或者加速度。
在一个实施例中,当用户的所述眼睛不再被遮挡时,可以退出或停止所述预定功能,或者启动其他功能。
在一个实施例中,当用户的所述眼睛不再被遮挡时,可以确定此时屏幕画面滑动或移动的方向和速度,或者此时任意虚拟对象移动的方向和速度,之后,可以以所述方向和速度作为初始方向和速度,使得所述屏幕画面或者所述虚拟对象在预设条件下继续进行滑动或移动。该预设条件例如可以是预设的阻尼系数,其可以使得屏幕画面的滑动或移动速度逐渐变慢,或者使得虚拟对象的移动速度逐渐变慢。该预设条件例如可以是预设的重力参数,其可以使得虚拟对象能够以例如抛物线的方式继续行进。
在一个实施例中,在屏幕画面继续滑动或移动的过程中,或者在虚拟对象继续移动的过程中,可以检测用户是否再次遮挡眼睛,如果用户再次遮挡眼睛,则可以停止所述滑动或移动,或者为所述滑动或移动施加更大的阻尼系数,以使其能更快地停止。可以通过光标来选择要停止的屏幕画面或虚拟对象,但是也可以通过其他方式进行选择,例如,默认选择用户之前最后操作的屏幕画面或虚拟对象。
在本发明的一个实施例中,可以以计算机程序的形式来实现本发明。计算机程序可以存储于各种存储介质(例如,硬盘、光盘、闪存等)中,当该计算机程序被处理器执行时,能够用于实现本发明的方法。
在本发明的另一个实施例中,可以以电子设备的形式来实现本发明。该电子设备包括处理器和存储器,在存储器中存储有计算机程序,当该计算机程序被处理器执行时,能够用于实现本发明的方法。
本文中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此,短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个本文中各处的出现并非必须指代相同的实施例。此外,特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此,结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合,只要该组合不是不符合逻辑的或不能工作。本文中出现的类似于“根据A”、“基于A”、“通过A”或“使用A”的表述意指非排他性的,也即,“根据A”可以涵盖“仅仅根据A”,也可以涵盖“根据A和B”,除非特别声明其含义为“仅仅根据A”。在本申请中为了清楚说明,以一定的顺序描述了一些示意性的操作步骤,但本领域技术人员可以理解,这些操作步骤中的每一个并非是必不可少的,其中的一些步骤可以被省略或者被其他步骤替代。这些操作步骤也并非必须以所示的方式依次执行,相反,这些操作步骤中的一些可以根据实际需要以不同的顺序执行,或者并行执行,只要新的执行方式不是不符合逻辑的或不能工作。
由此描述了本发明的至少一个实施例的几个方面,可以理解,对本领域技术人员来说容易地进行各种改变、修改和改进。这种改变、修改和改进意于在本发明的精神和范围内。虽然本发明已经通过一些实施例进行了描述,然而本发明并非局限于这里所描述的实施例,在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (25)

1.一种用于头戴式交互设备的交互方法,其中,所述头戴式交互设备上具有用于检测用户的眼睛是否被遮挡的遮挡检测装置,所述方法包括:
获得所述头戴式交互设备上的遮挡检测装置的检测结果;
基于所述遮挡检测装置的检测结果,确定用户的某个眼睛的前方是否有遮挡;以及
如果有遮挡,则启动所述头戴式交互设备的预定功能。
2.根据权利要求1所述的方法,还包括:确定被遮挡的时长;以及其中,所述如果有遮挡则启动所述头戴式交互设备的预定功能包括:如果有遮挡,则根据被遮挡的时长启动所述头戴式交互设备的相应的预定功能。
3.根据权利要求1或2所述的方法,其中,所述预定功能包括:在所述头戴式交互设备的显示媒介上呈现预定交互界面。
4.根据权利要求3所述的方法,其中,在所述头戴式交互设备的显示媒介上呈现预定交互界面包括:在所述头戴式交互设备的与用户的另一个眼睛对应的显示媒介上呈现预定交互界面。
5.根据权利要求4所述的方法,其中,
如果确定用户的左眼被遮挡,则在所述头戴式交互设备的与用户的右眼对应的显示媒介上呈现第一预定交互界面;和/或
如果确定用户的右眼被遮挡,则在所述头戴式交互设备的与用户的左眼对应的显示媒介上呈现第二预定交互界面。
6.根据权利要求5所述的方法,其中,所述第一预定交互界面和所述第二预定交互界面相同或不同。
7.根据权利要求5所述的方法,其中,所述第一预定交互界面是关于个人交互功能的界面,所述第二预定交互界面是关于场景交互功能的界面;或者相反。
8.根据权利要求7所述的方法,其中,所述场景交互功能用于与现实场景中的物体进行交互。
9.根据权利要求3所述的方法,还包括:
持续获得所述遮挡检测装置的检测结果;
基于所述遮挡检测装置的检测结果,确定用户之前被遮挡的眼睛是否不再被遮挡;以及
如果不再被遮挡,则执行下列操作中的一个或多个:
在所述头戴式交互设备的与用户的另一个眼睛对应的显示媒介上停用或关闭所述预定交互界面;
呈现另一交互界面;或者
执行相应功能。
10.根据权利要求9所述的方法,其中,所呈现的另一交互界面或者所执行的相应功能与所述用户在眼睛被遮挡期间执行的操作相关。
11.根据权利要求3所述的方法,其中,所述预定交互界面上具有用于选择虚拟对象或实际物体的光标。
12.根据权利要求11所述的方法,其中,所述光标始终呈现于所述头戴式交互设备的显示媒介上的预定位置。
13.根据权利要求11所述的方法,其中,所述虚拟对象具有在空间中的绝对位置或者与所述头戴式交互设备之间的相对位置。
14.根据权利要求11所述的方法,还包括:
在用户的一个眼睛被遮挡的情况下,确定与用户的另一个眼睛对应的显示媒介上的光标是否对准某个虚拟对象或实际物体。
15.根据权利要求14所述的方法,还包括:
如果对准某个虚拟对象或实际物体,则呈现与该虚拟对象或实际物体关联的交互界面;和/或
如果对准某个虚拟对象或实际物体且满足预定条件,则呈现与该虚拟对象或实际物体关联的交互界面。
16.根据权利要求15所述的方法,其中,所述预定条件包括下列中的一项或多项:
用户之前被遮挡的眼睛不再被遮挡;
用户眨眼;
对准所述虚拟对象或实际物体达到预定的时间长度。
17.根据权利要求3所述的方法,其中,在所述头戴式交互设备的显示媒介上呈现预定交互界面包括:在所述头戴式交互设备的与用户的被遮挡的眼睛对应的显示媒介上呈现预定交互界面,所述预定交互界面中的一个或多个功能与现实场景无关。
18.根据权利要求1或2所述的方法,其中,所述预定功能包括:
屏幕画面滑动或移动功能;
虚拟对象挪移功能;或者
方向选择功能。
19.根据权利要求18所述的方法,其中,
对于所述屏幕画面滑动或移动功能,在所述用户的某个眼睛被遮挡的情况下,根据所述头戴式交互设备的转动方向确定屏幕画面滑动或移动的方向;
对于所述虚拟对象挪移功能,在所述用户的某个眼睛被遮挡的情况下,根据所述头戴式交互设备的转动方向确定虚拟对象挪移的方向;或者
对于所述方向选择功能,在所述用户的某个眼睛被遮挡的情况下,根据所述头戴式交互设备的转动方向确定所选择的方向。
20.根据权利要求19所述的方法,还包括:在所述用户的某个眼睛被遮挡的情况下,根据所述头戴式交互设备的转动幅度或速度来确定所述屏幕画面滑动或移动的速度,或者确定所述虚拟对象移动的速度。
21.根据权利要求20所述的方法,还包括:
当用户的所述眼睛不再被遮挡时,确定此时所述屏幕画面滑动或移动的方向和速度,或者此时所述虚拟对象移动的方向和速度;
以所述方向和速度作为初始方向和速度,使得所述屏幕画面或者所述虚拟对象在预设条件下继续进行滑动或移动。
22.根据权利要求21所述的方法,其中,在所述屏幕画面或者所述虚拟对象继续进行滑动或移动的过程中,如果检测到用户再次遮挡眼睛,则停止所述滑动或移动,或者为所述滑动或移动施加更大的阻尼系数,以使其能更快地停止。
23.根据权利要求18所述的方法,还包括:当用户的所述眼睛不再被遮挡时,退出或停止所述预定功能,或者启动其他功能。
24.一种头戴式交互设备,其包括:
一个或多个遮挡检测装置,用于检测用户的眼睛是否被遮挡;
一个或多个显示媒介,用于呈现交互界面;以及
处理器,用于实现权利要求1-23中任一项所述的方法。
25.一种存储介质,其中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现权利要求1-23中任一项所述的方法。
CN202111140787.8A 2021-09-28 2021-09-28 一种头戴式交互设备以及用于头戴式交互设备的交互方法 Pending CN115877941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111140787.8A CN115877941A (zh) 2021-09-28 2021-09-28 一种头戴式交互设备以及用于头戴式交互设备的交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111140787.8A CN115877941A (zh) 2021-09-28 2021-09-28 一种头戴式交互设备以及用于头戴式交互设备的交互方法

Publications (1)

Publication Number Publication Date
CN115877941A true CN115877941A (zh) 2023-03-31

Family

ID=85763295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111140787.8A Pending CN115877941A (zh) 2021-09-28 2021-09-28 一种头戴式交互设备以及用于头戴式交互设备的交互方法

Country Status (1)

Country Link
CN (1) CN115877941A (zh)

Similar Documents

Publication Publication Date Title
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
US11157725B2 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
US11093045B2 (en) Systems and methods to augment user interaction with the environment outside of a vehicle
EP3469458B1 (en) Six dof mixed reality input by fusing inertial handheld controller with hand tracking
EP2972672B1 (en) Detection of a gesture performed with at least two control objects
CN110646938B (zh) 近眼显示器***
US10133407B2 (en) Display apparatus, display system, method for controlling display apparatus, and program
EP4172726A1 (en) Augmented reality experiences using speech and text captions
EP4172730A1 (en) Augmented reality experiences with object manipulation
JP7092028B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2016043537A1 (ko) 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
KR101812227B1 (ko) 동작 인식 기반의 스마트 글래스 장치
US11954268B2 (en) Augmented reality eyewear 3D painting
US20160171780A1 (en) Computer device in form of wearable glasses and user interface thereof
CN103827780A (zh) 用于虚拟输入设备的方法和***
KR20160137253A (ko) 증강 현실 디바이스 및 상기 증강 현실 디바이스를 위한 사용자 인터랙션 장치 및 방법
WO2019142560A1 (ja) 視線を誘導する情報処理装置
US11719931B2 (en) Augmented reality gaming using virtual eyewear beams
CN115877941A (zh) 一种头戴式交互设备以及用于头戴式交互设备的交互方法
CN206906983U (zh) 增强现实设备
CN115877942A (zh) 电子设备以及通过检测用户眼睛的状态来控制其的方法
JPWO2017217375A1 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
JP2024097269A (ja) 情報処理装置および情報処理方法
JP2019053714A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination