CN112416115A - 一种用于控件交互界面中进行人机交互的方法与设备 - Google Patents
一种用于控件交互界面中进行人机交互的方法与设备 Download PDFInfo
- Publication number
- CN112416115A CN112416115A CN201910785670.1A CN201910785670A CN112416115A CN 112416115 A CN112416115 A CN 112416115A CN 201910785670 A CN201910785670 A CN 201910785670A CN 112416115 A CN112416115 A CN 112416115A
- Authority
- CN
- China
- Prior art keywords
- head
- information
- angular velocity
- control
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 173
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000009471 action Effects 0.000 claims abstract description 75
- 230000033001 locomotion Effects 0.000 claims description 195
- 230000002452 interceptive effect Effects 0.000 claims description 103
- 230000001133 acceleration Effects 0.000 claims description 50
- 230000004886 head movement Effects 0.000 claims description 50
- 230000015654 memory Effects 0.000 claims description 36
- 238000012790 confirmation Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 7
- 230000004424 eye movement Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000005291 magnetic effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 210000004460 N cell Anatomy 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请的目的是提供一种用于控件交互界面中进行人机交互的方法与设备，具体包括呈现所述头戴设备对应的控件交互界面，其中，所述控件交互界面包括多个控件标识信息，采集用户的头部动作信息，并基于所述头部动作信息确定对应的交互指令，基于所述控件交互界面中当前选中的当前控件标识信息，执行对应的交互指令。本方法通过在控件交互界面结合用户的头部动作信息，生成对应的交互指令，进行控件人机交互，提高了动作信息识别的准确率，用户观感较好，提升了用户使用体验。
Description
技术领域
本申请涉及智能交互领域，尤其涉及一种用于控件交互界面中进行人 机交互的技术。
背景技术
头戴设备的普及也越来越广泛，如增强现实头盔、增强现实眼镜、虚 拟现实头戴设备等。头戴设备，目前的交互方式主要有触摸板、语音识别、 外接键盘鼠标、手势识别交互等。其中，语音识别交互抗干扰能力差，环 境噪声对识别精度影响很大，对使用环境要求较高；触摸板和外接鼠标键 盘交互需要用户绑定双手，而触摸板交互不允许用户戴手套(特别是对工 厂环境的用户不利)等；手势识别需要占用用户双手，仍然无法解放双手； 而可穿戴设备出现的初衷就是解放双手，显然利用键盘、鼠标和触摸板等 进行交互达不到解放双手的目的。
发明内容
本申请的一个目的是提供一种用于控件交互界面中进行人机交互的方法 与设备。
根据本申请的一个方面，提供了一种用于控件交互界面中进行人机交 互的方法，应用于头戴设备，该方法包括：
呈现所述头戴设备对应的控件交互界面，其中，所述控件交互界面包括 多个控件标识信息；
采集用户的头部动作信息，并基于所述头部动作信息确定对应的交互指 令；
基于所述控件交互界面中当前选中的当前控件标识信息，执行对应的交 互指令。
根据本申请的另一个方面，提供了一种用于控件交互界面中进行人机交 互的方法，应用于头戴设备，该方法包括：
呈现所述头戴设备对应的控件交互界面，其中，所述控件交互界面包括 确定选择信息和取消选择信息；
采集用户的头部动作信息，确定与所述头部运动信息对应的三轴角速度 匹配的三轴角速度模板信息，根据所述三轴角速度模板信息确定对应的交互 指令，其中，所述交互指令信息包括确认选择指令或取消选择指令；
执行对应的交互指令。
根据本申请的一个方面，提供了一种用于控件交互界面中进行人机交互 的头戴设备，该方法包括：
一一模块，用于呈现所述头戴设备对应的控件交互界面，其中，所述控 件交互界面包括多个控件标识信息；
一二模块，用于采集用户的头部动作信息，并基于所述头部动作信息确 定对应的交互指令；
一三模块，用于基于所述控件交互界面中当前选中的当前控件标识信息， 执行对应的交互指令。
根据本申请的一个方面，提供了一种用于控件交互界面中进行人机交互 的头戴设备，该方法包括：
二一模块，用于呈现所述头戴设备对应的控件交互界面，其中，所述控 件交互界面包括确定选择信息和取消选择信息；
二二模块，用于采集用户的头部动作信息，确定与所述头部运动信息对 应的三轴角速度匹配的三轴角速度模板信息，根据所述三轴角速度模板信息 确定对应的交互指令，其中，所述交互指令信息包括确认选择指令或取消选 择指令；
二三模块，用于执行对应的交互指令。
根据本申请的一个方面，提供了一种用于控件交互界面中进行人机交互 的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时 使所述处理器如上述所述任一方法的操作。
根据本申请的一个方面，提供了一种存储指令的计算机可读介质，所述 指令在被执行时使得***进行如上所述任一方法的操作。
与现有技术相比，本申请通过呈现所述头戴设备对应的控件交互界面， 其中，所述控件交互界面包括多个控件标识信息，采集用户的头部动作信 息，并基于所述头部动作信息确定对应的交互指令，基于所述控件交互界 面中当前选中的当前控件标识信息，执行对应的交互指令。本方法通过在 控件交互界面结合用户的头部动作信息，生成对应的交互指令，进行控件 人机交互，提高了动作信息识别的准确率，用户观感较好，提升了用户使用体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申 请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种用于控件交互界面中进行人机 交互的方法流程图；
图2示出根据本申请一个实施例的一种单行排列的控件界面交互的示 例；
图3示出根据本申请另一个实施例的一种多行多列排列的控件界面交 互的示例；
图4示出根据本申请一个实施例的一种确定转动角度标准值的示例；
图5示出根据本申请一个实施例的一种头部摆动动作的示例；
图6示出根据本申请一个实施例的一种角速度曲线的示例；
图7示出根据本申请一个实施例的一种角速度的模的平方对应曲线的 示例；
图8示出根据本申请一个实施例的一种用于控件交互界面中进行人机 交互的方法流程图；
图9示出根据本申请一个实施例的一种确认取消的控件交互界面的示 例；
图10示出根据本申请一个实施例的一种头戴设备的功能模块；
图11示出根据本申请另一个实施例的一种头戴设备的功能模块；
图12示出可被用于实施本申请中所述的各个实施例的示例性***。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括 一个或多个处理器(例如，中央处理器(Central Processing Unit，CPU))、 输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器 (Read Only Memory，ROM)或闪存(Flash Memory)。内存是计算机可读介质 的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以 由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结 构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相 变内存(Phase-Change Memory，PCM)、可编程随机存取存储器 (Programmable Random Access Memory，PRAM)、静态随机存取存储器(Static Random-Access Memory，SRAM)、动态随机存取存储器(Dynamic Random AccessMemory，DRAM)、其他类型的随机存取存储器(RAM)、只 读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技 术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带， 磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可 以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络 设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可 与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例 如智能手机、平板电脑等，所述移动电子产品可以采用任意操作***，如Android操作***、iOS操作***等。其中，所述网络设备包括一种能够按照 事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件 包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit， ASIC)、可编程逻辑器件(Programmable Logic Device，PLD)、现场可编程门 阵列(Field Programmable Gate Array，FPGA)、数字信号处理器(Digital SignalProcessor，DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络 主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云 由基于云计算(CloudComputing)的大量计算机或网络服务器构成，其中， 云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超 级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网 络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于 所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网 络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后 可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在 此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具 体的限定。
图1示出了根据本申请一个方面的一种用于控件交互界面中进行人机 交互的方法，应用于头戴设备，具体包括步骤S101、步骤S102以及步骤 S103。在步骤S101中，头戴设备呈现所述头戴设备对应的控件交互界面， 其中，所述控件交互界面包括多个控件标识信息；在步骤S102中，头戴 设备采集用户的头部动作信息，并基于所述头部动作信息确定对应的交互 指令；在步骤S103中，头戴设备基于所述控件交互界面中当前选中的当 前控件标识信息，执行对应的交互指令。在此，所述头戴设备包括显示装 置，用于呈现人机交互界面，如显示屏等，显示对应控件信息、控件标识 信息等；所述头戴设备还包括采集装置，用于采集用户头部动作信息对应 的姿态信息，如惯性测量单元、陀螺仪(三轴陀螺仪或者多个单轴陀螺仪 等)等，当然，本领域技术人员应能理解上述采集装置仅为举例，其他现 有的或今后可能出现的采集装置如可适用于本申请，也应包含在本申请保 护范围以内，并在此以引用方式包含于此。所述头戴设备还包括数据处理 装置，用于根据头部动作信息对应的姿态信息对用户的头部动作进行判定 并生成对应指令信息，或者执行对应指令信息等。所述头戴设备包括但不 限于任何一种可与用户进行人机交互的头戴移动电子设备，如增强现实眼 镜、增强现实头盔、虚拟现实眼镜等。所述控件用于对数据和方法进行封 装，例如，各种类型的文件(如文档、表格等)、文件夹或者应用等；所述 控件标识信息用于表示该控件，方便用户对控件数据进行访问，如界面中 的文件、文件夹或者应用中的名称、图标或者***等。
具体而言，在步骤S101中，头戴设备呈现所述头戴设备对应的控件 交互界面，其中，所述控件交互界面包括多个控件标识信息。例如，头戴 设备可以通过显示装置呈现对应的控件交互界面，控件交互界面包括多个 控件标识信息，头戴设备通过显示装置在显示屏幕上呈现对应的控件交互 界面或者将该控件交互界面叠加呈现于用户的视线内供用户输入。在一些 实施方式中，所述控件交互界面包括应用交互界面，头戴设备通过显示装 置呈现该头戴设备中安装的多个应用，供用户在应用交互界面进行选择或 者启动应用等操作。
在一些实施方式中，所述控件交互界面包括但不限于：单行排列的控 件交互界面；单列排列的控件交互界面；多行多列排列的控件交互界面等。 例如，对应的控件交互界面根据控件数量呈现不同的控件交互界面，如控 件数量较少时，可以通过单行或者单列排列形成对应的控件交互界面，如 图2所示，多个应用图标通过单行排列，通过左右移动来选中不同的应用 图标，或者启动当前选中的应用图标对应的应用等，当然，图中仅示出该 行中4个应用图标，该行中可能还包含其他未在当前显示屏幕中显示的其 他应用图标等，通过左右移动，将其他未在当前屏幕中的应用图标显示出 来。又如，对应的控件交互界面中控件数量较多时，可以通过在界面中多 行多列的排列形式呈现，如图3所示，多个应用图标通过多行多列的形式 排列在该界面中，通过上下左右移动来选中不同的应用图标，或者启动当 前选中的应用等，当前图中仅显示当前页面中多行多列的应用图标，该应 用交互界面还包括其他未在当前屏幕中的应用图标，可以将当前界面切换 至其他应用所在的界面、或者通过上下左右移动，将其他未在当前屏幕中 的应用图标显示出来等。
在步骤S102中，头戴设备采集用户的头部动作信息，并基于所述头 部动作信息确定对应的交互指令。例如，头部动作信息包括对应用户的头 部动作的姿态变化信息，如根据初始头部位置的姿态信息以及运动时刻的 头部位置的姿态信息获取本次运动的头部运动的姿态变化信息，在一些实 施方式中，头戴设备的陀螺仪的数据更新频率为100HZ，头戴设备能够实 时接收陀螺仪数据进行计算(例如对角速度积分、角速度模的平方)得到 头部运动的姿态变化信息。用户持有并佩戴头戴设备，在头戴设备中的控 件交互界面对多个控件标识信息进行操作，通过显示装置呈现对应的控件 交互界面，用户通过头部动作来进行控件标识信息的选择和访问等，对应 的头戴设备可以通过惯性测量单元或者陀螺仪或者加速度传感器等采集 用户的头部动作信息对应的姿态变化信息，根据对应姿态变化信息确定对 应的交互指令，其中，所述交互指令用于确定用户的意向控件，如选中感 兴趣的文件标识信息或者应用标识信息等，或者访问对应文件或者启动选 中的应用等。
在一些实施方式中，所述交互指令包括但不限于：从所述当前控件标 识信息沿着所述头部动作信息的运动方向移动预设距离；启动所述当前控 件标识信息对应的控件。例如，所述交互指令用于指示所述光标、指针或 焦点等选择符号从当前选中的当前应用标识信息沿着所述头部动作信息 的运动方向移动预设距离，如交互指令包括向右移动一格，即从当前选中 的应用标识信息移动至该应用标识右边一格对应的应用标识信息，转换选 中的应用标识等；又如，交互指令包括向左移动N格，即从当前选中的应 用标识信息移动至该应用标识左边N格对应的应用标识信息，转换选中的 应用标识等。所述交互指令还用于启动所述当前空间标识信息对应的控件， 如当前选中应用标识信息为“电子书”对应的应用等，基于用户的头部动 作信息确定对应启动应用的交互指令，基于交互指令启动该应用等。在一 些实施方式中，所述控件交互界面包括单行或单列排列的控件交互界面时， 对应控件交互界面中选中控件的移动仅需一个轴上两个方向的头部动作 信息，则另一个轴上的头部动作信息用于启动控件对应的交互指令，例如， 通过头部在横轴上向左或者向右转头、摆头等进行控件选择的移动，通过 纵轴方向上仰头或者低头等动作对应启动指令；当然，对应的启动指令还 可以是用户的其他启动操作来实现。
在一些实施方式中，所述控件交互界面信息包括多行多列排列的控件 交互界面，所述交互指令包括从所述当前控件标识信息沿着所述头部动作 信息的运动方向移动预设距离。例如，所述控件交互界面包括多行多列排 列的多个控件标识信息，对应控件交互界面中关于控件标识信息的选择的 移动通过两个轴上四个方向的头部动作信息，如通过头部在横轴上向左或 者向右转头、摆头等进行控件选择的向左、向右移动，通过头部在纵轴上 向上或者向下转动、俯仰等进行控件选择的向上、向下移动等。在一些实 施方式中，所述方法还包括步骤S106(未示出)，若获取到用户关于所述 控件的确定操作，启动所述当前选中的控件标识信息对应的控件。例如， 若获取到关于当前选中控件的确定操作，头戴设备启动当前选中的控件标 识信息对应的控件，如访问对应文件，打开对应文件夹，启动对应应用、 打开对应表格等。在一些实施方式中，对应确定操作包括但不限于：所述 用户的头部在前后方向上的移动动作；所述用户头部静置时间大于或等于 静置时间阈值；所述用户相关的语音指令信息；所述用户相关的手势指令 信息；所述用户相关的触摸指令信息；所述用户相关的眼动指令信息。例 如，头戴设备采集关于用户头部动作的姿态信息，基于姿态信息在用户头 部前后方向上的变化，从而确定用户的头部在前后方向上的位移，若其位 移大于或等于一定距离阈值，确定对应的确定操作生成确定指令。或者， 头戴设备选中对应的控件标识信息后，继续采集关于用户头部的姿态信息， 若用户头部静置时间大于或等于静置时间阈值(如500ms)，头戴设备确定 对应的确定操作，生成确定指令，启动或者访问对应的控件；或者头戴设 备设置有对应的语音模板等，头戴设备通过麦克风采集关于用户的语音信 息等，若该语音信息与语音模板的匹配(如相似度达到一定阈值)，头戴设 备确定对应的确定操作，生成确定指令，启动或者访问对应的控件；或者 头戴设备设置有对应的手势模板等，头戴设备通过摄像头采集关于用户的 手势信息等，若该手势信息与手势模板的匹配(如相似度达到一定阈值)， 头戴设备确定对应的确定操作，生成确定指令，启动或者访问对应的控件； 或者头戴设备设置有对应的触摸板等，头戴设备通过触摸板采集关于用户 的触摸信息等，若该触摸信息与预设触摸动作匹配(如用户点击、双击板 等)，头戴设备确定对应的确定操作，生成确定指令，启动或者访问对应的 控件；或者头戴设备设置有对应的眼动模板等，头戴设备通过摄像头采集 关于用户的眼动信息等，若该眼动信息与眼动模板的匹配(如相似度达到 一定阈值)，头戴设备确定对应的确定操作，生成确定指令，启动或者访问 对应的控件。
在步骤S103中，头戴设备基于所述控件交互界面中当前选中的当前 控件标识信息，执行对应的交互指令。例如，头戴设备根据交互指令，结 合当前选中的控件标识信息等，执行对应的交互指令；例如，交互指令包 括向左移动N格，即从当前选中的应用标识信息移动至该应用标识左边N 格对应的应用标识信息，转换选中的应用标识等；又如，所述交互指令还 用于启动所述当前控件标识信息对应的控件，如当前选中应用标识信息为 “电子书”对应的应用等，基于用户的头部动作信息确定对应启动应用的 交互指令，基于交互指令启动该应用等。
在一些实施方式中，所述头部动作信息包括但不限于：头部横向转动 动作信息，其中，对应的转动方向包括相对于初始头部位置向左或向右； 头部纵向转动动作信息，其中，对应的转动方向包括相对于初始头部位置 向上或向下；头部横向摆动动作信息，其中，对应的摆动方向包括相对于 初始头部位置向左或向右；头部纵向摆动动作信息，其中，对应的摆动方 向包括相对于初始头部位置向上或向下；例如，头戴设备处于正常佩戴状 态，我们以头戴设备显示屏中心为原点，佩戴设备显示屏所在平面的水平 方向为横轴，竖直方向为纵轴，该显示屏中心的垂线为第三轴建立对应的 空间坐标系，根据用户头部动作信息对应的姿态变化信息确定头部动作信 息在该空间坐标系中动作，在此，用户头部动作包括但不限于头部横向转 动动作信息、头部纵向转动动作信息、头部横向摆动动作信息以及头部纵 向摆动动作信息等；其中，转动动作表示用户头部的单向运动，从某一个 位置运动至另一位置，如从初始位置向用户左侧/右侧/上侧/下侧运动至另 一个位置，对应转动方向包括相对于初始头部位置的运动方向，如向左、 向右、向上或者向下；摆动动作表示用户头部在一定范围内的往复运动， 如从初始位置向用户左侧/右侧/上侧/下侧运动至另一个位置后返回至初 始位置，摆动方向包括相对于初始头部位置的运动方向，如向左、向右、 向上或者向下。在此，头部动作信息在横向和纵向上的判断可以是单独判 断，例如，一个动作仅判断一个方向上的动作；或者，头部动作信息在横 向和纵向上判断是同时进行的，例如，将当前头部动作信息分解为横轴和 纵轴上的各轴动作，基于各轴动作进行横向和纵向上用户动作的判定等。
在一些实施方式中，所述基于所述头部动作信息确定对应的交互指令， 包括：确定与所述头部运动信息对应的角速度匹配的角速度模板信息，根 据所述角速度模板信息确定对应的交互指令。例如，头戴设备端存储有交 互指令对应的头部动作相关的姿态数据等，如用户预先设置的三轴角速度 模板信息，或者根据大量统计数据通过聚类等方法得到泛化匹配的三轴角 速度模板信息等，其中三轴角速度模板信息仅为举例，还可以是其它单轴 或多轴角速度模板信息。头戴设备采集用户头部动作信息对应的三轴陀螺 仪数据，并根据三轴陀螺仪数据与存储的三轴角速度模板信息进行匹配 (如每个轴的角速度相关系数达到阈值、或者任意一轴的角速度相关系数 达到阈值等)，若存在匹配的角速度模板信息，则将该角速度模板信息对应 的交互指令作为头部动作信息对应的交互指令。
在一些实施方式中，所述基于所述头部动作信息确定对应的交互指令， 包括：确定与所述头部运动信息对应的角速度匹配的角速度模板信息，确 定与所述头部运动信息对应的加速度匹配的加速度模板信息，根据所述角 速度模板信息与所述加速度模板信息确定对应的交互指令。例如，头戴设 备端存储有交互指令对应的头部动作相关的姿态数据，如用户预先设置的 三轴加速度模板信息和三轴角速度模板信息，或者根据大量统计数据通过 聚类等方法得到泛化匹配的三轴角速度模板信息和加速度模板信息等，其 中，所述三轴加速度模板信息和三轴角速度模板信息可以是一个模板(该 模板含有加速度和角速度信息，例如(grox，groy，groz，x，y，z))，也 可以是独立的两个模板(分别含有加速度和角速度信息，例如(grox，groy， groz)和(x，y，z))。其中，当所述角速度模板信息和所述加速度模板信 息分别包含于独立的两个模板时，这两个独立的角速度模板信息和加速度 模板信息对应着同一个交互指令，该交互指令与对应的统一模板(包含角 速度信息和加速度信息的六个参数的模板信息)对应的交互指令相同。其 中，模板信息是一组头部动作数据，例如，以角速度模板信息和加速度模 板信息包含于一个统一模板时为例，该统一模板包含六个参数对应的赋值， 如(grox，groy，groz，x，y，z)六个参数赋值后每个参数对应了一个数 组，每个统一模板存在对应的交互指令，不同的统一模板对应参数赋值后 得到的数组不相同，相应的交互指令也不同。其中三轴角速度模板信息和 三轴加速度模板信息仅为举例，还可以是其它单轴或多轴角速度模板信息 或其它单轴或多轴加速度模板信息。头戴设备采集用户头部动作信息对应 的三轴陀螺仪数据及三轴加速度数据，并根据三轴陀螺仪数据和三轴加速 度数据与存储的三轴角速度模板信息和三轴加速度模板信息进行匹配(如 每个轴相关系数达到阈值、或任意一轴的相关系数达到阈值等)，若所述三 轴加速度模板信息和三轴角速度模板信息是一个模板，且存在匹配的三轴 角速度模板信息和三轴加速度模板信息，则将该三轴加速度模板信息和三 轴角速度模板信息对应的交互指令作为头部动作信息对应的交互指令。又 如，若所述三轴加速度模板信息和三轴角速度模板信息是独立的两个模板， 且存在匹配的三轴角速度模板信息和三轴加速度模板信息，且该三轴角速 度模板信息与三轴加速度模板信息对应着同一个交互指令，则将该交互指 令作为头部动作信息对应的交互指令。
在一些实施方式中，所述方法还包括步骤S104(未示出)，头戴设备 采集所述头部动作信息相关的多个运动样本，根据所述多个运动样本确定 对应的角速度模板信息。例如，采集头部动作信息相关的多个运动样本， 如收集不同体型、性别、年龄人群的动作数据，行成学习集，其中，每个 动作是一个时间段段内完成，所以学习集中每个运动样本是一段时间内的 一组角速度数据(角速度的采集装置可以是陀螺仪、惯性测量单元)，这个 时间是预设的，在一定的时间阈值下来采集一个动作，得到一组陀螺仪数 据或者惯性测量单元数据。然后使用聚类方法制作成泛化匹配模板，分别 对应不同的交互指令。
在一些实施方式中，所述方法还包括步骤S105(未示出)，头戴设备 采集所述头部动作信息相关的多个运动样本，根据所述多个运动样本确定 对应的角速度模板信息和加速度模板信息。其中，角速度模板信息和加速 度模板信息可以是一个模板(该模板含有加速度和角速度信息)，也可以是 独立的两个模板(分别含有加速度和角速度信息)。例如，学习集和模板除 了仅包括角速度数据之外，还可以包括加速度数据，基于加速度数据可以更加准确判断当前头戴设备的状态，如使用加速度传感器获取加速度数据 综合判断三个轴的静态数据从而判断头戴设备是否处于佩戴状态，若处于 佩戴状态，则进一步判断对应的交互指令等。
在一些实施方式中，所述头部动作信息包括所述头部横向转动动作信 息或所述头部纵向转动动作信息；其中，所述基于所述头部动作信息确定 对应的交互指令，包括：若所述头部运动的转动角度大于或等于转动角度 标准值，生成对应的交互指令。例如，基于用户头部动作信息在横轴或纵 轴上的转动动作，对头戴设备中的陀螺仪数据进行积分，确定该转动动作 对应的转动角度，若该转动角度大于或等于转动角度标准值，生成对应的交互指令，交互指令用于指示当前选中控件标识信息向转动方向一致的移 动方向移动一个格数或者N个格数。又例如，对头戴设备中的陀螺仪数据 进行实时积分(例如，以陀螺仪的采集频率，例如100HZ，为间隔进行实 时积分)，若实时确定当前转动角度超过转动角度标准值，生成对应的交互 指令并执行，交互指令用于指示当前选中控件标识信息向转动方向一致的 移动方向移动一个格数或者N个格数。在确定一个交互指令后头戴设备继 续实时获取陀螺仪对应数据，并继续进行判断，从而共确定一个或多个交 互指令，确定此次头部动作信息对应选中控件标注信息移动的一个或多个 格数或者一个N个格数或多个N个格数，移动方向与转动方向一致等。 对陀螺仪数据进行实时积分获得交互指令的方式，有利于用户对头部动作 的把控，如果动作出现偏差，也可以及时调整，用户交互体感较好。另外， 在对头戴设备获取的陀螺仪数据计算转动角度前，还可以对陀螺仪数据进 行滤波(如均值滤波等)去除传感器数据中的噪声，然后再对陀螺仪数据 进行积分，获取转动角度信息。图4示出转动角度标准值的确定示例，其 中，θ为转动角度标准值，对应用户转动角度为ω，将该用户转动角度ω 除以控件交互界面中转动方向上控件数等，得到对应的转动角度标准值θ， 其中，用户转动角度可以是用户在头戴设备中预设的，也可以是根据大量 用户统计得到的模板数据等。例如，用户头部左右移动时沿颈椎转动形成 的一个有边界的夹角，统计大量用户的转动夹角，经过计算，得到一个适 应性较高的夹角w，除以控件交互界面中转动方向上控件数，得到对应的 转动角度标准值θ。在一些实施方式中，所述基于所述头部动作信息确定 对应的交互指令，包括：若所述头部运动的转动角度大于或等于转动角度 标准值，所述头部运动的运动时间满足运动时间阈值，生成对应的交互指 令。例如，头戴设备设置有头部动作的阈值信息，其中，该阈值信息包括 但不限于转动角度标准值和运动时间阈值/置信区间(如时间阈值为0.5s， 或者运动时间的置信区间在0.4s至0.6s之间)等，若用户的头部动作信息 在运动时间阈值内的转动角度大于或等于转动角度标准值，生成对应的交 互指令信息等。其中，所述运动时间阈值可以是一个值，也可以是一个取 值区间。
在一些实施方式中，在步骤S102中，头戴设备采集用户的头部动作 信息，对所述头部动作信息进行检测；若所述检测通过，基于所述头部动 作信息确定对应的交互指令。例如，在进行头部动作信息生成交互指令时， 还可以对该头部动作信息进行预检测，若该检测通过，再根据该头部动作 信息确定对应的交互指令。例如，可以通过预设角度阈值或者角速度平方 阈值，或者通过预设运动时间阈值/置信区间，又或者通过预设角速度阈值/角速度平方阈值并结合运动时间等进行判定，检测该头部动作信息是否为 有效动作，去掉低频漂移好高频噪声信号等。例如，对头部动作的陀螺仪 数据进行积分，获得该头部动作的角度，若该角度不符合预设的角度阈值， 则去掉该运动数据，不进行头部动作对应交互指令的判断；例如，计算头 部动作对应的陀螺仪角速度的模的平方，若该角速度的模的平方不符合预 设的角速度平方阈值，则去掉该运动数据，不进行头部动作对应交互指令的判断；例如，计算头部动作的运动时间，若该时间不满足预设的运动时 间阈值/置信区间(例如，低于陀螺仪数据的采集时间间隔)，则去掉该运 动数据，不进行头部动作对应交互指令的判断；又例如，对头部动作的陀 螺仪数据进行积分，获得该头部动作的角度，并计算头部动作的运动时间。 若该时间不满足预设的运动时间阈值或若该角度不符合预设的角度阈值， 则去掉该运动数据，不进行头部动作对应交互指令的判断。
在一些实施方式中，所述头部动作信息包括所述头部横向转动动作信 息或所述头部纵向转动动作信息；其中，所述头部动作信息进行检测包括 但不限于：所述头部动作信息的角速度的模的平方值是否大于或等于预设 的第一角速度平方阈值；所述头部动作信息的角速度的模的平方值大于或 等于第二角速度平方阈值的角速度对应时间之差是否满足预设的第一时 间差阈值，其中第一角速度平方阈值和第二角速度平方阈值可以相同或者 不同。例如，头部动作信息的摆动动作是一个往复动作，对应陀螺仪的角 速度值会形成一条先增后减或先减后增(一个周期)类似正弦波的曲线， 如图5所示，首先头戴设备从A点的静止状态以O点为轴运动至B点停 止，再沿B点以O点为轴运动至A点停止，这个过程形成类似于图6所 示的正弦波图形，其中，t1、t2时间对应摆动方向的摆动起始动作(例如，由A点到B点)，t2、t3时间对应恢复动作(例如，由B点到A点)，。取 对应角速度的模的平方值为纵轴，时间为横轴，可以得到头部动作时间的 角速度的模的平方值关于时间的关系，如图7所示，其中，角速度的模的 平方值通过w1曲线确定对应时间点t1和t5。若对应摆动角速度的模的平 方值存在大于或等于w1的值，或者满足条件的角速度对应时间差(如t1 和t5)满足预设的第一时间阈值/置信区间，确定该动作为有效动作。其中， 所述第一时间阈值可以是一个值，也可以是一个取值区间。在一些实施方 式中，所述头部动作信息包括所述头部横向摆动动作信息或所述头部纵向 摆动动作信息；其中，所述头部动作信息进行检测包括：检测所述头部动 作信息的角速度的模的平方值是否大于或等于第三角速度平方阈值的同 时，所述满足条件的角速度对应时间之差是否满足预设的第二时间差阈值； 若是，则检测所述头部运动信息在运动过程中是否存在四个不同的时间节 点的角速度的模的平方值等于第四角速度平方阈值。例如，头戴设备根据 摆动曲线设置有第四角速度平方阈值，该第四角速度平方阈值大于第三角 速度平方阈值，若该头部动作对应的摆动曲线与第四角速度平方阈值存在 四个交点，则生成对应的交互指令，如图10所示，图中的摆动瞬时角速 度的模的平方值存在与w2对应直线相交的四个交点，则头戴设备确认当 前头部动作信息为有效动作。
图8示出根据本申请一个方面的一种控件交互界面中进行人机交互的 方法，应用于头戴设备，其中，该方法包括步骤S201、步骤S202以及步 骤S203。在步骤S201中，头戴设备呈现所述头戴设备对应的控件交互界 面，其中，所述控件交互界面包括确定选择信息和取消选择信息。在步骤 S202中，头戴设备采集用户的头部动作信息，确定与所述头部运动信息对 应的角速度匹配的角速度模板信息，根据所述角速度模板信息确定对应的 交互指令，其中，所述交互指令信息包括确认选择指令或取消选择指令； 在步骤S203中，头戴设备执行对应的交互指令。例如，头戴设备向用户 呈现控件交互界面，如图9所示的确认取消界面，该确认取消界面中包含 确定选择信息和取消选择信息；随后，头戴设备采集头部动作信息，获取 头部动作信息对应的角速度数据信息等，头戴设备端存储有交互指令对应 的头部动作相关的角速度数据等，如用户预先设置的三轴角速度模板信息， 或者根据大量统计数据通过聚类等方法得到泛化匹配的三轴角速度模板 信息等，其中三轴角速度模板信息仅为举例，还可以是其它单轴或多轴角 速度模板信息。头戴设备采集用户头部动作信息对应的三轴陀螺仪数据， 并根据三轴陀螺仪数据与存储的三轴角速度模板信息进行匹配(如每个轴 的角速度相关系数达到阈值、或者任意一轴的角速度相关系数达到阈值 等)，若存在匹配的三轴角速度模板信息，则将该三轴角速度模板信息对应 的交互指令作为头部动作信息对应的交互指令，如点头动作对应确认指令， 摇头指令对应取消指令。随后，头戴设备执行对应的交互指令，如执行确 认指令或取消指令等。
在一些实施方式中，在步骤S202中，头戴设备采集用户的头部动作 信息，确定与所述头部运动信息对应的角速度匹配的角速度模板信息，确 定与所述头部运动信息对应的加速度匹配的加速度模板信息，根据所述角 速度模板信息与所述加速度模板信息确定对应的交互指令。例如，采集头 部动作信息相关的多个运动样本，如收集不同体型、性别、年龄人群的动 作数据，行成学习集，其中，每个动作是一个时间段段内完成，所以学习 集中每个运动样本是一段时间内的一组角速度和加速度数据，这个时间是 预设的，在一定的时间阈值下来采集一个动作，得到一组角速度和加速度 数据，例如惯性测量单元数据。然后使用聚类方法制作成泛化匹配模板， 分别对应不同的交互指令。
图9示出了根据本申请一个方面的一种用于控件交互界面中进行人机 交互的头戴设备，具体包括一一模块101、一二模块102以及一三模块103。 一一模块101，用于呈现所述头戴设备对应的控件交互界面，其中，所述 控件交互界面包括多个控件标识信息；一二模块102，用于采集用户的头 部动作信息，并基于所述头部动作信息确定对应的交互指令；一三模块103， 用于基于所述控件交互界面中当前选中的当前控件标识信息，执行对应的交互指令。在此，所述一一模块101、一二模块102以及一三模块103的 具体实施例与前述所述步骤S101、步骤S102以及步骤S103的具体实施 方式相同或相似，不再赘述，以引用的方式包含于此。
在一些实施方式中，所述控件交互界面包括但不限于：单行排列的控 件交互界面；单列排列的控件交互界面；多行多列排列的控件交互界面等。 在此，所述控件交互界面的具体实施例与前述所述控件交互界面的具体实 施方式相同或相似，不再赘述，以引用的方式包含于此。
在一些实施方式中，所述交互指令包括但不限于：从所述当前控件标 识信息沿着所述头部动作信息的运动方向移动预设距离；启动所述当前控 件标识信息对应的控件。在一些实施方式中，所述控件交互界面信息包括 多行多列排列的控件交互界面，所述交互指令包括从所述当前控件标识信 息沿着所述头部动作信息的运动方向移动预设距离。在此，所述交互指令 的具体实施例与前述所述控件交互界面交互指令的具体实施方式相同或相似，不再赘述，以引用的方式包含于此。
在一些实施方式中，所述设备还包括一六模块106(未示出)，若获取 到用户关于所述控件的确定操作，用于启动所述当前选中的控件标识信息 对应的控件。在一些实施方式中，对应确定操作包括但不限于：所述用户 的头部在前后方向上的移动动作；所述用户头部静置时间大于或等于静置 时间阈值；所述用户相关的语音指令信息；所述用户相关的手势指令信息； 所述用户相关的触摸指令信息；所述用户相关的眼动指令信息。在此，所述一六模块106、确定操作的具体实施例与前述所述步骤S106、确定操作 的具体实施方式相同或相似，不再赘述，以引用的方式包含于此。
在一些实施方式中，所述头部动作信息包括但不限于：头部横向转动 动作信息，其中，对应的转动方向包括相对于初始头部位置向左或向右； 头部纵向转动动作信息，其中，对应的转动方向包括相对于初始头部位置 向上或向下；头部横向摆动动作信息，其中，对应的摆动方向包括相对于 初始头部位置向左或向右；头部纵向摆动动作信息，其中，对应的摆动方 向包括相对于初始头部位置向上或向下。在此，所述头部动作信息的具体 实施例与前述所述头部动作信息的具体实施方式相同或相似，不再赘述， 以引用的方式包含于此。
在一些实施方式中，所述基于所述头部动作信息确定对应的交互指令， 包括：确定与所述头部运动信息对应的角速度匹配的角速度模板信息，根 据所述角速度模板信息确定对应的交互指令。在一些实施方式中，所述基 于所述头部动作信息确定对应的交互指令，包括：确定与所述头部运动信 息对应的角速度匹配的角速度模板信息，确定与所述头部运动信息对应的 加速度匹配的加速度模板信息，根据所述角速度模板信息与所述加速度模 板信息确定对应的交互指令。在此，所述确定交互指令的具体实施例与前 述所述确定交互指令的具体实施方式相同或相似，不再赘述，以引用的方 式包含于此。
在一些实施方式中，所述设备还包括一四模块104(未示出)，用于采 集所述头部动作信息相关的多个运动样本，根据所述多个运动样本确定 对应的角速度模板信息。在此，所述一四模块104的具体实施例与前述所 述步骤S104的具体实施方式相同或相似，不再赘述，以引用的方式包含 于此。
在一些实施方式中，所述设备还包括一五模块105(未示出)，用于采 集所述头部动作信息相关的多个运动样本，根据所述多个运动样本确定对 应的角速度模板信息和加速度模板信息。在此，所述一五模块105的具体 实施例与前述所述步骤S105的具体实施方式相同或相似，不再赘述，以 引用的方式包含于此。
在一些实施方式中，所述头部动作信息包括所述头部横向转动动作信 息或所述头部纵向转动动作信息；其中，所述基于所述头部动作信息确定 对应的交互指令，包括：若所述头部运动的转动角度大于或等于转动角度 标准值，生成对应的交互指令。在一些实施方式中，所述基于所述头部动 作信息确定对应的交互指令，包括：若所述头部运动的转动角度大于或等 于转动角度标准值，所述头部运动的运动时间满足运动时间阈值，生成对应的交互指令。在此，所述头部转动确定交互指令的具体实施例与前述所 述头部转动确定交互指令的具体实施方式相同或相似，不再赘述，以引用 的方式包含于此。
在一些实施方式中，在步骤S102中，头戴设备采集用户的头部动作 信息，对所述头部动作信息进行检测；若所述检测通过，基于所述头部动 作信息确定对应的交互指令。例如，在进行头部动作信息生成交互指令时， 还可以对该头部动作信息进行预检测，若该检测通过，再根据该头部动作 信息确定对应的交互指令。在一些实施方式中，所述头部动作信息包括所 述头部横向转动动作信息或所述头部纵向转动动作信息；其中，所述头部动作信息进行检测包括但不限于：所述头部动作信息的角速度的模的平方 值是否大于或等于预设的第一角速度平方阈值；所述头部动作信息的角速 度的模的平方值大于或等于第二角速度平方阈值的角速度对应时间之差 是否满足预设的第一时间差阈值。在一些实施方式中，所述头部动作信息 包括所述头部横向摆动动作信息或所述头部纵向摆动动作信息；其中，所 述头部动作信息进行检测包括：检测所述头部动作信息的角速度的模的平方值是否大于或等于第三角速度平方阈值的同时，所述满足条件的角速度 对应时间之差是否满足预设的第二时间差阈值；若是，则检测所述头部运 动信息在运动过程中是否存在四个不同的时间节点的角速度的模的平方 值等于第四角速度平方阈值。在此，所述头部动作信息预检测的具体实施 例与前述所述头部动作信息预检测的具体实施方式相同或相似，不再赘述， 以引用的方式包含于此。
图11示出根据本申请一个方面的一种控件交互界面中进行人机交互 的头戴设备，其中，该设备包括二一模块201、二二模块202以及二三模 块203。二一模块201，用于呈现所述头戴设备对应的控件交互界面，其 中，所述控件交互界面包括确定选择信息和取消选择信息。二二模块202， 用于采集用户的头部动作信息，确定与所述头部运动信息对应的三轴角速 度匹配的三轴角速度模板信息，根据所述三轴角速度模板信息确定对应的 交互指令，其中，所述交互指令信息包括确认选择指令或取消选择指令； 二三模块203，用于执行对应的交互指令。在此，所述二一模块201、二二 模块202以及二三模块203的具体实施例与前述所述步骤S201、步骤S202 以及步骤S203的具体实施方式相同或相似，不再赘述，以引用的方式包 含于此。
在一些实施方式中，在步骤S202中，头戴设备采集用户的头部动作 信息，确定与所述头部运动信息对应的角速度匹配的角速度模板信息，确 定与所述头部运动信息对应的加速度匹配的加速度模板信息，根据所述角 速度模板信息与所述加速度模板信息确定对应的交互指令。在此，所述二 二模块202中基于角速度模板和加速度模板信息进行匹配的具体实施例与 前述所述步骤S202中基于角速度模板和加速度模板信息进行匹配的具体实施方式相同或相似，不再赘述，以引用的方式包含于此。
除上述各实施例介绍的方法和设备外，本申请还提供了一种计算机可 读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机 代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算 机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得 所述一个或多个处理器实现如前任一项所述的方法。
图12示出了可被用于实施本申请中所述的各个实施例的示例性***；
如图12所示在一些实施例中，***300能够作为各所述实施例中的 任意一个上述设备。在一些实施例中，***300可包括具有指令的一个或 多个计算机可读介质(例如，***存储器或NVM/存储设备320)以及与该一 个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行 本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。
对于一个实施例，***控制模块310可包括任意适当的接口控制器， 以向(一个或多个)处理器305中的至少一个和/或与***控制模块310通信 的任意适当的设备或组件提供任意适当的接口。
***控制模块310可包括存储器控制器模块330，以向***存储器315 提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模 块。
***存储器315可被用于例如为***300加载和存储数据和/或指令。 对于一个实施例，***存储器315可包括任意适当的易失性存储器，例如， 适当的DRAM。在一些实施例中，***存储器315可包括双倍数据速率类 型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，***控制模块310可包括一个或多个输入/输出(I/O) 控制器，以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如，NVM/存储设备320可被用于存储数据和/或指令。NVM/存储 设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意 适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器 (HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD) 驱动器)。
NVM/存储设备320可包括在物理上作为***300被安装在其上的设 备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部 分。例如，NVM/存储设备320可通过网络经由(一个或多个)通信接口325 进行访问。
(一个或多个)通信接口325可为***300提供接口以通过一个或多个 网络和/或与任意其他适当的设备通信。***300可根据一个或多个无线网 络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件 进行无线通信。
对于一个实施例，(一个或多个)处理器305中的至少一个可与***控 制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封 装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与 ***控制模块310的一个或多个控制器的逻辑封装在一起以形成***级封 装(SiP)。对于一个实施例，(一个或多个)处理器305中的至少一个可与系 统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个 实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的 一个或多个控制器的逻辑集成在同一模具上以形成片上***(SoC)。
在各个实施例中，***300可以但不限于是：服务器、工作站、台式 计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电 脑、上网本等)。在各个实施例中，***300可具有更多或更少的组件和/ 或不同的架构。例如，在一些实施例中，***300包括一个或多个摄像机、 键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多 个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施， 例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬 件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行 以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数 据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或 光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬 件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被控件为计算机程序产品，例如计算机程序 指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据 本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令 在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装 包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于： 该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指 令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机 访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或 其他数据的通信信号被从一个***传送到另一***的介质。通信介质可包 括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的 无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可 读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载 波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信 息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技 术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算 机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实 现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存 储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM, SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM, EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性 和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后 开发的能够存储供计算机***使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储 计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算 机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多 个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细 节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体 形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性 的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限 定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括 在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要 求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装 置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件 或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定 的顺序。
Claims (22)
1.一种用于控件交互界面中进行人机交互的方法，应用于头戴设备，其中，该方法包括：
呈现所述头戴设备对应的控件交互界面，其中，所述控件交互界面包括多个控件标识信息；
采集用户的头部动作信息，并基于所述头部动作信息确定对应的交互指令；
基于所述控件交互界面中当前选中的当前控件标识信息，执行对应的交互指令。
2.根据权利要求1所述的方法，其中，所述控件交互界面包括以下至少任一项：
单行排列的控件交互界面；
单列排列的控件交互界面；
多行多列排列的控件交互界面。
3.根据权利要求2所述的方法，其中，所述交互指令包括以下至少任一项：
从所述当前控件标识信息沿着所述头部动作信息的运动方向移动预设距离；
启动所述当前控件标识信息对应的控件。
4.根据权利要求3所述的方法，所述控件交互界面信息包括多行多列排列的控件交互界面，所述交互指令包括从所述当前控件标识信息沿着所述头部动作信息的运动方向移动预设距离。
5.根据权利要求1至4中任一项所述的方法，其中，所述头部动作信息包括以下至少任一项：
头部横向转动动作信息，其中，对应的转动方向包括相对于初始头部位置向左或向右；
头部纵向转动动作信息，其中，对应的转动方向包括相对于初始头部位置向上或向下；
头部横向摆动动作信息，其中，对应的摆动方向包括相对于初始头部位置向左或向右；
头部纵向摆动动作信息，其中，对应的摆动方向包括相对于初始头部位置向上或向下。
6.根据权利要求5所述的方法，其中，所述基于所述头部动作信息确定对应的交互指令，包括：
确定与所述头部运动信息对应的角速度匹配的角速度模板信息，根据所述角速度模板信息确定对应的交互指令。
7.根据权利要求6所述的方法，其中，所述基于所述头部动作信息确定对应的交互指令，包括：
确定与所述头部运动信息对应的角速度匹配的角速度模板信息，确定与所述头部运动信息对应的加速度匹配的加速度模板信息，根据所述角速度模板信息与所述加速度模板信息确定对应的交互指令。
8.根据权利要求6或7所述的方法，其中，所述方法还包括：
采集所述头部动作信息相关的多个运动样本，根据所述多个运动样本确定对应的角速度模板信息。
9.根据权利要求7或8所述的方法，其中，所述方法还包括：
采集所述头部动作信息相关的多个运动样本，根据所述多个运动样本确定对应的角速度模板信息和加速度模板信息。
10.根据权利要求5所述的方法，其中，所述头部动作信息包括所述头部横向转动动作信息或所述头部纵向转动动作信息；其中，所述基于所述头部动作信息确定对应的交互指令，包括：
若所述头部运动的转动角度大于或等于转动角度标准值，生成对应的交互指令。
11.根据权利要求10所述的方法，其中，所述基于所述头部动作信息确定对应的交互指令，包括：
若所述头部运动的转动角度大于或等于转动角度标准值，所述头部运动的运动时间满足运动时间阈值，生成对应的交互指令。
12.根据权利要求1至11中任一项所述的方法，其中，所述采集用户的头部动作信息，并基于所述头部动作信息确定对应的交互指令，包括：
采集用户的头部动作信息，对所述头部动作信息进行检测；
若所述检测通过，基于所述头部动作信息确定对应的交互指令。
13.根据权利要求12所述的方法，其中，所述头部动作信息包括所述头部横向转动动作信息或所述头部纵向转动动作信息；其中，所述头部动作信息进行检测包括以下至少任一项：
所述头部动作信息的角速度的模的平方值是否大于或等于预设的第一角速度平方阈值；
所述头部动作信息的角速度的模的平方值大于或等于第二角速度平方阈值的角速度对应时间之差是否满足预设的第一时间差阈值。
14.根据权利要求12所述的方法，其中，所述头部动作信息包括所述头部横向摆动动作信息或所述头部纵向摆动动作信息；其中，所述头部动作信息进行检测包括：
检测所述头部动作信息的角速度的模的平方值是否大于或等于第三角速度平方阈值的同时，所述满足条件的角速度对应时间之差是否满足预设的第二时间差阈值；
若是，则检测所述头部运动信息在运动过程中是否存在四个不同的时间节点的角速度的模的平方值等于第四角速度平方阈值。
15.根据权利要求1至14中任一项所述的方法，其中，所述方法还包括：
若获取到用户关于所述控件的确定操作，启动所述当前选中的控件标识信息对应的控件。
16.根据权利要求15所述的方法，其中，所述确定操作包括以下至少任一项：
所述用户头部在前后方向上的移动动作；
所述用户头部静置时间大于或等于静置时间阈值；
所述用户相关的语音指令信息；
所述用户相关的手势指令信息；
所述用户相关的触摸指令信息；
所述用户相关的眼动指令信息。
17.一种用于控件交互界面中进行人机交互的方法，应用于头戴设备，其中，该方法包括：
呈现所述头戴设备对应的控件交互界面，其中，所述控件交互界面包括确定选择信息和取消选择信息；
采集用户的头部动作信息，确定与所述头部运动信息对应的角速度匹配的角速度模板信息，根据所述角速度模板信息确定对应的交互指令，其中，所述交互指令信息包括确认选择指令或取消选择指令；
执行对应的交互指令。
18.根据权利要求17所述的方法，其中，所述采集用户的头部动作信息，确定与所述头部运动信息对应的角速度匹配的角速度模板信息，根据所述角速度模板信息确定对应的交互指令，其中，所述交互指令信息包括确认选择指令或取消选择指令，包括：
采集用户的头部动作信息，确定与所述头部运动信息对应的角速度匹配的角速度模板信息，确定与所述头部运动信息对应的加速度匹配的加速度模板信息，根据所述角速度模板信息与所述加速度模板信息确定对应的交互指令。
19.一种用于控件交互界面中进行人机交互的头戴设备，其中，该方法包括：
一一模块，用于呈现所述头戴设备对应的控件交互界面，其中，所述控件交互界面包括多个控件标识信息；
一二模块，用于采集用户的头部动作信息，并基于所述头部动作信息确定对应的交互指令；
一三模块，用于基于所述控件交互界面中当前选中的当前控件标识信息，执行对应的交互指令。
20.一种用于控件交互界面中进行人机交互的头戴设备，其中，该方法包括：
二一模块，用于呈现所述头戴设备对应的控件交互界面，其中，所述控件交互界面包括确定选择信息和取消选择信息；
二二模块，用于采集用户的头部动作信息，确定与所述头部运动信息对应的角速度匹配的角速度模板信息，根据所述角速度模板信息确定对应的交互指令，其中，所述交互指令信息包括确认选择指令或取消选择指令；
二三模块，用于执行对应的交互指令。
21.一种用于控件交互界面中进行人机交互的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器如权利要求1至18中任一项所述方法的操作。
22.一种存储指令的计算机可读介质，所述指令在被执行时使得***进行如权利要求1至18中任一项所述方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910785670.1A CN112416115B (zh) | 2019-08-23 | 2019-08-23 | 一种用于控件交互界面中进行人机交互的方法与设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910785670.1A CN112416115B (zh) | 2019-08-23 | 2019-08-23 | 一种用于控件交互界面中进行人机交互的方法与设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112416115A true CN112416115A (zh) | 2021-02-26 |
| CN112416115B CN112416115B (zh) | 2023-12-15 |
Family
ID=74779451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910785670.1A Active CN112416115B (zh) | 2019-08-23 | 2019-08-23 | 一种用于控件交互界面中进行人机交互的方法与设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112416115B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114048726A (zh) * | 2022-01-13 | 2022-02-15 | 北京中科汇联科技股份有限公司 | 一种计算机图形界面交互方法及*** |
| WO2023024871A1 (zh) * | 2021-08-24 | 2023-03-02 | 亮风台（上海）信息科技有限公司 | 一种界面交互方法与设备 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2808752A1 (en) * | 2013-05-28 | 2014-12-03 | BlackBerry Limited | Performing an action associated with a motion based input |
| CN104536654A (zh) * | 2014-12-25 | 2015-04-22 | 小米科技有限责任公司 | 智能穿戴设备上的菜单选取方法、装置及智能穿戴设备 |
| CN105824409A (zh) * | 2016-02-16 | 2016-08-03 | 乐视致新电子科技（天津）有限公司 | 虚拟现实的交互控制方法及装置 |
| KR20160133328A (ko) * | 2015-05-12 | 2016-11-22 | 삼성전자주식회사 | 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치 |
| CN106527722A (zh) * | 2016-11-08 | 2017-03-22 | 网易（杭州）网络有限公司 | 虚拟现实中的交互方法、***及终端设备 |
| CN106970697A (zh) * | 2016-01-13 | 2017-07-21 | 华为技术有限公司 | 界面交互装置及方法 |
| CN108008873A (zh) * | 2017-11-10 | 2018-05-08 | 亮风台（上海）信息科技有限公司 | 一种头戴式显示设备的用户界面操作方法 |
| US9996149B1 (en) * | 2016-02-22 | 2018-06-12 | Immersacad Corporation | Method for one-touch translational navigation of immersive, virtual reality environments |
| CN108170279A (zh) * | 2015-06-03 | 2018-06-15 | 塔普翊海（上海）智能科技有限公司 | 头显设备的眼动和头动交互方法 |
| CN108304075A (zh) * | 2018-02-11 | 2018-07-20 | 亮风台（上海）信息科技有限公司 | 一种在增强现实设备进行人机交互的方法与设备 |
| US20190130622A1 (en) * | 2017-10-27 | 2019-05-02 | Magic Leap, Inc. | Virtual reticle for augmented reality systems |
| US20190171283A1 (en) * | 2017-12-04 | 2019-06-06 | International Business Machines Corporation | Modifying a computer-based interaction based on eye gaze |
| JP2019136066A (ja) * | 2018-02-06 | 2019-08-22 | グリー株式会社 | アプリケーション処理システム、アプリケーション処理方法、及びアプリケーション処理プログラム |
| US20200081526A1 (en) * | 2018-09-06 | 2020-03-12 | Sony Interactive Entertainment Inc. | Gaze Input System and Method |
-
2019
- 2019-08-23 CN CN201910785670.1A patent/CN112416115B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2808752A1 (en) * | 2013-05-28 | 2014-12-03 | BlackBerry Limited | Performing an action associated with a motion based input |
| CN104536654A (zh) * | 2014-12-25 | 2015-04-22 | 小米科技有限责任公司 | 智能穿戴设备上的菜单选取方法、装置及智能穿戴设备 |
| KR20160133328A (ko) * | 2015-05-12 | 2016-11-22 | 삼성전자주식회사 | 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치 |
| CN108170279A (zh) * | 2015-06-03 | 2018-06-15 | 塔普翊海（上海）智能科技有限公司 | 头显设备的眼动和头动交互方法 |
| CN106970697A (zh) * | 2016-01-13 | 2017-07-21 | 华为技术有限公司 | 界面交互装置及方法 |
| CN105824409A (zh) * | 2016-02-16 | 2016-08-03 | 乐视致新电子科技（天津）有限公司 | 虚拟现实的交互控制方法及装置 |
| US9996149B1 (en) * | 2016-02-22 | 2018-06-12 | Immersacad Corporation | Method for one-touch translational navigation of immersive, virtual reality environments |
| CN106527722A (zh) * | 2016-11-08 | 2017-03-22 | 网易（杭州）网络有限公司 | 虚拟现实中的交互方法、***及终端设备 |
| US20190130622A1 (en) * | 2017-10-27 | 2019-05-02 | Magic Leap, Inc. | Virtual reticle for augmented reality systems |
| CN108008873A (zh) * | 2017-11-10 | 2018-05-08 | 亮风台（上海）信息科技有限公司 | 一种头戴式显示设备的用户界面操作方法 |
| US20190171283A1 (en) * | 2017-12-04 | 2019-06-06 | International Business Machines Corporation | Modifying a computer-based interaction based on eye gaze |
| JP2019136066A (ja) * | 2018-02-06 | 2019-08-22 | グリー株式会社 | アプリケーション処理システム、アプリケーション処理方法、及びアプリケーション処理プログラム |
| CN108304075A (zh) * | 2018-02-11 | 2018-07-20 | 亮风台（上海）信息科技有限公司 | 一种在增强现实设备进行人机交互的方法与设备 |
| US20200081526A1 (en) * | 2018-09-06 | 2020-03-12 | Sony Interactive Entertainment Inc. | Gaze Input System and Method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023024871A1 (zh) * | 2021-08-24 | 2023-03-02 | 亮风台（上海）信息科技有限公司 | 一种界面交互方法与设备 |
| CN114048726A (zh) * | 2022-01-13 | 2022-02-15 | 北京中科汇联科技股份有限公司 | 一种计算机图形界面交互方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112416115B (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9870057B1 (en) | Gesture detection using an array of short-range communication devices | |
| CN103985137B (zh) | 应用于人机交互的运动物体跟踪方法及*** | |
| JP6072237B2 (ja) | ジェスチャー入力のための指先の場所特定 | |
| US10503373B2 (en) | Visual feedback for highlight-driven gesture user interfaces | |
| US10289214B2 (en) | Method and device of controlling virtual mouse and head-mounted displaying device | |
| US20130010071A1 (en) | Methods and systems for mapping pointing device on depth map | |
| CN107168539A (zh) | 一种设备唤醒方法、装置及电子设备 | |
| CN103513788B (zh) | 基于陀螺仪传感器的手势识别方法、***及移动终端 | |
| CN103902061A (zh) | 空中鼠标的光标显示方法、设备及*** | |
| KR101228336B1 (ko) | 모바일 단말기의 사용자 행동패턴을 이용하여 개인화 서비스를 제공하는 방법 및 이를 위한 모바일 단말기 | |
| CN112416115B (zh) | 一种用于控件交互界面中进行人机交互的方法与设备 | |
| CN102945088A (zh) | 实现终端模拟鼠标操作设备的方法、装置及移动设备 | |
| CN109828672B (zh) | 一种用于确定智能设备的人机交互信息的方法与设备 | |
| US20130268900A1 (en) | Touch sensor gesture recognition for operation of mobile devices | |
| CN103885571A (zh) | 一种信息处理方法及电子设备 | |
| EP3767435A1 (en) | 6-dof tracking using visual cues | |
| CN109324741A (zh) | 一种操作控制方法、装置和*** | |
| Gouthaman et al. | Gesture detection system using smart watch based motion sensors | |
| CN107454970A (zh) | 一种基于球类运动的运动轨迹采集和分析的***与方法 | |
| CN103177245A (zh) | 手势识别方法及装置 | |
| CN103558913A (zh) | 一种具有振动反馈的虚拟输入手套键盘 | |
| CN112416140B (zh) | 一种用于输入字符的方法与设备 | |
| CN106933466A (zh) | 页面交互方法及*** | |
| CN110413177B (zh) | 一种用于电子书翻页的方法与设备 | |
| CN103000161B (zh) | 一种图像显示方法、装置和一种智能手持终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai Applicant after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203 Applicant before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |