CN105892632A - 一种判断虚拟现实应用的ui控件被选中的方法和装置 - Google Patents

一种判断虚拟现实应用的ui控件被选中的方法和装置 Download PDF

Info

Publication number
CN105892632A
CN105892632A CN201510785543.3A CN201510785543A CN105892632A CN 105892632 A CN105892632 A CN 105892632A CN 201510785543 A CN201510785543 A CN 201510785543A CN 105892632 A CN105892632 A CN 105892632A
Authority
CN
China
Prior art keywords
control
human eye
eye sight
bounding box
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510785543.3A
Other languages
English (en)
Inventor
李珅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leshi Zhixin Electronic Technology Tianjin Co Ltd
Original Assignee
Leshi Zhixin Electronic Technology Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leshi Zhixin Electronic Technology Tianjin Co Ltd filed Critical Leshi Zhixin Electronic Technology Tianjin Co Ltd
Priority to CN201510785543.3A priority Critical patent/CN105892632A/zh
Publication of CN105892632A publication Critical patent/CN105892632A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

本发明提出一种判断虚拟现实应用的UI控件被选中的方法和装置，方法包括：步骤S001，获取人眼视线；步骤S002，若所述人眼视线与用于盛放多个所述UI控件的包围盒相交，则计算所述人眼视线在所述包围盒内的相交位置，将所述相交位置的UI控件作为被选UI控件，执行所述被选UI控件相应的选中事件。装置包括：获取人眼视线模块和判断与执行模块。本发明通过将多个UI控件放入到同一个包围盒中然后根据人眼视线与包围盒的相交位置判断包围盒中被选中的UI控件的方式解决了现有技术中每一个UI控件需要创建一个包围盒的问题。

Description

一种判断虚拟现实应用的UI控件被选中的方法和装置
技术领域
本发明涉及虚拟现实应用的领域，尤其涉及一种判断虚拟现实应用的UI控件被选中的方法和装置。
背景技术
现有技术中，基于手机的虚拟现实(VR)应用的3D UI控件(3D UserInterface Widget)的射线拾取(Ray Casting)方案中，均采用包围盒碰撞检测算法，该算法根据人眼视线与三维空间中每个UI控件所在的包围盒是否存在交点来检测控件是否被选中。这种算法存在的缺陷是每个UI控件都需要构建一个包围盒，使虚拟现实场景中包围盒的顶点数目过多，降低了渲染效率。
因此，有必要提出改进上述缺陷的方法。
发明内容
基于以上问题，本发明提出一种判断虚拟现实应用的UI控件被选中的方法，通过将多个UI控件放入到同一个包围盒中然后根据人眼视线与包围盒的相交位置判断包围盒中被选中的UI控件的方式解决了现有技术中每一个UI控件需要一个包围盒的问题。
一方面，本发明提出一种判断虚拟现实应用的UI控件被选中的方法，包括：步骤S001，获取人眼视线；步骤S002，若所述人眼视线与用于盛放多个所述UI控件的包围盒相交，则计算所述人眼视线在所述包围盒内的相交位置，将所述相交位置的UI控件作为被选UI控件，执行所述被选UI控件相应的选中事件。
优选地，通过虚拟现实设备上安装的陀螺仪检测所述人眼视线。
优选地，所述包围盒为四边形面片，所述步骤S002具体包括：每个所述UI控件在所述四边形面片中的位置对应一组坐标，一组所述坐标包括四个坐标点，若所述相交位置的坐标位于一组所述坐标的范围内，则所述UI控件为被选UI控件。
优选地，所述步骤S001具体包括：若检测到所述人眼视线发生变化，则获取所述人眼视线。
优选地，盛放在同一个所述包围盒的多个所述UI控件为同类型的UI控件。
另一方面，本发明还提出一种判断虚拟现实应用的UI控件被选中的装置，包括：获取人眼视线模块，用于获取人眼视线；判断与执行模块，用于若所述人眼视线与用于盛放多个所述UI控件的包围盒相交，则计算所述人眼视线在所述包围盒内的相交位置，将所述相交位置的UI控件作为被选UI控件，执行所述被选UI控件相应的选中事件。
优选地，通过虚拟现实设备上安装的陀螺仪检测所述人眼视线。
优选地，所述包围盒为四边形面片，所述判断与执行模块具体包括：每个所述UI控件在所述四边形面片中的位置对应一组坐标，一组所述坐标包括四个坐标点，若所述相交位置的坐标位于一组所述坐标的范围内，则所述UI控件为被选UI控件。
优选地，所述获取人眼视线模块具体包括：若检测到所述人眼视线发生变化，则获取所述人眼视线。
优选地，盛放在同一个所述包围盒的多个所述UI控件为同类型的UI控件。
采用上述技术方案，具有如下有益效果：
通过获取人眼视线，根据人眼视线与用于盛放多个UI控件的包围盒相交时产生的相交位置判断被选中的UI控件，执行被选中的UI控件相应的选中事件的方式解决了现有技术中每一个UI控件需要一个包围盒的问题，提高了渲染效率。
附图说明
图1是根据本发明一个实施例的判断虚拟现实应用的UI控件被选中的方法的流程图；
图2是根据本发明另一个实施例的判断虚拟现实应用的UI控件被选中的方法的流程图；
图3是根据本发明另一个实施例的判断虚拟现实应用的UI控件被选中的装置的框图。
具体实施方式
以下结合具体实施方案和附图对本发明进行进一步的详细描述。其只意在详细阐述本发明的具体实施方案，并不对本发明产生任何限制，本发明的保护范围以权利要求书为准。
参照图1，本发明提出一种判断虚拟现实应用的UI控件被选中的方法，包括：步骤S001，获取人眼视线；步骤S002，若人眼视线与用于盛放多个UI控件的包围盒相交，则计算人眼视线在包围盒内的相交位置，将相交位置的UI控件作为被选UI控件，执行被选UI控件相应的选中事件。对于基于手机的头戴式的虚拟现实设备，获取人眼视线的方法优选采用陀螺仪获取人眼视线。在步骤S002中，包围盒的种类有轴对齐包围盒(Axis Aligned Bounding Box简称：AABB包围盒)和有向包围盒(Oriented Bounding Box简称：OBB包围盒),包围盒用于3D中碰撞检测。
多个UI控件在包围盒中的位置为预先设置，可使用图形库OpenGLES中自动线性计算模型面片纹理坐标的机制来分配UI控件在包围盒中的位置。每个UI控件在包围盒中的位置对应一组坐标，UI控件的一组坐标同UI控件的对应关系可以通过映射表的方式存储。当检测到人眼视线与包围盒相交后，记录下人眼视线与包围盒相交位置的相交坐标，循环将相交坐标与在包围盒中的每一个UI控件对应的一组坐标比较，直到找到相交坐标位于一个UI控件对应的一组坐标范围内则停止比较，此时找到被选中UI控件，执行被选UI控件相应的选中事件。为包围盒设置监听函数、为每个UI控件设置监听函数，当包围盒的监听函数监听到人眼视线与包围盒相交则执行循环将相交坐标与在包围盒中的每一个UI控件对应的一组坐标比较的动作。当UI控件的监听函数监听到UI控件被选中，则执行被选UI控件相应的选中事件。
通过获取人眼视线，根据人眼视线与用于盛放多个UI控件的包围盒相交时产生的相交位置判断被选中的UI控件，执行被选中的UI控件相应的选中事件的方式解决了现有技术中每一个UI控件需要一个包围盒的问题，使一个包围盒可以同时容纳多个UI控件，提高了3D效果渲染效率。
在其中的一个实施例中，通过虚拟现实设备上安装的陀螺仪检测人眼视线。对于基于手机的虚拟现实设备，采用手机上自带的陀螺仪检测人眼视线不需要额外增加检测人眼视线装置，节省了成本。
在其中的一个实施例中，包围盒为四边形面片，步骤S002具体包括：每个UI控件在四边形面片中的位置对应一组坐标，一组坐标包括四个坐标点，若相交位置的坐标位于一组坐标的范围内，则UI控件为被选UI控件。采用四边形面片构建包围盒为3D图像学中的一种构建方式。在四边形面片中，可采用绝对坐标来表示位置，也可以采用图像学中使用的纹理坐标表示位置。
预先创建一个四边形面片用于盛放多个UI控件，每个UI控件在四边形面片中的位置都对应一组坐标，将相交位置的坐标与每个UI控件的一组坐标做比较，当找到相交位置的坐标位于一个UI控件对应的一组坐标范围内时，结束比较，此时找到被选中UI控件。
在其中的一个实施例中，步骤S001具体包括：若检测到人眼视线发生变化，则获取人眼视线。当人眼视线发生变化时再去检测人眼视线，使检测人眼视线的装置不需要时时去检测人眼视线，提高了效率。
可以采用监听机制去监听人眼视线是否发生变化，当监听到人眼视线发生变化，才去获取人眼视线。采用监听机制可以提高程序运行效率。
在其中的一个实施例中，盛放在同一个包围盒的多个UI控件为同类型的UI控件。将同类型的UI控件放在同一个包围盒中，更方便管理。比如将游戏类的UI控件放在同一个包围盒内或将影视类的UI控件放在同一个包围盒内，在使用这些UI控件时可以更方便找到。
参照图2，作为本发明的最佳实施例，通过一个包围盒盛放多个同类型的UI控件，根据人眼视线与包围盒的相交位置找到被选中的UI控件。S201，将多个同类型的UI控件使用同一个四边形面片盛放，同时存储每个UI控件在四边形面片中的位置对应的一组坐标；S202，为四边形面片设置监听函数，为四边形面片中的每一个UI控件设置监听函数，为陀螺仪设置监听函数；S203，当陀螺仪的监听函数监听到人眼视线发生变化时，获取人眼视线；S204，若四边形面片的监听函数监听到人眼视线与四边形面片相交时，记录相交位置的相交坐标；S205，四边形面片的监听函数执行将相交坐标与位于四边形面片中的每个UI控件对应的一组坐标进行比较的动作，若找到相交坐标位于一个UI控件对应的一组坐标范围内，则判断该UI控件被选中；S206，被选中的UI控件的监听函数监听到UI控件被选中，执行被选中UI控件相应的选中事件。
参照图3，本发明还提出一种判断虚拟现实应用的UI控件被选中的装置，包括：获取人眼视线模块301，用于获取人眼视线；判断与执行模块302，用于若人眼视线与用于盛放多个UI控件的包围盒相交，则计算人眼视线在包围盒内的相交位置，将相交位置的UI控件作为被选UI控件，执行被选UI控件相应的选中事件。
在其中的一个实施例中，通过虚拟现实设备上安装的陀螺仪检测人眼视线。
在其中的一个实施例中，包围盒为四边形面片，判断与执行模块302具体包括：每个UI控件在四边形面片中的位置对应一组坐标，一组坐标包括四个坐标点，若相交位置的坐标位于一组坐标的范围内，则UI控件为被选UI控件。
在其中的一个实施例中，获取人眼视线模块301具体包括：若检测到人眼视线发生变化，则获取人眼视线。
在其中的一个实施例中，盛放在同一个包围盒的多个UI控件为同类型的UI控件。
以上所述的仅是本发明的原理和较佳的实施例。应当指出，对于本领域的普通技术人员来说，在本发明原理的基础上，还可以做出若干其它变型，也应视为本发明的保护范围。

Claims (10)

1.一种判断虚拟现实应用的UI控件被选中的方法，其特征在于，包括：
步骤S001，获取人眼视线；
步骤S002，若所述人眼视线与用于盛放多个所述UI控件的包围盒相交，则计算所述人眼视线在所述包围盒内的相交位置，将所述相交位置的UI控件作为被选UI控件，执行所述被选UI控件相应的选中事件。
2.根据权利要求1所述的判断虚拟现实应用的UI控件被选中的方法，其特征在于：通过虚拟现实设备上安装的陀螺仪检测所述人眼视线。
3.根据权利要求1所述的判断虚拟现实应用的UI控件被选中的方法，其特征在于，所述包围盒为四边形面片，所述步骤S002具体包括：每个所述UI控件在所述四边形面片中的位置对应一组坐标，一组所述坐标包括四个坐标点，若所述相交位置的坐标位于一组所述坐标的范围内，则所述UI控件为被选UI控件。
4.根据权利要求1所述的判断虚拟现实应用的UI控件被选中的方法，其特征在于，所述步骤S001具体包括：若检测到所述人眼视线发生变化，则获取所述人眼视线。
5.根据权利要求1所述的判断虚拟现实应用的UI控件被选中的方法，其特征在于，盛放在同一个所述包围盒的多个所述UI控件为同类型的UI控件。
6.一种判断虚拟现实应用的UI控件被选中的装置，其特征在于，包括：
获取人眼视线模块，用于获取人眼视线；
判断与执行模块，用于若所述人眼视线与用于盛放多个所述UI控件的包围盒相交，则计算所述人眼视线在所述包围盒内的相交位置，将所述相交位置的UI控件作为被选UI控件，执行所述被选UI控件相应的选中事件。
7.根据权利要求6所述的判断虚拟现实应用的UI控件被选中的装置，其特征在于：通过虚拟现实设备上安装的陀螺仪检测所述人眼视线。
8.根据权利要求6所述的判断虚拟现实应用的UI控件被选中的装置，其特征在于，所述包围盒为四边形面片，所述判断与执行模块具体包括：每个所述UI控件在所述四边形面片中的位置对应一组坐标，一组所述坐标包括四个坐标点，若所述相交位置的坐标位于一组所述坐标的范围内，则所述UI控件为被选UI控件。
9.根据权利要求6所述的判断虚拟现实应用的UI控件被选中的装置，其特征在于，所述获取人眼视线模块具体包括：若检测到所述人眼视线发生变化，则获取所述人眼视线。
10.根据权利要求6所述的判断虚拟现实应用的UI控件被选中的装置，其特征在于，盛放在同一个所述包围盒的多个所述UI控件为同类型的UI控件。
CN201510785543.3A 2015-11-16 2015-11-16 一种判断虚拟现实应用的ui控件被选中的方法和装置 Pending CN105892632A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510785543.3A CN105892632A (zh) 2015-11-16 2015-11-16 一种判断虚拟现实应用的ui控件被选中的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510785543.3A CN105892632A (zh) 2015-11-16 2015-11-16 一种判断虚拟现实应用的ui控件被选中的方法和装置

Publications (1)

Publication Number Publication Date
CN105892632A true CN105892632A (zh) 2016-08-24

Family

ID=57001904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510785543.3A Pending CN105892632A (zh) 2015-11-16 2015-11-16 一种判断虚拟现实应用的ui控件被选中的方法和装置

Country Status (1)

Country Link
CN (1) CN105892632A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106861184A (zh) * 2016-12-28 2017-06-20 北京乐动卓越科技有限公司 一种在沉浸式vr游戏中实现人机交互的方法和***
CN107145227A (zh) * 2017-04-20 2017-09-08 腾讯科技（深圳）有限公司 虚拟现实场景的交互方法及装置
CN108536288A (zh) * 2018-03-27 2018-09-14 网易（杭州）网络有限公司 虚拟现实中交互操作的处理方法和装置
CN109101102A (zh) * 2017-06-20 2018-12-28 北京行云时空科技有限公司 用于vr/ar的控件交互方法、装置及***
CN109766012A (zh) * 2019-02-02 2019-05-17 京东方科技集团股份有限公司 视线计算方法及装置
CN110060537A (zh) * 2019-03-22 2019-07-26 珠海超凡视界科技有限公司 一种虚拟现实驾培装置及其人机交互方法
CN111522442A (zh) * 2020-04-09 2020-08-11 中国电子科技集团公司第三十八研究所 iOS设备上ARKit增强现实环境的交互方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN103631364A (zh) * 2012-08-20 2014-03-12 联想(北京)有限公司 一种控制方法及电子设备
CN104536654A (zh) * 2014-12-25 2015-04-22 小米科技有限责任公司 智能穿戴设备上的菜单选取方法、装置及智能穿戴设备
CN104793842A (zh) * 2014-01-16 2015-07-22 卡西欧计算机株式会社 图形用户界面***、显示处理装置及输入处理装置
CN104915099A (zh) * 2015-06-16 2015-09-16 努比亚技术有限公司 一种图标整理方法和终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN103631364A (zh) * 2012-08-20 2014-03-12 联想(北京)有限公司 一种控制方法及电子设备
CN104793842A (zh) * 2014-01-16 2015-07-22 卡西欧计算机株式会社 图形用户界面***、显示处理装置及输入处理装置
CN104536654A (zh) * 2014-12-25 2015-04-22 小米科技有限责任公司 智能穿戴设备上的菜单选取方法、装置及智能穿戴设备
CN104915099A (zh) * 2015-06-16 2015-09-16 努比亚技术有限公司 一种图标整理方法和终端设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106861184A (zh) * 2016-12-28 2017-06-20 北京乐动卓越科技有限公司 一种在沉浸式vr游戏中实现人机交互的方法和***
CN107145227A (zh) * 2017-04-20 2017-09-08 腾讯科技（深圳）有限公司 虚拟现实场景的交互方法及装置
WO2018192394A1 (zh) * 2017-04-20 2018-10-25 腾讯科技（深圳）有限公司 虚拟现实场景的交互方法和装置、存储介质及电子装置
CN107145227B (zh) * 2017-04-20 2019-01-08 腾讯科技（深圳）有限公司 虚拟现实场景的交互方法及装置
CN109101102A (zh) * 2017-06-20 2018-12-28 北京行云时空科技有限公司 用于vr/ar的控件交互方法、装置及***
CN108536288A (zh) * 2018-03-27 2018-09-14 网易（杭州）网络有限公司 虚拟现实中交互操作的处理方法和装置
CN109766012A (zh) * 2019-02-02 2019-05-17 京东方科技集团股份有限公司 视线计算方法及装置
CN109766012B (zh) * 2019-02-02 2022-04-29 京东方科技集团股份有限公司 视线计算方法及装置
CN110060537A (zh) * 2019-03-22 2019-07-26 珠海超凡视界科技有限公司 一种虚拟现实驾培装置及其人机交互方法
CN111522442A (zh) * 2020-04-09 2020-08-11 中国电子科技集团公司第三十八研究所 iOS设备上ARKit增强现实环境的交互方法及装置

Similar Documents

Publication Publication Date Title
CN105892632A (zh) 一种判断虚拟现实应用的ui控件被选中的方法和装置
CA3027899A1 (en) Ground plane detection for placement of augmented reality objects
US20150356770A1 (en) Street view map display method and system
JP6290754B2 (ja) 仮想空間表示装置、仮想空間表示方法及びプログラム
US9406116B2 (en) Electronic device and method for measuring point cloud of an object
EP2796963A1 (en) Display control method and device
CN104123095B (zh) 一种基于矢量运算的悬浮触控方法及装置
CN105373689B (zh) 电子地图中道路曲率的确定方法及装置
US11798223B2 (en) Potentially visible set determining method and apparatus, device, and storage medium
CN105302407A (zh) 一种应用程序图标显示方法及装置
US20120328211A1 (en) System and method for splicing images of workpiece
US20130181971A1 (en) Automatic Plane Alignment in 3D Environment
CN104765156B (zh) 一种三维显示装置和三维显示方法
US9959685B2 (en) Method and system for selectively blending buildings to improve route visibility in a 3D navigation system
CN104142786B (zh) 一种提示框显示方法及终端
US11562545B2 (en) Method and device for providing augmented reality, and computer program
JP2017010241A5 (zh)
US20150112655A1 (en) Computing device and method for simulating measurement of object
JP2012043194A (ja) 情報処理装置、情報処理方法およびプログラム
CN103995771B (zh) 任务进度展示方法及***
CN103902580A (zh) 一种实现网页内多元素拖动的方法和装置
EP3133808A3 (en) Apparatus, system, and method of controlling display of image, and carrier means
KR101894793B1 (ko) 미러 디스플레이 기반 증강 현실 방법 및 이에 적용되는 장치
JP2016515741A (ja) マルチフィンガータッチインタラクション中のパンおよびスケーリングの検出
CA2956492A1 (en) A method, mobile device and computer program for substituting a furnishing covering surface of in an image

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160824