CN114115532B - 一种基于显示内容的ar标注方法及*** - Google Patents
一种基于显示内容的ar标注方法及*** Download PDFInfo
- Publication number
- CN114115532B CN114115532B CN202111332392.8A CN202111332392A CN114115532B CN 114115532 B CN114115532 B CN 114115532B CN 202111332392 A CN202111332392 A CN 202111332392A CN 114115532 B CN114115532 B CN 114115532B
- Authority
- CN
- China
- Prior art keywords
- display content
- contents
- content
- trigger set
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于显示内容的AR标注方法及***，属于智能穿戴设备技术领域。它包括以下步骤：S1、对待标注的显示内容进行分析，提取该显示内容中的可标注内容进行AI整理，根据可标注内容的完整度自动划分为多个触发集合，并联网对集合内容进行后台预载标注。本发明提出一种用户的注视焦点和主动虚拟光标相结合的方案，注视焦点通过“慢”触发的方式，首先保证了不会随意触发不想要的标注，再结合虚拟光标的二次确定，能够快速而准确的对选定的显示内容进行标注，从而在保证准确度的同时，最快速度的进行标注，这样就使得标注内容贴合用户的心里预期，用户体验好。
Description
技术领域
本发明涉及一种基于显示内容的AR标注方法及***，属于智能穿戴设备技术领域。
背景技术
增强现实（Augmented Reality，简称AR），是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。
在AR的实际应用中，在显示设备中的显示内容上叠加标注是最常见的一种方式，其应用原理是将目前区域内的显示内容进行数据化分析，并联网搜索相相关内容，搜索到的相关内容再叠加到显示设备中的对应位置形成标注，在这一过程中，如何选定想要的显示内容进行标注是一难点，现有的一种解决方案就是使用眼动追踪技术来进行交互选定，然而也存在一些缺陷：由于人的注意力不可能一直集中，导致视线可能会不规则的偏移，这样就可能随时触发某些计算机指令，导致不想要的标注内容跳出，分散注意力，另一方面，现有的眼动交互方式操作效率不高，采用单眼眨眼或双眼眨眼动作进行点击操作会容易造成眼睛的疲倦，并且眨眼也属于自然反应，且眼睛受到刺激时，眨眼频率更加不受控制，从而容易造成误操作，这样就使得用户不能够按照自己的意愿进行显示内容的标注，影响用户体验。
发明内容
本发明针对上述的技术问题，因此提供一种基于显示内容的AR标注方法及***。
本发明所要解决的技术问题采取以下技术方案来实现：
一种基于显示内容的AR标注方法，包括以下步骤：
S1、对待标注的显示内容进行分析，提取该显示内容中的可标注内容进行AI整理，根据可标注内容的完整度自动划分为多个触发集合，并联网对集合内容进行后台预载标注；
S2、设备的眼球追踪模块捕捉用户的注视焦点，注视焦点集中在触发集合上的时间超过设定时间后，触发集合所映射的显示内容进行高亮显示，用于表明该处显示内容有可标注内容，高亮显示持续设定时间后，高亮效果隐去；
S3、设备的图像拍摄模块捕捉手指姿态信息，并在手指的指尖顶端形成不可见的虚拟光标，虚拟光标停留在触发集合上时，对应触发集合上的标注进入预加载状态，在触发集合上停留设定时间后，标注内容进行加载显示，虚拟光标离开触发集合设定时间后，标注内容隐去；
S4、当眼球追踪模块捕捉的注视焦点与虚拟光标集中在一个触发集合上时，立即在该触发集合所映射的显示内容附近区域显示标注内容；
S5、当注视焦点和虚拟光标中的其中一个离开触发集合上时，重复进行S2或S3的步骤，当注视焦点和虚拟光标都离开触发集合上时，显示内容恢复原样。
作为优选实例，所述可标注内容包括图形、动画、视频、文字和图标。
作为优选实例，所述S2中，注视焦点集中在触发集合上的设定时间为3～5s，高亮显示持续的设定时间为1～3s。
作为优选实例，所述S2中，高亮效果隐去后，该触发集合在10～15s后重新接受注视焦点的高亮唤醒。
作为优选实例，所述S2中，高亮显示内容通过远程操作设备快速转化为标注内容显示。
作为优选实例，所述S3中，虚拟光标在触发集合上停留的设定时间为5～8s，虚拟光标离开触发集合的设定时间为1～3s。
作为优选实例，所述S3中，捕捉的手指姿态信息，不包括大拇指的姿态信息。
一种基于显示内容的AR标注***，包括显示模块、***处理模块、信号模块、眼球追踪模块和图像拍摄模块；
所述显示模块包括透明屏幕，用于在真实世界中的显示内容上叠加AR标注内容；
所述***处理模块包括逻辑和控制指令的相关计算机存储器，用于接收和处理来自传感器的信号，并向显示模块提供显示信号，作出AR标注内容；
所述信号模块包括5G网络通信模块、无线模块、蓝牙模块或红外模块中的至少两种，用于与外部信号进行连接；
所述眼球追踪模块用于实时跟踪用户双眼的注视焦点，并转换成坐标信号传输给***处理模块；
所述图像拍摄模块用于提取显示内容和捕捉手指姿态信息，提取的显示内容转换为可处理信号传输给***处理模块，捕捉到的手指姿态信息则转换为坐标信号传输给***处理模块。
作为优选实例，还包括远程操作设备，所述远程操作设备包括智能指环或智能手环/手表，并通过无线信号与信号模块连接。
本发明的有益效果是：本发明提出一种用户的注视焦点和主动虚拟光标相结合的方案，注视焦点通过“慢”触发的方式，首先保证了不会随意触发不想要的标注，再结合虚拟光标的二次确定，能够快速而准确的对选定的显示内容进行标注，从而在保证准确度的同时，最快速度的进行标注，这样就使得标注内容贴合用户的心里预期，用户体验好。
附图说明
图1为本发明的工作流程图；
图2为本发明的结构示意图。
具体实施方式
为了对本发明的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
本发明基于AR眼镜或智能手机/平板来实现的，上述设备必需设置有拍摄显示内容和拍摄用户眼球活动的相关图像拍摄装置。
如图1所示，一种基于显示内容的AR标注方法，包括以下步骤：
S1、对待标注的显示内容进行分析，提取该显示内容中的可标注内容进行AI整理，根据可标注内容的完整度自动划分，如一个单词，一句完整的句子，单个图形等具有完整含义的单位，多个单位编辑为多个触发集合，并联网对触发集合的内容进行后台预载标注，标注内容缓存在计算机存储器中，同时整个显示内容转化为二维平面数据，多个触发集合根据显示内容上原本的对应位置转换为坐标集，嵌设在二维平面相对应的位置；
S2、设备的眼球追踪模块捕捉用户的注视焦点，注视焦点位置信号转换为在二维平面上的坐标信号，以此来判断注视焦点是否与触发集合相重合，当注视焦点集中在触发集合上的时间超过设定时间后，触发集合所映射的显示内容进行高亮显示，用于表明该处显示内容有可标注内容，高亮显示持续设定时间后，高亮效果隐去，当注视焦点集中在触发集合上的时间低于设定时间时，则显示内容无反应，防止视线跳动而造成的误操作；
S3、设备的图像拍摄模块捕捉手指姿态信息，首先通过图像识别技术拍摄和跟踪手指的***轮廓，然后基于模板匹配算法和基于人工神经网络，在***轮廓上确定多个测量点，此时多个测量点即可在二维平面上确定坐标，识别出手指指尖顶端的测量点作为不可见的虚拟光标，虚拟光标停留在触发集合上时，对应触发集合上的标注进入预加载状态，在触发集合上停留设定时间后，标注内容进行加载显示，虚拟光标离开触发集合设定时间后，标注内容隐去；
S4、当眼球追踪模块捕捉的注视焦点与虚拟光标集中在一个触发集合上时，即不考虑纵深的情况下，注视焦点的二维坐标和虚拟光标的二维坐标均位于触发集合的坐标集内，此时立即在该触发集合所映射的显示内容附近区域显示标注内容；
S5、当注视焦点和虚拟光标中的其中一个离开触发集合上时，重复进行S2或S3的步骤，当注视焦点和虚拟光标都离开触发集合上时，显示内容恢复原样。
可标注内容包括图形、动画、视频、文字和图标。
S2中，注视焦点集中在触发集合上的设定时间为3～5s，高亮显示持续的设定时间为1～3s，高亮效果隐去后，该触发集合在10～15s后重新接受注视焦点的高亮唤醒。
采用上述方案，综合考虑到用户的阅读或观看速度，注视焦点集中在4s左右时，既不会受到短暂视线偏移的影响，也不会太延误相应标注的时间，同时高亮效果隐去后的休眠时间设置则是为了防止用户在着重观看一段显示内容时，反复进行高亮而分散用户注意力。
S2中，高亮显示内容通过远程操作设备快速转化为标注内容显示，具体原理是在显示内容高亮状态下，此时远程操作设备通过触发或手势进行主动标注操作，即可方便快捷的完成内容标注。
S3中，虚拟光标在触发集合上停留的设定时间为5～8s，虚拟光标离开触发集合的设定时间为1～3s，虚拟光标的触发时间设定时长要比注视焦点的触发时间稍长，防止手指姿态被图像拍摄模块意外拍下后立即触发标注，影响视线，同时能够在一段时间后，达到目标显示内容标注的效果。
S3中，捕捉的手指姿态信息，不包括大拇指的姿态信息，因为在正常的使用场景中，用户在用手指辅助进行阅读理解时，并不会用到大拇指，一般只会用到食指和中指，且无名指和小拇指会蜷缩起来，因此该方法会屏蔽对大拇指的姿态信息捕捉，防止大拇指的姿态信息误触不相关的显示内容标注。
如图2所示，一种基于显示内容的AR标注***，包括显示模块、***处理模块、信号模块、眼球追踪模块和图像拍摄模块；
显示模块包括透明屏幕，用于在真实世界中的显示内容上叠加AR标注内容；
***处理模块包括逻辑和控制指令的相关计算机存储器，用于接收和处理来自传感器的信号，并向显示模块提供显示信号，作出AR标注内容；
信号模块包括5G网络通信模块、无线模块、蓝牙模块或红外模块中的至少两种，用于与外部信号进行连接，包括联网查询标注资料、与信息终端进行数据互换、接收远程操作设备的信息指令等；
眼球追踪模块用于实时跟踪用户双眼的注视焦点，并转换成坐标信号传输给***处理模块，主要设备包括红外设备和图像采集设备，为了便于该***的小型化，优选采用红外设备，利用主动投射红外线等光束到虹膜来提取特征，精度较高，且技术也较为成熟；
图像拍摄模块用于提取显示内容和捕捉手指姿态信息，提取的显示内容转换为可处理信号传输给***处理模块，捕捉到的手指姿态信息则转换为坐标信号传输给***处理模块。
还包括远程操作设备，通过无线信号与信号模块连接，该远程操作设备要选用在手部的可穿戴式设备，例如智能指环或智能手环/手表，通过对上述设备的按压点选或手势运动的方式进行远程指令操作，如高亮显示内容直接出现标注等。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (7)
1.一种基于显示内容的AR标注方法，其特征在于：包括以下步骤：
S1、对待标注的显示内容进行分析，提取该显示内容中的可标注内容进行AI整理，根据可标注内容的完整度自动划分为多个触发集合，并联网对集合内容进行后台预载标注；
S2、设备的眼球追踪模块捕捉用户的注视焦点，注视焦点集中在触发集合上的时间超过设定时间后，触发集合所映射的显示内容进行高亮显示，用于表明该处显示内容有可标注内容，高亮显示持续设定时间后，高亮效果隐去；
S3、设备的图像拍摄模块捕捉手指姿态信息，并在手指的指尖顶端形成不可见的虚拟光标，虚拟光标停留在触发集合上时，对应触发集合上的标注进入预加载状态，在触发集合上停留设定时间后，标注内容进行加载显示，虚拟光标离开触发集合设定时间后，标注内容隐去；
S4、当眼球追踪模块捕捉的注视焦点与虚拟光标集中在一个触发集合上时，立即在该触发集合所映射的显示内容附近区域显示标注内容；
S5、当注视焦点和虚拟光标中的其中一个离开触发集合上时，重复进行S2或S3的步骤，当注视焦点和虚拟光标都离开触发集合上时，显示内容恢复原样。
2.根据权利要求1所述的一种基于显示内容的AR标注方法，其特征在于：所述可标注内容包括图形、动画、视频、文字和图标。
3.根据权利要求1所述的一种基于显示内容的AR标注方法，其特征在于：所述S2中，注视焦点集中在触发集合上的设定时间为3～5s，高亮显示持续的设定时间为1～3s。
4.根据权利要求1所述的一种基于显示内容的AR标注方法，其特征在于：所述S2中，高亮效果隐去后，该触发集合在10～15s后重新接受注视焦点的高亮唤醒。
5.根据权利要求1所述的一种基于显示内容的AR标注方法，其特征在于：所述S2中，高亮显示内容通过远程操作设备快速转化为标注内容显示。
6.根据权利要求1所述的一种基于显示内容的AR标注方法，其特征在于：所述S3中，虚拟光标在触发集合上停留的设定时间为5～8s，虚拟光标离开触发集合的设定时间为1～3s。
7.根据权利要求1所述的一种基于显示内容的AR标注方法，其特征在于：所述S3中，捕捉的手指姿态信息，不包括大拇指的姿态信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111332392.8A CN114115532B (zh) | 2021-11-11 | 2021-11-11 | 一种基于显示内容的ar标注方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111332392.8A CN114115532B (zh) | 2021-11-11 | 2021-11-11 | 一种基于显示内容的ar标注方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114115532A CN114115532A (zh) | 2022-03-01 |
| CN114115532B true CN114115532B (zh) | 2023-09-29 |
Family
ID=80378242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111332392.8A Active CN114115532B (zh) | 2021-11-11 | 2021-11-11 | 一种基于显示内容的ar标注方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114115532B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016064073A1 (ko) * | 2014-10-22 | 2016-04-28 | 윤영기 | 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법 |
| CN106814854A (zh) * | 2016-12-29 | 2017-06-09 | 杭州联络互动信息科技股份有限公司 | 一种防止误操作的方法及装置 |
| US10061352B1 (en) * | 2017-08-14 | 2018-08-28 | Oculus Vr, Llc | Distributed augmented reality system |
| CN108829239A (zh) * | 2018-05-07 | 2018-11-16 | 北京七鑫易维信息技术有限公司 | 终端的控制方法、装置及终端 |
| CN109298780A (zh) * | 2018-08-24 | 2019-02-01 | 百度在线网络技术（北京）有限公司 | 基于ar的信息处理方法、装置、ar设备及存储介质 |
| CN110187855A (zh) * | 2019-05-28 | 2019-08-30 | 武汉市天蝎科技有限公司 | 近眼显示设备的避免全息影像阻挡视线的智能调节方法 |
| KR20190128962A (ko) * | 2018-05-09 | 2019-11-19 | 서강대학교산학협력단 | 증강현실 기반의 전자책 제공 방법 및 착용형 디스플레이 장치 |
| CN111931579A (zh) * | 2020-07-09 | 2020-11-13 | 上海交通大学 | 利用眼动追踪和手势识别技术的自动驾驶辅助***及方法 |
| CN111949131A (zh) * | 2020-08-17 | 2020-11-17 | 陈涛 | 一种基于眼动追踪技术的眼动交互方法、***及设备 |
| WO2021073743A1 (en) * | 2019-10-17 | 2021-04-22 | Huawei Technologies Co., Ltd. | Determining user input based on hand gestures and eye tracking |
| CN112817447A (zh) * | 2021-01-25 | 2021-05-18 | 暗物智能科技(广州)有限公司 | 一种ar内容显示方法及*** |
| KR20210073429A (ko) * | 2019-12-10 | 2021-06-18 | 한국전자기술연구원 | 착용형 ar 장치를 위한 시선 추적 및 손동작 인식 기반 통합 인터페이스 방법 및 시스템 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9323325B2 (en) * | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
| US9201500B2 (en) * | 2012-09-28 | 2015-12-01 | Intel Corporation | Multi-modal touch screen emulator |
| KR101519290B1 (ko) * | 2014-04-09 | 2015-05-11 | 현대자동차주식회사 | 차량용 헤드 업 디스플레이 제어방법 |
-
2021
- 2021-11-11 CN CN202111332392.8A patent/CN114115532B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016064073A1 (ko) * | 2014-10-22 | 2016-04-28 | 윤영기 | 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법 |
| CN106814854A (zh) * | 2016-12-29 | 2017-06-09 | 杭州联络互动信息科技股份有限公司 | 一种防止误操作的方法及装置 |
| US10061352B1 (en) * | 2017-08-14 | 2018-08-28 | Oculus Vr, Llc | Distributed augmented reality system |
| CN108829239A (zh) * | 2018-05-07 | 2018-11-16 | 北京七鑫易维信息技术有限公司 | 终端的控制方法、装置及终端 |
| KR20190128962A (ko) * | 2018-05-09 | 2019-11-19 | 서강대학교산학협력단 | 증강현실 기반의 전자책 제공 방법 및 착용형 디스플레이 장치 |
| CN109298780A (zh) * | 2018-08-24 | 2019-02-01 | 百度在线网络技术（北京）有限公司 | 基于ar的信息处理方法、装置、ar设备及存储介质 |
| CN110187855A (zh) * | 2019-05-28 | 2019-08-30 | 武汉市天蝎科技有限公司 | 近眼显示设备的避免全息影像阻挡视线的智能调节方法 |
| WO2021073743A1 (en) * | 2019-10-17 | 2021-04-22 | Huawei Technologies Co., Ltd. | Determining user input based on hand gestures and eye tracking |
| KR20210073429A (ko) * | 2019-12-10 | 2021-06-18 | 한국전자기술연구원 | 착용형 ar 장치를 위한 시선 추적 및 손동작 인식 기반 통합 인터페이스 방법 및 시스템 |
| CN111931579A (zh) * | 2020-07-09 | 2020-11-13 | 上海交通大学 | 利用眼动追踪和手势识别技术的自动驾驶辅助***及方法 |
| CN111949131A (zh) * | 2020-08-17 | 2020-11-17 | 陈涛 | 一种基于眼动追踪技术的眼动交互方法、***及设备 |
| CN112817447A (zh) * | 2021-01-25 | 2021-05-18 | 暗物智能科技(广州)有限公司 | 一种ar内容显示方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114115532A (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Gesture interaction in virtual reality | |
| EP3090331B1 (en) | Systems with techniques for user interface control | |
| US9671872B2 (en) | Gesture recognition method, gesture recognition system, terminal device and wearable device | |
| CN107479691B (zh) | 一种交互方法及其智能眼镜和存储装置 | |
| US9857971B2 (en) | System and method for receiving user input and program storage medium thereof | |
| CN112926423B (zh) | 捏合手势检测识别方法、装置及*** | |
| CN109375765B (zh) | 眼球追踪交互方法和装置 | |
| CN107562186B (zh) | 基于注意力辨识进行情感运算的3d校园导览方法 | |
| CN108616712B (zh) | 一种基于摄像头的界面操作方法、装置、设备及存储介质 | |
| US20240077948A1 (en) | Gesture-based display interface control method and apparatus, device and storage medium | |
| CN108027655A (zh) | 信息处理***、信息处理设备、控制方法和程序 | |
| Toyama et al. | Wearable reading assist system: Augmented reality document combining document retrieval and eye tracking | |
| CN107450717B (zh) | 一种信息处理方法及穿戴式设备 | |
| Arai et al. | Eye-based human computer interaction allowing phoning, reading e-book/e-comic/e-learning, internet browsing, and tv information extraction | |
| CN114821753B (zh) | 一种基于视觉图像信息的眼动交互*** | |
| CN108829239A (zh) | 终端的控制方法、装置及终端 | |
| CN106681509A (zh) | 界面操作的方法和*** | |
| KR101488662B1 (ko) | Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치 | |
| CN111901518B (zh) | 显示方法、装置和电子设备 | |
| CN114115532B (zh) | 一种基于显示内容的ar标注方法及*** | |
| US11328187B2 (en) | Information processing apparatus and information processing method | |
| Annachhatre et al. | Virtual Mouse Using Hand Gesture Recognition-A Systematic Literature Review | |
| CN115857856A (zh) | 信息提示方法、信息提示装置、电子设备和可读存储介质 | |
| CN104484078A (zh) | 一种基于射频识别的人机交互***及方法 | |
| Raees et al. | THE-3DI: Tracing head and eyes for 3D interactions: An interaction technique for virtual environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |