CN107479713A - 一种移动设备的人机交互方法及移动设备 - Google Patents
一种移动设备的人机交互方法及移动设备 Download PDFInfo
- Publication number
- CN107479713A CN107479713A CN201710714499.6A CN201710714499A CN107479713A CN 107479713 A CN107479713 A CN 107479713A CN 201710714499 A CN201710714499 A CN 201710714499A CN 107479713 A CN107479713 A CN 107479713A
- Authority
- CN
- China
- Prior art keywords
- eyeball
- mobile device
- man
- machine interaction
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种移动设备的人机交互方法，包括以下步骤：a、启动电源，距离传感器工作，判断人体距离；b、眼球追踪传感器工作，记录初始眼球影像并存储在存储器中，计时器开始计时；c、完成预设计时周期，再次记录眼球影像并存储在存储器中，计时器清零后继续工作；d、控制器对存储器中的眼球影像进行对比分析，判断眼球是否发生变化；e、判断眼球运动距离及方向；f、控制器指示显示器做出相应的动作，还提供了一种移动设备。本发明仅通过人的眼球动作就能实现人机交互，例如翻页或者切换歌曲，提高了用户的操作效率和便利性，同时使得人机交互更加准确可靠，带给了用户良好的人机交互体验。
Description
技术领域
本发明涉及人机交互技术领域，特别涉及一种移动设备的人机交互方法及移动设备。
背景技术
目前各种智能移动设备日益普及，人机交互的方式也在不断发展中。现代计算机***实现人机交互的方式主要借助麦克风、键盘、鼠标、触笔、感应棒、触摸屏等交互设备，上述方式通常需要人手动或者发生进行重复的操作，有的还需要人提前进行训练才能熟练掌握。
现有的技术中，已经存在电子设备应用人眼作为一种输入装置，达到了更好的人机交互体验。但目前这种输入方法大都通过检测人眼视线当前聚焦于屏幕的某个位置，当人眼视线落在屏幕的下端，然后屏幕自动向下翻页。这种人机交互的方式停留在仅仅采用人眼视线落点作为输入信息，在实际应用的时候，电子设备根据输入信息做出的反应相对于人眼动作，往往准确性和灵活性都不高，而且滞后比较明显，因此不能达到良好的人机交互体验。
发明内容
(一)解决的技术问题
为了解决上述问题，本发明提供了一种移动设备的人机交互方法及移动设备，使得人机交互更加准确可靠，提高用户的操作效率和便利性，从而给用户良好的人机交互体验。
(二)技术方案
一种移动设备的人机交互方法，包括以下步骤：
a、启动电源，距离传感器工作，判断人体距离；
b、眼球追踪传感器工作，记录初始眼球影像并存储在存储器中，计时器开始计时；
c、完成预设计时周期，再次记录眼球影像并存储在存储器中，计时器清零后继续工作；
d、控制器对存储器中的眼球影像进行对比分析，判断眼球是否发生变化；
e、判断眼球运动距离及方向；
f、控制器指示显示器做出相应的动作。
进一步的，所述距离传感器预设人体与所述移动设备之间的健康浏览距离，所述健康浏览距离为35～45厘米。
进一步的，所述计时器所述预设计时周期为0.1～1秒，所述计时器完成一次计时周期后清零。
进一步的，预设所述眼球运动距离的判断阈值。
进一步的，预设眼球动作与所述显示器反馈动作的对应关系。
一种移动设备，包括电源、距离传感器、眼球追踪传感器、控制器、计时器、存储器和显示器。
(三)有益效果
本发明提供了一种移动设备的人机交互方法及移动设备，仅通过人的眼球动作就能实现人机交互，例如翻页或者切换歌曲，提高了用户的操作效率和便利性，同时使得人机交互更加准确可靠，带给了用户良好的人机交互体验。
附图说明
图1为本发明所涉及的一种移动设备的人机交互方法流程示意图。
图2为本发明所涉及的一种移动设备的结构示意图。
具体实施方式
下面结合附图对本发明所涉及的实施例做进一步详细说明。
本发明是建立在具有基于人体眼球追踪传感器这一外设的移动设备的前提之上的。人体眼球追踪传感器为基于人体眼球捕捉技术，具有人眼识别功能的影像采集装置。目前，该影像采集装置已经应用于数码摄像领域。同时，移动设备具体包括但不限于电子书、MP4播放器、智能手机、平板电脑等。
实施例1：
如图1所示，一种移动设备的人机交互方法，包括以下步骤：
a、启动电源，距离传感器工作，判断人体距离；
b、眼球追踪传感器工作，记录初始眼球影像并存储在存储器中，计时器开始计时；
c、完成预设计时周期，再次记录眼球影像并存储在存储器中，计时器清零后继续工作；
d、控制器对存储器中的眼球影像进行对比分析，判断眼球是否发生变化；
e、判断眼球运动距离及方向；
f、控制器指示显示器做出相应的动作。
距离传感器预设人体与移动设备之间的健康浏览距离，健康浏览距离为35～45厘米，其实际距离可根据移动设备显示器屏幕的大小做适当调整。当人体与移动设备之间的距离满足该范围时，眼球追踪传感器被激活开始工作，提高了定位的准确性和可靠性。
为了使移动设备反应更加灵活，计时器预设计时周期为0.1～1秒，计时器完成一次计时周期后清零。
预设眼球运动距离的判断阈值，当控制器判断眼球发生变化，且运动距离超过阈值的时候，控制器进行下一步动作。
预设眼球动作与显示器反馈动作的对应关系，比如当眼球的向上竖向偏移量达到预设阈值的时候，控制器指示显示器向前翻动页面；当眼球的向下竖向偏移量达到预设阈值的时候，控制器指示显示器向后翻动页面；当眼球的向左横向偏移量达到预设阈值的时候，控制器指示显示器切换上一首歌曲；当眼球的向右横向偏移量达到预设阈值的时候，控制器指示显示器切换下一首歌曲。
上述健康浏览距离阈值、或者计时周期、或者眼球运动距离阈值，可为***默认值或者由用户自定义设置。
人体眼球动态监测技术基于人脸识别技术，包含人脸检测、人脸跟踪和人脸对比等课题。人脸检测是指在动态的场景，一帧视频流或一张静态图像中判断是否存在人脸并将人脸从复杂背景中分离出来，并自动将其保存，此人脸检测技术已广泛应用于数码摄像装置等领域。人脸检测包括参考模板、人脸规则、样本学习、肤色模型和特征子脸等方法。在人脸特征中，眼睛对于人脸的辨识起着非常重要的作用，准确地定位人眼是自动人脸识别、人机交互等技术的关键环节。目前，常用的眼球定位方法包括：一、灰度投影法，利用人脸特征的灰度值差别和人脸的几何分布关系，来确定眼球的位置。这种方法比较简单，但是灰度信息的分布随不同的人脸差异很大，因此该方法定位准确度不稳定，容易陷入局部最小而导致定位失败；二、边缘提取法，利用Sobel算子检测人脸边缘，并在其中找出可能为眼球的区域，然后利用Hough变换的结果确定最佳匹配的区域，作为眼球的位置。这种方法需要大量的预处理，而且受光照和遮挡的影响较大；三、模板匹配法，使用可变模板定位眼球，并在此基础上提出了基于感兴趣区的模板匹配方法，这种方法使用左眼球模板和右眼球模板在图像中进行匹配，不需要大量的先验知识，但是它对初始位置有要求并且计算量大。虽然以上方法各有其优劣，但是随着算法的改进和结合光照补偿等其他图像处理措施，在一定程度上已经可满足移动设备对于眼球定位的准确度要求。
本实施例的人机交互方法实时采集用户眼球信息，记录当前眼球动作和方向，当用户眼球发生动作时，通过在一个间隔足够短计时周期内采集足够的眼球影像并进行处理分析，判断眼球的运动方向和眼球动作，从而使控制器根据分析所得的用户通过眼睛发出的指令信息而进行相应的交互操作，使用户可以通过眼球动作实现相应的操作，获得了良好的人机交互体验。
实施例2：
如图2所示，一种移动设备，包括电源、距离传感器、眼球追踪传感器、控制器、计时器、存储器和显示器。
移动设备处于正常工作，距离传感器判断人体与移动设备之间的健康浏览距离，当处于35～45里面的时候，眼球追踪传感器被激活开始工作，并记录下初始眼球影像存储在存储器中，同时计时器开始计时。完成一个计时周期0.1～1秒后，通常设定为0.2秒，眼球追踪传感器再次记录眼球影像存储在存储器中，同时计时器清零后继续工作。控制器对存储器中存储的两幅眼球影像进行对比分析，判断眼球是否发生变化，若发生变化，判断眼球运动距离及方向，跟预设的上下左右运动距离判断阈值进行比较，若超过对应方向的判断阈值，控制器指示显示器做出相应的动作。
本发明提供了一种移动设备的人机交互方法及移动设备，仅通过人的眼球动作就能实现人机交互，例如翻页或者切换歌曲，提高了用户的操作效率和便利性，同时使得人机交互更加准确可靠，带给了用户良好的人机交互体验。
上面所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定。在不脱离本发明设计构思的前提下，本领域普通人员对本发明的技术方案做出的各种变型和改进，均应落入到本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。
Claims (6)
1.一种移动设备的人机交互方法，其特征在于：包括以下步骤：
a、启动电源，距离传感器工作，判断人体距离；
b、眼球追踪传感器工作，记录初始眼球影像并存储在存储器中，计时器开始计时；
c、完成预设计时周期，再次记录眼球影像并存储在存储器中，计时器清零后继续工作；
d、控制器对存储器中的眼球影像进行对比分析，判断眼球是否发生变化；
e、判断眼球运动距离及方向；
f、控制器指示显示器做出相应的动作。
2.根据权利要求1所述的一种移动设备的人机交互方法，其特征在于：所述距离传感器预设人体与所述移动设备之间的健康浏览距离，所述健康浏览距离为35～45厘米。
3.根据权利要求1所述的一种移动设备的人机交互方法，其特征在于：所述计时器所述预设计时周期为0.1～1秒，所述计时器完成一次计时周期后清零。
4.根据权利要求1所述的一种移动设备的人机交互方法，其特征在于：预设所述眼球运动距离的判断阈值。
5.根据权利要求1所述的一种移动设备的人机交互方法，其特征在于：预设眼球动作与所述显示器反馈动作的对应关系。
6.一种移动设备，其特征在于：包括电源、距离传感器、眼球追踪传感器、控制器、计时器、存储器和显示器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710714499.6A CN107479713A (zh) | 2017-08-18 | 2017-08-18 | 一种移动设备的人机交互方法及移动设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710714499.6A CN107479713A (zh) | 2017-08-18 | 2017-08-18 | 一种移动设备的人机交互方法及移动设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107479713A true CN107479713A (zh) | 2017-12-15 |
Family
ID=60601782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710714499.6A Pending CN107479713A (zh) | 2017-08-18 | 2017-08-18 | 一种移动设备的人机交互方法及移动设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107479713A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105700677A (zh) * | 2015-12-29 | 2016-06-22 | 努比亚技术有限公司 | 一种移动终端及其控制方法 |
| CN109121194A (zh) * | 2018-08-31 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 用于电子设备的状态转换的方法和装置 |
| CN111223251A (zh) * | 2019-12-31 | 2020-06-02 | 航天信息股份有限公司 | 一种基于眼球追踪技术进行信息处理的方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819403A (zh) * | 2012-08-28 | 2012-12-12 | 广东欧珀移动通信有限公司 | 一种终端设备的人机交互方法及其终端设备 |
| CN103294198A (zh) * | 2013-05-23 | 2013-09-11 | 深圳先进技术研究院 | 一种基于移动终端的人机交互方法及*** |
| CN103699210A (zh) * | 2012-09-27 | 2014-04-02 | 北京三星通信技术研究有限公司 | 移动终端及其操控方法 |
| CN103869958A (zh) * | 2012-12-18 | 2014-06-18 | 原相科技股份有限公司 | 电子装置控制方法以及电子装置 |
-
2017
- 2017-08-18 CN CN201710714499.6A patent/CN107479713A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819403A (zh) * | 2012-08-28 | 2012-12-12 | 广东欧珀移动通信有限公司 | 一种终端设备的人机交互方法及其终端设备 |
| CN103699210A (zh) * | 2012-09-27 | 2014-04-02 | 北京三星通信技术研究有限公司 | 移动终端及其操控方法 |
| CN103869958A (zh) * | 2012-12-18 | 2014-06-18 | 原相科技股份有限公司 | 电子装置控制方法以及电子装置 |
| CN103294198A (zh) * | 2013-05-23 | 2013-09-11 | 深圳先进技术研究院 | 一种基于移动终端的人机交互方法及*** |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105700677A (zh) * | 2015-12-29 | 2016-06-22 | 努比亚技术有限公司 | 一种移动终端及其控制方法 |
| CN109121194A (zh) * | 2018-08-31 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 用于电子设备的状态转换的方法和装置 |
| CN109121194B (zh) * | 2018-08-31 | 2019-12-10 | 百度在线网络技术（北京）有限公司 | 用于电子设备的状态转换的方法和装置 |
| CN111223251A (zh) * | 2019-12-31 | 2020-06-02 | 航天信息股份有限公司 | 一种基于眼球追踪技术进行信息处理的方法及*** |
| CN111223251B (zh) * | 2019-12-31 | 2023-01-10 | 航天信息股份有限公司 | 一种基于眼球追踪技术进行信息处理的方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108960163B (zh) | 手势识别方法、装置、设备和存储介质 | |
| Hsieh et al. | A real time hand gesture recognition system using motion history image | |
| US9349039B2 (en) | Gesture recognition device and control method for the same | |
| CN102819403A (zh) | 一种终端设备的人机交互方法及其终端设备 | |
| CN103164022B (zh) | 多指触摸方法和装置、便携式终端设备 | |
| CN103150019A (zh) | 一种手写输入***及方法 | |
| CN101976330B (zh) | 手势识别方法和*** | |
| US20110267258A1 (en) | Image based motion gesture recognition method and system thereof | |
| CN105631399A (zh) | 用于体育视频识别的快速对象跟踪框架 | |
| KR101631011B1 (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
| CN107818180A (zh) | 视频关联方法、视频显示方法、装置及存储介质 | |
| CN103824481A (zh) | 一种检测用户背诵的方法及装置 | |
| WO2018000519A1 (zh) | 一种基于投影的用户交互图标的交互控制方法及*** | |
| CN103985137A (zh) | 应用于人机交互的运动物体跟踪方法及*** | |
| CN103106388B (zh) | 图像识别方法和*** | |
| CN107479713A (zh) | 一种移动设备的人机交互方法及移动设备 | |
| CN102708358A (zh) | 一种阅读轨迹识别的方法 | |
| CN102841676A (zh) | 网页浏览控制***及方法 | |
| WO2012142869A1 (zh) | 自动调节终端界面显示的方法及装置 | |
| CN107526994A (zh) | 一种信息处理方法、装置及移动终端 | |
| CN106814853A (zh) | 一种基于机器学习的眼控跟踪方法 | |
| CN111656313A (zh) | 屏幕显示切换方法、显示设备、可移动平台 | |
| CN104268864A (zh) | 卡片边缘提取方法和装置 | |
| CN104615231A (zh) | 一种输入信息的确定方法和设备 | |
| CN108108709B (zh) | 一种识别方法及装置、计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171215 |
|
| RJ01 | Rejection of invention patent application after publication |