CN109254662A - 移动设备操作方法、装置、计算机设备及存储介质 - Google Patents
移动设备操作方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109254662A CN109254662A CN201811026907.XA CN201811026907A CN109254662A CN 109254662 A CN109254662 A CN 109254662A CN 201811026907 A CN201811026907 A CN 201811026907A CN 109254662 A CN109254662 A CN 109254662A
- Authority
- CN
- China
- Prior art keywords
- track
- eyeball
- user
- real time
- time kinematics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例公开了一种移动设备操作方法、装置、计算机设备及存储介质，其中所述方法包括根据视觉跟踪算法获取用户的眼球的实时运动轨迹；判断所获取的实时运动轨迹是否与预设的轨迹数据库中的标准运动轨迹相匹配，所述预设的轨迹数据库包括多个不同的标准运动轨迹，每个标准运动轨迹均关联一相应的屏幕操作指令；若所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配，执行与所述标准运动轨迹相关联的屏幕操作指令。本发明可以快速准确地操作终端屏幕，提高了用户对终端的智能性和安全性方面的体验。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种移动设备操作方法、装置、计算机设备及存储介质。
背景技术
随着移动互联网络的不断发展进步，各种智能移动终端应运而生，例如智能手机、平板电脑、智能电视、智能手表等，不仅带动了人们的互动、交流、娱乐以及聊天等各种互联网在线活动，并且基于触摸操作方式的移动终端极大地方便了人们对移动终端的操控。目前，人们都是通过手指触发按键、触发触摸屏或触发按键和触摸屏等操控方式实现对智能终端的的操作，然而，上述对智能终端的操控方式操作比较繁琐，且降低了用户终端操作智能性和安全性方面的体验。
发明内容
本发明实施例提供一种移动设备操作方法、装置、计算机设备及存储介质，能够快速准确地操作终端屏幕，提高了用户对终端的智能性和安全性方面的体验。
第一方面，本发明实施例提供了一种移动设备操作方法，该方法包括：
根据视觉跟踪算法获取用户的眼球的实时运动轨迹；
判断所获取的实时运动轨迹是否与预设的轨迹数据库中的标准运动轨迹相匹配，所述预设的轨迹数据库包括多个不同的标准运动轨迹，每个标准运动轨迹均关联一相应的屏幕操作指令；
若所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配，执行与所述标准运动轨迹相关联的屏幕操作指令。
第二方面，本发明实施例还提供了一种移动设备操作装置，该装置包括用于执行上述方法的单元。
第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。
本发明实施例提供了一种移动设备操作方法、装置、计算机设备及存储介质。其中，所述方法包括根据视觉跟踪算法获取用户的眼球的实时运动轨迹；判断所获取的实时运动轨迹是否与预设的轨迹数据库中的标准运动轨迹相匹配，所述预设的轨迹数据库包括多个不同的标准运动轨迹，每个标准运动轨迹均关联一相应的屏幕操作指令；若所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配，执行与所述标准运动轨迹相关联的屏幕操作指令。本发明实施例可以直接通过眼球的运动精准快速地操作终端屏幕，实现屏幕的自动翻页等，并能够提高用户对终端的智能性和安全性方面的体验。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种移动设备操作方法的流程示意图；
图1a是本发明实施例提供的一种移动设备操作方法的应用场景示意图；
图2是本发明实施例提供的一种移动设备操作方法的子流程示意图；
图3是本发明实施例提供的一种移动设备操作方法的子流程示意图；
图4是本发明另一实施例提供的一种移动设备操作方法的流程示意图；
图5是本发明实施例提供的一种移动设备操作装置的示意性框图；
图6是本发明实施例提供的一种移动设备操作装置的轨迹获取单元的示意性框图；
图7是本发明实施例提供的一种移动设备操作装置的轨迹判断单元的示意性框图；
图8是本发明另一实施例提供的一种移动设备操作装置的示意性框图；
图9是本发明实施例提供的一种计算机设备结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
请参阅图1和图1a，图1是本申请实施例提供的一种移动设备操作方法的示意流程图，图1a是本申请实施例中移动设备操作方法的场景示意图。该移动设备操作方法应用于终端中，以使用户通过注视终端屏幕来控制并操作终端屏幕，即实现对终端的控制。
请参阅图1，图1是本发明实施例提供的一种移动设备操作方法的示意流程图。该方法可以运行在智能手机(如Android手机、IOS手机等)、平板电脑、笔记本电脑以及智能设备等终端中。如图1所示，该方法的步骤包括步骤S101～S103。
步骤S101，根据视觉跟踪算法获取用户的眼球的实时运动轨迹。
在本实施例中，一般情况下，可以根据视觉跟踪算法来获取用户的眼球的实时运动轨迹。所述用户的眼球的实时运动轨迹是指用户的眼球的实时转动的轨迹。
其中视觉跟踪是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度和运动轨迹等，从而进行下一步的处理与分析，并实现对运动目标的行为理解，以完成更高一级的检测任务。
在一实施例中，如图2所示，所述步骤S101可以包括步骤S201～S203。
步骤S201，通过终端摄像头实时获取预设录制时间范围内的视频信息。
在本实施例中，终端摄像头能够根据用户需要进行相应的视频拍摄，但是由于镜头的限制，其拍摄的视频具有一定的录制范围，而并不能进行360°的全角度拍摄。另外，为了判断用户的眼球的运动轨迹，需要实时获取预设录制时间范围内的视频信息。例如可以获取当前时间点之前五毫秒之内的视频信息，可以获取当前时间点之前三毫秒或者两毫秒或者一毫秒之内的视频信息；同时，还可以获取当前时间点往前推一毫秒得到的时间点之前两毫秒或者一毫秒的视频信息。一般情况下，预设录制时间范围越小，则表明此时获取的视频信息更为精准，当然，预设录制时间范围的大小的设定可以根据用户的实际需求进行相应的设定。故此时可以通过终端摄像头实时获取预设录制时间范围内的视频信息。
步骤S202，判断所述视频信息的内容是否包括用户的眼球。
在本实施例中，由于需要确定用户的眼球的实时运动轨迹，此时需要判断所述视频信息的内容中是否包括有用户的眼球，主要是判断视频信息的视频帧中是否包括用户的眼球的图片信息。若所述视频信息的内容不包括用户的眼球，则表明不能够根据视频信息分析确定用户的眼球的相应的运动，从而不能进行相应的屏幕操作，故需要重新获取预设录制时间范围内的视频信息。
步骤S203，若所述视频信息的内容包括用户的眼球，根据视觉跟踪算法分析所述视频信息，以确定用户的眼球的实时运动轨迹。
在本实施例中，若所述视频信息的内容包括用户的眼球，则表明能够根据该视频信息分析确定用户的眼球的相应的运动，能够进行相应的屏幕操作。具体的，当所述视频信息的内容包括用户的眼球，则可以根据视觉跟踪算法分析所述视频信息。
所述视觉跟踪算法作为计算机视觉领域的热门课题之一，是对连续的图像序列进行运动目标检测、提取特征、分类识别、跟踪滤波、行为识别，以获得目标准确的运动信息参数(如位置、速度等)，并对其进行相应的处理分析，实现对目标的行为理解的方法。
比较常用的目标跟踪算法有以下几种：基于目标运动特征的跟踪算法，如：帧差分法、基于光流的跟踪方法等；基于视频序列前后相关性的目标跟踪算法，如：基于模板的相关跟踪算法、基于特征点的相关跟踪算法等；基于目标特征参数的跟踪算法，如基于轮廓的跟踪算法、基于特征点的跟踪算法等。另外，很多研究者将小波、人工智能、神经网络等相关知识应用于目标跟踪领域，并取得了很好的效果。以上这些算法各有其优缺点，应该根据应用场合进行选择。
进一步地，所述步骤S203具体可以包括：根据光流算法分析所述视频信息，以确定用户的眼球的实时运动轨迹。
在本实施例中，所述光流算法是对运动序列图像进行分析的一个重要方法，光流不仅包含图像中目标的运动信息，而且包含了三维物理结构的丰富信息，因此可用来确定目标的运动情况以及反映图像其它等信息。
光流法检测运动物体的基本原理是：给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动物体，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和图像背景存在相对运动，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置。
所述光流算法具体可以包括一个金字塔光流算法(L-K)，其具体的工作原理包括首先，光流和仿射变换矩阵在最高一层的图像上计算出；将上一层的计算结果作为初始值传递给下一层图像，这一层的图像在这个初始值的基础上，计算这一层的光流和仿射变化矩阵；再将这一层的光流和仿射矩阵作为初始值传递给下一层图像，直到传递给最后一层，即原始图像层，这一层计算出来的光流和仿射变换矩阵作为最后的光流和仿射变换矩阵的结果。通过金字塔光流算法分析所述视频信息能够确定用户的眼球的实时运动轨迹。
另外，进一步地，所述步骤S203具体可以包括：根据特征跟踪算法分析所述视频信息，以确定用户的眼球的实时运动轨迹。
在本实施例中，所述特征跟踪算法一般包括特征提取和特征匹配两个过程，其中，所述特征提取是指从目标所在图像区域中提取合适的描绘性特征。这些特征不仅应该较好地区分目标和背景，而且应对目标尺度伸缩、目标形状变化、目标遮挡等情况具有鲁棒性。常用的目标特征包括颜色特征、灰度特征、纹理特征、轮廓、光流特征、角点特征等。所述特征匹配是指就是采用一定的方式计算衡量候选区域与目标区域的相似性，并根据相似性确定目标位置、实现目标跟踪，从而确定用户的眼球的实时运动轨迹。在计算机视觉领域中，常用的相似性度量准则包括加权距离、Bhattacharyya系数、欧式距离、Hausdorff距离等。其中，Bhattacharyya系数和欧式距离最为常用。
步骤S102，判断所获取的实时运动轨迹是否与预设的轨迹数据库中的标准运动轨迹相匹配，所述预设的轨迹数据库包括多个不同的标准运动轨迹，每个标准运动轨迹均关联一相应的屏幕操作指令。
在本实施例中，一般情况下，所述预设的轨迹数据库可以包括多个不同的标准运动轨迹，其中，每一个标准运动轨迹均关联有一个与其相匹配的屏幕操作指令，通过执行相应的屏幕操作指令能够实现对终端屏幕的相应的操作。
例如，当其中一个标准运动轨迹为从左向右运动，此时其关联的屏幕操作指令为实现屏幕的翻页；当其中一个标准运动轨迹为从右向左运动，此时其关联的屏幕操作指令为实现应用程序的退出或返回；当其中一个标准运动轨迹为从上向下运动，此时其关联的屏幕操作指令为控制屏幕向下滑动；当其中一个标准运动轨迹为从下向上运动，此时其关联的屏幕操作指令为控制屏幕向上滑动。
通常需要判断所获取的实时运动轨迹是否能够与预设的轨迹数据库中的标准运动轨迹相匹配，从而确定该所获取的实时运动轨迹所对应的屏幕操作指令。
进一步地，如图3所示，所述步骤S102可以包括步骤S301～S303。
步骤S301，确定所获取的实时运动轨迹与预设的轨迹数据库中的每个标准运动轨迹的匹配度。
在本实施例中，所述预设的轨迹数据库中的包括多个不同标准运动轨迹，故需要将所获取的实时运动轨迹与每个标准运动轨迹进行匹配，从而获取多个相应的匹配度。通过多个匹配度的比较分析，能够更准确地确定与实时运动轨迹相匹配的标准运动轨迹。
步骤S302，判断所有匹配度中数值最大的匹配度是否大于预设的匹配度。
在本实施例中，根据所述所有匹配度中数值最大的匹配度能够确定其所对应的标准运动轨迹。为了进一步地防止对用户的眼球的实时运动轨迹的误判，故需要判断所有匹配度中的数值最大的匹配度是否大于预设的匹配度。若所有匹配度中数值最大的匹配度不大于预设的匹配度，则表明所述实时运动轨迹并不符合要求，不能根据用户的实时运动轨迹确定终端屏幕的操作。
步骤S303，若所有匹配度中数值最大的匹配度大于预设的匹配度，判定所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配。
在本实施例中，若所有匹配度中数值最大的匹配度大于预设的匹配度，则可以判定所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配，此时可以根据匹配的标准运动轨迹确定相关联的屏幕操作指令，从而实现相应的屏幕操作。
步骤S103，若所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配，执行与所述标准运动轨迹相关联的屏幕操作指令。
在本实施例中，若所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配，则表明根据所述实时运动轨迹能够确定相应的屏幕操作，即执行与所述标准运动轨迹相关联的屏幕操作指令，从而实现通过用户的眼球的实时运动轨迹控制终端屏幕的操作，不仅能够通过眼球运动直接控制屏幕操作，还能有效减少对屏幕控制的误差，提高了用户的使用体验度。
综上，本发明实施例可以直接通过眼球的运动精准快速地操作终端屏幕，实现屏幕的自动翻页等，并能够提高用户对终端的智能性和安全性方面的体验。
请参阅图4，图4是本发明另一实施例提供的一种移动设备操作方法的示意流程图。该方法可以运行在智能手机(如Android手机、IOS手机等)、平板电脑、笔记本电脑以及智能设备等终端中。如图4所示，该方法的步骤包括步骤S401a～S403。其中与上述实施例中的步骤S101-S103类似的步骤的相关解释和详细说明在此不再赘述，下面详细说明的为本实施例中所增加的步骤。
步骤S401a，通过虹膜识别算法实时判断用户的眼球是否注视终端屏幕。
在本实施例中，虹膜属于眼球中层，位于血管膜的最前部，在睫状体前方，有自动调节瞳孔的大小，调节进入眼内光线多少的作用。其工作原理是利用瞳孔红外线的反射性低，而虹彩反射性较高，使影像中瞳孔与虹彩的亮度差异大，而虹彩与巩膜之間的亮度差异小。通过固定眼摄像机获取眼球图像,利用亮瞳孔和暗瞳孔的原理,提取出眼球图像内的瞳孔,利用角膜反射法校正眼摄像机与眼球的相对位置,把角膜反射点数据作为眼摄像机和眼球的相对位置的基点,瞳孔中心位置坐标就表示视线的位置。通过虹膜识别算法来识别用户的眼球是否注视终端屏幕，可以进一步地根据用户的眼球的运动轨迹来对终端屏幕进行更为精准地操作，防止因误差产生的误操作。
其中，若通过虹膜识别算法实时判定用户的眼球注视终端屏幕，执行所述根据视觉跟踪算法获取用户的眼球的实时运动轨迹的步骤，从而可以进一步地提高通过用户眼球的运动控制屏幕的操作的精度。
步骤S401b，若通过虹膜识别算法实时判定用户的眼球未注视终端屏幕，确定用户的眼球未注视终端屏幕的持续时间。
在本实施例中，为了进一步地进行限定，提高控制屏幕操作的准确性，若通过虹膜识别算法实时判定用户的眼球未注视终端屏幕，那么则可以确定用户的眼球未注视终端屏幕的持续时间。
步骤S401c，判断所述持续时间是否超过预设时长。
其中，当该持续时间未超过预设时长，则表明此时用户眼球一直注视终端屏幕，该用户的眼球没有注视屏幕的持续时间可以忽略不计。即若所述持续时间未超过预设时长，则执行所述根据视觉跟踪算法获取用户的眼球的实时运动轨迹的步骤。而若所述持续时间超过预设时长，则可以再次通过虹膜识别算法实时判断用户的眼球是否注视终端屏幕，若判定用户的眼球还是未注视终端屏幕，且用户的眼球未注视终端屏幕的持续时间超过预设时长，此时则终端屏幕即停留在当前状态或者进入待机状态。
步骤S401，若所述持续时间未超过预设时长，根据视觉跟踪算法获取用户的眼球的实时运动轨迹。
步骤S402，判断所获取的实时运动轨迹是否与预设的轨迹数据库中的标准运动轨迹相匹配，所述预设的轨迹数据库包括多个不同的标准运动轨迹，每个标准运动轨迹均关联一相应的屏幕操作指令。
步骤S403，若所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配，执行与所述标准运动轨迹相关联的屏幕操作指令。
本领域普通技术员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
请参阅图5，对应上述一种移动设备操作方法，本发明实施例还提出一种移动设备操作装置，该装置100包括：轨迹获取单元101、轨迹判断单元102以及执行单元103。
所述轨迹获取单元101，用于根据视觉跟踪算法获取用户的眼球的实时运动轨迹。
在本实施例中，一般情况下，可以根据视觉跟踪算法来获取用户的眼球的实时运动轨迹。所述用户的眼球的实时运动轨迹是指用户的眼球的实时转动的轨迹。
其中视觉跟踪是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度和运动轨迹等，从而进行下一步的处理与分析，并实现对运动目标的行为理解，以完成更高一级的检测任务。
在一实施例中，如图6所示，所述轨迹获取单元101可以包括信息获取单元201、内容判断单元202以及信息分析单元203。
所述信息获取单元201，用于通过终端摄像头实时获取预设录制时间范围内的视频信息。
在本实施例中，终端摄像头能够根据用户需要进行相应的视频拍摄，但是由于镜头的限制，其拍摄的视频具有一定的录制范围，而并不能进行360°的全角度拍摄。另外，为了判断用户的眼球的运动轨迹，需要实时获取预设录制时间范围内的视频信息。
所述内容判断单元202，用于判断所述视频信息的内容是否包括用户的眼球。
在本实施例中，由于需要确定用户的眼球的实时运动轨迹，此时需要判断所述视频信息的内容中是否包括有用户的眼球，主要是判断视频信息的视频帧中是否包括用户的眼球的图片信息。
所述信息分析单元203，用于若所述视频信息的内容包括用户的眼球，根据视觉跟踪算法分析所述视频信息，以确定用户的眼球的实时运动轨迹。
在本实施例中，若所述视频信息的内容包括用户的眼球，则表明能够根据该视频信息分析确定用户的眼球的相应的运动，能够进行相应的屏幕操作。具体的，当所述视频信息的内容包括用户的眼球，则可以根据视觉跟踪算法分析所述视频信息。
进一步地，所述信息分析单元203具体可以用于根据光流算法分析所述视频信息，以确定用户的眼球的实时运动轨迹。
在本实施例中，所述光流算法是对运动序列图像进行分析的一个重要方法，光流不仅包含图像中目标的运动信息，而且包含了三维物理结构的丰富信息，因此可用来确定目标的运动情况以及反映图像其它等信息。
光流法检测运动物体的基本原理是：给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动物体，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和图像背景存在相对运动，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置。
所述光流算法具体可以包括一个金字塔光流算法(L-K)，其具体的工作原理包括首先，光流和仿射变换矩阵在最高一层的图像上计算出；将上一层的计算结果作为初始值传递给下一层图像，这一层的图像在这个初始值的基础上，计算这一层的光流和仿射变化矩阵；再将这一层的光流和仿射矩阵作为初始值传递给下一层图像，直到传递给最后一层，即原始图像层，这一层计算出来的光流和仿射变换矩阵作为最后的光流和仿射变换矩阵的结果。通过金字塔光流算法分析所述视频信息能够确定用户的眼球的实时运动轨迹。
另外，进一步地，所述信息分析单元203具体可以用于根据特征跟踪算法分析所述视频信息，以确定用户的眼球的实时运动轨迹。
在本实施例中，所述特征跟踪算法一般包括特征提取和特征匹配两个过程，其中，所述特征提取是指从目标所在图像区域中提取合适的描绘性特征。这些特征不仅应该较好地区分目标和背景，而且应对目标尺度伸缩、目标形状变化、目标遮挡等情况具有鲁棒性。常用的目标特征包括颜色特征、灰度特征、纹理特征、轮廓、光流特征、角点特征等。所述特征匹配是指就是采用一定的方式计算衡量候选区域与目标区域的相似性，并根据相似性确定目标位置、实现目标跟踪，从而确定用户的眼球的实时运动轨迹。在计算机视觉领域中，常用的相似性度量准则包括加权距离、Bhattacharyya系数、欧式距离、Hausdorff距离等。其中，Bhattacharyya系数和欧式距离最为常用。
所述轨迹判断单元102，用于判断所获取的实时运动轨迹是否与预设的轨迹数据库中的标准运动轨迹相匹配，所述预设的轨迹数据库包括多个不同的标准运动轨迹，每个标准运动轨迹均关联一相应的屏幕操作指令。
进一步地，如图7所示，所述轨迹判断单元102可以包括匹配确定单元301、数值判断单元302以及第一判定单元303。
所述匹配确定单元301，用于确定所获取的实时运动轨迹与预设的轨迹数据库中的每个标准运动轨迹的匹配度。
在本实施例中，所述预设的轨迹数据库中的包括多个不同标准运动轨迹，故需要将所获取的实时运动轨迹与每个标准运动轨迹进行匹配，从而获取多个相应的匹配度。通过多个匹配度的比较分析，能够更准确地确定与实时运动轨迹相匹配的标准运动轨迹。
所述数值判断单元302，用于判断所有匹配度中数值最大的匹配度是否大于预设的匹配度。
在本实施例中，根据所述所有匹配度中数值最大的匹配度能够确定其所对应的标准运动轨迹。为了进一步地防止对用户的眼球的实时运动轨迹的误判，故需要判断所有匹配度中的数值最大的匹配度是否大于预设的匹配度。若所有匹配度中数值最大的匹配度不大于预设的匹配度，则表明所述实时运动轨迹并不符合要求，不能根据用户的实时运动轨迹确定终端屏幕的操作。
所述第一判定单元303，用于若所有匹配度中数值最大的匹配度大于预设的匹配度，判定所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配。
在本实施例中，若所有匹配度中数值最大的匹配度大于预设的匹配度，则可以判定所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配，此时可以根据匹配的标准运动轨迹确定相关联的屏幕操作指令，从而实现相应的屏幕操作。
所述执行单元103，用于若所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配，执行与所述标准运动轨迹相关联的屏幕操作指令。
在本实施例中，若所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配，则表明根据所述实时运动轨迹能够确定相应的屏幕操作，即执行与所述标准运动轨迹相关联的屏幕操作指令，从而实现通过用户的眼球的实时运动轨迹控制终端屏幕的操作，不仅能够通过眼球运动直接控制屏幕操作，还能有效减少对屏幕控制的误差，提高了用户的使用体验度。
请参阅图8，对应上述一种移动设备操作方法，本发明另一实施例还提出一种移动设备操作装置，该装置400包括：注视判断单元401a、时间确定单元401b、时间判断单元401c、轨迹获取单元401、轨迹判断单元402以及执行单元403。
所述注视判断单元401a，用于通过虹膜识别算法实时判断用户的眼球是否注视终端屏幕。
在本实施例中，虹膜属于眼球中层，位于血管膜的最前部，在睫状体前方，有自动调节瞳孔的大小，调节进入眼内光线多少的作用。其工作原理是利用瞳孔红外线的反射性低，而虹彩反射性较高，使影像中瞳孔与虹彩的亮度差异大，而虹彩与巩膜之間的亮度差异小。通过固定眼摄像机获取眼球图像,利用亮瞳孔和暗瞳孔的原理,提取出眼球图像内的瞳孔,利用角膜反射法校正眼摄像机与眼球的相对位置,把角膜反射点数据作为眼摄像机和眼球的相对位置的基点,瞳孔中心位置坐标就表示视线的位置。
所述轨迹获取单元401还用于若通过虹膜识别算法实时判定用户的眼球注视终端屏幕，根据视觉跟踪算法获取用户的眼球的实时运动轨迹，从而可以进一步地提高通过用户眼球的运动控制屏幕的操作的精度。
所述时间确定单元401b，用于若通过虹膜识别算法实时判定用户的眼球未注视终端屏幕，确定用户的眼球未注视终端屏幕的持续时间。
在本实施例中，为了进一步地进行限定，提高控制屏幕操作的准确性，若通过虹膜识别算法实时判定用户的眼球未注视终端屏幕，那么则可以确定用户的眼球未注视终端屏幕的持续时间。
所述时间判断单元401c，用于判断所述持续时间是否超过预设时长。
当该持续时间未超过预设时长，则表明此时用户眼球一直注视终端屏幕，该用户的眼球没有注视屏幕的持续时间可以忽略不计。即若所述持续时间未超过预设时长，则执行所述根据视觉跟踪算法获取用户的眼球的实时运动轨迹的步骤。而若所述持续时间超过预设时长，则可以再次通过虹膜识别算法实时判断用户的眼球是否注视终端屏幕，若判定用户的眼球还是未注视终端屏幕，且用户的眼球未注视终端屏幕的持续时间超过预设时长，此时则终端屏幕即停留在当前状态或者进入待机状态。
所述轨迹获取单元401用于若所述持续时间未超过预设时长，根据视觉跟踪算法获取用户的眼球的实时运动轨迹。
所述轨迹判断单元402，用于判断所获取的实时运动轨迹是否与预设的轨迹数据库中的标准运动轨迹相匹配，所述预设的轨迹数据库包括多个不同的标准运动轨迹，每个标准运动轨迹均关联一相应的屏幕操作指令。
所述执行单元403，用于若所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配，执行与所述标准运动轨迹相关联的屏幕操作指令。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述移动设备操作装置100和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
由以上可见，在硬件实现上，以上轨迹获取单元101、轨迹判断单元102以及执行单元103等可以以硬件形式内嵌于或独立于移动设备操作的装置中，也可以以软件形式存储于移动设备操作装置的存储器中，以便处理器调用执行以上各个单元对应的操作。该处理器可以为中央处理单元(CPU)、微处理器、单片机等。
上述移动设备操作装置可以实现为一种计算机程序的形式，计算机程序可以在如图9所示的计算机设备上运行。
图9为本发明一种计算机设备的结构组成示意图。该设备可以是终端，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。
参照图9，该计算机设备500包括通过***总线501连接的处理器502、存储器、内存储器504和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032，该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种移动设备操作方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种移动设备操作方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：根据视觉跟踪算法获取用户的眼球的实时运动轨迹；判断所获取的实时运动轨迹是否与预设的轨迹数据库中的标准运动轨迹相匹配，所述预设的轨迹数据库包括多个不同的标准运动轨迹，每个标准运动轨迹均关联一相应的屏幕操作指令；若所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配，执行与所述标准运动轨迹相关联的屏幕操作指令。
在一实施例中，处理器502在实现所述根据视觉跟踪算法获取用户的眼球的实时运动轨迹步骤时，具体实现如下步骤：通过终端摄像头实时获取预设录制时间范围内的视频信息；判断所述视频信息的内容是否包括用户的眼球；若所述视频信息的内容包括用户的眼球，根据视觉跟踪算法分析所述视频信息，以确定用户的眼球的实时运动轨迹。
在一实施例中，处理器502在实现所述根据视觉跟踪算法分析所述视频信息，以确定用户的眼球的实时运动轨迹步骤时，具体实现如下步骤：根据光流算法分析所述视频信息，以确定用户的眼球的实时运动轨迹。
在一实施例中，处理器502在实现所述根据视觉跟踪算法分析所述视频信息，以确定用户的眼球的实时运动轨迹步骤时，具体实现如下步骤：根据特征跟踪算法分析所述视频信息，以确定用户的眼球的实时运动轨迹。
在一实施例中，处理器502在实现所述根据视觉跟踪算法获取用户的眼球的实时运动轨迹步骤之前，具体实现如下步骤：通过虹膜识别算法实时判断用户的眼球是否注视终端屏幕；若通过虹膜识别算法实时判定用户的眼球注视终端屏幕，执行所述获取用户的眼球的实时运动轨迹的步骤。
在一实施例中，处理器502还实现实现如下步骤：若通过虹膜识别算法实时判定用户的眼球未注视终端屏幕，确定用户的眼球未注视终端屏幕的持续时间；若所述持续时间未超过预设时长，则执行所述获取用户的眼球的实时运动轨迹的步骤。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机***中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如下步骤：根据视觉跟踪算法获取用户的眼球的实时运动轨迹；判断所获取的实时运动轨迹是否与预设的轨迹数据库中的标准运动轨迹相匹配，所述预设的轨迹数据库包括多个不同的标准运动轨迹，每个标准运动轨迹均关联一相应的屏幕操作指令；若所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配，执行与所述标准运动轨迹相关联的屏幕操作指令。
在一实施例中，所述处理器在执行所述程序指令而实现所述根据视觉跟踪算法获取用户的眼球的实时运动轨迹步骤时，具体实现如下步骤：通过终端摄像头实时获取预设录制时间范围内的视频信息；判断所述视频信息的内容是否包括用户的眼球；若所述视频信息的内容包括用户的眼球，根据视觉跟踪算法分析所述视频信息，以确定用户的眼球的实时运动轨迹。
在一实施例中，所述处理器在执行所述程序指令而实现所述根据视觉跟踪算法分析所述视频信息，以确定用户的眼球的实时运动轨迹步骤时，具体实现如下步骤：根据光流算法分析所述视频信息，以确定用户的眼球的实时运动轨迹。
在一实施例中，所述处理器在执行所述程序指令而实现所述根据视觉跟踪算法分析所述视频信息，以确定用户的眼球的实时运动轨迹步骤时，具体实现如下步骤：根据特征跟踪算法分析所述视频信息，以确定用户的眼球的实时运动轨迹。
在一实施例中，所述处理器在执行所述程序指令而实现所述判断所获取的实时运动轨迹是否与预设的轨迹数据库中的标准运动轨迹相匹配步骤时，具体实现如下步骤：确定所获取的实时运动轨迹与预设的轨迹数据库中的每个标准运动轨迹的匹配度；判断所有匹配度中数值最大的匹配度是否大于预设的匹配度；若所有匹配度中数值最大的匹配度大于预设的匹配度，判定所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配。
在一实施例中，所述处理器在执行所述程序指令而实现所述根据视觉跟踪算法获取用户的眼球的实时运动轨迹步骤之前，还实现如下步骤：通过虹膜识别算法实时判断用户的眼球是否注视终端屏幕；若通过虹膜识别算法实时判定用户的眼球注视终端屏幕，执行所述获取用户的眼球的实时运动轨迹的步骤。
在一实施例中，所述处理器还执行如下步骤：若通过虹膜识别算法实时判定用户的眼球未注视终端屏幕，确定用户的眼球未注视终端屏幕的持续时间；若所述持续时间未超过预设时长，则执行所述获取用户的眼球的实时运动轨迹的步骤。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种移动设备操作方法，其特征在于，所述方法包括：
根据视觉跟踪算法获取用户的眼球的实时运动轨迹；
判断所获取的实时运动轨迹是否与预设的轨迹数据库中的标准运动轨迹相匹配，所述预设的轨迹数据库包括多个不同的标准运动轨迹，每个标准运动轨迹均关联一相应的屏幕操作指令；
若所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配，执行与所述标准运动轨迹相关联的屏幕操作指令。
2.如权利要求1所述的方法，其特征在于，所述根据视觉跟踪算法获取用户的眼球的实时运动轨迹，包括：
通过终端摄像头实时获取预设录制时间范围内的视频信息；
判断所述视频信息的内容是否包括用户的眼球；
若所述视频信息的内容包括用户的眼球，根据视觉跟踪算法分析所述视频信息，以确定用户的眼球的实时运动轨迹。
3.如权利要求2所述的方法，其特征在于，所述根据视觉跟踪算法分析所述视频信息，以确定用户的眼球的实时运动轨迹，包括：
根据光流算法分析所述视频信息，以确定用户的眼球的实时运动轨迹。
4.如权利要求2所述的方法，其特征在于，所述根据视觉跟踪算法分析所述视频信息，以确定用户的眼球的实时运动轨迹，包括：
根据特征跟踪算法分析所述视频信息，以确定用户的眼球的实时运动轨迹。
5.如权利要求1所述的方法，其特征在于，所述判断所获取的实时运动轨迹是否与预设的轨迹数据库中的标准运动轨迹相匹配，包括：
确定所获取的实时运动轨迹与预设的轨迹数据库中的每个标准运动轨迹的匹配度；
判断所有匹配度中数值最大的匹配度是否大于预设的匹配度；
若所有匹配度中数值最大的匹配度大于预设的匹配度，判定所获取的实时运动轨迹与预设的轨迹数据库中的标准运动轨迹相匹配。
6.如权利要求1所述的方法，其特征在于，所述根据视觉跟踪算法获取用户的眼球的实时运动轨迹之前，还包括：
通过虹膜识别算法实时判断用户的眼球是否注视终端屏幕；
若用户的眼球注视终端屏幕，执行所述根据视觉跟踪算法获取用户的眼球的实时运动轨迹的步骤。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
若用户的眼球未注视终端屏幕，确定用户的眼球未注视终端屏幕的持续时间；
判断所述持续时间是否超过预设时长；
若所述持续时间未超过预设时长，则执行所述根据视觉跟踪算法获取用户的眼球的实时运动轨迹的步骤。
8.一种移动设备操作装置，其特征在于，包括用于执行如权利要求1-7任一项所述方法的单元。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811026907.XA CN109254662A (zh) | 2018-09-04 | 2018-09-04 | 移动设备操作方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811026907.XA CN109254662A (zh) | 2018-09-04 | 2018-09-04 | 移动设备操作方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109254662A true CN109254662A (zh) | 2019-01-22 |
Family
ID=65046896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811026907.XA Pending CN109254662A (zh) | 2018-09-04 | 2018-09-04 | 移动设备操作方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109254662A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110166529A (zh) * | 2019-04-16 | 2019-08-23 | 平安普惠企业管理有限公司 | 保持登录态方法、装置、设备及存储介质 |
| CN110958736A (zh) * | 2019-12-17 | 2020-04-03 | 东华大学 | 黑光灯操作方法、装置、黑光灯和存储介质 |
| CN111159678A (zh) * | 2019-12-26 | 2020-05-15 | 联想(北京)有限公司 | 一种身份识别方法、装置及存储介质 |
| CN111223251A (zh) * | 2019-12-31 | 2020-06-02 | 航天信息股份有限公司 | 一种基于眼球追踪技术进行信息处理的方法及*** |
| CN111753613A (zh) * | 2019-09-18 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | 基于实验操作的图像分析方法、装置、设备及存储介质 |
| CN112270210A (zh) * | 2020-10-09 | 2021-01-26 | 珠海格力电器股份有限公司 | 数据处理、操作指令识别方法、装置、设备和介质 |
| CN112732080A (zh) * | 2020-12-30 | 2021-04-30 | 宇龙计算机通信科技(深圳)有限公司 | 一种操作指令生成方法、装置、存储介质及电子设备 |
| CN114690909A (zh) * | 2022-06-01 | 2022-07-01 | 润芯微科技(江苏)有限公司 | 一种ai视觉自适应的方法、装置、***、计算机可读介质 |
| CN116185192A (zh) * | 2023-02-09 | 2023-05-30 | 北京航空航天大学 | 基于去噪变分编码器的眼动识别vr交互方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105324794A (zh) * | 2013-04-10 | 2016-02-10 | 奥克兰联合服务有限公司 | 头部和眼睛跟踪 |
| CN105425968A (zh) * | 2015-12-17 | 2016-03-23 | 无锡天脉聚源传媒科技有限公司 | 一种屏幕解锁方法及装置 |
| CN106104418A (zh) * | 2014-03-20 | 2016-11-09 | 索尼公司 | 生成针对视频数据的轨迹数据 |
| CN107239144A (zh) * | 2017-06-09 | 2017-10-10 | 歌尔股份有限公司 | 一种设备的输入方法和装置 |
-
2018
- 2018-09-04 CN CN201811026907.XA patent/CN109254662A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105324794A (zh) * | 2013-04-10 | 2016-02-10 | 奥克兰联合服务有限公司 | 头部和眼睛跟踪 |
| CN106104418A (zh) * | 2014-03-20 | 2016-11-09 | 索尼公司 | 生成针对视频数据的轨迹数据 |
| CN105425968A (zh) * | 2015-12-17 | 2016-03-23 | 无锡天脉聚源传媒科技有限公司 | 一种屏幕解锁方法及装置 |
| CN107239144A (zh) * | 2017-06-09 | 2017-10-10 | 歌尔股份有限公司 | 一种设备的输入方法和装置 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110166529A (zh) * | 2019-04-16 | 2019-08-23 | 平安普惠企业管理有限公司 | 保持登录态方法、装置、设备及存储介质 |
| CN111753613B (zh) * | 2019-09-18 | 2023-10-10 | 杭州海康威视数字技术股份有限公司 | 基于实验操作的图像分析方法、装置、设备及存储介质 |
| CN111753613A (zh) * | 2019-09-18 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | 基于实验操作的图像分析方法、装置、设备及存储介质 |
| CN110958736B (zh) * | 2019-12-17 | 2021-12-31 | 东华大学 | 黑光灯操作方法、装置、黑光灯和存储介质 |
| CN110958736A (zh) * | 2019-12-17 | 2020-04-03 | 东华大学 | 黑光灯操作方法、装置、黑光灯和存储介质 |
| CN111159678B (zh) * | 2019-12-26 | 2023-08-18 | 联想(北京)有限公司 | 一种身份识别方法、装置及存储介质 |
| CN111159678A (zh) * | 2019-12-26 | 2020-05-15 | 联想(北京)有限公司 | 一种身份识别方法、装置及存储介质 |
| CN111223251B (zh) * | 2019-12-31 | 2023-01-10 | 航天信息股份有限公司 | 一种基于眼球追踪技术进行信息处理的方法及*** |
| CN111223251A (zh) * | 2019-12-31 | 2020-06-02 | 航天信息股份有限公司 | 一种基于眼球追踪技术进行信息处理的方法及*** |
| CN112270210A (zh) * | 2020-10-09 | 2021-01-26 | 珠海格力电器股份有限公司 | 数据处理、操作指令识别方法、装置、设备和介质 |
| CN112270210B (zh) * | 2020-10-09 | 2024-03-01 | 珠海格力电器股份有限公司 | 数据处理、操作指令识别方法、装置、设备和介质 |
| CN112732080A (zh) * | 2020-12-30 | 2021-04-30 | 宇龙计算机通信科技(深圳)有限公司 | 一种操作指令生成方法、装置、存储介质及电子设备 |
| CN114690909A (zh) * | 2022-06-01 | 2022-07-01 | 润芯微科技(江苏)有限公司 | 一种ai视觉自适应的方法、装置、***、计算机可读介质 |
| CN114690909B (zh) * | 2022-06-01 | 2022-08-16 | 润芯微科技(江苏)有限公司 | 一种ai视觉自适应的方法、装置、***、计算机可读介质 |
| CN116185192A (zh) * | 2023-02-09 | 2023-05-30 | 北京航空航天大学 | 基于去噪变分编码器的眼动识别vr交互方法 |
| CN116185192B (zh) * | 2023-02-09 | 2023-10-20 | 北京航空航天大学 | 基于去噪变分编码器的眼动识别vr交互方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109254662A (zh) | 移动设备操作方法、装置、计算机设备及存储介质 | |
| US11650659B2 (en) | User input processing with eye tracking | |
| US20180211104A1 (en) | Method and device for target tracking | |
| US8824802B2 (en) | Method and system for gesture recognition | |
| US8509484B2 (en) | Information processing device and information processing method | |
| US10528131B2 (en) | Method to reliably detect correlations between gaze and stimuli | |
| US20170192500A1 (en) | Method and electronic device for controlling terminal according to eye action | |
| CN109375765B (zh) | 眼球追踪交互方法和装置 | |
| CN109977906B (zh) | 手势识别方法及***、计算机设备及存储介质 | |
| US10990170B2 (en) | Eye tracking method, electronic device, and non-transitory computer readable storage medium | |
| CN111259751A (zh) | 基于视频的人体行为识别方法、装置、设备及存储介质 | |
| US20120163661A1 (en) | Apparatus and method for recognizing multi-user interactions | |
| CN107273869B (zh) | 手势识别控制方法和电子设备 | |
| CN110298309A (zh) | 基于图像的动作特征处理方法、装置、终端及存储介质 | |
| KR20150106823A (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
| CN111580665B (zh) | 注视点预测方法、装置、移动终端及存储介质 | |
| CN114138121A (zh) | 用户手势识别方法、装置、***、存储介质及计算设备 | |
| JP2001016606A (ja) | 動作認識システムおよび動作認識プログラムを記録した記録媒体 | |
| CN113491502A (zh) | 一种眼球追踪校准检验方法、装置、设备及存储介质 | |
| KR101374316B1 (ko) | 시스루 디스플레이를 이용한 동작인식 장치 및 그 방법 | |
| CN115061577A (zh) | 手部投影交互方法、***及存储介质 | |
| KR20200081529A (ko) | 사회적 수용성을 고려한 hmd 기반 사용자 인터페이스 방법 및 장치 | |
| CN112527103B (zh) | 显示设备的遥控方法、装置、设备及计算机可读存储介质 | |
| Malakhova et al. | Temporal data processing from webcam eye tracking using artificial neural networks | |
| WO2019221724A1 (en) | Method to reliably detect correlations between gaze and stimuli |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190122 |
|
| WD01 | Invention patent application deemed withdrawn after publication |