CN107145226A - 眼控人机交互***及方法 - Google Patents

眼控人机交互***及方法 Download PDF

Info

Publication number
CN107145226A
CN107145226A CN201710261706.7A CN201710261706A CN107145226A CN 107145226 A CN107145226 A CN 107145226A CN 201710261706 A CN201710261706 A CN 201710261706A CN 107145226 A CN107145226 A CN 107145226A
Authority
CN
China
Prior art keywords
eye
coordinate
pupil
center
screen window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710261706.7A
Other languages
English (en)
Inventor
贺良华
刘娅婷
刘启
葛来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201710261706.7A priority Critical patent/CN107145226A/zh
Publication of CN107145226A publication Critical patent/CN107145226A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种眼控人机交互***，包括图像采集装置及主机，所述图像采集装置用于采集人脸部图像信息，所述主机包括眼特征提取模块、瞳孔中心追踪模块、坐标转换模块及鼠标模拟模块，所述眼特征提取模块用于提取出眼部特征信息，所述瞳孔中心追踪模块用于追踪瞳孔中心并确定瞳孔中心坐标，所述坐标转换模块用于将瞳孔中心坐标映射成屏幕窗口中的坐标，所述鼠标模拟模块用于将屏幕窗口中的坐标转成鼠标指令。本发明的眼控人机交互***安装容易、操作简单、价格低廉且能够帮助残疾人获得更多的学习机会。本发明还涉及一种眼控人机交互方法。

Description

眼控人机交互***及方法
技术领域
本发明涉及人工智能技术领域，尤其涉及一种眼控人机交互***及方法。
背景技术
随着计算机技术的发展，操作命令也越来越多，功能也越来越强。随着模式识别，如语音识别、汉字识别等输入设备的发展，操作员和计算机在类似于自然语言或受限制的自然语言这一级上进行交互成为可能。
视觉跟踪技术利用视觉的变化代替人手在触摸屏上的运动，使人远离屏幕时仍可以定位屏幕上的任意区域，通过眼睛的运动使用触摸屏，减少了许多步骤，加速以人为中心的智能化人机交互的发展与实现，然而，传统的视线跟踪技术虽然跟踪精度较高，但是价格昂贵，使用方法复杂，尤其是***式的方法，不仅使人的活动受到限制，而且给用户带来了很大的不舒适感，很难被大多数人接受，只适用于某些特殊场合。
发明内容
为了解决上述技术问题，本发明提供一种眼控人机交互***。
本发明提供一种眼控人机交互***，包括图像采集装置及主机，所述图像采集装置用于采集人脸部图像信息并将采集到的人脸部图像信息发送至所述主机，所述主机包括眼特征提取模块、瞳孔中心追踪模块、坐标转换模块及鼠标模拟模块，其中，所述眼特征提取模块用于接收图像采集装置采集的人脸部图像信息并根据接收到的人脸部图像信息提取出眼部特征信息，所述瞳孔中心追踪模块用于接收眼部特征信息并根据接收到眼部特征信息追踪瞳孔中心并确定瞳孔中心坐标，所述坐标转换模块用于接收瞳孔中心坐标并将接收到的瞳孔中心坐标映射成屏幕窗口中的坐标，所述鼠标模拟模块用于接收成屏幕窗口中的坐标，并将接收到的屏幕窗口中的坐标转成鼠标指令。
进一步地，所述图像采集装置运用OpenCv对脸部图像信息进行采集，运用OpenCv对脸部图像信息进行采集的过程包括：与想要捕获的摄像头的接口对应；以及接收视频的每一帧图像，并循环显示。
进一步地，所述眼特征提取模块采用ROI提取的方式提取接收到的人脸部图像信息中的眼部特征信息，采用ROI提取的方式提取接收到的人脸部图像信息中的眼部特征信息的过程包括：接收需要圈出的ROI区域；对摄像头采集到的源图像做ROI处理；以及载入并显示该ROI区域。
进一步地，所述瞳孔中心追踪模块利用霍夫变换追踪瞳孔中心并定位瞳孔中心坐标，利用霍夫变换追踪瞳孔中心并定位瞳孔中心坐标的过程包括：将采集到的眼部ROI区域进行放大；将放大之后的ROI区域转换为灰度图；对灰度图进行高斯滤波去噪，并进行显示；对作完滤波处理的区域进行canny边缘检测；以及进行霍夫圆变换，算出圆的中心坐标。
进一步地，所述坐标转换模块将接收到的人眼瞳孔中心坐标映射成屏幕窗口中的坐标的方法包括：选取屏幕窗口的四个基本点并依次对这四个点的瞳孔中心坐标进行采集；确定屏幕窗口四个点在屏幕中的实际位置；以及完成瞳孔中心坐标到屏幕窗口坐标的映射转换。
本发明还提供一种眼控人机交互的方法，包括以下步骤：
采集人脸部图像信息；
提取出眼部特征信息；
追踪瞳孔中心并确定瞳孔中心坐标；
将瞳孔中心坐标映射成屏幕窗口中的坐标；以及
将屏幕窗口中的坐标转成鼠标指令。
进一步地，所述步骤“采集人脸部图像信息”包括：与想要捕获的摄像头的接口对应；以及接收视频的每一帧图像，并循环显示。
进一步地，所述步骤“提取出眼部特征信息”包括：接收需要圈出的ROI区域；对采集到的源图像做ROI处理；载入并显示该ROI区域。
进一步地，所述步骤“追踪瞳孔中心并确定瞳孔中心坐标”包括：将采集到的眼部ROI区域进行放大；将放大之后的ROI区域转换为灰度图；对灰度图进行高斯滤波去噪；对作完滤波处理的区域进行canny边缘检测；以及进行霍夫圆变换，算出圆的中心坐标。
进一步地，所述步骤“将瞳孔中心坐标映射成屏幕窗口中的坐标”包括：选取屏幕窗口的四个基本点并依次对这四个点的瞳孔中心坐标进行采集；定屏幕窗口四个点在屏幕中的实际位置；以及完成瞳孔中心坐标到屏幕窗口坐标的映射转换。
相较于现有技术，本发明的眼控人机交互***及方法具有以下优点：
本发明的眼控人机交互***及方法，图像采集装置对操作者的眼睛进行拍摄并采集到图像，然后对图像进行一系列处理，提取出眼部特征，接下来进行瞳孔的检测及其跟踪，实现瞳孔中心的跟踪定位，利用检测到的瞳孔中心的坐标，来进行坐标转换，实现瞳孔中心坐标到电脑屏幕的映射，最后通过鼠标模拟来完成对计算机的操作，安装容易、操作简单、价格低廉且能够帮助残疾人获得更多的学习机会。
附图说明
图1为本发明的眼控人机交互***的结构示意图。
图2为本发明的眼控人机交互方法的流程图。
图3为图2中的步骤S1的流程图。
图4为图2中的步骤S2的流程图。
图5为图2中的步骤S3的流程图。
图6为图2中的步骤S4的流程图。
具体实施方式
下面将对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
请参阅图1，本发明实施例提供一种眼控人机交互***包括图像采集装置1及主机2。其中，图像采集装置1用于采集人脸部图像信息并将采集到的人脸部图像信息发送至主机2，主机2包括眼特征提取模块22、瞳孔中心追踪模块23、坐标转换模块24及鼠标模拟模块25。其中，眼特征提取模块22用于接收图像采集装置1采集的人脸部图像信息并根据接收到的人脸部图像信息提取出眼部特征信息，瞳孔中心追踪模块23用于接收眼部特征信息并根据接收到眼部特征信息追踪瞳孔中心并确定瞳孔中心坐标，坐标转换模块24用于接收瞳孔中心坐标并将接收到的瞳孔中心坐标映射成屏幕窗口中的坐标，鼠标模拟模块25用于接收成屏幕窗口中的坐标，并将接收到的屏幕窗口中的坐标转成鼠标指令，进而完成对主机2的操作，实现人机交互。
在本实施例中，图像采集装置1包括USB免驱摄像头模组，该USB免驱摄像头模组具体为21度镜头角度、30W像素并贴上850nm红外光滤波片滤去可见光及6个红外LED灯的USB免驱摄像头模组。该摄像头帧率为30帧/秒，采集到的一帧图片大小为640*480，位深为24位，调焦模式为手动调焦。该图像采集装置1运用OpenCv对脸部图像信息进行采集，具体应用OpenCv中的一些基本类和函数，包括：(1)定义一个VideoCapture类，并实例化，使之与想要捕获的摄像头的接口对应；(2)定义一个Mat类对象，接收视频的每一帧图像，并循环显示，同时用waitKey函数控制帧率。需要说明的是，VideoCapture类是OpenCv 2.X版本中新增的一个类，提供了从摄像机或视频文件捕获视频的C++接口，作用是从视频文件或从摄像头捕获视频帧，并显示出来。imread及imshow函数：都有两个参数，第一个参数为窗口名，第二个参数为显示的图片(可为路径或一个mat类对象)。两个函数的功能分别是载入、显示一副图像。waitKey函数：为一个延时函数，用于调整视频帧率，使视频能够流畅显示。
优选地，图像采集装置1还包括眼镜、胶带及连接支架例如铁丝，连接支架通过胶带与眼镜连接并位于眼镜的正前方，USB免驱摄像头模组通过胶带与连接支架连接，以方便采集用户的脸部图形信息。
在本实施例中，眼特征提取模块22采用ROI提取的方式提取接收到的人脸部图像信息中的眼部特征信息。ROI(region of interest)，感兴趣区域。机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域，ROI。在Halcon、OpenCV、Matlab等机器视觉软件上常用到各种算子(Operator)和函数来求得感兴趣区域ROI，并进行图像的下一步处理。在图像处理领域，ROI是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点，圈定该区域以便进行进一步处理。使用ROI圈定可以减少图像处理时间，增加精度。定义ROI区域有两种方法：一种是使用表示矩形区域的Rect，它指定矩形的左上角坐标和矩形的长和宽，从而定义一个矩形，另一种定义ROI的方式是指定感兴趣的行或列的范围。本***在硬件设计时，固定了摄像头与头部的相对位置，所以即使头部有轻微的扰动，眼睛与摄像头的相对位置是不变的，也就是说，我们只需要从一副图像帧中，比较准确的圈出我们想要的眼睛部分区域即可。当这一部分参数固定后，以后头部再怎么扰动，我们都能够准确只定位到眼睛部位。这里我们首先需要知道摄像头捕获的图像帧的大小，经过拍照测试，摄像头捕获的图像大小为640*480。下一步要做的就是眼部提取了。这里有四个参数，分别是是左上角的原点坐标x，y、矩形区域的宽和高width、height。实现此方法的基本流程是：(1)定义一个Mat类的imgROI对象接收需要圈出的ROI区域；(2)对摄像头采集到的源图像做ROI处理；(3)载入并显示该ROI区域。
瞳孔中心追踪模块23利用霍夫变换追踪瞳孔中心并定位瞳孔中心坐标。具体地，霍夫变换(Hough Transform)，是图像处理中的一种特征提取技术，该过程在一个参数空间中通过计算累计结果的局部最大值得到一个符合该特定形状的集合作为霍夫变换结果。霍夫变换在OpenCv中分为霍夫线变换和霍夫圆变换两种，这里用到的是霍夫圆变换。霍夫圆变换调用的是HoughCircles()函数，该函数的定义如下:C++：void HoughCircles(InputArray image,OutputArray circles,int method,double dp,double minDist,double param1＝100,double para2m＝100,int minRadius＝0,int maxRadius＝0)；可以看到该函数一共有九个参数，这里选择比较重要的几个参数作简要解释。第二个参数，OutputArray类型的circles，经过调用HoughCircles函数后，此参数存储了检测到的圆的输出矢量，每个矢量由包含了3个元素的浮点矢量(x，y，radius)表示。分别表示圆的中心坐标和半径大小。第五个参数，double类型的minDist，为霍夫变换检测到的圆的圆心之间的最小距离，即让算法能明显区分的两个不同圆之间的最小距离。这个参数如果设置的太小，那么多个相邻的圆可能被错误地检测成一个重合的圆。反之，这个参数设置太大，某些圆就不能被检测出来。第七个参数，double类型的param2。对当前唯一方法霍夫梯度法，它表示在检测阶段圆心的累加器阈值。它越小，就越可以检测到更多根本不存在的圆，而它越大的话，能通过检测的圆就越接近完美的圆形了。第八、九个参数，分别表示检测出的圆半径的最小值和最大值。实现此方法的基本流程是：(1)将采集到的眼部ROI区域进行放大，放大倍数选择两倍，由于摄像头只有30w像素，若放大倍数过大，则该区域会非常模糊，对后续处理也非常不利，所以选择放大两倍，经测试，在视觉上与检测效果上均能满足要求；(2)运用cvtColor()函数对放大之后的ROI区域进行转换，转换为灰度图，并进行显示，查看效果；(3)运用GaussianBlur()函数对灰度图进行高斯滤波去噪，并进行显示，查看效果，根据效果来调整函数的参数；(4)运用Canny()函数对作完滤波处理的区域进行canny边缘检测，并进行显示，查看效果；(5)图像预处理完毕后，接下来进行霍夫圆变换，然后算出圆的中心坐标，即计算出瞳孔中心坐标。
坐标转换模块24将接收到的人眼瞳孔中心坐标映射成屏幕窗口中的坐标的方法为：(1)选取屏幕窗口的四个基本点，然后依次对这四个点的瞳孔中心坐标进行采集，并记录下来；(2)确定屏幕窗口四个点在屏幕中的实际位置，同时也记录下来；(3)完成瞳孔中心坐标到屏幕窗口坐标的映射转换。
请参阅图2，本发明还提供一种人机交互的方法，包括以下步骤：
步骤S1：采集人脸部图像信息；
步骤S2：提取出眼部特征信息；
步骤S3：追踪瞳孔中心并确定瞳孔中心坐标；
步骤S4：将瞳孔中心坐标映射成屏幕窗口中的坐标；以及
步骤S5：将屏幕窗口中的坐标转成鼠标指令。
请参阅图3，步骤S1利用OpenCv对脸部图像信息进行采集，具体应用OpenCv中的一些基本类和函数，该步骤包括以下内容：
步骤S11：与想要捕获的摄像头的接口对应。该过程首先定义一个VideoCapture类，并实例化，使之与想要捕获的摄像头的接口对应、
步骤S12：接收视频的每一帧图像，并循环显示。该过程首先需要定义一个Mat类对象，以接收视频的每一帧图像，并循环显示。
请参阅图4，步骤S2采用ROI提取的方式提取接收到的人脸部图像信息中的眼部特征信息，步骤S2具体包括以下内容：
步骤S21：对象接收需要圈出的ROI区域。该过程需要定义一个Mat类的imgROI对象接收需要圈出的ROI区域。
步骤S22：对采集到的源图像做ROI处理。
步骤S23：载入并显示该ROI区域。
请参阅图5，步骤S3利用霍夫变换追踪瞳孔中心并定位瞳孔中心，步骤S3具体包括以下内容：
步骤S31：将采集到的眼部ROI区域进行放大。
步骤S32：将放大之后的ROI区域转换为灰度图。该过程运用cvtColor()函数。
步骤S33：对灰度图进行高斯滤波去噪。该过程运用GaussianBlur()函数。
步骤S34：对作完滤波处理的区域进行canny边缘检测。该过程运用Canny()函数。
步骤S35：进行霍夫圆变换，算出圆的中心坐标。
请参阅图6，步骤S4具体内容包括以下步骤：
步骤S41：选取屏幕窗口的四个基本点并依次对这四个点的瞳孔中心坐标进行采集；
步骤S42：定屏幕窗口四个点在屏幕中的实际位置；以及
步骤S43：完成瞳孔中心坐标到屏幕窗口坐标的映射转换。
本发明的眼控人机交互***及方法，图像采集装置对操作者的眼睛进行拍摄并采集到图像，然后对图像进行一系列处理，提取出眼部特征，接下来进行瞳孔的检测及其跟踪，实现瞳孔中心的跟踪定位，利用检测到的瞳孔中心的坐标，来进行坐标转换，实现瞳孔中心坐标到电脑屏幕的映射，最后通过鼠标模拟来完成对计算机的操作，安装容易、操作简单、价格低廉且能够帮助残疾人获得更多的学习机会。
以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种眼控人机交互***，其特征在于，包括图像采集装置(1)及主机(2)，所述图像采集装置(1)用于采集人脸部图像信息并将采集到的人脸部图像信息发送至所述主机(2)，所述主机(2)包括眼特征提取模块(22)、瞳孔中心追踪模块(23)、坐标转换模块(24)及鼠标模拟模块(25)，其中，所述眼特征提取模块(22)用于接收图像采集装置(1)采集的人脸部图像信息并根据接收到的人脸部图像信息提取出眼部特征信息，所述瞳孔中心追踪模块(23)用于接收眼部特征信息并根据接收到眼部特征信息追踪瞳孔中心并确定瞳孔中心坐标，所述坐标转换模块(24)用于接收瞳孔中心坐标并将接收到的瞳孔中心坐标映射成屏幕窗口中的坐标，所述鼠标模拟模块(25)用于接收成屏幕窗口中的坐标，并将接收到的屏幕窗口中的坐标转成鼠标指令。
2.如权利要求1所述的眼控人机交互***，其特征在于，所述图像采集装置(1)运用OpenCv对脸部图像信息进行采集，运用OpenCv对脸部图像信息进行采集的过程包括：与想要捕获的摄像头的接口对应；以及接收视频的每一帧图像，并循环显示。
3.如权利要求2所述的眼控人机交互***，其特征在于，所述眼特征提取模块(22)采用ROI提取的方式提取接收到的人脸部图像信息中的眼部特征信息，采用ROI提取的方式提取接收到的人脸部图像信息中的眼部特征信息的过程包括：接收需要圈出的ROI区域；对摄像头采集到的源图像做ROI处理；以及载入并显示该ROI区域。
4.如权利要求3所述的眼控人机交互***，其特征在于，所述瞳孔中心追踪模块(23)利用霍夫变换追踪瞳孔中心并定位瞳孔中心坐标，利用霍夫变换追踪瞳孔中心并定位瞳孔中心坐标的过程包括：将采集到的眼部ROI区域进行放大；将放大之后的ROI区域转换为灰度图；对灰度图进行高斯滤波去噪，并进行显示；对作完滤波处理的区域进行canny边缘检测；以及进行霍夫圆变换，算出圆的中心坐标。
5.如权利要求4所述的眼控人机交互***，其特征在于，所述坐标转换模块(24)将接收到的人眼瞳孔中心坐标映射成屏幕窗口中的坐标的方法包括：选取屏幕窗口的四个基本点并依次对这四个点的瞳孔中心坐标进行采集；确定屏幕窗口四个点在屏幕中的实际位置；以及完成瞳孔中心坐标到屏幕窗口坐标的映射转换。
6.一种眼控人机交互的方法，其特征在于，包括以下步骤：
采集人脸部图像信息；
提取出眼部特征信息；
追踪瞳孔中心并确定瞳孔中心坐标；
将瞳孔中心坐标映射成屏幕窗口中的坐标；以及
将屏幕窗口中的坐标转成鼠标指令。
7.如权利要求6所述的眼控人机交互方法，其特征在于，所述步骤“采集人脸部图像信息”包括：与想要捕获的摄像头的接口对应；以及接收视频的每一帧图像，并循环显示。
8.如权利要求7所述的眼控人机交互方法，其特征在于，所述步骤“提取出眼部特征信息”包括：接收需要圈出的ROI区域；对采集到的源图像做ROI处理；载入并显示该ROI区域。
9.如权利要求8所述的眼控人机交互方法，其特征在于，所述步骤“追踪瞳孔中心并确定瞳孔中心坐标”包括：将采集到的眼部ROI区域进行放大；将放大之后的ROI区域转换为灰度图；对灰度图进行高斯滤波去噪；对作完滤波处理的区域进行canny边缘检测；以及进行霍夫圆变换，算出圆的中心坐标。
10.如权利要求9所述的眼控人机交互方法，其特征在于，所述步骤“将瞳孔中心坐标映射成屏幕窗口中的坐标”包括：选取屏幕窗口的四个基本点并依次对这四个点的瞳孔中心坐标进行采集；定屏幕窗口四个点在屏幕中的实际位置；以及完成瞳孔中心坐标到屏幕窗口坐标的映射转换。
CN201710261706.7A 2017-04-20 2017-04-20 眼控人机交互***及方法 Pending CN107145226A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710261706.7A CN107145226A (zh) 2017-04-20 2017-04-20 眼控人机交互***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710261706.7A CN107145226A (zh) 2017-04-20 2017-04-20 眼控人机交互***及方法

Publications (1)

Publication Number Publication Date
CN107145226A true CN107145226A (zh) 2017-09-08

Family

ID=59775268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710261706.7A Pending CN107145226A (zh) 2017-04-20 2017-04-20 眼控人机交互***及方法

Country Status (1)

Country Link
CN (1) CN107145226A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107831900A (zh) * 2017-11-22 2018-03-23 中国地质大学（武汉） 一种眼控鼠标的人机交互方法及***
CN108595008A (zh) * 2018-04-27 2018-09-28 北京计算机技术及应用研究所 基于眼动控制的人机交互方法
CN109965843A (zh) * 2019-03-14 2019-07-05 华南师范大学 一种基于滤波传像的眼动***
CN111632367A (zh) * 2020-05-18 2020-09-08 歌尔科技有限公司 基于视觉引导的手游***及手游响应方法
CN112560572A (zh) * 2020-10-24 2021-03-26 北京博睿维讯科技有限公司 一种摄像和大屏交互处理方法、装置及***
CN112698724A (zh) * 2020-12-30 2021-04-23 山东大学 一种基于摄像头眼动追踪的穿透式屏幕***的实现方法
WO2022227264A1 (zh) * 2021-04-27 2022-11-03 广州市保伦电子有限公司 一种基于眼球追踪的视频交互操作方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866215A (zh) * 2010-04-20 2010-10-20 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法
CN105141938A (zh) * 2015-08-18 2015-12-09 深圳先进技术研究院 视线定位装置
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866215A (zh) * 2010-04-20 2010-10-20 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
CN105141938A (zh) * 2015-08-18 2015-12-09 深圳先进技术研究院 视线定位装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈程: ""基于图像处理技术的视线跟踪算法设计及实现"", 《中国优秀硕士学位论文全文数据库》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107831900A (zh) * 2017-11-22 2018-03-23 中国地质大学（武汉） 一种眼控鼠标的人机交互方法及***
CN107831900B (zh) * 2017-11-22 2019-12-10 中国地质大学（武汉） 一种眼控鼠标的人机交互方法及***
CN108595008A (zh) * 2018-04-27 2018-09-28 北京计算机技术及应用研究所 基于眼动控制的人机交互方法
CN108595008B (zh) * 2018-04-27 2022-02-08 北京计算机技术及应用研究所 基于眼动控制的人机交互方法
CN109965843A (zh) * 2019-03-14 2019-07-05 华南师范大学 一种基于滤波传像的眼动***
CN109965843B (zh) * 2019-03-14 2022-05-24 华南师范大学 一种基于滤波传像的眼动***
CN111632367A (zh) * 2020-05-18 2020-09-08 歌尔科技有限公司 基于视觉引导的手游***及手游响应方法
CN112560572A (zh) * 2020-10-24 2021-03-26 北京博睿维讯科技有限公司 一种摄像和大屏交互处理方法、装置及***
CN112698724A (zh) * 2020-12-30 2021-04-23 山东大学 一种基于摄像头眼动追踪的穿透式屏幕***的实现方法
CN112698724B (zh) * 2020-12-30 2022-02-11 山东大学 一种基于摄像头眼动追踪的穿透式屏幕***的实现方法
WO2022227264A1 (zh) * 2021-04-27 2022-11-03 广州市保伦电子有限公司 一种基于眼球追踪的视频交互操作方法

Similar Documents

Publication Publication Date Title
CN107145226A (zh) 眼控人机交互***及方法
CN107168527B (zh) 基于区域卷积神经网络的第一视角手势识别与交互方法
CN103838378B (zh) 一种基于瞳孔识别定位的头戴式眼睛操控***
Jain et al. Real-time upper-body human pose estimation using a depth camera
CN103076876B (zh) 基于视线跟踪与语音识别的字符输入装置和方法
CN107831900B (zh) 一种眼控鼠标的人机交互方法及***
EP3120294A1 (en) System and method for motion capture
CN105955465A (zh) 一种桌面便携式视线跟踪方法及装置
CN107767335A (zh) 一种基于人脸识别特征点定位的图像融合方法及***
CN110930374A (zh) 一种基于双深度相机的腧穴定位方法
CN108198167A (zh) 一种基于机器视觉的烧伤智能检测识别装置及方法
CN103207709A (zh) 一种多点触摸***及方法
CN104850842B (zh) 移动终端虹膜识别的人机交互方法
CN108197534A (zh) 一种人头部姿态检测方法、电子设备及存储介质
CN106814853A (zh) 一种基于机器学习的眼控跟踪方法
CN109325408A (zh) 一种手势判断方法及存储介质
CN111145865A (zh) 一种基于视觉的手部精细动作训练指导***及方法
CN110032932A (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN111860451A (zh) 一种基于人脸表情识别的游戏交互方法
CN114022554A (zh) 一种基于yolo的按摩机器人穴位检测与定位方法
CN114202795A (zh) 一种老年人瞳孔快速定位方法
CN109634407A (zh) 一种基于多模人机传感信息同步采集与融合的控制方法
CN102073878B (zh) 非穿戴指势视觉识别方法
Shah et al. Survey on vision based hand gesture recognition
CN110674751A (zh) 一种基于单目摄像机检测头部姿态的装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170908

RJ01 Rejection of invention patent application after publication