CN105159460B - 基于眼动跟踪的智能家居控制器的控制方法 - Google Patents
基于眼动跟踪的智能家居控制器的控制方法 Download PDFInfo
- Publication number
- CN105159460B CN105159460B CN201510574550.9A CN201510574550A CN105159460B CN 105159460 B CN105159460 B CN 105159460B CN 201510574550 A CN201510574550 A CN 201510574550A CN 105159460 B CN105159460 B CN 105159460B
- Authority
- CN
- China
- Prior art keywords
- mrow
- eye
- msubsup
- image
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
基于眼动跟踪的智能家居控制器及其控制方法,属于无线控制领域。可以解决现有的智能家居控制器采用的按键或触摸输入方式无法适用于有肢体障碍的特殊人群的问题。基于眼动跟踪的智能家居控制器,包括图像采集模块、图像处理模块、通信模块、FPGA模块以及FPGA芯片内部集成的子模块。基于眼动跟踪的智能家居控制方法,图像处理模块将采集到的脸部图像二值化处理,找出人眼瞳孔与红外灯在人眼巩膜显示的光斑位置,估算人眼视线方向;图像显示模块在VGA液晶显示屏中,将设计好的用户界面与用户视线位置显示在液晶显示屏中,实现人机交互。本发明采用非接触的控制方式,最大限度的减少对用户的干扰,减轻用户的负担。
Description
技术领域
本发明涉及基于眼动跟踪的智能家居控制器的控制方法。
背景技术
智能家居是在互联网影响下的物联化体现。智能家居***通过网络技术将现有的各种家居设备连接到一起,提供家电控制、照明控制、电话远程控制、环境监测等多种功能和手段。智能家居不仅具有传统的居住功能,而且兼备建筑、网络通信、信息家电、设备自动化,提供全方位的信息交互功能,甚至为居住者节约能源费用。
具有无线通信功能的操作终端可使居住者方便地控制家用电器及获取需要的信息。现有的无线操作终端包括智能遥控器、移动触摸屏、电脑、手机、PDA等,输入方式包括键盘按键、触摸菜单、语音识别方式。对于特定场景或者特定人群来说,其中某些输入方式不能使用或者效果较差。例如,在嘈杂环境下,语音识别输入方式识别率较低,不能发出声音的特定人群甚至无法使用语音识别。再例如,上肢残障人士、自理能力差的老人等特殊人群无法使用按键或触摸输入方式。
发明内容
本发明的目的是为了解决现有的智能家居控制***采用的按键或触摸输入方式无法适用于有肢体障碍的特殊人群的问题,而提出一种基于眼动跟踪的智能家居控制器及其控制方法。
一种基于眼动跟踪的智能家居控制器,所述眼动跟踪的智能家居控制***包括:
用于采集人脸部红外图像的图像采集模块;
用于将设计好的用户界面与用户视线位置显示在液晶显示屏中,实现人机交互的图像显示模块;
用于发出处理器发出的指令,控制室内电器的通信模块;
以及FPGA模块;
且FPGA模块中包括FPGA芯片及SRAM芯片:
其中FPGA芯片内部集成:
用于将图像采集模块采集到的人脸部红外图像进行二值化处理,找出人眼瞳孔与红外灯在人眼巩膜显示的光斑位置,估算人眼的视线方向的图像处理模块;
用于存储图像处理与功能判定所需的指令与算法,判断眼睛眨眼或注视动作,从而判断出视线所在图标的开启与关闭,并执行图标开启或关闭的功能判定模块;
用于将视频信号数据流解码转换成24bit图像数据的BT656解码模块;
用于缓存BT656解码模块解码得到的24bit图像数据的FIFO缓存模块;
用于读取FIFO缓存模块中的图像数据,并将数据发送到FPGA内部总线的READ接口模块;
用于将图像数据转换成灰度图像的NIOS II内核模块;
用于提供***时钟的CLK时钟模块;
用于配置SDRAM存储芯片的SDRAM控制器;
用于配置SRAM存储芯片的SRAM控制器;
用于读写FPGA总线的指令并将其发送到通信模块的UART控制器;以及
用于模拟信号生成的VGA控制器。
一种基于眼动跟踪的智能家居控制器的控制方法,所述智能家居控制方法通过以下步骤实现,
步骤一、通过图像采集模块采集人脸部红外图像:
红外LED发光模块向人脸发射近红外光,CMOS摄像模块捕捉人脸部红外图像并存储至SDRAM存储模块中,之后输出复合视频信号;
步骤二、图像灰度处理过程:
令图像处理模块与功能判定模块共用FPGA芯片和SRAM存储模块;
FPGA芯片通过内部的8位BT656接口模块接收图像采集模块发送的基带视频信号数据流,经BT656解码模块解码后得到24bits的图像数据送入FIFO缓存,而后READ接口模块读取FIFO缓存中的数据并将其发送到FPGA内部数据总线,NIOS II内核从数据总线上读取图像数据并将图像数据转换成灰度图像,最后NIOS II内核将灰度图像数据存储在SDRAM中;
步骤三、判定红外光斑位置,通过红外光斑位置粗定眼部位置并截取人眼部子图图像:
第一,NIOS II内核模块将经数据总线从SDRAM存储模块中读取的人脸部红外图像作为原始图像数据,在原始图像数据的每一列中,用一维掩膜[-1,-1,0,1,1]对每个像素进行扫描,计算每列亮度梯度最大值;
第二,将原始图像数据平均分成左右两部分,分别搜索左右两部分亮度梯度最大值,定位两个红外光斑所在列坐标;同时,分别在两个红外光斑所在的列中,对每个像素用相同的一维掩膜进行扫描,计算各行亮度梯度的最大值,从而确定红外光斑所在的行坐标;
第三,计算两个红外光斑的距离,利用眼球距离这一先验知识进行容错处理,粗定到眼部位置后,截取出人眼部子图图像;
步骤四,将灰度图像通过阈值分割进行二值化处理,确定瞳孔位置:
第一,设步骤二得到的灰度图像的灰度取值{0,1,…,l-1},其中,灰度值为i的像素的个数为ni,则灰度值为i的像素的出现概率为:Pi=ni/N;其中,N表示灰度图中像素总数;
第二,确定阈值t,选取分割阈值t,即分离性最大时作为最佳门限,实现最大类间方差原理的自适应阈值方法将灰度图像中的像素划分为两类:
将小于阈值t的像素设定为白,即:C0{0,1,…,t},
将大于阈值t的像素设定为黑,即:C1{t+1,t+2,…,l-1},得到人眼部二值化图像;
第三,在灰度图像中采用等权重质心法求瞳孔中心位置:
以当前计算的瞳孔位置为中心,选取包围瞳孔的矩形框,之后在矩形框内重复利用等权重质心法定位瞳孔中心,直到瞳孔中心的位置稳定为止,将稳定时瞳孔中心作为瞳孔粗定位中心,并获得估算的瞳孔半径;
第四,根据瞳孔粗定位中心及估算的瞳孔半径确定圆,以圆为边缘提取圆形搜索区域,在圆形搜索区域内,以圆心为原点并沿半径方向用一维边缘检测算子[-1,-1,0,1,1]提取瞳孔边缘点;
第五,选择N个瞳孔边缘点,采用最小二乘法对瞳孔中心进行圆拟合,计算瞳孔中心坐标(x0,y0)和半径R,确定出瞳孔中心位置;
步骤五,利用FPGA芯片中的NIOS II内核模块比对图像采集模块采集到的人脸部红外图像中红外光斑与瞳孔中心位置的位移量,进行视线校准与人眼注视点定位的处理;
步骤六、在经过步骤三、四和五先后进行的红外光斑位置、瞳孔位置和视线校准与人眼注视点定位三个步骤的处理后,将确定的视线位置数据通过总线传输给图像显示模块进行用户界面及人眼注视点显示;
步骤七、判定眼部动作并执行相应功能:
FPGA芯片内部的NIOS II内核模块首先搜索人眼部二值化图像中黑色目标区域的左右边界并计算二者的距离,然后与参考阈值比较:
若大于参考阈值时,判定为眼睛闭合;
若小于参考阈值时,判定为眼睛睁开;
若连续3帧都为眼睛闭合,则判定为眨眼;
根据判定的眼部动作判定相应功能控制指令,将确认出的功能控制指令通过数据总线传送给通信模块,通信模块发送功能控制指令,功能控制指令被指定家电接收并解码,实现对家电的远程控制。
本发明的有益效果为:
本发明提出的基于眼动跟踪技术的智能家居控制器,包括图像采集模块、图像显示模块、通信模块、FPGA控制模块,FPGA控制模块包含FPGA芯片和SRAM存储芯片,其中FPGA芯片内部集成图像处理模块、功能判定模块、BT656解码模块、FIFO缓存模块、READ接口模块、NIOS II内核模块、CLK模块、SRAM控制器、UART控制器、SDRAM控制器和VGA控制器。图像处理模块将图像采集模块采集到的脸部图像进行二值化处理后,找出人眼瞳孔与红外灯在人眼巩膜显示的光斑位置,估算人眼的视线方向;将设计好的用户界面与用户视线位置显示在液晶显示屏中,实现人机交互:智能家居控制器通过跟踪视线方向确定对应功能的指示标识,功能判定电路判断眼睛眨眼或注视等动作,判断视线所在图标的开启与关闭;通信电路发出处理器发出的指令,与家用电器之间互动,实现通过判断眼部动作来实现智能家居的控制,如电器开启与关闭的过程。
本发明提出的基于眼动跟踪技术的智能家居控制器,与传统的接触式输入方式相比,眼动输入方式具有非接触、抗干扰等优点,尤其适用于噪声、低温等特殊环境或行动不变的特定人群,可提高控制精确度,带给用户新奇体验,增加生活趣味。
非接触的控制方式,可以最大限度的减少对用户的干扰,减轻用户的负担。
附图说明
图1为本发明的工作流程图;
图2为本发明涉及的眼动跟踪的智能家居控制器的结构框图;
图3为本发明涉及的红外光斑位置判定以及人眼部子图图像获取流程图;
图4为本发明涉及的确定瞳孔位置的流程图;
图5为本发明涉及的眼部动作检测的流程图。
具体实施方式
具体实施方式一:
本实施方式的基于眼动跟踪的智能家居控制器,结合图2所示的眼动跟踪的智能家居控制***包括:
用于采集人脸部红外图像的图像采集模块;
用于将设计好的用户界面与用户视线位置显示在液晶显示屏中,实现人机交互的图像显示模块;
用于发出处理器发出的指令,控制室内电器的通信模块;
以及FPGA模块;
且FPGA模块中包括FPGA芯片及SRAM芯片:
其中FPGA芯片内部集成:
用于将图像采集模块采集到的人脸部红外图像进行二值化处理,找出人眼瞳孔与红外灯在人眼巩膜显示的光斑位置,估算人眼的视线方向的图像处理模块;
用于存储图像处理与功能判定所需的指令与算法,判断眼睛眨眼或注视动作,从而判断出视线所在图标的开启与关闭,并执行图标开启或关闭的功能判定模块;
用于将视频信号数据流解码转换成24bit图像数据的BT656解码模块;
用于缓存BT656解码模块解码得到的24bit图像数据的FIFO缓存模块;
用于读取FIFO缓存模块中的图像数据,并将数据发送到FPGA内部总线的READ接口模块;
用于将图像数据转换成灰度图像的NIOS II内核模块;
用于提供***时钟的CLK时钟模块;
用于配置SDRAM存储芯片的SDRAM控制器;
用于配置SRAM存储芯片的SRAM控制器;
用于读写FPGA总线的指令并将其发送到通信模块的UART控制器;以及
用于模拟信号生成的VGA控制器。
具体实施方式二:
与具体实施方式一不同的是,本实施方式的基于眼动跟踪的智能家居控制器,所述图像采集模块还包括:
用于发出近红外光的红外LED发光模块,以及
用于捕捉红外LED发光模块发光后形成的人脸部红外图像的CMOS摄像模块。
具体实施方式三:
与具体实施方式一或二不同的是,本实施方式的基于眼动跟踪的智能家居控制器,所述图像显示模块还包括:
用于控制信号的FPGA芯片,
用于将用户界面图像数据转换成模拟信号的数模转换(D/A)模块,
用于存储用户界面图像数据的SDRAM存储模块,和
用于显示模拟信号的VGA液晶显示屏。
具体实施方式四:
与具体实施方式三不同的是,本实施方式的基于眼动跟踪的智能家居控制器,所述通信模块还包括:
用于发送控制指令的红外通信模块;以及
用于控制异步收发传输模块进行指令传输的FPGA芯片。
具体实施方式五:
本实施方式的基于眼动跟踪的智能家居控制***进行智能家居控制器的控制方法,所述智能家居控制方法通过以下步骤实现,
步骤一、通过图像采集模块采集人脸部红外图像:
红外LED发光模块向人脸发射近红外光,CMOS摄像模块捕捉人脸部红外图像并存储至SDRAM存储模块中,之后输出复合视频信号;
步骤二、图像灰度处理过程:
令图像处理模块与功能判定模块共用FPGA芯片和SRAM存储模块;
FPGA芯片通过内部的8位BT656接口模块接收图像采集模块发送的基带视频信号数据流,经BT656解码模块解码后得到24bits的图像数据送入FIFO缓存,而后READ接口模块读取FIFO缓存中的数据并将其发送到FPGA内部数据总线,NIOS II内核从数据总线上读取图像数据并将图像数据转换成灰度图像,最后NIOS II内核将灰度图像数据存储在SDRAM中;
步骤三、判定红外光斑位置,通过红外光斑位置粗定眼部位置并截取人眼部子图图像:
第一,NIOS II内核模块将经数据总线从SDRAM存储模块中读取的人脸部红外图像作为原始图像数据,在原始图像数据的每一列中,用一维掩膜[-1,-1,0,1,1]对每个像素进行扫描,计算每列亮度梯度最大值;
第二,将原始图像数据平均分成左右两部分,分别搜索左右两部分亮度梯度最大值,定位两个红外光斑所在列坐标;同时,分别在两个红外光斑所在的列中,对每个像素用相同的一维掩膜进行扫描,计算各行亮度梯度的最大值,从而确定红外光斑所在的行坐标;
第三,计算两个红外光斑的距离,利用眼球距离这一先验知识进行容错处理,粗定到眼部位置后,截取出人眼部子图图像;
步骤四,将灰度图像通过阈值分割进行二值化处理,确定瞳孔位置:
第一,设步骤二得到的灰度图像的灰度取值{0,1,…,l-1},其中,灰度值为i的像素的个数为ni,则灰度值为i的像素的出现概率为:Pi=ni/N;其中,N表示灰度图中像素总数;
第二,确定阈值t,选取分割阈值t,即分离性最大时作为最佳门限,实现最大类间方差原理的自适应阈值方法将灰度图像中的像素划分为两类:
将小于阈值t的像素设定为白,即:C0{0,1,…,t},
将大于阈值t的像素设定为黑,即:C1{t+1,t+2,…,l-1},得到人眼部二值化图像;
第三,在灰度图像中采用等权重质心法求瞳孔中心位置:
以当前计算的瞳孔位置为中心,选取包围瞳孔的矩形框,之后在矩形框内重复利用等权重质心法定位瞳孔中心,直到瞳孔中心的位置稳定为止,将稳定时瞳孔中心作为瞳孔粗定位中心,并获得估算的瞳孔半径;
第四,根据瞳孔粗定位中心及估算的瞳孔半径确定圆,以圆为边缘提取圆形搜索区域,在圆形搜索区域内,以圆心为原点并沿半径方向用一维边缘检测算子[-1,-1,0,1,1]提取瞳孔边缘点;
第五,选择N个瞳孔边缘点,采用最小二乘法对瞳孔中心进行圆拟合,计算瞳孔中心坐标(x0,y0)和半径R,确定出瞳孔中心位置;
步骤五,利用FPGA芯片中的NIOS II内核模块比对图像采集模块采集到的人脸部红外图像中红外光斑与瞳孔中心位置的位移量,进行视线校准与人眼注视点定位的处理;
步骤六、在经过步骤三、四和五先后进行的红外光斑位置、瞳孔位置和视线校准与人眼注视点定位三个步骤的处理后,将确定的视线位置数据通过总线传输给图像显示模块进行用户界面及人眼注视点显示;
步骤七、判定眼部动作并执行相应功能:
FPGA芯片内部的NIOS II内核模块首先搜索人眼部二值化图像中黑色目标区域的左右边界并计算二者的距离,然后与参考阈值比较:
若大于参考阈值时,判定为眼睛闭合;
若小于参考阈值时,判定为眼睛睁开;
若连续3帧都为眼睛闭合,则判定为眨眼;
根据判定的眼部动作判定相应功能控制指令,将确认出的功能控制指令通过数据总线传送给通信模块,通信模块发送功能控制指令,功能控制指令被指定家电接收并解码,实现对家电的远程控制。
具体实施方式六:
与具体实施方式五不同的是,本实施方式的基于眼动跟踪的智能家居控制***,步骤三所述采用最小二乘法对瞳孔中心进行圆拟合,计算瞳孔中心坐标(x0,y0)和半径R的过程为,
令:
对N个边缘点用上式求和,分别计算L对x0、y0及R的偏导数并令其为0,解方程组可得:
其中:
具体实施方式七:
与具体实施方式五或六不同的是,本具体实施方式的基于眼动跟踪的智能家居控制方法,步骤四所述确定阈值t的过程为,
人眼部子图图像中黑白两类像素的出现概率分别为:和
黑白两类像素的灰度均值分别为:和
人眼部子图图像的总体灰度为:
求出C0和C1这两类像素的类间方差:并将两类像素的类间方差取最大值时的t确定为阈值。
具体实施方式八:
与具体实施方式七不同的是,本具体实施方式的基于眼动跟踪的智能家居控制器的控制方法,步骤五所述视线校准与人眼注视点定位的处理的过程为,
在进行视线校准时:
第一,在VGA显示屏上显示一组参考注视点,当用户注视参考点时,眼动跟踪装置测量瞳孔中心位置与红外光斑的相对位置偏移量;
第二,通过最小二乘曲线拟合,确定瞳孔中心位置及红外光斑相对位置偏移量与注视点的映射关系:
眼动跟踪控制装置采用拟合函数为6参数拟合函数:
Xs=a0+a1xe+a2ye+a3xe 2+a4xeye+a5ye 2
Ys=b0+b1xe+b2ye+b3xe 2+b4xeye+b5ye 2进行拟合校准;
在进行人眼注视点定位时:
根据拟合校准得到的映射函数以及人眼部子图图像中瞳孔中心位置和红外光斑相对位置偏移量计算人眼注视点,并叠加到VGA显示屏。
具体实施方式九:
与具体实施方式五、六或八不同的是,本具体实施方式的基于眼动跟踪的智能家居控制器的控制方法,步骤六所述用户界面及人眼注视点显示的过程为,
第一,用户界面和人眼注视点用液晶显示屏显示,FPGA芯片控制RGB三基色信号和行列同步信号;
第二,NIOS II内核模块读取SDRAM存储模块中的用户界面图像数据,之后将用户界面图像数据由总线传送给VGA控制器,再经数模转换模块转换成模拟信号,由VGA液晶显示屏显示。
具体实施方式十:
与具体实施方式九不同的是,本具体实施方式的基于眼动跟踪的智能家居控制器的控制方法,步骤七所述通信模块发送功能控制指令的过程为:
FPGA芯片内部数据总线接收来自NIOS II内核模块的功能控制指令,通过异步收发传输模块传送到红外通信模块,红外通信模块接收并转发功能控制指令,功能控制指令被指定家电上的红外接收模块接收并解码,实现对家电的远程控制。本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (6)
1.基于眼动跟踪的智能家居控制器的控制方法,
所述基于眼动跟踪的智能家居控制器包括:用于采集人脸部红外图像的图像采集模块;
用于将设计好的用户界面与用户视线位置显示在液晶显示屏中,实现人机交互的图像显示模块;
用于发出处理器发出的指令,控制室内电器的通信模块;
以及FPGA模块;
且FPGA模块中包括FPGA芯片及SRAM芯片:
其中FPGA芯片内部集成:
用于将图像采集模块采集到的人脸部红外图像进行二值化处理,找出人眼瞳孔与红外灯在人眼巩膜显示的光斑位置,估算人眼的视线方向的图像处理模块;
用于存储图像处理与功能判定所需的指令与算法,判断眼睛眨眼或注视动作,从而判断出视线所在图标的开启与关闭,并执行图标开启或关闭的功能判定模块;
用于将视频信号数据流解码转换成24bit图像数据的BT656解码模块;
用于缓存BT656解码模块解码得到的24bit图像数据的FIFO缓存模块;
用于读取FIFO缓存模块中的图像数据,并将数据发送到FPGA内部总线的READ接口模块;
用于将图像数据转换成灰度图像的NIOS II内核模块;
用于提供***时钟的CLK时钟模块;
用于配置SDRAM存储芯片的SDRAM控制器;
用于配置SRAM存储芯片的SRAM控制器;
用于读写FPGA总线的指令并将其发送到通信模块的UART控制器;以及
用于模拟信号生成的VGA控制器;
其特征在于:所述智能家居控制方法通过以下步骤实现,
步骤一、通过图像采集模块采集人脸部红外图像:
红外LED发光模块向人脸发射近红外光,CMOS摄像模块捕捉人脸部红外图像并存储至SDRAM存储模块中,之后输出复合视频信号;
步骤二、图像灰度处理过程:
令图像处理模块与功能判定模块共用FPGA芯片和SRAM存储芯片;
FPGA芯片通过内部的8位BT656接口模块接收图像采集模块发送的基带视频信号数据流,经BT656解码模块解码后得到24bits的图像数据送入FIFO缓存,而后READ接口模块读取FIFO缓存中的数据并将其发送到FPGA内部数据总线,NIOS II内核从数据总线上读取图像数据并将图像数据转换成灰度图像,最后NIOS II内核将灰度图像数据存储在SDRAM中;
步骤三、判定红外光斑位置,通过红外光斑位置粗定眼部位置并截取人眼部子图图像:
第一,NIOS II内核模块将经数据总线从SDRAM存储模块中读取的人脸部红外图像作为原始图像数据,在原始图像数据的每一列中,用一维掩膜[-1,-1,0,1,1]对每个像素进行扫描,计算每列亮度梯度最大值;
第二,将原始图像数据平均分成左右两部分,分别搜索左右两部分亮度梯度最大值,定位两个红外光斑所在列坐标;同时,分别在两个红外光斑所在的列中,对每个像素用相同的一维掩膜进行扫描,计算各行亮度梯度的最大值,从而确定红外光斑所在的行坐标;
第三,计算两个红外光斑的距离,利用眼球距离这一先验知识进行容错处理,粗定到眼部位置后,截取出人眼部子图图像;
步骤四,将灰度图像通过阈值分割进行二值化处理,确定瞳孔位置:
第一,设步骤二得到的灰度图像的灰度取值{0,1,…,l-1},其中,灰度值为i的像素的个数为ni,则灰度值为i的像素的出现概率为:Pi=ni/N;其中,N表示灰度图中像素总数;
第二,确定阈值t,选取分割阈值t,即分离性最大时作为最佳门限,实现最大类间方差原理的自适应阈值方法将灰度图像中的像素划分为两类:
将小于阈值t的像素设定为白,即:C0{0,1,…,t},
将大于阈值t的像素设定为黑,即:C1{t+1,t+2,…,l-1},得到人眼部二值化图像;
第三,在灰度图像中采用等权重质心法求瞳孔中心位置:
以当前计算的瞳孔位置为中心,选取包围瞳孔的矩形框,之后在矩形框内重复利用等权重质心法定位瞳孔中心,直到瞳孔中心的位置稳定为止,将稳定时瞳孔中心作为瞳孔粗定位中心,并获得估算的瞳孔半径;
第四,根据瞳孔粗定位中心及估算的瞳孔半径确定圆,以圆为边缘提取圆形搜索区域,在圆形搜索区域内,以圆心为原点并沿半径方向用一维边缘检测算子[-1,-1,0,1,1]提取瞳孔边缘点;
第五,选择N个瞳孔边缘点,采用最小二乘法对瞳孔中心进行圆拟合,计算瞳孔中心坐标(x0,y0)和半径R,确定出瞳孔中心位置;
步骤五,利用FPGA芯片中的NIOS II内核模块比对图像采集模块采集到的人脸部红外图像中红外光斑与瞳孔中心位置的位移量,进行视线校准与人眼注视点定位的处理;
步骤六、在经过步骤三、四和五先后进行的红外光斑位置、瞳孔位置和视线校准与人眼注视点定位三个步骤的处理后,将确定的视线位置数据通过总线传输给图像显示模块进行用户界面及人眼注视点显示;
步骤七、判定眼部动作并执行相应功能:
FPGA芯片内部的NIOS II内核模块首先搜索人眼部二值化图像中黑色目标区域的左右边界并计算二者的距离,然后与参考阈值比较:
若大于参考阈值时,判定为眼睛闭合;
若小于参考阈值时,判定为眼睛睁开;
若连续3帧都为眼睛闭合,则判定为眨眼;
根据判定的眼部动作判定相应功能控制指令,将确认出的功能控制指令通过数据总线传送给通信模块,通信模块发送功能控制指令,功能控制指令被指定家电接收并解码,实现对家电的远程控制。
2.根据权利要求1所述基于眼动跟踪的智能家居控制器的控制方法,其特征在于:步骤三所述采用最小二乘法对瞳孔中心进行圆拟合,计算瞳孔中心坐标(x0,y0)和半径R的过程为,
令:
对N个边缘点用上式求和,分别计算L对x0、y0及R的偏导数并令其为0,解方程组可得:
<mrow>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
<mo>=</mo>
<mo>-</mo>
<mfrac>
<mrow>
<mi>H</mi>
<mo>*</mo>
<mi>D</mi>
<mo>-</mo>
<mi>E</mi>
<mo>*</mo>
<mi>G</mi>
</mrow>
<mrow>
<mn>2</mn>
<mrow>
<mo>(</mo>
<mi>C</mi>
<mo>*</mo>
<mi>G</mi>
<mo>-</mo>
<msup>
<mi>D</mi>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
<mrow>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
<mo>=</mo>
<mo>-</mo>
<mfrac>
<mrow>
<mi>H</mi>
<mo>*</mo>
<mi>C</mi>
<mo>-</mo>
<mi>E</mi>
<mo>*</mo>
<mi>D</mi>
</mrow>
<mrow>
<mn>2</mn>
<mrow>
<mo>(</mo>
<msup>
<mi>D</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>G</mi>
<mo>*</mo>
<mi>C</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
<mrow>
<mi>R</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msubsup>
<mi>x</mi>
<mn>0</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>y</mi>
<mn>0</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<mi>F</mi>
</mrow>
</msqrt>
<mo>,</mo>
</mrow>
其中:
<mrow>
<mi>C</mi>
<mo>=</mo>
<mi>N</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msup>
<mrow>
<mo>(</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>,</mo>
</mrow>
<mrow>
<mi>D</mi>
<mo>=</mo>
<mi>N</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mrow>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mrow>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
</mrow>
<mrow>
<mi>E</mi>
<mo>=</mo>
<mi>N</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mn>3</mn>
</msubsup>
<mo>+</mo>
<mi>N</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>y</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mrow>
<mo>(</mo>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>y</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
</mrow>
<mrow>
<mi>F</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>y</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mn>2</mn>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</msubsup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mn>2</mn>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</msubsup>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mrow>
<mi>N</mi>
</mfrac>
<mo>,</mo>
</mrow>
<mrow>
<mi>G</mi>
<mo>=</mo>
<mi>N</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msubsup>
<mi>y</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msup>
<mrow>
<mo>(</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>,</mo>
</mrow>
<mrow>
<mi>H</mi>
<mo>=</mo>
<mi>N</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msubsup>
<mi>y</mi>
<mi>i</mi>
<mn>3</mn>
</msubsup>
<mo>+</mo>
<mi>N</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mrow>
<mo>(</mo>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>y</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>.</mo>
</mrow>
3.根据权利要求1或2所述基于眼动跟踪的智能家居控制器的控制方法,其特征在于:步骤四所述确定阈值t的过程为,
人眼部子图图像中黑白两类像素的出现概率分别为:和
黑白两类像素的灰度均值分别为:和
人眼部子图图像的总体灰度为:
求出C0和C1这两类像素的类间方差:并将两类像素的类间方差取最大值时的t确定为阈值。
4.根据权利要求3所述基于眼动跟踪的智能家居控制器的控制方法,其特征在于:步骤五所述视线校准与人眼注视点定位的处理的过程为,
在进行视线校准时:
第一,在VGA液晶显示屏上显示一组参考注视点,当用户注视参考点时,眼动跟踪装置测量瞳孔中心位置与红外光斑的相对位置偏移量;
第二,通过最小二乘曲线拟合,确定瞳孔中心位置及红外光斑相对位置偏移量与注视点的映射关系:
眼动跟踪控制装置采用拟合函数为6参数拟合函数:
进行拟合校准;
在进行人眼注视点定位时:
根据拟合校准得到的映射函数以及人眼部子图图像中瞳孔中心位置和红外光斑相对位置偏移量计算人眼注视点,并叠加到VGA显示屏。
5.根据权利要求1、2或4所述基于眼动跟踪的智能家居控制器的控制方法,其特征在于:
步骤六所述用户界面及人眼注视点显示的过程为,
第一,用户界面和人眼注视点用液晶显示屏显示,FPGA芯片控制RGB三基色信号和行列同步信号;
第二,NIOS II内核模块读取SDRAM存储模块中的用户界面图像数据,之后将用户界面图像数据由总线传送给VGA控制器,再经数模转换(D/A)模块转换成模拟信号,由VGA液晶显示屏显示。
6.根据权利要求5所述基于眼动跟踪的智能家居控制器的控制方法,其特征在于:步骤七所述通信模块发送功能控制指令的过程为:
FPGA芯片内部数据总线接收来自NIOS II内核模块的功能控制指令,通过异步收发传输模块传送到红外通信模块,红外通信模块接收并转发功能控制指令,功能控制指令被指定家电上的红外接收模块接收并解码,实现对家电的远程控制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510574550.9A CN105159460B (zh) | 2015-09-10 | 2015-09-10 | 基于眼动跟踪的智能家居控制器的控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510574550.9A CN105159460B (zh) | 2015-09-10 | 2015-09-10 | 基于眼动跟踪的智能家居控制器的控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105159460A CN105159460A (zh) | 2015-12-16 |
CN105159460B true CN105159460B (zh) | 2018-01-23 |
Family
ID=54800340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510574550.9A Expired - Fee Related CN105159460B (zh) | 2015-09-10 | 2015-09-10 | 基于眼动跟踪的智能家居控制器的控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105159460B (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105677026B (zh) * | 2015-12-31 | 2020-01-31 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
CN105678286B (zh) * | 2016-02-29 | 2019-03-15 | 徐鹤菲 | 一种瞳孔定位方法及设备 |
CN106125941B (zh) * | 2016-08-12 | 2023-03-10 | 东南大学 | 多设备切换控制装置及多设备控制*** |
CN106444403A (zh) * | 2016-10-29 | 2017-02-22 | 深圳智乐信息科技有限公司 | 一种智能家居场景设置和控制的方法及*** |
CN106444404A (zh) * | 2016-10-29 | 2017-02-22 | 深圳智乐信息科技有限公司 | 一种控制方法及*** |
CN106569467A (zh) * | 2016-10-29 | 2017-04-19 | 深圳智乐信息科技有限公司 | 基于移动终端选择场景的方法及*** |
CN107024991A (zh) * | 2017-04-13 | 2017-08-08 | 长沙职业技术学院 | 一种基于物联网的眼镜*** |
CN107452026A (zh) * | 2017-08-08 | 2017-12-08 | 何佳芮 | 一种用于图像光斑质心的处理***及其方法 |
CN107620996A (zh) * | 2017-10-12 | 2018-01-23 | 信利光电股份有限公司 | 一种智能吸油烟机及其使用方法 |
CN108052079B (zh) * | 2017-12-12 | 2021-01-15 | 北京小米移动软件有限公司 | 设备控制方法、装置、设备控制装置及存储介质 |
CN110096130A (zh) * | 2018-01-29 | 2019-08-06 | 美的集团股份有限公司 | 控制方法及装置、热水器和计算机可读存储介质 |
CN108803866A (zh) * | 2018-03-27 | 2018-11-13 | 北京七鑫易维信息技术有限公司 | 输出信息的方法、装置和*** |
CN108551699B (zh) * | 2018-04-20 | 2019-10-01 | 哈尔滨理工大学 | 一种眼动控制智能灯以及其控制方法 |
CN108595008B (zh) * | 2018-04-27 | 2022-02-08 | 北京计算机技术及应用研究所 | 基于眼动控制的人机交互方法 |
CN108670263A (zh) * | 2018-05-18 | 2018-10-19 | 哈尔滨理工大学 | 一种基于mpu-6050的睡眠姿态判定方法 |
CN108681403A (zh) * | 2018-05-18 | 2018-10-19 | 吉林大学 | 一种采用视线跟踪的小车控制方法 |
CN108919957A (zh) * | 2018-07-16 | 2018-11-30 | 北京七鑫易维信息技术有限公司 | 一种图像传输方法、装置、终端设备及存储介质 |
CN109684915B (zh) * | 2018-11-12 | 2021-01-01 | 温州医科大学 | 瞳孔跟踪图像处理方法 |
CN110147166A (zh) * | 2019-06-11 | 2019-08-20 | 大连民族大学 | 一种基于眼球体感信号的智能控制*** |
CN113885706A (zh) * | 2021-10-19 | 2022-01-04 | 清华大学 | 一种交互控制方法、装置及*** |
CN114190146B (zh) * | 2021-12-09 | 2023-03-21 | 东莞市顺成园林绿化有限公司 | 一种园林景观组合式立体绿化智能*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101344919A (zh) * | 2008-08-05 | 2009-01-14 | 华南理工大学 | 视线跟踪方法及应用该方法的残疾人辅助*** |
US20130114850A1 (en) * | 2011-11-07 | 2013-05-09 | Eye-Com Corporation | Systems and methods for high-resolution gaze tracking |
CN104898971A (zh) * | 2015-05-11 | 2015-09-09 | 昆明理工大学 | 一种基于视线跟踪技术的鼠标指针控制方法及*** |
-
2015
- 2015-09-10 CN CN201510574550.9A patent/CN105159460B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101344919A (zh) * | 2008-08-05 | 2009-01-14 | 华南理工大学 | 视线跟踪方法及应用该方法的残疾人辅助*** |
US20130114850A1 (en) * | 2011-11-07 | 2013-05-09 | Eye-Com Corporation | Systems and methods for high-resolution gaze tracking |
CN104898971A (zh) * | 2015-05-11 | 2015-09-09 | 昆明理工大学 | 一种基于视线跟踪技术的鼠标指针控制方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN105159460A (zh) | 2015-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105159460B (zh) | 基于眼动跟踪的智能家居控制器的控制方法 | |
US11196917B2 (en) | Electronic system with eye protection | |
CN108229277B (zh) | 手势识别、手势控制及多层神经网络训练方法、装置及电子设备 | |
CN110032271B (zh) | 对比度调节装置及其方法、虚拟现实设备及存储介质 | |
CN109074819A (zh) | 基于操作-声音的多模式命令的优选控制方法及应用其的电子设备 | |
CN110163806B (zh) | 一种图像处理方法、装置以及存储介质 | |
CN111079475A (zh) | 驾驶状态检测方法和装置、驾驶员监控***、车辆 | |
US20180048482A1 (en) | Control system and control processing method and apparatus | |
CN111079476A (zh) | 驾驶状态分析方法和装置、驾驶员监控***、车辆 | |
US9256324B2 (en) | Interactive operation method of electronic apparatus | |
CN110956060A (zh) | 动作识别、驾驶动作分析方法和装置及电子设备 | |
CN101609660A (zh) | 数字相框、信息处理***和控制方法 | |
CN108198159A (zh) | 一种图像处理方法、移动终端以及计算机可读存储介质 | |
CN103353935A (zh) | 一种用于智能家居***的3d动态手势识别方法 | |
EP1487341A1 (en) | Real-time eye detection and tracking under various light conditions | |
CN110398899A (zh) | 一种基于Kinect的智能家居控制*** | |
CN111222493A (zh) | 一种视频处理方法及装置 | |
CN108307110A (zh) | 一种图像虚化方法及移动终端 | |
KR20230134508A (ko) | 착용형 뇌파 전위 기술 센서 및 이를 이용한 디바이스제어 방법 | |
CN109947243A (zh) | 基于触摸手检测的智能电子设备手势捕获与识别技术 | |
Wu et al. | NIR-based gaze tracking with fast pupil ellipse fitting for real-time wearable eye trackers | |
CN110930372A (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
WO2022142079A1 (zh) | 图形码显示方法、装置、终端及存储介质 | |
CN109040416A (zh) | 一种终端显示控制方法、终端及计算机可读存储介质 | |
CN117234405A (zh) | 信息输入方法以及装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180123 Termination date: 20210910 |
|
CF01 | Termination of patent right due to non-payment of annual fee |