CN102129554A - 一种基于视线跟踪的密码输入控制方法 - Google Patents
一种基于视线跟踪的密码输入控制方法 Download PDFInfo
- Publication number
- CN102129554A CN102129554A CN 201110067148 CN201110067148A CN102129554A CN 102129554 A CN102129554 A CN 102129554A CN 201110067148 CN201110067148 CN 201110067148 CN 201110067148 A CN201110067148 A CN 201110067148A CN 102129554 A CN102129554 A CN 102129554A
- Authority
- CN
- China
- Prior art keywords
- blinkpunkt
- password input
- eye
- human eye
- password
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种基于视线跟踪的密码输入控制方法,该密码输入控制方法具体包括以下步骤:(1)人脸图像预处理及人眼特征参数提取:根据人脸的结构特性进行人脸检测并在符合人脸结构特性的人脸区域内进行人眼特征参数的提取;(2)估计当前注视点位置:采用基于相似三角形的双光源视线跟踪实现从人眼特征参数到当前注视点位置的估计;(3)根据注视点位置进行密码输入操作控制:根据注视点的位置,利用时间门限及声音反馈来控制密码输入的操作。本发明可有效地防止用户密码被窃取,不通过键盘输入密码,避免了不同个体之间通过键盘上残留的细菌病毒形成交叉感染;具有简单方便、安全性更高的特点。
Description
技术领域
本发明涉及一种密码输入控制方法,属于视频、多媒体信号处理及智能化控制技术领域。
背景技术
随着科学的发展以及信息保密的需求,密码输入***已成为人们生活中密不可少的一部分,例如金融交易中的账户密码输入、防盗门密码输入、手机或电脑的解锁密码以及个人机密或隐私文件的查阅密码输入等,为人们的财产、商业机密或个人隐私提供了安全性保证。
然而,密码输入***越来越广泛的应用在给人们带来方便的同时也存在不少的安全隐患。由于目前的密码输入***都要使用密码键盘或触摸屏***进行密码输入,这都离不开手和键盘或屏幕的接触,这为不法分子窃取用户密码提供了可乘之机。他们可以利用从不同的角度偷窥、偷装***拍摄密码输入过程、在键盘上或屏幕上贴附用于指纹提取的薄膜来窃取用户密码,甚至可通过键盘磨损来破解用户电脑、手机或防盗门密码,给人们带来巨大的损失。
发明内容
针对现有密码输入技术存在的安全隐患,本发明提供一种简单方便、安全性更高的基于视线跟踪的密码输入控制方法。
本发明的基于视线跟踪的密码输入控制方法,通过对采集到的人脸图像进行处理来获取人眼的特征参数,进而估计出人眼在屏幕上注视点的位置,并根据注视点的位置完成密码的输入控制,具体包括以下步骤:
(1)人脸图像预处理及人眼特征参数提取:根据人脸的结构特性进行人脸检测并在符合人脸结构特性的人脸区域内进行人眼特征参数的提取;
上述步骤(1)的具体实现步骤为:
A当接收到激励信号时,通过摄像机及红外光源拍摄人脸图像,根据灰度特性及人脸结构特性从所拍摄的人脸图像中去除背景噪声的影响;
B根据人眼的位置结构及瞳孔与角膜反射点之间的灰度差从识别出的人脸区域中进行人眼定位;
C从定位出的人眼区域中提取用于视线跟踪的瞳孔中心坐标及反射点坐标的人眼特征参数;
(2)估计当前注视点位置:采用基于相似三角形的双光源视线跟踪实现从人眼特征参数到当前注视点位置的估计;
上述步骤(2)的具体实现步骤如下:
A采用相似三角形的方法估计注视点的大致位置;
B将一个固定位置的红外光源作为参考目标,根据该参考目标的估计值与真实值之间的误差进行注视点位置估计结果的校正,得到精确的注视点位置。
(3)根据注视点位置进行密码输入操作控制:根据注视点的位置,利用时间门限及声音反馈来控制密码输入的操作。
上述步骤(3)的具体实现步骤为:
A判断估计出的注视点位置是否在数字键或指令键区域,若在则计时,当视线在该位置驻留超过一定时间门限,***便接受该输入指令;
B通过声音反馈输入指令的状态,当用户听到声音反馈时表明该指令已被***接受,用户可通过视线来控制下一条指令的输入。
实现上述基于视线跟踪的密码输入控制方法的密码输入***,包括一个能够显示密码输入键盘及其他操作按钮的显示屏,并在显示屏幕下边界的中间位置安放一个摄像头,用于人脸图像的拍摄;另外,分别在显示屏的左下角、右下角以及左上角各放置一个红外光源,其中,左下角和右下角的红外光源用于从人眼特征到屏幕上注视点位置的估计,左上角的红外光源则被作为参考目标位置,用于视线估计的校正。
本发明利用视线跟踪对密码输入进行控制,由于没有手与键盘或触摸屏的直接接触行为,不用担心输密码时被偷窥也不会留下任何指纹,可有效地防止用户密码被窃取;另外,不通过键盘输入密码,避免了不同个体之间通过键盘上残留的细菌病毒形成交叉感染;具有简单方便、安全性更高的特点。
附图说明
图1是本发明基于视线跟踪的密码输入控制方法的原理框架图。
图2是本发明中密码输入***的结构示意图。
图3是屏幕上注视点估计原理图。
图4是注视点估计实验结果图。
具体实施方式
本发明基于视线跟踪的密码输入控制方法的实现需要一个如图2所示的密码输入***,该***包括一个能够显示密码输入键盘及其他操作按钮的显示屏,并在显示屏幕下边界的中间位置安放一个摄像头,用于人脸图像的拍摄;另外,分别在显示屏的左下角、右下角以及左上角各放置一个红外光源,其中,左下角和右下角的红外光源用于从人眼特征到屏幕上注视点位置的估计,左上角的红外光源则被作为参考目标位置,用于视线估计的校正。
图1给出了本发明基于视线跟踪的密码输入控制方法的原理框架图,以ATM机密码输入***为例来介绍本发明的具体实施步骤如下:
1.人脸图像预处理及人眼特征参数的提取。通过对所拍摄图像进行预处理来识别人脸,防止不法分子遮挡脸部盗取存款,并对通过人脸检测的图像进行人眼定位及人眼特征参数提取。其具体实施步骤如下:
(1)当银行卡***时启动摄像机及红外光源,从所拍摄图像中寻找符合人脸结构特性的人脸区域,若不存在符合条件的人脸区域则表明疑似非法作案并强制退卡,若存在则继续下面的操作。
(2)对于通过人脸检测的图像,则根据瞳孔及反射点的灰度差从检测出的人脸区域中定位眼睛区域。
人脸图像中瞳孔与角膜上的反射点在灰度特性上存在很大的差异,反射点具有较高的灰度值而瞳孔区域则具有较低的灰度值,根据图像中所有像素点灰度值的最大值及最小值可计算获得高阈值T_reflect以及低阈值T_black,用T_reflect和T_black分别对人脸图像进行二值化,则可得到带有干扰的反射点区域以及瞳孔区域。根据反射点及瞳孔区域的大小、位置、距离以及结构特性去除区域中的干扰区域,去除干扰的反射点区域与大致的瞳孔区域的交集即为人眼角膜上的反射点,据此,可以定位出较为精确的人眼区域。
2.当前注视点位置估计。采用相似三角的方法来估计屏幕上注视点的位置,如图3所示,并通过设置参考目标的方式来校正注视点估计的结果,实现当前注视点的精确估计。其具体实施步骤如下:
(2)将左上角的红外光源L3作为参考目标,其坐标位置为根据该参考目标的估计值与真实值之间的误差进行注视点位置估计结果的校正,得到精确的注视点位置。若利用相似三角形方法估计出的L3的坐标位置为则可得到参考目标估计与真实值之间的在X轴及Y轴上的误差根据与当前注视点估计值之间的距离及来校正注视点估计的结果,得到精确的注视点估计值。
3.根据注视点位置进行存取款操作。根据注视点的位置,利用时间门限及声音反馈来控制ATM机的存取款操作,其具体实施步骤为:
(1)判断估计出的注视点位置是否在数字键或指令键区域,若在则计时,当视线在该位置驻留超过500ms,当注视点位置在数字键区域时则输入该位密码,若在指令按钮区域则接受该指令操作。
(2)当用户听到声音反馈时表明上条指令已被***接受,若此时任务已完成,则通过视线注视“退卡”按键退卡,停止摄像头和红外光源运作,若未完成则通过视线跟踪实现下一步指令的操作。
图4为利用目前所研究的视线跟踪算法对带有键盘按键的图片进行的注视点估计结果。实验中注视的位置为窗口的关闭符号,QQ号码的数字8,键盘上的数字0,键盘上的字母m,以及自动登录前的白框,“+”表示估计出的注视点位置。从实验结果精度来看,若合理设置键盘按键及操作按钮在显示屏上的的尺寸大小及位置,便可保证密码输入***指令的准确控制。另外,由于***不对采集图像进行记录,用户不必担心***安全性问题,并可以为用户的账户密码安全提供更有力的保障。
Claims (4)
1.一种基于视线跟踪的密码输入控制方法,其特征是,通过对采集到的人脸图像进行处理来获取人眼的特征参数,进而估计出人眼在屏幕上注视点的位置,并根据注视点的位置完成密码的输入控制,具体包括以下步骤:
(1)人脸图像预处理及人眼特征参数提取:根据人脸的结构特性进行人脸检测并在符合人脸结构特性的人脸区域内进行人眼特征参数的提取;
(2)估计当前注视点位置:采用基于相似三角形的双光源视线跟踪实现从人眼特征参数到当前注视点位置的估计;
(3)根据注视点位置进行密码输入操作控制:根据注视点的位置,利用时间门限及声音反馈来控制密码输入的操作。
2.根据权利要求1所述的基于视线跟踪的密码输入控制方法,其特征在于,所述步骤(1)的具体实现步骤为:
A当接收到激励信号时,通过摄像机及红外光源拍摄人脸图像,根据灰度特性及人脸结构特性从所拍摄的人脸图像中去除背景噪声的影响;
B根据人眼的位置结构及瞳孔与角膜反射点之间的灰度差从识别出的人脸区域中进行人眼定位;
C从定位出的人眼区域中提取用于视线跟踪的瞳孔中心坐标及反射点坐标的人眼特征参数;
3.根据权利要求1所述的基于视线跟踪的密码输入控制方法,其特征在于,所述步骤(2)的具体实现步骤如下:
A采用相似三角形的方法估计注视点的大致位置;
B将一个固定位置的红外光源作为参考目标,根据该参考目标的估计值与真实值之间的误差进行注视点位置估计结果的校正,得到精确的注视点位置。
4.根据权利要求1所述的基于视线跟踪的密码输入控制方法,其特征在于,所述步骤(3)的具体实现步骤为:
A判断估计出的注视点位置是否在数字键或指令键区域,若在则计时,当视线在该位置驻留超过一定时间门限,***便接受该输入指令;
B通过声音反馈输入指令的状态,当用户听到声音反馈时表明该指令已被***接受,用户可通过视线来控制下一条指令的输入。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110067148 CN102129554B (zh) | 2011-03-18 | 2011-03-18 | 一种基于视线跟踪的密码输入控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110067148 CN102129554B (zh) | 2011-03-18 | 2011-03-18 | 一种基于视线跟踪的密码输入控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102129554A true CN102129554A (zh) | 2011-07-20 |
CN102129554B CN102129554B (zh) | 2013-01-16 |
Family
ID=44267634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110067148 Expired - Fee Related CN102129554B (zh) | 2011-03-18 | 2011-03-18 | 一种基于视线跟踪的密码输入控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102129554B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102981736A (zh) * | 2012-10-29 | 2013-03-20 | 华为终端有限公司 | 屏幕解锁的方法及终端 |
CN103077338A (zh) * | 2011-10-26 | 2013-05-01 | 由田新技股份有限公司 | 视线追踪密码输入方法和装置 |
CN103593051A (zh) * | 2013-11-11 | 2014-02-19 | 百度在线网络技术(北京)有限公司 | 头戴式显示设备 |
CN103850582A (zh) * | 2012-11-30 | 2014-06-11 | 由田新技股份有限公司 | 眼动操作密码输入的方法及使用该方法的保险箱 |
CN103902042A (zh) * | 2014-03-27 | 2014-07-02 | 宇龙计算机通信科技(深圳)有限公司 | 一种终端、防偷窥方法及装置 |
CN103927014A (zh) * | 2014-04-21 | 2014-07-16 | 广州杰赛科技股份有限公司 | 一种字符输入方法及装置 |
CN103946887A (zh) * | 2011-11-09 | 2014-07-23 | 乐天株式会社 | 注视位置估计***、注视位置估计***的控制方法、注视位置估计装置、注视位置估计装置的控制方法、程序以及信息存储介质 |
CN104036586A (zh) * | 2014-06-09 | 2014-09-10 | 京东方科技集团股份有限公司 | 一种眼控显示设备及其显示方法、atm机*** |
CN105138965A (zh) * | 2015-07-31 | 2015-12-09 | 东南大学 | 一种近眼式视线跟踪方法及其*** |
CN106155290A (zh) * | 2014-11-06 | 2016-11-23 | 现代自动车株式会社 | 利用视线追踪的菜单选择设备 |
CN108140244A (zh) * | 2015-12-01 | 2018-06-08 | Jvc 建伍株式会社 | 视线检测装置以及视线检测方法 |
CN108985172A (zh) * | 2018-06-15 | 2018-12-11 | 北京七鑫易维信息技术有限公司 | 一种基于结构光的视线追踪方法、装置、设备及存储介质 |
CN110325467A (zh) * | 2017-02-28 | 2019-10-11 | 三菱电机株式会社 | 电梯的呼梯登记*** |
CN110634247A (zh) * | 2018-06-25 | 2019-12-31 | 京瓷办公信息***株式会社 | 密码验证装置及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0468340A2 (en) * | 1990-07-24 | 1992-01-29 | BioControl Systems, Inc. | Eye directed controller |
CN101515199A (zh) * | 2009-03-24 | 2009-08-26 | 北京理工大学 | 一种基于视线跟踪和p300脑电电位的字符输入装置 |
CN101576771A (zh) * | 2009-03-24 | 2009-11-11 | 山东大学 | 基于非均匀样本插值的眼动仪定标方法 |
CN101866215A (zh) * | 2010-04-20 | 2010-10-20 | 复旦大学 | 在视频监控中采用视线跟踪的人机交互装置和方法 |
-
2011
- 2011-03-18 CN CN 201110067148 patent/CN102129554B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0468340A2 (en) * | 1990-07-24 | 1992-01-29 | BioControl Systems, Inc. | Eye directed controller |
CN101515199A (zh) * | 2009-03-24 | 2009-08-26 | 北京理工大学 | 一种基于视线跟踪和p300脑电电位的字符输入装置 |
CN101576771A (zh) * | 2009-03-24 | 2009-11-11 | 山东大学 | 基于非均匀样本插值的眼动仪定标方法 |
CN101866215A (zh) * | 2010-04-20 | 2010-10-20 | 复旦大学 | 在视频监控中采用视线跟踪的人机交互装置和方法 |
Non-Patent Citations (1)
Title |
---|
《中国优秀硕士学位论文全文数据库》 20080615 蒋春燕 视线跟踪技术及其在人际交互字符输入中的应用目录 第10页第1段,第14页第1段,第35页第3-4段,第36页第4段,第37页第1-3段,第39页第1段,图2-2 1-4 , 第06期 * |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103077338A (zh) * | 2011-10-26 | 2013-05-01 | 由田新技股份有限公司 | 视线追踪密码输入方法和装置 |
CN103077338B (zh) * | 2011-10-26 | 2017-04-26 | 由田新技股份有限公司 | 视线追踪密码输入方法和装置 |
CN103946887A (zh) * | 2011-11-09 | 2014-07-23 | 乐天株式会社 | 注视位置估计***、注视位置估计***的控制方法、注视位置估计装置、注视位置估计装置的控制方法、程序以及信息存储介质 |
CN103946887B (zh) * | 2011-11-09 | 2017-05-17 | 乐天株式会社 | 注视位置估计***、注视位置估计装置及它们的控制方法 |
CN102981736B (zh) * | 2012-10-29 | 2016-11-23 | 华为终端有限公司 | 屏幕解锁的方法及终端 |
CN102981736A (zh) * | 2012-10-29 | 2013-03-20 | 华为终端有限公司 | 屏幕解锁的方法及终端 |
CN103850582A (zh) * | 2012-11-30 | 2014-06-11 | 由田新技股份有限公司 | 眼动操作密码输入的方法及使用该方法的保险箱 |
CN103593051A (zh) * | 2013-11-11 | 2014-02-19 | 百度在线网络技术(北京)有限公司 | 头戴式显示设备 |
CN103902042A (zh) * | 2014-03-27 | 2014-07-02 | 宇龙计算机通信科技(深圳)有限公司 | 一种终端、防偷窥方法及装置 |
CN103927014A (zh) * | 2014-04-21 | 2014-07-16 | 广州杰赛科技股份有限公司 | 一种字符输入方法及装置 |
CN104036586B (zh) * | 2014-06-09 | 2017-01-18 | 京东方科技集团股份有限公司 | 一种眼控显示设备及其显示方法、atm机*** |
CN104036586A (zh) * | 2014-06-09 | 2014-09-10 | 京东方科技集团股份有限公司 | 一种眼控显示设备及其显示方法、atm机*** |
CN106155290A (zh) * | 2014-11-06 | 2016-11-23 | 现代自动车株式会社 | 利用视线追踪的菜单选择设备 |
CN106155290B (zh) * | 2014-11-06 | 2019-04-23 | 现代自动车株式会社 | 利用视线追踪的菜单选择设备 |
CN105138965A (zh) * | 2015-07-31 | 2015-12-09 | 东南大学 | 一种近眼式视线跟踪方法及其*** |
CN105138965B (zh) * | 2015-07-31 | 2018-06-19 | 东南大学 | 一种近眼式视线跟踪方法及其*** |
CN108140244B (zh) * | 2015-12-01 | 2021-09-24 | Jvc 建伍株式会社 | 视线检测装置以及视线检测方法 |
CN108140244A (zh) * | 2015-12-01 | 2018-06-08 | Jvc 建伍株式会社 | 视线检测装置以及视线检测方法 |
CN110325467A (zh) * | 2017-02-28 | 2019-10-11 | 三菱电机株式会社 | 电梯的呼梯登记*** |
CN110325467B (zh) * | 2017-02-28 | 2021-10-01 | 三菱电机株式会社 | 电梯的呼梯登记*** |
CN108985172A (zh) * | 2018-06-15 | 2018-12-11 | 北京七鑫易维信息技术有限公司 | 一种基于结构光的视线追踪方法、装置、设备及存储介质 |
CN110634247A (zh) * | 2018-06-25 | 2019-12-31 | 京瓷办公信息***株式会社 | 密码验证装置及电子设备 |
CN110634247B (zh) * | 2018-06-25 | 2022-04-26 | 京瓷办公信息***株式会社 | 密码验证装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN102129554B (zh) | 2013-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102129554A (zh) | 一种基于视线跟踪的密码输入控制方法 | |
US11330012B2 (en) | System, method, and device of authenticating a user based on selfie image or selfie video | |
US8447273B1 (en) | Hand-held user-aware security device | |
US10671716B2 (en) | User authentication method and system using variable keypad and biometric identification | |
US10127439B2 (en) | Object recognition method and apparatus | |
EP3012769B1 (en) | Controlled access to functionality of a wireless device | |
EP3493088B1 (en) | Security gesture authentication | |
EP3872689A1 (en) | Liveness detection method and device, electronic apparatus, storage medium and related system using the liveness detection method | |
EP1635307A1 (en) | Information processing apparatus | |
CN106778141B (zh) | 基于手势识别的解锁方法、装置及移动终端 | |
US20130342672A1 (en) | Using gaze determination with device input | |
CN106600855A (zh) | 基于面部识别的支付装置和方法 | |
US9898721B2 (en) | Display system with security features | |
CN105426730A (zh) | 登录验证处理方法、装置及终端设备 | |
CN103871165A (zh) | 自助设备的安全监测方法及装置 | |
US20170083695A1 (en) | Method for using eye tracking and eye biometrics for authentication | |
WO2021220423A1 (ja) | 認証装置、認証システム、認証方法および認証プログラム | |
US20240153316A1 (en) | Image processing device, image processing method, and storage medium | |
KR101576557B1 (ko) | 모바일 단말기용 지문인식 해킹방지 장치 및 지문 해킹방지용 표면부재와 그 지문해킹 방지방법 | |
US11720655B2 (en) | System, device and method for logging-in by staring at a display device | |
CN112784323B (zh) | 一种信息保护装置及电子设备 | |
JP2019503545A (ja) | ユーザの生体測定を分析するための方法および指紋感知システム | |
US20200160038A1 (en) | Electronic Device, and Visual Recognition System and Method Thereof | |
CN206271123U (zh) | 基于面部识别的支付装置 | |
US11507646B1 (en) | User authentication using video analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130116 Termination date: 20160318 |
|
CF01 | Termination of patent right due to non-payment of annual fee |