CN104809440A - 一种异常视线停驻的识别与提醒方法及装置 - Google Patents
一种异常视线停驻的识别与提醒方法及装置 Download PDFInfo
- Publication number
- CN104809440A CN104809440A CN201510213890.9A CN201510213890A CN104809440A CN 104809440 A CN104809440 A CN 104809440A CN 201510213890 A CN201510213890 A CN 201510213890A CN 104809440 A CN104809440 A CN 104809440A
- Authority
- CN
- China
- Prior art keywords
- sight line
- data
- parks
- abnormal
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Eye Examination Apparatus (AREA)
- Alarm Systems (AREA)
Abstract
本发明涉及一种异常视线停驻的识别与提醒方法及装置,所述方法使用的装置包括:可穿戴终端设备、云端信号处理单元、处理结果反送单元;其中,可穿戴终端设备佩戴于测试人员身体,用于捕捉并传输被测试人视线停驻数据;云端信号处理单元用于计算被测试人视线停驻数据;处理结果反送单元负责将云端信号处理单元下达指令需要提示的异常视线停驻结果通过无线网络发送回可穿戴终端设备;云端信号处理单元,通过无线信号接收,将被测试人的视线停驻数据进行三个阶段的处理:第一阶段,计算被测试人的视线停驻基线数据;第二阶段,捕捉测试问题问答阶段的视线停驻数据;第三阶段,将第二阶段的所述视线停驻数据比对第一阶段的视线停驻基线数据并进行相对运算,过滤得出异常视线停驻结果。
Description
技术领域
本发明涉及一种异常视线停驻的识别与提醒方法及装置,属于智能表情识别领域。
背景技术
微表情是一种持续时间仅为1/25秒至1/5秒的非常快速的表情,表达了人试图压抑与隐藏的真正情感。微表情是人类试图压抑或隐藏真实情感时泄露的非常短暂的、不能自主控制的面部表情。作为识别谎言的有效线索,微表情可应用于安全、司法、临床等领域。
现有的可穿戴(便携)表情识别设备分为两类,一类佩戴于被测试人身上,一类佩戴于测试人员身上,也有的是试用固定摄像头针对被测试人员拍摄,非便携但功能与第二类相似。
第一类佩戴于被测试人身上的视线停驻识别装备,具有的缺点是干扰被测人员的自然视线停驻。视线停驻测试的理想状况是对被测试人员没有任何视觉方面的干扰,否则无法厘清被测试人员的视线停驻产生原因,很难和其心理状态变化进行因果关联,很有可能其视线停驻是由设备的佩戴、对设备的好奇、关注等原因引发,所以所得数据是被污染的数据。
第二类为测试人员方所佩戴或使用的设备,在被测试身体以外拍摄和识别被测试人员的表情与视线停驻,这类设备存在的缺点非常明显。无论是表情捕捉和识别软件,还是视线停驻捕捉与分析设备,都缺少两个至关重要的因素,一是没有办法建立与所提测试问题之间的关联,二是没有建立基线的算法过程。所以,这类设备仅仅能够起到“表演表情”的识别作用,而不能捕捉并分析代表被测试人员真实心态的细微表情和异常视线停驻。要弥补这些缺点,需要解决两个问题,首先是测试方法中和测试问题的关联技术,其次是建立被测试人员个人基线数据的算法。
发明内容
为达到根据微表情分析被测人员心理活动的目的,本发明涉及一种异常视线停驻的识别与提醒方法,所述方法使用的装置包括:可穿戴终端设备、云端信号处理单元、处理结果反送单元;其中,可穿戴终端设备佩戴于测试人员身体,用于捕捉并传输被测试人视线停驻数据;云端信号处理单元用于计算被测试人视线停驻数据;处理结果反送单元负责将云端信号处理单元下达指令需要提示的异常视线停驻结果通过无线网络发送回可穿戴终端设备。
云端信号处理单元,通过无线信号接收,将被测试人的视线停驻数据进行三个阶段的处理:
第一阶段,计算被测试人的视线停驻基线数据;
第二阶段,捕捉测试问题问答阶段的视线停驻数据;
第三阶段,将第二阶段的所述视线停驻数据比对第一阶段的视线停驻基线数据并进行相对运算,过滤得出异常视线停驻结果。
另外,本发明还提供一种异常视线停驻的识别与提醒装置,所述装置包括互相独立的如下设备:可穿戴终端设备、云端信号处理单元、处理结果反送单元;其中,可穿戴终端设备佩戴于测试人员身体,用于捕捉并传输被测试人视线停驻数据;云端信号处理单元用于计算被测试人视线停驻数据;处理结果反送单元负责将云端信号处理单元下达指令需要提示的异常视线停驻结果通过无线网络发送回可穿戴终端设备。
进一步地,所述可穿戴终端设备包括眼镜和耳机,所述眼镜配有高清摄像头(1)和通信模块(2)。
进一步地,所述眼镜为单片或双片,所述眼镜配有信号传输单元,所述信号传输单元具有屏幕,可以进行视觉信息提示。
本发明的优点包括:
1)设备终端可穿戴(便携),且佩戴于测试人员一方,对于被测试人不会产生任何干扰,不会引发被测试人的关注、好奇、敏感或恐惧,所得测试数据都是由测试问题引发,不会产生被污染数据,大幅提高测试的准确性。
2)在可穿戴设备终端的后方,是由高性能计算***组成的云端信号处理单元,拥有独特的算法程序和先进的处理能力,能够分为三大项指标有效分析被测试人员的异常视线停驻。而且,在测试过程中,针对不同被测试人员个体,首先建立基线数据,确保测试数据的针对性,大幅提高测试准确度。
3)根据云端信号处理单元的计算结果,通过反送单元以音频的形式反馈给测试人员,可以实时让测试人员掌握被测试人员的心态和情绪状态,辅助测试的顺利完成。
附图说明
通过参照附图更详细地描述本发明的示例性实施例,本发明的以上和其它方面及优点将变得更加易于清楚,在附图中:
图1为本发明的一种视线停驻的识别与提醒装置的原理意图;
图2为本发明所使用的手机结构示意图;
图3为本发明的眼镜结构示意图;
图4为本发明根据停驻对焦的方法流程图;
图5为本发明根据停驻时长的方法流程图。
具体实施方式
在下文中,现在将参照附图更充分地描述本发明,在附图中示出了各种实施例。然而,本发明可以以许多不同的形式来实施,且不应该解释为局限于在此阐述的实施例。相反,提供这些实施例使得本公开将是彻底和完全的,并将本发明的范围充分地传达给本领域技术人员。
在下文中,将参照附图更详细地描述本发明的示例性实施例。
本发明是具备“异常视线停驻的表情识别与提醒”功能的可穿戴设备。
本发明由三个部分组成:可穿戴终端设备、云端信号处理单元、处理结果反送单元。其中,可穿戴终端设备佩戴于测试人员身体,用于捕捉并传输被测试人视线停驻数据;云端信号处理单元用于计算被测试人视线停驻数据;处理结果反送单元负责将云端信号处理单元下达指令需要提示的异常视线停驻结果通过无线网络发送回可穿戴终端设备。
如图1所示,可穿戴终端设备,佩戴于测试人员头部,用于捕捉被测试人的视线停驻数据。在本发明的具体实施例中,所述可穿戴终端设备可包括眼镜、耳机,所述眼镜配有高清摄像头(1)和通信模块(2)。进一步地,所述眼镜为单片或双片,所述眼镜配有信号传输单元,所述信号传输单元具有屏幕,可以进行视觉信息提示。如图2所示所述可穿戴终端设备还可以采用但不限于手机。手机配有高清摄像头(1),具备自动追踪和对焦功能,始终捕捉被测试人的眼睛运动。由于配合有佩戴者的主动运动,其追踪的方向和范围较之传统视线停驻仪(不可运动)更加精准。
视频数据捕捉到之后,通信模块(2)通过无线信号(Wi-Fi)传输给云端信号处理单元。手机通过无线接收器接收反送单元发出的警示信号,以图像的形式在屏幕(3)上提醒测试人员表情结果。测试人员从而根据结果判断被测试人员的真实内心活动,达到测谎的效果。
云端信号处理单元,通过无线信号接收,将被测试人的视线停驻数据进行三个阶段的处理。
第一阶段,计算被测试人的视线停驻基线数据。
基线数据的获得,需要配合基线题目的问答。根据标准测试流程,测试人员会首先提问被测试人一组问题,这组问题的问答过程中,云端信号处理单元对被测试人的视线停驻指标进行计算,得到视线停驻基线数据。
视线停驻指标,分为两项子指标,分别是:
1)停驻对焦,是指眼球停驻在某一对象上的对焦与否。
2)停驻时长,是指眼球停驻在该对象上的时间长度,时间长度指标取[最短,最长]区间值。在基线问题问答过程中,计算可穿戴终端设备传回的视频信号,将上述两个子指标的数据统计出并存储,作为比对异常视线停驻的基线值。
第二阶段,捕捉测试问题问答阶段的视线停驻数据。
实际视线停驻数据的获得,需要配合专门的测试题目问答。根据标准测试流程,测试人员会在基线测试题完成之后,提问被测试人一组实际测试问题,这组问题的问答过程中,云端信号处理单元对被测试人的视线停驻指标进行计算,得到实际视线停驻数据。
视线停驻指标,分为停驻对焦和停驻时长,是指眼球停驻在某一对象上的对焦与否,以及停驻在该对象上的时间长度;时间长度指标取[最短,最长]区间值,在实际问题问答过程中,实时将可穿戴终端设备传回的视频信号中视线停驻数据与已存储的基线数据进行比对,转入第三阶段进行计算和分析。
第三阶段,比对基线并进行相对运算,过滤得出异常视线停驻结果。
如图4、5所示,如果眼球停驻时长和停驻对焦超过基线值2倍,形成异常眼球注视结果,处理单元将通过反送单元对佩戴者提出声音警示。
出现异常视线停驻结果后,云端信号处理单元下达指令,通过反送处理单元将结果用语音形式发送回可穿戴终端设备,提示佩戴者。
如果出现异常眼球转动提示指令,处理单元将通过反送单元对佩戴者提出声音警示,警示音为“蜂鸣声,请注意,关注性注视出现,方向为被测试人n点钟方向”,其中,n值为测试人视界内虚拟垂直钟表盘方向,被测试人为该钟表盘圆心,上方为12点,下方为6点,左前方为9点,右前方为3点,依此类推。
如图3所示,所述眼镜为单片或双片,所述眼镜配有耳机(3)和信号传输单元,所述信号传输单元具有屏幕(4),可以进行视觉信息提示。眼镜通过无线接收器接收反送单元发出的警示信号,以声音或图像的形式提醒测试人员表情结果。测试人员从而根据结果判断被测试人员的真实内心活动,达到测谎的效果。
以上所述仅为本发明的实施例而已,并不用于限制本发明。本发明可以有各种合适的更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种异常视线停驻的识别与提醒方法,其特征在于:
所述方法使用的装置包括:可穿戴终端设备、云端信号处理单元、处理结果反送单元;其中,可穿戴终端设备佩戴于测试人员身体,用于捕捉并传输被测试人视线停驻数据;云端信号处理单元用于计算被测试人视线停驻数据;处理结果反送单元负责将云端信号处理单元下达指令需要提示的异常视线停驻结果通过无线网络发送回可穿戴终端设备;
云端信号处理单元,通过无线信号接收,将被测试人的视线停驻数据进行三个阶段的处理:
第一阶段,计算被测试人的视线停驻基线数据;
第二阶段,捕捉测试问题问答阶段的视线停驻数据;
第三阶段,将第二阶段的所述视线停驻数据比对第一阶段的视线停驻基线数据并进行相对运算,过滤得出异常视线停驻结果。
2.如权利要求1所述的一种异常视线停驻的识别与提醒方法,其特征在于:
在所述第一阶段中,基线数据的获得,需要配合基线题目的问答;根据标准测试流程,测试人员首先提问被测试人一组问题,这组问题的问答过程中,云端信号处理单元对被测试人的视线停驻指标进行计算,得到视线停驻基线数据;
视线停驻指标,分为两项子指标,分别是:
1)停驻对焦,是指眼球停驻在某一对象上的对焦与否;
2)停驻时长,是指眼球停驻在该对象上的时间长度,时间长度指标取[最短,最长]区间值;在基线问题问答过程中,计算可穿戴终端设备传回的视频信号,将上述两个子指标的数据统计出并存储,作为比对异常视线停驻的基线值。
3.如权利要求1或2所述的一种异常视线停驻的识别与提醒方法,其特征在于:
在所述第二阶段中,实际视线停驻数据的获得,需要配合专门的测试题目问答;根据标准测试流程,测试人员会在基线测试题完成之后,提问被测试人一组实际测试问题,这组问题的问答过程中,云端信号处理单元对被测试人的视线停驻指标进行计算,得到实际视线停驻数据;
视线停驻指标,分为停驻对焦和停驻时长,是指眼球停驻在某一对象上的对焦与否,以及停驻在该对象上的时间长度;时间长度指标取[最短,最长]区间值,在实际问题问答过程中,实时将可穿戴终端设备传回的视频信号中视线停驻数据与已存储的基线数据进行比对,转入第三阶段进行计算和分析。
4.如权利要求3所述的一种异常视线停驻的识别与提醒方法,其特征在于:
所述第三阶段的具体方法如下:
如果眼球停驻时长和停驻对焦超过基线值2倍,形成异常眼球注视结果,云端信号处理单元下达指令,通过反送处理单元将结果用语音形式发送回可穿戴终端设备,提示佩戴者;
如果出现异常眼球转动提示指令,处理单元将通过反送单元对佩戴者提出声音警示,警示音为“蜂鸣声,请注意,关注性注视出现,方向为被测试人n点钟方向”,其中,n值为测试人视界内虚拟垂直钟表盘方向,被测试人为该钟表盘圆心,上方为12点,下方为6点,左前方为9点,右前方为3点,依此类推。
5.如权利要求4所述的一种异常视线停驻的识别与提醒方法,其特征在于:
所述可穿戴终端设备包括眼镜和耳机,所述眼镜配有高清摄像头(1)和通信模块(2)。
6.如权利要求4或5所述的一种异常视线停驻的识别与提醒方法,其特征在于:
所述眼镜为单片或双片,所述眼镜配有信号传输单元,所述信号传输单元具有屏幕,可以进行视觉信息提示。
7.一种异常视线停驻的识别与提醒的装置,其特征在于:
所述装置包括互相独立的如下设备:可穿戴终端设备、云端信号处理单元、处理结果反送单元;其中,可穿戴终端设备佩戴于测试人员身体,用于捕捉并传输被测试人视线停驻数据;云端信号处理单元用于计算被测试人视线停驻数据;处理结果反送单元负责将云端信号处理单元下达指令需要提示的异常视线停驻结果通过无线网络发送回可穿戴终端设备。
8.如权利要求7所述的一种异常视线停驻的识别与提醒装置,其特征在于:
所述可穿戴终端设备包括眼镜和耳机,所述眼镜配有高清摄像头(1)和通信模块(2)。
9.如权利要求8所述的一种异常视线停驻的识别与提醒装置,其特征在于:
所述眼镜为单片或双片,所述眼镜配有信号传输单元,所述信号传输单元具有屏幕,可以进行视觉信息提示。
10.如权利要求8所述的一种异常视线停驻的识别与提醒装置,其特征在于:
所述可穿戴终端设备采用手机,所述手机配有高清摄像头(1),通信模块(2)和屏幕(3);视频数据捕捉到之后,通信模块(2)通过无线信号(Wi-Fi)传输给云端信号处理单元,手机通过无线接收器接收反送单元发出的警示信号,以图像的形式在屏幕(3)上提醒测试人员表情结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510213890.9A CN104809440B (zh) | 2015-04-29 | 2015-04-29 | 一种异常视线停驻的识别与提醒方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510213890.9A CN104809440B (zh) | 2015-04-29 | 2015-04-29 | 一种异常视线停驻的识别与提醒方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104809440A true CN104809440A (zh) | 2015-07-29 |
CN104809440B CN104809440B (zh) | 2019-01-25 |
Family
ID=53694251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510213890.9A Active CN104809440B (zh) | 2015-04-29 | 2015-04-29 | 一种异常视线停驻的识别与提醒方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104809440B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105551206A (zh) * | 2015-09-30 | 2016-05-04 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于情绪的提醒方法和相关装置及提醒*** |
CN105654803A (zh) * | 2016-02-16 | 2016-06-08 | 北京励普教育科技有限公司 | 一种头戴式在线考试机 |
CN105913046A (zh) * | 2016-05-06 | 2016-08-31 | 姜振宇 | 微表情识别装置及方法 |
CN114129165A (zh) * | 2021-12-10 | 2022-03-04 | 北京邮电大学 | 一种基于可信评估量表的心理测评方法、***及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202060785U (zh) * | 2011-03-31 | 2011-12-07 | 上海天岸电子科技有限公司 | 人眼瞳孔测谎仪 |
CN203379122U (zh) * | 2013-07-26 | 2014-01-08 | 蔺彬涛 | 无线脑电及眼动测谎仪 |
CN103985224A (zh) * | 2014-04-09 | 2014-08-13 | 惠州Tcl移动通信有限公司 | 基于智能设备检测用户疲劳给出提醒的方法及*** |
US20140341427A1 (en) * | 2013-05-17 | 2014-11-20 | Canon Kabushiki Kaisha | Surveillance camera system and surveillance camera control apparatus |
CN204028500U (zh) * | 2014-07-01 | 2014-12-17 | 马天驰 | 疲劳驾驶报警眼镜 |
CN104375650A (zh) * | 2014-12-02 | 2015-02-25 | 上海恩凡物联网科技有限公司 | 基于智能穿戴设备的社交识别方法及*** |
CN204759444U (zh) * | 2015-04-29 | 2015-11-11 | 姜振宇 | 一种异常视线停驻的识别与提醒装置 |
-
2015
- 2015-04-29 CN CN201510213890.9A patent/CN104809440B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202060785U (zh) * | 2011-03-31 | 2011-12-07 | 上海天岸电子科技有限公司 | 人眼瞳孔测谎仪 |
US20140341427A1 (en) * | 2013-05-17 | 2014-11-20 | Canon Kabushiki Kaisha | Surveillance camera system and surveillance camera control apparatus |
CN203379122U (zh) * | 2013-07-26 | 2014-01-08 | 蔺彬涛 | 无线脑电及眼动测谎仪 |
CN103985224A (zh) * | 2014-04-09 | 2014-08-13 | 惠州Tcl移动通信有限公司 | 基于智能设备检测用户疲劳给出提醒的方法及*** |
CN204028500U (zh) * | 2014-07-01 | 2014-12-17 | 马天驰 | 疲劳驾驶报警眼镜 |
CN104375650A (zh) * | 2014-12-02 | 2015-02-25 | 上海恩凡物联网科技有限公司 | 基于智能穿戴设备的社交识别方法及*** |
CN204759444U (zh) * | 2015-04-29 | 2015-11-11 | 姜振宇 | 一种异常视线停驻的识别与提醒装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105551206A (zh) * | 2015-09-30 | 2016-05-04 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于情绪的提醒方法和相关装置及提醒*** |
CN105654803A (zh) * | 2016-02-16 | 2016-06-08 | 北京励普教育科技有限公司 | 一种头戴式在线考试机 |
CN105913046A (zh) * | 2016-05-06 | 2016-08-31 | 姜振宇 | 微表情识别装置及方法 |
CN114129165A (zh) * | 2021-12-10 | 2022-03-04 | 北京邮电大学 | 一种基于可信评估量表的心理测评方法、***及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104809440B (zh) | 2019-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104820495B (zh) | 一种异常微表情识别与提醒方法及装置 | |
WO2020034902A1 (zh) | 具有状态监控功能的智能桌、监控***服务器及监控方法 | |
CN110001652B (zh) | 驾驶员状态的监测方法、装置及终端设备 | |
CN106454277B (zh) | 一种用于视频监控的图像分析方法以及装置 | |
CN104008664B (zh) | 路况信息获取方法及相关装置 | |
CN104809440A (zh) | 一种异常视线停驻的识别与提醒方法及装置 | |
CN110013261B (zh) | 情绪监测的方法、装置、电子设备及存储介质 | |
CN106214436A (zh) | 一种基于手机端的智能导盲***及其导盲方法 | |
CN105814518B (zh) | 一种信息处理方法以及智能手环 | |
CN107590953B (zh) | 一种智能穿戴设备的报警方法、***及终端设备 | |
CN105183170A (zh) | 头戴式可穿戴设备及其信息处理方法、装置 | |
CN108958482A (zh) | 一种基于卷积神经网络的相似性动作识别装置及方法 | |
WO2020125078A1 (zh) | 心律监控方法、装置、电子设备及计算机可读存储介质 | |
CN105843395A (zh) | 一种实现与电子设备交互的眼镜及交互方法 | |
CN114469024A (zh) | 一种基于智能手环的建筑工人安全预警方法和*** | |
CN109816951A (zh) | 一种考场防作弊监控*** | |
CN106681509A (zh) | 界面操作的方法和*** | |
Zhou et al. | Applying deep learning and wearable devices for educational data analytics | |
CN204790850U (zh) | 一种异常微表情识别与提醒装置 | |
CN107480635A (zh) | 一种基于双模态分类模型融合的扫视信号识别方法及*** | |
CN204759445U (zh) | 一种异常眼球转动的识别与提醒装置 | |
CN204759444U (zh) | 一种异常视线停驻的识别与提醒装置 | |
CN109547706A (zh) | 眼镜设备和*** | |
CN104809439A (zh) | 一种异常眨眼动作的识别与提醒方法及装置 | |
CN109199397A (zh) | 一种多人运动监测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |