CN104809439B - 一种异常眨眼动作的识别与提醒方法及装置 - Google Patents

一种异常眨眼动作的识别与提醒方法及装置 Download PDF

Info

Publication number
CN104809439B
CN104809439B CN201510213887.7A CN201510213887A CN104809439B CN 104809439 B CN104809439 B CN 104809439B CN 201510213887 A CN201510213887 A CN 201510213887A CN 104809439 B CN104809439 B CN 104809439B
Authority
CN
China
Prior art keywords
blink
abnormal
movement
processing unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510213887.7A
Other languages
English (en)
Other versions
CN104809439A (zh
Inventor
姜振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201510213887.7A priority Critical patent/CN104809439B/zh
Publication of CN104809439A publication Critical patent/CN104809439A/zh
Application granted granted Critical
Publication of CN104809439B publication Critical patent/CN104809439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种异常眨眼动作的识别与提醒方法及装置，所述方法使用的装置包括：可穿戴终端设备、云端信号处理单元、处理结果反送单元；其中，可穿戴终端设备佩戴于测试人员身体，用于捕捉并传输被测试人眨眼动作数据；云端信号处理单元用于计算被测试人眨眼动作数据；处理结果反送单元负责将云端信号处理单元下达指令需要提示的异常眨眼动作结果通过无线网络发送回可穿戴终端设备；云端信号处理单元，通过无线信号接收，将被测试人的眨眼动作数据进行三个阶段的处理：第一阶段，计算被测试人的眨眼动作基线数据；第二阶段，捕捉测试问题问答阶段的眨眼动作数据；第三阶段，将第二阶段的所述眨眼动作数据比对第一阶段的眨眼动作基线数据并进行相对运算，过滤得出异常眨眼动作结果。

Description

一种异常眨眼动作的识别与提醒方法及装置
技术领域
本发明涉及一种异常眨眼动作的识别与提醒方法及装置，属于智能表情识别领域。
背景技术
微表情是一种持续时间仅为1/25秒至1/5秒的非常快速的表情，表达了人试图压抑与隐藏的真正情感。微表情是人类试图压抑或隐藏真实情感时泄露的非常短暂的、不能自主控制的面部表情。作为识别谎言的有效线索，微表情可应用于安全、司法、临床等领域。
现有的可穿戴(便携)表情识别设备分为两类，一类佩戴于被测试人身上，一类佩戴于测试人员身上，也有的是试用固定摄像头针对被测试人员拍摄，非便携但功能与第二类相似。
第一类佩戴于被测试人身上的眨眼动作识别装备，具有的缺点是干扰被测人员的自然眨眼动作。眨眼动作测试的理想状况是对被测试人员没有任何视觉方面的干扰，否则无法厘清被测试人员的眨眼动作产生原因，很难和其心理状态变化进行因果关联，很有可能其眨眼动作是由设备的佩戴、对设备的好奇、关注等原因引发，所以所得数据是被污染的数据。
第二类为测试人员方所佩戴或使用的设备，在被测试身体以外拍摄和识别被测试人员的表情与眨眼动作，这类设备存在的缺点非常明显。无论是表情捕捉和识别软件，还是眨眼动作捕捉与分析设备，都缺少两个至关重要的因素，一是没有办法建立与所提测试问题之间的关联，二是没有建立基线的算法过程。所以，这类设备仅仅能够起到“表演表情”的识别作用，而不能捕捉并分析代表被测试人员真实心态的细微表情和异常眨眼动作。要弥补这些缺点，需要解决两个问题，首先是测试方法中和测试问题的关联技术，其次是建立被测试人员个人基线数据的算法。
发明内容
为达到根据微表情分析被测人员心理活动的目的，本发明涉及一种异常眨眼动作的识别与提醒方法，所述方法使用的装置包括：可穿戴终端设备、云端信号处理单元、处理结果反送单元；其中，可穿戴终端设备佩戴于测试人员身体，用于捕捉并传输被测试人眨眼动作数据；云端信号处理单元用于计算被测试人眨眼动作数据；处理结果反送单元负责将云端信号处理单元下达指令需要提示的异常眨眼动作结果通过无线网络发送回可穿戴终端设备。
云端信号处理单元，通过无线信号接收，将被测试人的眨眼动作数据进行三个阶段的处理：
第一阶段，计算被测试人的眨眼动作基线数据；
第二阶段，捕捉测试问题问答阶段的眨眼动作数据；
第三阶段，将第二阶段的所述眨眼动作数据比对第一阶段的眨眼动作基线数据并进行相对运算，过滤得出异常眨眼动作结果。
另外，本发明还提供一种异常眨眼动作的识别与提醒装置，所述装置包括互相独立的如下设备：可穿戴终端设备、云端信号处理单元、处理结果反送单元；其中，可穿戴终端设备佩戴于测试人员身体，用于捕捉并传输被测试人眨眼动作数据；云端信号处理单元用于计算被测试人眨眼动作数据；处理结果反送单元负责将云端信号处理单元下达指令需要提示的异常眨眼动作结果通过无线网络发送回可穿戴终端设备。
本发明的优点包括：
1)设备终端可穿戴(便携)，且佩戴于测试人员一方，对于被测试人不会产生任何干扰，不会引发被测试人的关注、好奇、敏感或恐惧，所得测试数据都是由测试问题引发，不会产生被污染数据，大幅提高测试的准确性。
2)在可穿戴设备终端的后方，是由高性能计算***组成的云端信号处理单元，拥有独特的算法程序和先进的处理能力，能够分为三大项指标有效分析被测试人员的异常眨眼动作。而且，在测试过程中，针对不同被测试人员个体，首先建立基线数据，确保测试数据的针对性，大幅提高测试准确度。
3)根据云端信号处理单元的计算结果，通过反送单元以音频的形式反馈给测试人员，可以实时让测试人员掌握被测试人员的心态和情绪状态，辅助测试的顺利完成。
附图说明
通过参照附图更详细地描述本发明的示例性实施例，本发明的以上和其它方面及优点将变得更加易于清楚，在附图中：
图1为本发明的一种异常眨眼动作的识别与提醒装置的原理意图；
图2为本发明所使用的手机结构示意图；
图3为本发明的眼镜结构示意图；
图4为本发明根据的眨眼启动的方法流程图；
图5为本发明根据的眨眼次数的方法流程图；
图6为本发明根据的眨眼速度的方法流程图。
具体实施方式
在下文中，现在将参照附图更充分地描述本发明，在附图中示出了各种实施例。然而，本发明可以以许多不同的形式来实施，且不应该解释为局限于在此阐述的实施例。相反，提供这些实施例使得本公开将是彻底和完全的，并将本发明的范围充分地传达给本领域技术人员。
在下文中，将参照附图更详细地描述本发明的示例性实施例。
本发明是具备“异常眨眼动作的表情识别与提醒”功能的可穿戴设备。
如图1所示，本发明由三个部分组成：可穿戴终端设备、云端信号处理单元、处理结果反送单元。其中，可穿戴终端设备佩戴于测试人员身体，用于捕捉并传输被测试人眨眼动作数据；云端信号处理单元用于计算被测试人眨眼动作数据；处理结果反送单元负责将云端信号处理单元下达指令需要提示的异常眨眼动作结果通过无线网络发送回可穿戴终端设备。
可穿戴终端设备，佩戴于测试人员头部，用于捕捉被测试人的眨眼动作数据。在本发明的具体实施例中，如图2所示可以采用但不限于手机。所述手机配有高清摄像头(1)，通信模块(2)和屏幕(3)；视频数据捕捉到之后，通信模块(2)通过无线信号(Wi-Fi)传输给云端信号处理单元，手机通过无线接收器接收反送单元发出的警示信号，以图像的形式在屏幕(3)上提醒测试人员表情结果。手机中间配有高清摄像头(1)，具备自动追踪和对焦功能，始终捕捉被测试人的眼睛运动。由于配合有佩戴者的主动运动，其追踪的方向和范围较之传统眨眼动作仪(不可运动)更加精准。
视频数据捕捉到之后，通信模块(2)通过无线信号(Wi-Fi)传输给云端信号处理单元。
云端信号处理单元，通过无线信号接收，将被测试人的眨眼动作数据进行三个阶段的处理。
第一阶段，计算被测试人的眨眼动作基线数据。
基线数据的获得，需要配合基线题目的问答。根据标准测试流程，测试人员会首先提问被测试人一组问题，这组问题的问答过程中，云端信号处理单元对被测试人的眨眼动作指标进行计算，得到眨眼动作基线数据。
眨眼指标，可分为三项子指标，分别是：
1)单位时间内眨眼启动次数，启动次数取基线测试题目期间单位时间内(每20秒)启动的上限值为基线值。
2)每次眨眼的运动次数(一开一闭为一次)，眨动次数取每次眨眼中运动次数的[最少，最多]区间值为基线值。
3)每次眨眼的运动速度(一开一闭为一次)，以毫秒为单位，运动速度取均值。
在基线问题问答过程中，计算可穿戴终端设备传回的视频信号，将上述三个数据统计出并存储，作为比对异常眨眼的基线值。
第二阶段，捕捉测试问题问答阶段的眨眼动作数据。
实际眨眼动作数据的获得，需要配合专门的测试题目问答。根据标准测试流程，测试人员会在基线测试题完成之后，提问被测试人一组实际测试问题，这组问题的问答过程中，云端信号处理单元对被测试人的眨眼动作指标进行计算，得到实际眨眼动作数据。
眨眼指标，分为单位时间内眨眼启动次数，每次眨眼的运动次数(一开一闭为一次)，以及每次眨眼的运动速度(一开一闭为一次)。在实际测试问题问答过程中，实时将可穿戴终端设备传回的视频信号中眼动数据与已存储的基线数据进行比对，转入第三阶段进行计算和分析。
第三阶段，比对基线并进行相对运算，过滤得出异常眨眼动作结果。
如图4所示，如果眨眼指标的启动次数超过基线值1.2倍，如图5所示或眨眼的运动次数超过基线值1.5倍，如图6所示或者眨眼的运动速度超过基线值1.1倍，或者上述三项异常比对值任意同时出现2项，或者全部出现，都形成异常眨眼结果，处理单元将通过反送单元对佩戴者提出声音警示；
如果出现异常眨眼提示指令，处理单元将通过反送单元对佩戴者提出声音警示，警示音为“蜂鸣声，请注意，眨眼异常，紧张性思维负荷提升比为n％”，其中，n值为上述异常眨眼比对值中的一项，如，眨眼运动次数超过基线值1.5倍，则n＝(1.5-1.0)％＝50％。
如图3所示，所述可穿戴设备还可以是眼镜，所述眼镜为单片或双片，所述眼镜配有耳机(4)和信号传输单元，所述信号传输单元具有屏幕(5)，可以进行视觉信息提示。眼镜通过无线接收器接收反送单元发出的警示信号，以声音或图像的形式提醒测试人员表情结果。测试人员从而根据结果判断被测试人员的真实内心活动，达到测谎的效果。
以上所述仅为本发明的实施例而已，并不用于限制本发明。本发明可以有各种合适的更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种异常眨眼动作的识别与提醒方法，
所述方法使用的装置包括：可穿戴终端设备、云端信号处理单元、处理结果反送单元；其中，可穿戴终端设备佩戴于测试人员身体，用于捕捉并传输被测试人眨眼动作数据；云端信号处理单元用于计算被测试人眨眼动作数据；处理结果反送单元负责将云端信号处理单元下达指令需要提示的异常眨眼动作结果通过无线网络发送回可穿戴终端设备；
云端信号处理单元，通过无线信号接收，将被测试人的眨眼动作数据进行三个阶段的处理：
第一阶段，计算被测试人的眨眼动作基线数据；
第二阶段，捕捉测试问题问答阶段的眨眼动作数据；
第三阶段，将第二阶段的所述眨眼动作数据比对第一阶段的眨眼动作基线数据并进行相对运算，过滤得出异常眨眼动作结果,其特征在于：所述第三阶段的具体方法如下：
如果眨眼指标的启动次数超过基线值1.2倍，或眨眼的运动次数超过基线值1.5倍，或者眨眼的运动速度超过基线值1.1倍，或者上述三项异常比对值任意同时出现2项，或者全部出现，都形成异常眨眼结果，处理单元将通过反送单元对佩戴者提出声音警示；
如果出现异常眨眼提示指令，处理单元将通过反送单元对佩戴者提出声音警示，警示音为“蜂鸣声，请注意，眨眼异常，紧张性思维负荷提升比为n％”，其中，n值为上述异常眨眼比对值中的一项。
2.如权利要求1所述的一种异常眨眼动作的识别与提醒方法，其特征在于：
在所述第一阶段中，基线数据的获得，需要配合基线题目的问答；根据标准测试流程，测试人员首先提问被测试人一组问题，这组问题的问答过程中，云端信号处理单元对被测试人的眨眼动作指标进行计算，得到眨眼动作基线数据；
眨眼指标，分为三项子指标，分别是：
1)单位时间内眨眼启动次数，启动次数取基线测试题目期间单位时间内启动的上限值为基线值；
2)每次眨眼的运动次数，眨动次数取每次眨眼中运动次数的[最少，最多]区间值为基线值；
3)每次眨眼的运动速度，以毫秒为单位，运动速度取均值；
在基线问题问答过程中，计算可穿戴终端设备传回的视频信号，将上述三个子指标的数据统计出并存储，作为比对异常眨眼的基线值。
3.如权利要求1或2所述的一种异常眨眼动作的识别与提醒方法，其特征在于：
在所述第二阶段中，实际眨眼动作数据的获得，需要配合专门的测试题目问答；根据标准测试流程，测试人员会在基线测试题完成之后，提问被测试人一组实际测试问题，这组问题的问答过程中，云端信号处理单元对被测试人的眨眼动作指标进行计算，得到实际眨眼动作数据；
眨眼指标，分为单位时间内眨眼启动次数，每次眨眼的运动次数，以及每次眨眼的运动速度；在实际测试问题问答过程中，实时将可穿戴终端设备传回的视频信号中眨眼动作数据与已存储的基线数据进行比对，转入第三阶段进行计算和分析。
4.如权利要求3所述的一种异常眨眼动作的识别与提醒方法，其特征在于：
还包括手机，所述可穿戴终端设备包括眼镜和耳机，所述手机配有高清摄像头(1)和通信模块(2)和显示屏(3)。
5.如权利要求4所述的一种异常眨眼动作的识别与提醒方法，其特征在于：
所述眼镜为单片或双片，所述眼镜配有信号传输单元，所述信号传输单元具有屏幕，可以进行视觉信息提示。
6.一种异常眨眼动作的识别与提醒的装置，
所述装置包括互相独立的如下设备：可穿戴终端设备、云端信号处理单元、处理结果反送单元；其中，可穿戴终端设备佩戴于测试人员身体，用于捕捉并传输被测试人眨眼动作数据；云端信号处理单元用于计算被测试人眨眼动作数据；处理结果反送单元负责将云端信号处理单元下达指令需要提示的异常眨眼动作结果通过无线网络发送回可穿戴终端设备，其特征在于：所述可穿戴终端设备包括眼镜和耳机，所述眼镜为单片或双片，所述眼镜配有信号传输单元，所述信号传输单元具有屏幕，可以进行视觉信息提示。
7.如权利要求6所述的一种异常眨眼动作的识别与提醒装置，其特征在于：
还包括手机，所述手机配有高清摄像头(1)和通信模块(2)和显示屏(3)。
8.如权利要求7所述的一种异常眨眼动作的识别与提醒装置，其特征在于：
所述可穿戴终端设备采用手机，所述手机配有高清摄像头(1)，通信模块(2)和屏幕(3)；视频数据捕捉到之后，通信模块(2)通过无线信号传输给云端信号处理单元，手机通过无线接收器接收反送单元发出的警示信号，以图像的形式在屏幕(3)上提醒测试人员表情结果。
CN201510213887.7A 2015-04-29 2015-04-29 一种异常眨眼动作的识别与提醒方法及装置 Active CN104809439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510213887.7A CN104809439B (zh) 2015-04-29 2015-04-29 一种异常眨眼动作的识别与提醒方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510213887.7A CN104809439B (zh) 2015-04-29 2015-04-29 一种异常眨眼动作的识别与提醒方法及装置

Publications (2)

Publication Number Publication Date
CN104809439A CN104809439A (zh) 2015-07-29
CN104809439B true CN104809439B (zh) 2019-03-05

Family

ID=53694250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510213887.7A Active CN104809439B (zh) 2015-04-29 2015-04-29 一种异常眨眼动作的识别与提醒方法及装置

Country Status (1)

Country Link
CN (1) CN104809439B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913046A (zh) * 2016-05-06 2016-08-31 姜振宇 微表情识别装置及方法
CN106302637A (zh) * 2016-07-28 2017-01-04 宁圣金融信息服务（上海）有限公司 动作指令云操作方法、***和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201200409Y (zh) * 2008-06-12 2009-03-04 罗强 带有视觉刺激检测功能的测谎***
CN202060785U (zh) * 2011-03-31 2011-12-07 上海天岸电子科技有限公司 人眼瞳孔测谎仪
CN104142583A (zh) * 2014-07-18 2014-11-12 广州市香港科大***研究院 一种具有眨眼检测功能的智能眼镜及实现方法
CN204990333U (zh) * 2015-04-29 2016-01-20 姜振宇 一种异常眨眼动作的识别与提醒装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6316023B2 (ja) * 2013-05-17 2018-04-25 キヤノン株式会社 カメラシステム及びカメラ制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201200409Y (zh) * 2008-06-12 2009-03-04 罗强 带有视觉刺激检测功能的测谎***
CN202060785U (zh) * 2011-03-31 2011-12-07 上海天岸电子科技有限公司 人眼瞳孔测谎仪
CN104142583A (zh) * 2014-07-18 2014-11-12 广州市香港科大***研究院 一种具有眨眼检测功能的智能眼镜及实现方法
CN204990333U (zh) * 2015-04-29 2016-01-20 姜振宇 一种异常眨眼动作的识别与提醒装置

Also Published As

Publication number Publication date
CN104809439A (zh) 2015-07-29

Similar Documents

Publication Publication Date Title
CN104820495B (zh) 一种异常微表情识别与提醒方法及装置
US11032457B2 (en) Bio-sensing and eye-tracking system
CN105183170B (zh) 头戴式可穿戴设备及其信息处理方法、装置
CN105006105B (zh) 一种基于红外探测的眼睛状态识别装置及方法
CN110013261B (zh) 情绪监测的方法、装置、电子设备及存储介质
CN104809440B (zh) 一种异常视线停驻的识别与提醒方法及装置
CN109431452B (zh) 无人眼健康筛查仪
CN104142583A (zh) 一种具有眨眼检测功能的智能眼镜及实现方法
CN105913046A (zh) 微表情识别装置及方法
CN109445578A (zh) 一种认知能力评估***及方法
CN104809439B (zh) 一种异常眨眼动作的识别与提醒方法及装置
CN108414008A (zh) 一种城市环境质量监测***
CN104808776A (zh) 检测头戴式智能设备持续附着在人体上的装置和方法
CN109816951A (zh) 一种考场防作弊监控***
CN104809371A (zh) 判断头戴式智能设备的鉴权信息有效性的装置和方法
Bœkgaard et al. In the twinkling of an eye: Synchronization of EEG and eye tracking based on blink signatures
CN104834904B (zh) 一种异常眼球转动的识别与提醒方法及装置
CN107480635A (zh) 一种基于双模态分类模型融合的扫视信号识别方法及***
CN204790850U (zh) 一种异常微表情识别与提醒装置
CN204759445U (zh) 一种异常眼球转动的识别与提醒装置
CN201114421Y (zh) 一种数字电视接收机
CN204990333U (zh) 一种异常眨眼动作的识别与提醒装置
CN116389691A (zh) 一种基于5g传输的智能安全穿戴装置
Yang et al. Non-contact early warning of shaking palsy
CN208156903U (zh) 基于体态感知的智能语言交互***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant