CN113243917A - 一种民航管制员的疲劳检测方法、装置、电子设备及介质 - Google Patents

一种民航管制员的疲劳检测方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN113243917A
CN113243917A CN202110541505.9A CN202110541505A CN113243917A CN 113243917 A CN113243917 A CN 113243917A CN 202110541505 A CN202110541505 A CN 202110541505A CN 113243917 A CN113243917 A CN 113243917A
Authority
CN
China
Prior art keywords
civil aviation
fatigue
feedback
controller
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110541505.9A
Other languages
English (en)
Other versions
CN113243917B (zh
Inventor
***
陈振玲
丁鹏欣
王博
田小强
吴卿刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Research Institute of CAAC
Original Assignee
Second Research Institute of CAAC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Research Institute of CAAC filed Critical Second Research Institute of CAAC
Priority to CN202110541505.9A priority Critical patent/CN113243917B/zh
Publication of CN113243917A publication Critical patent/CN113243917A/zh
Application granted granted Critical
Publication of CN113243917B publication Critical patent/CN113243917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Investigating Strength Of Materials By Application Of Mechanical Stress (AREA)

Abstract

本公开提供一种民航管制员的疲劳检测方法、装置、电子设备及介质，该包括以下步骤：响应于设定条件的触发，在显示设备上显示设定内容；接收民航管制员针对所述设定内容的反馈；根据所述反馈，确定所述民航管制员的疲劳值；根据所述疲劳值输出提醒信息。本公开提供的民航管制员的疲劳检测方法，能够相应于设定条件的触发在显示设备上显示设定内容，并接收民航管制员针对设定内容的反馈，从而根据反馈确定出民航管制员的疲劳值，全程自动实施且便捷有效。其优点在于对民航管制员无接触、无伤害，可以实现快速、便捷，结合管制工作特性，建立一种快速、便捷、客观管制员执勤前疲劳状态检测方法。

Description

一种民航管制员的疲劳检测方法、装置、电子设备及介质
技术领域
本发明涉及民航领域，尤其涉及一种民航管制员的疲劳检测方法、装置、电子设备及介质。
背景技术
民航空中交通管制员疲劳严重威胁航空安全，《中国民用航空空中交通管理规则》(CCAR－93－R5)第一百二十六条明确规定管制单位不得继续安排疲劳管制员执勤。因此在管制员执勤前快速、准确、客观地检测管制员疲劳状态，对执行上述法规、保障民航空管安全、高效、可持续的发展具有重要意义。
现有人体疲劳程度检测方法可以分为主观和客观两类检测方法。主观检测方法如斯坦福嗜睡量表(Stanford Sleepiness Scale)、卡罗林斯卡嗜睡量表(KSS)等，Nealley等(Int.J.Aviat.Psychol.2015,25,14-47.)指出由于受到情绪、利益等因素干扰，检测结果的准确性和可靠性备受质疑。客观检测方法包括行为学、心理学、生理学、生物化学等学科的方法，其中生物化学检测方法具有客观、重复性和再现性好等优点(Chen等Anal.Chem.2016,88,11293-11296.)，但是目前需要使用精密分析化学仪器测量，难以满足管制工作现场快速出结果的要求；生理学检测方法包括脑电、心率变异性等检测方法，脑电设备复杂缺乏快速数据处理方法因此难以快速得到结果(Lal等2002)；心率变异性个体差异较大(Lal等2001)，并且对管制工作产生的疲劳缺乏灵敏性，无法满足管制工作的需要；心理学方法包括认知测试、警觉性等方法，其中认知测试易受到学习效应的干扰，传统警觉性测试耗时较长一般需要10至20分钟才能获得足够的数据量(Lal等2002)，难以满足管制员执勤前快速检测的需求；行为学检测方法包括面部特征如嘴部打哈欠、眨眼、眼睑闭合度等监测方法，这些方法常常应用于公路、铁路等车辆驾驶人员驾驶过程中的监测和疲劳管理(Lal等2002)，无法直接用于管制员执勤前的疲劳状态检测。更需要关注的是，对于路面驾驶员其疲劳程度只有不影响其操作方向盘、踩刹车、看清路况即可；而对于空中交通管制员其疲劳程度影响工作记忆就会导致航空安全面临巨大风险，如在上海虹桥机场“10.11”跑道侵入事件中，当事管制员仅仅是遗忘飞机动态，就导致这起严重的人为事故症候。因此对管制员执勤前其疲劳状态需要更加严格和多方面的检测以适用管制工作特性要求。
综上所述，目前为止尚缺乏针对空中交通管制员执勤前疲劳状态进行快速、便捷、客观、有效检测的方法。
发明内容
有鉴于此，本发明提供一种民航管制员的疲劳检测方法、装置、电子设备及存储介质，至少部分解决现有技术中存在的问题。
根据本公开的一个方面，提供一种民航管制员的疲劳检测方法，包括以下步骤：
响应于设定条件的触发，在显示设备上显示设定内容；
接收民航管制员针对所述设定内容的反馈；
根据所述反馈，确定所述民航管制员的疲劳值；
根据所述疲劳值输出提醒信息。
在本公开的一种示例性实施例中，所述在显示设备上显示设定内容，包括：
从M个候选项中选取N个目标项，其中M>N>0；
在显示设备上，按目标顺序显示待选项；
其中，所述待选项包括所述目标项，且所述目标项至少出现1次。
在本公开的一种示例性实施例中，所述反馈包括决策力参数；
所述接收民航管制员针对所述设定内容的反馈，包括：
接收所述民航管制员在输入设备上的确认操作；
根据接收所述确认操作的时刻，以及该时刻所述显示设备上显示的内容，确定的所述决策力参数。
在本公开的一种示例性实施例中，根据接收所述确认操作的时刻，以及该时刻所述显示设备上显示的内容，确定的所述决策力参数，包括：
若接收所述确认操作时，所述显示设备上显示的内容为所述目标项，则记录为正确；
若接收所述确认操作时，所述显示设备上显示的内容不为所述目标项，则记录为错误；
若所述显示设备显示所述目标项的期间，未接收到所述确认操作，则记录为错过；
根据所述错误的次数、所述错过的次数和所述目标项出现的次数，确定所述决策力参数。
在本公开的一种示例性实施例中，所述反馈还包括：反应力参数；
所述接收民航管制员针对所述设定内容的反馈，还包括：
根据接收所述确认操作的时刻，以及所述目标项的出现时刻，确定所述反应力参数。
在本公开的一种示例性实施例中，所述反馈还包括眼动参数；
所述接收民航管制员针对所述设定内容的反馈，还包括：
采集包括所述民航管制员的至少两张图像，根据所述至少两张图像确定所述眼动参数。
在本公开的一种示例性实施例中，所述根据所述反馈，确定所述民航管制员的疲劳值，包括：
根据所述决策力参数、所述反应力参数和所述眼动参数中的至少一项，确定所述民航管制员的疲劳值。
根据本公开的一个方面，提供一种疲劳检测装置，包括：
显示模块，用于响应于设定条件的触发，在显示设备上显示设定内容；
接收模块，用于接收民航管制员针对所述设定内容的反馈；
确定模块，用于根据所述反馈，确定所述民航管制员的疲劳值；
输出模块，用于根据所述疲劳值输出提醒信息。
根据本公开的一个方面，提供一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一项所述的方法。
根据本公开的一个方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一项所述的方法。
本公开提供一种民航管制员的疲劳检测方法，能够相应于设定条件的触发在显示设备上显示设定内容，并接收民航管制员针对设定内容的反馈，从而根据反馈确定出民航管制员的疲劳值，全程自动实施且便捷有效。其优点在于对民航管制员无接触、无伤害，可以实现快速、便捷，结合管制工作特性，建立一种快速、便捷、客观管制员执勤前疲劳状态检测方法。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本实施例提供的一种民航管制员的疲劳检测方法的流程图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
本实施例提供一种民航管制员的疲劳检测方法，可应用于驾驶人员驾驶的设备上，例如航天设备和行驶设备，需要说明的是，该方法可以应用于驾驶设备的驾驶位上，也可以单独设备在其他位置。同时，为了避免对驾驶造成影响，建议在停止驾驶时使用。
具体地，请参考图1所示，该方法包括以下步骤：
步骤S100，响应于设定条件的触发，在显示设备上显示设定内容。
步骤S300，接收民航管制员针对所述设定内容的反馈。
步骤S500，根据所述反馈，确定所述民航管制员的疲劳值。
步骤S700，根据所述疲劳值输出提醒信息。
其中，设定条件可以为预先设定的触发条件，例如，到达设定事件、间隔设定时长、按下设定按钮等。显示设备可以为显示器或带显示功能的车窗、玻璃等，设定内容可以为事先设定的内容，例如图案、文字、字母、形状等，可以根据需求进行选择，本实施例中选择字母作为设定内容。
接收民航管制员的反馈可以通过输入设备接收民航管制员的主动反馈，也可以是摄像头、传感器等设备，主动接收民航管制员的信息。
在判断出疲劳时过高时，可以针对性的对民航管制员进行调岗或轮休等提示。
本公开提供一种民航管制员的疲劳检测方法，能够相应于设定条件的触发在显示设备上显示设定内容，并接收民航管制员针对设定内容的反馈，从而根据反馈确定出民航管制员的疲劳值，全程自动实施且便捷有效。其优点在于对民航管制员无接触、无伤害，可以实现快速、便捷，结合管制工作特性，建立一种快速、便捷、客观管制员执勤前疲劳状态检测方法。
在本公开的一种示例性实施例中，所述步骤S100，包括：
步骤S110，响应于设定条件的触发，从M个候选项中选取N个目标项，其中M>N>0。
步骤S130，在显示设备上，按目标顺序显示待选项。此时，待选项中包括至少一个目标项，当然也可以包括至少部分或全部候选项。
其中，所述待选项包括所述目标项，且所述目标项至少出现1次。
本实施例中，以26个英文字母举例，从26个英文字母中选择M个(10个)候选项，再从M个候选项中选取N个(2个)目标项。
在选择完成后，按预先设定的规则，将10个字母排成目标顺序，此处的排序可以为随机排序，且每个字母出现次数不做硬性规定，只要保证至少目标项出现至少一次即可。在按目标顺序显示待选项之前，需要通过显示或声音等方式告知民航管制员目标项是什么。在按目标顺序显示待选项时，可以将每一待选项的显示时间设置为同一固定值，也可以根据需求改变显示的时长，例如随着民航管制员的正确次数的增加，显示时长逐渐变短等方式。按该方法进行设定内容的选择，简单便捷，不需要外部人员介入，只需按照设定规则进行即可，且显示内容简单，方便民航管制员理解。
在本公开的一种示例性实施例中，所述反馈包括决策力参数；
所述步骤S300，包括：
步骤S310，接收所述民航管制员在输入设备上的确认操作；
步骤S320，根据接收所述确认操作的时刻，以及该时刻所述显示设备上显示的内容，确定的所述决策力参数。
民航管制员可以通过在键盘等输入设备的点击输入确认操作。具体可以为，在显示目标项时点击键盘的设定案件(例如空格键)，来输入确认操作。即此时的判断规则为民航管制员是否能准确选择到正确的目标项，以此来判断民航管制员的决策力参数，正确率越高，则决策力参数越高，且决策力参数于疲劳时负相关，即决策力参数越高，疲劳时越低，这一方法也符合人体在疲劳时决策力会下降的规律。
在本公开的一种示例性实施例中，步骤S320，包括：
若接收所述确认操作时，所述显示设备上显示的内容为所述目标项，则记录为正确。
若接收所述确认操作时，所述显示设备上显示的内容不为所述目标项，则记录为错误；
若所述显示设备显示所述目标项的期间，未接收到所述确认操作，则记录为错过；
根据所述错误的次数、所述错过的次数和所述目标项出现的次数，确定所述决策力参数。
具体的，可以使用以下参数进行决策力参数的计算：
Figure BDA0003071980540000071
其中，E为决策力参数，No是错过的次数，Ne为错误的次数，Nt为目标项出现的次数。
在本公开的一种示例性实施例中，所述反馈还包括：反应力参数；
所述所述步骤S300，还包括：
步骤S330，根据接收所述确认操作的时刻，以及所述目标项的出现时刻，确定所述反应力参数。
具体的，在判断正确的情况下，根据民航管制员输入确认操作的时刻和目标项出现时刻的间隔来确定反应力参数，间隔时间越长，反应力参数越低。
可通过以下公式确认计算反应力参数：
Figure BDA0003071980540000072
其中，R是反应力参数，t是反应时测量值，tT为反应时阈值(ms)，反应时阈值的大小与目标项的显示时间以及检测时间有关，取值范围一般为[300,500](单位：ms)。
在本公开的一种示例性实施例中，所述反馈还包括眼动参数；
所述所述步骤S300，还包括：
步骤S340，采集包括所述民航管制员的至少两张图像，根据所述至少两张图像确定所述眼动参数。
可以理解的是，采集民航管制员的至少两张图像，可以理解为快速拍摄照片，也可以理解为是对民航管制员进行录像，只是因为不管是对照片还是录像的处理识别，实质上都是对图片进行处理，故而本实施例中以图像进行描述，并不仅限于照片的拍摄。
实际实施时，需要利用摄像头等采集设备对民航管制员的图像或视频进行采集，具体可以为采集民航管制员在显示设备显示设定内容期间的图片或视频。处理***可以根据采集到的图片或视频进行人脸识别，得到民航管制员的眼动参数，眼动参数具体可以为眼睛转动速度、眨眼频率、眼睛开合大小等参数。并根据检测到的眼动参数判断民航管制员的疲劳值。
在本公开的一种示例性实施例中，所述步骤S500，包括：
根据所述决策力参数、所述反应力参数和所述眼动参数中的至少一项，确定所述民航管制员的疲劳值。
具体实施时，可以根据以下公式计算疲劳值：
F＝A1F1+A2F2+A3F3 (1)
其中F为疲劳值，由三部分组成，第一项是眼动信息项；第二项是反应力信息项；第三项是判断决策力信息项；
具体地，F1为与眼动参数，F2为与反应力参数，F3为决策力参数，方程进一步表示如下：
F＝A1f(P)+A2g(R)+A3h(E) (2)
进一步地：
F＝A1f(P)+A2g(R)+A3tan(EX) (3)
根据三个变量灵敏性设置其权重系数A1、A2、A3，灵敏度高的变量赋予较大权重系数，取值范围均为[1,10]，并且三者关系符合下列约束要求：
A1+A2+A3＝10
将三项指标及权重系数代入公式(3)，在测试结束时，计算输出被试人员疲劳值。
为进一步说明本实施例提供的民航管制员的疲劳检测方法，本实施例提供一种实际实施案例以供参考和理解。
具体阐述如下：
本发明基于管制工作特性，研究开发一种可以获取被试人员反应时、判断和决策力、以及眼睑闭合度的疲劳状态快速检测方法，该检测方法输出的疲劳值是被试人员反应力、判断决策力以及眼动副交感神经疲劳状态的综合反应。
本发明包括以下部分：
1、疲劳值定义如下列公式所示：
F＝A1F1+A2F2+A3F3 (1)
其中F为疲劳值，由三部分组成，第一项是眼动信息项；第二项是反应力信息项；第三项是判断决策力信息项；
具体地，F1为与眼动变量，F2为与反应力变量，F3为判断决策力变量，方程进一步表示如下：
F＝A1F(P)+A2g(R)+A3h(E) (2)
进一步地：
F＝A1f(P)+A2g(R)+A3tan(EX) (3)
其中眼动变量由下式测量得到：
F(P)：
Figure BDA0003071980540000091
其中反应力变量由下式测量得到：
g(R):
Figure BDA0003071980540000092
其中判断决策力变量由下式测量得到：
h(E)＝tan(E×π/2):
Figure BDA0003071980540000093
其中A(i＝1,2,3)为第一至第三项的权重系数，根据各项灵敏性和重要性进行设置。
2、快速、客观检测方法
该方法包括四个模块，眼动检测模块、反应判断决策力检测模块、疲劳值计算输出模块、测量和数据采集模块
(1)眼动检测模块：眼动检测模块包括眼动状态捕获***和即时数据分析***两部分
眼动状态捕获***包含：图像采集精度设置(每秒24帧)、图像采集开始和结束指令；
即时数据处理***包含：面部识别、眼部区域识别、灰度转变、P70实时计算功能；
(2)反应判断决策力检测模块：包括任务设置***和检测***两部分
任务设置***包括：26个字母中随机抽取10个字母，抽取其中2个字母为靶目标；靶目标字母连续出现即为靶信号，需要被试敲击空格键确认。
测试中屏幕每次随机出现10个字母中的一个字母，停留100毫秒消失，字母之间间隔300-1000毫米；测试序列中，靶信号出现频率为25％-35％；
设置任务指导语、设置任务练习程序。
检测***包括：在每次靶信号出现，被试人员敲击空格键的反应时间的检测；被试人员对靶信号识别是否正确的检测。
(3)测量模块
被试人员面对屏幕，按照反应判断决策力检测模块任务要求完成任务操作，在此过程中采集眼动、反应时、错误操作原始数据，并在后台实时计算P70、反应时指标错误率指标。
(4)疲劳值计算输出模块
眼动变量检测和计算：
眼动变量的检测指标选择眼睑闭合度，路面驾驶员如高速公路卡车驾驶员、高铁驾驶员等文献常常采用眼睑闭合度P80指标，但是管制工作要求管制员保持高度警觉性，在本发明结合管制工作特性选取更加严格的P70指标作为测量值，则眼动变量可以通过测量P70指标按照下式得到：
Figure BDA0003071980540000101
其中FPs为帧速率(帧/秒)，n为t时段(秒)内的眨眼次数，sign为0-1变量，
Figure BDA0003071980540000111
反应力变量检测和计算：
反应力变量的检测指标是反应时，是靶信号出现至被试人员按键之间的时间t(毫秒)，则反应力变量可以通过测量反应时指标按照下式得到：
Figure BDA0003071980540000112
其中t是反应时测量值，tT为反应时阈值(ms)，其值的大小与信号刺激时间间隔以及检测时间有关，取值范围一般为[300,500](单位：ms)。
按照下表取值：
测试时长 3min 5min 10min 20min
信号之间时间间隔 300-700ms 800-1200ms 1s-1.5s 1s-1.5s
反应时间阈值 300-500ms 300-500ms 500ms 500ms
判断决策变量检测和计算：
判断决策变量的检测指标是错误率，是对靶信号的错误反应，包括对靶信号的遗漏和非靶信号的错误认定，则判断决策变量可通过测量被试人员对靶信号的错误反应指标按照下式得到：
Figure BDA0003071980540000113
其中No是遗漏的靶信号数量，Ne为错选的信号数量，Nt为靶信号数。
权重系数的计算：
根据三个变量灵敏性设置其权重系数A1、A2、A3，灵敏度高的变量赋予较大权重系数，取值范围均为[1,10]，并且三者关系符合下列约束要求：
A1+A2+A3＝10
将三项指标及权重系数代入公式(3)，在测试结束时，计算输出被试人员疲劳值。
3、参数优化
(1)疲劳检测时长的优化
在中国某一区域管制中心，我们招募了4名管制员志愿者，以10分钟的检测时长进行预测试。结果表明，志愿者的疲劳值在检测开始时波动很大，然后波动变小，并趋于平稳稳定。采用时间序列单因素分析方法分别检验各个管制员疲劳值随测量时间变化趋势，结果表明测量时间达到3分钟时，管制员疲劳值的均值开始稳定下来，分别为0.98、0.56、0.77、0.62和方差分别为0.72、0.67、0.95、0.83，考虑到检测对象的适应性，我们将检测时间确定为3-5分钟。
(2)检测方法的灵敏性和有效性
为了验证该方法的有效性，在国内某大型国际机场，招募机坪管制员志愿者5名，在执勤1.5小时前后检测其疲劳状态。每名管制员测试时长5分钟，出现信号间隔时长为1000毫秒，眼睑闭合度变量采用P70指标，反应时变量阈值设为500毫米，判断决策变量采用错误率指标，各变量权重系数如下：
A1＝8.0，A2＝1.0，A3＝1.0
测量结果如下：
表1.机坪管制员执勤1.5小时前后疲劳值变化
Figure BDA0003071980540000121
Figure BDA0003071980540000131
检测结果表明，管制员经过1.5小时的管制执勤，其疲劳值均呈现增加趋势。该结果表明，执勤前的疲劳检测结果明显低于执勤后疲劳对照组。在繁忙时间，空中交通管制人员承担着高工作量和值勤安全压力，容易遭受疲劳。管制员执勤后的疲劳值的标准偏差较大可能是由于工作负荷不同所致。上述现场测试结果表明，所建立的民航管制员的疲劳检测方法能够灵敏、有效地检测管制员疲劳状态的变化。
根据本公开的一个方面，提供一种疲劳检测装置，包括：
显示模块，用于响应于设定条件的触发，在显示设备上显示设定内容；
接收模块，用于接收民航管制员针对所述设定内容的反馈；
确定模块，用于根据所述反馈，确定所述民航管制员的疲劳值；
输出模块，用于根据所述疲劳值输出提醒信息。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。
根据本发明的这种实施方式的电子设备。电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：上述至少一个处理器、上述至少一个储存器、连接不同***组件(包括储存器和处理器)的总线。
其中，所述储存器存储有程序代码，所述程序代码可以被所述处理器执行，使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
储存器可以包括易失性储存器形式的可读介质，例如随机存取储存器(RAM)和/或高速缓存储存器，还可以进一步包括只读储存器(ROM)。
储存器还可以包括具有一组(至少一个)程序模块的程序/实用工具，这样的程序模块包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线可以为表示几类总线结构中的一种或多种，包括储存器总线或者储存器控制器、***总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
电子设备也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种民航管制员的疲劳检测方法，其特征在于，包括以下步骤：
响应于设定条件的触发，在显示设备上显示设定内容；
接收民航管制员针对所述设定内容的反馈；
根据所述反馈，确定所述民航管制员的疲劳值；
根据所述疲劳值输出提醒信息。
2.根据权利要求1所述的民航管制员的疲劳检测方法，其特征在于，所述在显示设备上显示设定内容，包括：
从M个候选项中选取N个目标项，其中M>N>0；
在显示设备上，按目标顺序显示待选项；
其中，所述待选项包括所述目标项，且所述目标项至少出现1次。
3.根据权利要求2所述的民航管制员的疲劳检测方法，其特征在于，所述反馈包括决策力参数；
所述接收民航管制员针对所述设定内容的反馈，包括：
接收所述民航管制员在输入设备上的确认操作；
根据接收所述确认操作的时刻，以及该时刻所述显示设备上显示的内容，确定的所述决策力参数。
4.根据权利要求3所述的民航管制员的疲劳检测方法，其特征在于，根据接收所述确认操作的时刻，以及该时刻所述显示设备上显示的内容，确定的所述决策力参数，包括：
若接收所述确认操作时，所述显示设备上显示的内容为所述目标项，则记录为正确；
若接收所述确认操作时，所述显示设备上显示的内容不为所述目标项，则记录为错误；
若所述显示设备显示所述目标项的期间，未接收到所述确认操作，则记录为错过；
根据所述错误的次数、所述错过的次数和所述目标项出现的次数，确定所述决策力参数。
5.根据权利要求4所述的民航管制员的疲劳检测方法，其特征在于，
所述反馈还包括：反应力参数；
所述接收民航管制员针对所述设定内容的反馈，还包括：
根据接收所述确认操作的时刻，以及所述目标项的出现时刻，确定所述反应力参数。
6.根据权利要求5所述的民航管制员的疲劳检测方法，其特征在于，所述反馈还包括眼动参数；
所述接收民航管制员针对所述设定内容的反馈，还包括：
采集包括所述民航管制员的至少两张图像，根据所述至少两张图像确定所述眼动参数。
7.根据权利要求6所述的民航管制员的疲劳检测方法，其特征在于，所述根据所述反馈，确定所述民航管制员的疲劳值，包括：
根据所述决策力参数、所述反应力参数和所述眼动参数中的至少一项，确定所述民航管制员的疲劳值。
8.一种疲劳检测装置，其特征在于，包括：
显示模块，用于响应于设定条件的触发，在显示设备上显示设定内容；
接收模块，用于接收民航管制员针对所述设定内容的反馈；
确定模块，用于根据所述反馈，确定所述民航管制员的疲劳值；
输出模块，用于根据所述疲劳值输出提醒信息。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7中任一项所述的方法。
CN202110541505.9A 2021-05-18 2021-05-18 一种民航管制员的疲劳检测方法、装置、电子设备及介质 Active CN113243917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110541505.9A CN113243917B (zh) 2021-05-18 2021-05-18 一种民航管制员的疲劳检测方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110541505.9A CN113243917B (zh) 2021-05-18 2021-05-18 一种民航管制员的疲劳检测方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN113243917A true CN113243917A (zh) 2021-08-13
CN113243917B CN113243917B (zh) 2023-05-12

Family

ID=77182665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110541505.9A Active CN113243917B (zh) 2021-05-18 2021-05-18 一种民航管制员的疲劳检测方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113243917B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006106408A2 (en) * 2005-04-04 2006-10-12 Icon Orbital Technologies Corporation System and method for estimation of human activity and mood states based on rapid eye movements and galvanic skin response
US20090161827A1 (en) * 2007-12-23 2009-06-25 Oraya Therapeutics, Inc. Methods and devices for detecting, controlling, and predicting radiation delivery
CN105261152A (zh) * 2015-09-30 2016-01-20 中国民用航空总局第二研究所 基于聚类分析的空中交通管制员疲劳检测方法、装置和***
CN105260011A (zh) * 2014-07-09 2016-01-20 霍尼韦尔国际公司 用于交通工具乘员的视觉搜索辅助
US20170135577A1 (en) * 2014-04-25 2017-05-18 Texas State University Health Assessment via Eye Movement Biometrics
US20170293356A1 (en) * 2016-04-08 2017-10-12 Vizzario, Inc. Methods and Systems for Obtaining, Analyzing, and Generating Vision Performance Data and Modifying Media Based on the Vision Performance Data
US20180125356A1 (en) * 2016-11-08 2018-05-10 International Business Machines Corporation Age estimation using feature of eye movement
CN109498040A (zh) * 2018-01-30 2019-03-22 中国民用航空总局第二研究所 警觉度检测方法及其***
CN109700472A (zh) * 2019-02-21 2019-05-03 北京七鑫易维信息技术有限公司 一种疲劳检测方法、装置、设备和存储介质
CN110753514A (zh) * 2017-06-14 2020-02-04 微软技术许可有限责任公司 基于隐式采集的计算机交互的睡眠监测
CN111052127A (zh) * 2018-09-12 2020-04-21 北京嘀嘀无限科技发展有限公司 疲劳检测的***和方法
CN111096741A (zh) * 2019-12-10 2020-05-05 中国航天员科研训练中心 脑力负荷的检测方法、***及相关设备
US20200151474A1 (en) * 2017-07-31 2020-05-14 Alcohol Countermeasure Systems (International) Inc. Non-intrusive assessment of fatigue in drivers using eye tracking
US20200214559A1 (en) * 2013-01-25 2020-07-09 Wesley W.O. Krueger Ocular-performance-based head impact measurement using a faceguard
CN111436001A (zh) * 2019-01-12 2020-07-21 北京字节跳动网络技术有限公司 一种视频上展示信息的方法、装置、设备和存储介质
CN112256122A (zh) * 2020-09-25 2021-01-22 北京师范大学 基于精神疲劳的操控工效分析方法、设备及***

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006106408A2 (en) * 2005-04-04 2006-10-12 Icon Orbital Technologies Corporation System and method for estimation of human activity and mood states based on rapid eye movements and galvanic skin response
US20090161827A1 (en) * 2007-12-23 2009-06-25 Oraya Therapeutics, Inc. Methods and devices for detecting, controlling, and predicting radiation delivery
US20200214559A1 (en) * 2013-01-25 2020-07-09 Wesley W.O. Krueger Ocular-performance-based head impact measurement using a faceguard
US20170135577A1 (en) * 2014-04-25 2017-05-18 Texas State University Health Assessment via Eye Movement Biometrics
CN105260011A (zh) * 2014-07-09 2016-01-20 霍尼韦尔国际公司 用于交通工具乘员的视觉搜索辅助
CN105261152A (zh) * 2015-09-30 2016-01-20 中国民用航空总局第二研究所 基于聚类分析的空中交通管制员疲劳检测方法、装置和***
US20170293356A1 (en) * 2016-04-08 2017-10-12 Vizzario, Inc. Methods and Systems for Obtaining, Analyzing, and Generating Vision Performance Data and Modifying Media Based on the Vision Performance Data
US20180125356A1 (en) * 2016-11-08 2018-05-10 International Business Machines Corporation Age estimation using feature of eye movement
CN110753514A (zh) * 2017-06-14 2020-02-04 微软技术许可有限责任公司 基于隐式采集的计算机交互的睡眠监测
US20200151474A1 (en) * 2017-07-31 2020-05-14 Alcohol Countermeasure Systems (International) Inc. Non-intrusive assessment of fatigue in drivers using eye tracking
CN109498040A (zh) * 2018-01-30 2019-03-22 中国民用航空总局第二研究所 警觉度检测方法及其***
CN111052127A (zh) * 2018-09-12 2020-04-21 北京嘀嘀无限科技发展有限公司 疲劳检测的***和方法
CN111436001A (zh) * 2019-01-12 2020-07-21 北京字节跳动网络技术有限公司 一种视频上展示信息的方法、装置、设备和存储介质
CN109700472A (zh) * 2019-02-21 2019-05-03 北京七鑫易维信息技术有限公司 一种疲劳检测方法、装置、设备和存储介质
CN111096741A (zh) * 2019-12-10 2020-05-05 中国航天员科研训练中心 脑力负荷的检测方法、***及相关设备
CN112256122A (zh) * 2020-09-25 2021-01-22 北京师范大学 基于精神疲劳的操控工效分析方法、设备及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李婷婷: "基于眼部图像特征的人体疲劳检测研究" *

Also Published As

Publication number Publication date
CN113243917B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
EP3270326B1 (en) Indicia-reading systems having an interface with a user's nervous system
CN102098955B (zh) 检测微入睡事件的方法和设备
Jeon et al. Classification of construction hazard-related perceptions using: Wearable electroencephalogram and virtual reality
US9633168B2 (en) Biometric identity validation for use with unattended tests for medical conditions
CN113362674A (zh) 驾驶训练课程调整的方法、装置、电子设备以及存储介质
CN111370113A (zh) 一种基于物联云的远程心理辅导***及方法
CN114237391A (zh) 一种城市轨道交通调度虚拟训练测试***及其方法
JP2022043238A (ja) 車両駐車検出方法、システム、電子機器及び記憶媒体
Yu et al. Air traffic controllers' mental fatigue recognition: A multi-sensor information fusion-based deep learning approach
Vasudevan et al. Driver drowsiness monitoring by learning vehicle telemetry data
Chen et al. Revealing the" Invisible Gorilla" in Construction: Assessing Mental Workload through Time-frequency Analysis
CN113243917A (zh) 一种民航管制员的疲劳检测方法、装置、电子设备及介质
CN105282502B (zh) 基于置信区间的空中交通管制员疲劳检测方法、装置和***
EP3687377B1 (en) Preclinical evaluation of skin condition and risk evaluation
US11385884B2 (en) Assessing cognitive reaction to over-the-air updates
CN111714103A (zh) 一种针对驾考考生的健康监测装置
CN111579001A (zh) 机器人的故障检测方法及装置
JPH1119075A (ja) メンタルストレス判定装置
TW202108077A (zh) 專注力自動偵測方法和系統
CN202230594U (zh) 一种消防员呼救器整机性能试验装置
Zhou et al. Driver fatigue tracking and detection method based on OpenMV
CN112336355A (zh) 基于脑电信号作业人员的******、装置及设备
CN113327404A (zh) 空中交通管制员岗位疲劳状态监测告警***
CN112515688A (zh) 专注力自动侦测方法和***
AU2021105041A4 (en) Method and equipment for judging safety of operating personnel

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant