CN110840467A - 一种眼动数据与精神***疾病的关联分析方法 - Google Patents

一种眼动数据与精神***疾病的关联分析方法 Download PDF

Info

Publication number
CN110840467A
CN110840467A CN201910994950.3A CN201910994950A CN110840467A CN 110840467 A CN110840467 A CN 110840467A CN 201910994950 A CN201910994950 A CN 201910994950A CN 110840467 A CN110840467 A CN 110840467A
Authority
CN
China
Prior art keywords
eye movement
movement data
data
control group
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910994950.3A
Other languages
English (en)
Inventor
刘昱
李畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910994950.3A priority Critical patent/CN110840467A/zh
Publication of CN110840467A publication Critical patent/CN110840467A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Educational Technology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种眼动数据与精神***疾病的关联分析方法，步骤1：建立健康对照组数据样本；步骤2：通过在多种情境下设定的不同类观看“任务”来获取大量同一测试用户在同等条件下的多样性眼部运动数据；步骤3：利用深度学***均凝视时间与扫视时间的差值和占比的文字和图片；步骤5：建立智能扩大健康对照组样本***。本发明结合与专业人员的合作，一方面保证了符合专业素质的智能分析方法的可行性，另一方面还提高了进行研究的准确性和科学性。

Description

一种眼动数据与精神***疾病的关联分析方法
技术领域
本发明涉及深度学习算法、眼动采集算法、智能数据分析、精神学、心理学等多种领域，特别是眼动数据采集方法及智能数据分析方法。
背景技术
精神疾病不仅包含先天性精神损伤造成的疾病，还包括由于内分泌紊乱或者压力过大等造成的精神疾病。以抑郁症为例，轻度抑郁症在日常生活中看起来与常人并无太大分别，但是如果不加以控制和治疗可能会演变为重度抑郁症，出现幻觉、妄想等，其严重后果难以估量。
随着立体眼动数据采集方法和智能数据分析方法的快速发展和成熟，为本领域提出的一种眼动数据与精神***疾病的关联分析方法提供了合适的研究工具。越来越多的学者发现眼部运动可以在一定程度上反应大脑的活动，也就衍生了利用眼动采数据集算法分析精神健康情况的探究。
基于以上所述的当前精神疾病检测中所存在的问题，眼动数据采集方法与精神疾病分析方法是现有技术亟待解决的技术问题。
发明内容
本发明旨在提出一种眼动数据与精神***疾病的关联分析方法，基于立体眼动采集算法和智能数据分析，在非侵入性的条件下获得精神***疾病的关联分析结果，提供此类疾病诊断的参考。
一种眼动数据与精神***疾病的关联分析方法，该方法包括以下步骤：
步骤1：建立健康对照组数据样本；
步骤2：通过在多种情境下设定的不同类观看“任务”来获取大量同一测试用户在同等条件下的多样性眼部运动数据，并记录其眼部运动数据；
步骤3：利用深度学习分类算法将包含左瞳数据、右瞳数据以及双眼数据的全部用户眼动数据进行分类归纳，至少包括情境、凝视区域、凝视时间、扫视时间或视线轨迹范围；
步骤4：利用智能算法将各情境下的测试用户眼动数据与健康对照组眼动数据比对，输出关于平均凝视时间与扫视时间的差值和占比的文字和图片；
步骤5：建立智能扩大健康对照组样本***，经医生确诊为健康的测试用户眼动数据将自动分类保存到健康对照组眼动数据中。
本发明的一种眼动数据与精神***疾病的关联分析方法，结合与专业人员的合作，一方面保证了符合专业素质的智能分析方法的可行性，另一方面还提高了本方法进行研究的准确性和科学性。
附图说明
图1为本发明的一种眼动数据与精神***疾病的关联分析方法流程图。
图2为本发明实施例的深度学习模型示意图；
图3为本发明实施例的眼动数据进行提取信息统计归类结果示意图。
具体实施方式
下面结合附图和实施例对本发明技术方案进行详细描述。
如图1所示，本发明的一种眼动数据与精神***疾病的关联分析方法，该方法具体包括以下步骤：
步骤1：建立健康对照组样本作为对照组眼动数据，即：招募健康用户进行任务性视频观看实验(包含多种设定情境的视频拍摄以达到多样性观看任务，每一种设定情境都有心理学偏好，主要考察某一方面的精神疾病)并记录其眼部运动数据(拍摄眼球运动视频)，其中健康用户应涵盖广泛的年龄段以及受教育程度，并且保证男女比例尽可能为1:1分布；
步骤2：为测试用户提供与健康对照组相同条件的“视野限制”观看设备，通过在多种情境下设定的不同类观看“任务”来获取大量同一测试用户的多样性眼部运动数据；
步骤3：利用深度学习算法将不同情境下的所有用户的眼动数据，首先将双眼眼眶进行多点定位以及标准眼型转换，再利用U-Net与SqueezeNet结合的深度卷积神经网络对瞳孔及虹膜进行提取，将提取的信息用于重建3D眼球信息(模拟)，最终与立体视频内容结合实现注视点及视线扫视轨迹的实时提取，并且将提取信息进行统计归类(例如：情境、凝视区域、凝视时间、扫视时间、视线轨迹范围等)；
步骤4：利用智能算法(K-Means算法与SVM算法)将测试用户在各不同情境下的眼动数据与该情境下的健康对照组数据进行分析比对，并将与健康对照组平均凝视时间(扫视时间)的差值和比例，同时确认测试用户凝视区域和视线轨迹与对照组的匹配程度，最终以文字与图片形式输出，为医生提供直观眼动数据；
步骤5：建立智能扩大样本***，如测试用户最终被医生确诊为健康，则该测试用户眼动数据将自动分类上传至健康对照组数据样本中，从而扩大健康对照组眼动数据样本，为下个用户提供更加可靠的比对任务。
如图3所示，为本发明实施例的眼动数据进行提取信息统计归类结果示意图。进行分割处理和注视位置提取，由分割处理获得热度图提取出注视时间，依据注视位置提取注视位置标注。
本发明所采用的技术主要为立体眼动采集算法和智能数据分析方法。通过与专业的医疗专家进行合作，本发明设计了自己的神经疾病分析方法，用户通过参与任务性眼动视频实验，可以在非侵入性的条件下进行舒适的诊断，多情境设置的视频可以给用户不同的心理暗示，从而更加有针对性的探究用户病症，用户眼动数据将通过智能数据分析***与健康对照组数据进行比对分析，分析后的结果将以图片和文字内容进行展现，方便医生直观的对用户进行预诊断，最后，若用户被确诊为健康，***将会自动将用户信息补充到健康对照组中，为下次检测的用户提供更广泛的健康对照样本。
本方法将眼动数据采集方法与智能数据分析方法结合在一起，为精神疾病排查提供了一个新的客观方法；此外，通过眼动数据与精神***疾病的关联分析方法的应用，可以让医生对自己的“患者”有一个初步的判断和认识，从而更有针对性的进行接下来的问诊或治疗。

Claims (1)

1.一种眼动数据与精神***疾病的关联分析方法，其特征在于，该方法包括以下步骤：
步骤1：建立健康对照组数据样本；
步骤2：通过在多种情境下设定的不同类观看“任务”来获取大量同一测试用户在同等条件下的多样性眼部运动数据，并记录其眼部运动数据；
步骤3：利用深度学习分类算法将包含左瞳数据、右瞳数据以及双眼数据的全部用户眼动数据进行分类归纳，至少包括情境、凝视区域、凝视时间、扫视时间或视线轨迹范围；
步骤4：利用智能算法将各情境下的测试用户眼动数据与健康对照组眼动数据比对，输出关于平均凝视时间与扫视时间的差值和占比的文字和图片；
步骤5：建立智能扩大健康对照组样本***，经医生确诊为健康的测试用户眼动数据将自动分类保存到健康对照组眼动数据中。
CN201910994950.3A 2019-10-18 2019-10-18 一种眼动数据与精神***疾病的关联分析方法 Pending CN110840467A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910994950.3A CN110840467A (zh) 2019-10-18 2019-10-18 一种眼动数据与精神***疾病的关联分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910994950.3A CN110840467A (zh) 2019-10-18 2019-10-18 一种眼动数据与精神***疾病的关联分析方法

Publications (1)

Publication Number Publication Date
CN110840467A true CN110840467A (zh) 2020-02-28

Family

ID=69597565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910994950.3A Pending CN110840467A (zh) 2019-10-18 2019-10-18 一种眼动数据与精神***疾病的关联分析方法

Country Status (1)

Country Link
CN (1) CN110840467A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112545451A (zh) * 2020-12-09 2021-03-26 北京大学第三医院（北京大学第三临床医学院） 一种阅读眼动记录方法及装置
CN112674771A (zh) * 2020-12-22 2021-04-20 北京科技大学 基于图像注视差异的抑郁人群鉴别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686815A (zh) * 2007-06-27 2010-03-31 松下电器产业株式会社 人的状态推定装置以及方法
US20140364761A1 (en) * 2012-01-05 2014-12-11 University Court Pf The University Of Aberdeen An apparatus and method for psychiatric evaluation
CN104463216A (zh) * 2014-12-15 2015-03-25 北京大学 基于计算机视觉的眼动模式数据自动获取方法
CN105559802A (zh) * 2015-07-29 2016-05-11 北京工业大学 一种基于注意和情感信息融合的抑郁症诊断***及方法
CN109276228A (zh) * 2017-07-21 2019-01-29 北京集思明智科技有限公司 一种检测大脑功能的***及其装置
CN109620266A (zh) * 2018-12-29 2019-04-16 中国科学院深圳先进技术研究院 个体焦虑水平的检测方法和***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686815A (zh) * 2007-06-27 2010-03-31 松下电器产业株式会社 人的状态推定装置以及方法
US20140364761A1 (en) * 2012-01-05 2014-12-11 University Court Pf The University Of Aberdeen An apparatus and method for psychiatric evaluation
CN104463216A (zh) * 2014-12-15 2015-03-25 北京大学 基于计算机视觉的眼动模式数据自动获取方法
CN105559802A (zh) * 2015-07-29 2016-05-11 北京工业大学 一种基于注意和情感信息融合的抑郁症诊断***及方法
CN109276228A (zh) * 2017-07-21 2019-01-29 北京集思明智科技有限公司 一种检测大脑功能的***及其装置
CN109620266A (zh) * 2018-12-29 2019-04-16 中国科学院深圳先进技术研究院 个体焦虑水平的检测方法和***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KENTARO MORITA 等: "Eye movement as a biomarker of schizophrenia: Using an integrated eye movement score", 《PSYCHIATRY AND CLINICAL NEUROSCIENCES》 *
ZHIYONG WANG 等: "Realtime and Accurate 3D Eye Gaze Capture with DCNN-Based Iris and Pupil Segmentation", 《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112545451A (zh) * 2020-12-09 2021-03-26 北京大学第三医院（北京大学第三临床医学院） 一种阅读眼动记录方法及装置
CN112674771A (zh) * 2020-12-22 2021-04-20 北京科技大学 基于图像注视差异的抑郁人群鉴别方法及装置

Similar Documents

Publication Publication Date Title
Markova et al. Clas: A database for cognitive load, affect and stress recognition
Bone et al. Eye movement reinstatement and neural reactivation during mental imagery
Baucom et al. Decoding the neural representation of affective states
Savran et al. Emotion detection in the loop from brain signals and facial images
Vortmann et al. EEG-based classification of internally-and externally-directed attention in an augmented reality paradigm
KR102282961B1 (ko) 감각 및 인지 프로파일링을 위한 시스템 및 방법
Krauss et al. Analysis of multichannel eeg patterns during human sleep: a novel approach
Chen et al. Eye-centered representation of optic flow tuning in the ventral intraparietal area
US20150305662A1 (en) Remote assessment of emotional status
Bate et al. Evidence of an eye movement-based memory effect in congenital prosopagnosia
CN105852831A (zh) 一种基于虚拟现实交互技术与脑功能实时监测技术的设备
KR101854812B1 (ko) 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템
CN109145782A (zh) 基于界面任务的视觉认知差异研究方法
CN110840467A (zh) 一种眼动数据与精神***疾病的关联分析方法
Liu et al. Viewing garden scenes: Interaction between gaze behavior and physiological responses
CN113974589B (zh) 多模态行为范式评估优化***及认知能力评价方法
Masui et al. Measurement of advertisement effect based on multimodal emotional responses considering personality
CN112674770B (zh) 基于图像的显著性差异和情绪分析的抑郁人群眼动鉴别方法
Rafique et al. Towards estimation of emotions from eye pupillometry with low-cost devices
Wade et al. Extraction of emotional information via visual scanning patterns: a feasibility study of participants with schizophrenia and neurotypical individuals
CN115349872A (zh) 基于脑电的红外背景下飞机识别的大脑认知机制研究方法
Logan et al. From individual features to full faces: Combining aspects of face information
Wang et al. The emotional recognition and sharing-space applying in university library based on the analysis of tongue image
Köhler et al. Objectifying user attention caused by visually perceived product components
CN117352161B (zh) 一种面部运动功能障碍量化评估方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200228