CN115444423A - 一种预测***、预测方法、装置、设备及存储介质 - Google Patents
一种预测***、预测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115444423A CN115444423A CN202211275689.XA CN202211275689A CN115444423A CN 115444423 A CN115444423 A CN 115444423A CN 202211275689 A CN202211275689 A CN 202211275689A CN 115444423 A CN115444423 A CN 115444423A
- Authority
- CN
- China
- Prior art keywords
- target
- type
- eye movement
- eye
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 112
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 230000004424 eye movement Effects 0.000 claims abstract description 392
- 238000012545 processing Methods 0.000 claims abstract description 72
- 230000003340 mental effect Effects 0.000 claims abstract description 65
- 230000036541 health Effects 0.000 claims abstract description 60
- 230000002452 interceptive effect Effects 0.000 claims description 72
- 230000008569 process Effects 0.000 claims description 49
- 238000012549 training Methods 0.000 claims description 42
- 238000009826 distribution Methods 0.000 claims description 36
- 230000006641 stabilisation Effects 0.000 claims description 36
- 238000011105 stabilization Methods 0.000 claims description 36
- 238000013507 mapping Methods 0.000 claims description 30
- 238000003745 diagnosis Methods 0.000 claims description 29
- 238000004091 panning Methods 0.000 claims description 26
- 230000004434 saccadic eye movement Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 15
- 230000009191 jumping Effects 0.000 claims description 11
- 210000001508 eye Anatomy 0.000 description 203
- 238000012360 testing method Methods 0.000 description 87
- 238000010586 diagram Methods 0.000 description 27
- 230000003930 cognitive ability Effects 0.000 description 18
- 230000033001 locomotion Effects 0.000 description 12
- 238000013112 stability test Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 230000006872 improvement Effects 0.000 description 9
- 230000008449 language Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000002441 reversible effect Effects 0.000 description 6
- 201000000980 schizophrenia Diseases 0.000 description 6
- 230000001149 cognitive effect Effects 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000019771 cognition Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 208000010877 cognitive disease Diseases 0.000 description 3
- 230000003920 cognitive function Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000000698 schizophrenic effect Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 208000028017 Psychotic disease Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000003931 cognitive performance Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005714 functional activity Effects 0.000 description 1
- 230000008821 health effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 208000024714 major depressive disease Diseases 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000001711 saccadic effect Effects 0.000 description 1
- 230000021317 sensory perception Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012430 stability testing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002739 subcortical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Physiology (AREA)
- Neurology (AREA)
- Computing Systems (AREA)
- Developmental Disabilities (AREA)
- Social Psychology (AREA)
- Signal Processing (AREA)
- Educational Technology (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Neurosurgery (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
Abstract
本说明书公开了一种预测***、预测方法、装置、设备及存储介质,通过显示装置展示若干类型的目标指引信息,指引目标用户观察显示装置的目标区域,由采集装置采集目标用户的眼动图像并发送给处理设备,处理设备确定各类型的目标指引信息对应的眼动图像,并以此得到目标用户的眼动数据,进而得到目标用户的眼动特征,将目标用户的眼动特征输入到预先训练的预测模型中,得到模型输出的用于指示目标用户的精神活动的健康程度的预测结果。可见,通过预测模型以及眼动特征得到预测结果的方式,得到用于指示目标用户的精神活动的健康程度的预测结果,使得评估人员能以预测结果为参考,提高评估目标用户精神活动的健康状况的准确率。
Description
技术领域
本说明书涉及计算机技术领域,尤其涉及一种预测***、预测方法、装置、设备及存储介质。
背景技术
目前,对于精神***症等认知功能障碍的疾病,诊断方式主要依靠临床症状,缺乏客观有效的生物学诊断指标。由于用户的眼动过程需要通过大脑的认知功能进行调控,即,眼动数据可以反映用户的认知功能。因此,可通过分析眼动数据得到辅助诊断指标,以辅助医生为用户进行疾病的诊断。
基于此,本说明书提供一种预测***,以得到用于指示用户的精神活动的健康程度的预测结果。
发明内容
本说明书提供一种预测***、预测方法、装置、设备及存储介质,以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案:
本说明书提供了一种预测***,所述***包括:显示装置、采集装置和处理设备;其中:
所述显示装置,用于响应于预测请求,展示若干类型的目标指引信息,所述目标指引信息用于指引目标用户观察所述显示装置的目标区域;
所述采集装置,用于在所述显示装置展示各类型的目标指引信息的过程中,采集所述目标用户的各时刻的眼动图像,并发送给所述处理设备;
所述处理设备,用于针对所述显示装置展示的每个类型的目标指引信息,从接收到的各时刻的眼动图像中,确定各类型的目标指引信息对应的眼动图像;
根据所述各类型的目标指引信息对应的眼动图像,确定所述目标用户各时刻在所述显示装置的注视点,根据确定出的各时刻的注视点,确定所述目标用户对应各类型的目标指引信息的眼动数据;针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征;将各类型的目标指引信息的眼动特征输入预先训练的预测模型,得到所述预测模型输出的预测结果,所述预测结果用于指示所述目标用户的精神活动的健康程度,以为评估所述目标用户的精神活动的健康状况提供参考。
可选,所述目标指引信息中至少包括:指定对象,所述指定对象在所述显示装置的目标区域中展示;所述目标指引信息的类型包括:注视稳定、眼跳、追随以及自由视图中的至少两种。
可选地,所述显示装置,用于在展示所述注视稳定类型的目标指引信息时,展示第一指引信息以及所述指定对象;
其中,所述第一指引信息用于提示所述目标用户稳定注视所述指定对象。
可选地,所述目标指引信息中还包括:干扰对象,所述干扰对象在所述目标区域外展示;
所述显示装置,还用于展示所述第一指引信息、所述指定对象以及所述干扰对象,其中,所述第一指引信息用于提示所述目标用户注视所述指定对象,忽略所述干扰对象。
可选地,所述显示装置,用于在展示所述眼跳类型的目标指引信息时,展示第二指引信息,以及按照指定时间间隔和指定时长展示所述指定对象;
其中,所述第二指引信息用于提示所述目标用户跳转注视所述指定对象。
可选地,所述目标指引信息中还包括:干扰对象,所述干扰对象在所述目标区域外展示;
所述显示装置,还用于展示第二指引信息,以及按照所述指定时间间隔和所述指定时长展示所述干扰对象,其中,所述第二指引信息用于提示所述目标用户注视所述干扰对象之外的目标区域。
可选地,所述显示装置,用于在展示所述追随类型的目标指引信息时,展示按照指定轨迹移动的指定对象以及第三指引信息;所述指定轨迹包括竖直直线轨迹、水平直线轨迹和曲线轨迹中的至少一种;
其中,所述第三指引信息用于提示所述目标用户注视追随所述指定对象移动。
可选地,所述目标指引信息还包括目标图像,所述目标图像包括灰度图像和/或彩色图像;所述目标指引信息的类型还包括:灰度视图和/或彩色视图;
所述显示装置,还用于展示所述目标图像;
所述处理设备,用于根据接收到的各眼动图像,确定所述目标用户的各注视点与所述目标图像的第一映射关系,根据所述第一映射关系,确定所述目标用户针对所述目标图像的注视点分布,得到所述目标用户的注视点密度图,作为所述目标用户的眼动数据。
可选地,所述处理设备,用于将所述目标图像输入预先训练的显著性预测模型,得到模型预测的所述目标图像的显著性图,所述显著性图用于表征模型预测的所述目标图像中的注视点分布;确定所述目标用户的注视点密度图,与预测得到的显著性图之间的差异,得到所述目标用户在所述灰度视图类型以及所述彩色视图类型目标指引信息下的眼动特征。
可选地,所述显示装置,还用于预先对不同的参考用户展示各类型的目标指引信息;
所述采集装置,还用于针对每个参考用户,确定该参考用户的各类型的目标指引信息对应的眼动图像,并发送给所述处理设备;
所述处理设备,还用于针对每个参考用户,根据该参考用户的眼动图像,确定该参考用户在所述显示装置的注视点,根据确定出的各时刻的注视点,确定该参考用户对应各类型的目标指引信息的眼动数据;根据该参考用户对应各类型的目标指引信息的眼动数据,确定该参考用户对应各类型的目标指引信息的眼动特征;根据该参考用户的各类型的目标指引信息的眼动特征,确定训练样本,并根据该参考用户的诊断结果确定所述训练样本的标签,所述诊断结果由评估人员根据所述参考用户的精神活动的健康状况确定;根据所述训练样本以及所述训练样本的标签,训练所述预测模型。
本说明书提供一种预测方法,包括:
接收由采集装置发送的目标用户的各时刻的眼动图像;所述各时刻的眼动图像是由所述采集装置在显示装置展示各类型的目标指引信息的过程中采集的;
针对显示装置展示的每个类型的目标指引信息,从所述各时刻的眼动图像中,确定各类型的目标指引信息对应的眼动图像;
根据各类型的目标指引信息对应的眼动图像,确定所述目标用户各时刻在所述显示装置的注视点,并根据确定出的各时刻的注视点,确定所述目标用户对应各类型的目标指引信息的眼动数据;
针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征;
将各类型的目标指引信息的眼动特征输入预先训练的预测模型,得到所述预测模型输出的预测结果,所述预测结果用于指示所述目标用户的精神活动的健康程度,以为评估所述目标用户的精神活动的健康状况提供参考。
可选地,所述目标指引信息的类型包括注视稳定、眼跳以及追随类型;
针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征,具体包括:
针对所述注视稳定、所述眼跳以及所述追随类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定各注视点之间的第一位置差异;
获取各时刻指定对象的对象位置,确定各时刻所述注视点与所述对象位置之间的第二位置差异;
根据所述各注视点确定扫视路径,并确定所述扫视路径的长度,根据所述扫视路径的长度与所述各时刻确定扫视速度;
根据所述第一位置差异、所述第二位置差异、所述扫视路径的长度以及所述扫视速度,分别确定所述目标用户在所述注视稳定、所述眼跳以及所述追随类型目标指引信息下的眼动特征。
可选地,所述目标指引信息的类型包括眼跳类型;所述显示装置在展示所述眼跳类型的目标指引信息时,按照指定时间间隔和指定时长展示指定对象;
针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征,具体包括:
确定展示所述指定对象的展示时刻,根据各时刻的注视点,将注视点首次落入所述指定对象对应的目标区域的时刻作为起始时刻,根据所述展示时刻和所述起始时刻之间的差异,确定所述目标用户的启动时长;
针对每个指定对象,确定落入该指定对象对应的目标区域的各注视点,作为该指定对象对应的注视点,根据各指定对象的展示顺序以及所述各指定对象对应的注视点,确定所述目标用户跳转观察不同指定对象的眼跳时长;
根据各眼跳时长以及所述启动时长,确定所述目标用户在所述眼跳类型目标指引信息下的眼动特征。
可选地,所述目标指引信息的类型包括眼跳类型;所述目标指引信息的类型包括眼跳类型;所述显示装置在展示所述眼跳类型的目标指引信息时,按照指定时间间隔和指定时长展示干扰对象;
针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征,具体包括:
确定展示所述干扰对象的展示时刻,根据各时刻的注视点,将注视点首次落入所述干扰对象对应的目标区域的时刻作为起始时刻,根据所述展示时刻和所述起始时刻之间的差异,确定所述目标用户的启动时长;
针对每个干扰对象,确定落入该干扰对象对应的目标区域的各注视点,作为该干扰对象对应的注视点,根据各干扰对象的展示顺序以及所述各干扰对象对应的注视点,确定所述目标用户跳转观察不同干扰对象对应的目标区域的眼跳时长;
根据各眼跳时长以及所述启动时长,确定所述目标用户在所述眼跳类型目标指引信息下的眼动特征。
可选地,所述目标指引信息的类型包括追随类型;所述显示装置在展示所述追随类型的目标指引信息时,展示按照指定轨迹移动的指定对象;
针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征,具体包括:
根据所述指定轨迹,确定所述指定对象的各对象位置与所述各时刻的第二映射关系,针对每个时刻,根据所述第二映射关系,确定该时刻注视点与对象位置之间的差异,并将差异大于预设差异阈值的注视点作为脱离点,根据各脱离点对应的时刻,确定所述目标用户的注视点脱离所述指定对象的脱离时长;
获取所述指定对象的移动速度,根据所述各时刻的注视点,确定所述目标用户的扫视速度,确定所述扫视速度与所述指定对象的移动速度之间的速度差异;
根据所述速度差异以及所述脱离时长,确定所述目标用户在所述追随类型目标指引信息下的眼动特征。
可选地,所述目标指引信息还包括目标图像,所述目标图像包括灰度图像和/或彩色图像;所述目标指引信息的类型还包括:灰度视图和/或彩色视图;
可选地,针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征,具体包括:
根据接收到的各眼动图像,确定所述目标用户的各注视点与所述目标图像的第一映射关系;
根据所述第一映射关系,确定所述目标用户针对所述目标图像的注视点分布,得到所述目标用户的注视点密度图,作为所述目标用户的眼动数据;
将所述目标图像输入预先训练的显著性预测模型,得到模型预测的所述目标图像的显著性图,所述显著性图用于表征模型预测的所述目标图像中的注视点分布;
确定所述目标用户的注视点密度图,与预测得到的显著性图之间的差异,得到所述目标用户在所述灰度视图类型以及所述彩色视图类型目标指引信息下的眼动特征。
可选地,预先训练预测模型,具体包括:
预先接收采集装置发送的多个参考用户的各时刻的眼动图像;所述多个参考用户的各时刻的眼动图像是由采集装置在显示装置展示各类型的目标指引信息的过程中采集的;
针对每个参考用户,从该参考用户的各时刻的眼动图像中,确定该参考用户对应各类型的目标指引信息的眼动图像;
根据该参考用户对应各类型的目标指引信息的眼动图像,确定该参考用户在所述显示装置的注视点;
根据确定出的各时刻的注视点,确定该参考用户对应各类型的目标指引信息的眼动数据;
根据该参考用户对应各类型的目标指引信息的眼动数据,确定该参考用户对应各类型的目标指引信息的眼动特征;
根据该参考用户的各类型的目标指引信息的眼动特征,确定训练样本,并根据该参考用户的诊断结果确定所述训练样本的标签,所述诊断结果由评估人员根据所述参考用户的精神活动的健康状况确定;
根据所述训练样本以及所述训练样本的标签,训练所述预测模型。
本说明书提供了一种预测装置,包括:
接收模块,用于接收由采集装置发送的目标用户的各时刻的眼动图像;所述各时刻的眼动图像是由所述采集装置在显示装置展示各类型的目标指引信息的过程中采集的;
眼动图像确定模块,用于针对显示装置展示的每个类型的目标指引信息,从所述各时刻的眼动图像中,确定各类型的目标指引信息对应的眼动图像;
眼动数据确定模块,用于根据各类型的目标指引信息对应的眼动图像,确定所述目标用户各时刻在所述显示装置的注视点,并根据确定出的各时刻的注视点,确定所述目标用户对应各类型的目标指引信息的眼动数据;
眼动特征确定模块,用于针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征;
预测模块,用于将各类型的目标指引信息的眼动特征输入预先训练的预测模型,得到所述预测模型输出的预测结果,所述预测结果用于指示所述目标用户的精神活动的健康程度,以为评估所述目标用户的精神活动的健康状况提供参考。
本说明书采用的上述至少一个技术方案能够达到以下有益效果:
通过显示装置展示若干类型的目标指引信息,指引目标用户观察显示装置的目标区域,由采集装置采集目标用户的眼动图像并发送给处理设备,处理设备确定各类型的目标指引信息对应的眼动图像,并以此得到目标用户的眼动数据,进而得到目标用户的眼动特征,将目标用户的眼动特征输入到预先训练的预测模型中,得到模型输出的用于指示目标用户的精神活动的健康程度的预测结果,以为评估目标用户的精神活动的健康提供参考。可见,通过预测模型以及眼动特征得到预测结果的方式,实现了通过分析眼动数据就能够得到辅助诊断指标的目的,使得评估人员能以预测结果为参考,提高评估目标用户精神活动的健康状况的准确率。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书中一种预测***的示意图;
图2为本说明书中一种基于预测***的预测过程的流程示意图;
图3为本说明书中一种展示方法的流程示意图;
图4A为本说明书中一种预测***的示意图;
图4B为本说明书中一种预测***的示意图;
图5A为本说明书中一种预测***的示意图;
图5B为本说明书中一种预测***的示意图;
图6为本说明书中一种预测***的示意图;
图7为本说明书中一种预测***的示意图;
图8为本说明书中一种基于预测***的预测方法的流程示意图;
图9为本说明书中一种基于预测***的预测方法的流程示意图;
图10为本说明书中一种展示装置的示意图;
图11为本说明书提供的一种预测装置的示意图;
图12为本说明书提供的对应于图3的电子设备示意图;
图13为本说明书提供的对应于图8的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
需要说明的是,本说明书中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
另外,在本说明书中,预测结果仅用于指示目标用户的精神活动的健康程度。可将预测结果作为评估目标用户的精神活动的健康状况的参考信息,提供给评估目标用户精神活动的健康状况的评估人员(例如医生),以使评估人员评估目标用户精神活动的健康状况时,能够有可参考的生物学指标,使得评估人员得到准确性较高的评估结果。并且,在本说明书实施例中并不限制评估人员以预测结果为参考评估目标用户精神活动的健康状况的方式。
随着计算机视觉技术的发展,通过用户的眼动图像分析用户的眼球活动指标,广泛应用在视觉传达、广告推荐,以及医疗技术等领域。其中,在医疗技术领域中,眼球活动指标可以作为探索人类大脑皮层和皮层下相关高级认知过程的行为学测量指标。由于认知功能能够反映精神状况,因此目前临床上常用眼动数据来辅助诊断精神障碍,例如精神分类症、抑郁症等。对于存在认知功能障碍的精神***症患者,其相对于正常人的眼动异常值可以作为表征其精神抑制状态的生物学指标。因此,可通过眼动测试对用户进行检测,以得到能够反映用户精神活动的健康程度的参考指标。
目前,为了辅助评估人员对用户是否存在精神***症等认知功能障碍的疾病进行评估,可通过自由视图实验获取眼动数据,并基于获取到的眼动数据训练疾病预测模型,而后通过训练后的模型为评估人员提供用户的精神***症的预测结果。然而,上述方案虽然能够通过机器学习的方法对用户的精神***症患病风险进行预测,但是仅使用单模态实验数据所训练的模型进行精神***症的辅助诊断,从实验数据中提取的特征维度较少,其中所包含的信息量也较少,难以全面反映被试者的认知状况,进而导致辅助诊断准确率较低,对所精神障碍的辅助诊断的参考性也较低。
基于此,本说明书提供一种预测***,通过多种类型的眼动测试,得到目标用户的多维度的眼动数据,进而得到目标用户的眼动特征,并基于眼动特征利用机器学习方法得到用于指示目标用户的精神活动的健康程度的预测结果。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
图1为本说明书中一种预测***的示意图,其中,显示装置1用于展示目标区域11,以及多种不同类型的目标指引信息。在本说明书实施例中,显示装置1展示的若干类型的目标指引信息可至少包括两种不同类型的目标指引信息。其中,目标指引信息用于指引目标用户4观察显示装置1的目标区域11。目标用户4可根据目标指引信息的指示观察目标区域11,如图1所示由目标用户4的眼睛指向显示装置1的目标区域11的箭头。同时,采集装置2采集目标用户4的各时刻的眼动图像,如图1所示由采集装置2指向目标用户4的眼睛的箭头。采集装置2将采集到的各时刻的眼动图像发送给处理设备3,如图1所示由采集装置2执行处理设备3的箭头。处理设备3将根据各时刻的眼动图像得到目标用户4对应各类型的目标指引信息的眼动图像,以便确定各类型的目标指引信息对应的眼动数据,进而得到目标用户4的眼动特征,并进一步基于眼动特征通过预测模型得到目标用户4的预测结果,以便评估人员以用于指示目标用户4的精神活动的健康程度的预测结果为参考,准确地评估目标用户4的精神活动的健康状况。
可选地,上述目标指引信息中至少包括:指定对象,其中,指定对象在显示装置1的目标区域11中展示;所述目标指引信息的类型包括:注视稳定、眼跳、追随以及自由视图中的至少两种。也就是说,在实际应用中,目标用户4在观察显示装置1时,显示装置1依次展示的目标指引信息可以是注视稳定、眼跳、追随以及自由视图中的任意两种类型的组合,当然,也可以是上述四种类型的目标指引信息中任意指定数量类型的组合,本说明书对此不做限定。
具体的,显示装置1通过展示目标区域,以及展示不同类型的目标指引信息的方式,引导目标用户4观察目标区域11中不同的展示内容,如指定对象。根据不同类型的目标指引信息,目标区域11中展示的内容可以是不同数量、不同类型或者以不同轨迹移动的指定对象或者干扰对象,目标指引信息可通过声音或者文字等多种类型的方式,引导目标用户4观察目标区域11中的展示内容。
在本说明书一个可选的实施例中,当目标指引信息的类型为注视稳定类型时,显示装置1展示第一指引信息以及指定对象。其中,所述第一指引信息用于提示目标用户4稳定注视所述指定对象。此时,目标用户4可根据第一指引信息的引导,稳定的注视目标区域11中的指定对象,也就是,目标用户4的注视视线在显示装置1上的落点,可以是在目标区域11中展示的指定对象的附近。
在本说明书一个可选的实施例中,当目标指引信息的类型为注视稳定类型时,目标指引信息中还可包括:干扰对象,其中,干扰对象在目标区域11外展示。此时,第一指引对象所起到的作用即为:提示目标用户4注视目标区域11内的指定对象,而忽略目标区域11外的干扰对象。此时目标用户4的可能会受到展示的干扰对象的干扰,其注视视线在显示装置1上的落点可能会在目标区域11外的干扰对象附近。
上述两种可选的显示装置1展示注视稳定类型的目标指引信息的情况中,具体的展示方式和展示内容可参见本说明书下述用于预测的展示方法中关于注视稳定类型的目标指引信息的描述,此处不做赘述。
在本说明书一个可选的实施例中,当目标指引信息的类型是眼跳类型时,显示装置1展示第二指引信息,以及按照指定时间间隔以及指定时长展示所述指定对象。其中,目标用户4在注意到显示装置1展示的第二指引信息时,可注视上述指定对象。通常,在这种情况下,目标用户4的注视视线在显示装置1上的落点可随着指定对象的出现集中在指定对象的附近。
在本说明书一个可选的实施例中,当目标指引信息的类型是眼跳类型时,显示装置1展示第二指引信息以及按照所述指定时间间隔以及所述指定时长展示所述干扰对象,其中,干扰对象在目标区域11外展示。此时,第二指引信息所起到的作用即为提示所述目标用户4注视所述干扰对象之外的目标区域11。通常,能够正常响应第二指引信息的目标用户4,在观察到显示装置1上展示的干扰对象时,可将自身的注视视线从干扰对象所在的目标区域外,移动到目标区域11内。
上述两种可选的显示装置1展示眼跳类型的目标指引信息的情况中,具体的展示方式和展示内容可参见本说明书下述用于预测的展示方法中关于眼跳类型的目标指引信息的描述,此处不做赘述。
在本说明书一个可选的实施例中,当目标指引信息的类型为追随类型时,显示装置1可展示按照指定轨迹移动的指定对象以及第三指引信息,其中,指定轨迹包括竖直直线轨迹、水平直线轨迹和曲线轨迹中的至少一种,可见,此时,第三指引信息的作用即为:提示所述目标用户4注视并追随指定对象移动。具体的,目标用户4的注视视线会随着指定对象的移动而移动,注视视线在显示装置1上的落点呈现为:沿着指定轨迹分布的若干离散的注视点。
上述可选的显示装置1展示追随类型的目标指引信息的情况中,具体的展示方式和展示内容可参见本说明书下述用于预测的展示方法中关于追随类型的目标指引信息的描述,此处不做赘述。
在本说明书一个可选的实施例中,显示装置1展示的目标指引信息还可以包括目标图像,目标图像的类型可以是灰度图像和彩色图像,此时目标指引信息的类型可以为灰度视图类型和彩色视图类型。
具体的,显示装置1可通过展示不同类型的目标图像的方式,引导目标用户4观察展示的目标图像,此时,目标用户4的注视视线可及总在目标用户4针对目标图像的感兴趣的区域。
上述可选的显示装置1展示灰度视图类型和彩色视图类型的目标指引信息的情况中,具体的展示方式和展示内容可参见本说明书下述用于预测的展示方法中关于灰度视图类型和彩色视图类型的目标指引信息的描述,此处不做赘述。
同时,采集装置2可通过图像采集的方式,采集目标用户4观察显示装置1展示多种不同类型的目标指引信息时的眼动图像,具体采集方式以及采集过程可参见下述图2预测过程的交互示意图中关于采集装置2的描述,此处不做赘述。
在采集装置2将采集到的眼动图像发送给处理设备3时,处理设备3可根据各类型的目标指引信息的眼动图像,确定各时刻的注视点,然后根据各时刻的注视点确定眼动数据,并将眼动数据与目标指引信息的各类型一一对应,得到各类型的目标指引信息的眼动数据,进一步的,根据各类型的目标指引信息的眼动数据,确定各类型的目标指引信息的眼动特征,并将得到的各类型目标指引信息的眼动特征,通过预测模型得到用于指示目标用户4精神活动的健康程度的预测结果。其中,精神活动是指人脑的功能,是人脑在反应客观事物的过程中要进行的一系列复杂的功能活动。精神活动包括了认知活动、情感活动、意志和行为。其中,眼动反映认知活动,主要由感知觉、注意、记忆和思维组成,并且,在现实生活中,认知和情感、意志、行为是分不开的,认知可以支配后三者,后三者对认知有调节作用,它们相互协调,精神才健康。由此,本说明书一个或多个实施例中,基于目标用户4的眼动特征通过预测模型得到的预测结果可用于指示目标用户4的精神活动的健康程度,以供评估人员对目标用户4的精神活动的健康状况进行评估。
基于上述预测***,通过预测模型以及眼动特征得到的用于指示目标用户4精神活动的健康程度的预测结果,实现了通过分析眼动数据就能够得到辅助诊断指标的目的,使得评估人员不再仅依靠临床症状为目标用户4进行疾病的诊断。
在本说明书一个可选的实施例中,处理设备3可针对所述注视稳定、所述眼跳以及所述追随类型的目标指引信息,首先,根据该类型的目标指引信息的眼动数据,确定各注视点之间的第一位置差异。其中,第一位置差异可表征目标用户4注视视线的集中性。
进一步的,处理设备3通过获取各时刻所述指定对象的对象位置,确定各时刻所述注视点与所述对象位置之间的第二位置差异,其中,第二位置差异可以表征目标用户4观察显示装置1时,视线集中的位置与指定对象的位置之间的差距。
又进一步的,处理设备3根据所述各注视点确定扫视路径,并确定所述扫视路径的长度,根据所述扫视路径的长度与所述各时刻确定扫视速度。
综上,处理设备3根据所述第一位置差异、所述第二位置差异、所述扫视路径的长度以及所述扫视速度,分别确定所述目标用户4在所述注视稳定、所述眼跳以及所述追随类型目标指引信息下的眼动特征。
在本说明书一个可选的实施例中,当根据眼跳类型的目标指引信息对应的眼动数据确定眼动特征时,处理设备3可根据展示的指定对象,或者干扰对象,确定眼动特征。
具体的,以眼动数据对应于显示装置1展示的是指定对象为例,处理设备3可确定展示所述指定对象的展示时刻,根据各时刻的注视点,将注视点首次落入所述指定对象对应的目标区域的时刻作为起始时刻,根据所述展示时刻和所述起始时刻之间的差异,确定所述目标用户4的启动时长。
进一步的,针对每个指定对象,确定落入该指定对象对应的目标区域的各注视点,作为该指定对象对应的注视点,根据各指定对象的展示顺序以及所述各指定对象对应的注视点,确定所述目标用户4跳转观察不同指定对象的眼跳时长。
综合各眼跳时长以及所述启动时长,确定所述目标用户4在所述眼跳类型目标指引信息下的眼动特征。
另外,显示装置1展示的是干扰对象时,同理,可得到眼跳时长以及启动时长,进而确定目标用户4在眼跳类型目标指引信息下的眼动特征。
上述可选的处理设备3根据眼跳类型的目标指引信息对应的眼动数据确定眼动特征的情况中,具体的特征确定方式可参见本说明书下述预测方法中关于确定眼跳类型的目标指引信息的眼动特征的描述,此处不做赘述。
在本说明书一个可选的实施例中,当根据追随类型的目标指引信息对应的眼动数据确定眼动特征时,处理设备3可根据展示指定对象的指定轨迹,以及眼动数据,确定眼动特征。
具体的,根据所述指定轨迹,确定所述指定对象的各对象位置与所述各时刻的第二映射关系,针对每个时刻,根据所述第二映射关系,确定该时刻注视点与对象位置之间的差异,并将差异大于预设差异阈值的注视点作为脱离点,根据各脱离点对应的时刻,确定所述目标用户4的注视点脱离所述指定对象的脱离时长。
进一步的,获取所述指定对象的移动速度,根据所述各时刻的注视点,确定所述目标用户的扫视速度,确定所述扫视速度与所述指定对象的移动速度之间的速度差异。
综上,根据所述速度差异以及所述脱离时长,确定所述目标用户4在所述追随类型目标指引信息下的眼动特征。
上述可选的处理设备3根据追随类型的目标指引信息对应的眼动数据确定眼动特征的情况中,具体的特征确定方式可参见本说明书下述预测方法中关于确定追随类型的目标指引信息的眼动特征的描述,此处不做赘述。
在本说明书一个可选的实施例中,当眼动数据对应的目标指引信息的类型为灰度视图类型和彩色视图类型时,此时,上述两种类型的目标指引信息对应的眼动数据对应于:目标用户4观察显示装置1展示的目标图像时,采集装置2采集的目标用户4的眼动图像,并基于该眼动图像确定出的眼动数据。
当根据上述两种类型的目标指引信息对应的眼动图像确定眼动数据时,处理设备3可根据接收到的各眼动图像,确定目标用户4的各注视点与所述目标图像的第一映射关系,根据所述第一映射关系,确定所述目标用户针对所述目标图像的注视点分布,得到所述目标用户4的注视点密度图,作为所述目标用4户的眼动数据。
当根据上述两种类型的目标指引信息对应的眼动数据确定眼动特征时,处理设备3可根据展示的不同类型的目标图像以及眼动数据确定眼动特征。
处理设备3可将所述目标图像输入预先训练的显著性预测模型,得到模型预测的所述目标图像的显著性图,所述显著性图用于表征模型预测的所述目标图像中的注视点分布,进一步的,确定所述目标用户4的注视点密度图,与预测得到的显著性图之间的差异,得到所述目标用户4在所述灰度视图类型以及所述彩色视图类型目标指引信息下的眼动特征。
上述可选的处理设备3根据灰度视图类型和彩色视图类型的目标指引信息对应的眼动数据确定眼动特征的情况中,具体的特征确定方式可参见本说明书下述预测方法中关于确定灰度视图类型和彩色视图类型的目标指引信息的眼动特征的描述,此处不做赘述。
图2为本说明书中提供的一种图1所示预测***中显示装置、采集装置以及处理设备执行预测过程的交互示意图,具体包括以下步骤:
S100:显示装置响应于预测请求,展示若干类型的目标指引信息。
其中,目标指引信息用于指引目标用户观察所述显示装置的目标区域,目标指引信息的类型对应于显示装置的目标区域中包含的展示内容不同。将目标用户受到不同类型的目标指引信息的引导,可在显示装置的目标区域内观察到不同类型的展示内容。
具体的,目标用户受到显示装置展示的目标指引信息观察目标区域的过程,可以称为目标用户进行眼动测试的过程。
其中,眼动测试的类型可以是注视稳定性测试、眼跳测试以及追随测试和自由视图测试中的至少两种,也就是说,在实际应用中,可以采用两种以及两种以上改的任意组合的类型的目标指引信息进行展示。
并且,上述同一类型的眼动测试还可以存在一个或多个测试任务,例如,针对眼跳测试,目标用户在所述目标指引信息的指示下,可以完成注视指定对象的朝向注视任务,以及注视干扰对象反向位置的反向注视任务。更进一步的,在同一类型的眼动测试过程中,还可以通过展示不同的目标指引信息,指示所述目标用户在不同的情况下完成该眼动测试中的某一个测试任务,以注视稳定性测试为例,目标用户可以在受到显示装置展示的视觉干扰的情况下进行注视稳定性测试,也可以在不受到视觉干扰的情况下进行。也即,在有视觉干扰的情况下完成注视稳定性测试和在无视觉干扰的情况下完成注视稳定性测试,是目标用户在两种不同的指引信息的引导下分别完成注视稳定性测试的同一个测试任务。
具体的眼动测试的类型和每种类型的眼动测试包含的测试任务可以根据具体的应用场景设置,本说明书不做具体限定。
在眼动测试的过程中,显示装置通过屏幕展示目标区域,以及通过展示不同类型的目标指引信息的方式,引导目标用户观察目标区域中不同的展示内容。根据不同的眼动测试以及测试任务,目标区域中展示内容可以是不同数量、不同类型或者以不同轨迹移动的指定对象或者干扰对象,目标指引信息可通过声音或者文字等多种类型的方式,引导目标用户观察目标区域中的展示内容。
其中,目标区域可以是在显示装置的屏幕上预先设置的指定范围的区域。在目标区域中可展示不同的展示内容。当然,也可以根据展示内容在屏幕上的不同位置,动态的调整目标区域的大小和位置,如以需要引导目标用户观察的指定对象在屏幕上的位置为中心,确定指定范围内的区域为目标区域,本说明书实施例对所述目标区域的形状不做限制,例如可以为矩形区域。目标区域可根据具体的眼动测试和测试任务确定,本说明书对此不做限定。
S102:采集装置在所述显示装置展示各类型的目标指引信息的过程中,采集所述目标用户的各时刻的眼动图像。
显示装置根据预设的展示顺序,依次展示每个类型的目标指引信息,目标用户受到该类型的目标指引信息的引导,观察显示装置展示的目标区域时,采集装置可以采集目标用户的眼动图像。
在本说明书实施例中,并不限制采集装置的具体类型,采集装置可以是现有任意采集眼动图像的装置,如基于屏幕的眼动仪,或者基于增强现实的眼动采集设备。眼动图像采集装置可以根据具体的应用场景选择,在本说明书实施例中,为了便于阐述,本说明书以基于屏幕的眼动仪采集目标用户的眼动图像为例,对具体的实施方案进行阐述。
基于屏幕的采集装置需要目标用户坐在显示装置前,并与显示装置展示的目标区域以及目标指引信息进行交互,具体的,显示装置展示目标区域,以及目标指引信息,目标用户受到目标指引信息的引导,观察目标区域。采集设备可以安装在显示装置的屏幕下方或附近等测试环境中任意能够准确采集目标用户眼动图像的位置,本说明书实施例对此并不做限制。
采集装置可以在所述显示装置展示各类型的目标指引信息的过程中,采集不同时刻的目标用户的眼动图像。当然,采集装置开始采集目标用户的眼动图像的采集时段还可以根据具体的应用场景确定,本说明书对此不做限制。
S104:采集装置将各时刻的眼动图像发送给处理设备。
S106:处理设备针对所述显示装置展示的每个类型的目标指引信息,从接收到的各时刻的眼动图像中,确定各类型的目标指引信息对应的眼动图像,并确定所述目标用户各时刻在所述显示装置的注视点,根据确定出的各时刻的注视点,确定所述目标用户对应各类型的目标指引信息的眼动数据。
在实际应用中,基于屏幕的眼动图像采集装置通常还配置有红外光源,将红外光源指向目标用户的瞳孔中心,目标用户的瞳孔上可存在红外光源反射点。通常,当红外光源的发射位置与目标用户所在的位置之间的差异小于预设阈值时,红外光源在目标用户的瞳孔上的红外光源反射点的位置不变。采集装置采集的各时刻的眼动图像可呈现各时刻目标用户的瞳孔中心的位置以及红外光源反射点的位置,以此,由处理设备跟踪到各时刻瞳孔中心和红外光源反射点之间的相对位置。由于目标用户的瞳孔中心的位置可以指示目标用户的注视视线,因此,通过各时刻瞳孔中心和红外光源反射点之间的相对位置,可以得到目标用户的注视视线在目标区域上的落点,并作为注视点。
通常,显示装置展示多种不同类型的目标指引信息,对应于引导目标用户进行多种不同类型的眼动测试,不同类型的眼动测试对应于在显示装置的目标区域内展示不同类型的展示内容,因此,在确定眼动数据时,根据分析注视点所采用的眼动图像,确定注视点对应的目标指引信息。由此,得到目标用户对应各类型的目标指引信息的各时刻的注视点,作为目标用户对应各类型的目标指引信息的眼动数据。
具体的,针对每个类型的目标指引信息,确定该类型的目标指引信息的眼动图像,通过对该类型的目标指引信息的各时刻的眼动图像进行处理,得到该类型的目标指引信息对应的各时刻的目标用户的注视点,作为该类型的目标指引信息的眼动数据。
S108:处理设备针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征。
S110:将各类型的目标指引信息的眼动特征输入预先训练的预测模型,得到所述预测模型输出的预测结果,其中,所述预测结果用于指示目标用户的精神活动的健康程度,以为评估所述目标用户的精神活动的健康状况提供参考。
具体的,在不同眼动测试下得到的眼动数据可以通过眼动测试对应的特征分析方案得到不同的眼动特征。将不同类型的目标指引信息的眼动特征进行拼接融合,得到目标用户的眼动特征,进一步的,以目标用户的眼动特征为输入,通过预先训练的预测模型,得到输出的预测结果。
由于预测模型预先根据若干参考用户的眼动特征以及参考用户的诊断结果进行训练,其中,参考用户的诊断结果是由评估人员对参考用户进行精神活动的健康评估得到的。因此,预测模型具备从眼动特征推断用于指示参考用户精神活动的健康程度的预测结果的能力。预测模型的模型结构可以是现有的任一模型结构,本说明书对此不做限制。
基于图2所示的预测***中显示装置、采集装置和处理设备执行的预测过程,通过显示装置展示若干类型的目标指引信息,指引目标用户观察显示装置的目标区域,由采集装置针对每个类型的目标指引信息,采集目标用户观察目标区域的眼动图像并发送给处理设备,处理设备根据各类型的目标指引信息对应的眼动图像,得到目标用户的眼动数据,进而得到目标用户的眼动特征,将目标用户的眼动特征输入到预先训练的预测模型中,得到模型输出的用于指示目标用户精神活动的健康程度的预测结果。可见,通过预测模型以及眼动特征得到预测结果的方式。实现了通过分析眼动数据就能够得到辅助诊断指标的目的,使得评估人员能以预测结果为参考,提高评估目标用户精神活动的健康的准确率。
在本说明书一个或多个实施例中,基于图2所示的由预测***中显示装置、采集装置以及处理设备执行预测过程,本说明书提供一种用于预测的展示方法,如图3所示,所述方法应用于显示装置,所述方法包括:
S200:接收若干类型的目标指引信息以及各类型的目标指引信息的展示顺序。
具体的,在本说明书实施例中,显示装置展示的目标指引信息可以由预测***中的处理设备,或者任一具备确定目标指引信息能力的电子设备发送给显示装置,当然,各类型的目标指引信息也可以预先存储在显示装置中,本说明书对此不做限定。
另外,通常,在指定展示时段内,显示装置同时仅展示一个类型的目标指引信息,由此,显示装置在展示各不同类型的目标指引信息时,是需要以预设的展示顺序依次展示各类型的目标指引信息的。所述展示顺序可由确定目标指引信息的电子设备确定,也可以由任一具备确定展示顺序能力的电子设备确定并发送给显示转装置,本说明书对此不做限定。
显示装置具体可以显示多种不同类型的目标指引信息,各类型的目标指引信息对应于指引目标用户观察显示装置的目标区域中包含的各类型的展示内容。
具体的,显示装置显示各类型的目标指引信息,可以引导目标用户进行不同类型的眼动测试,其中,不同类型的眼动测试可包括:注视稳定性测试、眼跳测试、追随测试以及自由视图测试。上述各类型的眼动测试中,同一类型的眼动测试还可以通过展示不同的指引信息引导目标用户完成不同的测试任务。如朝向眼跳测试和反向眼跳测试同为眼跳类型的眼动测试,但是上述两种测试为不同的测试任务。在本说明书实施例中,显示装置展示的目标指引信息的类型可包括上述四种类型中的至少任意两种类型,具体的类型组合方式本说明书不做限定。
S202:响应于预测请求,按照所述展示顺序,依次展示若干类型的目标指引信息,使得所述采集装置针对所述显示装置展示的每个类型的目标指引信息,采集所述目标用户观察所述显示装置的目标区域时的各时刻的眼动图像,作为该类型的目标指引信息对应的眼动图像,并由所述采集装置发送给所述处理设备,以使所述处理设备根据接收到的所述眼动图像,确定所述目标用户各时刻在所述显示装置的注视点,根据确定出的各时刻的注视点,确定所述目标用户对应各类型的目标指引信息的眼动数据,并且由处理设备针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征,以便由处理设备将各类型的目标指引信息的眼动特征输入预先训练的预测模型,得到所述预测模型输出的预测结果,所述预测结果用于指示所述目标用户的精神活动的健康程度,以为评估所述目标用户的精神活动的健康状况提供参考;其中,所述目标指引信息用于指引目标用户观察所述显示装置的目标区域。
基于如图3所示的用于预测的展示方法,通过向目标用户展示多种不同类型的目标指引信息的方法,能够使得采集装置针对每个类型的目标指引信息,采集目标用户观察显示装置的眼动图像,进而由处理设备基于眼动图像确定各类型的目标指引信息对应的眼动数据,以便获得眼动特征,并基于预测模型得到用于指示目标用户精神活动的健康程度的预测结果。展示多种不同类型的目标指引信息对应于采集到目标用户观察多种不同类型的目标区域,进而通过预测模型得到预测结果时,可以基于多维度的眼动特征获得,避免了单一维度的眼动特征因包含的信息量不够,导致的预测结果作为评估目标用户的精神活动的健康状况所用的参考信息的准确率下降。
在本说明书一个可选的实施例中,目标指引信息中至少包括:指定对象,其中,指定对象在显示装置的目标区域中展示。所述目标指引信息的类型包括:注视稳定、眼跳、追随以及自由视图中的至少两种。
基于此,根据不同类型的目标指引信息,如上述如图3所示用于预测的展示方法中,所述目标指引信息中至少包括:指定对象,所述指定对象在所述显示装置的目标区域中展示;所述目标指引信息的类型包括:注视稳定、眼跳、追随以及自由视图中的至少两种。显示装置展示的目标指引信息可分为以下四种情况:
第一种情况:目标指引信息的类型为注视稳定类型。
第二种情况:目标指引信息的类型为眼跳类型。
第三种情况:目标指引信息的类型为追随类型。
第四种情况:目标指引信息的类型为自由视图类型。
在本说明书一个或多个实施例中,针对上述第一种情况:所述目标指引信息的类型为注视稳定类型,如图3步骤S202所示响应于预测请求,按照所述展示顺序,依次展示若干类型的目标指引信息,具体包括:
在展示所述注视稳定类型的目标指引信息时,展示第一指引信息以及所述指定对象;其中,所述第一指引信息用于提示所述目标用户稳定注视所述指定对象。
具体的,显示装置在展示注视稳定类型的目标指引信息时,展示第一指引信息以及指定对象,此时,第一指引信息可以提示目标用户稳定注视指定对象,以引导目标用户进行注视稳定性测试。
在本说明书实施例中,目标用户对指定对象的注视可以表现为,目标用户的注视点落在指定对象的附近,通常注视点并不是完全不动的,即使目标用户的眼睛稳定注视静止的指定对象,也会在注视过程中伴随着微小的眼动,例如震颤,漂移,微眼跳。由此,在分析目标用户的眼动数据时,可将指定对象所在位置附近指定范围内的注视点均作为所述目标用户注视所述指定对象的注视点,即,即使目标用户在注视指定对象时,即使注视点发生了微小的偏移,也可以认为目标用户在注视着指定对象。
其中,根据不同的测试任务,目标区域中除了可以展示的指定对象外,还可以展示指定对象以及干扰对象,如图4A和图4B所示。
如图4A和图4B所示的显示装置1的目标区域11中,展示了目标用户4所要观察的展示内容,如指定对象111。根据注视稳定测试的不同类型的测试任务,目标区域11可展示指定对象111,如图4A所示,此为无干扰的注视稳定性测试任务,也可以是在目标区域11内展示指定对象111,以及在目标区域11外的指定区域12展示第一干扰对象113,如图4B所示,此为有干扰的注视稳定测试任务。
当测试任务为无干扰的注视稳定性测试时,第一指引信息112A用于指引所述目标用户4稳定注视所述指定对象111,如图4A所示。其中,第一指引信息112A此时可以是文字形式,如“请紧盯画面中心出现的圆点”。此时,目标用户4的注视视线在目标区域11上的落点,也就是注视点114可以是在指定对象111的附近。当然,目标用户4在测试过程中,注视实现可能会发生漂移,因此,部分注视点114可能不在指定对象111附近。
可选地,可以在指定对象111展示指定时长后,更改指定对象111的位置,使得目标用户4可根据第一指引信息112A的提示,重新注视位于不同位置的指定对象111。其中,指定对象111展示的时长以及间隔的时间,可以与下述如图5A中眼跳类型的目标指引信息包括的指定对象111展示的指定时长以及间隔的指定时间不同。在展示注视稳定类型的目标指引信息的过程中,本说明书对指定对象111出现的位置和位置更改的次数不做限定。
在本说明书一个可选的实施例中,所述目标指引信息中还包括:干扰对象,所述干扰对象在所述目标区域外展示;
如图3步骤S202所示响应于预测请求,按照所述展示顺序,依次展示若干类型的目标指引信息,具体包括:
展示所述第一指引信息、所述指定对象以及所述干扰对象,其中,所述第一指引信息用于提示所述目标用户注视指定对象,并忽略所述干扰对象。
基于上述无干扰的注视稳定测试的测试任务,相对的,本说明书实施例提供一种有干扰的注视稳定性测试的测试任务。
具体的,当测试任务为有干扰的注视稳定性测试时,显示装置1的目标区域11中展示指定对象111,以及在目标区域11外的指定区域12内展示第一干扰对象113,如图4B所示,此时,第一指引信息112A用于指引所述目标用户4注视所述指定对象111,并且忽略所述第一干扰对象113。第一指引信息112A可以是文字形式的引导,例如“请紧盯画面中心出现的圆点,并忽略干扰图形*”。此时,目标用户4的注视视线在目标区域11上的落点,也就是注视点114可以是在指定对象111的附近。但是在当前测试任务中,目标区域11内存在第一干扰对象113,目标用户4的注视点114可能会出现在第一干扰对象113的附近。
可选地,在本说明书实施例中,在展示注视稳定类型的目标指引信息时,展示指定对象111或第二干扰对象115的第一指定时长可以大于(或远大于)下述在展示眼跳类型的目标指引信息时,展示指定对象111或第二干扰对象115的第二指定时长,以便目标用户4可根据第一指引信息112A的提示,在第一指定时长内稳定的注视指定对象111。
在本说明书一个或多个实施例中,针对上述第二种情况:所述目标指引信息的类型为眼跳类型,如图3步骤S202所示响应于预测请求,按照所述展示顺序,依次展示若干类型的目标指引信息,具体包括:
在展示所述眼跳类型的目标指引信息时,展示第二指引信息以及按照指定时间间隔以及指定时长展示所述指定对象;其中,所述第二指引信息用于提示所述目标用户跳转注视所述指定对象。
具体的,显示装置在展示所述眼跳类型的目标指引信息时,展示第二指引信息以及按照指定时间间隔以及指定时长展示所述指定对象,其中,第二指引信息可以引导目标用户进行眼跳测试,具体是,注视指定对象,指定对象在目标区域内按照指定时间间隔、展示指定时长。其中,根据不同的测试任务,目标区域中除了可以展示指定对象外,还可以展示干扰对象。
在本说明书实施例中,眼跳可以为目标用户跳转观察不同的指定对象的过程。在眼跳的过程中,目标用户的注视点可从一个指定对象快速转移到下一个指定对象,两个指定对象的位置通常是不同的。
具体可如图5A和图5B所示。如图5A和图5B所示的显示装置1的目标区域11中,展示了目标用户4所要观察的展示内容,如指定对象111,其中,为了引导目标用户4的注视点发生变化(此处所谓的变化指的是作为注视目标的指定对象的位置发生了改变,而非是目标用户注视同一指定对象时注视点的漂移),改变了指定对象111所在的位置。
例如,如图5A所示,指定对象111可先出现在111A指示的第一位置,在目标区域11内展示所述指定时长,再间隔指定时间间隔后,指定对象111可以将自身出现的位置由111A指示的第一位置变更到111B指示的第二位置处,使得目标用户4为了注视指定对象111进行眼跳过程。
另外,根据眼跳测试的不同类型的测试任务,目标区域11可展示指定对象111,如图5A所示,此为朝向眼跳的测试任务,也可以是在目标区域11外的指定区域12中的第二干扰对象115,此为反向眼跳的测试任务,如图5B所示。
当测试任务为朝向眼跳测试时,如图5A所示,显示装置1的目标区域11内展示按照指定时间间隔以及指定时长出现的指定对象111,所述第二指引信息112B用于指引所述目标用户4注视出现在目标区域11内的所述指定对象111。第二指引信息112B此时可以是文字形式引导目标用户4注视指定对象111,例如,“请紧盯出现的实心圆点”其中,第一位置111A指示的位置和第二位置111B指示的位置分别表征指定对象111在目标区域内的不同位置,也就是说,指定对象111在展示指定时长,并间隔指定时间间隔后,出现的位置可以从第一位置111A指示的位置变更到第二位置111B指示的位置处。其中,指定对象111展示的指定时长以及间隔的指定时间,可以与如图4A中指定对象111展示的时长以及间隔的时间不同。在展示眼跳类型的目标指引信息的过程中,每次朝向眼跳测试指定对象111出现的位置和次数本说明书不做限定。
在本说明书一个可选的实施例中,所述目标指引信息中还包括:干扰对象,所述干扰对象在所述目标区域外展示;
如图3步骤S202所示响应于预测请求,按照所述展示顺序,依次展示若干类型的目标指引信息,具体包括:
展示第二指引信息以及按照所述指定时间间隔以及所述指定时长展示所述干扰对象,其中,所述第二指引信息用于提示所述目标用户注视所述干扰对象之外的目标区域。
具体的,基于上述朝向眼跳测试,相对的,本说明书实施例提供一种反向眼跳测试。
当测试任务为反向眼跳测试时,如图5B所示,显示装置1的目标区域11外的指定区域12内展示按照指定时间间隔以及指定时长出现的第二干扰对象115,所述第二指引信息112B用于指引所述目标用户4观察所述第二干扰对象115对应的目标区域11,如图5B所示的第二干扰对象115对侧的目标区域11。第二指引信息112B可以是文字形式,例如,“当出现空心圆点时,请注视对侧”。另外,第二干扰对象115的出现方式与如图5A中指定对象111类似,可以从第三位置115A指示的位置变更到第四位置115B指示的位置,此处不再赘述。另外,第二干扰对象115展示的指定时长以及间隔的指定时间,可以与如图4B中第二干扰对象115展示的时长以及间隔的时间不同。
需要说明的是,在本说明书实施例中,在展示眼跳类型的目标指引信息时,展示指定对象111或第二干扰对象115的第二指定时长可以小于(或远小于)上述在展示注视稳定类型的目标指引信息时,展示指定对象111或第二干扰对象115的第一指定时长,以便目标用户4可根据第二指引信息112B的提示,跳转注视在不同位置出现的指定对象111。
在本说明书一个或多个实施例中,针对上述第三种情况:所述目标指引信息的类型为追随类型,如图3步骤S202所示响应于预测请求,按照所述展示顺序,依次展示若干类型的目标指引信息,具体包括:
在展示所述追随类型的目标指引信息时,展示按照指定轨迹移动的指定对象以及第三指引信息;所述指定轨迹包括竖直直线轨迹、水平直线轨迹和曲线轨迹中的至少一种;
其中,所述第三指引信息用于提示所述目标用户注视追随所述指定对象移动。
具体的,显示装置在展示所述追随类型的目标指引信息时,展示按照指定轨迹移动的指定对象以及第三指引信息。其中,所述指定轨迹包括竖直直线轨迹、水平直线轨迹和曲线轨迹中的至少一种。此时,第三指引信息可以引导目标用户进行追随测试,具体是提示所述目标用户注视追随所述指定对象的移动。
追随指的是,在注视运动的指定对象时,目标用户为了确保眼睛的中央凹能够一直对准指定对象,目标用户的注视点就会针对运动的指定对象发生移动。
其中,根据不同的测试任务,追随测试包含的指定对象可以按照不同类型的指定轨迹移动,如图6所示。
可选的,曲线轨迹可以是任意弯曲的线条构成的轨迹,例如波浪形轨迹等非闭合曲线轨迹,又如圆形轨迹、椭圆形轨迹和李萨如图形轨迹等闭合曲线轨迹,其中,李萨如图形是由在互相垂直的方向上的两个频率成简单整数比的简谐振动所合成的规则且稳定的闭合曲线。本说明书对曲线轨迹的具体形状不做限定。
如图6所示在目标区域11内,展示按照指定轨迹116移动的指定对象111。此时,第三指引信息112C可以是文字形式的引导,例如,“请注视并跟随画面上出现的圆点”。由于目标用户4受第三指引信息112C的引导去观察移动的指定对象111,因此,目标用户4在目标区域11上注视点114可以是分布在指定对象111的指定轨迹116附近。另外,目标区域11可以是包含指定对象111的矩形区域。但是在如图6所示的显示装置1中,指定对象111是按照指定轨迹116移动的,因此,目标区域也可以根据指定对象111的位移,进行移动。例如,针对每个时刻,确定指定对象在显示装置的屏幕中的位置,根据所述指定对象的位置,确定包含所述指定对象的、指定大小的矩形区域为该时刻的指定对象的目标区域。
在本说明书一个可选的实施例中,针对上述第四种情况:所述目标指引信息包括目标图像,所述目标图像包括灰度图像和/或彩色图像;所述目标指引信息的类型包括:灰度视图和/或彩色视图;
基于上述第四种情况,如图3步骤S202所示响应于预测请求,按照所述展示顺序,依次展示若干类型的目标指引信息,具体包括:
展示所述目标图像,使得所述处理设备根据接收到的各眼动图像,确定所述目标用户的各注视点与所述目标图像的第一映射关系,并根据所述第一映射关系,确定所述目标用户针对所述目标图像的注视点分布,得到所述目标用户的注视点密度图,作为所述目标用户的眼动数据,以便根据确定出的目标用户的眼动数据。
具体的,根据不同的测试任务,目标区域中展示的目标图像可包括灰度图像和彩色图像。即,目标图像为灰度图像时,对应于灰度视图类型的测试任务,目标图像为彩色图像时,对应于彩色视图类型的测试任务。
如图7所示在显示装置1的目标区域11中展示目标图像117,其中,所述目标图像117可以是灰度图像和彩色图像,显示装置可展示第四指引信息112D,用于提示目标用户4自由观察目标图像117,例如“请自由观察屏幕上出现的图片”。目标用户4针对目标图像117的注视点114可以是在目标用户4感兴趣的区域内。
可以理解的是,在本说明书实施例中,第一指引信息112A、第二指引信息112B、第三指引信息112C以及第四指引信息112D的作为提示目标用户进行眼动测试的指引信息时,其提示的方式可以是上述的文字形式,也可以是声音等任意合理的形式,本说明书对此不做限定。
在本说明书一个或多个实施例中,基于图2所示的由预测***中显示装置、采集装置以及处理设备执行预测的交互过程,其中,处理设备可以基于采集装置采集的眼动图像以及预先训练的预测模型,预测得到用于指示目标用户的精神活动的健康程度的预测结果。由此,本说明书提供一种预测方法,如图8所示,所述方法应用于处理设备,所述方法包括:
S300:接收由采集装置发送的目标用户的各时刻的眼动图像;所述各时刻的眼动图像是由所述采集装置在显示装置展示各类型的目标指引信息的过程中采集的。
S302:针对显示装置展示的每个类型的目标指引信息,从所述各时刻的眼动图像中,确定各类型的目标指引信息对应的眼动图像。
具体的,由于采集设备是以指定时刻为采集眼动图像的开始时刻,开始采集目标用户的眼动图像的,而该指定时刻与目标用户观察目标区域的时刻并不完全一致。由此,采集设备采集到的目标用户的眼动图像所表征的,目标用户的注视点未必在显示装置的目标区域内,甚至可以不在显示装置的屏幕上。由此,可以根据各类型的目标指引信息的展示顺序和展示时段,与各时刻的眼动图像进行比对,以此从各时刻的眼动图像中确定目标用户观察各类型的目标指引信息指示的目标区域的眼动图像。例如,目标指引信息的类型为注视稳定类型和眼跳类型,其中,注视稳定类型的目标指引信息的展示时段为T1~Tk-1,眼跳类型的展示时段为Tk~Tn。如果各眼动图像的采集时刻分别为T1、T2……Tk-1、Tk、Tk+1……Tn,则T1、T2……Tk-1各时刻采集的眼动图像对应于注视稳定类型,而Tk、Tk+1……Tn各时刻采集的眼动图像对应于眼跳类型。
S304:根据各类型的目标指引信息对应的眼动图像,确定所述目标用户各时刻在所述显示装置的注视点,并根据确定出的各时刻的注视点,确定所述目标用户对应各类型的目标指引信息的眼动数据。
通常,显示装置展示多种不同类型的目标指引信息,对应于引导目标用户进行多种不同类型的眼动测试,不同类型的眼动测试对应于在显示装置的目标区域内展示不同类型的展示内容,因此,在确定眼动数据时,根据分析注视点所采用的眼动图像,确定注视点对应的目标指引信息。由此,得到目标用户对应各类型的目标指引信息的各时刻的注视点,作为目标用户对应各类型的目标指引信息的眼动数据。
具体的,针对每个类型的目标指引信息,确定该类型的目标指引信息的眼动图像,通过对该类型的目标指引信息的各时刻的眼动图像进行处理,得到该类型的目标指引信息对应的各时刻的目标用户的注视点,作为该类型的目标指引信息的眼动数据。
S306:针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征。
具体的,在不同眼动测试下得到的眼动数据可以通过眼动测试对应的特征分析策略得到不同的眼动特征。将不同类型的目标指引信息的眼动特征进行拼接融合,得到目标用户的眼动特征,进一步的,以目标用户的眼动特征为输入,通过预先训练的预测模型,得到输出的预测结果,该预测结果即可用于为评估目标用户的精神活动的健康状况提供参考。
S308:将各类型的目标指引信息的眼动特征输入预先训练的预测模型,得到所述预测模型输出的预测结果。
由于预测模型预先根据若干参考用户的眼动特征以及参考用户的诊断结果进行训练,而参考用户的诊断结果由评估人员根据所述参考用户的精神活动的健康状况确定,因此,预测模型具备从眼动特征推断用于指示用户的精神活动的健康程度的预测结果的能力。预测模型的模型结构可以是现有的任一模型结构,本说明书对此不做限制。
基于图8所示的预测方法,确定各类型的目标指引信息对应的眼动图像,并以此得到目标用户的眼动数据,进而得到目标用户的眼动特征,将目标用户的眼动特征输入到预先训练的预测模型中,得到模型输出的用于指示目标用户的精神活动的健康程度的预测结果,以为评估目标用户的精神活动的健康状况提供参考。可见,通过预测模型以及眼动特征得到预测结果的方式,实现了通过分析眼动数据就能够得到辅助诊断指标的目的,使得评估人员可以以预测结果为参考,提高评估目标用户精神活动的健康状况的准确率。
在本说明书一个或多个实施例中,在如图8步骤S306所示根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征时,由于针对注视稳定、所述眼跳以及所述追随类型的眼动图像确定眼动特征时,这三种类型的眼动特征均可以表征目标用户的注视点的位置、各注视点与指定对象之间的关系、注视点的移动特征。
具体的,注视稳定类型的目标指引信息用于引导所述目标用户稳定的注视静止不动的指定对象。注视稳定的眼动特征可以表征目标用户在指定时段内控制注视点集中在指定对象上的能力。
眼跳类型的目标指引信息用于引导所述目标用户将注视点移动到在不同位置处的指定对象。眼跳类型的眼动特征可以表征目标用户针对位置发生变化的指定对象改变自身的注视点。
追随类型的目标指引信息用于引导所述目标用户注视并追随按照指定轨迹移动的指定对象,追随类型的眼动特征可以表征目标用户的注视点追随指定对象的追随能力。
由此,可采用相同的特征处理方案,得到不同类型的目标指引信息的眼动特征,具体通过以下几方面实现:
第一方面:针对所述注视稳定、所述眼跳以及所述追随类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述各注视点之间的第一位置差异。
具体的,针对所述注视稳定、所述眼跳以及所述追随类型的每一个类型的眼动数据,确定目标用户各时刻的注视点,并根据各时刻的注视点,确定各注视点之间的第一位置差异。具体的,第一位置差异能够表征目标用户注视显示装置时的集中度。第一位置差异越小,说明目标用户越集中注视着显示装置上的某一目标,目标用户进行眼动过程的集中度越高。
可选地,可采用下述公式得到第一位置差异:
其中,xi和yi表示第i个注视点在显示装置的屏幕上的横纵坐标,n为注视点的个数。
第二方面:获取各时刻所述指定对象的对象位置,确定各时刻所述注视点与所述对象位置之间的第二位置差异。
进一步的,确定各时刻所述注视点与所述对象位置之间的第二位置差异,其中,第二位置差异能够表征目标用户注视指定对象时的关注度。第二位置差异越小,说明目标用户注视指定对象时的关注度越高,目标用户进行眼动过程的专注度越高。
可选地,可采用下述公式得到第二位置差异:
其中,x0和y0分别是指定对象在显示装置的屏幕上的横纵坐标,xi和yi表示第i个注视点在显示装置的屏幕上的横纵坐标,n为注视点个数。
第三方面:根据所述各注视点确定扫视路径,并确定所述扫视路径的长度,根据所述扫视路径的长度与所述各时刻确定扫视速度。
更进一步的,根据各时刻的注视点,通过将各时刻按照时间进程排列,得到按照时间进程排列的各时刻的注视点,并以此确定目标用户的扫视路径。铜鼓哦扫视路径可以得到扫视路径的长度以及目标用户进行眼动过程的扫视速度,其中扫视路径的长度以及扫视速度均可作为目标用户的各注视点的移动特征。当然,还可以通过按照时间进程排列的各时刻的注视点确定扫视子路径的数量、扫视时长等其他注视点移动特征,本说明书对此不做限定。
可选地,可采用下述公式得到扫视路径的长度:
其中,xi和yi表示第i个注视点的横纵坐标,n为注视点个数。
可选地,还可以基于扫视路径的长度确定平均扫视路径长度,具体如下:
其中,xi和yi表示第i个注视点的横纵坐标,n为注视点个数。
可选地,基于扫视路径确定扫视速度可以通过如下公式确定:
其中,xi和yi表示第i个注视点的横纵坐标,ti表示目标用户注视第i个注视点的持续时间,n为注视点个数。
另外,基于扫视路径还可以确定其他眼动特征,如扫视路径的个数、注视点的个数等,可根据具体的应用场景确定,本说明书对此不做限定。
综上,根据所述第一位置差异、所述第二位置差异、所述扫视路径的长度以及所述扫视速度,分别确定所述目标用户在所述注视稳定、所述眼跳以及所述追随类型目标指引信息下的眼动特征。
基于上述眼动特征确定方案,针对所述目标用户在所述注视稳定、所述眼跳以及所述追随类型目标指引信息下得到的眼动数据,分别得到这三种类型的眼动特征。可见,通过不同类型的眼动测试,通过多维的特征提取方案,能够获取到更为全面的目标用户的眼动特征,提高了预测结果的准确性,进而提高了评估人员对目标用户的精神活动的健康状况进行评估的准确性。
在本说明书一个可选的实施例中,在如图8步骤S306所示根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征时,其中,眼动数据的来源可以是目标用户进行不同实验任务的眼跳测试,由此,还可以根据眼跳类型的眼动数据,通过可选的眼跳类型的眼动特征确定方案,确定眼跳类型的眼动特征。
具体可分为以下两种情况,其一:针对显示装置在展示眼跳类型的目标指引信息时,展示第二指引信息以及指定对象的情况;其二:针对显示装置在展示眼跳类型的目标指引信息时,展示第二指引信息以及干扰对象的情况。其中,干扰对象的展示位置为目标区域外。
基于上述第一种情况,在本说明书一个可选的实施例中,所述眼动数据对应的目标指引信息的类型为:眼跳类型;所述眼跳类型的目标指引信息包括按照指定时间间隔以及指定时长展示的指定对象;
所述方法还包括:
确定展示所述指定对象的展示时刻,根据各时刻的注视点,将注视点首次落入所述指定对象对应的目标区域的时刻作为起始时刻,根据所述展示时刻和所述起始时刻之间的差异,确定所述目标用户的启动时长;
针对每个指定对象,确定落入该指定对象对应的目标区域的各注视点,作为该指定对象对应的注视点,根据各指定对象的展示顺序以及所述各指定对象对应的注视点,确定所述目标用户跳转观察不同指定对象的眼跳时长;
根据各眼跳时长以及所述启动时长,确定所述目标用户在所述眼跳类型目标指引信息下的眼动特征。
具体的,首先,确定展示所述指定对象的展示时刻,根据各时刻的注视点,将注视点首次落入所述指定对象对应的目标区域的时刻作为起始时刻,根据所述展示时刻和所述起始时刻之间的差异,确定所述目标用户的启动时长。
通常,眼跳指的是目标用户的注视目标从一个指定对象变更到另一个指定对象的过程。
具体的,目标用户启动眼跳过程的启动时长可表征目标用户针对眼跳运动的反应能力。启动时长是通过指定对象的展示时刻以及指定对象的注视点首次落入指定对象对应的目标区域的初始时刻确定的。由于眼跳运动可以在一定程度上反映目标用户的认知能力,当眼跳运动的启动时长落入预设的第一时长区间内时,说明目标用户的针对眼跳测试的启动时长与认知能力正常的参考用户类似,可以表征用户在针对眼跳测试时,眼跳运动的反应能力与参考用户相仿。其中,第一时长区间可以根据若干认知能力正常的参考用户针对眼跳测试时启动眼跳运动的时长确定。
其次,针对每个指定对象,确定落入该指定对象对应的目标区域的各注视点,作为该指定对象对应的注视点,根据各指定对象的展示顺序以及所述各指定对象对应的注视点,确定所述目标用户跳转观察不同指定对象的眼跳时长。
在本说明书实施例中,由于眼跳类型的目标指引信息包含的指定对象,是按照指定时间间隔进行展示的,因此,指定对象在间隔指定时间间隔后,展示位置可以发生变更,比如,由在目标区域内的第一位置变更到第二位置,此时,第二指引信息提示目标用户跳转注视指定对象,也就是说目标用户可将自身的注视目标由处于第一位置的指定对象变更到处于第二位置的指定对象。在此过程中,目标用户的注视点也会发生变更。
基于此,按照各指定对象的展示顺序,根据各注视点落入各指定对象的情况,确定处于不同位置的指定对象对应的注视点,针对每个指定对象,根据该指定对象对应的各注视点对应的各时刻,确定该指定对象对应的首个注视点以及最后一个注视点,根据该指定对象对应的最后一个注视点的第一时刻,以及所述展示顺序下该指定对象的下一个指定对象对应的首个注视点的第二时刻,确定第一时刻和第二时刻之间的差异,作为目标用户由该指定对象跳转观察该指定对象的下一个指定对象的眼跳时长。
可选地,上述眼跳时长可根据如下公式得到:
其中,m为眼跳测试中指定对象的个数,tj为目标用户注视第j个指定对象的最后一个注视点对应的时刻,tj+1为目标用户注视第j+1个指定对象的首个注视点对应的时刻。
可选地,基于眼跳时长还可以确定其他眼跳特征。如眼跳时长的平均值、最大值、标准差等,可根据具体的应用场景确定,本说明书对此不做限定。
进一步的,由于眼跳时长可以反映目标用户的中枢神经***控制的有目的和有规律的眼动过程。当目标用户的眼跳时长落入预设的第二时长区间内时,说明目标用户的针对眼跳测试的眼跳时长与认知能力正常的参考用户类似,可以表征目标用户在针对眼跳测试时,眼跳运动的控制能力与参考用户相仿。其中,第二时长区间可以根据若干认知能正常的参考用户针对眼跳测试时的眼跳时长确定。
基于上述第二种情况,在本说明书一个可选的实施例中,所述眼动数据对应的目标指引信息的类型为:眼跳类型;所述眼跳的目标指引信息包括按照指定时间间隔以及指定时长展示的干扰对象,所述干扰对象在目标区域外展示;
所述方法还包括:
确定展示所述干扰对象的展示时刻,根据各时刻的注视点,将注视点首次落入所述干扰对象对应的目标区域的时刻作为起始时刻,根据所述展示时刻和所述起始时刻之间的差异,确定所述目标用户的启动时长;
针对每个干扰对象,确定落入该干扰对象对应的目标区域的各注视点,作为该干扰对象对应的注视点,根据各干扰对象的展示顺序以及所述各干扰对象对应的注视点,确定所述目标用户跳转观察不同干扰对象对应的目标区域的眼跳时长;
根据各眼跳时长以及所述启动时长,确定所述目标用户在所述眼跳类型目标指引信息下的眼动特征。
具体的,首先,处理设备确定展示所述干扰对象的展示时刻,根据各时刻的注视点,将注视点首次落入所述干扰对象对应的目标区域的时刻作为起始时刻,根据所述展示时刻和所述起始时刻之间的差异,确定所述目标用户的启动时长。
当显示装置展示干扰对象时确定目标用户的启动时长的方案,与上述显示装置展示指定对象时确定目标用户的启动时长的方案类似,此处不再赘述。
但需要说明的是,起始时刻对应的注视点首次落入干扰对象对应的目标区域的时刻,此处的干扰对象对应的目标区域指的是:在显示装置在目标区域外展示干扰对象的前提下,第二指引信息引导目标用户观察的目标区域,例如,干扰对象所在区域的对侧的目标区域。
其次,针对每个干扰对象,确定落入该干扰对象对应的目标区域的各注视点,作为该干扰对象对应的注视点,根据各干扰对象的展示顺序以及所述各干扰对象对应的注视点,确定所述目标用户跳转观察不同干扰对象对应的目标区域的眼跳时长。
当显示装置展示干扰对象时确定目标用户的眼跳时长的方案,与上述显示装置展示指定对象时确定目标用户的眼跳时长的方案类似,此处不再赘述。
综上,根据各眼跳时长以及所述启动时长,确定所述目标用户在所述眼跳类型目标指引信息下的眼动特征。
可选的,基于上述两种情况,根据各眼跳时长以及所述启动时长,确定所述目标用户在所述眼跳类型目标指引信息下的眼动特征。
在本说明书一个可选的实施例中,在如图8步骤S306所示根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征时,其中,眼动数据的来源是目标用户进行不同实验任务的追随测试,由此,还可以根据追随类型的眼动数据,通过可选的追随类型的眼动特征确定方案,确定追随类型的眼动特征。
基于此,可选地,所述眼动数据对应的目标指引信息的类型为:追随类型;所述追随类型的目标指引信息包括按照指定轨迹移动的指定对象,所述指定轨迹包括竖直直线轨迹、水平直线轨迹和曲线轨迹中的至少一种;
所述方法还包括:
根据所述指定轨迹,确定所述指定对象的各对象位置与所述各时刻的第二映射关系,针对每个时刻,根据所述第二映射关系,确定该时刻注视点与对象位置之间的差异,并将差异大于预设差异阈值的注视点作为脱离点,根据各脱离点对应的时刻,确定所述目标用户的注视点脱离所述指定对象的脱离时长;
获取所述指定对象的移动速度,根据所述各时刻的注视点,确定所述目标用户的扫视速度,确定所述扫视速度与所述指定对象的移动速度之间的速度差异;
根据所述速度差异以及所述脱离时长,确定所述目标用户在所述追随类型目标指引信息下的眼动特征。
可选地,上述速度差异可以通过以下方式确定:
其中,vi表示第i个扫视路径的速度,vt表示指定对象的速度,n为扫视路径个数。
在本说明书一个可选的实施例中,在如图8步骤S306所示根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征时,所述眼动数据包括所述目标用户针对显示装置展示的包含目标图像的目标指引信息确定的眼动数据,所述目标图像包括灰度图像和彩色图像,其中,所述目标指引信息的类型还包括灰度视图类型的目标指引信息以及彩色视图类型的目标指引信息。
由此,可选地,所述眼动数据对应的目标指引信息的类型还包括:灰度视图类型和彩色视图类型;所述灰度视图类型的目标指引信息包括灰度的目标图像,所述彩色视图类型的目标指引信息包括彩色的目标图像;
所述方法包括:
根据接收到的各眼动图像,确定所述目标用户的各注视点与所述目标图像的第一映射关系,根据所述第一映射关系,确定所述目标用户针对所述目标图像的注视点分布,得到所述目标用户的注视点密度图,作为所述目标用户的眼动数据。
根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征,具体包括:
将所述目标图像输入预先训练的显著性预测模型,得到模型预测的所述目标图像的显著性图,所述显著性图用于表征模型预测的所述目标图像中的注视点分布;
确定所述目标用户的注视点密度图,与预测得到的显著性图之间的差异,得到所述目标用户在所述灰度视图类型以及所述彩色视图类型目标指引信息下的眼动特征。
具体的,采集装置采集目标用户观察所述显示装置展示的灰度的目标图像时的各时刻的眼动图像,作为灰度视图类型的目标指引信息对应眼动图像,以及,采集目标用户观察所述显示装置展示的彩色的目标图像时的各时刻的眼动图像,作为彩色视图类型的目标指引信息对应的眼动图像。其中,目标图像的具体展示内容本说明书并不限制。
基于上述目标用户根据灰度视图类型和彩色视图类型的目标指引信息的引导,目标用户可进行自由视图测试,由此,在如图8步骤S306所示根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征时,还可以根据接收到的各眼动图像,确定所述目标用户的各注视点与所述目标图像的第一映射关系,根据所述第一映射关系,确定所述目标用户针对所述目标图像的注视点分布,得到所述目标用户的注视点密度图,作为所述目标用户的眼动数据。
具体的,将所述目标图像输入预先训练的显著性预测模型,得到模型预测的所述目标图像的显著性图,所述显著性图用于表征模型预测的所述目标图像中的注视点分布。
确定所述目标用户的注视点密度图,与预测得到的显著性图之间的差异,得到所述目标用户在所述灰度视图类型以及所述彩色视图类型目标指引信息下的眼动特征。
其中,目标用户的注视点密度图,与预测得到的显著性图之间的差异的指标可通过现有任意分布差异指标确定,如标准化扫描路径显著性、相似性度量、线性相关系数、AUC等。
可选的,目标用户的注视点密度图与预测得到的显著性图之间的差异,可通过线性相关系数表征,如下公式所示:
其中,P为模型预测的显著性图,G为由目标用户注视点生成的注视点密度图,σ(,)表示协方差,σ()表示标准差。线性相关系数可以表征模型预测显著性图表征的认知能力正常的用户针对目标图像的注视点的分布,与目标用户针对目标图像的注视点的分布之间的线性相关的程度,上述公式得到眼动特征越大,说明目标用户针对目标图像的注意力分布与认知能力正常的用户针对目标图像的注意力分布越接近。
可选的,目标用户的注视点密度图与预测得到的显著性图之间的差异,可通过矩阵相似度表征,如下公式所示:
其中,HP,HG分别为显著性图和注视点密度图的直方图,j表示直方图中的第j个灰度。上述公式得到的眼动特征可以表征目标用户在注视目标图像时,目标用户的注意力集中的区域,与模型预测的显著性图表征的认知能力正常的用户在注视目标图像时会集中观察的区域之间的差异,上述公式得到的眼动特征越大,说明目标用户与认知能力正常的用户之间的差异越小。
可选的,目标用户的注视点密度图与预测得到的显著性图之间的差异,可通过KL散度(Kullback-Leibler divergence,KLD)表征,如下公式所示:
其中,ε表示正则化项,i表示第i个像素。上述公式得到的眼动特征可以表征目标用户注视目标图像的第i个像素的概率与模型预测的认知能力正常的用户注视目标图像的第i各像素的概率之间的差异,其中,上述公式得到的眼动特征的数值越大,说明目标用户针对目标图像的注意力分布,与模型预测的认知能力正常的用户针对目标图像的注意利分布之间的差异越大。
可选的,目标用户的注视点密度图与预测得到的显著性图之间的差异,可通过标准化扫描路径显著性(Normalized Scanpath Saliency,NSS)表征,如下公式所示:
其中,j是第j个像素,B为目标用户的注视点密度图的二值化表征图,为归一化为均值为0,方差为1的显著性图,μ是均值,σ为标准差,上述公式得到的眼动特征能够表征针对目标图像,目标用户注视点的分布与模型预测的认知能力正常的用户注视点所在位置之间的差异,NSS越大,目标用户针对目标图像的注意力分布,与模型预测的认知能力正常的用户针对目标图像的注意利分布之间的差异越大。
以上为本说明书提供的几种可选的分布差异指标,通过分布差异指标可以得到用于表征目标用户观察目标图像的注视点分布以及模型预测的认知能力正常的用户观察目标图像的注视点分布之间差异的眼动特征。
当然,根据具体的应用场景,可以选择多个不同类型的分布差异指标确定多维度的眼动特征,以全面地表征目标用户观察目标图像的注视点分布以及模型预测的认知能力正常的用户观察目标图像的注视点分布之间差异,上述仅为可选的方案,本说明书对具体的分布差异指标的类型以及数量不做限定。
具体的,由于预先训练的显著性预测模型是根据认知能力正常的参考用户针对图像的注视点密度图训练得到的,因此,显著性预测模型预测的目标图像的显著性图能够表征:认知能力正常的参考用户在观察目标图像时,其注视点集中在目标图像的哪个区域上。基于此,目标用户的注视点密度图,与预测得到的显著性图之间的差异,可以表征目标用户的注视点集中的区域,与认知能力正常的参考用户的注视点集中的区域之间的差异。如果所述差异较大,说明目标用户在观察目标图像时注视点集中的区域,与认知能力正常的参考用户的注视点集中的区域不同。反之,如果差异较小,说明目标用户跟参考用户在观察目标图像时,注视点集中的区域相似。
在本说明书一个或多个实施例中,如图2步骤S108所示将所述目标用户的眼动特征输入预先训练的预测模型,得到所述预测模型输出的预测结果中,所采用的预测模型可采用下述方法进行训练,具体如图9所示:
S400:显示装置预先对不同的参考用户展示各类型的目标指引信息。
S402:采集装置针对每个参考用户,在所述显示装置展示各类型的目标指引信息的过程中,采集该参考用户的各时刻的眼动图像。
S404:采集装置将各参考用户的各时刻的眼动图像发送给所述处理设备。
S406:处理设备针对每个参考用户,从所述采集装置发送的该参考用户的各时刻的眼动图像中,确定该参考用户对应各类型的目标指引信息的眼动图像,根据该参考用户对应各类型的目标指引信息的眼动图像,确定该参考用户在所述显示装置的注视点,根据确定出的各时刻的注视点,确定该参考用户对应各类型的目标指引信息的眼动数据。
S408:根据该参考用户对应各类型的目标指引信息的眼动数据,确定该参考用户对应各类型的目标指引信息的眼动特征。
S410:根据该参考用户的各类型的目标指引信息的眼动特征,确定训练样本,并根据该参考用户的诊断结果确定所述训练样本的标签,所述诊断结果由评估人员根据所述参考用户的精神活动的健康状况确定。
其中,本说明书对评估人员对参考用户的精神活动的健康状况的评估方式不做限定。
S412:根据所述训练样本以及所述训练样本的标签,训练所述预测模型。
基于如图9所示的方法,通过向每个参考用户分别展示不同类型的目标指引信息,处理设备通过对采集设备确定的各参考用户的各类型的目标指引信息对应的眼动图像进行处理,针对每个参考用户,确定该参考用户在显示装置的格式可的注视点,并作为该参考用户对应的各类型的目标指引信息的眼动数据,进而得到该参考用户对应各类型的目标指引信息的眼动特征,作为训练预测模型的训练样本,并将该参考用户的诊断结果作为训练样本的标签,其中,诊断结果由评估人员根据所述参考用户的精神活动的健康状况确定。根据训练样本和训练样本的标签对预测模型进行训练。可见,训练预测模型所采用的训练样本来源于参考用户通过多种不同类型的目标指引信息得到的眼动特征,避免了仅通过单一测试获取的眼动特征包含的信息量过少的问题,提高了预测模型输出预测结果的准确度。
图10为本说明书提供的一种用于预测的展示装置的示意图,具体包括:
获取模块500,用于获取若干类型的目标指引信息以及各类型的目标指引信息的展示顺序。
展示模块502,用于响应于预测请求,按照所述展示顺序,依次展示若干类型的目标指引信息,使得所述采集装置在所述显示装置展示各类型的目标指引信息的过程中,采集所述目标用户的各时刻的眼动图像,并由所述采集装置发送给所述处理设备,以使所述处理设备根据接收到的所述眼动图像,确定所述目标用户各时刻在所述显示装置的注视点,根据确定出的各时刻的注视点,确定所述目标用户对应各类型的目标指引信息的眼动数据,并且由处理设备针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征,以便由处理设备将各类型的目标指引信息的眼动特征输入预先训练的预测模型,得到所述预测模型输出的预测结果,所述预测结果用于指示所述目标用户的精神活动的健康程度,以为评估所述目标用户的精神活动的健康状况提供参考;其中,所述目标指引信息用于指引目标用户观察所述显示装置的目标区域。
可选地,所述目标指引信息中至少包括:指定对象,所述指定对象在所述显示装置的目标区域中展示;所述目标指引信息的类型包括:注视稳定、眼跳、追随以及自由视图中的至少两种。
可选地,所述目标指引信息的类型为注视稳定类型;
可选地,所述展示模块502具体用于,在展示所述注视稳定类型的目标指引信息时,展示第一指引信息以及所述指定对象。其中,所述第一指引信息用于提示所述目标用户稳定注视所述指定对象。
可选地,所述目标指引信息中还包括:干扰对象,所述干扰对象在所述目标区域外展示;
可选地,所述展示模块502具体用于,展示所述第一指引信息以及所述指定对象,或展示所述第一指引信息、所述指定对象以及所述干扰对象,其中,所述第一指引信息用于提示所述目标用户忽略所述干扰对象。
可选地,所述目标指引信息的类型为眼跳类型;
可选地,所述展示模块502具体用于,在展示所述眼跳类型的目标指引信息时,展示第二指引信息以及按照指定时间间隔以及指定时长展示所述指定对象;其中,所述第二指引信息用于提示所述目标用户跳转注视所述指定对象。
可选地,所述目标指引信息中还包括:干扰对象,所述干扰对象在所述目标区域外展示;
可选地,所述展示模块502具体用于,展示第二指引信息以及按照所述指定时间间隔以及所述指定时长展示所述干扰对象,其中,所述第二指引信息用于提示所述目标用户注视所述干扰对象之外的目标区域。
可选地,所述目标指引信息的类型为追随类型;
可选地,所述展示模块502具体用于,在展示所述追随类型的目标指引信息时,展示按照指定轨迹移动的指定对象以及第三指引信息;所述指定轨迹包括竖直直线轨迹、水平直线轨迹和曲线轨迹中的至少一种;其中,所述第三指引信息用于提示所述目标用户注视追随所述指定对象移动。
可选地,所述目标指引信息还包括目标图像,所述目标图像包括灰度图像和/或彩色图像;所述目标指引信息的类型还包括:灰度视图和/或彩色视图;
可选地,所述展示模块502具体用于,展示所述目标图像,使得所述处理设备根据接收到的各眼动图像,确定所述目标用户的各注视点与所述目标图像的第一映射关系,并根据所述第一映射关系,确定所述目标用户针对所述目标图像的注视点分布,得到所述目标用户的注视点密度图,作为所述目标用户的眼动数据,以便根据确定出的目标用户的眼动数据。
图11为本说明书提供的一种预测装置的示意图,具体包括:
接收模块600,用于接收由采集装置发送的目标用户的各时刻的眼动图像;所述各时刻的眼动图像是由所述采集装置在显示装置展示各类型的目标指引信息的过程中采集的;
眼动图像确定模块602,用于针对显示装置展示的每个类型的目标指引信息,从所述各时刻的眼动图像中,确定各类型的目标指引信息对应的眼动图像;
眼动数据确定模块604,用于根据各类型的目标指引信息对应的眼动图像,确定所述目标用户各时刻在所述显示装置的注视点,并根据确定出的各时刻的注视点,确定所述目标用户对应各类型的目标指引信息的眼动数据;
眼动特征确定模块606,用于针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征;
预测模块608,用于将各类型的目标指引信息的眼动特征输入预先训练的预测模型,得到所述预测模型输出的预测结果,所述预测结果用于指示所述目标用户的精神活动的健康程度,以为评估所述目标用户的精神活动的健康状况提供参考。
可选地,所述目标指引信息的类型包括注视稳定、眼跳以及追随类型;
可选地,所述眼动特征确定模块606具体用于,针对所述注视稳定、所述眼跳以及所述追随类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定各注视点之间的第一位置差异;获取各时刻所述指定对象的对象位置,确定各时刻所述注视点与所述对象位置之间的第二位置差异;根据所述各注视点确定扫视路径,并确定所述扫视路径的长度,根据所述扫视路径的长度与所述各时刻确定扫视速度;根据所述第一位置差异、所述第二位置差异、所述扫视路径的长度以及所述扫视速度,分别确定所述目标用户在所述注视稳定、所述眼跳以及所述追随类型目标指引信息下的眼动特征。
可选地,所述眼动数据对应的目标指引信息的类型为:眼跳类型;所述眼跳类型的目标指引信息包括按照指定时间间隔以及指定时长展示的指定对象;
可选地,所述眼动特征确定模块606具体用于,确定展示所述指定对象的展示时刻,根据各时刻的注视点,将注视点首次落入所述指定对象对应的目标区域的时刻作为起始时刻,根据所述展示时刻和所述起始时刻之间的差异,确定所述目标用户的启动时长;针对每个指定对象,确定落入该指定对象对应的目标区域的各注视点,作为该指定对象对应的注视点,根据各指定对象的展示顺序以及所述各指定对象对应的注视点,确定所述目标用户跳转观察不同指定对象的眼跳时长,根据各眼跳时长以及所述启动时长,确定所述目标用户在所述眼跳类型目标指引信息下的眼动特征。
可选地,所述眼动数据对应的目标指引信息的类型为:眼跳类型;所述眼跳的目标指引信息包括按照指定时间间隔以及指定时长展示的干扰对象,所述干扰对象在目标区域外展示;
可选地,所述眼动特征确定模块606具体用于,确定展示所述干扰对象的展示时刻,根据各时刻的注视点,将注视点首次落入所述干扰对象对应的目标区域的时刻作为起始时刻,根据所述展示时刻和所述起始时刻之间的差异,确定所述目标用户的启动时长;针对每个干扰对象,确定落入该干扰对象对应的目标区域的各注视点,作为该干扰对象对应的注视点,根据各干扰对象的展示顺序以及所述各干扰对象对应的注视点,确定所述目标用户跳转观察不同干扰对象对应的目标区域的眼跳时长;根据各眼跳时长以及所述启动时长,确定所述目标用户在所述眼跳类型目标指引信息下的眼动特征。
可选地,所述眼动数据对应的目标指引信息的类型为:追随类型;所述追随类型的目标指引信息包括按照指定轨迹移动的指定对象,所述指定轨迹包括竖直直线轨迹、水平直线轨迹和曲线轨迹中的至少一种;
可选地,所述眼动特征确定模块606具体用于,根据所述指定轨迹,确定所述指定对象的各对象位置与所述各时刻的第二映射关系,针对每个时刻,根据所述第二映射关系,确定该时刻注视点与对象位置之间的差异,并将差异大于预设差异阈值的注视点作为脱离点,根据各脱离点对应的时刻,确定所述目标用户的注视点脱离所述指定对象的脱离时长;获取所述指定对象的移动速度,根据所述各时刻的注视点,确定所述目标用户的扫视速度,确定所述扫视速度与所述指定对象的移动速度之间的速度差异;根据所述速度差异以及所述脱离时长,确定所述目标用户在所述追随类型目标指引信息下的眼动特征。
可选地,所述目标指引信息还包括目标图像,所述目标图像包括灰度图像和/或彩色图像;所述目标指引信息的类型还包括:灰度视图和/或彩色视图;
可选地,所述眼动特征确定模块606具体用于,根据接收到的各眼动图像,确定所述目标用户的各注视点与所述目标图像的第一映射关系,根据所述第一映射关系,确定所述目标用户针对所述目标图像的注视点分布,得到所述目标用户的注视点密度图,作为所述目标用户的眼动数据;将所述目标图像输入预先训练的显著性预测模型,得到模型预测的所述目标图像的显著性图,所述显著性图用于表征模型预测的所述目标图像中的注视点分布;确定所述目标用户的注视点密度图,与预测得到的显著性图之间的差异,得到所述目标用户在所述灰度视图类型以及所述彩色视图类型目标指引信息下的眼动特征。
可选地,所述装置还包括:
训练模块610,具体用于预先接收采集装置发送的多个参考用户的各时刻的眼动图像;所述多个参考用户的各时刻的眼动图像是由采集装置在显示装置展示各类型的目标指引信息的过程中采集的;针对每个参考用户,从该参考用户的各时刻的眼动图像中,确定该参考用户对应各类型的目标指引信息的眼动图像;根据该参考用户对应各类型的目标指引信息的眼动图像,确定该参考用户在所述显示装置的注视点;根据确定出的各时刻的注视点,确定该参考用户对应各类型的目标指引信息的眼动数据;根据该参考用户对应各类型的目标指引信息的眼动数据,确定该参考用户对应各类型的目标指引信息的眼动特征;根据该参考用户的各类型的目标指引信息的眼动特征,确定训练样本,并根据该参考用户的诊断结果确定所述训练样本的标签,所述诊断结果由评估人员根据所述参考用户的精神活动的健康状况确定;根据所述训练样本以及所述训练样本的标签,训练所述预测模型。
本说明书还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图3提供的用于预测的展示方法。
本说明书还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图8提供的预测方法。
本说明书还提供了图12、图13所示的电子设备的示意结构图。如图12、图13所述,在硬件层面,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以分别实现上述图3所示的用于预测的展示方法、上述图8所示的预测方法。当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、***或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (20)
1.一种预测***,其特征在于,所述***包括:显示装置、采集装置和处理设备;其中:
所述显示装置,用于响应于预测请求,展示若干类型的目标指引信息,所述目标指引信息用于指引目标用户观察所述显示装置的目标区域;
所述采集装置,用于在所述显示装置展示各类型的目标指引信息的过程中,采集所述目标用户的各时刻的眼动图像,并发送给所述处理设备;
所述处理设备,用于针对所述显示装置展示的每个类型的目标指引信息,从接收到的各时刻的眼动图像中,确定各类型的目标指引信息对应的眼动图像;根据所述各类型的目标指引信息对应的眼动图像,确定所述目标用户各时刻在所述显示装置的注视点,根据确定出的各时刻的注视点,确定所述目标用户对应各类型的目标指引信息的眼动数据;针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征;将各类型的目标指引信息的眼动特征输入预先训练的预测模型,得到所述预测模型输出的预测结果,所述预测结果用于指示所述目标用户的精神活动的健康程度,以为评估所述目标用户的精神活动的健康状况提供参考。
2.如权利要求1所述的***,其特征在于,所述目标指引信息中至少包括:指定对象,所述指定对象在所述显示装置的目标区域中展示;所述目标指引信息的类型包括:注视稳定、眼跳、追随以及自由视图中的至少两种。
3.如权利要求2所述的***,其特征在于,所述显示装置,用于在展示所述注视稳定类型的目标指引信息时,展示第一指引信息以及所述指定对象;
其中,所述第一指引信息用于提示所述目标用户稳定注视所述指定对象。
4.如权利要求3所述的***,其特征在于,所述目标指引信息中还包括:干扰对象,所述干扰对象在所述目标区域外展示;
所述显示装置,还用于展示所述第一指引信息、所述指定对象以及所述干扰对象,其中,所述第一指引信息用于提示所述目标用户注视所述指定对象,忽略所述干扰对象。
5.如权利要求2所述的***,其特征在于,所述显示装置,用于在展示所述眼跳类型的目标指引信息时,展示第二指引信息,以及按照指定时间间隔和指定时长展示所述指定对象;
其中,所述第二指引信息用于提示所述目标用户跳转注视所述指定对象。
6.如权利要求5所述的***,其特征在于,所述目标指引信息中还包括:干扰对象,所述干扰对象在所述目标区域外展示;
所述显示装置,还用于展示第二指引信息,以及按照所述指定时间间隔和所述指定时长展示所述干扰对象,其中,所述第二指引信息用于提示所述目标用户注视所述干扰对象之外的目标区域。
7.如权利要求2所述的***,其特征在于,所述显示装置,用于在展示所述追随类型的目标指引信息时,展示按照指定轨迹移动的指定对象以及第三指引信息;所述指定轨迹包括竖直直线轨迹、水平直线轨迹和曲线轨迹中的至少一种;
其中,所述第三指引信息用于提示所述目标用户注视追随所述指定对象移动。
8.如权利要求2所述的***,其特征在于,所述目标指引信息还包括目标图像,所述目标图像包括灰度图像和/或彩色图像;所述目标指引信息的类型还包括:灰度视图和/或彩色视图;
所述显示装置,还用于展示所述目标图像;
所述处理设备,用于根据接收到的各眼动图像,确定所述目标用户的各注视点与所述目标图像的第一映射关系,根据所述第一映射关系,确定所述目标用户针对所述目标图像的注视点分布,得到所述目标用户的注视点密度图,作为所述目标用户的眼动数据。
9.如权利要求8所述的***,其特征在于,所述处理设备,用于将所述目标图像输入预先训练的显著性预测模型,得到模型预测的所述目标图像的显著性图,所述显著性图用于表征模型预测的所述目标图像中的注视点分布;确定所述目标用户的注视点密度图,与预测得到的显著性图之间的差异,得到所述目标用户在所述灰度视图类型以及所述彩色视图类型目标指引信息下的眼动特征。
10.如权利要求1所述的***,其特征在于,所述显示装置,还用于预先对不同的参考用户展示各类型的目标指引信息;
所述采集装置,还用于针对每个参考用户,在所述显示装置展示各类型的目标指引信息的过程中,采集该参考用户的各时刻的眼动图像,并发送给所述处理设备;
所述处理设备,还用于针对每个参考用户,从所述采集装置发送的该参考用户的各时刻的眼动图像中,确定该参考用户对应各类型的目标指引信息的眼动图像,根据该参考用户对应各类型的目标指引信息的眼动图像,确定该参考用户在所述显示装置的注视点,根据确定出的各时刻的注视点,确定该参考用户对应各类型的目标指引信息的眼动数据;根据该参考用户对应各类型的目标指引信息的眼动数据,确定该参考用户对应各类型的目标指引信息的眼动特征;根据该参考用户的各类型的目标指引信息的眼动特征,确定训练样本,并根据该参考用户的诊断结果确定所述训练样本的标签,所述诊断结果由评估人员根据所述参考用户的精神活动的健康状况确定;根据所述训练样本以及所述训练样本的标签,训练所述预测模型。
11.一种预测方法,其特征在于,包括:
接收由采集装置发送的目标用户的各时刻的眼动图像;所述各时刻的眼动图像是由所述采集装置在显示装置展示各类型的目标指引信息的过程中采集的;
针对显示装置展示的每个类型的目标指引信息,从所述各时刻的眼动图像中,确定各类型的目标指引信息对应的眼动图像;
根据各类型的目标指引信息对应的眼动图像,确定所述目标用户各时刻在所述显示装置的注视点,并根据确定出的各时刻的注视点,确定所述目标用户对应各类型的目标指引信息的眼动数据;
针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征;
将各类型的目标指引信息的眼动特征输入预先训练的预测模型,得到所述预测模型输出的预测结果,所述预测结果用于指示所述目标用户的精神活动的健康程度,以为评估所述目标用户的精神活动的健康状况提供参考。
12.如权利要求11所述的方法,其特征在于,所述目标指引信息的类型包括注视稳定、眼跳以及追随类型;
针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征,具体包括:
针对所述注视稳定、所述眼跳以及所述追随类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定各注视点之间的第一位置差异;
获取各时刻指定对象的对象位置,确定各时刻所述注视点与所述对象位置之间的第二位置差异;
根据所述各注视点确定扫视路径,并确定所述扫视路径的长度,根据所述扫视路径的长度与所述各时刻确定扫视速度;
根据所述第一位置差异、所述第二位置差异、所述扫视路径的长度以及所述扫视速度,分别确定所述目标用户在所述注视稳定、所述眼跳以及所述追随类型目标指引信息下的眼动特征。
13.如权利要求11所述的方法,其特征在于,所述目标指引信息的类型包括眼跳类型;所述眼跳类型的目标指引信息包括按照指定时间间隔以及指定时长展示的指定对象;
针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征,具体包括:
确定展示所述指定对象的展示时刻,根据各时刻的注视点,将注视点首次落入所述指定对象对应的目标区域的时刻作为起始时刻,根据所述展示时刻和所述起始时刻之间的差异,确定所述目标用户的启动时长;
针对每个指定对象,确定落入该指定对象对应的目标区域的各注视点,作为该指定对象对应的注视点,根据各指定对象的展示顺序以及所述各指定对象对应的注视点,确定所述目标用户跳转观察不同指定对象的眼跳时长;
根据各眼跳时长以及所述启动时长,确定所述目标用户在所述眼跳类型目标指引信息下的眼动特征。
14.如权利要求11所述的方法,其特征在于,所述目标指引信息的类型包括眼跳类型;所述眼跳的目标指引信息包括按照指定时间间隔以及指定时长展示的干扰对象,所述干扰对象在目标区域外展示;
针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征,具体包括:
确定展示所述干扰对象的展示时刻,根据各时刻的注视点,将注视点首次落入所述干扰对象对应的目标区域的时刻作为起始时刻,根据所述展示时刻和所述起始时刻之间的差异,确定所述目标用户的启动时长;
针对每个干扰对象,确定落入该干扰对象对应的目标区域的各注视点,作为该干扰对象对应的注视点,根据各干扰对象的展示顺序以及所述各干扰对象对应的注视点,确定所述目标用户跳转观察不同干扰对象对应的目标区域的眼跳时长;
根据各眼跳时长以及所述启动时长,确定所述目标用户在所述眼跳类型目标指引信息下的眼动特征。
15.如权利要求11所述的方法,其特征在于,所述目标指引信息的类型包括追随类型;所述追随类型的目标指引信息包括按照指定轨迹移动的指定对象,所述指定轨迹包括竖直直线轨迹、水平直线轨迹和曲线轨迹中的至少一种;
针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征,具体包括:
根据所述指定轨迹,确定所述指定对象的各对象位置与所述各时刻的第二映射关系,针对每个时刻,根据所述第二映射关系,确定该时刻注视点与对象位置之间的差异,并将差异大于预设差异阈值的注视点作为脱离点,根据各脱离点对应的时刻,确定所述目标用户的注视点脱离所述指定对象的脱离时长;
获取所述指定对象的移动速度,根据所述各时刻的注视点,确定所述目标用户的扫视速度,确定所述扫视速度与所述指定对象的移动速度之间的速度差异;
根据所述速度差异以及所述脱离时长,确定所述目标用户在所述追随类型目标指引信息下的眼动特征。
16.如权利要求11所述的方法,其特征在于,所述目标指引信息包括目标图像,所述目标图像包括灰度图像和/或彩色图像;所述目标指引信息的类型包括:灰度视图和/或彩色视图;
针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征,具体包括:
根据接收到的各眼动图像,确定所述目标用户的各注视点与所述目标图像的第一映射关系;
根据所述第一映射关系,确定所述目标用户针对所述目标图像的注视点分布,得到所述目标用户的注视点密度图,作为所述目标用户的眼动数据;
将所述目标图像输入预先训练的显著性预测模型,得到模型预测的所述目标图像的显著性图,所述显著性图用于表征模型预测的所述目标图像中的注视点分布;
确定所述目标用户的注视点密度图,与预测得到的显著性图之间的差异,得到所述目标用户在所述灰度视图类型以及所述彩色视图类型目标指引信息下的眼动特征。
17.如权利要求11所述的方法,其特征在于,预先训练预测模型,具体包括:
预先接收采集装置发送的多个参考用户的各时刻的眼动图像;所述多个参考用户的各时刻的眼动图像是由采集装置在显示装置展示各类型的目标指引信息的过程中采集的;
针对每个参考用户,从该参考用户的各时刻的眼动图像中,确定该参考用户对应各类型的目标指引信息的眼动图像;
根据该参考用户对应各类型的目标指引信息的眼动图像,确定该参考用户在所述显示装置的注视点;
根据确定出的各时刻的注视点,确定该参考用户对应各类型的目标指引信息的眼动数据;
根据该参考用户对应各类型的目标指引信息的眼动数据,确定该参考用户对应各类型的目标指引信息的眼动特征;
根据该参考用户的各类型的目标指引信息的眼动特征,确定训练样本,并根据该参考用户的诊断结果确定所述训练样本的标签,所述诊断结果由评估人员根据所述参考用户的精神活动的健康状况确定;
根据所述训练样本以及所述训练样本的标签,训练所述预测模型。
18.一种预测装置,其特征在于,包括:
接收模块,用于接收由采集装置发送的目标用户的各时刻的眼动图像;所述各时刻的眼动图像是由所述采集装置在显示装置展示各类型的目标指引信息的过程中采集的;
眼动图像确定模块,用于针对显示装置展示的每个类型的目标指引信息,从所述各时刻的眼动图像中,确定各类型的目标指引信息对应的眼动图像;
眼动数据确定模块,用于根据各类型的目标指引信息对应的眼动图像,确定所述目标用户各时刻在所述显示装置的注视点,并根据确定出的各时刻的注视点,确定所述目标用户对应各类型的目标指引信息的眼动数据;
眼动特征确定模块,用于针对每个类型的目标指引信息,根据该类型的目标指引信息的眼动数据,确定所述目标用户对应该类型的目标指引信息的眼动特征;
预测模块,用于将各类型的目标指引信息的眼动特征输入预先训练的预测模型,得到所述预测模型输出的预测结果,所述预测结果用于指示所述目标用户的精神活动的健康程度,以为评估所述目标用户的精神活动的健康状况提供参考。
19.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求11~17任一项所述的方法。
20.一种处理设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求11~17任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211275689.XA CN115444423A (zh) | 2022-10-18 | 2022-10-18 | 一种预测***、预测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211275689.XA CN115444423A (zh) | 2022-10-18 | 2022-10-18 | 一种预测***、预测方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115444423A true CN115444423A (zh) | 2022-12-09 |
Family
ID=84310398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211275689.XA Pending CN115444423A (zh) | 2022-10-18 | 2022-10-18 | 一种预测***、预测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115444423A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115620384A (zh) * | 2022-12-19 | 2023-01-17 | 北京鹰瞳科技发展股份有限公司 | 模型训练方法、眼底图像预测方法及装置 |
CN116077060A (zh) * | 2023-02-03 | 2023-05-09 | 上海耐欣科技有限公司 | 一种显示设备、评估***和评估方法 |
CN116172560A (zh) * | 2023-04-20 | 2023-05-30 | 浙江强脑科技有限公司 | 反应力训练的反应速度评估方法、终端设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101108119A (zh) * | 2007-08-29 | 2008-01-23 | 中国人民解放军第三军医大学第一附属医院 | 眼动测试分析仪 |
US20140364761A1 (en) * | 2012-01-05 | 2014-12-11 | University Court Pf The University Of Aberdeen | An apparatus and method for psychiatric evaluation |
US20180125405A1 (en) * | 2016-11-08 | 2018-05-10 | International Business Machines Corporation | Mental state estimation using feature of eye movement |
CN109620259A (zh) * | 2018-12-04 | 2019-04-16 | 北京大学 | 基于眼动技术与机器学习对孤独症儿童自动识别的*** |
US20190175090A1 (en) * | 2017-12-07 | 2019-06-13 | BrainVu Ltd. | Methods and systems for determining mental load |
CN112168187A (zh) * | 2020-09-29 | 2021-01-05 | 首都医科大学附属北京安定医院 | 一种精神***症的诊断指标、诊断模型与诊断*** |
CN112869744A (zh) * | 2021-01-20 | 2021-06-01 | 上海市精神卫生中心(上海市心理咨询培训中心) | 一种精神***症辅助诊断方法、***和存储介质 |
-
2022
- 2022-10-18 CN CN202211275689.XA patent/CN115444423A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101108119A (zh) * | 2007-08-29 | 2008-01-23 | 中国人民解放军第三军医大学第一附属医院 | 眼动测试分析仪 |
US20140364761A1 (en) * | 2012-01-05 | 2014-12-11 | University Court Pf The University Of Aberdeen | An apparatus and method for psychiatric evaluation |
US20180125405A1 (en) * | 2016-11-08 | 2018-05-10 | International Business Machines Corporation | Mental state estimation using feature of eye movement |
US20190175090A1 (en) * | 2017-12-07 | 2019-06-13 | BrainVu Ltd. | Methods and systems for determining mental load |
CN109620259A (zh) * | 2018-12-04 | 2019-04-16 | 北京大学 | 基于眼动技术与机器学习对孤独症儿童自动识别的*** |
CN112168187A (zh) * | 2020-09-29 | 2021-01-05 | 首都医科大学附属北京安定医院 | 一种精神***症的诊断指标、诊断模型与诊断*** |
CN112869744A (zh) * | 2021-01-20 | 2021-06-01 | 上海市精神卫生中心(上海市心理咨询培训中心) | 一种精神***症辅助诊断方法、***和存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115620384A (zh) * | 2022-12-19 | 2023-01-17 | 北京鹰瞳科技发展股份有限公司 | 模型训练方法、眼底图像预测方法及装置 |
CN116077060A (zh) * | 2023-02-03 | 2023-05-09 | 上海耐欣科技有限公司 | 一种显示设备、评估***和评估方法 |
CN116077060B (zh) * | 2023-02-03 | 2024-01-16 | 上海耐欣科技有限公司 | 一种显示设备、评估***和评估方法 |
CN116172560A (zh) * | 2023-04-20 | 2023-05-30 | 浙江强脑科技有限公司 | 反应力训练的反应速度评估方法、终端设备及存储介质 |
CN116172560B (zh) * | 2023-04-20 | 2023-08-29 | 浙江强脑科技有限公司 | 反应力训练的反应速度评估方法、终端设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Goldberg et al. | Attentive or not? Toward a machine learning approach to assessing students’ visible engagement in classroom instruction | |
CN115444423A (zh) | 一种预测***、预测方法、装置、设备及存储介质 | |
Chen et al. | Robust multimodal cognitive load measurement | |
Galesic | Use of Eye Tracking for Studying Survey Response Processes 1 | |
Shadiev et al. | A review study on eye-tracking technology usage in immersive virtual reality learning environments | |
Hayes et al. | Scan patterns during real-world scene viewing predict individual differences in cognitive capacity | |
Holmqvist et al. | Eye tracking: A comprehensive guide to methods | |
Brand et al. | Evaluating the data quality of the Gazepoint GP3 low-cost eye tracker when used independently by study participants | |
Egner et al. | Attention and information acquisition: Comparison of mouse-click with eye-movement attention tracking | |
Havanki et al. | Eye tracking methodology for chemistry education research | |
Yao et al. | Visual attention is available at a task-relevant location rapidly after a saccade | |
Edughele et al. | Eye-tracking assistive technologies for individuals with amyotrophic lateral sclerosis | |
Buono et al. | Assessing student engagement from facial behavior in on-line learning | |
Orlosky et al. | Using eye tracked virtual reality to classify understanding of vocabulary in recall tasks | |
Lawrence et al. | Does cultural background predict the spatial distribution of attention? | |
Agtzidis et al. | Two hours in Hollywood: A manually annotated ground truth data set of eye movements during movie clip watching | |
Cannon et al. | Action anticipation and interference: A test of prospective gaze | |
Chen | Cognitive load measurement from eye activity: acquisition, efficacy, and real-time system design | |
Ball | Eye-tracking and reasoning: what your eyes tell about your inferences | |
Xia et al. | An interpretable English reading proficiency detection model in an online learning environment: A study based on eye movement | |
Ubben et al. | Assessing representational competence with eye tracking technology | |
Bottos et al. | An approach to track reading progression using eye-gaze fixation points | |
CN116077060B (zh) | 一种显示设备、评估***和评估方法 | |
Pallavi Reddy et al. | Analysis of eye gaze response to predict cognitive and behaviour abilities of an individual to determine developmental disorders | |
Razeghi | Usability of eye tracking as a user research technique in geo-information processing and dissemination |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |