CN117854714A - 一种基于眼动追踪的信息推荐方法以及装置 - Google Patents
一种基于眼动追踪的信息推荐方法以及装置 Download PDFInfo
- Publication number
- CN117854714A CN117854714A CN202410262494.4A CN202410262494A CN117854714A CN 117854714 A CN117854714 A CN 117854714A CN 202410262494 A CN202410262494 A CN 202410262494A CN 117854714 A CN117854714 A CN 117854714A
- Authority
- CN
- China
- Prior art keywords
- attention
- detected
- person
- detection
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 150
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000001514 detection method Methods 0.000 claims abstract description 255
- 238000004458 analytical method Methods 0.000 claims description 75
- 238000001228 spectrum Methods 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 14
- 238000013102 re-test Methods 0.000 claims description 14
- 210000001747 pupil Anatomy 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 17
- 230000002159 abnormal effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000006735 deficit Effects 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 206010003805 Autism Diseases 0.000 description 7
- 208000020706 Autistic disease Diseases 0.000 description 7
- 230000006978 adaptation Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 208000029560 autism spectrum disease Diseases 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 206010012559 Developmental delay Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000012202 Pervasive developmental disease Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 201000007197 atypical autism Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003754 fetus Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 208000022119 inability to concentrate Diseases 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000000968 medical method and process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000008271 nervous system development Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
Abstract
本说明书公开了一种基于眼动追踪的信息推荐方法以及装置,通过眼动检测设备采集待检测者在观看由显示器播放的检测视频时的眼动轨迹数据,将眼动轨迹数据输入到预设的注意力检测模型中,以使得注意力检测模型根据眼动轨迹数据生成待检测者在观看检测视频时的注意特征图谱,进而根据注意特征图谱,对待检测者进行信息推荐。通过本方法进行信息推荐时,所生成的推荐信息的准确性较高,可以向待检测者提供更加符合真实情况的实用信息,从而能够为存在注意力问题的待检测者提供更具实效性的帮助。
Description
技术领域
本说明书涉及计算机技术领域,尤其涉及一种基于眼动追踪的信息推荐方法以及装置。
背景技术
自闭症(Autism Spectrum Disorder, ASD),又称孤独症或孤独性障碍,是一种广泛性发育障碍(pervasive developmental disorder,PDD)中与神经***发育障碍相关的代表性疾病,其诱发病因主要与遗传基因或胎儿孕期环境因素相关,因此发病期极早,患者在幼儿期便会出现对应的病症现象,如社交回避、刻板行为等,在注意力方面存在较大缺陷。在现如今的医疗领域中尚未出现针对儿童注意力问题比较高效的治愈手段和药物,早发现早治疗是现阶段较为有效且普遍的医疗方法。
在现有的医疗技术中,对可能患有注意力问题的儿童进行判别主要通过经专业心理医疗培训的职业医师对儿童进行定长时间的观察和交流。专业医师利用临床量表等评估手段对儿童是否患有注意力问题进行诊断,进而根据诊断结果进行相应信息推荐和帮助。而在此类方法中,由于专业医师主观判断因素的存在,可能会使得依据诊断结果确定出的相关推荐信息的实用性和准确性受到影响。
因此,如何为有注意力问题的儿童进行更为精准且有效的信息推荐,是一个亟待解决的问题。
发明内容
本说明书提供一种基于眼动追踪的信息推荐方法以及装置,以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案:
本说明书提供了一种基于眼动追踪的信息推荐方法,包括:
通过预设的显示器播放预设的检测视频;
通过预设的眼动检测设备,采集待检测者在观看所述检测视频时的眼部图像,并根据所述眼部图像,确定所述待检测者在观看所述检测视频时的眼动轨迹数据;
将所述眼动轨迹数据以及所述检测视频输入到预设的注意力检测模型中,以生成针对所述待检测者在观看所述检测视频时的注意特征图谱,所述注意特征图谱用于表征所述待检测者针对所述检测视频中不同对象在不同状态下的关注程度以及针对所述检测视频中的背景的关注程度;
根据所述注意特征图谱,对所述待检测者进行信息推荐。
可选的,根据所述注意特征图谱,对所述待检测者进行信息推荐,具体包括:
根据所述眼动轨迹数据,确定所述眼动轨迹数据对应的检测结果数据,其中,所述检测结果数据包含有所述眼动轨迹数据对应的眼动轨迹热度图,眼动校准程度值,所述待检测者在观看所述检测视频时在不同时刻下的视角移动速度,以及所述待检测者在观看所述检测视频时在不同时刻下的瞳孔大小变化数据;
根据所述检测结果数据,确定所述注意特征图谱对应的可信度;
根据所述注意特征图谱以及所述注意特征图谱对应的可信度,对所述待检测者进行信息推荐。
可选的,根据所述注意特征图谱以及所述注意特征图谱对应的可信度,对所述待检测者进行信息推荐,具体包括:
当所述注意特征图谱对应的可信度不低于预设的可信度阈值时,根据所述注意特征图谱,对所述待检测者进行信息推荐。
可选的,所述方法还包括:
当所述注意特征图谱对应的可信度低于所述预设的可信度阈值时,确定所述注意特征图谱对应的检测视频所属的视频类型,并从预设的检测视频库中确定出与所述注意特征图谱对应的检测视频所属的视频类型不相同的其他视频类型的检测视频,作为第一重测视频;
通过所述预设的眼动检测设备向所述待检测者播放所述第一重测视频,确定所述待检测者在观看所述第一重测视频时的注意特征图谱;
根据所述待检测者在观看所述第一重测视频时的注意特征图谱,对所述待检测者进行信息推荐。
可选的,根据所述注意特征图谱,对所述待检测者进行信息推荐,具体包括:
将所述注意特征图谱输入到预设的注意力分析模型中,以使所述注意力分析模型根据所述注意特征图谱对所述待检测者进行注意力分析,并生成针对所述待检测者的注意力分析结果;
根据所述注意力分析结果,对所述待检测者进行信息推荐。
可选的,将所述注意特征图谱输入到预设的注意力分析模型中,以使所述注意力分析模型根据所述注意特征图谱对所述待检测者进行注意力分析,并生成针对所述待检测者的注意力分析结果,具体包括:
通过所述注意力分析模型,根据所述注意特征图谱和历史上记录的多个指定人员的注意特征图谱,以及历史上记录的多个正常人的注意特征图谱,确定出所述待检测者的注意特征图谱与历史上所记录的多个指定人员的注意特征图谱的平均相似度值,以及所述待检测者的注意特征图谱与历史上所记录的多个正常人的注意特征图谱的平均相似度值;
通过所述注意力分析模型,根据所述待检测者的注意特征图谱与历史上所记录的多个指定人员的注意特征图谱的平均相似度值,以及所述待检测者的注意特征图谱与历史上所记录的多个正常人的注意特征图谱的平均相似度值,确定所述待检测者的注意力信息;
根据所述待检测者的注意力信息,生成针对所述待检测者的注意力分析结果。
可选的,根据所述注意特征图谱,对所述待检测者进行信息推荐,具体包括:
响应于工作人员所记录的所述待检测者在观看所述检测视频时不满足预设的标准检测条件,重新通过眼动检测设备向所述待检测者播放所述检测视频,并通过所述眼动检测设备采集所述待检测者在观看所述重新播放的检测视频时的眼动轨迹数据;
根据所述待检测者在观看所述重新播放的检测视频时的眼动轨迹数据,生成针对所述待检测者在观看所述重新播放的检测视频时的注意特征图谱;
根据所述待检测者在观看所述重新播放的检测视频时的注意特征图谱,对所述待检测者进行信息推荐。
本说明书提供了一种基于眼动追踪的信息推荐装置,包括:
播放模块,用于通过预设的显示器播放预设的检测视频;
采集模块,用于通过预设的眼动检测设备,采集待检测者在观看所述检测视频时的眼部图像,并根据所述眼部图像,确定所述待检测者在观看所述检测视频时的眼动轨迹数据;
图谱生成模块,用于将所述眼动轨迹数据以及所述检测视频输入到预设的注意力检测模型中,以生成针对所述待检测者在观看所述检测视频时的注意特征图谱,所述注意特征图谱用于表征所述待检测者针对所述检测视频中不同对象在不同状态下的关注程度以及针对所述检测视频中的背景的关注程度;
推荐模块,用于根据所述注意特征图谱,对所述待检测者进行信息推荐。
本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述基于眼动追踪的信息推荐方法。
本说明书提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述基于眼动追踪的信息推荐方法。
从上述方法可以看出,本说明书提供的基于眼动追踪的信息推荐方法,通过眼动检测设备采集待检测者在观看由显示器播放的检测视频时的眼动轨迹数据,将眼动轨迹数据输入到预设的注意力检测模型中,以使得注意力检测模型根据眼动轨迹数据生成待检测者在观看检测视频时的注意特征图谱,进而根据注意特征图谱,对待检测者进行信息推荐。
从上述内容可以看出,本说明书提供的基于眼动追踪的信息推荐方法,可以根据待检测者观看检测视频时的眼动轨迹数据,确定出与待检测者相对应的注意特征图谱,进而根据注意特征图谱对待检测者进行信息推荐。相比于依赖专业医师的主观评估和推荐的传统方式,通过本方法生成的推荐信息更为精准且实用,更加贴合待检测者的实际情况,从而能够为存在注意力问题的待检测者提供更具实效性的帮助。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书中提供的一种基于眼动追踪的信息推荐方法的流程示意图;
图2为本说明书中提供的一种注意特征图谱的示意图;
图3为本说明书中提供的一种检测结果数据的示意图;
图4为本说明书中提供的一种基于眼动追踪的信息推荐***的结构示意图;
图5为本说明书中提供的一种基于眼动追踪的信息推荐装置的示意图;
图6为本说明书中提供的一种对应于图1的电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种基于眼动追踪的信息推荐方法的流程示意图,包括以下步骤:
S101:通过预设的显示器播放预设的检测视频。
S102:通过预设的眼动检测设备,采集待检测者在观看所述检测视频时的眼部图像,并根据所述眼部图像,确定所述待检测者在观看所述检测视频时的眼动轨迹数据。
自闭症(Autism Spectrum Disorder, ASD),是一种神经***发育障碍疾病,发病期普遍较早,在患者的幼儿时期便会显现一些对应症状,如注意力缺失,社交回避等。现阶段针对可能患有注意力问题的儿童进行诊断大多通过专业医师的临床观察和交流。而由于专业医师的主观判断和评估,向被检测儿童所推荐的相关信息可能会存在准确性较低的问题。因此,如何为有注意力问题的儿童提供更为精准且有效的信息推荐帮助,是至关重要的。
为此,本说明书提供了一种基于眼动追踪的信息推荐方法,其中,本说明书提供的方法所采用的执行主体可以是诸如台式电脑、笔记本电脑等终端设备,也可以是服务器,而除此之外,本说明书的执行主体也可以为软件形式的主体,如安装在终端设备中的客户端等。而为了便于说明,下面本说明书仅以服务器作为执行主体,对所提供的基于眼动追踪的信息推荐方法进行说明。
基于此,应用本说明书所提供的基于眼动追踪的信息推荐方法的服务器可以根据待检测者观看检测视频时的眼动轨迹数据,确定出待检测者对应的注意特征图谱,进而根据注意特征图谱对待检测者进行信息推荐。其中,服务器针对待检测者进行信息推荐时的实际应用场景可根据实际需求而定,例如,在需要对一定区域内的全部儿童进行注意力检测时,可以针对儿童的不同情况选择是否将眼动采集设备带至儿童家中,进行上门检测;或者,在各个医疗机构设立应用本说明书所提供的方法的服务器,使得儿童可以在监护人陪同之下定期或有可疑症状出现时到对应医疗机构进行注意力检测以及推荐信息的获取。
在本说明书中,服务器可以通过预设的显示器向待检测者播放预设的检测视频,并在待检测者观看检测视频时通过预设的眼动检测设备采集待检测者的眼部变化图像,根据待检测者的眼部变化图像,得到待检测者观看检测视频时的眼动轨迹数据。
具体的,服务器可以从预设的检测视频库中随机选择出多个检测视频,作为待检测者需要进行观看的检测视频。检测视频库中所保存的所有检测视频都是经过语义分割的,每个检测视频中的各个对象都已经在经过语义分割后被标注上了对应标签,此举的目的是为了在后续通过注意力检测模型生成注意特征图谱时,注意力检测模型可以根据眼动轨迹数据有效识别出待检测者对检测视频中的各个对象的关注程度,另外,检测视频库可以是预先设立在服务器的数据库中,也可以储存在与预设的显示器所连接的计算机或笔记本中,本说明书不对检测视频库的储存和调用方式进行严格限定。
服务器可以通过预设的显示器连续向待检测者播放多个检测视频,针对随机选择出的多个检测视频中的每一个检测视频来说,服务器可以通过预设的眼动采集设备在待检测者观看由预设的显示器所播放的该检测视频时,采集到与待检测者在观看该检测视频时相匹配的眼部图像,进而根据眼部图像,得到与该检测视频相对应的眼动轨迹数据,眼动轨迹数据与对应的检测视频相互绑定,用于反映待检测者在观看对应的检测视频时各时刻的双眼注视位置以及变化轨迹。
其中,上述提及的眼动采集设备的具体类型可以采用如现阶段市面上常用的桌面式眼动仪等相同类型的可采集眼动数据的电子设备,在本说明书中不对眼动采集设备的具体类型进行限定,可根据实际需求进行选择。同样的,上述提及的显示器的具体类型在本说明书中也不作严格限定,可以采用如带电子显示屏的计算机,或笔记本等具有播放视频能力的电子设备,可根据实际场景和需求进行灵活调整。
另外,上述提及的检测视频库是由开发者自行拍摄制作的,检测视频库中的每个检测视频都是经过严格构思和设计进行拍摄和制作的,每个检测视频的视频内容都会与后续根据眼动轨迹数据所生成的注意特征图谱的各个维度相关联,并且为了保障后续生成注意特征图谱时的数据之间相互统一,各个检测视频中涉及到的对象数量以及不同维度特征下不同对象的视频时长也不会存在较大差异,即各个检测视频之间可能所展示的视频内容有所不同,但每个检测视频所涉及到的各个维度的时间长短以及对象数量都相差不多。而之所以会选取出多个检测视频让待检测者进行观看,目的是为了防止不同视频内容可能对待检测者注意力的吸引程度存在差异,同时也是为了多次记录待检测者在观看不同检测视频时的眼动轨迹数据,提高后续生成的注意特征图谱的可信度。具体选取出的检测视频的数量本说明书中不作严格数值上的限定,可根据实际需求以及不同待检测者的不同情况进行调整。
需要另行说明的是,在针对待检测者进行正式检测之前,即在通过显示器向待检测者播放选取出的检测视频之前,还存在针对待检测者的一个适应过程,以及一个校准过程。其中,针对待检测者的适应过程较为简单,服务器可以从检测视频库中随机选择出1~2个检测视频,通过相应工作人员的引导,以及待检测者所属监护人的帮助,使得待检测者可以顺利观看完一个或两个检测视频,适应过程便可结束并开始校准过程。若在适应过程中,待检测者出现异常反映,如:难以理解观看视频的指令、观看视频时注意力无法集中、头部或身体频繁移动等,在相应工作人员的记录和确认下,需要重新进行适应过程。若异常情况过于严重,导致无法进行正常引导,或者待检测者出现较为强烈的抵抗情绪,则在相应工作人员的记录和确认下,考虑到待检测者的个人情况,需立即停止整个检测过程,与待检测者所属的监护人进行商议后再判断是否需要再次进行检测。
在适应过程正常结束后,服务器便可以通过预设的显示器和眼动采集设备针对待检测者进行校准过程,校准过程的主要目的是为了保证后续根据眼部图像所生成的眼动轨迹数据的准确性。具体过程为,在工作人员以及待检测者所属的监护人的帮助和引导下,使得待检测者的头部和双眼与显示器的中心部分对齐,保障待检测者与显示器的位置关系不会轻易发生变化后,服务器便可以通过在显示器的显示屏幕中向待检测者展示一个校准图案(例如:小汽车、小动物等),然后在工作人员以及待检测者所属的监护人的帮助和引导下使得待检测者注视校准图案,通过操控校准图案在显示屏幕中不断移动和改变位置,利用预设的眼动采集设备采集待检测者在观看校准图像在不同位置时的眼部图像。然后服务器会根据采集到的各眼部图像以及与各图像相对应的校准图案在显示屏幕中的所在位置,对待检测者的双眼注视范围进行校准,并生成与待检测者相对应的眼动校准程度值。
其中,上述眼动校准程度值用于表示待检测者在注视显示屏幕时实际注视位置与服务器根据眼动采集设备所采集得到的眼部图像计算得出的注视位置的匹配程度,具体可通过百分比的形式进行表达。确认出待检测者的眼动校准程度值后,服务器可以根据眼动校准程度值的大小和预设的校准阈值,判断此次校准环节是否合格。例如:假设校准环节对应的校准阈值为80%,当确认出待检测者的眼动校准程度值为92%时,服务器便会确定此次校准环节已合格,进而就可以进行后续的正常测试环节;但当确认出待检测者的眼动校准程度值为76%时,服务器则会判定此次校准环节不合格,并向相应的工作人员进行是否重新进行校准环节的提示,由相关工作人员根据实际情况做出判断后,再决定是否必须再次进行校准环节。比如,当出现一些不能轻易解决的特殊问题时(例如:待检测者的个人生理问题、测试所处场所的特殊情况、眼部采集设备故障或受到干扰等),导致待检测者的眼动校准程度值无法达到预设的校准阈值,相应的工作人员便不会再次重新进行校准过程,而是直接将不满足预设的校准阈值的眼动校准程度值作为待检测者在后续正常检测过程中对应的眼动校准程度值。
需进行说明的是,待检测者对应的眼动校准程度值在确定之后,服务器可以对眼动校准程度值进行保存并与正常检测时待检测者观看的检测视频对应的眼动轨迹数据进行绑定,在后续确定眼动轨迹数据对应的检测结果数据时,服务器便会将已保存的眼动校准程度值作为检测结果数据之一。并且,眼动校准程度值的数量也与待检测者在正常检测过程中所观看检测视频的数量相对应,因为在待检测者观看完一个检测视频后,可能头部或身体的位置会发生变化,这种情况出现时需要进行重新校准,并在次记录对应的眼动校准程度值并与待检测者所观看的下一个检测视频相互绑定,若待检测者观看完一个检测视频后身***置并未发生较大移动,便不需要再进行重新校准,直接将上一次校准过程对应的眼动校准程度值作为待检测者所观看的下一个检测视频所绑定的眼动校准程度值。
在本说明书中的方法主要用于针对低龄儿童群体的注意力检测,因此上述提及的待检测者主要目标人群为低领儿童,具体年龄范围可以选择6岁以下(包括6岁)的儿童,也可根据实际情况和需求进行调整,本说明书不对待检测者的待检测者作严格限定。
S103:将所述眼动轨迹数据以及所述检测视频输入到预设的注意力检测模型中,以生成针对所述待检测者在观看所述检测视频时的注意特征图谱,所述注意特征图谱用于表征所述待检测者针对所述检测视频中不同对象在不同状态下的关注程度以及针对所述检测视频中的背景的关注程度。
在本说明书中,服务器可以将与待检测者所观看的检测视频相对应的眼动轨迹数据,以及相对应的检测视频输入到预设的注意力检测模型中,以通过注意力检测模型生成待检测者在观看检测视频时的注意特征图谱。
具体的,服务器可以将待检测者所观看的各个检测视频相对应的各个眼动轨迹数据,以及对应的各个经过语义分割后的检测视频分别输入到注意力检测模型中,通过注意力检测模型根据待检测者的眼动轨迹数据以及对应的检测视频中各个对象的位置,确定出可以表示待检测者针对检测视频中不同对象在不同状态下的关注程度,以及针对检测视频中的背景的关注程度的注意特征图谱。然后,服务器可以将各眼动轨迹数据对应的多个注意特征图谱进行图谱融合,得到待检测者对应的融合后的注意特征图谱。其中,还需再次进行说明的是,将各个注意特征图谱进行融合是在各个注意特征图谱对应的检测视频中所涉及的各个维度时长基本相等,以及对象数量相差不大的前提下进行融合的,正如上述步骤中提到的,各注意特征图谱对应的检测视频之间的视频内容可能会有所区别,但每个检测视频所涉及到的各个维度的时间长短以及对象数量都近乎相同,在此基础上融合出的注意特征图谱才可以更准确的反映出待检测者对于不同维度的关注程度。为了便于说明注意特征图谱的具体形式,下面以实例中的一个注意特征图谱的示意图,来进行介绍,如图2所示。
图2为本说明书中提供的一种注意特征图谱的示意图。
如图2中所示内容,该注意特征图谱为某一实例中待检测者在观看完多个检测视频后,服务器针对待检测者生成的融合后的注意特征图谱。由图2中可以看出,实例中的注意特征图谱主要根据语义分割后的检测视频分为五个对象维度,三个注意维度,其中,五个对象维度分别为:用于表示检测视频中的真实人物对象的社会维度,用于表示检测视频中的不具有真实生命的物体对象的物品维度,用于表示检测视频中各对象的光暗程度的亮度维度,用于表示检测视频中各对象的运动状态的运动维度,以及用于表示检测视频中除各对象外的视频背景的涣散维度。而三个注意维度分别为:包含有社会维度和物品维度的主动注意维度,用于表示待检测者对检测视频中各对象本身的关注程度;包含有亮度维度和运动维度的被动注意维度,用于表示待检测者对检测视频中各对象所具有的不同特征的关注程度;以及包含有涣散维度的注意缺失维度,用于表示待检测者对除各对象外的视频背景的关注程度。
由图2中内容可知,该注意特征图谱所属的待检测者在观看检测视频时,对检测视频中各物体对象的关注程度较高,而对于社会维度中的人物对象近乎没有关注,并且可以看出该待检测者对运动的对象也有一定的关注程度,而对于亮度较为明显的对象就并没有施加很多注意力,对于涣散维度中的视频背景的注意情况也较不明显。综上可知,该待检测者严重缺乏对社会维度的关注,从而可以推断出该待检测者可能在与人交流方面存在缺陷或障碍,即社交回避现象,上述结果仅为初步推断,具有真实参考价值的分析结果还需通过后续针对注意力分析过程得出。
需要进行说明的是,上述实例中的注意特征图谱仅是为了便于进行说明和理解,关于注意特征图谱中各个维度间的具体划分,在本说明书中不作限定,可根据实际情况和需求进行优化和调整,保持根据眼动轨迹数据所生成的注意特征图谱中各个维度与眼动轨迹数据对应的检测视频的视频内容相对应即可。另外,上述提及的注意力检测模型的具体模型类别在本说明书中也不作严格限定,可以采用如决策模型,分类器模型等经过预先训练后具有根据眼动轨迹数据生成注意特征图谱能力的数学计算模型,可根据实际需求和应用场景进行选取和设定。
S104:根据所述注意特征图谱,对所述待检测者进行信息推荐。
在本说明书中,服务器可以根据由预设的注意力检测模型生成的注意特征图谱,针对注意特征图谱所属的待检测者进行信息推荐。
具体的,服务器可以将待检测者对应的注意特征图谱输入到预设的注意力分析模型中,使得注意力分析模型根据待检测者的注意特征图谱,确定出待检测者在观看检测视频时的注意力信息,进而服务器便可以使得注意力分析模型根据待检测者的注意力信息,生成对应的注意力分析结果。然后,服务器可以根据待检测者的注意力分析结果向待检测者进行信息推荐。
其中,服务器可以将待检测者的注意特征图谱,以及历史上所记录的某一正常人的注意特征图谱输入到预设的注意力分析模型中,使得注意力分析模型可以从待检测者的注意特征图谱中提取出对应的特征数据,并同时从该正常人的注意特征图谱中提取出对应的特征数据。进而使得注意力分析模型可以根据待检测者的注意特征图谱的特征数据,以及该正常人的注意特征图谱的特征数据,确定出待检测者的注意特征图谱与该正常人的注意特征图谱之间的相似度值。以此类推,通过注意力分析模型依次确定出历史上记录的各正常人的注意特征图谱与待检测者的特征注意图谱的相似度值,从而确定出待检测者的注意特征图谱与历史上所记录的多个正常人的注意特征图谱的平均相似度值。
同理可知,服务器还可以将待检测者的注意特征图谱,以及历史上所记录的某一指定人员的注意特征图谱输入到预设的注意力分析模型中,使得注意力分析模型可以从待检测者的注意特征图谱中提取出对应的特征数据,并同时从该指定人员的注意特征图谱中提取出对应的特征数据。进而使得注意力分析模型可以根据待检测者的注意特征图谱的特征数据,以及该指定人员的注意特征图谱的特征数据,确定出待检测者的注意特征图谱与该指定人员的注意特征图谱之间的相似度值。同样的,以此类推,通过注意力分析模型依次确定出历史上记录的各指定人员的注意特征图谱与待检测者的特征注意图谱的相似度值,从而确定出待检测者的注意特征图谱与历史上所记录的多个指定人员的注意特征图谱的平均相似度值。
然后,服务器便可以使得注意力分析模型根据待检测者的注意特征图谱与历史上所记录的多个指定人员的注意特征图谱的平均相似度值,以及待检测者的注意特征图谱与历史上所记录的多个正常人的注意特征图谱的平均相似度值,确定出待检测者在观看检测视频时的注意力信息,进而服务器便可以使得注意力分析模型根据注意力信息,生成对应的注意力分析结果。然后,根据注意力分析结果,进行相应的信息推荐。
上述提及的注意力分析模型的具体模型类别在本说明书中不做严格限定,可以采用如孪生神经网络(Siamese Neural Network),或者度量学习网络(Metric LearningNetworks)等具有计算多个数据之间相似程度的能力的数学模型,根据实际应用场景和需求可灵活设定和调整。另外,上述提及的指定人员的注意特征图谱可以是历史上记录的具有注意力缺失问题的人员的注意特征图谱,也可以是在医院场景中记录在案的自闭症患者的注意特征图谱,本说明书中不对指定人员的具体人员类别进行限定。
上述针对待检测者的注意力分析结果可以用于反映出待检测者的注意力缺失情况。在本说明书中,服务器可以根据反映不同注意力缺失程度的注意力分析结果,进行不同内容的信息推荐。具体的,服务器可以根据注意力分析结果所反映的注意力缺失程度,在历史记录的数据库中确定出与该注意力缺失程度相匹配的帮助信息,并将各信息内容作为推荐信息向待检测者以及对应监护人进行信息推荐。
例如,假设某一位待检测者的注意力分析结果反映出该待检测者注意力缺失情况较为严重,服务器可以根据此种情况从数据库中确定出注意力严重缺失所对应的帮助信息,进而根据相关信息内容向待检测者以及对应监护人进行信息推荐。所推荐信息可以例如是:建议监护人对待检测者进行多加关注和耐心陪护,变更生活环境调整生活习惯,使得待检测者可以在生活中感到舒适;或者还可以例如是:建议监护人注重待检测者的心理成长,在适当时刻给与鼓励和支持,构建良好的家庭环境等。
除此之外,服务器还可以在基于注意力分析结果所反映的注意力缺失程度,从数据库中确定相对应的帮助信息时,根据历史记录的待检测者的个人信息(如年龄、性别、特殊爱好等),对上述相对应的信息内容进行筛选和过滤。从而在向待检测者以及相应监护人进行信息推荐时,服务器可以推荐出更加贴近待检测者真实情况的有用信息,为待检测者提供更加精准且有效的帮助。
需要说明的是,上述针对不同注意力分析结果进行不同内容的信息推荐的实际应用场景在本说明书中不作严格限定。可以是如在针对大范围儿童进行自闭症早筛场景中,根据注意力分析结果进行推荐信息,以判断儿童是否患有自闭症的,也可以是在医院对低领儿童进行大脑检测的场景中,根据注意力分析结果进行推荐信息,以对儿童进行智商评估和检验,具体应用场景可灵活调整。
除此之外,服务器还可以将通过注意力检测模型所生成的注意特征图谱展示给预先经过培训的工作人员,由预先经过培训的工作人员对待检测者的注意特征图谱进行注意力分析,并记录生成出待检测者的注意力分析结果。
需要另外说明的是,上述提及工作人员在正式根据待检测者的注意特征图谱进行注意力分析之前,是需要进行严格的培训过程的。而针对工作人员的培训过程具体包括,工作人员会先分别观看10-20幅正常人的注意特征图谱,以及10-20注意力缺陷人员的注意特征图谱。在工作人员观看完之后便可以参加测试环节,工作人员会观看除之前已经观看过的图谱外的其他10幅未标明所属人员是正常人还是注意力缺陷人员的注意特征图谱,工作人员观看完成后会记录出对这10幅注意特征图谱的判断结果,根据判断结果与实际图谱对应的真正结果来评估工作人员是否可以参加正式的检测环节。
关于评估结果的具体生成过程,举例来讲,假设工作人员在观看完其他10幅未标明所属人员是正常人还是注意力缺陷人员的注意特征图谱后记录的判断结果中,有9幅注意特征图谱的判断结果与注意特征图谱对应的真正结果相同,那么针对该工作人员经过培训后的评估结果即为“正确率达到90%”,当工作人员培训合格的评估阈值为不小于80%时,那么该工作人员便可以被视为顺利通过培训环节,可以正式根据待检测者的注意特征图谱进行注意力分析。上述培训过程中提到的工作人员在测试环节之前所观看的注意力缺陷人员或正常人的注意特征图谱的数量,在测试环节观看的未知所属人员的注意特征图谱的数量,以及判断工作人员培训合格的评估阈值,都是为了便于理解才以具体数值的形式进行说明,本说明书中不对上述提到的各个数值的具体大小进行严格限定,可以根据实际情况和需求进行灵活调整和设定。
还需要另外进行说明的是,在上述步骤中服务器通过注意力检测模型根据眼动轨迹数据生成各检测视频对应的注意特征图谱的同时,服务器可以根据各检测视频相对应的眼动轨迹数据,确定出对应的检测结果数据。检测结果数据主要包含有眼动轨迹数据相对应的眼动轨迹热度图,上述提及过的与检测视频相绑定的在校准过程所生成的眼动校准程度值,待检测者在观看检测视频时各时刻下不同角度的视角移动速度,以及待检测者在观看检测视频时在不同时刻下的瞳孔大小变化数据。而检测结果数据主要用于确定由注意力检测模型生成的注意特征图谱的可信度的大小,为了便于说明检测结果数据的具体形式,下面以实例中的一个检测结果数据的示意图,来进行介绍,如图3所示。
图3为本说明书中提供的一种检测结果数据的示意图。
如图3所示,眼动轨迹热度图是服务器根据该实例对应的待检测者在观看某个检测视频时的眼动轨迹数据生成的,由图3中可以看出眼动轨迹热度图主要通过颜色深度反映待检测者在观看检测视频时对显示屏幕上各个位置的关注时间长短。确定好眼动轨迹热度图后,服务器会根据历史记录的其他人(包括正常儿童以及指定人员)在观看该检测视频时的眼动轨迹热度图,来确认该眼动轨迹热度图是否可能记录出现异常。
视角移动速度坐标图,以及瞳孔大小变化图像是服务器根据眼动检测设备所采集的眼部图像进行记录和生成的,两幅图像都有对应的设定正常阈值,服务器在确定好视角移动速度坐标图和瞳孔大小变化图像后,会根据计算得出的对应均值以及各阈值来判断数据是否出现异常,举例来说,假设眼部视角角度为20°时的阈值范围为2cm/s~2.5cm/s,当服务器根据待检测者观看完某一检测视频后的眼动轨迹数据得出该待检测者在眼部视角角度为20°时的眼动速度均值远大于2.5cm/s或者远小于2cm/s时,服务器则会认为眼动轨迹数据对应的检测结果数据中的视角移动速度数据出现了异常;或者再以瞳孔大小变化数据为例,假设瞳孔大小变化阈值范围设定为2~5mm,当服务器根据眼动轨迹数据得出该待检测者在观看对应检测视频时的瞳孔大小大于5mm或者小于2mm时,服务器则会认为眼动轨迹数据对应的检测结果数据中的瞳孔大小变化数据出现了异常。
而检测结果数据中的眼动校准程度值图像是在检测过程前的校准环节就已经确定好的,每个眼动校准值都会与相应的检测视频相对应,如上述步骤中提到的,眼动校准程度值也会有对应的设定阈值,当最终得到的检测结果数据中的眼动校准程度值不满足对应设定阈值时,服务器便会认为检测结果数据中的眼动校准程度值出现异常。
上述提及的检测结果数据主要用于确定由注意力检测模型生成的注意特征图谱的可信度的大小,具体指的是,当服务器会根据检测结果数据中各个数据中出现的异常情况,来确定对应的注意特征图谱的可信度。一旦出现检测结果数据的记录异常或错误,服务器便会相应降低注意特征图谱的可信度,注意特征图谱的可信度根据可信度阈值可分为完全可信,不完全可信,当服务器确定出注意特征图谱的可信度为不完全可信时,即注意特征图谱对应的可信度低于预设的可信度阈值时,服务器会向负责检测过程的工作人员进行信息提示,建议工作人员重新进行测试,在接收到工作人员确认重新开始进行测试的指令后,服务器确定出该可信度较低的注意特征图谱对应的检测视频所属的视频类型,并从检测视频库中重新选取出与该注意特征图谱对应的检测视频所属的视频类型不相同的其他视频类型的检测视频,再次向待检测者进行播放,同时记录眼动轨迹数据,根据眼动轨迹数据生成新的注意特征图谱。当确定好待检测者观看的多个检测视频对应的注意特征图谱后,服务器会将各个注意特征图谱进行融合,并将各个注意特征图谱的可信度进行平均计算,得到最终融合后的注意特征图谱的可信度。
还需要进行说明的是,待检测者在正常检测环节中顺利观看完的检测视频的数量,即服务器获取到的眼动轨迹数据的多少也会影响最终融合后的注意特征图谱的可信度大小,假如待检测者在观看完一个或两个检测视频后或者甚至并没有完整观看完一个检测视频便停止检测,服务器则会降低最终融合后的注意特征图谱对应的可信度,并向相应的工作人员进行重新测试的信息提示,在接收到工作人员选择重新进行测试的指令后,服务器会重新按顺序依次向待检测者播放选取出的多个检测视频,并记录各检测视频对应的眼动轨迹数据,通过预设的注意力检测模型生成对应的注意特征图谱,以进行后续对待检测者的信息推荐。
为了便于进行整体方法的理解和介绍,下面以一个基于眼动追踪的信息推荐***的结构示意图来进行说明,如图4所示。
图4为本说明书中提供的一种基于眼动追踪的信息推荐***的结构示意图。
如图4所示内容,首先,工作人员可以将待检测者的个人信息记录在服务器中的用户信息设置模块中,此用户信息设置模块主要用于记录待检测者的个人信息以及创建对应的检测任务。待检测者的个人信息记录完成后,服务器会通过分析与输出模块从检测视频库中选取出多个检测视频并发送到外部设备的数据采集模块中,此数据采集模块中主要包含有上述提及的眼动检测设备,以及连接有显示设备的计算机,主要用于播放检测视频,以及采集待检测者在观看检测视频时的眼动轨迹数据。
通过数据采集模块中的显示设备播放完检测视频,并通过眼动检测设备采集到待检测者的眼动轨迹数据之后,数据采集模块会将眼动轨迹数据发送回服务器中的分析与输出模块,分析与输出模块则会根据眼动轨迹数据生成出上述方法中提及的对应的检测结果数据,并同时基于分析与输出模块中的注意力检测模型,根据眼动轨迹数据生成出待检测者对应的注意特征图谱。然后,通过将待检测者对应的注意特征图谱输入到分析与输出模块中部署的预设的注意力分析模型中,确定出待检测者的注意力分析结果,进而根据注意力分析结果向待检测者进行信息推荐。当然,也可以由相应的预先经过培训环节的工作人员根据待检测者的注意特征图谱,记录生成待检测者注意力分析结果。
在确定出待检测者的注意力分析结果后,服务器会将对应的数据记录(包含有待检测者的眼动轨迹数据,待检测者的注意特征图谱,以及基于待检测者的眼动轨迹数据的检测结果数据)传输到数据管理模块中,将对应的数据记录与之前通过用户信息设置模块所记录的待检测者的个人信息相互绑定并记录保存,以便于后续待检测者的监护人更为快捷的获取待检测者的分析结果。
另外,在服务器以及外部设备中都设立有相应的错误检查模块,外部设备中的错误检查模块主要以软件形式设立在与显示设备相连接的计算机中,两处错误检查模块的主要作用是用于检测在正常检测过程是否可能发生错误,例如,服务器中的错误检查模块可以在待检测者进行校准过程时,当待检测者的眼动校准程度值低于预设的校准阈值时,向工作人员进行校准错误提示;再例如,设立在连接有显示设备的计算机中的错误检查模块可以在数据采集模块采集待检测者的眼动轨迹数据时,判断采集到的眼动轨迹数据是否正常,如果出现较为明显的异常数据,便不会向服务器进行发送,并同时向工作人员进行数据采集错误提示。
外部设备在正常的检测环节中进行工作时,还设立有对应的工作人员,此工作人员主要用于记录待检测者在检测过程中的异常现象信息,并在异常现象发生时通过数据采集模块将记录的异常现象信息连同待检测者的眼动轨迹数据一并发送给服务器,而由工作人员所记录的异常现象信息主要用于评估后续生成的注意特征图谱的可信度大小。由图4以及上述内容不难看出,本方法较现有针对注意力检测的检测手段来说,检测过程和检测手段更为轻量化,通过预设的外部设备采集到待检测者的眼动轨迹数据后,发送给云端的服务器进行数据处理以及结果生成,便可针对待检测者进行信息推荐,从而可以实现以服务器为中心进行大范围普及和扩展,大幅减少资金和时间消耗,有效提高效率。
从上述内容可以看出,本说明书提供的基于眼动追踪的信息推荐方法,可以根据待检测者观看检测视频时的眼动轨迹数据,确定出与待检测者相对应的注意特征图谱以及检测结果数据,根据检测结果数据对注意特征图谱的可信度进行评估,然后根据确定好可信度的注意特征图谱对待检测者进行信息推荐。相比于由专业医师的主观评估和推荐的现阶段常用手段,通过本方法在进行信息推荐时所生成的推荐信息更为精准,且实用性更高,推荐信息内容更加贴合待检测者的真实情况,以至于能够为存在注意力问题的待检测者提供更具实效性的帮助。
以上为本说明书的一个或多个实施的方法,基于同样的思路,本说明书还提供了相应基于眼动追踪的信息推荐装置,如图5所示。
图5为本说明书中提供的一种基于眼动追踪的信息推荐装置的示意图,包括:
播放模块501,用于通过预设的显示器播放预设的检测视频;
采集模块502,用于通过预设的眼动检测设备,采集待检测者在观看所述检测视频时的眼部图像,并根据所述眼部图像,确定所述待检测者在观看所述检测视频时的眼动轨迹数据;
图谱生成模块503,用于将所述眼动轨迹数据以及所述检测视频输入到预设的注意力检测模型中,以生成针对所述待检测者在观看所述检测视频时的注意特征图谱,所述注意特征图谱用于表征所述待检测者针对所述检测视频中不同对象在不同状态下的关注程度以及针对所述检测视频中的背景的关注程度;
推荐模块504,用于根据所述注意特征图谱,对所述待检测者进行信息推荐。
可选的,所述检测模块504具体用于,根据所述眼动轨迹数据,确定所述眼动轨迹数据对应的检测结果数据,其中,所述检测结果数据包含有所述眼动轨迹数据对应的眼动轨迹热度图,眼动校准程度值,所述待检测者在观看所述检测视频时在不同时刻下的视角移动速度,以及所述待检测者在观看所述检测视频时在不同时刻下的瞳孔大小变化数据;根据所述检测结果数据,确定所述注意特征图谱对应的可信度;根据所述注意特征图谱以及所述注意特征图谱对应的可信度,对所述待检测者进行信息推荐。
可选的,所述检测模块504具体用于,当所述注意特征图谱对应的可信度不低于预设的可信度阈值时,根据所述注意特征图谱,对所述待检测者进行信息推荐。
可选的,所述检测模块504具体用于,当所述注意特征图谱对应的可信度低于所述预设的可信度阈值时,确定所述注意特征图谱对应的检测视频所属的视频类型,并从预设的检测视频库中确定出与所述注意特征图谱对应的检测视频所属的视频类型不相同的其他视频类型的检测视频,作为第一重测视频;通过所述预设的眼动检测设备向所述待检测者播放所述第一重测视频,确定所述待检测者在观看所述第一重测视频时的注意特征图谱;根据所述待检测者在观看所述第一重测视频时的注意特征图谱,对所述待检测者进行信息推荐。
可选的,所述检测模块504具体用于,将所述注意特征图谱输入到预设的注意力分析模型中,以使所述注意力分析模型根据所述注意特征图谱对所述待检测者进行注意力分析,并生成针对所述待检测者的注意力分析结果;根据所述注意力分析结果,对所述待检测者进行信息推荐。
可选的,所述检测模块504具体用于,通过所述注意力分析模型,根据所述注意特征图谱和历史上记录的多个指定人员的注意特征图谱,以及历史上记录的多个正常人的注意特征图谱,确定出所述待检测者的注意特征图谱与历史上所记录的多个指定人员的注意特征图谱的平均相似度值,以及所述待检测者的注意特征图谱与历史上所记录的多个正常人的注意特征图谱的平均相似度值;通过所述注意力分析模型,根据所述待检测者的注意特征图谱与历史上所记录的多个指定人员的注意特征图谱的平均相似度值,以及所述待检测者的注意特征图谱与历史上所记录的多个正常人的注意特征图谱的平均相似度值,确定所述待检测者的注意力信息;根据所述待检测者的注意力信息,生成针对所述待检测者的注意力分析结果。
可选的,所述检测模块504具体用于,响应于工作人员所记录的所述待检测者在观看所述检测视频时不满足预设的标准检测条件,重新通过眼动检测设备向所述待检测者播放所述检测视频,并通过所述眼动检测设备采集所述待检测者在观看所述重新播放的检测视频时的眼动轨迹数据;根据所述待检测者在观看所述重新播放的检测视频时的眼动轨迹数据,生成针对所述待检测者在观看所述重新播放的检测视频时的注意特征图谱;根据所述待检测者在观看所述重新播放的检测视频时的注意特征图谱,对所述待检测者进行信息推荐。
本说明书还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图1提供的一种基于眼动追踪的信息推荐方法。
本说明书还提供了图6所示的一种对应于图1的电子设备的示意结构图。如图6所示,在硬件层面,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1所述的基于眼动追踪的信息推荐方法。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device, PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、***、或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、***或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种基于眼动追踪的信息推荐方法,其特征在于,包括:
通过预设的显示器播放预设的检测视频;
通过预设的眼动检测设备,采集待检测者在观看所述检测视频时的眼部图像,并根据所述眼部图像,确定所述待检测者在观看所述检测视频时的眼动轨迹数据;
将所述眼动轨迹数据以及所述检测视频输入到预设的注意力检测模型中,以生成针对所述待检测者在观看所述检测视频时的注意特征图谱,所述注意特征图谱用于表征所述待检测者针对所述检测视频中不同对象在不同状态下的关注程度以及针对所述检测视频中的背景的关注程度;
根据所述注意特征图谱,对所述待检测者进行信息推荐。
2.如权利要求1所述的方法,其特征在于,根据所述注意特征图谱,对所述待检测者进行信息推荐,具体包括:
根据所述眼动轨迹数据,确定所述眼动轨迹数据对应的检测结果数据,其中,所述检测结果数据包含有所述眼动轨迹数据对应的眼动轨迹热度图,眼动校准程度值,所述待检测者在观看所述检测视频时在不同时刻下的视角移动速度,以及所述待检测者在观看所述检测视频时在不同时刻下的瞳孔大小变化数据;
根据所述检测结果数据,确定所述注意特征图谱对应的可信度;
根据所述注意特征图谱以及所述注意特征图谱对应的可信度,对所述待检测者进行信息推荐。
3.如权利要求2所述的方法,其特征在于,根据所述注意特征图谱以及所述注意特征图谱对应的可信度,对所述待检测者进行信息推荐,具体包括:
当所述注意特征图谱对应的可信度不低于预设的可信度阈值时,根据所述注意特征图谱,对所述待检测者进行信息推荐。
4.如权利要求3所述的方法,其特征在于,所述方法还包括:
当所述注意特征图谱对应的可信度低于所述预设的可信度阈值时,确定所述注意特征图谱对应的检测视频所属的视频类型,并从预设的检测视频库中确定出与所述注意特征图谱对应的检测视频所属的视频类型不相同的其他视频类型的检测视频,作为第一重测视频;
通过所述预设的眼动检测设备向所述待检测者播放所述第一重测视频,确定所述待检测者在观看所述第一重测视频时的注意特征图谱;
根据所述待检测者在观看所述第一重测视频时的注意特征图谱,对所述待检测者进行信息推荐。
5.如权利要求1所述的方法,其特征在于,根据所述注意特征图谱,对所述待检测者进行信息推荐,具体包括:
将所述注意特征图谱输入到预设的注意力分析模型中,以使所述注意力分析模型根据所述注意特征图谱对所述待检测者进行注意力分析,并生成针对所述待检测者的注意力分析结果;
根据所述注意力分析结果,对所述待检测者进行信息推荐。
6.如权利要求5所述的方法,其特征在于,将所述注意特征图谱输入到预设的注意力分析模型中,以使所述注意力分析模型根据所述注意特征图谱对所述待检测者进行注意力分析,并生成针对所述待检测者的注意力分析结果,具体包括:
通过所述注意力分析模型,根据所述注意特征图谱和历史上记录的多个指定人员的注意特征图谱,以及历史上记录的多个正常人的注意特征图谱,确定出所述待检测者的注意特征图谱与历史上所记录的多个指定人员的注意特征图谱的平均相似度值,以及所述待检测者的注意特征图谱与历史上所记录的多个正常人的注意特征图谱的平均相似度值;
通过所述注意力分析模型,根据所述待检测者的注意特征图谱与历史上所记录的多个指定人员的注意特征图谱的平均相似度值,以及所述待检测者的注意特征图谱与历史上所记录的多个正常人的注意特征图谱的平均相似度值,确定所述待检测者的注意力信息;
根据所述待检测者的注意力信息,生成针对所述待检测者的注意力分析结果。
7.如权利要求1所述的方法,其特征在于,根据所述注意特征图谱,对所述待检测者进行信息推荐,具体包括:
响应于工作人员所记录的所述待检测者在观看所述检测视频时不满足预设的标准检测条件,重新通过眼动检测设备向所述待检测者播放所述检测视频,并通过所述眼动检测设备采集所述待检测者在观看所述重新播放的检测视频时的眼动轨迹数据;
根据所述待检测者在观看所述重新播放的检测视频时的眼动轨迹数据,生成针对所述待检测者在观看所述重新播放的检测视频时的注意特征图谱;
根据所述待检测者在观看所述重新播放的检测视频时的注意特征图谱,对所述待检测者进行信息推荐。
8.一种基于眼动追踪的信息推荐装置,其特征在于,包括:
播放模块,用于通过预设的显示器播放预设的检测视频;
采集模块,用于通过预设的眼动检测设备,采集待检测者在观看所述检测视频时的眼部图像,并根据所述眼部图像,确定所述待检测者在观看所述检测视频时的眼动轨迹数据;
图谱生成模块,用于将所述眼动轨迹数据以及所述检测视频输入到预设的注意力检测模型中,以生成针对所述待检测者在观看所述检测视频时的注意特征图谱,所述注意特征图谱用于表征所述待检测者针对所述检测视频中不同对象在不同状态下的关注程度以及针对所述检测视频中的背景的关注程度;
推荐模块,用于根据所述注意特征图谱,对所述待检测者进行信息推荐。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410262494.4A CN117854714B (zh) | 2024-03-07 | 2024-03-07 | 一种基于眼动追踪的信息推荐方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410262494.4A CN117854714B (zh) | 2024-03-07 | 2024-03-07 | 一种基于眼动追踪的信息推荐方法以及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117854714A true CN117854714A (zh) | 2024-04-09 |
CN117854714B CN117854714B (zh) | 2024-05-24 |
Family
ID=90531492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410262494.4A Active CN117854714B (zh) | 2024-03-07 | 2024-03-07 | 一种基于眼动追踪的信息推荐方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117854714B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107515677A (zh) * | 2017-08-31 | 2017-12-26 | 杭州极智医疗科技有限公司 | 注意力检测方法、装置和存储介质 |
CN107783945A (zh) * | 2017-11-13 | 2018-03-09 | 山东师范大学 | 一种基于眼动追踪的搜索结果网页注意力测评方法及装置 |
WO2020119355A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳先进技术研究院 | 自闭症谱系障碍患者的多模态情感认知能力的评估方法 |
CN112086196A (zh) * | 2020-09-16 | 2020-12-15 | 中国科学院自动化研究所 | 多选择性注意力评估与训练的方法及*** |
CN112966186A (zh) * | 2021-03-30 | 2021-06-15 | 北京三快在线科技有限公司 | 一种模型训练和信息推荐的方法及装置 |
WO2021169367A1 (zh) * | 2020-02-27 | 2021-09-02 | 深圳大学 | 一种基于多层注意力的推荐方法 |
CN114209324A (zh) * | 2022-02-21 | 2022-03-22 | 北京科技大学 | 基于图像视觉认知的心理测评数据获取方法及vr*** |
CN117442154A (zh) * | 2023-11-21 | 2024-01-26 | 波克医疗科技(上海)有限公司 | 一种基于儿童注意力的视觉检测*** |
CN117576771A (zh) * | 2024-01-17 | 2024-02-20 | 之江实验室 | 一种视觉注意力评估方法、装置、介质及设备 |
-
2024
- 2024-03-07 CN CN202410262494.4A patent/CN117854714B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107515677A (zh) * | 2017-08-31 | 2017-12-26 | 杭州极智医疗科技有限公司 | 注意力检测方法、装置和存储介质 |
CN107783945A (zh) * | 2017-11-13 | 2018-03-09 | 山东师范大学 | 一种基于眼动追踪的搜索结果网页注意力测评方法及装置 |
WO2020119355A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳先进技术研究院 | 自闭症谱系障碍患者的多模态情感认知能力的评估方法 |
WO2021169367A1 (zh) * | 2020-02-27 | 2021-09-02 | 深圳大学 | 一种基于多层注意力的推荐方法 |
CN112086196A (zh) * | 2020-09-16 | 2020-12-15 | 中国科学院自动化研究所 | 多选择性注意力评估与训练的方法及*** |
CN112966186A (zh) * | 2021-03-30 | 2021-06-15 | 北京三快在线科技有限公司 | 一种模型训练和信息推荐的方法及装置 |
CN114209324A (zh) * | 2022-02-21 | 2022-03-22 | 北京科技大学 | 基于图像视觉认知的心理测评数据获取方法及vr*** |
CN117442154A (zh) * | 2023-11-21 | 2024-01-26 | 波克医疗科技(上海)有限公司 | 一种基于儿童注意力的视觉检测*** |
CN117576771A (zh) * | 2024-01-17 | 2024-02-20 | 之江实验室 | 一种视觉注意力评估方法、装置、介质及设备 |
Non-Patent Citations (2)
Title |
---|
孙宾宾;何慧静;江雯;张诗;林艳;万国斌;: "孤独症谱系障碍儿童动态眼动***预测模型建立研究", 中国实用儿科杂志, no. 04, 6 April 2018 (2018-04-06) * |
张坤;高磊;袁艺双;彭世新;徐如意;: "自闭症儿童对卡通与真人动态社会情境的视觉注意特点研究", 广西师范大学学报(哲学社会科学版), no. 03, 15 May 2020 (2020-05-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN117854714B (zh) | 2024-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8388529B2 (en) | Differential diagnosis of neuropsychiatric conditions | |
Venker et al. | An open conversation on using eye-gaze methods in studies of neurodevelopmental disorders | |
Lai et al. | Measuring saccade latency using smartphone cameras | |
Zou et al. | Distinct generation of subjective vividness and confidence during naturalistic memory retrieval in angular gyrus | |
US20240038083A1 (en) | Publicity-education pushing method and system based on multi-source information fusion | |
CN111317448B (zh) | 一种分析视觉空间认知的方法及*** | |
Orlosky et al. | Using eye tracked virtual reality to classify understanding of vocabulary in recall tasks | |
McCormick et al. | Not doomed to repeat: Enhanced medial prefrontal cortex tracking of errors promotes adaptive behavior during adolescence | |
CN113658697B (zh) | 一种基于视频注视差异的心理测评*** | |
Fuzi et al. | Voluntary and spontaneous smile quantification in facial palsy patients: validation of a novel mobile application | |
Sava-Segal et al. | Individual differences in neural event segmentation of continuous experiences | |
CN117854714B (zh) | 一种基于眼动追踪的信息推荐方法以及装置 | |
Riemer et al. | Interrelations between the perception of time and space in large-scale environments | |
KR20210084443A (ko) | 시공간 기억 및/또는 현출성의 자동 수동 평가를 위한 시스템 및 방법 | |
Miller | Using Eye-Tracking to Understand the Complex Relations Between Attention and Language in Children's Spatial Skill Development | |
US11580874B1 (en) | Methods, systems, and computer readable media for automated attention assessment | |
Zhang et al. | Opposing timing constraints severely limit the use of pupillometry to investigate visual statistical learning | |
KR20210028200A (ko) | 아동의 신경발달 장애 위험을 평가하는 방법 | |
KR101235338B1 (ko) | 건강 관리 단말기 및 건강 관리 방법 | |
KR20210028199A (ko) | 아동의 신경발달 장애 위험을 평가하는 방법 | |
Stone | Eye and body tracking in the lab, in the wild, and in the clinic | |
Shanmugaraja et al. | Cognitive Assessment Based on Eye Tracking Using Device‐Embedded Cameras via Tele‐Neuropsychology | |
Fei et al. | A survey of the state-of-the-art techniques for cognitive impairment detection in the elderly | |
Razeghi | Usability of eye tracking as a user research technique in geo-information processing and dissemination | |
Pallavi Reddy et al. | Analysis of eye gaze response to predict cognitive and behaviour abilities of an individual to determine developmental disorders |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |