CN115761871B - 基于眼动检测的检测图像生成方法、装置、设备及介质 - Google Patents
基于眼动检测的检测图像生成方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115761871B CN115761871B CN202211531469.9A CN202211531469A CN115761871B CN 115761871 B CN115761871 B CN 115761871B CN 202211531469 A CN202211531469 A CN 202211531469A CN 115761871 B CN115761871 B CN 115761871B
- Authority
- CN
- China
- Prior art keywords
- detection
- image
- image information
- eye movement
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 320
- 230000004424 eye movement Effects 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000004044 response Effects 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 15
- 230000003190 augmentative effect Effects 0.000 claims description 11
- 230000004048 modification Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 239000011521 glass Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本说明书实施例公开了一种基于眼动检测的检测图像生成方法、装置、设备及介质,包括:获取现实世界的图像信息;根据眼动检测的范式类型,在所述图像信息确定所述范式类型对应检测点的活动轨迹;根据所述检测点的活动轨迹,在所述图像信息中确定所述范式类型对应的检测区域;响应于确定所述检测区域存在噪点,将所述噪点进行更改处理,以生成所述范式类型的检测图像。本说明书实施例确定指定眼动检测对应的检测区域,缩小判定区域范围,进而可以忽略非检测区域,在不影响指定眼动检测的情况下,缩小判定范围可以更有效的对检测区域进行指定眼动检测。
Description
技术领域
本说明书涉及计算机技术领域,具体涉及智慧医疗技术领域,特别涉及眼动追踪和增强现实技术领域,尤其涉及一种基于眼动检测的检测图像生成方法、装置、设备及介质。
背景技术
眼动检测,是通过视线追踪技术,监测用户在看特定目标时的眼睛运动和注视方向,并进行相关分析的过程。过程中需要在检测图像中移动检测点,在眼动检测前需要生成符合要求的测试环境,以保证眼动检测的准确性。
在现有的眼动测试中,为了生成符合要求的测试环境,大都需要模拟对应的检测环境,这种检测环境建模花费巨大,同时,可能对运行设备的性能要求很高。
发明内容
本说明书一个或多个实施例提供了一种基于眼动检测的检测图像生成方法、装置、设备及介质,用于解决背景技术提出的技术问题。
本说明书一个或多个实施例采用下述技术方案:
本说明书一个或多个实施例提供的一种基于眼动检测的检测图像生成方法,包括:
获取现实世界的图像信息;
根据眼动检测的范式类型,在所述图像信息确定所述范式类型对应检测点的活动轨迹;
根据所述检测点的活动轨迹,在所述图像信息中确定所述范式类型对应的检测区域;
响应于确定所述检测区域存在噪点,将所述噪点进行更改处理,以生成所述范式类型的检测图像。。
本说明书一个或多个实施例提供的一种基于眼动检测的检测图像生成装置,所述装置包括:
图像信息获取单元,获取现实世界的图像信息;
活动轨迹确定单元,根据眼动检测的范式类型,在所述图像信息确定所述范式类型对应检测点的活动轨迹;
检测区域确定单元,根据所述检测点的活动轨迹,在所述图像信息中确定所述范式类型对应的检测区域;
检测图像生成单元,响应于确定所述检测区域存在噪点,将所述噪点进行更改处理,以生成所述范式类型的检测图像。
本说明书一个或多个实施例提供的一种基于眼动检测的检测图像生成设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取现实世界的图像信息;
根据眼动检测的范式类型,在所述图像信息确定所述范式类型对应检测点的活动轨迹;
根据所述检测点的活动轨迹,在所述图像信息中确定所述范式类型对应的检测区域;
响应于确定所述检测区域存在噪点,将所述噪点进行更改处理,以生成所述范式类型的检测图像。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:
本说明书实施例确定眼动检测的范式类型对应的检测区域,缩小判定区域范围,进而可以忽略非检测区域,在不影响眼动检测的情况下,缩小判定范围可以更有效的对检测区域进行眼动检测。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本说明书一个或多个实施例提供的一种基于眼动检测的检测图像生成方法的流程示意图;
图2为本说明书一个或多个实施例提供的一种基于眼动检测的检测图像生成装置的结构示意图;
图3为本说明书一个或多个实施例提供的一种基于眼动检测的检测图像生成设备的结构示意图。
具体实施方式
本说明书实施例提供一种基于眼动检测的检测图像生成方法、装置、设备及介质。
眼动测试方式一般有两种,第一种是提前录制好范式视频,在显示器上播放,同时让患者观看。第二种是让受试者戴上虚拟现实头盔,在头盔视野中显示范式测试画面,患者观看。这两种方式都有一定的弊端,如第一种在测试中受试者容易受外界环境的干扰导致测试不精确;第二种在遇到复杂的测试场景时,建模会消耗很大的人力成本同时对头盔的性能要求也极高。完全陌生的测试环境也会对检测结果造成影响。
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
图1为本说明书一个或多个实施例提供的一种基于眼动检测的检测图像生成方法的流程示意图,该流程可以由检测图像生成***执行。流程中的某些输入参数或者中间结果允许人工干预调节,以帮助提高准确性。
本说明书实施例的方法流程步骤如下:
S102,获取现实世界的图像信息。
在本说明书实施例中,现实世界的图像信息可以是通过增强现实摄像头采集的预选图像中获取的图像信息,经过处理后用于眼动检测中。
进一步的,本说明书实施例的增强现实摄像头可以采用AR技术(增强现实技术)的摄像头。AR技术是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,是一种将真实世界信息和虚拟世界信息集成的技术,可以很好的应用于眼动检测中。
S104,根据眼动检测的范式类型,在所述图像信息确定所述范式类型对应检测点的活动轨迹。
在本说明书实施例中,所述眼动检测的范式类型可以包括注视类的眼动检测、眼跳类的眼动检测与平滑追踪类的眼动检测。针对每种范式类型的眼动检测可以预先设置有不同的检测方式,即每种范式类型的眼动检测可以预先设置有不同的检测点的活动轨迹。
需要说明的是,每种范式类型的眼动检测的检测方式与检测点的活动轨迹可以应用已有范式库的多种眼动检测范式集。
S106,根据所述检测点的活动轨迹,在所述图像信息中确定所述范式类型对应的检测区域。
在本说明书实施例中,根据检测点的活动轨迹确定检测区域时,可以先确定检测点的活动轨迹在图像信息所处的位置信息,再根据该位置信息确定出检测区域。在眼动检测进行多次检测时,检测区域可以相同,即眼动检测的范式类型相同的情况下,预设检测的活动轨迹也未发生变化,所以,可以认定多次同类型范式的眼动检测中的检测区域相同。
S108,响应于确定所述检测区域存在噪点,将所述噪点进行更改处理,以生成所述范式类型的检测图像。
在本说明书实施例中,噪点即为不符合眼动检测要求的像素点。确定检测区域存在噪点的方式可以通过将当前图像信息的检测区域与预先设定的指定眼动检测的检测图像中检测区域对应的模板进行对比,与模板部分存在不同的像素点即为噪点。若确定检测区域存在噪点,需要将噪点进行更改,以使得检测区域符合指定眼动检测的要求。将噪点进行更改时,可以根据上述模板,对噪点进行更改。比如,指定眼动检测的检测区域的模板为空白区域,在当前图像的检测区域中存在非空白像素点时,检测区域中的非空白像素点即为噪点。
进一步的,当前图像为增强现实摄像头采集的现实世界图像时,可以通过增强现实技术对噪点进行更改,比如,增强现实技术采用AR时,可以通过AR技术将噪点进行更改。
在本说明书实施例中,若响应于确定所述检测区域存在噪点前,可以对图像信息的检测区域是否存在噪点进行判断,执行过程中,可以先确定图像信息的检测区域中各像素的像素值,或者各像素的标识码;再获取所述检测区域预先设定的符合所述范式类型的标准图像信息,标准图像信息即为预先设定的符合眼动检测的图像信息,只有当前图像信息符合该标准图像信息,才符合指定眼动检测的检测要求;最后,可以通过对比所述图像信息与所述标准图像信息,判断所述图像信息的检测区域中是否存在噪点,若判断出检测区域的图像信息与标准图像信息存在差异,即可以判断出当前的图像信息的检测区域内存在不符合要求的情况,即存在噪点。
进一步的,本说明书实施例为了节省运行时间和运行内存,可以先整体判断当前的图像信息与上一次生成的检测图像的图像信息是否相同,若相同,则检测区域的图像信息也必然相同,不需要执行S104、S106与S108,可以直接应用上一次生成的检测图像进行当前的眼动检测;若不相同,存在三种情况,其一是检测区域的图像信息相同,非检测区域的图像信息不相同,此时也可以直接应用上一次生成检测图像进行当前的眼动检测,其二是检测区域的图像信息不相同,非检测区域的图像信息相同,此时可以执行S104、S106与S108,其三是检测区域的图像信息不相同,非检测区域的图像信息也不相同,此时可以执行S104、S106与S108,而不需要对非检测区域进行处理。
需要说明的是,本说明书实施例通过上述思路,在情况一时可以避免执行上述步骤,而可以直接应用上一次生成检测图像进行当前的眼动检测,进而可以节省大量的运行时间和运行内容。
针对上述思路,本说明书实施例可以在所述当前图像确定所述眼动检测中预设检测点的活动轨迹前,先获取上一次进行所述范式类型生成的第一检测图像;再通过对比所述图像信息与所述第一检测图像的图像信息,判断是否发生变化;若未发生变化,将所述图像信息作为所述范式类型的检测图像。若发生变化,在所述图像信息中确定变化位置;在所述图像信息确定所述范式类型对应检测点的活动轨迹后,可以判断所述变化位置是否处于所述检测区域;若是,可以将所述变化位置所处的噪点进行更改,以生成所述范式类型的检测图像;若否,可以将所述当前的图像信息作为所述眼动检测的检测图像。
进一步的,本说明书实施例通过对比所述当前的图像信息与所述第一检测图像的图像信息,判断当前的像素信息是否发生变化时,可以对所述第一检测图像的图像信息的每个像素生成对应的第一标识码;对所述图像信息的每个像素生成对应的第二标识码;通过对比所述第一标识码与所述第二标识码,判断所述图像信息的各像素的标识码是否发生变化,像素的信息可以包括像素的色值。
需要说明的是,本说明书实施例在判断当前的图像信息是否发生变化时,还可以获取第一检测图像的图像信息的每个像素生成对应的第一像素值,以及当前的图像信息的每个像素生成对应的第二像素值,通过对比所述第一像素值与所述第二像素值,判断所述当前的图像信息的各像素的像素值是否发生变化。
需要说明的是,在眼动测试中,大都需要模拟真实的自然环境,这种自然环境建模非常耗费人力物力,同时对运行设备的性能要求极高,AR设备则可以直接利用现实场景进行测试,完美的解决了建模复杂度的问题。同时根据测试环境的需求,可以通过AR技术对场景进行处理(消除图像的噪点或者对场景进行改动)以使其符合测试环境要求。
进一步的,本说明书实施例可以将AR设备与眼动检测结合,在所述眼动检测时,通过所述AR设备的全景摄像头将现实环境进行实时扫描,得到当前AR图像;根据所述眼动检测的范式类型,在所述当前AR图像确定所述眼动检测中预设检测点的第一活动轨迹;根据所述预设检测点的第一活动轨迹,在所述当前AR图像中确定所述眼动检测对应的第一检测区域;若确定所述第一检测区域存在第一噪点,将所述第一噪点进行更改,以生成所述眼动检测的检测图像。
本说明书实施例在所述当前图像确定所述眼动检测中预设检测点的活动轨迹前,可以获取上一次进行所述眼动检测生成的第二检测图像;通过对比所述当前AR图像的图像信息与所述第二检测图像的图像信息,判断所述当前图像是否发生变化;若未发生变化,可以将所述当前AR图像作为所述眼动检测的检测图像;若发生变化,可以进一步识别变化的区域是否为检测区域,若变化的区域为检测区域,变化的部分即为噪点,需要对噪点进行更改,若变化的区域不是检测区域,变化的部分不是噪点,可以将所述当前AR图像作为所述眼动检测的检测图像。
进一步的,在本说明书实施例中,受测者进行眼动测试时,眼动检测的范式类型可以根据图像信息进行自动进行匹配,即在获取现实世界的图像信息后,所述根据眼动检测的范式类型,在所述图像信息确定所述范式类型对应检测点的活动轨迹前,根据所述图像信息中的显示内容,确定所述图像信息能够进行的眼动检测的范式类型。本说明书实施例根据所述图像信息中的显示内容,确定所述图像信息能够进行的眼动检测的范式类型时,可以先确定所述显示内容的多个局部变化状态;再根据所述多个局部变化状态确定不同的所述眼动检测的范式类型。比如,当眼动检测范式的范式类型为注视类的眼动检测方式时,此种检测范式要求受试者持续注视检测点,这种检测方式对于检测点所在的图像区域要求没有噪点,纯色背景图适应于注视类的眼动检测;当眼动检测范式的范式类型为眼跳类的眼动检测范式时,该类眼动检测方式一般要求先在显示界面的中心处出现检测点一定时间后,检测点消失,随机在显示界面的上下左右出现***点。检测图像可以从现实世界的动态图像中截取一帧静态图像,以用于眼跳类检测范式的检测。
在本说明书实施例中,眼动检测的范式类型可以包括:注视类检测范式、眼跳类检测范式和平滑追踪类眼动检测范式。对于上述的范式类型,响应于确定所述检测区域存在噪点,将所述噪点进行更改处理,以生成所述范式类型的检测图像时,响应于确定所述注视类检测范式或所述眼跳类检测范式的检测区域存在噪点,则将现实世界的动态图像中截取符合眼动测试的静态图像,将所述静态图像作为所述范式类型的检测图像;响应于确定所述平滑追踪类检测范式的检测区域存在噪点,将检测区域中的图像集发送至服务器进行处理,接收处理后的图像集,并将处理后的图像集替换至检测区域,以生成所述范式类型的检测图像。
具体的,对于上述的注视类检测范式、眼跳类检测范式和平滑追踪类眼动检测范式,可以通过下述具体步骤:
当眼动检测范式为注视类的眼动检测方式时,此种检测范式要求受试者持续注视检测点,这种检测方式对于检测点所在的图像区域要求没有噪点,对于图像其它区域内噪点的状况要求较宽,可以不作处理,或做出轻微处理;在AR成像逻辑基础上,注视类范式测试中,一般要求注视点一定范围内的背景图像没有噪点(图像单一且不变)。
第一种情况:在测试开始时AR眼镜的CPU会发出指令并在视野范围内生成一张纯色背景图,纯色背景图要和检测点的颜色有较高的对比度,以方便受试者找到检测点。同时CPU会下达指令关闭AR眼镜的高清摄像头成像功能,以此来保证不会对现实世界虚拟成像,从而避免了其他成像对纯色背景图的干扰。
第二种情况:在测试开始时AR眼镜的CPU会发出指令并在视野范围内部分区域生成纯色背景图,其他区域显示对现实世界生成的AR高清成像图。这样保证了测试区域范围内为纯色背景没有噪点。
当眼动检测范式为眼跳类的眼动检测范式时,该类眼动检测方式一般要求先在显示界面的中心处出现检测点一定时间后,检测点消失,随机在显示界面的上下左右出现***点。
可以从现实世界的动态图像中截取一帧静态图像,以用于眼跳类检测范式的检测。
当眼动检测范式为平滑追踪类的眼动检测范式时,该眼动检测范式需要受试者跟随检测点移动,保持眼睛持续注视。在实际的图像处理过程中,需要消除平滑追踪运动轨迹附近图像区域的噪点,以消除干扰。
消除平滑追踪运动轨迹附近图像区域的噪点:
在平滑追踪类范式中,目标点会有固定的运动轨迹(轨迹由多个位置点连接而成),在测试过程中,AR眼镜的CPU会获取运动轨迹所有的检测点,以这些点为基准,在一定范围内实时监测所有像素点的色值,如果出现色值不匹配的像素点(也叫做噪点),则将此像素点的色值更改为正确的色值,此过程持续到测试结束。
在实际水平类的平滑追踪眼动检测中,AR眼镜扫描马路以及车辆在一定时间内的穿行信息,首先在受试者看到的影像中构建无车辆的马路模型,然后按一定规律使虚拟生成的汽车(可以通过GAN网络等图像生成方法)在虚拟生成的马路上穿行,通过让受试者观察运动的虚拟汽车,对受试者进行平滑追踪;在另一种实现方式中,当受试者在马路旁边观看来往的车辆时,可以先录制当前AR视线界面中车辆穿行的视频,并对其按照一定的规则进行剪辑,最后将剪辑过后的,具有一定规律的视频显示给受试者,以进行眼动测试。
上述两种方式可以将获取的数据(扫描的马路信息、车辆穿行信息、录制的视频信息等)发送至云端处理,云端处理完成后发送至AR设备。
对于AR设备,可适用于大规模人群的初筛。自然环境下,复杂场景下的建模(测试场景搭建);根据测试场景的特点,可以通过AR技术消除自然环境的噪点并对局部加以修正。当用户佩戴AR设备,并且想要进行眼动测试时,可以确定显示自然世界的显示信息,即用户通过AR设备看到的真实世界图像;同时,可以对自然世界的显示信息进行处理,处理时确定真实世界图像中的噪点,该噪点与眼动检测范式相关;使复杂的自然环境变为测试环境;此外,AR设备可以显示眼动检测范式,并在显示该检测范式的时候,根据眼动检测范式的类别对图像进行处理,使其符合测试要求。
需要说明的是,本说明书实施例还可以应用于增强现实相似功能的摄像头,用于生成眼动检测的检测图像。
本说明书实施例在实施过程中,AR设备可以为AR眼镜,实施步骤为:
通过AR眼镜的图像传感器获取检测人员当前看到的现实世界图像信息;
由AR眼镜上的全景摄像头将现实环境进行实时扫描,将扫描后的图案由AR技术进行建模还原,然后确定需要处理的噪点和部分需要修改的图像细节,由AR技术进行处理,最后将处理后的图像显示出来(可直接投射到受试者的眼睛中)。
AR成像逻辑:AR眼镜的图像传感器包括高清摄像头和CPU。确定现实世界图像信息过程为:首先由高清摄像头每帧对现实世界进行一次扫描成像以获取本帧的图像信息,然后将获取的图像信息交由CPU处理。
当AR眼镜进行眼动检测时,确定现实世界图像信息:同上次眼动检测生产的图像相同,判断该现实世界图像信息是否发生变化,若没有发生变化,则直接获取图像,将该图像进行显示;若发生变化,则将发生变化的区域进行标记,以方便后续对图像进行处理。
判断该现实世界图像信息是否发生变化时,可以通过下述方式:
CPU首先根据图像每个像素的信息生成一个唯一标记码,以此将图像进行唯一标记并存储(初始没有标记)。
检索上一次存储的标记,并将此图像的标记与之对比。
对比一致:图像没有变化。
对比不一致:图像有变化,将前后两张图像每个像素点的色值进行对比,将对比不一致的像素点全部进行标记,以方便后续对图像进行处理。
根据眼动检测范式的类别对AR眼镜中显示的现实世界图像信息进行处理,使处理后显示的信息可以应用于对应类别的眼动检测范式。
眼动检测范式包括以下几种类型:注视类、眼跳类、平滑追踪类,每种类型的眼动检测范式对应不同的图像处理方式。
图2为本说明书一个或多个实施例提供的一种基于眼动检测的检测图像生成装置的结构示意图,所述装置包括:图像信息获取单元202、活动轨迹确定单元204、检测区域确定单元206与检测图像生成单元208。
图像信息获取单元202,获取现实世界的图像信息;
活动轨迹确定单元204,根据眼动检测的范式类型,在所述图像信息确定所述范式类型对应检测点的活动轨迹;
检测区域确定单元206,根据所述检测点的活动轨迹,在所述图像信息中确定所述范式类型对应的检测区域;
检测图像生成单元208,响应于确定所述检测区域存在噪点,将所述噪点进行更改处理,以生成所述范式类型的检测图像。
图3为本说明书一个或多个实施例提供的一种基于眼动检测的检测图像生成设备的结构示意图,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取现实世界的图像信息;
根据眼动检测的范式类型,在所述图像信息确定所述范式类型对应检测点的活动轨迹;
根据所述检测点的活动轨迹,在所述图像信息中确定所述范式类型对应的检测区域;
响应于确定所述检测区域存在噪点,将所述噪点进行更改处理,以生成所述范式类型的检测图像。
本说明书一个或多个实施例提供的一种非易失性计算机存储介质存储有计算机可执行指令,所述计算机可执行指令设置为:
获取现实世界的图像信息;
根据眼动检测的范式类型,在所述图像信息确定所述范式类型对应检测点的活动轨迹;
根据所述检测点的活动轨迹,在所述图像信息中确定所述范式类型对应的检测区域;
响应于确定所述检测区域存在噪点,将所述噪点进行更改处理,以生成所述范式类型的检测图像。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备、非易失性计算机存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的一个或多个实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种基于眼动检测的检测图像生成方法,其特征在于,所述方法包括:
获取现实世界的图像信息,所述现实世界的图像信息是通过增强现实摄像头采集的预选图像中获取的图像;
根据眼动检测的范式类型,在所述图像信息确定所述范式类型对应检测点的活动轨迹;
根据所述检测点的活动轨迹,在所述图像信息中确定所述范式类型对应的检测区域;
响应于确定所述检测区域存在噪点,将所述噪点进行更改处理,以生成所述范式类型的检测图像。
2.根据权利要求1所述的方法,其特征在于,所述获取现实世界的图像信息后,所述根据眼动检测的范式类型,在所述图像信息确定所述范式类型对应检测点的活动轨迹前,所述方法还包括:
根据所述图像信息中的显示内容,确定所述图像信息能够进行的眼动检测的范式类型。
3.根据权利要求2所述的方法,其特征在于,所述根据所述图像信息中的显示内容,确定所述图像信息能够进行的眼动检测的范式类型,包括:
确定所述显示内容的多个局部变化状态;
根据所述多个局部变化状态确定不同的所述眼动检测的范式类型。
4.根据权利要求1所述的方法,其特征在于,所述在所述图像信息确定所述范式类型对应检测点的活动轨迹前,所述方法还包括:
获取上一次进行所述范式类型生成的第一检测图像;
通过对比所述图像信息与所述第一检测图像的图像信息,判断是否发生变化;
若未发生变化,将所述图像信息作为所述范式类型的检测图像。
5.根据权利要求4所述的方法,其特征在于,若发生变化,在所述图像信息中确定变化位置;
所述在所述图像信息确定所述范式类型对应检测点的活动轨迹后,所述方法还包括:
判断所述变化位置是否处于所述检测区域;
若是,将所述变化位置所处的噪点进行更改,以生成所述范式类型的检测图像。
6.根据权利要求4所述的方法,其特征在于,所述通过对比所述图像信息与所述第一检测图像的图像信息,判断是否发生变化,具体包括:
对所述第一检测图像的图像信息的每个像素生成对应的第一标识码;
对所述图像信息的每个像素生成对应的第二标识码;
通过对比所述第一标识码与所述第二标识码,判断所述图像信息的各像素的标识码是否发生变化。
7.根据权利要求1所述的方法,其特征在于,所述响应于确定所述检测区域存在噪点前,所述方法还包括:
获取所述检测区域预先设定的符合所述范式类型的标准图像信息;
通过对比所述图像信息与所述标准图像信息,判断所述图像信息的检测区域中是否存在噪点。
8.根据权利要求1所述的方法,其特征在于,所述眼动检测的范式类型包括:注视类检测范式、眼跳类检测范式和平滑追踪类眼动检测范式;
响应于确定所述检测区域存在噪点,将所述噪点进行更改处理,以生成所述范式类型的检测图像,包括:
响应于确定所述注视类检测范式或所述眼跳类检测范式的检测区域存在噪点,则将现实世界的动态图像中截取符合眼动测试的静态图像,将所述静态图像作为所述范式类型的检测图像;
响应于确定所述平滑追踪类检测范式的检测区域存在噪点,将检测区域中的图像集发送至服务器进行处理,接收处理后的图像集,并将处理后的图像集替换至检测区域,以生成所述范式类型的检测图像。
9.一种基于眼动检测的检测图像生成装置,其特征在于,所述装置包括:
图像信息获取单元,获取现实世界的图像信息,所述现实世界的图像信息是通过增强现实摄像头采集的预选图像中获取的图像;
活动轨迹确定单元,根据眼动检测的范式类型,在所述图像信息确定所述范式类型对应检测点的活动轨迹;
检测区域确定单元,根据所述检测点的活动轨迹,在所述图像信息中确定所述范式类型对应的检测区域;
检测图像生成单元,响应于确定所述检测区域存在噪点,将所述噪点进行更改处理,以生成所述范式类型的检测图像。
10.一种基于眼动检测的检测图像生成设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取现实世界的图像信息,所述现实世界的图像信息是通过增强现实摄像头采集的预选图像中获取的图像;
根据眼动检测的范式类型,在所述图像信息确定所述范式类型对应检测点的活动轨迹;
根据所述检测点的活动轨迹,在所述图像信息中确定所述范式类型对应的检测区域;
响应于确定所述检测区域存在噪点,将所述噪点进行更改处理,以生成所述范式类型的检测图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211531469.9A CN115761871B (zh) | 2022-12-01 | 2022-12-01 | 基于眼动检测的检测图像生成方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211531469.9A CN115761871B (zh) | 2022-12-01 | 2022-12-01 | 基于眼动检测的检测图像生成方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115761871A CN115761871A (zh) | 2023-03-07 |
CN115761871B true CN115761871B (zh) | 2023-08-11 |
Family
ID=85342391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211531469.9A Active CN115761871B (zh) | 2022-12-01 | 2022-12-01 | 基于眼动检测的检测图像生成方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115761871B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169309A (zh) * | 2017-07-26 | 2017-09-15 | 北京为凡医疗信息技术有限公司 | 基于头戴式检测设备的视野检测方法、***及检测装置 |
CN109086726A (zh) * | 2018-08-10 | 2018-12-25 | 陈涛 | 一种基于ar智能眼镜的局部图像识别方法及*** |
CN109255342A (zh) * | 2018-11-20 | 2019-01-22 | 武汉大学 | 一种基于眼动轨迹数据两步聚类的图像感兴趣区域提取方法和*** |
CN110705468A (zh) * | 2019-09-30 | 2020-01-17 | 四川大学 | 基于图像分析的眼动范围识别方法和*** |
WO2020186867A1 (zh) * | 2019-03-18 | 2020-09-24 | 北京市商汤科技开发有限公司 | 注视区域检测方法、装置及电子设备 |
CN113064490A (zh) * | 2021-04-06 | 2021-07-02 | 上海金陵电子网络股份有限公司 | 一种基于眼动轨迹的虚拟增强设备及其识别方法 |
-
2022
- 2022-12-01 CN CN202211531469.9A patent/CN115761871B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169309A (zh) * | 2017-07-26 | 2017-09-15 | 北京为凡医疗信息技术有限公司 | 基于头戴式检测设备的视野检测方法、***及检测装置 |
CN109086726A (zh) * | 2018-08-10 | 2018-12-25 | 陈涛 | 一种基于ar智能眼镜的局部图像识别方法及*** |
CN109255342A (zh) * | 2018-11-20 | 2019-01-22 | 武汉大学 | 一种基于眼动轨迹数据两步聚类的图像感兴趣区域提取方法和*** |
WO2020186867A1 (zh) * | 2019-03-18 | 2020-09-24 | 北京市商汤科技开发有限公司 | 注视区域检测方法、装置及电子设备 |
CN110705468A (zh) * | 2019-09-30 | 2020-01-17 | 四川大学 | 基于图像分析的眼动范围识别方法和*** |
CN113064490A (zh) * | 2021-04-06 | 2021-07-02 | 上海金陵电子网络股份有限公司 | 一种基于眼动轨迹的虚拟增强设备及其识别方法 |
Non-Patent Citations (1)
Title |
---|
基于视频图像的眼动追踪***算法;王际航等;吉林大学学报(信息科学版)(第2期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115761871A (zh) | 2023-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7922670B2 (en) | System and method for quantifying and mapping visual salience | |
KR102212209B1 (ko) | 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체 | |
Martin et al. | Scangan360: A generative model of realistic scanpaths for 360 images | |
CN100357959C (zh) | 面部器官位置检测设备、方法及程序 | |
CN111539273A (zh) | 一种交通视频背景建模方法及*** | |
US20090290753A1 (en) | Method and system for gaze estimation | |
JP5771127B2 (ja) | 注目度推定装置およびそのプログラム | |
KR102155309B1 (ko) | 인지 장애 예측 방법 및 이를 구현한 서버, 사용자 단말 및 어플리케이션 | |
WO2022095440A1 (zh) | 面向自动驾驶的人机协同感知方法及*** | |
US20210334998A1 (en) | Image processing method, apparatus, device and medium for locating center of target object region | |
JPH1186004A (ja) | 移動体追跡装置 | |
CN111711811B (zh) | Vr图像处理方法、装置、***、vr设备及存储介质 | |
US20190289202A1 (en) | Image sensor | |
CN115761871B (zh) | 基于眼动检测的检测图像生成方法、装置、设备及介质 | |
WO2019110874A1 (en) | Method and apparatus for applying video viewing behavior | |
CN111448589A (zh) | 用于检测患者的身体移动的设备、***和方法 | |
CN116453198B (zh) | 一种基于头部姿态差异的视线校准方法和装置 | |
CN110598635B (zh) | 一种针对连续视频帧中的人脸检测与瞳孔定位方法及*** | |
WO2019110873A1 (en) | Method and apparatus for defining a storyline based on path probabilities | |
WO2008073563A1 (en) | Method and system for gaze estimation | |
CN114298921A (zh) | 一种基于客观内容驱动的评估观众视觉注意效果的方法 | |
Mehrubeoglu et al. | Capturing reading patterns through a real-time smart camera iris tracking system | |
CN113657137A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
JP4763661B2 (ja) | 画質評価方法、プログラム及び装置 | |
CN114863093B (zh) | 基于眼动技术的神经网络训练方法及建筑设计方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |