CN115686199A - 一种群体眼动轨迹生成方法、装置、计算设备及存储介质 - Google Patents

一种群体眼动轨迹生成方法、装置、计算设备及存储介质 Download PDF

Info

Publication number
CN115686199A
CN115686199A CN202211240379.4A CN202211240379A CN115686199A CN 115686199 A CN115686199 A CN 115686199A CN 202211240379 A CN202211240379 A CN 202211240379A CN 115686199 A CN115686199 A CN 115686199A
Authority
CN
China
Prior art keywords
individual
gazing
gaze
eye movement
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211240379.4A
Other languages
English (en)
Other versions
CN115686199B (zh
Inventor
赵起超
王清菊
杨苒
吴萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kingfar International Inc
Original Assignee
Kingfar International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kingfar International Inc filed Critical Kingfar International Inc
Priority to CN202211240379.4A priority Critical patent/CN115686199B/zh
Publication of CN115686199A publication Critical patent/CN115686199A/zh
Application granted granted Critical
Publication of CN115686199B publication Critical patent/CN115686199B/zh
Priority to EP23200820.1A priority patent/EP4354378A1/en
Priority to US18/374,734 priority patent/US20240118747A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种群体眼动轨迹生成方法、装置、计算设备及存储介质，属于视觉追踪技术领域，该方法包括：获取目标群体中每个人对注视对象的眼动数据；基于眼动数据，生成每个人对注视对象中多个兴趣区的个体注视轨迹；对多个个体注视轨迹进行相似度拟合，生成群体眼动轨迹。本方案能够直观地反映群体对注视对象不同兴趣区之间注视顺序的变化，可实现在不同的个体观看同一目标时，从个体眼动轨迹中提取到群体眼动轨迹的效果。

Description

一种群体眼动轨迹生成方法、装置、计算设备及存储介质
技术领域
本发明涉及视觉追踪技术领域，尤其是涉及一种群体眼动轨迹生成方法、装置、计算设备及存储介质。
背景技术
眼动追踪是测量眼睛运动的过程，即通过仪器进行图像采集和处理，定位瞳孔位置，获取坐标，计算眼睛注视或凝视的点形成眼动轨迹，以便根据眼动变化推断大脑认知过程。眼动追踪已成为分析市场营销、神经科学、人机交互、可视化研究、视觉感知和视觉搜索中用户行为的方法。
目前，常见的眼动分析方法主要有统计评估方法、可视化的分析方法、兴趣区定量化分析等。中国发明专利“CN113159844 A”公开了一种基于眼球轨迹追踪的广告智能评估方法及***，包括：获取用户集群观察标准广告对象时生成的眼动数据集合，对标准关键区域集合、注视点集合和视线变化数据集合进行关联分析，从而构建数据关系，并根据数据关系获取标准广告对象对应的标准评估结果。在“基于眼动追踪的自动售货机人机界面设计研究”中，结合主观问卷和眼动轨迹手动划分不同年龄组群体的眼动轨迹特征，得到不同群体的视觉用户行为。上述方法并不能在人机界面交互过程中对用户在不同兴趣区之间的注视顺序进行自动识别，不能直观的反映不同兴趣区之间顺序的变化。
因此，需要一种可视化群体眼动轨迹生成方法，能够直观地反映群体对不同兴趣区之间注视顺序的变化，以便提高对群体眼动特征识别的准确性和效率。
发明内容
为了便于直观地反映群体对不同兴趣区之间注视顺序的变化，本申请提供了一种群体眼动轨迹生成方法、装置、计算设备及存储介质，能够在不同的人观看同一目标时，从群体中每个人的眼动轨迹中提取到群体的眼动轨迹。
根据本发明的第一方面，提供了一种群体眼动轨迹生成方法，该方法包括：获取目标群体中每个人对注视对象的眼动数据；基于获取的眼动数据，生成每个人对注视对象中多个兴趣区的个体注视轨迹；对多个生成的个体注视轨迹进行相似度拟合，生成群体眼动轨迹。
通过采用上述技术方案，首先获取目标群体中每个人的眼动数据，得到目标群体中每个人的个体注视轨迹，再根据预设规则对个体注视轨迹进行筛选，筛选出对群体有代表性的个体注视轨迹，对筛选出的多个个体注视轨迹进行拟合，得到群体眼动轨迹，实现了由多个个体注视轨迹生成群体眼动轨迹的效果。
可选地，在上述方法中，还可以将生成的群体眼动轨迹实时显示在人机界面上。
可选地，眼动数据包括个体在注视对象上的注视点坐标信息和注视时间信息。在生成个体注视轨迹的步骤中，可以首先将注视对象划分为多个兴趣区；然后基于个体在注视对象上的注视时间信息，确定个体每个注视点对所述多个兴趣区的注视时间顺序和注视时长；最后基于注视点坐标信息以及每个注视点对所述多个兴趣区的注视时间顺序和注视时长，确定所述个体注视轨迹。
通过采用上述技术方案，将注视对象分为多个兴趣区，根据每组眼动数据，可得到每个兴趣区中的多个眼动注视点，从每个兴趣区的多个注视点中筛选出一个对应的有效注视点组，整和所有兴趣区的有效注视点组，即得到每个人的个体注视轨迹。
可选地，可以根据每个注视点对所述多个兴趣区的注视时间顺序，依次判断每个注视点对所述兴趣区的注视时长是否不小于预设的注视时长阈值，若是，则将所述注视点作为所述兴趣区的有效注视点组；若否，则继续判断下一个注视点的注视时长是否不小于预设的注视时长阈值，直到遍历所有的注视点；基于有效注视点组的坐标信息，将所述有效注视点组按照注视顺序进行排序，得到所述个体注视轨迹。
通过采用上述技术方案，根据注视时间点确定每个注视点对多个兴趣区注视的先后顺序，按照注视该兴趣区的先后顺序依次判断每个注视点的注视时长是否超过预设的注视时长阈值，如果超过预设的注视时长阈值则认为该注视点为有效注视点组。由于一个有效注视点组对应一个兴趣区，利用筛选出的有效注视点组组按照注视先后顺序对兴趣区进行排序，将兴趣区的注视顺序作为个体注视轨迹。
可选地，如果所述兴趣区内每一个注视点的注视时长都小于预设注视时长，则所述兴趣区没有有效注视点组，剔除所述兴趣区。
可选地，在生成群体眼动轨迹的步骤中，可以将每个所述个体注视轨迹进行两两相似度计算，得到相似度矩阵A＝(arc)M×M，其中：arc＝acr，arc是第r个个体注视轨迹和第c个个体注视轨迹的相似度值，M是所述个体注视轨迹的总数量；获取所述相似度矩阵中相似度值不小于预设相似度阈值的相似度所对应的个体注视轨迹的数量；根据所述相似度值不小于预设相似度阈值的相似度所对应的个体注视轨迹的数量与所述个体注视轨迹总数量的比值，得到每个个体注视轨迹的一致性占比值；对每个个体注视轨迹的一致性占比值进行排序，得到最大一致性占比值；判断最大一致性占比值是否大于预设的拟合群体阈值，若否，则重新设置相似度阈值，若是，则筛选出所述最大一致性占比值对应的个体注视轨迹。
通过采用上述技术方案，将个体注视轨迹两两之间的的相似度与预设相似度阈值进行比较，筛选出大于预设相似度阈值的个体注视轨迹的数量，再根据大于预设相似度阈值的个体注视轨迹的数量计算一致性占比值，选取最大的一致性占比值对应的个体注视轨迹，从而使得选取的符合条件的个体注视轨迹具有一定代表性。若最大的一致性占比值低于预设的拟合群体阈值，则说明最大的一致性占比值对应的符合条件的单人注视轨迹不能很好的代表整个目标群体，此时可采用重新设置最大相似度预设的方式，对个体注视轨迹进行重新筛选。
可选地，计算最大一致性占比值对应的多个个体注视轨迹在同一兴趣区内有效注视点组的平均值，作为所述兴趣区的平均注视点；基于每个兴趣区的平均注视点，得到所述群体眼动轨迹。
通过采用上述技术方案，获取筛选出的个体注视轨迹对应的有效注视点组组，计算每个兴趣区内有效注视点组组的平均注视点，根据平均注视点对兴趣区进行排序，即得到群体眼动轨迹。
第二方面，本申请提供一种群体眼动轨迹生成装置，包括获取模块、第一生成模块和第二生成模块。其中，获取模块，用于获取目标群体中每个人对注视对象的眼动数据；第一生成模块，用于基于所述眼动数据，生成每个人对注视对象中多个兴趣区的个体注视轨迹；第二生成模块，用于对多个所述个体注视轨迹进行相似度拟合，生成群体眼动轨迹。
第三方面，本申请提供一种计算设备，包括存储器、处理器以及储存在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行如第一方面中所述的一种群体眼动轨迹生成方法。
第四方面，本申请提供一种计算机可读存储介质，包括存储有能够被处理器加载并执行如第一方面所述的一种群体眼动轨迹生成方法的计算机程序。
通过采用上述技术方案，将获取到的眼动数据生成目标群体中每个人的注视轨迹，再根据注视点对注视对象中多个兴趣区的注视时长对注视点进行筛选得到每个兴趣区对应的有效注视点组组，根据多个个体注视轨迹之间的相似度筛选出最大一致性占比值对应的个体注视轨迹，通过对同一兴趣区内筛选出的有效注视点组组求平均得到每个兴趣区的平均注视点，从而得到群体眼动轨迹。该方案能够直观地反映群体对注视对象不同兴趣区之间注视顺序的变化，可实现在不同的个体观看同一目标时，从个体眼动轨迹中提取到群体眼动轨迹的效果。
附图说明
图1示出了根据本发明一个实施例的群体眼动轨迹生成方法01的流程示意图；
图2示出了根据本发明一个实施例的注视对象的兴趣区划分示意图；
图3示出了根据本发明一个实施例的生成个体注视轨迹的流程示意图；
图4示出了根据本发明一个实施例的不同兴趣区对应的注视点示意图；
图5示出了根据本发明的一个实施例的个体注视轨迹示意图；
图6示出了根据本发明的一个实施例的目标群体中多个个体注视轨迹示意图；
图7示出了根据本发明一个实施例的计算每个兴趣区平均注视点的示意图；
图8示出了根据本发明一个实施例的群体眼动轨迹示意图；
图9示出了根据本发明一个实施例的群体眼动轨迹生成装置900的结构示意图；
图10示出了根据本发明一个实施例的计算设备100的结构图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
由于用户在浏览或注视一目标对象的过程中有一定的顺序，呈现一定的浏览轨迹，然而，不同的人在观看同一目标时，其浏览特征可能受年龄、性别、文化背景等因素的影响形成不同的眼动轨迹。为了解决不同的人在观看同一目标时，从个人眼动轨迹中无法直接提取到群体的眼动轨迹，不便于对群体眼动行为特征进行研究的问题，本方案提出了一种群体眼动轨迹生成方法，能够基于眼动仪记录用户的眼动数据，通过分析个体眼动轨迹得出目标群体的眼动轨迹，直观地反映出群体对目标对象不同兴趣区之间注视顺序的变化，提高对群体眼动行为特征识别的准确性和效率。
图1示出了根据本发明一个实施例的群体眼动轨迹生成方法01的流程示意图。如图1所示，该方法01适于步骤S001，获取目标群体中每个人对注视对象的眼动数据。
其中，目标群体可根据群体属性自定义选择，群体属性包括性别、年龄、文化背景等维度，可以选择单一维度，也可以多维度交互选择；例如，从年龄和性别两个维度进行选择，可设置目标群体为年龄在30-40岁性别为男，从文化背景单维度进行选择，可以设置目标群体为本科学历以上的人群。注视对象可以是人机交互界面中显示的内容，例如可以是网站、电视节目、图文页面、软件界面等静止或动态的画面。
目标群体中的每个人对应一条眼动数据。目标群体中每个人对同一个注视对象的眼动数据可以由眼动仪等设备采集，在记录眼动数据时，眼动仪可以按照预设的采样率(30hz、60hz、120hz等)采集原始眼动数据，包括个体在注视对象上的注视点的坐标信息和注视时长信息，即眼动数据是一组由多个原始注视点形成的轨迹。每个数据点被识别为一个时间标签或坐标形式，得到EDF格式的眼动数据文件，为了便于对眼动数据进行分析，可以对其进行格式转换，得到ASC格式的数据，以便使用文本或Word打开。在本发明的一个实施例中，可以对眼动数据可视化，在空间位置叠加视图、时间图视图、动画回放视图等数据查看模式下，可以指定要显示的眼动事件类型，包括注视、眼跳、眨眼、采样点等，根据每个人对注视对象不同区域的注视时长直接生成注视热图。
随后执行步骤S002：基于眼动数据，生成每个人对注视对象中多个兴趣区的个体注视轨迹。
具体地，步骤S002可以包括：将注视对象划分为多个兴趣区，然后，基于个体在注视对象上的注视时间信息，确定个体的每个注视点对注视对象中多个兴趣区的注视时间顺序和注视时长；最后，基于注视点坐标信息和每个注视点对多个兴趣区的注视时间顺序和注视时长，确定个体注视轨迹。也就是说，个体注视轨迹是从原始眼动数据中选出的具有代表性的注视点形成的轨迹，从而减少了注视点的数量，即减少了数据的处理量，能够提高处理效率。例如，如果检测到一个小于80ms的注视点，则将其合并在一个字符距离内的前面或后面的注视点上。
其中，兴趣区(AOI)可以自动生成，例如，根据注视对象的尺寸进行等分，也可以手动划分，例如，根据注视对象的内容属性，将文字部分划分为一个或多个兴趣区，图像部分划分为一个或多个兴趣区等，对注视对象进行针对性的划分。图2示出了根据本发明一个实施例的注视对象的兴趣区划分示意图。如图2所示，可以将注视对象画面划分为编号为1、2、3、4、5、6的多个兴趣区。兴趣区可以根据实验的研究目的而定，例如实验材料是一张海报，就可以在海报的关键区域如电影名称、上映时间等关键信息的位置画一个圆形或矩形的区域。
每个兴趣区的指标包括注视次数(AOI能否被注意以及何时被注意)、首次注视时间点、平均注视时长(被试者对AOI的感兴趣程度)、总注视时长、注视时长占比等。可以对AOI指标进行分析，对每个兴趣区内的注视点进行筛选，从每个兴趣区的注视点中筛选出有效注视点组，一个有效注视点组中可以包括一个或多个有效注视点。图3示出了根据本发明一个实施例的生成个体注视轨迹的流程示意图。如图3所示，首先可以设兴趣区(AOI)的总数量为n，确定每个兴趣区的注视次数，可以设第一个兴趣区的注视次数为m1，第二个兴趣区的注视次数为m2，以此类推。然后对兴趣区进行二次编号，将兴趣区编号为AOIai(a＝1,2,3，……n,i＝1,2,3,……m(m值视不同兴趣区的注视次数而定))；例如第一个兴趣区编号为AOI11、AOI12、AOI13……AOI1m1，第二个兴趣区编号为AOI21、AOI22、AOI23……AOI2m2，设置a和i的初始值为1。图4示出了根据本发明一个实施例的不同兴趣区对应的注视点示意图。如图4所示，每个兴趣区内的注视点数量可能是不同的，有的兴趣区内注视点多，例如第6兴趣区，有的兴趣区内注视点较少，例如第3兴趣区内，有的兴趣区内没有注视点，例如第7兴趣区。
然后，根据兴趣区内的注视点的注视时间信息确定兴趣区的首个注视点，即注视时间点最早的注视点为每个兴趣区的首个注视点。根据兴趣区内的注视点的注视时间信息确定每个注视点的注视时长。应当理解，每个注视点的注视时长是注视点在该兴趣区所停留的总时长。接着，设置兴趣区AOIai的注视时长阈值为T，对于每一个兴趣区，根据注视时间点从早到晚的顺序依次判断每个注视点对兴趣区的注视时长Tai是否不小于(大于或等于)预设的注视时长阈值T，若是，则将对应的注视点作为该兴趣区的有效注视点组Sai；若否，则继续判断该兴趣区的下一个注视点的注视时长是否不小于预设的注视时长阈值T，使i递增，直到遍历该兴趣区内所有的注视点，最终每个兴趣区对应一个有效注视点组Sai，特别地，如果该兴趣区内没有符合条件的注视点，则删除该兴趣区。按照上述方法对每个兴趣区进行有效注视点组识别，即使a递增，最终得到每个兴趣区对应的有效注视点组。最后，对每个兴趣区对应的有效注视点组按照注视时间点顺序进行排序，得到兴趣区的注视顺序，即得到个人注视轨迹。
图5示出了根据本发明的一个实施例的个体注视轨迹示意图。如图5所示，星型表示一个兴趣区内的有效注视点组，一个有效注视点组中可能包含多个有效注视点，对每个兴趣区对应的有效注视点组按照注视时间点顺序进行排序连线，即得到个人注视轨迹。
应当理解的是，本实施例是采用每个兴趣区的首个眼动注视点作为兴趣区排序的依据，在其他实施例中，也可以采用对兴趣区的总注视时长、对兴趣区的首次注视时长、对兴趣区的注视次数等作为兴趣区的排序依据，在此不做限定。
可以按照图2所示的生成个体注视轨迹的步骤，得到目标群体中每个人对注视对象中多个兴趣区的个体注视轨迹。图6示出了根据本发明的一个实施例的目标群体中多个个体注视轨迹示意图。如图6所示，不同的个体对注视轨迹是不同的，第一个个体注视轨迹为1-2-3-4-5-6，第二个个体注视轨迹为11-22-33-44-55-66，第三个个体注视轨迹为111-222-333-444-555-666。需要说明的是，不同的个体注视轨迹所包含的兴趣区并不是完全相同，也并不一定包含所有兴趣区。也就是说，不同的个体注视轨迹中对兴趣区的注视顺序、注视的兴趣区数量以及兴趣区的选取都可能有所不同。最终得到的个体注视轨迹并不是一串杂乱的注视点，而是基于兴趣区对应的有效注视点组得到的排序，大大减小了数据运算的复杂程度。
上述实施方式中，将注视对象分为多个兴趣区，根据注视兴趣区的先后顺序以及注视兴趣区的拜访时长，筛选出兴趣区中的有效注视点组组，利用筛选出的有效注视点组组中的首个眼动注视点的序号对兴趣区进行排序，将兴趣区的注视顺序作为个体注视轨迹，利用在每个兴趣区中选出有效注视点组的方式，较为准确的反映出每条眼动数据的注视顺序，又能够减少眼动注视点的数量，以减少运算量。
最后执行步骤S003，对多个个体注视轨迹进行相似度拟合，生成群体眼动轨迹。
根据本发明的一个实施例，步骤S003具体可以包括：将每个个体注视轨迹进行两两相似度计算，即计算每个个体注视轨迹与目标群体中其余个体注视轨迹之间的相似度，得到相似度矩阵A＝(arc)M×M,其中：src＝scr，src是第r个个体注视轨迹和第c个个体注视轨迹的相似度值，M是个体注视轨迹的总数量，r＝(1，2，3，......，M)、c＝(1，2，3，......，M)。其中，相似度计算即比较两条轨迹的相似性。相似度的计算方法可采用欧氏距离(Euclidean Distance)、余弦相似度(Cosine Similarity)、马氏距离(MahalanobisDistance)、杰卡德相似系数(Jaccard Similarity)DTW动态时间规划算法中的一种或几种。下表1示出了根据本发明一个实施例的相似度矩阵计算结果：
Figure BDA0003885060710000071
如上表1所示，当r＝c时，arc代表对比的个体注视轨迹与被对比的个体注视轨迹为同一个注视轨迹，此时arc＝1。则根据上述6条个体注视轨迹，此时M＝6，得到相似度矩阵：
Figure BDA0003885060710000072
然后，获取相似度矩阵中相似度值不小于预设相似度阈值的相似度所对应的个体注视轨迹的数量。具体地，可以根据预设的最大相似度阈值T1依次对每条记录r与c得到相似度值arc进行比较，大于或等于最大相似度阈值的则筛选出来。针对每个r，将保留的个数记录为Br。例如，当r＝1时，得到B1，B1＝(1，2，......，x)(x<＝A)表示符合筛选条件的个数。同理可知，B2表示当r＝2时，符合筛选条件的个数。在上图的例子中，如果设置T1＝80％，则B1＝4，B2＝4，B3＝3，B4＝5，B5＝3，B6＝3。
随后，根据相似度值不小于预设相似度阈值的相似度所对应的个体注视轨迹的数量与个体注视轨迹总数量的比值，得到每个个体注视轨迹的一致性占比值。具体地，设每个个体注视轨迹的一致性占比值为Pr，一致性占比值Pr＝大于预设相似度阈值的个体注视轨迹的数量Br/个体注视轨迹的总数量M。当r＝1时，P1＝4/6＝80％。同理可知，P2＝80％，P3＝50％，P4＝83.3％，P5＝50％，P6＝50％。如果不存在高于预设相似度阈值的个体注视轨迹，则可选择重新设置最大相似度阈值T1或者选择放弃拟合。
判断最大的一致性占比值是否大于预设的拟合群体阈值，若否，则重新设置相似度阈值。在一个实施例中，可以对Pr设置拟合群体阈值T2，筛选出超过T2的一致性占比值后，进行下一步操作：对每个个体注视轨迹的一致性占比值进行排序，筛选出最大一致性占比值对应的个体注视轨迹。若最大的一致性占比值低于预设的拟合群体阈值，则说明最大的一致性占比值对应的符合条件的个体注视轨迹不能很好的代表整个目标群体，此时可采用重新设置最大相似度阈值的方式，对个体注视轨迹进行重新筛选。
其中，最大的一致性占比值代表大于预设相似度阈值的个体注视轨迹的数量最多，在目标群体中也就最具有代表性。
通过上述筛选个体注视轨迹的步骤，将得到的个体注视轨迹进行两两相似度对比，筛选出所有个体注视轨迹中大于预设相似度阈值的个体注视轨迹，再通过计算一致性占比值的方式，选出一组最具有代表性的个体注视轨迹。
最后计算最大一致性占比值对应的多个个体注视轨迹在同一兴趣区内有效注视点组的平均值，作为该兴趣区的平均注视点；基于每个兴趣区的平均注视点，得到群体眼动轨迹例如，在表1所示的实施例中，最大的Pr是P4(83.3％)，P4对应的筛选出的记录是记录1、2、3、4、6这五条，则计算这五条记录分别在同一兴趣区内有效注视点组的平均值，作为兴趣区的平均注视点。其中，平均注视点＝最大一致性占比值对应的个体注视轨迹在同一兴趣区内有效注视点组之和/最大一致性占比值对应的个体注视轨迹的数量。例如，
Figure BDA0003885060710000081
其中，AOIa表示第a个兴趣区的平均注视点，a＝(1，2，3，......,n)，Sai为第a个兴趣区内的有效注视点组，z为筛选出的个体注视轨迹的个数。。图7示出了根据本发明一个实施例的计算每个兴趣区平均注视点的示意图。如图7所示，不同个体对兴趣区的注视先后顺序不同，在计算平均注视点时，需要计算同一个兴趣区内有效注视点的平均值，得到每个兴趣区对应的平均注视点。
在本发明的实施例中，最大一致性占比值P4对应为第一条、第二条、第三条、第四条以及第六条个体注视轨迹，计算这五条个体注视轨迹在同一兴趣区内有效注视点组的平均值，作为该兴趣区的平均注视点，最终每一个兴趣区对应一个平均注视点。注视对象中多个兴趣区对应的平均注视点的轨迹则为群体眼动轨迹。
上述实施方式中，获取筛选后的最大一致性占比值对应的多个个体注视轨迹在同一个兴趣区的有效注视点组，计算每个兴趣区内多个有效注视点组的平均值，该平均值即为兴趣区的平均注视点，利用上述方法计算每个兴趣区的平均注视点，对所有的平均注视点按照注视时间顺序进行排序，即得到群体眼动轨迹。图8示出了根据本发明一个实施例的群体眼动轨迹示意图。如图8所示，群体眼动轨迹为每个兴趣区内平均注视点的连接轨迹a-b-c-d-e-f。
作为群体眼动轨迹生成方法的进一步实施方式，还包括：将生成的群体眼动轨迹实时显示在人机界面上。其中，人机界面是用户界面或使用者界面，便于较为直观地观察群体眼动轨迹。
根据本发明提供的一种可视化群体眼动轨迹生成方法，通过获取到的目标群体中每个人的眼动数据，生成每个人对注视对象中多个兴趣区的个体注视轨迹，减小了眼动数据中的原始注视点的数量，减小了后续计算群体眼动轨迹时的运算数量和复杂度，再基于相似度拟合对个体注视轨迹进行筛选，选出具有代表性的个体注视轨迹进行平均，最终生成群体眼动轨迹，并实时显示在人机界面上，从而更加直观地反映群体对注视对象不同兴趣区之间注视顺序的变化，可实现在不同的个体观看同一目标时，从个体眼动轨迹中提取到群体眼动轨迹的效果。
本申请实施例还公开一种群体眼动轨迹生成装置。图9示出了根据本发明一个实施例的群体眼动轨迹生成装置900的结构示意图。如图9所示，该装置900包括：获取模块910、第一生成模块920和第二生成模块930。其中，获取模块910可以获取目标群体中每个人对注视对象的眼动数据；第一生成模块920可以基于所述眼动数据，生成每个人对注视对象中多个兴趣区的个体注视轨迹；第二生成模块930可以对多个所述个体注视轨迹进行相似度拟合，生成群体眼动轨迹。
本申请提供的一种群体眼动轨迹生成装置能够实现上述一种群体眼动轨迹生成方法，且一种眼动注视点轨迹生成装置的具体工作过程可参考上述方法实施例中的对应过程。
需要说明的是，在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
基于同一技术构思，本申请实施例公开一种计算设备。图10示出了根据本发明一个实施例的计算设备100的结构图。如图10所示，在基本配置102中，计算设备100典型地包括存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和存储器106之间的通信。
取决于期望的配置，处理器104可以是任何类型的处理器，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置，存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。计算设备中的物理内存通常指的是易失性存储器RAM，磁盘中的数据需要加载至物理内存中才能够被处理器104读取。存储器106可以包括操作***120、一个或者多个应用122以及程序数据124。在一些实施方式中，应用122可以布置为在操作***上由一个或多个处理器104利用程序数据124执行指令。操作***120例如可以是Linux、Windows等，其包括用于处理基本***服务以及执行依赖于硬件的任务的程序指令。应用122包括用于实现各种用户期望的功能的程序指令，应用122例如可以是浏览器、即时通讯软件、软件开发工具(例如集成开发环境IDE、编译器等)等，但不限于此。当应用122被安装到计算设备100中时，可以向操作***120添加驱动模块。
在计算设备100启动运行时，处理器104会从存储器106中读取操作***120的程序指令并执行。应用122运行在操作***120之上，利用操作***120以及底层硬件提供的接口来实现各种用户期望的功能。当用户启动应用122时，应用122会加载至存储器106中，处理器104从存储器106中读取并执行应用122的程序指令。
计算设备100还包括储存设备132，储存设备132包括可移除储存器136和不可移除储存器138，可移除储存器136和不可移除储存器138均与储存接口总线134连接。
计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信接口164与一个或者多个其他计算设备162通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。在根据本发明的计算设备100中，应用122包括用于执行本发明的群体眼动轨迹生成方法01的指令。
本申请实施例公开一种计算机可读存储介质。
一种计算机可读存储介质，包括存储有能够被处理器加载并执行如上述任一种可视化群体眼动轨迹生成方法的计算机程序。
其中，该计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用；计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
通过上述方案，将获取到的眼动数据生成目标群体中每个人的注视轨迹，再根据注视点对注视对象中多个兴趣区的注视时长对注视点进行筛选得到每个兴趣区对应的有效注视点组组，根据多个个体注视轨迹之间的相似度筛选出最大一致性占比值对应的个体注视轨迹，通过对同一兴趣区内筛选出的有效注视点组组求平均得到每个兴趣区的平均注视点，从而得到群体眼动轨迹。该方案能够直观地反映群体对注视对象不同兴趣区之间注视顺序的变化，可实现在不同的个体观看同一目标时，从个体眼动轨迹中提取到群体眼动轨迹的效果。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外，所述实施例中的一些在此被描述成可以由计算机***的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种群体眼动轨迹生成方法，适于在计算设备中执行，其特征在于，所述方法包括：
获取目标群体中每个人对注视对象的眼动数据；
基于所述眼动数据，生成每个人对注视对象中多个兴趣区的个体注视轨迹；
对多个所述个体注视轨迹进行相似度拟合，生成群体眼动轨迹。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述群体眼动轨迹实时显示在人机界面上。
3.根据权利要求1所述的方法，其特征在于，所述眼动数据包括个体在注视对象上的注视点坐标信息和注视时间信息，所述基于所述眼动数据，生成每个人对注视对象中多个兴趣区的个体注视轨迹的步骤包括：
将所述注视对象划分为多个兴趣区；
基于个体在注视对象上的注视时间信息，确定个体每个注视点对所述多个兴趣区的注视时间顺序和注视时长；
基于注视点坐标信息以及每个注视点对所述多个兴趣区的注视时间顺序和注视时长，确定所述个体注视轨迹。
4.根据权利要求3所述的方法，其特征在于，所述基于注视点坐标信息以及每个注视点对所述多个兴趣区的注视时间顺序和注视时长，确定所述个体注视轨迹的步骤包括：
根据每个注视点对所述多个兴趣区的注视时间顺序，依次判断每个注视点对所述兴趣区的注视时长是否不小于预设的注视时长阈值，若是，则将所述注视点作为所述兴趣区的有效注视点组；
若否，则继续判断下一个注视点的注视时长是否不小于预设的注视时长阈值，直到遍历所有的注视点；
基于有效注视点组的坐标信息，将所述有效注视点组按照注视顺序进行排序，得到所述个体注视轨迹。
5.根据权利要求4所述的方法，其特征在于，所述基于注视点坐标信息以及每个注视点对所述多个兴趣区的注视时间顺序和注视时长，确定所述个体注视轨迹的步骤包括：
如果所述兴趣区内每一个注视点的注视时长都小于预设注视时长，则所述兴趣区没有有效注视点组，剔除所述兴趣区。
6.根据权利要求1所述的方法，其特征在于，所述对多个所述个体注视轨迹进行相似度拟合，生成群体眼动轨迹的步骤包括，
将每个所述个体注视轨迹进行两两相似度计算，得到相似度矩阵A＝(arc)M×M，其中：arc＝acr，arc是第r个个体注视轨迹和第c个个体注视轨迹的相似度值，M是所述个体注视轨迹的总数量；
获取所述相似度矩阵中相似度值不小于预设相似度阈值的相似度所对应的个体注视轨迹的数量；
根据所述相似度值不小于预设相似度阈值的相似度所对应的个体注视轨迹的数量与所述个体注视轨迹总数量的比值，得到每个个体注视轨迹的一致性占比值；
对每个个体注视轨迹的一致性占比值进行排序，得到最大一致性占比值；
判断最大一致性占比值是否大于预设的拟合群体阈值，若否，则重新设置相似度阈值，若是，则筛选出所述最大一致性占比值对应的个体注视轨迹。
7.根据权利要求6所述的方法，其特征在于，所述对多个所述个体注视轨迹进行相似度拟合，生成群体眼动轨迹的步骤还包括：
计算最大一致性占比值对应的多个个体注视轨迹在同一兴趣区内有效注视点组的平均值，作为所述兴趣区的平均注视点；
基于每个兴趣区的平均注视点，得到所述群体眼动轨迹。
8.一种群体眼动轨迹生成装置，其特征在于，所述装置包括：
获取模块，用于获取目标群体中每个人对注视对象的眼动数据；
第一生成模块，用于基于所述眼动数据，生成每个人对注视对象中多个兴趣区的个体注视轨迹；
第二生成模块，用于对多个所述个体注视轨迹进行相似度拟合，生成群体眼动轨迹。
9.一种计算设备，其特征在于：包括存储器、处理器以及储存在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行如权利1-7中任一所述的一种群体眼动轨迹生成方法。
10.一种计算机可读存储介质，其特征在于，包括存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
CN202211240379.4A 2022-10-11 2022-10-11 一种群体眼动轨迹生成方法、装置、计算设备及存储介质 Active CN115686199B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202211240379.4A CN115686199B (zh) 2022-10-11 2022-10-11 一种群体眼动轨迹生成方法、装置、计算设备及存储介质
EP23200820.1A EP4354378A1 (en) 2022-10-11 2023-09-29 Method and apparatus for generating group eye movement trajectory, computing device, and storage medium
US18/374,734 US20240118747A1 (en) 2022-10-11 2023-09-29 Method and apparatus for generating group eye movement trajectory, computing device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211240379.4A CN115686199B (zh) 2022-10-11 2022-10-11 一种群体眼动轨迹生成方法、装置、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN115686199A true CN115686199A (zh) 2023-02-03
CN115686199B CN115686199B (zh) 2023-05-23

Family

ID=85064418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211240379.4A Active CN115686199B (zh) 2022-10-11 2022-10-11 一种群体眼动轨迹生成方法、装置、计算设备及存储介质

Country Status (3)

Country Link
US (1) US20240118747A1 (zh)
EP (1) EP4354378A1 (zh)
CN (1) CN115686199B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116610219A (zh) * 2023-07-21 2023-08-18 广州宏途数字科技有限公司 一种可智能互动阅读方法、装置、计算设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500011A (zh) * 2013-10-08 2014-01-08 百度在线网络技术（北京）有限公司 眼动轨迹规律分析方法和装置
CN109271030A (zh) * 2018-09-25 2019-01-25 华南理工大学 一种三维空间下注视点轨迹多维度比较方法
CN112200269A (zh) * 2020-11-17 2021-01-08 北京津发科技股份有限公司 一种相似度分析方法及***
CN112465070A (zh) * 2020-12-16 2021-03-09 电子科技大学 一种基于语义相似度的轨迹聚类方法
CN113827239A (zh) * 2021-09-18 2021-12-24 中国人民解放军海军特色医学中心 一种采用视觉追踪设备评估飞行员视觉分配的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6712468B1 (en) * 2001-12-12 2004-03-30 Gregory T. Edwards Techniques for facilitating use of eye tracking data
JP6165846B2 (ja) * 2012-05-09 2017-07-19 インテル コーポレイション 目のトラッキングに基づくディスプレイの一部の選択的強調
CN109255342B (zh) * 2018-11-20 2020-07-10 武汉大学 一种基于眼动轨迹数据两步聚类的图像感兴趣区域提取方法和***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500011A (zh) * 2013-10-08 2014-01-08 百度在线网络技术（北京）有限公司 眼动轨迹规律分析方法和装置
CN109271030A (zh) * 2018-09-25 2019-01-25 华南理工大学 一种三维空间下注视点轨迹多维度比较方法
CN112200269A (zh) * 2020-11-17 2021-01-08 北京津发科技股份有限公司 一种相似度分析方法及***
CN112465070A (zh) * 2020-12-16 2021-03-09 电子科技大学 一种基于语义相似度的轨迹聚类方法
CN113827239A (zh) * 2021-09-18 2021-12-24 中国人民解放军海军特色医学中心 一种采用视觉追踪设备评估飞行员视觉分配的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄龙,徐富明,胡笑羽: "眼动轨迹匹配法：一种研究决策过程的新方法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116610219A (zh) * 2023-07-21 2023-08-18 广州宏途数字科技有限公司 一种可智能互动阅读方法、装置、计算设备和存储介质
CN116610219B (zh) * 2023-07-21 2024-01-12 广州宏途数字科技有限公司 一种可智能互动阅读方法、装置、计算设备和存储介质

Also Published As

Publication number Publication date
CN115686199B (zh) 2023-05-23
EP4354378A1 (en) 2024-04-17
US20240118747A1 (en) 2024-04-11

Similar Documents

Publication Publication Date Title
Kim et al. Bubbleview: an interface for crowdsourcing image importance maps and tracking visual attention
Bylinskii et al. Eye fixation metrics for large scale evaluation and comparison of information visualizations
AU2020221884B2 (en) Automatic visual display overlays of contextually related data from multiple applications
Kurzhals et al. Eye tracking evaluation of visual analytics
Chen et al. What may visualization processes optimize?
JP6543986B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10055495B2 (en) Method and system for user initiated query searches based on gaze data
Dong et al. Eye tracking to explore the potential of enhanced imagery basemaps in web mapping
US20150317753A1 (en) Job recommendation engine using a company employee profile
Muhammad et al. Visual saliency models for summarization of diagnostic hysteroscopy videos in healthcare systems
US20180357318A1 (en) System and method for user-oriented topic selection and browsing
Masciocchi et al. Alternatives to eye tracking for predicting stimulus-driven attentional selection within interfaces
Kijmongkolchai et al. Empirically measuring soft knowledge in visualization
Brzinsky-Fay Graphical representation of transitions and sequences
Onișor et al. How advertising avoidance affects visual attention and memory of advertisements
US20240118747A1 (en) Method and apparatus for generating group eye movement trajectory, computing device, and storage medium
Durugbo Eye tracking for work-related visual search: a cognitive task analysis
Wang et al. Effects of mobile news interface design features on users’ gaze behaviours and behavioural performance: evidence from China
US9223854B2 (en) Document relevance determining method and computer program
CN116821475A (zh) 基于客户数据的视频推荐方法、装置及计算机设备
Benaida e-Government Usability Evaluation: A Comparison between Algeria and the UK
Jiang et al. UEyes: An Eye-Tracking Dataset across User Interface Types
JP5832487B2 (ja) 端末装置及びプログラム
KR101976306B1 (ko) 웹 페이지 작성 지원 장치, 및 기억 매체
JP2017151574A (ja) ユーザ情報処理サーバ及びユーザ情報の処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant