CN111813660B - 一种视觉认知搜索模拟方法、电子设备及存储介质 - Google Patents
一种视觉认知搜索模拟方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111813660B CN111813660B CN202010537455.2A CN202010537455A CN111813660B CN 111813660 B CN111813660 B CN 111813660B CN 202010537455 A CN202010537455 A CN 202010537455A CN 111813660 B CN111813660 B CN 111813660B
- Authority
- CN
- China
- Prior art keywords
- utility value
- sub
- search
- interface
- target user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 104
- 230000011218 segmentation Effects 0.000 claims abstract description 96
- 238000000034 method Methods 0.000 claims abstract description 70
- 238000011156 evaluation Methods 0.000 claims abstract description 33
- 238000004088 simulation Methods 0.000 claims abstract description 19
- 230000019771 cognition Effects 0.000 claims abstract description 17
- 238000003860 storage Methods 0.000 claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 230000001149 cognitive effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000004424 eye movement Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 19
- 238000013461 design Methods 0.000 description 16
- 238000012360 testing method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 3
- 238000013210 evaluation model Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004434 saccadic eye movement Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例提供一种视觉认知搜索模拟方法、电子设备及存储介质，该方法包括：获取多个用户分割子元素信息，对所述多个用户分割子元素信息进行界面显著性分析得到目标用户分割子元素信息；根据所述目标用户分割子元素信息进行效用值评估，得到跳转效用值、继续搜索效用值和返回效用值；根据所述跳转效用值、继续搜索效用值和返回效用值确定搜索结果。通过基于显著性与效用值判断的联合视觉搜索方法符合人眼视觉搜索规律，能较好地对眼动搜索行为进行模拟，因此具有很强的可靠性。
Description
技术领域
本发明涉及信息处理技术领域，尤其涉及一种视觉认知搜索模拟方法、电子设备及存储介质。
背景技术
迭代设计和测试是进行人机交互界面设计的基本过程。该过程中，为了优化设计方案，设计人员通常需要开展用户测试。由于受限于项目及操作成本，参与测试的用户通常很少量。在进行当前人交互界面的设计中，该限制更为严重和突出，设计人员无法在开发周期过程中有效的组织***群体进行充足的、有效的测试。但是，人机界面设计的高效与否直接决定了用户进行界面搜索的效率，开展高效的、符合***群体视觉认知特性的人交互界面设计有助于缩短用户的搜索时间，进行更高效的搜索决策，针对用户进行的视觉认知行为建模极为重要。
传统人机交互界面设计的方法，提出的多个界面方案，进行用户迭代测试。其中，依据诸如用户满意度等多项测试评价指标，测试用户需对每个界面方案的测试结果进行评价。评价结果对界面设计过程进行反馈，择优输出其中用户效用最高的界面，在该过程中，可以看到用户测试需要大量人工来完成。测试用户需要对多个界面设计进行有目标的任务实验并且完成测试评价的录入工作。该过程需花费较多的人力物力资源，不利于界面设计快速的产品上线周期，同时该过程评价依赖于测试用户的主观判断，评价结果易受心理偏差的左右，因此评价结果并不准确。
而视觉认知搜索模拟方法能较好的解决这个问题，然而现有技术中的视觉认知搜索模型在测试前往往需要对界面上各个框架部分进行分割，并需要手工标注各视觉对象的基本属性、语义标签以及任务目标。该过程需要投入较多的人工成本，耗时费力，并且当今界面设计中的异性图标存在语义模糊性，因此人工标注存在不准确，不可靠和局限性，同时当前视觉认知模型进行目标匹配所依托的语料库，如LSA、AutoCWW等均是英文语料库，对于非英文的用户界面来说，构建基于语义相似性的视觉认知搜索模型相对困难。
因此如何更好的实现视觉认知搜索模拟已经成为业界亟待解决的问题。
发明内容
本发明实施例提供一种视觉认知搜索模拟方法、电子设备及存储介质，用以解决上述背景技术中提出的技术问题，或至少部分解决上述背景技术中提出的技术问题。
第一方面，本发明实施例提供一种视觉认知搜索模拟方法，包括：
获取多个用户分割子元素信息，对所述多个用户分割子元素信息进行界面显著性分析得到目标用户分割子元素信息；
根据所述目标用户分割子元素信息进行效用值评估，得到跳转效用值、继续搜索效用值和返回效用值；
根据所述跳转效用值、继续搜索效用值和返回效用值确定搜索结果。
更具体的，所述根据所述目标用户分割子元素信息进行效用值评估，得到跳转效用值、继续搜索效用值和返回效用值的步骤，包括:
根据所述目标用户分割子元素信息进行跳转效用值评估，得到跳转效用值；
根据所述目标用户分割子元素信息进行继续搜索效用值评估，得到继续搜索效用值；
根据所述目标用户分割子元素信息进行反馈效用值评估，得到返回效用值。
更具体的，所述根据所述目标用户分割子元素信息进行跳转效用值评估，得到跳转效用值的步骤，具体包括：
对所述目标用户分割子元素信息和当前层级子目标进行视觉相似度估计，得到当前视觉相似度；
获取历史跳转效用值信息，根据所述历史跳转效用值信息和所述当前视觉相似度确定跳转效用值。
更具体的，所述根据所述目标用户分割子元素信息进行继续搜索效用值评估，得到继续搜索效用值的步骤，具体包括：
对所述目标用户分割子元素信息和当前层级子目标进行视觉相似度估计，得到当前视觉相似度；
获取历史视觉相似度数据集，并在当前视觉相似度和历史视觉相似度数据集中选取视觉相似度值最高的作为最优视觉相似度；
获取历史继续搜索效用值，根据所述最优视觉相似度和历史继续搜索效用值确定继续搜索效用值。
更具体的，所述根据所述目标用户分割子元素信息进行反馈效用值评估，得到返回效用值的步骤，具体包括；
根据所述目标用户分割子元素信息确定第一子元素集的平均视觉相似度和第二子元素集的平均视觉相似度；
根据所述第一子元素集的平均视觉相似度和第二子元素集的平均视觉相似度以及预设用户界面返回成本，得到返回效用值；
其中，所述第一子元素集是指前一界面中除目标用户分割子元素之外的搜索过的子元素集；
其中，所述第二子元素集是指前一界面中的目标用户分割子元素和当前界面搜索过的子元素集。
更具体的，所述跟据所述跳转效用值、继续搜索效用值和返回效用值确定搜索结果的步骤，具体包括：
若所述返回效用值小于或等于预设阈值，则继续比较跳转效用值和继续搜索效用值的大小；
若跳转效用值大于继续搜索效用值时，则判定匹配成功，得到搜索结果。
更具体的，所述方法还包括：
若跳转效用值小于或等于继续搜索效用值时，则通过最小认知搜索模型，继续搜索新的目标用户分割子元素，并重新计算新的跳转效用值、新的继续搜索效用值和新的返回效用值，直至新的跳转效用值大于新的继续搜索效用值，判定匹配成功，得到搜索结果。
更具体的，所述方法还包括：
若返回效用值大于预设阈值，则返回当前层级的上一层级界面，通过对上一层级界面进行界面显著性分析得到上一层级目标用户分割子元素信息；
根据所述上一层级目标用户分割子元素信息进行效用值评估，得到上一层级跳转效用值、上一层级继续搜索效用值和上一层级返回效用值；
根据所述上一层级跳转效用值、上一层级继续搜索效用值和上一层级返回效用值确定搜索结果。
第二方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述视觉认知搜索模拟方法的步骤。
第三方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述视觉认知搜索模拟方法的步骤。
本发明实施例提供的一种视觉认知搜索模拟方法、电子设备及存储介质，通过利用图片形式代替语义表征的方法，直接利用图片形式来表征界面上各链接、图标及按键等元素。此方法能够直接利用分割网络得到的界面上各元素图片，而不需要对分割图片进行后续诸如人工标注语义等处理。这有效地提高了元素表征的效率，很好地解决了人工标注语义耗时费力的问题，同时通过利用视觉相似性度量，构建了视觉相似性连续评估模型用以指导视觉搜索匹配过程。因此，该方法不论界面设计中存在何种元素展现形式，均将其视作图像进行处理，不依赖任何语料库，也不因界面元素展现形式类型受到搜索限制，因此具有很强的通用性，同时基于显著性与效用值判断的联合视觉搜索方法符合人眼视觉搜索规律，能较好地对眼动搜索行为进行模拟，因此具有很强的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中所描述的多层界面示意图；
图2为本发明一实施例中所描述的视觉认知搜索模拟方法流程示意图；
图3为本发明一实施例所描述的预设的界面分割模型训练流程图；
图4为本发明一实施例所描述的用户界面设计分割示意图；
图5为本发明一实施例所描述的单层级下的界面搜索目标匹配流程如图；
图6为本发明一实施例所描述的视觉认知搜索模拟装置结构示意图；
图7为本发明一实施例所描述的电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中所描述的视觉认知搜索是用于多层级界面设计下的目标搜索，图1为本发明一实施例中所描述的多层界面示意图，如图1所示，存在多个界面层级，且界面层级之间会存在上下层级关系，并且在多界面通过任务分解时，规定了每个子界面下需要搜索的当前层级子任务。
图2为本发明一实施例中所描述的视觉认知搜索模拟方法流程示意图，如图2所示，包括：
步骤S1，获取多个用户分割子元素信息，对所述多个用户分割子元素信息进行界面显著性分析得到目标用户分割子元素信息；
步骤S2，根据所述目标用户分割子元素信息进行效用值评估，得到跳转效用值、继续搜索效用值和返回效用值；
步骤S3，根据所述跳转效用值、继续搜索效用值和返回效用值确定搜索结果。
具体的，本发明实施例中所描述的多个用户分割子元素信息是将原始用户界面输入预设的界面分割模型后，得到的分割后的多个用户分割子元素信息。
图3为本发明一实施例所描述的预设的界面分割模型训练流程图，如图3所示，界面集合(包括了开始界面及下层级的子界面)，作为界面目标分割的原始数据集，并按照7：3的比例进行训练：测试划分。输入界面的原始图像进入基于深度学习的图像分割网络中训练直至收敛，最终得到针对界面元素的分割界面，图4为本发明一实施例所描述的用户界面设计分割示意图，如图4所示，该分割界面是由输入界面根据界面元素的形状大小而分割出的多个界面子元素。相对于传统的语义表征，本提案中每个分割子元素都以图像形式表征，用以表示该图像上的界面元素。
本发明实施例中所描述的界面显著性分析具体是指，通过对视觉场景中的刺激显著性以“显著图”的方式进行编码，可以有效的表达人类视觉***自下而上的控制策略，在发明实施例中可以是通过视觉显著性提取模型，计算用户界面图显著性向量，获取多个用户分割子元素信息中显著性向量最大的那个子元素，作为目标用户分割子元素。
本发明实施例中所描述的跳转效用值是对当前界面中子元素的寻找并且跳转到一个尚未探索的新界面的操作的价值估计，本发明实施例中所描述的继续搜索效用值是对继续搜索当前界面其他子元素的价值估计，本发明实施例中所描述的返回效用值具体是指停止对当前界面中子元素的寻找并且返回前一层级界面的价值估计。
具体的，本发明实施例总所描述的目标用户分割子元素信息进行效用值评估具体为：
继续搜索效用值为：
其中，参数U′MoveOn表示之前的估计值，VScurre表示目前查看的子元素与层级子目标之间的视觉相似度；n表示当前子元素之前已经搜索过的子元素数量。
跳转效用值为：
其中，参数U′ToNew表示之前计算的更新函数，VSBest是组合中已搜索元素中最高的视觉相似度，n表示当前元素之前已经搜索过的元素数量。
返回效用值具体为：
UReturn＝MVS(a)-MVS(b)-ReturnCost
其中，MVS(x)表示x元素的平均视觉相似度。a表示在前一界面中评估的子元素，不包括前一界面中选择的元素；b表示当前界面中评估的元素，包括前一界面中选择的元素和当前界面中不正确的元素；ReturnCost表示与用户界面交互返回的固定成本。
在根据所述跳转效用值、继续搜索效用值和返回效用值确定搜索结果时，首先判断返回效用值与预设阈值之间的关系，若返回效用值大于预设阈值，则返回当前层级的上一层级界面，重新进行搜索，若所述返回效用值小于或等于预设阈值，则继续比较跳转效用值和继续搜索效用值的大小；
若跳转效用值大于继续搜索效用值时，则判定匹配成功，得到搜索结果。
若跳转效用值小于或等于继续搜索效用值时，则通过最小认知搜索模型，继续搜索新的目标用户分割子元素。
本发明实施例通过利用图片形式代替语义表征的方法，直接利用图片形式来表征界面上各链接、图标及按键等元素。此方法能够直接利用分割网络得到的界面上各元素图片，而不需要对分割图片进行后续诸如人工标注语义等处理。这有效地提高了元素表征的效率，很好地解决了人工标注语义耗时费力的问题，同时通过利用视觉相似性度量，构建了视觉相似性连续评估模型用以指导视觉搜索匹配过程。因此，该方法不论界面设计中存在何种元素展现形式，均将其视作图像进行处理，不依赖任何语料库，也不因界面元素展现形式类型受到搜索限制，因此具有很强的通用性，同时基于显著性与效用值判断的联合视觉搜索方法符合人眼视觉搜索规律，能较好地对眼动搜索行为进行模拟，因此具有很强的可靠性。
在上述实施例的基础上，所述根据所述目标用户分割子元素信息进行效用值评估，得到跳转效用值、继续搜索效用值和返回效用值的步骤，包括:
根据所述目标用户分割子元素信息进行跳转效用值评估，得到跳转效用值；
根据所述目标用户分割子元素信息进行继续搜索效用值评估，得到继续搜索效用值；
根据所述目标用户分割子元素信息进行反馈效用值评估，得到返回效用值。
所述根据所述目标用户分割子元素信息进行跳转效用值评估，得到跳转效用值的步骤，具体包括：
对所述目标用户分割子元素信息和当前层级子目标进行视觉相似度估计，得到当前视觉相似度；
获取历史视觉相似度数据集，并在当前视觉相似度和历史视觉相似度数据集中选取视觉相似度值最高的作为最优视觉相似度；
获取历史继续搜索效用值，根据所述最优视觉相似度和历史继续搜索效用值确定跳转效用值。
具体的，本发明实施例中所描述的视觉相似度估计具体是指：
VisualSimilar＝VS(goal,target)
其中，target是指目标用户分割子元素信息，goal是指当前层级的预设子目标。本发明实施例通过来比较层级子任务(goal)和界面分割子元素(target)之间的视觉相似度，用于目标匹配。
本发明实施例中所描述的历史视觉相似度数据集是指组合中已搜索元素中所有元素的视觉相似度。
获取历史继续搜索效用值，根据所述最优视觉相似度和历史继续搜索效用值确定跳转效用值具体为：
其中，参数U′ToNew表示之前计算的更新函数，VSBest是组合中已搜索元素中最高的视觉相似度，n表示当前元素之前已经搜索过的元素数量。
在上述实施例的基础上，所述根据所述目标用户分割子元素信息进行继续搜索效用值评估，得到继续搜索效用值的步骤，具体包括：
对所述目标用户分割子元素信息和当前层级子目标进行视觉相似度估计，得到当前视觉相似度；
获取历史跳转效用值信息，根据所述历史跳转效用值信息和所述当前视觉相似度确定继续搜索效用值。
具体的，本发明实施例中所描述的历史跳转效用值信息是指之前搜索不同子元素过程中计算得到的历史跳转效用值。
根据所述历史跳转效用值信息和所述当前视觉相似度确定继续搜索效用值具体为：
继续搜索效用值为：
其中，参数U′MoveOn表示之前的估计值，VScurrent表示目前查看的子元素与层级子目标之间的视觉相似度；n表示当前子元素之前已经搜索过的子元素数量。
在上述实施例的基础上，所述根据所述目标用户分割子元素信息进行反馈效用值评估，得到返回效用值的步骤，具体包括；
根据所述目标用户分割子元素信息确定第一子元素集的平均视觉相似度和第二子元素集的平均视觉相似度；
根据所述第一子元素集的平均视觉相似度和第二子元素集的平均视觉相似度以及预设用户界面返回成本，得到返回效用值；
其中，所述第一子元素集是指前一界面中除目标用户分割子元素之外的搜索过的子元素集；
其中，所述第二子元素集是指前一界面中的目标用户分割子元素和当前界面搜索过的子元素集。
具体的，本发明实施例中所描述的平均视觉相似度是指各个元素相似度的平均值。
具体的：
UReturn＝MVS(a)-MVS(b)-ReturnCost
其中，MVS(x)表示x元素的平均视觉相似度。a表示在前一界面中评估的子元素，不包括前一界面中选择的元素；b表示当前界面中评估的元素，包括前一界面中选择的元素和当前界面中不正确的元素；ReturnCost表示与用户界面交互返回的固定成本。
其中，本发明实施例中目标用户分割子元素信息的前一界面中除目标用户分割子元素之外的搜索过的子元素集是指在前一界面中评估的子元素，不包括前一界面中选择的元素。
例如，前一界面中包括“此电脑”、“浏览器”、“office”“回收站”，而搜索过的子元素只包括“浏览器”“office”和“此电脑”，且当前界面为“此电脑”的子界面，包括C盘、D盘、E盘和F盘，则此时第一子元素集为“浏览器”和“office”。
第二子元素集是指目标用户分割子元素信息的前一界面中的目标用户分割子元素和当前界面中除目标用户分割子元素之外的搜索过的子元素集具体是指，当前界面中评估的元素，包括前一界面中选择的元素和当前界面中搜索过的的元素。
例如，前一界面中包括“此电脑”、“浏览器”、“office”、“回收站”，当前界面为“此电脑”的子界面，包括C盘、D盘、E盘和F盘，而其中当前界面已搜索过的子元素包括了C盘、D盘，没有搜索过E盘和F盘，那么此时第二子元素集包括此电脑、C盘和D盘。
本发明实施例中所描述的用户界面交互返回的固定成本可以根据历史数据计算得到，其具体算法有多种，本发明实施例对此并不做出限定。
在上述实施例的基础上，所述跟据所述跳转效用值、继续搜索效用值和返回效用值确定搜索结果的步骤，具体包括：
若所述返回效用值小于或等于预设阈值，则继续比较跳转效用值和继续搜索效用值的大小；
若跳转效用值大于继续搜索效用值时，则判定匹配成功，得到搜索结果。
具体的，UReturn是模型停止对当前界面中子元素的寻找并且返回前一层级界面的价值，若估计第一项MVS(a)表示模型发现在前一层级界面上未被探索的子元素的价值，如果此项很大，模型大概率会返回。第二项MVS(b)表示模型对当前层级界面是否在其层级子目标的正确路径上的置信度，如果此项很大，那么模型可能会继续探索当前界面。
本发明实施例中所描述的预设阈值可以根据历史数据预先计算得到。
在上述实施例的基础上，若所述返回效用值小于或等于预设阈值，则继续比较跳转效用值和继续搜索效用值的大小，当UMoveOn>UToNew，模型将继续寻找未搜索的子元素，但是当UToNew>UMoveon时，模型将停止寻找，并选择点击或关注到目前为止看到的最佳子元素，判定匹配成功，得到搜索结果。
若跳转效用值小于或等于继续搜索效用值时，则通过最小认知搜索模型，继续搜索新的目标用户分割子元素，并重新计算新的跳转效用值、新的继续搜索效用值和新的返回效用值，直至新的跳转效用值大于新的继续搜索效用值，判定匹配成功，得到搜索结果。
具体的，本发明实施例中所描述的最小认知模型搜索仍在本界面中进行搜索。
本发明实施例中所描述的最小认知搜索模型包括三部分：
第一，眼动倾向于移动至当前注视点的临近目标：
视觉搜索的本质即决策所要注视的目标。虽然随机搜索策略在平均布局搜索时间上有着很好的效果，但是这种决策方式与人的搜索方式并不完全相同。相反，人倾向于对当前目标周围的目标执行眼动过程，而非根据布局进行随机搜索。眼睛跳视的终点往往存在于注视点周围的区域。
第二，注视目标并非总是会发生：
虽然上一部分中将眼睛移动到附近的模型解释了观测到的路径，但是仍然需要进一步的改进来解释每次实验中观测到的注视点数量。
对眼动数据的研究表明，被试者有时已经注视到了正确目标或者其周围，但是仍然选择继续搜索，这一结果表明被试者有时无法正确搜索到目标。根据这一结果，最小视觉搜索模型提出文本重编码错误率这一概念，这一参数表示目标对应的文本有多大的概率不被编码。文本重编码错误率被引入最小视觉搜索模型主要有两个原因：一是因为这一参数可以有效地探索被试者偶尔错过目标的情况；二是因为这一参数帮助最小视觉搜索模型得到了与之前模型相似的结果，因此可以在之后的建模中起到更多的作用。
第三，眼动开始时间是确定的：
最小视觉搜索模型不仅探索眼动如何发生，也探索了眼动何时发生。对于这方面的研究已经有很多方法被提出。这其中涉及到的两个理论主要是(a)预编码，这一阶段注视间隔直接被搜索策略所控制；(b)过程监控，这一阶段注视间隔由感受注视刺激的时间所决定。最小视觉搜索模型利用过程监控这一策略，要求使用更少的产生式规则和参数，而非要求预编码策略。在模型中，当视网膜中央凹中的目标被识别时，眼睛跳视被初始化。一旦眼睛到达目标点，过程监控策略便开始等待，直到注视目标的文本属性可用。在等待过程中，过程监控策略开始决策眼睛下一次的目标点。
图5为本发明一实施例所描述的单层级下的界面搜索目标匹配流程如图，如图5所示，该层级界面下的分割界面作为输入，模型遵守视觉搜索规则在界面上进行搜索路由，当路由至界面上某一子元素时，视觉搜索匹配模型计算当前元素和层级子目标之间的视觉相似度，并且调用视觉连续评估公式计算每一种决策的效用值，根据效用值UMoveOn、UToNew以及UReturn来决定下一步执行的动作，如继续在当前界面上寻找其他子元素(返回路由模块)；停止搜索选择当前界面上相似度最高元素(匹配成功)；当前界面上找不到匹配目标，停止当前界面的搜索回到上一层级(回到上一层级)。
多层级界面则通过任务分解，规定了每个子界面下需要搜索的层级子任务。
在上述实施例的基础上，本发明实施例提供一种视觉认识搜索模拟方法，具体的，首先，获取多层级界面信息，通过目标分解方法，对总任务目标进行分解，表示为多个层级下的分步子目标，逐级搜索，获取当前层级下的用户界面输入预设的界面分割模型后，得到的分割后的多个用户分割子元素信息，然后对所述多个用户分割子元素信息进行界面显著性分析得到目标用户分割子元素信息，在完成显著性驱动的视觉搜索后，开始进行目标导向驱动的视觉搜索，即根据所述目标用户分割子元素信息进行效用值评估，若所述返回效用值小于或等于预设阈值且跳转效用值小于或等于继续搜索效用值时，则需要在当前界面继续进行搜索，而此时则通过最小认知搜索模型，继续搜索新的目标用户分割子元素，重新进行效用值评估。
若所述返回效用值小于或等于预设阈值且跳转效用值大于继续搜索效用值时，则判定匹配成功，结束搜索。
若返回效用值大于预设阈值，则返回当前层级的上一层级界面，重新对上一次界面进行显著性分析，并重新进行匹配。图6为本发明一实施例所描述的视觉认知搜索模拟装置结构示意图，如图6所示，包括：分割模块610、评估模块620和搜索模块630；其中，分割模块610用于获取多个用户分割子元素信息，对所述多个用户分割子元素信息进行界面显著性分析得到目标用户分割子元素信息；其中，评估模块620用于根据所述目标用户分割子元素信息进行效用值评估，得到跳转效用值、继续搜索效用值和返回效用值；其中，搜索模块630用于根据所述跳转效用值、继续搜索效用值和返回效用值确定搜索结果。
本发明实施例提供的装置是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
本发明实施例通过利用图片形式代替语义表征的方法，直接利用图片形式来表征界面上各链接、图标及按键等元素。此方法能够直接利用分割网络得到的界面上各元素图片，而不需要对分割图片进行后续诸如人工标注语义等处理。这有效地提高了元素表征的效率，很好地解决了人工标注语义耗时费力的问题，同时通过利用视觉相似性度量，构建了视觉相似性连续评估模型用以指导视觉搜索匹配过程。因此，该方法不论界面设计中存在何种元素展现形式，均将其视作图像进行处理，不依赖任何语料库，也不因界面元素展现形式类型受到搜索限制，因此具有很强的通用性，同时基于显著性与效用值判断的联合视觉搜索方法符合人眼视觉搜索规律，能较好地对眼动搜索行为进行模拟，因此具有很强的可靠性。
图7为本发明一实施例所描述的电子设备结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行如下方法：获取多个用户分割子元素信息，对所述多个用户分割子元素信息进行界面显著性分析得到目标用户分割子元素信息；根据所述目标用户分割子元素信息进行效用值评估，得到跳转效用值、继续搜索效用值和返回效用值；根据所述跳转效用值、继续搜索效用值和返回效用值确定搜索结果。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取多个用户分割子元素信息，对所述多个用户分割子元素信息进行界面显著性分析得到目标用户分割子元素信息；根据所述目标用户分割子元素信息进行效用值评估，得到跳转效用值、继续搜索效用值和返回效用值；根据所述跳转效用值、继续搜索效用值和返回效用值确定搜索结果。
本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：获取多个用户分割子元素信息，对所述多个用户分割子元素信息进行界面显著性分析得到目标用户分割子元素信息；根据所述目标用户分割子元素信息进行效用值评估，得到跳转效用值、继续搜索效用值和返回效用值；根据所述跳转效用值、继续搜索效用值和返回效用值确定搜索结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种视觉认知搜索模拟方法，其特征在于，包括：
获取多个用户分割子元素信息，对所述多个用户分割子元素信息进行界面显著性分析得到目标用户分割子元素信息；
根据所述目标用户分割子元素信息进行效用值评估，得到跳转效用值、继续搜索效用值和返回效用值；
根据所述跳转效用值、继续搜索效用值和返回效用值确定搜索结果；
其中，
所述根据所述目标用户分割子元素信息进行效用值评估，得到跳转效用值、继续搜索效用值和返回效用值的步骤，包括:
根据所述目标用户分割子元素信息进行跳转效用值评估，得到跳转效用值；
根据所述目标用户分割子元素信息进行继续搜索效用值评估，得到继续搜索效用值；
根据所述目标用户分割子元素信息进行反馈效用值评估，得到返回效用值；
进一步的，所述根据所述目标用户分割子元素信息进行跳转效用值评估，得到跳转效用值的步骤，具体包括：
对所述目标用户分割子元素信息和当前层级子目标进行视觉相似度估计，得到当前视觉相似度；
获取历史视觉相似度数据集，并在当前视觉相似度和历史视觉相似度数据集中选取视觉相似度值最高的作为最优视觉相似度；
获取历史继续搜索效用值，根据所述最优视觉相似度和历史继续搜索效用值确定跳转效用值。
2.根据权利要求1所述视觉认知搜索模拟方法，其特征在于，所述根据所述目标用户分割子元素信息进行继续搜索效用值评估，得到继续搜索效用值的步骤，具体包括：
对所述目标用户分割子元素信息和当前层级子目标进行视觉相似度估计，得到当前视觉相似度；
获取历史跳转效用值信息，根据所述历史跳转效用值信息和所述当前视觉相似度确定继续搜索效用值。
3.根据权利要求1所述视觉认知搜索模拟方法，其特征在于，所述根据所述目标用户分割子元素信息进行反馈效用值评估，得到返回效用值的步骤，具体包括；
根据所述目标用户分割子元素信息确定第一子元素集的平均视觉相似度和第二子元素集的平均视觉相似度；
根据所述第一子元素集的平均视觉相似度和第二子元素集的平均视觉相似度以及预设用户界面返回成本，得到返回效用值；
其中，所述第一子元素集是指前一界面中除目标用户分割子元素之外的搜索过的子元素集；
其中，所述第二子元素集是指前一界面中的目标用户分割子元素和当前界面搜索过的子元素集。
4.根据权利要求1所述视觉认知搜索模拟方法，其特征在于，所述根据所述跳转效用值、继续搜索效用值和返回效用值确定搜索结果的步骤，具体包括：
若所述返回效用值小于或等于预设阈值，则继续比较跳转效用值和继续搜索效用值的大小；
若跳转效用值大于继续搜索效用值时，则判定匹配成功，得到搜索结果。
5.根据权利要求4所述视觉认知搜索模拟方法，其特征在于，所述方法还包括：
若跳转效用值小于或等于继续搜索效用值时，则通过最小认知搜索模型，继续搜索新的目标用户分割子元素，并重新计算新的跳转效用值、新的继续搜索效用值和新的返回效用值，直至新的跳转效用值大于新的继续搜索效用值，判定匹配成功，得到搜索结果。
6.根据权利要求4所述视觉认知搜索模拟方法，其特征在于，所述方法还包括：
若返回效用值大于预设阈值，则返回当前层级的上一层级界面，通过对上一层级界面进行界面显著性分析得到上一层级目标用户分割子元素信息；
根据所述上一层级目标用户分割子元素信息进行效用值评估，得到上一层级跳转效用值、上一层级继续搜索效用值和上一层级返回效用值；
根据所述上一层级跳转效用值、上一层级继续搜索效用值和上一层级返回效用值确定搜索结果。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述视觉认知搜索模拟方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述视觉认知搜索模拟方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010537455.2A CN111813660B (zh) | 2020-06-12 | 2020-06-12 | 一种视觉认知搜索模拟方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010537455.2A CN111813660B (zh) | 2020-06-12 | 2020-06-12 | 一种视觉认知搜索模拟方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111813660A CN111813660A (zh) | 2020-10-23 |
| CN111813660B true CN111813660B (zh) | 2021-10-12 |
Family
ID=72845046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010537455.2A Active CN111813660B (zh) | 2020-06-12 | 2020-06-12 | 一种视觉认知搜索模拟方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111813660B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1637738A (zh) * | 2003-07-11 | 2005-07-13 | 国际商业机器公司 | 自治计算***的动态在线多参数优化***和方法 |
| CN102822817A (zh) * | 2009-12-02 | 2012-12-12 | 谷歌公司 | 用于视觉查询的可采取动作的搜索结果 |
| CN103562911A (zh) * | 2011-05-17 | 2014-02-05 | 微软公司 | 基于姿势的视觉搜索 |
| CN106296695A (zh) * | 2016-08-12 | 2017-01-04 | 西安理工大学 | 基于显著性的自适应阈值自然目标图像分割抽取算法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9075825B2 (en) * | 2011-09-26 | 2015-07-07 | The University Of Kansas | System and methods of integrating visual features with textual features for image searching |
| CN103984738B (zh) * | 2014-05-22 | 2017-05-24 | 中国科学院自动化研究所 | 一种基于搜索匹配的角色标注方法 |
| US10860638B2 (en) * | 2016-04-07 | 2020-12-08 | Uday Gorrepati | System and method for interactive searching of transcripts and associated audio/visual/textual/other data files |
| CN110298341B (zh) * | 2019-06-12 | 2023-09-19 | 上海大学 | 一种基于方向选择性的增强图像显著性预测方法 |
| CN111242941B (zh) * | 2020-01-20 | 2023-05-30 | 南方科技大学 | 基于视觉注意的显著区域检测方法及装置 |
-
2020
- 2020-06-12 CN CN202010537455.2A patent/CN111813660B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1637738A (zh) * | 2003-07-11 | 2005-07-13 | 国际商业机器公司 | 自治计算***的动态在线多参数优化***和方法 |
| CN102822817A (zh) * | 2009-12-02 | 2012-12-12 | 谷歌公司 | 用于视觉查询的可采取动作的搜索结果 |
| CN103562911A (zh) * | 2011-05-17 | 2014-02-05 | 微软公司 | 基于姿势的视觉搜索 |
| CN106296695A (zh) * | 2016-08-12 | 2017-01-04 | 西安理工大学 | 基于显著性的自适应阈值自然目标图像分割抽取算法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于图片显著性的安检视觉搜索研究;刘西 等;《重庆理工大学学报(自然科学)》;20190531;第33卷(第5期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111813660A (zh) | 2020-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109165249B (zh) | 数据处理模型构建方法、装置、服务器和用户端 | |
| CN111444320B (zh) | 文本检索方法、装置、计算机设备和存储介质 | |
| US10936821B2 (en) | Testing and training a question-answering system | |
| US9355095B2 (en) | Click noise characterization model | |
| CN107463701B (zh) | 基于人工智能推送信息流的方法和装置 | |
| CN108647205A (zh) | 细粒度情感分析模型构建方法、设备及可读存储介质 | |
| US20220253477A1 (en) | Knowledge-derived search suggestion | |
| Rieser et al. | Optimising information presentation for spoken dialogue systems | |
| US20230350651A1 (en) | Creating user interface using machine learning | |
| CN112966081B (zh) | 处理问答信息的方法、装置、设备和存储介质 | |
| CN109271520A (zh) | 数据提取方法、数据提取装置、存储介质和电子设备 | |
| CN110008396A (zh) | 对象信息推送方法、装置、设备及计算机可读存储介质 | |
| CN116881441A (zh) | 提升用户对话理解和ChatGPT回答质量的可视分析方法和*** | |
| CN111813660B (zh) | 一种视觉认知搜索模拟方法、电子设备及存储介质 | |
| CN111813470B (zh) | 一种初始交互界面优化方法及装置 | |
| Mwamikazi et al. | An adaptive questionnaire for automatic identification of learning styles | |
| Parker et al. | Named entity recognition through deep representation learning and weak supervision | |
| US11062085B2 (en) | Goal-driven authoring assistance using causal stylistic prescriptions | |
| CN113032676A (zh) | 基于微反馈的推荐方法和*** | |
| Guo et al. | Pptc benchmark: Evaluating large language models for powerpoint task completion | |
| Li et al. | Self-supervised bot play for conversational recommendation with justifications | |
| CN109033078B (zh) | 语句类别识别方法及装置、存储介质、处理器 | |
| CN112989174A (zh) | 信息推荐方法及装置、介质和设备 | |
| US20230037894A1 (en) | Automated learning based executable chatbot | |
| CN110020147A (zh) | 模型生成、评论识别的方法、***、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |