CN106156063B - 用于图片对象搜索结果排序的相关方法及装置 - Google Patents

用于图片对象搜索结果排序的相关方法及装置 Download PDF

Info

Publication number
CN106156063B
CN106156063B CN201510144467.8A CN201510144467A CN106156063B CN 106156063 B CN106156063 B CN 106156063B CN 201510144467 A CN201510144467 A CN 201510144467A CN 106156063 B CN106156063 B CN 106156063B
Authority
CN
China
Prior art keywords
object picture
user
visual signature
picture
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510144467.8A
Other languages
English (en)
Other versions
CN106156063A (zh
Inventor
黄恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510144467.8A priority Critical patent/CN106156063B/zh
Priority to PCT/CN2016/076951 priority patent/WO2016155537A1/zh
Publication of CN106156063A publication Critical patent/CN106156063A/zh
Application granted granted Critical
Publication of CN106156063B publication Critical patent/CN106156063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了用于图片对象搜索结果排序的相关方法及装置,其中用于图片对象搜索结果排序的方法包括:响应于接收到用户的搜索请求,获取与所述搜索请求匹配的图片对象;提取所获取的图片对象的视觉特征;基于用户对所述视觉特征的偏好分数,获得用户对所获取的图片对象的综合偏好分数;按照用户对所获取的图片对象的综合偏好分数为所述图片对象排序。本发明实现了能使对图片对象的搜索结果排序更能准确贴近用户兴趣。

Description

用于图片对象搜索结果排序的相关方法及装置
技术领域
本发明涉及互联网技术领域,尤其涉及一种用于图片对象搜索结果排序的相关方法及装置。
背景技术
随着互联网技术的发展,互联网上的信息量也在与日俱增,用户在通过搜索引擎搜索需要的信息时,往往由于用户输入的搜索关键词无法准确描述所需要的信息或与用户搜索关键词匹配的信息数量众多等原因,导致搜索引擎返回大量相关的信息作为搜索结果,该搜索结果所包含的信息数量越多,那么用户在搜索结果中挑选自己需要的信息的难度将越大。
为解决上述问题,部分搜索引擎提供了基于用户兴趣排序搜索结果的方案,具体为:基于用户搜索结果的文本特征进行聚类,从而确定用户感兴趣的信息,当该用户后续在该搜索引擎进行搜索时基于用户感兴趣的信息对搜索结果进行排序。其中,若一个搜索结果的文本特征内容较多,则需要进行信息抽取操作,由于在信息抽取时很难量化,并且如果文本特征不是规则的表格类型,很难提取其中的特征;同时由于不同搜索结果中针对同一属性可能采用不同的文本描述方式,例如,产品的属性蚕丝和真丝,实际是同一个属性,因此,需要对搜索结果进行归一化处理,如果归一化处理不准确,则无法将该两个相同的属性识别到同一个兴趣点上;另外,由于同一关键词在不同分类下代表的含义不同,例如,针对关键词苹果,在水果、电影、3C等不同分类下所代表的含义是不同的,因此还需要根据上下文信息计算其语意场景对该关键词进行消歧,若无法获取上下文信息,则消歧结果将受影响,那么依据消歧后的关键词进行搜索得到的搜索结果将包含大量与用户的真正需求不符的信息,则基于该信息进行聚类,将较难准确表达用户的真正兴趣点。
可见,基于文本特征确定用户感兴趣的信息需要对文本特征进行信息抽取、归一化及消岐等复杂的技术处理,不但较难提取属性信息(即提取效率低),而且依据基于文本特征所提取的属性信息进行用户兴趣分析的准确性较低,较难准确表达用户的真正兴趣点,以此为基础对搜索结果进行排序后,用户同样较难找到真正需要的信息。
发明内容
本发明解决的技术问题之一是提供用于图片对象搜索结果排序的相关方法及装置,其能使对图片对象的搜索结果排序更能准确贴近用户兴趣。
根据本发明一方面的一个实施例,提供了一种用于辅助图片对象搜索结果排序的方法,包括:
获取设定时间范围内用户行为记录涉及的图片对象;
提取所获取的图片对象的视觉特征;
确定所获取的图片对象中具有同一视觉特征的图片对象的数目;
基于具有同一视觉特征的图片对象的数目,确定用户对所述视觉特征的偏好分数,用于图片对象搜索结果排序。
可选地,所述视觉特征包括以下至少一项:
图片对象明度、图片对象饱和度、图片对象锐度、图片对象对比度、图片对象艳丽度、图片对象是否拼图、图片对象主体区域所占比率、图片对象主体颜色深浅、图片对象主体配色方案。
可选地,基于具有同一视觉特征的图片对象的数目,确定用户对所述视觉特征的偏好分数包括:
基于具有同一视觉特征的图片对象的数目与校正值确定所述视觉特征的基础得分,其中校正值表示具有该视觉特征的图片对象在图片对象库中的比率;
依据所述视觉特征的基础得分确定用户对所述视觉特征的偏好分数。
可选地,所述行为记录包括选择。
可选地,所述行为记录包括:浏览和选择,则基于具有同一视觉特征的图片对象的数目确定用户对所述视觉特征的偏好分数包括:
基于具有同一视觉特征的图片对象的数目与相应加权因子确定所述视觉特征的基础得分,其中加权因子是根据行为记录是浏览还是选择来确定的;
依据所述视觉特征的基础得分确定用户对所述视觉特征的偏好分数。
可选地,所述视觉特征由精确视觉特征值表征。
可选地,所述视觉特征由精确视觉特征值或层级视觉特征值表征,其中在视觉特征由层级视觉特征值标准的情况下,提取所获取的图片对象的视觉特征包括:
提取所获取的图片对象的视觉特征的精确视觉特征值;
确定所述精确视觉特征值所属的层级视觉特征值,作为所获取的图片对象的视觉特征。
根据本发明另一方面的一个实施例,提供了一种用于图片对象搜索结果排序的方法,包括:
响应于接收到用户的搜索请求,获取与所述搜索请求匹配的图片对象;
提取所获取的图片对象的视觉特征;
基于用户对所述视觉特征的偏好分数获得用户对所获取的图片对象的综合偏好分数,其中,用户对所述视觉特征的偏好分数是依据上述的用于辅助图片对象的搜索结果排序的方法确定的;
按照用户对所获取的图片对象的综合偏好分数为所述图片对象排序。
可选地,所述视觉特征包括以下至少一项:
图片对象明度、图片对象饱和度、图片对象锐度、图片对象对比度、图片对象艳丽度、图片对象是否拼图、图片对象主体区域所占比率、图片对象主体颜色深浅、图片对象主体配色方案。
可选地,基于用户对所述视觉特征的偏好分数获得用户对所获取的图片对象的综合偏好分数包括:
将用户对所述视觉特征的偏好分数之和作为用户对所获取的图片对象的综合偏好分数。
可选地,获取与所述搜索请求匹配的图片对象还包括:获取与所述搜索请求匹配的图片对象的原始排序分值,则基于用户对所述视觉特征的偏好分数获得用户对所获取的图片对象的综合偏好分数包括:
将用户对所述视觉特征的偏好分数之和加上获取的所述图片对象的原始排序分值,作为用户对所获取的图片对象的综合偏好分数;或
将用户对所述视觉特征的偏好分数之和与预定调整值的乘积加上获取的所述图片对象的原始排序分值后得到的和值作为用户对所获取的图片对象的综合偏好分数。
可选地,按照用户对所获取的图片对象的综合偏好分数为所述图片对象排序包括:
按照用户对所获取的图片对象的综合偏好分数从高到低的顺序为所述图片对象排序。
根据本发明又一方面的一个实施例,提供了一种用于辅助图片对象搜索结果排序的装置,包括:
获取单元,用于获取设定时间范围内用户行为记录涉及的图片对象;
提取单元,用于提取所获取的图片对象的视觉特征;
数目确定单元,用于确定所获取的图片对象中具有同一视觉特征的图片对象的数目;
偏好分数确定单元,用于基于具有同一视觉特征的图片对象的数目,确定用户对所述视觉特征的偏好分数,用于图片对象搜索结果排序。
可选地,所述视觉特征包括以下至少一项:
图片对象明度、图片对象饱和度、图片对象锐度、图片对象对比度、图片对象艳丽度、图片对象是否拼图、图片对象主体区域所占比率、图片对象主体颜色深浅、图片对象主体配色方案。
可选地,偏好分数确定单元包括:
第一基础得分确定子单元,用于基于具有同一视觉特征的图片对象的数目与校正值确定所述视觉特征的基础得分,其中校正值表示具有该视觉特征的图片对象在图片对象库中的比率;
第一偏好分数确定子单元,用于依据所述视觉特征的基础得分确定用户对所述视觉特征的偏好分数。
可选地,所述行为记录包括选择。
可选地,所述行为记录包括:浏览和选择,偏好分数确定单元包括:
第二基础得分确定子单元,用于基于具有同一视觉特征的图片对象的数目与相应加权因子确定所述视觉特征的基础得分,其中加权因子是根据行为记录是浏览还是选择来确定的;
第二偏好分数确定子单元,用于依据所述视觉特征的基础得分确定用户对所述视觉特征的偏好分数。
可选地,所述视觉特征由精确视觉特征值表征。
可选地,所述视觉特征由精确视觉特征值或层级视觉特征值表征,其中在视觉特征由层级视觉特征值表征的情况下,提取单元包括:
提取子单元,用于提取所获取的图片对象的视觉特征的精确视觉特征值;
层级划分子单元,用于确定所述精确视觉特征值所属的层级视觉特征值,作为所获取的图片对象的视觉特征。
根据本发明再一方面的一个实施例,提供了一种用于图片对象搜索结果排序的装置,包括:
图片对象获取单元,用于响应于接收到用户的搜索请求,获取与所述搜索请求匹配的图片对象;
视觉特征提取单元,用于提取所获取的图片对象的视觉特征;
综合偏好分数获得单元,用于基于用户对所述视觉特征的偏好分数获得用户对所获取的图片对象的综合偏好分数,其中,用户对所述视觉特征的偏好分数是由上面所述的用于辅助图片对象的搜索结果排序的装置确定的;
排序单元,用于按照用户对所获取的图片对象的综合偏好分数为所述图片对象排序。
可选地,所述视觉特征包括以下至少一项:
图片对象明度、图片对象饱和度、图片对象锐度、图片对象对比度、图片对象艳丽度、图片对象是否拼图、图片对象主体区域所占比率、图片对象主体颜色深浅、图片对象主体配色方案。
可选地,综合偏好分数获得单元用于:
将用户对所述视觉特征的偏好分数之和作为用户对所获取的图片对象的综合偏好分数。
可选地,图片对象获取单元还用于:获取与所述搜索请求匹配的图片对象的原始排序分值,则所述综合偏好分数获得单元用于:
将用户对所述视觉特征的偏好分数之和加上获取的所述图片对象的原始排序分值,作为用户对所获取的图片对象的综合偏好分数;或
将用户对所述视觉特征的偏好分数之和与预定调整值的乘积加上获取的所述图片对象的原始排序分值后得到的和值作为用户对所获取的图片对象的综合偏好分数
可选地,排序单元用于:
按照用户对所获取的图片对象的综合偏好分数从高到低的顺序为所述图片对象排序。
本申请实施例基于用户行为记录涉及的图片对象中具有同一视觉特征的图片对象的数目,确定出的用户对该视觉特征的偏好,利用这种偏好对图片对象的搜索结果进行排序,就能够使对图片对象的搜索结果排序更能准确贴近用户兴趣。
由于图片对象比文字描述可以更直观地表达对象的特性,因此基于该图片对象的视觉特征确定的用户对视觉特征的偏好分数能够更能准确贴近用户兴趣,同时图片对象的视觉特征相对于从文字描述中提取对象的属性更容易。
本领域普通技术人员将了解,虽然下面的详细说明将参考图示实施例、附图进行,但本发明并不仅限于这些实施例。而是,本发明的范围是广泛的,且意在仅通过后附的权利要求限定本发明的范围。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1是根据本发明一个实施例的用于辅助图片对象搜索结果排序的方法的流程图。
图2是根据本发明一个实施例的基于具有同一视觉特征的图片对象的数目确定用户对所述视觉特征的偏好分数的方法的流程图。
图3是根据本发明一个实施例的确定图片对象主体颜色深浅校正值的方法示意图。
图4是根据本发明一个实施例的确定图片对象主体颜色深浅的得分示意图。
图5是根据本发明一个实施例的各视觉特征的图片对象数目示意图。
图6-1是根据本发明一个实施例的图片对象明度的偏好分数示意图。
图6-2是根据本发明一个实施例的图片对象锐度的偏好分数示意图。
图7是根据本发明另一个实施例的基于具有同一视觉特征的图片对象的数目确定用户对所述视觉特征的偏好分数的方法的流程图。
图8是根据本发明一个实施例的用于图片对象搜索结果排序的方法的流程图。
图9-1是根据本发明一个实施例的搜索结果原始排序示意图。
图9-2是根据本发明一个实施例的依据综合偏好分数对搜索结果进行排序的示意图。
图10是根据本发明一个实施例的用于辅助图片对象搜索结果排序的装置的结构示意图。
图11是根据本发明一个实施例的提取单元结构示意图。
图12是根据本发明一个实施例的偏好分数确定单元结构示意图。
图13是根据本发明另一个实施例的偏好分数确定单元结构示意图。
图14是根据本发明一个实施例的用于图片对象搜索结果排序的装置的结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
所述计算机设备包括用户设备与网络设备。其中,所述用户设备包括但不限于电脑、智能手机、PDA等;所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中,所述计算机设备可单独运行来实现本发明,也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中,所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
需要说明的是,所述用户设备、网络设备和网络等仅为举例,其他现有的或今后可能出现的计算机设备或网络如可适用于本发明,也应包含在本发明保护范围以内,并以引用方式包含于此。
后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时,用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。
这里所公开的具体结构和功能细节仅仅是代表性的,并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现,并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是,虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元,但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说,在不背离示例性实施例的范围的情况下,第一单元可以被称为第二单元,并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
应当理解的是,当一个单元被称为“连接”或“耦合”到另一单元时,其可以直接连接或耦合到所述另一单元,或者可以存在中间单元。与此相对,当一个单元被称为“直接连接”或“直接耦合”到另一单元时,则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如“处于...之间”相比于“直接处于...之间”,“与...邻近”相比于“与...直接邻近”等等)。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指,否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是,这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在,而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
还应当提到的是,在一些替换实现方式中,所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说,取决于所涉及的功能/动作,相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
本发明人发现,当用户搜索图片对象时,往往表现出对具有某类视觉特征的图片对象的偏好,例如一些用户专门对图片对象明度较大的图片对象感兴趣。因此,本申请实施例提取图片对象的视觉特征,确定用户对视觉特征的偏好分数,从而可利用该偏好分数对图片对象的搜索结果进行排序,使对图片对象的搜索结果排序更能准确贴近用户兴趣。
下面结合附图对本发明作进一步详细描述。
图1是根据本发明一个实施例的用于辅助图片对象搜索结果排序的方法的流程图,如图1中所示,该方法主要包括如下步骤:
S10、获取设定时间范围内用户行为记录涉及的图片对象;
S11、提取所获取的图片对象的视觉特征;
S12、确定所获取的图片对象中具有同一视觉特征的图片对象的数目;
S13、基于具有同一视觉特征的图片对象的数目,确定用户对所述视觉特征的偏好分数,用于图片对象搜索结果排序。
下面对上述各步骤做进一步详细介绍。
图1所示的用于辅助图片对象搜索结果排序的方法不是在用户搜索图片对象时执行的,而是在用户搜索图片对象前在服务器已执行好的预备过程。它可以设置成定期(例如一天、一个月等)为每个用户执行一次。这样,能够根据更新的历史不断追踪用户偏好的变化,使排序更能反映用户不断变化的偏好。
首先需要说明的是,本实施例所述的用于辅助图片对象搜索结果排序的方法的最终目的是确定出用户对图片对象的视觉特征的偏好分数,从而后续用户在进行图片对象搜索时,可依据该确定的用户对图片对象的视觉特征的偏好分数排序图片对象搜索结果。本申请实施例是以设定时间范围内用户行为记录涉及的图片对象作为源数据,对该源数据进行特征提取从而确定出用户对图片对象的视觉特征的偏好分数。
步骤S10中所述的设定时间范围可以为从当前时间向前追溯1个月、或从当前时间向前追溯1年、或从当前时间向前追溯10年或其他时间范围等,该设定时间范围的确定需要保证在该设定时间范围内能够获取到足够的源数据以确定用户对所述视觉特征的偏好分数。例如,当前时间是2014年12月31日,可以将2014年12月一整月作为设定时间范围,也可以将2014年一整年作为设定时间范围,也可以将2005-2014年的十年作为设定时间范围等。可以理解的是,该设定时间范围内获取的源数据越多则所确定的用户对所述视觉特征的偏好分数越准确,因此,这里对“足够的源数据”不做具体限制。
在本申请实施例中,所述行为记录包括浏览和/或选择。所述的浏览包括但不限于:用户点击查看该图片对象或点击查看该图片对象对应的产品等等。该选择包括但不限于:用户购买该图片对象对应的产品、或用户下载该图片对象、或用户收藏该图片对象、或用户将该图片对象对应的产品设置为所关注的产品等等。
从上面对选择和浏览的定义可以看出,用户对选择的图片对象的兴趣程度要高于用户对浏览的图片对象的兴趣程度。
另外,需要说明的是,本实施例中所述的图片对象为作为一个搜索结果的代表图在搜索结果列表页面展示的展示图片,而不是在点击该搜索结果列表页面上的一个搜索结果后出现的详情页面中的详情图片。例如,针对一件上衣,介绍该上衣的详情图片包括多个,而在展示在上衣的搜索结果的图片时,在搜索结果列表页面仅展示其中一个代表图。我们将该代表图称为该上衣的搜索结果的图片对象或展示图片。当然,本申请实施例并不排除展示图片为动态变化图片的情形,所述动态变化即对于同一物品或信息,其对应的展示图片对象有可能是多个。例如,对于一件衣服,在搜索结果列表页面中可以有其悬挂时的图片、其穿在人身上的效果图片以及不同颜色的对比图片等,针对该多个展示图片的情形,本实施例可获取所有展示图片作为获取的图片对象。
其中,一种获取设定时间范围内用户行为记录涉及的图片对象的方式如下:通过用户ID(标识)搜索服务器记录的该用户在服务器所在网站的所有行为的历史数据。可根据历史数据中的第一类记录识别用户选择的图片对象。第一类记录例如服务器记录的用户在该网站的成交记录、下载记录。例如,根据成交记录识别用户是否购买图片对象对应的产品,或根据下载记录识别用户是否下载图片对象等等。可根据历史数据中的第二类记录识别用户浏览的图片对象。第二类记录例如服务器记录的用户在该网站浏览该搜索结果的ipv(商品详情页面的浏览次数),可以根据该ipv识别用户是否浏览图片对象、以及浏览的次数。通过上述方法可确定用户浏览的图片对象及对应的数目以及用户选择的图片对象及对应的数目。
在步骤S11中提取所获取的图片对象的视觉特征,其中所述视觉特征包括以下至少一项:
图片对象明度、图片对象饱和度、图片对象锐度、图片对象对比度、图片对象艳丽度、图片对象是否拼图、图片对象主体区域所占比率、图片对象主体颜色深浅、图片对象主体配色方案。
可以理解的是,图片对象的视觉特征即图像特征,图片对象的各视觉特征可以由对应的视觉特征值表征。
本申请一种实施例提取上述视觉特征的方法包括:
图片对象明度,可通过计算图片对象在HSV(Hue色调,Saturation饱和度,Value明度)空间的V的平均值获得,具体计算方法可采用已有任一种技术实现,本申请实施例对此不做具体限制。
图片对象饱和度,可通过计算图片对象在HSV空间的S的平均值获得,具体计算方法可采用已有任一种技术实现,本申请实施例对此不做具体限制。
图片对象锐度,可利用拉普拉斯算子模板对图片对象进行卷积计算,卷积计算后得到的平均值为图片对象锐度,具体计算方法可采用已有任一种技术实现,本申请实施例对此不做具体限制。
图片对象艳丽度:可通过计算图片对象在RGB(红R、绿G、蓝B)空间中,像素R/G/B分量与平均值差距的加权平均值获得,具体计算方法可采用已有任一种技术实现,本申请实施例对此不做具体限制。
图片对象对比度:可通过计算每个像素的明度(HSV空间的V)与图片对象明度的差值之和的平均值获得,具体计算方法可采用已有任一种技术实现,本申请实施例对此不做具体限制。
图片对象是否拼图:可通过图片的连续性及断层来识别,具体识别方法可采用已有任一种技术实现,本申请实施例对此不做具体限制。其中,若识别出图片对象是拼图,则对应的值为第一指定值,例如为1或为101,否则为第二指定值,例如为0或为102,该第一指定值及第二指定值可根据需要设定。
图片对象主体区域所占比率:由于一个图片对象中可能包含多个实体,首先确定出图片对象中的主体(即该图片对象重点展现的实体),以能包围各实体的最小矩形包围框的面积作为判断手段,其中面积最大的矩形包围框所包围的实体为该图片对象的主体,计算该面积最大的矩形包围框的面积与整个图片对象的面积的比值作为图片对象主体区域所占的比率。
图片对象主体颜色深浅:通过计算图片对象中主体的灰度值,一般在0-255范围内,若计算得到的灰度值大于指定灰度阈值,则确定图片对象主体颜色为浅色,若小于等于所述指定灰度阈值,则确定图片对象主体颜色为深色,其中所述指定灰度阈值例如可以为127。
图片对象主体配色方案:可将HSV空间的颜色归一化到以下类别:红色、黄-红、黄色、绿-黄、绿色、蓝-绿、蓝色、紫-蓝、紫色、红-紫、白色、黑色、浅灰、深灰,识别图片对象中主体的颜色组成(即主体由上述颜色分类中的哪几类颜色组成)与各颜色所占比率,具体计算方法可采用已有任一种技术实现,本申请实施例对此不做具体限制。其中,如果仅有一种颜色所占比率大于指定阈值,则判断为纯色,如果2~3中颜色所占比率大于所述指定阈值,则判断为简单花色;如果3种以上颜色所占比率大于所述指定阈值则判断为复杂花色,其中所述指定阈值例如可以为0.66。
通过该步骤S11可获取用户行为记录涉及的每个图片对象的各视觉特征。
其中一种实施例所提取的图片对象的视觉特征是由精确视觉特征值表征,此处所述的精确视觉特征值即通过上面介绍的提取视觉特征的方法直接计算获得的视觉特征值,当然,本实施例中并不排除将采用相应规则去除视觉特征值的小数点,或保留视觉特征值的指定位等方式对计算获得的视觉特征值进行处理后得到的视觉特征值作为精确视觉特征值。
另一种实施例所提取的图片对象的视觉特征可以由精确视觉特征值或层级视觉特征值表征。所述精确视觉特征值的概念同上面实施例中所述。此处所述的层级视觉特征值是将精确视觉特征值进行层级划分,将每个精确视觉特征值划分到一个层级中,例如一种划分方法为:图片对象明度对应的20个层级分别为第1~20级;图片对象锐度对应的20个层级为第21~40级,图片对象饱和度对应的20个层级为第41~60级,图片对象艳丽度对应的20个层级为第61~80级,图片对象对比度对应的20个层级为第81~100级,图片对象是否拼图对应的层级为第101~102级,图片对象主体区域所占比率对应的20个层级第103~122级,图片对象主体配色方案对应的层级为第123~125级,图片对象主体颜色深浅对应的层级为第126~127级,每个层级对应指定数值范围的相应精确视觉特征值。那么,针对所提取的视觉特征为层级视觉特征值的情况,需要先提取所获取的图片对象的视觉特征的精确视觉特征值,再确定所述精确视觉特征值所属的层级视觉特征值,将所确定的层级视觉特征值作为所获取的图片对象的视觉特征。
步骤S12用于确定所获取的图片对象中具有同一视觉特征的图片对象的数目。其中,在执行步骤S11后,获取用户行为记录涉及的每个图片对象的各视觉特征,即可确定所获取的图片对象中具有同一视觉特征的图片对象的数目。具体的可以确定具有同一视觉特征的用户浏览的图片对象的数目,和具有同一视觉特征的用户选择的图片对象的数目。可见,确定所获取的图片对象中具有同一视觉特征的图片对象的数目即确定用户行为记录涉及的同一视觉特征对应的图片对象数目。
步骤S13是基于步骤S12中确定的具有同一视觉特征的图片对象的数目,来确定用户对所述视觉特征的偏好分数。
其中,一种实施例为针对步骤S10中获取的用户行为记录涉及的图片对象为用户选择的图片对象的场景,其基于具有同一视觉特征的图片对象的数目确定用户对所述视觉特征的偏好分数的方法的流程图如图2中所示,包括如下子步骤:
子步骤20、基于具有同一视觉特征的图片对象的数目与校正值确定所述视觉特征的基础得分;
其中,所述校正值表示具有该视觉特征的图片对象在图片对象库中的比率。以图片对象主体颜色深浅为例,该校正值包括图片对象库中图片对象主体颜色为深色的图片对象在该图片对象库中所占的比率,和图片对象主体颜色为浅色的图片对象在该图片对象库中所占的比率。所述的图片对象库可以为例如特定网站上服务器存储的、可搜索的所有图片对象的数据库。如图3中所示为确定图片对象主体颜色深浅校正值的方法示意图。假设图片对象库中包含4个图片对象,ID范围为1000~1003,其中ID为1000、1001、1003的图片对象的图片对象主体颜色均为深色,ID为1002的图片对象的图片对象主体颜色为浅色,那么该图片对象库中图片对象主体颜色为深色的校正值为0.75(3/4,即图片对象主体颜色为深色的图片对象个数/图片对象库中图片对象个数),图片对象主体颜色为浅色的校正值为0.25(1/4,及图片对象主体颜色为浅色的图片对象个数/图片对象库中图片对象个数)。采用同样的方法可确定出其他视觉特征的校正值。可以理解的是,对于该校正值可固定时间间隔计算一次,因此,该确定校正值的步骤并非该方法的必须步骤。
具体的,基于具有同一视觉特征的图片对象的数目与校正值确定所述视觉特征的基础得分,可以将具有同一视觉特征的图片对象的数目与校正值倒数的乘积作为该视觉特征的基础得分。以图3中所示的图片对象主体颜色深浅对应的校正值为例,用户选择的图片对象的图片对象主体颜色深浅情况如图4中左侧表格所示,其中用户选择的图片对象中图片对象主体颜色为深色的共3个,图片对象主体颜色为浅色的共0个,则依此确定的图片对象主体颜色深浅的得分如图4中右侧表格所示,图片对象主体颜色为深色的基础得分为4(3/0.75,即图片对象主体颜色为深色的图片对象数目/校正值),图片对象主体颜色为浅色的基础得分为0(0/0.25,即图片对象主体颜色为浅色的图片对象数目/校正值)。依照此方法可确定出其他视觉特征的基础得分,如图5中所示为各视觉特征的图片对象数目(即各视觉特征被用户选择的次数)示意图,依据该图5可确定出各视觉特征的基础得分。用户选择的同一视觉特征的图片对象数目越大(即被用户选择的次数越多),则对应的基础得分越大。
子步骤21、依据所述视觉特征的基础得分确定用户对所述视觉特征的偏好分数。
在确定各视觉特征的基础得分后可采用已有的各种权重计算方法确定用户对所述视觉特征的偏好分数,例如,可采用LR(Logistic Regression,逻辑回归模型)模型进行训练,本申请实施例对此不做具体限制。
例如,所确定的各图片对象明度的偏好分数如图6-1所示,所确定的各图片对象锐度的偏好分数如图6-2所示,同一视觉特征被用户选择的次数越多,则对应的偏好分数的值越大。
本申请另一种实施例为针对步骤S10中获取的用户行为记录涉及的图片对象包括用户浏览的图片对象和用户选择的图片对象的场景,其基于具有同一视觉特征的图片对象的数目确定用户对所述视觉特征的偏好分数的方法的流程图如图7中所示,包括如下子步骤:
子步骤70、基于具有同一视觉特征的图片对象的数目与相应加权因子确定所述视觉特征的基础得分;
本实施例中由于用户行为记录涉及的图片对象包括用户浏览的图片对象和用户选择的图片对象,且用户对选择的图片对象的兴趣程度高于浏览的图片对象的兴趣程度,因此可为用户浏览的图片对象和用户选择的图片对象确定不同的加权因子,在确定视觉特征的基础得分时,区别用户浏览的图片对象和用户选择的图片对象,分别乘以对应的加权因子。
例如,如果行为记录是选择,可以将加权因子设为2。如果行为记录是浏览,可以将加权因子设为0.5。例如,用户在设定时间范围内,浏览了10个图片对象主体颜色深浅为深色的图片对象,选择了5个图片对象主体颜色深浅为深色的图片对象,则对于图片对象主体颜色深浅为深色,基础得分=10×0.5+5×2=15;用户在设定时间范围内,浏览了2个图片对象主体颜色深浅为浅色的图片对象,选择了8个图片对象主体颜色深浅为浅色的图片对象,则对于图片对象主体颜色深浅为浅色,基础得分=2×0.5+8×2=17。因此,由于加权因子的作用,虽然用户对图片对象主体颜色深浅为深色的图片对象的行为记录的次数(15次)大于对对图片对象主体颜色深浅为浅色的图片对象的行为记录的次数(10次),但得分却相反。
通过区别对待用户选择的图片对象和用户浏览的图片对象,来确定视觉特征的基础得分,可更加准确地表达用户的兴趣点。
子步骤71、依据所述视觉特征的基础得分确定用户对所述视觉特征的偏好分数。
在确定各视觉特征的得分后可采用已有的各种权重计算方法确定用户对所述视觉特征的偏好分数,例如,可采用LR(Logistic Regression,逻辑回归模型)模型进行训练,本申请实施例对此不做具体限制。
本实施例中通过获取用户行为记录涉及的图片对象,并提取该图片对象的视觉特征,基于同一视觉特征的图片对象的数目来确定用户对视觉特征的偏好分数,由于图片对象可以更直观的表达产品的特性,且所获取的图片对象的视觉特征为量化的值,因此基于该图片对象的视觉特征确定的用户对视觉特征的偏好分数能够更加准确的表达用户的兴趣点,同时图片对象的视觉特征相对于提取文本特征的产品属性更容易提取。
本实施例的用于辅助图片对象搜索结果排序的方法可以应用于各种场景,例如,用于搜索引擎对用户的图片对象搜索结果排序的场景中。
本申请实施例还提供一种用于图片对象搜索结果排序的方法,该方法流程图如图8中所示,具体包括如下步骤:
S80、响应于接收到用户的搜索请求,获取与所述搜索请求匹配的图片对象;
S81、提取所获取的图片对象的视觉特征;
S82、基于用户对所述视觉特征的偏好分数获得用户对所获取的图片对象的综合偏好分数;
S83、按照用户对所获取的图片对象的综合偏好分数为所述图片对象排序。
图8中所示的用于图片对象搜索结果排序的方法是在用户搜索图片对象的情况下执行的,它要借助于图1的用于辅助图片对象搜索结果排序的方法中确定的用户对各视觉特征的偏好分数。由于图8的过程是响应于用户的搜索请求实时执行的,而图1的过程例如是在服务器后台定期执行,其确定出的用户对各视觉特征的偏好分数可能不对应于在对搜索结果排序时实时的用户偏好,但由于用户的偏好具有一定稳定性,定期更新一次用户对各视觉特征的偏好分数不会过大影响对搜索结果的排序。
下面对上述各步骤做进一步详细介绍。
本实施例为上面实施例所述用于辅助图片对象搜索结果排序的方法的一种应用场景,对于本实施例中出现的与上面实施例中同样的名词,其意义相同的将不再赘述。
其中,步骤S80为响应于接收到用户的搜索请求,获取与所述搜索请求匹配的图片对象,其中本申请实施例对获取与所述搜索请求匹配的图片对象的方法不做具体限制。其中,可以首先获取与搜索请求匹配的搜索结果,再获取该搜索结果对应的图片对象。
步骤S81中所述视觉特征包括以下至少一项:
图片对象明度、图片对象饱和度、图片对象锐度、图片对象对比度、图片对象艳丽度、图片对象是否拼图、图片对象主体区域所占比率、图片对象主体颜色深浅、图片对象主体配色方案。
其中提取上述视觉特征的视觉特征的方法同上面实施例中所述,此处不再赘述。
需要说明的是,本实施例中提取所获取的图片对象的视觉特征是精确视觉特征值还是层级视觉特征值,其与确定用户对视觉特征的偏好分数时获取的视觉特征一致,也就是,若确定用户对视觉特征的偏好分数时获取的视觉特征为精确视觉特征值,则本步骤也需提取所获取的图片对象的视觉特征的精确视觉特征值,反之则获取视觉特征的层级视觉特征值。
步骤S82为基于用户对所述视觉特征的偏好分数获得用户对所获取的图片对象的综合偏好分数。
其中,用户对所述视觉特征的偏好分数可以采用上面实施例中所述的方法确定。
本申请一种实施例基于用户对所述视觉特征的偏好分数获得用户对所获取的图片对象的综合偏好分数的方法包括:
将用户对所述视觉特征的偏好分数之和作为用户对所获取的图片对象的综合偏好分数。
以图片对象的视觉特征仅包含图片对象明度和图片对象锐度两个视觉特征为例,若一图片对象的图片对象明度属于如图6-1中第12级,用户对图片对象明度为第12级的偏好分数为0.02;对应的用户对该该图片对象的图片对象锐度属于第23级,用户对图片对象锐度为第23级的偏好分数为0.01,则用户对该图片对象的综合偏好分数为0.02+0.01=0.03。
本申请另一种实施例基于所述视觉特征以及用户对所述视觉特征的偏好分数获得用户对所获取的图片对象的综合偏好分数的方法包括:
由于不采用本申请实施例的方法,在网站搜索与搜索请求匹配的图片对象时,网站服务器在给出匹配的图片对象时,会如现有技术那样根据图片对象的文字描述等给这些图片对象一个固有的排序,该排序也往往是基于每个图片对象的排序分值进行的,只不过该排序分值是基于图片对象的文字描述与搜索请求中的关键词等的匹配程度等获得的。将该排序分值称为原始排序分值,也就是该原始排序分值是不考虑本实施例的用户对视觉特征的偏好分数情况下为搜索结果分配的排序分值。本实施例在获取与所述请求匹配的搜索结果的同时获取与所述搜索请求匹配的图片对象的原始排序分值;之后,将用户对所述视觉特征的偏好分数之和加上获取的所述图片对象的原始排序分值,得到的和值作为用户对所获取的图片对象的综合偏好分数。本实施例在排序图片对象搜索结果时同时考虑用户对视觉特征的偏好分数以及搜索结果与搜索请求的匹配度,则依照此综合偏好分数对获取的搜索结果进行排序将更能提升用户体验。
由于依照本实施例获得的偏好分数值为小于1的数值,则用户对视觉特征的偏好分数之和加上原值排序分值后,对原值排序分值的影响较小,为体现用户对视觉特征的偏好分数对原始排序分值的影响,本申请另一实施例可将用户对视觉特征的偏好分数之和乘以一个预定调整值,得到的乘积再加上所获取的原始排序分值后得到的和值作为综合偏好分数。所述预定调整值例如可以为100,或10等等。假设原始排序分值为10,用户对视觉特征的偏好分数之和为0.06,那么原始排序分值与用户对视觉特征的偏好分数之和相加结果为10+0.06=10.06,如果将用户对视觉特征的偏好分数之和乘以一个预定调整值100,之后再与原始排序分值相加结果为10+0.06*100=16,可见,后者计算的综合偏好分数对原始排序分值的影响更大。
步骤S83按照用户对所获取的图片对象的综合偏好分数为所述图片对象排序包括:
其中,可按照用户对所获取的图片对象的综合偏好分数从高到低的顺序为所述图片对象排序。
如图9-1中所示,为不采用本实施例方案时对搜索结果的原始排序示意图,图9-2为采用本实施例方案后对搜索结果的排序示意图,该排序是依照步骤S82中确定的用户对所获取的图片对象的综合偏好分数的大小来确定。
可以理解的是,本实施例的用于图片对象搜索结果排序的方法是在搜索结果未展示给用户前执行的,也就是采用本实施例的方法图9-1所示的原始排序示意图并不会展示给用户。
本实施例所述方法可以基于搜索结果的视觉特征以及用户对所述视觉特征的偏好分数,来确定用户对所获取的图片对象的综合偏好分数,并按照用户对所获取的图片对象的综合偏好分数为所述图片对象排序,由于基于图片对象的视觉特征确定的用户对视觉特征的偏好分数能够更加准确的表达用户的兴趣点,以此为基础的图片对象的排序能够更方便于用户查找需要的搜索结果,从而减轻用户反复挑选需要的搜索结果造成的流量消耗。
本申请实施例还提供一种与上面的用于辅助图片对象搜索结果排序的方法对应的用于辅助图片对象搜索结果排序的装置,该装置结构示意图如图10中所示,该装置主要包括:
获取单元100,用于获取设定时间范围内用户行为记录涉及的图片对象;
提取单元101,用于提取所获取的图片对象的视觉特征;
数目确定单元102,用于确定所获取的图片对象中具有同一视觉特征的图片对象的数目;
偏好分数确定单元103,用于基于具有同一视觉特征的图片对象的数目,确定用户对所述视觉特征的偏好分数,用于图片对象搜索结果排序。
所述的设定时间范围可以为从当前时间向前追溯1个月、或从当前时间向前追溯1年、或从当前时间向前追溯10年或其他时间范围等,该设定时间范围的确定需要保证在该设定时间范围内能够获取到足够的源数据以确定用户对所述视觉特征的偏好分数。例如,当前时间是2014年12月31日,可以将2014年12月一整月作为设定时间范围,也可以将2014年一整年作为设定时间范围,也可以将2005-2014年的十年作为设定时间范围等。可以理解的是,该设定时间范围内获取的源数据越多则所确定的用户对所述视觉特征的偏好分数越准确,因此,这里对“足够的源数据”不做具体限制。
在本申请实施例中,所述的有行为记录包括浏览和/或选择。所述的浏览包括但不限于:用户点击查看该图片对象或点击查看该图片对象对应的产品等等。所述选择包括但不限于:用户购买该图片对象对应的产品、或用户下载该图片对象、或用户收藏该图片对象、或用户将该图片对象对应的产品设置为所关注的产品等等。
从上面对选择和浏览的定义可以看出,用户对选择的图片对象的兴趣程度要高于用户对浏览的图片对象的兴趣程度。
另外,需要说明的是,本实施例中所述的图片对象为作为一个搜索结果的代表图在搜索结果列表页面展示的展示图片,而不是在点击该搜索结果列表页面上的一个搜索结果后出现的详情页面中的详情图片。例如,针对一件上衣,介绍该上衣的详情图片包括多个,而在展示在上衣的搜索结果的图片时,在搜索结果列表页面仅展示其中一个代表图。我们将该代表图称为该上衣的搜索结果的图片对象或展示图片。当然,本申请实施例并不排除展示图片为动态变化图片的情形,所述动态变化即对于同一物品或信息,其对应的展示图片对象有可能是多个。例如,对于一件衣服,在搜索结果列表页面中可以有其悬挂时的图片、其穿在人身上的效果图片以及不同颜色的对比图片等,针对该多个展示图片的情形,本实施例可获取所有展示图片作为获取的图片对象。
其中,获取单元100获取设定时间范围内用户行为记录涉及的图片对象的方式如下:通过用户ID(标识)搜索服务器记录的该用户在服务器所在网站的所有行为的历史数据。可根据历史数据中的第一类记录识别用户选择的图片对象。第一类记录例如服务器记录的用户在该网站的成交记录、下载记录。例如,根据成交记录识别用户是否购买图片对象对应的产品,或根据下载记录识别用户是否下载图片对象等等。可根据历史数据中的第二类记录识别用户浏览的图片对象。第二类记录例如服务器记录的用户在该网站浏览该搜索结果的ipv(商品详情页面的浏览次数),可以根据该ipv识别用户是否浏览图片对象以及浏览的次数。通过上述方法可确定用户浏览的图片对象及对应的数目以及用户选择的图片对象及对象的数目。
其中,提取单元101所提取的图片对象的视觉特征包括以下至少一项:
图片对象明度、图片对象饱和度、图片对象锐度、图片对象对比度、图片对象艳丽度、图片对象是否拼图、图片对象主体区域所占比率、图片对象主体颜色深浅、图片对象主体配色方案。对于提取单元101提取各视觉特征的视觉特征的方法同上面方法实施例中所述,此处不再赘述。
可以理解的是,图片对象的视觉特征即图像特征,图片对象的各视觉特征可以由对应的视觉特征值表征。
其中一种实施例提取单元101所提取的图片对象的视觉特征由精确视觉特征值表征,此处所述的精确视觉特征值即通过上面介绍的提取视觉特征的方法直接计算获得的视觉特征值,当然,本实施例中并不排除将采用相应规则去除视觉特征值的小数点,或保留视觉特征值的指定位等方式对计算获得的视觉特征值进行处理后得到的视觉特征值作为精确视觉特征值。
另一种实施例提取单元101所提取的图片对象的视觉特征,由精确视觉特征值或层级视觉特征值表征,所述精确视觉特征值的概念同上面实施例中所述。此处所述的层级视觉特征值是将精确视觉特征值进行层级划分,将每个精确视觉特征值划分到一个层级中,例如一种划分方法为:图片对象明度对应的20个层级分别为第1~20级;图片对象锐度对应的20个层级为第21~40级,图片对象饱和度对应的20个层级为第41~60级,图片对象艳丽度对应的20个层级为第61~80级,图片对象对比度对应的20个层级为第81~100级,图片对象是否拼图对应的层级为第101~102级,图片对象主体区域所占比率对应的20个层级第103~122级,图片对象主体配色方案对应的层级为第123~125级,图片对象主体颜色深浅对应的层级为第126~127级,每个层级对应指定数值范围的相应精确视觉特征值。那么,针对提取单元101所提取的视觉特征为层级视觉特征值的情况,如图11所示提取单元101可包括:
提取子单元1011,用于提取所获取的图片对象的视觉特征的精确视觉特征值;
层级划分子单元1012,用于确定所述精确视觉特征值所属的层级视觉特征值,作为所获取的图片对象的视觉特征。
具体的,数目确定单元102可以确定具有同一视觉特征的用户浏览的图片对象的数目,和具有同一视觉特征的用户选择的图片对象的数目。可见,确定所获取的图片对象中具有同一视觉特征的图片对象的数目即确定用户行为记录涉及的同一视觉特征对应的图片对象数目。
一种实施例针对获取单元100获取的用户行为记录涉及的图片对象只包括用户选择的图片对象的场景,偏好分数确定单元103的结构如图12中所示,包括:
第一基础得分确定子单元1031,用于基于具有同一视觉特征的图片对象的数目与校正值确定所述视觉特征的基础得分,其中,所述校正值表示具有该视觉特征的图片对象在图片对象库中的比率。以图片对象主体颜色深浅为例,该校正值包括图片对象库中图片对象主体颜色为深色的图片对象在该图片对象库中所占的比率,和图片对象主体颜色为浅色的图片对象在该图片对象库中所占的比率。所述的图片对象库可以为例如特定网站上服务器存储的、可搜索的所有图片对象的数据库。如图3中所示为确定图片对象主体颜色深浅校正值的方法示意图。,假设图片对象库中包含4个图片对象,ID范围为1000~1003,其中ID为1000、1001、1003的图片对象的图片对象主体颜色均为深色,ID为1002的图片对象的图片对象主体颜色为浅色,那么该图片对象库中图片对象主体颜色为深色的校正值为0.75(3/4,即图片对象主体颜色为深色的图片对象个数/图片对象库中图片对象个数),图片对象主体颜色为浅色的校正值为0.25(1/4,及图片对象主体颜色为浅色的图片对象个数/图片对象库中图片对象个数)。采用同样的方法可确定出其他视觉特征的校正值。可以理解的是,对于该校正值可固定时间间隔计算一次。
具体的,基于具有同一视觉特征的图片对象的数目与校正值确定所述视觉特征的基础得分,可以将具有同一视觉特征的图片对象的数目与校正值倒数的乘积作为该视觉特征的基础得分。以图3中所示的图片对象主体颜色深浅对应的校正值为例,用户选择的图片对象的图片对象主体颜色深浅情况如图4中左侧表格所示,其中用户选择的图片对象中图片对象主体颜色为深色的共3个,图片对象主体颜色为浅色的共0个,则依此确定的图片对象主体颜色深浅的得分如图4中右侧表格所示,图片对象主体颜色为深色的基础得分为4(3/0.75,即图片对象主体颜色为深色的图片对象数目/校正值),图片对象主体颜色为浅色的基础得分为0(0/0.25,即图片对象主体颜色为浅色的图片对象数目/校正值)。依照此方法可确定出其他视觉特征的基础得分,如图5中所示为各视觉特征的图片对象数目(即各视觉特征被用户选择的次数)示意图,依据该图5可确定出各视觉特征的基础得分。用户选择的同一视觉特征的图片对象数目越大(即被用户选择的次数越多),则对应的基础得分越大。
第一偏好分数确定子单元1032,用于依据所述视觉特征的基础得分确定用户对所述视觉特征的偏好分数。在第一基础得分确定子单元1031确定各视觉特征的基础得分后,第一偏好分数确定子单元1032可采用已有的各种权重计算方法确定用户对所述视觉特征的偏好分数,例如,可采用LR(Logistic Regression,逻辑回归模型)模型进行训练,本申请实施例对此不做具体限制。
另一种实施例为针对获取单元100获取的用户行为记录涉及的图片对象包括用户浏览的图片对象和用户选择的图片对象的场景,则偏好分数确定单元103的结构如图13中所示,包括:
第二基础得分确定子单元1033,用于基于具有同一视觉特征的图片对象的数目与相应加权因子确定所述视觉特征的基础得分;其中加权因子是根据行为记录是浏览还是选择来确定的;
第二偏好分数确定子单元1034,用于依据所述视觉特征的基础得分确定用户对所述视觉特征的偏好分数。
本实施例中由于用户行为记录涉及的图片对象包括用户浏览的图片对象和用户选择的图片对象,且用户对选择的图片对象的兴趣程度高于浏览的图片对象的兴趣程度,因此第二基础得分确定子单元1033可为用户浏览的图片对象和用户选择的图片对象确定不同的加权因子,在确定视觉特征的得分时,区别用户浏览的图片对象和用户选择的图片对象,分别乘以对应的加权因子。
例如,如果行为记录是选择,可以将加权因子设为2。如果行为记录是浏览,可以将加权因子设为0.5。例如,用户在设定时间范围内,浏览了10个图片对象主体颜色深浅为深色的图片对象,选择了5个图片对象主体颜色深浅为深色的图片对象,则对于图片对象主体颜色深浅为深色,基础得分=10×0.5+5×2=15;用户在设定时间范围内,浏览了2个图片对象主体颜色深浅为浅色的图片对象,选择了8个图片对象主体颜色深浅为浅色的图片对象,则对于图片对象主体颜色深浅为浅色,基础得分=2×0.5+8×2=17。因此,由于加权因子的作用,虽然用户对图片对象主体颜色深浅为深色的图片对象的行为记录的次数(15次)大于对对图片对象主体颜色深浅为浅色的图片对象的行为记录的次数(10次),但得分却相反。
通过区别对待用户选择的图片对象和用户浏览的图片对象,来确定视觉特征的基础得分,可更加准备的表达用户的兴趣点。
第二偏好分数确定子单元1034可采用已有的各种权重计算方法确定用户对所述视觉特征的偏好分数,例如,可采用LR(Logistic Regression,逻辑回归模型)模型进行训练,本申请实施例对此不做具体限制。
本实施例中通过获取用户行为记录涉及的图片对象,并提取该图片对象的视觉特征,基于同一视觉特征的图片对象的数目来确定用户对视觉特征的偏好分数,由于图片对象可以更直观的表达产品的特性,且所获取的图片对象的视觉特征为量化的值,因此基于该图片对象的视觉特征确定的用户对视觉特征的偏好分数能够更加准确的表达用户的兴趣点,同时图片对象的视觉特征相对于提取文本特征的产品属性更容易提取。
本申请实施例还提供一种与上面的用于图片对象搜索结果排序的方法对应的用于图片对象搜索结果排序的装置,该装置结构示意图如图14中所示,该装置主要包括:
图片对象获取单元140,用于响应于接收到用户的搜索请求,获取与所述搜索请求匹配的图片对象;本申请实施例对图片对象获取单元140获取与所述搜索请求匹配的图片对象的方法不做具体限制。其中,可以首先获取与搜索请求匹配的搜索结果,再获取该搜索结果对应的图片对象。
视觉特征提取单元141,用于提取所获取的图片对象的视觉特征;所述视觉特征包括以下至少一项:
图片对象明度、图片对象饱和度、图片对象锐度、图片对象对比度、图片对象艳丽度、图片对象是否拼图、图片对象主体区域所占比率、图片对象主体颜色深浅、图片对象主体配色方案。视觉特征提取单元141提取上述视觉特征的视觉特征的方法同上面实施例中所述,此处不再赘述。
需要说明的是,本实施例中视觉特征提取单元141提取所获取的图片对象的视觉特征是精确视觉特征值还是层级视觉特征值,其与确定用户对视觉特征的偏好分数时获取的视觉特征一致,也就是,若确定用户对视觉特征的偏好分数时获取的视觉特征为精确视觉特征值,则本步骤也需提取所获取的图片对象的视觉特征的精确视觉特征值,反之则获取视觉特征的层级视觉特征值。
综合偏好分数获得单元142,用于基于用户对所述视觉特征的偏好分数获得用户对所获取的图片对象的综合偏好分数;
其中,用户对所述视觉特征的偏好分数可由上面的用于辅助图片对象的搜索结果排序的装置确定,此处不再赘述;
其中一种实施例,综合偏好分数获得单元142将用户对所述视觉特征的偏好分数之和作为用户对所获取的图片对象的综合偏好分数。
另一种实施例,图片对象获取单元140还用于获取与所述搜索请求匹配的图片对象的原始排序分值。由于不采用本申请实施例的方法,在网站搜索与搜索请求匹配的图片对象时,网站服务器在给出匹配的图片对象时,会如现有技术那样根据图片对象的文字描述等给这些图片对象一个固有的排序,该排序也往往是基于每个图片对象的排序分值进行的,只不过该排序分值是基于图片对象的文字描述与搜索请求中的关键词等的匹配程度等获得的。将该排序分值称为原始排序分值,也就是该原始排序分值是不考虑本实施例的用户对视觉特征的偏好分数情况下为搜索结果分配的排序分值。本实施例在获取与所述请求匹配的搜索结果的同时获取与所述搜索请求匹配的图片对象的原始排序分值;之后,综合偏好分数获得单元142将图片对象的每个视觉特征按照用户对所述视觉特征的偏好分数求加权之和;再将所述加权和加上获取的所述图片对象的原始排序分值,得到的和值,作为用户对所获取的图片对象的兴趣分值综合偏好分数。本实施例在排序图片对象搜索结果时同时考虑用户对视觉特征的偏好分数以及搜索结果与搜索请求的匹配度,则依照此兴趣分值综合偏好分数对获取的搜索结果进行排序将更能提升用户体验。
由于依照本实施例获得的偏好分数值为小于1的数值,则用户对视觉特征的偏好分数之和加上原值排序分值后,对原值排序分值的影响较小,为体现用户对视觉特征的偏好分数对原始排序分值的影响,本申请另一实施例综合偏好分数获得单元142可将用户对视觉特征的偏好分数之和乘以一个预定调整值,得到的乘积再加上所获取的原始排序分值后得到的和值作为综合偏好分数。所述预定调整值例如可以为100,或10等等。假设原始排序分值为10,用户对视觉特征的偏好分数之和为0.06,那么原始排序分值与用户对视觉特征的偏好分数之和相加结果为10+0.06=10.06,如果将用户对视觉特征的偏好分数之和乘以一个预定调整值100,之后再与原始排序分值相加结果为10+0.06*100=16,可见,后者计算的综合偏好分数对原始排序分值的影响更大。
本实施例在排序图片对象搜索结果时同时考虑用户对视觉特征的偏好分数以及搜索结果与搜索请求的匹配度,则依照此综合偏好分数对获取的搜索结果进行排序将更能提升用户体验。
排序单元143,用于按照用户对所获取的图片对象的综合偏好分数为所述图片对象排序。其中可以按照用户对所获取的图片对象的综合偏好分数从高到低的顺序为所述图片对象排序。
本实施例可以基于搜索结果的视觉特征以及用户对所述视觉特征的偏好分数,来确定用户对所获取的图片对象的综合偏好分数,并按照用户对所获取的图片对象的综合偏好分数为所述图片对象排序,由于基于图片对象的视觉特征确定的用户对视觉特征的偏好分数能够更加准确的表达用户的兴趣点,以此为基础的图片对象的排序能够更方便于用户查找需要的搜索结果,从而减轻用户反复挑选需要的搜索结果造成的流量消耗。
需要注意的是,本发明可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本发明的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本发明的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令,可能被存储在固定的或可移动的记录介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输,和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此,根据本发明的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。***权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (20)

1.一种用于辅助图片对象搜索结果排序的方法,其特征在于,包括:
获取设定时间范围内用户行为记录涉及的图片对象;
提取所获取的图片对象的视觉特征;
确定所获取的图片对象中具有同一视觉特征的图片对象的数目;
基于具有同一视觉特征的图片对象的数目,确定用户对所述视觉特征的偏好分数,用于图片对象搜索结果排序;
其中所述基于具有同一视觉特征的图片对象的数目,确定用户对所述视觉特征的偏好分数包括:
基于具有同一视觉特征的图片对象的数目与校正值或加权因子确定所述视觉特征的基础得分,其中校正值表示具有该视觉特征的图片对象在图片对象库中的比率,以及其中加权因子是根据行为记录是浏览还是选择来确定的;
依据所述视觉特征的基础得分确定用户对所述视觉特征的偏好分数。
2.如权利要求1所述的方法,其特征在于,所述视觉特征包括以下至少一项:
图片对象明度、图片对象饱和度、图片对象锐度、图片对象对比度、图片对象艳丽度、图片对象是否拼图、图片对象主体区域所占比率、图片对象主体颜色深浅、图片对象主体配色方案。
3.如权利要求1所述的方法,其特征在于,所述行为记录包括选择。
4.如权利要求1所述的方法,其特征在于,所述视觉特征由精确视觉特征值表征。
5.如权利要求1所述的方法,其特征在于,所述视觉特征由精确视觉特征值或层级视觉特征值表征,其中在视觉特征由层级视觉特征值标准的情况下,提取所获取的图片对象的视觉特征包括:
提取所获取的图片对象的视觉特征的精确视觉特征值;
确定所述精确视觉特征值所属的层级视觉特征值,作为所获取的图片对象的视觉特征。
6.一种用于图片对象搜索结果排序的方法,其特征在于,包括:
响应于接收到用户的搜索请求,获取与所述搜索请求匹配的图片对象;
提取所获取的图片对象的视觉特征;
基于用户对所述视觉特征的偏好分数获得用户对所获取的图片对象的综合偏好分数,其中,用户对所述视觉特征的偏好分数是依据权利要求1至5任一项所述的用于辅助图片对象的搜索结果排序的方法确定的;
按照用户对所获取的图片对象的综合偏好分数为所述图片对象排序。
7.如权利要求6所述的方法,其特征在于,所述视觉特征包括以下至少一项:
图片对象明度、图片对象饱和度、图片对象锐度、图片对象对比度、图片对象艳丽度、图片对象是否拼图、图片对象主体区域所占比率、图片对象主体颜色深浅、图片对象主体配色方案。
8.如权利要求6所述的方法,其特征在于,基于用户对所述视觉特征的偏好分数获得用户对所获取的图片对象的综合偏好分数包括:
将用户对所述视觉特征的偏好分数之和作为用户对所获取的图片对象的综合偏好分数。
9.如权利要求6所述的方法,其特征在于,获取与所述搜索请求匹配的图片对象还包括:获取与所述搜索请求匹配的图片对象的原始排序分值,则基于用户对所述视觉特征的偏好分数获得用户对所获取的图片对象的综合偏好分数包括:
将用户对所述视觉特征的偏好分数之和加上获取的所述图片对象的原始排序分值,作为用户对所获取的图片对象的综合偏好分数;或
将用户对所述视觉特征的偏好分数之和与预定调整值的乘积加上获取的所述图片对象的原始排序分值后得到的和值作为用户对所获取的图片对象的综合偏好分数。
10.如权利要求6、8、9中任一个所述的方法,其特征在于,按照用户对所获取的图片对象的综合偏好分数为所述图片对象排序包括:
按照用户对所获取的图片对象的综合偏好分数从高到低的顺序为所述图片对象排序。
11.一种用于辅助图片对象搜索结果排序的装置,其特征在于,包括:
获取单元,用于获取设定时间范围内用户行为记录涉及的图片对象;
提取单元,用于提取所获取的图片对象的视觉特征;
数目确定单元,用于确定所获取的图片对象中具有同一视觉特征的图片对象的数目;
偏好分数确定单元,用于基于具有同一视觉特征的图片对象的数目,确定用户对所述视觉特征的偏好分数,用于图片对象搜索结果排序;
偏好分数确定单元包括:
基础得分确定子单元,用于基于具有同一视觉特征的图片对象的数目与校正值或加权因子确定所述视觉特征的基础得分,其中校正值表示具有该视觉特征的图片对象在图片对象库中的比率,其中加权因子是根据行为记录是浏览还是选择来确定的;
偏好分数确定子单元,用于依据所述视觉特征的基础得分确定用户对所述视觉特征的偏好分数。
12.如权利要求11所述的装置,其特征在于,所述视觉特征包括以下至少一项:
图片对象明度、图片对象饱和度、图片对象锐度、图片对象对比度、图片对象艳丽度、图片对象是否拼图、图片对象主体区域所占比率、图片对象主体颜色深浅、图片对象主体配色方案。
13.如权利要求11所述的装置,其特征在于,所述行为记录包括选择。
14.如权利要求11所述的装置,其特征在于,所述视觉特征由精确视觉特征值表征。
15.如权利要求11所述的装置,其特征在于,所述视觉特征由精确视觉特征值或层级视觉特征值表征,其中在视觉特征由层级视觉特征值表征的情况下,提取单元包括:
提取子单元,用于提取所获取的图片对象的视觉特征的精确视觉特征值;
层级划分子单元,用于确定所述精确视觉特征值所属的层级视觉特征值,作为所获取的图片对象的视觉特征。
16.一种用于图片对象搜索结果排序的装置,其特征在于,包括:
图片对象获取单元,用于响应于接收到用户的搜索请求,获取与所述搜索请求匹配的图片对象;
视觉特征提取单元,用于提取所获取的图片对象的视觉特征;
综合偏好分数获得单元,用于基于用户对所述视觉特征的偏好分数获得用户对所获取的图片对象的综合偏好分数,其中,用户对所述视觉特征的偏好分数是由权利要求11至15任一项所述的用于辅助图片对象的搜索结果排序的装置确定的;
排序单元,用于按照用户对所获取的图片对象的综合偏好分数为所述图片对象排序。
17.如权利要求16所述的装置,其特征在于,所述视觉特征包括以下至少一项:
图片对象明度、图片对象饱和度、图片对象锐度、图片对象对比度、图片对象艳丽度、图片对象是否拼图、图片对象主体区域所占比率、图片对象主体颜色深浅、图片对象主体配色方案。
18.如权利要求16所述的装置,其特征在于,综合偏好分数获得单元用于:
将用户对所述视觉特征的偏好分数之和作为用户对所获取的图片对象的综合偏好分数。
19.如权利要求16所述的装置,其特征在于,图片对象获取单元还用于:获取与所述搜索请求匹配的图片对象的原始排序分值,则所述综合偏好分数获得单元用于:
将用户对所述视觉特征的偏好分数之和加上获取的所述图片对象的原始排序分值,作为用户对所获取的图片对象的综合偏好分数;或
将用户对所述视觉特征的偏好分数之和与预定调整值的乘积加上获取的所述图片对象的原始排序分值后得到的和值作为用户对所获取的图片对象的综合偏好分数。
20.如权利要求16、18、19中任一个所述的装置,其特征在于,排序单元用于:
按照用户对所获取的图片对象的综合偏好分数从高到低的顺序为所述图片对象排序。
CN201510144467.8A 2015-03-30 2015-03-30 用于图片对象搜索结果排序的相关方法及装置 Active CN106156063B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510144467.8A CN106156063B (zh) 2015-03-30 2015-03-30 用于图片对象搜索结果排序的相关方法及装置
PCT/CN2016/076951 WO2016155537A1 (zh) 2015-03-30 2016-03-22 用于图片对象搜索结果排序的相关方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510144467.8A CN106156063B (zh) 2015-03-30 2015-03-30 用于图片对象搜索结果排序的相关方法及装置

Publications (2)

Publication Number Publication Date
CN106156063A CN106156063A (zh) 2016-11-23
CN106156063B true CN106156063B (zh) 2019-10-01

Family

ID=57004200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510144467.8A Active CN106156063B (zh) 2015-03-30 2015-03-30 用于图片对象搜索结果排序的相关方法及装置

Country Status (2)

Country Link
CN (1) CN106156063B (zh)
WO (1) WO2016155537A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878037B2 (en) 2018-06-21 2020-12-29 Google Llc Digital supplement association and retrieval for visual search
EP3811238A1 (en) * 2018-06-21 2021-04-28 Google LLC Digital supplement association and retrieval for visual search

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320387A (zh) * 2008-07-11 2008-12-10 浙江大学 基于用户关注时间的网页文本与图像排序方法
US8374914B2 (en) * 2008-08-06 2013-02-12 Obschestvo S Ogranichennoi Otvetstvennostiu “Kuznetch” Advertising using image comparison
CN101510218A (zh) * 2009-03-26 2009-08-19 阿里巴巴集团控股有限公司 实现图片搜索的方法及网站服务器
CN101634996A (zh) * 2009-08-13 2010-01-27 浙江大学 基于综合考量的个性化视频排序方法
US9588992B2 (en) * 2010-09-30 2017-03-07 Microsoft Technology Licensing, Llc Displaying images interesting to a user
CN102103641A (zh) * 2011-03-08 2011-06-22 西安交通大学 在用户浏览网络图像中添加图标广告的方法
US20140250110A1 (en) * 2011-11-25 2014-09-04 Linjun Yang Image attractiveness based indexing and searching
CN102799635B (zh) * 2012-06-27 2015-10-28 天津大学 一种用户驱动的图像集合排序方法
CN103514254A (zh) * 2013-07-04 2014-01-15 李文博 一种挖掘用户隐性操作行为的图像集合排序方法

Also Published As

Publication number Publication date
WO2016155537A1 (zh) 2016-10-06
CN106156063A (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
US20210182333A1 (en) Correlating image annotations with foreground features
US6556710B2 (en) Image searching techniques
CN104572651B (zh) 图片排序方法及装置
JP4363792B2 (ja) 情報検索システムおよび方法
EP2741254B1 (en) Color determination device, color determination system, color determination method, information recording medium, and program
US6522782B2 (en) Image and text searching techniques
CN112567361A (zh) 计算机通信网络上基于属性的可视化搜索的***和方法
JP6740457B2 (ja) 商標画像のコンテンツ・ベースの検索及び取得
JP5212610B2 (ja) 代表画像又は代表画像群の表示システム、その方法、およびそのプログラム並びに、代表画像又は代表画像群の選択システム、その方法およびそのプログラム
US8731308B2 (en) Interactive image selection method
CN104572735B (zh) 一种图片标注词推荐方法及装置
CN108694223A (zh) 一种用户画像库的构建方法及装置
US9798741B2 (en) Interactive image selection method
US20160055179A1 (en) System and method for using an image to provide search results
CN103988202A (zh) 基于索引和搜索的图像吸引力
CN103064903B (zh) 图片检索方法和装置
JP2011154687A (ja) 画像データセットをナビゲートするための方法、装置、及びプログラム
CN110020093A (zh) 视频检索方法、边缘设备、视频检索装置及存储介质
CN108492160A (zh) 信息推荐方法和装置
US6522780B1 (en) Indexing of images and/or text
CN105894362A (zh) 一种推荐视频中的相关物品的方法及装置
CN103440262A (zh) 基于相关反馈和Bag-of-Features的图像检索***及方法
US9466003B2 (en) System and method for using an image to provide search results
CN106156063B (zh) 用于图片对象搜索结果排序的相关方法及装置
US6522779B2 (en) Representing an image with a posterized joint histogram

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1229923

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant