CN111797765B - 图像处理方法、装置、服务器及存储介质 - Google Patents

图像处理方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN111797765B
CN111797765B CN202010637297.8A CN202010637297A CN111797765B CN 111797765 B CN111797765 B CN 111797765B CN 202010637297 A CN202010637297 A CN 202010637297A CN 111797765 B CN111797765 B CN 111797765B
Authority
CN
China
Prior art keywords
image
target
target image
importance
importance parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010637297.8A
Other languages
English (en)
Other versions
CN111797765A (zh
Inventor
张水发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202010637297.8A priority Critical patent/CN111797765B/zh
Publication of CN111797765A publication Critical patent/CN111797765A/zh
Application granted granted Critical
Publication of CN111797765B publication Critical patent/CN111797765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/535Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开关于一种图像处理方法、装置、服务器及存储介质,属于计算机技术领域。所述方法包括:获取目标图像;对所述目标图像进行识别,得到所述目标图像的图像内容信息,所述图像内容信息包括所述目标图像的文本内容和对象关键字中至少一项;根据所述图像内容信息,确定所述目标图像的重要性参数,所述重要性参数用于表示所述图像内容信息与所述目标图像的相关程度;将所述目标图像按照所述重要性参数,添加至所述图像内容信息对应的索引的图像中。本公开通过将目标图像按照重要性参数添加至对应索引的图像中,进而在索引被命中时,能够优先输出重要性参数较高,也即与索引相关程度较高的图像,提高图像检索的准确性。

Description

图像处理方法、装置、服务器及存储介质
技术领域
本公开涉及计算机技术领域,尤其涉及一种图像处理方法、装置、服务器及存储介质。
背景技术
当前,用户可以通过输入检索词,从海量图像中搜索其所需的图像。服务器可以基于用户输入的检索词和图像数据库中图像的索引,查找与检索词匹配的图像,反馈给用户。
相关技术中,服务器可以对图像数据库中的图像进行分类,将图像的类别作为图像的索引。在进行图像检索时,服务器比较用户输入的检索词和图像数据库中的图像的索引,将匹配到的图像反馈给用户。
上述过程中,图像的索引为图像的类别,该索引对图像中所包含信息的表达较为片面,基于该索引进行图像检索的准确性较低。
发明内容
本公开实施例提供了一种图像处理方法、装置、服务器及存储介质,以提高图像检索的准确性。本公开的技术方案如下:
根据本公开实施例的第一方面,提供了一种图像处理方法,所述方法包括:
获取目标图像;
对所述目标图像进行识别,得到所述目标图像的图像内容信息,所述图像内容信息包括所述目标图像的文本内容和对象关键字中至少一项;
根据所述图像内容信息,确定所述目标图像的重要性参数,所述重要性参数用于表示所述图像内容信息与所述目标图像的相关程度;
将所述目标图像按照所述重要性参数,添加至所述图像内容信息对应的索引的图像中。
在一种可能的实现方式中,所述图像内容信息包括所述对象关键字,所述根据所述图像内容信息,确定所述目标图像的重要性参数,包括:
响应于所述对象关键字所指示的类别为目标类别,将所述目标类别对应的重要性参数确定为所述目标图像的重要性参数。
在另一种可能的实现方式中,所述图像内容信息包括所述对象关键字,所述根据所述图像内容信息,确定所述目标图像的重要性参数,包括:
响应于所述对象关键字所指示的类别不是目标类别,根据所述对象关键字对应的对象在所述目标图像中的第一位置,确定所述对象关键字对应的第一重要性参数,所述第一重要性参数与所述第一位置和所述目标图像中的第一目标位置之间的距离呈负相关;
将所述第一重要性参数确定为所述目标图像的重要性参数。
在另一种可能的实现方式中,所述将所述目标图像按照所述重要性参数,添加至所述图像内容信息对应的索引的图像中之前,所述图像处理方法还包括:
确定所述文本内容与所述对象关键字之间的第一相关性;
响应于所述第一相关性符合第一目标条件,增大所述对象关键字对应的重要性参数;
响应于所述第一相关性不符合所述第一目标条件,降低所述对象关键字对应的重要性参数。
在另一种可能的实现方式中,所述将所述目标图像按照所述重要性参数,添加至所述图像内容信息对应的索引的图像中之前,所述图像处理方法还包括:
确定所述对象关键字与所述目标图像的图像特征之间的第二相关性;
响应于所述第二相关性符合第二目标条件,增大所述对象关键字对应的重要性参数;
响应于所述第二相关性不符合所述第二目标条件,降低所述对象关键字对应的重要性参数。
在另一种可能的实现方式中,所述图像内容信息包括所述文本内容,所述根据所述图像内容信息,确定所述目标图像的重要性参数,包括:
根据所述文本内容在所述目标图像中的第二位置和所述文本内容在所述目标图像中所占的文本面积,确定所述文本内容对应的第二重要性参数,所述第二重要性参数与所述第二位置和所述目标图像的第二目标位置之间的距离呈负相关,且与所述文本面积呈正相关;
将所述第二重要性参数确定为所述目标图像的重要性参数。
在另一种可能的实现方式中,所述文本内容的编辑类型包括人为编辑类型和场景拍摄类型,所述人为编辑类型的文本内容对应的第二重要性参数大于所述场景拍摄类型的文本内容对应的第二重要性参数。
在另一种可能的实现方式中,所述图像内容信息还包括所述目标图像的场景信息,所述将所述目标图像按照所述重要性参数,添加至所述图像内容信息对应的索引的图像中之前,所述图像处理方法还包括:
确定所述文本内容与所述场景信息之间的第三相关性;
响应于所述第三相关性符合第三目标条件,增大所述文本内容对应的重要性参数;
响应于所述第三相关性不符合第三目标条件,降低所述文本内容对应的重要性参数。
在另一种可能的实现方式中,所述图像内容信息对应的索引对应有多个图像,所述将所述目标图像按照所述重要性参数,添加至所述图像内容信息对应的索引的图像中,包括:
分别比较所述目标图像的重要性参数和所述多个图像的重要性参数,确定所述目标图像在所述多个图像中的排序位置;
将所述目标图像添加至所述排序位置。
在另一种可能的实现方式中,所述图像处理方法还包括:
响应于接收到检索指令,且所述检索指令包括的检索词命中任一索引,从所述被命中的索引对应的多个图像中,按照所述多个图像的重要性参数从大到小的顺序,输出所述检索指令对应的图像。
根据本公开实施例的第二方面,提供了一种图像处理装置,所述装置包括:
获取单元,被配置为执行获取目标图像;
识别单元,被配置为执行对所述目标图像进行识别,得到所述目标图像的图像内容信息,所述图像内容信息包括所述目标图像的文本内容和对象关键字中至少一项;
第一确定单元,被配置为执行根据所述图像内容信息,确定所述目标图像的重要性参数,所述重要性参数用于表示所述图像内容信息与所述目标图像的相关程度;
添加单元,被配置为执行将所述目标图像按照所述重要性参数,添加至所述图像内容信息对应的索引的图像中。
在一种可能的实现方式中,所述图像内容信息包括所述对象关键字,所述第一确定单元,被配置为执行响应于所述对象关键字所指示的类别为目标类别,将所述目标类别对应的重要性参数确定为所述目标图像的重要性参数。
在另一种可能的实现方式中,所述图像内容信息包括所述对象关键字,所述第一确定单元,被配置为执行:
响应于所述对象关键字所指示的类别不是目标类别,根据所述对象关键字对应的对象在所述目标图像中的第一位置,确定所述对象关键字对应的第一重要性参数,所述第一重要性参数与所述第一位置和所述目标图像中的第一目标位置之间的距离呈负相关;
将所述第一重要性参数确定为所述目标图像的重要性参数。
在另一种可能的实现方式中,所述图像处理装置还包括:
第二确定单元,被配置为执行确定所述文本内容与所述对象关键字之间的第一相关性;
第一增大单元,被配置为执行响应于所述第一相关性符合第一目标条件,增大所述对象关键字对应的重要性参数;
第一降低单元,被配置为执行响应于所述第一相关性不符合所述第一目标条件,降低所述对象关键字对应的重要性参数。
在另一种可能的实现方式中,所述图像处理装置还包括:
第三确定单元,被配置为执行确定所述对象关键字与所述目标图像的图像特征之间的第二相关性;
第二增大单元,被配置为执行响应于所述第二相关性符合第二目标条件,增大所述对象关键字对应的重要性参数;
第二降低单元,被配置为执行响应于所述第二相关性不符合所述第二目标条件,降低所述对象关键字对应的重要性参数。
在另一种可能的实现方式中,所述图像内容信息包括所述文本内容,所述第一确定单元,被配置为执行:
根据所述文本内容在所述目标图像中的第二位置和所述文本内容在所述目标图像中所占的文本面积,确定所述文本内容对应的第二重要性参数,所述第二重要性参数与所述第二位置和所述目标图像的第二目标位置之间的距离呈负相关,且与所述文本面积呈正相关;
将所述第二重要性参数确定为所述目标图像的重要性参数。
在另一种可能的实现方式中,所述文本内容的编辑类型包括人为编辑类型和场景拍摄类型,所述人为编辑类型的文本内容对应的第二重要性参数大于所述场景拍摄类型的文本内容对应的第二重要性参数。
在另一种可能的实现方式中,所述图像处理装置还包括:
第四确定单元,被配置为执行确定所述文本内容与所述场景信息之间的第三相关性;
第三增大单元,被配置为执行响应于所述第三相关性符合第三目标条件,增大所述文本内容对应的重要性参数;
第三降低单元,被配置为执行响应于所述第三相关性不符合第三目标条件,降低所述文本内容对应的重要性参数。
在另一种可能的实现方式中,所述图像内容信息对应的索引对应有多个图像,所述添加单元,被配置为执行:
分别比较所述目标图像的重要性参数和所述多个图像的重要性参数,确定所述目标图像在所述多个图像中的排序位置;
将所述目标图像添加至所述排序位置。
在另一种可能的实现方式中,所述图像处理装置还包括:
输出单元,被配置为执行响应于接收到检索指令,且所述检索指令包括的检索词命中任一索引,从所述被命中的索引对应的多个图像中,按照所述多个图像的重要性参数从大到小的顺序,输出所述检索指令对应的图像。
根据本公开实施例的第三方面,提供了一种服务器,所述服务器包括:一个或多个处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现第一方面所述的图像处理方法。
根据本公开实施例的第四方面,提供了一种存储介质,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行第一方面所述的图像处理方法。
根据本公开实施例的第五方面,提供了一种计算机程序产品,当所述计算机程序产品中的指令由服务器的处理器执行时,使得服务器能够执行第一方面所述的图像处理方法。
本公开实施例提供的技术方案至少带来以下有益效果:
通过对目标图像的识别,得到包括有文本内容和对象关键字中至少一项的图像内容信息,充分利用图像内容信息,确定目标图像在任一图像内容信息的维度上的重要性参数,按照重要性参数将目标图像添加至图像内容信息对应的索引所指向的图像中,从而使得索引所指向的图像按照图像内容信息与目标图像的相关程度进行排列,进而在索引被命中时,能够优先输出与索引相关程度较高的图像,提高图像检索的准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法的实施环境示意图;
图2是根据一示例性实施例示出的一种图像处理方法的流程图;
图3是根据一示例性实施例示出的一种图像处理方法的流程图;
图4是根据一示例性实施例示出的一种图像处理装置的框图;
图5是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。
图1是根据一示例性实施例示出的一种图像处理方法的实施环境示意图。参见图1,该实施环境具体包括:终端101和服务器102。
终端101可以为智能手机、平板电脑、智能手表、台式电脑、手提电脑和膝上型便携计算机等设备中的至少一种。终端101上可以安装并运行有各类应用程序,如视频分享应用程序、浏览器应用程序、社交应用程序或者图像分享应用程序等,其中,视频分享应用程序可以为短视频应用程序或者直播应用程序等。终端101上的应用程序可以通过与服务器102的交互,为用户提供图像或视频的搜索功能、图像或视频的推荐功能等。
终端101可以泛指多个终端中的一个,本公开实施例仅以终端101来举例说明。本领域技术人员可以知晓,上述终端的数量可以更多或更少。比如上述终端可以仅为几个,或者上述终端为几十个或几百个,或者更多数量,本公开实施例对终端的数量和设备类型均不加以限定。
服务器102可以为一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。服务器102可以从图像中识别出图像内容信息,按照用于表示图像内容信息与图像之间相关程度的重要性参数,建立起图像的索引。服务器102可以通过无线网络或有线网络与终端101相连,服务器102可以在接收到终端101发送的检索指令时,根据该检索指令包括的检索词所命中的索引,从该索引对应的多个图像中,按照多个图像的重要性参数从大到小的顺序,向终端101返回相应的图像,以便终端101将接收到的图像展示给用户。可选地,上述服务器的数量可以更多或更少,本公开实施例对此不加以限定。当然,服务器102还可以包括其他功能服务器,以便提供更全面且多样化的服务。
图2是根据一示例性实施例示出的一种图像处理方法的流程图。参见图2,该图像处理方法包括以下步骤。
在步骤S201中,获取目标图像。
在步骤S202中,对目标图像进行识别,得到目标图像的图像内容信息,图像内容信息包括目标图像的文本内容和对象关键字中至少一项。
在步骤S203中,根据图像内容信息,确定目标图像的重要性参数,重要性参数用于表示图像内容信息与目标图像的相关程度。
在步骤S204中,将目标图像按照重要性参数,添加至图像内容信息对应的索引的图像中。
在本公开实施例中,通过对目标图像的识别,得到包括有文本内容和对象关键字中至少一项的图像内容信息,充分利用图像内容信息,确定目标图像在任一图像内容信息的维度上的重要性参数,按照重要性参数将目标图像添加至图像内容信息对应的索引所指向的图像中,从而使得索引所指向的图像按照图像内容信息与目标图像的相关程度进行排列,进而在索引被命中时,能够优先输出与索引相关程度较高的图像,提高图像检索的准确性。
在一种可能的实现方式中,图像内容信息包括对象关键字,根据图像内容信息,确定目标图像的重要性参数,包括:
响应于对象关键字所指示的类别为目标类别,将目标类别对应的重要性参数确定为目标图像的重要性参数。
在另一种可能的实现方式中,图像内容信息包括对象关键字,根据图像内容信息,确定目标图像的重要性参数,包括:
响应于对象关键字所指示的类别不是目标类别,根据对象关键字对应的对象在目标图像中的第一位置,确定对象关键字对应的第一重要性参数,第一重要性参数与第一位置和目标图像中的第一目标位置之间的距离呈负相关;
将第一重要性参数确定为目标图像的重要性参数。
在另一种可能的实现方式中,将目标图像按照重要性参数,添加至图像内容信息对应的索引的图像中之前,该图像处理方法还包括:
确定文本内容与对象关键字之间的第一相关性;
响应于第一相关性符合第一目标条件,增大对象关键字对应的重要性参数;
响应于第一相关性不符合第一目标条件,降低对象关键字对应的重要性参数。
在另一种可能的实现方式中,将目标图像按照重要性参数,添加至图像内容信息对应的索引的图像中之前,该图像处理方法还包括:
确定对象关键字与目标图像的图像特征之间的第二相关性;
响应于第二相关性符合第二目标条件,增大对象关键字对应的重要性参数;
响应于第二相关性不符合第二目标条件,降低对象关键字对应的重要性参数。
在另一种可能的实现方式中,图像内容信息包括文本内容,根据图像内容信息,确定目标图像的重要性参数,包括:
根据文本内容在目标图像中的第二位置和文本内容在目标图像中所占的文本面积,确定文本内容对应的第二重要性参数,第二重要性参数与第二位置和目标图像的第二目标位置之间的距离呈负相关,且与文本面积呈正相关;
将第二重要性参数确定为目标图像的重要性参数。
在另一种可能的实现方式中,文本内容的编辑类型包括人为编辑类型和场景拍摄类型,人为编辑类型的文本内容对应的第二重要性参数大于场景拍摄类型的文本内容对应的第二重要性参数。
在另一种可能的实现方式中,图像内容信息还可以包括目标图像的场景信息,将目标图像按照重要性参数,添加至图像内容信息对应的索引的图像中之前,该图像处理方法还包括:
确定文本内容与场景信息之间的第三相关性;
响应于第三相关性符合第三目标条件,增大文本内容对应的重要性参数;
响应于第三相关性不符合第三目标条件,降低文本内容对应的重要性参数。
在另一种可能的实现方式中,图像内容信息对应的索引对应有多个图像,将目标图像按照重要性参数,添加至图像内容信息对应的索引的图像中,包括:
分别比较目标图像的重要性参数和多个图像的重要性参数,确定目标图像在多个图像中的排序位置;
将目标图像添加至排序位置。
在另一种可能的实现方式中,该图像处理方法还包括:
响应于接收到检索指令,且检索指令包括的检索词命中任一索引,从被命中的索引对应的多个图像中,按照多个图像的重要性参数从大到小的顺序,输出检索指令对应的图像。
图3是根据一示例性实施例示出的一种图像处理方法的流程图。参见图3,该图像处理方法包括以下步骤。
在步骤S301中,服务器获取目标图像。
目标图像为需要构建索引的图像。服务器可以维护有图像数据库,从该图像数据库中获取目标图像。其中,服务器可以获取图像数据库中的任一图像作为目标图像;服务器也可以获取图像数据库中新增的未构建索引的图像作为目标图像。
在本公开的另一实施例中,目标图像也可以为从视频中提取的图像,目标图像用于代表该视频的视频内容。例如,服务器为视频分享应用程序提供服务,用户可以通过视频分享应用程序上传视频至服务器,服务器可以从用户上传的视频中提取目标图像。
服务器可以从视频中提取任一帧的图像作为目标图像,例如,服务器可以从视频中提取该视频的封面图像,将封面图像确定为目标图像;服务器也可以从视频中随机提取某一帧的图像作为目标图像。服务器也可以从视频中提取任意多帧的图像作为目标图像。例如,服务器可以按照时间周期从视频中获取多帧的图像作为目标图像,服务器也可以从视频中随机获取多帧的图像作为目标图像。
服务器可以获取到一个目标图像,对该目标图像进行处理;服务器也可以获取到多个目标图像,对多个目标图像中的每个图像进行处理;在步骤S302至步骤S305中,以服务器对一个目标图像的处理为例进行说明。
在步骤S302中,服务器对目标图像进行识别,得到目标图像的图像内容信息,图像内容信息包括目标图像的文本内容和对象关键字。
图像内容信息用于反映目标图像所表达的图像内容。其中,图像内容信息包括的对象关键字用于指示目标图像中所包含的对象的类别,例如,对象关键字可以包括人物、猫或狗等类别中的任一项。若图像内容信息包括对象关键字,图像内容信息可以包括一个或多个对象关键字,每个对象关键字分别对应于目标图像中所包含的一个对象。另外,图像内容信息还可以包括用于表示目标图像所拍摄场景的场景信息。
在一种可能的实现方式中,图像内容信息包括目标图像的对象关键字,服务器对目标图像进行识别,得到目标图像的图像内容信息的步骤可以为:服务器将目标图像输入到至少一个对象分类模型中,根据每个对象分类模型的输出,确定目标图像的对象关键字。
其中,对象分类模型可以为多分类模型,该对象分类模型用于基于对目标图像所包含的对象的识别,从多个类别标签中为该对象分配一个类别标签,并输出该类别标签;服务器可以将对象分类模型输出的类别标签确定为对象关键字。例如,对象分类模型对应的多个类别标签可以包括猫和狗,若目标图像所包含的对象为猫,对象分类模型可以输出目标图像的类别标签为猫。
对象分类模型也可以为二分类模型,该对象分类模型用于确定并输出目标图像所包含的对象是否为该对象分类模型所识别的类别;若该对象分类模型的输出用于表示目标图像所包含的对象是该对象分类模型所识别的类别,则服务器可以将该对象分类模型所识别的类别确定为对象关键字。例如,对象分类模型所识别的类别为人物,若目标图像所包含的对象为人物,对象分类模型可以输出用于表示目标图像中包含人物的结果,则服务器可以将人物确定为对象关键字。
进一步的,若对象关键字所指示的类别符合第四目标条件,则服务器可以对目标图像进行进一步的识别,基于识别结果进一步确定对象关键字。第四目标条件可以为对象关键字所指示的类别能够进行类别细分,例如,第四目标条件可以为对象关键字所指示的类别为人物。
若第四目标条件为对象关键字所指示的类别为人物,且对象关键字所指示的类别符合该第四目标条件,则服务器对目标图像进行进一步识别,确定对象关键字的步骤可以为:服务器提取目标图像所包含的人物的第一人脸图像;通过人脸识别模型,比对第一人脸图像和目标人脸库中的人脸图像,目标人脸库存储有属于目标类别的人物的人脸图像;响应于第一人脸图像与目标人脸库中的第二人脸图像匹配,确定目标图像所包含的人物属于目标类别,将该目标类别确定为目标图像所包含的人物对应的对象关键字。其中,目标类别可以为在某一领域具有影响力的人物所属的类别,例如,目标类别可以为歌手、演员或者官方发言人等。
需要说明的一点是,服务器可以将目标类别确定为目标图像的对象关键字中的一个,例如,服务器确定出目标图像所包含的对象为人物,且该人物所属的目标类别为歌手,则目标图像的对象关键字可以包括人物和歌手。服务器也可以将目标类别更新为目标图像所包含的人物对应的对象关键字。例如,服务器确定出目标图像所包含的对象为人物,且该人物所属的目标类别为歌手,则目标图像的对象关键字可以包括歌手。
进一步的,若第一人脸图像与目标人脸库中的第二人脸图像匹配,服务器还可以获取该第二人脸图像对应的人物的基本信息,将该基本信息确定为目标图像所包含的人物对应的对象关键字。例如,人物的基本信息可以包括人物姓名,服务器可以将人物姓名确定为目标图像所包含的人物对应的对象关键字。例如,服务器确定出目标图像所包含的对象为人物,且该人物所属的目标类别为歌手,且该人物的基本信息包括人物姓名小A,则目标图像的对象关键字可以包括歌手和小A。
若第一人脸图像与目标人脸库中的第二人脸图像不匹配,服务器还可以通过人脸分类模型,对第一人脸图像进行识别,确定目标图像所包含的人物对应的对象关键字。相应的,若第一人脸图像与目标人脸库中的第二人脸图像不匹配,服务器确定对象关键字的步骤可以为:服务器响应于第一人脸图像与目标人脸库中的第二人脸图像不匹配,将第一人脸图像输入到人脸分类模型中,得到目标图像所包含的人物对应的形象标签;将该形象标签确定为目标图像所包含的人物对应的对象关键字。其中,形象标签用于表示目标图像所包含的人物的形象状态,例如,形象标签可以为美女或帅哥等。
进一步的,服务器还可以根据目标图像所包含的人物的第一人脸图像,通过年龄识别模型,对该人物的年龄进行识别,将该人物的年龄确定为目标图像所包含的人物对应的对象关键字。服务器也可以根据目标图像所包含的人物的第一人脸图像,通过性别识别模型,对该人物的性别进行识别,将该人物的性别确定为目标图像所包含的人物对应的对象关键字。
需要说明的一点是,若第四目标条件为对象关键字所指示的类别为人物,且对象关键字所指示的类别符合该第四目标条件,则服务器对目标图像进行进一步识别,确定对象关键字的步骤还可以为:服务器提取目标图像所包含的人物的人体图像;将人体图像输入到姿态识别模型中,得到目标图像所包含的人物的姿态信息;将该姿态信息确定为目标图像所包含人物对应的对象关键字。
需要说明的另一点是,服务器还可以基于对目标图像所包含的对象的识别,确定目标图像所包含的对象在目标图像中的第一位置、在目标图像中所占的对象面积或目标图像所包含的对象所在区域的宽高比;将第一位置、对象面积和目标图像所包含的对象所在区域的宽高比中的一项或多项作为图像内容信息。
在另一种可能的实现方式中,图像内容信息包括目标图像的文本内容,服务器可以通过OCR(Optical Character Recognition,光学字符识别)技术,对目标图像进行识别,得到目标图像的文本内容。
需要说明的一点是,服务器在对目标图像进行识别的同时,还可以确定文本内容的编辑类型,该编辑类型包括人为编辑类型和场景拍摄类型。其中,在图像拍摄后人为编辑添加到图像上的文本内容的编辑类型为人为编辑类型;在图像拍摄过程中存在于拍摄场景中的文本内容的编辑类型为场景拍摄类型。
上述服务器确定文本内容的编辑类型的步骤可以为:服务器响应于文本内容所在区域的分辨率与目标图像中其他区域的分辨率不同,确定文本内容的编辑类型为人为编辑类型;服务器响应于文本内容所在区域的分辨率与目标图像中其他区域的分辨率相同,确定文本内容的编辑类型为场景拍摄类型。
需要说明的另一点是,服务器还可以基于识别出的文本内容,确定文本内容在目标图像中的第二位置、文本内容在目标图像中所占的文本面积、文本内容所在区域的宽高比和文本内容所包括文字的文字大小中的一项或多项,将第二位置、文本面积、文本内容所在区域的宽高比和文本内容所包括文字的文字大小中的一项或多项作为图像内容信息。
在本公开实施例中,通过对目标图像的识别,挖掘了更加丰富的图像内容信息,使得图像内容信息对目标图像所表达的图像内容的反映更加全面,提高了图像内容信息对目标图像反映的真实性。
在步骤S303中,服务器根据对象关键字,确定目标图像的重要性参数,重要性参数用于表示对象关键字与目标图像的相关程度。
其中,对象关键字代表目标图像中所包含的对象,若对象关键字所代表的对象为目标图像中重点突出的对象,则该对象关键字与目标图像的相关程度越高,对应的重要性参数也就越高。
目标图像可以对应有一项对象关键字,服务器可以根据该项对象关键字,确定目标图像的重要性参数。例如,目标图像中所包含的对象为猫,目标图像的对象关键字为“猫”,服务器可以根据“猫”,确定目标图像的重要性参数。目标图像也可以对应有多项对象关键字,服务器可以分别根据每项对象关键字,确定在每项对象关键字的维度上目标图像的重要性参数,例如,目标图像中包含的对象包括歌手小A和柴犬,目标图像的关键字可以包括“小A”和“柴犬”,目标图像的重要性参数包括“小A”对应的重要性参数和“柴犬”对应的重要性参数。
服务器可以根据对象关键字所指示的类别是否为目标类别,确定目标图像的重要性参数。在一种可能的实现方式中,若对象关键字所指示的类别为目标类别,则服务器根据图像内容信息,确定目标图像的重要性参数的步骤可以为:服务器响应于对象关键字所指示的类别为目标类别,将目标类别对应的重要性参数确定为目标图像的重要性参数。其中,该目标类别对应的重要性参数为在该对象关键字的维度上目标图像的重要性参数。
目标类别为目标图像所包含的对象所属的细分类别,目标类别对应的重要性参数大于其他类别对应的重要性参数。目标类别可以为在某一领域具有影响力的人物的类别,该目标类别对应的重要性参数大于其他类别对应的重要性参数,并且,该目标类别对应的重要性参数还可以为每项图像内容信息对应的重要性参数中最大的。
例如,目标类别可以为明星,该目标类别对应的重要性参数可以为9,其他类别如美女类别或帅哥类别对应的重要性参数可以为7。由于目标类别是基于对目标图像中所包含的对象进行识别得到的,能够真实的反映目标图像所表达的图像内容,若目标图像的图像内容信息中还包括文本内容,则目标类别对应的重要性参数还可以大于该文本内容对应的重要性参数。
需要说明的一点是,服务器还可以先根据对象关键字进行重要性分级,确定对象关键字的重要性级别,再将该重要性级别对应的重要性参数确定为目标图像的重要性参数。例如,重要性级别的划分可以包括最重要级别、比较重要级别和一般重要级别,服务器响应于对象关键字所指示的类别为目标类别,确定目标类别的重要性级别为最重要级别;将最重要级别对应的重要性参数确定为目标图像的重要性参数。
在本公开实施例中,在对象关键字所指示的类别为目标类别时,服务器可以将目标类别对应的重要性参数确定为目标图像的重要性参数,并且,目标类别对应的重要性参数大于其他类别对应的重要性参数,进而在检索词命中对象关键字对应的索引时,能够使重要性参数较大的图像被优先输出,提高图像检索的准确性。
在另一种可能的实现方式中,若对象关键字所指示的类别不是目标类别,服务器可以根据对象关键字对应的对象的位置,确定重要性参数。相应的,服务器根据图像内容信息,确定目标图像的重要性参数的步骤可以为:服务器响应于对象关键字所指示的类别不是目标类别,根据对象关键字对应的对象在目标图像中的第一位置,确定对象关键字对应的第一重要性参数,第一重要性参数与第一位置和目标图像中的第一目标位置之间的距离呈负相关;将第一重要性参数确定为目标图像的重要性参数。其中,第一重要性参数为在该对象关键字的维度上目标图像的重要性参数。
第一目标位置为目标图像中用于突出主体的位置,例如,第一目标位置可以为目标图像的中心位置。对象关键字对应的对象在目标图像中的第一位置可以为该对象所在区域的任一位置,例如,第一位置可以为该对象的中心位置。
第一重要性参数与第一位置和第一目标位置之间的距离呈负相关,也即,第一位置与第一目标位置之间的距离越小,对象越靠近目标图像的中央,则该对象对应的重要性参数越大;第一位置与第一目标位置之间的距离越大,对象越远离目标图像的中央,则该对象对应的重要性参数越小。
需要说明的一点是,服务器还可以结合对象关键字对应的对象所在区域的对象面积,确定对象关键字对应的第一重要性参数,其中,第一重要性参数与对象面积呈正相关,与第一位置和第一目标位置之间的距离呈负相关。
需要说明的另一点是,服务器也可以先根据第一位置和第一目标位置之间的距离,确定对象关键字对应的对象的重要性级别,再将该重要性级别对应的重要性参数确定为第一重要性参数。
在本公开实施例中,在对象关键字所指示的类别不是目标类别时,服务器还可以根据对象关键字对应的对象所在的第一位置与目标图像中第一目标位置的距离,确定与该距离呈负相关的重要性参数,使得与第一目标位置距离越小的对象对应的重要性参数越大,也即,使得位于目标图像主***置的对象对应的重要性参数越大,进而在检索词命中对象关键字对应的索引时,能够使得图像内容与检索词相关程度更大的图像被优先输出,提高图像检索的准确性。
需要说明的另一点是,若图像内容信息包括目标图像的文本内容和对象关键字,则服务器根据对象关键字,确定目标图像的重要性参数之后,还可以根据文本内容和对象关键字之间的相关性,调整对象关键字对应的重要性参数。相应的,服务器调整对象关键字对应的重要性参数的步骤可以为:服务器确定文本内容与对象关键字之间的第一相关性;响应于第一相关性符合第一目标条件,增大对象关键字对应的重要性参数;响应于第一相关性不符合第一目标条件,降低对象关键字对应的重要性参数。
其中,第一相关性用于表示文本内容与对象关键字之间的相关程度。第一目标条件可以为预先设定的条件,例如,第一目标条件可以为第一相关性大于第一阈值。第一目标条件可以对应有调整系数,服务器响应于第一相关性符合第一目标条件,可以基于该调整系数,增大对象关键字对应的重要性参数。服务器响应于第一相关性不符合第一目标条件,基于该调整系数,降低对象关键字对应的重要性参数。例如,服务器可以将对象关键字对应的原重要性参数与调整系数相加,得到增大后的重要性参数;服务器也可以将对象关键字对应的原重要性参数与调整系数相乘,得到增大后的重要性参数。
若重要性参数是基于重要性级别得到的重要性参数,第一目标条件也可以对应有级别调整信息,该级别调整信息用于指示升高或降低对应的重要性级别,服务器基于该级别调整信息调整重要性级别后,再将调整后的重要性级别对应的重要性参数更新为对象关键字对应的重要性参数。例如,对象关键字对应的重要性级别为一般重要级别,服务器响应于第一相关性符合第一目标条件,获取第一目标条件对应的级别调整信息,该级别调整信息用于指示对重要性级别升高一级;根据该级别调整信息,将对象关键字对应的重要性级别调整为比较重要级别;将比较重要级别对应的重要性参数更新为对象关键字对应的重要性参数。
上述服务器确定文本内容与对象关键字之间的第一相关性的步骤可以为:服务器获取文本内容的特征向量和对象关键字的特征向量;确定文本内容的特征向量和对象关键字的特征向量之间的距离;将文本内容的特征向量和对象关键字的特征向量之间的距离确定为第一相关性。其中,服务器可以通过word2vec(word to vector,一群用来产生词向量的相关模型)提取文本内容的特征向量和对象关键字的特征向量,也即提取文本内容的embedding(嵌入)特征和对象关键字的embedding特征。
在本公开实施例中,服务器还可以根据文本内容与对象关键字之间的第一相关性,调整对象关键字对应的重要性参数,在第一相关性符合第一目标条件,也即文本内容与对象关键字的相关程度较高时,增大对象关键字对应的重要性参数,进而在检索词命中对象关键字对应的索引时,能够使得文本内容与对象关键字相关程度较高的图像被优先输出,也即使得文本内容与目标图像所包含的对象相关程度较高的图像被优先输出,提高图像检索的准确性。
需要说明的另一点是,服务器根据对象关键字,确定目标图像的重要性参数之后,还可以根据对象关键字和目标图像的图像特征之间的相关性,调整对象关键字对应的重要性参数。相应的,服务器调整对象关键字对应的重要性参数的步骤可以为:服务器确定对象关键字与目标图像的图像特征之间的第二相关性;响应于第二相关性符合第二目标条件,增大对象关键字对应的重要性参数;响应于第二相关性不符合第二目标条件,降低对象关键字对应的重要性参数。其中,目标图像的图像特征可以为图像embedding特征,服务器根据对象关键字和目标图像的图像特征之间的相关性,调整对象关键字对应的重要性参数的过程与服务器根据文本内容和对象关键字之间的相关性,调整对象关键字对应的重要性参数的过程同理。
在本公开实施例中,服务器还可以根据对象关键字与目标图像的图像特征之间的第二相关性,调整对象关键字对应的重要性参数,在第二相关性符合第二目标条件,也即对象关键字与目标图像的相关程度较高时,增大对象关键字对应的重要性参数,进而在检索词命中对象关键字对应的索引时,能够使得对象关键字与目标图像的相关程度较高的图像被优先输出,提高图像检索的准确性。
在步骤S304中,服务器根据文本内容,确定目标图像的重要性参数,重要性参数用于表示文本内容与目标图像的相关程度。
其中,文本内容为目标图像的解释说明,若文本内容在目标图像中被重点突出,则该文本内容与目标图像的相关程度越高,对应的重要性参数也就越高。
服务器可以根据文本内容的位置和文本面积,确定目标图像的重要性参数。相应的,本步骤可以为:服务器根据文本内容在目标图像中的第二位置和文本内容在目标图像中所占的文本面积,确定文本内容对应的第二重要性参数,第二重要性参数与第二位置和目标图像的第二目标位置之间的距离呈负相关,且与文本面积呈正相关;将第二重要性参数确定为目标图像的重要性参数。
其中,第二目标位置为目标图像中用于突出显示文本内容的位置,例如,第二目标位置可以为目标图像的中心位置,第二目标位置也可以为目标图像的顶部区域的中心位置。
在本公开实施例中,文本内容对应的第二重要性参数与第二位置和第二目标位置之间的距离呈负相关,与文本面积呈正相关,也即,若文本内容的文本面积越大,所在的第二位置越靠近第二目标位置,越能代表目标图像的主题,则该文本内容对应的第二重要性参数越大;若文本内容的文本面积越小,所在的第二位置越不靠近第二目标位置,该文本内容为目标图像的主题的补充说明,则该文本内容对应的第二重要性参数越小,从而第二重要性参数能够表示文本内容与目标图像的相关程度,进而在检索词命中文本内容对应的索引时,能够使得文本内容与目标图像相关程度较高的图像被优先输出,提高图像检索的准确性。
需要说明的一点是,文本内容的编辑类型包括人为编辑类型和场景拍摄类型,人为编辑类型的文本内容对应的第二重要性参数大于场景拍摄类型的文本内容对应的第二重要性参数。
在本公开实施例中,由于人为编辑类型的文本内容用于突出表达目标图像的主题,令人为编辑类型的文本内容对应的第二重要性参数大于场景拍摄类型的文本内容对应的第二重要性参数,能够在检索词命中文本内容对应的索引时,使得主题与检索词匹配的目标图像被优先输出,提高图像检索的准确性。
需要说明的另一点是,服务器还可以结合文本内容所包括文字的文字大小,确定文本内容对应的第二重要性参数,其中,第二重要性参数与文字大小呈正相关,文字大小可以为文本内容中任一文字所属的文字区域的面积。文字大小越大,表示文本内容越需要重点突出,则该文本内容对应的第二重要性参数越大,越能够在进行检索时被优先输出,提高图像检索的准确性。
需要说明的另一点是,当文本内容由一排或一列文字组成时,服务器还可以结合文本内容所在区域的宽高比,确定文本内容对应的第二重要性参数。其中,第二重要性参数与文本内容所在区域的宽高比成负相关。文本内容所在区域的宽高比能够表示文本内容所包含的文字字数,若宽高比越大,也即文字字数越多,表示文本内容为目标图像的补充说明,则该文本内容对应的第二重要性参数越小,在进行图像检索时,若作为补充说明的文本内容与检索词匹配,该文本内容对应的目标图像会被延后输出,从而能够提高图像检索的准确性。
需要说明的另一点是,图像内容信息还可以包括目标图像的场景信息,场景信息用于表示目标图像所拍摄的场景,例如,场景信息可以为演唱会、动物园或篮球场等。服务器根据文本内容,确定目标图像的重要性系数之后,还可以根据文本内容与场景信息之间的相关性,调整文本内容对应的重要性参数。相应的,服务器调整文本内容对应的重要性参数的步骤可以为:服务器确定文本内容与场景信息之间的第三相关性;响应于第三相关性符合第三目标条件,增大文本内容对应的重要性参数;响应于第三相关性不符合第三目标条件,降低文本内容对应的重要性参数。
其中,服务器根据文本内容与场景信息之间的相关性,调整文本内容对应的重要性参数的过程与服务器根据文本内容与对象关键字之间的相关性,调整对象关键字对应的重要性参数的过程同理。例如,目标图像的文本内容为“打篮球”,目标图像的场景信息为篮球场,则第三相关性符合第三目标条件,则增大该文本内容对应的重要性参数。
在本公开实施例中,服务器还可以根据文本内容与场景信息之间的相关性,调整文本内容的重要性参数,在文本内容与场景信息的相关程度较高时,增大文本内容对应的重要性系数,进而能够在检索词命中文本内容对应的索引时,使得文本内容与场景信息相关程度较高的目标图像被优先输出,提高图像检索的准确性。
需要说明的另一点是,图像内容信息可以包括目标图像的文本内容和对象关键字中的两项;图像内容信息也可以包括目标图像的对象关键字这一项,则服务器可以在执行步骤S303后,直接执行步骤S305;图像内容信息也可以包括目标图像的文本内容这一项,则服务器可以在执行步骤S302后,直接执行步骤304。
需要说明的另一点是,当图像内容信息包括目标图像的文本内容和对象关键字中的两项时,步骤S303和步骤S304没有严格的时间先后顺序,可以先执行步骤S303,再执行步骤S304;也可以先执行步骤S304,再执行步骤S303;还可以同时执行步骤S303和步骤S304;在本公开实施例中,对步骤S303和步骤S304的执行顺序不加以限定。
在步骤S305中,服务器将目标图像按照重要性参数,添加至图像内容信息对应的索引的图像中。
索引用于指向多个与该索引对应的图像。例如,索引为“篮球”,该索引可以对应有多个对象关键字包括“篮球”或文本内容包括“篮球”的图像。每个图像可以对应于多个索引,例如,目标图像的对象关键字包括“小A”和“篮球”,“小A”对应的索引所指向的图像包括该目标图像,“篮球”对应的索引所指向的图像也可以包括该目标图像。基于目标图像对应的任一索引,均能查找到该目标图像。
在一种可能的实现方式中,目标图像为新增的未构建索引的图像,服务器可以将该目标图像的重要性参数与该目标图像的图像内容信息对应的索引已指向的多个图像的重要性参数进行比较,将目标图像添加至图像内容信息对应的索引的图像中。相应的,若图像内容信息对应的索引对应有多个图像,服务器将目标图像按照重要性参数,添加至图像内容信息对应的索引的图像中的步骤可以为:服务器分别比较目标图像的重要性参数和多个图像的重要性参数,确定目标图像在多个图像中的排序位置;将目标图像添加至排序位置。其中,服务器确定的排序位置之前的图像的重要性参数大于目标图像的重要性参数,且该排序位置之后的图像的重要性参数小于目标图像的重要性参数。
例如,目标图像的对象关键字包括“篮球”,目标图像在“篮球”维度上的重要性参数为8,“篮球”对应的索引已指向的多个图像可以包括图像a、图像b和图像c,图像a的重要性参数为9,图像b的重要性参数为6,图像c的重要性参数为4,则目标图像的排序位置可以在图像a和图像b之间。
在另一种可能的实现方式中,目标图像为图像数据库中的任一图像,服务器可以根据任一索引所指向的多个图像的重要性参数,对每个图像的重要性参数进行排序,按照重要性参数从大到小的顺序,将该多个图像添加至该索引的图像中。
需要说明的一点是,服务器根据任一索引所指向的多个图像的重要性参数,对每个图像的重要性参数进行排序之前,还需要建立索引与图像的对应关系,服务器可以将图像内容信息确定为索引,建立图像内容信息与该索引匹配的图像和该索引之间的对应关系。
需要说明的另一点是,服务器可以将目标图像按照重要性参数,添加至图像内容信息对应的索引所指向的图像中。服务器也可以按照重要性参数,将目标图像的图像标识,添加至图像内容信息对应的索引所指向的图像标识中。
需要说明的另一点是,服务器也可以在将目标图像添加至图像内容信息对应的索引的图像中时,先不对目标图像按照重要性参数从大到小的顺序进行排序,对目标图像的重要性参数以及目标图像与图像内容信息对应的索引的对应关系进行存储即可。服务器可以在接收到检索指令,且索引被检索指令包括的检索词命中时,再对该索引对应的多个图像按照重要性参数从大到小的顺序进行排序,按照重要性参数从大到小的顺序,输出检索指令对应的图像。
在本公开的另一实施例中,若目标图像为从视频中提取的任一帧的图像,服务器可以按照目标图像的重要性参数,将该目标图像对应的视频添加至图像内容信息对应的索引所指向的视频中。若服务器从视频中提取任意多帧的图像作为目标图像,服务器可以根据对应的多个目标图像的重要性参数,确定该视频的重要性参数,将该视频按照该视频的重要性参数,添加至图像内容信息对应的索引所指向的视频中。
需要说明的另一点是,服务器可以响应于接收到检索指令,且检索指令包括的检索词命中任一索引,从被命中的索引对应的多个图像中,按照多个图像的重要性参数从大到小的顺序,输出检索指令对应的图像。其中,检索指令可以为用户执行搜索操作时,触发终端发送的,检索指令包括的检索词可以为用户输入的检索词。检索指令还可以为用户执行推荐操作时,触发终端发送的,检索指令包括的检索词可以用于表示用户感兴趣的图像类别。检索指令还可以为具有推荐排序功能的服务器发送的,该检索指令包括的检索词用于表示用户感兴趣的图像类别。
在本公开实施例中,重要性参数用于表示图像内容信息与目标图像的相关程度,按照重要性参数从大到小的顺序输出图像,能够保证图像内容信息与目标图像相关程度较高的图像被优先输出,提高图像检索的准确性。
在本公开实施例中,通过对目标图像的识别,得到包括有文本内容和对象关键字中至少一项的图像内容信息,充分利用图像内容信息,确定目标图像在任一图像内容信息的维度上的重要性参数,按照重要性参数将目标图像添加至图像内容信息对应的索引所指向的图像中,从而使得索引所指向的图像按照图像内容信息与目标图像的相关程度进行排列,进而在索引被命中时,能够优先输出与索引相关程度较高的图像,提高图像检索的准确性。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
图4是根据一示例性实施例示出的一种图像处理装置的框图。参见图4,该图像处理装置包括获取单元401、识别单元402、第一确定单元403和添加单元404。
获取单元401,被配置为执行获取目标图像;
识别单元402,被配置为执行对目标图像进行识别,得到目标图像的图像内容信息,图像内容信息包括目标图像的文本内容和对象关键字中至少一项;
第一确定单元403,被配置为执行根据图像内容信息,确定目标图像的重要性参数,重要性参数用于表示图像内容信息与目标图像的相关程度;
添加单元404,被配置为执行将目标图像按照重要性参数,添加至图像内容信息对应的索引的图像中。
在一种可能的实现方式中,图像内容信息包括对象关键字,第一确定单元403,被配置为执行响应于对象关键字所指示的类别为目标类别,将目标类别对应的重要性参数确定为目标图像的重要性参数。
在另一种可能的实现方式中,图像内容信息包括对象关键字,第一确定单元403,被配置为执行:
响应于对象关键字所指示的类别不是目标类别,根据对象关键字对应的对象在目标图像中的第一位置,确定对象关键字对应的第一重要性参数,第一重要性参数与第一位置和目标图像中的第一目标位置之间的距离呈负相关;
将第一重要性参数确定为目标图像的重要性参数。
在另一种可能的实现方式中,该图像处理装置还包括:
第二确定单元,被配置为执行确定文本内容与对象关键字之间的第一相关性;
第一增大单元,被配置为执行响应于第一相关性符合第一目标条件,增大对象关键字对应的重要性参数;
第一降低单元,被配置为执行响应于第一相关性不符合第一目标条件,降低对象关键字对应的重要性参数。
在另一种可能的实现方式中,该图像处理装置还包括:
第三确定单元,被配置为执行确定对象关键字与目标图像的图像特征之间的第二相关性;
第二增大单元,被配置为执行响应于第二相关性符合第二目标条件,增大对象关键字对应的重要性参数;
第二降低单元,被配置为执行响应于第二相关性不符合第二目标条件,降低对象关键字对应的重要性参数。
在另一种可能的实现方式中,图像内容信息包括文本内容,第一确定单元403,被配置为执行:
根据文本内容在目标图像中的第二位置和文本内容在目标图像中所占的文本面积,确定文本内容对应的第二重要性参数,第二重要性参数与第二位置和目标图像的第二目标位置之间的距离呈负相关,且与文本面积呈正相关;
将第二重要性参数确定为目标图像的重要性参数。
在另一种可能的实现方式中,文本内容的编辑类型包括人为编辑类型和场景拍摄类型,人为编辑类型的文本内容对应的第二重要性参数大于场景拍摄类型的文本内容对应的第二重要性参数。
在另一种可能的实现方式中,该图像处理装置还包括:
第四确定单元,被配置为执行确定文本内容与场景信息之间的第三相关性;
第三增大单元,被配置为执行响应于第三相关性符合第三目标条件,增大文本内容对应的重要性参数;
第三降低单元,被配置为执行响应于第三相关性不符合第三目标条件,降低文本内容对应的重要性参数。
在另一种可能的实现方式中,图像内容信息对应的索引对应有多个图像,添加单元404,被配置为执行:
分别比较目标图像的重要性参数和多个图像的重要性参数,确定目标图像在多个图像中的排序位置;
将目标图像添加至排序位置。
在另一种可能的实现方式中,该图像处理装置还包括:
输出单元,被配置为执行响应于接收到检索指令,且检索指令包括的检索词命中任一索引,从被命中的索引对应的多个图像中,按照多个图像的重要性参数从大到小的顺序,输出检索指令对应的图像。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
需要说明的是:上述实施例提供的图像处理装置在进行图像处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将服务器的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
在本公开实施例中,通过对目标图像的识别,得到包括有文本内容和对象关键字中至少一项的图像内容信息,充分利用图像内容信息,确定目标图像在任一图像内容信息的维度上的重要性参数,按照重要性参数将目标图像添加至图像内容信息对应的索引所指向的图像中,从而使得索引所指向的图像按照图像内容信息与目标图像的相关程度进行排列,进而在索引被命中时,能够优先输出与索引相关程度较高的图像,提高图像检索的准确性。
图5是根据一示例性实施例示出的一种服务器的框图,该服务器102可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central ProcessingUnits,CPU)1021和一个或一个以上的存储器1022,其中,存储器1022用于存储可执行指令,处理器1021被配置为执行上述可执行指令,以实现上述各个方法实施例提供的图像处理方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器1022,上述指令可由服务器1020的处理器1021执行以完成上述图像处理方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,非临时性计算机可读存储介质可以是ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory,只读光盘)、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品,当计算机程序产品中的指令由服务器的处理器执行时,使得服务器能够执行上述各个方法实施例中的图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (20)

1.一种图像处理方法,其特征在于,所述方法包括:
获取目标图像;
对所述目标图像进行识别,得到所述目标图像的图像内容信息,所述图像内容信息包括所述目标图像的文本内容和对象关键字中至少一项,所述文本内容的编辑类型包括人为编辑类型和场景拍摄类型,所述人为编辑类型的文本内容对应的第二重要性参数大于所述场景拍摄类型的文本内容对应的第二重要性参数;
根据所述图像内容信息,确定所述目标图像的重要性参数,所述重要性参数用于表示所述图像内容信息与所述目标图像的相关程度;
根据所述文本内容与所述目标图像的场景信息之间的相关性,调整所述文本内容对应的重要性参数;
将所述目标图像按照所述重要性参数,添加至所述图像内容信息对应的索引的图像中。
2.根据权利要求1所述的图像处理方法,其特征在于,所述图像内容信息包括所述对象关键字,所述根据所述图像内容信息,确定所述目标图像的重要性参数,包括:
响应于所述对象关键字所指示的类别为目标类别,将所述目标类别对应的重要性参数确定为所述目标图像的重要性参数。
3.根据权利要求1所述的图像处理方法,其特征在于,所述图像内容信息包括所述对象关键字,所述根据所述图像内容信息,确定所述目标图像的重要性参数,包括:
响应于所述对象关键字所指示的类别不是目标类别,根据所述对象关键字对应的对象在所述目标图像中的第一位置,确定所述对象关键字对应的第一重要性参数,所述第一重要性参数与所述第一位置和所述目标图像中的第一目标位置之间的距离呈负相关;
将所述第一重要性参数确定为所述目标图像的重要性参数。
4.根据权利要求1所述的图像处理方法,其特征在于,所述将所述目标图像按照所述重要性参数,添加至所述图像内容信息对应的索引的图像中之前,所述图像处理方法还包括:
确定所述文本内容与所述对象关键字之间的第一相关性;
响应于所述第一相关性符合第一目标条件,增大所述对象关键字对应的重要性参数;
响应于所述第一相关性不符合所述第一目标条件,降低所述对象关键字对应的重要性参数。
5.根据权利要求1所述的图像处理方法,其特征在于,所述将所述目标图像按照所述重要性参数,添加至所述图像内容信息对应的索引的图像中之前,所述图像处理方法还包括:
确定所述对象关键字与所述目标图像的图像特征之间的第二相关性;
响应于所述第二相关性符合第二目标条件,增大所述对象关键字对应的重要性参数;
响应于所述第二相关性不符合所述第二目标条件,降低所述对象关键字对应的重要性参数。
6.根据权利要求1所述的图像处理方法,其特征在于,所述图像内容信息包括所述文本内容,所述根据所述图像内容信息,确定所述目标图像的重要性参数,包括:
根据所述文本内容在所述目标图像中的第二位置和所述文本内容在所述目标图像中所占的文本面积,确定所述文本内容对应的第二重要性参数,所述第二重要性参数与所述第二位置和所述目标图像的第二目标位置之间的距离呈负相关,且与所述文本面积呈正相关;
将所述第二重要性参数确定为所述目标图像的重要性参数。
7.根据权利要求1所述的图像处理方法,其特征在于,所述图像内容信息还包括所述目标图像的场景信息,所述将所述目标图像按照所述重要性参数,添加至所述图像内容信息对应的索引的图像中之前,所述图像处理方法还包括:
确定所述文本内容与所述场景信息之间的第三相关性;
响应于所述第三相关性符合第三目标条件,增大所述文本内容对应的重要性参数;
响应于所述第三相关性不符合第三目标条件,降低所述文本内容对应的重要性参数。
8.根据权利要求1所述的图像处理方法,其特征在于,所述图像内容信息对应的索引对应有多个图像,所述将所述目标图像按照所述重要性参数,添加至所述图像内容信息对应的索引的图像中,包括:
分别比较所述目标图像的重要性参数和所述多个图像的重要性参数,确定所述目标图像在所述多个图像中的排序位置;
将所述目标图像添加至所述排序位置。
9.根据权利要求1所述的图像处理方法,其特征在于,所述图像处理方法还包括:
响应于接收到检索指令,且所述检索指令包括的检索词命中任一索引,从被命中的索引对应的多个图像中,按照所述多个图像的重要性参数从大到小的顺序,输出所述检索指令对应的图像。
10.一种图像处理装置,其特征在于,所述装置包括:
获取单元,被配置为执行获取目标图像;
识别单元,被配置为执行对所述目标图像进行识别,得到所述目标图像的图像内容信息,所述图像内容信息包括所述目标图像的文本内容和对象关键字中至少一项,所述文本内容的编辑类型包括人为编辑类型和场景拍摄类型,所述人为编辑类型的文本内容对应的第二重要性参数大于所述场景拍摄类型的文本内容对应的第二重要性参数;
第一确定单元,被配置为执行根据所述图像内容信息,确定所述目标图像的重要性参数,所述重要性参数用于表示所述图像内容信息与所述目标图像的相关程度;
第三增大单元和第三降低单元,被配置为执行根据所述文本内容与所述目标图像的场景信息之间的相关性,调整所述文本内容对应的重要性参数;
添加单元,被配置为执行将所述目标图像按照所述重要性参数,添加至所述图像内容信息对应的索引的图像中。
11.根据权利要求10所述的图像处理装置,其特征在于,所述图像内容信息包括所述对象关键字,所述第一确定单元,被配置为执行响应于所述对象关键字所指示的类别为目标类别,将所述目标类别对应的重要性参数确定为所述目标图像的重要性参数。
12.根据权利要求10所述的图像处理装置,其特征在于,所述图像内容信息包括所述对象关键字,所述第一确定单元,被配置为执行:
响应于所述对象关键字所指示的类别不是目标类别,根据所述对象关键字对应的对象在所述目标图像中的第一位置,确定所述对象关键字对应的第一重要性参数,所述第一重要性参数与所述第一位置和所述目标图像中的第一目标位置之间的距离呈负相关;
将所述第一重要性参数确定为所述目标图像的重要性参数。
13.根据权利要求10所述的图像处理装置,其特征在于,所述图像处理装置还包括:
第二确定单元,被配置为执行确定所述文本内容与所述对象关键字之间的第一相关性;
第一增大单元,被配置为执行响应于所述第一相关性符合第一目标条件,增大所述对象关键字对应的重要性参数;
第一降低单元,被配置为执行响应于所述第一相关性不符合所述第一目标条件,降低所述对象关键字对应的重要性参数。
14.根据权利要求10所述的图像处理装置,其特征在于,所述图像处理装置还包括:
第三确定单元,被配置为执行确定所述对象关键字与所述目标图像的图像特征之间的第二相关性;
第二增大单元,被配置为执行响应于所述第二相关性符合第二目标条件,增大所述对象关键字对应的重要性参数;
第二降低单元,被配置为执行响应于所述第二相关性不符合所述第二目标条件,降低所述对象关键字对应的重要性参数。
15.根据权利要求10所述的图像处理装置,其特征在于,所述图像内容信息包括所述文本内容,所述第一确定单元,被配置为执行:
根据所述文本内容在所述目标图像中的第二位置和所述文本内容在所述目标图像中所占的文本面积,确定所述文本内容对应的第二重要性参数,所述第二重要性参数与所述第二位置和所述目标图像的第二目标位置之间的距离呈负相关,且与所述文本面积呈正相关;
将所述第二重要性参数确定为所述目标图像的重要性参数。
16.根据权利要求10所述的图像处理装置,其特征在于,所述图像内容信息还包括所述目标图像的场景信息,所述图像处理装置还包括:
第四确定单元,被配置为执行确定所述文本内容与所述场景信息之间的第三相关性;
所述第三增大单元,被配置为执行响应于所述第三相关性符合第三目标条件,增大所述文本内容对应的重要性参数;
所述第三降低单元,被配置为执行响应于所述第三相关性不符合第三目标条件,降低所述文本内容对应的重要性参数。
17.根据权利要求10所述的图像处理装置,其特征在于,所述图像内容信息对应的索引对应有多个图像,所述添加单元,被配置为执行:
分别比较所述目标图像的重要性参数和所述多个图像的重要性参数,确定所述目标图像在所述多个图像中的排序位置;
将所述目标图像添加至所述排序位置。
18.根据权利要求10所述的图像处理装置,其特征在于,所述图像处理装置还包括:
输出单元,被配置为执行响应于接收到检索指令,且所述检索指令包括的检索词命中任一索引,从被命中的索引对应的多个图像中,按照所述多个图像的重要性参数从大到小的顺序,输出所述检索指令对应的图像。
19.一种服务器,其特征在于,所述服务器包括:
一个或多个处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至9中任一项所述的图像处理方法。
20.一种存储介质,其特征在于,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行如权利要求1至9中任一项所述的图像处理方法。
CN202010637297.8A 2020-07-03 2020-07-03 图像处理方法、装置、服务器及存储介质 Active CN111797765B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010637297.8A CN111797765B (zh) 2020-07-03 2020-07-03 图像处理方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010637297.8A CN111797765B (zh) 2020-07-03 2020-07-03 图像处理方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN111797765A CN111797765A (zh) 2020-10-20
CN111797765B true CN111797765B (zh) 2024-04-16

Family

ID=72810334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010637297.8A Active CN111797765B (zh) 2020-07-03 2020-07-03 图像处理方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN111797765B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673427B (zh) * 2021-08-20 2024-03-22 北京达佳互联信息技术有限公司 视频识别方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982178A (zh) * 2012-12-17 2013-03-20 北京奇虎科技有限公司 一种图片搜索方法、装置和***
CN106708940A (zh) * 2016-11-11 2017-05-24 百度在线网络技术(北京)有限公司 用于处理图片的方法和装置
CN107679208A (zh) * 2017-10-16 2018-02-09 广东欧珀移动通信有限公司 一种图片的搜索方法、终端设备及存储介质
CN107818180A (zh) * 2017-11-27 2018-03-20 北京小米移动软件有限公司 视频关联方法、视频显示方法、装置及存储介质
CN109635135A (zh) * 2018-11-30 2019-04-16 Oppo广东移动通信有限公司 图像索引生成方法、装置、终端及存储介质
CN110020185A (zh) * 2017-12-29 2019-07-16 国民技术股份有限公司 智能搜索方法、终端及服务器
CN110837579A (zh) * 2019-11-05 2020-02-25 腾讯科技(深圳)有限公司 视频分类方法、装置、计算机以及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982178A (zh) * 2012-12-17 2013-03-20 北京奇虎科技有限公司 一种图片搜索方法、装置和***
CN106708940A (zh) * 2016-11-11 2017-05-24 百度在线网络技术(北京)有限公司 用于处理图片的方法和装置
CN107679208A (zh) * 2017-10-16 2018-02-09 广东欧珀移动通信有限公司 一种图片的搜索方法、终端设备及存储介质
CN107818180A (zh) * 2017-11-27 2018-03-20 北京小米移动软件有限公司 视频关联方法、视频显示方法、装置及存储介质
CN110020185A (zh) * 2017-12-29 2019-07-16 国民技术股份有限公司 智能搜索方法、终端及服务器
CN109635135A (zh) * 2018-11-30 2019-04-16 Oppo广东移动通信有限公司 图像索引生成方法、装置、终端及存储介质
CN110837579A (zh) * 2019-11-05 2020-02-25 腾讯科技(深圳)有限公司 视频分类方法、装置、计算机以及可读存储介质

Also Published As

Publication number Publication date
CN111797765A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
US11645517B2 (en) Information processing method and terminal, and computer storage medium
CN110909182B (zh) 多媒体资源搜索方法、装置、计算机设备及存储介质
US10482146B2 (en) Systems and methods for automatic customization of content filtering
CN113204660B (zh) 多媒体数据处理方法、标签识别方法、装置及电子设备
CN110765286A (zh) 跨媒体检索方法、装置、计算机设备和存储介质
US20230351147A1 (en) Recommendation method and apparatus, and method and apparatus for publishing online prediction model
CN109241299B (zh) 多媒体资源搜索方法、装置、存储介质及设备
CN113255354B (zh) 搜索意图识别方法、装置、服务器及存储介质
CN114186013A (zh) 实体识别模型热更新方法及其装置、设备、介质、产品
CN111597446A (zh) 基于人工智能的内容推送方法、装置、服务器和存储介质
CN112765387A (zh) 图像检索方法、图像检索装置和电子设备
CN112860929A (zh) 一种图片搜索方法、装置、电子设备及存储介质
CN116034401A (zh) 用于使用自然语言描述检索视频的***和方法
US20240193790A1 (en) Data processing method and apparatus, electronic device, storage medium, and program product
CN111444313A (zh) 基于知识图谱的问答方法、装置、计算机设备和存储介质
CN115935049A (zh) 基于人工智能的推荐处理方法、装置及电子设备
CN111797765B (zh) 图像处理方法、装置、服务器及存储介质
CN112115354A (zh) 信息处理方法、装置、服务器及存储介质
CN116775980B (zh) 一种跨模态搜索方法及相关设备
CN113704623A (zh) 一种数据推荐方法、装置、设备及存储介质
CN111881352A (zh) 内容推送方法、装置、计算机设备和存储介质
CN110147488B (zh) 页面内容的处理方法、处理装置、计算设备及存储介质
CN112148855A (zh) 一种智能客服问题检索方法、终端以及存储介质
CN111611491A (zh) 搜索词推荐方法、装置、设备及可读存储介质
CN113672700B (zh) 内容项的搜索方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant