CN110765301A - 图片处理方法、装置、设备及存储介质 - Google Patents

图片处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110765301A
CN110765301A CN201911075405.0A CN201911075405A CN110765301A CN 110765301 A CN110765301 A CN 110765301A CN 201911075405 A CN201911075405 A CN 201911075405A CN 110765301 A CN110765301 A CN 110765301A
Authority
CN
China
Prior art keywords
picture
search
tag
label
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911075405.0A
Other languages
English (en)
Other versions
CN110765301B (zh
Inventor
林立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911075405.0A priority Critical patent/CN110765301B/zh
Publication of CN110765301A publication Critical patent/CN110765301A/zh
Application granted granted Critical
Publication of CN110765301B publication Critical patent/CN110765301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种图片处理方法、装置、设备及存储介质,其中,方法包括:接收图片搜索请求,所述图片搜索请求中包括搜索词;确定所述搜索词的词向量与图片标签集合中的标签的词向量之间的距离;其中,所述标签是用于标注图片内容的词汇;将距离满足条件的标签,确定为目标标签;将标签中包括所述目标标签的图片,确定为与所述图片搜索请求对应的搜索结果。通过本申请,能够准确的查找到用户想要搜索的图片,提高图片的搜索召回率。

Description

图片处理方法、装置、设备及存储介质
技术领域
本申请实施例涉及计算机领域,涉及但不限于一种图片处理方法、装置、设备及存储介质。
背景技术
随着智能终端的不断发展,目前的智能终端不仅拍照性能高,而且存储容量大,用户存储在终端中的图片越来越多,这样使得用户查找图片和管理相册均变得困难。为提高用户管理图片的效率,就需要一种能够实现对图片进行快速查找的方法。
目前,对终端上的图片进行查找的方法,通常是根据图片的存放路径进行分析,粗略分析出图片的标签属性以进行图片查找,或者是采用文本匹配的方式,将搜索词与图片的标签进行文本匹配,进行图片查找。
但是,不管是根据图片的存放路径进行图片查找,还是采用文本匹配的方式进行图片查找,查找能力均比较差,不能完全准确的查找到用户想要搜索的图片,图片的搜索召回率较低。
发明内容
本申请实施例提供一种图片处理方法、装置、设备及存储介质,能够提高图片的查找能力,准确的查找到用户想要搜索的图片,提高图片的搜索召回率。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种图片处理方法,包括:
接收图片搜索请求,所述图片搜索请求中包括搜索词;
确定所述搜索词的词向量与图片标签集合中的标签的词向量之间的距离;其中,所述标签是用于标注图片内容的词汇;
将距离满足条件的标签,确定为目标标签;
将标签中包括所述目标标签的图片,确定为与所述图片搜索请求对应的搜索结果。
本申请实施例提供一种图片处理装置,包括:
接收模块,用于接收图片搜索请求,所述图片搜索请求中包括搜索词;
第一确定模块,用于确定所述搜索词的词向量与图片标签集合中的标签的词向量之间的距离;其中,所述标签是用于标注图片内容的词汇;
第二确定模块,用于将距离满足条件的标签,确定为目标标签;
第三确定模块,用于将标签中包括所述目标标签的图片,确定为与所述图片搜索请求对应的搜索结果。
本申请实施例提供一种图片处理设备,包括:
存储器,用于存储可执行指令;处理器,用于执行所述存储器中存储的可执行指令时,实现上述的方法。
本申请实施例提供一种存储介质,存储有可执行指令,用于引起处理器执行时,实现上述的方法。
本申请实施例具有以下有益效果:
由于根据搜索词的词向量与图片标签集合中的标签的词向量之间的距离,将距离满足条件的标签,确定为目标标签,从而将标签中包括所述目标标签的图片,确定为与所述图片搜索请求对应的搜索结果,如此,通过计算搜索词的词向量与标签的词向量之间的距离,能够更加准确的确定出与搜索词对应的标签,从而准确的查找到具有该标签的图片为搜索结果,进而提高图片的查找能力,准确的查找到用户想要搜索的图片,提高图片的搜索召回率。
附图说明
图1A是本申请实施例提供的图片处理***10的一个可选的架构示意图;
图1B是本申请实施例提供的图片处理***20的另一个可选的架构示意图;
图2A是本申请实施例提供的图片处理***应用于区块链***的一个可选的结构示意图;
图2B是本申请实施例提供的区块结构的一个可选的示意图;
图3是本申请实施例提供的服务器的结构示意图;
图4是本申请实施例提供的图片处理方法的一个可选的流程示意图;
图5A是本申请实施例提供的相册管家APP的一种可选的界面图;
图5B是本申请实施例提供的相册管家APP的一种可选的界面图;
图5C是本申请实施例提供的相册管家APP的一种可选的界面图;
图5D是本申请实施例提供的相册管家APP的一种可选的界面图;
图6是本申请实施例提供的图片处理方法的一个可选的流程示意图;
图7是本申请实施例中根据搜索词“美食”搜索到的多张图片的界面图;
图8是本申请实施例提供的图片处理方法的一个可选的流程示意图;
图9是本申请实施例提供的图片处理方法的一个可选的流程示意图;
图10是本申请实施例提供的图片处理方法的一个可选的流程示意图;
图11是本申请实施例提供的图片处理方法的一个可选的流程示意图;
图12A是本申请实施例提供的产品界面图;
图12B是本申请实施例提供的搜索结果展示界面图;
图13是本申请实施例提供的图片标签分析的流程示意图;
图14是本申请实施例提供的图片查询的流程示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。除非另有定义,本申请实施例所使用的所有的技术和科学术语与属于本申请实施例的技术领域的技术人员通常理解的含义相同。本申请实施例所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)搜索准确率:搜索结果中搜索词对应类别的照片数目/搜索词对应总的搜索结果照片数目,也就是说,搜索得到的搜索结果中有多少结果是正确的,即搜索结果中正确结果所占的比例。搜索正确率是评估搜索结果中目标结果所占的比例。
2)搜索召回率:搜索结果中搜索词对应类别的照片数目/搜索词对应的类别样本照片数目,也就是说,在总的被搜索对象中,有多少正确的结果被搜索到,即,搜索结果中的正确结果占总的被搜索对象中的正确结果的比例。搜索召回率就是从所关注的领域中,召回目标类别的比例。
3)词向量(Word Embedding):词语嵌入式自然语言处理中的一组语言建模和特征学习技术的统称,其中来自词汇表的单词或短语被映射到实数的向量。从概念上讲,它涉及从每个单词一维的空间到具有更低维度的连续向量空间的数学嵌入。
4)卷积神经网络(CNN,Convolutional Neural Networks):是一类包含卷积计算且具有深度结构的前馈神经网络,是深度学***移不变分类,因此也被称为“平移不变人工神经网络(SIANN,Shift-Invariant Artificial Neural Networks)。
5)区块链(Blockchain):由区块(Block)形成的加密的、链式的交易的存储结构。
6)区块链网络(Blockchain Network):通过共识的方式将新区块纳入区块链的一系列的节点的集合。
为了更好地理解本申请实施例中提供的图片处理方法,首先对相关技术中的图片查找方法进行说明:
相关技术中,在进行终端上图片的搜索时,主要有以下几种方式:
方式一,将用户图片上传到服务器,然后对图片内容进行分析,提取出图片的内容标签,在用户搜索图片的时候,对用户输入的搜索词分析,采用文本匹配的方式匹配出与搜索词具有相同文本的标签对应的照片。
方式二,在终端本地进行搜索,终端对图片的存放路径进行分析,根据图片的存放路径粗略分析出用户图片的标签属性,这样可以进行粗略的搜索。
但是,对于上述方式一,至少存在以下问题:一方面,由于需要将图片上传到服务器后再通过服务器对图片进行分析,以确定图片的标签,因此,需要耗费大量的时间和流量,而用户对流量的使用是比较敏感的,因此,这种方式效率比较低,且影响用户的体验。另一方面,上传图片到服务器上,也会引起对用户的个人隐私的关注,用户对个人隐私非常敏感,为了分析图片而上传数据,会使用户对图片查找对应的应用产品产生怀疑。再一方面,在进行图片搜索的时候,会存在用户输入的搜索词与图片的标签并不是完全一致的,但是用户输入的搜索词与图片的标签表示同一个意思,例如,当用户输入的搜索词为“美食”,而图片的标签是“食物”,则如果采用文本匹配的方式进行匹配的话,“食物”和“美食”是不能完全匹配的,因此,仅采用文本匹配的方式进行搜索,会存在由于用户输入的搜索词无法匹配到标签库中的文本标签而造成的匹配不准确,搜索召回率低的问题。
对于上述方式二,至少存在以下问题:只对图片路径进行判断,而不基于图片内容进行分析,不能准确的搜索出用户想要搜索的图片。
基于相关技术所存在的至少一个问题,本申请实施例提供一种图片处理方法,确定搜索词的词向量与图片标签集合中的标签的词向量之间的距离,将距离满足条件的标签,确定为目标标签,从而将标签中包括所述目标标签的图片,确定为与所述图片搜索请求对应的搜索结果,如此,通过计算搜索词的词向量与标签的词向量之间的距离,能够更加准确的确定出与搜索词对应的标签,从而准确的查找到具有该标签的图片为搜索结果,进而提高图片的查找能力,准确的查找到用户想要搜索的图片,提高图片的搜索召回率。
另外,需要说明的是,本申请实施例提供的方案还涉及人工智能的模型构建技术,比如,构建用于对图片进行分类的图片分类模型,或者构建用于确定图片标签的模型等,将在下文进行说明。
这里,需要说明的是,人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
下面说明本申请实施例提供的图片处理设备的示例性应用,本申请实施例提供的设备可以实施为笔记本电脑,平板电脑,台式计算机,移动设备(例如,移动电话,便携式音乐播放器,个人数字助理,专用消息设备,便携式游戏设备)等各种类型的终端,也可以实施为服务器。
下面,将说明设备实施为服务器时的示例性应用。参见图1A,图1A是本申请实施例提供的图片处理***10的一个可选的架构示意图。为实现支撑一个图片处理应用(例如,可以是一个图片展示应用,也可以是一个图片搜索应用),终端(示例性示出了终端100-1和终端100-2)通过网络200连接所述图片处理应用的客户端对应的服务器300,终端获取图片搜索请求,并将图片搜索请求通过网络200发送给服务器300,以使得服务器300响应于所述图片搜索请求,确定所述搜索词的词向量与图片标签集合中的标签的词向量之间的距离,将距离满足条件的标签,确定为目标标签;最后将标签中包括所述目标标签的图片,确定为与所述图片搜索请求对应的搜索结果,并将所述搜索结果通过网络200发送给终端。其中,网络200可以是广域网或者局域网,又或者是二者的组合。终端可以在当前界面(示例性示出了当前界面110-1和当前界面110-2)上显示搜索结果对应的搜索图片,即在当前界面上显示搜索到的图片。
下面,将说明设备实施为终端时的示例性应用。参见图1B,图1B是本申请实施例提供的图片处理***20的另一个可选的架构示意图。为实现支撑一个图片处理应用(例如,可以是一个图片展示应用,也可以是一个图片搜索应用),终端(示例性示出了终端100-3和终端100-4)通过网络200连接所述图片处理应用的客户端对应的服务器300,终端获取图片搜索请求,并通过网络200向服务器300发送标签查找请求,服务器300响应于所述标签查找请求,将所述搜索词的词向量和图片标签集合中的标签的词向量通过网络200发送给终端。终端在接收到所述搜索词的词向量和图片标签集合中的标签的词向量时,确定所述搜索词的词向量与图片标签集合中的标签的词向量之间的距离,将距离满足条件的标签,确定为目标标签;最后将标签中包括所述目标标签的图片,确定为与所述图片搜索请求对应的搜索结果。终端可以在当前界面(示例性示出了当前界面110-3和当前界面110-4)上显示搜索结果对应的搜索图片。
本申请实施例涉及的图片处理***10或图片处理***20也可以是区块链***的分布式***101,参见图2A,图2A是本申请实施例提供的图片处理***10应用于区块链***的一个可选的结构示意图,其中,所述分布式***101可以是由多个节点102(接入网络中的任意形式的计算设备,如服务器、用户终端)和客户端103形成的分布式节点,节点之间形成组成的点对点(P2P,Peer To Peer)网络,P2P协议是一个运行在传输控制协议(TCP,Transmission Control Protocol)协议之上的应用层协议。在分布式***中,任何机器如服务器、终端都可以加入而成为节点,节点包括硬件层、中间层、操作***层和应用层。
参见图2A示出的区块链***中各节点的功能,涉及的功能包括:
1)路由,节点具有的基本功能,用于支持节点之间的通信。
节点除具有路由功能外,还可以具有以下功能:
2)应用,用于部署在区块链中,根据实际业务需求而实现特定业务,记录实现功能相关的数据形成记录数据,在记录数据中携带数字签名以表示任务数据的来源,将记录数据发送到区块链***中的其他节点,供其他节点在验证记录数据来源以及完整性成功时,将记录数据添加到临时区块中。
例如,应用实现的业务包括:
2.1)钱包,用于提供进行电子货币的交易的功能,包括发起交易(即,将当前交易的交易记录发送给区块链***中的其他节点,其他节点验证成功后,作为承认交易有效的响应,将交易的记录数据存入区块链的临时区块中;当然,钱包还支持查询电子货币地址中剩余的电子货币。
2.2)共享账本,用于提供账目数据的存储、查询和修改等操作的功能,将对账目数据的操作的记录数据发送到区块链***中的其他节点,其他节点验证有效后,作为承认账目数据有效的响应,将记录数据存入临时区块中,还可以向发起操作的节点发送确认。
2.3)智能合约,计算机化的协议,可以执行某个合约的条款,通过部署在共享账本上的用于在满足一定条件时而执行的代码实现,根据实际的业务需求代码用于完成自动化的交易,例如查询买家所购买商品的物流状态,在买家签收货物后将买家的电子货币转移到商户的地址;当然,智能合约不仅限于执行用于交易的合约,还可以执行对接收的信息进行处理的合约。
3)区块链,包括一系列按照产生的先后时间顺序相互接续的区块(Block),新区块一旦加入到区块链中就不会再被移除,区块中记录了区块链***中节点提交的记录数据。
4)共识(Consensus),是区块链网络中的一个过程,用于在涉及的多个节点之间对区块中的交易达成一致,达成一致的区块将被追加到区块链的尾部,实现共识的机制包括工作量证明(PoW,Proof of Work)、权益证明(PoS,Proof of Stake)、股份授权证明(DPoS,Delegated Proof-of-Stake)、消逝时间量证明(PoET,Proof of Elapsed Time)等。
参见图2B,图2B是本申请实施例提供的区块结构(Block Structure)的一个可选的示意图,每个区块中包括本区块存储交易记录的哈希值(本区块的哈希值)、以及前一区块的哈希值,各区块通过哈希值连接形成区块链。另外,区块中还可以包括有区块生成时的时间戳等信息。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了相关的信息,用于验证其信息的有效性(防伪)和生成下一个区块。
参见图3,图3是本申请实施例提供的服务器300的结构示意图,当设备实施为服务器时,图3所示的服务器300包括:至少一个处理器310、存储器350、至少一个网络接口320和用户接口330。服务器300中的各个组件通过总线***340耦合在一起。可理解,总线***340用于实现这些组件之间的连接通信。总线***340除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图3中将各种总线都标为总线***340。
处理器310可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口330包括使得能够呈现媒体内容的一个或多个输出装置331,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口330还包括一个或多个输入装置332,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器350可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器350可选地包括在物理位置上远离处理器310的一个或多个存储设备。存储器350包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Memory),易失性存储器可以是随机存取存储器(RAM,Random Access Memory)。本申请实施例描述的存储器350旨在包括任意适合类型的存储器。在一些实施例中,存储器350能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作***351,包括用于处理各种基本***服务和执行硬件相关任务的***程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块352,用于经由一个或多个(有线或无线)网络接口320到达其他计算设备,示例性的网络接口320包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
输入处理模块353,用于对一个或多个来自一个或多个输入装置332之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的装置可以采用软件方式实现,图3示出了存储在存储器350中的一种图片处理装置354,该图片处理装置354可以是服务器300中的图片处理装置,其可以是程序和插件等形式的软件,包括以下软件模块:接收模块3541、第一确定模块3542、第二确定模块3543和第三确定模块3544,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在其他实施例中,该图片处理装置354也可以部署在终端上,可以是终端中的图片处理装置,其也可以是程序和插件等形式的软件。
在另一些实施例中,本申请实施例提供的装置可以采用硬件方式实现,作为示例,本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的图片处理方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable GateArray)或其他电子元件。
下面将说明本申请实施例提供的图片处理方法。参见图4,图4是本申请实施例提供的图片处理方法的一个可选的流程示意图,将结合图4示出的步骤进行说明。
步骤S401,接收图片搜索请求,所述图片搜索请求中包括搜索词。
这里,可以是服务器接收终端发送的图片搜索请求,也可以是终端接收用户输入的图片搜索请求,即本申请实施例的图片处理设备可以实施为服务器,也可以实施为终端。如果没有特别说明的话,本申请实施例以图片处理设备实施为服务器为例,对图片处理方法进行说明。
所述图片搜索请求用于请求进行图片搜索,所述图片搜索请求中包括搜索词,所述搜索词为用于描述图片类别或者图片属性的词汇,所述搜索词可以是用户通过终端输入的文本词汇、语音词汇、表情词汇和手势词汇。
本申请实施例中,所述终端上可以运行有图片处理应用(APP,Application),所述图片处理应用能够实现以下功能:获取图片、存储图片和显示图片等任意至少一种与图片相关的处理功能。例如,所述图片处理应用可以是相册管家APP。
例如,当所述搜索词为用户通过终端输入的文本词汇时,在所述相册管家APP的当前界面上可以包括有一个用户输入搜索词的输入框。如图5A所示,是本申请实施例提供的相册管家APP的一种可选的界面图,在相册管家APP的当前界面50上具有一个输入框501,用户可以在输入框501输入想要搜索的图片的关键词,该关键词即所述搜索词。举例来说,用户可以在输入框501输入“美食”,则终端将“美食”作为搜索词添加到图片搜索请求中发送给服务器。
又例如,当所述搜索词为用户通过终端输入的语音词汇时,在所述相册管家APP的当前界面上可以包括有一个用于提醒用户语音输入的语音输入提醒标识,并且,相册管家APP具有语音采集和识别功能。如图5B所示,是本申请实施例提供的相册管家APP的一种可选的界面图,在相册管家APP的当前界面50上具有一个语音输入提醒标识502,当用户点击语音输入提醒标识502,或者,通过语音唤醒相册管家APP的语音采集和识别功能,或者,通过生物特征信息唤醒相册管家APP的语音采集和识别功能时,所述语音输入提醒标识502处于提醒状态,且所述相册管家APP的客户端通过终端的语音采集单元(例如,麦克风)采集用户的语音信息,并对所采集的语音信息进行语音识别,将识别结果作为所述搜索词。所述语音输入提醒标识502处于提醒状态可以是所述语音输入提醒标识502的颜色发生改变,或者,所述语音输入提醒标识502以动画形式显示,或者所述语音输入提醒标识502的形状发生变化,或者,所述语音输入提醒标识502的尺寸发生变化等任意一种标识形态变化。举例来说,用户可以通过指纹唤醒相册管家APP的语音采集和识别功能,然后对着终端说“美食”,则终端采集到用户的语音词汇“美食”,并将“美食”作为搜索词添加到图片搜索请求中发送给服务器。
又例如,当所述搜索词为用户通过终端输入的表情词汇时,在所述相册管家APP的当前界面上可以包括有一个用于提醒用户表情输入的表情输入提醒标识,并且,相册管家APP具有面部采集和识别功能。如图5C所示,是本申请实施例提供的相册管家APP的一种可选的界面图,在相册管家APP的当前界面50上具有一个表情输入提醒标识503,当用户点击表情输入提醒标识503,或者,通过语音唤醒相册管家APP的面部采集和识别功能,或者,通过生物特征信息唤醒相册管家APP的面部采集和识别功能时,所述表情输入提醒标识503处于提醒状态,且所述相册管家APP的客户端通过终端的图像采集单元(例如,摄像头)采集用户的面部信息,并对所采集的面部信息进行表情识别,将识别结果作为所述搜索词。举例来说,用户可以通过语音唤醒相册管家APP的面积采集和识别功能,然后用户对着终端笑,则终端可以采集并识别到用户的表情词汇为“开心”,并将“开心”作为搜索词添加到图片搜索请求中发送给服务器。
又例如,当所述搜索词为用户通过终端输入的手势词汇时,在所述相册管家APP的当前界面上可以包括有一个用于提醒用户手势输入的手势输入提醒标识,并且,相册管家APP具有手势采集和识别功能。如图5D所示,是本申请实施例提供的相册管家APP的一种可选的界面图,在相册管家APP的当前界面50上具有一个手势输入提醒标识504,当用户点击手势输入提醒标识504,或者,通过语音唤醒相册管家APP的手势采集和识别功能,或者,通过生物特征信息唤醒相册管家APP的手势采集和识别功能时,所述手势输入提醒标识504处于提醒状态,且所述相册管家APP的客户端通过终端的视频采集单元(例如,摄像头)采集用户的手势信息,并对所采集的手势信息进行手势识别,将识别结果作为所述搜索词。举例来说,用户可以通过语音唤醒相册管家APP的手势采集和识别功能,然后用户对着终端比出哑语手势“开心”,则终端可以采集并识别到用户的手势词汇为“开心”,并将“开心”作为搜索词添加到图片搜索请求中发送给服务器。
步骤S402,确定所述搜索词的词向量与图片标签集合中的标签的词向量之间的距离。
这里,当服务器获取到所述搜索词之后,在词向量数据库中查找所述搜索词的词向量,并且,获取图片标签集合中的标签,并在词向量数据库中查找每一标签的词向量。其中,图片标签集合中的标签是用于标注图片内容的词汇。
本申请实施例中,可以确定搜索词的词向量与每一标签的词向量之间的距离,所述距离表征了所述搜索词与对应标签之间的相似度高低,当所述距离较大时,表明所述搜索词与对应标签之间的相似度较低,当所述距离较小时,表明所述搜索词与对应标签之间的相似度较高。
步骤S403,将距离满足条件的标签,确定为目标标签。
这里,所述条件是预设的用于筛选标签的条件,例如,所述条件可以是搜索词的词向量与标签的词向量之间的距离在某一范围之内,或者,标签的个数等条件。本申请实施例中,当确定出搜索词的词向量与标签的词向量之间的距离之后,将距离满足条件的标签确定为目标标签,所述目标标签是与所述搜索词具有较高相似度的词汇。
步骤S404,将标签中包括所述目标标签的图片,确定为与所述图片搜索请求对应的搜索结果。
这里,对于终端上的图片,其中,每一图片均具有至少一个标签,当确定出目标标签之后,通过所述目标标签在终端上的全部图片中进行匹配,当任意一张或多张图片的标签中包括所述目标标签时,则将该一张或多张图片确定为搜索到的搜索结果,即将该一张或多张图片确定为与所述搜索词匹配的图片。
需要说明的是,所述搜索词可以与所述终端上的图片的标签相同,也可以不同,例如,所述搜索词可以为“美食”,而图片的标签可以即有“食物”,也有“美食”,在确定目标标签的时候,可以确定出满足条件的标签包括“食物”和“美食”,因此,在进行图片匹配的时候,可以即匹配出标签包括“食物”的图片,也匹配出标签包括“美食”的图片。
本申请实施例提供的图片处理方法,由于根据搜索词的词向量与图片标签集合中的标签的词向量之间的距离,将距离满足条件的标签确定为目标标签,从而将标签中包括所述目标标签的图片,确定为与所述图片搜索请求对应的搜索结果,如此,通过计算搜索词的词向量与标签的词向量之间的距离,能够更加准确的确定出与搜索词对应的标签,从而准确的查找到具有该标签的图片为搜索结果,进而提高图片的查找能力,准确的查找到用户想要搜索的图片,提高图片的搜索召回率。
图6是本申请实施例提供的图片处理方法的一个可选的流程示意图,如图6所示,所述方法包括以下步骤:
步骤S601,当获取到图片时,终端对所述图片进行识别,确定所述图片对应的内容。
这里,终端获取的图片可以是终端通过自身的图像采集单元(例如,摄像头)拍摄的照片,或者是用户在浏览网页或者使用其他应用程序所下载的图片,或者是用户备份在云端中相关的图片,或者是终端所缓存的用户浏览的图片等。
本申请实施例中,当终端获取到图片时,终端通过图片处理应用对应的图片分类模型对所述图片进行特征提取和特征识别,从而确定所述图片对应的内容。其中,所述图片分类模型可以是基于深度卷积神经网络,通过图片分类软件开发工具包(SDK,SoftwareDevelopment Kit)训练得到的。
步骤S602,终端根据所述图片对应的内容确定所述图片的类别。
这里,当确定出所述图片对应的内容之后,对所述内容进行分析,确定所述图片的类别。
例如,当确定出所述图片对应的内容包括文本内容时,则确定所述图片的类别为文本类别;当确定出所述图片对应的内容包括人物图像时,则确定所述图片的类别为人物类别;当确定出所述图片对应的内容包括植物和小溪时,则确定所述图片的类别为风景类别等。
步骤S603,终端将所述图片的类别确定为所述图片的标签。
这里,当确定出所述图片的类别之后,将所述类别确定为所述图片的标签,例如,当所述图片的类别为风景类别时,则该图片的标签为风景;当所述图片的类别为人物类别时,则该图片的标签为人物。
步骤S604,终端接收图片搜索请求。
这里,终端接收用户输入的图片搜索请求,所述图片搜索请求中包括用于进行搜索的搜索词。
步骤S605,终端将所述图片搜索请求发送给服务器。
步骤S606,服务器确定所述搜索词的词向量与图片标签集合中的标签的词向量之间的距离。其中,所述标签是用于标注图片内容的词汇;
步骤S607,服务器将距离满足条件的标签,确定为目标标签。
步骤S608,服务器将标签中包括所述目标标签的图片,确定为与所述图片搜索请求对应的搜索结果。
这里,服务器可以获取到终端上的全部图片和每一图片的标签。当服务器确定出所述目标标签之后,采用所述目标标签与每一图片的标签进行匹配,当图片的标签中包含有与所述目标标签相同的标签时,将该图片确定为搜索结果。
步骤S609,服务器将所述搜索结果发送给终端。
在其他实施例中,还可以是由服务器对搜索词进行后台分析,服务器向终端返回与搜索词匹配的目标标签,有终端在本地根据所述目标标签进行图片搜索,即,由终端将标签中包括所述目标标签的图片,确定为与所述图片搜索请求对应的搜索结果,这样既不影响用户体验,又提高了图片搜索的效率。
步骤S610,终端在当前界面上显示所述搜索结果对应的图片。
当搜索到与用户输入的搜索词对应的图片之后,将所述图片显示于当前界面,以便于用户查看。
在一些实施例中,在当前界面上还可以显示有用于确定搜索结果是否准确的判断框,如图7所示,是根据用户输入的搜索词“美食”搜索到的多张图片,在当前界面上显示所搜索到的图片,并且,在每一图片上还显示有一判断框701:“搜索准确?”或者在当前页面的任意位置显示所述判断框701(图7中示例性的示出了在当前页面的底部显示判断框701的情况,当然,在一些实施例中,判断框701也可以在每一张显示图片对应的位置显示),如果用户点击“是”的话,表明是用户想要搜索的图片,如果用户点击“否”的话,表明不是用户想要搜索的图片。因此,根据用户的点击操作,还可以确定本次搜索的搜索准确率。
本申请实施例提供的图片处理方法,终端实现对图片的分析,确定图片对应的标签,而无需将图片发送服务器,通过服务器确定图片的标签,这样效率更高,且用户对此无感知,不影响用户对产品的体验,同时,不需要对用户的数据进行上传,图片分析工作都在终端上进行,而只对搜索词进行后台分析,这样既不影响用户体验,又提高了图片搜索的效率。
图8是本申请实施例提供的图片处理方法的一个可选的流程示意图,如图8所示,所述方法包括以下步骤:
步骤S801,当获取到图片时,终端对所述图片进行识别,确定所述图片对应的内容。
步骤S802,终端根据所述图片对应的内容确定所述图片的类别。
步骤S803,终端将所述图片的类别确定为所述图片的标签。
需要说明的是,步骤S801至步骤S803与上述步骤S601至步骤S603相同,本申请实施例不再赘述。
步骤S804,终端接收图片搜索请求,所述图片搜索请求中包括搜索词。
步骤S805,终端根据所述图片搜索请求,向服务器发送标签查找请求。
这里,所述标签查找请求中包括所述搜索词,所述标签查找请求用于请求查找所述搜索词的词向量以及图片标签集合中的标签的词向量。
步骤S806,服务器响应于所述标签查找请求,获取所述搜索词的词向量和图片标签集合中的标签的词向量。
步骤S807,服务器将所述搜索词的词向量和图片标签集合中的标签的词向量通过网络发送给终端。
这里,服务器根据所述标签查找请求中的搜索词,在词向量数据库中查找所述搜索词的词向量,并且,获取图片标签集合中的标签,并在词向量数据库中查找每一标签的词向量。并将所获取的搜索词的词向量和图片标签集合中的标签的词向量通过网络发送给终端。
步骤S808,终端确定所述搜索词的词向量与图片标签集合中的标签的词向量之间的距离。
这里,所述标签是用于标注图片内容的词汇。终端在获取到搜索词的词向量与图片标签集合中的标签的词向量之后,终端确定搜索词的词向量与图片标签集合中的标签的词向量之间的距离。这样,由于终端进行搜索词与标签之间的距离的确定,即目标标签的确定过程也是在终端侧来执行的,从而能够降低服务器的工作量,避免服务器对大量的图片搜索请求进行响应而造成的服务延迟。
步骤S809,终端将距离满足条件的标签,确定为目标标签。
步骤S810,终端将标签中包括所述目标标签的图片,确定为与所述图片搜索请求对应的搜索结果。
步骤S811,终端在当前界面上显示所述搜索结果对应的图片。
本申请实施例提供的图片处理方法,终端实现对图片的分析,确定图片对应的标签,而无需将图片发送服务器,通过服务器确定图片的标签,这样效率更高,且用户对此无感知,不影响用户对产品的体验,同时,终端在获取到搜索词的词向量与图片标签集合中的标签的词向量之后,终端确定搜索词的词向量与图片标签集合中的标签的词向量之间的距离。这样,由于终端进行搜索词与标签之间的距离的确定,即目标标签的确定过程也是在终端侧来执行的,从而能够降低服务器的工作量,避免服务器对大量的图片搜索请求进行响应而造成的服务延迟。
基于图4,图9是本申请实施例提供的图片处理方法的一个可选的流程示意图,在一些实施例中,所述图片搜索请求中包括搜索信息,如图9所示,在步骤S401之后,所述方法还可以包括以下步骤:
步骤S901,在确定图片搜索请求之后,将所述搜索信息转换为文本信息。
这里,图片搜索请求中包括所述搜索信息,所述搜索信息可以是用户通过语音输入的一段话,也就是说,所述搜索信息并不是用户输入的一个词汇,而可以是由多个词汇组成的一句话,例如,用户可以语音输入搜索信息“请搜索广州的风景”。当终端接收到该搜索信息之后,将所述搜索信息转换为文本信息。
步骤S902,对所述文本信息进行分词处理,得到至少一个分词。
这里,可以使用开源的分词工具对文本信息进行分词处理,得到至少一个分词,例如,对“请搜索广州的风景”进行分词处理,得到的分词分别为“请”、“搜索”、“广州”、“的”和“风景”。
步骤S903,根据所述分词的词性,在所述至少一个分词中进行分词提取,以得到所述搜索词。
这里,所述分词提取是指在所述分词中提取至少一个有意义的词语,例如,可以提取出词性为名词或者动词的词汇为所述搜索词。
请继续参照图9,在一些实施例中,步骤S403中将距离满足条件的标签,确定为目标标签,可以通过以下两种方式实现:
方式一:步骤S4031,将具有最小距离的标签确定为所述目标标签。
方式二:步骤S4032,将距离小于阈值的标签确定为所述目标标签。
当采用方式一确定目标标签时,所确定的目标标签的数目为一个,当采用方式二确定目标标签时,所确定的目标标签的数目为一个或多个。
基于图6,图10是本申请实施例提供的图片处理方法的一个可选的流程示意图,如图10所示,在步骤S606之前,所述方法还可以包括以下步骤:
步骤S1001,服务器对所述图片标签集合中的标签进行分组,得到至少一个标签组。
这里,可以将互为近义词的标签分为一个标签组,在一些实施例中,步骤S1001可以通过以下步骤实现:
步骤S1001a,确定图片标签集合中的每两个标签的词向量之间的标签距离。
步骤S1001b,将所述标签距离在预设范围之内的至少两个标签划分至同一标签组,以得到所述至少一个标签组。
这里,所述标签距离在预设范围之内的至少两个标签即互为近义词的标签,所述预设范围可以根据实际分组需要进行设置,本申请实施例不做限定。
对应地,在步骤S607之后,所述方法还可以包括以下步骤:
步骤S1002,获取所述目标标签所在的标签组为目标标签组。
这里,在确定出所述目标标签之后,确定目标标签所在的标签组为所述目标标签组,所述目标标签组中包括至少一个标签。
对应地,步骤S608可以通过以下步骤实现:
步骤S1003,将标签中包括所述目标标签组中的标签的图片,确定为与所述图片搜索请求对应的搜索结果。
这里,由于所述目标标签组中包括至少一个标签,因此,将包括所述目标标签组中的任一标签的图片均可以作为搜索结果。举例来说,目标标签组的标签包括:美食和食物,则在搜索的时候,将标签包括美食和食物中的任意至少一个的图片均可以确定为所述搜索结果。
本申请实施例中,根据一个或多个互为近义词的标签查找图片,可以查找到与搜索词意思相近的多张图片,扩大查找的范围,提高查找准确率。
基于图6,图11是本申请实施例提供的图片处理方法的一个可选的流程示意图,如图11所示,在步骤S606之前,所述方法还可以包括以下步骤:
步骤S1101,服务器对所述图片标签集合中的标签进行分组,得到至少一个标签组。
步骤S1102,确定每一标签组中的标签之间的相似度。
这里,同一标签组中的标签可以为互为近义词的标签,也可以是意思并不相近的词汇,因此可以确定标签之间的相似度,所述相似度可以根据词汇的词向量之间的距离确定,距离较小的词汇之间的相似度较高,距离较大的词汇之间的相似度较低。
步骤S1103,按照所述相似度递增或者递减的顺序,对对应标签组中的标签进行排序,得到排序结果。
对应地,在步骤S607之后,所述方法还可以包括以下步骤:
步骤S1104,获取所述目标标签所在的标签组为目标标签组。
步骤S1105,根据所述排序结果,依次在目标标签组中确定预设数目的标签为选择标签。
这里,当按照相似度递增的顺序对目标标签组中的标签进行排序时,可以按照所述排序结果,从排序结果的尾部依次确定预设数目的标签为选择标签;当按照相似度递减的顺序对目标标签组中的标签进行排序时,可以按照所述排序结果,从排序结果的首部依次确定预设数目的标签为选择标签。所述预设数目可以根据图片匹配的条件确定,所述预设数目用于表征确定出的与所述搜索词对应的,且用于进行图片匹配的标签的数目。
对应地,步骤S608可以通过以下步骤实现:步骤S1106,将标签中包括所述选择标签的图片,确定为与所述图片搜索请求对应的搜索结果。
本申请实施例中,按照目标标签组中标签排序的排序结果,依次选择预设数目的标签作为选择标签,用于后续的图片匹配搜索。如此,能够在目标标签组中选择出与搜索词意思更加接近的预设数目的标签进行图片匹配搜索,从而能够匹配到更加准确的图片。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用。
本申请实施例提供一种图片处理方法,基于图片的主要内容和对象,给图片打上文本标签,标识图片中的内容,用户可以输入搜索词,通过一定的算法查找出与搜索词的内容最相近的图片。
本申请实施例的方法,在终端上对用户图片进行分析,这样效率最高,而且用户对此无感知,不影响用户对产品的体验。并且,不需要对用户的数据进行上传,图片分析工作都在终端上进行,而只对搜索词进行后台分析,返回匹配的标签,在本地进行搜索,这样既不影响用户体验,又提高了图片搜索的效率。同时,使用近义词分析技术,对用户搜索词进行匹配,这样能大大提高图片搜索召回率。
本申请实施例的应用场景为在用户的手机上的相册管家应用程序中,集成了图片分类搜索的入口,用户只需在搜索框输入想要搜索的图片的内容词,程序就会展示出相关的图片。产品界面如图12A所示,在当前界面上包括有搜索框1201。当用户在搜索框中输入搜索词1202,例如“美食”,即会展示出与美食相关的图片,如图12B所示,其中,搜索结果不仅会展示本地上包含的图片,也会展示用户备份在云端中相关的图片。
本申请实施例的图片处理方法主要分成两个阶段,第一阶段是在终端上的照片标签分析阶段,图13是本申请实施例提供的图片标签分析的流程示意图,第二阶段是搜索词的分析以及图片查询的过程,图14是本申请实施例提供的图片查询的流程示意图。
如图13所示,所述方法包括以下步骤:
步骤S1301,用户安装相册管家APP。
步骤S1302,终端获得用户授权,扫描读取用户的图片。
步骤S1303,将图片载入到APP上的优图分类模型,分析得出图片的标签。
步骤S1304,将分析得出的照片标签存储在本地数据库中。
本申请实施例中,图片分析目的是解析出图片的分类及标签,一张图片可能包含多个标签。标签是描述图片内容的一个词语,比如风景、合照、婴儿、男孩和女孩等。标签分类的技术能力,可以使用腾讯优图开发的图片分类SDK。优图的图片分类SDK提供198种标签的分类能力,是基于深度卷积神经网络的图片分类模型。基于优图分类的能力,相册管家App首先对用户手机上的图片进行标签分类,并存储下每个照片的标签。
如图14所示,所述方法包括以下步骤:
步骤S1401,用户在图片搜索框中输入搜索词。
步骤S1402,APP将搜索词请求到服务器。
步骤S1403,服务器运行分词服务将搜索词分解成单个词汇。
用户在App上输入搜索词后,请求服务器的接口,输入搜索词,服务端对搜索词进行分析。服务端首先会对搜索词进行分词,分词是对用户的输入划分成一组组有意义的词语,比如,用户输入:“广州的风景”,那么会划分出有意义的词是“广州”和“风景”。分词的能力,可以使用开源的分词工具,例如,结巴分词。
步骤S1404,服务器数据初始化之后,预加载近义词库数据。
步骤S1405,AI文本模型数据初始化之后,对于每个分布图标签查找出最相似的预设数量的词汇,并对这些词汇按照相似度排序。
步骤S1406,将搜索结果存入数据库。
步骤S1407,对每个单词在近义词库中搜索匹配,得到对应的优图标签。
步骤S1408,将得到的标签结果下发到终端。
步骤S1409,终端根据得到的标签,匹配终端上属于该标签的图片,并展示搜索结果。
服务端也记录着优图SDK提供的198种标签的序号,算法对搜索词进行的分析,就是要找出最贴近搜索词的标签,然后将匹配的最接近标签下发到终端App上,根据前一阶段分析的标签结果,终端App就可以直接匹配出手机上的图片了。
因此关键点是如何快速找出与用户搜索词最接近的标签。在计算机自然语言处理领域,通常使用词向量来表示一个词汇,词与词之间的距离就是相似度,两个词的距离越小,那么这两个词的意义就越接近,由此来判断两个词是否相似。对于本申请实施例的搜索算法,一种办法就是计算搜索词与标签词汇之间的距离,为了计算这个,必须要将词汇的词向量找出来。
本申请实施例中,要找到所有中文词汇的词向量,需要大规模的语料训练,对此,可以使用开源的中文词向量数据库,这个词库中包含800万常用词汇的词向量。那么每次用户搜索词上来,都可以从语料库中找到该词的词向量,然后和标签的词向量计算距离,就可以得出最接近的标签了。
在一些实施例中,由于每次都要从大规模的语料库中寻找词向量,比较耗时,因此可以做一个优化。首先对每个标签都找出最接近的200个词汇,做成一张表,即是一张169*200的表,然后用户的搜索词,只需在这个表中进行匹配,一旦找到和搜索词一致的近义词,即表明与其相近的标签是这个表中的哪些词汇了,由此节省了从原始语料库中大规模搜索的时间,提升了效率。
本申请实施例提供的图片处理方法,经过测试,与其他相册产品对比,搜索召回率达到33.8%,远高于其他相册的搜索召回率5.2%。
在一些实施例中,对于图片内容的识别技术,除了可以用到优图的标签识别功能,还可以用到其他对内容识别更好的图片内容检测技术,这样在照片内容的理解上,会更加贴近和全面,从而对搜索能带来更大的增益。
下面继续说明本申请实施例提供的图片处理装置354的实施为软件模块的示例性结构,在一些实施例中,如图3所示,存储在存储器350的图片处理装置354中的软件模块可以是服务器300中的图片处理装置,包括:
接收模块3541,用于接收图片搜索请求,所述图片搜索请求中包括搜索词;
第一确定模块3542,用于确定所述搜索词的词向量与图片标签集合中的标签的词向量之间的距离;其中,所述标签是用于标注图片内容的词汇;
第二确定模块3543,用于将距离满足条件的标签,确定为目标标签;
第三确定模块3544,用于将标签中包括所述目标标签的图片,确定为与所述图片搜索请求对应的搜索结果。
在一些实施例中,所述装置还包括:图片识别模块,用于在接收图片搜索请求之前,当获取到所述图片时,对所述图片进行识别,确定所述图片对应的内容;图片类别确定模块,用于根据所述图片对应的内容确定所述图片的类别;图片标签确定模块,用于将所述图片的类别确定为所述图片的标签。
在一些实施例中,所述第二确定模块还用于:将具有最小距离的标签确定为所述目标标签;或者,将距离小于阈值的标签确定为所述目标标签。
在一些实施例中,所述图片搜索请求中包括搜索信息,所述装置还包括:转换模块,用于在接收图片搜索请求之后,将所述搜索信息转换为文本信息;分词处理模块,用于对所述文本信息进行分词处理,得到至少一个分词;分词提取模块,用于根据所述分词的词性,在所述至少一个分词中进行分词提取,以得到所述搜索词。
在一些实施例中,所述装置还包括:标签分组模块,用于对所述图片标签集合中的标签进行分组,得到至少一个标签组;获取模块,用于当确定出所述目标标签之后,获取所述目标标签所在的标签组为目标标签组;第三确定模块,还用于将标签中包括所述目标标签组中的标签的图片,确定为与所述图片搜索请求对应的搜索结果。
在一些实施例中,所述标签分组模块还用于:确定所述图片标签集合中的每两个标签的词向量之间的标签距离;将所述标签距离在预设范围之内的至少两个标签划分至同一标签组,以得到所述至少一个标签组。
在一些实施例中,所述装置还包括:第四确定模块,用于确定每一标签组中的标签之间的相似度;排序模块,用于按照所述相似度递增或者递减的顺序,对对应标签组中的标签进行排序,得到排序结果;对应地,所述第三确定模块还用于:根据所述排序结果,依次在目标标签组中确定预设数目的标签为选择标签;将标签中包括所述选择标签的图片,确定为与所述图片搜索请求对应的搜索结果。
需要说明的是,本申请实施例装置的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果,因此不做赘述。对于本装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
本申请实施例提供一种存储有可执行指令的存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的方法,例如,如图4示出的方法。
在一些实施例中,存储介质可以是铁电存储器(FRAM,Ferromagnetic RandomAccess Memory)、只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read Only Memory)、可擦除可编程只读存储器(EPROM,ErasableProgrammable Read Only Memory)、带电可擦可编程只读存储器(EEPROM,ElectricallyErasable Programmable Read Only Memory)、闪存、磁表面存储器、光盘、或光盘只读存储器(CD-ROM,Compact Disk-Read Only Memory)等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件***中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。

Claims (10)

1.一种图片处理方法,其特征在于,包括:
接收图片搜索请求,所述图片搜索请求中包括搜索词;
确定所述搜索词的词向量与图片标签集合中的标签的词向量之间的距离;其中,所述标签是用于标注图片内容的词汇;
将距离满足条件的标签,确定为目标标签;
将标签中包括所述目标标签的图片,确定为与所述图片搜索请求对应的搜索结果。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在接收图片搜索请求之前,当获取到所述图片时,对所述图片进行识别,确定所述图片对应的内容;
根据所述图片对应的内容确定所述图片的类别;
将所述图片的类别确定为所述图片的标签。
3.根据权利要求1所述的方法,其特征在于,所述将距离满足条件的标签,确定为目标标签,包括:
将具有最小距离的标签确定为所述目标标签;或者,
将距离小于阈值的标签确定为所述目标标签。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述图片搜索请求中包括搜索信息,所述方法还包括:
在接收图片搜索请求之后,将所述搜索信息转换为文本信息;
对所述文本信息进行分词处理,得到至少一个分词;
根据所述分词的词性,在所述至少一个分词中进行分词提取,以得到所述搜索词。
5.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:
对所述图片标签集合中的标签进行分组,得到至少一个标签组;
对应地,当确定出所述目标标签之后,获取所述目标标签所在的标签组为目标标签组;
将标签中包括所述目标标签组中的标签的图片,确定为与所述图片搜索请求对应的搜索结果。
6.根据权利要求5所述的方法,其特征在于,所述对所述图片标签集合中的标签进行分组,得到至少一个标签组,包括:
确定所述图片标签集合中的每两个标签的词向量之间的标签距离;
将所述标签距离在预设范围之内的至少两个标签划分至同一标签组,以得到所述至少一个标签组。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
确定每一标签组中的标签之间的相似度;
按照所述相似度递增或者递减的顺序,对对应标签组中的标签进行排序,得到排序结果;
对应地,所述将标签中包括所述目标标签组中的标签的图片,确定为与所述图片搜索请求对应的搜索结果,包括:
根据所述排序结果,依次在目标标签组中确定预设数目的标签为选择标签;
将标签中包括所述选择标签的图片,确定为与所述图片搜索请求对应的搜索结果。
8.一种图片处理装置,其特征在于,包括:
接收模块,用于接收图片搜索请求,所述图片搜索请求中包括搜索词;
第一确定模块,用于确定所述搜索词的词向量与图片标签集合中的标签的词向量之间的距离;其中,所述标签是用于标注图片内容的词汇;
第二确定模块,用于将距离满足条件的标签,确定为目标标签;
第三确定模块,用于将标签中包括所述目标标签的图片,确定为与所述图片搜索请求对应的搜索结果。
9.一种图片处理设备,其特征在于,包括:
存储器,用于存储可执行指令;处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至7任一项所述的方法。
10.一种存储介质,其特征在于,存储有可执行指令,用于引起处理器执行时,实现权利要求1至7任一项所述的方法。
CN201911075405.0A 2019-11-06 2019-11-06 图片处理方法、装置、设备及存储介质 Active CN110765301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911075405.0A CN110765301B (zh) 2019-11-06 2019-11-06 图片处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911075405.0A CN110765301B (zh) 2019-11-06 2019-11-06 图片处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110765301A true CN110765301A (zh) 2020-02-07
CN110765301B CN110765301B (zh) 2022-02-25

Family

ID=69336063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911075405.0A Active CN110765301B (zh) 2019-11-06 2019-11-06 图片处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110765301B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723227A (zh) * 2020-06-14 2020-09-29 黄雨勤 基于人工智能和互联网的数据分析方法及云计算服务平台
CN112202919A (zh) * 2020-10-22 2021-01-08 中国科学院信息工程研究所 一种云存储环境下的图片密文存储、检索方法及***
CN113590861A (zh) * 2020-04-30 2021-11-02 北京搜狗科技发展有限公司 一种图片信息的处理方法、装置及电子设备
CN116485587A (zh) * 2023-04-21 2023-07-25 深圳润高智慧产业有限公司 社区服务获取方法与提供方法、电子设备、存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136228A (zh) * 2011-11-25 2013-06-05 阿里巴巴集团控股有限公司 一种图片搜索方法以及图片搜索装置
CN107193983A (zh) * 2017-05-27 2017-09-22 北京小米移动软件有限公司 图像搜索方法及装置
JP2017188063A (ja) * 2016-04-04 2017-10-12 公立大学法人大阪市立大学 画像検索システム、画像検索方法、及び画像検索用プログラム
CN107679208A (zh) * 2017-10-16 2018-02-09 广东欧珀移动通信有限公司 一种图片的搜索方法、终端设备及存储介质
CN107741972A (zh) * 2017-10-12 2018-02-27 广东欧珀移动通信有限公司 一种图片的搜索方法、终端设备及存储介质
CN108694225A (zh) * 2017-03-31 2018-10-23 阿里巴巴集团控股有限公司 一种图像搜索方法、特征向量的生成方法、装置及电子设备
CN109947971A (zh) * 2019-03-18 2019-06-28 Oppo广东移动通信有限公司 图像检索方法、装置、电子设备及存储介质
CN110019888A (zh) * 2017-12-01 2019-07-16 北京搜狗科技发展有限公司 一种搜索方法及装置
CN110069650A (zh) * 2017-10-10 2019-07-30 阿里巴巴集团控股有限公司 一种搜索方法和处理设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136228A (zh) * 2011-11-25 2013-06-05 阿里巴巴集团控股有限公司 一种图片搜索方法以及图片搜索装置
JP2017188063A (ja) * 2016-04-04 2017-10-12 公立大学法人大阪市立大学 画像検索システム、画像検索方法、及び画像検索用プログラム
CN108694225A (zh) * 2017-03-31 2018-10-23 阿里巴巴集团控股有限公司 一种图像搜索方法、特征向量的生成方法、装置及电子设备
CN107193983A (zh) * 2017-05-27 2017-09-22 北京小米移动软件有限公司 图像搜索方法及装置
CN110069650A (zh) * 2017-10-10 2019-07-30 阿里巴巴集团控股有限公司 一种搜索方法和处理设备
CN107741972A (zh) * 2017-10-12 2018-02-27 广东欧珀移动通信有限公司 一种图片的搜索方法、终端设备及存储介质
CN107679208A (zh) * 2017-10-16 2018-02-09 广东欧珀移动通信有限公司 一种图片的搜索方法、终端设备及存储介质
CN110019888A (zh) * 2017-12-01 2019-07-16 北京搜狗科技发展有限公司 一种搜索方法及装置
CN109947971A (zh) * 2019-03-18 2019-06-28 Oppo广东移动通信有限公司 图像检索方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SERGIO RODRIGUEZ-VAAMONDE 等: "What Can Pictures Tell Us About Web Pages? Improving Document Search Using Images", 《IEEE》 *
钟春琳: "基于标签语义的图像检索算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590861A (zh) * 2020-04-30 2021-11-02 北京搜狗科技发展有限公司 一种图片信息的处理方法、装置及电子设备
CN111723227A (zh) * 2020-06-14 2020-09-29 黄雨勤 基于人工智能和互联网的数据分析方法及云计算服务平台
CN112202919A (zh) * 2020-10-22 2021-01-08 中国科学院信息工程研究所 一种云存储环境下的图片密文存储、检索方法及***
CN112202919B (zh) * 2020-10-22 2022-06-17 中国科学院信息工程研究所 一种云存储环境下的图片密文存储、检索方法及***
CN116485587A (zh) * 2023-04-21 2023-07-25 深圳润高智慧产业有限公司 社区服务获取方法与提供方法、电子设备、存储介质
CN116485587B (zh) * 2023-04-21 2024-04-09 深圳润高智慧产业有限公司 社区服务获取方法与提供方法、电子设备、存储介质

Also Published As

Publication number Publication date
CN110765301B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN110765301B (zh) 图片处理方法、装置、设备及存储介质
WO2020249125A1 (zh) 用于自动训练机器学习模型的方法和***
US11205100B2 (en) Edge-based adaptive machine learning for object recognition
US11899681B2 (en) Knowledge graph building method, electronic apparatus and non-transitory computer readable storage medium
CN111177569A (zh) 基于人工智能的推荐处理方法、装置及设备
CN110750987B (zh) 文本处理方法、装置及存储介质
CN110968684A (zh) 一种信息处理方法、装置、设备及存储介质
CN111696656B (zh) 一种互联网医疗平台的医生评价方法、装置
CN115687647A (zh) 公证文书生成方法、装置、电子设备及存储介质
CN115114395A (zh) 内容检索及模型训练方法、装置、电子设备和存储介质
CN114372532A (zh) 标签标注质量的确定方法、装置、设备、介质及产品
Rai et al. Using open source intelligence as a tool for reliable web searching
US11501071B2 (en) Word and image relationships in combined vector space
Mounica et al. Feature selection method on twitter dataset with part-of-speech (PoS) pattern applied to traffic analysis
CN116703515A (zh) 基于人工智能的推荐方法、装置、计算机设备及存储介质
US11714637B1 (en) User support content generation
CN111797175A (zh) 数据存储方法、装置、存储介质及电子设备
CN112861474B (zh) 一种信息标注方法、装置、设备及计算机可读存储介质
KR102183412B1 (ko) 운세 정보 콘텐츠를 기반으로 하는 개인화 데이터를 이용한 제휴 마케팅 서비스 방법 및 인공지능 시스템
Batiuk et al. Intelligent System for Socialization of Individual's with Shared Interests based on NLP, Machine Learning and SEO Technologies.
CN113392294A (zh) 样本标注方法及装置
Gonçalves et al. Improving the tourists’ experience
Devi et al. SoloDB for social media’s big data using deep natural language with AI applications and Industry 5.0
KR102214136B1 (ko) Sns 기반 상품 이미지 검색 방법
KR102613621B1 (ko) 생성형 인공지능 모델을 활용한 기업 홍보용 기사 생성 방법, 장치 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40020405

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant