CN106202189A - 一种图像搜索方法及装置 - Google Patents

一种图像搜索方法及装置 Download PDF

Info

Publication number
CN106202189A
CN106202189A CN201610482644.8A CN201610482644A CN106202189A CN 106202189 A CN106202189 A CN 106202189A CN 201610482644 A CN201610482644 A CN 201610482644A CN 106202189 A CN106202189 A CN 106202189A
Authority
CN
China
Prior art keywords
image
sketch
matching value
spatial relation
searched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610482644.8A
Other languages
English (en)
Inventor
李冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Holding Beijing Co Ltd
LeTV Mobile Intelligent Information Technology Beijing Co Ltd
Original Assignee
LeTV Holding Beijing Co Ltd
LeTV Mobile Intelligent Information Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Holding Beijing Co Ltd, LeTV Mobile Intelligent Information Technology Beijing Co Ltd filed Critical LeTV Holding Beijing Co Ltd
Priority to CN201610482644.8A priority Critical patent/CN106202189A/zh
Publication of CN106202189A publication Critical patent/CN106202189A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种图像搜索方法及装置,解决现有技术中逐个浏览图片的查找方法费时费力、效率较低的问题,提高图像的查询速度和查询效率。所述图像搜索方法,包括:在图像搜索界面,接收用户终端输入的待搜索图像的草图,并获取所述草图包含的各物体之间的空间位置关系;根据所述草图包含的各物体之间的空间位置关系与图像数据库中的图像包含的各物体之间的空间位置关系,将所述草图与图像数据库中的图像进行匹配,得到图像的匹配值,以预设规则在所述图像的匹配值中确定目标匹配值;将所述目标匹配值所对应的图像确定为搜索到的图像,其中,所述图像数据库中存储多个图像,并对应存储图像包含的各物体之间的空间位置关系。

Description

一种图像搜索方法及装置
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及一种图像搜索方法及装置。
背景技术
图库(或相册、照片)是移动终端中重要的***级应用,图库中的图片数量会随着用户使用时间的增加而积累的越来越多。
在包含大量图片的图库中,如果用户想要搜索包含特定内容的图片,在现有方法中,用户需要根据拍摄时间、拍摄地点以逐个浏览的方式查找包含特定内容的图片。此种查找方式,对于图库中图片数量较少的情况,可以满足查找需求,但是,发明人在实现本发明的过程中发现,如果图库中图片的数量较大,通过逐个浏览的方式不仅费时费力,而且效率较低。
综上所述,在图库中图片数量较多时,现有技术中逐个浏览图片的查找方法不但费时费力,而且效率较低。
发明内容
本发明实施例提供一种图像搜索方法及装置,解决现有技术中逐个浏览图片的查找方法费时费力、效率较低的问题,提高图像的查询速度和查询效率。
本发明实施例提供一种图像搜索方法,该方法包括:在图像搜索界面,接收用户终端输入的待搜索图像的草图,并获取所述草图包含的各物体之间的空间位置关系;根据所述草图包含的各物体之间的空间位置关系与图像数据库中的图像包含的各物体之间的空间位置关系,将所述草图与图像数据库中的图像进行匹配,得到图像的匹配值,以预设规则在所述图像的匹配值中确定目标匹配值;将所述目标匹配值所对应的图像确定为搜索到的图像,其中,所述图像数据库中存储多个图像,并对应存储图像包含的各物体之间的空间位置关系。
本发明实施例提供的一种图像搜索装置,该装置包括:获取单元,用于在图像搜索界面,接收用户终端输入的待搜索图像的草图,并获取所述草图包含的各物体之间的空间位置关系;第一处理单元,用于根据所述草图包含的各物体之间的空间位置关系与图像数据库中的图像包含的各物体之间的空间位置关系,将所述草图与图像数据库中的图像进行匹配,得到图像的匹配值,以预设规则在所述图像的匹配值中确定目标匹配值;第二处理单元,用于将所述目标匹配值所对应的图像确定为搜索到的图像,其中,所述图像数据库中存储多个图像,并对应存储图像包含的各物体之间的空间位置关系。
本发明实施例提供的一种图像搜索方法及装置,在图像搜索界面,接收用户终端输入的待搜索图像的草图,并获取草图包含的各物体之间的空间位置关系,根据草图包含的各物体之间的空间位置关系与图像数据库中的图像包含的各物体之间的空间位置关系,将草图与图像数据库中的图像进行匹配,得到图像的匹配值,以预设规则在图像的匹配值中确定目标匹配值,将目标匹配值所对应的图像确定为搜索到的图像,也即根据图像中包含的各物体之间的空间位置关系,搜索图像数据库中包含特定内容的图像,无需逐个浏览图片,从而提高了搜索速度和搜索效率,与现有技术中逐个浏览图片的查找方法费时费力,效率较低相比,本发明实施例提高了搜索图像的速度和搜索图像的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像搜索方法的示意流程图;
图2为本发明实施例提供的一种图像搜索方法的具体流程的示意流程图;
图3为本发明实施例提供的一种图像搜索装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的一种图像搜索方法,如图1所示,该方法包括:
步骤11,在图像搜索界面,接收用户终端输入的待搜索图像的草图,并获取草图包含的各物体之间的空间位置关系;
其中,图像搜索界面可以是图库(或相册、照片)在接收到用户通过用户终端发送的图像搜索指令之后呈现的界面,也可以是用户在用户终端中查看图库(或相册、照片)时直接呈现的界面,用户终端可以是手机、平板电脑、相机或可穿戴智能设备,作为较为具体的实施例,以接收到用户通过用户终端发送的图像搜索指令之后呈现图像搜索界面为例,在图库(或相册、照片)界面中增加图像搜索按键,若用户通过用户终端点击或触控该图像搜索按键,则视为接收到用户终端发送的图像搜索指令,图库(或相册、照片)显示图像搜索界面,提示用户终端输入待搜索图像的草图。
在接收用户终端输入的待搜索图像的草图之后,获取草图包含的各物体之间的空间位置关系,具体来说:获取草图包含的各物体之间的空间位置关系,包括:接收用户终端输入的草图中包含的各物体之间的空间位置关系;或者根据用户终端输入的待搜索图像的草图,确定草图中包含的各物体之间的空间位置关系。
具体实施时,用户通过用户终端在图像搜索界面输入待搜索图像的草图,若待搜索图像的草图容易绘制,例如:待搜索图像中包含的物体较少且各物体细节部分较少,则用户可以仅在图像搜索界面绘制待搜索图像的草图,用户终端在接收到用户在图像搜索界面输入的待搜索图像的草图之后,根据输入的待搜索图像的草图,识别待搜索图像的草图中包含的物体,进而确定草图中包含的各物体之间的空间位置关系;若待搜索图像的草图难以绘制或者待搜索图像的草图中部分难以绘制,则用户在图像搜索界面绘制待搜索图像的草图之后,还可以使用文字对草图中难以绘制的部分进行描述,例如:使用文字描述待搜索图像中各物体之间的空间位置关系,也即用户终端在接收到用户在图像搜索界面输入的待搜索图像的草图之后,接收用户在图像搜索界面输入的草图中各物体之间的空间位置关系。当然,较为优选地,在图像搜索界面输入待搜索图像的草图的基础上,再输入草图中各物体之间的空间位置关系,以提高搜索的准确性。
需要说明的是,若用户未在图像搜索界面输入待搜索草图中各物体之间的位置关系,则用户终端在接收到用户输入的待搜索图像的草图之后,根据用户输入的待搜索图像的草图,确定草图中包含的各物体之间的空间位置关系,包括:采用深度物体检测网络检测草图中包含的各物体;采用深度事件检测网络检测草图中各物体之间的空间位置关系。
具体实施时,采用深度物体检测网络检测待搜索图像的草图中包含的各物体,采用深度事件检测网络检测待搜索图像的草图中各物体之间的空间位置关系,具体包括以下步骤:
(1)预定义需要检测的物体类别,例如:人、植物、动物、建筑、汽车等,通过深度物体检测网络(例如:Fast-RCNN),对每一类物体的检测器进行训练;
(2)检测阶段,首先对待搜索图像的草图进行过分割处理,对过分割图像的每一块求包围盒,获得检测候选区域;
(3)对于每一检测候选区域,将该检测候选区域输入到训练好的物体检测网络(例如:Fast-RCNN),获得该检测候选区域中的物体检测结果;
(4)建立物体之间的空间位置关系,具体来说,用图数据结构表示检测出的物体,例如:一张图像检测出的物体包括:人、动物以及植物,则建立一个包含3个顶点的图像,根据物体在图像中的出现位置,建立两两物体之间的连接边,边上的数值取0、1、2、3中的一个值,每个值代表上下左右的位置关系,例如:0代表上、1代表下、2代表左、3代表右。
步骤13,根据草图包含的各物体之间的空间位置关系与图像数据库中的图像包含的各物体之间的空间位置关系,将草图与图像数据库中的图像进行匹配,得到图像的匹配值,以预设规则在图像的匹配值中确定目标匹配值;
具体实施时,根据图像中包含的各物体之间的空间位置关系,将待搜索图像的草图与图像数据库中包含的多个图像逐一进行匹配,得到多个图像的匹配值,并以预设规则在计算得到的多个图像的匹配值中确定目标匹配值,为了便于根据图像中各物体之间的空间位置关系,将待搜索图像的草图与图像数据库中包含的多个图像逐一进行匹配,图像数据库中不仅存储了多个图像的图像数据,而且还对应存储每张图像中包含的各物体之间的空间位置关系,图像数据库中每张图像包含的各物体之间的空间位置关系的确定方法,与确定待搜索图像的草图中包含的各物体之间的空间位置关系的方法相同,也即针对图像数据库中的每张图像,采用深度物体检测网络检测图像中包含的各物体,采用深度事件检测网络检测图像中各物体之间的空间位置关系,此处不再赘述。
值得说明的是,根据图像中包含的各物体之间的空间位置关系,将待搜索图像的草图与图像数据库中包含的多个图像逐一进行匹配,具体实施时,将待搜索图像的草图中包含的各物体之间的空间位置关系,与图像数据库中每一图像包含的各物体之间的空间位置关系进行匹配,匹配的算法可以采用现有技术中的算法,此处不再赘述。作为较为具体的实施例,假设用户终端在图像搜索界面输入的待搜索图像的草图中包含人和马,且用户终端输入的草图中包含的各物体之间的空间位置关系为:人在马左边,则在进行匹配时,根据各物体之间的空间位置关系,即人在马左边,将待搜索图像的草图与图像数据库中包含的多个图像逐一进行匹配。
值得说明的是,在得到多个图像的匹配值之后,以预设规则在多个图像的匹配值中确定目标匹配值,包括:将多个图像的匹配值中大于或等于预设阈值的匹配值确定为目标匹配值,也即预设规则为选取大于或等于预设阈值的匹配值,其中,预设阈值可以自由设定,例如:预设阈值为85。当然,在本发明其它实施例中,预设规则还可以有其它实施方式,例如:选取多个匹配值中的最大值作为目标匹配值、选取多个匹配值中较大的N个作为目标匹配值,N为自然数。
步骤15,将目标匹配值所对应的图像确定为搜索到的图像,其中,图像数据库中存储多个图像,并对应存储图像包含的各物体之间的空间位置关系。
具体实施时,将目标匹配值所对应的图像确定为搜索到的图像,具体来说,计算目标匹配值的图像包括两幅图像,即用户通过用户终端输入的待搜索图像的草图以及图像数据库中的一张图像,则将目标匹配值所对应的图像确定为搜索到的图像,包括:将目标匹配值所对应的图像数据库中的图像确定为搜索到的图像。
作为较为具体的实施例,假设以预设规则在多个图像的匹配值中确定目标匹配值中的预设规则是选取大于或等于预设阈值的匹配值,预设阈值的取值为90,假设待搜索图像的草图与图像数据库中图像A、图像B、图像C、图像D、图像E的匹配值分别为20、70、55、90、95,则以预设规则确定出的目标匹配值为90、95,由于目标匹配值90所对应的图像数据库中图像为图像D,目标匹配值95所对应的图像数据库中图像为图像E,则将图像D和图像E确定为搜索到的图像。
作为另一较为具体的实施例,假设以预设规则在多个图像的匹配值中确定目标匹配值中的预设规则是选取最大值,仍然假设待搜索图像的草图与图像数据库中图像A、图像B、图像C、图像D、图像E的匹配值分别为20、70、55、90、95,则以预设规则确定出的目标匹配值为95,由于目标匹配值95所对应的图像数据库中图像为图像E,则将图像E确定为搜索到的图像。
作为又一较为具体的实施例,假设以预设规则在多个图像的匹配值中确定目标匹配值中的预设规则是选取多个图像的匹配值中较大的3个作为目标匹配值,仍然假设待搜索图像的草图与图像数据库中图像A、图像B、图像C、图像D、图像E的匹配值分别为20、70、55、90、95,则以预设规则确定出的目标匹配值为95、90、70,由于目标匹配值95所对应的图像数据库中图像为图像E,目标匹配值90所对应的图像数据库中图像为图像D,目标匹配值70所对应的图像数据库中图像为图像B,则将图像B、图像D和图像E确定为搜索到的图像。
本发明实施例提供的方法中,在图像搜索界面,接收用户终端输入的待搜索图像的草图,并获取草图包含的各物体之间的空间位置关系,根据草图包含的各物体之间的空间位置关系与图像数据库中的图像包含的各物体之间的空间位置关系,将草图与图像数据库中的图像进行匹配,得到图像的匹配值,以预设规则在图像的匹配值中确定目标匹配值,将目标匹配值所对应的图像确定为搜索到的图像,也即根据图像中包含的各物体之间的空间位置关系,搜索图像数据库中包含特定内容的图像,无需逐个浏览图片,从而提高了搜索速度和搜索效率,与现有技术中逐个浏览图片的查找方法费时费力,效率较低相比,本发明实施例提高了搜索图像的速度和搜索图像的效率。
在一种可能的实施方式中,本发明实施例提供的方法中,获取草图包含的各物体之间的空间位置关系,包括:接收用户终端输入的草图中包含的各物体之间的空间位置关系;或者根据用户终端输入的待搜索图像的草图,确定草图中包含的各物体之间的空间位置关系。
在一种可能的实施方式中,本发明实施例提供的方法中,根据用户终端输入的待搜索图像的草图,确定草图中包含的各物体之间的空间位置关系,包括:采用深度物体检测网络检测草图中包含的各物体;采用深度事件检测网络检测草图中各物体之间的空间位置关系。
在一种可能的实施方式中,本发明实施例提供的方法中,该方法还包括:在图像搜索界面预先设置图像数据库中的多张图像包含的物体的图像。
具体实施时,本发明实施例在进行图像搜索时,需要在图像搜索界面输入待搜索图像的草图,通过在图像搜索界面预先设置图像数据库中的多张图像包含的物体的图像,能够方便用户终端在搜索界面输入待搜索图像的草图,方便用户终端选择预先设置的图像在图像搜索界面完成草图的绘制,同时使用预先设置的图像绘制草图,提高绘制草图的准确性,进一步地,通过在图像搜索界面预先设置图像数据库中的多张图像包含的物体的图像,使得用户终端选择预先设置的图像在图像搜索界面完成草图的绘制,可以提高对草图中包含的物体的识别准确率,提高对草图中包含的各物体之间的空间位置关系的识别准确率,从而提高搜索图像的准确率。
在一种可能的实施方式中,本发明实施例提供的方法中,以预设规则在图像的匹配值中确定目标匹配值,包括:将图像的匹配值中大于或等于预设阈值的匹配值确定为目标匹配值。
下面结合图2对本发明实施例提供的图像搜索方法进行详细说明。如图2所示,本发明实施例提供的图像搜索方法的具体步骤,包括:
步骤21,用户终端打开图像搜索功能,提示用户终端绘制待搜索图像的草图,具体来说,用户终端需要搜索图库中包含特定内容的图像,则打开图库中的草图搜索功能,按照提示在画板上绘制草图,对于难以绘制的部分,可以使用词汇描述,输入给搜索模块;
步骤23,用户终端通过内置的算法对图库中的每张图像进行预处理,识别出每张图像中的物体和物体之间的空间位置关系,具体来说,通过深度学习方法,对图像中的重要物体进行定位,检测物体出现位置,并识别出物体之间的空间位置关系,例如:人坐在沙发上;
步骤25,根据图像中包含的物体以及物体之间的空间位置关系,将用户终端输入的待搜索图像的草图与图库中每一图像进行匹配,并根据预设规则确定目标匹配值,确定目标匹配值所对应的图像,具体来说,根据草图中描述的物体和物体之间的位置关系,通过匹配算法将用户终端输入的待搜索图像的草图与图库中的每一图像进行匹配,得到多个图像的匹配值,并以预设规则在多个图像的匹配值中确定目标匹配值,例如:选择多个图像的匹配值中匹配程度较高的3张或5张图像;
步骤27,将目标匹配值所对应的图像通过图像搜索界面呈现给用户,具体来说,将目标匹配值所对应的图像显示在图像搜索界面,让用户进行选择,找出待搜索的图片。
本发明实施例提供的一种图像搜索装置,如图3所示,该装置包括:获取单元31,用于在图像搜索界面,接收用户终端输入的待搜索图像的草图,并获取草图包含的各物体之间的空间位置关系;第一处理单元33,用于根据草图包含的各物体之间的空间位置关系与图像数据库中的图像包含的各物体之间的空间位置关系,将草图与图像数据库中的图像进行匹配,得到图像的匹配值,以预设规则在图像的匹配值中确定目标匹配值;第二处理单元35,用于将目标匹配值所对应的图像确定为搜索到的图像,其中,图像数据库中存储多个图像,并对应存储图像包含的各物体之间的空间位置关系。
本发明实施例提供的装置中,在图像搜索界面,接收用户终端输入的待搜索图像的草图,并获取草图包含的各物体之间的空间位置关系,根据草图包含的各物体之间的空间位置关系与图像数据库中的图像包含的各物体之间的空间位置关系,将草图与图像数据库中的图像进行匹配,得到图像的匹配值,以预设规则在图像的匹配值中确定目标匹配值,将目标匹配值所对应的图像确定为搜索到的图像,也即根据图像中包含的各物体之间的空间位置关系,搜索图像数据库中包含特定内容的图像,无需逐个浏览图片,从而提高了搜索速度和搜索效率,与现有技术中逐个浏览图片的查找方法费时费力,效率较低相比,本发明实施例提高了搜索图像的速度和搜索图像的效率。
在一种可能的实施方式中,本发明实施例提供的装置中,获取单元31获取草图包含的各物体之间的空间位置关系,具体用于:接收用户终端输入的草图中包含的各物体之间的空间位置关系;或者根据用户终端输入的待搜索图像的草图,确定草图中包含的各物体之间的空间位置关系。
在一种可能的实施方式中,本发明实施例提供的装置中,获取单元31根据用户终端输入的待搜索图像的草图,确定草图中包含的各物体之间的空间位置关系,具体用于:采用深度物体检测网络检测草图中包含的各物体;采用深度事件检测网络检测草图中各物体之间的空间位置关系。
在一种可能的实施方式中,本发明实施例提供的装置中,第一处理单元33,还用于:在图像搜索界面预先设置图像数据库中的多张图像中包含的物体的图像。
在一种可能的实施方式中,本发明实施例提供的装置中,第一处理单元33以预设规则在图像的匹配值中确定目标匹配值,具体用于:将图像的匹配值中大于或等于预设阈值的匹配值确定为目标匹配值。
本发明实施例提供的图像搜索装置,可以集成在用户终端中,例如:集成在手机中,也可以集成在图像处理软件中,其中,获取单元31、第一处理单元33和第二处理单元35均可以采用CPU等处理器。
本发明实施例提供的一种图像搜索方法及装置,在图像搜索界面,接收用户终端输入的待搜索图像的草图,并获取草图包含的各物体之间的空间位置关系,根据草图包含的各物体之间的空间位置关系与图像数据库中的图像包含的各物体之间的空间位置关系,将草图与图像数据库中的图像进行匹配,得到图像的匹配值,以预设规则在图像的匹配值中确定目标匹配值,将目标匹配值所对应的图像确定为搜索到的图像,也即根据图像中包含的各物体之间的空间位置关系,搜索图像数据库中包含特定内容的图像,无需逐个浏览图片,从而提高了搜索图像的速度和搜索图像的效率。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像搜索方法,其特征在于,该方法包括:
在图像搜索界面,接收用户终端输入的待搜索图像的草图,并获取所述草图包含的各物体之间的空间位置关系;
根据所述草图包含的各物体之间的空间位置关系与图像数据库中的图像包含的各物体之间的空间位置关系,将所述草图与图像数据库中的图像进行匹配,得到图像的匹配值,以预设规则在所述图像的匹配值中确定目标匹配值;
将所述目标匹配值所对应的图像确定为搜索到的图像,其中,所述图像数据库中存储多个图像,并对应存储图像包含的各物体之间的空间位置关系。
2.根据权利要求1所述的方法,其特征在于,所述获取所述草图包含的各物体之间的空间位置关系,包括:
接收用户终端输入的所述草图中包含的各物体之间的空间位置关系;或者根据用户终端输入的待搜索图像的草图,确定所述草图中包含的各物体之间的空间位置关系。
3.根据权利要求2所述的方法,其特征在于,根据用户终端输入的待搜索图像的草图,确定所述草图中包含的各物体之间的空间位置关系,包括:
采用深度物体检测网络检测所述草图中包含的各物体;
采用深度事件检测网络检测所述草图中各物体之间的空间位置关系。
4.根据权利要求1所述的方法,其特征在于,该方法还包括:
在图像搜索界面预先设置所述图像数据库中的多张图像包含的物体的图像。
5.根据权利要求1-4中任一项所述的方法,其特征在于,以预设规则在所述图像的匹配值中确定目标匹配值,包括:
将所述图像的匹配值中大于或等于预设阈值的匹配值确定为目标匹配值。
6.一种图像搜索装置,其特征在于,该装置包括:
获取单元,用于在图像搜索界面,接收用户终端输入的待搜索图像的草图,并获取所述草图包含的各物体之间的空间位置关系;
第一处理单元,用于根据所述草图包含的各物体之间的空间位置关系与图像数据库中的图像包含的各物体之间的空间位置关系,将所述草图与图像数据库中的图像进行匹配,得到图像的匹配值,以预设规则在所述图像的匹配值中确定目标匹配值;
第二处理单元,用于将所述目标匹配值所对应的图像确定为搜索到的图像,其中,所述图像数据库中存储多个图像,并对应存储图像包含的各物体之间的空间位置关系。
7.根据权利要求6所述的装置,其特征在于,所述获取单元获取所述草图包含的各物体之间的空间位置关系,具体用于:
接收用户终端输入的所述草图中包含的各物体之间的空间位置关系;或者根据用户终端输入的待搜索图像的草图,确定所述草图中包含的各物体之间的空间位置关系。
8.根据权利要求7所述的装置,其特征在于,所述获取单元根据用户终端输入的待搜索图像的草图,确定所述草图中包含的各物体之间的空间位置关系,具体用于:
采用深度物体检测网络检测所述草图中包含的各物体;
采用深度事件检测网络检测所述草图中各物体之间的空间位置关系。
9.根据权利要求6所述的装置,其特征在于,所述第一处理单元,还用于:在图像搜索界面预先设置所述图像数据库中的多张图像中包含的物体的图像。
10.根据权利要求6-9中任一项所述的装置,其特征在于,所述第一处理单元以预设规则在所述图像的匹配值中确定目标匹配值,具体用于:
将所述图像的匹配值中大于或等于预设阈值的匹配值确定为目标匹配值。
CN201610482644.8A 2016-06-27 2016-06-27 一种图像搜索方法及装置 Pending CN106202189A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610482644.8A CN106202189A (zh) 2016-06-27 2016-06-27 一种图像搜索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610482644.8A CN106202189A (zh) 2016-06-27 2016-06-27 一种图像搜索方法及装置

Publications (1)

Publication Number Publication Date
CN106202189A true CN106202189A (zh) 2016-12-07

Family

ID=57461896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610482644.8A Pending CN106202189A (zh) 2016-06-27 2016-06-27 一种图像搜索方法及装置

Country Status (1)

Country Link
CN (1) CN106202189A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106814967A (zh) * 2017-01-25 2017-06-09 努比亚技术有限公司 一种图库中检索图片的装置和方法
CN109635139A (zh) * 2018-11-13 2019-04-16 北京合享智慧科技有限公司 一种获取图像信息的方法及相关装置
CN110110117A (zh) * 2017-12-20 2019-08-09 阿里巴巴集团控股有限公司 一种商品搜索方法、装置以及***
CN110532415A (zh) * 2019-08-30 2019-12-03 百度在线网络技术(北京)有限公司 图像搜索处理方法、装置、设备及存储介质
CN110929057A (zh) * 2018-08-30 2020-03-27 深圳市蓝灯鱼智能科技有限公司 图像处理方法、装置和***、存储介质及电子装置
CN111563181A (zh) * 2020-05-12 2020-08-21 海口科博瑞信息科技有限公司 数字图像文件查询方法、装置及可读存储介质
US10789288B1 (en) * 2018-05-17 2020-09-29 Shutterstock, Inc. Relational model based natural language querying to identify object relationships in scene
CN112069336A (zh) * 2020-08-04 2020-12-11 中国科学院软件研究所 一种基于场景草图的细粒度图像检索方法及***
CN112307243A (zh) * 2019-07-23 2021-02-02 北京京东振世信息技术有限公司 用于检索图像的方法和装置
CN112364199A (zh) * 2021-01-13 2021-02-12 太极计算机股份有限公司 一种图片搜索***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339306A (zh) * 2010-08-31 2012-02-01 微软公司 基于草图的图像搜索
CN104737160A (zh) * 2012-10-15 2015-06-24 微软公司 来自草图的图片
CN105493078A (zh) * 2013-06-14 2016-04-13 微软技术许可有限责任公司 彩色草图图像搜索

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339306A (zh) * 2010-08-31 2012-02-01 微软公司 基于草图的图像搜索
CN104737160A (zh) * 2012-10-15 2015-06-24 微软公司 来自草图的图片
CN105493078A (zh) * 2013-06-14 2016-04-13 微软技术许可有限责任公司 彩色草图图像搜索

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106814967A (zh) * 2017-01-25 2017-06-09 努比亚技术有限公司 一种图库中检索图片的装置和方法
CN110110117A (zh) * 2017-12-20 2019-08-09 阿里巴巴集团控股有限公司 一种商品搜索方法、装置以及***
US10789288B1 (en) * 2018-05-17 2020-09-29 Shutterstock, Inc. Relational model based natural language querying to identify object relationships in scene
CN110929057A (zh) * 2018-08-30 2020-03-27 深圳市蓝灯鱼智能科技有限公司 图像处理方法、装置和***、存储介质及电子装置
CN109635139A (zh) * 2018-11-13 2019-04-16 北京合享智慧科技有限公司 一种获取图像信息的方法及相关装置
CN109635139B (zh) * 2018-11-13 2020-05-01 北京合享智慧科技有限公司 一种获取图像信息的方法及相关装置
CN112307243A (zh) * 2019-07-23 2021-02-02 北京京东振世信息技术有限公司 用于检索图像的方法和装置
CN112307243B (zh) * 2019-07-23 2023-11-03 北京京东振世信息技术有限公司 用于检索图像的方法和装置
CN110532415A (zh) * 2019-08-30 2019-12-03 百度在线网络技术(北京)有限公司 图像搜索处理方法、装置、设备及存储介质
CN111563181B (zh) * 2020-05-12 2023-05-05 海口科博瑞信息科技有限公司 数字图像文件查询方法、装置及可读存储介质
CN111563181A (zh) * 2020-05-12 2020-08-21 海口科博瑞信息科技有限公司 数字图像文件查询方法、装置及可读存储介质
CN112069336A (zh) * 2020-08-04 2020-12-11 中国科学院软件研究所 一种基于场景草图的细粒度图像检索方法及***
CN112364199A (zh) * 2021-01-13 2021-02-12 太极计算机股份有限公司 一种图片搜索***

Similar Documents

Publication Publication Date Title
CN106202189A (zh) 一种图像搜索方法及装置
KR102061288B1 (ko) 이미지 검색 방법, 실시간 그리기 프롬프팅 방법 및 그 장치
US10282431B1 (en) Image similarity-based group browsing
US11222044B2 (en) Natural language image search
CN104765891A (zh) 一种基于图像的搜索购物方法
US11036790B1 (en) Identifying visual portions of visual media files responsive to visual portions of media files submitted as search queries
CN105493078B (zh) 彩色草图图像搜索
US20160180193A1 (en) Image-based complementary item selection
WO2021208633A1 (zh) 物品名称确定方法、装置、计算机设备及存储介质
CN104537341B (zh) 人脸图片信息获取方法和装置
CN111275060B (zh) 识别模型更新处理方法、装置、电子设备及存储介质
CN106339479A (zh) 一种图片命名方法及终端
CN110059156A (zh) 基于关联词的协同检索方法、装置、设备及可读存储介质
US10740385B1 (en) Identifying visual portions of visual media files responsive to search queries
JP2007094679A (ja) 画像分析装置、画像分析プログラム、および画像分析プログラム記憶媒体
CN111581423A (zh) 一种目标检索方法及装置
CN114972947B (zh) 一种基于模糊语义建模的深度场景文本检测方法和装置
CN115223239B (zh) 一种手势识别方法、***、计算机设备以及可读存储介质
CN110019913A (zh) 图片匹配方法、用户设备、存储介质及装置
CN107491521A (zh) 一种图像搜索***与方法
Matsui Challenge for manga processing: Sketch-based manga retrieval
CN110674388A (zh) 推送项目的配图方法、装置、存储介质和终端设备
Farhat et al. Intelligent portrait composition assistance: Integrating deep-learned models and photography idea retrieval
US9697608B1 (en) Approaches for scene-based object tracking
US20220300550A1 (en) Visual Search via Free-Form Visual Feature Selection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161207

WD01 Invention patent application deemed withdrawn after publication