CN102057371A - 用于图像的类似性搜索的***和方法 - Google Patents
用于图像的类似性搜索的***和方法 Download PDFInfo
- Publication number
- CN102057371A CN102057371A CN2008801296710A CN200880129671A CN102057371A CN 102057371 A CN102057371 A CN 102057371A CN 2008801296710 A CN2008801296710 A CN 2008801296710A CN 200880129671 A CN200880129671 A CN 200880129671A CN 102057371 A CN102057371 A CN 102057371A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- search
- category
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
提供了用于利用分类结构对图像进行高效的语义类似性搜索的***和方法。该***和方法提供用于:针对多个图像构建语义分类搜索树(202),该分类树包括至少两个图像类别,每个图像类别表示所述多个图像的子集;接收查询图像(204);对查询图像分类以选择至少两个图像类别中的一个图像类别(206);并且将利用查询图像对感兴趣图像的搜索限制于在至少两个图像类别中选择的一个图像类别(210)。
Description
技术领域
本公开一般涉及计算机图形处理和显示***,并且更具体地涉及用于图像的类似搜索(similarity search)的***和方法。
背景技术
对与查询图像类似的图像的检测和检索在多种实际应用中是非常有用的。本公开描述的技术解决了查询图像数据库以寻找优选在语义层次上与查询图像类似的图像(即,包含有相同对象和背景但是可能具有一些变化的图像)的问题。该问题出现在多种应用中,例如用于移动设备的位置感知服务,其中,用户拍摄地标的图片并且然后移动设备可以告诉用户地标的位置和描述。在另一应用中,用户可以拍摄商店中一个或多个产品的图片,然后,移动设备可以返回具有对应价格的、由不同零售商提供的相同产品的网页。在版权侵权检测的背景中,可以通过在因特网上搜索对图像的未经授权使用来识别可能的版权侵犯。在多媒体内容管理中,检测图像的副本和近似副本可以帮助将多重来源视频中的故事、出版社和网页中的文章链接起来。
尽管本公开描述的技术可以应用于一般的图像或视频检索或搜索,然而本公开着重于语义层次的图像和视频搜索,而非基于色彩、纹理等之类的低层次特征的视觉搜索。基于低层次特征的图像或视频搜索已经得到很好地研究,并且高效的检索算法可供用于大规模数据库。语义层次的图像或视频搜索比低层次特征搜索难得多,因为其涉及到包含在图像或视频中的对象的比较。对于许多实际应用,例如上面讨论过的前述应用,基于低层次特征的搜索一般来说是不足够的,因为包含不同对象的图像可能具有类似的色彩或纹理。
语义层次的图像或视频搜索需要比较图像中的对象。就此方面定义的类似图像应当包含相同的对象和背景,但是可以具有一些变化,例如对象移动、照明改变等。由于计算机、计算设备等在语义层次理解图像或表示图像是非常难的,因此该问题是非常有挑战性的。已经存在一些针对在语义层次搜索图像和视频而进行的早期工作。例如,用于利用机器学习方法的精确近似副本检测和搜索的基于部分的类似性量度在2004年10月美国纽约市的ACM Multimedia中的D.Q.Zhang和S.F.Chang的“Detecting Image Near-Duplicate by Stochastic Attributed Relational Graph Matching with Learning”中有所描述。Zhang等人描述的类似性量度实际上是将获得了极高精确度结果的图像内的对象进行比较。然而,该方法与传统的使用低层次特征(例如,通过色彩直方图)的检索方法相比非常慢,并且不能应用于实际应用。
因此,存在对在语义层次上高效地搜索图像的技术的需要。此外,即使在图像类似性量度可用时也存在对加速图像搜索的需要。
发明内容
提供了用于利用分类结构对图像进行高效的语义类似性搜索的***和方法。该***和方法使得能够查询图像数据库以寻找在语义层次上与查询图像类似的图像,即,包含有与查询图像相同的对象和背景但可能具有一些变化的图像。本公开的技术将对图像的语义类似性搜索限制于某个类或类别,以使得类似性计算被极大地减少。首先,针对数据库中的所有图像建立分类搜索树。然后,对于每个进入的查询图像,将查询图像分类到一个或多个类别(通常为语义类别,例如人、室内、室外等),类别表示整个图像空间(即图像的数据库)的子集。然后,将图像类似性计算限制在该子集内。
根据本公开的一个方面,提供了一种用于在多个图像中搜索感兴趣图像的方法。该方法包括:针对所述多个图像构建分类结构,所述分类结构包括至少两个图像类别,每个图像类别表示所述多个图像的子集;接收查询图像;对所述查询图像分类以选择所述至少两个图像类别中的一个图像类别;并且将对感兴趣图像的图像搜索限制于在所述至少两个图像类别中选择的一个图像类别。
根据另一方面,一种用于在多个图像中搜索感兴趣图像的***包括:数据库,该数据库包括被结构化为至少两个语义图像类别的多个图像,每个语义图像类别表示所述多个图像的子集;用于获取至少一个查询图像的装置;图像分类器模块,用于对所述查询图像分类以选择所述至少两个语义图像类别中的一个语义图像类别;以及图像搜索器模块,用于利用所述查询图像搜索感兴趣图像,其中,该搜索被限制于在所述至少两个语义图像类别中选择的一个语义图像类别。
根据又一方面,提供了一种可由机器读取的程序存储设备,该程序存储设备有形地包含有程序指令,所述程序指令可由机器运行来执行用于在多个图像中搜索感兴趣图像的方法步骤。该方法包括:针对所述多个图像构建分类结构,所述分类结构包括至少两个图像类别,每个图像类别表示所述多个图像的子集;接收查询图像;对所述查询图像分类以选择所述至少两个图像类别中的一个图像类别;以及将对感兴趣图像的搜索限制于在所述至少两个图像类别中选择的一个图像类别。
附图说明
将描述或者通过结合附图阅读下面对优选实施例的详细描述将清楚本公开的这些以及其它方面、特征和优点。
在附图中,遍及各个视图,相似的标号表示类似的元件;
图1是根据本公开一方面的用于对图像进行类似搜索的***的示例性图示;
图2是根据本公开一方面的用于对图像进行类似搜索的示例性方法的流程图;
图3图示出了根据本公开的分类搜索树;
图4图示出了在根据本公开的分类搜索树中执行的简单搜索;
图5图示出了在根据本公开的分类搜索树中执行的冗余搜索;
图6图示出了根据本公开一方面的用于构建或生成分类搜索树的方法;
图7图示出了具有被标记(tagged)关键字的图像的特征向量;以及
图8图示出了根据本公开一方面的用于将新图像添加到分类搜索数据库中的方法。
应当明白,(一个或多个)附图用于图示出本公开的概念,而不一定是用于图示出本公开的仅有的可能配置。
具体实施方式
应当了解,可以硬件、软件或其组合的各种形式来实现附图中示出的元件。优选地,在一个或多个经适当编程的通用设备上以硬件和软件的组合来实现这些元件,所述通用设备可包括处理器、存储器和输入/输出接口。
本说明书举例说明了本公开的原理。因此将会了解,本领域技术人员将能够作出虽然未在这里明确描述或示出但实现了本公开的原理且包括在其精神和范围内的各种配置。
这里记载的所有示例和条件语言是打算用于教导目的的,以辅助读者理解本公开的原理和发明人为了促进本技术而贡献的概念,并且这些示例和条件语言应被视为并不限于这些具体记载的示例和条件。
此外,这里记载了本公开的原理、各个方面和实施例及其具体示例的所有陈述意图包含本公开的结构和功能的等同物。另外,这些等同物意图包括当前已知的等同物以及以后开发出的等同物,即,无论为何种结构,所开发出来的执行相同功能的任何元件。
因此,例如,本领域技术人员将会了解,这里呈现的框图表示实现本发明原理的例示电路的示意图。类似地,将会了解,任何流程表、流程图、状态转换图、伪代码等表示实质上可用计算机可读介质表示并因而可由计算机或处理器执行的各种处理,而无论该计算机或处理器是否被明确示出。
可通过使用专用硬件以及与适当软件相关联的能够执行软件的硬件来提供附图中示出的各个元件的功能。当由处理器来提供功能时,这些功能可由单个专用处理器、单个共享处理器、或者多个单独处理器(其中的一些可被共享)来提供。此外,对术语“处理器”或“控制器”的明确使用不应当被理解为排他地指能够执行软件的硬件,而是可隐含地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储装置。
还可包括传统和/或定制的其它硬件。类似地,附图中示出的任何开关仅仅是概念上的。它们的功能可通过操作程序逻辑、通过专用逻辑、通过程序控制和专用逻辑的交互、或者甚至手动地执行,如从上下文中更具体地了解到的,可由实现者来选择特定技术。
在这里的权利要求书中,被表达为用于执行指定功能的装置的任何元件意欲包含执行该功能的任何方式,例如包括a)执行该功能的电路元件的组合或者b)任何形式的软件(因而包括固件、微码等)与用于运行执行该功能的软件的适当电路的组合。由这些权利要求限定的本发明具备以下事实:由各个所记载的装置提供的功能被以权利要求所需要的方式来组合并结合在一起。因而认为,可提供那些功能性的任何装置等同于这里所示出的那些装置。
对与查询图像类似的图像的检测和检索在多种实际应用中是非常有用的。问题是要在语义层次上高效地寻找与查询图像类似的图像(即,这些图像是从同一场景拍摄的并且具有相同的对象)。一些先前的工作已提出了用于低速地进行语义图像搜索的高精确度算法。如果图像数据库较大,则效率问题尤其重要。通常,搜索图像数据库的时间与数据库的大小成线性地增长。本公开的***和方法通过利用图像数据库结构以及图像的语义含义来加速搜索。
提供了利用分层级处理来高效搜索图像或视频的***和方法。假设高质量图像或视频类似性算法或函数已经可获得,这些算法的速度比传统的基于特征的类似性计算算法慢的多。因此,本公开的***和方法提供了加速处理以加快图像或视频数据库中的语义搜索。为了简洁起见,本公开将着重于图像搜索,尽管相同的技术可以应用于视频,即,图像序列。本***和方法通过利用图像内容空间的结构来加速搜索算法。本公开的技术将图像的视觉类似性搜索限制在特定类或类别内,以使得类似性计算被极大地减少。首先,针对数据库中的所有图像建立分类结构,例如但不限于分类树。然后,对于每个进入的查询图像,将图像分类到一个或多个类别(通常是语义种类,例如人、室内、室外等),类别表示整个图像空间的子集。然后,将图像类似性计算限制在该子集内。
现在参考附图,图1示出了根据本公开实施例的示例性***组件100。扫描设备103可被提供用于将例如相机的原始胶片底片之类的洗印胶片104扫描成数字格式,例如彩色转换格式或电影电视工程师协会(“SMPTE”)数字影像交换(“DPX”)的文件。扫描设备103例如可以包括电视电影装置(telecine)或者将从胶片生成视频输出的任何设备,例如具有视频输出的Arri LocProTM。替代地,可以直接使用来自后期制作过程或数字电影106的胶片(例如,已经是计算机可读形式的文件)。计算机可读文件的可能来源是AVIDTM编辑器、DPX文件、D5磁带等。
数字图像或经扫描的洗印胶片被输入到后期处理设备102,例如计算机。该计算机在各种已知的计算机平台中的任一种上实现,所述计算机平台具有如下硬件:一个或多个中央处理单元(CPU)、诸如随机存取存储器(RAM)和/或只读存储器(ROM)之类的存储器110以及诸如键盘、光标控制设备(例如鼠标或操纵杆)和显示设备之类的(一个或多个)输入/输出(I/O)用户接口112。该计算机平台还包括操作***和微指令代码。这里描述的各种处理和功能可以是经由操作***执行的该微指令代码的一部分或软件应用程序的一部分(或者它们的组合)。在一个实施例中,软件应用程序被有形地体现在程序存储设备上,其可被上载到诸如后期处理设备102之类的任何合适的机器中并由其执行。另外,各种其它***设备可以通过各种接口和总线结构(例如并行端口、串行端口或通用串行总线(USB))而被连接到该计算机平台。其它***设备可以包括附加存储设备124和打印机128。
替代地,已经为计算机可读形式的洗印文件/胶片106(例如,数字电影,例如其可被存储在外部硬盘驱动器124上)可以直接被输入计算机102。注意,这里使用的术语“胶片”可以指洗印胶片或数字电影。
软件程序包括存储在存储器110中的用于基于查询图像高效地搜索感兴趣图像的类似性搜索模块114。类似性搜索模块114还包括图像分类器模块116,被配置用于创建用于将查询图像分类到至少一个类别中的多个分类器和子分类器。特征提取器118被提供来从图像提取特征。特征提取器是本领域已知的,并且提取包括但不限于纹理、线条方向、边缘等在内的特征。在一个实施例中,分类器包括基于所提取的特征来分类查询图像的图案识别函数。
类似性搜索模块114还包括图像搜索器模块119,其包括各自被配置用于在图像数据库的图像子集122中进行搜索的多个图像搜索器。每个图像搜索器将采用类似性量度来根据查询图像确定感兴趣图像。
关键字标记器120被提供用于向数据库中的每个图像标记特征。在一个实施例中,关键字标记器120包括N个关键字的字典,并且关键字标记器120可用来根据关键字生成特征向量。标记的特征可用来将图像存储为多个子集。此外,在一个实施例中,图像分类器模块116使用关键字来创建分类器。
此外,类似性搜索模块114包括用于识别数据库的图像中的对象的对象识别器121。通过利用识别出的对象,图像分类器模块116可以学习这些对象,并且基于这些对象构建分类器。
图2是根据本公开一方面的用于利用分类数据结构(例如但不限于分类搜索树)对图像进行类似性搜索的示例性方法的流程图。首先,在步骤202,分类搜索树被构建,将在下面更详细描述。然后,在步骤204,后期处理设备102获取至少一个二维(2D)图像,例如查询图像。后期处理设备102可以通过例如经由消费级相机获取计算机可读形式的数字图像文件来获取查询图像。尽管本公开的技术是根据图像来描述的,然而图像序列(例如视频)也可以利用本公开的技术。可以通过利用数字相机捕获时间序列的运动图像来获取数字视频文件。替代地,视频序列可以通过传统的胶片类型相机来捕获。在此情形中,通过扫描设备103来扫描胶片。
在步骤206,查询图像由分类器进行分类,并且接下来在步骤208中,由子分类器进行分类,直到达到树的最低层次或者树的分支为止。在步骤210,由搜索器在数据库的图像子集122内执行类似性搜索,而不是针对整个图像空间或数据库执行类似性搜索。现在将描述构建或生成分类搜索树以及在树内执行搜索的细节。
本公开的***和方法采用基于树的搜索来将图像比较限制在数据库的小子集内。基于树的搜索是基于如下描述的图像分类的。分类树是自动构建的或者是通过向图像标记关键字而手动构建的。
本公开的***和方法通过将感兴趣图像的搜索限制为沿着分类搜索树的分支来加速搜索过程。在执行搜索时,假设可利用高精度类似性量度S(Iq,Id),其中,Iq是查询图像,Id是数据库中的图像。类似性量度是指示两个图像多么类似的数字,例如,1.0意味着两个图像相同,0.0意味着两个图像完全不同。距离通常可被认为是类似性的反向。类似性的一个示例是两个图像的色彩直方图的反向距离。类似性量度是本领域已知的,并且还有可能针对某个图像类别“学习”这样的图像类似性量度,以使得在该类别内的类似性搜索被优化。还有可能针对特定图像类别手动地设计这样的类似性量度。对于任意情况,适应于图像类别C的类似性量度被表示为SC(Iq,Id)。
分类搜索树是这样的树,其中,树中的每个中间节点使用分类器来检测或分类图像中的一个或多个类别。树中的每个分支表示一个类别。然后,仅遍历树中被检测到的类别的分支。如图3所示,树中的每个叶节点302、304、306、308、310表示与具体类别相对应的图像。分类搜索树可以具有多层或多个层次。例如,图3中的树具有三个层次。此外,如从图3可见的,分类搜索树包括分类器和搜索器。
分类器用来将查询图像分类到类别中。在一个实施例中,分类器是基于例如色彩和纹理等之类的自动提取的特征的图案识别或机器学习算法或函数。分类的大体过程如下:首先从图像提取特征向量,然后,图案识别算法或函数取得该特征向量并输出具有可选的置信评分的一个或多个类标签(例如,类ID和评分),所述类标签表示一个或多个特定图像类别。一般而言,图案识别算法是以特征向量为输入并输出指示类的ID的整数的函数;替代地,图案识别函数将提取出的向量与所存储向量相比较。其它图案识别算法或函数是本领域已知的。分类器还可以是二元的。在此情况中,分类器将输出分别指示图像是否属于某个类别的是或否标签。分类器可以手动地来设计或者可以根据示例数据被自动地构成。
搜索器是用来计算图像的类似性并且寻找与查询图像具有最大类似性的感兴趣图像的程序。
在简单分类搜索的情况中,查询图像被分类到每个层次中的一个且仅一个类别;假设叶类别是类别C。在进行了分类之后,即,查询图像到达分类搜索树的底部(叶层)之后,执行类似性量度SC(Iq,Id)计算以在与图像类别C相对应的数据库子集内搜索图像,如图4所示。在图4中,并且在其余附图中,在搜索期间遍历经过的分支或叶节点用实线指示,而未被遍历的分类器和搜索器用虚线示出。例如,在图4中,查询图像被接收并被提交给分类器0。在分类器0处,确定将要在分类器0.1(例如子分类器)处进一步对图像分类。查询图像从分类器0.1被提交给分类器0.1.1,在其中,确定使用搜索器0.1.1.2在图像子集0.1.1.2中搜索与查询图像类似的图像。将理解,通过将对感兴趣图像的搜索限制于图像子集0.1.1.2,将更高效更快速地执行搜索。
在此情况中,分类器的输出可以是二元的或者n元的。如果其是二元分类器,则分类器的输出指示查询图像是否属于一类别。相似地,如果其是n元分类器,则分类器的输出可以是指示查询图像属于哪个类别的整数值。如果分类搜索树中的所有分类器都是二元的,则该树是二元树;否则,该树是非二元分类搜索树。
简单分类搜索的一个问题在于,如果存在分类错误,则查询图像可能进入完全错误的类别,从而导致错误的搜索结果。该问题可以通过冗余搜索来解决,在冗余搜索中,多个类别而非一个类别被搜索。
参考图5,在冗余分类搜索情况中,查询图像被分类到多于一个叶类,例如分类器0.1和分类器0.2。在进行分类之后,即,查询图像到达分类搜索树的底部(叶层)中的若干类别,例如分类器0.1.1和分类器0.2.1。然后,执行类似性量度SC(Iq,Id)计算以在与所选图像类别C相对应的数据库子集内搜索图像;在图5的示例中,搜索器0.1.1.2将搜索图像子集0.1.1.2,搜索器0.2.1将搜索图像子集0.2.1。
为了实现冗余分类搜索,分类器的输出必须是类标签的列表并且是表示相应类别出现在查询图像中的置信度的浮点值。然后,阈值截取(thresholding)过程可被用来获得具有大于阈值的分类器输出的类别的列表。查询图像被确定为属于得到的类别的列表。在到达树的底层之后,将确定类别列表中的每个图像的类似性评分,并且然后将具有最大类似性评分的图像选为感兴趣图像。
为了实现对图像的高效搜索,将构建分类搜索树以结构化图像空间,因此,不必每次搜索所有的图像。参考图6,构建或生成分类搜索树包括两个阶段。在第一阶段,构建树的所有分支,包括构建所有分类器并将分类器组织为树,如果该分类搜索树具有多层的话。在第二阶段,数据库中的图像被分类到类别中以在数据库中形成图像的子集。此外,定义用于在每个图像子集内进行搜索的搜索器。
为了构建分类搜索树,首先必须构建树中的中间节点处的分类器。每个分类器对应于一个语义类(例如,室外场景、树木、人脸等)。语义类可以由人类手动确定或者利用聚类算法或函数自动确定。分类器(即,树结构)之间的关系可以由人类设计者来定义。
一旦定义了语义类,就必须为中间节点构建语义分类器,例如子分类器304、306、308、310。可以利用不同方法逐个地构建每个分类器或子分类器。在一个实施例中,“一般”分类器被提供,然后,该“一般”分类器学习每个图像类别的示例图像。这样的方法使得本公开的***和方法能够构建大量语义分类器而不用具体地设计每个分类器。这种类型的分类器称为基于学习的场景或对象识别器。R.Fergus、P.Perona和A.Zisserman在Proc.of the IEEE Conf on Computer Vision and Pattern Recognition 2003的″Object Class Recognition by Unsupervised Scale-Invariant Learning″中公开了示例性的基于学习的场景或对象识别器。在Fergus等人的论文中,描述了一种以尺寸不变的方式从未经标记且未经分段的杂乱场景中学习并识别对象类模型的方法。在该方法中,对象被建模为各个部分的灵活星座。概率表示被用于对象的所有方面:形状、外观、咬合状态以及相对尺寸。基于熵的特征检测器被用来选择图像内的区域及其尺寸。在学习时,尺寸不变的对象模型的参数被估计出。这是利用最大似然设置中的期望值最大化来实现的。在识别时,该模型以贝叶斯定理(Bayesian)的方式被用来对图像分类。
定义和构建分类器的另一方式是利用图像用户进行的“关键字标记”。对于“关键字标记”,图像用户将手动地向图像指派关键字,例如“树木”、“脸部”、“蓝天”等。这些手动标记的关键字可被当作是图像的特征的类型,因而可以用于分类目的。例如,关键字侦测(spot)分类器可被构建来在该分类器侦测到特定关键字时就将图像分类到特定类中。更具体地,标记的关键字可被当作一种类型的特征并且被转换为特征向量。这是通过在图像检索中使用的称为“术语向量”的技术来实现的。基本地,构建具有N个关键字的字典,并且对于标记有关键字的每个图像,N维的关键字特征向量将被指派给该图像。如果图像被标记有字典中的第i个关键字,那么1被指派给术语向量中的第i个元素,否则0被指派。结果,每个图像的术语向量被提供来表示该图像的语义含义。可将这样的术语向量与上面描述的常规特征向量相连接,以形成用于图像分类的新的特征向量,如图7所示的。
对于每个图像子集,手动地设计或者学习得到图像搜索器。图像搜索器被用来在数据库的子集内执行类似性搜索。
在定义并构建了分类器之后,数据库中的图像被分类成子集。构建图像子集的方式与分类搜索过程非常类似。当图像被输入数据库时,其在分类树中被自动分类,直到其到达分类树的底层为止,其中,该图像被输入与底层分类器之一相对应的图像池中,如图8所示。
潜在的问题在于图像可能包含多于两个语义对象,例如,图像包含人和树木。如果在分类树中存在两个语义类,例如“人”和“树木”,则将该图像分类到一个类中是含糊的。该问题可以通过上述的冗余分类来解决。即,进入图像可被分类到两个子集中。
虽然已经在这里详细示出和描述了包含本公开的教导的实施例,但是本领域技术人员可容易地设计出仍然包含这些教导的许多其它变形实施例。已经描述了用于利用分类搜索树对图像进行高效地语义类似性搜索的***和方法的优选实施例(其意图是例示性的而非限制性的),但是应当注意,本领域技术人员根据以上教导可进行修改和变更。因此应当了解,可在所公开的本公开的特定实施例中进行落在由所附权利要求限定的本公开的范围和精神内的改变。
Claims (26)
1.一种用于在多个图像中搜索感兴趣图像的方法,该方法包括以下步骤:
针对所述多个图像构建分类结构(202),所述分类结构包括至少两个图像类别,每个图像类别表示所述多个图像的子集;
接收查询图像(204);
对所述查询图像分类以选择所述至少两个图像类别中的一个图像类别(206);以及
将对感兴趣图像的搜索限制于在所述至少两个图像类别中选择的一个图像类别(210)。
2.如权利要求1所述的方法,其中,所述分类结构是语义分类搜索树。
3.如权利要求1所述的方法,其中,对查询图像分类的步骤包括:
从所述查询图像提取特征;以及
基于所提取的特征来标识所述至少两个类别中的一个类别。
4.如权利要求1所述的方法,其中,对查询图像分类的步骤是通过图案识别函数执行的。
5.如权利要求1所述的方法,其中,构建分类结构的步骤包括:为每个图像类别确定分类器,其中,所述分类器将图像分类到所述至少两个类别中的一个类别。
6.如权利要求5所述的方法,其中,确定分类器的步骤是通过向所述多个图像应用聚类函数来执行的。
7.如权利要求5所述的方法,还包括为每个所确定的分类器确定至少一个子分类器的步骤。
8.如权利要求5所述的方法,还包括以下步骤:
基于所确定的分类器来对所述多个图像中的每个图像分类;以及
将所述多个图像中的每个图像存储到所述多个图像的至少一个子集中。
9.如权利要求1所述的方法,其中,构建分类结构的步骤包括:
向所述多个图像中的每个图像标记特征关键字;以及
基于所述特征关键字将所述多个图像中的每个图像存储到所述多个图像的至少一个子集中。
10.如权利要求9所述的方法,还包括基于所述特征关键字为每个图像类别确定分类器的步骤。
11.如权利要求1所述的方法,其中,构建分类结构的步骤还包括以下步骤:
从所述至少两个图像类别中的所述多个图像的每个图像中识别对象;以及
基于识别出的每个图像的对象确定用于每个图像类别的分类器,其中,所述分类器将图像分类到所述至少两个类别中的一个类别。
12.如权利要求1所述的方法,其中,搜索感兴趣图像是通过类似性量度来执行的。
13.如权利要求1所述的方法,还包括以下步骤:
将所述查询图像分类在所述至少两个图像类别中的至少两个类别中;
在所述至少两个图像类别中利用所述查询图像来搜索感兴趣图像;
为在至少两个类别的每个类别中找到的每个图像确定类似性评分;以及
将具有最高类似性评分的图像选为所述感兴趣图像。
14.一种用于在多个图像中搜索感兴趣图像的***(100),该***包括:
数据库(122),该数据库(122)包括被结构化为至少两个语义图像类别的多个图像,每个语义图像类别表示所述多个图像的子集;
用于获取至少一个查询图像的装置(103,104,106,124);
图像分类器模块(116),用于对所述查询图像分类以选择所述至少两个语义图像类别中的一个语义图像类别;以及
图像搜索器模块(119),用于利用所述查询图像搜索感兴趣图像,其中,该搜索被限制于在所述至少两个语义图像类别中选择的一个语义图像类别。
15.如权利要求14所述的***(100),还包括:特征提取器(118),用于从所述查询图像提取特征,其中,所述图像分类器模块(116)基于提取出的特征来标识所述至少两个类别中的一个类别。
16.如权利要求14所述的***(100),其中,所述图像分类器模块(116)包含图案识别函数。
17.如权利要求14所述的***(100),还包括:用于构建包括用于每个图像类别的分类器的语义分类搜索树的装置,其中,所述分类器将图像分类到所述至少两个类别中的一个类别。
18.如权利要求17所述的***(100),其中,所述图像分类器模块(116)通过向所述多个图像应用聚类函数来确定所述分类器。
19.如权利要求17所述的***(100),其中,所述图像分类器模块(116)为每个所确定的分类器确定子分类器。
20.如权利要求17所述的***(100),其中,所述图像分类器模块(116)基于所确定的分类器来对所述多个图像中的每个图像分类,并且将所述多个图像中的每个图像存储到所述数据库中的所述多个图像的子集中。
21.如权利要求17所述的***(100),还包括:关键字标记器(120),用于向所述多个图像中的每个图像标记特征关键字,并且基于所述特征关键字将所述多个图像中的每个图像存储到所述数据库中的所述多个图像的子集中。
22.如权利要求21所述的***(100),其中,所述图像分类器模块(116)基于所述特征关键字为每个图像类别确定分类器。
23.如权利要求17所述的***(100),还包括:对象识别器(121),用于从所述至少两个图像类别中的所述多个图像的每个图像中识别对象,并且所述图像分类器模块(116)基于识别出的每个图像的对象确定用于每个图像类别的分类器。
24.如权利要求14所述的***(100),其中,所述图像搜索器模块(119)包括类似性量度。
25.如权利要求14所述的***(100),其中,所述图像分类器模块(116)将所述查询图像分类在所述至少两个图像类别中的至少两个类别中,并且所述图像搜索器模块(119)在所述至少两个图像类别中利用所述查询图像来搜索感兴趣图像,为在所述至少两个类别的每个类别中找到的每个图像确定类似性评分,并且将具有最高类似性评分的图像选为所述感兴趣图像。
26.一种可由机器读取的程序存储设备,该程序存储设备有形地包含有程序指令,所述程序指令可由所述机器运行来执行用于在多个图像中搜索感兴趣图像的方法步骤,该方法包括以下步骤:
针对所述多个图像构建分类结构(202),所述分类结构包括至少两个图像类别,每个图像类别表示所述多个图像的子集;
接收查询图像(204);
对所述查询图像分类以选择所述至少两个图像类别中的一个图像类别(206);以及
将对感兴趣图像的搜索限制于在所述至少两个图像类别中选择的一个图像类别(210)。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2008/007208 WO2009148422A1 (en) | 2008-06-06 | 2008-06-06 | System and method for similarity search of images |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102057371A true CN102057371A (zh) | 2011-05-11 |
Family
ID=39917147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008801296710A Pending CN102057371A (zh) | 2008-06-06 | 2008-06-06 | 用于图像的类似性搜索的***和方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20110085739A1 (zh) |
EP (1) | EP2300941A1 (zh) |
JP (1) | JP5774985B2 (zh) |
KR (2) | KR101622360B1 (zh) |
CN (1) | CN102057371A (zh) |
BR (1) | BRPI0822771A2 (zh) |
CA (1) | CA2726037A1 (zh) |
WO (1) | WO2009148422A1 (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102819566A (zh) * | 2012-07-17 | 2012-12-12 | 杭州淘淘搜科技有限公司 | 一种商品图像跨类目检索方法 |
CN103246688A (zh) * | 2012-12-03 | 2013-08-14 | 苏州大学 | 基于显著区域稀疏表示的语义层次模型图像分类管理方法 |
CN105612514A (zh) * | 2013-08-05 | 2016-05-25 | 脸谱公司 | 通过将语境线索与图像关联进行图像分类的***和方法 |
CN106547893A (zh) * | 2016-11-03 | 2017-03-29 | 福建中金在线信息科技有限公司 | 一种图片分类管理***及图片分类管理方法 |
CN106844421A (zh) * | 2016-11-30 | 2017-06-13 | 上海仙剑文化传媒股份有限公司 | 一种数字图片管理方法及*** |
CN106980868A (zh) * | 2016-01-15 | 2017-07-25 | 奥多比公司 | 用于具有多个文本标签的图像的嵌入空间 |
CN107111826A (zh) * | 2014-11-12 | 2017-08-29 | 谷歌公司 | 应用的图像的自动选择 |
CN107766373A (zh) * | 2016-08-19 | 2018-03-06 | 阿里巴巴集团控股有限公司 | 图片所属类目的确定方法及其*** |
CN108288208A (zh) * | 2017-08-11 | 2018-07-17 | 腾讯科技(深圳)有限公司 | 基于图像内容的展示对象确定方法、装置、介质及设备 |
CN108431809A (zh) * | 2015-12-21 | 2018-08-21 | 电子湾有限公司 | 使用语义含义向量的跨语言搜索 |
CN108664514A (zh) * | 2017-03-31 | 2018-10-16 | 阿里巴巴集团控股有限公司 | 一种图像搜索方法、服务器及存储介质 |
CN110073347A (zh) * | 2016-12-06 | 2019-07-30 | 电子湾有限公司 | 锚定搜索 |
CN111582297A (zh) * | 2015-01-19 | 2020-08-25 | 电子湾有限公司 | 细粒度分类 |
US11227004B2 (en) | 2016-02-11 | 2022-01-18 | Ebay Inc. | Semantic category classification |
US11386306B1 (en) * | 2018-12-13 | 2022-07-12 | Amazon Technologies, Inc. | Re-identification of agents using image analysis and machine learning |
Families Citing this family (74)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110225196A1 (en) * | 2008-03-19 | 2011-09-15 | National University Corporation Hokkaido University | Moving image search device and moving image search program |
US8972410B2 (en) * | 2008-07-30 | 2015-03-03 | Hewlett-Packard Development Company, L.P. | Identifying related objects in a computer database |
US8391618B1 (en) * | 2008-09-19 | 2013-03-05 | Adobe Systems Incorporated | Semantic image classification and search |
US8429173B1 (en) | 2009-04-20 | 2013-04-23 | Google Inc. | Method, system, and computer readable medium for identifying result images based on an image query |
EP2629211A1 (en) | 2009-08-21 | 2013-08-21 | Mikko Kalervo Väänänen | Method and means for data searching and language translation |
JP2011053781A (ja) * | 2009-08-31 | 2011-03-17 | Seiko Epson Corp | 画像データベース作成装置、画像検索装置、画像データベース作成方法および画像検索方法 |
US20110072047A1 (en) * | 2009-09-21 | 2011-03-24 | Microsoft Corporation | Interest Learning from an Image Collection for Advertising |
US9197736B2 (en) | 2009-12-31 | 2015-11-24 | Digimarc Corporation | Intuitive computing methods and systems |
KR20110066011A (ko) * | 2009-12-10 | 2011-06-16 | 한국전자통신연구원 | 이미지 특성 추출을 이용한 유사 쉐이더 검색장치 및 방법 |
US9143603B2 (en) * | 2009-12-31 | 2015-09-22 | Digimarc Corporation | Methods and arrangements employing sensor-equipped smart phones |
US9703782B2 (en) | 2010-05-28 | 2017-07-11 | Microsoft Technology Licensing, Llc | Associating media with metadata of near-duplicates |
US8903798B2 (en) | 2010-05-28 | 2014-12-02 | Microsoft Corporation | Real-time annotation and enrichment of captured video |
CN101963995B (zh) * | 2010-10-25 | 2012-02-01 | 哈尔滨工程大学 | 基于特征场景的图像标注方法 |
US8559682B2 (en) | 2010-11-09 | 2013-10-15 | Microsoft Corporation | Building a person profile database |
KR101054107B1 (ko) * | 2011-03-25 | 2011-08-03 | 한국인터넷진흥원 | 이미지 특성정보를 이용한 개인정보 노출 검색 시스템 |
US9678992B2 (en) * | 2011-05-18 | 2017-06-13 | Microsoft Technology Licensing, Llc | Text to image translation |
US8813111B2 (en) * | 2011-08-22 | 2014-08-19 | Xerox Corporation | Photograph-based game |
JP4976578B1 (ja) * | 2011-09-16 | 2012-07-18 | 楽天株式会社 | 画像検索装置およびプログラム |
US20130144847A1 (en) * | 2011-12-05 | 2013-06-06 | Google Inc. | De-Duplication of Featured Content |
US10013426B2 (en) * | 2012-06-14 | 2018-07-03 | International Business Machines Corporation | Deduplicating similar image objects in a document |
US20140006318A1 (en) * | 2012-06-29 | 2014-01-02 | Poe XING | Collecting, discovering, and/or sharing media objects |
US9165068B2 (en) * | 2012-08-03 | 2015-10-20 | Adobe Systems Incorporated | Techniques for cloud-based similarity searches |
US9158970B2 (en) * | 2012-11-16 | 2015-10-13 | Canon Kabushiki Kaisha | Devices, systems, and methods for visual-attribute refinement |
US9330110B2 (en) | 2013-07-17 | 2016-05-03 | Xerox Corporation | Image search system and method for personalized photo applications using semantic networks |
US9275306B2 (en) * | 2013-11-13 | 2016-03-01 | Canon Kabushiki Kaisha | Devices, systems, and methods for learning a discriminant image representation |
US9311639B2 (en) | 2014-02-11 | 2016-04-12 | Digimarc Corporation | Methods, apparatus and arrangements for device to device communication |
US10394882B2 (en) * | 2014-02-19 | 2019-08-27 | International Business Machines Corporation | Multi-image input and sequenced output based image search |
US20150254280A1 (en) * | 2014-03-06 | 2015-09-10 | Nec Laboratories America, Inc. | Hybrid Indexing with Grouplets |
CN106716402B (zh) | 2014-05-12 | 2020-08-11 | 销售力网络公司 | 以实体为中心的知识发现 |
US10013436B1 (en) | 2014-06-17 | 2018-07-03 | Google Llc | Image annotation based on label consensus |
JP6492849B2 (ja) * | 2015-03-24 | 2019-04-03 | 富士ゼロックス株式会社 | ユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラム |
US20160378863A1 (en) * | 2015-06-24 | 2016-12-29 | Google Inc. | Selecting representative video frames for videos |
CN106354735A (zh) * | 2015-07-22 | 2017-01-25 | 杭州海康威视数字技术股份有限公司 | 一种图像中目标的检索方法和装置 |
CN105320945A (zh) * | 2015-10-30 | 2016-02-10 | 小米科技有限责任公司 | 图像分类的方法及装置 |
KR102545768B1 (ko) | 2015-11-11 | 2023-06-21 | 삼성전자주식회사 | 메타 데이터를 처리하기 위한 장치 및 방법 |
US10528613B2 (en) * | 2015-11-23 | 2020-01-07 | Advanced Micro Devices, Inc. | Method and apparatus for performing a parallel search operation |
US9904844B1 (en) | 2016-08-04 | 2018-02-27 | International Business Machines Corporation | Clustering large database of images using multilevel clustering approach for optimized face recognition process |
US10635727B2 (en) | 2016-08-16 | 2020-04-28 | Ebay Inc. | Semantic forward search indexing of publication corpus |
KR102533972B1 (ko) * | 2016-09-08 | 2023-05-17 | 고 수 시아 | 시각적 검색 플랫폼용 영상 인제스트 프레임워크 |
KR101911604B1 (ko) * | 2016-10-21 | 2018-10-25 | 한국과학기술원 | 이벤트 검출을 위한 학습형 시스템 트레이닝장치 및 그 방법 |
JP6310529B1 (ja) * | 2016-11-01 | 2018-04-11 | ヤフー株式会社 | 検索装置、検索方法および検索プログラム |
WO2018135881A1 (en) | 2017-01-19 | 2018-07-26 | Samsung Electronics Co., Ltd. | Vision intelligence management for electronic devices |
US10909371B2 (en) | 2017-01-19 | 2021-02-02 | Samsung Electronics Co., Ltd. | System and method for contextual driven intelligence |
ES2902979T3 (es) * | 2017-04-11 | 2022-03-30 | Dolby Laboratories Licensing Corp | Experiencias de entretenimiento aumentadas estratificadas |
KR101882743B1 (ko) * | 2017-04-17 | 2018-08-30 | 인하대학교 산학협력단 | 콘볼루션 신경망 기반-계층적 특징 모델링을 이용한 효율적인 객체 검출 방법 |
JP6310599B1 (ja) * | 2017-05-10 | 2018-04-11 | ヤフー株式会社 | 検索装置、検索方法および検索プログラム |
US10839021B2 (en) | 2017-06-06 | 2020-11-17 | Salesforce.Com, Inc | Knowledge operating system |
KR101986418B1 (ko) * | 2017-08-24 | 2019-06-05 | 세종대학교산학협력단 | 병해충 검색을 위한 통합 시스템 |
US11055345B2 (en) | 2017-12-28 | 2021-07-06 | International Business Machines Corporation | Constructing, evaluating, and improving a search string for retrieving images indicating item use |
US11061943B2 (en) | 2017-12-28 | 2021-07-13 | International Business Machines Corporation | Constructing, evaluating, and improving a search string for retrieving images indicating item use |
US10664517B2 (en) | 2017-12-28 | 2020-05-26 | International Business Machines Corporation | Constructing, evaluating, and improving a search string for retrieving images indicating item use |
US11645329B2 (en) | 2017-12-28 | 2023-05-09 | International Business Machines Corporation | Constructing, evaluating, and improving a search string for retrieving images indicating item use |
US10740647B2 (en) | 2018-03-14 | 2020-08-11 | Adobe Inc. | Detecting objects using a weakly supervised model |
CN108665490B (zh) * | 2018-04-02 | 2022-03-22 | 浙江大学 | 一种基于多属性编码及动态权重的图形匹配方法 |
TWI693524B (zh) * | 2018-05-22 | 2020-05-11 | 正修學校財團法人正修科技大學 | 專屬個性化圖片搜尋優化方法 |
WO2019244277A1 (ja) | 2018-06-20 | 2019-12-26 | 楽天株式会社 | 検索システム、検索方法、及びプログラム |
JP6639743B1 (ja) * | 2018-06-20 | 2020-02-05 | 楽天株式会社 | 検索システム、検索方法、及びプログラム |
US11698921B2 (en) | 2018-09-17 | 2023-07-11 | Ebay Inc. | Search system for providing search results using query understanding and semantic binary signatures |
KR20200052440A (ko) | 2018-10-29 | 2020-05-15 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어 방법 |
KR102119611B1 (ko) * | 2018-11-05 | 2020-06-05 | 서강대학교 산학협력단 | 스마트 컨트랙트의 분류 장치 및 분류 방법 |
KR102230120B1 (ko) * | 2018-12-28 | 2021-03-22 | 고려대학교 산학협력단 | 사용자 단말에서의 사진 검색 방법 및 시스템 |
US11631234B2 (en) | 2019-07-22 | 2023-04-18 | Adobe, Inc. | Automatically detecting user-requested objects in images |
US11468550B2 (en) | 2019-07-22 | 2022-10-11 | Adobe Inc. | Utilizing object attribute detection models to automatically select instances of detected objects in images |
US11302033B2 (en) * | 2019-07-22 | 2022-04-12 | Adobe Inc. | Classifying colors of objects in digital images |
US11107219B2 (en) | 2019-07-22 | 2021-08-31 | Adobe Inc. | Utilizing object attribute detection models to automatically select instances of detected objects in images |
JP7291347B2 (ja) * | 2019-09-24 | 2023-06-15 | 日新電機株式会社 | 図面検索装置、モデル生成装置、図面検索方法、およびモデル生成方法 |
US11921773B1 (en) * | 2019-12-31 | 2024-03-05 | Snap Inc. | System to generate contextual queries |
US11468110B2 (en) | 2020-02-25 | 2022-10-11 | Adobe Inc. | Utilizing natural language processing and multiple object detection models to automatically select objects in images |
US11055566B1 (en) | 2020-03-12 | 2021-07-06 | Adobe Inc. | Utilizing a large-scale object detector to automatically select objects in digital images |
KR102605070B1 (ko) | 2020-07-06 | 2023-11-24 | 한국전자통신연구원 | 인식 모델 학습 장치, 촬영본 영상 분석 장치 및 촬영본 검색 서비스 제공 장치 |
US11587234B2 (en) | 2021-01-15 | 2023-02-21 | Adobe Inc. | Generating class-agnostic object masks in digital images |
US11972569B2 (en) | 2021-01-26 | 2024-04-30 | Adobe Inc. | Segmenting objects in digital images utilizing a multi-object segmentation model framework |
US20230009267A1 (en) * | 2021-07-06 | 2023-01-12 | Ebay Inc. | Visual facet search engine |
CN113407746B (zh) * | 2021-07-16 | 2023-08-29 | 厦门熵基科技有限公司 | 一种以图搜图的方法及*** |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3143532B2 (ja) * | 1992-11-30 | 2001-03-07 | キヤノン株式会社 | 画像検索装置及び方法 |
JP2000276484A (ja) * | 1999-03-25 | 2000-10-06 | Konica Corp | 画像検索装置、画像検索方法及び画像表示装置 |
JP2001160057A (ja) * | 1999-12-03 | 2001-06-12 | Nippon Telegr & Teleph Corp <Ntt> | 画像の階層的分類方法、および画像の分類・検索装置、およびこの方法を実行するプログラムを記録した記録媒体 |
WO2002013067A2 (en) * | 2000-08-05 | 2002-02-14 | Hrl Laboratories, Llc | System for online rule-based video classification |
JP4082043B2 (ja) * | 2002-02-27 | 2008-04-30 | 富士ゼロックス株式会社 | 画像検索装置 |
US7043474B2 (en) * | 2002-04-15 | 2006-05-09 | International Business Machines Corporation | System and method for measuring image similarity based on semantic meaning |
JP2004234228A (ja) * | 2003-01-29 | 2004-08-19 | Seiko Epson Corp | 画像検索装置、画像検索装置におけるキーワード付与方法、及びプログラム |
JP4285644B2 (ja) * | 2003-08-19 | 2009-06-24 | 富士フイルム株式会社 | オブジェクト識別方法および装置ならびにプログラム |
JP4313738B2 (ja) * | 2004-08-18 | 2009-08-12 | 日本電信電話株式会社 | 画像検索装置および方法、そのプログラム及び記録媒体 |
JP2006164008A (ja) * | 2004-12-09 | 2006-06-22 | Matsushita Electric Ind Co Ltd | 画像検索装置および画像検索方法 |
JP2005141776A (ja) * | 2005-02-07 | 2005-06-02 | Fuji Xerox Co Ltd | 画像抽出装置および方法 |
JP2008533580A (ja) * | 2005-03-10 | 2008-08-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオ及び/又はビジュアルデータの要約 |
JP2007156680A (ja) * | 2005-12-02 | 2007-06-21 | Konica Minolta Holdings Inc | ファイル管理装置 |
US20070233678A1 (en) * | 2006-04-04 | 2007-10-04 | Bigelow David H | System and method for a visual catalog |
US8024343B2 (en) * | 2006-04-07 | 2011-09-20 | Eastman Kodak Company | Identifying unique objects in multiple image collections |
JP2008217428A (ja) * | 2007-03-05 | 2008-09-18 | Fujitsu Ltd | 画像検索プログラム、方法及び装置 |
US8391618B1 (en) * | 2008-09-19 | 2013-03-05 | Adobe Systems Incorporated | Semantic image classification and search |
KR101541351B1 (ko) * | 2008-11-17 | 2015-08-03 | 주식회사 알티캐스트 | 디지털 방송 수신기에서 수신한 방송 컨텐츠의 화면 구성 제어 방법 및 장치 |
-
2008
- 2008-06-06 JP JP2011512422A patent/JP5774985B2/ja not_active Expired - Fee Related
- 2008-06-06 WO PCT/US2008/007208 patent/WO2009148422A1/en active Application Filing
- 2008-06-06 CA CA2726037A patent/CA2726037A1/en not_active Abandoned
- 2008-06-06 CN CN2008801296710A patent/CN102057371A/zh active Pending
- 2008-06-06 KR KR1020157023226A patent/KR101622360B1/ko not_active IP Right Cessation
- 2008-06-06 BR BRPI0822771-3A patent/BRPI0822771A2/pt not_active IP Right Cessation
- 2008-06-06 EP EP08768276A patent/EP2300941A1/en not_active Withdrawn
- 2008-06-06 US US12/996,424 patent/US20110085739A1/en not_active Abandoned
- 2008-06-06 KR KR1020107026907A patent/KR101582142B1/ko not_active IP Right Cessation
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102819566A (zh) * | 2012-07-17 | 2012-12-12 | 杭州淘淘搜科技有限公司 | 一种商品图像跨类目检索方法 |
CN103246688A (zh) * | 2012-12-03 | 2013-08-14 | 苏州大学 | 基于显著区域稀疏表示的语义层次模型图像分类管理方法 |
CN105612514A (zh) * | 2013-08-05 | 2016-05-25 | 脸谱公司 | 通过将语境线索与图像关联进行图像分类的***和方法 |
US10169686B2 (en) | 2013-08-05 | 2019-01-01 | Facebook, Inc. | Systems and methods for image classification by correlating contextual cues with images |
CN107111826A (zh) * | 2014-11-12 | 2017-08-29 | 谷歌公司 | 应用的图像的自动选择 |
CN111582297B (zh) * | 2015-01-19 | 2023-12-26 | 电子湾有限公司 | 细粒度分类 |
CN111582297A (zh) * | 2015-01-19 | 2020-08-25 | 电子湾有限公司 | 细粒度分类 |
CN108431809A (zh) * | 2015-12-21 | 2018-08-21 | 电子湾有限公司 | 使用语义含义向量的跨语言搜索 |
CN106980868B (zh) * | 2016-01-15 | 2022-03-11 | 奥多比公司 | 用于具有多个文本标签的图像的嵌入空间 |
CN106980868A (zh) * | 2016-01-15 | 2017-07-25 | 奥多比公司 | 用于具有多个文本标签的图像的嵌入空间 |
US11227004B2 (en) | 2016-02-11 | 2022-01-18 | Ebay Inc. | Semantic category classification |
CN107766373A (zh) * | 2016-08-19 | 2018-03-06 | 阿里巴巴集团控股有限公司 | 图片所属类目的确定方法及其*** |
CN107766373B (zh) * | 2016-08-19 | 2021-07-20 | 阿里巴巴集团控股有限公司 | 图片所属类目的确定方法及其*** |
CN106547893A (zh) * | 2016-11-03 | 2017-03-29 | 福建中金在线信息科技有限公司 | 一种图片分类管理***及图片分类管理方法 |
CN106844421A (zh) * | 2016-11-30 | 2017-06-13 | 上海仙剑文化传媒股份有限公司 | 一种数字图片管理方法及*** |
CN110073347A (zh) * | 2016-12-06 | 2019-07-30 | 电子湾有限公司 | 锚定搜索 |
CN108664514A (zh) * | 2017-03-31 | 2018-10-16 | 阿里巴巴集团控股有限公司 | 一种图像搜索方法、服务器及存储介质 |
US11200444B2 (en) | 2017-08-11 | 2021-12-14 | Tencent Technology (Shenzhen) Company Limited | Presentation object determining method and apparatus based on image content, medium, and device |
CN108288208B (zh) * | 2017-08-11 | 2020-08-28 | 腾讯科技(深圳)有限公司 | 基于图像内容的展示对象确定方法、装置、介质及设备 |
WO2019029714A1 (zh) * | 2017-08-11 | 2019-02-14 | 腾讯科技(深圳)有限公司 | 基于图像内容的展示对象确定方法、装置、介质及设备 |
CN108288208A (zh) * | 2017-08-11 | 2018-07-17 | 腾讯科技(深圳)有限公司 | 基于图像内容的展示对象确定方法、装置、介质及设备 |
US11386306B1 (en) * | 2018-12-13 | 2022-07-12 | Amazon Technologies, Inc. | Re-identification of agents using image analysis and machine learning |
US11907339B1 (en) | 2018-12-13 | 2024-02-20 | Amazon Technologies, Inc. | Re-identification of agents using image analysis and machine learning |
Also Published As
Publication number | Publication date |
---|---|
JP2011523137A (ja) | 2011-08-04 |
KR20150104646A (ko) | 2015-09-15 |
KR101622360B1 (ko) | 2016-05-19 |
US20110085739A1 (en) | 2011-04-14 |
EP2300941A1 (en) | 2011-03-30 |
JP5774985B2 (ja) | 2015-09-09 |
KR101582142B1 (ko) | 2016-01-05 |
KR20110027666A (ko) | 2011-03-16 |
BRPI0822771A2 (pt) | 2015-06-30 |
WO2009148422A1 (en) | 2009-12-10 |
CA2726037A1 (en) | 2009-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102057371A (zh) | 用于图像的类似性搜索的***和方法 | |
CN104520875B (zh) | 优选用于搜索和检索目的的从视频内容提取描述符的方法和装置 | |
US10282616B2 (en) | Visual data mining | |
Wang et al. | Scene-specific pedestrian detection for static video surveillance | |
Galleguillos et al. | Weakly supervised object localization with stable segmentations | |
US8737739B2 (en) | Active segmentation for groups of images | |
Silva et al. | Graph-based bag-of-words for classification | |
Rusiñol et al. | Efficient logo retrieval through hashing shape context descriptors | |
JP2013531297A (ja) | 画像中の特定物体の迅速且つ堅牢性のある識別方法及び識別システム | |
CN111914107A (zh) | 一种基于多通道注意力区域扩展的实例检索方法 | |
JP2014197412A (ja) | 画像の類似検索システム及び方法 | |
Martinet et al. | A relational vector space model using an advanced weighting scheme for image retrieval | |
WO2010071617A1 (en) | Method and apparatus for performing image processing | |
Li et al. | An Object Co-occurrence Assisted Hierarchical Model for Scene Understanding. | |
Calarasanu et al. | From text detection to text segmentation: a unified evaluation scheme | |
Huang et al. | An integrated scheme for video key frame extraction | |
Duygulu et al. | Multimedia translation for linking visual data to semantics in videos | |
Parikh et al. | Unsupervised learning of hierarchical semantics of objects (hSOs) | |
Fazl-Ersi et al. | Hierarchical appearance-based classifiers for qualitative spatial localization | |
Derakhshan et al. | A Review of Methods of Instance-based Automatic Image Annotation | |
Rusiñol et al. | Symbol Spotting for Document Categorization | |
Natsev et al. | Over-complete representation and fusion for semantic concept detection | |
Srinivasan et al. | A bipartite graph model for associating images and text | |
Muhling et al. | Improving semantic video retrieval via object-based features | |
CN114494736A (zh) | 一种基于显著性区域检测的室外地点重识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20110511 |