CN108369594B - 用于执行并行搜索操作的方法和设备 - Google Patents

用于执行并行搜索操作的方法和设备 Download PDF

Info

Publication number
CN108369594B
CN108369594B CN201680072449.6A CN201680072449A CN108369594B CN 108369594 B CN108369594 B CN 108369594B CN 201680072449 A CN201680072449 A CN 201680072449A CN 108369594 B CN108369594 B CN 108369594B
Authority
CN
China
Prior art keywords
images
memory
processor
memory modules
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680072449.6A
Other languages
English (en)
Other versions
CN108369594A (zh
Inventor
张东平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Micro Devices Inc
Original Assignee
Advanced Micro Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Micro Devices Inc filed Critical Advanced Micro Devices Inc
Publication of CN108369594A publication Critical patent/CN108369594A/zh
Application granted granted Critical
Publication of CN108369594B publication Critical patent/CN108369594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种用于在存储器内置处理器(PIM)***中执行搜索的方法和设备，所述存储器内置处理器***具有第一处理器和至少一个存储器模块，所述方法包括由所述第一处理器接收一个或多个图像。所述第一处理器将对存储器进行搜索以寻找与所述一个或多个图像匹配的图像的查询发送到至少一个存储器模块，所述至少一个存储器模块响应于所述所接收的查询而搜索所述存储器模块中的存储器。所述至少一个存储器模块将所述搜索的结果发送到所述第一处理器，并且所述第一处理器执行来自所述至少一个存储器模块的所述所接收的结果与所述所接收的一个或多个图像的比较。

Description

用于执行并行搜索操作的方法和设备
对相关申请的交叉参考
本申请要求2015年11月23日提交的美国非临时专利申请No.14/948,892的权益，所述申请以引用的方式并入，就好像在本文完全阐述一样。
发明领域
本发明大体上针对于执行搜索操作，并且更具体来说，针对于用于执行并行搜索操作的方法和设备。
背景
数码相机的发明以及将数码相机并入到蜂窝式电话中已经开辟了比以前拍摄和存储大量照片的时代。人们拍摄数百和甚至数千张照片并且将图像上传到存储器(例如，在他们的计算机上)，以致于他们可能甚至不知道他们有什么图像。因此，特别是使用常规的方法来对存储器进行搜索以了解特定图像是否存储在存储器中可能是非常艰巨的任务。
常规的大规模网络图像搜索大体上是利用文本“词袋”方案来执行。也就是说，图像包括文本描述(即，词袋)。起始文本搜索，所述文本搜索可以任选地还包括几何或图像验证，并且基于起始的文本搜索而返回图像。“词袋”方法严重依赖于用户供应的元数据或对象标记和辨识的准确性。需要将图像特征标记或转译为文本词语描述。通常，当用户上传图片时，例如，在相机在上传期间向图像文件给予通用名称的情况下上传所述图像。用户不会一直使用准确的文本描述来重命名存储在存储器中的所有图像，从而使得搜索特定类型的图像成为问题。
另外，大规模多媒体搜索是在文本搜索领域已经变得相对成熟和完善之后搜索引擎和社交网站试图应对的问题。随着多媒体数据的量的不断增长，在图像数据集合中的有效(例如，在服务质量和能量消耗两方面)图像搜索或在混合的非结构化数据或视频中的有效图像搜索对于场景/对象辨识/重建、侵权检测、机器人视觉、广告投放等的目的来说变得较为重要。另外，支持网络规模的图像搜索可能是昂贵的，因为其可能要求具有较大功耗的大量硬件。
因此提供一种用于执行基于图像自身的性质来对图像进行搜索的图像搜索的方法和设备将是有益的。
实施方案的概要
公开了针对于一种执行图像搜索的方法的实施方案。所述方法包括在存储器内置处理器(PIM)***中执行搜索，所述存储器内置处理器***具有第一处理器和通过所述第一处理器来接收一个或多个图像的至少一个存储器模块。主机处理器将对存储器进行搜索以寻找与一个或多个图像匹配的图像的查询发送到至少一个存储器模块，所述至少一个存储器模块响应于所接收的查询而搜索所述存储器模块中的存储器。所述至少一个存储器模块将所述搜索的结果发送到所述第一处理器，并且所述第一处理器执行来自所述至少一个存储器模块的所接收的结果与所述所接收的一个或多个图像的比较。
公开了针对于一种处理器的实施方案。所述处理器包括被配置成接收一个或多个图像的电路，以及被配置成将对存储器进行搜索以寻找与一个或多个图像匹配的图像的查询发送到至少一个存储器模块的电路。所述处理器包括被配置成响应于所接收的查询而从至少一个存储器模块接收对存储在存储器模块中的存储器中的图像的搜索的结果的电路，以及被配置成执行来自至少一个存储器模块的所接收的结果与所接收的一个或多个图像的比较的电路。
公开了针对于一种***的实施方案。所述***包括处理器和至少一个存储器模块。所述处理器包括被配置成接收一个或多个图像的电路、被配置成将对存储器进行搜索以寻找与一个或多个图像匹配的图像的查询发送到至少一个存储器模块的电路、被配置成从所述至少一个存储器模块接收对存储在存储器模块中的存储器中的图像的搜索的结果的电路，以及被配置成执行来自所述至少一个存储器模块的所接收的结果与所接收的一个或多个图像的比较的电路。所述至少一个存储器模块包括被配置成响应于所接收的查询而执行对存储在存储器模块中的存储器中的图像的搜索的电路，以及被配置成将所述搜索的结果发送到处理器的电路。
公开了针对于一种方法的实施方案，所述方法实施于具有第一处理器和多个存储器模块的存储器内置处理器(PIM)***中。所述方法包括上传一个或多个图像并且根据所述一个或多个图像的图像数据对所述一个或多个图像进行分类。所述图像基于图像数据的分类而被分割和存储在多个存储器模块上。第一处理器接收一个或多个查询图像，并且第一处理器将对存储器进行搜索以寻找与所述一个或多个查询图像匹配的图像的查询发送到所述多个存储器模块。所述多个存储器模块中的每个存储器模块响应于所接收的查询而执行对存储在所述存储器模块中的存储器中的图像的搜索。所述多个存储器模块中的每个存储器模块将所述搜索的结果发送到第一处理器，并且所述第一处理器执行来自所述多个存储器模块的所接收的结果与所接收的一个或多个图像的比较。
公开了针对于一种非暂时性计算机可读介质的实施方案。在所述非暂时性计算机可读介质上记录有指令，所述指令在由计算装置执行时致使所述计算装置执行多个操作，所述操作包括：接收一个或多个图像；发送对存储器进行搜索以寻找与一个或多个图像匹配的图像的查询；响应于所接收的查询而执行对存储在存储器模块中的存储器中的图像的搜索；发送所述搜索的结果；以及执行来自所述存储器模块的所接收的结果与所接收的一个或多个图像的比较。
附图简述
通过结合附图借助实例给出的以下描述，可以得到更详细的理解，附图中：
图1是可以在其中实施一个或多个所公开的实施方案的示例性装置的框图；
图2是根据实施方案的用于执行并行搜索操作的示例性架构的示意性表示；
图3是根据实施方案的用于执行并行搜索操作的示例性结构的框图；
图4是根据实施方案的图2和图3的示例性存储器模块的分解示意图和框图；
图5是根据实施方案的示例性图像比较；以及
图6是根据实施方案的执行并行搜索操作的示例性方法的流程图。
对实施方案的详细描述
虽然在下文提供实施方案的更详细描述，但简略地提供存储器内置处理器(PIM)***的混合图像搜索机构。存在可以用于压缩图像特征/描述符的多种策略。图像描述符包括若干种类，例如，全局描述符(例如，GIST)、局部描述符(例如，尺度不变特征变换(SIFT)、快速定向和短暂旋转(ORB)和SURF)，或区域描述符(例如，区域的基本性质，例如平均灰度或方差)。虽然全局描述符可以在存储空间和其计算成本两方面相对有效地表示图像，但与局部方法相比，基于全局描述符的图像比较可能不大稳健并且不大有判别性。举例来说，全局描述符可能对变换、视角变化、照明变化、聚类、修剪、遮挡等敏感。然而，局部描述符方法可能计算起来非常昂贵，并且其特征集合在存储方面常常比全局描述符和区域描述符大得多。但局部描述符对旋转和缩放的不变性以及针对其他格式的图像变化的稳健性可以使得其可以用于图像搜索领域，尤其作为“特征袋”(BoF)方法的主要成分。
在下文描述的方法和设备涉及在用户不指定额外的元数据或标签的情况下的图像搜索。也就是说，仅使用图像数据来消除对用户提供的信息的任何依赖性。可以在每个PIM的本地存储器堆叠中执行图像搜索的许多成分，例如出于效率起见，以相对低的准确性计算全局描述符、特征集合的分类和降维。还可以在减小的搜索空间内在本地堆叠中执行后续的局部描述符计算和验证，这可能会引发更高的计算成本和更高的准确水平。在每个PIM上复制查询图像(即，将要搜索的图像)，并且向主机处理器呈现来自每个PIM的搜索结果，在主机处理器中合并所述搜索结果以构建最终排名。此存储器内的处理可以减少跨越整个***的聚合数据流量，因为存储器存取主要受限于本地堆叠。因此，可以增加每个查询的搜索效率，同时减少每个查询的能量消耗。因此，在下文描述一种在具有PIM功能的***中的混合方法和设备，其可以利用全局描述符和局部描述符两者提供的优点，同时限制它们的缺陷。
图1是可以在其中实施一个或多个所公开的实施方案的示例性装置100的框图。装置100可以包括计算机(例如，桌上型计算机、平板计算机)、游戏装置、手持式装置、机顶盒、电视或移动电话。装置100包括处理器102、存储器104、存储装置106、一个或多个输入装置108和一个或多个输出装置110。装置100还可以任选地包括输入驱动器112和输出驱动器114。应理解，装置100可以包括在图1中未示出的额外组件。
处理器102可以包括中央处理单元(CPU)、图形处理单元(GPU)、位于同一裸片上的CPU和GPU，或一个或多个处理器核心，其中每个处理器核心可以是CPU或GPU。存储器104可以位于与处理器102相同的裸片上，或者可以与处理器102分开地定位。存储器104可以包括易失性或非易失性存储器，例如随机存取存储器(RAM)、动态RAM，或缓存。
存储装置106可以包括固定或可移除的存储装置，例如硬盘驱动器、固态驱动器、光盘，或闪存驱动器。输入装置108可以包括键盘、小键盘、触摸屏、触摸垫、检测器、麦克风、加速度计、陀螺仪、生物识别扫描仪，或网络连接(例如，用于传输和/或接收无线IEEE 802信号的无线局域网卡)。输出装置110可以包括显示器、扬声器、打印机、触觉反馈装置、一个或多个灯、天线，或网络连接(例如，用于传输和/或接收无线IEEE 802信号的无线局域网卡)。
输入驱动器112与处理器102和输入装置108通信，并且准许处理器102从输入装置108接收输入。输出驱动器114与处理器102和输出装置110通信，并且准许处理器102将输出发送到输出装置110。应注意，输入驱动器112和输出驱动器114是任选的组件，并且在不存在输入驱动器112和输出驱动器114的情况下，装置100将以相同的方式操作。虽然所描述的实施方案包括主要显示器，但可以在没有主要显示器的情况下实践本发明，并且本发明可以仅包括视频源装置。以此方式，控制地域可以是具有多个便携式装置并且不具有主要显示器的办公室环境。
图2是根据实施方案的用于执行并行搜索操作的示例性架构200的示意性表示。架构200可以包括主机处理器210、存储器模块220(标示为2201-2208)、封装内光电单元230以及额外的存储器模块240(标示为2401和2402)。主机处理器210可以是异构型高性能加速处理单元(APU)。存储器模块220可以包括PIM模块，所述PIM模块具有堆叠在一个或多个动态随机存取存储器(DRAM)裸片下方的逻辑裸片。额外的存储器模块240还可以包括具有堆叠在一个或多个DRAM裸片下方的逻辑裸片的PIM模块，并且可以在芯片外部以提供额外的存储器容量。存储器模块240可以经由链接250(例如，光学链接)与主机处理器210通信，并且可以被视为二级存储器，例如光学存储器等。
光电单元230可以用于通过互连链接(例如，光学链接250)发送/接收数据。应注意，光学链接(250)是一个示例性链接，但可以采用额外类型的链接(例如，电)。另外，存储器模块220中的逻辑裸片221可以提供接口和RAS特征。
图3是根据实施方案的用于执行并行搜索操作的示例性结构的框图。图3描绘(例如)经由主机-存储器接口与存储器模块220通信的主机处理器210。另外，存储器模块220经由PIM间互连彼此通信。此外，在图3的示例性图中，将示例性存储器模块220描绘成包括具有PIM的逻辑裸片221和一个或多个存储器裸片222。主机处理器210和存储器模块220安置在中介层260上。在图3中描绘的示例性结构可以基于架构200，并且可以被称为环结构，其中存储器模块220按照环图案位于主机处理器210周围。图4是根据实施方案的图2和图3的示例性存储器模块220的分解示意图和框图。更具体地，图4描绘逻辑裸片221的示例性示意图。逻辑裸片221包括呈GPU CU群集的一个或多个图形处理单元(GPU)计算单元(CU)核心，或多个群集和呈CPU群集的一个或多个中央处理单元(CPU)核心，或多个群集。GPU CU和CPU群集通过堆叠式存储器通道0–(n-1)经由存储器交换机与存储器裸片222通信，所述存储器通道可以与位于一个或多个存储器裸片222上的存储器区域(例如，DCT 0,DCT 1...(n-1))通信。另外，逻辑裸片经由到主机-存储器接口的存储器交换机与主机通信，并且经由PIM间互连经由存储器交换机与其他存储器模块220通信。
图5是根据实施方案的示例性图像比较500。在比较500中，将查询图像501与存储在存储器中的图像502进行比较，所述图像是已经顺时针旋转了九十(90)度的图像501的同一图像。
图6是根据实施方案的执行并行搜索操作的示例性方法600的流程图。方法600计算全局描述符(例如，描述整个图像的属性(例如，色彩等)的描述符)，并且以第一水平执行粗糙水平分类和图像搜索，从而为局部描述符方法显著地减小搜索空间和成本。其次，采用局部描述符方法(例如，图像内的区域的局部图像属性)来执行更准确的匹配和验证。
在步骤610中，将图像加载到存储器中并且进行分类。分类可以包括确定哪些图像包括相似的图像属性并且将那些相似图像分类为一类图像(例如，暴风雪的图像可以包括相似属性并且被分类为一类)。可以分割图像数据并且将图像数据随机地置于所有存储器堆叠(例如，存储器模块220和/或240)之间。一旦对图像数据进行分类，后续的布置方法有若干方式来管理存储器堆叠上的图像数据和搜索。
举例来说，可以将同一类别的图像分散在所有堆叠上，而不是集中在一个堆叠上。分散算法可以是任何类型的随机化、散列或其他算法映射。替代地，在分类之后可以不对任何图像进行分组。也就是说，每个图像仍然保持在存储器堆叠上的其初始随机的指派中。在另一替代方案中，可以将同一类别的图像置于一个存储器堆叠上，或者在一个存储器堆叠中没有足够空间的情况下置于多个相邻的存储器堆叠上。可以使用分层分类以得到子类别来示意性地实现此布置。举例来说，如果存在N个图像和两个类别，那么第一层级的分类将图像划分为两个类别，每个类别含有N/2个图像。然而，每个存储器模块可能不能够容纳N/2个图像，因此可以执行第二层级的分类以确定第一类别内(即，N/2个图像内)的子种类，并且属于个别子种类的图像可以尽可能存储在同一个存储器模块中。可以利用进一步的嵌套(例如，子种类的额外的子种类)来对彼此相似的图像进行进一步分类，并且让那些相似的图像尽可能存储在同一个模块上。
可以利用若干分类算法来用于所述分类。举例来说，K-最近邻、支持向量机、内核方法和其他类型的分类。在特征向量可能包括大量维度的情况下，可以与分类一起采用线性或非线性降维算法(例如，流形学习、费舍尔内核、主成分分析(PCA)和其他)。还可以将线性或非线性降维算法主要用于可视化目的，以检查分类的质量。
在步骤620中，上传一个或多个查询图像，用于与存储器中的加载的图像进行比较。举例来说，查询图像可以在***到计算机中的闪存驱动器上，其中图像存储在存储器中。此时，对于每个查询(q)，起初计算全局描述符并且执行弱分类，从而产生向量P(q)，在这里，P是具有m个元素的向量，并且每个元素表示图像q有多可能属于总共m个种类中的一个种类。也就是说，在其中首先上传图像的训练阶段中，可以在含有来自集合的图像的子集的每个PIM上计算数据库中的所有图像的全局描述符。举例来说，再参看图5，将查询图像501的全局属性与存储在存储器中的图像502的全局属性进行比较。
复制查询q并且将所述查询并行地发送到PIM中的一者或多者以便进行搜索(步骤630)。也就是说，在不同类别的图像存储在一个以上存储器模块上的情况下，将查询q发送到多个PIM(例如，220和/或240)以便进行搜索。
PIM随后计算全局描述符(步骤640)。举例来说，每个PIM处的存储器内搜索可以开始于将每个搜索条目与被分类为与向量P(q)的最高排名的元素处于相同类别的本地图像进行比较，随后依序前进到后续的元素。对于每个比较，计算相似度量度(例如，与所搜索的查询图像相比之下的本地图像的相似属性)，并且确定所述相似度量度是否超过阈值。
举例来说，在给定一个查询图像的情况下，可以在主机处理器210上计算此查询图像的描述符，其中随后将查询图像和其描述符分布到所有PIM以便进行排名和搜索。替代地，可以将查询图像单独地分布到所有PIM，并且可以在每个PIM上在本地计算其描述符。对于组查询(即，在已经上传多个查询图像并且同时查询多个查询图像的情况下)，前述两个替代方案可以整体应用于所述组。也就是说，可以在主机处理器210上计算多个查询图像的描述符，并且将所述多个查询图像和描述符分布到所有PIM以便进行排名和搜索，或者可以将多个查询图像分布到所有PIM，所述PIM在每个PIM上在本地计算描述符。用于组查询的另一替代方案是将查询子集分布到每个PIM，并且在本地计算它们的描述符；执行搜索并且将图像和描述符转发到另一PIM，以在另一PIM模块上重新开始排名/搜索。随后可以将每个模块上的结果聚合于主机或PIM模块中的一者上。
如果相似度量度超过阈值，那么随后执行基于局部描述符的比较以便进行进一步验证。也就是说，PIM计算局部描述符(步骤650)。举例来说，将对应于图像501/502中的太阳的一部分的局部点503a、对应于图像501/502中的树的顶部的503b和对应于图像501/502中的山峰的503c彼此进行比较。在使用降维方法的情况下，可以减小比较和验证的数目以增加此搜索的效率。
在其中在步骤610中将相同种类的图像置于一个或相邻的存储器堆叠上的情况下，可以按照弱分类的次序执行查询q，使得含有最高排名的类别的图像的PIM首先执行搜索，紧接着是含有排名第二高的类别的图像的PIM执行搜索，以此类推。为了防止潜在的处理延迟，可以利用与查询的潜在匹配的重排来增加平均效率，同时减少少量查询的响应。也就是说，与查询图像的潜在匹配可以经过重排。可以基于查询的全局描述符和潜在的匹配的全局描述符的相似程度来确定潜在的匹配。随后将查询的局部描述符和这些潜在的匹配的局部描述符进行比较以计算查询和每个潜在的匹配的逐对相似度。随后可以基于此相似度度量来重排潜在的匹配。
作为局部描述符计算的部分，可以采用经由图像配准方案的验证，其中目标图像是数据库中的一个潜在的匹配，并且源图像是查询图像。可以利用各种基于局部描述符的验证方案。举例来说，经由匹配两个图像的SIFT描述符进行验证是可以使用的一个验证方案，所述验证方案比较源图像和目标图像之间的局部特征。
通过在局部执行特征提取和描述符计算，每个PIM处理器(例如，每个存储器模块220的逻辑裸片221)彼此独立地作用，并且在其本地存储器堆叠中计算图像的此类描述符。可以在PIM间通信或PIM-主机通信之前将所计算的特征或描述符压缩成较小的指纹特征向量，以实现多个PIM上的分类和搜索的目的。另外，可以直接利用它们。也就是说，可以利用所计算的特征或描述符对图像进行排名，之后将所述特征或描述符发送到主机处理器210。一旦每个本地PIM已经执行了全局描述符、局部描述符和验证阶段，便在步骤660中向主机处理器(例如，210)提供搜索结果。主机处理器随后在所加载的图像与来自所述主机处理器从其接收图像的所有PIM的所上传和搜索的图像匹配方面构建最终排名(步骤670)。在通过将存储器内处理应用于全局描述符计算和局部描述符计算两者而进行了以上局部定向的计算方案的情况下，验证阶段可以使聚合数据移动最小化。这继而可以使与此类数据传递相关联的能量成本最小化，并且降低频繁的存储器存取的限制对其施加的搜索效率。
应理解，基于本文公开内容，许多变化是可能的。虽然特征和元件在上文以特定组合进行描述，但是每个特征或元件可以在不具有其他特征和元件的情况下单独使用，或者在具有或不具有其他特征和元件的情况下以各种组合来使用。
举例来说，在图2和图3中描绘的主机处理器和存储器模块的拓扑可以被称为环拓扑。然而，可以利用任何拓扑。另外，主机处理器210可以是PIM中的一者上的处理器。此外，虽然已经描述了示例性单PIM节点***，但所述方法和设备不限于任何特定PIM***配置。举例来说，多个节点可以经过连接以形成PIM网络，或者可以将辅助存储器***(例如，存储器模块240)附接到PIM节点。可以将PIM节点布置成具有多个存储器堆叠和PIM的环形或星形结构。还可以使用如图2中所示的二级存储器来扩增所述PIM***，其中每个辅助层级存储器组件(例如，存储器模块240)可以是PIM。可以在通用计算机、处理器或处理器核心中实施所提供的方法。举例来说，合适的处理器包括通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心联合的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)和/或状态机。可以通过使用经过处理的硬件描述语言(HDL)指令的结果以及包括网表的其他中间数据(所述指令能够存储在计算机可读介质上)来配置制造过程而制造所述处理器。此类处理的结果可以是集成电路布图设计，其随后用于半导体制造过程中来制造实施本发明的方面的处理器。
本文提供的方法或流程图可以实施于计算机程序、软件或固件中，所述计算机程序、软件或固件并入计算机可读存储介质中以供通用计算机或处理器执行。计算机可读存储介质的实例包括只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器装置、磁性介质(例如内部硬盘和可装卸盘、磁光介质)以及光学介质，例如CD-ROM盘和数字多功能盘(DVD)。
本文公开了实施于PIM***中的方法，所述PIM***具有第一处理器和至少一个存储器模块。所述方法包括在PIM***中执行搜索，所述PIM***具有第一处理器和通过所述第一处理器来接收一个或多个图像的至少一个存储器模块。主机处理器将对存储器进行搜索以寻找与一个或多个图像匹配的图像的查询发送到至少一个存储器模块，所述至少一个存储器模块响应于所接收的查询而搜索所述存储器模块中的存储器。所述至少一个存储器模块将所述搜索的结果发送到所述第一处理器，并且所述第一处理器执行来自所述至少一个存储器模块的所接收的结果与所述所接收的一个或多个图像的比较。
在一些实例中，所述方法包括上传存储在至少一个存储器模块的存储器中的图像并且对所述图像进行分类。在一些实例中，将同一类别的所上传的图像存储在多个存储器模块上。在一些实例中，将同一类别的所上传的图像存储在同一个存储器模块上。
在一些实例中，由至少一个存储器模块执行的对图像的搜索包括执行全局描述符计算、局部描述符计算和验证确定。
在一些实例中，第一处理器对所接收的结果的比较包括对从至少一个存储器模块接收的所接收的结果进行排名。在一些实例中，所述方法包括由第一处理器构建从多个存储器模块接收的结果的最终排名。
本文公开了一种处理器。所述处理器包括被配置成接收一个或多个图像的电路，以及被配置成将对存储器进行搜索以寻找与一个或多个图像匹配的图像的查询发送到至少一个存储器模块的电路。所述处理器包括被配置成响应于所接收的查询而从至少一个存储器模块接收对存储在存储器模块中的存储器中的图像的搜索的结果的电路，以及被配置成执行来自至少一个存储器模块的所接收的结果与所接收的一个或多个图像的比较的电路。
在一些实例中，所述处理器包括被配置成上传存储在至少一个存储器模块的存储器中的图像并且对所述图像进行分类的电路。在一些实例中，所述处理器包括被配置成对从至少一个存储器模块接收的所接收的结果进行排名的电路。在一些实例中，所述处理器包括被配置成构建从多个存储器模块接收的结果的最终排名的电路。
本文公开了一种***。所述***包括处理器和至少一个存储器模块。所述处理器包括被配置成接收一个或多个图像的电路、被配置成将对存储器进行搜索以寻找与一个或多个图像匹配的图像的查询发送到至少一个存储器模块的电路、被配置成从至少一个存储器模块接收对存储在存储器模块中的存储器中的图像的搜索的结果的电路，以及被配置成执行来自至少一个存储器模块的所接收的结果与所接收的一个或多个图像的比较的电路。所述至少一个存储器模块包括被配置成响应于所接收的查询而执行对存储在存储器模块中的存储器中的图像的搜索的电路，以及被配置成将所述搜索的结果发送到处理器的电路。
在一些实例中，所述***的处理器包括被配置成上传存储在至少一个存储器模块的存储器中的图像并且对所述图像进行分类的电路。在一些实例中，将同一类别的所上传的图像存储在多个存储器模块上。在一些实例中，将同一类别的所上传的图像存储在同一个存储器模块上。
在一些实例中，由至少一个存储器模块执行的对图像的搜索包括执行全局描述符计算、局部描述符计算和验证确定。在一些实例中，所述***的处理器包括被配置成对从至少一个存储器模块接收的所接收的结果进行排名的电路。在一些实例中，所述***的处理器包括被配置成构建从多个存储器模块接收的结果的最终排名的电路。
本文公开了一种实施于存储器内置处理器(PIM)***中的方法，所述存储器内置处理器***具有第一处理器和多个存储器模块。所述方法包括上传一个或多个图像并且根据所述一个或多个图像的图像数据对所述一个或多个图像进行分类。所述图像基于图像数据的分类而被分割和存储在多个存储器模块上。第一处理器接收一个或多个查询图像，并且第一处理器将对存储器进行搜索以寻找与所述一个或多个查询图像匹配的图像的查询发送到所述多个存储器模块。所述多个存储器模块中的每个存储器模块响应于所接收的查询而执行对存储在所述存储器模块中的存储器中的图像的搜索。所述多个存储器模块中的每个存储器模块将所述搜索的结果发送到第一处理器，并且所述第一处理器执行来自所述多个存储器模块的所接收的结果与所接收的一个或多个图像的比较。
在一些实例中，将同一类别的所上传的图像存储在同一个存储器模块上。在一些实例中，将同一类别的所上传的图像分布在多个存储器模块之间。在一些实例中，将同一类别的所上传的图像分布在相邻的存储器模块之间。
在一些实例中，由多个存储器模块执行的对图像的搜索包括执行全局描述符计算、局部描述符计算和验证确定。在一些实例中，所述计算全局描述符包括：将一个或多个查询图像与存储在存储器模块中的存储器中的被分类为与一个或多个查询图像相同类别的图像进行比较。在一些实例中，计算相似度量度并且将相似度量度与阈值进行比较。在一些实例中，如果所述相似度量度超过所述阈值，那么计算局部描述符。
本文公开了一种非暂时性计算机可读介质。在所述非暂时性计算机可读介质上记录有指令，所述指令在由计算装置执行时致使所述计算装置执行多个操作，所述操作包括：接收一个或多个图像；发送对存储器进行搜索以寻找与一个或多个图像匹配的图像的查询；响应于所接收的查询而执行对存储在存储器模块中的存储器中的图像的搜索；发送所述搜索的结果；以及执行来自所述存储器模块的所接收的结果与所接收的一个或多个图像的比较。
在一些实例中，上传存储在存储器模块的存储器中的图像并且对所述图像进行分类。在一些实例中，将同一类别的所上传的图像存储在多个存储器模块上。在一些实例中，将同一类别的所上传的图像存储在同一个存储器模块上。
在一些实例中，对图像的搜索包括执行全局描述符计算、局部描述符计算和验证确定。在一些实例中，对所接收的结果的比较包括对所接收的结果进行排名。在一些实例中，构建从多个存储器模块接收的结果的最终排名。
***

Claims (33)

1.一种用于改善图像搜索的效率的方法，所述方法包括：
由第一处理器接收一个或多个图像；
由所述第一处理器将查询发送到多个存储器模块，其中所述查询是用于对存储器进行搜索以寻找与所述一个或多个图像匹配的图像；
由来自所述多个存储器模块的每个各自的存储器模块的存储器内置处理器响应于所接收的所述查询而执行对存储在所述各自的存储器模块的存储器中的图像的搜索；
由每个各自的存储器模块的所述存储器内置处理器将搜索获得的匹配的图像发送到所述第一处理器；以及
由所述第一处理器执行从所述多个存储器模块中的每个接收的所述匹配图像与所述一个或多个图像的比较以选择用于所述搜索的结果，
其中每个各自的存储器模块的所述存储器内置处理器被配置成通过以下方式来执行图像的搜索：
处理所述一个或多个图像的全局描述符以获得一个或多个相似性度量值；和
将相似度测量值高于阈值的一个或多个图像的局部描述符与存储在所述各自的存储器模块的存储器中的图像进行比较以获得所述匹配的图像，其中存储在上述多个存储器模块中的每个各自的存储器模块中的图像是不同的。
2.如权利要求1所述的方法，进一步包括上传存储在所述至少一个存储器模块的所述存储器中的所述图像并且对所述图像进行分类。
3.如权利要求2所述的方法，其中基于所述分类，将所述图像存储在所述多个存储器模块上。
4.如权利要求2所述的方法，其中当所述图像具有相同的类别时，将所述图像存储在同一个存储器模块上。
5.如权利要求1所述的方法，其中由所述至少一个存储器模块执行的所述对图像的搜索包括执行全局描述符计算、局部描述符计算和验证确定。
6.如权利要求1所述的方法，其中所述比较包括对从所述至少一个存储器模块接收的所述匹配的图像进行排名。
7.如权利要求6所述的方法，进一步包括由所述第一处理器构建从多个存储器模块接收的所述匹配的图像的最终排名。
8.一种用于改善图像搜索的效率的处理器，所述处理器包括：
被配置成将寻找匹配的图像的查询发送到多个存储器模块的电路，其中所述查询包括一个或多个待匹配的搜索图像；
被配置成从所述多个存储器模块接收搜索结果的电路，其中响应于所述查询而接收所述搜索结果；以及
被配置成执行从所述多个存储器模块所接收的搜索结果的比较的电路，
其中所述搜索结果是由所述多个存储器模块中的每一个的存储器内置处理器执行对各自存储器模块的搜索生成的，其中该搜索包括：
处理所述一个或多个搜索图像的全局描述符以获得一个或多个相似性度量值；和
将相似度测量值高于阈值的一个或多个图像的局部描述符与存储在所述各自的存储器模块的存储器中的图像进行比较以获得所述匹配的图像，其中存储在上述多个存储器模块中的每个各自的存储器模块中的图像是不同的。
9.如权利要求8所述的处理器，进一步包括被配置成上传存储在所述多个存储器模块的所述存储器中的所述图像并且对所述图像进行分类的电路。
10.如权利要求8所述的处理器，进一步包括被配置成对从所述多个存储器模块接收的所述搜索结果进行排名的电路。
11.如权利要求10所述的处理器，进一步包括被配置成构建所述搜索结果的最终排名的电路。
12.一种用于改善图像搜索的效率的***，所述***包括：
多个存储器模块，其中所述多个存储器模块中的每一个包括存储器和存储器内置处理器；
通信连接到所述多个存储器模块的处理器；以及
其中所述处理器包括：
被配置成接收一个或多个搜索图像的电路；
被配置成将查询发送到所述多个存储器模块的电路，其中所述查询包括所述一个或多个搜索图像；
被配置成从所述多个存储器模块接收搜索结果的电路；以及
被配置成执行从所述多个存储器模块接收的所述搜索结果与所述一个或多个搜索图像的比较以选择用于所述搜索的结果的电路；并且
其中每个各自的存储器模块的所述存储器内置处理器被配置成通过以下方式来执行所述搜索：
处理所述一个或多个图像的全局描述符以获得一个或多个相似性度量值；和
将相似度测量值高于阈值的一个或多个图像的局部描述符与存储在所述各自的存储器模块的存储器中的图像进行比较以获得所述搜索结果，其中存储在上述多个存储器模块中的每个各自的存储器模块中的图像是不同的。
13.如权利要求12所述的***，其中所述处理器进一步包括被配置成上传存储在所述多个存储器模块的所述存储器中的所述图像并且对所述图像进行分类的电路。
14.如权利要求13所述的***，其中基于存储在所述多个存储器模块的上述存储器中的所述图像的分类将所述图像存储在所述多个存储器模块上。
15.如权利要求13所述的***，其中当所述图像具有相同的类别时，所述图像存储在同一个存储器模块上。
16.如权利要求12所述的***，其中由所述至少一个存储器模块执行的所述对图像的搜索包括执行全局描述符计算、局部描述符计算和验证确定。
17.如权利要求12所述的***，其中所述处理器进一步包括被配置成对从所述多个存储器模块接收的所述搜索结果进行排名的电路。
18.如权利要求17所述的***，其中所述处理器进一步包括被配置成构建从所述多个存储器模块接收的所述搜索结果的最终排名的电路。
19.一种实施于存储器内置处理器***中的用于改善图像搜索的效率的方法，所述存储器内置处理器***具有第一处理器和多个存储器模块，所述方法包括：
上传一个或多个图像并且根据所述一个或多个图像的图像数据对所述一个或多个图像进行分类；
基于对所述图像数据的所述分类而分割所述图像并且将所述图像存储在所述多个存储器模块上；
由所述第一处理器接收一个或多个查询图像；
由所述第一处理器将查询发送到所述多个存储器模块，其中所述查询包括所述多个查询图像；
由所述多个存储器模块中的每个各自的存储器模块的存储器内置处理器执行对存储在所述各自的存储器模块中的存储器中的图像的搜索，其中响应于所述查询而执行所述图像的所述搜索；
由所述多个存储器模块中的每个存储器模块将搜索结果发送到所述第一处理器；以及
由所述第一处理器执行来自所述多个存储器模块的所述搜索结果与所述一个或多个查询图像的比较，以选择用于所述搜索的结果，
其中图像的所述搜索包括：
处理所述一个或多个图像的全局描述符以获得一个或多个相似度量度；和
将相似度量度高于阈值的一个或多个图像的局部描述符与存储在所述各自的存储器模块中的图像进行比较以获得所述搜索结果。
20.如权利要求19所述的方法，其中当所述图像具有相同的类别时，将所述图像存储在同一个存储器模块上。
21.如权利要求19所述的方法，其中将同一类别的所述图像分布在所述多个存储器模块之间。
22.如权利要求21所述的方法，其中将所述同一类别的所述图像分布在相邻的存储器模块之间。
23.如权利要求19所述的方法，其中由所述多个存储器模块执行的所述对图像的搜索包括执行全局描述符计算、局部描述符计算和验证确定。
24.如权利要求23所述的方法，其中所述全局描述符的所述计算包括：将所述一个或多个查询图像与存储在所述多个存储器模块中的被分类为处于与所述一个或多个查询图像相同的类别的所述图像进行比较。
25.如权利要求24所述的方法，进一步包括计算所述相似度量度并且将所述相似度量度与阈值进行比较。
26.如权利要求25所述的方法，其中如果所述相似度量度超过所述阈值，那么计算所述局部描述符。
27.一种非暂时性计算机可读介质，在所述非暂时性计算机可读介质上记录有指令，所述指令在由计算装置执行时致使所述计算装置执行多个操作以改善图像搜索的效率，所述操作包括：
接收一个或多个查询图像；
发送查询至多个存储器模块，其中所述查询包括所述多个查询图像；
由所述多个存储器模块中的每个的存储器内置处理器执行对存储在各自存储器模块中的各自存储器中的图像的搜索，其中响应于所述查询执行所述搜索；
执行从所述多个存储器模块接收的所述搜索结果与所述一个或多个查询图像的比较以选择用于所述搜索的结果，其中，其中所述图像搜索由所述多个存储器模块的每个存储器内置处理器通过以下方式执行，包括：
处理所述一个或多个图像的全局描述符以获得一个或多个相似性度量值；和
将相似度测量值高于阈值的一个或多个图像的局部描述符与存储在所述各自的存储器模块中的图像进行比较以获得所述搜索结果。
28.如权利要求27所述的非暂时性计算机可读介质，进一步包括上传存储在所述多个存储器模块中的所述图像并且对所述图像进行分类。
29.如权利要求28所述的非暂时性计算机可读介质，其中将同一类别的所述图像存储在多个存储器模块上。
30.如权利要求28所述的非暂时性计算机可读介质，其中将同一类别的所述图像存储在同一个存储器模块上。
31.如权利要求27所述的非暂时性计算机可读介质，其中所述对图像的搜索包括执行全局描述符计算、局部描述符计算和验证确定。
32.如权利要求27所述的非暂时性计算机可读介质，其中所述比较包括对从所述多个存储器模块接收的所述搜索结果进行排名。
33.如权利要求32所述的非暂时性计算机可读介质，进一步包括构建所述搜索结果的最终排名。
CN201680072449.6A 2015-11-23 2016-09-19 用于执行并行搜索操作的方法和设备 Active CN108369594B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/948,892 US10528613B2 (en) 2015-11-23 2015-11-23 Method and apparatus for performing a parallel search operation
US14/948,892 2015-11-23
PCT/US2016/052454 WO2017091282A1 (en) 2015-11-23 2016-09-19 Method and apparatus for performing a parallel search operation

Publications (2)

Publication Number Publication Date
CN108369594A CN108369594A (zh) 2018-08-03
CN108369594B true CN108369594B (zh) 2023-11-10

Family

ID=58719626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680072449.6A Active CN108369594B (zh) 2015-11-23 2016-09-19 用于执行并行搜索操作的方法和设备

Country Status (6)

Country Link
US (1) US10528613B2 (zh)
EP (1) EP3380957A4 (zh)
JP (1) JP6721681B2 (zh)
KR (1) KR20180075674A (zh)
CN (1) CN108369594B (zh)
WO (1) WO2017091282A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9997232B2 (en) * 2016-03-10 2018-06-12 Micron Technology, Inc. Processing in memory (PIM) capable memory device having sensing circuitry performing logic operations
EP3343432B1 (en) * 2016-12-29 2024-03-20 Elektrobit Automotive GmbH Generating training images for machine learning-based object recognition systems
US10908820B2 (en) * 2017-09-14 2021-02-02 Samsung Electronics Co., Ltd. Host-based and client-based command scheduling in large bandwidth memory systems
KR102453542B1 (ko) 2018-02-21 2022-10-12 삼성전자주식회사 스킵 연산 모드를 지원하는 메모리 장치 및 그 동작 방법
US11748418B2 (en) 2018-07-31 2023-09-05 Marvell Asia Pte, Ltd. Storage aggregator controller with metadata computation control
KR20200025200A (ko) 2018-08-29 2020-03-10 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
US11625245B2 (en) * 2018-09-28 2023-04-11 Intel Corporation Compute-in-memory systems and methods
JP6938698B2 (ja) * 2019-03-22 2021-09-22 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ イメージ検索のためのマルチグローバルディスクリプタを組み合わせるフレームワーク
US11334617B2 (en) * 2019-09-25 2022-05-17 Mercari, Inc. Paint-based image search
KR20210092078A (ko) 2020-01-15 2021-07-23 삼성전자주식회사 병렬 연산 처리를 수행하는 메모리 장치 및 그 동작방법, 그리고 메모리 장치를 제어하는 메모리 컨트롤러의 동작방법
US11636285B2 (en) 2020-09-09 2023-04-25 Micron Technology, Inc. Memory including examples of calculating hamming distances for neural network and data center applications
US11609853B2 (en) 2020-09-09 2023-03-21 Micron Technology, Inc. Memory controllers including examples of calculating hamming distances for neural network and data center applications
US11586380B2 (en) 2020-09-09 2023-02-21 Micron Technology, Inc. Memory systems including examples of calculating hamming distances for neural network and data center applications
US11893278B2 (en) 2021-02-08 2024-02-06 Samsung Electronics Co., Ltd. Memory controller and memory control method for generating commands based on a memory request

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1467965A (zh) * 2002-06-07 2004-01-14 ��ʿͨ��ʽ���� 分组处理装置
CN102542058A (zh) * 2011-12-29 2012-07-04 天津大学 一种融合全局与局部视觉特征的层次化地标识别方法
CN102667764A (zh) * 2009-08-07 2012-09-12 谷歌公司 用于为视觉查询的多个区域展示搜索结果的用户接口
US8352494B1 (en) * 2009-12-07 2013-01-08 Google Inc. Distributed image search
CN103608776A (zh) * 2010-12-15 2014-02-26 超威半导体公司 异构型处理设备上的动态工作划分
EP2757521A1 (en) * 2011-09-16 2014-07-23 Rakuten, Inc. Image search apparatus, image search method, program, and computer-readable recording medium
CN104937587A (zh) * 2012-12-12 2015-09-23 谷歌公司 基于组合查询提供搜索结果
CN105045761A (zh) * 2015-08-26 2015-11-11 福建恒天晨光节能服务有限公司 一种数据中心的高速并行处理架构

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003221680A1 (en) * 2002-04-09 2003-10-27 The Research Foundation Of State University Of New York Multiplier-based processor-in-memory architectures for image and graphics processing
US8473532B1 (en) * 2003-08-12 2013-06-25 Louisiana Tech University Research Foundation Method and apparatus for automatic organization for computer files
US7684651B2 (en) 2006-08-23 2010-03-23 Microsoft Corporation Image-based face search
US7840076B2 (en) * 2006-11-22 2010-11-23 Intel Corporation Methods and apparatus for retrieving images from a large collection of images
US8180788B2 (en) 2008-06-05 2012-05-15 Enpulz, L.L.C. Image search engine employing image correlation
JP5774985B2 (ja) 2008-06-06 2015-09-09 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 画像の類似検索システム及び方法
US8583898B2 (en) 2009-06-12 2013-11-12 Cray Inc. System and method for managing processor-in-memory (PIM) operations
US9477636B2 (en) 2009-10-21 2016-10-25 Micron Technology, Inc. Memory having internal processors and data communication methods in memory
US8433140B2 (en) * 2009-11-02 2013-04-30 Microsoft Corporation Image metadata propagation
JP4588114B1 (ja) * 2010-02-18 2010-11-24 克己 井上 情報絞り込み検出機能を備えたメモリ、その使用方法、このメモリを含む装置。
US8521721B2 (en) * 2010-09-14 2013-08-27 Microsoft Corporation Custom operators for a parallel query engine
US20120233141A1 (en) * 2011-03-09 2012-09-13 Mckesson Financial Holdings Apparatus, method and computer-readable storage medium for searching patient studies
US8380704B1 (en) * 2011-05-04 2013-02-19 Google Inc. Coordinating different search queries using a translated query cursor
US20130006999A1 (en) * 2011-06-30 2013-01-03 Copyright Clearance Center, Inc. Method and apparatus for performing a search for article content at a plurality of content sites
US8949253B1 (en) 2012-05-24 2015-02-03 Google Inc. Low-overhead image search result generation
US20140089609A1 (en) 2012-09-26 2014-03-27 Advanced Micro Devices, Inc. Interposer having embedded memory controller circuitry
US9442854B2 (en) * 2012-11-15 2016-09-13 Elwha Llc Memory circuitry including computational circuitry for performing supplemental functions
US20140310314A1 (en) * 2013-04-16 2014-10-16 Samsung Electronics Co., Ltd. Matching performance and compression efficiency with descriptor code segment collision probability optimization
US9910864B2 (en) * 2014-01-22 2018-03-06 Stmicroelectronics S.R.L. Method for object recognition, corresponding system, apparatus and computer program product

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1467965A (zh) * 2002-06-07 2004-01-14 ��ʿͨ��ʽ���� 分组处理装置
CN102667764A (zh) * 2009-08-07 2012-09-12 谷歌公司 用于为视觉查询的多个区域展示搜索结果的用户接口
US8352494B1 (en) * 2009-12-07 2013-01-08 Google Inc. Distributed image search
CN103608776A (zh) * 2010-12-15 2014-02-26 超威半导体公司 异构型处理设备上的动态工作划分
EP2757521A1 (en) * 2011-09-16 2014-07-23 Rakuten, Inc. Image search apparatus, image search method, program, and computer-readable recording medium
CN102542058A (zh) * 2011-12-29 2012-07-04 天津大学 一种融合全局与局部视觉特征的层次化地标识别方法
CN104937587A (zh) * 2012-12-12 2015-09-23 谷歌公司 基于组合查询提供搜索结果
CN105045761A (zh) * 2015-08-26 2015-11-11 福建恒天晨光节能服务有限公司 一种数据中心的高速并行处理架构

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
创新型多核处理器的发展;董立平等;《计算机世界》;20060605;第1-5页，图4 *

Also Published As

Publication number Publication date
KR20180075674A (ko) 2018-07-04
JP6721681B2 (ja) 2020-07-15
CN108369594A (zh) 2018-08-03
US20170147608A1 (en) 2017-05-25
EP3380957A1 (en) 2018-10-03
JP2019502982A (ja) 2019-01-31
WO2017091282A1 (en) 2017-06-01
EP3380957A4 (en) 2019-05-22
US10528613B2 (en) 2020-01-07

Similar Documents

Publication Publication Date Title
CN108369594B (zh) 用于执行并行搜索操作的方法和设备
US20210279285A1 (en) Method and apparatus for supporting machine learning algorithms and data pattern matching in ethernet ssd
US9864928B2 (en) Compact and robust signature for large scale visual search, retrieval and classification
Wang et al. Semantic topic multimodal hashing for cross-media retrieval
Cao et al. Graph-based discriminative learning for location recognition
JP5281156B2 (ja) 画像の注釈付け
Girod et al. Mobile visual search
US9063954B2 (en) Near duplicate images
Zhen et al. Spectral multimodal hashing and its application to multimedia retrieval
US9256617B2 (en) Apparatus and method for performing visual search
Raza et al. Correlated primary visual texton histogram features for content base image retrieval
Xu et al. Near duplicate identification with spatially aligned pyramid matching
Tian et al. Building descriptive and discriminative visual codebook for large-scale image applications
US10489681B2 (en) Method of clustering digital images, corresponding system, apparatus and computer program product
Li et al. Hashing with dual complementary projection learning for fast image retrieval
Chakraborty et al. Cascaded asymmetric local pattern: a novel descriptor for unconstrained facial image recognition and retrieval
EP3166022A1 (en) Method and apparatus for image search using sparsifying analysis operators
Sun et al. Search by detection: Object-level feature for image retrieval
Dammak et al. Histogram of dense subgraphs for image representation
JP2014102772A (ja) 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法
Qi et al. Object retrieval with image graph traversal-based re-ranking
Pardede et al. SVM Relevance Feedback in HSV Quantization for CBIR.
He et al. A new two-stage image retrieval algorithm with convolutional neural network
Ou et al. Hierarchical deep semantic hashing for fast image retrieval
Li et al. Approximately Nearest Neighborhood Image Search Using Unsupervised Hashing via Homogeneous Kernels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant