CN110019867A - 图像搜索方法、***和索引构建方法和介质 - Google Patents
图像搜索方法、***和索引构建方法和介质 Download PDFInfo
- Publication number
- CN110019867A CN110019867A CN201710935506.5A CN201710935506A CN110019867A CN 110019867 A CN110019867 A CN 110019867A CN 201710935506 A CN201710935506 A CN 201710935506A CN 110019867 A CN110019867 A CN 110019867A
- Authority
- CN
- China
- Prior art keywords
- vector
- image
- correspondence
- described image
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000013598 vector Substances 0.000 claims description 394
- 238000012512 characterization method Methods 0.000 claims description 62
- 238000012545 processing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 239000000463 material Substances 0.000 description 12
- 230000006872 improvement Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000007787 long-term memory Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施方式公开了一种图像搜索方法、***和索引构建方法和介质，可以提升在图像搜索过程中搜索结果的准确度。
Description
技术领域
本说明书涉及计算机技术领域，特别涉及一种图像搜索方法、***和索引构建方法和介质。
背景技术
计算机技术随着社会发展越来越普及。人们通过互联网浏览各种页面，以满足不同的需求。
在一些情况下，用户会使用电子设备浏览图像。为了便于浏览，用户可以输入关键词进行查询。
发明内容
本说明书实施方式提供一种图像搜索方法、***和索引构建方法和介质。
本说明书实施方式提供一种图像搜索方法，包括：接收附带有关键词的查询请求；根据所述查询请求生成搜索向量；其中，所述搜索向量用于表征所述关键词；在同一个向量空间中，选择与所述搜索向量相匹配的图像向量，得到结果集；所述图像向量用于表征图像和所述图像的文案。
本说明书实施方式提供一种图像搜索***，包括：请求接收模块，用于接收附带有关键词的查询请求；搜索向量生成模块，用于根据所述查询请求生成搜索向量；其中，所述搜索向量用于表征所述关键词；查询模块，用于在同一个向量空间中，选择与所述搜索向量相匹配的图像向量，得到结果集；所述图像向量用于表征图像和所述图像的文案。
本说明书实施方式提供一种图像搜索***，包括：业务服务器和搜索引擎；所述业务服务器用于接收客户端提供的附带有关键词的查询请求；根据所述查询请求生成能表征所述关键词的搜索向量，提供给所述搜索引擎；将得到的结果集，反馈给所述客户端；所述搜索引擎用于在同一个向量空间中，选择与所述搜索向量相匹配的图像向量，得到结果集；将所述结果集反馈给所述业务服务器；其中，所述图像向量用于表征图像和所述图像的文案。
本说明书实施方式提供一种索引构建方法，包括：获取图像和所述图像对应的文案；根据所述图像和所述文案生成图像向量；所述图像向量用于表征所述图像和所述文案；根据所述图像向量和所述图像的访问标识构建索引；其中，所述访问标识用于获取对应的图像。
本说明书实施方式提供一种图像管理***，包括：图像获取模块，用于获取图像和所述图像对应的文案；图像向量生成模块，用于根据所述图像和所述文案生成图像向量；所述图像向量用于表征所述图像和所述文案；索引构建模块，用于根据所述图像向量和所述图像的访问标识构建索引；其中，所述访问标识用于获取对应的图像。
本说明书实施方式提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现：获取图像和所述图像对应的文案；根据所述图像和所述文案生成图像向量，所述图像向量用于表征所述图像和所述文案；根据所述图像向量和所述图像的访问标识构建索引，其中，所述访问标识用于获取对应的图像。
本说明书实施方式提供一种图像搜索方法，包括：向服务器发出查询请求；其中，所述查询请求附带有关键词；以用于所述服务器根据所述查询请求生成搜索向量，以及在同一个向量空间中，选择与所述搜索向量相匹配的图像向量，得到结果集；其中，所述图像向量用于表征图像和所述图像的文案；接收所述服务器反馈的结果集。
本说明书实施方式提供一种图像搜索方法，包括：接收查询请求；根据所述查询请求生成搜索向量；选择与所述搜索向量相匹配的图像向量，得到结果集；所述图像向量用于表征图像和所述图像的文案。
由以上本说明书实施方式提供的技术方案可见，通过采用可以表征图像和其文案的图像向量，使得在将关键词的搜索向量与图像向量进行匹配运算时，可以提升查询得到的图像的准确度。进而，所述图像搜索方法可以给用户带来更好的体验。
附图说明
为了更清楚地说明本说明书实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施方式提供的一种图像搜索***的模块示意图；
图2为本说明书实施方式提供的一种图像管理***的模块示意图；
图3为本说明书实施方式提供的一种图像搜索过程的优化方法的流程图；
图4为本说明书实施方式提供的一种图像搜索***的交互示意图；
图5为本说明书实施方式提供的一种向量之间的关系的示意图；
图6为本说明书实施方式提供的一种图像搜索方法的流程图；
图7为本说明书实施方式提供的一种图像搜索方法的流程图；
图8为本说明书实施方式提供的一种图像搜索方法的流程图；
图9为本说明书实施方式提供的一种图像搜索界面的示意图；
图10为本说明书实施方式提供的一种图像搜索界面的示意图；
图11为本说明书实施方式提供的一种图像搜索方法的流程图；
图12为本说明书实施方式提供的一种图像搜索方法的流程图；
图13为本说明书实施方式提供的一种图像搜索界面的示意图；
图14a为本说明书实施方式提供的一种图像和文案的示意图；
图14b为本说明书实施方式提供的一种图像和文案的示意图；
图14c为本说明书实施方式提供的一种图像和文案的示意图；
图14d为本说明书实施方式提供的一种图像和文案的示意图；
图15为本说明书实施方式提供的一种图像搜索界面的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施方式中的附图，对本说明书实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本说明书一部分实施方式，而不是全部的实施方式。基于本说明书中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都应当属于本说明书保护的范围。
请参阅图1和图5。本说明书实施方式提供一种图像搜索***。所述图像搜索***可以包括请求接收模块、搜索向量生成模块、查询模块、输出模块。
所述请求接收模块用于接收查询请求。查询请求可以附带有关键词。接收模块接收到查询请求，可以表示需要向发出该查询请求的客户端，提供与所述关键词相关的图像，或者提供用于获取图像的信息。请求接收模块可以基于网络通信协议接收查询请求。具体的，例如，网络通信协议包括但不限于HTTP、TCP/IP等。
在本实施方式中，关键词可以为用户在客户端输入的信息，以用于搜索用户想要浏览的图像。关键词本身可以为具有一定语义含义的字符串。具体的，例如，用户想要购买拉杆箱，可以在客户端中输入关键词“拉杆箱”。用户可能还有进一步的要求，比如，用户可能希望购买比较商务一些的拉杆箱。此时，用户输入的关键词可能为“商务拉杆箱”。
所述搜索向量生成模块可以根据查询请求生成搜索向量。所述搜索向量可以用于在所述查询模块进行匹配运算。搜索向量生成模块可以基于查询请求的整体生成搜索向量，也可以基于查询请求附带的关键词生成搜索向量。
在本实施方式中，所述搜索向量生成模块生成的搜索向量处于指定向量空间。如此，通过指定搜索向量的向量空间，进而可以使得根据查询请求生成的搜索向量，可以与查询模块中的图像相量具有相同的向量空间，从而可以将二者进行匹配运算。当然，也可以为，搜索向量生成模块生成搜索向量之后，再将搜索向量映射至指定向量空间。同理，在生成图像向量时，可以使图像向量处于指定向量空间，也可以为生成图像向量之后，将图像向量映射至指定向量空间。如此，实现搜索向量和图像向量处于同一向量空间。
在本实施方式中，所述搜索向量生成模块可以根据深度学习算法生成搜索向量。深度学习算法可以为神经网络算法。具体的，例如，深度学习算法可以采用循环神经网络(RNN，Recurrent Neural Networks)、长短期记忆网络(LSTM，Long Short-Term Memory)等。当然，具体实现搜索向量生成模块的算法并不限于上述列举，所属领域技术人员在本申请技术精髓启示下，还可以做出其它变更或选择，但只要其实现的功能和效果与本说明书相同或相似，均应涵盖于本申请保护范围内。
所述查询模块可以在同一个向量空间中，选择与所述搜索向量相匹配的图像向量，得到结果集。具体的，查询模块将搜索向量在索引中进行匹配运算，得出与搜索向量相匹配的图像向量。进而可以根据图像向量与图像之间的对应关系，确定需要反馈给客户端的图像。索引可以包括图像向量和图像向量所表示图像的访问标识。搜索向量可以与图像向量进行匹配运算，以确定图像向量表示的图像是否符合关键词的描述。访问标识可以表示图像的访问地址，或者，可以根据该访问标识确定图像。所述查询模块进行匹配运算之后，可以输出包括与所述搜索向量相匹配的图像向量对应的访问标识的结果集。具体的，例如，访问标识可以是图像的URL(Uniform Resource Locator，统一资源定位符)。如此，在CDN(Content Delivery Network，内容分发网络)网络中，客户端可以接收到图像的URL之后，访问URL以获取图像。
可以理解，所述结果集中也可以仅仅包括图像向量。如此，在将图像向量提供给客户端之后，客户端可以根据图像向量进一步获取图像的访问标识，或者直接获得图像的访问地址，如URL等，从而获得图像。
在本实施方式中，在同一个向量空间中，选择与搜索向量相匹配的图像向量。可以包括在生成搜索向量和图像向量时，已经处于同一个向量空间中；还可以为，在搜索向量和图像向量生成之后，将其中一个转换至另一个的向量空间，实现二者处于同一个向量空间；还可以为，在搜索向量和图像向量生成之后，将二者均转换至同一个向量空间。本实施方式中，搜索向量和图像向量处于同一个向量空间，如此使得二者可以进行匹配运算。
在本实施方式中，图像向量可以表征图像和所述图像的文案。如此，使得图像向量可以较为全面的表征图像。使得，在将搜索向量与图像向量进行匹配时，可以实现以下功能：图像本身展示的内容符合关键词的内容时，会得出图像向量与搜索向量符合指定关系；图像的文案符合关键词的内容时，会得出图像向量与搜索向量符合指定关系；图像和其文案均符合关键词的内容时，会得出图像向量与搜索向量符合指定关系。可见，通过图像向量表征图像和其文案，可以使得查询得到的结果更加全面准确。
在一个实施方式中，图像向量可以表征图像的图像内容特征信息和文案。即，图像向量可以基于图像内容特征信息和文案生成。如此，可以有利于提升查询模块进行匹配运算的准确度。
在本实施方式中，所述图像内容特征信息可以包括所述图像的内容标签，所述对图像进行图像内容信息识别处理，得到所述图像的图像内容特征信息可以包括如下步骤。
1)将所述存量图像输入图像内容打标模型，得到所述存量图像的图像内容标签。
2)将所述图像内容标签作为所述存量图像的图像内容特征信息。
具体的，这里图像内容打标模型可以采用下述方式确定。
1)采集包括图像内容标签的图像集。
2)利用卷积神经网络对所述图像集进行训练，得到图像内容打标模型。
在实际应用中，存在一些图像所对应的内容信息是已知的，那么对于一些已知内容信息的图像可以预先对其进行图像内容信息的标注，得到包括图像内容标签的图像。相应的，可以预先采集大量包括图像的内容标签的图像集，作为后续进行图像内容打标模型的训练样本。
在一些实施方式中，可以将包括图像内容标签的图像集输入预先设置的卷积神经网络进行训练；并调整卷积神经网络中各层的参数直至所述卷积神经网络的当前输出图像内容标签与预设图像内容标签相匹配，将当前输出图像内容标签所对应的卷积神经网络作为图像内容打标模型。
上述图像内容打标模型训练过程中直接以大量包括图像内容标签的图像集为训练样本，可以有效保证图像内容打标模型对图像的图像内容标签的识别准确率。
在本实施方式中，匹配运算可以包括但不限于：搜索向量与图像向量的对位求和大于指定阈值，可以认为二者相匹配；搜索向量与图像向量之间的对位相减后求和，当得到的数值大于或者等于或者小于指定阈值时，可以认为图像向量与搜索向量相匹配；搜索向量与图像向量做内积，即将对位乘积后整体求和，当得到的数值大于等于指定阈值时，可以认为图像向量与搜索向量相匹配。当然，还可以有其它算法，所属领域技术人员在本申请技术精髓启示下，还可以有其它变更，但只要其实现的功能和效果与本说明书相同或相似，均应涵盖于本申请保护范围内。
所述输出模块可以将查询模块得出的结果集，发送给发出查询请求的客户端。如此，客户端可以根据得到的结果集中的访问标识进一步获取图像。输出模块可以基于网络通信协议向客户端发送查询模块的结果。具体的，例如，网络通信协议包括但不限于HTTP、TCP/IP等。
当然，基于本说明书揭露的技术方案，所属领域技术人员可能做出其它的变更。例如，本说明书描述的技术方案也可以应用于以“图”搜“图”的场景。在查询请求中可以附带有图像，进而可以根据所述图像生成搜索向量。或者查询请求中可以直接附带有根据图像生成的搜索向量。查询模块可以将该搜索向量与索引中的图像向量进行匹配运算。由于，图像向量可以表征图像和文案，使得可以更多角度的匹配搜索向量，从而使得到较多且较为准确的结果。
本说明书实施方式还提供一种图像搜索***。所述图像搜索***可以包括业务服务器和搜索引擎。
所述业务服务器用于接收客户端提供的附带有关键词的查询请求；将所述关键词或者能表征所述关键词的搜索向量，提供给所述搜索引擎；将得到的结果集，反馈给所述客户端。
在本实施方式中，业务服务器可以为一个具有运算和网络交互功能的电子设备；也可以为运行于该电子设备中，为数据处理和网络交互提供支持的软体。
在本实施方式中，业务服务器并不具体限定服务器的数量。业务服务器可以为一个服务器，还可以为几个服务器，或者，若干服务器形成的服务器集群。
在本实施方式中，业务服务器可以为电子商务网站平台的业务服务器。如此，客户端可以直接通过网络与业务服务器进行通信。将关键词发送给业务服务器，以使业务服务器可以直接将得到的结果集发送给该客户端。
在本实施方式中，业务服务器可以包括前述请求接收模块和输出模块。当然，业务服务器还可以包括搜索向量生成模块。
在本实施方式中，客户端可以为具有显示、运算和网络访问功能的电子设备。具体的，例如，客户端可以为台式电脑、平板电脑、笔记本电脑、智能手机、数字助理、智能可穿戴设备、导购终端、具有网络访问功能的电视机。或者，客户端也可以为能够运行于上述电子设备中的软体。
所述搜索引擎可以根据业务服务器提供的关键词生成搜索向量，或者接收业务服务器提供的搜索向量；将搜索向量在索引中进行搜索匹配，得到结果集；将所述结果集反馈给所述业务服务器。所述结果集至少包括与所述搜索向量相匹配的图像向量对应的访问标识。如此将结果集提供给客户端之后，客户端可以根据访问标识获取相应的图像。或者，业务服务器接收到结果集之后，可以根据访问标识将对应的图像发送给客户端。
在本实施方式中，所述搜索引擎可以包括前述查询模块。当然，所述搜索向量生成模块也可以位于搜索引擎中，而不设置在业务服务器中。
请参阅图2和图5。本说明书实施方式还提供一种图像管理***。所述图像管理***包括图像获取模块、图像向量生成模块和索引构建模块。
所述图像获取模块可以获取图像和所述图像对应的文案。所述文案可以包括所述图像的标题和/或在显示时围绕所述图像的文字。具体的，例如，所述图像获取模块可以在互联网上抓取图片和其对应的文案。所述图像获取模块也可以读取网站平台自身的图像和其文案。例如，京东网可以设置有图像的数据库，和针对图像的文案，京东网的服务器中可以运行有图像获取模块读取数据库中的图像和文案。
所述图像向量生成模块可以根据图像和所述图像的文案生成图像向量。图像的文案可以是图像的标题，或者在界面显示图像时，围绕图像的文字，或者，文案也可以为针对图像的内容进行标记的标签。所述标签可以通过计算机算法识别生成，也可以为人工对图像打标签。所述图像向量生成模块可以分别提取图像的特征，以及提取文案的特征，并根据提取的特征生成该图像向量。所述图像向量生成模块可以包括图像表征单元、文本表征单元和合成单元。
在本实施方式中，图像表征单元可以从图像中提取特征，生成图像表征向量。图像表征单元在生成图像表征向量的过程中，可以从多个维度提取图像的特征。每个维度可以得到一个特征值，从而将特征值按照一定顺序排列形成图像表征向量。使得所述图像表征向量用于表征所述图像。具体的，例如，图像表征单元可以基于不同的映射算法或者卷积矩阵，对图像的像素矩阵进行不同维度的降维处理，进而得出每个维度的特征值。
在本实施方式中，文本表征单元可以将关于图像的文案生成文本表征向量。文本表征单元可以将图像的标题和围绕图像显示的文字，整合在一起后，进行特征提取生成一个文本表征向量。文本表征单元也可以针对图像的文案进行分词处理，得到若干词语，针对每个词语生成一个词语表征值。将得到的词语表征值，按照一定顺序排列，形成文本表征向量。当然，也可以通过神经网络等深度学习算法，将图像的文案，或者针对文案进行分词后得到的若干词语作为输入，通过深度学习算法输出文本表征向量。如此，使得所述文本表征向量用于表征所述文案。
在本实施方式中，所述合成单元可以将图像表征向量和对应的文本表征向量整合生成所述图像向量。图像表征向量对应的文本表征向量，可以为文本表征向量用于表示图像表征向量所表示图像的文本信息。
在本实施方式中，合成单元可以按照一定算法，将图像表征向量和文本表征向量整合成一个图像向量。该算法可以包括：图像表征向量和文本表征向量对位加权相加后，得到的一个向量作为图像向量；图像表征向量和文本表征向量对位相减，得到的一个向量作为图像向量。合成单元还可以为直接将图像表征向量与文本表征向量顺次连接成一个向量作为图像向量。其中，图像表征向量和文本表征向量的先后顺序可以根据具体需要进行设置。
在本实施方式中，索引构建模块可以用于根据图像向量和图像的访问标识构建索引。索引中可以包括对应记录的图像向量和其表征的图像的访问标识。如此，所述索引可以提供给所述图像搜索***，所述搜索引擎可以将搜索向量在索引中与图像向量进行匹配运算，以及得到结果集。
请参阅图3。本说明书实施方式还提供一种图像搜索过程的优化方法。提供用于查询图像的关键词，和已知与关键词的匹配关系的图像集。所述图像集中包括图像，和针对图像的文案。
在本实施方式中，所述匹配关系可以是搜索向量与图像向量进行匹配运算得到的结论，可以包括相匹配和不相匹配。所述优化方法可以包括以下步骤。
步骤S10：根据所述关键词生成搜索向量；所述搜索向量用于表征所述关键词。
在本实施方式中，作为关键词的样本的数量不限。可以相应于每个关键词生成一个搜索向量。也可以，相应于多个趋于相同语义的关键词生成一个搜索向量。
步骤S12：根据所述图像集中的图像和文案生成图像向量。
步骤S14：将所述搜索向量与相匹配的图像的图像向量做内积得到第一评价值，将所述搜索向量与不相匹配的图像的图像向量做内积得到第二评价值。
步骤S16：利用设定数值与所述第一评价值做差的结果与所述第二评价值求和，将得到的数值与指定基准值比较取最大值；其中，所述最大值作为反馈值。
在本实施方式中，所述反馈值可以是一次运算的结果，也可以为针对多个样本进行运算后，得到的反馈值累加之后，作为最终的反馈值。
步骤S18：以所述反馈值最小化为目标，根据所述反馈值执行优化的过程。
在本实施方式中，所述反馈值越小，表示第一评价值相对较大，而第二评价值相对较小。如此可以表示，搜索向量与相匹配的图像的图像向量的内积较大，而搜索向量与不相匹配的图像的图像向量的内积较小。如此，可以使得图像搜索过程中，较为容易区分与搜索向量相匹配的图像和不相匹配的图像，如此提升了图像搜索的准确度。
请参阅图4和图9。在一个具体的场景示例中，用户操作客户端向业务服务器发出查询请求，该查询请求可以附带有关键词“2017年新款防紫外线墨镜”。
在本场景示例中，业务服务器接收到该关键词“2017年新款防紫外线墨镜”之后，可以针对该关键词进行分词处理。将该关键词分词为“2017年”、“新款”、“防”、“紫外线”、“墨镜”等子关键词。
在本场景示例中，业务服务器可以基于长短期记忆网络算法将子关键词作为输入，生成搜索向量。具体的，可以将子关键词通过one-hot编码转为词向量，将词向量组作为长短期记忆网络的输入。
在本场景示例中，搜索引擎接收到业务服务器提供的搜索向量之后，可以将搜索向量在预先构建的索引中进行匹配运算。索引中对应记录有图像向量和访问标识。图像向量为根据图像和其文案生成，使得图像向量可以表征图像和其文案。图像向量和搜索向量可以处于同一个向量空间，使得二者之间可以进行匹配运算。访问标识可以是图像的URL。
在本场景示例中，图像向量可以包括第一段数据和第二段数据，其中第一段数据表征图像，所述第二段数据表征图像的文案。所述第一段数据和第二段数据可以均分别与搜索向量处于同一个向量空间。如此，搜索引擎可以将搜索向量分别与图像向量的第一段数据和第二段数据进行匹配运算。
在本场景示例中，举例为搜索向量为{1,0,3,2}，索引中的四个图像向量分别为{2,1,1,3:0,4,9,6}、{1,4,1,1:1,5,7,3}、{3,1,5,2:1,9,0,0}和{1,5,1,0:0,9,2,1}。匹配算法可以采用做内积后，将得到的数值与指定阈值比较，大于指定阈值时，认为二者相匹配。例如，指定阈值可以为10。将搜索向量{1,0,3,2}与第一个图像向量的第一段数据{2,1,1,3}做内积得到数值为11，与第二段数据的内积为39。可以得出所述第一个图像向量的第一段数据和第二段数据，均与搜索向量相匹配，认为所述第一个图像向量与搜索向量相匹配，将所述第一个图像向量对应的访问标识放入本次搜索的结果集。将搜索向量分别与第二个图像向量的第一段数据和第二段数据进行匹配运算得出的数值分别为6和28。此时，由于搜索向量与第二段数据的运算数值大于指定阈值，将所述第二个图像向量对应的访问标识，放入所述结果集。将搜索向量分别与第三个图像向量的第一段数据和第二段数据进行匹配运算得出的数值分别为22和1。此时，由于搜索向量与第一段数据的运算数值大于指定阈值，将所述第三个图像向量对应的访问标识，放入所述结果集。将搜索向量分别与第四个图像向量的第一段数据和第二段数据进行匹配运算得出的数值分别为4和8。此时，由于搜索向量与第一段数据和第二段数据的运算数值均小于指定阈值，认为搜索向量与所述第四个图像相量不相匹配。
在本场景示例中，所述搜索引擎完成图像搜索之后，将所述结果集反馈给所述业务服务器。业务服务器可以根据结果集的访问标识，直接将相应的图像发送给客户端，也可以直接将结果集发送给客户端，以使客户端可以根据结果集中的访问标识进一步获取图像。
请参阅图10。在本场景示例中，客户端接收到的结果集中包括图像的访问标识。客户端分别向每个访问标识发出访问请求，从而获得相应的图像并可以进行展示。客户端在获取图像时，也可以获取图像的文案。如此在展示时，可以在显示界面中，将图像和文案对应展示。
请参阅图6。本说明书实施方式还提供一种图像搜索方法。所述图像搜索方法可以包括以下步骤。
步骤S20：接收附带有关键词的查询请求。
步骤S22：根据所述查询请求生成搜索向量；其中，所述搜索向量用于表征所述关键词。
步骤S24：在同一个向量空间中，选择与所述搜索向量相匹配的图像向量，得到结果集；所述图像向量用于表征图像和所述图像的文案。
在本实施方式中，通过采用可以表征图像和其文案的图像向量，使得在选择与搜索向量相匹配的图像向量时，可以在将关键词的搜索向量与图像向量进行匹配运算时，可以提升查询得到的图像的准确度。即，搜索向量与图像向量之间相匹配时，可能的情况包括：图像的内容与关键词的语义相关联；或者，文案的内容与关键词的语义相关联；或者，图像的内容和文案的内容，均与关键词的语义相关联。由此可见，所述图像搜索方法可以给用户带来更好的体验。
本实施方式可以参照其它实施方式对照解释。
请参阅图7。在一个实施方式中，在生成所述搜索向量的步骤中可以包括以下步骤。
步骤S26：针对所述关键词进行分词处理，得到至少一个子关键词。
在本实施方式中，可以基于自然语言的语义对关键词进行分词。当所述关键词中包括了多个自然词汇时，可以将每个自然词汇作为一个子关键词。具体的，例如，所述关键词可以为“有趣的儿童英文绘本”，可以被拆分为“有趣的”、“儿童”、“英文”和“绘本”等子关键词。当然，当所述关键词整体为一个自然词汇时，可以不进行划分。具体的，例如，所述关键词可以为“公共汽车”。
步骤S28：根据每个所述子关键词生成词语表征值；每个所述词语表征值用于表征对应的词语。
步骤S30：将所述词语表征值排列形成所述搜索向量。
在本实施方式中，可以采用神经网络算法生成词语表征值。具体的，例如，可以根据基于循环神经网络算法改进的长短期记忆网络算法生成词语表征值。可以将每个子关键词作为一个神经元的输入，该神经元经过运算后输出的数据为该子关键词的词语表征值。同一层级的神经元，也可以存在上下游关系，即上游神经元根据输入的子关键词进行运算后，会对其相邻的下游神经元输出传导值。如此，使得输出的词语表征值可以兼顾子关键词本身，以及子关键词所在的关键词的上下文语义。使得生成的搜索向量可以较为准确的表征所述关键词。
在本实施方式中，对词语表征值排列的方式可以包括：按照词语表征值生成的先后顺序排序；按照词语表征值的数值大小排序。还可以为根据所述词语表征值所表征的子关键词处于所述关键词中的顺序，对所述词语表征值进行排序。如此，使得生成的搜索向量可以较为准确的表示所述关键词。
在一个实施方式中，在进行匹配运算的步骤中可以包括以下至少之一。将所述搜索向量与图像向量的对位求和，在求得数值大于或等于第一指定阈值的情况下，认为所述图像向量与所述搜索向量相匹配；或者，将所述搜索向量与图像向量之间的对位相减后求和，在得到的数值小于第二指定阈值的情况下，认为所述图像向量与所述搜索向量相匹配；或者，将所述搜索向量与图像向量做内积，当得到的数值大于或等于第三指定阈值时，认为所述图像向量与所述搜索向量相匹配。
在本实施方式中，第一指定阈值、第二指定阈值和第三指定阈值可以为根据实际需求，设定的常数。可以依照工作人员的经验设置该常数，也可以根据程序的实际运行效果，进行统计得出。
在一个实施方式中，所述图像向量包括第一数据段和第二数据段；所述第一数据段用于表征图像，所述第二数据段用于表征所述图像的文案；在进行匹配运算时，分别将所述搜索向量与所述图像向量的第一数据段和所述第二数据段进行匹配运算；在所述搜索向量与所述第一数据段、所述第二数据段中的一个相匹配时，认为所述搜索向量与所述图像向量相匹配。
在本实施方式中，所述第一数据段可以为图像表征向量。所述第二数据段可以为文本表征向量。如此，使得第一数据段可以用于表征所述图像。所述第二数据段可以用于表征图像的文案。
在本实施方式中，所述第一数据段和所述第二数据段可以分别与所述搜索向量处于同一向量空间中。如此，实现所述搜索向量与所述图像向量处于同一向量空间。
在本实施方式中，在进行匹配运算时，在第一数据段和第二数据段中至少一个与搜索向量相匹配，即认为搜索向量与图像向量匹配。如此可以实现：图像的内容与关键词的语义相关联，认为图像向量与搜索向量相匹配；或者，文案的内容与关键词的语义相关联，认为图像向量与搜索向量相匹配；或者，图像的内容和文案的内容，均与关键词的语义相关联，认为图像向量与搜索向量相匹配。实现可以搜索得到较多且较为准确的结果。
请参阅图8。本说明书实施方式提供一种索引构建方法，可以包括以下步骤。
步骤S32：获取图像和所述图像对应的文案。
步骤S34：根据所述图像和所述文案生成图像向量；所述图像向量用于表征所述图像和所述文案。
步骤S36：根据所述图像向量和所述图像的访问标识构建索引；其中，所述访问标识用于获取对应的图像。
在本实施方式中，图像向量可以同时表征所述图像和其文案。使得图像向量可以较为准确的表征图像。进而，根据所述图像向量生成的索引，在与搜索向量进行匹配运算时，可以得到较为准确的结果。
本说明书实施方式还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现：获取图像和所述图像对应的文案；根据所述图像和所述文案生成图像向量，所述图像向量用于表征所述图像和所述文案；根据所述图像向量和所述图像的访问标识构建索引，其中，所述访问标识用于获取对应的图像。
在本实施方式中，所述计算机存储介质包括但不限于随机存取存储器(RandomAccess Memory，RAM)、只读存储器(Read-Only Memory，ROM)、缓存(Cache)、硬盘(HardDisk Drive，HDD)或者存储卡(Memory Card)。
本实施方式中的术语以及实现的功能和效果，可以与其它实施方式对照解释。
请参阅图11，本说明书实施方式还提供一种图像搜索方法。所述方法可以包括以下步骤。
步骤S40：向服务器发出查询请求；其中，所述查询请求附带有关键词；以用于所述服务器根据所述查询请求生成搜索向量，以及在同一个向量空间中，选择与所述搜索向量相匹配的图像向量，得到结果集；其中，所述图像向量用于表征图像和所述图像的文案。
步骤S42：接收所述服务器反馈的结果集。
在本实施方式中，客户端接收到结果集中，可以包括有访问标识。客户端可以根据访问标识获取相应的图像。进而，可以在客户端展示。具体的，例如，访问标识可以是图像的URL，客户端向URL发起访问请求，从而获得图像，进而可以进行展示。
本实施方式中的术语以及实现的功能和效果，可以与其它实施方式对照解释。
请参阅图12。本说明书实施方式提供一种图像搜索方法，其可以包括以下步骤。
步骤S44：接收查询请求。
步骤S46：根据所述查询请求生成搜索向量。
在本实施方式中，查询请求中可以附带有关键词，如此使得查询请求可以具有一定的语义。当然，查询请求中也可以不附带关键词，而通过针对查询请求进行特殊的格式设定而表示一定的语义。
在本实施方式中，基于查询请求生成搜索向量的方式可以包括：可以对查询请求或者其附带的关键词进行分词后，相应处理，形成搜索向量；也可以为基于查询请求中的关键词的整体直接生成搜索向量；还可以为基于整个查询请求生成搜索向量。
步骤S48：选择与所述搜索向量相匹配的图像向量，得到结果集；所述图像向量用于表征图像和所述图像的文案。
在本实施方式中，可以将搜索向量和图像向量映射到同一向量空间进行匹配运算；也可以通过运算算法，直接将搜索向量和图像向量进行匹配运算，而不映射至相同向量空间。具体的，例如，可以将搜索向量或图像向量映射至指定空间的算法与匹配算法结合，直接进行运算，而不需要先行映射至指定空间，再匹配运算的方式。
本实施方式中的术语以及实现的功能和效果，可以与其它实施方式对照解释。
请参阅图13。在一个具体的场景示例中，用户使用客户端进行图像搜索，实现可以为文案配图。
在本场景示例中，用户可以使用客户端输入“床前明月光，疑是地上霜。举头望明月，低头思故乡。”。用户需要为这个古诗配图。客户端将上述用户输入的古诗作为查询请求附带的关键词，发送给业务服务器。
在本场景示例中，业务服务器接收到查询请求之后，得到关键词“床前明月光，疑是地上霜。举头望明月，低头思故乡。”。可以将该关键词整体作为输入至神经网络算法，得到可以表征关键词的搜索向量。业务服务器将搜索向量提供给搜索引擎进行进一步匹配运算。
在本场景示例中，搜索引擎将搜索向量与索引中的图像向量进行匹配。所述图像向量可以表征图像和图像的文案。经过匹配运算，如图14a、图14b、图14c和图14d所示的图像和文案的图像向量与搜索向量相匹配。搜索引擎可以将该图像向量对应的访问标识放入结果集，以提供给业务服务器。
在本场景示例中，业务服务器可以将结果集提供给客户端。请参阅图15。客户端根据访问标识进一步获取相应的图像，并进行展示。进一步的，用户可以通过操作客户端选择其中的一个或几个图像，作为关键词的配图。
本说明书中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。
本说明书实施方式中提及的服务器，可以是具有一定运算处理能力的电子设备。其可以具有网络通信端子、处理器和存储器等。当然，上述服务器也可以是指运行于所述电子设备中的软体。上述服务器还可以为分布式服务器，可以是具有多个处理器、存储器、网络通信模块等协同运作的***。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片2。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog2。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书各个实施方式或者实施方式的某些部分所述的方法。
虽然通过实施方式描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。
Claims (17)
1.一种图像搜索方法，其特征在于，包括：
接收附带有关键词的查询请求；
根据所述查询请求生成搜索向量；其中，所述搜索向量用于表征所述关键词；
在同一个向量空间中，选择与所述搜索向量相匹配的图像向量，得到结果集；所述图像向量用于表征图像和所述图像的文案。
2.根据权利要求1所述的方法，其特征在于，提供包括所述图像向量和访问标识的索引，所述访问标识用于访问所述图像向量表征的图像；
在选择图像向量的步骤中包括：在所述索引的图像向量与所述搜索向量进行匹配运算，得到所述结果集；所述结果集至少包括与所述搜索向量相匹配的图像向量对应的访问标识。
3.根据权利要求1所述的方法，其特征在于，在生成搜索向量的步骤中包括：根据所述关键词生成所述搜索向量。
4.根据权利要求3所述的方法，其特征在于，在生成所述搜索向量的步骤中包括：
针对所述关键词进行分词处理，得到至少一个子关键词；
根据每个所述子关键词生成词语表征值；每个所述词语表征值用于表征对应的词语；
将所述词语表征值排列形成所述搜索向量。
5.根据权利要求4所述的方法，其特征在于，在形成所述搜索向量的步骤中包括：根据所述词语表征值所表征的子关键词处于所述关键词中的顺序，对所述词语表征值进行排序。
6.根据权利要求1所述的方法，其特征在于，在选择图像向量的步骤中包括：
将所述搜索向量与图像向量的对位求和，在求得数值大于或等于第一指定阈值的情况下，认为所述图像向量与所述搜索向量相匹配；或者，
将所述搜索向量与图像向量之间的对位相减后求和，在得到的数值小于第二指定阈值的情况下，认为所述图像向量与所述搜索向量相匹配；或者，
将所述搜索向量与图像向量做内积，当得到的数值大于或等于第三指定阈值时，认为所述图像向量与所述搜索向量相匹配。
7.根据权利要求1所述的方法，其特征在于，所述图像向量包括第一数据段和第二数据段；所述第一数据段用于表征图像，所述第二数据段用于表征所述图像的文案；
在进行匹配运算的步骤中包括：分别将所述搜索向量与所述图像向量的第一数据段和所述第二数据段进行匹配运算；在所述搜索向量与所述第一数据段、所述第二数据段中的一个相匹配时，认为所述搜索向量与所述图像向量相匹配。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述结果集发送给提供所述查询请求的客户端，以用于所述客户端展示被选择的图像向量所表征的图像。
9.一种图像搜索***，其特征在于，包括：
请求接收模块，用于接收附带有关键词的查询请求；
搜索向量生成模块，用于根据所述查询请求生成搜索向量；其中，所述搜索向量用于表征所述关键词；
查询模块，用于在同一个向量空间中，选择与所述搜索向量相匹配的图像向量，得到结果集；所述图像向量用于表征图像和所述图像的文案。
10.根据权利要求9所述的***，其特征在于，还包括：
输出模块，用于将所述结果集发送给发出所述查询请求的客户端。
11.一种图像搜索***，其特征在于，包括：业务服务器和搜索引擎；
所述业务服务器用于接收客户端提供的附带有关键词的查询请求；根据所述查询请求生成能表征所述关键词的搜索向量，提供给所述搜索引擎；将得到的结果集，反馈给所述客户端；
所述搜索引擎用于在同一个向量空间中，选择与所述搜索向量相匹配的图像向量，得到结果集；将所述结果集反馈给所述业务服务器；其中，所述图像向量用于表征图像和所述图像的文案。
12.一种索引构建方法，其特征在于，包括：
获取图像和所述图像的文案；
根据所述图像和所述文案生成图像向量；所述图像向量用于表征所述图像和所述文案；
根据所述图像向量和所述图像的访问标识构建索引；其中，所述访问标识用于获取对应的图像。
13.根据权利要求12所述的方法，其特征在于，在生成图像向量的步骤中包括：
根据所述图像生成图像表征向量；所述图像表征向量用于表征所述图像；
根据所述文案生成文本表征向量；所述文本表征向量用于表征所述文案；
将所述图像表征向量和所述文本表征向量整合得到所述图像向量。
14.一种图像管理***，其特征在于，包括：
图像获取模块，用于获取图像和所述图像的文案；
图像向量生成模块，用于根据所述图像和所述文案生成图像向量；所述图像向量用于表征所述图像和所述文案；
索引构建模块，用于根据所述图像向量和所述图像的访问标识构建索引；其中，所述访问标识用于获取对应的图像。
15.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现：获取图像和所述图像的文案；根据所述图像和所述文案生成图像向量，所述图像向量用于表征所述图像和所述文案；根据所述图像向量和所述图像的访问标识构建索引，其中，所述访问标识用于获取对应的图像。
16.一种图像搜索方法，其特征在于，包括：
向服务器发出查询请求；其中，所述查询请求附带有关键词；以用于所述服务器根据所述查询请求生成搜索向量，以及在同一个向量空间中，选择与所述搜索向量相匹配的图像向量，得到结果集；其中，所述图像向量用于表征图像和所述图像的文案；
接收所述服务器反馈的结果集。
17.一种图像搜索方法，其特征在于，包括：
接收查询请求；
根据所述查询请求生成搜索向量；
选择与所述搜索向量相匹配的图像向量，得到结果集；所述图像向量用于表征图像和所述图像的文案。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710935506.5A CN110019867A (zh) | 2017-10-10 | 2017-10-10 | 图像搜索方法、***和索引构建方法和介质 |
| TW107127415A TW201931163A (zh) | 2017-10-10 | 2018-08-07 | 影像搜尋方法、系統和索引建構方法和媒體 |
| PCT/US2018/055288 WO2019075117A1 (en) | 2017-10-10 | 2018-10-10 | IMAGE SEARCH AND INDEX CONSTRUCTION |
| US16/156,931 US20190108280A1 (en) | 2017-10-10 | 2018-10-10 | Image search and index building |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710935506.5A CN110019867A (zh) | 2017-10-10 | 2017-10-10 | 图像搜索方法、***和索引构建方法和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110019867A true CN110019867A (zh) | 2019-07-16 |
Family
ID=65992543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710935506.5A Pending CN110019867A (zh) | 2017-10-10 | 2017-10-10 | 图像搜索方法、***和索引构建方法和介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20190108280A1 (zh) |
| CN (1) | CN110019867A (zh) |
| TW (1) | TW201931163A (zh) |
| WO (1) | WO2019075117A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021042763A1 (en) * | 2019-09-03 | 2021-03-11 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image searches based on word vectors and image vectors |
| CN111666969B (zh) * | 2020-04-22 | 2021-11-23 | 北京百度网讯科技有限公司 | 计算图文相似度的方法、装置、电子设备和可读存储介质 |
| CN112381038B (zh) * | 2020-11-26 | 2024-04-19 | 中国船舶工业***工程研究院 | 一种基于图像的文本识别方法、***和介质 |
| TWI813358B (zh) * | 2022-06-28 | 2023-08-21 | 旺宏電子股份有限公司 | 記憶體裝置及其資料搜尋方法 |
| US11960759B2 (en) | 2022-06-28 | 2024-04-16 | Macronix International Co., Ltd. | Memory device and data searching method thereof |
| TWI817921B (zh) * | 2023-05-31 | 2023-10-01 | 明合智聯股份有限公司 | 模型建模指令生成方法及其系統 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101211341A (zh) * | 2006-12-29 | 2008-07-02 | 上海芯盛电子科技有限公司 | 图像智能模式识别搜索方法 |
| CN101388022A (zh) * | 2008-08-12 | 2009-03-18 | 北京交通大学 | 一种融合文本语义和视觉内容的Web人像检索方法 |
| CN104462590A (zh) * | 2014-12-30 | 2015-03-25 | 百度在线网络技术（北京）有限公司 | 信息搜索方法及装置 |
| CN104504109A (zh) * | 2014-12-30 | 2015-04-08 | 百度在线网络技术（北京）有限公司 | 图片搜索方法和装置 |
| CN106021362A (zh) * | 2016-05-10 | 2016-10-12 | 百度在线网络技术（北京）有限公司 | 查询式的图片特征表示的生成、图片搜索方法和装置 |
| CN106021364A (zh) * | 2016-05-10 | 2016-10-12 | 百度在线网络技术（北京）有限公司 | 图片搜索相关性预测模型的建立、图片搜索方法和装置 |
| CN106599311A (zh) * | 2016-12-29 | 2017-04-26 | 广州市奥威亚电子科技有限公司 | 一种基于云计算的互联网教育平台资源库的图像检索方法 |
| CN106776710A (zh) * | 2016-11-18 | 2017-05-31 | 广东技术师范学院 | 一种基于垂直搜索引擎的图文知识库构建方法 |
| CN106919571A (zh) * | 2015-12-24 | 2017-07-04 | 北京奇虎科技有限公司 | 获取与搜索关键词相匹配的图片的方法及装置 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7251637B1 (en) * | 1993-09-20 | 2007-07-31 | Fair Isaac Corporation | Context vector generation and retrieval |
| JP3413213B2 (ja) * | 1997-12-19 | 2003-06-03 | ビーエイイー システムズ パブリック リミテッド カンパニー | バイナリーコードコンバーター及びコンパレーター |
| US6546388B1 (en) * | 2000-01-14 | 2003-04-08 | International Business Machines Corporation | Metadata search results ranking system |
| US8386456B1 (en) * | 2000-02-24 | 2013-02-26 | Richard Paiz | Codex search patterns |
| US6633868B1 (en) * | 2000-07-28 | 2003-10-14 | Shermann Loyall Min | System and method for context-based document retrieval |
| US7856441B1 (en) * | 2005-01-10 | 2010-12-21 | Yahoo! Inc. | Search systems and methods using enhanced contextual queries |
| US7603349B1 (en) * | 2004-07-29 | 2009-10-13 | Yahoo! Inc. | User interfaces for search systems using in-line contextual queries |
| US20070185859A1 (en) * | 2005-10-12 | 2007-08-09 | John Flowers | Novel systems and methods for performing contextual information retrieval |
| US8903794B2 (en) * | 2010-02-05 | 2014-12-02 | Microsoft Corporation | Generating and presenting lateral concepts |
| JP4976578B1 (ja) * | 2011-09-16 | 2012-07-18 | 楽天株式会社 | 画像検索装置およびプログラム |
| JP5846314B2 (ja) * | 2012-10-09 | 2016-01-20 | 富士通株式会社 | 情報探索支援方法及び情報処理装置 |
| US9063954B2 (en) * | 2012-10-15 | 2015-06-23 | Google Inc. | Near duplicate images |
| US9672280B2 (en) * | 2014-04-10 | 2017-06-06 | Google Inc. | Methods, systems, and media for searching for video content |
| JP6341756B2 (ja) * | 2014-05-26 | 2018-06-13 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法 |
| JP6342298B2 (ja) * | 2014-10-31 | 2018-06-13 | 株式会社東芝 | 文字認識装置、画像表示装置、画像検索装置、文字認識方法およびプログラム |
| US10032081B2 (en) * | 2016-02-09 | 2018-07-24 | Oath Inc. | Content-based video representation |
| US20170372398A1 (en) * | 2016-06-24 | 2017-12-28 | Ebay Inc. | Vector representation of descriptions and queries |
| US10942966B2 (en) * | 2017-09-22 | 2021-03-09 | Pinterest, Inc. | Textual and image based search |
-
2017
- 2017-10-10 CN CN201710935506.5A patent/CN110019867A/zh active Pending
-
2018
- 2018-08-07 TW TW107127415A patent/TW201931163A/zh unknown
- 2018-10-10 US US16/156,931 patent/US20190108280A1/en not_active Abandoned
- 2018-10-10 WO PCT/US2018/055288 patent/WO2019075117A1/en active Application Filing
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101211341A (zh) * | 2006-12-29 | 2008-07-02 | 上海芯盛电子科技有限公司 | 图像智能模式识别搜索方法 |
| CN101388022A (zh) * | 2008-08-12 | 2009-03-18 | 北京交通大学 | 一种融合文本语义和视觉内容的Web人像检索方法 |
| CN104462590A (zh) * | 2014-12-30 | 2015-03-25 | 百度在线网络技术（北京）有限公司 | 信息搜索方法及装置 |
| CN104504109A (zh) * | 2014-12-30 | 2015-04-08 | 百度在线网络技术（北京）有限公司 | 图片搜索方法和装置 |
| CN106919571A (zh) * | 2015-12-24 | 2017-07-04 | 北京奇虎科技有限公司 | 获取与搜索关键词相匹配的图片的方法及装置 |
| CN106021362A (zh) * | 2016-05-10 | 2016-10-12 | 百度在线网络技术（北京）有限公司 | 查询式的图片特征表示的生成、图片搜索方法和装置 |
| CN106021364A (zh) * | 2016-05-10 | 2016-10-12 | 百度在线网络技术（北京）有限公司 | 图片搜索相关性预测模型的建立、图片搜索方法和装置 |
| CN106776710A (zh) * | 2016-11-18 | 2017-05-31 | 广东技术师范学院 | 一种基于垂直搜索引擎的图文知识库构建方法 |
| CN106599311A (zh) * | 2016-12-29 | 2017-04-26 | 广州市奥威亚电子科技有限公司 | 一种基于云计算的互联网教育平台资源库的图像检索方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019075117A1 (en) | 2019-04-18 |
| US20190108280A1 (en) | 2019-04-11 |
| TW201931163A (zh) | 2019-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110019867A (zh) | 图像搜索方法、***和索引构建方法和介质 | |
| JP6543986B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| Kavasidis et al. | An innovative web-based collaborative platform for video annotation | |
| US11899681B2 (en) | Knowledge graph building method, electronic apparatus and non-transitory computer readable storage medium | |
| CN110363213B (zh) | 服装图像的认知分析和分类的方法和*** | |
| US20180181569A1 (en) | Visual category representation with diverse ranking | |
| CN110489582B (zh) | 个性化展示图像的生成方法及装置、电子设备 | |
| US10360623B2 (en) | Visually generated consumer product presentation | |
| CN112785397A (zh) | 一种产品推荐方法、装置及存储介质 | |
| CN107133345A (zh) | 基于人工智能的交互方法和装置 | |
| CN108416028A (zh) | 一种搜索内容资源的方法、装置及服务器 | |
| US20210390609A1 (en) | System and method for e-commerce recommendations | |
| US20170124618A1 (en) | Methods and Systems for Image-Based Searching of Product Inventory | |
| WO2020155877A1 (zh) | 信息推荐 | |
| CN114332680A (zh) | 图像处理、视频搜索方法、装置、计算机设备和存储介质 | |
| CN107766399A (zh) | 用于使图像与内容项目匹配的方法和***及机器可读介质 | |
| CN108021672A (zh) | 基于相册的社交推荐方法、装置及计算设备 | |
| US9129216B1 (en) | System, method and apparatus for computer aided association of relevant images with text | |
| Wei et al. | Semantic pixel labelling in remote sensing images using a deep convolutional encoder-decoder model | |
| CN111522979B (zh) | 图片排序推荐方法、装置、电子设备、存储介质 | |
| CN115687670A (zh) | 图像搜索方法、装置、计算机可读存储介质及电子设备 | |
| Wadikar et al. | Book recommendation platform using deep learning | |
| CN112784156A (zh) | 基于意图识别的搜索反馈方法、***、设备及存储介质 | |
| Mao et al. | Visual arts search on mobile devices | |
| Matsui | Challenge for manga processing: Sketch-based manga retrieval |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190716 |
|
| RJ01 | Rejection of invention patent application after publication |