CN104572651A - 图片排序方法及装置 - Google Patents

图片排序方法及装置 Download PDF

Info

Publication number
CN104572651A
CN104572651A CN201310474547.0A CN201310474547A CN104572651A CN 104572651 A CN104572651 A CN 104572651A CN 201310474547 A CN201310474547 A CN 201310474547A CN 104572651 A CN104572651 A CN 104572651A
Authority
CN
China
Prior art keywords
picture
anchor text
concept
text concept
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310474547.0A
Other languages
English (en)
Other versions
CN104572651B (zh
Inventor
邱石
王晓刚
鞠汶奇
刘健庄
汤晓鸥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310474547.0A priority Critical patent/CN104572651B/zh
Priority to EP18195060.1A priority patent/EP3486804A1/en
Priority to PCT/CN2014/075489 priority patent/WO2015051629A1/zh
Priority to EP14852510.8A priority patent/EP3048540A4/en
Publication of CN104572651A publication Critical patent/CN104572651A/zh
Priority to US15/094,675 priority patent/US10521469B2/en
Application granted granted Critical
Publication of CN104572651B publication Critical patent/CN104572651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种图片排序方法及装置，所述方法包括：利用初始关键词进行图片搜索，根据所述初始关键词的搜索结果，计算得到所述搜索结果的锚文本概念集合，并计算得到所述锚文本概念集合中的锚文本概念之间的关联度权值，以所述锚文本概念集合中的锚文本概念为顶点、所述锚文本概念之间的关联度权值为顶点之间的边的权值，构成锚文本概念图结构ACG；利用所述锚文本概念获取训练正样本，并利用所述训练正样本训练分类器；利用所述ACG和所述分类器得到概念投影向量，计算所述初始关键词的搜索结果中各图片之间的ACG距离，根据所述ACG距离对所述各图片进行排序。本发明使得图片的搜索结果的排序更加准确，较为符合用户的搜索意图。

Description

图片排序方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种图片排序方法及装置。
背景技术
随着互联网技术的快速发展，网络图片数据正在以惊人的速度快速增加。普通互联网用户要利用这样海量的数据资源，必然需要对图片进行检索。使用关键字检索图片通常会得到很多与关键字有一定关联图片，但是通常还同时会得到很多与用户需要的结果关联很少或者根本没有什么关联的图片。
近年来，以Google、Bing、Baidu为代表的搜索引擎运营商都提供了图片搜索的功能为普通用户进行海量网络图片数据检索提供服务。对图片的检索目前有两种方式：使用关键字的图片检索和基于内容的图片检索。使用关键字检索图片是目前最流行的方式，它能够利用基于用户输入的图片标签（tag）信息来进行精准的图片语义匹配。但是，由于普通用户搜索时用词不准确、不专业，与图片所搭配的文章中的文字涵盖内容广等原因导致搜索结果中往往包含很多不符合用户需求的图片。基于内容的图片检索（ContentBased Image Retrieval，CBIR）是近些年计算机视觉和信息检索领域的研究热点，研究目标是利用图片自身的视觉信息进行有效检索（以图搜图）。然而图片本身的视觉信息的多样性，以及“语义鸿沟”的存在，使得CBIR的检索效果离实际使用仍有一段距离。
总而言之，目前图片检索方式无法给用户带来满意的结果，根据用户本身提供的具体信息重新把已经得到的图片组织和排序，使用户花尽量少的精力就能看到更多符合要求的图片就成为了一个重要的需求。
发明内容
本发明提供一种图片排序方法及装置，使得图片的搜索结果的排序更加准确，较为符合用户的搜索意图。
本发明第一方面提供了一种图片排序方法，所述方法包括：
利用初始关键词进行图片搜索，根据所述初始关键词对应的搜索结果，计算得到所述搜索结果的锚文本概念集合，并计算得到所述锚文本概念集合中的锚文本概念之间的关联度权值，以所述锚文本概念集合中的锚文本概念为顶点、所述顶点之间的连线为顶点的边，所述顶点的边具有所述锚文本概念之间的关联度权值，构成锚文本概念图结构Anchor Concept Graph ACG；所述锚文本概念之间的关联度权值表示所述锚文本概念之间的语义关联度大小；
利用所述锚文本概念获取训练正样本，并利用所述训练正样本训练分类器得到训练好的分类器；
利用所述ACG和所述训练好的分类器进行概念投影得到概念投影向量，根据所述概念投影向量计算所述初始关键词对应的搜索结果中各图片之间的ACG距离，根据所述ACG距离对所述初始关键词对应的搜索结果中的各图片进行排序。
结合第一方面，在第一方面的第一种可能的实施方式中，所述根据所述初始关键词对应的搜索结果，计算得到锚文本概念集合，具体包括：
利用初始关键词q进行图片搜索得到搜索结果，所述搜索结果包括所述初始关键词q对应的图片集合Γq和为所述图片集合Γq中图片所配的文本集合
提取所述图片集合Γq中的每一张图片的视觉特征；
对于所述图片集合Γq中的图片Ik，将视觉特征与所述图片Ik最为相似的K个图片组成所述图片Ik的相似图片集合并将所述相似图片集合中的所有图片所配的文本中出现频率最高的T个词作为候选词，得到所述图片Ik的含义的候选词集合即其中，Ik表示所述图片集合Γq中第k个图片，k＝1,2,3,....,N6，N6为所述图片集合Γq中的图片数量，表示图片Ik的第i个候选词，i＝1，2，3,......,T，T为预设正整数；
对所述候选词集合中的每一个所述候选词进行权值计算，得到所述候选词的权值
将所述候选词集合中的权值最大的Mq个候选词分别与所述初始关键词q组合，合并，得到Mq个锚文本概念，形成锚文本概念集合其中，Mq为预设的所述初始关键词q对应的锚文本概念集合中的元素个数。
结合第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，所述对所述候选词集合中的每一个所述候选词进行权值计算，得到所述候选词的权值具体包括：
根据所述候选词的出现频率的大小计算所述候选词的权值所述候选词的出现频率越大，所述权值越大。
结合第一方面或第一方面的第一种或第二种可能的实施方式，在第一方面的第三种可能的实施方式中，所述计算得到所述锚文本概念集合中的锚文本概念之间的关联度权值，具体包括：
统计网页中与所述锚文本概念同时出现在一个文档中的词，并从中找到最能表征所述锚文本概念语义的前N1个词，根据预设赋值方法为所述前N1个词赋予权值，利用所述前N1个词的权值形成所述锚文本概念对应的向量，其中，N1为预设正整数；
计算任意两个所述锚文本概念对应的向量之间的相似度，作为对应的两个所述锚文本概念之间的关联度权值。
结合第一方面，在第一方面的第四种可能的实施方式中，所述利用所述锚文本概念自动获取训练正样本，利用所述训练正样本训练分类器得到训练好的分类器，具体包括：
利用所述锚文本概念作为关键词进行图片搜索或统计，得到所述锚文本概念的搜索结果集合，并选取所述锚文本概念ai对应的一个搜索结果集合中排在前N2个的图片作为所述锚文本概念ai对应的正样本集合，其中N2为预设整数，i＝1,2,3,...,Mq；
提取所述锚文本概念ai对应的正样本集合中N2个图片的视觉特征，作为所述锚文本概念对应的正样本的特征集合，其中N2为预设整数，i＝1,2,3,...,Mq；
利用所述锚文本概念对应的正样本的特征集合训练所述分类器得到所述训练好的分类器。
结合第一方面，在第一方面的第五种可能的实施方式中，所述利用所述ACG和所述分类器进行概念投影得到概念投影向量，根据所述概念投影向量计算所述初始关键词对应的搜索结果中各图片之间的ACG距离，具体包括：
提取所述初始关键词对应的搜索结果中图片的视觉特征，利用所述ACG和所述分类器，计算所提取的视觉特征属于各个所述锚文本概念所属类别的概率，作为所述概念投影对应的图片的初始概念投影向量；
根据所述初始概念投影向量，计算所述图片之间的ACG距离。
结合第一方面的第五种可能的实施方式，在第一方面的第六种可能的实施方式中，所述根据所述初始概念投影向量，计算所述图片之间的ACG距离，具体包括：
利用公式对所述初始关键词对应的图片的所述图片初始概念投影向量pi进行平滑处理，其中，pi表示所述初始关键词对应的第i个所述图片的初始概念投影向量，表示第i个平滑后的概念投影向量，α表示控制扩散率的阻尼系数，表示列单位化相关矩阵，D为对角元素的对角矩阵，Mq为预设的所述初始关键词q对应的锚文本概念集合中的元素个数；
利用公式 dist ACG = | | p i * - p j * | | 1 = | | ( I - α W ‾ ) - 1 ( p i - p j ) | | 1 , 计算第i个所述图片和第j个所述图片之间的ACG距离distACG。
结合第一方面或第一方面的第一种至第六种中任一可能的实施方式，在第一方面的第七种可能的实施方式中，在所述根据所述ACG距离对所述初始关键词对应的搜索结果中的各图片进行重排序之后，还包括：
采用具有相似视觉和语义信息的图片逻辑组织方式展示所述各图片的重排序结果。
结合第一方面的第七种可能的实施方式，在第一方面的第八种可能的实施方式中，所述具有相似视觉和语义信息的图片逻辑组织方式包括：
采用边框将所述各图片中属于同一所述锚文本概念所属类别的图片展示在一起；
或者，采用距离大小的差异来展现所述各图片中属于不同所述锚文本概念所属类别的图片；
或者，采用分层递归的结构展示所述各图片中每一类属于同一所述锚文本概念所属类别的图片；
或者，采用缩略图层叠的方式展示所述各图片中属于同一所述锚文本概念所属类别的图片；
或者，在所述各图片中属于同一所述锚文本概念所属类别的图片附近采用文字的形式标注所述锚文本概念；
或者，在所述各图片中属于同一所述锚文本概念所属类别的图片附近采用数字或者条形物长度的形式表示所述图片与所述锚文本概念所属类别的关联度大小，所述数字越大或者条形物越长，表示关联度越大。
结合第一方面的第八种可能的实施方式，在第一方面的第九种可能的实施方式中，对于采用所述缩略图层叠的方式展示所述各图片中属于所述同一锚文本概念所属类别的图片时，当选择所述锚文本概念所属类别的区域时，将所选择的区域上的所述锚文本概念所属类别中的图片展示于显示屏幕的最前端，以供用户查看该类别中的全部图片。
第二方面，本发明还提供了一种图片排序装置，所述装置包括：
图结构建立模块，用于利用初始关键词进行图片搜索，根据所述初始关键词对应的的搜索结果，计算得到所述搜索结果的锚文本概念集合，并计算得到所述锚文本概念集合中的锚文本概念之间的关联度权值，以所述锚文本概念集合中的锚文本概念为顶点、所述顶点之间的连线为顶点的边，所述顶点的边具有所述锚文本概念之间的关联度权值，构成锚文本概念图结构Anchor Concept Graph ACG；所述锚文本概念之间的关联度权值表示所述锚文本概念之间的语义关联度大小；
训练模块，用于利用所述图结构建立模块得到的所述锚文本概念获取训练正样本，并利用所述正样本训练分类器得到训练好的分类器；
排序模块，用于利用所述图结构建立模块构成的所述ACG和所述训练模块得到的所述训练好的分类器进行概念投影得到概念投影向量，根据所述概念投影向量计算所述初始关键词对应的搜索结果中各图片之间的ACG距离，根据所述ACG距离对所述初始关键词对应的搜索结果中的各图片进行排序。
结合第二方面，在第二方面的第一种可能的实施方式中，所述图结构建立模块具体包括：
第一搜索单元，用于利用初始关键词q进行图片搜索得到搜索结果，所述搜索结果包括所述初始关键词q对应的图片集合Γq和为所述图片集合Γq中图片所配的文本集合
第一提取单元，用于对所述第一搜索单元得到的所述图片集合Γq中的每一个图片，提取图片视觉特征，对于所述图片集合Γq中的图片Ik，将视觉特征与所述图片Ik最为相似的K个图片组成所述图片Ik的相似图片集合并将所述相似图片集合中的所有图片所配的文本中出现频率最高的T个词作为候选词，得到所述图片Ik的含义的候选词集合即其中，Ik表示所述图片集合Γq中第k个图片，k＝1,2,3,....,N6，N6为所述图片集合Γq中的图片数量，表示图片Ik的第i个候选词，i＝1，2，3,......,T，T为预设正整数；
权值计算单元，用于将所述第一提取单元得到的所述候选词集合中的每一个所述候选词进行权值计算，得到所述候选词的权值
合并单元，用于根据所述权值计算单元的计算结果，将所述候选词集合中的权值最大的Mq个候选词分别与所述初始关键词q组合，合并，得到Mq个锚文本概念，形成锚文本概念集合其中，Mq为预设的所述初始关键词q对应的锚文本概念集合中的元素个数。
结合第二方面的第一种可能的实施方式，在第二方面的第二种可能的实施方式中，所述权值计算单元根据所述候选词的出现频率计算所述候选词的权值所述候选词的出现频率越大，权值越大。
结合第二方面或第二方面的第一种或第二种可能的实施方式，在第二方面的第三种可能的实施方式中，所述图结构建立模块还包括：
统计单元，统计网页中与所述锚文本概念同时出现在一个文档中的词，并从中找到最能表征所述锚文本概念语义的前N1个词，根据预设赋值方法为所述前N1个词赋予权值，利用所述前N1个词的权值形成所述锚文本概念对应的向量，其中，N1为预设正整数；
关联度计算单元，用于计算任意两个所述锚文本概念对应的向量之间的相似度，作为对应的两个所述锚文本概念之间的关联度权值。
结合第二方面，在第二方面的第四种可能的实施方式中，所述训练模块具体包括：
第二搜索单元，利用所述锚文本概念作为关键词进行图片搜索，得到所述锚文本概念的搜索结果集合，并选取所述锚文本概念ai对应的一个搜索结果集合中排在前N2个的图片做为所诉锚文本概念ai对应的正样本集合，其中N2为预设整数，i＝1,2,3,...,Mq；
第二提取单元，用于提取所述锚文本概念ai对应的正样本集合中N2个图片的视觉特征，作为所述锚文本概念对应的正样本的特征集合，其中N2为预设整数，i＝1,2,3,...,Mq；
训练单元，利用所述锚文本概念对应的正样本的特征集合训练所述分类器得到所述训练好的分类器。
结合第二方面，在第二方面的第五种可能的实施方式中，所述排序模块具体包括：
第三提取单元，用于利用所述图结构建立模块构成的所述ACG和所述训练模块得到的所述训练好的分类器，提取所述初始关键词对应的搜索结果中图片的视觉特征，通过分类器计算所提取的视觉特征属于各个所述锚文本概念所属类别的概率，作为所述概念投影对应的图片的初始概念投影向量；
距离计算单元，用于根据所述初始概念投影向量，计算所述第三提取单元得到的所述初始关键词对应的搜索结果中各图片之间的ACG距离。
结合第二方面的第五种可能的实施方式，在第二方面的第六种可能的实施方式中，所述距离计算单元，具体包括：
第一计算子单元，用于利用公式对所述图片的初始概念投影向量pi进行平滑处理，其中，pi表示第i个所述图片初始概念投影向量，表示初始关键词q对应的第i个平滑后的概念投影向量，α表示控制扩散率的阻尼系数，表示列单位化相关矩阵，D为对角元素的对角矩阵，Mq为预设的所述初始关键词q对应的锚文本概念集合中的元素个数；
第二计算子单元，用于利用公式 dist ACG = | | p i * - p j * | | 1 = | | ( I - α W ‾ ) - 1 ( p i - p j ) | | 1 , 计算第i个所述图片和第j个所述图片之间的ACG距离distACG。
结合第二方面或第二方面的第一种至第六种中任一可能的实施方式，在第二方面的第七种可能的实施方式中，所述装置还包括：
展示模块，用于采用具有相似视觉和语义信息的图片逻辑组织方式展示所述排序模块得到的所述各图片的重排序结果。
结合第二方面的第七种可能的实施方式，在第二方面的第八种可能的实施方式中，所述具有相似视觉和语义信息的图片逻辑组织方式包括：
采用边框将所述各图片中属于同一所述锚文本概念所属类别的图片展示在一起；
或者，采用距离大小的差异来展现所述各图片中属于不同所述锚文本概念所属类别的图片；
或者，采用分层递归的结构展示所述各图片中每一类属于同一所述锚文本概念所属类别的图片；
或者，采用缩略图层叠的方式展示所述各图片中属于同一所述锚文本概念所属类别的图片；
或者，在所述各图片中属于同一所述锚文本概念所属类别的图片附近采用文字的形式标注所述锚文本概念；
或者，在所述各图片中属于同一所述锚文本概念所属类别的图片附近采用数字或者条形物长度的形式表示所述图片与所述锚文本概念所属类别的关联度大小，所述数字越大或者条形物越长，表示关联度越大。
结合第二方面的第八种可能的实施方式，在第二方面的第九种可能的实施方式中，对于采用所述缩略图层叠的方式展示所述各图片中属于所述同一锚文本概念所属类别的图片时，当选择所述锚文本概念所属类别的区域时，所述展示模块将所选择的区域上的所述锚文本概念所属类别中的图片展示于显示屏幕的最前端，以供用户查看该类别中的全部图片。
本发明提供的图片排序方法及装置，通过提取图片的视觉特征信息，得出高层次文本语义概念（即锚文本概念anchor concept），建立锚文本概念图结构ACG，通过计算得到与高层次语义概念相关的ACG距离作为重排序的度量尺度，使得图片的搜索结果的排序更加准确，更加符合用户的搜索意图。
附图说明
图1为本发明实施例一提供的图片排序方法流程图；
图2a为本发明实施例一提供的初始关键词“panda”的搜索结果示意图；
图2b为图2a生成的锚文本概念的示意图；
图2c为图2a所建立的锚文本概念图结构ACG的示意图；
图2d为图2a经过图片重排序后的图片示意图；
图2e为图2a经过图片重排序后的图片索引图的示意图；
图2f为图2b中“kunfu panda”分类下的图片示意图；
图3为本发明实施例二提供的图片排序装置示意图；
图4为本发明实施例二提供的图结构建立模块的结构示意图；
图5为本发明实施例二提供的训练模块的结构示意图；
图6为本发明实施例二提供的排序模块的结构示意图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
本发明提供的图片排序方法及装置，适用于需要进行图片搜索或排序的场景，尤其适用于通过搜索引擎进行图片搜索的场合，通过对图片搜索结果进行重排序，可以使用户通过很少的操作即可找到所需要的图片，排序结果更加符合用户的搜索意图。
实施例一
图1是本实施例提供的图片排序方法流程图，如图1所示，本发明的图片排序方法包括：
S101、利用初始关键词进行图片搜索，根据所述初始关键词对应的搜索结果，计算得到所述搜索结果的锚文本概念集合，并计算得到所述锚文本概念集合中的锚文本概念之间的关联度权值，以所述锚文本概念集合中的锚文本概念为顶点、所述顶点之间的连线为顶点的边，所述顶点的边具有所述锚文本概念之间的关联度权值，构成锚文本概念图结构（Anchor Concept Graph，ACG）。
在锚文本（Anchor）链接中，一般将文本关键词作为一个链接，指向别的网页。锚文本链接建立文本关键词与统一资源标识符（Uniform ResourceLocator，URL）链接的关系。锚文本即为该文本关键词，通常锚文本能精确的描述所指向页面的内容。本发明中的锚文本概念是从初始关键词的图片搜索结果中的图片对应的文本关键词（即锚文本）中选取得到的最能表达该些图片的文本。
所述根据所述初始关键词对应的搜索结果，计算得到锚文本概念集合，具体包括：
S1011、利用初始关键词q进行图片搜索得到搜索结果，所述搜索结果包括所述初始关键词q对应的的图片集合Γq和网页中为所述图片集合Γq中图片所配的文本集合
对于用户输入的初始关键词q，借助搜索引擎搜索得到相关的图片作为搜索结果。
S1012、提取所述图片集合Γq中的每一张图片的视觉特征。
视觉特征可以是图片的颜色、形状、纹理、空间关系等特征。
S1013、对所述图片集合Γq中的图片Ik，将视觉特征与所述图片Ik最为相似的K个图片组成所述图片Ik的相似图片集合并将与所述相似图片集合中的所有图片所配的文本中出现频率最高的T个词作为候选词，得到所述图片Ik的含义的候选词集合即
其中，Ik表示相似图片集合中第k个图片，k＝1，2，...N6，N6为所述图片集合Γq中的图片数量，表示第k个图片Ik的第i个候选词，i＝1，2，3,......,T，T为预设正整数。
S1014、对所述候选词集合中的每一个所述候选词进行权值计算，得到所述候选词的权值
根据所述候选词的出现频率的大小计算所述候选词的权值所述候选词的出现频率越大，权值越大。例如，在对所述候选词集合按候选词出现频率从大到小的顺序排序之后（比如表示出现频率最高的词，表示出现频率第二高的词……），利用公式计算所述候选词的权值。其中，表示候选词的权值，i表示所述候选词在所述候选词集合中的顺序。例如候选词集合中有5个候选词，即T＝5，则出现频率最高的一个候选词的权值为依次类推出现频率第二高的候选词的权值为3，出现频率第三高的为2。当然，也可以直接采用归一化后的候选词的词频作为所述候选词的权值，或者，采用其他权值计算方法。
S1015、将所述候选词集合中的权值最大的Mq个的候选词分别与所述初始关键词q组合，合并，得到Mq个锚文本概念，形成锚文本概念集合其中，Mq为预设的所述初始关键词q对应的锚文本概念集合中的元素个数。
所述锚文本概念之间的关联度权值表示所述锚文本概念之间的语义关联度大小。
所述计算得到所述锚文本概念集合中的锚文本概念之间的关联度权值，具体包括：
S1016、统计网页中与所述锚文本概念同时出现在一个文档中的词，并从中找到最能表征所述锚文本概念语义的前N1个词，根据预设赋值方法为所述前N1个词赋予权值，利用所述前N1个词的权值形成所述锚文本概念对应的向量，其中，N1为预设正整数。
可选的，可以采用直接利用每一个锚文本概念a1在搜索引擎上搜索得到a1对应的前N3个文档摘要，通过统计N3个文档摘要中最重要的N1个词的方式计算出每一个锚文本概念a1对应的向量。也可以使用搜索引擎锚文本概念作为关键字搜索网页，或者直接统计网页数据的方式，得到与锚文本概念同时出现在一篇文章中的文本或文本的摘要，把前N4个摘要合并为一篇文章，并使用词频-倒文档率（TF-IDF）等统计方法得到所述合并文章的向量，然后对向量归一化等处理得到所述锚文本概念对应的最终的向量。然后，通过计算锚文本概念对应的最终的向量之间的相似度，作为对应的两个锚文本概念之间的关联度权值。其中，N1和N3和N4为预设正整数。关于计算锚文本概念更为详细的阐述可以在文章[M.Sahami and T.D.Heilman.A web-basedkernel function for measuring the similarity of short text snippets.In WWW,2006]及其参考文献中找大更为详细的论述。
S1017、计算任意两个所述锚文本概念对应的向量之间的相似度，作为对应的两个所述锚文本概念之间的关联度权值。
可选的，可以通过计算任意两个锚文本概念和对应的向量的余弦距离或者欧氏距离等等来作为这两个向量之间的相似度，即为所述锚文本概念之间的关联度权值。
重复S1015～S1016，直到完成所有锚文本概念之间的关联度权值的计算。使用wij表示锚文本概念和之间的相似度或者关联度权值，将wij作为矩阵W的第i行和第j列的元素，同时把wii（i＝1,2,...,Mq）置为1，即可得到图结构ACG的锚文本概念的相关度矩阵W。
这样，以锚文本概念为顶点、锚文本概念之间的关联度权值为边的权值来构成锚文本概念图结构ACG。
S102、利用所述锚文本概念获取训练正样本，并利用所述训练正样本训练分类器得到训练好的分类器。具体包括：
S1021、利用所述锚文本概念作为关键词进行图片搜索或者统计，可以使用现有的搜索引擎完成或者自行统计网页中的图片完成，得到所述锚文本概念的搜索结果集合（即利用所述锚文本概念搜索或者统计得到的结果），并选取所述锚文本概念ai对应的一个搜索结果集合中排在前N2个的图片作为所述锚文本概念ai的正样本集合，其中N2为预设整数，i＝1,2,3,...,Mq。
训练正样本是包含待检验特征的待检验样本，例如，进行人脸检测时，训练正样本是包含人脸特征的待检验样本。在本发明实施例中则是与锚文本概念（关键词）相关的图片，即为训练正样本。
S1022、提取所述锚文本概念ai对应的正样本集合中N2个图片的视觉特征，作为所述锚文本概念对应的正样本的特征集合。
S1023、对所述锚文本概念对应的正样本训练分类器，得到所述训练好的分类器。
可选的，使用现有的多类别支持向量机（Multi-class Support VectorMachine，Multi-class SVM）等作为分类器。
S103、利用所述ACG和所述分类器进行概念投影得到概念投影向量，利用所述概念投影向量计算所述初始关键词的搜索结果中各图片之间的ACG距离，根据所述ACG距离对所述初始关键词对应的搜索结果中的各图片进行排序。
概念投影是利用已经建立好的ACG和训练好的分类器，通过一系列运算得到一副待排序的图片与各个ACG中的锚文本概念关联度大小的数值组成的向量（概念投影向量）得过程。
所述利用所述ACG和所述训练好的分类器，计算所述初始关键词的搜索结果中各图片之间的距离，具体包括：
S1031、提取所述初始关键词对应的搜索结果中图片的视觉特征，利用所述ACG和所述分类器，计算所提取的视觉特征属于各个所述锚文本概念所属类别的概率，作为所述概念投影对应的图片Ii的初始概念投影向量pi。
S1032、根据所述初始概念投影向量，计算所述初始关键词对应的搜索结果中各图片之间的ACG距离。
S10321、对初始关键词q对应的图片Ii（i＝1,2,...,Mq）的初始概念投影向量pi，利用公式 p i * = Σ n = 0 ∞ ( α n W ‾ p i ) = ( I - α W ‾ ) - 1 p i , 进行平滑处理处理。
其中，pi表示初始关键词q对应的第i个所述图片的初始概念投影向量，表示pi平滑后的概念投影向量，α表示控制扩散率的阻尼系数，表示列单位化相关矩阵，D为对角元素的对角矩阵，Mq为预设的所述初始关键词q对应的锚文本概念集合中的元素个数。
平滑处理是根据图片的初始概念投影向量pi的各个分量之间的相关关系重新调整pi中各个分量的值，使得一张图片所对应投影向量的中对应视觉特征上更相似的类别的分量值更大。平滑处理的结果使得最后的ACG距离计算能从高层次语义上更为精确的区分图片的类别。
S10322、利用公式 dist ACG = | | p i * - p j * | | 1 = | | ( I - α W ‾ ) - 1 ( p i - p j ) | | 1 , 计算第i个所述图片和第j个所述图片之间的ACG距离distACG。
在得到ACG距离后，根据所述ACG距离计算图片的重排序得分值，根据重排序得分值对各图片进行排序。
可选的，通过ACG距离计算出任意两幅初始搜索结果中的图片的距离，
从而得到图片的相似度矩阵K，矩阵K的元素kij表示初始关键字搜索结果中第i幅图片和第j幅图片；而后通过把相似度矩阵每一列相加得到总的相似向量s，其中e是所有元素都为1的向量，s＝Ke；然后通过公式 min z | | e T 0 - e T K α e T D z | | 2 2 ; s.t.0≤z≤1计算得到向量z，其中e是所有元素都为1的向量，s＝Ke，α是一个给定的平衡参数，D是一个给定的包涵有第一次搜索各个图片排序信息的对角矩阵；最后通过公式计算最后的排名得分，其中表示当zm＞0的时候为1否则为0，使向量zm是向量z的第m个分量是一个计算向量相似度的核函数，比如可以使用向量的内积等表示,和分别表示第i幅图片和第m幅图片平滑后的概念投影向量。
更多，更为详细的可选方法可以在[N.Morioka and J.Wang.Robustvisual reranking via sparsity and ranking constraints.In ACM MM,2011]、[W.Hsu,L.Kennedy,and S.-F.Chang.Video search reranking throughrandom walk over document-level context graph.In ACM MM,2007.]等文章中找到。
举个例子，当用户输入初始关键词“panda”进行图片搜索时，先用“panda”作为初始关键词在搜索引擎中进行图片搜索，得到如图2a所示的搜索结果，其中包括动物熊猫、汽车、电影海报图片等等不同类型的图片。对搜索结果中的每一幅图片Ik提取图片视觉特征，其中k＝1,2,3,....,N6，N6为所述图片集合Γq中的图片数量，将搜索结果中视觉特征相似K个图片组成相似图片集合N(Ik)；然后统计处所有网页中描述N(Ik)中图片的文字中出现频率最高的并将与所述相似图片集合相关的文本中出现频率最高的T个词作为候选词，得到候选词集合即然后利用公式计算所述候选词的权值。其中，表示候选词的权值，i表示所述候选词在所述候选词集合中的顺序；最后通过选出最大的Mq个词和初始关键词q组成Mq个锚文本概念。如图2b所示，我们一共得到了6个候选词包括“kunfu”、“giant”、“zoo”、“suv”、“fiat”、“red”等等，这些词和“panda”组合得到候选集合锚文本概念，它们分别是“功夫熊猫kunfupanda”、“大熊猫giant panda”、“熊猫动物园panda zoo”、“熊猫越野车panda suv”、“菲亚特熊猫fiat panda”、“红熊猫red panda”。
再统计网页中与所述锚文本概念同时出现在一个文档中的词，并从中找到最能表征所述锚文本概念语义的前N1个词，为所述前N1个词赋予权值，利用所述前N1个词的权值形成所述锚文本概念对应的向量，其中，N1为预设正整数；通过计算各锚文本概念对应的向量之间的相似度，得到各锚文本概念之间的关联度权值及其关联度权值矩阵。以锚文本概念为顶点、锚文本概念之间的关联度权值为顶点之间的边的权值来构成锚文本概念图结构ACG，如图2c所示，该ACG图中以六个锚文本概念为顶点，锚文本概念之间关联度权值为顶点之间的边的权值。再次利用搜索引擎，将锚文本概念作为关键词进行图片搜索，得到锚文本概念的搜索结果，提取排在前N2个的图片的视觉特征，作为训练正样本训练分类器，得到训练好的分类器。利用训练好的分类器和ACG进行概念投影，即，将初始关键词“panda”的图片搜索结果中的图片逐一地提取图片的视觉特征，再将提取的视觉特征通过分类器计算得到该图片属于ACG中各锚文本概念所属的分类的概率，并作为概念投影对应的图片的初始概念投影向量并得到相应的平滑后的概念投影向量。利用距离计算公式计算任意两个图片（即图片对）的图片平滑后的概念投影向量之间的距离，作为图片对之间的ACG距离。利用图片对之间ACG距离计算图片的重排序得分值，根据重排序得分值对各图片进行排序，得到如图2d所示的重排序结果，包括六个分类，每个分类中的图片按照重排序得分值排列。
可选的，在所述根据所述ACG距离对所述初始关键词对应的搜索结果中的各图片进行排序之后，还包括：采用具有相似视觉和语义信息的图片逻辑组织方式展示所述各图片的排序结果。
所述具有相似视觉和语义信息的图片逻辑组织方式可以有多种形式，包括：采用边框将所述各图片中属于同一所述锚文本概念所属类别的图片展示在一起。例如，采用椭圆、矩形等边框围住同类图片。
或者，采用距离大小的差异来展现所述各图片中属于不同所述锚文本概念所属类别的图片。例如，可以不使用边框而采用距离大小展现不同类别的图片（即一张图和同类图片之间的距离明显小于不同类图片之间的距离）。
或者，采用分层递归的结构展示所述各图片中每一类属于同一所述锚文本概念所属类别的图片。例如，在大类里面递归表示小类，即大椭圆（矩形）表示的大类里面有若干小椭圆表示的小类（矩形）。
或者，采用缩略图层叠的方式展示所述各图片中属于同一所述锚文本概念所属类别的图片。
每一类图片采用缩略图，层叠的方式展现该类图片中最主要的、最有代表性的数张图片（即分类分值最高的几张图片）。采用这一层叠展现方式目的在于既体现出该类主要图片的内容，又节省网页展示的空间，还能给人模仿现实中放置图片方式的美感。
在呈现图片的类别之后，当选择所述锚文本概念所属类别的区域时，如当鼠标或者其他动态输入设备放到其中一个所述锚文本概念所属类别的区域上时，这个类别将被认为是希望被用户了解的类别，所以应该展现更为详细的情况。将所述光标所在区域上的所述锚文本概念所属类别中的图片展示于显示屏幕的最前端，以供用户查看该类别中的全部图片。或者，当鼠标或者其他动态输入设备放到其中一个类别上的时候，该类别表现为准激活状态，即该类别所占的区域位置明显大于其他类别，同时该类别所包含的图片层叠方式发生缓慢的变化，比如以动画的方式使得上层的图片缓慢移动到下层，下层的图片按层叠的顺序移动到顶层，让用户有机会观看到以前由于空间限制被遮挡的图片。
或者，在所述各图片中属于同一所述锚文本概念所属类别的图片附近采用文字的形式标注所述锚文本概念。例如，一个类别的图片旁有（也可以没有）一个文字标签作为标识该类图片的高级语义概念，该标签就是本专利中的锚文本概念的文字形式。
或者，在所述各图片中属于同一所述锚文本概念所属类别的图片附近采用数字或者条形物长度的形式表示所述图片与所述锚文本概念所属类别的关联度大小，所述数字越大或者条形物越长，表示关联度越大。例如，在每张图或每一类图旁可以（也可以没有）有该图片或该类图片与各类图片联系强弱的相关度示意标识，等等。
以上述初始关键词“panda”为例，在排序结果中，采用把图片放到所属锚文本概念附近，通过分类展示的方式形成重新分类后的索引图，如图2e所示，将重排序的结果进行重新分类显示。当用户观察图2e所示的重新分类之后的索引图后，当点击其中一类，则可以得到符合用户意图的图片，分类中的图片按照重排序得分值排列。例如点击“kunfu panda”，则得到的结果如图2f所示，显示“kunfu panda”这一锚文本概念所属分类下的图片，按每个图片的分值排序展现该类别的图片，而隐藏其它类别的图片（或者把其他类别图片缩略图放在旁边不显著的位置上）。
当然，本发明的图片检索结果的展示方式还可以采用其他的展示方式，本发明并不加以限制。
以上是对本发明所提供的图片排序方法进行的详细描述，下面对本发明提供的图片排序装置进行详细描述。
实施例二
图3是本实施例提供的图片排序装置示意图，如图3所示，本发明的图片重排序装置包括：图结构建立模块301、训练模块302和排序模块303。
图结构建立模块301用于利用初始关键词进行图片搜索，根据所述初始关键词的搜索结果，计算得到所述初始搜索结果的锚文本概念集合，并计算得到所述锚文本概念集合中的锚文本概念之间的关联度权值，以所述锚文本概念集合中的锚文本概念为顶点、所述锚文本概念之间的关联度权值为顶点之间的边的权值构成锚文本概念图结构ACG。
所述锚文本概念之间的关联度权值表示所述锚文本概念之间的关联度大小。
训练模块302用于利用图结构建立模块301得到的所述锚文本概念获取训练正样本，并利用所述正样本训练分类器得到训练好的分类器。
排序模块303用于利用图结构建立模块301构成的所述ACG和训练模块302得到的所述训练好的分类器进行概念投影得到概念投影向量，根据所述概念投影向量计算所述初始关键词的搜索结果中各图片之间的ACG距离，根据所述ACG距离对所述初始关键词对应的搜索结果中的各图片进行排序。
其中，图4是图结构建立模块的结构示意图，如图4所示，图结构建立模块301具体包括：第一搜索单元3011、第一提取单元3012、权值计算单元3013、合并单元3014、统计单元3015和关联度计算单元3016。
第一搜索单元3011用于利用初始关键词q进行图片搜索得到搜索结果。
所述搜索结果包括所述初始关键词q的图片集合Γq和网页中为所述图片集合Γq中图片所配的文本集合
第一提取单元3012用于提取第一搜索单元3011得到的所述图片集合Γq中的每一张图片Ik（k＝1，2，...）的视觉特征，将视觉特征与所述图片Ik最为相似的K个图片组成所述图片Ik的相似图片集合并将与所述相似图片集合中的所有图片所配的文本中出现频率最高的T个词作为候选词，得到所述图片Ik的含义的候选词集合即视觉特征可以是图片的颜色、形状、纹理、空间关系等特征。
其中，Ik表示相似图片集合中第k个图片，k＝1，2，...N6，N6为所述图片集合Γq中的图片数量，表示第k个图片Ik的第i个候选词，i＝1，2，3,......,T，T为预设正整数。
权值计算单元3013用于将第一提取单元3012得到的所述候选词集合中的每一个所述候选词进行权值计算，得到所述候选词的权值。
权值计算单元3013根据所述候选词的出现频率的大小计算所述候选词的权值所述候选词的出现频率越大，权值越大。例如，在对候选词集合按候选词出现频率从大到小的顺序排序之后（比如表示出现频率最高的词，表示出现频率第二高的词……），利用公式计算所述候选词的权值。其中，表示候选词的权值，i表示所述候选词在所述候选词集合中的顺序。例如候选词集合中有5个候选词，即T＝5，则出现频率最高的一个候选词的权值为依次类推出现频率第二高的候选词的权值为3，出现频率第三高的为2。当然，也可以直接采用归一化后的候选词的词频作为所述候选词的权值，或者，采用其他权值计算方法。
合并单元3014用于根据权值计算单元3013的计算结果，将所述候选词集合中的权值最大的Mq个候选词分别与所述初始关键词q组合，合并，得到Mq个锚文本概念，形成锚文本概念集合
其中，Mq为预设的所述初始关键词q对应的锚文本概念集合中的元素个数。
统计单元3015用于统计网页中与所述锚文本概念同时出现在一个文档中的词，并从中找到最能表征所述锚文本概念语义的前N1个词，根据预设赋值方法为所述前N1个词赋予权值，利用所述前N1个词的权值形成所述锚文本概念对应的向量，其中，N1为预设正整数。
可选的，可以采用直接利用每一个锚文本概念a1在搜索引擎上搜索得到a1对应的前N3个文档摘要，通过统计N3个文档摘要中最重要的N1个词的方式计算出每一个锚文本概念a1对应的向量。也可以使用搜索引擎锚文本概念作为关键字搜索网页，或者直接统计网页数据的方式，得到与锚文本概念同时出现在一篇文章中的文本或文本的摘要，把前N4个摘要合并为一篇文章，并使用TFI-DF等统计方法得到所述合并文章的向量，然后对向量归一化等处理得到所述锚文本概念对应的最终的向量。然后，通过计算锚文本概念对应的最终的向量之间的，其中，N1和N3和N4为预设正整数。关于计算锚文本概念更为详细的阐述可以在文章[M.Sahami and T.D.Heilman.A web-basedkernel function for measuring the similarity of short text snippets.In WWW,2006]及其参考文献中找大更为详细的论述。
关联度计算单元3016用于计算任意两个所述锚文本概念对应的向量之间的相似度，作为对应的两个所述锚文本概念之间的关联度权值。
可选的，关联度计算单元3016可以通过计算任意两个锚文本概念和对应的向量的余弦距离或者欧式距离等等来作为这两个向量之间的相似度，即为所述锚文本概念之间的关联度权值。
利用统计单元3015和关联度计算单元3016重复进行统计和计算，直到完成所有锚文本概念之间的关联度权值的计算，使用wij表示锚文本概念和之间的相似度或者关联度权值，将wij作为矩阵W的第i行和第j列的元素，同时把wii（i＝1,2,...,Mq）置为1，即可得到图结构ACG的锚文本概念的相关度矩阵W。
这样，以锚文本概念为顶点、锚文本概念之间的关联度权值为边的权值来构成锚文本概念图结构ACG。
图5是训练模块的结构示意图，如图5所示，训练模块302具体包括：第二搜索单元3021、第二提取单元3022和训练单元3023。
第二搜索单元3021用于利用所述锚文本概念再次进行图片搜索或者统计，将再次搜索或者统计得到的结果作为训练正样本，训练得到分类器。具体包括：利用所述锚文本概念作为关键词进行图片搜索或者统计，可以使用现有的搜索引擎完成或者自行统计网页中的图片完成，得到所述锚文本概念的搜索结果集合（即利用所述锚文本概念搜索或者统计得到的结果），并选取所述锚文本概念ai对应的一个搜索结果中排在前N2个的图片作为所述锚文本概念ai的正样本集合，其中N2为预设整数，i＝1,2,3,...,Mq。
第二提取单元3022用于提取第二搜索单元3021得到的所述锚文本概念ai对应的正样本集合中N2个图片的视觉特征，作为所述锚文本概念对应的正样本的特征集合。
训练单元3023用于使用第二提取单元3022得到的所述锚文本概念对应的正样本训练所述分类器，得到所述训练好的分类器。
可选的，训练单元3023使用现有的多类别支持向量机（Multi-calssSupport Vector Machine，Multi-calss SVM）等作为分类器。
图6是排序模块的结构示意图，如图6所示，排序模块303具体包括：第三提取单元3031、距离计算单元3032和排序单元3033。
第三提取单元3031用于提取所述初始关键词对应的搜索结果中图片的视觉特征，利用图结构建立模块301构成的所述ACG和所述训练模块302得到的所述训练好的分类器，计算所提取的视觉特征属于各个所述锚文本概念所属类别的概率，作为所述概念投影对应的图片的初始概念投影向量。
距离计算单元3032用于根据所述初始概念投影向量，计算所述第三提取单元得到的所述初始关键词对应的搜索结果中各图片之间的ACG距离。具体包括：第一计算子单元30321和第二计算子单元30322。
第一计算子单元30321用于利用公式对所述初始关键词q对应的图片的初始概念投影向量pi进行平滑处理。
其中，pi表示初始关键词q对应的第i个所述图片的初始概念投影向量，表示第i个平滑后的概念投影向量，α表示控制扩散率的阻尼系数，表示列单位化相关矩阵，D为对角元素的对角矩阵，Mq为预设的所述初始关键词q对应的锚文本概念集合中的元素个数。
平滑处理是根据原图片的初始概念投影向量pi的各个分量之间的相关关系重新调整pi中各个分量的值，使得一张图片所对应投影向量的中对应视觉特征上更相似的类别的分量值更大。平滑处理的结果使得最后的ACG距离计算能从高层次语义上更为精确的区分图片的类别。
第二计算子单元30322用于利用公式 dist ACG = | | p i * - p j * | | 1 = | | ( I - α W ‾ ) - 1 ( p i - p j ) | | 1 , 计算第i个所述图片第j个所述图片之间的ACG距离distACG。
排序单元3033用于根据距离计算单元3032计算得到的ACG距离对所述各图片进行重排序。
排序单元3033利用所述ACG距离计算所述各图片的重排序的得分值，对所述各图片进行重排序。可选的，排序单元3033通过ACG距离计算出任意两幅初始搜索结果中的图片的距离，从而得到图片的相似度矩阵K，矩阵K的元素kij表示初始关键字搜索结果中第i幅图片和第j幅图片；而后通过把相似度矩阵每一列相加得到总的相似向量s，其中e是所有元素都为1的向量，s＝Ke；然后通过公式 min z | | e T 0 - e T K α e T D z | | 2 2 ; s.t.0≤z≤1计算得到向量z，其中e是所有元素都为1的向量，s＝Ke，α是一个给定的平衡参数，D是一个给定的包涵有第一次搜索各个图片排序信息的对角矩阵；最后通过公式计算最后的排名得分，其中表示当zm＞0的时候为1否则为0，使向量zm是向量z的第m个分量是一个计算向量相似度的核函数，比如可以使用向量的内积等表示,和分别表示第i幅图片和第m幅图片平滑后的概念投影向量。
更多，更为详细的可选方法可以在[N.Morioka and J.Wang.Robustvisual reranking via sparsity and ranking constraints.In ACM MM,2011]、[W.Hsu,L.Kennedy,and S.-F.Chang.Video search reranking throughrandom walk over document-level context graph.In ACM MM,2007.]等文章中找到。
可选的，本发明提供图片重排序装置还包括：展示模块（图未示），用于采用具有相似视觉和语义信息的图片逻辑组织方式展示所述排序模块得到的所述各图片的排序结果。
所述具有相似视觉和语义信息的图片逻辑组织方式可以有多种形式，包括：采用边框将所述各图片中属于同一所述锚文本概念所属类别的图片展示在一起。例如，采用椭圆、矩形等边框围住同类图片。
或者，采用距离大小的差异来展现所述各图片中属于不同所述锚文本概念所属类别的图片。例如，可以不使用边框而采用距离大小展现不同类别的图片（即一张图和同类图片之间的距离明显小于不同类图片之间的距离）。
或者，采用分层递归的结构展示所述各图片中每一类属于同一所述锚文本概念所属类别的图片。例如，在大类里面递归表示小类，即大椭圆（矩形）表示的大类里面有若干小椭圆表示的小类（矩形）。
或者，采用缩略图层叠的方式展示所述各图片中属于同一所述锚文本概念所属类别的图片。
每一类图片采用缩略图，层叠的方式展现该类图片中最主要的、最有代表性的数张图片（即分类分值最高的几张图片）。采用这一层叠展现方式目的在于既体现出该类主要图片的内容，又节省网页展示的空间，还能给人模仿现实中放置图片方式的美感。
在呈现图片的类别之后，当选择所述锚文本概念所属类别的区域时，如当鼠标或者其他动态输入设备放到其中一个所述锚文本概念所属类别的区域上时，这个类别将被认为是希望被用户了解的类别，所以应该展现更为详细的情况。将所述光标所在区域上的所述锚文本概念所属类别中的图片展示于显示屏幕的最前端，以供用户查看该类别中的全部图片。或者，当鼠标或者其他动态输入设备放到其中一个类别上的时候，该类别表现为准激活状态，即该类别所占的区域位置明显大于其他类别，同时该类别所包含的图片层叠方式发生缓慢的变化，比如以动画的方式使得上层的图片缓慢移动到下层，下层的图片按层叠的顺序移动到顶层，让用户有机会观看到以前由于空间限制被遮挡的图片。
或者，在所述各图片中属于同一所述锚文本概念所属类别的图片附近采用文字的形式标注所述锚文本概念。例如，一个类别的图片旁有（也可以没有）一个文字标签作为标识该类图片的高级语义概念，该标签就是本专利中的锚文本概念的文字形式。
或者，在所述各图片中属于同一所述锚文本概念所属类别的图片附近采用数字或者条形物长度的形式表示所述图片与所述锚文本概念所属类别的关联度大小，所述数字越大或者条形物越长，表示关联度越大。例如，在每张图或每一类图旁可以（也可以没有）有该图片或该类图片与各类图片联系强弱的相关度示意标识，等等。
以上述初始关键词“panda”为例，在排序结果中，采用把图片放到所属锚文本概念附近，通过分类展示的方式形成重新分类后的索引图，如图2e所示，将重排序的结果进行重新分类显示。当用户观察图2e所示的重新分类之后的索引图后，当点击其中一类，则可以得到符合用户意图的图片，分类中的图片按照重排序得分值排列。例如点击“kunfu panda”，则得到的结果如图2f所示，显示“kunfu panda”这一锚文本概念所属分类下的图片，按每个图片的分值排序展现该类别的图片，而隐藏其它类别的图片（或者把其他类别图片缩略图放在旁边不显著的位置上）。
当然，本发明的图片检索结果的展示方式还可以采用其他的展示方式，本发明并不加以限制。
本发明提供的图片排序方法及装置，通过提取图片的视觉特征信息，得出高层次文本语义概念（即锚文本概念anchor concept），建立ACG图结构，并利用锚文本概念作关键字获取训练数据，训练得到分类器，通过训练好的分类器和ACG得到ACG距离用于图片重排序需要的度量尺度，根据ACG距离进行重排序，本发明得到的训练数据各类之间语义相关度很高，获取训练数据成本更低，由于使用了与高层次语义概念相关的ACG距离作为重排序的度量尺度，使得图片的搜索结果的排序更加准确，更加符合用户的搜索意图。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (20)

1.一种图片排序方法，其特征在于，所述方法包括：
利用初始关键词进行图片搜索，根据所述初始关键词对应的搜索结果，计算得到所述搜索结果的锚文本概念集合，并计算得到所述锚文本概念集合中的锚文本概念之间的关联度权值，以所述锚文本概念集合中的锚文本概念为顶点、所述顶点之间的连线为顶点的边，所述顶点的边具有所述锚文本概念之间的关联度权值，构成锚文本概念图结构Anchor Concept Graph ACG；所述锚文本概念之间的关联度权值表示所述锚文本概念之间的语义关联度大小；
利用所述锚文本概念获取训练正样本，并利用所述训练正样本训练分类器得到训练好的分类器；
利用所述ACG和所述训练好的分类器进行概念投影得到概念投影向量，根据所述概念投影向量计算所述初始关键词对应的搜索结果中各图片之间的ACG距离，根据所述ACG距离对所述初始关键词对应的搜索结果中的各图片进行排序。
2.根据权利要求1所述的方法，其特征在于，所述根据所述初始关键词对应的搜索结果，计算得到锚文本概念集合，具体包括：
利用初始关键词q进行图片搜索得到搜索结果，所述搜索结果包括所述初始关键词q对应的图片集合Γq和为所述图片集合Γq中图片所配的文本集合
提取所述图片集合Γq中的每一张图片的视觉特征；
对于所述图片集合Γq中的图片Ik，将视觉特征与所述图片Ik最为相似的K个图片组成所述图片Ik的相似图片集合并将所述相似图片集合中的所有图片所配的文本中出现频率最高的T个词作为候选词，得到所述图片Ik的含义的候选词集合即其中，Ik表示所述图片集合Γq中第k个图片，k＝1,2,3,....,N6，N6为所述图片集合Γq中的图片数量，表示图片Ik的第i个候选词，i＝1，2，3,......,T，T为预设正整数；
对所述候选词集合中的每一个所述候选词进行权值计算，得到所述候选词的权值
将所述候选词集合中的权值最大的Mq个候选词分别与所述初始关键词q组合合并，得到Mq个锚文本概念，形成锚文本概念集合其中，Mq为预设的所述初始关键词q对应的锚文本概念集合中的元素个数。
3.根据权利要求2所述的方法，其特征在于，所述对所述候选词集合中的每一个所述候选词进行权值计算，得到所述候选词的权值具体包括：
根据所述候选词的出现频率的大小计算所述候选词的权值所述候选词的出现频率越大，所述权值越大。
4.根据权利要求1或2或3所述的方法，其特征在于，所述计算得到所述锚文本概念集合中的锚文本概念之间的关联度权值，具体包括：
统计网页中与所述锚文本概念同时出现在一个文档中的词，并从中找到最能表征所述锚文本概念语义的前N1个词，根据预设赋值方法为所述前N1个词赋予权值，利用所述前N1个词的权值形成所述锚文本概念对应的向量，其中，N1为预设正整数；
计算任意两个所述锚文本概念对应的向量之间的相似度，作为对应的两个所述锚文本概念之间的关联度权值。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述利用所述锚文本概念获取训练正样本，利用所述训练正样本训练分类器得到训练好的分类器，具体包括：
利用所述锚文本概念作为关键词进行图片搜索或统计，得到所述锚文本概念的搜索结果集合，并选取所述锚文本概念ai对应的一个搜索结果集合中排在前N2个的图片作为所述锚文本概念ai对应的正样本集合，其中N2为预设整数，i＝1,2,3,...,Mq；
提取所述锚文本概念ai对应的正样本集合中N2个图片的视觉特征，作为所述锚文本概念对应的正样本的特征集合，其中N2为预设整数，i＝1,2,3,...,Mq；
利用所述锚文本概念对应的正样本的特征集合训练所述分类器得到所述训练好的分类器。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述利用所述ACG和所述分类器进行概念投影得到概念投影向量，根据所述概念投影向量计算所述初始关键词对应的搜索结果中各图片之间的ACG距离，具体包括：
提取所述初始关键词对应的搜索结果中图片的视觉特征，利用所述ACG和所述训练好的分类器，计算所提取的视觉特征属于各个所述锚文本概念所属类别的概率，作为所述概念投影对应的图片的初始概念投影向量；
根据所述初始概念投影向量，计算所述初始关键词对应的搜索结果中各图片之间的ACG距离。
7.根据权利要求6所述的方法，其特征在于，所述根据所述初始概念投影向量，计算所述图片之间的ACG距离，具体包括：
利用公式对所述初始关键词对应的图片的所述图片初始概念投影向量pi进行平滑处理，其中，pi表示所述初始关键词对应的第i个所述图片的初始概念投影向量，表示第i个平滑后的概念投影向量，α表示控制扩散率的阻尼系数，表示列单位化相关矩阵，D为对角元素的对角矩阵，Mq为预设的所述初始关键词q对应的锚文本概念集合中的元素个数；
利用公式 dist ACG = | | p i * - p j * | | 1 = | | ( I - α W ‾ ) - 1 ( p i - p j ) | | 1 , 计算第i个所述图片和第j个所述图片之间的ACG距离distACG。
8.根据权利要求1-7任一项所述的方法，其特征在于，在所述根据所述ACG距离对所述初始关键词对应的搜索结果中的各图片进行重排序之后，还包括：
采用具有相似视觉和语义信息的图片逻辑组织方式展示所述各图片的重排序结果。
9.根据权利要求8所述的方法，其特征在于，所述具有相似视觉和语义信息的图片逻辑组织方式包括：
采用边框将所述各图片中属于同一所述锚文本概念所属类别的图片展示在一起；
或者，采用距离大小的差异来展现所述各图片中属于不同所述锚文本概念所属类别的图片；
或者，采用分层递归的结构展示所述各图片中每一类属于同一所述锚文本概念所属类别的图片；
或者，采用缩略图层叠的方式展示所述各图片中属于同一所述锚文本概念所属类别的图片；
或者，在所述各图片中属于同一所述锚文本概念所属类别的图片附近采用文字的形式标注所述锚文本概念；
或者，在所述各图片中属于同一所述锚文本概念所属类别的图片附近采用数字或者条形物长度的形式表示所述图片与所述锚文本概念所属类别的关联度大小，所述数字越大或者条形物越长，表示关联度越大。
10.根据权利要求9所述的方法，其特征在于，对于采用所述缩略图层叠的方式展示所述各图片中属于所述同一锚文本概念所属类别的图片时，当选择所述锚文本概念所属类别的区域时，将所选择的区域上的所述锚文本概念所属类别中的图片展示于显示屏幕的最前端，以供用户查看该类别中的全部图片。
11.一种图片排序装置，其特征在于，所述装置包括：
图结构建立模块，用于利用初始关键词进行图片搜索，根据所述初始关键词对应的搜索结果，计算得到所述搜索结果的锚文本概念集合，并计算得到所述锚文本概念集合中的锚文本概念之间的关联度权值，以所述锚文本概念集合中的锚文本概念为顶点、所述顶点之间的连线为顶点的边，所述顶点的边具有所述锚文本概念之间的关联度权值，构成锚文本概念图结构AnchorConcept Graph ACG；所述锚文本概念之间的关联度权值表示所述锚文本概念之间的语义关联度大小；
训练模块，用于利用所述图结构建立模块得到的所述锚文本概念获取训练正样本，并利用所述正样本训练分类器得到训练好的分类器；
排序模块，用于利用所述图结构建立模块构成的所述ACG和所述训练模块得到的所述训练好的分类器进行概念投影得到概念投影向量，根据所述概念投影向量计算所述初始关键词对应的搜索结果中各图片之间的ACG距离，根据所述ACG距离对所述初始关键词对应的搜索结果中的各图片进行排序。
12.根据权利要求11所述的装置，其特征在于，所述图结构建立模块具体包括：
第一搜索单元，用于利用初始关键词q进行图片搜索得到搜索结果，所述搜索结果包括所述初始关键词q对应的图片集合Γq和为所述图片集合Γq中图片所配的文本集合
第一提取单元，用于对所述第一搜索单元得到的所述图片集合Γq中的每一个图片，提取图片视觉特征，对于所述图片集合Γq中的图片Ik，将视觉特征与所述图片Ik最为相似的K个图片组成所述图片Ik的相似图片集合并将所述相似图片集合中的所有图片所配的文本中出现频率最高的T个词作为候选词，得到所述图片Ik的含义的候选词集合即其中，Ik表示所述图片集合Γq中第k个图片，k＝1,2,3,....,N6，N6为所述图片集合Γq中的图片数量，表示图片Ik的第i个候选词，i＝1，2，3,......,T，T为预设正整数；
权值计算单元，用于将所述第一提取单元得到的所述候选词集合中的每一个所述候选词进行权值计算，得到所述候选词的权值
合并单元，用于根据所述权值计算单元的计算结果，将所述候选词集合中的权值最大的Mq个候选词分别与所述初始关键词q组合，合并，得到Mq个锚文本概念，形成锚文本概念集合其中，Mq为预设的所述初始关键词q对应的锚文本概念集合中的元素个数。
13.根据权利要求12所述的装置，其特征在于，所述权值计算单元根据所述候选词的出现频率计算所述候选词的权值所述候选词的出现频率越大，权值越大。
14.根据权利要求11或12或13所述的装置，其特征在于，所述图结构建立模块还包括：
统计单元，统计网页中与所述锚文本概念同时出现在一个文档中的词，并从中找到最能表征所述锚文本概念语义的前N1个词，根据预设赋值方法为所述前N1个词赋予权值，利用所述前N1个词的权值形成所述锚文本概念对应的向量，其中，N1为预设正整数；
关联度计算单元，用于计算任意两个所述锚文本概念对应的向量之间的相似度，作为对应的两个所述锚文本概念之间的关联度权值。
15.根据权利要求11-14任一项所述的装置，其特征在于，所述训练模块具体包括：
第二搜索单元，利用所述锚文本概念作为关键词进行图片搜索，得到所述锚文本概念的搜索结果集合，并选取所述锚文本概念ai对应的一个搜索结果集合中排在前N2个的图片做为所诉锚文本概念ai对应的正样本集合，其中N2为预设整数，i＝1,2,3,...,Mq；
第二提取单元，用于提取所述锚文本概念ai对应的正样本集合中N2个图片的视觉特征，作为所述锚文本概念对应的正样本的特征集合，其中N2为预设整数，i＝1,2,3,...,Mq；
训练单元，利用所述锚文本概念对应的正样本的特征集合训练所述分类器得到所述训练好的分类器。
16.根据权利要求11-15任一项所述的装置，其特征在于，所述排序模块具体包括：
第三提取单元，用于利用所述图结构建立模块构成的所述ACG和所述训练模块得到的所述训练好的分类器，提取所述初始关键词对应的搜索结果中图片的视觉特征，通过分类器计算所提取的视觉特征属于各个所述锚文本概念所属类别的概率，作为所述概念投影对应的图片的初始概念投影向量；
距离计算单元，用于根据所述初始概念投影向量，计算所述第三提取单元得到的所述初始关键词对应的搜索结果中各图片之间的ACG距离。
17.根据权利要求16所述的装置，其特征在于，所述距离计算单元，具体包括：
第一计算子单元，用于利用公式对所述图片的初始概念投影向量pi进行平滑处理，其中，pi表示第i个所述图片初始概念投影向量，表示初始关键词q对应的第i个平滑后的概念投影向量，α表示控制扩散率的阻尼系数，表示列单位化相关矩阵，D为对角元素的对角矩阵，Mq为预设的所述初始关键词q对应的锚文本概念集合中的元素个数；
第二计算子单元，用于利用公式 dist ACG = | | p i * - p j * | | 1 = | | ( I - α W ‾ ) - 1 ( p i - p j ) | | 1 , 计算第i个所述图片和第j个所述图片之间的ACG距离distACG。
18.根据权利要求11-17任一项所述的装置，其特征在于，所述装置还包括：
展示模块，用于采用具有相似视觉和语义信息的图片逻辑组织方式展示所述排序模块得到的所述各图片的重排序结果。
19.根据权利要求18所述的装置，其特征在于，所述具有相似视觉和语义信息的图片逻辑组织方式包括：
采用边框将所述各图片中属于同一所述锚文本概念所属类别的图片展示在一起；
或者，采用距离大小的差异来展现所述各图片中属于不同所述锚文本概念所属类别的图片；
或者，采用分层递归的结构展示所述各图片中每一类属于同一所述锚文本概念所属类别的图片；
或者，采用缩略图层叠的方式展示所述各图片中属于同一所述锚文本概念所属类别的图片；
或者，在所述各图片中属于同一所述锚文本概念所属类别的图片附近采用文字的形式标注所述锚文本概念；
或者，在所述各图片中属于同一所述锚文本概念所属类别的图片附近采用数字或者条形物长度的形式表示所述图片与所述锚文本概念所属类别的关联度大小，所述数字越大或者条形物越长，表示关联度越大。
20.根据权利要求19所述的装置，其特征在于，对于采用所述缩略图层叠的方式展示所述各图片中属于所述同一锚文本概念所属类别的图片时，当选择所述锚文本概念所属类别的区域时，所述展示模块将所选择的区域上的所述锚文本概念所属类别中的图片展示于显示屏幕的最前端，以供用户查看该类别中的全部图片。
CN201310474547.0A 2013-10-11 2013-10-11 图片排序方法及装置 Active CN104572651B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201310474547.0A CN104572651B (zh) 2013-10-11 2013-10-11 图片排序方法及装置
EP18195060.1A EP3486804A1 (en) 2013-10-11 2014-04-16 Image ranking method and apparatus
PCT/CN2014/075489 WO2015051629A1 (zh) 2013-10-11 2014-04-16 图片排序方法及装置
EP14852510.8A EP3048540A4 (en) 2013-10-11 2014-04-16 MODEL PROCESS AND DEVICE
US15/094,675 US10521469B2 (en) 2013-10-11 2016-04-08 Image Re-ranking method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310474547.0A CN104572651B (zh) 2013-10-11 2013-10-11 图片排序方法及装置

Publications (2)

Publication Number Publication Date
CN104572651A true CN104572651A (zh) 2015-04-29
CN104572651B CN104572651B (zh) 2017-09-29

Family

ID=52812495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310474547.0A Active CN104572651B (zh) 2013-10-11 2013-10-11 图片排序方法及装置

Country Status (4)

Country Link
US (1) US10521469B2 (zh)
EP (2) EP3048540A4 (zh)
CN (1) CN104572651B (zh)
WO (1) WO2015051629A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485567A (zh) * 2016-09-14 2017-03-08 北京小米移动软件有限公司 物品推荐方法及装置
CN107491456A (zh) * 2016-06-13 2017-12-19 阿里巴巴集团控股有限公司 图像排序方法和装置
CN108132838A (zh) * 2016-11-30 2018-06-08 华为技术有限公司 一种图数据处理的方法、装置及***
CN108536709A (zh) * 2017-03-03 2018-09-14 北京明略软件***有限公司 一种搜索优化方法及装置
US10521469B2 (en) * 2013-10-11 2019-12-31 Huawei Technologies Co., Ltd. Image Re-ranking method and apparatus
CN112256899A (zh) * 2020-09-23 2021-01-22 华为技术有限公司 图像重排序方法、相关设备及计算机可读存储介质
WO2022227171A1 (zh) * 2021-04-25 2022-11-03 平安科技（深圳）有限公司 关键信息提取方法、装置、电子设备及介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3044731A4 (en) * 2013-09-11 2017-02-22 See-Out Pty Ltd. Image searching method and apparatus
US10534810B1 (en) * 2015-05-21 2020-01-14 Google Llc Computerized systems and methods for enriching a knowledge base for search queries
US11017019B1 (en) * 2015-08-14 2021-05-25 Shutterstock, Inc. Style classification for authentic content search
US10453271B2 (en) * 2016-12-07 2019-10-22 Microsoft Technology Licensing, Llc Automated thumbnail object generation based on thumbnail anchor points
CN107679183B (zh) * 2017-09-29 2020-11-06 百度在线网络技术（北京）有限公司 分类器用训练数据获取方法和装置、服务器及存储介质
US10872125B2 (en) * 2017-10-05 2020-12-22 Realpage, Inc. Concept networks and systems and methods for the creation, update and use of same to select images, including the selection of images corresponding to destinations in artificial intelligence systems
US11361018B2 (en) 2017-11-28 2022-06-14 Adobe Inc. Automatically curated image searching
WO2019212407A1 (en) * 2018-05-02 2019-11-07 Agency For Science, Technology And Research A system and method for image retrieval
US11281677B2 (en) * 2018-12-27 2022-03-22 International Business Machines Corporation Utilizing pseudo-relevance feedback in fusion-based retrieval
US11562290B2 (en) * 2019-04-30 2023-01-24 Cylance Inc. Machine learning model score obfuscation using coordinated interleaving
US11586975B2 (en) 2019-04-30 2023-02-21 Cylance Inc. Machine learning model score obfuscation using multiple classifiers
US20210133596A1 (en) * 2019-10-30 2021-05-06 International Business Machines Corporation Ranking image sources for transfer learning
CN111324752B (zh) * 2020-02-20 2023-06-16 中国科学技术大学 基于图神经网络结构建模的图像与文本检索方法
EP3961434A1 (en) * 2020-08-27 2022-03-02 Samsung Electronics Co., Ltd. Method and apparatus for concept matching
CN112836069B (zh) * 2021-04-22 2021-09-10 泰德网聚(北京)科技股份有限公司 一种基于图像关键词的自识别检索***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075238A (zh) * 2006-06-28 2007-11-21 腾讯科技（深圳）有限公司 一种多媒体文件搜索引擎的排序方法
US20070271296A1 (en) * 2006-05-16 2007-11-22 Khemdut Purang Sorting media objects by similarity
US20130080426A1 (en) * 2011-09-26 2013-03-28 Xue-wen Chen System and methods of integrating visual features and textual features for image searching
CN103064903A (zh) * 2012-12-18 2013-04-24 厦门市美亚柏科信息股份有限公司 图片检索方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000187731A (ja) * 1998-12-21 2000-07-04 Ricoh Co Ltd 画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20030016250A1 (en) * 2001-04-02 2003-01-23 Chang Edward Y. Computer user interface for perception-based information retrieval
US8423485B2 (en) * 2007-09-14 2013-04-16 The University Of Tokyo Correspondence learning apparatus and method and correspondence learning program, annotation apparatus and method and annotation program, and retrieval apparatus and method and retrieval program
JP2010211484A (ja) * 2009-03-10 2010-09-24 Nippon Telegr & Teleph Corp <Ntt> 存在確率による位置重みを考慮した類似画像検索装置、存在確率による位置重みを考慮した類似画像検索方法、存在確率による位置重みを考慮した類似画像検索プログラム
US9489403B2 (en) * 2009-04-09 2016-11-08 Nokia Technologies Oy Method and apparatus for providing visual search engine results
KR101764424B1 (ko) * 2010-11-08 2017-08-14 삼성전자주식회사 영상 데이터 검색 방법 및 장치
US8543521B2 (en) 2011-03-30 2013-09-24 Microsoft Corporation Supervised re-ranking for visual search
US8874557B2 (en) 2011-09-02 2014-10-28 Adobe Systems Incorporated Object retrieval and localization using a spatially-constrained similarity model
US9373040B2 (en) * 2011-11-01 2016-06-21 Google Inc. Image matching using motion manifolds
CN103975323A (zh) 2011-11-21 2014-08-06 微软公司 搜索结果的基于原型的重排名
US9495462B2 (en) 2012-01-27 2016-11-15 Microsoft Technology Licensing, Llc Re-ranking search results
CN104572651B (zh) * 2013-10-11 2017-09-29 华为技术有限公司 图片排序方法及装置
US10296531B2 (en) * 2013-11-30 2019-05-21 Beijing Sensetime Technology Development Co., Ltd. Visual semantic complex network and method for forming network
US10042866B2 (en) * 2015-06-30 2018-08-07 Adobe Systems Incorporated Searching untagged images with text-based queries

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070271296A1 (en) * 2006-05-16 2007-11-22 Khemdut Purang Sorting media objects by similarity
CN101075238A (zh) * 2006-06-28 2007-11-21 腾讯科技（深圳）有限公司 一种多媒体文件搜索引擎的排序方法
US20130080426A1 (en) * 2011-09-26 2013-03-28 Xue-wen Chen System and methods of integrating visual features and textual features for image searching
CN103064903A (zh) * 2012-12-18 2013-04-24 厦门市美亚柏科信息股份有限公司 图片检索方法和装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10521469B2 (en) * 2013-10-11 2019-12-31 Huawei Technologies Co., Ltd. Image Re-ranking method and apparatus
CN107491456A (zh) * 2016-06-13 2017-12-19 阿里巴巴集团控股有限公司 图像排序方法和装置
CN106485567A (zh) * 2016-09-14 2017-03-08 北京小米移动软件有限公司 物品推荐方法及装置
CN106485567B (zh) * 2016-09-14 2021-11-30 北京小米移动软件有限公司 物品推荐方法及装置
CN108132838A (zh) * 2016-11-30 2018-06-08 华为技术有限公司 一种图数据处理的方法、装置及***
CN108132838B (zh) * 2016-11-30 2021-12-14 华为技术有限公司 一种图数据处理的方法、装置及***
US11256749B2 (en) 2016-11-30 2022-02-22 Huawei Technologies Co., Ltd. Graph data processing method and apparatus, and system
CN108536709A (zh) * 2017-03-03 2018-09-14 北京明略软件***有限公司 一种搜索优化方法及装置
CN108536709B (zh) * 2017-03-03 2021-04-30 北京明略软件***有限公司 一种搜索优化方法及装置
CN112256899A (zh) * 2020-09-23 2021-01-22 华为技术有限公司 图像重排序方法、相关设备及计算机可读存储介质
CN112256899B (zh) * 2020-09-23 2022-05-10 华为技术有限公司 图像重排序方法、相关设备及计算机可读存储介质
WO2022227171A1 (zh) * 2021-04-25 2022-11-03 平安科技（深圳）有限公司 关键信息提取方法、装置、电子设备及介质

Also Published As

Publication number Publication date
EP3048540A4 (en) 2016-12-14
US10521469B2 (en) 2019-12-31
US20160224593A1 (en) 2016-08-04
EP3048540A1 (en) 2016-07-27
CN104572651B (zh) 2017-09-29
WO2015051629A1 (zh) 2015-04-16
EP3486804A1 (en) 2019-05-22

Similar Documents

Publication Publication Date Title
CN104572651A (zh) 图片排序方法及装置
Real et al. Youtube-boundingboxes: A large high-precision human-annotated data set for object detection in video
Snoek et al. The MediaMill TRECVID 2006 semantic video search engine
Campbell et al. IBM Research TRECVID-2006 Video Retrieval System.
US7809723B2 (en) Distributed hierarchical text classification framework
CN107122400B (zh) 使用视觉提示细化查询结果的方法、计算***及存储介质
US20180121768A1 (en) Utilizing a digital canvas to conduct a spatial-semantic search for digital visual media
US7861149B2 (en) Key phrase navigation map for document navigation
CN104317834B (zh) 一种基于深度神经网络的跨媒体排序方法
CN105426529B (zh) 基于用户搜索意图定位的图像检索方法及***
Ayache et al. Evaluation of active learning strategies for video indexing
Carpineto et al. Evaluating subtopic retrieval methods: Clustering versus diversification of search results
Chen et al. Web video categorization based on wikipedia categories and content-duplicated open resources
CN103440262A (zh) 基于相关反馈和Bag-of-Features的图像检索***及方法
Ionescu et al. Retrieving diverse social images at MediaEval 2013: Objectives, dataset and evaluation
US8620912B2 (en) Ranking advertisement(s) based upon advertisement feature(s)
Radu et al. A hybrid machine-crowd approach to photo retrieval result diversification
Brenner et al. MediaEval Benchmark: Social Event Detection in collaborative photo collections.
Zhang et al. A novel web video event mining framework with the integration of correlation and co-occurrence information
Afzal et al. Web video categorization using category-predictive classifiers and category-specific concept classifiers
Huang et al. Contextual fact ranking and its applications in table synthesis and compression
Datta et al. Bridging the gap: effect of text query reformulation in multimodal retrieval
Scott et al. TRECVid 2011 experiments at Dublin city university
Wu et al. Large-scale simultaneous multi-object recognition and localization via bottom up search-based approach
Gu et al. Personal photo organization using event annotation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant