CN105612513A - 图像检索方法、图像检索***以及信息记录介质 - Google Patents

图像检索方法、图像检索***以及信息记录介质 Download PDF

Info

Publication number
CN105612513A
CN105612513A CN201380079991.0A CN201380079991A CN105612513A CN 105612513 A CN105612513 A CN 105612513A CN 201380079991 A CN201380079991 A CN 201380079991A CN 105612513 A CN105612513 A CN 105612513A
Authority
CN
China
Prior art keywords
image
retrieval
result
query
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380079991.0A
Other languages
English (en)
Inventor
渡边裕树
广池敦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN105612513A publication Critical patent/CN105612513A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的目的在于提供一种图像检索技术，其能够利用大量查询来进行高精度的相似图像检索。另外，是为此将检索结果反馈至查询集的方法。本发明的图像检索装置的特征在于，包括：图像存储部，存储图像及其标签信息；图像输入部，获取图像；检索查询生成部，从图像提取检索用特征量；相似图像检索部，通过相似图像检索，取得相似图像和分类信息；查询分类部，按照得到的分类信息，将查询分配至群组；查询群组重要度判定部，计算群组的重要度；检索结果生成部，按照群组的重要度，排列检索结果；数据输出部，输出每一群组的检索结果的信息。

Description

图像检索方法、图像检索***以及信息记录介质
技术领域
本发明涉及相似图像检索技术。
背景技术
随着IT基础设施的发展，大量的多媒体数据(文本、影像/图像、语音、各种日志数据等)被存储在大规模的存储器中。为了从存储的大量的数据高效地提取信息，针对各种媒体数据，提出了各种信息提取/检索技术，而且已经实用化。
作为对图像的信息提取的例，正在研究识别图像内的目标(object)并输出其名称的图像识别技术。在这样的图像识别技术中，事先准备登记有大量的图像和说明该图像的标签的“辞典”，并调查新输入的图像的特征与辞典内的哪一图像一致，由此推定针对被输入的图像的标签。另外，还使用如下方法，在该方法中，不是与辞典内的所有图像进行对照，而是将辞典内的图像和标签作为学习数据进行机械学习，并使用所生成的标识器来推定标签。无论哪一方法，都需要准备图像和标签组成的大量的对(pair)，发生手动作业。若识别对象变多，则制作辞典的人的成本增大，因此需要高效的辞典制作方法。
作为接近图像识别技术的技术，已知相似图像检索技术。相似图像检索是从数据库检索与被供给的图像的特征接近的图像并按照相似度顺序排列后输出的技术。在图像识别用的辞典制作中，如果能够对相似的脸部统一赋予标签，则能够高效地制作辞典。另外，通过将赋予完标签的多个图像作为查询(query)进行相似图像检索，能够一次取得多彩的图像，能够进一步提高作业效率。相反，在查询集中包含不适于相似图像的图像的情况下，在检索结果中包含噪声的可能性变高，存在作业效率反而下降的危险性。为此，需要提高查询集的品质的技术。
作为在供给很多查询时向查询反馈检索结果的方法，在专利文献1中公开了如下方法:从被输入的动画截取多个镜头(shot)，由此将所提取的特征量作为查询来检索动画。由用户评价检索结果，并仅选择包含在适合的动画中的高相似度镜头，由此，通过将选择的镜头的特征追加到检索查询特征来更新检索查询特征。其结果，能够减少伴随着不需要的镜头的错误检索。
现有技术文献
专利文献
专利文献1:日本特开2008-242965号
发明内容
发明所要解决的课题
专利文献1虽然在内部使用多个镜头来进行检索，但是其目的最终是以动画单位得到相似性高的检索结果，因此不适合于如辞典制作的用途那样收集多彩的变分(variation)图像的目的。另外，判定查询的重要度时需要由用户进行评价，这不是提高用户作业的效率的方法。
本发明是鉴于如上所述的问题而提出的，其目的在于提供一种图像检索技术，其能够使用很多查询来进行高精度的相似图像检索。另外，是为此将检索结果反馈至查询集的方法。
用于解决课题的手段
为了解决上述课题，例如采用专利请求范围中记载的结构。本申请包括解决上述课题的多个手段，列举其一例，是一种图像检索***，存储部，其存储有从成为检索对象的图像提取的检索用图像特征量；输入部，其将多个图像作为查询图像来输入；提取部，其从所述查询图像提取图像特征量；检索部，其利用所述图像特征量，对所述存储部内的所述检索用图像特征量进行检索；显示部，其显示提取了与所述图像特征量相似的所述检索用图像特征量的源图像来作为检索结果；以及判定部，其基于所述检索结果，判定所述查询图像的重要度。
或者，是一种图像检索方法，其特征在于，包括：存储步骤，存储从成为检索对象的图像提取的检索用图像特征量；输入步骤，将多个图像作为查询图像来输入；提取步骤，从所述查询图像提取图像特征量；检索步骤，利用所述图像特征量，对所述检索用图像特征量进行检索；显示步骤；显示提取了与所述图像特征量相似的所述检索用图像特征量的源图像来作为检索结果；以及判定步骤，基于所述检索结果，判定所述查询图像的重要度。
发明的效果
根据本发明的图像检索装置，对被输入的很多查询进行分组，并针对按照重要度排列的每一群组，能够得到相似图像检索结果。除此之外的课题、结构以及效果将通过以下的实施方式的说明变得更清楚。
附图说明
图1是实施方式1的图像检索***100的结构图。
图2是示出图像数据库108的结构和数据例的图。
图3是用于对检索查询生成部109的图像特征量提取处理进行说明的图。
图4是用于说明用于相似图像检索部110的相似图像检索的聚类(clustering)的图。
图5是用于说明相似图像检索部110的使用聚类的相似矢量检索的图。
图6是用于说明图像检索装置105使用相似图像检索的结果将查询分类成群组的处理的图。
图7是用于说明图像检索装置105使用相似图像检索的结果将查询分类成群组的处理的流程图。
图8是用于说明将图像检索装置105应用于图像的标签赋予工具并向查询集反馈的情形的图。
图9是用于说明在应用了图像检索装置105的图像的标签赋予工具中向查询集反馈的处理过程的流程图。
图10是示出应用了图像检索装置105的图像的标签赋予工具的操作画面的结构例的图。
图11是用于说明在应用了图像检索装置105的图像的标签赋予工具中向查询集反馈的处理中的各功能部之间的处理时序的图。
图12是用于说明利用图像检索装置105的影像分析的图。
图13是用于说明利用图像检索装置105的影像分析的处理过程的流程图。
图14是用于说明利用图像检索装置105的部分相似图像检索的图。
图15是用于说明利用图像检索装置105的部分相似图像检索的处理过程的流程图。
图16是实施方式4的内容云***1600的概略图。
具体实施方式
实施例1
<***结构>
图1是本发明的实施方式1的图像检索***100的结构图。图像检索***100的目的在于，对于用户输入的多个查询图像形成查询的群组，并按照每一群组汇总检索结果来提高检索查询的品质。
图像检索***100具有图像/影像存储装置101、输入装置102、显示装置103、数据存储装置104、图像检索装置105。另外，虽然在图1中未图示，但是也可以具有摄像头，以便能够将拍摄的图像直接输入。
图像/影像存储装置101是保存图像数据、影像(运动图像)数据的存储介质，能够使用内置于计算机的硬盘驱动器和NAS(NetworkAttachedStorage：网络连接存储)、SAN(StorageAreaNetwork：存储区域网络)等通过网络连接的存储***来构成。另外，也可以是例如暂时保存从摄像头持续输入的影像数据的高速缓冲存储器。
输入装置102是鼠标、键盘、触摸装置等用于将用户的操作传递至图像检索装置105的输入接口。显示装置103是液晶显示器等输出接口，为了图像检索装置105的检索结果的显示、与用户的对话操作等而使用。数据存储装置104是记录图像检索装置105的检索结果的存储器，为了在上位的应用程序中利用检索结果而使用。检索结果可以是通过检索得到的图像数据，也可以是对图像数据赋予的标签。
图像检索装置105使用被供给的多个查询图像来进行相似图像检索，并按照在检索过程中得到的数据分布信息对查询进行分组，判定群组的重要度，并根据该重要度排列群组，按照每一群组输出检索结果。作为检索查询，可以直接供给图像数据，也可以从数据库取得符合指定条件的图像并将其作为查询。另外，具有如下功能:根据被分组的检索结果和检索查询的关系性，确定成为不理想的检索结果的要因的查询的群组，并将相应的查询从检索查询中除去。查询的个数只要为一个以上即可，但在供给了数十到数百个查询而用户难以确认所有的查询的状况下，本发明比较有效。图像检索装置105具有图像输入部106、用户操作输入部107、图像数据库108、检索查询生成部109、相似图像检索部110、查询分类部111、查询群组重要度判定部112、检索结果生成部113以及数据输出部114。
图像输入部106从图像/影像存储装置101读取图像/影像数据，并转换为在图像检索装置105内部使用的数据形式。此时，影像数据被分解为多个帧。被读入的数据，在用户向图像数据库105登记数据时被发送至图像数据库105，在进行检索处理时被发送至检索查询生成部109。
用户操作输入部107检测用户对输入装置102的操作，并将其信号传送至检索查询生成部109、检索结果生成部113，控制各部的处理的执行或者变更用于处理的参数。
图像数据库108是保存图像数据和其特征量、标签的数据库。特征量是基于图像的外观的相似性来进行检索时必要的数据。在此所说的标签是指为了以指定的条件筛选图像而使用的数据。例如，是图像中的人物的名字、拍摄日期时间、场景(scene)分类(室内/室外、白天/夜间等)。根据需要，一个图像也可以具有多个标签。在来自图像输入部106的数据登记时、在来自检索查询生成部109和相似图像检索部110的检索时和来自检索结果生成部113的数据更新时发生向图像数据库108的存取。关于图像数据库108的结构，后面通过图2进行详细说明。
检索查询生成部109生成相似图像检索所需要的图像特征量。图像特征量是表示图像的外观的特征的数值信息，用固定长度的矢量表示。关于细节，后面通过图3进行说明。向图像检索装置105输入1张以上的图像的情况下，从各图像计算图像特征量。在输入为标签的情况下，从图像数据库108读出被赋予了相应的标签的图像的特征量。将以上生成的多个特征量作为检索查询发送至相似图像检索部110。
相似图像检索部110针对被供给的多个特征量，从图像数据库108分别检索相似矢量。将矢量的相似度定义为，例如，矢量之间的欧几里得(Euclid)距离越小，相似度越高。通过预先将数据进行分类，实现相似矢量的检索的高速化。关于细节，后面通过图4、图5进行说明。相似图像检索部110的输出是每一查询的相似图像及其相似度、用于检索的分类信息。在图像检索装置105中，保持查询和检索结果的关系，直至整个处理结束为止。
查询分类部111基于从相似图像检索部110输出的分类信息，将查询或者查询集分类成多个群组。其结果，图像的外观的特征接近即作为图像特征量的矢量的值接近的查询彼此被分到同一群组。在各群组的组员数不到预定数的情况下，也可以将相似的群组进行整合。
在查询群组重要度判定部112中，计算群组的重要度。作为重要度的计算方法，例如考虑使用属于群组的查询的数或检索结果的图像的相似度的方法，但是具体的计算方法根据应用程序而不同。
在检索结果生成部113中，按照重要度顺序排列群组，而在群组内按照相似度顺序排列检索结果，并按照每一群组输出检索结果。输出数据可以是相似图像其本身，也可以是对相似图像赋予的标签、统计该标签而得的每一标签的得分数据(scoredata)。检索结果生成部113按照用户的指示，对属于群组的相似图像统一赋予标签，从而能够对图像数据库108的相应图像追加标签。另外，在用户判断为属于群组的查询不适合检索的情况下，能够从图像数据库108的相应图像删除标签。其结果，在以后的检索处理中，在检索查询生成部109中不会使用不适合的查询。
数据输出部114根据需要对在上述的处理中得到的查询、群组信息、检索结果进行整形/数据转换，并输出至显示装置103和数据存储装置104。
图2是示出图像数据库108的结构和数据例的图。在此示出表格形式的结构例，但是数据形式可以是任意的。
图像数据库108的图像表格200具有图像ID字段201、图像数据字段202、图像特征量字段203、标签字段204。
图像ID字段201保存各图像数据的标识号。图像数据字段202是以二进制形式保存图像数据的字段，在用户确认检索结果时使用。图像特征量字段203保存图像特征量数据。图像特征量是对图像本身所具有的颜色、形状等特征进行数值化处理而得的固定长度的数值矢量数据。也可以准备多个图像特征量字段，例如，用不同的字段管理形状特征量和颜色特征。标签字段204保存条件检索用的数值数据和字符串数据。在图2的例子中，在图像数据字段202标注了脸部图像、在标签字段204标注了人物名的字符串，但是在图像数据字段202能够登记风景照片、物品的照片、插图、附图等任意的图像，在标签字段204能够登记例如场景名、拍摄日期时间、物品名、属性信息等任意的数据。另外，对于一个登记图像，也可以登记多个标签。
<各部的动作>
以上说明了图像检索***100的整体结构。以下，在概述图像检索***100的动作原理的基础上，对各功能部的详细动作进行说明。
(相似图像检索的说明)
图3是在图像检索***100中使用的图像特征量的提取过程的一例。在本方法中，首先，从输入图像生成多个析像度的图像。接着，对各析像度的图像进行区域分割。通过统计包含在各区域的特征性的边缘图案的数来制作直方图，并将其作为多维矢量。为了修正每一图案的分布的偏移而进行归一化，并通过主成分分析等对所得到的数千维的矢量进行维度压缩，由此保存为***容易处理的数百维左右的固定长度的矢量数据。如此得到的矢量数据在外观上相似的图像之间呈接近的值，因此能够用于相似图像检索。此外，只要是表示图像的外观的特征的矢量数据，也可以使用一般广为人知的MPEG-7中规定的边缘直方图特征等其他特征量。
相似图像检索是通过评价图像特征量的矢量之间的相似度来检索相似的数据的处理。关于两个n维矢量X和Y的非相似度d，例如，如数学式1那样，能够通过欧几里得距离的平方来求得。Xi和Yi分别是矢量X和矢量Y的第i个要素。
[数学式1]
为了得到相似图像，基本上，对于数据库内的所有的图像，使用数学式1来求出与查询图像的特征量的非相似度，并按照非相似度从小到大的顺序排序后输出即可。但是，由于根据数据量处理时间线性增加，因此难以检索大规模的数据库。因此，事先进行预先生成将相似的数据聚集起来的群组的聚类处理。作为聚类算法，例如已知K-means算法。K-means算法是使用聚类(cluster)的平均值将数据集合自动分割为被供给的聚类数K个聚类的方法。
图4是说明数据的聚类的图。图4的(a)的401表示特征量空间，映射(mapping)有在数据库中登记的特征量矢量402。进行聚类处理后，如图4的(b)所示，由矢量之间的距离近的特征量形成聚类403。在图像数据库108中，通过向属于聚类的特征量的指针(pointer)以及属于聚类的所有特征量的平均值矢量403来管理聚类的信息。另外，对各聚类赋予标识号。
图5是对利用聚类的检索进行说明的图。检索时，首先，如图5的(a)所示，求出查询501和聚类的平均矢量之间的距离，选择距离近的1个以上的聚类(近旁聚类)。在图的例子中，选择聚类A。接着，计算属于被选择的近旁聚类的所有的特征量和查询501之间的距离，并按照距离从近到远的顺序排列，输出成为这些特征量的源的图像作为相似图像。通过利用聚类完的数据库，能够实现对大规模数据库的相似图像检索的高速化。例如，对于使用200维的特征量来从400万件的图像数据库检索上位的1000张相似图像的处理，即使在使用一般的PC服务器的情况下也能够使用10毫秒左右来执行。
按照以上叙述的过程，只要是表示图像的外观的特征的固定长度矢量的特征量表现，使用何种特征量都能够实现相似图像检索，但是数据库图像和查询图像的特征量需要使用相同的算法来提取。
图6是用于说明图像检索装置105对多个查询进行分组并按照群组的重要度来排列的处理的图。
首先，当供给了多个查询图像601时，从各图像计算图像特征量，并从图像数据库108取得相似图像检索结果602。检索结果602由相似图像及其相似度以及在利用了聚类的检索中所选择的最近旁聚类的标识号构成。关于相似度s，特征量空间内的距离越小，值越大。例如，若利用数学式2来计算，则相似度s是0～1的值域的实数值，可以解释为：s越大，查询图像和相似图像越相似。在此，e是自然对数的底。在显示给用户时，也可以如图6所示地使用将s扩大100倍的值的百分比来进行显示。
[数学式2]
S＝e-d……数学式2
接着，对查询和检索结果组成的对进行分组。在图6的例子中，将具有共同的最近旁聚类编号的对(pair)聚集在同一群组603。在图6中，作为分组的方法的一例，示出了利用聚类的信息的方法，但是只要能够以某一观点将查询进行分组，就能够应用本方法。例如，也可以将对相似图像赋予的标签信息相同的查询聚集在一个群组中。
在所有的查询被分配到群组后，计算群组的重要度，并按照重要度排列群组。重要度例如使用属于群组的查询的数目、相似度高的相似图像的数目等来进行计算。
最后，从属于群组的检索结果取出相似图像，例如，按照相似度高的顺序排列，并作为每一群组的检索结果进行输出。
通过以上的处理，与统一显示针对多个查询的相似图像的情况相比，能够将特征接近的相似图像按照群组汇总起来确认，因此检索结果的品质提高。另外，通过保存查询和检索结果组成的对，能够容易地发现成为不理想的检索结果的要因的查询。关于从查询集排除这样的不适合的查询的例，在后面的图8进行说明。
图7是表示图像检索装置105对多个查询进行分组并按照群组的重要度排列后输出检索结果的处理过程的流程图。以下，对图7的各步骤进行说明。
(图7:步骤S701)
根据向图像检索装置105的输入的种类，对处理进行分支。在输入为1张以上的图像的情况下，移动至步骤S702，如果是对图像的标签的条件，则移动至步骤S704。
(图7:步骤S702)
图像输入部106从图像/影像存储装置101读出1张以上的图像数据，并转换为能够在装置内利用的数据形式。在影像数据的情况下，以预定间隔提取帧，作为多张图像数据进行处理。
(图7:步骤S703)
检索查询生成部109从在步骤S702中读出的各图像提取图像特征量。
(图7:步骤S704)
检索查询生成部109从图像数据库108读出具有与从用户操作输入部107供给的用户指定的条件吻合的标签的图像的特征量。
(图7:步骤S705～S708)
相似图像检索部110和查询分类部111针对所有的特征量实施步骤S705～S706。
(图7:步骤S706)
相似图像检索部110将供给的特征量作为查询，从图像数据库108取得相似图像。另外，与在利用聚类的检索中所使用的最近旁聚类的标识号一起作为检索结果输出。
(图7:步骤S707)
查询分类部111按照检索结果的最近旁聚类的标识号，将查询和检索结果组成的对分配至相应群组。
(图7:步骤S709～S711)
查询群组重要度判定部112对于在步骤S707中生成的所有的群组，实施步骤S710。
(图7:步骤S710)
查询群组重要度判定部112根据属于群组的查询的数目和相似图像的相似度，计算群组的重要度。
(图7:步骤S712)
检索结果生成部113按照重要度排列群组。
(图7:步骤S713)
检索结果生成部113按照相似度顺序排列群组内的相似图像，对每一群组生成检索结果。数据输出部114将该结果输出至外部的设备来完成本处理流程。根据应用程序，可以显示在显示装置103上，也可以输出至数据存储装置104。
图8是将图像检索装置105应用于向脸部图像赋予标签的辅助工具的例，是说明检索结果向查询集的反馈的图。在此，为了容易说明，将人物的脸部图像作为对象，但是在对物品或场景赋予标签的情况下也相同。通过对脸部图像赋予人物名标签，能够通过输入名字来检索人物，或者能够进行基于人物的出现频度的统计分析。但是，用户对于大量的图像判定人物并赋予标签是困难的。
对于该课题，通过对利用相似图像检索而得到的相似脸部统一赋予标签，能够实现标签赋予作业的高效化。此时，如图8的802那样，使用对被输入的人物名801赋予了相应的标签的多个脸部图像802作为查询，由此一次能够得到多样的变分脸部。但是，如图8的803那样，若按相似度顺序显示所有的检索结果，则在查询中含有噪声的情况下，对不恰当的检索结果图像错误地赋予标签的可能性高。另外，由于不同的特征的脸部图像掺杂在一起被显示，因此难以确认检索结果。
若使用本发明的图像检索装置105，则能够将具有同样的特征的检索结果按照每一查询汇总到群组来进行显示，视觉辨认度变高。在图8的例子中，对于检索结果804、805，由于能够确认所有的检索结果是指定的人物，因此对群组内的相似图像统一赋予标签。针对检索结果806，包含一部分不同的人物，因此个别地赋予标签。如此重新赋予了标签的图像在下次以后的检索中被用作查询。
在检索结果807完全不包含指定的人物的脸部图像，因此推测成为该结果的要因的查询不适合作为相似图像检索的查询。在图像检索装置105中，由于将查询和检索结果组成的对对应起来进行管理，因此能够根据检索结果逆检索查询。其结果，从成为检索结果807被检索的要因的不恰当的查询809中去除标签，在以后的作业中不会被用作查询。
虽然在图8中未图示，但是也可以将检索结果804-807和成为各自的检索关键词的查询对应起来进行显示。由此，进一步提高视觉辨认度。图9是说明利用查询的分组对图像赋予标签的处理和向查询集反馈检索结果的处理过程的流程图。以下，对图9的各步骤进行说明。
(图9:步骤S901)
从图像数据库108读出具有由输入部107供给的标签的图像的特征量。
(图9:步骤S902)
图像检索装置105使用在步骤S901中生成的1个以上的查询，输出被分组的查询和检索结果。该处理与图7的S705～S713相同。
(图9:步骤S903)
数据输出部114将得到的检索结果显示在显示装置103上。用户操作输入部待机，直至用户使用输入装置102向***发送指示为止。
(图9:步骤S904)
根据用户的指示内容，对处理进行分支。在对群组内的检索结果统一赋予标签的情况下移动至步骤S905，在对群组内的检索结果个别地赋予标签的情况下移动至步骤S908，在从群组的查询中删除标签的情况下移动至步骤S911。
(图9:步骤S905～S907)
检索结果生成部113对用户所选择的群组内的所有的相似图像，实施步骤S906。
(图9:步骤S906)
对于用户所选择的群组内的所有的相似图像，赋予在步骤S901中作为查询的条件来使用的标签，并存储在图像数据库108的标签字段204。
(图9:步骤S908～S910)
检索结果生成部113对用户所选择的所有的相似图像，实施步骤S909来赋予标签。
(图9:步骤S909)
对于用户所选择的所有的相似图像，赋予在步骤S901中作为查询的条件来使用的标签，并存储在图像数据库108的标签字段204。
(图9:步骤S911～S913)
检索结果生成部113对用户所选择的群组内的查询图像，实施步骤S912。
(图9:步骤S912)
对于用户所选择的群组内的查询图像，从图像数据库108的标签字段204中删除在步骤S901中作为查询的条件来使用的标签。
图10是为了利用查询的分组来对图像赋予标签而使用的操作画面。本画面能够在显示装置103上提供。用户利用输入装置102对显示在画面上的光标1007进行操作，由此向用户操作输入部107发送操作信息。
图10的操作画面具有标签输入区域1001、图像读入按钮1002、图像文件选择按钮1003、查询图像显示区域1004、检索按钮1005、检索结果显示区域1006、统一赋予标签按钮1008、查询显示按钮1009、查询标签删除按钮1010。
用户首先向***提供检索查询的集合。查询的提供方法有指定标签的方法和直接提供图像文件的方法。在指定标签的情况下，用户对标签输入区域1001输入人物名等标签。当点击图像读入按钮1002时，从登记在图像数据库中的图像读入具有指定的标签的图像，并显示在查询图像显示区域1004。存在很多查询的情况下，也可以如画面那样按照各预定数量的页(page)来显示。
在直接提供图像文件的情况下，用户点击图像文件选择按钮1003。输入方法例如可以使用指定文件***的文件路径的对话(dialogue)，也可以是通过拖拽(draganddrop)的直观的输入操作。读入的图像被显示在查询显示区域1004。
接着，当用户点击检索按钮1005时，利用所指定的查询集来实施相似图像检索，并在检索结果显示区域1005显示每一群组的相似图像。群组按照重要度排列后被显示。为了使用户将重要度用作为以后的操作的判断材料，也可以显示重要度的数值。另外，根据用户的要求，也可以去掉群组的框，追加以一览显示所有的相似图像的方式进行切换的选择框(checkbox)(附图的“分类显示”)。
用户确认检索结果，若属于群组的相似图像全部都是相应人物的脸部，则选择群组。作为选择方法，例如，在群组的右上角准备选择框，并点击该选择框即可。在群组的一部分包括其他人物的脸部的情况下，个别地选择相似图像。与群组的选择同样地，点击相似图像的右上角的选择框。
通过以上的过程，在选择相应人物的相似图像后点击统一赋予标签按钮1008，则对于属于所选择的群组的相似图像和个别选择的相似图像，赋予在标签输入区域1001指定的标签，更新图像数据库108的标签字段204。
另外，检索的结果，在确认了包含很多不理想的结果的群组的情况下，选择该群组，并点击查询显示按钮1009，由此能够在查询图像显示区域1004仅显示该群组的查询。通过点击查询标签删除按钮1010，能够删除不适合的查询的标签。
图11是对图像检索***100生成被分组的每一查询的检索结果并向查询反馈的处理中的用户1101、计算机1102、图像数据库108的处理顺序进行说明的图。以下，对图11的各步骤进行说明。
[查询生成处理](图11:步骤S1103～S1106)
用户1101经由输入装置102向计算机1102输入标签(S1103)。计算机1102在检索查询生成部109中将用于取得与输入的标签一致的图像的请求发送至图像数据库108(S1104)。图像数据库108从登记完的图像中检索具有指定的标签的图像，并将结果的图像的特征量返回给计算机1102(S1105)。读出的图像在以后的处理中成为查询集，并被提示给用户1101(S1106)。
[相似图像检索处理](图11:步骤S1107～S1113)
用户1101使用被提示的查询，将检索处理的执行请求发送至计算机1102(S1107)。计算机1102将在步骤S1105中得到的各图像特征量作为查询，对图像数据库108发送相似图像检索的请求(S1108)。图像数据库108检索特征量接近的预定数量的图像，并返回给计算机1102(S1109)。计算机按照在图6和图7中叙述的处理过程，对检索结果进行分组(S1110)，并针对每一群组计算重要度(S1111)，按照重要度排列群组(S1112)，并向用户1101反馈每一群组的检索结果(S1113)。
[查询更新处理](图11:步骤S1114～S1117)
用户1101确认检索结果，针对每一群组，向计算机1102发送对相似图像赋予标签的请求或者删除查询的标签的请求(S1114)。检索结果生成部113按照用户的指示，对图像数据库108发送标签字段更新请求(S1115)。图像数据库108针对指定的图像追加/删除标签，并向计算机1102返回标签字段的更新完成的通知(S1116)。计算机1102向用户1101提示已完成向查询集的反馈(S1117)。
通过以上的处理，当用户1101重新开始步骤1103起的处理时，能够基于已更新的标签来进行检索，能够得到高精度的检索结果。
基于以上内容，本实施例所记载的图像检索***的特征在于，具有：存储部108，存储有从成为检索对象的图像中提取的检索用图像特征量；输入部107，将多个图像作为查询图像来输入；查询生成部109，由从上述查询图像提取图像特征量的提取部构成；检索部110，利用上述图像特征量，检索上述存储部内的上述检索用图像特征量；显示部103，将提取了与上述图像特征量相似的上述检索用图像特征量的源图像作为检索结果进行显示；判定部112，基于上述检索结果判定上述查询图像的重要度。
通过所述特征，与统一显示针对多个查询的相似图像的情况相比，能够将特征接近的相似图像汇总到各群组来确认，因此检索结果的品质提高。
实施例2
在实施例1中，说明了如下方法：使用图像检索装置105将大量查询分类成群组，并利用每一群组的检索结果，更新图像数据库108的标签，由此提高查询的精度。若利用本发明的图像检索装置105的查询分类功能，则能够高精度地识别包含在被输入的很多图像中的共同的目标，生成对输入图像集合有用的分析结果。以下，在本实施例中，说明将由1台以上的摄像头拍摄的预定时间的连续帧作为输入的向影像分析的应用。
图12是用于说明对摄像头影像中的车辆的车种进行分析的处理的图。向图像检索装置105的输入是从1台以上的摄像头取得的预定时间的连续的帧1201。帧例如可以每隔1秒1张地按照预定的间隔提取。另外，不是实时地从摄像头取得影像，而可以将以动画文件形式保存在图像/影像存储装置101中的数据作为输入。在图像数据库108中预先登记车辆的图像和作为标签的车种信息。
检索查询生成部109从被输入的帧，检测包含车辆的部分区域来作为查询目标。利用公知的方法从图像中提取车辆区域。例如，已知如下方法：利用通过机械学习来生成的车辆专用的标识器，一边使扫描窗口移动一边一一检查图像中的部分区域。
从各帧得到的多个查询目标成为查询，在本实施例中车辆图像成为查询，并通过本发明的图像检索装置105进行分组(1202)。关于各车辆图像，首先，通过相似图像检索，得到作为检索结果的相似图像。另外，通过统计对该相似图像赋予的标签的信息，能够推定对用作为检索关键词的查询图像赋予的标签。作为推定的方法，例如，如果假设在所得到的10张相似图像数中，5张赋予有车种A的标签，3张赋予有车种B的标签，2张赋予有车种C的标签，则如像车种A的得分为50％，像车种B的得分为30％，像车种C的得分为20％那样，能够得出对查询图像赋予的标签的推定结果。在计算得分时，也可以根据相似度、数据库中的符合者数的出现频度进行加权。
通过以上处理，对每一查询得出个别的推定结果1203。但是，根据场景，背景或遮挡物的影响大，推定精度可能会下降。
因此，通过按照群组的分类来汇总推定结果，减轻包含在查询中的噪声的影响，能够仅提示对用户有用的分析结果(1204)。推定结果的汇总方法例如可以采用各个推定结果的单纯的平均值，也可以采用车种之间的得分差最大的推定结果。
图13是用于说明图像检索装置105使用查询分类来进行影像分析的处理过程的流程图。以下，对图13的各步骤进行说明。
(图13:步骤S1301)
图像输入部106从图像/影像存储装置101读出影像数据，并以预定间隔提取帧。在图像检索***100连接有1台以上的摄像头的情况下，使图像/影像存储装置101发挥高速缓冲存储器的功能，将预定时间的影像数据作为输入。
(图13:步骤S1302)
检索查询生成部109从多个帧检测车辆区域，并从检测出的区域的图像提取图像特征量。
(图13:步骤S1303)
图像检索装置105利用在步骤S1302中生成的1个以上的查询，输出被分组的查询和检索结果。该处理与图7的S705～S711相同，但是在检索结果中还附带相似图像的标签信息。
(图13:步骤S1304)
检索结果生成部113根据各查询的检索结果推定标签，并计算每一标签的得分。标签的推定方法与在图12中说明的方法一样。
(图13:步骤S1305)
检索结果生成部113针对每一群组汇总各个标签推定结果。
(图13:步骤S1306)
数据输出部114向外部的设备输出推定结果并结束本处理流程。根据应用程序，可以显示在显示装置103，也可以输出至数据存储装置104。例如，在向画面输出时，也可以并排显示推定结果和其相应的场景。
实施例3
针对本发明的图像检索装置105，在实施例1中叙述了针对向图像赋予标签的作业的应用，在实施例2中叙述了向标签的自动推定功能的应用。在本实施例中，对实现更高度的相似图像检索的方法进行叙述。
在之前的实施例中叙述的相似图像检索中，能够从数据库检索被输入的图像的整体特征相似的图像。与此相对，若能够着眼于图像的部分区域来找到部分相似的图像，则能够应用于各种各样的应用程序。例如，在图形商标检索/审查***中，若能够自动检测在审查对象的图形的一部分存在与公知的图形商标酷似的部分，则能够实现审查业务的高效化。
图14是用于说明部分相似图像检索的图。为了将图像的部分区域作为检索对象，对于保存在图像数据库108中的图像，预先提取要素图形来作为查询目标，并按照每一要素图形保存向特征量和提取源的图像的指示器(图像ID)(1401)。关于要素图形的提取方法，例如，只要是通过图形制作工具制作的图形，就能够利用图形组件的信息，关于其他任意的图像数据也能够通过公知的图像识别方法来分解为要素图形。
检索时，当供给了如查询1402那样的复合图形时，以同样的方法提取要素图形，将所提取的所有的要素图形作为查询进行相似图像检索。检索对象是图像数据库108的要素图形1401。其结果，通过与实施例1同样的方法，将查询分类成多个群组(1403)。作为群组的重要度的计算方法，例如，除了查询的数目以外，也可以考虑数据库中的相似要素图形的数目。例如，在图14的情况下，在查询中包含很多单纯的圆要素，但是由于是数据库中的几乎所有的图形中包含的常见的要素图形，因此降低群组的重要度。关于检索结果，如图14的1404那样，也可以显示相似要素图形的提取源的整体图。
通过以上的处理，用户能够按照着眼的每一要素阅览检索结果，能够提高部分相似图像检索结果的品质。
图15是用于说明图像检索装置105利用查询分类进行部分相似图像检索的处理过程的流程图。以下，对图15的各步骤进行说明。
(图15:步骤S1501)
检索查询生成部109从图像输入部106输入的图形提取要素图形，并根据各要素图形计算图像特征量，作为查询。
(图15:步骤S1502)
图像检索装置105利用在步骤S1502中生成的1个以上的查询，输出被分组的查询和检索结果。该处理与图7的S705～S711相同。
(图15:步骤S1503)
查询群组重要度判定部112根据包含在群组的查询的数目和数据库中的要素图形的使用频度，计算重要度。数据库内的要素图形的使用频度是例如根据找到了多少件相似度在一定程度以上的相似图像来判断。
(图15:步骤S1504)
检索结果生成部113按照重要度排列群组。另外，按照相似度顺序排列群组内的相似图像。在此，作为检索结果，也可以不使用相似图像其本身，而使用要素图形的提取源的图像。
(图15:步骤S1505)
数据输出部114向外部的设备输出推定结果并结束本处理流程。根据应用程序，可以显示在显示装置103，也可以输出至数据存储装置104。
实施例4
在本发明的实施方式4中，对将图像检索***100组装到内容云***的结构例进行说明。以下，首先，说明内容云***的概要，然后，说明将图像检索***100作为分析模块组装到内容云***的方法。图像检索***100的结构与实施方式1～3相同。
图16是本实施方式3的内容云***1600的概略图。内容云***1600具有ETL(ExtractTransformLoad：提取转换加载)模块1603、内容存储器1604、检索引擎1605、元数据服务器1606、多媒体服务器1607。内容云***在具有1个以上的CPU、存储器、存储装置的一般的计算机上动作，***本身由各种模块构成。另外，也有各个模块在独立的计算机上执行的情况，此时，各存储器和模块之间通过网络等相连接，通过经由它们进行数据通信的分散处理来实现。
应用程序1608经由网络等向内容云***1600发送请求(request)，内容云***1600将与请求对应的信息发送至应用程序1608。
内容云***1600接受影像数据、图像数据、文本数据、语音数据等任意形式的数据1601来作为输入。数据1601例如是图形商标及其宣传文本、网站的图像和HTML文本、隐藏字幕或者附带语音的影像数据等，可以是构造化数据，也可以是非构造化数据。向内容云***1600输入的数据会暂时存储在存储器1602中。
ETL1603监视存储器1602，当数据1601存储在存储器1602时，将从文件***得到的信息(元数据)存档(archive)保存到内容存储器1604。
内容存储器1604保存由ETL1603提取的信息以及暂时存储在存储器1602的处理前的数据1601。
当有来自应用程序1608的请求时，例如是文本检索时，检索引擎1605基于由ETL1603制作的索引实施文本检索，并将检索结果发送至应用程序1608。关于检索引擎1605的算法，能够应用公知的技术。检索引擎1605不仅检索文本，还能够搭载用于检索图像、语音等的数据的模块。
元数据服务器1606对存储在RDB(RelationalDataBas：关系数据库)中的元数据进行管理。例如，假设ETL1603所提取的数据的文件名、数据登记年月日、源数据的种类、元数据文本信息等登记在RDB中。当从应用程序1608有请求时，元数据服务器1606按照该请求，将RDB内的信息发送至应用程序1608。
多媒体服务器1607对于在内容存储器1604中存档的数据，启动与该数据对应的信息提取处理模块1609，提取与数据的内容相关的元数据。
信息提取处理模块1609例如由文本的索引模块、图像识别模块等构成。作为元数据的例，相应的有时刻、N-gram索引、图像识别结果(物体名、图像中的区域坐标)、图像特征量及其关联语、语音识别结果等。作为信息提取模块1609，能够使用进行任意信息(元数据)提取的所有程序，且能够采用公知的技术，因此在此省略对信息提取处理模块1609的说明。
从各媒体数据提取的元数据彼此相关联，存储到以图表(graph)形式构造化的图表DB1611。作为附有关联图的一例，对于存储在内容存储器1604的叫“苹果”的语音识别结果，能够以网络形式表示源语音文件、图像数据、关联语等的对应关系。当有来自应用程序1608的请求时，多媒体服务器1607将与该请求对应的元信息发送至应用程序1608。例如，当有叫“苹果”的请求时，基于构筑的图表构造，提供包含苹果的图像、平均市场价、艺术家的曲名等在网络图表上相关联起来的元信息。
在上述的内容云***1600中，以两种方法利用图像检索***100。第一，是作为用于制作信息提取所需要的辞典数据1610的模块的利用方法。如实施例1那样，若能够实现对图像赋予标签的作业的高效化，则能够实现高精度的信息提取。第二，是作为信息提取处理模块1609本身的功能来利用的方法。如实施例2那样，在供给了影像数据时，通过将推定的标签及其得分登记在图表DB，能够使其作为信息提取处理模块工作。在多媒体服务器1607中组装多个信息提取处理模块1609的情况下，可以共享1台计算机的资源，也可以每一模块使用独立的计算机。
<实施方式4：总结>
如上所述，本发明的图像检索***100能够作为内容云***1600的结构要素来应用。内容云***1600通过生成可在各媒体数据中共同利用的元数据，能够跨越媒体之间合并信息。由此，期待向用户提供附加价值更高的信息。
本发明不限定于上述的实施方式，包含各种变形例。上述实施方式是为了通俗易懂地说明本发明而详细说明的实施方式，并不限定于必须具有说明的所有的结构。另外，也能够将某一实施方式的结构的一部分置换成其他实施方式的结构。另外，也能够在某一实施方式的结构追加其他实施方式的结构。另外，也能够对各实施方式的结构的一部分追加/删除/置换其他结构。
对于上述各结构、功能、处理部、处理单元等，也可以通过例如用集成电路设计它们的一部分或全部来通过硬件实现。另外，对于上述的各结构、功能等，也可以通过由处理器解释、执行用于实现各功能的程序来通过软件实现。实现各功能的程序、表格、文件等信息能够存储在存储器、硬盘、SSD(SolidStateDrive：固态硬盘)等记录装置、IC卡、SD卡、DVD等记录介质。
附图标记的说明
100：图像检索***；
101：图像/影像存储装置；
102：输入装置；
103：显示装置；
104：数据存储装置；
105：图像检索装置；
106：图像输入部；
107：用户操作输入部；
108：图像数据库；
109：检索查询生成部；
110：相似图像检索部；
111：查询分类部；
112：查询群组重要度判定部；
113：检索结果生成部；
114：数据输出部；
1600：内容云***。

Claims (12)

1.一种图像检索***，其特征在于，包括：
存储部，其存储有从成为检索对象的图像提取的检索用图像特征量；
输入部，其将多个图像作为查询图像来输入；
提取部，其从所述查询图像提取图像特征量；
检索部，其利用所述图像特征量，对所述存储部内的所述检索用图像特征量进行检索；
显示部，其显示提取了与所述图像特征量相似的所述检索用图像特征量的源图像来作为检索结果；以及
判定部，其基于所述检索结果，判定所述查询图像的重要度。
2.根据权利要求1所述的图像检索***，其特征在于，
在所述存储部中还存储所述图像的标签信息；
所述显示部将所述查询图像和作为所述检索结果的源图像对应起来进行显示。
3.根据权利要求2所述的图像检索***，其特征在于，
该图像检索***还包括：分类部，其将多个所述查询图像分类成多个群组；
所述检索部针对被分类的每一所述群组进行检索；
所述判定部基于对每一所述群组的检索结果中的所述源图像赋予的标签，判定所述查询的标签。
4.根据权利要求3所述的图像检索***，其特征在于，
所述存储部存储所述图像以及从所述图像的一部分提取的检索对象目标，并存储从所述图像以及所述检索对象目标提取的各自的所述检索用图像特征量；
所述提取部提取所述查询图像的一部分来作为查询目标，并从所述查询目标提取所述图像特征量。
5.一种图像检索方法，其特征在于，包括：
存储步骤，存储从成为检索对象的图像提取的检索用图像特征量；
输入步骤，将多个图像作为查询图像来输入；
提取步骤，从所述查询图像提取图像特征量；
检索步骤，利用所述图像特征量，对被存储的所述检索用图像特征量进行检索；
显示步骤，显示提取了与所述图像特征量相似的所述检索用图像特征量的源图像来作为检索结果；以及
判定步骤，基于所述检索结果，判定所述查询图像的重要度。
6.根据权利要求5所述的图像检索方法，其特征在于，
在所述存储步骤中，还存储所述图像的标签信息；
所述显示步骤将所述查询图像和作为所述检索结果的源图像对应起来进行显示。
7.根据权利要求6所述的图像检索方法，其特征在于，
该图像检索方法还包括：分类步骤，将多个所述查询图像分类成多个群组；
所述检索步骤针对被分类的每一所述群组进行检索；
所述判定步骤基于对每一所述群组的检索结果中的所述源图像赋予的标签，判定所述查询的标签。
8.根据权利要求7所述的图像检索方法，其特征在于，
所述存储步骤存储所述图像以及从所述图像的一部分提取的检索对象目标，并存储从所述图像以及所述检索对象目标提取的各自的所述检索用图像特征量；
所述提取步骤提取所述查询图像的一部分来作为查询目标，并从所述查询目标提取所述图像特征量。
9.一种记录有程序的信息记录介质，其特征在于，该程序使计算机执行如下步骤：
存储步骤，存储从成为检索对象的图像提取的检索用图像特征量；
输入步骤，将多个图像作为查询图像来输入；
提取步骤，从所述查询图像提取图像特征量；
检索步骤，利用所述图像特征量，对被存储的所述检索用图像特征量进行检索；
显示步骤，显示提取了与所述图像特征量相似的所述检索用图像特征量的源图像来作为检索结果；以及
判定步骤，基于所述检索结果，判定所述查询图像的重要度。
10.根据权利要求9所述的记录有程序的信息记录介质，其特征在于，
在所述存储步骤中，还存储所述图像的标签信息；
所述显示步骤将所述查询图像和作为所述检索结果的源图像对应起来进行显示。
11.根据权利要求10所述的记录有程序的信息记录介质，其特征在于，
该程序还包括：分类步骤，将多个所述查询图像分类成多个群组；
所述检索步骤针对被分类的每一所述群组进行检索；
所述判定步骤基于对每一所述群组的检索结果中的所述源图像赋予的标签，判定所述查询的标签。
12.根据权利要求11所述的记录有程序的信息记录介质，其特征在于，
所述存储步骤存储所述图像以及从所述图像的一部分提取的检索对象目标，并存储从所述图像以及所述检索对象目标提取的各自的所述检索用图像特征量；
所述提取步骤提取所述查询图像的一部分来作为查询目标，并从所述查询目标提取所述图像特征量。
CN201380079991.0A 2013-10-02 2013-10-02 图像检索方法、图像检索***以及信息记录介质 Pending CN105612513A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/076761 WO2015049732A1 (ja) 2013-10-02 2013-10-02 画像検索方法、画像検索システム、および情報記録媒体

Publications (1)

Publication Number Publication Date
CN105612513A true CN105612513A (zh) 2016-05-25

Family

ID=52778346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380079991.0A Pending CN105612513A (zh) 2013-10-02 2013-10-02 图像检索方法、图像检索***以及信息记录介质

Country Status (4)

Country Link
US (1) US11157550B2 (zh)
JP (1) JP6190887B2 (zh)
CN (1) CN105612513A (zh)
WO (1) WO2015049732A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562742A (zh) * 2016-06-30 2018-01-09 苏宁云商集团股份有限公司 一种图像数据处理方法及装置
CN109478319A (zh) * 2016-07-11 2019-03-15 三菱电机株式会社 动态图像处理装置、动态图像处理方法及动态图像处理程序
CN110325983A (zh) * 2017-02-28 2019-10-11 株式会社日立制作所 图像检索装置和图像检索方法
CN112784083A (zh) * 2019-11-04 2021-05-11 阿里巴巴集团控股有限公司 类目预测模型、特征提取模型的获取方法及装置
CN112800258A (zh) * 2021-03-11 2021-05-14 上海依图网络科技有限公司 图像检索方法、装置、电子设备及计算机可读存储介质
CN113330431A (zh) * 2019-01-25 2021-08-31 株式会社东芝 事件管理装置、事件管理程序以及事件管理方法
CN113405494A (zh) * 2020-03-16 2021-09-17 卡尔蔡司工业测量技术有限公司 用于自动产生测试计划的计算机实施的方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201517462D0 (en) * 2015-10-02 2015-11-18 Tractable Ltd Semi-automatic labelling of datasets
KR20170046496A (ko) * 2015-10-21 2017-05-02 삼성전자주식회사 카메라를 갖는 전자 장치와 그의 이미지 처리 방법
US20170132510A1 (en) * 2015-11-05 2017-05-11 Facebook, Inc. Identifying Content Items Using a Deep-Learning Model
CN105426530B (zh) * 2015-12-15 2017-05-10 徐庆 一种商标检索方法、装置和***
JP6489005B2 (ja) * 2015-12-18 2019-03-27 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法、プログラム
US11146865B2 (en) 2016-03-03 2021-10-12 Comcast Cable Communications, Llc Determining points of interest in a content item
KR101796506B1 (ko) * 2016-07-20 2017-11-14 엔에이치엔엔터테인먼트 주식회사 기종 정보를 활용한 이미지 검색 결과 제공 방법 및 시스템
US10191990B2 (en) * 2016-11-21 2019-01-29 Comcast Cable Communications, Llc Content recommendation system with weighted metadata annotations
CN110249304B (zh) 2017-01-19 2023-05-23 三星电子株式会社 电子设备的视觉智能管理
US10909371B2 (en) 2017-01-19 2021-02-02 Samsung Electronics Co., Ltd. System and method for contextual driven intelligence
JP7005932B2 (ja) * 2017-04-28 2022-01-24 富士通株式会社 検索プログラム、検索装置及び検索方法
TWI650656B (zh) * 2017-05-26 2019-02-11 虹光精密工業股份有限公司 於電腦系統搜尋影像檔案之方法、影像檔案搜尋裝置以及電腦系統
JP7018001B2 (ja) 2018-09-20 2022-02-09 株式会社日立製作所 情報処理システム、情報処理システムを制御する方法及びプログラム
CN111125390B (zh) * 2018-11-01 2024-05-17 北京市商汤科技开发有限公司 数据库更新方法和装置、电子设备、计算机存储介质
CN111552829B (zh) * 2020-05-07 2023-06-27 京东科技信息技术有限公司 用于分析图像素材的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110052069A1 (en) * 2009-08-27 2011-03-03 Hitachi Kokusai Electric Inc. Image search apparatus
US20110188742A1 (en) * 2010-02-02 2011-08-04 Jie Yu Recommending user image to social network groups
CN102207966A (zh) * 2011-06-01 2011-10-05 华南理工大学 基于对象标签的视频内容快速检索方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0713186B1 (en) * 1994-11-15 2006-07-05 Canon Kabushiki Kaisha Method and apparatus for retrieving images from a database
US6567551B2 (en) * 1998-04-27 2003-05-20 Canon Kabushiki Kaisha Image search apparatus and method, and computer readable memory
US6512850B2 (en) * 1998-12-09 2003-01-28 International Business Machines Corporation Method of and apparatus for identifying subsets of interrelated image objects from a set of image objects
JP2001256244A (ja) * 2000-03-14 2001-09-21 Fuji Xerox Co Ltd 画像データ分類装置および画像データ分類方法
KR100451649B1 (ko) * 2001-03-26 2004-10-08 엘지전자 주식회사 이미지 검색방법과 장치
JP4037790B2 (ja) * 2003-05-02 2008-01-23 アルパイン株式会社 ナビゲーション装置
JP4374902B2 (ja) * 2003-05-16 2009-12-02 富士通株式会社 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム
JP4478513B2 (ja) * 2004-06-10 2010-06-09 キヤノン株式会社 デジタルカメラ、デジタルカメラの制御方法、プログラムおよびそれを格納した記録媒体
US7580952B2 (en) * 2005-02-28 2009-08-25 Microsoft Corporation Automatic digital image grouping using criteria based on image metadata and spatial information
JP5009577B2 (ja) * 2005-09-30 2012-08-22 富士フイルム株式会社 画像検索装置および方法並びにプログラム
US7840076B2 (en) * 2006-11-22 2010-11-23 Intel Corporation Methods and apparatus for retrieving images from a large collection of images
JP5358083B2 (ja) * 2007-11-01 2013-12-04 株式会社日立製作所 人物画像検索装置及び画像検索装置
JP4979070B2 (ja) 2007-03-28 2012-07-18 Ｋｄｄｉ株式会社 動画像提示システム
JP4948607B2 (ja) * 2007-09-07 2012-06-06 三菱電機株式会社 画像検索装置、画像分類装置及び方法並びにプログラム
US8554783B2 (en) * 2007-09-17 2013-10-08 Morgan Stanley Computer object tagging
JP2010271769A (ja) 2009-05-19 2010-12-02 Seiko Epson Corp 画像処理方法及び装置、並びに、そのためのコンピュータプログラム
JP5515417B2 (ja) * 2009-05-21 2014-06-11 セイコーエプソン株式会社 画像処理方法及び装置、並びに、そのためのコンピュータープログラム
US8433140B2 (en) * 2009-11-02 2013-04-30 Microsoft Corporation Image metadata propagation
US8559731B2 (en) * 2010-01-18 2013-10-15 International Business Machines Corporation Personalized tag ranking
US8949252B2 (en) * 2010-03-29 2015-02-03 Ebay Inc. Product category optimization for image similarity searching of image-based listings in a network-based publication system
US8495057B2 (en) * 2010-05-17 2013-07-23 Microsoft Corporation Image searching with recognition suggestion
US8625907B2 (en) * 2010-06-10 2014-01-07 Microsoft Corporation Image clustering
US9703895B2 (en) * 2010-06-11 2017-07-11 Microsoft Technology Licensing, Llc Organizing search results based upon clustered content
JP5643309B2 (ja) * 2010-07-09 2014-12-17 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ オブジェクト関連付け装置、オブジェクト関連付け方法、プログラム及び記録媒体
KR101753141B1 (ko) * 2010-09-07 2017-07-04 삼성전자 주식회사 디스플레이장치 및 그 컨텐츠 표시방법
WO2013036181A1 (en) * 2011-09-08 2013-03-14 Telefonaktiebolaget L M Ericsson (Publ) Assigning tags to media files
KR101191172B1 (ko) * 2012-02-15 2012-10-15 (주)올라웍스 이미지 데이터베이스의 이미지들을 관리하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
JP5577371B2 (ja) * 2012-03-29 2014-08-20 楽天株式会社 画像検索装置、画像検索方法およびプログラム
JP5768265B2 (ja) * 2012-05-24 2015-08-26 株式会社日立国際電気 類似画像検索システム
US9292622B2 (en) * 2012-12-27 2016-03-22 Google Inc. Systems and methods for providing search suggestions
US10438050B2 (en) * 2013-02-27 2019-10-08 Hitachi, Ltd. Image analysis device, image analysis system, and image analysis method
US20160132569A1 (en) * 2013-05-16 2016-05-12 Yandex Europe Ag Method and system for presenting image information to a user of a client device
US9727901B2 (en) * 2013-06-13 2017-08-08 Yahoo! Inc. Systems and methods for image-based recommendations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110052069A1 (en) * 2009-08-27 2011-03-03 Hitachi Kokusai Electric Inc. Image search apparatus
US20110188742A1 (en) * 2010-02-02 2011-08-04 Jie Yu Recommending user image to social network groups
CN102207966A (zh) * 2011-06-01 2011-10-05 华南理工大学 基于对象标签的视频内容快速检索方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562742A (zh) * 2016-06-30 2018-01-09 苏宁云商集团股份有限公司 一种图像数据处理方法及装置
CN107562742B (zh) * 2016-06-30 2021-02-05 江苏苏宁云计算有限公司 一种图像数据处理方法及装置
CN109478319A (zh) * 2016-07-11 2019-03-15 三菱电机株式会社 动态图像处理装置、动态图像处理方法及动态图像处理程序
CN110325983A (zh) * 2017-02-28 2019-10-11 株式会社日立制作所 图像检索装置和图像检索方法
CN113330431A (zh) * 2019-01-25 2021-08-31 株式会社东芝 事件管理装置、事件管理程序以及事件管理方法
CN112784083A (zh) * 2019-11-04 2021-05-11 阿里巴巴集团控股有限公司 类目预测模型、特征提取模型的获取方法及装置
CN113405494A (zh) * 2020-03-16 2021-09-17 卡尔蔡司工业测量技术有限公司 用于自动产生测试计划的计算机实施的方法
CN112800258A (zh) * 2021-03-11 2021-05-14 上海依图网络科技有限公司 图像检索方法、装置、电子设备及计算机可读存储介质
CN112800258B (zh) * 2021-03-11 2024-05-31 上海依图网络科技有限公司 图像检索方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
US11157550B2 (en) 2021-10-26
JP6190887B2 (ja) 2017-08-30
JPWO2015049732A1 (ja) 2017-03-09
US20160217158A1 (en) 2016-07-28
WO2015049732A1 (ja) 2015-04-09

Similar Documents

Publication Publication Date Title
CN105612513A (zh) 图像检索方法、图像检索***以及信息记录介质
CN106796578B (zh) 知识自动化***和方法以及存储器
JP6005837B2 (ja) 画像解析装置、画像解析システム、画像解析方法
US9934299B2 (en) Systems and methods for interest-driven data visualization systems utilizing visualization image data and trellised visualizations
CN111666313A (zh) 基于多源异构遥感数据关联构建及多用户数据匹配方法
KR101017016B1 (ko) 이미지 매칭에 기초한 상품 정보 제공 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
WO2015176525A1 (zh) 基于时间序列化的文档的标识、关联、搜索及展现的***
US20140149376A1 (en) System for collecting interest graph by relevance search incorporating image recognition system
CA2947036A1 (en) Natural language image search
WO2015060893A1 (en) Systems and methods for interest-driven data visualization systems utilizing visualization image data and trellised visualizations
CN111291191B (zh) 一种广电知识图谱构建方法及装置
CN108710628A (zh) 一种基于草图交互的面向多模态数据的可视分析方法和***
Vijayarani et al. Multimedia mining research-an overview
CN101739397A (zh) 基于mpeg-7的图像检索***
CN101211344A (zh) 文本信息遍历的快速四维可视化方法
Bayraktar et al. A hybrid image dataset toward bridging the gap between real and simulation environments for robotics: Annotated desktop objects real and synthetic images dataset: ADORESet
CN106537387B (zh) 检索/存储与事件相关联的图像
CN114329069A (zh) 视觉搜索查询的智能***和方法
CN117931810B (zh) 一种空间影像数据的结构化管理方法及***
CN117420998A (zh) 一种客户端ui交互组件生成方法、装置、终端及介质
US8666898B2 (en) Visual information retrieval system for applying self organizing maps/SOM using five distinct modules that merge the best maps
CN113076396A (zh) 一种面向人机协同的实体关系处理方法及***
Jain NSF workshop on visual information management systems: workshop report
Singh et al. Semantics Based Image Retrieval from Cyberspace-A Review Study.
US11687581B2 (en) Information extraction, enrichment, and caching framework for augmented reality applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160525

RJ01 Rejection of invention patent application after publication