CN102341824B - 图像数据库编辑方法、图像数据库编辑装置和图像检索方法 - Google Patents
图像数据库编辑方法、图像数据库编辑装置和图像检索方法 Download PDFInfo
- Publication number
- CN102341824B CN102341824B CN201080010386.4A CN201080010386A CN102341824B CN 102341824 B CN102341824 B CN 102341824B CN 201080010386 A CN201080010386 A CN 201080010386A CN 102341824 B CN102341824 B CN 102341824B
- Authority
- CN
- China
- Prior art keywords
- vector
- data base
- image data
- image
- bunch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 239000013598 vector Substances 0.000 claims abstract description 245
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 4
- 238000013139 quantization Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 13
- 238000012216 screening Methods 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 11
- 230000005484 gravity Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
一种图像数据库创建方法，包括：提取步骤，从将与用于物体识别的检索查询图像进行比较的参考图像提取参考特征向量，其中，参考特征向量与参考图像不同位置的局部特征相对应并将各局部特征的位置和特性表示为向量位置、向量长度和向量方向；聚类步骤，创建包含不同参考特征向量的多个簇以使得各参考向量属于多个簇中的任一；选择步骤，从各个簇的参考特征向量选择该簇的代表向量；以及将代表向量与参考图像相关联并相关联地登记入用于物体识别的图像数据库的步骤，其中，在聚类步骤中创建各个簇以使得在邻近向量位置的参考特征向量属于相同的簇，在选择步骤中对具有长向量长度的参考特征向量给予优先级以选择代表向量，以及通过从检索查询图像生成至少一个查询特征向量、并在查询特征向量和代表向量之间应用局部搜索来对检索查询图像和参考图像进行相互比较，并通过计算机来执行各上述步骤。
Description
技术领域
本发明涉及图像数据库编辑方法、图像数据库编辑程序和图像检索方法。更具体地，本发明涉及用于利用局部特征进行特定物体识别的图像数据库的编辑方法、用于使计算机执行该编辑方法的程序和利用该图像数据库的图像检索方法。
背景技术
特定物体识别是在其它图像的物体中确定与被拍摄为图像的物体相同的物体的处理。如这里所使用的，该处理还称为图像识别。例如，该处理可以用于检测部件的过量或不足、检测假冒品等、或者替代条形码处理，因而具有高实用性。这里，“被拍摄为图像的物体”意为图像中所包括的作为查询的样例(检索目标)，并且“在其它图像的物体中确定与被拍摄为图像的物体相同的物体的处理”还理解为从已预先登记多个图像的图像数据库中检索包括相同样例的图像的处理，即图像检索处理。
利用局部特征的方法被公知地作为特定物体识别方法之一。在利用局部特征的方法中，利用通过预定过程从图像提取出的局部特征来表示图像，并且将局部特征与从其它图像提取出的局部特征进行比较或匹配，从而进行辨认(识别)。例如，在SIFT(尺度不变特征变换)(例如见非专利文献1)和PCA-SIFT(主成分分析-SIFT)(例如见非专利文献2)中利用局部特征。将该局部特征表示为多维向量，因此，该局部特征也称为特征向量。上述方法具有以下优点：由于基于图像的局部特征提取多个特征向量，因而即使当包括在查询图像中的样例和/或包括在图像数据库所登记的图像中的样例存在遮挡或变化时，也能够以高精度进行识别。
与本发明相关的其它文献包括非专利文献3、4和5。稍后将说明本发明与各文献之间的具体关联。
引用列表
非专利文献
非专利文献1：D.G.Lowe，“Distinctiveimagefeaturesfromscale-invariantkeypoints”，InternalJournalofComputerVision，60，2，pp.91-110，2004。
非专利文献2：Y.Ke，andR.Sukthankar，“PCA-SIFT：Amoredistinctiverepresentationforlocalimagedescriptors”，Proc.CVPR’04，vol.2，pp.506-513，2004。
非专利文献3：Noguchi，Kise，andIwamura：“ExperimentalStudyofMemoryReductionforObjectRecognitionbasedonLocalDescriptors”，CollectionofpapersinMeetingonimagerecognitionandunderstanding(MIRU2008)，OS10-3，pp.251-258，2008。
非专利文献4：D.NisterandH.Stewenius，“ScalableRecognitionwithaVocabularyTree”，Proc.CVPR2006，pp.775-781，2006。
非专利文献5：S.Arya，D.Mount，R.SilvermanandA.Y.Wu，“Anoptimalalgorithmforapproximatenearestneighborsearching”，JournaloftheACM，vol.45，no.6，pp.891-923，1998。
发明内容
发明要解决的技术问题
如果图像具有VGA尺寸，则从一个图像提取出的局部特征的数量通常是约几千或者有时是几万。因此，在要识别的图像的尺寸或数量大的情况下，用于比较图像的局部特征所需的处理时间和用于存储局部特征所需的存储器量成为问题。
为了解决上述问题，已提出了减少用于存储各局部特征所需的存储器量的方案(见非专利文献3)。具体地，进行用以减少表示各特征向量的维数值的多值数据的位数的标量量化，以减少用于将各局部特征登记入图像数据库所需的存储器量，从而减少整个图像数据库所需的存储器量。该方法具有以下优点：通过预先调查各特征向量的维数值的分布，能够以相对容易的方式进行标量量化。同时，还提出了向量量化的概念。作为向量量化的方法之一，D.Nister等已提出了利用称为词汇树的树结构的方法(例如见非专利文献4)。然而，在该方法中，需要增加树结构的高度以维持高识别率。因此，存在这样的问题：不能期望存储器量减少的充分效果。
本发明正是考虑到上述背景而做出，并且本发明提供一种用于在利用从图像提取出的局部特征通过近邻搜索的方式进行物体识别的方法中减少用于物体识别的图像数据库所需的存储器量而不大幅降低物体识别的识别率的方法；以及提供用于使计算机执行该方法的程序。另外，本发明提供用于利用基于上述方法所编辑的图像数据库来检索图像的方法。
技术方案
本发明提供了一种图像数据库编辑方法，用于编辑用以存储要与查询图像进行比较的参考图像的图像数据库，并且所述图像数据库用于物体识别，所述图像数据库编辑方法包括：提取步骤，用于从要存储在所述图像数据库中的参考图像提取表示不同位置的局部特征的多个参考特征向量，其中，各所述参考特征向量具有向量长度和向量方向；聚类步骤，用于形成各自包括不同的特征向量的多个簇；选择步骤，用于从各所述簇选择特征向量作为各所述簇的代表向量；以及存储步骤，用于将所述代表向量与所述参考图像相关联地存储在所述图像数据库中，其中：所述聚类步骤形成各所述簇以使得表示所述参考图像上位置靠近的局部特征的参考特征向量属于相同的簇；所述选择步骤对具有长向量长度的任一参考特征向量给予优先级，以选择所述代表向量；通过以与提取所述参考特征向量相同的方式从所述查询图像生成至少一个查询特征向量、并且在所述查询特征向量和所述代表向量之间采取近邻搜索来进行所述比较；以及通过计算机来执行各上述步骤。
在其它方面，本发明提供了一种图像数据库编辑程序，用于使计算机执行对图像数据库的编辑，所述图像数据库存储要与查询图像进行比较的参考图像并且用于物体识别，所述图像数据库编辑程序包括：提取步骤，用于从要存储在所述图像数据库中的参考图像提取表示不同位置的局部特征的多个参考特征向量，其中，各所述参考特征向量具有向量长度和向量方向；聚类步骤，用于形成各自包括不同的特征向量的多个簇；选择步骤，用于从各所述簇选择特征向量作为各所述簇的代表向量；以及存储步骤，用于将所述代表向量与所述参考图像相关联地存储在所述图像数据库中，其中：所述聚类步骤形成各所述簇以使得表示所述参考图像上位置靠近的局部特征的参考特征向量属于相同的簇；所述选择步骤对具有长向量长度的任一参考特征向量给予优先级，以选择所述代表向量；以及通过以与提取所述参考特征向量相同的方式从所述查询图像生成至少一个查询特征向量、并且在所述查询特征向量和所述代表向量之间采取近邻搜索来进行所述比较。
另外，作为与上述图像数据库编辑方法相关联的方法，本发明提供了一种图像检索方法，用于从图像数据库中检索与查询图像相对应的特定的参考图像，所述图像数据库预先存储有要与所述查询图像进行比较的多个参考图像，并且所述图像数据库用于图像检索，各所述参考图像与从各所述参考图像提取出的代表向量相关联地存储，所述图像检索方法包括：提取步骤，用于提取表示所述查询图像的局部特征并且具有向量长度和向量方向的至少一个查询特征向量；比较步骤，用于通过在所述查询特征向量和与各所述参考图像相关的所述代表向量之间采取近邻搜索，来比较所述查询特征向量和所述代表向量，其中：经由如下的过程来获得所述代表向量，该过程包括：以与提取所述查询特征向量相同的方式从各所述参考图像提取多个参考特征向量；形成各自包括所述参考特征向量的多个簇，以使得表示各所述参考图像上位置靠近的局部特征的参考特征向量属于相同的簇；从各所述簇选择所述代表向量，其中，通过对具有长向量长度的任一参考特征向量给予优先级来选择所述代表向量；以及通过计算机来执行各上述步骤。
注意，从查询图像生成查询特征向量的过程与提取参考特征向量的过程相同。
发明的效果
在根据本发明的编辑图像数据库的方法中，形成各个簇以使得表示参考图像上位置靠近的局部特征的参考特征向量属于同一簇；对具有长向量长度的任一参考特征向量给予优先级，以从各个簇选择预定数量的代表向量；并且在代表向量和查询特征向量之间进行比较。因此，与不选择代表向量的情况相比，可以节省用于将特征向量登记入图像数据库所需的存储器量。另外，登记从各个簇选择的代表向量，即以在图像的整个区域上大致均匀的方式进行登记，而不仅从图像的部分区域取特征向量。因此，即使当图像中包括的样例不均匀或者在拍摄图像时存在由几何变换引起的失真的情况下，也可以进行鲁棒的识别。
根据本发明的图像数据库编辑程序与上述的图像数据库编辑方法具有相同的优点。
附图说明
图1是用于说明作为近似最近邻搜索的已知方法的ANN的概念的图。在本发明的实施例中采用ANN作为近似最近邻搜索的方法。
图2(a)～2(c)示出在本发明的实验中在图像数据库中所登记的图像的例子。图2(a)示出通过利用谷歌图片搜索所收集的图像的例子。图2(b)示出在PCA-SIFT的Web站点上发表的图像的例子。图2(c)示出在作为照片分享网站的“flickr”上所收集的图像的例子。
图3(a)～3(d)示出在本发明的实验中用作查询图像的图像示例。图3(a)、3(b)和3(c)分别示出通过以90°、75°和60°的拍摄角度拍摄样例的照片所获得的图像。图3(d)示出通过拍摄样例的照片的一部分所获得的图像的例子。
图4是示出本发明的实验的结果的图。该图示出对图3(a)～3(d)所示的查询图像的识别率以及识别率的平均识别率。
具体实施方式
以下将说明本发明的优选实施例。
聚类步骤可以形成预定数量的簇。即使当样例在图像中分布不均匀或拍摄图像时存在由几何变换引起的失真时，如果代表向量在图像的整个区域上以大致均匀的方式分布，则也可以进行鲁棒的识别。要生成的簇的数量越大，代表向量分布得越均匀。如果预先例如通过实验确定使得识别足够鲁棒的簇的数量，并且如果聚类步骤形成该预定数量的簇，则可以进行足够鲁棒的识别。
此外，选择步骤可以从每个簇确定一个代表向量。
另外，聚类步骤可以利用k-均值聚类来形成簇。因而，可以通过k-均值聚类对特征向量聚类以使得代表向量在图像的整个区域上均匀分布。
可以将上述的优选模式彼此结合。
以下将参考附图更详细地说明本发明。注意，以下描述在所有方面是说明性的。以下描述不应当理解为对本发明的限制。
本发明的特征方面是从对局部特征进行筛选的视角来考虑减少用于图像识别的图像数据库的存储器量，并且提供用于实现该减少的方法。更具体地，考虑到特征向量的向量长度(尺度)和图像空间中特征向量分布的均匀性，对局部特征进行筛选。
根据以下实施例和实验，即使所使用的图像数据库的存储器量减少到不筛选局部特征的情况下所使用的图像数据库的存储器量的约10％，也获得了98％的识别率。以此方式，证实了本发明的有效性。
这里，在说明根据本发明的用于减少存储器量的方法之前，将先说明在特定物体识别中进行的利用标量量化的传统存储器量减少方法和相应的图像识别处理。利用标量量化的传统存储器量减少方法通过与本发明的方法不同的方案来减少图像数据库的存储器量。传统存储器量减少方法可以与本发明的方法结合，并且它们的结合是有效的。
利用标量量化的存储器量减少方法
非专利文献3提出了利用标量量化以减少特定物体识别所需的存储器量的方案。在此方案中，表示各局部特征的特征向量的各维度可以取的值限于离散值，以实现存储器量的减少。即，各个维度的值限于具有预定位长度的值。尽管在图像数据库中登记的局部特征的数量不变，但用于存储各局部特征所需的存储器量减少。因此，图像数据库所需的整个存储器量减少。
特征向量的提取
在本实施例中，通过使用PCA-SIFT从参考图像和查询图像提取局部特征(特征向量)。
非专利文献3记载了即使用2位表示利用PCA-SIFT所获得的特征向量的各维度，图像识别中的识别率也几乎不变。如果将通过利用PCA-SIFT所提取的特征向量的各维度的值表示为短型整数，则用16位表示该值。因此，如果经由标量量化将特征向量的各维度减少为2位，则一个特征向量所需的存储器量成为原存储器量的约1/8。尽管图像数据库的存储器量还包括在用于存储各特征向量的存储器量之外所需的存储器量，但非专利文献3记载了即使考虑到这样的存储器量、也可以将图像数据库的存储器量减少到原存储器量的约1/3。
查询特征向量与参考特征向量之间的比较
通过将查询特征向量和参考特征向量彼此比较来进行图像提取。在比较处理中，计算从查询图像所提取的各查询特征向量与在图像数据库中登记的各参考特征向量之间的距离，并且确定作为查询特征向量的近邻的参考特征向量。然后，获得与所确定的参考特征向量相关联的图像ID。
作为识别结果的参考图像的确定
基于比较的结果进行确定图像识别结果的处理。在此处理中，投票给在比较处理中所获得的与查询特征向量相对应的图像ID，然后将得票最多的图像ID所表示的参考图像确定为识别结果。
作为标量量化的结果，距离计算的精度劣化。尽管距离计算的精度劣化但识别率几乎不变的原因之一是在投票中根据少数服从多数规则(ruleofmajority)去除了错误的图像ID。
利用局部特征筛选的存储器量减少方法
本发明人关注于特征向量的筛选，作为通过与利用标量量化的上述方法不同的方案来减少图像数据库的存储器量的方法。
筛选的方针
在通过筛选参考局部特征来减少存储器量的方法中，也利用PCA-SIFT提取局部特征。
从参考图像所提取的局部特征的数量根据参考图像的内容而不同。在利用未进行局部特征筛选而处于无减少状态的图像数据库的情况下，将从图像提取的所有局部特征登记入图像数据库。因此，要登记的局部特征的数量在参考图像之间差异大。如果参考图像包括大量的局部特征，则有时从参考图像的特定部分提取了大量的相似局部特征。不必将所有相似局部特征登记入图像数据库。这是因为由于相似性、这些相似局部特征对识别率的提高将不会有很大贡献。因此，对每一个图像，将要登记入图像数据库的局部特征的最大数量限制为R，从而防止用于存储参考特征向量所需的存储器量增加。如果所提取的参考特征向量的数量不超过R，则将所有提取出的局部特征登记入图像数据库。如果所提取的参考特征向量的数量超过R，则基于以下思想来选择要登记的局部特征。
聚类
在本发明中，优选选择对拍摄角度的变化具有相对鲁棒的抵抗性的长向量长度的特征向量并且将其登记入图像数据库。整个检索对象包括在要作为识别结果的参考图像和相应的查询图像中的可能性不低。然而，如果长向量长度的特征向量主要包括在参考图像或查询图像的部分区域中，则包括在除这些部分区域以外的区域中的特征向量成为噪声，并且作为结果，变得难以检索与查询图像相对应的参考图像。为了应对检索对象图像中的这种不均匀呈现，针对在已提取了参考特征向量的参考图像中表示参考特征向量的位置的坐标值，进行最大聚类数量为R的k-均值聚类。
选择代表向量和登记入图像数据库
接着，优选从通过k-均值聚类所获得的各个簇包括的参考特征向量中选择具有最大向量长度的参考特征向量。将所选择的特征向量登记入图像数据库。即，仅将代表各个簇的代表向量登记入图像数据库。
经由上述过程，以大致均匀的方式从参考图像选择参考特征向量，而没有不均匀地选择参考特征向量。因此，即使参考图像中仅包括要提取的物体的一部分，识别出该物体的可能性也可以提高。
在比较中使用的近似最近邻搜索的方法
ANN(近似最近邻搜索)(例如见非专利文献5)可以用于查询特征向量和参考特征向量(或代表向量)之间的比较。ANN是通过利用树结构以高速进行近似最近邻搜索的方法。尽管由于近似而降低了向量比较的精度，但可以减少检索所用的处理时间。
图1示出根据ANN的近似最近邻搜索的概念。注意，出于简化的目的，仅示出与说明有关的单元。将参考特征向量登记入图像数据库，以使参考特征向量划分为多个单元并且形成树结构。这里，q表示查询图像的查询特征向量，并且p1～p6表示参考特征向量。另外，假定当前已发现作为近邻向量的p1。r是查询特征向量q和参考特征向量p1之间的距离。在执行最近邻搜索的情况下，由于在这些单元中可能存在作为比p1更近的相邻向量的参考特征向量、即可能存在到q的距离小于r的参考特征向量，因而通过用实线表示的超球所重叠的单元是检索的对象。另一方面，在执行近似最近邻搜索的情况下，设置通过对作为到p1的距离的距离r应用容许误差ε所定义的超球，并且仅通过所设置的超球而重叠的单元是检索的对象。
表达式1
r/(1+ε)
在此情况下，尽管可能不能发现作为最近邻的参考特征向量(图1中的p3)，但要检索的单元的数量减少，从而减少了检索时间。
在本发明的方法中，由于局部特征的减少，因此有可能不存在与查询特征向量相对应的最近邻参考特征向量(要作为答案的参考特征向量)。因此，仅当作为ANN的比较结果彼此关联的查询特征向量和参考特征向量之间的距离d小于预定阈值t时，给相应的图像投票。
实验
参考图像和图像数据库
进行了用于证实筛选局部特征的有效性的实验。在实验中使用登记有100,000个参考图像的图像数据库。100,000个参考图像的图像数据库包括三个数据集A、B和C。数据集A包括通过利用谷歌图片搜索收集的3100个图像。在图像收集中使用的搜索关键词包括“海报”、“杂志”和“封面”等。数据集B包括在PCA-SIFT站点上发表的18,500个图像。数据集C包括通过利用“动物”、“生日”、“食物”和“日本”等标签在作为照片分享站点的“flickr”上收集的78,400个图像。数据集C主要包括物体、自然和人物等的照片。
图2示出经由上述过程所收集的参考图像的例子。
注意，在收集参考图像时，排除了尺寸等于或小于600×600像素的图像，并且减小参考图像的尺寸以使得参考图像的纵向侧等于或小于640像素。参考图像的尺寸几乎等于VGA尺寸。
然后，通过利用(http://www.cs.cmu.edu/yke/pcasift/上提供的)PCA-SIFT从参考图像提取局部特征。所提取的局部特征的总数量是1.82×108。从作为上述图像数据库的子集的10,000个参考图像的数据库中提取的局部特征的总数量是2.07×107。
然后，出于比较的目的，将根据非专利文献4的利用向量量化的传统存储器量减少方法、以及根据本发明的利用局部特征筛选的存储器量减少方法分别应用至图像数据库，从而编辑共四个图像数据库。
利用向量量化的存储器量减少方法
这里，将简要说明利用向量量化的传统存储器量减少方法。
在向量量化中，对分布在特征空间的特定区域中的特征向量分组。因此，需要定义一些用于对特征向量分组的方法。在本说明书中，如下对特征向量分组。首先，通过利用用于生成kd-树的标准kd-树分离规则来分割特征空间。在此方法中，选择特征空间中表示最大方差的维度，并且在分布在所选择的维度上的点的坐标的中值处分割特征空间。设置要包括在分割后的各特征空间中的特征向量的最大数量(桶大小)b。分割特征空间直到在分割后的各特征空间中所包括的特征向量的数量等于或小于b为止。然后，计算分布在分割后的各特征空间中的特征向量的重心，并且用重心向量来替换分割后的特征空间中的特征向量。将重心向量登记入数据库，并且将已被替换的特征向量所附带的图像ID附加至各重心向量，从而进行向量量化。
重心向量与向量量化中的码字相对应，并且重心向量经常称为视觉词(visualword)。
实验参数
用于通过利用向量量化的方法编辑图像数据库的参数b的值是1、2、3、5、10和20。
另一方面，借助筛选局部特征的存储器量减少方法来编辑图像数据库所使用的参数R的值是300、200、100、75和50。表1示出与各R值相对应的、在100,000个参考图像的图像数据库中所登记的局部特征的数量。
表1
数据库中登记的局部特征的数量(筛选)
| R | 局部特征数量 | 未减少比率[％] |
| 50 | 4.99×106 | 2.7 |
| 75 | 7.49×106 | 4.1 |
| 100 | 9.98×106 | 5.5 |
| 200 | 1.98×107 | 10.9 |
| 300 | 2.94×107 | 16.1 |
查询图像
以随机方式从数据集A、B和C分别选择100个参考图像、200个参考图像和200个参考图像，即共500个图像，以获得检索对象。因此，在图像数据库中一定包括要被识别为检索对象的参考图像。然后，在A4纸上打印这些检索对象，并且通过照相机拍摄由此得到的纸张。
图3示出所拍摄图像的例子。如图3所示，包括检索对象的各纸张被放置为使得可以拍摄到整个纸张，然后在照相机的光轴相对于纸张的角度θ设置为90°、75°和60°的情况下拍摄纸张以获得所拍摄图像。另外，在角度θ为90°时拍摄纸张的一部分。
结果，对每一个检索对象获得四个拍摄图像。另外，将所拍摄图像的尺寸减小到512×341像素的尺寸以获得查询图像，并且通过PCA-SIFT获得特征向量。结果，对每一个查询图像平均获得612个查询特征向量。
阈值t的确定
首先，进行实验来检查要被设置为利用ANN进行比较所用的距离的阈值t的适当值。具体地，针对各编辑后的图像数据库，检查识别率如何根据变化的t值而变化。表2示出将R设置在50时所获得的实验结果，其中，R是在各图像数据库中每一个参考图像所提取出的局部特征的最大数量。从表2所示的结果发现大约在阈值t设置为3873和3162时识别率高。当R值变化时，大体上，大约还在阈值t设置为3873和3162时识别率高。考虑到上述结果，在以下实验中将阈值t设置在3873。
表2
t值变化时的识别率(R＝50)
筛选特征的有效性
然后，比较以下的(A)、(B)、(C)和(D)四个方法。在方法(A)中，进行k-均值聚类，并且从各个簇选择具有长向量长度的特征向量。在方法(B)中，在图像空间中对各图像进行k-均值聚类，并且从各簇以随机方式选择局部特征。在方法(C)中，从各图像选择某些具有最大向量长度的特征向量。在方法(D)中，以随机方式从各图像中选择局部特征。
在以上四个方法中，通过利用相同的R值来编辑图像数据库，并且相互比较识别率。将距离的阈值t设置在3873。图4示出将R设置在50时所获得的结果。
在图4中，纵轴上的值表示识别率。横轴上，在左端的“平均”表示在以下四个条件下所获得的所有识别率的平均识别率。“60°”表示对以拍摄角度60°所拍摄的查询图像的平均识别率。“75°”表示以拍摄角度75°拍摄的平均识别率。“90°”表示以拍摄角度90°拍摄的平均识别率，并且“部分”表示对通过拍摄纸张的一部分所获得的查询图像的平均识别率。如图4所示，在拍摄整个纸张的情况下，方法(A)具有最高的识别率。
在图4中的方法(A)和(C)之间的比较中，在要识别包括整个特定平面物体的图像的情况下，可以认为利用对拍摄角度的变化具有鲁棒抵抗性的具有长向量长度的特征向量是有利的。
然而，在如方法(C)中那样仅登记具有长向量长度的特征向量的情况下，如果使用仅包括检索对象的一部分的查询图像，则识别率显著降低。该降低的可能原因之一是具有长向量长度的特征向量主要存在于查询图像的拍摄范围之外，并由此使得不能成功地比较查询特征向量和参考向量。
另一方面，在如方法(A)中那样利用k-均值聚类并且从图像的各部分均匀地选择局部特征的情况下，很大程度上保持了识别率。因此，可以认为均匀地从图像选择具有长向量长度的特征向量是重要的。
表3示出当R值变化时在方法(A)中获得的识别率。∞表示不限制要登记入图像数据库的局部特征的最大数量的情况。
表3
R值变化时的识别率(t＝3873)
如表3所示，即使在图像数据库的存储器量减少到原存储器量的约10％的情况下，也实现了98％以上的识别率。随着R值减小，包括纸张的一部分的查询图像开始减少，并且减少的程度逐渐变大。这被认为是因为选择了具有长向量长度的特征向量。
如以上实验所示，如果考虑到特征向量的向量长度和图像空间中特征向量的分布的均匀性来进行局部特征的筛选，则即使在利用大小为未减少状态的图像数据库的约1/10的图像数据库的情况下，也获得了98％的识别率，从而证实了本发明的存储器量减少方法的有效性。
除上述实施例之外，还可以实现本发明的各种变形。这些变形不应当认为是在本发明的范围以外。本发明应当包括在权利要求及其等同的范围内以及在上述范围内的所有变形。
工业实用性
当要利用通过SIFT(尺度不变特征变换)等所获得的局部特征对包括数万个图像或数十万个图像的大规模图像数据库进行特定物体识别时，本发明对编辑该图像数据库非常有效。
在使用大规模图像数据库进行特定物体识别的情况下，要存储在图像数据库中的局部特征(特征向量)的数量大。因此，出现了需要减少存储器量的问题。根据本发明，通过利用筛选局部特征的改进方法，可以节省用于图像数据库中存储局部特征所需的存储器量。
附图标记的说明
p1，p2，p3，p4，p5，p6图像数据库中所包括的图像的特征向量
q查询的特征向量
r向量p1和q之间的距离，即半径
Claims (7)
1.一种图像数据库编辑方法，用于编辑用以存储要与查询图像进行比较的参考图像的图像数据库，并且所述图像数据库用于特定物体识别，所述图像数据库编辑方法包括：
提取步骤，用于从要存储在所述图像数据库中的参考图像提取表示不同位置的局部特征的多个参考特征向量，其中，各所述参考特征向量具有向量长度和向量方向；
聚类步骤，用于在图像空间中形成各自包括不同的特征向量的多个簇；
选择步骤，用于从各所述簇选择特征向量作为各所述簇的代表向量；以及
存储步骤，用于将所述代表向量与所述参考图像相关联地存储在用于特定物体识别的所述图像数据库中，其中：
所述聚类步骤形成各所述簇以使得表示所述参考图像内位置靠近的局部特征的参考特征向量属于相同的簇；
所述选择步骤对具有长向量长度的任一参考特征向量给予优先级，以选择所述代表向量；
通过以与提取所述参考特征向量相同的方式从所述查询图像生成多个查询特征向量、并且在各所述查询特征向量和各所述簇的所述代表向量之间采取近邻搜索来进行所述比较；以及
通过计算机来执行各上述步骤。
2.根据权利要求1所述的图像数据库编辑方法，其特征在于：
所述聚类步骤形成预定数量的簇。
3.根据权利要求1或2所述的图像数据库编辑方法，其特征在于：
所述选择步骤从每个所述簇确定一个代表向量。
4.根据权利要求1或2所述的图像数据库编辑方法，其特征在于：
所述聚类步骤利用k-均值聚类来形成所述簇。
5.根据权利要求3所述的图像数据库编辑方法，其特征在于：
所述聚类步骤利用k-均值聚类来形成所述簇。
6.一种图像检索方法，用于从图像数据库中检索与查询图像相对应的特定参考图像，所述图像数据库预先存储有要与所述查询图像进行比较的多个参考图像，并且所述图像数据库用于特定物体识别的图像检索，各所述参考图像与从各所述参考图像提取出的代表向量相关联地存储，所述图像检索方法包括：
提取步骤，用于提取各自表示所述查询图像的局部特征并且具有向量长度和向量方向的多个查询特征向量；
比较步骤，用于通过在各所述查询特征向量和与各所述参考图像相关的各所述代表向量之间采取近邻搜索，来比较各所述查询特征向量和各所述代表向量，其中：
经由如下的过程来获得各所述代表向量，该过程包括：以与提取所述查询特征向量相同的方式从各所述参考图像提取多个参考特征向量；在图像空间中形成各自包括所述参考特征向量的多个簇，以使得表示所述参考图像内位置靠近的局部特征的参考特征向量属于相同的簇；从各所述簇选择各所述代表向量，其中，通过对具有长向量长度的任一参考特征向量给予优先级来选择所述代表向量；以及
通过计算机来执行各上述步骤。
7.一种图像数据库编辑装置，用于编辑用以存储要与查询图像进行比较的参考图像的图像数据库，并且所述图像数据库用于特定物体识别，所述图像数据库编辑装置包括：
提取部件，用于从要存储在所述图像数据库中的参考图像提取表示不同位置的局部特征的多个参考特征向量，其中，各所述参考特征向量具有向量长度和向量方向；
聚类部件，用于在图像空间中形成各自包括不同的特征向量的多个簇；
选择部件，用于从各所述簇选择特征向量作为各所述簇的代表向量；
存储部件，用于将所述代表向量与所述参考图像相关联地存储在用于特定物体识别的所述图像数据库中，
生成部件，通过以与提取所述参考特征向量相同的方式从所述查询图像生成多个查询特征向量；以及
比较部件，用于在各所述查询特征向量和各所述簇的所述代表向量之间采取近邻搜索来进行所述比较，其中：
所述聚类部件形成各所述簇以使得表示所述参考图像内位置靠近的局部特征的参考特征向量属于相同的簇；
所述选择部件对具有长向量长度的任一参考特征向量给予优先级，以选择所述代表向量。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009-050637 | 2009-03-04 | ||
| JP2009050637 | 2009-03-04 | ||
| PCT/JP2010/053448 WO2010101187A1 (ja) | 2009-03-04 | 2010-03-03 | 画像データベースの作成方法、作成プログラム及び画像検索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102341824A CN102341824A (zh) | 2012-02-01 |
| CN102341824B true CN102341824B (zh) | 2016-05-18 |
Family
ID=42709742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201080010386.4A Expired - Fee Related CN102341824B (zh) | 2009-03-04 | 2010-03-03 | 图像数据库编辑方法、图像数据库编辑装置和图像检索方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8649614B2 (zh) |
| EP (1) | EP2405392B1 (zh) |
| JP (1) | JP5527555B2 (zh) |
| CN (1) | CN102341824B (zh) |
| HK (1) | HK1165067A1 (zh) |
| WO (1) | WO2010101187A1 (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5430636B2 (ja) * | 2011-11-15 | 2014-03-05 | ヤフー株式会社 | データ取得装置、方法及びプログラム |
| CN103136228A (zh) | 2011-11-25 | 2013-06-05 | 阿里巴巴集团控股有限公司 | 一种图片搜索方法以及图片搜索装置 |
| US9734262B2 (en) * | 2012-09-05 | 2017-08-15 | Patrick DeLeFevre | Method and system for understanding text |
| CN103324677B (zh) * | 2013-05-24 | 2017-02-01 | 西安交通大学 | 一种可分级的快速图像gps位置估计方法 |
| GB2516037A (en) * | 2013-07-08 | 2015-01-14 | Univ Surrey | Compact and robust signature for large scale visual search, retrieval and classification |
| WO2016043609A1 (en) * | 2014-09-18 | 2016-03-24 | Empire Technology Development Llc | Three-dimensional latent semantic analysis |
| CN105069457B (zh) * | 2015-07-15 | 2020-02-11 | 杭州易现先进科技有限公司 | 图像识别方法和装置 |
| CN106933867B (zh) * | 2015-12-30 | 2020-02-21 | 杭州华为企业通信技术有限公司 | 一种图像查询方法和装置 |
| CN105718858B (zh) * | 2016-01-13 | 2019-01-11 | 合肥工业大学 | 一种基于正负广义最大池化的行人识别方法 |
| CN105718531B (zh) * | 2016-01-14 | 2019-12-17 | 广州市万联信息科技有限公司 | 图像数据库的建立方法及图像识别方法 |
| US10489712B2 (en) * | 2016-02-26 | 2019-11-26 | Oath Inc. | Quality-based scoring and inhibiting of user-generated content |
| US10503775B1 (en) * | 2016-12-28 | 2019-12-10 | Shutterstock, Inc. | Composition aware image querying |
| US10437878B2 (en) * | 2016-12-28 | 2019-10-08 | Shutterstock, Inc. | Identification of a salient portion of an image |
| US11042586B2 (en) | 2016-12-29 | 2021-06-22 | Shutterstock, Inc. | Clustering search results based on image composition |
| US10248663B1 (en) * | 2017-03-03 | 2019-04-02 | Descartes Labs, Inc. | Geo-visual search |
| CN108536769B (zh) * | 2018-03-22 | 2023-01-03 | 深圳市安软慧视科技有限公司 | 图像分析方法、搜索方法及装置、计算机装置及存储介质 |
| CN111177190B (zh) * | 2018-11-13 | 2023-05-30 | 杭州海康威视数字技术股份有限公司 | 数据处理方法、装置、电子设备及可读存储介质 |
| JP7416400B2 (ja) * | 2019-10-18 | 2024-01-17 | 国立研究開発法人産業技術総合研究所 | 識別補助データ生成技術及び識別情報抽出技術 |
| US11270155B2 (en) * | 2019-11-26 | 2022-03-08 | Dash Hudson | Duplicate image detection based on image content |
| CN113159039A (zh) * | 2021-02-09 | 2021-07-23 | 北京市商汤科技开发有限公司 | 图像识别方法及装置、电子设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1613090A (zh) * | 2002-03-29 | 2005-05-04 | 日本电气株式会社 | 脸部元数据的生成 |
| CN1977286A (zh) * | 2004-06-28 | 2007-06-06 | 佳能株式会社 | 对象识别方法及其设备 |
| CN101281537A (zh) * | 2007-04-04 | 2008-10-08 | 佳能株式会社 | 图像处理设备和图像处理方法 |
| CN101308567A (zh) * | 2008-06-21 | 2008-11-19 | 华中科技大学 | 一种基于内容的鲁棒图像拷贝检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6100901A (en) * | 1998-06-22 | 2000-08-08 | International Business Machines Corporation | Method and apparatus for cluster exploration and visualization |
| US7596618B2 (en) * | 2004-12-07 | 2009-09-29 | Hewlett-Packard Development Company, L.P. | Splitting a workload of a node |
| US8046363B2 (en) * | 2006-04-13 | 2011-10-25 | Lg Electronics Inc. | System and method for clustering documents |
-
2010
- 2010-03-03 CN CN201080010386.4A patent/CN102341824B/zh not_active Expired - Fee Related
- 2010-03-03 US US13/254,347 patent/US8649614B2/en active Active
- 2010-03-03 JP JP2011502784A patent/JP5527555B2/ja not_active Expired - Fee Related
- 2010-03-03 WO PCT/JP2010/053448 patent/WO2010101187A1/ja active Application Filing
- 2010-03-03 EP EP10748781.1A patent/EP2405392B1/en not_active Not-in-force
-
2012
- 2012-06-07 HK HK12105552.5A patent/HK1165067A1/zh not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1613090A (zh) * | 2002-03-29 | 2005-05-04 | 日本电气株式会社 | 脸部元数据的生成 |
| CN1977286A (zh) * | 2004-06-28 | 2007-06-06 | 佳能株式会社 | 对象识别方法及其设备 |
| CN101281537A (zh) * | 2007-04-04 | 2008-10-08 | 佳能株式会社 | 图像处理设备和图像处理方法 |
| CN101308567A (zh) * | 2008-06-21 | 2008-11-19 | 华中科技大学 | 一种基于内容的鲁棒图像拷贝检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 谱聚类在图像检索中的应用;王春雪，等。;《计算机技术与发展》;20090131;第19卷(第1期);第207-210页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2405392B1 (en) | 2015-08-05 |
| HK1165067A1 (zh) | 2012-09-28 |
| US8649614B2 (en) | 2014-02-11 |
| JPWO2010101187A1 (ja) | 2012-09-10 |
| EP2405392A4 (en) | 2014-09-10 |
| US20110317923A1 (en) | 2011-12-29 |
| EP2405392A1 (en) | 2012-01-11 |
| WO2010101187A1 (ja) | 2010-09-10 |
| CN102341824A (zh) | 2012-02-01 |
| JP5527555B2 (ja) | 2014-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102341824B (zh) | 图像数据库编辑方法、图像数据库编辑装置和图像检索方法 | |
| JP4883649B2 (ja) | 画像認識方法、画像認識装置および画像認識プログラム | |
| JP5180156B2 (ja) | 局所化された２次元の視覚的指紋を使用してイメージコレクション内のピクチャイメージを見つけるシステムおよび方法 | |
| CN102016910B (zh) | 三维物体识别用图像数据库的制作方法、处理装置以及处理方法 | |
| CN106462728B (zh) | 用于基于图像特征的识别的***和方法 | |
| US8750624B2 (en) | Detection of duplicate document content using two-dimensional visual fingerprinting | |
| Girod et al. | Mobile visual search: Architectures, technologies, and the emerging MPEG standard | |
| CN102156751B (zh) | 一种提取视频指纹的方法及装置 | |
| TWI506459B (zh) | 基於內容之圖像搜尋 | |
| CN101133429B (zh) | 文档和/或图像检索方法、文档和/或图像存储设备和检索设备 | |
| KR101247891B1 (ko) | 물체 인식용 화상 데이터베이스의 작성 방법, 처리 장치 및 처리용 프로그램 | |
| US20110205399A1 (en) | Arranging Images Into Pages Using Content-based Filtering And Theme-based Clustering | |
| JP5354507B2 (ja) | 物体認識用画像データベースの作成方法、作成装置および作成処理プログラム | |
| JP6211407B2 (ja) | 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム | |
| CN110019891B (zh) | 图像存储方法、图像检索方法及装置 | |
| US20140012831A1 (en) | Tile content-based image search | |
| Weyand et al. | An evaluation of two automatic landmark building discovery algorithms for city reconstruction | |
| JP4958228B2 (ja) | 文書および／または画像のデータベースへの登録方法およびその検索方法 | |
| Chen et al. | Mobile visual search from dynamic image databases | |
| do Valle Jr | Local-descriptor matching for image identification systems | |
| CN114780780A (zh) | 图像检索方法、装置、电子设备及存储介质 | |
| Harjono et al. | Object instance recognition using best increasing subsequence | |
| Jun et al. | Iriw: Image retrieval based image watermarking for large-scale image databases | |
| CN114454181A (zh) | 一种汽车配件的精确查找方法及*** | |
| CN116894008A (zh) | 基于图片分类的相册清理方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1165067 Country of ref document: HK |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20150930 Address after: Tokyo, Japan, Japan Applicant after: Olympus Corporation Address before: Osaka Japan Applicant before: Osaka Prefecture University Public Corporation Applicant before: Olympus Corporation |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1165067 Country of ref document: HK |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160518 Termination date: 20210303 |