CN109074643B - 图像中的基于方位的对象匹配 - Google Patents
图像中的基于方位的对象匹配 Download PDFInfo
- Publication number
- CN109074643B CN109074643B CN201780008560.3A CN201780008560A CN109074643B CN 109074643 B CN109074643 B CN 109074643B CN 201780008560 A CN201780008560 A CN 201780008560A CN 109074643 B CN109074643 B CN 109074643B
- Authority
- CN
- China
- Prior art keywords
- orientation
- feature
- weights
- image
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 description 26
- 238000000605 extraction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种用于图像中的对象匹配的***和方法包括检测目标图像中的第一对象的第一方位；将所述第一方位与源图像中的第二对象的第二方位进行比较，得到至少一个方位参数；从所述目标图像中提取至少一个特征；利用所述特征计算所述目标图像和所述源图像之间的视觉相似性分值，根据所述至少一个特征和所述至少一个方位特征计算所述视觉相似性分值；以及根据所述视觉相似性分值来确定所述第一对象和所述第二对象之间的匹配项。
Description
交叉申请
本申请要求2016年1月26日递交的发明名称为“图像中的基于方位的对象匹配(Orientation-Based Subject-Matching in Images)”的第15/006,558号美国专利申请案的在先申请优先权，该在先申请的全部内容以引用的方式并入本文本中。
技术领域
本文描述的实施例一般涉及图像分析领域，更具体地，涉及图像分析中的对象匹配。
背景技术
图像中的对象匹配是一个判断不同图像中的个体是否为同一个人的过程。这种匹配基于每个图像中的个体的视觉相似性以及拍摄图像的时间或者位置的任意信息。一般来说，将目标图像中描绘的个体，有时取自视频序列，与可能的匹配图像的源图像或者训练集进行比较，以找到最相似的匹配项。
可以使用视觉信息，也称为视觉特征，进行比较。例如，将在目标序列图像的横条纹上收集的颜色特征与源序列图像的相同横条纹上的颜色特征进行比较。这类特征对于对象的方位变化较有鲁棒性，这是因为对象的颜色通常在横轴上是相当恒定的。
但是，为了让可能情况更广泛，需要提高对象匹配的准确性。
发明内容
根据一方面，一种用于图像中的对象匹配的方法包括：检测目标图像中的第一对象的第一方位；将所述第一方位与源图像中的第二对象的第二方位进行比较，得到至少一个方位参数；从所述目标图像中提取至少一个特征；利用所述多个特征计算所述目标图像和所述源图像之间的视觉相似性分值，根据所述至少一个特征和所述至少一个方位特征计算所述视觉相似性分值；以及根据所述视觉相似性分值来确定所述第一对象和所述第二对象之间的匹配项。
根据另一方面，一种***包括：存储器，其中存储有包括用于图像中的对象匹配的至少一个指令序列的程序；以及至少一个处理器，耦合于所述存储器。所述处理器用于执行所述至少一个指令序列，以执行以下操作：检测目标图像中的第一对象的第一方位；将所述第一方位与源图像中的第二对象的第二方位进行比较，得到至少一个方位参数；从所述目标图像中提取至少一个特征；利用所述多个特征计算所述目标图像和所述源图像之间的视觉相似性分值，根据所述至少一个特征和所述至少一个方位特征计算所述视觉相似性分值；以及根据所述视觉相似性分值来确定所述第一对象和所述第二对象之间的匹配项。
根据又一方面，一种计算机可读介质，其上存储有可由至少一个处理器执行的计算机可读指令。所述指令使得所述处理器执行以下操作：检测目标图像中的第一对象的第一方位；将所述第一方位与源图像中的第二对象的第二方位进行比较，得到至少一个方位参数；从所述目标图像中提取至少一个特征；利用所述特征计算所述目标图像和所述源图像之间的视觉相似性分值，根据所述至少一个特征和所述至少一个方位特征计算所述视觉相似性分值；以及根据所述视觉相似性分值来确定所述第一对象和所述第二对象之间的匹配项。
在任意前述实施例中，计算视觉相似性分值包括根据所述至少一个方位参数将权数应用到所述至少一个特征，得到所述视觉相似性分值。
在任意前述实施例中，应用权数包括将非零权数应用到与所述至少一个方位参数相关联的特征类型。
在任意前述实施例中，提取至少一个特征包括提取与至少一个特征类型对应的所述至少一个特征，所述至少一个特征类型与所述至少一个方位参数相关联。
在任意前述实施例中，所述至少一个方位参数与表示所述第一方位和所述第二方位的方位对相对应。预期方位对可与比非预期方位对的权数高的权数相关联。
在任意前述实施例中，检测方位包括使用至少两个角度描绘方位，所述至少两个角度包括水平面上的所述第一对象的朝向和已获取所述目标对象的图像采集设备的观察轴之间的第一角度α，以及垂直面上的所述图像获取设备的观察轴和横轴之间的第二角度β。
在任意前述实施例中，应用权数包括在所述第一方位和所述第二方位相同时应用第一权数集，以及在所述第一方位和所述第二方位不同时应用第二权数集。在一些示例实施例中，应用第二权数集包括包括根据所述第一方位和所述第二方位之差从权数组中选择所述第二权数集。
在任意前述实施例中，根据特征类型应用所述多个权数。
在任意前述实施例中，根据从目标图像到源图像的方位改变的敏感度将特征类型组合在一起。
在任意前述实施例中，至少一个特征类型包括分配有不同权数的子特征。
在任意前述实施例中，将权数应用到所述特征包括独立于所述至少一个方位参数来应用至少一个固定权数。
在任意前述实施例中，使用训练模型确定所述多个权数，所述训练模型用于执行以下至少一个操作：学习依赖方位的距离度量；将特征类型和多方位参数关联起来；获知给定图像采集设备的目标图像到源图像的颜色特征和SIFT特征的转换；以及获知所述给定图像采集设备的目标图像到源图像的可预测方位改变。
在阅读完本发明随后内容后，本领域技术人员将想到对本改进的许多其它特征及其组合。
附图说明
在图中：
图1是用作目标序列或者源序列的图像序列的示例；
图2是执行对象匹配的示例方法的流程图；
图3A和图3B是图示用于描绘图像中对象方位的示例角度的示意图；
图4是对象匹配***的示例实施例的框图；
图5是运行在图4中处理器上的应用程序的示例实施例的框图；
图6是图5中方位单元的示例实施例的框图；
图7是图5中视觉相似性分值单元的示例实施例的框图。
需要注意的是，在所有附图中，相同的特征由相同的参考数字标识。
具体实施方式
本文描述的是执行图像中的对象匹配的方法，***和计算机可读介质。对象匹配指的是在与其它图像或者其它图像序列进行比较时，在一个图像或一个图像序列中为一个对象，例如人，找到匹配项。正在研究中的图像在这里为目标图像。与目标图像相比较的图像在这里称为源图像。可以通过使用例如静止照相机、摄影机等各种图像采集设备中的任一种来获得目标图像。一系列目标图像可以代表取自同一个图像采集设备的视频序列或者取自多个图像采集设备的不同图像。可以通过使用相同或者不同的图像采集设备来获得源图像，作为目标图像。源图像可以是用于对象匹配目的的已知对象的扫描图像。在此情况下，可能没有关于已获取源图像的图像采集设备的可用信息。源图像可组成包括视频监控数据的数据库的一部分，为了便于比较，该视频监控数据已经划分为描述单个个体的多个序列。
图1示出了图像序列102、104、106的示例。在本示例中，每个序列102、104、106由4个图像组成，并且可组成目标序列或者源序列的一部分。目标序列包含一个或多个正在研究中的目标图像。目标图像是希望从中识别对象的图像。源序列包含一个或多个源图像。源图像是与目标图像进行比较以识别目标图像中对象的图像。例如，组成序列102的图像102a、102b、102c、102d可与目标序列对应，组成序列104的图像104a、104b、104c、104d和组成序列106的图像106a、106b、106c、106d可与两个不同的源序列对应。可替代地，序列104可以是目标序列，而序列102、106可以是源序列。每个序列可以包含多于或少于4个图像。如序列102、104、106所示，不同序列中的对象可能方位不同。本文描述的实施例可适用于识别每个序列中对象的方位，并且可适用于使用该数据来控制如何使用不同类型的信息匹配序列中的对象。
图2中的流程图示出了执行对象匹配的一个实施例。在202处，检测第一图像，即目标图像，中对象的方位。例如，回顾图1，序列102中的对象和序列106中的对象面向图像采集设备，而序列104中的对象背向图像采集设备。各种实施例可用于描绘图像中对象的方位。例如，对象的方位可以使用两个角度描绘，如图3A和图3B所示。第一角度α表示水平面上的对象302的朝向306和图像采集设备304的观察轴308之间的角度。以俯视图示出对象302，水平面从前往后径直穿过对象302。第二角度β表示垂直面上的图像采集设备304的观察轴308和横轴310之间的角度。以侧视图显示对象302，垂直面从上往下径直穿过对象302。一些实施例中，给出了角度α、β。可替代地，可通过使用以下已知信息来获得角度α、β：图像采集设备的定位、对象的大小以及对象在图像采集设备视场中的位置。
回顾图2，在204处，将目标图像中对象的检测方位与第二图像，即源图像，中对象的方位进行比较。在一些实施例中，源图像中对象的方位是预定的，并与源图像一起存储。为了比较的目的，可以只检索源图像中对象的方位。可替代地，针对源图像中对象的方位检测可以与针对目标图像中对象的方位检测并行执行，或者在针对目标图像中对象的方位检测之后执行。两个方位的比较产生至少一个方位参数，表示两个对象的相对方位。例如，如果两个方位相同，则方位参数可与“相同”对应。如果两个方位不同，则方位参数可与“不同”对应。在一些实施例中，方位参数可与表示两个方位的方位对对应，方位对包括F/F、F/B、B/F和B/B(F＝面向，B＝背向)等。在一些实施例中，方位参数可与目标图像中的对象和源图像中的对象之间的角度差对应。例如，如果目标图像中的对象自图像采集设备旋转15°，而源图像中的对象是直接面向图像采集设备，则方位参数可与15°–0°＝15°对应。在一些实施例中，方位参数可以是多维度的，并且由多个值定义。还可以使用适当表示目标图像中的对象和源图像中的对象之间的方位差的方位参数的其它实施例。
在206处，从目标图像中提取特征。一般情况下，这些特征可以为局部特征，也可以为全局特征。局部特征的示例可以是使用尺度不变量特征变换(scale-invariant featuretransform，SIFT)算法获得的局部特征。局部特征是空间、位置特定的特征，其通常在目标图像和源图像之间的方位无变化时提供准确结果。全局特征的示例有基于颜色或纹理的特征，其通过使用红绿蓝(Red,Green,Blue，RGB)模型，色调、饱和度，明度(Hue,Saturation,Value，H,S,V)模型，或者亮度和色度(Y,Cb,Cr)颜色模型获得。全局特征通常对于方位的改变有鲁棒性。例如，边界框可被划分成多条横向条纹。每条横向条纹由带有每个颜色分量H、S、V的多个方块的直方图来描述。一般来说，图像特征可能代表图像的不同方面，例如，颜色，纹理，图案，小图像块等。特征提取的其它实施例也是很容易理解的。需注意的是，根据206的特征提取在该方法中较早执行，例如，在检测方位参数202和生成方位参数204之前或与之并行执行。在一些实施例中，不管检测的方位如何，从目标图像中提取预定参数集。在这些实施例中，可以在计算视觉相似性分值之前的任何时间内提取特征。在其它实施例中，根据方位参数确定待提取特征。例如，当方位参数为“不同”时，可提取颜色特征；当方位参数为“相同”时，可提取空间特征。在这些实施例中，在204处生成方位参数后将提取特征。在一些实施例中，预提取来自源图像的特征，并将其与源图像一起存储。为了计算视觉相似性分值的目的，可以检索与源图像一起存储的特征。可替代地，从源图像中提取特征可以与从目标图像中提取特征并行执行，或者在从目标图像中提取特征之后执行。
在208处，根据方位参数，使用至少部分从目标图像和源图像中提取的特征来计算视觉相似性分值。方位参数用于确定图像特征的最佳用途，也就是，考虑到目标图像和源图像之间的方位差，应该考虑哪些特征，以最大化结果的准确性。例如，当方位参数为“不同”时，可使用颜色特征；当方位参数为“相同”时，可使用空间特征。在一些实施例中，根据方位参数，视觉相似性分值将只使用给定类型的特征，并丢弃其他类型的特征。在其它实施例中，将使用不同类型的特征来计算视觉相似性分值，而且根据方位参数，为每个特征类型分配一个权数。例如，当方位参数为“不同”时，为颜色特征分配的权数比空间特征的大；当方位参数为“相同”时，可为空间参数分配一个较大的权数。可以根据方位变化敏感将特征类型组合起来，或者可以为每个特征类型分配自己的权数。在一些实施例中，可为给定特征类型内的每个特征分配自己的权数。
在210处，根据计算的视觉相似性分值来确定目标图像和源图像中对象之间的匹配项。在一些实施例中，可为相似性分值设置阈值，相似性分值在阈值之上的对象被视为匹配。低于阈值的相似性分值表示不匹配。在其它实施例中，通过比较目标图像与多个源图像得到的最高视觉相似性分值(或者最小差距)表示匹配，而所有其它分值均表示不匹配。不管是在计算视觉相似性分值还是在确定图像中的对象是否匹配时，还可以使用其它信息。例如，可定位目标图像采集设备和源图像采集设备，以使得从一个地方到另一个地方的对象可产生预期方位参数。相比于由非预期方位参数产生的权数，可以在某些特征的较高权重上反应预期方位参数。不管是作为用于验证匹配结果的补充信息，还是作为视觉相似性分值的额外参数，图像采集的时间和/或位置也可以衡量对象匹配。
参考图4，描述了对象匹配***400的实施例。除其它之外，该***400包括运行在耦合于存储器402的处理器404上的多个应用程序406A、……、406N。应理解，虽然这里将应用程序406A、……、406N图示和描述为不同实体，但可以通过各种方式组合或分离。处理器404可访问的存储器402可接收并存储数据。这里，存储器402可能已经存储了目标图像、源图像、关于图像采集设备的信息、关于何时获取图像的信息、提取的特征、确定的方位、权数、视觉相似性分值分、匹配阈值，以及从图像和/或图像采集设备中获取的和/或用于执行对象匹配的其它任何数据或信息。存储器402可以是主存储器，例如，高速随机存取存储器(Random Access Memory，RAM)，或者辅助存储单元，例如，硬盘，软盘或磁带驱动器。存储器402也可以是其它类型的存储器，例如只读存储器(Read-Only Memory，ROM)，或者光存储介质，例如视盘或者光盘。处理器404可以访问存储器402以检索数据。处理器404可以是能够对数据进行操作的任意设备。示例为中央处理器(central processing unit，CPU)，前端处理器，微处理器和网络处理器。应用程序406A、……、406N耦合于处理器404，并且用于执行各种任务。输出可被传输至外部设备，或者显示在图形用户界面(未显示)上。
图5是运行在处理器404上的应用程序406A的示例实施例。应用程序406A包括特征提取单元502，方位单元504以及视觉相似性分值单元506。数据存储区508可与存储器402或者另一存储构件对应，在本地或者远程提供给***400。特征提取单元502可由控制信号501命令执行一般的或者特定的特征提取。一般的是指提取所有特征，不管方位如何。特定的是指提取根据方位参数选择的特征。提取的特征可存储于数据存储区508中。在一些实施例中，特征提取单元502可直接将提取的特征传输至视觉相似性分值单元506。在一些实施例中，方位单元504可用于与特征提取单元502通信，以提取特定特征。可替代地，特征提取单元可单独由控制信号501控制。
方位单元504用于方位检测。方位单元504可由控制信号503触发。控制信号503可由用户通过***400上的图形用户界面命令或者通过可操作地与***400连接的外部设备(未显示)命令。***400和外部设备之间的连接可以是有线连接，也可以是无线连接。控制信号503还可由其它应用程序406N生成。其它应用程序406N可构成***400的一部分或者与其分开设置。图6是方位单元504的示例实施例，方位单元504包括检测单元602和比较单元604。检测单元602可用于检测目标图像中对象的方位，并且在一些情况下，也可用于检测源图像中对象的方位。比较单元604可用于将目标图像的方位和源图像的方位进行比较并生成方位参数。检测的方位可存储于数据存储区508中。比较单元604可通过控制信号603触发，用以生成方位参数。在接收到控制信号603时，比较单元604可访问数据存储区508，以检索目标图像的方位和源图像的方位。在一些实施例中，目标图像的方位和源图像的方位可直接通过控制信号603传输至比较单元604。方位参数可由比较单元604通过控制信号505输出，或者存储于数据存储区508中。控制信号505因此向视觉相似性分值单元指示已经生成方位参数。
图7是视觉相似性分值单元506的示例实施例。加权单元702和计算单元704可用于使用方位参数来计算相似性分值，并且根据视觉相似性分值确定目标图像和源图像之间的匹配项。为每个视频序列或者每个图像102、104、106创建一个特征向量f。加权单元702用于按照特征类型将每个特征向量f分解成多个子向量。例如，目标特征向量可与f t＝<f 1 t,f 2 t,f 3 t,…>(其中，下标表示整个向量内的子向量的索引)对应，源特征向量可与f s＝<f 1 s,f 2 s,f 3 s,…>对应。在一些实施例中，将目标图像与多个源图像进行比较。匹配项与目标向量和其中一个源向量之间的最小距离d＝dist(f t,f s)对应。子向量间的距离为d1＝dist(f 1 t,f 1 s)，d2＝dist(f 2 t,f 2 s)，d3＝dist(f 3 t,f 3 s)等。在只考虑某些子向量或者特征类型时，加权单元702可将权数1(1)应用到选择的子向量，并将权数0(0)应用到未选择的子向量。计算单元704可计算距离，作为每个选择的子向量的欧几里德距离||f t–f s||。
在一些实施例中，子向量的作用是根据方位参数进行不同加权。例如，在具有两个子向量距离d1、d2时，匹配项可与λ1 t,s d1+λ2 t,s d2的最小值对应，其中，λi t,s为取决于(a)和(b)的参数，(a)为子向量中特征的类型，即，i(例如i＝1或i＝2)，(b)为目标对象和源对象的方位，即，t，s(例如(αt,βt,αs,βs))。通过有4个目标/源方位对，即F/F、F/B、B/F和B/B，的示例，如果目标图像和源图像为F/F，则相似性(或者距离)可计算为λ1 F/F d1+λ2 F/F d2，如果目标图像和源图像为F/B，则相似性(或者距离)可计算为λ1 F/B d1+λ2 F/B d2。这两个特征类型的加权因此是根据目标图像的方位和源图像的方位动态设置的。
在一些实施例中，视觉相似性分值单元506用于机器学习，并使用训练数据找到每个子向量的合适权数。例如，使用四个方位对F/F、F/B、B/F和B/B，可以如表1所示使用任意对的两个非零特征创建八维特征向量x：
| <u>x</u>＝< | d<sub>1</sub>, | d<sub>2</sub>, | 0, | 0, | 0, | 0, | 0, | 0 | >If F/F |
| <u>x</u>＝< | 0, | 0, | d<sub>1</sub>, | d<sub>2</sub>, | 0, | 0, | 0, | 0 | >If F/B |
| <u>x</u>＝< | 0, | 0, | 0, | 0, | d<sub>1</sub>, | d<sub>2</sub>, | 0, | 0 | >If B/F |
| <u>x</u>＝< | 0, | 0, | 0, | 0, | 0, | 0, | d<sub>1</sub>, | d<sub>2</sub> | >If B/B |
表1
在本示例中，非零特征成对出现。第一个特征是d1，并与颜色特征对应，下一个特征是d2，并与SIFT特征对应。每对的分值是λ·x，其中，λ＝(λ1 FF,λ2 FF,λ1 FB,λ2 FB,λ1 BF,λ2 BF,λ1 BB,λ2 BB)。在一些实施例中，可手动设置参数λ＝(λ1 FF,λ2 FF,λ1 FB,λ2 FB,λ1 BF,λ2 BF,λ1 BB,λ2 BB)。
在一些实施例中，可为一个或多个特征类型设置一个固定权数。例如，利用四个方位对F/F、F/B、B/F和B/B，可以如表2所示使用任意对的两个非零特征创建五维特征向量x:
| <u>x</u>＝< | d<sub>1</sub>, | d<sub>2</sub>, | 0, | 0, | 0 | >If F/F |
| <u>x</u>＝< | d<sub>1</sub>, | 0, | d<sub>2</sub>, | 0, | 0 | >If F/B |
| <u>x</u>＝< | d<sub>1</sub>, | 0, | 0, | d<sub>2</sub>, | 0 | >If B/F |
| <u>x</u>＝< | d<sub>1</sub>, | 0, | 0, | 0, | d<sub>2</sub> | >If B/B |
表2
在本示例中，第一个特征是d1(颜色特征)，接下里的四个特征中的一个特征是d2(SIFT特征)。每对的分值是λ·x，其中，λ＝(λ1,λFF,λFB,λBF,λBB)。d1的权数为λ1，而且不取决于方位参数。
可以有两个以上的特征类型。例如，可以有多个带有不同池化(其中，池化是对提取的特征有影响的操作)的SIFT集，如表3所示：
| <u>x</u>＝< | d<sub>color</sub>, | d<sub>sift1</sub>, | d<sub>sift2</sub>, | 0, | 0, | 0, | 0, | 0, | 0 | >If F/F |
| <u>x</u>＝< | d<sub>color</sub>, | 0, | 0, | d<sub>sift1</sub>, | d<sub>sift2</sub>, | 0, | 0, | 0, | 0 | >If F/B |
| <u>x</u>＝< | d<sub>color</sub>, | 0, | 0, | 0, | 0, | d<sub>sift1</sub>, | d<sub>sift2</sub>, | 0, | 0 | >If B/F |
| <u>x</u>＝< | d<sub>color</sub>, | 0, | 0, | 0, | 0, | 0, | 0, | d<sub>sift1</sub>, | d<sub>sift2</sub> | >If B/B |
表3
在本示例中，每对的分值为λ·x，其中，λ＝(λ0,λSIFT1FF,λSIFT2FF,λSIFT1FB,λSIFT2FB,λSIFT1BF,λSIFT2BF,λSIFT1BB,λSIFT2BB)。这使SIFT特征根据方位参数具有不同的权数，但是固定了颜色特征的权数。类似地，根据方位参数，也可以将颜色权数配置为不同，SIFT特征的权数可以是固定的。在一些实施例中，根据方位参数，SIFT权数和颜色权数也都可以变化。另外，可以使用更多的特征类型和/或池化组合。
在一些实施例中，使用某些特征得到的准确性，例如，颜色特征，也可取决于图像采集设备对。如果被训练且用于特定设备对，那么，若颜色特征权数不可能有效，则虚拟相似性分值单元506可学会降低颜色特征权数。例如，单元506可了解到对于给定设备对，蓝色变成了深蓝色。可替代地，单元506可通过学习依据方位给SIFT加权多少来为给定设备对建立预期方位的模型。图4为使用两类学习的示例：
| <u>x</u>＝< | <u>f</u><sub>color</sub><sup>t</sup>, | <u>f</u><sub>color</sub><sup>s</sup>, | d<sub>sift</sub>, | 0, | 0, | 0 | >If F/F |
| <u>x</u>＝< | <u>f</u><sub>color</sub><sup>t</sup>, | <u>f</u><sub>color</sub><sup>s</sup>, | 0, | d<sub>sift</sub>, | 0, | 0 | >If F/B |
| <u>x</u>＝< | <u>f</u><sub>color</sub><sup>t</sup>, | <u>f</u><sub>color</sub><sup>s</sup>, | 0, | 0, | d<sub>sift</sub>, | 0 | >If B/F |
| <u>x</u>＝< | <u>f</u><sub>color</sub><sup>t</sup>, | <u>f</u><sub>color</sub><sup>s</sup>, | 0, | 0, | 0, | d<sub>sift</sub> | >If B/B |
表4
在本示例中，针对SIFT和方位加权，只有4个参数，其他参数专用于建立颜色传递的模型。通过为颜色特征增加新的子空间，这可以延伸到多设备的情况。
在一些实施例中，在给定特征类型内，权数随着个别特征可能有所不同。例如，学习到的距离度量，由距离向量D表示，可以用于在方位从目标图像变换到源图像时，确定腿部颜色比躯干颜色更有用。距离向量D可与目标特征向量x t和源特征向量x s之间的逐点差对应。例如，D L1＝<abs(xt 1-xs 1),abs(xt 2-xs 2),…>。使用了学习到的距离度量x的八维特征向量的示例如表5所示：
| <u>x</u>＝< | <u>D</u><sub>sift</sub>, | <u>D</u><sub>color</sub>, | 0, | 0, | 0, | 0, | 0, | 0 | >If F/F |
| <u>x</u>＝< | 0, | 0, | <u>D</u><sub>sift</sub>, | <u>D</u><sub>color</sub>, | 0, | 0, | 0, | 0 | >If F/B |
| <u>x</u>＝< | 0, | 0, | 0, | 0, | <u>D</u><sub>sift</sub>, | <u>D</u><sub>color</sub>, | 0, | 0 | >If B/F |
| <u>x</u>＝< | 0, | 0, | 0, | 0, | 0, | 0, | <u>D</u><sub>sift</sub>, | <u>D</u><sub>color</sub> | >If B/B |
表5
在一些实施例中，可在所有特征向量中共享这些距离向量，使得在由方位对每个向量编入索引时默认复用该信息，如表6所示：
表6
在一些实施例中，使用串联向量而非距离向量。可使用串联向量来获知在一个对象面向目标图像且背向源图像时，在目标图像的感兴趣区一侧的某些颜色或关键点与源图像中的感兴趣区另一侧的颜色或关键点匹配，等等。也可以应用其它学习选项。
在一些实施例中，某些特征独立于方位，而获知其它特征为方位特定的，如表7所示：
| <u>x</u>＝< | <u>f</u><sub>color</sub><sup>t</sup>, | <u>f</u><sub>color</sub><sup>s</sup>, | <u>f</u><sub>sift</sub><sup>t</sup>, | <u>f</u><sub>sift</sub><sup>s</sup>, | 0, | 0, | 0, | 0, | 0, | 0 | >If F/F |
| <u>x</u>＝< | <u>f</u><sub>color</sub><sup>t</sup>, | <u>f</u><sub>color</sub><sup>s</sup>, | 0, | 0, | <u>f</u><sub>sift</sub><sup>t</sup>, | <u>f</u><sub>sift</sub><sup>s</sup>, | 0, | 0, | 0, | 0 | >If F/B |
| <u>x</u>＝< | <u>f</u><sub>color</sub><sup>t</sup>, | <u>f</u><sub>color</sub><sup>s</sup>, | 0, | 0, | 0, | 0, | <u>f</u><sub>sift</sub><sup>t</sup>, | <u>f</u><sub>sift</sub><sup>s</sup>, | 0, | 0 | >If B/F |
| <u>x</u>＝< | <u>f</u><sub>color</sub><sup>t</sup>, | <u>f</u><sub>color</sub><sup>s</sup>, | 0, | 0, | 0, | 0, | 0, | 0, | <u>f</u><sub>sift</sub><sup>t</sup>, | <u>f</u><sub>sift</sub><sup>s</sup> | >If B/B |
表7
在本示例中，在每个向量的前两个子空间中考虑颜色转换特征，而在考虑方位时，获知SIFT转换和相对加权。可以根据方位敏感度将传递特征组合起来。所有设备中，每个设备都可能有特征子空间，其容纳目标图像和源图像的颜色特征，而每个方位改变都可能有特征子空间，其容纳目标图像和源图像的SIFT特征。
其它变量和/或组合可用于不同的特征子空间。一般来说，特征子空间可用于训练模型以获知哪些特征类型是重要的，对特征的哪些加权是依赖于方位改变，哪些特征的转换是依赖于图像采集设备，哪些特征转换是依赖于方位变化，和/或获知并利用目标图像到源图像的方位改变。尽管示出了与四个可能的方位对F/F、F/B、B/F和B/B对应的方位参数，但是每个实施例也可以适应于其它方位参数，例如，相同/不同或者角度值差。此外，所描述的实施例的特征可通过不同的方式组合。
相关领域的技术人员将认识到可以在不脱离公开发明的范围的情况下对上面描述的实施例进行修改。例如，本文描述的流程图和附图中的方框和/或操作仅用于示例的目的。在不脱离本发明教示的情况下，可对这些方框和/或操作做出许多改变。例如，可按照不同的顺序执行这些方框，或者可增加，删除或修改方框。
尽管在方框图中示出了通过不同的数据信号连接来彼此通信的分立组件组，但是本领域技术人员将理解，当前实施例通过硬件和软件组件的组合来提供，其中一些组件通过硬件或软件***的给定功能或操作来实现，并且所示出的许多数据路径通过计算机应用或操作***内的数据通信来实现。基于这种理解，本发明的技术方案可通过软件产品的形式体现。软件产品可以存储在非易失性或非瞬时性存储介质中，非易失性或非瞬时性存储介质可以是，例如只读光盘(compact disk read-only memory，CD-ROM)、USB闪存盘或移动硬盘。软件产品可以包括能够使计算机设备(个人计算机、服务器或网络设备)执行本发明实施例中提供的方法的多个指令。因此提供示出的结构以提高教示本发明的效率。在不脱离权利要求书的主题的情况下，本发明可以体现为其它具体形式。
此外，相关领域的技术人员将理解，虽然本发明公开和示出的***、方法和计算机可读介质可以包括具体数量的元件/组件，但是可以修改***、方法和计算机可读介质以包括更多或更少的这种元件/组件。此外，从特定的应用角度来看，对以上提供的示例的替换是有可能的。例如，新兴技术(例如，第五代(fifth generation，5G)和未来的技术)期望要求更高性能的处理器来解决不断增长的数据带宽和低延时的连接要求。因此，要求新设备更小，更快，更高效。具体可设计一些实施例以满足这类新兴技术的各种需求。本文描述的实施例可应用于并行编程、云计算、针对大数据的其他环境，以及嵌入式设备中或者诸如GPU或者FPGA之类的定制硬件。
本发明旨在涵盖和包含所有合适的技术变化。在本发明范围内的修改对于本领域的技术人员而言是显而易见的，并且根据本发明的概述，这类修改应属于所附权利要求书。
Claims (19)
1.一种用于图像中的对象匹配的方法，其特征在于，所述方法包括：
检测目标图像中的第一对象的第一方位；
将所述第一方位与源图像中的第二对象的第二方位进行比较，得到至少一个方位参数，其中，所述至少一个方位参数表示所述第一对象和所述第二对象的相对方位；
提取与所述至少一个方位参数相关联的至少一个特征类型的至少一个特征；
根据所述至少一个特征和所述至少一个方位参数计算所述目标图像和所述源图像之间的视觉相似性分值；以及
根据所述视觉相似性分值来确定所述第一对象和所述第二对象之间的匹配项。
2.根据权利要求1所述的方法，其特征在于，计算所述视觉相似性分值包括根据所述至少一个方位参数将权数应用到所述至少一个特征。
3.根据权利要求2所述的方法，其特征在于，应用权数包括将非零权数应用到与所述至少一个方位参数相关联的特征类型。
4.根据权利要求2或3所述的方法，其特征在于，所述至少一个方位参数与表示所述第一方位和所述第二方位的方位对相对应。
5.根据权利要求4所述的方法，其特征在于，预期方位对与比非预期方位对的权数高的权数相关联。
6.根据权利要求2、3或5所述的方法，其特征在于，检测所述第一方位包括使用至少两个角度来检测所述第一方位，所述至少两个角度包括水平面上的所述第一对象的朝向和已获取所述目标图像的图像采集设备的观察轴之间的第一角度α，以及垂直面上的所述图像采集设备的观察轴和横轴之间的第二角度β。
7.根据权利要求2、3或5所述的方法，其特征在于，应用权数包括在所述第一方位和所述第二方位相同时应用第一权数集，以及在所述第一方位和所述第二方位不同时应用第二权数集。
8.根据权利要求7所述的方法，其特征在于，应用第二权数集包括根据所述第一方位和所述第二方位之差从权数组中选择所述第二权数集。
9.根据权利要求2、3、5、或8所述的方法，其特征在于，按照特征类型应用所述权数。
10.一种对象匹配的***，其特征在于，包括：
存储器，其中存储有包括用于图像中的对象匹配的至少一个指令序列的程序；以及
至少一个处理器，耦合于用于执行所述至少一个指令序列的所述存储器，以执行以下操作：
检测目标图像中的第一对象的第一方位；
将所述第一方位与源图像中的第二对象的第二方位进行比较，得到至少一个方位参数，其中，所述至少一个方位参数表示所述第一对象和所述第二对象的相对方位；
提取与所述至少一个方位参数相关联的至少一个特征类型的至少一个特征；
根据所述至少一个特征和所述至少一个方位参数计算所述目标图像和所述源图像之间的视觉相似性分值；以及
根据所述视觉相似性分值来确定所述第一对象和所述第二对象之间的匹配项。
11.根据权利要求10所述的***，其特征在于，计算所述视觉相似性分值包括根据所述至少一个方位参数将权数应用到所述至少一个特征。
12.根据权利要求11所述的***，其特征在于，应用权数包括将非零权数应用到与所述至少一个方位参数相关联的特征类型。
13.根据权利要求11或12所述的***，其特征在于，所述至少一个方位参数与表示所述第一方位和所述第二方位的方位对相对应。
14.根据权利要求13所述的***，其特征在于，预期方位对与比非预期方位对的权数高的权数相关联。
15.根据权利要求11、12或14所述的***，其特征在于，检测所述第一方位包括用至少两个角度来检测所述第一方位，所述至少两个角度包括水平面上的所述第一对象的朝向和已获取所述目标图像的图像采集设备的观察轴之间的第一角度α，以及垂直面上的所述图像采集设备的观察轴和横轴之间的第二角度β。
16.根据权利要求11、12或14所述的***，其特征在于，应用权数包括在所述第一方位和所述第二方位相同时应用第一权数集，以及在所述第一方位和所述第二方位不同时应用第二权数集。
17.根据权利要求16所述的***，其特征在于，应用第二权数集包括根据所述第一方位和所述第二方位之差从权数组中选择所述第二权数集。
18.根据权利要求11、12、14或17所述的***，其特征在于，按照特征类型应用多个权数。
19.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令在由至少一个处理器执行时使得所述至少一个处理器执行以下操作：
检测目标图像中的第一对象的第一方位；
将所述第一方位与源图像中的第二对象的第二方位进行比较，得到至少一个方位参数，其中，所述至少一个方位参数表示所述第一对象和所述第二对象的相对方位；
提取与所述至少一个方位参数相关联的至少一个特征类型的至少一个特征；
根据所述至少一个特征和所述至少一个方位参数计算所述目标图像和所述源图像之间的视觉相似性分值；以及
根据所述视觉相似性分值来确定所述第一对象和所述第二对象之间的匹配项。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/006,558 US10311332B2 (en) | 2016-01-26 | 2016-01-26 | Orientation-based subject-matching in images |
| US15/006,558 | 2016-01-26 | ||
| PCT/CN2017/072507 WO2017129115A1 (en) | 2016-01-26 | 2017-01-24 | Orientation-based subject-matching in images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109074643A CN109074643A (zh) | 2018-12-21 |
| CN109074643B true CN109074643B (zh) | 2021-03-05 |
Family
ID=59360497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780008560.3A Active CN109074643B (zh) | 2016-01-26 | 2017-01-24 | 图像中的基于方位的对象匹配 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10311332B2 (zh) |
| CN (1) | CN109074643B (zh) |
| WO (1) | WO2017129115A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201608259D0 (en) * | 2016-05-11 | 2016-06-22 | Magic Pony Technology Ltd | Feature transfer |
| CN110622501B (zh) * | 2017-03-14 | 2021-10-01 | 株式会社尼康 | 图像处理装置及电子设备 |
| CN108062562B (zh) * | 2017-12-12 | 2020-03-10 | 北京图森未来科技有限公司 | 一种物体重识别方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101510257A (zh) * | 2009-03-31 | 2009-08-19 | 华为技术有限公司 | 一种人脸相似度匹配方法及装置 |
| CN101996315A (zh) * | 2009-08-18 | 2011-03-30 | 通用电气公司 | 用于基于摄像机的对象分析的***、方法和程序产品 |
| JP2011215843A (ja) * | 2010-03-31 | 2011-10-27 | Secom Co Ltd | 顔画像処理装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU1365699A (en) * | 1997-10-27 | 1999-05-17 | Imagen Incorporated | Image search and retrieval system |
| GB2356509B (en) * | 1999-11-16 | 2004-02-11 | Sony Uk Ltd | Video data formatting and storage |
| JP3842233B2 (ja) * | 2003-03-25 | 2006-11-08 | ファナック株式会社 | 画像処理装置及びロボットシステム |
| US8145545B2 (en) * | 2006-02-23 | 2012-03-27 | Nainesh B Rathod | Method of enabling a user to draw a component part as input for searching component parts in a database |
| JP4876056B2 (ja) * | 2007-11-16 | 2012-02-15 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| US8429173B1 (en) * | 2009-04-20 | 2013-04-23 | Google Inc. | Method, system, and computer readable medium for identifying result images based on an image query |
| US8363928B1 (en) * | 2010-12-24 | 2013-01-29 | Trimble Navigation Ltd. | General orientation positioning system |
| US20150169708A1 (en) * | 2012-04-24 | 2015-06-18 | Google Inc. | Providing recently selected images |
| US9875284B1 (en) * | 2012-06-18 | 2018-01-23 | A9.Com, Inc. | Displaying search completion results |
| US9767358B2 (en) * | 2014-10-22 | 2017-09-19 | Veridium Ip Limited | Systems and methods for performing iris identification and verification using mobile devices |
-
2016
- 2016-01-26 US US15/006,558 patent/US10311332B2/en active Active
-
2017
- 2017-01-24 CN CN201780008560.3A patent/CN109074643B/zh active Active
- 2017-01-24 WO PCT/CN2017/072507 patent/WO2017129115A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101510257A (zh) * | 2009-03-31 | 2009-08-19 | 华为技术有限公司 | 一种人脸相似度匹配方法及装置 |
| CN101996315A (zh) * | 2009-08-18 | 2011-03-30 | 通用电气公司 | 用于基于摄像机的对象分析的***、方法和程序产品 |
| JP2011215843A (ja) * | 2010-03-31 | 2011-10-27 | Secom Co Ltd | 顔画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20170213108A1 (en) | 2017-07-27 |
| US10311332B2 (en) | 2019-06-04 |
| CN109074643A (zh) | 2018-12-21 |
| WO2017129115A1 (en) | 2017-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rad et al. | Bb8: A scalable, accurate, robust to partial occlusion method for predicting the 3d poses of challenging objects without using depth | |
| EP3086282B1 (en) | Image processing device and image processing method | |
| CN106716450B (zh) | 利用边缘向量的基于图像的特征检测 | |
| US9691003B2 (en) | Keypoint descriptor generation by complex wavelet analysis | |
| CN110546651B (zh) | 用于识别对象的方法、***和计算机可读介质 | |
| WO2015161816A1 (en) | Three-dimensional facial recognition method and system | |
| JP5261501B2 (ja) | 不変の視覚場面及び物体の認識 | |
| Huang et al. | Saliency and co-saliency detection by low-rank multiscale fusion | |
| JP5361664B2 (ja) | 画像処理装置、画像処理方法 | |
| CN113850865A (zh) | 一种基于双目视觉的人体姿态定位方法、***和存储介质 | |
| CN108509925B (zh) | 一种基于视觉词袋模型的行人重识别方法 | |
| CN110796691B (zh) | 一种基于形状上下文和hog特征的异源图像配准方法 | |
| CN109074643B (zh) | 图像中的基于方位的对象匹配 | |
| Rodrigues et al. | Automatic fish species classification based on robust feature extraction techniques and artificial immune systems | |
| Vieriu et al. | Facial expression recognition under a wide range of head poses | |
| CN114529963A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| Zhang et al. | Category modeling from just a single labeling: Use depth information to guide the learning of 2d models | |
| Potje et al. | Extracting deformation-aware local features by learning to deform | |
| KR101715782B1 (ko) | 물체 인식 시스템 및 그 물체 인식 방법 | |
| May et al. | Scale invariant feature transform: a graphical parameter analysis | |
| CN103064857B (zh) | 图像查询方法及图像查询设备 | |
| JP2013003861A (ja) | 物体形状推定装置 | |
| Chang et al. | Single-shot person re-identification based on improved random-walk pedestrian segmentation | |
| WO2017042852A1 (en) | Object recognition appratus, object recognition method and storage medium | |
| Chen et al. | Method of item recognition based on SIFT and SURF |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220216 Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province Patentee after: Huawei Cloud Computing Technologies Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd. |