CN105493105B - 关键点识别 - Google Patents

关键点识别 Download PDF

Info

Publication number
CN105493105B
CN105493105B CN201480041493.1A CN201480041493A CN105493105B CN 105493105 B CN105493105 B CN 105493105B CN 201480041493 A CN201480041493 A CN 201480041493A CN 105493105 B CN105493105 B CN 105493105B
Authority
CN
China
Prior art keywords
pixel
image
value
approximate
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480041493.1A
Other languages
English (en)
Other versions
CN105493105A (zh
Inventor
M·巴勒斯特里
G·弗兰希尼
S·莱普索伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telecom Italia SpA
Original Assignee
Telecom Italia SpA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telecom Italia SpA filed Critical Telecom Italia SpA
Publication of CN105493105A publication Critical patent/CN105493105A/zh
Application granted granted Critical
Publication of CN105493105B publication Critical patent/CN105493105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Dc Digital Transmission (AREA)

Abstract

一种识别包括一组像素的数字图像中的关键点的方法。各像素具有与其关联的图像代表性参数的相应值。该方法包括近似过滤图像。该过滤图像依赖于过滤参数并对图像的每个像素包括依赖于该过滤参数来计算该像素的代表性参数的值的过滤后的值的过滤函数。该近似包括：a)生成一组基础过滤图像；每个基础过滤图像是利用过滤参数的相应值过滤的图像；b)对该组像素的至少子集的每个像素，基于基础过滤图像通过相应的近似函数来近似过滤函数；该近似函数是过滤参数的预定义范围内的过滤参数的函数；该方法还包括，对该子集的每个像素，如果近似函数具有关于在该预定义范围内的相应子范围中的过滤参数也是全局极值的局部极值，将该像素识别为候选关键点。

Description

关键点识别
发明的背景
技术领域
本发明涉及图像分析领域。
现有技术的描述
在图像分析领域中，在向某种类型的处理(诸如与另一图像进行的比较)提供由多个点(像素)(其中每个点由代表图像的物理参数的相应值，诸如亮度，表征)形成的图像之前，执行在这个图像中表示的显著细节的位置和尺寸的识别是有利的。在图像分析领域中，图像的“显著细节”是指图像中所包括的对象即使在所述对象的视点、照明和相机类型存在变化的情况下也易于被检测的一部分。
直到几年前，才有可能识别图像的显著细节的位置，但还不能识别它们的尺寸。更具体而言，图像的显著细节的位置的识别是通过识别基本上对应于显著细节的中心的图像的关联显著点–用术语来说是关键点–来执行的。在具有圆形形状的细节的情况下，关键点与细节的中心重合，而在具有不同形状的细节的情况下，关键点的位置会偏离细节的实际中心。
近来，除了图像关键点识别，还开发出了过程，由于这些过程，还有可能确定与每个关键点关联的显著细节的尺寸。
目前，用来识别显著细节的位置和尺寸的方法是基于“尺度-空间”的概念，其规定一系列逐渐更强的过滤对图像的应用。应用到图像的过滤通常是对图像点的物理参数(例如，亮度)的值执行微分运算的过滤。通常，这种过滤是基于高斯函数，其过滤强度由过滤参数σ(高斯函数的标准偏差)支配：过滤参数σ越高，高斯越平越宽，并且高斯具有更强的平滑效果。由坐标为(x,y)的像素的矩阵构成的图像的尺度-空间是由通过应用逐渐更强的过滤器的起始图像获得的过滤图像集合(就亮度而言)形成的空间–即，具有逐渐更大的σ值–并且因此是三维(x,y,σ)空间。
理论(见例如J.of Mathematical Imaging and Vision,1(1),65-99页上由T.Lindeberg(1992)所写的“Scale-space behavior of local extrema and blobs”)声明，如果你对属于空间(x,y,σ)的点(xp,yp,σp)具有过滤图像的关于σ的极值––即，在空间(x,y,σ)的包围点(xp,yp,σp)的一部分中关于σ具有最大值或最小值，则那个点与显著细节关联，其中心坐标是(xp,yp)并且尺寸与σp成比例。细节的尺寸(直径)(以像素为单位)等于2*sqrt(2)*σp。
通过识别尺度-空间中所有极值点，因此获得图像中显著细节的位置和尺寸。
为了找出尺度-空间中的极值点，已知的方法(诸如使用描述符“尺度不变特征变换”SIFT的方法，在1999年Proceedings of the International Conference on ComputerVision 2.1150至1157页由Lowe,David G.所写的文章“Object recognition from localscale-invariant features”中描述并且是美国专利6,711,293的主题)考虑具有增加的σ值的一系列过滤图像并且，对于利用σ过滤的图像的每个点，比较它们的值与同一图像的八个相邻点的值以及对应于序列中σ的前一个和后一个值的过滤图像中存在的18(9+9)个相邻点的值。如果这个点小于或大于所有相邻点，则该点是空间(x,y,σ)的极值，并且是作为关键点的候选。这个点仅仅是候选，因为已知(见例如International Journal ofComputer Vision,60,2,200491-110页上由Lowe,DG所写的“Distinctive Image Featuresfrom Scale-Invariant Keypoints”)消除图像中对应于具有低对比度的部分的点和位于类似于边缘的结构上的点，因为沿边缘的细节的位置会在绘出相同场景的不同图像中容易变化。因此，该点是不可靠的并且因此被丢弃。
发明内容
本申请人注意到，现有技术中已知的用于图像关键点识别的方法使用σ的值的有限子集来过滤图像，从而在σ变化时获得仅过滤图像的离散表示。
但是，申请人已经观察到，为了在减小所需计算量的同时更精确和有效地识别图像的关键点，有可能近似通用过滤图像，从而关于σ连续地表示其，而不是仅仅相对于这个参数的小的离散值集合。
本发明的一方面涉及用于识别包括一组像素的数字图像中的关键点的方法。每个像素具有与其关联的图像代表性参数的相应值。所述方法包括近似过滤图像。所述过滤图像依赖于过滤参数并且对图像的每个像素包括依赖于该过滤参数来计算该像素的代表性参数的值的过滤后的值的过滤函数。所述近似包括：
a)生成一组基础过滤图像；每个基础过滤图像是利用过滤参数的相应值过滤的图像；
b)对于所述像素集合的至少子集的每个像素，基于基础过滤图像通过相应的近似函数来近似过滤函数；所述近似函数是过滤参数的预定义范围内的过滤参数的函数；
该方法还包括，对于所述子集的每个像素，如果近似函数具有关于在所述预定义范围内的相应子范围中的过滤参数也是全局极值的局部极值，则将该像素识别为关键点候选。
对于每个被识别为候选关键点的像素，该方法还包括：
c)比较由近似函数在对应于该像素的全局极值的过滤参数的值取的值与由图像中相邻像素的近似函数在这种相邻像素的相应全局极值的过滤参数的值取的值，及
d)基于这种比较选择该像素。
根据本发明的实施例，所述基于基础过滤图像通过相应的近似函数来近似过滤函数包括基于所述基础过滤图像的线性组合计算所述近似函数。
根据本发明的实施例，所述近似函数是基于所述基础过滤图像的所述线性组合的另一近似。
根据本发明的实施例，所述近似函数是以过滤参数作为变量的多项式。
根据本发明的实施例，其中所述多项式的系数是基于基础过滤图像并基于所述线性组合的权重的近似来计算的。
根据本发明的实施例，该方法还包括从被选像素中丢弃像素，其中在对应于该像素的全局极值的过滤参数由近似函数取的值具有小于第一阈值的绝对值。
根据本发明的实施例，该方法还包括：
-对于每个被选像素，计算在以这个被选像素为中心的片中所包含的图像的像素中由过滤函数形成的表面的主曲率和次曲率；
-基于主曲率与次曲率之比，从被选像素中丢弃/在其中维持该像素。
根据本发明的实施例，该方法还包括：
-对于每个被选像素，关于在对应全局极值的过滤参数计算由近似函数的二阶导数取的值，及
-基于由二阶导数取的该值，从被选像素中丢弃/在其中维持该像素。
根据本发明的实施例，利用过滤参数的相同的预定义范围，所述识别关键点还对图像的至少缩放版本重复。
根据本发明的实施例：
-基础过滤图像的过滤参数的至少一个值等于其它基础过滤图像的过滤参数的值中最低值的两倍；
-图像的所述缩放版本是通过从具有过滤参数的最低值的基础过滤图像的近似版本开始近似基础过滤图像获得的，基础过滤图像的所述近似版本是通过利用是过滤参数的最低值的两倍的过滤参数的该值欠采样基础过滤图像来近似的。
根据本发明的实施例，所述过滤图像是根据基于高斯拉普拉斯的过滤器或基于高斯差的过滤器的应用，并且所述过滤参数是高斯函数的标准偏差。
根据本发明的实施例，所述多项式是关于过滤参数的三次多项式。
根据本发明的实施例，图像的每个像素具有识别图像中的像素的位置的至少一个对应坐标；所述方法还包括基于关于坐标的这种变化近似像素中的过滤函数的另一近似函数通过计算坐标的对应变化来为每个被选像素修改该像素的所述至少一个坐标，所述另一近似函数是：
1)基于在对应于被选像素的全局极值的过滤参数的值该被选像素的过滤函数，及
2)基于在对应于被选像素的全局极值的过滤参数的值图像中与该被选像素相邻的像素的过滤函数。
根据本发明的实施例，所述计算坐标的变化包括关于坐标的变化识别另一近似函数中的最大或最小点并且基于识别出的最大或最小值点设置坐标的这种变化。
附图说明
从以下一些实施例的描述，本发明的这些和其它特征及优点将变得显然，这些实施例是作为例子而不是限制，它们应当结合附图来阅读，其中：
图1A是示出作为坐标的函数的亮度信号的图；
图1B对于σ的不同增加值示出了对应的LoG过滤器以及通过这种LoG过滤器过滤的图1A的信号；
图2A示出了二维图像，其每个点具有相应的亮度值；
图2B对于σ的增加值示出了对应的LoG过滤器以及通过该LoG过滤器过滤的图2A的图像；
图3A示出了四个基础过滤器LoGB；
图3B示出了根据本发明一种实施例通过线性组合来近似的LoG过滤器如何与已经明确计算出的LoG过滤器相似；
图3C示出了四个基础过滤器LoG的线性组合的权重如何按σ的函数变化以获得通用LoG过滤器的图；
图4A示出了通过利用其σ等于2.5的过滤器LoG的卷积来过滤的图2A的图像；
图4B示出了通过经由根据本发明实施例的近似函数利用等于2.5的σ近似LoG过滤器被过滤的图2A的图像；
图4C是从图4A的图像与图4B的图像之间的差异得出的图像；
图5A-5B示出了根据本发明实施例、按功能框说明用于识别图像的关键点的过程的流程图；
图6A通过灰度级示出了由根据本发明实施例的近似函数为图2A的示例性图像的每个点取的最大值的例子；
图6B通过灰度级示出了由根据本发明实施例的近似函数为图2A的示例性图像的每个点取的最小值的例子；
图6C和6D示出了图2A的图像的哪些点分别是作为潜在关键点的候选的最大和最小点；
图7A和7B分别示出了根据本发明实施例、在执行与相邻点的比较过程之后仍然被认为是潜在关键点的对应的最大和最小点；
图8A示出了在图2A的图像的第一倍频程(octave)中被识别为关键点的点；及
图8B示出了在图2A的图像的五个所考虑倍频程中被识别为关键点的点。
具体实施方式
通常，基于应用到图像的高斯函数的过滤器可以是高斯拉普拉斯(“Laplacian OfGaussian”，LoG)或高斯差(“Difference Of Gaussian”,DoG)。高斯差近似高斯拉普拉斯，但出于计算原因，它可以方便地采用。因此，虽然在本文中总是参考利用LoG过滤器的操作，但是等效的考虑在DoG过滤器的情况下适用。
为了示出作为通过LoG过滤应用识别显著细节的基础的机制，现在将给出两个例子：在图1A和1B中所示的第一个例子中，为了简化，代替二维图像，考虑一维亮度信号，而图2A和2B中所示的第二个例子参考二维图像。
参考第一个例子，图1A是示出作为单个x坐标的函数的亮度值的图；观察图1A的图，有可能已经注意到两个显著细节的存在，对应于信号的两个峰值。为了看到两个显著细节如何可以通过LoG过滤过程来识别，该过程允许不仅识别中心坐标，而且还识别尺寸，现在参考图1B，该图对σ的不同增加值(σ＝2、σ＝6、σ＝10、σ＝14、σ＝18、σ＝22)示出了对应的LoG过滤器(在图的左边)以及通过这个LoG过滤器过滤的图1A的信号(在图的右边)。在所考虑的例子中，可以识别出两个极值，即，当σ＝6时在x＝210的第一个极值和当σ＝14时在x＝110的第二个极值。利用关系显著点直径＝2*sqrt(2)*σ，这些极值指示其中心在210和110点(或者如果是图像的话就是像素)并且其宽度近似为16.87和39.59点的两个显著细节的存在。
参考第二个例子，图2A示出了二维图像，其每个点具有相应的亮度值，而图2B对σ的增加值(σ＝2、σ＝9、σ＝16、σ＝23)示出了对应的LoG过滤器(在图的右边)以及通过这种LoG过滤器过滤的图2A的图像(在图的左边)。挨着词“SCUOLA”的月牙形窗口是显著细节，具有容易被检测的独特形式，在中心具有大约19像素的高度。这意味着在窗口的中间，LoG过滤器对图像的应用结果在σ等于19/(2*sqrt(2))＝6.46具有最大值。事实上，可以观察到，在窗口的中心，作为过滤的结果获得的最高值(最亮的)是对应于具有σ＝9的LoG过滤器的值，即，四个被采用的LoG过滤器中其σ值更靠近6.46的LoG过滤器。
由于LoG过滤器趋于随着σ增加而显著增加尺寸(对于σ＝50，过滤器可利用几乎500x500点的矩阵来表示)，因此以上所述的处理可以有利地通过使用“倍频程”方法来执行，以便减少计算的次数。倍频程处理是基于对原始图像利用σ＝σ*过滤的结果可以通过对缩放至50％的图像利用σ＝σ*/2过滤来再现的观察。在倍频程处理中，对于σ的间隔是固定的，过滤图像利用落在该范围中的某个σ进行研究，然后，通过对减小的图像重复相同类型的分析(执行相同的过滤)，图像被缩放至50％。该过程被迭代，一直到缩放后的图像具有比预定阈值小的尺寸。例如，从VGA图像(640x480)开始并且当图像的较短边小于20像素时停止该过程，获得五个倍频程(640x480、320x240、160x120、80x60、40x30)。
根据本发明实施例的解决方案的其中一个基本概念源于有可能将LoG过滤器(x,y,σ)(其中x、y是图像的空间坐标(即，形成图像的点或像素)并且σ是高斯的标准偏差，其中x、y、σ定义尺度-空间)近似为之前利用n个不同的σ＝σi(i＝1,2,...,n)计算的n个过滤器LoGB(x,y,σi)，下文中称为基本过滤器，的线性组合的观察：
(1)：LoG(x，y，σ)≈p1(σ)LoGB(x，y，σ1)+p2(σ)LoGB(x，y，σ2)+p3(σ)LoGB(x，y，σ3)+...+pn(σ)LoGB(x，y，σn)，
其中p1(σ)，p2(σ)，...，pn(σ)是其值为σ的函数的权重，如随后在本描述中将示出的。来自x和y的空间依赖性为了简化而被省略掉了。
参考图3A中所示的例子，假定已经利用σ1＝1.8，σ2＝2.846，σ3=3.6和σ4＝4.2214计算出四个基础过滤器LoGB(σ1)，LoGB(σ2)，LoGB(σ3)，LoGB(σ4)。对这四个基础过滤器LoGB进行线性组合，有可能将LoG过滤器近似为：
(2)：LoG(x，y，σ)≈p1(σ)LoGB(x，y，1.8)+P2(σ)LoGB(x，y，2846)+P3(σ)LoGB(x，y，3.6)+P4(σ)LoGB(x，y，4.2214).
利用关系(2)，有可能利用等于例如2.5的σ获得LoG过滤器的良好近似：
(3)：LoG(x，y，2.5)≈0.0161LoGB(x，y，1.8)+0.2501LoGB(x，y，2.846)-0.187LoGB(x，y，3.6)+0.0836LoGB(x，y，4.2214)
在图3B中，有可能观察到通过线性组合近似的LoG过滤器(在图的右边)如何类似于明确计算的LoG过滤器(在图的左边)。
权重p1(σ)，p2(σ)，...，pn(σ)是通过求解以下线性等式的***来计算的：
(4)：Ap＝b，
其中：
-A是具有等于基础过滤器LoGB的个数n(在所考虑的例子中，是四)的列数的矩阵，其中每一列表示对应的基础过滤器LoGB。假设通用LoG过滤器可通过m x m方形矩阵表示(其中每个元素对应于一个像素)，A的每一列是通过在列中排列(draw up)每个基础过滤器LoGB的矩阵的列来建立的，从而获得m2个元素的对应列向量。
-b是代表要被近似的LoG过滤器的m2个元素的列向量。
-p是包含通过求解该***确定的权重p1(σ)，p2(σ)，...，pn(σ)(在所考虑的例子中，是p1，p2，p3，p4)的n个元素的向量。
为了求解该***，根据本发明的实施例，有可能使用已知的最小二乘方方法或允许减小观察到的与近似的值之间差异的范数的任何其它方法，如例如被称为“模拟退火”的方法(在这点上，见例如Science 220(4598):671-680上Kirkpatrick,S.,Gelatt,CD,Vecchi,MP(1983)所写的“Optimization by Simulated Annealing”)。
通过选择一组q个要被近似的LoG过滤器，其具有相应的σ＝σ′1，，并且基于关系(4)，有可能计算对n个基础过滤器LoGB当中每一个具有一行并且对要近似的q个LoG过滤器当中每一个具有一列的权重矩阵W，并且为每一列包含权重p1(σ)，p2(σ)，...，pn(σ)，以根据以下关系近似对应于这个列的LoG过滤器：
(5)AW＝D，
其中D是包含q个LoG过滤器(σ′j)(j＝1，2，...，q)的矩阵。
然后，对n个基础过滤器LoGB当中每一个插值权重矩阵W的对应元素有可能确定权重p1(σ)，p2(σ)，...，pn(σ)如何关于σ变化。权重p1(σ)，p2(σ)，...，pn(σ)关于σ被近似的趋势的精度依赖于在关系(5)中考虑的LoG过滤器的个数q(q越高，近似越好)。
图3C示出了显示如何以σ的函数改变之前所考虑的例子的权重p1(σ)，p2(σ)，p3(σ)，p4(σ)的图。在这种情况下，通过为每个权重***13个点来生成曲线，每个点对应于13个不同的σ＝σ′1，σ′2，...，σ′q(即，q＝13)。
为了利用LoG(σ)过滤器过滤图像，执行LoG过滤器与这个图像I的卷积：
(6)：L(σ)＝LoG(σ)*I，
其中L(σ)是应用到图像(在下文中，简单地称为“过滤图像”)的LoG过滤器的结果并且*是卷积符号。
由于卷积是线性运算符，因此，通过采用这个属性，有利地有可能获得任何过滤图像L(σ)的近似(即，对于对应于任何σ的过滤)，而无需明确地计算它。实际上，通过采用这个属性并且将关系(1)代入关系(6)，获得以下关系：
(7)：L(x，y，σ)≈p1(σ)L(x，y，σ1)+p2(σ)L(x，y，σ2)+p3(σ)L(x，y，σ3)+…+pn(σ)L(x，y，σn)
换句话说，由于根据本发明实施例的解决方案，明确地计算过滤减少的次数(即，n)就足以利用n个基础过滤器LoGB(σi)获得n个过滤图像L(σi)(i＝1，2，...，n)，并且采用关系(7)从这些过滤图像L(σi)开始近似通用过滤图像L(σ)。
因此，获得对过滤图像L(σ)的近似足以一次性计算给出用于某个足够大的σ集合的n个权重pi(σ)的值的权重矩阵W(即，通过考虑包含足够数量q个LoG过滤器的矩阵D)，以便满足所需的精度需求。
根据本发明实施例的解决方案的第二个基本概念规定通过依赖于σ的连续值集合的过滤近似函数来近似通用过滤图像L(σ)。
根据本发明的实施例，近似函数是次数为r的多项式，但是在其中这个近似函数是不同函数的情况下，例如函数alog(σ)+bσ2+cσ+d，等效的考虑也适用。但是，多项式的选择是有利的，因为多项式容易处理，因为它们被更快地计算、容易得出并且没有奇异点。
为了根据本发明的一种实施例将近似函数计算为次数为r的多项式，权重矩阵W又按以下方式被近似：
(8)：SF＝WT，
其中S是尺寸为qx(r+1)的矩阵：
其中符号(σ’1)r意味着“σ’1的r次方”，
并且F是包含用来通过σ′1，σ′2，...，σ′q中的次数为r的多项式来近似权重矩阵W的权重的近似的值的矩阵，其中W要被用来近似分别具有σ＝σ′1，σ′2，...，σ′q的LoG过滤器。更具体而言，近似矩阵F是维度为(r+1)x n的矩阵，其中F的每一列被用来进行S的列的线性组合。矩阵S乘以F的第i列是近似包含在WT的第i列中的权重的向量。F的第k列和第i行的通用元素是在对应于(σ′1)(r-k+1)的S的第k列的线性组合中使用的值。为了求解***(8)，根据本发明的实施例，有可能使用已知的最小二乘方方法或允许减小观察到的与近似的值之间差异的范数的任何其它方法。
将关系(8)代入(5)，获得：
(10)：AFTST≈D.
因此，基于关系(10)，根据本发明的实施例，有可能近似具有任何σ的过滤器LoG(σ)，从而通过与矩阵FT相乘来进行包含在矩阵A中的基础过滤器LoGB(σi)的值的线性组合，并且利用该结果作为σ中次数为r的多项式的系数，如以下所指示的：
其中(：)是指示在该符号前面的矩阵被变换成向量的符号，这种变换是通过在列中排列矩阵的各个列来获得的。
应当指出的是，给定由包含在矩阵A中的基础过滤器LoGB(σi)形成的基础，矩阵F只被计算一次，并且被用来近似任何过滤器LoG(σ)。
如前面所做的，利用卷积的线性属性，并且将关系(11)代入关系(6)，获得：
其中L(σ)表示利用过滤器LoG(σ)过滤的通用图像，并且L(σi)(i＝1，2，...，n)表示通过n个基础过滤器LoGB(σi)过滤的图像。
换句话说，通过扩充关系(12)，根据本发明的一种实施例，通用过滤图像L(x，y，σ)可以利用以下近似函数来近似：
(13)：L(x，y，σ)≈cr(x，y)σr+c(r-1)(x，y)σ(r-1)+…+c1(x，y)σ+c0(x，y)，
其中近似函数的多项式的(r+1)个系数cr，...，c0是利用n个基础过滤器LoGB(σi)的过滤图像L(σi)(i＝1，2，...，n)的函数并且是矩阵F的函数，并且作为x和y坐标的函数从像素到像素变化。这种近似在其中σ在单个倍频程中变化的间隔(间隔的端点是可以设置的参数)中是有效的。
根据一种实施例，近似函数的多项式的次数r有利地等于3，因为发现其是计算的复杂性与近似的精度之间的良好折中。具体而言，对于r＝3，通用过滤图像L(x，y，σ)可以利用以下近似函数来近似：
(14)：L(x，y，σ)≈c3(x，y)σ3+c2(x，y)σ2+c1(x，y)σ+c0(x，y)
为了得到通过作为三次多项式的近似函数获得的近似的优势的构思，比较图4A与图4B，其中图4A显示通过与具有等于2.5的σ的LoG过滤器进行卷积从图2A的图像获得的过滤图像，并且图4B表示通过利用具有σi＝1.8、2.846、3.6和4.2214的四个基础过滤器LoGB(σi)经由近似函数(14)来近似具有等于2.5的σ的LoG过滤器而从图2A的相同图像获得的过滤图像。图4C是从图4A的图像与图4B的图像之间的差异得出的图像。如可以通过观察图4C看到的，通过利用LoG的显式卷积过滤的图像(图4A)与通过近似函数(14)过滤的图像(图4B)之间的差异接近零。
如下文中将详细描述的，根据本发明的一种实施例，刚描述过的近似函数的工具有利地被用来识别任何数字图像I中要用于执行后续图像分析的关键点的集合。
根据本发明一种实施例识别数字图像I的关键点的过程是依据在图5A-5B中所示的流程图100中的功能块来说明的。
在移至详细地描述这个过程的功能块之前，应当指出的是，近似函数的构造要求使用近似矩阵F(见关系(12))，该矩阵F有利地被计算一次，例如在之前的训练阶段，然后被用来近似应用到任何图像I的任何过滤器LoG(σ)。在这个训练阶段期间，选择一组n个基础过滤器LoGB(σi)(i＝1，2，...，n)，其中σi＜σi+1，以及一组q个过滤器LoG(σ′j)(j＝1，2，...，q)，并且如前所述计算近似矩阵F(见关系(10))。
现在转向图5A-5B，该过程的第一阶段提供，从通用图像I开始，计算通过基础过滤器LoGB(σi)过滤的n个对应图像，即，计算L(σi)(i＝1，２，...，n)(方框102)。
在这个时候(方框104)，选择在其中执行以下操作的σ中的工作范围。如在以下描述中将变得清晰的，通过选择工作范围的下端为σi＝1，并且选择工作范围的上端为σi＝n，有可能避免在该过程的随后阶段中进行一些计算。
然后选择图像I的点(xt，yt)(方框106)，诸如协调点(xt＝0，yt＝0)，以对其执行与方框108-124相关的操作。
然后，在被选点(xt，yt)的过滤图像L(xt，yt，σ)通过利用关系(12)计算近似函数(例如，次数为r的多项式)来近似，其中x＝xt并且y＝yt(方框108)。例如，在r＝3的情况下，过滤图像L(xt，yt，σ)是通过以下σ的三次多项式函数来近似的(具有依赖于(xt，yt)的系数)：
c3(xt，yt)σ3+c2(xt，yt)σ2+c1(xt，yt)σ+c0(xt，yt)。
让图像中的点成为关键点的必要条件是那个点在围绕这个点的尺度-空间(x，y，σ)的一部分中具有极值。根据本发明的实施例，由于过滤图像L(x，y，σ)通过依赖于σ的近似函数被近似的事实，确定点是否具有极值可以有利通过比较这个点的近似函数在σ中的趋势与相邻点的近似函数在σ中的趋势来执行。
为此，在下一步(方框110)中，近似函数的一阶导数关于σ被计算，并且检查是否–并且，在肯定的情况下，在哪里–这个导数取所考虑的σ范围中等于零的值(不包括端点)，以便识别可能的最大或最小点。利用多项式作为近似函数，有可能容易地非常快地计算导数。参考所考虑的例子，在点(xt，yt)的过滤图像的一阶导数L(x，y，σ)等于：3c3(xt，yt)σ2+2c2(xt，yt)σ+c1(xt，yt)。
如果这个一阶导数取σ范围中至少一个点σm中的值零–不包括这个范围的端点-(方框112的输出分支是)，则过程规定计算由近似函数在所述至少一个σm取的值(方框114)并且比较近似函数的这个值与由相同近似函数取的、与所考虑的σ范围的端点一致的值(方框116)。如果在方框104确定的σ范围具有下端σi＝1和上端σi＝n，则甚至没有必要计算在该范围端点处的近似函数的值，因为这些值已经在方框102中作为过滤图像L(σ1)，L(σn)通过基础过滤器LoGB(σ1)，LoGB(σn)被计算了(没有近似)。
通过在方框116中执行的比较，可以确定σm是否也是在所考虑的σ范围中近似函数的全局最大(或最小)点或者它仅仅是局部最大(或最小)点。
如果确定σm是近似函数关于σ的全局最大(或最小)点(方框118的输出分支是)，则已经确定了近似函数的当前系数cr，...，c0的值的对应被选点(xt，yt)是潜在的关键点。在这种情况下(方框120)，点的坐标(xt，yt)，σm的值以及为σm计算的近似函数的值被***第一个表的元素中，该表被识别为“潜在关键点”表。应当指出的是，对于属于第一个表的每个点，还获得与那个点关联的显著细节的直径的评估，等于2*sqrt(2)*σm。
相反，如果确定σm不是近似函数关于σ的全局最大(或最小)点(方框118的输出分支否)，或者在近似函数的导数不取σ范围中至少一个点σm中的零值的情况下–不包括这个范围的端点-(方框112的输出分支否)，则确定了近似函数的当前系数cr，...，c0的值的对应被选点(xt，yt)不是潜在的关键点。在这种情况下(方框122)，点的坐标(xt，yt)和为σm计算的近似函数的值被***第二个表的元素中，该表被识别为“丢弃点”表。
根据本发明的另一种实施例，为了让点被看作潜在的关键点，然后被***第一个表，对应的全局最大(或最小)点σm必须进一步满足包括在方框104中选择的工作范围的子集中的条件，这种子集具有大于σi＝1的下端和小于σi＝n的上端。以这种方式，只有碰巧在近似函数关于其的行为在σm的足够大的邻居，诸如具有大约0.1的最小尺寸的邻居(关于σ)，中已知的σm中的最大和最小点。
而且，为了防止会危及关键点的正确识别的伪像的出现，属于图像边界的图像点直接被丢弃–并且因此被***第二个表–而不管是否存在可能的全局最大(或最小)点。
应当指出的是，对于坐标为(xt，yt)的每个点，有可能存在更多的最大和/或最小点。在这种情况下，在最大点的情况下，可以考虑仅具有更高L(xt，yt，σ)值的点，而在最小点的情况下，可以考虑仅具有更低L(xt，yt，σ)值的点。
根据本发明的另一实施例，代替对每个点使用σ中的相同工作范围，有可能使用各自不同的工作范围。例如，近似函数的局部最大(或最小)点可以关于作为包括σm的工作范围的子间隔并且具有依赖于σm的端点的σ范围被认为是全局最大(或最小)。在这个时候，执行检查，以确定被选点(xt，yt)是否是图像I的最后一个点(方框124)。
在否定的情况下(方框124的输出分支否)，选择图像的新点(xt，yt)(方框126)，并且上述操作对该新点重复(返回方框108)。
在肯定的情况下(方框124的输出分支是)，图像的所有点在第一或第二个表中被分类。
图6A通过灰度级示出了通过近似函数对示例性图2A的图像的每个点取的最大值的例子，其中更亮的颜色对应于更高的值。图6B通过灰度级示出了通过近似函数对示例性图2A的图像的每个点取的最小值的例子，在这种情况下也是更亮的颜色对应于更高的值。图6C和6D以黑色示出了图2A的图像的哪些点分别是作为潜在关键点(即，包括在第一个表中的点)的候选的最大和最小点的例子。
根据本发明的实施例，图5A-5B的关键点识别过程的后续操作提供对属于第一个表的、在近似函数中具有最大值的图像的每个点(xt，yt)验证在识别出的最大值的值σm的所述点的近似函数的值是否也大于由图像中与那个点相邻的八个点的近似函数取的最大值。以类似的方式，对属于第一个表的、在近似函数中具有最小值的图像的每个点(xt，yt)，验证在识别出的最小值的值σm的所述点的近似函数的值是否也小于由图像中与那个点相邻的八个点的近似函数取的最小值。
考虑最大点(类似的考虑也可以适用于最小点)，根据本发明的一种实施例，从第一个表中选择点(xt，yt)，并且该点的近似函数的最大值–可从第一个表中的对应元素获得–与图像中八个相邻点的近似函数的最大值–可通过第一和/或第二个表中对应于那些相邻点的元素获得–进行比较(方框130)。要强调的是，八个相邻点当中每一个又可以是潜在的关键点(在这种情况下，点在第一个表中列出)或者已经被丢弃的点(在这种情况下，点在第二个表中列出)。如果被选点中近似函数的最大值看起来大于相邻点的近似函数的所有最大值(方框132的输出分支是)，则那个点仍然被认为是潜在的关键点，并且因此留在第一个表中(方框134)。如果被选点中近似函数的最大值不大于相邻点的近似函数的所有最大值(方框132的输出分支否)，则那个点不再被认为是潜在的关键点，并且因此从第一个表中除去，并***第二个表(方框136)。然后，执行检查，以确定是否在第一个表中列出的所有点都已经被比较。在否定的情况下(方框138的输出分支否)，从第一个表中选择新点(方框140)，并且对这个新点再次执行方框132-136的操作。在肯定的情况下(方框138的输出分支是)，潜在关键点的初始筛选结束。
利用根据本发明实施例的解决方案，有可能以快速高效的方式关于相邻点中过滤图像的行为评估在图像的通用点中过滤图像的行为，简单地是通过比较那个点的近似函数的趋势与相邻点的近似函数的趋势。
返回图6C和6D中所示的例子，图7A和7B分别以黑色示出了在执行方框130-140的过程之后仍然留在第一个表中(即，仍然是潜在的关键点)的对应最大和最小点。
根据本发明的实施例，第一个表中剩余的潜在关键点从此之后独立于它们是最大或最小点的事实被考虑。
根据本发明实施例的关键点识别过程还包括从潜在关键点的第一个表中除去被认为具有差稳定性的那些点，即，属于这样一种场景的元素的关键点，当以不同的方式观察该场景或具有不同的照明条件时，该关键点会关于它们位于其上的对象改变位置，或者不再能够被检测到。根据本发明的实施例，通过执行以下三种稳定性测试当中的一种或多种来确定稳定性。
根据本发明一种实施例的第一种稳定性测试(方框142)提供从第一个表中丢弃其在对应σm计算的近似函数的绝对值低于某个阈值的点。这些点属于图像中其对比度低于(由阈值确定的)最小对比度的区域。这种验证还允许消除仅仅由于通过近似函数执行的近似而被识别为关键点的可能点。在实践当中，与具有均匀颜色的区域(因此具有非常低对比度的区域)一致，当σ变化时过滤掉属于所述区域的点的结果应当具有几乎恒定并接近零的值，并且因此应当具有扁平的趋势，但是采用近似函数的近似往往生成(尤其是如果近似函数是多项式的话)仅仅由于近似被引入的、接近零的局部最大或最小值，这可以允许点被归类为关键点，而不是被丢弃。
根据本发明一种实施例的第二种稳定性测试(方框144)规定为第一个表中的每个点并且在图像以这个点为中心的3x3像素片内计算由属于那个片的点中的函数L(x,y,σ)形成的表面的主曲率和(与第一主曲率正交的)次曲率，并且比较那两个曲率，从而计算比率。如果看起来两个曲率相似，则意味着点落在其位置被良好定义的图像区域中，并且点留在第一个表中，而如果两条曲线显著不同，则意味着点落在与边(board)类似的图像区域中，并且因此不是非常可靠，因为其位置或存在显著依赖于场景如何被观察而变化。在这后一种情况下，点从第一个表中被除去。这个测试也在用于关键点识别的已知过程中使用，但是不像其中被用来计算曲率的点的片属于已经过滤的图像的后者，根据本发明的实施例，片是在那时在所考虑的点的σm通过计算点中的过滤图像建立的，以便具有表面的更准确图片，以细节实际所属的尺度。
根据本发明一种实施例的第三种稳定性测试(方框146)提供计算函数L(x,y,σ)的曲率的值(在σ中)，由与点的σm一致计算的近似函数的二阶导数给出。参考之前考虑的对应于三次多项式的近似函数的例子，在点σm的函数L(xt,yt,σ)的曲率等于L″(xt，yt，σm)＝6c3(xt，yt)σm+2c2(xt，yt)。如果曲率的绝对值大于阈值，则点被认为是稳定的，并且因此留在第一个表中。如果曲率的绝对值变得小于阈值，则点被认为不稳定，并且因此从第一个表中被除去。
为了减少计算，用于识别关键点的过程有利地利用倍频程方法执行，即，利用总是相同的σ的工作范围，通过对图像I的越来越缩放的版本重复到目前为止所描述的所有操作。
为此，根据本发明的一种实施例，在执行到目前为止所描述的操作之后，执行对第一个表中列出的点的坐标的精炼(方框148)。到这个时候，事实上，第一个表中列出的每个点的坐标(xt，yt)对应于原始图像I的像素的实数和整数坐标。如果未执行所述精炼，则在更高倍频程中识别出的点的坐标将造成不以对应显著细节为中心的关键点的识别，在所述倍频程中，图像被缩放图像的原始尺寸的一半、四分之一、八分之一、等等，在满分辨率返回。坐标的精炼过程针对更精确地确定显著细节的中心。
为了执行这种精炼，根据本发明的实施例，与前面所述类似的方法在σ变化时利用近似函数近似在点的过滤图像。在这种情况下，被近似的代替地是当第一个表中列出的通用点(xt，yt)的邻居中空间坐标xt-u和yt-v改变时被过滤的图像，从而将σ固定在对应的σm值。
例如，根据本发明的一种实施例，当x和y改变时被过滤的图像可以通过近似函数来近似，例如，两个变量u和v的二次多项式：
(15)：L(xt-u，yt-v，σ)≈l5(xt，yt，σ)u2+l4(xt，yt，σ)v2+l3(xt，yt，σ)uv+l2(xt，yt，σ)u+l1(xt，yt，σ)v+l0(xt，yt，σ)
以类似于已经描述的方式，近似函数的系数作为通过LoG过滤获得的一些过滤图像的线性组合来计算。例如，根据本发明的实施例，系数是中心在点(xt，yt)的3x3点中过滤图像的组合，其中σ处于值σm(即，处于用于计算主和次曲率之比的片的值)。一般而言，为了获得系数，近似矩阵G以与上述近似矩阵F相同的方式建立，并且所述矩阵乘以片的LoG过滤器。然后，近似函数接受对最大或最小值的识别的操作(依赖于点(xt，yt)是否已经被识别为最大或最小值)，对应于其中关于u的一阶导数和关于v的一阶导数等于零的点。作为中心在点(xt，yt)的片，求解通过使关于u的一阶导数和关于v的一阶导数等于零而给出的***的u和v提供要应用到坐标(xt，yt)的移位。根据本发明的实施例，如果计算出该移位至少沿u或沿v大于图像的像素的绝对值，则该点从第一个表中被丢弃。这后一种情况是不常见的，但是仍然可能出现，因为识别尺度-空间(x,y,σ)中极值的整个过程首先沿σ、然后沿x和y发生。根据本发明的实施例，假如要增加所需的计算和过程的复杂性，将有可能利用x、y和σ的单个函数近似过滤图像。
在这个时候，留在第一个表中的所有点在所考虑的倍频程中被识别为图像I的关键点(方框150)。对于每个关键点，已知其在图像中的位置(坐标(xt，yt)，有可能根据方框148的精炼阶段经过修改)和关联的显著细节的尺寸(等于2*sqrt(2)*σm)。
图8A示出了在图2A所示的示例性图像的第一倍频程中被识别为关键点的点。每个关键点用中心在该关键点的位置的圆圈识别，并且具有与关联的显著细节的直径成比例的直径。
返回图5A-5B，在这个时候，验证到目前所考虑的倍频程是否是一组被选的倍频程(例如，五个倍频程)当中至少一个。在肯定的情况下(方框151的输出分支是)，过程完成，否则(方框151的输出分支否)，计算要传递到下一个倍频程的图像的缩放版本(方框152)，然后关键点识别过程在新的倍频程中再次迭代(返回到方框102)。在对足够多的倍频程(例如，五个)重新迭代该过程之后，关键点识别过程终止。
图8B示出了在图2A中所示的样本图像的所有考虑的倍频程中–在所考虑的例子中是五个–被识别为关键点的点。
根据本发明的实施例，代替直接计算对应于下一个倍频程的缩放图像，图像的缩放版本可以通过选择用于基础过滤器LoGB(σi)的σi来近似，使得其中一个这种σi是第一个σi＝1(这是所考虑的σi中最小的)的两倍，并且过滤图像可以利用是σ1的两倍的这种σi来欠采样(水平和垂直地都每两个像素中取一个)。以这种方式，获得如果利用基本过滤器LoGB(σ1)进行过滤则缩放至50％的图像将如何产生的良好近似。对于欠采样，因此获得利用第一个基础过滤器LoGB(σ1)过滤的下一个倍频程的图像。对应于通用基本过滤器LoGB(σi)的、缩放至50％的图像的过滤是通过利用前一个基础过滤器LoGB(σi-1)过滤缩放至50％的图像来获得的。在各个倍频程中提取出的关键点的x、y坐标和尺度σ随后被报告给原始图像I的尺寸。
前面的描述示出并详细描述了本发明的各种实施例；但是，在不背离由所附权利要求定义的范围的情况下，对于所描述的实施例存在几种可能的修改，以及本发明的不同实施例。
例如，虽然在给出的描述中参考计划对所有图像点(不包括其边缘上的点)执行操作的、用于识别关键点的过程，但是类似的考虑可以在仅所述点的子集接受这种操作的情况下适用。
此外，虽然在本描述中参考基于LoG或DoG的过滤器，其中确定这种过滤器的过滤强度的过滤参数是高斯函数的标准偏差，但是类似的考虑在其中过滤器基于图像的平滑版本的差异获得的情况下适用。

Claims (14)

1.一种用于识别包括一组像素的数字图像中的关键点的方法，每个像素具有与其关联的图像代表性参数的相应值，所述方法包括：
-近似过滤图像，所述过滤图像依赖于过滤参数并且对图像的每个像素包括过滤函数，该过滤函数依赖于该过滤参数来计算该像素的代表性参数的值的过滤后的值，所述近似包括：
a)生成一组基础过滤图像，每个基础过滤图像是利用过滤参数的相应值过滤的图像；
b)对于所述一组像素的至少子集的每个像素，基于基础过滤图像通过相应的近似函数来近似过滤函数，所述近似函数是在过滤参数的预定义范围内的过滤参数的函数；
-对于所述子集的每个像素，如果近似函数具有以下局部极值：该局部极值关于在所述预定义范围内的相应子范围中的过滤参数也是全局极值，则将该像素识别为候选关键点；
-对于每个被识别为候选关键点的像素：
c)比较由近似函数在对应于该像素的全局极值的过滤参数的值处取的值与由图像中相邻像素的近似函数在这种相邻像素的相应全局极值的过滤参数的值处取的值，及
d)基于这种比较来选择该像素。
2.如权利要求1所述的方法，其中所述基于基础过滤图像通过相应的近似函数来近似过滤函数包括基于所述基础过滤图像的线性组合计算所述近似函数。
3.如权利要求2所述的方法，其中所述近似函数是基于所述基础过滤图像的所述线性组合的另一近似。
4.如权利要求3所述的方法，其中所述近似函数是以过滤参数作为变量的多项式。
5.如权利要求4所述的方法，其中所述多项式的系数是基于基础过滤图像并基于所述线性组合的权重的近似来计算的。
6.如权利要求1至5中任一项所述的方法，还包括从被选像素中丢弃像素，其中在对应于所丢弃像素的全局极值的过滤参数处由近似函数取的值具有小于第一阈值的绝对值。
7.如权利要求1至5中任一项所述的方法，还包括：
-对于被选像素中的每个被选像素，计算在以这个被选像素为中心的片中所包含的图像的像素中由过滤函数形成的表面的主曲率和次曲率；
-基于主曲率与次曲率之比，从被选像素中丢弃这个被选像素或在被选像素中维持这个被选像素。
8.如权利要求1至5中任一项所述的方法，还包括：
-对于被选像素中的每个被选像素，关于在对应全局极值的过滤参数计算由近似函数的二阶导数取的值，及
-基于由二阶导数取的该值，从被选像素中丢弃这个被选像素或在被选像素中维持这个被选像素。
9.如权利要求1至5中任一项所述的方法，其中，利用过滤参数的相同的预定义范围，所述识别关键点还对图像的至少缩放版本重复。
10.如权利要求9所述的方法，其中：
-基础过滤图像的过滤参数的至少一个值等于其它基础过滤图像的过滤参数的值中最低值的两倍；
-图像的所述缩放版本是通过从具有过滤参数的最低值的基础过滤图像的近似版本开始近似基础过滤图像获得的，基础过滤图像的所述近似版本是通过利用作为过滤参数的最低值的两倍的过滤参数的该值欠采样基础过滤图像来近似的。
11.如权利要求1至5中任一项所述的方法，其中所述过滤图像是根据基于高斯拉普拉斯的过滤器或基于高斯差的过滤器的应用，并且所述过滤参数是高斯函数的标准偏差。
12.如权利要求4和5中任何一项所述的方法，其中所述多项式是关于过滤参数的三次多项式。
13.如权利要求1至5中任一项所述的方法，其中图像的每个像素具有识别图像中的像素的位置的至少一个对应坐标；所述方法还包括基于关于坐标的这种变化近似像素中的过滤函数的另一近似函数通过计算坐标的对应变化来为每个被选像素修改该像素的所述至少一个坐标，所述另一近似函数是：
1)基于在对应于被选像素的全局极值的过滤参数的值处该被选像素的过滤函数，及
2)基于在对应于被选像素的全局极值的过滤参数的值处图像中与该被选像素相邻的像素的过滤函数。
14.如权利要求13所述的方法，其中所述计算坐标的变化包括关于坐标的变化识别另一近似函数中的最大或最小点并且基于识别出的最大或最小值点设置坐标的这种变化。
CN201480041493.1A 2013-07-24 2014-07-23 关键点识别 Active CN105493105B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT001244A ITMI20131244A1 (it) 2013-07-24 2013-07-24 Identificazione di keypoint
ITMI2013A001244 2013-07-24
PCT/EP2014/065808 WO2015011185A1 (en) 2013-07-24 2014-07-23 Keypoint identification

Publications (2)

Publication Number Publication Date
CN105493105A CN105493105A (zh) 2016-04-13
CN105493105B true CN105493105B (zh) 2018-12-28

Family

ID=49118659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480041493.1A Active CN105493105B (zh) 2013-07-24 2014-07-23 关键点识别

Country Status (12)

Country Link
US (1) US10152646B2 (zh)
EP (1) EP3025273B1 (zh)
JP (1) JP6499647B2 (zh)
KR (1) KR102195826B1 (zh)
CN (1) CN105493105B (zh)
BR (1) BR112016001377B1 (zh)
CA (1) CA2918947C (zh)
ES (1) ES2939244T3 (zh)
IT (1) ITMI20131244A1 (zh)
MX (1) MX350657B (zh)
RU (1) RU2663356C2 (zh)
WO (1) WO2015011185A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9576218B2 (en) * 2014-11-04 2017-02-21 Canon Kabushiki Kaisha Selecting features from image data
US10762349B2 (en) 2015-12-30 2020-09-01 Telecom Italia S.P.A. System for generating 3D images for image recognition based positioning
EP3239896B1 (en) 2016-04-28 2018-11-28 Joanneum Research Forschungsgesellschaft mbH Data structure for describing an image sequence, and methods for extracting and matching these data structures
CN106056636B (zh) * 2016-05-31 2019-04-02 公安部禁毒情报技术中心 一种***片剂的标识特征信息提取方法
CN108648206B (zh) * 2018-04-28 2022-09-16 成都信息工程大学 一种Robert边缘检测膜计算***及方法
CN111080674B (zh) * 2019-12-18 2023-11-14 上海无线电设备研究所 一种基于混合高斯模型的多目标isar关键点提取方法
CN113627528A (zh) * 2021-08-11 2021-11-09 江南大学 一种基于人眼视觉深度学习的国画所属画家自动识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102763123A (zh) * 2009-12-02 2012-10-31 高通股份有限公司 通过使查询图像和模型图像中的检测到的关键点成群集而进行特征匹配
CN102859535A (zh) * 2010-04-20 2013-01-02 高通股份有限公司 从预先计算的尺度空间产生Daisy描述符

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US20050289519A1 (en) * 2004-06-24 2005-12-29 Apple Computer, Inc. Fast approximation functions for image processing filters
JP4605445B2 (ja) * 2004-08-24 2011-01-05 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7751639B1 (en) * 2005-04-20 2010-07-06 University Of East Anglia Obtaining intrinsic images
US8582889B2 (en) * 2010-01-08 2013-11-12 Qualcomm Incorporated Scale space normalization technique for improved feature detection in uniform and non-uniform illumination changes
RU2438174C1 (ru) * 2010-06-15 2011-12-27 Общество с ограниченной ответственностью "Томсклаб" Способ распознавания объектов
US9141871B2 (en) * 2011-10-05 2015-09-22 Carnegie Mellon University Systems, methods, and software implementing affine-invariant feature detection implementing iterative searching of an affine space

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102763123A (zh) * 2009-12-02 2012-10-31 高通股份有限公司 通过使查询图像和模型图像中的检测到的关键点成群集而进行特征匹配
CN102859535A (zh) * 2010-04-20 2013-01-02 高通股份有限公司 从预先计算的尺度空间产生Daisy描述符

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Steering in Scale Space to Optimally Detect Image Structures;Jeffrey Ng 等;《Computer Vision - ECCV 2004》;20040422;482-494 *

Also Published As

Publication number Publication date
EP3025273A1 (en) 2016-06-01
RU2016103624A3 (zh) 2018-05-21
CN105493105A (zh) 2016-04-13
MX2016000994A (es) 2016-04-19
RU2016103624A (ru) 2017-08-29
CA2918947C (en) 2022-07-12
BR112016001377B1 (pt) 2023-01-24
KR20160034928A (ko) 2016-03-30
CA2918947A1 (en) 2015-01-29
MX350657B (es) 2017-09-12
ES2939244T3 (es) 2023-04-20
US10152646B2 (en) 2018-12-11
WO2015011185A1 (en) 2015-01-29
EP3025273B1 (en) 2022-11-30
US20160155014A1 (en) 2016-06-02
BR112016001377A2 (zh) 2017-08-29
RU2663356C2 (ru) 2018-08-03
ITMI20131244A1 (it) 2015-01-25
KR102195826B1 (ko) 2020-12-29
JP6499647B2 (ja) 2019-04-10
JP2016527634A (ja) 2016-09-08

Similar Documents

Publication Publication Date Title
CN105493105B (zh) 关键点识别
CN108288027B (zh) 一种图像质量的检测方法、装置及设备
US10592764B2 (en) Reconstructing document from series of document images
CN108564092A (zh) 基于sift特征提取算法的向日葵病害识别方法
CN108509925B (zh) 一种基于视觉词袋模型的行人重识别方法
CN110569774B (zh) 基于图像处理与模式识别的折线图图像自动数字化方法
CN109242787A (zh) 一种中小学艺术测评中绘画录入方法
WO2021220829A1 (ja) 個体識別システム、個体識別プログラム、及び記録媒体
JP6517652B2 (ja) 物体顕著性マップ算出装置、方法、及びプログラム
WO2016117564A1 (ja) プログラム、情報記憶媒体及び認識装置
CN108985294B (zh) 一种轮胎模具图片的定位方法、装置、设备及存储介质
KR101766787B1 (ko) Gpu장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법
CN112101448B (zh) 一种屏幕图像识别方法、设备、***和可读存储介质
Weinmann et al. Material recognition for efficient acquisition of geometry and reflectance
RU2541136C1 (ru) Способ распознавания изображений лиц и система для его осуществления
JP2019046184A (ja) 画像処理装置、訓練画像処理装置、画像識別装置、訓練画像処理方法、画像識別方法、及びプログラム
WO2021220826A1 (ja) 個体識別システム
WO2021220827A1 (ja) 個体識別システム
CN114241369A (zh) 一种实验用头戴式***头智能赋分方法
RU2767281C1 (ru) Способ интеллектуальной обработки массива неоднородных изображений
JP7377163B2 (ja) 個体識別システム
KR100983779B1 (ko) 도서 정보 서비스 장치 및 방법
Giuffrida et al. Pheno-deep counter: the universal and versatile deep learning architecture for leaf count
Awad et al. A new hybrid texture-perceptual descriptor: application cbir
Thongtaweechaikij et al. Text Extraction by Optical Character Recognition-Based on the Template Card

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant