CN108369650A - 将校准图案的图像内的候选点标识为该校准图案的可能特征点的方法 - Google Patents

将校准图案的图像内的候选点标识为该校准图案的可能特征点的方法 Download PDF

Info

Publication number
CN108369650A
CN108369650A CN201680069603.4A CN201680069603A CN108369650A CN 108369650 A CN108369650 A CN 108369650A CN 201680069603 A CN201680069603 A CN 201680069603A CN 108369650 A CN108369650 A CN 108369650A
Authority
CN
China
Prior art keywords
pixel
pattern
sub
image
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680069603.4A
Other languages
English (en)
Other versions
CN108369650B (zh
Inventor
W·德沃拉科夫斯基
R·德鲁考兹
K·冈勒斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delphi Technologies PLC
Original Assignee
Delphi Technologies PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Technologies PLC filed Critical Delphi Technologies PLC
Publication of CN108369650A publication Critical patent/CN108369650A/zh
Application granted granted Critical
Publication of CN108369650B publication Critical patent/CN108369650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种将校准图案的图像内的候选点标识为该校准图案的可能特征点的方法,该方法包括以下步骤:确定从校准图案的图像导出的滤波图像内的斑点,其中,斑点被限定为滤波图像的、具有超过阈值的像素值的一组相干像素;针对每个确定的斑点,计算所确定的斑点的中心点;以及将所有计算出的中心点标识为候选点。

Description

将校准图案的图像内的候选点标识为该校准图案的可能特征 点的方法
本发明涉及用于将校准图案的图像内的候选点标识为该校准图案的可能特征点的方法。
这种校准图案例如可以被用于校准安装至车辆上的摄像机的取向。该校准图案的图像然后借助于该摄像机获取。尤其对于这种校准来说,而且对于不同背景下的不同的可能目的来说,在该校准图案的图像内标识校准图案的特征点可能是必要的。然而,这样的特征点可能无法通过单一程序或单一标准进行标识。因此,可能有用的是,首先标识具有待标识的特征点的一些必要特征的候选点,然而,这些特征不足以可靠标识校准图案的“真实”特征点。结果,候选点理想地包括所有待标识的特征点,可是它们还可能包括仅在一定程度上类似特征点的其它点。
用于标识这种候选点作为校准图案的可能特征点的方法不一定必须针对以拍照方式从校准图案直接获得的图像执行。相反,例如可以按更适合搜索候选点的方式对图像进行预处理。
具体来说,候选点可以由图像的像素的像素值的至少局部最大值或最小值来表征。优选地,图像的分辨率使得校准图像的可能特征点在图像中由包括多个像素的区域表示。然后,与周围像素的像素值相比,该区域的像素值可能会形成升高(elevation)或降低(depression)。为了寻找这种升高和降低,可以将图像的每个像素的像素值与阈值进行比较,其中,候选点的位置例如被确定为具有所找到的升高或降低的顶点。然而,由于图像中的噪声或其它错误,标识为候选点的、具有局部最大或最小像素值和/或作为像素值升高或降低的顶点的所有像素都可能导致太多的误报。
本发明的目的是在另选方式并且按更具体的方式以及优选地以更好的分辨率来标识所述候选点。
该目的通过根据权利要求1所述的方法来解决。
所述方法包括:确定从所述校准图案的图像导出的滤波图像内的斑点,其中,斑点被限定为所述滤波图像的、具有超过阈值的像素值的一组相干像素。换句话说,代替直接搜索具有表征它们的特征的单独像素作为校准图案的可能特征点,从滤波图像中优先搜索斑点,即,该图像中的、可能指示特征点的区域。这样的区域包括具有超过阈值的像素值的像素,而相应斑点周围的像素的像素值具体不超过该阈值。该阈值可以是上阈值或下阈值。因此,在一种情况下,超过阈值的斑点的像素都可以具有高于该阈值的像素值,而在另选情况下,它们都可以具有低于该阈值的像素值。
如果校准图案使得该校准图案的图像直接包括指示该校准图案的特征点的斑点,则滤波图像可能与校准图案的图像相同。然而,可能需要以某一方式(尤其是通过滤波)对校准图案的图像进行预处理,以便创建可以接着从中导出相应特征点的斑点。这将在下面更详细地进行示例性说明。
在确定所述斑点之后,针对每个确定的斑点,计算所确定的斑点的中心点,然后将其标识为候选点。具体来说,针对每个确定的斑点,以这种方式获得一个候选点。
根据实施方式,确定所述斑点的步骤包括所述滤波图像的一个像素接一个像素地扫描所述滤波图像,其中,如果扫描像素具有超过阈值的像素值,则暂停所述扫描,并且以最终扫描像素作为当前像素并且以倒数第二扫描像素作为前一像素开始,执行斑点轮廓跟踪。在这方面,确定所述斑点是迭代过程。逐像素地扫描所述滤波图像,直到达到具有超过所述阈值的像素值的像素为止。然后,从该像素开始,可通过斑点轮廓跟踪算法来跟踪相应斑点的轮廓。以这种方式,通过至少基本上沿着具有超过所述阈值的像素值的像素与具有未超过所述阈值的像素值的像素之间的边界来跟踪所述斑点,可以标识所述滤波图像中的斑点。
作为这种斑点轮廓跟踪算法的开始值,最终扫描像素,即,具有超过所述阈值的像素值并引起了执行斑点轮廓跟踪的像素被视为第一个“当前像素”,并且倒数第二扫描像素(其因此具有未超过所述阈值的像素值)被视为第一个“前一像素”。
具体来说,所述斑点轮廓跟踪包括跟踪步骤,其结果是当前像素被记录为斑点的轮廓像素并且确定新的当前像素,其中,该跟踪步骤被重复,直到当前像素再次等于最终扫描像素为止。换句话说,重复跟踪步骤,直到达到所述开始点并因此轮廓闭合为止。
该跟踪步骤具体包括将当前像素记录为轮廓像素;针对与当前像素相邻的邻近像素,评估这样的条件,即,邻近像素是否具有超过阈值的像素值,并且相对于围绕当前像素的旋转方向,恰好在该邻近像素之前的另一邻近像素是否具有未超过所述阈值的像素值;从满足所述条件的所有邻近像素中选择相对于所述旋转方向距所述前一像素最远的邻近像素;以及将当前像素限定为(新的)前一像素并且将选择的邻近像素限定为(新的)当前像素。因此,在单个跟踪步骤中,斑点轮廓跟踪算法从具有超过阈值的像素值的一个像素移动至也具有超过阈值的像素值的邻近像素。
为了选择要移动至下一像素的邻近像素,具体评估当前像素的所有邻近像素。当前像素的邻近像素优先是与该当前像素直接接触的像素。直接接触可以包括公共边界,该公共边界可以是线或者也可以是单个点。因此,在按行和列布置的像素域中,像素具有分别在该像素的四个边中的一个边或该像素的四个角中的一个角处与该像素接触的八个邻近像素。
各个当前像素的所选择的邻近像素一方面必须具有超过阈值的像素值,而另一方面必须接近具有超过阈值的像素值的像素与具有未超过阈值的像素值的像素之间的边界。因此,优选的是,沿着围绕当前像素的旋转方向(例如,顺时针或逆时针)评估邻近像素,并且相对于所述旋转方向,将邻近像素中的一个相应像素的像素值与邻近像素中的恰好前一像素的像素值进行比较。
如果针对一个当前像素,发现了超过一个邻近像素,并且其像素值超过阈值并且其前一邻近像素具有未超过阈值的像素值,则选择最后的这种邻近像素。由此,斑点轮廓跟踪的旋转方向被限定并且对应于连续评估相应当前点的邻近像素的所述旋转方向。
在完成了跟踪所述斑点轮廓之后,即,在重复跟踪步骤已停止之后,因为已再次到达最终扫描像素,所以将所述斑点标识为包括记录的轮廓像素和被所记录的邻近像素包围的像素的一组像素。根据这组像素,接着可以计算出所述斑点的中心点。
此后,可以搜索下一斑点,然后可以跟踪其轮廓。为此,优先将已找到的斑点至少暂时从滤波图像中去除,使得在滤波图像的扫描期间不被多次跟踪。
在实施方式中,计算所确定的斑点的中心点包括以下步骤:通过计算相应第一坐标与所述斑点的每个像素的相应像素值的乘积之和并且将该和除以所述斑点的像素的像素值之和来确定中心点的第一坐标,并且通过计算相应第二坐标与所述斑点的每个像素的相应像素值的乘积之和并且将该和除以所述斑点的像素的像素值之和来确定中心点的第二坐标。这种计算可以被视为将所述中心点确定为相应斑点中的所有点的加权平均值。
在这样实施方式中,所述中心点不仅仅是所述斑点的像素中的具有最大值或最小值的像素,或者仅仅是所述斑点的顶点,而是取决于该斑点的所有像素的像素值。这时,确定斑点的中心点不易因噪声而出错。而且,所述中心点以子像素精度确定,因为由于加权平均,该中心点的所得位置不限于精确的像素位置。与如上限定的加权平均化相比,可以另选地使用用于计算中心斑点的其它方法。
根据实施方式,通过针对校准图案的图像的每个像素,将像素的像素值用处于该像素附近的像素的像素值的平均值替换,从根据校准图案的图像获得的平滑图像导出滤波图像。这具体可以对应于图像的框式滤波(box filtering)或移动平均滤波。平滑度尤其取决于相应像素的所述附近的定义,并且优选地被调节成使得在校准图案保持清晰可识别的同时可以显著降低图像噪声。
在实施方式中,通过分别利用专用于校准图案或者专用于校准图案的子图案的滤波核卷积校准图案的图像或从校准图案的图像导出的平滑图像,从校准图案的图像或从校准图案的图像导出的平滑图像获得滤波图像。这样的卷积尤其适于产生滤波图像,其中,校准图案或子图案从该滤波图像的其余部分突出,而该图像的、不对应于校准图案或子图案的部分(例如,背景)可以在理想地消除。
具体来说,卷积所述图像或所述平滑图像包括以下步骤:通过针对所述图像或所述平滑图像的每个像素,将相应像素的像素值用具有比相应像素小的第一坐标和第二坐标的像素的像素值之和替换,从所述图像或所述平滑图像获得积分图像;以及利用专用于校准图案或者专用于校准图案的子图案的修改的滤波核来卷积积分图像。换句话说,利用滤波核卷积所述图像或平滑图像可以替换成利用修改的滤波器卷积所述图像和平滑图像的积分图像,其中,优选地选择修改的滤波核,使得卷积的结果保持相同。这时,计算力和时间可能会大幅减少,因为积分图像的计算只需要加法,并且修改的内核可以比未修改的内核简单。尤其是,修改的滤波核的大部分系数可以变为零,使得对于该卷积来说,必须计算相当少的乘积。如果修改的滤波核的非零系数是一或负一,则卷积甚至可以被进一步简化成仅几个加法。
根据实施方式,校准图案包括由与该校准图案的背景形成对比的两个相同取向的正方形形成的子图案,其中,一个正方形的角部与另一个正方形的角部重合。这可以被视为具有两行两列的棋盘。尤其是,正方形在白色背景上至少基本上可以是黑色。这种子图案的特征点然后可以是子图案的这两个正方形的角部重合的中心。
如果所述校准包含这样的子图案,则在另一实施方式中,所述滤波核包括与所述子图案相对应的核值域,其中,对于所述域中的点的核值来说,如果所述点对应于所述子图案的任何正方形,则等于一,否则等于零。换句话说,针对所描述的子图案,滤波核也可以是棋盘状的,具有两行两列,并且棋盘的“暗”域具有核值一,而棋盘的“亮”域具有核值零。
在这样的实施方式中,所述修改的滤波核优选地包括与所述子图案相对应的核值域,对于所述域中的点的核值来说:如果所述点对应于任何正方形的角部并且该角部的第一坐标和第二坐标之和小于或大于同一正方形的其它角部的第一坐标和第二坐标的各个和,则等于一;如果所述点对应于任何正方形的角部并且所述角部的第一坐标和第二坐标之和既不小于也不大于同一正方形的其它角部的第一坐标和第二坐标的各个和,则等于负一;否则等于零。
换句话说,只有在正方形的角部中,修改的内核才具有非零核值。角部中的核值是一或负一,其中,左上角部和右下角部的核值为一,而其它角部的核值为负一,反之亦然。
利用校准图案中的所描述的子图案,利用滤波核对校准图案的图像或平滑图像进行卷积或利用修改的滤波核对积分图像进行卷积可以导致滤波图像,其中,所述子图案的正方形的角部呈现为包括具有比滤波图像的其它像素高的像素值的像素的斑点。因此,这样的卷积特别适于对校准图案的图像进行预处理,以供随后通过上述斑点轮廓跟踪来确定滤波图像内的这些斑点。
根据另选实施方式,所述校准图案是至少包括第一子图案和第二子图案的子图案的布置。具体来说,第二子图案是反转的第一子图案。例如,第二子图案可以是明亮的或白色的,并且第一子图案是暗色或黑色的,反之亦然。
利用这样的校准图案,滤波图像具体可以如下从校准图案的图像或从校准图案的图像导出的平滑图像获得:通过利用专用于第一子图案和第二子图案的重叠的滤波核卷积所述图像或所述平滑图像;并且在卷积之后,针对所述图像或所述平滑图像的每个像素,将像素的像素值用像素值的绝对值替换。
这与根据上述实施方式的方法类似。然而,该滤波核现在专用于第一子图案和第二子图案的重叠。例如,可以通过从专用于第一子图案的滤波核中减去专用于第二子图案的滤波核来形成滤波核。这样,滤波核可用于同时检测第一子图案和第二子图案两者。然而,这样的滤波核可以导致滤波图像中、与校准图案的具有高正像素值的第一子图案相对应的斑点和与校准图案的具有高负像素值的第二子图案相对应的斑点。为了能够使用单个阈值来检测所有这些斑点,可以优选的是,在卷积之后,卷积图像的所有像素都将其像素值替换成像素值的相应绝对值。这样,所有斑点都具有正值,而不管它们是对应于第一子图案还是第二子图案。
具体来说,所述图像或所述平滑图像的卷积包括以下步骤:针对所述图像或所述平滑图像的每个像素,将像素的像素值用具有比所述像素小的第一坐标和第二坐标的像素的像素值之和替换,从所述图像或所述平滑图像获得积分图像;并且利用专用于第一子图案和第二子图案的重叠的修改的滤波核来卷积积分图像。如上面针对另一实施方式所描述的,这样的卷积在计算功率和时间方面可以是有利的。
根据实施方式,第一子图案和第二子图案中每个子图案都由与校准图案的背景形成对比的两个相同取向的正方形形成,其中,一个正方形的角部与另一个正方形的角部重合,其中,第一子图案的两个正方形的相对取向垂直于第二子图案的两个正方形的相对取向。具体来说,所述子图案可以与上述子图案相似。然而,关于彼此,第一子图案和第二子图案具体在两个正方形的相对取向上不同。尤其是,这两个子图案皆可以是具有两行两列的棋盘状,其中,在第一子图案中,例如,左上域和右下域是暗色或黑色,而其它域是明亮或白色,而在第二子图案中,例如,右上域和左下域是暗色或黑色,而其它域是明亮或白色。
如果所述校准包含所描述类型的第一子图案和第二子图案,则在实施方式中,所述滤波核包括与第一子图案和第二子图案的重叠相对应的核值域,对于所述域中的点的核值来说,如果所述点对应于第一子图案的任何正方形,则等于一;如果所述点对应于第二子图案的任何正方形,则等于负一;否则等于零。
在这样的实施方式中,所述修改的滤波核优选地包括与第一子图案和第二子图案的重叠相对应的核值域,对于所述域中的点的核值来说,如果所述点对应于第一子图案的任何正方形的角部并且所述角部的第一坐标和第二坐标之和小于或大于同一正方形的其它角部的第一坐标和第二坐标的各个和,则等于一;如果所述点对应于第一子图案的任何正方形的角部并且所述角部的第一坐标和第二坐标之和既不小于也不大于同一正方形的其它角部的第一坐标和第二坐标的各个和,则等于负一;如果所述点对应于第二子图案的任何正方形的角部并且所述角部的第一坐标和第二坐标之和小于或大于同一正方形的其它角部的第一坐标和第二坐标的各个和,则等于负一,如果所述点对应于所述第二子图案的任何正方形的角部并且所述角部的第一坐标和第二坐标之和既不小于也不大于同一正方形的其它角部的第一坐标和第二坐标的各个和,则等于一;否则等于零。
换句话说,所述修改的内核只在棋盘域的角部中具有非零核值。在这些角部中,核值是一或负一,其中,针对棋盘的“暗”域,左上角部和右下角部的核值为一,而其它角部的核值为负一,并且其中,针对棋盘的“明亮”域,右上角部和左下角部的核值为一,而其它角部的核值为负一,反之亦然。
这样的滤波核或修改的核然后可以适于同时确定所述图像或平滑图像内的第一子图案和第二子图案两者。具体来说,这样的内核能够将相应子图案的正方形的角部变换成具有像素值从周围像素的像素值中突出的像素的相应斑点。
而且,本发明的目的通过根据权利要求16所述的计算机程序产品来解决,并且具体地通过具有计算机程序的计算机程序产品来解决,如果该计算机程序在计算装置中执行,则该计算机程序具有用于执行根据上述实施方式中至少一个的方法的软件装置。由于在执行该方法期间计算的优选低复杂度,因而该计算机程序尤其可以适用于在用以获取校准图案的图像的摄像机的微控制器或嵌入式***上执行。
下面,参照附图,进一步对本发明进行示例性描述。
图1示出了利用未示出的摄像机获取的校准图案13的示例性图像11。校准图案13包括十个子图案15、15',它们的表示可以在图像11中识别。存在第一类型的子图案15和第二类型的子图案15'。两种类型的子图案15、15’皆由两个同等取向的正方形形成,其中,一个正方形的角部与另一个正方形的角部重合。其中,第一类型的相应子图案15的两个正方形的相对取向垂直于第二类型的相应子图案15'的两个正方形的相对取向。
五个子图案15、15'沿着第一垂直线排列,并且另五个子图案沿着第二垂直线排列。第一垂直线上的每个子图案15、15'与第二垂直线上的相应子图案15、15'形成一对,使得相应对的两个子图案15、15'在一条水平线上对准。因此,总计有五条水平线。虽然没有描绘两条垂直线和五条水平线,并因此没有明确的校准图案部分,但它们明确地由子图案15、15'限定,具体由这些子图案15、15'的相应特征点来限定。
例如,为了使用水平线和垂直线来校准摄像机的取向,要确定校准图案13的特征点。为此,图像11可以利用具有以下核值的滤波核(filter kernel)k进行卷积:
该滤波核的大小特别地至少近似地修改成图像11中的第一子图案15的大小(以像素为单位)。
另选的是,可以计算图像11的积分图像,然后利用具有以下核值的修改的滤波核k'对积分图像进行卷积:
与图像11的利用未修改的滤波核k直接卷积相比,这导致降低的计算复杂度。
对于具有第一和第二子图案15、15'的校准图案13来说,可以同时使用专用于第一和第二子图案15、15’的滤波核j,并且具有以下核值:
对应的修改的滤波核j’(可以另选地用于积分图像的卷积(而不是利用未修改的滤波核j对图像11进行卷积),以降低计算复杂度)具有以下核值:
利用这样的滤波核j或者这样的修改的滤波核j',将图像11变换成图2所示的滤波图像17。可以从图2看出,校准图案13的第一子图案15和第二子图案15'的正方形的角部在滤波图像17中相对于黑色背景呈现为亮点。然后,可以从相应斑点确定正方形的角部的位置,具体确定为该斑点的根据它们的像素值加权的像素的平均位置。
滤波图像17中的斑点可以通过斑点轮廓跟踪算法来确定,其如上所述并且用于图3中示意性示出的单个斑点19。在这个图中,斑点19包括被示出为有边界的正方形的像素。
在逐行和逐像素扫描滤波图像17期间,当到达具有超出某一阈值的像素值的像素A时,斑点轮廓跟踪开始并围绕斑点19移动,如通过连接轮廓21的像素的箭头所示。针对该轮廓的每个像素,沿着每个可能方向(如轮廓21的像素A至L中的短箭头所指示的八个方向)搜索要移动至的相应下一个像素。顺时针评估相应像素的八个邻近像素,所述评估关于在前一像素的像素值(相对于顺时针旋转方向)不高于阈值的同时这些邻近像素的像素值是否高于阈值。满足该条件的最后邻近像素被选择为下一像素。按这种方式,跟踪整个轮廓21。
在斑点19被跟踪并且其中心点大概已被确定之后,将斑点19从滤波图像17中移除,以便不被滤波图像17的随后恢复的扫描再次跟踪。
图4中示出了扫描通过滤波图像17并跟踪其中找到的所有斑点19的结果。该图示出了图2的滤波图像17被各个斑点19的所确定的轮廓覆盖。可以从图4看出,虽然校准图案13的背景中的结构(参见图1)导致误报(尤其是在被滤波图像17的周边),但斑点19被可靠地标识。尽管如此,所描述的方法允许标识至少是校准图案13的可能特征点的候选点,并且这些候选点可通过对相应斑点19进行平均而利用子像素位置来标识。因此,针对随后从该组候选点中选择校准图案13的真实特征点的方法,需要相当少计算功率的方法可以被用作对图像11的重要预处理。
标号列表
11 图像
13 校准图案
15 第一子图案
15' 第二子图案
17 滤波图像
19 斑点
21 轮廓

Claims (15)

1.一种将校准图案(13)的图像(11)内的候选点标识为该校准图案(13)的可能特征点的方法,该方法包括以下步骤:
-确定从所述校准图案(13)的所述图像(11)导出的滤波图像(17)内的斑点(19),其中,斑点(19)被限定为所述滤波图像(17)的、具有超过阈值的像素值的一组相干像素;
-针对每个确定的斑点(19),计算所确定的斑点的中心点;以及
-将所有计算出的中心点标识为候选点,
其中,确定所述斑点(19)的步骤包括逐个所述滤波图像(17)的像素地扫描所述滤波图像(17),
其中,如果被扫描的像素具有超过所述阈值的像素值,则暂停所述扫描,并且以最终的扫描像素作为当前像素而倒数第二像素作为前一像素开始,执行斑点轮廓跟踪,
所述斑点轮廓跟踪包括以下步骤作为跟踪步骤:
-记录所述当前像素作为轮廓像素;
-针对与所述当前像素相邻的邻近像素,评估这样的条件,即,所述邻近像素是否具有超过所述阈值的像素值以及相对于围绕所述当前像素的旋转方向,恰好在所述邻近像素之前的另一邻近像素是否具有未超过所述阈值的像素值;
-从满足所述条件的所有邻近像素中选择相对于所述旋转方向距所述前一像素最远的所述邻近像素;以及
-将所述当前像素限定为前一像素而将所选择的邻近像素限定为当前像素;
所述斑点轮廓跟踪还包括以下步骤:
-重复所述跟踪步骤,直到所述当前像素再次等于最终扫描像素为止;
-将所述斑点(19)确定为包括所记录的轮廓像素和被所记录的邻近像素包围的像素的所述一组像素。
2.根据权利要求1所述的方法,
其中,计算确定的斑点(19)的中心点包括以下步骤:
-通过以下来确定所述中心点的第一坐标,即,计算相应的第一坐标与所述斑点的每个像素的相应像素值的乘积之和,并且将所述和除以所述斑点的像素的像素值之和;以及
-通过以下确定所述中心点的第二坐标,即,计算相应的第二坐标与所述斑点的每个像素的相应像素值的乘积之和,并且将所述和除以所述斑点的像素的像素值之和。
3.根据前述权利要求中至少一项所述的方法,
其中,通过针对所述校准图案(13)的所述图像(11)的每个像素,将所述像素的像素值用所述像素附近的像素的像素值的平均值替换,从根据所述校准图案(13)的所述图像(11)获得的平滑图像导出所述滤波图像(17)。
4.根据前述权利要求中至少一项所述的方法,
其中,通过利用专用于所述校准图案(13)或专用于所述校准图案(13)的子图案(15、15’)的滤波核分别卷积所述校准图案(13)的所述图像(11)或根据所述图像(11)导出的平滑图像,从所述校准图案(13)的所述图像(11)或所述平滑图像获得所述滤波图像(17)。
5.根据权利要求4所述的方法,
其中,卷积所述图像(11)或所述平滑图像包括以下步骤:
-通过针对所述图像(11)或所述平滑图像的每个像素,将相应像素的像素值用具有比该相应像素小的第一坐标和第二坐标的像素的像素值之和替换,从所述图像或所述平滑图像获得积分图像;以及
-利用专用于所述校准图案(13)或者专用于所述校准图案(13)的所述子图案(15、15’)的修改的滤波核来卷积所述积分图像。
6.根据前述权利要求中至少一项所述的方法,
其中,所述校准图案(13)包括由与所述校准图案(13)的背景形成对比的两个相同取向的正方形形成的子图案(15、15’),其中,一个正方形的角部与另一个正方形的角部重合。
7.根据权利要求4或5以及权利要求6所述的方法,
其中,所述滤波核包括与所述子图案(15、15’)相对应的核值域,
-如果所述域中的点对应于所述子图案(15、15’)的任何正方形,则所述点的核值等于一,否则
-所述点的核值等于零。
8.根据权利要求5和6所述的方法,
其中,所述修改的滤波核包括与所述子图案(15、15’)相对应的核值域,
-如果所述域中的点对应于任何正方形的角部并且该角部的第一坐标和第二坐标之和小于或大于同一正方形的其它角部的第一坐标和第二坐标的各个和,则所述点的核值等于一,
-如果所述域中的点对应于任何正方形的角部并且该角部的第一坐标和第二坐标之和既不小于也不大于同一正方形的其它角部的第一坐标和第二坐标的各个和,则所述点的核值等于负一,否则
-所述点的核值等于零。
9.根据权利要求1至3中至少一项所述的方法,
其中,所述校准图案(13)是至少包括第一子图案(15)和第二子图案(15’)的子图案(15、15’)的布置,具体来说,其中,所述第二子图案(15’)是反转的所述第一子图案(15)。
10.根据权利要求9所述的方法,
其中,所述被滤波图像(17)通过以下步骤根据所述校准图案(13)的所述图像(11)或根据从所述校准图案(13)的所述图像(11)导出的平滑图像获得:
-利用专用于所述第一子图案(15)和所述第二子图案(15’)的重叠的滤波核卷积所述图像(11)或所述平滑图像;以及
-在卷积之后,针对所述图像(11)或所述平滑图像的每个像素,将所述像素的像素值用像素值的绝对值替换。
11.根据权利要求10所述的方法,
其中,卷积所述图像(11)或所述平滑图像包括以下步骤:
-通过针对所述图像(11)或所述平滑图像的每个像素,将所述像素的像素值用具有比所述像素小的第一坐标和第二坐标的像素的像素值之和替换,从所述图像(11)或所述平滑图像获得积分图像;以及
-利用专用于所述第一子图案(15)和所述第二子图案(15’)的重叠的修改的滤波核来卷积所述积分图像。
12.根据权利要求9至11中至少一项所述的方法,
其中,所述第一子图案(15)和所述第二子图案(15’)中每个子图案都由与所述校准图案(13)的背景形成对比的两个相同取向的正方形形成,其中,一个正方形的角部与另一个正方形的角部重合,
其中,所述第一子图案(15)的两个正方形的相对取向垂直于所述第二子图案(15’)的两个正方形的相对取向。
13.根据权利要求10或11以及权利要求12所述的方法,
其中,所述滤波核包括与所述第一子图案(15)和所述第二子图案(15’)的重叠相对应的核值域,
-如果所述域中的点对应于所述第一子图案(15)的任何正方形,则所述点的核值等于一,
-如果所述域中的点对应于所述第二子图案(15’)的任何正方形,则所述点的核值等于负一,否则
-所述点的核值等于零。
14.根据权利要求11和12所述的方法,
其中,所述修改的滤波核包括与所述第一子图案(15)和所述第二子图案(15’)的重叠相对应的核值域,
-如果所述域中的点对应于所述第一子图案(15)的任何正方形的角部并且该角部的第一坐标和第二坐标之和小于或大于同一正方形的其它角部的第一坐标和第二坐标的各个和,则所述点的核值等于一,
-如果所述域中的点对应于所述第一子图案(15)的任何正方形的角部并且该角部的第一坐标和第二坐标之和既不小于也不大于同一正方形的其它角部的第一坐标和第二坐标的各个和,则所述点的核值等于负一,
-如果所述域中的点对应于所述第二子图案(15’)的任何正方形的角部并且该角部的第一坐标和第二坐标之和小于或大于同一正方形的其它角部的第一坐标和第二坐标的各个和,则所述点的核值等于负一,
-如果所述域中的点对应于所述第二子图案(15’)的任何正方形的角部并且该角的第一坐标和第二坐标之和既不小于也不大于同一正方形的其它角部的第一坐标和第二坐标的各个和,则所述点的核值等于一,否则
-所述点的核值等于零。
15.一种具有计算机程序的计算机程序产品,该计算机程序具有在该计算机程序在计算装置中执行的情况下用于执行根据前述权利要求中至少一项所述的方法的软件装置。
CN201680069603.4A 2015-11-30 2016-11-17 标识校准图案的可能特征点的方法 Active CN108369650B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15196965.6A EP3173975A1 (en) 2015-11-30 2015-11-30 Method for identification of candidate points as possible characteristic points of a calibration pattern within an image of the calibration pattern
EP15196965.6 2015-11-30
PCT/EP2016/078011 WO2017093037A1 (en) 2015-11-30 2016-11-17 Method for identification of candidate points as possible characteristic points of a calibration pattern within an image of the calibration pattern

Publications (2)

Publication Number Publication Date
CN108369650A true CN108369650A (zh) 2018-08-03
CN108369650B CN108369650B (zh) 2022-04-19

Family

ID=54782479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680069603.4A Active CN108369650B (zh) 2015-11-30 2016-11-17 标识校准图案的可能特征点的方法

Country Status (4)

Country Link
US (1) US10776953B2 (zh)
EP (2) EP3173975A1 (zh)
CN (1) CN108369650B (zh)
WO (1) WO2017093037A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110888115A (zh) * 2018-08-21 2020-03-17 德尔福技术有限责任公司 对雷达跟踪的潜在静止对象进行分类
CN113115027A (zh) * 2020-01-10 2021-07-13 Aptiv技术有限公司 校准摄像头的方法和***

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3173979A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of characteristic points of a calibration pattern within a set of candidate points in an image of the calibration pattern
EP3174007A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
EP3173975A1 (en) * 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of candidate points as possible characteristic points of a calibration pattern within an image of the calibration pattern
EP3534333A1 (en) 2018-02-28 2019-09-04 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern
EP3534334B1 (en) 2018-02-28 2022-04-13 Aptiv Technologies Limited Method for identification of characteristic points of a calibration pattern within a set of candidate points derived from an image of the calibration pattern
CN111126416A (zh) * 2019-12-12 2020-05-08 创新奇智(重庆)科技有限公司 基于关键点检测的发动机链轮识别***及识别方法
EP3872693A1 (en) 2020-02-28 2021-09-01 Aptiv Technologies Limited Methods and systems for object detection
WO2021236345A1 (en) * 2020-05-20 2021-11-25 Magic Leap, Inc. Piecewise progressive and continuous calibration with coherent context
CN111709927B (zh) * 2020-06-12 2022-05-27 自然资源部四川测绘产品质量监督检验站(四川省测绘产品质量监督检验站) 一种类型异常图斑自动识别方法及***
CN112102402B (zh) * 2020-09-23 2023-08-22 平安科技(深圳)有限公司 闪光灯光斑位置识别方法、装置、电子设备及存储介质
WO2022124865A1 (en) * 2020-12-10 2022-06-16 Samsung Electronics Co., Ltd. Method, device, and computer program for detecting boundary of object in image
CN114111624B (zh) * 2021-10-28 2024-06-21 武汉中观自动化科技有限公司 一种带标记点投射装置的手持三维扫描方法、设备及介质
EP4202860A1 (en) 2021-12-22 2023-06-28 Aptiv Technologies Limited Determining position of the central point of point cloud data
EP4202853A1 (en) 2021-12-22 2023-06-28 Aptiv Technologies Limited Quasi-rotation-invariant shape descriptor
EP4202837A1 (en) 2021-12-22 2023-06-28 Aptiv Technologies Limited A feature describing the shape of spatially distributed data set
CN115278184B (zh) * 2022-07-18 2024-03-15 峰米(重庆)创新科技有限公司 投影画面校正方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101324928A (zh) * 2007-06-13 2008-12-17 夏普株式会社 图像处理方法、图像处理装置和图像形成装置
US20090034848A1 (en) * 2007-07-31 2009-02-05 Akira Sakamoto Image processing apparatus, image forming apparatus, image processing system, and image processing method
CN101802842A (zh) * 2007-08-01 2010-08-11 昙盾特视觉科学有限公司 用于识别图像中的复杂特征点的***和方法
US20100232681A1 (en) * 2009-03-12 2010-09-16 Omron Corporation Three-dimensional vision sensor
CN102096817A (zh) * 2009-12-11 2011-06-15 北大方正集团有限公司 图像稳定特征点的提取方法及其装置
CN102915539A (zh) * 2012-09-26 2013-02-06 北京理工大学 一种基于目标特征构型的位姿测量特征点提取方法
CN104318559A (zh) * 2014-10-21 2015-01-28 天津大学 用于视频图像匹配的特征点快速检测方法
CN104376319A (zh) * 2014-10-22 2015-02-25 西安工程大学 一种基于各向异性高斯核提取封闭边缘图像轮廓的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292171B1 (en) * 1999-03-31 2001-09-18 Seiko Epson Corporation Method and apparatus for calibrating a computer-generated projected image
JP3929384B2 (ja) * 2002-10-23 2007-06-13 オリンパス株式会社 ファインダ、撮影装置、マーカ提示部材、及び、キャリブレーションのための撮影方法
EP1764996A1 (en) * 2005-09-20 2007-03-21 Agfa Graphics N.V. A method and apparatus for automatically aligning arrays of printing elements
US20080170228A1 (en) * 2007-01-17 2008-07-17 Micron Technology, Inc. Method and apparatus for wafer level calibration of imaging sensors
TWI517670B (zh) * 2012-12-28 2016-01-11 財團法人工業技術研究院 車用鏡頭之自動化校正與應用其之影像轉換方法與裝置
US9122267B2 (en) * 2013-02-21 2015-09-01 Mitsubishi Electric Corporation Interference checking device and numerical control apparatus
JP6079333B2 (ja) * 2013-03-15 2017-02-15 株式会社リコー 校正装置、方法及びプログラム
JP6217227B2 (ja) * 2013-08-12 2017-10-25 株式会社リコー 校正装置、方法及びプログラム
JP6427900B2 (ja) * 2014-03-07 2018-11-28 株式会社リコー 校正方法、校正システム、プログラム及び移動体
EP3173975A1 (en) * 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of candidate points as possible characteristic points of a calibration pattern within an image of the calibration pattern
EP3173979A1 (en) * 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of characteristic points of a calibration pattern within a set of candidate points in an image of the calibration pattern

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101324928A (zh) * 2007-06-13 2008-12-17 夏普株式会社 图像处理方法、图像处理装置和图像形成装置
US20090034848A1 (en) * 2007-07-31 2009-02-05 Akira Sakamoto Image processing apparatus, image forming apparatus, image processing system, and image processing method
CN101802842A (zh) * 2007-08-01 2010-08-11 昙盾特视觉科学有限公司 用于识别图像中的复杂特征点的***和方法
US20100232681A1 (en) * 2009-03-12 2010-09-16 Omron Corporation Three-dimensional vision sensor
CN102096817A (zh) * 2009-12-11 2011-06-15 北大方正集团有限公司 图像稳定特征点的提取方法及其装置
CN102915539A (zh) * 2012-09-26 2013-02-06 北京理工大学 一种基于目标特征构型的位姿测量特征点提取方法
CN104318559A (zh) * 2014-10-21 2015-01-28 天津大学 用于视频图像匹配的特征点快速检测方法
CN104376319A (zh) * 2014-10-22 2015-02-25 西安工程大学 一种基于各向异性高斯核提取封闭边缘图像轮廓的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PENG FAN等: "《Color-SURF: A surf descriptor with local kernel color histograms》", 《2009 IEEE INTERNATIONAL CONFERENCE ON NETWORK INFRASTRUCTURE AND DIGITAL CONTENT》 *
吕清花等: "《高精度自动对准***中特征点提取方法的研究》", 《湖北工业大学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110888115A (zh) * 2018-08-21 2020-03-17 德尔福技术有限责任公司 对雷达跟踪的潜在静止对象进行分类
CN110888115B (zh) * 2018-08-21 2023-12-29 德尔福技术有限责任公司 对雷达跟踪的潜在静止对象进行分类
CN113115027A (zh) * 2020-01-10 2021-07-13 Aptiv技术有限公司 校准摄像头的方法和***
CN113115027B (zh) * 2020-01-10 2024-04-30 Aptiv技术股份公司 校准摄像头的方法和***

Also Published As

Publication number Publication date
US10776953B2 (en) 2020-09-15
CN108369650B (zh) 2022-04-19
WO2017093037A1 (en) 2017-06-08
EP3173975A1 (en) 2017-05-31
EP3384429A1 (en) 2018-10-10
EP3384429B1 (en) 2020-01-29
US20180322656A1 (en) 2018-11-08

Similar Documents

Publication Publication Date Title
CN108369650A (zh) 将校准图案的图像内的候选点标识为该校准图案的可能特征点的方法
WO2021138995A1 (zh) 一种棋盘格角点全自动检测方法
CN105453153B (zh) 交通灯检测
JP4001162B2 (ja) 画像処理方法、画像処理用のプログラムならびにその記憶媒体、および画像処理装置
TWI500925B (zh) Check the device, check the method and check the program
CN111079518B (zh) 一种基于执法办案区场景下的倒地异常行为识别方法
CN112132907B (zh) 一种相机标定方法、装置、电子设备及存储介质
CN104899888B (zh) 一种基于Legendre矩的图像亚像素边缘检测方法
CN107452028B (zh) 一种确定目标图像位置信息的方法及装置
CN104103069B (zh) 图像处理装置、图像处理方法及记录介质
CN110807731A (zh) 用于补偿图像坏点的方法、装置、***及存储介质
CN106709952B (zh) 一种显示屏幕的自动标定方法
US11544875B2 (en) Image processing apparatus, image processing method, and storage medium
CN110807459A (zh) 车牌矫正方法、装置以及可读存储介质
CN113012096A (zh) 显示屏子像素定位及亮度提取方法、设备以及存储介质
JP6942566B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
CN117557565B (zh) 一种锂电池极片的检测方法及其装置
TWI438699B (zh) 條碼的處理方法與其相關裝置
CN112184723B (zh) 图像处理方法及装置、电子设备、存储介质
CN108986163A (zh) 基于多标识识别的增强现实定位算法
US6985609B2 (en) Method for identifying an object image
JP6006675B2 (ja) マーカ検出装置、マーカ検出方法、及びプログラム
JP5452035B2 (ja) 欠陥検査方法および欠陥検査装置
JP2504951B2 (ja) パタ−ン検査方法
CN112446895B (zh) 棋盘格角点自动提取方法、***、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant