CN117157668A - 对dvs与相机之间的统一标定板进行角点检测的方法 - Google Patents
对dvs与相机之间的统一标定板进行角点检测的方法 Download PDFInfo
- Publication number
- CN117157668A CN117157668A CN202180096543.6A CN202180096543A CN117157668A CN 117157668 A CN117157668 A CN 117157668A CN 202180096543 A CN202180096543 A CN 202180096543A CN 117157668 A CN117157668 A CN 117157668A
- Authority
- CN
- China
- Prior art keywords
- image
- opposite
- color
- camera
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000003086 colorant Substances 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 29
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000003628 erosive effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 7
- 230000004397 blinking Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 241000519995 Stachys sylvatica Species 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010027146 Melanoderma Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
提供了一种对DVS‑相机统一标定板的相机图像进行棋盘角点检测的方法。所述方法通过扩展与二值化斑点颜色相反的区域来检测相机图像中棋盘的多个角点,以消除斑点并分离图像中的方格,其中棋盘的与二值化斑点颜色相同的外边缘需要预先用相反颜色填充。然后可以在连接分离的相邻方格的线的中点处标记每个角点。
Description
技术领域
本公开总体上涉及动态视觉传感器(DVS)与相机之间的统一标定技术。更具体地,本公开涉及一种对DVS-相机统一标定板的相机图像进行棋盘角点检测的方法。
背景技术
在图像测量或机器视觉应用中,视觉传感器的标定是一个非常关键的挑战。标定结果的准确性和标定算法的稳定性直接影响视觉传感器产生的结果的准确性。
在包括多个相机的多相机***中,通常利用标定技术来找出映射或投影关系以使其相机之间的图像匹配。在标定期间,相机各自同时捕获同一块具有棋盘图案的标定板的图像,然后分别检测图像中对应的角点,以找出这些相机之间的投影关系。
另一方面,DVS是一种动态视觉传感器,其动态范围高,延时低并且无运动模糊。当需要将DVS与常规相机绑定来以集成方式执行应用时,需要在使用前在DVS与相机之间进行统一标定。DVS与相机之间的统一标定找出它们之间的空间转换关系,以实现DVS数据和相机图像的后续融合。在绑定之后,任何由相机进行的应用对于DVS也是可能的。
然而,DVS仅捕获强度变化,然后创建异步像素。由于DVS与常规相机之间特性不同,所以需要重新建立对这两者的统一标定的处理。然而,此类变化势必会带来一系列的问题,诸如相机视角下某些点的位置检测不准确。
本公开提出了一种通过DVS与相机之间的统一标定算法使相机对相机图像执行准确角点检测的解决方案。
发明内容
本发明中提供的方法可以用于对由相机捕获的DVS-相机统一标定板的图像进行棋盘角点检测。所述方法包括首先在处理器中接收DVS-相机统一标定板的相机捕获的图像的步骤。所述图像可以包括棋盘图案和分别由各自附接在棋盘的角点处的多个LED发射的光点生成的多个斑点。然后,可以将所述图像二值化为颜色分别为两种相反颜色(诸如黑色和白色)的至少两个区域。接下来,与斑点颜色相反的区域可以扩展到图像中的分离方格。分离方格中的每一者都可以通过检测其具有四个顶点的轮廓来识别。因此,可以通过计算相邻的分离方格之间的中点来标记棋盘中的角点。
可以利用一个或多个计算机可读介质的任何组合来存储指令,所述指令在由处理器处理时执行本公开中提供的对DVS-相机统一标定板的图像进行棋盘角点检测的方法的步骤。
附图说明
通过参考附图阅读以下对非限制性实施方案的描述,可以更好地理解本公开。在附图中,相同的附图标记表示对应的部件,其中:
图1A示出了根据一个或多个实施方案的用于实现DVS与相机之间的统一标定的示例性硬件***场景;
图1B示出了根据一个或多个实施方案的用于DVS与相机之间的统一标定的示例性标定板;
图2示出了在统一标定板上的错误位置处检测到的棋盘角点的示例;
图3示出了具有由LED光点生成的斑点的棋盘的相机图像在二值化之后的局部放大视图的示例。
图4A至图4C示出了根据一个或多个实施方案的通过扩展图3的还原后的二值图像上的白色区域来分离方格的示例;
图5示出了根据一个或多个实施方案的对棋盘图像进行颜色反转和扩大处理后得到的结果的示例。
图6示出了根据一个或多个实施方案的在斑点被二值化为白色的情况下向棋盘填充黑色外边缘的示例;
图7A至7C示出了根据一个或多个实施方案的通过直接减小二值图像上的黑色区域来分离方格的示例;
图8示出了根据一个或多个实施方案的在DVS与相机之间的统一标定中对相机进行角点检测的方法的示例性流程图。
具体实施方式
下文公开了对本公开的一个或多个实施方案的详细描述;然而,应当理解,所公开的实施方案仅是可体现为各种和替代形式的本公开的示例。附图不一定按比例绘制;一些特征可能被放大或最小化以示出特定部件的细节。因此,本文所公开的具体结构细节和功能细节不应被解释为限制性的,而是仅仅作为教导本领域技术人员以不同方式采用本发明的代表性基础。
在相机标定中,通常使用由黑色网格和白色网格形成的棋盘作为标定板。相机捕获标定板的图像,从而生成包含多个黑色方格和白色方格的棋盘的相机图像。一般来说,相机识别棋盘图像中的每个黑色方格,然后检测其中的角点。棋盘图像中的一个角点通常被定义为黑色方格相交的点,即,诸如两个彼此对角相邻的黑色方格的相对角点的公共顶点。
在多相机***中,相机之间的标定是通过这些相机中的每个相机捕获同一标定板上的棋盘图像来进行,然后相机分别检测对应的角点以找出每两个相机之间的映射关系。以类似方式,在DVS与相机之间的统一标定中,DVS和相机固定在一起,并且都面向同一个棋盘,因此它们可以分别检测对应的角点,以建立DVS数据与相机图像之间的映射关系。
图1A示出了用于在DVS与相机之间执行统一标定的示例性硬件***场景。期望使DVS130和相机140能够从标定板上的棋盘100找到对应的角点120,从而使得DVS和相机两者都可以应用标定算法来执行标定。本领域已知的标定算法包括但不限于诸如张正友提出的一种称为张氏标定算法的算法,以及另一种称为蔡氏两阶段法的算法。
然而,不同于常规相机,DVS不生成图像。DVS传输表示强度变化的像素级事件。事件数据的形式为[x,y,t,p],其中x和y代表捕获的强度变化在像素坐标系中的坐标,t代表该事件的时间戳,并且p代表极性,这意指该像素级变化是变得更亮还是更暗。因此,举例来说,可以通过使用高频LED阵列用作角点来手动引入强度变化,使得DVS可以捕获闪烁的LED并且可以定位棋盘中的角点。
图1B示出了根据一个或多个实施方案的用于DVS与相机之间的统一标定的示例性统一标定板;如图1B所示,统一标定板100由普通棋盘图案110和诸如通过焊接附接到普通棋盘图案110的角点的多个LED 120组成。在图1B的示例中,标定板100具有棋盘图案110,所述棋盘图案具有5×6个黑白方格以及在角点处的20个LED 120。应当注意,其他预定的合适数量的棋盘网格和LED也是可用的。一般来说,这些LED优选地具有类似的亮度并且以相同频率闪烁。
在理想状况下,相机将找到棋盘图案110中的角点,并且DVS将找到角点处的闪烁的LED 120。由于LED精确地位于角点处,因此DVS找到的角点将与相机找到的角点一一匹配,从而建立这两者之间的映射关系。
然而,实际情况是,相机捕获的图像包括这些闪烁的LED发射的光点在棋盘上产生的光斑,所述光斑可能会影响对棋盘的相机图像的角点检测。在将高频LED灯附接在棋盘的角点处之后,相机寻找棋盘角点的算法会失败,因为其需要识别方格,但明亮的LED可能会产生大光点。于是,相机图像中生成的斑点可能会覆盖图像中黑色方格和白色方格的四个顶点,扰乱棋盘的方格描绘,并且因此导致检测结果丢失角点的位置。此外,除了检测失败之外,棋盘角点检测算法也有可能将角点定位到错误的位置。
图2示出了对在角点处具有LED 220的棋盘200的相机图像进行角点检测的示例性结果,其中检测到的左下角点位于错误的位置210上,其被预期位于与LED 220完全相同的位置处。该棋盘200上角点检测失败的原因在于:闪烁的LED 220产生的光点扰乱了棋盘的方格描绘,这导致图像中生成的黑色方格失去了其角点,从而使得方格辨识失败。
在该情况下,本公开中提供的角点检测方法可以克服DVS棋盘上设置的LED生成的光斑对相机图像的角点的干扰,从而准确地检测棋盘的图像中的每个角点。
首先,在如图1A所示的硬件场景中,相机140捕获标定板的图像,所述标定板上包括在每个角点处具有LED 120的棋盘100。然后,相机图像可以被发送到例如处理器,并且可以被显示在屏幕上,其中图像可以展示棋盘图案,所述棋盘图案具有多个近似正方形的黑色方格和白色方格以及分别在角点位置附近生成的圆形斑点。
为了准确定位棋盘中的角点,本文的方法将相机图像二值化为具有黑色区域和白色区域的二值图像。从直观的角度来看,就是将有灰度变化的图像设置为仅具有黑色和白色的黑白图像。举例来说,对于8位图像,二值化操作通常是将其像素值设置为0或255。在示例中,值0对应于黑色,并且255对应于白色。可以设想,阈值选择是否合适可能会影响图像二值化之后斑点的颜色。在示例中,可以利用接近块平均值的自适应阈值对棋盘图像进行二值化。
在一方面,当棋盘的角点处的LED足够亮时,在相机捕获的图像中生成的并且由LED光点产生的斑点可以在相机棋盘图像的二值化中被二值化为白色,并且然后所得的二值化图像可以如图3中部分所示。
图3示出了统一标定板的相机图像的局部放大图。该图像中包括四个缺角点的近似正方形形状的黑色区域和白色区域(310、320、330、340)。从图3中可以预期,应该在这两个近似正方形形状的黑色区域(310、340)的中点附近检测角点。然而,由于附接在角点处的LED发射的光点在棋盘图像中生成的圆形斑点350覆盖了原始角点的位置,因此难以准确地定位角点。
在这种情况下,使用通常通过扩展棋盘的白色区域以分离黑色方格来消除图像噪声的方法来消除此处的斑点可能会非常困难,因为原本预期由图像中的黑色方格形成的黑色区域已经被斑点破坏为不规则形状。当扩展白色区域时,扩大过程可以用于遍历所有白色像素,并且对于每个白色像素,将所有周围像素转变为白色。随着白色区域的迭代扩大过程,黑色区域甚至会变得不太像正方形形状,这使得难以分离黑色方格来进行后续角点检测。
为了解决这个问题,可以不扩展白色区域来分离黑色方格,而是可以扩展黑色区域来克服LED带来的负面影响。在所述方法中,在将其中图像中生成的光斑350被二值化为白色的统一标定板的相机图像进行二值化之后,可以通过诸如迭代地扩大黑色区域来直接扩展黑色区域,而白色区域随着它们自适应侵蚀而收缩,直到白色斑点消失,使得白色方格被分离,并且然后可以用于后续的角点检测。
可以设想,上述方法可以替代地通过首先进行还原,即反转相机图像的颜色,然后在还原之后扩展白色区域来进行处理,例如,如下文参考图4A至图4C所说明的。
在将统一标定板的相机图像二值化之后并且在图像中生成的光斑350被二值化为白色的情况下,可以还原已被二值化为黑色和白色的图像的颜色,即图像中的黑色区域被还原为白色,而白色区域被还原为黑色。在所述示例中,图3所示的图像可以是还原到图4A的颜色。然后,可以看出,近似圆形的斑点450的颜色已经还原为黑色并且位于四个近似正方形形状的白色和黑色区域(410、420、430和440)的中间附近。因此,可以通过扩展白色区域(410、440)来分离黑色方格。举例来说,图像中的白色区域(410、440)可以通过诸如以下方式来扩展:扩大其边界,即将黑色区域(420、430、450)与白色区域(410、440)之间的相交边界处的黑色像素改变为白色,这使得白色区域(410、440)有可能“面积扩大”。迭代地扩大白色区域的结果是白色区域(410、440)变得更大,而黑色区域(420、430、450)被自适应地侵蚀为“面积收缩”,从而变得更小。
如图4B所示,随着白色区域(410'、440')的扩大,黑色区域(420'、430'、450')继续被侵蚀,并且黑色圆形斑点450'继续收缩直到其消失。因此,斑点450'最终将被消除,同时将分离各自具有所有四个顶点的两个黑色方格。
图4C示出了两个成功分离的黑色方格(420”、430”)。这两个黑色方格是通过消除斑点450并扩展图4A中的白色区域(410、440)而从两个近似正方形形状的黑色区域(420、430)得到的,并且可以用于进一步的角点检测。然而,图4C仅示出了棋盘图像的一小部分,例如棋盘图像的左上部分。可以设想,可以在图5中示出在对完整的棋盘图像进行黑色方格分离之后获得的结果。在此阶段,分离方格中的每一者可以通过检测其具有四个顶点的轮廓来识别。
一般来说,参考图5,黑色方格中的每一者都具有其对角相邻的黑色方格。具有四个相邻黑色方格的方格可以被定义为内部黑色方格,并且只有一个或两个相邻黑色方格的方格可以被定义为边界处的黑色方格。然后,通过使用一条线来连接内部黑色方格的一个顶点和其对角相邻方格的对应相对顶点,可以计算出所述线的中点,并将其标记为检测到的角点,如图5所示,附图标记为510。
应当注意,关于常规的棋盘图案设置,其通常将黑色方格布置在白色背景上,使得白色的外边缘可以有助于识别黑色方格。然而,在如以上情况中所述将统一标定板的二值化的相机图像中生成的光斑二值化为白色的情况下,所述方法可以扩展黑色区域以分离白色方格,或者扩展还原后的白色区域来分离还原后的黑色方格(即,原始白色方格),并且然后白色外边缘将与期望的白色方格混合。因此,在这种情况下,需要预先将外边缘的颜色填充为黑色,以确保白色方格(诸如用图6中的附图标记610、620、630所圈出的)在边缘处的轮廓是具有四个顶点的完整轮廓。这可以经由软件处理来处理,例如,通过自动向相机图像中的棋盘添加黑色边界。或者替代地,在现实世界中,棋盘的外边缘可以通过黑色涂料或者通过将一些黑带640附接到外边缘来填充为黑色,例如,如图6的示例中所示。
在另一方面,在所述方法中,当对相机捕获的棋盘图像进行二值化时,可以将图像中由LED光点生成的斑点以其他方式二值化为黑色。这可能是由于棋盘角点处的LED较暗,或者可能与二值化阈值的选择有关。然后,在一个示例中,可以将二值化之后所得的图像进行部分放大,如图7A所示,所述图像包含四个近似正方形形状的黑色和白色区域(710、720、730、740)以及一个圆形黑色斑点750。
在这种情况下,在将棋盘图像二值化为白色和黑色(其中图像中的斑点被二值化为黑色)之后,例如通过迭代地侵蚀黑色区域,或者替代地扩展白色区域(例如通过迭代地扩大白色区域),来减少包含黑色圆形斑点的黑色区域,可以分离黑色方格以进行后续的角点检测。如图7B所示,随着迭代地扩大白色区域(720'、730'),黑色区域(710'、740'、750')继续被侵蚀和收缩,直到黑色圆形斑点750'消失。最后,至此已经分离出各自具有四个顶点的两个黑色方格(710”、740”),如图7C所示。
替代地,在这方面,当图像中的圆形斑点被二值化为黑色时,可以首先还原相机图像,然后扩大还原后的黑色区域。因此,包含还原后的白色圆形斑点的还原后的白色区域继续被侵蚀并收缩,直到白色斑点消失。这样,就可以成功分离出各自具有四个顶点的两个期望的白色方格(还原前为原始黑色)。
可以注意到,在这方面,在图像中的斑点被二值化为黑色的情况下,棋盘的常规白色外边缘可能不会与期望的方格混合,并且对于这种情况,不需要特定的过程来处理外边缘的颜色。因此,在本文公开的方法中,当将相机图像中的斑点二值化为与外边缘相同的颜色时,需要用相反颜色填充棋盘的外边缘。在示例中,棋盘的外边缘在极少数情况下可以是黑色的。如果将斑点二值化为图像中的黑色区域,则需要用白色填充黑色外边缘,并且这种情况应该被认为落入本公开的范围内。
接下来,如先前在一个方面所述,可以使用一条线来连接每个内部黑色方格的每一个顶点与其对角相邻的方格的对应的相对顶点,并且可以通过计算将所述线的中点标记为检测到的棋盘角点。本公开中提供的角点检测方法可以对整个棋盘中包含的所有内部黑色方格进行循环执行,从而检测到棋盘中的多个角点的全部。
图8示出了根据一个或多个实施方案的在DVS与相机之间的统一标定中对相机进行角点检测的上述方法的流程图,所述流程图可以包括以下步骤S810至S890。
S810:为DVS与相机之间的统一标定设置统一标定板。所述统一标定板包括具有黑色网格和白色网格的普通棋盘以及在棋盘的每个角点处的多个高频LED。
S820:通过相机捕获统一标定板的图像。相机捕获的图像可以包括具有黑色方格和白色方格的棋盘图案以及在棋盘角点处由多个闪烁的LED发射的光斑生成的多个圆形斑点。
S830:在处理器中将相机图像二值化为两种相反的颜色,诸如黑色和白色。在该步骤中,应当选择适当的阈值,并且在二值化之后整个图像中只留下黑色区域和白色区域;
S840:确定二值化斑点的颜色是白色还是黑色。当斑点被二值化为与棋盘的外边缘相同的颜色并且例如外边缘通常设置为白色时,方法进行到步骤S850。否则,当二值化斑点与外边缘(在该示例中,外边缘为黑色)不同时,所述方法跳过步骤S850,并且直接进行到步骤S860或S870;
S850:将棋盘的外边缘填充为与斑点相反的颜色。在所述示例中,在将斑点二值化为白色的情况下,用黑色边界填充外边缘可以避免混淆待在边界处检测的白色方格;
S860:扩展与斑点颜色相反的区域,或者减小与斑点颜色相同的区域。在该步骤中,在图像中的斑点被二值化为白色的示例的情况下,扩展黑色区域或减小白色区域,直至分离白色方格;
S870:替代地,对图像的颜色进行还原,然后扩展其中还原后的颜色则与还原前的斑点颜色相同的区域,或者减小其中还原后的颜色与还原前的斑点颜色相反的区域。在该步骤中,在图像中的斑点被二值化为白色的情况下,在对图像的颜色进行还原之后,扩展还原后的白色区域或减小还原后的黑色区域,从而分离黑色方格,所述黑色方格可以用于进行后续角点检测;
S880:期望的方格,无论是黑色还是白色,都可以在图像中被分离并且可以被识别,以及S890:计算相邻方格之间的中点,并将其标记为检测到的棋盘角点。于是,至此方法就已经完成了。
本公开提出了一种DVS与相机之间的统一标定的对相机图像进行棋盘角点检测的方法。在本发明主题中创建了软件算法。这是一项非常基础的技术,并且任何进一步的应用都取决于此。
可以利用一种或多种计算机可读介质的任何组合来执行本公开中的方法。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体***、设备或装置或前述各者的任何合适的组合。计算机可读存储介质的更具体的示例(非详尽性列表)将包括以下各者:具有一根或多根电线的电气连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置或前述各者的任何合适的组合。在本文档的上下文中,计算机可读存储介质可以是可以含有或存储供指令执行***、设备或装置使用或与其结合使用的程序的任何有形介质。
在统一标定之后,任何由相机进行的应用对于DVS也是可能的。例如,多视图几何(其中来自DVS和相机中的每一者的投影矩阵两者可以被组合来获得逆投影矩阵)用于利用从所有视觉传感器接收到的信息来估计点空间情况。例如,在给定来自两个视觉传感器的2D点的情况下,通过反向使用外在投影矩阵来实现3D重建。
本公开的方法包括但不限于下文所列出的项。
项1:一种用于对DVS-相机统一标定板的图像进行棋盘角点检测的方法,其包括以下步骤:
在处理器中接收由相机捕获的所述棋盘的所述图像;
将所述图像二值化为两种相反颜色的区域;
扩展与斑点颜色相反的区域以在所述图像中分离方格;
通过检测具有四个顶点的轮廓来识别所分离方格中的每一者;
计算相邻的所分离方格之间的中点;以及
将所计算出的中点标记为所述标定板上的所述角点。
项2:根据项1所述的对DVS-相机统一标定板的图像进行棋盘角点检测的方法,其中所述棋盘包括在所述棋盘的所述角点处的多个LED。
项3:根据项1至2中任一项所述的对DVS-相机统一标定板的图像进行棋盘角点检测的方法,其中所述图像上的所述斑点分别由从所述多个LED发射的光点生成。
项4:根据项1至3中任一项所述的对DVS-相机统一标定板的图像进行棋盘角点检测的方法,其中所述方法还包括选择接近块均值的自适应阈值以将所述图像二值化为所述区域。
项5:根据项1至4中任一项所述的对DVS-相机统一标定板的图像进行棋盘角点检测的方法,其中所述斑点可以被二值化为所述相反颜色中的任一颜色的区域。
项6:根据项1至5中任一项所述的对DVS-相机统一标定板的图像进行棋盘角点检测的方法,其中所述两种相反颜色分别为黑色和白色。
项7:根据项1至6中任一项所述的对DVS-相机统一标定板的图像进行棋盘角点检测的方法,其中扩展与斑点颜色相反的所述区域包括迭代地扩大与斑点颜色相反的所述区域。
项8:根据项1至7中任一项所述的对DVS-相机统一标定板的图像进行棋盘角点检测的方法,其中扩展与斑点颜色相反的所述区域包括迭代地侵蚀与斑点颜色相同的区域。
项9:根据项1至8中任一项所述的对DVS-相机统一标定板的图像进行棋盘角点检测的方法,其中在所述斑点被二值化为与所述棋盘的外边缘颜色相同的区域的情况下,所述方法还包括将所述棋盘的所述外边缘锉平以形成相反颜色的边界的步骤。
项10:根据项1至9中任一项所述的对DVS-相机统一标定板的图像进行棋盘角点检测的方法,其中扩展颜色与斑点相反的所述区域可以消除所述图像中的所述斑点。
项11:一种计算机可读介质,其可以用来存储指令,所述指令在由处理器处理时执行项1至10中任一项所述的对DVS-相机统一标定板的图像进行棋盘角点检测的方法的以下步骤,所述步骤包括:
接收由相机捕获的棋盘的所述图像;
将所述图像二值化为两种相反颜色的区域;
扩展与斑点颜色相反的区域以在所述图像中分离方格;
通过检测具有四个顶点的轮廓来识别所分离方格中的每一者;
计算相邻的所分离方格之间的中点;以及
将所计算出的中点标记为所述标定板上的所述角点。
项12:存储可由所述处理器处理以实现根据项11所述的步骤的计算机程序的计算机可读介质,其中所述棋盘包括在所述棋盘的角点处的多个LED。
项13:存储可由所述处理器处理以实现根据项1至12中任一项所述的步骤的计算机程序的计算机可读介质,其中所述图像上的所述斑点分别由从所述多个LED发射的光点生成。
项14:存储可由所述处理器处理以实现根据项1至13中任一项所述的步骤的计算机程序的计算机可读介质,其中所述步骤还包括选择接近块均值的自适应阈值以将所述图像二值化为所述区域。
项15:存储可由所述处理器处理以实现根据项1至14中任一项所述的步骤的计算机程序的计算机可读介质,其中所述斑点可以被二值化为相反颜色中的任一颜色的区域。
项16:存储可由所述处理器处理以实现根据项1至15中任一项所述的步骤的计算机程序的计算机可读介质,其中所述两种相反颜色分别为黑色和白色。
项17:存储可由所述处理器处理以实现根据项1至16中任一项所述的步骤的计算机程序的计算机可读介质,其中扩展与斑点颜色相反的所述区域包括迭代地扩大与斑点颜色相反的所述区域。
项18:存储可由所述处理器处理以实现根据项1至17中任一项所述的步骤的计算机程序的计算机可读介质,如权利要求11所述的计算机可读介质,其中扩展与斑点颜色相反的所述区域包括迭代地腐蚀与所述斑点颜色相同的区域。
项19:存储可由所述处理器处理以实现根据项1至18中任一项所述的步骤的计算机程序的计算机可读介质,其中在所述斑点被二值化为与所述棋盘的外边缘颜色相同的区域的情况下,所述方法还包括将所述棋盘的所述外边缘锉平以形成相反颜色的边界的步骤。
项20:存储可由所述处理器处理以实现根据项1至19中任一项所述的步骤的计算机程序的计算机可读介质,其中扩展与斑点颜色相反的所述区域可以消除所述图像中的所述斑点。
如本申请中所使用,以单数形式叙述并且前面带有词“一个”的元件或步骤应当理解为不排除多个所述元件或步骤,除非声明了此类排除。此外,对本公开的“一个实施方案”或“一个示例”的提及不希望被解释为排除也并入有所叙述的特征的附加实施方案的存在。术语“第一”、“第二”和“第三”等仅用作标签,并不意在对其对象施加数字要求或特定位置顺序。
尽管上面描述了示例性实施方案,但这些实施方案并不意在描述本公开的所有可能形式。相反,说明书中使用的词语是描述性词语而不是限制性词语,并且应当理解,在不脱离本公开的精神和范围的情况下可以进行各种改变。另外,各种实施的实施方案的特征可以加以组合来形成本发明的其他实施方案。
Claims (20)
1.一种用于对DVS-相机统一标定板的图像进行棋盘角点检测的方法,其包括以下步骤:
在处理器中接收由相机捕获的所述棋盘的所述图像;
将所述图像二值化为两种相反颜色的区域;
扩展与斑点颜色相反的区域以在所述图像中分离方格;
通过检测具有四个顶点的轮廓来识别所分离方格中的每一者;
计算相邻的所分离方格之间的中点;以及
将所计算出的中点标记为所述标定板上的所述角点。
2.根据权利要求1所述的方法,其中所述棋盘包括在所述棋盘的所述角点处的多个LED。
3.根据权利要求2所述的方法,其中所述图像上的所述斑点分别由从所述多个LED发射的光点生成。
4.根据权利要求1所述的方法,其中所述方法还包括选择接近块平均值的自适应阈值以将所述图像二值化为所述区域。
5.根据权利要求4所述的方法,其中所述斑点能够被二值化为所述相反颜色中的任一颜色的区域。
6.根据权利要求1所述的方法,其中所述两种相反颜色分别是黑色和白色。
7.根据权利要求1所述的方法,其中扩展与斑点颜色相反的所述区域包括迭代地扩大与斑点颜色相反的所述区域。
8.根据权利要求1所述的方法,其中扩展与斑点颜色相反的所述区域包括迭代地腐蚀与所述斑点颜色相同的区域。
9.根据权利要求1所述的方法,其中在所述斑点被二值化为与所述棋盘的外边缘颜色相同的区域的情况下,所述方法还包括将所述棋盘的所述外边缘锉平以形成相反颜色的边界的步骤。
10.根据权利要求1所述的方法,其中扩展与斑点颜色相反的所述区域能够消除所述图像中的所述斑点。
11.一种计算机可读介质,其能够用于存储指令,所述指令在由处理器处理时执行以下步骤,所述步骤包括:
接收由相机捕获的棋盘的图像;
将所述图像二值化为两种相反颜色的区域;
扩展与斑点颜色相反的区域以在所述图像中分离方格;
通过检测具有四个顶点的轮廓来识别所分离方格中的每一者;
计算相邻的所分离方格之间的中点;以及
将所计算出的中点标记为所述标定板上的所述角点。
12.根据权利要求11所述的计算机可读介质,其中所述棋盘包括在所述棋盘的所述角点处的多个LED。
13.根据权利要求12所述的计算机可读介质,其中所述图像上的所述斑点分别由从所述多个LED发射的光点生成。
14.根据权利要求11所述的计算机可读介质,其中所述步骤还包括选择接近块平均值的自适应阈值以将所述图像二值化为所述区域。
15.根据权利要求14所述的计算机可读介质,其中所述斑点能够被二值化为所述相反颜色中的任一颜色的区域。
16.根据权利要求11所述的计算机可读介质,其中所述两种相反颜色分别是黑色和白色。
17.根据权利要求11所述的计算机可读介质,其中扩展与斑点颜色相反的所述区域包括迭代地扩大与斑点颜色相反的所述区域。
18.根据权利要求11所述的计算机可读介质,其中扩展与斑点颜色相反的所述区域包括迭代地腐蚀与所述斑点颜色相同的区域。
19.根据权利要求11所述的计算机可读介质,其中在所述斑点被二值化为与所述棋盘的外边缘颜色相同的区域的情况下,所述方法还包括将所述棋盘的所述外边缘锉平以形成相反颜色的边界的步骤。
20.根据权利要求11所述的计算机可读介质,其中扩展与斑点颜色相反的所述区域能够消除所述图像中的所述斑点。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/083543 WO2022204864A1 (en) | 2021-03-29 | 2021-03-29 | A method for corner detection on unified calibration board between dvs and camera |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117157668A true CN117157668A (zh) | 2023-12-01 |
Family
ID=83456915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180096543.6A Pending CN117157668A (zh) | 2021-03-29 | 2021-03-29 | 对dvs与相机之间的统一标定板进行角点检测的方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240153098A1 (zh) |
EP (1) | EP4315236A1 (zh) |
CN (1) | CN117157668A (zh) |
WO (1) | WO2022204864A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116883515B (zh) * | 2023-09-06 | 2024-01-16 | 菲特(天津)检测技术有限公司 | 光学环境调整方法及光学标定装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271576A (zh) * | 2008-05-08 | 2008-09-24 | 上海交通大学 | 复杂光照与表面条件下棋盘格模式识别定位方法 |
CN103996191B (zh) * | 2014-05-09 | 2016-10-26 | 东北大学 | 一种基于最小二乘优化的黑白棋盘格图像角点的检测方法 |
CN104036244B (zh) * | 2014-06-09 | 2017-05-10 | 西安邮电大学 | 一种适用于低质量图像的棋盘格角点检测方法及装置 |
JP6863954B2 (ja) * | 2018-11-14 | 2021-04-21 | ファナック株式会社 | カメラ校正装置及びカメラ校正方法 |
CN109949373B (zh) * | 2019-03-22 | 2023-08-22 | 深圳市博维远景科技有限公司 | 一种改进的棋盘格角点检测方法 |
-
2021
- 2021-03-29 CN CN202180096543.6A patent/CN117157668A/zh active Pending
- 2021-03-29 EP EP21933550.2A patent/EP4315236A1/en active Pending
- 2021-03-29 US US18/547,144 patent/US20240153098A1/en active Pending
- 2021-03-29 WO PCT/CN2021/083543 patent/WO2022204864A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP4315236A1 (en) | 2024-02-07 |
US20240153098A1 (en) | 2024-05-09 |
WO2022204864A1 (en) | 2022-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111612781B (zh) | 一种屏幕缺陷检测方法、装置及头戴显示设备 | |
CN109859226B (zh) | 一种图形分割的棋盘格角点亚像素的检测方法 | |
CN111080662A (zh) | 车道线的提取方法、装置及计算机设备 | |
JP2005331929A (ja) | 画像解析方法、画像解析プログラム、及びそれらを有する画素評価システム | |
CN109002823B (zh) | 一种感兴趣区域确定方法、装置、设备及可读存储介质 | |
CN111681284A (zh) | 一种角点检测方法、装置、电子设备及存储介质 | |
CN113146073A (zh) | 基于视觉的激光切割方法及装置、电子设备、存储介质 | |
WO2017050082A1 (zh) | 一种端子位置的确定方法及终端设备 | |
KR100702534B1 (ko) | 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법 | |
US9204130B2 (en) | Method and system for creating a three dimensional representation of an object | |
CN114638294A (zh) | 一种数据增强方法、装置、终端设备及存储介质 | |
CN117157668A (zh) | 对dvs与相机之间的统一标定板进行角点检测的方法 | |
JP6045429B2 (ja) | 撮像装置、画像処理装置及び画像処理方法 | |
CN111354038A (zh) | 锚定物检测方法及装置、电子设备及存储介质 | |
CN116908185A (zh) | 物品的外观缺陷检测方法、装置、电子设备及存储介质 | |
JP5010627B2 (ja) | 文字認識装置及び文字認識方法 | |
CN116976372A (zh) | 基于方形基准码的图片识别方法、装置、设备及介质 | |
JP2014191685A (ja) | 画像処理装置および画像処理方法 | |
KR101574195B1 (ko) | 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법 | |
CN108596981B (zh) | 一种图像的鸟瞰视角重投影方法、装置及便携式终端 | |
CN114727073B (zh) | 一种图像的投影方法、装置、可读存储介质及电子设备 | |
KR101521620B1 (ko) | 다이 영상 분할 방법 | |
JP2006145228A (ja) | ムラ欠陥検出方法及び装置 | |
JP2021516388A (ja) | マーカーの光学的認識のための方法 | |
JP5343190B2 (ja) | 画像処理装置及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |