CN110753952A - 3d模型到测试对象的自动对准 - Google Patents

3d模型到测试对象的自动对准 Download PDF

Info

Publication number
CN110753952A
CN110753952A CN201880028067.2A CN201880028067A CN110753952A CN 110753952 A CN110753952 A CN 110753952A CN 201880028067 A CN201880028067 A CN 201880028067A CN 110753952 A CN110753952 A CN 110753952A
Authority
CN
China
Prior art keywords
test object
cad model
coordinates
camera
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880028067.2A
Other languages
English (en)
Inventor
E.T.波利多尔
A.普罗凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quality Vision International Inc
Original Assignee
Quality Vision International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quality Vision International Inc filed Critical Quality Vision International Inc
Publication of CN110753952A publication Critical patent/CN110753952A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

一种在机器视觉***中将3D CAD模型对准到测试对象的方法,所述方法包括以下步骤:在模型窗口中定向3D CAD模型(204);将测试对象以与3D模型的方位近似匹配的方位放置在运动台上(206);利用摄像机拍摄测试对象的视频图像(208),并在与摄像机的观察轴正交的基准面中提取***边界(210);在对应基准面中提取3D模型的廓影边界(212);使用拟合算法,相对设置3D模型的廓影边界,以匹配测试对象的***边界(214);以及以在对应基准面内并沿观察轴为基准,将3D模型中的点的坐标与测试对象的对应点的坐标进行匹配(216)。

Description

3D模型到测试对象的自动对准
技术领域
本发明涉及机器视觉***技术的领域,并且更详细地说,涉及3D CAD模型到测试对象的自动对准以用于测量测试对象的特征。
背景技术
机器视觉***将布置在台上的测试对象的图像投影到显示屏上。许多当前视觉测量机器依赖于被测量的部分的视频图像,以允许用户选择要进行的测量。当用户从测量部分上的一个位置移动到另一个位置时,通常需要调整照明和焦点以保持图像质量对于选择要测量的附加特征是有用的。特别是对于沿视觉的光学轴具有显著深度的部分,从测量点到测量点改变焦点可能变得耗时。
在CAD绘图可用于要测量的部分的情况下,一些测量软件,诸如QVI的Zone3,允许用户通过将要测量的部分的CAD模型加载到控制器中,并然后通过一系列的引导的手动步骤将CAD模型与视频图像对准,来在显示面板的模型窗口中指示要进行的测量。这种手动设置过程花费时间,并且可能使没有经验的用户感到困惑。
发明内容
提供了一种在机器视觉***中将3D CAD模型对准到测试对象的方法。在一种配置中,所述方法包括以下步骤:在所述机器视觉***的模型窗口中定向所述3D CAD模型,以用于暴露主对象与打算要测量的所述测试对象的特征相对应的特征;将所述测试对象以与所述3D CAD模型的所述方位近似匹配的方位放置在所述机器视觉***的台上;利用所述相机拍摄所述运动台上的所述测试对象的图像,并在与所述相机的所述观察轴正交的基准面中提取***边界;在对应基准面中提取所述3D CAD模型的廓影边界;使用拟合算法,在所述对应基准面中相对设置所述3D CAD模型的所述廓影边界,以匹配所述测试对象的所述***边界;以及以在所述对应基准面内并沿所述观察轴为基准,将所述3D CAD模型中的点的坐标与所述测试对象的对应点的坐标进行匹配。
所述方法还包括以下步骤:从所述CAD模型的3D三角形网格的所述可能的廓影边缘中收集所有所述线段;使用所述相机的所述观察方向将所述可能的廓影线段投影到2D;在所述线段上生成2D候选轮廓点;生成测试点,每个测试点从与所述候选轮廓点之一匹配的第一位置到第二移位位置是可移动的;以及确定所述移位位置中的每个测试点是否被所述CAD模型的所述3D三角形网格的相邻表面覆盖,其中与未被任何相邻表面覆盖的、第二移位位置中的所述测试点相对应的每个2D候选轮廓点是真实轮廓点。
所述方法还包括生成最小生成树的步骤,所述最小生成树具有在所述测试点上的边缘的集合,所述测试点在所述第二移位位置由相邻表面覆盖。
在配置中,所述方法还包括以下步骤:丢弃所述最小生成树中比点生成密度更长的边缘的子集,其中所述最小生成树的边缘的剩余子集是所述3D CAD模型的真实轮廓线的段。
所述方法还包括步骤以下:使用拟合算法以将最小生成树边缘的所述剩余子集拟合到所述测试对象的所述***边界。
在配置中,所述3D CAD模型包括由顶点连接的线,并且提取所述廓影边界的所述步骤包括在所述对应基准面中移除所述3D CAD模型的所述边界之内的所述线。
所述方法还包括以下步骤:在所述3D CAD模型上选择要测量的特征;基于所述3DCAD模型中与所述测试对象的对应点的坐标相匹配的点的坐标,自动地将所述运动台和所述相机中的至少一个平移到期望位置,所述3D CAD模型中与所述测试对象的对应点的坐标相匹配的点的坐标是以在所述对应基准面内并沿所述观察轴为基准的;以及测量与所述CAD模型的所述选择的特征相对应的测试对象特征。
在配置中,所述方法还可包括以下步骤:在所述3D CAD模型上选择要测量的特征;以及在测量所述测试对象上的所述选择的特征之前,基于所述3D CAD模型的所述选择的特征的所述一个或多个点的所述坐标,相对于所述测试对象自动地对焦所述相机。
在另一配置中,利用所述相机拍摄所述运动台上的所述测试对象的图像的步骤包括使用摄像机提供以下项中的一项的步骤:(i)静止图像数据,以及(ii)来自视频流的帧的图像数据。
所述方法还可包括以下步骤:在利用所述相机拍摄所述运动台上的所述测试对象的所述图像之前,从背后照亮所述测试对象。
所述方法还可包括以下步骤:在所述3D CAD模型上选择要测量的特征;基于所述3D CAD模型中与所述测试对象的对应点的坐标相匹配的点的坐标,自动地将所述运动台和所述相机中的至少一个平移到期望位置,所述3D CAD模型中与所述测试对象的对应点的坐标相匹配的点的坐标是以在所述对应基准面内并沿所述观察轴为基准的;自动地对焦所述相机;以及测量与所述CAD模型的所述选择的特征相对应的测试对象特征。
在仍有的另一配置中,利用以3D CAD模型为基准的机器视觉***测量测试对象的不同特征的方法包括以下步骤:利用摄像机拍摄所述测试对象的视频图像;在与所述摄像机的观察轴正交的基准面中,提取所述成像的测试对象的***边界;在对应基准面中相对设置所述3D CAD模型的廓影边界,以匹配所述测试对象的所述***边界;以在所述对应基准面内并沿所述观察轴为基准,将所述3D CAD模型中的点的坐标与所述测试对象的对应点的坐标进行匹配;在所述模型窗口内选择所述CAD模型的特征,并标识所述特征的一个或多个点的坐标;以及测量与所述模型窗口内的所述CAD模型的所述选择的特征相对应的测试对象特征。
所述方法还可包括以下步骤:在测量所述测试对象特征之前,基于所述CAD模型的所述选择的特征的所述一个或多个点的所述坐标,改变所述摄像机相对于所述测试对象的焦点,所述坐标如以沿所述观察轴为基准。
所述方法还可进一步包括以下步骤:基于所述CAD模型的所述选择的特征的所述一个或多个点的所述坐标而改变所述测试对象的照明条件,所述坐标如以在所述对应基准面内并沿所述观察轴为基准。
所述方法还可包括以下步骤:调整所述摄像机的所述视场(FOV),以虑及要测量的所述测试对象的所述特征位于所述视场(FOV)内。在一种配置中,所述摄像机的所述视场(FOV)是自动调整的。
所述方法还可包括以下步骤:调整所述摄像机的所述景深(DOF),以虑及所述测试对象的整个***边界保持焦点对准而不管所述***边界是否在所述基准面附近。在一种配置中,所述摄像机的所述景深(DOF)是自动调整的。
在另一配置中,一种利用以3D CAD模型为基准的机器视觉***测量测试对象的不同特征的方法包括以下步骤:在所述3D CAD模型上选择要测量的特征;基于所述3D CAD模型中与所述测试对象的对应点的坐标相匹配的点的坐标,自动地将所述运动台和所述相机中的至少一个平移到期望位置,所述3D CAD模型中与所述测试对象的对应点的坐标相匹配的点的坐标是以在所述对应基准面内并沿所述观察轴为基准的;自动地对焦所述相机;以及测量与所述CAD模型的所述选择的特征相对应的测试对象特征。
附图说明
图1是示出用于将3D CAD模型对准到测试对象的所公开机器视觉***的示例性实施例的示意图的透视图。
图2是公开用于在机器视觉***中将3D CAD模型对准到测试对象的实施例的方法步骤的流程图。
图3是公开用于利用机器视觉***测量测试对象的不同特征的实施例的方法步骤的流程图。
图4是3D CAD模型的示例性三角形网格。
图5是候选轮廓点的示例性集合。
图6是用于确定点是否为真实轮廓点的测试点的示例性集合。
图7是真实轮廓点的示例性集合。
具体实施方式
现在参考附图,图1是用于生成测试对象20的概貌(profile)的机器视觉***10的示例性实施例。在一种配置中,机器视觉***10是自上向下的光学***。在一种配置中,机器视觉***10可以是坐标测量机器。可以使用的示例性坐标测量机器是可从OpticalGaging Products公司获得的SmartScope Quest Series Model 650 CMM。然而,由本领域的普通技术人员应当理解的是,可以使用具有测量和录像能力的其它机器视觉***。
机器视觉***10一般包括光学成像***30、可移动台40和背光照明器50。***10还包括处理装置60(诸如计算机,其以常规方式包含一个或多个处理器、存储器、数据库、图形卡等)连同显示面板70(诸如常规个人计算机监视器),以及用户输入设备80(诸如键盘、鼠标等)。***另外可以包括打印机和附加的显示面板(未示出)。处理装置60被编程为根据编程指令输入(例如作为存储在数据存储介质上的数据和/或作为输入到处理装置60的信号)而进行操作。
可移动台40可以包括具有三个正交的平移轴X、Y和Z的多轴台,以用于设置和移动测试对象20。然而,应该理解,台40可包括更少的平移轴或者可以是完全不可移动的。台40可以经由手动控制来手动调整,或者经由控制器130和自动***(诸如电动机、致动器等)来自动调整。
机器视觉***10可以不具有可移动台。光学成像***30可沿X、Y和Z轴移动。在一些配置中,可移动台40仅沿Y轴移动,并且光学成像***30沿X和Z轴移动。一些***具有不可移动的台,以及沿Z轴移动的光学成像***30;用户必须手动地沿X和Y轴移动该部分。只要光学成像***30和可移动台40的位置是已知的,就可以确定测量点的机器坐标,其限定了测量点相对于机器视觉***10的位置。
机器视觉***10的光学成像***30可包括摄像机90。摄像机90可将测试对象20的视频图像投影到观察屏幕100上。然而,应当理解,可以使用其它设备,包括但不限于静态相机、激光3D扫描仪或被布置成获得测试对象20的图像数据并经由测试对象数据接口110将图像数据发送到机器视觉***10的任何设备。应当理解,在一种配置中,摄像机90将测试对象20的视频图像投影到显示面板70上,而不是将视频图像投影到观察屏幕100上,或者除了将视频图像投影到观察屏幕100上之外,还将测试对象20的视频图像投影到显示面板70上。优选地,摄像机90具有相对大的视场(FOV)。具有大FOV可以降低提取测试部分20的边界所需的时间量。摄像机90还优选地具有相对大的景深(DOF)。因此,测试部分20的整个边界优选地是焦点对准的,包括测试部分20不在基准面附近的任何特征。在示例性实施例中,光学配置是100 mm的视场,以及75 mm的可用景深。
在一种配置中,测试对象20由背光(概貌)照明器50从背后照亮。背光照明器50是输出照明光束的光源。光源可以是发光二极管(LED)、白炽灯泡或弧光灯,以及尤其是用于使照明光束成形的光学部件。在一种配置中,台40包括检测区域(未示出),照明光通过所述检测区域透射以从背后照亮测试对象。例如,检测区域可以包括一个或多个开口,和/或由透明玻璃制成的圆形区域。
测试对象20可以是任何工件,尤其是具有用户期望测量的特征的工件。用于生成位置信息(其是需要测量的测试对象20上的一些特征的位置信息)的信息优选地从一个或多个数字机器可读文件120中产生,所述一个或多个数字机器可读文件120包含测试对象20的设计详细说明。数字机器可读文件可以是由计算机辅助设计(CAD)***生成的测试对象的3D模型。当在本文中被使用时,“3D”表示是三维的,“2D”表示是二维的。用户获得测试对象20的预先存在的数字机器可读文件,并将其加载到测量软件的模型窗口中。
在配置中,数字文件120可以包括3D CAD模型,其可以被表示为各种方式,包括线框、表面或实体模型以及拓扑和特征描述以打算供引导测试对象20的制造用。优选地,使用3D模型中的每个表面的线框折线或3D边界折线,例如,.step文件。然而,本领域的普通技术人员应当理解,线框并不是必需的。也可以使用仅网格模型,例如,.stl文件。一旦加载了数字文件120,用户将测试对象20的3D模型(本文中有时称为CAD模型)与基准面对准,使得当从顶部观察时,示出要测量的特征,如以下更详细地讨论的。基准面与摄像机的光学轴正交,并且平行于台40的表面。因此,要测量的特征的轴应该与光学轴近似平行地对准。例如,如果用户期望测量垂直于测试对象20的表面所钻孔的直径和深度,则用户将对准3D模型,使得要测量的孔的轴近似正交于基准面并且平行于光学轴。类似地,对准测试对象20,使得它以相同的近似方位出现。也就是说,测试对象的孔的轴将与光学轴近似平行,并且台40和基准面将与光学轴正交。
控制单元130是控制器,其控制机器视觉***10的显示面板、可移动台40和光学成像***30并分析测试对象20的视频图像。用户输入/输出装置80也耦合到控制单元130。
现在参考图1和图2,图2示出了根据某些实施例的用于将3D CAD模型自动对准到测试对象的视频图像并因而自动对准到测试对象20本身的过程。根据步骤202,过程200可以以下述步骤开始:用户首先将3D模型加载到机器视觉***10的测量软件的模型窗口中。接下来,如上所阐述并根据步骤204,过程包括定向3D CAD模型。然后,将暴露CAD模型与打算要测量的测试对象20的特征相对应的某些特征。例如,用户可以对准3D模型,使得要测量的特征的轴近似正交于基准面并且平行于光学轴。应当理解,用户不需要知道与要测量的测试部分的特征有关的任何数值信息。根据步骤206,用户然后将测试对象20以与3D CAD模型的方位近似匹配的方位放置在机器视觉***10的运动台40上。运动台40可以在任何平面中移动,以对准测试部分20的角度方位,从而匹配3D CAD模型的方位。
由本领域普通技术人员应该理解,备选地,作为第一步,用户可以将测试对象20放置在机器视觉***10的运动台40上,并且然后用户可以以与测试对象20的方位近似匹配的方位来定向模型窗口中的3D CAD模型。通过“匹配”意味的是,3D CAD模型和测试对象20相对于x-、y-和z-轴近似处于相同的位置中,其中相同的对象特征暴露于观察轴。然而,应当理解,不需要在精确位置中定向3D CAD模型和测试对象20。
在拍摄视频图像之前,摄像机90被定向到放置在台40上的测试对象20。摄像机90的方位由机器视觉***10所知,并将被自动输入到轮廓生成算法中。以下讨论的自动轮廓测量在正表面照明情况下是困难的,而在后表面照明情况下不那么困难。因此,使用设置于台下方的背光50。因此,摄像机90理想地垂直对准测试对象20上方。由本领域普通技术人员应当理解,测试对象20不需要居中于摄像机90下方。
根据步骤208,利用摄像机90拍摄设置于运动台40上的测试对象20在与摄像机的观察轴垂直的基准面中的视频图像。在一种配置中,视频图像包括静止图像数据。在另一配置中,视频图像是来自视频流的帧的图像数据。根据步骤210,按照用户的命令,经由***边界提取器140提取测试对象20的***边界。也就是说,在一种配置中,***10使用视频图像来测量测试对象20在2D中的边界。测试对象20的轮廓使用本领域中已知的软件来测量。测试对象20所生成的轮廓是基于用户对测试对象20的近似对准以及摄像机90的当前方位的。
根据步骤212,过程200还经由廓影边界提取器(silhouette boundaryextractor)150在对应基准面中提取3D CAD模型的廓影边界,如以下更详细描述的。在配置中,在测量廓影边界前,将3D CAD模型压缩成基准面中的2D。3D模型的廓影边界可以作为平面图呈现给用户。使用拟合算法160,匹配模块170在对应基准面中将3D CAD模型的廓影边界与测试对象20的***边界相匹配。在一种配置中,根据步骤214,使用公知的最小二乘法。测试对象20、3D CAD模型和机器x-、y-和z-坐标被链接在一起,并且在相同的公共2D参考系中经由坐标分配器180分配坐标。来自3D CAD模型的2D基准面被分配以与测量机器的Z基准(Z =零)相同的位置。因此,根据步骤216,以在对应基准面内并沿观察轴为基准,将3D CAD模型中的点的坐标与测试对象20的坐标进行匹配。应当理解,测试对象20的测量坐标可能不完美匹配3D CAD模型的标称坐标。也就是说,最小二乘法拟合可能不能提供完美的对准。而是,测试对象20的测量坐标与标称坐标近似地匹配。然后,用户可以从显示面板70模型中选取要测量的点。摄像机90可以被快速重新对焦以测量具有不同z坐标的特征,因为它们的近似z坐标从3D模型中是已知的。在一些配置中,用户也不需要改变用于要测量的测试部分20特征的照明。这种定向过程使得可能仅通过从显示面板70的模型窗口中的3D CAD模型中选择特征来自动移动机器视觉***10以测量测试部分20上的3D特征。
3D CAD模型的虚拟轮廓边缘(本文中也称为廓影边缘)的生成是基于三角形边缘上的三角形邻域信息(triangle neighborhood information)的。更具体地说,收集3D模型中的每个表面的3D边界折线,其中每个折线是顶点和它们之间的线段的集。也就是说,收集来自线框折线的所有线段。接下来,收集来自3D网格的廓影边缘的所有线段。在一种配置中,CAD模型的网格是三角形网格400(其表示CAD模型的表面),例如如图4中所示的CAD模型碗(CAD model bowl),其中每个三角形是三个点和它们之间的三个线段的集。每个三角形边缘上的三角形邻域信息被用来识别可能的廓影边缘。如果对于两个相邻三角形而言以下项为真,则三角形边缘是可能的廓影边缘410:(i)相邻三角形之一(三角形A 402)的法向矢量指向稍微远离于相机观察方向404;以及(ii)其它相邻三角形(例如三角形B 406)的法向矢量指向与照相机观察方向404稍微相同的方向。候选轮廓线段是3D边界折线段,以及使用相机的观察方向404投影(平面化)到2D的可能的廓影线段。不是所有的候选轮廓线段都将是轮廓的一部分。为了确定所收集的2D候选轮廓线段是否是真实轮廓线段,以给定点生成密度在线段上生成2D点,然后使用给定的相机方向和位置将3D网格三角形投影到2D,并且滤除由任何2D三角形覆盖的2D点。应当理解,在线段上生成的2D点之间的距离应当小于3DCAD模型上的最小特征的尺寸。如果2D点在2D三角形区域内部,则认为2D点被2D三角形所“覆盖”,仅留下轮廓。也就是说,移除3D CAD模型的边界之内的线。
更具体地说,如图5-图7中所示,沿线段502生成2D候选轮廓点500的集合。在这一点上,难以确定哪些点是在三角形边缘上生成的而哪些点是在2D三角形区域内部生成的。因此,如图6中所示,移位测试可以用于每个点500。在一个示例中,测试点512、514、516、518、520、522、524、526从某些候选点500中生成。测试点512、514、516、518、520、522、524、526被移位以确定测试点512、514、516、518、520、522、524、526在从候选点500位置移位时是否覆盖任何相邻表面。例如,当“A表面”的边缘上的点512、514分别向下移位到位置513、515时,点512、514不被任何相邻表面覆盖;类似地,当“B”表面的边缘上的点518、520分别向下移位到位置519、521时,点518、520不被任何相邻表面覆盖。因此,2D点518、520被确定为“真实”轮廓点。当与“A”表面和“B”表面接界的点522、524、526分别移位到位置528、530、532,或者分别移位到位置534、536、538时,它们分别被“B”表面和“A”表面覆盖。由于这些2D点522、524、526被相邻表面覆盖,所以2D点522、523和526不被认为是“真实”轮廓点。如图7中所示,未被任何相邻表面覆盖的移位点被示为“真实”轮廓点506。当与“A”表面和“B”表面接界的点516被移位到位置517时,点516不被任何相邻表面覆盖,并且因此,该2D点516被确定为“真实”轮廓点。
在剩余的2D点上生成最小生成树。最小生成树是具有最小可能的边缘权重之和的生成树。基于剩余的2D点,使用若干公知的最小生成树算法(例如,Prims、Kruskall、Boruvka)中的任一种来构建最小生成树。来自生成树中比点生成密度更长的图形边缘被否决。剩余的图形边缘是3D CAD模型的真实轮廓线的段,其可以使用拟合算法160拟合到测试对象20的***边界。
图3示出了本发明的另一配置,其示出了利用以3D CAD模型为基准的机器视觉***10测量测试对象20的不同特征的过程。根据步骤302,过程300可以以下述步骤开始:用户利用摄像机90拍摄测试对象20的视频图像。根据步骤304,过程300还包括经由***边界提取器140在与摄像机90的观察轴正交的基准面中提取成像的测试对象20的***边界。通过如上所述的廓影边界提取器150获得3D CAD模型的廓影边界。根据步骤306,经由匹配模块170在对应基准面中相对设置3D CAD模型的廓影边界,以匹配测试对象的***边界。如步骤308中所阐述,经由坐标分配器180,以在对应基准面内并沿观察轴为基准,将3D CAD模型中的点的坐标与测试对象的对应点的坐标进行匹配。因此,根据步骤310,用户可以在显示面板70的模型窗口内选择CAD模型的特征,并标识要测量的特征的一个或多个点的坐标。如步骤312中所阐述,然后选择与模型窗口内的CAD模型的所选择特征相对应的测试对象20的特征,并且***10移动以测量测试对象20上的所选择特征。通常,使用相对大的视场(FOV)和相对大的景深(DOF),使得部分的边界是焦点对准的,该部分包括测试部分20的那些不在基准面附近的特征。例如,融合大视场多传感器测量***的低放大率光路(其在QualityVision International公司可获得)可以被设置为100 mm FOV和75 mm可用的DOF。一旦使用低放大率光路获得测试部分20的边界,用户就可以使用融合大视场多传感测量***的高放大率f/5光路进行测试部分的特征测量。在示例性实施例中,FOV和DOF被自动设置。
然而,如果需要,可以基于CAD模型的所选择特征的一个或多个点的坐标相对于测试对象20来改变摄像机90的焦点,所述坐标如以沿观察轴为基准。也可基于要测量的CAD模型的特征的点的坐标而改变测试对象的照明条件。例如,可以选择正表面照明器190或背光50。然而,应该理解,可以使用和选择其它照明器位置来照明要测量的测试对象20。
本发明预期可以做出许多改变和修改。因此,尽管已经示出和描述了本***的当前优选形式,并且已经讨论了若干修改和替换,但是本领域技术人员将容易地理解,在不偏离如由所附权利要求限定和区分的本发明的范围的情况下,可以做出各种附加的改变和修改。

Claims (19)

1.一种在机器视觉***中将3D CAD模型对准到测试对象的方法,所述机器视觉***具有坐标轴,所述坐标轴包括相机的观察轴,所述方法包括以下步骤:
在所述机器视觉***的模型窗口中定向所述3D CAD模型,以用于暴露所述CAD模型与打算要测量的所述测试对象的特征相对应的特征;
将所述测试对象以与所述3D CAD模型的所述方位近似匹配的方位放置在所述机器视觉***的台上;
利用所述相机拍摄所述运动台上的所述测试对象的图像,并在与所述相机的所述观察轴正交的基准面中提取***边界;
在对应基准面中提取所述3D CAD模型的廓影边界;
使用拟合算法,在所述对应基准面中相对设置所述3D CAD模型的所述廓影边界,以匹配所述测试对象的所述***边界;以及
以在所述对应基准面内并沿所述观察轴为基准,将所述3D CAD模型中的点的坐标与所述测试对象的对应点的坐标进行匹配。
2.根据权利要求1所述的方法,其中在对应基准面中提取所述3D CAD模型的廓影边界的所述步骤还包括以下步骤:
从所述CAD模型的3D三角形网格的所述可能的廓影边缘中收集所有所述线段;
使用所述相机的所述观察方向将所述可能的廓影线段投影到2D;
在所述线段上生成2D候选轮廓点;
生成测试点,每个测试点从与所述候选轮廓点之一匹配的第一位置到第二移位位置是可移动的;以及
确定所述移位位置中的每个测试点是否被所述CAD模型的所述3D三角形网格的相邻表面覆盖,其中与未被任何相邻表面覆盖的、第二移位位置中的所述测试点相对应的每个2D候选轮廓点是真实轮廓点。
3.根据权利要求2所述的方法,还包括生成最小生成树的步骤,所述最小生成树具有在所述测试点上的边缘的集合,所述测试点在所述第二移位位置由相邻表面覆盖。
4.根据权利要求3所述的方法,还包括以下步骤:丢弃所述最小生成树中比点生成密度更长的边缘的子集,其中所述最小生成树的边缘的剩余子集是所述3D CAD模型的真实轮廓线的段。
5.根据权利要求4所述的方法,还包括以下步骤:使用拟合算法以将最小生成树边缘的所述剩余子集拟合到所述测试对象的所述***边界。
6.根据权利要求1所述的方法,其中所述3D CAD模型包括由顶点连接的线,并且提取所述廓影边界的所述步骤包括在所述对应基准面中移除所述3D CAD模型的所述边界之内的所述线。
7.根据权利要求1所述的方法,还包括以下步骤:
在所述3D CAD模型上选择要测量的特征;
基于所述3D CAD模型中与所述测试对象的对应点的坐标相匹配的点的坐标,自动地将所述台和所述相机中的至少一个平移到期望位置,所述3D CAD模型中与所述测试对象的对应点的坐标相匹配的点的坐标是以在所述对应基准面内并沿所述观察轴为基准的;以及
测量与所述CAD模型的所述选择的特征相对应的测试对象特征。
8.根据权利要求1所述的方法,还包括以下步骤:
在所述3D CAD模型上选择要测量的特征;以及
在测量所述测试对象上的所述选择的特征之前,基于所述CAD模型的所述选择的特征的所述一个或多个点的所述坐标,相对于所述测试对象自动地对焦所述相机。
9.根据权利要求1所述的方法,其中利用所述相机拍摄所述运动台上的所述测试对象的图像的步骤包括使用摄像机提供以下项中的一项的步骤:(i)静止图像数据;以及(ii)来自视频流的帧的图像数据。
10.根据权利要求1所述的方法,还包括以下步骤:在利用所述相机拍摄所述运动台上的所述测试对象的所述图像之前,从背后照亮所述测试对象。
11.根据权利要求1所述的方法,还包括以下步骤:
在所述3D CAD模型上选择要测量的特征;
基于所述3D CAD模型中与所述测试对象的对应点的坐标相匹配的点的坐标,自动地将所述运动台和所述相机中的至少一个平移到期望位置,所述3D CAD模型中与所述测试对象的对应点的坐标相匹配的点的坐标是以在所述对应基准面内并沿所述观察轴为基准的;
自动地对焦所述相机;以及
测量与所述CAD模型的所述选择的特征相对应的测试对象特征。
12.一种利用以3D CAD模型为基准的机器视觉***测量测试对象的不同特征的方法,包括以下步骤:
利用摄像机拍摄所述测试对象的视频图像;
在与所述摄像机的观察轴正交的基准面中,提取所述成像的测试对象的***边界;
在对应基准面中相对设置所述3D CAD模型的廓影边界,以匹配所述测试对象的所述***边界;
以在所述对应基准面内并沿所述观察轴为基准,将所述3D CAD模型中的点的坐标与所述测试对象的对应点的坐标进行匹配;
在所述模型窗口内选择所述CAD模型的特征,并标识所述特征的一个或多个点的坐标;以及
测量与所述模型窗口内的所述CAD模型的所述选择的特征相对应的测试对象特征。
13.根据权利要求12所述的方法,还包括以下步骤:在测量所述测试对象特征之前,基于所述CAD模型的所述选择的特征的所述一个或多个点的所述坐标,改变所述摄像机相对于所述测试对象的焦点,所述坐标如以沿所述观察轴为基准。
14.根据权利要求12所述的方法,还包括以下步骤:基于所述CAD模型的所述选择的特征的所述一个或多个点的所述坐标而改变所述测试对象的照明条件,所述坐标如以在所述对应基准面内并沿所述观察轴为基准。
15.根据权利要求12所述的方法,还包括以下步骤:调整所述摄像机的所述视场(FOV),以虑及要测量的所述测试对象的所述特征位于所述视场(FOV)内。
16.根据权利要求12所述的方法,还包括以下步骤:调整所述摄像机的所述景深(DOF),以虑及所述测试对象的整个***边界保持焦点对准而不管所述***边界是否在所述基准面附近。
17.根据权利要求15所述的方法,其中调整所述摄像机的所述视场(FOV)的所述步骤是自动的。
18.根据权利要求16所述的方法,其中调整所述摄像机的所述景深(DOF)的所述步骤是自动的。
19.一种利用以3D CAD模型为基准的机器视觉***测量测试对象的不同特征的方法,包括以下步骤:
在所述3D CAD模型上选择要测量的特征;
基于所述3D CAD模型中与所述测试对象的对应点的坐标相匹配的点的坐标,自动地将所述运动台和所述相机中的至少一个平移到期望位置,所述3D CAD模型中与所述测试对象的对应点的坐标相匹配的点的坐标是以在所述对应基准面内并沿所述观察轴为基准的;
自动地对焦所述相机;以及
测量与所述CAD模型的所述选择的特征相对应的测试对象特征。
CN201880028067.2A 2017-02-28 2018-02-07 3d模型到测试对象的自动对准 Pending CN110753952A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762464620P 2017-02-28 2017-02-28
US62/464620 2017-02-28
PCT/US2018/017191 WO2018160326A1 (en) 2017-02-28 2018-02-07 Automatic alignment of a 3d model to a test object

Publications (1)

Publication Number Publication Date
CN110753952A true CN110753952A (zh) 2020-02-04

Family

ID=61244787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880028067.2A Pending CN110753952A (zh) 2017-02-28 2018-02-07 3d模型到测试对象的自动对准

Country Status (4)

Country Link
US (1) US10579890B2 (zh)
JP (1) JP6858878B2 (zh)
CN (1) CN110753952A (zh)
WO (1) WO2018160326A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882103A (zh) * 2022-04-20 2022-08-09 南昌龙旗信息技术有限公司 手写笔螺母对位方法、装置、设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11906285B2 (en) * 2018-06-21 2024-02-20 Fill Gesellschaft M.B.H. Method for storing real data relating to a body contour of a body
JP2020187626A (ja) * 2019-05-16 2020-11-19 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN110363801B (zh) * 2019-07-04 2023-04-18 陕西丝路机器人智能制造研究院有限公司 工件实物与工件三维cad模型的对应点匹配方法
US11625843B2 (en) 2020-06-24 2023-04-11 Bluebeam, Inc. Systems and methods for automatic alignment of drawings

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103196370A (zh) * 2013-04-01 2013-07-10 北京理工大学 一种导管接头空间位姿参数的测量方法和装置
CN105051487A (zh) * 2013-06-17 2015-11-11 海克斯康测量技术有限公司 使用选择性成像测量物体的方法和设备
JP2016109669A (ja) * 2014-11-28 2016-06-20 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064759A (en) * 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
CA2369845A1 (en) * 2002-01-31 2003-07-31 Braintech, Inc. Method and apparatus for single camera 3d vision guided robotics
US20040223053A1 (en) * 2003-05-07 2004-11-11 Mitutoyo Corporation Machine vision inspection system and method having improved operations for increased precision inspection throughput
US20050031191A1 (en) * 2003-08-04 2005-02-10 Mitutoyo Corporation Methods and apparatus for inspection of lines embedded in highly textured material
US7324682B2 (en) * 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7590276B2 (en) * 2004-12-20 2009-09-15 Mitutoyo Corporation System and method for programming interrupting operations during moving image acquisition sequences in a vision system
US8396329B2 (en) * 2004-12-23 2013-03-12 General Electric Company System and method for object measurement
US7580560B2 (en) * 2005-07-18 2009-08-25 Mitutoyo Corporation System and method for fast template matching by adaptive template decomposition
US8311311B2 (en) * 2005-10-31 2012-11-13 Mitutoyo Corporation Optical aberration correction for machine vision inspection systems
JP5013961B2 (ja) * 2007-05-21 2012-08-29 キヤノン株式会社 位置姿勢計測装置及びその制御方法
US8248417B1 (en) 2008-08-28 2012-08-21 Adobe Systems Incorporated Flattening 3D images
US8442304B2 (en) * 2008-12-29 2013-05-14 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
US8526705B2 (en) * 2009-06-10 2013-09-03 Apple Inc. Driven scanning alignment for complex shapes
JP5597056B2 (ja) * 2010-08-02 2014-10-01 株式会社キーエンス 画像測定装置、画像測定方法及び画像測定装置用のプログラム
US9582934B2 (en) 2010-09-20 2017-02-28 Siemens Healthcare Gmbh Method and system for efficient extraction of a silhouette of a 3D mesh
KR101706092B1 (ko) * 2010-09-29 2017-02-14 삼성전자주식회사 3차원 물체 추적 방법 및 장치
JP5679560B2 (ja) 2011-02-01 2015-03-04 株式会社キーエンス 寸法測定装置、寸法測定方法及び寸法測定装置用のプログラム
US9489765B2 (en) 2013-11-18 2016-11-08 Nant Holdings Ip, Llc Silhouette-based object and texture alignment, systems and methods
JP5911934B2 (ja) * 2014-09-18 2016-04-27 ファナック株式会社 輪郭線計測装置およびロボットシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103196370A (zh) * 2013-04-01 2013-07-10 北京理工大学 一种导管接头空间位姿参数的测量方法和装置
CN105051487A (zh) * 2013-06-17 2015-11-11 海克斯康测量技术有限公司 使用选择性成像测量物体的方法和设备
JP2016109669A (ja) * 2014-11-28 2016-06-20 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄魁东 等: "基于配准模型仿真的锥束CT射束硬化校正方法" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882103A (zh) * 2022-04-20 2022-08-09 南昌龙旗信息技术有限公司 手写笔螺母对位方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2020509370A (ja) 2020-03-26
JP6858878B2 (ja) 2021-04-14
WO2018160326A1 (en) 2018-09-07
US10579890B2 (en) 2020-03-03
US20180247147A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
US10579890B2 (en) Automatic alignment of a 3D model to a test object
KR102296236B1 (ko) 3d 이미지 데이터에서 3d 포즈와 기생포인트 제거의 스코어링을 개선하는 시스템 및 방법
US8773526B2 (en) Edge detection using structured illumination
JP5365645B2 (ja) 基板検査装置および基板検査システムならびに基板検査結果の確認用画面の表示方法
US9341465B2 (en) Dimension measuring apparatus, dimension measuring method, and program for dimension measuring apparatus
JP7167453B2 (ja) 外観検査システム、設定装置、画像処理装置、設定方法およびプログラム
US9223306B2 (en) System and method utilizing an editing initialization block in a part program editing environment in a machine vision system
CN104024793B (zh) 形状检查方法及其装置
CN101013028A (zh) 图像处理方法以及图像处理装置
JP2020509370A5 (zh)
CN107850425B (zh) 用于测量制品的方法
CN113008789B (zh) 具有透明工件表面模式的计量***
JP5467962B2 (ja) 測定設定データ作成装置、測定設定データ作成方法、測定設定データ作成装置用のプログラム及び寸法測定装置
CN111480050A (zh) 具有计算机生成的虚拟参照物的机器视觉***
JP2013088414A (ja) 形状検査方法およびその装置
JP2012037257A (ja) 測定設定データ作成装置、測定設定データ作成方法及び測定設定データ作成装置用のプログラム
US20020065637A1 (en) Method and apparatus for simulating the measurement of a part without using a physical measurement system
Breier et al. Accurate laser triangulation using a perpendicular camera setup to assess the height profile of PCBs
Sansoni et al. In-field performance of an optical digitizer for the reverse engineering of free-form surfaces
CN110044296B (zh) 3d形状的自动跟踪方法和测量机
JP6958142B2 (ja) 検査方法、検査プログラム及び検査装置
JPH11271033A (ja) 三次元形状物体撮像装置
US20240054726A1 (en) Reverse engineering support apparatus
US20240054253A1 (en) Reverse engineering system
JP2002228424A (ja) 照明条件の最適化による画像測定機のオフラインティーチング方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination