CN103562970A - 自动确定部件与参考制图的符合 - Google Patents

自动确定部件与参考制图的符合 Download PDF

Info

Publication number
CN103562970A
CN103562970A CN201180071313.0A CN201180071313A CN103562970A CN 103562970 A CN103562970 A CN 103562970A CN 201180071313 A CN201180071313 A CN 201180071313A CN 103562970 A CN103562970 A CN 103562970A
Authority
CN
China
Prior art keywords
control section
parts
tolerance limit
image
deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180071313.0A
Other languages
English (en)
Other versions
CN103562970B (zh
Inventor
帕特里克·博切明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visionx Inc
Original Assignee
Visionx Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visionx Inc filed Critical Visionx Inc
Publication of CN103562970A publication Critical patent/CN103562970A/zh
Application granted granted Critical
Publication of CN103562970B publication Critical patent/CN103562970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C3/00Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
    • G07C3/14Quality control systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

一种用于视觉上将部件与计算机存储器中或屏幕上的所述部件的制图进行比较的***。该***包括:摄像机,用于捕获部件的单个图像或图像流,计算模块,用于接收该图像或图像流、用于获得、缩放、定位和在显示单元上显示该部件的制图、以及用于将制图覆盖在图像或图像流上。该***在至少一个控制段处确定是否在预定容限内制造部件。在使用中,用户定义至少一个控制段,并且***执行每一个控制段的CAD空间到图像空间变换。计算每一个控制段处CAD制图与部件之间的偏差,并且向用户指示该偏差。将该偏差与预定容限进行比较,以确定部件在每一个控制段处是否在预定容限内;以及基于比较来确定通过/未通过指示。对于更复杂的形状,用户可以选择整个几何形状,并且***自动地确定该几何形状中的多个控制段,以向用户提供形状通过/未通过指示。

Description

自动确定部件与参考制图的符合
技术领域
本发明涉及用于在控制段(control section)中或者针对整个部件自动地确定部件是否在预定容限内的***和方法。
背景技术
在制造过程中,几乎总是需要对制造的部件进行质量控制。在一些情况下,如果部件在更严格的容限内,则该质量控制将准许制造商以更好的价格销售部件。此外,在诸如航空航天业或电子业等的一些行业中,如果未将部件制造为达到严格的容限,则将拒绝这些部件。
过去,手动地或者通过视觉***但是使用制图的纸印本来完成部件与工程制图的比较,这具有可能必然导致的固有缺点。
本申请的受让人已经提出了申请no.PCT/CA2010/000295,其涉及用于在屏幕上将制图的图像覆盖部件的图像的***和方法。该***的很多优点中的两个优点是,可以使用传统的图像处理技术来完成对制图的缩放,并且还可以手动地或自动地执行制图和该部件的对准。
发明内容
本发明的目的是提供一种自动地确定部件是否在容限内的***和方法。
根据本发明的一个方面,在用于视觉上将部件与计算机存储器中或屏幕上的所述部件的制图进行比较的***中提供了一种用于在至少一个控制段处确定是否在预定容限内制造部件的方法,所述***包括:摄像机,用于捕获所述部件的单个图像或图像流;计算模块,用于接收所述图像或所述图像流、用于获得、缩放、定位、在显示单元上显示所述部件的所述制图并且用于将所述制图覆盖在所述图像或所述图像流上,所述方法包括以下步骤:
a、定义至少一个控制段,并且针对每一个控制段,确定其几何形状;
b、执行每一个控制段的CAD空间到图像空间变换;
c、计算每一个控制段处的所述CAD制图与所述部件之间的偏差;
d、向用户提供关于每一个控制段处所述CAD制图与所述部件之间的所述偏差的指示;
e、将所述偏差与预定容限进行比较,以确定所述部件在每一个控制段处是否在所述预定容限内;以及
f、向用户提供关于确定每一个控制段在所述预定容限内的指示。
根据本发明的另一方面,在用于视觉上将部件与计算机存储器中或屏幕上的所述部件的制图进行比较的***中提供了一种用于在至少一个几何对象处确定是否在预定容限内制造部件的方法,所述***包括:摄像机,用于捕获所述部件的单个图像或图像流,计算模块,用于接收所述图像或所述图像流、用于获得、缩放、定位和在显示单元上显示所述部件的所述制图并且用于将所述制图覆盖在所述图像或所述图像流上,所述方法包括以下步骤:
a、定义至少一个几何实体,并且针对每一个几何实体,定义其几何形状,所述几何形状包括密度系数;
b、在所述几何实体中的每一个几何实体内定义多个虚拟控制段,所述多个虚拟控制段随所述密度系数而变化;
c、针对每一个虚拟控制段,确定其几何形状;
d、执行每一个虚拟控制段的CAD空间到图像空间变换;
e、计算每一个虚拟控制段处所述CAD制图与所述部件之间的偏差;
f、向用户提供关于每一个虚拟控制段处所述CAD制图与所述部件之间的所述偏差的指示或者关于所述几何实体上的所述CAD制图与所述部件之间的最小偏差和最大偏差以及在所述几何实体上具有所述最小偏差和所述最大偏差的位置的指示;
g、将所述偏差与预定容限进行比较,以确定所述部件在每一个虚拟控制段处是否在所述预定容限内;以及
h、向用户提供关于确定每一个虚拟控制段在所述预定容限内的指示。
根据本发明的另一方面,在用于视觉上将部件与所述部件的制图进行比较的***中提供了一种用于在至少一个控制段处确定是否在预定容限以内制造部件的方法,所述***适合于接收所述部件的单个图像或图像流,所述***包括:用于接收所述图像或所述图像流、用于获得、缩放、定位和在显示单元上显示所述部件的所述制图并且用于将所述制图覆盖在所述图像或所述图像流上的模块,所述***还包括:
a、输入设备,用于在所述部件的至少一个点上定义至少一个控制段,并且针对每一个控制段,确定其几何形状;
b、计算模块,用于执行每一个控制段的CAD空间到图像空间变换;
c、计算模块,用于计算每一个控制段处所述CAD制图与所述部件之间的偏差;
d、输出设备,用于向用户提供关于每一个控制段处所述CAD制图与所述部件之间的所述偏差的指示;
e、比较器,用于将所述偏差与预定容限进行比较,以确定所述部件在每一个控制段处是否在所述预定容限内;以及
f、所述输出设备,还向用户提供关于确定每一个控制段处在所述预定容限内的指示。
根据本发明的又一方面,提供了一种用于视觉上将部件与计算机存储器中或屏幕上的所述部件的制图进行比较的***,所述***适合于接收所述部件的单个图像或图像流,所述***包括:用于接收所述图像或所述图像流、用于获得、缩放、定位和在显示单元上显示所述部件的所述制图并且用于将所述制图覆盖在所述图像或所述图像流上的模块,所述***还包括:
a、输入设备,用于定义至少一个几何实体,并且针对每一个几何实体,定义其几何形状,所述几何形状包括密度系数;
b、用于在所述几何实体中的每一个几何实体内定义多个虚拟控制段的装置,所述多个虚拟控制段随所述密度系数而变化;
c、针对每一个虚拟控制段确定其几何形状;
d、用于执行每一个虚拟控制段的CAD空间到图像空间变换的装置;
e、用于计算每一个虚拟控制段处所述CAD制图与所述部件之间的偏差的装置;
f、用于向用户提供关于每一个虚拟控制段处所述CAD制图与所述部件之间的所述偏差的指示或者关于所述几何实体上的所述CAD制图与所述部件之间的最小偏差和最大偏差以及在所述几何实体上具有所述最小偏差和所述最大偏差的位置的指示的装置;
g、用于将所述偏差与预定容限进行比较以确定所述部件在每一个虚拟控制段处是否在所述预定容限内的装置;以及
h、用于向用户提供关于确定每一个虚拟控制段在所述预定容限内的指示的装置。
根据本发明的另一方面,在用于将部件与所述部件的制图进行比较的***中提供了一种用于在至少一个控制段处确定是否在预定容限以内制造部件的方法,所述***包括:摄像机,用于捕获所述部件的单个图像或图像流,计算模块,用于接收所述图像或所述图像流、用于获得、缩放和定位所述部件的所述制图并且用于将所述制图覆盖在所述图像或所述图像流上,所述方法包括以下步骤:
a、定义至少一个控制段,并且针对每一个控制段,确定其几何形状;
b、执行每一个控制段的CAD空间到图像空间变换;
c、计算每一个控制段处所述CAD制图与所述部件之间的偏差;
d、提供关于每一个控制段处所述CAD制图与所述部件之间的所述偏差的指示;以及
e、将所述偏差与预定容限进行比较,以确定所述部件在每一个控制段处是否在所述预定容限内。
附图说明
在阅读参照附图给出的本发明的优选实施例的描述以后,将更好地理解本发明,在附图中:
图1是在CAD制图中示出的部件的一部分的示意性表示,其示出了针对控制段选择的线;
图2另外示出了正向容限和负向容限;
图3示出了显示器上的部件,其中,CAD制图被覆盖在部件的图像上,并且示出了控制段的点A至H;
图4示出了在部件与相同部件的CAD制图之间发生与额定位置(nominal)的偏差;
图5示出了其上覆盖有其CAD制图的部件,其中,考虑到在所选的控制点处的偏差值低于预定阈值,该部件被确定为通过检查;
图6示出了其上覆盖有其CAD制图的部件,其中,部件的上部不是平滑的,而是呈现锯齿边缘;
图7示出了CAD制图的一部分和用于评价部件的几何形状的多个虚拟控制段;
图8示出了其上覆盖有CAD制图的一部分的部件,其示出了针对部件的不同部分的不同容限带;
图9示出了针对图7的CAD制图的部分的正向容限带和负向容限带;
图10示出了其上覆盖有其CAD制图的部件,其中,考虑到针对整个几何形状,该部件在正向容限带和负向容限带内,该部件被确定为通过检查;
图11示出了其上覆盖有其CAD制图的部件,其中,考虑到针对整个几何形状,部件的各个部分在正向容限带以外,该部件被确定为未通过检查。
图12示出了其上覆盖有其CAD制图的部件,结合控制段示出了容限带;
图13是用于对部件上的单个控制段进行验证的步骤的示意性表不;
图14是用于对几何实体进行验证的步骤的示意性表示;
图15是用于执行本发明的优选实施例的***的示意性表示。
具体实施方式
本发明发现成像***的特定用途,例如,在专利no.PCT/CA2010/000295中所描述的特定用途。因此,本发明发现***能够在部件的活动或静止视频图像之上覆盖部件的经适当缩放、平移和旋转的CAD数据的用途。然而,注意,本专利申请不应当局限于本申请中描述的特定成像***,而是本文描述的发明可以在所有计算机化的成像***中使用。
在优选的实施例中,本发明的***包括镜头111、数码摄像机113和运行适当的硬件和软件以与摄像机接口连接的计算机或者其它适当的数据处理***115。
因为这种***被设计为研究较小物品和较大物品二者,因此该***优选地包括一个或多个监视器117。优选的实现提供了多个监控器,这允许完全显示由摄像机产生的高分辨率图像(即,在监控器组上以1∶1的分辨率完全显示由摄像机产生的高分辨率图像,使得来自摄像机的每一个像素与监控器组上的像素相对应,并且为其它窗口留出空间)。
优选地,***还包括照明装置119(透射型的和/或反射型的,以分别进行背面照明和/或正面照明)。还提供了用于安装摄像机、镜头和照明的装置121(例如,托架、硬件和结构元件),同样地,还提供了用于在摄像机与镜头之间安装部件100的装置123。
使用用于处理从摄像机113接收的信号、对图像进行边缘检测或模式识别、从数据库145获得CAD制图、并且执行根据本发明的各种计算的多个模块131、133、135、137、139和151对计算机115进行编程,在图15上仅标记了这些模块中的一部分。
计算机115还包括用于准许用户与计算机115进行交互的输入设备41、43,例如,操纵杆或键盘和鼠标。
除了本文所描述的特定计算功能以外,计算机115被编程并用作任一其他计算设备。虽然概括了前述内容,但是本领域技术人员将容易认识到,本发明的***和方法可以实现在台式计算机、服务器***、工作站***上,或者甚至可以通过互联网或外联网来部署。
在一个方面中,本发明涉及用于在特定的位置处自动、实时地确定部件是否与其CAD数据匹配至用户指定的容限内的***和方法。这将被称作“基于控制段的自动通过/未通过”方案。
如果需要全部件方法,则在另一个方面中,本发明涉及用于在整个几何对象上自动、实时地确定部件是否与其CAD数据匹配至用户指定的容限内的***和方法。这将被称作“基于几何形状的自动通过/不通过”方案。
下面描述这些计算方案。
基于控制段的自动通过/不通过
总的来说,自动通过/不通过方案允许用户建立“控制段”。控制段位于单个点处,具有方位,并且具有与之关联的通用双向容限。双向容限的典型示例将是+0.005"/-0.001″。注意,在本发明的上下文中,不对双向容限的值进行限制。本发明支持所谓的“加/加”容限(例如,+0.005″/+0.001″)、“减/减”容限(例如,-0.001″/-0.005″)以及零值容限(实际上:单向容限——例如,+0.005"/0″或0"/-0.005″——或零容限——例如,+/-0″)。换言之:所谓的“加/加”容限在两个容限极限在额定位置的正侧上时出现。相反,在“减/减”容限的情况下,两个容限极限在额定位置的负侧上。
控制段通常将(但不一定)直接位于CAD数据上,并且在该位置处垂直于CAD几何形状。
例如,图1示出了由CAD制图表示的部件的部分10,在其上放置了控制段11。在优选的实施例中,控制段11在放置控制段11的点13处垂直于CAD制图。
图2对图1进行补充,并且为了计算与标准的正偏差和负偏差,示出了正向容限15和负向容限17。
建立控制段
很多不同的方法可以建立控制段11。在优选的实施例中,用于允许用户手动地建立这些控制段11的方法如下:
用户使用鼠标或另一定点设备41在部件的图像和覆盖的CAD数据上移动指针和跟踪光标。然后,***持续、实时地定位CAD数据中与指针最接近的点13。如果该最近点与指针之间的距离小于用户指定的最大距离(即,如果指针在CAD数据的“附近”),则光标“对齐到”该最近点。如果否,则光标的位置与指针的位置相同。光标随着指针移动,从而以此方式对齐到CAD数据,直到用户(例如,通过点击鼠标按钮)“设置”该点为止。这确定控制段13的位置。如果所选的点在CAD数据上,则在优选的实现中,***允许用户自动地将控制段的方位设置为在该点处垂直于CAD数据。然后,用户可以指示与正向相对应的方向。注意,在优选的实现中,惯例是,正向是在控制段被设置在部件的外边缘的情况下远离材料的方向。图4示出了部件和CAD数据以及与标准的偏差(在该情况下,负偏差)的详细示意性表示。
然后,用户可以指定控制段的上述双向容限。
读者将注意到,未对本发明支持的控制段的数量进行限制。此外,不同的控制段显然可以具有不同的容限值。
注意,除了如上所述地手动地建立控制段的能力,还可以向通过/未通过算法提供经由例如电子文件从CAD数据本身获得的控制段信息。
图3示出了在与部件100的外边缘相对应的CAD数据中的位置处建立的控制段A至H的示例。虚线101表示CAD数据。
执行基于控制段的自动通过/未通过计算
利用该控制段信息,本发明的***可以自动、实时地确定部件与CAD数据是否匹配至用户指定的容限内。具体地说,***对摄像机的实况视频流(或者静止图像)中的每一个图像进行操作,并且在每一个控制段处,确定部件与额定位置的偏差。考虑在部件的外边缘的额定位置处的CAD数据上建立控制段的情况,与额定位置的偏差是部件的真实位置与其额定位置之间的差值(即,沿着控制段的方向测量的远离控制段的位置的距离)。可以通过使用例如边缘检测工具来获得边缘位置。模式匹配工具也可以用于获得特征位置。当考虑具有弱边缘的特征(在部件内的特定边缘的情况下更频繁出现的情况)时或者在存在可能“混淆”边缘检测工具的很多边缘的情况下,这可能特别有用。本领域技术人员将容易认识到,用于边缘和特征定位的其它方法也是可能的。
可以向用户显示在每一个控制段处与额定位置偏差的值,并且可以在实况视频流的情况下针对每一个图像持续地更新该偏差值。
通过将与额定位置的偏差和容限范围进行比较,来在每一个控制段处获得通过/不通过结果。如果与额定位置的偏差在用户指定的容限范围内,则认为该控制段“通过”,并且如果与额定位置的偏差不在用户指定的容限范围内,则认为该控制段“未通过”。通过组合所有控制段的通过/不通过结果,可以获得总通过/不通过结果。在大多数应用中,只有当所有控制段结果是“通过”时,总结果才是“通过”。然而,在特定的实际应用中,甚至在存在特定(通常很小)百分比的“未通过”控制段时,也可以获得总“通过”结果。
在优选的实现中,使用颜色编码(通常,红色针对未通过,绿色针对通过)示出了每一个控制段处的通过/未通过结果。
图4示出了如何通过沿着控制段测量(在图像空间中)部件的位置与其额定位置之间的距离来获得与额定位置的偏差。通过对在图像上测量的距离进行反变换(即,图像空间到CAD空间)来获得在控制段处部件与额定位置的偏差的真实值。
图5示出了利用每一个控制段处与额定位置的偏差进行基于控制段的自动通过/未通过计算的结果的示例。
控制段可以位于***的光学视场之内和之外(这在例如大于视场的部件的情况下特别有用)。通过使CAD数据(和控制段信息,其被“束缚于”CAD数据)(基于来自工作台的编码器的反馈)“跟踪工作台(stage)运动”,可以将部件与超出***的光学视场以外的CAD数据进行比较。
读者将清楚的是,为了能够执行这种自动化的基于控制段的部件与CAD比较,需要对准部件和CAD数据。可以手动地或自动地完成对准。
下面给出根据本发明的优选实施例的基于控制段的自动通过/未通过计算中涉及的主要步骤(参见图12):
如上所述,用户将使用诸如鼠标或操纵杆等的指向设备和诸如键盘或触摸屏等的输入设备来键入期望数量的控制段和针对每一个控制段的各个参数,即,位置、方位、容限和正向。
在优选的实施例中,如果适用的话,方位将默认为在控制段处垂直于CAD数据,但是***适合于接收由用户指定的不同方位。
一旦已经设置了控制段,***就将向每一个控制段的几何形状应用CAD覆盖、当前平移、旋转和缩放。换言之,***应用控制段的CAD空间到图像空间变换。
此后,***针对实况视频流中的每一个图像并且针对每一个控制段持续地计算在控制段的位置处部件与额定位置的偏差,并且将该偏差与控制段的容限进行比较。将注意到,容限可以是用户指定的或者从CAD制图本身中挖掘的。因此,***产生针对控制段的通过/未通过结果。
然后,***基于针对给定部件的每一个控制段的每一个单独的通过/未通过结果的组合来确定总通过/未通过结果。
当然,针对单独的通过/未通过和总通过/未通过的阈值是由用户预定的,并且将随着部件而改变,并且甚至在部件内,容限也可能是不同的。
基于几何形状的自动通过/未通过
上面的基于控制段的自动通过/未通过方案在每一个控制段处产生了非常精确的结果并且具有计算效率非常高的优点。然而,它提供了对部件的不完全覆盖。因此,存在产生所谓的错误通过结果的风险。这应当是在未定义控制段的某点处部件在容限以外的情况。
图6示出了不适合于基于控制段的方法的特征的示例(这是由于部件上的感兴趣的特征具有非常显著的“峰值和谷值”)。
有问题的情形的另一示例是具有“防水板”的加工部件。
为了解决该缺点,本发明提出了作为上述方案的扩展并且自动地以全分辨率提供对整个几何实体的覆盖的计算方案,其被称作“基于几何形状的自动通过/未通过”。
在该情况下,用户选择整个几何组件(例如,线、弧、椭圆、样条曲线、圆形、折线、多义线实体以及任何其它CAD几何组件)。
很多不同的方法能够定义要用于自动通过/未通过计算的几何形状。在优选的实现中,当用户定义要用于该自动通过/未通过分析的几何形状时,除了在该情况下用户被允许选择与指针最近的整个几何对象(并且仍然处于指针的“附近”)而不是单个点以外,提供了与上文所描述的能力相似的“对齐到CAD”能力。一旦选择了几何对象,该***就以与系数相对应的密度乘以等于像素到像素的距离的CAD空间(或者真实世界)来创建“虚拟”控制段。这些虚拟控制段中的每一个虚拟控制段的方位被设置为在虚拟控制段的位置处垂直于几何对象(参加图7)。
在密度系数为1.0的情况下,该方法确保自动通过/未通过分析的分辨率与***的全分辨率相对应。
在用户期望考虑更粗略的虚拟控制段密度(其与大于1.0的系数值相对应)的情况下包括该密度系数。这提供了在保持超过可接受分辨率(即,在很多实际情形中,如果例如仅在一个或两个像素的距离上发生在容限以外的情况,则用户将希望无论如何都忽略它)的同时显著加速计算(在加速与系数值之间存在线性关系)的益处。
还将注意的是,使用小于1.0的系数值是没有意义的,这是因为总通过/未通过结果的分辨率将继续受到***的分辨率的限制。在该情况下,更精细的虚拟控制段的分辨率将不会提供益处,而是当然会增加计算成本。
与在基于控制段的方案的情况中一样,需要指示正方向并且需要设置双向容限。然而,注意,在基于几何形状的自动通过/未通过方案的情况下,容限可以沿着几何对象而改变(常见的示例是容限沿着几何对象线性改变)。换言之:不需要沿着几何对象的所有虚拟控制段都具有相同的容限值。
图9示出了如何沿着几何实体(样条曲线实体)自动地创建虚拟控制段,其中,相邻虚拟控制段之间的间距随密度系数和图像空间像素间距而变化。
图8和图9示出了沿着正容限方向和负容限方向,沿着所有相邻虚拟控制段的顶端之间的线绘制的“容限带”。该表示实际上显示沿着每一个所选几何对象的“容限带”。
执行基于几何形状的自动通过/未通过计算
利用上述几何形状信息设置,基于几何形状的自动通过/未通过算法可以在每一个虚拟控制段处自动、实时地确定部件是否与CAD数据匹配至用户指定的容限内。在每一个虚拟控制段处以与上文针对基于控制段的方法所述的方式相同的方式来获得该结果。此外,如上所述,该基于几何形状的方法对摄像机的实况视频流中的每一个图像进行操作。此外,同样如上所述,可以向用户显示与额定位置的偏差(通常但不一定是在几何对象上与额定位置的最大正偏差和最大负偏差及其位置)并且针对实况视频流中的每一个图像持续地更新该偏差。此外,如上所述,优选的实现使用颜色编码来指示位置在容限以内和位置在容限以外的情况。此外,如上所述,可以组合来自所有虚拟控制段的通过/未通过结果以产生总通过/未通过结果。此外,如上所述:虚拟控制段可以位于***的光学视场之内和之外。
图11和图12示出了基于几何形状的自动通过/未通过计算的结果的示例。
读者将清楚的是,为了能够执行该自动化的基于几何形状的部件与CAD比较,需要对准部件和CAD数据。可以手动地或自动地完成对准。
基于几何形状的自动通过/未通过计算中涉及的主要步骤与上文针对基于控制的方法所描述的主要步骤类似,只是进行了适当的修改,如下文详细描述的(参见图14)。
用户将通过指定多个几何实体来建立环境,并且针对每一个实体,将指定几何形状:容限(沿着实体是恒定的或可变的)、密度系数和正向。
一旦定义了实体,就在实体内利用由密度系数确定的分辨率(即,间距)来创建虚拟控制段。此后,针对每一个虚拟控制段执行如上所述的通过/未通过计算,并且进行总通过/未通过确定。
上面的示例和描述均涉及部件与其CAD数据之间的二维比较。然而,值得注意的是,可以使用例如经典激光三角法将两个方案都扩展到第三维度(例如在沿着部件的各个点处比较深度和高度)。
此外,已经参照***做出了本描述,其中,该***包括:显示器,用于实时地显示从摄像机获得的图像流或者从摄像机获得的静止图像。本领域技术人员将认识到,可以在没有显示***的情况下实施本发明。实际上,部件的静止图像可以存储在存储器中,并且可以在存储器中执行图像处理。只需要向***提供要研究的控制点和/或几何形状。本领域技术人员还将清楚的是,可以在制造过程中实现本***,其中,可以在从一个区域向另一个区域输送每一个部件或部件的一部分时对它们进行检查。这种实现还可以包括控制***,被连接到例如输送机,并且可操作地连接到该输送机以“拒绝”处于预定容限值以外的部件。该实现将显著地增加制造吞吐量,其原因在于,将不必从生产线移除部件,将其放置在检查区域中,检查该部件,然后接受或拒绝该部件。本发明的***可以与本文所描述的连接到处理单元的适当成像装备无缝地集成在一起。
虽然已经通过本发明的优选实施例的方式描述了本发明,但是应当理解的是,在所附权利要求的范围内对本发明做出的任何修改落入本发明之内。

Claims (17)

1.一种在用于视觉上将部件与计算机存储器中或屏幕上的所述部件的制图进行比较的***中用于在至少一个控制段处确定是否在预定容限内制造部件的方法,所述***包括:摄像机,用于捕获所述部件的单个图像或图像流;计算模块,用于接收所述图像或所述图像流,用于获得、缩放、定位、在显示单元上显示所述部件的所述制图并且用于将所述制图覆盖在所述图像或所述图像流上,所述方法包括以下步骤:
a、定义至少一个控制段,并且针对每一个控制段,确定其几何形状;
b、执行每一个控制段的CAD空间到图像空间变换;
c、计算每一个控制段处所述CAD制图与所述部件之间的偏差;
d、向用户提供关于每一个控制段处所述CAD制图与所述部件之间的所述偏差的指示;
e、将所述偏差与预定容限进行比较,以确定所述部件在每一个控制段处是否在所述预定容限内;以及
f、向用户提供关于确定每一个控制段在所述预定容限内的指示。
2.根据权利要求1所述的方法,其中,所述步骤d)包括在所述显示单元上视觉上显示所述指示的步骤。
3.根据权利要求1所述的方法,其中,所述步骤f)包括在所述显示单元上视觉上显示所述指示的步骤。
4.根据权利要求2所述的方法,其中,所述指示针对容限内的控制段是绿色,并且针对容限外的控制段是红色。
5.根据权利要求3所述的方法,其中,所述指示针对容限内的控制段是绿色,并且针对容限外的控制段是红色。
6.根据权利要求1所述的方法,还包括:基于针对每一个控制段的每一个通过/未通过确定的组合来向用户呈现总通过/未通过指不。
7.一种在用于视觉上将部件与计算机存储器中或屏幕上的所述部件的制图进行比较的***中用于在至少一个几何对象处确定是否在预定容限内制造部件的方法,所述***包括:摄像机,用于捕获所述部件的单个图像或图像流;计算模块,用于接收所述图像或所述图像流、用于获得、缩放、定位和在显示单元上显示所述部件的所述制图并且用于将所述制图覆盖在所述图像或所述图像流上,所述方法包括以下步骤:
a、定义至少一个几何实体,并且针对每一个几何实体,定义其几何形状,所述几何形状包括密度系数;
b、在所述几何实体中的每一个几何实体内定义多个虚拟控制段,所述多个虚拟控制段随所述密度系数而变化;
c、针对每一个虚拟控制段,确定其几何形状;
d、执行每一个虚拟控制段的CAD空间到图像空间变换;
e、计算每一个虚拟控制段处所述CAD制图与所述部件之间的偏差;
f、向用户提供关于每一个虚拟控制段处所述CAD制图与所述部件之间的所述偏差的指示或者关于所述几何实体上所述CAD制图与所述部件之间的最小偏差和最大偏差以及所述几何实体上具有所述最小偏差和所述最大偏差的位置的指示;
g、将所述偏差与预定容限进行比较,以确定所述部件在每一个虚拟控制段处是否在所述预定容限内;以及
h、向用户提供关于确定每一个虚拟控制段在所述预定容限内的指示。
8.根据权利要求7所述的方法,其中,所述步骤f)包括在所述显示单元上视觉上显示所述指示的步骤。
9.根据权利要求7所述的方法,其中,所述步骤h)包括在所述显示单元上视觉上显示所述指示的步骤。
10.根据权利要求8所述的方法,其中,所述指示针对在容限内的虚拟控制段是绿色,并且针对在容限外的虚拟控制段是红色。
11.根据权利要求9所述的方法,其中,所述指示针对在容限内的虚拟控制段是绿色,并且针对在容限外的虚拟控制段是红色。
12.根据权利要求7所述的方法,还包括:基于针对每一个虚拟控制段的每一个通过/未通过确定的组合来向用户呈现总通过/未通过指示。
13.一种用于视觉上将部件与所述部件的制图进行比较的***,所述***适合于接收所述部件的单个图像或图像流,所述***包括用于以下操作的模块:接收所述图像或所述图像流;获得、缩放、定位和在显示单元上显示所述部件的所述制图;并且将所述制图覆盖在所述图像或所述图像流上,一种用于在至少一个控制段处确定是否在预定容限内制造部件的方法,所述***还包括:
a、输入设备,用于在所述部件的至少一个点上定义至少一个控制段,并且针对每一个控制段,确定其几何形状;
b、计算模块,用于执行每一个控制段的CAD空间到图像空间变换;
c、计算模块,用于计算每一个控制段处所述CAD制图与所述部件之间的偏差;
d、输出设备,用于向用户提供关于每一个控制段处所述CAD制图与所述部件之间的所述偏差的指示;
e、比较器,用于将所述偏差与预定容限进行比较,以确定所述部件在每一个控制段处是否在所述预定容限内;以及
f、所述输出设备还向用户提供关于确定每一个控制段在所述预定容限内的指示。
14.一种用于视觉上将部件与计算机存储器中或屏幕上的所述部件的制图进行比较的***,所述***适合于接收所述部件的单个图像或图像流,所述***包括用于以下操作的模块:接收所述图像或所述图像流;获得、缩放、定位和在显示单元上显示所述部件的所述制图;并且将所述制图覆盖在所述图像或所述图像流上,所述***还包括:
a、输入设备,用于定义至少一个几何实体,并且针对每一个几何实体,定义其几何形状,所述几何形状包括密度系数;
b、用于在所述几何实体中的每一个几何实体内定义多个虚拟控制段的装置,所述多个虚拟控制段随所述密度系数而变化;
c、针对每一个虚拟控制段确定其几何形状;
d、用于执行每一个虚拟控制段的CAD空间到图像空间变换的装置;
e、用于计算每一个虚拟控制段处所述CAD制图与所述部件之间的偏差的装置;
f、用于向用户提供关于每一个虚拟控制段处所述CAD制图与所述部件之间的所述偏差的指示或者关于所述几何实体上所述CAD制图与所述部件之间的最小偏差和最大偏差以及所述几何实体上具有所述最小偏差和所述最大偏差的位置的指示的装置;
g、用于将所述偏差与预定容限进行比较以确定所述部件在每一个虚拟控制段处是否在所述预定容限内的装置;以及
h、用于向用户提供关于确定每一个虚拟控制段在所述预定容限内的指示的装置。
15.一种在用于将部件与所述部件的制图进行比较的***中用于在至少一个控制段处确定是否在预定容限以内制造部件的方法,所述***包括:摄像机,用于捕获所述部件的单个图像或图像流;计算模块,用于接收所述图像或所述图像流、用于获得、缩放和定位所述部件的所述制图并且用于将所述制图覆盖在所述图像或所述图像流上,所述包括以下步骤:
a、定义至少一个控制段,并且针对每一个控制段,确定其几何形状;
b、执行每一个控制段的CAD空间到图像空间变换;
c、计算每一个控制段处所述CAD制图与所述部件之间的偏差;
d、提供关于每一个控制段处所述CAD制图与所述部件之间的所述偏差的指示;以及
e、将所述偏差与预定容限进行比较,以确定所述部件在每一个控制段处是否在所述预定容限内。
16.根据权利要求15所述的方法,其中,在所述步骤a之前是选择所述部件的几何形状的步骤,并且所述步骤a还根据针对所述几何形状的预定密度定义了多个控制段。
17.根据权利要求16所述的方法,其中,所述步骤b还包括定义正容限带和负容限带的步骤,并且所述步骤e还包括提供关于所述CAD制图与所述几何形状之间的所述偏差的指示。
CN201180071313.0A 2011-03-31 2011-03-31 自动确定部件与参考制图的符合 Active CN103562970B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CA2011/000337 WO2012129634A2 (en) 2011-03-31 2011-03-31 Automatic determination of compliance of a part with a reference drawing

Publications (2)

Publication Number Publication Date
CN103562970A true CN103562970A (zh) 2014-02-05
CN103562970B CN103562970B (zh) 2016-09-28

Family

ID=46931988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180071313.0A Active CN103562970B (zh) 2011-03-31 2011-03-31 自动确定部件与参考制图的符合

Country Status (5)

Country Link
EP (1) EP2691939B1 (zh)
KR (1) KR20140005316A (zh)
CN (1) CN103562970B (zh)
CA (1) CA2809889C (zh)
WO (1) WO2012129634A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106536128A (zh) * 2014-07-11 2017-03-22 通快机床两合公司 用于基于图像地定位工件加工过程的方法、加工机和计算机程序产品
CN108701237A (zh) * 2016-01-15 2018-10-23 英卓美特公司 用于跨越多个组装单元自动生成公共测量的方法
CN112123781A (zh) * 2019-06-06 2020-12-25 罗伯特·博世有限公司 监视工件的机械生产

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114651279A (zh) * 2019-11-13 2022-06-21 视觉X公司 用于确定具有不均匀轮廓的零件与参考图的符合性的方法和相关***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657395A (en) * 1989-03-02 1997-08-12 Minolta Camera Kabushiki Kaisha Image processing device providing improved image data processing by converting original image into a plurality of pixels and analyzing density data of each pixel
CN1365445A (zh) * 2000-03-24 2002-08-21 奥林巴斯光学工业株式会社 缺陷检测装置
US20040120571A1 (en) * 1999-08-05 2004-06-24 Orbotech Ltd. Apparatus and methods for the inspection of objects
CN1823256A (zh) * 2003-07-11 2006-08-23 奥林巴斯株式会社 信息呈现装置和使用该信息呈现装置的信息呈现***
US20100225666A1 (en) * 2009-03-04 2010-09-09 VISIONx INC. Digital optical comparator

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2106146A1 (en) * 1992-10-16 1994-04-17 Peter R. Doherty, Jr. Video-cad comparator system
US6969821B2 (en) * 2003-06-30 2005-11-29 General Electric Company Airfoil qualification system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657395A (en) * 1989-03-02 1997-08-12 Minolta Camera Kabushiki Kaisha Image processing device providing improved image data processing by converting original image into a plurality of pixels and analyzing density data of each pixel
US20040120571A1 (en) * 1999-08-05 2004-06-24 Orbotech Ltd. Apparatus and methods for the inspection of objects
CN1365445A (zh) * 2000-03-24 2002-08-21 奥林巴斯光学工业株式会社 缺陷检测装置
CN1823256A (zh) * 2003-07-11 2006-08-23 奥林巴斯株式会社 信息呈现装置和使用该信息呈现装置的信息呈现***
US20100225666A1 (en) * 2009-03-04 2010-09-09 VISIONx INC. Digital optical comparator

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GEOMAGIC,INC.: "Geomagic Qualify Complete Inspection – Plastic Quick Start Guide", 《技术指导手册》 *
GEOMAGIC,INC.: "Geomagic Qualify Complete Inspection – Plastic Quick Start Guide", 《技术指导手册》, 29 November 2005 (2005-11-29), pages 7 - 50, XP055151337 *
GEOMAGIC,INC.: "Geomagic Qualify8 What’s New Guide", 《技术指导手册》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106536128A (zh) * 2014-07-11 2017-03-22 通快机床两合公司 用于基于图像地定位工件加工过程的方法、加工机和计算机程序产品
CN106536128B (zh) * 2014-07-11 2018-09-14 通快机床两合公司 用于基于图像地定位工件加工过程的方法、加工机和计算机程序产品
CN108701237A (zh) * 2016-01-15 2018-10-23 英卓美特公司 用于跨越多个组装单元自动生成公共测量的方法
CN108701237B (zh) * 2016-01-15 2022-01-18 英卓美特公司 用于跨越多个组装单元自动生成公共测量的方法
CN112123781A (zh) * 2019-06-06 2020-12-25 罗伯特·博世有限公司 监视工件的机械生产

Also Published As

Publication number Publication date
EP2691939A4 (en) 2014-12-17
KR20140005316A (ko) 2014-01-14
CA2809889C (en) 2013-12-10
CA2809889A1 (en) 2012-10-04
WO2012129634A2 (en) 2012-10-04
CN103562970B (zh) 2016-09-28
EP2691939B1 (en) 2018-08-01
EP2691939A2 (en) 2014-02-05
WO2012129634A3 (en) 2012-11-29

Similar Documents

Publication Publication Date Title
US8780223B2 (en) Automatic determination of compliance of a part with a reference drawing
US20220020139A1 (en) Methods for automatically generating a common measurement across multiple assembly units
US10964025B2 (en) Assembly monitoring method and device based on deep learning, and readable storage medium
Alves et al. Using augmented reality for industrial quality assurance: a shop floor user study
US20130010068A1 (en) Augmented reality system
Ben Abdallah et al. Automatic inspection of aeronautical mechanical assemblies by matching the 3D CAD model and real 2D images
KR100785594B1 (ko) 화상 처리 장치
EP3514525B1 (en) Interactive semi-automated borescope video analysis and damage assessment system and method of use
JP4616120B2 (ja) 画像処理装置及び検査装置
US20100063612A1 (en) System and method for the on-machine 2-d contour measurement
US10423669B2 (en) Manufacturing process visualization apparatus and method
US20130278748A1 (en) Pattern matching method and apparatus
JP2006067272A (ja) カメラキャリブレーション装置及びカメラキャリブレーション方法
CN103562970A (zh) 自动确定部件与参考制图的符合
Kuric et al. Analysis of the possibilities of tire-defect inspection based on unsupervised learning and deep learning
Vukicevic et al. Decision support system for dimensional inspection of extruded rubber profiles
WO2020245889A1 (ja) 点検装置、制御方法、及びプログラム
US20020051561A1 (en) Image processing apparatus, image processing method, and recording medium recording image processing program
JP4041060B2 (ja) 画像処理装置、画像処理方法
Kim et al. Synthetic data and computer-vision-based automated quality inspection system for reused scaffolding
Setti et al. AR Tool—Augmented Reality Human-Machine Interface for Machining Setup and Maintenance
Kim et al. Recognition of Manual Welding Positions from Depth Hole Image Remotely Sensed by RGB-D Camera
Blake Manufacturing Readiness: The Case for Automatic Inspection in Composites Fabrication.
US11748960B1 (en) Printed circuit board (PCB) virtual x-ray visualization
Seong et al. The detection system for a danger state of a collision between construction equipment and workers using fixed CCTV on construction sites

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant