CN101023447A - 用于对象的检查和视觉检测的方法和装置 - Google Patents
用于对象的检查和视觉检测的方法和装置 Download PDFInfo
- Publication number
- CN101023447A CN101023447A CNA2005800270103A CN200580027010A CN101023447A CN 101023447 A CN101023447 A CN 101023447A CN A2005800270103 A CNA2005800270103 A CN A2005800270103A CN 200580027010 A CN200580027010 A CN 200580027010A CN 101023447 A CN101023447 A CN 101023447A
- Authority
- CN
- China
- Prior art keywords
- frame
- response
- frames
- score
- visual field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
- G01N2021/8909—Scan signal processing specially adapted for inspection of running sheets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
公开的是用于自动光电检测和对象检查的方法和装置,所述方法和装置基于捕获二维视场的数字图像、对图像进行分析、做出并报告对象状态相关的决策,所述待检测或待检查的对象可能定位于所述二维视场中。所述决策基于从对象位于视场中的多个图像中得到的证据,通常与多个观测透视对应。对象位于视场中的证据用于检测,对象满足适当检查标准的证据用于检查。公开了用于以高速捕获和分析图像的方法和装置,使得对于连续移动的对象可以得到多个观测透视图。
Description
技术领域
本发明涉及正在生产线上制造的对象的自动检测和检查,尤其涉及工业机器视觉及自动图像分析相关领域。
背景技术
工业制造依赖于正被制造对象的自动检查。广泛使用了几十年的一种自动检查形式是基于光电技术,所述光电技术使用了电磁能、通常的红外或者可见光、光电传感器和某种电子决策执行形式。
一种广为人知的光电自动检查形式使用了一种光电检测器装置。典型的光电检测器具有光源和单个光电传感器,所述光电传感器响应于对象表面上的点反射的光强度或者沿着对象可能穿过的光路透射的光强度。用户可调敏感度阈值确定了一个光强度,超过(或低于)该光强度则激励产生光电检测器的输出信号。
一个光电检测器,通常称为门,用于检测待检查对象的存在。相对于该门布置其他光电检测器以感测对象上适当点反射的光。通过敏感度阈值的适当调节,这些其他光电检测器可以检测对象的特定特征(诸如,标签或者孔)存在或者不存在。在门检测到对象时刻,使用这些其他光电检测器的输出信号进行对象状态(例如,通过或者不通过)的决策。所述决策典型地由可编程逻辑控制器(PLC)或者其他适合的电子仪器执行。
使用光电检测器的自动检查具有各种优势。光电检测器价格偏移,设置简单,并且以非常高的速度操作(尽管PLC将耗费较长的时间进行决策,但是输出在对象被检测到的几百微秒内响应)。
然而,使用光电检测器的自动检查具有各种缺点:包括
从对象上点反射的光强度的简单感测通常对于检查是不充分的。相反,可能必需分析从扩展区域反射的亮度图案。例如,为了检测边缘,可能必须对亮度图案进行分析以查看其是否对应于从较亮区域到较暗区域的过渡;
当需要检查对象上的许多点时,可能很难布置光电检测器。每个这样的检查点需要使用单独的光电检测器,所述光电检测器需要这样物理安装,以使得不干扰其他光电检测器的放置。由于空间限制,干扰可能是来自光源的串扰或者其他因素;
生产线通常能够生成混合产品,每种产品具有独特的检查需求。光电检测器的布置非常固定,使得从一种产品到另一产品的生产线转换将要求物理移动和重新调整光电检测器。执行生产线转换的成本以及包含人为误差的风险,通常抵消了光电检测器的低成本和简单性;以及
使用光电检测器的布置要求对象存在于已知的预定位置,从而感测到对象上适当的点。该要求可能增加额外的成本和复杂度,这可抵消光电检测器的低成本和简单性。
另一种光电自动检查的公知形式使用了这样一种设备,所述设备可以捕获二维视场(待检查的对象位于其中)的数字图像,然后对图像进行分析并做出决策。这样的设备通常称作机器视觉***(machinevision system),或简单地称作视觉***。通过将光敏元件的二维阵列曝光于被透镜聚焦在所述阵列上的光短暂的时间(称作积分或者快门时间(shutter time))来捕获图像。该阵列称为成像器,所述单个元件称为像素。每个像素测量快门时间期间落在其上的光强度。然后将所测得的强度值转换成数字数值并存储在视觉***的存储器中以形成图像,使用本领域公知的方法通过数字处理元件(诸如计算机)对所述图像进行分析以确定正被检查的对象的状态。
在一些情况下,所述对象在视场中停住,而在另一些情况下,所述对象在连续移动中经过视场。视觉***的外部事件(诸如来自光电检测器的信号或者来自PLC、计算机或者其他自动化仪器的信息)用于通知视觉***对象位于视场内,因此应当捕获图像并进行分析。这样的事件称为触发器。
机器视觉***避免了与使用光电检测器布置相关的缺点。视觉***可以分析从扩展区域反射的亮度图案,容易处理对象上的许多不同特征,通过软件***和/或处理适应了生产线转换,并可以处理不确定和可变的对象位置。
与光电检测器的布置相比,机器视觉***具有的缺点包括:
机器视觉***比较昂贵,通常比光电检测器的布置花费多10倍;
机器视觉***难以设置,通常需要经过专业工程培训的人员;和
机器视觉***操作比光电检测器布置慢得多,典型地需要数十或者数百毫秒进行决策。此外,根据对象与对象的不同,决策时间变化显著且不可预见。
机器视觉***具有这样的局限性,该局限性产生是由于机器视觉***基于位于视场单个位置中(每个对象可以位于不同和不可预见的位置,但是对于每个对象仅仅有一个这样的位置作为决策基础)的每个对象的单个图像进行决策。该单个位置提供了相对于照明来自单个方向以及来自单个观测透视(viewing perspective)的信息。仅使用单个透视通常导致不正确的决策。长时间以来已经观察到,例如,仅仅单个像素的透视改变在有些情况下可以将不正确的决策改变为正确的决策。相反,检查对象的人通常将该对象相对其眼睛和光来回移动以做出更加可靠的决策。
一些现有技术视觉***捕获视场中处于静止的对象的多个图像,然后对那些图像进行平均以产生用于分析的单个图像。这种平均降低了测量噪声,并因此改善了决策执行,但是仍然只存在一个透视和照明方向,需要相当大的额外时间并且对象必须停下。
一些被设计成读取字母数字编码、条形编码和2D矩阵编码的现有技术视觉***将捕获多个图像并且改变照明方向直到得到任一正确读取,或者尝试所有改变。该方法有效是因为这样的编码包含视觉***可以肯定读取正确的足够冗余信息,并且因为对象可以在视场中保持静止足够的时间以尝试所有改变。该方法通常不适合用于对象检查,并且当对象处于连续移动中时就不适合。此外,该方法仍然只提供了一个观测透视,并且决策也仅仅基于单个图像,这是因为将来自不能导致正确读取的图像的信息抛弃了。
一些现有技术视觉***用于引导机器人进行拾取-放置的应用,其中对象在连续移动中经过视场。一些这样的***被设计成使得对象以这样的速度运行,其中视觉***具有至少两次机会查看每个对象。然而,这样设计的目标并不是得到多个透视的好处,而是能够保证如果发生临时放慢视觉***的条件(诸如比视场中对象的平均数目更高数目),不会完全遗漏对象。这些***确实没有利用多个透视可能提供的附加信息。
机器视觉***具有由于其使用触发信号而产生的另外的局限性。对触发信号的需要使得设置更加复杂一一必须安装和调节光电检测器,或者必须为PLC或者计算机编写软件以提供恰当的信息。当使用光电检测器时,总是这样的情况,即当物体处于连续移动时,生产线转换可能需要物理移动光电检测器,这可能抵消了视觉***的优势。此外,光电检测器仅响应于从对象反射或者沿着光路透射的光强度的变化。在一些情况下,当对象已经进入视场时这种条件对于可靠地检测是不充足的。
一些被设计成通过连续捕获图像并尝试读取编码来读取字母数字编码、条形编码或二维(2D)矩阵编码的现有技术视觉***可以在没有触发器的情况下操作。由于上述一些原因,这样的方法通常适合于对象检查,当对象处于连续移动中时就不适合。
一些用于连续移动中的对象的现有技术视觉***可以使用通常称为自触发的方法在不需要触发器的情况下操作。这些***典型地通过监测所捕获图像一个或多个部分在亮度或者颜色上的改变来操作,所述改变指示了对象的存在。在实践中很少使用自触发,这是由于存在以下几个局限性:
视觉***对于自触发响应太慢,以至不能以正常生产速度工作;
所提供的当对象存在时进行检测的方法,在许多情况下并不能充分检测;并且
该视觉***并未提供与对象沿着生产线的特定、可重复位置同步的有用输出信号,以及通常由充当触发器的光电检测器提供且为PLC或者处理机构所需要以基于视觉***的决策执行动作的信号。
机器视觉***许多局限性的产生一部分上是由于操作太慢以至于不能对于移动中对象的多个透视进行捕获和分析,并且操作太慢以至于不能对视场中发生的事件做出反应。由于多数视觉***能够在对当前图像进行分析的同时捕获新图像,因此视觉***可以操作的最大速率由捕获时间和分析时间中的较大者确定。总得来讲,决定该速率的最重要的因素之一是成像器包括的像素数目。
捕获图像所需要的时间主要由成像器中像素的数目确定,这是由于两个原因。首先,快门时间由每个像素的敏感度和可用的光量来确定。由于具有更多的像素通常意味着使得像素更小并因此更不敏感,因此通常的情况是像素数目的增加导致快门时间的增加。其次,转换和存储时间与像素数目成比例。因此成像器具有的像素越多,捕获时间越长。
至少在过去的25年中,现有技术视觉***已经使用大约300000像素,最近已经存在一些使用1000000像素以上的***,而这些年来少量的***已经使用低至75000像素。如同数码照相机一样,近来的趋势是使用更多的像素以提高图像分辨率。在计算机速度已经提高了百万倍并且成像器已经从真空管改变为固态的同一时期,机器视觉图像捕获时间通常从大约1/30秒提高至大约1/60秒,仅仅两倍。更加快速的计算机已经允许更加复杂的分析,但是视觉***可以操作的最大速率很难改变。
近来,已经出现了COMS成像器,这使得可以捕获光敏元件的一小部分,降低了转换和存储时间。理论上讲,这样的成像器能够支持非常短的捕获时间,但是实际上,由于像素的光敏感度与使用全阵列时差不多,因此实现使得这样的成像器在高速下有用所需要的非常短的快门时间非常困难和/或非常昂贵。
部分由于图像捕获的时间瓶颈,尚未研发出适合于以大大高于每秒60个图像的速度进行操作的图像分析方法。同样,在现有技术中,尚未充分考虑多个透视的使用、没有触发器的操作、适当同步输出信号的产生以及各种其他有用的功能。
近来,在研究实验室中已经研发出了称为焦平面阵列处理器的试验设备。这些设备在一个衬底上集成了模拟信号处理元件和光敏元件,并可以在超过每秒10000个图像的速率下操作。然而,与数字图像分析相比,模拟信号处理元件严重受到其能力限制,尚未清楚这样的设备是否能够应用于自动化工业检查。
考虑到光电检测器布置的缺点,以及当前机器视觉***的缺点以及局限性,存在这样一种迫切需要,即需要利用二维成像器和数据图像分析来改善工业制造中对象检查和检测的***和方法。
发明内容
本发明提供了用于自动光电检测和对象检查的方法和***,所述方法和***基于捕获二维视场(待检测或待检查对象可能位于其中)中的数字图像以及然后对图像进行分析并执行决策。这些***和方法分析了从扩展区域反射的亮度图案,处理了对象上的许多不同特征,通过软件方法适应了生产线转换,处理了不确定的和可变的对象位置。所述方法和***比现有技术视觉***更加廉价、更加容易设置,并且以更高的速度操作。这些***和方法还利用了运动对象的多个透视,在没有触发器的情况下操作,提供了适当同步输出信号,并且提供了对于本领域技术人员来讲是显而易见的其他重要的和有用的能力。
虽然本发明主要针对对象处于连续移动中的应用,并提供了在那些情况下的特定的和重要的优点,但是本发明还可优于现有技术***应用于对象停住的应用中。
本发明的一个方面是一种称作视觉检测器的装置,所述装置能够以比现有技术视觉***更高的速度捕获和分析图像序列。在被捕获和分析的这种序列中的图像称为帧。捕获和分析帧的速率(称为帧速率)充分高,使得当移动对象经过视场(FOV)时在多个连续帧中可以看到移动的对象。由于对象相当于在连续帧之间移动,因此对象位于FOV中的多个位置,且因此相对于照明从多个位置和观测透视来观察该对象。
本发明的另一方面是一种称作动态图像分析的方法,用于通过捕获和分析物***于视场中的多个帧并基于从那些帧的每个帧中得到的证据的结合结果来检查物体。所述方法提供了优于基于单个帧进行决策的现有技术机器视觉***的显著优势。
本发明的再一方面是一种称为视觉事件(visual event)检测的方法,用于检测视场中可能发生的事件。事件可以是对象经过像场,通过使用视觉事件检测可以在不需要触发信号的情况下检测对象。
通过对此处给出的详细描述和附图的研究,本发明的另外方面将显而易见。
本发明的方法和装置用于运动对象的一个优势在于,通过考虑了相对于照明从多个位置以及多个观测透视得到的证据,视觉检测器能够比现有技术视觉***进行更加可靠的决策,如同人检查对象时可以相对于其眼睛和光来回移动对象以做出更加可靠的决策一样。
另一优势在于,可以在没有触发信号(诸如光电检测器)的情况下可靠地检测对象。这降低了成本,简化了安装,并在无需手动重新定位光电检测器的情况下通过在视觉检测器中进行软件改变使得生产线可以切换至不同的产品。
另一优势在于,视觉检测器可以当对象运动穿过视场时跟踪对象的位置,并确定其穿过某一固定参考点时的时间和速度。然后使输出信号与该固定参考点同步,并且如此处所教导的,可以得到对象的其他有用信息。
为了从多个透视中得到图像,期望的是,待检测或者检查的对象在连续帧之间移动只是视场的小部分,通常只是几个像素。如此处所教导的,通常期望的是每帧对象移动不超过FOV的四分之一,在典型的实施例中,不超过FOV的5%或者更小。期望的是,不是通过减缓制造过程而是通过提供充分高的帧速率来实现这一点。在一个实例***中,帧速率至少为200帧/秒,而在另一实施例中,帧速率至少是对象呈现于视觉检测器的平均速率的40倍。
教导了一个能够以高达500帧/秒进行捕获和分析的示范性***。该***利用了超敏感成像器,所述超敏感成像器具有的像素比现有技术视觉***少得多。高敏感性使得可以使用非常廉价的LED照明得到非常短的快门时间,与相对较小数量的像素结合使得图像捕获时间非常短。成像器与数字信号处理器(DSP)对接,所述数字信号处理器可以在分析操作的同时接收和存储像素数据。使用此处教导并利用适当的DSP软件实施的方法,分析每个帧的时间通常可以保持在捕获下一帧所需要的时间之内。捕获与分析方法和装置结合以提供期望的高帧速率。通过仔细地将照明、DSP和成像器的能力与本发明的目标匹配,示范性***可以比现有技术机器视觉***显著地更加廉价。
视觉事件检测方法涉及捕获帧序列并对每个帧进行分析以确定事件正在发生或者已经发生的证据。当视觉事件检测用于在不需要触发信号的情况下检测对象时,所述分析将确定对象位于视场中的证据。
在示范性方法中,所述证据是称为对象检测权重的值的形式,该值指示了对象位于视场中的可信度等级。该值可以为简单的指示高或低可信度的是/否选择、指示可信度等级范围的数值或者传递证据的任何信息项。这样数值的一个实例是所谓的模糊逻辑值,此处将进一步进行描述。注意,没有机器可以根据图像做出完美的决策,因此相反的是将基于不完整的证据做出判断。
当执行对象检测时,对每个帧执行测试以确定对象位于视场中的证据是否充分。如果使用了简单的是/否值,如果值为“是”则可以认为证据充分。如果使用数值,可以通过将该数值与阈值进行比较来确定证据充分。证据充分的帧称为活动帧(active frame)。注意,什么构成充分的证据最终由配置视觉检测器的人类用户基于对即将使用的特定应用的理解来定义。视觉检测器在进行决策时自动应用该定义。
当执行对象检测时,由于视觉检测器的高帧速率,因此经过视场的每个对象将产生多个活动帧。然而,这些帧可以不严格连续,这是由于当对象穿过视场,可能存在对象位于视场中的证据不足的一些观测透视或者其它条件。因此,期望的是当发现活动帧时开始对象的检测,但是直到发现数个连续的不活动帧时才结束。该数量可以由用户适当选择。
一旦发现了可能对应于对象经过视场的一组活动帧,期望的是执行进一步分析以确定是否确实检测到对象。该进一步分析可以考虑活动帧的一些统计,包括活动帧的数量、对象检测权重之和、平均对象检测权重等。
上述可视事件检测的实例是说明性的而不是全面的。清楚的是,在本发明的精神范围内,存在普通技术人员可以想到的实现视觉事件检测目标的许多方法。
动态图像分析的方法涉及对多个帧的捕获和分析以检查对象,此处“检查”意思是确定对象状态相关的一些信息。在该方法的一个实例中,对象的状态包括对象是否满足用户适当选择的检查标准。
在本发明的一些方面中,动态图像分析与视觉事件检测相结合,使得视觉事件检测方法选择出的活动帧即为动态图像分析方法使用的活动帧,进而检查对象。在本发明的另一些方面中,可以响应于触发信号捕获动态图像分析将使用的帧。
对每个这样的帧进行分析以确定对象满足检查标准的证据。在一个实例方法中,所述证据是称为对象通过得分的值的形式,该值指示了对象满足检查标准的可信度等级。如同对象检测权重一样,该值可以是简单表示高或低可信度的是/否选择、诸如模糊逻辑值的指示可信度等级范围的数值或者传递证据的任何信息项。
可以根据对象通过得分的统计诸如对象通过得分的百分比或者平均值来确定对象的状态。该状态还可以使用对象检测权重由加权统计确定,诸如加权平均值或者加权百分比。对于其中对象确实位于视场中的可信度较高的帧,加权统计有效地对来自该帧的证据衡量的权重更重。
通过检验帧以查找对象的一个或者更多可视特征信息来得到对象检测和检查的证据。可视特征是该对象的一部分,其中发射光的量、图案或者其他特性传递了对象的存在、识别或者状态信息。通过任何处理或者处理的结合可以发射光,包括但并不限于对象内部或者外部的源的折射、透射或者反射,或者可以直接来自对象内部的源。
本发明的一个方面是一种通过在需要证据的每个帧中的一个或更多感兴趣区域上进行图像分析操作得到证据的方法,所述证据包括对象检测权重和对象通过得分。在该方法的实例中,图像分析操作基于感兴趣区域的像素值来计算一个测量,此处该测量是对对象可视特征一些适当特性的响应。通过阈值操作将该测量转换为逻辑值,将从感兴趣区域得到的逻辑值结合以产生帧的证据。所述逻辑值可以为二进制或者模糊逻辑值,所述阈值和逻辑结合是适当的二进制或者模糊值。
对于视觉事件检测,由感兴趣区域、测量、阈值、逻辑结合和此处进一步描述的其他参数(总地称作视觉检测器的配置,并由用户对于本发明的给定应用适当选择)有效地定义对象位于视场中的证据。同样,视觉检测器的配置定义了什么构成充分的证据。
对于动态图像分析,对象满足检查标准的证据同样由视觉检测器的配置有效地进行定义。
本发明的一个方面包括确定包含对象检测或检查相关信息的结果。所述结果可以报告给用于各种用途的自动化仪器,包括可以基于所述报告执行一些动作的仪器,诸如不合格执行机构。在一个实例中,所述结果为无论何时当检测到对象时产生的输出脉冲。在另一实例中,所述结果是仅对于满足检查标准的对象产生的输出脉冲。在再一实例中,所述结果是仅仅对于不满足检查标准的对象产生的输出脉冲,这对于控制不合格执行器是有用的。
本发明的另一方面是一种用于产生与一个时间、轴编码器计数或者指示对象何时通过生产线上固定参考点的其他事件标志同步的输出信号。同步信号提供了对象在生产处理中的位置相关信息,这可以被自动化仪器有利的使用,诸如下游的不合格执行器。
附图说明
结合附图,从下面的详细描述中将会更加全面地理解本发明,图中:
图1示出了用于在生产线上检查对象的现有技术机器视觉***;
图2示出了说明现有技术机器视觉***的典型操作周期的时间线;
图3示出了使用光电检测器的生产线上的现有技术对象检查;
图4示出了根据本发明的视觉检测器的示例实施例,用于在生产线上检查对象;
图5示出了说明使用可视事件检测的视觉检测器的典型操作周期的时间线(timeline);
图6示出了说明使用触发信号的视觉检测器的典型操作周期的时间线;
图7示出了说明执行制造处理连续分析的视觉检测器的典型操作周期的时间线;
图8示出了生产环境中的视觉检测器的高层次框图;
图9示出了视觉检测器的示例实施例的框图;
图10示出了适用于视觉检测器的实例装置;
图11示出了在示例实施例中使用以对证据进行衡量并进行决策的模糊逻辑元件,包括判断对象是否存在以及是否通过检查;
图12示出了在示例实施例中动态图像分析如何对证据进行衡量;
图13示出了在另一示例实施例中动态图像分析如何对证据进行衡量;
图14示出了示例实施例使用以进行帧分析、进行判断、感测输入和控制输出信号的软件元件组(例如,计算机可读介质的程序指令)的体系结构;
图15示出了可以用于检测示范对象的视觉检测器的部分示范配置;
图16示出与图15示范设置对应的配置的另一部分;
图17示出了用于分析感兴趣区域以测量可视特征的对比度和亮度的方法;
图18示出了用于分析感兴趣区域以检测台阶边缘的方法;
图19进一步示出了用于分析感兴趣区域以检测台阶边缘的方法;
图20示出了用于分析感兴趣区域以检测脊形边缘的方法;
图21进一步示出了用于分析感兴趣区域以检测脊形边缘的方法,并示出了用于检测台阶或者脊形边缘的方法;
图22示出了可以在人机界面(HMI)上显示以供用户查看和操纵从而设置检测边缘的参数的图形控制;
图23示出了用于分析感兴趣区域以检测斑点的方法;
图24进一步示出了用于分析感兴趣区域以检测斑点的方法;
图25示出了用于分析感兴趣区域以跟踪对象在视场中的位置以及使用HMI来配置所述分析的方法;
图26进一步示出了用于分析感兴趣区域以跟踪对象在视场中的位置以及使用HMI来配置所述分析的方法;
图27进一步示出了用于分析感兴趣区域以跟踪对象在视场中的位置以及使用HMI来配置所述分析的方法;
图28示出了在特定情况下用于分析感兴趣区域以跟踪对象在视场中的位置以及使用HMI来配置所述分析的方法,其中所述感兴趣区域的布置必须沿着对象边缘相当精确;
图29示出了在对象可以旋转并改变尺寸的情况下用于分析感兴趣区域以跟踪对象在视场中的位置以及使用HMI来配置所述分析的方法;
图30示出了基于工业编程语言中广泛使用的梯形图的视觉检测器部分配置的可替代表示;
图31示出了用于说明视觉检测器输出信号如何同步的时序图;
图32示出了测量对象经过固定参考点时刻以及测量对象速度、像素尺寸校准和对象距离以及空间方位角的实例;
图33示出了用于为执行器的下游控制产生同步脉冲的输出缓冲器;
图34示出了用于对象检测参数的用户配置的部分HMI;
图35示出了用于对象检测参数的用户配置的部分HMI;
图36示出了用于输出信号的用户配置的部分HMI;
图37示出了配置本发明的一种方法,以当连接至PLC时执行视觉事件检测;
图38示出了配置本发明的一种方法,以执行视觉事件检测从而对不合格执行器直接控制;
图39示出了配置本发明的一种方法,以当连接至PLC时使用触发信号;
图40示出了配置本发明的一种方法,以使用触发信号从而对不合格执行器直接控制;
图41示出了配置本发明的一种方法,以执行连续分析对连续织物(web)上的瑕疵进行检测;
图42示出了配置本发明以提供信号滤波的一种方法,以检测连续织物上的瑕疵;
图43示出了配置本发明以提供信号同步的一种方法,以检测连续织物上的瑕疵;
图44示出了配置本发明一种方法,以在无需跟踪视场中对象位置的情况下执行视觉事件检测;
图45示出了视觉检测器的示例实施例使用的规则,用于基于用户示出的实例学习适当参数设置;
图46进一步示出了视觉检测器的示例实施例使用的规则,用于基于用户示出的实例学习适当参数设置;
图47示出了锁相环(PLL)的使用,以对于对象以接近恒定速率出现的生产线测量对象出现速率和检测遗漏和额外的对象;和
图48示出了一个示例实施例中使用的新颖的软件PLL的操作。
具体实施方式
现有技术的讨论
图1示出了用于在生产线上检查对象的现有技术机器视觉检测***。对象110、112、114、116和118在传送机100上从左向右移动。期望每个物体包括特定特征,例如标签120或者孔124。未正确制造的对象可能遗漏一个或者更多特征,或者可以具有不需要的特征;例如对象116遗漏了孔。在许多产品线上,由轴编码器180跟踪传送机的移动,所述轴编码器发送信号168给可编程逻辑控制器(PLC)140。
对象移动经过光电检测器130,所述光电检测器130发出光束135以检测对象的存在。将触发信号162和166从光电检测器发送至PLC140以及机器视觉***150。在触发信号166的上升沿,视觉***150捕获对象的图像,检查对象以确定期望的特征是否存在,并通过信号160将检查结果报告给PLC。
在触发信号162的上升沿,PLC记录时间和/或编码器计数。随后一个时间,PLC接收到来自视觉***的检查结果,并可以使用那些结果适当地执行各种事情。例如PLC可以通过信号164控制不合格执行器170以从传送机上移除次品对象116。由于不合格执行器通常位于由光电检测器光束135定义的检查点的下游,因此PLC必须延迟发送信号164给不合格执行器直到次品部件处于不合格执行器前面的位置。由于视觉***完成检查所耗费的时间某种程度上是可变的,因此该延迟必须是相对于触发信号162即相对于PLC记录的时间和/或计数。当传送机以恒定速度移动时,时间延迟是适当的;而在其他情形,则优选是编码器。
图1中未示出照明,所述照明将根据本领域公知的各种方法适当地提供。
在图1的实例中,对象处于连续移动中。还有生产仪器使对象在视觉***前停住的许多应用。
图2示出了说明现有技术机器视觉***的典型操作周期的时间线。示出的是两个示范对象200和210的操作步骤。操作周期包括四个步骤:触发220,图像捕获230,分析240和报告250。在两个周期260之间的时间期间,视觉***是空闲的。时间线并非按照比例绘制,在应用中每个指示的步骤所耗费的时间量也显著改变。
触发器220是视觉***外部的一些事件,诸如来自光电检测器130的信号,或者来自PLC、计算机或者其他种类自动化仪器的信息。
通过将光敏元件二维阵列(称作像素)曝光于被透镜聚焦在所述阵列上的图像短暂的时间(称作积分或者快门时间),开始图像捕获步骤230。每个像素测量快门时间期间落在该每个像素上的光强度。然后将所测得的强度值转换成数字数值并存储在视觉***的存储器中。
在分析步骤240,视觉***使用本领域公知的方法对所存储的像素值进行操作以确定正被检查对象的状态。在报告步骤250,视觉***将对象状态相关信息通知适当的自动化仪器,诸如PLC。
图3示出了使用光电检测器的生产线上的现有技术对象检查。传送机100、对象110、112、114、116、118、标签120、孔124、编码器180、不合格执行器170以及信号164和168与图1的描述相同。具有光束325的第一光电检测器320用于检测对象的存在。具有光束305的第二光电检测器300相对于第一光电检测器320定位,从而能够检测标签120的存在。具有光束315的第三光电检测器310相对于第一光电检测器320定位,从而能够检测孔124的存在。
PLC340在来自光电检测器330的信号336的上升沿采样来自光电检测器300和310的信号330和333,以确定特征120和124的存在。如果遗漏了一个或者两个特征,则基于编码器180适当地延迟将信号164发送给不合格执行器170,以将次品对象从传送机移除。
本发明的基本操作
图4示出了用于在生产线上检查对象的根据本发明视觉检测器的实施例。传送机100运输对象,导致对象和视觉检测器400的视场之间的相对运动。对象110、112、114、116、118、标签120、孔124、编码器180以及不合格执行器170与图1的描述相同。视觉检测器400通过视觉外观检测对象的存在,并基于适当的检测标准对对象进行检查。如果对象为次品,则视觉检测器发送信号420给不合格执行器170以将该对象从传送机流中移除。编码器180发送信号410给视觉检测器,视觉检测器使用该信号以根据对象经过某一固定的虚参考点430(称作标志点)的编码器计数来保证适当的信号420延迟。如果不使用编码器,则该延迟可以基于时间来替代。
在可替代的实施例中,视觉检测器发送信号给用于各种用途的PLC,所述各种用途可以包括控制不合格执行器。
在适合极高速度应用或者视觉检测器不能可靠检测对象存在的另一实施例中,使用了光电检测器来检测对象的存在,为此目的所述检测器发送信号给视觉检测器。
在再一实施例中,不存在不连续对象,而是材料连续流动经过视觉检测器,例如织物。在这种情况下,连续对材料进行检查,信号由视觉检测器发送至适当的自动化仪器,诸如PLC。
当视觉检测器通过视觉外观检测不连续对象的存在时,称为以视觉事件检测模式操作。当视觉检测器使用诸如来自光电检测器的外部信号检测不连续对象的存在时,称为以外部触发器模式操作。当视觉检测器连续对材料进行检查时,称作以连续分析模式操作。
图5示出了说明视觉事件检测模式中视觉检测器的典型操作周期的时间线。标注了“c”的方框,诸如方框520,代表图像捕获。标注了“a”的方框,诸如方框530,代表图像分析。期望的是下一图像的捕获“c”与当前图像的分析“a”重叠,使得(例如)分析步骤530分析在捕获步骤520中捕获的图像。在该时间线中,示出了分析比捕获花费更少的时间,但是通常根据应用详情,分析将比捕获更短或者更长。
如果捕获和分析重叠,视觉检测器可以捕获并分析图像的速率由捕获时间和分析时间中较长者确定。这就是“帧速率”。
本发明使得在不需要诸如由光电检测器130提供的触发信号的情况下,可以可靠地检测对象。参考图4,不存在触发信号来指示对象的存在,并且在图5中也没有诸如图2中步骤220的相应触发步骤。
再参考图5,时间线部分500对应于第一对象的检查,并包含7个帧的捕获和分析。第二部分510对应于第二对象的检查,包括5个帧。
每个分析步骤首先考虑对象存在的证据。证据充分的帧称为活动的。以粗线边框示出了活动帧的分析步骤,例如分析步骤540。在示例实施例中,在发现活动帧时开始对象的检查,并当发现数个连续的不活动帧时结束。在图5的实例中,第一对象的检查以与分析步骤540对应的第一活动帧开始,以与分析步骤546和548对应的两个连续的不活动帧结束。注意,对于第一对象,对应于分析步骤542的单个不活动帧不足以结束检查。
在完成对象的检查时,例如在分析步骤548结束时,根据基于从活动帧得到的证据来对对象状态进行决策。在示例实施例中,如果发现了不充分数目的活动帧,则认为对象确实存在的证据不充分,因此操作继续,如同未发现活动帧一样。否则判断已经检测到对象,判断来自活动帧的证据以确定其状态,例如通过或者不通过。在本发明的范围内,可以使用各种方法来检测对象并确定其状态,其中一些在下面进行了描述,并且本领域技术人员将想到许多其他方法。
一旦已经检测到对象并已经进行判断,则可以使用本领域公知的信号向适当的自动化仪器报告,诸如向PLC报告。在这种情况下,类似于图2中步骤250的报告步骤将出现在时间线中。图5的实例替代地对应于诸如图4示出的设置,此处视觉检测器用于通过信号420控制下游不合格执行器170。通过当对象经过视场时,考虑对象在活动帧中的位置,视觉检测器估计对象经过标志点430的标志时间550和552。注意,在使用编码器180的情况下,标志时间实际上是编码器计数;读者应当理解的是,时间和计数可以互换使用。由适合于不合格执行器170的持续时间的脉冲构成的报告560从标志时间550开始在经过时间或者编码器计数的精确延迟570之后发布。
注意,报告560可以适当延迟超过诸如510的随后对象的检查。视觉检测器使用公知先进先出(FIFO)缓冲方法来保持该报告直到适当的时间。
一旦完成对象的检查,视觉检测器可以进入空闲步骤580。这样的步骤是可选的,但是由于几个原因这样的步骤也是期望的。如果已知最大对象速率,那么在新的对象预定到达之前不需要查找对象。空闲步骤将消除在对象不能到达时刻错误对象检测的可能性,并且由于在空闲步骤中可以保持灯关闭,因此将会延长照明***的寿命。
图6示出了说明外部触发器模式的视觉检测器的典型操作周期的时间线。与现有技术触发步骤220功能类似的触发步骤620开始第一对象600的检查。图像序列捕获步骤630、632和634以及相应的分析步骤640、642和644用于动态图像分析。同在视觉事件检测模式中一样,期望的是帧速率足够高使得在连续帧之间对象移动视场的一小部分,通常不超过每帧几个像素。在固定数目(该数目基于应用详情选择)的帧之后,从帧的分析中得到的证据用于对象状态的最终判断,在一个实施例中,所述对象状态的最终判断在报告步骤650中供给自动化仪器。在报告步骤之后,进入空闲步骤660直到开始检查第二对象610的下一个触发步骤670。
在另一实施例中,以等效于图5所示的方式延迟报告步骤。在该实施例中,标志时间680是与触发步骤620对应的时间(或者编码器计数)。
图7示出了说明连续分析模式的视觉检测器的典型操作周期的时间线。连续地对帧进行捕获、分析和报告。一个这样的周期包括捕获步骤700、分析步骤710和报告步骤720。
示例装置
图8示出了生产环境中的视觉检测器的高层次框图。视觉检测器800通过信号820连接至适当的自动化仪器810,所述自动化仪器可以包括PLC、不合格执行器和/或光电检测器。所述视觉检测器还可以通过信号840连接至人机界面(HMI)830,诸如PC或者手持设备。该HMI用于设置和监测,并可在正常生产使用期间移除。所述信号可以以任何可接受的格式和/或协议来实施,并且可以以有线或者无线形式进行传输。
图9示出了视觉检测器的示例实施例的框图。数字信号处理器(DSP)900运行软件以控制捕获、分析、报告、HMI通信以及所述视觉检测器需要的其他适当的功能。DSP900对接至存储器910,该存储器包括用于程序和数据的高速随机存取存储器以及当移除电源时用于保持程序和设置信息的非易失性存储器。DSP还连接至I/O模块920,所述I/O模块920为自动化仪器、HMI接口930、照明模块940以及成像器960提供信号。透镜950将图像聚焦在成像器960的光敏元件上。
DSP 900可以是任何能够进行数字计算、信息存储并能对接至其他数字元件的设备,包括但并不限于通用计算机、PLC或者微处理器。期望的是,DSP 900价格便宜且足够快能够处理高帧速率。进一步期望的是,能够在图像分析同时接收并存储来自成像器的像素数据。
在图9的示例实施例中,DSP 900是Analog Devices of Norwood,Massachusetts制造的ADSP-BF531。ADSP-BF531 DSP 900的并行***接口(PPI)970从成像器960接收像素数据,并将该数据通过直接存储器存取(DMA)通道972发送给存储控制器974以将其存储在存储器910中。PPI 970和DMA 972的使用使得在适当的软件控制下图像捕获可以与由DSP 900执行的任何其他分析同时发生。控制PPI970和DMA 972的软件指令可以由本领域任一普通技术人员根据均包含在此作为参考的ADSP-BF533 Blackfin Processor HardWareReference(件号82-002005-01)和Blackfin ProcessorInstruction Set Reference(件号82-000410-14)中包含的编程指令来实施。注意,ADSP-BF531以及可兼容的ADSP-BF532、ADSP-BF533设备具有相同的编程指令并可以在该示例实施例中互换使用以得到适当的性价比折衷。
视觉检测器期望的高帧速率建议不象现有技术视觉***中使用成像器那样来使用成像器。期望的是成像器对光异常敏感,使得可以使用廉价的照明以极短的快门时间操作。进一步期望的是,能够比现有技术视觉***快得多地对像素数据进行数字化并将其传送至DSP。另外还期望其廉价且具有总体快门(global shutter)。
通过选择比现有技术视觉***使用的成像器具有更高光敏感度和更低分辨率的成像器可以满足这些目标。在图9的示例实施例中,成像器960为National Semiconductor of Santa Clara,California制造的LM9630。LM9630具有100×128像素阵列,总计12800,比典型现有技术视觉***低大约24倍。像素相对有20平方微米的大小,提供了高光敏感度。当设置为300微秒快门时间时,LM9630可以每秒提供500帧,并且(在大多数情况下)足够敏感使得使用LED照明可得到300微秒的快门。对于视觉***,这个分辨率被认为极其低,但是对于作为本发明目标的特征检测任务却相当有效。根据包含在此作为参考的2004年1月的LM9360 Data Sheet,Rev1.0中包含的指令,本领域任一普通技术人员均可实施LM 9630的电接口和软件控制。
期望的是照明940廉价且仍然足够亮以允许短的快门时间。在示例实施例中,使用了以630纳米操作的一组高强度红色LED,例如Agilent Technologies制造的HLMP-ED25。在另一实施例中,使用了高强度白色LED来实施期望的照明。
在图9示出的示例实施例中,I/O模块920提供了输出信号922和924以及输入信号926。一个这种输出信号可以用来提供用于控制不合格执行器170的信号420(图4)。输入信号926可用于提供外部触发。
如此处所使用的,图像捕获设备提供了捕获并存储数字图像的工具。在图9的示例实施例中,图像捕获设备980包括DSP900、成像器960、存储器910以及相应的电接口和软件指令。
如此处所使用的,分析器提供了用于数字数据分析的工具,包括但并不限于数字图像。在图9的示例实施例中,分析器982包括DSP900、存储器910以及相应的电接口和软件指令。
如此处所使用的,输出信号装置提供了响应于分析以产生输出信号的工具。在图9的示例实施例中,输出信号装置984包括I/O模块920和输出信号922。
一个普通技术人员应理解的是,在本发明的范围内,存在许多可以使用的替代装置、设备和软件指令来实施图像捕获设备980、分析器982和输出信号装置984。
可以进行各种工程折衷以为特定应用提供根据本发明的有效装置操作。考虑以下定义:
b包含待检测可视特征的对象部分占据FOV的分数,通过选择透镜950的光学放大来确定以实现对于成像器960的可用分辨率的有效利用;
e用作误差容限的FOV的分数;
n其中将典型地看到每个对象的帧的期望最小数目;
s作为FOV倍数的对象之间的间隔,通常由生产条件定义;
p对象出现速率,通常由生产条件定义;
m对象在连续帧之间移动的FOV的最大分数,基于上述值选择;和
r最小帧速率,基于上述值选择。
从这些定义可以看出
以及
为实现对成像器可用分辨率的有效利用,期望的是b至少为50%。对于动态图像分析,n应当至少为2。因此,进一步期望的是,对象在连续帧之间移动不超过视场的四分之一。
在示例实施例中,合理值为:b=75%,e=5%,而n=4。这意味着m≤5%,即可以选择帧速率使得对象在帧之间的移动不超过FOV的大约5%。如果生产条件使得s=2,那么帧速率r需要至少为对象出现速率p的40倍。为处理5Hz的对象出现速率,该速率在工业制造中相当典型,期望的帧速率将至少为大约200Hz。使用LM 9630以至多3.3毫秒的快门时间可以实现该速率,只要将图像分析布置得适合5毫秒以内的帧周期。利用现有技术,使用包括高达40000像素的成像器实现该速率将是可行的。
使用相同的示例实施例,对于更高的对象出现速率12.5Hz,期望的帧速率将至少接近500Hz。通过使用至多300微秒的快门,LM 9630能够处理该速率。
在另一示例实施例中,可以选择:b=75%,e=15%,而n=5,从而m≤2%。使用s=2且p=5Hz,则期望的帧速率将再次至少接近500Hz。
图10示出了适用于视觉检测器的照明装置。在一个示例中,18个LED(包括示范LED1010)的环1000围绕着透镜1030。该环被三个LED分成可以独立控制的6组,包括实例组1020。所述组的独立控制使得可以对于给定应用可以适当调节照明方向。
在可替代的实施例中,16个LED(包括示范LED1060)的矩形阵列1050围绕着透镜1080。该阵列如所示被分成4组,包括实例组1070。
通过控制LED,在某些情况下可以提高根据本发明的动态图像分析的能力,使得随着照明组的改变来捕获连续帧。通过考虑从改变方向照明的帧中获得的证据,就可能可靠地检测使用固定照明方向很难检测到的特征。因此,本发明使得可以利用改变方向照明移动对象来进行分析。
执行模糊逻辑决策
图11示出了一个示例实施例中使用以衡量证据并进行判断的模糊逻辑元件,包括判断对象是否存在以及它是否通过检查。
模糊逻辑值是0至1之间的数值,代表了某些特定条件为真的可信度估计。值1代表条件为真的高可信度,0代表条件为假的高可信度,中间值代表可信度的中间等级。
更加熟悉的二进制逻辑是模糊逻辑的子集,其中将可信度的值限制为仅仅0和1。因此使用等效的二进制逻辑方法和装置来替代使用模糊逻辑值的所有模糊逻辑方法或者装置,此处描述的使用模糊逻辑值的任一实施例可以使用替代的二进制逻辑值。
正如二进制逻辑值是通过使用阈值从原始测量中得到的一样,使用模糊阈值得到模糊逻辑值。参考图11,图表1100示出了模糊阈值。x轴1110代表原始测量,f轴1114代表模糊逻辑值,所述模糊逻辑值是一个其定义域包括所有可能原始测量且范围是0≤f≤1的函数。
在示例实施例中,模糊阈值包括x轴上示出的两个数值,低阈值t01120和高阈值t11122,对应于函数上的点1124和1126。可以通过以下等式定义模糊阈值
注意,该函数仅当t1<t0时有效。还可使用其他函数用于模糊阈值,诸如S形函数
此处t和σ为阈值参数。在目标是简化的实施例中,可使用常规的二进制阈值,产生二进制逻辑值。
进行模糊决策是基于与(AND)1140、或(OR)1150以及非(NOT)1160的模糊形式。两个或者更多模糊逻辑值的模糊与(AND)是最小值,模糊或(OR)是最大值。f的模糊非(NOT)是1-f。当将模糊逻辑值限制为0和1时,模糊逻辑与二进制相同。
在示例实施例中,无论何时需要严格的真/假决策,如果模糊逻辑值至少为0.5则认为真,如果小于0.5则认为假。
本领域技术人员非常清楚的是,对于此处结合模糊逻辑所使用的值0和1并不是关键的。可以使用任何数值来代表条件为真的高可信度,可以使用任何不同数值来代表条件为假的高可信度,使用中间值来代表可信度的中间等级。
动态图像分析
图12示出了在一个示例实施例中对于动态图像分析来讲如何对证据进行衡量。在该实施例中,必须进行两个决策,称作主要决策(primary decision):
1.对象或者对象的可视特征组是否位于视场中?
2.如果是,对象的状态怎样。
包括对象位于视场中的证据的信息称为对象检测权重。包含有关对象状态的证据的信息称为对象通过得分。在各个示例实施例中,对象的状态包括该对象是否满足用户适当选择的检查标准。在下文中,满足检查标准的对象有时称为“通过检查”。
图12示出了两个图表,对象检测图表1200和对象通过图表1202。两个图表的水平轴代表帧顺序编号i;每个帧由垂直线代表,诸如线1204。
在图12的示例实施例中,对象检测权重为模糊逻辑值di,代表帧i中对象位于FOV中的证据,并使用下面进一步描述的方法由视觉检测器对每个帧进行计算。对象通过得分为模糊逻辑值pi,代表帧i中对象满足适当检查标准的证据,并使用下面进一步描述的方法由视觉检测器对选定的帧进行计算。对象检测图表1200的垂直轴表示di,对象通过图表1202的垂直轴表示pi。
在图12的示例实施例中,认为di≥0.5处的帧是活动的(参考用于说明活动帧的图5的上述描述)。为了参考,绘出了di=0.5处的线1230。以实心圆画出了活动帧的对象检测权重和通过得分,例如点1210和点1212,而对于非活动帧的对象检测权重和通过得分则以开圆(opencircle)画出,例如点1214和1216。在一些实施例中,仅对活动帧计算对象通过权重,而在图12的实施例中,对所有帧进行计算,而不管其是否被认为是“活动的”。
在图12的实例中,所有的活动帧对应于单个对象的检查,如上述图5中所说明,单个非活动帧1220并不终止该检查。
在一个实施例中,如果发现活动帧的数目超过某个阈值,则判断已经检测到对象。在另一实施例中,如果所有活动帧的总的对象检测权重超过某一阈值,则判断已经检测到对象。对于给定应用,适当地设置这些阈值(见图34)。
在图12的示例实施例中,如果对象通过得分的加权平均值(以相应的对象检测权重对每个对象通过得分进行加权)至少为0.5,则判断对象通过检查。更加精确地,如果满足下式则对象通过检查:
其中,对所有活动帧进行求和。该公式的作用是计算对象通过得分的平均值,然而是基于在相应帧中对象实际出现的可信度对每个得分进行加权。
在可替代实施例中,如果对象通过得分的平均值至少为0.5,则判断对象通过检查。这与其中所有权重相等的加权平均是等效的。
在图12的实例中,加权平均通过得分大约为0.86,以线1240画出。活动帧的数目为11,总的对象检测权重大约为9.5。在该实例中,检测到对象且对象通过检查。
图13示出了在另一示例实施例中对于动态图像分析来讲如何对证据进行衡量。在该实例中,难以看到待检测对象的特征,当对象移动经过视场观测和照明透视刚刚位于正中时,仅仅在少量活动帧中出现可信度,主要为帧1300和1310。只要在特征出现的少数帧中证据充分,对象应当通过检查。在该情况中,没有方法提前知道哪些活动帧将包含这样的证据。因此在这种情况下,加权平均通过得分是不适当的。一种替代方案是,如果在任何一个活动帧中通过得分超过某一阈值则使该对象通过检查,但是该替代方法使对象通过检查所基于的证据太少。在图13的示例实施例中,使用了加权百分比的方法。
加权百分比方法基于通过得分至少为p的总权重的一个分数Q(p):
如果Q(p)至少为某个阈值t,则判断对象通过检查。在图13的示例实施例中,p=0.5,以线1320画出。对于这种情况,合理的阈值t为10%。
使用不同的t值得到有用的性能。例如,如果t=50%,则如果加权中值得分至少为p时,判断对象通过检查。加权中值类似于加权平均,但是在一些情况下具有更适当的属性。对于较高值,例如t=90%,仅当权重中压倒多数的权重与通过得分至少为p的活动帧对应时,判断对象通过检查。对于t=100%,仅当所有活动帧的通过得分至少为p时,判断对象通过检查。如果Q(p)大于0时,也可以判断对象通过检查,这意味着任一活动帧具有至少为p的帧通过得分。
在另一有用的变型中,基于通过得分至少为p的总权重来判断对象通过检查,而不是通过总权重的分数。
在替代的实施例中,基于通过得分至少为p的帧计数使用了百分比方法。这与其中所有权重相等的加权百分比方法等效。
上述对衡量证据以确定是否检测到对象以及对象是否通过检查的方法的描述其目的在于作为有用实施例的实例,并不是限制可以在本发明的范围内使用的方法。例如,上述使用的实例常数0.5可以使用任何适合值来替代。对于本领域技术人员,可以想出许多用于动态图像分析的额外方法。
本发明的软件元件
图14示出了示例实施例所使用的以进行帧分析、进行判断、感测输入和控制输出信号的软件元件组(例如,计算机可读介质的程序指令)的体系结构。可以使用传统面向对象编程语言(诸如C++)中的类层次结构来实施这些元件,使得每个元件对应于一个类.然而,可以使用任何可接受的编程技术和/或语言来实施此处描述的处理。
如图所示,具有点线边框的类,诸如机件类1400为抽象基本类,其本身并不存在而是用于建立具体的派生类,诸如***类1420。具有实线边框的类代表动态对象,可以使用HMI830由用户根据需要在建立应用时创建和消灭。具有短划线边框的类,诸如输入类1450代表与特定硬件或软件资源相关的静态对象。静态对象一直存在并且不能由用户创建或消灭。
所有的类从机件类1400派生,因此作为图14所示出类的实例的所有对象是一种机件。在示例实施例中,每个机件:
1.具有可供用户进行选择的名称;
2.具有逻辑输出(模糊逻辑值),可被其他机件用作逻辑输入以进行判断和控制输出信号;
3.具有可以由用户配置以指定其操作的参数组;
4.具有使得可以用于反转逻辑输出(即,模糊非)的一个参数;以及
5.可以运行,使其逻辑输出可以基于其参数、逻辑输入(如果存在)以及对于特定机件基于当前帧的内容进行更新,并还可以导致诸如输出信号设定的副作用。
分析帧的动作包括以这样的次序运行每个机件一次,所述次序被确定为保证在机件运行之前已经更新了至机件的所有逻辑输入。在一些实施例中,在不需要其逻辑输出的帧期间不运行机件。
照片类1410对于其逻辑输出取决于当前帧内容的所有机件是个基本类。这些是确实进行图像分析的类。每个照片测量当前帧的感兴趣区域(ROI)内的一些特性。该ROI对应于待检查对象上的可视特征。该测量称为照片的模拟输出。通过模糊阈值(称为敏感阈值,是可以由用户配置的参数组中之一),根据该模拟输出计算照片逻辑输出。照片的逻辑输出可以用于提供判断中使用的证据。
检测器类1430对于其主要目的是进行ROI内的测量并提供判断中使用的证据的所有照片为基本类。在一个示例实施例中所有检测器ROI是圆形的。圆形ROI简化了实施,这是因为不需要处理旋转,具有仅仅一种ROI形状简化了用户必须了解的内容。检测器参数包括ROI的位置和直径。
亮度检测器1440测量ROI中的加权平均或者百分比亮度。对比度检测器1442测量ROI中的对比度。边缘检测器1444测量特定方向上ROI好象是边缘的程度。斑点检测器1446测量ROI好象是圆形特征(诸如孔)的程度。模板检测器1448测量ROI好象是用户选择的预先训练图案的程度。下面进一步对检测器的操作进行描述。
***类1420代表具有两个主要用途的照片。首先是产生可以提供用于进行判断的证据的逻辑输出,在这一点上,它们可像任何检测器一样使用。其次是确定对象在视觉检测器的视场中的位置,使得其他照片的ROI位置可以移动从而跟踪对象位置。可以使用任何***以用于任一用途或者两个用途。
在示例实施例中,***在帧中搜索一维范围以找到边缘。搜索方向与边缘正交,并且搜索方向是用户配置的参数之一。***的模拟输出与边缘检测器的模拟输出相似。下面对***做进一步描述。
输入类1450代表提供给视觉检测器的输入信号,诸如外部触发器。输出类1452代表来自视觉检测器的输出信号,诸如可以用于控制不合格执行器。对于每个物理输入存在一个输入类静态实例,诸如示范输入信号926(图9),对于每个物理输出存在一个输出类静态实例,诸如示范输出信号922和924。
门基本类1460实施模糊逻辑决策执行。每个门具有一个或更多逻辑输入,所述逻辑输入可连接至其他机件的逻辑输出。每个逻辑输入可以通过用户可以配置的参数进行翻转(模糊非)。与门1462实施模糊与操作,或门1464实施模糊或操作。
判断类1470是两个静态对象的基本类,即对象检测判断1472和对象通过判断1474的基本类。判断通过对连续帧的证据进行衡量实施动态图像分析以进行主要决策。每个判断具有一个逻辑输入,用户将图片的逻辑输出或者更加典型地将门的逻辑输出连接至所述逻辑输入,所述门提供了机件、通常照片和其他门的逻辑组合。
对象检测判断1472判定是否已经检测到对象,对象通过判断1474判定对象是否通过检查。至对象检测判断的逻辑输入提供了每个帧的对象检测权重,至对象通过判断的逻辑输入提供了每个帧的对象通过得分。
对象检测判断的逻辑输出提供了指示何时已经进行了判断的脉冲。在一个操作模式中,称为“处理时输出”,当开始对象的检查时出现脉冲的上升沿,例如在图5中的分析步骤540结束时,而当对象的检查完成时,出现下降沿,例如在分析步骤548结束时。在另一模式中,称为“完成时输出”,当完成对象的检查时出现脉冲的上升沿,例如在图5的分析步骤548结束时,而在此后一段时间出现下降沿,例如在空闲步骤580结束时。
对象通过判断的逻辑输出提供了指示最近检查的对象是否通过检查的等级。当对象检查完成时等级改变状态,例如在分析步骤548结束时。
图15示出了如何使用照片来检查对象的实例。图15代表对象110(来自图1中)的图像,包含标签特征120和孔特征124,重叠图示代表照片,并且显示在HMI830上以供用户观察和操作。HMI上图像和重叠图示的显示称作图像视图。
图15代表了一个图像视图,示出了包括标签1510和1512的对象1500。在实例中的对象包含6个待检查的可视特征,对应于下面将进一步描述的2个***和4个检测器。
***1520用于检测和定位对象的顶部边缘,另一***1522用于检测和定位右侧边缘。
亮度检测器1530用于帮助检测对象的存在。在该实例中背景比对象更加明亮,因此设定了敏感阈值以区分两个不同的亮度等级,并使逻辑输出反转以检测更暗的对象而不是更亮的背景。
***1520和1522以及亮度检测器1530一起提供了判断已检测到对象所需的证据,这将在下面进一步描述。
对比度检测器1540用于检测孔1512的存在。当孔不存在时,对比度将非常低,而当孔存在时,对比度将高得多。还可以使用斑点检测器。
边缘检测器1560用于检测标签1510的存在及其位置。如果标签不存在、水平方向定位错误或者被显著旋转,则边缘检测器的模拟输出将非常低。
亮度检测器1550用于验证已经施加了正确的标签。在该实例中,正确的标签是白色的,而不正确的标签是更暗的颜色。
由于对象从左到右穿过视觉检测器的视场,因此***1522跟踪对象的右侧边缘,并将亮度检测器1530、对比度检测器1540、亮度检测器1550和边缘检测器1560相对于对象重新定位至正确位置。***1520对于对象在视场中的垂直位置的任何偏差进行校正,并基于对象的项部边缘位置重新定位检测器。通常,***可以朝向任何方向。
用户通过使用公知的HMI技术可以操纵图像视图中的照片。通过使用鼠标点击可以选择照片,并且其ROI可以通过拖动进行移动、调整大小和旋转。在下面描述了***的其他操纵。
图16示出了包含与图15的实例设置对应的接线图的逻辑视图。接线图示出了用于检查对象和与自动化仪器对接的所有机件,以及机件的逻辑输入和逻辑输出之间的连接。接线图显示在HMI830上以供用户查看和操纵。HMI上的机件及其逻辑连接的显示称为逻辑视图。
仍然参考图16的接线图,***1620命名为“顶部”,与图15的图像视图中的***1520对应,并通过导线1624连接至与门1610。同样,“侧边”***1622对应于***1522,“方框”检测器1630对应于亮度检测器1530,它们都线连接至与门1610。如通过小圆圈1632所示,将“方框”检测器1630的逻辑输出反转,如上所述以检测相对于较亮背景下的较暗对象。
与门1610的逻辑输出代表已经检测到对象顶部边缘、已经检测到对象的右侧边缘以及尚未检测到背景的可信度的等级。当三个条件为真的可信度为高时,对象本身已经检测到的可信度为高。与门1610的逻辑输出线连接至对象检测判断1600,以用作每个帧的对象检测权重。
由于在这种情况下,至对象检测判断的逻辑输入取决于当前帧,因此视觉检测器正以视觉事件检测模式操作。为了以外部触发模式操作,可将一输入机件连接至对象检测。为了以连续分析模式操作,什么都无需连接至对象检测。
由用户基于应用的知识对线连接至对象检测的机件做出选择。在图15和图16的实例中,用户可能已经认定仅检测到顶部和右侧边缘不足以确保对象存在。注意***1522可以像响应于对象右侧边缘一样强烈地响应于标签的左侧边缘,或许在生产循环中在该点处***1520可能不时会发现背景中的一些其他边缘。通过添加检测器1530并通过与门1610来要求所有三个条件,使得对象检测可靠。
在接线图中,对比度检测器“孔”1640对应于对比度检测器1540,亮度检测器“标签”1650对应于亮度检测器1550,边缘检测器“标签边缘”1660对应于边缘检测器1560,它们都线连接至与门1612。与门1612的逻辑输出代表所有三个图像特征都已经检测到的可信度等级,并线连接至对象通过判断1602以提供每个帧的对象通过得分。
对象检测判断1600的逻辑输出线连接至与门1670。对象通过判断1602的逻辑输出进行反转并同样线连接至与门1670。对象检测判断被设置为“完成时输出”模式,因此在已经检测到对象并已经完成检查后在对象检测判断1600的逻辑输出上出现脉冲。由于对象通过1602的逻辑输出已经反转,仅当对象没有通过检查时才在与门1670的逻辑输出上出现脉冲。与门1670的逻辑输出线连接至命名为“不合格”的输出机件1680,所述输出机件1680控制来自视觉检测器的输出信号,该视觉检测器可直接连接至不合格执行器170。由用户将输出机件1680配置成执行下游不合格执行器所需要的适当的延迟570。
用户可以通过使用公知的HMI技术在逻辑视图中操纵机件。可以通过使用鼠标点击来选择机件,通过拖动来移动其位置并通过拖放操作来生成导线。
为了帮助用户理解视觉检测器的操作,机件和/或导线可以改变其视觉外观以指示模糊逻辑值。例如当逻辑值低于0.5时,机件和/或导线可以显示为红色,否则显示为绿色。在图16中,以短划线画出导线1604和1672以指示逻辑值低于0.5,而其他导线例如导线1624以实线画出,指示逻辑值大于等于0.5。
本领域技术人员将会认识到,通过适当的选择、配置和机件的线连接可以检测和检查广泛种类的对象。本领域技术人员还将认识到,机件类层次结构仅仅是可以用于实施本发明的许多软件技术中的一种。
检测器的图像分析方法
图17示出了实施亮度和对比度检测器的方法。在亮度检测器的一个实施例中,模拟输出是ROI内的平均灰度级。在示例实施例中,对应于ROI的形状和尺寸创建正权重的核心1700,模拟输出A为加权平均灰度级
其中wi为第i个权重,zi为相应的像素灰度级。在图17的示例实施例中,权重近似从核心中心距每个权重中心的距离为r的高斯函数,
使得对于接近中心的像素权重衡量比接近边缘的像素略微更高。中心加权亮度检测器的一个优势在于如果亮度特征恰巧位于检测器的ROI边缘附近,其位置的轻微变化不会引起模拟输出的较大变化。在图17中a=99,但是可以使用任何适当值。值σ可以基于核心的直径d设置。
在图17的示例实施例中,b=1.0。
在另一示例实施例中,由函数C(q)来限定模拟输出,所述函数C(q)是灰度级使得
其中q是由用户选出的百分比。C是灰度级的逆累积加权分布。下表中给出了q的各种有用值:
q | C(q) |
0.0 | ROI中的绝对最小灰度级 |
0.1 | 统计可靠最小灰度级 |
0.5 | 加权中值灰度级 |
0.9 | 统计可靠最大灰度级 |
1.0 | 绝对最大灰度级 |
在对比度检测器的一个实施例中,模拟输出是ROI内的灰度级的标准偏差。在示例实施例中,正权重阵列1700用于计算加权标准偏差:
在另一示例实施例中,模拟输出由下式给出
C(qhi)-C(qlo)(12)
其中q值可由用户选择。有用的值是qhi=0.95,qlo=0.05。
图18示出了用于实施边缘检测器以检测台阶边缘的方法。对应于ROI的尺寸和形状创建台阶核心1800以及边缘的计划方向。对于台阶核心1800,ROI是直径中有12个像素的圆,边缘的方向是距水平15度。台阶核心1800是边缘至每个权重中心距离为t的高斯函数的一阶导数的近似,
在图18中a=99,但是可以使用任何适当的值。在示例实施例中,使用了b=0.5的等式9。
具有值ki的台阶核心1800可以认为是理想台阶边缘模板ei与正权重wi的核心的乘积;
wi=|ki|
ki=eiwi
注意当ki≥0时理想台阶边缘模板ei取值为+1,对应于台阶核心1800中白色区域上的黑字,当ki<0时取值为-1,对应于台阶核心1800中黑色区域上的白字。
定义台阶核心的对比度C和加权正规化(normalized)相关性R2以及具有像素值zi的类似形状的ROI如下:
对比度C使用加权标准偏差的标准公式,R2使用加权正规化相关性的标准公式,但是进行了简化,这是由于对于台阶核心1800
还创建了具有值ki’的正交台阶核心1810,与台阶核心1800相同,但是旋转了90度。所述比值
是边缘实际方向和期望方向的角度正切的合理估计,尤其是对于其中D本身也是角度的优良估计小角度。注意不需要创建正交台阶模板1810——可使用来自台阶模板1800的值,但是在不同阶中,对应于ROI中的像素值。
图19示出了如何使用值R2,C和D用于确定边缘检测器的示例实施例的模拟输出。当满足下述三个条件时可以确信已经检测到边缘:
1.ROI看起来像理想的台阶边缘,这意味着理想台阶边缘模板与ROI的加权正规化相关性R2为高;
2.对比度C显著高于某一噪声阈值;以及
3.角度D小。
加权正规化相关性操作1900使用ROI 1910和台阶核心1920计算R2。对比度操作1930使用ROI 1910和台阶核心1920计算C,所述C值被模糊阈值操作1940转换成模糊逻辑值1942,所述模糊逻辑值1942指示对比度高于噪声等级的可信度。使用ROI 1910、台阶核心1920和正交台阶核心1922的加权相关操作1950和1952以及反正切的绝对值的比值操作1960计算D,所述D值被模糊阈值操作1970转换成模糊逻辑值1972,所述模糊逻辑值1972指示了期望边缘方向和实际边缘方向之间角度小的可信度。
模糊与元件1980对R2、模糊逻辑值1942和1972操作以产生边缘检测器的模拟输出1990。注意范围在0-1之间的R2可以直接用作模糊逻辑值。模拟输出1990在范围0-1之间,但是假如需要不同的范围时它可以乘以某个常数,例如100。注意边缘检测器的逻辑输出是使用所有照片都具有的敏感阈值从模拟输出得到的。
图20示出了用于实施边缘检测器以检测脊形边缘的方法。对应于ROI的尺寸和形状创建脊形核心2000以及边缘的计划方向θ。对于脊形核心2000,ROI为直径中有12个像素的圆,方向θ距水平15度。脊形核心2000是边缘至每个权重中心距离为r的高斯函数的二阶导数的近似,
在图20中a=99,但是可以使用任何适当的值。在示例实施例中,使用b=0.33的等式9。
脊形核心2000的使用类似于台阶核心1800的使用,使用相同公式计算C,但是由于核心值之和不为0,因此R2使用不同的公式:
注意当核心值之和为0时,该公式简化为用于台阶边缘的公式。
使用不同的方法来确定实际边缘方向和期望边缘方向之间的角度D。创建具有值ki +正旋转脊形核心2020,具有边缘方向θ+a,并创建具有值ki -负旋转。将一个抛物线拟合于所述三个点:
抛物线最小值的x坐标是实际边缘方向和期望边缘方向之间角度D的优良估计。
图21示出了如何使用脊形核心来确定边缘检测器的示例实施例的模拟输出,所述边缘检测器可以检测台阶或者脊形边缘。对于脊形边缘检测,加权正规化相关性2100使用ROI 2110和脊形核心2120来计算R2。对比度2130使用ROI 2110和脊形核心2120来计算C,所述C值被模糊阈值2140转换成模糊逻辑值。相关元件2150、2152和2154使用ROI 2110、脊形核心2120、正旋转脊形核心2124和负旋转脊形核心2122来提供输入至抛物线拟合2160,从而计算D,然后所述D值被模糊阈值2170转换成模糊逻辑值。
模糊与元件2180使用R2和所述模糊逻辑值以产生可以检测脊形边缘的边缘检测器的脊形模拟输出2192。对于可以检测台阶或者脊形边缘的边缘检测器,模糊或元件2182可以使用脊模拟输出2192和来自台阶边缘检测器2188的模拟输出1990来产生结合模拟输出2190。
图22示出了可以显示在HMI以供用户查看和操纵从而设置边缘检测器参数的图形控制。显示在HMI 830上用于设置机件参数的图像控制组称为参数视图。其他照片的参数视图与图22的足够相似,使得对于本领域技术人员来讲,如何构造将显而易见。
名称文本框2200使得用户可以查看和录入机件的名称。时间标签2202示出了机件最近运行所耗费的时间。逻辑输出标签2204示出了机件当前逻辑输出值,并可以改变颜色、形状或者其他特性以区分真(≥0.5)和假(<0.5)。反转选择框2206使得机件的逻辑输出可以被反转。
赞成(thumbs-up)按钮2210和反对(thumbs-down)按钮2212用于学习,这将在下文中进一步进行描述(图45)。
位置控制2220用于定位视场中的照片。直径微调控制项2222用于改变检测器的直径。方向控制2224用于将边缘检测器定位至期望的方向。还可以通过图像视图的图形操作来设置位置、直径和方向,例如图15的图像视图。
边缘类型选择框2230用于选择待检测的边缘类型和边缘的极性。可以选择暗至亮台阶、亮至暗台阶、暗脊形、亮脊形。还允许任何选择结合,排除什么都不选在外。
抖动(jiggle)微调控制项2240使得用户可以指定参数j,使得边缘检测器可以在指定位置附近±j像素的位置组工作,并将使用具有最高模拟输出的位置。
敏感度阈值控制2250使得用户可以设置照片的敏感度模糊阈值。零点标签2251示出了值t01120(图11),该值可以由零点滑动块2252设置。一点标签2253示出了值t11122(图11),该值可以由一点滑动块2254设置。模拟输出标签2255示出了照片的当前模拟输出。还通过至模拟输出标签2255左侧的填充区域图示出了该模拟输出,所述填充区域象侧躺的水银温度计一样收缩和增长。所述填充区域可以以对应于t0以下的第一区2256、t0和t1之间的第二区2257、t1之上的第三区2258的三种不同颜色或者图案显示。
对比度阈值控制2260使得用户可以查看对比度C并设置对比度模糊阈值1940和2140。这些控制以与敏感度阈值控制2250相同的方式操作。
方向误差控制2270使得用户可以查看实际边缘方向和期望边缘方向之间的角度D并设置方向模糊阈值1970和2170。这些控制以与敏感度阈值控制2250相同的方式操作,除了温度计显示从右至左填充而不是从左至右,这是由于较低D值对应于较高模糊逻辑值。
图23示出了实施斑点检测器的方法。对应于ROI的尺寸和形状创建斑点核心2300。对于斑点核心2300,ROI为直径中有15个像素的圆。斑点核心2300为每个权重中心至核心中心的距离为r的高斯函数的二阶导数的近似,使用等式18和9。在一个示例实施例中,b=0.6。
斑点核心2300的使用类似于脊形核心2000。使用与脊形核心所使用的相同公式来计算加权的正规化相关性R2和对比度C。
图24示出了如何使用斑点核心来确定斑点检测器的示例实施例的模拟输出。斑点检测器的操作与图19所示的边缘检测器实施例相同,除了没有计算或者使用角度D以外。加权正规化相关性2400使用ROI2410和斑点核心2420来计算R2。对比度2430使用ROI2410和斑点核心2420来计算C,所述C值然后由模糊阈值2440转换为模糊逻辑值。模糊与元件2480使用R2和模糊逻辑值来产生斑点模拟输出2490。
***的方法和人机界面
图25示出了将用于描述根据示例实施例的***操作的一对图像视图。在第一图像视图2500和第二图像视图2502中,存在一个检测器2510和一个***2512。读者要理解检测器2510和***2512的下面描述通常可以应用于任何检测器和***。读者还应进一步理解,在本发明的范围内还可以设计出许多配置***的替代方法。
在示例实施例中,***使用各种公知技术的任一种搜索一维范围以查找边缘。搜索方向与边缘垂直,并且***具有以公知方法使用的用于指定沿边缘滑动的宽度参数。***的模拟输出取决于搜索边缘使用的特定方法。
在示例实施例中,***使用计算平行于边缘的ROI投影的公知方法搜索一维范围以查找边缘,沿着搜索范围产生一维剖面。将所述一维剖面与一维边缘核心进行卷积,峰值响应的位置对应于边缘位置。如果期望提高边缘位置的精确度,可以使用内插法,诸如公知的抛物线内插法。在另一实施例中,可以通过使用图19或图21的边缘检测器搜索峰值模拟输出来定位边缘,如果期望提供精确度可再次使用内插。
在另一实施例中,***使用公知的方法搜索多维范围,公知的方法可以包括平移、旋转和自由度大小。本领域技术人员将很清楚如何在实施本发明中使用多维***来定位照片,因此下面的讨论将限制在一维***,一维***由于其简单性而优选。
检测器2510和***2512可以通过在其边缘点击并拖动在FOV中来回移动。检测器2510具有调整大小把手(handle)2520用于改变其直径,***2512具有用于改变其宽度和范围的调整大小把手2522,以及用于改变其方向的旋转把手2524。通过拖动边缘可以移动所有照片,并具有类似的与其操作适应的把手。
在图25示出的示例实施例中,***作为具有内部线段(称为冲杆(plunger)2530)矩形绘制在图像视图中。***的宽度沿着冲杆,其范围与冲杆垂直。由用户定向***使得冲杆近似平行于待查找的边缘。该矩形示出了搜索范围,冲杆示出了被检测边缘的定位。如果没有检测到边缘,将冲杆绘制在范围中心。
***具有轨道2532,在图中以短划线示出,该轨道与冲杆重合但是在图像视图边缘的两个方向上延伸。
每个照片可以链接至零个和更多***,多达由本发明的特定实施例确定的某个最大数值。链接的数目确定了***可以控制的自由度的数目。自由度包括旋转、大小以及平移的两个自由度。在示例实施例中,链接的最大值为2并且仅仅可以控制平移自由度。
链接定义当***的冲杆移动时,照片沿着图像的边缘如何移动。定义该运动以使照片距与其连接的***的单个滑轨或多条滑轨保持恒定的相对距离。在一个示例实施例中,使用机械模拟绘制了链接,使得可以从结构元件和关系(bearing)中实际建立链接,照片将以与施加在冲杆上的力相同的方式移动。
在图25中,从检测器2510至***2512的链接包括连杆2540,该连杆通过柱2542刚性连接至***2510以及滑块2544,所述滑块自由沿着滑轨2532移动,但是在右角将该连杆保持在滑轨上。柱绘制在照片的边界上,使得连杆(如果延伸的话)将穿过照片中心,并在两个可能这样点中距滑轨最近处通过。***的滑轨仅在与其有链接时才示出。
每个照片具有一个发射器(emitter),即在边界上某处绘出的菱形把手。例如检测器2510具有发射器2550,***2512具有发射器2552。通过拖放照片的发射器至***上的任一点产生一个链接。如果该链接已经存在,拖放可以删除该链接,或者可以使用另外的删除机制。用户既不能创建比任何照片所允许的最大数目更多的链接,也不能创建任何循环相关的链接。为了在***上拖动发射器期间帮助用户,可以提供工具提示,告诉用户是否将创建、删除或者拒绝链接(以及为何)。
如果可以发现冲杆的话,拖动***不改变其冲杆的性能——它保持锁定在边缘上,否则它回复至中心。因此当检测到边缘时拖动***仅改变其搜索范围;冲杆并未相对于FOV运动。更通常地讲,拖动***决不改变与之链接的任何照片的位置。拖动***将根据需要调节连杆的长度以确保没有其它照片相对于FOV移动。
在***的范围内可以手动拖动任何冲杆,不论是否发现边缘,任何被链接的照片将相应地移动。这使得用户可看到链接的效果。一释放鼠标按钮,冲杆将弹回其正确的位置(使所链接的照片适当后退)。
在图25中,检测器2510链接至一个***2512,因此控制了一个平移自由度。该自由度垂直于边缘方向,这意味着所述自由度朝着连杆2540的方向。将第二图像视图2502与第一图像视图2500进行比较,由于冲杆2530跟随着图像中的边缘(未示出),因此它已经移动至右侧。注意***2512在FOV中的位置并未改变,但是检测器2510已经沿着冲杆移动至右侧,冲杆跟随对象的边缘,因此跟随对象本身的移动。在我们的机械模拟中,检测器2510移动是由于它通过连杆2540刚性连接至滑轨2532,而滑轨随着冲杆移动。
图26示出了将用于描述连接至两个***的检测器的性能的一对图像视图。在第一图像视图2600和第二图像视图2602中,检测器2610链接至第一***2620和第二***2630,因此控制了两个平移自由度。所述自由度朝着第一连杆2622和第二连杆2632的方向。注意由于两个自由度并不正交,因此它们并不独立。在图26中示出了把手及发射器。
将第二图像视图2602与第一图像视图2600比较,由于第一冲杆2624跟随着图像中的第一边缘(未示出)因此它已经向下移动,由于第二冲杆2634跟随着第二边缘(未示出)因此它已经移动至左侧并稍微下移。注意***2620和2630在FOV中的位置并未改变,而是检测器2610已跟随着冲杆向下和向左移动,所述冲杆跟随着对象的边缘,因此跟随着对象本身的移动。
在我们的机械模拟中,检测器2610移动是由于它通过第一连杆2622刚性连接至第一滑轨2626,通过第二连杆2632刚性连接至第二滑轨2636。注意第一滑块2628已经沿着第一滑轨2626向左滑动,而第二滑块2638已经沿着第二滑轨2636向下滑动。当两个非正交的***连接至照片时,滑块沿着滑轨滑动。
如果照片链接至两个几乎平行的***,其移动将是不稳定的。设置***之间的角度限制是有用的,在该限制以下,被链接的照片将不移动。在图像视图中可以以某种方式示出这种状态,诸如通过使用特定颜色诸如红色来显示两根连杆。
使***位于固定位置或者链接至其他***的能力提供了重要的灵活性。在图26中,两个***均未被链接,因此它们保持在FOV中的固定位置,因此相对于照明保持在固定位置,这通常是所期望的。
图27示出了将用于说明链接了两个***的检测器性能的一对图像视图,其中一个***链接至另一***。在第一图像视图2700和第二图像视图2702中,检测器2710链接至第一***2720和第二***2730。第二***2730也通过连杆2740、柱2742以及滑块2744链接至第一***2720。滑块2744沿着第一***2720的滑轨2722滑动。
注意对于可以链接至***的照片的数目不需要进行限制,自由度限制是一个照片对于***可以具有的链接数目。在图27的示例中,检测器2710链接至两个***,并在两个平移自由度中受到控制。第二***2730链接至一个***并在一个平移自由度中受到控制。第一***2720未链接至任何***,因此在FOV中保持固定。
***被配置成跟随圆形特征2750的顶部和右侧边缘。将第二图像视图2702与第一图像视图2700比较,圆形特征2750已经向下移动,导致滑轨2722跟随它向下移动。这同时使检测器2710和第二***2730向下移动。注意检测器2710相对于对象位于相同位置,第二***2730也是一样。在这种情况下这一点是期望的,这是因为如果第二***2730固定在FOV中,那么在圆形特征2750上下移动时,第二***可能遗漏圆形特征2750的右侧边缘。注意,如果图像中对象的边缘是直线,这也是不成问题的。
第一***2720没有***使其向左或者向右移动,从而发现圆形特征2750的顶部边缘。第一***不能链接至第二***2730,这是因为这将创建链接的循环链,由于必须有一个***首先工作并且什么都不能与其链接,因此循环链是不允许。相反,穿过FOV的对象的移动确保了第一***2720可以发现顶部边缘。在图27的实例中,移动是从左至右,但是由于视觉检测器的高帧速率,因此对于每帧来讲对象仅仅略微移动。最终,第一***2720将发现顶部边缘,并且在数个帧上都会如此,这取决于对象的速度,此处圆形特征2750的顶部接近于***中心。在其他帧上,第二***2730将正确定位以找到右侧边缘,并根据需要左右移动检测器2710以使其保持在恰当位置。
图28示出了用于处理将被***发现的边缘并非沿直线延伸的情况的方法,因此***的放置必须沿着对象边缘相当精确。该方法可以在这样的应用中用于图27中的第一***2720,在所述应用中对象以高速移动,因此当对象移动经过FOV时,可能存在遗漏整个顶部边缘的可能。
为了处理类似这样的情况,***具有这样的参数,所述参数可以用于指定边缘搜索中进行的平行摆动的数目。该摆动以使得边缘不会落在摆动的缝隙之间的数量沿着边缘间隔放置,以提供充分重叠。
图28示出了具有四个摆动的***2800,所述***在从左开始第二个摆动处发现了边缘。三角形摆动标志,包括例如摆动标志2810和2812,示出在短划线摆动矩形2820之外以避免来自***图形内部的干扰。如果在任何摆动上均未发现边缘,***还原至摆动矩形中心(对于偶数的摆动数目,***将不会位于摆动标志处)。
图29示出了在即使仅两个平移自由度受控的实施例中如何使用***来处理对象旋转和尺寸改变。平移的限制仅为用户提供了大量的简化和透明,但是由于FOV的不同部件中的照片可以响应于不同***进行不同的平移,所以仍然可以处理小的对象旋转和尺寸改变。小旋转和尺寸改变通过平移被精确近似在FOV的一个小区内,因此只要照片链接到至少一个临近***,对象旋转和尺寸改变将看起来象是平移。
仍然参考图29,第一图像视图2900和第二图像视图2902包含第一检测器2910、第二检测器2912、第一***2920、第二***2922和第三***2924。
第一检测器2910链接至临近的第一***2920和第二***2922,并且即使在对象旋转和尺寸改变时仍将正确定位(只要改变不是太大)。但是第二检测器2912太远--相对于第二***2922旋转易于在垂直方向上错误定位第二检测器2912,尺寸变化相对于第一***2920易于在水平方向上错误定位第二检测器2912。使用第三***2924而不是第二***2922来得到第二检测器2912的垂直位置,使得可以处理整体对象旋转。遥远的第一***2920用于得到第二检测器2912的水平位置,因此对象尺寸不应变化太大。如果处理旋转之外还需处理尺寸改变,将要在第二检测器2912附近水平朝向上添加第四***。
比较第二图像视图2902和第一图像视图2900,对象(未示出)已经移向右侧并逆时针旋转,由于***跟随对象边缘因此通过检测器的移动可以看出。注意第二***2922和第三定位2924链接至第一***2920使得它们保持接近于检测器。
使用梯形图的可替代逻辑视图
图30示出了基于在工业编程语言中广泛应用的梯形图的逻辑视图的可替代表示。图30的梯形图基本等效于图16中示出的接线图在于,它表示了相同机件组及其逻辑互连。在示例实施例中,用户可以在接线图和梯形图之间随意切换逻辑视图,并可以操作和编辑任一图表。
在示例实施例中,为提供用于机件配置的梯形图,为具有逻辑输入的每个机件(门、判断和输出)创建一条梯线。梯线的顺序由机件运行顺序自动确定。每个梯线包括用于每个逻辑输入的一个接触,接着是机件图标。对于未反转的连接,接触正常是开放的,而对于反转连接,接触正常是封闭的。对于与门,接触是串联,对于或门,接触是并联。与每个接触相关的标签指示了连接至逻辑输入的机件的名称。
为了简化梯形图,用户可以选择隐藏通过未反转连接其逻辑输出连接至另一机件的恰好一个逻辑输入的任何门。当门被隐藏时,该门的梯线不显示。相反,用于该门的接触替代了将在其中使用了该门的梯线上出现的正常开放接触。
参考图30,梯线3000示出了至对象检测判断3002的输入,梯线3010示出了至对象通过判断3012的输入,梯线3020示出了至输出机件3022(命名为“不合格”)的输入。正常开放接触顶部3030和侧边3032以及正常闭合接触的方框3034,代表至与门1610(图16中)的输入,由于通过未反转连接与门1610连接至恰好一个逻辑输入,因此与门已经替代为已在梯线3000上出现的接触。
同样,梯线3010示出了连接至与门(被隐藏的与门1612)的正常开放接触的孔3040、标签3042以及标签边缘3044,所述与门的输出连接至对象通过判断3012。
梯线3020示出了连接至与门(被隐藏的与门1670)的正常开放接触3050和正常闭合接触3052,所述与门的输出连接至命名为“不合格”的输出机件3022。
注意本发明的上述实施例中使用的梯形图是工业中广泛应用的梯形图的有限子集。提供梯形图主要用于辅助熟悉梯形图的用户。选择子集以匹配接线图的能力,这简化了实施,同时允许用户根据产生的需要在接线图和梯形图之间选择。
在另一实施例中,提供了更加完整的梯形图的实施,而未使用接线图。该结果结合了视觉检测器的能力以及PLC的能力,使得工业检查机器功能更强,但是以增加的复杂度为代价。
产生同步输出及相关测量
图31示出了将用于说明视觉检测器输出信号如何与标志时间同步的时序图。为了各种工业检查目的,期望信号同步,诸如下游不合格执行器的控制。这些信号的要求取决于对象如何出现以及如何对其进行检测。
如上所述,要么通过视觉事件检测要么通过外部触发器(当不存在不连续对象使用连续分析模式)检测对象。另外,对象可以通过间歇(indexing)(在这种情况下,对象在FOV中停止下来)或者连续移动出现。当使用外部触发器时,不管对象如何出现,分析通常是相同的。然而对于视觉事件检测,分析可以取决于对象是否停止下来(间歇)或者处于大致均匀的移动(连续)中。例如,在间歇应用中视觉检测器可能不能测量或使用对象速度。
视觉事件检测是一种新的能力,并建议使用新的输出信号控制,尤其是当使用了连续对象表示时。期望的是,视觉检测器能够直接地或者通过用作至PLC的输入来控制某个外部执行器。这表明至少对于连续出现,输出信号的定时与对象通过生产流中特定固定点的时间点的合理精确度相关。在图4的实例中,固定点为标志点430,在图5和图6的时间线中,该时间是标志点550和552以及680。在图31中,时间是标志时间3100。注意可以使用编码器计数代替时间。
对于现有技术视觉***,由外部触发器来处理该目标,所述外部触发器典型地为在微秒内响应于标志时间的光电检测器。PLC还使用触发了视觉***的该信号(例如图1中的信号166)以使视觉***输出与下游执行器同步。视觉***输出在许多毫秒之后的时间出现,该时间是极其不定使得不能在没有同步的情况下使用。
当使用视觉事件检测模式时,本发明可以与标志时间合理精确同步地输出,不论该输出直接控制执行器还是由PLC使用。然而,人们注意到,视觉检测器像视觉***而不像光电检测器,视觉检测器大约在标志时间之后许多毫秒对对象进行决策。另外,根据分析了多少帧,并在较小程度上根据采集/处理周期中何时出现标志时间,该延迟可能非常容易变化。
图31示出了对象检测逻辑输出3140以及对象通过逻辑输出3150。注意,对象检测判断处于“完成时输出”模式,这是用于输出信号同步的模式。对象通过逻辑输出3150改变状态,当在决策点3110执行决策时,在对象检测逻辑输出3140上出现检测脉冲3170。注意从标志时间3100至决策点3110的决策延迟3130可以是可变的。
如果对象检测逻辑输出3140和对象通过逻辑输出3150线连接至与门,仅当检测到通过检查的对象时才产生脉冲(未示出)。如果对象通过的逻辑输出被反转,则仅当检测到未通过检查的对象时,与门产生脉冲(未示出)。
检测脉冲3170以及指示检测到通过检查对象和检测到未通过检查对象的脉冲都是有用的。在一个间歇的应用中,这些脉冲可以由执行器直接使用。PLC可以使用外部触发器以使这些脉冲与执行器同步。但是,当对象处于连续移动中并且没有使用外部触发器时,由于可变的决策延迟3130,通常不能直接使用所述脉冲来控制执行器。
通过测量标志时间3100然后使得输出信号3160上的输出脉冲3180与标志时间同步,本发明解决了这个问题。输出脉冲3180在从标志时间3100开始的固定输出延迟3120上出现。还参考图5中的时序图,输出脉冲是报告步骤560的实例,输出延迟3120对应于延迟570。
测量标志时间的操作称为标定(marking)。通过线性内插法、最小平方拟合或者其他公知方法,使用图像被捕获的已知时间(或者计数)以及由适当***确定的对象的已知位置,可以将标志时间确定成亚毫秒精确度。精确度取决于快门时间、整体采集/处理周期时间以及对象速度。
在示例实施例中,用户选择了这样一个***,所述***的搜索范围基本上沿着用于标定的移动方向。标志点任意选择为***范围的中心点 如上所述,标志点是虚拟参考点,只要被固定其确切位置无关紧要。通过根据该任意时间调整延迟,用户可以实现期望的输出信号同步。如果在活动帧期间检测到对象确实没有通过标志点,则该标志时间可以基于外插法,而精确度可能受到损失。
作为替代,用户可以指定当首次检测到对象时出现标志时间。可以在没有使用***的应用中选择该选项,例如当视觉事件检测依赖于放置在FOV中固定点位置处的检测器时(参见图44)。虽然在一些应用中通过将模糊逻辑值输入内插至对象检测判断以查找该值通过0.5的时刻,首次检测点处的标定可能改善精确度,但是它可能不如使用***时的标定精确。
注意如果输出延迟3120比最长期望决策延迟3130更长时,输出信号仅仅可以与标志时间同步。因此执行器应当位于标志点的足够下游,在几乎所有应用中期望的是这种情况。
当使用外部触发器时,标志时间与触发出现(例如,图6中的标志时间680)的时间相关。输出脉冲3180可以与该时间同步以直接控制下游执行器。当使用外部触发器以及PLC时(也就是使用现有技术视觉***的方式),可以使用标定但是通常并不需要。
图32示出了在视觉事件检测模式中测量标志时间以及测量对象速度、像素尺寸校准和对象距离以及空间方位角的实例。除了第一列用于对行进行标注以外,图中的每列对应于本发明捕获和分析的一个帧。帧行3210是用于标识帧的帧标号。时间行3220以毫秒示出了捕获帧的时间,该时间从某些任意参考时间测量所得。编码器行3225示出了捕获帧时刻的编码器计数。对象检测行3230示出了至对象检测判断的逻辑输出。由此,可以看出活动帧为59-64。
位置行3240示出了***测得边缘的位置,所述***被定向成基本在移动方向上具有搜索范围,且由用户选择。相对于***搜索范围的中心来测量该位置,并仅对活动帧示出了该位置。可以看出在帧61和62之间的某处(在时间44.2和46.2之间,在计数569和617之间)该位置通过标志点零。
在该实例中,在发现两个连续非活动帧之后,动态图像分析在帧66结束。在帧66结束时计算在第六行3250示出的基于位置的标志时间。示出的值45.0是帧61和62之间的线性内插时间,此处所述位置通过零。作为替代,可以将一条线从时间行3220和位置行3240拟合至活动帧的点,并且该线可以用于计算与位置0对应的时间值。
在第七行3260中示出了基于首次检测对象时间的标志时间。
可以从所述测量数据中得到大量的附加有用信息,总结在下表中:
两点 | 最小平方拟合 | |
标志时间(ms) | 45.00 | 45.01 |
标志计数 | 588.2 | 587.6 |
对象速度(像素/ms) | 0.725 | 0.725 |
像素大小(计数/像素) | 31.6 | 31.8 |
可以看出,可以使用两点(对于标志使用通过零的帧61和62的线性内插,对于速度和大小使用帧59和帧64的斜率),或者通过最小平方拟合,或者通过本领域公知的其他方法来计算该信息。对于所示出的两种方法,结果类似,最小平方法通常更加精确但是更加复杂。
如上所述标志时间和标志计数可以用于输出信号同步。对象速度可以传送给用于各种用途的自动化仪器。像素大小计算以编码器计数给出了像素大小的校准,所述编码器计数与沿着生产线的物理距离成比例。这样的校准可以用于各种已知用途,包括将FOV中距离以物理单位呈现给用户和在视觉检测器之间输送设置,通过基于校准调整照片的大小和位置所述视觉检测器可以具有略微不同的光学放大。
由于可以对于每个对象计算像素尺寸,因此该值可以用于确定对象距离。更小的像素尺寸对应于较远的对象。对于恒定速度生产线,使用对象速度可以执行相同的确定,正如当从汽车窗口往外看时,远处对象看起来比附近对象运动更慢。
图32中的数据可以从用户为此目的设计的单个***中得到。在另一实施例中,用户可以在FOV中指定平行于或者垂直于移动方向的两个隔开的***。所有这样的***将被定位成平行于移动方向具有搜索范围。对于平行于移动方向隔开的***,从两个***得到的像素尺寸校准的差异代表了在对象平面内且围绕与移动方向垂直的轴的对象空间旋转,而对于垂直于移动方向隔开的***是围绕与移动方向平行的轴。
图33示出了用于为执行器的下游控制产生同步脉冲的输出FIFO。通常在检查点和下游执行器之间可能放置了许多对象,因此需要FIFO或者类似机制来保持与每个这样对象对应的输出脉冲的信息(如果有的话)直到对象到达执行器。
参考图5和图31,对应于输出脉冲3180的第一对象500的报告步骤560,在对应于输出延迟3120的延迟570之后出现,所述延迟570在已经对第二对象510分析之后。无论何时,当输出延迟3120大于两个对象之间的时间时,则需要FIFO或者类似机制。
图33示出可以用于此目的的简单FIFO。该FIFO保持了与输出信号将改变状态的时间对应的数字。在决策点3110(图31)通过将时间(例如上升沿时间3300和下降沿时间3310)放进FIFO输入3320中来调度输出脉冲。软件定时器或者其他机制在预定的时间运行,所述预定时间通过将时间从FIFO输出3330中移除来确定。当预定时间到达时,输出信号状态改变,从FIFO中移除新的预定时间。
判断、输出以及使用实例
图34示出了用于对象检测判断的用户配置的参数视图。第一参数视图3490用于视觉事件检测模式,第二参数视图3492用于外部触发器模式。
出现控制3400使得可以选择间歇或者连续对象出现。
帧过滤控制3410允许用户对活动帧的总对象检测权重或者计数设置限制。最小帧微调控制项3412允许用户选择最小要求计数或加权阈值,如上面图12的描述中所说明的一样,在图12的描述中参考了图34。最大帧微调控制项3414允许用户选择最大帧计数或权重,在最大帧计数或权重之后,将终止动态图像分析并进行决策,而不管可以发现多少更多的活动帧。这允许用户对本发明在一个对象上花费的时间量进行限制,并且对于间歇或者缓慢移动的对象尤其有用。
空闲时间控制3420允许用户指定空闲步骤580(图5)的最大和最小时间。如果最小值和最大值相等,那么用户使空闲时间固定。如果最大值大于最小值,那么视觉检测器可以基于测得的对象正在出现的速率自动在指定范围内选择一个时间。在图47和48示出的锁相环可以用于测量对象出现速率。在示例实施例中,自动选择的空闲时间是对象出现周期的一半,必要时箝位该空闲时间以落在用户指定范围。
遗漏帧微调控制项3430允许用户指定在不结束动态图像分析的情况下可以接受的连续非活动帧的最大数目。由图5中的分析步骤542示出了这样的帧。
标定控制3440允许用户选择标定模式。如果通过位置选择了标定,用户必须指定使用***列表控制3442的***。
输出模式控制3450允许用户选择定义脉冲何时出现在逻辑输出上的模式。
帧计数微调控制项3460允许用户选择帧数目以在外部触发器模式中进行分析。
图35示出了用于对象通过判断的用户配置的参数视图。模式控制3500使得用户可以在图12描述的加权平均值方法和图13描述的百分点方法之间进行选择。如果选择百分点方法,可以使用百分比微调控制项3510来选择那里描述的阈值t。
图36示出了用于输出机件的用户配置的参数视图。模式控制3600使得用户可以选择如何控制输出信号。在“直接通过”模式中,逻辑输入在没有任何延迟或者同步的情况下直接传送给输出信号。在“延迟”模式中,在逻辑输入的上升沿,输出脉冲确定在从最近记录标志时间(或编码器计数)开始的一个延迟的时间出现,并具有由脉冲控制3620指定的持续时间,该延迟的时间是由延迟控制3610指定的量。预定时间脉冲被放置在与输出机件相关的FIFO中。
图37示出了配置本发明的一种方法,以当连接至PLC时在视觉事件检测模式中进行操作。逻辑视图示出了线连接至“检测输出”输出机件3730的对象检测判断3720以及线连接至“通过输出”输出机件3750的对象通过判断3740。适当的照片和门组线连接至判断(未示出)。
对象检测判断3720配置成用于连续出现、位置标定并且在完成时输出,如图34所示。
第一参数视图3700示出了“检测输出”输出机件3730被配置成在标志时间之后25ms时产生同步的10ms脉冲。该脉冲将由对象检测判断3720的上升沿触发。第二参数视图3710示出了“通过输出”输出机件3750被配置成将来自对象通过判断3740的通过/未通过结果直接发送给其输出信号。
注意来自“检测输出”的信号的上升沿时间并锁存该边缘上的“通过输出”的输出,PLC可以感测这两个输出信号。然后当对象通过标志点时(“检测榆出”的上升沿之前25ms),PLC将得知已经检测到对象以及检查的结果。
图38示出了配置本发明的一种方法,以在视觉事件检测模式下操作从而对不合格执行器直接控制。逻辑视图示出了线连接至对象检测和对象通过判断的与门3810,以在检测到未通过对象时产生脉冲。将与门3810线连接至“不合格输出”输出机件3820,从而接收该脉冲。参数视图3800示出的是将“不合格输出”输出机件3820配置成在标志时间之后650个编码器计数时产生同步的100ms脉冲。该脉冲将由未通过对象的检测触发。对象检测判断被配置成用于连续出现、位置标定以及完成时输出。
图39示出了配置本发明的一种方法,以当连接至PLC时以外部触发模式操作。逻辑视图示出了线连接至“检测输出”输出机件的对象检测判断以及线连接至“通过输出”输出机件的对象通过判断,与图37所示相同。然而,并非将一个照片和门组连接至对象检测判断的逻辑输入,而是使用了“触发器输入”输入机件3920。事实是对象检测的逻辑输入取决于没有照片和至少一个告知判断以外部触发模式操作的输入机件。如果什么都未连接至对象检测,将以连续分析模式操作。
第一参数视图3900和第二参数视图3910都示出了“通过输出”输出机件将其逻辑输入直接发送给其输出信号。PLC可以感测到两个输出信号并在“检测输出”的上升沿锁存“通过输出”的输出。然后PLC将留意对象已经检测到以及检查的结果,然后将得到标志时间,如果需要的话从外部触发器得到标志时间。
另一种配置本发明以当连接至PLC时以外部触发模式操作的方法将使用图37的输出机件配置以产生同步输出脉冲。在该方法中PLC可以从视觉检测器得到标志时间,而并不浪费外部触发器连接上有价值的输入。
图40示出了配置本发的明一种方法,以在外部触发器模式下操作,从而对不合格执行器直接控制。操作与图38示出和描述的配置相同,除了是“触发器输入”输入机件4000线连接至对象检测而不是一个照片和门组之外。注意标志时间是简单的外部触发器时间。
连续分析及实例
图41示出了配置本发明的一种方法,以在连续分析模式下操作从而检测连续织物上的瑕疵。图像视图4110示出了移动经过视觉检测器的部分连续织物4100。
配置***4120和边缘检测器4122来检查织物。如果织物破裂、折叠或者任一边缘基本破损,那么***4120和/或边缘检测器4122将产生一个假榆出(逻辑值<0.5)。如果织物上移或者下移,***4120将跟踪顶部边缘并保持边缘检测器4122在适当的相对位置以检测底部边缘。然而,如果织物的宽度发生实质改变,边缘检测器4142将产生一个假输出。
在逻辑视图中,“顶部”***4140代表***4120,“底部”检测器4150代表边缘检测器4122。这些机件线连接至与门4160,与门的逻辑输出被反转,然后线连接至“检测输出”输出机件4170。在参数视图4130中可以看出,与门4160的反转输出直接传送给输出信号。
因此无论何时任一个照片的逻辑输出为假,将断定输出信号。该信号将以视觉检测器的高帧速率更新,提供织物状态的连续指示。
图42示出了配置本发明一种方法,以检测连续织物上的瑕疵,所述检测使用了信号过滤的对象检测判断。其配置与图41中的配置相同,图像视图4110和参数视图4130同样应用于该图。逻辑视图示出了与图41相同配置,除了对象检测判断4260放置在与门4160和“检测输出”输出机件4170之间以外。
参数视图4200示出了如何配置对象检测判断。在该应用中没有不连续对象,但是“对象”被定义为次品织物段。输出模式设置为“处理时输出”,因此对于每块次品织物段产生一个输出脉冲,输出脉冲的持续时间是次品的持续时间。
通过将最小帧计数设置为3,滤出并且不检测可忽略的次品织物段。通过允许3个遗漏帧,可将浸没在较长次品部分中的可忽略的优良织物段也滤出。因此,输出信号将与图41的输出信号类似,但是去除了可忽略的假信号。注意这些值是要作为示范,对于特定应用可以由用户适当选择。
此处没有指定最大帧计数,因此次品织物段可以无限连续并认为是一个次品。空闲时间可以设置为0使得总是在检查织物。
图43示出了配置本发明的一种方法,以检测连续织物上的瑕疵,所述检测为了信号同步使用了对象检测判断和输出机件。配置与图42中的配置相同,除了“检测输出”输出机件4170如参数视图4300中所示进行配置以外。
注意在参数视图4200中,对象检测判断配置成将标志时间设置成首次检测到对象(此处是次品织物段)的时间。在参数视图4300中可以看出,在标志时间之后650个编码器计数时产生50ms的输出脉冲。
在不使用***的情况下检测对象
图44示出了配置本发明一种方法,以在视觉事件检测模式下操作,而不使用***作为至对象检测判断的输入来确定活动帧。包含特征4410的对象4400在视觉检测器的FOV中从左向右移动。定位对比度检测器ROI4420以检测特征4410的存在。定位左侧亮度检测器ROI4430和右侧亮度检测器ROI4432以检测由其间距限定的FOV中的范围上的对象。
逻辑视图示出了对应于右侧亮度检测器ROI4332的“右侧”亮度检测器4440以及对应于左侧亮度检测器ROI4430的“左侧”亮度检测器4442。当对象4400没有覆盖右侧亮度检测器ROI4432时,“右侧”亮度检测器4440产生真逻辑输出,这是由于在该实例中背景比对象4400更亮。当对象4400覆盖左侧亮度检测器ROI4430时,“左侧”亮度检测器4442产生为真逻辑输出,这是由于在该实例中其输出被反转。因此,当对象4400的右侧边缘位于左侧亮度检测器ROI4430和右侧亮度检测器ROI4432之间时,与门4460产生真逻辑输出。
注意,当对象4400的右侧边缘部分覆盖任一ROI时,与门4460的逻辑输出实际上是落在0和1之间的模糊逻辑等级。对比度检测器ROI4420必须足够大,以在由左侧亮度检测器ROI4430和右侧亮度检测器ROI4432之间的间隔限定的位置范围上检测特征4410,由于没有正在使用的***,因此对比度检测器ROI4420不能移动。
与门4460线连接至对象检测判断,而与对比度检测器4420对应的“孔”对比度检测器4470线连接至对象通过判断。在该实例中,该判断被配置成用于视觉事件检测以及不合格执行器的直接控制,与图38中相同。
注意在图44的实例中,将更容易使用***来替代该对亮度检测器,这是由于对象4400的右侧边缘相对直接地定位。然而,将存在其中由于缺少清晰边缘因此很难使用***的一些应用,以及其中使用检测器的结合将有利的一些应用。
学习
图45示出了视觉检测器的示例实施例所使用的规则,用于基于用户示出的实例学习适当参数设置。该图将结合图22使用来说明示范性学习方法。
在示例实施例中,照片可以学习敏感度模糊阈值的适当设置。学习过程还可以提供适当建议,使用什么检测器、在哪里使用适当、什么样的配置可能工作最佳。通过实例学习,用户将呈现他们判断认为好或坏的对象,并将通过与HMI830交互进行指示。
由于可以使用缺省或者手动设置,因此学习是可选的,但是对于亮度和对比度检测器强烈推荐使用学习,这是由于其模拟输出的单位是没有绝对值意义的物理单位(例如灰度级)。对于边缘、斑点以及模板检测器,学习并不那么关键,这是由于其输出主要是基于无量刚且具有绝对值意义的正规化相关性值。
例如,如果边缘或者斑点检测器具有80的逻辑输出,则可以相当肯定确实已经检测到边缘或者斑点,这是由于具有理想边缘或者斑点模板的图像ROI的相关系数至少0.8。如果输出为25,则可以相当肯定没有检测到边缘或者斑点。但是,例如,亮度检测器为80是足够亮吗?为25是足够暗吗?在许多情况下最好通过实例来学习。
学习过程存在两个部分。首先是关心用户如何与HMI830进行交互以教导特定实例。其次是关心当呈现这样的实例时什么样的照片有效。
参考图22,照片的参数视图包含赞成按钮2210和不赞成按钮2212。按钮与逻辑输出标签2204相邻,如前所述,逻辑输出标签2204改变颜色或其他特性以区分真(≥0.5)和假(<0.5)。出于下面讨论的目的,对于真将使用绿色,对于假使用红色。尽管在图22中看不到,但是赞成按钮2210是绿色的,而反对按钮2212是红色的。临近逻辑输出标签2204以及相匹配的颜色帮助用户理解按钮的功能。
点击绿色赞成按钮2210意味着“学习该照片的逻辑输出现在应当是绿色(真)”。该操作称作学习赞成。点击红色反对按钮2212意味着“学习该照片的逻辑输出现在应当是红色(假)”。该操作称作学习反对。这些语义是清楚的、不模糊的,尤其是反转输出的能力起作用时。通常在描述用于学习的实例对象中使用的术语“好”和“坏”根据输出是否反转以及与该输出连接的门如何使用该输出来改变意义。
假设,使用了三个检测器,对于对象必须所有检测器都具有真输出才通过检查。那么可以单独教导每个检测器,但是这将可能是不必要的麻烦。如果出现好对象,所有三个检测器都应为真,某处单击以说明“这是个好对象”将是有用的。相反,如果出现坏对象,通常没有办法知道哪个检测器假定为假,因此通常对它们进行单独教导。
同样,如果相反三个检测器是或关系,意味着如果其中任一个检测器具有真输出则对象通过,那么可以使用单击教导一个坏对象,但是对于好对象,通常对检测器进行单独训练。然而,当输入和输出反转时这些规则再次改变。
通过根据图45所示的规则,通过向门添加赞成或者反对按钮,可以在不混淆的情况下对一次点击教导多个检测器进行管理。对于每个门在参数视图中显示和点击按钮,但是为了表述目的图45在逻辑视图中示出了这些按钮。再次,点击绿色(红色)赞成(反对)按钮告知门学习赞成(反对),这意味着“学习该门的逻辑输出现在应该为绿色(红色)”。
通过告知线连接至与门的未反转输入的机件学习赞成和告知线连接至与门的反转输入的机件学习反对,具有未反转输出的与门学习赞成。例如通过告知照片4502学习赞成、告知与门4504学习赞成以及告知照片4506学习反对,未反转与门4500学习赞成。具有未反转输出的与门不能学习反对,因此按钮可以禁止使用,忽略学习反对的要求。
通过告知线连接至与门的未反转输入的机件学习赞成和告知线连接至与门的反转输入的机件学习反对,具有反转输出的与门学习反对。例如通过告知照片4512学习赞成、告知照片4514学习赞成以及告知或门4516学习反对,反转与门4510来学习反对。具有反转输出的与门不能学习赞成,因此按钮可以禁止使用,忽略学习赞成的要求。
通过告知线连接至或门的未反转输入的机件学习反对和告知线连接至或门的反转输入的机件学习赞成,具有未反转输出的或门学习反对。例如通过告知或门4522学习反对、告知照片4524学习反对以及告知照片4526学习赞成,未反转或门4520来学习反对。具有未反转输出的或门不能学习赞成,因此按钮可以禁止使用,忽略学习赞成的要求。
通过告知线连接至或门的未反转输入的机件学习反对和告知线连接至或门的反转输入的机件学习赞成,具有反转输出的或门学习赞成。例如通过告知照片4532学习反对、告知照片4534学习反对以及告知与门4536学习赞成,反转或门4530来学习赞成。具有反转输出的或门不能学习反对,因此按钮可以禁止使用,忽略学习反对的要求。
通过门告知学习赞成或者反对的照片如点击了等效按钮一样起作用。如刚刚所述,门将学习命令发送回其输入。在该实例中,所有其他机件都忽略学习命令。
上述规则的例外是,具有正好一个输入线连接(直接地或者通过其他门间接地连接)至照片的任何一个门可以学习反对和赞成,因此两个按钮都允许操作。对这样的门,学习命令被传送回所述输入,如果门的输出或者所述输入反转但是未同时反转时,则学习命令反转。
用户不需要记住和理解这些规则。本质上,要记住的唯一规则是,点击期望输出的颜色。无论何时当鼠标在表示反对的按钮上时,可以提供工具提示以确切告知将可以训练那些照片或者解释为什么按钮禁止使用。当点击按钮时,可以提供清晰但是非干扰反馈以确定确实发生了训练。
图46示出了照片如何学***方模拟输出之和,使得可以计算平均输出低mlo如、平均输出高mhi、输出低标准变差σlo、输出高标准偏差σhi。对于每个学习命令,照片将向一组统计中添加模拟输出如下:
逻辑输出未反转 | 逻辑输出反转 | |
反对 | 输出低 | 输出高 |
赞成 | 输出高 | 输出低 |
在图46示出的实例中,x轴4640对应于照片的模拟输出。已经从适当实例对象学***均输出低4630、平均输出高4620、输出低标准偏差(未示出)、输出高标准偏差(未示出)。
该统计用于计算由低阈值t01120和高阈值t11122定义的照片敏感度模糊阈值4650(还参见图11)。
t0=mlo+kσlo(21)
t1=mhi-kσhi
可以适当选择参数k。在实例实施例中,k=0。
通过下述步骤总结了用于学习赞成或者反对的方法:
1.计算模拟输出,并为赞成或者反对以及逻辑输出反转或者逻辑输出未反转添加适当的输出低或输出高统计;
2.计算输出高和输出低统计的均值和标准偏差;以及
3.基于均值和标准偏差使用等式21更新敏感度模糊阈值。
照片可以保持最近手动阈值设置(如果存在),因此如果用户期望可以将其存储。对于所有照片可以将所有的统计和设置存储在HMI830上,从而可以在多个阶段继续学习。用户可以使用适当的HMI命令清除和检查统计。
如果一组统计没有包含实例,则可以使用缺省平均值。在示例实施例中,缺省为:
mlo=alo+0.1(ahi-alo)(22)
mhi=alo+0.9(ahi-alo)
此处alo为最低可能模拟输出而ahi为最高可能模拟输出。如果一组统计包含少于两个实例,则可以假设标准偏差为0。这意味着尽管通常并不鼓励根据单个实例学习,但是允许这样做。
在另一示例实施例中,检测器的学习命令计算将由每种类型检测器(所述每种类型检测器根据正被教导的检测器的ROI操作)产生的模拟输出。计算并存储每种检测器类型的统计,且用于通过查找输出低和输出高实例之间的更大间隔来建议更好的检测器选择。
使用用于遗漏和额外对象检测的锁相环
图47示出了锁相环(PLL)的使用,以对于对象以接近恒定速率出现的生产线测量对象出现速率和检测遗漏和额外对象。对于普通技术人员,使一系列脉冲同步并检测遗漏和额外脉冲的PLL的实施应当是清楚的。
在一个实施例中,包括与标志时间同步的输出脉冲的信号,例如包含输出脉冲3180(图31)的输出信号3160,连接至常规PLL的输入。使用用于遗漏和额外脉冲检测的常规PLL方法来检测遗漏和额外对象。常规PLL使用的电压控制振荡器的频率给出了对象出现速率。
在示例实施例中,使用了视觉检测器DSP 900(图9)内部的软件PLL。参考图47,软件PLL使用标志时间序列4700以计算相应的时间窗序列4710,在该序列期间,期望出现标志。时间窗4720没有包含标志时间,因此在时间4730处检测到遗漏对象,时间4730对应于时间窗4720的结束。在任何时间窗之外检测标志时间4740,因此在对应于标志时间4740的时间4750检测到额外对象。对象出现速率以及遗漏和额外对象的信息可以报告给自动化仪器。
图48示出了示例实施例中使用的新软件PLL的操作。示出的是垂直轴4800上的标志时间与水平轴4810上的对象计数。绘出的每个点,包括实例点4820,对应于一个检测到的对象。为了确保计算中的数值准确度,对象计数0可以用于最近对象,而负计数用于以前的对象。下一个期望对象对应于计数1。
使用下面将进一步描述的加权最小平方法来计算最佳拟合线4830。选择权重以使得对较近点衡量的权重比较远点衡量的权重更重。最佳拟合线4830的斜率给出了对象出现周期,对应于计数等于1的时间给出了下一个对象的期望时间。
在一个实施例中,给出了固定数目的最近点相同权重,而较早点给予0权重,因此仅仅使用新近点。正在使用的近点组存储在一个FIFO缓冲器中,当添加新的点移除了较早点时,使用公知的方法更新最小平方统计。
在实例实施例中,使用了与离散(巴特沃兹)Butterworth滤波器的脉冲响应对应的权重4840。离散巴特沃兹滤波器是两极点、临界阻尼、无限脉冲响应的数字低通滤波器,其容易以软件实施。它具有优越的低通和阶跃响应特性,考虑整个标志时间历史,具有一个可调参数以控制频率响应,并且不需要FIFO缓冲器。
具有输入xi的巴特沃兹滤波器在计数i处的输出yi为:
vi=vi-1+f(xi-yi-1)-f′vi-1(23)
yi=yi-1+vi
其中f为滤波器参数,
vi为称为速度项的中间项。
如果输入是单位脉冲,x0=1,对于i≠0,xi=0,则输出是脉冲响应,将称为符号wi。滤波器的效果就是将输入与脉冲响应进行卷积,这将产生所有以前输入的加权平均,此处权重为w-i。对于f=0.12,权重4840为值w-i。
对于巴特沃兹PLL,使用了三个巴特沃兹滤波器,与计算最小平方最佳拟合线所需要的统计对应。假设标志时间为ti,其中i=0对应于最近对象,i<0对应于以前对象,i=1对应于下一个对象。
另外,假设所有时间与t0相关,即t0=0。需要下面的加权和:
注意该求和是在-∞≤i≤O范围上。作为三个巴特沃兹滤波器的输出,得到这些值,给定所述三个巴特沃兹滤波器输入ti,iti和ti 2。
需要下面的附加值,所述附加值从滤波器参数f’推导得出。
如果最佳拟合线4830由ti=ai+b给定,那么,
值a是当前对象出现周期的非常精确测量。该线的等式可以用于计算近期任何点处的期望标志时间。作为对象存在周期的分数,最佳拟合线的加权RMS误差为
这是对象出现速率的可变性的测量。
在t1时刻出现将被输入至三个滤波器的新标志时间,这简单地是新对象和t0=0处的最近对象之间经过的时间。对于三个巴特沃兹滤波器中的每个滤波器,必须对输出和速度项进行调整以对于新对象使i=0和t0=0复位。这需要对于等式26进行校正,对于数值精确度也是一样。没有该校正,C将随每个输入改变。此处示出了用于校正的三个滤波器的等式。最初值用于指示输出和速度项的新值,而u项是临时值。
vt′=vt+f(t1-yt)-f′vt
ut=yt+vt′
yt′=ut-t1
uxt=vxt+f(t1-yxt)-f′vxt
vxt′=uxt-t1-vt′(29)
yxt′=yxt+uxt-ut-yxt1
vt2′=ut2-2t1vt′
响应于值(a,b,E)集,巴特沃兹PLL的输出和速度项可以初始化如下:
yt=ayx+b
yxt=ayx2+byx
yt2=ayxt+byt+E2
这使得可以使用a=0、b=0和E=0,利用等式30复位PLL以在特定周期p开始。它还使得当PLL正在运行时,可以通过使用当前值a、b和E以及新值f初始化输出和速度项来改变滤波器常数。
在示例实施例中,通过考虑从PLL复位以来已经查看到的对象数目以及E的当前值,巴特沃兹PLL确定其是否锁定在输入标志时间。在复位时以及对于后面n个对象认为PLL未锁定。一旦已检测到至少n个对象,当E变得低于锁定阈值E1则PLL锁定,而当E变得高于未锁定阈值Eu时解锁。在另一实施例中,当PLL未锁定时使用了未锁定滤波器参数fu,当PLL锁定时使用了锁定滤波器参数f1。使用等式30来切换滤波器参数,以使用当前值a、b和E初始化输出和速度项。
在一个示例实施例中,n=8,E1=0.1,Eu=0.2,f1=0.05,fu=0.25。
如果遗漏了m个连续对象,则下一个对象将近似出现在tm+1=a(m+1)+b (31)
根据该等式以及新对象的标志时间tn,可以确定m:
为保持巴特沃兹PLL等式正确,必须为所有遗漏对象***标志时间。这可以通过使用
作为等式29的输入m+1次来完成。
应当理解的是,可以使用任何离散低通滤波器来代替巴特沃兹滤波器,以实施根据本发明的最佳拟合线方法的PLL。基于上述方法,等式23至33将根据所选滤波器适当替代。
前面已经对本发明的各种实施例进行了详细描述。明显可预料的是,在并不背离本发明的范围和精神的情况下,可以进行广泛范围的变型和附加。例如,此处的处理器和计算设备都是示范性的,可以使用各种处理器和计算机,独立式和分布式的来执行此处的计算。同样,此处描述的成像器和其他视觉部件也是示范性的,在本发明教导的范围内可以使用改善的或者不同的部件。因此仅仅是要通过示例进行说明,而不是要限制本发明的范围。
Claims (153)
1.一种用于检查对象的方法,包括:
相对于二维视场连续移动对象,所述对象包括可视特征组,所述可视特征组包含至少一个可视特征;
捕获多个帧,所述多个帧中的每个帧包含视场的图像,使得对于多个帧中的每个帧所述可视特征组中所有可视特征都位于视场中,并使得所述多个帧包括可视特征组在视场中的多个位置;
响应于所述多个帧的第一分析,确定包括对象状态信息的结果;以及
报告所述结果。
2.根据权利要求1所述的方法,其中所述第一分析包括:
计算分别对应于多个帧的多个对象通过得分,所述多个对象通过得分中的每个对象通过得分包括对象满足至少一个检查标准的证据。
3.根据权利要求2所述的方法,其中
响应于帧中至少一个感兴趣区域的第二分析,计算所述多个对象通过得分中的每个对象通过得分。
4.根据权利要求3所述的方法,其中第二分析包括,对于所述多个对象通过得分中的每个对象通过得分,
计算分别对应于所述至少一个感兴趣区域的测量组,所述测量组中的每个测量是对于对象可视特征组中一个特征特性的响应;以及
响应于所述测量组,计算对象通过得分。
5.根据权利要求4所述的方法,其中所述计算对象通过得分的步骤包括
将所述测量组转换为相应的逻辑值组;以及
将所述逻辑值组结合以产生对象通过得分。
6.根据权利要求5所述的方法,其中
所述逻辑值组中的每个逻辑值为模糊逻辑值。
7.根据权利要求2所述的方法,其中
第一分析还包括对于所述多个帧中的每个帧确定对象检测权重,所述对象检测权重包括所述帧中可视特征组的所有可视特征位于视场中的证据。
8.根据权利要求7所述的方法,其中
第一分析还包括计算以相应的对象检测权重进行加权的对象通过得分的加权平均值。
9.根据权利要求7所述的方法,其中
第一分析还包括计算由相应的对象检测权重百分比进行加权的对象通过得分的加权平均值。
10.根据权利要求1所述的方法,其中
所述移动步骤包括在所述多个帧的连续帧之间移动对象不超过视场的四分之一。
11.根据权利要求1所述的方法,其中
所述移动步骤包括在连续帧之间移动对象不超过视场的百分之五。
12.根据权利要求1所述的方法,其中
所述多个帧的捕获以及所述多个帧的第一分析以不低于每秒200帧的速率执行。
13.根据权利要求1所述的方法,其中
所述报告结果的步骤包括产生输出脉冲并使用输出脉冲通知不合格执行器。
14.根据权利要求1所述的方法,其中
所述报告结果的步骤还包括产生与通过固定参考点的对象同步的输出脉冲。
15.根据权利要求1所述的方法,还包括:
提供指示可视特征组何时位于视场中的触发信号;以及
响应于触发信号开始捕获。
16.根据权利要求15所述的方法,其中,
所述报告结果的步骤包括产生与触发信号同步的输出脉冲。
17.一种用于检查对象的方法,包括:
捕获多个帧,所述多个帧中的每个帧包括二维视场的图像;
响应于所述多个帧的第一分析确定多个对象检测权重,所述多个对象检测权重中的每个对象检测权重包括相应帧中对象位于视场中的证据,所述多个对象检测权重中的每个对象检测权重分别对应于多个帧中的每个帧;
从所述多个帧中选择多个活动帧,使得所述多个活动帧中每个帧的每个对象检测权重指示了对象位于视场中的充分证据;
响应于所述多个活动帧的第二分析,计算分别与所述多个活动帧的每个帧对应的多个对象通过得分,所述多个对象通过得分中的每个对象通过得分包括对象满足至少一个检查标准的证据;
响应于所述多个对象通过得分,确定包含对象是否满足所述至少一个检查标准的信息的结果;和
报告所述结果。
18.根据权利要求17所述的方法,其中
所述确定对象检测权重的步骤包括响应于帧中至少一个感兴趣区域的第三分析来确定每个对象检测权重。
19.根据权利要求18所述的方法,其中所述第三分析包括对于所述多个对象检测权重中的每个对象检测权重,
计算分别对应于所述至少一个感兴趣区域的测量组,所述测量组中的每个测量是对对象可视特征特性的响应;以及
响应于所述测量组,计算对象检测权重。
20.根据权利要求19所述的方法,其中所述第三分析还包括
将所述测量组转换为相应的逻辑值组;以及
将所述逻辑值组结合以产生对象检测权重。
21.根据权利要求20所述的方法,其中
所述逻辑值组中的每个逻辑值为模糊逻辑值。
22.根据权利要求17所述的方法,其中
响应于所述帧中至少一个感兴趣区域的第三分析来确定所述多个对象通过得分中的每个对象通过得分。
23.根据权利要求22所述的方法,其中第三分析包括,对于所述多个对象通过得分中的每个对象通过得分,
计算分别对应于所述至少一个感兴趣区域的测量组,所述测量组中的每个测量是对对象可视特征特性的响应;以及
响应于所述测量组,计算对象通过得分。
24.根据权利要求23所述的方法,其中第三分析还包括:
将所述测量组转换为相应的逻辑值组;以及
将所述逻辑值组结合以产生对象通过得分。
25.根据权利要求24所述的方法,其中
所述逻辑值组中的每个逻辑值为模糊逻辑值。
26.根据权利要求17所述的方法,还包括:
从所述多个对象检测权重中选择分别与所述多个活动帧对应的多个活动对象检测权重;
其中所述确定结果的步骤还响应于所述多个活动对象检测权重。
27.根据权利要求26所述的方法,其中
第二分析还包括计算以相应的活动对象检测权重进行加权的对象通过得分的加权平均值。
28.根据权利要求26所述的方法,其中
第二分析还包括计算以活动对象检测权重的百分比进行加权的对象通过得分的加权平均值。
29.根据权利要求17所述的方法,其中
捕获所述多个帧并且以不低于每秒200帧的速率执行第一和第二分析。
30.根据权利要求17所述的方法,其中
所述报告结果的步骤包括产生输出脉冲。
31.根据权利要求30所述的方法,其中
所述报告结果的步骤还包括使用所述输出脉冲通知不合格执行器。
32.根据权利要求30所述的方法,其中
所述报告结果的步骤还包括产生与通过固定参考点的对象同步的输出脉冲。
33.一种用于对象检测的方法,包括:
捕获多个帧,所述多个帧中的每个帧包含二维视场的图像;
响应于所述多个帧的第一分析确定多个对象检测权重,所述多个对象检测权重中的每个对象检测权重包括相应帧中对象位于视场中的证据,所述多个对象检测权重中的每个对象检测权重分别对应于多个帧中的每个帧;
从所述多个对象检测权重中选择多个活动对象检测权重,使得每个活动对象检测权重指示了相应帧中对象位于视场中的充分证据;
响应于所述多个活动对象检测权重的第二分析确定结果,所述结果包括是否检测到对象的信息;以及
报告所述结果。
34.根据权利要求33所述的方法,其中
响应于所述帧中至少一个感兴趣区域的第三分析来确定所述多个对象检测权重中的每个对象检测权重。
35.根据权利要求34所述的方法,其中所述第三分析包括,对于所述多个对象检测权重中的每个对象检测权重,
计算分别对应于所述至少一个感兴趣区域的测量组,所述测量组中的每个测量是对对象可视特征特性的响应;以及
响应于所述测量组,计算对象检测权重。
36.根据权利要求35所述的方法,其中所述计算对象检测权重包括
将所述测量组转换为相应的逻辑值组;以及
将所述逻辑值组结合以产生对象检测权重。
37.根据权利要求36所述的方法,其中
所述逻辑值组中的每个逻辑值为模糊逻辑值。
38.根据权利要求33所述的方法,其中
当未选择预定数目的连续对象检测权重作为活动对象检测权重时,所述选择多个活动对象检测权重的步骤结束。
39.根据权利要求33所述的方法,其中
捕获所述多个帧并且以不低于每秒200帧的速率执行第一和第二分析。
40.根据权利要求33所述的方法,其中
所述报告结果的步骤包括仅当检测到对象才产生输出脉冲。
41.根据权利要求40所述的方法,其中
所述报告结果的步骤还包括产生与通过固定参考点的对象同步的输出脉冲。
42.一种用于对象检查的***,包括:
传送机,用于使对象相对于二维视场连续移动,所述对象包括可视特征组,所述可视特征组包含至少一个可视特征;
图像捕获设备,用于捕获多个帧,所述多个帧中的每个帧包含视场的图像,使得对于多个帧中的每个帧所述可视特征组中所有可视特征都位于视场中,并使得所述多个帧包括可视特征组在视场中的多个位置;
分析器,用于响应于所述多个帧的第一分析确定包括对象状态信息的结果;以及
输出信号装置,用于报告结果。
43.根据权利要求42所述的***,其中所述第一分析包括计算分别对应于所述多个帧的多个对象通过得分,所述多个对象通过得分中的每个对象通过得分包括对象满足至少一个检查标准的证据。
44.根据权利要求43所述的***,其中响应于帧中至少一个感兴趣区域的第二分析来计算所述多个对象通过得分中的每个对象通过得分。
45.根据权利要求44所述的***,其中所述第二分析包括,对于所述多个对象通过得分中的每个对象通过得分,
计算分别对应于所述至少一个感兴趣区域的测量组,所述测量组中的每个测量是对对象可视特征组中一个特征特性的响应;以及
响应于所述测量组计算对象通过得分。
46.根据权利要求45所述的***,其中所述计算对象通过得分包括
将所述测量组转换为相应的逻辑值组;以及
将所述逻辑值组结合以产生对象通过得分。
47.根据权利要求46所述的***,其中所述逻辑值组中的每个逻辑值为模糊逻辑值。
48.根据权利要求43所述的***,其中所述第一分析还包括
对于所述多个帧中的每个帧确定对象检测权重,所述对象检测权重包括每个帧中可视特征组中的所有可视特征位于视场中的证据。
49.根据权利要求48所述的***,其中所述第一分析还包括
计算由相应的对象检测权重进行加权的对象通过得分的加权平均值。
50.根据权利要求48所述的***,其中所述第一分析还包括
计算由相应的对象检测权重百分比进行加权的对象通过得分的加权平均值。
51.根据权利要求42所述的***,其中所述传送机在所述多个帧的连续帧之间移动对象不超过视场的四分之一。
52.根据权利要求42所述的***,其中所述传送机在连续帧之间移动对象不超过视场的百分之五。
53.根据权利要求42所述的***,其中图像捕获设备和分析器以不低于每秒200帧的速率操作。
54.根据权利要求42所述的***,其中所述图像捕获设备包括不超过大约40000像素的阵列。
55.根据权利要求42所述的***,还包括
不合格执行器;且其中
所述输出信号装置通过产生通知不合格执行器的输出脉冲来报告结果。
56.根据权利要求55所述的***,其中所述输出信号装置产生与通过固定参考点的对象同步的输出脉冲。
57.根据权利要求42所述的***,还包括:
触发信号,用于指示可视特征组何时位于视场中;且其中
图像捕获设备响应于所述触发信号捕获所述多个帧。
58.根据权利要求57所述的***,其中所述输出信号装置产生与触发信号同步的输出脉冲。
59.用于对象检查的***,包括
图像捕获设备,用于捕获多个帧,所述多个帧中的每个帧包含二维视场的图像;
分析器,
用于响应于所述多个帧的第一分析确定多个对象检测权重,所述多个对象检测权重中的每个对象检测权重包括相应帧中对象位于视场中的证据,所述多个对象检测权重中的每个对象检测权重分别对应于多个帧中的每个帧;
用于从多个帧中选择多个活动帧,使得所述多个活动帧中的每个帧的每个对象检测权重指示了对象位于视场中的充分证据;
用于响应于所述多个活动帧的第二分析,计算分别与所述多个活动帧的每个帧对应的多个对象通过得分,所述多个对象通过得分中的每个对象通过得分包括对象满足至少一个检查标准的证据;以及
用于响应于所述多个对象通过得分,确定包含对象是否满足所述至少一个检查标准的信息的结果;和
输出信号装置,用于报告所述结果。
60.根据权利要求59所述的***,其中所述分析器响应于帧中至少一个感兴趣区域的第三分析确定每个对象检测权重。
61.根据权利要求60所述的***,其中所述第三分析包括,对于所述多个对象检测权重中的每个对象检测权重,
计算分别对应于所述至少一个感兴趣区域的测量组,所述测量组中的每个测量是对对象可视特征特性的响应;以及
响应于所述测量组,计算对象检测权重。
62.根据权利要求61所述的***,其中所述第三分析还包括
将所述测量组转换为相应的逻辑值组;以及
将所述逻辑值组结合以产生对象检测权重。
63.根据权利要求62所述的***,其中所述逻辑值组中的每个逻辑值为模糊逻辑值。
64.根据权利要求59所述的***,其中所述分析器响应于所述帧中至少一个感兴趣区域的第三分析来计算所述多个对象通过得分中的每个对象通过得分。
65.根据权利要求64所述的***,其中所述第三分析包括,对于所述多个对象通过得分中的每个对象通过得分,
计算分别对应于所述至少一个感兴趣区域的测量组,所述测量组中的每个测量是对对象可视特征特性的响应;以及
响应于所述测量组,计算对象通过得分。
66.根据权利要求65所述的***,其中所述第三分析还包括:
将所述测量组转换为相应的逻辑值组;以及
将逻辑值组结合以产生对象通过得分。
67.根据权利要求66所述的***,其中所述逻辑值组中的每个逻辑值为模糊逻辑值。
68.根据权利要求59所述的***,其中:
分析器还从所述多个对象检测权重中选择分别与所述多个活动帧对应的多个活动对象检测权重;并且
所述分析器还响应于所述多个活动对象检测权重确定结果。
69.根据权利要求68所述的***,其中所述第二分析还包括
计算以相应的活动对象检测权重进行加权的对象通过得分的加权平均值。
70.根据权利要求68所述的***,其中所述第二分析还包括
计算以活动对象检测权重百分比进行加权的对象通过得分的加权平均值。
71.根据权利要求59所述的***,其中所述图像捕获设备和所述分析器以不低于每秒200帧的速率操作。
72.根据权利要求59所述的***,其中所述图像捕获设备包括不超过大约40000像素的阵列。
73.根据权利要求59所述的***,其中所述输出信号装置通过产生输出脉冲来报告结果。
74.根据权利要求73所述的***,还包括
不合格执行器;并且其中
输出脉冲信号通知不合格执行器。
75.根据权利要求73所述的***,其中输出信号装置产生与通过固定参考点的对象同步的输出脉冲。
76.一种用于对象检测的***,包括:
图像捕获设备,用于捕获多个帧,所述多个帧中的每个帧包含二维视场的图像;
分析器,
用于响应于多个帧的第一分析确定多个对象检测权重,所述多个对象检测权重中的每个对象检测权重包括相应帧中对象位于视场中的证据,所述多个对象检测权重中的每个对象检测权重分别对应于多个帧中的每个帧;
用于从所述多个对象检测权重中选择多个活动对象检测权重,使得每个活动对象检测权重指示了相应帧中对象位于视场中的充分证据;以及
用于响应于所述多个活动对象检测权重的第二分析,确定包含是否检测到对象的信息的结果;以及输出信号装置,用于报告所述结果。
77.根据权利要求76所述的***,其中所述分析器响应于所述帧中至少一个感兴趣区域的第三分析来确定所述多个对象检测权重中的每个对象检测权重。
78.根据权利要求77所述的***,其中所述第三分析包括,对于所述多个对象检测权重中的每个对象检测权重,
计算分别对应于所述至少一个感兴趣区域的测量组,所述测量组中的每个测量是对对象可视特征特性的响应;以及
响应于所述测量组,计算对象检测权重。
79.根据权利要求78所述的***,其中所述计算对象检测权重包括
将所述测量组转换为相应的逻辑值组;以及
将所述逻辑值组结合以产生对象检测权重。
80.根据权利要求79所述的***,其中所述逻辑值组中的每个逻辑值为模糊逻辑值。
81.根据权利要求76所述的***,其中当未选择预定数目的连续对象检测权重作为活动对象检测权重时,所述分析器确定所述结果。
82.根据权利要求76所述的***,其中所述图像捕获设备和所述分析器以不低于每秒200帧的速率操作。
83.根据权利要求76所述的***,其中所述图像捕获设备包括不超过大约40000像素的阵列。
84.根据权利要求76所述的***,其中所述输出信号装置通过仅当检测到对象时产生输出脉冲来报告结果。
85.根据权利要求84所述的***,其中所述输出信号装置产生与通过固定参考点的对象同步的输出脉冲。
86.一种用于检测对象和确定对象特性的方法,包括:
捕获多个帧,所述多个帧中的每个帧包含二维视场的图像;
响应于所述多个帧的第一分析,从多个帧中选择多个活动帧,使得所述第一分析指示了所述多个活动帧的每帧中对象位于视场中的充分证据;
得到与所述多个活动帧相应的多个捕获时间,所述多个捕获时间中的每个捕获时间对应于捕获到相应活动帧的时间;
响应于所述多个活动帧的第二分析,计算多个位置值,所述多个位置值中的每个位置值是对第二分析所计算的相关活动帧中对象位于视场中位置的响应;以及
使用所述多个位置值以及所述多个捕获时间确定对象特性。
87.根据权利要求86所述的方法,其中
所述特性包括指示对象何时位于固定标志点的标志时间,并且所述方法还包括
在报告时间产生一个信号,所述报告时间在标志时间之后与其相差一个延迟间隔;以及
使用所述信号的报告时间来指示对象的位置。
88.根据权利要求87所述的方法,其中确定标志时间包括在至少三个捕获时间和相应的位置值处拟合一条线。
89.根据权利要求87所述的方法,还包括使用先进先出缓冲器来保持在报告时间产生信号所需的信息。
90.根据权利要求87所述的方法,还包括:
相对于二维视场以基本恒定的速度移动对象;并且其中
在报告时间,对象的位置是距标志点一定距离下游位置,所述距离由恒定速度和延迟间隔确定。
91.根据权利要求90所述的方法,还包括调整延迟间隔使得所述下游位置对应于对象的期望位置。
92.根据权利要求91所述的方法,其中所述期望的位置对应于执行器位置。
93.根据权利要求92所述的方法,还包括
响应于所述多个活动帧的第三分析,判断对象是否满足检查标准;并且其中
产生所述信号还包括仅当第三分析判断对象不满足检查标准时产生信号;并且
所述执行器是不合格执行器,并所述方法还包括
使用信号来控制所述不合格执行器。
94.根据权利要求91所述的方法,其中
所述特性还包括对象速度,所述对象速度是所述恒定速度的测量;和调整延迟间隔是对对象速度的响应。
95.根据权利要求86所述的方法,还包括
相对于二维视场以基本恒定的速度移动对象;并且其中
所述特性包括对象速度,所述对象速度是所述恒定速度的测量。
96.根据权利要求95所述的方法,其中
所述特性还包括对象距离;并且所述方法还包括
使用对象速度来确定所述对象距离。
97.根据权利要求95所述的方法,其中
所述特性还包括像素尺寸校准;并且所述方法还包括
使用对象速度来确定所述像素尺寸校准。
98.根据权利要求86所述的方法,还包括
相对于二维视场以基本恒定的速度移动对象;并且其中
所述特性包括
与视场中多个分离的位置对应的多个对象速度;以及
对象空间旋转;并且所述方法还包括
使用所述多个对象速度来确定所述对象旋转。
99.一种用于检测对象和确定对象特性的方法,包括:
使用相对于二维视场移动以传送对象的传送机;
响应于所述传送机的移动输入编码信号,在期望时间可以从所述编码信号得到指示了传送机相对位置的相应编码器计数;
捕获多个帧,所述多个帧中的每个帧包含二维视场的图像;
响应于所述多个帧的第一分析,从所述多个帧中选择多个活动帧,使得所述第一分析指示了所述多个活动帧的每帧中对象位于视场中的充分证据;
得到与所述多个活动帧相应的多个捕获计数,所述多个捕获计数中的每个捕获计数是对编码器计数的响应,所述编码器计数与捕获到相应活动帧的时间对应;
响应于所述多个活动帧的第二分析,计算多个位置值,所述多个位置值中的每个位置值是对第二分析所计算的相关活动帧中对象位于视场中的位置的响应;以及
使用所述多个位置值和多个捕获计数确定所述对象特性。
100.根据权利要求99所述的方法,其中
所述特性包括标志计数,所述标志计数指示了与对象位于固定标志点的时间对应的编码器计数;并且所述方法还包括
在报告时间产生一个信号,所述报告时间在相应的编码器计数与标志计数相差一个延迟计数时发生;以及
使用所述信号的报告时间来指示对象的位置。
101.根据权利要求100所述的方法,其中确定所述标志计数包括在至少三个捕获计数和相应的位置值处拟合一条线。
102.根据权利要求100所述的方法,还包括使用先进先出缓冲器来保持在报告时间产生信号所需的信息。
103.根据权利要求100所述的方法,其中在报告时间,所述对象的位置是距标志点一定距离的下游位置,所述距离由延迟计数确定。
104.根据权利要求103所述的方法,还包括调整延迟计数使得所述下游位置对应于对象的期望位置。
105.根据权利要求104所述的方法,其中所述期望的位置对应于执行器位置。
106.根据权利要求105所述的方法,还包括
响应于所述多个活动帧的第三分析,判断对象是否满足检查标准;并且其中
产生所述信号还包括仅当第三分析判断对象不满足检查标准时产生信号;并且
所述执行器是不合格执行器,所述方法还包括
使用所述信号来控制所述不合格执行器。
107.根据权利要求99所述的方法,其中所述特性包括像素尺寸校准。
108.根据权利要求107所述的方法,其中
所述特性还包括对象距离;并且所述方法还包括
使用像素尺寸校准来确定所述对象距离。
109.根据权利要求99所述的方法,其中所述特性包括
与视场中的多个分离位置对应的多个像素尺寸校准;以及
对象空间旋转;并且所述方法还包括:
使用所述多个像素尺寸校准来确定所述对象旋转。
110.一种用于检测对象和确定对象特性的***,包括
图像捕获设备,用于捕获多个帧,所述多个帧中的每个帧包括二维视场的图像;以及
分析器,
用于响应于所述多个帧的第一分析,从多个帧中选择多个活动帧,使得所述第一分析指示了所述多个活动帧的每帧中对象位于视场中的充分证据;
用于得到与所述多个活动帧相应的多个捕获时间,所述多个捕获时间中的每个捕获时间对应于捕获到相应活动帧的时间;
响应于所述多个活动帧的第二分析,计算多个位置值,所述多个位置值中的每个位置值是对第二分析所计算的相关活动帧中对象位于视场中的位置的响应;以及
用于使用所述多个位置值以及所述多个捕获时间来确定对象特性。
111.根据权利要求110所述的***,其中
所述特性包括指示对象何时位于固定标志点的标志时间,并且所述***还包括
输出信号装置,用于通过在报告时间产生一个信号来指示对象的位置,所述报告时间在标志时间之后与其相差一个延迟间隔。
112.根据权利要求111所述的***,其中所述分析器通过在至少三个捕获时间和相应的位置值处拟合一条线来确定标志时间。
113.根据权利要求111所述的***,还包括先进先出缓冲器,用于保持在报告时间输出信号装置产生信号所需的信息。
114.根据权利要求111所述的***,还包括:
传送机,用于相对于二维视场以基本恒定的速度传送对象;并且其中
在报告时间,所述对象的位置是距标志点一定距离的下游位置,所述距离由恒定速度和延迟间隔确定。
115.根据权利要求114所述的***,还包括控制器,用于调整延迟间隔使得所述下游位置对应于对象的期望位置。
116.根据权利要求115所述的***,还包括
执行器,所述执行器具有一个位置,从所述位置开始作用于对象;并且其中
所述期望位置对应于所述执行器的位置。
117.根据权利要求116所述的***,其中
所述分析器响应于所述多个活动帧的第三分析,判断对象是否满足检查标准;
所述输出信号装置仅当分析器判断对象不满足检查标准时产生信号;
所述执行器是不合格执行器,并且
使用所述信号来控制所述不合格执行器。
118.根据权利要求115所述的***,其中
所述特性还包括对象速度,所述对象速度是所述恒定速度的测量;和
所述控制器响应于对象速度调整延迟间隔。
119.根据权利要求110所述的***,还包括
传送机,用于相对于二维视场以基本恒定的速度移动对象;并且其中
所述特性包括对象速度,所述对象速度是所述恒定速度的测量。
120.根据权利要求119所述的***,其中
所述特性还包括对象距离;并且
所述分析器响应于对象速度来确定所述对象距离。
121.根据权利要求119所述的***,其中
所述特性还包括像素尺寸校准;并且
所述分析器响应于对象速度来确定所述像素尺寸校准。
122.根据权利要求110所述的***,还包括
传送机,用于相对于二维视场以基本恒定的速度传送对象;并且其中所述特性包括
与视场中多个分离的位置对应的多个对象速度;以及
对象空间旋转;并且
所述分析器响应于所述多个对象速度来确定所述对象旋转。
123.一种用于检测对象和确定对象特性的***,包括:
传送对象的传送机,相对于二维视场移动;
输入设备,用于响应于所述传送机的移动接收编码信号,在期望时间从所述编码信号可以得到指示了传送机相对位置的相应编码器计数;
图像捕获设备,用于捕获多个帧,所述多个帧中的每个帧包含二维视场的图像;以及
分析器,
用于响应于所述多个帧的第一分析,从多个帧中选择多个活动帧,使得所述第一分析指示了所述多个活动帧的每帧中对象位于视场中的充分证据;
用于得到与所述多个活动帧相应的多个捕获计数,所述多个捕获计数中的每个捕获计数是对编码器计数的响应,所述编码器计数与捕获到相应活动帧的时间对应;
用于响应于所述多个活动帧的第二分析,计算多个位置值,所述多个位置值中的每个位置值是对第二分析所计算的相关活动帧中对象位于视场中的位置的响应,以及;
用于使用所述多个位置值和多个捕获计数确定所述对象特性。
124.根据权利要求123所述的***,其中
所述特性包括标志计数,所述标志计数指示了与对象位于固定标志点的时间对应的编码器计数;并且所述***还包括
输出信号装置,通过在报告时间产生一个信号来指示对象的位置,所述报告时间在相应的编码器计数与标志计数相差一个延迟计数时发生。
125.根据权利要求124所述的***,其中所述分析器通过在至少三个捕获计数和相应的位置值处拟合一条线来确定标志计数。
126.根据权利要求124所述的***,还包括先进先出缓冲器,用于保持在报告时间输出信号装置产生信号所需的信息。
127.根据权利要求124所述的***,其中在报告时间,所述对象的位置是距标志点一定距离的下游位置,所述距离由延迟计数确定。
128.根据权利要求127所述的***,还包括控制器,所述控制器用于调整延迟计数使得所述下游位置对应于对象的期望位置。
129.根据权利要求128所述的***,还包括
执行器,所述执行器具有一个位置,从所述位置开始作用于对象,并且,其中
所述期望的位置对应于执行器位置。
130.根据权利要求129所述的***,其中
所述分析器响应于所述多个活动帧的第三分析,判断对象是否满足检查标准;
所述输出信号装置仅当分析器判断对象不满足检查标准时产生信号;
所述执行器是不合格执行器,并且
使用所述信号来控制所述不合格执行器。
131.根据权利要求123所述的***,其中所述特性包括像素尺寸校准。
132.根据权利要求131所述的***,其中
所述特性还包括对象距离;并且
所述分析器响应于所述像素尺寸校准来确定所述对象距离。
133.根据权利要求123所述的***,其中
所述特性包括
与视场中的多个分离位置对应的多个像素尺寸校准;以及
对象空间旋转;并且
所述分析器响应于所述多个像素尺寸校准来确定所述对象旋转。
134.一种用于定位多个对象的方法,包括:
移动所述多个对象中的每个对象,使得所述对象通过固定标志点;
对于所述多个对象中的每个对象确定相应标志时间,所述标志时间指示了所述对象何时通过固定标志点,其中
确定相应的标志时间发生在相应的决策点,所述相应决策点与相应的标志时间相差一个相应的决策延迟;和
与所述多个对象对应的所述决策延迟是可变的;
对于所述多个对象的每个对象,在相应的报告时间产生相应的信号,所述报告时间在相应的标志时间之后与其相差一个延迟间隔;和
对于所述多个对象的每个对象,使用相应信号的相应报告时间来指示所述对象的位置。
135.根据权利要求134所述的方法,还包括使用先进先出缓冲器来保持在每个相应的报告时间产生每个相应信号所需的信息。
136.根据权利要求134所述的方法,其中
移动所述多个对象中的每个对象还包括以基本恒定的速度移动对象;且
在相应的报告时间,所述对象的位置是距标志点一定距离的下游位置,所述距离由所述恒定速度和延迟间隔确定。
137.根据权利要求136所述的方法,还包括调整所述延迟间隔使得所述下游位置对应于对象的期望位置。
138.根据权利要求137所述的方法,其中所述期望位置对应于执行器位置。
139.一种用于定位多个对象的方法,包括:
使用相对于固定标志点移动的传送机以传送所述多个对象中的每个对象,使得所述对象通过固定标志点;
响应于所述传送机的移动来输入编码信号,在期望时间可以从所述编码信号得到指示了传送机相对位置的相应编码器计数;
对于所述多个对象中的每个对象,确定相应的标志计数,所述相应的标志计数指示了与对象通过固定标志点的时间对应的编码器计数;
其中
确定所述相应标志计数发生在相应的决策点,所述相应决策点与所述对象通过固定标志点的时间相差一个相应的决策延迟;和
与所述多个对象相应的所述决策延迟是可变的;
对于所述多个对象的每个对象,在相应的报告时间产生一个相应的信号,所述报告时间在相应的编码器计数与标志计数相差一个延迟计数时发生;和
对于多个对象的每个对象,使用相应信号的相应报告时间来指示对象位置。
140.根据权利要求139所述的方法,还包括使用先进先出缓冲器来保持在每个相应的报告时间产生每个相应信号所需的信息。
141.根据权利要求139所述的方法,其中
在相应的报告时间,所述对象的位置是距离所述标志点一定距离的下游位置,所述一定距离由所述延迟计数确定。
142.根据权利要求141所述的方法,还包括调整所述延迟计数使得所述下游位置对应于对象的期望位置。
143.根据权利要求142所述的方法,其中所述期望位置对应于执行器位置。
144.一种用于定位多个对象的***,包括
传送机,用于传送所述多个对象中的每个对象,使得所述对象通过固定标志点;
分析器,用于对于所述多个对象中的每个对象确定相应标志时间,所述标志时间指示了所述对象何时通过固定标志点,其中
在相应的决策点确定相应的标志时间,所述相应决策点与相应的标志时间相差一个相应的决策延迟;和
与所述多个对象对应的所述决策延迟是可变的;以及
输出信号装置,对于所述多个对象的每个对象,所述输出信号装置通过在相应的报告时间产生相应的信号来指示所述对象的位置,所述相应的报告时间在相应的标志时间之后与其相差一个延迟间隔。
145.根据权利要求144所述的***,还包括先进先出缓冲器,用于保持在每个相应的报告时间所述输出信号装置产生每个相应信号所需的信息。
146.根据权利要求144所述的***,其中
传送机以基本恒定的速度传送所述多个对象中的每个对象;以及
在相应报告时间,所述对象的位置是距标志点一定距离的下游位置,所述距离由所述恒定速度和延迟间隔确定。
147.根据权利要求146所述的***,还包括控制器,所述控制器用于调整延迟间隔使得所述下游位置对应于对象的期望位置。
148.根据权利要求147所述的***,还包括
执行器,所述执行器具有一个位置,从所述位置开始作用于每个对象;并且其中
所述期望位置对应于执行器的位置。
149.用于定位多个对象的***,包括
传送机,相对于固定标志点移动,用于传送所述多个对象中的每个对象,使得所述对象通过固定标志点;
输入设备,用于响应于所述传送机的移动来接收编码信号,在期望时间可以从所述编码信号得到指示了传送机相对位置的相应编码器计数;
分析器,用于对于所述多个对象中的每个对象,确定相应的标志计数,所述相应的标志计数指示了与对象通过固定标志点的时间对应的编码器计数;其中
确定所述相应标志计数发生在相应的决策点,所述相应决策点与所述对象通过固定标志点的时间相差一个相应的决策延迟;且
与所述多个对象相应的所述决策延迟是可变的;
输出信号装置,对于所述多个对象的每个对象,所述输出信号装置通过在相应的报告时间产生一个相应的信号来指示对象位置,所述相应的报告时间在相应的编码器计数与标志计数相差一个延迟计数时发生。
150.根据权利要求149所述的***,还包括先进先出缓冲器,用于保持在每个相应的报告时间所述输出信号装置产生每个相应信号所需的信息。
151.根据权利要求149所述的***,其中在相应的报告时间,所述对象的位置是距离所述标志点一定距离的下游位置,所述距离由所述延迟计数确定。
152.根据权利要求151所述的***,还包括控制器,用于调整所述延迟计数使得所述下游位置对应于对象的期望位置。
153.根据权利要求152所述的***,还包括
执行器,所述执行器具有一个位置,从所述位置开始作用于每个对象;并且其中
所述期望位置对应于执行器的位置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/865,155 US9092841B2 (en) | 2004-06-09 | 2004-06-09 | Method and apparatus for visual detection and inspection of objects |
US10/865,155 | 2004-06-09 | ||
US11/136,103 | 2005-05-24 | ||
US11/136,019 | 2005-05-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101023447A true CN101023447A (zh) | 2007-08-22 |
Family
ID=35460164
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2005800270103A Pending CN101023447A (zh) | 2004-06-09 | 2005-06-06 | 用于对象的检查和视觉检测的方法和装置 |
CNA2005800270705A Pending CN101002230A (zh) | 2004-06-09 | 2005-06-06 | 用于配置和测试机器视觉检测器的方法和装置 |
CNA2005800270090A Pending CN101002229A (zh) | 2004-06-09 | 2005-06-06 | 用于自动视觉事件检测的方法和装置 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2005800270705A Pending CN101002230A (zh) | 2004-06-09 | 2005-06-06 | 用于配置和测试机器视觉检测器的方法和装置 |
CNA2005800270090A Pending CN101002229A (zh) | 2004-06-09 | 2005-06-06 | 用于自动视觉事件检测的方法和装置 |
Country Status (2)
Country | Link |
---|---|
US (5) | US9092841B2 (zh) |
CN (3) | CN101023447A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105511315A (zh) * | 2015-12-01 | 2016-04-20 | 天津普达软件技术有限公司 | 一种使机器视觉检测与控制器保持同步的方法 |
CN110596115A (zh) * | 2018-06-12 | 2019-12-20 | 欧姆龙株式会社 | 图像检查***以及其控制方法 |
US20210304399A1 (en) * | 2020-03-31 | 2021-09-30 | Ngk Insulators, Ltd. | Inspection method and inspection system for pillar-shaped honeycomb structure made of ceramic |
CN113939731A (zh) * | 2019-04-30 | 2022-01-14 | 势必锐航空***有限公司 | 在线激光器轮廓测量检查*** |
Families Citing this family (126)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3583410B2 (ja) * | 2001-11-29 | 2004-11-04 | 明治乳業株式会社 | 可食飲食物の抽出および/または搾汁方法 |
US20050226490A1 (en) * | 2002-01-29 | 2005-10-13 | Phillips Brian S | Method and apparatus for improved vision detector image capture and analysis |
US9092841B2 (en) | 2004-06-09 | 2015-07-28 | Cognex Technology And Investment Llc | Method and apparatus for visual detection and inspection of objects |
MXPA06013286A (es) * | 2004-05-21 | 2007-07-19 | Pressco Tech Inc | Interfaz de configuracion de usuario de re-inspeccion grafica. |
US8127247B2 (en) | 2004-06-09 | 2012-02-28 | Cognex Corporation | Human-machine-interface and method for manipulating data in a machine vision system |
US8891852B2 (en) | 2004-06-09 | 2014-11-18 | Cognex Technology And Investment Corporation | Method and apparatus for configuring and testing a machine vision detector |
US20050276445A1 (en) | 2004-06-09 | 2005-12-15 | Silver William M | Method and apparatus for automatic visual detection, recording, and retrieval of events |
US8243986B2 (en) | 2004-06-09 | 2012-08-14 | Cognex Technology And Investment Corporation | Method and apparatus for automatic visual event detection |
US9292187B2 (en) * | 2004-11-12 | 2016-03-22 | Cognex Corporation | System, method and graphical user interface for displaying and controlling vision system operating parameters |
US7720315B2 (en) | 2004-11-12 | 2010-05-18 | Cognex Technology And Investment Corporation | System and method for displaying and using non-numeric graphic elements to control and monitor a vision system |
US7636449B2 (en) | 2004-11-12 | 2009-12-22 | Cognex Technology And Investment Corporation | System and method for assigning analysis parameters to vision detector using a graphical interface |
US7417803B2 (en) | 2004-11-18 | 2008-08-26 | Cognex Technology And Investment Corporation | Focusing mechanism for a vision detector |
US7963448B2 (en) | 2004-12-22 | 2011-06-21 | Cognex Technology And Investment Corporation | Hand held machine vision method and apparatus |
US9552506B1 (en) | 2004-12-23 | 2017-01-24 | Cognex Technology And Investment Llc | Method and apparatus for industrial identification mark verification |
WO2006119603A1 (en) | 2005-05-11 | 2006-11-16 | Optosecurity Inc. | Method and system for screening luggage items, cargo containers or persons |
US7991242B2 (en) | 2005-05-11 | 2011-08-02 | Optosecurity Inc. | Apparatus, method and system for screening receptacles and persons, having image distortion correction functionality |
US7381937B2 (en) * | 2005-09-13 | 2008-06-03 | The United States Of America As Represented By The Secretary Of The Army | Image analysis and enhancement system |
US7899232B2 (en) | 2006-05-11 | 2011-03-01 | Optosecurity Inc. | Method and apparatus for providing threat image projection (TIP) in a luggage screening system, and luggage screening system implementing same |
US8108176B2 (en) | 2006-06-29 | 2012-01-31 | Cognex Corporation | Method and apparatus for verifying two dimensional mark quality |
US7984854B2 (en) * | 2006-07-17 | 2011-07-26 | Cognex Corporation | Method and apparatus for multiplexed symbol decoding |
US8494210B2 (en) | 2007-03-30 | 2013-07-23 | Optosecurity Inc. | User interface for use in security screening providing image enhancement capabilities and apparatus for implementing same |
US7886979B2 (en) * | 2006-09-19 | 2011-02-15 | Microscan Systems, Inc. | Methods for illuminating barcodes |
US20080105749A1 (en) * | 2006-09-19 | 2008-05-08 | Ming Lei | Methods for automatically imaging barcodes |
US7857224B2 (en) | 2006-09-19 | 2010-12-28 | Microscan Systems, Inc. | Devices and/or systems for automatically imaging barcodes |
US8237099B2 (en) | 2007-06-15 | 2012-08-07 | Cognex Corporation | Method and system for optoelectronic detection and location of objects |
US8718319B2 (en) * | 2007-06-15 | 2014-05-06 | Cognex Corporation | Method and system for optoelectronic detection and location of objects |
US8103085B1 (en) | 2007-09-25 | 2012-01-24 | Cognex Corporation | System and method for detecting flaws in objects using machine vision |
US9734376B2 (en) | 2007-11-13 | 2017-08-15 | Cognex Corporation | System and method for reading patterns using multiple image frames |
US8238639B2 (en) | 2008-04-09 | 2012-08-07 | Cognex Corporation | Method and system for dynamic feature detection |
US9123093B1 (en) * | 2008-08-29 | 2015-09-01 | Cognex Corporation | Vision inspection programming method and apparatus |
AU2010262034B2 (en) * | 2009-04-30 | 2013-01-10 | Hexagon Technology Center Gmbh | An inspection method and an inspection apparatus |
US9068719B2 (en) * | 2009-09-25 | 2015-06-30 | Cree, Inc. | Light engines for lighting devices |
TWI410880B (zh) * | 2010-03-29 | 2013-10-01 | Anmo Electronics Corp | 與數位影像分析相關的電腦程式產品 |
JP5411049B2 (ja) * | 2010-04-07 | 2014-02-12 | オムロン株式会社 | 画像処理装置 |
WO2011141984A1 (ja) * | 2010-05-10 | 2011-11-17 | トヨタ自動車株式会社 | 危険度算出装置 |
JP5469012B2 (ja) * | 2010-08-06 | 2014-04-09 | 本田技研工業株式会社 | 撮像装置及び撮像装置の撮像方法 |
KR101750340B1 (ko) * | 2010-11-03 | 2017-06-26 | 엘지전자 주식회사 | 로봇 청소기 및 이의 제어 방법 |
US9330710B2 (en) * | 2011-01-18 | 2016-05-03 | Spectra Logic, Corporation | System for determining the location of a data storage library robot and methods of determining the same |
WO2012125526A1 (en) * | 2011-03-11 | 2012-09-20 | Accusentry, Inc. | Single culling mechanism for use with machine vison on production line |
JP5561214B2 (ja) * | 2011-03-15 | 2014-07-30 | オムロン株式会社 | 画像処理装置および画像処理プログラム |
CN102809569A (zh) * | 2011-05-30 | 2012-12-05 | 上海福耀客车玻璃有限公司 | 模具内汽车玻璃商标自动检测***及其应用 |
KR101973221B1 (ko) | 2011-09-07 | 2019-04-26 | 라피스캔 시스템스, 인코포레이티드 | 적하목록 데이터를 이미징/검출 프로세싱에 통합시키는 x-선 검사시스템 |
JP5003840B1 (ja) * | 2011-10-31 | 2012-08-15 | オムロン株式会社 | 画像処理装置および画像処理プログラム |
US8957960B2 (en) * | 2011-11-15 | 2015-02-17 | Mitutoyo Corporation | Machine vision system program editing environment including real time context generation features |
US9223306B2 (en) * | 2011-11-15 | 2015-12-29 | Mitutoyo Corporation | System and method utilizing an editing initialization block in a part program editing environment in a machine vision system |
US9651499B2 (en) * | 2011-12-20 | 2017-05-16 | Cognex Corporation | Configurable image trigger for a vision system and method for using the same |
US9122952B2 (en) | 2011-12-23 | 2015-09-01 | Cognex Corporation | Methods and apparatus for one-dimensional signal extraction |
US9311434B1 (en) * | 2012-03-26 | 2016-04-12 | The Mathworks, Inc. | Ladder logic modeling and simulation |
KR101613762B1 (ko) * | 2012-06-14 | 2016-04-19 | 엘에스산전 주식회사 | 영상 제공 장치 및 방법 |
US9514664B2 (en) * | 2012-09-25 | 2016-12-06 | The Boeing Company | Measuring latency in a test system using captured images |
US9188644B1 (en) | 2012-09-25 | 2015-11-17 | The Boeing Company | Latency measurement system and method |
US9562762B2 (en) * | 2012-10-18 | 2017-02-07 | Amazon Technologies, Inc. | Automated optical dimensioning and imaging |
US10929904B1 (en) | 2012-10-23 | 2021-02-23 | Protolabs, Inc. | Automated fabrication price quoting and fabrication ordering for computer-modeled structures |
US9177222B2 (en) * | 2012-11-05 | 2015-11-03 | Mitutoyo Corporation | Edge measurement video tool and interface including automatic parameter set alternatives |
US20140175289A1 (en) * | 2012-12-21 | 2014-06-26 | R. John Voorhees | Conveyer Belt with Optically Visible and Machine-Detectable Indicators |
JP5957378B2 (ja) * | 2012-12-28 | 2016-07-27 | 株式会社日立ハイテクノロジーズ | 欠陥観察方法および欠陥観察装置 |
WO2014165148A1 (en) * | 2013-03-12 | 2014-10-09 | Arizona Board Of Regents, A Body Corporate Of The State Of Arizona Acting For And On Behalf Of Arizona State University | Dendritic structures and tags |
US9600703B2 (en) | 2013-03-15 | 2017-03-21 | Cognex Corporation | Systems and methods for sorting image acquisition settings for pattern stitching and decoding using multiple captured images |
US9104932B2 (en) | 2013-03-15 | 2015-08-11 | Cognex Corporation | Systems and methods for pattern stitching and decoding using multiple captured images |
JP6117580B2 (ja) * | 2013-03-19 | 2017-04-19 | 株式会社イシダ | 物品検査装置 |
US9606701B1 (en) | 2013-10-14 | 2017-03-28 | Benko, LLC | Automated recommended joining data with presented methods for joining in computer-modeled structures |
US10373183B1 (en) | 2013-10-16 | 2019-08-06 | Alekhine, Llc | Automatic firm fabrication price quoting and fabrication ordering for computer-modeled joining features and related structures |
US9589179B2 (en) * | 2013-12-19 | 2017-03-07 | Microsoft Technology Licensing, Llc | Object detection techniques |
US11537765B1 (en) | 2014-02-20 | 2022-12-27 | Benko, LLC | Placement and pricing of part marks in computer-modeled structures |
JP6337530B2 (ja) * | 2014-03-14 | 2018-06-06 | オムロン株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
US11410224B1 (en) * | 2014-03-28 | 2022-08-09 | Desprez, Llc | Methods and software for requesting a pricing in an electronic marketplace using a user-modifiable spectrum interface |
JP6537332B2 (ja) * | 2014-04-28 | 2019-07-03 | キヤノン株式会社 | 画像処理方法および撮影装置 |
US10552882B1 (en) | 2014-05-20 | 2020-02-04 | Desprez, Llc | Methods and software for enabling custom pricing in an electronic commerce system |
US9946907B2 (en) | 2014-05-20 | 2018-04-17 | Symbol Technologies, Llc | Compact imaging module and imaging reader for, and method of, detecting objects associated with targets to be read by image capture |
US9671495B2 (en) | 2014-06-11 | 2017-06-06 | Intersil Americas LLC | Systems and methods for optical proximity detection with multiple field of views |
US10713394B1 (en) | 2014-06-12 | 2020-07-14 | Benko, LLC | Filtering components compatible with a computer-modeled structure |
US10025805B1 (en) | 2014-06-24 | 2018-07-17 | Benko, LLC | Systems and methods for automated help |
US11392396B1 (en) | 2014-06-24 | 2022-07-19 | Desprez, Llc | Systems and methods for automated help |
US10460342B1 (en) | 2014-08-12 | 2019-10-29 | Benko, LLC | Methods and software for providing targeted advertising to a product program |
US10095217B2 (en) | 2014-09-15 | 2018-10-09 | Desprez, Llc | Natural language user interface for computer-aided design systems |
US11599086B2 (en) | 2014-09-15 | 2023-03-07 | Desprez, Llc | Natural language user interface for computer-aided design systems |
US10162337B2 (en) | 2014-09-15 | 2018-12-25 | Desprez, Llc | Natural language user interface for computer-aided design systems |
US9613020B1 (en) | 2014-09-15 | 2017-04-04 | Benko, LLC | Natural language user interface for computer-aided design systems |
US11023934B1 (en) | 2014-10-30 | 2021-06-01 | Desprez, Llc | Business variable optimization for manufacture or supply of designed products |
US11276095B1 (en) | 2014-10-30 | 2022-03-15 | Desprez, Llc | Methods and software for a pricing-method-agnostic ecommerce marketplace for manufacturing services |
US10836110B2 (en) | 2014-10-31 | 2020-11-17 | Desprez, Llc | Method and system for ordering expedited production or supply of designed products |
US10235009B1 (en) | 2014-10-31 | 2019-03-19 | Desprez, Llc | Product variable optimization for manufacture or supply of designed products |
US10073439B1 (en) | 2014-10-31 | 2018-09-11 | Desprez, Llc | Methods, systems, and software for processing expedited production or supply of designed products |
US11415961B1 (en) | 2014-10-31 | 2022-08-16 | Desprez, Llc | Automated correlation of modeled product and preferred manufacturers |
US10810731B2 (en) | 2014-11-07 | 2020-10-20 | Arizona Board Of Regents On Behalf Of Arizona State University | Information coding in dendritic structures and tags |
JP6576059B2 (ja) * | 2015-03-10 | 2019-09-18 | キヤノン株式会社 | 情報処理、情報処理方法、プログラム |
US11004126B1 (en) | 2016-03-17 | 2021-05-11 | Desprez, Llc | Systems, methods, and software for generating, customizing, and automatedly e-mailing a request for quotation for fabricating a computer-modeled structure from within a CAD program |
US10803501B1 (en) | 2015-03-17 | 2020-10-13 | Desprez, Llc | Systems, methods, and software for generating, customizing, and automatedly e-mailing a request for quotation for fabricating a computer-modeled structure from within a CAD program |
DE102015107730B4 (de) * | 2015-05-18 | 2020-07-23 | Hmgeb Holding B.V. | Blisterband-Inspektionsvorrichtung |
US10210393B2 (en) * | 2015-10-15 | 2019-02-19 | Schneider Electric USA, Inc. | Visual monitoring system for a load center |
WO2017146930A1 (en) | 2016-02-22 | 2017-08-31 | Rapiscan Systems, Inc. | Systems and methods for detecting threats and contraband in cargo |
US11423449B1 (en) | 2016-03-23 | 2022-08-23 | Desprez, Llc | Electronic pricing machine configured to generate prices based on supplier willingness and a user interface therefor |
US10556309B1 (en) | 2016-03-24 | 2020-02-11 | Proto Labs Inc. | Methods of subtractively manufacturing a plurality of discrete objects from a single workpiece using a removable fixating material |
US10401824B2 (en) | 2016-04-14 | 2019-09-03 | The Rapid Manufacturing Group LLC | Methods and software for reducing machining equipment usage when machining multiple objects from a single workpiece |
AU2016100492B4 (en) * | 2016-04-29 | 2016-07-21 | Ccl Secure Pty Ltd | A method and system for identifying and measuring a defect that reduces transparency in a substrate for a security document |
FI128735B (en) * | 2016-05-06 | 2020-11-13 | Procemex Oy Ltd | Machine vision method and system |
US10429271B2 (en) * | 2016-07-01 | 2019-10-01 | Microsoft Technology Licensing, Llc | Camera testing using reverse projection |
WO2018064202A1 (en) | 2016-09-30 | 2018-04-05 | 3M Innovative Properties Company | Synchronizing multiple processing systems |
US10783682B2 (en) | 2016-11-02 | 2020-09-22 | United Parcel Service Of America, Inc. | Displaying items of interest in an augmented reality environment |
US10545481B2 (en) | 2016-12-28 | 2020-01-28 | Proto Labs Inc | Methods and software for providing graphical representations of a plurality of objects in a central through opening |
US10824866B2 (en) * | 2017-06-13 | 2020-11-03 | The Marketing Store Worldwife, LP | System, method, and apparatus for augmented reality implementation |
EP3639188A4 (en) | 2017-06-16 | 2021-03-17 | Arizona Board of Regents on behalf of Arizona State University | POLARIZED SCANNING OF DENDRITIC IDENTIFICATORS |
US20190012782A1 (en) * | 2017-07-05 | 2019-01-10 | Integrated Vision Systems LLC | Optical inspection apparatus and method |
US11797910B2 (en) | 2017-08-15 | 2023-10-24 | United Parcel Service Of America, Inc. | Hands-free augmented reality system for picking and/or sorting assets |
US11156471B2 (en) | 2017-08-15 | 2021-10-26 | United Parcel Service Of America, Inc. | Hands-free augmented reality system for picking and/or sorting assets |
WO2019102549A1 (ja) * | 2017-11-22 | 2019-05-31 | 東芝三菱電機産業システム株式会社 | 産業プラント用データ再生装置 |
CN108090935B (zh) * | 2017-12-19 | 2020-06-19 | 清华大学 | 混合相机***及其时间标定方法及装置 |
US11598015B2 (en) | 2018-04-26 | 2023-03-07 | Arizona Board Of Regents On Behalf Of Arizona State University | Fabrication of dendritic structures and tags |
US10706525B2 (en) * | 2018-05-22 | 2020-07-07 | Midea Group Co. Ltd. | Methods and systems for improved quality inspection |
CN110596133A (zh) * | 2018-05-25 | 2019-12-20 | 上海翌视信息技术有限公司 | 一种适用于工业图像检测的方法 |
JP6740288B2 (ja) * | 2018-07-13 | 2020-08-12 | ファナック株式会社 | 物体検査装置、物体検査システム、及び検査位置を調整する方法 |
CN109087358A (zh) * | 2018-08-07 | 2018-12-25 | 太仓市同维电子有限公司 | 一种流水线速度快速量测和修整方法 |
US10930065B2 (en) * | 2019-03-08 | 2021-02-23 | X Development Llc | Three-dimensional modeling with two dimensional data |
JP7267841B2 (ja) * | 2019-05-30 | 2023-05-02 | キヤノン株式会社 | システムの制御方法、及びシステム |
CN110532989B (zh) * | 2019-09-04 | 2022-10-14 | 哈尔滨工业大学 | 一种海上目标自动探测方法 |
US11310451B1 (en) | 2019-09-05 | 2022-04-19 | Waymo Llc | Smart sensor with region of interest capabilities |
DE112020004812T5 (de) * | 2019-10-07 | 2022-07-21 | Inspekto A.M.V. Ltd | Bewegung in bildern, die in einem visuellen prüfprozess verwendet werden |
US10607084B1 (en) | 2019-10-24 | 2020-03-31 | Capital One Services, Llc | Visual inspection support using extended reality |
US11428550B2 (en) | 2020-03-03 | 2022-08-30 | Waymo Llc | Sensor region of interest selection based on multisensor data |
CN112639872B (zh) * | 2020-04-24 | 2022-02-11 | 华为技术有限公司 | 一种目标检测中难例挖掘的方法及装置 |
CN112529762B (zh) * | 2020-12-04 | 2021-07-13 | 成都新西旺自动化科技有限公司 | 一种机器视觉***配置筛选方法、设备和可读存储介质 |
US11756283B2 (en) | 2020-12-16 | 2023-09-12 | Waymo Llc | Smart sensor implementations of region of interest operating modes |
CN113222907B (zh) * | 2021-04-23 | 2023-04-28 | 杭州申昊科技股份有限公司 | 一种基于弯道铁轨的检测机器人 |
US20230136456A1 (en) * | 2021-10-28 | 2023-05-04 | Mectron Engineering Company, Inc. | Method of optical quality inspection of workpieces |
TWI816549B (zh) * | 2022-09-14 | 2023-09-21 | 朝陽科技大學 | 自動化瑕疵檢測方法 |
CN116709038A (zh) * | 2023-06-05 | 2023-09-05 | 上海御微半导体技术有限公司 | 一种成像*** |
Family Cites Families (244)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5966457A (en) * | 1955-06-14 | 1999-10-12 | Lemelson; Jerome H. | Method for inspecting, coding and sorting objects |
DE2349050C2 (de) * | 1973-09-29 | 1985-06-05 | Wella Ag, 6100 Darmstadt | Verfahren und Mittel zur Herabsetzung der Wirkstoffkonzentration in kosmetischen Präparaten |
SE394146B (sv) | 1975-10-16 | 1977-06-06 | L Olesen | Anordning for metning resp kontroll av ett foremals, i synnerhet ett fordons hastighet. |
US4292666A (en) * | 1978-04-12 | 1981-09-29 | Modicon Div. Gould Inc. | Programmable controller |
US4384195A (en) * | 1980-06-09 | 1983-05-17 | The Coe Manufacturing Company | Edge-responsive apparatus for counting conveyor-transported articles |
US6158661A (en) | 1981-12-28 | 2000-12-12 | Intermec Ip Corp. | Instant portable bar code reader |
JPS60132473A (ja) * | 1983-12-20 | 1985-07-15 | Asahi Optical Co Ltd | ビデオカメラのオ−トフオ−カス装置 |
DE3507013A1 (de) * | 1985-02-28 | 1986-08-28 | Robert Bosch Gmbh, 7000 Stuttgart | Scheinwerfer fuer abblendlicht oder nebellicht von kraftfahrzeugen |
US4679075A (en) | 1985-04-29 | 1987-07-07 | Emhart Industries, Inc. | Glassware inspection using optical streak detection |
JPS62113002A (ja) | 1985-11-13 | 1987-05-23 | Fuji Electric Co Ltd | 対象物の到着検出機能をもつ画像処理装置 |
US4847772A (en) | 1987-02-17 | 1989-07-11 | Regents Of The University Of Minnesota | Vehicle detection through image processing for traffic surveillance and control |
US4916640A (en) * | 1987-06-03 | 1990-04-10 | Allen-Bradley Company, Inc. | Video image processing system |
US4972494A (en) * | 1988-02-26 | 1990-11-20 | R. J. Reynolds Tobacco Company | Package inspection system |
US5018213A (en) | 1988-05-11 | 1991-05-21 | Web Printing Controls Co., Inc. | Method and apparatus for registration mark identification |
GB8824258D0 (en) | 1988-10-17 | 1988-11-23 | Gifford Eng Ltd | Scanning system |
US5872354A (en) | 1989-01-31 | 1999-02-16 | Norand Corporation | Hand-held data capture system with interchangable modules including autofocusing data file reader using the slope of the image signal to determine focus |
US5146510A (en) * | 1989-02-09 | 1992-09-08 | Philip Morris Incorporated | Methods and apparatus for optically determining the acceptability of products |
US4962538A (en) * | 1989-02-13 | 1990-10-09 | Comar, Inc. | Image analysis counting system |
US5177420A (en) * | 1989-05-01 | 1993-01-05 | Honda Giken Kogyo Kabushiki Kaisha | Method of and apparatus for generating control program |
JP2633694B2 (ja) | 1989-08-25 | 1997-07-23 | フジテック 株式会社 | 人数検出装置 |
US5262626A (en) | 1989-12-06 | 1993-11-16 | Symbol Technologies, Inc. | Decoding bar codes from multiple scans using element replacement |
US5040056A (en) * | 1990-01-29 | 1991-08-13 | Technistar Corporation | Automated system for locating and transferring objects on a conveyor belt |
JP2583146B2 (ja) | 1990-05-28 | 1997-02-19 | 鐘紡株式会社 | トップ清潔度検査方法 |
US5210798A (en) | 1990-07-19 | 1993-05-11 | Litton Systems, Inc. | Vector neural network for low signal-to-noise ratio detection of a target |
US5184217A (en) | 1990-08-02 | 1993-02-02 | Doering John W | System for automatically inspecting a flat sheet part |
US5233541A (en) * | 1990-08-10 | 1993-08-03 | Kaman Aerospace Corporation | Automatic target detection process |
US5317645A (en) * | 1991-02-28 | 1994-05-31 | Kirby Lester Inc. | Method and apparatus for the recognition and counting of discrete objects |
US5164998A (en) | 1991-03-04 | 1992-11-17 | Reinsch Roger A | Apparatus and method for image pattern analysis |
US5198650A (en) | 1991-06-24 | 1993-03-30 | Ncr Corporation | Hands free/hand held bar code scanner |
US5619593A (en) | 1991-09-12 | 1997-04-08 | Fuji Photo Film Co., Ltd. | Method for extracting object images and method for detecting movements thereof |
US5223541A (en) | 1991-09-13 | 1993-06-29 | Mcneilab, Inc. | Tramadol n-oxide material, enantiomers and compositions thereof, and their use |
JPH0578048A (ja) * | 1991-09-19 | 1993-03-30 | Hitachi Ltd | エレベーターホールの待ち客検出装置 |
US5286960A (en) | 1991-11-04 | 1994-02-15 | Welch Allyn, Inc. | Method of programmable digitization and bar code scanning apparatus employing same |
CA2132515C (en) | 1992-03-20 | 2006-01-31 | Glen William Auty | An object monitoring system |
US5271703A (en) | 1992-05-08 | 1993-12-21 | Si Handling System, Inc. | Automatic order selection system capable of responding to simultaneous order requests |
DE4215485A1 (de) * | 1992-05-11 | 1993-11-18 | Bayer Ag | Neue Reaktivfarbstoffe |
DE4215584C2 (de) * | 1992-05-12 | 2002-06-20 | Bosch Gmbh Robert | Beleuchtungseinrichtung mit einem Reflektor und mit optisch wirksamen Elementen |
AU4771893A (en) | 1992-07-14 | 1994-01-31 | Sierra Matrix, Inc. | Hands-free ultrasonic test view (hf-utv) |
US5365596A (en) * | 1992-12-17 | 1994-11-15 | Philip Morris Incorporated | Methods and apparatus for automatic image inspection of continuously moving objects |
US5481712A (en) | 1993-04-06 | 1996-01-02 | Cognex Corporation | Method and apparatus for interactively generating a computer program for machine vision analysis of an object |
JPH09505161A (ja) | 1993-08-26 | 1997-05-20 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | Cnnバイオニックアイあるいはその他のトポグラフィック感覚器官またはそれらの組み合わせ |
US5687249A (en) | 1993-09-06 | 1997-11-11 | Nippon Telephone And Telegraph | Method and apparatus for extracting features of moving objects |
US5420409A (en) | 1993-10-18 | 1995-05-30 | Welch Allyn, Inc. | Bar code scanner providing aural feedback |
US5943432A (en) | 1993-11-17 | 1999-08-24 | Gilmore; Jack R. | Postage due detection system |
US5581625A (en) * | 1994-01-31 | 1996-12-03 | International Business Machines Corporation | Stereo vision system for counting items in a queue |
US5929418A (en) | 1994-03-04 | 1999-07-27 | Welch Allyn, Inc. | Optical reader having improved menuing features |
US5932862A (en) * | 1994-03-04 | 1999-08-03 | Welch Allyn, Inc. | Optical reader having improved scanning-decoding features |
US5942741A (en) * | 1994-03-04 | 1999-08-24 | Welch Allyn, Inc. | Apparatus for optimizing throughput in decoded-output scanners and method of using same |
US5852669A (en) | 1994-04-06 | 1998-12-22 | Lucent Technologies Inc. | Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video |
US6885968B2 (en) | 2000-05-08 | 2005-04-26 | Automotive Technologies International, Inc. | Vehicular exterior identification and monitoring system-agricultural product distribution |
US5500732A (en) | 1994-06-10 | 1996-03-19 | Johnson & Johnson Vision Products, Inc. | Lens inspection system and method |
US5942987A (en) | 1994-09-09 | 1999-08-24 | Intermec Ip Corp. | Radio frequency identification system with write broadcast capability |
US5734742A (en) | 1994-09-19 | 1998-03-31 | Nissan Motor Co., Ltd. | Inspection system and process |
US5562788A (en) | 1994-09-20 | 1996-10-08 | The Boeing Company | Composite material laser flaw detection |
JP3927608B2 (ja) * | 1994-11-30 | 2007-06-13 | キヤノン株式会社 | 動画像表示装置及び動画像記憶装置 |
EP0971541A3 (en) | 1995-03-24 | 2000-08-23 | PPT Vision, Inc. | High speed digital video serial link |
EP0737938B1 (en) | 1995-03-31 | 2005-01-26 | Canon Kabushiki Kaisha | Method and apparatus for processing visual information |
US5781648A (en) | 1995-04-07 | 1998-07-14 | California Institute Of Technology | Pulse domain neuromorphic integrated circuit for computing motion |
JPH08313454A (ja) | 1995-05-24 | 1996-11-29 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
AR002082A1 (es) | 1995-05-25 | 1998-01-07 | Gillette Co | Metodo para producir un borde cortante en una tira de metal y el aparato para realizarlo |
US6625317B1 (en) * | 1995-09-12 | 2003-09-23 | Art Gaffin | Visual imaging system and method |
US6215892B1 (en) * | 1995-11-30 | 2001-04-10 | Chromavision Medical Systems, Inc. | Method and apparatus for automated image analysis of biological specimens |
US5802220A (en) | 1995-12-15 | 1998-09-01 | Xerox Corporation | Apparatus and method for tracking facial motion through a sequence of images |
US5825483A (en) * | 1995-12-19 | 1998-10-20 | Cognex Corporation | Multiple field of view calibration plate having a reqular array of features for use in semiconductor manufacturing |
JPH09178670A (ja) | 1995-12-26 | 1997-07-11 | M I L:Kk | 物品の検査方法 |
JPH09185710A (ja) | 1995-12-28 | 1997-07-15 | Kobe Steel Ltd | ごみ滞留検知装置 |
GB9600348D0 (en) | 1996-01-09 | 1996-03-13 | Intelligent Manufacturing Syst | Inspection systems |
US6049619A (en) | 1996-02-12 | 2000-04-11 | Sarnoff Corporation | Method and apparatus for detecting moving objects in two- and three-dimensional scenes |
US5742037A (en) | 1996-03-07 | 1998-04-21 | Cognex Corp. | Method and apparatus for high speed identification of objects having an identifying feature |
US6259827B1 (en) | 1996-03-21 | 2001-07-10 | Cognex Corporation | Machine vision methods for enhancing the contrast between an object and its background using multiple on-axis images |
US6078251A (en) | 1996-03-27 | 2000-06-20 | Intermec Ip Corporation | Integrated multi-meter and wireless communication link |
JP3349037B2 (ja) | 1996-04-19 | 2002-11-20 | 株式会社ニレコ | 移動体画像の取込方法と装置 |
US6061471A (en) | 1996-06-07 | 2000-05-09 | Electronic Data Systems Corporation | Method and system for detecting uniform images in video signal |
US6081606A (en) | 1996-06-17 | 2000-06-27 | Sarnoff Corporation | Apparatus and a method for detecting motion within an image sequence |
US6282462B1 (en) | 1996-06-28 | 2001-08-28 | Metrovideo Inc. | Image acquisition system |
IT1286684B1 (it) | 1996-07-26 | 1998-07-15 | Paolo Sodi | Dispositivo e metodo per il rilevamento di infrazioni stradali con sistemi di puntamento dinamico |
US6629642B1 (en) | 1996-08-02 | 2003-10-07 | Symbol Technologies, Inc. | Data system and method for accessing a computer network using a collection of bar code symbols |
JP3129245B2 (ja) | 1996-10-31 | 2001-01-29 | オムロン株式会社 | 撮像装置 |
US5960125A (en) | 1996-11-21 | 1999-09-28 | Cognex Corporation | Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object |
US6526156B1 (en) | 1997-01-10 | 2003-02-25 | Xerox Corporation | Apparatus and method for identifying and tracking objects with view-based representations |
US6408429B1 (en) | 1997-01-17 | 2002-06-18 | Cognex Corporation | Machine vision system for identifying and assessing features of an article |
US5960097A (en) | 1997-01-21 | 1999-09-28 | Raytheon Company | Background adaptive target detection and tracking with multiple observation and processing stages |
EP0880023A1 (de) | 1997-05-23 | 1998-11-25 | Siemag Transplan Gmbh | Verfahren und Vorrichtung zur automatischen Detektion von Oberflächenfehlern beim kontinuierlichen mechanischem Abtragen von Material von Stranggiessprodukten |
JPH10334221A (ja) | 1997-05-30 | 1998-12-18 | Fanuc Ltd | 画像取得装置 |
US6075882A (en) | 1997-06-18 | 2000-06-13 | Philip Morris Incorporated | System and method for optically inspecting cigarettes by detecting the lengths of cigarette sections |
US6169535B1 (en) * | 1997-06-30 | 2001-01-02 | Toshiba America Information Systems, Inc. | Monitor adjustment control |
US6346966B1 (en) | 1997-07-07 | 2002-02-12 | Agilent Technologies, Inc. | Image acquisition system for machine vision applications |
US6618074B1 (en) | 1997-08-01 | 2003-09-09 | Wells Fargo Alarm Systems, Inc. | Central alarm computer for video security system |
US7088387B1 (en) | 1997-08-05 | 2006-08-08 | Mitsubishi Electric Research Laboratories, Inc. | Video recording device responsive to triggering event |
DE19734031A1 (de) | 1997-08-06 | 1999-02-11 | Sick Ag | Verfahren und Vorrichtung zum Lesen eines aus einer vorgegebenen Anzahl von Codeelementen bestehenden Strichcodes |
JP3512988B2 (ja) | 1997-08-12 | 2004-03-31 | 株式会社東芝 | 画像処理装置 |
US6072882A (en) | 1997-08-29 | 2000-06-06 | Conexant Systems, Inc. | Method and apparatus for sensing an audio signal that is sensitive to the audio signal and insensitive to background noise |
US5918650A (en) | 1997-09-19 | 1999-07-06 | Borden; Teddy H. | Liquid transfer tool |
JPH11101689A (ja) | 1997-09-25 | 1999-04-13 | Sofuto Waaku Su Kk | 果菜類の検査装置 |
JP3114668B2 (ja) | 1997-10-03 | 2000-12-04 | 日本電気株式会社 | 物体検出・背景除去方法、装置およびプログラムを記録した記録媒体 |
US6072494A (en) | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
US6298176B2 (en) | 1997-10-17 | 2001-10-02 | Welch Allyn Data Collection, Inc. | Symbol-controlled image data reading system |
US6173070B1 (en) | 1997-12-30 | 2001-01-09 | Cognex Corporation | Machine vision method using search models to find features in three dimensional images |
US6175652B1 (en) | 1997-12-31 | 2001-01-16 | Cognex Corporation | Machine vision system for analyzing features based on multiple object images |
US6587122B1 (en) | 1998-01-30 | 2003-07-01 | Rockwell Automation Technologies, Inc. | Instruction syntax help information |
US6545705B1 (en) * | 1998-04-10 | 2003-04-08 | Lynx System Developers, Inc. | Camera with object recognition/data output |
US5917602A (en) * | 1998-04-30 | 1999-06-29 | Inex Inc. | System and method for image acquisition for inspection of articles on a moving conveyor |
US6175644B1 (en) | 1998-05-01 | 2001-01-16 | Cognex Corporation | Machine vision system for object feature analysis and validation based on multiple object images |
JP2000021738A (ja) | 1998-06-26 | 2000-01-21 | Nikon Corp | 位置検出装置及び該装置を用いた位置検出方法 |
JP3400359B2 (ja) | 1998-09-08 | 2003-04-28 | 株式会社クボタ | 農産物の検査装置 |
US6161760A (en) | 1998-09-14 | 2000-12-19 | Welch Allyn Data Collection, Inc. | Multiple application multiterminal data collection network |
US6169600B1 (en) * | 1998-11-20 | 2001-01-02 | Acuity Imaging, Llc | Cylindrical object surface inspection system |
US6446868B1 (en) | 1998-11-23 | 2002-09-10 | Informatics, Inc. | Scanning system for decoding two-dimensional barcode symbologies with a one-dimensional general purpose scanner |
WO2000031707A1 (en) | 1998-11-23 | 2000-06-02 | Nestor, Inc. | Non-violation event filtering for a traffic light violation detection system |
US6608930B1 (en) | 1999-08-09 | 2003-08-19 | Koninklijke Philips Electronics N.V. | Method and system for analyzing video content using detected text in video frames |
JP3826598B2 (ja) | 1999-01-29 | 2006-09-27 | 株式会社日立製作所 | 画像監視装置及び記録媒体 |
US6525648B1 (en) | 1999-01-29 | 2003-02-25 | Intermec Ip Corp | Radio frequency identification systems and methods for waking up data storage devices for wireless communication |
JP2000227401A (ja) | 1999-02-08 | 2000-08-15 | Nippon Steel Corp | テープキャリア欠陥検査装置及びテープキャリア欠陥検査装置におけるテープキャリアの搬送方法 |
TW413795B (en) * | 1999-02-26 | 2000-12-01 | Cyberlink Corp | An image processing method of 3-D head motion with three face feature points |
US6396517B1 (en) | 1999-03-01 | 2002-05-28 | Agilent Technologies, Inc. | Integrated trigger function display system and methodology for trigger definition development in a signal measurement system having a graphical user interface |
US6774917B1 (en) | 1999-03-11 | 2004-08-10 | Fuji Xerox Co., Ltd. | Methods and apparatuses for interactive similarity searching, retrieval, and browsing of video |
DE10012715B4 (de) | 1999-03-19 | 2014-05-28 | Cognex ,Ltd. | Verfahren zum Positionieren eines Scanners relativ zu einer codierten Fläche und Scanner, insbesondere zum Lesen von Barcodes, zweidimensionalen Codes und Farbcodes |
JP2000293694A (ja) | 1999-04-07 | 2000-10-20 | Toyota Motor Corp | シーン認識装置 |
JP2000298103A (ja) | 1999-04-15 | 2000-10-24 | Nittetsu Mining Co Ltd | 透明容器内粉末の異物検査装置 |
US6944584B1 (en) | 1999-04-16 | 2005-09-13 | Brooks Automation, Inc. | System and method for control and simulation |
JP2000339923A (ja) | 1999-05-27 | 2000-12-08 | Mitsubishi Electric Corp | 映像収集装置および映像収集方法 |
US6487304B1 (en) | 1999-06-16 | 2002-11-26 | Microsoft Corporation | Multi-view approach to motion and stereo |
US6597381B1 (en) | 1999-07-24 | 2003-07-22 | Intelligent Reasoning Systems, Inc. | User interface for automated optical inspection systems |
US7128270B2 (en) * | 1999-09-17 | 2006-10-31 | Silverbrook Research Pty Ltd | Scanning device for coded data |
US6677852B1 (en) | 1999-09-22 | 2004-01-13 | Intermec Ip Corp. | System and method for automatically controlling or configuring a device, such as an RFID reader |
JP3732366B2 (ja) | 1999-10-05 | 2006-01-05 | 財団法人電力中央研究所 | 画像データベース装置及び画像データベース作成検索方法 |
US6714213B1 (en) | 1999-10-08 | 2004-03-30 | General Electric Company | System and method for providing interactive haptic collision detection |
US6621571B1 (en) * | 1999-10-29 | 2003-09-16 | Hitachi, Ltd. | Method and apparatus for inspecting defects in a patterned specimen |
US6483935B1 (en) | 1999-10-29 | 2002-11-19 | Cognex Corporation | System and method for counting parts in multiple fields of view using machine vision |
JP4009409B2 (ja) | 1999-10-29 | 2007-11-14 | 株式会社日立製作所 | パターン欠陥検査方法及びその装置 |
US6525810B1 (en) | 1999-11-11 | 2003-02-25 | Imagexpert, Inc. | Non-contact vision based inspection system for flat specular parts |
AU1553601A (en) | 1999-11-29 | 2001-06-12 | Olympus Optical Co., Ltd. | Defect inspecting system |
US6549647B1 (en) | 2000-01-07 | 2003-04-15 | Cyberoptics Corporation | Inspection system with vibration resistant video capture |
US6301610B1 (en) * | 2000-02-11 | 2001-10-09 | Union Switch & Signal, Inc. | Communication system |
US6681195B1 (en) | 2000-03-22 | 2004-01-20 | Laser Technology, Inc. | Compact speed measurement system with onsite digital image capture, processing, and portable display |
US7734287B2 (en) | 2000-04-10 | 2010-06-08 | I/O Controls Corporation | System for providing remote access to diagnostic information over a wide area network |
GB0010648D0 (en) | 2000-05-04 | 2000-06-28 | Ibm | Methods,apparatus and system for caching data |
US6899272B2 (en) | 2000-05-17 | 2005-05-31 | Symbol Technologies, Inc | Bioptics bar code reader |
JP2002008013A (ja) * | 2000-06-27 | 2002-01-11 | Matsushita Electric Works Ltd | 外観検査プログラム作成装置およびその方法 |
DE10040563A1 (de) | 2000-08-15 | 2002-02-28 | Gavitec Gmbh | Vorrichtung mit einer Decodiereinheit zur Decodierung von optischen Codes |
DE10040899A1 (de) | 2000-08-18 | 2002-02-28 | Gavitec Gmbh | Verfahren und Vorrichtung zum Decodieren von optischen Codes |
JP2002148201A (ja) | 2000-11-06 | 2002-05-22 | Nkk Corp | 表面検査装置 |
JP2002148205A (ja) | 2000-11-08 | 2002-05-22 | Japan Tobacco Inc | 棒状体の表面検査装置 |
NZ508052A (en) | 2000-11-09 | 2003-06-30 | Derek Ward | Programmable controller |
US7540424B2 (en) | 2000-11-24 | 2009-06-02 | Metrologic Instruments, Inc. | Compact bar code symbol reading system employing a complex of coplanar illumination and imaging stations for omni-directional imaging of objects within a 3D imaging volume |
US6681151B1 (en) | 2000-12-15 | 2004-01-20 | Cognex Technology And Investment Corporation | System and method for servoing robots based upon workpieces with fiducial marks using machine vision |
US7266768B2 (en) | 2001-01-09 | 2007-09-04 | Sharp Laboratories Of America, Inc. | Systems and methods for manipulating electronic information using a three-dimensional iconic representation |
JP3658326B2 (ja) | 2001-01-19 | 2005-06-08 | 日立エンジニアリング株式会社 | 液体充填容器内の異物検査装置及びその方法 |
US6637658B2 (en) | 2001-01-22 | 2003-10-28 | Welch Allyn, Inc. | Optical reader having partial frame operating mode |
US6891570B2 (en) * | 2001-01-31 | 2005-05-10 | Itt Manufacturing Enterprises Inc. | Method and adaptively deriving exposure time and frame rate from image motion |
US6750466B2 (en) | 2001-02-09 | 2004-06-15 | Wintriss Engineering Corporation | Web inspection system |
DE10113426A1 (de) | 2001-03-19 | 2002-09-26 | Gavitec Gmbh | Lesegerät mit einer Bildaufnahmeeinheit zum Lesen eines Codes und Verfahren zum Lesen eines Codes |
JP2002288633A (ja) | 2001-03-27 | 2002-10-04 | Matsushita Electric Works Ltd | 画像処理装置およびその位置補正方法 |
US6761316B2 (en) | 2001-03-27 | 2004-07-13 | Symbol Technologies, Inc. | Compact auto ID reader and radio frequency transceiver data collection module |
EP1249415A3 (de) | 2001-04-14 | 2004-02-04 | NexPress Solutions LLC | Verfahren und Einrichtung zur Messung von Positionen von durchlaufenden Bogen |
JP3934359B2 (ja) | 2001-04-23 | 2007-06-20 | 日立エンジニアリング株式会社 | 透明容器内充填液体中の異物検査装置 |
US6347762B1 (en) | 2001-05-07 | 2002-02-19 | The United States Of America As Represented By The Secretary Of The Army | Multispectral-hyperspectral sensing system |
US20020196336A1 (en) | 2001-06-19 | 2002-12-26 | Applied Materials, Inc. | Method and apparatus for substrate imaging |
US20020196342A1 (en) | 2001-06-21 | 2002-12-26 | Walker Jay S. | Methods and systems for documenting a player's experience in a casino environment |
US7274800B2 (en) | 2001-07-18 | 2007-09-25 | Intel Corporation | Dynamic gesture recognition from stereo sequences |
US6997556B2 (en) | 2001-10-01 | 2006-02-14 | Ernst Pfleger | Method for detecting, evaluating, and analyzing look sequences |
US7085401B2 (en) | 2001-10-31 | 2006-08-01 | Infowrap Systems Ltd. | Automatic object extraction |
US7003161B2 (en) | 2001-11-16 | 2006-02-21 | Mitutoyo Corporation | Systems and methods for boundary detection in images |
US6646244B2 (en) | 2001-12-19 | 2003-11-11 | Hewlett-Packard Development Company, L.P. | Optical imaging device with speed variable illumination |
US6753876B2 (en) | 2001-12-21 | 2004-06-22 | General Electric Company | Method for high dynamic range image construction based on multiple images with multiple illumination intensities |
US7305114B2 (en) * | 2001-12-26 | 2007-12-04 | Cognex Technology And Investment Corporation | Human/machine interface for a machine vision sensor and method for installing and operating the same |
JP3885999B2 (ja) | 2001-12-28 | 2007-02-28 | 本田技研工業株式会社 | 物体検出装置 |
JP3551188B2 (ja) | 2002-01-10 | 2004-08-04 | オムロン株式会社 | 表面状態検査方法および基板検査装置 |
US20030137590A1 (en) | 2002-01-18 | 2003-07-24 | Barnes Danny S. | Machine vision system with auxiliary video input |
US20050226490A1 (en) | 2002-01-29 | 2005-10-13 | Phillips Brian S | Method and apparatus for improved vision detector image capture and analysis |
US9092841B2 (en) | 2004-06-09 | 2015-07-28 | Cognex Technology And Investment Llc | Method and apparatus for visual detection and inspection of objects |
US7545949B2 (en) | 2004-06-09 | 2009-06-09 | Cognex Technology And Investment Corporation | Method for setting parameters of a vision detector using production line information |
US7271830B2 (en) | 2002-02-11 | 2007-09-18 | Hewlett-Packard Development Company, L.P. | Motion detection in an image capturing device |
JP3994761B2 (ja) | 2002-03-13 | 2007-10-24 | 日本電気ロボットエンジニアリング株式会社 | 物品検査装置 |
US7382895B2 (en) | 2002-04-08 | 2008-06-03 | Newton Security, Inc. | Tailgating and reverse entry detection, alarm, recording and prevention using machine vision |
US6817982B2 (en) | 2002-04-19 | 2004-11-16 | Sonosite, Inc. | Method, apparatus, and product for accurately determining the intima-media thickness of a blood vessel |
US6824059B2 (en) | 2002-04-30 | 2004-11-30 | Hewlett-Packard Development Company, L.P. | Apparatus for capturing images and barcodes |
US6954544B2 (en) * | 2002-05-23 | 2005-10-11 | Xerox Corporation | Visual motion analysis method for detecting arbitrary numbers of moving objects in image sequences |
US7219843B2 (en) | 2002-06-04 | 2007-05-22 | Hand Held Products, Inc. | Optical reader having a plurality of imaging modules |
US7139979B2 (en) | 2002-06-10 | 2006-11-21 | National Instruments Corporation | Displaying operations in an application using a graphical programming representation |
US7227978B2 (en) | 2002-06-20 | 2007-06-05 | Casio Computer Co., Ltd. | Image input device |
US6999625B1 (en) | 2002-07-12 | 2006-02-14 | The United States Of America As Represented By The Secretary Of The Navy | Feature-based detection and context discriminate classification for digital images |
JP2004145504A (ja) | 2002-10-23 | 2004-05-20 | Keyence Corp | 画像処理システム |
US7280685B2 (en) | 2002-11-14 | 2007-10-09 | Mitsubishi Electric Research Laboratories, Inc. | Object segmentation from images acquired by handheld cameras |
US7066388B2 (en) | 2002-12-18 | 2006-06-27 | Symbol Technologies, Inc. | System and method for verifying RFID reads |
US7181066B1 (en) | 2002-12-26 | 2007-02-20 | Cognex Technology And Investment Corporation | Method for locating bar codes and symbols in an image |
GB0302434D0 (en) | 2003-02-03 | 2003-03-05 | Sensor Highway Ltd | Interferometric method and apparatus for measuring physical parameters |
US7602962B2 (en) | 2003-02-25 | 2009-10-13 | Hitachi High-Technologies Corporation | Method of classifying defects using multiple inspection machines |
GB0305304D0 (en) * | 2003-03-07 | 2003-04-09 | Qinetiq Ltd | Scanning apparatus and method |
SE0301143D0 (sv) | 2003-04-17 | 2003-04-17 | C Technologies Ab | Sätt och anordning för inläsning av data |
US7274808B2 (en) | 2003-04-18 | 2007-09-25 | Avago Technologies Ecbu Ip (Singapore)Pte Ltd | Imaging system and apparatus for combining finger recognition and finger navigation |
US7312454B2 (en) | 2003-07-16 | 2007-12-25 | The Boeing Company | Non-destructive infrared inspection device |
US7604174B2 (en) | 2003-10-24 | 2009-10-20 | Cognex Technology And Investment Corporation | Method and apparatus for providing omnidirectional lighting in a scanning device |
US7823789B2 (en) | 2004-12-21 | 2010-11-02 | Cognex Technology And Investment Corporation | Low profile illumination for direct part mark readers |
US20070282480A1 (en) | 2003-11-10 | 2007-12-06 | Pannese Patrick D | Methods and systems for controlling a semiconductor fabrication process |
CA2546289A1 (en) | 2003-11-13 | 2005-06-02 | Metrologic Instruments, Inc. | Hand-supportable imaging-based bar code symbol reader supporting narrow-area and wide-area modes of illumination and image capture |
US7088846B2 (en) | 2003-11-17 | 2006-08-08 | Vidient Systems, Inc. | Video surveillance system that detects predefined behaviors based on predetermined patterns of movement through zones |
KR101044796B1 (ko) | 2004-01-13 | 2011-06-29 | 삼성전자주식회사 | 휴대용 데이터 저장 장치 |
US7095002B2 (en) * | 2004-02-23 | 2006-08-22 | Delphi Technologies, Inc. | Adaptive lighting control for vision-based occupant sensing |
JP3834041B2 (ja) | 2004-03-31 | 2006-10-18 | オリンパス株式会社 | 学習型分類装置及び学習型分類方法 |
US8131026B2 (en) | 2004-04-16 | 2012-03-06 | Validity Sensors, Inc. | Method and apparatus for fingerprint image reconstruction |
US8165355B2 (en) | 2006-09-11 | 2012-04-24 | Validity Sensors, Inc. | Method and apparatus for fingerprint motion tracking using an in-line array for use in navigation applications |
US8229184B2 (en) | 2004-04-16 | 2012-07-24 | Validity Sensors, Inc. | Method and algorithm for accurate finger motion tracking |
US8175345B2 (en) | 2004-04-16 | 2012-05-08 | Validity Sensors, Inc. | Unitized ergonomic two-dimensional fingerprint motion tracking device and method |
US7204171B2 (en) * | 2004-05-20 | 2007-04-17 | The United States Of America As Represented By The Secretary Of The Army | Apparatus for fastening and loosening a lid from a container |
US8891852B2 (en) | 2004-06-09 | 2014-11-18 | Cognex Technology And Investment Corporation | Method and apparatus for configuring and testing a machine vision detector |
EP1766364B1 (en) | 2004-06-09 | 2018-12-19 | Cognex Technology and Investment Corporation | Method and apparatus for visual detection and inspection of objects |
EP1763844A2 (en) | 2004-06-09 | 2007-03-21 | Cognex Technology and Investment Corporation | Method and apparatus for automatic visual event detection |
US8127247B2 (en) | 2004-06-09 | 2012-02-28 | Cognex Corporation | Human-machine-interface and method for manipulating data in a machine vision system |
US20050276445A1 (en) | 2004-06-09 | 2005-12-15 | Silver William M | Method and apparatus for automatic visual detection, recording, and retrieval of events |
US8243986B2 (en) | 2004-06-09 | 2012-08-14 | Cognex Technology And Investment Corporation | Method and apparatus for automatic visual event detection |
EP1769479A1 (en) | 2004-06-21 | 2007-04-04 | Tory Shane Weber | Method and device for detecting illegal operation of vehicles |
US7097102B2 (en) | 2004-07-29 | 2006-08-29 | Symbol Technologies, Inc. | System and method for decoding optical codes read by an imager-based optical code reader |
US7522163B2 (en) | 2004-08-28 | 2009-04-21 | David Holmes | Method and apparatus for determining offsets of a part from a digital image |
US7175090B2 (en) | 2004-08-30 | 2007-02-13 | Cognex Technology And Investment Corporation | Methods and apparatus for reading bar code identifications |
US7204420B2 (en) | 2004-08-31 | 2007-04-17 | Symbol Technologies, Inc. | Scanner and method for eliminating specular reflection |
US7657081B2 (en) | 2004-09-03 | 2010-02-02 | National Research Council Of Canada | Recursive 3D model optimization |
US20080166015A1 (en) | 2004-09-24 | 2008-07-10 | Object Video, Inc. | Method for finding paths in video |
US7070099B2 (en) | 2004-09-30 | 2006-07-04 | Symbol Technologies, Inc. | Modular architecture for a data capture device |
US7720315B2 (en) | 2004-11-12 | 2010-05-18 | Cognex Technology And Investment Corporation | System and method for displaying and using non-numeric graphic elements to control and monitor a vision system |
US7636449B2 (en) | 2004-11-12 | 2009-12-22 | Cognex Technology And Investment Corporation | System and method for assigning analysis parameters to vision detector using a graphical interface |
US7617984B2 (en) | 2004-12-16 | 2009-11-17 | Cognex Technology And Investment Corporation | Hand held symbology reader illumination diffuser |
US7383994B2 (en) | 2005-05-03 | 2008-06-10 | Datalogic Scanning, Inc. | Methods and systems for forming images of moving optical codes |
US7770799B2 (en) | 2005-06-03 | 2010-08-10 | Hand Held Products, Inc. | Optical reader having reduced specular reflection read failures |
EP1748378B1 (en) | 2005-07-26 | 2009-09-16 | Canon Kabushiki Kaisha | Image capturing apparatus and image capturing method |
US20070144649A1 (en) | 2005-12-27 | 2007-06-28 | Patrick Joseph King | Overlay configuration for a tire |
EP1914666A3 (en) | 2006-03-24 | 2008-05-07 | MVTec Software GmbH | System and methods for automatic parameter determination in machine vision |
US8108176B2 (en) | 2006-06-29 | 2012-01-31 | Cognex Corporation | Method and apparatus for verifying two dimensional mark quality |
US7984854B2 (en) | 2006-07-17 | 2011-07-26 | Cognex Corporation | Method and apparatus for multiplexed symbol decoding |
WO2008118419A1 (en) | 2007-03-23 | 2008-10-02 | Ltt, Ltd | Method and apparatus for reading a printed indicia with a limited field of view sensor |
WO2008118425A1 (en) | 2007-03-23 | 2008-10-02 | Ltt, Ltd | Method and apparatus for using a limited capacity portable data carrier |
DE602008006482D1 (de) | 2007-03-27 | 2011-06-09 | Casio Computer Co Ltd | Strichcode-Lesegerät und computerlesbares Medium |
TWI355615B (en) | 2007-05-11 | 2012-01-01 | Ind Tech Res Inst | Moving object detection apparatus and method by us |
US8237099B2 (en) | 2007-06-15 | 2012-08-07 | Cognex Corporation | Method and system for optoelectronic detection and location of objects |
US8718319B2 (en) | 2007-06-15 | 2014-05-06 | Cognex Corporation | Method and system for optoelectronic detection and location of objects |
US9734376B2 (en) | 2007-11-13 | 2017-08-15 | Cognex Corporation | System and method for reading patterns using multiple image frames |
JP5074896B2 (ja) | 2007-11-16 | 2012-11-14 | 株式会社キーエンス | 検査支援システム及び画像処理コントローラ |
US8204281B2 (en) | 2007-12-14 | 2012-06-19 | Validity Sensors, Inc. | System and method to remove artifacts from fingerprint sensor scans |
US7720364B2 (en) | 2008-01-30 | 2010-05-18 | Microsoft Corporation | Triggering data capture based on pointing direction |
US8238639B2 (en) | 2008-04-09 | 2012-08-07 | Cognex Corporation | Method and system for dynamic feature detection |
CN201256736Y (zh) | 2008-04-17 | 2009-06-17 | 萌立尔有限公司 | 一种竹集成材家具 |
US7973663B2 (en) | 2009-01-07 | 2011-07-05 | Sensomatic Electronics, LLC | Electronic article surveillance deactivator using visual pattern recognition system for triggering |
EP2221696A1 (de) | 2009-02-12 | 2010-08-25 | Siemens Aktiengesellschaft | Verfahren und Vorrichtung zum Überprüfen eines Steuerprogramms einer Industrieanlage |
TW201036343A (en) | 2009-03-20 | 2010-10-01 | Ind Tech Res Inst | Address generator of communication data interleaver and communication data decoded circuit |
-
2004
- 2004-06-09 US US10/865,155 patent/US9092841B2/en active Active
-
2005
- 2005-05-24 US US11/136,019 patent/US8249329B2/en active Active
- 2005-05-24 US US11/136,103 patent/US8290238B2/en active Active
- 2005-06-06 CN CNA2005800270103A patent/CN101023447A/zh active Pending
- 2005-06-06 CN CNA2005800270705A patent/CN101002230A/zh active Pending
- 2005-06-06 CN CNA2005800270090A patent/CN101002229A/zh active Pending
-
2007
- 2007-06-27 US US11/769,494 patent/US8422729B2/en active Active
-
2012
- 2012-09-20 US US13/623,387 patent/US8630478B2/en not_active Expired - Lifetime
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105511315A (zh) * | 2015-12-01 | 2016-04-20 | 天津普达软件技术有限公司 | 一种使机器视觉检测与控制器保持同步的方法 |
CN105511315B (zh) * | 2015-12-01 | 2017-10-27 | 天津普达软件技术有限公司 | 一种使机器视觉检测与控制器保持同步的方法 |
CN110596115A (zh) * | 2018-06-12 | 2019-12-20 | 欧姆龙株式会社 | 图像检查***以及其控制方法 |
CN110596115B (zh) * | 2018-06-12 | 2022-03-18 | 欧姆龙株式会社 | 图像检查***以及其控制方法 |
CN113939731A (zh) * | 2019-04-30 | 2022-01-14 | 势必锐航空***有限公司 | 在线激光器轮廓测量检查*** |
US20210304399A1 (en) * | 2020-03-31 | 2021-09-30 | Ngk Insulators, Ltd. | Inspection method and inspection system for pillar-shaped honeycomb structure made of ceramic |
US11915409B2 (en) * | 2020-03-31 | 2024-02-27 | Ngk Insulators, Ltd. | Inspection method and inspection system for pillar-shaped honeycomb structure made of ceramic |
Also Published As
Publication number | Publication date |
---|---|
US20130163847A1 (en) | 2013-06-27 |
US20050275831A1 (en) | 2005-12-15 |
US20050275833A1 (en) | 2005-12-15 |
CN101002230A (zh) | 2007-07-18 |
US9092841B2 (en) | 2015-07-28 |
US8249329B2 (en) | 2012-08-21 |
US20050275834A1 (en) | 2005-12-15 |
US20080036873A1 (en) | 2008-02-14 |
US8290238B2 (en) | 2012-10-16 |
CN101002229A (zh) | 2007-07-18 |
US8630478B2 (en) | 2014-01-14 |
US8422729B2 (en) | 2013-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101023447A (zh) | 用于对象的检查和视觉检测的方法和装置 | |
JP5784397B2 (ja) | 物体の視覚検出および検査のための方法および装置 | |
US8249296B2 (en) | Method and apparatus for automatic visual event detection | |
EP1766575B1 (en) | Method and apparatus for configuring and testing a machine vision detector | |
US7545949B2 (en) | Method for setting parameters of a vision detector using production line information | |
US20050276461A1 (en) | Method and apparatus for automatic visual detection, recording, and retrieval of events | |
US20060107211A1 (en) | System and method for displaying and using non-numeric graphic elements to control and monitor a vision system | |
JP5350444B2 (ja) | 自動視覚事象検出の方法と装置 | |
CN109433641A (zh) | 基于机器视觉的片剂胶囊灌装遗漏智能检测方法 | |
CN104778676A (zh) | 基于深度测距的运动目标检测方法及*** | |
Reiterer et al. | A 3D optical deformation measurement system supported by knowledge-based and learning techniques | |
US20130074005A1 (en) | System, method and graphical user interface for displaying and controlling vision system operating parameters | |
CN110069995A (zh) | 一种基于深度学习的餐盘运动状态识别方法 | |
CN102419906A (zh) | 车流量自动检测*** | |
CN102022981B (zh) | 测量亚像素位移的峰谷运动探测方法及装置 | |
Hassan et al. | Smart Physics with Video Tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |