CN103221807A - 快速处理和检测幅材型材料中的不均匀因素 - Google Patents

快速处理和检测幅材型材料中的不均匀因素 Download PDF

Info

Publication number
CN103221807A
CN103221807A CN2011800546373A CN201180054637A CN103221807A CN 103221807 A CN103221807 A CN 103221807A CN 2011800546373 A CN2011800546373 A CN 2011800546373A CN 201180054637 A CN201180054637 A CN 201180054637A CN 103221807 A CN103221807 A CN 103221807A
Authority
CN
China
Prior art keywords
image
feature group
detection system
width
cloth material
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800546373A
Other languages
English (en)
Other versions
CN103221807B (zh
Inventor
埃文·J·瑞博尼克
肯尼斯·G·布里顿
约翰·A·拉姆瑟恩
德里克·H·贾斯蒂斯
吉列尔莫·萨皮罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3M Innovative Properties Co
Original Assignee
3M Innovative Properties Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3M Innovative Properties Co filed Critical 3M Innovative Properties Co
Publication of CN103221807A publication Critical patent/CN103221807A/zh
Application granted granted Critical
Publication of CN103221807B publication Critical patent/CN103221807B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65H—HANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H43/00—Use of control, checking, or safety devices, e.g. automatic devices comprising an element for sensing a variable
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N19/00—Investigating materials by mechanical methods
    • G01N19/02—Measuring coefficient of friction between materials
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N19/00—Investigating materials by mechanical methods
    • G01N19/10—Measuring moisture content, e.g. by measuring change in length of hygroscopic filament; Hygrometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N22/00—Investigating or analysing materials by the use of microwaves or radio waves, i.e. electromagnetic waves with a wavelength of one millimetre or more
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/20—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by using diffraction of the radiation by the materials, e.g. for investigating crystal structure; by using scattering of the radiation by the materials, e.g. for investigating non-crystalline materials; by using reflection of the radiation by the materials
    • G01N23/207—Diffractometry using detectors, e.g. using a probe in a central position and one or more displaceable detectors in circumferential positions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/223—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material by irradiating the sample with X-rays or gamma-rays and by measuring X-ray fluorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N24/00—Investigating or analyzing materials by the use of nuclear magnetic resonance, electron paramagnetic resonance or other spin effects
    • G01N24/08—Investigating or analyzing materials by the use of nuclear magnetic resonance, electron paramagnetic resonance or other spin effects by using nuclear magnetic resonance
    • G01N24/082—Measurement of solid, liquid or gas content
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N9/00—Investigating density or specific gravity of materials; Analysing materials by determining density or specific gravity
    • G01N9/36—Analysing materials by measuring the density or specific gravity, e.g. determining quantity of moisture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Textile Engineering (AREA)
  • Quality & Reliability (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Treatment Of Fiber Materials (AREA)

Abstract

本公开涉及计算机化检测***，所述***用于检测所述不均匀缺陷的存在并提供表征每个类型不均匀缺陷的严重性的输出。描述了增大所述检测***吞吐量的技术。描述了大大缩短检测期望为基本上均匀的给定数量材料所需平均时间的算法和硬件方法。本文所述的技术涉及选择动态选择要计算的图像特征，方法是首先以基本特征组开始，然后根据需要仅触发额外的特征计算，直到所述特征足以用来计算每个类型不均匀缺陷的严重性。提取的特征数和所述特征的提取顺序均实时动态确定，以降低与所述特征提取相关联的成本。

Description

快速处理和检测幅材型材料中的不均匀因素
相关专利申请的交叉引用
本专利申请要求提出关于2010年11月12日提交的美国临时专利申请No.61/413,250的优先权，所述专利申请的公开内容全文以引用方式并入本文。
技术领域
本发明涉及自动检测***，例如用于检测移动幅材的计算机化***。
背景技术
已经证明用于分析移动幅材的计算机化检测***对现代制造操作至关重要。产品线的目标是生产完全均匀并且不具有可变性的材料。然而，不均匀性是幅材型材料制造过程中的常见问题。这可由许多过程变量或配方误差导致。因此，配置基于成像的检测***变得日益常见，该检测***能够根据光学检测传感器（如摄像机）捕获的数字图像对制成品的质量进行自动分类。在最简单的情况下，一些检测***应用了通常称为“分类器”的算法，该算法尝试对每个捕获的数字图像（即，“样本”）指定评级，从而指示样本或其部分是合格的还是不合格的。
这些检测***通常尝试辨识“点”缺陷，其中每个缺陷局限在制成材料的单个区域内。然而，可能存在称为“不均匀”缺陷或“不均匀因素”的其他类型缺陷，其中幅材在较大区域上表现出不均匀可变性。此类不均匀因素的例子包括杂色、颤动、带和条纹。按照定义，诸如此类的不均匀缺陷是分散的而非局部的。因此，相对于局部的点缺陷，计算机化检测***对此类缺陷的检测和定量可能更难。
尝试检测制成材料中的不均匀因素时，检测***通常会收集并处理样本图像，以提取表征具体不均匀因素的特征。基于这些特征，检测***应用一个或多个分类器以生成不均匀因素的严重性评估。特征提取可为计算密集型并且可为检测流程的限制因素。例如，在此步骤中，包含几百万像素的高分辨率图像将被缩小，通过可能涉及过滤、形态学、时间、光谱或统计处理的例程变成或许不超过50个代表性数字（或特征）。所得数字随后成为评估基础产品质量的依据。将数百万像素的值缩减成数十个信息化数字需要的时间可能很长，因此，即使是现代计算机，也无法实时执行以获得快速生产率。一个方法是购买更多更昂贵的计算机，但此解决方案可能使检测***的成本过高，并且带来数据分布和结果汇总方面的额外实施问题。
发明内容
总体来讲，本公开描述了计算机化检测***，该***用于检测不均匀缺陷的存在并提供表征每个缺陷的严重性的输出。描述了增大设计用于检测并分类制造幅材中特定图形的检测***的吞吐量的技术。描述了大大缩短检测期望为基本上均匀的给定数量材料所需平均时间的算法和硬件方法。这样，该技术可以显著提高生产率。本文所述的算法技术涉及动态（即，在线）确定要计算哪些图像特征，方法是首先从基本特征组开始，然后根据需要仅触发额外特征的计算。
在一个实施例中，描述了用于在制造幅材时实时检测幅材并计算不均匀缺陷严重性的在线计算机化检测***。该检测***包含用来存储模型的存储器，其中模型定义了用于实时选择从幅材的样本图像提取哪些特征的动态触发链。计算机会执行软件以处理从当前正在制造的制造幅材捕获的样本图像，从而提取第一个特征组。软件应用该模型动态触发选择额外的特征组以从样本图像中提取，直到所提取的特征足以用来计算幅材的不均匀缺陷的严重级别。
在另一个实施例中，描述了用于在制造幅材时实时检测幅材并计算不均匀缺陷严重性的方法。该方法包括使用在线计算机化检测***接收从正在制造的幅材捕获的图像、使用该检测***处理图像以提取第一个特征组、以及使用该检测***处理第一个特征组以确定是否能够计算出幅材的不均匀缺陷的严重级别。该方法还包括在确定无法从第一个特征组计算出的严重级别时，应用模型来动态选择第二个特征组以从图像中提取、使用检测***处理图像以提取第二个特征组、以及使用检测***处理第二个特征组来确定是否可以计算出幅材的不均匀缺陷的严重级别。该方法还包括，确定可从第一个特征组和第二个特征组计算出的严重级别时，使用检测***来计算幅材的不均匀缺陷的严重级别。
本文所述的技术适用于许多产品线，包括在幅材上生产的任何材料。该技术应用范围广泛，可用于均匀度为重要因素的众多产品。一些例子包括光学膜、窗膜和磨料。
本发明的一个或多个实施例的细节在附图和以下具体实施方式中说明。通过具体实施方式和附图以及权利要求书，本发明的其他特征、目标和优点将显而易见。
附图说明
图1为示出了示例性幅材制造和转换***的框图，其中可在该***中应用本文所述的技术。
图2为示出了示例性幅材制造厂中检测***的示例性实施例的框图。
图3为示出了本文所述***的示例性操作的流程图。
图4为示出了示例性动态***架构的流程图，其中特征提取模型通过使用得自连续较大特征组的结果实时构建“最佳特征组”，从而触发额外特征的计算。
图5示出了ROC空间中三步序列的性能。
图6为示出了基线随机法和贪心优化法之间区别的柱状图。
图7和图8为示出基于模拟研究的性能结果的图。
具体实施方式
图1为示出示例性***2的框图，其中可以应用本文所述的技术。幅材制造厂6A-6N（幅材制造厂6）表示生产和运输幅材卷7形式的幅材的制造地点。幅材制造厂6可以按地理位置分布，该幅材制造厂中的每一个可以包括一条或多条生产线。通常，幅材卷7可由任何制造厂6制造，并可在幅材制造厂之间运输以进行额外的处理。成品幅材卷10运输到转换位点8A-8N（转换位点8）以转换成产品12A-12N（产品12）。如图1所示，转换控制***4、幅材制造厂6A-6M（幅材制造厂6）和转换位点8A-8N（转换位点8）通过计算机网络9互连，以交换与幅材制造相关的信息（例如缺陷信息）并转换成产品12。
通常，幅材卷7、10可以包含制造幅材，其可以是在一个方向具有固定尺寸并且在正交方向上具有预定或待定长度的任何片状材料。幅材的实例包括但不限于金属、纸张、织物、非织物、玻璃、聚合物膜、柔性电路或它们的组合。金属可以包括例如钢或铝等材料。织物一般包括各种布。非织物包括例如纸张、过滤介质或绝缘材料等材料。膜包括例如透明和不透明的聚合物膜，包括层压材料和涂覆膜。
转换位点8可接纳来自幅材制造厂6的成品幅材卷10，并将成品幅材卷10转换成各个片材，所述各个片材可组装到用于销售至客户14A-14N（客户14）的产品12内。转换***可根据多种标准（例如与产品相关的等级水平）确定将给定成品幅材卷10转换成何种产品14。也就是说，可以根据每个片材所符合的特定等级水平选择应将哪个片材组装到哪个产品12中。根据本文所述的技术，转换位点8也可接收成品幅材卷10中的与异常有关的数据，即，可能的缺陷。最终，转换位点8可将成品幅材卷10转换成各个片材，所述各个片材可组装到用于销售至客户14A-14N（客户14）的产品12内。
为了生产准备转换成用于组装到产品12中的各个片材的成品幅材卷10，非成品幅材卷7可能需要经多条生产线的处理，这些生产线可位于一个幅材制造厂内，例如幅材制造厂6A内，也可位于多个制造厂内。每一个加工过程通常使用幅材卷作为原料卷，利用卷将幅材送入制备工艺中。完成每个制造过程后，幅材通常再次卷绕成幅材卷7并转移至不同产品线或运送至不同制造厂，在那里进行退绕、加工并再次卷绕成卷。不断重复该过程，直至最终生产出成品幅材卷10。对于多个应用，用于幅材卷7中的每一个的幅材可具有多个涂层，所述涂层是在一个或多个幅材制造厂6的一条或多条生产线处涂覆的。就第一制备工艺而言，涂层通常涂覆至基础幅材的暴露表面，或者就后续制备工艺而言，涂层通常涂覆至先前涂覆的涂层。涂层的例子包括粘合剂、硬涂层、低粘附力背面涂层、金属化涂层、中密度涂层、导电或不导电涂层，或者它们的组合。
在一个给定幅材卷7的每一个制备工艺中，一个或多个检测***会采集幅材的异常信息。例如，如图2所示，处理幅材时，如向幅材施加一个或多个涂层时，生产线的检测***可以包括紧邻连续移动幅材设置的一个或多个图像采集装置。图像采集装置扫描连续移动幅材的连续部分，以获得数字图像。检测***使用一种或多种算法来分析图像，以生成可表示实际“缺陷”的所谓“局部”异常信息，具体取决于将幅材转换成何种最终产品12。检测***可以（例如）生成“点”缺陷的异常信息，其中每个缺陷都被定位在单一区域中。又如，检测***可以生成“不均匀”缺陷或“不均匀因素”的异常信息，其中幅材在比点缺陷的区域更大的区域内表现出不均匀可变性。此类不均匀因素的例子包括杂色、颤动、带和条纹。
幅材制造厂6内的检测***可应用算法来在制造幅材时检测不均匀缺陷的存在并提供表征每个缺陷的严重性的输出。例如，计算机化检测***可以向幅材制造厂6内的用户如工艺工程师提供关于不均匀因素的存在及其严重性的实时反馈，从而使得该用户可以对不均匀因素的出现快速作出反应，即通过调整工艺条件以弥补问题，而不会显著延迟生产或生产出大量无用的材料。计算机化检测***可应用算法来计算严重级别，方法是最终指定不均匀因素的等级标签（如，“好”或“坏”），或以连续刻度或更准确的采样刻度生成给定样本不均匀度严重性的量度，例如0至10刻度上的1.63。
在此流程中，检测***可应用本文所述的技术来动态（即，在幅材制造过程中实时）确定要计算哪些图像特征。在一个示例中，检测***首先提取基本特征组，仅根据需要触发额外特征的计算。对于采集的每个样本图像，该技术通过使用得自连续较大特征组的结果实时构建“最佳特征组”，以触发额外特征的计算。检测***首先使用基线特征组，然后根据基线特征组的值决定要计算哪些额外特征（如果有的话）。类似地，分析这些额外特征组以确定需要哪些额外特征。特征提取流程每个步骤处的决定在本文中被称为潜在触发事件。在一个实施例中，检测***可决定是否在每个潜在触发事件处触发额外特征的计算，以优化可控Markov链模型下分级准确性中的预期收益。
在一些实施例中，检测***的分析计算机通过应用根据训练数据开发的连续分级模型对捕获的数字图像进行处理。通常在算法的“训练阶段”过程中处理训练数据，并且开发连续分级模型以最佳地匹配训练数据。也就是说，在训练阶段和开发连续分级模型之后，对训练数据应用连续分级模型将为训练数据贴上高正确概率的标签。一旦通过训练数据开发出模型，分析计算机将在处理的“分级阶段”，对从新制成品捕获的样本潜在地实时应用该模型，并提供不均匀度严重性的连续制图，所述不均匀度严重性不局限于离散等级标签，例如“合格”或“不合格”、或“1”、“3”或“5”，计算机化检测***可以提供样本的连续分级。例如，计算机化检测***可以应用算法在连续刻度上生成幅材内不均匀缺陷严重性的量度，例如0至10刻度上的1.63。此外，可以通过一组训练图像开发用于实现样本的连续分级的连续分级模型，对于这组训练图像，不均匀度严重级别仅在粗略离散的刻度上已知。
在一些实施例中，可以通过转换控制***4对给定的制造幅材的数字图像进行离线的额外分析。转换控制***4可根据给定幅材的分类为每个幅材卷10选择和生成转换方案。数字图像分析和严重级别测定可能是特定于应用的，因为某些不均匀因素可能在一个产品（如产品12A）中引起缺陷，而该异常在不同产品（如产品12B）中可能不会引起缺陷。每一个转换方案表示限定的指令，用于将对应成品幅材卷10加工，以用于形成可以最终出售给客户14的产品12。例如，可将幅材卷10转换成用于应用到笔记本电脑的显示屏的最终产品，如，特定尺寸的片材。又如，可将相同的幅材卷10取代地转换成用于应用到移动电话的显示屏的最终产品。转换控制***4可根据可应用到异常的不同缺陷检测算法来辨识出哪一个产品最佳地实现某些参数，例如幅材的最大利用率。
图2为框图，示出了位于图1的示例性幅材制造厂6A中的幅材生产线21的一部分内的检测***的示例性实施例。在示例性实施例中，
将幅材20的一段设置在两个支承辊22、24之间。图像采集装置26A-26N（图像采集装置26）被设置为紧邻连续移动幅材20，并扫描连续移动幅材20的连续部分以获取图像数据。采集计算机27从图像采集装置26收集图像数据，然后将图像数据传送至分析计算机28。
图像采集装置26可以是能够读取移动幅材20的连续部分并以数字数据流方式提供输出的常规图像装置。如图2所示，成像装置26可为直接提供数字数据流的摄像机或是具有额外模数转换器的模拟摄像机。其他传感器，例如激光扫描仪，可以作为图像采集装置使用。幅材的连续部分表明通过连续的单行采集数据。单行包括映射到单排传感器或像素的连续移动幅材的区域。适于采集图像的装置实例包括行扫描摄像机，例如得自的Aviiva SC2CL型。其他例子包括与模数转换器结合使用的得自Surface Inspection Systems GmbH(Munich,Germany)的激光扫描仪。
可以通过使用辅助获取图像的光学组件而可选地采集图像数据。组件可以是摄像机的一部分，也可以与摄像机分开。光学组件在成像过程中利用反射光、透射光或折射光。反射光例如通常适合检测由于幅材表面变形（例如表面划痕）引起的缺陷。
在一些实施例中，基准标记控制器30控制基准标记读出器29来从幅材20采集卷和位置信息。例如，基准标记控制器30可包括一个或多个光学照相传感器，以用于从幅材20读取条形码或其他标记。另外，基准标记控制器30可从与幅材20和/或辊22、24接合的一个或多个高精度编码器接收位置信号。根据这些位置信号，基准标记控制器30确定每一个检测到的基准标记的位置信息。基准标记控制器30将卷和位置信息传送到分析计算机28，以用于与所检测的异常进行关联。
分析计算机28处理来自采集计算机27的图像数据流。根据本文所述的技术，特征提取模型43在分析计算机28上执行，并动态确定在幅材20的制造期间基于每个图像实时计算哪些图像特征。即，对于制造期间采集的每个样本图像，特征提取模型43通过使用得自连续较大特征组的结果实时构建“最佳特征组”，以触发额外特征的计算，直至可计算出每个类型的潜在不均匀因素的严重级别。在一个示例性实施例中，计算机化不均匀度制图模块39（“制图模块39”）通过应用算法处理提取的特征，该算法利用根据训练数据35开发的连续分级模型34（“模型34”）检测不均匀缺陷的存在并提供每种缺陷的严重级别的连续制图。示例性制图模块39的其他细节可见于Ribnick等人提交的名称为“CONTINUOUS CHARTING OF NON-UNIFORMITYSEVERITY FOR DETECTING VARIABILITY IN WEB-BASEDMATERIALS”（用于检测幅材型材料可变性的不均匀度严重性的连续制图）的美国临时专利申请61/394,655。
训练数据35通常由一大组代表性样本数字图像组成，这些数字图像已被一个或多个专家38指定等级。先前自动分级的数据也可用于训练。数字图像可以（例如）代表取自幅材20或此前由生产线21生产的另一个幅材的样本。训练服务器36可以提供用于执行软件的操作环境，该软件提供计算机化专家评级工具37（“评级工具37”），以辅助专家38对代表样本的较大数字图像集合有效并一致地指定等级（即标签）。示例性专家评级工具37的其他细节可见于Ribnick等人提交的名称为“COMPUTER-AIDED ASSIGNMENT OF RATINGS TODIGITAL SAMPLES OF A MANUFACTURED WEB PRODUCT”（幅材制成品的数字采样评级的计算机辅助指定）的美国临时专利申请61/394,428。
一旦确立了训练数据35，训练模块41将处理训练数据，从而生成连续分级模型34，以便随后被制图模块39用于对从采集计算机27接收的幅材20的图像数据进行实时分析。因此，可根据连续分级模型34对幅材20各区域的新图像进行分级。可检测的示例性缺陷包括不均匀因素（例如杂色、颤动、带和条纹）和点缺陷（包括斑点、划痕、油滴）。
分析计算机28可在数据库32内存储幅材20的异常信息，包括幅材20的卷辨识信息和每一个异常的可能位置信息。例如，分析计算机28可使用由基准标记控制器30生成的位置数据来确定生产线坐标系内每个异常的空间位置或图像区域。也就是说，根据来自基准标记控制器30的位置信息，分析计算机28确定每个异常在当前生产线所用坐标系内的x、y以及可能的z位置或范围。例如，可以限定坐标系，使得x维度表示幅材20的横向距离，y维度表示幅材的纵向距离，z维度表示幅材的高度，所述高度取决于涂层的数量、材料或此前涂覆到幅材的其他层。此外，可以限定x、y、z坐标系在生产线内物理位置处的原点，其通常与幅材20的初始进料位置相关。数据库32可以按许多不同形式中的任一形式执行，包括数据存储文件或在一个或多个数据库服务器上执行的一个或多个数据库管理***(DBMS)。数据库管理***可以是例如关系(RDBMS)、分层(HDBMS)、多维(MDBMS)、面向对象（ODBMS或OODBMS）或对象关系(ORDBMS)数据库管理***。例如，数据库32是作为由Microsoft Corporation的SQL ServerTM提供的关系数据库而执行的。
一旦该过程结束，分析计算机28就可将收集在数据库32中的数据通过网络9传送至转换控制***4。例如，分析计算机28可以将卷信息和异常信息以及每个异常的相应子图像传送至转换控制***4，用于根据连续分级模型34进行后续的离线详细分析。例如，信息可通过数据库32与转换控制***4之间的数据库同步进行传送。在一些实施例中，转换控制***4（并非分析计算机28）可确定出每一个异常可在产品12中引起缺陷的那些产品。一旦将成品幅材卷10的数据收集在数据库32中，就可将所述数据传送至转换位点8和/或使用所述数据来标记幅材卷上的异常，方式为利用可移除或可擦洗标记直接在幅材表面上进行标记或者在覆盖片材上进行标记，所述覆盖片材可在幅材上进行异常标注之前或期间被施加至幅材。
分析计算机28和训练服务器36的组件可以至少部分实施为由分析计算机28的一个或多个处理器执行的软件指令，所述处理器包括一个或多个硬件微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或任何其他等同的集成或离散逻辑电路、以及此类组件的任何组合。可以将软件指令保存在非瞬时计算机可读介质中，例如随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、硬盘、CD-ROM、软盘、盒式磁带、磁介质、光学介质，或其他计算机可读存储介质。虽然出于示例性目的显示为设置在制造厂6A内部，但分析计算机28以及训练服务器36可以位于制造厂外部，如位于中央位置或在转换位点处。例如，分析计算机28和训练服务器36可以在转换控制***4内部运行。又如，所述组件在单个计算平台上执行并且可以集成到同一个软件***中。
图3是流程图，提供了图2中检测***的概览。在本实例中，流程包括处理的两个常规阶段：训练阶段45和在线评估阶段47。出于示例目的，就以连续刻度或更准确的采样刻度生成给定样本不均匀度严重性的量度（例如，刻度0至10上的1.63）对检测***进行了描述。该技术在这一点上不受限制，并且可应用于幅材内不均匀缺陷严重性的其他形式标记或评级。
首先，训练模块41接收通常为一组图像的形式的训练数据35作为输入，对于这组图像，严重性等级在可能粗略离散的刻度上是已知的(50)。也就是说，训练数据35可以是表示从幅材20获取的样本的数字图像，并且计算机化专家评级工具37（“评级工具37”）可以通过美国临时专利申请61/394,428中所述方式对每个数字图像指定离散等级53。
接下来，训练模块41的特征提取软件模块对每个图像进行处理，以提取特征(52)。特征提取提供每个图像的数值描述符作为每个图像固有相关信息的简化数值表示。由于训练期间的特征提取是离线进行的，因此特征提取软件模块可执行每个训练图像的完整特征组的提取计算。可以保留与训练集中图像之间关系相关的可用信息的任何方式来提取特征，同时去除无信息的图像特征。通用特征提取技术的例子包括用一组过滤器卷积图像并计算已过滤图像的统计信息，或根据颜色或强度直方图提取特征。有时可将像素值用作特征，但这种情况下的描述符无简化，因为通常必须存储整个图像。通常，所得特征被视为对应图像中相关信息的简化描述。
本文所述技术不限于与任何特定特征提取方法一起使用，并且可以容易地应用到其他类型的特征更适合的应用中。通常，从图像提取的特征为描述性的，因为它们包含关于图像相对于特定类型的不均匀因素的辨别信息。这样，一旦提取了特征，对应于每个图像的特征矢量将表示该图像中包含的大部分相关信息。
一个示例性特征提取算法，特别是当其涉及纹理时，是计算图像上像素特征的小协方差矩阵。一旦推导出该小协方差矩阵（例如5×5），就可仅根据这些矩阵有效地进行图像间的成对比较，而不是直接处理图像。例如，将灰度图像定义为二维阵列，并通过像素坐标x和y将其标记为I(x,y)。在每个像素位置(x,y)，根据像素强度值及该像素处的一阶和二阶导数推导出特征矢量：
f ( x , y ) = I ( x , y ) ∂ I ( x , y ) ∂ x ∂ I ( x , y ) ∂ y ∂ 2 I ( x , y ) ∂ x 2 ∂ 2 I ( x , y ) ∂ y 2 T . - - - ( 1 )
只需计算每个像素处强度值之间的前向差分和中心差分，即可近似得出图像导数（梯度）。包括高阶导数或过滤图像结果的其他特征可以矢量结合在（公式1）。相似地，并不需要包括所有导数，例如，如果给定方向的导数不能提供针对特定缺陷的信息，可将其从（公式1）中移除。最后，在整个图像范围内计算这些像素特征的协方差矩阵：
C I = 1 N - 1 Σ ( x , y ) ∈ I ( f ( x , y ) - μ ) ( f ( x , y ) - μ ) T , - - - ( 2 )
其中N为图像中的像素数量，并且
μ = 1 N Σ ( x , y ) ∈ I f ( x , y ) - - - ( 3 )
为像素特征的平均值。在后续的加工步骤中，其可用于计算图像之间的成对距离。就这些协方差矩阵描述符而言，成对距离的计算公式如下：
d C ( I 1 , I 2 ) = Σ i = 1 5 ln 2 λ i ( C I 1 , C I 2 ) , - - - ( 4 )
其中λi(CI1;CI2)为两个协方差矩阵的第i个广义特征值。更多详细信息可见于O.Tuzel、F.Porikli和P.Meer.的“Region Covariance:A FastDescriptor for Detection and Classification”，此为2006年欧洲计算机视觉会议的会议记录。
提取每个训练图像的特征后，训练模块41对特征矢量进行处理，从而根据训练图像的不均匀因素的严重性认识其连续分级并生成连续分级模型34(54)。在训练阶段45期间，训练模块41根据训练图像的不均匀因素的严重性认识其连续分级。首先，有关每个训练图像的所有已知内容为专家评级，指示对应样本相对于特定类型的不均匀因素是“良好”或“差”、还是“1”、“3”或“5”。这些专家评级提供了训练图像的常用粗略次序，即训练图像可分为2或3个离散的类别，或者如果操作员能够提供此类信息，则可分为更多类别。训练模型41使用该粗略次序作为输入并认识连续分级，其中将训练图像相对于特定不均匀因素沿连续刻度从最好到最差分级。虽然良好的等级应该尽可能注意到专家评级，例如对“良好”图像指定比标记为“差”的图像较低的严重性等级，在某些情况下，并不能完全防止训练模块41违背由离散标签暗示的粗略分级，因为这是可能发生的，并且实际上由于手动标记训练数据的主观性，专家评级中通常存在错误。
在线评估阶段47期间，制图模块39在生产线上实时应用识别出的连续分级模型34。由于已捕获正在生产的幅材的样本图像(56)，特征提取模块43会从图像提取特征(58)。如将在下面进一步详述的那样，特征提取模块43动态确定在幅材20的制造期间根据每个图像实时计算哪些图像特征。对于制造期间采集的每个样本图像，特征提取模型43通过使用得自连续较大特征组的结果实时构建“最佳特征组”，以触发额外特征的计算。特征提取模块43可存储模型（例如，Markov模型），该模型将定义用于实时选择从样本图像提取哪些特征的动态触发链。特征提取模块43应用模型来重复地动态触发选择额外特征组以从样本图像中提取，直到所提取的特征足以用来计算幅材的不均匀缺陷的严重级别（59，60）。这样，特征提取模块43将实时动态确定为任意给定样本图像提取的特征数以及特征提取顺序。计算机化检测***可通过指定严重性等级标签（例如“好”或“差”）或生成严重性值（例如，刻度1至10上的“1.63”）来计算严重级别。计算出的不均匀缺陷严重性可随后输出给用户例如，一旦所提取的特征对于根据连续评级模型34指定的严重性等级而言足够，即可将严重性等级输出给用户。
图4为流程图，示出了示例性动态***架构，其中特征提取模块43通过使用得自连续较大特征组的结果实时构建“最佳特征组”，从而触发额外特征的计算。捕获幅材的新图像之后，分析计算机28可执行预处理，例如切边、整平等，以及计算一些特定统计数据用于记录或输出显示屏显示。
下一步，特征提取模块43到达第一个触发点60，在此处决定是否通过分析为直到流程中该点的新图像计算出的特征来触发额外的处理。例如，由于与其他特征提取计算相比，处理更为简单和快速，因此特征提取模块43可应用由操作人员确定的基本特征组。在触发点60处，特征提取模块43可使用所谓的二进制大对象脚本进行一些形态学（二进制大对象）分析，从而使用基本特征组检测点缺陷。与此同时，特征提取模块43确定基本特征组是否提供足够的证据来评估新图像内在某个置信水平范围内的不均匀变动。例如，可根据简单的启发式方法确定是否触发多个特征来帮助分类当前图像。例如，在某个情况下可以设置简单的决策规则，使得如果就因添加动态确定的下一最佳特征组而导致的不均匀缺陷而言，预期的错误分级图像成本降低高于一些阈值，特征提取模块触发提取额外的特征。预期的成本降低（即所需的置信水平）可使用所学的Markov模型予以确定，下文将进行详述。否则，特征提取模块43会前进到触发点62并连续触发更复杂的处理。即，在第二个触发点62处，特征提取模块43会执行第二个特征组提取计算，如图像过滤/边缘化，以提取额外的特征。与初始执行的基本特征组相比，此第二个特征组提取计算可能更为复杂，计算密度也更大。特征提取模块43使用图像脚本再次尝试辨识不均匀因素的程度和类型，图像脚本也称为分类器，是一些数学模型，其输入是为直到流程中该点处的新图像提取的一些或全部特征。
该流程作为触发点60M的链重复进行，在每个触发点处将决定是否有必要进行额外的更复杂的图像处理计算，从而确定任意类型不均匀因素存在于图像内的程度。在每个触发点处进行的测定基于为直到流程中该点处的新图像计算出的特征。
在一些情况下，从幅材实时捕获的样本图像可能包含多个图形。根据图4中示出的流程，特征提取模块43运行，以触发可能导致任何不均匀因素最准确分级的特征。可针对每个由计算机化检测***成像的每个单独样本执行此流程。特征提取模块43也可以在轮询方案下运行，在该方案中触发或撤销流程组件的必要性在每个X样本后检查，其中X是可配置的参数。
在一个例子中，特征提取模块43配置为根据可控的Markov模型来运行，以进行动态触发。在此实施例中，特征提取模块43包括定义状态矢量x(t)的配置数据，该矢量作为在与未来触发事件相关的任何触发步骤t处信息的充分汇总。出于完整性考虑，在流程任意点处的触发事件用于分析单个图像样本，其中特征提取模块43有机会选择要计算的额外特征。
在一个例子中，状态矢量通过一系列分类器{Φi(t)}i=1 N进行定义，其中在触发步骤t处，Φi(t)仅取决于在步骤t处触发的特征以及在前一步骤{Φi(t-1)}i=1 N处的分类器系列。如何使用ROC优化分类器增强算法构建分类器系列序列的例子在PCT国际专利申请No.WO/2010/059679中有所描述。在此例子中，二进制分类器由一组得自所标记训练数据的决策规则（即，可能多个变量上的阈值）组成。然而，通常可使用任何离散的分级算法。其他例子包括支持矢量机(SVM)、逻辑回归或决策树。
关于定义特征提取模块43的状态矢量，步骤t处状态矢量的第i个元素作为由Φi(t)即xi(t)=Φi(t)指定的分级。一个例子是二进制分级，使得x(t)∈{0,1}N，然而，本文所讨论的方法可扩展为多种情况。
特征提取模块43的配置数据包括确定给定触发事件处操作的控制变量，即，指定为下一个要计算的但尚未计算出的一个或多个特征的额外组。为了简化讨论，假设在每个触发事件处选择单个特征f。然而，如果f取代地用来表示多个特征，则算法类似。由于分类器通过判断当前样本图像来确定状态矢量并且它们仅取决于f和前一步骤处的分类器系列，因此特征提取模块43使用由控制最佳选择的f参数化的条件分布Pf(x(t+1)|x(t))并根据当前状态矢量来预测未来状态矢量。即，Pf被称为Markov链的转换函数。特征提取模块43会估算转换函数以实施控制策略。给定一个样本图像训练组和相关的分类器系列序列，特征提取模块43可以配置为使用简单的柱状图估算
Figure BDA00003183062700161
其中
Figure BDA00003183062700162
Figure BDA00003183062700163
是在步骤t处状态为x(t)而在步骤t+1处状态为x(t+1)的训练样本的编号，此时选择的是特征f。为了避免与高维度相关的问题，包括空间的杂讯
Figure BDA00003183062700164
和稀疏采样，可选择较小的N。或者，特征提取模块43可以配置为利用
Figure BDA00003183062700165
的参数化或核平滑。
通过布置这些组件，特征提取模块43使用转换函数估算来选择最小化某些预期损失的f，从而动态选择任何触发事件处的f。例如，假设值ca|b被指定为将a错误分级为b的成本（其中a,b三{0,1}），那么如果xi(t)=1，使用分类器i的预期损失将假设这是错误的（即，真实类为0）来确定。这将得到预期损失c1|0pt(0)FAf i，其中pt(0)是任意给定样本真的为0的先验概率，FAf i是分类器i的错误报警率(pt(0|1))（通过当前将f控制为重点突出依赖性来进行明确索引）。类似地，当xi(t)=0时，使用分类器i的预期损失为c0|1pt(1)(1-CDf i)，其中CDf i是分类器i的正确检测率pt(1|1)。损失函数可表达为：
Figure BDA00003183062700171
作为一个例子，特征提取模块43利用最小化所有触发事件Σtct(x,f)上的总预期成本的控制策略。如果状态和控制空间大小不过大，此问题可通过动态编程正确解决。或者，可以在每个步骤应用贪心启发式方法，选择ft *=minfct(x,f)，以找到适当的次最佳解决方案。在一个实施例中，所有可能的触发事件轨线均离线计算，并且将特征提取模块43编程为在线使用查找表。这样，可以缩小使用可控Markov链模型为每个样本图像计算出的特征数，从而可触发与当前样本区别最大的特征。如此，可基于当前提取的特征和计算出的转换函数动态确定为响应任何触发事件而选择的特征。
可使用例如单个分类器损失函数简单汇总等方法，将上述技术轻松扩展成具有多个分类器的情况。此外，ca|b可针对不同缺陷类别进行差别缩放，以捕获相对重要性或包括对应于特征相关计算时间的加性因素。并且，上述技术还可根据示例成本函数进行解释。存在其他可能性。例如，可能还会考虑使分级后验分布的熵处于不利情况的成本函数。
实例
使用从流程开发线处收集到的膜图像执行模拟研究。完整的样本组包括呈现出多种不均匀因素的8767张图像。广义地讲，这些不均匀因素可分为七个类别。除了颤动和（大）杂色类别，还存在小杂色、条痕/带、斑点/水印、条纹以及对角变动缺陷。为每个单独的类别设计了分类器系列的序列。即，设计了七个不同的布尔分类器系列序列（每个不均匀因素类别各一个），用于通过设定从使用柱状图和Gabor滤波器处理提取的一组26个统计特征和光谱特征中所选特征的阈值来确定是否存在不均匀因素。根据PCT专利WO/2010/059679中所述的技术设计的分类器，并且在完整样本组上进行训练。
每个分类器系列序列被设计为连续包含更复杂的分类器（即，使用更多特征），其中给定系列序列中的每个连续分类器以更高的准确度将不均匀因素指定到其目标类别。将触发事件定义为针对序列中下一个最复杂分类器组选择的单个分类器系列的升级。由于它是在分类器系列序列中启用升级的额外特征，因此这直接对应于为每个触发事件处的当前样本计算额外的特征组。
图5示出了ROC空间中三步序列的性能。如图所示，每个系列80A、80B和80C由八个分类器组成。序列接近ROC图的左上角这一事实表示提高了每个步骤处的性能（红、接着是绿、最后是蓝）。
单个模拟试验涉及从包含8767个图像的组中选择50个随机图像样本，然后针对十个触发事件分析每个图像，其中每个事件是单个缺陷类别的分类器系列的升级。我们使用本文所述的方法，通过“提前一步”贪心优化和所有错误分级错误指定的单位成本，为每个样本计算出十个“最佳”触发事件。与针对每个样本的随机触发选择进行对比，在随机触发选择中，从所有可能的触发组中随机选择十个触发事件。为了评估平均性能，执行了1000次模拟试验。图6为柱状图，示出了基线随机(A)与贪心优化(B)之间的差异。这些柱状图汇总了1000次试验，每次试验50个图像样本。
图7和图8为示出基于模拟研究的性能结果的图。图7示出了在整个试验/图像中的平均错误分级成本。如上所述，所有错误分级会指定一个单位成本。如图所示，贪心优化控制的触发与在前几个触发后观察到具有最大差异的随机触发相比，在全部事件中具有较低的平均成本。图8是对比图，示出了50个样本的平均（在整个试验中）分数，其中特定触发策略得到较低的成本。如图所示，贪心触发对于50个样本中的大多数，得到较好的平均性能。
对于特征触发，可控的Markov链模型经证实具有明显的改善由于贪心算法可能被视为简单但有效的方案，因此可通过使用更复杂的控制优化实现进一步的改善。此外，研究中所考虑的特征组相对较少（26个特征）。如果必须从更大的特征组中进行选择，该技术甚至可能更加有利。在此类情况下，动态发现要计算的最佳特征在实际生产线中甚至可能更加有利。由于在一个实施例中，可以通过表查找进行实施并且可以离线构建昂贵的查找表，因此与该技术相关的在线计算最少。
触发的一个替代情况是，当图像与最近的帧相比较以控制继续得到当前质量并且检测到更改时，触发更详细的分析。例如，如果当前幅材处于“好幅材”阶段，通常可使用变化等简单的特征来检测是否出现新的不均匀因素。此检测会触发更详细的分析，随后会要求计算额外的特征。
此外，最近的样本图像得自按Ribnick等人提交的名称为“CONTINUOUS CHARTING OF NON-UNIFORMITY SEVERITYFOR DETECTING VARIABILITY IN WEB-BASED MATERIALS”（用于检测幅材型材料可变性的不均匀度严重性的连续制图）的美国临时专利申请61/394,655中所述的流程绘制的在线生产线中的材料。按照本文所述的流程，可绘制出新的样本图像（帧）。可使用之前标记的训练数据，即可使用最近绘制的帧增强的组，来完成此操作。一旦在绘制值中发现重大变化，即发生触发，要求增强的特征组来检测新帧内不均匀因素的类别和严重性。
已经描述了本发明的各种实施例。这些和其他实施例均在所附权利要求书的范围内。

Claims (19)

1.一种用于在制造幅材时实时检测幅材并计算不均匀缺陷严重性的方法，所述方法包括：
使用在线计算机化检测***接收从正在制造的幅材捕获的图像；
使用所述检测***处理所述图像以提取第一个特征组；
使用所述检测***通过模型处理所述第一个特征组，从而根据所述模型来动态选择第二个特征组以从所述图像中提取；
根据所述模型确定，如果所述第二个特征组提取自所述图像，相对于所述不均匀缺陷，错误分级所述图像的预期成本降低量；
当所述预期成本降低量超过阈值时，使用所述检测***处理所述图像以提取所述第二个特征组；和
使用从所述图像提取的所述第一个特征组和第二个特征组，通过所述检测***计算所述幅材的所述不均匀缺陷的严重级别。
2.根据权利要求1所述的方法，其中所述模型包括Markov模型，所述模型定义一个或多个动态触发链来控制选择所述第二个特征组以及任意额外的特征组以从所述图像中提取。
3.根据权利要求2所述的方法，还包括：
定义指定分类器系列的当前状态矢量；
使用由所述第一个特征组中的至少一个特征参数化的条件分布根据所述当前状态矢量来计算未来状态矢量的预测，其中所述条件分布代表所述Markov模型的所述动态触发的转换函数；和
根据所计算出的转换函数从全部特征组中动态选择所述第二个特征组。
4.根据权利要求3所述的方法，其中动态选择所述第二个特征组包括选择所述第二个特征组，以最小化与选择所述全部特征组中的任一个相关联的总预期成本。
5.根据权利要求1所述的方法，还包括：
通过所述模型使用所述检测***处理所述第二个特征组，从而根据所述模型动态选择第三个特征组以从所述图像中提取；
根据所述模型确定，如果所述第三个特征组提取自所述图像，相对于所述不均匀缺陷，错误分级所述图像的第二预期成本降低量；
当所述第二预期成本降低量超过阈值时，使用所述检测***处理所述图像以提取所述第三个特征组；和
使用从所述图像提取的所述第一个特征组、所述第二个特征组和所述第三个特征组，通过所述检测***计算所述幅材的所述不均匀缺陷的严重级别。
6.根据权利要求1所述的方法，其中计算所述严重级别包括应用一个或多个分类器以确定是否能够确定所述不均匀缺陷的等级标签。
7.根据权利要求1所述的方法，还包括：
在使用所述在线计算机化检测***接收所述图像之前，在计算机上执行软件，通过利用相应训练图像的像素值计算每个所述训练图像的数字描述符，来提取多个训练图像的每一个的特征，其中已对每个所述图像指定所述训练图像中存在的不均匀缺陷的一组离散等级标签中的一个；和
使用评级软件处理所述训练图像的所述数字描述符，从而根据对所述训练图像指定的所述离散等级标签计算所述训练图像的连续等级，
其中，使用所述在线计算机化检测***处理计算所述严重级别包括根据所述连续等级计算所述不均匀缺陷的严重级别。
8.根据权利要求1所述的方法，还包括呈现用户界面，用于向用户输出所述严重级别。
9.根据权利要求8所述的方法，其中呈现用户界面包括更新图表，从而用曲线图表示随时间推移所述幅材的所述不均匀缺陷的严重级别。
10.根据权利要求8所述的方法，还包括：
接收来自所述用户的输入；和
响应于所述输入，调整所制造幅材的工艺控制参数。
11.根据权利要求1所述的方法，其中处理所述图像以提取所述第一个特征组包括调用所述检测***中集成的流水线图像处理单元(GPU)的硬件组件来并行处理所述图像和提取所述第一个特征组。
12.一种用于在制造幅材时实时检测幅材并计算不均匀缺陷严重性的在线计算机化检测***，所述检测***包括：
用来存储模型的存储器，其中所述模型定义用于实时选择从图像提取哪些特征的动态触发链；和
计算机，执行软件以处理从当前正在制造的制造幅材捕获的样本图像，从而提取第一个特征组，
其中所述软件应用所述模型来重复地动态触发选择额外特征组以从所述样本图像中提取，直到所提取的特征足以用来计算所定义的置信水平范围内所述幅材的不均匀缺陷的严重级别。
13.根据权利要求12所述的检测***，
其中所述软件应用所述模型来触发选择第二个特征组以从新图像中提取，
其中，当触发时，所述软件会根据从所述图像提取的所述第一个特征组从全部特征组中动态选择所述第二个特征组，以及
其中所述软件会处理所述样本图像，以从所述图像提取所述第二个特征组，并且根据所述第一个特征组和所述第二个特征组计算所述不均匀缺陷的严重级别。
14.根据权利要求12所述的检测***，其中所述模型包括Markov模型。
15.根据权利要求12所述的检测***，
其中，对于所述模型的每个触发，所述软件会定义指定分类器系列的当前状态矢量，并使用由已经从所述样本图像提取的至少一个特征参数化的条件分布根据所述当前状态矢量来计算未来状态矢量的预测，所述条件分布代表所述模型的相应触发的转换函数，以及
其中，对于所述模型的每个触发，所述软件根据所计算出的转换函数动态选择额外的特征组以进行提取。
16.根据权利要求15所述的检测***，其中，对于每个触发，所述软件动态选择所述额外的特征组，以最小化与计算所述不均匀缺陷的严重级别相关联的预期总成本。
17.根据权利要求12所述的检测***，还包括用于向用户输出所述严重级别的用户界面。
18.根据权利要求11所述的检测***，还包括集成到所述检测***内的流水线图像处理单元(GPU)，其中所述软件配置为在每次动态触发时重复调用GPU以并行处理所述样本图像和提取所述特征。
19.一种非瞬时性计算机可读介质，所述非瞬时性计算机可读介质包括软件指令以促使计算机处理器执行以下操作：
使用在线计算机化检测***接收从正在制造的幅材捕获的图像；
使用所述检测***处理所述图像以提取第一个特征组；
使用所述检测***处理所述第一个特征组以确定是否能够计算所述幅材的不均匀缺陷的严重级别；
确定无法利用所述第一个特征组计算所述严重级别时，应用模型动态选择第二个特征组以进行提取；
使用所述检测***通过模型处理所述第一个特征组，从而根据所述模型动态选择第二个特征组以从所述图像中提取；
根据所述模型确定，如果所述第二个特征组提取自所述图像，相对于所述不均匀缺陷，错误分级所述图像的预期成本降低量；
当所述预期成本降低量超过阈值时，使用所述检测***处理所述图像以提取所述第二个特征组；和
使用从所述图像提取的所述第一个特征组和所述第二个特征组，通过所述检测***计算所述幅材的所述不均匀缺陷的严重级别。
CN201180054637.3A 2010-11-12 2011-10-28 快速处理和检测幅材型材料中的不均匀因素 Expired - Fee Related CN103221807B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US41325010P 2010-11-12 2010-11-12
US61/413,250 2010-11-12
PCT/US2011/058250 WO2012064522A1 (en) 2010-11-12 2011-10-28 Rapid processing and detection of non-uniformities in web-based materials

Publications (2)

Publication Number Publication Date
CN103221807A true CN103221807A (zh) 2013-07-24
CN103221807B CN103221807B (zh) 2015-08-12

Family

ID=46051242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180054637.3A Expired - Fee Related CN103221807B (zh) 2010-11-12 2011-10-28 快速处理和检测幅材型材料中的不均匀因素

Country Status (8)

Country Link
US (1) US9031312B2 (zh)
EP (1) EP2638384A4 (zh)
JP (1) JP5912125B2 (zh)
KR (1) KR101800058B1 (zh)
CN (1) CN103221807B (zh)
BR (1) BR112013011107A2 (zh)
SG (1) SG190143A1 (zh)
WO (1) WO2012064522A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108227664A (zh) * 2018-02-05 2018-06-29 华侨大学 基于样本数据训练的产品质量控制设备及质量控制方法
CN108463874A (zh) * 2016-01-11 2018-08-28 科磊股份有限公司 基于图像的样品过程控制

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112013020467A2 (pt) * 2011-02-24 2016-10-25 3M Innovative Properties Co sistema para detecção de não uniformidades em materiais à base de manta
DE102011108754A1 (de) * 2011-07-28 2013-01-31 Khs Gmbh Inspektionseinheit
WO2013055311A1 (en) * 2011-10-10 2013-04-18 Hewlett-Packard Development Company, L.P. Methods and systems for identifying action for responding to anomaly in cloud computing system
US10388011B2 (en) * 2016-05-17 2019-08-20 Abb Schweiz Ag Real-time, full web image processing method and system for web manufacturing supervision
EP3361444A1 (en) * 2017-02-10 2018-08-15 ABB Schweiz AG Real-time, full web image processing method and system for web manufacturing supervision
CN107065545B (zh) * 2017-04-01 2020-03-24 同济大学 基于马尔科夫跳变的分布式事件触发滤波***及设计方法
JP6681082B2 (ja) * 2018-02-21 2020-04-15 株式会社タナカ技研 情報処理装置、情報システム、情報処理方法、およびプログラム
JP2022519650A (ja) 2019-02-06 2022-03-24 コーニング インコーポレイテッド 粘性リボンを加工する方法
JP7084634B2 (ja) * 2019-12-20 2022-06-15 株式会社タナカ技研 、情報処理装置、端末装置、情報処理方法、およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1339140A (zh) * 1999-11-29 2002-03-06 奥林巴斯光学工业株式会社 缺陷检查***
US6539106B1 (en) * 1999-01-08 2003-03-25 Applied Materials, Inc. Feature-based defect detection
US20040218806A1 (en) * 2003-02-25 2004-11-04 Hitachi High-Technologies Corporation Method of classifying defects
US6999614B1 (en) * 1999-11-29 2006-02-14 Kla-Tencor Corporation Power assisted automatic supervised classifier creation tool for semiconductor defects
JP2008175588A (ja) * 2007-01-16 2008-07-31 Kagawa Univ 外観検査装置
JP2010054346A (ja) * 2008-08-28 2010-03-11 Hitachi High-Technologies Corp 欠陥検査方法及び装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4728800A (en) * 1985-04-24 1988-03-01 Young Engineering, Inc. Apparatus and method for detecting defects in a moving web
JPH05508375A (ja) * 1991-05-03 1993-11-25 イーストマン・コダック・カンパニー ウェブの巻付け制御方法
US5911139A (en) 1996-03-29 1999-06-08 Virage, Inc. Visual image database search engine which allows for different schema
FR2761475B1 (fr) * 1997-03-28 1999-06-11 Lorraine Laminage Procede d'inspection de surface d'une bande en defilement par segmentation d'image en zones suspectes
US5893055A (en) * 1997-05-30 1999-04-06 Abb Industrial Systems, Inc. Two-dimensional web property variation modeling and control
US5999636A (en) * 1997-10-10 1999-12-07 Printprobe Technology, Llc Apparatus and process for inspecting print material
CA2318196C (en) * 1998-02-10 2008-04-22 Abb Industrial Systems, Inc. Method for extracting and classifying sheet variation patterns from two-dimensional sheet measurements
US6445834B1 (en) 1998-10-19 2002-09-03 Sony Corporation Modular image query system
JP4173246B2 (ja) 1999-04-28 2008-10-29 株式会社リコー 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体
KR100355404B1 (ko) 1999-12-03 2002-10-11 삼성전자 주식회사 주파수 공간상에서의 가보 필터를 이용한 질감표현방법 및질감기반 영상 검색방법
JP3386025B2 (ja) * 1999-12-15 2003-03-10 株式会社ニコン 画像特徴抽出装置、画像特徴抽出方法、監視検査システム、半導体露光システム、およびインターフェースシステム
US7113994B1 (en) 2000-01-24 2006-09-26 Microsoft Corporation System and method of proxy authentication in a secured network
US7099860B1 (en) 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
US6950547B2 (en) * 2001-02-12 2005-09-27 3M Innovative Properties Company Web inspection method and device
US6681060B2 (en) 2001-03-23 2004-01-20 Intel Corporation Image retrieval using distance measure
US6847733B2 (en) 2001-05-23 2005-01-25 Eastman Kodak Company Retrieval and browsing of database images based on image emphasis and appeal
US7283659B1 (en) 2002-01-09 2007-10-16 Kla-Tencor Technologies Corporation Apparatus and methods for searching through and analyzing defect images and wafer maps
JP4155496B2 (ja) 2002-04-25 2008-09-24 大日本スクリーン製造株式会社 分類支援装置、分類装置およびプログラム
JP4118703B2 (ja) * 2002-05-23 2008-07-16 株式会社日立ハイテクノロジーズ 欠陥分類装置及び欠陥自動分類方法並びに欠陥検査方法及び処理装置
JP2004109105A (ja) * 2002-07-23 2004-04-08 Jfe Steel Kk 表面欠陥検出における疵種分類境界設定方法、及び欠陥検出方法
FI20021578A (fi) 2002-09-03 2004-03-04 Honeywell Oy Paperin karakterisointi
US7162071B2 (en) 2002-12-20 2007-01-09 Taiwan Semiconductor Manufacturing Co., Ltd. Progressive self-learning defect review and classification method
US7359544B2 (en) * 2003-02-12 2008-04-15 Kla-Tencor Technologies Corporation Automatic supervised classifier setup tool for semiconductor defects
US7027934B2 (en) * 2003-09-24 2006-04-11 3M Innovative Properties Company Apparatus and method for automated web inspection
US20050135667A1 (en) 2003-12-22 2005-06-23 Abb Oy. Method and apparatus for labeling images and creating training material
US7545985B2 (en) * 2005-01-04 2009-06-09 Microsoft Corporation Method and system for learning-based quality assessment of images
JP4639858B2 (ja) * 2005-03-07 2011-02-23 Ｊｆｅスチール株式会社 表面欠陥検査方法及びその装置
JP5022174B2 (ja) * 2007-10-22 2012-09-12 株式会社日立製作所 欠陥分類方法及びその装置
JP4629118B2 (ja) * 2008-03-03 2011-02-09 株式会社日立ハイテクノロジーズ 欠陥検査装置およびこの欠陥検査装置に用いるパラメータ調整方法。
US7937233B2 (en) * 2008-04-17 2011-05-03 3M Innovative Properties Company Preferential defect marking on a web
JP5414416B2 (ja) * 2008-09-24 2014-02-12 キヤノン株式会社 情報処理装置及び方法
WO2010059679A2 (en) 2008-11-19 2010-05-27 3M Innovative Properties Company Constructing enhanced hybrid classifiers from parametric classifier families using receiver operating characteristics
JP5294114B2 (ja) * 2009-01-26 2013-09-18 株式会社メガオプト 光学モジュール

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539106B1 (en) * 1999-01-08 2003-03-25 Applied Materials, Inc. Feature-based defect detection
CN1339140A (zh) * 1999-11-29 2002-03-06 奥林巴斯光学工业株式会社 缺陷检查***
US6999614B1 (en) * 1999-11-29 2006-02-14 Kla-Tencor Corporation Power assisted automatic supervised classifier creation tool for semiconductor defects
US20040218806A1 (en) * 2003-02-25 2004-11-04 Hitachi High-Technologies Corporation Method of classifying defects
JP2008175588A (ja) * 2007-01-16 2008-07-31 Kagawa Univ 外観検査装置
JP2010054346A (ja) * 2008-08-28 2010-03-11 Hitachi High-Technologies Corp 欠陥検査方法及び装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108463874A (zh) * 2016-01-11 2018-08-28 科磊股份有限公司 基于图像的样品过程控制
CN108463874B (zh) * 2016-01-11 2020-11-06 科磊股份有限公司 基于图像的样品过程控制
CN108227664A (zh) * 2018-02-05 2018-06-29 华侨大学 基于样本数据训练的产品质量控制设备及质量控制方法

Also Published As

Publication number Publication date
US9031312B2 (en) 2015-05-12
JP2013545979A (ja) 2013-12-26
EP2638384A1 (en) 2013-09-18
KR20130141584A (ko) 2013-12-26
EP2638384A4 (en) 2017-04-19
KR101800058B1 (ko) 2017-11-21
US20130236082A1 (en) 2013-09-12
SG190143A1 (en) 2013-07-31
BR112013011107A2 (pt) 2016-08-02
WO2012064522A1 (en) 2012-05-18
CN103221807B (zh) 2015-08-12
JP5912125B2 (ja) 2016-04-27

Similar Documents

Publication Publication Date Title
CN103221807B (zh) 快速处理和检测幅材型材料中的不均匀因素
CN103392125B (zh) 用于检测幅材型材料中的不均匀因素的***
KR101800057B1 (ko) 트레이닝 영상에 등급을 배정하는 방법 및 장치
Çelik et al. Development of a machine vision system: real-time fabric defect detection and classification with neural networks
Garg et al. Deep convolution neural network approach for defect inspection of textured surfaces
CN103180724A (zh) 对用于检测幅材型材料中可变性的不均匀度严重性进行连续制图
Medina et al. Automated visual classification of frequent defects in flat steel coils
Bulnes et al. A non-invasive technique for online defect detection on steel strip surfaces
CN115668290A (zh) 使用深度学习来检查片材物品
Thakur et al. Automated fabric inspection through convolutional neural network: an approach
CN114882020A (zh) 产品的缺陷检测方法、装置、设备及计算机可读介质
Demircioglu et al. Metal Surface Texture Classification with Gabor Filter Banks and Xai
Carvalho et al. A review of benchmarks for visual defect detection in the manufacturing industry
Arnqvist et al. Statistical Learning of Phase Measuring Deflectometry for Defect Detection and Classification on Specular Cab Body Surfaces
Saini et al. Hybrid Deep Learning Model for The SmartManufacturing
Xiang Multiple Paired Pixel Consistency Model for Robust Defect Detection in Printed Logotypes
CN118411576A (zh) 一种基于数据处理的纸箱分类方法及装置
CN115861174A (zh) 用于面料质检的面料缺陷识别标注方法
Corvaglia et al. Automatic Composite Parts Defect Detector

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150812

Termination date: 20211028

CF01 Termination of patent right due to non-payment of annual fee