KR20130141584A - 웨브-기반의 재료 내의 불균일성의 고속 처리 및 검출 - Google Patents

웨브-기반의 재료 내의 불균일성의 고속 처리 및 검출 Download PDF

Info

Publication number
KR20130141584A
KR20130141584A KR1020137014956A KR20137014956A KR20130141584A KR 20130141584 A KR20130141584 A KR 20130141584A KR 1020137014956 A KR1020137014956 A KR 1020137014956A KR 20137014956 A KR20137014956 A KR 20137014956A KR 20130141584 A KR20130141584 A KR 20130141584A
Authority
KR
South Korea
Prior art keywords
features
image
inspection system
model
extract
Prior art date
Application number
KR1020137014956A
Other languages
English (en)
Other versions
KR101800058B1 (ko
Inventor
에반 제이 리브닉
케네쓰 지 브리타인
존 에이 람쑨
데렉 에이치 저스티스
귈레르모 사피로
Original Assignee
쓰리엠 이노베이티브 프로퍼티즈 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쓰리엠 이노베이티브 프로퍼티즈 컴파니 filed Critical 쓰리엠 이노베이티브 프로퍼티즈 컴파니
Publication of KR20130141584A publication Critical patent/KR20130141584A/ko
Application granted granted Critical
Publication of KR101800058B1 publication Critical patent/KR101800058B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65H—HANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H43/00—Use of control, checking, or safety devices, e.g. automatic devices comprising an element for sensing a variable
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N19/00—Investigating materials by mechanical methods
    • G01N19/02—Measuring coefficient of friction between materials
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N19/00—Investigating materials by mechanical methods
    • G01N19/10—Measuring moisture content, e.g. by measuring change in length of hygroscopic filament; Hygrometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N22/00—Investigating or analysing materials by the use of microwaves or radio waves, i.e. electromagnetic waves with a wavelength of one millimetre or more
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/20—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by using diffraction of the radiation by the materials, e.g. for investigating crystal structure; by using scattering of the radiation by the materials, e.g. for investigating non-crystalline materials; by using reflection of the radiation by the materials
    • G01N23/207—Diffractometry using detectors, e.g. using a probe in a central position and one or more displaceable detectors in circumferential positions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/223—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material by irradiating the sample with X-rays or gamma-rays and by measuring X-ray fluorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N24/00—Investigating or analyzing materials by the use of nuclear magnetic resonance, electron paramagnetic resonance or other spin effects
    • G01N24/08—Investigating or analyzing materials by the use of nuclear magnetic resonance, electron paramagnetic resonance or other spin effects by using nuclear magnetic resonance
    • G01N24/082—Measurement of solid, liquid or gas content
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N9/00—Investigating density or specific gravity of materials; Analysing materials by determining density or specific gravity
    • G01N9/36—Analysing materials by measuring the density or specific gravity, e.g. determining quantity of moisture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Textile Engineering (AREA)
  • Quality & Reliability (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Treatment Of Fiber Materials (AREA)

Abstract

불균일성 결함의 존재를 검출하고 각각의 유형의 불균일성 결함의 심각도를 지시하는 출력을 제공하기 위한 전산화 검사 시스템이 기술된다. 검사 시스템의 처리량을 증가시키는 기술이 기술된다. 대부분 균일할 것으로 예상되는 주어진 분량의 재료를 검사하기 위해 필요한 시간의 평균 양을 현저하게 감소시키기 위한 알고리듬 및 하드웨어 접근방법이 기술된다. 본 명세서에 기술된 기술은, 기초 특징부 세트로 시작하여 특징부가 각각의 유형의 불균일성 결함에 대한 심각도를 계산하기에 충분할 때까지 단지 부가적 특징부 계산을 필요에 따라 촉발함으로써, 어느 영상 특징부를 계산할 것인지의 동적 선택을 포함한다. 특징부 추출에 연계된 비용을 감소시키기 위하여 추출된 특징부의 수 및 특징부가 추출되는 순서를 실시간으로 동적으로 결정한다.

Description

웨브-기반의 재료 내의 불균일성의 고속 처리 및 검출 {RAPID PROCESSING AND DETECTION OF NON-UNIFORMITIES IN WEB-BASED MATERIALS}
관련 출원과의 상호 참조
본 출원은 2010년 11월 12일자로 출원된 미국 가특허 출원 제61/413,250호를 기초로 우선권을 주장하며, 그의 개시는 본 명세서에 그 전체가 참고로 포함된다.
본 발명은 이동하는 웨브의 검사를 위한 전산화 시스템과 같은 자동화 검사 시스템에 관한 것이다.
이동하는 웨브 재료의 분석을 위한 전산화 검사 시스템은 현대의 제조 작업에 중요한 것으로 판명되었다. 제조 라인의 목적은 완벽하게 균일하고 가변성이 배제된 재료를 제조하는 것이다. 그러나, 웨브-기반의 재료를 제조할 때 불균일성은 통상적인 문제점이다. 이는 많은 공정 변수 또는 제형화 오차에 의해 유발될 수 있다. 결과적으로, 광학적 검사 센서(예를 들어, 카메라)에 의해 포착된 디지털 영상을 기반으로 제조된 제품의 품질을 자동으로 분류할 수 있는 영상화-기반 검사 시스템을 활용하는 것이 점점 보편화되고 있다. 일부 검사 시스템은 흔히 "분류기"라고 지칭되는 알고리듬을 적용하며, 이는 각각의 포착된 디지털 영상(즉, "샘플")에 등급의 배정을 시도하여, 가장 단순한 경우에 샘플 또는 그의 일부가 합격인지 불합격인지를 지시한다.
이들 검사 시스템은 흔히, 각각의 결함이 제조된 재료의 단일 영역에 국한된 "점" 결함의 식별을 시도한다. 그러나, "불균일성" 결함 또는 "불균일성"으로 지칭되는 다른 유형의 결함이 존재할 수 있으며, 여기에서는 웨브 재료가 넓은 영역에 걸쳐 불균일한 가변성을 나타낸다. 이러한 불균일성의 예는 얼룩(mottle), 채터(chatter), 밴딩(banding), 및 줄무늬를 포함한다. 이들과 같은 불균일성-유형의 결함은 정의상 분포되며 비-국한적이다. 결과적으로, 이러한 결함은 국한된 점 결함에 비해 전산화 검사 시스템이 검출하고 정량화하기가 더 어려울 수 있다.
제조된 재료에서 불균일성의 검출을 시도하는 경우, 검사 시스템은 전형적으로 샘플 영상을 수집 및 처리하여 특정 불균일성을 지시하는 특징부를 추출한다. 이들 특징부를 기반으로, 검사 시스템은 하나 이상의 분류기를 적용하여 불균일성의 심각도의 평가를 생성시킨다. 특징부 추출은 계산 집약적일 수 있으며, 검사 공정의 제한 인자일 수 있다. 예를 들어, 이 단계에서는, 필터링, 형태학적, 시간적, 스펙트럼, 또는 통계적 처리를 포함할 수 있는 루틴(routine)을 통해, 수백만 화소를 함유하는 고해상도 영상을 아마도 50개 이하의 대표적 수(또는 특징부)로 감소시킨다. 이어서, 얻어진 수는 기본 제품(underlying product)의 품질을 평가하기 위한 기반을 형성한다. 수백만개의 화소값을 수십개의 정보성 수로 압축하기 위해 필요한 시간의 양은 상당할 수 있으므로, 현대 컴퓨터 상에서도, 빠른 제조 속도에 대해 실시간으로 수행될 수 없다. 하나의 가능성은 더 고품질인 더 고가의 컴퓨터를 구입하는 것일 수 있으나, 이 해결책은 검사 시스템의 비용을 엄청나게 고가로 만들고 데이터 분배 및 결과 종합의 부가적 시행 문제점을 일으킬 수 있다.
일반적으로, 본 개시는 불균일성 결함의 존재를 검출하고 각각의 결함의 심각도를 지시하는 출력을 제공하기 위한 전산화 검사 시스템을 기술한다. 웨브-제조 재료 내의 특정 패턴을 검출 및 분류하도록 설계된 검사 시스템의 처리량을 증가시키는 기술이 기술된다. 대부분 균일할 것으로 예상되는 주어진 분량의 재료를 검사하기 위해 필요한 시간의 평균 양을 현저하게 감소시키기 위한 알고리듬 및 하드웨어 접근방법이 기술된다. 따라서, 본 기술은 상당한 생산성 이득을 유발할 수 있다. 본 명세서에 기술된 알고리듬 기술은, 기초 특징부 세트로 시작하여 단지 부가적 특징부 계산을 필요에 따라 촉발시킴으로써 어느 영상 특징부를 계산할 것인지의 동적(즉, 온라인) 결정을 포함한다.
일 실시 형태에는, 웨브 재료가 제조됨에 따라 웨브 재료를 실시간으로 검사하고 불균일성 결함의 심각도를 계산하기 위한 온라인 전산화 검사 시스템이 기술된다. 검사 시스템은, 웨브 재료의 샘플 영상으로부터 어느 특징부를 추출할 것인지를 실시간으로 선택하기 위한 동적 촉발자(dynamic trigger)의 체인(chain)을 정의하는 모델을 저장하기 위한 기억장치를 포함한다. 현재 제조되고 있는 제조된 웨브 재료로부터 포착된 샘플 영상을 처리하여 제1 특징부 세트를 추출하기 위하여 컴퓨터는 소프트웨어를 실행한다. 추출된 특징부가 웨브 재료에 대한 불균일성 결함의 심각도 수준을 계산하기에 충분할 때까지 샘플 영상으로부터 추출할 부가적 특징부 세트의 선택을 동적으로 촉발시키기 위하여 소프트웨어는 모델을 적용한다.
다른 실시 형태에는, 웨브 재료가 제조됨에 따라 웨브 재료를 실시간으로 검사하고 불균일성 결함의 심각도를 계산하기 위한 방법이 기술된다. 본 방법은, 온라인 전산화 검사 시스템을 이용하여, 제조되고 있는 웨브 재료로부터 포착된 영상을 받는 단계, 검사 시스템으로 영상을 처리하여 제1 특징부 세트를 추출하는 단계, 및 웨브 재료에 대한 불균일 결함의 심각도 수준을 계산할 수 있는지를 결정하기 위하여 검사 시스템으로 제1 특징부 세트를 처리하는 단계를 포함한다. 본 방법은, 제1 특징부 세트로부터 심각도 수준을 계산할 수 없는 것으로 결정될 경우, 영상으로부터 추출할 제2 특징부 세트를 동적으로 선택하기 위해 모델을 적용하는 단계, 검사 시스템으로 영상을 처리하여 제2 특징부 세트를 추출하는 단계, 및 웨브 재료에 대한 불균일 결함의 심각도 수준을 계산할 수 있는지를 결정하기 위하여 검사 시스템으로 제2 특징부 세트를 처리하는 단계를 추가로 포함한다. 본 방법은, 제1 특징부 세트 및 제2 특징부 세트로부터 심각도 수준을 계산할 수 있는 것으로 결정될 경우, 웨브 재료에 대한 불균일성 결함의 심각도 수준을 검사 시스템으로 계산하는 단계를 추가로 포함한다.
본 명세서에 기술된 기술은 웨브 상에 제조되는 임의의 재료를 포함하는 다수의 제품 라인에서 응용성 및 유용성을 갖는다. 본 기술은, 균일성이 중요한 광범위한 제품에 넓은 응용성을 갖는다. 몇가지 예는 광학 필름, 창문 필름, 및 연마재이다.
본 발명의 하나 이상의 실시 형태들의 상세 사항이 첨부 도면 및 이하의 설명에 기술되어 있다. 본 발명의 다른 특징부, 목적 및 이점이 설명 및 도면, 그리고 특허청구범위로부터 명백하게 될 것이다.
도 1은, 본 명세서에 기술된 기술이 적용될 수 있는, 예시적인 웨브 제조 및 전환 시스템을 도시하는 블록 다이어그램이다.
도 2는 예시적인 웨브 제조 공장에서의 검사 시스템의 예시적인 실시 형태를 도시하는 블록 다이어그램이다.
도 3은 본 명세서에 기술된 시스템의 예시적 작동을 도시하는 순서도이다.
도 4는, 특징부 추출 모듈이 연이어 더 큰 특징부 세트로부터의 결과를 사용하여 부가적 특징부 계산을 촉발함으로써 실시간으로 "최상의 특징부 세트"를 구축하는 동적 시스템 구성의 예를 나타내는 흐름도이다.
도 5는 ROC-공간 내의 3-단계 순서의 성능을 나타낸다.
도 6은 기준선 랜덤(baseline random)과 그리디 최적(greedy optimal) 방법 사이의 차이를 도시하는 히스토그램이다.
도 7 및 8은 시뮬레이션 연구를 기반으로 성능 결과를 나타내는 플롯이다.
도 1은, 본 명세서에 기술된 기술이 적용될 수 있는, 예시적 시스템(2)을 도시하는 블록 다이어그램이다. 웨브 제조 공장(6A 내지 6N)(웨브 제조 공장(6))은 웨브 롤(7)의 형태로 웨브 재료를 제조 및 운송하는 제조 현장을 나타낸다. 웨브 제조 공장(6)은 지리적으로 분산되어 있을 수 있고, 각각의 웨브 제조 공장은 하나 이상의 제조 공정 라인을 포함할 수 있다. 일반적으로, 웨브 롤(7)은 제조 공장(6) 중 어느 하나에 의해 제조되고 부가적 처리를 위해 웨브 제조 공장 사이에 운송될 수 있다. 완성된 웨브 롤(10)은 제품(12A 내지 12N)(제품(12))으로의 전환을 위해 전환 현장(8A 내지 8N)(전환 현장(8))으로 운송된다. 도 1에 나타낸 바와 같이, 전환 제어 시스템(4), 웨브 제조 공장(6A 내지 6M)(웨브 제조 공장(6)), 및 전환 현장(8A 내지 8N)(전환 현장(8))은 웨브 재료의 제조 및 제품(12)으로의 전환에 관련된 정보(예를 들어, 결함 정보) 교환을 위하여 컴퓨터 네트워크(9)에 의해 상호연결된다.
일반적으로, 웨브 롤(7, 10)은, 하나의 방향으로 고정된 치수를 갖고 직교하는 방향으로 미리설정된 또는 부정의 길이를 갖는 임의의 시트형 재료일 수 있는 제조된 웨브 재료를 포함할 수 있다. 웨브 재료의 예는 금속, 종이, 직물(woven), 부직물(non-woven), 유리, 중합체 필름, 연성 회로 또는 이들의 조합을 포함하지만, 이에 한정되는 것은 아니다. 금속은 강철 또는 알루미늄과 같은 재료를 포함할 수 있다. 직물은 일반적으로 다양한 천(fabric)을 포함한다. 부직물은 종이, 필터 매체, 또는 절연 재료와 같은 재료를 포함한다. 필름은 예를 들어 라미네이트 및 코팅된 필름을 비롯한 투명 및 불투명 중합체 필름을 포함한다.
전환 현장(8)은 완성된 웨브 롤(10)을 웨브 제조 공장(6)으로부터 받아 고객(14A 내지 14N)(고객(14))에게 판매하기 위한 제품(12) 내로 혼입시키기 위하여 완성된 웨브 롤(10)을 개별 시트로 전환할 수 있다. 전환 시스템은 제품에 연계된 등급 수준과 같은 다양한 기준을 기반으로 주어진 완성된 웨브 롤(10)을 어느 제품(14)으로 전환시킬 것인지를 결정할 수 있다. 즉, 어느 시트가 어느 제품(12)에 혼입되어야 하는지의 선택 공정은 각각의 시트가 만족시키는 특정 등급 수준을 기반으로 할 수 있다. 본 명세서에 기술된 기술에 따르면, 전환 현장(8)은 완성된 웨브 롤(10)에서의 이상, 즉 잠재적인 결함에 관한 데이터를 또한 수신할 수 있다. 궁극적으로, 전환 현장(8)은 완성된 웨브 롤(10)을 고객(14A 내지 14N)(고객(14))에 판매하기 위한 제품(12)에 포함될 수 있는 개별 시트들로 전환할 수 있다.
제품(12)에 포함시킬 개별 시트로 전환할 준비가 된 완성된 웨브 롤(10)을 생산하기 위해, 미완성된 웨브 롤(7)은 하나의 웨브 제조 공장, 예를 들어, 웨브 제조 공장(6A) 내에서 또는 다수의 제조 공장 내에서 다수의 공정 라인의 처리를 거칠 필요가 있을 수 있다. 각각의 공정에 대해, 웨브 롤은 전형적으로 그로부터 웨브가 제조 공정으로 공급되도록 하는 소스 롤(source roll)로서 사용된다. 각각의 공정 후, 웨브는 전형적으로 웨브 롤(7)로 다시 수집되고, 상이한 제품 라인으로 이동되거나, 상이한 제조 공장으로 운송된 다음, 그곳에서 풀리고, 처리되며, 다시 롤로 수집된다. 이 공정은 궁극적으로 완성된 웨브 롤(10)이 제조될 때까지 반복된다. 많은 응용에 대해, 각각의 웨브 롤(7)을 위한 웨브 재료는 하나 이상의 웨브 제조 공장(6)의 하나 이상의 제조 라인에서 적용되는 다수의 코팅을 가질 수 있다. 코팅은 일반적으로 제1 제조 공정의 경우에는 베이스 웨브 재료의 노출된 표면에, 또는 후속 제조 공정의 경우에는 이전에 적용된 코팅의 노출된 표면에 적용된다. 코팅의 예는 접착제, 하드코트(hardcoat), 낮은 접착성의 배면 코팅, 금속화된 코팅, 중성 밀도 코팅, 전기 전도성 또는 비전도성 코팅, 또는 이들의 조합을 포함한다.
주어진 하나의 웨브 롤(7)을 위한 각각의 제조 공정 중에, 하나 이상의 검사 시스템이 웨브에 대한 이상 정보를 획득한다. 예를 들어, 도 2에 도시된 바와 같이, 제조 라인을 위한 검사 시스템은 웨브가 처리될 때, 예를 들어 하나 이상의 코팅이 웨브에 적용될 때, 연속적으로 이동하는 웨브에 아주 근접하게 위치되는 하나 이상의 영상 획득 장치를 포함할 수 있다. 영상 획득 장치는 디지털 영상을 얻기 위해 연속적으로 이동하는 웨브의 순차적인 부분들을 스캔한다. 검사 시스템은 하나 이상의 알고리듬으로 영상을 분석하여 웨브가 전환되는 궁극적 제품(12)에 따라 실제의 "결함"을 나타낼 수 있는 소위 "국소" 이상 정보를 생성시킨다. 검사 시스템은, 예를 들어, 각각의 결함이 단일 영역에 국한된 "점" 결함에 대한 이상 정보를 생성시킬 수 있다. 다른 예로서, 검사 시스템은 웨브 재료가 점 결함의 영역보다 넓은 영역에 걸쳐 불균일한 가변성을 나타내는 "불균일" 결함 또는 "불균일성"에 대한 이상 정보를 생성시킬 수 있다. 이러한 불균일성의 예는 얼룩, 채터, 밴딩, 및 줄무늬를 포함한다.
웨브 제조 공장(6) 내의 검사 시스템은, 웨브가 제조됨에 따라 실시간으로 불균일성 결함의 존재를 검출하고 각각의 결함의 심각도를 지시하는 출력을 제공하는 알고리듬을 적용할 수 있다. 예를 들어, 전산화 검사 시스템은 웨브 제조 공장(6) 내의 공정 기술자와 같은 사용자에게 불균일성의 존재 및 그들의 심각도에 관하여 실시간 피드백을 제공할 수 있으며, 이에 의해, 제조를 현저하게 지연시키거나 사용할 수 없는 재료를 다량으로 제조하지 않으면서 공정 조건을 조정하여 문제점을 해소함으로써, 발생하는 불균일성에 사용자가 신속하게 대응하는 것을 가능하게 한다. 불균일성에 대한 등급 라벨(예를 들어, "양호" 또는 "불량")을 궁극적으로 배정하거나 주어진 샘플의 불균일성 심각도의 측정값을, 0 내지 10의 척도의 1.63과 같이 연속 척도 또는 더욱 정확하게 샘플링된 척도로 생성시킴으로써, 전산화 검사 시스템은 알고리듬을 적용하여 심각도 수준을 계산할 수 있다.
이 공정 중에, 검사 시스템은 본 명세서에 기술된 기술을 적용하여 어느 영상 특징부를 계산할 것인지를 동적으로(즉, 웨브 재료의 제조 중에 실시간으로) 결정할 수 있다. 일례에서, 검사 시스템은 기초 특징부 세트의 추출로 시작하여, 필요에 따라 단지 부가적 특징부에 대한 계산을 촉발한다. 각각의 획득된 샘플 영상에 대하여, 본 기술은 연이어 더 큰 특징부 세트로부터의 결과를 사용하여 부가적 특징부 계산을 촉발함으로써 실시간으로 "최상의 특징부 세트"를 구축한다. 검사 시스템은 기준선 특징부 세트로 시작한 후, 기초 특징부 세트의 값을 기반으로 어느 추가 특징부(존재한다면)를 계산할 것인지를 결정한다. 마찬가지로, 이들 부가적 특징부 세트를 분석하여 어느 부가적 특징부가 필요한지를 결정한다. 특징부 추출 공정의 각각의 단계에서의 결정을 본 명세서에서는 잠재적 촉발 사건이라고 지칭한다. 일 실시 형태에서, 제어된 마르코프(Markov) 체인 모델 하에 예상되는 분류 정확도의 이득의 최적화와 관련하여, 검사 시스템은 각각의 잠재적 촉발 사건에서 부가적 특징부의 계산을 촉발할 것인지를 결정한다.
일부 실시 형태에서, 검사 시스템의 분석 컴퓨터는 트레이닝 데이터를 기반으로 개발된 연속 순위 모델의 적용에 의해 포착된 디지털 영상을 처리한다. 트레이닝 데이터는 전형적으로 알고리듬의 "트레이닝 단계" 중에 처리되며 연속 순위 모델은 트레이닝 데이터에 최상으로 일치하도록 개발된다. 즉, 트레이닝 단계 및 연속 순위 모델의 개발 후에, 트레이닝 데이터에 연속 순위 모델을 적용하는 것은 정확성의 높은 확률을 동반하여 트레이닝 데이터를 라벨링할 것이다. 일단 트레이닝 데이터로부터 모델이 개발되면, 처리의 "분류 단계" 중에 분석 컴퓨터가 새로 제조된 제품으로부터 포착된 샘플에 잠재적으로 실시간으로 모델을 적용하고 "합격" 또는 "불합격", 또는 "1", "3", 또는 "5"와 같은 불연속 등급 라벨로 제한되지 않는 불균일성 심각도의 연속 차트화를 제공하며, 전산화 검사 시스템은 샘플의 연속 순위를 제공할 수 있다. 예를 들어, 전산화 검사 시스템은 알고리듬을 적용하여 웨브 재료 내의 불균일성 결함에 대한 심각도의 측정값을 0 내지 10의 척도의 1.63과 같이 연속 척도로 생성시킬 수 있다. 추가로, 불균일성 심각도 수준이 조악하게 구분된 척도로만 알려진 트레이닝 영상의 세트로부터 샘플의 연속 순위화를 달성하기 위해 사용되는 연속 순위 모델을 개발할 수 있다.
일부 실시 형태에서, 주어진 제조된 웨브에 대한 디지털 영상의 부가적 분석은 전환 제어 시스템(4)에 의해 오프라인으로 수행될 수 있다. 주어진 웨브에 대한 분류를 기반으로, 전환 제어 시스템(4)은 각각의 웨브 롤(10)에 대해 전환 플랜을 선택하고 생성시킬 수 있다. 소정의 불균일성이 하나의 제품, 예를 들어 제품(12A)에서는 결함을 유발할 수 있는 반면에, 그 이상이 상이한 제품, 예를 들어 제품(12B)에서는 결함을 유발하지 않을 수 있다는 점에서, 디지털 영상의 분석 및 심각도 수준의 결정은 응용-특이적(application-specific)일 수 있다. 각각의 전환 계획은 궁극적으로 고객(14)에게 판매될 수 있는 제품(12)을 만들기 위해 대응하는 완성된 웨브 롤(10)을 처리하는 정의된 명령어를 나타낸다. 예를 들어, 웨브 롤(10)은 노트북 컴퓨터의 디스플레이에 적용하기 위한 최종 제품, 예를 들어 소정 사이즈의 시트로 전환될 수 있다. 또 다른 예로서, 동일한 웨브 롤(10)이 대신에 휴대 전화의 디스플레이에 적용하기 위한 최종 제품으로 전환될 수 있다. 전환 제어 시스템(4)은, 이상에 적용될 수 있는 상이한 결함 검출 알고리듬들을 고려하여, 어느 제품이 웨브의 최대 이용도와 같은 소정의 파라미터들을 최상으로 달성하는지를 식별할 수 있다.
도 2는 도 1의 예시적인 웨브 제조 공장(6A)에서 웨브 공정 라인(21)의 일부 내에 위치하는 검사 시스템의 예시적인 실시 형태를 도시하는 블록 다이어그램이다. 이 예시적인 실시예에서, 웨브(20)의 세그먼트가 2개의 지지 롤(22, 24) 사이에 위치된다. 영상 획득 장치(26A 내지 26N)(영상 획득 장치(26))는 연속적으로 이동하는 웨브(20)에 아주 근접하여 위치하며, 연속적으로 이동하는 웨브(20)의 순차적인 부분을 스캔하여 영상 데이터를 얻는다. 획득 컴퓨터(27)는 영상 획득 장치(26)로부터 영상 데이터를 수집하여 분석 컴퓨터(28)로 영상 데이터를 전송한다.
영상 획득 장치(26)는, 이동하는 웨브(20)의 순차적인 부분을 판독할 수 있고 디지털 데이터 스트림의 형태로 출력을 제공할 수 있는 종래의 영상화 장치일 수 있다. 도 2에 도시된 바와 같이, 영상화 장치(26)는 디지털 데이터 스트림을 직접 제공하는 카메라, 또는 부가적 아날로그-디지털 컨버터를 구비한 아날로그 카메라일 수 있다. 예를 들어, 레이저 스캐너와 같은 다른 센서가 영상 획득 장치로서 이용될 수 있다. 웨브의 순차적인 부분은 데이터가 연속하는 단일 라인에 의해 획득됨을 지시한다. 단일 라인은 단일 열의 센서 요소 또는 픽셀에 매핑되는 연속적으로 이동하는 웨브의 영역을 포함한다. 영상을 획득하는 데 적절한 장치의 예는 Dalsa(캐나다 온타리오주 워털루 소재)의 Piranha 모델, 또는 Atmel(미국 캘리포니아주 산호세 소재)의 모델 Aviiva SC2 CL 등의 라인스캔 카메라를 포함한다. 부가적 예는 아날로그-디지털 컨버터와 함께 서피스 인스펙션 시스템즈 게엠베하(Surface Inspection Systems GmbH)(독일 뮌헨)로부터의 레이저 스캐너를 포함한다.
영상 데이터는 영상의 입수를 지원하는 광학 조립체의 이용을 통해 임의로 획득될 수 있다. 이 조립체는 카메라의 부품일 수 있거나, 카메라와는 별개일 수 있다. 광학 조립체는 영상화 공정 중에 반사된 광, 투과된 광, 또는 반투과반사된(transflected) 광을 이용한다. 반사된 광은 예를 들어 표면 스크래치와 같은 웨브 표면 변형부에 의해 야기된 결함의 검출에 흔히 적합하다.
몇몇 실시예에서, 기준 마크 제어기(fiducial mark controller)(30)는 웨브(20)로부터 롤 및 위치 정보를 수집하기 위해 기준 마크 판독기(fiducial mark reader)(29)를 제어한다. 예를 들어, 기준 마크 제어기(30)는 웨브(20)로부터 바코드 또는 다른 표식을 판독하기 위한 하나 이상의 사진-광학 센서(photo-optic sensor)를 포함할 수 있다. 또한, 기준 마크 제어기(30)는 웨브(20) 및/또는 롤러(22, 24)에 관여된 하나 이상의 고정밀 인코더로부터 위치 신호를 받을 수 있다. 이 위치 신호에 기초하여, 기준 마크 제어기(30)는 각각의 검출된 기준 마크에 대한 위치 정보를 결정한다. 기준 마크 제어기(30)는 롤 및 위치 정보를 검출된 이상과의 연계를 위해 분석 컴퓨터(28)에 전달한다.
분석 컴퓨터(28)는 획득 컴퓨터(27)로부터의 영상 데이터의 스트림을 처리한다. 본 명세서에 기술된 기술에 따라, 특징부 추출 모듈(43)이 분석 컴퓨터(28) 상에서 실행되고, 웨브 재료(20)의 제조 중에 실시간으로 어느 영상 특징부를 영상당 기준으로 계산할 것인지를 동적으로 결정한다. 즉, 제조 중에 획득된 각각의 샘플 영상에 대하여, 각각의 유형의 잠재적 불균일성에 대해 심각도 수준을 계산할 수 있을 때까지 특징부 추출 모듈(43)이 연이어 더 큰 특징부 세트로부터의 결과를 사용하여 부가적 특징부 계산을 촉발함으로써 실시간으로 "최상의 특징부 세트"를 구축한다. 예시적인 일 실시 형태에서, 전산화 불균일성 차트화 모듈(39)("차트화 모듈(39)")은 트레이닝 데이터(35)를 기반으로 개발된 연속 순위 모델(34)("모델(34)")을 이용하는 알고리듬을 적용함으로써 추출된 특징부를 처리하여 불균일성 결함의 존재를 검출하고 각각의 결함의 심각도 수준의 연속 차트화를 제공한다. 예시적 차트화 모듈(39)의 추가의 상세 사항은 발명의 명칭이 "웨브-기반의 재료의 가변성 검출을 위한 불균일성 심각도의 연속 차트화(CONTINUOUS CHARTING OF NON-UNIFORMITY SEVERITY FOR DETECTING VARIABILITY IN WEB-BASED MATERIALS)"인 미국 가특허 출원 제61/394,655호(Ribnick et al.)에서 확인할 수 있다.
전형적으로 트레이닝 데이터(35)는 하나 이상의 전문가(38)에 의해 등급이 배정된 대표적 샘플 디지털 영상의 방대한 세트로 구성된다. 이전에 자동으로 순위화된 데이터 또한 트레이닝에 사용할 수 있다. 디지털 영상은, 예를 들어, 웨브(20) 또는 웨브 공정 라인(21)에 의해 이전에 제조된 다른 웨브로부터 채취된 샘플을 나타낼 수 있다. 트레이닝 서버(36)는 전산화 전문 등급화 도구(37)("등급화 도구(37)")를 제공하는 소프트웨어의 실행을 위한 작동 환경을 제공하여, 샘플을 나타내는 다량의 디지털 영상에 전문가(38)가 효율적이고 일관성 있게 등급(즉 라벨)을 배정하는 것을 지원할 수 있다. 예시적인 전문 등급화 도구(37)의 추가의 상세 사항은 발명의 명칭이 "제조된 웨브 제품의 디지털 샘플에 대한 컴퓨터-보조 등급 배정(COMPUTER-AIDED ASSIGNMENT OF RATINGS TO DIGITAL SAMPLES OF A MANUFACTURED WEB PRODUCT)"인 미국 가특허 출원 제61/394,428호(Ribnick et al.)에서 확인할 수 있다.
일단 트레이닝 데이터(35)가 확립되었으면, 트레이닝 모듈(41)은 웨브 재료(20)에 대해 획득 컴퓨터(27)로부터 받은 영상 데이터의 실시간 분석을 위하여 트레이닝 데이터를 처리하여 차트화 모듈(39)에 의한 후속 용도로 연속 순위 모델(34)을 생성시킨다. 이러한 방식으로, 웨브 재료(20)의 지역의 새로운 영상을 연속 순위 모델(34)에 따라 분류할 수 있다. 검출될 수 있는 예시적인 결함은 얼룩, 채터, 밴딩, 및 줄무늬와 같은 불균일성과 더불어, 반점(spot), 스크래치, 및 오일 드립(oil drip)을 포함하는 점 결함을 포함한다.
분석 컴퓨터(28)는 웨브(20)에 대한 롤 식별 정보 및 가능하게는 각각의 이상에 대한 위치 정보를 포함하는 웨브(20)에 대한 이상 정보를 데이터베이스(32) 내에 저장할 수 있다. 예를 들어, 분석 컴퓨터(28)는 기준 마크 제어기(30)에 의해 생성되는 위치 데이터를 이용하여 공정 라인의 좌표계 내에서 각각의 이상의 영상 지역 또는 공간적 위치를 결정할 수 있다. 즉, 기준 마크 제어기(30)로부터의 위치 데이터를 기반으로, 분석 컴퓨터(28)는 현재의 공정 라인에 의해 사용되는 좌표계 내에서 각각의 이상에 대한 x, y, 및 가능하게는 z 위치 또는 범위를 결정한다. 예를 들어, x 치수가 웨브(20)를 가로지른 거리를 나타내고, y 치수가 웨브의 길이를 따른 거리를 나타내며, z 치수가 웨브에 이전에 적용된 코팅, 재료 또는 다른 층의 수에 기초할 수 있는 웨브의 높이를 나타내도록, 좌표계가 정의될 수 있다. 추가로, x,y,z 좌표계에 대한 원점은 공정 라인 내의 물리적 위치에 정의될 수 있고, 전형적으로 웨브(20)의 초기 공급 배치와 연관된다. 데이터베이스(32)는 데이터 저장 파일 또는 하나 이상의 데이터베이스 서버에서 실행되는 하나 이상의 데이터베이스 관리 시스템(DBMS)을 비롯한 다수의 상이한 형태 중 임의의 형태로 구현될 수 있다. 데이터베이스 관리 시스템은 예를 들어 관계형(RDBMS), 계층형(HDBMS), 다차원(MDBMS), 객체 지향형(ODBMS 또는 OODBMS) 또는 객체 관계형(ORDBMS) 데이터베이스 관리 시스템일 수 있다. 일례로서, 데이터베이스(32)는 마이크로소프트 코포레이션(Microsoft Corporation)으로부터의 SQL 서버(SQL Server™)에 의해 제공된 관계형 데이터베이스로서 구현된다.
일단 공정이 종료되었으면, 분석 컴퓨터(28)는 데이터베이스(32)에 수집된 데이터를 네트워크(9)를 통해 전환 제어 시스템(4)으로 전송할 수 있다. 예를 들어, 분석 컴퓨터(28)는 롤 정보와 더불어 이상 정보 및 각각의 이상에 대한 각각의 서브-영상을 연속 순위 모델(34)에 따른 후속의 오프라인 상세 분석을 위해 전환 제어 시스템(4)에 전달할 수 있다. 예를 들어, 정보는 데이터베이스(32)와 전환 제어 시스템(4) 사이의 데이터베이스 동기화에 의해 전송될 수 있다. 몇몇 실시예에서, 분석 컴퓨터(28)보다는, 전환 제어 시스템(4)이 제품들(12) 중의 각각의 이상이 결함을 야기할 수 있는 그 제품을 결정할 수 있다. 일단 완성된 웨브 롤(10)에 대한 데이터가 데이터베이스(32)에 수집되었으면, 데이터는 전환 현장(8)에 전달되고/되거나, 웨브 롤 상에, 제거가능하거나 세척가능한 마크로 웨브의 표면 상에 직접, 또는 웨브 상에 이상을 마킹하기 전에 또는 마킹하는 중에 웨브에 적용될 수 있는 커버 시트 상에, 이상을 마킹하기 위해 사용될 수 있다.
분석 컴퓨터(28) 및 트레이닝 서버(36)의 구성요소는 적어도 부분적으로, 하나 이상의 하드웨어 마이크로프로세서, 디지털 신호 프로세서(DSP: digital signal processor), 응용 특이적 집적 회로(ASIC: application specific integrated circuit), 필드 프로그램 가능 게이트 어레이(FPGA: field programmable gate array), 또는 임의의 다른 균등한 집적 또는 개별 논리 회로와 더불어 이러한 구성요소의 임의의 조합을 포함하는, 분석 컴퓨터(28)의 하나 이상의 프로세서에 의해 실행되는 소프트웨어 명령어로서 시행될 수 있다. 소프트웨어 명령어는 임의 접근 기억장치(RAM: random access memory), 판독 전용 기억장치(ROM: read only memory), 프로그램 가능 판독 전용 기억장치(PROM: programmable read only memory), 소거 및 프로그램 가능 판독 전용 기억장치(EPROM: erasable programmable read only memory), 전자적 소거 및 프로그램 가능 판독 전용 기억장치(EEPROM: electronically erasable programmable read only memory), 플래시 기억장치, 하드 디스크, CD-ROM, 플로피 디스크, 카세트, 자기 매체, 광학 매체, 또는 다른 컴퓨터-판독가능 저장 매체와 같은 비-일시적 컴퓨터 판독가능 매체 내에 저장될 수 있다. 예시를 목적으로 제조 공장(6A) 내에 위치하는 것으로 나타내지만, 분석 컴퓨터(28)는 트레이닝 서버(36)와 더불어 제조 공장의 외부, 예를 들어 중앙 위치 또는 전환 현장에 위치할 수 있다. 예를 들어, 분석 컴퓨터(28) 및 트레이닝 서버(36)는 전환 제어 시스템(4) 내에서 작동할 수 있다. 다른 예에서, 기술된 구성요소는 단일 계산 플랫폼 상에서 실행되며 동일한 소프트웨어 시스템 내에 집적될 수 있다.
도 3은 도 2의 검사 시스템의 개요를 제공하는 순서도이다. 이 예에서, 공정은 하기 2개의 일반 처리 단계를 포함한다: 트레이닝 단계(45) 및 온라인 추산 단계(47). 예시를 목적으로, 주어진 샘플의 불균일성 심각도의 측정값을 0 내지 10의 척도의 1.63과 같이 연속 척도 또는 더욱 정확하게 샘플링된 척도로 생성시키는 단계와 관련하여 검사 시스템을 기술한다. 본 기술은 이것으로 한정되지 않으며, 웨브 재료 내의 불균일성 결함의 심각도의 다른 형태의 라벨링 또는 등급화에 적용될 수 있다.
초기에, 트레이닝 모듈(41)은, 심각도 순위가 아마도 조악하게 구분된 척도로 이미 알려진, 전형적으로는 영상의 세트 형태의 트레이닝 데이터(35)를 입력으로서 받는다(50). 즉, 트레이닝 데이터(35)는 웨브(20)로부터 채취된 샘플을 나타내는 디지털 영상일 수 있으며, 미국 가특허 출원 제61/394,428호에 기술된 방식으로 전산화 전문 등급화 도구(37)("등급화 도구(37)")가 각각의 디지털 영상에 불연속 등급(53)을 배정했을 수 있다.
그 다음에, 트레이닝 모듈(41)의 특징부 추출 소프트웨어 모듈이 각각의 영상을 처리하여 특징부를 추출한다(52). 특징부 추출은 각각의 영상에 내재적인 관련 정보의 간결한 수치적 표현으로서 각각의 영상의 수치화된 디스크립터를 제공한다. 트레이닝 단계 중에 오프라인에서 특징부 추출이 일어남에 따라, 특징부 추출 소프트웨어 모듈은 각각의 트레이닝 영상에 대하여 완전한 세트의 특징부 추출 계산을 수행할 수 있다. 트레이닝 세트 내의 영상 사이의 관계에 대한 유용한 정보를 보존하면서, 동시에 정보성이 없는 영상 특징을 제거하는 임의의 방식으로 특징부를 추출할 수 있다. 통상적인 특징부 추출 기술의 예는 필터의 세트로 영상을 컨볼빙(convolving)하고 필터된 영상의 통계를 계산하는 단계, 또는 색 또는 강도 히스토그램을 기반으로 특징부를 추출하는 단계를 포함한다. 간혹 화소값을 특징부로서 사용할 수 있으나, 이 경우에는 전형적으로 전체 영상이 저장되어야 하므로 디스크립터에 간결성이 없다. 일반적으로, 얻어진 특징부를 상응하는 영상 내의 관련 정보의 간결한 표현으로서 처리한다.
본 명세서에 기술된 기술은 임의의 특정 특징부 추출 방법론을 동반하는 용도로 한정되지 않으며, 다른 유형의 특징부가 더욱 적절한 응용에 용이하게 적용될 수 있다. 일반적으로, 영상으로부터 추출된 특징부는, 그들이 특정 유형의 불균일성에 대해 영상에 관한 식별 정보를 함유한다는 점에서 표현적이다. 그러므로, 일단 특징부가 추출되었으면, 각각의 영상에 상응하는 특징부 벡터는 그 영상에 함유된 대부분의 관련 정보를 나타낸다.
하나의 예시적 특징부 추출 알고리듬은, 특히 그것이 질감(texture)에 관련될 경우, 영상을 가로질러 화소 특징부의 작은 공분산 매트릭스(small covariance matrix)를 계산하는 것이다. 일단 이러한 작은 공분산 매트릭스(예를 들어, 5x5)가 추출되면, 영상을 직접 취급하는 대신에 이들 매트릭스만을 기반으로 영상들 사이의 쌍대(pair-wise) 비교를 효율적으로 실행할 수 있다. 예를 들어, 흑백 영상은 I(x, y)와 같이 화소 좌표 x 및 y에 의해 지표화된 2-차원 어레이로서 정의된다. 각각의 화소 위치(x, y)에서, 화소의 강도값 및 그 화소에서의 그들의 1차 및 2차 도함수를 기반으로 특징부 벡터를 추출한다:
[수학식 1]
Figure pct00001
각각의 화소에서 단순히 강도값 사이의 전향차분 또는 중심차분을 계산함으로써 영상 도함수(구배)를 근사화할 수 있다. 더 고차의 도함수 또는 필터된 영상으로부터의 결과를 포함하는 다른 특징부를 (수학식 1)의 벡터에 혼입시킬 수 있다. 마찬가지로, 모든 도함수가 포함될 필요는 없으며, 예를 들어, 주어진 방향의 도함수가 특정 결함에 대한 정보를 제공하지 않는다면, 그것을 (수학식 1)로부터 제거할 수 있다. 최종적으로, 전체 영상에 걸쳐 이들 화소 특징부의 공분산 매트릭스를 계산한다:
[수학식 2]
Figure pct00002
여기서 N은 영상 내의 화소의 수이고:
[수학식 3]
Figure pct00003
는 화소 특징부의 평균이다. 후속의 처리 단계에서는, 영상들 사이의 쌍대 거리를 계산하는 것이 유용할 수 있다. 이들 공분산 매트릭스 디스크립터의 경우, 쌍대 거리는 하기와 같이 계산된다:
[수학식 4]
Figure pct00004
여기서 λ i (CI1 ;CI2)는 2개 공분산 매트릭스의 i 번째 일반화된 고유값이다. 추가의 상세 사항은 문헌[O. Tuzel, F. Porikli, and P. Meer. "Region Covariance: A Fast Descriptor for Detection and Classification", Proceedings of the European Conference on Computer Vision, 2006]에서 확인할 수 있다.
각각의 트레이닝 영상에 대해 특징부를 추출한 후에, 트레이닝 모듈(41)은 특징부 벡터를 처리하여 트레이닝 영상의 연속 순위를 학습하고 그들의 불균일성의 심각도를 기반으로 연속 순위 모델(34)을 생성시킨다(54). 트레이닝 단계(45) 중에, 트레이닝 모듈(41)은 트레이닝 영상의 연속 순위를 그들의 불균일성의 심각도를 기반으로 학습한다. 초기에, 각각의 트레이닝 영상에 관해 알려진 전부는, 상응하는 샘플이 특정 유형의 불균일성에 대해 "양호" 또는 "불량", 또는 "1", "3", 또는 "5"인지를 표기하는 전문 등급이다. 이들 전문 등급은 흔히 트레이닝 영상의 조악한 오더링(ordering)을 제공하며, 즉, 트레이닝 영상은 2개 또는 3개의 불연속 카테고리, 또는 작업자가 이러한 정보를 제공할 수 있다면 그 이상의 카테고리로 순위화될 수 있다. 트레이닝 모델(41)은 이 조악한 오더링을 입력으로서 사용하여, 특정 불균일성에 대한 연속 척도에 따라 트레이닝 영상이 최상으로부터 최하까지 순위화되는 연속 순위를 학습한다. 양호한 순위는 가능한 한 전문 등급을 중시해야 하지만(예를 들어, "양호" 영상을 배정하는 것은 "불량"으로 라벨링된 것들에 비해 심각도 순위를 낮춤), 일부 경우에는 트레이닝 모듈(41)이 불연속 라벨에 의해 제시되는 조악한 순위를 위반하는 것이 완전히 방지되지는 않으며, 이는 트레이닝 데이터의 수동 라벨링의 주관성으로 인해 전문 등급에 실수가 존재한다는 것이 가능하고 사실상 통상적이기 때문이다.
온라인 추산 단계(47) 중에, 차트화 모듈(39)은 학습된 연속 순위 모델(34)을 제조 라인에 실시간으로 적용한다. 생성되고 있는 웨브의 샘플 영상이 포착됨에 따라(56), 특징부 추출 모듈(43)이 영상으로부터 특징부를 추출한다(58). 하기에 추가로 상세히 기술된 바와 같이, 특징부 추출 모듈(43)은 웨브 재료(20)의 제조 중에 실시간으로 어느 영상 특징부를 영상당 기준으로 계산할 것인지를 동적으로 결정한다. 제조 중에 획득된 각각의 샘플 영상에 대하여 특징부 추출 모듈(43)이 연이어 더 큰 특징부 세트로부터의 결과를 사용하여 부가적 특징부 계산을 촉발함으로써 실시간으로 "최상의 특징부 세트"를 구축한다. 특징부 추출 모듈(43)은 샘플 영상으로부터 어느 특징부를 추출할 것인지를 실시간으로 선택하기 위한 동적 촉발자의 체인을 정의하는 모델(예를 들어, 마르코프 모델)을 저장할 수 있다. 추출된 특징부가 웨브 재료에 대한 불균일성 결함의 심각도 수준을 계산하기에 충분할 때까지 샘플 영상으로부터 추출할 부가적 특징부 세트의 선택을 반복하여 동적으로 촉발시키기 위하여 특징부 추출 모듈(43)은 모델을 적용한다(59, 60). 그러므로, 임의의 주어진 샘플 영상에 대하여 추출된 특징부의 수, 및 특징부가 추출되는 순서는, 특징부 추출 모듈(43)에 의해 실시간으로 동적으로 결정된다. "양호" 또는 "불량"과 같은 심각도 등급 라벨을 배정하거나, 1 내지 10의 척도의 "1.63"과 같은 심각도값을 생성시킴으로써, 컴퓨터 검사 시스템이 심각도 수준을 계산할 수 있다. 이어서, 불균일성 결함에 대하여 계산된 심각도를 사용자에게 출력할 수 있다. 예를 들어, 일단 추출된 특징부가 연속 순위 모델(34)을 기반으로 심각도 등급이 배정되기에 충분하면, 심각도 등급을 사용자에게 출력할 수 있다.
도 4는, 특징부 추출 모듈(43)이 연이어 더 큰 특징부 세트로부터의 결과를 사용하여 부가적 특징부 계산을 촉발함으로써 실시간으로 "최상의 특징부 세트"를 구축하는 동적 시스템 구성의 예를 나타내는 흐름도이다. 웨브 재료의 새로운 영상을 포착한 후에, 분석 컴퓨터(28)는 엣지 트리밍(edge trimming) 또는 편평화(flattening) 등과 같은 일부 예비-처리를 수행할 수 있으며, 디스플레이 표현을 기록하거나 출력하기 위한 일부 소정의 통계를 계산한다.
그 다음에, 특징부 추출 모듈(43)은 제1 촉발 지점(60)에 도달하며, 여기에서는 유동 중의 그 지점까지의 새로운 영상에 대해 계산된 특징부를 분석함으로써 부가적 처리를 촉발시킬 것인지를 결정한다. 예를 들어, 특징부 추출 모듈(43)은 다른 특징부 추출 계산에 비교하여 더 단순하고 빠른 처리로서 작업자에 의해 식별된 기초 특징부 세트를 적용할 수 있다. 촉발 지점(60)에서, 특징부 추출 모듈(43)은 기초 특징부 세트를 사용하여 점 결함을 검출하기 위하여 소위 방울(blob) 레시피를 사용하는 일부 형태학적(방울) 분석을 적용할 수 있다. 동시에, 특징부 추출 모듈(43)은 기초 특징부 세트가 새로운 영상 내의 불균일성 변동을 신뢰 수준 내에서 평가하기에 충분한 증거를 제공하는지를 결정한다. 예를 들어, 현재 영상의 분류를 보조하기 위해 더 많은 특징부를 촉발시킬 것인지 여부에 관한 결정을 단순 발견법(heuristic)에 따라 내릴 수 있다. 예를 들어, 동적으로 결정된 차선의 특징부 세트의 첨가로부터 불균일성 결함에 대한 영상의 오분류의 비용의 예상되는 감소가 소정의 역치를 초과한다면 특징부 추출 모듈이 부가적 특징부의 추출을 촉발하도록, 단순한 결정 규칙을 설정할 수 있다. 비용의 예상되는 감소, 즉, 필요한 신뢰 수준은, 하기에 추가로 기술되는 바와 같이 학습된 마르코프 모델을 사용하여 결정할 수 있다. 그렇지 않다면, 특징부 추출 모듈(43)은 촉발 지점(62)까지 진행하여 더 복잡한 처리를 연이어 촉발시킨다. 즉, 제2 촉발 지점(62)에서, 특징부 추출 모듈(43)은 부가적 특징부를 추출하기 위하여 제2 특징부 세트 추출 계산, 예를 들어, 영상 필터링/주변화(marginalization)를 수행한다. 이러한 제2 특징부 세트 추출 계산은 초기에 수행된 기초 특징부 세트보다 더 복잡하고 계산 집약적일 수 있다. 유동 중의 이 지점까지의 새로운 영상에 대해 추출된 특징부의 일부 또는 전부를 입력으로 하는 수학적 모델인, 분류기라고도 지칭되는 영상 레시피를 사용하여, 특징부 추출 모듈(43)이 불균일성의 정도 및 유형의 식별을 재시도한다.
공정은 촉발 지점(60M)의 체인으로서 반복되며, 여기에서 영상 내에 임의의 유형의 불균일성이 존재하는 정도를 결정하기 위하여 더 복잡한 부가적 영상 처리 계산이 필요한지를 각각의 촉발 지점에서 결정한다. 각각의 촉발 지점에서의 이러한 결정은 유동 중의 그 지점까지의 새로운 영상에 대해 계산된 특징부를 기반으로 내려진다.
일부 상황에서는, 웨브 재료로부터 실시간으로 포착된 샘플 영상이 다중의 패턴을 함유할 수 있다. 도 4에 제시된 공정에 따라, 임의의 불균일성의 가장 정확한 분류를 가능하게 할 것으로 보이는 특징부가 촉발되도록 특징부 추출 모듈(43)이 작동한다. 전산화 검사 시스템에 의해 영상화된 모든 개별 샘플에 대해 이 공정을 수행할 수 있다. 대안적으로, 특징부 추출 모듈(43)은 폴링 스킴(polling scheme) 하에 작동할 수 있으며, 여기에서는 공정 구성요소를 촉발하거나 철회할 필요성을 매 X 샘플 후에 확인한다(여기서, X는 구성가능 파라미터임).
일례에서는, 특징부 추출 모듈(43)이 동적 촉발을 위한 제어된 마르코프 모델에 따라 작동하도록 구성된다. 이 실시 형태에서, 특징부 추출 모듈(43)은 향후의 촉발 사건에 관련된 임의의 촉발 단계 t에서 충분한 정보의 요약으로서 작용하는 상태 벡터 x(t)를 정의하는 구성 데이터를 포함한다. 완전성을 위하여, 공정 중의 임의의 지점에서 단일 영상 샘플을 분석하기 위한 촉발 사건이 일어나며, 여기서 특징부 추출 모듈(43)은 계산할 부가적 특징부를 선택할 기회를 갖는다.
일례에서는, 분류기 패밀리 {Φi(t)}i=1 N을 통해 상태 벡터를 정의하며, 여기서 촉발 단계 t에서, Φi(t)는 단계 t에서 촉발되는 특징부 및 이전 단계 {Φi(t - 1)}i=1 N에서의 분류기 패밀리에만 의존한다. ROC-최적 분류기 향상 알고리듬을 사용하여 이러한 순서의 분류기 패밀리를 어떻게 작제할 수 있는지의 예는 PCT 국제 출원 공개 제WO/2010/059679호에 기술되어 있다. 이러한 예에서, 이진 분류기는 라벨링된 트레이닝 데이터로부터 학습된 결정 규칙의 세트(즉, 아마도 다중 변수 상의 역치)로 구성된다. 그러나, 일반적으로 임의의 불연속 분류 알고리듬을 사용할 수 있을 것이다. 다른 예는 서포트 벡터 머신(SVM: Support Vector Machine), 로지스틱 회귀분석(Logistic Regression), 또는 결정 트리(Decision Tree)를 포함하였다.
특징부 추출 모듈(43)의 상태 벡터를 정의하는 단계와 관련하여, 단계 t에서의 상태 벡터의 i 번째 요소를 Φi(t)에 의해 배정된 분류로서 취한다(즉, xi(t) = Φi(t)). 일례는 x(t)
Figure pct00005
{0, 1}N이도록 하는 이진 분류이나, 본 명세서에 논의된 방법은 다항의 경우까지 연장될 수 있다.
특징부 추출 모듈(43)의 구성 데이터는 주어진 촉발 사건에서 작용을 결정하는 제어 변수, 즉, 다음에 계산할 것으로 지정된 이미 계산되지 않은 하나 이상의 특징부의 부가적 세트를 포함한다. 논의를 단순화하기 위하여, 각각의 촉발 사건에서 단일 특징부 f가 선택될 것임을 가정한다. 그러나, 그 대신에 복수의 특징부를 나타내도록 f를 취한다면, 알고리듬은 유사하다. 분류기는 현재 샘플 영상에 대한 판단을 통해 상태 벡터를 결정하며, 그들은 f 및 이전 단계에서의 분류기 패밀리에만 의존하므로, 특징부 추출 모듈(43)은 최적으로 선택될 제어 f에 의해 파라미터화된 조건부 분포 Pf(x(t + 1)|x(t))를 사용하여 현재 상태 벡터를 기반으로 미래 상태 벡터의 예측을 계산한다. 즉, Pf를 마르코프 체인의 이행 함수라고 지칭한다. 제어 전략을 시행하기 위하여 특징부 추출 모듈(43)은 이행 함수를 추산한다. 샘플 영상의 트레이닝 세트 및 분류기 패밀리의 연계된 순서가 주어지면, 특징부 추출 모듈(43)은 단순 히스토그램 추산
Figure pct00006
f를 사용하도록 구성될 수 있으며, 여기서
Figure pct00007
f(x(t + 1)|x(t))는 특징부 f가 선택될 때 단계 t에서의 상태가 x(t)이고 단계 t + 1에서의 상태가 x(t + 1)인 트레이닝 샘플의 수이다. 잡음이 많은
Figure pct00008
f 및 공간의 희박한 샘플링을 포함하는 고차원에 연계된 문제점을 피하기 위하여, N을 작게 선택할 수 있다. 대안적으로,
Figure pct00009
f의 커넬 평활법(kernel smoothing) 또는 파라미터화를 이용하도록 특징부 추출 모듈(43)을 구성할 수 있다.
이들 구성요소가 준비되면, 특징부 추출 모듈(43)은 일부 예상 손실을 최소화하는 f를 선택하기 위한 이행 함수 추산을 이용하여 임의의 촉발 사건에서 f를 동적으로 선택한다. 예를 들어, a를 b로 오분류(a,b
Figure pct00010
{0, 1}임)하는 비용으로서 값 ca |b가 배정된다고 가정하면, xi(t) = 1인 경우에, 그것이 실수라는 가정 하에(즉, 참 부류는 0임) 분류기 i를 사용하는 예상 손실이 계산된다. 이는 예상 손실 c1|0pt(0)FAf i를 제공하며, 여기서 pt(0)은 임의의 주어진 샘플이 참으로 0일 사전 확률이고, FAf i는 분류기 i의 허위 경보율(false alarm rate) (pt(0|1))(의존성을 강조하기 위해 현재 제어 f에 의해 명시적으로 표시됨)이다. 마찬가지로, xi(t) = 0일 경우, 분류기 i를 사용하는 예상 손실은 c0|1pt(1)(1 - CDf i)이며, 여기서 CD f i는 분류기 i의 정확한 검출률 p t(1|1)이다. 손실 함수는 하기와 같이 표현될 수 있다:
Figure pct00011
일례로서, 특징부 추출 모듈(43)은 모든 촉발 사건에 대한 총 예상 비용 ∑ tct(x,f)를 최소화하는 제어 전략을 이용한다. 상태 및 제어 공간의 크기가 너무 크지 않다면, 동적 프로그래밍을 통해 이 문제점을 정확히 해결할 수 있다. 대안적으로, 각각의 단계에서 그리디 발견법을 적용하여, 합리적인 차선의 해결책을 찾기 위해 ft * = min fct(x,f)를 선택할 수 있다. 일 실시 형태에서는, 모든 가능한 촉발 사건 궤도를 오프라인으로 계산하며, 특징부 추출 모듈(43)은 온라인으로 순람표(look-up table)를 사용하도록 프로그래밍된다. 이러한 방식으로, 현재 샘플에 대해 가장 변별적인 특징부를 촉발시키기 위한 제어된 마르코프 체인 모델을 사용하여 각각의 샘플 영상에 대해 계산되는 특징부의 수를 감소시킬 수 있다. 따라서, 임의의 촉발 사건에 대응하여 선택된 특징부는 현재 추출된 특징부 및 계산된 이행 함수를 기반으로 동적으로 결정될 수 있다.
상기 기술된 기술은, 예를 들어, 단일 분류기 손실 함수의 단순 합계를 사용하는 다중-분류기의 경우까지 용이하게 연장될 수 있다. 또한, ca|b는 상이한 결함 카테고리에 대해 상이하게 척도화되어 상대적 중요성을 포착하거나 특징부 의존성 계산 시간에 상응하는 부가적 인자를 포함할 수 있다. 추가로, 상기 기술을 예시적 손실 함수와 관련하여 설명하였다. 다른 가능성이 존재한다. 예를 들어, 부류 사후 분포(class posterior distribution)의 엔트로피에 페널티를 부과하는 비용 함수 또한 고려할 수 있을 것이다.
실시예
공정 개발 라인으로부터 수집된 필름 영상을 사용하여 시뮬레이션 연구를 수행하였다. 완전한 샘플 세트는 다양한 불균일성을 나타낸 8767개의 영상을 함유한다. 대략, 불균일성은 7개의 카테고리로 그룹화될 수 있다. 채터 및 (큰) 얼룩 카테고리에 부가하여, 작은 얼룩, 막대 마크/밴딩, 큰 반점(splotch)/워터마크(watermark), 줄무늬, 및 대각선 변동(diagonal variation) 결함이 있다. 각각의 별개의 카테고리에 대하여 분류기 패밀리의 순서를 설계하였다. 즉, 히스토그램 및 가보어(Gabor) 필터 처리를 사용하여 추출된 세트 26 통계적 및 스펙트럼 특징부로부터 선택된 특징부를 역치화함으로써 불균일성의 존재/부재를 결정하는 7개의 상이한 부울 분류기 패밀리 순서(각각의 불균일성 카테고리에 하나씩)를 설계하였다. PCT 출원 제WO/2010/059679호에 기술된 기술에 따라 분류기를 설계하고 완전한 샘플 세트 상에서 트레이닝하였다.
각각의 분류기 패밀리 순서는 연이어 더 복잡한 분류기(즉, 더 많은 특징부를 사용함)를 함유하도록 설계되었으며, 여기서 주어진 패밀리 순서 내의 각각의 연이은 분류기는 더 높은 정확도를 가진 그의 목표 카테고리에 불균일성을 배정하는 경향이 있다. 촉발 사건은, 단일 선택된 분류기 패밀리가 그의 순서 내에서 그 다음의 가장 복잡한 분류기 세트로 전진하는 단계로서 정의되었다. 분류기 패밀리 순서 내의 전진을 가능하게 하는 것은 부가적 특징부이므로, 이는 각각의 촉발 사건에서 현재 샘플에 대한 부가적 특징부 세트를 계산하는 단계에 직접 상응한다.
도 5는 ROC-공간 내의 3-단계 순서의 성능을 나타낸다. 나타낸 바와 같이, 각각의 패밀리 80A, 80B, 및 80C는 8개의 분류기로 구성되었다. 순서가 ROC 플롯의 좌상단 코너에 접근한다는 사실은 각각의 단계에서 성능이 개선됨을 나타낸다(적색, 이어서 녹색, 이어서 청색).
단일 시뮬레이션 시험은 8767개의 세트로부터 50개의 랜덤 영상 샘플을 선택하고, 10개의 촉발 사건에 걸쳐 각각을 분석하는 단계를 포함하였으며, 여기서 각각의 사건은 단일 결함 카테고리의 분류기 패밀리의 전진이었다. 본 발명자들은 "1 단계 앞으로" 그리디 최적화를 동반하는 본 명세서에 기술된 방법을 사용하여 각각의 샘플에 대해 "최상의" 10개 촉발자를 계산하였으며, 모든 오분류 오차는 단위 비용을 배정하였다. 이를 각각의 샘플에 대한 랜덤 촉발자 선택에 비교하였으며, 여기서 모든 가능한 촉발자의 세트로부터 10개의 촉발 사건을 무작위로 선택하였다. 평균 성능을 평가하기 위하여, 1000회의 시뮬레이션 시험을 수행하였다. 도 6은 기준선 랜덤(A)과 그리디 최적(B) 사이의 차이를 도시하는 히스토그램이다. 이들 히스토그램은 1000회의 시험 및 각각의 시험에서의 50개의 영상 샘플에 걸쳐 종합되었다.
도 7 및 8은 시뮬레이션 연구를 기반으로 성능 결과를 나타내는 플롯이다. 도 7은 시험/영상에 걸쳐 평균 오분류 비용을 도시한다. 상기 기술한 바와 같이, 모든 오분류에는 단위 비용이 배정되었다. 나타낸 바와 같이, 그리디 최적 제어된 촉발자는 촉발자의 제1 커플 후에 관찰되는 가장 확고한 차이와 함께 모든 사건에 걸쳐 랜덤 촉발자보다 낮은 평균 비용을 가지고 있다. 도 8은, 특정 촉발 전략이 더 낮은 비용을 산출한 50개 샘플의 평균(시험 전체에 걸쳐) 분율을 나타내는 비교 플롯이다. 나타낸 바와 같이, 그리디 촉발자는 50개 샘플의 더 큰 비율에 대해 평균적으로 더 양호한 성능을 제공하였다.
명확한 개선을 제공하기 위하여, 특징부 촉발을 위한 제어된 마르코프 체인 모델을 설명한다. 그리디 알고리듬은 단순하지만 효율적인 스킴으로 생각될 수 있으므로, 더 정교한 제어 최적화를 사용함으로써 추가의 개선을 얻을 수 있다. 또한, 본 연구에서 고려된 특징부 세트는 상대적으로 작다(26개 특징부). 본 기술은 더 큰 특징부 세트로부터 선택하는 것이 필요한 경우에 더욱 더 유리할 수 있다. 이러한 경우, 계산할 최상의 특징부를 동적으로 찾아내는 것은 실제 제조 라인에서 더욱 더 많은 이점을 가질 수 있다. 일 실시 형태에서, 이 기술은 표 순람을 통해 시행될 수 있으며, 고가의 순람표 작제는 오프라인에서 실행될 수 있으므로, 이 기술에 연계된 온라인 계산은 매우 적다.
촉발의 대안적인 경우는, 영상을 최근의 과거 프레임에 비교하여 현재 품질의 지속을 위해 제어하고, 변화가 검출되면 더 상세한 분석을 촉발하는 경우이다. 예를 들어, 현재 웨브가 "양호한 웨브"의 상태에 있다면, 흔히 분산과 같은 단순 특징부를 사용하여 새로운 불균일성의 출현을 검출할 수 있다. 이러한 검출은 더 상세한 분석을 촉발하며, 이는 이어서 부가적 특징부의 계산을 요청한다.
부가적으로, 발명의 명칭이 "웨브-기반의 재료의 가변성 검출을 위한 불균일성 심각도의 연속 차트화(CONTINUOUS CHARTING OF NON-UNIFORMITY SEVERITY FOR DETECTING VARIABILITY IN WEB-BASED MATERIALS)"인 미국 가특허 출원 제61/394,655호(Ribnick et al.)에 기술된 절차에 따라 온라인 제조 라인 내의 재료로부터 얻어진 최근의 과거 샘플 영상을 차트화할 수 있다. 그 명세서에 기술된 절차에 따라, 새로운 샘플 영상(프레임)을 차트화할 수 있다. 이전에 라벨링된 트레이닝 데이터(최근에 차트화된 프레임으로 증강될 수 있는 세트)로 이를 실행할 수 있다. 일단 차트화 값의 현저한 변화를 찾아내면, 촉발이 일어나 증강된 특징부 세트를 요청함으로써 새로운 프레임 내의 임의의 불균일성의 부류 및 심각도를 검출한다.
본 발명의 다양한 실시 형태들이 설명되었다. 이들 및 다른 실시 형태가 이하의 특허청구범위의 범주 내에 속한다.

Claims (19)

  1. 온라인 전산화 검사 시스템을 이용하여, 제조되고 있는 웨브 재료로부터 포착된 영상을 받는 단계;
    검사 시스템으로 영상을 처리하여 제1 특징부 세트를 추출하는 단계;
    모델을 가진 검사 시스템으로 제1 특징부 세트를 처리하여, 모델에 따라 영상으로부터 추출할 제2 특징부 세트를 동적으로 선택하는 단계;
    제2 특징부 세트가 영상으로부터 추출되는 경우, 불균일성 결함에 대한 영상의 오분류의 비용의 예상되는 감소를 모델에 따라 결정하는 단계;
    비용의 예상되는 감소가 역치를 초과하는 경우, 영상을 검사 시스템으로 처리하여 제2 특징부 세트를 추출하는 단계; 및
    영상으로부터 추출된 제1 특징부 세트 및 제2 특징부 세트를 사용하여 검사 시스템으로 웨브 재료에 대한 불균일성 결함의 심각도 수준을 계산하는 단계를 포함하는, 웨브 재료가 제조됨에 따라 웨브 재료를 실시간으로 검사하고 불균일성 결함의 심각도를 계산하는 방법.
  2. 제1항에 있어서, 모델이 영상으로부터 추출할 제2 특징부 세트 및 추출할 임의의 부가적 특징부 세트의 선택을 제어하기 위한 하나 이상의 동적 촉발자(dynamic trigger)의 체인(chain)을 정의하는 마르코프 모델(Markov model)을 포함하는 방법.
  3. 제2항에 있어서,
    분류기 패밀리(family)를 특정하는 현재 상태 벡터를 정의하는 단계;
    하나 이상의 제1 특징부 세트에 의해 파라미터화된 조건부 분포를 사용하여 현재 상태 벡터를 기반으로 미래 상태 벡터의 예측을 계산하는 단계(여기서 조건부 분포는 마르코프 모델의 동적 촉발자에 대한 이행 함수를 나타냄); 및
    계산된 이행 함수를 기반으로 전체 특징부 세트로부터 제2 특징부 세트를 동적으로 선택하는 단계를 추가로 포함하는 방법.
  4. 제3항에 있어서, 제2 특징부 세트를 동적으로 선택하는 단계가, 전체 특징부 세트 중 임의의 것을 선택하는 단계에 연계된 총 예상 비용을 최소화하기 위해 제2 특징부 세트를 선택하는 단계를 포함하는 방법.
  5. 제1항에 있어서,
    모델을 가진 검사 시스템으로 제2 특징부 세트를 처리하여 모델에 따라 영상으로부터 추출할 제3 특징부 세트를 동적으로 선택하는 단계;
    제3 특징부 세트가 영상으로부터 추출되는 경우, 불균일성 결함에 대한 영상의 오분류의 비용의 제2 예상되는 감소를 모델에 따라 결정하는 단계;
    비용의 제2 예상되는 감소가 역치를 초과하는 경우, 영상을 검사 시스템으로 처리하여 제3 특징부 세트를 추출하는 단계; 및
    영상으로부터 추출된 제1 특징부 세트, 제2 특징부 세트, 및 제3 특징부 세트를 사용하여 검사 시스템으로 웨브 재료에 대한 불균일성 결함의 심각도 수준을 계산하는 단계를 추가로 포함하는 방법.
  6. 제1항에 있어서, 심각도 수준을 계산하는 단계가, 불균일성 결함에 대한 등급 라벨을 결정할 수 있는지를 결정하기 위한 하나 이상의 분류기를 적용하는 단계를 포함하는 방법.
  7. 제1항에 있어서,
    온라인 전산화 검사 시스템으로 영상을 받기 전에, 각각의 트레이닝 영상의 화소값으로부터 각각의 트레이닝 영상에 대한 수치화된 디스크립터(descriptor)를 계산함으로써 복수의 트레이닝 영상 각각으로부터 특징부를 추출하기 위하여 컴퓨터 상에서 소프트웨어를 실행하는 단계(여기서 각각의 영상에는 트레이닝 영상 내에 존재하는 불균일 결함에 대한 불연속 등급 라벨의 세트 중 하나가 배정되어 있음); 및
    트레이닝 영상의 수치화된 디스크립터를 등급화 소프트웨어로 처리하여, 트레이닝 영상에 배정된 불연속 등급 라벨을 기반으로 트레이닝 영상의 연속 순위를 계산하는 단계를 추가로 포함하며,
    여기서, 온라인 전산화 검사 시스템으로 심각도 수준을 계산하는 처리는 연속 순위에 따라 불균일성 결함에 대한 심각도 수준을 계산하는 단계를 포함하는 방법.
  8. 제1항에 있어서, 심각도 수준을 사용자에게 출력하기 위한 사용자 인터페이스를 제공하는 단계를 추가로 포함하는 방법.
  9. 제8항에 있어서, 사용자 인터페이스를 제공하는 단계가, 차트를 업데이트하여 시간의 흐름에 따라 웨브 재료에 대한 불균일 결함의 심각도 수준을 그래프화하는 단계를 포함하는 방법.
  10. 제8항에 있어서,
    사용자로부터 입력을 받는 단계; 및
    입력에 반응하여 제조된 웨브 재료에 대한 공정 제어 파라미터를 조정하는 단계를 추가로 포함하는 방법.
  11. 제1항에 있어서, 영상을 처리하여 제1 특징부 세트를 추출하는 단계가 검사 시스템 내에 집적된 파이프라인 그래픽 처리 장치(GPU: graphical processing unit)의 하드웨어 구성요소를 작동시켜 영상을 처리하고 동시에 제1 특징부 세트를 추출하는 단계를 포함하는 방법.
  12. 영상으로부터 어느 특징부를 추출할 것인지를 실시간으로 선택하기 위한 동적 촉발자의 체인을 정의하는 모델을 저장하기 위한 기억장치; 및
    현재 제조되고 있는 제조된 웨브 재료로부터 포착된 샘플 영상을 처리하여 제1 특징부 세트를 추출하기 위하여 소프트웨어를 실행하는 컴퓨터(여기서, 소프트웨어는 모델을 적용하여, 추출된 특징부가 웨브 재료에 대한 불균일성 결함의 심각도 수준을 정의된 신뢰 수준 내에서 계산하기에 충분할 때까지 샘플 영상으로부터 추출할 부가적 특징부 세트의 선택을 반복하여 동적으로 촉발시킴)를 포함하는, 웨브 재료가 제조됨에 따라 웨브 재료를 실시간으로 검사하고 불균일성 결함의 심각도를 계산하기 위한 온라인 전산화 검사 시스템.
  13. 제12항에 있어서,
    소프트웨어가 모델을 적용하여 새로운 영상으로부터 추출할 제2 특징부 세트의 선택을 촉발시키며,
    여기서, 촉발될 경우에 소프트웨어는 영상으로부터 추출된 제1 특징부 세트를 기반으로 전체 특징부 세트로부터 제2 특징부 세트를 동적으로 선택하고,
    여기서, 소프트웨어는 샘플 영상을 처리하여 영상으로부터 제2 특징부 세트를 추출하고 제1 특징부 세트 및 제2 특징부 세트를 기반으로 불균일성 결함의 심각도 수준을 계산하는 검사 시스템.
  14. 제12항에 있어서, 모델이 마르코프 모델을 포함하는 검사 시스템.
  15. 제12항에 있어서,
    모델의 각각의 촉발자에 대하여, 소프트웨어가 분류기 패밀리를 특정하는 현재 상태 벡터를 정의하며 샘플 영상으로부터 이미 추출된 하나 이상의 특징부에 의해 파라미터화된 조건부 분포를 사용하여 현재 상태 벡터를 기반으로 미래 상태 벡터의 예측을 계산하고, 조건부 분포는 모델의 각각의 촉발자에 대한 이행 함수를 나타내며,
    여기서, 모델의 각각의 촉발자에 대하여, 계산된 이행 함수를 기반으로 추출할 부가적 특징부 세트를 소프트웨어가 동적으로 선택하는 검사 시스템.
  16. 제15항에 있어서, 각각의 촉발자에 대하여, 불균일성 결함에 대한 심각도 수준을 계산하는 단계에 연계된 총 예상 비용을 최소화하기 위해 소프트웨어가 부가적 특징부 세트를 동적으로 선택하는 검사 시스템.
  17. 제12항에 있어서, 심각도 수준을 사용자에게 출력하기 위한 사용자 인터페이스를 추가로 포함하는 검사 시스템.
  18. 제11항에 있어서, 검사 시스템 내에 집적된 파이프라인 그래픽 처리 장치(GPU)를 추가로 포함하며, 여기서 소프트웨어는 샘플 영상을 처리하고 동시에 특징부를 추출하기 위하여 각각의 동적 촉발자에서 GPU를 반복하여 작동시키도록 구성된 검사 시스템.
  19. 컴퓨터 프로세서가
    온라인 전산화 검사 시스템을 이용하여, 제조되고 있는 웨브 재료로부터 포착된 영상을 받고;
    검사 시스템으로 영상을 처리하여 제1 특징부 세트를 추출하며;
    제1 특징부 세트를 검사 시스템으로 처리하여 웨브 재료에 대한 불균일성 결함의 심각도 수준을 계산할 수 있는지를 결정하고;
    제1 특징부 세트로부터 심각도 수준을 계산할 수 없는 것으로 결정될 경우, 모델을 적용하여 추출할 제2 특징부 세트를 동적으로 선택하며;
    모델을 가진 검사 시스템으로 제1 특징부 세트를 처리하여, 모델에 따라 영상으로부터 추출할 제2 특징부 세트를 동적으로 선택하고;
    제2 특징부 세트가 영상으로부터 추출되는 경우, 불균일성 결함에 대한 영상의 오분류의 비용의 예상되는 감소를 모델에 따라 결정하며;
    비용의 예상되는 감소가 역치를 초과하는 경우, 영상을 검사 시스템으로 처리하여 제2 특징부 세트를 추출하고;
    영상으로부터 추출된 제1 특징부 세트 및 제2 특징부 세트를 사용하여 검사 시스템으로 웨브 재료에 대한 불균일성 결함의 심각도 수준을 계산하도록 하는 소프트웨어 명령어를 포함하는 비-일시적 컴퓨터-판독가능 매체.
KR1020137014956A 2010-11-12 2011-10-28 웨브-기반의 재료 내의 불균일성의 고속 처리 및 검출 KR101800058B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US41325010P 2010-11-12 2010-11-12
US61/413,250 2010-11-12
PCT/US2011/058250 WO2012064522A1 (en) 2010-11-12 2011-10-28 Rapid processing and detection of non-uniformities in web-based materials

Publications (2)

Publication Number Publication Date
KR20130141584A true KR20130141584A (ko) 2013-12-26
KR101800058B1 KR101800058B1 (ko) 2017-11-21

Family

ID=46051242

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137014956A KR101800058B1 (ko) 2010-11-12 2011-10-28 웨브-기반의 재료 내의 불균일성의 고속 처리 및 검출

Country Status (8)

Country Link
US (1) US9031312B2 (ko)
EP (1) EP2638384A4 (ko)
JP (1) JP5912125B2 (ko)
KR (1) KR101800058B1 (ko)
CN (1) CN103221807B (ko)
BR (1) BR112013011107A2 (ko)
SG (1) SG190143A1 (ko)
WO (1) WO2012064522A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112013020467A2 (pt) * 2011-02-24 2016-10-25 3M Innovative Properties Co sistema para detecção de não uniformidades em materiais à base de manta
DE102011108754A1 (de) * 2011-07-28 2013-01-31 Khs Gmbh Inspektionseinheit
WO2013055311A1 (en) * 2011-10-10 2013-04-18 Hewlett-Packard Development Company, L.P. Methods and systems for identifying action for responding to anomaly in cloud computing system
US10181185B2 (en) * 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
US10388011B2 (en) * 2016-05-17 2019-08-20 Abb Schweiz Ag Real-time, full web image processing method and system for web manufacturing supervision
EP3361444A1 (en) * 2017-02-10 2018-08-15 ABB Schweiz AG Real-time, full web image processing method and system for web manufacturing supervision
CN107065545B (zh) * 2017-04-01 2020-03-24 同济大学 基于马尔科夫跳变的分布式事件触发滤波***及设计方法
CN108227664A (zh) * 2018-02-05 2018-06-29 华侨大学 基于样本数据训练的产品质量控制设备及质量控制方法
JP6681082B2 (ja) * 2018-02-21 2020-04-15 株式会社タナカ技研 情報処理装置、情報システム、情報処理方法、およびプログラム
JP2022519650A (ja) 2019-02-06 2022-03-24 コーニング インコーポレイテッド 粘性リボンを加工する方法
JP7084634B2 (ja) * 2019-12-20 2022-06-15 株式会社タナカ技研 、情報処理装置、端末装置、情報処理方法、およびプログラム

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4728800A (en) * 1985-04-24 1988-03-01 Young Engineering, Inc. Apparatus and method for detecting defects in a moving web
JPH05508375A (ja) * 1991-05-03 1993-11-25 イーストマン・コダック・カンパニー ウェブの巻付け制御方法
US5911139A (en) 1996-03-29 1999-06-08 Virage, Inc. Visual image database search engine which allows for different schema
FR2761475B1 (fr) * 1997-03-28 1999-06-11 Lorraine Laminage Procede d'inspection de surface d'une bande en defilement par segmentation d'image en zones suspectes
US5893055A (en) * 1997-05-30 1999-04-06 Abb Industrial Systems, Inc. Two-dimensional web property variation modeling and control
US5999636A (en) * 1997-10-10 1999-12-07 Printprobe Technology, Llc Apparatus and process for inspecting print material
CA2318196C (en) * 1998-02-10 2008-04-22 Abb Industrial Systems, Inc. Method for extracting and classifying sheet variation patterns from two-dimensional sheet measurements
US6445834B1 (en) 1998-10-19 2002-09-03 Sony Corporation Modular image query system
US6539106B1 (en) * 1999-01-08 2003-03-25 Applied Materials, Inc. Feature-based defect detection
JP4173246B2 (ja) 1999-04-28 2008-10-29 株式会社リコー 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体
JPWO2001041068A1 (ja) * 1999-11-29 2004-01-08 オリンパス光学工業株式会社 欠陥検査システム
US6999614B1 (en) * 1999-11-29 2006-02-14 Kla-Tencor Corporation Power assisted automatic supervised classifier creation tool for semiconductor defects
KR100355404B1 (ko) 1999-12-03 2002-10-11 삼성전자 주식회사 주파수 공간상에서의 가보 필터를 이용한 질감표현방법 및질감기반 영상 검색방법
JP3386025B2 (ja) * 1999-12-15 2003-03-10 株式会社ニコン 画像特徴抽出装置、画像特徴抽出方法、監視検査システム、半導体露光システム、およびインターフェースシステム
US7113994B1 (en) 2000-01-24 2006-09-26 Microsoft Corporation System and method of proxy authentication in a secured network
US7099860B1 (en) 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
US6950547B2 (en) * 2001-02-12 2005-09-27 3M Innovative Properties Company Web inspection method and device
US6681060B2 (en) 2001-03-23 2004-01-20 Intel Corporation Image retrieval using distance measure
US6847733B2 (en) 2001-05-23 2005-01-25 Eastman Kodak Company Retrieval and browsing of database images based on image emphasis and appeal
US7283659B1 (en) 2002-01-09 2007-10-16 Kla-Tencor Technologies Corporation Apparatus and methods for searching through and analyzing defect images and wafer maps
JP4155496B2 (ja) 2002-04-25 2008-09-24 大日本スクリーン製造株式会社 分類支援装置、分類装置およびプログラム
JP4118703B2 (ja) * 2002-05-23 2008-07-16 株式会社日立ハイテクノロジーズ 欠陥分類装置及び欠陥自動分類方法並びに欠陥検査方法及び処理装置
JP2004109105A (ja) * 2002-07-23 2004-04-08 Jfe Steel Kk 表面欠陥検出における疵種分類境界設定方法、及び欠陥検出方法
FI20021578A (fi) 2002-09-03 2004-03-04 Honeywell Oy Paperin karakterisointi
US7162071B2 (en) 2002-12-20 2007-01-09 Taiwan Semiconductor Manufacturing Co., Ltd. Progressive self-learning defect review and classification method
US7359544B2 (en) * 2003-02-12 2008-04-15 Kla-Tencor Technologies Corporation Automatic supervised classifier setup tool for semiconductor defects
US7602962B2 (en) * 2003-02-25 2009-10-13 Hitachi High-Technologies Corporation Method of classifying defects using multiple inspection machines
US7027934B2 (en) * 2003-09-24 2006-04-11 3M Innovative Properties Company Apparatus and method for automated web inspection
US20050135667A1 (en) 2003-12-22 2005-06-23 Abb Oy. Method and apparatus for labeling images and creating training material
US7545985B2 (en) * 2005-01-04 2009-06-09 Microsoft Corporation Method and system for learning-based quality assessment of images
JP4639858B2 (ja) * 2005-03-07 2011-02-23 Ｊｆｅスチール株式会社 表面欠陥検査方法及びその装置
JP2008175588A (ja) * 2007-01-16 2008-07-31 Kagawa Univ 外観検査装置
JP5022174B2 (ja) * 2007-10-22 2012-09-12 株式会社日立製作所 欠陥分類方法及びその装置
JP4629118B2 (ja) * 2008-03-03 2011-02-09 株式会社日立ハイテクノロジーズ 欠陥検査装置およびこの欠陥検査装置に用いるパラメータ調整方法。
US7937233B2 (en) * 2008-04-17 2011-05-03 3M Innovative Properties Company Preferential defect marking on a web
JP5255953B2 (ja) * 2008-08-28 2013-08-07 株式会社日立ハイテクノロジーズ 欠陥検査方法及び装置
JP5414416B2 (ja) * 2008-09-24 2014-02-12 キヤノン株式会社 情報処理装置及び方法
WO2010059679A2 (en) 2008-11-19 2010-05-27 3M Innovative Properties Company Constructing enhanced hybrid classifiers from parametric classifier families using receiver operating characteristics
JP5294114B2 (ja) * 2009-01-26 2013-09-18 株式会社メガオプト 光学モジュール

Also Published As

Publication number Publication date
US9031312B2 (en) 2015-05-12
JP2013545979A (ja) 2013-12-26
EP2638384A1 (en) 2013-09-18
EP2638384A4 (en) 2017-04-19
KR101800058B1 (ko) 2017-11-21
US20130236082A1 (en) 2013-09-12
CN103221807A (zh) 2013-07-24
SG190143A1 (en) 2013-07-31
BR112013011107A2 (pt) 2016-08-02
WO2012064522A1 (en) 2012-05-18
CN103221807B (zh) 2015-08-12
JP5912125B2 (ja) 2016-04-27

Similar Documents

Publication Publication Date Title
KR101800058B1 (ko) 웨브-기반의 재료 내의 불균일성의 고속 처리 및 검출
KR20140031201A (ko) 웨브 기반 재료 내의 불균일성의 검출 시스템
Xue-Wu et al. A vision inspection system for the surface defects of strongly reflected metal based on multi-class SVM
Çelik et al. Development of a machine vision system: real-time fabric defect detection and classification with neural networks
KR20130126916A (ko) 제조된 웨브 제품의 디지털 샘플에 대한 컴퓨터-보조 등급 배정
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
US7187995B2 (en) Maximization of yield for web-based articles
JP2013541779A (ja) ウェブベースの材料のばらつきを検出するための、不均一性の厳しさ度の連続的なチャート化
JP6420529B2 (ja) パッチ・ツー・パッチ比較を含む欠陥検出のための装置及び方法
Bong et al. Vision-based inspection system for leather surface defect detection and classification
JP7169344B2 (ja) 透明又は半透明ウェハを対象にした欠陥検出
KR101203325B1 (ko) 시트-기반 물품에 대한 재고품 제어
CN114372980A (zh) 一种工业缺陷检测方法及***
CN112669300A (zh) 瑕疵检测方法及装置、计算机设备和存储介质
US20230206417A1 (en) Detection of defects using a computationally efficient segmentation approach
Demircioglu et al. Metal Surface Texture Classification with Gabor Filter Banks and Xai
CN117593301B (zh) 基于机器视觉的内存条损伤快速检测方法及***
Torkzadeh et al. Automatic Visual Inspection System based on Image Processing and Neural Network for Quality Control of Sandwich Panel
Rizvandi et al. Machine vision detection of isolated and overlapped nematode worms using skeleton analysis
CN118135179A (zh) 切割板件的级联识别方法、装置、计算机设备和存储介质
CN118298203A (zh) 一种缺陷聚类方法、***和设备
Martin et al. Laser Diffuse Lighting in a Visual Inspection System for Defect Detection in Wood Laminates

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right