KR102243496B1 - 액정표시장치모듈 자동 광학 검사에 적합한 가속 이미지 프로세싱 시스템 - Google Patents
액정표시장치모듈 자동 광학 검사에 적합한 가속 이미지 프로세싱 시스템 Download PDFInfo
- Publication number
- KR102243496B1 KR102243496B1 KR1020207015265A KR20207015265A KR102243496B1 KR 102243496 B1 KR102243496 B1 KR 102243496B1 KR 1020207015265 A KR1020207015265 A KR 1020207015265A KR 20207015265 A KR20207015265 A KR 20207015265A KR 102243496 B1 KR102243496 B1 KR 102243496B1
- Authority
- KR
- South Korea
- Prior art keywords
- module
- data
- image data
- control
- processing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0428—Safety, monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8896—Circuits specially adapted for system specific signal conditioning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N2021/9513—Liquid crystal panels
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2656—Instrumentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30121—CRT, LCD or plasma display
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Robotics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Testing Of Optical Devices Or Fibers (AREA)
- Optical Communication System (AREA)
Abstract
본 개시는 액정표시장치모듈(LCM) 자동 광학 검사에 적합한 가속 이미지 프로세싱 시스템을 개시한다. 가속 이미지 프로세싱 시스템은 필드 프로그래머블 게이트 어레이(FPGA) 프로세싱 플랫폼(1)과 퍼스널 컴퓨터(PC)(2)를 구비한다. FPGA 프로세싱 플랫폼(1)은 제1 광섬유 인터페이스, 제2 광섬유 인터페이스, 제3 광섬유 인터페이스, 제4 광섬유 인터페이스 및 제5 광섬유 인터페이스를 구비한다. FPGA 프로세싱 플랫폼(1)은 구성 파라미터들과 테스트 명령들을 수신하고 제1 광섬유 인터페이스를 통해 테스트 결과를 출력하도록 구성되고; FPGA 프로세싱 플랫폼(1)은 제2 광섬유 인터페이스를 통해 PC(2)와 데이터 교환하도록 구성되고; FPGA 프로세싱 플랫폼(1)은 이미지 데이터를 수신하고 제3 광섬유 인터페이스를 통해 구성 파라미터들과 테스트 명령들을 출력하도록 구성되고; FPGA 프로세싱 플랫폼(1)은 제4 광섬유 인터페이스를 통해 클릭 신호의 생성을 제어하도록 구성되고; FPGA 프로세싱 플랫폼(1)은 제5 광섬유 인터페이스를 통해 입출력(IO) 광원을 제어하도록 구성된다.
Description
본 개시는 자동 광학 검사(Automatic Optical Inspection)의 기술 분야에 관한 것으로서, 특히 액정표시장치모듈(Liquid Crystal Display Module, 이하 'LCM'이라 함) 자동 광학 검사에 적합한 가속(acceleraion) 이미지 프로세싱 시스템에 관한 것이다.
현재, 초박막 액정표시장치(TFT-LCD)의 생산 검사는 주로 수동이다. 불량 제품들이 시장에 출시되지 않도록 너무 엄격하게 검사를 하면 재료가 낭비되고, 비용이 증가하고, 훨씬 더 많은 노력이 필요하다. LCD 패널의 해상도와 크기가 개선됨에 따라 작은 결함들을 육안으로 식별하기 곤란하다. 이러한 작은 결함들은 고급 제품들에 치명적이다. 또한, 대량 생산의 요구에 따라 생산 라인 상의 작업자들는 다수의 화면들 또는 모듈들의 모양을 신속하고 반복적으로 감지할 필요가 있기 때문에 이것은 시각적 피로를 유발하기 쉬워서 검사 누락 또는 과잉 검사로 귀결될 수 있다. 한편, 인건비를 절약하기 위해, 패널 제조업체들은 지능형 제조를 위한 육체 노동 대신 자동 광학 검사(AOI) 장비를 채택하기 시작하였다.
그러나, 대규모 및 고해상도 패널들이 발전함에 따라, AOI 장비의 요건들과 복잡성이 기하급수적으로 증가하고 있고, 다음과 같은 기술적 문제들이 존재한다.
1) 이미지 획득에 사용되는 산업용 카메라의 갯수가 급격히 증가하고 있다. 예를 들어, 1920×1080을 위해 하나의 전하결합소자(Charge Coupled Device, 이하 'CCD'라 함)가 필요하고, 4K×2K의 경우 적어도 3개의 CCD들이 필요하며, 8K×4K의 경우 적어도 12개의 CCD들이 필요하다. 또한, 사이드 뷰 상의 가시적 결함들을 캡쳐하기 위해 다수의 카메라들이 필요하다. 작업 공간이 충분하지 않으면 추가적인 CCD가 필요하다.
2) 사진-촬영 카메라들의 갯수가 증가함에 따라, 이미지 계산 데이터의 양이 급격히 증가한다. CCD로 촬영된 사진의 데이터 사이즈는 일반적으로 약 30MB이고, 패널 검사를 위해 15-20장의 사진들이 촬영될 필요가 있다. 따라서, 각각의 검사에 의해 처리될 이미지 데이터의 양은 수 테라바이트(TB)만큼 높다.
3) 이미지는 실시간으로 처리될 필요가 있고, 프로세싱 시간은 생산 라인의 용량을 결정한다.
4) 종래의 퍼스널 컴퓨터(PC) 또는 PC들은 이러한 대량의 데이터를 취급할 수 없다.
본 발명은 전술한 단점들을 해결하고, 구조가 간단하고, 계산과 프로세싱 성능이 우수하고, 스크린 발광 신호의 생성, 광원 및 계산 프로세싱을 종합적으로 제어할 수 있는, LCM 자동 광학 검사에 적합한 가속 이미지 프로세싱 시스템을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 기술적 솔루션은, 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, 이하 'FPGA'라 함) 프로세싱 플랫폼과 퍼스널 컴퓨터(PC)를 구비하는 LCM 자동 광학 검사에 적합한 가속 이미지 프로세싱 시스템을 제공한다. FPGA 프로세싱 플랫폼은 제1 광섬유 인터페이스, 제2 광섬유 인터페이스, 제3 광섬유 인터페이스, 제4 광섬유 인터페이스 및 제5 광섬유 인터페이스를 포함한다. FPGA 프로세싱 플랫폼은 제1 광섬유 인터페이스를 통해 구성 파라미터들과 테스트 명령들을 수신하고 테스트 결과들을 출력한다. FPGA 프로세싱 플랫폼은 제2 광섬유 인터페이스를 통해 PC와 데이터를 교환한다. FPGA 프로세싱 플랫폼은 제3 광섬유 인터페이스를 통해 이미지 데이터를 수신하고 구성 파라미터들과 테스트 명령들을 출력한다. FPGA 프로세싱 플랫폼은 제4 광섬유 인터페이스를 통해 스크린 발광 신호의 생성을 제어한다. FPGA 프로세싱 플랫폼은 제5 광섬유 인터페이스를 통해 입출력(Input/Output, 이하 'IO'라 함) 광원을 제어한다.
또한, FPGA 프로세싱 플랫폼은 제어 유닛과 DDR 메모리(Double Data Rate memory)를 더 구비한다.
PC는 중앙 처리 장치(CPU)와 그래픽 처리 장치(GPU)를 구비하고, 수신된 이미지 데이터를 계산 및 프로세싱하고 데이터 프로세싱 결과를 제어 유닛으로 전송하도록 구성된다.
제어 유닛은 구성 파라미터들과 테스트 명령들을 수신하고, 수신된 구성 파라미터들과 테스트 명령들에 따라 스크린 발광 신호의 생성을 제어하고, IO 광원을 제어하고, 획득 유닛의 이미지 데이터를 수신하고, 수신되는 이미지 데이터를 전처리하여 PC로 전송하고, PC의 데이터 프로세싱 결과를 수신 및 수집하고, 최종 테스트 결과를 제어 유닛으로 전송한다.
DDR 메모리는 이미지 데이터와 최종 테스트 결과를 저장하도록 구성된다.
또한, 제어 유닛은:
수신된 이미지 데이터를 포맷하고 포맷된 이미지 데이터를 DDR 메모리 내에 저장하도록 구성된 기록(write) 더블 데이터 레이트(Double Data Rate, 이하 'DDR'이라 함) 데이터 포맷 변환 모듈;
획득 유닛의 이미지 데이터를 수신하여 기록 DDR 데이터 포맷 변환 모듈로 전송하도록 구성된 이미지 데이터 수신 모듈;
설정된 명령들에 따라 제어 명령들을 이미지 프로세싱 가속기와 PC로 전송하도록 구성된 흐름 제어 모듈;
흐름 제어 모듈의 제어 명령들에 따라 이미지 데이터를 전처리하고 처리된 이미지 데이터를 DDR 메모리 내에 저장하도록 구성된 이미지 프로세싱 가속기;
흐름 제어 모듈의 제어 명령들에 따라 이미지 데이터를 데이터 분배 및 전송 모듈에 분배하도록 구성된 데이터 분배 제어 모듈;
이미지 데이터를 수신하여 PC로 전송하고, PC의 데이터 프로세싱 결과를 수신하여 분석하고 프로세싱 결과 모듈로 전송하도록 구성된 데이터 분배 및 전송 모듈; 및
최종 테스트 결과를 생성하기 위해 수신된 데이터 프로세싱 결과를 분석하도록 구성된 분석 및 프로세싱 결과 모듈을 구비한다.
또한, 상기 제어 유닛은 대화형(interactive) 제어 모듈, IO 제어 모듈 및 스크린 발광 신호 생성 모듈을 구비하고;
대화형 제어 모듈은 테스트 명령들을 수신하고 테스트 결과들을 보고하도록 구성되고;
흐름 제어 모듈은 IO 제어 모듈과 신호 확장 모듈에 수신된 테스트 명령을 할당하도록 추가로 구성되고;
IO 제어 모듈은 테스트 명령들에 따라 IO 광원을 제어하도록 구성되고;
스크린 발광 신호 생성 모듈은 테스트 명령들에 따라 스크린 발광 신호의 생성을 제어하도록 구성된다.
또한, 이미지 데이터 수신 모듈은:
이미지 데이터 수신 모듈의 물리적 링크 상태를 제1 데이터 패킷으로 규칙적으로 전송하도록 구성된 제1 링크 상태 보고 모듈;
상기 획득 유닛의 이미지 데이터를 수신하고 상기 구성 파라미터들과 테스트 명령들을 상기 획득 유닛에 전송하도록 구성된 제1 고속 제어기 IP 모듈(Intellectual Property module, 이하 'IP 모듈'이라 함);
물리적 링크 상태, 구성 파라미터들 및 테스트 명령들을 패킷화하여 제1 고속 제어기 IP 모듈로 전송하도록 구성된 제1 데이터 패킷;
제1 고속 제어기 IP 모듈에 의해 전송된 이미지 데이터를 분석하고 기록 DDR 데이터 포맷 변환 모듈로 출력하도록 구성된 제1 데이터 언패킷(unpacket); 및
제1 데이터 언패킷으로부터 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제1 링크 상태 검토(examination) 모듈을 구비한다.
또한, 기록 DDR 데이터 포맷 변환 모듈은:
이미지 데이터를 저장하도록 구성된 로컬 선입선출(First Input First Output, 이하 'FIFO'라 함);
이미지 데이터를 수신하여 로컬 FIFO로 전송하도록 구성된 이미지 데이터 수신 모듈;
제어 로직에 따라 로컬 FIFO 내의 이미지 데이터를 판독(read) 및 포맷하고, 포맷된 이미지 데이터를 DDR 메모리로 전송하도록 구성된 판독 FIFO 데이터 인터페이스 변환 모듈; 및
제어 로직을 출력하도록 구성된 기록 DDR 어드레스 제어 로직 모듈을 구비한다.
또한, 이미지 프로세싱 가속기는,
제어 명령들에 따라 이미지를 블록들로 분할하도록 구성된 이미지 블록 프로세싱 모듈;
분할된 블록들의 갯수에 따라 DDR 메모리 내에 저장된 이미지 데이터를 판독하여 이미지 프로세싱 모듈로 전송하도록 구성된 판독 DDR 제어 모듈;
수신된 이미지 데이터를 전처리하도록 구성된 이미지 프로세싱 모듈; 및
전처리된 이미지 데이터를 DDR 메모리 내에 저장하도록 구성된 기록 DDR 제어 모듈을 구비한다.
또한, 데이터 분배 및 전송 모듈은,
데이터 분배 및 전송 모듈의 물리적 링크 상태를 제2 데이터 패킷으로 규칙적으로 전송하도록 구성된 제2 링크 상태 보고 모듈;
수신된 이미지 데이터를 PC로 전송하고 PC로부터 데이터 프로세싱 결과를 수신하도록 구성된 제2 고속 제어기 IP 모듈;
수신된 이미지 데이터를 패킷화하여 제2 고속 제어기 IP 모듈로 전송하도록 구성된 제2 데이터 패킷;
제2 고속 제어기 IP 모듈에 의해 발송된 데이터 프로세싱 결과와 물리적 링크 상태를 분석하도록 구성된 제2 데이터 언패킷; 및
제2 데이터 언패킷으로부터 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제2 링크 상태 검토 모듈을 구비한다.
또한, 대화형 제어 모듈은:
상기 대화형 제어 모듈의 물리적 링크 상태를 데이터 패킷으로 규칙적으로 전송하도록 구성된 제3 링크 상태 보고 모듈;
수신된 테스트 결과를 패킷화하여 제3 고속 제어기 IP 모듈로 전송하도록 구성된 제3 데이터 패킷;
테스트 결과를 수신 및 보고하고, 구성 파라미터들 수신하도록 구성된 제3 고속 제어기 IP 모듈;
제3 데이터 언패킷에 의해 보고된 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제3 링크 상태 검토 모듈; 및
제3 고속 제어기 IP 모듈에 의해 전송된 구성 파라미터들과 물리적 링크 상태를 분석하도록 구성된 제3 데이터 언패킷을 구비한다.
또한, 제어 유닛은 흐름 제어 모듈의 제어 하에 FPGA 프로세싱 플랫폼의 캐스케이드(cascade) 확장을 구현하도록 구성된 캐스케이드 제어 모듈을 더 구비한다.
본 발명의 장점들은 다음과 같이 요약된다.
FPGA 프로세싱 플랫폼은 데이터 통신 속도가 빠른 광섬유들을 통한 데이터 통신과 다양한 디바이스들과의 상호작용에 적합한 다수의 광섬유 인터페이스들을 구비함으로써, 스크린 발광 신호 생성, 신호 확장, 광원 및 데이터 프로세싱의 통합된 제어를 짧은 시간 내에 달성한다.
FPGA 프로세싱 플랫폼은 캐스케이드 제어를 지원하고, 캐스케이드 후 더 많은 PC들을 지원할 수 있고, PC는 FPGA와 함께 CPU와 GPU를 채택하여, CPU + GPU + FPGA 아키텍처를 형성하고, CPU + GPU 유닛을 완전히 확장하며 GPU의 프로세싱 능력을 향상시킨다.
FPGA는 중앙 제어기로서 작동하고 처리될 데이터는 다른 GPU 프로세싱 유닛들에 할당되어, 분산 프로세싱 아키텍처를 형성한다. 한편 FPGA 자체는 이미지 가속 프로세서로서 작동하고, 이미지 블록 프로세싱과 FPGA와 GPU들의 작동을 조정함으로써, FPGA의 병렬 프로세싱 능력을 충족시켜, 이미지 프로세싱과 및 연산 능력을 효과적으로 개선한다.
전체 시스템은 간단한 구조, 저렴한 비용, 우수한 안정성, 우수한 조정 능력 및 강력한 연산 및 프로세싱 능력을 가진 장점이 있다.
도 1은 본 개시의 일 실시예에 따른 개략도이다.
도 2는 본 개시의 일 실시예에 따른 FPGA 프로세싱 플랫폼의 개략도이다.
도 3은 본 개시의 일 실시예에 따른 데이터 프로세싱의 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 이미지 데이터 수신 모듈의 개략도이다.
도 5는 본 개시의 일 실시예에 따른 기록 DDR 데이터 포맷 변환 모듈의 개략도이다.
도 6은 본 개시의 일 실시예에 따른 이미지 프로세싱 가속기의 개략도이다.
도 7은 본 개시의 일 실시예에 따른 데이터 분배 및 전송 모듈의 개략도이다.
도 8은 본 개시의 일 실시예에 따른 대화형 제어 모듈의 개략도이다.
도 2는 본 개시의 일 실시예에 따른 FPGA 프로세싱 플랫폼의 개략도이다.
도 3은 본 개시의 일 실시예에 따른 데이터 프로세싱의 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 이미지 데이터 수신 모듈의 개략도이다.
도 5는 본 개시의 일 실시예에 따른 기록 DDR 데이터 포맷 변환 모듈의 개략도이다.
도 6은 본 개시의 일 실시예에 따른 이미지 프로세싱 가속기의 개략도이다.
도 7은 본 개시의 일 실시예에 따른 데이터 분배 및 전송 모듈의 개략도이다.
도 8은 본 개시의 일 실시예에 따른 대화형 제어 모듈의 개략도이다.
이하, 첨부된 도면들을 참조하여 본 개시의 바람직한 실시예들에 따른 이미지 가속 프로세싱 디바이스를 상세히 설명한다. 다음과 같은 실시예들은 본 발명을 설명하기 위한 것이지 본 발명을 제한하는 것은 아니다.
도 1에 도시된 바와 같이, 본 발명의 가속 이미지 프로세싱 디바이스는 FPGA 프로세싱 플랫폼(1)과 다수의 PC들(2)을 구비한다. FPGA 프로세싱 플랫폼(1)은 제1 광섬유 인터페이스, 제2 광섬유 인터페이스, 제3 광섬유 인터페이스, 제4 광섬유 인터페이스 및 제5 광섬유 인터페이스를 구비한다. FPGA 프로세싱 플랫폼(1)은 제1 광섬유 인터페이스를 통해 구성 파라미터들과 테스트 명령들을 수신하고 테스트 결과를 출력한다. FPGA 프로세싱 플랫폼(1)은 제2 광섬유 인터페이스를 통해 PC(2)와 데이터를 교환한다. FPGA 프로세싱 플랫폼(1)은 제3 광섬유 인터페이스를 통해 이미지 데이터를 수신하고 구성 파라미터들과 테스트 명령들을 출력한다. FPGA 프로세싱 플랫폼(1)은 제4 광섬유 인터페이스를 통해 스크린 발광 신호의 생성을 제어한다. FPGA 프로세싱 플랫폼(1)은 제5 광섬유 인터페이스를 통해 IO 광원을 제어한다.
FPGA 프로세싱 플랫폼(1)은 제어 유닛(3)과 DDR 메모리(8)를 더 구비한다.
다수의 PC들(2)은 CPU와 GPU를 구비하고, 수신된 이미지 데이터를 계산 및 프로세싱하고, 데이터 프로세싱 결과를 제어 유닛에 전송하도록 구성된다.
제어 유닛(3)은 구성 파라미터들과 테스트 명령들을 수신하고, 수신된 구성 파라미터들과 테스트 명령들에 따라 스크린 발광 신호의 생성을 제어하고, IO 광원을 제어하고, 획득 유닛의 이미지 데이터를 수신하고, 수신된 이미지 데이터를 전처리하여 PC로 전송하고, PC의 데이터 프로세싱 결과를 수신 및 수집하고, 최종 테스트 결과를 제어 유닛으로 전송하도록 구성된다.
DDR 메모리(8)는 이미지 데이터와 최종 테스트 결과를 저장하도록 구성된다.
본 실시예에서, FPGA 프로세싱 플랫폼은 12개의 QSFP 플러스(plus) 확장 인터페이스들을 포함한다. 하나의 FPGA 프로세싱 플랫폼은 6개의 PC들에 연결되어 있다. FPGA 프로세싱 플랫폼은 40G 광섬유를 통해 PC와 통신하고 상호작용한다. FPGA 프로세싱 플랫폼은 2개 이상의 이미지 획득 유닛들에 연결된다. 각각의 이미지 획득 유닛은 8개의 카메라 링크 카메라들과 8개의 Gige 인터페이스 카메라들을 지원할 수 있다. FPGA 프로세싱 플랫폼은 40G 광섬유를 통해 이미지 획득 유닛들(21)과 통신하고 상호작용한다. FPGA 프로세싱 플랫폼은 40G 광섬유들을 통해 제어 PC(18)와 통신하고 상호작용한다. 하나의 IO 제어(19)는 FPGA 프로세싱 플랫폼에 연결되고, IO 제어는 광원 제어를 위해 사용된다. FPGA 프로세싱 플랫폼은 스크린 발광 신호의 생성을 제어할 수 있는 신호 확장 유닛(20)에 연결된다. FPGA 프로세싱 플랫폼은 캐스케이드 제어를 지원하여, 캐스케이드 후 다수의 PC들의 연결을 지원할 수 있다. 제어 유닛은 Xilinx SOC FPGA를 메인 제어 유닛으로 채택함으로써, 데이터 상호작용 제어, 이미지 가속 프로세싱 및 제어, 캐스케이드 프로세스 제어, 이미지 획득 유닛의 데이터 상호작용 제어 및 IO 광원의 상호작용 제어를 달성한다. FPGA 프로세싱 플랫폼은 데이터 저장을 위한 256비트×1600 DDR 메모리를 지원함으로써, 데이터 프로세싱 대역폭이 증가한다.
일 실시예에서, CPU + GPU + FPGA 아키텍처가 채용됨으로써, CPU + GPU 유닛을 완전히 확장시키고 GPU 프로세싱 용량을 향상시킨다. FPGA를 중앙 제어기로 사용함으로써, 처리될 데이터가 다른 GPU 프로세싱 유닛들로 분산되고, 분산된 프로세싱 아키텍처가 달성된다. 한편, FPGA 자체는 이미지 가속 프로세서로 작동하고, 이미지 블록 프로세싱과 FPGA 및 GPU들의 작동을 조정함으로써, FPGA의 병렬 프로세싱 능력을 충족시킨다. 스위칭 센터로서 FPGA를 사용하면, 데이터 교환의 병목 현상을 해결할 수 있다. FPGA 프로세싱 플랫폼은 12개의 QSFP 플러스 광섬유 인터페이스들을 지원하고, 각각의 채널은 40Gbps 대역폭 전송을 지원한다. FPGA는 병렬 분배 기능을 가지기 때문에, 데이터가 분배될 때 경로들 사이의 지연이 무시될 수 있다. 이것은 데이터 교환들 사이의 대역폭 문제를 해결한다.
도 2에 도시된 바와 같이, 제어 유닛(3)은:
획득 유닛의 이미지 데이터를 수신하여 기록 DDR 데이터 포맷 변환 모듈로 전송하도록 구성된 이미지 데이터 수신 모듈(4);
수신된 이미지 데이터를 포맷하고 포맷된 이미지 데이터를 DDR 메모리 내에 저장하도록 구성된 기록 DDR 데이터 포맷 변환 모듈(5);
이미지 데이터를 판독하고 DDR 메모리에 기록하도록 구성된 AXI 버스(6);
이미지 데이터의 판독 및 기록을 제어하도록 구성된 DDR 제어기(7);
설정된 지시들(instructions)에 따라 이미지 프로세싱 가속기와 PC에 제어 명령들을 전송하도록 구성되고, 수신된 테스트 명령들을 IO 제어 모듈과 신호 확장 모듈에 할당하도록 구성된 흐름 제어 모듈(9);
흐름 제어 모듈의 제어 명령들에 따라 이미지 데이터를 전처리하고 처리된 이미지 데이터를 DDR 메모리에 저장하도록 구성된 이미지 프로세싱 가속기(10);
흐름 제어 모듈의 제어 명령들에 따라 이미지 데이터를 데이터 분배 및 전송 모듈로 분배하도록 구성된 데이터 분배 제어 모듈(11);
이미지 데이터를 수신하여 PC로 전송하고, PC의 데이터 프로세싱 결과를 수신하여 분석 및 프로세싱 결과 모듈로 전송하도록 구성된 데이터 분배 및 전송 모듈(12);
수신된 데이터 프로세싱 결과를 분석하여 최종 테스트 결과를 생성하도록 구성된 분석 및 프로세싱 모듈(13);
테스트 명령들을 수신하고 테스트 결과들을 보고하도록 구성된 대화형 제어 모듈(14);
테스트 명령들에 따라 IO 광원을 제어하도록 구성된 IO 제어 모듈(15); 및
테스트 명령들에 따라 스크린 발광 신호의 생성을 제어하도록 구성된 스크린 발광 신호 생성 모듈(16)을 더 구비한다.
도 3에 도시된 바와 같이, 데이터 프로세싱의 흐름도는 다음과 같다.
1) 초기화 단계;
2) 이미지 데이터의 수신을 준비하는 단계;
3) 수신된 이미지 데이터를 로컬 DDR 내에 저장하는 단계;
4) 구성 파라미터들에 따라 이미지 프로세싱을 준비하고, 이미지 프로세싱을 위해 다수의 PC들과 FPGA 이미지 가속기에 이미지가 분배되는 단계;
5) 각각의 PC의 프로세싱 결과의 수신을 준비하는 단계;
6) PC들의 프로세싱 결과들을 수집하고, 최종 테스트 결과를 분석 및 보고하는 단계; 및
7) 종료.
최종 테스트 결과는 광섬유를 통해 제어 PC로 전송되고, 제어 PC는 이더넷(ethernet) 네트워크를 통해 사용자들의 MCMQ 시스템으로 결과를 전송한다.
도 4에 도시된 바와 같이, 이미지 데이터 수신 모듈(4)은:
이미지 데이터 수신 모듈의 물리적 링크 상태를 제1 데이터 패킷으로 규칙적으로 전송하도록 구성된 제1 링크 상태 보고 모듈(4.1)(일 실시예에서, 규칙적 시간은 65.536μs임);
이미지 데이터 수신 모듈의 물리적 링크 상태, 구성 파라미터들과 테스트 명령들을 패킷화하여 제1 고속 제어기 IP로 전송하도록 구성된 제1 데이터 패킷(4.2);
획득 유닛의 이미지 데이터를 수신하고 구성 파라미터들과 테스트 명령들을 획득 유닛에 전송하도록 구성된 제1 고속 제어기 IP 모듈(4.3)(일 실시예에서, xilinx의 GTH 트랜시버 IP와 고속 트랜시버들 사이의 데이터 통신은 Aurora 64b/66b 프로토콜을 채택함);
제1 고속 제어기 IP 모듈에 의해 전송된 이미지 데이터를 분석하여 기록 DDR 데이터 포맷 변환 모듈로 출력하도록 구성된 제1 데이터 언패킷(4.5); 및
제1 데이터 언패킷으로부터 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제1 링크 상태 검토 모듈(4.4)(일 실시예에서, 규칙적 시간은 65.536μs이고, 단대단(end-to-end) 보고가 연속 3회 감지되지 않으면 링크가 손실된 것으로 간주됨)을 더 구비한다.
도 5에 도시된 바와 같이, 기록 DDR 데이터 포맷 변환 모듈(5)은:
이미지 데이터를 수신하여 로컬 FIFO로 전송하도록 구성된 이미지 데이터 수신 모듈(5.1);
이미지 데이터를 저장하도록 구성된 로컬 FIFO(5.2);
제어 로직을 출력하도록 구성된 기록 동적 데이터 교환(Dynamic Data Exchange, 이하 'DDE'라 함) 어드레스 제어 로직 모듈(5.4); 및
제어 로직에 따라 로컬 FIFO 내의 이미지 데이터를 판독 및 포맷하고, 포맷된 이미지 데이터를 DDR 메모리로 전송하도록 구성된 판독 FIFO 데이터 인터페이스 변환 모듈(5.3)을 구비한다.
도 6에 도시된 바와 같이, 이미지 프로세싱 가속기(10)는 FPGA의 병렬 프로세싱 능력에 기반하여 다수의 이미지 프로세싱 IP 모듈을 동시에 인스턴스화(instantiate)하고 이미지를 블록들로 분할한다. 이하, 1-차원 고속 푸리에 변환(FFT)을 가속화하는 FPGA를 예로 들어 설명한다.
1) 이미지 블록 프로세싱 모듈(10.1)은 제어 명령들에 따라 이미지를 수평 방향으로 4개의 블록들로 분할하고;
2) 판독 DDR 제어 모듈(10.2)은 분할된 블록들의 갯수에 따라 DDR 메모리 내에 저장된 4개의 이미지 블록들을 판독하여 FFT 이미지 프로세싱 모듈로 전송하고;
3) FFT 이미지 프로세싱 모듈(10.3)은 수신된 4개의 이미지 블록들을 전처리하고;
4) 기록 DDR 제어 모듈(10.4)은 전처리된 이미지 데이터를 DDR 메모리 내에 저장한다.
일 실시예에서, 4개의 FFT 가속기들이 4k×4k 이미지를 처리하는데 10ms가 소요된다. 동일한 이미지의 경우, CPU 프로세싱은 400ms가 소요되고, GPU는 10ms가 소요된다. FPGA 가속기와 GPU는 동일한 시간이 소요된다. FPGA 리소스들이 충분할 경우, 병렬 FPGA를 늘리면 프로세싱 시간을 더욱 가속화할 수 있다.
도 7에 도시된 바와 같이, 데이터 분배 제어 모듈(12)은:
데이터 분배 및 전송 모듈의 물리적 링크 상태를 제2 데이터 패킷으로 규칙적으로 전송하도록 구성된 제2 링크 상태 보고 모듈(12.1)(일 실시예에서, 규칙적인 시간은 65.536μs임);
수신된 이미지 데이터를 패킷화하여 제2 고속 제어기 IP 모듈로 전송하도록 구성된 제2 데이터 패킷(12.2);
수신된 이미지 데이터를 PC로 전송하고, PC로부터 데이터 프로세싱 결과를 수신하도록 구성된 제2 고속 제어기 IP 모듈(12.3)(일 실시예에서, xilinx의 GTH 트랜시버 IP 모듈과 고속 트랜시버들 사이의 데이터 통신은 Aurora 64b/66b 프로토콜을 채택함);
제2 데이터 언패킷으로부터 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제2 링크 상태 검토 모듈(12.4)(일 실시예에서, 규칙적인 시간은 65.536μs이고, 단대단 보고가 연속 3회 감지되지 않으면 링크가 손실된 것으로 간주됨); 및
제2 고속 제어기 IP에 의해 전송된 데이터 프로세싱 결과와 물리적 링크 상태를 분석하도록 구성된 제2 데이터 언패킷(12.5)을 구비한다.
도 8에 도시된 바와 같이, 대화형 제어 모듈(14)은:
대화식 제어 모듈의 물리적 링크 상태를 데이터 패킷으로 규칙적으로 전송하도록 구성된 제3 링크 상태 보고 모듈(14.1)(일 실시예에서, 규칙적인 시간은 65.536μs임);
수신된 테스트 결과를 패킷화하고 제3 고속 제어기 IP 모듈로 전송하도록 구성된 제3 데이터 패킷(14.2);
테스트 결과를 수신하여 제어 PC에 보고하고, 제어 PC에 의해 발송된 구성 파라미터들을 수신하도록 구성된 제3 고속 제어기 IP 모듈(14.3)(일 실시예에서, xillinx의 GTH 트랜시버 IP와 고속 트랜시버들 사이의 데이터 통신은 Aurora 64b/66b 프로토콜을 채택함);
제3 데이터 언패킷에 의해 보고된 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제3 링크 상태 검토 모듈(14.4)(일 실시예에서, 규칙적인 시간은 65.536μs이고, 단대단 보고가 연속 3회 감지되지 않으면 링크가 손실된 것으로 간주됨); 및
제3 고속 제어기 IP 모듈에 의해 전송된 구성 파라미터들 및 대화식 제어 모듈의 물리적 링크 상태를 분석하도록 구성된 제3 데이터 언패킷(14.5)을 구비한다.
상기 실시예에서, 제어 유닛(3)은 흐름 제어 모듈의 제어하에 FPGA 프로세싱 플랫폼의 캐스케이드 확장을 구현하도록 구성된 캐스케이드 제어 모듈(17)을 더 구비한다. 캐스케이드 제어 모듈은 데이터 분배 및 전송 모듈과 동일한 구조를 가지고 있다. 처리될 필요가 있는 이미지 데이터는 다음 단계의 캐스케이드 플랫폼으로 전송된 후, 캐스케이드 플랫폼을 통한 프로세싱과 계산을 위해 연산 서버 PC로 분배되고, 처리된 결과는 캐스케이드 플랫폼으로 다시 전송된다.
당업자라면 본 발명에 대하여 변경과 수정을 가할 수 있으므로, 첨부된 청구항들은 이러한 당업자에 의한 모든 변경들과 수정들을 포함할 수 있다.
1...FPGA 프로세싱 플랫폼 2...PC
3...제어 유닛 4...이미지 데이터 수신 모듈
4.1...제1 링크 상태 보고 모듈 4.2...제1 데이터 패킷
4.3...제1 고속 제어기 IP 4.4...제1 링크 상태 검토 모듈
4.5...제1 데이터 언패킷 5...기록 DDR 데이터 포맷 변환 모듈
5.1...이미지 데이터 수신 모듈 5.2...국부 FIFO
5.3...판독 FIFO 데이터 인터페이스 변환 모듈
5.4...기록 DDE 주소 제어 로직 모듈
6...AXI 버스 7....DDR 제어기
8....DDR 메모리 9....흐름 제어 모듈
10...이미지 프로세싱 가속기 10.1...이미지 블록 프로세싱 모듈
10.2...판독 DDR 제어 모듈 10.3...FFT 이미지 프로세싱 모듈
10.4...기록 DDR 제어 모듈 11...데이터 분배 제어 모듈
12...데이터 분배 및 전송 모듈 12.1...제2 링크 상태 보고 모듈
12.2...제2 데이터 패킷 12.3...제2 고속 제어기 IP
12.4...제2 링크 상태 검토 모듈 12.5...제2 데이터 언패킷
13...분석 및 프로세싱 결과 모듈 14...대화형 제어 모듈
14.1...제3 링크 상태 보고 모듈 14.2...제3 데이터 패킷
14.3...제3 고속 제어기 IP 14.4...제3 링크 상태 검토 모듈
14.5...제3 데이터 언패킷 15...IO 제어 모듈
16...스크린 발광 신호 생성 모듈 17...캐스케이드 제어 모듈
18...제어 PC 19...IO 제어
20...신호 확장 유닛 21...이미지 획득 유닛
3...제어 유닛 4...이미지 데이터 수신 모듈
4.1...제1 링크 상태 보고 모듈 4.2...제1 데이터 패킷
4.3...제1 고속 제어기 IP 4.4...제1 링크 상태 검토 모듈
4.5...제1 데이터 언패킷 5...기록 DDR 데이터 포맷 변환 모듈
5.1...이미지 데이터 수신 모듈 5.2...국부 FIFO
5.3...판독 FIFO 데이터 인터페이스 변환 모듈
5.4...기록 DDE 주소 제어 로직 모듈
6...AXI 버스 7....DDR 제어기
8....DDR 메모리 9....흐름 제어 모듈
10...이미지 프로세싱 가속기 10.1...이미지 블록 프로세싱 모듈
10.2...판독 DDR 제어 모듈 10.3...FFT 이미지 프로세싱 모듈
10.4...기록 DDR 제어 모듈 11...데이터 분배 제어 모듈
12...데이터 분배 및 전송 모듈 12.1...제2 링크 상태 보고 모듈
12.2...제2 데이터 패킷 12.3...제2 고속 제어기 IP
12.4...제2 링크 상태 검토 모듈 12.5...제2 데이터 언패킷
13...분석 및 프로세싱 결과 모듈 14...대화형 제어 모듈
14.1...제3 링크 상태 보고 모듈 14.2...제3 데이터 패킷
14.3...제3 고속 제어기 IP 14.4...제3 링크 상태 검토 모듈
14.5...제3 데이터 언패킷 15...IO 제어 모듈
16...스크린 발광 신호 생성 모듈 17...캐스케이드 제어 모듈
18...제어 PC 19...IO 제어
20...신호 확장 유닛 21...이미지 획득 유닛
Claims (10)
- 액정표시장치모듈(LCM) 자동 광학 검사(Automatic Optical Inspection)용 가속 이미지 프로세싱 시스템으로서,
제1 광섬유 인터페이스, 제2 광섬유 인터페이스, 제3 광섬유 인터페이스, 제4 광섬유 인터페이스 및 제5 광섬유 인터페이스를 포함하는 필드 프로그래머블 게이트 어레이(FPGA) 프로세싱 플랫폼 및 퍼스널 컴퓨터(PC)를 구비하고,
상기 FPGA 프로세싱 플랫폼은 구성 파라미터들과 테스트 명령들을 수신하고, 상기 제1 광섬유 인터페이스를 통해 테스트 결과를 출력하도록 구성되고;
상기 FPGA 프로세싱 플랫폼은 상기 제2 광섬유 인터페이스를 통해 상기 PC와 데이터를 교환하도록 구성되고;
상기 FPGA 프로세싱 플랫폼은 상기 제3 광섬유 인터페이스를 통해 이미지 데이터를 수신하고 상기 구성 파라미터들과 테스트 명령들을 출력하도록 구성되고;
상기 FPGA 프로세싱 플랫폼은 상기 제4 광섬유 인터페이스를 통해 스크린 발광 신호의 생성을 제어하도록 구성되고;
상기 FPGA 프로세싱 플랫폼은 상기 제5 광섬유 인터페이스를 통해 IO 광원을 제어하도록 구성되고;
상기 FPGA 프로세싱 플랫폼은 제어 유닛을 포함하고,
상기 제어 유닛은 수신된 이미지 데이터를 블록으로 분할하고 가속화된 전처리를 수행한 후 이미지 데이터를 상기 PC로 전송하고, 상기 PC는 수신된 이미지 데이터를 계산 및 처리하고 데이터 처리 결과를 상기 제어 유닛으로 전송하도록 구성된, 가속 이미지 프로세싱 시스템.
- 청구항 1에서,
상기 FPGA 프로세싱 플랫폼은, DDR 메모리(Double Data Rate memory)를 더 구비하고;
상기 PC는 상기 수신된 이미지 데이터를 계산 및 프로세싱하고 데이터 프로세싱 결과를 상기 제어 유닛에 전송하도록 구성되고;
상기 제어 유닛은 구성 파라미터들과 테스트 명령들을 수신하고, 스크린 발광 신호의 생성을 제어하고, 수신된 테스트 명령들에 따라 입출력(IO) 광원을 제어하고, 획득 유닛의 이미지 데이터를 수신하고, 상기 수신된 이미지 데이터를 전처리하여 상기 PC로 전송하고, 상기 PC의 데이터 프로세싱 결과를 수신 및 수집하고, 최종 테스트 결과를 상기 제어 유닛으로 전송하도록 구성되고;
상기 DDR 메모리는 이미지 데이터와 최종 테스트 결과를 저장하도록 구성된, 가속 이미지 프로세싱 시스템.
- 청구항 2에서,
상기 제어 유닛은,
상기 수신된 이미지 데이터를 포맷하고 포맷된 이미지 데이터를 상기 DDR 메모리 내에 저장하도록 구성된 기록(write) 더블 데이터 레이트(Double Data Rate, 'DDR') 데이터 포맷 변환 모듈;
상기 획득 유닛의 이미지 데이터를 수신하여 상기 기록 DDR 데이터 포맷 변환 모듈로 전송하도록 구성된 이미지 데이터 수신 모듈;
설정된 지시들에 따라 이미지 프로세싱 가속기와 상기 PC로 제어 명령들을 전송하도록 구성된 흐름 제어 모듈;
상기 흐름 제어 모듈의 제어 명령들에 따라 이미지 데이터를 전처리하고 처리된 이미지 데이터를 상기 DDR 메모리 내에 저장하도록 구성된 이미지 프로세싱 가속기;
이미지 데이터를 수신하여 상기 PC로 전송하고, 상기 PC의 데이터 프로세싱 결과를 수신하여 분석 및 프로세싱 모듈로 전송하도록 구성된 데이터 분배 및 전송 모듈;
상기 흐름 제어 모듈의 제어 명령들에 따라 이미지 데이터를 상기 데이터 분배 및 전송 모듈에 분배하도록 구성된 데이터 분배 제어 모듈; 및
데이터 처리 결과를 분석 및 수집하여 최종 테스트 결과를 생성하도록 구성된 분석 및 프로세싱 모듈을 구비하는, 가속 이미지 프로세싱 시스템.
- 청구항 3에서,
상기 제어 유닛은,
상기 테스트 명령들을 수신하고 테스트 결과를 보고하도록 구성된 대화형 제어 모듈;
상기 테스트 명령들에 따라 상기 IO 광원을 제어하도록 구성된 입출력(IO) 제어 모듈; 및
상기 테스트 명령들에 따라 스크린 발광 신호의 생성을 제어하도록 구성된 스크린 발광 신호 생성 모듈을 더 구비하고,
상기 흐름 제어 모듈은 수신된 테스트 명령들을 상기 IO 제어 모듈과 신호 확장 모듈에 할당하도록 구성된, 가속 이미지 프로세싱 시스템.
- 청구항 3에서,
상기 이미지 데이터 수신 모듈은,
상기 획득 유닛의 이미지 데이터를 수신하고 구성 파라미터들과 테스트 명령들을 상기 획득 유닛에 전송하도록 구성된 제1 고속 제어기 IP(Intellectual Property) 모듈;
물리적 링크 상태, 구성 파라미터들과 테스트 명령들을 패킷화하여 상기 제1 고속 제어기 IP 모듈로 전송하도록 구성된 제1 데이터 패킷;
상기 이미지 데이터 수신 모듈의 물리적 링크 상태를 상기 제1 데이터 패킷으로 규칙적으로 전송하도록 구성된 제1 링크 상태 보고 모듈;
상기 제1 고속 제어기 IP 모듈에 의해 전송된 이미지 데이터를 분석하고 기록 DDR 데이터 포맷 변환 모듈로 출력하도록 구성된 제1 데이터 언패킷; 및
상기 제1 데이터 언패킷으로부터 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제1 링크 상태 검토 모듈을 구비하는, 가속 이미지 프로세싱 시스템.
- 청구항 3에서,
상기 기록 DDR 데이터 포맷 변환 모듈은,
이미지 데이터를 수신하여 로컬 FIFO로 전송하도록 구성된 이미지 데이터 수신 모듈;
이미지 데이터를 저장하도록 구성된 로컬 선입선출(First Input First Output, 'FIFO');
제어 로직을 출력하도록 구성된 기록 DDE 어드레스 제어 로직 모듈; 및
상기 제어 로직에 따라 상기 로컬 FIFO 내의 이미지 데이터를 판독 및 포맷하고, 포맷된 이미지 데이터를 상기 DDR 메모리로 전송하도록 구성된 판독 FIFO 데이터 인터페이스 변환 모듈을 구비하는, 가속 이미지 프로세싱 시스템.
- 청구항 3에서,
상기 이미지 프로세싱 가속기는,
제어 명령들에 따라 이미지를 블록으로 분할하도록 구성된 이미지 블록 프로세싱 모듈;
상기 분할된 블록들의 갯수에 따라 상기 DDR 메모리 내에 저장된 이미지 데이터를 판독하고 이미지 프로세싱 모듈로 전송하도록 구성된 판독 DDR 제어 모듈;
수신된 이미지 데이터를 전처리하도록 구성된 이미지 프로세싱 모듈; 및
전처리된 이미지 데이터를 상기 DDR 메모리 내에 저장하도록 구성된 기록 DDR 제어 모듈을 구비하는, 가속 이미지 프로세싱 시스템.
- 청구항 3에서,
상기 데이터 분배 및 전송 모듈은,
상기 데이터 분배 및 전송 모듈의 물리적 링크 상태를 제2 데이터 패킷으로 규칙적으로 전송하도록 구성된 제2 링크 상태 보고 모듈;
수신된 이미지 데이터를 상기 PC로 전송하고, 상기 PC로부터 데이터 프로세싱 결과를 수신하도록 구성된 제2 고속 제어기 IP 모듈;
수신된 이미지 데이터를 패킷화하여 상기 제2 고속 제어기 IP 모듈로 전송하도록 구성된 제2 데이터 패킷;
상기 제2 고속 제어기 IP 모듈에 의해 전송된 데이터 프로세싱 결과와 물리적 링크 상태를 분석하도록 구성된 제2 데이터 언패킷; 및
상기 제2 데이터 언패킷으로부터 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제2 링크 상태 검토 모듈을 구비하는, 가속 이미지 프로세싱 시스템.
- 청구항 4에서,
상기 대화형 제어 모듈은,
상기 대화형 제어 모듈의 물리적 링크 상태를 데이터 패킷에 규칙적으로 전송하도록 구성된 제3 링크 상태 보고 모듈;
테스트 결과를 수신 및 보고하고, 구성 파라미터들을 수신하도록 구성된 제3 고속 제어기 IP 모듈;
수신된 테스트 결과를 패킷화하여 상기 제3 고속 제어기 IP 모듈로 전송하도록 구성된 제3 데이터 패킷;
상기 제3 고속 제어기 IP 모듈에 의해 전송된 구성 파라미터들과 링크 상태를 분석하도록 구성된 제3 데이터 언패킷; 및
상기 제3 데이터 언패킷에 의해 보고된 물리적 링크 상태를 규칙적으로 수신하도록 구성된 제3 링크 상태 검토 모듈을 구비하는, 가속 이미지 프로세싱 시스템.
- 청구항 2에서,
상기 제어 유닛은 흐름 제어 모듈의 제어 하에 상기 FPGA 프로세싱 플랫폼의 캐스케이드 확장을 구현하도록 구성된 캐스케이드 제어 모듈을 더 구비하는, 가속 이미지 프로세싱 시스템.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711049464.1A CN107817217B (zh) | 2017-10-31 | 2017-10-31 | 一种适用于lcm自动光学检测的图像加速处理*** |
CN201711049464.1 | 2017-10-31 | ||
PCT/CN2018/102155 WO2019085606A1 (zh) | 2017-10-31 | 2018-08-24 | 一种适用于lcm自动光学检测的图像加速处理*** |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200080283A KR20200080283A (ko) | 2020-07-06 |
KR102243496B1 true KR102243496B1 (ko) | 2021-04-21 |
Family
ID=61603135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020207015265A KR102243496B1 (ko) | 2017-10-31 | 2018-08-24 | 액정표시장치모듈 자동 광학 검사에 적합한 가속 이미지 프로세싱 시스템 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11073484B2 (ko) |
JP (1) | JP6869433B2 (ko) |
KR (1) | KR102243496B1 (ko) |
CN (1) | CN107817217B (ko) |
TW (1) | TWI697870B (ko) |
WO (1) | WO2019085606A1 (ko) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107817217B (zh) | 2017-10-31 | 2020-06-02 | 武汉精测电子集团股份有限公司 | 一种适用于lcm自动光学检测的图像加速处理*** |
CN108646445B (zh) * | 2018-05-03 | 2021-03-16 | 武汉精测电子集团股份有限公司 | 一种自适应背光的缺陷检测装置 |
CN109525826B (zh) * | 2018-11-30 | 2021-09-03 | 武汉精立电子技术有限公司 | 一种基于光纤的长距离分布式图形信号发生器 |
CN110189244A (zh) * | 2019-06-06 | 2019-08-30 | 卡瓦科尔牙科医疗器械(苏州)有限公司 | 用于ct影像设备的加速图像处理*** |
CN110750069B (zh) * | 2019-12-24 | 2020-05-22 | 武汉精立电子技术有限公司 | 一种aoi***的多设备控制装置 |
CN112188169B (zh) * | 2020-09-30 | 2022-06-21 | 无锡雪浪数制科技有限公司 | 一种5g工业图像采集传输*** |
CN115509974B (zh) * | 2022-08-03 | 2023-06-20 | 中勍科技股份有限公司 | 一种基于fpga光纤数据收发处理的方法 |
WO2024103820A1 (zh) * | 2022-11-16 | 2024-05-23 | 海信视像科技股份有限公司 | Led显示装置及其控制方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050198373A1 (en) | 2004-02-25 | 2005-09-08 | 3Com Corporation | Cascade control system for network units |
US20150057961A1 (en) | 2012-05-07 | 2015-02-26 | Flextronics Ap, Llc. | Universal device multi-function test apparatus |
CN105607312A (zh) | 2016-01-22 | 2016-05-25 | 武汉精测电子技术股份有限公司 | 用于lcd液晶模组缺陷检测的光学自动检测装置及方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7106895B1 (en) * | 1999-05-05 | 2006-09-12 | Kla-Tencor | Method and apparatus for inspecting reticles implementing parallel processing |
US7342838B1 (en) * | 2005-06-24 | 2008-03-11 | Lattice Semiconductor Corporation | Programmable logic device with a double data rate SDRAM interface |
JP5288154B2 (ja) * | 2007-08-15 | 2013-09-11 | 横河電機株式会社 | 画質検査装置 |
CN101441334A (zh) * | 2007-11-19 | 2009-05-27 | 比亚迪股份有限公司 | 一种液晶模块的测试方法及*** |
TWI482140B (zh) * | 2011-04-29 | 2015-04-21 | Geo Semiconductor Inc | 用於改善背光lcd顯示器的色彩和亮度均勻性的系統和方法 |
US20130328948A1 (en) * | 2012-06-06 | 2013-12-12 | Dolby Laboratories Licensing Corporation | Combined Emissive and Reflective Dual Modulation Display System |
CN104698612A (zh) * | 2013-12-09 | 2015-06-10 | 大连鑫永工业制造有限公司 | 一种lcm检测方法 |
US9411013B2 (en) * | 2014-02-14 | 2016-08-09 | Google, Inc. | Instrument for automated testing of displays |
CN107078615B (zh) * | 2014-07-18 | 2019-07-26 | Eip技术股份有限公司 | 直接风能发电 |
CN104239271A (zh) * | 2014-09-16 | 2014-12-24 | 中国科学院光电技术研究所 | 一种采用fpga和dsp实现的仿真图像播放器 |
CN104393922B (zh) * | 2014-11-20 | 2017-03-22 | 南京恩瑞特实业有限公司 | 场面监视空管雷达高数据率传输*** |
US9608758B1 (en) * | 2015-11-30 | 2017-03-28 | Google Inc. | Low cost gain clamped EDFA for TWDM passive optical network application |
US9805458B2 (en) * | 2016-03-23 | 2017-10-31 | Communications Test Design, Inc. | Method and system for detecting defective pixels and screen imperfections of a mobile device |
CN106412474B (zh) * | 2016-10-09 | 2019-04-23 | 上海极清慧视科技有限公司 | 一种高速无损超高清工业视觉检测方法及*** |
CN107817217B (zh) * | 2017-10-31 | 2020-06-02 | 武汉精测电子集团股份有限公司 | 一种适用于lcm自动光学检测的图像加速处理*** |
-
2017
- 2017-10-31 CN CN201711049464.1A patent/CN107817217B/zh active Active
-
2018
- 2018-08-24 JP JP2020524063A patent/JP6869433B2/ja active Active
- 2018-08-24 WO PCT/CN2018/102155 patent/WO2019085606A1/zh active Application Filing
- 2018-08-24 KR KR1020207015265A patent/KR102243496B1/ko active IP Right Grant
- 2018-10-24 TW TW107137601A patent/TWI697870B/zh active
-
2020
- 2020-04-29 US US16/861,263 patent/US11073484B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050198373A1 (en) | 2004-02-25 | 2005-09-08 | 3Com Corporation | Cascade control system for network units |
US20150057961A1 (en) | 2012-05-07 | 2015-02-26 | Flextronics Ap, Llc. | Universal device multi-function test apparatus |
CN105607312A (zh) | 2016-01-22 | 2016-05-25 | 武汉精测电子技术股份有限公司 | 用于lcd液晶模组缺陷检测的光学自动检测装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
TWI697870B (zh) | 2020-07-01 |
CN107817217B (zh) | 2020-06-02 |
TW201931306A (zh) | 2019-08-01 |
US20200300780A1 (en) | 2020-09-24 |
JP6869433B2 (ja) | 2021-05-12 |
JP2021501323A (ja) | 2021-01-14 |
US11073484B2 (en) | 2021-07-27 |
WO2019085606A1 (zh) | 2019-05-09 |
KR20200080283A (ko) | 2020-07-06 |
CN107817217A (zh) | 2018-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102243496B1 (ko) | 액정표시장치모듈 자동 광학 검사에 적합한 가속 이미지 프로세싱 시스템 | |
CN107817216B (zh) | 一种基于cpu+gpu+fpga架构的自动光学检测*** | |
CN101548277B (zh) | 多并行处理器的计算机图形*** | |
CN105446686A (zh) | 一种多屏拼接***、多屏拼接显示方法及装置 | |
CN103986869A (zh) | 一种高速tdiccd遥感相机图像采集与显示装置 | |
CN102857738A (zh) | 多屏控制的图像显示***、方法及多屏控制装置 | |
CN104731546A (zh) | 抓取高分辨率图像在大屏幕上显示的方法及*** | |
CN110691203B (zh) | 基于纹理映射的多路全景视频拼接显示方法及其*** | |
CN104535194A (zh) | 一种基于dmd的红外探测器的仿真装置及方法 | |
CN101900551A (zh) | 一种车载全景安全监测*** | |
CN101969552B (zh) | 一种视频数据并行处理***及其方法 | |
CN105023262A (zh) | 视觉检测控制器 | |
CN114168057B (zh) | 一种多画面对应多主机实时触控交互的方法 | |
CN115103233B (zh) | 显示区域内置图像处理的拼接墙***及其控制方法和设备 | |
Webb et al. | A scalable video rate camera interface | |
TR201802951T1 (tr) | Çoklu ekran görüntüleme si̇stemi̇ni̇n di̇nami̇k olarak yeni̇den düzenlenmesi̇ni̇ sağlayan si̇stem ve yöntem | |
CN110750069B (zh) | 一种aoi***的多设备控制装置 | |
CN211453936U (zh) | 一种气象成像雷达综合航电模拟装置 | |
CN102402340A (zh) | 触摸定位方法、触摸屏、触摸***和显示器 | |
TR201706829A3 (tr) | Bi̇r vi̇deo duvari si̇stemi̇ veri̇ transfer yöntemi̇ | |
CN117667706A (zh) | 仿真数据处理方法、装置、电子设备及存储介质 | |
CN103856736A (zh) | 一种实时远程可配置的多输出接口图像注入装置 | |
CN117156074A (zh) | 多电路板的视频处理装置及*** | |
CN1215196A (zh) | 多图像处理装置 | |
CN111309169A (zh) | 一种触控装置、控制方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |