KR102243499B1 - 중앙 처리 장치와 그래픽 처리 장치와 필드 프로그램 가능 게이트 어레이가 결합된 아키텍처 기반의 자동 광학 탐지 시스템 - Google Patents

Abstract

중앙 처리 장치(CPU)+그래픽 처리 장치(GPU)+필드 프로그램 가능 게이트 어레이(FPGA) 아키텍처 기반의 자동 광학 탐지 시스템은, 이미지 저장 유닛(1), 이미지 계산 유닛(2) 및 이미지 획득 유닛(3)을 구비한다. 이미지 저장 유닛(1)은 제1 통신 인터페이스 및 제2 통신 인터페이스를 포함하고; 이미지 계산 유닛(2)은 제1 광섬유 인터페이스, 제2 광섬유 인터페이스, 제3 광섬유 인터페이스 및 제4 광섬유 인터페이스를 구비하고; 이미지 획득 유닛(3)은 제3 통신 인터페이스 및 카메라 인터페이스를 포함한다.
이미지 계산 유닛(2)은 제1 광섬유 인터페이스에 의해 이미지 저장 유닛(1)에 의해 전송된 구성 파라미터 및 테스트 명령을 수신하고, 테스트 결과를 이미지 저장 유닛에 전송하고, 제2 광섬유 인터페이스를 통해, 이미지 획득 유닛(3)의 데이터를 수신하고, 구성 파라미터 및 테스트 명령을 이미지 획득 유닛(3)으로 전송하고, 제3 광섬유 인터페이스에 의해, 스크린 발광 신호의 생성을 제어하고, 제4 광섬유 인터페이스에 의해 IO 광원을 제어한다. 본 발명의 시스템은 간단한 구조, 저렴한 비용, 우수한 안정성, 우수한 조정 용량 및 높은 연산 처리 용량과 같은 장점들을 가진다.

Description

중앙 처리 장치와 그래픽 처리 장치와 필드 프로그램 가능 게이트 어레이가 결합된 아키텍처 기반의 자동 광학 탐지 시스템

본 발명은 자동 광학 검사(Automatic Optical Inspection)의 기술 분야에 관한 것으로서, 특히 중앙 처리 장치(CPU)+그래픽 처리 장치(GPU)+필드 프로그램 가능 게이트 어레이(FPGA) 아키텍처 기반의 자동 광학 검사 시스템에 관한 것이다.

자동 광학 검사(Automatic Optical Inspection, AOI)는 광학 시스템, 메커니즘 제어 시스템, 포인트 스크린 제어 시스템, 소프트웨어 제어 시스템, 이미지 프로세싱 시스템 등을 포함한다. 전통적인 자동 광학 검사 장비는 이미지 획득 카드와 퍼스널 컴퓨터(PC)에 기반한다. 다양한 유형의 획득 카드들과 PC들은 비용이 많이 들고, 조정하기 어렵고, 시스템 안정성이 떨어지고, 확장이 불편하기 때문에, AOI 장비는 대규모 모듈 탐지에 사용하기 곤란하다. 또한, 각각의 초박막-액정표시장치(TFT-LCD) AOI 장비 제조 업체는 한 두가지 분야에서만 기술을 축적하고 R&D 능력을 보유하고 있다. 따라서, AOI 시스템은 종종 2-3개의 공급 업체들의 부품들에 의해 구성되고, 그러한 부품들 중 머신 비전(machine vision)을 기반으로 하는 이미지 프로세싱 알고리즘은 주로 머신을 담당한다. 일반적으로, 컴퓨터 네트워크를 기반으로 하는 분산 제어 방식(scheme)이 사용되고, 모든 장비 유닛들은 근거리통신망(LAN)을 통해 구성된다. 예를 들어, 생산 라인의 택트 타임(TT)을 탐지하기 위해 다수의 컴퓨터 어레이들이 작업 프로세싱에 참여하고, 일반적으로 참여되는 컴퓨터들의 갯수는 10개 이상이다. 시스템의 통합 방식은 거칠고, 복잡하고, 비용이 많이 들고, 불안정하고, 비효율적이고, 예상된 효과를 달성할 수 없고, 확장성이 거의 없기 때문에, 패널 제조업체들에게는 점점 인기를 잃어가고 있다.

선행기술에서, 스크린 발광 신호와 이미지 획득 및 프로세싱 유닛은 2개의 상이한 시스템적 방식들을 포함하고, 스크린 발광 신호와 이미지 획득 및 프로세싱 유닛을 제어하기 위해 메인 제어 유닛이 필요함으로써, 시스템의 작동 효율을 감소시킨다. 일반적으로, 각각의 이미지 획득 카드에는 하나의 카메라만 연결될 수 있다. 현재, 대부분의 이미지 획득 카드들은 PCIE 인터페이스를 통해 PC와 통신한다. 하나의 PC가 동시에 제한된 수의 획득 카드들을 지원할 수 있으므로, 다수의 이미지 획득 카드들과 PC들이 필요하고, 그 동작들을 조정하기 위해 마스터 PC가 배치된다. 이것은 시스템의 복잡성과 불안정성을 증가시키고, 각각의 PC의 이미지 프로세싱 능력이 떨어지게 된다.

또한, 선행기술에 따르면, 스크린 발광 신호, 광원 및 AOI 디바이스는 모두 서로 독립적이다. 스크린 발광 신호의 생성, 광원 및 AOI 디바이스의 이미지 획득 및 프로세싱의 제어를 조정하기 위해 메인 제어 유닛이 필요하다. 그러므로, 제어 프로세스는 복잡하고 택트 타임이 길다.

전술한 선행기술의 문제점들을 극복하기 위해 창안된 본 발명은, CPU+GPU+FPGA 아키텍처 기반의 자동 광학 검사 디바이스를 제공하는 것을 목적으로 한다.

자동 광학 검사 디바이스는 다수의 카메라들과 동시에 통신할 수 있고, 스크린 발광 신호의 생성, 광원, 및 이미지 계산 및 프로세싱의 제어를 종합적으로 조정할 수 있다.

본 개시의 일 측면은, 제1 통신 인터페이스와 제2 통신 인터페이스를 포함하는 이미지 저장 유닛, 제1 광섬유 인터페이스, 제2 광섬유 인터페이스, 제3 광섬유 인터페이스 및 제4 광섬유 인터페이스를 포함하는 이미지 계산 유닛, 및 제3 통신 인터페이스와 카메라 인터페이스를 포함하는 이미지 획득 유닛을 구비하고, CPU+GPU+FPGA 아키텍처 기반의 자동 광학 검사 디바이스를 제공한다.

이미지 저장 유닛은 구성 파라미터들과 테스트 명령들을 이미지 계산 유닛으로 전송하고, 제1 통신 인터페이스를 통해 이미지 계산 유닛으로부터 전송된 테스트 결과를 수신하고, 제2 통신 인터페이스를 통해 이미지 획득 유닛으로부터 데이터를 수신하도록 구성된다.

이미지 계산 유닛은 이미지 저장 유닛으로부터 구성 파라미터들과 테스트 명령들을 수신하고, 제1 광섬유 인터페이스를 통해 테스트 결과를 이미지 저장 유닛으로 전송하고, 이미지 획득 유닛으로부터 데이터를 수신하고 제2 광섬유 인터페이스를 통해 구성 파라미터들과 테스트 명령들을 이미지 획득 유닛으로 전송하고, 제3 광섬유 인터페이스를 통해 스크린 발광 신호의 생성을 제어하고, 제4 광섬유 인터페이스를 통해 입력/출력(IO) 광원을 제어하도록 구성된다.

이미지 획득 유닛은 이미지 데이터를 출력하고, 제3 통신 인터페이스를 통해 구성 파라미터들과 테스트 명령들을 수신하고, 카메라 데이터를 수신하고 카메라 인터페이스를 통해 구성 파라미터들과 테스트 명령들을 카메라로 전송하도록 구성된다.

나아가서, 이미지 저장 유닛은:

파라미터 구성(configuration)을 수행하고, 인간-머신(machine) 상호작용(interaction)을 통해 구성 파라미터들과 테스트 명령들을 출력하고, FPGA 저장 플랫폼으로부터 테스트 결과를 수신 및 보고하도록 구성된 마스터(master) 개인용 컴퓨터(PC);

데이터 저장을 위한 디스크 어레이; 및

이미지 획득 유닛으로부터 디스크 어레이(disk array)로 무손실 압축(lossless compression)없이 데이터를 수신, 압축 및 전송하고, 이미지 계산 유닛으로부터 전송된 테스트 결과를 수신 및 출력하고, 수신된 구성 파라미터들을 이미지 획득 유닛으로 출력하고, 저장된 데이터 내에서 이미지 데이터를 검색하도록 구성된, 필드 프로그램 가능 게이트 어레이(Field Programmable Gate Array, FPGA) 저장 플랫폼을 구비한다.

또한, FPGA 저장 플랫폼은:

마스터 PC로부터 구성 파라미터들을 수신하고, 이미지 계산 유닛으로부터 수신된 테스트 결과를 마스터 PC로 피드백하도록 구성된 데이터 상호작용 모듈;

무손실 압축 후 디스크 저장 관리 유닛을 통해 수신된 데이터를 디스크 어레이 내에 저장하도록 구성된 데이터 무손실 압축 모듈;

이미지 획득 유닛으로부터 이미지 데이터를 수신하여 데이터 무손실 압축 모듈로 출력하고, 구성 파라미터들을 수신하여 이미지 획득 유닛으로 전송하고, 이미지 계산 유닛으로부터 전송된 테스트 결과를 수신하도록 구성된 이미지 데이터 수신/전송 모듈; 및

디스크 어레이의 저장 및 판독(read)을 관리하도록 구성된 데이터 디스크 저장 관리 모듈을 구비한다.

또한, FPGA 저장 플랫폼은:

디스크 어레이의 판독을 제어하도록 구성된 이미지 검색(retrieval) 관리 모듈; 및

제4 통신 인터페이스를 포함하고, 외부 서버와 통신함으로써 검색 데이터 교환과 데이터 통신 제어를 달성하도록 구성된 이미지 데이터 교환 제어 모듈을 더 구비한다.

또한, 이미지 계산 유닛은, FPGA 연산 플랫폼과 PC를 포함하고; 제1 광섬유 인터페이스, 제2 광섬유 인터페이스, 제3 광섬유 인터페이스 및 제4 광섬유 인터페이스는 모두 FPGA 연산 플랫폼 상에 배치되고; FPGA 연산 플랫폼은 PC에 연결된 제5 광섬유 인터페이스 및 FPGA 연산 플랫폼의 캐스케이드 확장을 위한 확장 인터페이스를 더 구비한다.

FPGA 연산 플랫폼은, 설정된 지시들에 따라 제어 명령들을 PC와 이미지 프로세싱 가속기로 전송하도록 구성된 중앙 제어기; 제어 명령들에 따라 더블 데이터 레이트(Double Data Rate, DDR) 메모리로부터 이미지 데이터의 다른 부분을 판독 및 계산하고, 계산 결과를 데이터 수집 및 전송 모듈로 전송하도록 구성된 이미지 프로세싱 가속기; PC와 이미지 프로세싱 가속기로부터 계산 결과들을 수집하여 최종 테스트 결과를 형성하고, 테스트 결과를 이미지 저장 유닛으로 전송하도록 구성된 데이터 수집 및 전송 모듈; 및 처리될 이미지 데이터와 테스트 결과를 저장하도록 구성된 DDR 메모리를 포함하고;

PC는 제어 명령들에 따라 DDR 메모리로부터 이미지 데이터의 일부를 판독 및 계산하고, 계산 결과를 데이터 수집 및 전송 모듈로 전송하도록 구성된다.

또한, FPGA 연산 플랫폼은, 구성 파라미터와 테스트 명령들을 수신하여 중앙 제어기에 전송하도록 구성된 구성 파라미터 수신 모듈; 이미지 획득 유닛의 이미지 데이터를 수신하여 DDR 메모리 내에 저장하고, 수신된 구성 파라미터와 테스트 명령들을 이미지 획득 유닛에 전송하도록 구성된 데이터 수신/파라미터 구성 모듈; 테스트 명령들에 따라 스크린 발광 신호의 생성을 제어하도록 구성된 신호 확장 모듈; 및 테스트 명령들에 따라 IO 광원을 제어하도록 구성된 IO 제어 모듈을 더 포함하고;

중앙 제어기는 수신된 구성 파라미터를 데이터 수신/파라미터 구성 모듈로 전송하고, 수신된 테스트 명령들을 데이터 수신/파라미터 구성 모듈, IO 제어 모듈 및 신호 확장 모듈에 할당하도록 구성된다.

바람직하게, 이미지 획득 유닛은:

카메라 데이터를 수신하여 프로토콜에 따라 유효 이미지 데이터로 파싱(parse)하고, 미가공(raw) 이미지 데이터로서 유효 이미지 데이터를 DDR 물리적 메모리 내에 저장하도록 구성된 프로토콜 파싱(parsing) 모듈;

미가공 이미지 데이터와 처리된 이미지 데이터를 저장하도록 구성된 DDR 물리적 메모리;

메인 제어 유닛으로부터의 제어 명령에 따라 DDR 물리적 메모리로부터 미가공 이미지 데이터를 판독하고, 미가공 이미지 데이터를 전처리하고, 전처리된 미가공 데이터를 전송하여 처리된 이미지 데이터로서 DDR 물리적 메모리 내에 저장하도록 구성된 이미지 품질 평가 및 전처리 모듈;

설정된 지시들에 따라 제어 명령들을 이미지 품질 평가 및 전처리 모듈과 판독 DDR 데이터 포맷 변환 모듈로 전송하도록 구성된 메인 제어 유닛;

수신된 미가공 이미지 데이터 및/또는 처리된 이미지 데이터를 이미지 저장 유닛과 이미지 계산 유닛으로 전송하도록 구성된 고속 인터페이스 데이터 패킷 모듈; 및

메인 제어 유닛으로부터의 구성 명령에 따라 미가공 이미지 데이터 및/또는 처리된 이미지 데이터를 판독하여 DDR 물리적 메모리로부터 고속 인터페이스 데이터 패킷 모듈로 전송하도록 구성된 판독 DDR 데이터 포맷 변환 모듈을 구비한다.

바람직하게, 이미지 획득 유닛은 오토포커스 노출 모듈과 카메라 구성 모듈을 더 구비하하고;

고속 인터페이스 데이터 패킷 모듈은 구성 파라미터와 테스트 명령들을 메인 제어 유닛에 수신하도록 구성되고;

프로토콜 파싱 모듈은 또한 프로토콜에 따라 카메라 데이터를 수신하여 유효 이미지 데이터로 파싱하고, 유효 이미지 데이터를 DDR 물리적 메모리 내에 저장하고, 카메라 파라미터를 카메라에 전송하도록 구성되고;

이미지 품질 평가 및 전처리 모듈은 또한 메인 제어 유닛으로부터의 제어 명령에 따라 카메라 데이터의 이미지 품질을 평가하고, 평가 결과를 메인 제어 유닛으로 전송하도록 구성되고;

메인 제어 유닛은 또한 구성 파라미터, 테스트 명령들, 및 평가 결과를 오토 포커스 노출 모듈로 전송하도록 구성되고;

오토포커스 노출 모듈은 구성 파라미터와 평가 결과에 따라 카메라 파라미터를 설정하고, 구성 파라미터와 테스트 명령을 카메라 구성 모듈에 전송하도록 구성되고;

카메라 구성 모듈은 구성 파라미터와 테스트 명령들을 프로토콜 파싱 모듈로 전송하도록 구성된다.

프로토콜 파싱 모듈은, 카메라링크 프로토콜 파싱 모듈, 기가비트 이더넷(GigE) 비전(Vision) 프로토콜 파싱 모듈, 및 카메라링크 고속(Camera Link High Speed, CLHS) 프로토콜 파싱 모듈을 포함하고; 카메라 인터페이스는 다수의 카메라링크 인터페이스들, 다수의 GigE 인터페이스들 및 다수의 CLHS 인터페이스들을 포함하고; 다수의 카메라 링크 인터페이스들은 카메라 링크 프로토콜 파싱 모듈에 연결되고, 다수의 GigE 인터페이스들은 GigE Vision 프로토콜 파싱 모듈에 연결되고, 다수의 CLHS 인터페이스들은 CLHS 프로토콜 파싱 모듈에 연결된다.

본 발명의 장점들은 다음과 같이 요약된다.

첫째, 이미지 저장 유닛, 이미지 계산 유닛 및 이미지 획득 유닛은 서로 협력함으로써, 이미지 저장과 검색, 인간-컴퓨터 상호작용, 메인 제어와 디스플레이, 프로세싱 결과 분석과 보고의 기능들을 구현하고, 스크린 발광 신호의 생성, 신호 확장, 광원, 이미지 획득, 및 카메라 파라미터 구성을 포괄적으로 제어한다.

둘째, 택트 타임이 짧아 진다.

셋째, 유닛들이 광섬유들에 의해 통신함으로써, 데이터 전송 속도가 빨라진다.

넷째, 이미지 계산 유닛은 또한 캐스케이딩에 의해 연산 용량을 확장할 수 있다. 또한, 이미지 계산 유닛은 CPU+GPU+FPGA 아키텍처를 사용하여 CPU+GPU 유닛을 완전히 확장하고, GPU의 프로세싱 용량을 향상시킨다.

다섯째, FPGA를 중앙 제어기로 사용함으로써, 상이한 GPU 프로세싱 유닛들로 처리될 데이터가 분산되어, 분산된 프로세싱 아키텍처가 형성된다. 또한, FPGA 자체가 이미지 가속 프로세서로 기능하고, 병렬 프로세싱 특성을 최대한 활용하여, 이미지 분할 및 GPU+FPGA를 조정함으로써, 이미지 프로세싱 연산 능력을 효과적으로 향상시킨다.

여섯째, 본 발명의 디바이스는 다양한 카메라 인터페이스들을 지원하고, 자동 정렬, 오토포커싱, 자동 노출 파라미터 설정을 지원하고, 이미지 품질 평가 및 이미지 전-처리 등의 기능을 가진다.

일곱째, 전체 시스템 아키텍처는 간단한 구조, 저렴한 비용, 양호한 안정성, 양호한 조정 능력 및 강력한 연산 프로세싱 능력의 장점들을 가진다.

도 1은 본 발명의 일 실시예에 따른 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따른 카메라 설정의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 테스팅의 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 이미지 저장 유닛의 기능 블록도이다.
도 5는 본 발명의 일 실시예에 따른 이미지 저장 유닛의 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 이미지 계산 유닛의 기능 블록도이다.
도 7은 본 발명의 일 실시예에 따른 이미지 계산 유닛의 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 이미지 획득 유닛의 기능 블록도이다.
도 9는 본 발명의 일 실시예에 따른 이미지 획득 유닛의 흐름도이다.

이하, 첨부된 도면들을 참조하여 본 개시의 바람직한 실시예들에 따른 자동 광학 감지 시스템을 상세히 설명한다. 다음과 같은 실시예들은 본 발명을 설명하기 위한 것이지 본 발명을 제한하는 것은 아니다.

도 1에 도시된 바와 같이, 본 발명은 제1 통신 인터페이스와 제2 통신 인터페이스를 포함하는 이미지 저장 유닛(1), 제1 광섬유 인터페이스, 제2 광섬유 인터페이스, 제3 광섬유 인터페이스 및 제4 광섬유 인터페이스를 포함하는 이미지 계산 유닛(2), 및 제3 통신 인터페이스 및 카메라 인터페이스를 포함하는 이미지 획득 유닛(3)을 구비한다.

이미지 저장 유닛(1)은, 인간-머신 상호작용을 통해 파라미터 구성을 수행하고, 제1 통신 인터페이스를 통해 구성 파라미터들과 테스트 명령들을 이미지 계산 유닛(2)으로 전송하고, 이미지 계산 유닛(2)으로부터 전송된 테스트 결과를 수신 및 보고하고, 제2 통신 인터페이스를 통해 이미지 획득 유닛(3)으로부터 데이터를 수신하도록 구성된다. 이미지 저장 유닛(1)에 의해 전송되는 구성 파라미터들은 패턴(Pattern) 리스트, 스크린 파라미터들, 카메라 파라미터들, 탐지 파라미터들 등을 포함한다.

이미지 계산 유닛(2)은, 제1 섬유(fiber) 인터페이스를 통해 이미지 저장 유닛(1)으로부터 구성 파라미터들과 테스트 명령들을 수신하고, 테스트 결과를 이미지 저장 유닛(1)으로 전송하고, 제2 광섬유 인터페이스를 통해 이미지 획득 유닛(3)으로부터 데이터를 수신하고 구성 파라미터들과 테스트 명령들을 이미지 획득 유닛(3)으로 전송하고, 제3 광섬유 인터페이스를 통해 스크린 발광 신호의 생성을 제어하고(모듈을 발광시키도록 신호 확장 유닛(7)을 제어), 제4 광섬유 인터페이스를 통해 입력/출력(IO) 광원(상응하는 광원(9), 백라이트 및 사이드라이트)을 제어하도록 구성된다.

이미지 획득 유닛(3)은, 제3 통신 인터페이스를 통해 이미지 데이터를 출력하고, 구성 파라미터들과 테스트 명령들을 수신하고, 카메라 데이터를 수신하고, 카메라 인터페이스를 통해 카메라에 구성 파라미터들과 테스트 명령들을 전송하도록 구성된다.

도 2를 참조하면, 작동 시, 카메라의 작동 거리, 포커싱 파라미터들, 노출 파라미터들, 이득 파라미터들, 화이트 밸런스 파라미터들, 및 백라이트 휘도가 먼저 조정되고, 그 상세 내용은 다음과 같다.

1) 장비의 초기화로서, 카메라와 렌즈 파라미터들, 패널 파라미터들, 패널 투과율 파라미터들, 백라이트 파라미터들 등을 포함한다.

2) 인간-머신 인터페이스가 시작 명령을 전송한다.

3) 스크린 패턴을 백색으로 설정한다.

4) 스크린 발광 신호를 생성하고 모듈을 발광시킨다.

5) 카메라를 트리거(trigger)하여 사진들을 촬영한다.

6) 휘도, 선명도(clarity)와 선예도(sharpness), 유효 영역의 크기, 무아레(moire) 패턴 등을 포함하는, 이미지의 품질을 평가한다.

7) 이미지가 테스트 표준을 만족하면, 프로세스는 스위치 오프될 것이다.

8) 이미지가 테스트 표준을 만족하지 않으면, 평가 결과들에 따라 카메라의 작업 거리, 포커싱 파라미터들 및 백라이트 휘도가 조정될 것이다.

9) 만족스러운 이미지가 획득될 때까지 5) 내지 8)의 동작들이 반복된다.

본 발명의 일 실시예에 따른 자동 조정 디바이스 및 방식은, 카메라의 조정(adjustment)을 완료하는데 단지 몇 분이 소요되는 반면, 선행기술에 따른 조정 방법은 보통 몇 시간 또는 몇 일이 소요된다. 또한, 본 개시의 자동 조정 디바이스는 보다 일관된 이미지들을 생성한다.

도 3에 도시된 바와 같이, 상기와 같이 조정된 후의 테스트 절차는 다음과 같다.

1) 장비의 초기화.

2) 마스터 제어 유닛이 원-키(one-key) 시작 명령을 설정한다.

3) 설정된 패턴 순서에 따라, 스크린 발광 신호를 생성하고 이미지를 분할한다.

4) 설정된 광원 순서에 따라, 상이한 광원 신호들을 IO 제어 단자를 통해 발광시킨다.

5) 카메라의 노출, 이득 및 화이트 밸런스 파라미터들을 설정한다.

6) 카메라를 트리거시킨다.

7) 카메라 데이터를 수신한다.

8) 휘도 보정, 암각(dark angle) 보정, ROI 영역의 추출과 절단, 배경 억제(suppression), 무아레 제거, 그레이 스트레치(gray stretch) 등을 포함하는, 이미지를 전처리(pre-processing)한다.

9) 결함 탐지, 인식 및 판단을 포함하는, 이미지를 후-처리(post-processing)한다.

10) 데이터 저장 부분을 고객의 MCMQ 시스템(4)으로 전송하고, PLC(5)를 통해 적시(timely) 디스플레이 부분을 고객의 CIM 시스템(6)으로 전송하는 것을 포함하는, 테스트 결과들을 보고한다.

11) 미가공 이미지 데이터를 저장 및 압축한다.

도 4에 도시된 바와 같이, 이미지 저장 유닛(1)은, 마스터 개인용 컴퓨터(PC)(1.1), FPGA 저장 플랫폼(FPGA 기반 메모리 프로세싱 보드)(1.2), 및 디스크 어레이(1.3)를 포함한다.

FPGA 저장 플랫폼(1.2)은 데이터 상호작용 모듈(1.4), 이미지 데이터 수신/전송 모듈(1.5), 데이터 무손실 압축 모듈(1.6), 데이터 디스크 저장 관리 모듈(1.7), 이미지 검색 관리 모듈(1.8), 및 이미지 데이터 교환 제어 모듈(1.9)을 포함한다.

이미지 저장 유닛은 한편으로 이미지의 저장과 검색을 담당하고, 다른 한편으로, 인간-컴퓨터 상호작용, 메인 제어와 디스플레이, 분석 결과의 프로세싱, 및 보고 등의 기능을 갖는다. 메인 제어 PC와 FPGA 저장 플랫폼 사이의 상호작용은 PCIE x8 모드를 통해 수행된다.

제1 통신 인터페이스와 제2 통신 인터페이스는 모두 FPGA 저장 플랫폼 상에 배치되고 즉, FPGA 저장 플랫폼, 이미지 계산 유닛 및 이미지 획득 유닛 사이의 데이터 통신과 상호작용은 광섬유를 통해 수행된다. 네트워크 연결을 위해 광섬유를 사용하면 이미지 저장과 검색에 편리하다.

이미지 저장 유닛은 주로 이미지 획득 유닛에 의해 전송된 미가공 이미지 데이터 및/또는 처리된 이미지 데이터를 저장하는데 사용된다. 이미지 계산 유닛의 프로세싱 결과 데이터는 로컬 서버에 저장되지 않고 고객의 MCMQ(4) 시스템에 직접 업로드된다. 로컬 영역에 저장된 이미지들은 후속되는 데이터 분석과 검색에 사용되고, 넓은 저장 공간, 저장 및 검색의 높은 효율성이 필요하다.

이미지 저장 유닛의 각각의 모듈의 기능들은 다음과 같다.

마스터 개인용 컴퓨터(PC)(1.1)는 파라미터 구성을 수행하고, 인간-머신 상호작용을 통해 구성 파라미터들과 테스트 명령들을 출력하고, FPGA 저장 플랫폼(1.2)으로부터 테스트 결과를 수신 및 보고하고, 고객의 MCMQ에 연결되고, 결함 데이터, 결함 사진들 및 XML 데이터를 보고하도록 구성된다.

디스크 어레이(1.3)는 데이터 저장을 위해 사용된다.

데이터 상호작용 모듈(1.4)은 마스터 PC로부터 구성 파라미터들을 수신하고, 이미지 계산 유닛으로부터 수신된 테스트 결과를 마스터 PC로 피드백하도록 구성된다.

이미지 데이터 수신/전송 모듈(1.5)은 이미지 데이터를 수신하여 이미지 획득 유닛으로부터 데이터 무손실 압축 모듈로 이미지 데이터를 출력하고, 구성 파라미터들를 수신하여 이미지 획득 유닛으로 전송하고, 이미지 계산 유닛으로부터 전송된 테스트 결과를 수신하도록 구성된다.

데이터 무손실 압축 모듈(1.6)은, 무손실 압축 후 디스크 저장 관리 유닛을 통해 수신된 데이터를 디스크 어레이에 저장한다. 또한, 데이터의 무손실 압축은 저장 공간의 활용을 크게 향상시키고 검색 대역폭에 대한 압력을 완화할 수 있다.

데이터 디스크 저장 관리 모듈(1.7)은 디스크 어레이의 저장과 판독을 관리하도록 구성된다.

이미지 검색 관리 모듈(1.8)은 디스크 어레이의 판독을 제어하도록 구성된다.

이미지 데이터 교환 제어 모듈(1.9)은 제4 통신 인터페이스를 포함하고 외부 서버와 통신하도록 구성됨으로써, 외부 서버로부터의 명령 하에 검색 데이터 교환과 데이터 통신 제어를 달성한다. 검색하는 동안, 필요한 이미지 데이터는 로컬 영역부터 판독되어 광섬유 교환 네트워크를 통해 검색 서버로 전송될 필요가 있다. 검색 서버는 무손실 압축해제(decompression) 후 이미지를 사용할 수 있다.

도 5를 참조하면, 이미지 저장 유닛의 데이터 프로세싱 절차는 다음과 같다:

1) 초기화.

2) 파라미터를 구성한다.

3) 원-키 테스트 명령을 전송한다.

4) 미가공 이미지 데이터를 수신하기 위해 대기한다.

5) 미가공 이미지 데이터를 압축한다.

6) 압축된 미가공 이미지 데이터를 저장한다.

7) 테스트 결과의 수신을 대기한다.

8) 테스트 결과를 분석 및 보고한다.

9) 종료한다.

전술한 실시예서, 도 6에 도시된 바와 같이, 이미지 계산 유닛(2)은 FPGA 연산 플랫폼(2.1)(FPGA 기반 계산 프로세싱 보드)과 PC(2.2)를 구비하고; 제1 광섬유 인터페이스, 제2 광섬유 인터페이스, 제3 광섬유 인터페이스 및 제4 광섬유 인터페이스는 모두 FPGA 연산 플랫폼 상에 배치되고; FPGA 연산 플랫폼은 PC에 연결된 제5 광섬유 인터페이스 및 FPGA 연산 플랫폼의 캐스케이드 확장을 위한 확장 인터페이스를 더 구비한다.

FPGA 연산 플랫폼(2.1)은 데이터 수신/파라미터 구성 모듈(2.3), 기록(write) DDR 데이터 포맷 변환 모듈(2.4), 신호 확장 모듈(2.5), IO 제어 모듈(2.6), 중앙 제어기(2.7), 이미지 프로세싱 가속기(2.8), 구성 파라미터 수신 모듈(2.9), 구성 레지스터(2.10), 데이터 수집 및 전송 모듈(2.11), 판독 DDR 데이터 포맷 변환 모듈(2.12), 데이터 전송 모듈(2.13), AXI 버스 상호접속 모듈(2.14), DDR 제어기(2.15), 및 DDR 메모리(2.16)를 구비한다.

PC는 CPU와 GPU를 포함한다.

FPGA 연산 플랫폼은 이미지 계산 유닛에 의해 이미지 컴퓨팅을 가속화시킬 뿐만 아니라, 스크린 발광 신호 생성, 신호 확장 및 광원의 통합 제어 기능들도 가진다. FPGA 연산 플랫폼은 12개의 QSFP+광섬유 인터페이스들, 및 최대 6개의 PC들을 포함한다. 다수의 PC들은 16개의 인터페이스들을 가진 KVM 장비(8)를 통해 스위칭 및 제어될 수 있다.

FPGA 연산 플랫폼, PC, 이미지 저장 유닛, 이미지 획득 유닛, 신호 확장 유닛(7) 및 IO 제어 모듈은 모두 광섬유를 통해 서로 통신한다. FPGA 연산 플랫폼은 광섬유 인터페이스를 통한 캐스케이드 확장을 지원함으로써 연산 용량을 확장한다. PC의 FPGA 연산 플랫폼과 CPU 및 GPU는, CPU+GPU+FPGA 아키텍처를 형성하고, 이미지 데이터 흐름 모드에 따라, 파이프라인 구조 프로세싱, FPGA 이미지 전처리, CPU+GPU 이미지 후-처리를 수행함으로써, 연산 속도를 완전히 향상시킨다.

이미지 계산 유닛의 각각의 모듈의 기능들은 다음과 같다.

PC(2.2)는 제어 명령들에 따라 DDR 메모리로부터 이미지 데이터의 일부를 판독 및 계산하고, 계산 결과를 데이터 수집 및 전송 모듈로 전송하도록 구성된다.

데이터 수신/파라미터 구성 모듈(2.3)은 이미지 획득 유닛의 이미지 데이터를 수신하여 DDR 메모리 내에 저장하고, 구성 파라미터와 수신된 테스트 명령들을 이미지 획득 유닛으로 전송하도록 구성된다.

기록 DDR 데이터 포맷 변환 모듈(2.4)은 수신된 데이터의 포맷을 변환하도록 구성된다.

신호 확장 모듈(2.5)은 테스트 명령들에 따라 스크린 발광 신호를 생성 및 제어하도록 구성된다.

IO 제어 모듈(2.6)은 테스트 명령들에 따라 IO 광원을 제어하도록 구성된다.

중앙 제어기(2.7)는 제어 명령들을 PC와 이미지 프로세싱 가속기로 각각 전송하고, 수신된 구성 파라미터를 데이터 수신/파라미터 구성 모듈로 전송하고, 수신된 테스트 명령들을 데이터 수신/파라미터 구성 모듈, IO 제어 모듈, 및 신호 확장 모듈에 할당하도록 구성된다.

이미지 프로세싱 가속기(2.8)는 제어 명령들에 따라 DDR 메모리로부터 이미지 데이터의 다른 부분을 판독 및 계산하고, 계산 결과를 데이터 수집 및 전송 모듈로 전송하도록 구성된다.

구성 파라미터 수신 모듈(2.9)은 이미지 저장 유닛의 구성 파라미터와 테스트 명령들을 수신하여 중앙 제어기로 전송하도록 구성된다.

구성 레지스터(2.10)는 레지스터를 구성(configure)하도록 구성된다.

데이터 수집 및 전송 모듈(2.11)은 최종 테스트 결과를 형성하기 위해 PC와 이미지 프로세싱 가속기로부터 계산 결과들을 수집하고 테스트 결과를 이미지 저장 유닛으로 전송하도록 구성된다.

판독 DDR 데이터 포맷 변환 모듈(2.12)은 수신된 데이터의 포맷을 변환하도록 구성된다.

데이터 전송 모듈(2.13)은 계산될 데이터를 PC로 전송하도록 구성된다.

AXI 버스 상호접속 모듈(2.14)은 중앙 제어기의 제어 하에 이미지 데이터를 판독하고 DDR 메모리에 기록하도록 구성된다.

DDR 제어기(2.15)는 이미지 데이터의 판독과 기록, 및 테스트 결과를 제어하도록 구성된다.

DDR 메모리(2.16)는 처리될 이미지 데이터와 테스트 결과를 저장하도록 구성된다.

도 7에 도시된 바와 같이, 이미지 계산 유닛의 데이터 프로세싱 절차는 다음과 같다:

1) 초기화.

2) 원-키 테스트 명령을 수신한다.

3) 처리된 패턴들의 갯수가 설정된 총 패턴들의 갯수와 동일한지 여부를 결정한다. 만약 동일하면, 원-키 프로세싱 테스트가 완료되었는지를 결정하고 프로세스를 종료한다.

4) 원-키 테스트가 완료되지 않은 경우, 패턴 리스트에 따라 모듈을 발광시킨다.

5) 패턴 리스트에 따라 광원을 발광시킨다.

6) 이미지들을 캡처하기 위해 카메라를 트리거시킨다.

7) 이미지 획득 유닛의 이미지 데이터를 수신하고, 트리거 횟수를 결정하기 위해 복귀한다.

8) 수신된 데이터를 처리하고, 테스트된 모듈이 결함들을 구비하는지 여부를 결정하고 결함 레벨을 판단한다.

9) 테스트 결과를 보고한다.

도 8에 도시된 바와 같이, 이미지 획득 유닛(3)은 프로토콜 파싱 모듈(3.1), 유효 데이터 추출 모듈(3.2), 기록 DDR 데이터 포맷 변환 모듈(3.3), AXI 버스(3.4), DDR 제어 모듈(3.5), DDR 물리적 메모리(3.6), 이미지 품질 평가 및 전처리 모듈(3.7), 메인 제어 유닛(3.8), 레지스터 구성 모듈(3.9), 기록 DDR 데이터 포맷 변환 모듈(3.10), 고속 인터페이스 데이터 패킷 모듈(3.11), 오토포커스 노출 모듈(3.12), 및 카메라 구성 모듈(3.13)을 구비한다.

이미지 획득 유닛(3)은 Xilinx SOC 칩을 메인 제어 유닛으로 사용하고, 8개의 Cameralink 인터페이스들, 8개의 GigE 인터페이스들 및 4개의 CLHS 인터페이스들과 호환되고, 광섬유 인터페이스를 통해 FPGA 연산 플랫폼과 통신하고, 자체-사용자 정의 프로토콜에 따라 데이터 통신을 수행한다.

이미지 획득 유닛(3)은 다수의 카메라 인터페이스들 및 다양한 카메라들과 호환되고, 자동 정렬, 초점 맞추기, 노출 파라미터들의 설정, 이미지 품질 평가, 더 나은 이미지 일관성의 생성, 노출 시간(백라이트 휘도, 패널 투과율, 및 렌즈 왜곡에 따라)과 이득의 자동 조정, 휘도와 암각을 보정할 수 있으므로, 이미지 품질과 일관성을 향상시킨다.

또한, 이미지 획득 유닛(3)은 휘도 보정, 암각 보정, ROI 영역의 추출과 절단, 배경 억제, 무아레 제거, 그레이 스트레치 등을 포함하는 이미지의 전-처리를 수행할 수 있다.

이미지 획득 유닛(3)의 각각의 모듈의 기능들은 다음과 같다.

프로토콜 파싱 모듈(3.1)은, 카메라 데이터를 수신하고 프로토콜에 따라 카메라 데이터를 유효 이미지 데이터로 파싱하도록 구성되고, 카메라 데이터는 유효 데이터 추출 모듈과 기록 DDR 데이터 포맷 변환 모듈에 의해 처리되어, 미가공 이미지 데이터로서 DDR 물리적 메모리에 전송된다.

다른 실시예에서, 프로토콜 파싱 모듈(3.1)은, 카메라 데이터를 수신하고 프로토콜에 따라 카메라 데이터를 유효 이미지 데이터로 파싱하도록 구성되고, 카메라 데이터는 유효 데이터 추출 모듈과 기록 DDA 데이터 포맷 변환 모듈에 의해 처리되어, DDR 물리적 메모리로 전송되고, 파싱된 이미지 데이터는 24-비트 이미지 데이터 및 프레임 제어 신호 VS/HS/DE를 포함한다.

프로토콜 파싱 모듈(3.1)은 카메라 구성 파라미터들을 카메라로 전송하도록 구성된다.

프로토콜 파싱 모듈(3.1)은 카메라 링크 프로토콜 파싱 모듈, GigE Vision 프로토콜 파싱 모듈, 및 CLHS 프로토콜 파싱 모듈을 포함한다. 카메라 인터페이스는 다수의 카메라 링크 인터페이스들, 다수의 GigE 인터페이스들 및 다수의 CLHS 인터페이스들을 포함한다. 다수의 카메라 링크 인터페이스들은 카메라 링크 프로토콜 파싱 모듈에 연결되고, 다수의 GigE 인터페이스들은 GigE Vision 프로토콜 파싱 모듈에 연결되고, 다수의 CLHS 인터페이스들은 CLHS 프로토콜 파싱 모듈에 연결된다.

유효 데이터 추출 모듈(3.2)은 메인 제어 유닛의 구성 파라미터들에 따라 유효 이미지 데이터를 추출하도록 구성된다. 프로토콜 파싱 모듈로부터 획득된 데이터는 24-비트 데이터이다. 유효 데이터 추출 모듈(3.2)은 메인 제어 유닛의 구성에 따라 유효 데이터 비트를 추출하도록 구성된다.

기록 DDR 데이터 포맷 변환 모듈(3.3)은 수신된 데이터를 물리적 메모리에 저장하고, 카메라의 유효 이미지 데이터의 포맷을 메모리의 AXI4 기록 데이터로 변환하도록 구성된다.

AXI 버스 상호접속 모듈(3.4)은 메인 제어 유닛의 제어 하에 이미지 데이터를 판독하여 DDR 물리적 메모리에 기록하도록 구성된다.

DDR 제어 모듈(3.5)은 이미지 데이터의 판독 및 기록을 제어하도록 구성된다.

DDR 물리적 메모리(3.6)는 미가공 이미지 데이터 및 처리된 이미지 데이터를 저장하도록 구성된다.

이미지 품질 평가 및 전처리 모듈(3.7)은 CPU 제어 명령에 따라 DDR 물리적 메모리로부터 미가공 데이터를 판독하고, 미가공 이미지 데이터를 전처리하고, 전처리된 데이터를 처리된 이미지 데이터로서 DDR 물리적 메모리로 전송하고, 카메라 데이터의 이미지 품질을 평가하고, 평가 결과를 메인 제어 유닛으로 전송하도록 구성된다. 이미지 전처리는 휘도 보정, 암각 보정, AOI 영역의 추출과 잘라 내기, 배경 억제, 무아레 제거, 그레이 스트레치 등을 포함한다.

메인 제어 유닛(3.8)은 제어 명령들을 이미지 품질 평가 및 전처리 모듈, 및 판독 DDR 데이터 포맷 변환 모듈로 전송하고, 구성 파라미터, 테스트 명령들 및 평가 결과를 오토포커스 노출 모듈로 전송하도록 구성된다.

레지스터 구성 모듈(3.9)은 대응하는 레지스터의 구성을 수행하도록 구성된다.

기록 DDR 데이터 포맷 변환 모듈(3.10)은 미가공 이미지 데이터 및/또는 처리된 이미지 데이터를 판독하고 DDR 물리적 메모리로부터 고속 인터페이스 데이터 패킷 모듈로 전송하도록 구성된다.

고속 인터페이스 데이터 패킷 모듈(3.11)은 수신된 미가공 이미지 데이터 및/또는 처리된 이미지 데이터를 이미지 저장 유닛과 이미지 계산 유닛으로 전송하고, 구성 파라미터들과 테스트 명령들을 수신하여 메인 제어 유닛으로 전송하도록 구성된다.

오토포커스 노출 모듈(3.12)은 구성 파라미터와 평가 결과에 따라 카메라 파라미터를 설정하고, 구성 파라미터와 평가 결과를 카메라 구성 모듈에 전송하도록 구성된다.

카메라 구성 모듈(3.13)은 구성 파라미터들과 테스트 명령들을 프로토콜 파싱 모듈에 전송하도록 구성된다.

도 9에 도시된 바와 같이, 이미지 계산 유닛의 데이터 프로세싱 절차는 다음과 같다.

1) 대전(electrification) 및 초기화로서, 장비의 초기화, 카메라의 초기화, 카메라의 포커싱 등을 포함한다.

2) 메인 제어 유닛의 구성 파라미터들, 카메라 파라미터들, 패널 크기, 해상도, 투과율 정보, 백라이트 휘도, 작업 모드 등을 포함하는 파라미터들을 수신한다.

3) 메인 제어 유닛의 트리거 명령들을 수신하고, 명령들은 머신을 조정하기위한 명령과 사진을 촬영하기 위한 명령을 포함한다. 머신 조정 명령이 수신되면 머신 조정 모드가 작동하고, 사진 촬영 명령이 수신되면 사진 촬영 모드가 작동한다.

4) 카메라의 조정으로서, 카메라의 작업 거리의 조정, 포커싱 파라미터들, 노출 파라미터들, 이득 파라미터들, 화이트 밸런스 파라미터들, 카메라의 백라이트 휘도 등을 포함한다.

a) 사진을 촬영하도록 카메라를 트리거시킨다.

b) 촬영된 사진이 특정 표준을 만족하는지 여부를 결정하기 위해 사진들을 평가하고;

c) 사진이 표준을 만족하면, 현재 조정 파라미터들을 기록하고 종료한다.

d) 사진이 표준을 만족하지 않으면, 구성 파라미터들에 따라, 카메라의 작업 거리, 초점 길이, 노출 시간, 이득 및 화이트 밸런스를 조정하고; 촬영된 사진들이 표준을 충족할 때까지 위의 작업들을 반복한다.

5) 사진을 촬영하는 것으로서, 세부 절차들은 다음과 같다.

a) 노출 시간, 이득 및 화이트 밸런스를 포함하는, 카메라 파라미터들을 구성한다.

b) 카메라를 트리거링시키킨다.

c) 카메라가 데이터를 수신한다.

d) 휘도 보정, 암각 보정, AOI 영역의 추출과 절단, 배경 억제, 무아레 제거, 그레이 스트레치 등을 포함하는, 이미지 전처리를 수행한다.

e) DDR 메모리로부터 데이터를 판독하고 후속 프로세싱을 위해 광섬유를 통해 데이터를 프론트 엔드(front end)로 전송한다.

본 발명의 자동 광학 검사 디바이스는, 데이터 획득과 프로세싱을 위해 최대 20대의 카메라들을 동시에 관리할 수 있으므로, 고해상도 및 대형 패널의 시스템 복잡성, 압축된 이미지 획득의 택트 타임을 엄청나게 최적화시켜, 시스템 안정성을 개선할 수 있다.

또한, 카메라는 자동 정렬, 포커싱 및 이미지 품질 탐지의 포괄적인 특성을 가지고, 이미지 품질 관리를 자동적으로 구현할 수 있으므로, 카메라의 현장-조정에 매우 편리하다. 독립적으로 개발된 이미지 품질 평가 시스템은 우수한 이미지 일관성으로 카메라의 조정을 신속하게 실현할 수 있다.

FPGA 이미지 저장 관리 시스템은 이미지 저장 효율성을 개선하고, 이미지 검색을 용이하게 하며, 머신 러닝 및 지능형 감지에 탐지를 위해 필요한 소스 이미지들을 제공할 수 있다.

CPU+GPU+FPGA의 스타(star) 네트워크 병렬 가속 연산 시스템은, GPU와 FPGA의 병렬 처리 특성을 완벽히 발휘함으로써 시스템의 전체 연산 용량을 향상시킨다. 데이터 흐름의 방향에 따라, 파이프라인 구조를 사용하여 FPGA 측에서 이미지 전처리가 가속화된 후, CPU와 GPU 측에서 이미지 후-처리가 구현된다. 가속 시스템을 사용하면 이미지 연산 처리 용량이 50% 이상 향상된다.

당업자라면 본 개시의 변경과 수정을 가능하게 할 수 있으므로, 첨부된 청구 항들은 본 발명에 대한 당업자가 할 수 있는 이러한 모든 변경들과 수정들을 포함하는 것으로 해석해야 한다.

1...이미지 저장 유닛
1.1...마스터 PC
1.2...FPGA 저장 플랫폼
1.3...디스크 어레이
1.4...데이터 상호작용 모듈
1.5...이미지 데이터 수신/전송 모듈
1.6...데이터 무손실 압축 모듈
1.7...데이터 디스크 저장 관리 모듈
1.8...이미지 검색 관리 모듈
1.9...이미지 데이터 교환 제어 모듈
2...이미지 계산 유닛
2.1...FPGA 연산 플랫폼
2.2...PC
2.3...데이터 수신/파라미터 구성 모듈
2.4...기록 DDR 데이터 포맷 변환 모듈
2.5...신호 확장 모듈
2.6...IO 제어 모듈
2.7...중앙 제어기
2.8...이미지 프로세싱 가속기
2.9...구성 파라미터 수신 모듈
2.10...구성 레지스터
2.11...데이터 수집 및 전송 모듈
2.12...기록 DDR 데이터 포맷 변환 모듈
2.13...데이터 전송 모듈\
2.14...AXI 버스 상호접속 모듈
2.15...DDR 제어기
2.16...DDR 메모리
3...이미지 획득 유닛
3.1...프로토콜 파싱 모듈
3.2...유효 데이터 추출 모듈
3.3...기록 DDR 데이터 포맷 변환 모듈
3.4...AXI 버스
3.5...DDR 제어 모듈
3.6...DDR 물리적 메모리
3.7...이미지 품질 평가 및 전처리 모듈
3.8...메인 제어 유닛
3.9...레지스터 구성 모듈
3.10...기록 DDR 데이터 포맷 변환 모듈
3.11...고속 인터페이스 데이터 패킷 모듈
2.12...오토포커스 노출 모듈
3.13...카메라 구성 모듈
4. 고객의 MCMQ
5...PLC
6...CIM
7...신호 확장 유닛
8...16 KVM
9...광원.

Claims (10)

1. 중앙 처리 장치(CPU)와 그래픽 처리 장치(GPU)와 필드 프로그램 가능 게이트 어레이(FPGA)가 결합된 아키텍처 기반의 자동 광학 검사 시스템으로서,
   제1 통신 인터페이스와 제2 통신 인터페이스를 포함하는 이미지 저장 유닛; 제1 광섬유 인터페이스, 제2 광섬유 인터페이스, 제3 광섬유 인터페이스 및 제4 광섬유 인터페이스를 포함하는 이미지 계산 유닛; 및 제3 통신 인터페이스와 카메라 인터페이스를 포함하는 이미지 획득 유닛을 구비하고,
   상기 이미지 저장 유닛은, 상기 제1 통신 인터페이스를 통해 구성 파라미터들과 테스트 명령들을 상기 이미지 계산 유닛으로 전송하고 상기 이미지 계산 유닛으로부터 전송된 테스트 결과를 수신하고, 상기 제2 통신 인터페이스를 통해 상기 이미지 획득 유닛으로부터 데이터를 수신하도록 구성되고;
   상기 이미지 계산 유닛은, 상기 제1 광섬유 인터페이스를 통해 상기 이미지 저장 유닛으로부터 상기 구성 파라미터들과 테스트 명령들을 수신하고 테스트 결과를 상기 이미지 저장 유닛으로 전송하고, 상기 제2 광섬유 인터페이스를 통해 상기 이미지 획득 유닛으로부터 데이터를 수신하고 상기 구성 파라미터들을 상기 이미지 획득 유닛으로 전송하고, 상기 제3 광섬유 인터페이스를 통해 스크린 발광 신호의 생성을 제어하고, 상기 제4 광섬유 인터페이스를 통해 입력/출력(IO) 광원을 제어하도록 구성되고, 상기 이미지 계산 유닛은, FPGA 연산 플랫폼과 퍼스널 컴퓨터(PC)를 포함하고, 상기 FPGA 연산 플랫폼은 상기 PC, 상기 이미지 저장 유닛 및 상기 이미지 획득 유닛과 광섬유를 통해 데이터 통신하고, 상기 FPGA 연산 플랫폼은 이미지 프로세싱이 가속화되는 FPGA 기반 계산 프로세싱 보드이고, 상기 PC는 이미지 후-처리를 실현하는 CPU와 GPU를 구비하고;
   상기 이미지 획득 유닛은, 상기 제3 통신 인터페이스를 통해 이미지 데이터를 출력하고 상기 구성 파라미터들과 테스트 명령들을 수신하고, 상기 카메라 인터페이스를 통해 카메라 데이터를 수신하고 상기 구성 파라미터들과 테스트 명령들을 카메라로 전송하도록 구성된, 자동 광학 검사 시스템.
   
2. 청구항 1에서,
   상기 이미지 저장 유닛은,
   데이터를 저장하도록 구성된 디스크 어레이;
   상기 이미지 획득 유닛으로부터 데이터를 수신하도록 구성되고, 수신된 데이터에 대해 무손실(lossless) 압축을 수행한 후 상기 디스크 어레이로 수신된 데이터를 전송하도록 구성되고, 상기 이미지 계산 유닛으로부터 전송되는 테스트 결과를 수신 및 출력하도록 구성되고, 수신되는 구성 파라미터들을 상기 이미지 획득 유닛으로 출력하도록 구성되고, 저장된 데이터 내의 이미지 데이터를 검색하도록 구성된, FPGA 저장 플랫폼; 및
   파라미터 구성을 수행하도록 구성되고, 인간(man)-머신(machine) 상호작용을 통해 상기 구성 파라미터들과 테스트 명령들을 출력하도록 구성되고, 상기 FPGA 저장 플랫폼으로부터 테스트 결과를 수신 및 보고하도록 구성된, 마스터 PC를 구비하는, 자동 광학 검사 시스템.
   
3. 청구항 2에서,
   상기 FPGA 저장 플랫폼은,
   상기 마스터 PC로부터 상기 구성 파라미터들을 수신하고, 상기 이미지 계산 유닛으로부터 수신된 테스트 결과를 상기 마스터 PC로 피드백하도록 구성된, 데이터 상호작용 모듈;
   상기 디스크 어레이의 저장 및 판독을 관리하도록 구성된, 데이터 디스크 저장 관리 모듈;
   상기 수신된 데이터가 무손실 압축이 수행된 후, 디스크 저장 관리 유닛을 통해 수신된 데이터를 상기 디스크 어레이 내에 저장하도록 구성된, 데이터 무손실 압축 모듈; 및
   상기 이미지 획득 유닛으로부터 상기 이미지 데이터를 수신하여 상기 데이터 무손실 압축 모듈로 출력하도록 구성되고, 상기 구성 파라미터들을 수신하여 상기 이미지 획득 유닛으로 전송하도록 구성되고, 상기 이미지 계산 유닛으로부터 전송되는 상기 테스트 결과를 수신하도록 구성된, 이미지 데이터 수신/전송 모듈을 구비하는, 자동 광학 검사 시스템.
   
4. 청구항 2에서,
   상기 FPGA 저장 플랫폼은,
   상기 디스크 어레이의 판독을 제어하도록 구성된 이미지 검색 관리 모듈; 및
   제4 통신 인터페이스를 포함하고, 외부 서버와 통신하도록 구성됨으로써, 검색 데이터 교환 및 데이터 통신 제어를 달성하도록 구성된, 이미지 데이터 교환 제어 모듈을 구비하는, 자동 광학 검사 시스템.
   
5. 청구항 1에서,
   상기 이미지 계산 유닛의 상기 제1 광섬유 인터페이스, 상기 제2 광섬유 인터페이스, 상기 제3 광섬유 인터페이스 및 상기 제4 광섬유 인터페이스 모두는 상기 FPGA 연산 플랫폼 상에 배치되고;
   상기 FPGA 연산 플랫폼은, 상기 PC에 연결된 제5 광섬유 인터페이스 및 상기 FPGA 연산 플랫폼의 캐스케이드 확장을 위한 확장 인터페이스를 더 포함하는, 자동 광학 검사 시스템.
   
6. 청구항 1 또는 청구항 5에서,
   상기 FPGA 연산 플랫폼은, 중앙 제어기, 이미지 프로세싱 가속기, 데이터 수집 및 전송 모듈, 및 더블 데이터 레이트(DDR) 메모리를 구비하고;
   상기 중앙 제어기는, 설정된 지시들에 따라 제어 명령을 PC와 상기 이미지 프로세싱 가속기로 전송하도록 구성되고;
   상기 PC는, 제어 명령들에 따라 상기 DDR 메모리로부터 이미지 데이터의 일부를 판독 및 계산하고, 계산 결과를 상기 데이터 수집 및 전송 모듈로 전송하도록 구성되고;
   상기 이미지 프로세싱 가속기는, 제어 명령들에 따라 상기 DDR 메모리로부터 이미지 데이터의 다른 부분을 판독 및 계산하고, 계산 결과를 상기 데이터 수집 및 전송 모듈로 전송하도록 구성되고;
   상기 데이터 수집 및 전송 모듈은, 상기 PC와 상기 이미지 프로세싱 가속기로부터 계산 결과를 수집하여 최종 테스트 결과를 형성하고, 테스트 결과를 상기 이미지 저장 유닛으로 전송하도록 구성되고;
   상기 DDR 메모리는, 처리될 이미지 데이터와 테스트 결과를 저장하도록 구성된, 자동 광학 검사 시스템.
   
7. 청구항 6에서,
   상기 FPGA 연산 플랫폼은 구성 파라미터 수신 모듈, 데이터 수신/파라미터 구성 모듈, 신호 확장 모듈, 및 입력/출력(IO) 제어 모듈을 더 구비하고;
   상기 구성 파라미터 수신 모듈은, 상기 구성 파라미터들과 테스트 명령들을 수신하여 상기 중앙 제어기로 전송하도록 구성되고;
   상기 중앙 제어기는, 수신되는 구성 파라미터들을 상기 데이터 수신/파라미터 구성 모듈로 전송하고, 수신되는 테스트 명령들을 상기 데이터 수신/파라미터 구성 모듈, 상기 IO 제어 모듈, 및 상기 신호 확장 모듈에 할당하도록 구성되고;
   상기 데이터 수신/파라미터 구성 모듈은, 상기 이미지 획득 유닛의 이미지 데이터를 수신하여 상기 DDR 메모리 내에 저장하고, 상기 구성 파라미터들과 테스트 명령들을 상기 이미지 획득 유닛으로 전송하도록 구성되고;
   상기 신호 확장 모듈은, 상기 테스트 명령들에 따라 스크린 발광 신호의 생성을 제어하도록 구성되고;
   상기 IO 제어 모듈은, 상기 테스트 명령들에 따라 상기 IO 광원을 제어하도록 구성된, 자동 광학 검사 시스템.
   
8. 청구항 1에서,
   상기 이미지 획득 유닛은,
   미가공(raw) 이미지 데이터와 처리된 이미지 데이터를 저장하도록 구성된 DDR 물리적 메모리;
   상기 카메라 데이터를 수신하고, 프로토콜에 따라 상기 카메라 데이터를 유효 이미지 데이터로 파싱(parsing)하고, 상기 유효 이미지 데이터를 상기 미가공 이미지 데이터로서 상기 DDR 물리적 메모리 내에 저장하도록 구성된 프로토콜 파싱 모듈;
   메인 제어 유닛으로부터의 제어 명령에 따라 상기 DDR 물리적 메모리로부터의 미가공 이미지 데이터를 판독하고, 상기 미가공 이미지 데이터를 전처리하고, 전처리된 미가공 이미지 데이터를 처리된 이미지 데이터로서 상기 DDR 물리적 메모리 내에 전송 및 저장하도록 구성된, 이미지 품질 평가 및 전처리 모듈;
   설정된 지시들에 따라 상기 이미지 품질 평가 및 전처리 모듈과 판독 DDR 데이터 포맷 변환 모듈로 제어 명령을 전송하도록 구성된 메인 제어 유닛;
   수신된 미가공 이미지 데이터 및/또는 처리된 이미지 데이터를 상기 이미지 저장 유닛과 상기 이미지 계산 유닛으로 전송하도록 구성된, 고속 인터페이스 데이터 패킷 모듈; 및
   상기 메인 제어 유닛으로부터의 구성 명령에 따라 상기 DDR 물리적 메모리로부터 상기 미가공 이미지 데이터 및/또는 처리된 이미지 데이터를 판독하여 상기 고속 인터페이스 데이터 패킷 모듈로 전송하도록 구성된, 판독 DDR 데이터 포맷 변환 모듈을 구비하는, 자동 광학 검사 시스템.
   
9. 청구항 8에서,
   상기 이미지 획득 유닛은 오토포커스 노출 모듈과 카메라 구성 모듈을 더 구비하고;
   상기 고속 인터페이스 데이터 패킷 모듈은 상기 구성 파라미터들과 테스트 명령들을 상기 메인 제어 유닛에 수신하도록 더 구성되고;
   상기 프로토콜 파싱 모듈은 상기 카메라 데이터를 수신하고, 상기 카메라 데이터를 유효 이미지 데이터로 파싱하고, 상기 유효 이미지 데이터를 DDR 물리적 메모리 내에 저장하며, 카메라 파라미터를 카메라에 전송하도록 구성되고;
   상기 이미지 품질 평가 및 전처리 모듈은 상기 메인 제어 유닛으로부터의 제어 명령에 따라 상기 카메라 데이터의 이미지 품질을 평가하고, 평가 결과를 상기 메인 제어 유닛으로 전송하도록 구성되고;
   상기 메인 제어 유닛은 상기 구성 파라미터들, 테스트 명령들, 및 상기 평가 결과를 상기 오토포커스 노출 모듈로 전송하도록 더 구성되고;
   상기 오토포커스 노출 모듈은 상기 구성 파라미터들과 평가 결과에 따라 카메라 파라미터를 설정하고, 상기 구성 파라미터들과 평가 결과를 상기 카메라 구성 모듈로 전송하도록 구성되고;
   상기 카메라 구성 모듈은 카메라 구성 파라미터들과 테스트 명령들을 프로토콜 파싱 모듈로 전송하도록 구성된, 자동 광학 검사 시스템.
   
10. 청구항 8 또는 청구항 9에서,
    상기 프로토콜 파싱 모듈은, 카메라 링크 프로토콜 파싱 모듈, 기가비트 이더넷(GigE) 비전(Vision) 프로토콜 파싱 모듈, 및 카메라링크 고속(Camera Link High Speed, CLHS) 프로토콜 파싱 모듈을 구비하고;
    상기 카메라 인터페이스는 다수의 카메라 링크 인터페이스들, 다수의 GigE 인터페이스들 및 다수의 CLHS 인터페이스들을 포함하고;
    상기 다수의 카메라 링크 인터페이스들은, 상기 카메라 링크 프로토콜 파싱 모듈에 연결되고, 상기 다수의 GigE 인터페이스들은 상기 GigE Vision 프로토콜 파싱 모듈에 연결되고;
    상기 다수의 CLHS 인터페이스들은 상기 CLHS 프로토콜 파싱 모듈에 연결된, 자동 광학 검사 시스템.
    

Images