CN107817217A - 一种适用于lcm自动光学检测的图像加速处理*** - Google Patents

一种适用于lcm自动光学检测的图像加速处理*** Download PDF

Info

Publication number
CN107817217A
CN107817217A CN201711049464.1A CN201711049464A CN107817217A CN 107817217 A CN107817217 A CN 107817217A CN 201711049464 A CN201711049464 A CN 201711049464A CN 107817217 A CN107817217 A CN 107817217A
Authority
CN
China
Prior art keywords
module
data
optical fiber
control
fiber interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711049464.1A
Other languages
English (en)
Other versions
CN107817217B (zh
Inventor
欧昌东
汪舟
邓标华
唐文天
梅林海
董文忠
李波
徐墨潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jingce Electronic Group Co Ltd
Wuhan Jingce Electronic Technology Co Ltd
Original Assignee
Wuhan Jingce Electronic Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jingce Electronic Group Co Ltd filed Critical Wuhan Jingce Electronic Group Co Ltd
Priority to CN201711049464.1A priority Critical patent/CN107817217B/zh
Publication of CN107817217A publication Critical patent/CN107817217A/zh
Priority to KR1020207015265A priority patent/KR102243496B1/ko
Priority to JP2020524063A priority patent/JP6869433B2/ja
Priority to PCT/CN2018/102155 priority patent/WO2019085606A1/zh
Priority to TW107137601A priority patent/TWI697870B/zh
Priority to US16/861,263 priority patent/US11073484B2/en
Application granted granted Critical
Publication of CN107817217B publication Critical patent/CN107817217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0428—Safety, monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8896—Circuits specially adapted for system specific signal conditioning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N2021/9513—Liquid crystal panels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2656—Instrumentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)
  • Optical Communication System (AREA)

Abstract

本发明公开了一种适用于LCM自动光学检测的图像加速处理***。它包括FPGA处理平台和计算PC，所述FPGA处理平台具有第一光纤接口、第二光纤接口、第三光纤接口、第四光纤接口和第五光纤接口，所述FPGA处理平台通过第一光纤接口接收配置参数和测试命令、输出测试结果；FPGA处理平台通过第二光纤接口与计算PC进行数据交互；FPGA处理平台通过第三光纤接口接收图像数据、输出配置参数和测试命令；FPGA处理平台通过第四光纤接口控制点屏信号生成；FPGA处理平台通过第五光纤接口控制IO光源。本发明具有结构简单、成本低、稳定性好，协调能力好，计算处理能力强等优点。

Description

一种适用于LCM自动光学检测的图像加速处理***
技术领域
本发明属于自动光学检测技术领域，具体涉及一种适用于LCM自动光学检测的图像加速处理***。
背景技术
目前，TFT-LCD生产检测主要以人工为主，以保证不让NG品后流及避免筛选过严，才能避免材料浪费和成本损失，而这需要花费工人较多的眼力、精神和耐心。随着液晶面板分辨率和尺寸的提升，人眼已很难分辨出一些微弱不良，而这些微弱不良是不能流入到等级高的产品中。另外，在产量的要求下，产线工人需要快速不间断的重复检测多种画面或模组外观，很容易产生视觉疲劳，造成漏检或过检。同时，为节省人工成本，各面板厂商开始倾向采用AOI自动光学检测设备替代人工实现智能制造。
但是在厂商在面向大尺寸、高分辨率进阶时，AOI自动光学检测的要求和复杂度呈现了指数级的增长，具体表现：
1)采集用的工业相机急剧增加，仅以正视拍图及空间高度足够情况为例：1920*1080需要1只CCD、4K*2K最少需要3支CCD、8K*4K最少需要12支CCD；另外还需要添加若干侧视相机用于抓拍侧视可见缺陷，并且如果工作空间高度不够，还需要额外增加拍图CCD；
2)随着拍图相机数量增加，相应带来了图像计算数据量急剧增加，1只CCD拍一张图片的数据大小通常在30MB左右，一次面板检测大概需要拍摄15-20张图片不等；故每个面板所需处理的图片数据量高达数T之多；
3)对图像处理的实时性要求高，处理时间决定了产线的产能状况；
4)传统一台PC或者多台PC已无法应对这么大数据量的计算处理。
发明内容
本发明的目的就是为了解决上述背景技术存在的不足，提供一种构架简单、计算处理性能好、能实现点屏信号生成、光源控制、计算处理一体化的适用于LCM自动光学检测的图像加速处理***。
本发明采用的技术方案是：一种适用于LCM自动光学检测的图像加速处理***，包括FPGA处理平台和计算PC，所述FPGA处理平台具有第一光纤接口、第二光纤接口、第三光纤接口、第四光纤接口和第五光纤接口，所述FPGA处理平台通过第一光纤接口接收配置参数和测试命令、输出测试结果；FPGA处理平台通过第二光纤接口与计算PC进行数据交互；FPGA处理平台通过第三光纤接口接收图像数据、输出配置参数和测试命令；FPGA处理平台通过第四光纤接口控制点屏信号生成；FPGA处理平台通过第五光纤接口控制IO光源。
进一步地，所述FPGA处理平台包括控制单元和DDR内存，
计算PC，包括CPU和GPU，用于对接收的图像数据进行计算处理并将处理结果发送至控制单元；
控制单元，用于接收配置参数及测试命令，根据接收的测试命令分别实现点屏信号生成控制、IO光源控制，用于接收采集单元的图像数据，将接收的图像数据进行预处理后发送给计算PC，接收计算PC的处理结果进行汇总得出最终测试结果后上报；
所述DDR内存，用于存储图像数据及测试结果。
进一步地，所述控制单元包括
图像数据接收模块，用于接收采集单元的图像数据并发送至写DDR数据格式转换模块；
写DDR数据格式转换模块，用于对接收的图像数据进行格式转换后存储至DDR内存中；
流程控制模块，用于根据根据设定的指令分别向图像处理加速器和计算PC发送控制命令；
图像处理加速器，用于根据流程控制模块的命令对图像数据进行预处理后存储至DDR内存；
数据分发控制模块，用于根据流程控制模块的命令分发图像数据给数据分发传输模块；
数据分发传输模块，用于将接受的图像数据发送至计算PC，接收计算PC的处理结果发送至分析处理结果模块
分析处理结果模块，用于对接收的处理结果进行分析汇总后形成最终测试结果。
进一步地，所述控制单元还包括交互控制模块、IO控制模块和点屏信号生成模块，
所述交互控制模块用于接收测试命令及上报测试结果；
所述流程控制模块还用于将接收的测试命令分别分配至IO控制模块和信号扩展模块；
所述IO控制模块用于根据测试命令实现IO光源控制；
所述点屏信号生成模块用于测试命令实现点屏信号生成控制。
进一步地，所述图像数据接收模块包括
第一链路状态上报模块，用于定时向第一数据封包发送图像数据接收模块的物理链路状态；
第一数据封包，用于将物理链路状态及配置参数、测试命令封包发送至第一高速控制器IP；
第一高速控制器IP，用于接收采集单元的图像数据并向采集单元发送配置参数和测试命令；
第一链路状态检查模块，用于定时接收第一数据解包上报的物理链路状态；
第一数据解包，用于解析第一高速控制器IP发送的图像数据输出至写DDR数据格式转换模块。
进一步地，所述写DDR数据格式转换模块包括
接收图像数据模块，用于接收图像数据并发送至本地FIFO模块；
本地FIFO，用于存储图像数据；
读FIFO数据接口转换模块，用于根据控制逻辑从本地FIFO中读取图像数据进行格式转换后发送至DDR内存中；
写DDR地址控制逻辑模块，用于与给出控制逻辑。
进一步地，所述图像处理加速器包括
图像分块处理模块，根据控制命令进行图像分块；
读DDR控制模块，根据分块数量从DDR内存中读取多块图像数据，发送到图像处理模块
图像处理模块，对接收的图像数据进行预处理；
写DDR控制模块，将预处理后的图像数据存储至DDR内存。
进一步地，所述数据分发传输模块包括
第二链路状态上报模块，用于定时向第二数据封包发送述数据分发传输模块的物理链路状态；
第二数据封包，用于将接收的图像数据封包后发送至第二高速控制器IP；
第二高速控制器IP，用于将接收的数据发送至计算PC，接收计算PC的处理结果；
第二链路状态检查模块，用于定时接收第二数据解包上报的物理链路状态；
第二数据解包，用于解析第二高速控制器IP发送的处理结果及链路状态信息。
进一步地，所述交互控制模块包括
第三链路状态上报模块，用于定时向数据封包发送交互控制模块的物理链路状态；
第三数据封包，用于将接收到测试结果封包后发送至第三高速控制器IP；
第三高速控制器IP，用于接收测试结果进行上报，用于接收配置参数；
第三链路状态检查模块，用于定时接收第三数据解包上报的物理链路状态；
第三数据解包，用于解析第三高速控制器IP发送的配置参数及链路状态信息。
进一步地，所述控制单元还包括级联控制模块，所述级联控制模块用于在流程控制模块的控制下实现FPGA处理平台的级联扩展。
本发明的有益效果是：FPGA处理平台具有多个光纤接口，与各设备之间通过光纤进行数据通信和交互，数据传输速度快；能够实现点屏信号生成与信号扩展、光源、数据处理一体化控制功能，节拍时间短；FPGA处理平台支持级联控制，级联后可以支持连接更多计算PC；计算PC采用CPU+GPU，与FPGA一起形成CPU+GPU+FPGA架构，充分扩展CPU+GPU单元，增强GPU的处理能力；以FPGA为中心控制器，将需要处理数据分发到不同的GPU处理单元中，分布式处理架构；同时FPGA本身实现图像加速处理器，充分利用FPGA的并行处理能力，将图像处理分割与FPGA+各GPU之间进行协调处理，有效提高了图像处理计算能力。整个***架构具有结构简单、成本低、稳定性好，协调能力好，计算处理能力强等优点。
附图说明
图1为本发明的原理框图。
图2为本发明FPGA处理平台的原理框图。
图3为本发明数据处理流程图。
图4为本发明图像数据接收模块的原理框图。
图5为本发明写DDR数据格式转换模块的原理框图。
图6为本发明图像处理加速器的原理框图。
图7为本发明数据分发传输模块的原理框图。
图8为本发明交互控制模块的原理框图。
图中：1-FPGA处理平台1；2-计算PC；3-控制单元；4-图像数据接收模块；4.1-第一链路状态上报模块；4.2-第一数据封包；4.3-第一高速控制器IP；4.4-第一链路状态检查模块；4.5-第一数据解包；5-写DDR数据格式转换模块；5.1-接收图像数据模块；5.2-本地FIFO；5.3-读FIFO数据接口转换模块；5.4-写DDE地址控制逻辑模块；6-AXI总线互联；7-DDR控制器；8-DDR内存；9-流程控制模块；10-图像处理加速器；10.1-图像分块处理模块；10.2-读DDR控制模块；10.3-FFT图像处理模块；10.4-写DDR控制模块；11-数据分发控制模块；12-数据分发传输模块；12.1-第二链路状态上报模块；12.2-第二数据封包；12.3-第二高速控制器IP；12.4-第二链路状态检查模块；12.5-第二数据解包；13-分析处理结果模块；14-交互控制模块；14.1-第三链路状态上报模块；14.2-第三数据封包；14.3-第三高速控制器IP；14.4-第三链路状态检查模块；14.5-第三数据解包；15-IO控制模块；16-点屏信号生成模块；17-级联控制模块；18-控制PC；19-IO控制；20-信号扩展单元；21-图像采集单元。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明，便于清楚地了解本发明，但它们不对本发明构成限定。
如图1所示，本发明包括FPGA处理平台1和多台计算PC 2，所述FPGA处理平台1具有第一光纤接口、第二光纤接口、第三光纤接口、第四光纤接口和第五光纤接口，所述FPGA处理平台1通过第一光纤接口接收配置参数和测试命令、输出测试结果；FPGA处理平台1通过第二光纤接口与计算PC 2进行数据交互；FPGA处理平台通过第三光纤接口接收图像数据、输出配置参数和测试命令；FPGA处理平台通过第四光纤接口控制点屏信号生成；FPGA处理平台通过第五光纤接口控制IO光源。
FPGA处理平台1包括控制单元3和DDR内存8，
计算PC 2，包括CPU和GPU，用于对接收的图像数据进行计算处理并将处理结果发送至控制单元；
控制单元3，用于接收配置参数及测试命令，根据接收的测试命令分别实现点屏信号生成控制、IO光源控制，用于接收采集单元的图像数据，将接收的图像数据进行预处理后发送给计算PC，接收计算PC的处理结果进行汇总得出最终测试结果后上报。
DDR内存8，用于存储图像数据及测试结果。
本实施例中，FPGA处理平台包括12个QSFP+扩展接口，一台FPGA处理平台可以连接6台计算PC，FPGA处理平台与计算处理PC之间使用40G光纤方式进行数据通信和交互；FPGA处理平台可以连接两路或更多路图像采集单元，每路图像采集单元可以支持8路CameraLink相机及8路Gige接口相机；FPGA处理平台与图像采集单元21之间使用40G光纤方式进行数据通信和交互；FPGA处理平台与1路控制PC 18通过40G光纤方式进行数据通信和交互；FPGA处理平台支持连接1路IO控制19，IO控制用于光源控制；FPGA处理平台支持连接1路信号扩展单元20，可以控制点屏信号生成；FPGA处理平台支持级联控制，级联后可以支持连接更多计算PC；控制单元采用Xilinx SOC FPGA作为主控单元，数据交互控制、图像加速处理实现与控制、级联流程控制、与图像采集单元数据交互控制、IO光源交互控制等；FPGA处理平台支持256bit*1600DDR内存，用于数据存储，增加数据处理带宽。
本发明使用CPU+GPU+FPGA架构，充分扩展CPU+GPU单元，增强GPU的处理能力；以FPGA为中心控制器，将需要处理数据分发到不同的GPU处理单元中，分布式处理架构；同时FPGA本身实现图像加速处理器，充分利用FPGA的并行处理能力，将图像处理分割与FPGA+各GPU之间进行协调处理。以FPGA为交换中心解决数据交换之间的瓶颈，FPGA处理处理平台支持12路QSFP+光纤接口，每路均支持40Gbps带宽传输；由于FPGA具备并行分发能力，每路数据在分发时路径间延时可以忽略；以此解决数据交换之间的带宽。
如图2所示，控制单元3包括
图像数据接收模块4，用于接收采集单元的图像数据并发送至写DDR数据格式转换模块；
写DDR数据格式转换模块5，用于对接收的图像数据进行格式转换后存储至DDR内存中；
AXI总线互联6，用于控制向DDR内存读写图像数据；
DDR控制器7，用于控制读写图像数据；
流程控制模块9，用于根据根据设定的指令分别向图像处理加速器和计算PC发送控制命令；用于将接收的测试命令分别分配至IO控制模块和信号扩展模块；
图像处理加速器10，用于根据流程控制模块的命令对图像数据进行预处理后存储至DDR内存；
数据分发控制模块11，用于根据流程控制模块的命令分发图像数据给数据分发传输模块；
数据分发传输模块12，用于将接受的图像数据发送至计算PC，接收计算PC的处理结果发送至分析处理结果模块
分析处理结果模块13，用于对接收的处理结果进行分析汇总后形成最终测试结果。
交互控制模块14用于接收测试命令及上报测试结果；
IO控制模块15用于根据测试命令实现IO光源控制；
点屏信号生成模块16用于测试命令实现点屏信号生成控制。
如图3所示，本发明的数据处理流程如下：
1)初始化。
2)准备接收图像数据。
3)将接收的图像数据保存到本地DDR中。
4)准备图像处理，根据配置参数，将图像分发到各计算服务器PC及FPGA图像加速器进行图像处理。
5)准备接收各计算服务器PC的处理结果。
6)汇总各计算服务器PC的处理结果，分析并上报检测结果。
7)结束流程。
上报结果通过光纤方式发送到控制PC，控制PC通过以太网方式发送到客户MCMQ***。
上述方案中，如图4所示，图像数据接收模块4包括
第一链路状态上报模块4.1，用于定时向第一数据封包发送图像数据接收模块的物理链路状态；在本设计中，定时时间为65.536us。
第一数据封包4.2，用于将物理链路状态及配置参数、测试命令封包发送至第一高速控制器IP。
第一高速控制器IP 4.3，用于接收采集单元的图像数据并向采集单元发送配置参数和测试命令；本设计使用xilinx的GTH Transceiver IP，高速Transceiver之间数据通信采用Aurora 64B/66B协议。
第一链路状态检查模块4.4，用于定时接收第一数据解包上报的物理链路状态；在本设计中，定时时间为65.536us；如果连续3次未检测到对端上报状态，则认为链路失锁。
第一数据解包4.5，用于解析第一高速控制器IP发送的图像数据输出至写DDR数据格式转换模块。
上述方案中，如图5所示，写DDR数据格式转换模块5包括
接收图像数据模块5.1，用于接收图像数据并发送至本地FIFO；
本地FIFO 5.2，用于存储图像数据；
读FIFO数据接口转换模块5.3，用于根据控制逻辑从本地FIFO中读取图像数据进行格式转换后发送至DDR内存中；
写DDE地址控制逻辑模块5.4，用于与给出控制逻辑。
上述方案中，如图6所示，图像处理加速器10利用FPGA的并行处理能力，同时例化多个图像处理IP，将图像进行分块处理，以FPGA加速一维快速傅里叶变换(FFT)为例进行说明：
1)图像分块处理模块10.1根据控制命令将图像按照水平方向平均分为4块；
2)读DDR控制模块10.2根据分块数量从DDR内存中读取4块图像数据，发送到FFT图像处理模块
3)FFT图像处理模块10.3对接收的4块图像数据进行预处理；
4)写DDR控制模块10.4将预处理后的图像数据存储至DDR内存。
在本设计中，4路FFT加速器处理一张4k*4k的图像，需要时间10ms左右；同等图像在CPU处理需要时间在400ms左右；GPU处理时间在10ms左右；FPGA加速器与GPU耗时相当，在FPGA资源充分情况下，可以增加并行数，进一步加速处理时间。
上述方案中，如图7所示，数据分发传输模块12包括
第二链路状态上报模块12.1，用于定时向第二数据封包发送述数据分发传输模块的物理链路状态；在本设计中，定时时间为65.536us。
第二数据封包12.2，用于将接收的图像数据封包后发送至第二高速控制器IP。
第二高速控制器IP 12.3，用于将接收的数据发送至计算PC，接收计算PC的处理结果；本设计使用xilinx的GTH Transceiver IP，高速Transceiver之间数据通信采用Aurora64B/66B协议。
第二链路状态检查模块12.4，用于定时接收第二数据解包上报的物理链路状态；在本设计中，定时时间为65.536us；如果连续3次未检测到对端上报状态，则认为链路失锁。
第二数据解包12.5，用于解析第二高速控制器IP发送的处理结果及链路状态信息。
上述方案中，如图8所示，交互控制模块14包括
第三链路状态上报模块14.1，用于定时向数据封包发送交互控制模块的物理链路状态；在本设计中，定时时间为65.536us。
第三数据封包14.2，用于将接收到测试结果封包后发送至第三高速控制器IP。
第三高速控制器IP 14.3，用于接收测试结果进行上报至控制PC，用于接收控制PC下发的配置参数，本设计使用xilinx的GTH Transceiver IP，高速Transceiver之间数据通信采用Aurora 64B/66B协议。
第三链路状态检查模块14.4，用于定时接收第三数据解包上报的物理链路状态；在本设计中，定时时间为65.536us；如果连续3次未检测到对端上报状态，则认为链路失锁。
第三数据解包14.5，用于解析第三高速控制器IP发送的配置参数及链路状态信息。
上述方案中，控制单元3还包括级联控制模块17，所述级联控制模块用于在流程控制模块的控制下实现FPGA处理平台的级联扩展。级联控制模块与上述分发传输模块结构相同；即将需要处理的图像数据发送到下一级联平台，然后在通过级联平台分发到计算服务器PC进行处理计算；并且接收处理之后结果。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种适用于LCM自动光学检测的图像加速处理***，其特征在于：包括FPGA处理平台和计算PC，所述FPGA处理平台具有第一光纤接口、第二光纤接口、第三光纤接口、第四光纤接口和第五光纤接口，所述FPGA处理平台通过第一光纤接口接收配置参数和测试命令、输出测试结果；FPGA处理平台通过第二光纤接口与计算PC进行数据交互；FPGA处理平台通过第三光纤接口接收图像数据、输出配置参数和测试命令；FPGA处理平台通过第四光纤接口控制点屏信号生成；FPGA处理平台通过第五光纤接口控制IO光源。
2.根据权利要求1所述的适用于LCM自动光学检测的图像加速处理***，其特征在于：所述FPGA处理平台包括控制单元和DDR内存，
计算PC，用于对接收的图像数据进行计算处理并将处理结果发送至控制单元；
控制单元，用于接收配置参数及测试命令，根据接收的测试命令分别实现点屏信号生成控制、IO光源控制，用于接收采集单元的图像数据，将接收的图像数据进行预处理后发送给计算PC，接收计算PC的处理结果进行汇总得出最终测试结果后上报；
所述DDR内存，用于存储图像数据及测试结果。
3.根据权利要求2所述的适用于LCM自动光学检测的图像加速处理***，其特征在于：所述控制单元包括
图像数据接收模块，用于接收采集单元的图像数据并发送至写DDR数据格式转换模块；
写DDR数据格式转换模块，用于对接收的图像数据进行格式转换后存储至DDR内存中；
流程控制模块，用于根据根据设定的指令分别向图像处理加速器和计算PC发送控制命令；
图像处理加速器，用于根据流程控制模块的命令对图像数据进行预处理后存储至DDR内存；
数据分发控制模块，用于根据流程控制模块的命令分发图像数据给数据分发传输模块；
数据分发传输模块，用于将接受的图像数据发送至计算PC，接收计算PC的处理结果发送至分析处理结果模块
分析处理结果模块，用于对接收的处理结果进行分析汇总后形成最终测试结果。
4.根据权利要求3所述的适用于LCM自动光学检测的图像加速处理***，其特征在于：所述控制单元还包括交互控制模块、IO控制模块和点屏信号生成模块，
所述交互控制模块用于接收测试命令及上报测试结果；
所述流程控制模块还用于将接收的测试命令分别分配至IO控制模块和信号扩展模块；
所述IO控制模块用于根据测试命令实现IO光源控制；
所述点屏信号生成模块用于测试命令实现点屏信号生成控制。
5.根据权利要求3所述的适用于LCM自动光学检测的图像加速处理***，其特征在于：所述图像数据接收模块包括
第一链路状态上报模块，用于定时向第一数据封包发送图像数据接收模块的物理链路状态；
第一数据封包，用于将物理链路状态及配置参数、测试命令封包发送至第一高速控制器IP；
第一高速控制器IP，用于接收采集单元的图像数据并向采集单元发送配置参数和测试命令；
第一链路状态检查模块，用于定时接收第一数据解包上报的物理链路状态；
第一数据解包，用于解析第一高速控制器IP发送的图像数据输出至写DDR数据格式转换模块。
6.根据权利要求3所述的适用于LCM自动光学检测的图像加速处理***，其特征在于：所述写DDR数据格式转换模块包括
接收图像数据模块，用于接收图像数据并发送至本地FIFO模块；
本地FIFO，用于存储图像数据；
读FIFO数据接口转换模块，用于根据控制逻辑从本地FIFO中读取图像数据进行格式转换后发送至DDR内存中；
写DDE地址控制逻辑模块，用于与给出控制逻辑。
7.根据权利要求3所述的适用于LCM自动光学检测的图像加速处理***，其特征在于：所述图像处理加速器包括
图像分块处理模块，根据控制命令进行图像分块；
读DDR控制模块，根据分块数量从DDR内存中读取多块图像数据，发送到图像处理模块
图像处理模块，对接收的图像数据进行预处理；
写DDR控制模块，将预处理后的图像数据存储至DDR内存。
8.根据权利要求3所述的适用于LCM自动光学检测的图像加速处理***，其特征在于：所述数据分发传输模块包括
第二链路状态上报模块，用于定时向第二数据封包发送述数据分发传输模块的物理链路状态；
第二数据封包，用于将接收的图像数据封包后发送至第二高速控制器IP；
第二高速控制器IP，用于将接收的数据发送至计算PC，接收计算PC的处理结果；
第二链路状态检查模块，用于定时接收第二数据解包上报的物理链路状态；
第二数据解包，用于解析第二高速控制器IP发送的处理结果及链路状态信息。
9.根据权利要求4所述的适用于LCM自动光学检测的图像加速处理***，其特征在于：所述交互控制模块包括
第三链路状态上报模块，用于定时向数据封包发送交互控制模块的物理链路状态；
第三数据封包，用于将接收到测试结果封包后发送至第三高速控制器IP；
第三高速控制器IP，用于接收测试结果进行上报，用于接收配置参数；
第三链路状态检查模块，用于定时接收第三数据解包上报的物理链路状态；
第三数据解包，用于解析第三高速控制器IP发送的配置参数及链路状态信息。
10.根据权利要求2所述的适用于LCM自动光学检测的图像加速处理***，其特征在于：所述控制单元还包括级联控制模块，所述级联控制模块用于在流程控制模块的控制下实现FPGA处理平台的级联扩展。
CN201711049464.1A 2017-10-31 2017-10-31 一种适用于lcm自动光学检测的图像加速处理*** Active CN107817217B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201711049464.1A CN107817217B (zh) 2017-10-31 2017-10-31 一种适用于lcm自动光学检测的图像加速处理***
KR1020207015265A KR102243496B1 (ko) 2017-10-31 2018-08-24 액정표시장치모듈 자동 광학 검사에 적합한 가속 이미지 프로세싱 시스템
JP2020524063A JP6869433B2 (ja) 2017-10-31 2018-08-24 Ｌｃｍの自動光学検査に適した高速画像処理システム
PCT/CN2018/102155 WO2019085606A1 (zh) 2017-10-31 2018-08-24 一种适用于lcm自动光学检测的图像加速处理***
TW107137601A TWI697870B (zh) 2017-10-31 2018-10-24 適用於lcm自動光學檢測的影像加速處理系統
US16/861,263 US11073484B2 (en) 2017-10-31 2020-04-29 Image acceleration processing device for automatic optical inspection of LCD module

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711049464.1A CN107817217B (zh) 2017-10-31 2017-10-31 一种适用于lcm自动光学检测的图像加速处理***

Publications (2)

Publication Number Publication Date
CN107817217A true CN107817217A (zh) 2018-03-20
CN107817217B CN107817217B (zh) 2020-06-02

Family

ID=61603135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711049464.1A Active CN107817217B (zh) 2017-10-31 2017-10-31 一种适用于lcm自动光学检测的图像加速处理***

Country Status (6)

Country Link
US (1) US11073484B2 (zh)
JP (1) JP6869433B2 (zh)
KR (1) KR102243496B1 (zh)
CN (1) CN107817217B (zh)
TW (1) TWI697870B (zh)
WO (1) WO2019085606A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108646445A (zh) * 2018-05-03 2018-10-12 武汉精测电子集团股份有限公司 一种自适应背光的缺陷检测装置
CN109525826A (zh) * 2018-11-30 2019-03-26 武汉精立电子技术有限公司 一种基于光纤的长距离分布式图形信号发生器
WO2019085606A1 (zh) * 2017-10-31 2019-05-09 武汉精测电子集团股份有限公司 一种适用于lcm自动光学检测的图像加速处理***
CN110189244A (zh) * 2019-06-06 2019-08-30 卡瓦科尔牙科医疗器械（苏州）有限公司 用于ct影像设备的加速图像处理***
CN110750069A (zh) * 2019-12-24 2020-02-04 武汉精立电子技术有限公司 一种aoi***的多设备控制装置
CN115509974A (zh) * 2022-08-03 2022-12-23 中勍科技股份有限公司 一种基于fpga光纤数据收发处理的方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188169B (zh) * 2020-09-30 2022-06-21 无锡雪浪数制科技有限公司 一种5g工业图像采集传输***
WO2024103820A1 (zh) * 2022-11-16 2024-05-23 海信视像科技股份有限公司 Led显示装置及其控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441334A (zh) * 2007-11-19 2009-05-27 比亚迪股份有限公司 一种液晶模块的测试方法及***
CN104393922A (zh) * 2014-11-20 2015-03-04 南京恩瑞特实业有限公司 场面监视空管雷达高数据率传输***
CN104698612A (zh) * 2013-12-09 2015-06-10 大连鑫永工业制造有限公司 一种lcm检测方法
CN105607312A (zh) * 2016-01-22 2016-05-25 武汉精测电子技术股份有限公司 用于lcd液晶模组缺陷检测的光学自动检测装置及方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106895B1 (en) * 1999-05-05 2006-09-12 Kla-Tencor Method and apparatus for inspecting reticles implementing parallel processing
GB2411540B (en) * 2004-02-25 2006-03-29 3Com Corp Cascade control system for network units
US7342838B1 (en) * 2005-06-24 2008-03-11 Lattice Semiconductor Corporation Programmable logic device with a double data rate SDRAM interface
JP5288154B2 (ja) * 2007-08-15 2013-09-11 横河電機株式会社 画質検査装置
TWI482140B (zh) * 2011-04-29 2015-04-21 Geo Semiconductor Inc 用於改善背光ｌｃｄ顯示器的色彩和亮度均勻性的系統和方法
US10557889B2 (en) * 2012-05-07 2020-02-11 Flextronics Ap, Llc Universal device multi-function test apparatus
US20130328948A1 (en) * 2012-06-06 2013-12-12 Dolby Laboratories Licensing Corporation Combined Emissive and Reflective Dual Modulation Display System
US9411013B2 (en) * 2014-02-14 2016-08-09 Google, Inc. Instrument for automated testing of displays
CN107078615B (zh) * 2014-07-18 2019-07-26 Eip技术股份有限公司 直接风能发电
CN104239271A (zh) * 2014-09-16 2014-12-24 中国科学院光电技术研究所 一种采用fpga和dsp实现的仿真图像播放器
US9608758B1 (en) * 2015-11-30 2017-03-28 Google Inc. Low cost gain clamped EDFA for TWDM passive optical network application
US9805458B2 (en) * 2016-03-23 2017-10-31 Communications Test Design, Inc. Method and system for detecting defective pixels and screen imperfections of a mobile device
CN106412474B (zh) * 2016-10-09 2019-04-23 上海极清慧视科技有限公司 一种高速无损超高清工业视觉检测方法及***
CN107817217B (zh) * 2017-10-31 2020-06-02 武汉精测电子集团股份有限公司 一种适用于lcm自动光学检测的图像加速处理***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441334A (zh) * 2007-11-19 2009-05-27 比亚迪股份有限公司 一种液晶模块的测试方法及***
CN104698612A (zh) * 2013-12-09 2015-06-10 大连鑫永工业制造有限公司 一种lcm检测方法
CN104393922A (zh) * 2014-11-20 2015-03-04 南京恩瑞特实业有限公司 场面监视空管雷达高数据率传输***
CN105607312A (zh) * 2016-01-22 2016-05-25 武汉精测电子技术股份有限公司 用于lcd液晶模组缺陷检测的光学自动检测装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柴震海: "《图像并行处理技术》", 《红外》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019085606A1 (zh) * 2017-10-31 2019-05-09 武汉精测电子集团股份有限公司 一种适用于lcm自动光学检测的图像加速处理***
US11073484B2 (en) 2017-10-31 2021-07-27 Wuhan Jingce Electronic Group Co., Ltd. Image acceleration processing device for automatic optical inspection of LCD module
CN108646445A (zh) * 2018-05-03 2018-10-12 武汉精测电子集团股份有限公司 一种自适应背光的缺陷检测装置
CN108646445B (zh) * 2018-05-03 2021-03-16 武汉精测电子集团股份有限公司 一种自适应背光的缺陷检测装置
CN109525826A (zh) * 2018-11-30 2019-03-26 武汉精立电子技术有限公司 一种基于光纤的长距离分布式图形信号发生器
CN110189244A (zh) * 2019-06-06 2019-08-30 卡瓦科尔牙科医疗器械（苏州）有限公司 用于ct影像设备的加速图像处理***
CN110750069A (zh) * 2019-12-24 2020-02-04 武汉精立电子技术有限公司 一种aoi***的多设备控制装置
CN110750069B (zh) * 2019-12-24 2020-05-22 武汉精立电子技术有限公司 一种aoi***的多设备控制装置
CN115509974A (zh) * 2022-08-03 2022-12-23 中勍科技股份有限公司 一种基于fpga光纤数据收发处理的方法

Also Published As

Publication number Publication date
TWI697870B (zh) 2020-07-01
CN107817217B (zh) 2020-06-02
TW201931306A (zh) 2019-08-01
KR102243496B1 (ko) 2021-04-21
US20200300780A1 (en) 2020-09-24
JP6869433B2 (ja) 2021-05-12
JP2021501323A (ja) 2021-01-14
US11073484B2 (en) 2021-07-27
WO2019085606A1 (zh) 2019-05-09
KR20200080283A (ko) 2020-07-06

Similar Documents

Publication Publication Date Title
CN107817217A (zh) 一种适用于lcm自动光学检测的图像加速处理***
TWI713907B (zh) 基於cpu、gpu及fpga架構的自動光學檢測系統
CN102541501A (zh) 多屏并行海量信息展示***
CN105446686A (zh) 一种多屏拼接***、多屏拼接显示方法及装置
CN210781101U (zh) 数据采集装置及数据采集***
CN112584092A (zh) 数据采集装置及数据采集***
CN202422104U (zh) 多屏并行海量信息展示***
CN110181928A (zh) 一种丝网印刷版的制版装置及制版方法
CN203645775U (zh) 数字视频交换***
CN105023262A (zh) 视觉检测控制器
CN106656333A (zh) 一种基于光纤的嵌入式实时图像交换处理***
CN203377910U (zh) 一种海量高速遥感数据实时基带处理***
CN203164738U (zh) 基于云计算的机器视觉控制***
CN203164734U (zh) 一种数据采集监控***
CN201398223Y (zh) 一种高速数据模拟源处理设备
CN100397885C (zh) 影像数据处理装置
CN116543619B (zh) 无人机光电吊舱模拟训练***
CN117170996B (zh) 一种动态可重构星上处理***评估平台及方法
CN109743608A (zh) 易扩充性红外视频图像处理算法实现准确性的验证***
CN108279553A (zh) 一种光刻机照明控制测试***及方法
CN102857702B (zh) 一种视频制作方法和***
Hussain et al. An architecture for two-dimensional discrete wavelet transformation of real-time video processing to optimise memory usage and reduce frame delay
CN113362305A (zh) 基于人工智能的烟箱缺条混牌检测***及方法
CN203675231U (zh) 图像采集无线传输***
CN104811661B (zh) 图像控制装置、数字场景产生器及图像控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant