CN105049781A - 基于fpga的图像处理*** - Google Patents

Abstract

本发明涉及一种基于FPGA的图像处理***，属于图像处理领域，该***包括视频解码模块、设置在FPGA上的图像处理模块和视频编码模块组成，视频解码模块包括LVDS接收单元、CCIR-D接收单元和SD-SDI接收单元，视频编码模块中包括DVI编码模块和CCIR-D编码模块。本***中SD-SDI接收采用了均衡器GS2994、时钟恢复器GS2965来加强信号抗干扰能力，采用SDRAM，PAL时序与VGA时序转换；SDRAM的芯片时钟在100MHZ就可以满足设计，功耗小，与FPGA之间不需要占用专用管脚，解决了现有技术中基于FPGA的图像处理时调试复杂的问题。

Description

基于FPGA的图像处理***

技术领域

本发明属于图像处理领域，涉及到基于FPGA的图像处理方向，特别涉及到一种基于FPGA的图像处理***。

背景技术

数字图像处理技术在日常生活、生产建设、国防安全等方面有着广泛的应用。传统的图像处理技术在处理大量数据时很难同时满足处理效果和实时性要求，芯片技术的快速发展，使得通过硬件实现数字图像的实时处理成为可能，其中FPGA(现场可编程门阵列)由于其并行计算的特点成为了实时图像处理的理想选择。在设计基于FPGA的图像处理***的时候，设计人员往往需要进行费时费力的调试。

发明内容

为了克服现有技术中基于FPGA的图像处理时调试复杂的问题，本发明提供一种基于FPGA的图像处理***，本***采用QUADSPI配置器件，电路启动时间比SPI配置方式快4倍。

本发明的技术方案是：一种基于FPGA的图像处理***，该***包括视频解码模块、设置在FPGA上的图像处理模块和视频编码模块组成，视频解码模块将视频信号进行解码处理后传输给设有图像处理模块的FPGA进行预处理，处理后的图像传输给视频编码模块。

所述视频解码模块包括LVDS接收单元、CCIR-D接收单元和SD-SDI接收单元，均进行视频信号接收。所述CCIR-D接收单元中采用AD812模块实现CCIR-D接收单元的输入转换单边信号PAL-D，其中PAL-D视频信号采用CCIR-D接收单元中设有的ADV7180模块实现解码功能。所述SD-SDI接收单元包括芯片均衡器GS2994模块、时钟恢复器GS2965模块和GS1670模块，视频信号经解码后送入图像处理模块处理，SD-SDI按照高速信号75阻抗布线，GS2994与GS2965、GS2965与GS1670之间采用100欧姆差分布线。

所述图像处理模块还连接有进行模拟量和离散量的信号采集的模拟量模块和离散量模块。所述设有图像处理模块的FPGA内存设置中连接有完成DDR2读写的DDR2模块和SDRAM读写设计的SDRAM模块。在图像处理模块中设有选择接收视频数据的SEL模块、接收视频缓冲数据的SDRAM_CTRL模块、SDRAM_WR_FIFO模块、SDRAM_CTRL模块、SDRAM_RD_FIFO模块和VIDEO_TIME_GEN模块配合完成SDRAM读写功能，编码后的视频信号经过SEL模块处理后，传送到SDRAM_WR_FIFO模块,由SDRAM_CTRL模块写入到SDRAM中；LVDS单元的采集的信息发送到VIDEO_TIME_GEN模块，根据VIDEO_TIME_GEN产生图像时序，经过SDRAM_RD_FIFO模块，由SDRAM_CTRL模块读出SDRAM中图像数据。设有图像处理模块的FPGA中采用MIG_CTRL模块来产生DDR2读写模块，FPGA中设有VIDEO_WR_DDR2模块、VIEDO_TIME_GEN2模块、PAL-D_RD_CTRL模块、VIEDO_TIME_GEN模块、DVI_RD_CTRL模块和COE_RD_WR模块；视频解码模块中LVDS单元的采集的信息经过叠加后经过VIDEO_WR_DDR2模块，由MIG_CTRL模块中的P1接口写入到DDR2模块中；根据VIEDO_TIME_GEN2模块，由PAL-D_RD_CTRL模块、MIG_CTRL模块的P3接口读取DDR2模块中数据发送到视频编码模块中；根据VIEDO_TIME_GEN模块，由DVI_RD_CTRL模块、MIG_CTRL模块的P2接口读取DDR2模块中的数据发送到视频编码模块；COE_RD_WR模块将外部设备中的FLASH模块中的COE参数读出，由MIG_CTRL模块的P4接口写入DDR2模块中。

所述视频编码模块中包括DVI编码模块和CCIR-D编码模块，输出端标识为DVI-OUT和CCIR-D-OUT输出端。所述DVI编码模块采用TFP410模块，CCIR-D编码模块采用ADV7179模块和EL5371模块。

本发明有如下积极效果：SD-SDI在传输过程中受连接器等影响，信号损失严重，本***中SD-SDI接收采用了均衡器GS2994、时钟恢复器GS2965来加强信号抗干扰能力。本设计中采用SDRAM，PAL时序与VGA时序转换；SDRAM的芯片时钟在100MHZ就可以满足设计，功耗小，与FPGA之间不需要占用专用管脚。采用DDR2可以实现各种复杂的图像处理，如双线性插值等。整体***功耗小于10W。本***由于采用QUADSPI配置器件，电路启动时间比SPI配置方式快了4倍。

附图说明

图1是本发明中基于FPGA的图像处理***的工作原理图；

图2是本发明中基于FPGA的图像处理***的FPGA实现框图；

图3是本发明中基于FPGA的图像处理***的GSPI写时序图；

图4是本发明中基于FPGA的图像处理***的GSPI读时序图。

图5是本发明FPGA与GS1670A和GS1670B具体连接图结构图。

具体实施方式

下面对照附图，通过对实施例的描述，本发明的具体实施方式如所涉及的各构件的形状、构造、各部分之间的相互位置及连接关系、各部分的作用及工作原理、制造工艺及操作使用方法等，作进一步详细的说明，以帮助本领域技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。

一种基于FPGA的图像处理***，本***主要由视频解码源、图像处理模块和视频编码模块组成，图像处理模块是内嵌在FPGA上以FPGA为核心建立的，主要由FPGA进行图像处理。视频解码源由仪器模拟产生，解码模块采集到视频信号进行解码后，传输给图像处理模块进行FPGA预处理，处理后的图像传输给视频编码模块进行DVI编码和PAL编码等编码处理。图像处理模块充分利用FPGA并行计算的特点，结合流水线结构，提高了算法的处理速度，DVI编码和PAL编码克服了因相位失真而起的色彩变化、图像彩色误差较小。

如图1所示，视频解码模块包括LVDS接收单元，CCIR接收单元和SD-SDI接收单元。LVDS接收单元采用无铅芯片DS90CF364模块增强绿色环保意识，视频800*60060Hz8bit，达到视频分辨率800*600、刷新率60Hz、数据位宽8bit的效果，LVDS接收单元可以大幅节省***的电缆和连接器成本，并且可以减少连接器占面积所需的物理空间。CCIR接收单元中采用AD812模块实现CCIR_D_IN转换单边信号PAL-D的功能，其中PAL-D视频信号采用ADV7180模块实现解码功能，视频信号达到720*57625HZ8bit。SD-SDI接收单元中每路视频信号为8位单色灰度等级数据，帧频为25Hz，能够进行视频信号采集。SD-SDI接收单元由GS2994模块、GS2965模块、GS1670模块等组成，经解码器芯片解码后送入图像处理模块由FPGA处理。因为SD-SDI接收单元在传输过程中受连接器等影响，信号损失严重，故本***中SD-SDI接收单元采用了均衡器GS2994模块、时钟恢复器GS2965模块来加强信号抗干扰能力。在进行PCB板设计时SD-SDI接收单元按照高速信号75阻抗布线，GS2994模块与GS2965模块、GS2965模块与GS1670模块之间信号采用100欧姆差分布线，使用阻抗差分布线保证了信号传输的质量，抑制了干扰。

设有图像处理模块的FPGA设有OSD模块能够实现视频叠加(OSD)功能；还设有模拟量模块和离散量模块进行2路模拟量采集和2路离散量采集的信号采集模块；由于采用了RS-422接口，抗干扰能力强，传输距离远，可以进行422输出；内存设置采用连接有DDR2模块(DoubleDataRate2)和SDRAM模块(SynchronousDynamicRandomAccessMemory，同步动态随机存储器)，DDR2模块采用EDE1116AEBG芯片，DDR2拥有4bit数据读预取能力，DDR2内存每个时钟能够以4倍外部总线的速度读/写数据，并且能够以内部控制总线4倍的速度运行，缩短了***运行时间。同时采用DDR2可以实现各种复杂的图像处理，如双线性插值等，DDR2模块主要用于存放参数、OSD模块处理后的视频流、图像处理后的视频存储，DDR2采用EDE1116AEBG芯片，容量1Gbits，最高数据速率800Mbps，满足***要求。SDRAM模块采用K4S281632D芯片，SDRAM模块主要用于PAL-D解码后的视频数据储存，每帧的数据3.164Mbit(720*576*8bit),在视频的格式转换过程中，需要4帧的缓存空间，在选择芯片时候，需要考虑芯片容量按照50％降额。SDRAM模块采用K4S281632D芯片,容量128Mbit，最高时钟133MHZ，满足***要求。SDRAM的采用，能够实现PAL时序与VGA时序转换；而且SDRAM的芯片时钟在100MHZ就可以满足设计，功耗小，与FPGA之间不需要占用专用管脚。本***由于采用QUADSPI配置器件，电路启动时间比SPI配置方式快了4倍。

视频编码模块中的输出端包括DVI编码模块的DVI-OUT和CCIR-D编码模块的CCIR-D-OUT输出端，利用了DVI和CCIR-D编码功能，视频编码采用的是TFP410模块和ADV7179模块，芯片ADV7179性能高，尺寸小，具有标准I2C总线接口，方便主机配置。

如图2所示，是本***图像处理模块中的FPGA的实现框图。视频解码源中的CCIR-D接收单元的输入端CCIR-D-IN1和CCIR-D-IN2连接FPGA中的IIC_CONFIG模块，SD-SDI接收单元中的输入端SD-SDI-IN1和SD-SDI-IN2连接GSPI_CONFIG模块，CCIR-D接收单元和SD-SDI接收单元通过FPGA内部的SEL模块连接保存信息在SDRAM内，FPGA中通过SDRAM_CTRL模块进行SDRAM读写。SEL模块可以选择CCIR_D_IN1、CCIR_D_IN2、SD-SDI_IN1、SD-SDI_IN2中一路视频数据送入连接SEL模块的SDRAM_WR_FIFO模块。

在IIC_CONFIG模块的设计中，为了使视频解码ADV7180模块和视频编码ADV7179模块正常工作，需要对其内部的控制寄存器进行数据配置，按照I2C(InterIntegratedCircuit)总线的要求传输数据，并把数据储存到内部寄存器中，使芯片按照我们设定的状态来工作，设置过程是由I2C总线配置模块来完成。本***所使用的解码芯片ADV7180和编码芯片ADV7179具有I2C总线片上接口，因此我们可以通过IIC协议对其进行配置，具体的配置地址和数据可以从芯片的Datasheet上获得。ADV7180模块和ADV7179模块内部寄存器的值分为默认值和设置值，默认值是芯片上电后的缺省值，设置值是通过IIC总线对默认值进行修改以重新定义芯片功能。

配置ADV7180顶层模块为CONFIG_ADV7180，它包含一个子模块I2C_Controller控制传输模块，控制模块要实现的功能是使配置数据按照IIC协议的要求进行传输。配置模块的功能是将需要配置的每个寄存器通过查找表的方式被赋予正确的参数值，并构造成符合IIC总线规范的数据结构，再依次送到II2_Controller模块，在控制模块的控制传输下将参数值配置到内部寄存器中。

配置过程由一个状态机构成。它有三个状态，State_0：向寄存器写配置数据；State_1：确定是否成功写入；State_2：表示已经成功配置一个数据。它所用的控制时钟mI2C_CTRL_CLK由***时钟经分频得到，分频后为2500Hz，40h'80是视频设备地址，它的控制过程是首先向寄存器写配置数据，若得到成功配置的响应信号，则顺利进行下一个数据的配置。根据器件手册中的配置要求，利用查找表的方法就可以为各个寄存器配置数据，其中查找表中的数据由两个字节构成，第一个字节为子地址，第二个字节为参数值，再加上开始的8位设备地址，共24位。ADV7180模块的控制格式由32位组成，有设备地址、子地址和数据三个字节，其他8位为开始结束信号响应信号等组成。配置ADV7179模块的顶层模块为CONFIG_ADV7179_PAL，原理和配置ADV7180一致，8'h54是视频设备地址。

在GSPI_CONFIG模块的配置中，GSPI接口是一种***串行接口，主要由四根线组成：SDIN(数据输入)，SDOUT(数据输出)，SCLK(时钟)和CS(片选)。GSPI写时序如图3所示，GSPI读时序如图4所示。SD-SDI-IN1和SD-SDI-IN2两路SD-SDI解码芯片配置模式方式如图5所示：FPGA是主控设备，GS1670_A和GS1670_B是GSPI_CONFIG模块中的从设备，SD-SDI-IN1地输入采用GS1670_A，SD-SDI-IN2地输入采用GS1670_B，GS1670_A和GS1670_B的配置接口是GSPI接口。FPGA通过片选CS1选择GS1670_A进行参数读取和配置，然后通过CS2选择GS1670_B，进行参数读取和配置。采用GSPI_CONFIG模块中的CONFIG_GS1670模块来读取GS1670的工作状态，CONFIG_GS1670模块包含一个子模块GSPI_Controller控制传输模块，控制模块要实现的功能是使配置数据按照GSPI协议的要求进行传输。

如图2所示，FPGA中采用SDRAM_CTRL模块进行SDRAM读写设计，由于显示图像采用分辨率800*60060HZ16bit,SD-SDI和CCIR-D的图像720*57625HZ8bit，所以采用SDRAM来进行转换。经过SEL模块后的图像数据，传送到SDRAM_WR_FIFO模块,由SDRAM_CTRL模块写入到SDRAM中，SDRAM_CTRL模块接收SDRAM_WR_FIFO模块的视频缓冲数据，采用乒乓的方式对SDRAM进行操作。LVDS单元的采集的信息发送到VIDEO_TIME_GEN，根据VIDEO_TIME_GEN产生图像时序，经过SDRAM_RD_FIFO模块，由SDRAM_CTRL模块读出SDRAM中图像数据，SDRAM_RD_FIFO模块依据VIDEO_TIME_GEN产生的时序，通过SDRAM_CTRL模块从SDRAM中取出数据送OSD模块，进行视频的叠加。

SDRAM_CTRL模块由3个子模块组成：SDRAM_TIME_CTRL模块、SDRAM_CDM模块和SDRAM_WR_RD_DATA模块。SDRAM_TIME_CTRL模块的作用:包含上电200uS初始化等待、初始化SDRAM、15uS定时刷新、读写状态机；SDRAM_CDM模块的作用：包含根据读写状态，通过SDRAM的命令控制状态机，产生SDRAM的控制时序；SDRAM_WR_RD_DATA模块的作用：包含根据读写状态，对SDRAM的读写数据进行控制。

FPGA中采用MIG模块来产生DDR2读写模块，采用MIG向导产生MIG_CTRL模块，本电路采用的时钟是40MHZ，修改模块内部参数

localparamC3_CLKOUT0_DIVIDE＝2；

localparamC3_CLKOUT1_DIVIDE＝2；

localparamC3_CLKFBOUT_MULT＝20；

为了验证DDR2硬件，设计模块DDR2_RD_WR，包含4个子模块：IP核icon、IP核ila、MIG_CTRL模块和MCB_TIMEING_RD_WR模块，经过测试，与通过chipscope观察的数据一致。经过叠加(OSD)后图像经过VIDEO_WR_DDR2模块，由MIG_CTRL模块的P1写入到DDR2中；根据VIEDO_TIME_GEN2模块，由PAL-D_RD_CTRL模块，由MIG_CTRL模块的P3读取DDR2中数据发送到CCIR-D_OUT；根据VIEDO_TIME_GEN模块，由DVI_RD_CTRL模块，由MIG_CTRL模块的P2读取DDR2中数据发送到DVI；图像处理模块连接MIG_CTRL模块的P0，由MIG_CTRL模块的P0读取DDR2中数据和COE参数，经过处理，然后通过由MIG_CTRL模块的P0写入到DDR2中；COE_RD_WR模块将FLASH中COE参数读出，由MIG_CTRL模块的P4写入DDR2中。

模拟量采集模块就是图2中的模拟量标签，电路上是采用TLC549芯片实现的，FPGA内部采用TLC_DRIVE模块来控制AD并采集数据；数据由PICOBLAZE通过RS422与显示屏通讯，从而实现亮度和对比度的调节。TLC_DRIVE模块包含在PICOBLAZE模块中，PICOBLAZE模块是由8位PICOBLAZE微处理器、UART通信模块和TLC_DRIVE模块组成；TLC_DRIVE模块主要是根据PICOBLAZE命令，产生SPI的读写时序，进行控制芯片TLC549。

本***实现了差分CCIR-D转PAL-D、PAL-D转差分CCIR-D、PAL-D解码、LVDS解码、SD-SDI解码、图像处理功能、DVI编码、PAL-D编码功能、模拟信号和离散信号采集，包括视频I2C总线配置模块、异步FIFO(先进先出)模块、DDR2控制模块、图像处理模块和显示模块在内的各功能模块完全采用FPGA芯片实现。CCIR-D、SD-SDI、DVI等解码后送入FPGA，根据离散信号确定其中一路视频送DDR2帧缓存，再传给图像处理模块进行预处理后(预畸变)，由DVI模块输出。同时利用Simulink与SystemGenerator来进行算法的模块化设计，简化了实现过程，极大地提高了开发速度。通过对***进行仿真和测试，验证了算法模块能有效实现预期功能。图5是本发明FPGA与GS1670A和GS1670B具体连接图结构图。

通过该***的设计表明，采用FPGA实现图像处理是一种稳定、有效、经济的方案，FPGA芯片不仅可以起到胶合逻辑的功能，对***模块进行控制和连接，而且可以取代DSP(数字信号处理器)处理器完成图像处理算法的实现。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (10)

1.一种基于FPGA的图像处理***，其特征在于，该***包括视频解码模块、设置在FPGA上的图像处理模块和视频编码模块组成，视频解码模块将视频信号进行解码处理后传输给设有图像处理模块的FPGA进行预处理，处理后的图像传输给视频编码模块。

2.根据权利要求1所述的基于FPGA的图像处理***，其特征在于，所述视频解码模块包括LVDS接收单元、CCIR-D接收单元和SD-SDI接收单元，均进行视频信号接收。

3.根据权利要求2所述的基于FPGA的图像处理***，其特征在于，所述CCIR-D接收单元中采用AD812模块实现CCIR-D接收单元的输入转换单边信号PAL-D，其中PAL-D视频信号采用CCIR-D接收单元中设有的ADV7180模块实现解码功能。

4.根据权利要求2所述的基于FPGA的图像处理***，其特征在于，所述SD-SDI接收单元包括芯片均衡器GS2994模块、时钟恢复器GS2965模块和GS1670模块，视频信号经解码后送入图像处理模块处理，SD-SDI按照高速信号75阻抗布线，GS2994与GS2965、GS2965与GS1670之间采用100欧姆差分布线。

5.根据权利要求1所述的基于FPGA的图像处理***，其特征在于，所述图像处理模块还连接有进行模拟量和离散量的信号采集的模拟量模块和离散量模块。

6.根据权利要求1所述的基于FPGA的图像处理***，其特征在于，所述设有图像处理模块的FPGA内存设置中连接有完成DDR2读写的DDR2模块和SDRAM读写设计的SDRAM模块。

7.根据权利要求6所述的基于FPGA的图像处理***，其特征在于，在图像处理模块中设有选择接收视频数据的SEL模块、接收视频缓冲数据的SDRAM_CTRL模块、SDRAM_WR_FIFO模块、SDRAM_CTRL模块、SDRAM_RD_FIFO模块和VIDEO_TIME_GEN模块配合完成SDRAM读写功能，编码后的视频信号经过SEL模块处理后，传送到SDRAM_WR_FIFO模块,由SDRAM_CTRL模块写入到SDRAM中；LVDS单元的采集的信息发送到VIDEO_TIME_GEN模块，根据VIDEO_TIME_GEN产生图像时序，经过SDRAM_RD_FIFO模块，由SDRAM_CTRL模块读出SDRAM中图像数据。

8.根据权利要求6所述的基于FPGA的图像处理***，其特征在于，设有图像处理模块的FPGA中采用MIG_CTRL模块来产生DDR2读写模块，FPGA中设有VIDEO_WR_DDR2模块、VIEDO_TIME_GEN2模块、PAL-D_RD_CTRL模块、VIEDO_TIME_GEN模块、DVI_RD_CTRL模块和COE_RD_WR模块；视频解码模块中LVDS单元的采集的信息经过叠加后经过VIDEO_WR_DDR2模块，由MIG_CTRL模块中的P1接口写入到DDR2模块中；根据VIEDO_TIME_GEN2模块，由PAL-D_RD_CTRL模块、MIG_CTRL模块的P3接口读取DDR2模块中数据发送到视频编码模块中；根据VIEDO_TIME_GEN模块，由DVI_RD_CTRL模块、MIG_CTRL模块的P2接口读取DDR2模块中的数据发送到视频编码模块；COE_RD_WR模块将外部设备中的FLASH模块中的COE参数读出，由MIG_CTRL模块的P4接口写入DDR2模块中。

9.根据权利要求1所述的基于FPGA的图像处理***，其特征在于，所述视频编码模块中包括进行DVI编码的DVI编码模块和进行PAL编码的CCIR-D编码模块，输出端表示为DVI-OUT和CCIR-D-OUT输出端。

10.根据权利要求9所述的基于FPGA的图像处理***，其特征在于，所述DVI编码模块采用TFP410模块，CCIR-D编码模块采用ADV7179模块和EL5371模块。