CN102946529B - 基于fpga和多核dsp的图像传输及处理*** - Google Patents

基于fpga和多核dsp的图像传输及处理*** Download PDF

Info

Publication number
CN102946529B
CN102946529B CN201210402219.5A CN201210402219A CN102946529B CN 102946529 B CN102946529 B CN 102946529B CN 201210402219 A CN201210402219 A CN 201210402219A CN 102946529 B CN102946529 B CN 102946529B
Authority
CN
China
Prior art keywords
fpga
dsp
data
memory
core dsp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210402219.5A
Other languages
English (en)
Other versions
CN102946529A (zh
Inventor
张旭明
郭富民
姚龙龙
李柳
丁明跃
熊有伦
尹周平
王瑜辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201210402219.5A priority Critical patent/CN102946529B/zh
Publication of CN102946529A publication Critical patent/CN102946529A/zh
Application granted granted Critical
Publication of CN102946529B publication Critical patent/CN102946529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于FPGA和多核DSP的图像传输及处理***，包括PC、PCI桥、双通道切换开关、FPGA、多核DSP、晶振、电源以及两存储器；PC通过PCI桥连接FPGA，FPGA连接双通道切换开关，双通道切换开关连接两存储器和DSP，DSP通过HPI接口连接FPGA，电源分别连决FPGA和DSP；PC将图像数据通过PCI桥传送到FPGA，FPGA对图像数据进行FIFO缓存。本发明通过乒乓的方式将连续图像数据在两存储器之间轮番交替存储并交替送至多核DSP进行并行处理，以获得高效和高稳定性数据传输。

Description

基于FPGA和多核DSP的图像传输及处理***
技术领域
本发明属于图像传输及处理技术领域，具体说是基于FPGA和多核DSP的图像传输及处理***。
背景技术
随着科技的发展，人们的生活水平也在不断的提高，数字信息时代的到来带来了人类世界的“信息大***"，使得数据量大增，与此同时，在视频检测、医疗影像等领域，越来越复杂的二维、三维甚至四维的图像处理需要能够运行复杂的算法的并行化***，特别在视频图像处理领域，通常需要在极短的时间完成信号处理分析，此时对处理***各方面的性能的要求是非常高的。
相对于单核DSP、FPGA(FieldProgrammableGateArray)或ASIC架构，基于FPGA和DSP协同作业的方式具有实时性强、灵活性高和可靠性高等优势，因而在最近几年成为高速图像传输与处理***的主流设计方式。目前有一些基于这种架构的成功案例，但都是基于FPGA和单核DSP架构。唐垚等人设计的高分辨率图像采集与压缩***中，FPGA完成图像的采集及两块SDRAM(帧存)控制权的管理，采集到的图像通过FPGA的控制交替地存入到两块SDRAM中，然后由DSP通过EMIF扩展的形式来读取SDRAM中的数据，再进行图像的处理。该***显得比较整洁，但在这种结构中，FPGA和DSP都要访问复杂且速度较慢的SDRAM，并且SDRAM在移交给DSP时候，还应该由DSP提供其时钟信号，因此整个电路设计非常复杂。盛磊等人设计的实时视频处理平台中，利用VHDL语言在FPGA内部实现EMIF接口，直接与DSP(C6711)的EMIF连接，并且实现EMIF到I2C的总线接口逻辑。FPGA内部的EMIF直接访问的是存有图像信息的FIFO存储器。该***结构非常简单，但是EMIF的时序逻辑相当的复杂，给在FPGA内部实现一个高效的EMIF总线接口逻辑带来挑战。钟达熊等人在航机规划硬件平台上采用了一片FPGA和三片单核DSP的结构。三片DSP通过EMIF口与FPGA互联，并为每个DSP扩展了DDR2SDRAM（第二代双倍数据率同步动态随机存取存储器）。此***能够实现高速的图像传输与DSP之间的并行处理，但是FPGA与三个单核DSP之间的互联逻辑复杂，增加了***的设计的复杂性，同时FPGA还需实现三片DSP之间的仲裁，随着DSP数量的增加，这种仲裁机制将变得非常复杂。
多核DSP的设计思想是将多颗内核集成到单芯片上。与单核DSP相比，多核DSP内部存储空间得到有效扩展，其运算速度、处理性能较前者也有大幅提高。相对于多个单核DSP级联架构，多核DSP在功耗和芯片面积、执行效率方面具有明显优势。正是由于多核DSP诸多的优势，近些年逐渐被应用于数字信号处理的各个领域。但是，据现有的论文和专利，现阶段基于FPGA和多核DSP的架构还没有应用到图像处理领域。
发明内容
本发明提供了一个基于FPGA和多核DSP的图像传输与处理***，提高图像数据的运算速度和处理性能。
基于FPGA和多核DSP的图像传输及处理***，包括PC、PCI桥、双通道切换开关、FPGA、多核DSP、晶振、电源以及两存储器；
PC通过PCI桥连接FPGA，FPGA连接双通道切换开关，双通道切换开关连接两存储器和DSP，DSP通过HPI接口连接FPGA，电源分别连决FPGA和DSP；
PC将图像数据通过PCI桥传送到FPGA，FPGA对图像数据进行FIFO缓存；FPGA控制双通道切换开关的开关状态以实现第一读写通道和第二读写通道的交替进行，多核DSP对读取到的数据做并行处理，并将处理结果通过HPI接口返回给FPGA；
所述第一读写通道为：FPGA将自身缓存的当前数据写入第一存储器，同时多核DSP从第二存储器读取前一时刻写入的数据；所述第二读写通道为：FPGA将自身缓存的当前数据写入第二存储器，同时多核DSP从第一存储器读取前一时刻写入的数据。
所述双通道切换开关采用CPLD实现。
所述存储器采用双倍速率同步动态随机存储器DDR。
所述DDR与DSP连接导通时二者之间串接有电阻。
本发明的技术效果体现在：
在基于FPGA和多核DSP架构的协同处理***中，FPGA和DSP之间数据通信的方式是否高效，直接影响着整个***的效率和性能。本发明在研究了现阶段几种常用的FPGA与DSP协同处理平台的***架构及通讯机制后，结合DDR2SDRAM高数据传输速率、低功耗、高稳定性等特点，提出了一种新颖的通讯机制，采用存储器（优选DDR）作为FPGA与多核DSP之间的数据存储器，通过乒乓的方式将连续图像数据在两块DDR2SDRAM之间轮番交替存储并交替送至多核DSP进行并行处理，以获得高效和高稳定性数据传输。
附图说明
图1是基于FPGA和多核DSP的图像传输及处理***原理图；
图2是FPGA与DDR2SDRAM接口模块设计示意图；
图3是DSP与DDR2SDRAM的接口模块设计示意图；
具体实施方式
下面结合附图和实施例对本发明做进一步的详细说明。
如图1所示，基于FPGA和多核DSP的图像传输及处理***，包括PC、PCI桥、FPGA、双通道切换开关、多核DSP、晶振、电源以及两DDR2SDRAM。另外,串行配置芯片EPCS，用于FPGA上电的时候对其重新配置。同步动态随机存取存储器SDRAM采用多Bank结构，可有效提高存储器的访问速度。
PC通过PCI桥连接FPGA，FPGA连接双通道切换开关，双通道切换开关连接两存储器和DSP，DSP通过HPI接口连接FPGA，电源分别连决FPGA和DSP；
PC将图像数据通过PCI桥传送到FPGA，FPGA对图像数据进行FIFO缓存；FPGA控制双通道切换开关的开关状态以实现第一读写通道和第二读写通道的交替进行，多核DSP对读取到的数据做并行处理，并将处理结果通过HPI接口返回给FPGA；
所述第一读写通道为：FPGA将自身缓存的当前数据写入第一存储器，同时多核DSP从第二存储器读取前一时刻写入的数据；所述第二读写通道为：FPGA将自身缓存的当前数据写入第二存储器，同时多核DSP从第一存储器读取前一时刻写入的数据。
电源用于给FPGA和DSP供电，晶振用于提供基本的时钟信号以保证FPGA和DSP同步。
双通道切换开关可采用CPLD实现，存储器可采用双倍速率同步动态随机存储器DDR。
下面给出一个具体实例：
1.***上电之后，FPGA（型号为EP2C35F672C6N）部分完成初始化之后就开始经过PCI桥读取图像数据缓存到内部的FIFO中。这里，选择PCI9056作为PCI桥连接PC与FPGA。将PCI9056的local端的信号（数据、地址、控制等信号）与FPGA引脚连接，便可以实现PCI9056与FPGA的接口。
2.FPGA将FIFO中的数据写入到与之连接的DDR2SDRAM（型号为MT47H16M16）。FPGA的DDR2SDRAM接口如图2所示。
3.DDR2SDRAM中的数据达到一定量之后FPGA通知CPLD将双通道的DDR2SDRAM的总线控制权在FPGA与DSP（型号为TMS320C6472）之间互换，并向DSP发出一个中断信号。这里，需要说明的是：TMS320C6472本身不直接与DDR2SDRAM连接，需要通过CPLD的切换与其中一路DDR2SDRAM连接。DDR2SDRAM的信号在与DSP连接的时候需要在二者之间串接22欧姆的电阻，以提高信号的完整性。基于上述考虑，设计了图3所示的DSP与DDR2SDRAM的接口模块。
4.DSP从获得总线控制权的DDR2SDRAM中读数据，分配任务到6个内核，做并行处理。计算的结果经过HPI接***由FPGA。
5.DSP内部数据处理完成之后，通知FPGA计算任务完成，FPGA在空闲状态的时候通知CPLD再次切换数据通路。
基于上述思路，设计了FPGA与多核DSP的高速数据传输与处理***。采用该***对PCI9056传输数据速率进行了测试，测试结果如表1所示。从表1可看出，写数据的时候可以达到大于60Mbytes/S（61592860.5）的速度。经过PCI9056读数据的时候可以达到大于23Mbytes/S的速度。
表1PCI9056的写入数据量与写入速度
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于FPGA和多核DSP的图像传输及处理***，包括PC、PCI桥、双通道切换开关、FPGA、多核DSP、晶振、电源以及两存储器；
PC通过PCI桥连接FPGA，FPGA连接双通道切换开关，双通道切换开关连接两存储器和多核DSP，多核DSP通过HPI接口连接FPGA，电源分别连接FPGA和多核DSP；
PC将图像数据通过PCI桥传送到FPGA，FPGA对图像数据进行FIFO缓存；FPGA将FIFO中的数据写入到第二存储器；第二存储器中的数据达到一定量之后FPGA通知CPLD将第二存储器的总线控制权在FPGA与多核DSP之间互换，并向多核DSP发出一个中断信号；FPGA控制双通道切换开关的开关状态以实现第一读写通道和第二读写通道的交替进行，多核DSP对读取到的数据做并行处理，并将处理结果通过HPI接口返回给FPGA；
所述第一读写通道为：FPGA将自身缓存的当前数据写入第一存储器，同时多核DSP从第二存储器读取前一时刻写入的数据；所述第二读写通道为：FPGA将自身缓存的当前数据写入第二存储器，同时多核DSP从第一存储器读取前一时刻写入的数据。
2.根据权利要求1所述的图像传输及处理***，其特征在于，所述双通道切换开关采用CPLD实现。
3.根据权利要求1所述的图像传输及处理***，其特征在于，所述存储器采用双倍速率同步动态随机存储器DDR。
4.根据权利要求3所述的图像传输及处理***，其特征在于，所述第二存储器与DSP连接导通时二者之间串接有电阻。
CN201210402219.5A 2012-10-19 2012-10-19 基于fpga和多核dsp的图像传输及处理*** Active CN102946529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210402219.5A CN102946529B (zh) 2012-10-19 2012-10-19 基于fpga和多核dsp的图像传输及处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210402219.5A CN102946529B (zh) 2012-10-19 2012-10-19 基于fpga和多核dsp的图像传输及处理***

Publications (2)

Publication Number Publication Date
CN102946529A CN102946529A (zh) 2013-02-27
CN102946529B true CN102946529B (zh) 2016-03-02

Family

ID=47729433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210402219.5A Active CN102946529B (zh) 2012-10-19 2012-10-19 基于fpga和多核dsp的图像传输及处理***

Country Status (1)

Country Link
CN (1) CN102946529B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399808B (zh) * 2013-06-06 2016-05-04 北京航天自动控制研究所 一种在飞控计算机内实现晶振双冗余的方法
CN103345798B (zh) * 2013-06-17 2015-09-23 中国人民银行印制科学技术研究所 一种高速实时检测片状材料的***
CN104284079B (zh) * 2013-10-10 2017-08-25 中国科学院光电研究院 星载遥感图像智能识别装置
CN103645998B (zh) * 2013-12-17 2016-03-23 广东工业大学 一种基于fpga与dsp通过分时段访问sdram进行高速通信的方法
CN104407237B (zh) * 2014-10-13 2017-11-17 中国电子科技集团公司第四十一研究所 一种基于相位噪声测量的数据通信电路及方法
CN104918004B (zh) * 2015-04-08 2018-08-24 江西率恩实业有限公司 基于fpga和dsp芯片的pci通信监控***
CN105516601B (zh) * 2016-01-08 2020-01-17 广东工业大学 一种用于手势图像实时处理的装置及方法
CN105893307B (zh) * 2016-03-30 2018-12-21 北京航天自动控制研究所 一种高速大数据量信息处理***
CN107018363A (zh) * 2017-03-30 2017-08-04 安徽森度科技有限公司 一种多通道图像采集处理***
CN107678824A (zh) * 2017-10-11 2018-02-09 青岛海信移动通信技术股份有限公司 基于***切换的屏幕图像切换方法及装置
CN109931932A (zh) * 2017-12-15 2019-06-25 湖南中部芯谷科技有限公司 一种高精度同步组合导航计算机
CN109584143B (zh) * 2018-12-07 2023-06-30 中国科学院长春光学精密机械与物理研究所 一种航空相机图像增强设备以及方法
CN109902042B (zh) * 2019-01-30 2023-07-25 湖北三江航天红峰控制有限公司 一种实现dsp与zynq之间高速数据传输的方法及***
CN113079336A (zh) * 2020-01-03 2021-07-06 深圳市春盛海科技有限公司 高速影像的录像方法及装置
CN111897262B (zh) * 2020-07-30 2023-08-11 电子科技大学 基于多块dsp的并行信号采集处理***的数据处理方法
CN113873255B (zh) * 2021-12-06 2022-02-18 苏州浪潮智能科技有限公司 一种视频数据传输方法、视频数据解码方法及相关装置
CN114549275B (zh) * 2022-02-10 2024-03-26 中国科学院上海技术物理研究所 一种基于双四核dsp信号处理板的实时数字图像处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101039417A (zh) * 2007-04-26 2007-09-19 广东威创日新电子有限公司 多个分块并行压缩视频数据装置及其压缩方法
CN101478670A (zh) * 2008-12-30 2009-07-08 西安交通大学 基于fpga芯片和dsp芯片开发的网络实时视频采集装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1402852A (zh) * 1999-10-22 2003-03-12 动感天空公司 面向目标的视频***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101039417A (zh) * 2007-04-26 2007-09-19 广东威创日新电子有限公司 多个分块并行压缩视频数据装置及其压缩方法
CN101478670A (zh) * 2008-12-30 2009-07-08 西安交通大学 基于fpga芯片和dsp芯片开发的网络实时视频采集装置

Also Published As

Publication number Publication date
CN102946529A (zh) 2013-02-27

Similar Documents

Publication Publication Date Title
CN102946529B (zh) 基于fpga和多核dsp的图像传输及处理***
US20190303003A1 (en) METHOD AND APPARATUS TO ENABLE INDIVIDUAL NON VOLATILE MEMORY EXPRESS (NVMe) INPUT/OUTPUT (IO) QUEUES ON DIFFERING NETWORK ADDRESSES OF AN NVMe CONTROLLER
CN105743820B (zh) 一种基于arm+fpga架构的列车以太网交换机
CN103744644B (zh) 采用四核结构搭建的四核处理器***及数据交换方法
CN101694609B (zh) 一种提高dsp外部存储器接口速度的高清图像实时采集***和方法
CN110297797B (zh) 异构协议转换装置和方法
CN109308283A (zh) 一种SoC片上***及其外设总线切换方法
CN104915303A (zh) 基于PXIe总线的高速数字I/O***
CN103986931A (zh) 一种fpga+dsp结构上基于srio总线传输视频数据的实现方法
CN104599227A (zh) 用于高速ccd数据存储的ddr3仲裁控制器及方法
CN103544470B (zh) 一种动平台对空目标双色红外异构并行自动目标识别器
CN104598404B (zh) 计算设备扩展方法和装置、以及可扩展的计算***
CN114610483A (zh) 一种基于npu+fpga架构的vpx型异构加速模块
US20210126877A1 (en) Data Processing Network with Flow Compaction for Streaming Data Transfer
CN104657297A (zh) 计算设备扩展***及扩展方法
CN109840233A (zh) 基于fpga的60x总线桥接***、方法及介质
CN104598406B (zh) 扩展功能单元及计算设备扩展***和扩展方法
CN100343778C (zh) 数据传送方法和数据传送桥接器
CN106547707B (zh) 阵列处理器中簇内存储并行访问局部优先交换电路
CN105224486A (zh) 基于lbe总线的1553b总线协议模块
CN112948322A (zh) 一种基于弹性缓存的虚通道及实现方法
CN102013984A (zh) 二维网状片上网络***
CN105718349B (zh) 跨管芯接口监听或全局观察消息排序
CN203204494U (zh) 结合多功能高稳定性插槽结构与多功能插卡模块的***
CN205247376U (zh) 基于fpga的四口ram

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant