CN101673343B - 在dsp+fpga架构中提高信号实时模式识别处理速度的***及方法 - Google Patents

Abstract

本发明涉及一种在DSP+FPGA架构中提高信号实时模式识别处理速度的***及方法。本发明的***结构为用DSP、FPGA、SDRAM和FLASH这4个硬件芯片(组)搭建的信号实时模式识别核心。其中DSP作为主处理芯片，FPGA作为协处理芯片，SDRAM作为主存储器，提供DSP工作时的内存支持，FLASH作为辅助存储器。本发明中的DSP采用多线程来配合整个信号处理流程，一共实现4个线程，分别为主线程、信号采集、信号处理和结果处理线程。该方法改善了***数据处理的并行性，提高了***的信号处理速度，为嵌入式实时高速信号模式识别***提供了一种基于DSP+FPGA架构的解决方案。

Description

在DSP+FPGA架构中提高信号实时模式识别处理速度的***及方法

技术领域

本发明涉及利用DSP的外部存储器接口(EMIF)完成DSP和FPGA之间的信号传递并用FPGA取代DSP完成模式分类来提高整个模式识别***的数据处理速度的一种解决方案。属于电子信息领域。

背景技术

随着嵌入式技术应用领域的日益广泛，以及嵌入式技术不可避免的智能化发展趋势，对于嵌入式模式识别技术的需求也越来越大。对于需要进行模式识别的场合，往往能采集到大量的信息，需要在短时间内对这些信息进行归纳提炼，从而得到目标的准确、简练的描述。嵌入式模式识别的瓶颈就在于很难保证信号模式识别处理的速度，对于输入信息量大、处理结果实时性要求较高(比如视频图像信号、网络数据流等)的应用场合，传统的技术手段往往无法满足处理速度上的要求。

在目前的嵌入式***中，基于DSP+FPGA的架构的特点就是FPGA以其灵活的可编程能力负责对外接口和时序控制部分，主要的信号处理运算则由DSP完成，这样充分利用了DSP的运算能力。在这种架构中，虽然考虑了FPGA在时序信号产生上的优势，但FPGA在并行计算上的优势却没有得到利用，而简单的时序控制往往只能用到FPGA内很少的资源，大量的资源被闲置了，本方案就是考虑到这一点，在FPGA中放入特别适合并行计算的神经网络分类器，这样FPGA可以代替DSP完成其模式识别中的分类环节，改善了整个信号处理流程的并行性，从而提高了***的处理速度，满足需要实时模式识别要求的应用场合。

方案中的DSP使用TI公司的TMS320C6000系列，该系列的EMIF接口支持各种外部器件的无缝连接，包括SRAM、SDRAM、ROM、FIFO和外部共享器件等等。外部存储空间划分为四个独立的存储空间(CE空间)，由4根外部片选CE线及对应的CE空间控制寄存器控制。

发明内容

本发明的目的在于针对已有技术存在的不足，提供一种在DSP+FPGA架构中提高信号实时模式识别处理速度的***及方法，能使该架构的信号处理速度提高30～50％。

该方法利用FPGA的并行计算能力，将原本需要在DSP中处理的神经网络分类器放到FPGA中处理，分摊了DSP的负担。DSP和FPGA间使用EDMA方式在EMIF总线上进行通信，通信过程不占用CPU时间片，而DSP上使用多线程技术，保证在FPGA内进行分类处理时DSP不闲置，做到DSP和FPGA的并行处理。

为实现上述目的，本发明的构思是：

基于DSP+FPGA架构的嵌入式实时模式识别***，以DSP为主处理芯片，FPGA为协处理芯片，存储器配有SDRAM和FLASH，SDRAM作为主存储器，提供DSP工作时的内存支持，FLASH作为辅助存储器，利用其断电不丢失数据的特点来保存DSP的启动引导数据、程序数据和FPGA内的神经网络的权值数据。DSP、FPGA、SDRAM和FLASH均连接在DSP的EMIF总线上，方便它们互相进行数据交互。***除了以上核心部分外，还配有信号采集、自动控制、输出显示和人机交互等***模块，但与本发明的核心内容无关，故不再详细介绍。

DSP的4个外部存储空间(CE空间)中，CE0配置为同步空间，分配给主存储设备SDRAM，CE1和CE2配置为异步空间，分别分配给FLASH和FPGA的内部RAM。DSP的EMIF接口的地址线、数据线和控制线除了要连接到SDRAM和FLASH的相应引脚外，还需要连接到FPGA的引脚上。

对于待识别的信号，其整个处理流程如下：

1.DSP通过信号采集线程得到待识别的信号。

2.DSP对于采集到的信号进行预处理，得到信号中若干个感兴趣的目标，这些目标就是需要进行模式识别的主体。

3.DSP对于每一个感兴趣的目标进行特征提取，将提取到的特征打包，通过EMIF总线以增强型直接存储器访问(EDMA)方式发送给FPGA进行识别分类。

4.FPGA利用片内RAM接收DSP传来的特征包，将特征对应的输入到FPGA内的神经网络分类器模块中，经过该模块后的分类结果再反传递回片内RAM中暂时储存，在DSP需要时通过EMIF总线将该结果发送给DSP。

5.DSP通过查询的方式访问FPGA内RAM的一个地址，该地址记录了FPGA内还未被DSP拿回的分类结果数，如果该数大于0，则DSP从FPGA中读出一个分类结果，对该结果进行相应的后续处理和输出控制。

根据上述发明构思，本发明采用下述技术方案：

一种在DSP+FPGA架构中提高信号实时模式识别处理速度的***。其特征在于***结构为用DSP、FPGA、SDRAM和FLASH 4个芯片搭建成信号实时模式识别核心，其中DSP作为主处理芯片，FPGA作为协处理芯片，SDRAM作为主存储器，提供DSP工作时的内存支持，FLASH作为辅助存储器。DSP、FPGA、SDRAM和FLASH均连接在DSP的EMIF总线上，方便它们互相进行数据交互。

上述DSP的EMIF接口有多个CE空间，即CE0～CE3，用其中的一个连接DSP的主存储设备SDRAM，另一个CE空间连接辅助存储设备FLASH，而第三个CE空间则连接由所述FPGA片内RAM模拟的一个外部存储设备；所述DSP的EMIF接口中的数据线、地址线和读写控制线除了常规的连接到所述SDRAM和所述FLASH外，连同相应的CE空间片选线都还需要再全部连接到所述FPGA的引脚上。

一种在DSP+FPGA架构中提高信号实时模式识别处理速度的方法，采用上述的在DSP+FPGA架构中提高信号实时模式识别处理速度的***进行信号处理，其特征在于整个信号处理流程为：

1.信号采集，由DSP完成；

2.信号预处理和特征提取，由DSP完成；

3.神经网络分类，由FPGA完成；

4.处理分类结果，由DSP完成。

为配合上述流程，DSP中使用多线程技术实现4个线程，分别为主线程、信号采集、信号处理和结果处理线程：

主线程是其它3个线程的管理核心，其流程为：

1.完成DSP初始化；

2.启动其它3个线程；

3.进入等待状态。

信号采集线程完成输入信号的采集，其流程为：

1.初始化采集设备；

2.打开采集端口；

3.等待信号输入，若有，则进入步骤4；否则继续等待；

4.将采集到的信号放入一个在主存储设备SDRAM上的队列——输入信号队列，然后回到步骤3。

信号处理线程完成信号的预处理和特征提取，其流程为：

1.判断输入信号队列是否为空，若为空，则继续判断；否则进入步骤2；

2.从输入信号队列中读出一组输入信号；

3.对输入信号进行预处理；

4.检测输入信号中的感兴趣目标，这些目标就是需要进行模式识别的主体；

5.判断还未处理的感兴趣目标的数量，若数量大于0，则进入步骤6；否则回到步骤1；

6.对一个未处理的感兴趣目标，对其进行特征提取；

7.用步骤6中提取到的特征数据生成特征包；

8.触发DSP和FPGA之间的增强型直接存储器访问(EDMA)，将特征包通过EMIF总线传递给FPGA，然后回到步骤5。

结果处理线程完成分类结果的处理，其流程为

1.读取FPGA上的一个RAM寄存器的值，该寄存器记录着还未被处理的分类结果数；

2.判断步骤1中读到的值是否大于0，若是，则进入步骤3，否则回到步骤1；

3.改变步骤1中的FPGA上的RAM寄存器的值，使其减少1；

4.从FPGA中读出一个神经网络分类的结果；

5.对分类结果进行相应处理；

6.进行人机交互和决策控制，然后回到步骤1。

另外，在整个模式识别流程中，FPGA为DSP分摊了神经网络分类器的工作，其工作流程为：

1.***启动时，所述FPGA从FLASH中通过EMIF总线读入神经网络的权值数据，由FPGA内的权值初始化模块完成这一工作；

2.在所述DSP触发EDMA发送特征包数据给FPGA时，FPGA由RAM和RAM控制模块来接收这些数据，其中RAM模块接收EMIF数据线上的数据，RAM控制模块接收EMIF地址线和控制线上的信号，产生RAM的写地址供RAM模块使用；

3.接收到DSP发送来的特征包数据后，FPGA内的神经网络分类器模块从RAM模块中读出这些特征包数据，进行神经网络分类后将结果送回RAM模块中，在此过程中，神经网络分类器模块需要用到权值初始化模块中的权值，同时RAM控制模块负责协调和控制RAM的读写状态以及提供RAM的读写地址；

4.当DSP需要读出FPGA中的分类结果时，FPGA由RAM和RAM控制模块来发送这些数据，其中RAM模块将数据发送到EMIF数据线上，RAM控制模块接收EMIF地址线和控制线上的信号，产生RAM的读地址供RAM模块使用。

本发明与现有相关技术相比较，具有如下优点：

1.现有的DSP+FPGA方案对于FPGA的利用仅限于输入输出控制、时序控制或信号切换等方面，没有充分利用到FPGA并行计算的优势，本发明很好的改善了这一问题，将更适合于并行计算的神经网络分类器放到FPGA中实现，使FPGA成为真正意义上的协处理芯片。

2.DSP上利用多线程技术，可以很好的和FPGA配合，在FPGA进行分类时，DSP不用等待其结果，而是可以做别的事，由于FPGA为DSP分摊了分类器的工作，使得DSP的信号处理周期变短，这样DSP和FPGA的并行信号处理使模式识别的速度大大提升。

附图说明

图1***组成结构示意图。

图2信号处理流程示意图。

图3DSP主线程流程图。

图4DSP信号采集线程流程图。

图5DSP信号处理线程流程图。

图6DSP结果处理线程流程图。

图7FPGA内部模块结构图。

具体实施方式

下面结合附图对本发明的具体实施方式进行详细地描述。

参见图1，本在DSP+FPGA架构中提高信号实时模式识别处理速度的***是用DSP、FPGA、SDRAM和FLASH 4个硬件芯片搭建成信号实时模式识别核心，其中DSP作为主处理芯片，FPGA作为协处理芯片，SDRAM作为主存储器，提供DSP工作时的内存支持，FLASH作为辅助存储器。DSP、FPGA、SDRAM和FLASH均连接在DSP的EMIF总线上，方便它们互相进行数据交互。

在图1的***组成结构示意图中，选择DSP芯片为TI的TMS320DM642，FPGA芯片为Altera的EP2C20，SDRAM用4块MT48LC16M16A2FG，共计容量128MB和64位数据线，FLASH选择AM29LV033C-WD(4MB)。

DSP的CE0连到4块SDRAM的CS脚，CE1连到FLASH的CS脚，CE2接入FPGA。另外，EMIF的数据线、地址线和控制线分别和SDRAM和FLASH的数据线、地址线、控制线相连，同时它们也一起接入FPGA。

图2所示为整个信号处理流程，DSP通过信号采集、预处理和特征提取得到可以进行模式分类的特征包，DSP将该特征包通过EDMA方式从EMIF总线上发送给FPGA。FPGA对特征数据进行神经网络分类后，将结果暂时储存。DSP在需要分类结果进行后续处理的时候，从FPGA内读出分类结果，完成相应后续处理后输出。所述的流程中，信号采集由DSP的信号采集线程完成，预处理和特征提取由DSP的信号处理线程完成，神经网络分类由FPGA内部模块完成，处理分类结果由DSP的结果处理线程完成。

图3为DSP的主线程流程图，主线程在完成DSP初始化后，启动其它线程，自身进入等待状态。

图4为DSP的信号采集线程流程图，在初始化采集设备和打开采集端口后，线程开始等待信号输入，一旦有新的信号输入，则将该信号的数据内容加入到输入信号队列中，该队列是一段SDRAM上的全局内存，我们用程序实现其具有先入先出特性的数据结构。

图5为DSP的信号处理线程流程图，若输入信号队列不为空，则从其中读出一个输入信号，对该信号进行预处理，检测其中的感兴趣目标，若信号中存在若干感兴趣目标，则对每一个感兴趣目标进行特征提取，将提取到的特征打包后，通过EDMA方式发送给FPGA。

图6为DSP的结果处理线程流程图，线程通过读取FPGA上的一个RAM寄存器的值来判断FPGA是否有还未被处理的分类结果，若有，则从FPGA中读出一个分类结果，对其进行结果处理，最后进行输出和决策控制。

图7为FPGA内部模块结构图，FPGA中和本发明相关的有RAM模块、RAM控制模块、权值初始化模块和神经网络分类器模块，图中各模块间的实线连线为数据连线，虚线连线为控制连线，模块间的连接方式具体为：

1.RAM模块对外为FPGA引脚，连接DSP的EMIF接口的64根数据线，RAM的读写控制线和地址线接RAM控制模块，RAM的数据线除了接FPGA引脚外，还连接到神经网络分类器模块，提供神经网络分类器模块的输入数据以及接收神经网络分类器模块的输出数据。

2.RAM控制模块对外为FPGA引脚，连接DSP的EMIF接口的地址线、读写控制线和CE空间选通线(CE2)，RAM控制模块还连接神经网络分类器模块的状态信号和神经网络分类器模块的读写RAM信号，通过接收DSP和神经网络分类器模块对RAM的读写状态和需求，RAM控制模块产生RAM的读写控制信号和地址信号，同时产生神经网络分类器模块的控制信号。

3.神经网络分类器模块连接RAM模块的数据线，其状态和对RAM的读写需求通过内部信号线连入RAM控制模块，同时，神经网络分类器模块接收RAM控制模块对其的控制信号。在神经网络分类过程中，神经网络分类器模块从权值初始化模块读入运算所需的权值。

4.权值初始化模块对外为FPGA引脚，连接DSP的EMIF接口中的FLASH相关数据线、地址线和控制线。在***启动的时候，权值初始化模块从FLASH中读出神经网络的权值。在神经网络分类器模块进行运算时，权值初始化模块提供权值。需要注意的是，权值初始化模块的FPGA对外引脚和RAM模块及RAM控制模块的FPGA对外引脚在物理上有一部分是相同的，但这并不会造成冲突，因为权值初始化模块的对外引脚仅在***启动的时候起作用，之后不会用到，在时间上和RAM模块及RAM控制模块的FPGA对外引脚没有冲突。

本在DSP+FPGA架构中提高信号实时模式识别处理速度的方法，采用上述***进行信号处理，其特征在于整个信号处理流程为：

1.信号采集，由DSP完成；

2.信号预处理和特征提取，由DSP完成；

3.神经网络分类，由FPGA完成；

4.处理分类结果，由DSP完成。

为配合上述流程，DSP中使用多线程技术实现4个线程，分别为主线程、信号采集、信号处理和结果处理线程：

主线程是其它3个线程的管理核心，其流程为：

1.完成DSP初始化；

2.启动其它3个线程；

3.进入等待状态。

信号采集线程完成输入信号的采集，其流程为：

1.初始化采集设备；

2.打开采集端口；

3.等待信号输入，若有，则进入步骤4；否则继续等待；

4.将采集到的信号放入一个在主存储设备SDRAM上的队列——输入信号队列，然后回到步骤3。

信号处理线程完成信号的预处理和特征提取，其流程为：

1.判断输入信号队列是否为空，若为空，则继续判断；否则进入步骤2；

2.从输入信号队列中读出一组输入信号；

3.对输入信号进行预处理；

4.检测输入信号中的感兴趣目标，这些目标就是需要进行模式识别的主体；

5.判断还未处理的感兴趣目标的数量，若数量大于0，则进入步骤6；否则回到步骤1；

6.对一个未处理的感兴趣目标，对其进行特征提取；

7.用步骤6中提取到的特征数据生成特征包；

8.触发DSP和FPGA之间的增强型直接存储器访问(EDMA)，将特征包通过EMIF总线传递给FPGA，然后回到步骤5。

结果处理线程完成分类结果的处理，其流程为

1.读取FPGA上的一个RAM寄存器的值，该寄存器记录着还未被处理的分类结果数；

2.判断步骤1中读到的值是否大于0，若是，则进入步骤3，否则回到步骤1；

3.改变步骤1中的FPGA上的RAM寄存器的值，使其减少1；

4.从FPGA中读出一个神经网络分类的结果；

5.对分类结果进行相应处理；

6.进行人机交互和决策控制，然后回到步骤1。

另外，在整个模式识别流程中，FPGA为DSP分摊了神经网络分类器的工作，其工作流程为：

1.***启动时，所述FPGA从FLASH中通过EMIF总线读入神经网络的权值数据，由FPGA内的权值初始化模块完成这一工作；

2.在所述DSP触发EDMA发送特征包数据给FPGA时，FPGA由RAM和RAM控制模块来接收这些数据，其中RAM模块接收EMIF数据线上的数据，RAM控制模块接收EMIF地址线和控制线上的信号，产生RAM的写地址供RAM模块使用；

3.接收到DSP发送来的特征包数据后，FPGA内的神经网络分类器模块从RAM模块中读出这些特征包数据，进行神经网络分类后将结果送回RAM模块中，在此过程中，神经网络分类器模块需要用到权值初始化模块中的权值，同时RAM控制模块负责协调和控制RAM的读写状态以及提供RAM的读写地址；

4.当DSP需要读出FPGA中的分类结果时，FPGA由RAM和RAM控制模块来发送这些数据，其中RAM模块将数据发送到EMIF数据线上，RAM控制模块接收EMIF地址线和控制线上的信号，产生RAM的读地址供RAM模块使用。

当然，以上所述仅是本发明的一种优选实施方式而已，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种在DSP+FPGA架构中提高信号实时模式识别处理速度的方法，该方法采用的***结构为：用DSP、FPGA、SDRAM和FLASH 4个芯片搭建成信号实时模式识别核心，其中DSP作为主处理芯片，FPGA作为协处理芯片，SDRAM作为主存储器，提供DSP工作时的内存支持，FLASH作为辅助存储器；DSP、FPGA、SDRAM和FLASH均连接在DSP的EMIF总线上，方便它们互相进行数据交互，其特征在于整个信号处理流程为：

(1)信号采集，由DSP完成；

(2)信号预处理和特征提取，由DSP完成；

(3)神经网络分类，由FPGA完成；

(4)处理分类结果，由DSP完成；

所述信号预处理和特征提取是在所述DSP中使用信号处理线程来完成，其流程为：

a.判断输入信号队列是否为空，若为空，则继续判断；否则进入步骤b；

b.从输入信号队列中读出一组输入信号；

c.对输入信号进行预处理；

d.检测输入信号中的感兴趣目标，这些目标就是需要进行模式识别的主体；

e.判断还未处理的感兴趣目标的数量，若数量大于0，则进入步骤f；否则回到步骤a；

f.对一个未处理的感兴趣目标，对其进行特征提取；

g用步骤f中提取到的特征数据生成特征包；

f.触发DSP和FPGA之间的增强型直接存储器访问EDMA，将特征包通过EMIF总线传递给FPGA，然后回到步骤e；

所述神经网络分类是用所述FPGA来完成，其流程为：

A.***启动时，所述FPGA从FLASH中通过EMIF总线读入神经网络的权值数据，由FPGA内的权值初始化模块完成这一工作；

B.在所述DSP触发EDMA发送特征包数据给FPGA时，FPGA由RAM和RAM控制模块来接收这些数据，其中RAM模块接收EMIF数据线上的数据，RAM控制模块接收EMIF地址线和控制线上的信号，产生RAM的写地址供RAM模块使用；

C.接收到DSP发送来的特征包数据后，FPGA内的神经网络分类器模块从RAM模块中读出这些特征包数据，进行神经网络分类后将结果送回RAM模块中，在此过程中，神经网络分类器模块需要用到权值初始化模块中的权值，同时RAM控制模块负责协调和控制RAM的读写状态以及提供RAM的读写地址；

D.当DSP需要读出FPGA中的分类结果时，FPGA由RAM和RAM控制模块来发送这些数据，其中RAM模块将数据发送到EMIF数据线上，RAM控制模块接收EMIF地址线和控制线上的信号，产生RAM的读地址供RAM模块使用。

2.根据权利要求1所述的在DSP+FPGA架构中提高信号实时模式识别处理速度的方法，其特征在于所述DSP为了配合整个信号处理流程，采用多线程技术，一共实现4个线程，分别为主线程、信号采集、信号处理和结果处理线程，其中主线程是其它3个线程的管理核心，主线程的流程为：

(a)完成DSP初始化；

(b)启动其它3个线程；

(c)进入等待状态。

3.根据权利要求1所述的在DSP+FPGA架构中提高信号实时模式识别处理速度的方法，其特征在于所述流程(1)信号采集是在所述DSP中使用信号采集线程来完成，其流程为：

1)初始化采集设备；

2)打开采集端口；

3)等待信号输入，若有，则进入步骤4)；否则继续等待；

4)将采集到的信号放入一个在主存储设备SDRAM上的队列——输入信号队列，然后回到步骤3)。

4.根据权利要求1所述的在DSP+FPGA架构中提高信号实时模式识别处理速度的方法，其特征在于所述流程(4)处理分类结果是在所述DSP中使用结果处理线程来完成，其流程为：

a)读取FPGA上的一个RAM寄存器的值，该寄存器记录着还未被处理的分类结果数；

b)判断步骤a)中读到的值是否大于0，若是，则进入步骤c)，否则回到步骤a)；

c)改变步骤a)中的FPGA上的RAM寄存器的值，使其减少1；

d)从FPGA中读出一个神经网络分类的结果；

e)对分类结果进行相应处理；

f)进行人机交互和决策控制，然后回到步骤a)。

Images