CN103647937A - 图像跟踪***及其图像数据处理方法 - Google Patents

Abstract

本发明公开了一种图像跟踪***，所述***包括：视频图像采集模块、FPGA、DSP；其中，视频图像采集模块，用于拍摄视频图像，输出数字图像数据；FPGA，用于将视频图像采集模块通过其数字信号输出端输出的当前帧数字图像数据，通过本FPGA的数据存储端口存入到所述存储器的第一存储区；并通过本FPGA的数据读取端口读取所述存储器的第二存储区中的存储的上一帧数字图像数据，进行灰度变换和中值滤波后，通过本FPGA的数字信号输出端输出；DSP单元，用于根据FPGA输出的数字图像数据进行目标搜索与跟踪。应用本发明，可以提高对图像数据的实时处理能力。

Description

图像跟踪***及其图像数据处理方法

技术领域

本发明涉及图像跟踪技术领域，尤其涉及一种图像跟踪***及其图像数据处理方法。

背景技术

运动目标检测与跟踪是在基于动态图像分析的基础上结合图像模式识别和图像跟踪方法对图像序列中的目标进行检测-识别-跟踪的过程，它是图像处理与计算机视觉领域中的一个非常活跃的分支。其中，用于运动目标检测与跟踪的图像跟踪***已广泛应用在工业控制、军事设备、医学研究、视频监控等诸多领域中。

目前，现有的图像跟踪***结构如图1所示，一般由视频图像采集模块、DSP（Digital Signal Processor，数字信号处理器）单元、存储器、D/A(digital to analog converter,数字信号转换成模拟信号)单元、显示器组成。其中，DSP单元用于将由视频图像采集模块采集到的数字图像数据进行预处理以及目标搜索与跟踪匹配运算处理，并将处理后的数字图像数据发送给D/A单元，由D/A单元将其转换成模拟信号再显示器进行显示。

本发明的发明人发现，上述的***中的单核DSP，需要先后进行数字图像数据的预处理编码和目标搜索与跟踪匹配运算处理，会导致对高分辨率视频图像中高速运动物体的实时处理能力较弱，因此有必要提供一种实时处理能力更强的图像跟踪***。

发明内容

本发明的发明目的在于提供了一种图像跟踪***及其图像数据处理方法，用以提高对图像数据的实时处理能力。

根据本发明的一个方面，提供了一种图像跟踪***，包括：

视频图像采集模块，用于拍摄视频图像，输出数字图像数据；

FPGA，用于将所述视频图像采集模块通过其数字信号输出端输出的当前帧数字图像数据，通过本FPGA的数据存储端口存入到所述存储器的第一存储区；并通过本FPGA的数据读取端口读取所述存储器的第二存储区中的存储的上一帧数字图像数据，进行灰度变换和中值滤波后，通过本FPGA的数字信号输出端输出；

DSP单元，用于根据所述FPGA输出的数字图像数据进行目标搜索与跟踪。

较佳地，所述FPGA还用于在所述当前帧数字图像数据接收完毕后，将所述视频图像采集模块输出的下一帧数字图像数据，存入到所述存储器的第二存储区；并通过本FPGA的数据读取端口读取所述存储器的第一存储区中存储的数字图像数据，进行灰度变换和中值滤波后，通过本FPGA的数字信号输出端输出。

较佳地，所述视频图像采集模块具体包括：

数字摄像机，用于拍摄数字视频图像，并将拍摄的数字图像数据通过本数字摄像机的数字信号输出端输出；或者，

所述视频图像采集模块具体包括：

模拟摄像机，用于拍摄模拟视频图像，并将拍摄的模拟图像数据通过本模拟摄像机的模拟信号输出端输出；

AD单元，用于将所述模拟摄像机输出的模拟图像数据转换成数字图像数据，并将转换后的数字图像数据输出。

较佳地，所述图像跟踪***还包括：显示器；

所述显示器的数字信号输入端与所述FPGA的数字信号输出端相连；

所述DSP单元还用于将进行目标搜索与跟踪后、并标记出目标的数字图像数据，通过本DSP单元的数字信号输出端返回给所述FPGA；

所述FPGA还用于将所述DSP单元返回的数字图像数据依据所述显示器的数据接收格式，输出到所述显示器进行显示。

较佳地，所述图像跟踪***还包括：

Flash存储器，用于存储所述DSP单元的运算处理程序。

较佳地，所述DSP具体为8核DSP。

根据本发明的另一个方面，还提供了一种图像跟踪***的图像数据处理方法，包括：

所述***中的FPGA将所述***中的视频图像采集模块输出的当前帧数字图像数据，通过本FPGA的数据存储端口存入所述***中存储器的第一存储区，并通过本FPGA的数据读取端口读取所述存储器中的第二存储区中的数据，进行灰度变换和中值滤波后，输出到所述***中的DSP单元；

所述DSP单元根据所述FPGA输出的数字图像数据进行目标搜索与跟踪。

进一步，所述***中的FPGA将接收到的当前帧数字图像数据存入所述***中存储器的第一存储区后，还包括：

所述FPGA将接收到的下一帧数字图像数据存入到所述存储器中的第二存储区；并读取所述存储器中的第一存储区中的数据，进行灰度变换和中值滤波后，输出到所述***中的DSP单元。

进一步，所述FPGA将接收到的数字图像数据，依次顺序存入到所述存储器的第一/二存储区，具体包括：

所述FPGA中的数据接收模块将接收到的数字图像数据缓存到本地缓存区中；在所述缓存区中缓存的数据达到设定字节时，产生该缓存区的数据满有效信号输出；所述FPGA中的数据存储模块接收到缓存区的数据满有效信号时，将该缓存区中的数据写入到第一/二存储区中。

进一步，在所述DSP单元根据接收到的数字图像数据，进行目标搜索与跟踪之后，还包括：

所述DSP单元将进行目标搜索与跟踪处理后、并标记出目标的数字图像数据，通过本DSP单元的数字信号输出端返回给所述FPGA；

所述FPGA将所述DSP单元返回的数字图像数据依据显示器的数据接收格式，输出到所述显示器进行显示。

由上述技术方案可知，本发明实施例提供的图像跟踪***，通过FPGA代替DSP对接收到的数字图像数据进行灰度变换和中值滤波、以去除数据中的干扰，并将进行目标搜索与跟踪后、并标记出目标的数字图像数据依据显示器的数据接收格式，输出到显示器进行显示，而多核DSP并行执行目标搜素与跟踪匹配复杂算法处理，从而提高对高分辨率视频图像中高速运动物体的实时处理能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，以下将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，以下描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，还可以根据这些附图所示实施例得到其它的实施例及其附图。

图1为现有的图像跟踪***的结构示意图；

图2为本发明实施例提供的图像跟踪***的结构示意图；

图3为本发明实施例提供的图像跟踪***的图像数据处理的方法流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。

本发明的发明人考虑FPGA（Field Programmable Gata Array，现场可编程门阵列）可以并行处理相对简单的算法，在本发明的实施例中采用大规模的FPGA替代DSP单元对数字图像数据进行预处理编码，并将进行目标搜索与跟踪后、并标记出目标的数字图像数据依据显示器的数据接收格式，输出到显示器进行显示，同时采用多核DSP并行完成对数字图像数据进行目标搜索与跟踪的复杂算法，从而提高对高分辨率视频图像中高速运动物体的实时处理能力。

下面结合附图详细说明本发明的技术方案。图1为本发明实施例提供的图像跟踪***的结构示意图。该***包括：视频图像采集模块201、FPGA202、存储器203、DSP单元204。

视频图像采集模块201的数字信号输出端与FPGA202的数字信号输入端相连，用于拍摄视频图像，输出数字图像数据。

FPGA202用于将视频图像采集模块201通过其数字信号输出端输出的当前帧数字图像数据，通过数据存储端口存入到存储器203的第一存储区；并通过数据读取端口读取存储器203中的第二存储区中的数据，进行灰度变换和中值滤波后，通过数字信号输出端输出。

存储器203的数据输入端口、数据输出端口分别与FPGA202的数据存储端口、数据读取端口相连，并被预先划分了第一存储区和第二存储区，用于分布存储数字图像数据。

本发明实施例中，存储器203具体可以包括DDR-SDRAM(Double DataRate Synchronous Dynamic Random Access Memory，双倍数据率同步动态随机存取存储器)与DDR-SDRAM控制器；DDR SDRAM具体为DDR2SDRAM(Double-Data-Rate Two Synchronous Dynamic Random AccessMemory,第二代双倍数据率同步动态随机存取存储器)或者DDR3SDRAM(Double-Data-Rate Three Synchronous Dynamic Random AccessMemory，第三代双倍数据率同步动态随机存取存储器)。

DSP单元204数字信号输入端通过SRIO（Serial Rapid I/O，快速串行IO接口）与FPGA202的数字信号输出端相连，根据FPGA202输出的数字图像数据进行目标搜索与跟踪。其中，DSP具体为8核DSP，DSP单元204进行目标搜索与跟踪所采用的算法与现有技术的算法相同，此处不再赘述。

进一步，FPGA202还用于在当前帧数字图像数据接收完毕后，将视频图像采集模块201通过其数字信号输出端输出的下一帧数字图像数据，通过FPGA202的数据存储端口存入到存储器203的第二存储区；并通过FPGA202的数据读取端口读取存储器203的第一存储区中的数据，进行灰度变换和中值滤波后，通过FPGA202的数字信号输出端输出。

进一步，视频图像采集模块201可以包括：数字摄像机。

数字摄像机用于拍摄数字图像数据，并将拍摄的模拟图像数据通过本数字摄像机的数字信号输出端输出。

或者，视频图像采集模块201可以包括：模拟摄像机、AD单元。

其中，模拟摄像机用于拍摄模拟视频图像，并将拍摄的模拟图像数据通过本模拟摄像机的模拟信号输出端输出；AD单元用于将模拟摄像机输出的模拟图像数据转换成数字图像数据，并将转换后的数字图像数据输出。

进一步，本发明实施例提供的图像跟踪***还包括：显示器205。

显示器205的数字信号输入端与FPGA202的数字信号输出端相连。

相应地，DSP单元204还用于将进行目标搜索与跟踪后、并标记出目标的数字图像数据，通过其数字信号输出端返回给FPGA202；

FPGA202还用于将DSP单元204返回的数字图像数据依据显示器205的数据接收格式，输出到显示器205进行显示。

实际应用中，若显示器205为VGA（Video Graphics Array，视频图形阵列）显示器，本发明实施例提供的图像跟踪***还可以包括：D/A单元。

相应地，FPGA202还用于将DSP单元204返回的数字图像数据输出到D/A单元；

D/A单元用于将FPGA202输出的数字图像数据转换为模拟电信号，并输出到显示器205进行显示。

进一步，本发明实施例提供的图像跟踪***还包括：Flash存储器206；

Flash存储器206用于存储DSP单元204的运算处理程序，保证DSP单元脱机运行。

图3为本发明实施例提供的图像跟踪***的图像数据处理的方法流程示意图。包括如下步骤：

S301：FPGA202将当前帧数字图像数据存入存储器203的第一存储区，并将存储器中203的第二存储区中的数据读取出来，进行灰度变换和中值滤波后，输出到DSP单元204。

本步骤中，FPGA202将视频图像采集模块201输出的当前帧数字图像数据，通过本FPGA的数据存储端口存入存储器203的第一存储区，并通过本FPGA的数据读取端口读取存储器203的第二存储区中的数据，进行灰度变换和中值滤波后，输出到DSP单元204。

具体地，FPGA202的数据接收模块将视频图像采集模块201输出的数字图像数据先缓存到本地的缓存区中，在缓存区中缓存的数据达到设定字节时，产生该缓存区的数据满有效信号输出，FPGA202中的数据存储模块接收到缓存区的数据满有效信号时，将该缓存区中的数据通过数据存储端口写入到第一存储区。之后，清空本地缓存区。

事实上，上述的第一存储区、第二存储区可以交替作为写存储区、读存储区；在本步骤中，第一存储区作为写存储区，第二存储区作为读存储区；那么，在FPGA202接收到下一帧完整的图像数据时，第二存储区将被作为写存储区，第一存储区将被作为读存储区。

S302：DSP单元204根据FPGA202输出的数字图像数据进行目标搜索与跟踪。

本步骤中，DSP单元204中的DSP为多核DSP可以对接收到的数字图像数据同时进行目标搜索与跟踪匹配运算，其中，目标跟踪算法具体采用鲁棒性强的Mean Shift算法，目标搜素与跟踪匹配的算法为本领域技术人员所熟知，此处不再赘述。

S303：DSP单元204将进行目标搜索与跟踪处理后、并标记出目标的数字图像数据返回给FPGA202。

S304：FPGA202将DSP单元204返回的数字图像数据依据显示器205的数据接收格式，输出到显示器205进行显示。

由上述技术方案可知，本发明实施例提供的图像跟踪***，通过FPGA代替DSP对接收到的数字图像数据进行灰度变换和中值滤波、以去除数据中的干扰，并将进行目标搜索与跟踪后、并标记出目标的数字图像数据依据显示器的数据接收格式，输出到显示器进行显示，而多核DSP并行执行目标搜素与跟踪匹配复杂算法处理，从而提高对高分辨率视频图像中高速运动物体的实时处理能力。

显然，本领域技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也包含这些改动和变型在内。

Claims (10)

1.一种图像跟踪***，其特征在于，包括：

视频图像采集模块，用于拍摄视频图像，输出数字图像数据；

FPGA，用于将所述视频图像采集模块通过其数字信号输出端输出的当前帧数字图像数据，通过本FPGA的数据存储端口存入到所述存储器的第一存储区；并通过本FPGA的数据读取端口读取所述存储器的第二存储区中的存储的上一帧数字图像数据，进行灰度变换和中值滤波后，通过本FPGA的数字信号输出端输出；

DSP单元，用于根据所述FPGA输出的数字图像数据进行目标搜索与跟踪。

2.根据权利要求1所述的图像跟踪***，其特征在于，

所述FPGA还用于在所述当前帧数字图像数据接收完毕后，将所述视频图像采集模块输出的下一帧数字图像数据，存入到所述存储器的第二存储区；并通过本FPGA的数据读取端口读取所述存储器的第一存储区中存储的数字图像数据，进行灰度变换和中值滤波后，通过本FPGA的数字信号输出端输出。

3.根据权利要求1所述的图像跟踪***，其特征在于，所述视频图像采集模块具体包括：

数字摄像机，用于拍摄数字视频图像，并将拍摄的数字图像数据通过本数字摄像机的数字信号输出端输出；或者，

所述视频图像采集模块具体包括：

模拟摄像机，用于拍摄模拟视频图像，并将拍摄的模拟图像数据通过本模拟摄像机的模拟信号输出端输出；

AD单元，用于将所述模拟摄像机输出的模拟图像数据转换成数字图像数据，并将转换后的数字图像数据输出。

4.根据权利要求1所述的图像跟踪***，其特征在于，所述图像跟踪***还包括：显示器；

所述显示器的数字信号输入端与所述FPGA的数字信号输出端相连；

所述DSP单元还用于将进行目标搜索与跟踪后、并标记出目标的数字图像数据，通过本DSP单元的数字信号输出端返回给所述FPGA；

所述FPGA还用于将所述DSP单元返回的数字图像数据依据所述显示器的数据接收格式，输出到所述显示器进行显示。

5.根据权利要求1所述的图像跟踪***，其特征在于，所述图像跟踪***还包括：

Flash存储器，用于存储所述DSP单元的运算处理程序。

6.根据权利要求1-5任一项所述的图像跟踪***，其特征在于，所述DSP具体为8核DSP。

7.一种图像跟踪***的图像处理方法，其特征在于，包括：

所述***中的FPGA将所述***中的视频图像采集模块输出的当前帧数字图像数据，通过本FPGA的数据存储端口存入所述***中存储器的第一存储区，并通过本FPGA的数据读取端口读取所述存储器的第二存储区中的数据，进行灰度变换和中值滤波后，输出到所述***中的DSP单元；

所述DSP单元根据所述FPGA输出的数字图像数据进行目标搜索与跟踪。

8.根据权利要求7所述的方法，其特征在于，所述***中的FPGA将接收到的当前帧数字图像数据存入所述***中存储器的第一存储区后，还包括：

所述FPGA将接收到的下一帧数字图像数据存入到所述存储器中的第二存储区；并读取所述存储器中的第一存储区中的数据，进行灰度变换和中值滤波后，输出到所述***中的DSP单元。

9.根据权利要求8所述的方法，其特征在于，所述FPGA将接收到的数字图像数据，依次顺序存入到所述存储器的第一/二存储区，具体包括：

所述FPGA中的数据接收模块将接收到的数字图像数据缓存到本地缓存区中；在所述缓存区中缓存的数据达到设定字节时，产生该缓存区的数据满有效信号输出；所述FPGA中的数据存储模块接收到缓存区的数据满有效信号时，将该缓存区中的数据写入到第一/二存储区中。

10.根据权利要求7所述的方法，其特征在于，在所述DSP单元根据接收到的数字图像数据，进行目标搜索与跟踪之后，还包括：

所述DSP单元将进行目标搜索与跟踪处理后、并标记出目标的数字图像数据，通过本DSP单元的数字信号输出端返回给所述FPGA；

所述FPGA将所述DSP单元返回的数字图像数据依据显示器的数据接收格式，输出到所述显示器进行显示。

Images