CN109302592A - 一种基于fpga的畜舍图像采集分析和传输*** - Google Patents

Abstract

本发明提供了一种基于FPGA的畜舍图像采集分析和传输***，包括视频图像采集模块、视频图像处理模块、图像编码压缩设计模块、数据通信传输模块和服务器模块；视频图像采集模块：对畜禽的视频图像进行采集，并编码转换成数字视频信号发送给视频图像处理模块；视频图像处理模块：对编码后的视频图像进行预处理以及模式识别，再采用单高斯模型进行运动检测跟踪，判别畜禽的个数；图像编码压缩设计模块：采用以DCT变换为基础的顺序有损编码压缩方式来进行分娩图像的压缩；数据通信传输模块：与终端进行数据通信，再将视频图像传输至远程的服务器模块；服务器模块：对视频图像接收、存储、决策和发布。

Description

一种基于FPGA的畜舍图像采集分析和传输***

技术领域

本发明涉及畜禽养殖领域，特别是一种基于FPGA的畜舍图像采集分析和传输***。

背景技术

随着牲畜养殖业向规模化、集约化方向发展，自动化技术在养殖中的应用日趋广泛，尤其以生猪养殖为代表。目前无线网络通信、视频监控等技术已经在设施养殖领域有所应用，但国内目前鲜有利用FPGA和机器视觉技术进行畜舍检测的研究报道，尤其在传统养殖方式中容易出现因人员疏忽而造成如母猪高危动作等一系列原因而造成的压死仔猪等现象出现，使得养殖业的经济效益受到影响。因此，对于畜舍状况准确、实时地检测，以及图像信息的实时传输成为当下发展需要解决问题。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于FPGA的畜舍图像采集分析和传输***。

为了解决上述技术问题，本发明提供了一种基于FPGA的畜舍图像采集分析和传输***，包括视频图像采集模块、视频图像处理模块、图像编码压缩设计模块、数据通信传输模块和服务器模块；

视频图像采集模块：对畜舍内畜禽的视频图像进行采集，并编码转换成数字视频信号发送给视频图像处理模块；

视频图像处理模块：对编码后的视频图像进行预处理以及模式识别，再采用单高斯模型进行运动检测跟踪，判别畜舍内畜禽的个数；

图像编码压缩设计模块：采用以DCT变换为基础的顺序有损编码压缩方式来进行分娩图像的压缩；

数据通信传输模块：与终端进行数据通信，再将视频图像传输至远程的服务器模块；

服务器模块：对视频图像接收、存储、决策和发布。

本发明中，视频图像采集模块包括OV7670芯片、FIFO存储器、电源管理芯片以及***接口电路，图像数据先放到FIFO缓冲中，再由FPGA芯片从FIFO中的读取数据、完成图像采集任务。

本发明中，包括图像的采集步骤：

步骤1：FPGA首先进行初始化，进而对OV7670模块进行初始配置，然后***进入等待状态；

步骤2：OV7670开始输出图像数据，FPGA等待接收图像帧同步信号，进入中断后开始判断是否可以向FIFO写入数据，当可以向FIFO写入数据时，图像数据开始以像素为单位写入FIFO，此时控制器将rFlag置1，wFlag置0；

步骤3：当检测到可以从FIFO缓存中读取数据，FPGA将复位FIFO的读指针，此时输出使能信号，读取FIFO时钟，从FIFO读取图像里第一像素高字节，继续读取FIFO时钟，从FIFO读取图像里第一像素低字节，图像数据并存入缓存中，如此循环读取，即可实时获取图像数据。

本发明中，视频图像处理模块对编码后的视频图像进行滤波、去噪、二值化预处理，然后进行模式识别，设定阈值分割畜禽目标，提取出目标对象，进行静态图像分析，接着采用单高斯模型进行运动检测跟踪，提取出目标对象的动态信息并进行分析，从而判别畜舍内畜禽的个数。

本发明中，图像编码压缩设计模块先将视频图像信号在频率域上进行变换，分离出高频和低频信息；然后对图像的高频部分进行压缩；下一步对变换后的浮点型频率系数进行量化，将之转换为整数；而后对每个8*8字块中的1个直流分量和63个交流分量分别进行编码，进而将原始图像信息压缩处理成JPEG形式信息。

本发明中，数据通信传输模块选用EM770W无线模块传输图像，EM770内置TCP/IP协议栈，支持WCDMA协议规定的标准AT指令集和部分可扩展AT指令集；利用基于Socket协议的通讯方式与终端进行数据通信，再将数据传输至远程服务器。

本发明中，控制人员通过服务器模块操作控制发送不同的指令，分别采集畜舍的相关信息，将接收的数据实时的保存到服务器端数据库，并对数据进行预处理，提供语音报警或者短信提醒。

本发明中，远程服务器通过网口对FPGA1设置IP，然后可以对不同IP的监测点发送开始监测命令，然后等待接收视频数据；FPGA1接收到命令后，对命令进行解析，控制视频编码器CMOS1进行视频采集；CMOS1把模拟视频信号转化为数字视频信号，储存在SDRAM2中，然后传输给FPGA1对视频图像进行处理和目标识别分析；FPGA1通过3G控制模块把处理后的视频图像信号传输给WCDMA模块，把分析得到的畜禽信息传输给UART4；WCDMA模块通过3G传输给远程服务器。

本发明中，远程服务器将控制指令以socket通信方式发送至网络中间件，接收到网络中间件的回传数据后，对数据进行深度处理并存储，同时将数据以网页的形式对外发布，用户可以通过外网计算机访问远程服务器查看数据信息。

在FPGA上实现运动目标检测方法的各功能模块，为实现畜禽状况的前端检测提供了技术保障。图像采用分组传输且每传一组数据都等待应答，这样确保图像完整传输，避免了丢包现象。

本发明对畜禽视频图像采集和传输***的设计，利用FPGA和无线传输通信的技术，实现了对畜禽视频图像的快速可靠采集，并通过无线网络上传到远程服务器，***传输速率满足数据上传的实时性要求。

本发明采用无线通信网络的方式，避免了因传统布线方式带来的成本和稳定性上的不足，高可靠性能够保证本***长期稳定工作。另外，无线通信网络具有较高的实时性，数据采集及时便捷，从而保障整体***的运行效率。

FPGA(Field－Programmable Gate Array)，即现场可编程门阵列，是作为专用集成电路(ASIC)领域中的一种半定制电路。

有益效果：本***对畜舍内畜禽进行视频图像检测，无需人工现场值守观看，通过分析记录畜舍内畜禽的行为，能够及时发现突发情况并通知饲养员采取相应措施，减少因突发情况处理不及时二造成的损失，整体提升养殖厂工作效率。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1是一种基于FPGA的畜舍图像采集分析和传输***的示意图；

图2是图像采集模块硬件电路图；

图3是图像采集流程图；

图4是视频图像处理模块的工作流程图；

图5是有损JPEG图像压缩流程图；

图6是通信流程图；

图7是整体框架图。

具体实施方式

下面将结合附图对本发明作详细说明。

本专利一种基于FPGA的畜舍图像采集分析和传输***，结合FPGA、CMOS摄像头和无线通信模块，选取具有代表性的猪舍为场景，设计了畜禽图像采集、处理与无线传输***，提出了一种功耗低、成本小、速度快的图像采集、处理和传输方案。内容包括：利用CMOS摄像头及视频编码芯片设计组成的畜舍视频图像采集模块，用来采集畜禽活动的视频图像信息；设计以FPGA为核心的畜禽视频图像处理模块，通过该模块实现对畜禽活动的视频图像进行处理分析并报警；采用基于3G技术的无线通信模块，将经过处理的视频图像信息及分析结果上传至监控中心服务器，并可同时将结果至饲养员的手机端，及时通知，及时处理。

要解决的关键问题：

(1)采集终端架构及硬件电路设计。

(2)视频图像的采集和彩色恢复。

(3)FPGA运动目标检测算法的固化。

(4)图像压缩算法。

(5)嵌入式网络视频通信。

本申请提案的技术方案的详细阐述

技术方案

***通过CMOS摄像头采集畜舍内畜禽的视频图像信息，经过视频编码芯片转换成特定格式的数字视频信号后，送入FPGA进行视频图像预处理，并对畜禽的视频图像进行特征分析，分析的结果和处理后的视频信号或图像信号经过压缩后由3G无线通信模块传送到服务器或其他符合协议的设备。服务器收到信息后进行分类处理，存入数据库，并在监控中心实时显示，并实时发布于网络上，若出现异常情况进行报警，并将结果通过短信发送给现场养殖技术人员，使其能够及时对母猪的分娩做出应对处理。

视频图像采集模块设计

图像采集模块使用OV7670，它是一款彩色CMOS型图像釆集集成芯片，提供高性能的单一小体积封装，应用范围十分广泛。FPGA通过I2C总线控制OV7670，同时采集模块需配合FIFO存储器、电源管理芯片以及***接口电路组成，模块硬件电路设计如图2所示，主要包括一个OV7670芯片、一个AL422FIFO芯片、一个SN74LVC1G00与非门、一个3.3V转2.8V电源芯片PAM3101DAB28、一个12MHz有源晶振以及与微控制器相连的扩展接口P1。

由于OV7670的像素时钟信号PCLK的频率比较高，而且采集过程中微控制器不能响应其他中断。所以在OV7670与FPGA之间添加一个FIFO缓存芯片。采集的图像数据先放到FIFO缓冲中，再由FPGA芯片从FIFO中的读取数据、完成图像采集任务。这样解决了OV7670与FPGA之间的时间序列匹配问题。本发明设计图像采集流程如图3所示。

如图3，FPGA核心控制部分对畜禽图像的采集主要两步：一是图像的存储，二是图像的读取，其采集步骤如下：

当FPGA首先对***电路设备进行初始化，进而对OV7670模块进行初始配置，然后***进入等待状态；

OV7670开始输出图像数据，FPGA等待接收图像帧同步信号，进入中断后开始判断是否可以向FIFO写入数据，一旦可以则图像数据开始以像素为单位写入FIFO，此时控制器将rFlag置1，wFlag置0；

一旦检测到可以从FIFO缓存中读取数据，FPGA将复位FIFO的读指针，此时输出使能信号，读取FIFO时钟，从FIFO读取图像里第一像素高字节，继续读取FIFO时钟，从FIFO读取图像里第一像素低字节，图像数据并存入缓存中，如此循环读取，即可以实时获取图像数据。

(2)视频图像处理模块设计

本发明设计了基于FPGA中EP4CE40平台的视频图像处理模块，包括畜禽目标分割以及目标识别预警。该模块首先对编码后的视频图像进行滤波、去噪、二值化等预处理，然后进行模式识别，设定阈值分割畜禽目标，提取出目标对象，进行静态图像分析，接着采用改进后的单高斯模型进行运动检测跟踪，提取出目标对象的动态信息并进行分析，从而判别畜禽的个数。视频图像处理模块的工作流程图如图4所示，首先获取当前帧图像并提取R分量，然后进行畜禽目标分割和运动目标检测，最后计算R分量图像中运动目标区域符合畜禽颜色特征的像素点个数S，如果S大于设定畜禽面积阈值S0，则检测出畜禽的个数，由此判别是否异常并报警。

(3)图像编码压缩设计

本发明使用JPEG标准作为图像压缩编码方式，为将图像压缩比最大化，进而采用以DCT变换为基础的顺序有损编码压缩方式来进行分娩图像的压缩。而进行DCT变换时，其主要方法是将图像分解为8×8或16×16的子块，并对每一个子块进行单独的DCT变换，然后对变换结果进行量化、编码。由于浮点数精度问题，可能产生舍入误差。因此，本发明采用改进的DCT整数变换。有损JPEG图像压缩流程如图5所示，首先将图像信号在频率域上进行变换，分离出高频和低频信息；然后对图像的高频部分进行压缩；下一步对变换后的浮点型频率系数进行量化，将之转换为整数；而后对每个8*8字块中的1个直流分量和63个交流分量(AC)分别进行编码，进而将原始图像信息便压缩处理成JPEG形式。

其中，JEPG压缩标准中图像压缩的量化操作，M×N的像素块经过DCT变换后依然为M×N的块。DCT变换与量化配合使用可以得到较好的压缩效果，经由DCT变换后大多高频系数非常小，经过量化后变为零，剩余系数很大程度上缩小了动态范围，减少了编码所需的比特数。

(4)数据通信传输模块设计

选用EM770W无线模块传输图像，EM770内置TCP/IP协议栈，支持WCDMA协议规定的标准AT指令集和部分可扩展AT指令集。同时本发明为了降低终端功耗，无线模块只有在用户需要时才被激活，其他时间处于睡眠状态。当需要模块进入睡眠状态时，在FPGA端将模块的串口接收端即UART1_RX和UART2_RX拉低。

利用基于Socket协议的通讯方式与终端进行数据通信，再将数据传输至远程服务器。通过该步骤可以实现FPGA与接收端的Socket三次握手协议，建立通信进行图像数据的发送，同时远程服务器进行图像数据的接收。本发明制定了如下基于TCP/IP协议的网络传输协议，如图6所示，首先，通过三次握手建立起连接,而后服务器发送数据获取服务请求到终端；终端响应服务请求并返回数据,等待服务器确认；服务器接收并读取相应数据，而后断开连接。

(5)服务器端程序设计

服务器端程序主要负责数据的接收、存储、决策和发布。以人性化的界面提供给监控中心控制人员，控制人员可以通过操作控制发送不同的指令，分别采集畜舍的相关信息。将接收的数据实时的保存到服务器端数据库，并对数据进行预处理，提供语音报警或者短信提醒。

服务器端网站主要依靠数据库中实时保存的信息，以网页的形式展示畜舍中视频图像和畜禽信息。

有益效果：

本***对畜禽进行视频图像检测，无需人工现场值守观看，通过分析记录畜禽的行为，能够及时发现突发情况并通知饲养员采取相应措施，减少因突发情况处理不及时二造成的损失，整体提升养殖厂工作效率。

在FPGA上实现运动目标检测方法的各功能模块，为实现畜禽状况的前端检测提供了技术保障。图像采用分组传输且每传一组数据都等待应答，这样确保图像完整传输，避免了丢包现象。

本发明对畜禽视频图像采集和传输***的设计，利用FPGA和无线传输通信的技术，实现了对畜禽视频图像的快速可靠采集，并通过无线网络上传到远程服务器，***传输速率满足数据上传的实时性要求。

本发明采用无线通信网络的方式，避免了因传统布线方式带来的成本和稳定性上的不足，高可靠性能够保证本***长期稳定工作。另外，无线通信网络具有较高的实时性，数据采集及时便捷，从而保障整体***的运行效率。

研究试验方法

总体上本项研究将采用先理论分析后实验验证，首先完成整个项目框图的规划，然后再将整个项目划分为若干个小单元，再对单项技术研究，进行分工研制，最后调试整合，具体研究方法如下。

(1)***概要设计(总体设计)。根据***的性能要求初步提出***的总体架构，从功能对***进行模块划分。本***中主要分为4个模块，分别为视频采集模块、视频图像处理模块、网络通信模块和远程服务器；之后再对每个模块进行软硬件设计。

(2)硬件详细设计。根据***概要设计的要求初步绘制出***所涉硬件的整体框图，然后再依据各个模块划分为各个子框图，对每个子框图进行功能和需求分析以及接口设计，分别对每个子框图进行硬件选型，而后分别绘制各个子框图的电路原理图，再根据原理图绘制PCB图，这就完成了***硬件的初步设计。

(3)硬件生产和焊接。根据电路PCB图生产出电路PCB板，然后再对PCB板进行焊接，焊接过程要做到模块化、边焊边测等，尽量避免短路、虚焊和漏焊等错误，提高***的调试效率。

(4)硬件测试。PCB板焊接完毕，要对其进行调试，先依据电路原理图和PCB图，用万用表等仪器对电路连接进行测试，保证各器件之间连接正确，然后，编写测试程序测试硬件是否工作正常，根据结果，局部调整硬件设计，以使硬件处于最佳工作状态，为后面的软件功能实现提供保证。

(5)软件详细设计。根据***概要设计的要求进行***的整体软件规划，将软件工作进行进一步细划分，根据实现功能将软件细分为小的软件模块，以各个软件模块为单元在小组内进行分工，软件工作是和硬件工作同步进行的。

(6)软件实现。软件分工后，各软件小组根据软件设计任务书进行各个功能模块的软件实现，并分别进行软件初步调试，其中主要工作内容是理论向计算机算法的转化。

(8)软硬件集成。在完成软硬件设计后，要对软硬件进行***集成，联机调试，测试整个***的运行性能，根据综合性能测试的结果，局部调整软硬件设计，以使***的稳定性和效率达到最佳。

根据以上研究和设计的方法，基本研制出了***的整体的软硬件框架，在这个框架的基础上进行性能测试，不断进行软硬件调整，最终完成***的设计。

技术路线

***描述：

本发明设计的图像采集和传输***由前端畜舍图像采集传输终端与后台远程服务器组成，前端图像采集传输终端通过无线通信网络将视频图像数据传输至后台远程服务器，远程服务器进行深度处理并存储数据，同时可将报警信息发送至饲养员手机端。

其中，图像采集传输终端主要包括CMOS摄像头、FPGA核心组件和无线通信传输模块组成，可实现畜禽视频图像的采集、色彩恢复、畜禽目标检测、图像压缩及无线传输。FPGA核心组件按功能划分为OV摄像头控制、SDRAM存储、色彩恢复、运动检测、图像压缩和3G控制等模块。而远程服务器通过接入网络实现畜禽视频图像的接收、存储和发布。

***整体框架：

如图7，***功能说明：

(1)畜禽视频图像采集分析与传输

远程服务器6通过网口对FPGA1设置IP，然后可以对不同IP的监测点发送开始监测命令，然后等待接收视频数据；FPGA1接收到命令后，对命令进行解析，控制视频编码器CMOS1进行视频采集；CMOS1把模拟视频信号转化为数字视频信号，储存在SDRAM2中，然后传输给FPGA1对视频图像进行处理和目标识别分析；FPGA1通过3G控制模块把处理后的视频图像信号传输给WCDMA模块，把分析得到的畜禽信息传输给UART4；WCDMA模块5通过3G传输给远程服务器6。

(2)远程服务器

远程服务器6将后台操控人员通过软件获取的控制指令以socket通信方式发送至网络中间件，接收到中间件的回传数据后，对数据进行深度处理并存储，同时具备报警等功能。同时将数据以网页的形式对外发布，用户可以通过外网计算机访问远程服务器查看相关数据信息。

本发明提供了一种基于FPGA的畜舍图像采集分析和传输***，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (9)

1.一种基于FPGA的畜舍图像采集分析和传输***，其特征在于，包括视频图像采集模块、视频图像处理模块、图像编码压缩设计模块、数据通信传输模块和服务器模块；

视频图像采集模块：对畜舍内畜禽的视频图像进行采集，并编码转换成数字视频信号发送给视频图像处理模块；

视频图像处理模块：对编码后的视频图像进行预处理以及模式识别，再采用单高斯模型进行运动检测跟踪，判别畜舍内畜禽的个数；

图像编码压缩设计模块：采用以DCT变换为基础的顺序有损编码压缩方式来进行分娩图像的压缩；

数据通信传输模块：与终端进行数据通信，再将视频图像传输至远程的服务器模块；服务器模块：对视频图像接收、存储、决策和发布。

2.根据权利要求1所述的一种基于FPGA的畜舍图像采集分析和传输***，其特征在于，视频图像采集模块包括OV7670芯片、FIFO存储器、电源管理芯片以及***接口电路，图像数据先放到FIFO缓冲中，再由FPGA芯片从FIFO中的读取数据、完成图像采集任务。

3.根据权利要求2所述的一种基于FPGA的畜舍图像采集分析和传输***，其特征在于，包括图像的采集步骤：

步骤1：FPGA首先进行初始化，进而对OV7670模块进行初始配置，然后***进入等待状态；

步骤2：OV7670开始输出图像数据，FPGA等待接收图像帧同步信号，进入中断后开始判断是否可以向FIFO写入数据，当可以向FIFO写入数据时，图像数据开始以像素为单位写入FIFO，此时控制器将rFlag置1，wFlag置0；

步骤3：当检测到可以从FIFO缓存中读取数据，FPGA将复位FIFO的读指针，此时输出使能信号，读取FIFO时钟，从FIFO读取图像里第一像素高字节，继续读取FIFO时钟，从FIFO读取图像里第一像素低字节，图像数据并存入缓存中，如此循环读取，即可实时获取图像数据。

4.根据权利要求1所述的一种基于FPGA的畜舍图像采集分析和传输***，其特征在于，视频图像处理模块对编码后的视频图像进行滤波、去噪、二值化预处理，然后进行模式识别，设定阈值分割畜舍内畜禽目标，提取出目标对象，进行静态图像分析，接着采用单高斯模型进行运动检测跟踪，提取出目标对象的动态信息并进行分析，从而判别畜舍内畜禽的个数。

5.根据权利要求1所述的一种基于FPGA的畜舍图像采集分析和传输***，其特征在于，图像编码压缩设计模块先将视频图像信号在频率域上进行变换，分离出高频和低频信息；然后对图像的高频部分进行压缩；下一步对变换后的浮点型频率系数进行量化，将之转换为整数；而后对每个8*8字块中的1个直流分量和63个交流分量分别进行编码，进而将原始图像信息压缩处理成JPEG形式信息。

6.根据权利要求1所述的一种基于FPGA的畜舍图像采集分析和传输***，其特征在于，数据通信传输模块选用EM770W无线模块传输图像，EM770内置TCP/IP协议栈，支持WCDMA协议规定的标准AT指令集和部分可扩展AT指令集；利用基于Socket协议的通讯方式与终端进行数据通信，再将数据传输至远程服务器。

7.根据权利要求1所述的一种基于FPGA的畜舍图像采集分析和传输***，其特征在于，控制人员通过服务器模块操作控制发送不同的指令，分别采集畜舍的相关信息，将接收的数据实时的保存到服务器端数据库，并对数据进行预处理，提供语音报警或者短信提醒。

8.根据权利要求1所述的一种基于FPGA的畜舍图像采集分析和传输***，其特征在于，远程服务器通过网口对FPGA1设置IP，然后可以对不同IP的监测点发送开始监测命令，然后等待接收视频数据；FPGA1接收到命令后，对命令进行解析，控制视频编码器CMOS1进行视频采集；CMOS1把模拟视频信号转化为数字视频信号，储存在SDRAM2中，然后传输给FPGA1对视频图像进行处理和目标识别分析；FPGA1通过3G控制模块把处理后的视频图像信号传输给WCDMA模块，把分析得到的畜禽信息传输给UART4；WCDMA模块通过3G传输给远程服务器。

9.根据权利要求1所述的一种基于FPGA的畜舍图像采集分析和传输***，其特征在于，远程服务器将控制指令以socket通信方式发送至网络中间件，接收到网络中间件的回传数据后，对数据进行深度处理并存储，同时将数据以网页的形式对外发布，用户可以通过外网计算机访问远程服务器查看数据信息。