CN103488148B - 一种基于物联网和计算机视觉的家畜行为智能监控*** - Google Patents

Abstract

本发明首次通过融合物联网和计算机视觉技术实现对真实养殖场景的家畜的行为进行监测分析，首次构建基于无线WiFi技术的视频监控及传感器网络软硬件***，克服传统电缆安装成本高、耗时长、扩展困难的问题，通过融合物联网和计算机视觉技术实现对真实养殖场景的奶牛的行为进行监测分析，实现对几大类日常行为的监测分析，包括采食、饮水、反刍、***、运动、休息、探究等行为，同时监测异常事件的发生，对异常行为进行自动报警。

Description

一种基于物联网和计算机视觉的家畜行为智能监控***

技术领域

本发明涉及智慧农业技术领域，特别涉及一种利用物联网和计算机视觉技术对家畜行为进行监控的***。

背景技术

在家畜的生长过程中，采食、饮水、反刍、***、探究、应激等行为贯穿整个过程，并可以反映出生长发育过程中的不同阶段和不同生理状态。这些行为又可表现为正常行为和异常行为。其中，正常行为是遗传、本能以及后天对环境适应的反映，是家畜自我维护福利和健康成长的表现；而异常行为通常是在接受不良刺激或者生活在恶劣条件下所表现出的有悖于其生物学***都有十分重要的经济意义，这也是当前农业信息化及精准化研究的主要方向。

现阶段国内主要采用传统的人工观察方法对家畜的行为进行观察判断，由于人的时间、精力限制，养殖效率不高，且由于奶牛等家畜的养殖对环境的要求较高，工作人员无法频繁的进入养殖区域，因而很容易忽视养殖过程中的一些异常行为及事件，从而造成严重的经济损失。有些养殖场虽然安装有摄像装置，但也只是用于事后查验，未发挥预警监督的作用。随着智能视频分析与自动识别技术的发展，视频感知将成为最重要的感知技术，成为物联网信息感知层最重要的技术之一，视频物联网技术将成为最重要的物联网感知技术，而物联网也将因其智能、灵活、易于扩展和管理等优点而引起视频监控***的重大变革。通过物联网技术及智能视频分析技术应用于家畜养殖领域，可以自动发现监控场景中的异常情况，及时发出警报并提供有用信息，从而更加有效地协助工作人员处理异常，提高家畜养殖的智能化、自动化水平。

发明内容

本发明首次通过融合物联网和计算机视觉技术实现对真实养殖场景的家畜的行为进行监测分析，首次构建基于无线WiFi技术的视频监控及传感器网络软硬件***，克服传统电缆安装成本高、耗时长、扩展困难的问题，通过融合物联网和计算机视觉技术实现对真实养殖场景的奶牛的行为进行监测分析，实现对几大类日常行为的监测分析，包括采食、饮水、反刍、***、运动、休息、探究等行为，并在此基础上通过统计模型对上述日常行为进行统计分析，监测异常事件的发生，对异常行为进行自动报警。

本发明提供了一种家畜行为智能监控***，包括：家畜数据采集装置、无线传输模块、远程监控中心和信息中心数据库；其中，家畜数据采集装置将采样得到的数据通过无线传输模块传送到远程监控中心，远程监控中心对采样数据进行分析处理，信息中心数据库用于存储采集到的数据。

更进一步的，所述无线传输模块为WIFI传输模块；所述家畜数据采集装置包括多台摄像机、多个传感器、多台非接触式红外测温仪和无源RFID标签；所述多台摄像机之间间隔30度角并呈圆周布置，架设于畜舍的顶部，所述每台摄像机配置有WIFI通信单元，从而使多台摄像机之间构成高速无线局域网，所述多台摄像机的WIFI通信单元分别与智能监控***的WIFI传输模块链接，从而使每台摄像机构成一个WIFI网络节点，并向远程监控中心传输视频数据；所述多个传感器包括布置于家畜身体特定部位的运动传感器、地磁传感器、声音传感器，以及布置于畜舍的温湿度传感器，***通过运动传感器定时采集家畜的运动数据，通过地磁传感器定时采集家畜站立或爬卧的姿态数据，通过声音传感器检测家畜咳嗽的音频信号以进行感冒症状的报警，通过温湿度传感器采集畜舍的环境数据；所述每个传感器配置有WIFI通信单元，并与智能监控***的WIFI传输模块链接，从而使每个传感器构成一个WIFI网络节点，传感器之间构成高速无线局域网；所述多台非接触式红外测温仪被分别固定在每台摄像机上，并与摄像机共享WIFI通信，以实现在视频监控的同时检测家畜的体温；所述无源RFID标签位于项圈上并安装于家畜颈部，该无源RFID标签与家畜食槽上的RFID识别终端相对应，RFID识别终端读取标签数据后通过WIFI网络将该家畜的饮食数据信息传送到远程监控中心，提供给工作人员进行判断。

更进一步的，当非接触式红外测温仪测量到家畜身体部位体温达到或超过正常值时，非接触式红外测温仪上的报警器自动发出报警信息，远程监控中心接收报警信息并通过所述摄像机保存测温时的当前视频图片，报警信息和视频图片信息由无线WIFI网络传输到信息中心数据库，工作人员可通过视频图片上家畜的身份标识确定具体个体。

更进一步的，所述声音传感器采用项圈式声音传感器，其与无源RFID标签设置于同一项圈上。

本发明还提供了一种对家畜行为进行监控的方法，包括如下步骤：步骤一：通过所述多台摄像机、多个传感器、多台非接触式红外测温仪和无源RFID标签定时采集家畜的运动数据、姿态数据、体温数据、声音数据、环境数据、饮食数据和视频信息，并将上述采集到的数据信息通过WIFI网络传送到远程监控中心；步骤二：远程监控中心对上述采集到的运动数据、姿态数据、体温数据、声音数据、环境数据、饮食数据和视频信息进行数据融合，并建立视频信息和运动数据、姿态数据、体温数据、声音数据、环境数据、饮食数据之间的对应关系，对家畜的静态行为特征和动态行为特征进行识别；步骤三：远程监控中心根据识别出的家畜的静态行为特征和动态行为特征，来确定家畜的日常行为特征；步骤四：远程监控中心在家畜的日常行为特征的基础上，通过提取家畜的某一行为特征的频率和传感器获取的运动数据、姿态数据、体温数据、声音数据、来获得家畜的异常行为特征，并对异常行为特征进行实时的监控，及时发出报警信息，提供给工作人员参考。

更进一步的，步骤二还包括：通过对视频中家畜的外形边缘轮廓、个体外部形状、颜色进行匹配判断，识别家畜的静态行为特征；通过提取视频内容中的关键场景对象和提取运动传感器、地磁传感器采集数据中的时域特征、频域特征来识别动态行为特征。

附图说明：

图1是***硬件架构图；

图2监控摄像机及非接触式红外测温仪布置示意图；

图3***传感器示意图；

图4是智能监控方法流程图。

具体实施方式

以下具体实施例中的家畜以奶牛为例，但不限于奶牛。

智能监控***主要包括搭建面向真实养殖场景的行为监测***及开发软件平台。智能分析***硬件部分如图1所示，具体如下：

(1)通过架设在牛舍顶部的无线高清摄像机采集实时录制的监控视频资源，获得视觉信息，通过控制高清摄像机的摆放位置，获得最佳的可视效果，每台摄像机上安装高性能无线通信单元，优选为WIFI通信单元，使每台摄像机作为一个WIFI网络节点与***的WIFI传输模块相连，从而构成高速无线局域监控网，在牛舍中的任何地方都可以建立连接，便于快速安装使用。同时通过无线访问节点与信息中心网络无缝链接，实现视频信息的双向传播，达到无线网和有线网的互联。优选的是，若将牛场表示成360度圆，则每隔30度架设一个无线摄像头，对奶牛进行全方位监控，此时监控死角最小，目标识别效果最佳(如图2所示)；

(2)将非接触红外测温仪固定在每台摄像机上，并与摄像机共享WIFI通信单元以减少成本。在视频监控的同时检测奶牛的体温，当测量到奶牛身体部位体温达到或超过正常值时，非接触红外测温仪上的报警器发出报警信息，***则会认为奶牛在发烧或者身体某部位有炎症病变，并通过高清摄像机保存测温时的当前视频图片。报警和图片信息由无线WIFI网络传输到信息中心，工作人员可通过高清图片上奶牛的身份标识确定具体个体；实践中，通过该方式对奶牛乳腺炎检测效果良好。

(3)通过在牛颈上安装RFID标签，优选为无源RFID标签，若将该无源RFID标签制作为项圈式，则使用拆卸方便且不易脱落，效果最佳。该RFID标签与奶牛食槽上的RFID识别终端相对应，从而对每头牛进行身份识别，以便跟踪每头牛的饮食情况和规律，当某头奶牛饮食过于频繁或者长期不来饮食时，可推断该牛可能发生异常情况，RFID识别终端通过无线网络将该奶牛的饮食数据信息传送到监控中心，并进行报警，提供给工作人员进行二次判断；通过采用RFID技术识别牛的饮食状况，从而判断牛的肠胃疾病。

(3)通过安装于牛体或牛舍附近的各类传感器，包括运动传感器、地磁传感器、声音传感器、温湿度传感器，其布放位置可以根据家畜身体特征或养殖环境而具体确定，其中运动传感器用于监测奶牛的运动；地磁传感器用于监测奶牛站立或爬卧的姿态；声音传感器优选的采用项圈式声音传感器，其可与RFID挂在同一项圈上，声音传感器可检测奶牛咳嗽声音，进行感冒症状报警；在牛舍安装温湿度传感器采集奶牛生活环境数据，获取环境信息；此外，上述各类传感器配置有WIFI无线通信单元用于传输传感器数据或报警信息，同时也使每个传感器成为一个WIFI网络节点。各类传感器如图3所示。

(4)配备无线WiFi传输模块，用来传输摄像机和传感器采集到的数据，由于WiFi具有更好的可扩展性和安全性，因而能够实现电信级的多媒体通信服务。

(5)开发基于计算机视觉和微传感器信息的日常行为识别分析及异常事件的自动预警技术，在监控中心通过对各摄像机传回来的视频及各类传感器回传的个体信息进行定时的目标检测、行为识别等智能分析技术，对可能发生的异常行为或事件进行报警。监控中心可将感知到的多媒体信息自动存储到后台信息中心数据库，并可与信息中心交互操作，既减轻存储空间压力，也可保证数据的实时保存。

智能监控方法如图4所示，具体如下：

(1)面向行为识别的特征提取和选择

构造牛舍的背景模型，实现对奶牛个体的检测、跟踪和识别。针对奶牛的不同行为其行为表现和特征不同，开发针对不同类型行为识别的关键特征的选择和提取方法。

基于传感器信息的幅值、方差等时域特征，采用类平均距离算法对时域特征进行分类，以两类样本距离的最大值与最小值作为划分静态和动态行为的阈值，并以此阈值将行为初步分为静态和动态两大类。

对于一些静态行为，如休息、反刍等由于其不属于运动状态，从视觉角度出发，本***选择和提取包括奶牛个体的外形边缘轮廓、个体外部形状、颜色等图像特征进行匹配判断，用于静态行为的监测分析。

为了得到足够稳定的特征点，需要提取在较大程度投影变换、光照变化、图像模糊以及噪声存在情况下仍然稳定的特征点。因此通过计算三个尺度上的Laplacian算子的极大值方法对基准图像I_o进行特征点提取后，需要对提取的关键点进一步处筛选，以使最终得到的关键点k在上述干扰存在的情况下仍然具有较高的被检测概率P(k)。

当摄像头距离目标较远时，目标上的局部区域可被视为平面，则通过对当前视角下的目标图像进行仿射变换能够模拟目标在其他视角条件下的情况，设仿射变换矩阵为A，可被分解为如下形式：

$A=R_{\mathrm{\θ}}{R}_{\mathrm{\φ}}^{-1}{\mathrm{SR}}_{\mathrm{\φ}}---\left(1\right)$

式中R_θ和R_φ是两个角度参数分别为θ和φ的旋转矩阵，S＝diag[λ₁，λ₂]为尺度矩阵。分别在[-π，+π]范围内随机选取θ和φ，在[0.6，1.5]范围内随机选取λ₁和λ₂即可构造出随机的仿射变换矩阵A_rand，则与基准图像I_o具有随机的图像尺度、旋转角和视角差异的模拟图像I_rand为：

I_rand＝A_randI_o(2)

对于经过上述变换得到的模拟图像同样利用快速关键点检测方法进行关键点提取，设为在模拟图像I_i中求得的关键点，根据A_rand对其做逆仿射变换，可求得该特征点在基准图像I_o中对应的特征点k′的位置：

$k^{\′}=A_{rand}^{-1}\tilde{k}---\left(3\right)$

因此，随机产生N_total幅模拟图像，通过对是否在当前模拟图像Ii中提取到关键点k所对应的关键点进行计数，即可求得特征点k的被检测概率为：

$P\left(k\right)=\frac{N_{\det ected}}{N_{total}}---\left(4\right)$

式中N_detected为在N_total幅模拟图像中成功提取到与特征点k所对应的特征点的总图像数。对图片集的每个图片类a_i(i＝1，2，…，A)中的每张图片分别作上述处理，对每张图片取被检测概率P(k)最高的H个特征点作为下一节分类器的初始类进行训练。假设共有A个图片类，每个图片类中有Ao张图片，则每个图片类提取出AoH个特征区域，各特征区域所属的类c_i，j(i＝1，2，…，A；j＝1，2，…，AoH)即对应于分类器的初始类。

而对于动态行为，针对采食、饮水、***等行为的发生区域固定，采用基于SIFT特征粒子滤波跟踪算法和粗糙集分析算法提取视频内容中的关键场景对象作为语义知识特征，如食盆、饮水器、***区、围栏等，对于运动传感器和地磁传感器输出的信息，提取时域的信号幅值、方差等特征，同时通过小波变换技术提取频域特征。

(2)融合计算机视觉和传感器信息的奶牛日常行为自动识别模块。

针对奶牛的几类常见日常行为，如采食、饮水、反刍、***、运动、休息、探究等。采用融合视觉和无线传感器信息的分析理解，通过采用贝叶斯推理框架统一自下而上的图像特征组合和自上而下的基于规则和统计的知识引导方法，对各类行为的特征进行分类识别，实现对奶牛几类日常行为的自动分析识别。在求得训练集合B_train和分类器初始类c_i，j之后，对所有关键点在L×L范围内，按照均匀分布随机选取M×S对像素和的位置。

对于某行为类a_i中的特征点类c_i，j，将对应这M×S对像素位置上的灰度值和分别做如下计算：

$f_o=\left\{\begin{array}{cc}1& ifI\left(d_o^1\right)<I\left(d_o^2\right)\\ 0& otherwise\end{array}\right.o=1,2,\mathrm{...},M\&times;S---\left(5\right)$

设组合特征为：F_k＝(f₁，f₂，…f_M×S)。为降低存储量，并保证f_j之间具有足够的相关性，将求得的M×S个二元特征随机分为M组，每组包含S＝N/M个二元特征，并假设不同组的二元特征之间相互独立，组内二元特征之间具有相关性，将这些组定义为初始行为特征集F。

计算类c_i，j的M个F特征中的S个二元特征的值，记一个F特征为F_k，m＝[f_σ(m，1)，f_σ(m，2)，...，f_σ(m，S)]，m＝1，2，…，M，表示当前关键点的第计蕨，σ(m，s)(S＝1，…，S)表示范围是1，2，…，S的随机数。则F特征可表示为：F_k＝(F_k，1，F_k，2，…，F_k，M)。据此对每个随机F特征F_k，m和类c_i，j的类条件概率P(F_k，m/c_i，j)进行估计。

设F_k，m中二元特征序列转化为十进制数的值为x，则F_k，m能取到的最大值为x_max＝2^s，将P(F_k，m/c_i，j)记为：

$P_{x,c_{i,j}}=P\left(F_{k,m}\right|c_{i,j})---\left(6\right)$

则可以采用(7)式为约束条件对每个进行估计，估计公式为：

$P_{x,c_{i,j}}=\frac{N_{x,c_{i,j}}+N_r}{N_{c_{i,j}}+x_{max}{N}_r}---\left(7\right)$

式中为类c_i，j的训练样本中F_k，m取值为x的样本数，为类c_i，j的总样本数，N_r为常数项。

这样就得到贝叶斯推理分类器，即特征分类器，从而进行不同行为识别。

(3)基于统计的异常行为自动报警模块。

针对奶牛养殖中的几类常见异常行为，如踩踏、爬跨、病态、发情、应激等，研发位于总控***端的异常行为报警子***。该***通过视频智能分析为这几类行为建立AdaBoost样本统计模型，在奶牛个体的检日常行为识别的基础上，提取其行为频率及微传感器获取的运动等特征作为异常行为分析的基础，确定输入AdaBoost判别器的各参数，并对模型进行训练识别。首先通过SIFT点检测得到关键点：{k₁，k₂，…，k_N｝，然后利用AdaBoost训练框架得到N个强分类器｛C₁，C₂，…，C_N｝用于分别检测关键样本点。在建模和多目标跟踪的基础上，用层次结构语法表示监控场景中不同区域的语义和时空关联性，通过自动学习和因果推理实现对动态场景的高层语义理解和语义融合实现对几类异常行为的检测和预警，并结合非接触红外测温仪、声音传感器、RFID饮食数据等信息及时为工作人员提供牛舍的异常情况。

设获取的信息随机向量集合x＝(x_v)_v∈V，及相应图G＝(V，E)。集合V带有针对任意两个节点v和u定义的常见图解指标d(u，v)。

从虚假设Ho得到基准数据x＝(x_v)_v∈V：

Ho：x～f₀(x)(8)

把异常行为分布看成是具***置和标度条件下的异常似然函数混合模型。考虑固定标度s条件下的具***置混合模型，同时可以推广到各种标度(H₁：x～∑_s∑_v∈VP_v，sf_v，s(x)，其中，P_v，s，f_v，s(x)是位置v和标度s条件下的似然函数和先验概率)。为此，设f_v(x)，P_v分别是位置v和标度s条件下的似然函数和先验概率。于是，

$H_1:x~\underset{v\&Element;V}{\&Sigma;}{P}_v{f}_v\left(x\right)---\left(9\right)$

引入一些数学符号来描述局部模型。设ω_v，s是以v为圆心、s为半径的球体：进一步假设ω_v表示以v为圆心、s为固定半径的球体。用ω_v，ε表示ω_v半径ε范围内所有点的集合，即：ω_v，ε＝{u∈V|d(u，v)≤ε，v∈ω_v}。

子集上的f₀，f_v边缘分布表示为f₀(x_ω)。如果分布f₀和f_v满足以下Markovian和Mask假设，则认为异常具有局部结构。

1)Markov假设：如果观察值x形成Markov随机域，则认为f₀和f_v满足Markov假设。假设存在ε-领域，于是，当有圆环域时，x_v，v∈ω_v与有条件独立。

2)Mask假设：f₀和f_v在上的边缘分布相同：Markov表明，当有圆环域时，区域ω_v，s内的随机变量与内的随机变量相互独立。Mask假设表明，在ω_v区域外，异常和正常密度相同。

因此，有给定的图G＝(V，E)和关联特征x_v且v∈V。异常检测器就是将观测量x＝(x)_v∈V映射为{0，1}的决策规则π，其中0表示无异常，1表示异常。设最优异常检测器π可以实现“贝叶斯”Neyman-Pearson目标函数最小化。

贝叶斯：

$\underset{\mathrm{\&pi;}}{\max }\underset{{\mathrm{\&Omega;}}_{\mathrm{\&pi;}}}{\&Integral;}\underset{v\&Element;V}{\&Sigma;}{P}_v{f}_v\left(x\right)dx---\left(10\right)$

其中， $P_v\stackrel{\mathrm{\&Delta;}}{=}\underset{{\mathrm{\&Omega;}}_{\mathrm{\&pi;}}}{\&Integral;}{f}_0\left(x\right)dx\&le;\mathrm{\&alpha;}$

最优决策规则可被描述为：

其中，似然比函数L_v定义为L_v＝f_v(x)/f₀(x)，选择ξ使虚警概率小于α。

本发明提供的智能***和智能分析方法有效的解决了人工观察的低效和主观性，提高家畜养殖管理的自动化、科学化水平，并以此促进家畜精准养殖业的信息化技术发展，从而推动家畜产品生产效率的提高。此外，本发明的***采用物联网架构，即采用无线网络结合多类传感器和摄像机终端，即省去了传统的布线和线路维护费用，降低了安装成本，也使得监控***易于扩展，不受时间、地点限制，实现即插即用即看的便携的按需监控。

基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (3)

1.一种家畜行为智能监控***，包括：家畜数据采集装置、无线传输模块、远程监控中心和信息中心数据库；其中，家畜数据采集装置将采样得到的数据通过无线传输模块传送到远程监控中心，远程监控中心对采样数据进行分析处理，信息中心数据库用于存储采集到的数据；

其特征在于：

所述无线传输模块为WIFI传输模块；

所述家畜数据采集装置包括多台摄像机、多个传感器、多台非接触式红外测温仪和无源RFID标签；

所述多台摄像机之间间隔30度角并呈圆周布置，架设于畜舍的顶部，每台摄像机配置有WIFI通信单元，从而使多台摄像机之间构成高速无线局域网，所述多台摄像机的WIFI通信单元分别与智能监控***的WIFI传输模块链接，从而使每台摄像机构成一个WIFI网络节点，并向远程监控中心传输视频数据；

所述多个传感器包括布置于家畜身体特定部位的运动传感器、地磁传感器、声音传感器，以及布置于畜舍的温湿度传感器，***通过运动传感器定时采集家畜的运动数据，通过地磁传感器定时采集家畜站立或爬卧的姿态数据，通过声音传感器检测家畜咳嗽的音频信号以进行感冒症状的报警，通过温湿度传感器采集畜舍的环境数据；每个传感器配置有WIFI通信单元，并与智能监控***的WIFI传输模块链接，从而使每个传感器构成一个WIFI网络节点，传感器之间构成高速无线局域网；

所述多台非接触式红外测温仪被分别固定在每台摄像机上，并与摄像机共享WIFI通信，以实现在视频监控的同时检测家畜的体温；

所述无源RFID标签位于项圈上并安装于家畜颈部，该无源RFID标签与家畜食槽上的RFID识别终端相对应，RFID识别终端读取标签数据后通过WIFI网络将该家畜的饮食数据信息传送到远程监控中心，提供给工作人员进行判断；

当非接触式红外测温仪测量到家畜身体部位体温超过正常值时，非接触式红外测温仪上的报警器自动发出报警信息，远程监控中心接收报警信息并通过所述摄像机保存测温时的当前视频图片，报警信息和视频图片信息由无线WIFI网络传输到信息中心数据库，工作人员可通过视频图片上家畜的身份标识确定具体个体；

所述声音传感器采用项圈式声音传感器，其与无源RFID标签设置于同一项圈上。

2.一种利用权利要求1所述的家畜行为智能监控***对家畜行为进行监控的方法，包括如下步骤：

步骤一：通过所述多台摄像机、多个传感器、多台非接触式红外测温仪和无源RFID标签定时采集家畜的运动数据、姿态数据、体温数据、声音数据、环境数据、饮食数据和视频信息，并将上述采集到的数据信息通过WIFI网络传送到远程监控中心；

步骤二：远程监控中心对上述采集到的运动数据、姿态数据、体温数据、声音数据、环境数据、饮食数据和视频信息进行数据融合，并建立视频信息和运动数据、姿态数据、体温数据、声音数据、环境数据、饮食数据之间的对应关系，对家畜的静态行为特征和动态行为特征进行识别；

步骤三：远程监控中心根据识别出的家畜的静态行为特征和动态行为特征，来确定家畜的日常行为特征；

步骤四：远程监控中心在家畜的日常行为特征的基础上，通过提取家畜的某一行为特征的频率和传感器获取的运动数据、姿态数据、体温数据、声音数据来获得家畜的异常行为特征，并对异常行为特征进行实时的监控，及时发出报警信息，提供给工作人员参考。

3.如权利要求2所述的对家畜行为进行监控的方法，其特征在于，步骤二还包括：

通过对视频中家畜的外形边缘轮廓、个体外部形状、颜色进行匹配判断，识别家畜的静态行为特征；

通过提取视频内容中的关键场景对象和提取运动传感器、地磁传感器采集数据中的时域特征、频域特征来识别动态行为特征。