CN104008367B - 基于计算机视觉的育肥猪的自动行为分析***及方法 - Google Patents

Abstract

本发明涉及一种基于计算机视觉的育肥猪的自动行为分析***及方法，采用摄像机采集猪舍内视频信息，传感器采集猪舍内环境信息。利用摄像机前对摄像机进行标定；在育肥猪背部进行标记，计算机视觉技术处理采集的视频信息，通过支持向量机对育肥猪的信息训练，自动检测目标育肥猪；利用计算机视觉方法对育肥猪进行目标跟踪；根据目标跟踪的信息和传感器采集的信息对目标育肥猪进行行为分析判定，判定育肥猪的异常行为，并对有可能出现的异常行为进行报警。本发明解决了传统育肥猪检测中仅对育肥猪的行为进行跟踪，而忽略了育肥猪猪舍环境对行为的影响，从而实现对育肥猪成长过程的准确检测，并对目标猪进行异常行为报警，可广泛应用于育肥猪领域。

Description

基于计算机视觉的育肥猪的自动行为分析***及方法

技术领域

本发明涉及动物行为检测技术领域，尤其涉及一种融合传感器信息与视频监控跟踪信息的自动行为分析***及方法。

背景技术

猪肉作为人们日常生活必不可少的消费品和营养品，其产量和质量与人民的健康生活息息相关。20世纪70年代以来，虽然我国已经形成高密度、集中化的养猪体系，养猪业得到了长足的发展，但是仍然存在着猪肉质量不高、出栏率低、生产效率低、养猪成本居高不下等诸多问题。规模化饲养技术密度高，往往会由于舍内环境调控设施不当，引起舍内环境条件差，不能满足猪的正常设立机能。猪舍内温度过高或者过低，湿度过大、舍内潮湿通常会引发病状；通风不良及有害气体的蓄积等因素，使猪产生不适感或休息不好；光照过强，猪处于兴奋状态，烦躁不安而引起猪的行为异常，从而影响生产力。

目前国内主要采用人工观察的方式监测猪的行为，该方法不但消耗人工大量的时间和精力，而且得到的观测数据主观性较强，无法准确地、连续地记录育肥猪行为。农业劳动力的日趋贫乏，必然要求智能化、视觉化、机械的农业。

计算机视觉是一个包括获取、处理、分析和理解图像信息的领域。利用计算机视觉技术对群养育肥猪的日常采食、饮水、***行为进行监测，对序列图像中的运动育肥猪进行实时的检测跟踪，记录育肥猪在一天内采食饮水量、饮水饮食次数、***次数，作为后续判断育肥猪是否有异常行为的依据，能够及时发现和诊治疾病，防止猪瘟的传播降低育肥猪疾病死亡率。同时避免因使用大量药品，影响猪肉的质量，对猪肉安全造成威胁。对满足人们的消费需求，提高人们的生活水平有很大的现实意义和应用价值。猪个体行为是否正常可以作为判断健康状况的重要指标。因此，利用计算机视觉技术对猪进行监控、跟踪的行为检测是亟待需要解决的重要课题。

现有技术公开了一种基于RFID和ARM嵌入式技术的猪行为自动监测***，该***将嵌入式***及FRID、GPRS无线网络相结合，用于自动化检测群养猪日常行为活动，检测是否存在异常行为，以便及时诊治出现异常的猪，并记录其生长过程。该技术仅仅对猪的行为进行检测，忽略了禽畜的行为随着环境的不同，其采食、饮水、***等亦会有所不同。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题就是如何提供一种基于计算机视觉的育肥猪***及方法，使其能够将育肥猪的行为与环境进行结合，并对异常行为进行分析处理。

(二)技术方案

为了解决上述技术问题，本发明提供了一种基于计算机视觉的育肥猪的自动行为分析***，其特征在于，包括多模态信息采集模块、多模态数据融合模块、视频图像检测模块、视频图像跟踪模块、动物行为分析模块；

其中多模态信息采集模块包括视频采集模块和环境信息数据采集模块，视频采集模块包括一个标定的CCD摄像机；

多模态数据融合模块包括硬件部分和软件部分；其中，硬件部分包括摄像机一台、图像采集卡和传感器接收器、环境传感器；软件部分包括多模态信息数据融合的计算机软件接口，硬件部分的摄像机要进行摄像机标定获取摄像机的几何模型参数；

视频图像检测模块，用于对目标猪进行检测；

视频图像检测模块包括视频图像获取模块，用于收集目标猪的视频信息；视频图像预处理模块，用于对获取模块收集的视频图像进行预处理；视频图像分割模块，将图像分为目标与背景两部分，并将目标猪从原图像中提取出来；

视频图像跟踪模块，包括跟踪模块和数据分析模块；

跟踪模块根据目标猪的生物量信息，对检测到的目标猪进行跟踪；

数据分析模块，通过对目标猪的形心位置的跟踪，计算出目标猪的运动加速度，运动轨迹，获取目标猪所在图像中的位置和区域划分信息，计算目标猪的体长和体宽；

动物行为分析模块，根据跟踪模块中的数据和多模态数据融合模块采集的猪舍环境数据，进行分析综合，判定是否为异常猪。

优选地，所述环境信息模块包括七个不同的传感器，包括粉尘、氨氮、硫化氢、光照、温度、湿度、二氧化碳七种传感器各一个，该模块用于采集猪舍的环境信息；

本发明还提供一种基于计算机视觉的育肥猪的自动行为分析方法，包括以下步骤：

步骤一：将育肥猪背部用不同图案进行标记，利用环境信息数据采集模块中的环境传感器对猪舍内进行信息数据采集；

步骤二：在猪舍中安装摄像机，对摄像机进行标定，通过摄像机的非线性模型，考虑镜头径向畸变影响，拍摄同方向显示模型，附着在理想的平面表面，获取摄像机成像的几何模型参数；获取参数后对目标猪进行视频采集，获取原始猪舍的采集视频序列；

步骤三：通过多模态数据融合模块，对多模态信息采集模块采集的数据进行整合，并对视频信息与环境信息进行对齐同步，获得猪舍的环境信息和当前时刻的猪的监控视频信息，并将目标猪的多模态信息采集模块中采集的数据传递给视频图像检测模块；

步骤四：视频图像检测模块获取视频信息后，计算机软件程序处理视频序列并对其进行检测，划分猪舍内不同区域，对不同的区域进行标记，并将检测目标传递给视频图像跟踪模块；

步骤五：视频图像跟踪模块的跟踪模块根据目标猪的生物量信息，对检测到的目标猪进行跟踪；

视频图像跟踪模块的数据分析模块，通过对目标猪的形心位置的跟踪，计算出目标猪的运动加速度，运动轨迹，获取目标猪所在图像中的位置和区域划分信息，计算目标猪的体长和体宽；并将视频图像跟踪模块的数据，结合多模态数据融合模块采集的环境传感器的信息，传递给动物行为分析模块；

步骤六：根据视频图像跟踪模块的信息，通过动物行为分析模块统计目标猪的***次数、躺卧时间、采食饮水次数、食物和水源消耗量，估算猪的体重、胴体瘦肉量、肥瘦度，判定目标育肥猪的异常行为，***根据异常情况将异常信息通过***发送短信到联系人手机上。

优选地，所述步骤四中视频图像检测模块进行处理视频数据包括以下步骤：

A：多模态数据融合模块，以无线路由的传输方式，将多模态信息采集模块采集的数据传输给计算机软件接口，计算机软件接口将数据传输给视频图像获取模块；

B：视频图像预处理模块将视频图像获取模块中的视频图像以帧为单位，对每帧图像进行高斯平滑处理，增强图像的目标和背景之间的差距；

C：对视频图像用视频图像分割模块进行图像分割，图像分割后继续对分割后的视频图像进行高斯平滑处理；

D：对处理后的图像进行前景图像和背景图像检测，根据摄像头的标定和背景区域像素点坐标，对猪舍内的区域划分为***区、采食区、活动区，并对***区和采食区用蓝色和绿色的四边形进行标注；

E：判定前景区域是否目标为育肥猪，若为育肥猪，则对其进行背部图案辨别，否则进行下一块前景区域辨别，若为育肥猪背部图案为目标育肥猪，将其设为目标育肥猪，否则查找下一帧前景区域，直至查寻到目标育肥猪，若找寻不到，则判为无此目标育肥猪；

优选地，所述步骤五中视频图像跟踪模块进行处理视频数据包括以下步骤：

A：根据视频图像检测模块检测出的目标，将目标育肥猪信息传递给视频图像跟踪模块，视频图像跟踪模块的跟踪模块对目标育肥猪进行目标跟踪；

B：将跟踪信息传递给视频图像跟踪模块的数据分析模块，数据分析模块根据目标育肥猪的质心位置和摄像机的标定，统计目标育肥猪的运动速度和运动加速度；

C：数据分析模块根据目标育肥猪的跟踪最小外接矩形的长度和摄像机的标定，计算目标猪的体长和体宽；

D：数据分析模块根据目标猪的形心位置，在一个二维运动空间中计算目标猪的形心运动轨迹。

优选地，所述步骤六中动物行为分析模块进行动物行为分析包括以下步骤：

A:根据多模态信息采集数据传送来的数据，监控猪舍内的环境各项指标，根据各项数据指标，通过打扫猪舍卫生、通风换气等措施，使猪生长在一个适宜的环境中；

B:根据摄像机采集图像中的区域划分，将视频图像根据坐标位置，划分为不同的区域，根据猪的形心所在区域，找到目标猪所在的运动区域；目标猪进入采食区域进食，若在此区域停留超过1min，则判定目标猪进行采食活动，若根据投喂模型中的食物水量减少量和目标猪饮水采食次数过少，则对目标猪进行标记，假定目标猪出现采食问题，进行软件报警处理，将异常采食信息发送短信到联系人手机上；

目标猪进入***区域且停留时间超过20s进行次数统计，若目标猪多次进入***区域，则假定该目标猪发生病情，进行软件报警处理，将报警信息用短信发送到联系人手机上；

C:通过多模态信息采集模块的传感器数据和目标猪异常数据，对目标猪的生活习性和生活状态进行分析，找出目标猪最佳的养殖环境；

D:根据目标猪的所在位置，判定目标猪的运动情况，若质心在质心点附近位置，就判定该目标猪为静止状态，根据静止状态的时间，统计目标猪的躺卧时间和运动时间；若目标育肥猪的静卧时间过长，且运动速度，运动时间过短，则假定该目标猪出现病情，通过软件报警***，将发送短信告知联系人；

E:根据跟踪目标猪最小外接矩形的长、宽、长宽比、摄像机的标定、猪的平均质量，估算目标猪的体重；而后根据跟踪目标猪的体重及目标猪长、宽、长宽比、背膘长度、猪的胴体周长，估算猪的胴体重量；

F:根据跟踪目标猪平均背膘厚度，平均最后肋处背膘厚，胴体重量，利用多元回归方程的瘦肉率最优数学模型估算瘦肉率，若瘦肉率达标，进行出栏提示。

(三)有益效果

本发明的一种基于计算机视觉的育肥猪的自动行为分析***及方法，采用摄像机采集猪舍内视频信息，传感器采集猪舍内环境信息。在利用摄像机前，对摄像机进行标定；在育肥猪背部进行图案标记，计算机视觉技术处理采集的视频信息，通过支持向量机对育肥猪的信息训练，自动检测目标育肥猪；利用计算机视觉方法对育肥猪进行目标跟踪；根据目标跟踪的信息和传感器采集的信息对目标育肥猪进行行为分析判定，判定育肥猪的异常行为，并对有可能出现的异常行为进行报警。该方法使得育肥猪自动行为分析过程中，智能的将育肥猪的行为与环境进行结合，从而实现对育肥猪成长过程的准确检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1：本发明提供的基于计算机视觉的育肥猪的自动行为分析方法的流程示意图；

图2：本发明提供的基于计算机视觉的育肥猪的自动行为分析***中视频图像检测模块的工作流程示意图；

图3：本发明提供的基于计算机视觉的育肥猪的自动行为分析***中视频图像跟踪模块的工作流程示意图；

图4：本发明提供的基于计算机视觉的育肥猪的自动行为分析***中动物行为分析模块的工作流程示意图；

具体实施方式

下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。

本实施例提供一种基于计算机视觉的育肥猪的自动行为分析***，包括多模态信息采集模块、多模态数据融合模块、视频图像检测模块、视频图像跟踪模块、动物行为分析模块；

其中多模态信息采集模块包括视频采集模块和环境信息数据采集模块，视频采集模块包括一个CCD摄像机，先进行摄像机标定，通过摄像机采集目标猪的日常行为视频信息，环境信息模块包括七个不同的传感器，包括粉尘、氨氮、硫化氢、光照、温度、湿度、二氧化碳七种传感器各一个，该模块用于采集猪舍的环境信息；

猪舍内的环境信息包括猪舍内的粉尘、氨氮、硫化氢的浓度和温度、光照、湿度、二氧化碳的各项指标，根据各项数据指标来检测环境信息；

多模态数据融合模块包括硬件部分和软件部分；多模态数据融合模块的硬件部分为环境传感器、摄像机一台、图像采集卡和传感器接收器，软件部分为多模态信息数据融合的计算机软件接口，硬件部分的摄像机要进行摄像机标定，获取摄像机的几何模型参数；

多模态信息采集模块将视频采集模块和环境信息数据采集模块的数据以无线的连接方式传送给图像采集卡和传感器接收器，图像采集卡对每一帧图像进行数字化转换，传感器接收器将接收到的信号整合成数据，图像采集卡和传感器接收器将收集到的数据传递给多模态数据融合模块，多模态数据融合模块的硬件部分是以路由的方式传递给多模态数据融合模块的软件部分，路由器接收硬件设备采集的数据，并将采集的数据由摄像机接口和传感器接口传递给计算机；

计算机获取到采集信息以后，采集的信息以相同时间戳的方式进行同步，多模态信息包括摄像机采集的视频序列数据和传感器采集的环境信息数据；

多模态数据融合模块对所收集的数据进行同步，将视频信息和环境信息进行同步处理，并把采集的数据传递给视频图像检测模块，同时对环境进行实时监控，检测环境是否有异常，环境的异常与否是引起目标猪异常的主要原因；

视频图像检测模块基于计算机视觉技术，运用计算机视觉的空间域图像增强技术对图像进行预处理，视频图像分割技术对视频图像进行分割，视频图像数学形态特征处理技术对视频图像进行目标连通；

视频图像跟踪模块的跟踪模块用于对目标猪检测后的跟踪，针对目标利用跟踪模块中核心算法为目标模型自适应更新算法对目标育肥猪进行跟踪；获取目标育肥猪跟踪以后，对目标育肥猪进行跟踪信息生成，根据摄像机的标定结果和跟踪信息，对育肥猪目标的运动行为进行分析综合；

视频图像跟踪模块的数据分析模块，通过对目标猪的形心位置的跟踪，计算出目标猪的运动加速度，运动轨迹，获取目标猪所在图像中的位置和区域划分信息，计算目标猪的体长和体宽；

动物行为分析模块，用视频图像跟踪模块采集的猪运动轨迹和多模态数据融合模块采集的猪舍环境数据为原始数据，综合分析目标猪的行为，判定猪的出栏状态，统计猪的躺卧站立时间，测量猪的体重，估算猪的胴体瘦肉量，猪的肥瘦度，统计猪的***次数，***根据异常情况将***异常信息通过***发送短信到联系人手机上；

目标猪的行为包括猪的采食饮水行为、***行为、运动行为；目标猪的异常行为包括：***次数过多，饮水、饮食不规律、不正常，运动行为过多或过少；异常行为判定的依据为：目标育肥猪加速度过高有可能产生异常的攻击行为，运动路径往复的有可能产生异常的刻板行为，运动速度过高有可能产生的刻板行为，长宽比过大有可能出现的咬尾行为；根据Canny边缘检测算法测算猪只轮廓，若在边缘在躺卧阈值之内，则猪只为躺卧状态，否则为直立状态，根据一天中的躺卧时间和直立时间统计猪只是否为异常猪只；利用猪只的速度和加速度信息，判定猪只的刻板行为；

本实施例中，视频图像检测模块用于对目标猪进行检测，利用桢间背景差分的方法对图像进行目标检测；视频图像检测模块对目标育肥猪进行检测，并对采食区域和***区域进行标注；对背景进行检测，利用摄像机的标定，根据标定所在的位置和猪舍内实际位置，对猪舍内的采食区域和***区域用蓝色和绿色四边形进行标注；对前景检测，若为要获取的育肥猪目标则对其进行利用形态学特征检测，利用桢间差分的方法对图像进行目标检测；通过差分图像的前景和背景的与运算的方法，得到形态学的差分图像，对育肥猪目标通过图像的连通性分析，进行判别是否为育肥猪，若检测到育肥猪，对育肥猪目标进行则对其背部图案获取分析，利用SVM进行背部图案分析综合判定，若育肥猪的背部图像为需要获取的目标育肥猪的图案，利用最小外接矩形进行标注；

具体地，多模态数据融合模块，以无线路由的传输方式，将多模态信息采集模块采集的数据传输给计算机软件接口，计算机软件接口将数据传输给视频图像获取模块；

视频图像预处理模块用于对视频图像进行预处理，视频图像按照帧的处理方式，通过对图像像素直接处理的图像的空间域增强技术，运用高斯平滑的图像平滑的方法，进行图像的预处理；

视频图像预处理模块中的高斯滤波采用离散化的窗口滑窗卷积的方式进行计算，高斯平滑的模版滤波模版为模版大小为3*3，δ＝0.8；

视频图像分割模块用于从原图像中提取出来，将图像分为目标与背景两部分，先采用阈值分割的方法，而后采用数学形态学特征的方法；

视频图像分割模块中的图像进行阈值分割方法利用多阈值的Otsu阈值分割的算法进行图像分割；采用的数字形态学特征的方法对分割后的图像进行目标检测，通过对图像的腐蚀，膨胀，使图像边界更加平滑，整个目标猪的连通；

图像形态学的方法中，图像腐蚀的作用是收缩图像，图像膨胀的作用是扩大图像，通过这些图像腐蚀和图像膨胀运算实现图像分割后的预处理、增强物体结构的功能，最终完成目标检测、目标跟踪；

本发明还提供一种基于计算机视觉的育肥猪的自动行为分析方法，包括以下步骤：

步骤一：将育肥猪背部用不同图案进行标记，利用环境信息数据采集模块中的环境传感器对猪舍内进行信息数据采集；

步骤二：在猪舍中安装摄像机，对摄像机进行标定，通过摄像机的非线性模型，考虑镜头径向畸变影响，拍摄同方向显示模型，附着在理想的平面表面，获取摄像机成像的几何模型参数；获取参数后对目标猪进行视频采集，获取原始猪舍的采集视频序列；

步骤三：通过多模态数据融合模块，对多模态信息采集模块采集的数据进行整合，并对视频信息与环境信息进行对齐同步，获得猪舍的环境信息和当前时刻的猪的监控视频信息，并将目标猪的多模态信息采集模块中采集的数据传递给视频图像检测模块；

步骤四：视频图像检测模块获取视频信息后，计算机软件程序处理视频序列并对其进行检测，划分猪舍内不同区域，对不同的区域进行标记，并将检测目标传递给视频图像跟踪模块；

步骤五：视频图像跟踪模块的跟踪模块根据目标猪的生物量信息进行跟踪；根据跟踪信息，视频图像跟踪模块的数据分析模块计算出猪的运动轨迹、运动加速度，获取目标猪所在图像中的位置和区域划分信息，计算目标猪的体长和体宽；并将视频图像跟踪模块的数据，结合多模态数据融合模块采集的环境传感器的信息，传递给动物行为分析模块；

步骤六：根据视频图像跟踪模块的信息，通过动物行为分析模块统计目标猪的***次数、躺卧时间、采食饮水次数、食物和水源消耗量，估算猪的体重、胴体瘦肉量、肥瘦度，判定目标育肥猪的异常行为，***根据异常情况将异常信息通过***发送短信到联系人手机上。

其中，步骤四中视频图像检测模块进行处理视频数据包括以下步骤：

A：多模态数据融合模块，以无线路由的传输方式，将多模态信息采集模块采集的数据传输给计算机软件接口，计算机软件接口将数据传输给视频图像获取模块；

B：视频图像预处理模块将视频图像获取模块中的视频图像以帧为单位，对每帧图像进行高斯平滑处理，增强图像的目标和背景之间的差距；

C：对视频图像用视频图像分割模块进行图像分割，图像分割后继续对分割后的视频图像进行高斯平滑处理；

D：对处理后的图像进行前景图像和背景图像检测，根据摄像头的标定和背景区域像素点坐标，对猪舍内的区域划分为***区、采食区、活动区，并对***区和采食区用蓝色和绿色的四边形进行标注；

E：判定前景区域是否目标为育肥猪，若为育肥猪，则对其进行背部图案辨别，否则进行下一块前景区域辨别，若为育肥猪背部图案为目标育肥猪，将其设为目标育肥猪，否则查找下一帧前景区域，直至查寻到目标育肥猪，若找寻不到，则判为无此目标育肥猪；

其中，步骤五中视频图像跟踪模块进行处理视频数据包括以下步骤：

A：根据视频图像检测模块检测出的目标，将目标育肥猪信息传递给视频图像跟踪模块，视频图像跟踪模块的跟踪模块对目标育肥猪进行目标跟踪；

B：将跟踪信息传递给视频图像跟踪模块的数据分析模块，数据分析模块根据目标育肥猪的质心位置和摄像机的标定，统计目标育肥猪的运动速度和运动加速度；

C：数据分析模块根据目标育肥猪的跟踪最小外接矩形的长度和摄像机的标定，计算目标猪的体长和体宽；

D：数据分析模块根据目标猪的形心位置，在一个二维运动空间中计算目标猪的形心运动轨迹。

其中，步骤六中动物行为分析模块进行动物行为分析包括以下步骤：

A:根据多模态信息采集数据传送来的数据，监控猪舍内的环境各项指标，根据各项数据指标，通过打扫猪舍卫生、通风换气等措施，使猪生长在一个适宜的环境中；

B:根据摄像机采集图像中的区域划分，将视频图像根据坐标位置，划分为不同的区域，根据猪的形心所在区域，找到目标猪所在的运动区域；目标猪进入采食区域进食，若在此区域停留超过1min，则判定目标猪进行采食活动，若根据投喂模型中的食物水量减少量和目标猪饮水采食次数过少，则对目标猪进行标记，假定目标猪出现采食问题，进行软件报警处理，将异常采食信息发送短信到联系人手机上；

目标猪进入***区域且停留时间超过20s进行次数统计，若目标猪多次进入***区域，则假定该目标猪发生病情，进行软件报警处理，将报警信息用短信发送到联系人手机上；

C:通过多模态信息采集模块的传感器数据和目标猪异常数据，对目标猪的生活习性和生活状态进行分析，找出目标猪最佳的养殖环境；

D:根据目标猪的所在位置，判定目标猪的运动情况，若质心在质心点附近位置，就判定该目标猪为静止状态，根据静止状态的时间，统计目标猪的躺卧时间和运动时间；若目标育肥猪的静卧时间过长，且运动速度，运动时间过短，则假定该目标猪出现病情，通过软件报警***，将发送短信告知联系人；

E:根据跟踪目标猪最小外接矩形的长、宽、长宽比、摄像机的标定、猪的平均质量，估算目标猪的体重；而后根据跟踪目标猪的体重及目标猪长、宽、长宽比、背膘长度、猪的胴体周长，估算猪的胴体重量；

F:根据跟踪目标猪平均背膘厚度，平均最后肋处背膘厚，胴体重量，利用多元回归方程的瘦肉率最优数学模型估算瘦肉率，若瘦肉率达标，进行出栏提示。

本发明***采用机器视觉技术自动识别育肥猪编号，采用视频监控跟踪的方式采集育肥猪动物行为，并对目标进行实时跟踪的方式，有效解决了遮挡和精度不够的问题，该***能够识别出育肥猪个体日常行为，避免了观察育肥猪过程中的主观性强、精确度、稳定性不够的缺点，从而实现了单个视频信息判断育肥猪个体的身份，本发明提出的技术方案是通过对视频信息和传感器信息的融合分析，实现了对视频中的育肥猪个体识别、监控和跟踪，从而分析育肥猪的动物行为特征。

本发明针对育肥猪的运动进行跟踪，既能分辨猪的个体，又能从育肥猪的个体行为监控跟踪其***行为和采食饮水行为，对育肥猪的活跃度及育肥猪的健康情况进行辨别，有效了解育肥猪的身体健康状况。

根据育肥猪的外形轮廓不同，本发明提出的技术方案利用识别图像的技术来判定育肥猪的个体的差异，利用视频信息抽取形状特征来对育肥猪进行个体分类。

本发明***采用以太网的方式进行服务器连接，有效解决了猪舍偏僻而无法远程监控的问题，利用网络摄像头，既能远程实时监控，又能所以在传输数据时效率更高、优越性更明显。

针对育肥猪行为的复杂性，利用传感器和视频信息进行综合判断，抽取其中的多模态信息特征，能够对动态行为进行更为准确的识别、监测、跟踪。

猪的运动行为、***行为、饮水行为是育肥猪健康与否的重要判断依据，本***利用计算机视觉技术准确监控跟踪了目标育肥猪的日常运动行为、***次数、采食频率，***能将育肥猪个体编号自动发给养殖人员，使得这个育肥猪能够得到及时检测其异常行为，从而降低疾病对育肥猪的生长、生产影响，有效提高育肥猪养殖的技术含量。

以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.基于计算机视觉的育肥猪的自动行为分析***，对育肥猪自动行为进行分析的方法，其特征在于，

其中，所述基于计算机视觉的育肥猪的自动行为分析***包括：

多模态信息采集模块、多模态数据融合模块、视频图像检测模块、视频图像跟踪模块、动物行为分析模块；

其中多模态信息采集模块包括视频采集模块和环境信息数据采集模块，视频采集模块包括一个标定的CCD摄像机；

多模态数据融合模块包括硬件部分和软件部分；其中，硬件部分包括摄像机一台、图像采集卡和传感器接收器、环境传感器；软件部分包括多模态信息数据融合的计算机软件接口，硬件部分的摄像机要进行摄像机标定获取摄像机的几何模型参数；

视频图像检测模块，用于对目标猪进行检测；

视频图像检测模块包括视频图像获取模块，用于收集目标猪的视频信息；视频图像预处理模块，用于对获取模块收集的视频图像进行预处理；视频图像分割模块，将图像分为目标与背景两部分，并将目标猪从原图像中提取出来；

视频图像跟踪模块，包括跟踪模块和数据分析模块；

跟踪模块根据目标猪的生物量信息，对检测到的目标猪进行跟踪；

数据分析模块，通过对目标猪的形心位置的跟踪，计算出目标猪的运动加速度，运动轨迹，获取目标猪所在图像中的位置和区域划分信息，计算目标猪的体长和体宽；

动物行为分析模块，根据跟踪模块中的数据和多模态数据融合模块采集的猪舍环境数据，进行分析综合，判定是否为异常猪；

所述育肥猪自动行为进行分析的方法包括以下步骤：

步骤一：将育肥猪背部用不同图案进行标记，利用环境信息数据采集模块中的环境传感器对猪舍内进行信息数据采集；

步骤二：在猪舍中安装摄像机，对摄像机进行标定，通过摄像机的非线性模型，考虑镜头径向畸变影响，拍摄同方向显示模型，附着在理想的平面表面，获取摄像机成像的几何模型参数；获取参数后对目标猪进行视频采集，获取原始猪舍的采集视频序列；

步骤三：通过多模态数据融合模块，对多模态信息采集模块采集的数据进行整合，并对视频信息与环境信息进行对齐同步，获得猪舍的环境信息和当前时刻的猪的监控视频信息，并将目标猪的多模态信息采集模块中采集的数据传递给视频图像检测模块；

步骤四：视频图像检测模块获取视频信息后，计算机软件程序处理视频序列并对其进行检测，划分猪舍内不同区域，对不同的区域进行标记，并将检测目标传递给视频图像跟踪模块；

步骤五：视频图像跟踪模块的跟踪模块根据目标猪的生物量信息进行跟踪；视频图像跟踪模块的数据分析模块，根据跟踪信息，计算出猪的运动轨迹、运动加速度，获取目标猪所在图像中的位置和区域划分信息，计算目标猪的体长和体宽；并将视频图像跟踪模块的数据，结合多模态数据融合模块采集的环境传感器的信息，传递给动物行为分析模块；

步骤六：根据视频图像跟踪模块的信息，通过动物行为分析模块统计目标猪的***次数、躺卧时间、采食饮水次数、食物和水源消耗量，估算猪的体重、胴体瘦肉量、肥瘦度，判定目标育肥猪的异常行为，***根据异常情况将异常信息通过***发送短信到联系人手机上；

所述步骤四中视频图像检测模块进行处理视频数据包括以下步骤：

A：多模态数据融合模块，以无线路由的传输方式，将多模态信息采集模块采集的数据传输给计算机软件接口，计算机软件接口将数据传输给视频图像获取模块；

B：视频图像预处理模块将视频图像获取模块中的视频图像以帧为单位，对每帧图像进行高斯平滑处理，增强图像的目标和背景之间的差距；

C：对视频图像用视频图像分割模块进行图像分割，图像分割后继续对分割后的视频图像进行高斯平滑处理；

D：对处理后的图像进行前景图像和背景图像检测，根据摄像头的标定和背景区域像素点坐标，对猪舍内的区域划分为***区、采食区、活动区，并对***区和采食区用蓝色和绿色的四边形进行标注；

E：判定前景区域是否目标为育肥猪，若为育肥猪，则对其进行背部图案辨别，否则进行下一块前景区域辨别，若为育肥猪背部图案为目标育肥猪，将其设为目标育肥猪，否则查找下一帧前景区域，直至查寻到目标育肥猪，若找寻不到，则判为无此目标育肥猪；所述步骤五中视频图像跟踪模块进行处理视频数据包括以下步骤：

A：根据视频图像检测模块检测出的目标，将目标育肥猪信息传递给跟踪模块，跟踪模块对目标育肥猪进行目标跟踪；

B：将跟踪信息传递给数据分析模块，数据分析模块根据目标育肥猪的质心位置和摄像机的标定，统计目标育肥猪的运动速度和运动加速度；

C：数据分析模块根据目标育肥猪的跟踪最小外接矩形的长度和摄像机的标定，计算目标猪的体长和体宽；

D：数据分析模块根据目标猪的形心位置，在一个二维运动空间中计算目标猪的形心运动轨迹；所述步骤六中动物行为分析模块进行动物行为分析包括以下步骤：

A:根据多模态信息采集模块传送来的数据，监控猪舍内的环境各项指标，根据各项数据指标，通过打扫猪舍卫生和通风换气，使猪生长在一个适宜的环境中；

B:根据摄像机采集图像中的区域划分，将视频图像根据坐标位置，划分为不同的区域，根据猪的形心所在区域，找到目标猪所在的运动区域；目标猪进入采食区域进食，若在此区域停留超过1min，则判定目标猪进行采食活动，若根据投喂模型中的食物水量减少量和目标猪饮水采食次数过少，则对目标猪进行标记，假定目标猪出现采食问题，进行软件报警处理，将异常采食信息发送短信到联系人手机上；

目标猪进入***区域且停留时间超过20s进行次数统计，若目标猪多次进入***区域，则假定该目标猪发生病情，进行软件报警处理，将报警信息用短信发送到联系人手机上；

C:通过多模态信息采集模块的传感器数据和目标猪异常数据，对目标猪的生活习性和生活状态进行分析，找出目标猪最佳的养殖环境；

D:根据目标猪的所在位置，判定目标猪的运动情况，若质心在质心点附近位置，就判定该目标猪为静止状态，根据静止状态的时间，统计目标猪的躺卧时间和运动时间；若目标育肥猪静卧时间过长，且运动速度，运动时间过短，则假定该目标猪出现病情，通过软件报警***，将发送短信告知联系人；

E:根据跟踪目标猪最小外接矩形的长、宽、长宽比、摄像机的标定、猪的平均质量，估算目标猪的体重；而后根据跟踪目标猪的体重及目标猪长、宽、长宽比、背膘长度、猪的胴体周长，估算猪的胴体重量；

F:根据跟踪目标猪平均背膘厚度，平均最后肋处背膘厚，胴体重量，利用多元回归方程的瘦肉率最优数学模型估算瘦肉率，若瘦肉率达标，进行出栏提示。