CN102509085A - 基于轮廓不变矩特征的猪行走姿态识别***和方法 - Google Patents

Abstract

一种基于轮廓不变矩特征的猪的行走姿态识别的方法及其***，该方法包含如下特征：利用视频图像采集***采集猪行走姿态视频图像；综合采用背景减除法提取视频序列中的运动目标猪的轮廓；利用边界矩的不变性，提取猪行走姿态的轮廓特征；采用模板匹配分类法实现对猪行走姿态的识别。

Description

基于轮廓不变矩特征的猪行走姿态识别***和方法

技术领域

本发明涉及图像处理和机器视觉技术，具体涉及机器视觉图像识别部分中的特征提取、模式识别技术以及动物行为分析技术。

背景技术

随着农业现代化的发展，农业各部门领域都朝着自动化、信息化、智能化方向稳步前进。我国是世界养猪生产和猪肉消费第一大国，近年来，随着规模养猪业的发展，猪病的流行与蔓延是制约养猪业高效高产的主要问题。在猪病产生的早期，总会出现一些异常行为，如起卧不停、行走姿态萎靡、步态疲沓和长时间躺卧等。如果能及时发现这些异常行为，果断采取隔离措施，切断病猪传染源，就可将损失降到最低程度。

然而，对动物异常行为通常采用人工观察和手工记录，一方面观察人员劳动强度大，且工作环境差，长时间在猪舍中观察将严重影响工作人员的健康；另一方面由于仅靠人工观察，因人手紧、成本高以及人的疲劳和认知程度等因素导致信息疏漏等现象发生，所以寻找更可靠、更精确、更方便的发现手段成了迫切需要。随着计算机技术的不断发展，计算机设备的价格不断下降，计算能力等性能得到了极大的提高，计算机视觉技术将会应用到各个领域。因为它融合了计算机科学、图像工程、模式识别、人工智能等先进技术，技术特征正好符合上述需要。为此，利用机器视觉代替人工观察来进行猪的行走姿态识别是一个必然趋势，这对保护养殖工人的身心健康、提高他们的工作效率具有非常重要的现实意义。

计算机***在识别目标图像时，往往希望该识别***能具备如下重要特征：对图像平移、旋转及比例等变换具有不变性，即无论被识别的图像目标在视场中作平移、旋转、放大或缩小，都能正确识别而不发生错误。不变矩算法就是一种通过提取具有平移、旋转和比例不变性的数学特征进行图像识别的方法。它是一种以图像分布的各阶矩来描述灰度统计特性的矩描述方法。

模板匹配是数字图像处理的重要组成部分之一。模板匹配法是将所要检测的物体的样本与像场中所有位置的物体进行比较，考察是否存在与模板匹配的物体。传统模板匹配算法计算量大，像场中景物的平均灰度值的变化会影响匹配结果的正确性，并且对于像场中景物的方位旋转和尺度缩放不具有适应性。

本发明采用具有平移、旋转、尺度缩放不变性的结构矩特征提取方法来获取特征值，然后采用模板匹配法结合特征值的方法进行猪行为姿态识别，该方法克服了传统模板匹配法的缺陷，提取特征值后进行相似度比较，以区分正常站立(行走)、低头站立、抬头站立、躺卧等行为，实现猪行为的识别。

发明内容

本发明提出一种基于轮廓不变矩特征的猪的行走姿态识别***和方法。该发明为研制基于机器视觉的养殖场中猪的精神状态和异常行为识别装备提供一种新的基本方法。

在本发明中，以CCD相机、图像采集卡和计算机等构建一个图像采集控制平台，完成图像的自动采集；以计算机为处理器，以Visual C++6.0/OpenCV软件开发工具，运用数字图像处理技术，构建图像处理***。运用机器视觉技术，对行走姿态进行识别；最后将图片和检测结果等信息存储在计算机中，以供查询。

本发明所述的基于轮廓不变矩特征的猪的行走姿态识别***，包括摄像机、图像采集卡和计算机；摄像头是一种基于CCD图像传感器的图像获取设备，用来获取目标图像。本***采用彩色工业数字摄像机采集养殖场内猪的图像。图像采集卡是摄像头和计算机的接口，它对模拟信号进行采样并作A/D转换成为数字信号，并把摄像机所得到的图像信息进行解码转化为能在计算机中进行存储和处理的图像数据格式。计算机是图像处理及识别的核心部分。采集到的图像由图像采集卡传送到计算机中，并由计算机根据本发明的图像处理及识别算法进行处理，实现对运动目标猪的图像的预处理、目标检测、特征提取及行走姿态的识别。本发明采用数字摄像机采集养猪场内猪的视频图像。由于养殖场环境恶劣等因素，必需对采集到的原始图像进行预处理，并获得猪舍场景的的背景图像。采用背景减除法提取视频序列中的运动目标猪的轮廓，并利用最大类间方差法对目标图像进行二值化处理，再对二值化后的图像进行中值滤波、数学形态学开闭运算和内部区域填充处理，再用Canny算子作边缘检测，提取出原始图像中猪的轮廓图像。然后，利用边界不变矩特点构建一个描述猪的行走姿态的轮廓特征向量模型，提取相应的特征向量。分别计算待识别样本猪的轮廓特征向量与标准行为样本中猪的轮廓特征向量，并计算上述两者的特征向量的欧氏距离，经比较获得待识别样本与某一类标准样本的最小欧氏距离，实现对猪的四种行走姿态，如正常站立(行走)、低头站立、抬头站立、躺卧的识别。

附图说明

图1是本发明的硬件结构示意图；

图2是本发明的软件设计流程图；

图3是猪行为姿态轮廓提取示意图；

图4是猪的四类标准行为姿态轮廓图；

图5是猪行为姿态识别流程图。

具体实施方式

图像采集及处理***的硬件主要由摄像机、图像采集卡和计算机等设备构成。***硬件结构如图1所示。摄像头是一种基于CCD图像传感器的图像获取设备，用来获取目标图像。本***采用彩色工业数字摄像机采集养殖场内猪的图像。图像采集卡是摄像头和计算机的接口，它对模拟信号进行采样并作A/D转换成为数字信号，并把摄像机所得到的图像信息进行解码转化为能在计算机中进行存储和处理的图像数据格式。计算机是图像处理及识别的核心部分。采集到的图像由图像采集卡传送到计算机中，并由计算机根据本发明的图像处理及识别算法进行处理，实现对运动目标猪的图像的预处理、目标检测、特征提取及行走姿态的识别。

本发明的设计流程图如图2所示。下面结合附图说明本发明实施方式的具体步骤。

1.由图像采集***采集猪的视频图像并进行图像处理

运用图像处理算法，对待测猪目标进行相关的图像预处理和图像分析。算法主要包括：猪行为姿态视频序列采集、背景提取、前景区域提取(目标检测)、形态学处理、图像分割、边缘检测等，重点是采用背景减除法提取视频序列中猪行为姿态的轮廓，保证采集的图像清晰，无噪声干扰，为后续图像处理与识别提供好的条件。

采用背景减除法提取视频序列中猪行走姿态的轮廓的具体方法如下：

(1)前景区域提取。将目标图像与提取的背景图像作差分运算，获取前景区域，即运动目标----猪。

(2)图像分割。对差分后得到的图像进行Otsu(最大类间方差法)自适应阈值分割。

(3)图像预处理。对分割结果进行中值滤波、数学形态学开闭运算，以去除噪声，平滑边界，消除碎块，并进行内部区域填充。对于二值图像而言，目标为“1”，而背景为“0”，内部填充即将目标内部值为“0”的像素点的值设置为“1”。

(4)边缘轮廓提取。利用Canny算子作边缘检测，获取目标轮廓。

轮廓提取过程如图3所示。实验表明，该方法能准确获取目标轮廓，且其边缘具有连续、平滑的特点。

2.猪行走姿态的轮廓特征提取

图4为猪的四种标准轮廓行走姿态的轮廓图。轮廓是物体在场景中的完整边界，是重要的特征和形状表示方法。目标猪的边界要比目标区域的像素要少得多，因此，本发明只沿着目标边界计算边界矩，计算量大大减小，且边界矩具有平移、旋转、尺度缩放等不变性。当目标猪有位移、平移及尺度变化时，仍可将它们分为同一类的目标，可以避免误分类。

定义(p+q)阶边界矩为

$m_{p+q}=\underset{(x,y)\∈C}{\mathrm{\Σ}}{x}^p{y}^{q}p,q=\mathrm{0,1}\mathrm{\Λ}---\left(1\right)$

式中，m_p+q为(p+q)阶边界矩，C为目标边界曲线；(x，y)为边界上点的坐标。

则(p+q)阶的中心化边界矩为

${\mathrm{\μ}}_{\mathrm{pq}}=\underset{(x,y)\∈C}{\mathrm{\Σ}}{(x-\stackrel{\‾}{x})}^p{(y-\stackrel{\‾}{y})}^q$

p，q＝0，1，Λ                      (2)

式中， $\stackrel{\‾}{x}=\frac{m_{10}}{m_{00}};\stackrel{\‾}{y}=\frac{m_{01}}{m_{00}}.$ (m表示边界矩。)

定义规格化的边界矩为

${\mathrm{\η}}_{\mathrm{pq}}=\frac{{\mathrm{\μ}}_{\mathrm{pq}}}{{\mathrm{\μ}}_{00}^{p+q+1}},p+q=\mathrm{2,3}\mathrm{\Λ}---\left(3\right)$

从规格化的二阶矩和三阶矩可以导出一组7个不变矩，如(4)式：

$\left\{\begin{array}{c}{\mathrm{\φ}}_1={\mathrm{\η}}_{20}+{\mathrm{\η}}_{02}\\ {\mathrm{\φ}}_2={({\mathrm{\η}}_{20}-{\mathrm{\η}}_{02})}^2+4{\mathrm{\η}}_{11}^2\\ {\mathrm{\φ}}_3={({\mathrm{\η}}_{30}-3{\mathrm{\η}}_{12})}^2+{({\mathrm{\η}}_{03}-3{\mathrm{\η}}_{21})}^2\\ {\mathrm{\φ}}_4={({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2+{({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})}^2\\ {\mathrm{\φ}}_5=({\mathrm{\η}}_{30}-3{\mathrm{\η}}_{12})({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})[{({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2-\\ 3{({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})}^2]+(3{\mathrm{\η}}_{21}-{\mathrm{\η}}_{03}){({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})}^2\×\\ [3{({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2-{({\mathrm{\η}}_{21}+{\mathrm{\η}}_{30})}^2]\\ {\mathrm{\φ}}_6=({\mathrm{\η}}_{20}-{\mathrm{\η}}_{02})[{({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2-\\ {({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})}^2]+4{\mathrm{\η}}_{11}({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})\×\\ ({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})\\ {\mathrm{\φ}}_7=({3\mathrm{\η}}_{21}-{\mathrm{\η}}_{03})({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})[{({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2-\\ 3{({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})}^2]+(3{\mathrm{\η}}_{12}-{\mathrm{\η}}_{30})({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})({\mathrm{\η}}_{21}+\\ {\mathrm{\η}}_{03})[3{({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2-{({\mathrm{\η}}_{21}+{\mathrm{\η}}_{30})}^2]\end{array}\right.---\left(4\right)$

计算每种行为姿态轮廓的7个边界不变矩特征向量，运用7个边界不变矩特征向量构成特征向量组，用来表示各种目标的轮廓特征。由于每种行为姿态的轮廓图像具有较为明显的差异，因此，代表不同目标类型的特征向量组也会存在较明显的差异，由此可以利用比较最小欧氏距离来实现行走姿态的识别分类。

假设待识别样本与标准样本的特征向量分别为

z_t＝[z_t1，z_t2，Λ，z_tn]^T    (5)

z_s＝[z_s1，z_s2，Λ，z_sn]^T    (6)

式(5)和(6)中，T表示矩阵转置，t表示待识别样本，s表示标准样本。

对采集的四种典型的猪行为姿态视频图像，计算猪轮廓的Hu不变矩，运用轮廓的不变矩特征建立一个轮廓特征向量模型，然后，构建每类行为姿态的标准模板供实时分类识别时作参考比较。在实时分类识别中，再对采集的猪行为姿态视频图像进行图像处理，提取猪行为的边缘轮廓，计算猪轮廓的Hu不变矩，运用轮廓的不变矩特征形成相应的轮廓特征向量组。

3.对猪的行为姿态进行分类和识别

分析比较待测行为姿态轮廓特征向量与每类标准模板之间的欧氏距离，根据最小欧氏距离的模板匹配算法对猪的行走姿态进行识别和分类。

根据式(5)计算待识别样本的特征向量z_t＝[z_t1，z_t2，Λ，z_tn]^T，并与标准样本的特征向量z_s＝[z_s1，z_s2，Λ，z_sn]^T进行比较，则两类样本特征向量之间的欧氏距离可用式(7)求得，即

$d=\left|\right|z_t-z_s\left|\right|=$

$\sqrt{{(z_{t1}-z_{s1})}^2+{(z_{t2}-z_{s2})}^2+\mathrm{\Λ}{(z_{\mathrm{tn}}-z_{\mathrm{sn}})}^2}---\left(8\right)$

经比较，获得待识别样本与某一类标准样本的最小欧氏距离，实现对猪的四种行走姿态，如正常站立(行走)、低头站立、抬头站立、躺卧的识别。猪行走姿态识别流程图如图5所示。具体步骤如下：

(1)采集标准行为入库，将四类行为姿态的标准特征数据边界矩特征作为标准样本的特征向量，将四类行为用z_s＝[z_s1，z_s2，Λ，z_sn]^T表示，式中，s取值为1、2、3、4，表示行走姿态的类别，即正常站立(行走)、低头站立、抬头站立、躺卧4类；n的取值为7，表示每个特征都由7个分量组成。

(2)从摄像头逐帧读取实时图像，将实时获取的含有猪行走姿态的视频序列图像作为待识别样本，提取特征向量z_t＝[z_t1，z_t2，Λ，z_tn]^T，其中n取值为7。

(3)计算欧氏距离，分别计算待识别样本的特征向量z_t与标准样本中的各类行为的特征向量z_s的欧氏距离，待测行为与标准样本(正常站立(行走)、低头站立、抬头站立、躺卧)之间的欧氏距离分别为d₁，d₂，d₃，d₄。

(4)根据欧氏距离最小的原理，判断d₁，d₂，d₃，d₄中的最小值，由该最小值决定待测行为属于相应的标准样本行为类别。

Claims (4)

1.一种基于轮廓不变矩特征的猪的行走姿态识别***，包括摄像机、图像采集卡和计算机；摄像头是一种基于CCD图像传感器的图像获取设备，用来获取目标图像；图像采集卡是摄像头和计算机的接口，它对模拟信号进行采样并作A/D转换成为数字信号，并把摄像机所得到的图像信息进行解码转化为能在计算机中进行存储和处理的图像数据格式；计算机是图像处理及识别的核心部分；采集到的图像由图像采集卡传送到计算机中，并由计算机根据本发明的图像处理及识别算法进行处理，实现对运动目标猪的图像的预处理、目标检测、特征提取及行走姿态的识别。

2.一种基于轮廓不变矩特征的猪行走姿态识别方法，该方法包含如下特征：利用视频图像采集***采集猪行走姿态视频图像；综合采用背景减除法提取视频序列中的运动目标猪的轮廓；利用边界矩的不变性，提取猪行走姿态的轮廓特征；采用模板匹配分类法实现对猪行走姿态的识别。

3.根据权利要求2所述的一种基于轮廓不变矩特征的猪行为姿态识别方法中的猪行为姿态的轮廓特征提取的特征是：利用边界矩具有平移、旋转、尺度缩放等不变性，提取7个边界不变矩特征向量作为行走姿态的轮廓特征。

4.根据权利要求2所述的一种基于轮廓不变矩特征的猪行走姿态识别方法中的采用模板匹配分类法实现对猪行走姿态的识别的特征是：分别计算待识别样本猪的轮廓特征向量与标准行为样本中猪的轮廓特征向量，并计算上述两者的特征向量的欧氏距离，经比较获得待识别样本与某一类标准样本的最小欧氏距离，实现对猪的四种行走姿态，如正常站立行走、低头站立、抬头站立、躺卧的识别。

Images