CN103886596B - 一种基于深度图像骨架端点分析的生猪行走步频提取方法 - Google Patents

Abstract

本发明公开了一种基于深度图像骨架端点分析的生猪行走步频提取方法，包括对深度相机图像背景减除、骨架提取、骨架剪枝、骨架图匹配处理方法提取到各帧图像中生猪前、后肢骨架端点，然后判定两骨架端点的远、近侧属性，最后通过生猪运动序列图像帧间前后肢远近侧骨架端点坐标关系变化点集拟合正弦曲线进行生猪行走步频特征提取的方法，该方法具有远距离、非侵入性、基于计算机视觉自动提取的特点；其特征提取过程简单易行，易于实现，本方法不仅适用于生猪行走步频特征的采集，也可用于马、牛、羊等四肢行走动物的行走步频检测。

Description

一种基于深度图像骨架端点分析的生猪行走步频提取方法

技术领域

本发明涉及生物图像处理技术，具体涉及应用于规模化生猪养殖的生猪异常行为监测中生猪运动步频特征的提取。

背景技术

我国是猪肉消费和生猪养殖的大国。近年来，随着我国城镇化建设进程和环境保护的进步，生猪养殖模式由过去农户分散养殖向工厂化规模养殖快速演进。然而，爆发性疫情经常给养殖企业造成严重损失，构建计算机视觉生猪疾病监测预警***可以帮助养殖企业尽早发现猪只早期疾病症状，及时采取隔离、消毒、治疗等措施，避免疫情爆发。

步态特征作为一种典型的生物特征，在动物疾病监测、预警等领域已经引起关注。传统的动物步态特征识别主要靠人工观察并记录动物的行为状态，这种方法费时费力，效率低、人力成本大，且动物养殖环境条件差，对工作人员的身心健康会带来严重影响。随着测量和数字图像处理理论与技术的发展，机器视觉逐渐渗透到农业和生物工程的各个领域。国外研究者由于对动物福利的关注，近年来在动物步态特征，特别是基于步态特征的动物跛足识别方面开展了一些研究。Liesbet M.Pluym等人通过四块载荷板测量生猪站立时的各肢对载荷板的压力数据，融合摄像头采集的视觉站姿数据，对生猪跛足特征进行分析(参见Liesbet M.Pluym，Dominiek Maes，Jürgen Vangeyte，et al.Development of a system for automaticmeasurements of force and visual stance variables for objective lameness detection in sows：SowSIS[J].Biosystems Engineering，2013，116(1)：64-74.)。步频，即生猪的行走频率，其反映生猪行走的快慢。上述步态研究中，均将生猪的步频作为生猪步态的重要特征。然而，上述研究在进行步频特征提取时需借助专门设计的压力采集***或在生猪四肢附加的运动检测装置来实现，这容易造成生猪的应激反应，影响采集数据的客观性。

发明内容

本发明的目的在于克服现有生猪步频特征提取方法中依靠人工观察或借助具有侵入性的检测装置的不足，提供一种基于计算机视觉的远距离、非侵入性的生猪步频特征自动提取方法。

具体原理为：

所依靠的深度图像也称距离图像(range image)，可以通过深度摄像机采集获取，其记录相应的场景上各点与摄像机的距离信息，反映了物体表面的三维特征；其每个像素点不再表示颜色，而代表目标点在场景中的深度。相对传统光学图像，深度图像虽然包含的目标细节信息较少，但其对光照纹理具有不变性，容易区分前景和背景，有利于准确提取前景目标。

所需要提取的图像骨架，或称中轴，最早由Blum提出(参见Blum H.Biological shape andvisual science(Part I)[J].Theoretical Biology,1973，38：205-287)。图像骨架由物体轮廓产生，每个骨架点保持与边界距离最小的性质。理论上以所有骨架点为圆心，以其对应最小距离为半径构建的所有圆的集合可以恢复出原始区域来，即骨架可以认为是物体内部最大圆圆心的集合。骨架是一种形状描述方法，可以用于表达物体的原始形状信息和几何拓扑结构。

基于计算机视觉的步态监测，由于其具有远距离、非侵入性的特点，不会引起生猪的应激反应，更有利于生猪的疾病异常监测。

本发明技术方案采用如下步骤：

第一步，以深度相机作为图像采集设备，侧向采集分辨率为M×N的生猪运动深度图像序列，通过背景减除、骨架提取、骨架剪枝、骨架图匹配等处理方法提取到各帧图像中生猪前、后肢骨架端点，分别记为其中，i为帧序号，j=1或2为提取的骨架端点编号，以从骨架图中确定前、后肢骨架端点，这是分析生猪行走的重要前提。

第二步，进一步结合深度图像反映场景中各点与相机距离大小的特点，当提取到前肢骨架端点或后肢骨架端点数为2时，分别计算各帧前肢或后肢两骨架端点邻近骨架点值，判定两骨架端点的远、近侧属性，分别记为前肢远侧端点FFE_i、前肢近侧端点FNE_i，或后肢远侧端点HFE_i、后肢近侧端点HNE_i，其判别因子为对应深度图像像素点值为获取深度图像中各像素点值能够反映其在场景中距离深度相机的距离。

第三步，由所述判定两骨架端点的远、近侧属性建立帧间前、后肢远近骨架端点坐标变化的数据点集D_FE、D_HE，并分别以所述帧间前、后肢远近骨架端点坐标变化的数据点集D_FE、D_HE去拟合目标正弦曲线f(x)=asin(bx+c)，通过拟合所述正弦曲线的频率b计算前肢行走步数或后肢行走步数。

第四步，以所述前、后肢行走步数的最小值原则确定生猪行走的完整步数，进一步通过计算完整步数与运动图像采集时间序列的比值提取生猪行走步频特征。

本发明的有益效果是：

本发明基于深度图像特征和骨架图端点分析，公开了一种通过生猪运动序列图像帧间前后肢远近侧骨架端点坐标关系变化点集拟合正弦曲线进行生猪行走步频特征提取的方法，该方法具有远距离、非侵入性、基于计算机视觉自动提取的特点；其特征提取过程简单易行，易于实现，本方法不仅适用于生猪行走步频特征的采集，也可用于马、牛、羊等四肢行走动物的行走步频检测。

附图说明

图1为本发明生猪步频特征提取方法流程图；

图2为采集生猪运动图像序列背景减除示例；

图3为图像骨架提取和剪枝示例；

图4为骨架图端点匹配示意；

图5为骨架端点远近侧判别示例；

图6为前肢骨架远近侧端点水平坐标关系点集拟合正弦曲线示例。

具体实施方式

以下结合附图和实施例进一步说明本发明的技术方案。本发明的实施例处理流程如图1所示。以深度相机Kinect作为图像采集设备，侧向采集生猪运动图像序列。侧向采集指生猪运动方向与深度相机光轴水平面成90°左右夹角。猪舍环境中，猪舍周围墙体、设施等与目标生猪在空间上分布不同，使得在深度图像中生猪前景较为明显。通过背景减除预处理方法滤除侧壁、梁柱等环境背景，可以获得较好的生猪前景图像序列，如图2所示。

进一步，按以下步骤对序列中各帧图像进行处理：

1、对序列图像进行图像二值化处理，提取图像骨架。如图3a图所示，初始提取到的图像骨架含有较多与主体结构相关性较小的冗余骨架枝，对提取的生猪图像骨架进行剪枝处理，获得较好的生猪简化骨架表示，以减少后续分析计算量，如图3b图所示。

骨架上的每一个像素点称为一个骨架点。仅有一个相邻骨架点的骨架点称为骨架端点(Endpoint)，记为e_i。侧向采集图像提取的理想生猪骨架图为标准骨架图，通常包含7个骨架端点，如图3b所示。其中，e₁为猪耳部骨架端点，e₂为猪嘴部骨架端点，e₃、e₄为前肢骨架端点，e₅、e₆为后肢骨架端点，e₇为尾部骨架端点。然而，生猪属于非刚体目标，通常情况生猪行走时的体态变化、两前肢或两后肢在行走时重合遮罩等因素往往导致剪枝后的骨架并不能得到上述所有骨架端点。需要建立各骨架端点与标准骨架图中各骨架端点的映射关系，以从骨架图中确定前、后肢骨架端点，这是分析生猪行走的重要前提，分别记为其中，i为帧序号，j=1或2为提取的骨架端点编号。

确定图中各端点的归属，可归结为一个图匹配问题，如图4所示。通过度量端点间骨架路径相似性，确定序列骨架图中各端点与标准骨架图中骨架端点的映射关系。

2、骨架图匹配仅能确定各骨架端点归属类别，而生猪为四蹄动物，对应最多有2个前肢端点和2个后肢端点。为区别前后肢的左右两肢的不同端点，定义侧向采集时，距离传感器较近的一侧肢体端点为近侧端点，较远一侧肢体端点为远侧端点。则四肢端点分别称为：前肢远侧端点FFE(Foreleg Far-side Endpoint)、前肢近侧端点FNE(Foreleg Near-sideEndpoint)、后肢远侧端点HFE(Hind-leg Far-side Endpoint)、后肢近侧端点HNE(Hind-legNear-side Endpoint)。骨架端点匹配后，若仅有一个骨架端点对应到前肢两骨架端点e₃或e₄，则认为两前肢处于重合遮罩情况，即FFE=FNE。同理，若仅有一个骨架端点对应到后肢两骨架端点e₅或e₆，则认为两前肢处于重合遮罩情况，即HFE=HNE。若匹配前肢或后肢骨架端点数为2时，需要进一步判定骨架端点的远、近侧属性。

端点远、近侧属性通过定义判别因子Q_fn并计算判别因子值大小进行判定：设B_i为剪枝处理后骨架图G上待判定骨架端点e_i所在的骨架枝，该骨架枝共含有M个骨架点，分别用b_ik(k=1，2，…M)表示，其对应深度图像值为e_i即为b_iM。以e_i为起点，沿该骨架枝顺序取N个相邻的骨架点与e_i一起构建骨架枝子集{b_iM，b_i(M-1)，…，b_i(M-N)}，e_i对应远近侧判别因子为：

$Q_{\mathrm{fni}}=\frac{1}{N+1}\underset{k=M}{\overset{M-N}{\mathrm{\Σ}}}I(x_{b_{\mathrm{ik}}},y_{b_{\mathrm{ik}}})---\left(1\right)$

由于深度图像中各像素点值反映其在场景中距离深度相机的距离，则当待判别两骨架端点e_i、e_j满足Q_fni<Q_fnj时，可知e_i为近侧端点，e_j为远侧端点。如图5所示，后肢端点e₆邻近各骨架点的像素值小于后肢端点e₅邻近各骨架点像素值，计算其Q_fn，可判定e₅为远侧端点，e₆为近侧端点。分别计算需判定的前、后肢骨架端点，以定位前肢远侧端点FFE、前肢近侧端点FNE、后肢远侧端点HFE、后肢近侧端点HNE在图像中的坐标。

3、生猪正常行走时，存在前肢的远、近侧肢交替和后肢的远、近侧肢交替。前肢远、近侧肢交替一次为完成一个前肢步(记为FS)；后肢远、近侧肢交替一次为完成一个后肢步(记为HS)；完成一个前肢步和一个后肢步为一个完整步(Complete Step，CS)。

设待分析的含有N帧生猪运动深度图像的图像序列为F={f_i，i＝1，2，…，N}，图像f_i中前肢远、近侧骨架端点图像坐标分别为(x_FFEi，y_FFEi)、(x_FNEi，y_FNEi)，后肢远近侧骨架端点图像坐标分别为(x_HFEi，y_HFEi)、(x_HNEi，y_HNEi)。远近侧肢交替可通过帧间远近侧骨架端点的坐标变化来反映。为简化分析计算的复杂度，以远近侧骨架端点水平方向坐标相对变化作为远近侧肢交替的度量，即仅考虑各骨架端点x坐标的相对变化。定义图像帧f_i中远、近侧端点坐标关系变量d_FEi、d_HEi其中：

d_FEi＝x_FFEi-x_FNEi

d_HEi=x_HFEi-x_HNEi (2)

按上述过程1-3对生猪运动图像序列中各帧图像进行处理，按式(2)计算各帧图像前后肢远、近侧端点坐标关系变量d_FEi、d_HEi，构建前、后肢远近侧端点坐标关系变化数据点集D_FE={d_FE1，d_FE2，…，d_FEN}、D_HE={d_HE1，d_HE2，…，d_HEN}。

4、进一步按以下步骤提取序列对应生猪行走步频特征。

a.分别以前肢远近侧端点坐标关系变化数据点集D_FE和后肢远近侧端点坐标关系变化数据点集D_HE，拟合正弦曲线，目标正弦曲线方程为设为：

f(x)=a sin(bx+c) (3)

数据集拟合正弦曲线可以较好地滤除远、近侧肢端点局部识别错误导致的数据扰动。拟合正弦曲线一个周期含2个过零点，即对应2次远、近侧肢交替。则前肢行走步数N_FS可按式(4)对前肢数据集D_FE拟合正弦曲线频率倒数的2倍进行取整计算得到。如图6所示，为实施例中前肢数据集D_FE拟合正弦曲线示意。

$N_{\mathrm{FS}}=\mathrm{INT}(2\&times;\frac{1}{b})---\left(4\right)$

同理，可相应计算后肢行走步数N_HS。

b.按前述完整步CS定义，完成一次前肢步和一次后肢步认为为完成一次行走完整步，则取前肢行走步数和后肢行走步数的最小值为行走完整步数。即运动图像序列对应的生猪完整步数N_CS可按式(5)计算：

N_CS=min(N_FS，N_HS) (5)

c.行走步频为单位时间行走的完整步数，即为序列对应完整步数和序列记录时间长度的比值。序列记录时间长度可按(6)计算：

T＝t_last-t_start (6)

其中t_start为第一帧图像记录时间戳，t_last为最后一帧图像记录时间戳。则对应生猪运动图像序列提取的行走步频特征值可由式(7)求取：

f_CS=N_CS／T (7)

本发明基于深度图像特征和骨架图端点分析，提供了一种通过生猪运动序列图像帧间前后肢远近侧骨架端点坐标关系变化点集拟合正弦曲线进行生猪行走步频特征提取的方法。该方法具有远距离、非侵入性、基于计算机视觉自动提取的特点。本方法的特征提取过程简单易行，易于实现。本方法不仅适用于生猪行走步频特征的采集，也可用于马、牛、羊等四肢行走动物的行走步频检测。

Claims (4)

1.一种基于深度图像骨架端点分析的生猪行走步频提取方法，其特征在于，包括步骤：

1)以深度相机作为图像采集设备，侧向采集分辨率为M×N的生猪运动深度图像序列，通过背景减除、骨架提取、骨架剪枝、骨架图匹配处理方法提取到各帧图像中生猪前、后肢骨架端点；

2)当提取到前肢骨架端点或后肢骨架端点的个数为2时，首先分别计算各帧前肢或后肢两骨架端点邻近骨架点值，以此判定两骨架端点的远、近侧属性，分别记为前肢远侧端点FFE_i、前肢近侧端点FNE_i，或后肢远侧端点HFE_i、后肢近侧端点HNE_i；

3)由所述判定两骨架端点的远、近侧属性建立帧间前、后肢远近骨架端点坐标变化的数据点集D_FE、D_HE，并分别以所述帧间前、后肢远近骨架端点坐标变化的数据点集D_FE、D_HE去拟合目标正弦曲线f(x)＝a sin(bx+c)，通过拟合所述正弦曲线的频率b计算前肢行走步数或后肢行走步数；

4)以所述前、后肢行走步数的最小值确定生猪行走的完整步数，进一步通过计算完整步数与运动图像采集时间序列的比值提取生猪行走步频特征。

2.根据权利要求1所述一种基于深度图像骨架端点分析的生猪行走步频提取方法，其特征在于，所述步骤2)中判定两骨架端点的远、近侧属性的具体过程为：

a)将待判定骨架端点所在骨架枝记作B_i，所述骨架枝B_i含有M个骨架点且各骨架点用b_ik表示，其中k＝1，2，…M，则待判定骨架端点即为b_iM，而所述各骨架点b_ik对应深度图像中的像素值设为以b_iM为起点，沿该骨架枝顺序取N个相邻的骨架点与b_iM一起构建骨架枝子集{b_iM，b_i(M-1)，…，b_i(M-N)}；

b)通过所述各骨架点b_ik对应深度图像中的像素值分别计算待判定骨架端点的骨架枝子集中各像素点均值并以此值作为远近侧属性判别值；

c)比较待判定两骨架端点远近侧属性判别值，当Q_fn1小于Q_fn2时，则Q_fn1对应骨架端点判定为近侧骨架端点；反之，则判定为远侧骨架端点。

3.根据权利要求1所述一种基于深度图像骨架端点分析的生猪行走步频提取方法，其特征是在于，所述步骤3)具体过程为：

a)将提取运动序列中各帧图像前肢远、近侧骨架端点图像坐标记为(x_FFEi，y_FFEi)、(x_FNEi，y_FNEi)，后肢远近侧骨架端点图像坐标记为(x_HFEi，y_HFEi)、(x_HNEi，y_HNEi)；

b)分别计算出运动序列中各帧图像前肢远、近侧端点坐标关系变量d_FEi＝X_FFEi-X_FNEi和后肢远、近侧端点坐标关系变量d_HEi＝X_HFEi-X_HNEi，并构建出前、后肢坐标关系变化数据点集：D_FE＝{d_FE1，d_FE2，…，d_FEN}、D_HE＝{d_HE1，d_HE2，…，d_HEN}；

c)分别以前肢坐标关系变化数据点集D_FE和后肢坐标关系变化数据点集D_HE拟合目标正弦曲线f(x)＝a sin(bx+c)；

d)分别对前、后肢数据集拟合的正弦曲线频率倒数的2倍进行取整，即根据计算前肢行走步数N_FS和后肢行走步数N_HS。

4.根据权利要求1所述一种基于深度图像骨架端点分析的生猪行走步频提取方法，其特征是在于，所述步骤4)中提取生猪行走步频特征的具体过程为：

a)以完成一次前肢行走和后肢行走记为一个生猪行走完整步，取前肢行走步数和后肢行走步数的最小值作为行走的完整步数N_CS＝min(N_FS，N_HS)，N_FS为前肢行走步数，N_HS为后肢行走步数；

b)计算序列记录时间长度T＝t_last-t_start，其中t_start为第一帧图像记录时间戳，t_last为最后一帧图像记录时间戳；

c)以完整步数和序列记录时间长度的比值f_CS＝N_CS/T作为提取的生猪行走步频特征。