CN112102358B - 一种无侵入动物行为特征观测方法 - Google Patents

Abstract

本发明公开了一种无侵入动物行为特征观测方法，属于人工智能算法动物学与行为分析技术领域，根据标记的特征点坐标，进行动物的肢体运动分析，通过动物的各个关节点坐标来分析老鼠的前后肢关节运动状态；将数据集随机分为训练集和测试集；通过神经网络来训练训练集，然后通过测试集计算神经网络预测的误差并对其进行评估。本发明还使用了迁移学习，当在对另外一种动物进行行为分析时，可以通过少量的标记数据集与之前的训练模型结合，达到相近的训练效果，从而达到减少人工标注的成本与时间。

Description

一种无侵入动物行为特征观测方法

技术领域

本发明涉及人工智能算法动物学与行为分析领域，具体涉及一种无侵入动物行为特征观测方法。

背景技术

动物行为是指动物受自身思想支配而表现出来的活动形式、发声和身体姿势，并在外表上可以进行辨认的变化，这些变化可以起到对外界传达信息的作用。随着人类在神经科学、医药学、社会科学等领域的探索发展，动物行为往往作为实验对象进行观测和研究。以老鼠为例，研究人员经常通过观察老鼠的行为来验证药物或治疗的可靠性。随着研究的深入，对于老鼠的行为观察精度需求越来越高，因此侵入式传感器和标记物被广泛的应用于老鼠的社会行为观察之中。但是侵入式传感器和标记物这两种方法都存在很大的局限性，侵入式传感器造价较高，同时需要进行复杂的手术，而且手术过程对于实验对象也有一定程度上的损伤，这对于实验结果会造成潜在的影响；使用标记物一般是在直接老鼠表皮上进行标记，操作简单的同时成本低廉，但实际上在老鼠的运动过程中，关节骨骼与老鼠的表皮会有较大幅度的相对移动，导致实验精度很差。因此，使用一种不对动物造成伤害并且将精度保持在较高水准的老鼠观测***是本发明需要解决的问题。

受观测要求的限制，以往对于动物行为方面的检测一般是将动物放在面积较大且限制较少的行为箱中进行观察，然后通过人工观察的方式来进行检测。而近年来，传统的图像处理技术与动物行为观察之间拥有了长足的进展，但当这种观察方式与机器学习、行为运动学结合起来时，摄像机很难观察到动物的特定行为，摄像机观测的效果也较差，特别时再针对动物的四肢以及头部运动的观察时，同时传统行为观察箱宽阔的观测空间会导致动物的肢体运动会被身体遮掩，运动激励手段的缺失也使得动物的肢体运动存在随机性，这对于机器学习过程有很大的干扰。因此，精确观察动物四肢与头部的行为特征并将其与机器学习结合同样是本发明需要解决的问题。

发明内容

为此，需要提供一种无侵入动物行为特征观测方法，通过限制动物的行动范围来对动物进行特定特征的观察，增强训练效率，通过动物四肢以及头部偏移角度的变化来进行行为分析。

为实现上述目的，本发明提供了一种无侵入动物行为特征观测方法，具体包括以下步骤：

获取动物运动视频；

对视频图像进行处理，标记视频图像中动物的特征点数据，将数据存储成数据集；

根据动物的特征点数据，进行动物肢体肢体运动分析分析，即通过动物各个关节的变化分析动物的前后肢关节的运动状态；

将以上数据集随机分为训练集和测试集，使用训练集训练神经网络模型，采用测试集对神经网络模型进行评估；

采用神经网络模型对动物行为进行分析。

本技术方案进一步的优化，所述神经网络模型具有四个阶段级预估特征点坐标，并使用损失函数提升估计精度。

本技术方案进一步的优化，所述使用测试集对神经网络模型进行评估，具体包括：将每一个标记特征点生成一个高斯概率的热图，在估计特征点坐标之后，使用双三次插值即将高斯热图恢复至原输入图像大小，使用均方误差来计算标记热图与估计热图之间的误差，同时使用soft-argmax方法，将热图的最大值位置转化为特征点的坐标，然后使用损失函数来计算标记特征点与估计特征点的误差。

本技术方案更进一步的优化，所述soft-argmax公式为：

式中，x为概率值的向量，i为x_i的位置。

本技术方案更进一步的优化，所述损失函数为分段损失函数，分段损失函数smooth L1结构如下所示：

其中x为标记点与估计点之间的L1损失函数。

本技术方案进一步的优化，还包括迁移学习，采用迁移学习方法对另外一种动物进行行为分析。

本技术方案更进一步的优化，所述迁移学习方法包括，

将两个训练的数据集设为T_a和T_b，二者合并的数据集设为T＝T_a∪T_b，将未标注的测试数据集设置为S，该***迭代的整体次数取N,在初始化部分，设置最初的权重向量为

其中有：

随后设置

设P^t满足以下公式：

根据合并的训练数据集T以及T上的权重分布P^t和未标注数据集S，得到一个在S上的分类器h_t，计算h_t在T_b上的错误率：

设

得到最新的权重向量为：

得出最终的分类器为：

本技术方案进一步的优化，还包括根据动物的肢体运动图像进行关节点坐标标定，同时建立计算关节点角速度和角加速度的动物肢体运动学模型。

区别于现有技术，上述技术方案具有以下优点：本发明着重观察动物的头部以及四肢的行为特征，使用特征点标注和神经网络训练的方法从图像中提取更加丰富的特征，由于检测和估计图像内容，采用了人工标记特征点的方式，与植入侵入式传感器的方法相比，节省了手术时间，同时消除了由于手术对实验对象带来的潜在影响，在保证了实验精度的同时更加有利于实验过程的准确性。

附图说明

图1为一种无侵入动物行为特征观测方法流程图；

图2为迁移学习方法流程图；

图3为动物肢体运动坐标点图；

图4是对关节点B运动分析图。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

如图1所示，为一种无侵入动物行为特征观测方法流程图，该方法具体包括以下步骤：

S1，获取动物运动视频，使用高帧率摄像机捕捉动物在跑道上进行匀速运动的视频。

逐帧得到动物的运动照片，并在每张照片中选取若干个特征点进行标记，制成相应的数据集，保存数据集；为了提升训练时的鲁棒性，根据动物的形态调整训练图片的分辨率，减少训练图片中背景的占比部分，例如，当观测健康爬行、没有使用吊挂装置的老鼠时，将拍摄的照片分辨率设置为512×256；当观测使用了吊挂装置的截瘫老鼠时，将拍摄的照片分辨率设置为256×512。对视频图像进行处理，标记视频图像中动物的特征点数据，将数据存储成数据集；

S2，根据动物的特征点数据，进行动物肢体肢体运动分析分析，即通过动物各个关节的变化分析动物的前后肢关节的运动状态；

S3，将以上数据集随机分为训练集和测试集，使用训练集训练神经网络模型，采用测试集对神经网络模型进行评估，使用测试集来计算神经网络的预测正确率；

将训练集导入具有四个阶段级、用于估计特征点坐标的卷积神经网络中进行训练，并使用损失函数提升估计精度，然后通过测试集计算神经网络预测的误差并对神经网络的性能进行评估。将对于标记特征点的估计作为一个概率问题处理，将每一个标记特征点生成一个高斯概率的热图，在估计特征点坐标之后，使用双三次插值即将高斯热图恢复至原输入图像大小，使用均方误差来计算标记热图与估计热图之间的误差，同时使用soft-argmax方法，将热图的最大值位置转化为特征点的坐标，然后使用损失函数来计算标记特征点与估计特征点的误差。

使用了基础特征提取网络，为了减少计算量，将摄像机拍摄到的三通道彩色动物图像使用两个连续的大小为3×3、卷积核个数为64个的卷积层进行特征提取，在不改变图像大小的同时增加了通道数，随后经过一个步长为2的池化层，降低了图像的尺寸，随后再次经过两个3×3卷积层以及一个步长为2的池化层，将图像的尺寸降低，最后使用四个连续的3×3卷积层得出了128通道的基础特征映射。

使用具有四个阶段级、用于估计特征点坐标的卷积神经网络，所述卷积神经网络参考了人类姿态估计中的级联卷积网络。其中第一阶段接收基础特征映射，通过六层使用3×3卷积核的卷积神经网络，得到n通道的动物特征点位置预测，其中n表示当前特征点的类别个数，在随后的三个阶段中，将基础特征映射与前一段的估计输出融合，得到通道为128+n的输入，通过连续九层使用3×3卷积核的卷积神经网络组成的第一级卷积网络中进行深层次的特征提取，得出特征点坐标随后得出下一段的输出，即为n通道的动物特征点位置预测。

使用分段的损失函数来提升特征点的估计精度。由于损失函数的选取会对估计的精度有直接影响，而不同区间内对损失函数的需求有着不同的特点。当估计特征点的置信度接近特征点标号时，选取梯度较小，收敛速度慢的L1范数损失函数(标准形式为

其中Y_i为目标值、f(x_i)为目标值)；当估计特征点的置信度与特征点标号距离较大时，选取梯度较大，收敛速度快但并不具有很好的鲁棒性的L2范数损失函数(标准形式为

其中Y_i为目标值、f(x_i)为目标值)，分段损失函数smooth L1结构如下所示：

其中x为标记点与估计点之间的L1损失函数。

使用高斯热图来计算标签点与估计点的误差，对神经网络的性能进行评估。将对于特征点的估计作为一个概率问题处理，每一个特征点生成一个高斯概率的热图。在估计特征点坐标之后，使用双三次插值即可将高斯热图恢复至原输入图像大小，并选择最大概率值的位置作为地标点的坐标。在此基础上，使用均方误差来计算标签热图与估计热图之间的误差，对应的公式为：

式中，A为固定的振幅，取值为1，σ_x,σ_y为方差，取值为3，x_c,y_c特征点的中心坐标；除此之外，使用soft-argmax方法，将热图的最大值位置转化为特征点的坐标，然后使用L1损失函数来计算标签特征点与估计特征点的误差。一维的soft-argmax公式为：

式中，x为概率值的向量，i为x_i的位置。

在所述的通过测试集计算神经网络预测的误差并对神经网络的性能进行评估时使用归一化标准来消除由于动物形态大小和摄像机远近带来的随机误差，最后通过评价函数来判断估计特征坐标点的正误。

用标准化评价标准来减小个体差异带来的误差。就一般而言，评价估计的结果一般为直接计算估计结果与实际结果的插值，将其与对应的阈值对比即可，但是在实际的行为观测中往往会受到各类条件的影响，例如实验中动物的大小差异和摄像机与拍摄对象之间的距离差异，将直接计算得到的估计坐标和标签坐标之间的距离作为评价标准过于主观。动物的眼睛与鼻子为非常明显的特征，通过标记得到的特征点坐标也比一般关节点的标记特征点坐标精度更高，所以使用眼睛与鼻子之间的欧式距离作为归一化分母效果最佳，评判参数的结构为：

上式中，(x_i',y_i')为第i张图的估计坐标，(x_i,y_i)为第i张图的标记坐标，(x_inose,y_inose)为第i张图的动物鼻子的坐标，(x_ieye,y_ieye)为第i张图的动物眼睛的坐标，评判参数ε取0.1，当归一化的结果小于0时，则估计正确，反之估计错误。

S4，采用神经网络模型对动物行为进行分析。

为了辅助行为观察，对所述无侵入动物行为观测***进行补充，本发明还建立了一种动物的肢体运动学模型，通过分析动物的关节点坐标来得出其对应的角速度和角加速度。该方法包括以下特点：

根据标记照片中的各个关节点特征，得到对应的关节点坐标，将特征点的由下依次定为A₁,A₂,…A_n，对应的坐标(X₁,Y₁),(X₂,Y₂),…(X_n,Y_n)，然后依次推导出各个特征点对应的关节角度θ₁,θ₂,…θ_n，具体公式为：

式中，参考向量

为长度为1，方向水平向右的单位向量；

在求得各个关节角度之后，通过取相邻两张照片的同一特征点对应的关节角的差值，可以依次得出该时间段的瞬时角速度和瞬时角加速度，具体公式为：

式中，θ_k ⁱ表示第i张图片中第k个特征点对应的关节角度，由于摄像机的帧率p为100，那么相邻两张照片中的时间间隔

为了减少再次训练耗费的人力，加快所述无侵入动物行为特征观测***的运行效率，本发明还使用了迁移学习，当在对另外一种动物进行行为分析时，可以通过少量的标记数据集与之前的训练模型结合，达到相近的训练效果。参阅图2所示，为迁移学习方法流程图，该方法包含以下特点：

将两个训练的数据集设为T_a和T_b，二者合并的数据集设为T＝T_a∪T_b，将未标注的测试数据集设置为S，该***迭代的整体次数取N,在初始化部分，设置最初的权重向量为

其中有：

随后设置

设P^t满足以下公式：

根据合并的训练数据集T以及T上的权重分布P^t和未标注数据集S，得到一个在S上的分类器h_t，计算h_t在T_b上的错误率：

设

得到最新的权重向量为：

得出最终的分类器为：

参阅图3和图4所示，分别为动物肢体运动坐标点图和对关节点B运动分析图。本发明优选一实施例一种观察动物行为特征的行为观测***，包括如下步骤：

步骤一：将动物放置在跑道的传送带上，打开驱动电机开关，使用高清摄像机录制老鼠运动视频，将帧率调整为100帧，录制时间为20秒；

步骤二：取视频中的中间10秒作为数据集，将视频逐帧截取，获得完整的的动物行为照片；

步骤三：对收集到的数据进行预处理，检查采集到的动物照片有无明显错误，如动作不连贯、图像模糊或者关节位置重叠等，如果存在上述问题的话直接丢弃数据组，重新进行采集，若数据无误，对其进行特征点标定，得到包含特征点坐标的训练集；

步骤四：将训练集导入具有四个阶段级、用于估计特征点坐标的卷积神经网络中进行训练，使用smooth L1损失函数提升估计精度；

步骤五：将特征点生成一个高斯概率的热图，在估计特征点坐标之后，使用双三次插值即可将高斯热图恢复至原输入图像大小，使用均方误差来计算标签热图与估计热图之间的误差，同时使用soft-argmax方法，将热图的最大值位置转化为特征点的坐标，然后使用L1损失函数来计算标签特征点与估计特征点的误差；

步骤六：在测试集验证时使用归一化标准来消除由于动物形态大小和摄像机远近带来的随机误差，最后通过评价函数来判断估计特征坐标点的正误。

本发明优选一实施例根据动物的后肢运动图像进行关节点坐标标定，同时建立了计算关节点角速度和角加速度的动物肢体运动学模型，包括以下步骤：

步骤一：根据标记照片中标注的三个关节特征点，得到动物腕关节、肘关节和肩关节三个关节点的坐标(X₁,Y₁)、(X₂,Y₂)、(X₃,Y₃)，其中肩关节对应点A、肘关节对应点B、腕关节对应点C的坐标；

步骤二：根据上述三个关节点的坐标，求得肩关节与水平向量的夹角α，肘关节的角度β，腕关节与水平向量的夹角γ；

步骤三：根据摄像机设置的帧率，求出对应相邻两张照片之间的时间间隔为0.01s，根据相邻图片的同一关节角度之差得出三个关节角度的角速度和角加速度。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (6)

1.一种无侵入动物行为特征观测方法，其特征在于：包括以下步骤，

获取动物运动视频；

对视频图像进行处理，标记视频图像中动物的特征点数据，将数据存储成数据集；

根据动物的特征点数据，进行动物肢体运动分析，即通过动物各个关节的变化分析动物的前后肢关节的运动状态；

将所述数据集随机分为训练集和测试集，使用训练集训练神经网络模型，采用测试集对神经网络模型进行评估；

所述采用测试集对神经网络模型进行评估，具体包括：将每一个标记特征点生成一个高斯概率的热图，在估计特征点坐标之后，使用双三次插值即将高斯热图恢复至原输入图像大小，使用均方误差来计算标记热图与估计热图之间的误差，同时使用soft-argmax方法，将热图的最大值位置转化为特征点的坐标，然后使用损失函数来计算标记特征点与估计特征点的误差；

采用神经网络模型对动物行为进行分析；

该方法还建立了动物的肢体运动学模型，

根据标记照片中的各个关节点特征，得到对应的关节点坐标，将特征点的由下依次定为A₁,A₂,…A_n，对应的坐标(X₁,Y₁),(X₂,Y₂),…(X_n,Y_n)，然后依次推导出各个特征点对应的关节角度θ₁,θ₂,…θ_n，具体公式为：

式中，参考向量

为长度为1，方向水平向右的单位向量；

在求得各个关节角度之后，通过取相邻两张照片的同一特征点对应的关节角的差值，可以依次得出该时间段的瞬时角速度和瞬时角加速度，具体公式为：

式中，θ_k ⁱ表示第i张图片中第k个特征点对应的关节角度，由于摄像机的帧率p为100，那么相邻两张照片中的时间间隔

2.根据权利要求1所述的一种无侵入动物行为特征观测方法，其特征在于：所述神经网络模型具有四个阶段级预估特征点坐标，并使用损失函数提升估计精度。

3.根据权利要求1所述的一种无侵入动物行为特征观测方法，其特征在于：所述soft-argmax公式为：

式中，x为概率值的向量，i为x_i的位置。

4.根据权利要求1所述的一种无侵入动物行为特征观测方法，其特征在于：所述损失函数为分段损失函数，分段损失函数smooth L1结构如下所示：

其中x为标记点与估计点之间的L1损失函数。

5.根据权利要求1所述的一种无侵入动物行为特征观测方法，其特征在于：还包括迁移学习，采用迁移学习方法对另外一种动物进行行为分析。

6.根据权利要求1所述的一种无侵入动物行为特征观测方法，其特征在于：还包括根据动物的肢体运动图像进行关节点坐标标定，同时建立计算关节点角速度和角加速度的动物肢体运动学模型。

Images