CN111814698A - 基于人工智能及航拍图像的牧区母牛护犊行为检测方法 - Google Patents

Abstract

本发明公开了一种基于人工智能及航拍图像的牧区母牛护犊行为检测方法。包括：对牧区航拍图像进行分析生成牛关键点热力图、关键点的关联矢量场；应用条件约束的匹配算法，通过最大权重匹配获得最终匹配关系，为每个头部关键点匹配一个尾部关键点；计算所有相匹配的两个关键点坐标距离，判断对象是成年牛还是牛犊；计算每两只牛之间的距离，若判断结果为过于靠近分析两只牛的尺寸及血缘关系判断是否存在母牛护犊行为；进行图像拼接结合WebGIS技术对牧区建筑信息模型进行可视化。利用本发明，能对牧区整体散养情况进行监督并检测散养期间的母牛护犊行为。

Description

基于人工智能及航拍图像的牧区母牛护犊行为检测方法

技术领域

本发明涉及人工智能、智慧畜牧、计算机视觉技术领域，具体涉及一种基于人工智能及航拍图像的牧区母牛护犊行为检测方法。

背景技术

现在畜牧业对奶牛的饲养一般通过圈养和散养相结合的方法来获取动物产品。在散养时，由于如今养殖规模普遍较大，奶牛数目过多，难以通过人肉眼进行整个牧场区域的监管和识别。目前大范围区域一般通过广角摄像头对图像进行采集，但由于牧场区域的特殊性，难以为广角摄像头提供合适的放置位置。

另一方面，由于奶牛的天性，母牛在刚生产后会出现护犊行为，表现为在日常活动中，停留在牛犊附近，进行舔舐等行为。护犊行为会导致在散养放牧期间，母牛的采食行为减少，进而导致产奶量降低。因此，目前对于护犊行为的处理办法为在牛犊出生后，将母牛与牛犊进行分离喂养处理，牛犊由人工喂养。然而在散养放牧期间，由于牛对气味、声音比较敏感，仍会出现母牛寻找到牛犊的情况，影响母牛进食。

因此，现有技术存在不能对牧区整体散养情况进行监督、不能检测散养期间的母牛护犊行为的问题。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于人工智能及航拍图像的牧区母牛护犊行为检测方法。

一种基于人工智能及航拍图像的牧区母牛护犊行为检测方法，该方法包括：

无人机搭载RGB相机、RFID射频识别天线，并配置与本地服务器的通信模块，使用RGB相机对牧区进行覆盖拍摄；

将无人机实时采集的牧区子区域图像输入牛关键点检测编码器、牛关键点检测解码器，得到牛关键点热力图，牛关键点包括头部关键点、尾部关键点；

将无人机实时采集的牧区子区域图像输入矢量场编码器、矢量场解码器中，得到关键点的关联矢量场，关联矢量场表征关键点之间的关系；

计算关联矢量场上的线积分，获得各个关键点之间的连接权重值，应用条件约束的匹配算法，通过最大权重匹配获得关键点的最终匹配关系，为每个头部关键点匹配一个尾部关键点；

将所有相匹配的两个关键点投影到牧区建筑信息模型，计算两个关键点之间的坐标距离，设置体型阈值，超过该体型阈值的为成年牛，否则为牛犊；

从头部关键点、尾部关键点中选择一类关键点，通过选择关键点在牧区建筑信息模型中的投影坐标计算每两只牛之间的距离，设置距离阈值，超过距离阈值的为距离正常，否则判断为过于靠近；

若判断结果为过于靠近且两只牛分别为成年牛、牛犊的情况下，调用RFID设备；

通过RFID信息，得到两只牛的个体识别信息，若两只牛为母子关系，输出母牛护犊行为的提示信息，传输至牧区建筑信息模型；

将无人机采集的牧区各子区域RGB图像进行投影变换到复合全景平面，对变换到复合全景平面的图像进行图像拼接操作，拼接后的图像再投影到BIM地面平面中，结合WebGIS技术对牧区建筑信息模型进行可视化。

牛关键点检测编码器对牧区子区域图像进行特征提取得到牛关键点检测特征图；

牛关键点检测解码器对牛关键点特征图进行上采样还原，得到牛关键点热图。

矢量场编码器对牧区子区域图像进行编码，得到矢量场特征图；

矢量场解码器对矢量特征图进行解码，得到关键点的关联矢量场。

该方法还包括对牛关键点检测编码器、牛关键点检测解码器的训练，训练方法具体为：

通过无人机采集各子区域牧区牛群放牧时的图像作为训练数据集；

对数据集进行人工标注，具***置以牛两眼之间的中心点、尾椎骨中心点作为关键点，以两类关键点为中心进行高斯核卷积生成的热斑作为标注，每个类别的关键点有对应的热力通道；

利用训练数据集及其标注数据，基于均方差损失函数训练牛关键点检测编码器、牛关键点检测解码器。

对变换到复合全景平面的图像进行图像拼接操作，拼接后的图像再投影到BIM地面平面中包括：

对投影变换后的待拼接牧区子区域图像进行图像校正、噪声抑制；提取待拼接牧区子区域图像的特征点，进行特征点的匹配；根据匹配点对进行单应性矩阵的估计，通过RANSAC方法估算单应性矩阵，将待拼接图像转换到同一坐标下；将所有输入图像变形到复合全景平面上，计算输入图像的变形图像的坐标范围，得到输出图像的大小，计算源图像原点与输出全景图原点的偏移量，将每个输入源图像的像素映射到输出平面上；进行图像融合，得到图像拼接结果，投影到BIM地面平面中。

本发明与现有技术相比，具有以下有益效果：

1.本发明结合无人机航拍技术以及计算机视觉技术，对牧区牛群图像进行分析，实现了智能化的母牛护犊行为检测，而且检测效率高。

2.本发明基于深度学习技术，设计神经网络检测牛以及区分不同牛个体，神经网络采用大量样本进行训练，车辆检测准确率和效率高，鲁棒性以及泛化能力强，有助于提高母牛护犊行为检测的准确率。

3.本发明设计矢量场编码器、矢量场解码器以进行不同牛个体的区分，相比于传统的基于距离的关键点匹配方法，个体区分效果更好。

4.本发明通过建筑信息模型坐标映射得到牛之间的距离，结合牛体型判断结果以及RFID得到的牛个体之间的关系，能够实时获得母牛护犊行为检测结果，即实时性强，方便监管人员监督管理并采取相应措施。

5.建筑信息模型，能够整合各种牧区信息，提高了智慧畜牧模型集成能力，将牧区子区域图像拼接变换到牧区建筑信息模型地面坐标系，实现牧区全景实时成像，方便监管人员监控。

附图说明

图1为本发明方法框架图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于人工智能及航拍图像的牧区母牛护犊行为检测方法。图1为本发明方法框架图。下面通过具体实施例来进行说明。

实施例1：

为了实现本发明，需要构建牧区BIM(Building Information Modeling，建筑信息模型)及其信息交换模块。

牧区BIM及其信息交换模块是基于BIM的信息处理和数据交换平台。牧区建筑信息模型包括牧区三维建模所需的各种信息，包括牧区范围信息，牧区草地、土壤覆盖信息等。这些信息可以用于牧区建筑信息模型的三维可视化，通过WebGIS技术实现。牧区建筑信息模型还可以通过信息交换模块获取相机实时感知的信息并实时更新其模型和信息内容。因此，牧区建筑信息模型还包括无人机搭载相机的位姿、无人机的飞行高度、飞行路线、RFID信息等。通过建筑信息模型技术可以提高牧区模型的信息集成能力，方便监督人员监督管理。

通过BIM信息与WebGIS技术结合，可以将相机成像和结果进行可视化处理，用户可根据需要获得数据交换平台的信息，例如得到护犊行为提示信息以及个体的地理位置信息，为养殖者的放牧管理提供信息支持。

本发明的主要目的为实现畜牧动物牛的母牛护犊行为检测。以奶牛为例，对本发明的方法进行详细说明。输出的结果为母牛护犊行为的提示信息以及牧区的实时成像。

一个牧区总区域，可以采用无人机搭载的摄像头进行拍摄。无人机可以采用多个。高度建议设置在30-40m之间，以防止超过高频RFID识别距离；无人机各自搭载RGB相机、RFID射频识别天线及与本地服务器的通信模块，其相机的位姿固定，拍摄角度为俯视，拍摄区域即为牧区的各子区域，需要说明的是，子区域图像应能够覆盖牧区范围，且相邻子区域应有重叠部分，便于后续的图像拼接处理。

以一个无人机的运行为例。无人机利用RGB相机采集的RGB图像送入牛关键点检测编码器、牛关键点检测解码器中，输出牛关键点热力图Heatmap。牛关键点检测编码器对牧区子区域图像进行特征提取得到牛关键点检测特征图；牛关键点检测解码器对牛关键点特征图进行上采样还原，得到牛关键点热图。需要说明的是，编码器解码器的实现方式有很多，例如卷积模块、残差模块，实施者可以根据需要选择，实现相应的特征提取、上采样解码还原功能即可。

关键点的类别为两类，分别为头部关键点和尾部关键点，具***置以牛两眼之间的中心点作为头部关键点，以尾椎骨中心点作为尾部关键点。因此输出的Heatmap为两个通道，分别包含两个类别关键点的热斑。Heatmap经过后处理输出关键点的图像坐标，其后处理方法为公知的，即通过坐标回归得到峰值点坐标。本发明基于部分亲和场PAF实现关键点匹配。部分亲和场是指为每个图像位置编码一个二维向量，该向量编码了肢体的位置和方向。传统的部分亲和场经过两个阶段可以得到精确的关键点匹配结果。本发明不需要进行精确的姿态估计结果，仅需要区分相应的个体，因此，使用第一阶段的结果即可，可以提高个体区分的计算效率。

将无人机实时采集的RGB图像送入第二个分支，经矢量场编码器、矢量场解码器处理，输出关联矢量场。矢量场编码器对牧区子区域图像进行编码，得到矢量场特征图；矢量场解码器对矢量特征图进行解码，得到关键点的关联矢量场。参照现有的人体关键点PAFs技术，为牛生成关键点的关联矢量场，代表关键点之间的关系，可实现一段躯干两端的快速匹配。

根据牛关键点热力图与关联矢量场进行关键点匹配，具体方法为：参考人体关键点利用PAFs时的匹配方法，通过积分的方式获得各个相邻部件之间的连接权重值，应用条件约束的匹配算法，即根据没有两个边共享节点的条件通过最大权重匹配获得最终的匹配关系。为每个头部关键点匹配一个尾部关键点。匹配后根据相匹配的两个点投影到牧区BIM的坐标偏移值，设定一个体型阈值，超过体型阈值的为成年牛，否则为牛犊。

通过单一关键点即选择头部关键点或尾部关键点，例如在本发明中采用尾部关键点，同样通过在牧区BIM中坐标偏移值得到牛之间的距离。同样设定一个距离阈值，超过距离阈值的为距离正常，低于或等于该阈值的为距离接近，两只牛过于靠近。

结合成年牛、牛犊的判断结果以及牛距离的判断结果，对RFID射频识别设备进行调用。即当牛之间距离接近，且两者为成年牛和牛犊情况下，调用RFID设备。RFID设备已在畜牧业十分常见，实施者可以自行设置并录入相关信息。在无人机上搭载信息交换模块将采集的信息与本地服务器通信，便于信息的实时处理。通过RFID信息，得到目标位置(成年牛和牛犊距离接近区域)的个体识别信息，当二者为一对母子关系的奶牛，则输出母牛护犊行为的提示信息。

牛关键点检测网络训练的方法为：通过不同位置无人机采集各子区域牧区奶牛放牧时的图像作为训练数据集。对数据集进行人工标注，具***置以牛两眼之间的中心点和尾椎骨中心点作为关键点，对以两类关键点为中心进行高斯核卷积生成的热斑进行标注。每个类别的关键点有对应的Heatmap通道。采用均方差损失函数进行分支网络的训练。关联矢量场生成分支训练的具体内容为：通过不同位置无人机采集各子区域牧区奶牛放牧时的图像作为训练数据集。对训练集进行特征标注，具体标注为对每个躯干(一头牛的头部关键点指向尾部关键点)包含的像素值标注，标注为头部关键点指向尾部关键点方向的单位向量。采用均方差损失函数对分支网络训练。

将无人机采集的牧区各子区域RGB图像进行投影变换到复合全景平面，对变换到复合全景平面的图像进行图像拼接操作，拼接后的图像再投影到BIM地面平面中，结合WebGIS技术对牧区建筑信息模型进行可视化。

具体地，采集各子区域的RGB图像进行投影变换，目的为变换到同一平面，该平面在下文以复合全景平面代称。变换到复合全景平面的图像进行图像拼接操作。拼接后的图像再投影到BIM地面平面中。

第一次投影变换的目的为将各子区域图像投影到一个共同的平面内，称该平面为复合全景平面。第二次投影变换的目的为将拼接后图片投影到BIM地面平面。

以第一次匹配中的一个子区域图像所在平面作为复合全景平面，该子区域图像原点原作为全景图像原点。图像I(x,y)、I′(x′,y′)和单应性矩阵H的投影关系公式为：

由于单应性矩阵有8个未知参数，因此需要至少4对特征点的坐标对单应性矩阵利用SVD(奇异值分解)算法进行求解。

特征点提取的方法有很多，包括Harris、SIFT、SURF、ORB等方法，提取后匹配的方法也有很多，例如KNN匹配、最近邻快速搜索匹配、暴力匹配等。实施者可根据实际情况选择合适的特征点提取方法和匹配方法。

图像拼接的具体方法为：对图像进行合适的预处理，预处理的方法是公知的，实施者可以选择合适的预处理方法。优选地，本实例选择图像校正、噪声抑制预处理。然后进行图像的配准，对提取的特征点对进行匹配，将两幅图像转换为同一坐标，在本发明中采用RANSAC方法进行匹配的单应性矩阵的估算。将所有输入图像变形到复合全景平面上，计算输入图像的变形图像的坐标范围，得到输出图像的大小，计算源图像原点与输出全景图原点的偏移量，然后将每个输入源图像的像素映射到输出平面上。最后进行图像的融合，方法为羽化、金字塔、梯度等。本发明中采用羽化法，使用加权平均颜色值融合重叠的像素。

为了直观的呈现出***输出的信息，本发明结合放牧区域的BIM模型，通过WebGIS进行信息的可视化处理。通过各子区域图像拼接后投影到BIM地面平面中，可实现整个放牧区域的实时成像。养殖者可以在Web上进行检索、查询和分析，便于养殖者更直观的了解到放牧区域内母牛护犊行为的检测情况。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于人工智能及航拍图像的牧区母牛护犊行为检测方法，其特征在于，该方法包括：

无人机搭载RGB相机、RFID射频识别天线，并配置与本地服务器的通信模块，使用RGB相机对牧区进行覆盖拍摄；

将无人机实时采集的牧区子区域图像输入牛关键点检测编码器、牛关键点检测解码器，得到牛关键点热力图，牛关键点包括头部关键点、尾部关键点；

将无人机实时采集的牧区子区域图像输入矢量场编码器、矢量场解码器中，得到关键点的关联矢量场，关联矢量场表征关键点之间的关系；

计算关联矢量场上的线积分，获得各个关键点之间的连接权重值，应用条件约束的匹配算法，通过最大权重匹配获得关键点的最终匹配关系，为每个头部关键点匹配一个尾部关键点；

将所有相匹配的两个关键点投影到牧区建筑信息模型，计算两个关键点之间的坐标距离，设置体型阈值，超过该阈值的为成年牛，否则为牛犊；

从头部关键点、尾部关键点中选择一类关键点，通过选择关键点在牧区建筑信息模型中的投影坐标计算每两只牛之间的距离，设置距离阈值，超过该阈值的为距离正常，否则判断为过于靠近；

若判断结果为过于靠近且两只牛分别为成年牛、牛犊的情况下，调用RFID设备；

通过RFID信息，得到两只牛的个体识别信息，若两只牛为母子关系，输出母牛护犊行为的提示信息，传输至牧区建筑信息模型；

将无人机采集的牧区各子区域RGB图像进行投影变换到复合全景平面，对变换到复合全景平面的图像进行图像拼接操作，拼接后的图像再投影到BIM地面平面中，结合WebGIS技术对牧区建筑信息模型进行可视化。

2.如权利要求1所述的方法，其特征在于，所述牛关键点检测编码器对牧区子区域图像进行特征提取得到牛关键点检测特征图；

所述牛关键点检测解码器对牛关键点特征图进行上采样还原，得到牛关键点热图。

3.如权利要求1所述的方法，其特征在于，所述矢量场编码器对牧区子区域图像进行编码，得到矢量场特征图；

矢量场解码器对矢量特征图进行解码，得到关键点的关联矢量场。

4.如权利要求1所述的方法，其特征在于，该方法还包括对牛关键点检测编码器、牛关键点检测解码器的训练，训练方法具体为：

通过无人机采集各子区域牧区牛群放牧时的图像作为训练数据集；

对数据集进行人工标注，具***置以牛两眼之间的中心点、尾椎骨中心点作为关键点，以两类关键点为中心进行高斯核卷积生成的热斑作为标注，每个类别的关键点有对应的热力通道；

利用训练数据集及其标注数据，基于均方差损失函数训练牛关键点检测编码器、牛关键点检测解码器。

5.如权利要求1所述的方法，其特征在于，所述对变换到复合全景平面的图像进行图像拼接操作，拼接后的图像再投影到BIM地面平面中包括：

对投影变换后的待拼接牧区子区域图像进行图像校正、噪声抑制；提取待拼接牧区子区域图像的特征点，进行特征点的匹配；根据匹配点对进行单应性矩阵的估计，通过RANSAC方法估算单应性矩阵，将待拼接图像转换到同一坐标下；将所有输入图像变形到复合全景平面上，计算输入图像的变形图像的坐标范围，得到输出图像的大小，计算源图像原点与输出全景图原点的偏移量，将每个输入源图像的像素映射到输出平面上；进行图像融合，得到图像拼接结果，投影到BIM地面平面中。

Images