CN115359511A - 一种猪只异常行为检测方法 - Google Patents

一种猪只异常行为检测方法 Download PDF

Info

Publication number
CN115359511A
CN115359511A CN202210934696.XA CN202210934696A CN115359511A CN 115359511 A CN115359511 A CN 115359511A CN 202210934696 A CN202210934696 A CN 202210934696A CN 115359511 A CN115359511 A CN 115359511A
Authority
CN
China
Prior art keywords
image
abnormal
representing
pigs
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210934696.XA
Other languages
English (en)
Inventor
杨秋妹
陈淼彬
肖德琴
刘啸虎
康俊琪
黄一桂
周家鑫
刘克坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202210934696.XA priority Critical patent/CN115359511A/zh
Publication of CN115359511A publication Critical patent/CN115359511A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)

Abstract

本发明提供一种猪只异常行为检测方法，包括以下步骤：S1：从实时采集的猪只生活视频中逐帧提取图像；S2：采用改进的Yolov5n模型对提取的各帧图像进行目标检测和裁剪，得到每帧图像中各猪只的目标截图；S3：通过双流卷积自编码器提取特征向量；S4：采用K‑means和分类算法对特征向量进行聚类和分类；S5：通过分类器获取当前帧所有目标的分类分数，并将所有分类分数组合形成异常预测图；S6：对异常预测图进行高斯滤波时序平滑，得到的最高分类分数记为当前帧图像的异常分数；S7：判断当前帧图像的异常分数是否为正数；若是，则不存在异常行为，反之，存在。本发明提供的猪只异常行为检测方法解决了目前的异常检测方法不能实现通用的猪只异常行为检测的问题。

Description

一种猪只异常行为检测方法
技术领域
本发明涉及人工智能的技术领域，更具体的，涉及一种猪只异常行为检测方法。
背景技术
在畜牧业中，特别是封闭式养殖环境中的猪场中，动物之间的传染性疾病对其福祉造成严重破坏，容易发生致命感染，并对农民造成巨大的经济损失。而实现生猪福利养殖的必要条件除了为猪群提供良好生存环境外，持续监测动物行为以尽早发现异常进行及时诊断治疗，从而实现利益最大化。
猪只行为反映了动物的福利状况和社会互动，是猪只健康状况分析和健康养殖管理的重要依据。猪只之间的密切互动可能对猪的健康产生负面影响，并降低动物福利，例如雄猪和母猪都会发生坐骑行为，特别是在发情期中，通常表现为猪将两只前蹄放在另一头猪的身体或头部，该猪只保持躺着或快速躲闪从而导致瘀伤、跛行和腿部骨折，这些伤害将导致畜牧业的严重经济损失。因此，通过及时监测生猪的不同异常行为，可以评估生猪的异常状况，进而预防生猪疾病或防止疾病蔓延，提高生猪养殖福利水平。
近些年来，由于深度学***衡影响，且其性能在很大程度上取决于手动注释的训练数据集的可用性和质量，并不适合用于基于视频的异常行为检测。因此，大量研究人员从无监督学习角度出发，提出了无需带标注的数据集训练，且自适应视频数据本身的异常行为检测方法，并在各类数据集上取得了较好的效果。但现有的无监督方法主要是针对某种具体的异常行为，如攻击、咬尾、爬跨等异常行为，设计针对性的算法来进行识别，其存在一个缺点是只能是一种异常行为就设计一种专用算法进行检测，不能实现通用的猪只异常行为检测。
发明内容
本发明为克服目前的异常检测方法不能实现通用的猪只异常行为检测的技术缺陷，提供一种猪只异常行为检测方法。
为解决上述技术问题，本发明的技术方案如下：
一种猪只异常行为检测方法，包括以下步骤：
S1：实时采集猪只生活视频，从猪只生活视频中逐帧提取图像；
S2：采用改进的Yolov5n网络模型对提取的各帧图像进行目标检测和裁剪，分别得到每帧图像中各猪只的目标截图；
所述改进的Yolov5n网络模型为：在现有的Yolov5n网络模型的主干特征提取网络的第4层、第6层和第8层后加入通道注意力模块，并将所述通道注意力模块与颈部网络的第18层、第22层和第26层的上采样层进行拼接，以及在主干特征提取网络的第11层后加入C3层和通道注意力模块；
S3：构建一个端到端可训练的基于对象为中心双流卷积自动编码器网络提取目标截图中各猪只的外观特征向量和运动特征向量，并进行特征融合形成对应帧的特征向量；
所述的双流卷积自动编码器网络仅采用猪只正常行为的图像进行训练；
S4：采用K-means聚类算法对融合特征向量进行聚类，并将结果输入到二元分类器中训练，得到训练好的分类器；
S5：在每帧图像中，通过分类器获取当前帧图像中所有目标截图的分类分数，并将所有分类分数组合形成当前帧图像的异常预测图；
S6：对当前帧图像的异常预测图进行高斯滤波时序平滑，得到的最高分类分数记为当前帧图像的异常分数；
S7：判断当前帧图像的异常分数是否为正数；
若是，则当前帧图像中的猪只不存在异常行为；
若否，则当前帧图像中的猪只存在异常行为。
上述方案中，通过采用改进的Yolov5n网络模型对各帧图像进行目标检测和裁剪得到每帧图像中各猪只的目标截图，在复杂遮挡的实际猪场环境下仍能有效检测到所有猪只，然后通过仅采用猪只正常行为的图像进行训练的分类器对目标截图进行分类得到分类分数，进而得到各帧图像的异常分数，最后根据异常分数实现猪只异常行为检测，弥补了现实异常行为训练数据的缺乏，能够准确识别出猪只的异常行为。
优选的，所述通道注意力模块中包括压缩、激励和缩放操作；其中，
压缩操作为：使用全局平均池化将原始特征层的维度H*W*C压缩为1*1*C；
激励操作为：使用两个全连接层融合各特征通道的特征图信息，然后使用Sigmoid函数对权值进行归一化；
缩放操作为：将激励操作后输出的权重映射为一组特征通道的权重，然后与原始特征图的特征相乘加权，实现对原始特征在通道维度上的特征重标定。
优选的，所述Yolov5n网络模型的改进还包括增加一个64倍下采样检测层，使输出的特征图尺度为20×20。
优选的，在步骤S5中，从当前帧图像中选定一张目标截图，通过步骤S3提取将选定的目标截图的特征向量并聚类成k个簇，然后将聚类结果分别输入k个分类器中得到k个分类分数，选出最高的分类分数作为选定的目标截图的异常分数，重复此步骤直至获取当前帧图像中所有目标截图的异常分类分数。
优选的，所述分类器为二元分类器，第i个二元分类器的定义如下：
Figure BDA0003783024140000031
其中，wj表示权重向量，b表示偏置值，x表示输入二元分类器的样本，x能被分类为正常样本或异常样本，xj表示样本的第j个元素，m表示x的维度。
优选的，通过以下步骤训练k个二元分类器：
A1：从猪只生活视频中选出猪只正常行为的图像作为训练图像；
A2：采用改进的Yolov5n网络模型对训练图像进行目标检测和裁剪，分别得到训练图像中各猪只的目标截图；
A3：将目标截图转为灰度图像，并通过与训练图像的相邻帧图像进行像素值相减得到相应的帧差图像；
A4：根据步骤A3得到的灰度帧图和灰度帧差图分别作为以对象为中心的猪只异常行为卷积自动编码器网络中外观子网络和动作子网络的输入，通过该网络提取目标截图中各猪只的外观特征向量和动作特征向量；
所述自动编码器网络包括外观子网络和动作子网络，所述外观子网络用于从目标截图中提取外观特征向量，所述动作子网络用于从帧差图像中提取动作特征向量；
A5：将外观特征向量和动作特征向量融合，得到训练图像的融合特征向量；
A6：将融合特征向量进行k-means聚类，得到聚类结果簇i，i＝1,2,....,k；
A7：将聚类结果输入k个二元分类器中，得到k个训练好的二元分类器。
优选的，所述外观子网络和动作子网络均包括注意力模块和内存记忆模块；其中，
所述注意力模块的计算公式为：
Figure BDA0003783024140000041
Figure BDA0003783024140000042
ut,t′＝a(st-1,ht′)
其中，ct表示t时刻的上下文向量，T表示总时间长度，αt,t′表示t时刻t′邻域的注意力权重，ht′表示第t′时刻的隐藏单元输出，α表示注意力权重，ut,t′表示t时刻t′邻域的输出分数，ut,k表示t时刻k邻域的输出分数，st-1表示t-1时刻的隐状态；
所述内存记忆模块包括M个内存项pm，m＝1,…,M，用于记录猪只正常行为数据的各种原型特征模式；
对于每一个查询映射
Figure BDA0003783024140000043
通过对具有相应权重
Figure BDA0003783024140000044
的内存项pm进行加权平均来读取内存项，并获得特征
Figure BDA0003783024140000045
Figure BDA0003783024140000046
Figure BDA0003783024140000047
其中，
Figure BDA0003783024140000048
表示内存项pm′的权重，pm′表示第m′个内存项；
内存项的更新公式为：
Figure BDA0003783024140000049
Figure BDA0003783024140000051
Figure BDA0003783024140000052
其中，←表示更新操作，f表示L2范数，vt ′k,m表示匹配概率值
Figure BDA0003783024140000053
的重构，
Figure BDA0003783024140000054
表示内存记忆模块的查询索引集。
优选的，在更新内存项时，若第t帧图像加权后的分数εt大于预设的阈值，则将第t帧图像视为异常帧，不将异常帧用于更新内存项；
通过以下公式计算得到加权后的分数εt：
Figure BDA0003783024140000055
Figure BDA0003783024140000056
其中，
Figure BDA0003783024140000057
表示特征的权值，
Figure BDA0003783024140000058
表示t邻域内的某一特征，It表示第t时刻的特征，i、j表示空间指数。
优选的，所述自动编码器的损失函数
Figure BDA0003783024140000059
为：
Figure BDA00037830241400000510
其中，
Figure BDA00037830241400000511
为重建误差，
Figure BDA00037830241400000512
为特征紧凑损失函数，
Figure BDA00037830241400000513
为特征分离损失函数，
Figure BDA00037830241400000514
为超参数。
优选的，
所述重建误差为：
Figure BDA00037830241400000515
所述特征紧凑损失函数为：
Figure BDA00037830241400000516
Figure BDA00037830241400000517
所述特征分离损失函数为：
Figure BDA00037830241400000518
Figure BDA0003783024140000061
其中，T表示总时间，t表示时间索引，k表示查询映射的索引，K表示查询映射的总数量，
Figure BDA0003783024140000062
表示t邻域内的某一特征，It表示第t时刻的特征，pp表示查询映射
Figure BDA0003783024140000063
的最近内存项，p为查询映射
Figure BDA0003783024140000064
的最近项目的索引，
Figure BDA0003783024140000065
表示第m个内存项的权重，m表示内存项索引，M表示总内存项个数，pn表示查询映射
Figure BDA0003783024140000066
的第二近的内存项。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供了一种猪只异常行为检测方法，通过采用改进的Yolov5n网络模型对各帧图像进行目标检测和裁剪得到每帧图像中各猪只的目标截图，在复杂遮挡的实际猪场环境下仍能有效检测到所有猪只；然后构建一个端到端可训练的基于对象为中心双流卷积自动编码器网络，仅采用猪只正常行为的视频进行训练，只关注场景中存在的猪只对象，不需要人工提取图像特征，而且能够准确地定位每一帧中的异常，判定猪只异常行为发生规模的大小和持续时间的长短。同时提出一种具有学习并存储正常猪只行为的“原型”特征的内存模块及内存更新策略；再采用无监督的二分类方法解决猪只异常行为检测问题，通过自动编码器网络学习得到的特征向量进行聚类，再将得到的聚类结果用于训练分类器。通过采用训练的分类器对目标截图进行分类得到分类分数，进而得到各帧图像的异常分数，最后根据异常分数实现猪只异常行为检测，弥补了现实异常行为训练数据的缺乏，能够准确识别出猪只的异常行为。
附图说明
图1为本发明的技术方案实施步骤流程图；
图2为本发明中改进的Yolov5n网络模型的结构示意图；
图3为本发明中获取帧差图的流程示意图；
图4为本发明中以对象中心的猪只异常行为检测网络示意图；
图5为本发明中自动编码器网络的子网络的结构示意图；
图6为本发明中内存项读取示意图；
图7为本发明内存项更新示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种猪只异常行为检测方法，包括以下步骤：
S1：实时采集猪只生活视频，从猪只生活视频中逐帧提取图像；
S2：采用改进的Yolov5n网络模型对提取的各帧图像进行目标检测和裁剪，分别得到每帧图像中各猪只的目标截图；
所述改进的Yolov5n网络模型为：在现有的Yolov5n网络模型的主干特征提取网络的第4层、第6层和第8层后加入通道注意力模块，并将所述通道注意力模块与颈部网络的第18层、第22层和第26层的上采样层进行拼接，以及在主干特征提取网络的第11层后加入C3层和通道注意力模块；
S3：构建一个端到端可训练的基于对象为中心双流卷积自动编码器网络提取目标截图中各猪只的外观特征向量和运动特征向量，并进行特征融合形成对应帧的特征向量；
所述的双流卷积自动编码器网络仅采用猪只正常行为的图像进行训练；
S4：采用K-means聚类算法对融合特征向量进行聚类，并将结果输入到二元分类器中训练，得到训练好的分类器；
S5：在每帧图像中，通过分类器获取当前帧图像中所有目标截图的分类分数，并将所有分类分数组合形成当前帧图像的异常预测图；
S6：对当前帧图像的异常预测图进行高斯滤波时序平滑，得到的最高分类分数记为当前帧图像的异常分数；
S7：判断当前帧图像的异常分数是否为正数；
若是，则当前帧图像中的猪只不存在异常行为；
若否，则当前帧图像中的猪只存在异常行为。
在具体实施过程中，通过采用改进的Yolov5n网络模型对各帧图像进行目标检测和裁剪得到每帧图像中各猪只的目标截图，在复杂遮挡的实际猪场环境下仍能有效检测到所有猪只，然后输入到双流卷积自动编码器网络提取目标截图中各猪只的外观和运动特征向量，再对融合后的特征向量聚类，将得到的聚类结果用于训练分类器。通过采用训练的分类器对目标截图进行分类得到分类分数，进而得到各帧图像的异常分数，最后根据异常分数实现猪只异常行为检测，弥补了现实异常行为训练数据的缺乏，能够准确识别出猪只的异常行为。
实施例2
一种猪只异常行为检测方法，包括以下步骤：
S1：实时采集猪只生活视频，从猪只生活视频中逐帧提取图像；
S2：采用改进的Yolov5n网络模型对提取的各帧图像进行目标检测和裁剪，分别得到每帧图像中各猪只的目标截图；
如图2所示，所述改进的Yolov5n网络模型为：在现有的Yolov5n网络模型的主干特征提取网络的第4层、第6层和第8层后加入通道注意力模块，并将所述通道注意力模块与颈部网络的第18层、第22层和第26层的上采样层进行拼接，以及在主干特征提取网络的第11层后加入C3层和通道注意力模块；
实际实施时，针对现有的Yolov5n网络模型存在边界框定位不够准确导致难以区分重叠物体、鲁棒性差等问题，本实施例在主干特征提取网络Backbone中加入SE-Net通道注意力模块来改进，在卷积网络通道之间的相互作用建立特征映射，使网络模型能够自动学习全局特征信息并突出有用特征信息，同时抑制其他不太重要的特征信息，使网络模型更专注于训练遮挡对象的目的。
更具体的，所述通道注意力模块中包括压缩、激励和缩放操作；其中，
压缩操作为：使用全局平均池化将原始特征层的维度H*W*C压缩为1*1*C；
激励操作为：使用两个全连接层融合各特征通道的特征图信息，然后使用Sigmoid函数对权值进行归一化；
缩放操作为：将激励操作后输出的权重映射为一组特征通道的权重，然后与原始特征图的特征相乘加权，实现对原始特征在通道维度上的特征重标定。
更具体的，所述Yolov5n网络模型的改进还包括增加一个64倍下采样检测层，使输出的特征图尺度为20×20。
在具体实施过程中，在Yolov5n网络模型原有3个不同尺度(40x 40、80x80、160x160)的检测层的基础上，增加一个超小尺度(20x 20)的检测层，即在经过8倍、16倍、32倍下采样后，再增加一个64倍下采样检测层，从而得到20x 20尺度的检测层特征图，进一步加深网络深度，使网络模型能够提取到更高层次的语义信息，信息也更加丰富，从而增强模型在复杂场景下多尺度学习的能力，提升模型的检测性能。
S3：构建一个端到端可训练的基于对象为中心双流卷积自动编码器网络提取目标截图中各猪只的外观特征向量和运动特征向量，并进行特征融合形成对应帧的特征向量；
所述的双流卷积自动编码器网络仅采用猪只正常行为的图像进行训练；
S4：采用K-means聚类算法对融合特征向量进行聚类，并将结果输入到二元分类器中训练，得到训练好的分类器；
S5：在每帧图像中，通过分类器获取当前帧图像中所有目标截图的分类分数，并将所有分类分数组合形成当前帧图像的异常预测图；
更具体的，在步骤S5中，从当前帧图像中选定一张目标截图，通过步骤S3提取将选定的目标截图的特征向量并聚类成k个簇，然后将聚类结果分别输入k个分类器中得到k个分类分数，选出最高的分类分数作为选定的目标截图的异常分数，重复此步骤直至获取当前帧图像中所有目标截图的异常分类分数。
更具体的，所述分类器为二元分类器，第i个二元分类器的定义如下：
Figure BDA0003783024140000091
其中，wj表示权重向量，b表示偏置值，x表示输入二元分类器的样本，x能被分类为正常样本或异常样本，xj表示样本的第j个元素，m表示x的维度。
更具体的，通过以下步骤训练k个二元分类器：
A1：从猪只生活视频中选出猪只正常行为的图像作为训练图像；
实际实施时，对包含多个猪栏的图像进行掩膜处理，在原始图像上以盘点猪栏为界限，添加一掩膜层，遮住其他栏位的猪只，以此构建一个多场景(不同猪舍、猪只数量不同、遮挡程度不同、光照不同、猪只体型不同等)的训练数据集，手工标注图像上的猪只；
A2：采用改进的Yolov5n网络模型对训练图像进行目标检测和裁剪，分别得到训练图像中各猪只的目标截图；
实际实施时，由于现有的Yolov5n网络模型预设定锚框默认是主要针对coco数据集(微软团队提供一个公开数据集)，这与本实施例中训练数据集的标注框长宽比例完全不同(coco数据集标注框最大的长宽比例达到1:8以上，本实施例中训练数据集最大的长宽比例为5.6)，因此本实施例通过K-means算法聚类生成12个锚框作为模型的初始框，然后使用Genetic Alogirthm遗传算法随机对锚框的宽高变异100000次，若变异后的效果更好，则将变异后的结果作为锚框的最终结果，否则跳过。
A3：将目标截图转为灰度图像，并通过与训练图像的相邻帧图像进行像素值相减得到相应的帧差图像，如图3所示；
A4：根据步骤A3得到的灰度帧图和灰度帧差图分别作为以对象为中心的猪只异常行为卷积自动编码器网络中外观子网络和动作子网络的输入，通过该网络提取外观特征向量和动作特征向量，如图4所示；
所述自动编码器网络包括外观子网络和动作子网络，所述外观子网络用于从目标截图中提取外观特征向量，所述动作子网络用于从帧差图像中提取动作特征向量；
更具体的，所述外观子网络和动作子网络均包括注意力模块和内存记忆模块；其中，
所述注意力模块的计算公式为：
Figure BDA0003783024140000101
Figure BDA0003783024140000102
ut,t′＝a(st-1,ht′)
其中，ct表示t时刻的上下文向量，T表示总时间长度，αt,t′表示t时刻t′邻域的注意力权重，ht′表示第t′时刻的隐藏单元输出，α表示注意力权重，ut,t′表示t时刻t′邻域的输出分数，ut,k表示t时刻k邻域的输出分数，st-1表示t-1时刻的隐状态；
在具体实施过程中，自动编码器网络由两个子网络组成双流结构，分别为外观子网络和动作子网络，两个子网络均包括编码器、内存记忆模块和解码器，编码器和解码器均包括一个空间卷积层、三个卷积LSTM层(ConvLSTM)、三个注意力模块和两个最大池化层(MaxPool)，如图5所示。
通过构建了一个端到端可训练的基于对象为中心双流卷积自动编码器网络，只关注场景中存在的猪只对象，不需要人工提取图像特征，同时能够准确地定位每一帧中的异常，判定猪只异常行为发生规模的大小和持续时间的长短，具有省时高效、准确率高、鲁棒性高的技术优势。
所述内存记忆模块包括M个内存项pm，m＝1,…,M，用于记录猪只正常行为数据的各种原型特征模式；
如图6所示，图6中C表示计算两者的余弦相似度，S表示softmax函数，W表示加权平均；为了读取内存项，通过计算每个查询映射
Figure BDA0003783024140000111
和所有内存项pm之间的余弦相似度，得到大小为M×K的二维图，然后再沿垂直方向应用softmax函数得到读取匹配概率
Figure BDA0003783024140000112
Figure BDA0003783024140000113
对于每一个查询映射
Figure BDA0003783024140000114
通过对具有相应权重
Figure BDA0003783024140000115
的内存项pm进行加权平均来读取内存项，并获得特征
Figure BDA0003783024140000116
Figure BDA0003783024140000117
其中，
Figure BDA0003783024140000118
表示内存项pm′的权重，pm′表示第m′个内存项；
如图7所示，图7中C表示计算两者的余弦相似度，S表示softmax函数，W表示加权平均，n表示最大归一化；对于更新操作，针对每个内存项pm，通过计算出
Figure BDA0003783024140000119
进而选择距离pm最近的查询映射
Figure BDA00037830241400001110
然后使用查询索引集
Figure BDA00037830241400001111
更新内存项，内存项的更新公式为：
Figure BDA00037830241400001112
Figure BDA00037830241400001113
Figure BDA00037830241400001114
其中，←表示更新操作，f表示L2范数，vt ′k,m表示写入匹配概率值
Figure BDA00037830241400001115
的重构。
A5：将外观特征向量和动作特征向量融合，得到训练图像的融合特征向量；
A6：将融合特征向量进行k-means聚类，得到聚类结果簇i，i＝1,2,....,k；
A7：将聚类结果输入k个二元分类器中，得到k个训练好的二元分类器。
在具体实施过程中，通过K-means聚类构建一个context，在这个context中，正常样本中的一个子集相对另一个子集相当于伪异常样本，从而弥补真实异常样本缺少的问题。K-means聚类将正常样本聚类成k个簇，每个簇分别代表猪只的某种常态行为，与其他簇代表的行为不同，即从给定簇i的角度来看，属于其他簇的样本(来自数据集{1,2,....,k}\i【\代表除i外】)可以被视为异常样本。
S6：对当前帧图像的异常预测图进行高斯滤波时序平滑，得到的最高分类分数记为当前帧图像的异常分数；
S7：判断当前帧图像的异常分数是否为正数；
若是，则当前帧图像中的猪只不存在异常行为；
若否，则当前帧图像中的猪只存在异常行为。
实施例3
一种猪只异常行为检测方法，包括以下步骤：
S1：实时采集猪只生活视频，从猪只生活视频中逐帧提取图像；
S2：采用改进的Yolov5n网络模型对提取的各帧图像进行目标检测和裁剪，分别得到每帧图像中各猪只的目标截图；
所述改进的Yolov5n网络模型为：在现有的Yolov5n网络模型的主干特征提取网络的第4层、第6层和第8层后加入通道注意力模块，并将所述通道注意力模块与颈部网络的第18层、第22层和第26层的上采样层进行拼接，以及在主干特征提取网络的第11层后加入C3层和通道注意力模块；
更具体的，所述通道注意力模块中包括压缩、激励和缩放操作；其中，
压缩操作为：使用全局平均池化将原始特征层的维度H*W*C压缩为1*1*C；
激励操作为：使用两个全连接层融合各特征通道的特征图信息，然后使用Sigmoid函数对权值进行归一化；
缩放操作为：将激励操作后输出的权重映射为一组特征通道的权重，然后与原始特征图的特征相乘加权，实现对原始特征在通道维度上的特征重标定。
更具体的，所述Yolov5n网络模型的改进还包括增加一个64倍下采样检测层，使输出的特征图尺度为20×20。
S3：构建一个端到端可训练的基于对象为中心双流卷积自动编码器网络提取目标截图中各猪只的外观特征向量和运动特征向量，并进行特征融合形成对应帧的特征向量；
所述的双流卷积自动编码器网络仅采用猪只正常行为的图像进行训练；
S4：采用K-means聚类算法对融合特征向量进行聚类，并将结果输入到二元分类器中训练，得到训练好的分类器；S5：在每帧图像中，通过分类器获取当前帧图像中所有目标截图的分类分数，并将所有分类分数组合形成当前帧图像的异常预测图；
更具体的，在步骤S5中，从当前帧图像中选定一张目标截图，通过步骤S3提取将选定的目标截图的特征向量并聚类成k个簇，然后将聚类结果分别输入k个分类器中得到k个分类分数，选出最高的分类分数作为选定的目标截图的异常分数，重复此步骤直至获取当前帧图像中所有目标截图的异常分类分数。
更具体的，所述分类器为二元分类器，第i个二元分类器的定义如下：
Figure BDA0003783024140000131
其中，wj表示权重向量，b表示偏置值，x表示输入二元分类器的样本，x能被分类为正常样本或异常样本，xj表示样本的第j个元素，m表示x的维度。
更具体的，通过以下步骤训练k个二元分类器：
A1：从猪只生活视频中选出猪只正常行为的图像作为训练图像；
A2：采用改进的Yolov5n网络模型对训练图像进行目标检测和裁剪，分别得到训练图像中各猪只的目标截图；
A3：将目标截图转为灰度图像，并通过与训练图像的相邻帧图像进行像素值相减得到相应的帧差图像；
A4：根据步骤A3得到的灰度帧图和灰度帧差图分别作为以对象为中心的猪只异常行为卷积自动编码器网络中外观子网络和动作子网络的输入，通过该网络提取目标截图中各猪只的外观特征向量和动作特征向量；
所述自动编码器网络包括外观子网络和动作子网络，所述外观子网络用于从目标截图中提取外观特征向量，所述动作子网络用于从帧差图像中提取动作特征向量；
更具体的，所述外观子网络和动作子网络均包括注意力模块和内存记忆模块；其中，
所述注意力模块的计算公式为：
Figure BDA0003783024140000141
Figure BDA0003783024140000142
ut,t′＝a(st-1,ht′)
其中，ct表示t时刻的上下文向量，T表示总时间长度，αt,t′表示t时刻t′邻域的注意力权重，ht′表示第t′时刻的隐藏单元输出，α表示注意力权重，ut,t′表示t时刻t′邻域的输出分数，ut,k表示t时刻k邻域的输出分数，st-1表示t-1时刻的隐状态；
所述内存记忆模块包括M个内存项pm，m＝1,…,M，用于记录猪只正常行为数据的各种原型特征模式；
对于每一个查询映射
Figure BDA0003783024140000143
通过对具有相应权重
Figure BDA0003783024140000144
的内存项pm进行加权平均来读取内存项，并获得特征
Figure BDA0003783024140000145
Figure BDA0003783024140000146
Figure BDA0003783024140000147
其中，
Figure BDA0003783024140000148
表示内存项pm′的权重，pm′表示第m′个内存项；
内存项的更新公式为：
Figure BDA0003783024140000149
Figure BDA00037830241400001410
Figure BDA00037830241400001411
其中，←表示更新操作，f表示L2范数，vt ′k,m表示匹配概率值
Figure BDA00037830241400001412
的重构，
Figure BDA00037830241400001413
表示内存记忆模块的查询索引集。
更具体的，在更新内存项时，若第t帧图像加权后的分数εt大于预设的阈值，则将第t帧图像视为异常帧，不将异常帧用于更新内存项；
通过以下公式计算得到加权后的分数εt：
Figure BDA0003783024140000151
Figure BDA0003783024140000152
其中，
Figure BDA0003783024140000153
表示特征的权值，
Figure BDA0003783024140000154
表示t邻域内的某一特征，It表示第t时刻的特征，i、j表示空间指数。
在具体实施过程中，当同时存在正常和异常样本时，为防止内存记录猪只异常样本的特征，使用加权的规则评分分数来衡量视频帧的异常情况，只有当帧被确定是正常时才会更新内存项。
更具体的，所述自动编码器的损失函数
Figure BDA0003783024140000155
为：
Figure BDA0003783024140000156
其中，
Figure BDA0003783024140000157
为重建误差，
Figure BDA0003783024140000158
为特征紧凑损失函数，
Figure BDA0003783024140000159
为特征分离损失函数，
Figure BDA00037830241400001510
为超参数。
更具体的，
所述重建误差为：
Figure BDA00037830241400001511
所述特征紧凑损失函数为：
Figure BDA00037830241400001512
Figure BDA00037830241400001513
所述特征分离损失函数为：
Figure BDA00037830241400001514
Figure BDA00037830241400001515
其中，T表示总时间，t表示时间索引，l表示查询映射的索引，K表示查询映射的总数量，
Figure BDA00037830241400001516
表示t邻域内的某一特征，It表示第t时刻的特征，pp表示查询映射
Figure BDA00037830241400001517
的最近内存项，p为查询映射
Figure BDA00037830241400001518
的最近项目的索引，
Figure BDA00037830241400001519
表示第m个内存项的权重，m表示内存项索引，M表示总内存项个数，pn表示查询映射
Figure BDA00037830241400001520
的第二近的内存项。
在具体实施过程中，通过特征紧凑函数和特征分类损失函数来训练自动编码器的内存记忆模块，从而确保内存项的多样性和辨别力。
A5：将外观特征向量和动作特征向量融合，得到训练图像的融合特征向量；
A6：将融合特征向量进行k-means聚类，得到聚类结果簇i，i＝1,2,....,k；
A7：将聚类结果输入k个二元分类器中，得到k个训练好的二元分类器。
S6：对当前帧图像的异常预测图进行高斯滤波时序平滑，得到的最高分类分数记为当前帧图像的异常分数；
S7：判断当前帧图像的异常分数是否为正数；
若是，则当前帧图像中的猪只不存在异常行为；
若否，则当前帧图像中的猪只存在异常行为。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种猪只异常行为检测方法，其特征在于，包括以下步骤：
S1：实时采集猪只生活视频，从猪只生活视频中逐帧提取图像；
S2：采用改进的Yolov5n网络模型对提取的各帧图像进行目标检测和裁剪，分别得到每帧图像中各猪只的目标截图；
所述改进的Yolov5n网络模型为：在现有的Yolov5n网络模型的主干特征提取网络的第4层、第6层和第8层后加入通道注意力模块，并将所述通道注意力模块与颈部网络的第18层、第22层和第26层的上采样层进行拼接，以及在主干特征提取网络的第11层后加入C3层和通道注意力模块；
S3：构建一个端到端可训练的基于对象为中心双流卷积自动编码器网络提取目标截图中各猪只的外观特征向量和运动特征向量，并进行特征融合形成对应帧的特征向量；
所述的双流卷积自动编码器网络仅采用猪只正常行为的图像进行训练；
S4：采用K-means聚类算法对融合特征向量进行聚类，并将结果输入到二元分类器中训练，得到训练好的分类器；S5：在每帧图像中，通过分类器获取当前帧图像中所有目标截图的分类分数，并将所有分类分数组合形成当前帧图像的异常预测图；
S6：对当前帧图像的异常预测图进行高斯滤波时序平滑，得到的最高分类分数记为当前帧图像的异常分数；
S7：判断当前帧图像的异常分数是否为正数；
若是，则当前帧图像中的猪只不存在异常行为；
若否，则当前帧图像中的猪只存在异常行为。
2.根据权利要求1所述的一种猪只异常行为检测方法，其特征在于，所述通道注意力模块中包括压缩、激励和缩放操作；其中，
压缩操作为：使用全局平均池化将原始特征层的维度H*W*C压缩为1*1*C；
激励操作为：使用两个全连接层融合各特征通道的特征图信息，然后使用Sigmoid函数对权值进行归一化；
缩放操作为：将激励操作后输出的权重映射为一组特征通道的权重，然后与原始特征图的特征相乘加权，实现对原始特征在通道维度上的特征重标定。
3.根据权利要求1所述的一种猪只异常行为检测方法，其特征在于，所述Yolov5n网络模型的改进还包括增加一个64倍下采样检测层，使输出的特征图尺度为20×20。
4.根据权利要求1所述的一种猪只异常行为检测方法，其特征在于，在步骤S5中，从当前帧图像中选定一张目标截图，通过步骤S3提取选定的目标截图的特征向量并聚类成k个簇，然后将聚类结果分别输入k个分类器中得到k个分类分数，选出最高的分类分数作为选定的目标截图的异常分数，重复此步骤直至获取当前帧图像中所有目标截图的异常分类分数。
5.根据权利要求4所述的一种猪只异常行为检测方法，其特征在于，所述分类器为二元分类器，第i个二元分类器的定义如下：
Figure FDA0003783024130000021
其中，wj表示权重向量，b表示偏置值，x表示输入二元分类器的样本，x能被分类为正常样本或异常样本，xj表示样本的第j个元素，m表示x的维度。
6.根据权利要求5所述的一种猪只异常行为检测方法，其特征在于，通过以下步骤训练k个二元分类器：
A1：从猪只生活视频中选出猪只正常行为的图像作为训练图像；
A2：采用改进的Yolov5n网络模型对训练图像进行目标检测和裁剪，分别得到训练图像中各猪只的目标截图；
A3：将目标截图转为灰度图像，并通过与训练图像的相邻帧图像进行像素值相减得到相应的帧差图像；
A4：根据步骤A3得到的灰度帧图和灰度帧差图分别作为以对象为中心的猪只异常行为卷积自动编码器网络中外观子网络和动作子网络的输入，通过该网络提取目标截图中各猪只的外观特征向量和动作特征向量；
所述自动编码器网络包括外观子网络和动作子网络，所述外观子网络用于从目标截图中提取外观特征向量，所述动作子网络用于从帧差图像中提取动作特征向量；
A5：将外观特征向量和动作特征向量融合，得到训练图像的融合特征向量；
A6：将融合特征向量进行k-means聚类，得到聚类结果簇i，i＝1，2，....，k；
A7：将聚类结果输入k个二元分类器中，得到k个训练好的二元分类器。
7.根据权利要求6所述的一种猪只异常行为检测方法，其特征在于，所述针对运动和外观训练以对象为中心的双流卷积自动编码器网络，该网络包括外观子网络和动作子网络，两个子网络均包括基于注意力的卷积LSTM模块和内存记忆模块；其中，
所述注意力模块的计算公式为：
Figure FDA0003783024130000031
Figure FDA0003783024130000032
ut，t′＝a(st-1，ht′)
其中，ct表示t时刻的上下文向量，T表示总时间长度，αt，t′表示t时刻t′邻域的注意力权重，ht′表示第t′时刻的隐藏单元输出，α表示注意力权重，ut，t′表示t时刻t′邻域的输出分数，ut，k表示t时刻k邻域的输出分数，st-1表示t-1时刻的隐状态；
所述内存记忆模块包括M个内存项pm，m＝1，...，M，用于记录猪只正常行为数据的各种原型特征模式；
对于每一个查询映射
Figure FDA0003783024130000033
通过对具有相应权重
Figure FDA0003783024130000034
的内存项pm进行加权平均来读取内存项，并获得特征
Figure FDA0003783024130000035
Figure FDA0003783024130000036
Figure FDA0003783024130000037
其中，
Figure FDA0003783024130000038
表示内存项pm′的权重，pm′表示第m′个内存项；
内存项的更新公式为：
Figure FDA0003783024130000039
Figure FDA00037830241300000310
Figure FDA00037830241300000311
其中，←表示更新操作，f表示L2范数，
Figure FDA0003783024130000041
表示匹配概率值
Figure FDA0003783024130000042
的重构，
Figure FDA0003783024130000043
表示内存记忆模块的查询索引集。
8.根据权利要求7所述的一种猪只异常行为检测方法，其特征在于，在更新内存项时，若第t帧图像加权后的分数εt大于预设的阈值，则将第t帧图像视为异常帧，不将异常帧用于更新内存项；
通过以下公式计算得到加权后的分数εt：
Figure FDA0003783024130000044
Figure FDA0003783024130000045
其中，
Figure FDA0003783024130000046
表示特征的权值，
Figure FDA0003783024130000047
表示t邻域内的某一特征，It表示第t时刻的特征，i、j表示空间指数。
9.根据权利要求6所述的一种猪只异常行为检测方法，其特征在于，所述自动编码器的损失函数
Figure FDA0003783024130000048
为：
Figure FDA0003783024130000049
其中，
Figure FDA00037830241300000410
为重建误差，
Figure FDA00037830241300000411
为特征紧凑损失函数，
Figure FDA00037830241300000412
为特征分离损失函数，
Figure FDA00037830241300000413
为超参数。
10.根据权利要求9所述的一种猪只异常行为检测方法，其特征在于，
所述重建误差为：
Figure FDA00037830241300000414
所述特征紧凑损失函数为：
Figure FDA00037830241300000415
Figure FDA00037830241300000416
所述特征分离损失函数为：
Figure FDA00037830241300000417
Figure FDA00037830241300000418
其中，T表示总时间，t表示时间索引，k表示查询映射的索引，K表示查询映射的总数量，
Figure FDA0003783024130000051
表示t邻域内的某一特征，It表示第t时刻的特征，pp表示查询映射
Figure FDA0003783024130000052
的最近内存项，p为查询映射
Figure FDA0003783024130000053
的最近项目的索引，
Figure FDA0003783024130000054
表示第m个内存项的权重，m表示内存项索引，M表示总内存项个数，pn表示查询映射
Figure FDA0003783024130000055
的第二近的内存项。
CN202210934696.XA 2022-08-04 2022-08-04 一种猪只异常行为检测方法 Pending CN115359511A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210934696.XA CN115359511A (zh) 2022-08-04 2022-08-04 一种猪只异常行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210934696.XA CN115359511A (zh) 2022-08-04 2022-08-04 一种猪只异常行为检测方法

Publications (1)

Publication Number Publication Date
CN115359511A true CN115359511A (zh) 2022-11-18

Family

ID=84033479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210934696.XA Pending CN115359511A (zh) 2022-08-04 2022-08-04 一种猪只异常行为检测方法

Country Status (1)

Country Link
CN (1) CN115359511A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102646871B1 (ko) * 2023-01-31 2024-03-13 한국축산데이터 주식회사 축사 감시 카메라를 이용한 환경 변화 탐지 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102646871B1 (ko) * 2023-01-31 2024-03-13 한국축산데이터 주식회사 축사 감시 카메라를 이용한 환경 변화 탐지 장치 및 방법

Similar Documents

Publication Publication Date Title
Yang et al. Deep learning for smart fish farming: applications, opportunities and challenges
Chouhan et al. Soft computing approaches for image segmentation: a survey
Zhou et al. Evaluation of fish feeding intensity in aquaculture using a convolutional neural network and machine vision
JP6935377B2 (ja) 時空間画像の変化を自動推論するためのシステムおよび方法
Yadav et al. Lung-GANs: unsupervised representation learning for lung disease classification using chest CT and X-ray images
Gu et al. Segment 2D and 3D filaments by learning structured and contextual features
CN105654141A (zh) 基于Isomap和SVM算法的俯视群养猪个体识别方法
CN113470076A (zh) 一种平养鸡舍黄羽鸡多目标跟踪方法
Hohberg Wildfire smoke detection using convolutional neural networks
Nagamani et al. Tomato leaf disease detection using deep learning techniques
He et al. What catches the eye? Visualizing and understanding deep saliency models
CN114399634B (zh) 基于弱监督学习的三维图像分类方法、***、设备及介质
Wang et al. Automated detection and counting of Artemia using U-shaped fully convolutional networks and deep convolutional networks
CN115359511A (zh) 一种猪只异常行为检测方法
Liu et al. Research progress of computer vision technology in abnormal fish detection
Chicchon et al. Semantic segmentation of fish and underwater environments using deep convolutional neural networks and learned active contours
CN117253192A (zh) 用于桑蚕养殖的智能***及方法
Schwinn et al. Behind the machine's gaze: Neural networks with biologically-inspired constraints exhibit human-like visual attention
Jain et al. Incremental training for image classification of unseen objects
Samhitha et al. Dwarf Mongoose Optimization with Transfer Learning-Based Fish Behavior Classification Model
Ishwerlal et al. Lung disease classification using chest X ray image: An optimal ensemble of classification with hybrid training
Kurdi et al. Improved Qubit Neural Network Based Computer Aided Detection Model for COVID-19 on Chest Radiographs
US12039733B2 (en) Method for identifying individuals of oplegnathus punctatus based on convolutional neural network
US20210383149A1 (en) Method for identifying individuals of oplegnathus punctatus based on convolutional neural network
Kao A Deep Learning Architecture For Histology Image Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination