CN113822185A - 一种群养生猪日常行为检测方法 - Google Patents
一种群养生猪日常行为检测方法 Download PDFInfo
- Publication number
- CN113822185A CN113822185A CN202111057182.2A CN202111057182A CN113822185A CN 113822185 A CN113822185 A CN 113822185A CN 202111057182 A CN202111057182 A CN 202111057182A CN 113822185 A CN113822185 A CN 113822185A
- Authority
- CN
- China
- Prior art keywords
- network
- pigs
- model
- yolov4
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000282887 Suidae Species 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000036541 health Effects 0.000 title claims abstract description 7
- 230000006399 behavior Effects 0.000 claims abstract description 70
- 238000001514 detection method Methods 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims description 50
- 238000011176 pooling Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 8
- 230000000977 initiatory effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims 3
- 238000010586 diagram Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 11
- 230000006872 improvement Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000009395 breeding Methods 0.000 description 4
- 230000001488 breeding effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 235000005809 Carpobrotus aequilaterus Nutrition 0.000 description 2
- 244000187801 Carpobrotus edulis Species 0.000 description 2
- 235000004550 Disphyma australe Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000012173 estrus Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000006651 lactation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002969 morbid Effects 0.000 description 1
- 244000045947 parasite Species 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种群养生猪日常行为检测方法，该方法通过获取待检测目标区域内群养生猪日常行为的图像，输入到改进后的YOLOv4网络模型进行检测，可得到输出的图像中生猪日常行为的分类。其中，改进后的YOLOv4网络模型为：采用轻量MobileNetv3网络代替原有模型YOLOv4中的CSPDarknet53网络，可减少参数量，在降低计算量的同时不会造成精度上的损失；并进一步在检测器中引入深度可分离卷积和inception网络结构，拓宽网络宽度和深度，在保证识别准确率的前提下，检测速度更快、实时性更强。
Description
技术领域
本发明涉及图像识别技术领域，特别涉及一种群养生猪日常行为检测方法。
背景技术
目前随着智慧农业的普及，智能化养殖越来越受到人们的重视。生猪日常行为的识别定位是数字化养殖的重要前期工作，如果生猪长期保持趴、坐等行为表明生猪可能处于病态等异常状态。利用深度学习目标检测技术快速准确检测出养殖过程中生猪的异常行为，对预警生猪疾病并对其及时采取应对措施具有十分重要的意义。
目前常见的牲畜日常行为的检测方法有传感器检测技术和计算机视觉技术，传统的传感器检测技术需要给生猪个体佩戴耳标类传感器，Traulsen等使用耳贴式加速度传感器对母猪的运动加速度进行采集,王凯等利用母猪颈部行为传感器获得行为数据，分析母猪发情行为。虽然此类方法可以纪录生猪个体的各项参数，但可能由于生猪的咬食而损坏，而且会造成生猪感染寄生虫等问题。随着计算机视觉技术的不断发展，基于卷积神经网络的视觉分析技术在智能化生猪养殖的诸多领域都取得了很大进展。例如，Marsort等提出基于卷积神经网络的自适应猪脸识别方法，准确率达到了83％；甘海明等提出基于时空信息融合的方法对母猪哺乳行为识别，达到了97.85％的识别率；燕红文等提出改进Tiny-YOLO模型的生猪脸部行为识别方法，准确率达到了 82.38％；Eric T.Psota等提出一种全卷积神经网络对生猪进行实例分割，准确率达到了91％。
卷积神经网络检测的算法可以分为基于候选区域以R-CNN、Fast R-CNN 为代表的两阶段算法和基于回归以SSD、YOLO系列为代表的一阶段算法。其中YOLOv4算法汇集了之前的研究成果在检测精度上有了很大提升，但也存在明显的缺陷，如参数量众多导致运算量庞大，占用磁盘空间大，在实际生产环境中很难在运算能力较弱的嵌入式设备实现实时应用。
发明内容
本发明的目的在于，为了解决上述现有技术存在的不足之处，提出一种群养生猪日常行为检测方法，该方法可。
为实现上述目的，本发明采取的技术方案为：
本发明实施例提供一种群养生猪日常行为检测方法，包括：
S1、获取待检测目标区域内群养生猪日常行为的图像；
S2、通过预先训练得到的生猪行为检测模型对所述图像进行检测；所述检测模型通过多组训练数据对改进后的YOLOv4网络模型进行训练得到的；所述多组训练数据的每一组数据包括生猪日常行为的目标框；所述改进后的 YOLOv4网络模型采用轻量MobileNetv3网络，且在检测器中引入深度可分离卷积和inception网络结构；
S3、根据所述检测模型的检测结果，确定所述图像中生猪日常行为的分类。
进一步地，改进后的YOLOv4网络模型采用轻量MobileNetv3网络，包括：
改进后的YOLOv4网络模型采用轻量MobileNetv3网络，删除 MobileNetv3后面的卷积层和池化层网络，保留网络的Bneck结构用于提取特征，包含其中SE模块；
分别在Bneck的第7层、第13层、第16层进行提取特征图。
进一步地，在检测器中引入深度可分离卷积，包括：
将采用1×1的点卷积和3×3的深度卷积代替原有的3×3传统卷积，同时使用非线性的h-swish函数作为激活函数取代原有检测网络中使用的Leaky ReLU函数。
进一步地，在检测器中引入inception网络结构，包括：
采用1×3、3×1的卷积核替换原结构中5×5的卷积核；
采用平均池化代替原结构的最大池化。
进一步地，所述改进后的YOLOv4网络模型的训练步骤，包括：
通过监控摄像头采集猪场实际场景下的不同时段、不同角度的生猪图像；
对所述生猪图像进行处理，根据预设比例分为训练集、验证集和测试集；
对YOLOv4网络模型进行改进，采用轻量MobileNetv3网络，且在检测器中引入深度可分离卷积和inception网络结构，得到改进后的YOLOv4网络模型；
使用所述训练集包括的处理后的所述生猪图像，对所述改进后的YOLOv4 网络模型进行迭代优化训练；
当满足预设条件后，终止训练，得到训练后的生猪行为检测模型。
进一步地，所述训练后的生猪行为检测模型的损失函数为：
total_loss＝Lloc+Lconf+Lcls (4)
(4)式中，Lloc表示坐标位置损失，采用CIOU误差；Lconf表示置信度损失；Lcls表示类别损失，采用二值交叉熵函数；
(5)-(7)式中，s2表示网格数；B表示每个网格中的先验框个数；IOU(A,B) 表示预测框和真实框的交并比；ρ(Actr,Bctr)表示预测框和真实框的中心点的欧式距离；m表示同时包含预测框和真实框的最小封闭区域的对角线距离；wgt和 hgt表示真实框的宽、高；w和h表示预测框的宽、高；
表示第i个网格单元的第j个边界框是否包含目标，分别取1，0；
表示第i个网格单元的第 j个边界框是否不包含目标，分别取0，1；
表示预测置信度，
表示真实置信度，λnoobj表示权重系数；c表示类别，
表示单元格中目标属于类别c的概率，
表示预测概率。
进一步地，对所述生猪图像进行处理包括：
设置预设采样间隔，对采集到的生猪图像进行筛选，所选样本包含不同时间段、不同光照强度和不同拍摄交底的样本，并统一尺寸；
使用Mosaic数据增强增加样本的数量；
通过labelImg图像标注工具对生猪图像的日常行为进行标注，并赋予标签名称。
与现有技术相比，本发明具有如下有益效果：
本发明实施例提供的一种群养生猪日常行为检测方法，该方法通过获取待检测目标区域内群养生猪日常行为的图像，输入到改进后的YOLOv4网络模型进行检测，可得到输出的图像中生猪日常行为的分类。其中，改进后的 YOLOv4网络模型为：采用轻量MobileNetv3网络代替原有模型YOLOv4中的CSPDarknet53网络，可减少参数量，在降低计算量的同时不会造成精度上的损失；并进一步在检测器中引入深度可分离卷积和inception网络结构，拓宽网络宽度和深度，在保证识别准确率的前提下，检测速度更快、实时性更强。
附图说明
图1为本发明实施例提供的基于YOLOv4模型的群养生猪日常行为检测方法流程图。
图2为相关技术中YOLOv4的整体网络结构示意图。
图3a为相关技术中CSP结构示意图。
图3b为相关技术中空间金字塔池化(SPP)模块结构示意图。
图3c为相关技术中PANet结构示意图。
图4为相关技术中预设框与预测边界框的关系图。
图5为相关技术中MobileNetV3的bneck结构图。
图6为本发明实施例提供的改进后的YOLOv4网络模型结构图。
图7a为现有技术中传统卷积结构图。
图7b为本发明实施例提供的改进深度可分离卷积结构图。
图8a为本发明实施例提供的改进的CBL_block1结构图。
图8b为本发明实施例提供的改进的CBL_block2结构图。
图9a为现有技术中原版的inception结构图。
图9b为本发明实施例提供的改进后的inception结构图。
图10a为本发明实施例提供的整体改进后的Mini_YOLOv4网络结构图。
图10b为本发明实施例提供的生猪日常5类行为定义示意图。
图11a为本发明实施例提供的Mosaic数据增强示意图。
图11b为本发明实施例提供的生猪行为数据集打标签界面图。
图12a为本发明实施例提供的YOLOv4对测试集的检测结果图。
图12b为本发明实施例提供的MobileNetv3_YOLOv4对测试集的检测结果图。
图12c为本发明实施例提供的Mini_YOLOv4对测试集的检测结果图。
图13a为本发明实施例提供的YOLOv4的预测边界框示意图。
图13b为本发明实施例提供的MobileNetv3_YOLOv4的预测边界框示意图。
图13c为本发明实施例提供的Mini_YOLOv4的预测边界框示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
参照图1所示，本发明实施例提供一种群养生猪日常行为检测方法，包括：
S1、获取待检测目标区域内群养生猪日常行为的图像；
S2、通过预先训练得到的生猪行为检测模型对所述图像进行检测；所述检测模型通过多组训练数据对改进后的YOLOv4网络模型进行训练得到的；所述多组训练数据的每一组数据包括生猪日常行为的目标框；所述改进后的 YOLOv4网络模型采用轻量MobileNetv3网络，且在检测器中引入深度可分离卷积和inception网络结构；
S3、根据所述检测模型的检测结果，确定所述图像中生猪日常行为的分类。
该方法通过获取待检测目标区域内群养生猪日常行为的图像，输入到改进后的YOLOv4网络模型进行检测，可得到输出的图像中生猪日常行为的分类。其中，改进后的YOLOv4网络模型为：采用轻量MobileNetv3网络代替原有模型YOLOv4中的CSPDarknet53网络，可减少参数量，在降低计算量的同时不会造成精度上的损失；并进一步在检测器中引入深度可分离卷积和 inception网络结构，拓宽网络宽度和深度，在保证识别准确率的前提下，检测速度更快、实时性更强。
下面重点对步骤S2进行具体的说明：
首先，在具体描述本发明技术方案前，介绍下相关技术中的YOLOv4算法原理：
1、YOLOv4模型框架
YOLOv4的整体网络结构如图2所示，其主干特征提取网络采用了 CSPDarknet53的网络结构，是在Darknet53的基础之上加入跨阶段局部网络结构CSP(Cross StagePartial)，通过对两条支路的跨级拼接与通道整合增强卷积神经网络的学习能力，CSP结构如图3a所示。YOLOv4为了能够充分利用早期特征映射中的上采样特征，引入了空间金字塔池化(SPP)模块，位于主干特征提取网络和颈部检测网络的结合处，具体结构如图3b所示，将不同池后的特征图与原特征图进行Concat操作合并输出，相比于普通的最大池化操作能够更好的增加特征图的感受野。在特征融合网络中，使用路径聚合网络(Path aggregationnetwork,PAN)，PAN网络使用一种自底向上的路径，通过从底层到顶层的横向连接，缩短了最底层和最顶层之间的融合路径。YOLOv4在使用 PAN时，为提高预测的准确性，将相加相邻的层，改成拼接操作，具体结构如图3c所示。经过多次特征融合后，实现对网络的三个有效特征层的充分提取，输出的三种特征图尺寸分别是原输入尺寸的1/8、1/16、1/32。
2、目标边界框预测
YOLOv4模型采用K-means的方法聚类选取9个预设框作为初始候选边框，按照大特征图小尺寸框的原则分配给3个尺度的特征图。检测过程中，网络输出相对于预设框的偏移量分别为tx、ty、tw、th。图4给出预设框与预测边界框的关系图，其中1表示预设框，2表示预测边界框。
其中tx，ty表示预测边界框的中心偏移量，tw，th分别是预测边界框的宽度和高度缩放比例。Cx,Cy分别表示当前网格相对于特征图左上角的横坐标与纵坐标，pw,ph分别表示预设框的宽度和高度，bx、by、bw、bh分别为预测框的中心坐标和框的宽、高，计算过程如下：
(1)式中，e表示自然常数，σ表示sigmoid函数。
3、MobileNetv3网络
Mobilenetv3是谷歌在2019年提出的新一代轻量级深度神经网络，继承了Mobilenetv1和Mobilenetv2优点的同时，又根据Mnas Net模型引入的基于SE (squeezeand excitation)轻量级注意力模型，该模型结构考虑通道之间的关系，以此来提升网络性能，能够显式的建立通道之间的相互依赖关系，通过学习的方式来获得每个通道之间的重要程度，按照通道的重要程度来提升有用的特征权重并且抑制对当前任务用处不大的特征。同时MobileNetv3提出了能够有效提高网络精度的非线性h-swish激活函数
随着网络的深入，应用非线性激活函数的成本会降低，能够更好地减少参数量，因此在MobileNetV3的架构中，只在模型的后半部分使用 h-swish(HS)，除此之外，MobileNetV3使用AvgPooling代替计算量大的部分，在降低计算量的同时不会造成精度上的损失。MobileNetV3特有的bneck结构如图5所示。
然后，在上述YOLOv4网络模型的基础上，本发明进行了改进。YOLOv4 网络模型提高了检测精度的同时，增加了网络的计算量，因此具有更高的GPU 内存和模型存储要求，使其无法在嵌入式平台和移动式设备上部署。因此，本发明在原始YOLOv4模型的基础上提出了Mini_YOLOv4模型。该模型首先将YOLOv4的特征提取网络改为MobileNetv3网络结构，降低模型的参数，同时获取一定的精度。其次，为了进一步轻量化模型，在检测网络的 CBL_block1、CBL_block2模块中使用深度可分离卷积代替传统卷积，避免了复杂模型导致的内存不足和高延迟。最后，将原YOLOv4网络每个尺度的最后一层Conv2D 3×3卷积，改为inception网络结构，以提高模型在生猪行为检测的准确率。
涉及特征提取网络的改进和检测网络的改进，具体如下：
1)特征提取网络
为了实现生猪日常行为识别模型轻量化、小型化，本发明采用 MobileNetV3网络作为骨干特征提取网络替换YOLOv4中原有的CSPDarkNet-53网络，以减少网络的整体计算量和内存占有量，改进后的网络结构如图6所示。Exp size为扩展系数，SE表示是否使用SE模块，
NL为激活函数，HS为使用Hard-Swish函数激活，RE为使用ReLU函数激活，Bneck为MobileNetv3的botteleneck结构。本文摒弃了MobileNetv3后面的卷积层和池化层网络，保留了网络的Bneck结构用于提取特征，包含其中SE模块，使网络对每层的特征有主次的学习。同时参考CSPDarknet-53提取不同尺度的特征图，分别在Bneck的第7层、第13层、第16层进行提取。基于多尺度预测的思想，在生猪日常行为识别的过程中能够获取到更丰富的语义信息和更细粒度的特征信息。
2)检测网络
2.1)轻量化检测网络
为了进一步使网络模型的轻量化，提升算法的实时性。本发明在检测网络中引入了深度可分离卷积代替传统卷积，降低模型对GPU内存和模型存储的要求。传统卷积如图7a所示，而在深度可分离网络中，卷积操作可以被分为两个步骤，如图7b所示。假设卷积核的尺寸为Dk×Dk，输入特征图尺寸为 DF×DF，M、N表示输入和输出的通道数，传统卷积的计算总量为F1，深度可分离卷积的计算总量为F2，两者计算量之比F2/F1可由式(3)来描述。
原始SPP结构前后的CBL_block1,它包含2个1×1的卷积层和1个3×3 的卷积层，和PANet网络中，紧跟在concat操作之后的CBL_block2结构，它包括3个1×1的卷积层和2个3×3的卷积层。借鉴深度可分离卷积的思想，本发明将采用1×1的点卷积和3×3的深度卷积代替原有的3×3传统卷积，同时使用在深层模型效果更优的非线性的h-swish函数作为激活函数取代原有检测网络中使用的Leaky ReLU函数，具体的改进如图8a-8b所示。相对于原始的检测网络，改进的检测网络既加快了计算速度，又使得网络深度进一步增加，增加了网络的非线性。
2.2)引入Inception网络结构
由于实际猪场养殖环境与室外环境不同，会有隔墙、栅栏、等基础设施，且生猪为非刚性形变个体，视频监控采集到的图像中存在体态遮挡的情况，而且生猪行为特征类间差距不大。为了进一步提升生猪日常行为检测的精度将inception结构融入到YOLOv4网络中去从而拓宽神经网络宽度，提升算法性能。
Inception网络结构在保持网络稀疏性的同时保持较好的计算性能，如图 9a所示。结构中使用大小不同的卷积核，对应不同的感受视野，最终通过 Concat操作进行特征融合，捕获到更多的目标信息。本发明将YOLOv4原网络层中每种检测尺寸的最后一个3×3卷积替换为改进的inception模块，结构如图9b所示。
首先用两个(1×3)、(3×1)的卷积核替换原结构中(5×5)的卷积核，以提升计算速度；由于此时网络较深，采用可以保留更多整体数据特征的平均池化代替原结构的最大池化；在每层卷积层之后都使用批量标准化操作，提升算法的鲁棒性；同时减少inception网络中每层特征图数量，但保持特征图总和与YOLOv4输出特征图总数相同。基于以上改进，综合提升算法的训练与测试性能。图10a为整体改进后的Mini_YOLOv4网络结构。
在一个实施例中，上述改进后的YOLOv4网络模型的训练步骤，包括：
S21、通过监控摄像头采集猪场实际场景下的不同时段、不同角度的生猪图像；
S22、对所述生猪图像进行处理，根据预设比例分为训练集、验证集和测试集；
S23、对YOLOv4网络模型进行改进，采用轻量MobileNetv3网络，且在检测器中引入深度可分离卷积和inception网络结构，得到改进后的YOLOv4 网络模型；
S24、使用所述训练集包括的处理后的所述生猪图像，对所述改进后的 YOLOv4网络模型进行迭代优化训练；
S25、当满足预设条件后，终止训练，得到训练后的生猪行为检测模型。
其中，步骤S21中数据的采集，比如本实验行为样本来自安徽蒙城京徽蒙养猪场，使用罗技C920 Pro摄像头作为实时采集工具，实验中安装摄像头的圈舍光照较为充足，实际场景下生猪行为具有随机性，且试验采集装置能够远程控制摄像头的旋转，使得采集到的样本图像具有不同角度的生猪日常行为信息。分多次采集不同时段的数据，时长1-2h不等，采集样本图像分辨率为1920像素×1080像素，用于网络模型的训练与测试。由于拍摄角度不同，导致生猪个体行为中包含的信息差异较大，比如最终将生猪日常行为标注为站立、坐立、俯卧、腹卧、侧卧5类。其每类行为详细标注原则如图10b所示。
步骤S22中，将采集到的视频数据进行以下操作以构建生猪行为数据检测数据集，比如原数据集1656张经过镜像翻转、随机翻转等产生6624张样本，比如设定训练集、验证集、测试集比例为8:1:1。
a)为保证采集到的样本画面连续，能够辨认生猪个体是否长时间保持同一种行为，实验采集装置采样时间间隔设置为20s。由于间隔时间过短会导致采集的样本图像之间相似度过高甚至画面接近重复。将采集到的图像进行筛选，为了增加模型训练数据的丰富度，所选样本包含不同时间段、不同光照强度和不同拍摄角度的样本，并将样本尺寸统一调整为416像素×416像素，以减少运算量，提高模型训练速度。
b)为了避免模型在训练过程中出现过拟合现象，训练时使用Mosaic数据增强方法来增加样本的多样性。每次读取四张图片，对每张图片进行水平翻转、随机裁剪、色域变化等操作，再拼接成一张图片，如图11a所示，可以极大丰富所检测目标的背景。
c)使用labelImg图像标注工具对猪只的日常行为进行手动标框并赋与标签名，如图11b所示。使用的注释是PASCAL VOC格式的XML文件包含了样本图像的尺寸以及样本框左上角和右下角的坐标等信息。
步骤S23中，对YOLOv4网络模型进行改进，采用轻量MobileNetv3网络，且在检测器中引入深度可分离卷积和inception网络结构，得到改进后的 YOLOv4网络模型；具体可参照上述实施例中对改进的YOLOv4网络模型的内容描述。
步骤S24-25中，训练的过程，比如实验平台采用16G内存、NVIDIA GeForce RTX2080Ti型号的GPU、Interi7 9700F 3.0GHz,内存16G型号的CPU， python版本号为3.7，选用的深度学习框架为Tensorflow，版本2.2.0实现本算法。安装了cuda10.1和cudnn7.6.5帮助GPU加速运算，同时在安装opencv3.4 等一系列的第三方库来支持代码的运行。
模型训练方法：比如将网络训练输入图像尺寸统一定为416像素×416像素，为了增强模型的抗干扰能力，在训练时使用了Mosaic数据增强，试验主要分为冻结训练和全网络训练两个阶段，改进的Mini_YOLOv4算法与 YOLOv4算法在卷积层层数，参数数量等方面均有区别，由于本地显存不够，在训练时针对YOLOv4模型以及Mini_YOLOv4模型，冻结训练时batch尺寸分别设置为16、32，全网络训练时batch size分别设置为4、16。设置初始学***滑的方法优化标签类。early stop值设置为6，即网络连续6次val_loss值未下降，网络终止训练。
模型的损失函数分为3个部分，坐标位置损失Lloc采用CIOU(completeintersection over union)误差，置信度损失Lconf和类别损失Lcls采用二值交叉熵函数。总损失函数可由式(4)所示。
total_loss＝Lloc+Lconf+Lcls (4)
(5)-(7)式中，s2表示网格数；B表示每个网格中的先验框个数；IOU(A,B) 表示预测框和真实框的交并比；ρ(Actr,Bctr)表示预测框和真实框的中心点的欧式距离；m表示同时包含预测框和真实框的最小封闭区域的对角线距离；wgt和 hgt表示真实框的宽、高；w和h表示预测框的宽、高；
表示第i个网格单元的第j个边界框是否包含目标，分别取1，0；
表示第i个网格单元的第 j个边界框是否不包含目标，分别取0，1；
表示预测置信度，
表示真实置信度，λnoobj表示权重系数；c表示类别，
表示单元格中目标属于类别c的概率，
表示预测概率。
为了缩短训练时间，加快网络的迭代收敛，实验下载了模型在PASCAL VOC2007数据集上的预训练模型参数作为初始参数。经过100个epoch左右，网络loss值逐渐平稳，训练趋于收敛。
在一个实施例中，本发明将对上述实施例训练后的Mini_YOLOv4模型进行评价，将采用目标检测领域公认的平均检测精度mAP、召回率(recall)、 FPS和模型权重作为评价标准以衡量模型对生猪日常行为检测性能。Precision、 Recall、AP及mAP定义如(8)式。
其中TP表示模型预测为正实际为正的样本数量；FP表示模型预测为正实际为负的样本数量；FN表示模型预测为负实际为正的样本数量；P，R分别表示精确率与召回率；C表示行为类别总数；Ci表示当前第i个类别，i 的取值范围为1-5。
为了评估本发明所改进算法的性能，将本发明提出的Mini_YOLOv4算法与原版的YOLOv4算法、及Mobilev3_YOLOv4算法在各方面进行了对比。算法对比实验均采用相同的实验平台，相同的训练集和测试集。
表1网络参数、权重文件和训练时间对比表
首先，由表1可知，Mini_YOLOv4算法相较于原始YOLOv4算法在参数量和模型大小上有了较大的提升，只占原始算法的1/4左右，同时在相同的实验平台上，本发明算法在训练时间上仅为原版YOLOv4算法的1/2，这是因为原版的YOLOv4模型参数量较大，在进行全网络训练时，由于本地实验平台内存空间有限，batich_size值仅可设置为4，所以同等硬件条件下训练时间偏长。仅从模型大小和参数量上看，本发明提出的Mini_YOLOv4算法可以满足嵌入式移动终端的检测需求。
为了进一步评估算法性能，验证本发明算法在生猪行为数据集上的检测效果，通过调用训练过程中保存的模型权重文件，对生猪行为测试集进行了相应的检测，检测的部分结果如图12a、12b、12c所示。对比图12a，12b和 12c的结果，三种模型均能正确预测生猪行为类别，但是原版YOLOv4算法未能筛选出定位更加准确的边框，而改进后的版本在生猪行为检测中成功筛选出最优框，一定程度上改善了原版YOLOv4的误检问题。
同时将改进的算法与YOLOv4目标检测算法对生猪行为的每个类别的 AP值、F1值以及召回率进行对比，表2-4中，给出了当IOU阈值为0.5，目标分类概率≥0.5的检测结果时3种模型的不同指标的对比结果。分析表中数据可知，Mini_YOLOv4算法mAP能达到73.67％，相较于原版的YOLOv4算法提升了4.01个百分点，且在每个类别上的检测效果均优于原版的YOLOv4 算法。在检测速度上，相较于原版YOLOv4算法，本发明所提出算法在FPS 值上提升了近一倍。在F1指标上，本发明算法在每个类别上的F1值均高于原版的YOLOv4算法。在召回率指标上，本发明算法除侧卧这一类别低于 YOLOv4算法以外，其余类别均高于YOLOv4。从以上指标的对比分析中，可以得出本发明所提出的改进方法在生猪行为数据集上属于有效改进。
表2模型的检测精度、速度对比
表3模型的召回率对比
表4模型的F1值对比
为了综合评估本发明算法在生猪行为数据集上的表现，本发明设置了在分类概率阈值为0.5，IOU阈值分别为0.5、0.6、0.7、0.75时，三种算法在 mAP值的对比，其对比结果如表5所示。
表5不同IOU阈值下检测精度对比
从上述表5中数据可以看出，随着IOU阈值的增加，本发明算法相较于原版YOLOv4在精度上的优势越发明显。在较高的IOU阈值下仍然可以保持较好的mAP值，这说明本发明提出算法得到的真实框和预测框之间的重合度更高即目标定位更加准确。且从图13a、13b、13c中可以看出，本发明提出的 Mini_YOLOv4模型生成的预测边界框相对于YOLOv4模型生成的定位更加准确，前者能够更好的将检测到的目标对象包含在检测框中。
本发明使用MobileNet_v3网络作为特征提取网络替代CSPDarknet53，得到检测模型Mobile_YOLOv4,又向模型的检测网络中引入深度可分离卷积，最后在模型的尾部加入改进的inception模块，提出一种新的检测模型 Mini_YOLOv4，并且应用到生猪行为识别中去。在生猪日常行为数据集上设置分类概率阈值≥0.5时，IoU阈值为0.5时，Mini_YOLOv4模型平均精度均值为73.67％，检测速度65帧/s，与原YOLOv4模型相比，其平均精度均值高出YOLOv4模型4.01％，检测速度提升32帧/s。表明本发明提出的 Mini_YOLOv4模型嵌入式移动终端的需求，即在保证检测精度情况下，拥有较好的实时性，为嵌入式边缘计算提供了可行的技术方案。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (7)
1.一种群养生猪日常行为检测方法，其特征在于，包括：
S1、获取待检测目标区域内群养生猪日常行为的图像；
S2、通过预先训练得到的生猪行为检测模型对所述图像进行检测；所述检测模型通过多组训练数据对改进后的YOLOv4网络模型进行训练得到的；所述多组训练数据的每一组数据包括生猪日常行为的目标框；所述改进后的YOLOv4网络模型采用轻量MobileNetv3网络，且在检测器中引入深度可分离卷积和inception网络结构；
S3、根据所述检测模型的检测结果，确定所述图像中生猪日常行为的分类。
2.根据权利要求1所述的一种群养生猪日常行为检测方法，其特征在于，改进后的YOLOv4网络模型采用轻量MobileNetv3网络，包括：
改进后的YOLOv4网络模型采用轻量MobileNetv3网络，删除MobileNetv3后面的卷积层和池化层网络，保留网络的Bneck结构用于提取特征，包含其中SE模块；
分别在Bneck的第7层、第13层、第16层进行提取特征图。
3.根据权利要求2所述的一种群养生猪日常行为检测方法，其特征在于，在检测器中引入深度可分离卷积，包括：
将采用1×1的点卷积和3×3的深度卷积代替原有的3×3传统卷积，同时使用非线性的h-swish函数作为激活函数取代原有检测网络中使用的Leaky ReLU函数。
4.根据权利要求3所述的一种群养生猪日常行为检测方法，其特征在于，在检测器中引入inception网络结构，包括：
采用1×3、3×1的卷积核替换原结构中5×5的卷积核；
采用平均池化代替原结构的最大池化。
5.根据权利要求4所述的一种群养生猪日常行为检测方法，其特征在于，所述改进后的YOLOv4网络模型的训练步骤，包括：
通过监控摄像头采集猪场实际场景下的不同时段、不同角度的生猪图像；
对所述生猪图像进行处理，根据预设比例分为训练集、验证集和测试集；
对YOLOv4网络模型进行改进，采用轻量MobileNetv3网络，且在检测器中引入深度可分离卷积和inception网络结构，得到改进后的YOLOv4网络模型；
使用所述训练集包括的处理后的所述生猪图像，对所述改进后的YOLOv4网络模型进行迭代优化训练；
当满足预设条件后，终止训练，得到训练后的生猪行为检测模型。
6.根据权利要求5所述的一种群养生猪日常行为检测方法，其特征在于，所述训练后的生猪行为检测模型的损失函数为：
total_loss＝Lloc+Lconf+Lcls (4)
(4)式中，Lloc表示坐标位置损失，采用CIOU误差；Lconf表示置信度损失；Lcls表示类别损失，采用二值交叉熵函数；
(5)-(7)式中，s2表示网格数；B表示每个网格中的先验框个数；IOU(A,B)表示预测框和真实框的交并比；ρ(Actr,Bctr)表示预测框和真实框的中心点的欧式距离；m表示同时包含预测框和真实框的最小封闭区域的对角线距离；wgt和hgt表示真实框的宽、高；w和h表示预测框的宽、高；
表示第i个网格单元的第j个边界框是否包含目标，分别取1，0；
表示第i个网格单元的第j个边界框是否不包含目标，分别取0，1；
表示预测置信度，
表示真实置信度，λnoobj表示权重系数；c表示类别，Pi j(c)表示单元格中目标属于类别c的概率，
表示预测概率。
7.根据权利要求5所述的一种群养生猪日常行为检测方法，其特征在于，对所述生猪图像进行处理包括：
设置预设采样间隔，对采集到的生猪图像进行筛选，所选样本包含不同时间段、不同光照强度和不同拍摄交底的样本，并统一尺寸；
使用Mosaic数据增强增加样本的数量；
通过labelImg图像标注工具对生猪图像的日常行为进行标注，并赋予标签名称。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111057182.2A CN113822185A (zh) | 2021-09-09 | 2021-09-09 | 一种群养生猪日常行为检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111057182.2A CN113822185A (zh) | 2021-09-09 | 2021-09-09 | 一种群养生猪日常行为检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113822185A true CN113822185A (zh) | 2021-12-21 |
Family
ID=78914337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111057182.2A Pending CN113822185A (zh) | 2021-09-09 | 2021-09-09 | 一种群养生猪日常行为检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113822185A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022907A (zh) * | 2021-12-27 | 2022-02-08 | 东北农业大学 | 一种基于深度学习的猪只体表测温装置及方法 |
| CN114299436A (zh) * | 2021-12-30 | 2022-04-08 | 东北农业大学 | 融合时空双注意力机制的群养生猪争斗行为识别方法 |
| CN114299320A (zh) * | 2021-12-23 | 2022-04-08 | 复旦大学 | 基于YOLOv4目标检测模型的矿车运载量检测***及方法 |
| CN114842320A (zh) * | 2022-03-17 | 2022-08-02 | 江南大学 | 基于DW-SEnet模型的机器人目标检测方法及*** |
| CN115170829A (zh) * | 2022-08-03 | 2022-10-11 | 无锡中车时代智能装备研究院有限公司 | 发电机转子通风孔异物监控识别***及方法 |
| CN118172800A (zh) * | 2024-05-15 | 2024-06-11 | 沈阳新维盛科生物科技有限公司 | 一种改进实验动物行为图像处理方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111709489A (zh) * | 2020-06-24 | 2020-09-25 | 广西师范大学 | 一种基于改进YOLOv4的柑橘识别方法 |
| CN112348036A (zh) * | 2020-11-26 | 2021-02-09 | 北京工业大学 | 基于轻量化残差学习和反卷积级联的自适应目标检测方法 |
| WO2021078157A1 (zh) * | 2019-10-22 | 2021-04-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、*** |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
| WO2021151336A1 (zh) * | 2020-09-08 | 2021-08-05 | 平安科技（深圳）有限公司 | 基于注意力机制的道路图像目标检测方法及相关设备 |
-
2021
- 2021-09-09 CN CN202111057182.2A patent/CN113822185A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021078157A1 (zh) * | 2019-10-22 | 2021-04-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
| CN111709489A (zh) * | 2020-06-24 | 2020-09-25 | 广西师范大学 | 一种基于改进YOLOv4的柑橘识别方法 |
| WO2021151336A1 (zh) * | 2020-09-08 | 2021-08-05 | 平安科技（深圳）有限公司 | 基于注意力机制的道路图像目标检测方法及相关设备 |
| CN112348036A (zh) * | 2020-11-26 | 2021-02-09 | 北京工业大学 | 基于轻量化残差学习和反卷积级联的自适应目标检测方法 |
| CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、*** |
Non-Patent Citations (3)
| Title |
|---|
| HANSE AHN等: "EnsemblePigDet: Ensemble Deep Learning for Accurate Pig Detection", 《MDPI》, 2 June 2021 (2021-06-02) * |
| 周幸;陈立福;: "基于双注意力机制的遥感图像目标检测", 计算机与现代化, no. 08, 15 August 2020 (2020-08-15) * |
| 燕红文等: "基于改进Tiny-YOLO 模型的群养生猪脸部姿态检测", 《CNKI》, 23 September 2019 (2019-09-23), pages 169 - 179 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299320A (zh) * | 2021-12-23 | 2022-04-08 | 复旦大学 | 基于YOLOv4目标检测模型的矿车运载量检测***及方法 |
| CN114022907A (zh) * | 2021-12-27 | 2022-02-08 | 东北农业大学 | 一种基于深度学习的猪只体表测温装置及方法 |
| CN114299436A (zh) * | 2021-12-30 | 2022-04-08 | 东北农业大学 | 融合时空双注意力机制的群养生猪争斗行为识别方法 |
| CN114842320A (zh) * | 2022-03-17 | 2022-08-02 | 江南大学 | 基于DW-SEnet模型的机器人目标检测方法及*** |
| CN115170829A (zh) * | 2022-08-03 | 2022-10-11 | 无锡中车时代智能装备研究院有限公司 | 发电机转子通风孔异物监控识别***及方法 |
| CN118172800A (zh) * | 2024-05-15 | 2024-06-11 | 沈阳新维盛科生物科技有限公司 | 一种改进实验动物行为图像处理方法 |
| CN118172800B (zh) * | 2024-05-15 | 2024-08-16 | 沈阳医学院 | 一种改进实验动物行为图像处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113822185A (zh) | 一种群养生猪日常行为检测方法 | |
| Zhang et al. | Real-time sow behavior detection based on deep learning | |
| CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
| CN111754498B (zh) | 一种基于YOLOv3的传送带托辊检测方法 | |
| CN108805070A (zh) | 一种基于嵌入式终端的深度学习行人检测方法 | |
| CN107292298A (zh) | 基于卷积神经网络和分类器模型的牛脸识别方法 | |
| CN111783576A (zh) | 基于改进型YOLOv3网络和特征融合的行人重识别方法 | |
| CN107871316B (zh) | 基于深度神经网络的x光片手骨兴趣区域自动提取方法 | |
| CN104112143A (zh) | 基于加权超球支持向量机算法的图像分类方法 | |
| CN105654141A (zh) | 基于Isomap和SVM算法的俯视群养猪个体识别方法 | |
| CN109242826B (zh) | 基于目标检测的移动设备端签状物根数计数方法及*** | |
| Lv et al. | A visual identification method for the apple growth forms in the orchard | |
| CN115527234A (zh) | 一种基于改进YOLOv5模型的红外图像笼内死鸡识别方法 | |
| CN111275010A (zh) | 一种基于计算机视觉的行人重识别方法 | |
| CN111666897A (zh) | 基于卷积神经网络的斑石鲷个体识别方法 | |
| CN116563205A (zh) | 基于小目标检测和改进YOLOv5的麦穗计数检测方法 | |
| CN112883915A (zh) | 一种基于迁移学习的麦穗自动识别方法和*** | |
| CN114359578A (zh) | 病虫害识别智能终端应用方法及*** | |
| CN114140437A (zh) | 一种基于深度学习的眼底硬渗出物分割方法 | |
| CN110363287B (zh) | 一种面向内存计算和室内是否有人的神经网络设计方法 | |
| CN113449712B (zh) | 一种基于改进Alexnet网络的羊脸识别方法 | |
| CN114612898A (zh) | 一种基于YOLOv5网络的荔枝蒂蛀虫羽化率检测方法 | |
| CN115273131A (zh) | 基于双通路特征融合的动物识别方法 | |
| CN111898473B (zh) | 一种基于深度学习的司机状态实时监测方法 | |
| CN114022831A (zh) | 一种基于双目视觉的牲畜体况监测方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |