CN113780193A - 基于rcnn的牛群目标检测方法及设备 - Google Patents
基于rcnn的牛群目标检测方法及设备 Download PDFInfo
- Publication number
- CN113780193A CN113780193A CN202111078288.0A CN202111078288A CN113780193A CN 113780193 A CN113780193 A CN 113780193A CN 202111078288 A CN202111078288 A CN 202111078288A CN 113780193 A CN113780193 A CN 113780193A
- Authority
- CN
- China
- Prior art keywords
- cattle
- feature
- detector
- target detection
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000283690 Bos taurus Species 0.000 title claims abstract description 189
- 238000001514 detection method Methods 0.000 title claims abstract description 102
- 238000013528 artificial neural network Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012952 Resampling Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 230000003014 reinforcing effect Effects 0.000 abstract description 4
- 230000015654 memory Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 244000144992 flock Species 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000009395 breeding Methods 0.000 description 5
- 230000001488 breeding effect Effects 0.000 description 5
- 244000144980 herd Species 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000010339 dilation Effects 0.000 description 3
- 244000144972 livestock Species 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种基于RCNN的牛群目标检测方法及设备，本申请通过获取当前牛群图像；构建神经网络目标检测模型，包括特征提取主干网络、特征金字塔以及联级检测器，在所述特征提取主干网络中增加膨胀可变形卷积，并结合特征金字塔对将各层特征信息进行深度融合，得到改进后的神经网络目标检测模型；将获取的当前牛群图像输入神经网络目标检测模型中对待检测目标对象进行检测得到检测结果。即降低遮挡对牛身特征的干扰，增大与牛舍背景信息的对比度，增强遮挡牛群的牛身特征，提高空间分辨率，从而提高牛群检测精确度，保证牛场管理的效率，对牛群数量进行准确盘点，并通过可视化的手段实时监控牛群的数量。
Description
技术领域
本申请涉及计算机领域，尤其涉及基于膨胀-可形变卷积-级联RCNN网络(Expansion-Deformable Convolutional Networks-Cascade Recurrent ConvolutionalNeural Networks，E-DCN-Cascade RCNN)的牛群目标检测法及设备。
背景技术
现有技术中，近年来，随着畜牧养殖业向规模化、信息化、精细化的方向发展，集约化牛场将渐渐取代散户养殖等小规模的养殖模式。在大规模化牛场中要实现对牛个体精细化管理，实现对每头牛的健康状况追踪，必须实现质量追溯体系的搭建与完善，而关键又在于对牛个体身份的识别，而想要进行身份识别的前提就是对牛群进行目标检测，在目标检测具有足够高的精确度时再进行牛个体识别。
目前目标检测任务主要分为传统目标检测和深度学习目标检测，传统的目标检测主要是方向梯度直方图(Histogram of Oriented Gradient，HOG)+支持向量机(SupportVector Machine，SVM)，HOG中的描述子生成过程时间长，导致速度慢,实时性差，并且很难处理牛群之间的遮挡问题。近年来随着深度学习的发展，目标检测性能也随之不断优化提升，研究人员使用循环卷积神经网络(Recurrent Convolutional Neural Networks，RCNN)进行目标检测，取得了较好的结果，但由于使用选择搜素算法生成的每个候选区域都要执行卷积网络(ConvNet)前向传播，导致检测速度很慢。有人提出使用Fast RCNN，先对图片进行特征提取，再进行候选区域选择，避免了多次卷积，也因此比RCNN具有更高的检测速度，研究人员后来使用Faster RCNN进行目标检测，由于faster RCNN使用区域候选网络(region proposal networks，RPN)代替原来的选择搜素算法，比Fast RCNN综合性能都有一定的提升，在检测速度方面尤为明显。在畜牧养殖业上述算法很少用于牛群检测，原因在于：牛群目标检测由于牛舍情况复杂，牛个体较大，牛群相对密集，遮挡情况非常严重，并且牛身与牛舍背景很相似，没有比较高的区分度，给检测带来一定的困难。上述检测方法没有考虑到背景与检测目标较为相近导致检测性能不佳，影响牛群管理效率。
因此，如何提高检测模型目标特征提取能力降低背景噪声干扰从而保证牛群目标检测精确度是本领域人员需要研究的方向。
发明内容
本申请的一个目的是提供一种基于RCNN的牛群目标检测方法及设备，以解决现有技术中如何提高牛群目标检测精确度，可视化实时监控牛群情况从而实现对牛场高效化管理的问题。
根据本申请的一个方面，提供了一种基于RCNN的牛群目标检测方法，包括：
获取当前牛群图像；
构建神经网络目标检测模型，包括特征提取主干网络、特征金字塔以及级联检测器，在所述特征提取主干网络中增加膨胀可变形卷积，并结合所述特征金字塔对各层特征信息进行深度融合，得到改进后的神经网络目标检测模型；
将获取的所述当前牛群图像输入所述改进后的神经网络目标检测模型中对待检测目标对象进行检测得到检测结果。
进一步地，上述牛群目标检测方法中，所述构建神经网络目标检测模型之前还包括：
获取至少两幅牛群训练图像，并对每幅所述牛群训练图像中每个牛只的位置进行标注，得到牛群数据集；
所述牛群数据集按照预置比例分成牛群训练集和牛群测试集。
进一步地，上述牛群目标检测方法中，所述在所述特征提取主干网络中增加膨胀可变形卷积，并结合所述特征金字塔对各层特征信息进行深度融合，得到改进后的神经网络目标检测模型，包括：
将所述牛群训练集制成COCO数据集格式，输入至所述特征提取主干网络中，在第3、4、5卷积层将每层输出的原特征图经过可变形-膨胀卷积层得到conv2_x、conv3_x、conv4_x、conv5_x对应的牛群初始特征集；
经过所述特征金字塔对所述各层特征信息进行不同层次的多尺度融合之后，得到牛群特征图集；
确定所述级联检测器的最优交并比阈值，将所述牛群特征图集输入区域候选网络中使用所述级联检测器进行检测，得到改进后的神经网络目标检测模型。
进一步地，上述牛群目标检测方法中，所述将所述牛群训练集制成COCO数据集格式，输入至所述特征提取主干网络中，在第3、4、5卷积层将每层输出的原特征图经过可变形-膨胀卷积层得到conv2_x、conv3_x、conv4_x、conv5_x对应的牛群初始特征图集，包括：
将膨胀率r＝1和r＝2的卷积分别加上偏移形成第一可变形卷积核和第二可变形卷积核；
所述第一可变形卷积核和所述第二可变形卷积核分别与第3、4、5卷积层每层输出的原特征图经过卷积后，再使用1×1卷积核进行降维操作，得与所述原特征图相等大小的牛群初始特征图；
将conv2_x层输出的特征图和conv3_x、conv4_x、conv5_x输出的所有所述牛群初始特征图作为牛群初始特征图集。
进一步地，上述牛群目标检测方法中，所述经过所述特征金字塔对所述各层特征信息进行不同层次的多尺度融合之后，得到牛群特征图集，包括：
对所述牛群初始特征图集，按照自上而下的路径从更高的金字塔等级二倍采样牛身特征图；
通过横向连接融合来自从上而下的路径同样空间尺寸的所述牛身特征图，得到牛群特征图集。
进一步地，上述牛群目标检测方法中，所述确定所述级联检测器的最优交并比阈值，将所述牛群特征图集输入区域候选网络中使用所述级联检测器进行检测，得到改进后的神经网络目标检测模型，包括：
所述级联检测器包括第一检测器、第二检测器、第三检测器，每个所述检测器包含感兴趣区域匹配、全连接层，边框回归和分类得分，确定所述第一检测器的最优交并比阈值、第二检测器的最优交并比阈值、第三检测器的最优交并比阈值，所述最优交并比阈值逐级递增；
将所述牛群特征图集输入所述第一检测器，在所述第一检测器中进行候选目标区域采样和边框回归得到第一候选框和第一分类得分；
将所述牛群特征图集及其对应的所述第一候选框和所述第一分类得分输入第二检测器中，在所述第二检测器中通过候选目标区域重新采样和边框回归得到第二候选框和第二分类得分；
将所述牛群特征图集及其对应的所述第二候选框和所述第二分类得分输入第三检测器中，在所述第三检测器中通过候选目标区域重新采样和边框回归得到第三候选框和第三分类得分，作为最终的检测结果。
进一步地，上述牛群目标检测方法中，所述将获取的所述当前牛群图像输入所述改进后的神经网络目标检测模型中对待检测目标对象进行检测得到检测结果后，还包括：
显示每个所述待检测目标对象的位置信息以及牛群总数。
根据本申请的另一方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理执行时，使所述处理器实现如上述机器人行为决策方法。
根据本申请的另一方面，还提供了基于RCNN的牛群目标检测设备，该设备包括：
一个或多个处理器；
计算机可读介质，用于存储一个或多个计算机可读指令，
当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述机器人柔性行为决策方法。与现有技术相比，本申请通过获取当前牛群图像；构建神经网络目标检测模型，包括特征提取主干网络、特征金字塔以及联级检测器，在所述特征提取主干网络中增加膨胀可变形卷积，并结合所述特征金字塔对将各层特征信息进行深度融合，得到改进后的神经网络目标检测模型；将获取的所述当前牛群图像输入所述神经网络目标检测模型中对待检测目标对象进行检测得到检测结果。即可变形卷积能够将卷积区域贴合于牛身周围，降低遮挡对牛身特征的干扰，并将权重更多的放在牛身特征上，增大与牛舍背景信息的对比度，同时结合特征金字塔进行特征信息的深度融合，能够得到不同范围的特征信息，增强遮挡牛群的牛身特征，提高空间分辨率，从而提高牛群检测精确度，保证牛场管理的效率，对牛群数量进行准确盘点，并通过可视化的手段实时监控牛群的数量。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个方面的一种基于RCNN的牛群目标检测方法的流程示意图；
图2示出根据本申请一个方面的基于RCNN的牛群目标检测方法的一实施例中从监控设备上截取的牛群训练图像；
图3示出根据本申请一个方面的基于RCNN的牛群目标检测方法的改进后的神经网络目标检测模型网络结构图；
图4示出根据本申请一个方面的基于RCNN的牛群目标检测方法的实施例中膨胀率r＝1和r＝2的可变形-膨胀卷积融合结构图；
图5示出根据本申请一个方面的基于RCNN的牛群目标检测方法的一实施例的检测效果图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如中央处理器(Central Processing Unit，CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change RAM，PRAM)、静态随机存取存储器(Static Random Access Memory，SRAM)、动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disk，DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
图1示出根据本申请一个方面的一种基于RCNN的牛群目标检测方法的流程示意图，该方法适用于各种养殖牲畜检测和可视化管理，可以但不限于是牛群目标检测与可视化管理，该方法包括步骤S1、步骤S2及步骤S3，其中，具体包括：
步骤S1，获取当前牛群图像；
步骤S2，构建神经网络目标检测模型，包括特征提取主干网络、特征金字塔以及联级检测器，在所述特征提取主干网络中增加膨胀可变形卷积，并结合所述特征金字塔对将各层特征信息进行深度融合，得到改进后的神经网络目标检测模型；
步骤S3，将获取的所述当前牛群图像输入所述改进后的神经网络目标检测模型中对待检测目标对象进行检测得到检测结果。
上述步骤S1至步骤S3，首先获取当前牛群图像；然后，构建神经网络目标检测模型，包括特征提取主干网络、特征金字塔以及联级检测器，在所述特征提取主干网络中增加膨胀可变形卷积，并结合所述特征金字塔对各层特征信息进行深度融合，得到改进后的神经网络目标检测模型；最后，将获取的所述当前牛群图像输入所述神经网络目标检测模型中对待检测目标对象进行检测得到检测结果。即可变形卷积能够将卷积区域贴合于牛身周围，降低遮挡对牛身特征的干扰，并将权重更多的放在牛身特征上，增大与牛舍背景信息的对比度，有利于牛身特征提取，同时结合特征金字塔进行特征信息的深度融合，能够得到不同范围的特征信息，增强遮挡牛群的牛身特征，提高空间分辨率，从而提高牛群检测精确度，保证牛场管理的效率，对牛群数量进行准确盘点，并通过可视化的手段实时监控牛群的数量。
例如，通过放置在牛棚顶部的视频监控设备，采集牛场当前牛群图像P。构建神经网络目标检测模型M，包括特征提取主干网络、特征金字塔以及联级检测器，在所述特征提取主干网络中增加膨胀可变形卷积，并结合所述特征金字塔对各层特征信息进行深度融合，得到改进后的神经网络目标检测模型M’。接着，将获取的所述当前牛群图像P输入所述改进后的神经网络目标检测模型M’中对待检测目标对象进行检测得到检测结果，提高了牛身与牛舍背景的区分度，克服了牛身之间相互遮挡和导致的漏检问题，从而增强了检测精确度，实现牛场可视化监控管理。
接着上述实施例，所述方法还包括：
获取至少两幅牛群训练图像，并对每幅所述牛群训练图像中每个牛只的位置进行标注，得到牛群数据集；
所述牛群数据集按照预置比例分成牛群训练集和牛群测试集，用于模型训练。
例如，从安装在牛棚顶部的监控设备上截取牛群训练图像，图片大小为1280×720，如图2所示。用标注软件进行标注，对牛场牛只进行标注，得到牛只标签和牛只的位置坐标。共标注1200张图片做数据集，其中1000张为训练集，200张为测试集。以便于后续步骤对所述神经网络目标检测模型进行改进和训练。
接着上述实施例，所述步骤S2中在所述特征提取主干网络中增加膨胀可变形卷积，并结合所述特征金字塔对各层特征信息进行深度融合，得到改进后的神经网络目标检测模型，包括：
将所述牛群训练集制成COCO数据集格式，输入至所述特征提取主干网络中，在第3、4、5卷积层将每层输出的原特征图经过可变形-膨胀卷积层得到conv2_x、conv3_x、conv4_x、conv5_x对应的牛群初始特征集；在此，特征提取主干网络E-DCN-Resnet101主要由五个部分组成，包括一个卷积块conv1和四个残差块conv2_x、conv3_x、conv4_x、conv5_x，四个残差块的数量分别为3、4、23、3。其中conv1包含1个7×7卷积层、1个最大池化层、1个ReLU激活函数层、1个BN层(批量归一化层)。conv2_x中包含2个1×1卷积层、一个3×3的卷积层、3个ReLU激活函数层和BN层。conv3_x、conv4_x、conv5_x分别包含2个1×1卷积层、两个3×3的E-DCN层、3个ReLU激活函数层和BN层。
经过所述特征金字塔对所述各层特征信息进行不同层次的多尺度融合之后，得到牛群特征图集；
确定所述级联检测器的最优交并比阈值，将所述牛群特征图集输入区域候选网络中使用所述级联检测器进行检测，得到改进后的神经网络目标检测模型。
例如，为了提高对牛身特征感受野，获取牛身不同范围、不同大小的信息，得到牛身特征的空间感知力，经过E-DCN-Resnet101提取特征之后，在特征提取主干网络的conv3_x、conv4_x、conv5_x使用可变形-膨胀卷积，使用前后保证其对应的特征图大小(C×W×H)不变，分别为128×28×28、256×14×14、512×7×7。将conv2_x、conv3_x、conv4_x、conv5_x最后一层的输出作为特征金字塔的牛群初始特征集{F2，F3，F4，F5}；经过所述特征金字塔对所述各层特征信息进行不同层次的多尺度融合之后，得到牛群特征图集{P2，P3，P4，P5}；确定所述级联检测器的最优交并比阈值，将所述牛群特征图集输入区域候选网络中使用所述级联检测器进行检测，得到改进后的神经网络目标检测模型M’，如图3所示改进后的神经网络目标检测模型网络结构图。
接着上述实施例，所述将所述牛群训练集制成COCO数据集格式，输入至所述特征提取主干网络中，在第3、4、5卷积层将每层输出的原特征图经过可变形-膨胀卷积层得到conv2_x、conv3_x、conv4_x、conv5_x对应的牛群初始特征图集，包括：
将膨胀率r＝1和r＝2的卷积分别加上偏移形成第一可变形卷积核C1和第二可变形卷积核C2；本发明选取膨胀率r＝1和r＝2的可变形-膨胀卷积，为最优膨胀率取值，能够得到不同范围的特征信息，增加感受野，克服空间分辨率降低的问题。在此，如图4所示，对于3×3大小，膨胀率r＝1的标准卷积核K1，使用一个规矩的网格R在输入的特征图上进行采样，再对采样获得的值加权求和。定义出R＝{(-1，-1)，(-1，0)，...，(0，1)，(1，1)}，代表卷积核的九个位置。对输入的特征图像的每一个位置，进行以下卷积操作，求得的加权和表示为：
其中，Pn是卷积核的每一个位置，对于3×3的卷积核一共有9个位置。n的取值范围就是1、2、3...9，正好对应R中的9个位置。w是卷积核，x为特征图。
为了让卷积区域贴合牛身，让牛身和牛舍背景具有更好的区分度，基于标准卷积原理引入可变形卷积，可变形卷积核为C1。在原来的卷积采样上加入偏移，加权求和的结果y′(P0)调整为：
其中，{ΔPn|n＝1，...，N，N＝|R|}，其中偏移量ΔPn不一定是整数像素，很有可能是小数，这里使用双线性插值的方法进行取整：
x(p)＝∑q max(0，1-|qx-px|)·max(0，1-|qy-py|)·x(q) (3)
式子(3)中，p＝P0+Pn+ΔPn为任意一个位置；q表示特征图上所有的整数的空间位置。
上面得到了经过可变形卷积后的特征图x(p)后，E-DCN首先将膨胀率r＝1和膨胀率r＝2的卷积核加上偏移形成可变形卷积核K1和K2。这个偏移在后续反向传播中学习，卷积区域具体形状就聚合到牛身形状。
所述第一可变形卷积核和所述第二可变形卷积核分别与第3、4、5卷积层每层输出的原特征图经过卷积后并融合，再使用1×1卷积核进行降维操作，得到与所述原特征图相等大小的牛群初始特征图；K1和K2分别和C×W×H大小的特征图(Feature map)经过卷积之后得到两个特征大小为2C×W×H的特征x1(p)(图4中F1)和x2(p)(图4中F2)，将x1(p)和x2(p)经过concat方法进行融合得到大小为4C×W×H的特征，再使用1×1的卷积核进行降维操作，得到大小为C×W×H的特征，以保证融合后的特征与后续卷积操作得到的特征相匹配，最终的融合特征Q可用式(4)表示：
Q＝f1×1(Ccancat(x1(p)*Gdcn(K1)+x2(p)*Gdcn(K2))) (4)
式中x1(p)和x2(p)分别为经过膨胀率r＝1和膨胀率r＝2的可变形卷积核得到的特征，K1、K2分别为r＝1和r＝2的3×3的卷积核，Gdcn(·)表示可变形卷积操作，*表示卷积操作，Cconcat(·)表示concat拼接操作，f1×1(·)表示使用1×1卷积核卷积操作，用来改变特征通道数。
将conv2_x层输出的特征图和conv3_x、conv4_x、conv5_x输出的所有所述牛群初始特征图作为牛群初始特征图集{F2，F3，F4，F5}。
接着上述实施例，上述方法中，所述经过所述特征金字塔对所述各层特征信息进行不同层次的多尺度融合之后，得到牛群特征图集，包括：
对所述牛群初始特征图集，按照自上而下的路径从更高的金字塔等级二倍采样牛身特征图；
通过横向连接融合来自从上而下的路径同样空间尺寸的所述牛身特征图，得到牛群特征图集。
例如，经过主干网络E-DCN-Resnet101提取特征之后，将主干网络最后一层的输出作为特征金字塔的牛群初始特征集{F2，F3，F4，F5}。按照自上而下的路径从更高的金字塔等级二倍上采样空间粗略但是语义健壮的牛身特征图，来得到更高的分辨率特征。然后通过横向连接从上而下的路径来增强这些牛身特征。每个横向连接融合来自从上而下的路径同样空间尺寸的牛身特征图，得到具有多层感知力的牛群特征图集{P2，P3，P4，P5}，并将其输入到RPN中进行分类和边框回归。
接着上述实施例，在上述方法中，所述确定所述级联检测器的最优交并比阈值，将所述牛群特征图集输入区域候选网络中使用所述级联检测器进行检测，得到改进后的神经网络目标检测模型，包括：
所述级联检测器包括第一检测器、第二检测器、第三检测器，每个所述检测器包含感兴趣区域匹配、全连接层，边框回归和分类得分，确定所述第一检测器的最优交并比阈值、第二检测器的最优交并比阈值、第三检测器的最优交并比阈值，所述最优交并比阈值逐级递增；
将所述牛群特征图集输入所述第一检测器，在所述第一检测器中进行候选目标区域采样和边框回归得到第一候选框和第一分类得分；
将所述牛群特征图集及其对应的所述第一候选框和所述第一分类得分输入第二检测器中，在所述第二检测器中通过候选目标区域重新采样和边框回归得到第二候选框和第二分类得分；
将所述牛群特征图集及其对应的所述第二候选框和所述第二分类得分输入第三检测器中，在所述第三检测器中通过候选目标区域重新采样和边框回归得到第三候选框和第三分类得分，作为最终的检测结果。
例如，所述牛群特征图集进入RPN后进入级联检测器，在检测阶段，利用级联检测器进行检验，使用了三个检测器，每个检测器包含ROI Align(感兴趣区域匹配)、全连接层FC、分类得分C和边框回归B。检测时通过前一个检测器输出的边框回归B对候选目标区域进行重采样即检测时通过前一个检测器输出的边框回归B对候选目标区域进行重采样，就是用前一个回归网络输出的候选边框作为下一个检测器的输入继续进行回归，根据牛身特征从大量实验数据得出第一检测器、第二检测器、第三检测器的最优交并比阈值分别从0.5到0.6再到0.7，逐步级联提升交并比(Intersection-over-Union，IOU)阈值具有比较好的精确度。具体的，IOU设置为0.5时在ROI Align1中通过回归得到候选框B1，分类得分C1,再将IOU阈值提高到0.6并将B1输入到ROI Align2中回归得到更新后的候选框B2，分类得分C2，最后将IOU提高到0.7并将B1输入到ROI Align3中回归得到最终候选框B3和分类得分C3，最终提升牛群检测效果。通过级联这样的检测器的输出，每经过一个检测器准确度提升一点，用做下一个更高精度的输入，逐步将网络输出的准确度进一步提高。
接着上述实施例，所述检测方法中，所述步骤S3将获取的所述当前牛群图像输入所述神经网络目标检测模型中对待检测目标对象进行检测得到检测结果后，还包括：
显示每个所述待检测目标对象的位置信息以及牛群总数，如图4所示，有利于实现牛场牛群的可视化监管，提高牛场管理的效率，对牛群数量进行准确盘点，如图5所示。
接着上述实施例，反向传播过程中，本发明中网络的损失函数为分类损失与回归损失的总和，其表达式如下：
式中，i是锚框序列；pi是第i个锚框包含牛的置信度；
是第i个锚框是否包含牛的真实值，若包含牛，则
为1，否则为0；ti是预测第i个锚框的4个坐标参数；
表示含有牛的第i个锚框对应的真实坐标参数；Ncls是一个batch的样本总数量、Nreg是锚框的总数、λ是分类和回归的平衡比例参数。
式(5)中，Lcls为分类损失，其表达式为：
式(5)中，Lreg为Smoooth L1 Loss，其表达式为：
式(7)中，S为smooth函数，其表达式为：
综上所述，本申请通过获取当前牛群图像；构建神经网络目标检测模型，包括特征提取主干网络、特征金字塔以及级联检测器，在所述特征提取主干网络中增加膨胀可变形卷积，并结合所述特征金字塔对将各层特征信息进行深度融合，得到改进后的神经网络目标检测模型；将获取的所述当前牛群图像输入所述神经网络目标检测模型中对待检测目标对象进行检测得到检测结果。即可变形卷积能够将卷积区域贴合于牛身周围，降低遮挡对牛身特征的干扰，并将权重更多的放在牛身特征上，增大与牛舍背景信息的对比度，同时结合特征金字塔进行特征信息的深度融合，能够得到不同范围的特征信息，增强遮挡牛群的牛身特征，提高空间分辨率，从而提高牛群检测精确度，保证牛场管理的效率，对牛群数量进行准确盘点，并通过可视化的手段实时监控牛群的数量。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (9)
1.一种基于RCNN的牛群目标检测方法，其特征在于，所述方法包括：
获取当前牛群图像；
构建神经网络目标检测模型，包括特征提取主干网络、特征金字塔以及级联检测器，在所述特征提取主干网络中增加膨胀可变形卷积，并结合所述特征金字塔对各层特征信息进行深度融合，得到改进后的神经网络目标检测模型；
将获取的所述当前牛群图像输入所述改进后的神经网络目标检测模型中对待检测目标对象进行检测得到检测结果。
2.根据权利要求1所述的方法，其特征在于，所述构建神经网络目标检测模型之前还包括：
获取至少两幅牛群训练图像，并对每幅所述牛群训练图像中每个牛只的位置进行标注，得到牛群数据集；
所述牛群数据集按照预置比例分成牛群训练集和牛群测试集。
3.根据权利要求2所述的方法，其特征在于，所述在所述特征提取主干网络中增加膨胀可变形卷积，并结合所述特征金字塔对各层特征信息进行深度融合，得到改进后的神经网络目标检测模型，包括：
将所述牛群训练集制成COCO数据集格式，输入至所述特征提取主干网络中，在第3、4、5卷积层将每层输出的原特征图经过可变形-膨胀卷积层得到conv2_x、conv3_x、conv4_x、conv5_x对应的牛群初始特征集；
经过所述特征金字塔对所述各层特征信息进行不同层次的多尺度融合之后，得到牛群特征图集；
确定所述级联检测器的最优交并比阈值，将所述牛群特征图集输入区域候选网络中使用所述级联检测器进行检测，得到改进后的神经网络目标检测模型。
4.根据权利要求3所述的方法，其特征在于，所述将所述牛群训练集制成COCO数据集格式，输入至所述特征提取主干网络中，在第3、4、5卷积层将每层输出的原特征图经过可变形-膨胀卷积层得到conv2_x、conv3_x、conv4_x、conv5_x对应的牛群初始特征图集，包括：
将膨胀率r＝1和r＝2的卷积分别加上偏移形成第一可变形卷积核和第二可变形卷积核；
所述第一可变形卷积核和所述第二可变形卷积核分别与第3、4、5卷积层每层输出的原特征图经过卷积后并融合，再使用1×1卷积核进行降维操作，得与所述原特征图相等大小的牛群初始特征图；
将conv2_x层输出的特征图和conv3_x、conv4_x、conv5_x输出的所有所述牛群初始特征图作为牛群初始特征图集。
5.根据权利要求4所述的方法，其特征在于，所述经过所述特征金字塔对所述各层特征信息进行不同层次的多尺度融合之后，得到牛群特征图集，包括：
对所述牛群初始特征图集，按照自上而下的路径从更高的金字塔等级二倍采样牛身特征图；
通过横向连接融合来自从上而下的路径同样空间尺寸的所述牛身特征图，得到牛群特征图集。
6.根据权利要求5所述的方法，其特征在于，所述确定所述级联检测器的最优交并比阈值，将所述牛群特征图集输入区域候选网络中使用所述级联检测器进行检测，得到改进后的神经网络目标检测模型，包括：
所述级联检测器包括第一检测器、第二检测器、第三检测器，每个所述检测器包含感兴趣区域匹配、全连接层，边框回归和分类得分，确定所述第一检测器的最优交并比阈值、第二检测器的最优交并比阈值、第三检测器的最优交并比阈值，所述最优交并比阈值逐级递增；
将所述牛群特征图集输入所述第一检测器，在所述第一检测器中进行候选目标区域采样和边框回归得到第一候选框和第一分类得分；
将所述牛群特征图集及其对应的所述第一候选框和所述第一分类得分输入第二检测器中，在所述第二检测器中通过候选目标区域重新采样和边框回归得到第二候选框和第二分类得分；
将所述牛群特征图集及其对应的所述第二候选框和所述第二分类得分输入第三检测器中，在所述第三检测器中通过候选目标区域重新采样和边框回归得到第三候选框和第三分类得分，作为最终的检测结果。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述将获取的所述当前牛群图像输入所述改进后的神经网络目标检测模型中对待检测目标对象进行检测得到检测结果后，还包括：
显示每个所述待检测目标对象的位置信息以及牛群总数。
8.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行，使所述处理器实现如权利要求1至7中任一项所述的方法。
9.一种基于RCNN的牛群目标检测设备，其特征在于，该设备包括：
一个或多个处理器；
计算机可读介质，用于存储一个或多个计算机可读指令，
当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7至中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111078288.0A CN113780193A (zh) | 2021-09-15 | 2021-09-15 | 基于rcnn的牛群目标检测方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111078288.0A CN113780193A (zh) | 2021-09-15 | 2021-09-15 | 基于rcnn的牛群目标检测方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113780193A true CN113780193A (zh) | 2021-12-10 |
Family
ID=78844312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111078288.0A Pending CN113780193A (zh) | 2021-09-15 | 2021-09-15 | 基于rcnn的牛群目标检测方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113780193A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092820A (zh) * | 2022-01-20 | 2022-02-25 | 城云科技（中国）有限公司 | 目标检测方法及应用其的移动目标跟踪方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN110674866A (zh) * | 2019-09-23 | 2020-01-10 | 兰州理工大学 | 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 |
| CN111814755A (zh) * | 2020-08-18 | 2020-10-23 | 深延科技(北京)有限公司 | 面向夜间运动场景的多帧图像行人检测方法和装置 |
| CN112365497A (zh) * | 2020-12-02 | 2021-02-12 | 上海卓繁信息技术股份有限公司 | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和*** |
| CN112464851A (zh) * | 2020-12-08 | 2021-03-09 | 国网陕西省电力公司电力科学研究院 | 一种基于视觉感知的智能电网异物入侵检测方法及*** |
| CN112613428A (zh) * | 2020-12-28 | 2021-04-06 | 杭州电子科技大学 | 基于平衡损失的Resnet-3D卷积牛视频目标检测方法 |
| US20210224581A1 (en) * | 2020-09-25 | 2021-07-22 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus, and device for fusing features applied to small target detection, and storage medium |
-
2021
- 2021-09-15 CN CN202111078288.0A patent/CN113780193A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN110674866A (zh) * | 2019-09-23 | 2020-01-10 | 兰州理工大学 | 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 |
| CN111814755A (zh) * | 2020-08-18 | 2020-10-23 | 深延科技(北京)有限公司 | 面向夜间运动场景的多帧图像行人检测方法和装置 |
| US20210224581A1 (en) * | 2020-09-25 | 2021-07-22 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus, and device for fusing features applied to small target detection, and storage medium |
| CN112365497A (zh) * | 2020-12-02 | 2021-02-12 | 上海卓繁信息技术股份有限公司 | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和*** |
| CN112464851A (zh) * | 2020-12-08 | 2021-03-09 | 国网陕西省电力公司电力科学研究院 | 一种基于视觉感知的智能电网异物入侵检测方法及*** |
| CN112613428A (zh) * | 2020-12-28 | 2021-04-06 | 杭州电子科技大学 | 基于平衡损失的Resnet-3D卷积牛视频目标检测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092820A (zh) * | 2022-01-20 | 2022-02-25 | 城云科技（中国）有限公司 | 目标检测方法及应用其的移动目标跟踪方法 |
| CN114092820B (zh) * | 2022-01-20 | 2022-04-22 | 城云科技（中国）有限公司 | 目标检测方法及应用其的移动目标跟踪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gu et al. | A review on 2D instance segmentation based on deep neural networks | |
| Sun et al. | SG-FCN: A motion and memory-based deep learning model for video saliency detection | |
| CN108961229A (zh) | 基于深度学习的心血管oct影像易损失斑块检测方法及*** | |
| WO2020133636A1 (zh) | ***手术中外包膜智能检测和预警方法及*** | |
| CN115331087B (zh) | 融合区域语义与像素特征的遥感影像变化检测方法及*** | |
| Wei et al. | Deep group-wise fully convolutional network for co-saliency detection with graph propagation | |
| CN111754541A (zh) | 目标跟踪方法、装置、设备及可读存储介质 | |
| CN108830185B (zh) | 基于多任务联合学习的行为识别及定位方法 | |
| US20200279166A1 (en) | Information processing device | |
| CN113609896A (zh) | 基于对偶相关注意力的对象级遥感变化检测方法及*** | |
| CN111524145A (zh) | 图片智能裁剪方法、***、计算机设备及存储介质 | |
| CN110648331B (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| WO2022152009A1 (zh) | 目标检测方法、装置、设备以及存储介质 | |
| CN113850136A (zh) | 基于yolov5与BCNN的车辆朝向识别方法及*** | |
| CN116092179A (zh) | 一种改进的yolox跌倒检测*** | |
| Krishnan et al. | SwiftSRGAN-Rethinking super-resolution for efficient and real-time inference | |
| CN113780193A (zh) | 基于rcnn的牛群目标检测方法及设备 | |
| CN113592769A (zh) | 异常图像的检测、模型的训练方法、装置、设备及介质 | |
| CN117315752A (zh) | 人脸情绪识别网络模型的训练方法、装置、设备和介质 | |
| CN111881803A (zh) | 一种基于改进YOLOv3的畜脸识别方法 | |
| Samudrala et al. | Semantic Segmentation in Medical Image Based on Hybrid Dlinknet and Unet | |
| CN114387489A (zh) | 电力设备识别方法、装置和终端设备 | |
| CN114863132A (zh) | 图像空域信息的建模与捕捉方法、***、设备及存储介质 | |
| Zhang et al. | MFFSSD: an enhanced SSD for underwater object detection | |
| Kim et al. | Dense pixel-level interpretation of dynamic scenes with video panoptic segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |