CN113920453A - 一种基于深度学习的猪只体尺体重估测方法 - Google Patents

一种基于深度学习的猪只体尺体重估测方法 Download PDF

Info

Publication number
CN113920453A
CN113920453A CN202111194639.4A CN202111194639A CN113920453A CN 113920453 A CN113920453 A CN 113920453A CN 202111194639 A CN202111194639 A CN 202111194639A CN 113920453 A CN113920453 A CN 113920453A
Authority
CN
China
Prior art keywords
pig
image
weight
body size
weight estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111194639.4A
Other languages
English (en)
Inventor
肖德琴
刘俊彬
刘又夫
杨秋妹
黄一桂
杨文涛
招胜秋
卞智逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202111194639.4A priority Critical patent/CN113920453A/zh
Priority to US17/775,590 priority patent/US20230281265A1/en
Priority to PCT/CN2021/142936 priority patent/WO2023060777A1/zh
Publication of CN113920453A publication Critical patent/CN113920453A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的猪只体尺体重估测方法，涉及深度学习技术领域。本发明使用卷积神经网络进行猪只的体重预测，相关特征由卷积神经网络学习得到，不需要构建特征工程提取，从而使提取特征更全面，并且卷积神经网络在处理噪声数据和数据的非线性问题上优于线性模型；采用通用的2d彩色摄像头拍摄的猪只图片，设备价格低廉，实施本技术方案成本低。

Description

一种基于深度学习的猪只体尺体重估测方法
技术领域
本发明涉及深度学习技术领域，更具体地，涉及一种基于深度学习的猪只体尺体重估测方法。
背景技术
生猪产业是我国重要的农业经济组成部分之一，我国是全球重要的猪肉生产和消费大国，2020年猪肉产量4113万吨，占全球猪肉产量50％以上。而随着人工智能的技术发展，推动了畜牧行业向规模化、精准化、智能化的发展，因此对于个体生猪的精准测量可以提升畜牧业的养殖规模、降低人力成本增强生产效率。
猪只的体尺和体重是决定猪只身体状况的重要指标。体重和体尺的变化为评估猪只的健康和生长状况提供了直接手段。在种猪选育、肉质评价以及饲养管理，疾病检测等方面，猪只体重、体尺也是十分重要的指标。
目前，猪只的体尺和体重主要是以人工的方法进行测量，传统的测量方法需要耗费大量的时间和人力且效率低下，并且易使猪体受到刺激，不利于猪只福利。近年来，深度学习发展迅猛，在人脸识别和目标检测等复杂任务上都有显著表现。然而，这些技术在精准农业中的应用并不广泛，尤其是动物的体重和体尺估测方面。现有的基于计算机视觉技术所建立的猪只体尺和体重估测算法都没有很好的结合深度学习方法。
公开号：CN111243005A，公开日为2020-06-05的牲畜估重方法、装置、设备以及计算机可读存储介质，该发明利用深度图像中点云技术，以俯视视角从散乱的点云中逐步锁定到目标牲畜构建牲畜的点云集，筛选出特定的体尺信息后输入线性回归模型来预估体重，但该方法容易遗漏特征，并且传统的线性回归模型在处理噪声数据和应对变量间的非线性问题上不如深度学习方法。
发明内容
本发明为克服上述技术问题，提供一种特征丰富并且处理非线性问题效果较好的基于深度学习的猪只体尺体重估测方法。
本发明技术方案如下：
一种基于深度学习的猪只体尺体重估测方法，包括步骤：
S1、获取猪只图像；
S2、使用关键点检测算法对图像中的猪只进行关键点检测，获取关键点检测结果并根据关键点检测结果，剔除画面中猪只不完整的图像，保留画面中猪只完整的图像；
S3、检测猪只在画面中是否倾斜，对猪只倾斜的画面进行校正，得到画面中猪只完整且不倾斜的图像；
S4、将图像输入体重预估模型并根据关键点检测结果计算体尺数据，得到猪只的体重和体尺数据；
其中，步骤S2中所述关键点检测算法基于Keypoint-RCNN算法构建，步骤S4所述体重预估模型基于ResNext101特征提取网络构建，所述Keypoint-RCNN算法在Mask-RCNN的基础上添加一个关键点检测分支，Keypoint-RCNN算法的特征提取网络采用ResNext101特征提取网络；
步骤S4所述体重预估模型采用ResNext-101特征提取网络。
本技术方案提出了一种基于深度学习的猪只体尺体重估测方法，使用卷积神经网络进行猪只的体重预测，相关特征由卷积神经网络学习得到，不需要构建特征工程提取，从而使提取特征更全面，并且卷积神经网络在处理噪声数据和数据的非线性问题上优于线性模型。
进一步地，步骤S2进行关键点检测之前先使用实例分割算法对图像进行实例分割，将图像中属于猪只的像素标记出来，所述实例分割算法基于Mask RCNN实例分割网络构建，实例分割过程包括：
首先将图像送入到Mask RCNN实例分割网络中的ResNext101特征提取网络中得到特征图；
然后对特征图的每一个像素位置设定固定个数的感兴趣区域，将感兴趣区域送入到Mask RCNN实例分割网络中的区域建议网络进行二分类得到前景和背景，并进行坐标回归，从而获得高质量的感兴趣区域；
对所得到的感兴趣区域执行ROIAligin操作，即先将原图和特征图的像素对应起来，然后将特征图和固定的特征对应起来；
最后在全连接层对这些感兴趣区域进行分类，在感兴趣区域中生成检测目标的检测框，并进行感兴趣区域回归使检测框逐渐接近检测目标的正确位置，在全卷积层进行分割，最终得到实例分割的结果。
进一步地，步骤S2实例分割完成后进行关键点检测，所述关键点检测算法基于Keypoint RCNN算法构建；关键点检测算法进行关键点检测关键点标记，关键点的位置建模为一个单独的one-hot mask，每个关键点类型都有一个mask，对于每个关键点只有一个像素被标记为前景；
分割得到的关键点包括：左耳根点、右耳根点、左前肘点、右前肘点、左后肘点、右后肘点、脊后部点、尾根点。
进一步地，步骤S4所述体重预估模型基于ResNext101特征提取网络构建，并且修改ResNext-101特征提取网络的softmax层为全连接层，全连接层的输出数量为1。
进一步地，所述体重预估模型构建完成后对体重预估模型进行模型训练，训练过程为：首先准备包括多张猪只图像的和每张图像对应猪只体重的训练数据集，将训练数据集中的每张图像的猪只分割出来，并将图片二值化，得到二值化的猪只图像以及图像中对应猪只的体重，然后将训练数据集以6：2：2的比例划分为训练接、测试集和验证集，首先训练集输入体重预估模型进行模型训练确定模型参数，然后测试集对体重预估模型的预估精度进行测试，最后验证集输入体重预估模型进一步调整模型参数，得到完成训练的体重预估模型。
进一步地，完成训练的体重预估模型通过猪只图像估测体重步骤包括：将待估测体重的猪只图片输入到体重预估模型，图片经过卷积层进行特征提取得到图像特征，将图像特征输入到全连接层最终输出估测体重。
进一步地，步骤S4所述体尺数据包括：肩宽、臀宽、体长，所述体尺数据是根据关键点的间距计算而来。
进一步地，步骤S3所述校正采用最小外接矩形对倾斜猪只进行校正。
进一步地，步骤S4测得猪只体重和体尺数据后，将体尺数据与体重数据与猪只的身份绑定保存，猪只的身份是通过图像中猪只的背部特征识别得到的。
进一步地，所述体重预估模型包括损失函数，损失函数使用均方根误差函数。
本技术方案提出了一种基于深度学习的猪只体尺体重估测方法，与现有技术相比，本发明技术方案的有益效果是：使用卷积神经网络进行猪只的体重预测，相关特征由卷积神经网络学习得到，不需要构建特征工程提取，从而更全面地提取特征，并且卷积神经网络在处理噪声数据和数据的非线性问题上优于线性模型。
附图说明
图1为图像筛选校正流程图；
图2为摄像头拍摄猪只示意图；
图3为实例分割算法网络结构图；
图4为关键点检测算法网络结构图。
具体实施方式
为清楚地说明本发明一种基于深度学习的猪只体尺体重估测方法，结合实施例和附图对本发明作进一步说明，但不应以此限制本发明的保护范围。
实施例1
一种基于深度学习的猪只体尺体重估测方法，包括步骤：
S1、获取猪只图像；
S2、使用关键点检测算法对图像中的猪只进行关键点检测，获取关键点检测结果并根据关键点检测结果，剔除画面中猪只不完整的图像，保留画面中猪只完整的图像；
S3、检测猪只在画面中是否倾斜，对猪只倾斜的画面进行校正，得到画面中猪只完整且不倾斜的图像；
S4、将图像输入体重预估模型并根据关键点检测结果计算体尺数据，得到猪只的体重和体尺数据；
图1为步骤S1至S3对应的图像筛选校正流程图，步骤S1所述猪只图像为普通2d彩色摄像头拍摄的普通平面图像，本实施例的2d彩色摄像头拍摄猪只示意图如图2所示，在猪只进入休息区的通道中间安装用铁栏杆搭建的生猪通道，通道的入口和出口设计为只允许单向通过，确保每次仅有一头猪能通过。通道上方安装一台2d彩色摄像头，可拍摄得到猪只的背部及臀部，可观测出猪只的左耳根点、右耳根点、左前肘点、右前肘点、左后肘点、右后肘点、脊后部点、尾根点等体尺关键点。
摄像头拍摄的猪只图像以RGB视频形式发送给关键点检测算法，关键点检测算法采用Keypoint-RCNN算法，对接收到的视频帧进行关键点检测，根据关键点检测结果判断画面中猪只是否完整，若不完整，则剔除当前帧图像，获取下一帧图像，若画面中的猪只完整则判断猪只角度是否标准未发生倾斜，若猪只角度标准，则判断为合格的猪只图像，若猪只角度倾斜，则校正画面中猪只的倾斜角度，得到合格猪只图像。
其中，所述Keypoint-RCNN算法是在Mask-RCNN的基础上添加一个关键点检测分支，Keypoint-RCNN算法的特征提取网络采用ResNext101特征提取网络；
步骤S4所述体重预估模型采用ResNext-101特征提取网络。
本实施例公开了一种基于深度学习的猪只体尺体重估测方法，使用卷积神经网络进行猪只的体重预测，相关特征由卷积神经网络学习得到，不需要构建特征工程提取，从而使提取特征更全面，并且卷积神经网络在处理噪声数据和数据的非线性问题上优于线性模型。本技术方案采用2d彩色摄像头拍摄的猪只图片，设备价格低廉实施本技术方案成本低。
实施例2
一种基于深度学习的猪只体尺体重估测方法，包括步骤：
S1、获取猪只图像；
S2、使用实例分割算法对图像进行实例分割，将图像中属于猪只的像素标记出来，所述实例分割算法基于Mask RCNN实例分割网络构建，然后使用关键点检测算法对图像中的猪只进行关键点检测，根据关键点检测结果，剔除画面中猪只不完整的图像，保留画面中猪只完整的图像；
所述实例分割算法网络结构图如图3所示，所述实例分割过程包括：
首先将图像送入到Mask RCNN实例分割网络中的ResNext101特征提取网络中得到特征图；
然后对特征图的每一个像素位置设定固定个数的感兴趣区域，将感兴趣区域送入到Mask RCNN实例分割网络中的区域建议网络进行二分类得到前景和背景，并进行坐标回归，从而获得高质量的感兴趣区域；
对所得到的感兴趣区域执行ROIAligin操作，ROIAligin的操作过程如下：对于输入的感兴趣区域(ROI)均从特征图上抽取与之对应的部分，之后将特征图上的感兴趣区域(ROI)划分为大小相等的区域，对每个区域进行采样，采样点的坐标根据所在单元格的坐标通过双线性插值得到，然后对得到的采样点在进行maxpooling得到最终输出；
最后在全连接层对这些感兴趣区域进行分类，在感兴趣区域中生成检测目标的检测框，并进行感兴趣区域回归使检测框逐渐接近检测目标的正确位置，在全卷积层进行分割，最终得到实例分割的结果。
本实施例在实际应用过程中，实例分割算法运行在服务器上，在每次实例分割完成后，会在服务器中留下多个视频关键帧的猪只图像，利用保留的视频关键帧对实例分割算法进行后续优化，这些关键帧加入到训练数据集中，继续训练实例分割算法以提高实例分割网络的鲁棒性。
所述关键点检测算法网络结构图如图4所示，步骤S2实例分割完成后进行关键点检测，所述关键点检测算法基于Keypoint RCNN算法构建；关键点检测算法进行关键点检测关键点标记，关键点的位置建模为一个单独的one-hot mask，每个关键点类型都有一个mask，对于每个关键点只有一个像素被标记为前景；
分割得到的关键点包括：左耳根点、右耳根点、左前肘点、右前肘点、左后肘点、右后肘点、脊后部点、尾根点。
S3、检测猪只在画面中是否倾斜，对猪只倾斜的画面进行校正，得到画面中猪只完整且不倾斜的图像；
S4、将图像输入体重预估模型并根据关键点计算体尺数据，得到猪只的体重和体尺数据；
图1为步骤S1至S3对应的图像筛选校正流程图，步骤S1所述猪只图像为2d彩色摄像头拍摄的普通平面图像，本实施例的2d彩色摄像头拍摄猪只示意图如图2所示，在猪只进入休息区的通道中间安装用铁栏杆搭建的生猪通道，通道的入口和出口设计为只允许单向通过，确保每次仅有一头猪能通过。通道上方安装一台2d彩色摄像头，可拍摄得到猪只的背部及臀部，可观测出猪只的左耳根点、右耳根点、左前肘点、右前肘点、左后肘点、右后肘点、脊后部点、尾根点等体尺关键点。
摄像头拍摄的猪只图像以RGB视频形式发送给关键点检测算法，关键点检测算法采用Keypoint-RCNN算法，对接收到的视频帧进行关键点检测，根据关键点检测结果判断画面中猪只是否完整，若不完整，则剔除当前帧图像，获取下一帧图像，若画面中的猪只完整则判断猪只角度是否标准未发生倾斜，若猪只角度标准，则判断为合格的猪只图像，若猪只角度倾斜，则校正画面中猪只的倾斜角度，得到合格猪只图像，本实施例中所述校正是通过最小外接矩形对倾斜猪只进行校正。
其中，关键点检测算法采用Keypoint-RCNN算法，所述Keypoint-RCNN算法是在Mask-RCNN的基础上添加一个关键点检测分支，Keypoint-RCNN算法的特征提取网络采用ResNext101特征提取网络；
步骤S4所述体重预估模型采用ResNext-101特征提取网络。并且修改ResNext-101特征提取网络的softmax层为全连接层，全连接层的输出数量为1，体重预估模型的损失函数使用均方根误差函数。
所述体重预估模型构建完成后对体重预估模型进行模型训练，训练过程为：首先准备包括多张猪只图像的和每张图像对应猪只体重的训练数据集，将训练数据集中的每张图像的猪只分割出来，并将图片二值化，得到二值化的猪只图像以及图像中对应猪只的体重，然后将训练数据集以6：2：2的比例划分为训练接、测试集和验证集，首先训练集输入体重预估模型进行模型训练确定模型参数，然后测试集对体重预估模型的预估精度进行测试，最后验证集输入体重预估模型进一步调整模型参数，得到完成训练的体重预估模型。在图像处理时，卷积神经网络不仅大量减少了神经网络参数，解决了全连接网络参数冗余的问题，同时卷积的引入有效提升了神经网络对图像的特征提取能力，不需要构建特征工程，在处理噪声数据和数据的非线性问题上也优于传统的线性模型。本实施例中，所述训练数据集中共有3000张猪只图像。
完成训练的体重预估模型通过猪只图像估测体重步骤包括：将待估测体重的猪只图片输入到体重预估模型，图片经过卷积层进行特征提取得到图像特征，将图像特征输入到全连接层最终输出估测体重。
步骤S4所述体尺数据包括：肩宽、臀宽、体长，所述体尺数据是根据关键点的间距计算而来。肩宽为左前肘点、右前肘点两个关键点之间的间距，臀宽为左后肘点、右后肘点两个关键点之间的间距，体长为左耳根点和右耳根点的中点到尾根点的距离。
步骤S4测得猪只体重和体尺数据后，将体尺数据与体重数据与猪只的身份绑定保存，猪只的身份是通过图像中猪只的背部特征识别得到的。
本实施例公开了一种基于深度学习的猪只体尺体重估测方法，使用卷积神经网络进行猪只的体重预测，相关特征由卷积神经网络学习得到，不需要构建特征工程提取，从而使提取特征更全面，并且卷积神经网络在处理噪声数据和数据的非线性问题上优于线性模型。
本技术方案采用2d彩色摄像头拍摄的猪只图片，设备价格低廉实施本技术方案成本低。并且利用关键点检测算法获取猪只身上的关键点，减少了以往获取关键点需要在图像上设置坐标轴通过梯度寻找关键点或根据几何特征寻找关键点的繁杂计算，能高效的计算出猪只的体尺参数，端到端的实现关键点提取。

Claims (10)

1.一种基于深度学习的猪只体尺体重估测方法，其特征在于，所述方法包括步骤：
S1、获取猪只图像；
S2、使用关键点检测算法对图像中的猪只进行关键点检测，获取关键点检测结果并根据关键点检测结果，剔除画面中猪只不完整的图像，保留画面中猪只完整的图像；
S3、检测猪只在画面中是否倾斜，对猪只倾斜的画面进行校正，得到画面中猪只完整且不倾斜的图像；
S4、将图像输入体重预估模型并根据关键点检测结果计算体尺数据，得到猪只的体重和体尺数据；
其中，步骤S2中所述关键点检测算法基于Keypoint-RCNN算法构建，步骤S4所述体重预估模型基于ResNext101特征提取网络构建，所述Keypoint-RCNN算法在Mask-RCNN的基础上添加一个关键点检测分支，Keypoint-RCNN算法的特征提取网络采用ResNext101特征提取网络；
步骤S4所述体重预估模型采用ResNext-101特征提取网络。
2.根据权利要求1所述的一种基于深度学习的猪只体尺体重估测方法，其特征在于，步骤S2进行关键点检测之前先使用实例分割算法对图像进行实例分割，将图像中属于猪只的像素标记出来，所述实例分割算法基于Mask RCNN实例分割网络构建，实例分割过程包括：
首先将图像送入到Mask RCNN实例分割网络中的ResNext101特征提取网络中得到特征图；
然后对特征图的每一个像素位置设定固定个数的感兴趣区域，将感兴趣区域送入到Mask RCNN实例分割网络中的区域建议网络进行二分类得到前景和背景，并进行坐标回归，从而获得高质量的感兴趣区域；
对所得到的感兴趣区域执行ROIAligin操作，即先将原图和特征图的像素对应起来，然后将特征图和固定的特征对应起来；
最后在全连接层对这些感兴趣区域进行分类，在感兴趣区域中生成检测目标的检测框，并进行感兴趣区域回归使检测框逐渐接近检测目标的正确位置，在全卷积层进行分割，最终得到实例分割的结果。
3.根据权利要求2所述的一种基于深度学习的猪只体尺体重估测方法，其特征在于，步骤S2实例分割完成后进行关键点检测，所述关键点检测算法基于Keypoint RCNN算法构建；关键点检测算法进行关键点检测关键点标记，关键点的位置建模为一个单独的one-hotmask，每个关键点类型都有一个mask，对于每个关键点只有一个像素被标记为前景；
分割得到的关键点包括：左耳根点、右耳根点、左前肘点、右前肘点、左后肘点、右后肘点、脊后部点、尾根点。
4.根据权利要求1所述的一种基于深度学习的猪只体尺体重估测方法，其特征在于，步骤S4所述体重预估模型基于ResNext101特征提取网络构建，并且修改ResNext-101特征提取网络的softmax层为全连接层，全连接层的输出数量为1。
5.根据权利要求4所述的一种基于深度学习的猪只体尺体重估测方法，其特征在于，所述体重预估模型构建完成后对体重预估模型进行模型训练，训练过程为：首先准备包括多张猪只图像的和每张图像对应猪只体重的训练数据集，将训练数据集中的每张图像的猪只分割出来，并将图片二值化，得到二值化的猪只图像以及图像中对应猪只的体重，然后将训练数据集以6：2：2的比例划分为训练接、测试集和验证集，首先训练集输入体重预估模型进行模型训练确定模型参数，然后测试集对体重预估模型的预估精度进行测试，最后验证集输入体重预估模型进一步调整模型参数，得到完成训练的体重预估模型。
6.根据权利要求5所述的一种基于深度学习的猪只体尺体重估测方法，其特征在于，完成训练的体重预估模型通过猪只图像估测体重步骤包括：将待估测体重的猪只图片输入到体重预估模型，图片经过卷积层进行特征提取得到图像特征，将图像特征输入到全连接层最终输出估测体重。
7.根据权利要求1所述的一种基于深度学习的猪只体尺体重估测方法，其特征在于，步骤S4所述体尺数据包括：肩宽、臀宽、体长，所述体尺数据是根据关键点的间距计算而来。
8.根据权利要求1所述的一种基于深度学习的猪只体尺体重估测方法，其特征在于，步骤S3所述校正采用最小外接矩形对倾斜猪只进行校正。
9.根据权利要求1所述的一种基于深度学习的猪只体尺体重估测方法，其特征在于，步骤S4测得猪只体重和体尺数据后，将体尺数据与体重数据与猪只的身份绑定保存，猪只的身份是通过图像中猪只的背部特征识别得到的。
10.根据权利要求4所述的一种基于深度学习的猪只体尺体重估测方法，其特征在于，所述体重预估模型包括损失函数，损失函数使用均方根误差函数。
CN202111194639.4A 2021-10-13 2021-10-13 一种基于深度学习的猪只体尺体重估测方法 Pending CN113920453A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111194639.4A CN113920453A (zh) 2021-10-13 2021-10-13 一种基于深度学习的猪只体尺体重估测方法
US17/775,590 US20230281265A1 (en) 2021-10-13 2021-12-30 Method for estimating body size and weight of pig based on deep learning
PCT/CN2021/142936 WO2023060777A1 (zh) 2021-10-13 2021-12-30 一种基于深度学习的猪只体尺体重估测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111194639.4A CN113920453A (zh) 2021-10-13 2021-10-13 一种基于深度学习的猪只体尺体重估测方法

Publications (1)

Publication Number Publication Date
CN113920453A true CN113920453A (zh) 2022-01-11

Family

ID=79240070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111194639.4A Pending CN113920453A (zh) 2021-10-13 2021-10-13 一种基于深度学习的猪只体尺体重估测方法

Country Status (3)

Country Link
US (1) US20230281265A1 (zh)
CN (1) CN113920453A (zh)
WO (1) WO2023060777A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096178A (zh) * 2021-04-25 2021-07-09 中国农业大学 猪只体重的估测方法、装置、设备和存储介质
CN114877979A (zh) * 2022-03-23 2022-08-09 成都爱记科技有限公司 一种基于人工智能的动物体重测量***
CN115294185A (zh) * 2022-06-14 2022-11-04 中国农业科学院北京畜牧兽医研究所 猪只体重的估测方法以及相关设备
CN116453061A (zh) * 2023-06-08 2023-07-18 厦门农芯数字科技有限公司 一种基于图像识别的远程卖猪监管方法、装置以及设备
CN116703897A (zh) * 2023-08-02 2023-09-05 青岛兴牧畜牧科技发展有限公司 一种基于图像处理的猪只体重估值方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3756458A1 (en) * 2019-06-26 2020-12-30 Viking Genetics FmbA Weight determination of an animal based on 3d imaging
CN116416260B (zh) * 2023-05-19 2024-01-26 四川智迅车联科技有限公司 一种基于图像处理的称重精度优化方法及***
CN116452597B (zh) * 2023-06-20 2023-08-29 厦门农芯数字科技有限公司 母猪背膘高精度测定方法、***、设备及存储介质
CN116519106B (zh) * 2023-06-30 2023-09-15 中国农业大学 一种用于测定生猪体重的方法、装置、存储介质和设备
CN117011804B (zh) * 2023-09-28 2023-12-26 厦门农芯数字科技有限公司 高精度猪场栋舍盘估方法、***、设备及存储介质
CN118089899B (zh) * 2024-04-19 2024-07-09 中农吉牧(吉林)农业发展有限公司 一种智能化牛场的智能称重***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583507A (zh) * 2018-12-07 2019-04-05 浙江工商大学 一种基于深度卷积神经网络的猪体识别方法
CN110426112A (zh) * 2019-07-04 2019-11-08 平安科技（深圳）有限公司 一种生猪体重测量方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109141248B (zh) * 2018-07-26 2020-09-08 深源恒际科技有限公司 基于图像的猪体重测算方法及***
CN113096178A (zh) * 2021-04-25 2021-07-09 中国农业大学 猪只体重的估测方法、装置、设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583507A (zh) * 2018-12-07 2019-04-05 浙江工商大学 一种基于深度卷积神经网络的猪体识别方法
CN110426112A (zh) * 2019-07-04 2019-11-08 平安科技（深圳）有限公司 一种生猪体重测量方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAIMING HE等: "Mask R-CNN", 《ARXIV》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096178A (zh) * 2021-04-25 2021-07-09 中国农业大学 猪只体重的估测方法、装置、设备和存储介质
CN114877979A (zh) * 2022-03-23 2022-08-09 成都爱记科技有限公司 一种基于人工智能的动物体重测量***
CN115294185A (zh) * 2022-06-14 2022-11-04 中国农业科学院北京畜牧兽医研究所 猪只体重的估测方法以及相关设备
CN115294185B (zh) * 2022-06-14 2023-10-03 中国农业科学院北京畜牧兽医研究所 猪只体重的估测方法以及相关设备
CN116453061A (zh) * 2023-06-08 2023-07-18 厦门农芯数字科技有限公司 一种基于图像识别的远程卖猪监管方法、装置以及设备
CN116453061B (zh) * 2023-06-08 2023-10-03 厦门农芯数字科技有限公司 一种基于图像识别的远程卖猪监管方法、装置以及设备
CN116703897A (zh) * 2023-08-02 2023-09-05 青岛兴牧畜牧科技发展有限公司 一种基于图像处理的猪只体重估值方法
CN116703897B (zh) * 2023-08-02 2023-10-13 青岛兴牧畜牧科技发展有限公司 一种基于图像处理的猪只体重估值方法

Also Published As

Publication number Publication date
US20230281265A1 (en) 2023-09-07
WO2023060777A1 (zh) 2023-04-20

Similar Documents

Publication Publication Date Title
CN113920453A (zh) 一种基于深度学习的猪只体尺体重估测方法
Qiao et al. Cattle segmentation and contour extraction based on Mask R-CNN for precision livestock farming
CN110426112B (zh) 一种生猪体重测量方法及装置
CN108875821A (zh) 分类模型的训练方法和装置、移动终端、可读存储介质
CN111178197A (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN111368766B (zh) 一种基于深度学习的牛脸检测与识别方法
CN109141248A (zh) 基于图像的猪体重测算方法及***
CN108563975B (zh) 一种基于深度学习的高密度人群人数估计方法
CN108830856B (zh) 一种基于时间序列sd-oct视网膜图像的ga自动分割方法
CN110267101B (zh) 一种基于快速三维拼图的无人机航拍视频自动抽帧方法
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN113592896A (zh) 基于图像处理的鱼类投喂方法、***、设备及存储介质
CN113989353A (zh) 一种猪只背膘厚度测定方法及***
Ma et al. Towards improved accuracy of UAV-based wheat ears counting: A transfer learning method of the ground-based fully convolutional network
Li et al. Y-BGD: Broiler counting based on multi-object tracking
CN112883915A (zh) 一种基于迁移学习的麦穗自动识别方法和***
Yang et al. Extracting cow point clouds from multi-view RGB images with an improved YOLACT++ instance segmentation
Nguyen et al. Towards rapid weight assessment of finishing pigs using a handheld, mobile RGB-D camera
Cao et al. Case instance segmentation of small farmland based on Mask R-CNN of feature pyramid network with double attention mechanism in high resolution satellite images
CN114299279A (zh) 基于脸部检测和识别的无标记群体恒河猴运动量估计方法
CN108133184B (zh) 一种基于分形理论和bp算法的鱼识别及疫苗注射方法
CN113420636A (zh) 一种基于深度学习与阈值分割的线虫识别方法
CN115862119B (zh) 基于注意力机制的人脸年龄估计方法及装置
CN114550069B (zh) 一种基于深度学习的仔猪***计数方法
Han et al. Mask_LaC R-CNN for measuring morphological features of fish

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220111