CN112734731B - 一种牲畜温度检测方法、装置、设备和存储介质 - Google Patents
一种牲畜温度检测方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN112734731B CN112734731B CN202110033020.9A CN202110033020A CN112734731B CN 112734731 B CN112734731 B CN 112734731B CN 202110033020 A CN202110033020 A CN 202110033020A CN 112734731 B CN112734731 B CN 112734731B
- Authority
- CN
- China
- Prior art keywords
- livestock
- temperature
- infrared
- image
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 244000144972 livestock Species 0.000 title claims abstract description 177
- 238000001514 detection method Methods 0.000 title claims abstract description 96
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims description 35
- 238000013135 deep learning Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 210000004013 groin Anatomy 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004140 cleaning Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000005065 mining Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 abstract description 9
- 230000036760 body temperature Effects 0.000 abstract description 8
- 201000010099 disease Diseases 0.000 abstract description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 6
- 241001465754 Metazoa Species 0.000 description 11
- 238000003062 neural network model Methods 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000000306 recurrent effect Effects 0.000 description 8
- 206010037660 Pyrexia Diseases 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 238000001931 thermography Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000009529 body temperature measurement Methods 0.000 description 2
- 238000009395 breeding Methods 0.000 description 2
- 230000001488 breeding effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Radiation Pyrometers (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种牲畜温度检测方法，包括获取红外拍照指令，利用红外拍照装置采集牲畜的红外图像；利用超分辨模型对所述红外图像处理，得到超分辨图像；对所述超分辨图像中的目标牲畜进行检测，并检测出所述目标牲畜的温度检测关键点的坐标；检测所述温度检测关键点的温度，当所述温度高于预设阈值时报警。该方法能够在保证精度的前提下实现全天候自动巡栏，为牲畜体温监测提供重要保障，而且能够减少计算量，降低硬件压力，节约成本，防止牲畜疾病的传播。本发明还公开了一种牲畜温度检测装置、设备和存储介质。
Description
技术领域
本发明属于畜牧养殖技术领域，特别是涉及一种牲畜温度检测方法、装置、设备和存储介质。
背景技术
牲畜养殖行业是劳动密集型行业，现有技术中，当需要对牲畜温度进行检测时，一种是人工方式，比较费时费力，依赖于操作人员的个人素质，而且由于受到各种因素的影响，也不容易将所有温度异常的牲畜都找出来，还有一种是依赖于自动化技术检测牲畜的温度，其采用的目标检测方法包含两种，一种是通过传统opencv进行边缘检测获取目标轮廓，但是该方法较难适应复杂场景目标检测的需求，另外一种是深度学习的方法，但其主要针对的是行人和车辆等照片，准确率较低，也不适合应用在牲畜温度检测领域中。
发明内容
为解决上述问题，本发明提供了一种牲畜温度检测方法、装置、设备和存储介质，能够在保证精度的前提下实现全天候自动巡栏，为牲畜体温监测提供重要保障，而且能够减少计算量，降低硬件压力，节约成本，防止牲畜疾病的传播。
本发明提供的一种牲畜温度检测方法，包括：
获取红外拍照指令，利用红外拍照装置采集牲畜的红外图像；
利用超分辨模型对所述红外图像处理，得到超分辨图像；
对所述超分辨图像中的目标牲畜进行检测，并检测出所述目标牲畜的温度检测关键点的坐标；
检测所述温度检测关键点的温度，当所述温度高于预设阈值时报警。
优选的，在上述牲畜温度检测方法中，在所述对所述超分辨图像中的目标牲畜进行检测之前，还包括对检测模型进行训练，包括：
使用数据标注工具对所述红外图像进行标注，获得初始训练集；
利用数据增强方式获得多样化数据集；
使用深度学习目标检测模型进行训练得到初始模型；
对所述初始模型进行推理，利用温度矩阵对所述多样化数据集进行数据清洗，判断单张所述红外图像中是否存在待检测温度区间内的物体，若存在则使用所述深度学习目标检测模型进行推理，得到红外图像中的预测结果BBox；
通过设定BBox的阈值过滤掉一部分目标，得到最终的牲畜目标检测结果。
优选的，在上述牲畜温度检测方法中，所述利用红外拍照装置采集牲畜的红外图像为：
利用安装在养殖场过道上方轨道的车上的红外热像仪采集牲畜的红外图像。
优选的，在上述牲畜温度检测方法中，所述数据增强方式包括mixup、翻转、平移、随机裁剪、添加随机噪音、GAN方式。
优选的，在上述牲畜温度检测方法中，通过yolov4模型得到红外图像中的预测结果BBox。
本发明提供的一种牲畜温度检测装置包括：
红外拍照部件，用于获取红外拍照指令，采集牲畜的红外图像；
图像处理部件，用于利用超分辨模型对所述红外图像处理，得到超分辨图像；
温度检测关键点坐标确定部件，用于对所述超分辨图像中的目标牲畜进行检测，并检测出所述目标牲畜的温度检测关键点的坐标；
报警部件，用于检测所述温度检测关键点的温度，当所述温度高于预设阈值时报警。
优选的，在上述牲畜温度检测装置中，还包括检测模型训练部件，用于使用数据标注工具对所述红外图像进行标注，获得初始训练集；利用数据增强方式获得多样化数据集；使用深度学习目标检测模型进行训练得到初始模型；对所述初始模型进行推理，利用温度矩阵对所述多样化数据集进行数据清洗，判断单张所述红外图像中是否存在待检测温度区间内的物体，若存在则使用所述深度学习目标检测模型进行推理，得到红外图像中的预测结果BBox；通过设定BBox的阈值过滤掉一部分目标，得到最终的牲畜目标检测结果。
优选的，在上述牲畜温度检测装置中，所述红外拍照部件具体用于利用安装在养殖场过道上方轨道的车上的红外热像仪采集牲畜的红外图像。
本发明提供的一种计算机设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上面任一种牲畜温度检测方法的步骤。
本发明提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上面任一种牲畜温度检测方法的步骤。
通过上述描述可知，本发明提供的上述牲畜温度检测方法，由于包括先获取红外拍照指令，利用红外拍照装置采集牲畜的红外图像；然后利用超分辨模型对所述红外图像处理，得到超分辨图像；再对所述超分辨图像中的目标牲畜进行检测，并检测出所述目标牲畜的温度检测关键点的坐标；最后检测所述温度检测关键点的温度，当所述温度高于预设阈值时报警，可见该方法无需人工参与，能够在保证精度的前提下实现全天候自动巡栏，为牲畜体温监测提供重要保障，而且能够减少计算量，降低硬件压力，节约成本，防止牲畜疾病的传播。本发明提供的牲畜温度检测装置、设备和存储介质具有与上述方法同样的优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种牲畜温度检测方法的实施例的示意图；
图2为本发明提供的一种牲畜温度检测装置的实施例的示意图；
图3为本发明提供的一种计算机设备的实施例的示意图。
具体实施方式
本发明的核心是提供一种牲畜温度检测方法、装置、设备和存储介质，能够在保证精度的前提下实现全天候自动巡栏，为牲畜体温监测提供重要保障，而且能够减少计算量，降低硬件压力，节约成本，防止牲畜疾病的传播。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的一种牲畜温度检测方法的实施例如图1所示，图1为本发明提供的一种牲畜温度检测方法的实施例的示意图，该方法包括如下步骤：
S1：获取红外拍照指令，利用红外拍照装置采集牲畜的红外图像；
具体的，该红外拍照装置可以但不限于为红外热像仪，红外热像仪是将物体发射出的不可见的红外能量转变为可见的热图像，因此任何温度高于0°的物体都能成像，而牲畜温度明显高于环境温度因此不受光线影响可全天候观测牲畜的状态，结合目标检测技术捕获牲畜目标后可以方便进行体温监控。而且可以利用安装在养殖场过道上方轨道的车上的红外热像仪采集牲畜的红外图像，而不再采用现有的手持测温枪、人眼通过热像仪画面观测温度为主的方式。这个方法中，可以将RFID卡贴在每个栏位正中心的位置，用于实现定位，利用巡检小车定点停靠，结合小车上的红外热像仪，采集牲畜的红外热图数据，对采集到的数据进行初步清洗，挑选角度正常、栏内有牲畜的数据作为初始样本集，判断温度矩阵中的温度最大值是否超出设定的阈值，例如当前阈值为45摄氏度，超过45摄氏度的数据就被判定为异常数据，不参与后续模型的推理。
S2：利用超分辨模型对红外图像处理，得到超分辨图像；
需要说明的是，该步骤使用的单图片超分辨率(SISR)算法通过交叉尺度非局部(CS-NL)注意力模块，整合到一个循环神经网络中，通过结合局部的CS-NL先验和非局部的先验到一个强大的循环聚合单元，得到最后的超分辨图像，使用超分辨率增强技术捕捉成像细节，可以大大提高模型推理的精度，同时降低设备的成本。具体的，红外牲畜图片要通过卷积神经网络提取图像特征，然后进入一系列递归神经单元，这些递归神经单元组成递归网络，最后再融合递归单元的信息通过卷积网络，生成高分辨率图片。对每个递归单元，前一层特征要经过三个分支，分别为交叉尺度非局部注意力分支、全尺度非局部注意力分支和局部分支，最后三个分支通过交互映射融合来提取所有特征，作为下一层的输入，具体可以如下操作：通过卷积神经网络提取红外牲畜图片的特征；将上一步的特征作为输入，通过SEM单元(Self-Examplers Minig)进行特征挖掘包括将特征通过交叉尺度非局部注意力网络提取特征、将特征通过内联尺度非局部注意力网络提取特征、将特征通过局部信息提取网络提取特征，将这三步得到的特征进行交互映射融合，将融合的信息通过Stride卷积层和Deconv层网络等进行处理；重复若干个SEM单元，组成循环神经网络；将以上若干个SEM单元挖掘的信息通过网络Concat进行联合，在通过卷积神经网络得到最后的高分辨率红外牲畜图片。以某养殖场的通过分辨率为256*192的红外摄像头采集的牲畜图片为例，此图模糊性太高，特别是牲畜与牲畜的边缘部分和头部等测温关键部位很难准确分辨清楚，通过此超分辨率模型处理，得到一种清晰度高，分辨率为512*384的红外牲畜图片，可见该步骤能够对后续基于红外牲畜图片准确的目标检测，实例分割能够提供极大帮助，这就有利于病死牲畜的检测。
S3：对超分辨图像中的目标牲畜进行检测，并检测出目标牲畜的温度检测关键点的坐标；
上述步骤中利用红外热像仪采集的数据，需要进行数据处理，将与温度矩阵直接对应的灰度图像数据编码成为直观的红外热图，然后对其进行增强处理，可以得到大量的红外图像，将这些数据作为训练数据集，训练得到牲畜实例分割的神经网络模型，最终通过训练好的模型，可以分割出红外图像中的牲畜，并结合温度对所有牲畜进行监测。具体的，选取采集的红外数据中与温度矩阵对应的灰度图数据，根据其对比度，对其进行gamma变换和直方图局部增强，gamma变换可以拉伸高光区域的对比度，使得温度较高的牲畜的纹理更强，而直方图局部增强可以压暗对比度较低的高光区域，使得图像高光区域更柔和，细节更清晰，然后使用热金属编码，将处理后的灰度图编码成为符合视觉习惯的红外热图；构建训练数据集；收集采集的红外数据，对其进行上一步中的数据处理，然后挑选出足够多的牲畜分布各异的图像，对其进行标注，标记出红外图像中每一头牲畜的轮廓，将轮廓连接起来，图像中同一牲畜区域对应的所有像素都标记为同一ID，不同牲畜对应的ID不同；训练牲畜实例分割的神经网络模型，搭建适用于实例分割的神经网络模型，设置合适的损失函数，输入训练数据集，通过反向传播，不断地迭代更新网络模型中的权重，最终得到牲畜实例分割的神经网络模型。利用该训练后的模型即可检测出目标牲畜的温度检测关键点的坐标，将这个坐标对应到红外图像中，即可得到牲畜的体温数据，这种方法直接在牲畜红外热图上做耳根、腹股沟关键点的检测，减少了对硬件资的需求，降低了处理流程复杂度，提高了效率。
S4：检测温度检测关键点的温度，当温度高于预设阈值时报警。
需要说明的是，该预设阈值可以但不限于为40摄氏度，当将40摄氏度作为判断发烧的依据时，该检测关键点处的温度值超过40摄氏度时，判定为发烧的牲畜，或者在夏季炎热情况下，还可以判断其中一头牲畜的检测关键点处的温度是否比其他牲畜的检测关键点温度高一个值，例如1.8摄氏度，当判定符合上述要求的牲畜为发烧牲畜，缓解了因为环境温度因素的影响导致关键点绝对温度不准而误判的情况，而将温度值低于设定阈值的牲畜判定为死亡牲畜，发生这种情况时均需要进行报警，并且可以将预测得到的发烧牲畜推送到每个单元，饲养员结合推送结果进行及时的诊断和处理。
可见，上述实施例通过将与温度直接相关的图像数据编码并进行增强，得到更加直观的红外图像，然后对牲畜进行实例分割，得到每头牲畜的温度区域，从而对多头牲畜进行体温监测。上述方案中的牲畜可以但不限于为猪、牛和羊，任何类似牲畜都可以利用上述方法进行处理。
通过上述描述可知，本发明提供的上述牲畜温度检测方法的实施例中，由于包括先获取红外拍照指令，利用红外拍照装置采集牲畜的红外图像；然后利用超分辨模型对红外图像处理，得到超分辨图像；再对超分辨图像中的目标牲畜进行检测，并检测出目标牲畜的温度检测关键点的坐标；最后检测温度检测关键点的温度，当温度高于预设阈值时报警，可见该方法无需人工参与，能够在保证精度的前提下实现全天候自动巡栏，为牲畜体温监测提供重要保障，而且能够减少计算量，降低硬件压力，节约成本，防止牲畜疾病的传播。
还需要说明的是，针对红外热像仪采集得到的牲畜红外图像，利用卷积神经网络深度学习方法进行模型训练，获得能直接在牲畜红外图像提取牲畜腹股沟、耳根等关键点的深度学习模型，因此，在上述牲畜温度检测方法的一个具体实施例中，在对超分辨图像中的目标牲畜进行检测之前，还包括对检测模型进行训练，还可以包括：
使用数据标注工具对红外图像进行标注，获得初始训练集，具体的，这是采用人工标注的方式进行的，基于深度学习的关键点检测模型训练需要一定量的多样化样本，通过人工在红外图像上标出牲畜的边框及腹股沟、耳根等关键点，作为“知识”用于深度神经网络模型学习；
利用数据增强方式获得多样化数据集，包括但不限于利用mixup方式来扩充该数据集；
使用深度学习目标检测模型进行训练得到初始模型；
对初始模型进行推理，利用温度矩阵对多样化数据集进行数据清洗，判断单张红外图像中是否存在待检测温度区间内的物体，若存在则使用深度学习目标检测模型进行推理，得到红外图像中的预测结果BBox；
通过设定BBox的阈值过滤掉一部分目标，得到最终的牲畜目标检测结果，也就是推理得到牲畜耳根、腹股沟关键点处的坐标值。
具体的，需要提前建立好深度学习模型训练的数据集，为深度神经网络提供多样化的样本，进行深度神经网络模型训练，根据人工标注的文件，通过裁剪、调整大小、标准化等操作步骤，将图片内所有牲畜分别提取出来，并设定成固定大小；将标注的牲畜的耳根、腹股沟关键点坐标通过高斯核转化成64x64大小的真实heatmap；通过simple baseline神经网络进行特征提取，得到预测heatmap；利用真实heatmap和预测heatmap，计算L2 loss损失函数的值；通过误差反向传播的方式不断更新模型权重，直到模型收敛或满足迭代终止条件；模型应用效果评估及优化，通过实际应用，发现牲畜站立时会出现背部边缘被误判为腹股沟的现象，还可以对损失函数进行改进，在原损失函数中新增不可见关键点被检出而产生的损失值，并重新训练模型，改善模型检测效果，增强检测精度。基于深度学习的红外热图牲畜关键点检测模型训练完成后，提供1张新的牲畜红外热图作为模型的输入，经过目标检测及关键点检测模型处理之后，可以得到图片内各牲畜的耳根、腹股沟等关键点的坐标信息。
在上述牲畜温度检测方法的另一个具体实施例中，数据增强方式可以包括mixup、翻转、平移、随机裁剪、添加随机噪音、GAN方式，也就是说，可以利用其中的至少一种方式来扩充数据集，得到模型训练的样本集。
进一步的，可以通过yolov4模型得到红外图像中的预测结果BBox。具体而言，在模型训练时，将训练集中的图片resize到相同的大小并获取其真实的BBox位置信息，通过yolov4模型得到预测到的BBox信息，将真实的BBox位置信息与预测的BBox信息进行对比，将分类loss、confidence loss、location loss、iou loss之和作为最终的loss，利用反向传播算法不断更新权重，直到模型收敛或者满足迭代终止条件，然后进行模型推理与后处理，具体的，在线上推理阶段，首先结合TTA方法多次推理取置信度最大的结果作为目标检测的输出结果，然后设定BBox最小的阈值，当BBox的阈值小于给定阈值时过滤掉推理结果，当BBox阈值大于给定阈值时，输出红外热图牲畜目标检测结果。
本发明提供的一种牲畜温度检测装置的实施例如图2所示，图2为本发明提供的一种牲畜温度检测装置的实施例的示意图，该装置包括：
红外拍照部件201，用于获取红外拍照指令，采集牲畜的红外图像，具体的，该红外拍照部件可以但不限于为红外热像仪，红外热像仪是将物体发射出的不可见的红外能量转变为可见的热图像，因此任何温度高于0°的物体都能成像，而牲畜温度明显高于环境温度因此不受光线影响可全天候观测牲畜的状态，结合目标检测技术捕获牲畜目标后可以方便进行体温监控。而且可以利用安装在养殖场过道上方轨道的车上的红外热像仪采集牲畜的红外图像，而不再采用现有的手持测温枪、人眼通过热像仪画面观测温度为主的方式。这个方法中，可以将RFID卡贴在每个栏位正中心的位置，用于实现定位，利用巡检小车定点停靠，结合小车上的红外热像仪，采集牲畜的红外热图数据，对采集到的数据进行初步清洗，挑选角度正常、栏内有牲畜的数据作为初始样本集，判断温度矩阵中的温度最大值是否超出设定的阈值，例如当前阈值为45摄氏度，超过45摄氏度的数据就被判定为异常数据，不参与后续模型的推理；
图像处理部件202，用于利用超分辨模型对红外图像处理，得到超分辨图像，使用的单图片超分辨率(SISR)算法通过交叉尺度非局部(CS-NL)注意力模块，整合到一个循环神经网络中，通过结合局部的CS-NL先验和非局部的先验到一个强大的循环聚合单元，得到最后的超分辨图像，使用超分辨率增强技术捕捉成像细节，可以大大提高模型推理的精度，同时降低设备的成本。具体的，红外牲畜图片要通过卷积神经网络提取图像特征，然后进入一系列递归神经单元，这些递归神经单元组成递归网络，最后再融合递归单元的信息通过卷积网络，生成高分辨率图片。对每个递归单元，前一层特征要经过三个分支，分别为交叉尺度非局部注意力分支、全尺度非局部注意力分支和局部分支，最后三个分支通过交互映射融合来提取所有特征，作为下一层的输入，具体可以如下操作：通过卷积神经网络提取红外牲畜图片的特征；将上一步的特征作为输入，通过SEM单元(Self-Examplers Minig)进行特征挖掘包括将特征通过交叉尺度非局部注意力网络提取特征、将特征通过内联尺度非局部注意力网络提取特征、将特征通过局部信息提取网络提取特征，将这三步得到的特征进行交互映射融合，将融合的信息通过Stride卷积层和Deconv层网络等进行处理；重复若干个SEM单元，组成循环神经网络；将以上若干个SEM单元挖掘的信息通过网络Concat进行联合，在通过卷积神经网络得到最后的高分辨率红外牲畜图片。以某养殖场的通过分辨率为256*192的红外摄像头采集的牲畜图片为例，此图模糊性太高，特别是牲畜与牲畜的边缘部分和头部等测温关键部位很难准确分辨清楚，通过此超分辨率模型处理，得到一种清晰度高，分辨率为512*384的红外牲畜图片，可见能够对后续基于红外牲畜图片准确的目标检测，实例分割能够提供极大帮助，这就有利于病死牲畜的检测；
温度检测关键点坐标确定部件203，用于对超分辨图像中的目标牲畜进行检测，并检测出目标牲畜的温度检测关键点的坐标，利用红外热像仪采集的数据，需要进行数据处理，将与温度矩阵直接对应的灰度图像数据编码成为直观的红外热图，然后对其进行增强处理，可以得到大量的红外图像，将这些数据作为训练数据集，训练得到牲畜实例分割的神经网络模型，最终通过训练好的模型，可以分割出红外图像中的牲畜，并结合温度对所有牲畜进行监测。具体的，选取采集的红外数据中与温度矩阵对应的灰度图数据，根据其对比度，对其进行gamma变换和直方图局部增强，gamma变换可以拉伸高光区域的对比度，使得温度较高的牲畜的纹理更强，而直方图局部增强可以压暗对比度较低的高光区域，使得图像高光区域更柔和，细节更清晰，然后使用热金属编码，将处理后的灰度图编码成为符合视觉习惯的红外热图；构建训练数据集；收集采集的红外数据，对其进行上一步中的数据处理，然后挑选出足够多的牲畜分布各异的图像，对其进行标注，标记出红外图像中每一头牲畜的轮廓，将轮廓连接起来，图像中同一牲畜区域对应的所有像素都标记为同一ID，不同牲畜对应的ID不同；训练牲畜实例分割的神经网络模型，搭建适用于实例分割的神经网络模型，设置合适的损失函数，输入训练数据集，通过反向传播，不断地迭代更新网络模型中的权重，最终得到牲畜实例分割的神经网络模型。利用该训练后的模型即可检测出目标牲畜的温度检测关键点的坐标，将这个坐标对应到红外图像中，即可得到牲畜的体温数据，这种方法直接在牲畜红外热图上做耳根、腹股沟关键点的检测，减少了对硬件资的需求，降低了处理流程复杂度，提高了效率；
报警部件204，用于检测温度检测关键点的温度，当温度高于预设阈值时报警，需要说明的是，该预设阈值可以但不限于为40摄氏度，当将40摄氏度作为判断发烧的依据时，该检测关键点处的温度值超过40摄氏度时，判定为发烧的牲畜，或者在夏季炎热情况下，还可以判断其中一头牲畜的检测关键点处的温度是否比其他牲畜的检测关键点温度高一个值，例如1.8摄氏度，当判定符合上述要求的牲畜为发烧牲畜，缓解了因为环境温度因素的影响导致关键点绝对温度不准而误判的情况，而将温度值低于设定阈值的牲畜判定为死亡牲畜，发生这种情况时均需要进行报警，并且可以将预测得到的发烧牲畜推送到每个单元，饲养员结合推送结果进行及时的诊断和处理。
在上述牲畜温度检测装置的一个具体实施例中，还可以包括检测模型训练部件，用于使用数据标注工具对红外图像进行标注，获得初始训练集；利用数据增强方式获得多样化数据集；使用深度学习目标检测模型进行训练得到初始模型；对初始模型进行推理，利用温度矩阵对多样化数据集进行数据清洗，判断单张红外图像中是否存在待检测温度区间内的物体，若存在则使用深度学习目标检测模型进行推理，得到红外图像中的预测结果BBox；通过设定BBox的阈值过滤掉一部分目标，得到最终的牲畜目标检测结果。
具体的，需要提前建立好深度学习模型训练的数据集，为深度神经网络提供多样化的样本，进行深度神经网络模型训练，根据人工标注的文件，通过裁剪、调整大小、标准化等操作步骤，将图片内所有牲畜分别提取出来，并设定成固定大小；将标注的牲畜的耳根、腹股沟关键点坐标通过高斯核转化成64x64大小的真实heatmap；通过simple baseline神经网络进行特征提取，得到预测heatmap；利用真实heatmap和预测heatmap，计算L2 loss损失函数的值；通过误差反向传播的方式不断更新模型权重，直到模型收敛或满足迭代终止条件；模型应用效果评估及优化，通过实际应用，发现牲畜站立时会出现背部边缘被误判为腹股沟的现象，还可以对损失函数进行改进，在原损失函数中新增不可见关键点被检出而产生的损失值，并重新训练模型，改善模型检测效果，增强检测精度。基于深度学习的红外热图牲畜关键点检测模型训练完成后，提供1张新的牲畜红外热图作为模型的输入，经过目标检测及关键点检测模型处理之后，可以得到图片内各牲畜的耳根、腹股沟等关键点的坐标信息。
本发明提供的一种计算机设备的实施例如图3所示，图3为本发明提供的一种计算机设备的实施例的示意图，该设备包括：
存储器301，用于存储计算机程序；
处理器302，用于执行计算机程序时实现如上面任一种牲畜温度检测方法的步骤。
本发明提供的一种计算机可读存储介质的实施例中，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上面任一种牲畜温度检测方法的步骤。
本发明提供的上述牲畜温度检测装置、设备和存储介质，能够在保证精度的前提下实现全天候自动巡栏，为牲畜体温监测提供重要保障，而且能够减少计算量，降低硬件压力，节约成本，防止牲畜疾病的传播。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种牲畜温度检测方法，其特征在于，包括：
获取红外拍照指令，利用红外拍照装置采集牲畜的红外图像；
利用超分辨模型对所述红外图像处理，得到超分辨图像；
对所述超分辨图像中的目标牲畜进行检测，并检测出所述目标牲畜的温度检测关键点的坐标；
检测所述温度检测关键点的温度，当所述温度高于预设阈值时报警；
所述利用超分辨模型对所述红外图像处理，得到超分辨图像包括通过卷积神经网络提取牲畜的红外图像的特征，将该特征作为输入，通过SEM单元进行特征挖掘，包括将特征通过交叉尺度非局部注意力网络提取特征、将特征通过内联尺度非局部注意力网络提取特征、将特征通过局部信息提取网络提取特征，将这三步得到的特征进行交互映射融合，将融合的信息通过Stride卷积层和Deconv层网络进行处理，重复若干个SEM单元，组成循环神经网络；将以上若干个SEM单元挖掘的信息通过网络Concat进行联合，再通过卷积神经网络得到最后的超分辨图像；
在所述对所述超分辨图像中的目标牲畜进行检测之前，还包括对检测模型进行训练，包括：
使用数据标注工具对所述红外图像进行标注，获得初始训练集；
利用数据增强方式获得多样化数据集；
使用深度学习目标检测模型进行训练得到初始模型；
对所述初始模型进行推理，利用温度矩阵对所述多样化数据集进行数据清洗，判断单张所述红外图像中是否存在待检测温度区间内的物体，若存在则使用所述深度学习目标检测模型进行推理，得到红外图像中的预测结果BBox；
通过设定BBox的阈值过滤掉一部分目标，得到最终的牲畜目标检测结果；
所述通过设定BBox的阈值过滤掉一部分目标，得到最终的牲畜目标检测结果为：得到图片内各牲畜的耳根、腹股沟的坐标信息。
2.根据权利要求1所述的牲畜温度检测方法，其特征在于，所述利用红外拍照装置采集牲畜的红外图像为：
利用安装在养殖场过道上方轨道的车上的红外热像仪采集牲畜的红外图像。
3.根据权利要求1所述的牲畜温度检测方法，其特征在于，所述数据增强方式包括mixup、翻转、平移、随机裁剪、添加随机噪音、GAN方式。
4.根据权利要求1所述的牲畜温度检测方法，其特征在于，通过yolov4模型得到红外图像中的预测结果BBox。
5.一种牲畜温度检测装置，其特征在于，包括：
红外拍照部件，用于获取红外拍照指令，采集牲畜的红外图像；
图像处理部件，用于利用超分辨模型对所述红外图像处理，得到超分辨图像；
温度检测关键点坐标确定部件，用于对所述超分辨图像中的目标牲畜进行检测，并检测出所述目标牲畜的温度检测关键点的坐标；
报警部件，用于检测所述温度检测关键点的温度，当所述温度高于预设阈值时报警；
所述图像处理部件具体用于通过卷积神经网络提取牲畜的红外图像的特征，将该特征作为输入，通过SEM单元进行特征挖掘，包括将特征通过交叉尺度非局部注意力网络提取特征、将特征通过内联尺度非局部注意力网络提取特征、将特征通过局部信息提取网络提取特征，将这三步得到的特征进行交互映射融合，将融合的信息通过Stride卷积层和Deconv层网络进行处理，重复若干个SEM单元，组成循环神经网络；将以上若干个SEM单元挖掘的信息通过网络Concat进行联合，再通过卷积神经网络得到最后的超分辨图像；
还包括检测模型训练部件，用于使用数据标注工具对所述红外图像进行标注，获得初始训练集；利用数据增强方式获得多样化数据集；使用深度学习目标检测模型进行训练得到初始模型；对所述初始模型进行推理，利用温度矩阵对所述多样化数据集进行数据清洗，判断单张所述红外图像中是否存在待检测温度区间内的物体，若存在则使用所述深度学习目标检测模型进行推理，得到红外图像中的预测结果BBox；通过设定BBox的阈值过滤掉一部分目标，得到最终的牲畜目标检测结果；
所述检测模型训练部件用于得到图片内各牲畜的耳根、腹股沟的坐标信息。
6.根据权利要求5所述的牲畜温度检测装置，其特征在于，所述红外拍照部件具体用于利用安装在养殖场过道上方轨道的车上的红外热像仪采集牲畜的红外图像。
7.一种计算机设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述牲畜温度检测方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述牲畜温度检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110033020.9A CN112734731B (zh) | 2021-01-11 | 2021-01-11 | 一种牲畜温度检测方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110033020.9A CN112734731B (zh) | 2021-01-11 | 2021-01-11 | 一种牲畜温度检测方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112734731A CN112734731A (zh) | 2021-04-30 |
| CN112734731B true CN112734731B (zh) | 2023-07-28 |
Family
ID=75590249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110033020.9A Active CN112734731B (zh) | 2021-01-11 | 2021-01-11 | 一种牲畜温度检测方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112734731B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487486A (zh) * | 2021-07-23 | 2021-10-08 | 河南牧原智能科技有限公司 | 图像分辨率增强处理方法、装置、设备及可读存储介质 |
| CN113610871A (zh) * | 2021-08-11 | 2021-11-05 | 河南牧原智能科技有限公司 | 一种基于红外成像的个体分割方法及*** |
| CN113678751B (zh) * | 2021-08-19 | 2022-08-02 | 安徽大学 | 一种肉牛体型参数获取与运动健康识别的智能过道装置 |
| CN114200967A (zh) * | 2021-11-29 | 2022-03-18 | 河南牧原智能科技有限公司 | 用于确定预置角度的方法、检测牲畜体温的方法及产品 |
| CN114264378A (zh) * | 2021-12-20 | 2022-04-01 | 红原县雪月天佑农牧科技有限公司 | 一种牲畜智能管理***及方法 |
| CN114885853B (zh) * | 2022-05-10 | 2023-11-24 | 河南讯飞智元信息科技有限公司 | 牲畜体温监测方法、装置、电子设备和存储介质 |
| CN114743224B (zh) * | 2022-06-13 | 2022-09-09 | 金乡县康华乳业有限公司 | 一种基于计算机视觉的畜牧业家畜体温监控方法与*** |
| CN115342937B (zh) * | 2022-10-20 | 2023-05-05 | 正大农业科学研究有限公司 | 温度异常检测方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180051785A (ko) * | 2016-11-09 | 2018-05-17 | 건국대학교 산학협력단 | 대가축 모니터링 시스템 |
| CN110200598A (zh) * | 2019-06-12 | 2019-09-06 | 天津大学 | 一种大型养殖场体征异常禽类检测***及检测方法 |
| WO2019200735A1 (zh) * | 2018-04-17 | 2019-10-24 | 平安科技（深圳）有限公司 | 牲畜特征向量的提取方法、装置、计算机设备和存储介质 |
| CN112085089A (zh) * | 2020-09-03 | 2020-12-15 | 国网浙江省电力有限公司电力科学研究院 | 基于深度学习算法的变电站设备智能测温方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
-
2021
- 2021-01-11 CN CN202110033020.9A patent/CN112734731B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180051785A (ko) * | 2016-11-09 | 2018-05-17 | 건국대학교 산학협력단 | 대가축 모니터링 시스템 |
| WO2019200735A1 (zh) * | 2018-04-17 | 2019-10-24 | 平安科技（深圳）有限公司 | 牲畜特征向量的提取方法、装置、计算机设备和存储介质 |
| CN110200598A (zh) * | 2019-06-12 | 2019-09-06 | 天津大学 | 一种大型养殖场体征异常禽类检测***及检测方法 |
| CN112085089A (zh) * | 2020-09-03 | 2020-12-15 | 国网浙江省电力有限公司电力科学研究院 | 基于深度学习算法的变电站设备智能测温方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112734731A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112734731B (zh) | 一种牲畜温度检测方法、装置、设备和存储介质 | |
| CN107895367B (zh) | 一种骨龄识别方法、***及电子设备 | |
| WO2021047232A1 (zh) | 交互行为识别方法、装置、计算机设备和存储介质 | |
| CN108492319B (zh) | 基于深度全卷积神经网络的运动目标检测方法 | |
| Guo et al. | Multi-object extraction from topview group-housed pig images based on adaptive partitioning and multilevel thresholding segmentation | |
| Yu et al. | Railway obstacle detection algorithm using neural network | |
| CN110084238B (zh) | 基于LadderNet网络的指静脉图像分割方法、装置和存储介质 | |
| CN108318773B (zh) | 一种输电导线断股检测方法及*** | |
| CN111723773B (zh) | 遗留物检测方法、装置、电子设备及可读存储介质 | |
| Noe et al. | Automatic detection and tracking of mounting behavior in cattle using a deep learning-based instance segmentation model | |
| CN105469090A (zh) | 红外图像中基于频域残差的小目标检测方法及装置 | |
| CN113139489A (zh) | 基于背景提取和多尺度融合网络的人群计数方法及*** | |
| Li et al. | Temporal aggregation network using micromotion features for early lameness recognition in dairy cows | |
| Yang et al. | A defencing algorithm based on deep learning improves the detection accuracy of caged chickens | |
| CN111178405A (zh) | 一种融合多种神经网络的相似物体识别方法 | |
| Skladchykov et al. | Application of YOLOX deep learning model for automated object detection on thermograms | |
| CN112614094B (zh) | 基于序列状态编码的绝缘子串异常定位识别方法 | |
| CN116778482B (zh) | 胚胎图像卵裂球目标检测方法、计算机设备及存储介质 | |
| CN108764311A (zh) | 一种遮挡目标检测方法、电子设备、存储介质及*** | |
| CN114022831A (zh) | 一种基于双目视觉的牲畜体况监测方法及*** | |
| Tian et al. | Real-time vehicle detection under complex road conditions | |
| CN113111847A (zh) | 一种工序循环的自动监测方法、装置和*** | |
| CN112307916A (zh) | 一种基于可见光摄像机的报警监控方法 | |
| CN114255203B (zh) | 一种鱼苗数量估计方法及*** | |
| Wang et al. | Deep learning method for rapidly estimating pig body size |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |