CN115048984A - 一种基于深度学习的母猪发情声识别方法 - Google Patents

一种基于深度学习的母猪发情声识别方法 Download PDF

Info

Publication number
CN115048984A
CN115048984A CN202210536083.0A CN202210536083A CN115048984A CN 115048984 A CN115048984 A CN 115048984A CN 202210536083 A CN202210536083 A CN 202210536083A CN 115048984 A CN115048984 A CN 115048984A
Authority
CN
China
Prior art keywords
oestrus
sow
deep learning
sound
sound signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210536083.0A
Other languages
English (en)
Inventor
刘同海
王源
李守晓
张航
孟玉环
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Agricultural University
Original Assignee
Tianjin Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Agricultural University filed Critical Tianjin Agricultural University
Priority to CN202210536083.0A priority Critical patent/CN115048984A/zh
Publication of CN115048984A publication Critical patent/CN115048984A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K67/00Rearing or breeding animals, not otherwise provided for; New or modified breeds of animals
    • A01K67/02Breeding vertebrates
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Zoology (AREA)
  • Animal Husbandry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种基于深度学***。

Description

一种基于深度学习的母猪发情声识别方法
技术领域
本发明涉及声音智能监测的技术领域,具体涉及一种基于深度学习的母猪发情声识别方法。
背景技术
生猪养殖是我国农业领域中的主要产业之一,随着科学技术的快速发展和相关生猪产业政策的调整,传统养殖业逐渐发展为福利化养殖,而生猪养殖业也日趋智能化、规模化,其中及时监测母猪的发情是保证生猪产量、提高产断仔猪数(PSY)的重要措施之一,也是生猪管理中较为关键的一环。在母猪发情时进行人工授精可以提高母猪的受孕率,提升母猪繁殖性能。
目前监测母猪发情主要分为两大类,一类是我国大部分养猪场监测母猪发情主要通过传统人工观察方式来判断,这种方法不仅人力成本过高,而且耗时时间长、难以做到及时精准掌握母猪发情,已经不适用于规模化养殖方式。另一类是基于数字化监测技术来对母猪发情进行监测,王凯等采用在母猪颈部的姿态传感器并通过爬跨行为和活动量来识别发情行为;Sykes等利用数字红外热像仪来区分猪发情周期的发情期和绝情期;而Ostersen等通过RFID记录母猪访问公猪窗口的访问持续时间等方法,来实现对母猪的自动发情检测;Freson等基于红外图像将母猪的行为变化转化为温度变化并以电压的方式体现,以母猪每日平均活动量为指标来判断母猪是否发情。
动物在饥饿、寻伴、咳嗽、打斗等不同状态下,都会产生不同的声音信号,其不仅是动物之间交流的一种重要方式,也能直接反映动物的内部健康状况、情绪和行为等信息。随着数字信号处理、深度学习等相关技术的快速发展,使得利用声音识别技术对母猪发情进行监测成为可能。
传统的声音分类方法主要从声音信号中获取部分特征进行分类,如功率谱密度(PSD)、短时能量(Energy)、梅尔倒谱系数(MFCC)等,这种信息提取方式速度较慢,准确率不高。Mel语谱图属于二维频谱分析图,横坐标显示时间,纵坐标显示频率,横纵坐标点值显示声音数据能量大小,能表达出三维信息,还可以根据时间、频率、声音能量大小三者之间的变化关系来反映出不同的发声状态,结合深度学习在图像处理等领域的快速发展,利用声谱图来进行声音分类已经成为有效的识别手段,可以较好的提高分类准确率和效率。
发明内容
本发明为了克服目前发情监测中存在的不足,实现对母猪发情状态的准确监测,提供了一种基于深度学习的母猪发情声识别方法。
本发明所使用的技术方案为:
一种基于深度学习的母猪发情声识别方法,包括以下步骤:
步骤1,通过数据采集设备采集发情母猪的声音信号,包括发情声信号和非发情声信号;
步骤2,对步骤1采集到的声音信号进行预处理,把降噪后的声音信号根据发声特征进行切割取样标注,把数据标签分为母猪发情声和非发情声两类;
步骤3,将步骤2处理后的声音信号数据转换成对数梅尔谱图数据集;
步骤4,搭建深度学习模型,将对数梅尔谱图作为模型输入,训练学习母猪发情声特征并测试,最终得到一个可以分类母猪发情声和非发情声的深度学习模型;
步骤5,利用步骤4训练好的深度学习模型对母猪声音信号进行判断并输出分类结果。
进一步地,所述步骤1中,非发情声信号包括母猪发出的尖叫、吃食、甩耳朵等声音信号。
进一步地,所述步骤2包括以下步骤:
S1:将采集到的声音信号统一转换成WAV格式,并选取采样率为44100Hz进行转换;
S2:对转换后的声音信号利用谱减法进行降噪处理;
S3:把降噪后的整段声音信号根据发声特征进行手工切割取样标注,通过人工听觉的方法把数据标签分为母猪发情声和非发情声两类,取样时间间隔为1-2s。
进一步地,所述步骤3中将声音信号数据转换成对数梅尔谱图数据集包括以下步骤:
S1:首先对声音信号进行预加重处理,选取传递函数为H(z)=1-αz-1的一阶FIR高通数字滤波器来实现,其中预加重系数α取值范围为0.9<α<1.0;
S2:选取汉宁窗对滤波后的信号进行时域加窗,并对每帧信号进行傅里叶变换,选取其对数运算结果,按照时间序列生成对数梅尔语谱图,并标注声音标签,形成对数梅尔谱图数据集。
进一步地,所述步骤3中,通过不同谱图参数试验确定生成对数梅尔频谱图的最佳参数,在此基础上构建对数梅尔频谱图数据集;所述通过不同谱图参数试验确定生成对数梅尔频谱图的最佳参数是利用不同的窗长和窗移参数进行分组实验,以256点、512点、1024点FFT和1\2、1\4窗移进行排列组合搭配,每组实验都进行5次独立实验,最终选取效果最好的256点FFT、1/2窗移参数作为谱图转换参数,并以此构建对数梅尔谱图数据集。
进一步地,将步骤3中构建的对数梅尔谱图数据集按照8:2来分配随机分配训练集和测试集,训练集和测试集数据要包括发情声和非发情声信号类型。
进一步地,所述步骤4中深度学***均池化把特征变为一维向量,最后经过2个1×1的卷积核进行标准卷积后得到预测的两分类结果,与输入的标签进行对比,相同的即可表示为输入定义的发声类别。其中ECA模块替换了原有的SE模块,是对SE模块的改进模型,使用了1D卷积替代了SE模型中的全连接层。
本发明的有益效果为:本发明通过采集猪舍内母猪发情声的标准信号,使用能展示三维特征的对数梅尔谱图提取发情声信号特征,保证发情声信息的全面性;建立改进的MoblienetV3网络识别模型,通过多层卷积和引入注意力机制模块可以自动获取发情声信号的深层特征,与常规深度学习算法相比,可以更有效的对母猪发情声进行无损监测,提高了识别分类的准确率。
附图说明
图1是发情声分类方法整体架构图。
图2是猪舍内采集声音信号降噪前的片段时域图。
图3是猪舍内采集声音信号降噪后的片段时域图。
图4是不同声音信号对数梅尔谱图。
图5是改进的MoblienetV3网络模型结构。
对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,可以根据以上附图获得其他的相关附图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合具体实施例进一步说明本发明的技术方案。
一种基于深度学习的母猪发情声识别方法,包括以下步骤:
步骤1,通过数据采集设备采集猪舍内发情母猪的声音信号,这些声音信号包括发情声信号和尖叫、哼哼、甩耳朵等非发情声信号;
母猪声音采集地点在中国河北省衡水市安平县德润养殖猪场,实验采集对象为位于群体猪舍和限位栏中4-5胎加系长白&大白发情母猪,数据采集利用索尼ICD-UX560F数码录音笔手采和WIFI智能网络拾音器24小时不间断悬挂式采集。采集数据的采样率为44.1KHz的双通道音频,并以wav格式储存在设备中,试验设备采用吊装的方式安装于猪栏的中间位置。
步骤2,对采集到的声音信号进行预处理;
(1)将采集到的母猪声音信号统一转换成WAV格式,并选取采样率为44100Hz进行转换;
(2)对转换后的声音信号利用谱减法进行降噪处理;设第i帧的纯净声音为x(n),带噪声信号为y(n),噪声信号为d(n),Yi(w)为yi(n)傅里叶变换(FFT)后的值,Di(w)为di(n)傅里叶变换(FFT)后的值,n为声音采样点序号。
经过谱减后的纯净语音频谱估计为
Figure BDA0003648215700000051
式中Xi(w)为xi(n)傅里叶变换(FFT)后的值,|Yi(w)|为带噪信号的幅度谱,
Figure BDA0003648215700000052
为噪声信号的平均幅度谱估计,
Figure BDA0003648215700000053
为yi(n)的相位谱,其中过减因子设为3,增益补偿因子设为0.002。然后通过离散余弦变换(DCT)后,将每帧纯净声音信号重叠相加,可得到去噪后的声音信号。图2和图3显示了原始母猪发情声和去噪后的声音对比。
(3)把降噪后的整段声音信号根据发声特征进行切割取样标注,通过人工听觉的方法把数据标签分为母猪发情声和非发情声两类,取样时间间隔为1-2s。实验采集的声音数据,在一段音频中可能存在多种状态下的声音、无效声音段,并且音频长短不一,因此需要进一步的进行手工打标签及批量切分操作,以构建试验所需的数据集。手工标注使用的软件为Adobe Audition音频处理软件,通过反复回放,依据判别经验,对能够明确判断猪声类别的声音段进行截取和分类标记。数据分割后获得3500个母猪发情声样本和2500个非发情声样本,其中非发情声样本包括200个甩耳朵声样本,500个吃食声样本,1000个尖叫声样本,800个哼哼声样本。
步骤3,将声音信号转换成声谱图,包括以下3个步骤:
(1)首先对声音信号进行预加重处理,选取一阶FIR高通数字滤波器来实现,传递函数为:
H(z)=1-αz-1(2)
其中预加重系数α取值范围为0.9<α<1.0。
(2)选取汉宁窗对滤波后的信号进行时域加窗,并对每帧信号进行傅里叶变换,选取其对数运算结果,按照时间序列生成对数Mel谱图,并标注声音标签,形成母猪发情的对数梅尔谱图数据集,所述对数梅尔谱图是频谱分析图,采用二维平面表达三维信息,声谱图的横坐标是时间,纵坐标是频率,坐标点值为语音数据能量值。
(3)进一步的说,不同类型的谱图对识别精度等模型性能具有一定的影响,为了选取最优的谱图参数,其中谱图参数包括FFT(Fast Fourier Transform)点数、窗移尺寸;设置不同参数进行5次独立实验,将数据集以8∶2随机分配为训练集和测试集,并采用224×224谱图大小输入到改进的MobileNetV3网络模型中,并且选取5次试验结果的平均值作为对比,具体参数和识别效果如表1所示,试验结果表明256点FFT点数、1/2窗移作为对数梅尔谱图模型参数效果最佳,并以此构建对数梅尔谱图数据集。
表1不同FFT点数和窗移下的识别率统计(百分比%)
Figure BDA0003648215700000071
步骤4:搭建改进的轻量化MobileNetV3网络训练学***均池化把特征变为一维向量,最后经过2个1×1的卷积核进行标准卷积后得到预测的两分类结果,与输入的标签进行对比,相同的即可表示为输入定义的发声类别。其中ECA模块替换了原有的SE模块,是对SE模块的改进模型,使用了1D卷积替代了SE模型中的全连接层,其避免了数据降维,并有效的捕获了在跨通道交互中存在的数据信息,提高了识别模型的整体精度。
将构建的母猪对数梅尔谱图数据集中的训练集作为改进的MobileNetV3深度学习网络结构的输入,采用Pytorch深度学习框架和Python语言来对改进后的模型进行训练和测试,其中batch大小为64,迭代次数设为50,每次迭代包含训练和测试两个过程,在每次迭代训练过程中,采用Adam算法和随机梯度下降算法来优化训练模型;学习率设为0.001,每次迭代学习率保持不变,同时记录不同轮数下每个分类的准确率和损失率,以便检测模型性能。
步骤5,利用步骤4训练好的深度学习模型对母猪发情声信号进行判断并输出分类结果。
为了验证改进模型的有效性,利用构建好的对数梅尔谱图数据集分别对原始MobilenetV3、改进后的MobilenetV3、Resnet34、ShuffleNetV2网络模型进行对比实验,在不同模型下的发情声、非发情声以及整体识别率如表2所示,改进的MobilenetV3模型较其它模型得到了较好的预测结果,发情声最高准确率可达96.4%。试验结果表明,本发明基于深度学习的母猪发情声分类方法可以有效实现对母猪发情的监测和分类。
表2不同网络模型识别性能对比
Figure BDA0003648215700000081
以上所述是本发明的较优的实施方式,并不应视为对本发明作任何形式的限制,本发明中的较优实施例及相关技术已如上阐述,但并不限定本发明,对于熟悉本技术领域的相关技术人员,在不脱离本发明技术原理的范围内,可以利用以上阐述的技术原理做些许改进或替换,包括依据本发明方案的核心内容做修饰和等同变化,这些均在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习的母猪发情声识别方法,其特征在于,包括以下步骤:
步骤1,通过数据采集设备采集发情母猪的声音信号,包括发情声信号和非发情声信号;
步骤2,对步骤1采集到的声音信号进行预处理,把降噪后的声音信号根据发声特征进行切割取样标注,把数据标签分为母猪发情声和非发情声两类;
步骤3,将步骤2处理后的声音信号数据转换成对数梅尔谱图数据集;
步骤4,搭建深度学习模型,将对数梅尔谱图作为模型输入,训练学习母猪发情声特征并测试,最终得到一个可以分类母猪发情声和非发情声的深度学习模型;
步骤5,利用步骤4训练好的深度学习模型对母猪声音信号进行判断并输出分类结果。
2.根据权利要求1所述的基于深度学习的母猪发情声识别方法,其特征在于:所述步骤1中,非发情声信号包括母猪发出的尖叫、吃食、甩耳朵等声音信号。
3.根据权利要求1所述的基于深度学习的母猪发情声识别方法,其特征在于:所述步骤2包括以下步骤:
S1:将采集到的声音信号统一转换成WAV格式,并选取采样率为44100Hz进行转换;
S2:对转换后的声音信号利用谱减法进行降噪处理;
S3:把降噪后的整段声音信号根据发声特征进行手工切割取样标注,通过人工听觉的方法把数据标签分为母猪发情声和非发情声两类,取样时间间隔为1-2s。
4.根据权利要求1所述的基于深度学习的母猪发情声识别方法,其特征在于:所述步骤3中将声音信号数据转换成对数梅尔谱图数据集包括以下步骤:
S1:首先对声音信号进行预加重处理,选取传递函数为H(z)=1-αz-1的一阶FIR高通数字滤波器来实现,其中预加重系数α取值范围为0.9<α<1.0;
S2:选取汉宁窗对滤波后的信号进行时域加窗,并对每帧信号进行傅里叶变换,选取其对数运算结果,按照时间序列生成对数梅尔谱图,并标注声音标签,形成对数梅尔频谱图数据集。
5.根据权利要求4所述的基于深度学习的母猪发情声识别方法,其特征在于:所述步骤3中,通过不同谱图参数试验确定生成对数梅尔谱图的最佳参数,在此基础上构建对数梅尔谱图数据集;所述通过不同谱图参数试验确定生成对数梅尔谱图的最佳参数是利用不同的窗长和窗移参数进行分组实验,以256点、512点、1024点FFT和1\2、1\4窗移进行排列组合搭配,每组实验都进行5次独立实验,最终选取效果最好的256点FFT、1/2窗移参数作为谱图转换参数,并以此构建对数梅尔谱图数据集。
6.根据权利要求1所述的基于深度学习的母猪发情声识别方法,其特征在于:将步骤3中构建的对数梅尔谱图数据集按照8:2来分配随机分配训练集和测试集,训练集和测试集数据要包括发情声和非发情声信号类型。
7.根据权利要求1所述的基于深度学***均池化把特征变为一维向量,最后经过2个1×1的卷积核进行标准卷积后得到预测的两分类结果,与输入的标签进行对比,相同的即可表示为输入定义的发声类别。
CN202210536083.0A 2022-05-17 2022-05-17 一种基于深度学习的母猪发情声识别方法 Pending CN115048984A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210536083.0A CN115048984A (zh) 2022-05-17 2022-05-17 一种基于深度学习的母猪发情声识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210536083.0A CN115048984A (zh) 2022-05-17 2022-05-17 一种基于深度学习的母猪发情声识别方法

Publications (1)

Publication Number Publication Date
CN115048984A true CN115048984A (zh) 2022-09-13

Family

ID=83159539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210536083.0A Pending CN115048984A (zh) 2022-05-17 2022-05-17 一种基于深度学习的母猪发情声识别方法

Country Status (1)

Country Link
CN (1) CN115048984A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115413605A (zh) * 2022-09-19 2022-12-02 仲恺农业工程学院 一种综合体重、声音和挣扎力信息判别肉鸽性别的***
CN116181287A (zh) * 2023-02-09 2023-05-30 成都理工大学 一种页岩气井生产异常工况预警***及方法
CN116439158A (zh) * 2023-06-20 2023-07-18 厦门农芯数字科技有限公司 基于红外识别的母猪查情方法、***、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115413605A (zh) * 2022-09-19 2022-12-02 仲恺农业工程学院 一种综合体重、声音和挣扎力信息判别肉鸽性别的***
CN116181287A (zh) * 2023-02-09 2023-05-30 成都理工大学 一种页岩气井生产异常工况预警***及方法
CN116439158A (zh) * 2023-06-20 2023-07-18 厦门农芯数字科技有限公司 基于红外识别的母猪查情方法、***、设备及存储介质
CN116439158B (zh) * 2023-06-20 2023-09-12 厦门农芯数字科技有限公司 基于红外识别的母猪查情方法、***、设备及存储介质

Similar Documents

Publication Publication Date Title
Priyadarshani et al. Automated birdsong recognition in complex acoustic environments: a review
CN115048984A (zh) 一种基于深度学习的母猪发情声识别方法
Cai et al. Sensor network for the monitoring of ecosystem: Bird species recognition
Clemins et al. Automatic classification and speaker identification of African elephant (Loxodonta africana) vocalizations
Pace et al. Subunit definition and analysis for humpback whale call classification
WO2005024782B1 (en) Method and apparatus for automatically identifying animal species from their vocalizations
CN109817227B (zh) 一种养殖场的异常声音监测方法和***
CN109243470A (zh) 基于音频技术的肉鸡咳嗽监测方法
CN112820275A (zh) 一种基于声音信号分析哺乳仔猪异常的自动监测方法
CN112164408A (zh) 基于深度学习的猪咳嗽声监测与预警***
Kvsn et al. Bioacoustics data analysis–A taxonomy, survey and open challenges
Ibrahim et al. Transfer learning for efficient classification of grouper sound
Wang et al. A lightweight CNN-based model for early warning in sow oestrus sound monitoring
CN112331231A (zh) 基于音频技术的肉鸡采食量检测***
CN112331220A (zh) 一种基于深度学习的鸟类实时识别方法
CN115830436A (zh) 一种基于深度学习的海洋生物智能检测方法
Duan et al. Short-term feeding behaviour sound classification method for sheep using LSTM networks
Ramli et al. Peak finding algorithm to improve syllable segmentation for noisy bioacoustic sound signal
Jung et al. Classification of vocalization recordings of laying hens and cattle using convolutional neural network models
CN110136746B (zh) 一种基于融合特征的加性噪声环境下手机来源识别方法
CN115578678A (zh) 一种鱼类摄食强度分类方法及***
Kharamat et al. Durian ripeness classification from the knocking sounds using convolutional neural network
Xiao et al. AMResNet: An automatic recognition model of bird sounds in real environment
CN115810365A (zh) 一种基于猪只声音的猪只健康预警方法及***
Zhang et al. A novel insect sound recognition algorithm based on MFCC and CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination