CN113707159A - 一种基于Mel语图与深度学习的电网涉鸟故障鸟种识别方法 - Google Patents
一种基于Mel语图与深度学习的电网涉鸟故障鸟种识别方法 Download PDFInfo
- Publication number
- CN113707159A CN113707159A CN202110878327.9A CN202110878327A CN113707159A CN 113707159 A CN113707159 A CN 113707159A CN 202110878327 A CN202110878327 A CN 202110878327A CN 113707159 A CN113707159 A CN 113707159A
- Authority
- CN
- China
- Prior art keywords
- bird
- mel
- network
- training
- singing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims abstract description 4
- 241000894007 species Species 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 12
- 230000003595 spectral effect Effects 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000009432 framing Methods 0.000 claims description 8
- 230000037433 frameshift Effects 0.000 claims description 7
- 240000003705 Senecio vulgaris Species 0.000 claims description 5
- 238000011410 subtraction method Methods 0.000 claims description 4
- 238000013145 classification model Methods 0.000 claims description 3
- 238000004040 coloring Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 9
- 230000002265 prevention Effects 0.000 description 8
- 241000208422 Rhododendron Species 0.000 description 6
- 241000272168 Laridae Species 0.000 description 5
- 241000271566 Aves Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 241001635598 Enicostema Species 0.000 description 2
- 241000287828 Gallus gallus Species 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 241000272525 Anas platyrhynchos Species 0.000 description 1
- 241000272816 Anser cygnoides Species 0.000 description 1
- 241000272814 Anser sp. Species 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 241001137251 Corvidae Species 0.000 description 1
- 241000404724 Creediidae Species 0.000 description 1
- 241000282816 Giraffa camelopardalis Species 0.000 description 1
- 241000288140 Gruiformes Species 0.000 description 1
- 241001282110 Pagrus major Species 0.000 description 1
- 241000286209 Phasianidae Species 0.000 description 1
- 241001504477 Pycnonotidae Species 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 241000201542 Streptopelia chinensis Species 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000005770 birds nest Nutrition 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 235000005765 wild carrot Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/20—Pattern transformations or operations aimed at increasing system robustness, e.g. against channel noise or different working conditions
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/45—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of analysis window
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
本发明公开了一种基于Mel语图与深度学习的电网涉鸟故障鸟种识别方法。首先建立电网涉鸟故障相关鸟种的鸣声样本数据库,对鸟鸣信号进行预处理操作后,计算每帧信号在各个Mel滤波器中的能量,得到包含信号能量大小信息的M×N矩阵,将能量大小与颜色深浅程度一一映射,得到鸟鸣信号的Mel语图。通过Mel语图训练卷积神经网络,执行卷积‑池化过程不断地抓取学习鸟鸣信号的Mel语图特征,通过多次迭代训练调整网络内部参数,当网络的预测输出值与实际值之间的损失达到最小时结束训练,最终实现对测试鸟种的预测识别。该方法能够有效区分不同鸟种鸣声之间的特征并实现鸟种识别,可为开展电网涉鸟故障差异化防治提供参考。
Description
技术领域
本发明涉及输电线路领域,具体涉及一种基于Mel语图与深度学习的电网涉鸟故障鸟种识别方法。
背景技术
鸟类活动是引起架空输电线路故障的重要原因之一,虽然各类防鸟装置已经得到广泛应用,但仍存在较大的盲目性,未能有效抑制涉鸟故障的上升趋势,因防鸟装置失效引起的线路跳闸故障也时有发生。此外,由于涉鸟故障具有瞬时性,故障发生后,运维人员往往难以判断引起故障的鸟种,缺乏智能化的鸟种识别及故障原因判定方法,难以针对性地采取涉鸟故障防治措施。因此,有必要开展架空输电线路涉鸟故障相关鸟种智能识别研究,为线路运维人员正确识鸟提供依据。
目前较为传统的鸟鸣识别方法是提取声音信号的线性预测倒谱系数(LPCC)、Mel倒谱系数(MFCC)、功率谱密度等特征,结合随机森林(RF)、支持向量机(SVM)、隐马尔科夫模型(HMM)、高斯混合模型(GMM)等分类算法开展分类预测,这些传统的方法特征提取困难,识别准确率不高。
发明内容
针对现有技术存在的问题,本发明的目的在于提供一种基于Mel语图与深度学习的电网涉鸟故障鸟种识别方法,根据鸟鸣信号识别出鸟种所属类别,为输电线路开展针对性与差异化防鸟提供依据。
为达到此发明目的,本发明采用以下技术方案,包括如下步骤:
S1:依据统计的电网涉鸟故障主要鸟种并结合电网的实际情况,建立相关鸟种鸣声数据库;
S2:针对鸣声数据库中的样本,进行去噪、分帧、加窗预处理,采用多窗谱估计的改进谱减法去除鸟鸣信号中的杂音,通过设置帧长和帧移的大小,对鸟鸣信号进行分帧,再乘以一个窗函数以增加帧两端的连续性;
S3:通过计算每一帧鸟鸣信号在各个Mel滤波器中的能量,计算得到鸣声样本的Mel能量,得到包含信号能量大小信息的M×N阶矩阵,将能量大小与颜色深浅程度一一映射,得到鸟鸣信号的Mel语图,并将其划分为训练集、验证集和测试集;
S4:搭建卷积神经网络分类模型,以训练集的Mel语图作为输入进行多次迭代训练,训练过程中对验证集进行测试以调整模型的参数,当网络的预测输出值与实际值之间的损失达到最小时结束训练;
S5:利用训练好的网络对测试集鸟种进行预测识别,输出对应的鸟种类别。
进一步地,S3中所述Mel语图的计算过程如下:对于一段M帧的鸟鸣信号,设置N个Mel滤波器,经Mel能量计算得到一个M×N的矩阵,按照能量大小进行着色得到Mel语图,Mel语图中横纵坐标分别为帧数和滤波器个数,仅需计算M×N个数据量,简化输出的同时减少计算时间。
进一步地,S4中所述卷积神经网络包含多个用于抓取Mel语图特征的卷积-池化过程,调整网络参数和网络迭代次数对训练集进行训练,每当模型训练完一定轮次,模型即对验证集开展一次预测并根据验证集预测结果对参数作出相应调整,往预测准确率高的方向修正,直至网络的损失函数值降至最低,网络训练结束。
本发明的有益效果是:
本发明提供的基于Mel语图与深度学习的电网涉鸟故障鸟种识别方法,克服了传统语音特征提取技术特征冗杂、数据量大、区分度不够的局限性,进一步促进了精准识鸟,从而为差异化防鸟提供指导,提高输电线路和变电站涉鸟故障防治的精准性和有效性。
附图说明
附图1是本发明中的一种基于Mel语图与深度学习的电网涉鸟故障鸟种识别方法实施流程图;
附图2是本发明实施例中的鸟鸣信号去噪效果图;
附图3是本发明实施例中的部分鸟鸣信号波形及其Mel语图;
附图4是本发明实施例中的卷积神经网络结构示意图。
具体实施方式
下面结合实施例对本发明做进一步的描述,有必要在此指出的是以下实施例只是用于对本发明进行进一步的说明,不能理解为对本发明保护范围的限制,该领域的技术熟练人员根据上述发明内容所做出的一些非本质的改进和调整,仍属于本发明的保护范围。
随着深度学习的快速发展,新兴的语音识别方法倾向于将声音信号转换为线性调频谱图、傅里叶频谱图等语谱图作为深度学习模型的特征输入。本发明采用一种将鸟鸣声音信号转化为Mel语图再结合卷积神经网络进行分类识别的方法对输电线路涉鸟故障相关鸟种进行预测分类。
以下对输电线路涉鸟故障相关典型鸟种的鸣声信号处理、Mel语图计算和卷积神经网络训练过程进行详细阐述,如图1所示,包括以下步骤:
S1:依据统计的电网涉鸟故障主要鸟种并结合电网的实际情况,建立相关鸟种鸣声数据库。
本实施例中,依据某省电网运维人员统计的输电线路涉鸟故障主要鸟种并结合电网的实际情况,挑选了引起鸟巢类、鸟粪类、鸟体短接类和鸟啄类四种故障类型的40种典型鸟类作为研究对象,包括乌鸫、凤头麦鸡、喜鹊、四声杜鹃、夜鹭、大嘴乌鸦、大天鹅、大杜鹃、家燕、小嘴乌鸦、崖沙燕、戴胜、斑鱼狗、普通燕鸥、松鸦、池鹭、灰头绿啄木鸟、灰椋鸟、灰雁、灰鹤、环颈斑鸠、白头鹎、白鹭、秃鼻乌鸦、红嘴鸥、红尾伯劳、红角鸮、红隼、纵纹腹小鸮、翘鼻麻鸭、翠鸟、苍鹭、苍鹰、赤麻鸭、银鸥、雕鸮、骨顶鸡、鹌鹑、鹗、鹰鸮,从公开数据集中获取其鸣声信号建立样本库。
S2:针对鸣声数据库中的样本,进行去噪、分帧、加窗等预处理,采用多窗谱估计的改进谱减法去除鸟鸣信号中的杂音,通过设置帧长和帧移的大小,对鸟鸣信号进行分帧,再乘以一个窗函数以增加帧两端的连续性。
本实施例中,对所有鸟鸣音频信号进行格式统一、去噪、分帧、加窗等预处理操作,利用GoldWave和Sox软件将所有音频的采样频率设为16000Hz,声道设为单声道,并将音频长度统一裁剪为1秒的长度,以.wav格式保存;对音频进行分帧,分别将帧长和帧移设置为0.025秒和0.01秒,将每一个音频样本分割成98帧;再选用汉明窗进行加窗操作,以增加帧两端的连续性;采用多窗谱估计的改进谱减法对语音进行去噪,去噪效果示例如图2所示,(a)为含噪声的大杜鹃语音,(b)为去噪后的大杜鹃语音。
S3:通过计算每一帧鸟鸣信号在各个Mel滤波器中的能量,计算得到鸣声样本的Mel能量,得到包含信号能量大小信息的M×N阶矩阵,将能量大小与颜色深浅程度一一映射,得到鸟鸣信号的Mel语图,并将其划分为训练集、验证集和测试集。
Mel语图是鸟鸣信号的图像表现形式,不同鸟种形成的Mel语图具有差异。在本实施例中,鸟鸣信号被分为98帧,设置了40个Mel滤波器,经Mel能量计算得到一个98×40的数据矩阵,按照能量大小进行着色便可得到鸟鸣信号的Mel语图,Mel语图中横纵坐标分别为帧数和滤波器个数,仅需计算98×40个数据量,简化输出的同时减少了计算时间。图3为部分鸟鸣信号波形及其对应的Mel语图,(a)、(b)、(c)分别为大杜鹃、红角鸮、红嘴鸥的语音波形,(d)、(e)、(f)分别为大杜鹃、红角鸮、红嘴鸥的Mel语图,其用帧数结合Mel滤波器个数的形式来描述一段鸟鸣信号,可区分不同鸟种的鸣声。
本实施例中,将获取的Mel语图按照8∶1∶1比例划分为训练集、验证集和测试集。
S4:搭建卷积神经网络分类模型,以训练集的Mel语图作为输入进行多次迭代训练,训练过程中对验证集进行测试以调整模型的参数,当网络的预测输出值与实际值之间的损失达到最小时结束训练。
本实施例中,搭建一个24层的卷积神经网络模型,如图4所示,以训练集作为输入进行训练,卷积神经网络包含多个用于抓取Mel语图特征的卷积-池化过程,设置0.01的初始学习率对训练集进行训练,并在训练完30轮之后将学习率降低为原来的1/10,每当模型训练完一定轮次,模型即对验证集开展一次预测并根据验证集预测结果对网络内参数作出相应调整,往预测准确率高的方向修正。卷积神经网络的训练实质上是一个最小化损失函数的过程,通过不断地迭代优化寻求网络预测输出值与实际值之间最小的损失,达到学习图像特征匹配最佳类别的目的。本实施例中卷积神经网络使用的损失函数是交叉熵函数,表达式为:m为样本总数,k为样本的类别数,1{yi=j}为示性函数,当括号内值为真时输出为1,反之为0,表示第i个样本预测为第j类的概率。当网络的损失函数值降至最低时,网络训练结束。
S5:利用训练好的网络对测试集鸟种进行预测识别,输出对应的鸟种类别。
本实施例中,由于训练和测试样本都是随机选取的,为了避免分类结果的偶然性,共开展3组不同训练样本集下的分类测试,平均预测准确率为96.7%。可见,采用鸣声信号的Mel语图作为特征量,使用多窗谱估计的改进谱减法对语音进行去噪,利用卷积神经网络建立深度学习模型,可以较准确地识别出对输电线路安全运行造成威胁的相关鸟种,进而为差异化防鸟提供指导。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
虽然以上结合附图描述了本发明的具体实施方式,但是本领域普通技术人员应当理解,这些仅是举例说明,可以对这些实施方式做出多种变形或修改,而不背离本发明的原理和实质。本发明的范围仅由所附权利要求书限定。
Claims (3)
1.一种基于Mel语图与深度学习的电网涉鸟故障鸟种识别方法,其特征在于:包括如下步骤:
S1:依据统计的电网涉鸟故障主要鸟种并结合电网的实际情况,建立相关鸟种鸣声数据库;
S2:针对鸣声数据库中的样本,进行去噪、分帧、加窗预处理,采用多窗谱估计的改进谱减法去除鸟鸣信号中的杂音,通过设置帧长和帧移的大小,对鸟鸣信号进行分帧,再乘以一个窗函数以增加帧两端的连续性;
S3:通过计算每一帧鸟鸣信号在各个Mel滤波器中的能量,计算得到鸣声样本的Mel能量,得到包含信号能量大小信息的M×N阶矩阵,将能量大小与颜色深浅程度一一映射,得到鸟鸣信号的Mel语图,并将其划分为训练集、验证集和测试集;
S4:搭建卷积神经网络分类模型,以训练集的Mel语图作为输入进行多次迭代训练,训练过程中对验证集进行测试以调整模型的参数,当网络的预测输出值与实际值之间的损失达到最小时结束训练;
S5:利用训练好的网络对测试集鸟种进行预测识别,输出对应的鸟种类别。
2.如权利要求1所述的一种基于Mel语图与深度学习的电网涉鸟故障鸟种识别方法,其特征在于:S3中所述Mel语图的计算过程如下:对于一段M帧的鸟鸣信号,设置N个Mel滤波器,经Mel能量计算得到一个M×N的矩阵,按照能量大小进行着色得到Mel语图,Mel语图中横纵坐标分别为帧数和滤波器个数,仅需计算M×N个数据量,简化输出的同时减少计算时间。
3.如权利要求1所述的一种基于Mel语图与深度学习的电网涉鸟故障鸟种识别方法,其特征在于:S4中所述卷积神经网络包含多个用于抓取Mel语图特征的卷积-池化过程,调整网络参数和网络迭代次数对训练集进行训练,每当模型训练完一定轮次,模型即对验证集开展一次预测并根据验证集预测结果对参数作出相应调整,往预测准确率高的方向修正,直至网络的损失函数值降至最低,网络训练结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110878327.9A CN113707159B (zh) | 2021-08-02 | 2021-08-02 | 一种基于Mel语图与深度学习的电网涉鸟故障鸟种识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110878327.9A CN113707159B (zh) | 2021-08-02 | 2021-08-02 | 一种基于Mel语图与深度学习的电网涉鸟故障鸟种识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113707159A true CN113707159A (zh) | 2021-11-26 |
CN113707159B CN113707159B (zh) | 2024-05-03 |
Family
ID=78651104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110878327.9A Active CN113707159B (zh) | 2021-08-02 | 2021-08-02 | 一种基于Mel语图与深度学习的电网涉鸟故障鸟种识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113707159B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106093612A (zh) * | 2016-05-26 | 2016-11-09 | 国网江苏省电力公司电力科学研究院 | 一种电力变压器故障诊断方法 |
CN107393542A (zh) * | 2017-06-28 | 2017-11-24 | 北京林业大学 | 一种基于双通道神经网络的鸟类物种识别方法 |
CN108197591A (zh) * | 2018-01-22 | 2018-06-22 | 北京林业大学 | 一种基于多特征融合迁移学习的鸟类个体识别方法 |
CN109409308A (zh) * | 2018-11-05 | 2019-03-01 | 中国科学院声学研究所 | 一种基于鸟类鸣声的鸟类物种识别的方法 |
CN109979441A (zh) * | 2019-04-03 | 2019-07-05 | 中国计量大学 | 一种基于深度学习的鸟类识别方法 |
CN110120224A (zh) * | 2019-05-10 | 2019-08-13 | 平安科技(深圳)有限公司 | 鸟声识别模型的构建方法、装置、计算机设备及存储介质 |
CN111626093A (zh) * | 2020-03-27 | 2020-09-04 | 国网江西省电力有限公司电力科学研究院 | 一种基于鸣声功率谱密度的输电线路相关鸟种识别方法 |
WO2020177371A1 (zh) * | 2019-03-06 | 2020-09-10 | 哈尔滨工业大学(深圳) | 一种用于数字助听器的环境自适应神经网络降噪方法、***及存储介质 |
CN112331220A (zh) * | 2020-11-17 | 2021-02-05 | 中国计量大学 | 一种基于深度学习的鸟类实时识别方法 |
WO2021051608A1 (zh) * | 2019-09-20 | 2021-03-25 | 平安科技(深圳)有限公司 | 一种基于深度学习的声纹识别方法、装置及设备 |
-
2021
- 2021-08-02 CN CN202110878327.9A patent/CN113707159B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106093612A (zh) * | 2016-05-26 | 2016-11-09 | 国网江苏省电力公司电力科学研究院 | 一种电力变压器故障诊断方法 |
CN107393542A (zh) * | 2017-06-28 | 2017-11-24 | 北京林业大学 | 一种基于双通道神经网络的鸟类物种识别方法 |
CN108197591A (zh) * | 2018-01-22 | 2018-06-22 | 北京林业大学 | 一种基于多特征融合迁移学习的鸟类个体识别方法 |
CN109409308A (zh) * | 2018-11-05 | 2019-03-01 | 中国科学院声学研究所 | 一种基于鸟类鸣声的鸟类物种识别的方法 |
WO2020177371A1 (zh) * | 2019-03-06 | 2020-09-10 | 哈尔滨工业大学(深圳) | 一种用于数字助听器的环境自适应神经网络降噪方法、***及存储介质 |
CN109979441A (zh) * | 2019-04-03 | 2019-07-05 | 中国计量大学 | 一种基于深度学习的鸟类识别方法 |
CN110120224A (zh) * | 2019-05-10 | 2019-08-13 | 平安科技(深圳)有限公司 | 鸟声识别模型的构建方法、装置、计算机设备及存储介质 |
WO2021051608A1 (zh) * | 2019-09-20 | 2021-03-25 | 平安科技(深圳)有限公司 | 一种基于深度学习的声纹识别方法、装置及设备 |
CN111626093A (zh) * | 2020-03-27 | 2020-09-04 | 国网江西省电力有限公司电力科学研究院 | 一种基于鸣声功率谱密度的输电线路相关鸟种识别方法 |
CN112331220A (zh) * | 2020-11-17 | 2021-02-05 | 中国计量大学 | 一种基于深度学习的鸟类实时识别方法 |
Non-Patent Citations (1)
Title |
---|
谢将剑;李文彬;张军国;丁长青: "基于Chirplet语图特征和深度学习的鸟类物种识别方法", 北京林业大学学报, vol. 40, no. 003, pages 122 - 127 * |
Also Published As
Publication number | Publication date |
---|---|
CN113707159B (zh) | 2024-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jiang et al. | Whistle detection and classification for whales based on convolutional neural networks | |
CN107610707B (zh) | 一种声纹识别方法及装置 | |
CN110120224B (zh) | 鸟声识别模型的构建方法、装置、计算机设备及存储介质 | |
CN101710490B (zh) | 语音评测的噪声补偿方法及装置 | |
CN106611604B (zh) | 一种基于深度神经网络的自动语音叠音检测方法 | |
Clemins et al. | Automatic classification and speaker identification of African elephant (Loxodonta africana) vocalizations | |
CN109493874A (zh) | 一种基于卷积神经网络的生猪咳嗽声音识别方法 | |
CN110718232B (zh) | 一种基于二维语谱图和条件生成对抗网络的语音增强方法 | |
CN107680582A (zh) | 声学模型训练方法、语音识别方法、装置、设备及介质 | |
CN109065027A (zh) | 语音区分模型训练方法、装置、计算机设备及存储介质 | |
CN109979486B (zh) | 一种语音质量评估方法及装置 | |
CN106128477B (zh) | 一种口语识别校正*** | |
CN103065620A (zh) | 在手机上或网页上接收用户输入的文字并实时合成为个性化声音的方法 | |
CN108847252B (zh) | 基于声信号语谱图纹理分布的声特征提取方法 | |
CN113111786B (zh) | 基于小样本训练图卷积网络的水下目标识别方法 | |
CN112802494B (zh) | 语音评测方法、装置、计算机设备和介质 | |
CN106558308A (zh) | 一种互联网音频数据质量自动打分***及方法 | |
CN114373452A (zh) | 基于深度学习的嗓音异常识别和评价的方法及*** | |
CN113707158A (zh) | 一种基于VGGish迁移学习网络的电网危害鸟种鸣声识别方法 | |
CN113345443A (zh) | 基于梅尔频率倒谱系数的海洋哺乳动物发声检测识别方法 | |
CN111626093B (zh) | 一种基于鸣声功率谱密度的输电线路相关鸟种识别方法 | |
CN114863938A (zh) | 一种基于注意力残差和特征融合的鸟语识别方法和*** | |
CN110473548B (zh) | 一种基于声学信号的课堂交互网络分析方法 | |
CN113707159A (zh) | 一种基于Mel语图与深度学习的电网涉鸟故障鸟种识别方法 | |
CN111091816B (zh) | 一种基于语音评测的数据处理***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |