CN112735443B - 一种具有自动分类的海洋空间资源管理***及其自动分类方法 - Google Patents
一种具有自动分类的海洋空间资源管理***及其自动分类方法 Download PDFInfo
- Publication number
- CN112735443B CN112735443B CN202011567868.1A CN202011567868A CN112735443B CN 112735443 B CN112735443 B CN 112735443B CN 202011567868 A CN202011567868 A CN 202011567868A CN 112735443 B CN112735443 B CN 112735443B
- Authority
- CN
- China
- Prior art keywords
- audio
- bird
- frequency
- syllable
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 241000271566 Aves Species 0.000 claims abstract description 42
- 230000009466 transformation Effects 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims description 104
- 241000894007 species Species 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 32
- 230000011218 segmentation Effects 0.000 claims description 28
- 238000001228 spectrum Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 18
- 239000012634 fragment Substances 0.000 claims description 15
- 230000004807 localization Effects 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 12
- 238000007726 management method Methods 0.000 claims description 12
- 238000000926 separation method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 230000005236 sound signal Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000006399 behavior Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000002829 reductive effect Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000007476 Maximum Likelihood Methods 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 238000003491 array Methods 0.000 claims description 2
- 230000001364 causal effect Effects 0.000 claims description 2
- 238000005315 distribution function Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 241001300198 Caperonia palustris Species 0.000 claims 1
- 235000000384 Veronica chamaedrys Nutrition 0.000 claims 1
- 230000001360 synchronised effect Effects 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 239000011159 matrix material Substances 0.000 description 64
- 230000003595 spectral effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000000513 principal component analysis Methods 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- 239000006185 dispersion Substances 0.000 description 6
- 230000007480 spreading Effects 0.000 description 6
- 238000003892 spreading Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000002087 whitening effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 208000012661 Dyskinesia Diseases 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 101100377706 Escherichia phage T5 A2.2 gene Proteins 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/06—Decision making techniques; Pattern matching strategies
- G10L17/14—Use of phonemic categorisation or speech recognition prior to speaker recognition or verification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
- G10L21/028—Voice signal separating using properties of sound source
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/45—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of analysis window
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Complex Calculations (AREA)
Abstract
本发明涉及一种具有自动分类的海洋空间资源管理***及其自动分类方法,通过鸟类声纹人工智能识别***、频谱‑时间空间界面、噪声监测和去除方法、自动分类方法、以及小波变换的多音节鸟类音频特征提取方法的技术手段,提高了对海洋空间资源等各类信息的汇集和整合能力,深化海洋空间资源信息的及时汇集和动态更新,尤其实现了对海洋空间内的鸟类资源的监控和保护,同时为海洋空间资源数据大中心的建立提供了数据支撑。
Description
技术领域
本发明属于鸟类声纹人工智能识别领域,特别涉及一种具有自动分类的海洋空间资源管理***及其自动分类方法。
背景技术
建设海洋空间资源数据大中心,以原有海域动态监管信息***为基础,结合已有海岛、海岸线等空间资源信息,建设海洋空间资源数据中心,依照海洋空间资源数据的统一标准,对各类数据按统一标准规范进行汇总和统筹,进一步提高对海洋空间资源等各类信息的汇集和整合能力,深化海洋空间资源信息的及时汇集和动态更新。其中,对海洋鸟类资源的监控和保护是海洋空间资源数据大中心的重要一步,对海洋鸟类的分类和区分则构成了重要的一步。而鸟类声纹是一种重要的鸟类学特征,包含有重要的丰富的鸟类学含义,如:物种鉴定交配繁殖模式,社群等级,气质特征,净化适应性等等,基于音频的识别技术可以解决一些海洋空间中的鸟类物种识别问题;鸟类声纹可以用来进行海洋空间中的鸟类多样性监测,生境中生空间的竞争性和异质性性能能够代表鸟类多样性,对音频的分析可以提供个体、物种、种群、群落、景观水平的多样性信息,快速声纹调查:通过音频只数提取技术,可以快实现快速长期大范围鸟类多样性评价监测,通过送完可以分析种群的结构,包括年龄,性别比例,分析事物生存状态,包括情绪、病害、打斗;声景生态学:获得音频民生指数,代表一种新的物种多样性指标,声景生态学提供重要的数据支持。目前针对鸟类声纹的采集、检测、去噪、音频分离、分类、识别等缺少有效的方法。
识别海洋空间中的鸟类声纹必要澄清它们的特征(如频谱特性、歌曲或叫声类型)和行为上下文(如方向、位置、相邻关系)之间的精细和详细的关系,使用常规记录或通过人类观察获得这些数据需要花费大量的时间和精力,由于硬件和软件的限制,很多识别方法并不容易实现,而新的无创记录设备的应用则是生态声学的重点。
海洋空间中存在的噪声以及许多鸟类群落中同时鸣叫,如何实现鸟类种的识别是很困难的,需要做更多的工作来解决识别所有物种以及它们在多只鸟的嘈杂录音中发声的准确时间的问题。目前的技术都是要通过最多的人工干预来完成,尤其是需要手动将录音分割成鸟类音频音节。小的音频数据的处理通常是手动去噪声和/或手动分割实现,并且只有少量物种,这些技术仅用于标记记录,不足以检测发声的确切时间。
大多数鸟类音频的识别技术都是基于对音频频谱图的视觉检查,由人类专家连续对大量鸟类音频的频谱图进行分类是一项极其费时费力的任务,急需对海洋空间中的鸟叫声的自动分类。
鸟类音频的识别在海洋空间中的鸟类声学和生态学中越来越重要,作为一种工具,可以促进无人值守的监测、公民科学和其他具有大量音频数据的应用。对于鸟类音频,研究的任务包括识别物种和个体,许多研究只考虑单声道的情况,使用的是孤立或低背景干扰的单个鸟类的记录。从混合音频中分离出单一的鸟类音频是一项具有挑战性的任务,鸟类音频通常包含快速的音调调制,这些调制携带的信息可能在自动分类中有用。
海洋空间中的鸟类音频复杂多变、单调、简短、重复、固定,通常由一连串的音符组成。鸟类音频通常分为四个层次:音符、音节、短语和鸟声,其中音节在鸟类物种识别中起着重要作用。音节被用来解决多种鸟类声音波形重叠的问题。目前所有的相关技术都是提取单个音节的特征,而不是提取鸟叫声的一段特征来进行鸟类物种识别,识别不够准确。
发明内容
针对上述问题,尤其是连续对海洋空间上方大量鸟类音频的频谱图进行分类费时费力的问题,提出了一种具有自动分类的海洋空间资源管理***及其自动分类方法。技术方案为:
一种具有自动分类的海洋空间资源管理***,包括业务层、数据层、展示层。
业务层包括用户***、业务***、算法***三大***组成,用户***主要用来管理平台用户操作行为及信息管理;业务***用于管理整个平台模块之间的业务,包括如音频地址管理、鸟类声纹采集、鸟类音频识别信息等;算法***通过人工智能声纹识别检测音频中的鸟类的类型并给出合理的检测反馈信息。
数据层用于数据存储,分为数据中心、***数据库、声纹数据库,数据中心用于存储各种业务数据,包括鸟类识别种类、数量、日期、位置等;***数据库存储***模块之间的业务关系数据,包括声纹、音频存放地址等;声纹数据库存储所有鸟类音频数据。
展示层通过WEB端输出各功能模块之间交互返回的结果,开放API接口调用方法开发者可通过相关开放接口地址按照提供的调用规则进行调用。
业务***通过音频提取设备获取岛上的各种鸟类音频并提供频谱-时间空间界面进行录制、定位、分析、注解、分类,算法***作为后台***通过人工智能声纹识别实现相应的功能,人工智能声纹识别包括噪声去除、多音频分离、自动分类、单一识别。
一种鸟类声纹人工智能识别***的自动分类方法,具体为:
步骤1、特征提取
对于大多数鸟叫声,在每个音节内,相邻的分析帧之间或多或少存在时间上的变化,在音节识别中,具有最大频谱转换的音频部分包含了最重要的信息,动态二维梅谱系数被用来描述音节内的急变;
步骤1.1、计算二维梅谱系数:
二维梅谱以矩阵形式隐式表示语音信号的静态特征和动态特征,二维梅谱矩阵T(q,n)可通过对连续对数谱序列应用二维离散余弦变换来获得,二维梅谱矩阵 T(q,n)的第一维q表示倒谱,第二维n表示每个倒谱系数的时间变化,采用二维梅谱系数对鸟叫声的每个音节进行建模,将二维离散余弦变换应用于根据人类听觉感知模型定义的梅谱尺度带通滤波器的对数能量,得到二维梅谱系数矩阵 C(q,n):
式中,Et(b)是第t帧的第b个梅谱尺度带通滤波器的能量,q是频率指数,n是调制频率指数,B是梅谱尺度带通滤波器的数量,L是一个音节内的帧数,二维离散余弦变换分解为两个一维离散余弦变换,C(q,n)将一维离散余弦变换应用于沿时间轴的连续的L个MFCC系数序列,表示为:
频率指数q=0的二维梅谱系数矩阵的第一行保持了短时能量的时间变化,调制频率指数n=0的第一列中的每个元素表示所有分析帧的倒谱系数的平均值,在频率轴上,较低的系数代表频谱包络,较高的系数代表基音和激励,在时间轴上,较低的系数表示频率的整体变化,而较高的系数表示频率的局部变化。
由于不同音节的持续时间不尽相同,所分析的帧数因音节而异,C(q,n)中的列数因音节不同而不同,沿频率轴q和时间轴n的下半部分的系数比较高部分的系数为音频识别提供了更多有用的信息,将C(q,n)的前15行和前5列的系数,不包括系数C(0,0)作为音节的初始发音特征,从二维梅谱系数矩阵C(q,n)中选取 74个系数,构成音节的二维梅谱系数特征向量,特征向量的维数是固定的,二维梅谱系数特征向量FTD表示为:
FTD=[C(0,1),...,C(0,4),C(1,0),...,C(1,4),...,C(14,0),...,C(14,4)]T;
步骤1.2、计算动态二维梅谱系数:
动态二维梅谱系数用于强调音节内的尖锐过渡。动态二维梅谱系数是一种基于语音频谱瞬时特征和动态特征相结合的的识别方法,在所有音节中,频谱转换最大的部分承载着最重要的语音信息,将回归系数的动态特征定义为一阶正交多项式系数,用于孤立词识别,回归系数表示被测语音段内每个倒谱系数的时间函数的斜率,提取动态二维梅谱系数来突出音节内最大频谱跃迁的部分,那么第t帧的第b个梅谱尺度的回归系数rt(b)为:
式中,n0是测量过渡信息的间隔长度,rt(b)反映第t帧周围的能量转移对于第b 个梅谱尺度的带通滤波器输出,将每个回归系数rt(b)加到Et(b)中,以获得增强的能量
对对数强调能量应用二维离散余弦变换得到余弦变换矩阵/>
从的前15行和前5列中选择的系数(不包括系数C(0,0))作为音节的动态二维梅谱系数特征,动态二维梅谱系数特征向量FDT表示为:
步骤1.3、特征向量组合:
为了获得更好的分类结果,我们将上述两个特征向量(FDT和FTD)结合在一起,得到一个更大的特征向量,即组合特征向量FSD,用于描述音节内的静态、动态和频谱过渡信息,FSD由FDT和FTD级联而成,即,
步骤1.4、特征值标准化:
在不损失通用性的前提下,用F表示计算出的音节特征向量(FDT,FTD和 FSD),对每个特征值进行归一化,使每个特征值的范围在0到1之间,表达为:
其中F(m)为第m个特征值,x(m)为归一化的第m个特征值,Q1(m)和Q3(m)) 表示第一个和第三个的四分位数,定义为所有训练音节的第m个特征值的25% (或75%)小于或等于该值,极高和极低的特征值被归一化为1和0,使得归一化的特征值不受噪声的影响。计算每个特征值的第一个四分位数Q1(m)和第三个四分位数Q3(m),在分类阶段,对于实际的归一化,从输入音节中提取的每个特征值使用参考四分位值(Q1(m)和Q3(m))进行修改,以获得标准化值。
步骤2、主成分分析,其定义为数据在低维向量空间上的正交投影,使得投影数据的方差最大化。
步骤2.1、计算D维训练向量集X={xj,j=1,...,N}的D维均值向量μ和D×D方差矩阵Γ,
步骤2.2、计算协方差矩阵Γ的特征向量和相应的特征值,并按特征值的降序排序,特征向量vi与特征值λi,1≤i≤D相关联,具有最大特征值的第一个特征向量d是D×d变换矩阵APCA的列,
APCA=[v1,v2,...,vd],
特征向量d的数量通过找到满足以下标准的最小整数来确定,其中,α为决定需要保留的信息百分比,根据变换矩阵APCA计算出投影矢量xPCA,步骤3、原型向量生成
每只鸟的音频都由若干音节组成,音节具有不同的特点,从相同的鸟叫声中分割出的任何两个音节都可能有很大的不同,原型向量通过将来自同一鸟类的音节分类为若干子类别,从而将具有相似特征向量的音节聚类在一起,具体包括如下步骤:
步骤3.1、模型选择
鸟类的高斯-贝斯模型如下:
其中X={xj|1≤j≤N}是训练向量集,是高斯参数集,/>表示由高斯使用训练向量集X建模的训练集/>的对数似然,M是混合分量的个数,d是每个特征向量的维数,N是训练向量的个数。混合权重的分配方式相同计算各高斯分量的协方差矩阵替换为所有鸟类高斯的平均协方差矩阵ΓEVQ:
S表示鸟类物种的总类数,NS为第s种鸟类物种选择的高斯分量,/>是第s种鸟类物种的第j个高斯分量的协方差矩阵,平均协方差矩阵模型的贝斯计算如下:
其中,M个高斯分量和一个公共对角协方差矩阵的d维均值向量被计数,如果/>将被选为鸟类的最佳模型;否则,/>将是被选中的模型,当训练数据有限时,将选择基于/>的模型。如果有大量的训练数据,/>有望被选中。
步骤3.2、组件编号选择
将每个训练样本分配给最有可能产生训练样本的高斯分量,将训练数据分组成簇,用于模拟不同鸟类音频的聚类数必须因物种而异,取决于每种鸟类的声学变化来确定集群数量,用于模拟每种鸟类音频的聚类数的选择会影响分类精度,从一个单一的高斯分量开始,然后依次将一个选定的分量分解成两个新的高斯分量,重复选择和拆分过程,直到找到最合适数量的组件,使用贝斯模型用于查找要拆分的组件并确定适当的组件数目。
步骤4、线性判别分析
线性判别分析被用来在各种鸟类之间提供更高的可区分性,进一步提高低维特征空间的分类精度,线性判别分析试图最小化类内距离,同时最大化类间距离,在线性判别分析中,确定对应于从d维特征空间到k维空间的映射的最佳变换矩阵,其中k<d,最大化的线性映射JF(A)为:JF(A)=tr((ATSWA)-1(ATSBA)),其中,A为映射矩阵,SW和SB分别表示类内散布矩阵和类间散布矩阵,类内散布矩阵SW为:
其中,S表示鸟类物种的总类数,Cs分配给第s种鸟类物种的特征向量,μs是第s种鸟类物种的平均向量;类间散布矩阵SB为:其中,Ns表示第s种鸟类物种中的特征向量数,μ是所有训练向量的平均向量,将训练向量集的多元正态分布转化为球面正态分布,特征向量及其对应的特征值SW是经过计算的。设Φ表示变换矩阵,其列是SW的正交特征向量,Λ表示相应特征值的对角矩阵,从而得到,/>每个训练向量x通过进行变换得到x',/>白化矢量的类内散布矩阵S'W成为一个单位矩阵,白化矢量的类间散布矩阵包含所有的鉴别信息,变换矩阵Φ通过寻找S'B的特征向量来确定,假设特征值按降序排列,对应于最大k=(S-1)个特征值的特征向量将构成变换矩阵Ψ的列,最优变换矩阵ALDA被定义为:/>ALDA用于将每个主成分分析变换的d维特征向量变换为低维向量,xPCA表示一个d维主成分分析变换向量,线性判别分析变换的k维特征向量通过以下方式计算:/>
步骤5、分类
基于最近邻分类器对每个音节进行分类,计算每个输入音节的特征向量,对每个特征值应用相同的规范化,利用主成分分析变换矩阵APCA和线性判别分析变换矩阵ALDA对归一化特征向量进行变换,得到最终的特征矢量f,每种鸟类的原型向量之间的距离用欧几里德距离来度量,sc代表分类鸟类种类的标准向量,是通过找到距离f最短的原型向量来确定,表示为: sc=arg min d(f,fs,j),1≤s≤S,1≤j≤Ns,fs,j表示第s种鸟类物种的第j个原型向量,Ns是第s种鸟类物种的原型向量的数量,通过sc确定音频的海洋空间中鸟类的种类。
本发明的有益效果:
(1)本发明通过鸟类声纹人工智能识别***,将鸟类音频的采集、检测、去噪、音频分离、分类、识别集合在一个***上实现了海洋空间资源中鸟类的智能识别。
(2)本发明中,频谱-时间空间界面基于生态数据分析提供了一个完整的框架,结合特征映射技术,实现了注释工具,有助于提取必要的声源,减少分类的时间成本,有助于了解麦克风阵列周围的声景,有助于更详细地了解海洋空间资源中鸟类鸣叫和行为的作用。
(3)本发明中,噪声去除通过两步实现,第一步片段分割,频谱图片段分割实现了一种完全自动的方法,从每一个录音中提取出相应的音频,事件检测利用一组录音的弱标签所提供的信息,即使用标记的鸟叫声自动检测到海洋空间中每只鸟的叫声,然后将其分类到这些标记中,实现了精确的发声注释。
(4)本发明中,噪声去除的第二步事件检测,该方法得到的良好鸟类分类结果,被用来在单位水平上对记录进行完整的注释,而不是寻找存在的物种并利用互相关来找到一个发声的最佳可见匹配,通过多次匹配实现了基于在整个数据集中寻找一个片段的最佳视觉相似匹配并演绎地细化其可能的标签的分类过程,从而减少每个检测到的发声的可能标签,通过实验表明,根据正确分类的评估,在合成鸟类音频数据集中,检测的成功率高达75、4%。
(5)本发明中,自动分类方法利用特征集二维梅谱系数和动态二维梅谱系数作为发声特征,对连续鸟类音频录音中的每个音节进行分类,从不同的录音中分割出测试音节和训练音节。将二维梅谱系数和动态二维梅谱系数结合起来,对 28种鸟类的分类精度可达84、06%,鸟类的种类很容易被识别出来。
(6)在本发明中,使用了改进的谱图表示方法提高鸟类音频分离的性能,该方法跟踪发声模式,在相同的范式下工作,并证明对底层表示的改进可以提高跟踪的质量。使用了一个简单的鸟类音频字典来分析信号,强大的参数技术来估计非平稳信号的特性,精确表示可以改善对多种鸟类的跟踪,本发明开发的特定技术变体。通过多重追踪技术推断包含多只鸟类音频记录中的序列结构,将此追踪程序应用于海洋空间中的鸟类音频记录的数据集,通过标准谱图进行分析,表明该方法有利于鸟类音频的分析。
(7)本发明中,本发明提出了一种小波变换的多音节鸟类音频特征提取方法,该方法不仅提取了单个音节的特征,而且提取了音节的变化,不使用单个音节,而是使用包含一个音节周期的鸟类音频片段来提取特征向量,结果表明,与传统方法相比,本发明明显提高了识别率,能够提高海洋空间资源的自动分类效率,能有有效的对海洋空间资源中的鸟类进行识别。
附图说明
图1为本发明的鸟类声纹人工智能识别***构成框图;
图2为本发明的噪声去除中片段分割的流程图;
图3为本发明的噪声去除中事件检测的流程图;
图4为本发明的自动分类的流程图;
图5为本发明的模型匹配的流程图;
图6为本发明的小波变换的流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步的说明。
本发明的实施例参考图1-6所示。
根据本发明具体实施例的一种具有自动分类的海洋空间资源管理***及其自动分类方法,包括业务层、数据层和展示层。
业务层包括用户***、业务***、算法***三大***组成,用户***主要用来管理平台用户操作行为及信息管理;业务***用于管理整个平台模块之间的业务,包括如音频地址管理、鸟类声纹采集、鸟类音频识别信息等;算法***通过人工智能声纹识别检测音频中的鸟类的类型并给出合理的检测反馈信息。
数据层用于数据存储,分为数据中心、***数据库、声纹数据库,数据中心用于存储各种业务数据,包括鸟类识别种类、数量、日期、位置等;***数据库存储***模块之间的业务关系数据,包括声纹、音频存放地址等;声纹数据库存储所有鸟类音频数据。
展示层通过WEB端输出各功能模块之间交互返回的结果,开放API接口调用方法开发者可通过相关开放接口地址按照提供的调用规则进行调用。
业务***通过音频提取设备获取岛上的各种鸟类音频并提供频谱-时间空间界面进行录制、定位、分析、注解、分类,算法***作为后台***通过人工智能声纹识别实现相应的功能,人工智能声纹识别包括噪声去除、多音频分离、自动分类、单一识别。
其中,***服务采用轻量级Flask Web应用框架,其WSGI工具箱采用 Werkzeug,Flask拥有内置服务器和单元测试,适配RESTful,支持安全的 cookies。机器深度学习算法Keras人工神经网络和Open CV机器学习算法,实时捕捉动态声纹进行识别。自动采集数据声纹,实现准确智能识别。
其中,业务***实现了海洋空间资源中鸟类声纹采集,使用音频提取设备提取声源以及方向,音频提取设备包括麦克风阵列和数据处理设备,在数据处理设备上使用频谱-时间空间界面来编辑采集到的音频文件,能够观察声源在二维特征空间上的分布,了解录音中的声音种类,从而了解声音景观的组成部分,通过在空间上分组相似的声音来对其进行分类;用户在可视化的频谱-时间空间界面上对声源进行录制、定位、分析、注解、分类,用户可以在窗口左侧择要操作的文件或文件夹,在右侧更改操作设置或执行各项功能。
在录制选部分,用户使用麦克风阵列以16kHz和16位格式开始录制,并回放或分割录音,***支持连接到数据处理设备的多个麦克风阵列同时录制,支持二维定位进行同步记录,通过设置文件的分区数或每个文件的记录时间,将一个记录文件分成若干个记录文件,以便在分析长期记录之前找到适合本地化的参数设置。
在定位部分,基于多信号分类方法使用具有短时傅立叶变换的多个频谱图进行声源定位,并提取分离的声音作为每个本地化声音的波形文件,在右边的列表中设置与鸟类音频定位和分离相关的基本参数值,通过在网络文件中定义参数名称和相应的标记来将附加参数添加到列表中,有助于根据环境和目标声音的声学特性更恰当地定位声源,定位和声音分离的整体结果输出到一个文件夹中并保存在声纹数据库。
在分析部分,直观地分析声音的时间分布和方向性,通过导出文件按钮,以指定总页数的PDF格式输出频谱图和定位结果,有助于以适当的时间尺度概述结果,所有声源的数据,包括它们的方向和持续时间等,都以JSON文件的形式输出,加载到注释工具并保存在声纹数据库。
在注解部分,注解窗口顶部面板显示记录的频谱图,在x轴显示时间刻度和焦点时间段,焦点时间段和显示时间刻度可以调整,y轴显示在方向上对应的音频和声源,注解窗口中的x轴的每个框表示开始(左边缘)和结束(右边缘)时间以及y轴则显示相应源开始时间的方向,每个框的颜色代表其类,单击每个本地化声音的框,右侧显示声音本地化信息,可手动编辑信息,回放原录音中分离声音或持续时间的对应文件,支持编辑操作的撤消过程,通过拖动相应的框来修改每个源的位置,将修改后的数据以JSON文件形式保存在声纹数据库。
在分类部分,以使用所有分离声音的频谱图(100×64像素)作为数据集,对局部声源进行降维,采用学***面上,可视化分布,通过参数设置进行网格搜索,对局部声音进行分类,参数包括复杂度、学习率、迭代次数等,在提取出合适的降维结果后,使用一个接口在特征空间上对声源进行可视化,在用于分类工具的界面,以节点的形式显示分离的声源,通过单击每个节点,频谱图将显示在另一个窗口中,并回放分离的声音,一组节点可以被划分为一个类,用一个框架包围,并指定,这个分组可以通过简单的键盘操作和鼠标操作完成,允许用户一次对相似的声音进行分类,用户在编辑频谱图时还可以选择噪声去除,通过关闭窗口,分类数据以JSON文件形式保存在声纹数据库。
频谱-时间空间界面基于生态数据分析提供了一个完整的框架,结合特征映射技术,实现了注释工具,有助于提取必要的声源,减少分类的时间成本,有助于了解麦克风阵列周围的声景,有助于更详细地了解鸟类鸣叫和行为的作用。
进一步的,根据本发明的具体实施例,海洋空间资源中的噪声去除包括片段分割和事件检测的具体过程如下:
片段分割具体为:
步骤1、通过短时傅里叶变换对音频数据进行处理;
步骤2、分割检测;
步骤3、依据绝对最大值进行归一化;
步骤4、移除高于20kHz和低于340kHz的频率赫兹得音频。自然界中这些频率中没有鸟叫声发生,因此是噪声予以滤出;
步骤5、通过对每一频率和每一时间帧的频谱图进行中值剪切得到二值图像,以消除噪声,具体为:如果频谱图中的像素值大于其对应行和列中值的3倍,则将像素设为1,否则设为0;
步骤6、应用闭合运算以填充当前功能任何小孔,闭合运算应用于大小为(3,3) 的矩形邻域;
步骤7、移除小于5像素的连接组件;
步骤8、在大小为(7,7)的矩形邻域中应用膨胀扩张,膨胀算法将位于(i,j) 处的像素设置为以(i,j)为中心的邻域中所有像素的最大值,扩张是为了扩大包含特征的区域(即发声),并去除可以被认为是噪声的小物体;
步骤9、使用中值滤波器对图像滤波;
步骤10、移除小于150像素部分,从而将二值频谱图像切分;
步骤11、在半径为3的圆形区域重新进行扩张;
步骤12、将所有连接的像素定义为一个片段,进行片段分割;
步骤13、计算每个片段的大小和位置。
本发明具体实施例中的上述方法产生的噪声片段更少,发声片段更大。
进一步的,根据本发明另一具体实施例,事件检测具体为:
对于每个片段,创建可标签列表,初始化为包含该片段的记录的弱标签,分类过程将通过演绎消除该片段中不太可能出现的标签,将该片段的列表缩短为一个或多个标签,每个需要标记的片段通过匹配模板函数进行归一化相关,与不同的记录进行匹配,以获得所有可能的标签匹配,归一化相关用于将模板(发声) 与二维目标图像(录音的谱图)匹配,与目标图像大小相同的响应图像,模板和目标图像之间的相关系数在-1、0和1、0之间,通过搜索响应图像中的最大峰值,找到片段与特定记录之间的匹配值,相似的鸟叫声应该出现在相似的频率上,将匹配模板应用于较小的频率范围(片段频率以下或段频以上5个频点),从而减少了计算量,这一过程分为三个不同的过程,即第一道、第二道和第三道,这三种方法都按顺序应用于记录,如下所述:
步骤S1、第一次匹配
为每个片段创建一组记录来查找匹配,表示由初始化列表生成的不同标签组合,录制在其弱标签中存在标签,对于需要标签的每个片段,将搜索记录列表,增加弱标签的数量,直到找到匹配项或不再有剩余的记录,匹配模板返回响应图像中的最大峰值,当匹配模板返回的相似率为0、4或更大时,为找到匹配。
步骤S2、第二次匹配
第二次匹配解决第一次匹配未匹配片段,音频记录的所有标签至少分配给一个片段,当音频记录中有未匹配片段和没有对应段的标签时,将未分配的标签分配给所有未匹配片段。
步骤S3、第三次匹配
两次匹配后,音频记录中可能仍有未分配的标签,需要将音频记录的所有标签分配给至少一个片段,在所有片段段都有标签但某些弱标签没有分配给任何段的记录中,必须有一些标签被分配到多个段(很可能是错误的),可能不止一个段有这个标签,但是当一个标签未被分配时,假设与同一个标签匹配的其中一个片段被错误分类,在其余标签的多个片段中搜索任何未分配标签的最佳匹配。如果找到匹配项,则从其派生的段的标签将更改为未分配的标签。
根据本发明的具体实施例,通过上述三次匹配实现了对频谱图的标记,并去除了海洋空间资源中的噪音以及非鸟类叫声。
进一步的,根据本发明又一具体实施例,自动分类具体为,
步骤A1、特征提取
对于大多数鸟叫声,在每个音节内,相邻的分析帧之间或多或少存在时间上的变化,在音节识别中,具有最大频谱转换的音频部分包含了最重要的信息,动态二维梅谱系数被用来描述音节内的急变;
步骤A1.1、计算二维梅谱系数:
二维梅谱以矩阵形式隐式表示语音信号的静态特征和动态特征,二维梅谱矩阵T(q,n)可通过对连续对数谱序列应用二维离散余弦变换来获得,二维梅谱矩阵 T(q,n)的第一维q表示倒谱,第二维n表示每个倒谱系数的时间变化,采用二维梅谱系数对鸟叫声的每个音节进行建模,将二维离散余弦变换应用于根据人类听觉感知模型定义的梅谱尺度带通滤波器的对数能量,得到二维梅谱系数矩阵 C(q,n):
式中,Et(b)是第t帧的第b个梅谱尺度带通滤波器的能量,q是频率指数,n是调制频率指数,B是梅谱尺度带通滤波器的数量,L是一个音节内的帧数,二维离散余弦变换分解为两个一维离散余弦变换,C(q,n)将一维离散余弦变换应用于沿时间轴的连续的L个MFCC系数序列,表示为:
频率指数q=0的二维梅谱系数矩阵的第一行保持了短时能量的时间变化,调制频率指数n=0的第一列中的每个元素表示所有分析帧的倒谱系数的平均值,在频率轴上,较低的系数代表频谱包络,较高的系数代表基音和激励,在时间轴上,较低的系数表示频率的整体变化,而较高的系数表示频率的局部变化;由于不同音节的持续时间不尽相同,所分析的帧数因音节而异,C(q,n)中的列数因音节不同而不同,沿频率轴q和时间轴n的下半部分的系数比较高部分的系数为音频识别提供了更多有用的信息,将C(q,n)的前15行和前5列的系数,不包括系数C(0,0) 作为音节的初始发音特征,从二维梅谱系数矩阵C(q,n)中选取74个系数,构成音节的二维梅谱系数特征向量,特征向量的维数是固定的,二维梅谱系数特征向量FTD表示为:
FTD=[C(0,1),...,C(0,4),C(1,0),...,C(1,4),...,C(14,0),...,C(14,4)]T;
步骤A1.2、计算动态二维梅谱系数:
动态二维梅谱系数用于强调音节内的尖锐过渡。动态二维梅谱系数是一种基于语音频谱瞬时特征和动态特征相结合的的识别方法,在所有音节中,频谱转换最大的部分承载着最重要的语音信息,将回归系数的动态特征定义为一阶正交多项式系数,用于孤立词识别,回归系数表示被测语音段内每个倒谱系数的时间函数的斜率,提取动态二维梅谱系数来突出音节内最大频谱跃迁的部分,那么第t帧的第b个梅谱尺度的回归系数rt(b)为:
式中,n0是测量过渡信息的间隔长度,rt(b)反映第t帧周围的能量转移对于第b 个梅谱尺度的带通滤波器输出,将每个回归系数rt(b)加到Et(b)中,以获得增强的能量
对对数强调能量应用二维离散余弦变换得到余弦变换矩阵/>
从的前15行和前5列中选择的系数(不包括系数C(0,0))作为音节的动态二维梅谱系数特征,动态二维梅谱系数特征向量FDT表示为:
步骤A1.3、特征向量组合:
为了获得更好的分类结果,我们将上述两个特征向量(FDT和FTD)结合在一起,得到一个更大的特征向量,即组合特征向量FSD,用于描述音节内的静态、动态和频谱过渡信息,FSD由FDT和FTD级联而成,即,
步骤A1.4、特征值标准化:
在不损失通用性的前提下,用F表示计算出的音节特征向量(FDT,FTD和 FSD),对每个特征值进行归一化,使每个特征值的范围在0到1之间,表达为:
其中F(m)为第m个特征值,x(m)为归一化的第m个特征值,Q1(m)和Q3(m)) 表示第一个和第三个的四分位数,定义为所有训练音节的第m个特征值的25% (或75%)小于或等于该值,极高和极低的特征值被归一化为1和0,使得归一化的特征值不受噪声的影响。计算每个特征值的第一个四分位数Q1(m)和第三个四分位数Q3(m),在分类阶段,对于实际的归一化,从输入音节中提取的每个特征值使用参考四分位值(Q1(m)和Q3(m))进行修改,以获得标准化值。
步骤A2、主成分分析,其定义为数据在低维向量空间上的正交投影,使得投影数据的方差最大化。
步骤A2.1、计算D维训练向量集X={xj,j=1,...,N}的D维均值向量μ和D×D 方差矩阵Γ,
步骤A2.2、计算协方差矩阵Γ的特征向量和相应的特征值,并按特征值的降序排序,特征向量vi与特征值λi,1≤i≤D相关联,具有最大特征值的第一个特征向量d是D×d变换矩阵APCA的列,
APCA=[v1,v2,...,vd],
特征向量d的数量通过找到满足以下标准的最小整数来确定,
其中,α为决定需要保留的信息百分比,根据变换矩阵APCA计算出投影矢量 xPCA,步骤A3、原型向量生成
每只鸟的音频都由若干音节组成,音节具有不同的特点,从相同的鸟叫声中分割出的任何两个音节都可能有很大的不同,原型向量通过将来自同一鸟类的音节分类为若干子类别,从而将具有相似特征向量的音节聚类在一起,具体包括如下步骤:
步骤A3.1、模型选择
鸟类的高斯-贝斯模型如下:其中X={xj|1≤j≤N}是训练向量集,/>是高斯参数集,/>表示由高斯使用训练向量集X建模的训练集/>的对数似然,M是混合分量的个数,d是每个特征向量的维数,N是训练向量的个数;混合权重的分配方式相同/>计算各高斯分量的协方差矩阵替换为所有鸟类高斯的平均协方差矩阵ΓEVQ:
S表示鸟类物种的总类数,NS为第s种鸟类物种选择的高斯分量,/>是第s种鸟类物种的第j个高斯分量的协方差矩阵,平均协方差矩阵模型的贝斯计算如下:
其中,M个高斯分量和一个公共对角协方差矩阵的d维均值向量被计数,如果/>将被选为鸟类的最佳模型;否则,/>将是被选中的模型,当训练数据有限时,将选择基于/>的模型。如果有大量的训练数据,/>有望被选中。
步骤A3.2、组件编号选择
将每个训练样本分配给最有可能产生训练样本的高斯分量,将训练数据分组成簇,用于模拟不同鸟类音频的聚类数必须因物种而异,取决于每种鸟类的声学变化来确定集群数量,用于模拟每种鸟类音频的聚类数的选择会影响分类精度,从一个单一的高斯分量开始,然后依次将一个选定的分量分解成两个新的高斯分量,重复选择和拆分过程,直到找到最合适数量的组件,使用贝斯模型用于查找要拆分的组件并确定适当的组件数目。
步骤A4、线性判别分析
线性判别分析被用来在各种鸟类之间提供更高的可区分性,进一步提高低维特征空间的分类精度,线性判别分析试图最小化类内距离,同时最大化类间距离,在线性判别分析中,确定对应于从d维特征空间到k维空间的映射的最佳变换矩阵,其中k<d,最大化的线性映射JF(A)为:JF(A)=tr((ATSWA)-1(ATSBA)),其中,A为映射矩阵,SW和SB分别表示类内散布矩阵和类间散布矩阵,类内散布矩阵SW为:
其中,S表示鸟类物种的总类数,Cs分配给第s种鸟类物种的特征向量,μs是第s种鸟类物种的平均向量;
类间散布矩阵SB为:其中,Ns表示第s种鸟类物种中的特征向量数,μ是所有训练向量的平均向量,将训练向量集的多元正态分布转化为球面正态分布,特征向量及其对应的特征值SW是经过计算的。设Φ表示变换矩阵,其列是SW的正交特征向量,Λ表示相应特征值的对角矩阵,从而得到,/>每个训练向量x通过进行变换得到x',/>白化矢量的类内散布矩阵S'W成为一个单位矩阵,白化矢量的类间散布矩阵/>包含所有的鉴别信息,变换矩阵Φ通过寻找S'B的特征向量来确定,假设特征值按降序排列,对应于最大k=(S-1)个特征值的特征向量将构成变换矩阵Ψ的列,最优变换矩阵ALDA被定义为:/>ALDA用于将每个主成分分析变换的d维特征向量变换为低维向量,xPCA表示一个d维主成分分析变换向量,线性判别分析变换的k维特征向量通过以下方式计算:/>
步骤A5、分类
基于最近邻分类器对每个音节进行分类,计算每个输入音节的特征向量,对每个特征值应用相同的规范化,利用主成分分析变换矩阵APCA和线性判别分析变换矩阵ALDA对归一化特征向量进行变换,得到最终的特征矢量f,每种鸟类的原型向量之间的距离用欧几里德距离来度量,sc代表分类鸟类种类的标准向量,是通过找到距离f最短的原型向量来确定,表示为: sc=arg min d(f,fs,j),1≤s≤S,1≤j≤Ns, fs,j表示第s种鸟类物种的第j个原型向量,Ns是第s种鸟类物种的原型向量的数量,通过sc确定音频的鸟类的种类。
本发明上述具体实施例为通过音频对鸟类进行分类或区分提供了一种新的工具,鸟类音频在不同物种之间是不同的,即使是同一物种也可能发出许多不同类型的音频,上述自动分类方法利用特征集二维梅谱系数和动态二维梅谱系数作为发声特征,对连续鸟类音频录音中的每个音节进行分类,从不同的录音中分割出测试音节和训练音节。将二维梅谱系数和动态二维梅谱系数结合起来,对28 种鸟类的分类精度可达84、06%,海洋空间资源中的鸟类的种类很容易被识别出来。
进一步的,根据本发明又一具体实施例,分离的具体过程如下:
步骤B1,傅里叶变换
对于一个任意分布函数x和一个测试函数ψ,在内积<,>上满足:
<x',ψ>=-<x,ψ'>,则对于鸟类音频信号s视为一个分布,其满足:
<s',wejω>=-<s',w'ejω>+jω<s,wejω>,其中<,>表示内积,'表示导数,w为有限时间窗函数,s为鸟类音频信号;具有频率ω傅里叶变换函数Sw(ω)写成: Sw(ω)=<s,wejω>。
步骤B2,转换正弦曲线函数:
s(t)表示正弦曲线函数,t表示时间,r(t)表示非平稳函数,rk表示非平稳参数,k表示阶数,C正整数,以下等式:
其中:
对于任何有限时间窗函数w,可用于定义相对于非平稳参数rk,k>0的线性方程组。
步骤B3,参数估计
估计出非平稳参数rk,k>0,估计出复平稳参数r0,根据得到/>其中,/>表示对非平稳函数r(t)的估计函数。
步骤B4,估算鸟类音频的频率变化
用估计值k>0代替参数rk,k>0,得到/>的估计值/>线性***以不同频率下的值Sw,Sw’,Stw形成,最宽的主瓣宽度为w(t)t,总共5个部分,将典型的鸟类音频的频率变化从真实记录中估算出来。
步骤B5,分离音频
频率下限ωL和频率上限ωH的频率和幅度估计值对Sw,Sw’,Stw的频谱进行划分,从而得到分离的单一的鸟类音频,下面进行识别。
进一步的,根据本发明另一具体实施例,单一的鸟类音频的识别方法包括模型匹配和小波识别两种。
具体的,模型匹配的具体过程如下:
步骤C1、采集数据
获取鸟类在不同地点和不同时期的单独音频记录,并提交给声纹数据库,按照44、1kHz采样率、1024帧以及50%有限时间窗的标准进行数据处理,获取标准频谱。
步骤C2、匹配模型
识别声场中的多个声源的任务使用已建立的多识别范例来完成,为了识别不同数量的鸟类音频源,引入了一个多重识别模型,多个声源观测值的当前状态随机决定以下状态以及它们之间的时间间隔如下表示:
其中,P表示条件概率,t表示特定时间,Yi表示第i个标准频谱,(Xn,Tn)表示观测值序列,Xn表示第n种状态,Tn表示第n种的时间,τn+1表示Tn+1-Tn时差,C表示正整数,观测值代表单个序列,则τn+1是已知的且固定,但如果观测值可能代表多个序列以及杂波噪声,则因果结构未知,τn+1被隐藏,在这种情况下,通过选择将数据划分为K个簇加上H个噪声事件来估计结构,从而使可能性最大化,即/>式中,L表示估计结构,pMRP(k)表示由单个MRP 生成的第k组中观测子序列的可能性,pNOISE(η)表示第η个噪声数据的可能性。
步骤C3、音频识别
使用互相关模板匹配范式来检测鸟类音频的单个音节,从标准频谱中检测音节,求取最大似然解从而实现对鸟类音频的识别。
值得注意的是,本发明具体实施例中上述技术从改进的基本谱图表示使用一系列的频谱库来推断有关调制正弦波的详细信息,这在鸟类音频尤其适用,实现了快速的音频识别。
进一步的,根据本发明又一具体实施例,小波变换的过程包括预处理、特征提取和识别,具体如下所述:
步骤D1、预处理
通过预处理对一段音节进行适当的分割以提取特征,具体为:
步骤D1.1、音节端点检测,如下所述:
步骤D1.1.1、计算帧大小为N=512的x[n]的短时傅里叶变换X[m,k],其中,m是帧编号,用于短时分析的汉明窗口wm[n]有以下形式;
步骤D1.1.2、通过对齐所有帧的频谱,形成信号的频谱图, X[m,k],m=1,2,...,M,其中M是x[n]的帧数;
步骤D1.1.3、对于每一帧m,找到具有最大幅度的频率仓binm,
步骤D1.1.4、初始化音节j,j=1;
步骤D1.1.5、计算出现最大幅度的帧t,音节j 幅度为Aj,则Aj=20log10|X[m,binm]|(dB);
步骤D1.1.6、从第t帧开始,向后和向前移动到第hj帧和第tj帧,如果二者的幅度和/>都小于(Aj-20),那么第hj帧和第tj帧被称为音节j的头帧和尾帧;
步骤D1.1.7、设置|X[m,binm]|=0,m=hj,hj+1,...,tj-1,tj;
步骤D1.1.8、j=j+1;
步骤D1.1.9、返回步骤1、1、6,直到Aj<Aj-1-20,通过以上步骤,得到每个音节的边界;
步骤D1.2、标准化和预增强
通过标准化过程调节由于记录环境的多样性而引起的语音幅度的差异,幅度线性归一化到[-1,1]区域,由于高频信号的幅度通常比低频信号的幅度小得多,因此采用了预相位技术来增强高频信号,增通过一个有限脉冲响应(FIR) 滤波器H(z)实现的,其形式如下:
H(z)=a·z-1,H(z)使得信号x(n)的滤波处理后的信号具有以下性质其中,a是相似度,介于0、9和1之间,本发明将其设为0.95。
步骤D1.3、分段
以一段音节为中心进行切分,而不是单个音节的切分,由于鸟类音频的音节通常是重复的,提取一段音节的特征向量对于鸟类音频识别是很有实用价值的。在端点检测、归一化和预加重之后,通过检测音节的重复来完成切分过程。
步骤D1.3.1、将i=1设为分段的第一个音节的索引;
步骤D1.3.2、找出音节i和j之间的相似度a小于simij的音节j好,其中j 是分段的最后一个音节;
步骤D1.3.3、设置分段长度l=j;
步骤D1.3.4、设置k=j+1;
步骤D1.3.5、设定i=1,l=j;
步骤D1.3.6、计算音节k和音节i之间的相似性simki;
步骤D1.3.7、如果simki>a(同类型),并且l=k-j,则停止分段,分段是从音节1到音节l。如果i=j,则j=j+1转到步骤D1.3.5;否则,设置i=i+1 和k=k+1,然后转到步骤D1.3.6;
步骤D1.3.8、如果i=i+1,则j=j+1,转到步骤D1.3.5;
步骤D1.3.9、设置k1,1,l1,然后转到步骤D1.3.6;两个音节之间的相似性是通过计算相应频率仓的幅度之间的差异来确定的,由于鸟类音频的音节类型通常在6以内,a被设置为使l满足2<l<8的值,分段后,对分段后的音节进行对齐以进行特征提取。
步骤D2、特征提取
音节分段后,计算鸟类音频的特征向量对齐音节,获取特征向量小波倒谱变换具体为:
步骤D2.1、计算每个帧的倒谱系数,计算每个帧的倒谱系数的步骤如下:
步骤D2.1.1、计算每个帧信号的快速傅立叶变换,
步骤D2.1.2、计算每个三角形滤波器带的能量,
式中,φj[k]表示第j个三角形滤波器在频率k处的幅度,Ej表示第j个滤波器带的能量,J是三角形滤波器的数量。
步骤D2.1.3、用余弦变换计算倒谱系数,
其中ci(m)表示第i帧的m阶倒谱系数。
步骤D2.2、使用小波倒谱变换形成的特征向量,在获得对齐鸟类音频信号每帧的倒谱系数后,通过计算小波倒谱变换来获得鸟类音频的特征向量。
步骤D2.2.1、采集对齐信号所有帧的倒谱系数,
{c1(0),c1(1),...,c1(L-1),...,ci(0),...,ci(L-1),...},
式中,L是倒谱系数的总阶数;
步骤D2.2.2、对齐相同顺序的倒谱系数,
sm[n]=[c1(m),c2(m),...,ci(m),...],m=0,...,L-1,
步骤D2.2.3、计算sm[n]的三级小波变换,
其中,δ[n]和d[n]表示 sm[n]的低频和高频分量,h0[k]和h1[k]是变换中应用的低通和高通滤波器,为:
h0[k]=[0.3327,0.8069,0.4599,-0.1350,-0.0854,0.0352],
h1[k]=[0.0352,0.0854,-0.1350,-0.4599,0.8069,-0.3327],
sm[n]的六个序列进行小波倒谱变换转换,表示为
步骤D2.2.4、计算六个序列中每个序列的平均值,表示为
步骤D2.2.5、利用所有前五阶倒谱系数序列的六个平均值形成特征向量
步骤D3、使用BP神经网络进行识别
在训练过程中,训练音节的特征向量作为输入,对应的鸟类物种作为期望输出,输入层的节点数等于训练向量的维数,而输出层的节点数等于鸟种的数量。隐藏层中的节点数被设置为另外两层的平均值,隐藏节点和输出节点使用激活函数,一个测试鸟类音频是通过与训练部分相同的过程获得的。将特征向量输入到bp神经网络后,网络的输出表明了测试鸟叫声所属的物种类别。
目前的鸟叫声识别技术大多数是利用单个音节的特征来构成每种鸟类的特征向量,本发明不使用单个音节,而是使用包含一个音节周期的鸟类音频片段来提取特征向量。实验结果表明,与传统方法相比,该方法明显提高了识别率。该方法在检测每个音节的范围后,对包含一个音节周期的鸟类音频片段进行分割。
以上所述实施方式仅表达了本发明的一种实施方式,但并不能因此而理解为对本发明范围的限制。应当指出,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (1)
1.一种具有自动分类的海洋空间资源管理***及其自动分类方法,包括业务层、数据层、展现层,
业务层包括用户***、业务***、算法***三大***组成,用户***主要用来管理平台用户操作行为及信息管理;业务***用于管理整个平台模块之间的业务,包括如音频地址管理、鸟类声纹采集、鸟类音频识别信息等;算法***通过人工智能声纹识别检测音频中的鸟类的类型并给出合理的检测反馈信息;
数据层用于数据存储,分为数据中心、***数据库、声纹数据库,数据中心用于存储各种业务数据,包括鸟类识别种类、数量、日期、位置等;***数据库存储***模块之间的业务关系数据,包括声纹、音频存放地址等;声纹数据库存储所有鸟类音频数据;
展现层通过WEB端输出各功能模块之间交互返回的结果,开放API接口调用方法开发者可通过相关开放接口地址按照提供的调用规则进行调用;
业务***通过音频提取设备获取岛上的各种鸟类音频并提供频谱-时间空间界面进行录制、定位、分析、注解、分类,算法***作为后台***通过人工智能声纹识别实现相应的功能,人工智能声纹识别包括噪声去除、多音频分离、自动分类、单一识别;
其中,业务***实现了鸟类声纹采集,使用音频提取设备提取声源以及方向,音频提取设备包括麦克风阵列和数据处理设备,在数据处理设备上使用频谱-时间空间界面来编辑采集到的音频文件,能够观察声源在二维特征空间上的分布,了解录音中的声音种类,从而了解声音景观的组成部分,通过在空间上分组相似的声音来对其进行分类;用户在可视化的频谱-时间空间界面上对声源进行录制、定位、分析、注解、分类,用户可以在窗口左侧择要操作的文件或文件夹,在右侧更改操作设置或执行各项功能;
在录制部分,用户使用麦克风阵列以16kHz和16位格式开始录制,并回放或分割录音,***支持连接到数据处理设备的多个麦克风阵列同时录制,支持二维定位进行同步记录,通过设置文件的分区数或每个文件的记录时间,将一个记录文件分成若干个记录文件,以便在分析长期记录之前找到适合本地化的参数设置;
在定位部分,基于多信号分类方法使用具有短时傅立叶变换的多个频谱图进行声源定位,并提取分离的声音作为每个本地化声音的波形文件,在右边的列表中设置与鸟类音频定位和分离相关的基本参数值,通过在网络文件中定义参数名称和相应的标记来将附加参数添加到列表中,有助于根据环境和目标声音的声学特性更恰当地定位声源,定位和声音分离的整体结果输出到一个文件夹中并保存在声纹数据库;
在分析部分,直观地分析声音的时间分布和方向性,通过导出文件按钮,以指定总页数的PDF格式输出频谱图和定位结果,有助于以适当的时间尺度概述结果,所有声源的数据,包括它们的方向和持续时间等,都以JSON文件的形式输出,加载到注释工具并保存在声纹数据库;
在注解部分,注解窗口顶部面板显示记录的频谱图,在x轴显示时间刻度和焦点时间段,焦点时间段和显示时间刻度可以调整,y轴显示在方向上对应的音频和声源,注解窗口中的x轴的每个框表示开始(左边缘)和结束(右边缘)时间以及y轴则显示相应源开始时间的方向,每个框的颜色代表其类,单击每个本地化声音的框,右侧显示声音本地化信息,可手动编辑信息,回放原录音中分离声音或持续时间的对应文件,支持编辑操作的撤消过程,通过拖动相应的框来修改每个源的位置,将修改后的数据以JSON文件形式保存在声纹数据库;
在分类部分,以使用所有分离声音的频谱图作为数据集,对局部声源进行降维,采用学***面上,可视化分布,通过参数设置进行网格搜索,对局部声音进行分类,参数包括复杂度、学习率、迭代次数等,在提取出合适的降维结果后,使用一个接口在特征空间上对声源进行可视化,在用于分类工具的界面,以节点的形式显示分离的声源,通过单击每个节点,频谱图将显示在另一个窗口中,并回放分离的声音,一组节点可以被划分为一个类,用一个框架包围,并指定,这个分组可以通过简单的键盘操作和鼠标操作完成,允许用户一次对相似的声音进行分类,用户在编辑频谱图时还可以选择噪声去除,通过关闭窗口,分类数据以JSON文件形式保存在声纹数据库;
其中,噪声去除包括片段分割和事件检测的具体过程如下:
片段分割具体为:
步骤1、通过短时傅里叶变换对音频数据进行处理;
步骤2、分割检测,
步骤3、依据绝对最大值进行归一化,
步骤4、移除高于20kHz和低于340kHz的频率赫兹得音频;自然界中这些频率中没有鸟叫声发生,因此是噪声予以滤出;
步骤5、通过对每一频率和每一时间帧的频谱图进行中值剪切得到二值图像,以消除噪声,具体为:如果频谱图中的像素值大于其对应行和列中值的3倍,则将像素设为1,否则设为0;
步骤6、应用闭合运算以填充当前功能任何小孔,闭合运算应用于大小为(3,3)的矩形邻域;
步骤7、移除小于5像素的连接组件;
步骤8、在大小为(7,7)的矩形邻域中应用膨胀扩张,膨胀算法将位于(i,
j)处的像素设置为以(i,j)为中心的邻域中所有像素的最大值,扩张是为了扩大包含特征的区域(即发声),并去除可以被认为是噪声的小物体;
步骤9、使用中值滤波器对图像滤波;
步骤10、移除小于150像素部分,从而将二值频谱图像切分;
步骤11、在半径为3的圆形区域重新进行扩张;
步骤12、将所有连接的像素定义为一个片段,进行片段分割;
步骤13、计算每个片段的大小和位置;
事件检测具体为:
对于每个片段,创建可标签列表,初始化为包含该片段的记录的弱标签,分类过程将通过演绎消除该片段中不太可能出现的标签,将该片段的列表缩短为一个或多个标签,每个需要标记的片段通过匹配模板函数进行归一化相关,与不同的记录进行匹配,以获得所有可能的标签匹配,归一化相关用于将模板与二维目标图像匹配,与目标图像大小相同的响应图像,模板和目标图像之间的相关系数在-1、0和1、0之间,通过搜索响应图像中的最大峰值,找到片段与特定记录之间的匹配值,相似的鸟叫声应该出现在相似的频率上,将匹配模板应用于较小的频率范围,从而减少了计算量,这一过程分为三个不同的过程,即第一道、第二道和第三道,这三种方法都按顺序应用于记录,如下所述:
步骤S1、第一次匹配
为每个片段创建一组记录来查找匹配,表示由初始化列表生成的不同标签组合,录制在其弱标签中存在标签,对于需要标签的每个片段,将搜索记录列表,增加弱标签的数量,直到找到匹配项或不再有剩余的记录,匹配模板返回响应图像中的最大峰值,当匹配模板返回的相似率为0、4或更大时,为找到匹配;
步骤S2、第二次匹配
第二次匹配解决第一次匹配未匹配片段,音频记录的所有标签至少分配给一个片段,当音频记录中有未匹配片段和没有对应段的标签时,将未分配的标签分配给所有未匹配片段;
步骤S3、第三次匹配,
两次匹配后,音频记录中可能仍有未分配的标签,需要将音频记录的所有标签分配给至少一个片段,在所有片段段都有标签但某些弱标签没有分配给任何段的记录中,必须有一些标签被分配到多个段(很可能是错误的),可能不止一个段有这个标签,但是当一个标签未被分配时,假设与同一个标签匹配的其中一个片段被错误分类,在其余标签的多个片段中搜索任何未分配标签的最佳匹配;如果找到匹配项,则从其派生的段的标签将更改为未分配的标签;
其中,分离的具体过程如下:
步骤B1,傅里叶变换,
对于一个任意分布函数x和一个测试函数ψ,在内积<,>上满足:<x',ψ>=-<x,ψ'>,则对于鸟类音频信号s视为一个分布,其满足:
<s',wejω>=-<s',w'ejω>+jω<s,wejω>
其中<,>表示内积,'表示导数,w为有限时间窗函数,s为鸟类音频信号;
具有频率ω傅里叶变换函数Sw(ω)写成:Sw(ω)=<s,wejω>,
步骤B2,转换正弦曲线函数:
s(t)表示正弦曲线函数,t表示时间,r(t)表示非平稳函数,rk表示非平稳参数,k表示阶数,C正整数,
以下等式:
其中:
对于任何有限时间窗函数w,可用于定义相对于非平稳参数rk,k>0的线性方程组;
步骤B3,参数估计,
估计出非平稳参数rk,k>0,估计出复平稳参数r0,根据得到/>
其中,表示对非平稳函数r(t)的估计函数,
步骤B4,估算鸟类音频的频率变化,
用估计值k>0代替参数rk,k>0,得到/>的估计值/>线性***以不同频率下的值Sw,Sw’,Stw形成,最宽的主瓣宽度为w(t)t,总共5个部分,将典型的鸟类音频的频率变化从真实记录中估算出来;
步骤B5,分离音频,
频率下限ωL和频率上限ωH的频率和幅度估计值对Sw,Sw’,Stw的频谱进行划分,从而得到分离的单一的鸟类音频,下面进行识别;
其中,单一的鸟类音频的识别方法包括模型匹配和小波识别两种,
其中,模型匹配的具体过程如下:
步骤C1、采集数据,
获取鸟类在不同地点和不同时期的单独音频记录,并提交给声纹数据库,按照44、1kHz采样率、1024帧以及50%有限时间窗的标准进行数据处理,获取标准频谱;
步骤C2、匹配模型
识别声场中的多个声源的任务使用已建立的多识别范例来完成,为了识别不同数量的鸟类音频源,引入了一个多重识别模型,
多个声源观测值的当前状态随机决定以下状态以及它们之间的时间间隔如下表示:
其中,P表示条件概率,t表示特定时间,Yi表示第i个标准频谱,(Xn,Tn)表示观测值序列,Xn表示第n种状态,Tn表示第n种的时间,τn+1表示Tn+1-Tn时差,C表示正整数,
观测值代表单个序列,则τn+1是已知的且固定,但如果观测值可能代表多个序列以及杂波噪声,则因果结构未知,τn+1被隐藏,在这种情况下,通过选择将数据划分为K个簇加上H个噪声事件来估计结构,从而使可能性最大化,即
式中,L表示估计结构,pMRP(k)表示由单个MRP生成的第k组中观测子序列的可能性,pNOISE(η)表示第η个噪声数据的可能性;
步骤C3、音频识别,
使用互相关模板匹配范式来检测鸟类音频的单个音节,从标准频谱中检测音节,求取最大似然解从而实现对鸟类音频的识别,
其中,小波变换的过程包括预处理、特征提取和识别,具体如下所述,
步骤D1、预处理,
通过预处理对一段音节进行适当的分割以提取特征,具体为:
步骤D1、1、音节端点检测,如下所述:
步骤D1、1、1、计算帧大小为N=512的x[n]的短时傅里叶变换X[m,k],
其中,m是帧编号,用于短时分析的汉明窗口wm[n]有以下形式;
步骤D1、1、2、通过对齐所有帧的频谱,形成信号的频谱图,X[m,k],m=1,2,...,M,
其中M是x[n]的帧数;
步骤D1、1、3、对于每一帧m,找到具有最大幅度的频率仓binm,
步骤D1、1、4、初始化音节j,j=1
步骤D1、1、5、计算出现最大幅度的帧t,
音节j幅度为Aj,则
Aj=20log10|X[m,binm]|(dB)
步骤D1、1、6、从第t帧开始,向后和向前移动到第hj帧和第tj帧,如果二者的幅度和/>都小于(Aj-20),那么第hj帧和第tj帧被称为音节j的头帧和尾帧;
步骤D1、1、7、设置|X[m,binm]|=0,m=hj,hj+1,...,tj-1,tj;
步骤D1、1、8、j=j+1;
步骤D1、1、9、返回步骤D1、1、6,直到Aj<Aj-1-20,通过以上步骤,得到每个音节的边界;
步骤D1、2、标准化和预增强
通过标准化过程调节由于记录环境的多样性而引起的语音幅度的差异,幅度线性归一化到[-1,1]区域,由于高频信号的幅度通常比低频信号的幅度小得多,因此采用了预相位技术来增强高频信号,增通过一个有限脉冲响应(FIR)滤波器H(z)实现的,其形式如下:
H(z)=a·z-1,
H(z)使得信号x(n)的滤波处理后的信号具有以下性质x/>
其中,a是相似度,介于0、9和1之间,本发明将其设为0.95;
步骤D1.3、分段
以一段音节为中心进行切分,而不是单个音节的切分,由于鸟类音频的音节通常是重复的,提取一段音节的特征向量对于鸟类音频识别是很有实用价值的;在端点检测、归一化和预加重之后,通过检测音节的重复来完成切分过程;
步骤D1.3.1、将i=1设为分段的第一个音节的索引;
步骤D1.3.2、找出音节i和j之间的相似度a小于simij的音节,其中j是分段的最后一个音节;
步骤D1.3.3、设置分段长度l=j;
步骤D1.3.4、设置k=j+1;
步骤D1.3.5、设定i=1,l=j;
步骤D1.3.6、计算音节k和音节i之间的相似性simki;
步骤D1.3.7、如果simki>a(同类型),并且l=k-j,则停止分段,分段是从音节1到音节l;
如果i=j,则j=j+1转到步骤1.3.5;
否则,设置i=i+1和k=k+1,然后转到步骤1.3.6;
步骤D1.3.8、如果i=i+1,则j=j+1,转到步骤1.3.5;
步骤D1.3.9、设置k=k+1,l=l+1,然后转到步骤1.3.6;
两个音节之间的相似性是通过计算相应频率仓的幅度之间的差异来确定的,由于鸟类音频的音节类型通常在6以内,a被设置为使l满足2<l<8的值,分段后,对分段后的音节进行对齐以进行特征提取;
步骤D2、特征提取,
音节分段后,计算鸟类音频的特征向量对齐音节,获取特征向量小波倒谱变换具体为:
步骤D2.1、计算每个帧的倒谱系数,计算每个帧的倒谱系数的步骤如下:
步骤D2.1.1、计算每个帧信号的快速傅立叶变换,
步骤D2.1.2、计算每个三角形滤波器带的能量,
式中,φj[k]表示第j个三角形滤波器在频率k处的幅度,Ej表示第j个滤波器带的能量,J是三角形滤波器的数量;
步骤D2.1.3、用余弦变换计算倒谱系数,
其中ci(m)表示第i帧的m阶倒谱系数;
步骤D2.2、使用小波倒谱变换形成的特征向量,在获得对齐鸟类音频信号每帧的倒谱系数后,通过计算小波倒谱变换来获得鸟类音频的特征向量,如下所述:
步骤D2.2.1、采集对齐信号所有帧的倒谱系数,
{c1(0),c1(1),...,c1(L-1),...,ci(0),...,ci(L-1),...},
式中,L是倒谱系数的总阶数;
步骤D2.2.2、对齐相同顺序的倒谱系数,
sm[n]=[c1(m),c2(m),...,ci(m),...],m=0,...,L-1,
步骤2.2.3、计算sm[n]的三级小波变换,
其中,δ[n]和d[n]表示sm[n]的低频和高频分量,h0[k]和h1[k]是变换中应用的低通和高通滤波器,为:
h0[k]=[0.3327,0.8069,0.4599,-0.1350,-0.0854,0.0352]
h1[k]=[0.0352,0.0854,-0.1350,-0.4599,0.8069,-0.3327]
sm[n]的六个序列进行小波倒谱变换转换,表示为
步骤D2.2.4、计算六个序列中每个序列的平均值,表示为
步骤D2.2.5、利用所有前五阶倒谱系数序列的六个平均值形成特征向量
步骤D3、使用BP神经网络进行识别,
在训练过程中,训练音节的特征向量作为输入,对应的鸟类物种作为期望输出,输入层的节点数等于训练向量的维数,而输出层的节点数等于鸟种的数量;隐藏层中的节点数被设置为另外两层的平均值,隐藏节点和输出节点使用激活函数,一个测试鸟类音频是通过与训练部分相同的过程获得的;将特征向量输入到bp神经网络后,网络的输出表明了测试鸟叫声所属的物种类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011567868.1A CN112735443B (zh) | 2020-12-25 | 2020-12-25 | 一种具有自动分类的海洋空间资源管理***及其自动分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011567868.1A CN112735443B (zh) | 2020-12-25 | 2020-12-25 | 一种具有自动分类的海洋空间资源管理***及其自动分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112735443A CN112735443A (zh) | 2021-04-30 |
CN112735443B true CN112735443B (zh) | 2024-06-07 |
Family
ID=75616606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011567868.1A Active CN112735443B (zh) | 2020-12-25 | 2020-12-25 | 一种具有自动分类的海洋空间资源管理***及其自动分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112735443B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117743931A (zh) * | 2023-12-19 | 2024-03-22 | 深圳大学 | 融合多源城市数据的声景预测模型训练方法和预测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103489446A (zh) * | 2013-10-10 | 2014-01-01 | 福州大学 | 复杂环境下基于自适应能量检测的鸟鸣识别方法 |
CN108630209A (zh) * | 2018-04-24 | 2018-10-09 | 中国科学院深海科学与工程研究所 | 一种基于特征融合与深度置信网络的海洋生物识别方法 |
CN108986799A (zh) * | 2018-09-05 | 2018-12-11 | 河海大学 | 一种基于倒谱滤波的混响参数估计方法 |
CN110246504A (zh) * | 2019-05-20 | 2019-09-17 | 平安科技(深圳)有限公司 | 鸟类声音识别方法、装置、计算机设备和存储介质 |
CN111862993A (zh) * | 2020-08-10 | 2020-10-30 | 江苏叁拾柒号仓智能科技有限公司 | 一种基于卷积神经网络的野生动物优化的识别算法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9058384B2 (en) * | 2012-04-05 | 2015-06-16 | Wisconsin Alumni Research Foundation | System and method for identification of highly-variable vocalizations |
-
2020
- 2020-12-25 CN CN202011567868.1A patent/CN112735443B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103489446A (zh) * | 2013-10-10 | 2014-01-01 | 福州大学 | 复杂环境下基于自适应能量检测的鸟鸣识别方法 |
CN108630209A (zh) * | 2018-04-24 | 2018-10-09 | 中国科学院深海科学与工程研究所 | 一种基于特征融合与深度置信网络的海洋生物识别方法 |
CN108986799A (zh) * | 2018-09-05 | 2018-12-11 | 河海大学 | 一种基于倒谱滤波的混响参数估计方法 |
CN110246504A (zh) * | 2019-05-20 | 2019-09-17 | 平安科技(深圳)有限公司 | 鸟类声音识别方法、装置、计算机设备和存储介质 |
CN111862993A (zh) * | 2020-08-10 | 2020-10-30 | 江苏叁拾柒号仓智能科技有限公司 | 一种基于卷积神经网络的野生动物优化的识别算法 |
Non-Patent Citations (3)
Title |
---|
Automatic Classification of Bird Species From Their Sounds Using Two-Dimensional Cepstral Coefficients;Chang-Hsing Lee等;IEEE Transactions on Audio, Speech and Language;第16卷(第8期);第1543-1547页 * |
Sun,R等.Nocturnal wild bird species indentification by sound information using wavelet.International Conference on Wavelet Active Media Technology and Information Processing.2012,第1-3. * |
基于多层能量检测的动物声音检测与识别;王浩安;中国优秀硕士学位论文全文数据库(电子期刊)(第9期);A005-22 * |
Also Published As
Publication number | Publication date |
---|---|
CN112735443A (zh) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Barchiesi et al. | Acoustic scene classification: Classifying environments from the sounds they produce | |
CN112750442B (zh) | 一种具有小波变换的朱鹮种群生态体系监测***及其方法 | |
CN112289326B (zh) | 一种利用具有噪音去除的鸟类识别综合管理***的噪音去除方法 | |
CN105023573B (zh) | 使用听觉注意力线索的语音音节/元音/音素边界检测 | |
Tzanetakis et al. | Marsyas: A framework for audio analysis | |
Hammer et al. | A seismic‐event spotting system for volcano fast‐response systems | |
US7082394B2 (en) | Noise-robust feature extraction using multi-layer principal component analysis | |
Stowell | Computational bioacoustic scene analysis | |
Kvsn et al. | Bioacoustics data analysis–A taxonomy, survey and open challenges | |
CN111724770B (zh) | 一种基于深度卷积生成对抗网络的音频关键词识别方法 | |
Xie et al. | Adaptive frequency scaled wavelet packet decomposition for frog call classification | |
CN109584904B (zh) | 应用于基础音乐视唱教育的视唱音频唱名识别建模方法 | |
Chaki | Pattern analysis based acoustic signal processing: a survey of the state-of-art | |
Fagerlund et al. | New parametric representations of bird sounds for automatic classification | |
Dong et al. | A novel representation of bioacoustic events for content-based search in field audio data | |
Wang et al. | Playing technique recognition by joint time–frequency scattering | |
CN112735443B (zh) | 一种具有自动分类的海洋空间资源管理***及其自动分类方法 | |
CN112687280B (zh) | 一种具有频谱-时间空间界面的生物多样性监测*** | |
CN112735442B (zh) | 一种具有音频分离声纹识别的湿地生态监测***及其音频分离方法 | |
CN112735444B (zh) | 一种具有模型匹配的中华凤头燕鸥识别***及其模型匹配方法 | |
CN105006231A (zh) | 基于模糊聚类决策树的分布式大型人口语者识别方法 | |
Ruiz-Muñoz et al. | Enhancing the dissimilarity-based classification of birdsong recordings | |
Huaysrijan et al. | Deep convolution neural network for Thai classical music instruments sound recognition | |
Yang et al. | Sound event detection in real-life audio using joint spectral and temporal features | |
Mohammed | Overlapped speech and music segmentation using singular spectrum analysis and random forests |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |