CN109001679B - 一种基于卷积神经网络的室内声源区域定位方法 - Google Patents
一种基于卷积神经网络的室内声源区域定位方法 Download PDFInfo
- Publication number
- CN109001679B CN109001679B CN201810611930.9A CN201810611930A CN109001679B CN 109001679 B CN109001679 B CN 109001679B CN 201810611930 A CN201810611930 A CN 201810611930A CN 109001679 B CN109001679 B CN 109001679B
- Authority
- CN
- China
- Prior art keywords
- neural network
- microphone
- convolutional neural
- sound
- sound source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000005236 sound signal Effects 0.000 claims abstract description 87
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 238000013100 final test Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 239000000654 additive Substances 0.000 claims description 6
- 230000000996 additive effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 11
- 230000007547 defect Effects 0.000 abstract description 8
- 230000004807 localization Effects 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000013529 biological neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
- G01S5/20—Position of source determined by a plurality of spaced direction-finders
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明一种基于卷积神经网络的室内声源区域定位方法,涉及应用声波确定信号源的位置的技术,通过将声源信号转化成语谱图的形式并输入到卷积神经网络中,实现室内单声源的区域定位,步骤是:建立信号模型;在建立信号模型的基础上,选取数据样本;将麦克风M0、麦克风M1、麦克风M2和麦克风M3所采集到的声音信号进行时频分析,并建立定位数据库;将构建好的定位数据库进行卷积神经网络的训练和实现基于卷积神经网络的室内声源区域定位。本发明克服了当人们所感兴趣的声源位置仅局限在某些预定义的区域内时,现有的声源定位技术就显现出在非结构化的室内环境中定位精度不足和适应性欠缺的缺陷。
Description
技术领域
本发明的技术方案涉及应用声波确定信号源的位置的技术,具体地说是一种基于卷积神经网络的室内声源区域定位方法。
背景技术
基于麦克风阵列的声源定位技术是近几年国内外的一项研究热点,现有的基于麦克风阵列的声源定位方法大体上可分为三类:基于最大输出功率的可控波束形成技术、高分辨率谱估计技术和基于声达时间差的声源定位技术。这些现有的方法大多基于声音传播和能量衰减的几何模型,由于受环境影响大,模型依赖度高的问题,将其应用于非结构化的室内环境中还存在一定的局限性。
由于机器学习的快速发展,许多技术领域的现存问题逐渐可以使用机器学习算法来解决,声源定位技术也不例外。越来越多的研究者开始研究基于机器学习算法,通过分类的手段进行声源定位。这类方法可以将混响带来的影响同样看成是一种特征,能够在一定程度上减小混响的影响,在小信噪比的情况下定位性能不至于迅速下降,比现有的时延定位方法有更强的鲁棒能力。当麦克风无法收到声源发出的直达声时,比起现有的基于麦克风阵列的声源定位方法来说,通过分类的手段进行声源定位同样有更强的鲁棒能力。
卷积神经网络是一种典型的深度神经网络,它相比于其它机器学***移、比例缩放、倾斜或者共他形式的变形具有高度不变性,可以达到更好的分类效果。
CN105976827A公开了一种基于集成学习的室内声源定位方法,利用集成学习的方法进行声源定位,集成学习是机器学习的一种,集成学习是将若干个分类器集合在一起的机器学习的方法,所以在信噪比较小的分类或回归问题上易产生过拟合,其声源定位的准确率在噪声较大时还不足60%。CN105512683A公开了基于卷积神经网络的目标定位方法及装置,是通过卷积神经网络进行目标定位,是一种目标检测的方式,跟声音信号处理无关,另外,由于CN105512683A的技术方案是采用对数据的特征提取和目标分类分步进行,并利用级联的SVM分类器进行训练,存在增加了算法的复杂性和影响目标定位的准确率的缺陷。
总之,当人们所感兴趣的声源位置仅局限在某些预定义的区域内时,上述现有的声源定位技术就显现出在非结构化的室内环境中定位精度不足和适应性欠缺的缺陷。
发明内容
本发明所要解决的技术问题是:提供一种基于卷积神经网络的室内声源区域定位方法,通过将声源信号转化成语谱图的形式并输入到卷积神经网络中,实现室内单声源的区域定位,克服了当人们所感兴趣的声源位置仅局限在某些预定义的区域内时,现有的声源定位技术就显现出在非结构化的室内环境中定位精度不足和适应性欠缺的缺陷。
本发明解决该技术问题所采用的技术方案是:一种基于卷积神经网络的室内声源区域定位方法,具体步骤如下:
第一步,建立信号模型:
建立信号模型的详细过程是,在非结构化的室内环境中,在二维空间内设置一个单一固定声源s(t),对于由M=4个麦克风组成的阵列,则第i个麦克风接收到的声音信号为如下公式(1)所示:
xi(t)=αis(t-τi)+ni(t)i=1,2,...,M(1),
公式(1)中,xi(t)表示第i个麦克风接收到的声音信号,i表示第i个麦克风,αi和τi分别表示接收到声源的声音信号的幅度衰减因子和相对时延,ni(t)则是各种噪声信号的总和,设定声音信号与各麦克风接收到的噪声信号互不相关,各麦克风的噪声信号也不相关,实验数据在matlab环境下产生,模拟的是室内环境,各个麦克风之间与声源的距离不同,接收到的声音信号不仅存在相位差异,还存在声波在空气中传播造成的幅度衰减,这样通过如下公式(2)给各个麦克风接收到的声音信号一个5000点的随机延迟,
t′=(rand×2-1)×5000(2),
上述公式(2)中,t′表示随机延迟时间,rand表示产生(0~1)之间的均匀随机数,通过如下信噪比公式(3)对声音信号增加高斯白噪声,
上述公式(4)中,s表示距离d处麦克风接收到声音信号的能量,s0表示点声源处声音信号的能量,d是声源到接收点的距离,由此完成建立信号模型;
第二步,在建立信号模型的基础上,选取数据样本:
(2.1)测定待定位区域的面积,在二维空间下均匀布置1089个定位参考点;
(2.2)在上述第二步的步骤(2.1)的待定位区域内设定四个声音采集点,分别放置麦克风M0、麦克风M1、麦克风M2和麦克风M3,设置为在二维坐标系下的麦克风阵列M0,M1,M2,M3,相邻麦克风的间距均为L=10.2m,麦克风M0为坐标原点,在麦克风阵列M0,M1,M2,M3所构成的方阵中均匀布置1089个参考点,在上述第一步中的在二维空间内设置的一个单一固定声源s(t)在任意位置处的参考点的坐标为(xi,yi)能够得到1089个数据样本,由此完成选取数据样本;
第三步,将麦克风M0、麦克风M1、麦克风M2和麦克风M3所采集到的声音信号进行时频分析,并建立定位数据库:
(3.1)对上述第二步的步骤(2.2)放置的麦克风M0、麦克风M1、麦克风M2和麦克风M3所采集到的声音信号进行时频分析,得到上述第二步中所布置的各个参考点的声音信号的语谱图样本,生成语谱图的操作如下:
Ⅰ.由麦克风接收声音信号得到采样频率,
Ⅱ.将这些声音信号放在数组中并计算长度,
Ⅲ.对这些声音信号进行分帧加窗处理得到分帧数据,
Ⅳ.对上述得到的分帧数据进行短时傅里叶变换,
Ⅴ.生成语谱图;
(3.2)将上述第二步的步骤(2.1)中的待定位区域分成九块子区域,并为上述第三步的步骤(3.1)得到的每块子区域的声音信号的语谱图样本制作标签,随机选取声音信号的语谱图样本的90%作为训练样本,在训练样本选定之后剩余的声音信号的语谱图样本的10%作为测试样本;
由此完成定位数据库的建立;
第四步,将构建好的定位数据库进行卷积神经网络的训练和实现基于卷积神经网络的室内声源区域定位:
将上述第三步中构建好的定位数据库进行卷积神经网络的训练和实现基于卷积神经网络的室内声源区域定位,具体方法如下:
(4.1)在Ubuntu上搭建Tensorflow深度学习框架;
(4.2)建立卷积神经网络模型,具体方法如下:
卷积神经网络模型有四个卷积层和四个池化层,最后通过softmax分类器和三个全连接层输出结果,该卷积神经网络的网络结构为:
Conv1(5×5,32)+P1+Conv2(5×5,64)+P2+Conv3(3×3,128)+P3+Conv4(3×3,128)+P4+FC1(1024)+FC2(512)+FC3(9),其中Conv表示卷积层,P表示池化层,FC表示全连接层,括号内分别表示卷积核的大小和个数,全连接层括号内为神经元的个数,多个卷积层和池化层交替组合构成了特征提取阶段,卷积层各平面由公式(5)决定:
采样层对上一层的特征图进行局部平均和二次特征提取,其各平面由公式(6)决定,
由此完成建立卷积神经网络模型,并将上述第三步中的步骤(3.1)得到的90%作为训练样本的每块子区域的声音信号的语谱图样本作为该建立的卷积神经网络的输入,得到训练样本训练初始化的卷积神经网络模型;
(4.3)卷积神经网络的训练及测试:
用上述第四步的步骤(4.2)的训练样本训练初始化的卷积神经网络模型进行卷积神经网络的训练,得到训练好的卷积神经网络模型;
用上述第四步的步骤(4.3)训练好的卷积神经网络模型对上述第三步中的步骤(3.2)中的测试样本进行预测,进行卷积神经网络的测试,得到分类结果即室内待定位区域内的声源所属的区域位置,并通过tensorboard工具对最终的测试结果可视化;
由此完成构建好的定位数据库进行卷积神经网络的训练和实现基于卷积神经网络的室内声源区域定位;
由此最终实现基于卷积神经网络的室内声源区域定位。
上述一种基于卷积神经网络的室内声源区域定位方法,所述第三步的步骤(3.1)中提及的进行时频分析的具体方法如下:
声音信号的采样频率为100kHz,在麦克风阵列M0,M1,M2,M3所构成的方阵中均匀布置1089个参考点中的每个参考点位置处生成四个语谱图,这些语谱图分别由麦克风M0,M1,M2,M3接收到的声音信号得到,将四个语谱图合并为一幅图,这样在一个语谱图中可以看到信号幅值的大小所对应的语谱图中颜色的强弱,其生成语谱图的数学表达式如下公式(7)式所示:
公式(7)中,ω表示角频率,j为虚数,X(ω,τ)是一个二维函数,表示中心点位于τ的加窗声音的傅里叶变换,ω(k,τ)是一个长度为N的窗函数,x(k)表示谐波分量序号k=0,1,…,N-1的声音信号。
上述一种基于卷积神经网络的室内声源区域定位方法,所述第三步中的步骤(3.2)中声音信号的语谱图样本为100×100大小的彩色语谱图。
上述一种基于卷积神经网络的室内声源区域定位方法,所述分帧加窗处理、短时傅里叶变换、Ubuntu、Tensorflow是本领域公知的方法。
本发明的有益效果是:与现有技术相比,本发明具有的突出性质特点如下:
(1)CN105976827A公开了一种基于集成学习的室内声源定位方法是利用集成学习的方法进行声源定位,集成学习是机器学习的一种,集成学习是将若干个分类器集合在一起的机器学习的方法,所以在信噪比较小的分类或回归问题上易产生过拟合,其声源定位的准确率在噪声较大时还不足60%。本发明的技术方案是基于卷积神经网络进行声源区域定位,卷积神经网络属于深度学习的一种。两者有实质性的区别。
(2)CN105512683A公开了基于卷积神经网络的目标定位方法及装置,是通过卷积神经网络进行目标定位,是一种目标检测的方式,跟声音信号处理无关,另外,由于CN105512683A的技术方案是采用对数据的特征提取和目标分类分步进行,并利用级联的SVM分类器进行训练,存在增加了算法的复杂性和影响目标定位的准确率的缺陷。本发明的技术方案则是基于卷积神经网络进行声源定位。目标定位与声源定位有实质性的区别。
(3)本发明发明人团队早先的专利技术CN104865555B一种基于声音位置指纹的室内声源定位方法存在需要借助信号处理的多种方法完成特征提取,运算量较大,耗费时间长的缺陷。为了克服CN104865555B所存在的缺陷,使声源定位技术有一个质的飞跃,本发明发明人团队研发了全新的“一种基于卷积神经网络的室内声源区域定位方法”,利用卷积神经网络权值共享的网络结构,将声音信号的语谱图直接作为网络的输入,避免了复杂的特征提取和数据重建过程,克服了CN104865555B技术方案中在构建位置指纹库之前对于声源信号特征提取的复杂的过程。在此,需要阐明的是:在CN104865555B的基础上获得本发明一种基于卷积神经网络的室内声源区域定位方法所要求保护的技术方案不是本领域技术人员轻而易举就能得到的,经过三年时间的辛勤研究,本发明人将深度学习领域与声源定位突破性的结合在一起,选择了在声音信号处理中应用广泛的卷积神经网络。由于卷积神经网络权值共享的优点在处理多维图像时表现的更为明显,所以经查阅大量文献及相关书籍,本发明人发现语谱图是声音信号的可视化表示,其中包含了大量的声纹信息,将这种含有深层特征的三维频谱作为输入正好符合卷积神经网络独有的性质特点。本发明人通过对卷积神经网络的结构特点详细的研究,经过反复训练和验证选取了最合适的网络结构,提高了声源区域定位的准确率。
与现有技术相比,本发明具有的显著进步如下:
(1)卷积神经网络是一种典型的深度神经网络,它相比于其它机器学***移、比例缩放、倾斜或者共他形式的变形具有高度不变性,可以达到更好的分类效果。
(2)本发明一种基于卷积神经网络的室内声源区域定位方法,通过将声源信号转化成语谱图的形式并输入到卷积神经网络中,实现室内单声源的区域定位,克服了当人们所感兴趣的声源位置仅局限在某些预定义的区域内时,现有的声源定位技术就显现出在非结构化的室内环境中定位精度不足和适应性欠缺的缺陷。
(3)本发明通过将声源信号转换成语谱图的形式并输入到卷积神经网络中,实现了室内声源的区域定位,提高了在一些小信噪比或者恶劣的环境下的鲁棒能力。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明设置的在二维坐标系下的麦克风阵列模型示意图。
图2为本发明的语谱图的实现过程示意图。
图3为本发明四路麦克风合并后的语谱图。
图4为本发明的待定位区域分区示意图。
图5为本发明的卷积神经网络的结构示意图。
图6为本发明的卷积神经网络的训练的准确率和损失函数的变化曲线图,其中,
图6(a)为本发明的卷积神经网络的训练的准确率的变化曲线图。
图6(b)为本发明的卷积神经网络的训练的损失函数的变化曲线图。
图7为本发明的卷积神经网络的测试准确率和损失函数的变化曲线图,其中,
图7(a)为本发明的卷积神经网络的测试准确率的变化曲线图。
图7(b)为本发明的卷积神经网络的测试损失函数的变化曲线图。
具体实施方式
图1所示实施例表明,定位区域内设定四个声音采集点为:(0,0)、(d,0)、(d,d)、(0,d),四个声音采集点上分别放置麦克风M0、麦克风M1、麦克风M2和麦克风M3,设置为在二维坐标系下的麦克风阵列M0,M1,M2,M3,相邻麦克风的间距均为L=10.2m,麦克风M0为坐标原点,在麦克风阵列M0,M1,M2,M3所构成的方阵中均匀布置1089个参考点,得到1089个数据样本,声源在任意位置处的参考点的坐标为(xi,yi),分别距M0,M1,M2,M3的距离为r0,r1,r2,r3。
图2所示实施例表明,本发明的语谱图的实现过程示是:首先对声音信号进行分帧加窗,然后进行短时傅里叶变换,其次对得到的能量谱密度进行伪彩色映射,从而完成语谱图的生成。
图3显示了本发明四路麦克风合并后的语谱图,该图表明:四路麦克风接收到的四组声音信号为一个数据样本,故将四个语谱图合并为一幅图,这样在一个语谱图中就看到声音信号幅值的大小所对应的语谱图中颜色的强弱。
图4所示实施例表明,定位区域内设定四个声音采集点为:(0,0)、(d,0)、(d,d)、(0,d),四个声音采集点上分别放置麦克风M0、麦克风M1、麦克风M2和麦克风M3,设置为在二维坐标系下的麦克风阵列M0,M1,M2,M3,相邻麦克风的间距均为L=10.2m,横坐标选取(0),(0)划分,纵坐标选取(0,),(0,)划分,将待定位区域分成九块子区域,并为每块子区域的声源信号的语谱图样本制作标签(0,1,2,3,4,5,6,7,8),选取声源信号的语谱图样本的90%作为训练样本,选取声源信号的语谱图样本的10%作为测试样本。
图5所示实施例表明,卷积神经网络的结构是一种典型的深度神经网络,该图形显示,本发明的卷积神经网络的结构具有权值共享以及高度不变性的特征,卷积神经网络的输入为100×100的语谱图,该模型有四个卷积层即卷积层1、卷积层2、卷积层3和卷积层4,有四个池化层即池化层1、池化层2、池化层3和池化层4,最后通过softmax分类器和三个全连接层输出结果,该卷积神经网络的网络结构为:
Conv1(5×5,32)+P1+Conv2(5×5,64)+P2+Conv3(3×3,128)+P3+Conv4(3×3,128)+P4+FC1(1024)+FC2(512)+FC3(9),其中Conv表示卷积层,P表示池化层,FC表示全连接层,括号内分别表示卷积核的大小和个数,全连接层括号内为神经元的个数。
图6(a)显示了本发明的卷积神经网络的训练的准确率的变化曲线图,该曲线表明,通过tensorboard工具对最终的测试结果可视化,训练集准确率随着迭代而上升,在500次迭代的过程中,本发明的卷积神经网络模型在训练数据上的准确率最高达到1。
图6(b)显示了本发明的卷积神经网络的损失函数的变化曲线,该曲线表明,通过tensorboard工具对最终的测试结果可视化,训练集的损失函数随着迭代而下降,在500次迭代的过程中,本发明的卷积神经网络模型的损失函数逐渐接近于0。
图7(a)显示了本发明的卷积神经网络的测试准确率的变化曲线,该曲线表明,通过tensorboard工具对最终的测试结果可视化,测试集准确率随着迭代而上升,在500次迭代的过程中,本发明的卷积神经网络模型在测试数据上的准确趋于93%。
图7(b)显示了本发明的卷积神经网络的测试损失函数的变化曲线,该曲线表明,通过tensorboard工具对最终的测试结果可视化,测试集的损失函数随着迭代而下降,在500次迭代的过程中,本发明的卷积神经网络模型的损失函数逐渐接近于0。
综上说明书附图所述,进一步证明,本发明的基于卷积神经网络的室内声源区域定位方法,通过将声源信号转化为语谱图,进而通过神经网络得到分类结果,从而达到定位的效果,克服了传统的定位方法计算量大定位精度不足等缺点,而从机器学习的角度处理声源定位问题。因此确认本发明有非常高的应用价值。
实施例1
本实施例的一种基于卷积神经网络的室内声源区域定位方法,具体步骤如下:
第一步,建立信号模型:
建立信号模型的详细过程是,在非结构化的室内环境中,在二维空间内设置一个单一固定声源s(t),对于由M=4个麦克风组成的阵列,则第i个麦克风接收到的声音信号为如下公式(1)所示:
xi(t)=αis(t-τi)+ni(t)i=1,2,...,M(1),
公式(1)中,xi(t)表示第i个麦克风接收到的声音信号,i表示第i个麦克风,αi和τi分别表示接收到声源的声音信号的幅度衰减因子和相对时延,ni(t)则是各种噪声信号的总和,设定声音信号与各麦克风接收到的噪声信号互不相关,各麦克风的噪声信号也不相关,实验数据在matlab环境下产生,模拟的是室内环境,各个麦克风之间与声源的距离不同,接收到的声音信号不仅存在相位差异,还存在声波在空气中传播造成的幅度衰减,这样通过如下公式(2)给各个麦克风接收到的声音信号一个5000点的随机延迟,
t′=(rand×2-1)×5000 (2),
上述公式(2)中,t′表示随机延迟时间,rand表示产生(0~1)之间的均匀随机数,通过如下信噪比公式(3)对声音信号增加高斯白噪声,
上述公式(4)中,s表示距离d处麦克风接收到声音信号的能量,s0表示点声源处声音信号的能量,d是声源到接收点的距离,由此完成建立信号模型;
第二步,在建立信号模型的基础上,选取数据样本:
(2.1)测定待定位区域的面积,在二维空间下均匀布置1089个定位参考点;
(2.2)在上述第二步的步骤(2.1)的待定位区域内设定四个声音采集点,分别放置麦克风M0、麦克风M1、麦克风M2和麦克风M3,设置为在二维坐标系下的麦克风阵列M0,M1,M2,M3,相邻麦克风的间距均为L=10.2m,麦克风M0为坐标原点,在麦克风阵列M0,M1,M2,M3所构成的方阵中均匀布置1089个参考点,在上述第一步中的在二维空间内设置的一个单一固定声源s(t)在任意位置处的参考点的坐标为(xi,yi)能够得到1089个数据样本,由此完成选取数据样本;
第三步,将麦克风M0、麦克风M1、麦克风M2和麦克风M3所采集到的声音信号进行时频分析,并建立定位数据库:
(3.1)对上述第二步的步骤(2.2)放置的麦克风M0、麦克风M1、麦克风M2和麦克风M3所采集到的声音信号进行时频分析,得到上述第二步中所布置的各个参考点的声音信号的语谱图样本,生成语谱图的操作如下:
Ⅰ.由麦克风接收声音信号得到采样频率,
Ⅱ.将这些声音信号放在数组中并计算长度,
Ⅲ.对这些声音信号进行分帧加窗处理得到分帧数据,
Ⅳ.对上述得到的分帧数据进行短时傅里叶变换,
Ⅴ.生成语谱图;
上述提及的进行时频分析的具体方法如下:
声音信号的采样频率为100kHz,在麦克风阵列M0,M1,M2,M3所构成的方阵中均匀布置1089个参考点中的每个参考点位置处生成四个语谱图,这些语谱图分别由麦克风M0,M1,M2,M3接收到的声音信号得到,将四个语谱图合并为一幅图,这样在一个语谱图中可以看到信号幅值的大小所对应的语谱图中颜色的强弱,其生成语谱图的数学表达式如下公式(7)式所示:
公式(7)中,ω表示角频率,j为虚数,X(ω,τ)是一个二维函数,表示中心点位于τ的加窗声音的傅里叶变换,ω(k,τ)是一个长度为N的窗函数,x(k)表示谐波分量序号k=0,1,…,N-1的声音信号。
(3.2)将上述第二步的步骤(2.1)中的待定位区域分成九块子区域,并为上述第三步的步骤(3.1)得到的每块子区域的声音信号的语谱图样本制作标签,随机选取声音信号的语谱图样本的90%作为训练样本,在训练样本选定之后剩余的声音信号的语谱图样本的10%作为测试样本,上述声音信号的语谱图样本为100×100大小的彩色语谱图;
由此完成定位数据库的建立;
第四步,将构建好的定位数据库进行卷积神经网络的训练和实现基于卷积神经网络的室内声源区域定位:
将上述第三步中构建好的定位数据库进行卷积神经网络的训练和实现基于卷积神经网络的室内声源区域定位,具体方法如下:
(4.1)在Ubuntu上搭建Tensorflow深度学习框架;
(4.2)建立卷积神经网络模型,具体方法如下:
卷积神经网络模型有四个卷积层和四个池化层,最后通过softmax分类器和三个全连接层输出结果,该卷积神经网络的网络结构为:
Conv1(5×5,32)+P1+Conv2(5×5,64)+P2+Conv3(3×3,128)+P3+Conv4(3×3,128)+P4+FC1(1024)+FC2(512)+FC3(9),其中Conv表示卷积层,P表示池化层,FC表示全连接层,括号内分别表示卷积核的大小和个数,全连接层括号内为神经元的个数,多个卷积层和池化层交替组合构成了特征提取阶段,卷积层各平面由公式(5)决定:
采样层对上一层的特征图进行局部平均和二次特征提取,其各平面由公式(6)决定,
由此完成建立卷积神经网络模型,并将上述第三步中的步骤(3.1)得到的90%作为训练样本的每块子区域的声音信号的语谱图样本作为该建立的卷积神经网络的输入,得到训练样本训练初始化的卷积神经网络模型;
(4.3)卷积神经网络的训练及测试:
用上述第四步的步骤(4.2)的训练样本训练初始化的卷积神经网络模型进行卷积神经网络的训练,得到训练好的卷积神经网络模型;
用上述第四步的步骤(4.3)训练好的卷积神经网络模型对上述第三步中的步骤(3.2)中的测试样本进行预测,进行卷积神经网络的测试,得到分类结果即室内待定位区域内的声源所属的区域位置,并通过tensorboard工具对最终的测试结果可视化;
由此完成构建好的定位数据库进行卷积神经网络的训练和实现基于卷积神经网络的室内声源区域定位;
由此最终实现基于卷积神经网络的室内声源区域定位。
实施例2
本实施例是为了说明设计的卷积神经网络框架的可行性和有效性,本发明通过实验仿真进行测试利用训练好的卷积神经网络模型对测试样本进行预测,得到分类结果即声源所属的区域位置,并通过tensorboard工具对最终的测试结果可视化,是用训练好的网络模型对10%的语谱图测试样本进行预测,得到分类结果即声源所属的区域位置的准确率。为了说明设计的卷积神经网络框架的可行性和有效性,本发明通过实验仿真进行测试,选取信噪比为5db,10db,15db,分别进行测试,分别训练五次,训练时采用相同的参数配置:n_epoch=500,学习率为0.0001,batch_size=64,得到的定位准确率如表1所示:
根据表1可知,卷积神经网路具有较强的鲁棒性,给声音信号加上不同的信噪比,其最终的定位准确率在93%左右,最后通过tensorboard工具对最终的测试结果可视化,训练集和测试集的分类准确率随着迭代而上升,损失函数随着迭代而下降,最终两者的变化都趋于平稳。在500次迭代的过程中,该训练好的卷积神经网络模型在训练数据上的准确率最高达到1,在测试数据上的准确率最终趋于93%,迭代后的损失函数都逐渐接近于0。
上述实施例中所述分帧加窗处理、短时傅里叶变换、Ubuntu、Tensorflow是本领域公知的方法。
Claims (3)
1.一种基于卷积神经网络的室内声源区域定位方法,其特征在于具体步骤如下:
第一步,建立信号模型:
建立信号模型的详细过程是,在非结构化的室内环境中,在二维空间内设置一个单一固定声源s(t),对于由M=4个麦克风组成的阵列,则第i个麦克风接收到的声音信号为如下公式(1)所示:
xi(t)=αis(t-τi)+ni(t) i=1,2,...M, (1),
公式(1)中,xi(t)表示第i个麦克风接收到的声音信号,i表示第i个麦克风,αi和τi分别表示接收到声源的声音信号的幅度衰减因子和相对时延,ni(t)则是各种噪声信号的总和,设定声音信号与各麦克风接收到的噪声信号互不相关,各麦克风的噪声信号也不相关,实验数据在matlab环境下产生,模拟的是室内环境,各个麦克风之间与声源的距离不同,接收到的声音信号不仅存在相位差异,还存在声波在空气中传播造成的幅度衰减,这样通过如下公式(2)给各个麦克风接收到的声音信号一个5000点的随机延迟,
t′=(rand×2-1)×5000 (2),
上述公式(2)中,t′表示随机延迟时间,rand表示产生(0~1)之间的均匀随机数,通过如下信噪比公式(3)对声音信号增加高斯白噪声,
上述公式(4)中,s表示距离d处麦克风接收到声音信号的能量,s0表示点声源处声音信号的能量,d是声源到接收点的距离,由此完成建立信号模型;
第二步,在建立信号模型的基础上,选取数据样本:
(2.1)测定待定位区域的面积,在二维空间下均匀布置1089个定位参考点;
(2.2)在上述第二步的步骤(2.1)的待定位区域内设定四个声音采集点,分别放置麦克风M0、麦克风M1、麦克风M2和麦克风M3,设置为在二维坐标系下的麦克风阵列M0,M1,M2,M3,相邻麦克风的间距均为L=10.2m,麦克风M0为坐标原点,在麦克风阵列M0,M1,M2,M3所构成的方阵中均匀布置1089个参考点,在上述第一步中的在二维空间内设置的一个单一固定声源s(t)在任意位置处的参考点的坐标为(xi,yi)能够得到1089个数据样本,由此完成选取数据样本;
第三步,将麦克风M0、麦克风M1、麦克风M2和麦克风M3所采集到的声音信号进行时频分析,并建立定位数据库:
(3.1)对上述第二步的步骤(2.2)放置的麦克风M0、麦克风M1、麦克风M2和麦克风M3所采集到的声音信号进行时频分析,得到上述第二步中所布置的各个参考点的声音信号的语谱图样本,生成语谱图的操作如下:
Ⅰ.由麦克风接收声音信号得到采样频率,
II.将这些声音信号放在数组中并计算长度,
Ⅲ.对这些声音信号进行分帧加窗处理得到分帧数据,
Ⅳ.对上述得到的分帧数据进行短时傅里叶变换,
Ⅴ.生成语谱图;
(3.2)将上述第二步的步骤(2.1)中的待定位区域分成九块子区域,并为上述第三步的步骤(3.1)得到的每块子区域的声音信号的语谱图样本制作标签,随机选取声音信号的语谱图样本的90%作为训练样本,在训练样本选定之后剩余的声音信号的语谱图样本的10%作为测试样本;
由此完成定位数据库的建立;
第四步,将构建好的定位数据库进行卷积神经网络的训练和实现基于卷积神经网络的室内声源区域定位:
将上述第三步中构建好的定位数据库进行卷积神经网络的训练和实现基于卷积神经网络的室内声源区域定位,具体方法如下:
(4.1)在Ubuntu上搭建Tensorflow深度学习框架;
(4.2)建立卷积神经网络模型,具体方法如下:
卷积神经网络模型有四个卷积层和四个池化层,最后通过softmax分类器和三个全连接层输出结果,该卷积神经网络的网络结构为:
Conv1(5×5,32)+P1+Conv2(5×5,64)+P2+Conv3(3×3,128)+P3+Conv4(3×3,128)+P4+FC1(1024)+FC2(512)+FC3(9),其中Conv表示卷积层,P表示池化层,FC表示全连接层,括号内分别表示卷积核的大小和个数,全连接层括号内为神经元的个数,多个卷积层和池化层交替组合构成了特征提取阶段,卷积层各平面由公式(5)决定:
采样层对上一层的特征图进行局部平均和二次特征提取,其各平面由公式(6)决定,
由此完成建立卷积神经网络模型,并将上述第三步中的步骤(3.1)得到的90%作为训练样本的每块子区域的声音信号的语谱图样本作为该建立的卷积神经网络的输入,得到训练样本训练初始化的卷积神经网络模型;
(4.3)卷积神经网络的训练及测试:
用上述第四步的步骤(4.2)的训练样本训练初始化的卷积神经网络模型进行卷积神经网络的训练,得到训练好的卷积神经网络模型;
用上述第四步的步骤(4.3)训练好的卷积神经网络模型对上述第三步中的步骤(3.2)中的测试样本进行预测,进行卷积神经网络的测试,得到分类结果即室内待定位区域内的声源所属的区域位置,并通过tensorboard工具对最终的测试结果可视化;
由此完成构建好的定位数据库进行卷积神经网络的训练和实现基于卷积神经网络的室内声源区域定位;
由此最终实现基于卷积神经网络的室内声源区域定位。
2.根据权利要求1所述一种基于卷积神经网络的室内声源区域定位方法,其特征在于:所述第三步的步骤(3.1)中提及的进行时频分析的具体方法如下:
声音信号的采样频率为100kHz,在麦克风阵列M0,M1,M2,M3所构成的方阵中均匀布置1089个参考点中的每个参考点位置处生成四个语谱图,这些语谱图分别由麦克风M0,M1,M2,M3接收到的声音信号得到,将四个语谱图合并为一幅图,这样在一个语谱图中可以看到信号幅值的大小所对应的语谱图中颜色的强弱,其生成语谱图的数学表达式如下公式(7)式所示:
公式(7)中,ω表示角频率,j为虚数,X(ω,τ)是一个二维函数,表示中心点位于τ的加窗声音的傅里叶变换,ω(k,τ)是一个长度为N的窗函数,x(k)表示谐波分量序号k=0,1,…,N-1的声音信号。
3.根据权利要求1所述一种基于卷积神经网络的室内声源区域定位方法,其特征在于:所述第三步中的步骤(3.2)中声音信号的语谱图样本为100×100大小的彩色语谱图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810611930.9A CN109001679B (zh) | 2018-06-14 | 2018-06-14 | 一种基于卷积神经网络的室内声源区域定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810611930.9A CN109001679B (zh) | 2018-06-14 | 2018-06-14 | 一种基于卷积神经网络的室内声源区域定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109001679A CN109001679A (zh) | 2018-12-14 |
CN109001679B true CN109001679B (zh) | 2020-05-12 |
Family
ID=64601445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810611930.9A Expired - Fee Related CN109001679B (zh) | 2018-06-14 | 2018-06-14 | 一种基于卷积神经网络的室内声源区域定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109001679B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109993280B (zh) * | 2019-03-27 | 2021-05-11 | 东南大学 | 一种基于深度学习的水下声源定位方法 |
CN110068795A (zh) * | 2019-03-31 | 2019-07-30 | 天津大学 | 一种基于卷积神经网络的室内麦克风阵列声源定位方法 |
CN110515034B (zh) * | 2019-08-26 | 2022-12-27 | 西安电子科技大学 | 一种声信号方位角测量***及方法 |
CN111123202B (zh) * | 2020-01-06 | 2022-01-11 | 北京大学 | 一种室内早期反射声定位方法及*** |
CN111383661B (zh) * | 2020-03-17 | 2023-08-01 | 阿波罗智联(北京)科技有限公司 | 基于车载多音区的音区判决方法、装置、设备和介质 |
CN111323752B (zh) * | 2020-03-25 | 2022-10-14 | 哈尔滨工程大学 | 远近场过渡区间声源定位方法 |
CN111895991B (zh) * | 2020-08-03 | 2022-03-29 | 杭州十域科技有限公司 | 一种结合语音识别的室内定位导航方法 |
CN111983504B (zh) * | 2020-08-10 | 2023-07-11 | 上海空间推进研究所 | 一种基于三轴陀螺仪的智能极性测试***及方法 |
CN115240698A (zh) * | 2021-06-30 | 2022-10-25 | 达闼机器人股份有限公司 | 模型训练方法、语音检测定位方法、电子设备及存储介质 |
CN113589230B (zh) * | 2021-09-29 | 2022-02-22 | 广东省科学院智能制造研究所 | 一种基于联合优化网络的目标声源定位方法及*** |
CN116304639A (zh) * | 2023-05-05 | 2023-06-23 | 上海玫克生储能科技有限公司 | 识别模型的生成方法、识别方法、***、设备和介质 |
CN117368847B (zh) * | 2023-12-07 | 2024-03-15 | 深圳市好兄弟电子有限公司 | 基于麦克风射频通信网络的定位方法及*** |
CN117872273B (zh) * | 2024-03-11 | 2024-05-31 | 厦门市盛迅信息技术股份有限公司 | 基于人工智能的多环境声场声线识别方法和*** |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104407328B (zh) * | 2014-11-20 | 2017-03-01 | 西北工业大学 | 基于空间脉冲响应匹配的封闭空间声源定位方法及*** |
CN104991573A (zh) * | 2015-06-25 | 2015-10-21 | 北京品创汇通科技有限公司 | 一种基于声源阵列的定位跟踪方法及其装置 |
CN106709462A (zh) * | 2016-12-29 | 2017-05-24 | 天津中科智能识别产业技术研究院有限公司 | 一种室内定位方法及其装置 |
CN107703486B (zh) * | 2017-08-23 | 2021-03-23 | 南京邮电大学 | 一种基于卷积神经网络cnn的声源定位方法 |
CN107832834B (zh) * | 2017-11-13 | 2020-02-14 | 合肥工业大学 | 一种基于生成对抗网络的wifi室内定位指纹库的构建方法 |
-
2018
- 2018-06-14 CN CN201810611930.9A patent/CN109001679B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN109001679A (zh) | 2018-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109001679B (zh) | 一种基于卷积神经网络的室内声源区域定位方法 | |
Sun et al. | Fingerprint-based localization for massive MIMO-OFDM system with deep convolutional neural networks | |
CN107703486B (zh) | 一种基于卷积神经网络cnn的声源定位方法 | |
CN107122738A (zh) | 基于深度学习模型的无线电信号识别方法及其实现*** | |
Huynh-The et al. | Accurate LPI radar waveform recognition with CWD-TFA for deep convolutional network | |
CN109829509B (zh) | 基于融合神经网络的雷达手势识别方法 | |
CN109272989A (zh) | 语音唤醒方法、装置和计算机可读存储介质 | |
CN110068795A (zh) | 一种基于卷积神经网络的室内麦克风阵列声源定位方法 | |
CN107527626A (zh) | 一种音频识别*** | |
Miao et al. | Underwater acoustic signal classification based on sparse time–frequency representation and deep learning | |
CN111123192A (zh) | 一种基于圆形阵列和虚拟扩展的二维doa定位方法 | |
CN111830493A (zh) | 水中目标收发分置中高频声目标强度预报***及方法 | |
CN106970379A (zh) | 基于泰勒级数展开对室内目标的测距定位方法 | |
CN111680539A (zh) | 动态手势雷达识别方法和装置 | |
CN109489796A (zh) | 一种基于单元辐射法的水下复杂结构辐射噪声源定位识别与声辐射预报方法 | |
CN113673312A (zh) | 基于深度学习的雷达信号脉内调制识别方法 | |
CN112710987A (zh) | 一种针对违法鸣笛车辆进行识别定位的麦克风阵列*** | |
CN110333484B (zh) | 基于环境背景声感知与分析的室内区域级定位方法 | |
CN115630276A (zh) | 一种基于YOLOv5的雷达脉内调制类型快速识别方法 | |
CN117612557A (zh) | 基于全局-局部特征再校准的多声源定位与检测方法 | |
CN115204211A (zh) | 基于深度残差收缩注意力网络的认知侦察识别方法及装置 | |
Zhong et al. | Direction of arrival tracking of an underwater acoustic source using particle filtering: Real data experiments | |
Zhang et al. | Dolphin vocal sound generation via deep WaveGAN | |
Kwak et al. | Convolutional neural network trained with synthetic pseudo-images for detecting an acoustic source | |
CN110838303B (zh) | 一种利用传声器阵列的语音声源定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200512 |