CN106846803B - 基于音频的交通事件检测装置及方法 - Google Patents
基于音频的交通事件检测装置及方法 Download PDFInfo
- Publication number
- CN106846803B CN106846803B CN201710069291.3A CN201710069291A CN106846803B CN 106846803 B CN106846803 B CN 106846803B CN 201710069291 A CN201710069291 A CN 201710069291A CN 106846803 B CN106846803 B CN 106846803B
- Authority
- CN
- China
- Prior art keywords
- layer
- traffic event
- neural network
- module
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 21
- 230000009467 reduction Effects 0.000 claims abstract description 19
- 238000001228 spectrum Methods 0.000 claims description 30
- 230000005236 sound signal Effects 0.000 claims description 28
- 210000003477 cochlea Anatomy 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000002087 whitening effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 abstract description 7
- 238000004880 explosion Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 230000001629 suppression Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Computational Linguistics (AREA)
- Chemical & Material Sciences (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于音频的交通事件检测装置及方法,涉及智能交通技术领域。该装置包括麦克风阵列模块、麦克风信号接收模块、降噪去混响模块、事件检测模块;数字麦克风阵列作为拾音设备,体积小、成本低,实现对道路上发生的信息如检查车辆启动、行驶通过、刹车、碰撞、***和呼救等事件的获取和识别;利用改进的MVDR算法对信号进行处理,能同时有效抑制噪声和混响,具有鲁棒性好、实时性好、稳定性高、算法复杂度低的优势;最后通过卷积神经网络得到交通事件的概率,从而确定交通事件的类型,改善了传统神经网络层数加深时不易找到全局最优点的问题;对于不同的交通状态,本发明具有成本低、适用范围广、全天候工作、检测精度高的优点。
Description
技术领域
本发明属于智能交通技术领域,尤其涉及一种基于音频的交通事件检测装置及方法。
背景技术
随着社会经济的快速发展,城市道路、国道和高速公路的车辆越来越多,致使交通拥堵、事故、治安等的情况日益严峻,交通延误现象多发。然而,大多数的交通异常状态是由于非经常性的交通事件引起的。因此,交通事件的信息获取,尤其是异常事件如拥堵、事故、治安等方面的信息获取,对减少交通事件的影响和持续时间、实施合理的路网优化有着重要的意义。
目前,交通事件的检测方法大多数采用视频技术。采用视频的交通信息获取技术是通过视频传感器,如摄像机实时采集道路的视频信息,通过计算机视觉技术实现交通事件的检测和分类,***的关键部分为视频传感器和计算机视觉算法。当交通事件发生时,事件通过光学方式传送至视频传感器,嵌入式***通过处理所获得的视频信息,从而判断事件的类型。该方法的缺点在于价格昂贵,设备容易受天气变化、光线强弱等因素的影响,视频传感器也容易因为污染而降低检测灵敏度。
基于音频的交通事件检测属于一个新兴技术领域,国内外的研究处于起步阶段。音频交通事件检测装置的出现,无疑为解决视频检测器存在的问题带来了可能。利用道路交通的音频信号来识别交通信息类型,设备简单、成本低廉,不容易受到环境、光线等因素的影响,能在一定程度上弥补视频方案的不足。在实际应用中,一些交通事件无法通过声音的方式表现出来,在这些情况下,音频检测方案将无法得到预期的结果。因此,应根据工程、环境的实际情况,合理配置各种检测装置,以达到符合各方面指标考虑的***。在基于音频的交通事件检测装置的数据处理方面,当今主流的方法是智能化的检测算法,例如人工神经网络,该方法检测率高、误报率低,但是神经网络层数加深时不易找到全局最优点,而降低了交通事件的识别性能。采用卷积神经网络能有效改善传统的神经网络层数加深而不易找到全局最优的问题,对复杂问题的鲁棒性更高,很好的提高交通事件的识别能力。
发明内容
针对现有技术的不足,本发明提供一种基于音频的交通事件检测装置及方法。
本发明是通过如下的技术方案来解决上述技术问题的:一种基于音频的交通事件检测装置,包括麦克风阵列模块、麦克风信号接收模块、降噪去混响模块、事件检测模块;
麦克风阵列模块,用于对被测路段进行声音采集,并将采集到的声音模拟信号转换成PDM数字信号,多路输出;所述麦克风阵列模块安装在车道侧面或车道上方;
麦克风信号接收模块,用于对麦克风阵列模块输出的PDM数字信号进行接收和预处理,所述麦克风信号接收模块对每一路PDM数字信号进行解调和滤波处理,得到预设采样率的多路数字音频信号;
降噪去混响模块,用于对麦克风信号接收模块输出的多路数字音频信号进行噪声抑制和混响抑制处理,经过处理后得到的信号主要是车道上事件的信号,便于后续处理;
事件检测模块,用于对降噪去混响模块输出的信号进行数字变换,通过Gammatone滤波器得到音频信号的耳蜗谱,并将其输入到卷积神经网络得到事件类型的输出概率。
作为本发明的进一步改进,所述麦克风阵列模块包括五个及以上的数字MEMS麦克风,所述麦克风呈环形均匀排列,且环形面与车道平行。
作为本发明的进一步改进,降噪去混响模块利用改进的MVDR算法进行声源定位和波束形成,对分帧后的数字声音信号同时进行降噪和去混响处理,声音信号得到增强后,最后得到一路声音信号输出。
作为本发明的进一步改进,利用基于音频的交通事件检测装置进行检测的具体步骤如下:
步骤1:交通事件的声音通过麦克风阵列模块采集得到,该声音模拟信号经过N路数字麦克风输出N路PDM格式的数字信号;
步骤2:N路PDM格式的数字信号输入到麦克风信号接收模块,经过解调滤波转换成N路数字音频信号;
步骤3:N路数字音频信号输入到降噪去混响模块中,采用改进的MVDR算法对数字音频信号进行增强,得到一路声音数字信号;
步骤4:步骤3中得到的一路声音数字信号输入到事件检测模块,通过卷积神经网络得到交通事件类型的输出概率,从而得到交通事件的类型。
作为本发明的进一步改进,所述步骤3中降噪去混响模块的改进的MVDR算法具体步骤如下:
步骤1.1:假设信号已分帧,s(t)为声音信号的一帧,检测事件的发生,白化输入信号s(t),得到x(t)
其中,E(s(t))为s(t)的数学期望,σs为s(t)的标准差,Ns为s(t)的长度,设px为x的概率密度,计算负熵:
neg(x)=H(Ygauss)-H(x) (2)
其中H(x)=-E(logpx),Ygauss为均值为0,方差为1的高斯白噪声;如果neg(x)<0.2则无事件发生,该帧视为噪声,估计Ni(ω),跳过以下步骤;
步骤1.2:估计各麦克风的衰减因子αi(ω),i=1,....P
其中,P为麦克风个数,Xi(ω)为第i个麦克风信号的频谱,Ni(ω)为第i个麦克风的加性噪声频谱,并且Ni(ω)通过无事件帧估计得到;
步骤1.3:构造代价函数J
其中,τi,i=1,....P,为第i个麦克风与声源之间的时延,以采样点为单位,ki(ω)=0.1|Xi(ω)|2+0.9E{|Ni(ω)|2};求解关于J的最小化问题,即
argminτJ (5)
得到τi,i=1,....P;
步骤1.4:求解声源信号的频谱S(ω)
对S(ω)进行傅里叶逆变换,则得到经降噪和去混响后的声源时域波形。
作为本发明的进一步改进,所述步骤4中事件检测模块进行交通事件类型检测的具体步骤如下:
步骤2.1:通过neg(x)的取值情况得到事件的起点和终点时刻;
步骤2.2:对声源时域波形s(t)进行分帧,并求其Gammatone耳蜗谱;Gammatone滤波器组的冲击响应如下
g(f,t)=th-1e-2πvt cos(2πft) (7)
其中,h=4为常量,v为滤波器中心频率对应的等效矩形带宽,f为子带中心频率,则编号为c、中心频率为fc的子带可以通过对s(t)滤波得到
x(c,t)=x(t)*g(fc,t) (8)
步骤2.3:通过Gammatone滤波器组进行分带滤波得到32个子带信号,对这32个子带信号求得频谱,则得到关于s(t)的时间-频谱分布图,即耳蜗谱;
步骤2.4:将耳蜗谱输入到训练好的卷积神经网络,得到卷积神经网络的输出,对输出进行解码得到交通事件类型。
作为本发明的进一步改进,所述步骤4中卷积神经网络模型是一个多层架构,由卷积层和非线性层交替多次排列构成,这些层最终通过全连通层对接到softmax分类回归器上,卷积神经网络的模型配置如下:
1-卷积层1,2-最大池化层1,3-归一化层1,4-卷积层2,5-归一化层2,6-最大池化层2,7-全连接层1,8-全连接层2,9-全连接层3,10-softmax回归层;
其中,卷积使用1步长,0边距的模板,池化用2x2大小的模板做最大池化。
与现有技术相比,本发明所提供的基于音频的交通事件检测装置,采用数字麦克风阵列作为拾音设备,体积小、成本低,实现对道路上发生的信息如检查车辆启动、行驶通过、刹车、碰撞、***和呼救等事件的获取和识别;利用改进的MVDR算法对信号进行处理,能同时有效抑制噪声和混响,具有鲁棒性好、实时性好、稳定性高、算法复杂度低的优势;最后通过卷积神经网络得到交通事件的概率,从而确定交通事件的类型,改善了传统神经网络层数加深时不易找到全局最优点的问题;对于不同的交通状态,本发明具有成本低、适用范围广、全天候工作、检测精度高的优点。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一个实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一种基于音频的交通事件检测装置结构示意图;
图2是利用本发明基于音频的交通事件检测装置实现事件检测的具体步骤。
具体实施方式
下面结合本发明实施例中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明所提供的基于音频的交通事件检测装置,包括麦克风阵列模块、麦克风信号接收模块、降噪去混响模块、事件检测模块;所述麦克风阵列模块安装在车道侧面或车道上方。
麦克风阵列模块采集公路上的交通声音信号,麦克风阵列模块包括六个数字MEMS数字麦克风,即麦克风A~麦克风F;其中,麦克风A~麦克风E呈环形排列,麦克风F位于圆心,声音模拟信号经过数字麦克风阵列模块输出六路PDM数字信号,所述六路PDM数字信号作为麦克风信号接收模块的输入。
麦克风信号接收模块对六路PDM数字信号进行解调、滤波等预处理,将PDM数字信号转换成单一采样率和比特位的数字音频信号。麦克风信号接收模块采用XMOS公司XU216系列微处理器,XU216是高性能多核麦克风阵列处理器,具有多路PDM信号输入接口和较强的处理能力,高度的灵活性和可编程性,同时集成了USB通信接口,能够满足本***声音阵列信号预处理的需要。麦克风阵列模块输出的六路PDM数字信号经麦克风信号接收模块解调后,得到六路44ksps,16bit的数字音频信号,经USB总线传入嵌入式处理器进行后续处理。
降噪去混响模块,集成在微处理器上,所述微处理器具有一定的计算能力,能接收麦克风信号接收模块中USB输出的六路数字音频信号,如计算机或ARM架构的微处理器。降噪去混响模块对六路数字音频信号进行噪声和混响抑制,所述模块采用改进的MVDR算法,利用多麦克风波束形成技术,对数字音频信号进行增强,同时达到噪声抑制和混响抑制的目的。所述降噪去混响模块对六路数字音频信号进行处理后,得到一路增强后的声音数字信号,并输入到事件检测模块。
事件检测模块,集成在微处理器上,所述微处理器与降噪去混响模块中的微处理器为同一微处理器。事件检测模块对一路增强后的声音数字信号进行数字变换,通过Gammatone滤波器对该路声音数字信号进行子带滤波,得到音频信号的耳蜗谱,然后将耳蜗谱输入到训练好的卷积神经网络得到事件类型的输出概率,从而判断交通事件类型。
如图2所示,一种基于音频的交通事件检测装置进行事件检测的方法,具体步骤如下:
步骤1:交通事件的声音通过麦克风阵列模块采集得到,该声音模拟信号经过N路数字麦克风输出N路PDM格式的数字信号;
步骤2:N路PDM格式的数字信号输入到麦克风信号接收模块,经过解调滤波转换成N路数字音频信号;
步骤3:N路数字音频信号输入到微处理器中集成的降噪去混响模块中,采用改进的MVDR算法对数字音频信号进行增强,得到一路声音数字信号;
步骤4:步骤3中得到的一路声音数字信号输入到微处理器中集成的事件检测模块,通过卷积神经网络得到交通事件类型的输出概率,从而得到交通事件的类型。
所述步骤3中降噪去混响模块的改进的MVDR算法具体步骤如下:
步骤1.1:假设信号已分帧,s(t)为声音信号的一帧,检测事件的发生,白化输入信号s(t),得到x(t)
其中,E(s(t))为s(t)的数学期望,σs为s(t)的标准差,Ns为s(t)的长度,设px为x的概率密度,计算负熵:
neg(x)=H(Ygauss)-H(x) (10)
其中H(x)=-E(logpx),Ygauss为均值为0,方差为1的高斯白噪声;如果neg(x)<0.2则无事件发生,该帧视为噪声,估计Ni(ω),跳过以下步骤;
步骤1.2:估计各麦克风的衰减因子αi(ω),i=1,....P
其中,P为麦克风个数,Xi(ω)为第i个麦克风信号的频谱,Ni(ω)为第i个麦克风的加性噪声频谱,并且Ni(ω)通过无事件帧估计得到;
步骤1.3:构造代价函数J
其中,τi,i=1,....P,为第i个麦克风与声源之间的时延,以采样点为单位,ki(ω)=0.1|Xi(ω)|2+0.9E{|Ni(ω)|2};求解关于J的最小化问题,即
argminτJ (13)
得到τi,i=1,....P;
步骤1.4:求解声源信号的频谱S(ω)
对S(ω)进行傅里叶逆变换,则得到经降噪和去混响后的声源时域波形。
所述改进的MVDR算法使用负熵判断事件的存在与否,由于噪声的负熵近似零,因此负熵能很好地区分事件帧和非事件帧;通过估计麦克风的增益因子,能有效改善麦克风阵列的麦克风单元存在增益不一致导致的时延估计不准确的问题;所述改进的MVDR算法在建模过程中将混响作为噪声的一部分进行处理,达到同时抑制噪声和混响的目的。
所述步骤4中事件检测模块进行交通事件类型检测的具体步骤如下:
步骤2.1:通过neg(x)的取值情况得到事件的起点和终点时刻;
步骤2.2:对声源时域波形s(t)进行分帧,并求其Gammatone耳蜗谱;Gammatone滤波器组的冲击响应如下
g(f,t)=th-1e-2πvt cos(2πft) (15)
其中,h=4为常量,v为滤波器中心频率对应的等效矩形带宽,f为子带中心频率,则编号为c、中心频率为fc的子带可以通过对s(t)滤波得到
x(c,t)=x(t)*g(fc,t) (16)
步骤2.3:通过Gammatone滤波器组进行分带滤波得到32个子带信号,对这32个子带信号求得频谱,则得到关于s(t)的时间-频谱分布图,即耳蜗谱;
步骤2.4:将耳蜗谱输入到训练好的卷积神经网络,得到卷积神经网络的输出,对输出进行解码得到交通事件类型。
所述卷积神经网络的模型配置如下:
1-卷积层1,2-最大池化层1,3-归一化层1,4-卷积层2,5-归一化层2,6-最大池化层2,7-全连接层1,8-全连接层2,9-全连接层3,10-softmax回归层;
其中,卷积使用1步长,0边距的模板,池化用2x2大小的模板做最大池化。卷积层包括卷积滤波器、tanh非线性变换函数、可训练的增益系数和校正算子,目的在于提取耳蜗谱的局部特征;最大池化层通过取最大的局部邻域滤波器响应实现部分连接,达到对微小变形(拉伸、平移和微小失真等)的不变性;归一化层对局部做减和除归一化,迫使相邻特征进行局部竞争,并提取耳蜗谱的低阶和高阶统计特征;全连接层的作用与经典神经网络的连接层类似,输入的特征向量通过隐含层变换达到输出层,在输出层得到分类结果;softmax回归层使用softmax函数将上述层提供的“证据”综合,得到输入信号属于各种分类的概率。本发明使用大量经标注的样本对所述卷积神经网络模型进行训练,基于NVIDIA JETSONTX1开发组件搭建训练平台,使用GPU阵列进行计算;训练过程中,使用对卷积核和权重进行随机初始化,而对偏置进行全0初始化,使用标准的梯度下降算法来训练模型。
本发明采用基于音频的交通事件检测装置,采用数字麦克风阵列作为拾音设备,体积小、成本低,实现对道路上发生的信息如检查车辆启动、行驶通过、刹车、碰撞、***和呼救等事件的获取和识别;利用改进的MVDR算法对信号进行处理,能同时有效抑制噪声和混响,具有鲁棒性好、实时性好、稳定性高、算法复杂度低的优势;最后通过卷积神经网络得到交通事件的概率,从而确定交通事件的类型,改善了传统神经网络层数加深时不易找到全局最优点的问题;对于不同的交通状态,本发明具有成本低、适用范围广、全天候工作、检测精度高的优点。
以上所揭露的仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或变型,都应涵盖在本发明的保护范围之内。
Claims (4)
1.一种基于音频的交通事件检测方法,其特征在于:包括以下几个步骤,
步骤1:交通事件的声音通过麦克风阵列模块采集得到,该声音模拟信号经过N路数字麦克风输出N路PDM格式的数字信号;
步骤2:N路PDM格式的数字信号输入到麦克风信号接收模块,经过解调滤波转换成N路数字音频信号;
步骤3:N路数字音频信号输入到降噪去混响模块中,采用改进的MVDR算法对数字音频信号进行增强,得到一路声音数字信号;
步骤4:步骤3中得到的一路声音数字信号输入到事件检测模块,通过卷积神经网络得到交通事件类型的输出概率,从而得到交通事件的类型;
所述步骤3中改进的MVDR算法的具体步骤如下,
步骤1.1:假设信号已分帧,s(t)为声音信号的一帧,检测事件的发生,白化输入信号s(t),得到x(t)
其中,E(s(t))为s(t)的数学期望,σs为s(t)的标准差,Ns为s(t)的长度,设px为x的概率密度,计算负熵:
neg(x)=H(Ygauss)-H(x)
其中H(x)=-E(logpx),Ygauss为均值为0,方差为1的高斯白噪声;如果neg(x)<0.2则无事件发生,该帧视为噪声,估计Ni(ω),跳过以下步骤;
步骤1.2:估计各麦克风的衰减因子αi(ω),i=1,....P
其中,P为麦克风个数,Xi(ω)为第i个麦克风信号的频谱,Ni(ω)为第i个麦克风的加性噪声频谱,并且Ni(ω)通过无事件帧估计得到;
步骤1.3:构造代价函数J
其中,τi,i=1,....P,为第i个麦克风与声源之间的时延,以采样点为单位,ki(ω)=0.1|Xi(ω)|2+0.9E{|Ni(ω)|2};求解关于J的最小化问题,即
argminτJ
得到τi,i=1,....P;
步骤1.4:求解声源信号的频谱S(ω)
对S(ω)进行傅里叶逆变换,则得到经降噪和去混响后的声源时域波形。
2.如权利要求1所述的基于音频的交通事件检测方法,其特征在于:所述步骤4的具体步骤如下,
步骤2.1:通过neg(x)的取值情况得到事件的起点和终点时刻;
步骤2.2:对声源时域波形s(t)进行分帧,并求其Gammatone耳蜗谱;Gammatone滤波器组的冲击响应如下
g(f,t)=th-1e-2πvtcos(2πft)
其中,h=4为常量,v为滤波器中心频率对应的等效矩形带宽,f为子带中心频率,则编号为c、中心频率为fc的子带可以通过对s(t)滤波得到
x(c,t)=x(t)*g(fc,t)
步骤2.3:通过Gammatone滤波器组进行分带滤波得到32个子带信号,对这32个子带信号求得频谱,则得到关于s(t)的时间-频谱分布图,即耳蜗谱;
步骤2.4:将耳蜗谱输入到训练好的卷积神经网络,得到卷积神经网络的输出,对输出进行解码得到交通事件类型。
3.如权利要求1所述的基于音频的交通事件检测方法,其特征在于:所述卷积神经网络模型由卷积层和非线性层交替多次排列构成,最后通过全连通层对接到softmax分类回归器上。
4.如权利要求1所述的基于音频的交通事件检测方法,其特征在于:所述卷积神经网络模型的配置为:1-卷积层1,2-最大池化层1,3-归一化层1,4-卷积层2,5-归一化层2,6-最大池化层2,7-全连接层1,8-全连接层2,9-全连接层3,10-softmax回归层;其中,卷积使用1步长,0边距的模板,池化用2x2大小的模板做最大池化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710069291.3A CN106846803B (zh) | 2017-02-08 | 2017-02-08 | 基于音频的交通事件检测装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710069291.3A CN106846803B (zh) | 2017-02-08 | 2017-02-08 | 基于音频的交通事件检测装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106846803A CN106846803A (zh) | 2017-06-13 |
CN106846803B true CN106846803B (zh) | 2023-06-23 |
Family
ID=59122290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710069291.3A Active CN106846803B (zh) | 2017-02-08 | 2017-02-08 | 基于音频的交通事件检测装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106846803B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107703486B (zh) * | 2017-08-23 | 2021-03-23 | 南京邮电大学 | 一种基于卷积神经网络cnn的声源定位方法 |
CN107689223A (zh) * | 2017-08-30 | 2018-02-13 | 北京嘉楠捷思信息技术有限公司 | 一种音频识别方法及装置 |
CN107545890A (zh) * | 2017-08-31 | 2018-01-05 | 桂林电子科技大学 | 一种声音事件识别方法 |
CN109959889A (zh) * | 2017-12-25 | 2019-07-02 | 通用电气公司 | 磁共振成像***冷头工作状态的监测方法和*** |
CN108172213B (zh) * | 2017-12-26 | 2022-09-30 | 北京百度网讯科技有限公司 | 娇喘音频识别方法、装置、设备及计算机可读介质 |
CN109102798A (zh) * | 2018-06-29 | 2018-12-28 | 厦门快商通信息技术有限公司 | 一种装修事件检测方法、装置、计算机设备及介质 |
CN109033997A (zh) * | 2018-07-02 | 2018-12-18 | 厦门快商通信息技术有限公司 | 一种伐木事件检测方法及*** |
CN109243496A (zh) * | 2018-10-31 | 2019-01-18 | 东方智测(北京)科技有限公司 | 声音识别方法和*** |
CN109410579B (zh) * | 2018-11-12 | 2021-07-06 | 广西交通科学研究院有限公司 | 一种运动车辆音频检测***及检测方法 |
CN109473120A (zh) * | 2018-11-14 | 2019-03-15 | 辽宁工程技术大学 | 一种基于卷积神经网络的异常声音信号识别方法 |
CN109784254B (zh) * | 2019-01-07 | 2021-06-25 | 中兴飞流信息科技有限公司 | 一种车辆违规事件检测的方法、装置和电子设备 |
CN109688496A (zh) * | 2019-02-23 | 2019-04-26 | 保定维特瑞交通设施工程有限责任公司 | 基于生物耳蜗结构的鸣笛被动噪音传感器读取装置 |
CN110211598A (zh) * | 2019-05-17 | 2019-09-06 | 北京华控创为南京信息技术有限公司 | 智能语音降噪通信方法及装置 |
CN110176248B (zh) * | 2019-05-23 | 2020-12-22 | 广西交科集团有限公司 | 道路声音识别方法、***、计算机设备及可读存储介质 |
CN112770222A (zh) * | 2020-12-25 | 2021-05-07 | 苏州思必驰信息科技有限公司 | 音频处理方法和装置 |
CN113920473B (zh) * | 2021-10-15 | 2022-07-29 | 宿迁硅基智能科技有限公司 | 完整事件确定方法、存储介质及电子装置 |
CN115223370B (zh) * | 2022-08-31 | 2023-01-17 | 四川九通智路科技有限公司 | 一种交通事故检测方法及检测*** |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1268088A (zh) * | 1997-06-25 | 2000-09-27 | 内沃克斯公司 | 同时进行语音和数据通信的车辆跟踪和安全*** |
CN1637857A (zh) * | 2004-01-07 | 2005-07-13 | 株式会社电装 | 噪音消除***、语音识别***以及汽车导航*** |
CN102682765A (zh) * | 2012-04-27 | 2012-09-19 | 中咨泰克交通工程集团有限公司 | 高速公路音频车辆检测装置及其方法 |
CN102804260A (zh) * | 2009-06-19 | 2012-11-28 | 富士通株式会社 | 声音信号处理装置以及声音信号处理方法 |
CN103439689A (zh) * | 2013-08-21 | 2013-12-11 | 大连理工大学 | 一种分布式麦克风阵列中麦克风位置估计*** |
CN103592628A (zh) * | 2013-11-12 | 2014-02-19 | 上海大学 | 一种基于球谐域实值权重波束形成的多声源定位方法 |
WO2014032682A1 (en) * | 2012-08-30 | 2014-03-06 | Volvo Truck Corporation | Method for automatic geomessage handling in a vehicle |
CN104064186A (zh) * | 2014-06-26 | 2014-09-24 | 山东大学 | 一种基于独立分量分析的电气设备故障音检测方法 |
CN104427143A (zh) * | 2013-09-06 | 2015-03-18 | 联芯科技有限公司 | 残留回声检测方法及*** |
CN104658543A (zh) * | 2013-11-20 | 2015-05-27 | 大连佑嘉软件科技有限公司 | 一种室内混响消除的方法 |
CN104766093A (zh) * | 2015-04-01 | 2015-07-08 | 中国科学院上海微***与信息技术研究所 | 一种基于麦克风阵列的声目标分类方法 |
CN104900088A (zh) * | 2015-05-22 | 2015-09-09 | 桂林电子科技大学 | 一种用于弯道会车预警的预警*** |
CN105206281A (zh) * | 2015-09-14 | 2015-12-30 | 胡旻波 | 基于分布式麦克风阵列网络的语音增强方法 |
CN105225665A (zh) * | 2015-10-15 | 2016-01-06 | 桂林电子科技大学 | 一种语音识别方法及语音识别装置 |
CN105744439A (zh) * | 2014-12-12 | 2016-07-06 | 比亚迪股份有限公司 | 麦克风装置和具有其的移动终端 |
CN105741844A (zh) * | 2016-03-30 | 2016-07-06 | 杭州电子科技大学 | 一种基于dwt-svd-ica的数字音频水印算法 |
CN105760825A (zh) * | 2016-02-02 | 2016-07-13 | 深圳市广懋创新科技有限公司 | 一种基于切比雪夫前向神经网络的手势识别***和方法 |
CN106303968A (zh) * | 2016-09-27 | 2017-01-04 | 北京航空航天大学 | 一种基于专用短程通信网络的路网黑客车辆定位方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101305373B1 (ko) * | 2011-12-16 | 2013-09-06 | 서강대학교산학협력단 | 관심음원 제거방법 및 그에 따른 음성인식방법 |
US9275136B1 (en) * | 2013-12-03 | 2016-03-01 | Google Inc. | Method for siren detection based on audio samples |
US9622013B2 (en) * | 2014-12-08 | 2017-04-11 | Harman International Industries, Inc. | Directional sound modification |
-
2017
- 2017-02-08 CN CN201710069291.3A patent/CN106846803B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1268088A (zh) * | 1997-06-25 | 2000-09-27 | 内沃克斯公司 | 同时进行语音和数据通信的车辆跟踪和安全*** |
CN1637857A (zh) * | 2004-01-07 | 2005-07-13 | 株式会社电装 | 噪音消除***、语音识别***以及汽车导航*** |
CN102804260A (zh) * | 2009-06-19 | 2012-11-28 | 富士通株式会社 | 声音信号处理装置以及声音信号处理方法 |
CN102682765A (zh) * | 2012-04-27 | 2012-09-19 | 中咨泰克交通工程集团有限公司 | 高速公路音频车辆检测装置及其方法 |
WO2014032682A1 (en) * | 2012-08-30 | 2014-03-06 | Volvo Truck Corporation | Method for automatic geomessage handling in a vehicle |
CN103439689A (zh) * | 2013-08-21 | 2013-12-11 | 大连理工大学 | 一种分布式麦克风阵列中麦克风位置估计*** |
CN104427143A (zh) * | 2013-09-06 | 2015-03-18 | 联芯科技有限公司 | 残留回声检测方法及*** |
CN103592628A (zh) * | 2013-11-12 | 2014-02-19 | 上海大学 | 一种基于球谐域实值权重波束形成的多声源定位方法 |
CN104658543A (zh) * | 2013-11-20 | 2015-05-27 | 大连佑嘉软件科技有限公司 | 一种室内混响消除的方法 |
CN104064186A (zh) * | 2014-06-26 | 2014-09-24 | 山东大学 | 一种基于独立分量分析的电气设备故障音检测方法 |
CN105744439A (zh) * | 2014-12-12 | 2016-07-06 | 比亚迪股份有限公司 | 麦克风装置和具有其的移动终端 |
CN104766093A (zh) * | 2015-04-01 | 2015-07-08 | 中国科学院上海微***与信息技术研究所 | 一种基于麦克风阵列的声目标分类方法 |
CN104900088A (zh) * | 2015-05-22 | 2015-09-09 | 桂林电子科技大学 | 一种用于弯道会车预警的预警*** |
CN105206281A (zh) * | 2015-09-14 | 2015-12-30 | 胡旻波 | 基于分布式麦克风阵列网络的语音增强方法 |
CN105225665A (zh) * | 2015-10-15 | 2016-01-06 | 桂林电子科技大学 | 一种语音识别方法及语音识别装置 |
CN105760825A (zh) * | 2016-02-02 | 2016-07-13 | 深圳市广懋创新科技有限公司 | 一种基于切比雪夫前向神经网络的手势识别***和方法 |
CN105741844A (zh) * | 2016-03-30 | 2016-07-06 | 杭州电子科技大学 | 一种基于dwt-svd-ica的数字音频水印算法 |
CN106303968A (zh) * | 2016-09-27 | 2017-01-04 | 北京航空航天大学 | 一种基于专用短程通信网络的路网黑客车辆定位方法 |
Non-Patent Citations (9)
Title |
---|
Blind Source Separation of Underwater Acoustic Signal by Use of Negentropy-Based Fast ICA Algorithm;Tu Shijie;《2015 IEEE International Conference on Computational Intelligence & Communication Technology》;20150402;608-611 * |
一种基于负熵的舰船轴频电场信号检测方法;包中华;《仪器仪表学报》;20101015;2210-2215 * |
一种基于麦克风阵列的声源定位***及其应用研究;彭奎;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140915;I136-100 * |
基于冲突技术法的导流岛信号交叉口右转车道实际通行能力模型;连培昆;《北京工业大学学报》;20150909;1415-1421 * |
基于音频信号的汽车状态与故障分析;宋春雷;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20131215;C035-69 * |
基于麦克风小阵列的语音增强算法的研究;尹波;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160815;I136-159 * |
基于麦克风阵列手机消噪方案的应用与实现;黄颖;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130415;I136-416 * |
应用于智能安防的声音定位方法研究;邵旭;《电子质量》;20120818;8-15 * |
应用深层卷积神经网络的交通标志识别;张文涛;《现代电子技术》;20150701;70-73 * |
Also Published As
Publication number | Publication date |
---|---|
CN106846803A (zh) | 2017-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106846803B (zh) | 基于音频的交通事件检测装置及方法 | |
CN112802484B (zh) | 一种混合音频下的大熊猫声音事件检测方法及*** | |
CN112216271B (zh) | 一种基于卷积块注意机制的视听双模态语音识别方法 | |
CN109841226A (zh) | 一种基于卷积递归神经网络的单通道实时降噪方法 | |
CN112735473B (zh) | 基于声音识别无人机的方法及*** | |
CN110390952B (zh) | 基于双特征2-DenseNet并联的城市声音事件分类方法 | |
CN105225672B (zh) | 融合基频信息的双麦克风定向噪音抑制的***及方法 | |
CN112509584A (zh) | 声源位置确定方法、装置和电子设备 | |
CN111613240B (zh) | 一种基于注意力机制和Bi-LSTM的伪装语音检测方法 | |
CN110600054A (zh) | 基于网络模型融合的声场景分类方法 | |
CN113221673B (zh) | 基于多尺度特征聚集的说话人认证方法及*** | |
CN109741609B (zh) | 一种基于麦克风阵列的机动车鸣笛声监测方法 | |
CN109448389A (zh) | 一种汽车鸣笛智能检测方法 | |
CN115826042B (zh) | 一种边云端结合的分布式地震数据处理方法与装置 | |
CN112382302A (zh) | 婴儿哭声识别方法及终端设备 | |
CN114373476A (zh) | 一种基于多尺度残差注意力网络的声音场景分类方法 | |
CN116576956A (zh) | 基于分布式光纤声波传感的多源振动信号分离方法 | |
CN113990303B (zh) | 基于多分辨率空洞深度可分卷积网络的环境声音辨识方法 | |
CN105491336B (zh) | 一种低功耗图像识别模块 | |
CN116910690A (zh) | 一种基于数据融合的目标分类*** | |
CN115329893A (zh) | 基于配对特征融合的声学场景分类方法 | |
CN110046655A (zh) | 一种基于集成学习的音频场景识别方法 | |
CN114882906A (zh) | 一种新型环境噪声识别方法及*** | |
Wang et al. | Environmental sound recognition based on double-input convolutional neural network model | |
CN112201226A (zh) | 一种发声方式判别方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |