CN113247730B - 基于多维特征的电梯乘客尖叫检测方法及*** - Google Patents

Abstract

本发明涉及一种基于多维特征的电梯乘客尖叫检测方法及***，方法包括以下步骤：a、采集电梯运行的加速度数据和音频数据，对采集的数据进行预处理；b、分析所述加速度数据判断电梯运行是否发生异常，若是则提取所述音频数据的音频特征；c、分析所述音频特征判断电梯内是否发生乘客尖叫的现象，若是则发出报警信号。本发明可以通过检测乘客尖叫的方法及时上报电梯安全事故，以保证乘客安全。

Description

基于多维特征的电梯乘客尖叫检测方法及***

技术领域

本发明涉及一种基于多维特征的电梯乘客尖叫检测方法及***。

背景技术

在现代生活中电梯会给人们带来高效便捷的生活环境，因此使用越来越广泛。但是，电梯在运行过程中一旦出现故障，若无法及时救援，将会严重威胁到乘客的生命安全。现有技术中也存在一些故障的判断方法，可对噪声情况进行检测，但是存在一定的局限性。例如，专利CN105679313A公开的方案是高斯混合模型对声纹数据进行匹配来实现对噪声的检测。可见，该专利的方案利用的是比较传统的算法，并且只使用了声纹数据，其检测效果并不全面。

发明内容

本发明的目的在于提供一种基于多维特征的电梯乘客尖叫检测方法及***。

为实现上述发明目的，本发明提供一种基于多维特征的电梯乘客尖叫检测方法及***，方法包括以下步骤：

a、采集电梯运行的加速度数据和音频数据，对采集的数据进行预处理；

b、分析所述加速度数据判断电梯运行是否发生异常，若是则提取所述音频数据的音频特征；

c、分析所述音频特征判断电梯内是否发生乘客尖叫的现象，若是则发出报警信号。

根据本发明的一个方面，在所述步骤(a)中，所述预处理包括对数据进行清洗，去除无音频以及加速度数值过大和/或过小的脏数据。

根据本发明的一个方面，在所述步骤(a)中，所述音频数据为从电梯视频监控数据中提取的单通道音频信号，音频采样频率为22.05kHz，时长在1-10s之间。

根据本发明的一个方面，所述预处理还包括，对所述加速度数据进行残差计算，得到残差序列x＝[x₁，x₂，x₃，...，x_n]。

根据本发明的一个方面，在所述步骤(b)中，当所述残差序列的最大最小值差min_max＞70时，则判定电梯运行发生异常。

根据本发明的一个方面，在所述步骤(b)中，所述音频特征的提取包括CEEMD特征提取和特征采集；

在进行所述CEEMD特征提取时，使用CEEMD对所述音频数据的每一层IMF提取时域特征；

提取反映信号时域能量变化的IMF层能量E_IMF：

提取反映不同频率尺度能量分布的IMF层能量比σ：

其中，E_x为帧信号的短时能量，y(t)是对应的IMF时域信号；

在进行所述特征采集时，通过对提取出的每一层IMF提取Fbank与LPCC得到每一层IMF的频域特征。

根据本发明的一个方面，所述音频特征的提取还包括将提取的Fbank、LPCC、E_IMF和σ进行拼接得到最后的输入特征。

根据本发明的一个方面，在所述步骤(c)中，利用尖叫检测模型识别当前时段电梯内是否发生尖叫，所述尖叫检测模型为深度神经网络模型；

所述深度神经网络模型包括Conv1:3 256Relu、Conv2:3 256Relu、MaxPool1:2,2、Conv3:3 128Relu、Conv4:3 128Relu、MaxPool2:2,2、Dense1:512Relu和Dense2:2Softmax；

其中，Conv为卷积神经网络，Dense为全连接神经网络，卷积网络的卷积核大小为3*3，256和128为滤波器数量,Relu为激活函数，MaxPool2:2,2为大小为2步长为2的最大值池化，512和2为隐藏层神经元个数。

基于多维特征的电梯乘客尖叫检测***，包括：

数据采集模块，用于实时采集电梯运行数据并对数据进行预处理；

音频特征采集模块，用于提取音频数据中的音频特征；

异常运行识别模块，用于分析加速度数据判断电梯运行是否发生异常；

尖叫检测模块，用于检测电梯中是否发生乘客尖叫的现象并根据检测结果选择是否报警。

根据本发明的一个方面，所述数据采集模块包括监控摄像头和加速度传感器。

根据本发明的方案，采集电梯的视频监控数据与电梯运行的加速度数据。对加速度数据进行实时分析，进行残差计算找出异常运行的电梯时段，再从视频监控数据中截取当前时段电梯的音频数据进行分析，识别出是否有乘客并进一步确认是否发生尖叫。

附图说明

图1示意性表示本发明的一种实施方式的基于多维特征的电梯乘客尖叫检测方法的流程图；

图2示意性表示本发明的一种实施方式的基于多维特征的电梯乘客尖叫检测方法中的异常加速度数据(a)、异常加速度残差(b)、正常加速度数据(c)、正常加速度残差(d)示意图；

图3示意性表示本发明的一种实施方式的基于多维特征的电梯乘客尖叫检测方法中的音频特征提取流程图；

图4示意性表示本发明的一种实施方式的基于多维特征的电梯乘客尖叫检测方法中的尖叫检测模型结构图。

具体实施方式

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在针对本发明的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。

参见图1，本发明的基于多维特征的电梯乘客尖叫检测方法，首先，采集电梯运行的加速度数据和音频数据，并对采集的数据进行预处理。实时分析加速度数据判断电梯运行是否发生异常，若是则提取音频数据的音频特征。分析音频特征判断电梯内是否发生乘客尖叫的现象，若是则发出报警信号。由此，本发明基于电梯运行加速度数据与电梯运行中的音频数据对电梯内出现的异常状况进行实时监控，若出现乘客尖叫的情况立即发出报警，反馈给相关单位，从而及时上报电梯安全事故，便于及时实施救援，保障乘客的安全。

本发明中，预处理实质上是对数据进行清洗，以保证采集的数据可用于后续检测。具体的，对于加速度数据而言，若采集到过大和/或过小的加速度数值则有可能为错误数据(即脏数据)，因此应该将这些数据删除。另外，本发明的音频数据为从电梯视频监控数据中提取的单通道音频信号，音频采样频率为22.05kHz，时长(或称长度)在1-10s之间不等。由此，若采集的视频监控数据中不含音频，则也应将这些数据判定为脏数据并删除。

参见图2，对于加速度数据而言，其预处理还包括进行残差计算(或称残差处理)，以得到残差序列x＝[x₁，x₂，x₃，...，x_n]，其中，x_n为长度为n的加速度残差序列中的第n个值，目的在于去除加减速阶段的影响。经过残差分解后，加减速阶段的影响被消除，而真实异常的区域残差依旧很大，如图2b和图2d所示，因此可以将残差较大的加速度定义为异常加速度，从而区分出如图2a和图2c所示的异常加速度和正常加速度。具体的，当残差序列x的最大最小值差min_max＞70时，即可判断为异常加速度，则可进而判定当前时段电梯运行发生异常。

参见图3，本发明的音频特征的提取包括CEEMD(互补集合经验模态分解)特征提取和特征采集。CEEMD是一种适用于处理非平稳非线性序列的自适应的时空分析方法，其与傅里叶变换和小波分解类似，尤其适用于分析自然信号，这些自然信号通常是非线性和非平稳的，比如音频信号。在进行CEEMD特征提取时，使用CEEMD对音频数据(即有效的音频信帧信号)的每一层IMF(内涵模态分量)提取时域特征。具体的，提取反映信号时域能量变化的IMF层能量E_IMF：

以及，提取反映不同频率尺度能量分布的IMF层能量比σ：

其中，E_x为帧信号的短时能量，y(t)是对应的IMF时域信号，N表示时域信号的长度，t第几个时间单位。

在进行特征采集时，通过对提取出的每一层IMF(共七层)提取Fbank与LPCC得到每一层IMF的频域特征。Fbank为以类似于人耳的方式对音频进行处理获得的频域数据，可以提高语音识别的性能。LPCC为一种异常声音识别中的频域特征，其具有可靠性高与鲁棒性强的优点。最后，将提取的Fbank、LPCC、E_IMF和σ进行拼接得到最后的输入特征。

参见图4，本发明利用尖叫检测模型识别当前时段电梯内是否发生尖叫，其中尖叫检测模型为深度神经网络模型。深度神经网络模型的结构如图4所示，其中，Conv为卷积神经网络，Dense为全连接神经网络，Conv1:3 256Relu为第一层卷积网络，卷积核大小为3*3，256为滤波器数量,Relu为激活函数，MaxPool：2,2为大小为2步长为2的最大值池化，Dense:512Relu为隐藏层神经元个数为512的全连接神经网络，其他层结构以此类推。在本实施方式中，深度神经网络模型包括Conv1:3 256Relu、Conv2:3 256Relu、MaxPool1:2,2、Conv3:3128Relu、Conv4:3 128Relu、MaxPool2:2,2、Dense1:512Relu和Dense2:2Softmax。

本发明的基于多维特征的电梯乘客尖叫检测***，包括：数据采集模块，用于实时采集电梯运行数据并对数据进行预处理；音频特征采集模块，用于提取音频数据中的音频特征；异常运行识别模块，用于分析加速度数据判断电梯运行是否发生异常；尖叫检测模块，用于检测电梯中是否发生乘客尖叫的现象并根据判断结果选择是否报警。其中，数据采集模块包括监控摄像头和加速度传感器，如此即可使用摄像头对电梯运行时的情况进行记录，同时使用加速度传感器对加速度数据进行记录。

综上所述，本发明基于海量电梯采集的数据，包括电梯运行加速度数据与电梯运行中的音频数据，对电梯内出现异常状况进行实时监控，并在异常时对各类电梯音频数据进行分析，若出现乘客尖叫的情况立即发出报警。由此，本发明适用范围较广，并且采用深度神经网络模型相较于传统算法检测效果更好，能够准确的对电梯内乘客发出的尖叫声(包括惊呼、呼救、哭闹等受到人身安全威胁发出的声音)进行实时监测。

以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于多维特征的电梯乘客尖叫检测方法，包括以下步骤：

a、采集电梯运行的加速度数据和音频数据，对采集的数据进行预处理；

b、分析所述加速度数据判断电梯运行是否发生异常，若是则提取所述音频数据的音频特征；

在所述步骤b中，所述音频特征的提取包括CEEMD特征提取和特征采集；

在进行所述CEEMD特征提取时，使用CEEMD对所述音频数据的每一层IMF提取时域特征；

提取反映信号时域能量变化的IMF层能量E_IMF：

提取反映不同频率尺度能量分布的IMF层能量比σ：

其中，E_x为帧信号的短时能量，y(t)是对应的IMF时域信号；

在进行所述特征采集时，通过对提取出的每一层IMF提取Fbank与LPCC得到每一层IMF的频域特征；

所述音频特征的提取还包括将提取的Fbank、LPCC、E_IMF和σ进行拼接得到最后的输入特征；

c、分析所述音频特征判断电梯内是否发生乘客尖叫的现象，若是则发出报警信号。

2.根据权利要求1所述的方法，其特征在于，在所述步骤a中，所述预处理包括对数据进行清洗，去除无音频以及加速度数值过大和/或过小的脏数据。

3.根据权利要求1所述的方法，其特征在于，在所述步骤a中，所述音频数据为从电梯视频监控数据中提取的单通道音频信号，音频采样频率为22.05kHz，时长在1-10s之间。

4.根据权利要求2所述的方法，其特征在于，所述预处理还包括，对所述加速度数据进行残差计算，得到残差序列x＝[x₁，x₂，x₃，...，x_n]。

5.根据权利要求4所述的方法，其特征在于，在所述步骤b中，当所述残差序列的最大最小值差min_max>70时，则判定电梯运行发生异常。

6.根据权利要求1所述的方法，其特征在于，在所述步骤c中，利用尖叫检测模型识别当前时段电梯内是否发生尖叫，所述尖叫检测模型为深度神经网络模型；

所述深度神经网络模型包括Conv1:3256Relu、Conv2:3256Relu、MaxPool1:2,2、Conv3:3128Relu、Conv4:3128Relu、MaxPool2:2,2、Dense1:512Relu和Dense2:2Softmax；

其中，Conv为卷积神经网络，Dense为全连接神经网络，卷积网络的卷积核大小为3*3，256和128为滤波器数量,Relu为激活函数，MaxPool2:2,2为大小为2步长为2的最大值池化，512和2为隐藏层神经元个数。

7.一种用于实施权利要求1-6中任一项所述的基于多维特征的电梯乘客尖叫检测方法的***，其特征在于，包括：

数据采集模块，用于实时采集电梯运行数据并对数据进行预处理；

音频特征采集模块，用于提取音频数据中的音频特征；

异常运行识别模块，用于分析加速度数据判断电梯运行是否发生异常；

尖叫检测模块，用于检测电梯中是否发生乘客尖叫的现象并根据检测结果选择是否报警。

8.根据权利要求7所述的***，其特征在于，所述数据采集模块包括监控摄像头和加速度传感器。

Images