CN104243894A - 一种声视频融合监控方法 - Google Patents

Abstract

本发明涉及一种声视频融合监控方法，包括：采集声频与视频信号，对所采集的信号进行调理；对经过调理的信号做协同预处理；对所得到的信号是否同时包含声频信号与视频信号加以判断，当同时包含两种信号时，对声频信号与视频信号做融合分析，根据融合分析的结果查找出所述声视频信号中所包含的目标信息，若仅包含声频信号，对声频信号做独立的分析与处理，得到所述声频信号中所包含的目标信息；根据所得到的目标信息决定是否需要对摄像机的姿态进行调整，若需要调整，调整摄像机的姿态，然后重新执行；其中，所述对摄像机的姿态进行调整包括调焦、补光、调整角度。

Description

一种声视频融合监控方法

技术领域

本发明涉及监控领域，特别涉及一种声视频融合监控方法。

背景技术

视频监控是监控领域中的一种主要手段。传统的视频监控主要基于低分辨率单眼视频传感器，面对日益复杂的动态场景和智能实时预警的要求，其技术存在两大挑战：第一，视频传感器存在视角较窄、易受遮挡的问题，容易受到复杂气象条件及光线强度的影响，例如风雨雪雾天气及昼夜变化；第二，视频监控基于连续大量的视频数据流进行检测、定位与跟踪的算法复杂度较高，尤其是基于高清视频实现智能分析的实时性较差，成本与能耗也是问题，这限制了高清视频传感器在监控领域的应用。

为了应对这些挑战，国内外针对视频监控的智能性和实时性开展了广泛研究，其中一种思路是基于视频高级处理算法来扩展和深化视频的智能分析技术，全景、立体摄像和3-D建模等方法在一定程度上弥补了单眼视频传感器视角较窄的缺陷；另外一种思路是基于多传感器数据融合理论，利用来自同类或者异类多传感器提取的特征实现面向目标的智能化分析。近年来在视频监控领域已经开展了多摄像头联动以及融合GPS、雷达、激光、红外等异类信号的探索。

但是声音作为自然界一个重要信号，至今还没有在监控领域引起重视，主要受限于传声器阵列的技术滞后。随着阵列和传感技术的发展，基于传声器阵列的声探测研究有了较大的进展，已经在医疗监护、消费电子、边界防护、工业控制等领域开展了应用示范。由于基于传声器阵列的声探测方法增强了对离散目标和短时活动的检测、定位和跟踪能力，具有低能耗、全天候、无遮挡、无盲区和实时性好的特点，非常适合在监控领域的应用。但是由于监控场景环境复杂、背景嘈杂，现有传声器阵列定位技术不能直接应用于监控场景分析。另外由于声探测获取的信息量相对较少，无法仅凭传声器阵列独立满足监控领域的需求。目前还没有一套适应于监控领域的声视频融合监控的完整技术方案。

发明内容

本发明的目的在于克服单一视频监控视野较窄、易受环境影响、获取信息量少等缺陷，从而提供一种基于传声器阵列与云台摄像机的声视频融合监控方法。

为了实现上述目的，本发明提供了一种声视频融合监控方法，包括：

步骤1）、采集声频与视频信号，对所采集的信号进行调理；

步骤2）、对步骤1）所得到的、经过调理的信号做协同预处理；所述协同预处理包括对信号做压缩、滤波、去噪与增强；

步骤3）、对步骤2）所得到的信号是否同时包含声频信号与视频信号加以判断，当同时包含两种信号时，执行步骤4），若仅包含声频信号，则执行步骤5）；

步骤4）、对声频信号与视频信号做融合分析，根据融合分析的结果查找出所述声视频信号中所包含的目标信息，然后执行步骤6）；

步骤5）、对声频信号做独立的分析与处理，得到所述声频信号中所包含的目标信息，然后执行步骤6）；

步骤6）、根据步骤4）或步骤5）所得到的目标信息决定是否需要对摄像机的姿态进行调整，若需要调整，调整摄像机的姿态，然后重新执行步骤1）；其中，所述对摄像机的姿态进行调整包括调焦、补光、调整角度。

上述技术方案中，还包括：

步骤7）、对当前的声视频信号进行模式识别，以获取目标事件的包括关键词、时间、方位、类别、状态在内的语义信息；所述模式识别包括行为理解、判别控制和状态评估，其中，所述行为理解通过运动特征的提取，获取目标事件的关键词；所述判别控制根据行为理解的结果，进一步获取事件的时间、方位等信息，与对应的关键词阈值相比较，检测判断目标事件的类别；所述状态评估根据判别目标事件的类别，依据类别的预设特征值估计目标事件的重要度，根据估计结果给目标事件设定警告等级；

步骤8）、从经过模式识别的声视频信号中抓取关键信息和核心片段，将多个片段拼接和编辑形成一个反映监控信息的语义情报，将这些语义情报压缩后编码，最后通过网络实现传输。

上述技术方案中，所述的步骤4）包括：

步骤4-1）、从背景噪声数据库中抽取背景噪声数据，实现背景建模；其中，所述背景噪声数据库用于存储多种气象条件下、多种典型场景的背景噪声；所述气象条件包括风、雨、雪、雾在内的特殊气象条件，所述典型场景包括呼救、鸣笛、碰撞、***、鸣枪、低空飞行、人群聚集；

步骤4-2）、从目标特征数据库中抽取多种目标特征信息，将这些目标特征信息与步骤4-1）中所建立的背景噪声模型相结合，得到虚拟目标特征；其中，所述目标特征数据库用于存储目标的特征信息，所述特征包括声频或视频信号的基本特征、变换域特征、统计特征、运动特征，以及这些特征在时间、空间、谱、相位等方面的信息；

步骤4-3）、对步骤2）生成的声视频信号与步骤4-2）生成的虚拟目标特征进行比对，实现对步骤2）生成的声视频信号的目标特征提取；

步骤4-4）、根据步骤4-3）得到的目标特征提取结果利用贝叶斯分析进行概率判断，通过最大后验概率发现所采集的声视频信号中所包含的事件；

步骤4-5）、对步骤4-4）中所检测到的目标采用基于目标特征和背景噪声模型的波束形成和波达方向估计方法，依据声信号传播规律计算开空间及封闭空间两类环境条件下运动声源目标所具有的能量、相位及多普勒效应以实现定位，确定该目标的坐标值；

步骤4-6）、对经过定位的目标进行跟踪。

上述技术方案中，在所述的步骤4-3）与步骤4-4）之间，还包括多次执行所述步骤4-1）—步骤4-3）。

上述技术方案中，在所述的步骤4-3）中，将声视频信号与虚拟目标特征比对的结果是一组目标特征值，将这些目标特征值按照相似度从高到低进行排序，排序结果中高于某一预先设定阈值的目标特征值为声视频信号的目标特征提取结果。

上述技术方案中，在所述的步骤4-6）中，所述跟踪包括根据传声器阵列确定的坐标值控制摄像机姿态，实现调焦、补光、调整角度。

上述技术方案中，所述步骤5）包括：

步骤5-1）、从背景噪声数据库中抽取背景噪声数据，实现背景建模；从目标特征数据库中抽取目标特征；

步骤5-2）、采用基于目标特征和背景噪声模型的波束形成和波达方向估计方法，依据声信号传播规律计算开空间及封闭空间两类环境条件下运动声源目标所具有的能量、相位及多普勒效应对分布式目标检测、定位及跟踪模型的贡献，从而对声源目标进行优化识别、分类、定位和跟踪。

上述技术方案中，在所述的步骤6）中，重新执行步骤1）的次数不超过3次。

本发明的优点在于：

1）本发明将声学特征信号作为参数引入视频检测与跟踪算法，声学信号处理具有算法复杂度小、实时性好的特点，能够提高视频目标识别与跟踪算法的性能。

2）本发明提取融合声频与视频两种异类信号的复合特征，弥补传统视频监控的缺点，具有全天候、无遮挡、无盲区的检测、定位与跟踪能力，能够提高监控***的反应速度。

3）本发明对声视频数据进行自动分析和语义理解，抓取监控场景中关键信息和核心片段，拼接和编辑形成一个反映监控信息的语义情报，压缩编码后通过网络传输，能够避免监控网络海量数据日益膨胀的问题。

4）本发明将多通道声视频信号的采集、分析、计算和通信功能融为一体化装置，解决传声器阵列尺寸过大不易安装的问题，同时支持无线传输及PLC功能，能够避免连接线缆较多造成的成本较高等问题。

附图说明

图1是本发明的声视频融合监控方法的流程图；

图2是对摄像机姿态进行调整的示意图。

具体实施方式

现结合附图对本发明作进一步的描述。

本发明的声视频融合监控方法基于传声器阵列所得到的声音信号以及摄像机所得到的视频信号实现对监控场景的监控。

在对本发明方法的实现步骤做详细说明之前，首先对本发明中所涉及的相关概念进行描述。

目标特征数据库：目标指监控场景中的突发异常事件，目标特征数据库用于存储目标的特征信息，所述特征包括声频或视频信号的基本特征、变换域特征、统计特征、运动特征，以及这些特征在时间、空间、谱、相位等方面的信息（如均值、方差、倒频谱、包络等）。

背景噪声数据库：背景噪声数据库用于存储多种气象条件下、多种典型场景的背景噪声。所述气象条件包括风、雨、雪、雾等特殊气象条件；所述典型场景包括呼救、鸣笛、碰撞、***、鸣枪、低空飞行、人群聚集等。

下面结合附图对本发明的方法做进一步说明。

参考图1，本发明的方法包括以下步骤：

步骤1）、采集声频与视频信号，对所采集的信号进行调理。

在本步骤中，视频信号采用摄像机采集，声频信号采用传声器阵列采集。通常情况下，所采集的信号应当同时包含声频与视频信号，但由于传声器阵列或摄像机发生故障等原因，某些情况下，所采集的信号仅包含声频信号或仅包含视频信号，对于此类情况可继续执行后续操作。

步骤2）、对步骤1）所得到的、经过调理的信号做协同预处理。

本步骤中，信号的协同预处理包括对信号依次做压缩、滤波、去噪与增强等操作，这些操作的实现方式为本领域技术人员所公知，因此不在此处重复。

在步骤1）中，若采集的信号同时包含声频信号与视频信号，则对信号做压缩、滤波时采用协同压缩与协同滤波的方式，若采集的信号仅包含声频信号或视频信号，则按照对单一信号加以处理的方式进行处理即可。

步骤3）、对步骤2）所得到的信号是否同时包含声频信号与视频信号加以判断，当同时包含两种信号时，执行步骤4），若仅包含声频信号，则执行步骤5）。

之前提到，监控设备所采集的信号也存在仅包括视频信号或仅包括声频信号的可能，对于仅包含视频信号的情况，对视频信号的分析与处理则不在本申请的范围之内。

步骤4）、对声频信号与视频信号做融合分析，根据融合分析的结果查找出所述声视频信号中所包含的目标信息，然后执行步骤6）。

步骤5）、对声频信号做独立的分析与处理，得到所述声频信号中所包含的目标信息，然后执行步骤6）。

步骤6）、根据步骤4）或步骤5）所得到的目标信息决定是否需要对摄像机的姿态进行调整。参考图2，在调整姿态时，首先感知摄像机当前的姿态，然后根据传声器阵列所接收的声频信号所确定的声源目标的方向和距离信息，确定摄像机当前姿态与目标姿态之间的差异，从而实现姿态调整。所述姿态调整包括调焦、补光、调整角度等操作。

调整摄像机的姿态后，可重新执行前述的步骤1），进行信号重新采集或者补偿采集，将所采集的结果按照如前步骤做协同预处理以及声视频融合分析，所得到的结果可用于进一步调整摄像机的姿态。这一定位循环操作最多重复3次以保证算法收敛和速度，并且在跟踪过程中自动禁用。

以上是对本发明方法基本步骤的描述，作为一种优选实现方式，在另一实施例中，本发明方法还包括：

步骤7）、对当前的声视频信号进行模式识别，以获取目标事件的关键词、时间、方位、类别、状态等语义信息；所述模式识别包括行为理解、判别控制和状态评估，其中，所述行为理解主要通过运动特征的提取，获取目标事件的关键词，比如撞车、***等，所述判别控制主要是根据行为理解的结果，进一步获取事件的时间、方位等信息，与对应的关键词阈值相比较，检测判断目标事件的类别；所述状态评估主要是根据判别目标事件的类别，依据类别的预设特征值估计目标事件的重要度，根据估计结果给目标事件设定警告等级。

步骤8）、从经过模式识别的声视频信号中抓取关键信息和核心片段，将多个片段拼接和编辑形成一个反映监控信息的语义情报，将这些语义情报压缩后编码，最后通过网络实现传输。

通过上述步骤7）和步骤8），监控过程中所得到的声视频信号能够在后续操作中较为方便地被检索，提高了检索效率，有助于监控信息的进一步利用。

下面对本发明方法中的相关步骤的具体实现做进一步描述。

在所述的步骤4）中，对声视频信号做融合分析包含多个子步骤，包括：

步骤4-1）、从背景噪声数据库中抽取背景噪声数据，实现背景建模。

从之前对背景噪声数据库的描述可以知道，背景噪声数据库中包含有多种气象条件下、多种典型场景的背景噪声，在本步骤中，根据监控时的外部条件，可从背景噪声数据库中选取对应的背景噪声数据，利用该背景噪声数据进行建模。

步骤4-2）、从目标特征数据库中抽取多种目标特征信息，将这些目标特征信息与步骤4-1）中所建立的背景噪声模型相结合，得到虚拟目标特征。

步骤4-3）、对步骤2）生成的声视频信号与步骤4-2）生成的虚拟目标特征进行比对，实现对步骤2）生成的声视频信号的目标特征提取。

本步骤中将声视频信号与虚拟目标特征比对的结果是一组目标特征值，将这些目标特征值按照相似度从高到低进行排序，排序结果中高于某一预先设定阈值的目标特征值就是声视频信号的目标特征提取结果。

需要说明的是，若本发明的方法应用在资源有限的嵌入式操作***上时，未必能够一次读取目标特征数据库与背景噪声数据库中的所有信息，在这种情况下，步骤4-1）—步骤4-3）需要多次执行，以得到更为准确的目标特征提取结果。

步骤4-4）、根据步骤4-3）得到的目标特征提取结果利用贝叶斯分析进行概率判断，通过最大后验概率发现所采集的声视频信号中所包含的事件。

步骤4-5）、对步骤4-4）中所检测到的目标采用基于目标特征和背景噪声模型改进的波束形成和波达方向估计方法，依据声信号传播规律计算开空间及封闭空间两类环境条件下运动声源目标所具有的能量，相位及多普勒效应以实现定位，确定该目标的坐标值。

步骤4-6）、对经过定位的目标进行跟踪。所述跟踪包括根据传声器阵列确定的坐标值控制云台摄像机姿态，实现调焦、补光、调整角度等操作，保证在多目标情况下能够连续稳定地捕捉指定目标的视频信息，并且实现多目标之间的快速准确切换。

在所述的步骤5）中，对声频信号做独立的分析与处理包括：

步骤5-1）、从背景噪声数据库中抽取背景噪声数据，实现背景建模；从目标特征数据库中抽取目标特征。

步骤5-2）、采用基于目标特征和背景噪声模型的波束形成和波达方向估计方法，依据声信号传播规律计算开空间及封闭空间两类环境条件下运动声源目标所具有的能量、相位及多普勒效应对分布式目标检测、定位及跟踪模型的贡献，从而对声源目标进行优化识别、分类、定位和跟踪。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种声视频融合监控方法，包括：

步骤1）、采集声频与视频信号，对所采集的信号进行调理；

步骤2）、对步骤1）所得到的、经过调理的信号做协同预处理；所述协同预处理包括对信号做压缩、滤波、去噪与增强；

步骤3）、对步骤2）所得到的信号是否同时包含声频信号与视频信号加以判断，当同时包含两种信号时，执行步骤4），若仅包含声频信号，则执行步骤5）；

步骤4）、对声频信号与视频信号做融合分析，根据融合分析的结果查找出所述声视频信号中所包含的目标信息，然后执行步骤6）；

步骤5）、对声频信号做独立的分析与处理，得到所述声频信号中所包含的目标信息，然后执行步骤6）；

步骤6）、根据步骤4）或步骤5）所得到的目标信息决定是否需要对摄像机的姿态进行调整，若需要调整，调整摄像机的姿态，然后重新执行步骤1）；其中，所述对摄像机的姿态进行调整包括调焦、补光、调整角度。

2.根据权利要求1所述的声视频融合监控方法，其特征在于，还包括：

步骤7）、对当前的声视频信号进行模式识别，以获取目标事件的包括关键词、时间、方位、类别、状态在内的语义信息；所述模式识别包括行为理解、判别控制和状态评估，其中，所述行为理解通过运动特征的提取，获取目标事件的关键词；所述判别控制根据行为理解的结果，进一步获取事件的时间、方位等信息，与对应的关键词阈值相比较，检测判断目标事件的类别；所述状态评估根据判别目标事件的类别，依据类别的预设特征值估计目标事件的重要度，根据估计结果给目标事件设定警告等级；

步骤8）、从经过模式识别的声视频信号中抓取关键信息和核心片段，将多个片段拼接和编辑形成一个反映监控信息的语义情报，将这些语义情报压缩后编码，最后通过网络实现传输。

3.根据权利要求1或2所述的声视频融合监控方法，其特征在于，所述的步骤4）包括：

步骤4-1）、从背景噪声数据库中抽取背景噪声数据，实现背景建模；其中，所述背景噪声数据库用于存储多种气象条件下、多种典型场景的背景噪声；所述气象条件包括风、雨、雪、雾在内的特殊气象条件，所述典型场景包括呼救、鸣笛、碰撞、***、鸣枪、低空飞行、人群聚集；

步骤4-2）、从目标特征数据库中抽取多种目标特征信息，将这些目标特征信息与步骤4-1）中所建立的背景噪声模型相结合，得到虚拟目标特征；其中，所述目标特征数据库用于存储目标的特征信息，所述特征包括声频或视频信号的基本特征、变换域特征、统计特征、运动特征，以及这些特征在时间、空间、谱、相位等方面的信息；

步骤4-3）、对步骤2）生成的声视频信号与步骤4-2）生成的虚拟目标特征进行比对，实现对步骤2）生成的声视频信号的目标特征提取；

步骤4-4）、根据步骤4-3）得到的目标特征提取结果利用贝叶斯分析进行概率判断，通过最大后验概率发现所采集的声视频信号中所包含的事件；

步骤4-5）、对步骤4-4）中所检测到的目标采用基于目标特征和背景噪声模型的波束形成和波达方向估计方法，依据声信号传播规律计算开空间及封闭空间两类环境条件下运动声源目标所具有的能量、相位及多普勒效应以实现定位，确定该目标的坐标值；

步骤4-6）、对经过定位的目标进行跟踪。

4.根据权利要求3所述的声视频融合监控方法，其特征在于，在所述的步骤4-3）与步骤4-4）之间，还包括多次执行所述步骤4-1）—步骤4-3）。

5.根据权利要求3所述的声视频融合监控方法，其特征在于，在所述的步骤4-3）中，将声视频信号与虚拟目标特征比对的结果是一组目标特征值，将这些目标特征值按照相似度从高到低进行排序，排序结果中高于某一预先设定阈值的目标特征值为声视频信号的目标特征提取结果。

6.根据权利要求3所述的声视频融合监控方法，其特征在于，在所述的步骤4-6）中，所述跟踪包括根据传声器阵列确定的坐标值控制摄像机姿态，实现调焦、补光、调整角度。

7.根据权利要求1或2所述的声视频融合监控方法，其特征在于，所述步骤5）包括：

步骤5-1）、从背景噪声数据库中抽取背景噪声数据，实现背景建模；从目标特征数据库中抽取目标特征；

步骤5-2）、采用基于目标特征和背景噪声模型的波束形成和波达方向估计方法，依据声信号传播规律计算开空间及封闭空间两类环境条件下运动声源目标所具有的能量、相位及多普勒效应对分布式目标检测、定位及跟踪模型的贡献，从而对声源目标进行优化识别、分类、定位和跟踪。

8.根据权利要求1或2所述的声视频融合监控方法，其特征在于，在所述的步骤6）中，重新执行步骤1）的次数不超过3次。