CN101604526B - 基于权重的音频关注度计算***和方法 - Google Patents

Abstract

本发明涉及音频信号处理技术领域，尤其涉及一种基于权重的音频关注度计算***和方法。本发明包括初始化模块、感兴趣声音关注度计算模块、开关模块、干扰声音关注度计算模块、关注度融合模块，关注度融合模块对上述模块的中间结果进行计算得到感兴趣声音的基于权重的关注度M与干扰声音的基于权重的关注度N，最终计算得到进行关注度融合后所得的融合关注度M_a，并输出融合关注度。本发明具备音频关注度在感兴趣声音类型总数不同的情况下容易设定合适的关注度判定阈值，降低了音频关注度的判定难度，并提高了音频关注度的计算与判定准确度的特点。

Description

基于权重的音频关注度计算***和方法

技术领域

本发明涉及音频信号处理技术领域，尤其涉及一种基于权重的音频关注度计算***和方法。

背景技术

关注度是人类对对象的关注程度，而音频关注度是针对音频对象及特征的关注度。目前，现有的音频关注度计算方法包括自顶向下方法和自底向上方法。自顶向下音频关注度计算方法是根据人们对特定类别对象具有不同的关注度，比如对音频中的***声、语音等不同类型声音的关注度不同，进一步通过将对象进行分类判别来确定对象是否是所关注的对象；自底向上音频关注度计算方法是根据人类对对象的特征的关注，比如对能量、频率这些特征的关注，通过将对象的这些特征进行分析来确定对象是否属于被关注的对象。

下面详细描述现有技术常用的一种音频关注度计算方法，即一种音频关注度计算方法的技术方案。

在一段音频中包含多种类型声音时，通常基于音频分类，首先求得描述该段音频中各种感兴趣声音类型的关注度(M₁，M₂……)，然后进一步计算音频文件在某一时刻的音频关注度M_a：

$M_a={\mathrm{\Σ}}_{i=1}^n{\mathrm{\λ}}_i{M}_i,$ 且 ${\mathrm{\Σ}}_{i=1}^n{\mathrm{\λ}}_i=1.$

其中M_i为一段音频中第i类感兴趣声音所得的关注度，λ_i为该段音频中所包含的第i类感兴趣声音在计算音频关注度M_a时的权重，n为该段音频中所包含的感兴趣声音类型总数。且M_i计算方法如下：

M_i＝E·P_i

其中，E＝E_avr/Max_E_avr，E_avr为该段音频中第i类感兴趣声音的平均能量，Max_E_avr为该段音频所在的整个音频文件中E_avr的最大值。

且P_i＝exp(s_i-Max_s_i)，s_i为该段音频第i类感兴趣声音的对数似然评分(log-likelihood score)，Max_s_i为该段音频所在的整个音频文件中s_i的最大值。

若该段音频中包含的需纳入音频关注度计算的感兴趣声音类型较少，例如只有2～3种的情况，该音频关注度计算方法可以较好的对感兴趣的声音进行判别，然而当用户关注的声音类型较多时，不同类型感兴趣声音被赋予的权重λ_i会呈倒数曲线下降，即随着n不断增大，M_a会远小于1，甚至接近0；与此同时，在不同情况下，感兴趣声音类型数也不同，因此现有技术中的音频关注度计算方法在对音频关注度进行判定时，不便于对不同情况下音频序列选取合适的关注度判定阈值，从而导致音频关注度的判定复杂且不准确。

考虑到音频中存在这样一些类型的声音，这些类型的声音不是感兴趣声音，但与需要纳入音频关注度计算的感兴趣声音具有一些相似特征，有可能会被误判为感兴趣声音，我们称之为干扰声音。若在音频关注度计算中不排除这些类型的声音的影响，音频关注度的准确率会受到影响。

发明内容

本发明的目的是提供一种基于权重的音频关注度计算***和方法，使得音频关注度在感兴趣声音类型总数不同的情况下容易设定合适的关注度判定阈值，并在计算音频关注度时排除与音频中感兴趣声音类型相似的干扰声音类型的影响。

为达到上述目的，本发明采用如下的技术方案：

基于权重的音频关注度计算***，包括：

初始化模块，用于设置感兴趣声音类型的总数i和每种感兴趣声音的权值λ_i，如果有需要排除的干扰声音，则设置干扰声音类型的总数j，并设置每种干扰声音的权值ω_j；

感兴趣声音关注度计算模块，用于接收来自初始化模块输出的感兴趣声音类型的总数i，对i类感兴趣声音进行检测，并分别计算第i类感兴趣声音的关注度M_i；

开关模块，用于接收来自初始化模块输出的干扰声音类型的总数j，并判断是否需要输出干扰声音类型的总数j给干扰声音关注度计算模块；

干扰声音关注度计算模块，用于接收来开关模块输出的干扰声音类型的总数j，对j类干扰声音进行检测，并分别计算第j类干扰声音的关注度N_j；

关注度融合模块，用于接收来自初始化模块输出的每种感兴趣声音的权值λ_i和每种干扰声音的权值ω_j，接收来自感兴趣声音关注度计算模块输出的第i类感兴趣声音的关注度M_i，接收来自干扰声音关注度计算模块输出的第j类干扰声音的关注度N_j；并对以上输入的中间结果进行计算得到感兴趣声音的基于权重的关注度M与干扰声音的基于权重的关注度N，最终计算得到进行关注度融合后所得的融合关注度M_a，并输出融合关注度，

其中，感兴趣声音类型的总数i大于0，干扰声音类型的总数j大于或等于0。

所述感兴趣声音关注度计算模块在计算感兴趣声音的关注度时，采用当前已有的任一类型音频关注度计算方法得到。

所述感兴趣声音关注度计算模块中，各类感兴趣声音的权重的选择范围是从0到1，包括0和1。

所述干扰声音关注度计算模块中，各类干扰声音的权重的选择范围是从0到1，包括0和1。

基于权重的音频关注度计算方法，包括如下步骤：

步骤1：输入待计算的音频信号，并对感兴趣声音类型的总数i与干扰声音类型的总数j进行初始化；

步骤2：检测该音频信号中的i类感兴趣声音，并计算各类感兴趣声音的关注度M_i；

步骤3：设置该音频信号中的各类感兴趣声音的权值λ_i，并对感兴趣声音的基于权重的音频关注度进行计算，即，

$M=1-{\mathrm{\Π}}_{i=1}^n(1-{\mathrm{\λ}}_i{M}_i),$ λ_i∈[0，1]

步骤4：根据步骤1初始化后的干扰声音类型的总数j，判断j是否为0；如果j＝0，则干扰声音的基于权重的音频关注度N＝0，并执行步骤7；否则，执行步骤5；

步骤5：检测该音频信号中的j类干扰声音，并计算各类干扰声音的关注度N_j；

步骤6：设置该音频信号中的各类干扰声音的权值ω_j，并对各类干扰声音的基于权重的音频关注度计算，即，

$N=1-{\mathrm{\Π}}_{j=0}^m(1-{\mathrm{\ω}}_j{N}_j),$ ω_j∈[0，1]

步骤7：根据上述步骤获得的感兴趣声音的基于权重的音频关注度M与干扰声音的基于权重的关注度N，计算融合关注度M_a，即，

M_a＝M(1-N)。

本发明具有以下优点和积极效果：

1)音频关注度在感兴趣声音类型总数不同的情况下容易设定合适的关注度判定阈值；

2)排除了与音频中感兴趣声音类型相似的干扰声音类型的影响；

3)降低了音频关注度的判定难度，并提高了音频关注度的计算与判定准确度。

附图说明

图1是本发明提供的基于权重的音频关注度计算***模块结构图。

图2是本发明提供的基于权重的音频关注度计算方法流程图。

图3是本发明实施例中10种感兴趣声音的音频关注度计算结果图。

图4是本发明实施例中10种感兴趣声音与1种需排除的干扰声音的音频关注度计算结果图。

图5是本发明实施例中基于权重的音频关注度计算结果图。

图6是本发明实施例中不考虑待排除声音的基于权重的音频关注度计算结果图。

图7是本发明实施例中采用现有音频关注度计算方法的音频关注度计算结果图。

其中，

1-初始化模块，2-感兴趣声音关注度计算模块，3-开关模块，4-干扰声音关注度计算模块，5-关注度融合模块。

具体实施方式

下面以具体实施例结合附图对本发明作进一步说明：

本发明提供的基于权重的音频关注度计算***，具体采用如下的技术方案，参见图1，该基于权重的音频关注度计算***包括初始化模块1、感兴趣声音关注度计算模块2、开关模块3、干扰声音关注度计算模块4、关注度融合模块5。

初始化模块1，用于设置感兴趣声音类型的总数i和每种感兴趣声音的权值λ_i，如果有需要排除的干扰声音，则设置干扰声音类型的总数j，并设置每种干扰声音的权值ω_j；

感兴趣声音关注度计算模块2，用于接收来自初始化模块1输出的感兴趣声音类型的总数i，对i类感兴趣声音进行检测，并分别计算第i类感兴趣声音的关注度M_i；

开关模块3，用于接收来自初始化模块1输出的干扰声音类型的总数j，并判断是否需要输出干扰声音类型的总数j给干扰声音关注度计算模块4；

干扰声音关注度计算模块4，用于接收来开关模块3输出的干扰声音类型的总数j，对j类干扰声音进行检测，并分别计算第j类干扰声音的关注度N_j；

关注度融合模块5，用于接收来自初始化模块1输出的每种感兴趣声音的权值λ_i和每种干扰声音的权值ω_j，接收来自感兴趣声音关注度计算模块2输出的第i类感兴趣声音的关注度M_i，接收来自干扰声音关注度计算模块4输出的第j类干扰声音的关注度N_j；并对以上输入的中间结果进行计算得到感兴趣声音的基于权重的关注度M与干扰声音的基于权重的关注度N，最终计算得到进行关注度融合后所得的融合关注度M_a，并输出融合关注度M_a。

在本发明的一个实施例下，可以设定各类感兴趣声音具有相同的关注程度，各类感兴趣声音在计算关注度时具有相同的权重，可取λ_i＝ω_j＝1。

本发明提供的基于权重的音频关注度计算方法，具体采用如下的技术方案，参见图2，该基于权重的音频关注度计算方法包括如下步骤：

步骤1：输入待计算的音频信号，并对感兴趣声音类型的总数i与干扰声音类型的总数j进行初始化；

步骤2：检测该音频信号中的i类感兴趣声音，并计算各类感兴趣声音的关注度M_i；

步骤3：设置该音频信号中的各类感兴趣声音的权值λ_i，并对感兴趣声音的基于权重的音频关注度进行计算，即，

$M=1-{\mathrm{\Π}}_{i=1}^n(1-{\mathrm{\λ}}_i{M}_i),$ λ_i∈[0，1]

步骤4：根据步骤1初始化后的干扰声音类型的总数j，判断j是否为0；如果j＝0，则干扰声音的基于权重的音频关注度N＝0，并执行步骤7；否则，执行步骤5；

步骤5：检测该音频信号中的j类干扰声音，并计算各类干扰声音的关注度N_j；

步骤6：设置该音频信号中的各类干扰声音的权值ω_j，并对各类干扰声音的基于权重的音频关注度计算，即，

$N=1-{\mathrm{\Π}}_{j=0}^m(1-{\mathrm{\ω}}_j{N}_j),$ ω_j∈[0，1]

步骤7：根据上述步骤获得的感兴趣声音的基于权重的音频关注度M与干扰声音的基于权重的关注度N，计算融合关注度M_a，即，

M_a＝M(1-N)

本发明的基于权重的音频关注度计算方法的一个实施例描述如下：

某一音频信号包括11种不同声音类型，其中前10种声音类型为感兴趣声音类型，且第6种声音类型为语音，第11种声音类型为需排除的干扰声音类型，其声音类型为广播语音。

输入待计算的音频信号，即包含11种不同声音类型的音频信号，并设置感兴趣声音类型的总数i＝10与干扰声音类型的总数j＝1；

计算该音频信号中的各类感兴趣声音的关注度，即10种感兴趣声音的关注度依次为M₁，M₂，...M₁₀(参见图3所示的)；

计算该音频信号中的各类待排除声音的关注度，即M₁₁(参见图4所示的)；

设置该音频信号中的各类感兴趣声音的权重，即10种感兴趣声音的权重依次为λ₁＝λ₂...＝λ₁₀＝1；

设置该音频信号中的各类干扰声音的权重，即第11种需排除的干扰声音即广播语音的权重为ω₁＝1；

对上述10种感兴趣声音的关注度和权重进行感兴趣声音的基于权重的音频关注度计算，即，

$M=1-{\mathrm{\Π}}_{i=1}^{10}(1-{\mathrm{\λ}}_i{M}_i),$ λ₁＝λ₂＝...＝λ₁₀＝1

对上述1种干扰声音的关注度和权重进行干扰声音的基于权重的音频关注度计算，即，

N＝1-(1-ω₁N₁)，ω₁＝1

计算融合关注度M_a3，即M_a3＝M(1-N)；

输出基于权重的音频关注度，即包含枪声、警报声、语音、汽车鸣笛声等10种声音，并排除广播语音的音频信号的基于权重的音频关注度为M_a3(参见图5所示)；

在上述步骤中，如果设定该音频信号中的各类干扰声音的权重为0，即第11种声音广播语音的权重为ω₁＝0，即在不考虑待干扰声音对关注度影响的情况下，可得(参见图6所示)，

$M_{a2}=1-\underset{i=1}{\overset{10}{\mathrm{\Π}}}(1-M_i)$

在上述步骤中，如果按照背景技术中所述的现有的音频关注度计算方法进行计算，即

$M_{a1}={\mathrm{\Σ}}_{i=1}^{10}{\mathrm{\λ}}_i{M}_i,$ 且λ_i＝1/10＝0.1

则M_a1为现有音频关注度计算方法计算所得的音频关注度(参见图7所示)。

由图5与图6比较可得根据本发明所述基于权重的音频关注度计算方法计算所得的音频关注度排除了音频中干扰声音类型——广播语音对音频关注度计算的影响。

由图6与图7比较可得根据本发明所述基于权重的音频关注度计算方法计算所得的音频关注度数值的最大值始终接近1，而现有关注度计算方法计算所得的音频关注度数值随音频中感兴趣声音类型总数的增加而不断减小。因此本发明所述音频关注度计算方法较现有音频关注度计算方法更便于在感兴趣声音类型总数不同的情况下设定合适的关注度判定阈值，使得关注度的计算与判定更加简单与准确。

Claims (4)

1.一种基于权重的音频关注度计算***，其特征在于，包括：

初始化模块(1)，用于设置感兴趣声音类型的总数i和每种感兴趣声音的权值λ_i，如果有需要排除的干扰声音，则设置干扰声音类型的总数j，并设置每种干扰声音的权值ω_j；

感兴趣声音关注度计算模块(2)，用于接收来自初始化模块(1)输出的感兴趣声音类型的总数i，对i类感兴趣声音进行检测，并分别计算第i类感兴趣声音的关注度M_i；

开关模块(3)，用于接收来自初始化模块(1)输出的干扰声音类型的总数j，并判断是否需要输出干扰声音类型的总数j给干扰声音关注度计算模块(4)；

干扰声音关注度计算模块(4)，用于接收来开关模块(3)输出的干扰声音类型的总数j，对j类干扰声音进行检测，并分别计算第j类干扰声音的关注度N_j；

关注度融合模块(5)，用于接收来自初始化模块(1)输出的每种感兴趣声音的权值λ_i和每种干扰声音的权值ω_j，接收来自感兴趣声音关注度计算模块(2)输出的第i类感兴趣声音的关注度M_i，接收来自干扰声音关注度计算模块(4)输出的第j类干扰声音的关注度N_j；并对所述关注度融合模块输入的中间结果进行计算得到感兴趣声音的基于权重的关注度M与干扰声音的基于权重的关注度N，最终计算得到进行关注度融合后所得的融合关注度M_a，并输出融合关注度M_a，其中：

M_a＝M(1-N)，

$M=1-{\mathrm{\Π}}_{i=1}^n(1-{\mathrm{\λ}}_i{M}_i),$ λ_i∈[0，1]；

$N=1-{\mathrm{\Π}}_{j=0}^m(1-{\mathrm{\ω}}_j{N}_j),$ ω_j∈[0，1]；m、n为正整数

其中，感兴趣声音类型的总数i大于0，干扰声音类型的总数j大于或等于0。

2.根据权利要求1所述的基于权重的音频关注度计算***，其特征在于：

所述感兴趣声音关注度计算模块中，各类感兴趣声音的权重的选择范围是从0到1，包括0和1。

3.根据权利要求1所述的基于权重的音频关注度计算***，其特征在于：

所述干扰声音关注度计算模块中，各类干扰声音的权重的选择范围是从0到1，包括0和1。

4.一种基于权重的音频关注度计算方法，其特征在于，包括如下步骤：

步骤1：输入待计算的音频信号，并对感兴趣声音类型的总数i与干扰声音类型的总数j进行初始化；

步骤2：检测该音频信号中的i类感兴趣声音，并计算各类感兴趣声音的关注度M_i；

步骤3：设置该音频信号中的各类感兴趣声音的权值λi，并对感兴趣声音的基于权重的音频关注度进行计算，即，

$M=1-{\mathrm{\Π}}_{i=1}^n(1-{\mathrm{\λ}}_i{M}_i),$ λ_i∈[0，1]，n为正整数

步骤4：根据步骤1初始化后的干扰声音类型的总数j，判断j是否为0；如果j＝0，则干扰声音的基于权重的音频关注度N＝0，并执行步骤7；否则，执行步骤5；

步骤5：检测该音频信号中的j类干扰声音，并计算各类干扰声音的关注度N_j；

步骤6：设置该音频信号中的各类干扰声音的权值ω_j，并对各类干扰声音的基于权重的音频关注度计算，即，

$N=1-{\mathrm{\Π}}_{j=0}^m(1-{\mathrm{\ω}}_j{N}_j),$ ω_j∈[0，1]，m为正整数

步骤7：根据上述步骤获得的感兴趣声音的基于权重的音频关注度M与干扰声音的基于权重的关注度N，计算融合关注度M_a，即，

M_a＝M(1-N)。

Images