CN111669697A - 一种多通道信号的相干声与环境声提取方法及*** - Google Patents

Abstract

本发明公开了一种多通道信号的相干声与环境声提取方法及***，所述方法包括：计算N个通道信号相干声的权重表达式，根据权重表达式估计相干声，由此计算各个通道的相干声；其中，每个通道的环境声能量相同；根据各个通道的相干声计算各个通道的环境声；将N个通道相干声与N个通道环境声进行逆傅里叶变换，得到时域表示的相干声与环境声。本发明的方法探究出在各通道环境声能量相同条件下的，针对任意通道数信号估计相干声的权重表达式，利用各个通道的信号能量以及通道间相关值，求出权重表达式中的各个未知参数，实现多通道信号的相干声与环境声提取，提取精度高。

Description

一种多通道信号的相干声与环境声提取方法及***

技术领域

本发明涉及空间声重放领域，特别涉及一种多通道信号的相干声与环境声提取方法及***。

背景技术

空间声重放技术在娱乐媒体中得到了广泛应用，比如电影院、家庭影院以及便携式电子设备在播放影片时，通过耳机或扬声器重放出具有一定声像宽度和沉浸感良好的空间声，可以为消费者带来更好的视听体验。近年来，空间声重放在尖端的科学研究和实用工程领域也逐渐显露出重要的应用前景，比如虚拟现实、航空、航天等领域。

空间声主要包含两种性质不同的成分，其一是具有方向性的声成分，称为相干声；其二是具有扩散性、无法辨别方向的声成分，称为环境声。为了实现更好的声重放效果，需要对空间声进行相干声与环境声提取(Primary-Ambient Extraction,PAE)并进行不同的处理。比如，音频编解码***中，将PAE作为音频编码或解码的前端，可以实现有效且沉浸感较好的空间声重放。

针对两通道信号的PAE方法发展较为成熟，应用较为广泛的是主成分分析法和最小二乘法。针对多通道信号，可以使用成对相关法进行PAE。但是成对相关法提取成分准确度不高。因此将适用于立体声的PAE方法拓展至多通道信号具有重要意义。主成分分析法在相干声占主要能量的前提下，通过计算输入信号的协方差矩阵的特征值，对立体声信号进行PAE。该方法也可对多通道信号进行成分提取，但是当通道数较多时，计算复杂度增大，而且主成分分析法仅在相干声占主要能量时提取效果较好。最小二乘法在各个通道环境声能量相等的前提下，通过计算估计相干声的权重，实现对立体声信号的PAE。但是，直接将最小二乘法应用于多通道信号时，估计权重不易求解。环境声成分在空间声中主要起烘托气氛的作用，为了达到更好的环绕感，环境声在各个通道能量分布差异较小。因此，在各个通道环境声能量相等的前提下，对多通道信号进行相干声与环境声提取有着重要意义。

发明内容

本发明的目的在于克服上述技术缺陷，在环境声在各个通道能量相等的前提下，通过计算通道数较少时使用最小二乘法估计相干声的权重，根据权重随通道数变化的规律性，得出针对任意通道数的多通道信号进行相干声估计时的权重表达式。

为实现上述目的，本发明提出了一种多通道信号的相干声与环境声提取方法，所述方法包括：

计算N个通道信号相干声的权重表达式，根据权重表达式估计相干声，由此计算各个通道的相干声；其中，每个通道的环境声能量相同；

根据各个通道的相干声计算各个通道的环境声；

将N个通道相干声与N个通道环境声进行逆傅里叶变换，得到时域表示的相干声与环境声。

作为上述方法的一种改进，所述计算N个通道信号相干声的权重表达式，根据权重表达式估计相干声，由此计算各个通道的相干声；其中，每个通道的环境声能量相同；具体包括：

将时域多通道信号进行傅里叶变换，第n个通道输入信号X_n表示为：

X_n＝β_nS+A_n

其中，S表示相干声的频谱，β_n表示第n个通道的相干声与第一个通道的相干声存在的幅度差异因子，1≤n≤N，β₁＝1，A_n表示第n个通道的环境声的频谱；

计算第n个通道输入信号X_n的短时能量

计算第一个通道和第二个通道的相关值Φ₁₂：

根据第一个通道的短时能量

第二个通道的短时能量

以及两个通道间相关值Φ₁₂，计算中间参数C和D：

由此计算相干声的短时能量P_S、环境声的短时能量P_A以及β₂

计算β_n：

第n个通道的权重值为：

则相干声的估计值

为：

则第n个通道相干声S_n：

作为上述方法的一种改进，所述根据各个通道的相干声计算各个通道的环境声；具体为：

第n个通道的环境声A_n为：

A_n＝X_n-S_n。

本发明的实施例2提出了一种多通道信号的相干声与环境声提取***，所述***包括：

相干声提取模块，用于计算N个通道信号相干声的权重表达式，根据权重表达式估计相干声，由此计算各个通道的相干声；其中，每个通道的环境声能量相同；

环境声提取模块，用于根据各个通道的相干声计算各个通道的环境声；

频域转时域模块，用于将N个通道相干声与N个通道环境声进行逆傅里叶变换，得到时域表示的相干声与环境声。

作为上述***的一种改进，所述相干声提取模块的具体实现过程包括：

将时域多通道信号进行傅里叶变换，第n个通道输入信号X_n表示为：

X_n＝β_nS+A_n

其中，S表示相干声的频谱，β_n表示第n个通道的相干声与第一个通道的相干声存在的幅度差异因子，1≤n≤N，β₁＝1，A_n表示第n个通道的环境声的频谱；

计算第n个通道输入信号X_n的短时能量

计算第一个通道和第二个通道的相关值Φ₁₂：

根据第一个通道的短时能量

第二个通道的短时能量

以及两个通道间相关值Φ₁₂，计算中间参数C和D：

由此计算相干声的短时能量P_S、环境声的短时能量P_A以及β₂

计算β_n：

第n个通道的权重值为：

则相干声的估计值

为：

则第n个通道相干声S_n：

作为上述***的一种改进，所述环境声计算模块的具体实现过程包括：

第n个通道的环境声A_n为：

A_n＝X_n-S_n。

本发明的优势在于：

本发明的方法探究出在各通道环境声能量相同条件下的，针对任意通道数信号估计相干声的权重表达式，利用各个通道的信号能量以及通道间相关值，求出权重表达式中的各个未知参数，实现多通道信号的相干声与环境声提取，提取精度高。

附图说明

图1是本发明的多通道信号的相干声与环境声提取方法的流程图；

图2(a)是使用本发明的方法和成对相关法对混合五通道信号1进行相干声成分提取的误差图；

图2(b)是使用本发明的方法和成对相关法对混合五通道信号1进行环境声成分提取的误差图；

图3(a)是使用本发明的方法和成对相关法对混合五通道信号2进行相干声成分提取的误差图；

图3(b)是使用本发明的方法和成对相关法对混合五通道信号2进行环境声成分提取的误差图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案进行详细说明。

实施例1

如图1所示，本发明的实施例1提出了一种用于多通道信号各个通道环境声能量相等时的相干声与环境声提取方法，包括以下步骤：

步骤1)将多通道信号分帧后进行傅里叶变换得到频谱，根据多通道信号模型表示出各个通道的短时能量以及任意两个通道间相关值，具体包括：

多通道信号模型中，输入信号表示为相干声与环境声的叠加。由于相干声和环境声自身的特性不同，假设各个通道的相干声之间是完全相关的，即存在线性关系；假设相干声与每个通道的环境声以及通道间的环境声均是不相关的。

步骤1-1)将时域多通道信号进行傅里叶变换，得到频谱：

X_n＝β_nS+A_n,n＝1,2,…,N

其中，N为通道数，S表示相干声的频谱，β_n表示第n个通道相干声与第一个通道的相干声存在的幅度差异因子，且β₁＝1，A_n表示第n个通道的环境声的频谱；

步骤1-2)各个通道的信号能量可以表示为：

其中，E{}表示短时平均。

步骤1-3)各个通道间的相关值可以表示为：

其中，

为第n₁个通道和第n₂个通道间的相关值，n₁＝1,2,…,N,n₂＝1,2,…,N,n₁≠n₂；

步骤2)计算出通道数较少时使用最小二乘法估计相干声的权重值，并探究其规律性，具体包括：

步骤2-1)针对两通道信号，计算出输入信号X₁和X₂估计相干声S的权重值：

步骤2-1-1)估计相干声S：

其中，w₁和w₂表示待求的估计权重。

步骤2-1-2)S的估计误差σ_S表示为：

步骤2-1-3)使用最小二乘算法进行求解，即当估计误差与输入立体声信号完全不相关时，得到的权重为最优估计：

E{σ_SX₁}＝0

E{σ_SX₂}＝0.

此时，最优估计的权重表示为：

其中，P_S表示相干声的短时能量，P_A表示环境声的短时能量。

步骤2-2)针对三通道信号，计算出输入信号X₁、X₂以及X₃估计相干声S的权重值：

步骤2-2-1)估计相干声S：

其中，w₁、w₂和w₃表示待求的估计权重。

步骤2-2-2)与步骤2-1)类似的处理方法可以求得三通道信号估计相干声的权重值：

步骤2-3)通过更多计算通道数更多时的相干声的估计权重，发现权重值可统一表达。针对通道数为N的多通道信号，估计的相干声表示为：

其中，权重值可以表示为：

步骤3)计算估计相干声的权重中各个未知参数，完成多通道信号的相干声与环境声提取，具体包括：

步骤3-1)已知β₁＝1，因此可根据步骤1)中前两个通道的信号能量和通道间相关值求出未知参数P_S、P_A以及β₂：

其中，

步骤3-2)根据除第一通道和第二通道外的其他通道的能量值，可求出当3≤n≤N时的β_n：

步骤3-3)针对通道数为N的多通道信号，将步骤3-1)和步骤3-2)中计算得到的参数P_S、P_A以及β_n(n＝1,2,…,N)带入步骤2-3)计算得到的估计相干声的权重值w_n(1,2,…,N)即可完成从多通道信号中提取相干声的操作。

步骤4)对对任意通道数的多通道信号进行PAE，具体包括：

步骤4-1)计算各个通道的相干声，具体包括：

由于步骤2)计算出对任意通道数的多通道信号进行PAE时估计相干声的权重表达式，步骤3)计算出权重表达式中的各个未知参数，因此当确定了多通道信号的通道数，可直接根据权重表达式估计相干声S。此相干声直接为第一个通道的相干声，其他通道的相干声由S线性处理得到，即为β_nS(n＝2,…,N)。

步骤4-2)计算各个通道的环境声，具体包括：

将各个通道剩余成分认定为环境声，即A_n＝X_n-β_nS。

步骤4-3)将所得的N个通道相干声与N个通道环境声进行逆傅里叶变换，得到时域表示的相干声与环境声。

下面结合仿真实例，对本发明所提出的方法性能进行说明：

将完全相关的相干声与完全不相关的环境声按照一定比例合成混合五通道信号，使用本发明提出的多通道PAE方法和成对相关法进行成分提取。合成了两组混合多通道信号，即纯净语音作为相干声、海浪声作为环境声的混合五通道信号1以及纯净音乐声作为相干声、森林背景声作为环境声的混合五通道信号2。混合时，为了控制各个通道间相干声能量的分布，设定各个通道间相干声幅度差异因子β_n与其参考值β₀之间呈一定的比例关系；设定各个通道的环境声能量相等为P_A0；为了控制混合信号中相干声成分所占比例，设定不同的相干声能量占比γ。参考值β₀和P_A0由γ决定。

本实验设定各个通道相干声的幅度存在β₁＝β₂＝β₀，β₃＝2β₀，β₄＝β₅＝0.5β₀的比例关系。相干声能量占比γ取值为0.05至0.95(间隔为0.1)。相干声的提取误差ε_P分别表示为：

环境声的提取误差ε_a分别表示为：

图2(a)和图2(b)代表了本发明所提出的算法和成对相关法分别对混合五通道信号1进行PAE时相干声和环境声的提取误差；图3(a)和图3(b)代表了本发明所提出的算法和成对相关法分别对混合五通道信号2进行PAE时相干声和环境声的提取误差。可以看出，在相干声能量占比γ取值为0.05至0.95(间隔为0.1)的整个区间内，本发明提出的方法的提取误差均小于成对相关法。

本发明的实施例2提出了一种多通道信号的相干声与环境声提取***，所述***包括：

相干声提取模块，用于计算N个通道信号相干声的权重表达式，根据权重表达式估计相干声，由此计算各个通道的相干声；其中，每个通道的环境声能量相同；

环境声提取模块，用于根据各个通道的相干声计算各个通道的环境声；

频域转时域模块，用于将N个通道相干声与N个通道环境声进行逆傅里叶变换，得到时域表示的相干声与环境声。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种多通道信号的相干声与环境声提取方法，所述方法包括：

计算N个通道信号相干声的权重表达式，根据权重表达式估计相干声，由此计算各个通道的相干声；其中，每个通道的环境声能量相同；

根据各个通道的相干声计算各个通道的环境声；

将N个通道相干声与N个通道环境声进行逆傅里叶变换，得到时域表示的相干声与环境声。

2.根据权利要求1所述的多通道信号的相干声与环境声提取方法，其特征在于，所述计算N个通道信号相干声的权重表达式，根据权重表达式估计相干声，由此计算各个通道的相干声；其中，每个通道的环境声能量相同；具体包括：

将时域多通道信号进行傅里叶变换，第n个通道输入信号X_n表示为：

X_n＝β_nS+A_n

其中，S表示相干声的频谱，β_n表示第n个通道的相干声与第一个通道的相干声存在的幅度差异因子，1≤n≤N，β₁＝1，A_n表示第n个通道的环境声的频谱；

计算第n个通道输入信号X_n的短时能量

计算第一个通道和第二个通道的相关值Φ₁₂：

根据第一个通道的短时能量

第二个通道的短时能量

以及两个通道间相关值Φ₁₂，计算中间参数C和D：

由此计算相干声的短时能量P_S、环境声的短时能量P_A以及β₂

计算β_n：

第n个通道的权重值为：

则相干声的估计值

为：

则第n个通道相干声S_n：

3.根据权利要求2所述的多通道信号的相干声与环境声提取方法，其特征在于，所述根据各个通道的相干声计算各个通道的环境声；具体为：

第n个通道的环境声A_n为：

A_n＝X_n-S_n。

4.一种多通道信号的相干声与环境声提取***，其特征在于，所述***包括：

相干声提取模块，用于计算N个通道信号相干声的权重表达式，根据权重表达式估计相干声，由此计算各个通道的相干声；其中，每个通道的环境声能量相同；

环境声提取模块，用于根据各个通道的相干声计算各个通道的环境声；

频域转时域模块，用于将N个通道相干声与N个通道环境声进行逆傅里叶变换，得到时域表示的相干声与环境声。

5.根据权利要求4所述的多通道信号的相干声与环境声提取***，其特征在于，所述相干声提取模块的具体实现过程包括：

将时域多通道信号进行傅里叶变换，第n个通道输入信号X_n表示为：

X_n＝β_nS+A_n

其中，S表示相干声的频谱，β_n表示第n个通道的相干声与第一个通道的相干声存在的幅度差异因子，1≤n≤N，β₁＝1，A_n表示第n个通道的环境声的频谱；

计算第n个通道输入信号X_n的短时能量

计算第一个通道和第二个通道的相关值Φ₁₂：

根据第一个通道的短时能量

第二个通道的短时能量

以及两个通道间相关值Φ₁₂，计算中间参数C和D：

由此计算相干声的短时能量P_S、环境声的短时能量P_A以及β₂

计算β_n：

第n个通道的权重值为：

则相干声的估计值

为：

则第n个通道相干声S_n：

6.根据权利要求5所述的多通道信号的相干声与环境声提取***，其特征在于，所述环境声提取模块的具体实现过程包括：

第n个通道的环境声A_n为：

A_n＝X_n-S_n。

Images