CN108596217A - 一种基于潜类多维尺度分析的声品质建模方法 - Google Patents

Abstract

本发明提出一种基于潜类多维尺度分析的声品质建模方法，利用Winsberg提出的CLASCAL方法建立音色空间，并通过多元回归分析对各维度进行拟合，将能够解释各维度的客观参量作为神经网络的输入，建立声品质模型。本发明提供了客观参量选择的一种标准，改善了声品质模型的精度及可解释性，更好地解决在声品质建模中可解释性和非线性两个关键问题。

Description

一种基于潜类多维尺度分析的声品质建模方法

技术领域

本发明属于声品质建模领域，具体涉及一种基于潜类多维尺度分析的声品质建模方法。

背景技术

声品质建模是指通过特定客观参量对声品质进行描述。在进行声品质建模时，输入的客观参量是决定模型性能的关键。由于声品质是依赖于产品和情境的，因此没有统一的标准参量。常用的参量包括心理声学参量(响度、尖锐度、粗糙度和波动强度等)、频带能量、小波包能量、自相关函数等。参量的选择往往基于研究者自身经验，现阶段并没有指导参量选择的准则。如果参量选择不当，往往建立的声品质模型则难以准确反映声品质，所以如何在众多参量中选择适宜参量进行建模是亟待解决的问题。

目前在声品质建模中，主要的建模方法有建立线性模型和建立非线性模型两种。

对于线性模型，目前有两种思路用于参量选择：1)数学手段：Gauthier等人提出基于一系列数学方法(stepwise、lasso和elastic-net)进行参量的选择，并将选择得到的参量通过多元回归建立线性模型。但是单纯的数学手段并不能从感知上对这些参量进行解释。2)心理声学手段：Susini通过CLASCAL模型对感知空间进行建模，并选择与感知空间最为相关的客观参量，但由于其本质还是线性模型，与非线性的人耳感知还是存在较大的不匹配性。

现阶段除了多元线性回归分析，各种智能算法如神经网络等非线性方法也应用到声品质建模中。其优势体现在能更好地表示人耳感知上的非线性，能够获得具有更高精度的模型。此外，神经网络作为能够进行特征自学习的代表，能够直接对输入的大量客观参量进行建模。但目前公开的采用神经网络等非线性方法进行声品质建模的方法中，存在过拟合，导致泛化性降低的问题，我们分析其主要原因是目前的神经网络等非线性方法一味的追求更多的输入参量，导致需要样本量大幅增加，当样本量无法满足要求时，就会出现过拟合、泛化性降低的问题，所以很有必要在进行神经网络等非线性方法建模前，对参量进行恰当的、与非线性方法匹配的选择。

发明内容

为了克服现有技术的不足，本发明借鉴线性模型进行前期选择参数的思路，将多维尺度分析与神经网络结合，提出一种基于潜类多维尺度分析的声品质建模方法：利用Winsberg提出的CLASCAL方法建立音色空间，并通过多元回归分析对各维度进行拟合，将能够解释各维度的客观参量作为神经网络的输入，建立声品质模型。本发明提供了客观参量选择的一种标准，改善了声品质模型的精度及可解释性，更好地解决在声品质建模中可解释性和非线性两个关键问题。

本发明的技术方案为：

所述一种基于潜类多维尺度分析的声品质建模方法，其特征在于：包括以下步骤：

步骤1：采用人工头采集方式采集被测产品使用状态下的若干双耳声样本；

步骤2：确定主观评价指标，并选择20名以上被试进行主观听音实验，获得对每个双耳声样本的评价打分；

步骤3：计算每个双耳声样本的代表参量，取每种代表参量的两端值和某一中间值对应的双耳声样本组成代表样本集合，所述代表参量包括响度、尖锐度、粗糙度和波动强度；利用步骤2中的被试对代表样本集合中的双耳声样本进行成对比较，获取代表样本集合中两两代表样本之间的不相似度矩阵，并组成高维空间表征声样本之间的感知关系；

步骤4：通过潜类多维尺度分析方法将步骤3得到的不相似度矩阵变换到维度相互正交的低维空间模型中：

步骤4.1：采用潜类多维尺度分析将不相似度矩阵建模为三个部分：公共维度、特异性和被试潜类；其中公共维度由代表样本集合中的所有样本共有，是样本间感知差异的基础；特异性指代表样本集合中的每个声样本拥有的独特属性；潜类指子群体，根据对公共维度和特异性分配的权重差异，将步骤3中的被试分为不同潜类；

步骤4.2：根据步骤4.1中对模型的定义，在设定潜类数的条件下，采用期望最大化算法对低维空间模型参数进行优化估计，使低维空间模型中样本间距离和步骤3中获得的原始不相似度矩阵之间的误差函数q最小，获取多个低维空间模型；

优化估计的参数包括任一被试属于潜类t的概率λ，低维空间模型中坐标矩阵X和低维空间模型中权重矩阵W；

其中对于某个低维空间模型而言，对于其中第t个潜类，代表样本集合中的两个声样本i和j间的距离为：

其中x_ir为样本i在低维空间模型的第r个维度上的坐标，x_jr为样本j在低维空间模型的第r个维度上的坐标，w_tr为第t个潜类的权系数，s_i和s_j为样本i和样本j的特异性维度，v_t为特异性权重；

步骤4.3：计算步骤4.2中获得的多个低维空间模型对应的AIC统计值或BIC统计值；得到其中统计值最小值对应的低维空间模型，并得到该低维空间模型对应的维度数；

步骤4.4：在步骤4.3确定的维度数条件下，采用期望最大化算法对低维空间模型参数进行优化估计，使低维空间模型中样本间距离和步骤3中获得的原始不相似度之间的误差函数q最小，获取多个低维空间模型；再采用蒙特卡洛显著性测试来确定模型的潜类数，得到最优低维空间模型：

步骤4.4.1：选择两个低维空间模型A和B，其中模型B的潜类数大于模型A的潜类数；使用模型A随机生成S个不相似度矩阵；

步骤4.4.2：分别用模型A和模型B对这S个不相似度矩阵进行拟合，得到两个模型的似然函数，并得到模型A和模型B似然函数的比值β；再用模型A和模型B对步骤3中获得的原始不相似度矩阵进行拟合，也得到两个模型拟合原始不相似度矩阵的似然函数，并得到模型A和模型B拟合原始不相似度矩阵的似然函数的比值β₀；β＞β₀的概率为p，显著性水平为α，如果p＜α，则保留模型B，剔除模型A，反之保留模型A，剔除模型B；

步骤4.4.3：重复步骤4.4.1和步骤4.4.2，得到最终的最优低维空间模型；

步骤5：通过逐步回归分析方法建立步骤4得到的最优低维空间模型中各个维度的多元方程，并将多元方程中的自变量作为声品质模型的输入参量；

步骤6：将步骤2中的双耳声样本分为训练集和测试集，将训练集中双耳声样本对应步骤5的参量作为神经网络模型的输入，步骤2获得的训练集中双耳声样本主观评分作为神经网络模型的输出，构建神经网络模型，并通过测试集验证构建的神经网络模型；若验证符合要求，则采用该神经网络模型作为被测产品的声品质模型。

有益效果

本发明采用CLASCAL模型在进行神经网络建模前进行了参量选择，能够建立非线性模型且避免模型的过拟合，此外也有助于声品质模型的解释。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1：本发明的流程图；

图2：声样本在感知空间中的投影；

图3：不同潜类在1-3维和特异性维度上的权重；

图4：声品质神经网络模型。

具体实施方式

下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本实施例中的基于潜类多维尺度分析的声品质建模方法，包括以下步骤：

步骤1：采用人工头采集方式采集被测产品在实际环境和半消声室两种使用状态下的若干双耳声样本。

步骤2：确定主观评价指标为烦恼度指标，并选择38名被试进行主观听音实验，获得对每个双耳声样本的评价打分。

步骤3：计算每个双耳声样本的代表参量，取每种代表参量的两端值和某一中间值对应的双耳声样本组成代表样本集合，所述代表参量包括响度、尖锐度、粗糙度和波动强度；利用步骤2中的被试对代表样本集合中的双耳声样本进行成对比较，获取代表样本集合中两两代表样本之间的不相似度矩阵，并组成高维空间表征声样本之间的感知关系。

步骤4：通过潜类多维尺度分析方法将步骤3得到的不相似度矩阵变换到维度相互正交的低维空间模型中：

步骤4.1：采用潜类多维尺度分析将不相似度矩阵建模为三个部分：公共维度、特异性和被试潜类；其中公共维度由代表样本集合中的所有样本共有，是样本间感知差异的基础；特异性指代表样本集合中的每个声样本拥有的独特属性；潜类指子群体，根据对公共维度和特异性分配的权重差异，将步骤3中的被试分为不同潜类。

步骤4.2：根据步骤4.1中对模型的定义，在设定潜类数的条件下，采用期望最大化算法对低维空间模型参数进行优化估计，使低维空间模型中样本间距离和步骤3中获得的原始不相似度矩阵之间的误差函数q最小，获取多个低维空间模型；

优化估计的参数包括任一被试属于潜类t的概率λ，低维空间模型中坐标矩阵X和低维空间模型中权重矩阵W；

其中对于某个低维空间模型而言，对于其中第t个潜类，代表样本集合中的两个声样本i和j间的距离为：

其中x_ir为样本i在低维空间模型的第r个维度上的坐标，x_jr为样本j在低维空间模型的第r个维度上的坐标，w_tr为第t个潜类的权系数，s_i和s_j为样本i和样本j的特异性维度，v_t为特异性权重。

步骤4.3：计算步骤4.2中获得的多个低维空间模型对应的AIC(Akaike’sinformation criterion)统计值或BIC(Bayes information criterion)统计值；得到其中统计值最小值对应的低维空间模型，并得到该低维空间模型对应的维度数。

步骤4.4：在步骤4.3确定的维度数条件下，采用期望最大化算法对低维空间模型参数进行优化估计，使低维空间模型中样本间距离和步骤3中获得的原始不相似度之间的误差函数q最小，获取多个低维空间模型；再采用蒙特卡洛显著性测试来确定模型的潜类数，得到最优低维空间模型：

步骤4.4.1：选择两个低维空间模型A和B，其中模型B的潜类数大于模型A的潜类数；使用模型A随机生成S个不相似度矩阵。

步骤4.4.2：分别用模型A和模型B对这S个不相似度矩阵进行拟合，得到两个模型的似然函数，并得到模型A和模型B似然函数的比值β；再用模型A和模型B对步骤3中获得的原始不相似度矩阵进行拟合，也得到两个模型拟合原始不相似度矩阵的似然函数，并得到模型A和模型B拟合原始不相似度矩阵的似然函数的比值β₀；β＞β₀的概率为p，显著性水平为α，如果p＜α，则保留模型B，剔除模型A，反之保留模型A，剔除模型B。

步骤4.4.3：重复步骤4.4.1和步骤4.4.2，得到最终的最优低维空间模型。

本实施例中利用期望最大化算法(EM算法)分别计算2～5个潜类、无特异性下2～11维以及有特异性下2～6维的空间模型，然后分别确定维度数和潜类数。

确定维度数：利用AIC来选择最优公共维度数和是否包含特异性。对于3个潜类，从无特异性下2到10维空间以及有特异性下2到6维空间的AIC值如表1所示。AIC呈现先减小后增大的趋势，无特异性下10维空间对应AIC最小，但维度过高不利于解释。对于潜类数分别为2、3、4、5的情况下，不同潜类下AIC变化呈现相同的趋势，对有特异性情况下均在维度数为3时达到最小值。因此选择有特异性下三维空间。

表1不同模型对应的AIC值

确定潜类数：将潜类数为2的模型分别与潜类数为3～5的模型通过Monte Carlo检测法来确定潜类数。按步骤4中方法计算出概率p，潜类数为2的模型和潜类数为3和4比较时，p值均小于α(0.01)；和潜类数为5的模型相比较时，p＝0.48大于α，因此，摒弃潜类数为5的模型。潜类数为3和4的模型之间再进行蒙特卡洛检测，p＝0.18大于α，因此，选择潜类数为3。

最终，最优低维空间模型为具有三个被试潜类且具有特异性的三维空间模型，如图2所示。

在图2中，圆圈表示半消声室中声样本，三角表示实际环境中声样本。在维度1和2平面内，除型号6和7之外，两种环境明显区分开。证明人们能够感知到环境的差异，而型号6和7在听感上更加嘈杂，更接近于实际环境，在维度2和3平面上，不同环境下同类型的声样本聚集在一起，表明除环境差异外，各型号产品特有的属性也会被人们感知。

图3表示不同潜类在公共维度和特异性上的权重差异。潜类2由5个声学专业人员组成，具有类似实验经验。潜类2中的被试能够相对均衡地关注各个维度，但权重整体较高，反映了潜类2使用的评价分值更大，也反映了潜类2相对于其他两类更加“不保守”。潜类1和3之间的感知权重差异主要集中在维度3上。维度3和产品自身特性的感知紧密相关，受环境影响较小。潜类3主要由经常使用产品的人员和销售人员组成，虽然缺少专业声学知识，但丰富的产品使用经验使得他们对产品自身特性更加了解。综上所述，在该产品噪声感知中存在个体差异，长时间接触产品的人员和声学专业人员将会是声品质评价和建模的重点关注对象。

步骤5：通过逐步回归分析方法建立步骤4得到的最优低维空间模型中各个维度的多元方程，并将多元方程中的自变量作为声品质模型的输入参量。

本实施例中，提取一系列被测产品噪声的声学参数作为候选参量，包括时域波形参量、基于短时傅里叶变换(STFT)的谱参量、基于等效矩形带宽(ERB)的听觉谱参量、基于正弦谐波模型的谐波谱参量。每种参量包括10个公共测度：谱质心、谱延展、谱斜度、谱峰度、谱斜率、谱衰减、谱下降值、谱变化、谱平坦度及谱峰度。谐波特征包括两个特有的测度：基频和噪度。此外也提取心理声学参量(响度、尖锐度、粗糙度和波动强度)和三分之一倍频程能量分布作为备选。由于神经网络自身具有特征学习的特性，因此过少的参量输入不利于高精度模型的建立，因此使用逐步回归分析对感知空间中的各个维度进行建模，而不是通过相关分析获得最为相关的单个参量作为各维度解释。通过多元回归分析，空间各维度可以表示为

D1＝0.684ZCR-0.393Fluctuation； (1)

D2＝0.921T13-0.502T14-0.438T15； (2)

D3＝-0.778T22+0.472Harmonic Noisiness. (3)

其中ZCR表示过零率，Fluctuation表示波动强度；TXX表示各三分之一倍频程内能量，Harmonic Noisiness表示谐波噪度。

步骤6：将步骤2中的双耳声样本分为训练集和测试集，将训练集中双耳声样本对应步骤5的参量作为神经网络模型的输入，步骤2获得的训练集中双耳声样本主观评分作为神经网络模型的输出，构建BP神经网络模型，结构如图4所示。并通过测试集验证构建的神经网络模型；若验证符合要求，则采用该神经网络模型作为被测产品的声品质模型。

作为比较，将未经过特征选择的120维参量直接输入BP神经网络中构建声品质模型，两种模型的对比如表2所示。经过CLASCAL参数选择后的声品质模型相比于未经参量选择的模型在两种环境下精度都有提高：在半消声内由13.8％提升为8.6％，在实际环境下由6.8％提升为6.6％。证明了本模型特征选择的有效性。未经特征选择过多的输入参量可能会导致过拟合，在测试集上失去泛化能力。

表2两种模型精度的对比

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (1)

1.一种基于潜类多维尺度分析的声品质建模方法，其特征在于：包括以下步骤：

步骤1：采用人工头采集方式采集被测产品使用状态下的若干双耳声样本；

步骤2：确定主观评价指标，并选择20名以上被试进行主观听音实验，获得对每个双耳声样本的评价打分；

步骤3：计算每个双耳声样本的代表参量，取每种代表参量的两端值和某一中间值对应的双耳声样本组成代表样本集合，所述代表参量包括响度、尖锐度、粗糙度和波动强度；利用步骤2中的被试对代表样本集合中的双耳声样本进行成对比较，获取代表样本集合中两两代表样本之间的不相似度矩阵，并组成高维空间表征声样本之间的感知关系；

步骤4：通过潜类多维尺度分析方法将步骤3得到的不相似度矩阵变换到维度相互正交的低维空间模型中：

步骤4.1：采用潜类多维尺度分析将不相似度矩阵建模为三个部分：公共维度、特异性和被试潜类；其中公共维度由代表样本集合中的所有样本共有，是样本间感知差异的基础；特异性指代表样本集合中的每个声样本拥有的独特属性；潜类指子群体，根据对公共维度和特异性分配的权重差异，将步骤3中的被试分为不同潜类；

步骤4.2：根据步骤4.1中对模型的定义，在设定潜类数的条件下，采用期望最大化算法对低维空间模型参数进行优化估计，使低维空间模型中样本间距离和步骤3中获得的原始不相似度矩阵之间的误差函数q最小，获取多个低维空间模型；

优化估计的参数包括任一被试属于潜类t的概率λ，低维空间模型中坐标矩阵X和低维空间模型中权重矩阵W；

其中对于某个低维空间模型而言，对于其中第t个潜类，代表样本集合中的两个声样本i和j间的距离为：

其中x_ir为样本i在低维空间模型的第r个维度上的坐标，x_jr为样本j在低维空间模型的第r个维度上的坐标，w_tr为第t个潜类的权系数，s_i和s_j为样本i和样本j的特异性维度，v_t为特异性权重；

步骤4.3：计算步骤4.2中获得的多个低维空间模型对应的AIC统计值或BIC统计值；得到其中统计值最小值对应的低维空间模型，并得到该低维空间模型对应的维度数；

步骤4.4：在步骤4.3确定的维度数条件下，采用期望最大化算法对低维空间模型参数进行优化估计，使低维空间模型中样本间距离和步骤3中获得的原始不相似度之间的误差函数q最小，获取多个低维空间模型；再采用蒙特卡洛显著性测试来确定模型的潜类数，得到最优低维空间模型：

步骤4.4.1：选择两个低维空间模型A和B，其中模型B的潜类数大于模型A的潜类数；使用模型A随机生成S个不相似度矩阵；

步骤4.4.2：分别用模型A和模型B对这S个不相似度矩阵进行拟合，得到两个模型的似然函数，并得到模型A和模型B似然函数的比值β；再用模型A和模型B对步骤3中获得的原始不相似度矩阵进行拟合，也得到两个模型拟合原始不相似度矩阵的似然函数，并得到模型A和模型B拟合原始不相似度矩阵的似然函数的比值β₀；β＞β₀的概率为p，显著性水平为α，如果p＜α，则保留模型B，剔除模型A，反之保留模型A，剔除模型B；

步骤4.4.3：重复步骤4.4.1和步骤4.4.2，得到最终的最优低维空间模型；

步骤5：通过逐步回归分析方法建立步骤4得到的最优低维空间模型中各个维度的多元方程，并将多元方程中的自变量作为声品质模型的输入参量；

步骤6：将步骤2中的双耳声样本分为训练集和测试集，将训练集中双耳声样本对应步骤5的参量作为神经网络模型的输入，步骤2获得的训练集中双耳声样本主观评分作为神经网络模型的输出，构建神经网络模型，并通过测试集验证构建的神经网络模型；若验证符合要求，则采用该神经网络模型作为被测产品的声品质模型。