CN115696176A - 一种基于音频对象的声重放方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种基于音频对象的声重放方法、装置、设备及存储介质，该方法包括：接收多个通道的音频信号，音频信号包括左声道信号、中声道信号、右声道信号、环绕声信号与重低音信号；将左声道信号、中声道信号与右声道信号分解为音频对象、与定位相关的元数据；根据位于听音位置前方的第一扬声器的布置方式与元数据对音频对象进行补偿，并传输至第一扬声器进行播放；对环绕声信号进行补偿，并传输至位于听音位置后方的第二扬声器进行播放；将重低音信号传输至第三扬声器进行播放。基于音频对象的声重放方法，可直接对每个声音对象单独调节，使声音对象的空间信息得到更加细腻、正确的表达。

Description

一种基于音频对象的声重放方法、装置、设备及存储介质

技术领域

本发明涉及音频处理技术领域，尤其涉及一种基于音频对象的声重放方法、装置、设备及存储介质。

背景技术

在基于音频通路的框架下，多通路信号中每一通路信号包含多种声音对象，各种声音的空间信息通过通路信号之间的相对关系表达。

当听音位置偏离左右对称扬声器的中轴线时，需以某一声音对象为参考，调节各扬声器之间的相对输出增益与延时，使其空间信息满足要求，然后将通路信号由扬声器输出。

以某一声音对象为参考，调节各扬声器之间的相对输出增益与延时会导致其他声音对象的空间信息得到错误表达。

发明内容

本发明提供了一种基于音频对象的声重放方法、装置、设备及存储介质，以解决声音对象的空间信息细腻、正确的表达。

根据本发明的一方面，提供了一种基于音频对象的声重放方法，所述方法包括：

接收多个通道的音频信号，所述音频信号包括左声道信号、中声道信号、右声道信号、环绕声信号与重低音信号；

将所述左声道信号、所述中声道信号与所述右声道信号分解为音频对象、与定位相关的元数据；

根据位于听音位置前方的第一扬声器的布置方式与所述元数据对所述音频对象进行补偿，并传输至所述第一扬声器进行播放；

对所述环绕声信号进行补偿，并传输至位于听音位置后方的第二扬声器进行播放；

将所述重低音信号传输至第三扬声器进行播放。

根据本发明的另一方面，提供了基于音频对象的声重放装置，所述装置包括：

音频信号接收模块，用于接收多个通道的音频信号，所述音频信号包括左声道信号、中声道信号、右声道信号、环绕声信号与重低音信号；

信号分解模块，用于将所述左声道信号、所述中声道信号与所述右声道信号分解为音频对象、与定位相关的元数据；

音频对象补偿模块，用于根据位于听音位置前方的第一扬声器的布置方式与所述元数据对所述音频对象进行补偿，并传输至所述第一扬声器进行播放；

环绕声信号补偿模块，用于对所述环绕声信号进行补偿，并传输至位于听音位置后方的第二扬声器进行播放；

重低音传输播放模块，用于将所述重低音信号传输至第三扬声器进行播放。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现本发明任一实施例所述的方法。

在本实施例中，接收多个通道的音频信号，音频信号包括左声道信号、中声道信号、右声道信号、环绕声信号与重低音信号；将左声道信号、中声道信号与右声道信号分解为音频对象、与定位相关的元数据；根据位于听音位置前方的第一扬声器的布置方式与元数据对音频对象进行补偿，并传输至第一扬声器进行播放；对环绕声信号进行补偿，并传输至位于听音位置后方的第二扬声器进行播放；将重低音信号传输至第三扬声器进行播放。基于音频对象的声重放方法，可直接对每个声音对象单独调节，使声音对象的空间信息得到更加细腻、正确的表达。通过将声道信号分解成音频对象、与位置定位相关的元数据，根据位置对音频对象进行补偿且对环绕声信号进行补偿后传输至扬声器进行播放。在音频对象框架下、听音位置偏离左右对称扬声器中间竖直方向位置时，能够为听众提供更好的声音重放细节。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种基于音频对象的声重放方法的流程图；

图2是根据本发明实施例一提供的一种扬声器位置关系图；

图3是根据本发明实施例二提供的一种基于音频对象的声重放装置的结构示意图；

图4是实现本发明实施例三提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供的一种基于音频对象的声重放方法的流程图，本实施例可适用于直接对每个声音对象单独调节，使声音对象的空间信息更加细腻的情况，该方法可以由装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于电子设备中。如图1所示，该方法包括：

步骤101、接收多个通道的音频信号，音频信号包括左声道信号、中声道信号、右声道信号、环绕声信号与重低音信号。

音频信号表示机械波的信号，是机械波的波长、强度变化的信息载体。根据机械波的特征，可分为规则信号和不规则信号。其中规则信号又可以分为音乐等。规则信号是一种连续变化的模拟信号，可用一条连续的曲线来表示。正弦波有三个重要参数：频率、幅度、相位。

音频信号的目的是为了表示机械波，其强弱体现在机械波的强度上，感觉的音调体现在机械波的波长上。机械波表示时，信号在时间和幅度上都是连续的模拟信号。机械波具有波的特性，例如反射、折射和衍射等。对机械波分析可知，机械波由许多波长不同的成分组成，是一种复合信号。音频信号的一个重要参数就是带宽，用来描述组成复合信号的波长范围。

波长是指一个波相邻两个波峰或波谷间的距离。人对波长的感觉表现为音调，在音乐中称为音高。音调正是由波长决定。

在基于音频频通道的框架下，多条通路信号中每一通路信号包含多种声音对象，各种声音的空间信息通过通路信号之间的相对关系表达，当听音位置偏离左右对称扬声器的中轴线时，为获得更好的声重放细节或结果，首先接收多个通道的音频信号，音频信号包括左声道信号、中声道信号、右声道信号、环绕声信号与重低音信号。

步骤102、将左声道信号、中声道信号与右声道信号分解为音频对象、与定位相关的元数据。

当接收了通道中的左声道信号、中声道信号与右声道信号后分别将左声道信号、中声道信号与右声道信号分解成各个不同的音频对象、与定位相关的元数据。音频对象可理解为不同的声源，将左声道信号、中声道信号与右声道信号分解成不同的音频对象即有多少个不同的声源，元数据通过角度表示对应音频对象的所在方位。

在本发明的一个实施例中，步骤102可以包括如下步骤：

步骤1021、分别对左声道信号、中声道信号与右声道信号执行短时傅里叶变换，得到左声频谱信号、中声频谱信号与右声频谱信号。

L(m,k)＝FFT(L*w,NFFT)，C(m,k)＝FFT(C*w,NFFT)，R(m,k)＝FFT(R*w,NFFT)。其中L(m,k)为左声道信号的NFFT点短时傅里叶变换，C(m,k)为中声道信号的NFFT点短时傅里叶变换，R(m,k)为右声道信号的NFFT点短时傅里叶变换。

短时傅里叶变换是和傅里叶变换相关的一种数学变换，用以确定时变信号其局部区正弦波的频率与相位。又称窗傅里叶变换。在左声道信号、中声道信号、右声道信号作傅里叶变换之前乘一个时间有限的窗函数，并假定非平稳左声道信号、中声道信号、右声道信号在分析窗的段时间隔内是平稳的，通过窗函数在时间轴上的移动，对左声道信号、中声道信号、右声道信号进行逐段分析得到左声道信号、中声道信号、右声道信号的一组局部“频谱”，获得左声道信号、中声道信号、右声道信号的频谱信息后，对左声道信号、中声道信号、右声道信号进行滤波处理，从而去掉被认为是噪声的次要频率信息，在通过逆变换得到降噪之后的左声道信号、中声道信号、右声道信号。

步骤1022、对左声频谱信号的绝对值与中声频谱信号的绝对值之间的比值取第一对数，对第一对数放大，得到第一参考值。

进一步的，对左声道信号经过短时傅里叶变换后获得左声频谱信号，对中声道信号经过短时傅里叶变换后获得中声频谱信号，对左声频谱信号的绝对值与中声频谱信号的绝对值之间的比值取第一对数，对第一对数进行放大操作，将放大后的第一对数作为第一参考值。第一参考值代表左声道信号与中声道信号频域数据的比值，若音频对象位置不同，第一参考值的比值会不同。但第一参考值会在一定范围内波动，通过将一定范围内波动的第一参考值归为一类，即一类就是音频的一个对象。

步骤1023、对右声频谱信号的绝对值与中声频谱信号的绝对值之间的比值取第二对数，对第二对数放大，得到第二参考值。

进一步的，对右声道信号经过短时傅里叶变换后获得右声频谱信号，对中声道信号经过短时傅里叶变换后获得中声频谱信号，对右声频谱信号的绝对值与中声频谱信号的绝对值之间的比值取第二对数，对第二对数进行放大操作，将放大后的第二对数作为第二参考值。第二参考值代表右声道信号与中声道信号频域数据的比值，若音频对象位置不同，第二参考值的比值会不同。但第二参考值会在一定范围内波动，通过将一定范围内波动的第二参考值归为一类，即一类就是音频的一个对象。

示例性的，当对左声道信号、中声道信号、右声道信号进行短时傅里叶变换并得到左声频谱信号L(m,k)、中声频谱信号C(m,k)、右声频谱信号R(m,k)后，对左声频谱信号的绝对值与中声频谱信号的绝对值之间的比值取第一对数对第一对数进行放大操作后得到

用P₁(m,k)记录左声频谱信号的绝对值与中声频谱信号的绝对值经过放大操作后的比值。对右声频谱信号的绝对值与中声频谱信号的绝对值之间的比值取第二对数，对第二对数进行放大操作得到

用P₂(m,k)记录右声频谱信号的绝对值与中声频谱信号的绝对值经过放大操作后的比值。

步骤1024、分别确定第一参考范围、第二参考范围。

当对左声道信号、中声道信号、右声道信号进行短时傅里叶变换并得到左声频谱信号、中声频谱信号、右声频谱信号，确定第一参考范围、第二参考范围。第一参考值在第一参考范围内波动，通过将一定范围内波动的第一参考值归为一类。第二参考值在第二参考范围内波动，通过将一定范围内波动的第二参考值归为一类。

在本发明的一个实施例中，步骤1024可以包括以下步骤：

步骤10241、对左声道信号与中声道信号生成多个第一组的第一直方图。

若音频对象位置不同，获取的第一参考值不同，且第一参考值在一定范围内波动，通过对一定范围内波动的第一参考值归为一类并以第一直方图不同组数中的某一组别进而表示一个音频对象。进一步的，对左声道信号与中声道信号生成多个第一组的第一直方图。将在一定范围内波动的第一参考值即有相似特点的数据划成第一直方图中的过个第一组中的其中一组。

通过如下公式对每个第一组中第一直方图计算第一横坐标的第一中点：

其中，Z_n为第n组第一直方图第一横坐标的第一中点，L₁为第一组的数量，α为第一调节系数。

通过如下公式对每个第一组中第一直方图计算第一纵坐标：

其中，H₁(n)为第n个第一组第一直方图的第一纵坐标，m为时间，k为频率，P₁(m,k)为第一参考值。Ω表示为当||P₁(m,k)-Z_n|满足小于或等于

的情况，(m，k)的集合。H₁(n)表示为直方图的纵坐标，其数值等于Ω集合中，(m，k)的元素个数之和。

步骤10242、通过如下公式构建第一目标函数，在第一目标函数的数值最大时，将多组第一直方图按照顺序划分为多个第一类:

将直方图中的组序列依次分成M类，将序列分界点记为t₁，t₂，…，t_M-1，第1个类C₁包含直方图的组序列为[1，t₁]，…，第M个类C_M包含直方图的组序列为[t_M-1+1，L₁]。

为第一目标函数，在分成的M类中，计算每一个不同类中的第一目标函数，将不同类的第一目标函数值进行比较，获取最大的第一目标函数值。

步骤10245、通过如下公式生成第一范围：

其中，Z_n为第n组第一直方图第一横坐标的第一中点，α为第一调节系数，m为时间，k为频率，t_i为处于第i个第一类的分界点的第一直方图，M为第一类的数量。

步骤10246、对中声道信号与右声道信号生成多个第二组的第二直方图。

若音频对象位置不同，获取的第二参考值不同，且第二参考值在一定范围内波动，通过对一定范围内波动的第二参考值归为一类并以第二直方图不同组数中的某一组别进而表示一个音频对象。进一步的，对中声道信号与右声道信号生成多个第二组的第二直方图。将在一定范围内波动的第二参考值即有相似特点的数据划成第二直方图中的过个第二组中的其中一组。

通过如下公式对每个第二组中第二直方图计算第二横坐标的第二中点：

其中，Z_n’为第n组第二直方图第二横坐标的第二中点，L₁为第二组的数量，α为第二调节系数。

通过如下公式对每个第二组中第一直方图计算第一纵坐标：

其中，H₁’(n)为第n个第二组第二直方图的第二纵坐标，m为时间，k为频率，P₂(m’,k’)为第二参考值。Ω表示为当||P₂(m’,k’)-Z_n|满足小于或等于

的情况，(m’，k’)的集合。H₁’(n)表示为直方图的纵坐标，其数值等于Ω’集合中，(m’，k’)的元素个数之和。

通过如下公式构建第二目标函数，在第二目标函数的数值最大时，将多组第二直方图按照顺序划分为多个第二类:

将直方图中的组序列依次分成M’类，将序列分界点记为t₁，t₂，…，t_M’-1，第1个类C_i’包含直方图的组序列为[1，t₁]，…，第M’个类C_M’包含直方图的组序列为[t_M；-1+1，L₂]。

为第二目标函数，在分成的M’类中，计算每一个不同类中的第二目标函数，将不同类的第二目标函数值进行比较，获取最大的第二目标函数值。

步骤102410、通过如下公式生成第二范围：

其中，

为第n’组第二直方图第二横坐标的第二中点，L₂为第二组的数量，α’为第二调节系数，t_i’为处于第i’个第二类的分界点的第二直方图，M’为第二类的数量。

步骤1025、若第一参考值在第一参考范围内，则将左声频谱信号与中声频谱信号分解为音频对象、与定位相关的元数据。

获取第一参考值，第一参考值为对左声频谱信号的绝对值与中声频谱信号的绝对值之间的比值取第一对数，对第一对数放大后的值。当第一参考值在第一参考范围，则将左声频谱信号与中声频谱信号分解为音频对象、元数据。其中元数据表示音频对象的水平方位角即音频对象的位置。

通过如下公式将左声频谱信号与中声频谱信号分解为音频对象的频域信号：

通过如下公式将左声频谱信号与中声频谱信号分解生成定位相关的元数据：

其中，L(m,k)为左声频谱信号，C(m,k)为中声频谱信号，S_i(m,k)为音频对象，g_i为增益，θ_i为元数据，j为虚数，∠L(m,k)为左声频谱信号的相位；

步骤1026、若第二参考值在第二参考范围内，则将右声频谱信号与中声频谱信号按照第一方式分解为音频对象、与定位相关的元数据。

获取第二参考值，第二参考值为对右声频谱信号的绝对值与中声频谱信号的绝对值之间的比值取第二对数，对第二对数放大后的值。当第二参考值在第二参考范围，则将右声频谱信号与中声频谱信号按照第一方式分解为音频对象、元数据。其中元数据表示音频对象的水平方位角即音频对象的位置。

在本发明的一个实施例中，步骤1026可以包括以下步骤：

步骤10261、通过如下公式将中声频谱信号与右声频谱信号分解为音频对象的频域信号：

如下公式为将右声频谱信号与中声频谱信号分解为音频对象、元数据的第一方式，第一方式含有两个公式步骤，即步骤10261、步骤10262。

步骤10262、通过如下公式将中声频谱信号与右声频谱信号分解生成定位相关的元数据：

其中，R(m,k)为右声频谱信号，C(m,k)为中声频谱信号，S_i(m,k)为音频对象，g_i为增益，θ_i为元数据，j为虚数，∠R(m,k)为右声频谱信号的相位；

步骤1027、若第一参考值小于第一参考范围或者第二参考值小于第二参考范围，则将右声频谱信号与中声频谱信号按照第二方式分解为音频对象、与定位相关的元数据。

获取第一参考值、第二参考值，并根据计算获得参第一参考范围、第二参考范围作为判断第一参考值、第二参考值的范围判断依据。当第一参考值小于第一参考范围时或第二参考值小于第二参考范围时，将右声频谱信号与中声频谱信号按照第二方式分解为音频对象、元数据。其中元数据表示音频对象的水平方位角即音频对象的位置。

在本发明的一个实施例中，步骤1027可以包括以下步骤：

步骤10271、通过如下公式将中声频谱信号与右声频谱信号分解为音频对象的频域信号：

如下公式将右声频谱信号与中声频谱信号分解为音频对象、元数据的第二方式，含有两个步骤，即步骤10271、步骤10272。

其中，R(m,k)为右声频谱信号，C(m,k)为中声频谱信号，S_i(m,k)为音频对象，j为虚数，∠R(m,k)为右声频谱信号的相位；

步骤10272、将定位相关的元数据设置为0°。

当元数据设置为0°时，即听音位置与音频对象位置的夹角为0时，S_i(m,k)表示为正前方音频对象的频域信号。获取为0°的元数据。当左声频信号、右声频信号分解为音频对象时，提取角度为0°的元数据并将元数据为0°的音频对象信号合并。以听音位置的正前方，即以听音位置为坐标轴原点时，正前方(元数据为0°)为坐标轴Y轴的正半轴方向。

步骤103、根据位于听音位置前方的第一扬声器的布置方式与元数据对音频对象进行补偿，并传输至第一扬声器进行播放。

如图2所示为听音位置与第一扬声器的布置方式，第一扬声器从左往右依次包括左扬声器L、中扬声器C、右扬声器R。根据听音位置前方的左扬声器L、中扬声器C、右扬声器R的布置方式与音频对象的水平方位角的位置对音频对象进行补偿，并传输至相应的左扬声器L、中扬声器C、右扬声器R进行播放。

在本发明的一个实施中，步骤103可以包括以下步骤：

步骤1031、测量从听音位置分别到左扬声器的第一方向向量、到中扬声器的第三方向向量、到右扬声器的第二方向向量。

如图2所示，测量听音位置Q到左扬声器L的第一方向向量，测量听音位置Q到中扬声器C的第三方向向量，测量听音位置Q到右扬声器R的第二方向向量。

步骤1032、分别测量听音位置正前方与左扬声器之间的第一夹角、与中扬声器与之间的第三夹角、与右扬声器之间的第二夹角。

如图2所示，测量听音位置Q与左扬声器之间的第一夹角γ₁，测量听音位置Q与中扬声器之间的第三夹角γ₃，测量听音位置Q与中扬声器之间的一二夹角γ₂。其中以听音位置为原点，以听音位置的正前方为基线(以听音位置为坐标轴原点为例，从Y轴正方向起始并顺时针转动的角度为负数的角度，负数的角度范围在(0°，-180°)、从Y轴正方向起始并逆时针转动的角度为正数的角度，正数的角度范围在(0°，180°)，测量第一夹角γ₁、第二夹角γ₂、第三夹角γ₃。

步骤1033、若元数据大于或等于第一夹角，则将全部音频对象传输至左扬声器进行播放。

获取左声道信号分解出的音频对象、元数据(音频对象的水平方位角)。提取听音位置至左扬声器的第一夹角，将元数据(音频对象的水平方位角)与第一夹角进行角度大小判断。当元数据大于或等于第一夹角时，则将全部音频对象传输至左扬声器进行播放。

步骤1034、若元数据小于或等于第二夹角，则将全部音频对象传输至右扬声器进行播放。

获取右声道信号分解出的音频对象、元数据(音频对象的水平方位角)。提取听音位置至右扬声器的第二夹角，将元数据(音频对象的水平方位角)与第二夹角进行角度大小判断。当元数据小于或等于第二夹角时，则将全部音频对象传输至右扬声器进行播放。

步骤1035、若元数据大于0且小于第一夹角，或者，元数据小于0且大于第三夹角，则依据第一方向向量与第三方向向量对音频对象进行补偿并传输至左扬声器与中扬声器进行播放。

获取分解出的音频对象、元数据(音频对象的水平方位角)。提取听音位置至左扬声器的第一夹角，提取听音位置至中扬声器的第三夹角，元数据(音频对象的水平方位角)与0°进行角度大小判断，元数据(音频对象的水平方位角)大于0且小于第一夹角，或元数据(音频对象的水平方位角)小于0且大于第三夹角时，则依据第一方向向量与第三方向向量对音频对象进行补偿并传输至左扬声器与中扬声器进行播放。

通过如下公式构建第一系数函数：

当音频对象的频率小于或等于预设的第一阈值时，构建第一系数函数。

A₁ ²+A₂ ²＝1

通过如下公式构建第二系数函数：

当音频对象的频率大于预设的第一阈值时，构建第二系数函数。

A₃ ²+A₄ ²＝1

其中，

为第一方向向量、

为听音位置与左扬声器之间的第一距离、

为第三方向向量、

为听音位置与右扬声器中之间的第三距离、θ_i为元数据，A₁为第一系数、A₂为为第二系数，A₃为第三系数，A₄为第四系数。

通过对第一系数函数求解，得到第一系数与第二系数。通过对第二系数函数求解，得到第三系数与第四系数。

在本发明的一个实施例中，步骤1035可以包括以下步骤：

步骤10351、当音频对象的频率小于或等于预设的第一阈值时，通过如下公式对音频对象分别计算传输至左扬声器的信号、传输至中扬声器中的信号：

当音频对象的频率小于或等于预设的第一阈值时通过对第一系数函数求解，得到第一系数与第二系数，通过第一系数、第二系数、第一方向向量、第二方向向量、第三方向向量、预设的超参数、提取的音频对象代入如下公式，计算出传输至左扬声器、中扬声器中的信号。

其中，L为音频对象传输至左扬声器的信号，C为音频对象传输至中扬声器的信号，S_i为音频对象，A₁为第一系数、

为第一方向向量、

为听音位置与左扬声器之间的第一距离、

为听音位置与右扬声器之间的第二距离、

为第三方向向量、

为听音位置与中扬声器之间的第三距离、A₂为为第二系数，q为超参数，j为虚数，f为频率；

步骤10352、当音频对象的频率大于预设的第一阈值时，通过如下公式对音频对象分别计算传输至左扬声器的信号、传输至中扬声器中的信号：

当音频对象的频率大于预设的第一阈值时，通过对第二系数函数求解，得到第三系数与第四系数，通过第三系数、第四系数、第一方向向量、第二方向向量、第三方向向量、预设的超参数、提取的音频对象代入如下公式，计算出传输至左扬声器、中扬声器中的信号。

其中，L为音频对象传输至左扬声器的中高频信号，C为音频对象传输至中扬声器的中高频信号，S_i为音频对象，A₃为第三系数、

为第一方向向量、

为听音位置与左扬声器之间的第一距离、

为听音位置与右扬声器之间的第二距离、

为第三方向向量、

为听音位置与中扬声器之间的第三距离、A₄为第四系数，P为超参数，j为虚数，f为频率；

步骤1036、若元数据大于第二夹角，且小于第三夹角，则依据第二方向向量与第三方向向量对音频对象进行补偿并传输至中扬声器与右扬声器进行播放。

提取分解出的音频对象、元数据(音频对象的水平方位角)。分解出的元数据(音频对象的水平方位角)与0°进行角度大小判断，当分解出的元数据(音频对象的水平方位角)大于第二夹角，且小于第三夹角，则依据第一方向向量与第三方向向量对音频对象进行补偿并传输至左扬声器与中扬声器进行播放。

通过如下公式构建第三系数函数：

当音频对象的频率小于或等于预设的第一阈值时，构建第三系数函数。

通过如下公式构建第三系数函数：

A’₃ ²+A’₄ ²＝1

通过如下公式构建第四系数函数：

当音频对象的频率大于预设的第一阈值时，构建第四系数函数。

A’₃ ²+A’₄ ²＝1

其中，

为第二方向向量、

为听音位置与左扬声器之间的第一距离、

为第三方向向量、

为听音位置与右扬声器中之间的第三距离、A₁’为第五系数，A₂’为第六系数，A’₃ ²为第七系数，A’₄ ²为第八系数，θ_i为元数据；

通过对第三系数函数求解，得到第五系数与第六系数。通过对第四系数函数求解，得到第七系数与第八系数。

在本发明的一个实施例中，步骤1036可以包括以下步骤：

步骤10361、当音频对象的频率小于或等于预设的阈值时，通过如下公式对音频对象分别计算传输至中扬声器中的信号、传输至右扬声器中的信号：

当音频对象的频率小于或等于预设的第一阈值时通过对第三系数函数求解，得到第五系数与第六系数，通过第五系数、第六系数、第一方向向量、第二方向向量、第三方向向量、预设的超参数、提取的音频对象代入如下公式，计算出传输至中扬声器、右扬声器中的信号。

其中，C为音频对象中传输至中扬声器的信号，R为音频对象中传输至右扬声器的信号，S_i为音频对象，A₁’为第五系数、

为第一方向向量、

为听音位置与左扬声器之间的第一距离、

为听音位置与右扬声器之间的第二距离、

为第三方向向量、

为听音位置与中扬声器之间的第三距离、A₂’为为第六系数，J为超参数，j为虚数，f为频率；

当音频对象的频率大于预设的阈值时，通过如下公式对音频对象分别计算传输至中扬声器的中、高频信号、传输至右扬声器中的中、高频信号：

当音频对象的频率大于预设的第一阈值时，通过对第四系数函数求解，得到第七系数与第八系数，通过第七系数、第八系数、第一方向向量、第二方向向量、第三方向向量、预设的超参数、提取的音频对象代入如下公式，计算出传输至中扬声器、右扬声器中的信号。

其中，R为音频对象中传输至右扬声器的信号，C为音频对象中传输至中扬声器的信号，S_i为音频对象，A’₃ ²为第七系数、

为第一方向向量、

为听音位置与左扬声器之间的第一距离、

为听音位置与右扬声器之间的第二距离、

为第三方向向量、

为听音位置与中扬声器之间的第三距离、A’₄ ²为第八系数，F为超参数，j为虚数，f为频率。

步骤104、对环绕声信号进行补偿，并传输至位于听音位置后方的第二扬声器进行播放。

环绕声指将左、右、中、后环绕四声道预先编码，使称为双声道信号，播放时通过解码器和功率放大器，借助中置音箱和后环绕音箱加强立体声效果的声音，比双声道的现场效果更为真实。

如图2所示，第二扬声器从左往右依次包括左环绕扬声器LS、右环绕扬声器RS，环绕信号包括左环绕信号、右环绕信号。根据第二扬声器位置计算环绕声信号的补偿，首先测量听音位置分别与左环绕扬声器LS之间的第四距离、与右环绕扬声器RS之间的第五距离。依据第四距离与第五距离对左环绕声信号进行补偿，并传输至左环绕扬声器LS进行播放。

在本发明的实施例中，步骤104可以包括以下步骤：

步骤1041、通过如下公式对环绕声信号进行补偿并输至左环绕扬声器进行播放：

其中，S'_LS为补偿后的环绕声信号，S_LS为左环绕信号，r₄为第四距离，r₅为第五距离，j为虚部，f为频率，G为超参数；

依据第四距离与第五距离对右环绕声信号进行补偿，并传输至右环绕扬声器RS进行播放。

步骤1042、通过如下公式对环绕声信号进行补偿并输至右环绕扬声器进行播放：

其中，S'_RS为补偿后的环绕声信号，S_RS为右环绕信号，r₄为第四距离，r₅为第五距离，j为虚部，f为频率，Q为超参数。

步骤105、将重低音信号传输至第三扬声器进行播放。

重低音可闻声的最低频率范围在20赫兹至120赫兹，重低音的作用是强化低音波段，即提升音频中的长波部分。因此需要体积较大的第三扬声器进行播放产生低频热烈的效果。

在本实施例中，接收多个通道的音频信号，音频信号包括左声道信号、中声道信号、右声道信号、环绕声信号与重低音信号；将左声道信号、中声道信号与右声道信号分解为音频对象、与定位相关的元数据；根据位于听音位置前方的第一扬声器的布置方式与元数据对音频对象进行补偿，并传输至第一扬声器进行播放；对环绕声信号进行补偿，并传输至位于听音位置后方的第二扬声器进行播放；将重低音信号传输至第三扬声器进行播放。基于音频对象的声重放方法，可直接对每个声音对象单独调节，使声音对象的空间信息得到更加细腻、正确的表达。通过将声道信号分解成音频对象、与位置定位相关的元数据，根据位置对音频对象进行补偿且对环绕声信号进行补偿后传输至扬声器进行播放。在音频对象框架下、听音位置偏离左右对称扬声器中间竖直方向位置时，能够为听众提供更好的声音重放细节。

实施例二

图3为本发明实施例二提供的一种基于音频对象的声重放方法装置的结构示意图。如图3所示，该装置包括：

音频信号接收模块301，用于接收多个通道的音频信号，所述音频信号包括左声道信号、中声道信号、右声道信号、环绕声信号与重低音信号；

信号分解模块302，用于将所述左声道信号、所述中声道信号与所述右声道信号分解为音频对象、与定位相关的元数据；

音频对象补偿模块303，用于根据位于听音位置前方的第一扬声器的布置方式与所述元数据对所述音频对象进行补偿，并传输至所述第一扬声器进行播放；

环绕声信号补偿模块304，用于对所述环绕声信号进行补偿，并传输至位于听音位置后方的第二扬声器进行播放；

重低音传输播放模块305，用于将所述重低音信号传输至第三扬声器进行播放。

在本发明的一个实施例中，所述信号分解模块302包括：

信号变换模块，用于分别对所述左声道信号、所述中声道信号与所述右声道信号执行短时傅里叶变换，得到左声频谱信号、中声频谱信号与右声频谱信号；

第一对数放大模块，用于对所述左声频谱信号的绝对值与所述中声频谱信号的绝对值之间的比值取第一对数，对所述第一对数放大，得到第一参考值；

第二对数放大模块，用于对所述右声频谱信号的绝对值与所述中声频谱信号的绝对值之间的比值取第二对数，对所述第二对数放大，得到第二参考值；

范围确定模块，用于分别确定第一参考范围、第二参考范围；

信号分解模块，用于若所述第一参考值在所述第一参考范围内，则将所述左声频谱信号与所述中声频谱信号分解为音频对象、与定位相关的元数据；

第一频谱信号分解模块，用于若所述第二参考值在所述第二参考范围内，则将所述右声频谱信号与所述中声频谱信号按照第一方式分解为音频对象、与定位相关的元数据；

第二频谱信号分解模块，用于若所述第一参考值小于所述第一参考范围或者所述第二参考值小于所述第二参考范围，则将所述右声频谱信号与所述中声频谱信号按照第二方式分解为音频对象、与定位相关的元数据。

在本发明的一个实施例中，所述范围确定模块包括：

第一直方图生成模块，用于对所述左声道信号与所述中声道信号生成多个第一组的第一直方图；

第一横坐标计算模块，用于通过如下公式对每个第一组中所述第一直方图计算第一横坐标的第一中点：

第一纵坐标计算模块，用于通过如下公式对每个第一组中所述第一直方图计算第一纵坐标：

第一直方图划分模块，用于通过如下公式构建第一目标函数，在所述第一目标函数的数值最大时，将多组所述第一直方图按照顺序划分为多个第一类:

第一范围生成模块，用于通过如下公式生成第一范围：

其中，Z_n为第n组所述第一直方图第一横坐标的第一中点，L₁为第一组的数量，α为第一调节系数，H₁(n)为第n个第一组所述第一直方图的第一纵坐标，m为时间，k为频率，P₁(m,k)为所述第一参考值，C_i为第i个所述第一类，δ1为所述第一目标函数，t_i为处于第i个所述第一类的分界点的所述第一直方图，M为所述第一类的数量；

第二直方图生成模块，用于对所述中声道信号与所述右声道信号生成多个第二组的第二直方图；

第二横坐标计算模块，用于通过如下公式对每个第二组中所述第二直方图计算第二横坐标的第二中点：

第一纵坐标计算模块，用于通过如下公式对每个第二组中所述第一直方图计算第一纵坐标：

第二直方图划分模块，用于通过如下公式构建第二目标函数，在所述第二目标函数的数值最大时，将多组所述第二直方图按照顺序划分为多个第二类:

第二范围生成模块，用于通过如下公式生成第二范围：

其中，

为第n’组所述第二直方图第二横坐标的第二中点，L₂为第二组的数量，α’为第二调节系数，H₁’(n)为第n’个第二组所述第二直方图的第二纵坐标，m为时间，k为频率，P₂为所述第一参考值，C_i’为第i’个所述第一类，δ1’为所述第二目标函数，t_i’为处于第i’个所述第二类的分界点的所述第二直方图，M’为所述第二类的数量；

所述信号分解模块包括：

第三频谱信号分解模块，用于通过如下公式将所述左声频谱信号与所述中声频谱信号分解为音频对象的频域信号：

第一元数据生成模块，用于通过如下公式将所述左声频谱信号与所述中声频谱信号分解生成定位相关的元数据：

其中，L(m,k)为左声频谱信号，C(m,k)为所述中声频谱信号，S_i(m,k)为音频对象，g_i为增益，θ_i为元数据，j为虚数，∠L(m,k)为左声频谱信号的相位；

所述第一频谱信号分解模块，包括：

第四频谱信号分解模块，用于通过如下公式将所述中声频谱信号与所述右声频谱信号分解为音频对象的频域信号：

第二元数据生成模块，用于通过如下公式将所述中声频谱信号与所述右声频谱信号分解生成定位相关的元数据：

其中，R(m,k)为右声频谱信号，C(m,k)为所述中声频谱信号，S_i(m,k)为音频对象，g_i为增益，θ_i为元数据，j为虚数，∠R(m,k)为右声频谱信号的相位；

所述第二频谱信号分解模块包括：

第五频谱信号分解模块，用于通过如下公式将所述中声频谱信号与所述右声频谱信号分解为音频对象的频域信号：

其中，R(m,k)为右声频谱信号，C(m,k)为所述中声频谱信号，S_i(m,k)为音频对象，j为虚数，∠R(m,k)为右声频谱信号的相位；

将定位相关的元数据设置为0°。

在本发明的一个实施例中，所述第一扬声器从左往右依次包括左扬声器、中扬声器、右扬声器，所述音频对象补偿模块303包括：

向量测量模块，用于测量从听音位置分别到所述左扬声器的第一方向向量、到所述中扬声器的第三方向向量、到所述右扬声器的第二方向向量；

夹角测量模块，用于分别测量所述听音位置正前方与所述左扬声器之间的第一夹角、与所述中扬声器与之间的第三夹角、与所述右扬声器之间的第二夹角；

第一音频对象播放模块，用于若所述元数据大于或等于所述第一夹角，则将全部所述音频对象传输至所述左扬声器进行播放；

第二音频对象播放模块，用于若所述元数据小于或等于所述第二夹角，则将全部所述音频对象传输至所述右扬声器进行播放；

第三音频对象播放模块，用于若所述元数据大于0且小于所述第一夹角，或者，所述元数据小于0且大于所述第三夹角，则依据所述第一方向向量与所述第三方向向量对所述音频对象进行补偿并传输至所述左扬声器与所述中扬声器进行播放；

第四音频对象播放模块，用于若所述元数据大于或等于所述第三夹角，且小于或等于所述第二夹角的，则依据所述第二方向向量与所述第三方向向量对所述音频对象进行补偿并传输至所述中扬声器与所述右扬声器进行播放。

在本发明的一个实施例中，所述第三音频对象播放模块包括：

第一系数函数构建模块，用于通过如下公式构建第一系数函数：

A₁ ²+A₂ ²＝1

第二系数函数构建模块，用于通过如下公式构建第二系数函数：

A₃ ²+A₄ ²＝1

其中，

为所述第一方向向量、

为所述听音位置与所述左扬声器之间的第一距离、

为所述第三方向向量、

为所述听音位置与所述右扬声器中之间的第三距离、θ_i为所述元数据，A₁为第一系数、A₂为为第二系数，A₃为第三系数，A₄为第四系数；

第一系数函数求解模块，用于对所述第一系数函数求解，得到所述第一系数与所述第二系数；

第二系数函数求解模块，用于对所述第二系数函数求解，得到所述第三系数与所述第四系数；

第一信号计算模块，用于当所述音频对象的频率小于或等于预设的第一阈值时，通过如下公式对所述音频对象分别计算传输至所述左扬声器的信号、传输至所述中扬声器中的信号：

其中，L为所述音频对象传输至所述左扬声器的信号，C为所述音频对象传输至所述中扬声器的信号，S_i为所述音频对象，A₁为所述第一系数、

为所述第一方向向量、

为所述听音位置与所述左扬声器之间的第一距离、

为所述听音位置与所述右扬声器之间的第二距离、

为所述第三方向向量、

为所述听音位置与所述中扬声器之间的第三距离、A₂为为第二系数，q为超参数，j为虚数，f为频率；

第五音频对象播放模块，用于当所述音频对象的频率大于预设的第一阈值时，通过如下公式对所述音频对象分别计算传输至所述左扬声器的信号、传输至所述中扬声器中的信号：

其中，L为所述音频对象传输至所述左扬声器的中高频信号，C为所述音频对象传输至所述中扬声器的中高频信号，S_i为音频对象，A₃为第三系数、

为所述第一方向向量、

为所述听音位置与所述左扬声器之间的第一距离、

为所述听音位置与所述右扬声器之间的第二距离、

为所述第三方向向量、

为所述听音位置与所述中扬声器之间的第三距离、A₄为第四系数，P为超参数，j为虚数，f为频率；

所述第一信号计算模块包括：

第三系数函数构建模块，用于通过如下公式构建第三系数函数：

A’₃ ²+A’₄ ²＝1

第四系数函数构建模块，用于通过如下公式构建第四系数函数：

A’₃ ²+A’₄ ²＝1

其中，

为所述第二方向向量、

为所述听音位置与所述左扬声器之间的第一距离、

为所述第三方向向量、

为所述听音位置与所述右扬声器中之间的第三距离、A₁’为第五系数，A₂’为第六系数，A’₃ ²为第七系数，A’₄ ²为第八系数，θ_i为所述元数据；

第三系数函数求解模块，用于对所述第三系数函数求解，得到所述第五系数与所述第六系数；

第四系数函数求解模块，用于对所述第四系数函数求解，得到所述第七系数与所述第八系数；

第二信号计算模块，用于当所述音频对象的频率小于或等于预设的阈值时，通过如下公式对所述音频对象分别计算传输至所述中扬声器中的信号、传输至所述右扬声器中的信号：

其中，C为所述音频对象中传输至所述中扬声器的信号，R为所述音频对象中传输至所述右扬声器的信号，S_i为音频对象，A₁’为第五系数、

为所述第一方向向量、

为所述听音位置与所述左扬声器之间的第一距离、

为所述听音位置与所述右扬声器之间的第二距离、

为所述第三方向向量、

为所述听音位置与所述中扬声器之间的第三距离、A₂’为为第六系数，J为超参数，j为虚数，f为频率；

第三信号计算模块，用于当所述音频对象的频率大于预设的阈值时，通过如下公式对所述音频对象分别计算传输至所述中扬声器的中、高频信号、传输至所述右扬声器中的中、高频信号：

其中，R为所述音频对象中传输至所述右扬声器的信号，C为所述音频对象中传输至所述中扬声器的信号，S_i为音频对象，A’₃ ²为第七系数、

为所述第一方向向量、

为所述听音位置与所述左扬声器之间的第一距离、

为所述听音位置与所述右扬声器之间的第二距离、

为所述第三方向向量、

为所述听音位置与所述中扬声器之间的第三距离、A’₄ ²为第八系数，F为超参数，j为虚数，f为频率。

在本发明的一个实施例中，所述第二扬声器从左往右依次包括左环绕扬声器、右环绕扬声器，所述环绕信号包括左环绕信号、右环绕信号；所述环绕声信号补偿模块304包括

距离测量模块，用于测量听音位置分别与所述左环绕扬声器之间的第四距离、与所述右环绕扬声器之间的第五距离；

第一信号补偿模块，用于依据所述第四距离与所述第五距离对所述左环绕声信号进行补偿，并传输至所述左环绕扬声器进行播放；

第二信号补偿模块，用于依据所述第四距离与所述第五距离对所述右环绕声信号进行补偿，并传输至所述右环绕扬声器进行播放。

在本发明的一个实施例中，

所述第一信号补偿模块包括：

第一补偿信号传输模块，用于通过如下公式对所述环绕声信号进行补偿并输至所述左环绕扬声器进行播放：

其中，S'_LS为补偿后的所述环绕声信号，S_LS为所述左环绕信号，r₄为所述第四距离，r₅为所述第五距离，j为虚部，f为频率，G为超参数；

所述第二信号补偿模块包括：

第二补偿信号传输模块，用于通过如下公式对所述环绕声信号进行补偿并输至所述右环绕扬声器进行播放：

其中，S'_RS为补偿后的所述环绕声信号，S_RS为所述右环绕信号，r₄为所述第四距离，r₅为所述第五距离，j为虚部，f为频率，Q为超参数。

本发明实施例所提供的装置可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

实施例三

图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM12以及RAM13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如方法。

在一些实施例中，方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM13并由处理器11执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

实施例四

本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序在被处理器执行时实现如本发明任一实施例所提供的方法。

计算机程序产品在实现的过程中，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种基于音频对象的声重放方法，其特征在于，包括：

接收多个通道的音频信号，所述音频信号包括左声道信号、中声道信号、右声道信号、环绕声信号与重低音信号；

将所述左声道信号、所述中声道信号与所述右声道信号分解为音频对象、与定位相关的元数据；

根据位于听音位置前方的第一扬声器的布置方式与所述元数据对所述音频对象进行补偿，并传输至所述第一扬声器进行播放；

对所述环绕声信号进行补偿，并传输至位于听音位置后方的第二扬声器进行播放；

将所述重低音信号传输至第三扬声器进行播放。

2.根据权利要求1所述的方法，其特征在于，所述将所述左声道信号、所述中声道信号与所述右声道信号分解为音频对象、与定位相关的元数据，包括：

分别对所述左声道信号、所述中声道信号与所述右声道信号执行短时傅里叶变换，得到左声频谱信号、中声频谱信号与右声频谱信号；

对所述左声频谱信号的绝对值与所述中声频谱信号的绝对值之间的比值取第一对数，对所述第一对数放大，得到第一参考值；

对所述右声频谱信号的绝对值与所述中声频谱信号的绝对值之间的比值取第二对数，对所述第二对数放大，得到第二参考值；

分别确定第一参考范围、第二参考范围；

若所述第一参考值在所述第一参考范围内，则将所述左声频谱信号与所述中声频谱信号分解为音频对象、与定位相关的元数据；

若所述第二参考值在所述第二参考范围内，则将所述右声频谱信号与所述中声频谱信号按照第一方式分解为音频对象、与定位相关的元数据；

若所述第一参考值小于所述第一参考范围或者所述第二参考值小于所述第二参考范围，则将所述右声频谱信号与所述中声频谱信号按照第二方式分解为音频对象、与定位相关的元数据。

3.权利要求2所述的方法，其特征在于，所述分别确定第一参考范围、第二参考范围，包括：

对所述左声道信号与所述中声道信号生成多个第一组的第一直方图；

通过如下公式对每个第一组中所述第一直方图计算第一横坐标的第一中点：

通过如下公式对每个第一组中所述第一直方图计算第一纵坐标：

通过如下公式构建第一目标函数，在所述第一目标函数的数值最大时，将多组所述第一直方图按照顺序划分为多个第一类:

通过如下公式生成第一范围：

其中，Z_n为第n组所述第一直方图第一横坐标的第一中点，L₁为第一组的数量，α为第一调节系数，H₁(n)为第n个第一组所述第一直方图的第一纵坐标，m为时间，k为频率，P₁(m,k)为所述第一参考值，C_i为第i个所述第一类，δ1为所述第一目标函数，t_i为处于第i个所述第一类的分界点的所述第一直方图，M为所述第一类的数量；

对所述中声道信号与所述右声道信号生成多个第二组的第二直方图；

通过如下公式对每个第二组中所述第二直方图计算第二横坐标的第二中点：

通过如下公式对每个第二组中所述第一直方图计算第一纵坐标：

通过如下公式构建第二目标函数，在所述第二目标函数的数值最大时，将多组所述第二直方图按照顺序划分为多个第二类:

通过如下公式生成第二范围：

其中，

为第n’组所述第二直方图第二横坐标的第二中点，L₂为第二组的数量，α’为第二调节系数，H₁’(n)为第n’个第二组所述第二直方图的第二纵坐标，m为时间，k为频率，P₂(m’,k’)为所述第一参考值，C_i’为第i’个所述第一类，δ1’为所述第二目标函数，t_i’为处于第i’个所述第二类的分界点的所述第二直方图，M’为所述第二类的数量；

所述将所述左声频谱信号与所述中声频谱信号分解为音频对象、与定位相关的元数据，包括：

通过如下公式将所述左声频谱信号与所述中声频谱信号分解为音频对象的频域信号：

通过如下公式将所述左声频谱信号与所述中声频谱信号分解生成定位相关的元数据：

其中，L(m,k)为左声频谱信号，C(m,k)为所述中声频谱信号，S_i(m,k)为音频对象，g_i为增益，θ_i为元数据，j为虚数，∠L(m,k)为左声频谱信号的相位；

所述将所述右声频谱信号与所述中声频谱信号按照第一方式分解为音频对象、与定位相关的元数据，包括：

通过如下公式将所述中声频谱信号与所述右声频谱信号分解为音频对象的频域信号：

通过如下公式将所述中声频谱信号与所述右声频谱信号分解生成定位相关的元数据：

其中，R(m,k)为右声频谱信号，C(m,k)为所述中声频谱信号，S_i(m,k)为音频对象，g_i为增益，θ_i为元数据，j为虚数，∠R(m,k)为右声频谱信号的相位；

所述将所述右声频谱信号与所述中声频谱信号按照第二方式分解为音频对象、与定位相关的元数据，包括：

通过如下公式将所述中声频谱信号与所述右声频谱信号分解为音频对象的频域信号：

其中，R(m,k)为右声频谱信号，C(m,k)为所述中声频谱信号，S_i(m,k)为音频对象，j为虚数，∠R(m,k)为右声频谱信号的相位；

将定位相关的元数据设置为0°。

4.根据权利要求1所述的方法，其特征在于，所述第一扬声器从左往右依次包括左扬声器、中扬声器、右扬声器，所述根据位于听音位置前方的第一扬声器的布置方式与所述元数据对所述音频对象进行补偿，并传输至所述第一扬声器进行播放，包括：

测量从听音位置分别到所述左扬声器的第一方向向量、到所述中扬声器的第三方向向量、到所述右扬声器的第二方向向量；

分别测量所述听音位置正前方与所述左扬声器之间的第一夹角、与所述中扬声器与之间的第三夹角、与所述右扬声器之间的第二夹角；

若所述元数据大于或等于所述第一夹角，则将全部所述音频对象传输至所述左扬声器进行播放；

若所述元数据小于或等于所述第二夹角，则将全部所述音频对象传输至所述右扬声器进行播放；

若所述元数据大于0且小于所述第一夹角，或者，所述元数据小于0且大于所述第三夹角，则依据所述第一方向向量与所述第三方向向量对所述音频对象进行补偿并传输至所述左扬声器与所述中扬声器进行播放；

若所述元数据大于所述第二夹角，且小于所述第三夹角，则依据所述第二方向向量与所述第三方向向量对所述音频对象进行补偿并传输至所述中扬声器与所述右扬声器进行播放。

5.根据权利要求4所述的方法，其特征在于，所述依据所述第一方向向量与所述第三方向向量对所述音频对象进行补偿并传输至所述左扬声器与所述中扬声器进行播放，包括：

通过如下公式构建第一系数函数：

A₁ ²+A₂ ²＝1

通过如下公式构建第二系数函数：

A₃ ²+A₄ ²＝1

其中，

为所述第一方向向量、

为所述听音位置与所述左扬声器之间的第一距离、

为所述第三方向向量、

为所述听音位置与所述右扬声器中之间的第三距离、θ_i为所述元数据，A₁为第一系数、A₂为为第二系数，A₃为第三系数，A₄为第四系数；

对所述第一系数函数求解，得到所述第一系数与所述第二系数；

对所述第二系数函数求解，得到所述第三系数与所述第四系数；

当所述音频对象的频率小于或等于预设的第一阈值时，通过如下公式对所述音频对象分别计算传输至所述左扬声器的信号、传输至所述中扬声器中的信号：

其中，L为所述音频对象传输至所述左扬声器的信号，C为所述音频对象传输至所述中扬声器的信号，S_i为所述音频对象，A₁为所述第一系数、

为所述第一方向向量、

为所述听音位置与所述左扬声器之间的第一距离、

为所述听音位置与所述右扬声器之间的第二距离、

为所述第三方向向量、

为所述听音位置与所述中扬声器之间的第三距离、A₂为为第二系数，q为超参数，j为虚数，f为频率；

当所述音频对象的频率大于预设的第一阈值时，通过如下公式对所述音频对象分别计算传输至所述左扬声器的信号、传输至所述中扬声器中的信号：

其中，L为所述音频对象传输至所述左扬声器的中高频信号，C为所述音频对象传输至所述中扬声器的中高频信号，S_i为音频对象，A₃为第三系数、

为所述第一方向向量、

为所述听音位置与所述左扬声器之间的第一距离、

为所述听音位置与所述右扬声器之间的第二距离、

为所述第三方向向量、

为所述听音位置与所述中扬声器之间的第三距离、A₄为第四系数，P为超参数，j为虚数，f为频率；

所述依据所述第二方向向量与所述第三方向向量对所述音频对象进行补偿并传输至所述中扬声器与所述右扬声器进行播放，包括：

通过如下公式构建第三系数函数：

A’₃ ²+A’₄ ²＝1

通过如下公式构建第四系数函数：

A’₃ ²+A’₄ ²＝1

其中，

为所述第二方向向量、

为所述听音位置与所述左扬声器之间的第一距离、

为所述第三方向向量、

为所述听音位置与所述右扬声器中之间的第三距离、A₁’为第五系数，A₂’为第六系数，A’₃ ²为第七系数，A’₄ ²为第八系数，θ_i为所述元数据；

对所述第三系数函数求解，得到所述第五系数与所述第六系数；

对所述第四系数函数求解，得到所述第七系数与所述第八系数；

当所述音频对象的频率小于或等于预设的阈值时，通过如下公式对所述音频对象分别计算传输至所述中扬声器中的信号、传输至所述右扬声器中的信号：

其中，C为所述音频对象中传输至所述中扬声器的信号，R为所述音频对象中传输至所述右扬声器的信号，S_i为音频对象，A₁’为第五系数、

为所述第一方向向量、

为所述听音位置与所述左扬声器之间的第一距离、

为所述听音位置与所述右扬声器之间的第二距离、

为所述第三方向向量、

为所述听音位置与所述中扬声器之间的第三距离、A₂’为为第六系数，J为超参数，j为虚数，f为频率；

当所述音频对象的频率大于预设的阈值时，通过如下公式对所述音频对象分别计算传输至所述中扬声器的中、高频信号、传输至所述右扬声器中的中、高频信号：

其中，R为所述音频对象中传输至所述右扬声器的信号，C为所述音频对象中传输至所述中扬声器的信号，S_i为音频对象，A’₃ ²为第七系数、

为所述第一方向向量、

为所述听音位置与所述左扬声器之间的第一距离、

为所述听音位置与所述右扬声器之间的第二距离、

为所述第三方向向量、

为所述听音位置与所述中扬声器之间的第三距离、A’₄ ²为第八系数，F为超参数，j为虚数，f为频率。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述第二扬声器从左往右依次包括左环绕扬声器、右环绕扬声器，所述环绕信号包括左环绕信号、右环绕信号；所述对所述环绕声信号进行补偿，并传输至位于听音位置后方的第二扬声器进行播放，包括

测量听音位置分别与所述左环绕扬声器之间的第四距离、与所述右环绕扬声器之间的第五距离；

依据所述第四距离与所述第五距离对所述左环绕声信号进行补偿，并传输至所述左环绕扬声器进行播放；

依据所述第四距离与所述第五距离对所述右环绕声信号进行补偿，并传输至所述右环绕扬声器进行播放。

7.根据权利要求6所述的方法，其特征在于，

所述依据所述第四距离与所述第五距离对所述左环绕声信号进行补偿，并传输至所述左环绕扬声器进行播放，包括：

通过如下公式对所述环绕声信号进行补偿并输至所述左环绕扬声器进行播放：

其中，S'_LS为补偿后的所述环绕声信号，S_LS为所述左环绕信号，r₄为所述第四距离，r₅为所述第五距离，j为虚部，f为频率，G为超参数；

所述依据所述第四距离与所述第五距离对所述右环绕声信号进行补偿，并传输至所述右环绕扬声器进行播放，包括：

通过如下公式对所述环绕声信号进行补偿并输至所述右环绕扬声器进行播放：

其中，S'_RS为补偿后的所述环绕声信号，S_RS为所述右环绕信号，r₄为所述第四距离，r₅为所述第五距离，j为虚部，f为频率，Q为超参数。

8.一种基于音频对象的声重放装置，其特征在于，包括：

音频信号接收模块，用于接收多个通道的音频信号，所述音频信号包括左声道信号、中声道信号、右声道信号、环绕声信号与重低音信号；

信号分解模块，用于将所述左声道信号、所述中声道信号与所述右声道信号分解为音频对象、与定位相关的元数据；

音频对象补偿模块，用于根据位于听音位置前方的第一扬声器的布置方式与所述元数据对所述音频对象进行补偿，并传输至所述第一扬声器进行播放；

环绕声信号补偿模块，用于对所述环绕声信号进行补偿，并传输至位于听音位置后方的第二扬声器进行播放；

重低音传输播放模块，用于将所述重低音信号传输至第三扬声器进行播放。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的基于音频对象的声重放方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现权利要求1-7中任一项所述的基于音频对象的声重放方法。

Images