CN105959877B - 一种虚拟现实设备中声场的处理方法及装置 - Google Patents

Abstract

本发明公开了一种虚拟现实设备中声场的处理方法及装置，其中，所述处理方法包括：预先确定预设数量的双耳信号，所述预设数量的双耳信号中包括采样双耳信号和超采样双耳信号；对所述采样双耳信号通过拟合得到所述超采样双耳信号；根据用户头部转动的水平角度，确定与所述水平角度最接近的第一超采样双耳和第二超采样双耳信号；对所述第一超采样双耳和第二超采样双耳信号进行插值，得到与所述水平角度相对应的当前双耳信号，并向用户播放所述当前双耳信号。本发明提供的一种虚拟现实设备中声场的处理方法及装置，能够在保证双耳信号音效较好的情况下，减少需要处理的数据量，以提高双耳信号处理的效率。

Description

一种虚拟现实设备中声场的处理方法及装置

技术领域

本发明涉及信号处理技术领域，具体涉及一种虚拟现实设备中声场的处理方法及装置。

背景技术

在用虚拟现实头戴设备(head-mounted display,HMD)向用户呈现内容时，音频内容往往通过立体声耳机向用户播放。

目前，生成虚拟现实声场的一种方法是采用人头录音，直接得到双耳信号。具体地，可以通过N个方向的人头录音，得到N个方向的双耳信号。然后可以对其它方向的双耳信号进行插值，从而得到头部在任何旋转角度时的双耳信号。另一种方式是对音频对象使用HRTF(Head Related Transfer Function，头相关变换函数)或者BRIR(Binaural RoomImpulse Response,双耳房屋脉冲响应)滤波器进行滤波，从而能够计算得到双耳信号。通过N个方向的HRTF或BRIR滤波器滤波，得到N个方向的双耳信号。同样地，然后可以对其它方向的双耳信号进行插值，从而得到头部在任何旋转角度时的双耳信号。

由上可见，上述的两种方法虽然不同，但基本原理都是通过多个方向的双耳信号插值得到头部在任何旋转角度时的双耳信号。这种做法的优点是在播放端可以用复杂度较低的插值运算恢复出头部在任何旋转角度时的双耳信号。但缺点是如果得到的双耳信号的方向较少，即N较小时，插值的精度是较低的，从而使得插值得到的双耳信号的音效较差。反之，如果为了保证插值精度，则需要在较多的方向得到双耳信号，那么这样的话需要处理的数据量又太大，无法保证插值得到双耳信号的效率。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

本发明的目的在于提供一种虚拟现实设备中声场的处理方法及装置，能够在保证双耳信号音效较好的情况下，减少需要处理的数据量，以提高双耳信号处理的效率。

为实现上述目的，本发明一方面提供一种虚拟现实设备中声场的处理方法，所述方法包括：预先确定预设数量的双耳信号，所述预设数量的双耳信号在以用户头部为中心的各个方向上分布，所述预设数量的双耳信号中包括第一预设数量的采样双耳信号和第二预设数量的超采样双耳信号；对所述第一预设数量的采样双耳信号进行拟合，得到所述第二预设数量的超采样双耳信号；根据用户头部转动的水平角度，确定与所述水平角度最接近的第一超采样双耳信号和第二超采样双耳信号；对所述第一超采样双耳信号以及所述第二超采样双耳信号进行插值，得到与所述水平角度相对应的当前双耳信号，并向用户播放所述当前双耳信号。

进一步地，所述预设数量的双耳信号在以用户头部为中心的各个方向上等间隔分布。

进一步地，所述预设数量的双耳信号在用户头部正面的分布数量大于在用户头部背面的分布数量。

进一步地，按照下述公式对所述第一预设数量的采样双耳信号进行拟合，得到所述第二预设数量的超采样双耳信号：

其中，S_j表示第j个超采样双耳信号，B_i为第i个采样双耳信号，N为所述第一预设数量，M为所述第二预设数量，P_j,i为针对第j个超采样双儿信号、第i个采样双耳信号对应的拟合系数。

进一步地，在得到所述第二预设数量的超采样双耳信号之后，所述方法还包括：将所述第一预设数量的采样双耳信号以及各个拟合系数存储至虚拟现实设备中。

进一步地，对所述第一超采样双耳信号以及所述第二超采样双耳信号进行插值，得到与所述水平角度相对应的当前双耳信号具体包括：

根据所述水平角度、所述第一超采样双耳信号对应的第一角度以及所述第二超采样双耳信号对应的第二角度，确定线性插值系数；基于所述线性插值系数、所述第一超采样双耳信号以及所述第二超采样双耳信号，确定与所述水平角度相对应的当前双耳信号。

进一步地，按照下述公式确定线性插值系数：

其中，g表示所述线性插值系数，θ为所述水平角度，θ₁为所述第一角度，θ₂为所述第二角度；

按照下述公式确定与所述水平角度相对应的当前双耳信号：

B_p＝(1-g)·V₁+g·V₂

其中，B_p为所述当前双耳信号，V₁为所述第一超采样双耳信号，V₂为所述第二超采样双耳信号。

为实现上述目的，本发明另一方面还提供一种虚拟现实设备中声场的处理装置，所述处理装置包括：双耳信号分布单元，用于预先确定预设数量的双耳信号，所述预设数量的双耳信号在以用户头部为中心的各个方向上分布，所述预设数量的双耳信号中包括第一预设数量的采样双耳信号和第二预设数量的超采样双耳信号；拟合单元，用于对所述第一预设数量的采样双耳信号进行拟合，得到所述第二预设数量的超采样双耳信号；双耳信号确定单元，用于根据用户头部转动的水平角度，确定与所述水平角度最接近的第一超采样双耳信号和第二超采样双耳信号；插值单元，用于对所述第一超采样双耳信号以及所述第二超采样双耳信号进行插值，得到与所述水平角度相对应的当前双耳信号，并向用户播放所述当前双耳信号。

进一步地，所述拟合单元按照下述公式对所述第一预设数量的采样双耳信号进行拟合，得到所述第二预设数量的超采样双耳信号：

其中，S_j表示第j个超采样双耳信号，B_i为第i个采样双耳信号，N为所述第一预设数量，M为所述第二预设数量，P_j,i为针对第j个超采样双儿信号、第i个采样双耳信号对应的拟合系数。

进一步地，所述插值单元具体包括：插值系数确定模块，用于根据所述水平角度、所述第一超采样双耳信号对应的第一角度以及所述第二超采样双耳信号对应的第二角度，确定线性插值系数；当前双耳信号确定模块，用于基于所述线性插值系数、所述第一超采样双耳信号以及所述第二超采样双耳信号，确定与所述水平角度相对应的当前双耳信号。

由上可见，本发明提供的一种虚拟现实设备中声场的处理方法及装置，可以通过第一预设数量的采样双耳信号，来拟合得到第二预设数量的超采样双耳信号。在这种情况下，便可以根据用户头部的转动角度，选择对应的第一超采样双耳信号以及第二超采样双耳信号，从而能够插值得到具备较好音效的双耳信号。由于本发明只需要对采样双耳信号进行处理，而采样双耳信号的数量往往较少，因此需要处理的数据量也往往较小，从而减少了需要处理的数据量，提高了双耳信号处理的效率。

参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

图1为本申请具体实施方式提供的一种虚拟现实设备中声场的处理方法流程图；

图2为本申请具体实施方式中双耳信号的分布示意图；

图3为本申请另一具体实施方式中双耳信号的分布示意图；

图4为本申请具体实施方式中用户头部转动的示意图；

图5为本申请具体实施方式提供的一种虚拟现实设备中声场的处理装置的功能模块图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施方式，都应当属于本申请保护的范围。

本申请实施方式提供一种虚拟现实设备中声场的处理方法。请参阅图1，所述方法包括以下步骤。

步骤S1：预先确定预设数量的双耳信号，所述预设数量的双耳信号在以用户头部为中心的各个方向上分布，所述预设数量的双耳信号中包括第一预设数量的采样双耳信号和第二预设数量的超采样双耳信号。

在本具体实施方式中，所述预设数量的双耳信号可以分布在用户头部的四周。具体地，所述预设数量的双耳信号可以分布在以用户头部为中心的各个方向上。请参阅图2，所述预设数量的双耳信号可以等间隔地分布在以用户头部为中心的各个方向上。如图2所示，所述双耳信号的数量可以为12个，其中，较大的圆形可以表示采样双耳信号，较小的圆形可以表示超采样双耳信号，每两个相邻双耳信号之间的角度间隔可以为30度。在图2中，所述采样双耳信号的个数可以为4个，所述超采样双耳信号的个数可以为8个。

在本实施方式中，可以通过人头录音或者HRTF的计算方式，获取所述预设数量的双耳信号中各个声源的双耳信号。这样，如图2所示，对于用户头部而言，每隔30度的方向均可以有一个精确的双耳信号。

需要说明的是，在本实施方式中，所述预设数量的双耳信号也可以不是等间隔分布。考虑到人耳对前方声场空间的分辨率较高，而对后方声场空间的分辨率较低，因此可以在用户头部正面分布较多的双耳信号，而在用户头部背面分布较少的双耳信号。也就是说，所述预设数量的双耳信号在用户头部正面的分布数量可以大于在用户头部背面的分布数量。请参阅图3，在用户头部正面可以分布9个双耳信号，而在用户头部背面则可以仅分布3个双耳信号。

步骤S2：对所述第一预设数量的采样双耳信号进行拟合，得到所述第二预设数量的超采样双耳信号。

考虑到如果对所述预设数量的双耳信号均进行处理，那么需要处理的数据量将十分巨大。因此，在本实施方式中，可以仅仅使用所述第一预设数量的采样双耳信号，而对于其它超采样双耳信号可以通过拟合的方式得到。具体地，在本实施方式中可以对所述第一预设数量的采样双耳信号进行拟合，从而得到所述第二预设数量的超采样双耳信号。

以4个采样双耳信号为例，在本实施方式中，可以利用这4个采样双耳信号，对各个超采样双耳信号进行拟合。具体地，在本实施方式中，可以通过下述公式对所述第一预设数量的采样双耳信号进行拟合，得到所述第二预设数量的超采样双耳信号：

其中，S_j表示第j个超采样双耳信号，B_i为第i个采样双耳信号，N为所述第一预设数量，M为所述第二预设数量，P_j,i为针对第j个超采样双耳信号、第i个采样双耳信号对应的拟合系数。

这样，超采样双耳信号便可以由所述第一预设数量的采样双耳信号以及拟合系数确定。

在本实施方式中，可以在虚拟现实设备中存储所述第一预设数量的采样双耳信号以及各个拟合系数，这样，后续便可以仅仅对所述第一预设数量的采样双耳信号以及各个拟合系数进行处理，便能够得到其它各个超采样双耳信号。以图2为例，仅需要存储0度，90度，180度以及270度这四个方向的采样双耳信号以及各个拟合系数，便可以得到其它8个超采样双耳信号，从而减少了需要处理的数据量。

步骤S3：根据用户头部转动的水平角度，确定与所述水平角度最接近的第一超采样双耳信号和第二超采样双耳信号。

在本实施方式中，所述预设数量的双耳信号均可以由采样双耳信号来表示。这样，根据用户头部转动的水平角度，便可以选择对应的双耳信号来对用户播放双耳信号。

具体地，请参阅图4，当用户头部向右转动后，面对的方向可以是圆周上实心圆形所处的位置。在该位置处并不存在双耳信号。在本实施方式中，可以根据用户头部转动的水平角度，确定与所述水平角度最接近的第一超采样双耳信号和第二超采样双耳信号。如图4所示，与所述实心圆形最接近的第一超采样双耳信号可以是超采样双耳信号1，第二超采样双耳信号可以是超采样双耳信号2。这样，在本实施方式中，可以由所述第一超采样双耳信号和第二超采样双耳信号来共同合成待播放的双耳信号。

步骤S4：对所述第一超采样双耳信号以及所述第二超采样双耳信号进行插值，得到与所述水平角度相对应的当前双耳信号，并向用户播放所述当前双耳信号。

在本实施方式中，在确定了所述第一超采样双耳信号和第二超采样双耳信号之后，可以对所述第一超采样双耳信号以及所述第二超采样双耳信号进行插值，从而得到与所述水平角度相对应的当前双耳信号。具体地，可以预先根据所述水平角度、所述第一超采样双耳信号对应的第一角度以及所述第二超采样双耳信号对应的第二角度，确定线性插值系数。通过所述线性插值系数，可以构成第一超采样双耳信号和第二超采样双耳信号的权重系数，当所述水平角度与第一角度越接近时，第一超采样双耳信号对应的权重系数则应当越大。同样地，当所述水平角度与第二角度越接近时，第二超采样双耳信号对应的权重系数则应当越大。

在本实施方式中，可以按照下述公式确定所述线性插值系数：

其中，g表示所述线性插值系数，θ为所述水平角度，θ₁为所述第一角度，θ₂为所述第二角度。

由上式可见，当水平角度与第一角度越接近时，线性插值系数越小；而当水平角度与第一角度越远离时，线性插值系数越大。

在本实施方式中，可以基于所述线性插值系数、所述第一超采样双耳信号以及所述第二超采样双耳信号，确定与所述水平角度相对应的当前双耳信号。具体地，可以按照下述公式确定与所述水平角度相对应的当前双耳信号：

B_p＝(1-g)·V₁+g·V₂

其中，B_p为所述当前双耳信号，V₁为所述第一超采样双耳信号，V₂为所述第二超采样双耳信号。

上式中，(1-g)可以视为第一超采样双耳信号对应的权重系数。那么当水平角度与第一角度越接近时，线性插值系数越小，(1-g)便越大；当水平角度与第二角度越接近时，线性插值系数便越大。因此，上式可以很准确地反映水平角度与第一角度和第二角度之间的位置关系。

在得到所述当前双耳信号后，便可以通过虚拟现实设备向用户播放所述当前双耳信号。

由上可见，本发明只需要对采样双耳信号和各个拟合系数进行处理，便可以得到能够与用户头部转动的角度相适配的当前双耳信号，不仅需要处理的数据量小，而且最终的当前双耳信号的音效也非常好。

需要说明的是，由于采样双耳信号往往呈对称分布，因此，在本发明中还可以利用双耳信号的对称性，进一步降低需要处理的数据量。从图2中不难发现，0度和180度的双耳信号左右相反，前后也相反。因此，在本实施方式中可以依靠对称性和声学特性来用0度的双耳信号处理得到近似的180度的双耳信号。具体地，左右相反可以通过交换左右耳的信号来实现；前后相反可以根据声源前后的差异，利用延时低通滤波器来实现。这样，存储于虚拟现实设备中的数据则仅需要0度的双耳信号和90度的双耳信号这两个信号，进一步地降低了所需处理的数据量。

本发明还提供一种虚拟现实设备中声场的处理装置，请参阅图5，所述装置包括：

双耳信号分布单元100，用于预先确定预设数量的双耳信号，所述预设数量的双耳信号在以用户头部为中心的各个方向上分布，所述预设数量的双耳信号中包括第一预设数量的采样双耳信号和第二预设数量的超采样双耳信号；

拟合单元200，用于对所述第一预设数量的采样双耳信号进行拟合，得到所述第二预设数量的超采样双耳信号；

双耳信号确定单元300，用于根据用户头部转动的水平角度，确定与所述水平角度最接近的第一超采样双耳信号和第二超采样双耳信号；

插值单元400，用于对所述第一超采样双耳信号以及所述第二超采样双耳信号进行插值，得到与所述水平角度相对应的当前双耳信号，并向用户播放所述当前双耳信号。

在本申请一个优选实施方式中，所述拟合单元200可以按照下述公式对所述第一预设数量的采样双耳信号进行拟合，得到所述第二预设数量的超采样双耳信号：

其中，S_j表示第j个超采样双耳信号，B_i为第i个采样双耳信号，N为所述第一预设数量，M为所述第二预设数量，P_j,i为针对第j个超采样双儿信号、第i个采样双耳信号对应的拟合系数。

在本申请一个优选实施方式中，所述插值单元400具体可以包括：

插值系数确定模块，用于根据所述水平角度、所述第一超采样双耳信号对应的第一角度以及所述第二超采样双耳信号对应的第二角度，确定线性插值系数；

当前双耳信号确定模块，用于基于所述线性插值系数、所述第一超采样双耳信号以及所述第二超采样双耳信号，确定与所述水平角度相对应的当前双耳信号。

需要说明的是，上述各个功能模块的具体实现方式以及计算公式均与步骤S1至S4中的描述一致，这里便不再赘述。

由上可见，本发明提供的一种虚拟现实设备中声场的处理方法及装置，可以通过第一预设数量的采样双耳信号，来拟合得到第二预设数量的超采样双耳信号。在这种情况下，便可以根据用户头部的转动角度，选择对应的第一超采样双耳信号以及第二超采样双耳信号，从而能够插值得到具备较好音效的双耳信号。由于本发明只需要对采样双耳信号进行处理，而采样双耳信号的数量往往较少，因此需要处理的数据量也往往较小，从而减少了需要处理的数据量，提高了双耳信号处理的效率。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (8)

1.一种虚拟现实设备中声场的处理方法，其特征在于，所述处理方法包括：

预先确定预设数量的双耳信号，所述预设数量的双耳信号在以用户头部为中心的各个方向上分布，所述预设数量的双耳信号中包括第一预设数量的采样双耳信号和第二预设数量的超采样双耳信号；

对所述第一预设数量的采样双耳信号进行拟合，得到所述第二预设数量的超采样双耳信号；

根据用户头部转动的水平角度，确定与所述水平角度最接近的第一超采样双耳信号和第二超采样双耳信号；

对所述第一超采样双耳信号以及所述第二超采样双耳信号进行插值，确定线性插值系数，得到与所述水平角度相对应的当前双耳信号，并向用户播放所述当前双耳信号；

其中，按照下述公式对所述第一预设数量的采样双耳信号进行拟合，

得到所述第二预设数量的超采样双耳信号：

其中，S_j表示第j个超采样双耳信号，B_i为第i个采样双耳信号，N为所述第一预设数量，M为所述第二预设数量，P_j,i为针对第j个超采样双耳信号、第i个采样双耳信号对应的拟合系数，

另外，所述处理方法还利用双耳信号的对称性来降低需要处理的数据量，通过交换左右耳的信号来实现左右相反的双耳信号，利用延时低通滤波器来实现前后相反的双耳信号。

2.根据权利要求1所述的处理方法，其特征在于，所述预设数量的双耳信号在以用户头部为中心的各个方向上等间隔分布。

3.根据权利要求1所述的处理方法，其特征在于，所述预设数量的双耳信号在用户头部正面的分布数量大于在用户头部背面的分布数量。

4.根据权利要求1所述的处理方法，其特征在于，在得到所述第二预设数量的超采样双耳信号之后，所述方法还包括：将所述第一预设数量的采样双耳信号以及各个拟合系数存储至虚拟现实设备中。

5.根据权利要求1所述的处理方法，其特征在于，对所述第一超采样双耳信号以及所述第二超采样双耳信号进行插值，得到与所述水平角度相对应的当前双耳信号具体包括：

根据所述水平角度、所述第一超采样双耳信号对应的第一角度以及所述第二超采样双耳信号对应的第二角度，确定线性插值系数；基于所述线性插值系数、所述第一超采样双耳信号以及所述第二超采样双耳信号，确定与所述水平角度相对应的当前双耳信号。

6.根据权利要求5所述的处理方法，其特征在于，按照下述公式确定线性插值系数：

其中，g表示所述线性插值系数，θ为所述水平角度，θ₁为所述第一角度，θ₂为所述第二角度；

按照下述公式确定与所述水平角度相对应的当前双耳信号：

B_p＝(1-g)·V₁+g·V₂

其中，B_p为所述当前双耳信号，V₁为所述第一超采样双耳信号，V₂为所述第二超采样双耳信号。

7.一种虚拟现实设备中声场的处理装置，其特征在于，所述处理装置包括：

双耳信号分布单元，用于预先确定预设数量的双耳信号，所述预设数量的双耳信号在以用户头部为中心的各个方向上分布，所述预设数量的双耳信号中包括第一预设数量的采样双耳信号和第二预设数量的超采样双耳信号；

拟合单元，用于对所述第一预设数量的采样双耳信号进行拟合，得到所述第二预设数量的超采样双耳信号；

双耳信号确定单元，用于根据用户头部转动的水平角度，确定与所述水平角度最接近的第一超采样双耳信号和第二超采样双耳信号；

插值单元，用于对所述第一超采样双耳信号以及所述第二超采样双耳信号进行插值，得到与所述水平角度相对应的当前双耳信号，并向用户播放所述当前双耳信号；

其中，所述拟合单元按照下述公式对所述第一预设数量的采样双耳信号进行拟合，得到所述第二预设数量的超采样双耳信号：

其中，S_j表示第j个超采样双耳信号，B_i为第i个采样双耳信号，N为所述第一预设数量，M为所述第二预设数量，P_j,i为针对第j个超采样双耳信号、第i个采样双耳信号对应的拟合系数。

8.根据权利要求7所述的处理装置，其特征在于，所述插值单元具体包括：

插值系数确定模块，用于根据所述水平角度、所述第一超采样双耳信号对应的第一角度以及所述第二超采样双耳信号对应的第二角度，确定线性插值系数；

当前双耳信号确定模块，用于基于所述线性插值系数、所述第一超采样双耳信号以及所述第二超采样双耳信号，确定与所述水平角度相对应的当前双耳信号。

Images