CN115002613A - 耳机 - Google Patents

Abstract

本申请提供了一种耳机，包括：采集单元，用于采集当前头部姿态数据；渲染单元，与所述采集单元通信连接，用于接收到音频设备发送的初始音频流和所述采集单元发送的所述当前头部姿态数据后，根据所述当前头部姿态数据渲染所述初始音频流，以生成目标音频流；以及扬声器，与所述渲染单元连接，用于播放所述渲染单元发送的所述目标音频流。本申请实施例提供的耳机，能够保证渲染生成的目标音频流实现逼真的空间虚拟声像，丰富用户的使用体验。本申请的方案能够通过耳机对音频设备发送的初始音频流进行渲染，通用性强且无通信延迟。

Description

耳机

技术领域

本申请涉及电子设备技术领域，具体涉及一种耳机。

背景技术

近年来，随着科技的进步，耳机的更新速率越来越快。例如，蓝牙耳机、带有主动降噪功能的耳机均广受用户喜爱。然而，目前的耳机产品整体形态相似，功能也趋同。

因此，存在极大的产品探索空间以满足用户对耳机更多附加功能的需求，以丰富用户的使用体验。

发明内容

有鉴于此，本申请致力于提供一种耳机，以实现逼真的空间虚拟声像，丰富用户的使用体验。

本申请提供的耳机，包括：采集单元，用于采集当前头部姿态数据；渲染单元，与所述采集单元通信连接，用于接收到音频设备发送的初始音频流和所述采集单元发送的所述当前头部姿态数据后，根据所述当前头部姿态数据渲染所述初始音频流，以生成目标音频流；以及扬声器，与所述渲染单元连接，用于播放所述渲染单元发送的所述目标音频流。

可选地，所述耳机还包括数据库，所述数据库用于存储预先确定的多组分别对应的头部姿态数据和所述渲染单元的第一渲染参数。

可选地，所述渲染单元还用于：基于所述数据库，查询所述当前头部姿态数据对应的第一渲染参数；根据所述第一渲染参数，渲染所述初始音频流。

可选地，所述渲染单元还用于：基于所述数据库，通过插值的方法，确定所述当前头部姿态数据对应的第二渲染参数；根据所述第二渲染参数，渲染所述初始音频流。

可选地，头部姿态数据包括头部俯仰角和头部横摆角，所述渲染单元用于：基于所述数据库，查询所述当前头部姿态数据中当前头部俯仰角的左邻近头部俯仰角和右邻近头部俯仰角，查询所述当前头部姿态数据中当前头部横摆角的左邻近头部横摆角和右邻近头部横摆角；分别查询与所述左邻近头部俯仰角及所述左邻近头部横摆角对应的、与所述左邻近头部俯仰角及所述右邻近头部横摆角对应的、与所述右邻近头部俯仰角及所述左邻近头部横摆角对应的、与所述右邻近头部俯仰角及所述右邻近头部横摆角对应的四组第一渲染参数；根据所述四组第一渲染参数、所述当前头部俯仰角和所述当前头部横摆角，通过插值确定所述第二渲染参数。

可选地，所述左邻近头部俯仰角和所述右邻近头部俯仰角对应的第一空间分辨率、所述左邻近头部横摆角和所述右邻近头部横摆角对应的第二空间分辨率由所述数据库的存储空间及所述渲染单元的阶数确定。

可选地，所述渲染单元包括有限脉冲响应FIR滤波器和/或无限脉冲响应IIR滤波器。

可选地，所述采集单元包括运动加速度传感器。

可选地，所述耳机包括左音频声道和右音频声道，所述渲染单元用于根据所述当前头部姿态数据，对所述左音频声道的初始音频流和所述右音频声道的初始音频流分别进行渲染。

可选地，所述左音频声道的目标音频流和所述右音频声道的目标音频流对应的空间虚拟声像始终成像于所述音频设备的方位。

本申请实施例提供的耳机，能够保证渲染生成的目标音频流实现逼真的空间虚拟声像，丰富用户的使用体验。本申请的方案能够通过耳机对音频设备发送的初始音频流进行渲染，通用性强且无通信延迟。

附图说明

图1所示为本申请实施例提供的耳机的结构示意图。

图2所示为本申请实施例提供的FIR滤波器的结构示意图。

图3所示为本申请实施例提供的头部俯仰角和头部横摆角的示例图。

图4所示为本申请实施例提供的确定第二渲染参数的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。

应当理解，在本申请中，“第一”、“第二”等术语仅用于描述目的，而不能理解为指示或暗示空间、时间、逻辑等方面的排序。

应当理解，在本申请中，术语“上”、“下”、“左”、“右”等指示的方位或位置关系仅用于描述目的，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

近年来，随着科技的进步，耳机的更新速率越来越快。例如，蓝牙耳机的出现，使得用户可以摆脱耳机线的束缚，自在地以各种方式轻松通话或享受音频；或者，带有降噪功能的耳机的出现(比如，主动降噪耳机)，可以抵消或隔绝外界环境中的噪音，使得用户可以远离噪声的打扰。因此，现有的蓝牙耳机、主动降噪耳机均广受用户喜爱。

然而，目前的耳机产品整体形态相似，功能也趋同。因此，存在极大的产品探索空间以满足用户对耳机更多附加功能的需求，以丰富用户的使用体验。本申请着眼于对多媒体音频播放这一耳机基础功能进行创新。

现有的耳机接收到音频设备发送的初始音频源之后，通过耳机的扬声器将初始音频流呈现给耳机用户。在这种情况下，当用户佩戴上耳机时，无论用户头部的相对位置和姿态如何，用户听到的声音始终被感知为来自用户的头部两侧，声音好像是困在耳朵里的感觉。在某些沉浸式场景下，例如观看全景声音效的电影时，用户期望让耳机播放的声音具有方位感，使得声音可以被感知为来自用户的头部之外的空间中的虚拟位置。换句话说，用户听到的声音好像不是从耳机里传出来的，而是从更大、更广的空间声场出来的。

在一些实施例中，可以利用头部相关传递函数(head related transferfunction，HRTF)还原来自空间某个方位的声音信号，即感测出声音相对于用户位于哪个大致方向。

HRTF包括针对每个耳朵的传递函数，传递函数可以将大脑感测声音的方向所需要的必要信息编码在其中。作为一种实现方式，可以通过将麦克风放置在用户的耳朵中，然后将声源放置于用户的特定角度和距离处，测量从声源到用户的耳朵中的每个传递函数来测量HRTF响应。

因此，当用户头部的相对位置和姿态发生变化时，可以结合采集的头部姿态数据和HRTF算法对音频设备发送的初始音频源进行渲染，以生成目标音频流，实现目标音频流对应的空间虚拟声像始终成像于音频设备所在的方位。也就是说，当用户在转头或者移动头部的时候，用户听到的音频可以根据头部的方位相对变化。

音频设备可以将初始音频源发送至耳机的渲染单元中，由渲染单元对初始音频源进行渲染处理后，生成目标音频源。然后，渲染单元可以将该目标音频源发送至耳机的扬声器中，由扬声器播放该目标音频源，从而实现逼真的空间虚拟声像，丰富用户的使用体验。

本申请对音频设备的类型不做具体限定，只要音频设备能够向耳机发送初始音频源即可。例如，音频设备可以是移动多用途设备，比如手机、平板电脑、个人电脑、笔记本电脑等。

本申请对耳机的类型不做具体限定。例如，本申请中提及的耳机，可以是有线耳机，也可以是蓝牙耳机。需要说明的是，对于有线耳机，该耳机在将初始音频信号传输至渲染单元前，耳机可以先对该初始音频信号进行模数转换(analog to digital converter，ADC)。或者，本申请中提及的耳机，可以是头戴式耳机，可以是入耳式耳机，也可以是半入耳式耳机。在一些实施例中，本申请中提及的耳机还可以是能够提供双耳音频输出的头戴式显示器(head mount display，HMD)。

本申请中提及的耳机，可以包括左音频声道和右音频声道。音频设备发送的初始音频流可以分别通过耳机的左音频声道和右音频声道呈现给用户。

图1为本申请实施例提供的耳机的结构示意图。如图1所示，耳机100可以包括采集单元110，渲染单元120以及扬声器130。

当用户佩戴上耳机100时，采集单元110可以用于采集用户的当前头部姿态数据。头部姿态数据可以用来表示佩戴耳机的用户的头部运动。例如，头部姿态数据可以包括头部俯仰角和头部横摆角。其中，头部俯仰角和头部横摆角可以用来通过相应的映射关系间接地描述用户头部在上下、左右、前后方向上的转动、移动或摆动。

在一些实施例中，采集单元110可以包括运动加速度传感器，例如，采集单元110可以是惯性测量单元(inertial measurement unit，IMU)。在一些实施例中，采集单元110还可以是姿态传感器、陀螺仪、多轴电子罗盘等。

渲染单元120与采集单元110通信连接。采集单元110采集到当前头部姿态数据后，可以将采集到的当前头部姿态数据实时发送给渲染单元120。

渲染单元120可以在接收到音频设备发送的初始音频流之后，基于采集单元110发送的当前头部姿态数据对该初始音频流进行渲染。换句话说，渲染单元120可以用于接收到音频设备发送的初始音频流和采集单元110发送的当前头部姿态数据后，根据该当前头部姿态数据渲染该初始音频流，以生成目标音频流。

如前文所述，可以利用HRTF还原来自空间某个方位的声音信号。换句话说，渲染单元120可以基于初始音频流与HRTF响应进行卷积，以对初始音频流进行渲染。其中，渲染单元120的渲染参数对应于HRTF的参数。

在一些实施例中，渲染单元120对初始音频流进行渲染可以是指，渲染单元120可以对初始音频流进行线性滤波，例如，对初始音频流进行线性加权处理。作为一种实现方式，渲染单元120可以使用滤波器对初始音频流进行线性加权处理，其中，线性加权的权重可以是渲染参数。

本申请对渲染单元120采用的滤波器不做具体限定。例如，在一些实施例中，渲染单元120可以包括有限脉冲响应(finite impulse response，FIR)滤波器。图2所示为FIR滤波器的结构示意图。如图2所示，FIR滤波器200为一个N阶的滤波器。FIR滤波器200可以包括N个权重系数(h(0)，h(1)，……，h(N-1))，其中，h(0)，h(1)，……，h(N-1)对应于渲染单元120的渲染参数。FIR滤波器200可以由N个乘法器和N-1个累加器组成。当输入信号x(n)(x(n)可以是指初始音频流)时，FIR滤波器200最终的输出y(n)是各个时刻的初始音频流乘以相应的渲染参数，再进行叠加后的输出值。

或者，在另一些实施例中，渲染单元120可以包括无限脉冲响应(infiniteimpulse response，IIR)滤波器。IIR滤波器同样也可以对初始音频流进行滤波，以对初始音频流进行渲染。

在一些实施例中，渲染单元120可以根据当前头部姿态数据，对耳机的左音频声道的初始音频流和右音频声道的初始音频流经两套数字滤波器分别进行渲染，以生成左音频声道的目标音频流和右音频声道的目标音频流。在这种情况下，经过渲染单元120的渲染处理，可以使得左音频声道的目标音频流和右音频声道的目标音频流对应的空间虚拟声像始终成像于音频设备所在的方位。

扬声器130可以与渲染单元120连接，用于播放渲染单元120发送的目标音频流。

本申请实施例提供的耳机，能够保证渲染生成的目标音频流对应的空间虚拟声像始终成像于音频设备的方位，从而实现逼真的空间虚拟声像，耳机用户无论如何移动，听声音的主观感觉不再约束于来自耳机的双声道本体，而是沉浸于广阔的空间声场，使得任何来源的多媒体视频的音效更为立体、饱满，增强声临其境的现实感，丰富用户的使用体验。

本申请的方案能够通过耳机对音频设备发送的初始音频流进行渲染，即本申请的方案对音频来源没有限制，通用性较强。此外，本申请的方案将渲染单元设置于耳机中，与将渲染单元设置于音频设备中相比，本申请的方案能够避免音频设备与耳机之间通信的延迟，快速响应用户实时的头部姿态从而适应当前的渲染处理，同时节约渲染运算的成本。

在一些实施例中，耳机100还可以包括数据库140。数据库140可以存储预先确定的多组分别对应的头部姿态数据和渲染单元120的第一渲染参数。

作为一个示例，如图3所示，头部姿态数据可以包括头部俯仰角θ和头部横摆角

数据库140中可以存储与头部俯仰角θ和头部横摆角

对应的第一渲染参数。

作为一个示例，数据库140存储的数据的格式可以参见表1。如表1所示，当头部俯仰角为θ₁、头部横摆角为

时，对应的第一渲染参数为h₁₁；当头部俯仰角为θ₂、头部横摆角为

时，对应的第一渲染参数为h₂₃，以此类推。

表1

在一些实施例中，数据库140在存储数据时，可以以固定的空间分辨率对头部俯仰角θ和头部横摆角

对应的第一渲染参数进行存储。例如，相邻的头部俯仰角θ之间的第一空间分辨率可以为Δθ，相邻的头部横摆角

之间的第二空间分辨率可以为

Δθ和

可以相同，也可以不同。例如，Δθ和

可以都是5°；或者，Δθ可以是5°，

可以是10°。

其中，第一空间分辨率Δθ和第二空间分辨率

均可以由数据库140的存储空间及渲染单元120的阶数确定。

数据库140中存储的数据量M的计算公式可以参见下面的公式：

其中，Δθ为第一空间分辨率，

为第二空间分辨率，N为渲染单元的阶数。

当数据库140中存储有对应的头部姿态数据和渲染单元120的第一渲染参数时，渲染单元120可以基于数据库140，对初始音频流进行渲染。

在一些实施例中，采集单元110采集到的当前头部姿态数据(例如，头部俯仰角和头部横摆角)恰好存储于数据库140中。在这种情况下，渲染单元120可以基于数据库140，从数据库140中直接查询当前头部姿态数据对应的第一渲染参数，然后根据查询到的第一渲染参数，渲染音频设备发送的初始音频流。

在另一些实施例中，采集单元110采集到的当前头部姿态数据并未存储在数据库140中。在这种情况下，渲染单元120可以根据数据库140中存储的数据对当前头部姿态数据对应的渲染参数进行估计。作为一种实现方式，渲染单元120可以基于数据库140，通过插值的方法，确定当前头部姿态数据对应的第二渲染参数。

本申请对确定第二渲染参数时使用的插值方法不做具体限定。例如，可以采用线性插值法、自然邻点插值法、最近邻点插值法等。

下面结合表1和图4，给出渲染单元120基于数据库140，通过插值的方法确定第二渲染参数的一个示例。

在步骤S410，查询当前头部姿态数据中当前头部俯仰角的左邻近头部俯仰角和右邻近头部俯仰角，查询当前头部姿态数据中当前头部横摆角的左邻近头部横摆角和右邻近头部横摆角。

如表1所示，假设采集单元110采集的当前头部姿态数据中，当前头部俯仰角介于θ₁和θ₂之间，则可以认为θ₁为当前头部俯仰角的左邻近头部俯仰角，θ₂为当前头部俯仰角的右邻近头部俯仰角。同理，假设采集单元110采集的当前头部姿态数据中，当前头部横摆角介于

和

之间，则可以认为

为当前头部横摆角的左邻近头部横摆角，

为当前头部横摆角的右邻近头部横摆角。

在步骤S420，分别查询与左邻近头部俯仰角及左邻近头部横摆角对应的、与左邻近头部俯仰角及右邻近头部横摆角对应的、与右邻近头部俯仰角及左邻近头部横摆角对应的、与右邻近头部俯仰角及右邻近头部横摆角对应的四组第一渲染参数。

继续参见表1，根据当前头部俯仰角的左邻近头部俯仰角θ₁、右邻近头部俯仰角θ₂，以及当前头部横摆角的左邻近头部横摆角

右邻近头部横摆角

可以确定出四组第一渲染参数分别为h₁₂、h₁₃、h₂₂和h₂₃。

在步骤S430，根据四组第一渲染参数、当前头部俯仰角和当前头部横摆角，通过插值确定第二渲染参数。

其中，左邻近头部俯仰角θ₁和右邻近头部俯仰角θ₂对应的第一空间分辨率，以及，左邻近头部横摆角

和右邻近头部横摆角

对应的第二空间分辨率可以根据数据库140的存储空间及渲染单元120的阶数来确定。

本申请实施例基于数据库中预先存储的多组分别对应的头部姿态数据和渲染单元的第一渲染参数，可以快速确定出当前头部姿态数据对应的渲染参数，实现方式简单。

在本申请的实施例中，应该理解到，本申请实施例所揭露的***、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，如所述单元的划分，仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者集成到另一个***，或一些特征可以忽略、或不执行。另外，所显示或讨论的通信连接可以是电性、机械或其他的形式。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种耳机，其特征在于，所述耳机包括：

采集单元，用于采集当前头部姿态数据；

渲染单元，与所述采集单元通信连接，用于接收到音频设备发送的初始音频流和所述采集单元发送的所述当前头部姿态数据后，根据所述当前头部姿态数据渲染所述初始音频流，以生成目标音频流；以及

扬声器，与所述渲染单元连接，用于播放所述渲染单元发送的所述目标音频流。

2.根据权利要求1所述的耳机，其特征在于，所述耳机还包括数据库，所述数据库用于存储预先确定的多组分别对应的头部姿态数据和所述渲染单元的第一渲染参数。

3.根据权利要求2所述的耳机，其特征在于，所述渲染单元还用于：

基于所述数据库，查询所述当前头部姿态数据对应的第一渲染参数；

根据所述第一渲染参数，渲染所述初始音频流。

4.根据权利要求2所述的耳机，其特征在于，所述渲染单元还用于：

基于所述数据库，通过插值的方法，确定所述当前头部姿态数据对应的第二渲染参数；

根据所述第二渲染参数，渲染所述初始音频流。

5.根据权利要求4所述的耳机，其特征在于，头部姿态数据包括头部俯仰角和头部横摆角，所述渲染单元用于：基于所述数据库，

查询所述当前头部姿态数据中当前头部俯仰角的左邻近头部俯仰角和右邻近头部俯仰角，查询所述当前头部姿态数据中当前头部横摆角的左邻近头部横摆角和右邻近头部横摆角；

分别查询与所述左邻近头部俯仰角及所述左邻近头部横摆角对应的、与所述左邻近头部俯仰角及所述右邻近头部横摆角对应的、与所述右邻近头部俯仰角及所述左邻近头部横摆角对应的、与所述右邻近头部俯仰角及所述右邻近头部横摆角对应的四组第一渲染参数；

根据所述四组第一渲染参数、所述当前头部俯仰角和所述当前头部横摆角，通过插值确定所述第二渲染参数。

6.根据权利要求5所述的耳机，其特征在于，所述左邻近头部俯仰角和所述右邻近头部俯仰角对应的第一空间分辨率、所述左邻近头部横摆角和所述右邻近头部横摆角对应的第二空间分辨率由所述数据库的存储空间及所述渲染单元的阶数确定。

7.根据权利要求1所述的耳机，其特征在于，所述渲染单元包括有限脉冲响应FIR滤波器和/或无限脉冲响应IIR滤波器。

8.根据权利要求1所述的耳机，其特征在于，所述采集单元包括运动加速度传感器。

9.根据权利要求1至8中任一项所述的耳机，其特征在于，所述耳机包括左音频声道和右音频声道，

所述渲染单元用于根据所述当前头部姿态数据，对所述左音频声道的初始音频流和所述右音频声道的初始音频流分别进行渲染。

10.根据权利要求9所述的耳机，其特征在于，所述左音频声道的目标音频流和所述右音频声道的目标音频流对应的空间虚拟声像始终成像于所述音频设备的方位。

Images