CN114866948A - 一种音频处理方法、装置、电子设备和可读存储介质 - Google Patents
一种音频处理方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN114866948A CN114866948A CN202210451743.5A CN202210451743A CN114866948A CN 114866948 A CN114866948 A CN 114866948A CN 202210451743 A CN202210451743 A CN 202210451743A CN 114866948 A CN114866948 A CN 114866948A
- Authority
- CN
- China
- Prior art keywords
- audio signal
- mapping relation
- determining
- monaural
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 16
- 230000005236 sound signal Effects 0.000 claims abstract description 134
- 238000013507 mapping Methods 0.000 claims abstract description 113
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000009825 accumulation Methods 0.000 claims abstract description 9
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 210000005069 ears Anatomy 0.000 description 7
- 230000009471 action Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000002360 explosive Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Abstract
本申请提供了一种音频处理方法、装置、电子设备和可读存储介质，所述方法包括：确定当前位置对应的当前映射关系组，其中，每个预设位置对应一个映射关系组，每个所述映射关系组包括2n个映射关系对，所述映射关系对指示单耳、开阔环境中的预设位置和所述单耳在所述预设位置处接收到的一个声道的音频信号之间的对应关系，n为声道数量，n≥1；针对所述当前映射关系组，确定所述单耳接收到的每个声道的第一音频信号；根据所述第一音频信号和接收到的原始音频信号，得到所述单耳接收到的每个声道的第二音频信号；通过对n个所述第二音频信号进行加权累加处理，得到所述单耳接收到的n个声道的目标音频信号。本申请提高了音质效果。
Description
技术领域
本申请涉及音频技术领域，尤其涉及一种音频处理方法、装置、电子设备和可读存储介质。
背景技术
耳机是人们生活中常用到的产品，用户可以通过耳机观看影视剧，听歌等。耳机在使用时会紧贴或塞入用户耳朵，这会给用户产生声音困在耳朵中的感觉，导致耳机音效不好。
而随着5G网络传输、HDR渲染技术的普及，如何提升佩戴耳机的音频体验，去除用户佩戴时声音困在耳朵的困扰，模拟开阔环境中的音箱效果，使用户如同置身于真实的环境中，成为一个需要迫切解决的问题。
针对目前耳机音效不好的问题，目前尚未良好的解决方案。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种音频处理方法、装置、电子设备和可读存储介质。
第一方面，本申请提供了一种音频处理方法，所述方法包括：
确定当前位置对应的当前映射关系组，其中，每个预设位置对应一个映射关系组，每个所述映射关系组包括2n个映射关系对，所述映射关系对指示单耳、开阔环境中的预设位置和所述单耳在所述预设位置处接收到的一个声道的音频信号之间的对应关系，n为声道数量，n≥1；
针对所述当前映射关系组，确定所述单耳接收到的每个声道的第一音频信号；
根据所述第一音频信号和接收到的原始音频信号，得到所述单耳接收到的每个声道的第二音频信号；
通过对n个所述第二音频信号进行加权累加处理，得到所述单耳接收到的n个声道的目标音频信号。
可选地，确定当前位置对应的当前映射关系组之前，所述方法还包括：
在头部转动的预设立体范围中，将每个高度区域对应的水平方向中的一个水平区域作为一个预设位置，其中，所述预设立体范围划分为至少一个高度区域，每个高度区域在水平方向划分为至少一个水平区域；
确定单耳在所述预设位置处接收到的n个声道的音频数据；
将所述预设位置处的每个声道的音频数据作为一个映射关系对；
根据所述预设位置处的n个映射关系对构建一个映射关系组。
可选地，将每个高度区域对应的水平方向中的一个水平区域作为一个预设位置之前，所述方法还包括：
确定头部在竖直方向转动的最大竖直范围和在水平方向转动的最大水平范围；
根据所述最大竖直范围和所述最大水平范围确定所述预设立体范围；
确定竖直方向上的竖直间隔角度和水平方向上的水平间隔角度；
在所述预设立体范围中，根据所述最大竖直范围和所述竖直间隔角度确定至少一个高度区域，并根据所述高度区域对应的水平范围和所述水平间隔角度确定至少一个水平区域。
可选地，计算映射关系对的数量的公式为：
S＝180/f*360/m*2n，其中，S为映射关系对的数量，180为最大竖直范围，f为竖直间隔角度，360为最大水平范围，m为水平间隔角度，2n为预设位置对应的映射关系对的数量。
可选地，所述确定当前位置对应的当前映射关系组包括：
检测声道类型，其中，所述声道类型指示声道的数量，针对不同的声道类型，单耳在同一预设位置接收到的每个声道的音频信号不完全相同；
检测耳机内是否存在转动传感器，其中，所述转动传感器用于检测头部转动的角度；
在所述耳机内不存在转动传感器的情况下，根据所述声道类型从所述预设位置中选取固定位置，将所述固定位置的映射关系组作为当前位置对应的当前映射关系组；
在所述耳机内存在转动传感器的情况下，根据检测到的转动角度确定头部所在的当前位置；根据所述当前位置和所述声道类型，确定当前位置对应的当前映射关系组。
可选地，确定当前位置对应的当前映射关系组之前，所述方法还包括：
确定当前录制场景对应的录制参数；
根据发声器的声音和所述录制参数，确定单耳在预设位置处接收到的一个声道的音频信。
可选地，得到所述单耳接收到的n个声道的目标音频信号之后，所述方法还包括：
在所述第一音频信号低于第一音频阈值的情况下，对所述目标音频信号进行增益和幅值控制，以使所述目标音频信号大于所述第一音频阈值并小于第二音频阈值。
第二方面，本申请提供了一种音频处理装置，所述装置包括：
第一确定模块，用于确定当前位置对应的当前映射关系组，其中，每个预设位置对应一个映射关系组，每个所述映射关系组包括2n个映射关系对，所述映射关系对指示单耳、开阔环境中的预设位置和所述单耳在所述预设位置处接收到的一个声道的音频信号之间的对应关系，声道的数量为n，n≥1；
第二确定模块，用于针对所述当前映射关系组，确定所述单耳接收到的每个声道的第一音频信号；
得到模块，用于根据所述第一音频信号和接收到的原始音频信号，得到所述单耳接收到的每个声道的第二音频信号；
处理模块，用于通过对n个所述第二音频信号进行加权累加处理，得到所述单耳接收到的n个声道的目标音频信号。
第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现任一所述的音频处理方法步骤。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一所述的音频处理方法步骤。本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供的该方法，耳机获取当前位置内能够模拟开阔环境中的第一音频信号，然后针对原始音频信号和第一音频信号得到第二音频信号，这样每个第二音频信号都能达到模拟开阔环境中的音效的效果，耳机对n个第二音频信号进行加权累计处理，可以得到单耳听到的n个声道的目标音频信号。本申请通过在原始音频信号融入能够模拟开阔环境中的第一音频信号，使得最终的目标音频信号也可以模拟开阔环境，提高了音质效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种音频处理方法的硬件环境示意图；
图2为本申请实施例提供的一种音频处理方法的流程图；
图3为预设位置的示意图；
图4为5.1声道的示意图；
图5为本申请实施例提供的一种音频处理方法的***框图；
图6为本申请实施例提供的一种音频处理装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决背景技术中提及的问题，根据本申请实施例的一方面，提供了一种音频处理方法的实施例。
可选地，在本申请实施例中，上述应用于音频处理方法可以应用于如图1所示的由耳机101和服务器103所构成的硬件环境中。如图1所示，服务器103通过网络与耳机101进行连接，可用于为耳机提供服务，可在服务器上或独立于服务器设置数据库105，用于为服务器103提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，耳机类别包括但不限于头戴式、耳塞式、入耳式、耳挂式和后挂式等。
本申请实施例提供了一种音频处理方法，可以应用于耳机，用于对音频进行处理，使耳机声音模拟开阔环境中的音效。本申请可以应用于通过耳机观看影视剧、听音乐、音频录制等多种场景。
下面将结合具体实施方式，对本申请实施例提供的一种音频处理方法进行详细的说明，如图2所示，具体步骤如下：
步骤201：确定当前位置对应的当前映射关系组。
其中，每个预设位置对应一个映射关系组，每个映射关系组包括2n个映射关系对，映射关系对指示单耳、开阔环境中的预设位置和单耳在预设位置处接收到的一个声道的音频信号之间的对应关系，n为声道数量，n≥1。
在本申请实施例中，在环境开阔的场所进行音频录制时，可以确定头部转动的预设立体范围，然后将预设立体范围划分为至少一个高度区域，每个高度区域对应的水平方向划分为至少一个水平区域，这样每个高度区域对应的一个水平区域为一个预设位置。预设立体范围中设置有n个发生器，每个发生器对应一个声道，那么用户头部位于任意一个预设位置时，用户单耳可以听到n个声道的音频信号，即用户双耳可以听到2n个音频信号。
耳机针对单耳、开阔环境中的预设位置和单耳在该预设位置处接收到的一个声道的音频信号，构建一个映射关系对，由于声道类型为n，一般用户为双耳，那么预设位置处的2n个映射关系对可以构建一个映射关系组，即，每个预设位置对应一个映射关系组。
在本申请实施例中，耳机可以检测用户头部所处的当前位置，其中，检测方式为：在耳机内不存在转动传感器时，耳机根据声道类型确定固定位置，将固定位置作为当前位置，然后从预设位置对应的映射关系组中，选取出当前位置对应的当前映射关系组；在耳机内存在转动传感器时，耳机根据用户头部上下转动的角度和左右转动的角度确定头部所在的当前位置，然后根据当前位置和声道类型，从预设位置对应的映射关系组中，选取当前位置对应的当前映射关系组。
作为一种可选的实施方式，确定当前位置对应的当前映射关系组之前，方法还包括：确定当前录制场景对应的录制参数；根据发声器的声音和录制参数，确定单耳在预设位置处接收到的一个声道的音频信号。
数据库中预先存储有每种录制场景具有对应的录制参数，耳机根据当前录制场景，从数据库中获取当前录制场景对应的录制参数，其中，录制参数包括但不限于混响参数、声音衰减参数、录制房间材质参数和录制房间尺寸参数，录制参数会对耳机接收到的声音产生影响。耳机对发生器的声音和录制参数进行分析，得到音频信号。因此，对于不同的录制场景，其接收到的音频信号不同，那么映射关系对和映射关系组也不相同。示例性地，针对影视剧和音乐两种不同的场景，若影视剧和音乐分别在不同的房间进行录制，那么各自对应的录制房间材质参数、录制房间尺寸参数和声音衰减参数也是不同的，另外，观看影视剧和听音乐所需要的回声大小不同，那么其混响参数也是不同的，从而得到影视剧和音乐的音频信号不同，其映射关系对也不相同。
步骤202：针对当前映射关系组，确定单耳接收到的每个声道的第一音频信号。
在本申请实施例中，耳机针对当前映射关系组，确定单耳接收到的每个声道的第一音频信号，这样耳机能够获取双耳接收到的每个声道的第一音频信号。
步骤203：根据第一音频信号和接收到的原始音频信号，得到单耳接收到的每个声道的第二音频信号。
在本申请实施例中，耳机接收到的音频信号为原始音频信号，耳机将第一音频信号和原始音频信号进行处理，得到第二音频信号，其中，第一音频信号用于使第二音频信号也可以模拟开阔环境中的音效。
第二音频信号的计算公式为：
S1＝f(x)*g(x)，其中，S1为第二音频信号，x为当前位置，f(x)为原始音频信号的解码序列，g(x)为第一音频信号。
可选地，耳机还可以针对第一音频信号和接收到的原始音频信号，进行卷积变换，得到单耳接收到的每个声道的第二音频信号。卷积可以采用朴素算法，也可以采用傅里叶变换，本申请中的卷积采用傅里叶变换，傅里叶变换可以提高处理速度，同时降低运算复杂度。
卷积变化的公式为：
步骤204：通过对n个第二音频信号进行加权累加处理，得到单耳接收到的n个声道的目标音频信号。
在本申请实施例中，第二音频信号为单耳接收到的每个音频信号，由于单耳可以接收到n个音频信号，因此，耳机对n个第二音频信号进行处理，可以得到一个目标音频信号，该目标音频信号融合了n个第二音频信号，这样可以使单耳听到音频效果更好。
在本申请中，耳机获取当前位置内能够模拟开阔环境中的第一音频信号，然后针对原始音频信号和第一音频信号得到第二音频信号，这样每个第二音频信号都能达到模拟开阔环境中的音效的效果，耳机对n个第二音频信号进行加权累计处理，可以得到单耳听到的n个声道的目标音频信号。本申请通过在原始音频信号融入能够模拟开阔环境中的第一音频信号，使得最终的目标音频信号也可以模拟开阔环境，提高了音质效果。
作为一种可选的实施方式，确定当前位置对应的当前映射关系组之前，方法还包括：在头部转动的预设立体范围中，将每个高度区域对应的水平方向中的一个水平区域作为一个预设位置，其中，预设立体范围划分为至少一个高度区域，每个高度区域在水平方向划分为至少一个水平区域；确定单耳在预设位置处接收到的n个声道的音频数据，其中，每个声道对应一个发生器；将预设位置处的每个声道的音频数据作为一个映射关系对；根据预设位置处的n个映射关系对构建一个映射关系组。
在本申请实施例中，可以预先进行模拟开阔环境中音频的录制。耳机将确定头部在竖直方向转动的最大竖直范围和在水平方向转动的最大水平范围，然后以最大竖直范围的中心和最大水平范围的中心为原点，根据最大数值角度和最大水平角度确定头部转动的预设立体范围，再确定竖直方向上的竖直间隔角度和水平方向上的水平间隔角度，最后在预设立体范围中，根据最大竖直范围和竖直间隔角度确定至少一个高度区域，并根据高度区域对应的水平范围和水平间隔角度确定至少一个水平区域。
图3为预设位置的示意图。可以看出，头部在竖直方向转动的最大竖直范围为-90°～90°，头部在水平方向转动的最大水平范围为-180°～180°，那么预设立体范围为一个球形，在高度方向上每隔f设置一个高度区域，在水平方向上每隔m设置一个水平区域，每个高度区域对应的一个水平区域为一个预设位置。
示例性地，头部在竖直方向转动的最大竖直范围为-90°～90°，头部在水平方向转动的最大水平范围为-180°～180°，以竖直方向的中心为原点划分竖直间隔角度f，以水平方向的中心为原点划分水平间隔角度m，也就是说，在180°的高度范围内，可以得到180/f个高度区域，在360°的水平范围内，可以得到360/m个水平区域，每个高度区域对应的一个水平区域为一个预设位置，那么每个高度区域对应一个360/m个预设位置，共可以得到180/f*360/m个预设位置。
图4为5.1声道的示意图。如图3所示，以5.1声道为例，分别在左声道L、右声道R、中间声道C、左右环绕立体声LS、右环绕立体声RS、重低音FE处放置一个发生器，这样用户头部在任意一个预设位置处，通过单耳可以接收到6个声道的音频数据，通过双耳可以接收到12个声道的音频数据，若用户转动头部(头部位于其他预设位置)，通过双耳也可以接收到12个声道的音频数据，但该音频数据的音质与头部转动之前接收到的音频数据的音质不相同。
每个声道对应一个发生器，耳机可以确定用户单耳在每个预设位置处接收到的n个声道的音频数据，其中，用户头部所处的位置不同，接收到的n个声道的音频数据的音质也不相同。耳机将每个音频数据作为一个映射关系对，然后根据预设位置处的n个映射关系对构建一个映射关系组，即同一层高度区域对应一个映射关系组。
其中，确定映射关系对的数量的公式为：
S＝180/f*360/m*2n，其中，S为映射关系对的数量，f为竖直间隔角度，m为水平间隔角度，n为声道。180/f为高度区域的数量，360/m为水平区域的数量，180/f*360/m为预设位置的数量，2n为双耳在一个预设位置接收到的音频信号的数量(一个预设位置中映射关系对的数量)。
作为一种可选的实施方式，确定当前位置对应的当前映射关系组包括：检测声道类型，其中，声道类型指示声道的数量，针对不同的声道类型，单耳在同一预设位置接收到的每个声道的音频信号不完全相同；检测耳机内是否存在转动传感器，其中，转动传感器用于检测头部转动的角度；在耳机内不存在转动传感器的情况下，根据声道类型从预设位置中选取固定位置，将固定位置的映射关系组作为当前位置对应的当前映射关系组；在耳机内存在转动传感器的情况下，根据检测到的转动角度确定头部所在的当前位置；根据当前位置和声道类型，确定当前位置对应的当前映射关系组。
耳机可以检测解码后的声道类型，其中，声道类型可以为单声道、5.1声道或7.1声道等。由于声道类型不同，因此声道的摆放顺序和摆放角度也不完全相同，针对不同的声道类型，即使在同一预设位置处，单耳接收到的每个声道的音频信号的音质也是不完全相同的。即，针对不同的声道类型，同一预设位置的声道对应的映射关系对不完全相同。
耳机分为两种类型，一种是具有转动传感器的耳机，一种是不具有转动传感器的耳机，转动传感器可以在用户头部转动时检测头部所在的位置。若耳机内不存在转动传感器，那么耳机可以根据声道类型确定声道的排列顺序和摆放角度，然后根据声道的排列顺序和摆放角度从预设位置中选取出固定位置，将固定位置的映射关系组作为当前位置对应的当前映射关系组。
示例性地，5.1声道中声道的排列位置和摆放角度为：
C为正前方0度方向，
R向右偏转30度，
L向左偏转30度，
RS向右偏转115度，
LS向左偏转115度，
FE向左偏转15度，
那么耳机可以根据上述排列位置和摆放角度确定固定位置，该固定位置是预设位置中的某一个位置。
若耳机内存在转动传感器，那么耳机可以根据检测到的转动角度，从预设位置中选取出头部所在的当前位置，由于在每个预设位置处的每个声道都对应两个映射关系对(左耳和右耳分别对应一个映射关系对)，因此，耳机可以确定当前位置处的每个声道对应的映射关系对，从而得到当前位置处的映射关系组。
示例性地，设定头部的初始位置为(0，0)，若头部水平逆时针旋转3度，头朝上转20度，则将(-3，20)作为当前位置，当前位置对应水平区域为(0，-5)，高度区域为(15，20)处的预设区域，然后将该预设区域的映射关系组作为当前位置的映射关系组。
作为一种可选的实施方式，得到单耳接收到的n个声道的目标音频信号之后，方法还包括：在耳机内存在转动传感器的情况下，通过预设去噪方案对目标音频信号进行去噪。
在本申请实施例中，若耳机内存在转动传感器，由于在转动过程中头部当前位置会发生改变，那么头部每变动一次位置时，就需要切换卷积核(映射关系组)，在切换卷积核时可能导致声音幅值不连续，即产生噪音，那么就需要通过预设去噪方案对目标音频信号进行去噪，以消除声音突变。其中，预设去噪方案可以采用LSM(Least SquaresMeasurement，最小二乘法)，也可以为滤波，本申请对预设去噪方案不做具体限制。
作为一种可选的实施方式，得到单耳接收到的n个声道的目标音频信号之后，方法还包括：在目标音频信号低于第一音频阈值的情况下，对目标音频信号进行增益和幅值控制，以使目标音频信号大于第一音频阈值并小于第二音频阈值。
在本申请实施例中，在声音录制时，可能由于录制声音小导致得到的目标音频信号也较小，因此，若耳机检测到目标音频信号低于第一音频阈值，则对目标音频信号进行增益，而为了避免声音过大产生爆音，还需要在增益的同时进行幅值控制，以使目标音频信号小于第二音频阈值，这样最终得到的目标音频信号，既大于第一音频阈值又小于第二音频阈值，保证其声音大而不会产生爆音。其中，声音增益可以采用AGC(Automatic GainControl，自动增益控制电路)或高斯滤波等方式，本申请对增益的方式不做具体限定。
耳机在完成上述目标音频信号的去噪、增益和幅值控制后，将目标音频信号输入渲染器，使其从数字信号转化为电信号，完成渲染流程，得到输出的声音。
基于相同的技术构思，本申请实施例还提供了一种音频处理方法的***框图，如图5所示，该***框图包括：
1.实验室录音映射关系对，采用Motion sensor(转动传感器)。
2.卷积核选取模块(Get kernels)。
3.卷积模块(Convolve)，用于计算第二音频信号，采用FFT(Fast FourierTransformation，快速傅氏变换)。
4.声音去噪模块(Noise suppression)，采用LSM方法。
5.声音幅值控制模块(Audio gain)，采用AGC方法。
基于相同的技术构思，本申请实施例还提供了一种音频处理装置，如图6所示，该装置包括：
第一确定模块601，用于确定当前位置对应的当前映射关系组，其中，每个预设位置对应一个映射关系组，每个映射关系组包括2n个映射关系对，映射关系对指示单耳、开阔环境中的预设位置和单耳在预设位置处接收到的一个声道的音频信号之间的对应关系，声道的数量为n，n≥1；
第二确定模块602，用于针对当前映射关系组，确定单耳接收到的每个声道的第一音频信号；
得到模块603，用于根据第一音频信号和接收到的原始音频信号，得到单耳接收到的每个声道的第二音频信号；
处理模块604，用于通过对n个第二音频信号进行加权累加处理，得到单耳接收到的n个声道的目标音频信号。
可选地，该装置还用于：
在头部转动的预设立体范围中，将每个高度区域对应的水平方向中的一个水平区域作为一个预设位置，其中，预设立体范围划分为至少一个高度区域，每个高度区域在水平方向划分为至少一个水平区域；
确定单耳在预设位置处接收到的n个声道的音频数据；
将预设位置处的每个声道的音频数据作为一个映射关系对；
根据预设位置处的n个映射关系对构建一个映射关系组。
可选地，该装置还用于：
确定头部在竖直方向转动的最大竖直范围和在水平方向转动的最大水平范围；
根据最大竖直范围和最大水平范围确定预设立体范围；
确定竖直方向上的竖直间隔角度和水平方向上的水平间隔角度；
在预设立体范围中，根据最大竖直范围和竖直间隔角度确定至少一个高度区域，并根据高度区域对应的水平范围和水平间隔角度确定至少一个水平区域。
可选地，计算映射关系对的数量的公式为：
S＝180/f*360/m*2n，其中，S为映射关系对的数量，180为最大竖直范围，f为竖直间隔角度，360为最大水平范围，m为水平间隔角度，2n为预设位置对应的映射关系对的数量。
可选地，第一确定模块601包括：
检测声道类型，其中，声道类型指示声道的数量，针对不同的声道类型，单耳在同一预设位置接收到的每个声道的音频信号不完全相同；
检测耳机内是否存在转动传感器，其中，转动传感器用于检测头部转动的角度；
在耳机内不存在转动传感器的情况下，根据声道类型从预设位置中选取固定位置，将固定位置的映射关系组作为当前位置对应的当前映射关系组；
在耳机内存在转动传感器的情况下，根据检测到的转动角度确定头部所在的当前位置；根据当前位置和声道类型，确定当前位置对应的当前映射关系组。
可选地，该装置还用于：
确定当前录制场景对应的录制参数；
根据发声器的声音和所述录制参数，确定单耳在预设位置处接收到的一个声道的音频信号。
可选地，该装置还用于：
在第一音频信号低于第一音频阈值的情况下，对目标音频信号进行增益和幅值控制，以使目标音频信号大于第一音频阈值并小于第二音频阈值。
基于相同的技术构思，本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现上述步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种音频处理方法，其特征在于，所述方法包括：
确定当前位置对应的当前映射关系组，其中，每个预设位置对应一个映射关系组，每个所述映射关系组包括2n个映射关系对，所述映射关系对指示单耳、开阔环境中的预设位置和所述单耳在所述预设位置处接收到的一个声道的音频信号之间的对应关系，n为声道数量，n≥1；
针对所述当前映射关系组，确定所述单耳接收到的每个声道的第一音频信号；
根据所述第一音频信号和接收到的原始音频信号，得到所述单耳接收到的每个声道的第二音频信号；
通过对n个所述第二音频信号进行加权累加处理，得到所述单耳接收到的n个声道的目标音频信号。
2.根据权利要求1所述的方法，其特征在于，确定当前位置对应的当前映射关系组之前，所述方法还包括：
在头部转动的预设立体范围中，将每个高度区域对应的水平方向中的一个水平区域作为一个预设位置，其中，所述预设立体范围划分为至少一个高度区域，每个高度区域在水平方向划分为至少一个水平区域；
确定单耳在所述预设位置处接收到的n个声道的音频数据；
将所述预设位置处的每个声道的音频数据作为一个映射关系对；
根据所述预设位置处的n个映射关系对构建一个映射关系组。
3.根据权利要求2所述的方法，其特征在于，将每个高度区域对应的水平方向中的一个水平区域作为一个预设位置之前，所述方法还包括：
确定头部在竖直方向转动的最大竖直范围和在水平方向转动的最大水平范围；
根据所述最大竖直范围和所述最大水平范围确定所述预设立体范围；
确定竖直方向上的竖直间隔角度和水平方向上的水平间隔角度；
在所述预设立体范围中，根据所述最大竖直范围和所述竖直间隔角度确定至少一个高度区域，并根据所述高度区域对应的水平范围和所述水平间隔角度确定至少一个水平区域。
4.根据权利要求3所述的方法，其特征在于，计算映射关系对的数量的公式为：
S＝180/f*360/m*2n，其中，S为映射关系对的数量，180为最大竖直范围，f为竖直间隔角度，360为最大水平范围，m为水平间隔角度，2n为预设位置对应的映射关系对的数量。
5.根据权利要求1所述的方法，其特征在于，所述确定当前位置对应的当前映射关系组包括：
检测声道类型，其中，所述声道类型指示声道的数量，针对不同的声道类型，单耳在同一预设位置接收到的每个声道的音频信号不完全相同；
检测耳机内是否存在转动传感器，其中，所述转动传感器用于检测头部转动的角度；
在所述耳机内不存在转动传感器的情况下，根据所述声道类型从所述预设位置中选取固定位置，将所述固定位置的映射关系组作为当前位置对应的当前映射关系组；
在所述耳机内存在转动传感器的情况下，根据检测到的转动角度确定头部所在的当前位置；根据所述当前位置和所述声道类型，确定当前位置对应的当前映射关系组。
6.根据权利要求1所述的方法，其特征在于，确定当前位置对应的当前映射关系组之前，所述方法还包括：
确定当前录制场景对应的录制参数；
根据发声器的声音和所述录制参数，确定单耳在预设位置处接收到的一个声道的音频信号。
7.根据权利要求1所述的方法，其特征在于，得到所述单耳接收到的n个声道的目标音频信号之后，所述方法还包括：
在所述第一音频信号低于第一音频阈值的情况下，对所述目标音频信号进行增益和幅值控制，以使所述目标音频信号大于所述第一音频阈值并小于第二音频阈值。
8.一种音频处理装置，其特征在于，所述装置包括：
第一确定模块，用于确定当前位置对应的当前映射关系组，其中，每个预设位置对应一个映射关系组，每个所述映射关系组包括2n个映射关系对，所述映射关系对指示单耳、开阔环境中的预设位置和所述单耳在所述预设位置处接收到的一个声道的音频信号之间的对应关系，声道的数量为n，n≥1；
第二确定模块，用于针对所述当前映射关系组，确定所述单耳接收到的每个声道的第一音频信号；
得到模块，用于根据所述第一音频信号和接收到的原始音频信号，得到所述单耳接收到的每个声道的第二音频信号；
处理模块，用于通过对n个所述第二音频信号进行加权累加处理，得到所述单耳接收到的n个声道的目标音频信号。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210451743.5A CN114866948B (zh) | 2022-04-26 | 2022-04-26 | 一种音频处理方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210451743.5A CN114866948B (zh) | 2022-04-26 | 2022-04-26 | 一种音频处理方法、装置、电子设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114866948A true CN114866948A (zh) | 2022-08-05 |
| CN114866948B CN114866948B (zh) | 2024-07-05 |
Family
ID=82632463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210451743.5A Active CN114866948B (zh) | 2022-04-26 | 2022-04-26 | 一种音频处理方法、装置、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114866948B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117193702A (zh) * | 2023-08-10 | 2023-12-08 | 深圳市昂晖电子科技有限公司 | 基于嵌入式播放器的播放控制方法及相关装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1466401A (zh) * | 2002-07-02 | 2004-01-07 | 矽统科技股份有限公司 | 立体音效的产生方法 |
| US7167567B1 (en) * | 1997-12-13 | 2007-01-23 | Creative Technology Ltd | Method of processing an audio signal |
| CN104010264A (zh) * | 2013-02-21 | 2014-08-27 | 中兴通讯股份有限公司 | 双声道音频信号处理的方法和装置 |
| CN104464742A (zh) * | 2014-12-31 | 2015-03-25 | 武汉大学 | 一种3d音频空间参数全方位非均匀量化编码***及方法 |
| CN106804023A (zh) * | 2013-07-22 | 2017-06-06 | 弗朗霍夫应用科学研究促进协会 | 输入声道至输出声道的映射方法、信号处理单元和音频解码器 |
| WO2018193163A1 (en) * | 2017-04-20 | 2018-10-25 | Nokia Technologies Oy | Enhancing loudspeaker playback using a spatial extent processed audio signal |
| CN111615044A (zh) * | 2019-02-25 | 2020-09-01 | 宏碁股份有限公司 | 声音信号的能量分布修正方法及其*** |
| CN113689890A (zh) * | 2021-08-09 | 2021-11-23 | 北京小米移动软件有限公司 | 多声道信号的转换方法、装置及存储介质 |
| CN113889125A (zh) * | 2021-12-02 | 2022-01-04 | 腾讯科技（深圳）有限公司 | 音频生成方法、装置、计算机设备和存储介质 |
-
2022
- 2022-04-26 CN CN202210451743.5A patent/CN114866948B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7167567B1 (en) * | 1997-12-13 | 2007-01-23 | Creative Technology Ltd | Method of processing an audio signal |
| CN1466401A (zh) * | 2002-07-02 | 2004-01-07 | 矽统科技股份有限公司 | 立体音效的产生方法 |
| CN104010264A (zh) * | 2013-02-21 | 2014-08-27 | 中兴通讯股份有限公司 | 双声道音频信号处理的方法和装置 |
| CN106804023A (zh) * | 2013-07-22 | 2017-06-06 | 弗朗霍夫应用科学研究促进协会 | 输入声道至输出声道的映射方法、信号处理单元和音频解码器 |
| CN104464742A (zh) * | 2014-12-31 | 2015-03-25 | 武汉大学 | 一种3d音频空间参数全方位非均匀量化编码***及方法 |
| WO2018193163A1 (en) * | 2017-04-20 | 2018-10-25 | Nokia Technologies Oy | Enhancing loudspeaker playback using a spatial extent processed audio signal |
| CN111615044A (zh) * | 2019-02-25 | 2020-09-01 | 宏碁股份有限公司 | 声音信号的能量分布修正方法及其*** |
| CN113689890A (zh) * | 2021-08-09 | 2021-11-23 | 北京小米移动软件有限公司 | 多声道信号的转换方法、装置及存储介质 |
| CN113889125A (zh) * | 2021-12-02 | 2022-01-04 | 腾讯科技（深圳）有限公司 | 音频生成方法、装置、计算机设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| SANJEEV MEHROTRA ET AL.: ""Interpolation of combined head and room impulse response for audio spatialization"", 《2011 IEEE 13TH INTERNATIONAL WORKSHOP ON MULTIMEDIA SIGNAL PROCESSING》, 19 October 2011 (2011-10-19), pages 1 - 6, XP032027534, DOI: 10.1109/MMSP.2011.6093794 * |
| 廖传奇等: ""基于空间位置信息的三维音频编码技术研究"", 《计算机工程》, vol. 43, no. 1, 20 April 2016 (2016-04-20), pages 303 - 308 * |
| 王超等: ""基于HRTF的虚拟三维空间环绕声耳机重放"", 《信息技术》, vol. 33, no. 1, 31 January 2009 (2009-01-31), pages 39 - 41 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117193702A (zh) * | 2023-08-10 | 2023-12-08 | 深圳市昂晖电子科技有限公司 | 基于嵌入式播放器的播放控制方法及相关装置 |
| CN117193702B (zh) * | 2023-08-10 | 2024-06-11 | 深圳市昂晖电子科技有限公司 | 基于嵌入式播放器的播放控制方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114866948B (zh) | 2024-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6446068B2 (ja) | ルーム最適化された伝達関数の決定および使用 | |
| WO2018149275A1 (zh) | 调整音箱输出的音频的方法和装置 | |
| KR102507476B1 (ko) | 헤드셋을 통한 공간 오디오 렌더링을 위한 룸 특성 수정 시스템 및 방법 | |
| JP6939786B2 (ja) | 音場形成装置および方法、並びにプログラム | |
| CN111294724B (zh) | 多个音频流的空间重新定位 | |
| JP2016502345A (ja) | 協調的サウンドシステム | |
| EP3893523B1 (en) | Audio signal processing method and apparatus | |
| US11418903B2 (en) | Spatial repositioning of multiple audio streams | |
| US11863952B2 (en) | Sound capture for mobile devices | |
| CN107404587B (zh) | 音频播放控制方法、音频播放控制装置及移动终端 | |
| CN114866948B (zh) | 一种音频处理方法、装置、电子设备和可读存储介质 | |
| CN114173256B (zh) | 一种还原声场空间及姿态追踪的方法、装置和设备 | |
| US10440495B2 (en) | Virtual localization of sound | |
| US10186279B2 (en) | Device for detecting, monitoring, and cancelling ghost echoes in an audio signal | |
| Cecchi et al. | An efficient implementation of acoustic crosstalk cancellation for 3D audio rendering | |
| US20230130930A1 (en) | Disabling spatial audio processing | |
| Griesinger | Accurate reproduction of binaural recordings through individual headphone equalization and time domain crosstalk cancellation | |
| CN116600242B (zh) | 音频声像优化方法、装置、电子设备及存储介质 | |
| US11722821B2 (en) | Sound capture for mobile devices | |
| WO2022185725A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| WO2022047606A1 (en) | Method and system for authentication and compensation | |
| Mckenzie | Towards a perceptually optimal bias factor for directional bias equalisation of binaural ambisonic rendering | |
| CN115706895A (zh) | 使用多个换能器的沉浸式声音再现 | |
| CN116193196A (zh) | 虚拟环绕声渲染方法、装置、设备及存储介质 | |
| Hao | An Equalizing Method to Improve the Positioning Effect of a Multi-channel Headphone |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |