CN114501295B - 音频数据处理方法、装置、终端和计算机可读存储介质 - Google Patents

音频数据处理方法、装置、终端和计算机可读存储介质 Download PDF

Info

Publication number
CN114501295B
CN114501295B CN202011155685.9A CN202011155685A CN114501295B CN 114501295 B CN114501295 B CN 114501295B CN 202011155685 A CN202011155685 A CN 202011155685A CN 114501295 B CN114501295 B CN 114501295B
Authority
CN
China
Prior art keywords
frame
channel
position angle
audio
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011155685.9A
Other languages
English (en)
Other versions
CN114501295A (zh
Inventor
李纯
秦宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL Digital Technology Co Ltd
Original Assignee
Shenzhen TCL Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL Digital Technology Co Ltd filed Critical Shenzhen TCL Digital Technology Co Ltd
Priority to CN202011155685.9A priority Critical patent/CN114501295B/zh
Priority to US18/250,529 priority patent/US20230403526A1/en
Priority to PCT/CN2021/126215 priority patent/WO2022089383A1/zh
Publication of CN114501295A publication Critical patent/CN114501295A/zh
Application granted granted Critical
Publication of CN114501295B publication Critical patent/CN114501295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本发明公开了音频数据处理方法、装置、终端和计算机可读存储介质。方法包括：获取第一音频中的待处理帧，根据预设的声道和位置角的对应关系获取待处理帧中各个声道对应的位置角；根据待处理帧中各个声道对应的位置角获取待处理帧中各个声道的左耳头相关传输函数和右耳头相关传输函数；将待处理帧中各个声道对应的音频数据与对应的左耳头相关传输函数进行卷积，获取左声道数据，将待处理帧中各个声道对应的音频数据与对应的右耳头相关传输函数进行卷积，获取右声道数据；将左声道数据和右声道数据组合，得到目标音频的目标帧。本发明实现将多声道音频处理为左右声道音频，且用户收听该目标音频时，能够体验到环绕立体声的效果。

Description

音频数据处理方法、装置、终端和计算机可读存储介质
技术领域
本发明涉及音频数据处理技术领域，特别涉及一种音频数据处理方法、装置、终端和计算机可读存储介质。
背景技术
多声道的音频数据，例如杜比5.1声道等，需要配备相应的多个喇叭或音箱才能实现环绕立体的声音效果，而人们目前普遍用来看视频或听音乐的设备如电视机、手机等大多是都是配备两个喇叭，即只支持左右两个声道，即使播放源为多音频数据，也无法实现环绕立体的声音效果。
因此，现有技术还有待改进和提高。
发明内容
本发明实施例提供了一种音频数据处理方法、装置、终端及存储介质，旨在解决现有技术中只支持两个声道的设备无法实现环绕立体的声音效果的问题。
第一方面，本发明实施例提供了一种音频数据处理方法，包括：
获取第一音频中的待处理帧，根据预设的声道与位置角的对应关系获取待处理帧中各个声道对应的位置角；
根据待处理帧中各个声道对应的位置角获取待处理帧中各个声道对应的头相关传输函数；其中，每个声道对应的头相关传输函数包括左耳头相关传输函数和右耳头相关传输函数；
将待处理帧中各个声道对应的音频数据与对应的左耳头相关传输函数进行卷积，获取左声道数据，将待处理帧中各个声道对应的音频数据与对应的右耳头相关传输函数进行卷积，获取右声道数据；
对左声道数据和右声道数据进行叠加，得到目标音频的目标帧。
第二方面，本发明实施例提供了一种音频数据处理装置，包括：
第一获取模块，用于获取第一音频中的待处理帧，并根据预设的声道与位置角的对应关系获取待处理帧中各个声道对应的位置角；
第二获取模块，用于根据待处理帧中各个声道对应的位置角获取待处理帧中各个声道对应的头相关传输函数；其中，每个声道对应的头相关传输函数包括左耳头相关传输函数和右耳头相关传输函数；
卷积模块，用于将待处理帧中各个声道对应的音频数据与对应的左耳头相关传输函数进行卷积，获取左声道数据，将待处理帧中各个声道对应的音频数据与对应的右耳头相关传输函数进行卷积，获取右声道数据；
叠加模块，用于对左声道数据和右声道数据进行叠加，得到目标音频的目标帧。
第三方面，本发明实施例提供了一种终端，终端包括存储器、处理器和存储在存储器上并可在处理器运行的音频数据处理程序，处理器执行音频数据处理程序时，实现上述的方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有音频数据处理程序，音频数据处理程序被处理器执行时，实现上述的方法的步骤。
有益效果：与现有技术相比，本发明提供了一种音频数据处理方法、终端及存储介质，本发明提供的音频数据处理方法中，预先设置各个声道与位置角的对应关系，确定第一音频的待处理帧中的各个声道对应的位置角，根据位置角获取待处理帧中的各个声道的左右耳头相关传输函数，头相关传输函数是一种声音定位算法，将各个声道的左右耳头相关传输函数分别与声道的音频数据进行卷积，得到左声道数据和右声道数据，并组合的到目标音频的目标帧，这样，就实现将多声道的第一音频处理为左右声道的目标音频，且用户通过双声道播放设备收听输出的该目标音频时，能够体验到环绕立体声的效果。
附图说明
图1为本发明提供的音频数据处理方法的实施例的流程图；
图2为本发明提供的音频数据处理方法的实施例中步骤S100的子步骤的流程图；
图3为本发明提供的音频数据处理方法的实施例中步骤S02的子步骤的流程图；
图4为本发明提供的音频数据处理装置的功能模块示意图；
图5为本发明提供的终端的实施例的原理图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供的一种音频数据处理方法，是可以应用在终端中。终端能够执行本发明提供的音频数据处理方法将自身播放产生的音频数据处理至目标音效。
实施例一
请参照图1，图1为本发明提供的音频数据处理方法的一个实施例的流程图。本实施例提供的音频数据处理方法包括步骤：
S100、获取第一音频中的待处理帧，根据预设的声道和位置角的对应关系获取待处理帧中各个声道对应的位置角。
第一音频为待处理的音频，在本实施例中，对第一音频进行处理，得到双声道的目标音频，具体地，终端在播放第一音频时，是将第一音频传输至喇叭或者通过外接端口、蓝牙等传输至耳机、外设音箱等播放设备进行播放，本申请中，在第一音频传输至播放设备之前，对第一音频进行处理得到目标音频后再传输至播放设备。
第一音频由多个帧组成，在本实施例中，以帧为单位对第一音频进行处理，对于第一音频中的待处理帧，首先将待处理帧中包括的各个声道的音频数据提取出来分别存储，如表1所示，以杜比5.1声道为例，包括6 个声道，分别为前置左声道、前置右声道、中央声道、重低音声道、后置做环绕声道、后置有环绕声道，将各个声道的音频数据提取处理后按表1 中的名称进行存储，当然，可以理解，表1中的名称仅仅只是示例。
名称 含义
in_buffer_channel_left 前置左声道
in_buffer_channel_right 前置右声道
in_buffer_channel_center 中央声道
in_buffer_channel_subwoofer 重低音声道
in_buffer_channel_leftsurrond 后置左环绕声道
in_buffer_channel_rightsurrond 后置右环绕声道
表1
识别出待处理帧中的各个声道后，再根据预设的声道和位置角的对应关系获取待处理帧中各个声道对应的位置角，如图2所示，具体包括：
S110、根据预设的第一声道与位置角之间的对应关系获取待处理帧的各个第一声道对应的位置角；
S120、根据预设的帧序号、第二声道与位置角之间的对应关系获取待处理帧的各个第二声道对应的位置角。
在本实施例中，位置角包括方位角和仰角，每个位置角对应过头部中心的水平面上的一个方位，方位角和仰角的具体划分方式为声音处理领域的现有技术，在此不再赘述。在一种可能的实现方式中，为各个声道分别设置对应的固定位置角，即，对于每个声道，都设置一个声道对应一个位置角，如表2所示。
Figure RE-GDA0002974323240000051
表2
而在本实施例中，为了提升声音的立体感，选取部分声道进行特别处理，使其在不同的帧中对应不同的位置角，从而使得处理后的音频在一帧一帧连续播放时，能让听者产生这些声道的声音在不同的时刻从不同的方位传来的效果，即声源在移动的效果。
第二声道可以为待处理帧中的任意一个或任意多个声道，第一声道为待处理帧中除第二声道以外的声道，以杜比5.1声道为例，可以选取前置左声道作为第二声道，其他声道为第一声道，或者选取后置左环绕声道和后置右环绕声道作为第二声道，其他声道为第一声道等。
每个第一声道对应一个位置角，具体的对应关系可以预先设置，如表2 所示，可以设置前置左声道对应的位置角为方位角-45°，仰角0°，中央声道对应的位置角为方位角0°，仰角0°等。对于第二声道，不同的帧中对应的位置角不同，在本实施例中，预先建立帧序号、第二声道与位置角之间的对应关系，具体地，根据预设的帧序号、第二声道与位置角之间的对应关系获取待处理帧的各个第二声道对应的位置角之前，包括步骤：
S0、根据预设参数值建立帧序号、第二声道与位置角之间的对应关系。
预设参数值为一个时长值，具体地，设置帧序号、第二声道与位置角之间的对应关系能够使得第二声道对应的声音让听者产生声源在移动的效果，预设参数值决定听者听起来时声源移动的周期，具体地，根据预设参数值建立帧序号、第二声道与位置角之间的对应关系，包括：
S01、根据预设参数值确定第一音频中每个帧组中包括的帧的数量；
S02、对于目标第二声道，根据预设规则将预设的位置角集合中的各个位置角分别与单个帧组中的帧进行对应，建立帧序号、第二声道和位置角之间的对应关系。
在本实施例中，将第一音频中划分为多个帧组，每个帧组中包括连续的N个帧，N为大于1的整数，每个帧组中包括的帧的数量可以是预先设置，具体地，根据预设参数值确定每个帧组中包括的帧的数量，具体包括：
S011、获取第一音频的帧率；
S012、根据帧率确定预设参数值对应的时长内包括的帧的数量；
S013、设置第一音频中每个帧组中包括的帧的数量等于预设参数值对应的时长内包括的帧的数量。
在每个帧组中，第二声道对应的声音让听者产生声源在移动的效果，每个帧组中包括的帧的数量可以决定声源移动的周期，例如，每个帧组中包括3个帧，每个帧的目标第二声道对应的位置角分别为左前、中间、右前三个方位，那么在处理后的音频播放时，目标第二声道的声音会让听者感觉声源在周期性移动，周期长为每个帧组对应的时长，每个周期内声源按左前、中间、右前的顺序移动。不难看出，预设参数值能够决定声音效果中声源移动的周期时长，预设参数值可以根据不同的声音效果要求进行设定，例如10s、5s等。
预先设置位置角集合，位置角集合中包括多个位置角，例如，位置角集合中的多个位置角可以如表3所示，表3中每栏中前一个数值为方位角，后一个数值为仰角。
-80，0 -65，0 -55，0 -45，0 -40，0
-35，0 -30，0 -25，0 -20，0 -15，0
-10，0 -5，0 0，0 5，0 10，0
15，0 20，0 25，0 30，0 35，0
40，0 45，0 55，0 65，0 80，0
80，180 65，180 55，180 45，180 40，180
35，180 30，180 25，180 20，180 15，180
10，180 5，180 0，180 -5，180 -10，180
-15，180 -20，180 -25，180 -30，180 -35，180
-40，180 -45，180 -55，180 -65，180 -80，180
表3
将预设的位置角与单个帧组中的各个帧进行对应，每个位置角至少对应单个帧组中的一个帧，例如，一个帧组中包括40个帧，预设的位置角有 20个，那么，可以每两个帧对应一个位置角，不同的第二声道在每个帧中对应的位置角可以不同，以左环绕声道和右环绕声道为例，可以是一个帧组中的前两个帧中，左环绕声道对应方位角-5，仰角0这个位置角，右环绕声道对应方位角5，仰角0这个位置角等。而根据帧的帧序号可以确定该帧是属于单个帧组中的第几个帧，因此，将每个第二声道作为目标第二声道进行位置角与单个帧组中帧的对应，就可以建立帧序号、第二声道与位置角之间的对应关系。
在一种可能的实现方式中，为了使得第二声道对应的声音能产生在每个周期内绕听者头一圈的效果，如图3所示，根据预设规则将预设的位置角集合中各个位置角分别与单个帧组中的帧进行对应，包括步骤：
S021、确定目标第二声道对应的初始位置角和环绕方向，其中，初始位置为位置角集合中的一个位置角；
S022、将初始位置角与单个帧组中的前M个帧进行对应；
S023、将初始位置角在环绕方向上的下一个位置角与单个帧组中未设置对应位置角的帧中的前M个帧进行对应，直至对应完成。
为了使得第二声道对应的声音能产生在每个周期内绕听者头一圈的效果，即在每个周期中，听者感觉第二声道对应的声音的声源按顺时针或逆时针方向绕头运动，对于不同的第二声道，可以设置不同的声源绕头方向，具体地，对于目标第二声道，首先设置一个初始位置角，即在每个帧组的第一帧中，听者感觉目标第二声道对应的声源是在初始位置角的方位，再设置一个环绕方向，可以为顺时针方向或逆时针方向，将初始位置角与单个帧组中的前M个帧进行对应，再将初始位置角在环绕方向上的下一个位置角与剩下的帧中的前M个帧进行对应，如此往复，直至对应完成。M为大于1的整数，可以理解，每次对应时的M的值可以相同，也可以不同，例如，第一个位置角对应3个帧，第二个位置角对应5个帧等。
请再次参阅图1，本实施例中提供的音频数据处理方法，还包括步骤：
S200、根据待处理帧中各个声道对应的位置角获取待处理帧中各个声道对应的头相关传输函数。
每个声道对应的头相关传输函数包括左耳头相关传输函数和右耳头相关传输函数。具体地，头相关传输函数(HRTF，Head Related Transfer Functions)是一种音效定位算法，能够产生立体音效，使声音传递至人耳内的耳廓，耳道和骨膜时，聆听者会有立体音效的感觉，选用不同位置角的头相关传输函数对音频数据进行处理，可以使得处理后的音频能够使听者产生声音在对应的位置角的方位传来的效果。
在本实施例中，具体地，是根据预先设置的头相关传输函数库来获取各个声道对应的头相关传输函数，头相关传输函数库中存储有各个位置角对应的头相关传输函数。
具体地，根据待处理帧中各个声道对应的位置角获取待处理帧中各个声道对应的头相关传输函数，包括：
S210、确定目标音频的目标人种；
S220、根据目标人种确定对应的头相关传输函数库；
S230、根据待处理帧中各个声道对应的位置角从头相关传输函数库中获取待处理帧中各个声道对应的头相关传输函数。
不同人种的人的头部形状存在差异，在本实施例中，预先建立不同的人种的头相关传输函数库。在应用时，首先确定目标音频的目标人种，即，收听对第一音频进行处理后得到的目标音频的人是什么人种，具体可以通过接收用户输入的信息来确定，或者根据终端所在地址位置等方式进行确定。确定了头相关传输函数库之后，从头相关传输函数库中获取待处理帧中的各个声道对应的位置角的头相关传输函数。例如，各个声道对应的头相关传输函数可以如表4所示(表4中的HRIR为HRTF的时域表示)。
名称 方位角 仰角 HRIR(left) HRIR(right)
in_buffer_channel_left -45 0 fir_l_l fir_l_r
in_buffer_channel_right 45 0 fir_r_l fir_r_r
in_buffer_channel_center 0 0 fir_c_l fir_c_r
in_buffer_channel_subwoofer 0 -45 fir_s_l fir_s_r
in_buffer_channel_leftsurrond -80 0 fir_ls_l fir_ls_r
in_buffer_channel_rightsurrond 80 0 fir_rs_l fir_rs_r
表4
具体地，预先设置的头相关传输函数库中的数据可以是从现有的数据库中得到，例如，可以从CIPIC数据库中获取本实施例中的头相关传输函数库中的数据，CIPIC中的HRTF数据库时一个具有高空间分辨率的开放数据库，库中有45个真人的测量数据，以及KEMAR人工头具有小型耳廓以及大型耳廓的两组测量数据，对声源位置使用双耳极坐标系进行表示，并且测量时的声源位置均在距离被试头部中心的1m处。库中对于每个被试具有2500个测量所得的HRIR数据，该数据是双耳极坐标系下的25个不同水平方向以及50个不同的垂直方向共1250个空间位置的双耳HRIR的集合，以及使用垂直极坐标系的针对KEMAR水平面及正平面上的测量数据。在本实施例中，选取使用垂直极坐标系的针对KEMAR水平面上的位置角的测量数据。
请参阅图1，在获取到各个声道对应的头相关传输函数之后，本实施例提供的音频数据处理方法还包括步骤：
S300、将待处理帧中各个声道对应的音频数据与对应的左耳头相关传输函数进行卷积，获取左声道数据，将待处理帧中各个声道对应的音频数据与对应的右耳头相关传输函数进行卷积，获取右声道数据。
头相关传输函数为一个滤波器，将对应的声道的音频数据分别进行加入空间方位感的滤波处理，即将对应的声道的音频数据分别与对应左右耳头相关传输函数进行卷积，每个声道的音频数据与对应的左耳相关传输函数进行卷积得到的数据为左耳声道数据，每个声道的音频数据与对应的右耳相关传输函数进行卷积得到的数据为右耳声道数据，计算具体过程可以用如下公式表示：
out_buffer_channel_left＝in_buffer_channel_left*fir_l_l
+in_buffer_channel_right*fir_r_l
+in_buffer_channel_center*fir_c_l
+in_buffer_channel_subwoofer*fir_s_l
+in_buffer_channel_leftsurrond*fir_ls_l
+in_buffer_channel_rightsurrond*fir_rs_l
上式中，out_buffer_channel_left表示左耳声道数据，*表示卷积。右耳声道数据同理可得。
S400、对左声道数据和右声道数据进行叠加，得到目标音频的目标帧。
通过上述步骤，可以得到待处理帧对应的左声道数据和右声道数据，将左声道数据和右声道数据叠加起来作为目标音频的目标帧，对于第一音频的每个帧都作为待处理帧进行处理，就实现了将第一音频处理为目标音频。
对第一音频中的待处理帧可以是实时处理得到目标帧后，实时传输到播放设备，即形成数据流，也可以是对第一音频中的所有帧处理完成后得到完整的目标音频。
综上所述，本发明提供一种音频数据处理方法，预先设置各个声道与位置角的对应关系，确定第一音频的待处理帧中的各个声道对应的位置角，根据位置角获取待处理帧中的各个声道的左右耳头相关传输函数，头相关传输函数是一种声音定位算法，将各个声道的左右耳头相关传输函数分别与声道的音频数据进行卷积，得到左声道数据和右声道数据，并组合的到目标音频的目标帧，这样，就实现将多声道的第一音频处理为左右声道的目标音频，且用户通过双声道播放设备收听输出的该目标音频时，能够体验到环绕立体声的效果。
应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/ 或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM (DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM (ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus) 直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、和存储器总线动态RAM(RDRAM)等。
实施例二
基于上述实施例，本发明还提供了一种音频数据处理装置，其功能模块示意图如图4所示，该音频数据处理装置包括：
第一获取模块，用于获取第一音频中的待处理帧，并根据预设的声道与位置角的对应关系获取待处理帧中各个声道对应的位置角；
第二获取模块，用于根据待处理帧中各个声道对应的位置角获取待处理帧中各个声道对应的头相关传输函数；其中，每个声道对应的头相关传输函数包括左耳头相关传输函数和右耳头相关传输函数；
卷积模块，用于将待处理帧中各个声道对应的音频数据与对应的左耳头相关传输函数进行卷积，获取左声道数据，将待处理帧中各个声道对应的音频数据与对应的右耳头相关传输函数进行卷积，获取右声道数据；
叠加模块，用于对左声道数据和右声道数据进行叠加，得到目标音频的目标帧。
实施例三
基于上述实施例，本发明还提供了一种终端，其原理框图可以如图5 所示。该终端包括存储器10和处理器20，存储器10中存储有可在处理器 20运行的音频数据处理程序，该处理器10执行该音频数据处理程序时至少可以实现以下步骤：
获取第一音频中的待处理帧，根据预设的声道和位置角的对应关系获取待处理帧中各个声道对应的位置角；
根据待处理帧中各个声道对应的位置角获取待处理帧中各个声道对应的头相关传输函数；其中，每个声道对应的头相关传输函数包括左耳头相关传输函数和右耳头相关传输函数；
将待处理帧中各个声道对应的音频数据与对应的左耳头相关传输函数进行卷积，获取左声道数据，将待处理帧中各个声道对应的音频数据与对应的右耳头相关传输函数进行卷积，获取右声道数据；
对左声道数据和右声道数据进行叠加，得到目标音频的目标帧。
其中，根据预设的声道和位置角的对应关系获取待处理帧中各个声道对应的位置角，包括：
根据预设的第一声道与位置角之间的对应关系获取待处理帧的各个第一声道对应的位置角；
根据预设的帧序号、第二声道与位置角之间的对应关系获取待处理帧的各个第二声道对应的位置角。
其中，第一音频中包括多个帧组，每个帧组中包括连续的N个帧，N为大于1的整数，根据预设的帧序号、第二声道与位置角之间的对应关系获取待处理帧的第二声道对应的位置角之前，还包括：
根据预设参数值建立帧序号、第二声道与位置角之间的对应关系。
其中，根据预设参数值建立帧序号、第二声道和位置角之间的对应关系，包括：
根据预设参数值确定第一音频中每个帧组中包括的帧的数量；
对于目标第二声道，根据预设规则将预设的位置角集合中各个位置角分别与单个帧组中的帧进行对应，建立帧序号、第二声道和位置角之间的对应关系；
其中，每个位置角至少对应单个帧组中的一个帧。
其中，根据预设参数值确定第一音频中每个帧组中包括的帧的数量，包括：
获取第一音频的帧率；
根据帧率确定预设参数值对应的时长内包括的帧的数量；
设置第一音频中每个帧组中包括的帧的数量等于预设参数值对应的时长内包括的帧的数量。
其中，根据预设规则将预设的位置角集合中各个位置角分别与单个帧组中的帧进行对应，包括：
确定目标第二声道对应的初始位置角和环绕方向，其中，初始位置为位置角集合中的一个位置角；
将初始位置角与单个帧组中的前M个帧进行对应；
将初始位置角在环绕方向上的下一个位置角与单个帧组中未设置对应位置角的帧中的前M个帧进行对应，直至对应完成；
其中，M为大于1的整数。
其中，根据待处理帧中各个声道对应的位置角获取待处理帧中各个声道对应的头相关传输函数，包括：
确定目标音频的目标人种；
根据目标人种确定对应的头相关传输函数库；
根据待处理帧中各个声道对应的位置角从头相关传输函数库中获取待处理帧中各个声道对应的头相关传输函数。
实施例四
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质存储有音频数据处理程序，该音频数据处理程序被处理器执行时，实现上述实施例一所述的方法的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种音频数据处理方法，其特征在于，包括：
获取第一音频中的待处理帧，根据预设的声道和位置角的对应关系获取所述待处理帧中各个声道对应的位置角；
根据所述待处理帧中各个声道对应的位置角获取所述待处理帧中各个声道对应的头相关传输函数；其中，每个声道对应的头相关传输函数包括左耳头相关传输函数和右耳头相关传输函数；
将所述待处理帧中各个声道对应的音频数据与对应的左耳头相关传输函数进行卷积，获取左声道数据，将所述待处理帧中各个声道对应的音频数据与对应的右耳头相关传输函数进行卷积，获取右声道数据；
对所述左声道数据和所述右声道数据进行叠加，得到目标音频的目标帧；
所述根据预设的声道和位置角的对应关系获取所述待处理帧中各个声道对应的位置角，包括：
根据预设的第一声道与位置角之间的对应关系获取所述待处理帧的各个第一声道对应的位置角；
根据预设的帧序号、第二声道与位置角之间的对应关系获取所述待处理帧的各个第二声道对应的位置角；
所述第一音频中包括多个帧组，每个帧组中包括连续的N个帧，所述N为大于1的整数，所述根据预设的帧序号、第二声道与位置角之间的对应关系获取所述待处理帧的第二声道对应的位置角之前，所述方法还包括：
根据预设参数值建立帧序号、第二声道与位置角之间的对应关系；
所述根据预设参数值建立帧序号、第二声道与位置角之间的对应关系，包括：
根据预设参数值确定所述第一音频中每个帧组中包括的帧的数量；
对于目标第二声道，根据预设规则将预设的位置角集合中各个位置角分别与单个帧组中的帧进行对应，建立帧序号、第二声道与位置角之间的对应关系；
其中，每个位置角至少对应单个帧组中的一个帧；
所述根据预设参数值确定所述第一音频中每个帧组中包括的帧的数量，包括：
获取所述第一音频的帧率；
根据所述帧率确定所述预设参数值对应的时长内包括的帧的数量；
设置所述第一音频中每个帧组中包括的帧的数量等于所述预设参数值对应的时长内包括的帧的数量。
2.根据权利要求1所述的方法，其特征在于，根据预设规则将预设的位置角集合中各个位置角分别与单个帧组中的帧进行对应，包括：
确定所述目标第二声道对应的初始位置角和环绕方向；其中，所述初始位置为所述位置角集合中的一个位置角；
将所述初始位置角与单个帧组中的前M个帧进行对应；
将所述初始位置角在所述环绕方向上的下一个位置角与单个帧组中未设置对应位置角的帧中的前M个帧进行对应，直至对应完成；
其中，M为大于1的整数。
3.根据权利要求1-2任一项所述的方法，其特征在于，所述根据所述待处理帧中各个声道对应的位置角获取所述待处理帧中各个声道对应的头相关传输函数，包括：
确定所述目标音频的目标人种；
根据所述目标人种确定对应的头相关传输函数库；
根据所述待处理帧中各个声道对应的位置角从所述头相关传输函数库中获取所述待处理帧中各个声道对应的头相关传输函数。
4.一种音频数据处理装置，其特征在于，包括：
第一获取模块，用于获取第一音频中的待处理帧，并根据预设的声道与位置角的对应关系获取所述待处理帧中各个声道对应的位置角；
第二获取模块，用于根据所述待处理帧中各个声道对应的位置角获取所述待处理帧中各个声道对应的头相关传输函数；其中，每个声道对应的头相关传输函数包括左耳头相关传输函数和右耳头相关传输函数；
卷积模块，用于将所述待处理帧中各个声道对应的音频数据与对应的左耳头相关传输函数进行卷积，获取左声道数据，将所述待处理帧中各个声道对应的音频数据与对应的右耳头相关传输函数进行卷积，获取右声道数据；
叠加模块，用于对所述左声道数据和所述右声道数据进行叠加，得到目标音频的目标帧；
所述根据预设的声道和位置角的对应关系获取所述待处理帧中各个声道对应的位置角，包括：
根据预设的第一声道与位置角之间的对应关系获取所述待处理帧的各个第一声道对应的位置角；
根据预设的帧序号、第二声道与位置角之间的对应关系获取所述待处理帧的各个第二声道对应的位置角；
所述第一音频中包括多个帧组，每个帧组中包括连续的N个帧，所述N为大于1的整数，所述根据预设的帧序号、第二声道与位置角之间的对应关系获取所述待处理帧的第二声道对应的位置角之前，还包括：
根据预设参数值建立帧序号、第二声道与位置角之间的对应关系；
所述根据预设参数值建立帧序号、第二声道与位置角之间的对应关系，包括：
根据预设参数值确定所述第一音频中每个帧组中包括的帧的数量；
对于目标第二声道，根据预设规则将预设的位置角集合中各个位置角分别与单个帧组中的帧进行对应，建立帧序号、第二声道与位置角之间的对应关系；
其中，每个位置角至少对应单个帧组中的一个帧；
所述根据预设参数值确定所述第一音频中每个帧组中包括的帧的数量，包括：
获取所述第一音频的帧率；
根据所述帧率确定所述预设参数值对应的时长内包括的帧的数量；
设置所述第一音频中每个帧组中包括的帧的数量等于所述预设参数值对应的时长内包括的帧的数量。
5.一种终端，其特征在于，所述终端包括存储器、处理器和存储在所述存储器上并可在所述处理器运行的音频数据处理程序，所述处理器执行所述音频数据处理程序时，实现如权利要求1-3任一项所述的方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有音频数据处理程序，所述音频数据处理程序被处理器执行时，实现如权利要求1-3任一项所述的方法的步骤。
CN202011155685.9A 2020-10-26 2020-10-26 音频数据处理方法、装置、终端和计算机可读存储介质 Active CN114501295B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011155685.9A CN114501295B (zh) 2020-10-26 2020-10-26 音频数据处理方法、装置、终端和计算机可读存储介质
US18/250,529 US20230403526A1 (en) 2020-10-26 2021-10-25 Audio data processing method and apparatus, terminal and computer-readable storage medium
PCT/CN2021/126215 WO2022089383A1 (zh) 2020-10-26 2021-10-25 音频数据处理方法、装置、终端和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011155685.9A CN114501295B (zh) 2020-10-26 2020-10-26 音频数据处理方法、装置、终端和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114501295A CN114501295A (zh) 2022-05-13
CN114501295B true CN114501295B (zh) 2022-11-15

Family

ID=81383559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011155685.9A Active CN114501295B (zh) 2020-10-26 2020-10-26 音频数据处理方法、装置、终端和计算机可读存储介质

Country Status (3)

Country Link
US (1) US20230403526A1 (zh)
CN (1) CN114501295B (zh)
WO (1) WO2022089383A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115379358A (zh) * 2022-08-22 2022-11-22 艾贝科技(深圳)有限公司 车载多通道音频***及音频数据处理方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1284195A (zh) * 1997-12-19 2001-02-14 大宇电子株式会社 环绕立体声信号处理装置和方法
JP2002218598A (ja) * 2001-01-12 2002-08-02 Matsushita Electric Ind Co Ltd 音像定位装置
CN107182021A (zh) * 2017-05-11 2017-09-19 广州创声科技有限责任公司 Vr电视中的动态空间虚拟声处理***及处理方法
CN107889044A (zh) * 2017-12-19 2018-04-06 维沃移动通信有限公司 音频数据的处理方法及装置
CN108632714A (zh) * 2017-03-23 2018-10-09 展讯通信（上海）有限公司 扬声器的声音处理方法、装置及移动终端
CN110972053A (zh) * 2019-11-25 2020-04-07 腾讯音乐娱乐科技（深圳）有限公司 构造听音场景的方法和相关装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9467792B2 (en) * 2013-07-19 2016-10-11 Morrow Labs Llc Method for processing of sound signals
JP6287191B2 (ja) * 2013-12-26 2018-03-07 ヤマハ株式会社 スピーカ装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1284195A (zh) * 1997-12-19 2001-02-14 大宇电子株式会社 环绕立体声信号处理装置和方法
JP2002218598A (ja) * 2001-01-12 2002-08-02 Matsushita Electric Ind Co Ltd 音像定位装置
CN108632714A (zh) * 2017-03-23 2018-10-09 展讯通信（上海）有限公司 扬声器的声音处理方法、装置及移动终端
CN107182021A (zh) * 2017-05-11 2017-09-19 广州创声科技有限责任公司 Vr电视中的动态空间虚拟声处理***及处理方法
CN107889044A (zh) * 2017-12-19 2018-04-06 维沃移动通信有限公司 音频数据的处理方法及装置
CN110972053A (zh) * 2019-11-25 2020-04-07 腾讯音乐娱乐科技（深圳）有限公司 构造听音场景的方法和相关装置

Also Published As

Publication number Publication date
CN114501295A (zh) 2022-05-13
WO2022089383A1 (zh) 2022-05-05
US20230403526A1 (en) 2023-12-14

Similar Documents

Publication Publication Date Title
US10757529B2 (en) Binaural audio reproduction
EP2868119B1 (en) Method and apparatus for generating an audio output comprising spatial information
ES2916342T3 (es) Síntesis de señales para la reproducción de audio inmersiva
CN114998888A (zh) 用于产生头相关传递函数滤波器的布置
US20180098175A1 (en) Apparatus and method for driving an array of loudspeakers with drive signals
WO2018084770A1 (en) Methods and systems for determining and/or using an audio filter based on head-tracking data
KR20180135973A (ko) 바이노럴 렌더링을 위한 오디오 신호 처리 방법 및 장치
CN101116374A (zh) 声像定位装置
WO2006067893A1 (ja) 音像定位装置
EP3375207B1 (en) An audio signal processing apparatus and method
US10652686B2 (en) Method of improving localization of surround sound
CN109036440B (zh) 多人会话的方法及***
JP6552132B2 (ja) 音声信号のクロストーク低減のための音声信号処理装置および方法
JP2009077379A (ja) 立体音響再生装置、立体音響再生方法及びコンピュータプログラム
US10397730B2 (en) Methods and systems for providing virtual surround sound on headphones
JP6515720B2 (ja) 頭外定位処理装置、頭外定位処理方法、及びプログラム
CN106373582B (zh) 多声道音频的处理方法和装置
CN114501295B (zh) 音频数据处理方法、装置、终端和计算机可读存储介质
US11477595B2 (en) Audio processing device and audio processing method
US20170127208A1 (en) Acoustic Control Apparatus
Villegas Locating virtual sound sources at arbitrary distances in real-time binaural reproduction
Enzner et al. Advanced system options for binaural rendering of ambisonic format
US20240056760A1 (en) Binaural signal post-processing
Masterson et al. HRIR order reduction using approximate factorization
CN110166927B (zh) 一种基于定位修正的虚拟声像重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant