CN110620986A - 音频处理算法的调度方法、装置、音频处理器和存储介质 - Google Patents
音频处理算法的调度方法、装置、音频处理器和存储介质 Download PDFInfo
- Publication number
- CN110620986A CN110620986A CN201910910143.9A CN201910910143A CN110620986A CN 110620986 A CN110620986 A CN 110620986A CN 201910910143 A CN201910910143 A CN 201910910143A CN 110620986 A CN110620986 A CN 110620986A
- Authority
- CN
- China
- Prior art keywords
- audio
- processed
- algorithm
- frame
- audio processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 160
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000004904 shortening Methods 0.000 claims abstract description 69
- 238000012163 sequencing technique Methods 0.000 claims abstract description 9
- 230000005236 sound signal Effects 0.000 claims description 28
- 238000009432 framing Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Abstract
本发明公开了一种音频处理算法的调度方法，包括：按照预设缩短比例，缩短多通道上的初始音频帧的帧长，获得待处理音频帧；其中，待处理音频帧包括多个子帧；从多个子帧中选取当前待处理子帧；获取当前待处理子帧上写入的各通道的自动反馈控制算法程序，根据预设缩短比例将获取的自动反馈控制算法程序分为目标数量的多组算法程序；将算法程序中的一组保留在当前待处理子帧上，并按照各子帧在通道上的帧排序，从当前待处理子帧的下一个子帧开始，将剩余的各组算法程序按组依次调度至多个目标子帧上。本发明还公开了一种音频处理算法的调度装置、音频处理器和存储介质。本发明能够有效通过缩短音频帧长降低音频处理的延时，音频处理延时低。
Description
技术领域
本发明涉及音频处理技术领域，尤其涉及一种音频处理算法的调度方法、装置、音频处理器和存储介质。
背景技术
数字音频处理器广泛应用于现代会议中心、广播工程等。伴随社会和科学技术的高速发展，数字音频处理器应用于小会议室、教室等小型化空间场景的需求日趋强烈。
人耳可以分辨0.1s时间间隔的声音。大型应用场景中由于发言者距离听众较远，所以发言者的声源远小于喇叭出来的声音，听众不易察觉两者之间的差别。更小的空间应用场景就要求数字音频处理器要有更低的延时，这样才能让音频信号更快速地到达人耳，使得发言者的声音和喇叭出来的声音混叠在一起，听者分辨不出。因此，降低数字音频处理器的延时是目前音频处理技术领域的一个重点研究方向。
目前的数字音频处理器一般为多通道音频处理器，能够实现多通道音频的输出，满足人们对3D立体环绕声等的需求。多通道的输入输出决定了每个通道都要有前置和后置音频处理算法，并且每个通道都能参与矩阵混音。这些音频处理算法，主要包括：自动增益控制算法(Automatic Gain Control，AGC)，压缩器(Compressor，COM)，参量均衡器(Parametric Equalization，PEQ)，自动反馈控制算法(Automatic FeedbackCancellation，AFC)，限制器算法(limiter，Lim)，自动噪声抑制算法(Automatic NoiseSuppression，ANS)和自动混音处理算法(Automatic Mixer)等，这些算法的应用非常广泛和成熟。
虽然能够通过缩短音频帧长来加快处理速度以降低延时，然而当音频帧长被缩短到比执行完成所有音频处理算法的时间更短时，该音频信号则会由于处理出错导致丢失。而在上述音频处理算法中，AFC算法的耗时最长，且它需积累到一定音频采样点数后才计算一次，即在缩短音频帧长时，AFC算法的耗时并不会线性减少。通过缩短音频帧长来降低延迟时，由于AFC算法的上述特性，并不能对音频帧长缩短过多，因此，目前的音频处理技术中，仍然存在较大延时。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种音频处理算法的调度方法、装置、音频处理器和存储介质，旨在解决目前的音频处理技术中延时大的技术问题。
为实现上述目的，本发明提供一种音频处理算法的调度方法，包括：按照预设缩短比例，缩短多通道上的初始音频帧的帧长，获得待处理音频帧；其中，所述待处理音频帧包括多个子帧；从多个所述子帧中选取当前待处理子帧；获取所述当前待处理子帧上写入的各通道的自动反馈控制算法程序，根据所述预设缩短比例将获取的自动反馈控制算法程序分为目标数量的多组算法程序；将所述算法程序中的一组保留在所述当前待处理子帧上，并按照各所述子帧在通道上的帧排序，从所述当前待处理子帧的下一个子帧开始，将剩余的各组算法程序按组依次调度至多个目标子帧上。
可选地，所述当前待处理子帧上还写入有除自动反馈控制算法程序之外的其他音频处理算法程序；所述将所述算法程序中的一组保留在所述当前待处理子帧上，并按照各所述子帧在通道上的帧排序，从所述当前待处理子帧的下一个子帧开始，将剩余的各组算法程序按组依次调度至多个目标子帧上的步骤之后，所述音频处理算法的调度方法还包括：将所述当前待处理子帧保留的算法程序以及所述其他音频处理算法程序作为待运行算法；按照预设执行顺序运行所述待运行算法，以实现对所述当前待处理子帧进行音频处理。
可选地，所述按照预设执行顺序运行所述待运行算法，以实现对所述当前待处理子帧进行音频处理的步骤之后，所述音频处理算法的调度方法还包括：当一种音频处理算法程序运行完毕时，获取运行完毕的音频处理算法程序的处理对象帧；将所述处理对象帧的下一个子帧作为新的当前待处理子帧；将运行完毕的音频处理算法程序写入新的当前待处理子帧。
可选地，所述运行完毕的音频处理算法程序为自动反馈控制算法程序，所述将运行完毕的音频处理算法程序写入新的当前待处理子帧的步骤之后，所述音频处理算法的调度方法还包括：返回所述获取所述当前待处理子帧上写入的各通道的自动反馈控制算法程序，根据所述预设缩短比例将获取的自动反馈控制算法程序分为目标数量的多组算法程序的步骤。
可选地，所述初始音频帧包括多个子音频帧；所述按照预设缩短比例，缩短多通道上的初始音频帧的帧长，获得待处理音频帧的步骤，具体包括：按照预设缩短比例分别缩短各子音频帧的帧长，将缩短帧长后的各子音频帧作为所述待处理音频帧。
可选地，所述按照预设缩短比例，缩短多通道上的初始音频帧的帧长，获得待处理音频帧的步骤之前，所述音频处理算法的调度方法还包括：获取多通道上的初始音频帧；将自动反馈控制算法程序写入所述初始音频帧的当前待处理子音频帧上，所述当前待处理子音频帧在缩短帧长后对应的子帧为所述当前待处理子帧。
可选地，所述获取多通道上的初始音频帧，具体包括：获取输入至多通道的源音频信号；将所述源音频信号进行分帧处理，获得初始音频帧。
此外，为实现上述目的，本发明还提供一种音频处理算法的调度装置，所述音频处理算法的调度装置包括：帧长缩短模块，用于按照预设缩短比例，缩短多通道上的初始音频帧的帧长，获得待处理音频帧；其中，所述待处理音频帧包括多个子帧；获取模块，用于从多个所述子帧中选取当前待处理子帧；分组模块，用于获取所述当前待处理子帧上写入的各通道的自动反馈控制算法程序，根据所述预设缩短比例将获取的自动反馈控制算法程序分为目标数量的多组算法程序；调度模块，用于将所述算法程序中的一组保留在所述当前待处理子帧上，并按照各所述子帧在通道上的帧排序，从所述当前待处理子帧的下一个子帧开始，将剩余的各组算法程序按组依次调度至多个目标子帧上。
此外，为实现上述目的，本发明还提供一种音频处理器，所述音频处理器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的音频处理算法的调度程序，所述音频处理算法的调度程序被所述处理器执行时实现如上述的音频处理算法的调度方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有音频处理算法的调度程序，所述音频处理算法的调度程序被处理器执行时实现如上述的音频处理算法的调度方法的步骤。
本发明实施例提出的一种音频处理算法的调度方法、装置、音频处理器和存储介质，通过缩短初始音频帧的帧长，获得包括多个子帧的待处理音频帧，从多个子帧中获取当前待处理子帧，将当前待处理子帧上写入的各通道的AFC算法程序分为目标数量的多组算法程序，依次将各组算法程序通过调度分散到当前待处理子帧以及当前待处理子帧之后的多个目标子帧上，以使各通道上的AFC算法可以通过分散到不同的子帧上执行，能够保障AFC算法顺利执行，同时缩短了在当前待处理子帧的执行时间，解决了在缩短帧长后AFC算法程序可能存在的执行异常问题，能够有效通过缩短音频帧长降低音频处理的延时，音频处理延时低。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的终端\装置结构示意图；
图2为本发明音频处理算法的调度方法一实施例的流程示意图；
图3为图2中本发明音频处理算法的调度方法一实施例的步骤S202之前的步骤流程示意图；
图4为图3中本发明音频处理算法的调度方法一实施例的步骤S302的细化流程示意图；
图5为图4中本发明音频处理算法的调度方法一实施例的步骤S404之后的步骤流程示意图；
图6为本发明本发明音频处理算法的调度装置的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例方案涉及的硬件运行环境为音频处理器。音频处理器内部的结构普遍是由输入部分和输出部分组成，本发明实施例的音频处理器内部还包括带有可拖拽编程的处理模块，可以由用户自由搭建***组成。本发明实施例的音频处理器为多通道音频处理器，可以将音频信号进行多通道的处理，以实现多通道的输入输出。
图1是本发明实施例方案涉及的硬件运行环境的音频处理器结构示意图。
该音频处理器可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。可选地，用户接口1003可以包括标准的有线接口、无线接口。用户接口1003可以通过有线接口或无线接口与麦克风进行通信连接。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的音频处理器结构并不构成对音频处理器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及音频处理算法的调度程序。
在图1所示的音频处理器中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接麦克风，与麦克风进行音频信号帧的数据通信；而处理器1001可以用于调用存储器1005中存储的音频处理算法的调度程序，并执行以下操作：按照预设缩短比例，缩短多通道上的初始音频帧的帧长，获得待处理音频帧；其中，所述待处理音频帧包括多个子帧；从多个所述子帧中选取当前待处理子帧；获取所述当前待处理子帧上写入的各通道的自动反馈控制算法程序，根据所述预设缩短比例将获取的自动反馈控制算法程序分为目标数量的多组算法程序；将所述算法程序中的一组保留在所述当前待处理子帧上，并按照各所述子帧在通道上的帧排序，从所述当前待处理子帧的下一个子帧开始，将剩余的各组算法程序按组依次调度至多个目标子帧上。
可选地，所述当前待处理子帧上还写入有除自动反馈控制算法程序之外的其他音频处理算法程序；所述将所述算法程序中的一组保留在所述当前待处理子帧上，并按照各所述子帧在通道上的帧排序，从所述当前待处理子帧的下一个子帧开始，将剩余的各组算法程序按组依次调度至多个目标子帧上的步骤之后，所述音频处理算法的调度方法还包括：将所述当前待处理子帧保留的算法程序以及所述其他音频处理算法程序作为待运行算法；按照预设执行顺序运行所述待运行算法，以实现对所述当前待处理子帧进行音频处理。
可选地，所述按照预设执行顺序运行所述待运行算法，以实现对所述当前待处理子帧进行音频处理的步骤之后，所述音频处理算法的调度方法还包括：当一种音频处理算法程序运行完毕时，获取运行完毕的音频处理算法程序的处理对象帧；将所述处理对象帧的下一个子帧作为新的当前待处理子帧；将运行完毕的音频处理算法程序写入新的当前待处理子帧。
可选地，所述运行完毕的音频处理算法程序为自动反馈控制算法程序，所述将运行完毕的音频处理算法程序写入新的当前待处理子帧的步骤之后，所述音频处理算法的调度方法还包括：返回所述获取所述当前待处理子帧上写入的各通道的自动反馈控制算法程序，根据所述预设缩短比例将获取的自动反馈控制算法程序分为目标数量的多组算法程序的步骤。
可选地，所述初始音频帧包括多个子音频帧；所述按照预设缩短比例，缩短多通道上的初始音频帧的帧长，获得待处理音频帧的步骤，具体包括：按照预设缩短比例分别缩短各子音频帧的帧长，将缩短帧长后的各子音频帧作为所述待处理音频帧。
可选地，所述按照预设缩短比例，缩短多通道上的初始音频帧的帧长，获得待处理音频帧的步骤之前，所述音频处理算法的调度方法还包括：获取多通道上的初始音频帧；将自动反馈控制算法程序写入所述初始音频帧的当前待处理子音频帧上，所述当前待处理子音频帧在缩短帧长后对应的子帧为所述当前待处理子帧。
可选地，所述获取多通道上的初始音频帧，具体包括：获取输入至多通道的源音频信号；将所述源音频信号进行分帧处理，获得初始音频帧。
参照图2，一种音频处理算法的调度方法第一实施例，所述音频处理算法的调度方法包括：
步骤S202，按照预设缩短比例，缩短多通道上的初始音频帧的帧长，获得待处理音频帧；其中，所述待处理音频帧包括多个子帧；
本实施例中，对音频的处理为实时处理，即在麦克风采集到音频信号之后，该音频信号被输入至本发明实施例的音频处理器，音频处理器立即对该音频信号进行处理后通过扬声器进行输出。具体地，初始音频帧输入本实施例的多通道的音频处理器中后，音频处理器按照预设缩短比例将该初始音频帧的帧长进行缩短，获得待处理音频帧。其中，预设缩短比例可以是1/2，即将初始音频帧的帧长缩短为原来的一半，预设缩短比例还可以是其他合适的比例数值。此外，得到的待处理音频帧包括多个子帧。
在一实施例中，所述初始音频帧包括多个子音频帧；所述步骤S202，具体包括：按照预设缩短比例分别缩短各子音频帧的帧长，将缩短帧长后的各子音频帧作为所述待处理音频帧。
本实施例中，音频处理器按照相同的预设缩短比例分别将初始音频帧的各子音频帧进行帧长的缩短，获得与多个音频帧一一对应的多个子帧。其中，多个子帧组成待处理音频帧。
参照图3，在一实施例中，所述步骤S202之前，所述音频处理算法的调度方法还包括：
步骤S302，获取多通道上的初始音频帧；
音频处理器从多通道上获取初始音频帧。
具体地，参照图4，在一实施例中，步骤S302，具体包括：
步骤S402，获取输入至多通道的源音频信号；
其中，源音频信号为麦克风采集的音频信号，在麦克风采集该源音频信号后，将其传输至音频处理器的多通道上。本实施例中，音频处理器采集该源音频信号后，对该源音频信号进行初步处理，例如降噪处理等。
步骤S404，将所述源音频信号进行分帧处理，获得初始音频帧。
麦克风采集的源音频信号为声音信号，音频处理器还对源音频信号进行声电转换，获得电信号，进一步对电信号进行数模转换，得到模拟音频信号。进一步地，音频处理器对模拟音频信号进行分帧处理，获得包括多个子音频帧的初始音频帧。在进行分帧处理时，可以进行等帧长的分帧，还可以是进行帧长不均等的分帧等。
步骤S304，将自动反馈控制算法程序写入所述初始音频帧的当前待处理子音频帧上，所述当前待处理子音频帧在缩短帧长后对应的子帧为所述当前待处理子帧。
音频处理器将AFC算法程序写入初始音频帧的当前待处理子音频帧上。音频处理器在对初始音频帧进行处理时，是按照帧顺序依次对子音频帧进行处理，其中，当前待处理子音频帧为播放至输出口的子音频帧。在一实施例中，音频处理器在将AFC算法程序写入当前待处理子音频帧上的同时，还写入其他音频处理算法程序，包括AGC算法程序、COM算法程序、PEQ算法程序、Lim算法程序、ANS算法程序和自动混音处理算法程序等。这些算法程序将按照预设的执行顺序依次对当前处理子音频帧进行音频处理。
步骤S204，从多个所述子帧中选取当前待处理子帧；
音频处理器获取写入有AFC算法程序的当前待处理子帧。
步骤S206，获取所述当前待处理子帧上写入的各通道的自动反馈控制算法程序，根据所述预设缩短比例将获取的自动反馈控制算法程序分为目标数量的多组算法程序；
本实施例中，由于音频处理器为多通道的音频处理器，待处理子帧在各通道上均对应有AFC算法程序，各通道的AFC算法程序均对待处理子帧进行处理。而由于AFC算法程序需积累到一定音频采样点数后才计算一次，在对初始音频帧进行帧长缩短后，有可能会出现待处理子帧播放完毕后，还没有累积到各通道上的AFC算法程序均执行完毕所需的音频采样点，则各通道的AFC算法程序在对待处理子帧进行处理时，会出现执行缺失等异常现象。本实施例中，音频处理器将各通道的AFC算法程序分为目标数量的多组算法程序，将其中一组留在待处理子帧上进行处理，其他组则调度至当前待处理子帧的后续帧上。其中，对目标数量的设置与预设缩短比例相关。具体地，目标数量为预设缩短比例的倒数的整数部分。例如预设缩短比例为1/2，则目标数量为2。
步骤S208，将所述算法程序中的一组保留在所述当前待处理子帧上，并按照各所述子帧在通道上的帧排序，从所述当前待处理子帧的下一个子帧开始，将剩余的各组算法程序按组依次调度至多个目标子帧上。
音频处理器将一组算法程序保留在当前待处理子帧上对其进行音频处理，并按照帧排序，将剩余的各组算法程序依次调度至当前待处理子帧之后的多个目标子帧上。
在本实施例中，通过缩短初始音频帧的帧长，获得包括多个子帧的待处理音频帧，从多个子帧中获取当前待处理子帧，将当前待处理子帧上写入的各通道的AFC算法程序分为目标数量的多组算法程序，依次将各组算法程序通过调度分散到当前待处理子帧以及当前待处理子帧之后的多个目标子帧上，以使各通道上的AFC算法可以通过分散到不同的子帧上执行，能够保障AFC算法顺利执行，同时缩短了在当前待处理子帧的执行时间，解决了在缩短帧长后AFC算法程序可能存在的执行异常问题，能够有效通过缩短音频帧长降低音频处理的延时，音频处理延时低。
参照图4，在一实施例中，所述当前待处理子帧上还写入有除自动反馈控制算法程序之外的其他音频处理算法程序；所述步骤S208之后，所述音频处理算法的调度方法还包括：
步骤S402，将所述当前待处理子帧保留的算法程序以及所述其他音频处理算法程序作为待运行算法；
其中，其他音频处理算法程序包括AGC算法程序、COM算法程序、PEQ算法程序、Lim算法程序、ANS算法程序和自动混音处理算法程序等。音频处理器将所有音频处理算法程序作为待运行算法。
步骤S404，按照预设执行顺序运行所述待运行算法，以实现对所述当前待处理子帧进行音频处理。
其中，预设执行顺序为各算法之间通常规则下的执行顺序。音频处理器按照预设执行顺序依次运行待运行算法，完成对当前待处理子帧的音频处理。
参照图5，在一实施例中，所述步骤S404之后，所述音频处理算法的调度方法还包括：
步骤S502，当一种音频处理算法程序运行完毕时，获取运行完毕的音频处理算法程序的处理对象帧；
一种音频处理算法程序包括在多个通道上的同一种算法处理程序。当在多通道上的同一种音频处理算法程序均执行完毕后，音频处理器获取该种音频处理算法程序的处理对象帧。
步骤S504，将所述处理对象帧的下一个子帧作为新的当前待处理子帧；
音频处理器将处理对象帧在多通道上根据帧排序下的下一个子帧作为新的当前待处理子帧。
步骤S506，将运行完毕的音频处理算法程序写入新的当前待处理子帧。
音频处理器将运行完毕的音频算法程序写入新的当前待处理子帧，以待在播放到新的待处理子帧时，对其进行音频处理。
在一实施例中，所述运行完毕的音频处理算法程序为自动反馈控制算法程序，所述步骤S506之后，所述音频处理算法的调度方法还包括：返回所述步骤S206。
在将多通道上的AFC算法程序分为目标数量的多组算法程序均执行完毕后，音频处理器获取新的当前待处理子帧，该AFC算法程序写入新的当前待处理子帧，返回步骤S206，以将该新的当前待处理子帧在多通道上的AFC算法程序进行分组，并重新进行算法调度，实现AFC算法的循环分组调度，以对多帧子帧进行处理。
参照图6，本发明实施例还提出一种音频处理算法的调度装置，所述音频处理算法的调度装置包括：
帧长缩短模块610，用于按照预设缩短比例，缩短多通道上的初始音频帧的帧长，获得待处理音频帧；其中，所述待处理音频帧包括多个子帧；
获取模块620，用于从多个所述子帧中选取当前待处理子帧；
分组模块630，用于获取所述当前待处理子帧上写入的各通道的自动反馈控制算法程序，根据所述预设缩短比例将获取的自动反馈控制算法程序分为目标数量的多组算法程序；
调度模块640，用于将所述算法程序中的一组保留在所述当前待处理子帧上，并按照各所述子帧在通道上的帧排序，从所述当前待处理子帧的下一个子帧开始，将剩余的各组算法程序按组依次调度至多个目标子帧上。
本实施例中，通过帧长缩短模块缩短初始音频帧的帧长，获得包括多个子帧的待处理音频帧，获取模块从多个子帧中获取当前待处理子帧，分组模块将当前待处理子帧上写入的各通道的AFC算法程序分为目标数量的多组算法程序，调度模块依次将各组算法程序通过调度分散到当前待处理子帧以及当前待处理子帧之后的多个目标子帧上，以使各通道上的AFC算法可以通过分散到不同的子帧上执行，能够保障AFC算法顺利执行，同时缩短了在当前待处理子帧的执行时间，解决了在缩短帧长后AFC算法程序可能存在的执行异常问题，能够有效通过缩短音频帧长降低音频处理的延时，音频处理延时低。
可选地，所述当前待处理子帧上还写入有除自动反馈控制算法程序之外的其他音频处理算法程序；所述音频处理算法的调度装置还包括：算法执行模块，用于将所述当前待处理子帧保留的算法程序以及所述其他音频处理算法程序作为待运行算法；按照预设执行顺序运行所述待运行算法，以实现对所述当前待处理子帧进行音频处理。
可选地，所述音频处理算法的调度装置还包括：算法写入模块，用于当一种音频处理算法程序运行完毕时，获取运行完毕的音频处理算法程序的处理对象帧；将所述处理对象帧的下一个子帧作为新的当前待处理子帧；将运行完毕的音频处理算法程序写入新的当前待处理子帧。
可选地，所述运行完毕的音频处理算法程序为自动反馈控制算法程序，所述音频处理算法的调度装置还包括：返回模块，用于在将运行完毕的音频处理算法程序写入新的当前待处理子帧后，返回所述获取所述当前待处理子帧上写入的各通道的自动反馈控制算法程序，根据所述预设缩短比例将获取的自动反馈控制算法程序分为目标数量的多组算法程序的步骤。
可选地，所述初始音频帧包括多个子音频帧；帧长缩短模块610，还用于按照预设缩短比例分别缩短各子音频帧的帧长，将缩短帧长后的各子音频帧作为所述待处理音频帧。
可选地，帧长缩短模块610，还用于获取多通道上的初始音频帧；将自动反馈控制算法程序写入所述初始音频帧的当前待处理子音频帧上，所述当前待处理子音频帧在缩短帧长后对应的子帧为所述当前待处理子帧。
可选地，帧长缩短模块610，还用于获取输入至多通道的源音频信号；将所述源音频信号进行分帧处理，获得初始音频帧。
此外，本发明实施例还提出一种音频处理器，所述音频处理器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的音频处理算法的调度程序，所述音频处理算法的调度程序被所述处理器执行时实现如上述的音频处理算法的调度方法实施例的步骤。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有音频处理算法的调度程序，所述音频处理算法的调度程序被处理器执行时实现如上述的音频处理算法的调度方法实施例的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台音频处理器执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种音频处理算法的调度方法，其特征在于，所述音频处理算法的调度方法包括以下步骤：
按照预设缩短比例，缩短多通道上的初始音频帧的帧长，获得待处理音频帧；其中，所述待处理音频帧包括多个子帧；
从多个所述子帧中选取当前待处理子帧；
获取所述当前待处理子帧上写入的各通道的自动反馈控制算法程序，根据所述预设缩短比例将获取的自动反馈控制算法程序分为目标数量的多组算法程序；
将所述算法程序中的一组保留在所述当前待处理子帧上，并按照各所述子帧在通道上的帧排序，从所述当前待处理子帧的下一个子帧开始，将剩余的各组算法程序按组依次调度至多个目标子帧上。
2.如权利要求1所述的音频处理算法的调度方法，其特征在于，所述当前待处理子帧上还写入有除自动反馈控制算法程序之外的其他音频处理算法程序；
所述将所述算法程序中的一组保留在所述当前待处理子帧上，并按照各所述子帧在通道上的帧排序，从所述当前待处理子帧的下一个子帧开始，将剩余的各组算法程序按组依次调度至多个目标子帧上的步骤之后，所述音频处理算法的调度方法还包括：
将所述当前待处理子帧保留的算法程序以及所述其他音频处理算法程序作为待运行算法；
按照预设执行顺序运行所述待运行算法，以实现对所述当前待处理子帧进行音频处理。
3.如权利要求2所述的音频处理算法的调度方法，其特征在于，所述按照预设执行顺序运行所述待运行算法，以实现对所述当前待处理子帧进行音频处理的步骤之后，所述音频处理算法的调度方法还包括：
当一种音频处理算法程序运行完毕时，获取运行完毕的音频处理算法程序的处理对象帧；
将所述处理对象帧的下一个子帧作为新的当前待处理子帧；
将运行完毕的音频处理算法程序写入新的当前待处理子帧。
4.如权利要求3所述的音频处理算法的调度方法，其特征在于，所述运行完毕的音频处理算法程序为自动反馈控制算法程序，所述将运行完毕的音频处理算法程序写入新的当前待处理子帧的步骤之后，所述音频处理算法的调度方法还包括：
返回所述获取所述当前待处理子帧上写入的各通道的自动反馈控制算法程序，根据所述预设缩短比例将获取的自动反馈控制算法程序分为目标数量的多组算法程序的步骤。
5.如权利要求1所述的音频处理算法的调度方法，其特征在于，所述初始音频帧包括多个子音频帧；
所述按照预设缩短比例，缩短多通道上的初始音频帧的帧长，获得待处理音频帧的步骤，具体包括：
按照预设缩短比例分别缩短各子音频帧的帧长，将缩短帧长后的各子音频帧作为所述待处理音频帧。
6.如权利要求5所述的音频处理算法的调度方法，其特征在于，所述按照预设缩短比例，缩短多通道上的初始音频帧的帧长，获得待处理音频帧的步骤之前，所述音频处理算法的调度方法还包括：
获取多通道上的初始音频帧；
将自动反馈控制算法程序写入所述初始音频帧的当前待处理子音频帧上，所述当前待处理子音频帧在缩短帧长后对应的子帧为所述当前待处理子帧。
7.如权利要求6所述的音频处理算法的调度方法，其特征在于，所述获取多通道上的初始音频帧，具体包括：
获取输入至多通道的源音频信号；
将所述源音频信号进行分帧处理，获得初始音频帧。
8.一种音频处理算法的调度装置，其特征在于，所述音频处理算法的调度装置包括：
帧长缩短模块，用于按照预设缩短比例，缩短多通道上的初始音频帧的帧长，获得待处理音频帧；其中，所述待处理音频帧包括多个子帧；
获取模块，用于从多个所述子帧中选取当前待处理子帧；
分组模块，用于获取所述当前待处理子帧上写入的各通道的自动反馈控制算法程序，根据所述预设缩短比例将获取的自动反馈控制算法程序分为目标数量的多组算法程序；
调度模块，用于将所述算法程序中的一组保留在所述当前待处理子帧上，并按照各所述子帧在通道上的帧排序，从所述当前待处理子帧的下一个子帧开始，将剩余的各组算法程序按组依次调度至多个目标子帧上。
9.一种音频处理器，其特征在于，所述音频处理器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的音频处理算法的调度程序，所述音频处理算法的调度程序被所述处理器执行时实现如权利要求1至7中任一项所述的音频处理算法的调度方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有音频处理算法的调度程序，所述音频处理算法的调度程序被处理器执行时实现如权利要求1至7中任一项所述的音频处理算法的调度方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910910143.9A CN110620986B (zh) | 2019-09-24 | 2019-09-24 | 音频处理算法的调度方法、装置、音频处理器和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910910143.9A CN110620986B (zh) | 2019-09-24 | 2019-09-24 | 音频处理算法的调度方法、装置、音频处理器和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110620986A true CN110620986A (zh) | 2019-12-27 |
| CN110620986B CN110620986B (zh) | 2020-12-15 |
Family
ID=68924063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910910143.9A Active CN110620986B (zh) | 2019-09-24 | 2019-09-24 | 音频处理算法的调度方法、装置、音频处理器和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110620986B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111767020A (zh) * | 2020-05-18 | 2020-10-13 | 深圳市东微智能科技股份有限公司 | 优化音频处理方法、装置、终端及可读存储介质 |
| CN117527771A (zh) * | 2024-01-05 | 2024-02-06 | 深圳旷世科技有限公司 | 音频传输方法、装置、存储介质及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1248824A (zh) * | 1998-09-17 | 2000-03-29 | 松下电器产业株式会社 | 音频信号编码装置和方法以及解码装置和方法 |
| CN1199475C (zh) * | 1999-12-30 | 2005-04-27 | 皇家菲利浦电子有限公司 | 转换数据流的方法和装置 |
| CN1689372A (zh) * | 2001-09-29 | 2005-10-26 | 格伦迪希多媒体公司 | 用于选择声音算法的方法和装置 |
| EP2355548A2 (en) * | 2009-12-29 | 2011-08-10 | GN ReSound A/S | A method for the detection of whistling in an audio system |
| US20140226823A1 (en) * | 2013-02-08 | 2014-08-14 | Qualcomm Incorporated | Signaling audio rendering information in a bitstream |
-
2019
- 2019-09-24 CN CN201910910143.9A patent/CN110620986B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1248824A (zh) * | 1998-09-17 | 2000-03-29 | 松下电器产业株式会社 | 音频信号编码装置和方法以及解码装置和方法 |
| CN1199475C (zh) * | 1999-12-30 | 2005-04-27 | 皇家菲利浦电子有限公司 | 转换数据流的方法和装置 |
| CN1689372A (zh) * | 2001-09-29 | 2005-10-26 | 格伦迪希多媒体公司 | 用于选择声音算法的方法和装置 |
| EP2355548A2 (en) * | 2009-12-29 | 2011-08-10 | GN ReSound A/S | A method for the detection of whistling in an audio system |
| US20140226823A1 (en) * | 2013-02-08 | 2014-08-14 | Qualcomm Incorporated | Signaling audio rendering information in a bitstream |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111767020A (zh) * | 2020-05-18 | 2020-10-13 | 深圳市东微智能科技股份有限公司 | 优化音频处理方法、装置、终端及可读存储介质 |
| CN111767020B (zh) * | 2020-05-18 | 2024-05-17 | 深圳市东微智能科技股份有限公司 | 优化音频处理方法、装置、终端及可读存储介质 |
| CN117527771A (zh) * | 2024-01-05 | 2024-02-06 | 深圳旷世科技有限公司 | 音频传输方法、装置、存储介质及电子设备 |
| CN117527771B (zh) * | 2024-01-05 | 2024-03-29 | 深圳旷世科技有限公司 | 音频传输方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110620986B (zh) | 2020-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106790940B (zh) | 录音方法、录音播放方法、装置及终端 | |
| CN110620986B (zh) | 音频处理算法的调度方法、装置、音频处理器和存储介质 | |
| CN107431871B (zh) | 过滤音频信号的音频信号处理装置和方法 | |
| JP2020003774A (ja) | 音声を処理する方法及び装置 | |
| EP2830327A1 (en) | Audio processor for orientation-dependent processing | |
| CN111258530B (zh) | 音频播放控制方法和服务器以及音频播放*** | |
| WO2010105695A1 (en) | Multi channel audio coding | |
| US20160066116A1 (en) | Using single bitstream to produce tailored audio device mixes | |
| CN109697987B (zh) | 一种外接式的远场语音交互装置及实现方法 | |
| WO2016082579A1 (zh) | 语音输出方法及装置 | |
| CN111768791B (zh) | 一种音频播放方法、装置和车辆 | |
| CN111951821B (zh) | 通话方法和装置 | |
| CN104392744A (zh) | 一种录制音频的方法及装置 | |
| CN103794216A (zh) | 一种语音混音处理方法及装置 | |
| CN110677208B (zh) | 一种用于会议***的混音方法和*** | |
| CN109901811A (zh) | 应用于数字化庭审中的混音方法及装置 | |
| US11942097B2 (en) | Multichannel audio encode and decode using directional metadata | |
| CN114495941A (zh) | 单通道音频转文本的方法、装置、电子设备及存储介质 | |
| US9936077B2 (en) | Methods for the encoding of participants in a conference | |
| CN107426611B (zh) | 基于视频转码的多路输出方法及*** | |
| US11922234B2 (en) | Multi-agent ring-buffer | |
| CN110910892A (zh) | 会议***终端、音频数据处理方法和远程会议*** | |
| CN117880696B (zh) | 混音方法、装置、计算机设备以及存储介质 | |
| CN111028848B (zh) | 压缩语音处理方法、装置及电子设备 | |
| CN115529548A (zh) | 扬声器通道生成方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: 518000 R & D building 1601, block a, building 7, Vanke Cloud City Phase I, Xingke 1st Street, Xili community, Xili street, Nanshan District, Shenzhen City, Guangdong Province (16 / F, block a, building 1, international innovation Valley) Patentee after: SHENZHEN TENDZONE INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: Room 401, Block D, Huahan Innovation Park, 16 Longshan Road, North District, Xili Street, Nanshan District, Shenzhen City, Guangdong Province, 518000 Patentee before: SHENZHEN TENDZONE INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20191227 Assignee: Shandong East Microelectronics Co.,Ltd. Assignor: SHENZHEN TENDZONE INTELLIGENT TECHNOLOGY Co.,Ltd. Contract record no.: X2022440000242 Denomination of invention: Scheduling method, device, audio processor and storage medium of audio processing algorithm Granted publication date: 20201215 License type: Common License Record date: 20221018 Application publication date: 20191227 Assignee: Henan Dongwei Software Technology Co.,Ltd. Assignor: SHENZHEN TENDZONE INTELLIGENT TECHNOLOGY Co.,Ltd. Contract record no.: X2022440000241 Denomination of invention: Scheduling method, device, audio processor and storage medium of audio processing algorithm Granted publication date: 20201215 License type: Common License Record date: 20221018 Application publication date: 20191227 Assignee: Yunnan Dongwei Technology Co.,Ltd. Assignor: SHENZHEN TENDZONE INTELLIGENT TECHNOLOGY Co.,Ltd. Contract record no.: X2022440000243 Denomination of invention: Scheduling method, device, audio processor and storage medium of audio processing algorithm Granted publication date: 20201215 License type: Common License Record date: 20221018 |