CN106816152A - 一种音频混音方法、装置和电子设备 - Google Patents
一种音频混音方法、装置和电子设备 Download PDFInfo
- Publication number
- CN106816152A CN106816152A CN201611103000.XA CN201611103000A CN106816152A CN 106816152 A CN106816152 A CN 106816152A CN 201611103000 A CN201611103000 A CN 201611103000A CN 106816152 A CN106816152 A CN 106816152A
- Authority
- CN
- China
- Prior art keywords
- audio
- voice data
- sampling number
- collection device
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000005070 sampling Methods 0.000 claims abstract description 118
- 230000008569 process Effects 0.000 claims abstract description 46
- 230000015654 memory Effects 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 17
- 241001269238 Data Species 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 230000005055 memory storage Effects 0.000 claims description 2
- 230000001052 transient effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
Abstract
本发明公开了一种音频混音方法、装置和电子设备，音频混音方法包括：获取多路音频采集器的音频数据；对每一路音频采集器的音频数据，分别获取对应音频采集器中的当前帧音频数据的采样后的采样点数；如果判定采样点数小于预设采样点数，则从音频采集器中提取后续帧音频数据进行采样，将采样后的音频数据加入当前帧音频数据中作为待定音频队列，直至待定音频队列中的采样点数大于或等于预设采样点数，将待定音频队列作为目标音频队列；将每路音频采集器得到的目标音频队列进行混音处理，得到一帧输出混音音频。该方案避免了寻找基准采样点数的处理步骤，简化了混音处理过程，解决了因某一路音频数据发生卡顿而造成整个混音音频无法正常输出的问题。
Description
技术领域
本发明涉及导播技术领域，具体涉及一种音频混音方法、装置和电子设备。
背景技术
随着直播业务的不断增长，各种新需求也越来越多，例如多机位切换、多场景切换、直播点播切换、分屏显示、音频混音等等，在传统直播中，这些工作的完成是依赖于硬件导播台进行，这种方式不但设备成本较高，携带不便，且操作难度较大，所以云导播应运而生。云导播的一种重要模式就是将多路音视频信号合成一路输出，所以其中涉及到音频混音的操作。音频混音是指将多路输入音频数据按指定权重进行混合并输出的处理方式，属于云导播中音频处理的重要一环。
现有云导播的音频采集和混音输出是单线程架构设计，从最后一路音频往前，依次循环采集处理每一路每一帧的音频数据。由于混音算法一般是对各路输入的音频数据进行线性叠加，要求进行叠加的每一路音频数据具有相同的基准采样点数，因此在叠加前需要确定出基准采样点数，现有的处理方式是：一般以输入的第一路音频数据为起始进行寻找基准路的基准采样点，除第一路外，均是将当前路的一帧PCM音频数据读入，放入该当前路对应的FIFO(First Input First Output，先入先出队列，这是一种传统的按序执行方法，先进入的指令先完成并引退，跟着才执行第二条指令)中，当处理至第一路时，读取第一路的一帧PCM音频数据，并和其余路FIFO中已有的音频数据进行采样点数大小比较，如果第一路音频数据的采样点数最小，则以此最小采样点数为基准采样点数，进行加权累加的混音处理，并输出该最小采样点数的一帧混音后音频数据，其余路FIFO中对应音频数据进行相应的出队列操作。如果第一路音频数据的采样点数不是最小，则抛弃第一路的此帧数据，进入下一轮多路的循环，直至寻得最小采样点数。
这种处理方式流程相对简单，易于实现。但存在如下几个问题：其一是多路音频采集解码和音频混音为串行处理，相互间高耦合，架构不够清晰，不利于维护及后续开发，并且没有充分利用CPU性能；其二是混音处理逻辑过于复杂，对于每一路音频数据的处理都要以基准路音频数据的采样点数为基准，如果基准路发生变化，如被切换掉等，整个混音处理过程就会受到影响，并需要重新寻找基准路，过程繁琐；其三是云导播所处的网络环境十分复杂，无法保证每一路音频均可无卡顿的进行输入，所以当某一路音频流发生卡顿时，就会造成整个音频处理卡顿，也就是说当某一路音频流传输中出现问题时，每一路的音频均无法正常输出，这将极大地影响用户的体验。
因此，如何简化混音处理过程、提高混音处理效率成为一个亟待解决的技术问题。
发明内容
有鉴于此，本发明实施例提供了一种音频混音方法、装置和电子设备，以解决现有技术中混音处理过程复杂、混音处理效率低的问题。
根据第一方面，本发明实施例提供了一种音频混音方法，适用于混音装置，比如导播过程中的混音器等，包括：获取多路音频采集器的音频数据；对每一路所述音频采集器的音频数据，分别获取对应音频采集器中的当前帧音频数据的采样后的采样点数；判断所述采样点数是否小于预设采样点数；如果所述采样点数小于所述预设采样点数，则从所述音频采集器中提取后续帧音频数据进行采样，将采样后的音频数据加入所述当前帧音频数据中作为待定音频队列，直至所述待定音频队列中的所述采样点数大于或等于所述预设采样点数，将所述待定音频队列作为目标音频队列；将每路音频采集器得到的所述目标音频队列进行混音处理，得到一帧输出混音音频。
可选地，所述当前帧音频数据为第i帧，所述从所述音频采集器中提取后续帧音频数据进行采样包括：如果在第一预设时间内第i+j帧音频数据未提取到，则从所述音频采集器中提取第i+j-1帧音频数据进行采样，其中i，j为大于0的整数。
可选地，所述获取音频采集器中的当前帧音频数据的采样后的采样点数的步骤中与所述从所述音频采集器中提取后续帧音频数据进行采样的步骤中的采样频率相同。
可选地，还包括：每隔第二预设时间分别对每一路所述音频采集器的音频数据执行一次建立目标音频队列并进行混音处理的步骤，得到总混音音频。
根据第二方面，本发明实施例提供了一种音频混音装置，包括：第一获取模块，用于获取多路音频采集器的音频数据；第二获取模块，用于对每一路所述音频采集器的音频数据，分别获取对应音频采集器中的当前帧音频数据的采样后的采样点数；判断模块，用于判断所述采样点数是否小于预设采样点数；提取模块，用于如果所述采样点数小于所述预设采样点数，则从所述音频采集器中提取后续帧音频数据进行采样，将采样后的音频数据加入所述当前帧音频数据中作为待定音频队列，直至所述待定音频队列中的所述采样点数大于或等于所述预设采样点数，将所述待定音频队列作为目标音频队列；第一混音模块，用于将每路音频采集器得到的所述目标音频队列进行混音处理，得到一帧输出混音音频。
可选地，所述当前帧音频数据为第i帧，所述提取模块包括：提取单元，用于如果在第一预设时间内第i+j帧音频数据未提取到，则从所述音频采集器中提取第i+j-1帧音频数据进行采样，其中i，j为大于0的整数。
可选地，所述获取音频采集器中的当前帧音频数据的采样后的采样点数的步骤中与所述从所述音频采集器中提取后续帧音频数据进行采样的步骤中的采样频率相同。
可选地，还包括：第二混音模块，用于每隔第二预设时间分别对每一路所述音频采集器的音频数据执行一次建立目标音频队列并进行混音处理的步骤，得到总混音音频。
根据第三方面，本发明实施例提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行第一方面或者第一方面的任意一种可选方式中所述的音频混音方法。
根据第四方面，本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种可选方式中所述的音频混音方法。
根据第无方面，本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行第一方面或者第一方面的任意一种可选方式中所述的音频混音方法。
本发明实施例所提供的一种音频混音方法、装置和电子设备，通过以预设采样点数为基准，分别为多路音频采集器中的音频数据建立对应的目标音频队列，然后将多路目标音频队列进行混音处理，即可得到一帧输出混音音频，对后续帧的多路音频数据每隔预设时间进行一次这种混音处理，最终可得到多路音频数据的总输出混音音频，与现有技术相比，避免了寻找基准采样点数的处理步骤，不仅大幅简化了混音处理过程，而且对于未提取到后续帧音频数据的情况，可以使用该后续帧的前一帧的音频数据进行补充，解决了因某一路音频数据发生卡顿而造成整个混音音频无法正常输出的问题，提高了音频混音的处理效率。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了根据本发明实施例的音频混音方法的流程图；
图2示出了根据本发明实施例的音频混音装置的示意图；
图3示出了根据本发明实施例的电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
本实施例提供一种建立目标音频队列的方法，适用于混音装置，比如导播中的混音器等，如图1所示，包括如下步骤：
S11：获取多路音频采集器的音频数据，此处，对于多路音频数据可以多线程进行处理，即每一路音频数据都采用一个独立的解码线程进行解码，并将每一路解码后的音频数据逐帧放入其音频采集器对应的buffer(缓冲器)中进行缓存。采用并行处理各路音频数据，使各路音频数据处理之间均保持相互独立，降低了数据之间的耦合性，提高了处理结果的准确性。
S12：对每一路所述音频采集器的音频数据，分别获取对应音频采集器中的当前帧音频数据的采样后的采样点数。此处，当前帧音频数据可以是实时采集的音频数据，经过解码后逐帧放入缓冲器的PCM数据，在实际应用场景中，需要从缓冲器中获取到该当前帧音频数据，并以混音输出需要的采样频率对其进行采样，然后获取采样后的当前帧音频数据的采样点数。
S13：判断采样点数是否小于预设采样点数。此处预设采样点数为预先设置的基准采样点数，分别将每一路对应的采样点数与预设采样点数进行比较，该预设采样点数可以根据实际使用场景而定，避免了混音过程中寻找基准路音频数据来确定基准音频采样点数的过程，比如，当现有的基准路被切掉时，现有技术中需要重新寻找基准路才能进行后续混音处理，而本方案中由于预设采样点数与基准路无关，则不需要这一过程，这大大简化了混音处理步骤。当采样点数小于预设采样点数时，执行步骤S14，当采样点数大于或等于预设采样点数时，将对当前帧音频数据采样后的音频数据作为目标音频队列。
S14：如果采样点数小于预设采样点数，说明该当前帧音频数据的采样点数未达到进行混音的采样点数要求，则从音频采集器中提取后续帧音频数据进行采样，将采样后的音频数据加入当前帧音频数据中作为待定音频队列，直至待定音频队列中的采样点数大于或等于预设采样点数时，说明该待定音频队列中的音频数据的采样点数达到了进行混音的采样点数的要求，则将待定音频队列作为目标音频队列，具体地，此处待定音频队列可以是FIFO的形式，在初始时可以先将当前帧音频数据采样后放入对应的FIFO，然后将后续补充提取的音频数据采样后也放入该FIFO，当该FIFO中的采样点数满足预设采样点数的要求时，将此时的FIFO作为目标音频队列。
作为一种可选的实施方式，上述步骤S12-S14可以采用如下方式实现：具体地，以n路输入音频(即音频采集器的音频数)为例，详细处理步骤可以如下：
1.对第k路音频进行音频处理前初始化工作，k小于等于n；
2.将第k路音频对应的FIFO中PCM音频数据(即当前帧音频数据)的采样点数和nb_samples(即预设采样点数，此处可以为输出一帧混音音频所要求的采样点数)进行比较，如果小于nb_samples则继续执行步骤3，如果大于或等于nb_samples，说明第k路音频对应的FIFO满足要求，则将其作为第k路音频对应的目标音频队列，然后跳至步骤4。
3.从第k路音频的音频采集器的buffer中依次提取下一帧音频数据(如果提取不到，则认为该下一帧卡顿，并使用第k路音频的音频采集器的buffer中的最后一帧音频数据(即当前帧音频数据)进行补充)，并根据输出混音音频所要求的采样率对其进行重采样，将采样后的音频数据放入该路对应的FIFO中，并跳至步骤2；
4.判断k是否小于n，如果不小于n执行步骤S15，否则令k＝k+1后，跳至步骤1；最终建立每一路音频采集器对应的目标音频队列FIFO，
S15：将每路音频采集器得到的所述目标音频队列进行混音处理，得到一帧输出混音音频。此处混音处理可以采取独立的混音线程进行处理，避免混音处理与其他处理过程的耦合性。即对步骤S14中最终得到的的n路音频采集器对应的FIFO(目标音频队列)进行混音处理，输出混音后一帧音频数据。
作为一种可选地实施方式，当前帧音频数据为第i帧，步骤S14包括：如果在第一预设时间内第i+j帧音频数据未提取到，则从所述音频采集器中提取第i+j-1帧音频数据进行采样，其中i，j为大于0的整数。此处，如果在提取后续帧的音频数据时，在第一预设时间内未能提取到响应的音频数据，说明该帧可能出现卡顿，则使用该后续帧的前一帧音频数据作为补充，具体地，比如，在i＝3时，即当前帧音频数据为第3帧，如果第3帧音频数据采样后的采样点数没有达到预设采样点数，则需要提取音频采集器中的第4帧(即j＝1时，则i+j＝4)的音频数据进行采样，如果在第一预设时间内未提取到第4帧，说明该路音频在第4帧时可能出现卡顿，为了避免整路音频出现卡顿，则再次提取第3帧音频数据进行采样后放入待定音频队列中，从而避免了该路音频因卡顿而无法正常建立目标音频队列的问题。需要说明的是，第一预设时间t1可以由输出混音音频所要求的采样频率samplerate和预设采样点数nb_samples共同决定，比如可以采用如下公式计算(其中t1的单位为微秒)：
自然地，也可以根据实际需要来设定预设时间，只要能实现本实施例的技术方案的预设时间均适用于本发明。另外，本实施例中默认为在第一预设时间后，该路音频采集器已准备好了相关的音频数据，所以如果在从该路音频采集器的buffer(缓冲器)中获取不到所需的音频数据，则判断为该路发生卡顿，并通过上一帧音频数据进行补足。
作为一种可选地实施方式，步骤S11中与步骤S13中的采样频率相同，都是输出混音音频要求的采样频率，以保证通过该方案建立的目标音频队列进行混音后，混音音频可以正常输出。
作为一种可选地实施方式，还可以包括：每隔第二预设时间分别对每一路所述音频采集器的音频数据执行一次建立目标音频队列并进行混音处理的步骤，得到总混音音频。即每隔第二预设时间采用如图1所示的音频混音方法分别对每一路音频采集器的音频数据进行处理，最终可以得到总混音音频，此处，第二预设时间t2由输出混音音频所要求的采样频率samplerate和预设采样点数nb_samples共同决定，比如可以采用如下公式计算(其中t2的单位为微秒)：
本实施例提供的音频混音方法，通过以预设采样点数为基准，分别为多路音频采集器中的音频数据建立对应的目标音频队列，对未满足预设采样点数要求的当前帧音频数据，从音频采集器中提取后续帧音频数据进行补充得到待定音频队列，并将满足要求的待定音频队列最为最终的目标音频队列，然后将多路目标音频队列进行混音处理，即可得到一帧输出混音音频，对后续帧的多路音频数据每隔预设时间进行一次这种混音处理，最终可得到多路音频数据的总输出混音音频，与现有技术相比，避免了寻找基准采样点数的处理步骤，不仅大幅简化了混音处理过程，而且对于未提取到后续帧音频数据的情况，可以使用该后续帧的前一帧的音频数据进行补充，解决了因某一路音频数据发生卡顿而造成整个混音音频无法正常输出的问题，提高了音频处理效率。
本实施例提供一种音频混音装置，适用于混音设备，比如导播中的混音器等，如图2所示，包括第一获取模块31、第二获取模块32判断模块33和提取模块34、第一混音模35，各模块功能如下：
第一获取模块31，用于获取多路音频采集器的音频数据；具体可参见如图1所示的实施例中对步骤S11的相关描述。
第一获取模块32，用于对每一路所述音频采集器的音频数据，分别获取对应音频采集器中的当前帧音频数据的采样后的采样点数，具体可参见如图1所示的实施例中对步骤S12的相关描述。
判断模块33，用于判断采样点数是否小于预设采样点数，具体可参见如图1所示的实施例中对步骤S13的相关描述。
提取模块34，用于如果采样点数小于预设采样点数，则从音频采集器中提取后续帧音频数据进行采样，将采样后的音频数据加入当前帧音频数据中作为待定音频队列，直至待定音频队列中的采样点数大于或等于预设采样点数，将待定音频队列作为目标音频队列。具体可参见如图1所示的实施例中对步骤S14的相关描述。
第一混音模块35，用于将每路音频采集器得到的所述目标音频队列进行混音处理，得到一帧输出混音音频。具体可参见如图1所示的实施例中对步骤S15的相关描述。
作为一种可选地实施方式，当前帧音频数据为第i帧，提取模块34包括：提取单元341，用于如果在第一预设时间内第i+j帧音频数据未提取到，则从音频采集器中提取第i+j-1帧音频数据进行采样，其中i，j为大于0的整数。具体可参见如图1所示的实施例中对步骤S14的可选方案的相关描述。
作为一种可选地实施方式，获取音频采集器中的当前帧音频数据的采样后的采样点数的步骤中与从音频采集器中提取后续帧音频数据进行采样的步骤中的采样频率相同。具体可参见如图1所示的实施例中的相关描述。
作为一种可选地实施方式，还可以包括：第二混音模块36，用于每隔第二预设时间分别对每一路所述音频采集器的音频数据执行一次建立目标音频队列并进行混音处理的步骤，得到总混音音频。具体可参见如图1所示的实施例中的相关描述。
本实施例提供的音频混音装置，通过以预设采样点数为基准，分别为多路音频采集器中的音频数据建立对应的目标音频队列，对未满足预设采样点数要求的当前帧音频数据，从音频采集器中提取后续帧音频数据进行补充得到待定音频队列，并将满足要求的待定音频队列最为最终的目标音频队列，然后将多路目标音频队列进行混音处理，即可得到一帧输出混音音频，对后续帧的多路音频数据每隔预设时间进行一次这种混音处理，最终可得到多路音频数据的总输出混音音频，与现有技术相比，避免了寻找基准采样点数的处理步骤，不仅大幅简化了混音处理过程，而且对于未提取到后续帧音频数据的情况，可以使用该后续帧的前一帧的音频数据进行补充，解决了因某一路音频数据发生卡顿而造成整个混音音频无法正常输出的问题，提高了音频处理效率。
图3是本发明实施例提供的音频混音方法的电子设备的硬件结构示意图，如图3所示，该设备包括一个或多个处理器310以及存储器320，图3中以一个处理器310为例。
音频混音方法的设备还可以包括：输入装置330和输出装置340。
处理器310、存储器320、输入装置330和输出装置340可以通过总线或者其他方式连接，图3中以通过总线连接为例。
处理器310可以为中央处理器(Central Processing Unit，CPU)。处理器310还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器320作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的音频混音方法对应的程序指令/模块(例如，附图2所示的第一获取模块31、第二获取模块32、判断模块33、提取模块34和第一混音模块35)。处理器310通过运行存储在存储器320中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例音频混音方法。
存储器320可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据音频混音装置的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器320可选包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至音频混音装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可接收输入的数字或字符信息，以及产生与音频混音装置的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器320中，当被所述一个或者多个处理器310执行时，执行如图1所示的方法。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，具体可参见如图1所示的实施例中的相关描述。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的音频混音方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (9)
1.一种音频混音方法，其特征在于，包括：
获取多路音频采集器的音频数据；
对每一路所述音频采集器的音频数据，分别获取对应音频采集器中的当前帧音频数据的采样后的采样点数；
判断所述采样点数是否小于预设采样点数；
如果所述采样点数小于所述预设采样点数，则从所述音频采集器中提取后续帧音频数据进行采样，将采样后的音频数据加入所述当前帧音频数据中作为待定音频队列，直至所述待定音频队列中的所述采样点数大于或等于所述预设采样点数，将所述待定音频队列作为目标音频队列；
将每路音频采集器得到的所述目标音频队列进行混音处理，得到一帧输出混音音频。
2.根据权利要求1所述的音频混音方法，其特征在于，所述当前帧音频数据为第i帧，所述从所述音频采集器中提取后续帧音频数据进行采样包括：
如果在第一预设时间内第i+j帧音频数据未提取到，则从所述音频采集器中提取第i+j-1帧音频数据进行采样，其中i，j为大于0的整数。
3.根据权利要求1或2所述的音频混音方法，其特征在于，所述获取音频采集器中的当前帧音频数据的采样后的采样点数的步骤中与所述从所述音频采集器中提取后续帧音频数据进行采样的步骤中的采样频率相同。
4.根据权利要求1所述的音频混音方法，其特征在于，还包括：
每隔第二预设时间分别对每一路所述音频采集器的音频数据执行一次建立目标音频队列并进行混音处理的步骤，得到总混音音频。
5.一种音频混音装置，其特征在于，包括：
第一获取模块，用于获取多路音频采集器的音频数据；
第二获取模块，用于对每一路所述音频采集器的音频数据，分别获取对应音频采集器中的当前帧音频数据的采样后的采样点数；
判断模块，用于判断所述采样点数是否小于预设采样点数；
提取模块，用于如果所述采样点数小于所述预设采样点数，则从所述音频采集器中提取后续帧音频数据进行采样，将采样后的音频数据加入所述当前帧音频数据中作为待定音频队列，直至所述待定音频队列中的所述采样点数大于或等于所述预设采样点数，将所述待定音频队列作为目标音频队列；
第一混音模块，用于将每路音频采集器得到的所述目标音频队列进行混音处理，得到一帧输出混音音频。
6.根据权利要求5所述的音频混音装置，其特征在于，所述当前帧音频数据为第i帧，所述提取模块包括：
提取单元，用于如果在第一预设时间内第i+j帧音频数据未提取到，则从所述音频采集器中提取第i+j-1帧音频数据进行采样，其中i，j为大于0的整数。
7.根据权利要求5或6所述的音频混音装置，其特征在于，所述获取音频采集器中的当前帧音频数据的采样后的采样点数的步骤中与所述从所述音频采集器中提取后续帧音频数据进行采样的步骤中的采样频率相同。
8.根据权利要求5所述的音频混音装置，其特征在于，还包括：
第二混音模块，用于每隔第二预设时间分别对每一路所述音频采集器的音频数据执行一次建立目标音频队列并进行混音处理的步骤，得到总混音音频。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-4中任一项所述的音频混音方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611103000.XA CN106816152A (zh) | 2016-12-05 | 2016-12-05 | 一种音频混音方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611103000.XA CN106816152A (zh) | 2016-12-05 | 2016-12-05 | 一种音频混音方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106816152A true CN106816152A (zh) | 2017-06-09 |
Family
ID=59106011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611103000.XA Pending CN106816152A (zh) | 2016-12-05 | 2016-12-05 | 一种音频混音方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106816152A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107426651A (zh) * | 2017-08-10 | 2017-12-01 | 长沙世邦通信技术有限公司 | 多通道的混音方法及装置 |
| CN107749299A (zh) * | 2017-09-28 | 2018-03-02 | 福州瑞芯微电子股份有限公司 | 一种多音频输出方法和装置 |
| CN107948704A (zh) * | 2017-12-29 | 2018-04-20 | 北京安云世纪科技有限公司 | 用于对音频数据进行动态合成的方法、***以及移动终端 |
| CN109413492A (zh) * | 2017-08-18 | 2019-03-01 | 武汉斗鱼网络科技有限公司 | 一种直播过程中音频数据混响处理方法及*** |
| CN109714603A (zh) * | 2017-10-25 | 2019-05-03 | 北京展视互动科技有限公司 | 多路音视频直播的方法及装置 |
| CN109714316A (zh) * | 2018-12-03 | 2019-05-03 | 视联动力信息技术股份有限公司 | 一种视联网的混音处理方法和一种视联网*** |
| CN111770413A (zh) * | 2020-06-30 | 2020-10-13 | 浙江大华技术股份有限公司 | 一种多音源混音方法、装置及存储介质 |
| CN112423104A (zh) * | 2020-09-02 | 2021-02-26 | 上海幻电信息科技有限公司 | 直播场景下的多路音频的音频混合方法及*** |
| CN113205822A (zh) * | 2021-04-02 | 2021-08-03 | 苏州开心盒子软件有限公司 | 一种多路音频数据录制混音方法及装置、存储介质 |
| CN114512139A (zh) * | 2022-04-18 | 2022-05-17 | 杭州星犀科技有限公司 | 多路音频混音的处理方法、***、混音处理器和存储介质 |
-
2016
- 2016-12-05 CN CN201611103000.XA patent/CN106816152A/zh active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107426651A (zh) * | 2017-08-10 | 2017-12-01 | 长沙世邦通信技术有限公司 | 多通道的混音方法及装置 |
| CN109413492A (zh) * | 2017-08-18 | 2019-03-01 | 武汉斗鱼网络科技有限公司 | 一种直播过程中音频数据混响处理方法及*** |
| CN107749299B (zh) * | 2017-09-28 | 2021-07-09 | 瑞芯微电子股份有限公司 | 一种多音频输出方法和装置 |
| CN107749299A (zh) * | 2017-09-28 | 2018-03-02 | 福州瑞芯微电子股份有限公司 | 一种多音频输出方法和装置 |
| CN109714603A (zh) * | 2017-10-25 | 2019-05-03 | 北京展视互动科技有限公司 | 多路音视频直播的方法及装置 |
| CN107948704A (zh) * | 2017-12-29 | 2018-04-20 | 北京安云世纪科技有限公司 | 用于对音频数据进行动态合成的方法、***以及移动终端 |
| CN107948704B (zh) * | 2017-12-29 | 2020-06-23 | 北京安云世纪科技有限公司 | 用于对音频数据进行动态合成的方法、***以及移动终端 |
| CN109714316A (zh) * | 2018-12-03 | 2019-05-03 | 视联动力信息技术股份有限公司 | 一种视联网的混音处理方法和一种视联网*** |
| CN111770413A (zh) * | 2020-06-30 | 2020-10-13 | 浙江大华技术股份有限公司 | 一种多音源混音方法、装置及存储介质 |
| CN111770413B (zh) * | 2020-06-30 | 2021-08-27 | 浙江大华技术股份有限公司 | 一种多音源混音方法、装置及存储介质 |
| CN112423104A (zh) * | 2020-09-02 | 2021-02-26 | 上海幻电信息科技有限公司 | 直播场景下的多路音频的音频混合方法及*** |
| CN113205822A (zh) * | 2021-04-02 | 2021-08-03 | 苏州开心盒子软件有限公司 | 一种多路音频数据录制混音方法及装置、存储介质 |
| CN114512139A (zh) * | 2022-04-18 | 2022-05-17 | 杭州星犀科技有限公司 | 多路音频混音的处理方法、***、混音处理器和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106816152A (zh) | 一种音频混音方法、装置和电子设备 | |
| US9477476B2 (en) | Fusing immediate value, write-based instructions in instruction processing circuits, and related processor systems, methods, and computer-readable media | |
| US9195466B2 (en) | Fusing conditional write instructions having opposite conditions in instruction processing circuits, and related processor systems, methods, and computer-readable media | |
| CN108090198B (zh) | 图数据库创建及数据加载方法、设备及介质 | |
| CN110457256A (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
| CN106791919A (zh) | 多媒体信息处理方法、装置和电子设备 | |
| CN104503831B (zh) | 设备优化方法及装置 | |
| CN103927338A (zh) | 日志信息入库处理方法和装置 | |
| CN110277092A (zh) | 一种语音播报方法、装置、电子设备及可读存储介质 | |
| CN103348320A (zh) | 通用图形处理单元中的计算资源管线化 | |
| CN109147769B (zh) | 一种语种识别方法、装置、翻译机、介质和设备 | |
| EP4203548A1 (en) | Inter-core communication method and apparatus, electronic assembly, and electronic device | |
| CN111949850A (zh) | 多源数据的采集方法、装置、设备及存储介质 | |
| CN107818790A (zh) | 一种多路音频混音方法及装置 | |
| CN104462006B (zh) | ***级芯片中的多个处理器核间配置同步方法和设备 | |
| US20140047221A1 (en) | Fusing flag-producing and flag-consuming instructions in instruction processing circuits, and related processor systems, methods, and computer-readable media | |
| EP3893400A1 (en) | Sorting method and apparatus, and electronic device and medium | |
| CN110489242A (zh) | 分布式数据计算方法、装置、终端设备及存储介质 | |
| US20200202479A1 (en) | Method and Apparatus for Processing a Video Frame | |
| CN108509255A (zh) | 硬件中断的处理方法和装置 | |
| JPH0465711A (ja) | 表示装置の表示制御方式 | |
| CN108563709A (zh) | 一种习题的推送方法、装置及终端设备 | |
| CN115562859A (zh) | 数据的处理方法、装置、电子设备及计算机存储介质 | |
| WO2013184689A1 (en) | Issuing instructions to execution pipelines based on register-associated preferences, and related instruction processing circuits, processor systems, methods, and computer-readable media | |
| CN110955696B (zh) | 数据读取方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170609 |