CN109413492B - 一种直播过程中音频数据混响处理方法及*** - Google Patents
一种直播过程中音频数据混响处理方法及*** Download PDFInfo
- Publication number
- CN109413492B CN109413492B CN201710712937.5A CN201710712937A CN109413492B CN 109413492 B CN109413492 B CN 109413492B CN 201710712937 A CN201710712937 A CN 201710712937A CN 109413492 B CN109413492 B CN 109413492B
- Authority
- CN
- China
- Prior art keywords
- audio data
- reverberation processing
- reverberation
- original
- original pcm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000003672 processing method Methods 0.000 title claims description 16
- 238000012952 Resampling Methods 0.000 claims abstract description 47
- 238000005070 sampling Methods 0.000 claims description 59
- 230000000694 effects Effects 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明提供一种直播过程中音频数据混响处理方法及***,所述的方法包括:S1,录制直播过程中原始PCM音频数据,并对所述原始PCM音频数据进行混响处理;S2,对混响处理后的音频数据进行重采样,以使重采样后的音频数据的长度与原始PCM音频数据的长度一致;S3,对重采样后的音频数据进行编码并推流。本发明对直播过程中的原始音频数据进行录制并做混响处理,经过混响处理后的音频数据长度通常与原始音频数据的长度不同,因此,对混响处理后的音频数据进行重采样,使得混响处理后的音频数据的长度与原始音频数据的长度一致,解决了混响处理后的音视频的同步问题。
Description
技术领域
本发明涉及音频处理技术领域,更具体地,涉及一种直播过程中音频数据混响处理方法及***。
背景技术
目前,在音视频直播的过程中,为了增强用户体验,可以在原始的音频中增加不同的声音效果,即实现音频混响。
传统实现音频混响的方式是直接对原始音频数据录制并进行混响处理,由于在混响处理的过程中会涉及到降噪功放处理以及数据类型的转换等,从而会导致混响处理后的音频数据的长度与原始音频数据的长度不一致,进而导致混响处理后的音频数据与原始的视频数据不同步,对用户的体验度影响极大。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的直播过程中音频数据混响处理方法及***,克服了现有技术中混响处理后的音视频不同步的问题。
根据本发明的第一方面,提供一种音频数据处理方法,包括:
S1,录制直播过程中原始PCM音频数据,并对所述原始PCM音频数据进行混响处理;
S2,对混响处理后的音频数据进行重采样,以使重采样后的音频数据的长度与原始PCM音频数据的长度一致;
S3,对重采样后的音频数据进行编码并推流。
本发明的有益效果为:对直播过程中的原始音频数据进行录制并做混响处理,经过混响处理后的音频数据长度通常与原始音频数据的长度不同,因此,对混响处理后的音频数据进行重采样,使得混响处理后的音频数据的长度与原始音频数据的长度一致,解决了混响处理后的音视频的同步问题。
在上述技术方案的基础上,本发明还可以作如下改进。
进一步的,所述步骤S1中录制直播过程中原始PCM音频数据进一步包括:
以预设采样频率以及双声道对直播过程中的原始音频流进行录制,得到PCM格式的音频数据。
进一步的,所述步骤S1中对所述原始PCM音频数据进行混响处理进一步包括:
采用串行处理方式对原始PCM音频数据进行不同声音效果的处理,且处理后的不同声音效果的音频数据共用同一缓存。进一步的,所述步骤S2进一步包括:
根据原始PCM音频数据的采样点个数,对混响处理后音频数据进行重采样,使得重采样后的音频数据的采样点个数和原始PCM音频数据的采样点个数相同。
进一步的,所述对混响处理后音频数据进行重采样进一步包括:
检测混响处理后的音频数据波形的峰值点,其中,所述峰值点包括峰值最高点和峰值最低点;
分别在两个相邻的峰值点之间进行重采样,使得对整个波形的采样点个数与原始PCM音频数据的采样点个数相等。
进一步的,所述分别在两个相邻的峰值点之间进行重采样进一步包括:
假设原始PCM音频数据的采样点个数为m,混响处理后的音频数据的采样点个数为n,且混响处理后的音频数据波形中两个相邻的峰值点之间的采样点个数为xi,则重采样后该两个峰值点之间的采样点个数 yi=xi*m/n,其中,m、n和xi均为正整数,xi表示第i个相邻峰值区间的采样点个数。
进一步的,还包括:
当计算出的yi为非整数,则按照向上取整和向下取整来确定相邻两个峰值区间的yi的取值。
根据本发明的第二方面,还提供了一种直播过程中音频数据混响处理***,包括:
录制模块,用于录制直播过程中原始PCM音频数据;
混响处理模块,用于对所述原始PCM音频数据进行混响处理;
重采样模块,用于对混响处理后的音频数据进行重采样,以使重采样后的音频数据的长度与原始PCM音频数据的长度一致;
编码推流模块,用于对重采样后的音频数据进行编码并推流。
根据本发明的第三方面,提供了一种音频混响处理方法的设备,包括处理器(processor)、存储器(memory)和总线;
所述处理器和存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如上各实施方法。
根据本发明的第四方面,提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如上各实施方法。
附图说明
图1为本发明一个实施例的直播过程中音频数据混响处理方法流程图;
图2为音频数据混响处理后的波形图;
图3为本发明另一个实施例的直播过程中音频数据混响处理***连接框图;
图4为本发明又一个实施例的音频混响处理方法的设备连接框图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
参见图1,提供了本发明一个实施例的直播过程中音频数据混响处理方法,包括:S1,录制直播过程中原始PCM音频数据,并对所述原始PCM音频数据进行混响处理;S2,对混响处理后的音频数据进行重采样,以使重采样后的音频数据的长度与原始PCM音频数据的长度一致;S3,对重采样后的音频数据进行编码并推流。
在音视频直播的过程中,为了实现不同声音效果,音频混响处理非常常见,传统的方式是直接对原始音频数据录制并进行混响处理,这样进行混响处理后的音频数据和原始的视频数据是不同步的。为了解决混响处理后音视频同步的问题,本实施例提供了一套能够使得对直播过程中的音频数据混响处理后音视频同步,该方法的整个实现过程为,在录制端录制原始PCM音频数据,其中,PCM(Pulse Code Modulation)也被称为脉冲编码调制,PCM中的声音数据没有被压缩。对于录制的PCM原始音频数据,采用常用的方法对录制的原始音频数据进行混响处理。由于原始音频数据和视频数据是同步的,而经过混响处理后的音频数据的长度与原始音频数据的长度不一致,因此,经过混响处理后的音频数据与视频数据是不能同步的,本实施例中对经过混响处理后的音频数据进行重采样,使得重采样后的音频数据的长度与原始PCM音频数据的长度一致,进而实现混响处理后音视频同步。对混响后的音频数据进行了重采样后,再进行编码并推流,观众拉取对应的视频流即可获取其中的音频数据。
本实施例对直播过程中的原始音频数据进行录制并做混响处理,经过混响处理后的音频数据长度通常与原始音频数据的长度不同,因此,对混响处理后的音频数据进行重采样,使得混响处理后的音频数据的长度与原始音频数据的长度一致,解决了混响处理后的音视频的同步问题。
在上述实施例的基础上,本发明的一个实施例中,所述步骤S1中录制直播过程中原始PCM音频数据进一步包括:录制端以预设采样频率以及双声道对直播过程中的原始PCM音频数据进行录制。
在对直播过程中原始音频数据进行录制的过程中,录制端采用双声道对原始音频数据进行录制,录制后的音频格式为 ENCODING_PCM_16BIT,采样频率为44100,其中,将声道数设置为双声道,以满足算法数据需求。
由于在直播过程中,周围可能存在环境噪声,未进行混响处理之前,该噪声很容易分辨出来,为环境噪声,用户可以接受程度相对较高。但进行混响处理之后,原始的环境噪声直接变为类似电流声的白噪声,用户体验极差。因此,在对录制的原始音频数据进行混响之前,需要进行降噪处理,在本实施例中,降噪处理采用安卓平台接口 NoiseSuppressor,在降噪前,需要使用isAvailable()方法判断当前手机是否支持该接口,如果不支持,为避免给用户带来不好的体验,则不进行降噪处理和混响处理,保持原声。NoiseSuppressor对象创建时,需要绑定AudioRecord对象对应的音频句柄,以对其进行降噪处理。由于降噪会对音量造成影响,因此,需要对降噪处理后的音频数据进行功放来对音量进行放大,与NoiseSuppressor类似,功放处理需要使用安卓平台接口AutomaticGainControl,需要绑定AudioRecord对象对应的音频句柄。
为提高音频数据的处理效率,数据从录制端获取后,需要从Java 层通过JNI(JavaNative Interface)接口传递给底层做混响处理,这其中需要进行数据转换。首先,从录制端可以获取原始数据大小,由于混响数据处理以帧为单位,需要将数据大小转换为帧数,帧数=数据大小/(声道数*每帧数据大小)。另外,由于录制端输出的数据类型为short 数组类型,而混响处理需要float数据类型,而编码器需要byte类型,因此,需要将数据进行类型的转换,具体的转换采用现有成熟的转换方式实现,其中,需要注意的是,在数据类型转换的过程中,转换后的数据长度与转换前的数据长度可能不一致导致内存溢出或者数据异常,为转换后的数据申请相关数据大小时必须预留空间,在本实施例中,为转换后的数据申请的内存大小为转换前的数据所占内存大小的4 倍。
在上述各实施例的基础上,本发明的另一个实施例中,所述步骤 S1中对所述原始PCM音频数据进行混响处理进一步包括:采用串行处理方式对原始PCM音频数据进行不同声音效果的处理,且处理后的不同声音效果的音频数据共用同一缓存。所谓的混响处理是指实现不同的声音效果,比如,通过调节音调、混响、高通/低通/带通滤波、均衡器、回声等声音效果。由于可能存在多种声音效果的来回切换,比如,原声、混响以及金属声音效果之间的切换,为了便于在多个声音效果之间进行切换,针对混响处理中的不同声音效果,采用串行处理方式对原始PCM音频数据进行不同声音效果的处理,且处理后的不同声音效果的音频数据共用同一缓存。多个不同声音效果的音频数据之间的切换顺序可以随意,比如,可以根据用户的的点击操作,确定切换到哪一个声音效果的音频数据。
在上述各个实施例的基础上,本发明的另一个实施例中,所述步骤S2进一步包括:根据原始PCM音频数据的采样点个数,对混响处理后音频数据进行重采样,使得重采样后的音频数据的采样点个数和原始PCM音频数据的采样点个数相同。
由于进行混响处理后的音频数据的长度与原始音频数据的长度不一致,会造成混响处理后的音视频不同步的问题,因此,需要对这个问题进行克服。在本实施例中,主要是根据原始PCM音频数据的采样点个数,对混响处理后的音频数据进行重采样,使得重采样后的音频数据的采样点个数和原始PCM音频数据的采样点个数相同,这样混响处理后的音频数据的长度与原始PCM音频数据的长度一致,进而能够保证混响处理后的音频数据与原始视频数据处于同步状态。
在上述各个实施例的基础上,本发明的一个实施例中,所述对混响处理后音频数据进行重采样进一步包括:检测混响处理后的音频数据波形的峰值点,其中,所述峰值点包括峰值最高点和峰值最低点;分别在两个相邻的峰值点之间进行重采样,使得对整个波形的采样点个数与原始PCM音频数据的采样点个数相等。
比如,原始音频数据的采样点为320个,而混响处理后的音频数据的采样点为640个,具体对混响处理后的音频数据进行重采样过程为,获取混响处理后的音频数据波形中的峰值点,其中,波形的峰值点包括峰值最高点和峰值最低点。可参见图2,在波形中峰值点如图中箭头所示各点,采用峰值将进行重采样,例如,从a点到b点,b点到 c点进行重采样。在本实施例中,是在相邻的峰值最高点和峰值最低点之间进行重采样,而不能在一个峰值最高点和另一个峰值最高点之间进行重采样,比如,在d点和g点之间进行重采样,那么e点和f点这样的波形特征由于重采样造成信息丢失。
在上述各个实施例的基础上,本发明的另一个实施例中,所述分别在两个相邻的峰值点之间进行重采样进一步包括:假设原始PCM音频数据的采样点个数为m,混响处理后的音频数据的采样点个数为n,且混响处理后的音频数据波形中两个相邻的峰值点之间的采样点个数为xi,则重采样后该两个峰值点之间的采样点个数yi=xi*m/n,其中, m、n和xi均为正整数,xi表示第i个相邻峰值区间的采样点个数。
在对混响处理后的音频数据进行重采样的过程中,重采样的系数由原始音频数据的采样点个数和混响处理后的音频数据的采样点个数确定的,例如,原始音频数据的采样点个数为m,混响处理后的音频数据的采样点个数为n,则从a点到b点间,假设a点到b点间的总采样数为xi,则a点到b点重采样后的采样点个数为yi=xi*m/n,使得整个重采样后的音频数据的采样点个数与原始音频数据的采样点的个数相等。其中,当计算出的yi为非整数,则按照向上取整和向下取整来确定相邻两个峰值区间的yi的取值,确保最终的总采样点的个数与原始音频数据采样点的个数之间误差最多为1个采样数据点。
具体对混响处理后的音频数据进行重采样的步骤为:
(1)遍历采样数组,寻找峰值,并记录其编号。
(2)通过峰值编号,获取峰值最高点和峰值最低点之间的采样点数x,并计算最终采样点数y=x*m/n,且按照上述方法取整。
最后对重采样后的音频数据进行编码处理,编码处理后经过推流库进行推流,观众拉取对应流即可获取到对应的音频数据。
参见图3,提供了本发明另一个实施例的直播过程中音频数据混响处理***,包括录制模块31、混响处理模块32、重采样模块33和编码推流模块34。
录制模块31,用于录制直播过程中原始PCM音频数据。
混响处理模块32,用于对所述原始PCM音频数据进行混响处理。
重采样模块33,用于对混响处理后的音频数据进行重采样,以使重采样后的音频数据的长度与原始PCM音频数据的长度一致。
编码推流模块34,用于对重采样后的音频数据进行编码并推流。
其中,录制模块31进一步用于:以预设采样频率以及双声道对直播过程中的原始PCM音频数据进行录制。
混响处理模块32,进一步用于采用串行处理方式对原始PCM音频数据进行不同声音效果的处理,且处理后的不同声音效果的音频数据共用同一缓存。
重采样模块33,进一步用于:根据原始PCM音频数据的采样点个数,对混响处理后音频数据进行重采样,使得重采样后的音频数据的采样点个数和原始PCM音频数据的采样点个数相同。
重采样模块33,还进一步用于:检测混响处理后的音频数据波形的峰值点,其中,所述峰值点包括峰值最高点和峰值最低点;分别在两个相邻的峰值点之间进行重采样,使得对整个波形的采样点个数与原始PCM音频数据的采样点个数相等。
重采样模块33,用于分别在两个相邻的峰值点之间进行重采样进一步包括:假设原始PCM音频数据的采样点个数为m,混响处理后的音频数据的采样点个数为n,且混响处理后的音频数据波形中两个相邻的峰值点之间的采样点个数为xi,则重采样后该两个峰值点之间的采样点个数yi=xi*m/n,其中,m、n和xi均为正整数,xi表示第i个相邻峰值区间的采样点个数。其中,当计算出的yi为非整数,则按照向上取整和向下取整来确定相邻两个峰值区间的yi的取值。
参见图4,示出本申请实施例的直播过程中音频数据混响处理方法的设备的结构框图。
参照图4,直播过程中音频数据混响处理方法的设备包括:处理器 (processor)401、存储器(memory)402和总线403;其中,所述处理器 401和存储器402通过所述总线403完成相互间的通信。
所述处理器401用于调用所述存储器402中的程序指令,以执行上述各方法实施例所提供的方法,例如包括:录制直播过程中原始PCM 音频数据,并对所述原始PCM音频数据进行混响处理;对混响处理后的音频数据进行重采样,以使重采样后的音频数据的长度与原始PCM 音频数据的长度一致;对重采样后的音频数据进行编码并推流。
本发明公开一种计算机程序产品,该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,该计算机程序包括程序指令,当程序指令被计算机执行时,计算机能够执行上述对应实施例所提供的直播过程中音频数据混响处理方法,例如包括:录制直播过程中原始PCM音频数据,并对所述原始PCM音频数据进行混响处理;对混响处理后的音频数据进行重采样,以使重采样后的音频数据的长度与原始PCM音频数据的长度一致;对重采样后的音频数据进行编码并推流。
本发明还提供一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令使计算机执行上述对应实施例所提供的直播过程中音频数据混响处理方法,例如包括:录制直播过程中原始PCM音频数据,并对所述原始PCM音频数据进行混响处理;对混响处理后的音频数据进行重采样,以使重采样后的音频数据的长度与原始PCM音频数据的长度一致;对重采样后的音频数据进行编码并推流。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的直播过程中音频数据混响处理方法的设备等实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分方法。
本发明提供的一种直播过程中音频数据混响处理方法及***,对直播过程中的原始音频数据进行录制并做混响处理,经过混响处理后的音频数据长度通常与原始音频数据的长度不同,因此,对混响处理后的音频数据进行重采样,使得混响处理后的音频数据的长度与原始音频数据的长度一致,解决了混响处理后的音视频的同步问题。
最后,本申请的方法仅为较佳的实施方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种直播过程中音频数据混响处理方法,其特征在于,包括:
S1,录制直播过程中原始PCM音频数据,并对所述原始PCM音频数据进行混响处理;
S2,对混响处理后的音频数据进行重采样,以使重采样后的音频数据的长度与原始PCM音频数据的长度一致;
S3,对重采样后的音频数据进行编码并推流;
所述步骤S2进一步包括:
根据原始PCM音频数据的采样点个数,对混响处理后音频数据进行重采样,使得重采样后的音频数据的采样点个数和原始PCM音频数据的采样点个数相同;
所述录制直播过程中原始PCM音频数据,与所述对所述原始PCM音频数据进行混响处理之间,还包括:
对所述原始PCM音频数据进行降噪处理。
2.如权利要求1所述的音频数据混响处理方法,其特征在于,所述步骤S1中录制直播过程中原始PCM音频数据进一步包括:
录制端以预设采样频率以及双声道对直播过程中的原始音频流进行录制,得到PCM格式的音频数据。
3.如权利要求1所述的音频数据混响处理方法,其特征在于,所述步骤S1中对所述原始PCM音频数据进行混响处理进一步包括:
采用串行处理方式对原始PCM音频数据进行不同声音效果的处理,且处理后的不同声音效果的音频数据共用同一缓存。
4.如权利要求1所述的音频数据混响处理方法,其特征在于,所述对混响处理后音频数据进行重采样进一步包括:
检测混响处理后的音频数据波形的峰值点,其中,所述峰值点包括峰值最高点和峰值最低点;
分别在两个相邻的峰值点之间进行重采样,使得对整个波形的采样点个数与原始PCM音频数据的采样点个数相等。
5.如权利要求4所述的音频数据混响处理方法,其特征在于,所述分别在两个相邻的峰值点之间进行重采样进一步包括:
假设原始PCM音频数据的采样点个数为m,混响处理后的音频数据的采样点个数为n,且混响处理后的音频数据波形中两个相邻的峰值点之间的采样点个数为xi,则重采样后该两个峰值点之间的采样点个数yi=xi*m/n,其中,m、n和xi均为正整数,xi表示第i个相邻峰值区间的采样点个数。
6.如权利要求5所述的音频数据混响处理方法,其特征在于,还包括:
当计算出的yi为非整数,则按照向上取整和向下取整来确定相邻两个峰值区间的yi的取值。
7.一种直播过程中音频数据混响处理***,其特征在于,包括:
录制模块,用于录制直播过程中原始PCM音频数据;
混响处理模块,用于对所述原始PCM音频数据进行混响处理;
重采样模块,用于对混响处理后的音频数据进行重采样,以使重采样后的音频数据的长度与原始PCM音频数据的长度一致;
编码推流模块,用于对重采样后的音频数据进行编码并推流;
所述重采样模块,进一步用于:根据原始PCM音频数据的采样点个数,对混响处理后音频数据进行重采样,使得重采样后的音频数据的采样点个数和原始PCM音频数据的采样点个数相同;
所述混响处理模块,还用于对所述原始PCM音频数据进行降噪处理。
8.一种直播过程中音频数据混响处理方法的设备,其特征在于,包括处理器(processor)、存储器(memory)和总线;
所述处理器和存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1-6任一项所述的方法。
9.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710712937.5A CN109413492B (zh) | 2017-08-18 | 2017-08-18 | 一种直播过程中音频数据混响处理方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710712937.5A CN109413492B (zh) | 2017-08-18 | 2017-08-18 | 一种直播过程中音频数据混响处理方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109413492A CN109413492A (zh) | 2019-03-01 |
CN109413492B true CN109413492B (zh) | 2021-05-28 |
Family
ID=65463180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710712937.5A Active CN109413492B (zh) | 2017-08-18 | 2017-08-18 | 一种直播过程中音频数据混响处理方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109413492B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109803211B (zh) * | 2019-03-06 | 2021-02-23 | 深圳市创成微电子有限公司 | 一键切换原声的方法及装置 |
CN112689109B (zh) * | 2019-10-17 | 2023-05-09 | 成都鼎桥通信技术有限公司 | 一种记录仪的音频处理方法和装置 |
CN118118276A (zh) * | 2024-04-26 | 2024-05-31 | 广东安创信息科技开发有限公司 | 一种基于协处理器的语音加密近端装置、远端装置、***及其加解密方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100931843B1 (ko) * | 2008-01-29 | 2009-12-15 | 엠텍비젼 주식회사 | 멀티미디어 프로세서 칩 및 오디오 신호 처리 방법 |
CN106534980A (zh) * | 2016-11-15 | 2017-03-22 | 广州华多网络科技有限公司 | 音频处理***的异常检测方法、日志记录方法及装置 |
CN106531177A (zh) * | 2016-12-07 | 2017-03-22 | 腾讯科技(深圳)有限公司 | 一种音频处理的方法、移动终端以及*** |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1967657B (zh) * | 2005-11-18 | 2011-06-08 | 成都索贝数码科技股份有限公司 | 节目制作中的说话人声音自动跟踪变调***和方法 |
JP2008109279A (ja) * | 2006-10-24 | 2008-05-08 | Pioneer Electronic Corp | オーディオ信号処理装置及びオーディオ信号処理方法 |
CN102307327B (zh) * | 2011-08-10 | 2015-08-19 | 深圳万兴信息科技股份有限公司 | 一种音效变音方法及装置 |
EP2747314A1 (en) * | 2012-12-19 | 2014-06-25 | Nxp B.V. | A system for blending signals |
CN103559876B (zh) * | 2013-11-07 | 2016-04-20 | 科大讯飞股份有限公司 | 音效处理方法及*** |
CN104952452B (zh) * | 2015-04-27 | 2018-06-19 | 无锡天脉聚源传媒科技有限公司 | 一种pcm音频采样率的转换方法及装置 |
CN106604124A (zh) * | 2015-10-19 | 2017-04-26 | 深圳市中兴微电子技术有限公司 | 一种音频数据播放方法及装置 |
CN105847961A (zh) * | 2016-03-29 | 2016-08-10 | 北京数码视讯科技股份有限公司 | 一种音频数据的处理方法及装置 |
CN106060707B (zh) * | 2016-05-27 | 2021-05-04 | 北京小米移动软件有限公司 | 混响处理方法及装置 |
CN105872253B (zh) * | 2016-05-31 | 2020-07-07 | 腾讯科技(深圳)有限公司 | 一种直播声音处理方法及移动终端 |
CN106373600B (zh) * | 2016-10-08 | 2018-03-02 | 广东欧珀移动通信有限公司 | 一种音频同步播放方法、装置、***及终端 |
CN106816152A (zh) * | 2016-12-05 | 2017-06-09 | 乐视控股(北京)有限公司 | 一种音频混音方法、装置和电子设备 |
CN107027050B (zh) * | 2017-04-13 | 2020-11-20 | 广州华多网络科技有限公司 | 辅助直播的音视频处理方法及装置 |
CN106952639A (zh) * | 2017-04-26 | 2017-07-14 | 建荣半导体(深圳)有限公司 | 应用于k歌宝的混响方法、装置、音频处理芯片、存储装置及k歌宝 |
-
2017
- 2017-08-18 CN CN201710712937.5A patent/CN109413492B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100931843B1 (ko) * | 2008-01-29 | 2009-12-15 | 엠텍비젼 주식회사 | 멀티미디어 프로세서 칩 및 오디오 신호 처리 방법 |
CN106534980A (zh) * | 2016-11-15 | 2017-03-22 | 广州华多网络科技有限公司 | 音频处理***的异常检测方法、日志记录方法及装置 |
CN106531177A (zh) * | 2016-12-07 | 2017-03-22 | 腾讯科技(深圳)有限公司 | 一种音频处理的方法、移动终端以及*** |
Also Published As
Publication number | Publication date |
---|---|
CN109413492A (zh) | 2019-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102301730B (zh) | 多路音视频传输和处理方法、装置及*** | |
CN109413492B (zh) | 一种直播过程中音频数据混响处理方法及*** | |
CN109600564B (zh) | 用于确定时间戳的方法和装置 | |
RU2745832C2 (ru) | Эффективное кодирование звуковых сцен, содержащих звуковые объекты | |
CN106937121B (zh) | 图像解码和编码方法、解码和编码装置、解码器及编码器 | |
US20100199151A1 (en) | System and method for producing importance rate-based rich media, and server applied to the same | |
US20150036679A1 (en) | Methods and apparatuses for transmitting and receiving audio signals | |
CN103208298A (zh) | 一种摄像方法及*** | |
WO2020024980A1 (zh) | 处理数据的方法和装置 | |
KR102625410B1 (ko) | 비디오 녹화 방법 및 장치 | |
CN102802039A (zh) | 多路视频混合解码输出方法及装置 | |
CN109600650B (zh) | 用于处理数据的方法和装置 | |
CN112995730A (zh) | 音画同步调整方法、装置、电子设备及介质 | |
CN113271467B (zh) | 一种支持高效编辑的超高清视频分层编解码方法 | |
JP2021167965A (ja) | ステレオ信号処理方法及び装置 | |
CN109600563B (zh) | 用于确定时间戳的方法和装置 | |
CN109600651B (zh) | 文档类直播交互数据和音视频数据同步方法和*** | |
CN113744744B (zh) | 一种音频编码方法、装置、电子设备及存储介质 | |
CN114157895A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN110677777B (zh) | 一种音频数据处理方法、终端及存储介质 | |
CN107426611B (zh) | 基于视频转码的多路输出方法及*** | |
CN114300007A (zh) | 基于WebRTC的音视频录制方法及装置 | |
US10397590B2 (en) | System and method for enabling seek in a video recording | |
CN111147655A (zh) | 模型生成方法和装置 | |
CN115631758B (zh) | 音频信号处理方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20231106 Address after: 518000 Unit 802, Building AB, Youcheng North District, Minqiang Community, Minzhi Street, Longhua District, Shenzhen City, Guangdong Province Patentee after: Shenzhen Detonation Point Technology Co.,Ltd. Address before: 430000 East Lake Development Zone, Wuhan City, Hubei Province, No. 1 Software Park East Road 4.1 Phase B1 Building 11 Building Patentee before: WUHAN DOUYU NETWORK TECHNOLOGY Co.,Ltd. |
|
TR01 | Transfer of patent right |