CN113096674B - 一种音频处理方法、装置及电子设备 - Google Patents
一种音频处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113096674B CN113096674B CN202110341744.XA CN202110341744A CN113096674B CN 113096674 B CN113096674 B CN 113096674B CN 202110341744 A CN202110341744 A CN 202110341744A CN 113096674 B CN113096674 B CN 113096674B
- Authority
- CN
- China
- Prior art keywords
- audio data
- target
- audio
- application
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000001914 filtration Methods 0.000 claims description 28
- 238000005070 sampling Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 9
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000030279 gene silencing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Stereophonic System (AREA)
Abstract
本申请公开了一种音频处理方法、装置及电子设备,该方法应用于虚拟采集器,所述虚拟采集器为电子设备操作***的一部分,响应于接收到的音频获取指令,对获取到的第一音频数据和第二音频数据进行混音处理,获得目标音频数据,将目标音频数据输出至目标应用,使得目标应用输出目标音频,实现了通过虚拟采集器将至少两个音频数据进行混音输出,满足了目标应用需要将多个音频数据混合输出的需求,提升了音频数据的处理效果。
Description
技术领域
本申请涉及信息处理技术领域,尤其涉及一种音频处理方法、装置及电子设备。
背景技术
随着通信技术的发展,越来越多的用户选择视频会议或者音频会议来代替传统的面对面会议。
当用户采用在线会议软件开会时,会议软件只会接受并传输当前讲话者的声音,当讲话者需要演示一段视频或者音频给其他参会人员时,其他参会人员则无法听到,影响在线会议的效果。
发明内容
有鉴于此,本申请提供如下技术方案:
一种音频处理方法,应用于虚拟采集器,所述虚拟采集器为电子设备操作***的一部分,所述方法包括:
接收目标应用的音频获取指令;
响应于所述音频获取指令,获取第一音频数据以及至少与所述第一音频数据相匹配的第二音频数据,所述第一音频数据为基于所述电子设备的麦克风接收到的目标对象产生的音频,所述第二音频数据为所述电子设备生成的音频;
将所述第一音频数据和所述第二音频数据进行混音处理,获得目标音频数据;
将所述目标音频数据输出至所述目标应用,以使得所述目标应用输出所述目标音频数据。
可选地,所述获取第一音频数据以及至少与所述第一音频数据相匹配的第二音频数据,包括:
接收第一音频数据;
响应于产生所述第一音频数据的目标对象生成音频选择指令,在所述电子设备的本地存储区域获取与所述音频选择指令相匹配的第二音频数据。
可选地,所述获取第一音频数据以及至少与所述第一音频数据相匹配的第二音频数据,包括:
接收第一音频数据;
对所述第一音频数据进行解析;
若解析结果包括音频获取关键词,获取与所述音频获取关键词相匹配的第二音频数据。
可选地,所述将所述第一音频数据和所述第二音频数据进行混音处理,获得目标音频数据,包括:
根据目标采样率分别对所述第一音频数据和所述第二音频数据进行采样处理;
将采样处理后的第一音频数据和采样处理后的第二音频数据合成为目标音频数据,所述目标音频数据具有所述目标采样率。
可选地,所述方法还包括:
对所述目标音频数据进行敏感词过滤,获得过滤后的目标音频数据;
将所述过滤后的目标音频数据发送至目标应用,使得所述目标应用输出所述过滤后的目标音频数据。
可选地,所述对所述目标音频数据进行敏感词过滤,获得过滤后的目标音频数据,包括:
获取所述目标应用输出的音频数据对应的接收者的属性信息;
确定与所述属性信息相匹配的敏感词;
对所述目标音频数据进行所述敏感词过滤,获得过滤后的目标音频数据。
可选地,所述对所述目标音频数据进行敏感词过滤,获得过滤后的目标音频数据,包括:
对所述目标音频数据中与所述敏感词对应的音频片段删除,获得删除后的目标音频数据。
可选地,所述方法还包括:
获取与所述目标音频数据相匹配的关联信息;
将与所述敏感词对应的音频片段相匹配的关联信息片段删除,获得删除后的关联信息。
一种音频处理装置,应用于虚拟采集器,所述虚拟采集器为电子设备操作***的一部分,所述装置包括:
接收单元,用于接收目标应用的音频获取指令;
获取单元,用于响应于所述音频获取指令,获取第一音频数据以及至少与所述第一音频数据相匹配的第二音频数据,所述第一音频数据为基于所述电子设备的麦克风接收到的目标对象产生的音频,所述第二音频数据为所述电子设备生成的音频;
处理单元,用于将所述第一音频数据和所述第二音频数据进行混音处理,获得目标音频数据;
输出单元,用于将所述目标音频数据输出至所述目标应用,以使得所述目标应用输出所述目标音频数据。
一种电子设备,包括存储器和虚拟采集器,所述虚拟采集器为电子设备操作***的一部分,其中,
所述存储器,用于存储应用程序和所述应用程序运行所产生的数据;
所述虚拟采集器,用于执行所述应用程序,以实现:
接收目标应用的音频获取指令;
响应于所述音频获取指令,获取第一音频数据以及至少与所述第一音频数据相匹配的第二音频数据,所述第一音频数据为基于所述电子设备的麦克风接收到的目标对象产生的音频,所述第二音频数据为所述电子设备生成的音频;
将所述第一音频数据和所述第二音频数据进行混音处理,获得目标音频数据;
将所述目标音频数据输出至所述目标应用,以使得所述目标应用输出所述目标音频数据。
一种存储介质,其上存储有计算机程序代码,所述计算机程序代码被处理器执行时,实现如上任一所述的音频处理方法。
从上述技术方案可以看出,本申请公开了一种音频处理方法、装置及电子设备,该方法应用于虚拟采集器,所述虚拟采集器为电子设备操作***的一部分,响应于接收到的音频获取指令,对获取到的第一音频数据和第二音频数据进行混音处理,获得目标音频数据,将目标音频数据输出至目标应用,使得目标应用输出目标音频,实现了通过虚拟采集器将至少两个音频数据进行混音输出,满足了目标应用需要将多个音频数据混合输出的需求,提升了音频数据的处理效果。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种音频处理方法的流程示意图;
图2为本申请实施例提供的一种远程会议的应用场景示意图;
图3为本申请实施例提供的一种音频数据的流转示意图;
图4为本申请实施例提供的另一种音频处理方法的流程示意图;
图5为本申请实施例提供的一种音频数据敏感词过滤的流程示意图;
图6为本申请实施例提供的一种音频处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例中提供了一种音频处理方法,所述音频处理方法应用于虚拟采集器,所述虚拟采集器为电子设备操作***的一部分,或,集成在操作***中的程序文件,其可以为电子设备中的应用程序(APP,Application)提供音频数据。参见图1,其示出了本申请实施例提供的一种音频处理方法的流程示意图,该方法可以包括以下步骤:
S101、接收目标应用的音频获取指令。
其中,目标应用为安装在电子设备上的应用程序,该目标应用需要进行音频数据的输入和输出,例如,该目标应用可以是会议应用程序、直播应用程序等等。音频获取指令是由目标应用产生的,如可以是获取当前讲话者的声音,也可以是通过目标应用输出本地音频数据等。
S102、响应于所述目标音频指令,获取第一音频数据以及至少与所述第一音频数据相匹配的第二音频数据。
由于本申请实施例的音频处理方法主要是应用于需要对至少两路音频进行混音输出的场景,因此,在接收到音频获取指令后,会获取第一音频数据以及至少与第一音频数据相匹配的第二音频数据,其中,第一音频数据为基于电子设备的麦克风接收到的目标对象产生的音频,第二音频数据为电子设备生成的音频。电子设备的麦克风是指与电子设备关联的音频接收装置,即物理麦克风,可以是集成在电子设备上的麦克风装置,也可以是电子设备通过数据传输接口,如USB接口连接的麦克风装置。第一音频数据为当前环境通过电子设备的麦克风接收到的当前讲话者的音频数据,如在会议场景中,会议主讲人的声音数据,或者在线上教育场景中,第一音频数据可以是老师的讲解音频。第二音频数据是电子设备生成的音频,即该第二音频数据区别于第一音频数据,不是由目标对象以及与目标对象具有相同属性的对象产生的音频,即不是讲话者产生的音频数据。第二音频数据可以是电子设备本地存储的音频数据,也可以是电子设备连接的外部存储设备中的音频数据,也可以是通过数据传输传递给电子设备的音频数据,如网络搜索获得的音频数据。而该第二音频数据是与第一音频数据相匹配的,即具有一定的关联关系,可以是时间上的关联关系,如设定在第一音频数据生成的过程中何时***第二音频数据,也可以是内容上的关联关系,如当第一音频数据中包括特定信息时,基于该特定信息调用第二音频数据。
S103、将所述第一音频数据和所述第二音频数据进行混音处理,获得目标音频数据。
S104、将所述目标音频数据输出至所述目标应用,以使得所述目标应用输出所述目标音频数据。
在本发明实施例中将第一音频数据和第二音频数据进行混音处理,是指将第一音频数据和第二音频数据进行合成,例如,在会议场景中,可以将讲话者的声音数据与背景音乐数据进行合成,得到目标音频数据。需要说明的是,在本申请实施例中音频数据的混音处理是在虚拟采集器中完成的,无需目标应用单独接收各路音频然后进行合成,即目标应用接收到的音频数据为混音处理后的目标音频数据。这样可以使得无论当前电子设备中的目标应用本身是否具有混音功能,均可以实现混音音频的利用和输出。在虚拟采集器进行混音处理得到目标音频数据后,将目标音频数据输出至目标应用,以使得目标应用输出所述目标音频数据。仍以上述会议场景中将讲话者的声音和背景音乐混合输出为例,其他远程参与会议的人员接在会议应用中接收到的声音,即这些人员听到的声音为讲话者的声音和背景音乐。
本申请实施例中提供的一种音频处理方法,该方法应用于虚拟采集器,所述虚拟采集器为电子设备操作***的一部分,响应于接收到的音频获取指令,对获取到的第一音频数据和第二音频数据进行混音处理,获得目标音频数据,将目标音频数据输出至目标应用,使得目标应用输出目标音频,实现了通过虚拟采集器将至少两个音频数据进行混音输出,满足了目标应用需要将多个音频数据混合输出的需求,提升了音频数据的处理效果。
在本申请实施例中第二音频数据可以是基于产生第一音频数据的对象的选择产生的,也可以是基于对第一音频数据进行自动识别获得的。
在一种可能的实施方式中,所述获取第一音频数据以及至少与所述第一音频数据相匹配的第二音频数据,包括:接收第一音频数据;响应于产生所述第一音频数据的目标对象生成音频选择指令,在所述电子设备的本地存储区域获取与所述音频选择指令相匹配的第二音频数据。
在该实施方式中,第二音频数据由用户选择产生的,该用户是指产生第一音频数据的用户,如在会议场景中,需要依据背景音频进行讲解,则产生第一音频数据的目标对象会在电子设备的本地存储区域选择需要播放的背景音频。此时该背景音频则为第一音频数据相匹配的第二音频数据,在后续进行输出时,会将这两路音频进行合并输出,即目标应用的其他用户获得音频数据包括目标对象的讲话音频和背景音频。对应的,背景音频的终止输出也可以由目标对象确定,即目标对象可以控制背景音频的播放、暂停和终止。使得背景音频不仅能够被目标对象听到,也能够使得目标应用的其他用户接收到该背景音频,并同时接收到目标对象的声音数据。
在另一种可能的实施方式中,所述获取第一音频数据以及至少与所述第一音频数据相匹配的第二音频数据,包括:接收第一音频数据;对所述第一音频数据进行解析;若解析结果包括音频获取关键词,获取与所述音频获取关键词相匹配的第二音频数据。
在该实施方式中,实现了对第一音频数据的自动解析来获得是否对第二音频数据进行添加,以及添加何种第二音频数据。例如,第一音频数据为目标对象输出的声音数据,具体可以为“今天我们讲解的这篇课文是来自第三单元第二课的……,下面我们听一下与这篇课文相关的歌曲**……”当识别到“歌曲**”这个关键词时会在本地存储区域中搜索这首歌曲并进行播放,然后将该歌曲的音频数据作为第二音频数据,与在播放过程中目标对象产生的声音数据进行混音输出至目标应用的其他用户。需要说明的是,除了在本地存储区域以关键字进行音频的搜索和调用外,还可以通过电子设备的网络模块将搜索请求发送至相应的音频云平台,来获得对应的网络数据来作为第二音频数据。
为了能够使得混音处理后的音频数据传输后的播放效果更佳,在本申请的一种实施例中,所述将所述第一音频数据和所述第二音频数据进行混音处理,获得目标音频数据,包括:根据目标采样率分别对所述第一音频数据和所述第二音频数据进行采样处理;将采样处理后的第一音频数据和采样处理后的第二音频数据合称为目标音频数据,所述目标音频数据具有所述目标采样率。
其中,将至少两路音频合成的过程称为混音,在本申请实施例中两路音频分别是第一音频数据和第二音频数据。音频数据可以理解为一个点随着时间不断在一个轴(振膜的垂直方向)上振动的情况,音频采样率是指录音设备在一秒钟内声音信号的采样次数,采样频率越高的声音还原就越真实越自然。在本申请实施例中当虚拟采集器获得第一音频数据和第二音频数据后,对第一音频数据和第二音频数据进行重采样处理,从而得到具有一致采样率即目标采样率的目标音频数据,提升混音音频的分辨率,使得输出的目标音频数据具有较高的音质,从而使得目标应用的用户听到的音频更清晰,提升了音频的处理效果。
下面以目标应用为远程会议应用为例,对本申请实施例中的音频处理方法进行说明。参见图2,其示出了本申请实施例提供的一种远程会议的应用场景示意图。
在图2所示场景中,用户A为当前会议的主讲人,其需要结合电子设备播放的音乐,进行音乐乐理应用的心得分享。用户A的讲解音频即音频a,和电子设备播放的音乐b,进行混音得到目标音频c输出给用户A当前采用的远程会议应用,由该远程会议应用将目标音频c输出给参与该远程会议的其他用户,如用户B、用户C和用户D。
在本发明实施例中是在电子设备上创建一个虚拟采集器,而该虚拟采集器并不是应用程序中的一部分,而是操作***的一部分,也可以理解为是集成在操作***上的程序文件。将该电子设备当前操作***的声音输入设备设置为该虚拟采集器,然后录制真实物理麦克风的数据并抓取***播放设备的声音数据,将这两路音频数据进行合并,再通过虚拟采集器发送给远程会议应用,参会人就能听到主讲者说话声音和主讲者电子设备播放的声音了。
参见图3,其示出了本申请实施例提供的一种音频数据的流转示意图。需要说明的是,在图3所示实施例中包括的模块、装置以及数据流只是为了对本申请实施例的音频处理方法进行解释说明而选择的,实际应用过程可以基于电子设备的结构以及具体的应用场景进行灵活选择。
将***声音输入设备设置成虚拟采集器,该虚拟采集器为操作***的一部分,也可以理解为是虚拟麦克风驱动程序。麦克风录音模块可以从话筒(即电子设备的物理麦克风)录取讲话者说话的声音数据;声音录制模块从***输出设备录取播放声音,即其对电子设备播放的声音进行录制,声音录制模块的启动可以基于讲话者的指令进行的,例如,当讲话者选择某个本地音频数据进行播放时,声音录制模块对该本地音频数据进行录制。然后混音模块将麦克风录音模块传输的讲话者的声音数据以及声音录制模块传输的本地音频数据进行混音处理,得到目标音频数据,将目标音频数据发送给虚拟采集器,由虚拟采集器将目标音频数据传输给目标应用,使得目标应用获取到目标音频数据,并传输给其他参会人。
可见,在本申请实施例中通过虚拟采集器实现了至少两路声音的混合,并输出给对应的目标应用,无论目标应用是否具有混音功能,均可以输出混合后的音频数据至其他用户,降低了软件开发成本。
为了能够提升用户的体验效果,保证输出的目标音频数据适用于各个用户,提升音频数据的应用环境。在本申请实施例提供的音频处理方法还包括对特定音频信息的过滤,如涉及敏感词的音频的过滤。参见图4,其示出了本申请实施例提供的另一种音频处理方法的流程示意图,该方法可以包括以下步骤:
S201、接收目标应用的音频获取指令;
S202、响应于所述音频获取指令,获取第一音频数据以及至少与所述第一音频数据相匹配的第二音频数据;
S203、将所述第一音频数据和所述第二音频数据进行混音处理,获得目标音频数据;
S204、对所述目标音频数据进行敏感词过滤,获得过滤后的目标音频数据;
S205、将所述过滤后的目标音频数据发送至目标应用,使得所述目标应用输出所述过滤后的目标音频数据。
在本申请实施例中在获得了目标音频数据后,需要对敏感词进行过滤,得到过滤后的目标音频数据进行输出。在对敏感词进行过滤时,可以是将目标音频转换为文本,然后将文本与敏感词进行匹配,将匹配上的部分进行过滤,也可以是根据敏感词对应的音频数据特征,在目标音频数据中过滤掉具有该音频数据特征的音频片段。过滤的具体操作可以结合应用场景进行灵活选择,如可以将具有敏感词的音频片段进行删除后输出,也可以是将该音频片段进行消音处理后输出。其中,敏感词可以由用户在不同的应用场景进行确定,也可以是将敏感词存储在敏感词词库中,将音频数据与敏感词词库中的词进行比对。
需要说明的是,在本申请实施例中可以对目标音频数据进行敏感词过滤,也可以是在混音处理之前对第一音频数据和/或第二音频数据进行敏感词过滤,将过滤后的第一音频数据和第二音频数据进行混音,得到目标音频数据。也可以是对指定的音频数据进行过滤,如第一音频数据为讲话者的声音,讲话者可能会规避某些敏感词,而第二音频数据为本地音频,此时可以对第二音频数据进行敏感词过滤,使得输出的目标音频数据满足敏感词过滤的需求。
可以根据不同的应用场景或者不同的目标音频数据的接收者的信息来确定对应的敏感词,对该敏感词进行过滤。即在本申请实施例中,所述对目标音频数据进行敏感词过滤,获得过滤后的目标音频数据,包括:获取目标应用输出的音频数据对应的接收者的属性信息;确定与所述属性信息相匹配的敏感词;对所述目标音频数据进行敏感词过滤,获得过滤后的目标音频数据。
其中,接收者是指虚拟采集器将目标音频数据发送给目标应用后,目标应用对应的用户。属性信息可以是指用户的特征信息,包括用户的年龄、性别、职业等信息。例如,年龄在6-10岁的用户对应的敏感词和年龄在18-35岁的用户对应的敏感词不同,可以基于用户的年龄确定需要过滤的敏感词,然后对敏感词进行过滤。具体的,在线上教育应用场景中,通常是未成年人使用电子设备观看相应的视频或者听音频,因此,可以将不适合未成年人的音频片段删除后再播放,满足了线上教育音频数据实时传输时对未成年人安全性的保护的目的,即采用该方式可以不用再依赖后期音频再处理的方式对音频数据进行过滤,提升了音频数据的处理效率。
对应的,对所述目标音频数据进行敏感词过滤,获得过滤后的目标音频数据,包括:对所述目标音频数据中与所述敏感词对应的音频片段删除,获得删除后的目标音频数据。
在该实施例中对识别到的与敏感词匹配的音频片段进行删除,也可以是进行对应的修改处理,如消音处理,或者是以目标音频片段代替与敏感词匹配的音频片段进行输出。
在本申请的另一实施例中还可以对目标音频数据对应的关联信息进行同步过滤。即获取与目标音频数据相匹配的关联信息,将与敏感词对应的音频片段相匹配的关联信息片段删除,获得删除或的关联信息。
其中,该关联信息可以是与目标音频数据对应的文本数据、视频数据、图像数据等,若识别到音频片段A与敏感词a相匹配,则会对音频片段A进行删除,同时也会对音频片段A对应的关联信息进行删除,如音频片段A对应的文本片段B、图像C等进行删除。
需要说明的是,在本申请实施例中进行敏感词过滤时,敏感词内容可动态更新,可按照不同的用户属性特征使用不同的敏感词,如可按当前用户年龄使用不同敏感词库。该方法可以过滤掉电子设备上播放和接收到的任何音频数据中的符合敏感词对应的音频片段。
由于本申请实施例中的音频数据的敏感词过滤的方法也是应用在虚拟采集器上,即将电子设备当前***声音播放装置设置成该虚拟采集器,所有音频应用或者网络平台播放的音频,都会经过该虚拟采集器,在虚拟采集器中增加语音识别模块识别出语音的文本内容,然后分析文本内容,如果有敏感词内容,则修改或删除掉相对应的音频数据片段,在将处理后的音频数据经由该虚拟采集器进行播放或输出。
参见图5,其示出了本申请实施例提供的一种音频数据敏感词过滤的流程示意图,该方法中,将***声音播放设备设置成虚拟采集器,所有视频应用、音频应用、浏览器应用等播放的音频数据都会传输到虚拟采集器。虚拟采集器将音频数据传输到过滤器中,该过滤器可以包括语音识别模块和敏感词库,通过语音识别模块将音频数据转换为文字,再将该文字与敏感词库中的敏感词进行对比,如果文本中出现敏感词,则过滤器将相对应的音频片段删除,将处理后的音频数据传输到物理播放器设备播放出来。在另一种可能的实施方式中也可以将处理后的音频数据返回给虚拟采集器,由虚拟采集器传输给其他应用或者电子设备进行播放。这样可以使得音频数据在应用过程中完成敏感词的过滤处理,提升了处理效率。并且,可以对电子设备接收或生成的任何音频内容进行过滤,无需采用额外的敏感词识别软件,降低了识别成本。
在本申请实施例中还提供了一种音频处理装置,应用于虚拟采集器,所述虚拟采集器为电子设备操作***的一部分,参见图6,所述装置包括:
接收单元10,用于接收目标应用的音频获取指令;
获取单元20,用于响应于所述音频获取指令,获取第一音频数据以及至少与所述第一音频数据相匹配的第二音频数据,所述第一音频数据为基于所述电子设备的麦克风接收到的目标对象产生的音频,所述第二音频数据为所述电子设备生成的音频;
处理单元30,用于将所述第一音频数据和所述第二音频数据进行混音处理,获得目标音频数据;
输出单元40,用于将所述目标音频数据输出至所述目标应用,以使得所述目标应用输出所述目标音频数据。
本申请公开了一种音频处理方法,该装置应用于虚拟采集器,所述虚拟采集器为电子设备操作***的一部分,接收单元接收音频获取指令,获取单元和处理单元响应于接收到的音频获取指令,对获取到的第一音频数据和第二音频数据进行混音处理,获得目标音频数据,输出单元将目标音频数据输出至目标应用,使得目标应用输出目标音频,实现了通过虚拟采集器将至少两个音频数据进行混音输出,满足了目标应用需要将多个音频数据混合输出的需求,提升了音频数据的处理效果。
在一种实施方式中,获取单元20包括:
接收子单元,用于接收第一音频数据;
第一获取子单元,用于响应于产生所述第一音频数据的目标对象生成音频选择指令,在所述电子设备的本地存储区域获取与所述音频选择指令相匹配的第二音频数据。
在另一种实施方式中,获取单元包括:
接收子单元,用于接收第一音频数据;
解析子单元,用于对所述第一音频数据进行解析;
第二获取子单元,用于若解析结果包括音频获取关键词,获取与所述音频获取关键词相匹配的第二音频数据。
在一种实施方式中,处理单元30包括:
采样子单元,用于根据目标采样率分别对所述第一音频数据和所述第二音频数据进行采样处理;
合成子单元,用于将采样处理后的第一音频数据和采样处理后的第二音频数据合成为目标音频数据,所述目标音频数据具有所述目标采样率。
可选地,所述装置还包括:
过滤单元,用于对所述目标音频数据进行敏感词过滤,获得过滤后的目标音频数据;
发送单元,用于将所述过滤后的目标音频数据发送至目标应用,使得所述目标应用输出所述过滤后的目标音频数据。
在一种实施方式中,过滤单元具体用于:
获取所述目标应用输出的音频数据对应的接收者的属性信息;
确定与所述属性信息相匹配的敏感词;
对所述目标音频数据进行所述敏感词过滤,获得过滤后的目标音频数据。
在另一种实施方式中,过滤单元具体用于:
对所述目标音频数据中与所述敏感词对应的音频片段删除,获得删除后的目标音频数据。
可选地,所述装置还包括:
关联信息获取单元,用于获取与所述目标音频数据相匹配的关联信息;
关联信息过滤单元,用于将与所述敏感词对应的音频片段相匹配的关联信息片段删除,获得删除后的关联信息。
在本申请实施例中还提供了一种电子设备,本实施例的技术方案主要针对多路音频数据进行混合处理,保证目标应用的所有用户都能获取到混合后的音频数据。具体的,该电子设备包括存储器和虚拟采集器,所述虚拟采集器为电子设备操作***的一部分,其中,
所述存储器,用于存储应用程序和所述应用程序运行所产生的数据;
所述虚拟采集器,用于执行所述应用程序,以实现:
接收目标应用的音频获取指令;
响应于所述音频获取指令,获取第一音频数据以及至少与所述第一音频数据相匹配的第二音频数据,所述第一音频数据为基于所述电子设备的麦克风接收到的目标对象产生的音频,所述第二音频数据为所述电子设备生成的音频;
将所述第一音频数据和所述第二音频数据进行混音处理,获得目标音频数据;
将所述目标音频数据输出至所述目标应用,以使得所述目标应用输出所述目标音频数据。
本申请公开了一种电子设备,该方法应用于虚拟采集器,所述虚拟采集器为电子设备操作***的一部分,响应于接收到的音频获取指令,对获取到的第一音频数据和第二音频数据进行混音处理,获得目标音频数据,将目标音频数据输出至目标应用,使得目标应用输出目标音频,实现了通过虚拟采集器将至少两个音频数据进行混音输出,满足了目标应用需要将多个音频数据混合输出的需求,提升了音频数据的处理效果。
需要说明的是,本实施例中虚拟采集器的具体实现可以参考前文中相应内容,此处不再详述。
在本申请实施例中还提供了一种存储介质,所述存储介质存储有计算机程序代码,所述计算机程序代码被处理器执行时,实现如上任一所述的音频处理方法。
需要说明的是,本实施例中存储介质的具体实现可以参考前文中相应内容,此处不再详述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种音频处理方法,应用于虚拟采集器,所述虚拟采集器是在电子设备上创建的集成在操作***上的程序文件,所述虚拟采集器为电子设备操作***的一部分,能够为所述电子设备中的应用程序提供音频数据,所述方法包括:
接收目标应用的音频获取指令;
响应于所述音频获取指令,获取第一音频数据以及至少与所述第一音频数据相匹配的第二音频数据,所述第一音频数据为基于所述电子设备的麦克风接收到的目标对象产生的音频,所述第二音频数据为所述电子设备生成的音频,所述第一音频数据与所述第二音频数据具有关联关系;
将所述第一音频数据和所述第二音频数据进行混音处理,获得目标音频数据;
将所述目标音频数据输出至所述目标应用,以使得所述目标应用输出所述目标音频数据。
2.根据权利要求1所述的方法,所述获取第一音频数据以及至少与所述第一音频数据相匹配的第二音频数据,包括:
接收第一音频数据;
响应于产生所述第一音频数据的目标对象生成音频选择指令,在所述电子设备的本地存储区域获取与所述音频选择指令相匹配的第二音频数据。
3.根据权利要求1所述的方法,所述获取第一音频数据以及至少与所述第一音频数据相匹配的第二音频数据,包括:
接收第一音频数据;
对所述第一音频数据进行解析;
若解析结果包括音频获取关键词,获取与所述音频获取关键词相匹配的第二音频数据。
4.根据权利要求1所述的方法,所述将所述第一音频数据和所述第二音频数据进行混音处理,获得目标音频数据,包括:
根据目标采样率分别对所述第一音频数据和所述第二音频数据进行采样处理;
将采样处理后的第一音频数据和采样处理后的第二音频数据合成为目标音频数据,所述目标音频数据具有所述目标采样率。
5.根据权利要求1所述的方法,所述方法还包括:
对所述目标音频数据进行敏感词过滤,获得过滤后的目标音频数据;
将所述过滤后的目标音频数据发送至目标应用,使得所述目标应用输出所述过滤后的目标音频数据。
6.根据权利要求5所述的方法,所述对所述目标音频数据进行敏感词过滤,获得过滤后的目标音频数据,包括:
获取所述目标应用输出的音频数据对应的接收者的属性信息;
确定与所述属性信息相匹配的敏感词;
对所述目标音频数据进行所述敏感词过滤,获得过滤后的目标音频数据。
7.根据权利要求5所述的方法,所述对所述目标音频数据进行敏感词过滤,获得过滤后的目标音频数据,包括:
对所述目标音频数据中与所述敏感词对应的音频片段删除,获得删除后的目标音频数据。
8.根据权利要求7所述的方法,所述方法还包括:
获取与所述目标音频数据相匹配的关联信息;
将与所述敏感词对应的音频片段相匹配的关联信息片段删除,获得删除后的关联信息。
9.一种音频处理装置,应用于虚拟采集器,所述虚拟采集器是在电子设备上创建的集成在操作***上的程序文件,所述虚拟采集器为电子设备操作***的一部分,能够为所述电子设备中的应用程序提供音频数据,所述装置包括:
接收单元,用于接收目标应用的音频获取指令;
获取单元,用于响应于所述音频获取指令,获取第一音频数据以及至少与所述第一音频数据相匹配的第二音频数据,所述第一音频数据为基于所述电子设备的麦克风接收到的目标对象产生的音频,所述第二音频数据为所述电子设备生成的音频,所述第一音频数据与所述第二音频数据具有关联关系;
处理单元,用于将所述第一音频数据和所述第二音频数据进行混音处理,获得目标音频数据;
输出单元,用于将所述目标音频数据输出至所述目标应用,以使得所述目标应用输出所述目标音频数据。
10.一种电子设备,包括存储器和虚拟采集器,所述虚拟采集器是在电子设备上创建的集成在操作***上的程序文件,所述虚拟采集器为电子设备操作***的一部分,能够为所述电子设备中的应用程序提供音频数据,其中,
所述存储器,用于存储应用程序和所述应用程序运行所产生的数据;
所述虚拟采集器,用于执行所述应用程序,以实现:
接收目标应用的音频获取指令;
响应于所述音频获取指令,获取第一音频数据以及至少与所述第一音频数据相匹配的第二音频数据,所述第一音频数据为基于所述电子设备的麦克风接收到的目标对象产生的音频,所述第二音频数据为所述电子设备生成的音频,所述第一音频数据与所述第二音频数据具有关联关系;
将所述第一音频数据和所述第二音频数据进行混音处理,获得目标音频数据;
将所述目标音频数据输出至所述目标应用,以使得所述目标应用输出所述目标音频数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110341744.XA CN113096674B (zh) | 2021-03-30 | 2021-03-30 | 一种音频处理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110341744.XA CN113096674B (zh) | 2021-03-30 | 2021-03-30 | 一种音频处理方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113096674A CN113096674A (zh) | 2021-07-09 |
CN113096674B true CN113096674B (zh) | 2023-02-17 |
Family
ID=76671260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110341744.XA Active CN113096674B (zh) | 2021-03-30 | 2021-03-30 | 一种音频处理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113096674B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105323534A (zh) * | 2014-07-14 | 2016-02-10 | 深圳市潮流网络技术有限公司 | 一种第三方应用的会议处理方法和通讯设备 |
CN109559763A (zh) * | 2017-09-26 | 2019-04-02 | 华为技术有限公司 | 一种实时数字音频信号混音的方法及装置 |
CN109767777A (zh) * | 2019-01-31 | 2019-05-17 | 迅雷计算机(深圳)有限公司 | 一种直播软件的混音方法 |
CN110534113A (zh) * | 2019-08-26 | 2019-12-03 | 深圳追一科技有限公司 | 音频数据脱敏方法、装置、设备和存储介质 |
CN110826319A (zh) * | 2019-10-30 | 2020-02-21 | 维沃移动通信有限公司 | 应用信息的处理方法及终端设备 |
CN111107442A (zh) * | 2019-11-25 | 2020-05-05 | 北京大米科技有限公司 | 音视频文件的获取方法、装置、服务器及存储介质 |
CN112423009A (zh) * | 2020-11-09 | 2021-02-26 | 珠海格力电器股份有限公司 | 一种控制直播音频的方法及设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016012863A (ja) * | 2014-06-30 | 2016-01-21 | ブラザー工業株式会社 | 端末装置、プログラム及び遠隔会議方法 |
-
2021
- 2021-03-30 CN CN202110341744.XA patent/CN113096674B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105323534A (zh) * | 2014-07-14 | 2016-02-10 | 深圳市潮流网络技术有限公司 | 一种第三方应用的会议处理方法和通讯设备 |
CN109559763A (zh) * | 2017-09-26 | 2019-04-02 | 华为技术有限公司 | 一种实时数字音频信号混音的方法及装置 |
CN109767777A (zh) * | 2019-01-31 | 2019-05-17 | 迅雷计算机(深圳)有限公司 | 一种直播软件的混音方法 |
CN110534113A (zh) * | 2019-08-26 | 2019-12-03 | 深圳追一科技有限公司 | 音频数据脱敏方法、装置、设备和存储介质 |
CN110826319A (zh) * | 2019-10-30 | 2020-02-21 | 维沃移动通信有限公司 | 应用信息的处理方法及终端设备 |
CN111107442A (zh) * | 2019-11-25 | 2020-05-05 | 北京大米科技有限公司 | 音视频文件的获取方法、装置、服务器及存储介质 |
CN112423009A (zh) * | 2020-11-09 | 2021-02-26 | 珠海格力电器股份有限公司 | 一种控制直播音频的方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113096674A (zh) | 2021-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109147784B (zh) | 语音交互方法、设备以及存储介质 | |
CN104144097B (zh) | 语音消息传输***、发送端、接收端及语音消息传输方法 | |
CN109951743A (zh) | 弹幕信息处理方法、***及计算机设备 | |
CN110390927B (zh) | 音频处理方法、装置、电子设备及计算机可读存储介质 | |
US11650790B2 (en) | Centrally controlling communication at a venue | |
CN104869467A (zh) | 媒体播放中的信息输出方法、装置和*** | |
US11727940B2 (en) | Autocorrection of pronunciations of keywords in audio/videoconferences | |
CN110933485A (zh) | 一种视频字幕生成方法、***、装置和存储介质 | |
US11741984B2 (en) | Method and apparatus and telephonic system for acoustic scene conversion | |
CN112688965B (zh) | 一种会议音频共享方法、装置、电子设备及存储介质 | |
CN102262344A (zh) | 可即时分享所播放投影片影像的投影机 | |
CN110149528B (zh) | 一种过程录制方法、装置、***、电子设备、及存储介质 | |
CN113096674B (zh) | 一种音频处理方法、装置及电子设备 | |
JP2019176375A (ja) | 動画出力装置、動画出力方法および動画出力プログラム | |
CN111798872B (zh) | 用于在线互动平台的处理方法、装置及电子设备 | |
CN116472705A (zh) | 一种会议内容显示的方法、会议***及会议设备 | |
CN112562733A (zh) | 媒体数据处理方法及装置、存储介质、计算机设备 | |
JP4531013B2 (ja) | 映像音声会議システムおよび端末装置 | |
CN113593568B (zh) | 将语音转换成文本的方法、***、装置、设备及存储介质 | |
CN111816183B (zh) | 基于音视频录制的语音识别方法、装置、设备及存储介质 | |
CN114449341B (zh) | 音频处理方法、装置、可读介质及电子设备 | |
WO2024004008A1 (ja) | 配信中における配信者の反応に基づいてチャプタを設定する動画配信 | |
KR20190138980A (ko) | 개인 방송이 가능한 네트워크 기반의 노래방 서비스를 지원하는 노래반주기 및 그 동작 방법 | |
KR102171479B1 (ko) | 디지털 오디오 공동 재생 서비스 방법 및 시스템 | |
JP2013201505A (ja) | テレビ会議システム及び多地点接続装置並びにコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |