CN111182416B - 处理方法、装置及电子设备 - Google Patents
处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111182416B CN111182416B CN201911424482.2A CN201911424482A CN111182416B CN 111182416 B CN111182416 B CN 111182416B CN 201911424482 A CN201911424482 A CN 201911424482A CN 111182416 B CN111182416 B CN 111182416B
- Authority
- CN
- China
- Prior art keywords
- audio signal
- audio
- target
- sound source
- acquisition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
- H04R2201/107—Monophonic and stereophonic headphones with microphone for two-way hands free communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2410/00—Microphones
- H04R2410/05—Noise reduction with a separate noise microphone
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请涉及一种处理方法、装置及电子设备,该方法通过对电子设备本体以及外接的不同音频采集装置采集的不同音频信号进行处理,得到目标音频信号的比例得以提升的音频信号,可相应实现借助电子设备的第一音频采集装置,对电子设备外接的第二音频采集装置的音频信号进行降噪,从而,不必在第二音频采集装置中设置双麦克,即可达到对第二音频采集装置的音频进行降噪的目的,在不改进第二音频采集装置的硬件结构的前提下,为其扩展了降噪功能,实现了一种结构简洁、低成本的收音和降噪处理方案。
Description
技术领域
本申请属于音频采集与处理技术领域,尤其涉及一种处理方法、装置及电子设备。
背景技术
目前的音频采集装置,如耳机产品等,针对其收音(音频录入)应用场景,可分为具备降噪功能与不具备降噪功能两种类型,对于具备降噪功能的音频采集装置来说,传统方式是采用双麦克方案,进行声音信号的收音和降噪处理。
该方案由于需要在音频采集装置如耳机产品中集成双麦克,从而会导致音频采集装置产品结构的复杂化和产品成本的提升,因此,如何实现一种结构(音频采集装置的结构)简洁、低成本的收音和降噪处理方案,成为当前需解决的问题。
发明内容
本申请公开如下技术方案:
一种处理方法,包括:
获得第一音频采集装置采集的第一音频信号和第二音频采集装置采集的第二音频信号;其中,所述第一音频信号和所述第二音频信号的采集时间相同;其中,所述第一音频采集装置是设置在电子设备本体的,所述第二音频采集装置是通过电子设备本体的接口连接的;
至少处理所述第一音频信号和所述第二音频信号,得到第三音频信号;其中,所述第三音频信号包括目标音频信号,且所述目标音频信号在所述第三音频信号中的第三比例高于第一比例和第二比例,其中,所述第一比例是所述目标音频信号在所述第一音频信号中的比例,所述第二比例是所述目标音频信号在所述第二音频信号中的比例。
上述方法,优选的,所述目标音频信号是对应目标音源的信号;所述目标音源距离所述第二音频采集装置的第二距离小于所述目标音源距离所述第一音频采集装置的第一距离;
其中,所述第一比例小于所述第二比例。
上述方法,优选的,所述至少处理所述第一音频信号和所述第二音频信号至少包括:
在所述第二音频信号中去除所述第一音频信号,得到差量信号;
其中,所述第三音频信号包括所述差量信号。
上述方法,优选的,还包括:
对所述差量信号进行放大处理,得到第三音频信号。
上述方法,优选的,在至少处理所述第一音频信号和所述第二音频信号之前,还包括:
确定出所述第一音频信号和/或所述第二音频信号对应的至少一个音源中符合音源条件的音源,作为所述目标音源;
确定出所述第二音频信号中对应于所述目标音源的目标音频信号;
调整所述第二音频信号中所述目标音频信号的增益,和/或调整所述第二音频信号中所述目标音频信号除外的其他相应信号的增益,得到增益得以调整的第二音频信号,以使得至少处理所述第一音频信号和所述增益得以调整的第二音频信号,得到第三音频信号。
上述方法,优选的,所述音源条件包括音源的位置条件;所述第二音频采集装置包括指向性音频采集装置;
所述确定出所述第一音频信号和/或所述第二音频信号对应的至少一个音源中符合音源条件的音源,作为所述目标音源,包括:
基于采集所述至少一个音源的音频时所述指向性音频采集装置的振膜的受力信息,确定所述至少一个音源对应的至少一个位置信息;
确定出位置信息满足所述位置条件的音源作为所述目标音源。
上述方法,优选的,所述音源条件包括音源的图像特征条件;
所述确定出所述第一音频信号和/或所述第二音频信号对应的至少一个音源中符合音源条件的音源,作为所述目标音源,包括:
获得所述电子设备的图像采集装置采集的至少一个目标图像;所述至少一个目标图像与所述第一音频信号或所述第二音频信号的采集时间一致;
确定出所述至少一个目标图像中图像特征满足所述图像特征条件的音源,作为所述目标音源。
上述方法,优选的,所述确定出所述第二音频信号中对应于所述目标音源的目标音频信号,包括:
获得所述目标音源发出的音频的音频特征;
从所述第二音频信号中确定出与所述音频特征相匹配的音频信号,作为所述目标音频信号。
一种处理装置,包括:
获取单元,用于获得第一音频采集装置采集的第一音频信号和第二音频采集装置采集的第二音频信号;其中,所述第一音频信号和所述第二音频信号的采集时间相同;其中,所述第一音频采集装置是设置在电子设备本体的,所述第二音频采集装置是通过电子设备本体的接口连接的;
处理单元,用于至少处理所述第一音频信号和所述第二音频信号,得到第三音频信号;其中,所述第三音频信号包括目标音频信号,且所述目标音频信号在所述第三音频信号中的第三比例高于第一比例和第二比例,其中,所述第一比例是所述目标音频信号在所述第一音频信号中的比例,所述第二比例是所述目标音频信号在所述第二音频信号中的比例。
一种电子设备,包括:
至少一个音频采集装置;
存储器,用于至少存储一组指令集;
处理器,用于调用并执行所述存储器中的所述指令集,通过执行所述指令集执行如上任一项所述的处理方法。
由以上方案可知,本申请提供的处理方法,通过对电子设备本体以及外接的不同音频采集装置采集的不同音频信号进行处理,得到目标音频信号的比例得以提升的音频信号,可相应实现借助电子设备的第一音频采集装置,对电子设备外接的第二音频采集装置的音频信号进行降噪,从而,不必在第二音频采集装置中设置双麦克,即可达到对第二音频采集装置的音频进行降噪的目的,在不改进第二音频采集装置的硬件结构的前提下,为其扩展了降噪功能,实现了一种结构简洁、低成本的收音和降噪处理方案。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本申请实施例提供的处理方法的一种流程示意图;
图2是本申请实施例提供的借助电子设备本体的第一音频采集装置对外接的第二音频采集装置进行降噪的一种应用场景示意图;
图3是本申请实施例提供的处理方法的另一种流程示意图;
图4是本申请实施例提供的借助电子设备本体的第一音频采集装置对外接的第二音频采集装置进行降噪的另一种应用场景示意图;
图5是本申请实施例提供的处理方法的又一种流程示意图;
图6是本申请实施例提供的处理方法的再一种流程示意图;
图7是本申请实施例提供的确定目标音源的一种实现过程流程图;
图8是本申请实施例提供的不同音源与耳机mic之间的不同位置关系示意图;
图9是本申请实施例提供的确定目标音源的另一种实现过程流程图;
图10是本申请实施例提供的电子设备的结构示意图;
图11是本申请实施例提供的处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提供了一种处理方法、装置及电子设备,目的在于借助手机、平板或笔记本、台式机/一体机等终端设备自带的麦克风等第一音频采集装置,对耳机产品(或单独设置的麦克风)等第二音频采集装置的音频进行降噪,以使得在耳机产品等第二音频采集装置仅集成有一个麦克风的情况下,也能达到降噪目的,在不改进其硬件结构的前提下,为其扩展降噪功能。
以下将通过具体实施例对本申请的处理方法、装置及电子设备进行说明。
在本申请一可选实施例中,提供了一种处理方法,该方法可应用于但不限于手机、平板、个人数字助理等便携式终端设备,或通用/专用计算或配置环境中的便携式计算机(如笔记本)、台式计算机或一体式计算机等设备。
或者,可选地,该方法还可以以软件功能模块的形式应用于耳机等第二音频采集装置中。
具体实施中,为了在达到降噪目的的同时,尽可能简化耳机等第二音频采集装置的功能设计,降低其产品成本,优选地,可将本申请的处理方法应用于上述的移动终端或计算机设备中,相应可减轻耳机等第二音频采集装置的负担、降低其功能设计的复杂度。
参阅图1,示出了本实施例中一种处理方法的流程示意图,如图1所示,本实施例中,该处理方法至少包括:
步骤101、获得第一音频采集装置采集的第一音频信号和第二音频采集装置采集的第二音频信号。
第一音频采集装置,是设置在电子设备本体中的音频采集装置,如图2所示,具体可以是手机、笔记本等电子设备自带的麦克风(mic)。
相对地,第二音频采集装置,则是电子设备外接的音频采集装置,示例性地,参阅图2,比如可以是耳机、一个单独设置的麦克风等。容易理解的是,本申请实施例中,耳机等第二音频采集装置自身仅具备一个用于采集音频的麦克风,难以基于自身的硬件组成实现降噪功能。
第二音频采集装置,可以通过电子设备的有线接口(如通用串行总线USB接口或3.5mm Audio接口)或无线接口(如蓝牙)接入电子设备。
在将耳机等第二音频采集装置接入电子设备的基础上,当需要采用第二音频采集装置进行录音或通话时,可借助电子设备本体的第一音频采集装置,为第二音频采集装置扩展降噪功能。
由此,当需要采用第二音频采集装置进行录音或通话时,本实施例中,获得第一音频采集装置采集的第一音频信号和第二音频采集装置采集的第二音频信号,以使得具体借助电子设备本体的第一音频采集装置采集的第一音频信号,来对第二音频采集装置采集的第二音频信号进行降噪。
其中,第一音频信号和第二音频信号的采集时间相同,通过相同的采集时间,来保证第一音频信号和第二音频信号在音频内容(如语音内容)上的一致性,进而可使得将两者相结合实现降噪。
具体实施中,可选地,可以在电子设备中以应用软件的形式,实现本申请方法的处理功能,或者,可选地,还可以将本申请方法的处理功能作为设备本地功能集成在电子设备的操作***中。相应地,在利用电子设备本体的第一音频采集装置辅助外接的第二音频采集装置进行降噪处理时,可由电子设备或者安装于电子设备的应用软件,获得电子设备本体的第一音频采集装置采集的第一音频信号,以及通过设备接口,如USB接口、3.5mm Audio接口或蓝牙接口等,获得第二音频采集装置采集的第二音频信号。
但并不限于此,还可以将本申请的处理功能实现在耳机等第二音频采集装置上,此情形下,则可由第二音频采集装置获得自身采集的第二音频信号,并通过接口获取第一音频采集装置采集的第一音频信号。
步骤102、至少处理第一音频信号和第二音频信号,得到第三音频信号。
在获得第一音频采集装置采集的第一音频信号和第二音频采集装置采集的第二音频信号之后,至少处理该第一音频信号和第二音频信号,以实现对第二音频信号进行降噪。
该至少处理第一音频信号和第二音频信号,可以包括:
利用第一音频信号对第二音频信号进行降噪处理,相应得到第三音频信号。
其中,第三音频信号包括目标音频信号,且目标音频信号在第三音频信号中的第三比例,高于目标音频信号在第一音频信号中的第一比例,以及高于目标音频信号在第二音频信号中的第二比例。
该目标音频信号是对应于目标音源的信号,更具体地,是对目标音源发出的声音进行采集所得的信号。
目标音源,如图2所示,可以是但不限于利用第二音频采集装置进行录音或通话的目标讲话人。在目标音源利用第二音频采集装置进行录音或通话时,一个最核心的目的,便于能够获得目标音源的清晰、低噪音的目标音频信号(如目标讲话人的讲话语音),然而实际应用场景中,往往存在各种各样的噪声,如其他说话人的声音和/或施工、交通等环境噪音等,这就使得在录入的音频信号中,除了目标音源的目标音频信号还包括噪音信号。
本实施例中,在至少处理第一音频信号和第二音频信号,得到第三音频信号后,与第一音频信号和第二音频信号相比,第三音频信号中目标音源对应的目标音频信号的占比增大,相对地,则第三音频信号中噪音信号的占比减小,也即,通俗来讲,用户期望的语音在第三音频信号中的比例(与其在第一音频信号、第二音频信号中的比例相比)是最高的,从而,达到了对第二音频采集装置原始采集的第二音频信号进行降噪的目的。
由以上方案可知,本实施例中,通过对电子设备本体以及外接的不同音频采集装置采集的不同音频信号进行处理,得到目标音频信号的比例得以提升的音频信号,可相应实现借助电子设备的第一音频采集装置,对电子设备外接的第二音频采集装置的音频信号进行降噪,从而,不必在第二音频采集装置中设置双麦克,即可达到对第二音频采集装置的音频进行降噪的目的,在不改进第二音频采集装置的硬件结构的前提下,为其扩展了降噪功能,实现了一种结构简洁、低成本的收音和降噪处理方案。
在本申请一可选实施例中,参阅图3示出的处理方法的流程示意图,该处理方法还可以通过以下的处理过程实现:
步骤301、获得第一音频采集装置采集的第一音频信号和第二音频采集装置采集的第二音频信号。
在利用电子设备本体的第一音频采集装置辅助外接的第二音频采集装置进行降噪处理时,可在电子设备上获得设备本体的第一音频采集装置采集的第一音频信号,以及通过设备接口,如USB接口、3.5mm Audio接口或蓝牙接口等,获得第二音频采集装置采集的第二音频信号。
该步骤301与上一实施例中的步骤101相同,具体可参阅上一实施例中对步骤101的说明,这里不再赘述。
步骤302、在第二音频信号中去除第一音频信号,得到差量信号。
其中,上述的第三音频信号包括该差量信号。
在实际佩戴或持有耳机等第二音频采集装置,进行录音或通话的场景中,目标音源(如进行录音或通话的目标说话人)距离第二音频采集装置的第二距离,通常是小于目标音源距离第一音频采集装置的第一距离的(本质上来说,第二音频采集装置的核心目的就是重点对目标音源的声音进行拾取),且常规情况下,目标音源距离第二音频采集装置的第二距离,也往往小于其他的各个音源距离第二音频采集装置的距离,这里将目标音源之外的其他音源视为噪音源。噪音源可能是其他的说话人,或者交通、施工等环境声音的音源。
如图4所示,进行录音或通话的目标说话人用户1距离耳机mic的第二距离小于其距离笔记本mic的第一距离,且目标说话人用户1距离耳机mic的第二距离小于其他噪音源如图中的用户2、用户3距离耳机mic的距离。
鉴于该特点,通常情况下,第二音频采集装置对目标音源所发出声音的收音效果较好,从而在所采集的第二音频信号中,目标音源对应的目标音频信号的声音强度(音量)较大,相对应地,第二音频采集装置对其他噪音源所发出声音的收音效果较差,第二音频信号中,噪音源对应的噪音音频信号的声音强度(音量)则较小。也即,在第二音频采集装置采集的第二音频信号中,目标音源对应的目标音频信号的声音强度,大于其他噪音源对应的噪音音频信号的声音强度。
而在第一音频采集装置采集的第一音频信号中,由于目标音源及其他各噪音源与第一音频采集装置之间的距离均相对较大(如通常均远大于目标讲话人嘴部与耳机mic之间的距离),从而,第一音频信号中,目标音源对应的目标音频信号以及其他噪音源对应的噪音音频信号,在声音强度上相对均衡,不会有较大差别。且进一步地,对于各个噪音源来说,第一音频采集装置采集的噪音音频信号与第二音频采集装置采集的噪音音频信号在声音强度上同样不会存在较大差别。
对于此种情形,还可以理解为:目标音源的目标音频信号在第一音频号中的第一比例小于其在第二音频信号中的第二比例(第二音频信号中包含更高比例的用户期望的语音)。
由此,本实施例中,基于第一音频采集装置、第二音频采集装置采集的音频信号的以上特点,将第一音频采集装置采集的第一音频信号作为本底噪音,对第二音频采集装置采集的第二音频信号进行降噪处理,且具体地,可在第二音频信号中去除第一音频信号,得到差量信号。
上述的第三音频信号包括所得的该差量信号。更具体地,作为一种可能的实现方式,可直接将该差量信号作为上述的第三音频信号。
容易理解的是,该差量信号中至少包括目标音源的目标音频信号,而其他音源对应的噪音信号则较高程度地被去除掉,从而实现了对第二音频采集装置采集的第二音频信号进行降噪。
以下举例说明。
在用户1佩戴耳机并利用耳机mic进行收音通话的场景中,如图4所示,由于用户1的嘴部距离耳机mic最近,收音效果较好,从而,可假设耳机mic收录的用户1的音频信号为1A,而用户2、用户3距离耳机mic较远,收音效果较差,相应地,可假设耳机mic收录的用户2、用户3的音频信号为0.5B、0.5C(该示例中的“1”或“0.5”,仅用于表明音频信号的声音强度的高低,不作为实际的参数取值)。而对于笔记本mic来说,其与用户1、用户2、用户3之间的距离均相对较远,从而对各个用户的收音效果会差于耳机mic对用户1的收音效果,且与耳机mic对用户2、用户3的收音效果差别不大,由此,将笔记本mic对用户1、用户2、用户3进行收音所得的音频信号分别假设为:0.5A、0.5B、0.5C。
在此基础上,通过从耳机mic采集的音频信号(1A+0.5B+0.5C)中去除笔记本mic采集的音频信号(0.5A+0.5B+0.5C),即可得到上述的差量信号,具体如下:
(1A+0.5B+0.5C)-(0.5A+0.5B+0.5C)=0.5A。
以上的描述仅为本申请的一个示例,具体实施中,在耳机mic与笔记本mic采集的音频信号中,对应于噪音源的音频信号可能并不是完全一致的、存在微小差异,这样,在从耳机mic的音频信号中去除笔记本mic的音频信号后,可能仍存在微弱的噪音信号,但这同样能够达到对耳机mic的音频信号实现降噪的目的。
从而,常规情况下,在经由以上处理所得的差量信号中,至少包括目标讲话人等目标音源对应的目标音频信号,而对于其他音源对应的噪音信号,要么被消除掉,要么经信号消减后仅留存一些较微弱的噪音信号,以此实现了对耳机mic的音频信号进行降噪。
特定音源发出的声音信号具有特定的频率,具体实施中,可基于音频信号的频率区分出不同的音频信号,并将第二音频信号与第一音频信号中频率一致的音频信号进行对应消减,以此达到对第二音频采集装置采集的第二音频信号进行降噪的目的。除此之外,还可以基于不同音源的不同声纹特征来区分不同的音频信号并对应消减,在此不做限制。
本实施例中,通过从耳机等第二音频采集装置采集的第二音频信号中,去除笔记本mic等第一音频采集装置采集的第一音频信号,实现了对第二音频采集装置采集的第二音频信号进行降噪,在无需改进第二音频采集装置的硬件结构的前提下,为其扩展了降噪功能。
在本申请一可选实施例中,参阅图5示出的处理方法的流程示意图,该处理方法在得到上述的差量信号后,还可以包括以下处理:
步骤303、对差量信号进行放大处理,得到第三音频信号。
在从第二音频信号中去除第一音频信号后,除了至少降低第二音频信号中的噪音信号,第二音频信号中包括的对应于目标音源的目标音源信号也在一定程度上被削弱,例如上文实施例中,目标音源信号由原始的1A变为0.5A,这就会使得在对所得的差量信号进行音频输出时,其中的目标音频信号的声音强度较小。
针对上述情形,本实施例中,在进行音频输出之前,首先对所得的差量信号进行放大处理,以至少保证正常的用户体验。
其中,具体可采用音频放大器实现对差量信号的放大,本实施例相应将放大处理后的差量信号作为最终的第三音频信号。
后续,可在相应音频播放装置中,输出、播放该第三音频信号,如在用户的当前电子设备上,或者在与用户的当前电子设备进行远程通信的对端设备上输出、播放该第三音频信号等。
本实施例中,通过对所得的差量信号进行放大处理,可保证在对第二音频采集装置采集的第二音频信号进行降噪处理后,能够得到音量正常的经降噪的第三音频信号,相应可使得能具备较好的用户体验。
在采用耳机等第二音频采集装置进行录音或通话时,多数情况下,目标音源与第二音频采集装置的距离较近,第二音频采集装置对目标音源的收音效果较好,相应会使得采集到的第二音频信号中,目标音源对应的目标音频信号的声音强度最大,远大于其他信号的声音强度,以此使得能够通过从第二音频信号中去除第一音频采集装置采集的第一音频信号,实现对第二音频信号进行降噪,得到较为干净、无噪音/低噪音的目标音频信号,但是,这并不是绝对的,实际应用中,可能会由于其他音源(噪音源)距离第二音频采集装置的距离同样较近和/或其他音源发出的声音较大等原因,而导致所采集的第二音频信号中,出现噪音信号的声音强度较大的现象,如噪音信号的声音强度接近甚至超过目标音频信号的声音强度等,此情形下,基于上述的处理过程则无法成功得到较干净、无噪音/低噪音的目标音频信号。
由此,提出了本申请实施例的实现方式。
参阅图6示出的处理方法的流程示意图,本实施例中,为解决上述问题,该处理方法还可以通过以下的处理过程实现:
步骤601、获得第一音频采集装置采集的第一音频信号和第二音频采集装置采集的第二音频信号。
其中,第一音频信号和第二音频信号的采集时间相同;第一音频采集装置是设置在电子设备本体的,第二音频采集装置是通过电子设备本体的接口连接的。
对于该步骤601,具体可参阅上文实施例中对步骤101的相关说明,这里不再赘述。
步骤602、确定出所述第一音频信号和/或所述第二音频信号对应的至少一个音源中符合音源条件的音源,作为目标音源。
作为一种可能的实现方式,该音源条件包括音源的位置条件。
在该实现方式下,第二音频采集装置包括指向性音频采集装置。
相应地,在该实现方式下,如图7所示,步骤602可以包括:
步骤701、基于采集至少一个音源的音频时指向性音频采集装置的振膜的受力信息,确定至少一个音源对应的至少一个位置信息。
本实施例中,指向性音频采集装置,可以是但不限于单一指向性、心型指向性、超心型指向性等类型的音频采集装置,音频采集装置的指向性是音频采集装置对来自空间各个方向声音灵感度模式的一个描述,指向性音频采集装置会对其所指向的方位的音源具有较高的声音灵感度。
指向性音频采集装置以多振膜技术为基础,通过变换咪头的腔体设定以及混合调制多振膜接收的声音信号,获得对不同方向的声音的灵敏度。
本实施例中,基于指向性音频采集装置具有多振膜的特点,在音频采集装置对音源发出的声音进行采集时,通过检测不同振膜的受力信息,来判定音源的位置。其中,在进行声音信号采集时,与音源方位相匹配的位置的振膜所受的压力较大,由此,不同振膜的不同受力信息能够反映声音信号的来源方位,据此判定音源的位置信息。
所获得的音源的位置信息,可以包括但不限于音源的方位和/或角度等信息。具体实施中,音源的方位或角度可以是:以指向性音频采集装置为参照而确定的方位和/或角度。
示例性地,音源的位置信息比如可以是:位于指向性音频采集装置的正前方、左方、右方,或者位于指向性音频采集装置的前方且与指向性音频采集装置的朝向成30°夹角的方向等。
相匹配的,上述的位置条件可以是但不限于方位和/角度条件。
实际应用中,为了使得具备较好的收音效果,用户通常会控制指向性音频采集装置朝向其嘴部方位,那么反过来,可以优先考虑位于指向性音频采集装置的前方,且与指向性音频采集装置的朝向之间的夹角小于角度阈值的音源为目标音源,而其他方位/角度的音源则视为噪音音源。
从而,优选地,该方位和/角度条件具体可以配置为:位于指向性音频采集装置的前方,且与指向性音频采集装置的朝向之间的夹角小于角度阈值(如45°、30°等)。
步骤702、确定出位置信息满足上述位置条件的音源作为所述目标音源。
在基于指向性音频采集装置的振膜的受力信息,确定出至少一个音源对应的至少一个位置信息后,进一步基于配置的位置条件,从中确定出位置信息满足位置条件的音源,并将其作为目标音源。
参阅图8,示出了该实现方式的一个示例,在用户1利用耳机mic进行收音时,其与耳机mic的位置关系如图8中所示,位于接近于耳机mic正前方的方位L1,同时其附近L2的位置处有另一用户2,假设用户2的说话声音较大,用户1说话声音较小,相应地,耳机mic采集的音频信号中,用户2音频信号的声音强度可能接近或大于用户1音频信号的声音强度,针对该情形,基于本实施例的实现方式,可有效识别出用户1为目标音源,而不会错误地将声音强度较大或相接近的用户2作为目标音源。
作为另一种可能的实现方式,上述的音源条件包括音源的图像特征条件。
相应地,在该实现方式下,如图9所示,步骤502可以包括:
步骤901、获得电子设备的图像采集装置采集的至少一个目标图像。
该至少一个目标图像与第一音频信号或第二音频信号的采集时间一致。
本实现方式旨在结合电子设备的图像采集装置,来有效识别至少一个音源中的目标音源。
根据上文的说明,可知,本申请中利用电子设备本体的第一音频采集装置,来辅助耳机等第二音频采集装置进行降噪,那么,必然对应于用户结合使用耳机等第二音频采集装置以及电子设备的场景,具体如图2所示的场景,在该场景中,当作为目标音源的用户使用耳机等第二音频采集装置进行录音或通话时,其往往具有鲜明的外在特征,比如可以表现为:用户佩戴/持有耳机、用户手持mic(如手持单独设置的一个麦克风唱歌),用户正脸面向电子设备(或者用户正脸与电子设备显示屏的夹角不超出角度阈值)等。而其他的音源,如其他的用户等,则一般不具有该特征。
鉴于此,本实施例中,在第一音频采集装置、第二音频采集装置采集音频信号时,同步利用电子设备的图像采集装置采集至少一个音源的图像信息,并通过对采集的图像信息进行图像特征分析,识别其中的目标音源。
其中,电子设备的图像采集装置,可以是但不限于电子设备本体集成的,或电子设备外接的RGB摄像头和/或红外成像仪等能用于采集图像信息的装置。
相匹配的,至少一个目标图像则可以是RGB图像和/或红外图像。
可选地,上述的图像特征条件,可以配置为:在检测出的人物图像上进一步检测出与人物图像相关联的第二音频采集装置(如耳机、单独设置的mic)的图像。该条件的目的在于:将图像分析结果表明“使用第二音频采集装置”的用户识别为目标音源。
但并限于此,还可以将上述的图像特征条件配置为:检测出的人物图像位于图像预定区域(如中部区域)且检测出具有人脸;该条件的目的在于:优先将位于电子设备正前方、面向电子设备的用户识别为目标音源。
步骤902、确定出至少一个目标图像中图像特征满足上述图像特征条件的音源,作为所述目标音源。
在获得至少一个目标图像后,对获得的至少一个目标图像进行图像分析,提取其图像特征,其中,可以包括但不限于:基于人体/人脸识别技术对图像进行人体/人脸识别,和/或基于深度学习、模式匹配等技术,识别图像中的耳机等第二音频采集装置。
在通过图像分析,提取图像特征后,将其与上述的图像特征条件进行匹配,并将至少一个目标图像中图像特征满足图像特征条件的音源,作为目标音源。
其中,对于上述的第一种图像特征条件,可基于提取的图像特征,识别至少一个目标图像中是否存在人物图像上关联了第二音频采集装置(如耳机)的图像的用户,若存在,则表明通过图像分析识别出了使用第二音频采集装置的用户,相应将具备该特征的用户判定为目标音源。
对于上述的第二种图像特征条件,可基于提取的图像特征,识别至少一个目标图像中是否存在处于图像特定区域(如图像中部区域)且具备人脸图像的用户,若存在,则表明通过图像分析识别出了处于电子设备前方且朝向电子设备的用户,相应将该用户判定为目标音源。
实际应用场景中,针对上述的第一种图像特征条件,用户可能因佩戴或手持第二音频采集装置的某些动作行为,如佩戴无线耳机(难以显性检测)、或手持mic时对mic进行了遮挡等,导致难以显性地采集到用户佩戴/手持第二音频采集装置的图像特征;针对上述的第二种图像特征条件,用户在使用第二音频采集装置进行录音或通话时,可能会偏离电子设备,如起身或扭脸等,相应会导致难以将偏离电子设备的用户正确识别为目标音源。
针对该情况,具体实施中,可将上述的第一种图像特征条件与第二种图像特征条件结合使用,例如,首先识别采集的图像中满足第一种图像特征条件的用户(即优先视使用第二音频采集装置的用户为目标音源),若存在满足该条件的用户,则将其识别为目标音源;否则,若不存在,则继续识别采集的图像中满足第二种图像特征条件的用户,并将满足第二种图像特征条件的用户判定为目标音源。需要说明的是,还可以是其他的结合使用方式,在此不做限制。
步骤603、确定出第二音频信号中对应于目标音源的目标音频信号。
在确定出目标音源后,进一步确定第二音频信号中与目标音源相对应的目标音频信号。该确定目标音频信号的过程可以包括:获得目标音源发出的音频的音频特征;从第二音频信号中确定出与目标音源的音频特征相匹配的音频信号,作为目标音频信号。
其中,对应于基于振膜受力检测确定目标音源的方式,可以在基于音源的发音方位,实时检测出满足位置条件的目标音源时,提取针对该目标音源所采集的声音的音频特征,提取的音频特征可以包括但不限于目标音源的声纹和/或发音频率,之后,可进一步将第二音频信号中不同音频信号的音频特征与目标音源的音频特征进行匹配,并将匹配于目标音源音频特征的音频信号确定为目标音频信号。
对应于基于图像特征识别确定目标音源的方式,可以在识别(图像分析)出目标音源执行满足条件的嘴部动作时,提取第一音频采集装置和/或第二音频采集装置当前采集到的音频信号的音频特征,并视其为目标音源的音频特征,所提取的目标音源的音频特征同样可以是声纹和/或频率等特征,之后,可基于声纹匹配和/或频率匹配手段,从第二音频信号中确定出目标音源的音频信号。
上述满足条件的嘴部动作,可以是满足时长条件和/或动作条件的嘴部动作,示例性地,比如:上、下嘴唇张开闭合的动作持续设定时长(如3s)且动作幅度小于设定幅度(以区别打哈欠等其他嘴部动作)。
步骤604、调整第二音频信号中目标音频信号的增益,和/或调整第二音频信号中目标音频信号除外的其他相应信号的增益,得到增益得以调整的第二音频信号。
识别目标音源的目的在于,能有针对性地基于目标音源对第二音频信号进行相应处理,以使得对于采集的噪音信号声音强度大于或接近目标音频信号的声音强度的情形,仍能成功得到较干净、无噪音/低噪音的目标音频信号。
本实施例中,在确定出目标音源后,有针对性地提升第二音频信号中目标音频信号的增益,以使得在第二音频信号中能突出目标音源对应的目标音频信号,和/或降低接近或超出目标音频信号的声音强度的噪音信号的增益。
步骤605、至少处理第一音频信号和增益得以调整的第二音频信号,得到第三音频信号。
之后,相应对第一音频信号和增益得以调整的第二音频信号进行处理,来得到第三音频信号。
具体地,可从增益得以调整的第二音频信号中去除第一音频信号,得到第三音频信号。该去除第一音频信号的过程具体可参阅上文相关实施例的说明,这里不再赘述。
与上文实施例相区别的是,本实施例是从增益得以调整(提升目标音频信号的增益和/或降低高音量的噪音信号的增益)的第二音频信号中,进行第一音频信号的去除。由于在去除第一音频信号之前,提升了第二音频信号中目标音频信号的增益(和/或降低高音量的噪音信号的增益),从而,即使在原始的第二音频信号中存在声音强度较大的噪音信号,如某一噪音信号的声音强度接近或超过目标声音信号的强度等,则通过上述处理后,也至少能保证在所得的第三音频信号中,目标音源的目标音频信号为主信号,也即,能实现突出目标音源的目标音频信号并消除或削弱噪音信号,从而能够得到较干净、无噪音/低噪音的目标音频信号。
当原始的第二音频信号中存在声音强度较大的噪音信号时,本实施例方案的优势尤为明显,能智能化地从多个音量较高、较为接近的音频信号中识别、定位出目标音源的信号,并将其他信号作为噪音信号滤除(或至少削弱)。
对应于上述的处理方法,本申请还公开了一种电子设备,该电子设备可以是但不限于手机、平板、个人数字助理等便携式终端设备,或通用/专用计算或配置环境中的便携式计算机(如笔记本)、台式计算机或一体式计算机等设备。
参阅图10示出的电子设备的结构示意图,该电子设备包括:
至少一个音频采集装置1001。
其中,至少一个音频采集装置1001,可以是集成于电子设备的至少一个麦克风。
存储器1002,用于至少存储一组指令集;
处理器1003,用于调用并执行所述存储器中的所述指令集,通过执行所述指令集进行以下处理:
获得第一音频采集装置采集的第一音频信号和第二音频采集装置采集的第二音频信号;
至少处理所述第一音频信号和所述第二音频信号,得到第三音频信号。
第一音频采集装置,是至少一个音频采集装置1001中的之一。
电子设备还可以包括接口,具体可以是有线接口(如通用串行总线USB接口或3.5mm Audio接口)或无线接口(如蓝牙),第二音频采集装置,是电子设备外接的音频采集装置。第二音频采集装置,可以通过电子设备的有线接口或无线接口接入电子设备。
当需要采用第二音频采集装置进行录音或通话时,本实施例中,获得第一音频采集装置采集的第一音频信号和第二音频采集装置采集的第二音频信号,以使得具体借助电子设备本体的第一音频采集装置采集的第一音频信号,来对第二音频采集装置采集的第二音频信号进行降噪。
其中,第一音频信号和第二音频信号的采集时间相同。
在获得第一音频采集装置采集的第一音频信号和第二音频采集装置采集的第二音频信号之后,至少处理该第一音频信号和第二音频信号,以实现对第二音频信号进行降噪。
该至少处理第一音频信号和第二音频信号,可以包括:
利用第一音频信号对第二音频信号进行降噪处理,相应得到第三音频信号。
其中,第三音频信号包括目标音频信号,且目标音频信号在第三音频信号中的第三比例,高于目标音频信号在第一音频信号中的第一比例,以及高于目标音频信号在第二音频信号中的第二比例。
该目标音频信号是对应于目标音源的信号,更具体地,是对目标音源发出的声音进行采集所得的信号。
本实施例中,通过对电子设备本体以及外接的不同音频采集装置采集的不同音频信号进行处理,得到目标音频信号的比例得以提升的音频信号,可相应实现借助电子设备的第一音频采集装置,对电子设备外接的第二音频采集装置的音频信号进行降噪,从而,不必在第二音频采集装置中设置双麦克,即可达到对第二音频采集装置的音频进行降噪的目的,在不改进第二音频采集装置的硬件结构的前提下,为其扩展了降噪功能,实现了一种结构简洁、低成本的收音和降噪处理方案。
在本申请一可选实施例中,电子设备的处理器1003至少处理所述第一音频信号和所述第二音频信号,得到第三音频信号,可以进一步通过以下的处理过程实现:
在第二音频信号中去除第一音频信号,得到差量信号。
其中,上述的第三音频信号包括该差量信号。
本实施例中,将第一音频采集装置采集的第一音频信号作为本底噪音,对第二音频采集装置采集的第二音频信号进行降噪处理,且具体地,可在第二音频信号中去除第一音频信号,得到差量信号。
上述的第三音频信号包括所得的该差量信号。更具体地,作为一种可能的实现方式,可直接将该差量信号作为上述的第三音频信号。
容易理解的是,该差量信号中至少包括目标音源的目标音频信号,而其他音源对应的噪音信号则较高程度地被去除掉,从而实现了对第二音频采集装置采集的第二音频信号进行降噪。
本实施例中,通过从耳机等第二音频采集装置采集的第二音频信号中,去除笔记本mic等第一音频采集装置采集的第一音频信号,实现了对第二音频采集装置采集的第二音频信号进行降噪,在无需改进第二音频采集装置的硬件结构的前提下,为其扩展了降噪功能。
在本申请一可选实施例中,电子设备的处理器1003在从第二音频信号中去除第一音频信号,得到差量信号之后,还可以用于:
对差量信号进行放大处理,得到第三音频信号。
在从第二音频信号中去除第一音频信号后,除了至少降低第二音频信号中的噪音信号,第二音频信号中包括的对应于目标音源的目标音源信号也在一定程度上被削弱。
针对上述情形,本实施例中,在进行音频输出之前,首先对所得的差量信号进行放大处理,以至少保证正常的用户体验。
其中,具体可采用音频放大器实现对差量信号的放大,本实施例相应将放大处理后的差量信号作为最终的第三音频信号。
后续,可在相应音频播放装置中,输出、播放该第三音频信号,如在用户的当前电子设备上,或者在与用户的当前电子设备进行远程通信的对端设备上输出、播放该第三音频信号等。
本实施例中,通过对所得的差量信号进行放大处理,可保证在对第二音频采集装置采集的第二音频信号进行降噪处理后,能够得到音量正常的经降噪的第三音频信号,相应可使得能具备较好的用户体验。
在本申请一可选实施例中,电子设备的处理器1003,还可以进一步通过以下的实施过程实现其功能:
获得第一音频采集装置采集的第一音频信号和第二音频采集装置采集的第二音频信号;
确定出所述第一音频信号和/或所述第二音频信号对应的至少一个音源中符合音源条件的音源,作为所述目标音源;
确定出所述第二音频信号中对应于所述目标音源的目标音频信号;
调整第二音频信号中目标音频信号的增益,和/或调整第二音频信号中目标音频信号除外的其他相应信号的增益,得到增益得以调整的第二音频信号;
至少处理第一音频信号和增益得以调整的第二音频信号,得到第三音频信号。
作为一种可能的实现方式,该音源条件包括音源的位置条件。
在该实现方式下,第二音频采集装置包括指向性音频采集装置。
相应地,在该实现方式下,处理器1003确定出所述第一音频信号和/或所述第二音频信号对应的至少一个音源中符合音源条件的音源,作为所述目标音源,可以包括:
基于采集至少一个音源的音频时指向性音频采集装置的振膜的受力信息,确定至少一个音源对应的至少一个位置信息;
确定出位置信息满足上述位置条件的音源作为所述目标音源。
本实施例中,基于指向性音频采集装置具有多振膜的特点,在音频采集装置对音源发出的声音进行采集时,通过检测不同振膜的受力信息,来判定音源的位置。其中,在进行声音信号采集时,与音源方位相匹配的位置的振膜所受的压力较大,由此,不同振膜的不同受力信息能够反映声音信号的来源方位,据此判定音源的位置信息。
所获得的音源的位置信息,可以包括但不限于音源的方位和/或角度等信息。具体实施中,音源的方位或角度可以是:以指向性音频采集装置为参照而确定的方位和/或角度。
相匹配的,上述的位置条件可以是但不限于方位和/角度条件。
优选地,该方位和/角度条件具体可以配置为:位于指向性音频采集装置的前方,且与指向性音频采集装置的朝向之间的夹角小于角度阈值(如45°、30°等)。
在基于指向性音频采集装置的振膜的受力信息,确定出至少一个音源对应的至少一个位置信息后,进一步基于配置的位置条件,从中确定出位置信息满足位置条件的音源,并将其作为目标音源。
作为另一种可能的实现方式,上述的音源条件包括音源的图像特征条件。
相应地,在该实现方式下,处理器1003确定出所述第一音频信号和/或所述第二音频信号对应的至少一个音源中符合音源条件的音源,作为所述目标音源,可以包括:
获得电子设备的图像采集装置采集的至少一个目标图像;
确定出至少一个目标图像中图像特征满足上述图像特征条件的音源,作为所述目标音源。
该至少一个目标图像与第一音频信号或第二音频信号的采集时间一致。
本实施例中,在第一音频采集装置、第二音频采集装置采集音频信号时,同步利用电子设备的图像采集装置采集至少一个音源的图像信息,并通过对采集的图像信息进行图像特征分析,识别其中的目标音源。
其中,电子设备的图像采集装置,可以是但不限于电子设备本体集成的,或电子设备外接的RGB摄像头和/或红外成像仪等能用于采集图像信息的装置。
相匹配的,至少一个目标图像则可以是RGB图像和/或红外图像。
可选地,上述的图像特征条件,可以配置为:在检测出的人物图像上进一步检测出与人物图像相关联的第二音频采集装置(如耳机、单独设置的mic)的图像。该条件的目的在于:将图像分析结果表明“使用第二音频采集装置”的用户识别为目标音源。
但并限于此,还可以将上述的图像特征条件配置为:检测出的人物图像位于图像预定区域(如中部区域)且检测出具有人脸;该条件的目的在于:优先将位于电子设备正前方、面向电子设备的用户识别为目标音源。
在获得至少一个目标图像后,对获得的至少一个目标图像进行图像分析,提取其图像特征,其中,可以包括但不限于:基于人体/人脸识别技术对图像进行人体/人脸识别,和/或基于深度学习、模式匹配等技术,识别图像中的耳机等第二音频采集装置。
在通过图像分析,提取图像特征后,将其与上述的图像特征条件进行匹配,并将至少一个目标图像中图像特征满足图像特征条件的音源,作为目标音源。
在确定出目标音源后,进一步确定第二音频信号中与目标音源相对应的目标音频信号。该确定目标音频信号的过程可以包括:获得目标音源发出的音频的音频特征;从第二音频信号中确定出与目标音源的音频特征相匹配的音频信号,作为目标音频信号。
在确定出目标音源后,有针对性地提升第二音频信号中目标音频信号的增益,以使得在第二音频信号中能突出目标音源对应的目标音频信号,和/或降低接近或超出目标音频信号的声音强度的噪音信号的增益。
之后,相应对第一音频信号和增益得以调整的第二音频信号进行处理,来得到第三音频信号。
具体地,可从增益得以调整的第二音频信号中去除第一音频信号,得到第三音频信号。该去除第一音频信号的过程具体可参阅上文相关实施例的说明,这里不再赘述。
与上文实施例相区别的是,本实施例是从增益得以调整(提升目标音频信号的增益和/或降低高音量的噪音信号的增益)的第二音频信号中,进行第一音频信号的去除。由于在去除第一音频信号之前,提升了第二音频信号中目标音频信号的增益(和/或降低高音量的噪音信号的增益),从而,即使在原始的第二音频信号中存在声音强度较大的噪音信号,如某一噪音信号的声音强度接近或超过目标声音信号的强度等,则通过上述处理后,也至少能保证在所得的第三音频信号中,目标音源的目标音频信号为主信号,也即,能实现突出目标音源的目标音频信号并消除或削弱噪音信号,从而能够得到较干净、无噪音/低噪音的目标音频信号。
当原始的第二音频信号中存在声音强度较大的噪音信号时,本实施例方案的优势尤为明显,能智能化地从多个音量较高、较为接近的音频信号中识别、定位出目标音源的信号,并将其他信号作为噪音信号滤除(或至少削弱)。
对应于上述的处理方法,本申请还公开了一种处理装置,该处理装置可以以应用软件形式或设备本地功能形式,应用于但不限于手机、平板、个人数字助理等便携式终端设备,或通用/专用计算或配置环境中的便携式计算机(如笔记本)、台式计算机或一体式计算机等设备。或者,可选地,该处理装置还可以以软件功能模块的形式应用于耳机等第二音频采集装置中。
如图11示出的该处理装置的结构示意图,该处理装置可以包括:
获取单元1101,用于获得第一音频采集装置采集的第一音频信号和第二音频采集装置采集的第二音频信号;其中,所述第一音频信号和所述第二音频信号的采集时间相同;其中,所述第一音频采集装置是设置在电子设备本体的,所述第二音频采集装置是通过电子设备本体的接口连接的;
处理单元1102,用于至少处理所述第一音频信号和所述第二音频信号,得到第三音频信号;其中,所述第三音频信号包括目标音频信号,且所述目标音频信号在所述第三音频信号中的第三比例高于第一比例和第二比例,其中,所述第一比例是所述目标音频信号在所述第一音频信号中的比例,所述第二比例是所述目标音频信号在所述第二音频信号中的比例。
对于本实施例公开的处理装置而言,由于其与上文相应实施例中公开的处理方法及电子设备相对应,所以描述的比较简单,相关相似之处请参见上文相应实施例中处理方法或电子设备的相关说明,此处不再详述。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
为了描述的方便,描述以上***或装置时以功能分为各种模块或单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后,还需要说明的是,在本文中,诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (9)
1.一种处理方法,包括:
获得第一音频采集装置采集的第一音频信号和第二音频采集装置采集的第二音频信号;其中,所述第一音频信号和所述第二音频信号的采集时间相同;其中,所述第一音频采集装置是设置在电子设备本体的,所述第二音频采集装置是通过电子设备本体的接口连接的;
至少处理所述第一音频信号和所述第二音频信号,得到第三音频信号;其中,所述第三音频信号包括目标音频信号,且所述目标音频信号在所述第三音频信号中的第三比例高于第一比例和第二比例,其中,所述第一比例是所述目标音频信号在所述第一音频信号中的比例,所述第二比例是所述目标音频信号在所述第二音频信号中的比例;
其中:在所述第一音频采集装置、所述第二音频采集装置采集音频信号时,同步利用电子设备的图像采集装置采集至少一个音源的图像信息,并通过对采集的图像信息进行图像特征分析,识别其中的目标音源;所述图像信息包括佩戴所述第二音频采集装置的用户的图像;
所述目标音频信号是对应目标音源的信号;所述目标音源距离所述第二音频采集装置的第二距离小于所述目标音源距离所述第一音频采集装置的第一距离;
其中,所述第一比例小于所述第二比例;
还包括:提升所述第二音频信号中所述目标音频信号的增益,和/或降低所述第二音频信号中所述目标音频信号除外的其他相应信号的增益,得到增益得以调整的第二音频信号,以使得至少处理所述第一音频信号和所述增益得以调整的第二音频信号,得到第三音频信号。
2.根据权利要求1所述的方法,所述至少处理所述第一音频信号和所述第二音频信号至少包括:
在所述第二音频信号中去除所述第一音频信号,得到差量信号;
其中,所述第三音频信号包括所述差量信号。
3.根据权利要求2所述的方法,还包括:
对所述差量信号进行放大处理,得到第三音频信号。
4.根据权利要求1所述的方法,在至少处理所述第一音频信号和所述第二音频信号之前,还包括:
确定出所述第一音频信号和/或所述第二音频信号对应的至少一个音源中符合音源条件的音源,作为所述目标音源;
确定出所述第二音频信号中对应于所述目标音源的目标音频信号。
5.根据权利要求4所述的方法,所述音源条件包括音源的位置条件;所述第二音频采集装置包括指向性音频采集装置;
所述确定出所述第一音频信号和/或所述第二音频信号对应的至少一个音源中符合音源条件的音源,作为所述目标音源,包括:
基于采集所述至少一个音源的音频时所述指向性音频采集装置的振膜的受力信息,确定所述至少一个音源对应的至少一个位置信息;
确定出位置信息满足所述位置条件的音源作为所述目标音源。
6.根据权利要求4所述的方法,所述音源条件包括音源的图像特征条件;
所述确定出所述第一音频信号和/或所述第二音频信号对应的至少一个音源中符合音源条件的音源,作为所述目标音源,包括:
获得所述电子设备的图像采集装置采集的至少一个目标图像;所述至少一个目标图像与所述第一音频信号或所述第二音频信号的采集时间一致;
确定出所述至少一个目标图像中图像特征满足所述图像特征条件的音源,作为所述目标音源。
7.根据权利要求4所述的方法,所述确定出所述第二音频信号中对应于所述目标音源的目标音频信号,包括:
获得所述目标音源发出的音频的音频特征;
从所述第二音频信号中确定出与所述音频特征相匹配的音频信号,作为所述目标音频信号。
8.一种处理装置,包括:
获取单元,用于获得第一音频采集装置采集的第一音频信号和第二音频采集装置采集的第二音频信号;其中,所述第一音频信号和所述第二音频信号的采集时间相同;其中,所述第一音频采集装置是设置在电子设备本体的,所述第二音频采集装置是通过电子设备本体的接口连接的;
处理单元,用于至少处理所述第一音频信号和所述第二音频信号,得到第三音频信号;其中,所述第三音频信号包括目标音频信号,且所述目标音频信号在所述第三音频信号中的第三比例高于第一比例和第二比例,其中,所述第一比例是所述目标音频信号在所述第一音频信号中的比例,所述第二比例是所述目标音频信号在所述第二音频信号中的比例;
其中:在所述第一音频采集装置、所述第二音频采集装置采集音频信号时,同步利用电子设备的图像采集装置采集至少一个音源的图像信息,并通过对采集的图像信息进行图像特征分析,识别其中的目标音源;所述图像信息包括佩戴所述第二音频采集装置的用户的图像;
所述目标音频信号是对应目标音源的信号;所述目标音源距离所述第二音频采集装置的第二距离小于所述目标音源距离所述第一音频采集装置的第一距离;
其中,所述第一比例小于所述第二比例;
所述处理单元还用于:提升所述第二音频信号中所述目标音频信号的增益,和/或降低所述第二音频信号中所述目标音频信号除外的其他相应信号的增益,得到增益得以调整的第二音频信号,以使得至少处理所述第一音频信号和所述增益得以调整的第二音频信号,得到第三音频信号。
9.一种电子设备,包括:
至少一个音频采集装置;
存储器,用于至少存储一组指令集;
处理器,用于调用并执行所述存储器中的所述指令集,通过执行所述指令集执行如权利要求1-7任一项所述的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911424482.2A CN111182416B (zh) | 2019-12-31 | 2019-12-31 | 处理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911424482.2A CN111182416B (zh) | 2019-12-31 | 2019-12-31 | 处理方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111182416A CN111182416A (zh) | 2020-05-19 |
CN111182416B true CN111182416B (zh) | 2022-07-26 |
Family
ID=70621726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911424482.2A Active CN111182416B (zh) | 2019-12-31 | 2019-12-31 | 处理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111182416B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113038338A (zh) | 2021-03-22 | 2021-06-25 | 联想(北京)有限公司 | 降噪处理方法和装置 |
CN113709288A (zh) * | 2021-08-16 | 2021-11-26 | Oppo广东移动通信有限公司 | 降噪方法、装置、电子设备及计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101420491A (zh) * | 2008-11-24 | 2009-04-29 | 深圳华为通信技术有限公司 | 一种耳机麦克风降噪的方法、装置及控制器 |
CN205408099U (zh) * | 2016-02-17 | 2016-07-27 | 深圳市全智达科技有限公司 | 一种具有降噪功能的移动终端 |
CN106679651A (zh) * | 2017-02-08 | 2017-05-17 | 北京地平线信息技术有限公司 | 声源定位方法、装置和电子设备 |
CN108305637A (zh) * | 2018-01-23 | 2018-07-20 | 广东欧珀移动通信有限公司 | 耳机语音处理方法、终端设备及存储介质 |
CN110149573A (zh) * | 2019-04-01 | 2019-08-20 | 联想(北京)有限公司 | 一种电子设备 |
-
2019
- 2019-12-31 CN CN201911424482.2A patent/CN111182416B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101420491A (zh) * | 2008-11-24 | 2009-04-29 | 深圳华为通信技术有限公司 | 一种耳机麦克风降噪的方法、装置及控制器 |
CN205408099U (zh) * | 2016-02-17 | 2016-07-27 | 深圳市全智达科技有限公司 | 一种具有降噪功能的移动终端 |
CN106679651A (zh) * | 2017-02-08 | 2017-05-17 | 北京地平线信息技术有限公司 | 声源定位方法、装置和电子设备 |
CN108305637A (zh) * | 2018-01-23 | 2018-07-20 | 广东欧珀移动通信有限公司 | 耳机语音处理方法、终端设备及存储介质 |
CN110149573A (zh) * | 2019-04-01 | 2019-08-20 | 联想(北京)有限公司 | 一种电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111182416A (zh) | 2020-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110970057B (zh) | 一种声音处理方法、装置与设备 | |
CN109195042B (zh) | 低功耗的高效降噪耳机及降噪*** | |
US9818423B2 (en) | Method of improving sound quality and headset thereof | |
CN107172256B (zh) | 耳机通话自适应调整方法、装置、移动终端及存储介质 | |
EP2426950A2 (en) | Noise suppression for sending voice with binaural microphones | |
CN112992169A (zh) | 语音信号的采集方法、装置、电子设备以及存储介质 | |
WO2023284402A1 (zh) | 音频信号处理方法、***、装置、电子设备和存储介质 | |
CN109493877A (zh) | 一种助听装置的语音增强方法和装置 | |
CN111182416B (zh) | 处理方法、装置及电子设备 | |
CN115482830B (zh) | 语音增强方法及相关设备 | |
TW201801069A (zh) | 語音資訊的接收方法、系統及裝置 | |
CN111683319A (zh) | 一种通话拾音降噪方法及耳机、存储介质 | |
CN110277103A (zh) | 基于语音识别的降噪方法及终端 | |
CN214226506U (zh) | 声音处理电路、电声器件和声音处理*** | |
US20240096343A1 (en) | Voice quality enhancement method and related device | |
CN114640938A (zh) | 一种基于蓝牙耳机芯片的助听功能实现方法及蓝牙耳机 | |
CN113949955A (zh) | 降噪处理方法、装置、电子设备、耳机及存储介质 | |
CN105872909A (zh) | 一种实现音频信号处理的方法及装置 | |
CN113038318B (zh) | 一种语音信号处理方法及装置 | |
CN107370898B (zh) | 铃音播放方法、终端及其存储介质 | |
CN211792016U (zh) | 降噪语音设备及电子设备 | |
CN115866474A (zh) | 无线耳机的透传降噪控制方法、***及无线耳机 | |
WO2008075305A1 (en) | Method and apparatus to address source of lombard speech | |
WO2011149969A2 (en) | Separating voice from noise using a network of proximity filters | |
TWI687917B (zh) | 語音系統及聲音偵測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |