CN110675889A - 音频信号处理方法、客户端和电子设备 - Google Patents

音频信号处理方法、客户端和电子设备 Download PDF

Info

Publication number
CN110675889A
CN110675889A CN201810718185.8A CN201810718185A CN110675889A CN 110675889 A CN110675889 A CN 110675889A CN 201810718185 A CN201810718185 A CN 201810718185A CN 110675889 A CN110675889 A CN 110675889A
Authority
CN
China
Prior art keywords
audio signal
target
audio
acquisition terminal
target audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810718185.8A
Other languages
English (en)
Inventor
许云峰
余涛
刘礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810718185.8A priority Critical patent/CN110675889A/zh
Priority to US16/452,771 priority patent/US11265650B2/en
Publication of CN110675889A publication Critical patent/CN110675889A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/222Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only  for microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本说明书公开了一种音频信号处理方法、客户端和电子设备,其中一种音频信号处理方法,包括:接收第一音频采集终端输入的第一音频信号,和第二音频采集终端输入的第二音频信号;所述第一音频采集终端和所述第二音频采集终端位于同一地点的不同位置;在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号;基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。实现语音通路可以输出较少干扰的语音信号的效果。

Description

音频信号处理方法、客户端和电子设备
技术领域
本说明书涉及计算机技术领域,特别涉及音频信号处理方法、客户端和电子设备。
背景技术
在现实生活中,人们会在一起沟通、讨论事项。在一些场景中,可以使用麦克风对声源进行放大,现场多个麦克风可以采集每个角色的音频信号,他们之间可能会出现串扰现象,影响语音输出。
发明内容
本说明书实施方式提供一种较为较为准确的去除串音的音频信号处理方法、客户端和电子设备。
本说明书实施方式提供一种音频信号处理方法,包括:接收第一音频采集终端输入的第一音频信号,和第二音频采集终端输入的第二音频信号;所述第一音频采集终端和所述第二音频采集终端位于同一地点的不同位置;在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号;基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
本说明书实施方式提供一种客户端,包括:第一音频采集终端,用于输入第一音频信号;第二音频采集终端,用于输入第二音频信号;所述第一音频采集终端和所述第二音频采集终端位于同一地点的不同位置;处理器,用于在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号;基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
本说明书实施方式提供一种音频信号处理方法,包括:接收第一音频采集终端输入的第一音频信号,和第二音频采集终端输入的第二音频信号;其中,所述第一音频采集终端和所述第二音频采集终端位于同一地点的不同位置;在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号;将所述目标音频信号和所述基准音频信号发送给服务器,以用于所述服务器基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
本说明书实施方式提供一种客户端,包括:第一音频采集终端,用于输入第一音频信号;第二音频采集终端,用于输入第二音频信号;所述第一音频采集终端和所述第二音频采集终端位于同一地点的不同位置;处理器,用于在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号;网络通信单元,用于将所述目标音频信号和所述基准音频信号发送给服务器,以用于所述服务器基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
本说明书实施方式提供一种音频信号处理方法,包括:接收客户端提供的目标音频信号和基准音频信号;其中,所述目标音频信号和所述基准音频信号源于不同的音频采集终端,且所述音频采集终端位于同一地点的不同位置;基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
本说明书实施方式提供一种电子设备,包括网络通信单元和处理器;所述网络通信单元用于接收客户端提供的目标音频信号和基准音频信号;其中,所述目标音频信号和所述基准音频信号源于不同的音频采集终端,且所述音频采集终端位于同一地点的不同位置;所述处理器用于基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
本说明书实施方式提供一种音频信号处理方法,包括:接收第一音频采集终端输入的第一音频信号,和第二音频采集终端输入的第二音频信号;其中,所述第一音频采集终端和所述第二音频采集终端位于同一地点的不同位置;将所述第一音频信号和所述第二音频信号发送给服务器,以用于所述服务器在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号,基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
本说明书实施方式提供一种客户端,包括:第一音频采集终端,用于输入第一音频信号;第二音频采集终端,用于输入第二音频信号;其中,所述第一音频采集终端和所述第二音频采集终端位于同一地点的不同位置;网络通信单元,将所述第一音频信号和所述第二音频信号发送给服务器,以用于所述服务器在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号,基于所述基准音频信号确定所述目标音频信号对应的滤波系数,在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
本说明书实施方式提供一种音频信号处理方法,包括:接收客户端提供的第一音频信号和第二音频信号;其中,所述第一音频信号和所述第一音频信号源于不同的音频采集终端,且所述音频采集终端位于同一地点的不同位置;在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号;基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
本说明书实施方式提供一种电子设备,包括网络通信单元、处理器;所述网络通信单元用于接收客户端提供的第一音频信号和第二音频信号;其中,所述第一音频信号和所述第一音频信号源于不同的音频采集终端,且所述音频采集终端位于同一地点的不同位置;所述处理器用于在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号;基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
由以上本说明书实施方式提供的技术方案可见,通过确定目标音频信号和基准音频信号,并根据所述基准语音对目标音频信号进行处理,以减小所述目标音频信号中趋于与所述基准音频信号源于相同声源的音频信号。如此,可以尽可能的消除目标音频信号中由所述基准音频信号的声源生成的串音。从而使得语音通路可以输出较少干扰的语音信号。
附图说明
为了更清楚地说明本说明书实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书实施方式提供的一种音频数据处理***的构架示意图;
图2为本说明书实施方式提供的一种音频数据处理***的模块示意图;
图3为本说明书实施方式提供的一种音频数据处理***在庭审场景下的应用场景示意图;
图4为本说明书实施方式提供的一种音频数据处理***在会议场景下的应用场景示意图;
图5为本说明书实施方式提供的在一个会议应用场景下的构架示意图;
图6为本说明书实施方式提供的一种音频数据处理***的交互示意图;
图7为本说明书实施方式提供的一种音频数据处理***的交互示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施方式中的附图,对本说明书实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本说明书一部分实施方式,而不是全部的实施方式。基于本说明书中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都应当属于本说明书保护的范围。
请参阅图1至图3,在一个场景示例中。在庭审现场的原告席,原告和原告律师身前各有一个麦克风,通过功放来输出原告和原告律师所说的话。由于原告和原告律师身前的麦克风距离较近,当原告或原告律师一方讲话时,两人身前的麦克风都可以感应到声音,生成音频信号。例如,当原告进行讲话时,原告身前的麦克风可以感应到原告所说的话,原告律师身前的麦克风也可以感应到原告所说的话,在这种情况下,原告律师身前的麦克风可能感应到原告所说的话生成音频信号就形成串音,产生无效干扰。
在本场景示例中,可以设置一个电子设备,所述电子设备可以包括有接收模块和处理模块。
在本场景示例中,在原告进行讲话的过程中,所述电子设备通过接收模块接收麦克风提供的音频信号。接收模块可以对应麦克风的数量具有多个数据通道。所述接收模块通过蓝牙方式接收麦克风的音频信号。
在本场景示例中,所述控制模块可以根据接收模块提供的原告身前的麦克风输入的音频信号和原告律师身前的麦克风输入的音频信号,确定基准音频信号和目标音频信号。根据声音在传播的过程中,能量会发生衰减的原理,所述控制模块根据输入的音频信号的能量确定所述基准音频信号和所述目标音频信号。
在本场景示例中,所述控制模块根据当前接收的原告律师麦克风和原告麦克风所输入的音频信号,计算音频信号的平滑能量。计算得出,原告身前的麦克风输入的音频信号的能量为500焦耳,原告律师身前麦克风输入的音频信号的平滑能量为200焦耳。由于原告身前麦克风输入的音频信号的平滑能量大于原告律师身前麦克风输入的音频信号的平滑能量,所以可以将原告身前的麦克风输入的音频信号作为基准音频信号,原告律师身前麦克风输入的音频信号具有来源于原告的音频信号,被作为要进行处理的目标音频信号。进一步的,原告身前的麦克风处于激活状态,其余的麦克风认为处于非激活状态。
在本场景示例中,所述控制模块设定,在基准音频信号的平滑能量和目标音频信号的平滑能量之间的差值大于所设定的门限值的情况下,启动设置在传输目标音频信号的数据通道上的处理模块,并将所述基准音频信号输入所述处理模块。所述控制模块可以设定一个为50焦耳的门限值,在确定基准音频信号和目标音频信号后将所述基准音频信号的平滑能量减去所述目标音频信号的平滑能量,得到300焦耳的差值,大于所设定的门限值。
在本场景示例中,所述处理模块可以包括滤波子模块和滤波检测子模块。所述滤波子模块用于输出所述目标音频信号被滤波处理之后的音频信号。所述滤波检测子模块用于检测经过所述滤波子模块处理后输出的音频信号是否达到滤波效果。
在本场景示例中,所述控制模块启动传输原告律师的音频信号的数据通道上的处理模块。所述滤波子模块可以自适应的调整滤波系数。所述滤波子模块可以将所述原告律师的麦克风所输入的音频信号作为参考,可以通过梯度下降算法调整滤波系数,直到所述基准音频信号通过所述滤波子模块滤波后输出的音频信号和所述原告律师的麦克风所输入的音频信号之间差值最小为止。所述滤波子模块可以根据最终得到的滤波系数对目标音频信号进行滤波处理,实现滤除目标音频信号中的串音音频信号。
在本场景示例中,所述滤波检测子模块设定一个30焦耳的门限值,计算滤波子模块输出的音频信号的能量为100焦耳。将所述滤波子模块输出的音频信号的能量减去原告律师的麦克风所传输的音频信号的能量,得到-100焦耳的差值,小于所设定的门限值。所述滤波检测子模块设定,在滤波子模块输出的音频信号的能量减去原告律师的麦克风所传输的音频信号的能量大于所设定的门限值的情况下,重置所述滤波子模块的滤波系数直到满足所设定的条件为止。在本场景示例中,能量差值小于门限值,所以不用重置所述滤波系数,之间输出所述滤波子模块输出的音频信号。
在本场景示例中,根据原告和原告律师麦克风传输的音频信号的大小可以变化所述滤波系数,以减小所述原告律师麦克风传输的音频信号中来源于原告的音频信号,并且不影响原告麦克风所传输的音频信号。
在本场景示例中,根据庭审现场人说的话生成庭审记录,可以将所述原告麦克风传输的音频信号和原告律师麦克风传输的音频信号发送给服务器,并分别存入不同的音频文件中。由于每个音频文件中所存储的音频信号都降低了串音的干扰,方便于生成更加准确的庭审记录。
请参阅图4和图5。在一个场景示例中,在会议现场,各参会人员身前各有一个麦克风,通过功放来输出原告和原告律师所说的话。由于麦克风和麦克风距离较近,当一人讲话时,和讲话人距离较近的麦克风都可以感应到声音,生成音频信号。在这种情况下,除了将讲话人正对的麦克风,和讲话人距离较近的其他麦克风可能感应到讲话人所说的话生成音频信号就形成串音,产生无效干扰。
在本场景示例中,会议现场设置语音设备,通过云计算技术运行有服务器。
在本场景示例中,所述语音设备包括接收模块和控制模块和发送模块。
在本场景示例中,参会人员甲对着麦克风说话的过程中,所述语音设备通过所述接收模块接收麦克风提供的音频信号。接收模块可以对应麦克风的数量具有多个数据通道。所述接收模块通过wifi的方式接收麦克风在所述数据通道内输入的音频信号。
在本场景示例中,所述控制模块可以根据接收模块提供的甲正对的麦克风输入的音频信号和其他麦克风输入的音频信号,确定基准音频信号和目标音频信号。根据声音在传播的过程中,声音的声压会发生减弱的原理,所述控制模块根据输入的音频信号的声压确定基准音频信号和目标音频信号。
在本场景示例中,所述控制模块根据甲正对的麦克风和丙麦克风所输入的音频信号计算音频信号的声压。计算得出,甲正对的麦克风输入的音频信号的能量为50dBA,丙麦克风输入的音频信号的声压为25dBA。由于甲正对的麦克风输入的音频信号的声压大于丙麦克风输入的音频信号的声压,所以可以将甲正对的麦克风输入的音频信号作为基准音频信号,丙麦克风输入的音频信号具有来源于甲的音频信号,被作为要进行处理的目标音频信号。
在本场景示例中,所述发送模块将所述控制模块确定基准音频信号和目标音频信号通过蓝牙的方式发送给所述服务器。
在本场景示例中,所述服务器包括滤波子模块和滤波检测子模块。所述服务器在接收到所述语音设备发送的基准音频信号和目标音频信号的情况下启动所述滤波子模块。
在本场景示例中,所述滤波子模块可以通过维纳滤波器的最小均方差算法调整滤波系数,直到所述基准音频信号通过所述滤波器滤波后输出的音频信号和所述目标音频信号之间差值最小为止。此时,可以根据得到的滤波系数对目标音频信号进行滤波处理。实现对目标音频信号滤除串音音频信号。
在本场景示例中,所述滤波检测子模块设定一个5dBA焦耳的门限值,计算滤波子模块输出的音频信号的声压值为31dBA。将所述滤波子模块输出的音频信号的声压值减去目标音频信号的声压值,得到6dBA的差值,大于所设定的门限值。所述滤波检测子模块设定,在滤波子模块输出的音频信号的声压减去目标音频信号的能量大于所设定的门限值的情况下,重置所述滤波子模块的滤波系数直到满足所设定的条件为止。
在本场景示例中,声压值大于门限值,所以需要重置所述滤波系数,再次调整所述滤波系数,所述滤波子模块输出的音频信号的声压值为29dBA,其和所述目标音频信号差值小于所设定的门限值。
在本场景示例中,根据甲正对的麦克风和丙的麦克风生成的音频信号的大小可以变化所述滤波系数,以减小所述丙的麦克风生成的音频信号中来源于甲的音频信号,并且不影响甲正对的麦克风所生成的音频信号。
在本场景示例中,服务器可以将所述甲正对的麦克风生成的音频信号和其他麦克风生成的音频信号,分别存入不同的音频文件中。由于每个音频文件中所存储的音频信号都降低了串音的干扰,方便于生成更加准确的会议记录。
在本场景示例中,所述控制模块设置一个为40dBA的阈值。当有人同时说话时,有人声音较大有人声音较小,当声压值小的音频信号的声压值大于40dBA时,不用对所述声压值小音频信号进行处理。防止其他人声音小而导致音频信号被误杀。
请参阅图2,本说明书实施方式提供一种音频数据处理***。所述音频数据处理***可以包括接收模块、控制模块和处理模块。相应的,所述音频数据处理***运行时,可以实现音频数据处理方法。所述音频数据处理方法,可以参阅对照解释,不再赘述。
所述接收模块可以接收第一音频采集终端输入的第一音频信号,和第二音频采集终端输入的第二音频信号;所述第一音频采集终端和所述第二音频采集终端位于同一地点的不同位置。所述第一音频采集终端可以对应有第一数据通道,所述第二音频采集终端可以对应有第二数据通道。
在本实施方式中,所述接收模块可以是接收设备,也可是具有数据交互能力的通信模块。所述接收模块可以通过有线的方式接收所述第一数据通道输入的第一音频信号和第二数据通道输入的第二音频信号。也可以基于HTTP、TCP/IP或FTP等网络协议或通过例如WIFI模块、ZigBee模块、蓝牙模块、Z-wave模块等无线通信模块接收所述第一数据通道输入的第一音频信号和第二数据通道输入的第二音频信号。音频采集终端可以用于将用户的声音录制生成音频信号。将所述音频信号提供给所述接收模块。每个音频采集终端可以是一个传声器,或者是设置了传声器的麦克风。所述传声器用于将声音信号转换成电信号,得到音频信号。
在本实施方式中,所述接收模块可以对应语音设备的数量具有多个数据通道。所述语音设备可以包括感应语音并生成音频信号的设备。所述音频信号可以包括由声源发出的语音在所述语音设备中生成的数据流。所述音频信号可以是离散的数据序列也可以是连续的波形。同一声源发出的语音可以由不同语音设备感应并生成对应的音频信号。
在本实施方式中,第一音频采集终端和第二音频采集终端可以位于同一地点。同一地点可以是空间上的一个相对独立的空间。具体的,例如,同一地点可以是指一个房间,一个广场等。第一音频采集终端和第二音频采集终端位于不同位置,以使音频采集终端可以分别与相应的用户对应。
所述控制模块可以在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号。相应的,所述基准音频信号对应的数据通道处于激活状态。在确定所述目标音频信号和所述基准音频信号的情况下,可以启动所述目标音频信号的数据通道对应的处理模块。启动所述处理模块的方式可以包括向所述处理模块发送指令,以使所述控制模块可以接收音频信号,并进行处理。当然,所述领域技术人员在本说明书的技术精髓的启示下,还能采用其他的变更方案,但只要其实现的功能和效果,与本说明书相同或相似,均应涵盖于本申请保护范围内。
在本实施方式中,所述数据通道可以包括音频信号传输的载体。所述数据通道可以是物理通道也可以是逻辑通道。根据音频信号的传输路径,所述数据通道可以不同。数据通道可以分别对应一个声源。在数据通道接收到源于对应声源的音频信号的情况下,所述数据通道处于激活状态。相应的,数据通道接收到的音频信号不是源于其对应声源的情况下,所述数据通道处于非激活状态。具体地,例如,设置两个麦克风,声源可以发出语音信号,每个麦克风传输所述音频信号的通道可以称为一个数据通道。当然,数据通道也可以为逻辑上划分的,可以理解为,针对不同麦克风输入的音频信号,分别进行处理,即将一个麦克风输入的音频信号进行单独的处理,而不是将多个麦风封输入的音频信号进行混杂。
在本实施方式中,所述目标音频信号可以为音频信号中包括趋于和基准音频信号源自相同声源的音频信号,且目标音频信号的能量小于所述基准音频信号。需要减少所述目标音频信号中,源自与基准音频信号相同声源的音频信号,以使得每个数据通道最终输出的音频信号,可以较为准确的对应到使用该数据通道对应的麦克风的用户。具体地,例如,在会议现场,第一参会人员面前有一个话筒,第二参会人员面前也有一个话筒,这时第一参会人员讲话,应当由第一参会人员面前的话筒采集第一参会人员的语音并生成音频信号,但由于第二参会人员的话筒距离和第一参会人员的话筒距离较近,第二参会人员的话筒也可以采集到第一参会人员的语音,并生成音频信号,所述第二参会人员的话筒所生成的音频信号可以看作所述目标音频信号。
在本实施方式中,所述基准音频信号可以包括由指定声源发出并在指定数据通道中生成的音频信号。具体地,例如,在KTV,一个人手持麦克风演唱歌曲,可以将由歌唱者发出的声音在其手持的麦克风中生成的音频信号作为基准音频信号。
在本实施方式中,所述在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号可以包括,可以根据所述第一音频信号和所述第二音频信号的声音属性值确定所述目标音频信号和基准音频信号。所述声音属性值可以包括声音的声能、声音的声压值、声音的频率等。根据声音传输路径的不同,声音在传播的过程中可以存在衰减,所述第一数据通道和所述第二数据通道接收到的语音信号所生成的对应的音频信号的声音属性值也会有所不同,可以根据不同的声音输出要求可以根据至少一个声音属性值确定所述目标音频信号和所述基准音频信号。具体地,例如,在会议场景下,有一个人在说话,有多个麦克风可以接收到该人说话的语音信号,生成各自对应的音频信号,由于麦克风所处位置不同,声波的传输路径也不同,为了获得较好的语音输出,一般选择与说话人距离最近的麦克风所传输的音频信号作为基准音频信号。其他麦克风所传输的音频信号中存在来源于说话人说话而产生的音频信号,为目标音频信号,由于声音在传播的过程中能量会衰减,因此***可以以各路数据通道中音频信号的能量作为确定所述目标音频信号和基准音频信号的基准,以音频信号能量最大的作为所述基准音频信号,其他的作为目标音频信号。
在本实施方式中,所述控制模块在确定所述目标音频信号和基准音频信号后,可以启动所述目标音频信号的数据通道的处理模块。所述控制模块可以根据所述第一音频信号和所述第二音频信号的比较结果确定所述目标音频信号,进而可以确定所述目标音频信号来源于那一路数据通道,每一路数据通道都可以对应一个处理模块,控制模块可以所述目标音频信号的数据通道的处理模块发送启动指令,从而启动所述目标数据对应的处理模块。另外,还可以设定一个门限值,在所述基准音频信号和所述目标音频信号的差值大于所述门限值的情况下,启动所述目标音频信号对应的处理模块。
所述处理模块可以基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。处理模块可以根据所述滤波系数对所述目标音频信号进行滤波处理,以减小所述目标音频信号中趋于与所述基准音频信号源于相同声源的音频信号。其中,所述处理模块可以与数据通道相对应。
在本实施方式中,所述目标音频信号中趋于与所述基准音频信号源于相同声源的音频信号可以为串音音频信号。指定声源在指定数据通道中生成的音频信号可以看作为基准音频信号,该指定声源或者和该指定声源十分接近趋于相同的声源,例如两人共用一个麦克风同时说话的场景下,在其他数据通道中生成的音频信号,可以作为串音音频信号。
在本实施方式中,所述处理模块可以根据基准音频信号对所述目标音频信号进行处理,可以包括从所述目标音频信号中滤除与所述基准音频信号源于相同声源的音频信号。
在本实施方式中,所述处理模块可以包括滤波子模块。所述滤波子模块可以包括具有数据滤波功能的硬件设备和驱动该硬件设备工作所需要的软件。当然,所述滤波子模块模块也可以仅为具有滤波能力的硬件设备,或者仅为运行在硬件设备中的软件。所述滤波子模块可以滤除目标音频信号中的串音信号。以尽可能的减少目标音频信号中趋于与所述基准音频信号源于相同声源的音频信号。所述控制模块在启动设置在传输所述目标音频信号通道上的处理模块的情况下,所述滤波子模块可以根据所述基准音频信号得到所述目标音频信号对应的串音音频信号,进而进一步在目标音频信号中滤除所述串音音频信号。
在本实施方式中,可以将所述基准音频信号输入所述滤波子模块,滤波子模块可以根据基准音频信号制定滤波系数;将基准音频信号与滤波系数的乘积作为目标音频信号的串音音频信号。可以根据所述基准音频信号确定滤波系数,具体地,可以将根据梯度下降法、递归最小二乘法、最小均方差算法等指定算法迭代计算处所述滤波系数。在本实施方式中,所述滤波系数可以是不变的,在所述目标音频信号较为平稳的情况下,可以不改变所述滤波系数。可以根据所述基准音频信号与滤波系数的乘积作为串音音频信号。如此,在目标音频信号中将该串音音频信号滤除,可以得到滤波后的所述目标音频信号。当然,所述滤波系数也可以是变化的,在所述目标音频信号为非平稳的情况下,为了获得质量较高的语音输出可以改变所述滤波系数。可以以所述基准音频信号为参考,通过自适应滤波器或者维纳滤波器等滤波器的指定算法可以迭代出使滤波后输出的目标音频信号对应的滤波系数。
在一个实施方式中,所述控制模块在所述第一音频信号和所述第二音频信号中确定音频信号和基准音频信号时可以包括:将所述第一音频信号和所述第二音频信号中,能量较大的一个确定为基准音频信号,另一个确定为目标音频信号;或者,将所述第一音频信号和所述第二音频信号中,声压值较大的一个确定为基准音频信号,另一个确定为目标音频信号;或者,将所述第一音频信号和所述第二音频信号中,声压值和能量较大的一个确定为基准音频信号,另一个确定为目标音频信号。
在本实施方式中,可以以音频数据块为单位计算每一个音频数据块的能量。比如分别在第一音频信号和第二音频信号划分一个音频数据块,例如,第一音频信号划分出第一音频数据块,第二音频信号划分出第二音频数据块。当然,音频信号也可以是指从音频数据流中划分的音频数据块,也可是指音频数据流整体。根据声音在传播的过程中会能量衰减的原理,以第一音频数据块和第二音频数据块中,能量较大的音频数据块作为所述基准音频信号,以能量较小的作为所述目标音频信号。以音频数据块为单位计算每一个音频数据块的能量,可以在交替说话的场景下确定所述基准音频信号和所述目标音频信号。具体地,在轮番发言的场景下,一个人对身前的麦克风说话后另一个人对身前的其身边的麦克风说话,在这种情况下基准音频信号和目标音频信号发生了变化,计算所述第一音频信号和第二音频信号中音频数据块的能量,可以在交替说话的场景下较为精准的确定所述基准音频信号和所述目标音频信号。
在本实施方式中,具体地,例如,可以将所述音频信号以每10毫秒为一个音频数据块。当然,音频数据块可以不限于10毫秒。或者,按照数据量进行划分所述音频数据块。例如,每个音频数据块可以最多5MB。或者,按照所述音频信号的声音波形的连续情况划分音频数据块,例如,在相邻两个连续的波形之间存在持续一定时长的无声部分,将每个连续的声音波形划分为一个音频数据块。可以计算每个音频数据块对应的能量。根据声音在传播的过程中会能量衰减的原理,以能量较大的音频数据块作为所述基准音频信号,以能量较小的作为所述目标音频信号。
在一个实施方式中,所述将所述第一音频信号和所述第二音频信号中,声压值较大的一个确定为基准音频信号,另一个确定为目标音频信号可以包括,可以将音频信号按照一定规则划分为音频数据块,计算所述第一音频信号和所述第二音频信号的相应音频数据块中的声压值,根据声音在传播过程中声压值会衰减的原理,以声压值较大的音频数据块作为基准音频信号,以声压值较小的作为所述目标音频信号。第一音频信号和第二音频信号的相应的音频数据块,可以为具有较为接近或相同的生成时间。
在本实施方式中,可以以音频数据块为单位,计算所述第一音频信号和所述第二音频信号的音频数据块的声压值。由此可以在交替说话的场景下确定所述基准音频信号。
在一个实施方式中,将所述第一音频信号和所述第二音频信号中,声压值和能量较大的一个确定为基准音频信号,另一个确定为目标音频信号可以包括:根据计算得到的第一音频信号和第二音频信号的声压值和能量,在一个音频信号的声压值和能量大于另一个的音频信号的声压值和能量的情况下确定声压值和能量较大的音频信号为基准音频信号,声压值和能量较小的音频信号为目标音频信号。
在本实施方式中,根据声音在传播过程中能量和声压值会衰减的原理,根据所述音频信号的能量和/或声压值可以较为精确的确定所述基准语音信号和所述目标语音信号。另外,以音频数据块为单位计算所述能量和声压值可以较为准确的在交替说话的场景下确定所述基准语音信号和目标语音信号。
在一个实施方式中,所述处理模块在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号时可以包括,在所述目标音频信号的能量或声压值小于或等于指定阈值的情况下,才对所述目标音频信号进行处理。
在本实施方式中,所述指定阈值可以包括根据技术人员根据经验或者估计得出的所述目标音频信号是趋于与所述基准音频信号源于相同声源的音频信号时,所述目标音频信号的能量或声压值的最大值。在所述目标音频信号能量或声压值大于所述指定阈值的情况下可以认定所述目标音频信号不是与所述基准音频信号源于相同声源的音频信号,在所述目标音频信号能量或声压值小于或等于所述指定阈值的情况下,可以认定所述目标音频信号中有趋于与所述基准音频信号源于相同声源的音频信号,在这种情况下,可以对所述目标音频信号进行处理,以减小所述目标音频信号中趋于与所述基准音频信号源于相同声源的音频信号。具体地,例如,在两人同时对着各自的麦克风进行说话时,两个人的麦克风同时有不同人说话的输入,两个麦克风中的音频信号的能量或声压值都比较大,不能因为一个麦克风中的音频信号的能量或者声压值小于另一个麦克风中的音频信号的能量或者声压值就认定能量或者声压值小的音频信号是和能量或者声压值大的音频信号源于相同声源的音频信号,从而进行处理。
在本实施方式中,通过设定指定阈值,在所述目标音频信号的能量或者声压值小于或等于指定阈值的情况下,才对所述目标音频信号进行处理,避免有效音频信号被减小,保证了有效语音信号的输出。
在一个实施方式中,滤波子模块可以根据梯度下降法计算滤波系数。具体的,可以参阅如下公式。
W(n)=w(n-1)+μ[γ+x(n)*x(n)T]-1*x(n)*(d(n)-x(n)Tw(n-1)) 公式(1)
上述公式(1)中,n可以用于表示音频数据块的音频数据分段的序号,w(n)可以为第n个音频数据分段的滤波系数,μ为经验值,γ为规整化因子,x(n)可以表示基准音频信号,d(n)可以表示目标音频信号。
本实施方式中,可以根据该公式(1)得出滤波系数,从而可以根据所述滤波系数与基准音频信号的乘积作为串音音频信号。
在一个实施方式中,所述处理模块还包括滤波检测子模块,所述滤波检测子模块可以包括具有数据处理功能的硬件设备和驱动该硬件设备工作所需要的软件。当然所述滤波检测模块也可以仅为具有数据处理能力的硬件设备,或者仅为运行在硬件设备中的软件。所述滤波检测子模块用于在所述滤波子模块输出的音频信号符合设定条件的情况下,重置所述目标音频信号对应的滤波子模块。
在本实施方式中,对应所述第一音频采集终端的第一数据通道和对应所述第二音频采集终端的第二数据通道分别设置有滤波子模块;在在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号的步骤中包括:所述目标音频信号对应的滤波子模块,滤除所述目标音频信号中的串音信号。
在本实施方式中,所述设定条件可以包括预先设定的,当满足所述设定条件的情况下,即可以表明所述滤波子模块的滤波效果不佳的条件。具体地,例如,所述设定的条件可以包括所述滤波子模块输出的音频信号能量或声压值或其他表征所述音频信号声音属性的参数没有发生变化,或者变化很小;所述目标音频信号经过滤波处理后数据变化剧烈或者明显不符合应有的滤波结果等。
在本实施方式中,通过设定条件,在处理后的所述目标音频信号符合设定条件的情况下,重置所述目标音频信号对应的滤波子模块,可以实现***的滤波自检,保证所述滤波子模块输出符合条件的目标音频信号,提高了***的稳定性。
在本实施方式中,所述设定条件可以包括,处理后的所述目标音频信号的能量大于处理前的所述目标音频信号的能量;或者,处理后的所述目标语音的声压值大于处理前所述目标音频信号的声压值。
在本实施方式中,在所述处理后的所述目标音频信号的能量大于处理前的所述目标音频信号的能量,或者处理后的所述目标语音的声压值大于处理前所述目标音频信号的声压值的情况下,可以确定经过所述滤波子模块处理后,所述目标音频信号得到了增益,从而可以确定经过所述滤波子模块处理,所述目标音频信号中和所述基准音频信号源于同一声源的音频信号并没有被滤除,反而可能影响到***的语音输出。因此需要重新设置所述滤波系数。
在一个实施方式中,为了进一步提高***的稳定性,可以给定一个门限值,在经过所述滤波子模块处理后与处理前所述声压值或能量的差值大于所述给定的门限值的情况下重置所述滤波系数。
在本实施方式中,所述处理模块通过根据所述基准音频信号对所述目标音频信号进行处理,以减小所述目标音频信号中趋于与所述基准音频信号源于相同声源的音频信号,可以在信号处理的过程中有效避免所述目标音频信号中有用的音频信号被误杀。
在一个实施方式中,所述第一数据通道输入的音频信号与第二数据通道输入的音频信号,可以存入不同的音频文件。
在本实施方式中,所述第一数据通道输入的音频信号可以存入一个音频文件中,第二数据通道传输的音频信号可以存入另一个音频文件中。每个音频文件可以对应一个经过串音处理后的音频信号。每个音频文件可以对应一个通道,进而可以对应每一声源。从而可以方便获取每个通道传输的减少串音的音频信号。方便后续对于所述音频信号的使用。
请参阅图6,为本说明书实施方式提供的一种音频数据处理***的交互示意图。所述信息处理***可以包括客户端和服务器。
在本实施方式中,所述客户端可以包括至少两个音频采集终端和网络通信单元。
在本实施方式中,所述客户端可以具有所述接收模块。所述音频采集终端可以用于将用户的语音录制生成音频信号。将所述音频信号提供给所述接收模块。每个音频采集终端可以是一个传声器,或者是设置了传声器的麦克风。所述传声器用于将声音信号转换成电信号,得到音频信号。所述网络通信单元可以遵循网络通信协议进行网络数据通信。具体的,例如,所述客户端可以是具有较弱的数据处理能力,可以是类似物联网设备等电子设备。
在本实施方式中,所述客户端可以通过至少两个音频采集终端生成音频信号。每个音频采集终端可以对应一个数据通道。客户端可以通过所述网络通信单元将所述接收模块接收的音频信号发送给服务器。具体的,至少两个音频采集终端可以包括第一音频采集终端和第二音频采集终端。相应的,所述第一音频采集终端可以对应第一数据通道,所述第二音频采集终端可以对应第二数据通道。
在本实施方式中,所述服务器可以是具有一定运算处理能力的电子设备。其可以具有网络通信单元、处理器和存储器等。当然,上述服务器也可以是指运行于所述电子设备中的软体。上述服务器还可以为分布式服务器,可以是具有多个处理器、存储器、网络通信模块等协同运作的***。或者,服务器还可以为若干服务器形成的服务器集群。当然,所述服务器还可以运用云技术,从而实现云计算的方式实现所述服务器的功能。
所述服务器可以运行所述控制模块和所述处理模块,以用于根据所述基准音频信号对所述目标音频信号进行处理,以减小所述目标音频信号中趋于与所述基准音频信号源于相同声源的音频信号。所述服务器可以设置有网络通信模块以接收或发送数据。该网络通信模块可以作为服务器的接收模块。
在本实施方式中,所述处理器可以按任何适当的方式实现。例如,所述处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。
请参阅图7,在另一个实施方式中,所述客户端还可以设置有处理器。使得所述客户端具有一定的数据处理能力。所述客户端至少可以运行所述接收模块和所述控制模块。并将确定的目标音频信号和基准音频信号通过网络通信单元提供给服务器。具体的,例如,所述客户端可以是笔记本电脑、台式电脑,或者智能终端设备。在本实施方式中,服务器可以运行有所述处理模块。
在另一个实施方式中,所述客户端可以包括有至少两个音频采集终端和处理器。所述客户端可以具有较强的数据处理能力。使得,所述接收模块、所述控制模块和所述处理模块,都运行于所述客户端。在此场景下,可以无需与服务器进行交互。或者,可以将处理模块处理之后的音频信号提供给服务器。具体的,例如,所述客户端可以是具有较高性能的平板电脑、笔记本电脑、台式电脑、工作站等。
当然,上述只是示例的方式列举了一些客户端。随着科学技术进步,硬件设备的性能可能会有提升,使得目前数据处理能力较弱的电子设备,也可能具备较佳的数据处理能力。所以上述实施方式中,对软件模块运行于硬件设备中的划分,并不构成对本申请的限定。所属领域技术人员还可能对上述软件的模块进行进一步功能拆分,并相应的放置于客户端或服务器中运行。但只要其实现的功能和效果与本说明书相同或相似,均应涵盖于本申请保护范围内。
本说明书实施方式提供一种计算机存储介质。所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时实现,接收第一音频采集终端输入的第一音频信号,和第二音频采集终端输入的第二音频信号;所述第一音频采集终端和所述第二音频采集终端位于同一地点的不同位置;在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号;基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
在本实施方式中,所述计算机存储介质包括但不限于随机存取存储器(RandomAccess Memory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(HardDisk Drive,HDD)或者存储卡(Memory Card)。
在本实施方式中,所述计算机存储介质实现的具体功能,可以与本说明书中电子设备的解锁方法相对照解释,可以参照其他实施方式对照解释。
本说明书实施方式提供一种计算机存储介质。所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时实现,接收第一音频采集终端输入的第一音频信号,和第二音频采集终端输入的第二音频信号;其中,所述第一音频采集终端和所述第二音频采集终端位于同一地点的不同位置;在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号;将所述目标音频信号和所述基准音频信号发送给服务器,以用于所述服务器基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
在本实施方式中,所述计算机存储介质包括但不限于随机存取存储器(RandomAccess Memory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(HardDisk Drive,HDD)或者存储卡(Memory Card)。
在本实施方式中,所述计算机存储介质实现的具体功能,可以与本说明书中电子设备的解锁方法相对照解释,可以参照其他实施方式对照解释。
本说明书实施方式提供一种计算机存储介质。所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时实现:接收客户端提供的目标音频信号和基准音频信号;其中,所述目标音频信号和所述基准音频信号源于不同的音频采集终端,且所述音频采集终端位于同一地点的不同位置;基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
在本实施方式中,所述计算机存储介质包括但不限于随机存取存储器(RandomAccess Memory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(HardDisk Drive,HDD)或者存储卡(Memory Card)。
在本实施方式中,所述计算机存储介质实现的具体功能,可以与本说明书中电子设备的解锁方法相对照解释,可以参照其他实施方式对照解释。
本说明书实施方式提供一种计算机存储介质。所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时实现,接收第一音频采集终端输入的第一音频信号,和第二音频采集终端输入的第二音频信号;其中,所述第一音频采集终端和所述第二音频采集终端位于同一地点的不同位置;将所述第一音频信号和所述第二音频信号发送给服务器,以用于所述服务器在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号,基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
在本实施方式中,所述计算机存储介质包括但不限于随机存取存储器(RandomAccess Memory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(HardDisk Drive,HDD)或者存储卡(Memory Card)。
在本实施方式中,所述计算机存储介质实现的具体功能,可以与本说明书中电子设备的解锁方法相对照解释,可以参照其他实施方式对照解释。
本说明书实施方式提供一种计算机存储介质。所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时实现,接收客户端提供的第一音频信号和第二音频信号;其中,所述第一音频信号和所述第一音频信号源于不同的音频采集终端,且所述音频采集终端位于同一地点的不同位置;在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号;基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
在本实施方式中,所述计算机存储介质包括但不限于随机存取存储器(RandomAccess Memory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(HardDisk Drive,HDD)或者存储卡(Memory Card)。
在本实施方式中,所述计算机存储介质实现的具体功能,可以与本说明书中电子设备的解锁方法相对照解释,可以参照其他实施方式对照解释。
上面对本说明书的各种实施方式的描述以描述的目的提供给本领域技术人员。其不旨在是穷举的、或者不旨在将本发明限制于单个公开的实施方式。如上所述,本说明书的各种替代和变化对于上述技术所属领域技术人员而言将是显而易见的。因此,虽然已经具体讨论了一些实施方式,但是其它实施方式将是显而易见的,或者本领域技术人员相对容易得出。本说明书旨在包括在此已经讨论过的本发明的所有替代、修改、和变化,以及落在上述申请的精神和范围内的其它实施方式。
在说明书各实施方式中“第一”、“第二”的表述仅为了区分不同的数据通道,在这里并不限定数据通道的数量。所述数据通道可以包括多个而不仅限于两个。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施方式或者实施方式的某些部分所述的方法。
本说明书中的各个实施方式均采用递进的方式描述,各个实施方式之间相同相似的部分互相参见即可,每个实施方式重点说明的都是与其他实施方式的不同之处。
本说明书可用于众多通用或专用的计算机***环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、包括以上任何***或设备的分布式计算环境等等。
虽然通过实施方式描绘了本说明书,本领域普通技术人员知道,本说明书有许多变形和变化而不脱离本说明书的精神,希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。

Claims (17)

1.一种音频信号处理方法,其特征在于,包括:
接收第一音频采集终端输入的第一音频信号,和第二音频采集终端输入的第二音频信号;所述第一音频采集终端和所述第二音频采集终端位于同一地点的不同位置;
在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号;
基于所述基准音频信号确定所述目标音频信号对应的滤波系数;
在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
2.根据权利要求1所述的方法,其特征在于,在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号的步骤中包括:
将所述第一音频信号和所述音频信号中,能量较大的一个确定为基准音频信号,另一个确定为目标音频信号;或者,
将所述第一音频信号和所述第二音频信号中,声压值较大的一个确定为基准音频信号,另一个确定为目标音频信号;或者,
将所述第一音频信号和所述第二音频信号中,声压值和能量较大的一个确定为基准音频信号,另一个确定为目标音频信号。
3.根据权利要求2所述的方法,其特征在于,在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号的步骤中包括:在所述目标音频信号的能量或声压值小于或等于指定阈值的情况下,才对所述目标音频信号进行处理。
4.根据权利要求1所述的方法,其特征在于,对应所述第一音频采集终端的第一数据通道和对应所述第二音频采集终端的第二数据通道分别设置有滤波子模块;在在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号的步骤中包括:所述目标音频信号对应的滤波子模块,滤除所述目标音频信号中的串音信号。
5.根据权利要求4所述的方法,其特征在于,提供控制模块,所述控制模块用于控制所述滤波子模块;在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号的步骤中包括:
所述控制模块比较所述第一音频信号和所述第二音频信号,得出所述第一音频信号和所述第二音频信号中的目标音频信号和基准音频信号;
相应的,
所述控制模块控制启动所述目标音频信号对应的滤波子模块。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在处理后的所述目标音频信号符合设定条件的情况下,重置所述目标音频信号对应的滤波子模块。
7.根据权利要求6所述的方法,其特征在于,所述设定条件包括:处理后的所述目标音频信号的能量大于处理前的所述目标音频信号的能量;或者,
处理后的所述目标语音的声压值大于处理前的所述目标音频信号的声压值。
8.根据权利要求1所述的方法,其特征在于,对应所述第一音频采集终端的第一数据通道的音频信号与对应所述第二音频采集终端的第二数据通道输入的音频信号,存入不同的音频文件。
9.一种客户端,其特征在于,包括:
第一音频采集终端,用于输入第一音频信号;
第二音频采集终端,用于输入第二音频信号;所述第一音频采集终端和所述第二音频采集终端位于同一地点的不同位置;
处理器,用于在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号;基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
10.一种音频信号处理方法,其特征在于,包括:
接收第一音频采集终端输入的第一音频信号,和第二音频采集终端输入的第二音频信号;其中,所述第一音频采集终端和所述第二音频采集终端位于同一地点的不同位置;
在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号;
将所述目标音频信号和所述基准音频信号发送给服务器,以用于所述服务器基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
11.一种客户端,其特征在于,包括:
第一音频采集终端,用于输入第一音频信号;
第二音频采集终端,用于输入第二音频信号;所述第一音频采集终端和所述第二音频采集终端位于同一地点的不同位置;
处理器,用于在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号;
网络通信单元,用于将所述目标音频信号和所述基准音频信号发送给服务器,以用于所述服务器基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
12.一种音频信号处理方法,其特征在于,包括:
接收客户端提供的目标音频信号和基准音频信号;其中,所述目标音频信号和所述基准音频信号源于不同的音频采集终端,且所述音频采集终端位于同一地点的不同位置;
基于所述基准音频信号确定所述目标音频信号对应的滤波系数;
在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
13.一种电子设备,其特征在于,包括网络通信单元和处理器;
所述网络通信单元用于接收客户端提供的目标音频信号和基准音频信号;其中,所述目标音频信号和所述基准音频信号源于不同的音频采集终端,且所述音频采集终端位于同一地点的不同位置;
所述处理器用于基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
14.一种音频信号处理方法,其特征在于,包括:
接收第一音频采集终端输入的第一音频信号,和第二音频采集终端输入的第二音频信号;其中,所述第一音频采集终端和所述第二音频采集终端位于同一地点的不同位置;
将所述第一音频信号和所述第二音频信号发送给服务器,以用于所述服务器在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号,基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
15.一种客户端,其特征在于,包括:
第一音频采集终端,用于输入第一音频信号;
第二音频采集终端,用于输入第二音频信号;其中,所述第一音频采集终端和所述第二音频采集终端位于同一地点的不同位置;
网络通信单元,将所述第一音频信号和所述第二音频信号发送给服务器,以用于所述服务器在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号,基于所述基准音频信号确定所述目标音频信号对应的滤波系数,在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
16.一种音频信号处理方法,其特征在于,包括:
接收客户端提供的第一音频信号和第二音频信号;其中,所述第一音频信号和所述第一音频信号源于不同的音频采集终端,且所述音频采集终端位于同一地点的不同位置;
在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号;
基于所述基准音频信号确定所述目标音频信号对应的滤波系数;
在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
17.一种电子设备,其特征在于,包括网络通信单元、处理器;
所述网络通信单元用于接收客户端提供的第一音频信号和第二音频信号;其中,所述第一音频信号和所述第一音频信号源于不同的音频采集终端,且所述音频采集终端位于同一地点的不同位置;
所述处理器用于在所述第一音频信号和所述第二音频信号中确定目标音频信号和基准音频信号;基于所述基准音频信号确定所述目标音频信号对应的滤波系数;在所述目标音频信号中去除基于所述滤波系数和所述基准音频信号确定的串音信号。
CN201810718185.8A 2018-07-03 2018-07-03 音频信号处理方法、客户端和电子设备 Pending CN110675889A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810718185.8A CN110675889A (zh) 2018-07-03 2018-07-03 音频信号处理方法、客户端和电子设备
US16/452,771 US11265650B2 (en) 2018-07-03 2019-06-26 Method, client, and electronic device for processing audio signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810718185.8A CN110675889A (zh) 2018-07-03 2018-07-03 音频信号处理方法、客户端和电子设备

Publications (1)

Publication Number Publication Date
CN110675889A true CN110675889A (zh) 2020-01-10

Family

ID=69065948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810718185.8A Pending CN110675889A (zh) 2018-07-03 2018-07-03 音频信号处理方法、客户端和电子设备

Country Status (2)

Country Link
US (1) US11265650B2 (zh)
CN (1) CN110675889A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429919A (zh) * 2020-03-30 2020-07-17 招商局金融科技有限公司 基于会议实录***的防串音方法、电子装置及存储介质
CN113539269A (zh) * 2021-07-20 2021-10-22 上海明略人工智能(集团)有限公司 音频信息处理方法、***和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103546849A (zh) * 2011-12-30 2014-01-29 Gn瑞声达A/S 具有频率无掩蔽的双耳助听器
US20150294674A1 (en) * 2012-10-03 2015-10-15 Oki Electric Industry Co., Ltd. Audio signal processor, method, and program
CN106952653A (zh) * 2017-03-15 2017-07-14 科大讯飞股份有限公司 噪声去除方法、装置和终端设备
CN107682529A (zh) * 2017-09-07 2018-02-09 维沃移动通信有限公司 一种音频信号处理方法及移动终端

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2986608A (en) 1958-04-04 1961-05-30 Rca Corp Magnetic recording cross-talk elimination
US3946165A (en) * 1971-10-06 1976-03-23 Cooper Duane H Method and apparatus for control of crosstalk in multiple frequency recording
US4204091A (en) * 1977-03-21 1980-05-20 Victor Company Of Japan, Limited Cancellation of interference distortions caused by intermodulation between FM signals on adjacent channels
JPS57150285A (en) 1981-03-12 1982-09-17 Victor Co Of Japan Ltd Magnetic recording system of sound signal and recording and reproducing system
US5402500A (en) * 1993-05-13 1995-03-28 Lectronics, Inc. Adaptive proportional gain audio mixing system
US6167253A (en) 1995-01-12 2000-12-26 Bell Atlantic Network Services, Inc. Mobile data/message/electronic mail download system utilizing network-centric protocol such as Java
DE69631955T2 (de) * 1995-12-15 2005-01-05 Koninklijke Philips Electronics N.V. Verfahren und schaltung zur adaptiven rauschunterdrückung und sendeempfänger
US6496581B1 (en) * 1997-09-11 2002-12-17 Digisonix, Inc. Coupled acoustic echo cancellation system
US7404001B2 (en) 2002-03-27 2008-07-22 Ericsson Ab Videophone and method for a video call
US8611919B2 (en) 2002-05-23 2013-12-17 Wounder Gmbh., Llc System, method, and computer program product for providing location based services and mobile e-commerce
US20050254440A1 (en) 2004-05-05 2005-11-17 Sorrell John D Private multimedia network
KR20060003444A (ko) 2004-07-06 2006-01-11 삼성전자주식회사 모바일 기기에서 크로스토크 제거 장치 및 방법
US8204884B2 (en) 2004-07-14 2012-06-19 Nice Systems Ltd. Method, apparatus and system for capturing and analyzing interaction based content
JP4702371B2 (ja) 2005-10-26 2011-06-15 日本電気株式会社 エコー抑圧方法及び装置
US20070291667A1 (en) 2006-06-16 2007-12-20 Ericsson, Inc. Intelligent audio limit method, system and node
US8145199B2 (en) 2009-10-31 2012-03-27 BT Patent LLC Controlling mobile device functions
WO2012054750A1 (en) 2010-10-20 2012-04-26 Srs Labs, Inc. Stereo image widening system
US8606249B1 (en) * 2011-03-07 2013-12-10 Audience, Inc. Methods and systems for enhancing audio quality during teleconferencing
TW202339510A (zh) 2011-07-01 2023-10-01 美商杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
US9380388B2 (en) 2012-09-28 2016-06-28 Qualcomm Incorporated Channel crosstalk removal
EP2884488B1 (en) * 2013-12-16 2021-03-31 Harman Becker Automotive Systems GmbH Active noise control system
US9451360B2 (en) * 2014-01-14 2016-09-20 Cisco Technology, Inc. Muting a sound source with an array of microphones
US9693137B1 (en) * 2014-11-17 2017-06-27 Audiohand Inc. Method for creating a customizable synchronized audio recording using audio signals from mobile recording devices
US10839309B2 (en) * 2015-06-04 2020-11-17 Accusonus, Inc. Data training in multi-sensor setups
US10044409B2 (en) 2015-07-14 2018-08-07 At&T Intellectual Property I, L.P. Transmission medium and methods for use therewith
WO2017064840A1 (ja) * 2015-10-16 2017-04-20 パナソニックIpマネジメント株式会社 音源分離装置および音源分離方法
US10552114B2 (en) * 2017-05-31 2020-02-04 International Business Machines Corporation Auto-mute redundant devices in a conference room

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103546849A (zh) * 2011-12-30 2014-01-29 Gn瑞声达A/S 具有频率无掩蔽的双耳助听器
US20150294674A1 (en) * 2012-10-03 2015-10-15 Oki Electric Industry Co., Ltd. Audio signal processor, method, and program
CN106952653A (zh) * 2017-03-15 2017-07-14 科大讯飞股份有限公司 噪声去除方法、装置和终端设备
CN107682529A (zh) * 2017-09-07 2018-02-09 维沃移动通信有限公司 一种音频信号处理方法及移动终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429919A (zh) * 2020-03-30 2020-07-17 招商局金融科技有限公司 基于会议实录***的防串音方法、电子装置及存储介质
CN113539269A (zh) * 2021-07-20 2021-10-22 上海明略人工智能(集团)有限公司 音频信息处理方法、***和计算机可读存储介质

Also Published As

Publication number Publication date
US20200015008A1 (en) 2020-01-09
US11265650B2 (en) 2022-03-01

Similar Documents

Publication Publication Date Title
US10553235B2 (en) Transparent near-end user control over far-end speech enhancement processing
EP2715725B1 (en) Processing audio signals
US9774743B2 (en) Silence signatures of audio signals
US9084062B2 (en) Conversation detection apparatus, hearing aid, and conversation detection method
CN110718238B (zh) 串音数据检测方法、客户端和电子设备
WO2007061583A1 (en) Configuration of echo cancellation
US8718562B2 (en) Processing audio signals
US9185506B1 (en) Comfort noise generation based on noise estimation
CN110718237B (zh) 串音数据检测方法和电子设备
US20180061437A1 (en) Techniques for decreasing echo and transmission periods for audio communication sessions
EP2795884A1 (en) Audio conferencing
US10708689B2 (en) Reducing acoustic feedback over variable-delay pathway
CN110675889A (zh) 音频信号处理方法、客户端和电子设备
JP2024507916A (ja) オーディオ信号の処理方法、装置、電子機器、及びコンピュータプログラム
US11380312B1 (en) Residual echo suppression for keyword detection
GB2490092A (en) Reducing howling by applying a noise attenuation factor to a frequency which has above average gain
US10825460B1 (en) Audio fingerprinting for meeting services
CN114630069A (zh) 音视频优化方法、音频终端及存储介质
EP4214707A1 (en) Method and device for processing a binaural recording
Nagaraja et al. VoipLoc: VoIP call provenance using acoustic side-channels
CN113785357A (zh) 开放有源噪声消除***
CN117079661A (zh) 一种声源处理方法及相关装置
Alisher et al. Control Approaches for Audio Signal Quality Improvement in the Developed Conference System Based on the Personal User Devices
JP2023044750A (ja) 音波出力装置、音波出力方法、および音波出力プログラム
CN116453534A (zh) 远程介入手术的混音方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination