CN109845288A - 用于麦克风之间的输出信号均衡的方法和装置 - Google Patents

用于麦克风之间的输出信号均衡的方法和装置 Download PDF

Info

Publication number
CN109845288A
CN109845288A CN201780063490.1A CN201780063490A CN109845288A CN 109845288 A CN109845288 A CN 109845288A CN 201780063490 A CN201780063490 A CN 201780063490A CN 109845288 A CN109845288 A CN 109845288A
Authority
CN
China
Prior art keywords
microphone
signal
captured
processor
program code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780063490.1A
Other languages
English (en)
Other versions
CN109845288B (zh
Inventor
S·威萨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN109845288A publication Critical patent/CN109845288A/zh
Application granted granted Critical
Publication of CN109845288B publication Critical patent/CN109845288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H04R29/006—Microphone matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一种方法、装置和计算机程序产品提供了一种改进的滤波器校准过程，以可靠地均衡由第一麦克风和第二麦克风所捕获的音频信号的长期频谱，该第一麦克风和第二麦克风相对于声源处于不同位置和/或具有不同类型。在方法的上下文中，由第一麦克风和第二麦克风所捕获的信号被分析。该方法还基于该分析来确定一个或多个质量测量。在一个或多个质量测量满足预定义条件的情况下，该方法确定由第一麦克风和第二麦克风所捕获的信号的频率响应。该方法还确定由第一麦克风和第二麦克风所捕获的信号的频率响应之间的差值，以及处理由第一麦克风所捕获的信号，以基于该差值相对于由第二麦克风所捕获的信号进行过滤。

Description

用于麦克风之间的输出信号均衡的方法和装置
技术领域
本公开的示例实施例总体上涉及滤波器设计，并且更具体地，涉及不同麦克风之间的输出信号均衡，诸如相对于声源的不同位置处的麦克风和/或不同类型的麦克风。
背景技术
在记录由空间中的一个或多个声源所发出的音频信号期间，可以利用多个麦克风来捕获音频信号。在这方面，第一麦克风可以放置在相应声源附近，并且第二麦克风可以位于距离该声源较远的距离外，以便捕获伴随由一个或多个声源所发出的音频信号的空间的氛围。在声源是正在说话或唱歌的人的情况下，第一麦克风可以是放置在人的袖子或翻领上的领夹式麦克风。在由第一麦克风和第二麦克风捕获音频信号之后，第一麦克风和第二麦克风的输出信号被混合。在混合第一麦克风和第二麦克风的输出信号时，可以处理第一麦克风和第二麦克风的输出信号，以便将由第一麦克风所捕获的音频信号的长期频谱与由第二麦克风所捕获的音频信号更加接近地匹配。第一麦克风和第二麦克风所捕获的音频信号的长期频谱的这种匹配是针对每个声源分别执行的，因为麦克风的类型和麦克风相对于相应声源的布置可能存在差异。
为了近似抵消由于在近场中靠近声源放置具有指示拾取模式(诸如心形或八字形图案)的麦克风所引起的低音增强，可以利用低音截止滤波器来近似匹配由第二麦克风所捕获的相同声源的频谱。然而，有时候，可能期望比利用低音截止滤波器所完成的更准确地匹配频谱。因此，已经开发了手动触发的滤波器校准过程。
在这些滤波器校准过程中，操作员手动触发滤波器校准过程，通常在仅有由要校准的第一麦克风所记录的声源是活动的情况下。然后，基于第一麦克风和第二麦克风的校准时段上的平均频谱差计算校准滤波器。该滤波器校准过程不仅需要由操作员手动触发，而且操作员通常必须指示每个声源(诸如佩戴第一麦克风的人)在不同的时段期间产生或发出音频信号，在该时间段中，针对与相应声源相关联的第一麦克风执行滤波器校准过程。
因此，这些滤波器校准过程通常适用于后期制作设置，而不适用于现场声音的滤波器设计。此外，在存在显著的背景噪声的情况下，这些滤波器校准过程可能受到不利影响，使得由用于校准的第一麦克风和第二麦克风所捕获的音频信号具有相对低的信噪比。此外，在由与若干不同声源相关联的第一麦克风所捕获的音频信号与公共的第二麦克风(诸如用于捕获氛围的公共麦克风阵列)混合在一起的情况下，这些滤波器校准过程可能未针对空间音频混合进行优化，因为为了滤波器校准的目的，不能容易地分开由第一麦克风中的每个麦克风所捕获的音频信号的贡献。
发明内容
根据示例实施例提供了一种方法、装置和计算机程序产品，以便提供改进的滤波器校准过程，从而可靠地匹配或均衡由第一麦克风和第二麦克风所捕获的音频信号的长期频谱，第一麦克风和第二麦克风相对于声源处于不同位置和/或具有不同类型。作为由第一麦克风和第二麦克风所捕获的音频信号的增强的均衡的结果，可以改进由声源所发出并且由第一麦克风和第二麦克风所捕获的音频信号的回放，从而提供更加逼真的收听体验。示例实施例的方法、装置和计算机程序产品提供了滤波器校准过程的自动执行，使得由第一麦克风和第二麦克风所捕获的音频信号的长期频谱的所得均衡不仅适用于后期制作设置，也适用于现场声音。此外，示例实施例的方法、装置和计算机程序产品被配置为均衡由第一麦克风和第二麦克风所捕获的音频信号的长期频谱连同空间音频混合，使得进一步增强已经过空间音频混合的音频信号的回放。
根据示例实施例，提供了一种方法，包括：分析由第一麦克风和第二麦克风中的每个麦克风所捕获的一个或多个信号。在示例实施例中，该第一麦克风比第二麦克风靠近声源。该方法还包括基于该分析确定一个或多个质量测量。在一个或多个质量测量满足预定义条件的情况下，该方法确定由该第一麦克风和第二麦克风所捕获的信号的频率响应。该方法还包括确定由该第一麦克风和第二麦克风所捕获的信号的频率响应之间的差值，以及利用滤波器处理由该第一麦克风所捕获的信号以基于该差值相对于由第二麦克风所捕获的信号对应地过滤由该第一麦克风所捕获的信号。
示例实施例的方法通过确定由该第一麦克风和第二麦克风所捕获的信号之间的互相关测量来执行分析。在该示例实施例中，该方法基于该互相关测量的最大绝对值峰值与该互相关测量的绝对值的和的比率来确定质量测量。另外或者备选地，该示例实施例的方法基于该互相关测量的最大绝对值的一个或多个先验位置的标准差来确定质量测量。更进一步地，示例实施例的方法可以基于由该第一麦克风所捕获的信号的信噪比来确定质量测量。示例实施例的方法还包括：在多个不同时间窗中的每个时间窗期间，在针对由第一麦克风和第二麦克风所捕获的信号的一个或多个质量测量满足预定义条件的情况下，重复执行该分析并且确定频率响应。在该示例实施例中，该方法还包括：在多个不同时间窗中的每个时间窗期间，基于由该第一麦克风所捕获的信号中的至少一个信号并且取决于基于由第二麦克风所捕获的信号中的至少一个信号的所估计的频率响应来估计平均频率响应。该示例实施例的方法还包括聚合一个或多个质量测量满足预定义条件的不同时间窗。在该实施例中，差值的确定取决于满足预定条件的时间窗的聚合。
在另一示例实施例中，提供了一种装置，包括至少一个处理器和至少一个存储器，该至少一个存储器包括计算机程序代码，其中该至少一个存储器与计算机程序代码被配置为与至少一个处理器一起，使得该装置分析该第一麦克风和第二麦克风所捕获的一个或多个信号。在示例实施例中，该第一麦克风比该第二麦克风靠近声源。该至少一个存储器和计算机程序代码还被配置为与至少一个处理器一起，使得该装置基于该分析确定一个或多个质量测量，以及在该一个或多个质量测量满足预定义条件的情况下，确定由该第一麦克风和第二麦克风所捕获的信号的频率响应。该至少一个存储器和计算机程序代码进一步被配置为与至少一个处理器一起，使得该装置确定由该第一麦克风和第二麦克风所捕获的信号的频率响应之间的差值，并且利用滤波器处理由该第一麦克风所捕获的信号以基于该差值相对于由第二麦克风所捕获的信号对应地过滤由该第一麦克风所捕获的信号。
该至少一个存储器和计算机程序代码进一步被配置为与至少一个处理器一起，使得示例实施例的装置通过确定由该第一麦克风和第二麦克风所捕获的信号之间的互相关测量来执行该分析。在该示例实施例中，该至少一个存储器和计算机程序代码配置为与至少一个处理器一起，使得该装置基于该互相关测量的最大绝对值与该互相关测量的绝对值的和的比率来确定质量测量。另外或者备选地，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得该示例实施例的装置基于该互相关测量的最大绝对值的一个或多个先验位置的标准差来确定质量测量。
该至少一个存储器和计算机程序代码进一步被配置为与至少一个处理器一起，使得示例实施例的装置在多个不同时间窗中的每个时间窗期间，在针对由第一麦克风和第二麦克风所捕获的信号的一个或多个质量测量满足预定义条件的情况下，重复执行该分析并且确定频率响应。在该示例实施例中，该至少一个存储器和计算机程序代码进一步被配置为与至少一个处理器一起，使得该装置在多个不同时间窗中的每个时间窗期间，基于由该第一麦克风所捕获的信号中的至少一个信号并且取决于基于由第二麦克风所捕获的信号中的至少一个信号的所估计的频率响应来估计平均频率响应。该至少一个存储器和计算机程序代码进一步被配置为与至少一个处理器一起，使得该示例实施例中的该装置聚合该一个或多个质量测量满足预定义条件的不同时间窗。在这方面，该差值的确定取决于满足预定条件的时间窗的聚合。
在另一示例实施例中，提供了一种计算机程序产品，该计算机程序产品包括其中存储有计算机可执行程序代码部分的至少一个非瞬态计算机可读存储介质，其中该计算机可执行程序代码部分包括被配置为分析由该第一麦克风和第二麦克风中的每个麦克风所捕获的一个或多个信号的程序代码指令。该计算机可执行程序代码部分还包括被配置为基于该分析确定一个或多个质量测量的程序代码指令，以及被配置为在一个或多个质量测量满足预定义条件的情况下，确定由该第一麦克风和第二麦克风所捕获的信号的频率响应的程序代码指令。该计算机可执行程序代码部分进一步包括被配置为确定由该第一麦克风和第二麦克风所捕获的信号的频率响应之间的差值的程序代码指令，以及配置为利用滤波器处理由该第一麦克风所捕获的信号以基于该差值相对于由该第二麦克风所捕获的信号对应地过滤由该第一麦克风所捕获的信号。
被配置为根据示例实施例执行分析的程序代码指令包括被配置为确定由该第一麦克风和第二麦克风所捕获的信号之间的互相关测量的程序代码指令。在该示例实施例中，被配置为确定一个或多个质量测量的程序代码指令包括被配置为基于该互相关测量的最大绝对值峰值与该互相关测量的绝对值的和的比率来确定质量测量的程序代码指令。另外或备选地，被配置为根据示例实施例确定一个或多个质量测量的程序代码指令包括被配置为基于该互相关测量的最大绝对值的一个或多个先验位置的标准差来确定质量测量的程序代码指令。示例实施例的计算机可执行程序代码部分还包括被配置为在多个不同时间窗中的每个时间窗期间，在针对由第一麦克风和第二麦克风所捕获的信号的一个或多个质量测量满足预定义条件的情况下，重复执行分析并且确定频率响应的程序代码指令。
在又一示例实施例中，提供了一种装置，该装置包括用于分析该第一麦克风和第二麦克风中的每个麦克风所捕获的一个或多个信号的部件，诸如用于确定由第一麦克风和第二麦克风所捕获的信号之间的互相关测量的部件。该装置还包括用于基于该分析确定一个或多个质量测量的部件。在一个或多个质量测量满足预定义条件的情况下，该装置还包括用于确定由该第一麦克风和第二麦克风所捕获的信号的频率响应的部件。该示例实施例的装置进一步包括用于确定由该第一麦克风和第二麦克风所捕获的信号的频率响应之间的差值的部件，以及用于利用滤波器处理由该第一麦克风所捕获的信号以基于该差值相对于由该第二麦克风所捕获的信号对应地过滤由该第一麦克风所捕获的信号的部件。
附图说明
因此已经概括地描述了本公开的某些示例实施例，以下将参考附图，附图不一定按照比例绘制，且附图中：
图1是以两位不同说话者形式的两个声源的示意图，每个说活者具有附接到其翻领并且与第二麦克风间隔一定距离的第一麦克风；
图2是可以根据本公开的示例实施例被具体配置的装置的框图；
图3A和3B是示出根据本公开的示例实施例的诸如由图2的装置执行的操作的流程图；
图4A是峰和比与预定义阈值的图形表示；
图4B是信噪比与预定义阈值的图形表示；
图4C是延迟估计以及由延迟的下限和上限限定的所选择的延迟估计的图形表示；
图5是根据本公开的示例实施例的与自动导出的音色匹配滤波器的幅度响应相比较的手动导出的音色匹配滤波器的幅度响应的图形表示；以及
图6是根据本公开的示例实施例的由第一麦克风和第二麦克风所捕获的音频信号的频率响应以及音频信号的过滤的图形示意图，两者都具有手动导出的音色匹配滤波器和自动导出的音色匹配滤波器。
具体实施方式
现在将在下文中参考附图更全面地描述一些实施例，附图中示出了一些但非全部实施例。实际上，各种实施例可以以许多不同的形式实施，并且不应该被解释为限于本文中阐述的实施例；相反，提供这些实施例是为了使本公开满足可应用的法律要求。相同的附图标记始终表示相同的元件。如在本文中所使用的，术语“数据”、“内容”、“信息”和类似术语可以互换使用，以指代能够根据本公开的实施例传输、接收及/或存储的数据。因此，不应该将任何此类术语的使用视为限制本公开的实施例的精神和范围。
另外，如在本文中所使用的，术语“电路”指代(a)仅硬件电路实现(例如，模拟电路和/或数字电路中的实现)；(b)电路和一个或多个计算机程序产品的组合，该一个或多个计算机程序产品包括存储在一个或多个计算机可读存储器上的软件和/或固件指令，它们一起工作以使得装置执行本文所述的一个或多个功能；以及(c)电路(诸如，例如，一个或多个微处理器或一个或多个微处理器的一部分)，即使软件或固件没有物理地存在，该电路也需要软件或固件用于操作。“电路”的该定义适用于本文该术语的所有用途，包括在任何权利要求中。作为另一示例，如在本文中所使用的，术语“电路”还包括包含一个或多个处理器和/或其一部分以及附带的软件和/或固件的实现。作为另一实施例，本文所使用的术语“电路”还包括，例如，用于移动电话的基带集成电路或应用处理器集成电路或服务器中、蜂窝网络设备、其他网络设备和/或其他计算设备中的类似集成电路。
如本文中所定义的，“计算机可读存储介质”，其指代非瞬态物理存储介质(例如，易失性或非易失性存储器设备)，可以与“计算机可读传输介质”区分开，“计算机可读传输介质”指代电磁信号。
提供了一种方法、装置和计算机程序产品，以便通常以自动方式而无人工参与或干预均衡来均衡两个不同麦克风的长期平均频谱，这两个不同麦克风相对于声源的位置不同和/或类型不同。通过自动均衡位置和/或类型不同的不同麦克风的长期平均频谱，示例实施例的方法、装置和计算机程序产品可以用于后期制作设置或者与现场声音结合使用，以改善由麦克风所捕获的音频信号的音频输出。
图1描绘了在其中不同位置和不同类型的两个不同麦克风捕获由声源发出的音频信号的示例场景。在这方面，第一人10可以用作声源并且可以佩带第一麦克风12，诸如在其翻领、衣领等等上的领夹式麦克风。第一人可能是演讲者或其他说话这、歌手或其他类型的表演者，仅举几例。由于第一麦克风由第一人携带，第一麦克风可以被称为近距离麦克风。如图1所示，第二麦克风14还被配置为捕获由声源(诸如第一人)输出的音频以及环境噪声。因此，第二麦克风比第一麦克风远离声源。在一些实施例中，第二麦克风也可以是与第一麦克风不同的类型。例如，一个实施例中的第二麦克风可以是麦克风阵列中的至少一个，诸如Nokia OZOTM***的8个麦克风中的一个。尽管可以在阵列的所有麦克风上估计平均频谱，在示例实施例中，最接近声源的任何阵列的麦克风可以用作第二麦克风，以便保持与声源的视线关系，并且避免或限制阴影。在如在Nokia OZOTM***中球形地布置麦克风的备选实施例中，两个相对的麦克风的平均可以用作第二麦克风，其中这两个相对的麦克风点之间的线的法线最接近声源。第二麦克风可以称被为参考麦克风。
在一些场景中，第二麦克风14位于包括多个声源的空间中，使得第二麦克风不仅捕获由第一声源(例如第一人10)所发出的音频信号，还捕获由第二声源和可能更多声源所发出的音频信号。在所示的示例中，第二人16用作第二声源，而另一个第一麦克风18可以位于第二声源附近，诸如通过由第二人在其翻领、衣领等等上携带。这样，由第二声源所发出的音频信号被由第二人携带的第一麦克风(即近距离麦克风)和第二麦克风两者捕获。
根据示例实施例，提供了一种装置，该装置确定合适的时段，在该时段中由第一麦克风和第二麦克风所捕获的音频信号中的存在的声源(诸如第一人)的长期平均频谱可以被均衡。一旦已经标识出合适的时段，就可以自动均衡该第一麦克风和第二麦克风的长期平均频谱，并且可以基于其设计滤波器，以便随后过滤由第一麦克风和第二麦克风所捕获的音频信号。结果，可归因于由声源发出并且由第一麦克风和第二麦克风所捕获的音频信号的音频输出允许更愉快的收听体验。另外，根据示例实施例提供的自动滤波器设计可以促进将声源混合在一起，因为减少或消除了均衡的手动调节。
该装置可以由各种计算设备实现，诸如音频/视频播放器、音频/视频接收器、音频/视频记录设备、音频/视频混合设备、收音机等。然而，该装置可以替代地由各种其他计算设备中的任何一个实现或与其相关联，包括例如移动终端(诸如便携式数字助理(PDA)、移动电话、智能电话、寻呼机、移动电视、游戏设备、膝上型计算机、照相机、平板电脑、触控屏幕、录像机、收音机、电子书、定位设备(例如，全球定位***(GPS)设备)、或上述的任何组合，以及其他类型的语音和文本通信***。备选地，计算设备可以是固定的计算设备，诸如个人计算机、计算机工作站、服务器等。虽然该装置可以由单个计算设备实现，但是一些示例实施例的装置可以以如下分布式方式实现，其中该装置的一些组件由诸如音频/视频播放器的第一计算设备实现，并且该装置的其他组件由与第一计算设备分开但与第一计算设备通信的计算设备实现。
不管实现该装置的计算设备的类型如何，示例实施例的装置20在图2中被描绘并且被配置为包括处理器22、存储器设备24和可选的通信接口26或者与它们通信。在一些实施例中，处理器(和/或协处理器或辅助或以其他方式与处理器相关联的任何其他处理电路)可以经由总线与存储器设备进行通信，以用于在装置的组件之间传递信息。该存储器设备可以是非瞬态的，并且可以包括，例如，一个或多个易失性和/或非易失性存储器。换言之，例如，存储器设备可以是电子存储设备(例如，计算机可读存储介质)，该电子存储设备包括被配置为存储可由机器(例如，如处理器的计算设备)取回的数据(例如，比特)的门。存储器设备可以被配置为储存信息、数据、内容、应用、指令等，以使装置能够执行根据本发明示例实施例的各种功能。例如，存储器设备可以配置为缓冲输入数据以供处理器处理。另外或者备选地，存储器设备可以被配置以存储供处理器执行的指令。
如上所述，装置20可以由计算设备实现。然而，在一些实施例中，该装置可以实现为芯片或芯片组。换言之，该装置可以包括一个或多个物理封装(例如，芯片)，该一个或多个物理封装包括结构组件(例如，基板)上的材料、组件和/或电线。结构组件可以为其上包括的组件电路提供物理强度、尺寸的保护和/或电学交互作用的限制。因此，在一些情况下，该装置可以被配置为在单个芯片上或者作为单个“片上***”来实现本发明的实施例。因此，在一些情况下，芯片或芯片组可以构成用于执行一个或多个操作以提供本文所述的功能的部件。
处理器22可以以多种不同方式实现。例如，处理器可以实现为各种硬件处理部件(诸如协处理器、微处理器、控制器、数字信号处理器(DSP)、具有或不具有伴随DSP的处理元件、或包括集成电路的各种其他处理电路(诸如，例如，ASIC(专用集成电路)、FPGA(现场可编程门阵列)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等))中的一个或多个。这样，在一些实施例中，处理器可以包括被配置为独立执行的一个或多个处理核。多核处理器可以在单个物理封装内实现多处理。另外或者备选地，处理器可以包括经由总线串联配置的一个或多个处理器，以实现指令、流水线及/或多线程的独立执行。
在示例实施例中，处理器22可以被配置为执行存储在存储器设备24中或处理器可访问的指令。备选地或另外地，处理器可以被配置为执行硬编码功能。这样，无论是由硬件配置还是软件方法配置，还是由其组合配置，处理器可以代表能够在相应地配置时执行根据本发明实施例的操作的实体(例如，物理地体现在电路中)。因此，例如，当处理器实现为ASIC、FPGA等时，处理器可以是专门配置的硬件，用于进行本文所述的操作。备选地，作为另一实施例，当处理器实现为软件指令的执行器时，这些指令可以具体地配置处理器以在执行这些指令时执行本文所述的算法和/或操作。然而，在一些情况下，处理器可以是特定设备(例如，音频/视频播放器、音频/视频混合器、收音机或移动终端)的处理器，其被配置为通过由用于执行本文所述的算法和/或操作的指令进一步配置处理器来采用本发明的实施例。除了别的之外，处理器可以包括被配置为支持处理器操作的时钟、算法逻辑单元(ALU)和逻辑门。
装置20还可以可选地包括通信接口26。通信接口可以是任何部件，诸如在硬件或者硬件和软件的组合中实现的设备或电路，其被配置为从/向网络和/或与该装置通信的任何其他设备或模块接收和/或传输数据。在这方面，通信接口可以包括例如天线(或多个天线)和支持硬件和/或软件，用于实现与无线通信网络的通信。另外或者备选地，通信接口可以包括用于与一个或多个天线交互的电路，以使得经由一个或多个天线传输信号或以处理经由一个或多个天线接收的信号。在一些环境中，通信接口可以备选地或者也可以支持有线通信。这样，例如，通信接口可以包括通信调制解调器和/或其他硬件/软件，用于支持经由电缆、数字用户线(DSL)、通用串行总线(USB)或其他机制的通信。
现在请参考图3A与3B，描绘了根据示例实施例(诸如由图2的装置20)进行的操作。在这方面并且如图3A的框30所示，示例实施例的装置包括部件，诸如处理器22,、通信接口26等，用于接收在相应时间窗内由第一麦克风和第二麦克风中的每个麦克风所捕获的一个或多个信号。如上所述并且如图1所示，第一麦克风和第二麦克风是在相对于声源的位置上和/或类型不同的不同麦克风。已经由该第一麦克风和第二麦克风中的每个麦克风捕获并且被该装置接收的一个或多个信号可以被实时接收，或者可以在第一麦克风和第二麦克风捕获音频信号之后某个时间接收，诸如在装置被配置为以离线或时间延迟的方式处理先验捕获的记录的情况下。
基于接收到的信号，装置20配置为确定与第一麦克风相关联的声源是活动的还是不活动的。如图3A的框32所示，示例实施例的装置包括用于确定与第一麦克风相关联的声源的活动测量的部件，诸如处理器22等。尽管可以确定各种活动测量，但是示例实施例的装置(诸如处理器)被配置为确定在相应时间窗期间由第一麦克风捕获的信号的信噪比(SNR)。然后，装置(诸如处理器)被配置为将在相应时间窗期间由第一麦克风捕获的信号的活动测量(诸如SNR)与预定义阈值进行比较，并且在质量测量满足预定义阈值的情况下，将与该第一麦克风相关联的声源分类为活动的。例如，在活动测量是在相应时间窗内由第一麦克风捕获的信号的SNR的情况下，示例实施例的装置(诸如处理器)被配置为在该SNR等于或超过预定义阈值的情况下将与第一麦克风互关联的声源分类为活动的，并且在该SNR小于预定义阈值的情况下将与第一麦克风互关联的声源分类为不活动的。
除了确定与第一麦克风相关联的声源是活动的还是不活动的之外，示例实施例的装置20还被配置为确定与第一麦克风相关联的声源是否是在第二麦克风也捕获音频信号的空间中唯一活动的近距离麦克风(在捕获音频信号时)。在这方面，该装置包括示例实施例的用于基于由与其他声源相关联的近距离麦克风所捕获的音频信号来确定空间内的每个其他声源的活动测量的部件，诸如处理器22等。参见图3A的框34。在与第一麦克风相关联的声源是不活动的情况下，或者在空间中的声源另一个是活动的情况下，不管与第一麦克风相关联的声源是否是活动的可以终止在相应时间窗期间所捕获的音频信号的分析，并且该过程可以替代地继续分析在不同时间窗口期间由第一麦克风和第二麦克风所捕获的信号，诸如随后的时间窗，因为长期平均频谱是在一段时间内(诸如1至2秒)、大于时间窗的长度的信号窗估计的。然而，在与第一麦克风相关联的声源被分类为活动的并且该空间内的所有其他声源被确定为不活动的情况下，该装置(诸如处理器)继续进一步分析由第一麦克风和第二麦克风所捕获的音频信号，以便均衡它们的长期平均频谱。时间窗不一定必须是连续的，因为在有效的时间窗之间可能存在无效的时间窗，例如声源是不活动的或相关性太低的时间窗。
如图3A的框36所示，示例实施例的装置20还包括用于分析由第一麦克风和与第二麦克风所捕获的信号的部件，诸如处理器22等。尽管可以执行各种类型的分析，但是示例实施例的装置(诸如处理器)通过基于由第一麦克风和第二麦克风所捕获的信号之间的互相关测量执行相似性分析来比较由第一麦克风和第二麦克风捕获的信号。在这方面，示例实施例的装置包括用于确定由第一麦克风和第二麦克风捕获的信号之间的互相关测量的部件，诸如处理器等。可以采用各种互相关测量。然而，在一个实施例中，装置(诸如处理器)被配置为利用具有相位变换加权的广义互相关(GCC-PHAT)来确定互相关测量，GCC-PHAT对房间混响来说相对稳健。无论互相关测量的类型如何，互相关测量是在与声源相关联的第一麦克风和与第一麦克风匹配的第二麦克风之间的实际滞后集合上确定的。在这方面，互相关测量跨越一系列延迟被确定，这些延迟对应于由声源所产生的音频信号从与该声源相关联的第一麦克风传播到第二麦克风所需要的时间。例如，可以关于由第一麦克风和第二麦克风之间的距离除以声速(诸如344米/每秒)定义的时间值来标识确定互相关测量的滞后范围。如下所述，仅针对特定距离范围估计，或者可以针对不同距离范围估计不同均衡滤波器。在这方面，基于互相关峰值的位置来估计距离，该互相关峰值基于第一麦克风和第二麦克风的时间窗来估计。
如果麦克风信号没有被相同的设备捕获，诸如相同的声卡，则麦克风信号之间的延迟还包括由处理电路所引起的延迟，例如，在使用基于网络的音频的情况下的网络延迟。如果由处理电路所引起的延迟是已知的，则在互相关分析期间可以考虑由处理电路所引起的延迟，例如，通过使用例如环形缓冲器来延迟相对于另一信号引导的信号，以便补偿处理延迟。备选地，处理延迟可以与声音传播延迟一起被估计。
在将由第一麦克风和第二麦克风在相应时间窗所捕获的信号以便均衡第一麦克风和第二麦克风的长期平均频谱之前，确定所捕获的音频信号的质量，使得只有那些质量足够的音频信号才能在此后用于均衡第一麦克风和第二麦克风的长期平均频谱。通过排除例如具有显著背景噪声的信号，与用于匹配目的的利用整个信号范围(包括具有显著背景噪声的信号)的手动技术相比，根据示例实施例所设计的所得滤波器可以提供由第一麦克风和第二麦克风捕获的信号的更精确匹配。
这样，示例实施例的装置20包括用于基于该分析(诸如互相关测量)确定一个或多个质量测量的部件，诸如处理器22等。参见图3A的框38。尽管可以定义各种质量测量，但是示例实施例的装置(诸如处理器)基于互相关测量的绝对值峰值与互相关测量的绝对值的和的比率来确定质量测量。在这方面，可以对每个时间步长处的互相关矢量中的每个样本的绝对值求和，并且还可以对其进行处理以确定峰值或最大绝对值。然后可以确定峰值与总和的比率。例如，互相关绝对值峰值与互相关测量的绝对值的和的比率在图4A中随时间示出，并且具有由虚线表示的阈值。超过虚线的比率表示对应于相应声源的峰值的置信度。
另外或者备选地，示例实施例的装置20(诸如处理器22)被配置为基于互相关测量的最大绝对值的一个或多个先验位置的标准差(即滞后)来确定质量测量。在这方面，可以确定每个时间步长处的互相关矢量中的每个样本的绝对值，并且可以标识最大绝对值的位置。理想地，该位置对应于由第一麦克风和第二麦克风所捕获的信号之间的延迟(即滞后)。该位置可以用样本或秒/毫秒表示(诸如通过将估计的样本数除以以赫兹为单位的采样率)。位置的符号指示前方的信号与后面的信号。根据示例实施例中的标准差的确定，可以存储最新的延迟估计的位置，诸如在环形缓冲器中，并且可以确定它们的标准差以测量峰值的稳定性。该标准差以与第一麦克风和第二麦克风之间的距离保持与第一麦克风和第二麦克风之间的当前间隔相同或非常相似的置信度相反的方式相关，使得当前信号可以用于匹配第一麦克风和第二麦克风之间的频谱。因此，较小的标准差表示较大的置信度。标准差还提供关于由第一麦克风和第二麦克风所捕获的信号是否有用并且不包含不期望的背景噪声量的指示，因为背景噪声将导致伪延迟估计并增加标准差。例如，图4B描绘了由第一麦克风随时间捕获的音频信号的SNR，其中虚线表示阈值，在该阈值之上SNR指示声源是活动的。
此外，示例实施例的装置20(诸如处理器22)可以另外或备选地确定互相关测量所处的范围，该范围对应于第一麦克风和第二麦克风之间的距离范围。尽管可以通过基于无线电的定位或测距或其他定位方法来定义第一麦克风和第二麦克风之间的距离，但是在示例实施例中，第一麦克风和第二麦克风之间的距离是基于通过使用d＝c*Δt将延迟估计转换为以米为单位的距离来确定的，其中c是声速，例如，344米/秒，并且Δt是由第一麦克风和第二麦克风所捕获的信号之间的延迟估计并且以秒为单位。通过针对多个信号导出的第一麦克风和第二麦克风之间的距离，可以确定距离范围。举例来说，图4C以图形方式表示0到21.3毫秒之间的延迟随时间的延迟估计，也就是说，可以使用大小为2048的快速傅立叶变换以48千赫的采样率估计最大延迟。在该示例实施例中，0到21.3毫秒之间的延迟范围被分成宽度为0.84毫秒的容器，其对应于宽度为29厘米的容器(假设声速为344米/每秒)。在第一麦克风和第二麦克风被分开1.15米至1.44米的距离范围内的一个距离的情况下，由水平虚线所标识的分别具有3.35毫秒和4.19毫秒的下延迟限制和上延迟限制的容器内的延迟被选择，因为容器的3.35毫秒和4.19毫秒的下和上延迟限制分别对应于第一麦克风和第二麦克风之间的1.15米至1.44米的差异范围，再次假设声速为每344米/秒。该装置(诸如处理器)可以确定并且分析前述质量测量示例中的任何一个或任何组合和/或可以确定其他质量测量。
无论所确定的特定质量测量如何，装置20包括用于确定已经确定的每个质量测量是否满足相应预定义条件的部件，诸如处理器22等。参见图3A的框40。虽然下面讨论了各个质量测量，但是在一些实施例中可以估计两个或更多个质量测量。关于以互相关测量的绝对值峰值与互相关测量的绝对值的和的比率的形式的质量测量，该比率可以与以预定义阈值的形式的预定义条件进行比较，并且在该比率大于该预定义阈值的情况下，可以发现质量测量满足预定义阈值，以指示对应于声源的互相关测量的峰值的置信度。在质量测量是以互相关测量的最大绝对值的一个或多个先验位置的标准差的形式的实施例中，该标准差可以与以预定义阈值形式的预定义条件进行比较，并且在该标准差小于预定义阈值的情况下，可以发现相应质量测量满足预定义阈值，以指示互相关测量的峰值足够稳定。在质量测量以互相关测量的范围的形式的实施例中，可以将互相关测量的范围与第一麦克风和第二麦克风之间的期望距离范围的形式的预定义条件进行比较，并且在互相关测量的范围对应于第一麦克风和第二麦克风之间的距离范围(诸如通过等于或位于距第一麦克风和第二麦克风之间的距离范围的预定偏移内)的情况下，可以发现满足相应质量测量。如前述实施例所示，取决于所考虑的质量测量，该预定义条件可以采取各种形式。
在不满足一个或多个质量测量的情况下，可以终止在相应时间窗期间所捕获的音频信号的分析，并且该过程可以替代地继续分析在不同时间窗期间由第一麦克风和第二麦克风所捕获的信号，诸如如上所述的随后的时间窗。然而，在确定一个或多个质量测量满足相应预定义阈值的情况下，装置20包括用于确定由第一麦克风和第二麦克风所捕获的信号的频率响应(诸如幅度频谱)的部件，诸如处理器22等。参见图3B的框42。换言之，确定由第一麦克风捕获的信号的幅度谱，并且确定由第二麦克风捕获的信号的幅度谱。频率响应(诸如幅度谱)可以以各种方式来确定。然而，示例实施例的装置(诸如处理器)基于由第一麦克风和第二麦克风所捕获的信号的快速傅里叶变换来确定幅度谱。备选地，幅度谱可以基于各个单频测试信号确定幅度谱，该单频测试信号一个接一个地生成，其中所捕获的测试信号的幅度水平用于形成幅度谱。作为另一示例，信号可以被分成具有滤波器组的子带，然后确定子带信号的幅度以便形成幅度谱。因此，不需要基于由第一麦克风和第二麦克风一次所捕获的多频信号来确定频率响应。
在示例实施例中，装置20还包括用于基于由第一麦克风所捕获的信号中的至少一个信号并且取决于所估计的频率响应来估计平均频率响应的部件，诸如处理器22等，该所估计的频率响应基于在多个不同时间窗中的每个时间窗期间由第二麦克风所捕获的信号中的至少一个信号。参见图3B的框44。在这方面，装置(诸如处理器)可以被配置为在多个不同时间窗中的每个时间窗期间(诸如通过累加短期频谱的总和)确定第一麦克风和第二麦克风的平均频谱。在示例实施例中，该装置(诸如处理器)通过更新平均频谱的估计来估计平均频谱，因为正在运行的估计从一个时间窗到下一个时间窗被保持。举例来说，示例实施例的装置(诸如处理器)被配置为通过将各个频率容器的绝对值累加到估计的平均频谱中来估计平均频谱，以便运行平均值，尽管没有归一化。在这方面，由第一麦克风和第二麦克风接收的两个匹配信号i＝1,2的经估计的平均频谱可以初始设置为Si(k，0)＝0，其中括号中的第二自参数是时域信号窗索引n具有所有频率容器k＝1，...，N/2+1，从而从DC延伸到奈奎斯特频率，其中N是快速傅里叶变换的长度。在该示例中，当捕获到两个信号的有效帧的短时傅里叶变换(STFTs)时，平均频谱被估计为Si(k，n)＝Si(k，n-1)+|Xi(k，n)|，其中Xi(k，n)是频率容器k和时域信号窗索引n处的输入信号的STFT。
如框46所示，示例实施例的装置20还包括用于保持计数器并用于递增每个时间窗的计数器的部件，诸如处理器22、存储器设备24等，在该时间窗期间由第一麦克风和第二麦克风所捕获的信号被接收并且被分析，与该第一麦克风相关联的声源被确定为该空间中唯一的活动的声源，并且与该第一麦克风和第二麦克风所捕获的信号相关联的一个或多个质量测量满足相应预定义条件。
示例实施例的装置20还包括用于确定是否已经估计了足够数目的时间窗的信号的部件，诸如处理器22等，如图3B的框48所示。在这方面，示例实施例的装置包括用于聚合不同时间窗的部件，诸如处理器等，针对不同时间窗一个或多个质量测量满足预定义条件，然后确定是否已经估计了足够数目的时间窗。可以定义各种预定条件以标识是否已经估计了足够数目的时间窗。例如，该预定条件可以是预定义计数，已经估计的时间窗的计数器必须达到该预定义计数，以便得出已经估计了足够数目的时间窗的结论。例如，该预定义计数可以被设置为等于预定义时间长度的值，诸如1秒，使得在已经估计的窗的数目的计数等于预定义计数的情况下，时间窗所涵盖的聚合时间至少是预定义的时间长度。作为示例，图4C描绘了如下情况，其中已经估计了具有在3.35ms和4.19ms(对应于被1.15米与1.44米的范围内的距离分开的麦克风)之间的所选延迟的信号的足够数目的时间窗，因为具有所选延迟的信号的时间窗总和为1.1秒，从而超过1秒的阈值。在没有足够数目的时间窗已经被估计的情况下，可以利用诸如处理器的装置重复该过程，该装置被配置为重复执行分析并且确定在不同时间窗内由第一麦克风和第二麦克风捕获的信号的频率响应，直到已经估计可足够数目的时间窗。
然而，一旦聚合了足够数目的时间窗，装置20(诸如处理器22)配置为通过以取决于满足预定条件的时间窗的聚合的方式确定诸如频谱差的差值来进一步处理由第一麦克风和第二麦克风所捕获的信号。在这方面，示例实施例的装置包括用于一旦已经估计了足够数目的时间窗，就确定由第一麦克风和第二麦克风所捕获的信号的频率响应之间的差值的部件，诸如处理器等。参见图3B的框50。在确定该差值之前，示例实施例的装置(诸如处理器)被配置为归一化由第一麦克风和第二麦克风所捕获的信号的总能量，然后确定由第一麦克风和第二麦克风所捕获的信号的已归一化的频率响应之间的差值。虽然可以以各种方式对由第一麦克风和第二麦克风所捕获的信号的总能量进行归一化，但是可以基于例如在确定差值之前根据食欲信号确定的线性增益比来归一化，诸如，采用以分贝或以线性比例。尽管可以在时域或频域中计算增益归一化，但是由第一麦克风和第二麦克风所捕获的指定为1和2的信号之间的频域中的增益归一化因子分别可以定义为并且可以一旦已累加了足够数目的信号就计算出来，并且然后计算分别匹配由第一麦克风和第二麦克风所捕获的指定为1和2的信号的长期平均频谱中的滤波器。在该实施例中，通过首先计算每个频率容器k处的累加频谱R(k)＝S2(k)/(g*S1(k))的比率来进行滤波器的计算。增益归一化因子g在计算该频谱比率之前对准累加频谱的总水平。随后，如果需要，可以将相同的增益归一化因子应用于由第一麦克风所捕获的时域信号，以使它们的水平与由第二麦克风所捕获的信号相匹配。
基于该差值，装置20还包括用于利用滤波器处理由第一麦克风所捕获的信号用于基于该差值相对于由第二麦克风所捕获的信号对应地过滤由第一麦克风所捕获的信号的部件，诸如处理器22等。参见图3B的框52。例如，装置(诸如处理器)可以被配置为通过提供滤波器系数来处理由第一麦克风所捕获的信号，以允许相对于随后由第二麦克风所捕获的信号相应地过滤由第一麦克风所捕获的信号。在这方面，滤波器系数可以被涉及为使由第一麦克风所捕获的信号的频谱与由第二麦克风所捕获的信号的频谱相等。由滤波器参数产生的滤波器可以在频域或时域中实现。在一些实施例中，装置(诸如处理器)还被配置为在频率上平滑滤波。尽管可以跨所有频率执行均衡，但是示例实施例的装置(诸如处理器)被配置以便将均衡限制到预定义的频带，诸如通过在过渡带上的截止频率以上将滤波器滚降，以便不对更高频率进行均衡。
示例实施例的装置20可以提供滤波器系数并且利用现场声音或者在后期制作环境中实时处理由第一麦克风所捕获的信号。在具有现场声音的实时设置中，混合操作员可以例如请求每个声源(诸如每位音乐家和每位歌手)分别播放或歌唱，而无需任何其他人播放或歌唱。一旦每个声源提供足够的音频信号使得已经评估了足够数目的时间窗，则可以根据示例实施例确定与每个乐器和歌手相关联的第一麦克风(即近距离麦克风)的均衡滤波器。在后期制作环境中，可以利用类似的声音检查记录来确定由每个不同声源所生成的信号的均衡滤波器。
为了说明本公开的实施例并且参考图5所提供的优点，由小圆点所形成的曲线示出了手动导出的均衡滤波器的幅度响应，并且由较大的圆点所形成的曲线表示手动导出的均衡滤波器的倒谱平滑表示。相比之下，根据本公开的示例实施例自动导出的均衡滤波器由较细的实线示出，其中利用较粗实线描绘自动导出的均衡滤波器的幅度响应的倒谱平滑表示。如将要注意的，至少在1千赫兹以上的频率下滤波器之间存在明显差异，因为手动导出的滤波器在1千赫兹以上具有大约4分贝的增益。
作为另一示例，图6描绘了由第一麦克风(即近距离麦克风)和第二麦克风(即远距离麦克风)在一定频率范围上所捕获的音频信号的频率响应。还示出了根据本公开的示例实施例的利用手动导出以及还自动导出的均衡滤波器的第一麦克风所接收的信号的滤波结果，其中自动导出的均衡滤波器受到由第二麦克风所捕获的音频信号的更大影响。因此，针对大多数频率范围，根据示例实施例的自动导出的均衡滤波器滤波的信号更加接近地表示由第一麦克风所捕获的信号。
尽管上面结合用于均衡由第一麦克风和第二麦克风所捕获的信号的长期平均频谱的滤波器的设计进行了描述，但是示例实施例的方法、装置20和计算机程序产品也可以单独地被用于设计用于与统一空间中的其他声源相关联的一个或多个其他第一麦克风(即其他近距离麦克风)。因此，改善了由空间内的各种麦克风所捕获的音频信号的回放，并且对应地增强了收听体验。另外，根据示例实施例所提供的自动滤波器设计，可以通过减少或消除均衡的手动调节来促进声源的混合。
如上所述，图3A与3B示出了根据本发明示例实施例的装置20、方法和计算机程序产品的流程图。应当理解，流程图中的每个框，以及流程图中的框的组合，可以通过各种手段来实现，诸如硬件、固件、处理器、电路和/或与包括一个或多个计算机程序指令的软件的执行相关联的其他设备。例如，上述过程中的一个或多个可以由计算机程序指令实现。在这方面，实现上述过程的计算机程序指令可以由采用本发明实施例的装置24存储，并由装置的处理器22执行。可以理解，可以将任何这样的计算机程序指令加载到计算机或其他可编程的装置(例如，硬件)上以产生机器，使得所得到的计算机或其他可编程装置实现流程图框中所指定的功能。这些计算机程序指令还可以被存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程装置以特定方式运行，使得存储在计算机可读存储器中的指令产生执行实现流程图框中指定的功能的制品。计算机程序指令也可以被加载到计算机或其他可编程装置上，以使得在计算机或其他可编程装置上执行一系列操作，以产生计算机可实现的过程，使得在计算机或其他可编程装置上所执行的指令提供用于实现流程图框中所指定的功能。
相应地，流程图的框支持用于执行指定功能的部件的组合和用于执行指定功能的操作的组合。还将理解，流程图的一个或多个框以及流程图中的框的组合可以由执行指定功能的专用基于硬件的计算机***或专用硬件和计算机指令的组合来实现。
在一些实施例中，可以修改或进一步放大上述操作中的某些操作。此外，在一些实施例中，可以包括附加的可选操作。可以以任何顺序和任何组合执行对上述操作的修改、添加或放大。
受益于前述说明书和相关附图中呈现的教导，本发明所属领域的技术人员将想到本文所阐述的本发明的许多修改和其他实施例。因此，应该理解，本发明不限于所公开的特定实施例，并且修改和其他实施例旨在包括在所附权利要求的范围内。此外，尽管前述说明书和相关附图在元件和/或功能的某些示例性组合的上下文中描述了示例实施例，但是应当理解，在不脱离所附权利要求的范围的情况下，可以通过备选实施例提供元件和/或功能的不同组合。在这方面，例如，也可以预期元件和/或功能的不同组合，而不是上面明确描述的那些元件和/或功能的组合，如可以在一些所附权利要求中阐述的。尽管本文采用了特定术语，但它们仅仅以一般性和描述性意义使用，而不是出于限制的目的。

Claims (20)

1.一种方法，包括：
分析由第一麦克风和第二麦克风中的每个麦克风所捕获的相应信号；
基于所述分析来确定一个或多个质量测量；
在所述一个或多个质量测量满足预定义条件的情况下，确定由所述第一麦克风和所述第二麦克风所捕获的所述信号的频率响应；
确定由所述第一麦克风和所述第二麦克风所捕获的所述信号的所述频率响应之间的差值；以及
利用滤波器处理由所述第一麦克风所捕获的所述信号，以基于所述差值相对于由所述第二麦克风所捕获的所述信号对应地过滤由所述第一麦克风所捕获的所述信号。
2.根据权利要求1所述的方法，其中分析所述信号包括：确定由所述第一麦克风和所述第二麦克风所捕获的所述信号之间的互相关测量。
3.根据权利要求2所述的方法，其中确定一个或多个质量测量包括：基于所述互相关测量的最大绝对值与所述互相关测量的绝对值的和的比率来确定质量测量。
4.根据权利要求2或3所述的方法，其中确定一个或多个质量测量包括：基于所述互相关测量的最大绝对值的一个或多个先验位置的标准差来确定质量测量。
5.根据权利要求1至4中任一项所述的方法，进一步包括：在多个不同时间窗中的每个时间窗期间，在针对由所述第一麦克风和所述第二麦克风所捕获的所述信号的所述一个或多个质量测量满足所述预定义条件的情况下，重复分析所述信号并且确定所述频率响应。
6.根据权利要求5所述的方法，进一步包括：在所述多个不同时间窗中的每个时间窗期间，基于由所述第一麦克风所捕获的所述信号并且取决于基于由所述第二麦克风所捕获的所述信号的所估计的频率响应来估计平均频率响应。
7.根据权利要求5或6所述的方法，进一步包括：聚合所述一个或多个质量测量满足预定义条件的所述不同时间窗，并且其中确定所述差值取决于满足预定条件的所述时间窗的聚合。
8.根据权利要求1至7中任一项所述的方法，其中所述第一麦克风比所述第二麦克风靠近声源。
9.一种装置，所述装置包括至少一个处理器和至少一个存储器，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置：
分析由第一麦克风和第二麦克风中的每个麦克风所捕获的相应信号；
基于所述分析来确定一个或多个质量测量；
在所述一个或多个质量测量满足预定义条件的情况下，确定由所述第一麦克风和所述第二麦克风所捕获的所述信号的频率响应；
确定由所述第一麦克风和所述第二麦克风所捕获的所述信号的所述频率响应之间的差值；以及
利用滤波器处理由所述第一麦克风所捕获的所述信号，以基于所述差值相对于由所述第二麦克风所捕获的所述信号对应地过滤由所述第一麦克风所捕获的所述信号。
10.根据权利要求9所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置：通过确定由所述第一麦克风和所述第二麦克风所捕获的所述信号之间的互相关测量来分析所述信号。
11.根据权利要求10所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置：通过基于所述互相关测量的最大绝对值与所述互相关测量的绝对值的和的比率确定质量测量来确定一个或多个质量测量。
12.根据权利要求10或11中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置：通过基于所述互相关测量的最大绝对值的一个或多个先验位置的标准差确定质量测量来确定一个或多个质量测量。
13.根据权利要求9至12中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码进一步被配置为与所述至少一个处理器一起，使得所述装置：在多个不同时间窗中的每个时间窗期间，在针对由所述第一麦克风和第二麦克风所捕获的所述信号的所述一个或多个质量测量满足所述预定义条件的情况下，重复分析所述信号并且确定所述频率响应。
14.根据权利要求13所述的装置，其中所述至少一个存储器和所述计算机程序代码进一步被配置为与所述至少一个处理器一起，使得所述装置：在所述多个不同时间窗中的每个时间窗期间，基于由所述第一麦克风所捕获的所述信号并且取决于基于由所述第二麦克风所捕获的所述信号的所估计的频率响应来估计平均频率响应。
15.根据权利要求13或14中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码进一步被配置为与所述至少一个处理器一起，使得所述装置：聚合基于相似性分析的所述一个或多个质量测量满足预定义条件的所述不同时间窗，并且其中确定所述差值取决于满足预定条件的所述时间窗的聚合。
16.根据权利要求9至15中任一项所述的装置，其中所述第一麦克风比所述第二麦克风靠近声源。
17.一种计算机程序产品，所述计算机程序产品包括其中存储有计算机可执行程序代码部分的至少一个非瞬态计算机可读存储介质，所述计算机可执行程序代码部分包括程序代码指令，所述程序代码指令被配置为：
分析由第一麦克风和第二麦克风中的每个麦克风所捕获的一个或多个信号；
基于所述分析来确定一个或多个质量测量；
在所述一个或多个质量测量满足预定义条件的情况下，确定由所述第一麦克风和所述第二麦克风所捕获的所述信号的频率响应；
确定由所述第一麦克风和所述第二麦克风所捕获的所述信号的所述频率响应之间的差值；以及
利用滤波器处理由所述第一麦克风所捕获的所述信号，以基于所述差值相对于所述由所述第二麦克风所捕获的所述信号对应地过滤由所述第一麦克风所捕获的所述信号。
18.根据权利要求17所述的所述计算机程序产品，其中被配置为分析所述信号的所述程序代码指令包括：被配置为确定由所述第一麦克风和所述第二麦克风所捕获的所述信号之间的互相关测量的程序代码指令。
19.根据权利要求18所述的计算机程序产品，其中被配置为确定一个或多个质量测量的所述程序代码指令包括：被配置为确定质量测量中的至少一个质量测量的程序代码指令，所述确定基于：所述互相关测量的最大绝对值与所述互相关测量的绝对值的和的比率，或者所述互相关测量的所述最大绝对值的一个或多个先验位置的标准差。
20.根据权利要求17至19中任一项所述的计算机程序产品，其中所述计算机可执行程序代码部分进一步包括如下程序代码指令，所述程序代码指令被配置为在多个不同时间窗中的每个时间窗期间，在针对由所述第一麦克风和第二麦克风所捕获的所述信号的所述一个或多个质量测量满足所述预定义条件的情况下，重复分析所述信号并且确定所述频率响应。
CN201780063490.1A 2016-10-14 2017-10-06 用于麦克风之间的输出信号均衡的方法和装置 Active CN109845288B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/294,304 US9813833B1 (en) 2016-10-14 2016-10-14 Method and apparatus for output signal equalization between microphones
US15/294,304 2016-10-14
PCT/FI2017/050703 WO2018069572A1 (en) 2016-10-14 2017-10-06 Method and apparatus for output signal equalization between microphones

Publications (2)

Publication Number Publication Date
CN109845288A true CN109845288A (zh) 2019-06-04
CN109845288B CN109845288B (zh) 2021-06-25

Family

ID=60189817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780063490.1A Active CN109845288B (zh) 2016-10-14 2017-10-06 用于麦克风之间的输出信号均衡的方法和装置

Country Status (4)

Country Link
US (1) US9813833B1 (zh)
EP (1) EP3526979B1 (zh)
CN (1) CN109845288B (zh)
WO (1) WO2018069572A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286244A (zh) * 2021-05-12 2021-08-20 展讯通信（上海）有限公司 一种麦克风异常检测方法及装置
CN114205731A (zh) * 2021-12-08 2022-03-18 随锐科技集团股份有限公司 发言人区域检测方法、装置、电子设备和存储介质
TWI781714B (zh) * 2021-08-05 2022-10-21 晶豪科技股份有限公司 用以等化輸入訊號以產生等化器輸出訊號的方法以及參數等化器

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11528556B2 (en) * 2016-10-14 2022-12-13 Nokia Technologies Oy Method and apparatus for output signal equalization between microphones
CN108076219B (zh) * 2017-11-28 2021-02-26 Oppo广东移动通信有限公司 移动终端及其音频性能的优化方法、计算机可读存储介质
CN109121035B (zh) * 2018-08-30 2020-10-09 歌尔科技有限公司 耳机异常处理方法、耳机、***及存储介质
US11902758B2 (en) 2018-12-21 2024-02-13 Gn Audio A/S Method of compensating a processed audio signal
EP3764360B1 (en) * 2019-07-10 2024-05-01 Analog Devices International Unlimited Company Signal processing methods and systems for beam forming with improved signal to noise ratio
EP3764358B1 (en) * 2019-07-10 2024-05-22 Analog Devices International Unlimited Company Signal processing methods and systems for beam forming with wind buffeting protection
EP3764664A1 (en) * 2019-07-10 2021-01-13 Analog Devices International Unlimited Company Signal processing methods and systems for beam forming with microphone tolerance compensation
DE102020208720B4 (de) * 2019-12-06 2023-10-05 Sivantos Pte. Ltd. Verfahren zum umgebungsabhängigen Betrieb eines Hörsystems
TW202327377A (zh) * 2021-10-14 2023-07-01 美商天工方案公司 電子聲波裝置、微機電系統(mems)麥克風及均等化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020041696A1 (en) * 2000-10-04 2002-04-11 Topholm & Westermann Aps Hearing aid with adaptive matching of input transducers
US20090136057A1 (en) * 2007-08-22 2009-05-28 Step Labs Inc. Automated Sensor Signal Matching
CN104254029A (zh) * 2013-06-28 2014-12-31 Gn奈康有限公司 一种具有麦克风的耳机
CN104640002A (zh) * 2013-11-08 2015-05-20 英飞凌科技股份有限公司 用于生成麦克风信号的麦克风封装和方法
CN105814909A (zh) * 2013-12-16 2016-07-27 高通股份有限公司 用于反馈检测的***和方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162046B2 (en) * 1998-05-04 2007-01-09 Schwartz Stephen R Microphone-tailored equalizing system
AU4284600A (en) * 1999-03-19 2000-10-09 Siemens Aktiengesellschaft Method and device for receiving and treating audiosignals in surroundings affected by noise
EP2458586A1 (en) 2010-11-24 2012-05-30 Koninklijke Philips Electronics N.V. System and method for producing an audio signal
JP5594133B2 (ja) 2010-12-28 2014-09-24 ソニー株式会社 音声信号処理装置、音声信号処理方法及びプログラム
US9241228B2 (en) 2011-12-29 2016-01-19 Stmicroelectronics Asia Pacific Pte. Ltd. Adaptive self-calibration of small microphone array by soundfield approximation and frequency domain magnitude equalization
US9374652B2 (en) * 2012-03-23 2016-06-21 Dolby Laboratories Licensing Corporation Conferencing device self test
DE112012006876B4 (de) 2012-09-04 2021-06-10 Cerence Operating Company Verfahren und Sprachsignal-Verarbeitungssystem zur formantabhängigen Sprachsignalverstärkung
US20140126743A1 (en) * 2012-11-05 2014-05-08 Aliphcom, Inc. Acoustic voice activity detection (avad) for electronic systems
US9515629B2 (en) 2013-05-16 2016-12-06 Apple Inc. Adaptive audio equalization for personal listening devices
WO2015013698A1 (en) * 2013-07-26 2015-01-29 Analog Devices, Inc. Microphone calibration
EP2884491A1 (en) * 2013-12-11 2015-06-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Extraction of reverberant sound using microphone arrays
US9363598B1 (en) 2014-02-10 2016-06-07 Amazon Technologies, Inc. Adaptive microphone array compensation
JP6361271B2 (ja) 2014-05-09 2018-07-25 富士通株式会社 音声強調装置、音声強調方法及び音声強調用コンピュータプログラム
US9462406B2 (en) * 2014-07-17 2016-10-04 Nokia Technologies Oy Method and apparatus for facilitating spatial audio capture with multiple devices
WO2016154150A1 (en) * 2015-03-25 2016-09-29 Dolby Laboratories Licensing Corporation Sub-band mixing of multiple microphones
US9401158B1 (en) * 2015-09-14 2016-07-26 Knowles Electronics, Llc Microphone signal fusion

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020041696A1 (en) * 2000-10-04 2002-04-11 Topholm & Westermann Aps Hearing aid with adaptive matching of input transducers
US20090136057A1 (en) * 2007-08-22 2009-05-28 Step Labs Inc. Automated Sensor Signal Matching
CN104254029A (zh) * 2013-06-28 2014-12-31 Gn奈康有限公司 一种具有麦克风的耳机
CN104254029B (zh) * 2013-06-28 2017-07-18 Gn奈康有限公司 一种具有麦克风的耳机、及改善耳机的音频灵敏度的方法
CN104640002A (zh) * 2013-11-08 2015-05-20 英飞凌科技股份有限公司 用于生成麦克风信号的麦克风封装和方法
CN105814909A (zh) * 2013-12-16 2016-07-27 高通股份有限公司 用于反馈检测的***和方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286244A (zh) * 2021-05-12 2021-08-20 展讯通信（上海）有限公司 一种麦克风异常检测方法及装置
TWI781714B (zh) * 2021-08-05 2022-10-21 晶豪科技股份有限公司 用以等化輸入訊號以產生等化器輸出訊號的方法以及參數等化器
CN114205731A (zh) * 2021-12-08 2022-03-18 随锐科技集团股份有限公司 发言人区域检测方法、装置、电子设备和存储介质
CN114205731B (zh) * 2021-12-08 2023-12-26 随锐科技集团股份有限公司 发言人区域检测方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
US9813833B1 (en) 2017-11-07
EP3526979B1 (en) 2024-04-10
EP3526979A1 (en) 2019-08-21
CN109845288B (zh) 2021-06-25
WO2018069572A1 (en) 2018-04-19
EP3526979A4 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
CN109845288A (zh) 用于麦克风之间的输出信号均衡的方法和装置
US9918174B2 (en) Wireless exchange of data between devices in live events
US10085108B2 (en) Method for visualizing the directional sound activity of a multichannel audio signal
WO2020108614A1 (zh) 音频识别方法、定位目标音频的方法、装置和设备
US10334357B2 (en) Machine learning based sound field analysis
KR102070965B1 (ko) 소리 신호를 강화하는 소리 신호 처리 장치 및 방법
CN104685903B (zh) 用于生成音频干扰量度的设备和方法
US20160351179A1 (en) Single-channel, binaural and multi-channel dereverberation
CN112017681B (zh) 定向语音的增强方法及***
US20120099732A1 (en) Systems, methods, apparatus, and computer-readable media for far-field multi-source tracking and separation
US20090279715A1 (en) Method, medium, and apparatus for extracting target sound from mixed sound
CN109979469B (zh) 信号处理方法、设备及存储介质
JP2015526767A (ja) 情報に基づく多チャネル音声存在確率推定を提供するための装置および方法
KR20130007634A (ko) 음향 입력 신호에 기초하여 공간적 파라미터를 제공하는 공간적 오디오 프로세서 및 방법
CN116437280A (zh) 评估麦克风阵列一致性的方法、设备、装置和***
CN108604452A (zh) 声音信号增强装置
CN107533848B (zh) 用于话音恢复的***和方法
CN111863015A (zh) 一种音频处理方法、装置、电子设备和可读存储介质
Shankar et al. Efficient two-microphone speech enhancement using basic recurrent neural network cell for hearing and hearing aids
Jarrett et al. Noise reduction in the spherical harmonic domain using a tradeoff beamformer and narrowband DOA estimates
Ollivier et al. Noise robust bird call localisation using the generalised cross-correlation with phase transform in the wavelet domain
CN110169082A (zh) 组合音频信号输出
RU2611973C2 (ru) Ослабление шума в сигнале
US11528556B2 (en) Method and apparatus for output signal equalization between microphones
Clifford et al. Using delay estimation to reduce comb filtering of arbitrary musical sources

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant