CN100534221C - 用于使用过采样滤波器组处理定向音频信号的方法和*** - Google Patents

用于使用过采样滤波器组处理定向音频信号的方法和*** Download PDF

Info

Publication number
CN100534221C
CN100534221C CNB028194845A CN02819484A CN100534221C CN 100534221 C CN100534221 C CN 100534221C CN B028194845 A CNB028194845 A CN B028194845A CN 02819484 A CN02819484 A CN 02819484A CN 100534221 C CN100534221 C CN 100534221C
Authority
CN
China
Prior art keywords
signal
processing system
output
signal processing
groups
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028194845A
Other languages
English (en)
Other versions
CN1565144A (zh
Inventor
R·L·布伦南
E·Y·赵
H·S·南德杰
T·施内德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DSP FACTORY Ltd
Original Assignee
DSP FACTORY Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=4169688&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN100534221(C) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by DSP FACTORY Ltd filed Critical DSP FACTORY Ltd
Publication of CN1565144A publication Critical patent/CN1565144A/zh
Application granted granted Critical
Publication of CN100534221C publication Critical patent/CN100534221C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/405Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H04R25/507Customised settings for obtaining desired overall acoustical characteristics using digital signal processing implemented by neural network or fuzzy logic

Landscapes

  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Complex Calculations (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Stereo-Broadcasting Methods (AREA)

Abstract

一种用于波束形成信息信号的定向信号处理***。该***包括一个过采样滤波器组,它有一个分析滤波器组,将时域中的信息信号变成变换域中的通道信号,一个综合滤波器组和一个信号处理器。该信号处理器处理分析滤波器组的输出,来波束形成信息信号。该综合滤波器组将信号处理器的输出变换为时域中的单信息信号。

Description

用于使用过采样滤波器组处理定向音频信号的方法和***
技术领域
本发明涉及音频信号处理的应用,其中,音频信号的到达方向是用于信号处理的主要参数。本发明可用于需要输入音频信号根据该信号从其到达的空间方向来处理的任何应用中。
本发明的应用包括,但不限于,音频监视(audio surveillance)***,助听器,声指令(voice-command)***,便携通信装置,语音识别/记录***,以及希望根据到达方向来处理信号的任何应用。
背景技术
定向处理可用来解决许多音频信号处理问题。例如,在助听器应用中,定向处理可用来降低来自于与想要语音或声音不同空间方向的环境噪声,由此,改进助听器用户收听的舒适性及语音感知。在音频监视、声指令和便携通信***中,定向处理可用来增强对来自特定方向声音的接收,由此,能使这些***将注意力集中在希望的声音上。在其它***中,定向处理可被用于抑制来自特定方向的干扰信号,同时保持对来自所有其它方向信号的感知,由此将***与干扰信号的有害影响隔离。波束形成是一个术语,它描述一种使用数学模型来使输入装置的方向性达到最大的技术。在该技术中,滤波的权(filteringweight)可被实时调整,或者适于对用户、或信号源、或二者的环境改变做出反应。
传统上,对音频信号的定向处理已在时域中实现,使用有限脉冲响应(FIR)滤波器和/或简单延时元件。对于处理简单窄带信号的应用,这些方法通常是足够的。但是,对于处理复宽带信号,如语音,这些时域方法通常表现不佳,除非该应用中使用有效的附加手段,如大麦克风阵列、长度滤波器(lengthy filters)、复后置滤波(complexpost-filtering),以及强处理能力。这些技术的实施例公开在“基于用后置滤波的麦克风阵列的降噪和解混响技术的分析(Analysis of NoiseReduction and Dereverberation Techniques Based on Microphone Arrayswith Postfiltering)”中,C.Marro,Y.Mahieux和K.U.Simmer的,IEEETrans.Speech and Audio Processing,1998年第3号第6卷,和“一种用于助听器的麦克风阵列(A Microphone Array for Hearing Aids)”中,B.Widrow的,IEEE Adaptive Systems for Signal Processing,Communications and Control Symposium,2000年第7到11页。
在任何定向处理的算法中,需要有两个或更多个传感器的阵列。对于音频定向处理,全向或定向麦克风被用作传感器。图1示出一般定向处理***的高水平(high level)框图。如图所示,有两个或更多个输入100、105到***110,并且一般只有一个输出120。
定向处理算法有两种常见类型:自适应波束形成和固定波束形成。与自适应波束形成中的时变波束图相反,在固定波束形成中,算法的空间响应——或波束图——不随时间改变。波束图是一种极性图(polargraph),示出波束形成***在不同到达方向上对特定信号频率的增益响应。图2示出两个不同波束图的实施例,其中从某些特定到达方向来的信号相对从其它方向来的信号被衰减(或增强)。第一个图是心形图200,一些典型的端射麦克风阵列,以及另一个图205是典型的垂射(broad-side)麦克风阵列的波束图。图3示出用于端射300、305、310和垂射320、325、330麦克风阵列的典型结构。
更多的新的基于快速傅立叶变换(FFT)的方法试图通过在频域中实现定向处理来改进传统的时域方法。然而,这些基于FFT的方法中许多都有高重叠的宽的副频带的缺点,并且因此提供不良的频率分辨率。在计算FFT方面他们还需要更长的群延迟以及更强的处理能力。
因此,需要解决以上所关注的问题,还需要一种新的方法来增强和/或取代现有的技术。
发明内容
在此所述的本发明在解决传统波束形成方案中出现的问题方面可适用于端射和垂射麦克风结构。本发明还可用于麦克风阵列的其它几何结构,由于下面的处理体系结构灵活到足以接纳宽范围的阵列结构。例如,基于二或三维阵列的更复杂的定向***,用于产生有三维空间的波束图,是已知的并且适于与本发明一起使用。
根据本发明的一个实施例,提供一种定向信号处理***,用于波束形成数个信息信号,该***包括:数个麦克风;过采样(oversampled)滤波器组,至少包括一个分析滤波器组和一个综合滤波器组,其中,分析滤波器组用来将时域中来自麦克风的数个信息信号变成变换域(transform domain)中的数个通道(channel)信号;和信号处理器,处理所述分析滤波器组的输出,波束形成所述信息信号。该综合滤波器组将所述信号处理器的输出变换成时域中的单信息信号。
根据本发明进一步的实施例,提供一种处理数个通道信号的方法,用来在通道内获得近似的线性相位响应,该方法包括通过将一个以上的滤波器作用于至少一个通道信号来进行滤波的步骤。
根据本发明进一步的实施例,提供一种处理时域中至少一个信息信号的方法,用来获得近似的线性相位响应,该方法包括一个使用至少一个过采样分析滤波器组进行过采样的步骤。过采样分析滤波器组将至少一个分数延迟(fractional delay)脉冲响应作用于至少一个滤波器组原型窗口时间(prototype window time)。
本发明的定向处理***利用过采样分析/综合滤波器组将时域中的输入音频信号变换到变换域。常见的变换方法的实施例包括GDFT(广义离散傅立叶变换Generalized Discrete Fourier Transform)、FFT、DCT(离散余弦变换)、子波变换(Wavelet Transform)和其它广义变换。在此所述的本发明的重点在于使用过采样滤波器组的定向处理***,用是所述滤波器组一个可能实施方案的FFT方法。过采样的、基于FFT滤波器组的一个实施例公开在R.Brennan和T.Schneider的美国专利6,236,731,“用于滤波及将信息信号分成不同频带,特别是用于助听器中音频信号的滤波器组结构和方法Filterbank Structure and Method forFiltering and Separating an Information Signal into Different Bands,Particularly for Audio Signal in Hearing Aids”中,其被结合在此作为参考。使用所述过采样滤波器组的助听器装置的一个实施例公开在R.Brennan和T.Schneider的美国专利6,240,192“用于在数字助听器,包括应用特定的集成电路和可编程数字信号处理器中滤波的装置和方法Apparatus for and Method for Filtering in an Digital Hearing Aid,Including an Application Specific Integrated Circuit and a ProgrammableDigital Signal Processor”中,其被结合在此作为参考。但是,在此公开的在定向处理***通用框架下的过采样分析/综合滤波器组的这些使用之前从未公开过。
下面说明的副频带信号处理方法,与其相应的、是在此公开的本发明中用的过采样滤波器组的一个可能实施方案的基于FFT的方法,有在宽带信号的定向处理中直接寻址(addressing)频率依赖(frequency-dependent)特性的优点。与传统的时域和基于FFT的方法相比,根据本发明的在副频带信号处理中使用过采样滤波器组的优点如下:
1)处理能力的一小部分相当于或大于的信号处理能力,
2)不同频率接收器中副频带信号的正交化效应(effect),由于过采样滤波器组的FFT,
3)改进的高频分辨率,
4)更好的空间滤波,
5)很低成本的处理能力下宽范围的增益调节,以及
6)易于与其它算法结合。
结果,用过采样滤波器组的副频带定向处理方法使得在小型低功率的装置上能实现强有力的定向处理能力。对于使用本发明的应用来说,这意味着:
1)更好的收听舒适性及语音感知(对助听器尤其重要),
2)语音和说话者识别***的更精确的识别,
3)更好的方向性和更高的SNR,
4)低群延迟,以及
5)较低的功耗。
因此,本发明可用于要求高保真度和超低功率处理平台的音频应用。
通过以下说明、所附权利要求及附图可更好地理解本发明的其它特征、方案、及优点。
附图简要说明
现参照附图来说明本发明的实施方案,其中:
图1示出普通定向处理***的框图;
图2示出两个不同波束图的实施例;
图3示出端射和垂射阵列的阵列结构;
图4示出根据本发明一个实施方案的自适应波束形成器***的框图;
图5示出根据本发明另一实施方案的自适应波束形成***器的框图;
图6示出传统的时域波束形成器结构;
图7示出根据本发明另一实施方案使用过采样滤波器组的副频带波束形成器;
图8示出另一个优选实施方案,变化用于补偿副频带的带宽;
图9示出另一个优选实施方案,变化用于补偿不希望有的低频波束形成器响应;以及
图10示出本发明的另一优选实施方案,使用神经网络作为波束形成器滤波器。
具体实施方式
现参照图4,以框图形式示出使用本发明的自适应波束形成器***。请注意假设L麦克风400(L≥2)的输出已通过一组模数转换器(ADC)(未示出)转换成数字形式。类似地,假设该输出通过数模转换器(DAC)(未示出)由数字形式转换来产生适当的输出信号490。L麦克风400的数字化输出首先在组合矩阵415中组合。组合矩阵415可以是任何的具有多端输入和输出(输出数M小于或等于输入数L(M≤L))的有限脉冲响应(FIR)滤波器。合适的矩阵包括延迟及和(delay-and-sum)网络、sigma-delta网络、和输入到输出一一映射(例如通过其将L个输入变成L个(即M=L)输出的一些普通矩阵)。然后,组合矩阵415的M输出通过分析滤波器组420变换到频域,每个组合矩阵输出有N个副频带,产生M×N个信号用于处理。在本实施方案中使用的(过采样)分析滤波器组420是加权叠加(weighted-overlap-add)(WOLA)滤波器组,公开在R.Brennan和T.Schneider的美国专利6,236,731,“用于滤波及将信息信号分成不同频带,特别是用于助听器中音频信号的滤波器组结构和方法”中。之后,自适应***460生成一个分析滤波器组输出的加权和,通过乘法器425作用于输出。自适应***460的权(也称为滤波分支filter taps)根据已知的自适应策略来自适应,该策略包括但不限于基于最小均方(LMS)的那些,和递归最小乘方(RLS)。然后,乘法器425的输出传到加法器430,产生N个输出,各为源于原麦克风信号的加权副频带。整个自适应过程由包括估计块450和后置滤波器适配器455的侧处理(side process)的输出来进一步地控制。侧处理的估计块450可包括一个或更多个声音活动探测器(voice activity detector)(VAD)、目标干扰比(Target-to-Jammer Ratio TJR)估计器、和信号噪声比(SNR)估计器。随后,估计块450的输出用于减慢、加快、或通过控制权自适应(weight adaptation)460来制止自适应过程,并且还与后置滤波器自适应455组合,控制后置滤波器435。在通过将从自适应处理器460、425接收的处理的M×N个输入组合成N个副频带的加法器430之后,后置滤波器435工作在频域,根据从后置滤波器455的输出进一步处理信号。后置滤波后,N个副频带频域输出由综合滤波器组440来处理,生成时域输出490。
过采样滤波器组由于其灵活性及制造工艺,提供了上述发明内容中所述的总的优点。对于本发明的自适应波束形成器,使用其的进一步的优点是:
1)使用已有技术的定向处理需要很长的自适应滤波器长度,特别是在混响环境中,如其他研究者所报告的(请见J.E.Greenberg,“麦克风阵列助听器的改进设计”,博士论文,MIT,1994年9月)。使用过采样滤波器组的副频带自适应,通过副频带的并行处理,能有效地实现等效的长滤波器(long filter)。
2)在频域波束形成中(自适应的和固定的),需要以非常自由的方式对快速傅立叶变换(FFT)系数进行加权。典型的自适应后置滤波操作是多麦克风Wiener滤波,其中频率响应根据接收信号的信号噪声比(SNR)来自适应。在此过程中,需要横跨频带的自由的增益调节。过采样滤波器组的实现使得能够有一个宽范围的增益调节,而不产生在临界采样滤波器组中发生的所谓“时间混叠”问题。显然,操作成本并不比临界采样滤波器组高很多,并且远低于非分样(undecimated)滤波器组。详情请见R.Brennan和T.Schneider的美国专利6,240,192,“用于在数字助听器,包括应用特定的集成电路和可编程数字信号处理器中滤波的装置和方法”,和R.Brennan和T.Schneider的“在数字助听器扩大信号操作的灵活的滤波器组结构A FlexibleFilterbank Structure for Extensive Signal Manipulations in Digital HearingAids”,Proc.IEEE Int.Symp.电路与***(Circuits and Systems),569-572页,1998年。
3)所谓的“误调”错误,在与最佳Wiener滤波器比较时有超均方误差,典型地出现在自适应***中。已知并可理解的是副频带和正交分解可减轻这一问题。本发明中使用的过采样滤波器组至少在一种优选实施方案中使用了该分解。
4)目标干扰比(TJR)的估计通常需要两个或两个以上的麦克风输出互相关(如J.E.Greenberg,博士论文,MIT,1994年9月的“改进的麦克风阵列助听器设计”中所述的)。使用过采样滤波器组的处理的频域实现比先前使用的时域方法更快很多并且更加有效。
5)通过使用声音活动探测器(VAD)、目标干扰比(TJR)估计器和信号噪声比(SNR)估计器的侧处理输出,自适应过程可在有强目标(如语音)出现时被减慢或被完全制止。这使***能在混响环境下工作。在语音信号中有足够的间歇来确保制止过程不干扰***的运行。使用过采样滤波器组的适当有效的频域VAD公开在共同的待定专利申请中,“过采样滤波器组中副频带自适应信号处理Sub-bandAdaptive Signal Processing in an Oversampled Filterbank”,K.Tam等的加拿大专利申请序列号2,354,808,2001年8月,美国申请公开号20030108214,其被结合在此作为参考。
根据本发明进一步的优选实施方案,如图5所示,权自适应过程在一组B固定波束上进行,用于由源于各麦克风输出的副频带构成或合成的每个副频带,而不是麦克风输出本身或该输出的副频带。图5中大多数元件与图4中的相同,并且用相同的参考编号表示。因此这些元件将不再说明。本实施方案引入的新的元件是固定波束形成器510和权自适应块520,固定波束形成器510从副频带产生B主波束,权自适应块520基于VAD、TJR和SNR估计块450的输入,控制乘法器425和固定波束形成器510输出的副频带信号。通常来说,该策略在自适应滤波加权变化时提供更平滑或更稳健的过渡。权自适应由一些TJR和/或SNR估计来控制,基于,但不限于,一种或一种以上下面的信号统计:自相关、互相关、副频带量级(subband magnitude level)、副频带功率级、互功率谱、互功率相位、交叉谱密度,等等。在此建议一种基于简化SNR估计的可能的滤波权自适应策略,但对于本领域普通技术人员来说还可想到其它类似或有关的方法,并且本发明也欲涵盖这些方法。当侧处理探测到没有(或几乎没有)目标时,每个波束中噪声的时间平均能量(time-averaged energy,用En(I)表示,I=1,2,...,B)被测量。当目标再出现时,目标的时间平均能量(Et(I))和每个波束的SNR(SNR(I))被估计,假定波束的总平均能量为Etot(I),通过:
Et(I)=Etot(I)-En(I),I=1,2,...B
SNR(I)=Et(I)/En(I)
如果噪声统计、和噪声及目标方向从一个目标信号间歇到下一个间歇没有改变太多,则各波束的SNR(I)可被用来构成波束的加权和。然而,如果噪声是很不固定的,或者如果噪声和/或目标源正快速移动,则应使用用自适应处理器来调节权。为了改进性能,固定波束形成器可设计成有一组窄束,覆盖所关心的用于特定应用的方位角和仰角。
现在讨论本发明在固定波束形成应用中的进一步的实施方案。实现固定波束形成器的传统方法是延时及和方法。由于阵列中麦克风的物理间隔,在各麦克风接收的信号之间有一个固有延时。因此,延时及和方法利用简单的延时元件来适当矫正接收的信号,以便从某些方向到达的信号能最大地同相,并且相干地(coherently)提供合计的输出信号。任何从其它方向到达的信号则不相干提供输出信号,以便其信号功率可在输出端被降低。
对于FIR滤波器方法,通常设计有FIR滤波器,以便其相位响应有矫正接收信号的作用,从而产生希望的波束图。这些滤波器可以被设计使用从模拟滤波器转换,或直接的FIR滤波器设计方法。当涉及复宽带信号时,该时域滤波器的设计通常需要大量可用的计算能力。为比较之目的,图6示出使用现有技术时域方法的固定波束形成器的结构。在图中,一个有三个麦克风600、601、602的阵列以已知模式设置,尽管也可使用更多数目的麦克风。阵列中各麦克风600、601、602的输出通过单独的延时元件(或FIR滤波器)610、611、612,其输出依次通过加法器620。当延时元件按如上所述设定时,加法器620相对于麦克风阵列提供增强的输出630用于特定的空间方向。通常,延时元件610、611、612的这种设定是动态完成的,但是经常有折衷方案(compromise)基于包括信号频率和阵列中麦克风相对间隔的因素。如果需要许多波束,每一个可用类似的电路来构成或合成。由于这个原因,这些***昂贵、功率消耗大、复杂并且因此在应用上受到限制。
在此说明的本发明的进一步的优选实施方案实行一系列窄带处理步骤,来解决更复杂的宽带问题。过采样滤波器组的使用使得窄带处理能以有效实用的方式进行。图7示出根据本发明另一实施方案使用过采样滤波器组的副频带固定波束形成器。该***与图4所述的***非常相似。为方便和清楚起见,相同的组件在两个图中用相同的参考编号表示。在L麦克风阵列400接收的信号的数字形式在发送到分析滤波器组420之前通过组合矩阵415合成M信号通道(M≤L)。该分析滤波器组420为每个通道生成N个频率副频带,波束形成滤波器710在其上作用复值增益因数来实现希望的波束图,基于从VAD、TJR和SNR估计块450的输入,以及分析滤波器组420产生的副频带中的信号电平。增益因数可单独作用于每个通道和副频带,或者通过一些矩阵操作共同作用在所有通道和/或副频带。在增益因数由乘法器425作用后,M通道通过求和操作430组合形成一个单通道。然后,如前所述(如改进SNR)使用侧处理450、455,后置滤波过程435可用来提供进一步的增强。之后,综合滤波器组440将N个副频带构成的单通道变换回到时域。在进一步的实施方案中,后置滤波用在时域中,在信道通过综合滤波器组转换回到时域之后,尽管,与频域后置滤波相比,这典型地需要更多的处理能力。
波束形成滤波器的复值增益因数可以通过许多方式得到。例如,如果设计一个模拟滤波器,则它可在副频带中直接实现,通过简单地使用每个副频带的中心频率来查找对应的模拟滤波器的复响应(频率采样)。对于足够窄的副频带,本方法可产生近似模拟滤波器的数字等效。在本发明进一步的实施方案中,为了紧紧接近宽的副频带的理想的相位及振幅响应,应用窄带滤波器到各副频带输出,如与图8相关的说明,其中许多组件与前面图7中的相同,并且为了方便和清楚起见,那些相同的组件用相同的参考编号表示。本实施方案的增加功能在窄带原型滤波器815中进行。为了接近波束形成器的理想的线性相位响应,滤波器815设计成全通,有窄带线性相位响应。在进一步的实施方案中,滤波器进一步强制相同,并在FFT调制级之前移回,通过将其脉冲响应和滤波器组原型窗相组合。一个可能的组合是滤波器组原型窗的时间卷积和分数延迟脉冲响应。作为一种消除声输出级外噪声的方式,活性噪声消除(Active Noise Cancellation)(ANC)模块可选择性地添加到该***,以一种与共同的待定专利申请“使用心理声学模式和过采样滤波器组的声音清晰度增强Sound IntelligibilityEnhancement Using a Psychoacoustic Model and an OversampledFilterbank”,T.Schneider等的加拿大专利申请系列号2,354,755,和美国申请公开号20030198357中公开的***类似的方式,这些专利申请被结合在此作为参考。仍如图8所示,ANC包括放置在输出端490的麦克风820,加上一个环路滤波器830,来提供反馈给组合矩阵415。
几乎所有的波束形成器的实现都受到低频滚降效应(roll-offeffect)的损害。为了补偿该效应,大多数***,包括所建议的***,都引入低频放大。但是,由于不可避免的麦克风内噪声,这固有地导致很低频率上高水平的输出噪声。众所周知,结果是仅能在一些截止值(通常在1kHz左右,基于特定的麦克风间隔距离)之上的频率获得希望的波束图。在进一步的实施方案中,如图9所示,为了避免高水平的低频噪声,麦克风信号被高通滤波器(HPF)920和低通滤波器(LPF)910分为高频和低频部分。再次,参考图7来说明的优选实施方案中所用的许多相同部分被使用,来实现相同的功能,并且给予相同的参考编号。高通滤波器920输出的高频部分由波束形成滤波器710、乘法器7425、和窄带原型滤波器815来处理,如上所述。低频部分旁路波束形成滤波器710、乘法器7425和窄带原型滤波器815,仅依靠后置滤波器435来提供低频信号增强。
除了传统的数字滤波器设计方法之外,图7中的波束形成器滤波器710也可使用人工神经网络(Artificial Neural Network,ANN)来实现。ANN可作为一种非参数的、稳健的自适应滤波器类型,并且,已日益作为一种富有生命力的信号处理方法来加以研究。本发明的进一步的可能的实施方案是实现神经网络1010作为完整的波束形成滤波器,如图10所示。与图4相同的参考编号再次用于在功能方面没有改变的那些部分。神经网络1010接受从由分析滤波器组输出的副频带来的输入,并且使用这些来控制影响那些副频带的乘法器425。后置滤波器适配器455在此情况下将乘法器操作425之后各副频带的结果作为输入,并且再次用来自适应后置滤波块435。
级联混合(Cascaded Hybrid)神经网络(CHNN),特为副频带信号处理而设计,可用来实现一个波束形成滤波器。CHNN包含两个经典的神经网络——自组织图(Self-Organising Map SOM)和径向基功能网络(Radial Basis Function Network,RBFN)——被连接在抽头延迟行结构(tapped-delay line structure)中(例如,参见“使用级联混合神经网络的自适应降噪”,E.Chau,M.sc.论文,Guelph大学,工程学院,2001)。该神经网络也可用来在副频带信号处理***中提供ANC、波束形成滤波器及其它信号处理算法的综合功能(integrated function)。
虽然已结合具体实施方案对本发明进行了说明,但这些仅是对本发明举例性地说明,并不能理解为是对本发明的限制。对于本领域普通技术人员来说,可在不偏离所附的权利要求书定义的本发明精神和范围的情况下对本发明进行各种改动。

Claims (50)

1.一种用于波束形成数个信息信号的定向信号处理***,所述定向信号处理***包括:
数个麦克风,用于接收所述数个信息信号;
模数转换器,用于将所述数个信息信号转换为数个数字信息信号;
过采样滤波器组,包括分析滤波器组和一个综合滤波器组,所述分析滤波器组将时域中所述数个数字信息信号变换成频域中的数个通道信号;
信号处理器,处理所述通道信号,波束形成所述数个信息信号,
所述综合滤波器组,将所述信号处理器的输出变换为时域中的单个信息信号;
后置滤波器,其配置在所述信号处理器和所述综合滤波器组之间;
控制所述后置滤波器的控制器;
组合矩阵,其配置在所述模数转换器和所述分析滤波器组之间,在时域中对所述信息信号进行预处理;
数模转换器,用于将单个数字信息信号转换为模拟信息信号;以及包括以下的至少一个:
声音活动探测器,连接到所述信号处理器和所述控制器中的至少一个上;
目标干扰比估计器,连接到所述信号处理器和所述控制器中的至少一个上;和
信号噪声比估计器,连接到所述信号处理器和所述控制器中的至少一个上。
2.如权利要求1所述的定向信号处理***,其中所述过采样滤波器组是加权叠加WOLA滤波器组。
3.如权利要求1所述的定向信号处理***,其中所述信号处理器进一步包括:
乘法器,将所述通道信号乘以至少一个权因数,用于所述波束形成;以及
自适应处理器,根据所述乘法器的输出调节所述至少一个权因数。
4.如权利要求1所述的定向信号处理***,其中所述信号处理器进一步包括:
固定波束形成器,处理所述通道信号,波束形成有特定波束图的所述信息信号;
乘法器,将来自所述固定波束形成器的输出乘以至少一个权因数;以及
自适应处理器,根据所述乘法器的输出调节所述至少一个权因数。
5.如权利要求1所述的定向信号处理***,其中所述信号处理器进一步包括:
波束形成滤波器,根据所述通道信号产生复值增益因数,实现特定的波束图;以及
乘法器,将所述复值增益因数作用于所述通道信号。
6.如权利要求1所述的定向信号处理***,其中所述信号处理器进一步包括:
乘法器,将所述通道信号乘以至少一个波束形成滤波分支;以及
自适应处理器,根据所述乘法器的输出调整所述至少一个波束形成滤波分支。
7.如权利要求1或2所述的定向信号处理***,其中所述信号处理器包括:
进行波束形成滤波的神经网络;以及
乘法器,将所述通道信号乘以所述神经网络的输出。
8.如权利要求7所述的定向信号处理***,其中所述神经网络是级联混合神经网络。
9.如权利要求3所述的定向信号处理***,进一步包括:
累加电路,将所述乘法器的所述输出相加,以及
其中,所述自适应处理器根据所述累加电路的输出进行自适应处理。
10.如权利要求4所述的定向信号处理***,进一步包括:
累加电路,将所述乘法器的所述输出相加,以及
其中,所述自适应处理器根据所述累加电路的输出进行自适应处理。
11.如权利要求6所述的定向信号处理***,进一步包括:
累加电路,将所述乘法器的所述输出相加,以及
其中,所述自适应处理器根据所述累加电路的输出进行自适应处理。
12.如权利要求5所述的定向信号处理***,进一步包括:
累加电路,将所述乘法器的输出相加。
13.如权利要求7所述的定向信号处理***,进一步包括:
累加电路,将所述乘法器的输出相加。
14.如权利要求8所述的定向信号处理***,进一步包括:
累加电路,将所述乘法器的输出相加。
15.如权利要求3所述的定向信号处理***,其中所述信号处理器包括:
估计块,有声音活动探测器,目标干扰比估计器,信号噪声比估计器,或其组合,以及
其中,所述自适应处理器,根据所述声音活动探测器的输出,所述目标干扰比估计器的输出,所述信号噪声比估计器的输出,或其组合调节所述至少一个权因数。
16.如权利要求5所述的定向信号处理***,其中所述信号处理器包括:
估计块,有声音活动探测器,目标干扰比估计器,信号噪声比估计器,或其组合,以及
其中,所述波束形成滤波器,根据所述声音活动探测器的输出,所述目标干扰比估计器的输出,所述信号噪声比估计器的输出,或其组合产生所述复值增益因数。
17.如权利要求6所述的定向信号处理***,其中所述信号处理器包括:
估计块,有声音活动探测器,目标干扰比估计器,信号噪声比估计器,或其组合,以及
其中,所述自适应处理器,根据所述声音活动探测器的输出,所述目标干扰比估计器的输出,所述信号噪声比估计器的输出,或其组合调节所述至少一个波束形成滤波分支。
18.如权利要求9所述的定向信号处理***,其中所述信号处理器包括:
用于处理所述累加电路输出的模块,所述模块包括估计块,所述估计块有声音活动探测器,目标干扰比估计器,信号噪声比估计器,或其组合,以及
其中,所述自适应处理器的自适应处理,由所述声音活动探测器的输出,所述目标干扰比估计器的输出,所述信号噪声比估计器的输出,或其组合来控制。
19.如权利要求10所述的定向信号处理***,其中所述信号处理器包括:
用于处理所述累加电路输出的模块,所述模块包括估计块,所述估计块有声音活动探测器,目标干扰比估计器,信号噪声比估计器,或其组合,以及
其中,所述自适应处理器的自适应处理,由所述声音活动探测器的输出,所述目标干扰比估计器的输出,所述信号噪声比估计器的输出,或其组合来控制。
20.如权利要求11所述的定向信号处理***,其中所述信号处理器包括:
用于处理所述累加电路输出的模块,所述模块包括估计块,所述估计块有声音活动探测器,目标干扰比估计器,信号噪声比估计器,或其组合,以及
其中,所述自适应处理器的自适应处理,由所述声音活动探测器的输出,所述目标干扰比估计器的输出,所述信号噪声比估计器的输出,或其组合来控制。
21.如权利要求1所述的定向信号处理***,其中所述分析滤波器组将至少一个分数延迟脉冲响应作用于至少一个滤波器组原型窗。
22.如权利要求1或2所述的定向信号处理***,其中所述信号处理器包括:
电路,处理通道信号,在一个通道内获得一个近似线性相位响应,以及
其中,所述电路将滤波器作用于至少一个所述通道信号。
23.如权利要求22所述的定向信号处理***,其中所述滤波器是IIR滤波器。
24.如权利要求1所述的定向信号处理***,其中所述信号处理器进一步包括:
处理块,将所述通道信号分成两组,使所述两组之一能不同于另一组地被处理。
25.如权利要求2所述的定向信号处理***,其中所述信号处理器进一步包括:
处理块,将所述通道信号分成两组,使所述两组之一能不同于另一组地被处理。
26.如权利要求3所述的定向信号处理***,其中所述信号处理器进一步包括:
处理块,将所述通道信号分成两组,使所述两组之一能不同于另一组地被处理。
27.如权利要求4所述的定向信号处理***,其中所述信号处理器进一步包括:
处理块,将所述通道信号分成两组,使所述两组之一能不同于另一组地被处理。
28.如权利要求5所述的定向信号处理***,其中所述信号处理器进一步包括:
处理块,将所述通道信号分成两组,使所述两组之一能不同于另一组地被处理。
29.如权利要求6所述的定向信号处理***,其中所述信号处理器进一步包括:
处理块,将所述通道信号分成两组,使所述两组之一能不同于另一组地被处理。
30.如权利要求7所述的定向信号处理***,其中所述信号处理器进一步包括:
处理块,将所述通道信号分成两组,使所述两组之一能不同于另一组地被处理。
31.如权利要求9所述的定向信号处理***,其中所述信号处理器进一步包括:
处理块,将所述通道信号分成两组,使所述两组之一能不同于另一组地被处理,以及
其中,所述累加电路接收所述乘法器的所述输出和至少任意一个已被不同处理的所述通道信号。
32.如权利要求10所述的定向信号处理***,其中所述信号处理器进一步包括:
处理块,将所述通道信号分成两组,使所述两组之一能不同于另一组地被处理,以及
其中,所述累加电路接收所述乘法器的所述输出和至少任意一个已被不同处理的所述通道信号。
33.如权利要求11所述的定向信号处理***,其中所述信号处理器进一步包括:
处理块,将所述通道信号分成两组,使所述两组之一能不同于另一组地被处理,以及
其中,所述累加电路接收所述乘法器的所述输出和至少任意一个已被不同处理的所述通道信号。
34.如权利要求24所述的定向信号处理***,其中所述处理块包括:
用于所述两组所述之一的高通滤波器,以及
用于所述另一组的低通滤波器。
35.如权利要求25所述的定向信号处理***,其中所述处理块包括:
用于所述两组所述之一的高通滤波器,以及
用于所述另一组的低通滤波器。
36.如权利要求26所述的定向信号处理***,其中所述处理块包括:
用于所述两组所述之一的高通滤波器,以及
用于所述另一组的低通滤波器。
37.如权利要求27所述的定向信号处理***,其中所述处理块包括:
用于所述两组所述之一的高通滤波器,以及
用于所述另一组的低通滤波器。
38.如权利要求28所述的定向信号处理***,其中所述处理块包括:
用于所述两组所述之一的高通滤波器,以及
用于所述另一组的低通滤波器。
39.如权利要求29所述的定向信号处理***,其中所述处理块包括:
用于所述两组所述之一的高通滤波器,以及
用于所述另一组的低通滤波器。
40.如权利要求30所述的定向信号处理***,其中所述处理块包括:
用于所述两组所述之一的高通滤波器,以及
用于所述另一组的低通滤波器。
41.如权利要求31所述的定向信号处理***,其中所述处理块包括:
用于所述两组所述之一的高通滤波器,以及
用于所述另一组的低通滤波器。
42.如权利要求32所述的定向信号处理***,其中所述处理块包括:
用于所述两组所述之一的高通滤波器,以及
用于所述另一组的低通滤波器。
43.如权利要求33所述的定向信号处理***,其中所述处理块包括:
用于所述两组所述之一的高通滤波器,以及
用于所述另一组的低通滤波器。
44.如权利要求1所述的定向信号处理***,进一步包括活性噪声消除(ANC)模块,所述ANC模块包括设置在所述综合滤波器组输出的另一麦克风,和根据所述另一麦克风的输出提供反馈控制的环路滤波器。
45.如权利要求1所述的定向信号处理***,其中所述组合矩阵是FIR滤波器。
46.如权利要求1所述的定向信号处理***,其中所述组合矩阵是IIR滤波器。
47.如权利要求1所述的定向信号处理***,其中所述控制器根据所述声音活动探测器的输出,所述目标干扰比估计器的输出,所述信号噪声比估计器的输出,或其组合来控制所述后置滤波器。
48.一种处理数个通道信号用来在通道内获得近似的线性相位响应的方法,所述方法包括步骤:
在一个或一个以上的麦克风处,接收数个信息信号;
在模数转换器处,将所述数个信息信号转换为数个数字信息信号;
在过采样分析滤波器组,将时域中的所述数个信息信号变换成频域中的数个通道信号;
在信号处理器,通过将一个或更多个滤波器作用于至少一个通道信号来进行滤波;
在过采样综合滤波器组,将所述信号处理器的输出变换为时域中的单个信息信号;
在控制器处,控制配置在所述信号处理器和所述综合滤波器组之间的后置滤波器;
在组合矩阵处,预处理在时域中的所述信息信号,所述组合矩阵配置在所述模数转换器和所述分析滤波器组之间;
在数模转换器处,将单个数字信息信号转换为模拟信息信号;以及
在所述信号处理器和所述控制器处,接收来自以下的至少一个的输入:
连接到所述信号处理器和所述控制器中的至少一个上的声音活动探测器;
连接到所述信号处理器和所述控制器中的至少一个上的目标干扰比估计器;
连接到所述信号处理器和所述控制器中的至少一个上的信号噪声比估计器。
49.如权利要求48所述的处理数个通道信号的方法,其中所述滤波器是IIR滤波器。
50.如权利要求48所述的处理数个通道信号的方法,其中还包括步骤:
在所述过采样分析滤波器组处,将分数延迟脉冲响应作用于滤波器组原型窗。
CNB028194845A 2001-08-08 2002-08-07 用于使用过采样滤波器组处理定向音频信号的方法和*** Expired - Fee Related CN100534221C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CA2,354,858 2001-08-08
CA002354858A CA2354858A1 (en) 2001-08-08 2001-08-08 Subband directional audio signal processing using an oversampled filterbank

Publications (2)

Publication Number Publication Date
CN1565144A CN1565144A (zh) 2005-01-12
CN100534221C true CN100534221C (zh) 2009-08-26

Family

ID=4169688

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028194845A Expired - Fee Related CN100534221C (zh) 2001-08-08 2002-08-07 用于使用过采样滤波器组处理定向音频信号的方法和***

Country Status (10)

Country Link
US (2) US7359520B2 (zh)
EP (1) EP1423988B2 (zh)
JP (2) JP4612302B2 (zh)
CN (1) CN100534221C (zh)
AT (1) ATE496496T1 (zh)
AU (1) AU2002325101B2 (zh)
CA (1) CA2354858A1 (zh)
DE (1) DE60238996D1 (zh)
DK (1) DK1423988T4 (zh)
WO (1) WO2003015464A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107018470A (zh) * 2016-01-28 2017-08-04 讯飞智元信息科技有限公司 一种基于环形麦克风阵列的语音记录方法及***
CN107409255A (zh) * 2015-03-30 2017-11-28 伯斯有限公司 子带信号的自适应混合

Families Citing this family (177)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605911B2 (en) 2001-07-10 2013-12-10 Dolby International Ab Efficient and scalable parametric stereo coding for low bitrate audio coding applications
US7469206B2 (en) 2001-11-29 2008-12-23 Coding Technologies Ab Methods for improving high frequency reconstruction
JP3910898B2 (ja) * 2002-09-17 2007-04-25 株式会社東芝 指向性設定装置、指向性設定方法及び指向性設定プログラム
SE0202770D0 (sv) * 2002-09-18 2002-09-18 Coding Technologies Sweden Ab Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks
US7174022B1 (en) * 2002-11-15 2007-02-06 Fortemedia, Inc. Small array microphone for beam-forming and noise suppression
DE10312065B4 (de) * 2003-03-18 2005-10-13 Technische Universität Berlin Verfahren und Vorrichtung zum Entmischen akustischer Signale
AU2003901634A0 (en) * 2003-04-04 2003-05-01 Cochlear Limited Reduced power consumption in audio processors
US7519186B2 (en) * 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
SE0301273D0 (sv) * 2003-04-30 2003-04-30 Coding Technologies Sweden Ab Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods
EP1489882A3 (de) * 2003-06-20 2009-07-29 Siemens Audiologische Technik GmbH Verfahren zum Betrieb eines Hörhilfegerätes, sowie Hörhilfegerät mit einem Mikrofonsystem, bei dem unterschiedliche Richtcharakteristiken einstellbar sind
EP1524879B1 (en) * 2003-06-30 2014-05-07 Nuance Communications, Inc. Handsfree system for use in a vehicle
EP1538867B1 (en) * 2003-06-30 2012-07-18 Nuance Communications, Inc. Handsfree system for use in a vehicle
US20050018796A1 (en) * 2003-07-07 2005-01-27 Sande Ravindra Kumar Method of combining an analysis filter bank following a synthesis filter bank and structure therefor
JP2005051744A (ja) * 2003-07-17 2005-02-24 Matsushita Electric Ind Co Ltd 通話装置
US8379875B2 (en) * 2003-12-24 2013-02-19 Nokia Corporation Method for efficient beamforming using a complementary noise separation filter
US20050147258A1 (en) * 2003-12-24 2005-07-07 Ville Myllyla Method for adjusting adaptation control of adaptive interference canceller
US7769107B2 (en) * 2004-06-10 2010-08-03 Intel Corporation Semi-blind analog beamforming for multiple-antenna systems
US20060020454A1 (en) * 2004-07-21 2006-01-26 Phonak Ag Method and system for noise suppression in inductive receivers
CA2481631A1 (en) * 2004-09-15 2006-03-15 Dspfactory Ltd. Method and system for physiological signal processing
CA2481629A1 (en) * 2004-09-15 2006-03-15 Dspfactory Ltd. Method and system for active noise cancellation
WO2006037014A2 (en) 2004-09-27 2006-04-06 Nielsen Media Research, Inc. Methods and apparatus for using location information to manage spillover in an audience monitoring system
WO2006050112A2 (en) * 2004-10-28 2006-05-11 Neural Audio Corp. Audio spatial environment engine
US7817743B2 (en) * 2004-12-22 2010-10-19 Rambus Inc. Multi-tone system with oversampled precoders
US8509321B2 (en) * 2004-12-23 2013-08-13 Rambus Inc. Simultaneous bi-directional link
EP1691572B8 (en) * 2005-02-09 2019-09-11 Oticon A/s Method and system for training a hearing aid using a self-organising map
US7415372B2 (en) 2005-08-26 2008-08-19 Step Communications Corporation Method and apparatus for improving noise discrimination in multiple sensor pairs
US20070047743A1 (en) * 2005-08-26 2007-03-01 Step Communications Corporation, A Nevada Corporation Method and apparatus for improving noise discrimination using enhanced phase difference value
US20070050441A1 (en) * 2005-08-26 2007-03-01 Step Communications Corporation,A Nevada Corporati Method and apparatus for improving noise discrimination using attenuation factor
US7619563B2 (en) 2005-08-26 2009-11-17 Step Communications Corporation Beam former using phase difference enhancement
US7472041B2 (en) 2005-08-26 2008-12-30 Step Communications Corporation Method and apparatus for accommodating device and/or signal mismatch in a sensor array
CN101263734B (zh) * 2005-09-02 2012-01-25 丰田自动车株式会社 麦克风阵列用后置滤波器
US7774396B2 (en) 2005-11-18 2010-08-10 Dynamic Hearing Pty Ltd Method and device for low delay processing
US8345890B2 (en) 2006-01-05 2013-01-01 Audience, Inc. System and method for utilizing inter-microphone level differences for speech enhancement
US8194880B2 (en) 2006-01-30 2012-06-05 Audience, Inc. System and method for utilizing omni-directional microphones for speech enhancement
US8204252B1 (en) 2006-10-10 2012-06-19 Audience, Inc. System and method for providing close microphone adaptive array processing
US8744844B2 (en) 2007-07-06 2014-06-03 Audience, Inc. System and method for adaptive intelligent noise suppression
US9185487B2 (en) 2006-01-30 2015-11-10 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction
EP2002542B1 (en) * 2006-02-21 2022-01-05 Cirrus Logic International Semiconductor Limited Method and device for low delay processing
US7864969B1 (en) * 2006-02-28 2011-01-04 National Semiconductor Corporation Adaptive amplifier circuitry for microphone array
US8934641B2 (en) * 2006-05-25 2015-01-13 Audience, Inc. Systems and methods for reconstructing decomposed audio signals
US8849231B1 (en) 2007-08-08 2014-09-30 Audience, Inc. System and method for adaptive power control
US8150065B2 (en) 2006-05-25 2012-04-03 Audience, Inc. System and method for processing an audio signal
US8949120B1 (en) 2006-05-25 2015-02-03 Audience, Inc. Adaptive noise cancelation
US8204253B1 (en) 2008-06-30 2012-06-19 Audience, Inc. Self calibration of audio device
EP1879292B1 (en) * 2006-07-10 2013-03-06 Harman Becker Automotive Systems GmbH Partitioned fast convolution
US7885688B2 (en) * 2006-10-30 2011-02-08 L-3 Communications Integrated Systems, L.P. Methods and systems for signal selection
US8565459B2 (en) * 2006-11-24 2013-10-22 Rasmussen Digital Aps Signal processing using spatial filter
US8259926B1 (en) 2007-02-23 2012-09-04 Audience, Inc. System and method for 2-channel and 3-channel acoustic echo cancellation
US8982744B2 (en) * 2007-06-06 2015-03-17 Broadcom Corporation Method and system for a subband acoustic echo canceller with integrated voice activity detection
US8189766B1 (en) 2007-07-26 2012-05-29 Audience, Inc. System and method for blind subband acoustic echo cancellation postfiltering
JP4469882B2 (ja) * 2007-08-16 2010-06-02 株式会社東芝 音響信号処理方法及び装置
CN100462878C (zh) * 2007-08-29 2009-02-18 南京工业大学 智能机器人识别舞蹈音乐节奏的方法
US20090150144A1 (en) * 2007-12-10 2009-06-11 Qnx Software Systems (Wavemakers), Inc. Robust voice detector for receive-side automatic gain control
US8180064B1 (en) 2007-12-21 2012-05-15 Audience, Inc. System and method for providing voice equalization
US8143620B1 (en) 2007-12-21 2012-03-27 Audience, Inc. System and method for adaptive classification of audio sources
US8194882B2 (en) 2008-02-29 2012-06-05 Audience, Inc. System and method for providing single microphone noise suppression fallback
US8355511B2 (en) 2008-03-18 2013-01-15 Audience, Inc. System and method for envelope-based acoustic echo cancellation
US8589152B2 (en) * 2008-05-28 2013-11-19 Nec Corporation Device, method and program for voice detection and recording medium
WO2009151578A2 (en) * 2008-06-09 2009-12-17 The Board Of Trustees Of The University Of Illinois Method and apparatus for blind signal recovery in noisy, reverberant environments
US8774423B1 (en) * 2008-06-30 2014-07-08 Audience, Inc. System and method for controlling adaptivity of signal modification using a phantom coefficient
US8521530B1 (en) 2008-06-30 2013-08-27 Audience, Inc. System and method for enhancing a monaural audio signal
TWI618350B (zh) 2009-02-18 2018-03-11 杜比國際公司 用於高頻重建或參數立體聲之複指數調變濾波器組
JP5113794B2 (ja) * 2009-04-02 2013-01-09 日本電信電話株式会社 適応マイクロホンアレイ残響抑圧装置、適応マイクロホンアレイ残響抑圧方法及びプログラム
EP2249334A1 (en) * 2009-05-08 2010-11-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio format transcoder
US8571231B2 (en) * 2009-10-01 2013-10-29 Qualcomm Incorporated Suppressing noise in an audio signal
US9008329B1 (en) 2010-01-26 2015-04-14 Audience, Inc. Noise reduction using multi-feature cluster tracker
US9132331B2 (en) * 2010-03-19 2015-09-15 Nike, Inc. Microphone array and method of use
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
CN103039093A (zh) * 2010-06-08 2013-04-10 Ip音乐集团有限公司 用于增大音频***中的反馈检测速率的***和方法
US8638951B2 (en) 2010-07-15 2014-01-28 Motorola Mobility Llc Electronic apparatus for generating modified wideband audio signals based on two or more wideband microphone signals
US8759661B2 (en) 2010-08-31 2014-06-24 Sonivox, L.P. System and method for audio synthesizer utilizing frequency aperture arrays
US8861756B2 (en) 2010-09-24 2014-10-14 LI Creative Technologies, Inc. Microphone array system
US9078077B2 (en) 2010-10-21 2015-07-07 Bose Corporation Estimation of synthetic audio prototypes with frequency-based input signal decomposition
US8675881B2 (en) 2010-10-21 2014-03-18 Bose Corporation Estimation of synthetic audio prototypes
KR101909432B1 (ko) 2010-12-03 2018-10-18 씨러스 로직 인코포레이티드 개인용 오디오 디바이스에서 적응형 잡음 제거기의 실수 제어
US8908877B2 (en) 2010-12-03 2014-12-09 Cirrus Logic, Inc. Ear-coupling detection and adjustment of adaptive response in noise-canceling in personal audio devices
ES2670870T3 (es) * 2010-12-21 2018-06-01 Nippon Telegraph And Telephone Corporation Método de realce de sonido, dispositivo, programa y medio de grabación
CN102164328B (zh) * 2010-12-29 2013-12-11 中国科学院声学研究所 一种用于家庭环境的基于传声器阵列的音频输入***
ES2712724T3 (es) * 2011-03-30 2019-05-14 Kaetel Systems Gmbh Caja de altavoces
EP2530840B1 (en) * 2011-05-30 2014-09-03 Harman Becker Automotive Systems GmbH Efficient sub-band adaptive FIR-filtering
US9214150B2 (en) 2011-06-03 2015-12-15 Cirrus Logic, Inc. Continuous adaptation of secondary path adaptive response in noise-canceling personal audio devices
US9318094B2 (en) 2011-06-03 2016-04-19 Cirrus Logic, Inc. Adaptive noise canceling architecture for a personal audio device
US9824677B2 (en) 2011-06-03 2017-11-21 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
US8948407B2 (en) 2011-06-03 2015-02-03 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
US8958571B2 (en) * 2011-06-03 2015-02-17 Cirrus Logic, Inc. MIC covering detection in personal audio devices
US9973848B2 (en) * 2011-06-21 2018-05-15 Amazon Technologies, Inc. Signal-enhancing beamforming in an augmented reality environment
US8653354B1 (en) * 2011-08-02 2014-02-18 Sonivoz, L.P. Audio synthesizing systems and methods
CN102957993B (zh) * 2011-08-30 2015-05-20 中国科学院微电子研究所 低功耗wola滤波器组及其分析阶段电路
US9325821B1 (en) * 2011-09-30 2016-04-26 Cirrus Logic, Inc. Sidetone management in an adaptive noise canceling (ANC) system including secondary path modeling
US9055357B2 (en) * 2012-01-05 2015-06-09 Starkey Laboratories, Inc. Multi-directional and omnidirectional hybrid microphone for hearing assistance devices
DE102012204877B3 (de) 2012-03-27 2013-04-18 Siemens Medical Instruments Pte. Ltd. Hörvorrichtung für eine binaurale Versorgung und Verfahren zum Bereitstellen einer binauralen Versorgung
US9014387B2 (en) 2012-04-26 2015-04-21 Cirrus Logic, Inc. Coordinated control of adaptive noise cancellation (ANC) among earspeaker channels
US9142205B2 (en) 2012-04-26 2015-09-22 Cirrus Logic, Inc. Leakage-modeling adaptive noise canceling for earspeakers
US9123321B2 (en) 2012-05-10 2015-09-01 Cirrus Logic, Inc. Sequenced adaptation of anti-noise generator response and secondary path response in an adaptive noise canceling system
US9082387B2 (en) 2012-05-10 2015-07-14 Cirrus Logic, Inc. Noise burst adaptation of secondary path adaptive response in noise-canceling personal audio devices
US9319781B2 (en) 2012-05-10 2016-04-19 Cirrus Logic, Inc. Frequency and direction-dependent ambient sound handling in personal audio devices having adaptive noise cancellation (ANC)
US9318090B2 (en) 2012-05-10 2016-04-19 Cirrus Logic, Inc. Downlink tone detection and adaptation of a secondary path response model in an adaptive noise canceling system
US9532139B1 (en) 2012-09-14 2016-12-27 Cirrus Logic, Inc. Dual-microphone frequency amplitude response self-calibration
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
EP2747451A1 (en) * 2012-12-21 2014-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Filter and method for informed spatial filtering using multiple instantaneous direction-of-arrivial estimates
DK2765787T3 (da) 2013-02-07 2020-03-09 Oticon As Fremgangsmåde til reduktion af ikke-korreleret støj i en audiobehandlingsenhed
US9107010B2 (en) 2013-02-08 2015-08-11 Cirrus Logic, Inc. Ambient noise root mean square (RMS) detector
US9021516B2 (en) 2013-03-01 2015-04-28 The Nielsen Company (Us), Llc Methods and systems for reducing spillover by measuring a crest factor
US9118960B2 (en) 2013-03-08 2015-08-25 The Nielsen Company (Us), Llc Methods and systems for reducing spillover by detecting signal distortion
US9369798B1 (en) 2013-03-12 2016-06-14 Cirrus Logic, Inc. Internal dynamic range control in an adaptive noise cancellation (ANC) system
US9810925B2 (en) * 2013-03-13 2017-11-07 Kopin Corporation Noise cancelling microphone apparatus
US9191704B2 (en) 2013-03-14 2015-11-17 The Nielsen Company (Us), Llc Methods and systems for reducing crediting errors due to spillover using audio codes and/or signatures
US9414150B2 (en) 2013-03-14 2016-08-09 Cirrus Logic, Inc. Low-latency multi-driver adaptive noise canceling (ANC) system for a personal audio device
US9215749B2 (en) 2013-03-14 2015-12-15 Cirrus Logic, Inc. Reducing an acoustic intensity vector with adaptive noise cancellation with two error microphones
US9197930B2 (en) * 2013-03-15 2015-11-24 The Nielsen Company (Us), Llc Methods and apparatus to detect spillover in an audience monitoring system
US9635480B2 (en) 2013-03-15 2017-04-25 Cirrus Logic, Inc. Speaker impedance monitoring
US9502020B1 (en) 2013-03-15 2016-11-22 Cirrus Logic, Inc. Robust adaptive noise canceling (ANC) in a personal audio device
US9467776B2 (en) 2013-03-15 2016-10-11 Cirrus Logic, Inc. Monitoring of speaker impedance to detect pressure applied between mobile device and ear
US9208771B2 (en) 2013-03-15 2015-12-08 Cirrus Logic, Inc. Ambient noise-based adaptation of secondary path adaptive response in noise-canceling personal audio devices
EP2782094A1 (en) 2013-03-22 2014-09-24 Thomson Licensing Method and apparatus for enhancing directivity of a 1st order Ambisonics signal
US10206032B2 (en) 2013-04-10 2019-02-12 Cirrus Logic, Inc. Systems and methods for multi-mode adaptive noise cancellation for audio headsets
US9462376B2 (en) 2013-04-16 2016-10-04 Cirrus Logic, Inc. Systems and methods for hybrid adaptive noise cancellation
US9478210B2 (en) 2013-04-17 2016-10-25 Cirrus Logic, Inc. Systems and methods for hybrid adaptive noise cancellation
US9460701B2 (en) 2013-04-17 2016-10-04 Cirrus Logic, Inc. Systems and methods for adaptive noise cancellation by biasing anti-noise level
US9578432B1 (en) 2013-04-24 2017-02-21 Cirrus Logic, Inc. Metric and tool to evaluate secondary path design in adaptive noise cancellation systems
US9264808B2 (en) 2013-06-14 2016-02-16 Cirrus Logic, Inc. Systems and methods for detection and cancellation of narrow-band noise
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
US9392364B1 (en) 2013-08-15 2016-07-12 Cirrus Logic, Inc. Virtual microphone for adaptive noise cancellation in personal audio devices
US9666176B2 (en) 2013-09-13 2017-05-30 Cirrus Logic, Inc. Systems and methods for adaptive noise cancellation by adaptively shaping internal white noise to train a secondary path
US9620101B1 (en) 2013-10-08 2017-04-11 Cirrus Logic, Inc. Systems and methods for maintaining playback fidelity in an audio system with adaptive noise cancellation
EP2876900A1 (en) * 2013-11-25 2015-05-27 Oticon A/S Spatial filter bank for hearing system
US10382864B2 (en) 2013-12-10 2019-08-13 Cirrus Logic, Inc. Systems and methods for providing adaptive playback equalization in an audio device
US10219071B2 (en) 2013-12-10 2019-02-26 Cirrus Logic, Inc. Systems and methods for bandlimiting anti-noise in personal audio devices having adaptive noise cancellation
US9704472B2 (en) 2013-12-10 2017-07-11 Cirrus Logic, Inc. Systems and methods for sharing secondary path information between audio channels in an adaptive noise cancellation system
EP3105942B1 (en) * 2014-02-10 2018-07-25 Bose Corporation Conversation assistance system
US9369557B2 (en) 2014-03-05 2016-06-14 Cirrus Logic, Inc. Frequency-dependent sidetone calibration
CN103945291B (zh) * 2014-03-05 2017-05-17 北京飞利信科技股份有限公司 一种应用双麦克风定向传声的方法及装置
US9479860B2 (en) 2014-03-07 2016-10-25 Cirrus Logic, Inc. Systems and methods for enhancing performance of audio transducer based on detection of transducer status
US9648410B1 (en) 2014-03-12 2017-05-09 Cirrus Logic, Inc. Control of audio output of headphone earbuds based on the environment around the headphone earbuds
US9319784B2 (en) 2014-04-14 2016-04-19 Cirrus Logic, Inc. Frequency-shaped noise-based adaptation of secondary path adaptive response in noise-canceling personal audio devices
US9609416B2 (en) 2014-06-09 2017-03-28 Cirrus Logic, Inc. Headphone responsive to optical signaling
US10181315B2 (en) 2014-06-13 2019-01-15 Cirrus Logic, Inc. Systems and methods for selectively enabling and disabling adaptation of an adaptive noise cancellation system
US10149047B2 (en) * 2014-06-18 2018-12-04 Cirrus Logic Inc. Multi-aural MMSE analysis techniques for clarifying audio signals
WO2016033364A1 (en) 2014-08-28 2016-03-03 Audience, Inc. Multi-sourced noise suppression
US9478212B1 (en) 2014-09-03 2016-10-25 Cirrus Logic, Inc. Systems and methods for use of adaptive secondary path estimate to control equalization in an audio device
JP6686895B2 (ja) * 2014-11-11 2020-04-22 ソニー株式会社 音声処理装置、音声処理方法、並びにプログラム
US9552805B2 (en) 2014-12-19 2017-01-24 Cirrus Logic, Inc. Systems and methods for performance and stability control for feedback adaptive noise cancellation
EP3275208B1 (en) * 2015-03-25 2019-12-25 Dolby Laboratories Licensing Corporation Sub-band mixing of multiple microphones
US9924224B2 (en) 2015-04-03 2018-03-20 The Nielsen Company (Us), Llc Methods and apparatus to determine a state of a media presentation device
US9601131B2 (en) * 2015-06-25 2017-03-21 Htc Corporation Sound processing device and method
US9848222B2 (en) 2015-07-15 2017-12-19 The Nielsen Company (Us), Llc Methods and apparatus to detect spillover
JP6964581B2 (ja) 2015-08-20 2021-11-10 シーラス ロジック インターナショナル セミコンダクター リミテッド 固定応答フィルタによって部分的に提供されるフィードバック応答を有するフィードバック適応雑音消去(anc)コントローラおよび方法
US9578415B1 (en) 2015-08-21 2017-02-21 Cirrus Logic, Inc. Hybrid adaptive noise cancellation system with filtered error microphone signal
US10244317B2 (en) 2015-09-22 2019-03-26 Samsung Electronics Co., Ltd. Beamforming array utilizing ring radiator loudspeakers and digital signal processing (DSP) optimization of a beamforming array
US9691413B2 (en) 2015-10-06 2017-06-27 Microsoft Technology Licensing, Llc Identifying sound from a source of interest based on multiple audio feeds
CN105355210B (zh) * 2015-10-30 2020-06-23 百度在线网络技术(北京)有限公司 用于远场语音识别的预处理方法和装置
US10013966B2 (en) 2016-03-15 2018-07-03 Cirrus Logic, Inc. Systems and methods for adaptive active noise cancellation for multiple-driver personal audio device
US9947323B2 (en) * 2016-04-01 2018-04-17 Intel Corporation Synthetic oversampling to enhance speaker identification or verification
US10492008B2 (en) * 2016-04-06 2019-11-26 Starkey Laboratories, Inc. Hearing device with neural network-based microphone signal processing
WO2017174136A1 (en) 2016-04-07 2017-10-12 Sonova Ag Hearing assistance system
JP6634354B2 (ja) * 2016-07-20 2020-01-22 ホシデン株式会社 緊急通報システム用ハンズフリー通話装置
US10614788B2 (en) * 2017-03-15 2020-04-07 Synaptics Incorporated Two channel headset-based own voice enhancement
IT201700040732A1 (it) 2017-04-12 2018-10-12 Inst Rundfunktechnik Gmbh Verfahren und vorrichtung zum mischen von n informationssignalen
CN107748354B (zh) * 2017-08-08 2021-11-30 中国电子科技集团公司第三十八研究所 基于分析与综合的宽带数字波束形成装置
US9973849B1 (en) * 2017-09-20 2018-05-15 Amazon Technologies, Inc. Signal quality beam selection
DE102018207346B4 (de) * 2018-05-11 2019-11-21 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts sowie Hörgerät
WO2019227279A1 (zh) * 2018-05-28 2019-12-05 深圳市大疆创新科技有限公司 降噪方法、装置和无人机
CN112544089B (zh) 2018-06-07 2023-03-28 索诺瓦公司 提供具有空间背景的音频的麦克风设备
US10699727B2 (en) 2018-07-03 2020-06-30 International Business Machines Corporation Signal adaptive noise filter
EP3598777B1 (en) * 2018-07-18 2023-10-11 Oticon A/s A hearing device comprising a speech presence probability estimator
TWI731391B (zh) * 2019-08-15 2021-06-21 緯創資通股份有限公司 麥克風裝置、電子裝置及其音訊信號處理方法
US11317206B2 (en) 2019-11-27 2022-04-26 Roku, Inc. Sound generation with adaptive directivity
KR20210083872A (ko) * 2019-12-27 2021-07-07 삼성전자주식회사 전자 장치 및 신경망 기반의 잔여 에코 제거 방법
CN112039494B (zh) * 2020-08-13 2023-10-20 北京电子工程总体研究所 一种克服方位角过零的低通滤波方法、装置、设备和介质
KR20220041432A (ko) * 2020-09-25 2022-04-01 삼성전자주식회사 음향 신호를 이용한 거리 측정 시스템 및 방법
CN112652322A (zh) * 2020-12-23 2021-04-13 江苏集萃智能集成电路设计技术研究所有限公司 一种语音信号增强方法
CN112822592B (zh) * 2020-12-31 2022-07-12 青岛理工大学 一种可定向聆听的有源降噪耳机及控制方法
US11570558B2 (en) 2021-01-28 2023-01-31 Sonova Ag Stereo rendering systems and methods for a microphone assembly with dynamic tracking
EP4040801A1 (en) * 2021-02-09 2022-08-10 Oticon A/s A hearing aid configured to select a reference microphone
CN113038349B (zh) * 2021-02-26 2023-08-08 恒玄科技(上海)股份有限公司 一种音频设备
CN115831155A (zh) * 2021-09-16 2023-03-21 腾讯科技(深圳)有限公司 音频信号的处理方法、装置、电子设备及存储介质
US11937047B1 (en) * 2023-08-04 2024-03-19 Chromatic Inc. Ear-worn device with neural network for noise reduction and/or spatial focusing using multiple input audio signals

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US214057A (en) * 1879-04-08 Improvement in screw-wrenches
US4254417A (en) 1979-08-20 1981-03-03 The United States Of America As Represented By The Secretary Of The Navy Beamformer for arrays with rotational symmetry
US4599743A (en) * 1982-01-25 1986-07-08 Itt Corporation Baseband demodulator for FM and/or AM signals
US4852123A (en) * 1988-02-05 1989-07-25 Motorola, Inc. Nearly DC IF phase locked transceiver
US5222144A (en) * 1991-10-28 1993-06-22 Ford Motor Company Digital quadrature radio receiver with two-step processing
JPH06261388A (ja) * 1993-03-05 1994-09-16 Matsushita Electric Ind Co Ltd マイクロフォン装置
US5383164A (en) 1993-06-10 1995-01-17 The Salk Institute For Biological Studies Adaptive system for broadband multisignal discrimination in a channel with reverberation
US5651071A (en) 1993-09-17 1997-07-22 Audiologic, Inc. Noise reduction system for binaural hearing aid
JP3334353B2 (ja) * 1994-09-02 2002-10-15 ソニー株式会社 聴覚補助装置
US5715319A (en) * 1996-05-30 1998-02-03 Picturetel Corporation Method and apparatus for steerable and endfire superdirective microphone arrays with reduced analog-to-digital converter and computational requirements
US5724270A (en) 1996-08-26 1998-03-03 He Holdings, Inc. Wave-number-frequency adaptive beamforming
US6240192B1 (en) * 1997-04-16 2001-05-29 Dspfactory Ltd. Apparatus for and method of filtering in an digital hearing aid, including an application specific integrated circuit and a programmable digital signal processor
US6236731B1 (en) * 1997-04-16 2001-05-22 Dspfactory Ltd. Filterbank structure and method for filtering and separating an information signal into different bands, particularly for audio signal in hearing aids
US6248192B1 (en) 1998-05-08 2001-06-19 Usf Filtration And Separations Group, Inc Process for making an alloy
GB9813973D0 (en) 1998-06-30 1998-08-26 Univ Stirling Interactive directional hearing aid
US6530085B1 (en) * 1998-09-16 2003-03-04 Webtv Networks, Inc. Configuration for enhanced entertainment system control
EP1018854A1 (en) 1999-01-05 2000-07-12 Oticon A/S A method and a device for providing improved speech intelligibility
CA2354755A1 (en) 2001-08-07 2003-02-07 Dspfactory Ltd. Sound intelligibilty enhancement using a psychoacoustic model and an oversampled filterbank
CA2354808A1 (en) 2001-08-07 2003-02-07 King Tam Sub-band adaptive signal processing in an oversampled filterbank

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107409255A (zh) * 2015-03-30 2017-11-28 伯斯有限公司 子带信号的自适应混合
CN107018470A (zh) * 2016-01-28 2017-08-04 讯飞智元信息科技有限公司 一种基于环形麦克风阵列的语音记录方法及***

Also Published As

Publication number Publication date
EP1423988B1 (en) 2011-01-19
CN1565144A (zh) 2005-01-12
WO2003015464A3 (en) 2003-12-04
AU2002325101B2 (en) 2006-11-02
US20030063759A1 (en) 2003-04-03
EP1423988A2 (en) 2004-06-02
JP4612302B2 (ja) 2011-01-12
EP1423988B2 (en) 2015-03-18
JP4732483B2 (ja) 2011-07-27
WO2003015464A8 (en) 2004-07-15
CA2354858A1 (en) 2003-02-08
DE60238996D1 (de) 2011-03-03
US7359520B2 (en) 2008-04-15
US20080112574A1 (en) 2008-05-15
DK1423988T4 (en) 2015-06-29
DK1423988T3 (da) 2011-04-11
ATE496496T1 (de) 2011-02-15
WO2003015464A2 (en) 2003-02-20
JP2008187749A (ja) 2008-08-14
JP2004537944A (ja) 2004-12-16

Similar Documents

Publication Publication Date Title
CN100534221C (zh) 用于使用过采样滤波器组处理定向音频信号的方法和***
AU2002325101A1 (en) Directional audio signal processing using an oversampled filterbank
US8184801B1 (en) Acoustic echo cancellation for time-varying microphone array beamsteering systems
JP2004537944A6 (ja) オーバーサンプルされたフィルタバンクを用いる指向性オーディオ信号処理
US7110554B2 (en) Sub-band adaptive signal processing in an oversampled filterbank
US9456275B2 (en) Cardioid beam with a desired null based acoustic devices, systems, and methods
AU719006B2 (en) System and method for adaptive interference cancelling
CN100477704C (zh) 用于与自适应波束形成组合的回声抵消的方法和设备
US8351554B2 (en) Signal extraction
EP2095678A1 (en) Signal processing using spatial filter
CN101105941A (zh) 提高声音清晰度的***
EP1018854A1 (en) A method and a device for providing improved speech intelligibility
CN112331226A (zh) 一种针对主动降噪***的语音增强***及方法
Subbulakshmi et al. A survey of filter bank algorithms for biomedical applications
Leese Microphone arrays
CA2594362C (en) Directional audio signal processing using an oversampled filterbank
Samtani et al. FPGA implementation of adaptive beamforming in hearing aids
Chau et al. A subband beamformer on an ultra low-power miniature DSP platform
Low et al. Robust microphone array using subband adaptive beamformer and spectral subtraction
Samtani et al. Area and power optimised ASIC implementation of adaptive beamformer for hearing aids
ULTRA et al. email address:{echau, hsheikh, rbrennan, tschneid}@ dspfactory. com
Westerlund et al. Low distortion SNR-based speech enhancement employing critical band filter banks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: EMMA COMPOSITE SIGNAL COMPANY

Free format text: FORMER OWNER: DSP FACTORY LTD.

Effective date: 20051104

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20051104

Address after: Amsterdam

Applicant after: Dsp Factory Ltd.

Address before: Ontario

Applicant before: Dsp Factory Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090826

Termination date: 20100807