CN102780948A - 风噪声抑制器、半导体集成电路和风噪声抑制方法 - Google Patents
风噪声抑制器、半导体集成电路和风噪声抑制方法 Download PDFInfo
- Publication number
- CN102780948A CN102780948A CN2012101501499A CN201210150149A CN102780948A CN 102780948 A CN102780948 A CN 102780948A CN 2012101501499 A CN2012101501499 A CN 2012101501499A CN 201210150149 A CN201210150149 A CN 201210150149A CN 102780948 A CN102780948 A CN 102780948A
- Authority
- CN
- China
- Prior art keywords
- wind noise
- frequency band
- tvs
- sound
- intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 239000004065 semiconductor Substances 0.000 title claims abstract description 11
- 230000001629 suppression Effects 0.000 title abstract description 3
- 230000008676 import Effects 0.000 claims description 74
- 230000005764 inhibitory process Effects 0.000 claims description 7
- 239000000203 mixture Substances 0.000 description 14
- 230000005236 sound signal Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000003112 inhibitor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2410/00—Microphones
- H04R2410/07—Mechanical or electrical reduction of wind noise generated by wind passing a microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/03—Synergistic effects of band splitting and sub-band processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
公开了风噪声抑制器、半导体集成电路和风噪声抑制方法。在风噪声抑制器中,分割器将输入声音的频率带分割成有包括风噪声的可能性的第一频率带和具有比第一频率带的频率更高的频率的第二频率带,计算器根据第一频率带中的声音的特征参数来计算输入声音包括风噪声的概率,抑制器根据从概率计算出的强度来抑制第一频率带中包括的风噪声,并且加法器混合并输出由分割器分割出的第二频率带中的声音和被抑制器抑制了风噪声的第一频率带中的声音。
Description
技术领域
这里论述的实施例涉及风噪声(wind noise)抑制器、半导体集成电路和风噪声抑制方法。
背景技术
近来的数字相机也可以拍摄电影,不过虽然实现了高图像质量,但风噪声有可能混合到视频拍摄时的声音中。可以将遮风海绵等等安附到能够搭载外部麦克风的视频相机等等,但是许多数字相机是利用内部麦克风来记录声音的。因此,传统上使用通过信号处理来抑制风噪声的技术。
风噪声倾向于集中在低频率带中,并且已知一种技术利用高通滤波器来抑制该区域。
此外,还已知一种技术,其将输入信号分割成频带并且根据这些频带之间的自相关来检测风噪声。在此技术中,通过将风噪声占优势的低频率带侧的输入信号降低得比高频率带侧的输入信号更多,防止了大多包括在高频率带侧的音频信号的损失。
此外,过去有一种技术,其在利用两个麦克风记录的2声道信号中,通过利用风噪声在声道之间几乎没有相关性这个事实,来根据2声道信号之间的差异或相关值检测风噪声成分。例如,以下文献描述了这种传统技术:
日本早期专利公布No.2001-352594
日本专利No.3186892
日本早期专利公布No.2009-55583
存在这样的情况,即在包括风噪声的低频率带侧也包括不是噪声的音频信号,因此过去是难以在不损失声音的自然性的情况下抑制风噪声的。
发明内容
根据本发明的一个方面,提供了一种风噪声抑制器,其具有:分割器,该分割器将输入声音的频率带分割成有包括风噪声的可能性的第一频率带和具有比第一频率带的频率更高的频率的第二频率带;计算器,该计算器根据第一频率带中的声音的特征参数来计算输入声音包括风噪声的概率;抑制器,该抑制器根据从概率计算出的强度来抑制第一频率带中包括的风噪声;以及加法器,该加法器混合并输出由分割器分割出的第二频率带中的声音和被抑制器抑制了风噪声的第一频率带中的声音。
附图说明
图1示出了第一实施例的风噪声抑制器的示例;
图2示出了分割器所拥有的滤波器的频率特性的示例;
图3示出了计算器的示例;
图4示出了到计算器的输入声音、输入声音的强度、强度变动量、强度变动周期和一阶自相关系数的示例;
图5示出了抑制器的示例;
图6示出了高通滤波器的频率特性的示例;
图7是第一实施例的风噪声抑制器进行的风噪声抑制处理的流程的流程图;
图8示出了第二实施例的风噪声抑制器的示例;
图9示出了衰减量的计算示例;
图10A和10B示出了非线性幅度压缩处理之前和之后的信号波形的示例;
图11是第二实施例的风噪声抑制器进行的风噪声抑制处理的流程的流程图;
图12示出了第三实施例的风噪声抑制器的示例;
图13A至13F示出了在补偿器中如何执行处理的示例;
图14是第三实施例的风噪声抑制器进行的风噪声抑制处理的流程的流程图;
图15A和15B示出了在补偿处理之前和之后信号的频率成分如何变化;
图16示出了第四实施例的风噪声抑制器的示例;
图17A至17C示出了补偿量的调整的示例;
图18示出了第五实施例的风噪声抑制器的示例;并且
图19示出了用于视频处理的半导体集成电路的示例。
具体实施方式
以下将参考附图描述若干个实施例,附图中相似的标号始终指代相似的元件。
(第一实施例)
图1示出了第一实施例的风噪声抑制器的示例。
风噪声抑制器1被搭载在例如用于视频处理的LSI(大规模集成电路)上并且具有分割器2、计算器3、抑制器4和加法器5。
分割器2把由麦克风MC拾取并被A/D(模/数)转换器7转换成数字信号的输入单声道声音分割成有可能包括风噪声的频率带和具有比前述频率带的频率更高的频率的频率带。在以下说明中,分割器2分割出的较低频率一侧的频率带被称为低频带,并且较高频率一侧的频率带被称为高频带。
风噪声倾向于集中在500Hz以下的频率带(特别是以200至300Hz的频率为中心的频带)中。因此,分割器2以大约例如1,000Hz为边界把输入声音的频率带分割成有包括风噪声的可能性的低频带和包括风噪声的可能性较小的高频带。
计算器3根据低频带中的声音的特征参数来计算输入声音包括风噪声的概率(以下称为风噪声概率)。特征参数包括输入声音的幅值(以下在一些情况下称为强度)的变动量、输入声音的幅值的变动周期(变动速率)、一阶自相关系数等等。稍后将描述用于计算风噪声概率的方法。
抑制器4以与计算器3计算出的风噪声概率相应的强度来抑制低频带中的声音的幅值。
加法器5混合并输出被抑制的低频带中的声音和由分割器2分割出的高频带中的声音。
根据如上所述的风噪声抑制器1,根据低频带中的声音的特征参数来计算输入声音包括风噪声的概率并且以与风噪声概率相应的强度来抑制低频带中包括的风噪声。例如,具有较高的风噪声概率的输入声音被强烈地抑制,而具有较低的风噪声概率的输入声音被轻微地抑制。由此,可以防止存在于低频带中的音频信号像风噪声那样强地被抑制并且抑制风噪声以便获得更自然的高品质音频信号。
以下,将详细说明风噪声抑制器1的每个部分的示例。
图2示出了分割器所拥有的滤波器的示例。水平轴表示频率,垂直轴表示强度。
分割器2具有表现出如图2中所示的频率特性的低通滤波器和高通滤波器。低通滤波器和高通滤波器的特性的交点处的频率大约是例如1,000Hz。低通滤波器的输出被输入到计算器3和抑制器4,并且高通滤波器的输出被输入到加法器5。
在图2所示的示例中,低通滤波器的频率特性和高通滤波器的频率特性相互重叠,因此通过分割获得的低频带和高频带有重叠,然而也可以通过调整每个滤波器而没有任何重叠地分割。
图3示出了计算器的示例。
计算器3具有强度计算器31、强度变动量计算器32、强度变动周期计算器33、自相关系数计算器34和概率计算器35。
图4示出了到计算器的输入声音以及输入声音的强度、强度变动量、强度变动周期和一阶自相关系数各自的示例。
在图4的每幅曲线图中,水平轴表示时间。垂直轴在输入声音的曲线图中表示幅度,在输入声音的强度的曲线图中表示强度(dB),在强度变动量的曲线图中表示强度变动量(dB),在强度变动周期的曲线图中表示变动周期,并且在一阶自相关系数的曲线图中表示相关值。虚线之间的时间表示时间帧(以下简称为帧),时间帧是一单位时间,在该单位时间期间处理被执行。
强度计算器31基于每个帧的输入声音的幅度的均方来计算低频带中的输入声音的强度。如果假定某个帧的输入声音是x(i)(0≤i<T)(T是帧周期),那么例如按照以下式(1)来计算该帧的强度fp(dB)。
通过上述计算,获得了如图4的从上方起第二个曲线图中所示的输入声音的强度。
强度变动量计算器32计算某个帧的输入声音的强度与前帧的输入声音的强度之间的差异作为强度变动量。如果假定具有帧号码t的帧的输入声音的强度是fp(t)并且前帧的输入声音的强度是fp(t-1),那么按照以下式(2)来计算强度变动量dfp。
dfp(t)=|fp(t)-fp(t-1)|…(2)
通过上述计算,获得了如图4的从上方起第三个曲线图中所示的强度变动量。
强度变动周期计算器33计算强度变动的周期。作为强度变动的周期,使用如下的周期:按照该周期,帧的强度的自相关系数达到其最大值。如果假定具有帧号码t的帧的强度是fp(t),那么按照例如以下式(3)和(4)来计算强度变动的周期pfp。
pfp=arg max(autocorr(τ)) ...(4)
在式(3)中,autocorr(τ)是表示偏移τ帧时与强度变动的自相关的系数。K是要求得强度变动的周期的区间中的帧的数目。在式(4)中,argmax(autocorr(τ))是求得使autocorr(τ)达到其最大值的τ的函数。
通过如上所述的式(3)和(4),获得了如图4的从下方起第二个曲线图中所示的强度变动的周期。
自相关系数计算器34计算表示低频带中的输入声音的频谱的轮廓(梯度)的一阶自相关系数。如果假定一帧的输入声音是x(i)(0≤I<T)(T是帧周期),那么例如按照以下式(5)或式(6)来计算一阶自相关系数ac1。
通过上述计算,获得了如图4的最下方曲线图中所示的一阶自相关系数(相关值)。
概率计算器35根据计算出的强度变动量、强度变动周期和一阶自相关系数来求得是风噪声的每个概率并且综合这些概率。
在下文中,说明分别利用强度变动量、强度变动周期和一阶自相关系数来计算风噪声概率的方法的示例。在以下说明中,假定概率计算器35求得风噪声概率为从0到1.0的概率值。
(用于利用强度变动量来计算风噪声概率的方法)
风噪声的特征在于具有非常大的强度变动量,因此,当强度变动量不小于一定的水平时,概率计算器35计算出风噪声概率的概率值为超过零的值,并且当强度变动量超过更大的值时,概率计算器35确实地判定其为风噪声并且计算出1.0的概率值。
如果假定用来判定风噪声概率大于零的强度变动量dfp的阈值为Thdfp1并且用来确实地判定是风噪声的强度变动量dfp的阈值为Thdfp2,那么按照例如以下式(7)来求得利用强度变动量的风噪声概率的概率值p1:
当dfp<Thdfp1时,p1=0.0
当dfp>Thdfp2时,p1=1.0,并且
在其他情况下p1=(dfp-Thdfp1)/(Thdfp2-Thdfp1) ...(7)
(用于利用强度变动周期来计算风噪声概率的方法)
风噪声具有特定的变动周期(变动速度)。因此,概率计算器35根据计算出的强度变动周期与风噪声的变动周期的典型值之间的差异来求得是风噪声的概率的概率值。
如果假定风噪声的变动周期的典型值是TW并且用来判定风噪声概率大于零的差异值的阈值是ThTW,那么按照例如以下式(8)来求得利用强度变动周期的风噪声概率的概率值p2:
当|pfp-TW|≤ThTW时,p2=1.0-|pfp-TW|/ThTW,并且
在其他情况下,p2=0.0 ...(8)
(用于利用一阶自相关系数来计算风噪声概率的方法)
风噪声具有很低的频率成分,因此在风噪声区间中,一阶自相关系数取较大的值。可以认为一阶自相关系数是与高频带相比更表示低频带的幅值的值。
如果假定用来判定风噪声概率大于零的一阶自相关系数的阈值为Thac1,那么按照例如以下式(9)来求得利用一阶自相关系数的风噪声概率的概率值p3:
当1.0<ac1时,p3=1.0
当Thac1≤ac1≤1.0时,p3=(ac1-Thac1)/(1.0-Thac1),并且
当ac1<Thac1时,p3=0.0 ...(9)
(综合方法)
概率计算器35向通过上述式(7)至(9)计算出的概率值p1、p2和p3分别添加权重值wp1、wp2和wp3并且如下式(10)那样综合这些值,并且输出最终风噪声概率的概率值p。这里,假定0≤wp1≤1.0,0≤wp2≤1.0并且0≤wp3≤1.0。
p=(wp1·p1+wp2·p2+wp3·p3)
当p>1.0时,假定p=1.0 ...(10)
还可以不使用所有的概率值p1至p3而是根据一个或两个值来计算风噪声概率的概率值p。
接下来,示出图1中所示的抑制器4的示例。
图5示出了抑制器的示例。
抑制器4具有高通滤波器41、可变增益放大器42和43以及加法器44。
高通滤波器41对于由分割器2分割出的低频带中的输入声音,抑制例如包括风噪声的可能性较强的高频率带。
图6示出了高通滤波器的示例。水平轴表示频率,并且垂直轴表示强度。
高通滤波器41具有抑制在发生风噪声时包括风噪声的可能性较强的例如大约500Hz以下的频率带中的信号的频率特性。
将高通滤波器41的输出输入到图5中所示的可变增益放大器42,并且基于由概率计算器35计算出的风噪声概率的概率值p来执行放大。将分割器2分割出的低频带中的输入声音(到抑制器4的输入信号)输入到可变增益放大器43并且基于等于1减去概率值p的值来执行放大。
如果假定在某个时刻抑制器4的输入信号是x,风噪声概率的概率值是p(0≤p≤1.0),并且高通滤波器41的输出是Xhp,那么抑制器4的输出信号y被表述为以下式(11):
y=p·xhp+(1-p)x ...(11)
通过上述处理,以与由概率计算器35计算出的风噪声概率的概率值相应的强度来抑制了低频带中的输入声音的幅值。
下面总结第一实施例的风噪声抑制器的操作。
图7是第一实施例的风噪声抑制器进行的风噪声抑制处理的流程的流程图。
步骤S1:分割器2把由麦克风MC拾取并被A/D转换器7转换成数字信号的输入声音分割成有可能包括噪声的低频带以及高频带。
步骤S2:计算器3根据通过分割获得的低频带中的输入声音的特征参数,例如以由式(1)至(10)表述的方式,来计算风噪声概率。
步骤S3:抑制器4以与由计算器3计算出的风噪声概率相应的强度来抑制低频带中包括的噪声。例如,如前所述,基于由计算器3的概率计算器35计算出的风噪声概率的概率值p如式(11)所示来抑制低频带中包括的风噪声。
步骤S4:加法器5混合并输出被抑制器4抑制了风噪声的低频带中的输入声音和由分割器2分割出的高频带中的输入声音。
根据如上所述的风噪声抑制处理,根据低频带中的输入声音的特征参数,计算输入声音包括风噪声的概率并且以与该概率相应的强度来抑制低频带中包括的风噪声。由此,可以防止存在于低频带中的音频信号像风噪声那样强地被抑制并且抑制风噪声以便获得更自然的高品质音频信号。
此外,通过基于输入声音的多个特征参数计算风噪声概率,还可以精确地求得风噪声概率,并且通过利用该风噪声概率来抑制低频带中的输入声音的幅值,可以获得更加自然的高品质音频信号。
(第二实施例)
图8示出了第二实施例的风噪声抑制器的示例。
向与图1中所示的风噪声抑制器1相似的元件附加相似的标号并且省略对它们的说明。
第二实施例的风噪声抑制器1a具有另一抑制器6。抑制器6执行非线性幅度压缩处理,以压缩(衰减)具有不小于阈值的强度的输入信号(分割器2分割出的低频带中的输入声音),但使具有低强度的输入信号保持原样。抑制器6具有强度计算器61、衰减量计算器62、可变增益放大器63以及乘法器64。
强度计算器61基于输入信号的幅度的均方来计算输入信号的强度。该强度是通过例如先述式(1)来计算的。
衰减量计算器62根据输入信号的强度计算衰减量。
可变增益放大器63基于由计算器3计算出的风噪声概率的概率值p(0≤p≤1)来放大由衰减量计算器62计算出的衰减量。
乘法器64将输入信号乘以经可变增益放大器63调整的衰减量并且将结果输出给抑制器4。
图9示出了衰减量的计算示例。水平轴表示抑制器6的输入信号的强度(dB),垂直轴表示当风噪声概率的概率值p=1时抑制器6的输出信号的强度(dB),并且每个轴的值是对数制的,虽然这没有示意性地示出。
衰减量计算器62检测输入信号的强度并且当该强度低于阈值ThLin时设定衰减量a=0。此时,输出信号的强度等于输入信号的强度。
当输入信号的强度不小于阈值ThLin时,衰减量计算器62设定梯度并且基于输入信号的强度来计算衰减量a。如果假定输入信号的强度是Lin,输出信号的强度是Lout,并且梯度是d,那么按照例如以下式(12)来计算衰减量a:
Lout=ThLin+d·(Lin-ThLin)
a=Lin-Lout ...(12)
即,当输入信号的强度不小于阈值ThLin时,输出信号的强度≤输入信号的强度成立,并且输入信号的强度越大,衰减量a就变得越大。
如图9中所示根据输入信号和输出信号的强度求得的衰减量a被转换成线性值(满足线性关系的值)并被输入到可变增益放大器63。
如果假定在某个时刻到抑制器6的输入信号是x,由衰减量计算器62计算出的衰减量是a(0≤a≤1.0),并且风噪声概率的概率值是p(0≤p1.0),那么按照以下式(13)来计算输出信号:
y=p·a·x ...(13)
图10A和10B示出了非线性幅度压缩处理之前和之后的信号波形的示例。水平轴表示时间,并且垂直轴表示幅度。
图10A表示非线性幅度压缩处理之前的抑制器6的输入信号的信号波形,并且图10B表示非线性幅度压缩处理之后的抑制器6的输出信号的信号波形。
在非线性幅度压缩处理之前的信号波形之中,通过上述处理来压缩(衰减)由虚线指示的不小于阈值的信号部分的幅度,并且获得如图10B所示的信号波形。
经历了由抑制器6进行的处理的输入声音被进一步输入到抑制器4并且经历与第一实施例的风噪声抑制器1中相同的处理。
图11是第二实施例的风噪声抑制器进行的风噪声抑制处理的流程的流程图。
步骤S10和S11处的处理与图7中所示的步骤S1和S2处的处理相同。
步骤S12:抑制器6对由分割器2分割出的低频带中的输入声音执行上述非线性幅度压缩处理。即,抑制器6以与衰减量和风噪声概率相应的强度来抑制具有预定幅值以上的输入声音的幅值。
步骤S13:抑制器4以与由计算器3计算出的风噪声概率相应的强度来抑制抑制器6的输出信号的幅值。例如,如前所述,抑制器4基于由计算器3的概率计算器35计算出的风噪声概率的概率值p,以由式(11)表述的方式来抑制抑制器6的输出信号的幅值。
步骤S14:加法器5混合并输出抑制器4的输出信号(被抑制的低频带中的输入声音)和由分割器2分割出的高频带中的输入声音。
根据第二实施例的风噪声抑制器1a,实现了与前述第一实施例的风噪声抑制器1相同的效果,并且同时还实现了以下效果。
因为在风噪声区间中幅度有相当大的变动,所以通过抑制器6执行上述非线性幅度压缩处理,可以更有效地抑制风噪声。此外,通过根据风噪声概率来改变抑制风噪声的强度,可以抑制风噪声以获得更自然的高品质音频信号。
也可以交换抑制器6和抑制器4的位置并且使得抑制器6对经抑制器4抑制的输入声音执行上述非线性幅度压缩处理。
(第三实施例)
图12示出了第三实施例的风噪声抑制器的示例。
向与图1中所示的风噪声抑制器1相似的元件附加相似的标号并且省略对它们的说明。
第三实施例的风噪声抑制器1b还包括补偿器8。补偿器8根据被抑制器4抑制了风噪声的低频带中的输入声音以假拟方式生成具有低频带(被抑制器4的高通滤波器41抑制或去除的频率带)中的低频率成分的信号。然后,补偿器8通过以与风噪声概率相应的强度,向被抑制器4抑制了风噪声的低频带中的输入声音添加具有该低频率成分的信号,来执行补偿。
补偿器8具有绝对值处理器81、带通滤波器82、可变增益放大器83以及加法器84。
绝对值处理器81把被抑制器4抑制了风噪声的低频带中的输入声音的时间波形转换成绝对值波形并且输出该波形。
带通滤波器82具有高通滤波器和低通滤波器的功能,并且利用高通滤波器从绝对值处理器81的输出信号中去除直流成分并允许输出信号的频率带的低频率成分通过低通滤波器。低通滤波器的频率特性是根据抑制器4的高通滤波器的频率特性来设定的。例如,当抑制器4的高通滤波器41具有抑制或去除大约300至500Hz以下的频率带中的信号的频率特性时,在低通滤波器中,频率特性被设定成使得允许这样的频率带中的信号通过。
可变增益放大器83基于由计算器3计算出的风噪声概率的概率值p(0≤p≤1)来放大带通滤波器82的输出信号。例如,可变增益放大器83输出是带通滤波器82的输出信号乘以概率值p的信号。
加法器84把可变增益放大器83的输出信号加到补偿器8的输入信号。
图13A至13F示出了补偿器中的处理的示例。
图13A、13C和13E中的曲线图从上到下指示了补偿器8的输入信号(即,被抑制器4抑制的低频带中的输入声音)的时间波形、绝对值处理之后的时间波形以及带通滤波器处理之后的时间波形,其中水平轴表示时间,并且垂直轴表示幅度。在每个时间波形的右侧,示出了每个频率成分的示例。在频率成分的曲线图中,水平轴表示频率,并且垂直轴表示强度。
在补偿器8的输入信号中,低频率成分通过抑制器4中的处理被抑制或去除。通过绝对值处理器81把输入信号的时间波形转换成例如图13C中的曲线图的绝对值波形,频率是原始频率成分的频率的一半的频率成分以及频率是原始频率成分的频率的两倍的频率成分出现,如图13D中所示。
此外,通过带通滤波器82从绝对值处理器81的输出信号中去除直流成分并且在留下频率是原始频率成分的频率的一半的频率成分的同时去除更高频率的频率成分,生成如图13E中所示的时间波形和如图13F中所示的频率成分。
当作为具有如图13F中所示的低频率成分的带通滤波器82的输出信号并在可变增益放大器83中被乘以概率值p的信号被输出时,该信号在加法器84中被加到补偿器8的输入信号。
图14是第三实施例的风噪声抑制器进行的风噪声抑制处理的流程的流程图。
步骤S20至S22处的处理与图7中所示的步骤S1至S3处的处理相同。
步骤S23:补偿器8对被抑制器4抑制了风噪声的低频带中的输入声音执行上述补偿处理。即,补偿器8从补偿器8的输入信号以假拟方式(pseudo-manner)生成低频率成分的信号,并且以与风噪声概率相应的幅值将该信号与输入信号相加。
步骤S24:加法器5混合并输出补偿器8的输出信号和由分割器2分割出的高频带中的输入声音。
根据第三实施例的风噪声抑制器1b,实现了与前述第一实施例的风噪声抑制器1相同的效果,并且同时还实现了以下效果。
图15A和15B示出了补偿处理之前和之后信号的频率成分如何变化。
如图15A中所示,在补偿处理之前,即使低频率成分(由虚线示意性地图示)被抑制器4去除,也通过执行上述补偿处理而生成如图15B中所示的低频率成分,因此扩展了频率成分。由此,可以使得风噪声抑制之后的声音成为更自然的声音。
此外,在抑制器4中,低频带中的输入声音根据风噪声概率的概率值p被抑制,因此,可变增益放大器83可以利用相同的概率值p来根据低频带中的输入声音被抑制的抑制量执行补偿。由此,可以使风噪声抑制之后的声音成为更加自然的声音。
也可以在风噪声抑制器1b中设置如图8中所示的抑制器6。由此,可以抑制风噪声以获得更自然的高品质音频信号。
(第四实施例)
图16示出了第四实施例的风噪声抑制器的示例。
向与图12中所示的风噪声抑制器1b相似的元件附加相似的标号并且省略对它们的说明。
第四实施例的风噪声抑制器1c具有抑制要通过前述补偿器8中的处理相加的具有低频率成分的信号以免其太小或太大的功能。除了第三实施例的风噪声抑制器1b的每个元件以外,风噪声抑制器1c还具有强度计算器9和10、强度信息存储单元11和调整器12。
强度计算器9计算补偿器8的输出信号的强度。该强度是按照补偿器8的输出信号的幅值的均方来计算的。
强度计算器10按照例如式(1)来计算由分割器2分割出的低频带中的输入声音的强度。
强度信息存储单元11存储由强度计算器10计算出的每个帧的低频带中的输入声音的强度的值。
调整器12通过根据由强度计算器9计算出的补偿器8的输出信号的强度和存储在强度信息存储单元11中的低频带中的输入声音的强度调整由计算器3计算出的风噪声概率,来调整补偿器8进行的补偿的量。
当调整补偿量时,例如,调整器12首先取强度信息存储单元11中存储的过去的强度值在多个帧上的平均以求得过去的平均强度。如果每个帧的强度是fp(t)并且取平均的帧数目是TB,那么按照例如以下式(14)来求得过去的TB个帧的平均强度fpave:
调整器12比较计算出的平均强度和补偿器8的输出信号的强度并且当两个强度之间的差异较大(差异超过阈值)时调整风噪声概率。如果补偿器8的输出信号的强度是fex,阈值是Thex,并且风噪声概率的概率值是p,那么像例如以下式(15)所表述的那样来调整概率值p:
当fpave+Thex<fex时,p=p-pdelta,并且
当fex<fpave-Thex时,p=p+pdelta,
其中Pdelta是调整量并且0<Pdelta<1.0 ...(15)
当概率值p被调整时,图12中所示的补偿器8的可变增益放大器83的放大因子变化,先前所述的要加到抑制器4的输出信号的低频率带中的信号的幅值变化,然后,补偿器8的输出信号的强度变化以接***均强度fpave一侧。
图17A至17C示出了补偿量的调整的示例。从上到下,示出了分割器2分割出的低频带中的输入声音的时间波形、抑制器4的输出信号和来自补偿器8的输出信号。
例如,强度计算器10计算分割器2分割出的低频带中的输入声音中未发生风噪声的区间的多个帧中的强度,并且强度信息存储单元11存储该区间中的每个帧中的强度值。
当像图17B中的波形中那样在发生风噪声的区间中抑制器4使强度降低得太多时,可以通过由补偿器8执行低频率带中的信号的加法来像图17C中的实线波形中那样增大强度。然而,在图17C中的示例中,风噪声区间中的强度与没有发生风噪声的区间中的强度相比被增大得太多。当此时的强度大于强度值存储区间中的强度的平均和阈值的总和时,通过上述调整器12的调整,强度被降低到例如图17C中的虚线所指示的水平。由此,可以使风噪声区间中的强度接近强度值存储区间中的强度的平均,因此可以通过抑制由补偿器8进行的补偿量的不足或过度引起的不自然性来获得更自然的声音。
也可以在风噪声抑制器1c中设置如图8中所示的抑制器6。如果设有,则可以抑制风噪声以获得更自然的高品质音频信号。
(第五实施例)
图18示出了第五实施例的风噪声抑制器的示例。
风噪声抑制器1d被配置为抑制立体声2声道的输入声音中的风噪声并且具有用于每个声道的麦克风MCa和MCb、A/D转换器7a和7b、分割器2a和2b、抑制器4a和4b以及加法器5a和5b。此外,风噪声抑制器1d具有生成由分割器2a和2b分割出的2声道低频带中的输入信号的差分信号的加法器14和基于该差分信号来计算风噪声概率的计算器13。
与前述分割器2的情况一样,分割器2a和2b以例如1,000Hz作为大致边界把A/D转换后的输入声音分割成有包括风噪声的可能性的低频带和包括风噪声的可能性较弱的高频带。
加法器14生成通过分割每个声音获得的低频带中的输入声音的差分信号。在图18的示例中,加法器14通过把由分割器2b分割出的低频带中的输入声音作为负信号与分割器2a分割出的低频带中的输入声音相加来生成差分信号。
计算器13根据差分信号的特征参数通过与前述相同的技术计算风噪声概率的概率值p。
抑制器4a和4b以与计算出的概率值p相应的强度来抑制每个声道中的低频带中的输入声音的幅值。
加法器5a和5b混合并输出经抑制的低频带中的输入声音和由分割器2a和2b分割出的高频带中的输入声音。
与音频信号不同,风噪声在声道之间具有低相关性,因此可以通过生成差分信号来使得风噪声成分明显。由此,计算器13计算出的风噪声概率成为了具有更高精确度的风噪声概率,并且低频带中的输入声音的幅值被按与该风噪声概率相应的强度来加以抑制,因此,可以抑制风噪声以获得更自然的更品质音频信号。
声道的数目可以是三个或更多个。在这种情况下,计算器13只要根据这多个声道中的任何两个声道的低频带中的输入声音的差分信号的特征参数计算风噪声概率的概率值p并且将该概率值p提供给设置在每个声道中的抑制器,就足够了。
此外,也可以在风噪声抑制器1d中的每个声道中设置如图8中所示的抑制器6。
此外,也可以在风噪声抑制器1d的每个声道中设置第三和第四实施例的风噪声抑制器1b和1c的补偿器8、调整器12、强度计算器9和10以及强度信息存储单元11。
以上说明的第一至第五实施例的风噪声抑制器1、1a、1b、1c和1d被搭载在用于视频处理的半导体集成电路中,如下。
图19示出了用于视频处理的半导体集成电路的示例。
半导体集成电路100具有对声音执行处理的声音处理器110和对图像数据执行处理的图像处理器120。
声音处理器110具有风噪声抑制器111和声音编码器112。
风噪声抑制器111具有前述第一至第五实施例的风噪声抑制器1、1a、1b、1c和1d中的任何一个的每个元件,并且输入由未图示的麦克风拾取并被A/D转换的输入声音并且抑制风噪声。被抑制了风噪声的输入声音被输入到声音编码器112并且经历编码处理。
根据如上所述的半导体集成电路100,通过使用具有前述的风噪声抑制器1、1a、1b、1c和1d的任何功能的风噪声抑制器111,即使当风噪声被抑制时也可以获得更自然的更品质音频信号。
根据这里公开的风噪声抑制器、半导体集成电路和风噪声抑制方法,可以抑制风噪声以便可以获得更自然的声音。
这里记载的所有示例和条件性语言都是想要作为教导目的以辅助读者理解本发明和发明人为推进现有技术而贡献的构思,并且应被解释为不限于这种具体记载的示例和条件,而且说明书中的这种示例的组织也不涉及对本发明的优劣的展示。虽然已详细描述了本发明的实施例,但应当理解,在不脱离本发明的精神和范围的情况下,可对其进行各种变化、替换和更改。
Claims (7)
1.一种风噪声抑制器,包括:
分割器,该分割器将输入声音的频率带分割成有包括风噪声的可能性的第一频率带和具有比所述第一频率带的频率更高的频率的第二频率带;
计算器,该计算器根据所述第一频率带中的声音的特征参数来计算所述输入声音包括风噪声的概率;
抑制器,该抑制器根据从所述概率计算出的强度来抑制所述第一频率带中包括的风噪声;以及
加法器,该加法器混合并输出由所述分割器分割出的所述第二频率带中的声音和被所述抑制器抑制了风噪声的所述第一频率带中的声音。
2.根据权利要求1所述的风噪声抑制器,其中:
所述抑制器根据从所述概率计算出的强度来抑制所述第一频率带中的包括风噪声的可能性很强的第三频率带中的信号的幅值;并且
所述风噪声抑制器还包括补偿器,该补偿器根据被所述抑制器抑制的所述第一频率带中的声音生成所述第三频率带中的信号并且根据从所述概率计算出的强度来把所述第三频率带中的信号加到被所述抑制器抑制的所述第一频率带中的声音。
3.根据权利要求2所述的风噪声抑制器,还包括调整器,该调整器根据所述第一频率带中的声音的幅值的平均和所述补偿器的输出信号的幅值来调整所述概率并且把经调整的概率提供给所述补偿器。
4.根据权利要求1所述的风噪声抑制器,还包括另一抑制器,该另一抑制器在所述第一频率带中的声音的幅值不小于预定幅值时,根据从与所述第一频率带中的声音的幅值和所述概率相应的衰减量计算出的强度来抑制所述第一频率带中的声音的幅值。
5.根据权利要求1所述的风噪声抑制器,
其中,所述计算器基于多个特征参数来计算所述概率。
6.一种半导体集成电路,包括风噪声抑制器,该风噪声抑制器将输入声音的频率带分割成有包括风噪声的可能性的第一频率带和具有比所述第一频率带的频率更高的频率的第二频率带,根据所述第一频率带中的声音的特征参数来计算所述输入声音包括风噪声的概率,根据从所述概率计算出的强度来抑制所述第一频率带中包括的风噪声,并且混合并输出所述第二频率带中的声音和被抑制了风噪声的所述第一频率带中的声音。
7.一种风噪声抑制方法,包括:
将输入声音的频率带分割成有包括风噪声的可能性的第一频率带和具有比所述第一频率带的频率更高的频率的第二频率带;
根据所述第一频率带中的声音的特征参数来计算所述输入声音包括风噪声的概率;
根据从所述概率计算出的强度来抑制所述第一频率带中包括的风噪声;以及
混合并输出所述第二频率带中的声音和被抑制了风噪声的所述第一频率带中的声音。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-106394 | 2011-05-11 | ||
JP2011106394A JP5919647B2 (ja) | 2011-05-11 | 2011-05-11 | 風雑音抑圧装置、半導体集積回路及び風雑音抑圧方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102780948A true CN102780948A (zh) | 2012-11-14 |
CN102780948B CN102780948B (zh) | 2014-12-10 |
Family
ID=47125683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210150149.9A Expired - Fee Related CN102780948B (zh) | 2011-05-11 | 2012-05-09 | 风噪声抑制器、半导体集成电路和风噪声抑制方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9124962B2 (zh) |
JP (1) | JP5919647B2 (zh) |
KR (1) | KR101354308B1 (zh) |
CN (1) | CN102780948B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014161388A1 (zh) * | 2013-10-23 | 2014-10-09 | 中兴通讯股份有限公司 | 一种提高语音质量的方法及装置 |
CN110786022A (zh) * | 2018-11-14 | 2020-02-11 | 深圳市大疆创新科技有限公司 | 基于多麦克风的风噪处理方法、装置、***及存储介质 |
CN112700787A (zh) * | 2021-03-24 | 2021-04-23 | 深圳市中科蓝讯科技股份有限公司 | 一种降噪方法、非易失性可读存储介质及电子设备 |
CN112700789A (zh) * | 2021-03-24 | 2021-04-23 | 深圳市中科蓝讯科技股份有限公司 | 一种噪声检测方法、非易失性可读存储介质及电子设备 |
CN113302690A (zh) * | 2019-01-15 | 2021-08-24 | 诺基亚技术有限公司 | 音频处理 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103780738B (zh) * | 2012-10-17 | 2017-08-29 | 腾讯科技(深圳)有限公司 | 移动终端图像处理方法及移动终端 |
WO2014168021A1 (ja) | 2013-04-11 | 2014-10-16 | 日本電気株式会社 | 信号処理装置、信号処理方法および信号処理プログラム |
US9721584B2 (en) * | 2014-07-14 | 2017-08-01 | Intel IP Corporation | Wind noise reduction for audio reception |
CN104539819A (zh) * | 2014-12-26 | 2015-04-22 | 贵州万臻时代通讯技术有限公司 | 一种抑制移动通信终端风噪声的方法 |
EP3343948B1 (en) * | 2015-08-28 | 2020-04-29 | Sony Corporation | Information processing device, information processing method, and program |
US9838737B2 (en) * | 2016-05-05 | 2017-12-05 | Google Inc. | Filtering wind noises in video content |
RU170068U1 (ru) * | 2016-05-31 | 2017-04-12 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет" | Адаптивное устройство для подавления помех |
US10483931B2 (en) * | 2017-03-23 | 2019-11-19 | Yamaha Corporation | Audio device, speaker device, and audio signal processing method |
US11197090B2 (en) | 2019-09-16 | 2021-12-07 | Gopro, Inc. | Dynamic wind noise compression tuning |
CN113613112B (zh) | 2021-09-23 | 2024-03-29 | 三星半导体(中国)研究开发有限公司 | 抑制麦克风的风噪的方法和电子装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06269084A (ja) * | 1993-03-16 | 1994-09-22 | Sony Corp | 風雑音低減装置 |
JP2001352594A (ja) * | 2000-06-07 | 2001-12-21 | Sony Corp | 風音低減方法及び装置 |
CN1926911A (zh) * | 2004-06-16 | 2007-03-07 | 松下电器产业株式会社 | 啸叫抑制装置、程序、集成电路及啸叫抑制方法 |
CN101000769A (zh) * | 2006-01-13 | 2007-07-18 | 三星电子株式会社 | 便携式记录器中消除噪声的装置和方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3155760B2 (ja) * | 1991-01-07 | 2001-04-16 | キヤノン株式会社 | 音声処理装置 |
JP2942034B2 (ja) * | 1991-01-07 | 1999-08-30 | キヤノン株式会社 | 音声処理装置 |
US5568559A (en) * | 1993-12-17 | 1996-10-22 | Canon Kabushiki Kaisha | Sound processing apparatus |
JPH10327494A (ja) * | 1997-05-22 | 1998-12-08 | Matsushita Electric Ind Co Ltd | マイクロホン装置 |
JP4196162B2 (ja) | 2002-08-20 | 2008-12-17 | ソニー株式会社 | 自動風音低減回路および自動風音低減方法 |
KR101118217B1 (ko) * | 2005-04-19 | 2012-03-16 | 삼성전자주식회사 | 오디오 데이터 처리 장치 및 방법 |
DK1750483T3 (da) * | 2005-08-02 | 2011-02-21 | Gn Resound As | Høreapparat med vindstøjsundertrykkelse |
JP2008085556A (ja) * | 2006-09-27 | 2008-04-10 | Sanyo Electric Co Ltd | 低音補正装置および録音装置 |
JP2008263483A (ja) * | 2007-04-13 | 2008-10-30 | Sanyo Electric Co Ltd | 風雑音低減装置、音響信号録音装置及び撮像装置 |
JP5219499B2 (ja) * | 2007-08-01 | 2013-06-26 | 三洋電機株式会社 | 風雑音低減装置 |
US8428275B2 (en) * | 2007-06-22 | 2013-04-23 | Sanyo Electric Co., Ltd. | Wind noise reduction device |
WO2009078105A1 (ja) | 2007-12-19 | 2009-06-25 | Fujitsu Limited | 雑音抑圧装置、雑音抑圧制御装置、雑音抑圧方法及び雑音抑圧プログラム |
US8391524B2 (en) | 2009-06-02 | 2013-03-05 | Panasonic Corporation | Hearing aid, hearing aid system, walking detection method, and hearing aid method |
US8983833B2 (en) * | 2011-01-24 | 2015-03-17 | Continental Automotive Systems, Inc. | Method and apparatus for masking wind noise |
-
2011
- 2011-05-11 JP JP2011106394A patent/JP5919647B2/ja not_active Expired - Fee Related
-
2012
- 2012-04-27 US US13/458,313 patent/US9124962B2/en not_active Expired - Fee Related
- 2012-05-04 KR KR1020120047382A patent/KR101354308B1/ko active IP Right Grant
- 2012-05-09 CN CN201210150149.9A patent/CN102780948B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06269084A (ja) * | 1993-03-16 | 1994-09-22 | Sony Corp | 風雑音低減装置 |
JP2001352594A (ja) * | 2000-06-07 | 2001-12-21 | Sony Corp | 風音低減方法及び装置 |
CN1926911A (zh) * | 2004-06-16 | 2007-03-07 | 松下电器产业株式会社 | 啸叫抑制装置、程序、集成电路及啸叫抑制方法 |
CN101000769A (zh) * | 2006-01-13 | 2007-07-18 | 三星电子株式会社 | 便携式记录器中消除噪声的装置和方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014161388A1 (zh) * | 2013-10-23 | 2014-10-09 | 中兴通讯股份有限公司 | 一种提高语音质量的方法及装置 |
CN110786022A (zh) * | 2018-11-14 | 2020-02-11 | 深圳市大疆创新科技有限公司 | 基于多麦克风的风噪处理方法、装置、***及存储介质 |
CN113302690A (zh) * | 2019-01-15 | 2021-08-24 | 诺基亚技术有限公司 | 音频处理 |
CN112700787A (zh) * | 2021-03-24 | 2021-04-23 | 深圳市中科蓝讯科技股份有限公司 | 一种降噪方法、非易失性可读存储介质及电子设备 |
CN112700789A (zh) * | 2021-03-24 | 2021-04-23 | 深圳市中科蓝讯科技股份有限公司 | 一种噪声检测方法、非易失性可读存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
KR101354308B1 (ko) | 2014-01-23 |
KR20120127234A (ko) | 2012-11-21 |
US9124962B2 (en) | 2015-09-01 |
JP2012239017A (ja) | 2012-12-06 |
US20120288116A1 (en) | 2012-11-15 |
CN102780948B (zh) | 2014-12-10 |
JP5919647B2 (ja) | 2016-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102780948B (zh) | 风噪声抑制器、半导体集成电路和风噪声抑制方法 | |
US8428275B2 (en) | Wind noise reduction device | |
CN100356445C (zh) | 分离声源信号的方法和装置及用来检测间距的方法和装置 | |
EP2612322B1 (en) | Method and device for decoding a multichannel audio signal | |
US8355908B2 (en) | Audio signal processing device for noise reduction and audio enhancement, and method for the same | |
US8976971B2 (en) | Method and apparatus for adjusting channel delay parameter of multi-channel signal | |
US7970144B1 (en) | Extracting and modifying a panned source for enhancement and upmix of audio signals | |
US9357307B2 (en) | Multi-channel wind noise suppression system and method | |
US8913157B2 (en) | Mechanical noise suppression apparatus, mechanical noise suppression method, program and imaging apparatus | |
US8385556B1 (en) | Parametric stereo conversion system and method | |
US20150063600A1 (en) | Audio signal processing apparatus, method, and program | |
CN104471855A (zh) | 具有噪声检测和响度下降检测的响度控制 | |
JP2012037582A (ja) | 信号処理装置および方法、並びにプログラム | |
US9530429B2 (en) | Reverberation suppression apparatus used for auditory device | |
RU2017135437A (ru) | Дифференциальное воспроизведение звука | |
US8942380B2 (en) | Method for generating a downward-compatible sound format | |
EP2828853B1 (en) | Method and system for bias corrected speech level determination | |
CN102307323A (zh) | 对多声道信号的声道延迟参数进行修正的方法 | |
US20160104499A1 (en) | Signal processing device and signal processing method | |
US9214190B2 (en) | Audio signal processing method | |
US8532309B2 (en) | Signal correction apparatus and signal correction method | |
US20230360662A1 (en) | Method and device for processing a binaural recording | |
US7046724B2 (en) | Equalizer apparatus and equalizing method | |
JP2016123059A (ja) | 信号生成装置、および端末装置 | |
JP2008298942A (ja) | デジタル音声処理装置及びデジタル音声処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141210 |
|
CF01 | Termination of patent right due to non-payment of annual fee |